Анкетирование как метод исследования. Анкетирование как метод психологического исследования
Анкетирование - это письменный вид опроса, при котором контакт между исследователем и опрашиваемым (респондентом) осуществляется при помощи анкеты. Анкетирование может быть электронным - в случае, если используется компьютер. Анкета может распространяться через прессу, по почте (с предварительного согласия респондента). Однако наиболее эффективным является так называемый раздаточный опрос, когда анкетер вручает анкету и ждет, когда она будет заполнена: только в этом случае можно гарантировать возвращение анкеты.
Анкета - это документ, в котором вопросы, адресованные определенному множеству людей: она предполагает, что каждый человек входящий в эту совокупность, даст на них ответы. Поэтому анкетой нельзя называть любую совокупность вопросов. Анкета размножается на машинке, принтере или отпечатывается типографским способом. Любая анкета должна включать вводную часть, содержательную и заключительную часть.
В вводной части содержится вся информация о том, кто проводит исследование, о целях, которые стоят перед ним, и о правилах заполнения анкеты (инструкция). Кроме того, во вводную часть обычно включают благодарность за участие в опросе, а также указание на то, что полученные данные будут использоваться лишь в объявленных целях, то есть гарантируется анонимность.
Содержательная часть - это основная составляющая анкеты, в которой формулируются вопросы, расположенные в определенной последовательности. Если в процессе заполнения анкеты у респондента могут возникнуть затруднения, в содержательную часть включают пояснения и рекомендации. При разработке анкеты необходимо стремиться к тому, чтобы на все вопросы респондент мог ответить за 25-30 минут; если на заполнение анкеты требуется больше времени, то результаты могут оказаться менее продуктивными в силу утомления и потери интереса к опросу. Обычно количество вопросов не превышает 30-40.
Заключительная часть , или паспортичка, содержит необходимые сведения о респонденте: его возрасте, национальности, семейном положении, статусе, образовании и т.д. Обычно в паспортичку включаются вопросы о характеристиках, которые могут иметь значение с точки зрения интерпретации результатов.
Поскольку опрос всегда имеет дело с людьми, обладающими как общими, так и индивидуальными особенностями, в социологии были сформулированы принципы, в соответствии с которыми следует составлять анкеты. Мы приведем рекомендации, сформулированные В.А. Ядовым.
1. Анкеты должны строиться с учетом психологии восприятия, а не в соответствии с логикой исследования.
2. При построении анкет необходимо учитывать особенности опрашиваемых (их культурный уровень, социальный опыт).
3. При расположении вопросов необходимо идти от частного к общему, а не в обратном направлении.
4. Смысловые блоки, на которые делится анкета, должны быть примерно одинакового объема.
5. Начинать анкету следует с самых простых вопросов, постепенно их усложняя, затем сложность вопросов должна снижаться, а перед самым завершением анкеты (перед паспортичкой) снова повышаться. Таким образом, наиболее сложные вопросы должны располагаться в середине анкеты и почти в самом ее конце, перед простой для ответов заключительной частью.
В анкетах и интервью используются самые разнообразные вопросы, которые за даются с различными целями.
1. С точки зрения целей исследования выделяются:
■ основные вопросы используются исследователем для того, чтобы получить необходимую информацию.
■ контрольные вопросы предназначены для проверки искренности, непротиворечивости и последовательности ответов респондента. Нередко в таком случае используются другие формулировки вопроса, который уже задавался, или вопросы, связанные с ним по смыслу. Например, сначала респонденту задается вопрос: «как вы относитесь к предпринимателям и предпринимательству?». Затем, спустя несколько вопросов, у него спрашивают о его отношении к национализации собственности. Если в первом и втором случае респондент говорит о положительном отношении, исследователь может допустить, что ответы либо неискренни, либо непоследовательны.
■ вопросы-фильтры вводятся для получения дополнительной информации о респонденте - как правило, о том, является ли он компетентным в той или иной сфере. Примером здесь может служить вопрос «как вы понимаете демократию?»
2. Вопросы анкеты подготавливаются с учетом психологических особенностей респондентов. С этой точки зрения могут быть выделены дополнительные разновидности вопросов.
■ Прямые вопросы адресованы непосредственно респонденту и направлены на выявление его личного мнения по тому или иному вопросу.
■ Косвенные вопросы вводятся тогда, когда есть сомнение, что респондент захочет дать прямой ответ на вопрос (например, о своей интимной жизни). В этом случае вопрос формулируется таким образом, чтобы у респондента возникло впечатление, что он отвечает от лица социальной группы или про сто «объективно» оценивает явление.
■ Буферные вопросы вводятся для того, чтобы подготовить респондента к переходу от одной темы к другой. Ответы на эти вопросы могут не учитываться при анализе, так как, отвечая на них, опрашиваемый как бы «настраивается» на новую тему.
■ Контактные вопросы направлены на установление интереса к исследованию, поддержание внимания, расположения к исследователю.
З. С точки зрения свободы респондента в выборе ответа выделяют следующие вопросы:
■ открытые вопросы предполагают, что ответы на них респондент строит полностью по своему усмотрению. Примером может служить вопрос: «Можете назвать причины, по которым вы можете изменить свое предпочтение на выборах?». Спрашиваемый в качестве ответа на такой вопрос может указать любую причину, которую он считает важной, причем такая причина может быть неединственной. Открытые вопросы не предполагают предварительной категоризации: они будут распределяться по группам лишь на этапе интерпретации результатов.
■ закрытые вопросы предполагают, что ответы на них выбираются респондентом из заранее определенных вариантов. Такие вопросы обычно используют, если исследователю заранее известно, какую информацию он хочет получить и мнение по каким вопросам его интересует, прежде всего.
Выделяют разновидности закрытых вопросов. Дихотомические вопросы предполагают выбор между «да» и «нет», например: «есть ли причины, по которым вы можете поменять свои предпочтения на выборах?».
Вопросы-меню предполагают выбор одного варианта или любого сочетания вариантов. Например, может даваться несколько вариантов ответов на вопрос «по каким причинам вы можете изменить свои предпочтения в процессе выборов»: «недостойное поведение кандидата по отношению к другим кандидатам», «получение сведений о преступлениях и проступках кандидата», «влияние родственников или друзей», «самостоятельное решение» и т.д.
Полузакрытые вопросы - вид вопросов, занимающий промежуточное положение между открытыми и закрытыми вопросами. В этом случае респонденту дается несколько вариантов ответов, но он имеет право ответить в свободной форме, если ни один из вариантов не подходит.
Достаточно распространенной формой социологических опросов является интервью, которое представляет собой своеобразную целенаправленную беседу с глазу на глаз с опрашиваемым. Вначале интервью применялось в основном в медицине в качестве клинической беседы с пациентом как средство получения достоверной информации о больном. Впоследствии, по мере развития эмпирических исследований, оно наряду с анкетированием стало одним из распространенных методов получения социологической информации об изучаемом объекте.
Самостоятельной и очень распространенной формой опроса является анкетирование, т.е. заполнение заранее подготовленных бланков с перечнем вопросов.
Анкета представляет собой список вопросов, на которые должен ответить опрашиваемый (респондент). Составлению анкеты предшествует большая исследовательская работа, описанная в трудах по социометрии, имеющая целью учесть психологию респондента, предугадать его реакцию на ту или иную форму вопроса, степень его искренности и возможность сформулировать недвусмысленный ответ. Совокупность ответов должна дать характеристику изучаемой проблемы. Анкетирование является распространенным способом опроса в маркетинге. Его преимущество заключается в том, что в результате обработки ответов может быть получена количественная, статистическая характеристика изучаемого явления, выявлены и смоделированы причинно-следственные связи.
Перечень возможных вопросов не поддается жесткой регламентации. Каждый составитель, в зависимости от целей, объекта исследования и собственных возможностей, предлагает свои набор и формулировки вопросов. Однако при кажущейся анархии существуют определенные правила и нормативы, следовать которым обязан каждый исследователь.
Анкета - это не просто список вопросов. Это весьма тонкий и гибкий инструмент. Она требует тщательной проработки. Все важно: типы и формулировки вопросов, их последовательность и количество, корректность и уместность. На разработку грамотной анкеты может уйти от одной до нескольких недель работы. Перед запуском исследования необходимо провести пробное анкетирование - «пилотаж», целью которого является доведение анкеты до кондиции, устранение ошибок, неточностей, двусмысленностей и наводящих элементов. Объем пилотажного исследования затрагивает, как правило, 5% от предполагаемой численности респондентов.
Составление анкеты - сложный исследовательский процесс, включающий постановку целей, выдвижение гипотез, формулирование вопросов, разработку выборки, определение способа анкетирования и т.д. Анкетный опрос может быть осуществлен в устной форме, т.е. регистратор сам заполняет бланк со слов респондента (экспедиционный способ). Другая форма - письменная (метод саморегистрации), когда респондент заполняет собственноручно анкету, которая рассылается по почте (корреспондентский способ). Недостатком этого (более дешевого) метода является определенный процент неправильно заполненных анкет. Кроме того, часть анкет вообще не возвращается. Иногда даже проводятся контрольные выборочные обходы опрашиваемых. Метод анкетирования применяется также при организации панелей, работе с торговыми корреспондентами. Анкеты заполняются экспертами, специалистами и т.д.
Обычно анкета имеет форму таблицы с напечатанными вопросами и свободным местом для ответа (анкета может быть многостраничной). Традиционная схема включает три блока:
Введение (цель опроса, сведения об опрашивающих: название, характеристика, адрес, гарантия анонимности опроса и доверительность ответов);
Перечень вопросов, характеризующих предмет опроса (основная часть);
Сведения об опрашиваемых (реквизитная часть, или паспор-тичка).
В введении (преамбуле) ъ краткой форме сообщается о том, кто и зачем проводит исследование, о фирме, ее репутации и целях, которые преследует данное обследование. Было бы неплохо сделать акцент на том, что ответы респондентов будут использованы.в их же интересах, и заверить в абсолютной анонимности опроса.
Введение дает инструкцию по заполнению анкеты и ее возврату. Здесь же выражается благодарность за время, любезно уделенное респондентом исследователям. Если опрос проводится по почте, введение может быть написано в виде сопроводительного письма.
При разработке основной части анкеты следует обратить внимание на содержание вопросов, их тип, число, последовательность представления, наличие контрольных вопросов. Содержание вопросов должно характеризовать предмет опроса. Но здесь необходимо найти разумный компромисс между желанием сделать анкету максимально полной и реальной возможностью получить ответы. Основную часть анкеты можно условно разделить на два блока, иногда их называют «рыба» и «детектор».
«Рыба» - это часть, содержащая вопросы, ради которых, собственно говоря, и затевалось исследование.
«Детектор» состоит из контрольных вопросов, призванных проверить внимательность, серьезность и откровенность респондентов при заполнении анкеты, а также порядочность и профессионализм интервьюеров. Здесь могут быть предусмотрены дублирующие вопросы, противоречивые позиции, последовательность вопросов с известными заранее ответами. Только в случае полнейшего доверия между заказчиками, исследователями и интервьюерами и при относительной простоте и толерантности темы исследования можно обойтись без «детектора». Верным способом повысить достоверность исследования является включение в текст анкеты просьбы оставить контактный телефон. Как показывает практика, на нее откликается от 30 до 60% столичных респондентов и от 15 до 25% провинциальных. А этого более чем достаточно для проверки.
В реквизитной части (паспортичке) приводится информация, касающаяся респондентов: возраст, пол, принадлежность к определенному классу, род занятий, семейное положение, имя и адрес - для частных лиц, а для организаций: размер, месторасположение, направление производственно-хозяйственной деятельности, положение респондента в организации, его имя. Кроме того, необходимо идентифицировать сам вопросник, т.е. дать ему название, указать дату, время и место проведения опроса, фамилию интервьюера.
Количество вопросов должно быть оптимальным, т.е. обеспечивающим полноту информации, но не чрезмерным, что удорожает обследование (необходим разумный компромисс). Вопросы должны быть составлены в тактичной форме, чтобы не обидеть или не встревожить респондентов, не вызвать негативную реакцию с их стороны.
Вопросы анкеты классифицируются по степени свободы, характеру ответов и форме вопросов. Они подразделяются на открытые, когда ответ дается в свободной форме, без ограничений, и закрытые, когда предлагается перечень вариантов ответов, из которых выбирается один или несколько («веер» ответов). Часто ставятся альтернативные вопросы, на которые отвечают: «да», «нет», «не знаю». Важную роль в опросе играют вопросы о намерениях и мнениях, в ответах на которые допускается большая степень свободы, чем в вопросах о фактах и действиях. Иногда задаются фильтрующие вопросы, имеющие целью отсечь часть опрашиваемых. Например, если на вопрос «имеется ли у Вас какое-то изделие?» - респондент отвечает «нет», то вопросы об оценке его свойств излишни. И наконец, в любой анкете содержатся контрольные вопросы, используемые для оценки достоверности ответов. Формулировка вопросов - трудоемкая исследовательская работа, требующая высокой квалификации и эрудиции, знания основ социометрии. Это творческая деятельность, не допускающая механического копирования. Вопросник должен быть увязан с планом разработки анкеты, макетами таблиц, вариантами моделей. В разработке анкет используются статистические методы (группировки, корреляционно-регрессионный анализ и т.д.).
Открытый вопрос - вопрос анкеты, с помощью которого собирается первичная маркетинговая информация; он дает возможность опрашиваемому отвечать своими словами, что позволяет последнему чувствовать себя при ответе достаточно свободно, приводить примеры. Открытые вопросы часто даются в начале анкеты для «разминки» респондентов. Однако следует иметь в виду, что они сложны для обработки.
Выделяются пять вариантов открытых вопросов:
Простой открытый вопрос («Что Вы думаете о...?»);
Словесная ассоциация;
Завершение предложения;
Завершение рассказа, рисунка;
Тематический апперцепционный тест (опрашиваемому показывают картинку и просят придумать рассказ о том, что, по его мнению, на ней происходит или может происходить).
В таких вопросах отсутствует предвзятость, стремление навязать определенный ответ. Однако ответы на данный тип вопросов требуют достаточно больших затрат времени, так как обычно вызывают новые, дополнительные вопросы. Кроме того, полученные ответы могут быть интерпретированы по-разному. Поэтому их не часто используют при анкетировании.
Закрытый вопрос - вопрос анкеты, с помощью которого со- - бирается первичная маркетинговая информация; он включает все возможные варианты ответов, из которых опрашиваемый выбирает свой. Существует три типа закрытых вопросов:
Альтернативный (дихотомический). Предполагает ответ типа «да» или «нет», третьего не дано (простой, закрытый, альтернативный вопрос). Альтернативные вопросы очень просты в применении. Их интерпретация проста и однозначна;
Многовариантного выбора, например: «Где Вы храните свои сбережения?», где существуют следующие варианты ответов: «в банке»; «в страховой компании»; «в строительной компании»; «дома», из которых можно выбрать (зачеркнуть, оставить, обвести в кружок). Основным недостатком вопросов с многовариантным выбором являются трудности формулирования всех возможных вариантов ответов, характеристик или факторов;
Шкальный вопрос. Предполагает наличие какой-либо шкалы: оценочной (отлично, хорошо, удовлетворительно, плохо, ужасно); важности (исключительное, важное, среднее, небольшое, ничтожное); шкалы Лейкерта (абсолютно согласен, не уверен, не согласен, неправда).
По форме вопросов выделяются две группы: 1) о фактах или действиях; 2) о мнениях и намерениях. В частности, к первым относятся вопросы, характеризующие сделанную покупку (ее вид и размер), наличия товара в пользовании респондента, расходов на покупки, цен, по которым приобретен товар, и т.п. Очень сложно формулировать вопросы о намерениях и мнениях покупателей, которые могут и меняться, и не быть жестко сформулированными.
Важная роль в анкете отводится так называемым фильтрующим вопросам, которые задаются, если часть вопросов относится не ко всем опрашиваемым. Например: «Имеется ли у Вас данный товар?» Если «нет», то «Собираетесь ли Вы его приобретать?» Ясно, что второй вопрос и все последующие адресуются лишь тем, кто отрицательно ответил на первый.
Иногда вводятся так называемые табличные вопросы - соединение различных вопросов, оформление их в виде таблицы.
В качестве иллюстрации на рис. 2.4 представлен макет анкеты, цель которой - получить информацию от потребителей о рынке одежды.
Продолжение
Что касается последовательности представления вопросов в анкете, то не рекомендуется начинать вопросник с трудных или персональных вопросов или с вопросов, не интересных для респондентов; такие вопросы рекомендуется ставить в середине или в конце анкеты. Первый вопрос должен заинтересовать опрашиваемых. Желательно, чтобы вопросы излагались в определенной логической последовательности, позволяющей как можно полнее рассматривать отдельные темы. Переход к следующей теме следует начинать с некоторой вступительной фразы. Вопросник не должен содержать вопросы, на которые не захотят отвечать, невозможно ответить или не требуют ответа. Иногда можно получить желаемую информацию с помощью косвенных вопросов. Так, вместо того чтобы задать прямой вопрос о доходах респондента, спрашивают, к какой социальной группе он себя относит (к высокообеспеченному населению, обеспеченному, среднеобеспеченному, низкообеспеченному и т. п.).
Формулировка вопросов - сложная и трудоемкая работа, требующая высокой квалификации, знания экономики, статистики и социометрии, определенных литературных способностей. Несмотря на то что существуют единые принципы анкетирования, невозможно механически копировать имеющиеся образцы.
Особое внимание следует обращать на оформление анкеты, которое иногда оказывается неудачным, неудобным: смысловые блоки не отделены друг от друга, выбран плохо читаемый шрифт, не предусмотрено место для кодов и т.п. Если вовремя не обратить внимание на эти факторы, работа интервьюера, а затем кодировщика, оператора будет затруднена и может даже привести к ошибкам.
Серьезной проблемой может оказаться рассылка/раздача анкет. Во время выставок-продаж, в зале магазина, на улице и т.п. анкеты раздаются всем желающим с просьбой заполнить их на месте и вернуть любому из служащих. По существу это случайная, бесповторная выборка, характеристики которой будут определены после возвращения анкет. Естественно, эти анкеты должны включать минимум вопросов и быть простыми по содержанию. Очень часто анкетирование проводят во время пробного маркетинга. Иногда анкета вкладывается в виде отрывного ярлыка в какое-либо популярное издание. Если вы имеете хорошие связи с руководством некоего предприятия или учреждения, то оно может содействовать вам в распространении анкеты среди своих работников.
Рис. 2.5. Схема организации анкетирования
Широко используемый способ – раскладка анкет по почтовым ящикам (возможно, по договоренности с почтальоном). Обычно в этом случае применяется или механическая выборка (например, каждый десятый адресат), или серийная (отбираются дома, в которых осуществляется сплошная раздача анкет). В любом случае надо предусмотреть возможность невозвращения анкет (до 50% от общего числа). Возврат анкет по почте заранее оплачивается.
Учитывая, что разработка анкет - творческая задача, ее план составляется заранее и обсуждается, увязывается с общими задачами и целями маркетингового исследования. Следующая схема отражает определенную последовательность действий в процессе анкетирования (рис.2.5).
Затраты на анкетирование достаточно высоки. Так, по данным консалтинговой фирмы МсКшзеу апй Сотрапу, эти затраты зависят от числа респондентов (табл. 2.7).
Таблица 2.7 Затраты на анкетирование
С финансовой точки зрения более эффективны большие массивы респондентов, и это подтверждает расчет расходов на одного респондента.
КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Что называется опросом? Какие виды опросов Вам известны?
2. Для каких целей образуются фокус-группы?
3. Каковы критерии привлечения участников в фокус-группы?
4. Какие требования предъявляются к интервьюеру?
5. Как строится анкета? Назовите ее структуры.
ТЕСТЫ
1. Панель-это:
а) деревянная обшивка кабинета менеджера фирмы;.
б) часть улицы;
в) постоянная выборочная совокупность лиц/предприятий.
2. Омнибус - это:
а) двухэтажный автобус в Англии;
б) панель с изменяющейся программой опроса;
в) панель с постоянной программой опроса.
3. Анкетирование - это:
а) опрос в форме письменных ответов на вопросы, приведенные в виде таблицы;
б) изучение биографических данных респондента;
в) составление перечня вопросов.
4. Контент-анализ - это:
а) количественные методы анализа документов;
б) библиографическая справка;
в) поиск источника сведений в каталоге.
5. Веер вопросов/ответов имеет целью:
а) дать перечень открытых вопросов, расположенных в логической последовательности;
б) выбрать один или несколько вариантов из перечня закрытых вопросов с подсказанными ответами;
в) дать перечень вопросов, на которые даются ответы в виде цифр.
Личный контакт исследователя с респондентом при анкетировании не обязателен. Анкеты можно рассылать по почте или с помощью других лиц. Среди методов опроса анкетирование очень удобно, с его помощью можно быстро выяснить мнения большой группы опрашиваемых. Кроме этого он может применяться на соревнованиях, совещаниях, собраниях, занятиях и др. Анализировать результаты анкетирования удобно методом математической статистики.
Анкетирование относится к типично опросным методам и не имеет непосредственного общения и разговора между исследователем и респондентом. Такая особенность анкетирования дает возможность ряду исследователей утверждать, что его трудно отнести к собственно психологическим исследовательским методам.
Даже при полной искренности испытуемого получаемая информация является декларативной, и считаться надежной и достоверной не может. А с учетом того, что на содержание высказываний испытуемого влияние оказывает неосознаваемая мотивация и установка, то есть смысл считать, что анкетирование метод не психологический. Но, тем не менее, как дополнительный метод, может использоваться при проведении социально-психологических исследований.
Попробуем не согласиться с такой оценкой анкетирования:
- В психологии анкетирование нацелено на получение главным образом психологической информации. Интерпретации психологических данных способствуют вспомогательные сведения социологического, демографического, экономического характера, дополняющие психологическую картину;
- Несмотря на то, что анкетирование сводит к минимуму общение между исследователем и респондентом, тем не менее, представляет собой «дуэль» между ними. Составитель анкеты идет на массу ухищрений, чтобы чисто психологически воздействовать на респондента.
- Анкетирование упрекают в ненадежности и недостоверности получаемой информации,потому что на ответы респондента влияет неосознаваемая мотивация и установка. Но, это упрек можно адресовать любому другому субъективному эмпирическому методу вплоть до лабораторного эксперимента. И в других методах от факторов мотивации и установки никуда не денешься. Важно отметить еще и тот факт, что навряд ли кто-то решится отнести к непсихологическим методам личностные опросники;
- Со времен Ф. Гальтона метод анкетирования, даже если он пришел из других наук, прошел такой путь адаптации к психологической проблематике, что отделить его от семейства психологических методов уже невозможно;
- Являясь разновидностью опроса, анкетирование – это метод общенаучного характера и общенаучного значения, поэтому говорить о нем, как непсихологическом методе также некорректно, как об эксперименте или наблюдении.
Главный компонент анкетирования
Львиная доля успеха или неуспеха опроса зависит от анкеты, которая является главным компонентом этого метода. При составлении анкеты необходимо:
- Хорошо знать исследуемую проблему;
- Хорошо уяснить цель опроса;
- Учесть возраст и подготовленность респондентов;
- Продумать место и время проведения опроса;
- Обязательно проконсультироваться со специалистом;
- Выявить зависимость от пола, стажа, социального положения респондентов.
Анкету можно сравнить с однонаправленным каналом, опосредующим общение, которая в заочных опросах является единственным представителем исследователя и единственным звеном, связывающим исследователя с респондентом.
Процедура строго регламентирована – «вопрос-ответ». Никакая интерпретация здесь со стороны анкетера не допускается, опрос идет по намеченному пути, и уклониться от намеченной цели нельзя.
Стандартный характер анкет является их слабой стороной и, кроме того, исследователь не знает, как к ней отнесутся, заполнят ли её и вернут ли назад. Письменные анкеты, полученные от респондентов, анализируются, обрабатываются методом математической статистики.
Анкета должна быть построена так, чтобы с одной стороны, не подсказывать ответ, а с другой стороны – расположить респондентов к откровенности. Анкеты могут быть анонимными.
Клссификация вопросов анкетирования
Вопросы анкетирования классифицируются следующим образом:
- По содержанию. Вопросы могут быть прямые и косвенные. Но, бывает так, что респонденты не всегда охотно отвечают на прямые вопросы и, косвенные вопросы в этом случае, будут намного предпочтительнее;
- По степени свободы ответа. Открытые вопросы не ограничивают ответ респондента и дают возможность получать ответы в естественной форме, содержащие обоснование мотивов. Открытые вопросы, носящие часто пространственный характер, затрудняют обработку полученных результатов. Закрытые вопросы ограничивают определенным числом вариантов ответов;
- По цели. Этой целью может быть – получение новой информации, подтверждение каких-то данных, проверка на лживость и др.
- По форме вопросы могут быть – дезъюктивные с одним вариантом ответа, конъюктивные – выбор нескольких вариантов, шкалированные вопросы для перевода качественного показателя в количественный показатель.
Вопросы должны соответствовать образовательному уровню респондентов, быть точными и лаконичными, взаимосвязаны по содержанию и частично перекрывать друг друга. Подобное перекрытие позволяет проверить достоверность ответов. Ниже предлагается примерная модель анкеты.
Анкетирование как метод исследования все чаще используется в современном мире. Он помогает собрать нужную информацию.
Данная статья расскажет о том, какие цели преследует данный вид исследования, как создаются анкеты и опросные листы, чего следует избегать при их составлении и как анализировать результаты.
Анкетирование в социологии — общее понятие, цели и задачи
Социальное анкетирование является полезным инструментом для получения информации от людей. То есть, основная цель – собрать данные.
Чем отличается анкетирование от тестирования? Тестирование – это испытание людей на определенный уровень знаний, умений или общую интеллектуальную развитость.
Итак, тестирование имеет другую цель, по сравнению с анкетированием. Тестирование чаще всего используется в педагогике.
Анкетер – это человек, который проводит анкетирование; респондент (или информант) – тот, кто заполняет анкету.
Есть несколько различных задач, которые стоят перед анкетированием:
- Узнать новую теоретическую информацию.
- Узнать больше о целевой аудитории. Анкеты, определяющие, чего хотят потребители, что им нужно, и что им нравится, пригодятся при сегментировании списков на основе этих факторов. Чем более узкими и конкретными являются списки, тем выше шансы на успешный коэффициент конверсии.
- Получить отзывы о недавнем событии, продукте или услуге : если аудитория высказывает свое мнение, это поможет добиться больших успехов в будущих начинаниях.
- Проверить знания. Интервьюирование может использоваться (но более редко) для определения уровня знаний. Для этого чаще используют тестирование.
- Уточнить точку зрения. Анкеты, используемые в качестве пояснения, имеют большое значение для уменьшения недопонимания и, следовательно, более эффективного общения в дальнейшем.
- Установить позитивные отношения : когда открываются линии связи, это показывает респондентам, что их мнение ценят.
Виды анкетирования
В зависимости от количества респондентов анкетирование бывает:
- индивидуальное — проводится с одним участником;
- групповое — анкеты раздают небольшому количеству людей, которые находятся в одном помещении и проходят пункты вопросника.
В зависимости от способа распространения вопросники делятся на такие категории:
- Компьютерная анкета — участникам предлагают заполнить анкету, которая отправляется по почте. Преимущества такого вида включают в себя их недорогую цену, экономию времени, респондент не чувствует давления, поэтому может ответить, когда у него есть время, давая более точные ответы. Однако, главный недостаток заключается в том, что иногда информанты не удосуживаются ответить и могут просто игнорировать опрос.
- Телефонный опросник — исследователь может позвонить потенциальным участникам с целью попросить их ответить на вопросы. Преимущество телефонной анкеты в том, что она может быть заполнена за короткий промежуток времени. Основным недостатком является то, что большинство людей не чувствуют себя комфортно, передавая информацию по телефону.
- Внутренний опрос — этот вид предполагает, что исследователь посещает информантов в их домах или на рабочих местах. Преимущество внутреннего опроса заключается в том, что люди могут уделять больше внимания всем блокам вопросника. Тем не менее внутренние исследования также имеют ряд недостатков, которые включают в себя длительность и дороговизну, а респонденты, возможно, не захотят пригласить анкетера в свой дом или на рабочее место по различным причинам.
- Почтовая анкета — вопросники такого рода предполагают, что исследователь отправляет респонденту психологический опросник по почте, часто с приложением предварительно оплаченного конверта. Почтовые анкеты имеют преимущество в предоставлении более точного ответа, потому что участники могут ответить в свободное время. Недостатки заключаются в том, что такой метод дорогой, отнимает много времени и иногда письма оказываются в корзине.
Отдельно выделяют двухтуровое анкетирование. В первом туре проводится обычный опрос нескольких участников. А во втором туре участники обмениваются вопросниками и анализируют результаты друг друга.
Анкета и ее структура
Анкета представляет собой структурированную форму, состоящую из формализованного набора вопросов, предназначенных для сбора информации по определенным темам от одного или нескольких респондентов.
Другими словами, это методика сбора данных, при которой информантов просят дать некоторую информацию. Независимо от формы (письменный или печатный), опрос имеет определенную структуру.
Вводная часть
В этой части важно гарантировать анонимность и безопасность данных, а так же нужно заранее поблагодарить респондента. Шаблон вводной части изображен ниже.
Паспортичка
Это блок, в котором участник рассказывает про себя: возраст, пол, социальная принадлежность, профессия, род занятий и другие демографические данные. Паспортичка может размещаться как вначале, так и в конце опросника. Пример приведен ниже.
Основная часть
Это самая большая часть опроса, которая состоит из блоков вопросов разной формы и сложности. Образец основной части изображен ниже.
Виды вопросов для анкеты
Анкеты могут включать в себя следующие типы:
Как составить анкету для социологического опроса
Желательно избегать определенных типов вопросов, таких как:
- Гипотетические.
Следует избегать формулировок, вводящих в заблуждение предположениями и фантазиями. Варианты:
- неправильно: «Как должна работать наша служба поддержки?»;
- правильно: «Что Вас не устраивает в работе нашей службы поддержки?»;
- Смущающие.
Не нужно заставлять респондентов чувствовать себя неловко, расспрашивая подробности о личных проблемах, которые, в свою очередь, могут привести к потере доверия. Если же нужно включить такой пункт, то важно показать участнику, что его не будут осуждать за ответ. Примеры:
- неправильно: «Вы помогаете бедным людям?»;
- правильно: «Одни люди считают, что не обязательно оказывать финансовую помощь трудоспособным бедным. А как Вы считаете?»;
- Чрезвычайно положительные/отрицательные.
Необходимо тщательно продумать формулировку, чтобы избежать резких положительных или отрицательных оттенков. Примеры:
- неправильно: «Разве Вы не удовлетворены своей работой?»;
- правильно: «Вы удовлетворены своей работой?».
Правила составления анкеты
Разработка анкеты – это многоэтапный процесс, требующий внимания к деталям на каждом этапе.
Следующие правила помогут упростить этот процесс:
- Решить, что нужно охватить в вопроснике. Четкое определение темы имеет первостепенное значение, поскольку это является основным шагом при разработке.
- Не менять слова. Важно, чтобы слова или фразы, которые используются, были сформулированы максимально просто. Если пункты неясны, информанты могут просто выбрать любые варианты, что приведет к неточным данным.
- Задавать только один вопрос за раз. Варианты, когда в одном вопросе, задаются сразу два, будут давать не точный результат, потому что могут получится разные ответы.
- Правильно формулировать пункты анкеты с вариантами ответов: при разработке анкетер должен быть гибким с точки зрения «выбора варианта». Иногда респонденты не обязательно хотят выбирать один из вариантов ответа, предоставленных создателем опроса, в такой ситуации полезно иметь «другой» вариант.
- Открытый или закрытый вопрос — это сложный выбор: анкетер может оказаться в ситуации, когда потребуется сделать четкий выбор между открытым или закрытым видом. Но решение в этом случае нужно принять обдуманно.
- Важно знать аудиторию : как правило, исследователь должен знать свою целевую аудиторию. Например, если целевой аудиторией является россияне, то отправка вопросника на иностранном языке не даст желаемых результатов.
- Чувствительные вопросы в середине опросника могут привести к тому, что участники не закончат опрос. Лучше всего блоки личных и демографических данных располагать в конце.
Как оформить результаты анкетирования
Оформление итогов опроса предполагает визуализацию данных. Для этого используют различные типы диаграмм в зависимости от видов анкет.
Если вопросы предлагают два варианта (например, «да» и «нет»), круговая диаграмма – самый простой вариант представления данных.
Если нужно сравнить показатели отклика нескольких групп, лучше выбрать гистограмму. Связку выровненных столбцов гораздо проще сравнить, чем несколько круговых диаграмм. При этом важно обозначить каждый столбец процентом для ясности.
В вопросах со шкалой оценок участникам предлагается спектр возможных ответов. Столбчатая диаграмма с разбивкой на 100% – самый простой вариант для визуализации собранных данных.
В дополнение к другим результатам опроса можно использовать итоги демографических опросов как часть анализа. Включая такие факторы, как возраст, пол, уровень дохода и даже географическое положение, можно получить интересную инфографику.
Визуализация данных опроса на карте – интересный способ включить демографический компонент в инфографику.
Гистограммы, с другой стороны, могут использоваться, чтобы показать возрастное распределение определенной популяции.
Обработка результатов открытых вопросов представляет собой небольшую проблему. Чтобы визуализировать итоги, нужно каким-то образом сгруппировать ответы, используя общие ключевые слова или другие факторы.
Облака слов, хотя некоторые эксперты по визуализации осуждают их использование, могут способствовать получению сводных данных.
В противном случае придется провести более интенсивный ручной анализ: просмотреть открытые ответы и создать категории. После этого можно представить результаты в виде гистограммы, подобно этой, которая показывает процент комментариев, попадающих в каждую категорию.
Плюсы и минусы анкетирования
Преимущества:
- Анкеты являются одним из наиболее экономически эффективных и доступных способов сбора количественных данных. Особенно онлайн и мобильные опросы имеют очень низкую стоимость и щедрый охват.
- Они практичны. Помимо того, что вопросники являются недорогими и гибкими, они также являются практическим способом сбора данных. Они могут быть нацелены на группы по конкретному выбору и управляться различными способами.
- Масштабируемость. Опросники позволяют собирать информацию от большой аудитории.
- Научный анализ и прогнозы. Чем больше данных удается собрать, тем яснее станет картина. Вся эта информация дает маркетологам возможность создавать новые стратегии и следить за тенденциями в аудитории. Анализ отчетов может использоваться для составления прогнозов и даже создания контрольных показателей для последующих вопросников.
- Анонимность. В социологических опросах не нужно указывать личность. Но для обеспечения чувства точной конфиденциальности лучше использовать компьютерное анкетирование. Анонимное компьютерное интервьюирование дает самые точные результаты.
- Легкая стандартизация. Исследователь может быть уверен, что все участники выборки отвечают на одни и те же пункты.
Проведение анкетирования имеет такие недостатки:
- Используя почтовое анкетирование, исследователь никогда не может быть уверен, что тот, кому была отправлена психологическая анкета, действительно заполнит ее.
- Исследователь не может быть полностью уверен, что задаваемые вопросы значат для всех информантов то же, что и для исследователя.
- Нечестность. Люди не могут быть полностью правдивыми в своих ответах. Это может произойти по разным причинам, в том числе из-за предвзятости социальной желательности и попыток защитить частную жизнь.
- Некоторые данные трудно анализировать. Вопросники дают много данных. Открытые вопросы допускают индивидуальные ответы, которые не могут быть определены количественно и должны быть рассмотрены человеком.
- Пропущенные пункты. При использовании вопросников есть вероятность, что некоторые пункты будут проигнорированы.
Самостоятельной и очень распространенной формой опроса является анкетирование, т.е. заполнение заранее подготовленных бланков с перечнем вопросов.
Анкета представляет собой список вопросов, на которые должен ответить опрашиваемый (респондент). Составлению анкеты предшествует большая исследовательская работа, описанная в трудах по социометрии, имеющая целью учесть психологию респондента, предугадать его реакцию на ту или иную форму вопроса, степень его искренности и возможность сформулировать недвусмысленный ответ. Совокупность ответов должна дать характеристику изучаемой проблемы. Анкетирование является распространенным способом опроса в маркетинге. Его преимущество заключается в том, что в результате обработки ответов может быть получена количественная, статистическая характеристика изучаемого явления, выявлены и смоделированы причинно-следственные связи.
Перечень возможных вопросов не поддается жесткой регламентации. Каждый составитель, в зависимости от целей, объекта исследования и собственных возможностей, предлагает свои набор и формулировки вопросов. Однако при кажущейся анархии существуют определенные правила и нормативы, следовать которым обязан каждый исследователь.
Анкета - это не просто список вопросов. Это весьма тонкий и гибкий инструмент. Она требует тщательной проработки. Все важно: типы и формулировки вопросов, их последовательность и количество, корректность и уместность. На разработку грамотной анкеты может уйти от одной до нескольких недель работы. Перед запуском исследования необходимо провести пробное анкетирование - «пилотаж», целью которого является доведение анкеты до кондиции, устранение ошибок, неточностей, двусмысленностей и наводящих элементов. Объем пилотажного исследования затрагивает, как правило, 5% от предполагаемой численности респондентов.
Составление анкеты - сложный исследовательский процесс, включающий постановку целей, выдвижение гипотез, формулирование вопросов, разработку выборки, определение способа анкетирования и т.д. Анкетный опрос может быть осуществлен в устной форме, т.е. регистратор сам заполняет бланк со слов респондента (экспедиционный способ). Другая форма - письменная (метод саморегистрации), когда респондент заполняет собственноручно анкету, которая рассылается по почте (корреспондентский способ). Недостатком этого (более дешевого) метода является определенный процент неправильно заполненных анкет. Кроме того, часть анкет вообще не возвращается. Иногда даже проводятся контрольные выборочные обходы опрашиваемых. Метод анкетирования применяется также при организации панелей, работе с торговыми корреспондентами. Анкеты заполняются экспертами, специалистами и т.д.
Обычно анкета имеет форму таблицы с напечатанными вопросами и свободным местом для ответа (анкета может быть многостраничной). Традиционная схема включает три блока:
Введение (цель опроса, сведения об опрашивающих: название, характеристика, адрес, гарантия анонимности опроса и доверительность ответов);
Перечень вопросов, характеризующих предмет опроса (основная часть);
Сведения об опрашиваемых (реквизитная часть, или паспор-тичка).
В введении (преамбуле) ъ краткой форме сообщается о том, кто и зачем проводит исследование, о фирме, ее репутации и целях, которые преследует данное обследование. Было бы неплохо сделать акцент на том, что ответы респондентов будут использованы.в их же интересах, и заверить в абсолютной анонимности опроса.
Введение дает инструкцию по заполнению анкеты и ее возврату. Здесь же выражается благодарность за время, любезно уделенное респондентом исследователям. Если опрос проводится по почте, введение может быть написано в виде сопроводительного письма.
При разработке основной части анкеты следует обратить внимание на содержание вопросов, их тип, число, последовательность представления, наличие контрольных вопросов. Содержание вопросов должно характеризовать предмет опроса. Но здесь необходимо найти разумный компромисс между желанием сделать анкету максимально полной и реальной возможностью получить ответы. Основную часть анкеты можно условно разделить на два блока, иногда их называют «рыба» и «детектор».
«Рыба» - это часть, содержащая вопросы, ради которых, собственно говоря, и затевалось исследование.
«Детектор» состоит из контрольных вопросов, призванных проверить внимательность, серьезность и откровенность респондентов при заполнении анкеты, а также порядочность и профессионализм интервьюеров. Здесь могут быть предусмотрены дублирующие вопросы, противоречивые позиции, последовательность вопросов с известными заранее ответами. Только в случае полнейшего доверия между заказчиками, исследователями и интервьюерами и при относительной простоте и толерантности темы исследования можно обойтись без «детектора». Верным способом повысить достоверность исследования является включение в текст анкеты просьбы оставить контактный телефон. Как показывает практика, на нее откликается от 30 до 60% столичных респондентов и от 15 до 25% провинциальных. А этого более чем достаточно для проверки.
В реквизитной части (паспортичке) приводится информация, касающаяся респондентов: возраст, пол, принадлежность к определенному классу, род занятий, семейное положение, имя и адрес - для частных лиц, а для организаций: размер, месторасположение, направление производственно-хозяйственной деятельности, положение респондента в организации, его имя. Кроме того, необходимо идентифицировать сам вопросник, т.е. дать ему название, указать дату, время и место проведения опроса, фамилию интервьюера.
Количество вопросов должно быть оптимальным, т.е. обеспечивающим полноту информации, но не чрезмерным, что удорожает обследование (необходим разумный компромисс). Вопросы должны быть составлены в тактичной форме, чтобы не обидеть или не встревожить респондентов, не вызвать негативную реакцию с их стороны.
Вопросы анкеты классифицируются по степени свободы, характеру ответов и форме вопросов. Они подразделяются на открытые, когда ответ дается в свободной форме, без ограничений, и закрытые, когда предлагается перечень вариантов ответов, из которых выбирается один или несколько («веер» ответов). Часто ставятся альтернативные вопросы, на которые отвечают: «да», «нет», «не знаю». Важную роль в опросе играют вопросы о намерениях и мнениях, в ответах на которые допускается большая степень свободы, чем в вопросах о фактах и действиях. Иногда задаются фильтрующие вопросы, имеющие целью отсечь часть опрашиваемых. Например, если на вопрос «имеется ли у Вас какое-то изделие?» - респондент отвечает «нет», то вопросы об оценке его свойств излишни. И наконец, в любой анкете содержатся контрольные вопросы, используемые для оценки достоверности ответов. Формулировка вопросов - трудоемкая исследовательская работа, требующая высокой квалификации и эрудиции, знания основ социометрии. Это творческая деятельность, не допускающая механического копирования. Вопросник должен быть увязан с планом разработки анкеты, макетами таблиц, вариантами моделей. В разработке анкет используются статистические методы (группировки, корреляционно-регрессионный анализ и т.д.).
Открытый вопрос - вопрос анкеты, с помощью которого собирается первичная маркетинговая информация; он дает возможность опрашиваемому отвечать своими словами, что позволяет последнему чувствовать себя при ответе достаточно свободно, приводить примеры. Открытые вопросы часто даются в начале анкеты для «разминки» респондентов. Однако следует иметь в виду, что они сложны для обработки.
Выделяются пять вариантов открытых вопросов:
Простой открытый вопрос («Что Вы думаете о...?»);
Словесная ассоциация;
Завершение предложения;
Завершение рассказа, рисунка;
Тематический апперцепционный тест (опрашиваемому показывают картинку и просят придумать рассказ о том, что, по его мнению, на ней происходит или может происходить).
В таких вопросах отсутствует предвзятость, стремление навязать определенный ответ. Однако ответы на данный тип вопросов требуют достаточно больших затрат времени, так как обычно вызывают новые, дополнительные вопросы. Кроме того, полученные ответы могут быть интерпретированы по-разному. Поэтому их не часто используют при анкетировании.
Закрытый вопрос - вопрос анкеты, с помощью которого со- - бирается первичная маркетинговая информация; он включает все возможные варианты ответов, из которых опрашиваемый выбирает свой. Существует три типа закрытых вопросов:
Альтернативный (дихотомический). Предполагает ответ типа «да» или «нет», третьего не дано (простой, закрытый, альтернативный вопрос). Альтернативные вопросы очень просты в применении. Их интерпретация проста и однозначна;
Многовариантного выбора, например: «Где Вы храните свои сбережения?», где существуют следующие варианты ответов: «в банке»; «в страховой компании»; «в строительной компании»; «дома», из которых можно выбрать (зачеркнуть, оставить, обвести в кружок). Основным недостатком вопросов с многовариантным выбором являются трудности формулирования всех возможных вариантов ответов, характеристик или факторов;
Шкальный вопрос. Предполагает наличие какой-либо шкалы: оценочной (отлично, хорошо, удовлетворительно, плохо, ужасно); важности (исключительное, важное, среднее, небольшое, ничтожное); шкалы Лейкерта (абсолютно согласен, не уверен, не согласен, неправда).
По форме вопросов выделяются две группы: 1) о фактах или действиях; 2) о мнениях и намерениях. В частности, к первым относятся вопросы, характеризующие сделанную покупку (ее вид и размер), наличия товара в пользовании респондента, расходов на покупки, цен, по которым приобретен товар, и т.п. Очень сложно формулировать вопросы о намерениях и мнениях покупателей, которые могут и меняться, и не быть жестко сформулированными.
Важная роль в анкете отводится так называемым фильтрующим вопросам, которые задаются, если часть вопросов относится не ко всем опрашиваемым. Например: «Имеется ли у Вас данный товар?» Если «нет», то «Собираетесь ли Вы его приобретать?» Ясно, что второй вопрос и все последующие адресуются лишь тем, кто отрицательно ответил на первый.
Иногда вводятся так называемые табличные вопросы - соединение различных вопросов, оформление их в виде таблицы.
В качестве иллюстрации на рис. 2.4 представлен макет анкеты, цель которой - получить информацию от потребителей о рынке одежды.
Продолжение
Что касается последовательности представления вопросов в анкете, то не рекомендуется начинать вопросник с трудных или персональных вопросов или с вопросов, не интересных для респондентов; такие вопросы рекомендуется ставить в середине или в конце анкеты. Первый вопрос должен заинтересовать опрашиваемых. Желательно, чтобы вопросы излагались в определенной логической последовательности, позволяющей как можно полнее рассматривать отдельные темы. Переход к следующей теме следует начинать с некоторой вступительной фразы. Вопросник не должен содержать вопросы, на которые не захотят отвечать, невозможно ответить или не требуют ответа. Иногда можно получить желаемую информацию с помощью косвенных вопросов. Так, вместо того чтобы задать прямой вопрос о доходах респондента, спрашивают, к какой социальной группе он себя относит (к высокообеспеченному населению, обеспеченному, среднеобеспеченному, низкообеспеченному и т. п.).
Формулировка вопросов - сложная и трудоемкая работа, требующая высокой квалификации, знания экономики, статистики и социометрии, определенных литературных способностей. Несмотря на то что существуют единые принципы анкетирования, невозможно механически копировать имеющиеся образцы.
Особое внимание следует обращать на оформление анкеты, которое иногда оказывается неудачным, неудобным: смысловые блоки не отделены друг от друга, выбран плохо читаемый шрифт, не предусмотрено место для кодов и т.п. Если вовремя не обратить внимание на эти факторы, работа интервьюера, а затем кодировщика, оператора будет затруднена и может даже привести к ошибкам.
Серьезной проблемой может оказаться рассылка/раздача анкет. Во время выставок-продаж, в зале магазина, на улице и т.п. анкеты раздаются всем желающим с просьбой заполнить их на месте и вернуть любому из служащих. По существу это случайная, бесповторная выборка, характеристики которой будут определены после возвращения анкет. Естественно, эти анкеты должны включать минимум вопросов и быть простыми по содержанию. Очень часто анкетирование проводят во время пробного маркетинга. Иногда анкета вкладывается в виде отрывного ярлыка в какое-либо популярное издание. Если вы имеете хорошие связи с руководством некоего предприятия или учреждения, то оно может содействовать вам в распространении анкеты среди своих работников.
Рис. 2.5. Схема организации анкетирования
Широко используемый способ – раскладка анкет по почтовым ящикам (возможно, по договоренности с почтальоном). Обычно в этом случае применяется или механическая выборка (например, каждый десятый адресат), или серийная (отбираются дома, в которых осуществляется сплошная раздача анкет). В любом случае надо предусмотреть возможность невозвращения анкет (до 50% от общего числа). Возврат анкет по почте заранее оплачивается.
Учитывая, что разработка анкет - творческая задача, ее план составляется заранее и обсуждается, увязывается с общими задачами и целями маркетингового исследования. Следующая схема отражает определенную последовательность действий в процессе анкетирования (рис.2.5).
Затраты на анкетирование достаточно высоки. Так, по данным консалтинговой фирмы МсКшзеу апй Сотрапу, эти затраты зависят от числа респондентов (табл. 2.7).
Таблица 2.7 Затраты на анкетирование
С финансовой точки зрения более эффективны большие массивы респондентов, и это подтверждает расчет расходов на одного респондента.
КОНТРОЛЬНЫЕ ВОПРОСЫ
1. Что называется опросом? Какие виды опросов Вам известны?
2. Для каких целей образуются фокус-группы?
3. Каковы критерии привлечения участников в фокус-группы?
4. Какие требования предъявляются к интервьюеру?
5. Как строится анкета? Назовите ее структуры.
ТЕСТЫ
1. Панель-это:
а) деревянная обшивка кабинета менеджера фирмы;.
б) часть улицы;
в) постоянная выборочная совокупность лиц/предприятий.
2. Омнибус - это:
а) двухэтажный автобус в Англии;
б) панель с изменяющейся программой опроса;
в) панель с постоянной программой опроса.
3. Анкетирование - это:
а) опрос в форме письменных ответов на вопросы, приведенные в виде таблицы;
б) изучение биографических данных респондента;
в) составление перечня вопросов.
4. Контент-анализ - это:
а) количественные методы анализа документов;
б) библиографическая справка;
в) поиск источника сведений в каталоге.
5. Веер вопросов/ответов имеет целью:
а) дать перечень открытых вопросов, расположенных в логической последовательности;
б) выбрать один или несколько вариантов из перечня закрытых вопросов с подсказанными ответами;
в) дать перечень вопросов, на которые даются ответы в виде цифр.