Открытые вопросы в массовых исследованиях
В то же время стиль проведения опроса, выбранный каждым интервьюером, не влияет на адекватность восприятия ответа (χ2=3,957; p<0,266)24. Следовательно, темы, которые интервьюеры не включали в анкетный ответ, в основном были нерелевантны поставленному вопросу, на чем и настаивает Г. Иган, пропагандируя активное восприятие в любом виде коммуникации [17]. Эмпатический стиль ведет к наиболее точной записи ответа (см. табл. 14). Во многих исследованиях доказывается, что он также способствует более полному раскрытию собеседника и доставляет ему удовольствие от общения [6, 33, 39, 66].
Хотя связь между вопросами и дословной записью ответов на них существует, ее уровень значимости не слишком высок (F=2,751; p<0,006). Тем более, что 21-й и 49-й вопросы, по которым среднее значение коэффициента устойчивости выше (табл. 15), как правило, сопровождались либо короткими ответами, либо отказами отвечать. Это говорит о том, что интервьюеры одинаково подходят к процедуре регистрации всех открытых вопросов.
Таблица 15
Зависимость коэффициента устойчивости от анкетного вопроса
| Номер вопроса | Частота | Среднее значение, kt |
Стандартное отклонение |
| 16 | 41 | 0,64 | 0,34 |
| 17 | 41 | 0,58 | 0,28 |
| 20 | 41 | 0,68 | 0,33 |
| 21 | 40 | 0,80 | 0,28 |
| 23 | 41 | 0,60 | 0,33 |
| 25 | 41 | 0,69 | 0,30 |
| 26 | 40 | 0,65 | 0,34 |
| 44 | 26 | 0,73 | 0,30 |
| 49 | 41 | 0,80 | 0,24 |
| Всего: | 352 | 0,69 | 0,31 |
Поскольку точная запись открытых ответов встречается нечасто, аналитику приходится рассматривать их более или менее адекватные интерпретации интервьюерами. Отсутствие дополнительных инструкций и рекомендаций приводит к тому, что интервьюеры самостоятельно решают, соответствует ответ вопросу или нет. Хуже обстоит дело тогда, когда интервьюер подходит к делу формально и считает любые реплики респондента ответом, что приводит к нагромождению бессмысленных, с точки зрения исследовательского вопроса, высказываний. Д. Фрей считает, что пассивный слушатель не может корректно фиксировать высказывания собеседника, поэтому он предлагает интервьюерам активно использовать методы стимулирования или ограничения ответов [24 p. 74]. Незначительная доля содержательных ответов на открытые вопросы, отмечаемая во многих методических экспериментах [15, 24, 62, 63], вызвана не особенностями открытой формы, а недостаточной подготовкой интервьюеров и несовершенством процедуры предъявления и регистрации таких вопросов. Аналитику нет необходимости видеть весь репертуар ответа, полученного в стандартизованном интервью. Ему нужно выделить лишь значимые переменные в открытом вопросе, поэтому надо заранее думать не только над его формулировкой, но и над его закрытием, на чем настаивает и А. Оппенгейм: "Пилотаж открытых вопросов включает не только пилотаж формулировки, но и вероятного кодификатора" [56, p. 49]. А отсюда следует, что в исследовательскую программу должен быть посвящен не только аналитик, делающий расчеты, но также интервьюер, собирающий первичную информацию.
* * *
Необходимо регулярно проводить тренинги и аттестацию интервьюеров с последующей их дифференциацией по уровню квалификации.
Следует избегать полевого кодирования открытых вопросов, поскольку это приводит к дополнительным ошибкам уже на стадии регистрации ответа.
Требование точного воспроизведения ответа, с точки зрения эквивалентности его записи, приводит к снижению адекватности восприятия, поскольку интервьюер затрачивает усилия не на тематическое восприятие ответа, а на удержание в памяти его отдельных лексических единиц.
Включая открытые вопросы в анкету, надо позаботиться не только об их корректной формулировке, но и о возможном закрытии, не забыв проинформировать об этом интервьюеров.
Количество уходов от ответа и нерелевантных открытому вопросу ответов может быть критерием для определения качества вопроса.
Изменение записанного ответа
Изменение записанного (анкетного) ответа происходит в процессе кодирования, когда ответу присваивается один или несколько кодов из заданного списка. Каждый код формулируется исследователем в словоформах, пригодных для анализа собранных ответов. Поскольку коды представляют собой тексты, нам ничто не мешает провести их тематическое членение. Коды, поставленные в соответствие записанным ответам, содержат от одной до четырех тем: одна тема — "попытки сместить Кучму", "события вокруг НТВ" и "советы Путину в отношении стиля управления"; две — "нет ответа, ответ не на тему", "встречи, поездки", "выплаты, цены"; три — "навести порядок в органах власти, сформулировать эффективную управленческую команду", "вор, мафиози, бандит", "развлекательные передачи, казусы, погода"; четыре — "непорядочный, неискренний, хитрый, лживый". С одной стороны, кодификатор составлен из кодов, которые могут включать более одной темы, с другой — одному ответу может соответствовать несколько кодов, поэтому возможны три варианта соотношения количества тем анкетного ответа и кода: (1) Na=Nc, (2) Na>Nc ,(3) Na<Nc , где Na — количество тем анкетного ответа, Nc — количество тем присвоенного ответу кода или кодов. Кроме этого, представленные в коде темы могут полностью или частично соответствовать ответу: (1) Nс=Ne и (2) Nс.>Ne, где Ne — количество тем в коде или кодах25, соответствующих ответу.
Способы кодирования. Сопоставляя количество тем анкетного вопроса, кода и совпадающих с анкетным вопросом тем, рассмотрим пять возможных способов кодирования (табл. 16).
Таблица 16
Способы кодирования
| Na=Nc | Na>Nc | Na<Nc | |
| Nс=Ne | Однозначное кодирование | Простая классификация | Развернутая классификация |
| Nс.>Ne | Замещение ответа | Расширение ответа |
В эксперименте представлены практически все способы кодирования. Исключение составляет лишь развернутая классификация (табл. 17). Это обусловлено тем, что кодировщики в большей степени заняты ситуационным кодированием, то есть составляют или изменяют кодификатор (добавляют и уточняют коды) в процессе обработки ответов.
Таблица 17
Распределение способов кодирования
| Всего в эксперименте | Без ответов, закодированных интервьюером "З/О"26 | Без ответов, закодированных "З/О", и ответов на вопрос о доходах | ||||
| частота | процент | частота | процент | частота | процент | |
| Однозначное кодирование | 73 | 21% | 73 | 32% | 34 | 18% |
| Простая классификация | 45 | 13% | 45 | 20% | 45 | 24% |
| Замещение ответа | 47 | 13% | 47 | 21% | 47 | 25% |
|
Расширение ответа |
189 | 53% | 61 | 27% | 61 | 33% |
| Итого: | 354 | 100% | 226 | 100% | 187 | 100% |
Однозначное кодирование — количество тем в ответе и коде совпадают, и все темы кода соответствуют темам ответа. Однозначное кодирование возможно только для коротких анкетных ответов (одна или две темы). Возможны два варианта кодирования: (1) ответ и код находятся на одном уровне обобщения, (2) код представляет собой более общее понятие. Первый вариант — это копирование анкетного ответа или его сопоставление с аналогичным высказыванием. Вопрос о доходах кодируется интервьюером, а кодировщику (скорее в этом случае, его надо называть набивщиком ответов) остается лишь перенести ответ из анкеты в массив, поэтому все ответы точно соответствуют записи в анкете. Другим примером служит код "борьба за власть" (вопрос о событиях на Украине), который в двух случаях совпадал с анкетным ответом. Когда совпадающие с кодом ответы закончатся, кодировщик начинает подыскивать аналогичные высказывания. Кодирование в этом случае основано на допущении, что код и выбранный ответ взаимозаменяемы или семантически эквивалентны. Так кодировщик посчитал, что высказывания "дележ власти" и "передел власти" эквивалентны коду "борьба за власть", что может показаться вполне очевидным. Если же он выбирает второй вариант кодирования и пытается обобщить ответы, то адекватность выбранных кодов вызывает большие сомнения: анкетные ответы "НТВ", "события, скандал вокруг НТВ", "скандал с НТВ" закодированы как "нападки на СМИ". Ответ, содержащий аббревиатуру НТВ, наделялся кодировщиком совершенно четким смыслом, усвоенным им из средств массовой информации. Поскольку синонимы в речи определяются лишь контекстуально, кодировщик вынужден реконструировать контекст высказывания или, другими словами, выдвигать предположения о том, "что же в действительности имел в виду респондент"27. Поэтому кодирование однозначных и коротких ответов будет всегда приводить к смещениям. Фактически, короткий или однозначный анкетный ответ представляет собой код высказывания респондента, поэтому последующую трансформацию кода просто не корректно называть кодированием. Д. Лейдер утверждает, что кодированием можно называть только процесс классификации ответа в значимые для исследователя категории [45, p. 322]. Второй вариант однозначного кодирования заключается скорее в интерпретации или наделении смыслом увиденного текста.
Простая классификация — все темы кода соответствуют ответу, количество тем в коде меньше количества тем в записанном ответе. К. Бейли дает общее определение классификации как упорядочивания объектов в группы или классы на основании их однородности, статистическим критерием которой выступает минимальная внутригрупповая дисперсия при максимальной межгрупповой [2, p. 1]. А. Коксон понимает ее в более узком смысле, который как раз соответствует простой классификации: "классификация — это размещение определенного числа объектов в меньшее количество групп таким образом, чтобы можно было определить правила этого размещения" [14, p. 1]. Уменьшая на классификационном переходе тематическую размерность ответа, кодировщик вынужден сравнивать темы и принимать решение — однородны они или нет. Если несколько тем признаются однородными и сопоставляются с одной темой кода, то тем самым он ситуационно классифицирует ответ. Например, ответ "повысить зарплату медикам, учителям и остальным рабочим" классифицируется как "увеличить выплаты". По аналогии с устойчивым термином "полевое кодирование" будем называть такую классификацию полевой.
Полевая классификация дает первичное представление о распространенной проблеме интерпретации открытых вопросов — невозможности распознать ответы, стоящие за кодом. Г. Шуман и С. Прессер предупреждают, что следует очень осторожно анализировать категории открытых вопросов, поскольку за ними могут скрываться разные ответы [63, p. 90]. Если из нескольких тем ответа кодируется лишь одна, кодировщик маркирует ее как релевантную заданному коду, а остальные рассматривает как темы, либо определяющие контекст высказывания, либо не соответствующие заданным критериям. Например, ответ "власть делят, почувствовали слабость Кучмы, не знают к кому прислониться — может, к НАТО, промышленность развалили" кодируется как "борьба за власть". Будем называть такую классификацию отложенной28, поскольку в этом случае кодировщик лишь подготавливает поле для дальнейшего анализа29. Не следует смешивать отложенную классификацию с однозначным кодированием. Последнее сразу задает структуру или типологию ответов, а отложенная классификация лишь определяет пространство признаков, поэтому разница между этими типами кодирования особенно заметна в процессе обработки данных. Методику работы с отложенной классификацией П. Лазарсфельд разбивает на два этапа: конструирование и редукцию. На первом этапе из всех переменных строится развернутая типология ответа30, на втором — в зависимости от наполнения клеток, расположенных на пересечении нескольких переменных (функциональная редукция) или представлений исследователя (прагматическая редукция), количество типов уменьшается. Кроме этого, возможен третий тип "типологических операций" — создание вторичных переменных, который Лазарсфельд называет трансформацией [48]. Нетрудно выделить преимущества отложенной классификации: (1) точные и хорошо контролируемые критерии объединения переменных в типы; (2) возможность построения множества типологий и, соответственно, проверки большого числа гипотез; (3) простота кодирования.
Развернутая классификация — количество тем в коде превышает количество тем в ответе, и все темы кода соответствуют ответу. Если выбран только один код и количество тем в нем превышает количество тем ответа, значит, исследователь не смог четко обозначить концепт, который характеризует код, и вынужден задать его с помощью перечня примеров. Во многом это связано с проблемой наименования, и после ее решения код формулируется одной темой. Таким образом, описанный случай представляет собой псевдоразвернутую классификацию, которая в конечном счете сводится к простой. Другое дело, если исследователь кодирует ответ по нескольким критериям. Например, кроме тематического кодирования, которое обычно применяется в исследованиях, может быть применено кодирование контекстуальное, учитывающее наличие обоснований, эмоциональность речи респондента, персонализацию