Открытые вопросы в массовых исследованиях
Замещение ответа — количество тем в коде меньше либо равно количеству тем в ответе, но не все темы кода соответствуют ответу. При этом была зафиксирована следующая особенность: в каждом ответе хотя бы одна тема не совпадала с темами кода и в каждом коде хотя бы одна тема не совпадала с темами ответа. Это позволило говорить о замещении ответа, когда несколько тем одного кода не представляют полностью ответ респондента. Вместе они создают новый контекст, который отличается от контекста высказывания. Например, ответ "исполнительный — говорит и делает" кодируется как "ответственный, требовательный" или "к народу часто выходит, не скрывается от народа" — "хорошо выступает, коммуникабельный". Кодировщик как бы не замечает отдельных слов и выбирает из ответа лишь те, которые могут быть соотнесены с одним из представленных кодов. В первом случае "говорит и делает" увязывается с ответственностью, во втором "к народу часто выходит" — с коммуникабельностью. Выражение, оторванное от контекста, задаваемого совокупностью синтагм, становится семантически неустойчивым и может подвергаться изменениям без видимых потерь смысла31. Появление значимых различий обнаруживается лишь при сопоставлении двух высказываний как неделимых фразовых единств. Замещение ответа — это полевая классификация с выборочным конструированием кода. Чем больше тем содержит код, тем легче кодировщику проинтерпретировать хотя бы одну тему таким образом, чтобы она оказалась релевантной ответу, например, ответы "навести порядок, с коррупцией разобраться и прочее" и "разобраться со своим окружением, с организацией государственной власти, навести порядок" кодируются одинаково как "навести порядок в стране, обеспечить выполнение законов, совершенствовать законодательство". Кодировщик как бы решает за респондента, что он "действительно" хотел сказать или "в чем смысл" его высказываний. Замещая ответ, кодировщик руководствуется лишь собственными представлениями, поэтому на этот способ кодирования приходится наибольшее число ошибок размещения ответа в кодификаторе32: в 47% случаев зафиксирована ошибка выбора кода при замещении ответа, в 21% — при расширении ответа; однозначное кодирование и простая классификация были выполнены без таких ошибок (χ2=58,434; p<0,000).
Расширение ответа — количество тем в коде больше как количества тем в ответе, так и количества тем, соответствующих ответу. То же касается и замещения: для содержательной интерпретации этого типа потребовалось дополнительное условие — все темы в ответе соответствуют коду, и хотя бы одна тема в коде не соответствует ответу. Примером расширения ответа служит код, приписываемый анкетной записи "З/О" (затрудняюсь ответить) — "нет ответа, ответ не на тему". Точное сопоставление любого анкетного ответа с кодом не приводит к дополнительным смещениям до тех пор, пока кодировщик ограничивается лишь переименованием этого класса ответов, закодированных интервьюером, и не присваивает данный код другим ответам33. Другие примеры расширения ответа: "пенсию прибавил людям" и "то, что он передавал насчет пенсии" кодируются как "выплаты, цены" (раздел "экономика, социальная сфера"); "он не обманывает" — "порядочный, честный, справедливый"; "деловитость" — "хороший мэр, хозяйственник, деловой" и т. д. Замещение и расширение ответов построены исходя из одной целевой установки — наиболее полной передачи смыслов, ассоциируемых с высказываниями респондентов. Сталкиваясь с необходимостью объединения ответов в группы, кодировщик выстраивает ряд однородных слов, смешивая собственный словарь синонимов со словарем респондента. Написание кодов на обыденном языке, заимствованном из высказываний тысячи разных людей, приводит к увеличению двусмысленности и неопределенности, без того в избытке представленных во многих анкетных ответах. Поэтому У. Куайн отрицает возможность использования синонимии для понимания обыденных текстов: "Если мы перефразируем предложение, чтобы устранить двусмысленность, мы ищем не синонимичное предложение, но — более информативное посредством сопротивления некоторым альтернативным интерпретациям [80, с. 186]. Единственная возможность уйти от производства дополнительных смыслов — парафраз обыденной речи в систему переменных, точно удерживающих заданные исследователем значения.
Замещение и расширение ответов вызваны ошибочным построением кодификатора. Следует различать ошибочный кодификатор — некорректное написание — и расположение кодов с ошибками, допускаемыми кодировщиками, — некорректный выбор кода или его пропуск. В то же время ошибки кодировщика зачастую обусловлены неправильно составленным кодификатором. Кодировщик ошибочно закодировал 10% ответов и пропустил релевантые коды в 18% ответов. Вторая цифра в большей степени характеризует построение кодификатора, нежели работу кодировщика, поскольку линейное расположение кодов создает иллюзию их альтернативности, хотя в действительности почти каждый из них представляет собой неальтернативную переменную. Наибольшее число пропусков — 30 из 47 (χ2=113,328; df=3 p<0,000) — и ошибок в выборе кода — 25 из 47 (χ2=84,003; df=3 p<0,000) приходится на замещение ответов. Ошибка выбора кода практически неизбежна, если кодировщик, расширяя или замещая ответ, пытается поставить ему в соответствие код на основе парафраза, а не синонимии или прямого копирования34: 91% таких случаев сопровождается ошибкой (χ2=38,958; p<0,000). Однако при однозначном кодировании и простой классификации таких ошибок не возникает. Д. Лейдер подчеркивает, что количество ошибок кодирования напрямую зависит от сложности кодов [45, p. 328], что и подтверждается результатами эксперимента: замещение или расширение ответа обычно требует развернутого написания кода (F=122,619; p<0,000) (табл. 18).
Таблица 18
Тематическое членение кода
| Способы кодирования | Частота | Среднее количество тем | Стандартное отклонение |
| Однозначное кодирование | 73 | 1,05 | ,23 |
| Простая классификация | 45 | 1,11 | ,38 |
| Замещение ответа | 47 | 2,17 | ,94 |
| Расширение ответа | 61 | 3,36 | 1,14 |
| Итого: | 226 | 1,92 | 1,23 |
Для качественного кодирования полезно ввести дополнительную переменную: (1) уверен в коде, (2) сомневаюсь, (3) затрудняюсь закодировать. Д. Брунер, Д. Гудноу и Г. Остин подчеркивают, что затруднения при отнесении объекта к какому-либо классу уже представляют собой классификацию [11, p. 12]. Такая переменная позволяет не только тестировать вопросы, но и получать дополнительную информацию для содержательных выводов.
Замещение и расширение ответа невозможно без приписывания ему некоторых смыслов. Кодирование происходит в режиме интерпретации и переинтерпретации прочитанных текстов. М. Берндсен, Г. МакГарти и Д. Плигт экспериментально показали, что попытки переинтерпретации зачастую приводят к ошибочному выбору категорий [5, p. 218-219]. Если кодировщик настроен на выявление смысла записанного ответа, он в первую очередь ищет лексемы, подтверждающие его собственные убеждения. Д. Тернер описывает процесс выделения смыслов в теории личной категоризации, когда приписывание ответу определенных категорий проходит в процессе активной интерпретации [69]. Хотя сами эти действия рациональны, они приводят к смещениям. Особенно это характерно для ситуации, когда кодировщик вынужден работать с неполной информацией [5, p. 218, 230]. В данном случае мы можем зафиксировать нежелательную для исследователя тенденцию, которая неминуемо складывается в процессе замещения или расширения ответа: кодировщик заинтересован рассматривать как можно более короткий ответ, поскольку это вроде бы дает ему возможность однозначно отнести ответ к выбранному коду. В то же время короткий ответ не содержит контекстуальных маркеров, позволяющих корректно его проинтерпретировать. Более того, не всегда оправданно искать смыслы там, где их может и не оказаться.
* * *
Построение кодификатора должно основываться на максиме ограниченного анализа: "показывай не больше логической структуры, чем кажется полезным" [80, с. 187]. Не следует перегружать кодировщика избыточным количеством различений, которые в дальнейшем не будут востребованы исследователем.
Построение кодификатора по ходу кодирования — способ дублирования обыденной речи, неминуемо приводящий к ошибкам и затрудняющий интерпретацию данных. Тестирование открытых вопросов должно быть направлено не только на их формулировки, но и на варианты последующего закрытия.
Линейная структура кодификатора способствует пропуску релевантных кодов. Коды надо формулировать в форме переменных, так чтобы выполнялись два основных условия: (а) ответ не может принимать более чем одно значение в каждой переменной, (б) при выборе варианта кода не должно возникать сомнений.
Следует избегать полевой классификации и построения иерархических классов. Кодировка — лишь инструмент получения переменных, пригодных для построения типологий.
Кроме тематического полезно проводить и контекстуальное кодирование.
Процедуры контроля качества должны быть внедрены непосредственно в работу кодировщика. Одним из элементов такого контроля может выступать дополнительная переменная "затруднения с кодировкой", которая принимает следующие значения: (1) уверен в коде, (2) сомневаюсь, (3) затрудняюсь закодировать.
Результаты исследования
Настоящее исследование посвящено имени, экстенсионал которого не существует. Открытых вопросов нет. Базовое различение на открытый и закрытый вопрос — лишь неустойчивая опора для проведения методических экспериментов. Когда исследователь говорит о закрытии, он рассматривает не вопросы, а ответы.
Спонтанность и непринужденность — качества, определяющие открытую форму. Ожидание респондентом подсказок или уместных вариантов ответа — причины ее разрушения. Закрытость или открытость ответов определяются не формулировкой вопроса, а способом его предъявления.
Формирование ответа — не индивидуальный акт. Ответ определяется ситуацией и формируется исследовательской программой, опредмеченной в логике опроса. Логика массовых исследований задается процедурами, позволяющими конструировать социальные факты. В результате ответ проходит через ряд трансформирующих его переходов: перцептивный, конспективный, классификационный и аналитический.
Распространенное заблуждение — видеть в открытом ответе реплику, лишенную исследовательской огранки. Если исследователь отказывается задать направление разговора, это будет сделано за него и не обязательно в нужном направлении. Кодировщик, не посвященный в предполагаемую классификацию открытого вопроса, может построить собственную. Однако он склонен избегать этого, поскольку классификация предполагает жесткую структуру, которая может быть неприемлема для исследователя. Оптимальным вариантом для него становится прямой перенос, когда можно найти полное соответствие между кодом и ответом. В этой ситуации для кодировщика наиболее желанным является самый короткий ответ. От интервьюера ждут как можно более точной записи. Полное выполнение этого условия возможно лишь в случае однозначного или короткого ответа. Любые уточнения или прерывания увеличивают когнитивную сложность ответа. Отсюда вывод — при прочих равных условиях интервьюер не расположен воспринимать продолжительный ответ.
Для открытого вопроса короткий или однозначный ответ не может быть признан адекватным.
Решение о придании ответу осмысленности может откладываться на каждом переходе. Непонятый интервьюером ответ снижает возможности кодировщика, непонятый кодировщиком — заставляет исследователя заниматься конструированием собственных убеждений. Смещения определяются непониманием открытых ответов.
Придание осмысленности — не то же самое, что поиск смысла. Осмысленность придается в диалоге, смысл — в поиске собственных объяснений. Интервьюер может задавать уточняющие вопросы, указывать на неточность ответа, просить привести примеры или факты — так он общается с респондентом и придает осмысленность диалогу. Кодировщик может создавать переменные, непротиворечивые и полные, отражающие не только темы, релевантные вопросу, но и контекстуальные компоненты, то есть то, что Л. Витгенштейн называет языковыми играми. Работа кодировщика — также диалог. Его собеседник — текст. Поиск смысла — всегда предположение о том, что в действительности хотел сказать респондент. При этом человек, ищущий смысла, перестает быть слушателем. Он нацелен на репрезентацию идей, а не фактов.
Работа с открытым инструментом начинается с тестирования его вероятных закрытий или, другими словами, системы кодов. Исследователь, игнорирующий данное положение, создает артефакты.
Исследователь должен составлять кодификатор (системы переменных) на этапе формулирования открытого вопроса. Хороший ход — написание ряда переменных, кодируемых по всем вопросам, например: (а) соответствие ответа семантическому заданию вопроса, (б) затруднения в кодировании, (в) когнитивная сложность ответа. Кодировщик должен кодировать только то, что представлено в тексте, то есть отказаться от установки на поиск смысла высказывания. Интервьюер, задавая открытые вопросы, обязан переходить в другой режим коммуникации — создавать условия для обсуждения темы, поднятой вопросом.
1 Таблица адаптирована из работ В. Фодди [19, p. 128] и А. Оппенгейма [56, p. 115].
2 Открытые вопросы используются, когда тема сложная, релевантные измерения не найдены и проходит процесс их поиска [64, p. 80].
3 Возможно и более дробное тематическое членение. Так, по предложению О. Холсти, каждая тема должна содержать не более одного из следующих элементов: (1) говорящий, (2) воспринимающий информацию, (3) действие, (4) цель действия [35, p. 136]. Соответственно, приведенный выше пример был бы закодирован следующим образом: "разговорная речь / не очень хорошая / вот Путин / четко / кратко говорит" — 5 тем.
4 Например, Вивер определяет восприятие вербальной информации как получение человеческим организмом оральных сигналов [71, p. 5].
5 Констатацию активной позиции слушателя В.А. Звегинцев определяет как тривиальную истину: "...Собеседник представляет собой не пассивное и бесстрастное восприимающее устройство, а равноправного участника в том колдовском действе, которое именуется языком". Поэтому "на язык надо смотреть с двух сторон: со стороны слушающего, но не просто слушающего, а и понимающего то, что ему говорят" [78, с. 33].
6 Вопрос с полевым кодированием в текущем эксперименте — вопрос о доходах; в эксперименте "Обследование стандартизированного интервью" это вопросы о политиках: "Назовите, пожалуйста, несколько политиков, действия и высказывания которых за последнюю неделю вам запомнились и понравились" и "Назовите, пожалуйста, несколько политиков, действия и высказывания которых за последнюю неделю вам запомнились и не понравились". У интервьюера есть список политиков, который он не показывает респонденту.
7 С закрытыми вопросами дело обстоит ненамного лучше. Оппенгейм отмечает два недостатка закрытых вопросов о прошлых событиях. Во-первых, они гораздо чаще открытых приводят к временным сдвигам, то есть респондент теряется во временных рамках и может говорить о событиях, которые произошли раньше или позже времени, указываемого в вопросе. Во-вторых, респондент может ошибиться, выбирая те или иные варианты ответа, например, отмечая прочитанные на прошлой неделе газеты и просмотренные телепрограммы. Тем не менее, ответы на закрытые вопросы гораздо больше наполнены и более релевантно отражают прошлые события или факты из жизни респондента [56, p. 114]. Перечисленные ограничения лишь подчеркивают необходимость более детального их тестирования перед введением в анкету.
8 Харжи, Сандерс и Диккенс различают пассивное и активное слушание по наличию ответной реакции на произносимый текст. В первом случае человек слушает собеседника без каких-либо действий, сигнализирующих, что он делает это. Во втором — он может вербально или невербально выражать согласие, внимание, интерес и т. д. [32, p. 196]. Наиболее выразительным примером пассивного восприятия является работа автоответчика или запись собственного разговора на диктофон. Если же в диалоге такое и может произойти, то сама безучастность будет маркироваться как отражение позиции слушающего.
9 Вторичная переменная "количество приемов давления" рассчитана посредством арифметического сложения переменных, описывающих восприятие интервьюером ответа: "повторение ответа", "уточнение ответа", "прерывание ответа" и "переспрашивание".
10 При проведении факторного анализа использовался метод главных компонент. Объясненная дисперсия составила 55%.
11 Отвечая на 21-й вопрос, респонденты