Xreferat.com » Рефераты по педагогике » Метод тестирования в системе педагогических измерений

Метод тестирования в системе педагогических измерений

охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность; она годится практически для любого предмета.

Недостатки предтестовых заданий с выбором ответов. К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабоподготовленных учеников при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с помощью различных ме­тодов научились избегать подобных ситуаций. Для этого вводятся специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. При подсчете баллов слабых учеников, полученных по наиболее трудным заданиям теста, добавляются специальные весовые коэффициен­ты, близкие к нулю, или увеличивается число заданий теста. Иногда применяется специальная формула для коррекции индивидуальных баллов с поправкой на догадку.

Сложности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний учащимися в незнакомой ситуации, творческими аспектами подготовки, а также в случаях, когда требуется преобразование условий поставленной пе­ред учащимся задачи. В таких ситуациях задания с выбором готовых ответов использовать чаще всего невозможно. В условиях же массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов учеников и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому эта форма нередко доминирует при разработке итоговых тестов.

Примеры предтестовых заданий с двумя и тремя ответами. В заданиях с двумя ответами проще всего подбирать дистракторы посредством отрицания того, что является верным. Не рекомендуется использовать вместо дистракторов слова «да», «нет», поскольку в противном случае будет довольно трудно сформулировать утверждения, на которые можно дать однозначный ответ.

Задания с тремя ответами обычно используют в экспресс-диагностике в тех случаях, когда в силу специфики содержания недостаточно двух ответов. Иногда они появляются вследствие удаления «неработающих» дистракторов. В целом такие задания неудачны, поскольку они недостаточно кратки и в них высока вероятность угадывания правильного ответа. Например:

Задание 1


Импульс, поступающий по блуждающему нерву

учащает работу сердца

замедляет работу сердца

не влияет на деятельность сердца.

Предтестовые задания с четырьмя и пятью ответами. В большинстве тестов встречаются задания с четырьмя — пятью ответами, из которых один верный. При умелой разработке они могут быть достаточно краткими, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти). Например:


3адание 2


Кадеты считали главным методом решения основных проблем России

революционное восстание масс

политический террор

тактику давления на правительство через представительные органы, парламент

всеобщую политическую стачку.

Наиболее удачными можно считать задания, выполнение которых помимо традиционного длинного пути предполагает возможность довольно быстрого (3 — 4 с) ответа. Разумеется, быстрое решение по силам только учащемуся с четкой структурой знаний и твердыми навыками по проверяемому разделу. Слабо подготовленные ученики пойдут по традиционному пути и истратят на задание не 3 — 4 с, а положенные 1 — 2 мин.

Фасетные задания в тесте. Даже в условиях хорошо организованного процесса тестирования при наличии единственного варианта теста велика вероятность списывания, подсказок и других нежелательных моментов. Поэтому обычно разрабатывают 5 —8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста [4].

Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов, предлагаемых различным ученикам. В приведенном далее примере содержатся два задания, одно из которых предназначено для выбора архитектурных комплексов окрестностей Москвы, а другое — Санкт-Петербурга:


Задание 3


К дворцовым комплексам окрестностям Москвы,Санкт-Петербурга

относятся

Павловск, Ораниенбаум

Архангельское, Царицыно

Петергоф, Гатчина

Царское село, Стрельня.

Предтестовые задания с выбором нескольких правильных ответов. Задания с несколькими правильными ответами обычно стараются не включать в итоговые тесты, результаты которых используются для административно-управленческих решений в образовании. Появление частично правильных ответов учащихся, возникающих при выборе не всех запланированных верных ответов, приводит к снижению объективности и сопоставимости оценок, получаемых учениками по тесту.

В текущем контроле такие задания, наоборот, желательны, поскольку ученик должен не только найти правильные ответы, но и сам определить их число, что значительно разнообразит и усложняет задачу.

Предтестовые задания на выбор неправильного ответа. Ориентация учащихся на выбор неправильного ответа часто вызывает негативную реакцию у многих педагогов. Особенно неуместны задания на выбор неправильного ответа в тестах по русскому языку или по истории. Недопустимо, например, когда задание нацеливает ученика на неправильное написание слов либо на неверную оценку исторических событий. Однако если нужно проверить знание учеником определенных правил по технике безопасности, например во время проведения химических опытов, то выбор не­правильного ответа становится просто находкой.

В случае когда большая часть заданий в тесте ориентирована на выбор правильного ответа, заданий с противоположной инструкцией в тесте должно быть не более двух-трех.

Оценка результатов выполнения заданий, первичный, или сырой, балл. При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает «1», а за неправильный ответ или пропуск — «О». Суммирование всех единиц позволяет вычислить индивидуальный (первичный, или сырой) балл испытуемого, который в случае дихотомической оценки равен количеству правильно выполненных заданий в тесте.

Если правильный ответ не один, то чаще всего используется полигамическая оценка, которая пропорциональна числу правильно выбранных ответов.

Коррекция на догадку первичных тестовых баллов. Из-за эффекта угадывания ответов в заданиях с выбором сырые баллы стараются скорректировать путем ввода поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с k-ответами, из которых только один верный, имеет следующий вид:

Где i— номер любого испытуемого группы;

X — скорректированный балл i-го испытуемого;

Х{ — тестовый балл до коррекции;

W — число невыполненных (неправильно выполненных, пропущенных, недостигнутых) заданий теста, а Х1 + W = N, где N — число заданий в тесте.

Если в заданиях только один дистрактор и один верный ответ то k - 1 = 1, поэтому коррекция баллов осуществляется довольно просто. Для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. Например, если в тесте из 60 заданий испытуемый выполнил правильно 50, а неправильно - 10, то скорректированный балл будет равен 50 - 10 = 40. Для более слабого ученика, выполнившего правильно всего 30 заданий из 60, балл после коррекции станет равен 30 - 30 = 0. Таким образом, балл сильного ученика уменьшился в результате коррекции весьма незначительно, всего на 10 единиц. Иначе обстоит дело с баллом учащегося, который выполнил правильно всего половину заданий теста. После коррекции он получит 0 баллов, так как в половине заданий с двумя ответами он вполне мог угадать правильный ответ.

Формула коррекции имеет определенные недостатки, снижающие точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

3.2. Предтестовые задания с конструируемым ответом


Общая характеристика. В заданиях с конструируемым ответом (заданиях на дополнение, открытых заданиях) готовые ответы не даются, их должен придумать или получить сам ученик. Задания с конструируемым ответом бывают двух видов. Первый предполагает получение учащимся строго регламентированных по содержанию и форме представления правильных ответов. Второй — задания со свободно конструируемыми ответами, в которых учащиеся составляют развернутые ответы, произвольные по длине и форме представления и содержащие полное решения задачи с пояснениями, микросочинения (эссе) и т.д. [4].

Предтестовые задания с конструируемым регламентированным ответом. В заданиях первого вида заранее определяется то, что однозначно считается правильным ответом, и задается степень полноты его представления. Обычно ответ бывает достаточно кратким — в виде слова, числа, формулы, символа и т.д. Регламентированная краткость ответов накладывает определенные ограничения на сферу применения, поэтому задания первого вида в основном используются для оценки довольно узкого круга учебных умений. Обычно с их помощью проверяются умения воспроизводить и применять знания в знакомой ситуации, а также выявля­ются уровень понимания изученного фактологического материала, знание понятийного аппарата и т.д.

Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов учащихся экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся учащимся в специальный бланк.

Например:


Задание 4


Процесс, для которого теплоемкость постоянна, называется


Задания с конструируемым регламентированным ответом малотехнологичны. В них нередко появляются частично правильные и правильные в разной степени ответы. Вписывая ответ на место прочерка, ученик может выбрать синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов.

Предтестовые задания со свободно конструируемым ответом. Задания второго вида не имеют ограничений по содержанию и форме представления ответов. За отпущенное время на специальных бланках для ответов ученик может писать что угодно и как угодно. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, поэтому задания со свободно конструируемым ответом воспринимаются положитель­но абсолютным большинством педагогов. Они интересны и раз­нообразны в содержательном плане. С их помощью можно выявить способы решения учебных задач, вычленить этапы мыслительного процесса и подвести итоги отдельных этапов, что особенно важно для анализа типичных ошибок учеников.

Разработка заданий со свободно конструируемым ответом может показаться неоправданно легкой. На самом деле сформулировать задание просто, а вот предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения достаточно сложно. Так, формулировка задания по истории с развернутым ответом достаточно кратка.


Задание 5


Назовите основные задачи, которые решались во внешней политике России в XVII в. (укажите не менее двух задач). Приведите примеры войн, походов и экспедиций XVII в., предпринимавшихся для решения этих задач (не менее трех примеров).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения. Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизированными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не «работающие», так и снижающие дифференцирующий эффект теста.

Оценивание результатов выполнения предтестовых заданий со свободно конструируемыми ответами. Задания типа эссе можно оценивать в соответствии: с простыми схемами оценивания, когда при выборе критериев ориентируются на содержание ответов учащихся;

с усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

- с рейтинговым методом, предполагающим накопительную оценку, которая получается путем сложения отдельных оценок в соответствии с общим впечатлением экспертов от полного ответа на задание.

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такой ситуации и уменьшить влияние субъектив­ного компонента, число критериев оценивания обычно старают­ся ограничить, например от «О» до «3» или от «О» до «4».

В целом задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, так как экспертам приходится анализировать множество в разной степени правильных ответов и сравнивать их с эталоном. При этом не принимаются во внимание полнота, внешнее оформление ответов, орфографические ошибки и то, что не входит в критерии для выставления политомической оценки, хотя сейчас для проверки существуют специальные программы ПК. Обычно в силу низкой технологичности такие задания занимают не более 10—15% от всех заданий теста. Правда, в последнее время в связи с тенденцией к проверке творческих аспектов подготовленности учащихся число заданий с развернутыми ответами может составлять 50 % от общей длины теста.


3.3. Предтестовые задания на установление соответствия


Общая характеристика. Задания на соответствие имеют специфический вид: под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить учащемуся [4]; слева обычно приводятся элементы задающего множества, содержащего постановку проблемы; справа — элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу слева соответствует только один элемент справа. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбора не произойдет, поэтому в множество для выбора стараются включить несколько дистракторов.

Задание6


Установите соответствие между датами и внешнеполитическими событиями. К каждому из 4 элементов (1,2,3,4) подбирается один соответствующий элемент (а, б, в, г, д).

Даты События

1) 1922г. а)подписание Рапалльского договора с Германией

2) 1924г. б)заключение договора о ненападении с Германией

3) 1934г. в)заключение Брестского мира с Германией

4) 1939г. г)вступление в Лигу Наций

д)«полосадипломатическогопризнания»СССР

Задания на установление соответствия по алгоритму выполнения близки к заданиям с выбором ответа, поскольку ученик выбирает из числа ответов, предложенных преподавателем, правильный ответ. За рубежом задания на соответствие не выделяют в отдельный вид, а считают одной из разновидностей заданий с выбором ответов. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически. В итоговом контроле задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

Оценивание результатов выполнения заданий на соответствие. Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании за все правильно установленные соответствия в задании теста ставится «1». Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие учащийся получает «О».

При политомическом оценивании за каждое правильное соответствие ставится «1». В этом случае при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.


3.4. Задания на установление правильной последовательности


Общая характеристика. Тестовые задания четвертой формы пред­назначены для оценки уровня владения последовательностью действий, процессов и т.п. Элементы, связанные с определенной задачей, приводятся в заданиях в произвольном порядке, а ученик должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте [4].

Стандартная инструкция к заданиям четвертой формы имеет следующий вид: «Установите правильную последовательность». Иногда инструкцию включают в текст задания.


Задание7


Расположите имена русских полководцев в хронологической последовательности их деятельности. Запишите буквы, которыми обозначены имена в правильной последовательности :

А) Дмитрий Пожарский

Б) Алексей Ермолов

В) Михаил Скобелев

Г) Алексей Орлов

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны или неприменимы в силу специфики содержания предмета. Они громоздки и нередко до­пускают неоднозначную последовательность ответов.

3.5. Сравнительная характеристика форм предтестовых заданий


В процессе разработки теста у автора всегда возникает вопрос,остановиться на какой-нибудь одной форме заданий или совместить различные формы в одном тесте? Выбор автора во многом должен определяться спецификой содержания учебной дисциплины, целями создания и применения теста. Немало в данном случае зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста.

Организовать компьютеризованный сбор и анализ результатов выполнения теста легко, если тест состоит лишь из заданий с выбором ответов. Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки и привлечения экспертов,а следовательно - дополнительных материальных затрат и времени на проверку. Обилие форм в тесте затрудняет работу ученика и значительно усложняет статистическую обработку эмпирических результатов выполнения теста.

К сожалению, требование моноформности не всегда выполнимо, поскольку не все знания и умения ученика можно проверить с помощью моноформного теста. В связи с этим часто приходится идти на совмещение форм, что при прочих равных условиях всегда негативно отражается на точности измерений, обеспечиваемой тестом. Выбор оптимальной формы предтестовых заданий обычно бывает связан со спецификой содержания теста. При этом приходится учитывать достоинства и недостатки каждой из форм (табл. 1) и принимать определенное компромиссное решение в процессе такого выбора.

4. КОМПЬЮТЕРНОЕ ТЕСТИРОВАНИЕ В ОБРАЗОВАНИИ.


4.1. Специфика компьютерного тестирования и его формы


Общие представления о компьютерном тестировании. С начала XXI в, в образовании при проведении тестирования стали широко применяться компьютеры. В педагогических инновациях появилось отдельное направление — компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК.

Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.

Когда необходимо обращаться к компьютерному тестированию. Хотя компьютерное тестирование значительно облегчает работу учителя при предъявлении и оценивании результатов выполнения тестов, его распространение во многом не более чем дань моде, все негативные последствия которого до сих пор не выявлены в полной мере. Выбор компьютерного формата экзамена должен основываться на более важных и обоснованных предпосылках, чем просто увлечение инновациями, поскольку он порождает множество проблем и ставит учащихся в неравные условия. Обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов.

Например, компьютерное тестирование необходимо при проведении ЕГЭ в труднодоступных районах России. Сбор выпускников школ отдаленных районов в обозначенное время проведения ЕГЭ становится настолько сложным и дорогостоящим мероприятием, что обойтись без компьютерного тестирования и современных средств коммуникации просто невозможно. Компьютерное тестирование целесообразно также применять при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха. С помощью ПК можно использовать большие по размерам шрифты, аудиозаписи, дополнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.

Формы осуществления компьютерного тестирования. Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест . Часть из них пока не получили специального названия в литературе по тестовой проблематике.

Первая форма— самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста.

Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3 — 4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Третья форма — компьютерное адаптивное тестирование — базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.

Достоинства и недостатки компьютерного тестирования. Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестированием, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов типа ЕГЭ, Предъявление вариантов теста на компьютере позволяет сэкономить средства, расходуемые обычно на печать и транспортировку бланковых тестов.

Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания с выбором ответов.

Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличиваются за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической динамической постановки проблем с помощью мультимедийных средств и др.

Благодаря компьютерному тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не достигнутых заданий теста.

Помимо неоспоримых достоинств компьютерное тестирование имеет ряд недостатков:

Типичные психологические и эмоциональные реакции учащихся на компьютерное тестирование. Обычно психологические и эмоциональные реакции учащихся на компьютерное тестирование носят позитивный характер. Учащимся нравится незамедлительная выдача тестовых баллов, протокола тестирования с результатам по каждому заданию, а также сам инновационный характер контроля в том случае, когда привлекаются современные гипермедийные технологии для выдачи теста. Динамическое мультимедийное сопровождение заданий на компьютере, объединенное программными средствами для представления в интерактивном режиме, по мнению учащихся, обеспечивает более точную оценку знаний и умений, сильнее мотивирует к выполнению заданий по сравнению с бланковыми тестами. Удобно также то, что вместо заполнения специальных форм для ответов можно просто выбрать ответ мышью. Если тестирование проходит в адаптивном режиме, то сокращаются время проведения экзамена и длина теста.

Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против ком­пьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

Воздействие на выполнение теста предшествующего уровня компьютерного опыта. Результаты зарубежных исследований показали, что опыт работы на компьютерах, имеющийся у школьников, во многих случаях значительно влияет на валидность результатов выполнения теста. Если в тест включены задания без инноваций с выбором ответов, то влияние опыта работы с компьютером на результаты тестирования незначительно, поскольку от учащихся в таких заданиях не требуется никаких сложных действий при выполнении теста. При предъявлении на экране инновацион­ных типов заданий, широко использующих средства компьютерной графики и другие новшества, влияние предшествующего ком- пьюгерного опыта на тестовый балл становится очень значительным. Таким образом, при компьютерном тестировании необходимо учитывать уровень компьютерного опыта учащихся, для которых предназначается тест.

Для снижения влияния опыта работы с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.

Влияние интерфейса пользователя на результаты компьютерного тестирования. Интерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, от­ражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.


4.2. Инновационные формы тестовых заданий при компьютерном тестировании.


Цели разработки инновационных заданий в компьютерном тестировании. Инновационные задания, использующие возможности компьютерного тестирования, на сегодняшний день являются наиболее перспективным направлением развития автоматизации педагогических измерений. Основной причиной этого является большой потенциал инновационных заданий для повышения информативности педагогических измерений и увеличения содержательной валидности тестов.

Основная цель разработки инновационных заданий для компьютерного тестирования состоит в оценивании тех когнитивных умений, функциональной грамотности и коммуникативных умений, которые остаются не выявленными при традиционном контроле иди использовании бланковых тестов.

Предметом оценивания при инновациях может быть уровень аналитико-синтетической деятельности обучаемого, скорость обобщения новой информации, гибкость мыслительного процесса и многие другие показатели умственной деятельности, сформировавшиеся в процессе обучения и не поддающиеся оцениванию с помощью обычных тестов.

Возможности инновационных заданий в компьютерном тестировании. В использовании инновационных заданий можно выделить два аспекта: дидактический и психолого-педагогический. Первый предполагает развернутую содержательную интерпретацию результатов тестирования в контексте освоенных на момент предъявления теста когнитивных, учебных и общеучебных умений, а второй позволяет оценить уровень развития мыслительных процессов у учащегося и выявить особенности усвоения им новых знаний. Большинство инновационных заданий, разработанных к настоящему времени, обеспечивают совершенствование измерений в обоих направлениях. Таким образом, инновационные задания позволяют расширить возможности самого педагог ического измерения за счет получения результатов в новых, недоступных ранее направлениях оценивания качества подготовленности учащихся. Например, для оценивания уровня сформированности функциональной грамотности экзаменующимся можно предложить отрывок текста, в котором есть ошибки, а затем попросить идентифицировать их и исправить путем перепечатывания разделов текста.

Инновационные задания способствуют сокращению влияния случайного угадывания за счет увеличения тисла возможных ответов без нарастания громоздкости заданий теста. Например, при оценивании понимания прочитанного текста можно попросить учащегося выбрать ключевое предложение в тексте и указать на него щелчком мыши. Таким образом, каждое предложение в текстовом отрывке становится опцией для выбора вместо 4 — 5 ответов в традиционных заданиях с готовыми ответами. Для совершенствования формы заданий используют сложный рисунок, динамические элементы, включая изображения, мультипликацию или видео; тем самым сокращается время чтения условия. Расширение возможностей тестирования происходит при включении звука, что позволяет вести диалог с учащимся, оценивать фонетические особенности его произношения при тестировании по иностранному языку, проверять правильность интерпретации различных звуков.

Основные направления инноваций при разработке заданий. Инновации при разработке заданий для компьютерного тестирования охватывают пять связанных между собой направлений. К ним относятся: форма задания, действия испытуемою при ответе, уровень использования мультимедийных технологий, уровень интерактивности и методика подсчета баллов.

Нововведения в форме задания включают визуальный и звуковой информационные ряды или их сочетание. Визуальная информация может носить реалистический (фото, кино) и синтезированный (рисунок, анимация) характер. Тип информации в сочетании с тестовой формой определяет формат ответа, выбираемого или создаваемого экзаменующимся. Мри использовании фотографий или рисунков информации, содержащаяся в тестовых заданиях, носит статический характер. Кино, отражающее реальный мир, и анимация вносят динамику в выполнение теста.

Действия учащегося при ответе на задания зависят от тех ин­новационных средств, которые включены в тест. При включении в задания звуковой информации, предполагающей голосовой ответ учащегося, для ответа используются клавиатура, мышь или микрофон. Значительное место при ответах отводится интерактивным процессам. Интерактивный режим работы учащихся при компьютерном тестировании означает поочередную выдачу аудиовизуальной информации, при которой каждое новое высказывание со стороны учащегося или компьютера строится с учетом предыдущей информации с той и другой стороны. При организации интерактивного режима в компьютерном тестировании используется в основном экранное меню, в котором учащийся для ответа на тестовые задания выбирает, создает или перемещает объекты — компоненты ответа. Реже в интерактивном режиме применяют голосовой ввод ответа.

В целом уровень интерактивности, обеспеченный в компьютерном тестировании, характеризует степень, в которой определенная форма задания реагирует или отвечает на ввод информации со стороны экзаменующегося. Этот уровень варьируется от простейшего случая, когда совершается один шаг, до сложных, многошаговых заданий с разветвлением после каждого очередного ответа ученика.

Проблемы, возникающие при использовании заданий повышенной трудности в компьютерном тестировании. Задания повышенной трудности всегда требуют больше времени для ответов вне зависимости от того, предъявляются ли они с помощью компьютерного моделирования виртуальной реальности, имеют ли форму лабораторной работы, эссе или используют мультимедийные технологии. Из-за временных затрат число сложных заданий должно быть незначительно — не более 10— 15 %, в отдельных случаях — 20 — 25%. Многообразие звуковых и зрительных образов в компьютерном тестировании приводит к возникновению у школьников усталости, поэтому при включении в тест даже небольшого количества трудных инновационных заданий приходится значительно уменьшать длину теста, что негативно сказывается на содержательной валидности, надежности и информационной безопасности педагогического измерения.

Несмотря на преимущества инновационных форм заданий, предъявляемых с помощью компьютера, к ним нужно относиться с осторожностью, тщательно анализировать их адекватность целям измерения и уместность в тесте. Обычно инновационные задания высокой трудности выделяют в отдельный блок и помещают в конце теста.

Подсчет баллов учащихся. Если в компьютерном тестировании не используются мультимедийные и интерактивные технологии, то подсчет первичных баллов учащихся проводится традиционно путем суммирования оценок по отдельным заданиям. Привлечение мультимедийных технологий приводит к многомерности результатов выполнения теста, поскольку оценивание целого спектра творческих, коммуникативных, общепредметных и других умений с помощью инновационных форм заданий всегда связано с несколькими переменными измерения. Появление интерактивности еще больше усложняет процедуру подсчета баллов учащихся, она становится зависимой от ответа экзаменующегося на каждом шаге выполнения заданий теста и требует полигамических оценок.

Проверка результатов выполнения заданий с конструируемым регламентированным ответом осуществляется путем сравнения ответа экзаменующегося с эталоном, хранящимся в памяти компьютера, и включает различные синонимы правильного ответа с приемлемыми орфографическими ошибками.

Намного сложнее автоматизированный подсчет баллов в заданиях со свободно конструируемым ответом (типа эссе) в гуманитарных дисциплинах. На сегодняшний день зарубежными тестологами разработаны специальные программы для автоматизированной проверки эссе. Критерии оценивания в этих программах довольно разнообразны: от рассмотрения поверхностных характеристик эссе типа длины и степени полноты ответа до сложных случаев анализа с использованием достижений компьютерной лингвистики. Обычно все эти различные автоматизированные программы подсчета баллов требуют участия экспертов только на момент начала работы, когда квалифицированным педагогам необходимо «обучить» компьютерную программу оцениванию любых развернутых ответов.


4.3. Тесты фиксированной длины, компьютерная генерация параллельных вариантов теста.


Основные компоненты процесса автоматизированной компоновки теста для компьютерного предъявления. Процесс автоматизированной компоновки теста в том случае, когда он происходит заранее и не в адаптивном режиме, включает сборку (генерацию) параллельных вариантов, выбор правила подсчета баллов тестируемых учащихся и коррекцию вариантов для выполнения требований теории педагогических измерений.

Неизбежные различия по трудности вариантов, возникающие вследствие существования ошибок измерения, устраняются после тестирования путем выравнивания шкал, получаемых при подсчете тестовых баллов по отдельным вариантам теста. К числу сопутствующих вопросов, решение которых также необходимо при автоматизированной компоновке теста, относится работа по наполнению банка тестовых заданий и

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: