Супертест
Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.
Впервые опубликовано в ж. «Педагогические Измерения» №2 2014 года.
Публикуется в обновлённой редакции 2021 года.
Аннотация
Излагается проект новой системы автоматизированного тестирования под названием супертест. В отличие от педагогического теста, где число заданий редко когда бывает больше сорока, супертест может содержать пятьсот и более системных заданий изучаемого курса, располагаемых в логике раскрытия содержания изучаемого курса. Поэтому супертест выполняется учащимися (студентами) не в один день и не за тридцать-сорок минут, как это принято в традиционном тестировании, а в течение всего периода изучения курса. Задания супертеста предъявляются испытуемым последовательно.
Результаты и оценки испытуемого за выполнение каждого задания супертеста кумулируются компьютером. Оценки могут меняться в случаях повторной самопроверки, что позволяет рассматривать супертест одновременно и как учебный тренажёр - метод самоконтроля и самообучения, включённый в текущий образовательный процесс. Супертест можно отнести к новой образовательной технологии.
Супертест решает главную образовательную задачу XXI века - соединения обучения и контроля[1].
Два метода изучения и самоконтроля
Автор этой статьи разработал два новых взаимосвязанных метода изучения и самоконтроля.
Первый метод называется квантованием учебных текстов, дополняемый проверкой усвоения знаний посредством заданий в тестовой форме. Он был создан и опубликован в России[2], активно внедрялся в Казахстане, замечен в Германии и изучается сейчас в других странах. К настоящему времени в Казахстане уже опубликованы сотни образцов квантованных текстов[3]. Однако этот метод не удостоился пока никакого внимания со стороны органов управления образованием. В системе существующих отношений на это трудно было и рассчитывать. Если министерские чиновники не хотят нас слышать, то мы не хотим их видеть. Но такие отношения формируют кризис.
Второй метод предназначен для самостоятельного учения и самоконтроля - супертест. Материал о нём тоже был опубликован4 и тоже не был замечен. И это не удивительно. Это реальный признак ситуации, в которой чиновные верхи новое и полезное принимать не хотят и, похоже, уже не могут.
В течение многих веков складывались два отличающихся процесса - обучения и контроля знаний. И по сей день эти два процесса не удавалось объединить должным образом. Причины такого состояния - традиции многословного изложения содержания учебников в школьном преподавании, устарелость содержания учебных курсов быстрое устаревание форм учёта, планирования и оплаты педагогического труда в школах и вузах, бюрократические методы проведения контроля знаний и управления сферой образования.
Однако настоящее образование в стране возникает только в условиях учебной свободы, равного представительства в образовательном процессе детей, их родителей, учителей, местных органов управления. И только затем государства. У нас всё наоборот5.
Автономия образовательных учреждений в учебной работе, особенно вузов, придумана не нами и не сейчас, а столетия назад. Сейчас автономия существует в преимущественно имитационном варианте. Но тогда и знания студентов формируются примерно в таком же варианте.
В кратком варианте концепция супертеста впервые была изложена в предыдущей статье автора[4].
Если тест, состоящий из небольшого числа, примерно тридцать-сорок заданий, в процессе обучения не применим, тогда нужно пробовать применять другую, новую, расширенную систему, содержащую все основные задания изучаемого курса. Такие задания, решение которых свидетельствует об усвоении содержания учебной дисциплины. Число таких, назовём их, системных заданий курса может быть большим и очень большим. Например, от пятисот до тысячи, и даже больше.
Но тогда это уже будет не тест, а супертест, свойства которого ещё предстоит детально изучить. Но уже сейчас понятно, что все задания супертеста должны отражать содержание курса, быть технологичными. Они могут выполняться не сразу, как в тесте, а постепенно, день ото дня, по мере изучения курса. Решение каждого задания супертеста приближает учащегося к успеху в деле изучения всего курса.
Как научное понятие, супертест в российской и мировой литературе не известен. Это признак новизны предлагаемого понятия и исследования самого феномена в целом.
В настоящей работе супертест определяется как система репрезентативных, по содержанию, тестовых заданий по всем ключевым элементами и темам изучаемого курса, заданий специфической формы, позволяющих оценить структуру и измерить уровень знаний испытуемого по изучаемому курсу.
В супертесте используются задания трёх основных форм- с выбором одного или нескольких правильных ответов, открытой формы и заданий на установление правильной последовательности. Содержание заданий на установление соответствия лучше выражать заданиями с выбором нескольких правильных ответов, с фасетами.
Наибольшая часть заданий - примерно 90 процентов, оказываются фасетными заданиями с выбором нескольких правильных ответов. Потому что они позволяют проверить большее число видов знаний.
Тест и супертест как содержательные и формальные системы
В супертесте содержательная система представляет собой генеральную совокупность с вариантами замены. В процессе тестирования формальная система заданий супертеста может быть необязательно возрастающей трудности. Однако после апробации использованную систему заданий супертеста лучше упорядочить по возрастающей трудности и применять далее как систему заданий возрастающей трудности. Это требование позволяет сэкономить время тестирования, мотивировать учащихся на достижение максимально возможных результатов.
Традиционный же тест представляет собой единство, по меньшей мере, двух систем: содержательной выборочной системы знаний, описываемой языком проверяемой учебной дисциплины и формальной системы заданий возрастающей трудности.
Формальная система заданий выражается совокупностью статистических характеристик, среди которых в первую очередь выделяются меры трудности заданий, вариации результатов по каждому заданию, корреляции ответов испытуемых по заданиям с уровнем подготовленности по всему тесту и многие другие.
Супертест может вполне заменить ЕГЭ с его ошибочными формами и оценками. Чтобы убедиться в этом, достаточно взглянуть на три примера.
Тестовая форма заданий используется при проведении части А т.н. Единого государственного экзамена (ЕГЭ). Делается это крайне примитивно, алогично и некачественно, что видно из таких, например, заданий ЕГЭ с выбором одного правильного ответа:
*а) в 73 г. до н.э.
•г) пока еще не было[5].
Здесь мы имеем дело с алогизмом. Восстание то было, то его пока ещё не было.
2) у вас не будет времени сходить в музей;
3) идите сразу на Красную площадь;
4) у меня было прекрасное настроение[6].
Это задание напоминает запись, воспроизведённую А.П. Чеховым: «подъезжая к сией станции, у меня слетела шляпа»
Здесь внимание привлекает третий ответ, где кратко и своеобразно выражаются две мысли: иногда он любил, иногда нет; иногда любил сильно, иногда вообще не любил.
3 апреля 2014 г. автор этой статьи обратился к главе администрации Президента РФ С.Б. Иванову с таким письмом.
«Уже четырнадцатый год в стране применяется ошибочный Единый государственный экзамен. Критика этого экзамена со стороны учёных и педагогов все эти годы игнорировалась. Неоднократные обещания первых лиц улучшить этот экзамен оказались невыполненными. Сейчас ЕГЭ вступил в наиболее разрушительную для страны фазу.
Остановить или изменить ЕГЭ сразу трудно, да и невозможно, учитывая высокий уровень коррупции и неподготовленность кадров. Но именно сейчас можно заложить первые механизмы, которые позволят в течение года-двух решительно выправить ситуацию:
1. Надо обязать Минобрнауки подготовить настоящие, метрические отчёты по результатам ЕГЭ. Сейчас вместо метрических отчётов пишутся предметно-методические. В результате погрешности оценок ЕГЭ год от года нарастают, возникла инфляция баллов.
2. Нужна публикация метрических отчётов и регулярная независимая экспертиза. Экспертиза заданий, проводимая руководящим органом, была, и возможно, является сейчас главным источником утечки информации и коррупции. О результатах регулярных экспертиз метрических свойств КИМов ЕГЭ нет опубликованной информации.
3. Надо провести конференцию, где все полученные материалы могли бы быть открыто обсуждены, вместе с оппонентами ЕГЭ. Последних никогда не допускали ни к обсуждению ЕГЭ, ни результатов. Итог известен.
4. По итогам обсуждения предстоит создать новый Национальный проект научной системы аттестации выпускников школ и приёма в вузы»[7].
Можно думать, что ответ на данное письмо прозвучал в форме публичного заявления министра Д.Ливанова, который предложил вообще ликвидировать задания в тестовой форме из части А единого государственного экзамена[8]. Вот цитата:
«Мы планируем поэтапно исключить часть А из заданий Единого государственного экзамена из всех вариантов, по всем предметам». «Также мы планируем ввести устную часть в ЕГЭ. Вначале это будет иностранный язык, а затем такая технология будет опробована на всех гуманитарных предметах — истории, литературе и так далее».
Из чего можно сделать два, по меньшей мере, вывода.
Первый. Что признаётся ущербность подготовленных в ЕГЭ заданий в тестовой форме. А настоящих тестов там не было никогда, хотя слов и обещаний по этому поводу было немало.
Второй вывод свидетельствует о крахе надежд руководства на овладение подчинёнными мастерством формулирования заданий в тестовой форме. Теперь неумение писать задания в тестовой форме обернулось другой крайностью - намерением полного устранения таких заданий.
Но причём здесь форма тестовых заданий. Она виновата, что ли? Закрытие части А - дело скорее вредное, чем полезно. Оно немного похоже на стремление градоначальника из произведения Салтыкова-Щедрин закрыть Америку. Хотя тот понимал, что сделать это невозможно. Попытки исключения тестовой формы из ЕГЭ и других методов контроля означает прыжок из технологичного XXI века в нетехнологичный XIX век.
Требуется изменение образовательной политики
Если раньше выделялось два главных направления модернизации - кардинальное обновление содержания и экономики образования11, то теперь пришло время к этому добавить необходимость такого же кардинального обновления форм и методов обучения и изучения.
Нужна и настоящая модернизация образования. В результате сейчас образованием в стране реально управляет не народ, не общество, не верховная власть, не нынешний парламент, а чиновники министерства образования и науки12. И делается это неудовлетворительно.
В Минобрнауке делят финансирование, объединяют вузы и школы, сокращают число школ и филиалов вузов, создают недостаточно обоснованные методы для проведения ЕГЭ и ИГА, считают и делят имущество институтов РАН, а также делают много чего ещё, что вызывает деградацию самой науки и процесса образования. Не случайно это министерство признано худшим в Правительстве РФ.
И дело, скажем прямо, не в конкретных министрах, каждый из которых был не лучше предыдущих. Все они п оказались недостаточно ориентированы в главном предмете и в методах образовательной деятельности. И если всё останется так же, как сейчас, то и следующий министр вряд ли станет лучшим. Это вопрос сложившейся системы подбора кадров и сложившейся системы отношений в образовательной сфере.
Похоже, что все министры новейшего времени, кроме Э.Д. Днепрова, были призваны решать не образовательные, а иные, преимущественно политические вопросы. Это перевод образования в сферу услуг, изменение экономических механизмов функционирования образовательных организаций, вертикализация власти в образовательной сфере, подчинение вузов министерству посредством некачественной аттестации и аккредитации, борьба с коррупцией, сокращение числа вузов и т.д. А потому образование в России стало несвободным, неправильно устроенным и неэффективно функционирующим13. При проведении ЕГЭ оказалось много полицейщины. А коррупция выросла в разы. В этих условиях теряется главное - духовность образовательной сферы.
[1]Аванесов В.С. Проблема соединения тестирования с обучением. http://viperson.ru/wind.php?ID=665998&soch=1
[2]Аванесов В.С. Теория квантования учебных текстов. http://viperson.ru/wind.php?ID=669530&soch=1
[3]Публикации в журнале «Педагогические Измерения 2012 и 2014 гг. а также сборники: «Новые образовательные и аттестационные технологии в медицинском вузе: квантованные учебные тексты с заданиями в тестовой форме». Казахский Национальный медицинский университет им. С.Д.Асфендиярова. Центр педагогических измерений им. В.С. Аванесова. Кн.1 и 2. Алматы, 2012.
[4]Аванесов В.С. Проблема соединения тестирования с обучением. http://viperson.ru/wind.php?ID=665998&soch=1
[5]Российская газета, 23 марта 2001г.
[6]Педагогическая диагностика, №2, 2004, с.88.
[7]http://viperson.ru/wind.php?ID=670776&soch=1
[8]http://polit.ru/article/2014/04/09/ik090414/
9 http://viperson.ru/wind.php?ID=670776&soch=1
10 http://polit.ru/article/2014/04/09/ik090414/
11Днепров Э.Д. Модернизация российского образования: документы и материалы. Ред.-сост. Э.Д. Днепров. М. ГУ ВШЭ, 2002. -332 с.
12Аванесов В.С. Стратегии развития образования в Российской Федерации. http://viperson.ru/wind.php?ID=581984&soch=1
13Аванесов В.С. Проблема модернизации образования. http://viperson.ru/wind.php?ID=635807&soch=1