Другие журналы на сайте ИНТЕЛРОС

Журнальный клуб Интелрос » Credo New » №4, 2008

ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ. ОПЫТ И ПРОБЛЕМЫ ИССЛЕДОВАНИЯ

Решение проблемы повышения качества подготовки учащихся невозможно без его измерения: «Пытаться открывать законы и строить модели различных процессов и явлений, пока нет надежных и строго обоснованных методов измерений управляющих ими фактов, - занятие совершенно бессмысленное и бесполезное, как бы полученные законы и модели не были стройны и изящны» [5, с. 118]. Благодаря измерениям, можно определить, насколько учебные достижения соответствуют целям обучения. «Лишь подкрепив качественный, содержательный анализ тех или иных объектов и явлений обоснованными и надежными измерениями, можно обеспечить педагогов-практиков, ученых, методистов, руководителей… объективной научной информацией», - отмечает Н.М. Розенберг [6, с. 3].
Понятие «измерение» неоднозначно трактуется в разных областях знаний. Так, определение, используемое в физике, технических науках, которое, например, приводит Н.М. Розенберг, не соответствует во многих ситуациях сущности измерений в педагогике: «измерить величину – значит найти отношение измеряемой величины к другой однородной величине, принятой за единицу» [6, с. 9]. 
Особенность философского содержания измерения, как указывает М.Э. Омельяновский, состоит в том, что категория «отдельное» становится представителем своей противоположности – категории «общее» в рамках отношения вещей по этому общему признаку» [4, с.210]. И существование одной лишь отдельной формы измерения совершенно недостаточно. Отсутствие общей формы не позволяет сравнить свойства данной вещи со свойствами другой вещи по этому же признаку.
Прослеживается эволюция понятия «измерение в работах А.М. Арсеньева, М.А. Данилова, Л.Б. Ительсона, Л.И. Катаевой, Н.М. Розенберга, В.П. Симонова, М.Б. Челышковой, В.Д. Шадрикова и др. Так, если в начале у Л.Б. Ительсона измерить – значит определить какую-то реальную величину, то впоследствии автором определение уточняется и измерение рассматривается как построение своеобразной функциональной зависимости, в которой аргументами являются величины, а функциями - обозначающие их числа. 
Анализ исследований по проблеме измерения в педагогике позволяет говорить о его многообразии, об отсутствии единой точки зрения. На наш взгляд, наиболее полно раскрывает суть этого понятия Н.М. Розенберга: «Измерение в педагогике – познавательный процесс, состоящий в том, что на основании ранее полученной числовой системы (или системы классов), изоморфной эмпирической системы с отношениями, экспериментально определяют числовые значения величин, характеризующих некоторые признаки педагогических объектов или явлений, или указывают на класс, к которому они относятся» [6, с. 15].
Разработка самого понятия «измерение», проблемы измерений предполагают решение, как отмечает М.Б. Челышкова, «трех взаимосвязанных задач: для чего, что и чем измерить» [7, с. 13]. Ответ на первый вопрос связан с постановкой цели измерения. И если целью является определение качества подготовки учащихся в ходе аттестации, то главное внимание уделяется выявлению объема усвоенных знаний или умений и их соответствию нормативам (требованиям государственных образовательных стандартов). Ответ на второй вопрос сопряжен с определением предмета измерения, а на третий вопрос – с инструментарием, который используется в ходе измерений.
 Измерение степени соответствия качества подготовки учащихся требованиям образовательных стандартов является всего лишь первым, шагом на пути к созданию системы управления качеством подготовки выпускников всех образовательных ступеней. Измерение качества подготовки является не самоцелью, а лишь призвано дать руководителям учебного процесса информацию для принятия решений о корректировке этого процесса в таком направлении, которое позволило бы достичь целевых состояний обучаемых.
Анализ работ по проблеме педагогических измерений позволил сделать вывод о том, что отечественными учеными созданы инструментарии, способные точно и объективно измерить качество подготовки учащихся.
Объективность и измеримость качества подготовки открывают широкие возможности для управления образовательным процессом, для выявления еще в раннем возрасте одаренных детей и подростков, для повышения объективности конкурсного отбора поступающих в высшие и другие учебные заведения.
Стремление дать объективную количественную оценку знаний сопряжено с поисками надежных методов, форм – инструментов для измерения результатов обучения.
К числу наиболее распространенных методов диагностики, традиционно используемых педагогами для измерения качества учебных достижений учащихся, относятся: контрольная работа, изложение, сочинение, диктанты, реферат и т.д., которые ориентированы на выявление уровня знаний, навыков и умений решения типовых задач. Инновационные приемы педагогической диагностики, получающие все более широкое распространение среди педагогов, ориентированы на выявление и оценку уровня компетентности, образованности, готовности к решению творческих задач, выявление степени владения письменной речью, умения логично, адекватно проблеме выстраивать свой текст и излагать его, давать оценку произведению, проблеме. К инновационным приемам педагогической диагностики мы относим эссе, соревнование, диспут, турнир, конкурс, и др.
К числу современных точных и объективных измерительных методов в таких «неточных» сферах, как психология и педагогика, исследователи относят и метод тестирования, а в качестве измерительного инструмента используются педагогические тесты.
Метод тестирования имеет многолетние корни. В современном образовании он является одним из самых эффективных методов измерения учебных достижений учащихся. Ему посвящены многие работы исследователей. Данный метод активно используется и в практике педагогов, руководителей образовательных учреждений и системы образования. Однако его применение возможно лишь при условии освоения основных подходов к созданию измерительных материалов, их особенностей. 
Проблемно-хронологический анализ становления тестовой технологии и исследования современных тестологов позволяют увидеть пути решения проблемы создания инструментария, способного точно и объективно оценить качество подготовки учащихся образовательных учреждений при массовых измерениях, например, в ходе аттестации образовательных учреждений, когда целесообразно использовать в качестве измерительного инструмента именно тесты. 
Диапазон подходов к определению педагогических тестов широк как в научной, так и в методической литературе.
Сложность рассмотрения понятия «тест» усугубляется неоднозначностью подходов в теории и практике. В современной педагогике наметилось два широких подхода к его определению. Под тестом понимается либо весь метод исследования целиком, включая процедуру проверки, либо только средство измерения.
Часть авторов уже названием тестов определяет цель тестирования:
тест обученности – это совокупность заданий, сориентированных на определение (измерение) уровня (степени) усвоения определенных аспектов (частей) содержания обучения (В.П. Симонов);
тест достижений – набор стандартизированных заданий по определенному материалу, устанавливающий степень усвоения его учащимися (А.Н. Майоров);
тест успеваемости – это совокупность заданий, ориентированных на измерение степени уровня определенных аспектов содержания образования (Н.М. Розенберг).
Очевидно, что многообразие подходов к определению теста порождается многообразием существенных признаков педагогического теста, которые, прежде всего, зависят от цели создания теста и круга вопросов, решаемых с его помощью.
Сложность рассмотрения понятия «педагогический тест» также усугубляется неоднозначностью подходов теоретиков и практиков. Так, А.Н. Майоров рассматривает его как достаточно широкое понятие: «инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения» [1, с. 33]. 
В.С. Аванесов понятие «педагогический тест» сужает и трактует его в двух существенных смыслах: как метод педагогического измерения и как результат применения теста как метода измерения, состоящего из ограниченного множества заданий. При этом замечает, что в большинстве работ западных авторов, в отличие от отечественных, понятие «тест» чаще рассматривается во втором смысле.
М.Б. Челышковой ближе толкование понятия «теста» как совокупности заданий, которые позволяют дать объективную, сопоставимую и даже количественную оценку качества подготовки обучаемого в заданной образовательной области. 
Процесс совершенствования понятийного аппарата идет по пути «систематизации множества определений и приведения их в соответствие с решением вопроса классификации педагогических тестов» [7, с. 39].
Разработчики тестов опираются на два подхода, которые уже сложились в тестировании: тесты, ориентированные на критерий (критериально-ориентированные), и тесты, ориентированные на норму (нормативно-ориентированные).
Для критериально-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания → ответы → выводы о соответствии испытуемого заданному критерию.
При критериально-ориентированном подходе создаются тесты для сопоставления учебных достижений каждого ученика с планируемым к усвоению объемом знаний, умений или навыков, а в качестве интерпретационной системы отсчета используется конкретная область содержания (например, содержание за год обучения или за ступень обучения). Трудность заключается в том, что в тесте стараются отразить больший объем содержания контролируемого курса. Но так как проверить все просто невозможно, необходимо ранжировать содержание и требования по степени важности. Тест включает все то, что можно условно принять за 100%. 
Преимущество критериально-ориентированных тестов в том, что они помогают собрать полную и объективную информацию о достижениях каждого учащегося; сравнить обученность ученика с требованиями, заложенными в государственных образовательных стандартах. В результате критериально-ориентированного тестирования ученик получает информацию о том, что он знает по сравнению с требованиями к уровню подготовки по предмету.
В рамках нормативно-ориентированного подхода тесты разрабатываются для сравнения учеников по уровню учебных достижений. Это достигается путем сопоставления результата каждого учащегося с результатами других учеников, которые выполняли тот же тест. Для нормативно-ориентированной интерпретации вывод выстраивается вдоль цепочки: задания → ответы → выводы о знаниях испытуемого → рейтинг, понимаемый как вывод о месте или ранге испытуемого. При нормативно-ориентированном подходе возникает вопрос об истинной оценке результата каждого ученика, поэтому эмпирически устанавливаются нормы (система показателей, отражающих результаты выполнения теста большой группой испытуемых). 
Нормативно- и критериально-ориентированные тесты отличаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования и методам их обработки, критериям качества тестов и тестовых заданий, а, главное, по интерпретации результатов испытуемых.
Критериально-ориентированные тесты необходимы, прежде всего, для определения учебных достижений при сравнении с требованиями, которые заложены в стандартах по различным предметам. 
Требования к тестам как измерительному инструменту содержат требования к расчету показателей качества тестов и требования к их оснащению. Такими показателями качества являются надежность и валидность тестового инструментария.
А.А. Анастази определяет надежность теста как «согласованность показателей, полученных у тех же самых испытуемых при повторном тестировании, тем самым тестом, или эквивалентной ее формой» [2, с. 35].
Надежность теста является одним из критериев качества теста и показывает, насколько точно измеряет данный тест изучаемое явление. Следовательно, термин «надежность» имеет два значения: во-первых, если тест надежный, он при повторном выполнении дает близкие результаты; во-вторых, он обеспечивает высокую точность измерений.
Стандартный набор данных о тесте, предназначенных для широкого употребления, обязательно должен включать сведения о мере ее надежности.
Исследования В.С. Аванесова, Дж. Гласcа, А.Н. Майорова, Е.А. Михайлычева, М.Б. Челышковой, Н.М. Розенберга и ряда других авторов приводят к выводу о том, что надежность теста является характеристикой того, в какой степени полученные в результате тестирования различия между испытуемыми является отражением различий в свойствах испытуемых и в какой мере являются отображением случайных ошибок. Н. Гронлуд отмечает: «Если балл, полученный учеником в результате теста по оценке результатов, будет соответствовать той оценке, которую они получили бы при повторном прохождении того же теста или идентичного с ним по форме, то данная оценка считается высоко надежной… Чем длиннее тест, тем более надежными и адекватными будут результаты» [1, с. 205].
Вторым важным показателем качества теста является валидность (от англ. valid – пригодный). «Проблема валидности возникает в процессе разработок и практического применения теста, когда ставится задача установить соответствие между степенью выраженности интересующего свойства личности и методам его измерения. Чем валиднее тест, тем лучше отображается в нем то качество (свойство), ради измерения которого он создавался» [2, с. 47].
Для определения подходов к процессу валидизации теста и валидности в трудах ученых используется большое количество терминов, что свидетельствует об отсутствии однозначной точки зрения по поводу понятия «валидность», которое отсутствует и в некоторых фундаментальных словарях.
Одним из наиболее распространенных терминов является «содержательная валидность», необходимость которой не отрицают вышеназванные тестологи и определяют ее как характеристику репрезентативного содержания теста по отношению к запланированным для проверки знаний и умений. По мнению И.А. Анастази, сфера распространения валидности по содержанию – это тесты учебных достижений, особенно критериально-ориентированные тесты по усвоению материала и навыков. Если тест позволяет проверить все то, что авторами было задумано в спецификации, он считается валидным относительно контролируемого содержания курса. Полнота выходит на первый план именно при создании критериально-ориентированных тестов. Помимо этого, повышению содержательной валидности способствует независимая экспертиза. 
Анализ трудов теоретиков-тестологов позволяет сделать следующие выводы: 
- тесты отличаются от других средств контроля (контрольных работ, диктантов и др.) тем, что проходят процесс научного обоснования качества, который предполагает оценку соответствия характеристик тестов двум важнейшим критериям: надежности и валидности;
- при оценке надежности и валидности не следует полагаться на единственную формулу, а надо пользоваться совокупностью методов, ориентированных на особенности разрабатываемого теста;
- любые оценки надежности и валидности выступают не как истина в последней инстанции, а лишь как правдоподобные утверждения, имеющие ту или иную степень достоверности;
- повышению точности и созданию качественных тестов способствует стандартизация процедуры предъявления теста;
- современная теория тестов позволяет повысить точность измерений и качество педагогических тестов.
При создании тестов важен выбор модели педагогического тестирования – схемы предъявления тестовых заданий и оценивания результатов тестирования.
Современная педагогическая литература позволяет выделить ряд наиболее распространенных моделей тестирования, лежащие в основе разработки тестов. Критериально-уровневая классификация моделей тестирования представлена нами в таблице 1. 
Выявлено, что увеличение количества критериев влечет за собою повышение объективности теста. Педагогические тесты, разработанные на основе критериально-ориентированного подхода, обладают несомненными преимуществами перед традиционными субъективными формами контроля обученности учащихся. Надежный и валидный педагогический тест полностью отвечает требованиям к технологии контроля знаний, умений навыков учащихся на всех этапах обучения. Таким образом, можно говорить о технологизации процесса тестирования. Анализ имеющихся исследований позволяет сделать вывод о ряде преимуществ, которые возможно рассматривать как признаки тестовой технологии. К ним мы относим:

Таблица 1
Критериально – уровневая классификация моделей тестирования

Уровни Критерии

Модели Учет (%) правильных ответов обучаемых Разделение заданий по сложности Параллельность тестов по сложности Учет мастерства владения учебным материалом Учет времени ответа на тест Ограничение времени на тест Усложнение заданий в зависимости от ответов Возможность построения комбинационных моделей
1 Классическая + - - - - - - -
2 Классическая с учетом сложности + + - - - - - -
3 С возрастающей сложностью + + + - - - - -
4 С разделением знаний по уровням усвоения + + + + - - - -
5 С учетом времени ответа (совместно с моделями 1-4) + + + + + - - -
6 С ограничением времени (совместно с 1-4) + + + + + + - -
7 Адаптивная модель + + + + + + + -
8 На нечеткой математике + + + + + + + +

1. Индивидуальный характер, возможность осуществления контроля за работой каждого учащегося, за его личной учебной деятельностью.
2. Возможность регулярного систематичного проведения тестового контроля на всех этапах процесса обучения, сочетания его с другими традиционными формами педагогического контроля.
3. Всесторонность, заключающуюся в том, что педагогический тест способен охватывать все разделы учебной программы, обеспечивать проверку теоретических знаний, интеллектуальных и практических умений и навыков учащихся.
4. Объективность тестового контроля, исключающую субъективные (ошибочные) оценочные суждения и выводы преподавателя.
5. Учет специфических особенностей каждого учебного предмета и отдельных разделов за счет применения современных методик разработки и многообразия форм тестовых заданий.
6. Возможность проведения традиционного ("бумажного") и компьютеризированного (в локальной сети) тестирования.
7. Возможность массового широкомасштабного стандартизованного тестирования путем распечатки и тиражирования параллельных форм (вариантов) и возможность доставки его в различные учебные заведения.
8. Учет индивидуальных особенностей специфической выборки испытуемых, требующий применения в соответствии с этими особенностями различных методик разработки теста и тестовых заданий.
9. Единство требований ко всем испытуемым.
10. Высокую надежность тестового контроля, позволяющую говорить о полноценном педагогическом измерении обученности.
11. Высокую содержательную валидность тестового контроля, основанную на включении всех дидактических единиц программы обучения в задания тестов.
12. Возможность учета при тестировании региональных особенностей.
Теоретический анализ и анализ собственного опыта позволяют отметить, что оценка качества образования со временем приобретает все большую значимость, а интеграционные процессы, характеризующие современную цивилизацию, дадут толчок развитию новых направлений тестирования.
Использование широкомасштабного тестирования при проведении единого государственного экзамена, в процедуре аттестации образовательных учреждений говорит о том, что тестирование учащихся становится государственной политикой в российской школе, а работа над созданием тестов одновременно является неким моделированием государственного образовательного стандарта при процедуре аттестации и диагностики качества знаний. 

Литература
1. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). – М., 2000. – 352с.
2. Михайлычев Е.А. Дидактическая тестология.- М.: Народное образование, 2001. - 232с.
3. Новое в оценке образовательных результатов: междунар. аспект / [А. Литтл, М.Э. Локхед, В. Чайнапа и др.; пер. М.С. Добряковой]; под ред. А. Литтл, Э. Вулф; Моск. высш. шк. социал. и экон. наук. – М.: Просвещение, 2007. – 367 с. – (Образование: мировой бестселлер). – ISBN 5-09-014926-7.
4. Омельяновский М.Э. Философские аспекты теории измерений.// Материалистическая диалектика и методы естественных наук. - М.: Наука, 1968. – С. 53-58.
5. Патругин Ю.А. Об изменении качественных признаков.// Моделирование социальных процессов. - М.: Наука, 1970. – 247с.
6. Розенберг Н.М. Проблема измерений в дидактике. - Киев: Вища школа, 1979. - С.3-19.
7. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учеб. пособие. – М.: Логос, 2002. – 432с.

Архив журнала
№4, 2020№1, 2021кр№2, 2021кр№3, 2021кре№4, 2021№3, 2020№2, 2020№1, 2020№4, 2019№3, 2019№2, 2019№1. 2019№4, 2018№3, 2018№2, 2018№1, 2018№4, 2017№2, 2017№3, 2017№1, 2017№4, 2016№3, 2016№2, 2016№1, 2016№4, 2015№2, 2015№3, 2015№4, 2014№1, 2015№2, 2014№3, 2014№1, 2014№4, 2013№3, 2013№2, 2013№1, 2013№4, 2012№3, 2012№2, 2012№1, 2012№4, 2011№3, 2011№2, 2011№1, 2011№4, 2010№3, 2010№2, 2010№1, 2010№4, 2009№3, 2009№2, 2009№1, 2009№4, 2008№3, 2008№2, 2008№1, 2008№4, 2007№3, 2007№2, 2007№1, 2007
Поддержите нас
Журналы клуба