Библиотека Гумер - Педагогика

1.4. Технологическая матрица как модель педагогического тестирования

Определив цели составления тестов, уточнив подходы и выбрав уровень использования, разработчик определяет необходимые этапы создания тестового инструментария. После этого составляется модель педагогического тестирования. Такая модель может быть представлена в виде технологической матрицы. Эта матрица может носить разные названия: содержательная решетка, сетка, организационно-деятельностная матрица, тестовая решетка, таблица содержания и другие. Однако смысл у нее остается один. Технологическая матрица задает содержание, которое будет отобрано для проверки, и важность того или иного элемента содержания. Она может содержать уровни достижений, которые будут проверены, их соотношение, соответствие стандарту и некоторые другие компоненты.

При составлении матрицы для любого предмета тестирования разработчик обязан убедиться, что весь предмет охвачен предлагаемыми вопросами. Содержание предмета должно полностью покрываться матрицей по всем темам. Если же имеет место тестирование по отдельным подтемам, то и в этом случае необходимо, чтобы вся подтема была охвачена вопросами теста. В случае если вопрос или часть вопроса не соответствует теме, или не полностью ясен в рамках данной темы, от вопроса следует воздержаться.

Таким образом, фиксируется требование широты теста, полного учета всех разделов предмета, который находит выражение в матрице.

Для тестов, ориентированных на критерии (критериально-ори­ен­ти­ро­ванных), отбор содержания теста является самым важным этапом его создания, так как для принятия решения о достижении данной цели обучения, например, стандарта, необходимо достаточно точно и полно описать содержание стандарта и выразить его совокупностью заданий, которая была бы представительной для этой цели. Поэтому главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является достижение соответствия содержания стандарта и содержания теста.

В самом простом случае технологическая матрица может описывать только предметы, предметные области или отдельные темы разного уровня обобщения, которые должны войти в тест, и определяет соотношение заданий в тесте.

Важно проследить, чтобы общее количество вопросов было распределено по темам таким образом, чтобы оно отражало их важность, объем, и количество учебного времени.

Основанием для распределения вопросов в технологической матрице могут служить три фактора – важность, объем, и количество учебного времени.

Например, для тестов, предназначенных для входного контроля и итоговой аттестации, важность темы будет носить разный характер. В первом случае материал будет отбираться, исходя из важности для продолжения образования в конкретном вузе или просто для продолжения образования, во втором случае важность будет определяться в рамках всех тем, которые изучались в процессе обучения. Соответственно, между технологическими решетками этих тестов может быть существенная разница. В ряде стран этой разницы не существует, поскольку итоговая аттестация выпускников проводится независимыми службами, организованными на базе отдельных вузов или их ассоциаций, но на построение такой системы им потребовались десятилетия согласований и уточнений.

Для практической работы распределение заданий между темами следует увязать с целями предстоящего тестирования и в том случае, если речь идет о промежуточной аттестации, следует преимущественно ориентироваться на время (объем) темы. В том случае, если тесты готовятся для итоговой аттестации, следует ориентироваться на важность темы для дальнейшего образования.

Особенностью матрицы является планирование не только заданий, но и количества баллов, которыми могут быть оценены эти задания. (Вопрос о количестве баллов на каждое задание требует отдельного обсуждения, так как в последнее время укрепилось мнение – присваивать каждому верно выполненному заданию только один балл.)

Более сложные технологические матрицы содержат две шкалы и оформляются в виде таблицы.

Содержание горизонтальной строки матрицы, как правило, определяют предметы, разделы, учебные темы, разделы учебных тем.

Вертикальная составляющая составляется, как правило, на основе той или иной таксономии учебных целей. Идея второй шкалы реализуется таким образом: устанавливается взаимно однозначное соответствие конкретного тестового задания и уровня (или свойства, умения и пр.) той графы матрицы, к которой отнесено это задание.

Таблица 1. 4

Группы целей, выделенные разными авторами

К первой относят знания, различные уровни его усвоения. Ко второй – умения со своей иерархией подцелей. И к третьей – отношения, интересы, склонности, ориентации.

Наиболее известны в мировой литературе несколько классификаций знания. С ними связаны категории учебных целей.

Авторы международных сравнительных исследований при создании тестов достижений используют содержательно-деятельностные матрицы, основанные на таксономии Блума.

Основные категории учебных целей (по Блуму).

1. ЗНАНИЕ. Эта категория означает запоминание и воспроизведение изученного материала. Речь может идти о различных видах содержания – от конкретных фактов до целостных теорий. Общая черта этой категории – припоминание соответствующих сведений.

СТУДЕНТ:

– знает употребляемые термины;

– конкретные факты;

– методы и процедуры;

– основные понятия;

– правила и принципы и др.

2. ПОНИМАНИЕ. Показателями способности понимать значение изучаемого материала могут служить преобразование (трансляция) материала из одной формы выражения в другую, перевод его с одного «языка» на другой (например, из словесной формы в математическую). В качестве показателя понимания может также выступать интерпретация студентом (объяснение, краткое изложение) или же предположение о дальнейшем ходе явлений, событий (предсказание последствий, результатов). Такие учебные результаты превосходят простое запоминание.

СТУДЕНТ:

– понимает факты, правила и приемы;

– интерпретирует словесный материал;

– интерпретирует схемы, графики, диаграммы;

– преобразует словесный материал в математическое выражение;

– предположительно описывает будущие последствия, вытекающие из имеющихся данных и др.

3. ПРИМЕНЕНИЕ. Эта категория обозначает умение использовать изученный материал в конкретных условиях и новых ситуациях. Сюда входит применение правил, методов, понятий, законов, принципов, теорий. Соответствующие результаты обучения требуют более высокого уровня владения материалом, чем понимание.

СТУДЕНТ:

– использует понятия и принципы в новых ситуациях;

– применяет законы, теории в конкретных практических ситуациях;

– демонстрирует правильное применение метода или процедуры и др.

4. АНАЛИЗ. Эта категория обозначает умение разбирать материал на составляющие так, чтобы ясно выступала его структура. Сюда относится вычленение частей целого, выявление взаимосвязей между ними, осознание принципов организации целого. Учебные результаты характеризуются при этом более высоким интеллектуальным уровнем, чем понимание и применение, поскольку требуют осознания как содержания учебного материала, так и его внутреннего строения.

СТУДЕНТ:

– выделяет скрытые (неявные) предположения;

– видит ошибки и упущения в логике рассуждений;

– проводит различия между фактами и следствиями;

– оценивает значимость данных и др.

5. СИНТЕЗ. Эта категория обозначает умение комбинировать элементы, чтобы получить целое, обладающее новизной (или заданными свойствами). Таким новым продуктом может быть сообщение (выступление, доклад), план действий или совокупность обобщенных связей (схемы для упорядочивания имеющихся сведений). Соответствующие учебные результаты предполагают деятельность творческого характера с акцентом на создание новых схем и структур.

СТУДЕНТ:

– пишет небольшие творческие сочинения;

– предлагает план проведения эксперимента;

– использует знания из различных областей, чтобы составить план решения той или иной проблемы и др.

6. ОЦЕНКА. Эта категория обозначает умение оценивать значение того или иного материала (утверждений, художественных произведений, исследовательских данных). Суждения студента должны основываться на четких критериях. Критерии могут быть как внутренними (структурными, логическими), так и внешними (соответствие намеченной цели). Критерии могут определяться самим студентом или же задаваться ему извне (преподавателем). Данная категория предполагает достижение учебных результатов по всем предшествующим категориям плюс оценочные суждения на ясно очерченных категориях.

СТУДЕНТ:

– оценивает логику построения материала в виде письменного текста;

– оценивает соответствие выводов имеющимся данным;

– оценивает значимость того или иного продукта деятельности, исходя из внутренних критериев;

– оценивает значимость того или иного продукта деятельности, исходя из внешних критериев и др.

Другие авторы предлагают иной перечень видов знаний, который сформулирован исключительно для задач педагогического измерения:

– знание названий, имен;

– знание смысла названий имен;

– фактуральные знания;

– знание определений;

– сравнительные, сопоставительные знания;

– классификационные знания;

– знание противоположностей, противоречий, синонимичных и антонимичных объектов;

– ассоциативные знания;

– причинные знания, знание причинно-следственных отношений, знание оснований и принципов классификации;

– процессуальные, алгоритмические, процедурные знания;

– технологические знания;

– обобщенные, системные знания;

– оценочные знания;

– вероятностные знания;

– абстрактные знания;

– структурные знания;

– методологические знания.

Перечисленные виды знаний не претендуют на полную классификационную систему и поэтому допускают возможность заметного расширения, замены одних видов другими, объединения их в различные группы.

В соответствии с данной системой каждое задание теста предназначено для проверки овладения обучающимися определенными умениями, характеризующими отдельные компоненты познавательной деятельности на материале различных разделов, тем конкретной учебной дисциплины.

Таксономия Б. Блума и ее развитие служит основой для разработки современных тестов учебных достижений, однако ее реально используемая часть определяется целями тестирования.

Для большинства тестов вполне достаточно одной качественно отработанной шкалы.