Методические указания по разработке тестовых заданий Иркутск 2011г. Удк 53 ббк в. 3

Дидактическая единица – логически самостоятельная часть учебного материала, по своему объему и структуре соответствующая таким компонентам содержания, как понятие, теория, закон, явление, факт, объект и т.п.

Апробация теста – пробное педагогическое тестирование, предшествующее основному и предпринимаемое с целью устранения ошибок и неточностей в заданиях, а также приблизительной оценке трудности теста и его отдельных частей (заданий).


2. Общие требования к фонду тестовых заданий по дисциплине


Тесты для контроля знаний разрабатываются по каждой дисциплине, преподаваемой на кафедре. Ответственность за наличие фонда тестовых заданий по дисциплине несет заведующий кафедрой, за которой закреплена данная дисциплина в соответствии с приказом по университету. Ответственным за разработку тестов на кафедре является заведующий кафедрой. Непосредственным исполнителем разработки (переработки) тестов является преподаватель ведущий дисциплину в соответствии с распределением нагрузки по кафедре. ФТЗ по дисциплине может быть опубликован в электронном и печатном виде.

ФТЗ должен быть сформирован так, чтобы обеспечить:

1. Выявление уровня знаний и умений, формируемых данной учебной дисциплиной в соответствии с квалификационными требованиями ГОС и/или целями ее изучения, указанными в рабочей программе;

2. Возможность формирования педагогических диагностических тестов различного назначения, а именно - для:

• 
  Текущей, промежуточной или итоговой аттестации;
  
• 
  Государственной аттестации;
  
• 
  Выявления слабо подготовленных студентов;
  
• 
  Отбора наиболее способных и подготовленных студентов.
  

При разработке ФТЗ следует учитывать:

1. Вид контроля: текущий, промежуточный и итоговый контроль;

2. Состав выявляемых и оцениваемых знаний и умений, определяемых целями изучения дисциплины;

3. Продолжительность тестирования: нормативно ограниченная (аттестационное, итоговое, рубежное тестирование); нормативно неограниченная (учебно-тренировочное тестирование);

4. Возможность эффективного применения тестовых заданий различных форм (открытой, закрытой, на соответствие и на установление правильной последовательности и др.)

При разработке тестов необходимо руководствоваться:

- Содержанием учебников и учебных пособий, рекомендованных рабочей программой;

- Содержанием соответствующих тестов, представленных на сайте

www.fepo.ru (Федеральный экзамен в сфере профессионального образования).


3. Порядок разработки, требования к структуре, содержанию и оформлению фонда тестовых заданий


Процедура разработки фонда тестовых заданий:

1. 
   Разрабатывается структура тестовых материалов (выделяются дидактические единицы);
   
2. 
   Продумывается спецификация (характеристики)теста;
   
3. 
   Составляются тестовые задания;
   
4. 
   Проводится внутренняя экспертиза с последующей коррекцией;
   
5. 
   Проводится внешняя экспертиза.
   

Структура тестовых материалов разрабатывается для выделения основных разделов, по которым происходит контроль знаний в виде тестирования. На основании данной структуры возможно формирование тестов различного, назначения используя один общий фонд тестовых заданий.

При разработке структуры необходимо выполнить следующие действия:

1. Необходимо выполнить разбивку дисциплины на разделы (дидактические единицы), темы.

2. Структура должна охватить весь материал, изложенный в ГОСе по соответствующей учебной дисциплине или в рабочей программе.

3. Для каждого тестового задания обязательно указывается его принадлежность определенному узлу структуры.

4. Рекомендуется выделить не менее 5-15 дидактических единиц в тесте.

Ниже приведен пример разработанной структуры по дисциплине «Информатика». Тест разделен на 8 дидактических единиц.

N ДЕ	Наименование дидактической единицы ГОС	N за- да- ния	Тема задания
1	Основные понятия и методы теории информатики и кодирования. Сигналы. данные, информация. Общая характеристика процессов сбора, передачи, обработки и накопления информации	1	Сообщения, данные, сигнал, атрибутивные свойства информации, показатели качества информации, формы представления информации. Системы передачи информации
		2	Меры и единицы количества и объема информации
		3	Позиционные системы счисления
		4	Логические основы ЭВМ
2	Технические средства реализации информационных процессов	5	История развития ЭВМ. Понятие и основные виды архитектуры ЭВМ
		6	Состав и назначение основных элементов персонального компьютера, их характеристики
		7	Запоминающие устройства: классификация, принцип работы, основные характеристики
		8	Устройства ввода/вывода данных, данных, их разновидности и основные характеристики
3	Программные средства реализации информационных процессов	9	Понятие системного и служебного (сервисного) программного обеспечения: назначение, возможности, структура. Операционные системы
		10	Файловая структура операционных систем. Операции с файлами
		11	Технологии обработки текстовой информации
		12	Электронные таблицы
		13	Технологии обработки графической информации
		14	Средства электронных презентаций
		15	Системы управления базами данных
		16	Основы баз данных и знаний
4	Модели решения функциональных и вычислительных задач	17	Моделирование как метод познания
		18	Классификация и формы представления моделей
		19	Методы и технологии моделирования
		20	Информационная модель объекта
5	Алгоритмизация и программирование	21	Понятие алгоритма и его свойства. Блок-схема алгоритма
		22	Основные алгоритмические конструкции. Базовые алгоритмы
		23	Программы линейной структуры
		24	Операторы ветвления, операторы цикла
6	Технологии программирования	25	Этапы решения задач на компьютерах
		26	Понятие о структурном программировании. Модульный принцип программирования. Подпрограммы. Принципы проектирования программ сверху-вниз и снизу-вверх
		27	Объектно-ориентированное программирование
7	Языки программирования высокого уровня	28	Эволюция и классификация языков программирования. Основные понятия языков программирования
		29	Структуры и типы данных языка программирования
		30	Трансляция, компиляция и интерпретация
8	Локальные и глобальные сети ЭВМ. Защита информации в сетях	31	Сетевые технологии обработки данных
		32	Основы компьютерной коммуникации.
		33	Сетевой сервис и сетевые стандарты
		34	Защита информации в локальных и глобальных компьютерных сетях

Если на изучение дисциплины отведено небольшое количество часов, возможно, ее разбиение только на дидактические единицы, без выделения тем.


Спецификация теста содержит:

1. Цели создания теста (входная, промежуточная, итоговая аттестация);

2. Перечень специальностей и направлений подготовки;

3. Перечень документов, использованных при создании теста (ГОС, рабочая программа);

4. Количество заданий в тесте (рекомендуется не менее 10 заданий на каждую тему дидактической единицы);

5. Время, отведенное на выполнение теста.

На разработанный фонд тестовых заданий по дисциплине оформляется «Паспорт фонда тестовых заданий по дисциплине» (Приложение 1).


4. Требования к содержанию тестовых заданий

1. При составлении тестовых заданий следует избегать использования очевидных, тривиальных, малозначащих вопросов и формулировок. Каждое ТЗ должно иметь отношение к конкретному факту, принципу, умению, знанию, т.е. обладать достаточной важностью для включения в тест. Все тестовые задания должны быть связаны с целями обучения.

2. Тестовое задание должно быть представлено в форме краткого суждения, сформулированного четким языком и исключающего неоднозначность заключения тестируемого на требования тестового задания.

3. ТЗ должно быть с однозначным ответом. Недопустимы ответы типа: «все выше перечисленное верно» и т.п. Субъективное мнение или понимание отдельного преподавателя должно быть исключено.

4. Ни в формулировке ТЗ, ни в ответах не должно быть подсказок. Из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.

5. Текст ТЗ не должен содержать повторов, двойных отрицаний и сленга. Тестовое задание не допускает формы альтернативного высказывания.

6. Формулировка ТЗ должна быть выражена в повествовательной форме (вопрос исключается).

7. По возможности ТЗ не должно содержать сложноподчиненные конструкции. Из всех видов письменных коммуникаций тестовые задания должны быть наиболее «читабельны». Простые декларативные предложения помогут студентам избежать неправильной интерпретации. Формулировка ТЗ должна быть минимальна (рекомендуется - до 15 слов).

8. Среднее время решения ТЗ - не более 2-3 минут.

9. Количество вариантов ответов дистракторов должно быть больше 3-х, но меньше 7.

10. Запрещено применение всех правильных или всех неправильных дистракторов.

13. При использовании открытой формы ТЗ необходимо предусмотреть все возможные варианты правильного ответа.

14. Необходимо использовать в тесте столько ТЗ, сколько необходимо для достижения целей тестирования. При тестировании главной целью должно быть не количество тестовых заданий, а отражение всех целей тестирования.


5. Процедура экспертизы, согласования, утверждения и хранения фонда тестовых заданий


Решение о возможности включения тестовых заданий по дисциплине в ФТЗ университета принимается на заседании кафедры после проведения апробации. Кафедрой составляется заключение, в котором указывается перечень учебных задач, которые могут быть решены при использовании данного фонда. Экспертиза тестовых заданий, вопросов является обязательным условием для создания тестов вне зависимости от уровня их применения.

При проведении экспертизы рекомендуется проанализировать следующие параметры тестов:

- Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине. Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов может привести к недостоверным выводам о знании или незнании учебной дисциплины.

- В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения (ключевого понятия, термина, правила, определения и т.д.). Необходимо проанализировать формулировки задания (проверить предметную корректность формулировок).

- В результате экспертизы в конструктивной форме формулируются замечания к каждому из заданий с предложениями, что и как необходимо изменить, формулируется заключение о пригодности теста для использования.

Печатный экземпляр тестов хранится на кафедре. Электронный и печатный вариант фонда тестовых заданий предоставляется кафедрой-разработчиком в Центр дистанционных образовательных технологий (ЦДОТ) и оформляется в соответствии с Требованиями к электронным вариантам ФТЗ.

При проведении внешней технологической экспертизы ЦДОТ проверяет следующие параметры фонда тестовых заданий:

1. 
   Количество дидактических единиц (рекомендуется выделить 5-15 дидактических единиц, каждая дидактическая единица разбивается на темы, на каждую тему разрабатывается не менее 10 тестовых заданий);
   
2. 
   Общее количество вопросов в фонде тестовых заданий – не менее 100 тестовых заданий.
   
3. 
   Соответствие тестовых заданий четырем основным типам (открытые, закрытые, на упорядочение, на соответствие).
   
4. 
   Количество дистракторов в тестовых заданиях – рекомендуется продумать 4-7 вариантов ответов, из которых количество правильных ответов - 2, 3 для снижения вероятности угадывания (хотя допускается и один правильный вариант ответа).
   

По результатам проведенной экспертизы автор ФТЗ получает соответствующее удостоверение.

6. Функции дизайнера тестов


Системы, предназначенные для автоматизированного создания тестов в различных предметных областях, оценки результатов тестирования, обработке статистических данных и мониторинга качества образования, называются дизайнерами тестов.

В ИрГУПС разработан учебно-образовательный портал "Стрела", который включает в себя дизайнер тестов. Дизайнер тестов «Стрела» представляет собою программную оболочку, выполняющую следующие функции:

- Создание и хранение тестовых заданий;

- Компоновка тестов;

- Обработка ответов;

- Сбор и анализ статистической информации;

Дизайнер тестов позволяет работать с разными типами тестовых заданий, что обеспечивает широкую вариативность тестовых заданий. Система предусматривает задания различных (наиболее часто используемых) типов.

Существует функция назначения весовых коэффициентов заданиям и ответам. Каждому вопросу соответствует определенный "вес", который характеризует его сложность. Имеется возможность использовать в заданиях графики, что позволяет сделать задания более наглядными и образными (особенно в случае компьютерного тестирования).

При создании тестов учитываются такие параметры, как:

дискриминативность – обозначает способность теста отделять испытуемых с высоким общим баллом от тех, кто получил низкий общий балл;

надежность – способность теста адекватно отражать всю возможную совокупность заданий в данной предметной области и устойчивые результаты при повторном использовании его вариантов;

валидность – независимость теста от субъективных факторов и соответствие его объективной реальности.

Система позволяет раализовать тестирование в режимах: «самопроверки» и «экзамена». В случае тестирования для самопроверки студенты могут ознакомиться с отчетом по тестированию и увидеть свои ошибки. В системе предусмотрена формальная обработка ответа (сравнение ответа с образцом) и сохранение результатов тестирования.

Достоинством тестового контроля знаний является возможность обеспечить статистическую обработку результатов тестирования. В системе заложена возможность сбора и анализа статистической информации без которой невозможно грамотное тестирование и проведение мониторинга. Таким образом, данная система отвечает основным требованиям, предъявляемым к программным продуктам такого класса, и может быть использована для проведения масштабного тестирования, как в отдельных учебных заведениях, так и на региональном уровне.


7. Работа с дизайнером тестов «Стрела»


Ниже приведена пошаговая инструкция для создания теста в дизайнере тестов «Стрела».

1. Зайдите на сайт СДО Стрела в качестве преподавателя (запустите браузер, введите адрес sdo.irgups.ru, введите Логин и Пароль Преподавателя).

2. Выберите ссылку Дизайнер тестов, далее выберите категорию, в которую планируется добавить тест (например, Очное обучение).

3. Выберите факультет и кафедру. Щелкните по ссылке Создать категорию:





В результате будет создана Ваша личная папка для хранения тестов. Войдите в нее.

4. Выберите ссылку Новый тест. Появится форма свойств теста.

Заполните поля формы. В поле Проходной балл указывается процент верных ответов, которые необходимо набрать на оценку удовлетворительно. Далее будет возможность проставлять оценки за тестирование как автоматически, так и в ручную, после проверки преподавателем. Поле Время прохождения теста является необязательном (если оно не заполнено – тест не ограничен по времени). Если существует необходимость при тестировании выводить вопросы в произвольном порядке – в поле Перемешивать порядок вопросов установите значение Да. Аналогично – с порядком ответов. Далее можно указать количество попыток тестирований для студентов, либо оставить неограниченный доступ. На этапе создания теста удобнее дать допуск только для преподавателя, чтобы у студентов не было возможности его просмотреть в неоконченном виде. Далее, непосредственно перед тестированием, нужно будет выдать допуск для студентов. В поле Тип теста доступно два варианта – экзамен и самоконтроль. Если выбран тип самоконтроль, студенты смогут просматривать отчет, в котором будет указано, на какие вопросы они отвечали неверно. В последнем поле укажите, к какому курсу (дисциплине) относится разрабатываемый тест. Нажмите кнопку Сохранить.

5. Выберите ссылку Создать категорию и введите разделы (дидактические единицы) дисциплины. Заранее продумайте структуру теста, например:



Далее у Вас будет возможность комбинировать различные тесты из созданных (задавать выборку из разных категорий определенного количества вопросов). Поэтому в Вашей папке создайте новые категории таким образом, чтобы далее можно было создавать различные тесты на основании общей базы вопросов.

6. Выберите ссылку Новый вопрос. Появится форма формулировки вопроса.

В поле Тип вопроса укажите один из восьми возможных типов:
- "один из многих" - студент выбирает один из нескольких вариантов ответов;
- "многие из многих" - выбирается один или несколько вариантов ответов, удовлетворяющих условиям вопроса;
- "краткий ответ" - студент вписывает ответ на вопрос в поле; предполагается, что ответ будет однозначным;
- "числовой" - студент вписывает ответ на вопрос в поле, который обязательно является цифрой;
- "соответствие" - студенту необходимо установить соответствие между двумя списками;
- "верно/неверно" - студент отвечает на вопрос, который предполагает ответ да/нет (верно/неверно);
- "упорядочение" - последовательность понятий устанавливается в определенном порядке;
- "развернутый ответ" - ответ на вопрос вводится в текстовое поле, он может быть неоднозначным (вопрос, который принадлежит данному типу, не может быть оценен автоматически).

Далее укажите (в случае, если вопрос типа "один из многих", "многие из многих", "соответствие", "упорядочение") количество вариантов ответов:

Нажмите кнопку далее.

7. Заполните форму вариантов ответов



Отметьте, сколько баллов будет добавляться студенту за каждый вариант ответа (например – если правильным является один вариант - укажите для него 100 балов). Нажмите кнопку Сохранить.

Для добавления вопроса, содержащего графический объект (формулу, рисунок) сохраните все рисунки в отдельную папку в формате jpg. Для этого можно открыть документ Word, содержащий тест, выбрать команды Файл, Сохранить как, в поле Тип файла указать Веб-страница с фильтром. В результате будет создана папка, содержащая все графические изображения документа. При добавлении нового вопроса в первую очередь в поле Загрузка изображений щелкните по кнопке Обзор и выберите необходимое изображение из созданной папки, нажмите кнопку Загрузить. Если тестовое задание содержит несколько рисунков, загрузите их все. Далее в формулировке вопроса на месте, где должен отображаться графический объект, укажите ссылку на него (установите курсор в это место и щелкните по кнопке ).



8. Далее аналогично добавьте другие вопросы.

9. После того, как все вопросы будут добавлены, необходимо прикрепить их к тесту. Для этого создайте секцию теста:



Выберите папку с вопросами (поставьте галочку) и нажмите кнопку Добавить в тест



В поле Количество вопросов можно указать, сколько вопросов необходимо выбрать в тест:



Введите число и нажмите кнопку . Нажмите кнопку Готово. Далее Вы можете пройти тест, щелкнув по кнопке .

10. Выдайте допуск на тестирование студентам. Выберите ссылку Преподавателю, свою кафедру, дисциплину. В случае если на открывшейся странице нет категории Контроль, щелкните по ссылке Новая тема, в поле выбор темы выберите Контроль (контролирующие материалы), в поле позиция укажите 4. Нажмите кнопку сохранить. Далее щелкните по кнопке категории Контроль, выберите название теста, укажите вид контроля, нажмите кнопку Сохранить.

11. Ссылка Результаты тестирования предназначена для просмотра отчетов по тестированию и ведомостей.


8. Требования к электронному варианту фонда тестовых заданий

1. 
   Фонд тестовых заданий должен быть представлен в виде текстового документа (MS Word). Шрифт – Times New Roman, размер шрифта – 14.
   
2. 
   Все тестовые задания должны быть разделены по дидактическим единицам (темам).
   
3. 
   Каждое тестовое задание нумеруется следующим образом:
   

А.В, где А – номер дидактической единицы в соответствии с паспортом фонда тестовых заданий (Приложение 1),

В – порядковый номер вопроса

4. 
   Правильные ответы выделяются маркером +. Для вопросов на установление соответствия и упорядочение элементы должны быть расставлены в правильном порядке.
   

Пример:


1.1. Наука изучающая законы развития культуры

Политология

+ Культурология

Социология

Философия


1.2. Россия подписала мир с Францией в Тильзите в … году.

+ 1807


2.1. Укажите последовательность действий, необходимых для установки автоматической проверки орфографических ошибок в программе MS PowerPoint:

Выбрать пункт меню Сервис

Выбрать команду Параметры

Выбрать вкладку Орфография и стиль

Поставить флажок радом с полем Автоматически проверять орфографию


2.2. Установите соответствие между стандартными приложениями ОС Windows и их назначением

- Paint	- создание, просмотр и редактирование растровых графических изображений
- WordPad	- создание и редактирование текстовых документов
- Проводник	- отображение файлов и папок компьютер

Литература


1. Сайт http://www.fepo.ru/;

2. Сайт http://www.nica.ru/;

3. Виноградова Л.В., Булдаков А.Н., Лашук Н.В. Система контроля электронного учебно-методического комплекса. Методические указания для преподавателей ЗабИЖТ;

4. Кондратьев И.Н. Основные составляющие образовательной среды дистанционного обучения университетского комплекса. // «Открытое образование». Москва, МЭСИ №1(66), 2008г. с.11-18.

5. Краснов Ю.Э. Руководство по разработке тестовых заданий и конструированию педагогических тестов;

6. Бабошин Е.А. Методические указания по составлению тестового материала.


Приложение №1


Паспорт

фонда тестовых заданий

Дисциплина:___________________________________________

Специальности:_________________________________________


Структура теста

N ДЕ	Наименование дидактической единицы (ДЕ) ГОС	N за- да- ния	Тема задания	Количество вопросов в теме
1	ДЕ1	1	Тема 1
		2	Тема 2
		….	….
		….	….
2	ДЕ2	…..	….

Спецификация теста

Цели создания теста (входная, промежуточная, итоговая аттестация)
Перечень документов, использованных при создании теста (ГОС, рабочая программа)
Пороги оценок1
Предел длительности всего контроля
Последовательность выбора тем2
Последовательность выборки вопросов из каждой темы2
Количество вопросов в базе3

¹ – балл, который необходимо набрать для получения определенной оценки

² – возможны 2 варианта выборки:

• 
  последовательная;
  
• 
  случайная.
  

³ – количество вопросов из каждой темы.