Манчинська Н.Б., Матвієнко О.І.
Харківський національний університет радіоелектроніки
Інструменти
статистичного аналізу тестів
При
дистанційному навчанні, як і при офлайн-навчанні, потрібно контролювати
засвоєння знань студентами, перевіряти їхню спроможність використовувати набуті
навички для розв’язанні практичних задач [1].
Одним
із інструментів для перевірки знань були використані тести в системі
дистанційного навчання Moodle [2,
3].
Використання тестів дозволяє суттєво скоротити часові витрати викладача,
автоматизувавши процес проведення контроля знань студентів.
Для
уникнення плагіату та недобросовісного виконання тестування проводилося одночасно
для всіх груп, які вивчають дисципліну. Для зниження впливу факторів,
пов'язаних із застосуванням підказок, списування використовувалась функція перемішування
питань у тесті, а також перемішування варіантів відповідей. Для обмеження ймовірності списування правильні
відповіді показувалися лише після закриття тесту. Однотипні питання були
поділені на категорії, кожна категорія містила від 10 до 30 питань. В тесті
питання з категорії вибирались системою випадковим чином. У тестуванні брав
участь 151 студент.
В
системі дистанційного навчання Moodle доступні різні типи тестових питань.
Автори в своїй практиці для оцінювання знань студентів з математичних дисциплін
використовували такі типи питань: багатоваріантне питання, відповідність, числовий.
Скрізь, де можливо, намагалися зробити питання числового типу, щоб уникнути
угадування.
В
системі Moodle можна оцінити загальний результат по тесту, зробити порівняльний
аналіз окремої групи із загальним результатом, доступна статистика по кожному
студенту (рис. 1).
Рисунок
1. Результати студентів з інформацією по кожному тестовому питанню
Графік
результатів дає можливість побачити розподіл відповідей за балами та зробити
аналіз, як він відрізняється від розподілу за нормальним законом (рис. 2). Вважається
нормальним, якщо всі результати потрапляють в діапазон 50-100% правильних
відповідей.
З
рис. 2 можна зробити висновок, що розподіл тестових балів 76% тестованих наближається
до нормального, а 24% студентів отримали найвищу кількість балів. Це дає
розуміння, що для чверті студентів тест виявився легким, тому потрібно додати
більш складні питання та скоротити час
тестування.
Рисунок
2. Графік кількості студентів за отриманими балами
Для
аналізу якості тестових завдань у системі є багато можливостей, статистична
обробка результатів проходження тесту дає можливість отримати інформацію про
якість та валідність тестових питань. Для доступу до статистики необхідно
відкрити тест і перейти до меню налаштувань, вибрати елемент «Статистика» (рис.
3).
Рисунок
3. Вигляд меню налаштувань
Статистична
інформація дає можливість провести детальний аналіз кожного питання
(рис. 4).
Рисунок
4. Аналіз структури тесту
По
кожному питанню доступна таблиця, що містить такі стовпці:
Індекс
легкості – є відношенням середнього значення балів, набраних
усіма тестованими при виконанні конкретного тестового завдання, до максимальної
кількості балів за це завдання. Оптимально включати до тесту завдання різного
рівня складності, чим ближче індекс легкості до 100%, тим легше завдання.
Стандартне
відхилення – цей показник вимірює розкид балів, отриманих тестованими
за відповіді на конкретне завдання тесту. Якщо відповіді були однаковими, то
відхилення дорівнюватиме нулю. Чим більше відхилення, тим більше розкид оцінок.
Вважається, що показник нижче 30% свідчить про недостатню диференційну
здатність тестового завдання.
Оцінка
навмання у питаннях закритого типу залежить від кількості
правильних варіантів. Для питання з двома варіантами відповіді (наприклад, для
питань типу вірно/невірно) бал дорівнюватиме 50%. Для зниження ймовірності
випадкового вгадування у питаннях закритого типу можна намагатися формулювати
питання таким чином, щоб використовувати велику кількість правильних та
неправильних відповідей. На рис. 4 питання 12 та 13 не мають оцінки навмання,
так як ці питання типу «числове» та студенту потрібно вписувати свій результат
у поле для відповіді.
Призначена
вага
– вага, призначена цьому питанню викладачем. Тут вага питання розраховується не
в балах, як це робиться на етапі редагування тесту, а у відсотках.
Ефективна
вага
– характеристика того, яка фактична частка цього питання у підсумковій оцінці.
Ця характеристика дозволяє скоригувати викладачеві вагу питання.
Розрізнення
характеризує здатність тестового питання відрізнити сильних студентів від
слабких, характеризує зв'язок між результатами його виконання окремими
тестованими та їх оцінками за тест загалом. Для хорошого тестового питання
передбачається, що студенти з високими оцінками за нього також матимуть вищі
оцінки і за тест загалом.
Цей
коефіцієнт може набувати значення в діапазоні від -100% до 100%. Наприклад,
100% означає, що на це питання всі сильні студенти дали правильну, а всі слабкі
- неправильну відповідь. Значення коефіцієнта близько 0 означає, що сильні та
слабкі студенти відповідали на це питання однаково. Якщо значення коефіцієнта від’ємне,
то, швидше за все, питання містить помилку, оскільки він показує, що слабкі
студенти дали відповіді краще, ніж сильні.
Вважається,
що завдання має достатню диференційну здатність, якщо значення даного
коефіцієнта має значення більше або дорівнює 30%.
Ефективність
розрізнення – цей коефіцієнт також демонструє
співвідношення відповідей сильних і слабких студентів. Даний коефіцієнт приймає
значення, аналогічні попередньому, але дає точніші результати, ніж коефіцієнт розрізнення,
оскільки при обчисленні коефіцієнта беруть до уваги результати всієї групи, не
вдаючись штучному поділу на третини сильних, середніх та слабких.
Проведений
тест був складений з випадкових питань з різних категорій. Є можливість
прослідкувати статистику відповідей за окремими категоріями (рис. 5). Питання з
даної категорії мають індекс легкості 59,6%, тобто не надто легкі. Стандартне
відхилення – 49,23%, розрізнення – 53,91%. Значення цих коефіцієнтів
більше 30 свідчить про достатню диференційну здатність питань. Ефективність
розрізнення – 68,11%, тобто більше 50, що свідчить про якість тестових завдань.
Рисунок
5. Аналіз тестових завдань у вибраній категорії
Порівняння
індексу легкості та ефективності розрізнення представлено на рис. 6. Аналізуючи
гістограму дійшли висновку, що тест потрібно корегувати: виключити питання з
номерами 1, 2, 7, 8, які є занадто легкими та додати більш складні питання в
кількості 20-30% від наявного об’єму.
Рисунок
6. Порівняння індексу легкості та ефективності розрізнення
Маючи
результати попередніх тестів, можна зробити висновок щодо складання тестових
питань у системі MOODLE: використовувати велику базу тестових завдань, так як
мала кількість питань призводить до ненадійної оцінки; по можливості уникати
питань з високою ймовірністю випадкового вгадування (правильно/неправильно); крім
питань множинного вибору, використовувати інші типи питань; використовувати
статистику для удосконалення тестів.
Список використаних джерел
- Тевяшев А. Д., Литвин О. Г., Манчинська Н. Б. Досвід використання системи Мoodle у дистанційному навчанні з фундаментальних математичних дисциплін // Восьма міжнародна науково-практична конференція «MoodleMoot Ukraine 2020». Теорія і практика використання системи управління навчанням Moodle». (Київ, КНУБА, 22 травня 2020 р.): доповідь. – К.: КНУБА, 2020.
- Манчинська Н. Б. Методика контролю знань з математичних дисциплін при дистанційному навчанні // ІІ міжнародна конференція «Проблеми викладання математики у закладах освіти: теорія, методика, практика»: (Харків, ХНУ імені В. Н. Каразіна, 23–25 березня 2021): тези доповідей. – Харків : ХНУ ім. В.Н. Каразіна, 2021. – с. 116-119.
- Литвин О. Г., Манчинська Н.Б. Інтерактивна складова у дистанційному навчанні з математичних дисциплін // Дев’ята міжнародна науково-практична конференція «MoodleMoot Ukraine 2021». Теорія і практика використання системи управління навчанням Moodle». (Київ, КНУБА, 17 червня 2021 р.): доповідь. – К.: КНУБА, 2021.