Коли над дослідженням працює не одна людина, а ціла команда (наприклад, декілька студентів чи аспірантів кафедри), виникає серйозна проблема: суб'єктивність.
Навіть якщо у вас є чітка інструкція, різні люди можуть розуміти її по-своєму. У науці це називають «дисперсією кодера» або «відхиленням кодера».
Уявіть, що ви аналізуєте відгуки студентів КПІ про нову систему реєстрації на курси. У вас є код «Складнощі з інтерфейсом».
Кодер А (досвідчений програміст) вважає, що «складно» — це лише коли сайт «падає».
Кодер Б (гуманітарій) вважає, що «складно» — це навіть якщо колір кнопки не подобається.
Результат: Ваша база даних перетворюється на вінегрет. Статистика буде показувати не реальну картину, а те, наскільки суворим або лояльним був той чи інший кодер. Це і є систематична помилка, яка псує все дослідження.
Чому це складно?
Кодування тексту — це не механічна робота, а когнітивний процес. Дослідник має «влізти в голову» респонденту, зрозуміти контекст, сарказм чи прихований зміст. Без підготовки кожен кодер додає до бази частинку свого світогляду, викривляючи оригінальну інформацію.
Як запобігти відхиленню? (Стратегія захисту даних)
Щоб ваше дослідження в КПІ було валідним, потрібно впровадити три кроки:
1. Спеціальне навчання (Training)
Кодери не повинні просто отримати список кодів. Вони мають пройти «тренування» на невеликій частині даних (наприклад, прокодувати 10 анкет разом), щоб узгодити спільне розуміння кожного терміну.
2. Пілотне тестування
Дайте всім кодерам один і той самий текст. Якщо вони закодували його по-різному — ваша інструкція (Codebook) погана. Її треба уточнити, поки всі не почнуть видавати однаковий результат.
3. Перевірка надійності (Inter-coder reliability)
Це математичний спосіб перевірити, чи можна довіряти вашій команді. Зазвичай використовується Коефіцієнт Каппа Коена.
Якщо Каппа > 0.8 — ваша команда працює як один злагоджений механізм.
Якщо Каппа < 0.6 — дані не можна використовувати для серйозного аналізу, кодерів треба переучувати.
Поради для дослідника
Регулярні збори: Раз на тиждень обговорюйте "спірні випадки". Це допомагає команді не «розпливатися» у своїх оцінках з часом.
Технічний контроль: Використовуйте софт (як-от NVivo), який автоматично порівнює роботу різних кодерів.
Висновок: Якість вашого дослідження залежить не від того, скільки людей ви опитали, а від того, наскільки однаково ваша команда обробила ці відповіді.