Короткострокова обробка даних: формати файлів для зручності роботи

Вибір формату файлу залежить від фази вашого дослідження. Варіанти короткострокової обробки даних можуть відрізнятися від варіантів довгострокового зберігання даних.

З міркувань короткострокової працездатності доцільно вибрати формат файлу, який пов'язаний з конкретним програмним забезпеченням, яке ви плануєте використовувати для аналізу даних. Зазвичай найкращим рішенням є дотримання стандартів та звичаїв конкретної дисципліни. Однак слід враховувати, наскільки поширені ці стандарти та якою мірою вони дозволять обробляти дані не лише колегами у вашій дисципліні.

Власні формати файлів належать певній компанії та захищені авторським правом. Їхні специфікації зазвичай не є загальнодоступними, а їхній майбутній розвиток залежить від рішень та ситуації їхнього власника. Таким чином, ризик застаріння є високим. Однак деякі власницькі формати, такі як Rich Text Format (*.rtf), MP3, MPEG, JPG, MS Excel (*.xls), SPSS (*.sav, *.por), STATA (*.dta), широко використовуються, і можна припустити, що вони будуть корисними протягом розумного часу.

Дізнайтеся більше про відповідні формати файлів для короткострокової обробки даних

Принципи обробки даних відповідно до GDPR

З 25 травня 2018 року Загальний регламент про захист даних (GDPR, Європейський Союз, 2016a) застосовується до будь-якого дослідника ЄС або дослідника в Європейській економічній зоні (ЄЕЗ), який збирає персональні дані, та будь-якого дослідника в усьому світі, який збирає персональні дані громадян ЄС. GDPR застосовується лише до даних живих осіб. Дані, які не вважаються персональними даними, не підпадають під законодавство про захист даних, хоча все ще можуть бути етичні причини для захисту цієї інформації.

Щоб ваше дослідження було законним, воно має відповідати цим шести принципам:

1. Законність і прозорість: Людина має точно знати, хто, як і навіщо збирає її дані.

2. Обмеження мети: Ви не можете зібрати мейли для опитування про фізику, а потім розсилати на них рекламу свого стартапу.

3. Мінімізація даних: Збирайте лише те, що реально потрібно. Якщо для дослідження алгоритму не потрібна домашня адреса користувача — не запитуйте її.

4. Точність: Якщо людина каже, що її дані застаріли, ви маєте їх оновити або видалити.

5. Обмеження зберігання: Не тримайте дані вічно. Як тільки дослідження завершене і результати опубліковані (або пройшов термін зберігання за грантом) — дані мають бути видалені.

6. Цілісність і конфіденційність: Захист від хакерів, випадкової втрати або «зливу» інформації через недбалість.

Додатково: https://dmeg.cessda.eu/Data-Management-Expert-Guide/5.-Protect/Processing-personal-data

Єврорегламент GDPR вимагає, щоб захист даних не був «додатком», який ви вмикаєте в кінці. Він має бути закладений у саму структуру вашого дослідження:

• Псевдонімізація: Заміна імен кодами. Ви тримаєте список «Код = Прізвище» у зашифрованому файлі окремо від самих відповідей.

• Анонімізація: Повне видалення зв'язку між даними та людиною.

• Доступ: Ваші бази даних не повинні бути публічними «за замовчуванням». Доступ має бути лише у вас і вашої команди.

• Технічні заходи: Використовуйте двофакторну автентифікацію для хмарних сховищ та не обмінюйтесь файлами з ПД через месенджери.

• Інформована згода: Це не просто папірець. Це підтвердження того, що ви діяли справедливо

Обробка персональних даних

 Обробка даних у науковому дослідженні — це не просто їх збирання, а цілий цикл дій, який суворо регулюється Законом України «Про захист персональних даних».

Ось головні правила, викладені простою мовою:

---

1. Що таке «обробка»? (Стаття 2)

Багато хто думає, що обробка — це лише аналіз. Насправді, згідно із законом, обробка — це будь-яка маніпуляція з даними від моменту їх отримання до моменту видалення. Сюди входять:

• Збирання та реєстрація.

• Зберігання та накопичення.

• Зміна або поновлення.

• Поширення (передача колегам, публікація).

• Знеособлення (анонімізація).

• Знищення.

---

2. Принцип «Тимчасовості» (Стаття 6, ч. 8)

Закон чітко обмежує час, протягом якого ви можете зберігати дані в ідентифікованому вигляді (з іменами, адресами тощо).

• Правило: Ви можете ідентифікувати особу лише доти, доки це необхідно для мети вашого дослідження.

• Виняток для науки: Подальша обробка для наукових, статистичних чи історичних цілей дозволена, але за умови належного захисту. Це означає, що як тільки збір закінчено, дані мають бути анонімізовані або надійно зашифровані.

---

3. «Заборонені» зони: Дані особливого ризику (Стаття 7)

Закон захищає певні типи інформації особливо суворо. Стаття 7 (ч. 1) прямо забороняє обробку даних про:

• Расове або етнічне походження.

• Політичні, релігійні чи світоглядні переконання.

• Членство в партіях чи профспілках.

• Здоров'я, статеве життя.

• Біометричні або генетичні дані.

• Засудження до кримінального покарання.

Важливо: Дослідники можуть працювати з такими даними лише у виняткових випадках (наприклад, за наявності однозначної письмової згоди суб'єкта або якщо це необхідно для медичних цілей, визначених законом).

---

4. Як закон обмежує дослідника?

Ваша свобода як науковця закінчується там, де починається приватність людини. Навіть якщо ви вважаєте дані дуже важливими для науки:

1. Мета понад усе: Ви не можете використовувати дані, зібрані для одного експерименту, в іншому, якщо не попередили про це учасника.

2. Безпека: Ви несете юридичну відповідальність за витік конфіденційної інформації.

Резюме: Обробка даних у 2026 році вимагає від дослідника бути не лише вченим, а й трохи юристом. Головна формула: «Збирай мінімум — захищай максимум — видаляй вчасно».

3-й етап життєвого циклу даних : обробка даних

3й етап - етап підготовки та аналізу даних. Після збору даних вони можуть бути не у формі, яку можна легко проаналізувати. Дослідникам може знадобитися:

• очистити, 
• маніпулювати 
• чи обробити вихідні дані. 

Навички обробки даних можна вдосконалювати в одному з чотирьох програмних середовищ: 

R, SPSS, NVivo або ArcGIS. 

В курсі МАНТРА є навчальні посібники з обробки даних (помаранчева кнопка) передбачають певний досвід роботи з кожним програмним середовищем і містять вправи у форматі PDF разом із відкритими наборами даних для завантаження та роботи за допомогою встановленого програмного забезпечення. 

Після підготовки основної версії даних можна починати аналіз даних. Аналіз даних може приймати різні форми в різних дисциплінах. Найважливіше, що слід враховувати на цьому етапі, — це задокументувати процедури аналізу, такі як додаткові модифікації даних, використана модель, код, який використовується для виконання аналізу, а також специфікації апаратного та програмного забезпечення. Наявність цієї детальної інформації допоможе і вам, як первинним, і вторинним дослідникам.

На цьому етапі важливо задокументувати зміни в необроблених даних і створити головну версію для аналізу та, зрештою, архівації. Загальна порада тут — зробити остаточну версію даних лише для читання. Тому її не можна буде ненавмисно змінити.