Методика розробки угоди про іменування даних

https://libraries.mit.edu/data-management/store/organize/

 

1. Створіть просте «коротке керівництво», в якому детально описані угоди про імена та організацію файлів. Включіть цю документацію до файлу readme.txt в основній спільній папці  (зразок пунктів на слайді)

• Створіть свій інвентар файлів, бажано згадати ВСІ файли, проєкт та підпроєкти.

• Колонка A: різні типи даних Ви використовуєте/створюєте? (наприклад, зображення під мікроскопом, польові спостереження в табличній формі, стенограми, інтерв’ю, цифри, протоколи тощо)

• Колонка B: які формати файлів? (наприклад, .csv, .jpg)

• Колонка C: Які є унікальні характеристики цього файлу даних (наприклад, дата створення, назва проєкту, експериментальні умови)? Чи існують стандартні скорочення для будь-якої з цих характеристик? 

• Колонка D: Чи будете ви мати кілька версій того самого файлу? Якщо так, чи буде кілька версій у даний день? Скільки?

• Стовпець E: схема імені. Напишіть свої імена файлів. Що потрібно включити: унікальні характеристики, які ви визначили в колонці C, можна використати, щоб створити ім'я файлу. Виберіть характеристики, які, на вашу думку, ви будете використовувати для пошуку цих файлів.

• Якщо хочете мати декілька версій файлу (вказано у стовпці D), обов’язково додайте версію в назву вашого файлу. Якщо ви очікуєте мати більше однієї версії на день, не можна покладатися лише на дату, і слід додати номер версії до імені файлу.  Наприклад, MMDDYYYY_exp001_v01.tft).

2) Переконайтеся, що всі члени команди або співробітники мають доступ до керівництва та навчаються правилам.

3) Крім текстових файлів, ви також можете розглянути можливість проведення короткого внутрішнього навчання, щоб пояснити, чому нову угоду про іменування файлів так важливо використовувати і як вона працює, або створити відео, в якому розглядаються ключові моменти угоди.

Іменування: приклади

Угода про іменування Единбургського університету - загальний набір правил, що застосовуються до іменування електронних записів Угода про імена файлів включає 13 правил. За посиланням ви знайдете приклади та пояснення до правил.

• Робіть імена файлів короткими, але осмисленими
• Уникайте непотрібного повторення та випадковості в іменах файлів і шляхах до файлів.
• Використовуйте заголовні букви для розділення слів, а не пробіли або символи підкреслення.
• При включенні числа в ім'я файлу завжди вказуйте його двозначним числом, т. е. 01-99, якщо це тільки не рік або інше число, що складається більше ніж з двох цифр.
• У дати використання імені файлу завжди вказуйте дату «ззаду вперед» і використовуйте чотири цифри року, дві цифри місяця та дві цифри дня: РРРРММДД або РРРРММ, або РРРР, або РРРР-РРРРР.
• При включенні особистого імені в ім'я файлу спочатку вкажіть прізвище, а потім ініціали.
• Уникайте загальних слів, такі як «чернетка» або “лист” на початку імені файлів, якщо тільки це не спростить пошук записів.
• Упорядковуйте елементи в імені файлу найбільш відповідним способом для находження запису.
• Імена файлів записів, що належать до повторюваних подій, повинні містити дату й опис подій, для результатів випадків, коли включення будь-якого з цих елементів не відповідає правилу 2.
• Назви файлів відповідності повинні містити кореспондента, вказівки теми, дату відповідності та інформацію про те, чи є вона вхідною або вихідною відповідністю, для результату випадків, коли включення будь-якого з цих елементів не відповідає правилу 2.
• Ім’я файлу вкладення електронної пошти має включати ім’я кореспондента, вказівку теми, дату листування, «вкладення» та вказівку кількості вкладень, надісланих із супровідним електронним листом, за результатами випадків, коли включення будь-якого з цих елементів було б несумісним із правилом 2.
• Номер версії запису повинен бути вказаний в імені файлу шляхом включення «V», номеру версії і, де це доречно, «Чернетка».
• Уникайте буквено-цифрових символів в іменах файлів.

Массачуссетський  технологічний університет : Організація ваших файлів  https://libraries.mit.edu/data-management/store/organize/

• • Робочий аркуш з найменування та впорядкування файлів і папок
  • Документування схеми іменування та організації, зразки та шаблони файлів README
  • Роздатковий матеріал з найкращими практиками іменування файлів (pdf)
  • Інструкція з використання інструментів пакетного перейменування файлів (pdf)
  • Роздатковий матеріал з інструментами та методами контролю версій (pdf)
  • Позначення та пошук файлів (вебсторінка)

  Завантажте повний пакет для організації файлів 

  Також дивіться матеріали з семінару з організації файлів 

Організація файлів Архів даних Великобританії 

Рекомендації щодо іменування файлів Національний архів США 

Briney, Kristin A. (2020) File Naming Convention Worksheet. 

[Teaching Resource] (Unpublished)

https://resolver.caltech.edu/CaltechAUTHORS:20200601-161923247

Практика університетів:

https://osf.io/dpu45

https://guides.library.illinois.edu/introdata/filenames

https://libguides.brown.edu/DataManagement/naming 

https://www.bu.edu/data/manage/naming-convention/

https://guides.lib.umich.edu/c.php?g=739306&p=5286418

https://guides.lib.purdue.edu/c.php?g=353013&p=2378293

https://libraries.mit.edu/data-management/store/organize/

https://guides.library.cmu.edu/researchdatamanagement/filenaming

https://authors.library.caltech.edu/103626/1/FileNamingConventionWorksheet_Caltech.pdf

https://huridocs.org/resource-library/organising-a-collection-of-human-rights-information/file-naming-conventions/

Як вибрати репозитарій?

Найкращі методи керування даними передбачають, що дані повинні зберігатися та бути доступними для спільного використання в надійному сховищі даних. 

Зорієнтуватися у виборі найкращого репозитарію для розміщення конкретних наборів даних допоможуть Рекомендації OpenAIRE (фінансованої Європейським Союзом ініціативи, яка підтримує впровадження політики відкритого доступу та розвиток Європейської хмари відкритої науки). Послідовність кроків наступна:

• завантажуйте дослідницькі дані у надійні тематичні сховища

• якщо тематичний репозитарій недоступний, виберіть інституційний науковий репозитарій

• якщо в установі відсутній власний архів даних, розгляньте перелік репозитаріїв, рекомендований установою, видавцем, грантонадавачем. Наприклад, список репозитаріїв даних від PLOS ONE https://journals.plos.org/plosone/s/recommended-repositories 

• якщо жоден із попередніх варіантів недоступний, виберіть універсальний репозитарій, наприклад Zenodo https://zenodo.org/, Figshare https://figshare.com/ або Harvard Dataverse https://dataverse.harvard.edu/

• знайдіть архів за допомогою реєстру Re3data https://www.re3data.org/, що пропонує понад 3500 зареєстрованих репозитаріїв даних із різних галузей знань. Можна здійснювати пошук за темою, типом контенту, країною тощо.

Використовувати реєстр Re3data також радять у «Рекомендаціях щодо відкритого доступу до наукових публікацій і дослідницьких даних у програмі Horizon 2020» Європейської комісії https://ec.europa.eu/research/participants/data/ref/h2020/grants_manual/hi/oa_pilot/h2020-hi-oa-pilot-guide_en.pdf 

Інформована згода

Перегляньте поради UK Data Service щодо формування згоди на поширення даних. Як правило, документація згоди включає інформаційний лист і форму згоди, яка підписується учасником.

Інформаційний лист повинен охоплювати такі теми:

• Мета дослідження;
• Хто саме бере участь;
• Переваги та ризики участі;
• Процедури вилучення;
• Використання даних під час дослідження, поширення, зберігання, публікації та архівування;
• Деталі дослідження: джерело фінансування, організація-спонсор, назва проєкту, контактні дані дослідників, як подати скаргу.

Форма згоди має бути написана простою мовою, має кілька пунктів:

• Учасник прочитав і зрозумів інформацію про проєкт;
• Учасникам надається можливість поставити запитання;
• Учасник добровільно погоджується на участь у проєкті;
• Учасник відмовиться, що може відмовитися в будь-який час без пояснення причин і без штрафних санкцій;
• Як буде захищена конфіденційність, наприклад, чи будуть використовуватися справжні імена або псевдоніми (з дозволом), як дані будуть анонімізованими тощо.
• Яка інформація буде використана в публікаціях, наприклад цитати;
• Окремі умови згоди на передачу даних, які містять інформацію, наприклад текст, аудіозаписи, відео чи зображення;
• Підписи та дати підпису для учасника та дослідника.

Якщо ви отримали інформовану згоду, ви можете поділитися своїми даними в сховищах із обмеженим доступом.

Правила керуванням версіями

Надання правильних версій вашим дослідницьким даним і файлам дозволить вам легко отримати певну версію. Це корисно, коли ви хочете переробити або отримати дані з певного етапу вашого проєкту.

Використовуйте послідовну систему нумерації

Додайте порядковий номер (v01, v02, v03) до назви файлу або до правила двокомпонентної нумерації (v1.00, v1.01, v2.00), щоб позначити основні та другорядні зміни за допомогою порядкового та десяткового номерів відповідно. Уникайте використання неоднозначних термінів, таких як редакція, остаточний, остаточний2. Причину дивіться тут http://phdcomics.com/comics/archive.php?comicid=1531.

Зберігайте лише версії етапів

Хоча ми не рекомендуємо видаляти будь-які версії під час вашого дослідження, ми рекомендуємо зберігати лише основні версії для довгострокового зберігання через вартість та час, необхідні для управління вашими файлами в довгостроковій перспективі.

Зберігайте оригінальні файли як доступні лише для читання

Зберігання версії необроблених даних лише для читання може запобігти будь-якій випадковій зміні ваших цінних даних.

Документуйте свої версії

Записуйте у таблицю контролю версій всі зміни, внесені щоразу, коли створюється нова версія. Це дозволить вам та вашим співробітникам виявляти відмінності між різними версіями, що дозволить знайти правильну версію в майбутньому.

Іменування файлів

https://xkcd.com/1459/

«Імена файлів» — це імена, які перераховані в каталозі файлів і які користувачі присвоюють новим файлам при їх першому збереженні.

Угода про іменування файлів (File Naming Convention, FNC) — це система іменування ваших файлів у спосіб, який описує, що вони містять і як вони пов’язані з іншими файлами.

Важливо створити FNC перед початком збору даних, щоб запобігти накопиченню невпорядкованих файлів, які можуть призвести до втрати даних.

Файли без угоди про імена:

Тестові дані 2016.xlsx

Замітки про зустріч 17 січня.doc

Примітка Петро.txt

Остаточний ФІНАЛ остання версія.docx

 

Файли з угодою про імена:

20160104_ProjectA_Ex1Test1_SmithE_v1.xlsx

20160104_ProjectA_MeetingNotes_SmithE_v2.docx

Відповідна назва файлу допоможе вам зрозуміти, яка інформація міститься в ньому. Це також скоротить час, витрачений на пошук файлу в майбутньому. Нижче ви можете знайти кілька корисних порад щодо найменування файлів.

Призначте описові назви

Назви файлів повинні відображати вміст файлів, включаючи такі елементи, як назва проєкту, дослідник, дата, місце знаходження, тип даних, версія, у послідовному порядку. Це допомагає переглядати вміст та логічно впорядковувати файли.

Використовуйте короткі, але змістовні назви

Більшість систем, програмного забезпечення та репозиторіїв мають обмеження на довжину імені файлу. Ви можете використовувати скорочення або кодувати елемент (наприклад, дослідник, тип даних тощо), щоб назви файлів були короткими, але інформативними.

Уникайте проміжків 

Деяке програмне забезпечення може не розпізнавати пробіли в іменах файлів. Ви можете використовувати альтернативні способи, такі як підкреслення (research_data), тире (research-data), без розділення (researchdata) або використання регістру літер (ResearchData).

Переконайтеся, що файли розташовані в хронологічному порядку

Використовуйте формат РРРРММДД (наприклад, 20260423 замість 23042026 або 04232026) для імен файлів, що містять елементи дати, та двозначні числа (наприклад, 01, 02, 03 замість 1, 2, 3) для імен файлів з послідовними номерами. Ці методи гарантують правильне сортування файлів.

Уникайте використання небуквенно-цифрових символів

Не використовуйте спеціальні символи, такі як @ ~ \ / < > | ? ! [ ] " * : ; = + & $ % в іменах файлів. Це може збільшити ймовірність помилки під час відкриття файлів в іншій програмі або операційній системі.

Задокументуйте правила іменування файлів 

Зберігання файлу з поясненням формату імені файлу, використаних скорочень та елементів коду допомагає всім, включаючи вас, запам'ятати та зрозуміти назви файлів у майбутньому.

https://guides.library.harvard.edu/c.php?g=1033502&p=7496710

Угода про іменування файлів

File Naming Convention, FNC

«Імена файлів» — це імена, які перераховані в каталозі файлів і присвоєні новим файлам при їх першому збереженні. Угода про іменування файлів (File Naming Convention, FNC) — це система іменування файлів у спосіб, який описує, що вони містять і як вони пов’язані з іншими файлами. File Naming Convention, FNC, включає: принципи для імен файлів, логічну структуру каталогів, правила іменування та шаблони іменування файлів.

Принципи для імен файлів

• Машиночитаність
• Людиночитаність
• Системно сортуються

Приклад правил

• Перевірте, чи встановлені правила іменування файлів у вашій дисципліні чи групі. Правила іменування мають бути задокументовані, щоб інші працівники вашої лабораторії чи відділу могли дотримуватися цього стандарту. 

• Імена файлів мають бути описовими та надавати достатньо контекстної інформації. 

• Використовуйте заголовні букви для розділення слів, а не пробіли або символи підкреслення

• Намагайтеся не робити імена файлів занадто довгими. Операційні системи мають різні обмеження на кількість символів. Як правило, намагайтеся мати ліміт 40-50 символів. 

• Розмістіть найважливішу інформацію спочатку. Комп’ютер упорядковує файли за назвою, символ за символом. При включенні особистого імені в ім'я файлу спочатку вкажіть прізвище, а потім ініціали.

• Якщо ви плануєте знайти файл за датою, спочатку вставте дату. Для дати використовуйте стандарт ISO 8601 (YYYYMMDD). Щоб додати мітку часу до імені файлу, використовуйте формат YYYYMMDDThhmm. Використовуйте 24-годинний час, щоб уникнути будь-якої плутанини щодо ранку/полудня. 

• Номер версії запису повинен бути вказаний в імені файлу шляхом включення «V», номеру версії і, де це доречно, «Чернетка». Під час використання системи послідовної нумерації, використовуйте початкові нулі, щоб переконатися, що файли сортуються в послідовному порядку, наприклад: 001, 002, ...010, 011 ... 100, 101 ... Позначте фінальну версію.

• Використовуйте керування версіями, щоб вказати найновішу версію файлу. Приклад: filename_v2.xxx 

• Уникайте спеціальних символів, таких як: ~ ! @ # $ % ^ & * ( ) ` ; : < > ? . , [ ] { } ' " | 

• Не використовуйте пробіли, оскільки деяке програмне забезпечення не розпізнає назви файлів із пробілами. Інші варіанти включають підкреслення, тире, без розділення або регістр (перша літера кожної частини тексту велика).

 Приклади шаблонів іменування:

20220104_ProjectA_Ex1Test1_SmithE_v01.xlsx

20220104_ProjectA_MeetingNotes_SmithE_v02.docx

Checklist-File-Names-Form чеклист від Гарварда (див. Контрольний список угоди про імена файлів)

Рекомендації щодо планування

 Ось правила підготовки Плану УДД:

• План УДД найкраще готувати на початку вашого дослідницького проєкту, його можна переглядати та вдосконалювати. Однак ніколи не пізно почати його на середині дослідницького процесу — краще пізно, ніж ніколи.
• План має бути практичним та простим, має відображати ефективні практики керування даними.
• Можна скористатися онлайн-інструментами для створення Плану.
• Бажано вказати способи реалізації Політики відкритої науки.
• Слід регулярно переглядати свій План та оновлювати, вдосконалювати його відповідно до фактичних потреб у міру просування проєкту.
• Враховуйте обмеження щодо довжини Плану від грантонадавача. Ви можете використовувати шаблон грантонадавача як базовий, розширюючи інші області додатковою інформацією для ознайомлення вашої команди.
• План УДД можна покращити завдяки співпраці, цінним коментарям від колег чи рецензента.

Що планувати?

На початковому етапі життєвого циклу дослідження, тобто на етапі відкриття та планування, дослідникам потрібно визначити, який тип і формат даних вони збираються збирати. Це може бути збір нових даних, або об’єднання наявних наборів даних або просто аналіз наявних даних.

Якщо в проєкті беруть участь люди, дослідники повинні враховувати конфіденційність та інші етичні питання. Крім того, дослідники повинні розглянути, які типи документації вони створюватимуть, і стандарти метаданих, які вони використовуватимуть для опису своїх даних. Крім того, дослідникам потрібно буде визначити потенційних вторинних користувачів даних проєкту.

• Хто використовуватиме ці дані?
• Для чого вони можуть це використовувати?
• Чи будуть дані, позбавлені будь-якої потенційно ідентифікаційної інформації, корисними для повторного використання?
• Які обмеження доступу будуть накладені на дані?

На всі ці питання дослідники повинні відповісти ще до початку проєкту.

А також визначення відповідного сховища даних для архівування своїх даних. Не всі дані, що створюються під час дослідження, потребують поширення. Дані можуть бути як відкритого, так і закритого чи обмеженого доступу. На етапі планування це потрібно врахувати заздалегідь.

Нарешті, на цьому етапі дослідникам важливо визначити можливі витрати, пов’язані з керуванням даними. Це включатиме документування даних, їх форматування, зберігання, очищення та анонімізацію та, нарешті, архівування.