Аудит даних
РІВНЕ
Інвентаризація наборів даних, якими розпоряджається Рівненська міська рада
Автор фото: Taivo (talk) - Власна робота, Суспільне надбання (Public Domain), Посилання
1.Опис методології

Щоб зрозуміти наявність, доступність, якість, відкритість та фактичну корисність даних, а також легкість їх оприлюднення та можливі обмеження/перешкоди у цьому процесі, необхідно було провести глибинний аналіз ситуації.


Тож для оцінки вихідних умов було виконано такі завдання:


  • по-перше, спочатку ми повинні були зрозуміти, чи існують дані взагалі, у яких форматах доступні: в цифрових чи лише на папері;
  • по-друге, було досліджено якість даних: вони агреговані чи дезагреговані, на скільки деталізовані, як часто оновлюються тощо;
  • по-третє, ми мали оцінити правову та технічну відкритість наборів даних;
  • по-четверте, ми мали зрозуміти, чи дійсно ці дані є корисними для всіх існуючих зацікавлених сторін (далі - стейкхолдерів), зокрема представників органів влади самого міста та його мешканців, бізнесу, організацій громадянського суспільства;
  • по-п'яте, ми мали оцінити доцільність того, наскільки легко/складно було б відкрити дані (юридичні, політичні, технічні, інституційні). Це включає в себе структурування даних, додавання метаданих, очищення та перетворення даних у формати, які автоматично обробляються машинами, а також необхідність та зручність анонімності;
  • по-шосте, ми повинні розуміти інші не зовсім технічні наслідки відкриття даних, наприклад: потенційні втрати доходу; дані, які не можуть бути опубліковані через державну таємницю або з міркувань безпеки і т.д..
Для досягнення поставлених завдань використовувалися два методи збору інформації:
РОЗСИЛКА АНКЕТ
до кожного розпорядника інформації Рівненської міської ради та подальша обробка отриманої інформації;
ПОШУК ІНФОРМАЦІЇ
про публікацію даних на різних ресурсах в мережі Інтернет та оброблення отриманої інформації.
Після отримання всієї необхідної інформації для її обробки, зведення та представлення об'єктивних результатів використовувалися наступні критерії:
  • доступність даних;
  • власність і ліцензування;
  • форма;
  • оновлення;
  • підтримка.
1.1. Управління економіки міста виконавчого комітету Рівненської міської ради
Під час інвентаризації даних Управління економіки міста виконавчого комітету Рівненської міської ради було виявлено набори даних, які публікуються в електронній формі у пропрієтарних форматах doc та xls на Єдиному державному порталі відкритих даних data.gov.ua. За своєю формою це як текстові (77,8%), так і структуровані дані (11,1%), присутні також скани (11,1%). З'ясовано, що більшість даних актуалізовуються протягом 2-ох робочих днів після оновлення даних (44,4%), але є набори даних, що оновлюються щоквартально (33,3%) чи протягом 5-ти робочих днів після оновлення даних (22,2%). На Єдиному державному порталі відкритих даних data.gov.ua створено кабінет управління http://data.gov.ua/users/3894, де зараз доступно 9 наборів даних.

На Єдиному веб-порталі використання публічних фінансів e-data.gov.ua кабінету управління не створено.

Отримати доступ до даних за допомогою API можливо на Єдиному державному порталі відкритих даних data.gov.ua.
Назва набору даних Формат Де публікується (за анкетами) Форма Оновлення Підтримка
1 Звіти про використання бюджетних коштів Управління економіки міста виконавчого комітету Рівненської міської ради xls http://data.gov.ua/passport/2c831281-d21a-4ff2-9b27-50ac08b335d6 структуровані щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
2 Річний план закупівель doc http://data.gov.ua/passport/bd50c334-1503-4bdd-8b7c-9324dcf377b5 текстові протягом 5-ти днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
3 Перелік укладених договорів Управління економіки міста за 2017 рік doc http://data.gov.ua/passport/caf5e0ed-6d80-4db2-8abf-acca6654b652 текстові щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
4 Перелік (реєстр) наборів даних Управління економіки міста виконавчого комітету Рівненської міської ради doc http://data.gov.ua/passport/c6d79309-2434-444e-ab0f-56276006c9b4 текстові протягом 5-ти днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
5 Звіт щодо задоволення запитів на інформацію, які надійшли в Управління економіки міста (2017 рік) doc http://data.gov.ua/passport/4ada88c1-9070-4f00-bc48-6f8d914ff54d текстові щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
6 Додаток до річного плану закупівель doc http://data.gov.ua/passport/d904e9a2-a59e-46d9-9b35-42dabcd8637c текстові протягом 2-ох робочих днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
7 Інформація про заходи, проведені Управлінням економіки міста doc http://data.gov.ua/passport/ecede0bc-2a5e-499a-bfad-c187be33a9ca текстові протягом 2-ох робочих днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
8 Інформація про організаційну структуру Управління економіки міста виконавчого комітету Рівненської міської ради pdf http://data.gov.ua/passport/74e13552-0678-4517-9ac3-2f6704363516 скани протягом 2-ох робочих днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
9 Довідник службових телефонів Управління економіки міста doc http://data.gov.ua/passport/325f06bc-7dae-4265-9f07-bf0bf62911c2 текстові протягом 2-ох робочих днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
1.2. Управління торгівлі, громадського харчування та побутового обслуговування виконавчого комітету Рівненської міської ради
Під час інвентаризації даних Управління торгівлі, громадського харчування та побутового обслуговування виконавчого комітету Рівненської міської ради було виявлено набори даних, які публікуються в електронній формі у пропрієтарних форматах doc та xls на Єдиному державному порталі відкритих даних data.gov.ua. За своєю формою це текстові дані (83,3%), структурованих даних всього 16,7%. З'ясовано, що дані оновлюються щорічно (50,0%) чи протягом 5-ти робочих днів після оновлення даних (50,0%). На Єдиному державному порталі відкритих даних data.gov.ua створено кабінет управління http://data.gov.ua/users/4076, де зараз доступно 6 наборів.

На Єдиному веб-порталі використання публічних фінансів e-data.gov.ua створений кабінет управління, де можна знайти інформацію про договори, звіти та фінансові транзакції.

Отримати доступ до даних за допомогою API можливо як на Єдиному державному порталі відкритих даних data.gov.ua, так і на Єдиному веб-порталі використання публічних фінансів e-data.gov.ua.
Назва набору даних Формат Де публікується (за анкетами) Форма Оновлення Підтримка
1 ФІнансова звітність станом на 01.01.2018 року xls http://data.gov.ua/passport/2e05e3ab-666a-4479-8584-c7eac960eb90 структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
2 Паспорт бюджетної програми на 2018 рік doc http://data.gov.ua/passport/22a260d6-2d3f-4065-ae0b-d34a609960ab текстові щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
3 Звіт по управлінню за 2017 рік doc http://data.gov.ua/passport/e2533773-63a1-46de-9d95-0c983770eb49 текстові щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
4 Паспорт бюджетної програми на 2017 рік doc http://data.gov.ua/passport/a1b268de-6569-4d83-b454-433379c902a8 текстові протягом 5-ти днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
5 Звіт за 2016 рік doc http://data.gov.ua/passport/36d8cdbf-a497-4897-b5a7-304e856fc80b текстові протягом 5-ти днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
6 Організаційна структура управління торгівлі,громадського харчування та побутового обслуговування виконавчого комітету Рівненської міської ради doc, rtf http://data.gov.ua/passport/55622e30-0912-4ce4-8463-56a41e8d489d текстові протягом 5-ти днів після оновлення даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
1.3. Управління житлово-комунального господарства виконавчого комітету Рівненської міської ради
Під час інвентаризації даних Управління житлово-комунального господарства виконавчого комітету Рівненської міської ради було виявлено набори даних, які публікуються в електронній формі у пропрієтарних форматах doc(x) та xls(x) на Єдиному державному порталі відкритих даних data.gov.ua. За своєю формою це як текстові дані (50,0%), так і структуровані (50,0%). З'ясовано, що дані оновлюються щоквартально (50,0%), по мірі потреби (33,3%) та по мірі зміни даних (16,7%). На Єдиному державному порталі відкритих даних data.gov.ua створено кабінет управління http://data.gov.ua/users/1830, де зараз доступно 6 наборів.

На Єдиному веб-порталі використання публічних фінансів e-data.gov.ua створений кабінет управління, де можна знайти інформацію про договори, звіти та фінансові транзакції.

Отримати доступ до даних за допомогою API можливо як на Єдиному державному порталі відкритих даних data.gov.ua, так і на Єдиному веб-порталі використання публічних фінансів e-data.gov.ua.
Назва набору даних Формат Де публікується (за анкетами) Форма Оновлення Підтримка
1 Підвідомчі підприємства управління житлово-комунального господарства виконавчого комітету Рівненської міської ради docx http://data.gov.ua/passport/3ee7cad8-87da-4f79-bb47-002c45a13822 текстові по мірі зміни даних на data.gov.ua доступний для завантаження паспорт набору даних у CSV
2 Договори за 2017 рік xlsx http://data.gov.ua/passport/56c84312-65f0-43bc-93dc-3b2903570b62 структуровані щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
3 Додаток до річного плану на 2017 рік xlsx http://data.gov.ua/passport/cc3c55b4-ea70-4465-b57a-db023338a7b6 структуровані По мірі потреби на data.gov.ua доступний для завантаження паспорт набору даних у CSV
4 Річний план на 2017 рік xlsx http://data.gov.ua/passport/ac5424de-ffeb-4146-afe3-4a444aa8ec7e структуровані По мірі потреби на data.gov.ua доступний для завантаження паспорт набору даних у CSV
5 Перелік рекламних засобів doc http://data.gov.ua/passport/91aebd77-2b7a-4246-bd8c-5750372bc68b текстові щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
6 Перелік розповсюджувачів реклами, що отримали дозвіл на розміщення зовнішньої реклами у м.Рівне doc http://data.gov.ua/passport/7947bcd7-884e-42c6-a562-bd1ce3f240fa текстові щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
1.4. Управління культури і туризму виконавчого комітету Рівненської міської ради
Під час інвентаризації даних Управління культури і туризму виконавчого комітету Рівненської міської ради було виявлено набори даних, які публікуються в електронній формі у пропрієтарному форматі xls(x) на Єдиному державному порталі відкритих даних data.gov.ua. За своєю формою це структуровані дані (100,0%). З'ясовано, що дані оновлюються щорічно (75,0%), щоквартально (12,5%) та періодично, залежно від змін до бюджету (12,5%). На Єдиному державному порталі відкритих даних data.gov.ua створено кабінет управління http://data.gov.ua/users/2221, де зараз доступно 8 наборів даних.

На Єдиному веб-порталі використання публічних фінансів e-data.gov.ua створений кабінет управління, де можна знайти інформацію про договори, звіти та фінансові транзакції.

Отримати доступ до даних за допомогою API можливо як на Єдиному державному порталі відкритих даних data.gov.ua, так і на Єдиному веб-порталі використання публічних фінансів e-data.gov.ua.
Назва набору даних Формат Де публікується (за анкетами) Форма Оновлення Підтримка
1 Паспорт бюджетної програми на 2018 рік xlsx http://data.gov.ua/passport/e283379d-fcea-4a17-b5fa-e95776de0598 структуровані періодично, залежно від змін до бюджету на data.gov.ua доступний для завантаження паспорт набору даних у CSV
2 Додаток до річного плану закупівель на 2018 рік xls http://data.gov.ua/passport/b57a4948-2955-4edf-82b7-49ba9bd57d96 структуровані щоквартально на data.gov.ua доступний для завантаження паспорт набору даних у CSV
3 Фінансова звітність за ІІІ квартал 2017 року xls http://data.gov.ua/passport/88534ce8-d21c-490c-8370-23dc71b1167b структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
4 Фінансова звітність за ІІ квартал 2017 року xls http://data.gov.ua/passport/c7b98482-e038-4dc8-8648-dd362ae7ca40 структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
5 Фінансова звітність за І квартал 2017 року xls http://data.gov.ua/passport/1a2b1b95-c4fb-4087-ba10-9d64c2b32ee0 структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
6 Фінансова звітність за 2016 рік xls http://data.gov.ua/passport/540f0012-5a02-4ec2-bb62-b046544c2be4 структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
7 Фінансова звітність за 3 квартал 2016 року xls http://data.gov.ua/passport/576575a1-706f-457d-82fb-4cda8cb8ad04 структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
8 Фінансова звітність за 2 квартал 2016 року xls http://data.gov.ua/passport/1942dd62-cdeb-4907-8413-f546561de0f3 структуровані щорічно на data.gov.ua доступний для завантаження паспорт набору даних у CSV
2. Загальні результати інвентаризації даних міста Рівне
2.1. Результати та рекомендації за критерієм "доступність даних"
Під час аналізу даних на предмет їх відповідності критерію "доступність даних" використовувалися наступні питання:

● чи існують дані взагалі?
● чи доступні дані в цифрових форматах?
● дані вже доступні? якщо так, то де?
● як можна отримати доступ до даних? чи застосовується прикладний програмний інтерфейс API?
● в якому форматі публікуються дані: CSV, JSON, PDF?

Загалом під час інвентаризації даних виявлено 29 наборів даних чотирьох структурних підрозділів Рівненської міської ради.

Нажаль, жодної анкети від Рівненської міської ради не надійшло. Тому не вдалося з'ясувати, у якій формі зберігаються дані: в електронному чи паперовому вигляді. Також не з'ясовано, чи зберігаються дані на інформаційних ресурсах Рівненської міської ради.

Тому під час інвентаризації використовувалась лише та інформація, яка знаходиться у відкритому доступі на різних веб-ресурсах. Так, з'ясовано, що більшість наборів даних Рівненської міської ради публікуються в пропрієтарних форматах (захищені авторським правом) від корпорації Microsoft - xls(x) (43,3%) та doc(x) (50,0%). У форматах pdf та rtf публікується 3,3% наборів даних. На мал.1 представлені формати, які використовувалися для оприлюднення Рівненською міською радою.

Мал.1. Формати, які використовувалися для оприлюднення Рівненською міською радою.
Слід зазначити, що у відкритих машиночитних форматах не оприлюднено жодного набору даних Рівненської міської ради, що були розглянуті під час інвентаризації.
Рекомендація I
Перш за все, щоб забезпечити максимально зручне використання даних для повторного використання, дані мають бути доступними у відкритому (непропрієтарному), машиночитному форматі. Це не тільки полегшує обробку та аналіз кожного набору даних, але також підтримує інтеграцію кількох наборів даних. На сьогодні найбільш поширеною є класифікація відкритих даних "5 зірок Open Data", в якій якість даних та рівень відкритості визначається кількістю зірок від 1 до 5.

5 зірок Open Data

* доступні в Інтернеті (незалежно від формату), але з відкритою ліцензією. Під цю класифікацію підпадає файл в форматі pdf або інша (сканована) копія документу.

** доступні як машиночитні структуровані дані (наприклад, Excel, а не скановане зображення).

*** доступні як дані, що представлені у відомих, добре описаних відкритих структурованих форматах (наприклад, CSV, JSON, XML, YAML) і їх автоматизована обробка не потребує від користувача особливих ліцензій та додаткової плати. До відкритих форматів також відносяться пов'язані дані (HTML+RDF) з узгодженою розміткою елементів в атрибутах або текстові файли таблиць, поля яких розділені табуляцією, комами, крапками з комою або іншими символами.

**** все вищевказане + дані у відкритих стандартах з W3C (RDF і SPARQL). Це дає змогу отримувати тільки потрібну інформацію, актуальну на момент запиту, заощаджує ресурси та час користувача.

***** все вищевказане + набори відкритих даних, пов'язаних між собою і таких, що представляють собою семантичну мережу, що постійно оновлюється й змінюється відповідно до сучасних запитів.

Дані міської ради при публікації повинні бути як мінімум 3-зірковими, а це означає, що вони мають бути пов'язані з відкритою ліцензією, бути машиночитними та непропрієтарними. Формат CSV є одним з найбільш широко розповсюджених та прийнятних форматів для публікації відкритих даних. Дані також можуть бути доступними і в інших форматах. Крім того, багато сучасних програмних засобів можуть безпосередньо експортувати дані у форматі CSV або можуть бути використані для експорту результатів запитів бази даних SQL як CSV. Електронні таблиці Excel можна експортувати як CSV, де це можливо. Цей формат орієнтований на повторне використання.
Як вже зазначалось раніше, серед методів інвентаризації даних використовувався пошук та оброблення інформації на різних ресурсах в мережі.

Так, слід зазначити, що розділ "Відкриті дані" на сайті Рівненської міської ради відсутній. Набори можна знайти на Єдиному державному порталі відкритих даних data.gov.ua та на Єдиному веб-порталі використання публічних фінансів e-data.gov.ua.

Але на Єдиному державному порталі відкритих даних data.gov.ua створили кабінети та публікують дані лише Управління економіки міста виконавчого комітету; Управління торгівлі, громадського харчування та побутового обслуговування виконавчого комітету; Управління житлово-комунального господарства виконавчого комітету; Управління культури і туризму виконавчого комітету.

На Єдиному веб-порталі використання публічних фінансів e-data.gov.ua власні кабінети мають 37 розпорядників інформації. Тут можна знайти інформацію про договори, звіти та фінансові транзакції управлінь та відділів Рівненської міської ради.
Щодо доступу до даних, а саме можливості отримати інформацію за допомогою API, то його можливо застосувати до наборів, які розміщені на data.gov.ua та e-data.gov.ua.
Рекомендація II
Зважаючи на те, що м. Рівне є обласним центром з відповідним бюджетом, то доцільно розглянути питання щодо створення власного порталу відкритих даних на CKAN чи DKAN, як це створили вже такі обласні центри як Харків, Львів, Дніпро, Чернівці, Полтава та інші міста. Цей варіант буде більш зручним та оптимальним для публікації інформації у форматах відкритих даних Рівненською міською радою. Крім того, треба оптимізувати та стандартизувати сам процес підготовки до публікації наборів даних усіх розпорядників інформації міської ради.
2.2. Результати та рекомендації за критерієм "власність і ліцензування"
Під час інвентаризації наборів даних за критерієм "власність і ліцензування" використовувалися наступні питання:

● хто володіє даними?
● хто публікує дані?
● під якою ліцензією публікуються дані?
● це персональні дані? чи є дані анонімізованими?

Так, з'ясовано, що публікують дані посадові особи, які відповідальні за підготовку та оприлюднення публічної інформації у формі відкритих даних (згідно внутрішніх розпоряджень чи наказів).

Інформація про те, під якою ліцензією публікуються дані, не була отримана.
Рекомендація III
Рекомендуємо вказати, під якою відкритою ліцензією публікуються дані Рівненської міської ради.

Для чого це потрібно? Треба розуміти: якщо дані публікуються як відкриті, то вони за замовчуванням можуть вільно використовуватися, у тому числі для комерційного використання. Пов'язання відкритої ліцензії з відкритими даними є необхідним, щоб забезпечити правове підґрунтя для потенційного повторного використання даних. Це потрібно для користувачів (окремих осіб, організацій, компаній), які бажають використовувати дані і розробляти сервіси на їх основі. Якщо жодна ліцензія не вказана, кожен користувач даних повинен звертатися до розпорядника у кожному окремому випадку.

Рекомендована ліцензія - це Open Data Commons або Creative Commons.

Ці безкоштовні та прості у використанні ліцензії на авторські права створюють простий, стандартизований спосіб надання суспільству дозволу на обмін та використання вашої творчої роботи - на ваших умовами. Ліцензії Creative Commons дозволяють легко змінити умови користування за замовчуванням "усі права захищені" на "деякі права захищені". Ліцензії Creative Commons не є альтернативою авторському праву. Вони працюють разом із авторським правом і дають змогу змінювати ваші авторські права, щоб вони найкраще відповідали вашим потребам.
2.3. Результати та рекомендації за критерієм "форма"
Під час інвентаризації наборів даних за критерієм "форма" використовувалися наступні питання:
● як обробляються дані?
● дані існують у необробленій або зведеній формі?
Слід зазначити, що більшість даних за своєю формою є текстовими (51,7%). В той же час, у структурованих форматах публікується 44,8% даних. Треба констатувати, що частина даних, які за формою є структурованими, тільки умовно можна вважати машиночитними. В багатьох файлах порушена структура документу, інформацію треба чистити та виправляти і, таким чином, ці файли автоматично стають непридатними для машинної обробки. Частину даних, що публікуються як скани (3,4%), майже неможливо використовувати для обробки.

На мал. 2 представлена інформація щодо форми даних, які були опубліковані.

Мал.2. Форма оприлюднених даних Рівненської міської ради.
На підставі аналізу наявних матеріалів з'ясовано, що текстові дані обробляються здебільшого за допомогою Microsoft Word, а структуровані дані за допомогою табличного редактора (процесора) Microsoft Excel. Здебільшого структуровані дані представлені в зведеній формі, тобто це переважно агреговані (сукупні) дані - це різні звіти або показники. Іноді можна отримати деякі дані дезагрегованими.
Рекомендація IV
Рекомендується для обробки даних в табличній формі використовувати не тільки Microsoft Excel та формат XLS.

Звичайно, формат даних XLS найбільш відомий та зручний. XLS легко створити та можна прочитати у більшості табличних редакторів. Проте формат даних XLS перестає бути машиночитним, якщо порушена структура рядків і стовпців (заголовки замість рядків таблиці, об'єднані комірки). Такі дані не можна конвертувати у рекомендований формат CSV, а у разі оприлюднення у форматі XLS такі дані не дозволяють автоматичну машинну обробку. Це значно знижує їх якість та доступність.

Ще одне обмеження формату даних XLS полягає в тому, що табличний редактор Microsoft Excel не зовсім коректно зберігає дані у форматі CSV.

Microsoft Excel за замовчуванням зберігає CSV у кодуванні операційної системи Windows, з розділювачем ";" і комами замість крапок в нецілих числах.

Найкраще використовувати табличний редактор Microsoft Excel, коли треба зберегти дані у форматі XLS.

В той же час добре зберігаються дані у форматах CSV за допомогою табличного процесору LibreOffice Calc. Прекрасно зберігає дані у форматі CSV хмарний сервіс від Google - Google sheets та безкоштовний програмний застосунок OpenRefine.

Рекомендується для публікації даних також використовувати JSON - це ієрархічний формат даних. Він дозволяє вийти за межі структури колонок і рядків.

Формат JSON можна прочитати у більшості програмних застосунків. Цей формат чудово підходить для передачі даних в мережі Інтернет, зокрема - через інтерфейс прикладного програмування (АРІ). JSON оптимальний для роботи з Java Script. Маєте великий ієрархічний масив даних – обирайте JSON. Завдяки своїй структурі такі формати дозволяють зменшити розмір файлу з ієрархічними даними.

Незважаючи на те, що JSON відносно легко читати і редагувати людині, його краще створювати машинним шляхом. Наприклад, багато баз даних дозволяють експортувати дані у JSON, втім як і в інші відкриті формати. Якщо редагувати JSON вручну, перед публікацією варто перевірити файл на наявність помилок. Для цього є багато безкоштовних сервісів, деякі з них дозволяють зручно редагувати файл. Дані в JSON мають бути у кодуванні UTF-8, аби не спотворити символи і щоб файл легко було прочитати на інших комп'ютерах.
Рекомендація V
Щодо оприлюднення занадто агрегованих (сукупних) даних.

Суттю відкритих даних, зокрема, є оприлюднення дезагрегованих, «сирих», первинних наборів – на тому рівні деталізації, на якому ці дані накопичуються у розпорядника (тобто всі можливі транзакції, записи тощо), які у подальшому можуть бути легко та автоматизовано оброблені й проаналізовані, агреговані у певну статистику, поєднані у сервіс тощо.

Таким чином, при оприлюдненні даних розпорядник інформації не повинен навмисно або ненавмисно агрегувати дані з метою демонстрації певної статистки, а, навпаки, має оприлюднювати їх без попередньої обробки (крім деперсоніфікації та випадків конвертації у визначений формат).
2.4. Результати та рекомендації за критерієм "оновлення"
Під час інвентаризації наборів даних за критерієм "оновлення" використовувалися наступні питання:
- наскільки дані сучасні? як регулярно вони оновлюються?
Під час інвентаризації було важливо з'ясувати, наскільки дані є актуальними. На підставі аналізу наявних матеріалів з'ясовано, що більшість наборів оновлюється щорічно, а саме 31,0%; щоквартально оновлюється 24,1 % наборів даних; протягом п'яти днів після оновлення - 17,2% наборів даних; протягом двох робочих днів після оновлення даних - 13,8% наборів даних; залежно від потреби- 6,9% наборів даних.
Крім того, 3,4% набори даних оновлюються залежно від їх зміни та періодично, залежно від змін до бюджету (див. мал. 3). Початок періоду, за який були оприлюднені дані, відрізняється. Так, найстаріші опубліковані дані датуються 2011 роком, а останні дані опубліковані в січні-лютому 2018 року.

Мал. 3. Як часто оновлюють дані в Рівненській міській раді?
Рекомендація VI
Відповідно до Постанови КМУ №835 від 21.10.2015 р. "Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних", розпорядник інформації самостійно визначає періодичність оновлення наборів даних, які перебувають у його володінні та оприлюднюються, якщо інше не передбачено законодавством. Може встановлюватися така періодичність оновлення наборів даних: більше одного разу на день; щодня; щотижня; щомісяця; щокварталу; кожні півроку; щороку; щоразу із зміною даних.

Рекомендується для наборів даних, які оновлюються періодично, визначити критерії, за якими відбуватиметься групування: дата, місяць, скликання (для депутатів) тощо. Ці критерії мають бути чітко описані в паспорті даних, а назви файлів повинні містити ці критерії.

Якщо набір даних містить інформацію, зміна яких відбувається досить рідко і нерегулярно, то в такому разі дані повинні оновлюватись кожен раз, коли відбувається така зміна.

Якщо набір даних містить інформацію про показники чи транзакції, що змінюються чи доповнюються з однаковою регулярністю, то викладення цих даних повинно прив'язуватись до цього періоду.

Якщо кількість даних за певний період є великою, то буде доречним розбити їх на менші кратні проміжки (тижні, дні) і навпаки - якщо кількість даних за певний проміжок мала, то можна збільшувати цей проміжок.

Якщо кількість даних є великою, зміни постійними і з непередбачуваною періодичністю (коли дані оновлюються в режимі реального часу), то потрібно передбачити доступ до даних у вигляді API для того, щоб була змога завжди отримати актуальні дані. Архіви даних можуть також публікуватись з певною періодичністю, але із зазначенням того, що вони є актуальними на певний момент часу.
Рекомендація VII
Рекомендації щодо якості даних можуть бути достатньо простими. Перш за все, вони стосуються даних, що публікуються у табличній формі.

Отже, щоб робота з даними була зручною для всіх користувачів, потрібно дотримуватись кількох правил.

Практично всі розпорядники інформації користуються операційною системою Windows, зберігають файли та тексти з кодуванням Windows-1251, який часто є несумісними з іншими програмними застосунками та операційними системами. Тому перед оприлюдненням даних відповідальні особи мають переконатись, що файли збережені у кодуванні UTF-8.

В іншому випадку є ризик, що користувачі даних не зможуть переглянути оприлюднені набори даних.

Дуже часто в органах влади дані обробляються в реляційних базах (набір таблиць, між якими встановлені зв'язки за допомогою числових кодів). Експортування даних з таких баз для подальшого оприлюднення може мати два підходи:

- експортування даних різних таблиць в один файл, наприклад csv;

- експортувати дані з кожної таблиці в окремий файл. Тобто, набір даних складатиметься з декількох файлів, які будуть мати один паспорт набору даних.

Рекомендованим є другий підхід, адже у разі експорту даних у декілька файлів відповідно до кількості таблиць, такий набір матиме малу збитковість, менший фінальний обсяг, простішу перевірку на цілісність, готовність до доступу через API.

При оприлюднені такого набору даних структура та призначення кожного файлу повинні бути описані окремо. Якщо розмір хоча б одного файлу великий, то допускається публікація всіх файлів у вигляді одного архівного файлу (але з детальним описом).

Архівація необхідна для зменшення обсягів та, відповідно, ресурсів для зберігання оприлюднених даних на порталі, а також з метою зменшення трафіку при завантаженні цих наборів даних кінцевими споживачами.

Архівація текстових даних може зменшити розміри файлів до 90%. Word/Excel/PDF- дані можуть стискатись в середньому на 10-60% та майже не стискаються зображення (лише на 1-3%).

Архівувати потрібно:

- історичні дані (наприклад, за попередній рік чи десятиліття);
- усі файли набору, що мають розмір більше 50 МБ;
- застарілі версії, якщо є доступ до оновлених наборів відкритих даних;
- якщо публікується багатотомний набір, тоді рекомендується всі томи не копіювати і зберігати в одному архіві.

Архівувати потрібно в форматах zip/7z, що є кросплатформними та не вимагають платних програм для деархівації. Рекомендується також використовувати програму 7-zip для архівування/деархівування даних для операційної системи Windows та вбудовані засоби в інших ОС.
2.5. Результати та рекомендації за критерієм "підтримка"
Під час інвентаризації наборів даних за критерієм "підтримка" використовувалися наступні питання:
● як документується набір даних?

На підставі аналізу наявних матеріалів з'ясовано, що дані, які публікуються на Єдиному державному порталі відкритих даних data.gov.ua, мають доступний для завантаження паспорт набору у форматі CSV.
Рекомендація VIII
Рекомендується дотримуватись вказівок щодо документування наборів даних відповідно до Постанови КМУ №835 від 21.10.2015 р. "Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних".

Так, на сторінці кожного набору даних треба розмістити паспорт. Він повинен містити такі елементи:
- ідентифікаційний номер набору даних;
- найменування набору даних (до 254 символів);
- стислий опис змісту набору даних (до 4000 символів);
- відомості про мову інформації, яка міститься у наборі даних;
- формат (формати), в якому доступний набір даних;
- формат стиснення набору даних (за наявності такого стиснення);
- дата і час першого оприлюднення набору даних;
- дата і час внесення останніх змін до набору даних;
- періодичність оновлення набору даних;
- ключові слова, які відображають основний зміст набору даних;
- гіперпосилання на набір даних (електронний документ для завантаження або інтерфейс прикладного програмування);
- гіперпосилання на структуру набору даних (електронний документ для завантаження або інтерфейс прикладного програмування);
- відомості про розпорядника інформації, у володінні якого перебуває набір даних;
- відомості про розпорядника інформації, що відповідає за її оприлюднення згідно із Законом України "Про доступ до публічної інформації", та адресу її електронної пошти.

Паспорт набору даних може також містити гіперпосилання на попередні версії набору даних, номери версій набору даних, а також інші елементи.

Структура набору даних включає опис складу (елементів) набору даних, їх формат, параметри та призначення. Структура набору даних оприлюднюється у форматах XSD, JSON, CSV або інших аналогічних форматах.