Що можна парсити, що — ні, і чим це робити безпечно
1. Що парсити можна
Публічні факти: ціни, наявність, розклади, відкриті реєстри. Факти не охороняються авторським правом — охороняється їх подача (тексти, фото).
2. Чого уникати
Персональні дані без підстави (GDPR/ЗУ «Про захист ПД»), контент за логіном, обхід технічного захисту, дані, захищені sui generis правом на БД.
3. robots.txt і ToS
robots.txt — технічна домовленість, не закон, але її порушення + порушення умов сайту посилює претензії. Читайте ToS перед масовим збором.
4. Технічна етика
Rate-limit (1–2 запити/с), власний User-Agent з контактом, кешування відповідей, збір вночі для важких задач. DDoS-подібний парсинг — пряма шкода.
5. API замість парсингу
Перш ніж парсити — пошукайте офіційний API або датасет (data.gov.ua, партнерські API). Це швидше, стабільніше і юридично чистіше.
6. Зберігання результатів
Зберігайте дату, джерело-URL і сирі дані окремо від оброблених. Дозволяє повторити обробку і довести походження даних.
Інструменти