Парсинг и закон: что можно и что нельзя

Это не юридическая консультация. Статья даёт общий ориентир и не учитывает обстоятельства конкретного случая. Законы меняются, а их применение зависит от страны, цели и способа использования данных. Если от ответа зависят деньги или репутация, обратитесь к юристу.

Вопрос «законен ли парсинг» звучит просто, но одного ответа на него нет. Сам по себе сбор информации с открытой страницы — то же, что вы делаете, когда читаете её и переписываете в таблицу. Вопросы возникают из-за того, что вы собираете, как и что потом с этим делаете. Ниже — пять областей, на которые стоит смотреть.

1. Пользовательское соглашение сайта

Многие сайты в правилах использования прямо запрещают автоматический сбор данных или их коммерческое использование. Насколько такой запрет обязателен для вас, зависит от того, приняли ли вы эти правила (например, при регистрации) и от права конкретной страны. Но практический вывод одинаков:

• прочитайте правила сайта, прежде чем собирать с него данные регулярно;
• если вы входите в аккаунт, вы почти наверняка приняли соглашение — и его условия к вам относятся;
• если правила запрещают сбор, а данные вам действительно нужны, спросите владельца сайта: у многих есть выгрузка, партнёрская программа или API.

2. robots.txt — сигнал, а не замок

Файл robots.txt в корне сайта сообщает автоматическим программам, какие разделы владелец просит не обходить. Протокол описан в стандарте RFC 9309, и там прямо сказано, что эти правила — не механизм авторизации доступа: это просьба, которую краулерам предлагается соблюдать.

Как к нему относиться:

• robots.txt написан прежде всего для поисковых роботов, которые обходят сайты массово и сами;
• расширение, которое вы запускаете вручную на открытой вкладке, — другой случай, но файл всё равно хорошо показывает отношение владельца к автоматическому доступу;
• если раздел закрыт в robots.txt и в правилах сайта есть запрет на сбор, это серьёзный повод остановиться.

3. Персональные данные

Это самая важная часть. Если в собранной таблице есть имена, телефоны, email, фотографии или профили людей — вы, скорее всего, обрабатываете персональные данные. Причём неважно, что эти данные были опубликованы открыто.

Россия: 152-ФЗ

Закон «О персональных данных» понимает под персональными данными любую информацию, относящуюся прямо или косвенно к определённому или определяемому физическому лицу. Тот, кто организует их обработку, считается оператором и несёт обязанности по закону.

Ключевой момент для парсинга — статья 10.1, действующая с 1 марта 2021 года. До этого в законе была категория «общедоступных» персональных данных, и её часто понимали как разрешение свободно использовать всё, что выложено в интернет. Суды с таким пониманием не соглашались, и закон изменили:

• появилась категория данных, разрешённых субъектом для распространения, — для неё нужно отдельное согласие человека, в котором он может установить запреты и условия;
• если человек опубликовал данные сам, но такого согласия не давал, то тот, кто их дальше распространяет или обрабатывает, должен доказать законность такой обработки;
• человек может потребовать прекратить передачу его данных.

Кроме того, у оператора есть и общие обязанности: цель обработки, правовое основание, политика обработки, в ряде случаев — уведомление Роскомнадзора, хранение баз с данными граждан РФ на серверах в России. Ответственность за нарушения в последние годы ужесточалась.

Практический вывод: собирать контакты физических лиц из открытых источников «для базы» и потом рассылать по ним предложения — зона высокого риска.

Евросоюз: GDPR

Если данные относятся к людям в ЕС или вы работаете на рынке ЕС, применяется GDPR. Основное:

• персональные данные — любая информация об идентифицированном или идентифицируемом человеке; публичность данных не выводит их из-под регламента;
• для обработки нужно одно из правовых оснований статьи 6 — для скрейпинга обычно обсуждается «законный интерес», который требует взвесить ваши интересы против прав людей;
• статья 14 требует сообщить людям, что вы получили их данные не от них самих: кто вы, зачем обрабатываете, откуда взяли данные, какие у них права. Срок — разумный, но не позднее месяца, или при первом контакте, если данные нужны для связи. Исключения узкие;
• максимальные штрафы — до 20 млн евро или 4% мирового годового оборота.

Что это значит на практике

• Собирайте только нужные поля. Если для анализа рынка достаточно названия компании и города, не тащите в таблицу ФИО и личные телефоны.
• Отделяйте компании от людей. Юридическое лицо — не субъект персональных данных, но ФИО директора или мобильный номер менеджера — персональные данные.
• Не используйте собранные контакты для массовых рассылок без правового основания: здесь, помимо законов о персональных данных, действуют и правила о рекламе и рассылках.
• Храните аккуратно и удаляйте, когда цель достигнута.

4. Авторские права и права на базы данных

Отдельные факты — цена, название товара, адрес — как правило, не являются объектами авторского права. А вот тексты описаний, фотографии, обзоры — часто являются. Собрать их для внутреннего анализа и опубликовать на своём сайте — разные вещи.

Отдельно охраняются базы данных:

• В России Гражданский кодекс (статья 1334) даёт изготовителю базы данных исключительное право извлекать из неё материалы, если создание базы потребовало существенных затрат. Пока не доказано иное, существенными считаются затраты на базу из не менее чем 10 000 самостоятельных элементов. Под извлечением понимается перенос всего содержания или существенной части материалов на другой носитель.
• В ЕС аналогичную защиту даёт директива 96/9/EC (право sui generis): она защищает от извлечения и повторного использования всей базы или её существенной части, если в её создание вложены существенные ресурсы.

Практический вывод: выгрузить пару сотен позиций, чтобы сравнить цены, — не то же самое, что скопировать весь каталог крупного сервиса и запустить на его основе конкурирующий справочник.

5. Нагрузка на сайт

Даже если данные открыты и не содержат ничего личного, частые запросы создают нагрузку на чужой сервер. Хорошая практика:

• паузы между страницами, сопоставимые со скоростью человека;
• ограничение объёма — собирайте то, что нужно, а не «всё на всякий случай»;
• никаких обходов защиты: капчи, блокировки и закрытые разделы — сигнал, что владелец не хочет автоматического доступа. Обход технических мер защиты и доступ к закрытой информации — уже совсем другая правовая зона.

Как это устроено в Grabsavo

Мы спроектировали расширение так, чтобы ответственный сбор был поведением по умолчанию:

• Grabsavo работает в вашем браузере с вашей сессией и видит только то, что видите вы;
• между страницами — случайная пауза 2–4 секунды по умолчанию, можно ограничить число страниц, сбор останавливается, если новых строк нет;
• заход в карточки идёт не более чем по две страницы одновременно;
• никаких прокси, решения капч, обхода авторизации или платного доступа;
• данные страниц не отправляются на серверы Grabsavo. Исключение — опциональный ИИ-помощник: ему передаётся очищенный образец из 2–3 элементов списка, без значений форм.

При этом ответственность за то, что собирать и как использовать результат, остаётся на пользователе — как и с любым инструментом.

Короткий чек-лист

1. Прочитал правила сайта и robots.txt.
2. Собираю только поля, нужные для цели.
3. Если есть данные людей — понимаю правовое основание и как буду информировать или удалять.
4. Не копирую чужую базу целиком и не публикую чужие тексты и фото.
5. Оставил паузы и ограничил объём.

Попробуйте

Отработать настройки пауз и лимитов можно на демо-каталоге — это наша собственная страница для тренировки, собирать с неё можно сколько угодно. Установить Grabsavo — /install.

Источники

• Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных» — КонсультантПлюс
• Обзор изменений 519-ФЗ (статья 10.1) — Anti-Malware.ru
• Гражданский кодекс РФ, статья 1334 — zakonrf.info
• Регламент (ЕС) 2016/679 (GDPR), статья 14 — gdpr-info.eu
• Директива 96/9/EC о правовой охране баз данных — EUR-Lex
• RFC 9309, Robots Exclusion Protocol — RFC Editor