Отраслевые справочники, реестры участников выставок, каталоги поставщиков на маркетплейсах, списки членов ассоциаций — всё это готовые подборки компаний. Для анализа рынка, поиска поставщиков или подготовки к выставке их удобно держать в таблице. В статье — как собрать такой список аккуратно: с правильными колонками, без дублей и с телефонами, по которым можно отсортировать и сравнить.
Шаг 0. Решите, зачем нужен список
От цели зависит, какие поля собирать. Три типичных сценария:
| Цель | Нужные колонки |
|---|---|
| Анализ рынка: сколько игроков, где, в каких нишах | Название, категория, город, ссылка |
| Поиск поставщиков | Название, категория, город, сайт, общий телефон или email компании, ссылка |
| Подготовка к выставке или встречам | Название, стенд или раздел, сайт, ссылка |
Правило: собирайте минимум, который нужен для задачи. Лишние поля — это лишняя очистка, а если среди них есть данные конкретных людей, то и лишние юридические обязательства (подробнее — ниже).
Шаг 1. Соберите список из каталога
- Откройте первую страницу каталога с нужными фильтрами — по отрасли, региону, категории. Чем уже выдача, тем точнее список.
- Нажмите на значок Grabsavo. Расширение найдёт повторяющиеся карточки и подсветит их тонкими бирюзовыми рамками с номерами. Если подсветилось не то — переключите кандидата или нажмите «Выбрать вручную» и кликните по одной карточке нужного списка.
- В превью переименуйте колонки:
Компания,Категория,Город,Ссылка. Если какое-то поле не попало, добавьте колонку кликом по элементу на странице. - Включите пагинацию. В каталогах чаще всего встречаются номера страниц (
?page=Nили/page/N) или кнопка «Далее»; в новых интерфейсах — «Показать ещё» или бесконечная прокрутка. - Оставьте паузы по умолчанию — случайные 2–4 секунды между страницами — и при необходимости ограничьте число страниц.
Бесплатная версия собирает до 10 страниц и 500 строк за запуск — для узкой выборки по одному региону этого часто хватает.
Шаг 2. Доберите данные со страниц компаний
В списке каталога обычно только название и город. Сайт, адрес, ИНН, год основания, направления — на странице компании. Для этого в Pro есть заход в карточки:
- Выберите колонку со ссылками на страницы компаний.
- Grabsavo откроет первую страницу и предложит поля. Он ищет разметку schema.org — многие каталоги размечают компании как организацию с адресом, телефоном и сайтом — и таблицы характеристик вида «Год основания», «Сотрудников», «Направление».
- Отметьте нужные поля или кликните по элементам на странице.
- Запустите обход. Grabsavo пройдёт по всем ссылкам, открывая не больше двух страниц одновременно, и добавит колонки в таблицу.
Если какая-то страница не открылась или поле на ней не нашлось, это будет видно в колонке _status. Отфильтруйте по ней строки с ошибками и проверьте их вручную — обычно их немного.
Шаг 3. Уберите дубликаты
В каталогах компании часто дублируются: одна фирма размещена в трёх категориях, или у неё несколько филиалов. Что выбрать ключом:
- ссылка на страницу компании в каталоге — надёжно, если каталог не создаёт отдельные страницы для каждой категории;
- ИНН или другой регистрационный номер — лучший вариант, если он есть на странице;
- домен сайта — если у компании несколько карточек, но один сайт.
В Grabsavo дубликаты удаляются по ключевой колонке и при сборе, и отдельным шагом очистки. Отчёт о качестве покажет, сколько строк было удалено.
Если нужен ключ, которого нет в данных, сделайте вычисляемую колонку. Например, ключ «название + город»:
concat({Компания}, " ", {Город})
Шаг 4. Почистите телефоны
Телефоны в каталогах записаны как угодно: 8 (495) 123-45-67, +7 495 1234567, 84951234567, иногда два номера через запятую. Чтобы их можно было сравнивать и искать дубли, приведите их к одному виду.
В Grabsavo — замена текста регулярным выражением:
- Если в ячейке несколько номеров, сначала разделите колонку по разделителю
,— каждый номер окажется в своей колонке. - Замените
[^0-9+]на пустую строку — останутся только цифры и плюс. - Замените
^8(?=\d{10}$)на+7— у российских номеров из 11 цифр, начинающихся с 8, восьмёрка сменится на+7.
Шаги очистки сохранятся и применятся при следующем запуске автоматически.
В Google Таблицах то же самое делается формулой:
=REGEXREPLACE(REGEXREPLACE(B2; "[^0-9+]"; ""); "^8(\d{10})$"; "+7$1")
В Excel 365 можно убрать всё лишнее так:
=CONCAT(IFERROR(MID(B2;SEQUENCE(LEN(B2));1)*1;""))
Формула оставит только цифры; ведущую 8 затем можно заменить на 7 через =IF(AND(LEN(C2)=11;LEFT(C2;1)="8");"7"&MID(C2;2;10);C2).
Шаг 5. Проверьте полноту
Посмотрите отчёт о качестве. Особенно полезны два пункта:
- колонки с большим числом пустых значений — например, если у 70% компаний пустой «Сайт», скорее всего поле лежит в другом месте страницы, и его стоит добавить кликом;
- похожие элементы, которые не собраны — например, «премиум»-карточки в начале списка, свёрстанные иначе.
Ответственное использование контактов
Это важная часть, а не формальность.
- Компания и человек — разные вещи. Название, ИНН, общий телефон офиса, адрес — данные организации. ФИО директора, мобильный номер менеджера, личная почта — персональные данные. Их обработка в России регулируется 152-ФЗ, в ЕС — GDPR, и тот факт, что данные опубликованы в каталоге, не делает их свободными для любого использования.
- Рассылки и звонки. В России закон «О рекламе» (часть 1 статьи 18) допускает рекламу по сетям электросвязи — звонки, SMS, email — только с предварительного согласия адресата. Собранная из каталога база — не согласие.
- Правила каталога. Многие каталоги прямо запрещают копирование базы. Прочитайте их условия и не выгружайте каталог целиком, если вам нужна узкая выборка.
Разумный подход: собрать список организаций для анализа или первичного отбора, а дальше связываться через официальные каналы компании — форму на сайте, общий адрес, представителей на выставке. Подробнее — в статье «Парсинг и закон».
Grabsavo работает только в вашем браузере, с вашей сессией: данные страниц не уходят на серверы Grabsavo, прокси и обход авторизации не используются.
Шаблон на будущее
Если вы обновляете список раз в квартал, сохраните настройку как шаблон (Pro): колонки, пагинацию, заход в карточки и шаги очистки. В следующий раз останется открыть каталог и запустить сбор. Шаблоном можно поделиться с коллегой по ссылке. Подробнее о шаблонах — на странице /templates.
Попробуйте
Потренироваться на списке с разными видами пагинации можно в демо-каталоге. Установить Grabsavo — /install, 7 дней Pro без карты.
Источники
- Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных» — КонсультантПлюс
- Письмо ФАС России от 04.06.2013 № АК/21587/13 о применении части 1 статьи 18 закона «О рекламе» — КонсультантПлюс