Данные из открытых источников, а значит законные.

Анализ доменов и сайтов

Для поиска российских сайтов мониторим все зарегистрированные домены мира. На апрель 2021 года это чуть больше 255 млн. доменов.

Первая задача определить на каких доменах подняты сайты, в среднем это 70% от зарегистрированных - 170 млн. сайтов.

Вторая задача вытащить сайты, которые могут быть российскими.

Список некоторых из методик отбора:

• язык сайта установлен как RU
• 70 процентов кириллицы на сайте
• сайты на русских ip
• ...и ряд собственных наработок

По результатам остается 6 млн. сайтов. Среди которых есть сайты на русском языке, но не имеющие отношения к России и СНГ.

Третья задача выделить сайты России. Вначале проверяем на наличие сайта в Яндекс.Картах и 2gis. Это один из основных подходов по формированию баз компаний.В этом пункте большинство приемов считаем коммерческой тайной. После использования всех приемов остаются сайты, которые в автоматизированном режиме не можем отнести к какому-либо региону, типу и т.д. Тогда используем ручную проверку.

Сбор справочников Яндекс.Карты и 2gis

Используем готовые и собственные парсеры. Яндекс карты в приоритете, т.к. сайтам России приходится там регистрироваться ради продвижения в Яндекс поиске. Собираем все данные из Яндекс.карт, включая скрытые параметры.

Прочие методы

Сбор выдачи Яндекс и Google. Собираем по 200 сайтов с каждого из 1 млн. запросов. Дополнительный метод для сбора сайтов, которые пропущены методами описанными выше.

Базы конкурентов. Покупаем базы у конкурентов, чтобы гарантировать полноту данных. Если в купленной базе присутствует хотя бы 1% компаний, которых нет у нас, то после проверки и сбора расширенной информации - будут.