Главная / Базы для скачивания
Базы для скачивания
Более 1500 баз и сборников для скачивания и ваших собственных исследований интернета.
Базы доменов всех доменных зон мира. Более 700 баз для скачивания и ваших исследований.
Более 270 млн. доменов разбытых по зонам.
Сборники баз доменов по странам, континентам и тематике. 9 сборников для скачивания и
более 223 млн. доменов разбитых по сборникам.
Базы доменов по признаку системы управления сайтов (CMS). Наиболее популярные платформы для создания сайтов, блогов и магазинов.
Базы сайтов компаний по тематике с контактными данными владельца сайта. Сайты интернет-магазинов, клиник, автосервисов и т.д.
Базы доменов всех доменных зон с параметрами: домен, IP-адрес, NS-серверы, MX-серверы, CMS и другие данные. Более 700 доменных зон.
Выберите свой вариант и закажите выборку. Мы понимаем, что задачи могут быть разными и сделаем вам выборку на основе ваших требований.
Свежая и актуальная база всех доменных имен России (зоны .ru и .рф): скачать для парсинга, ценовой и конкурентной разведки. Более 4.5 млн доменов в TXT-формате: загружайте и используйте для создания баз компаний по видам деятельности, CMS, платежным системам, плагинам и фреймворкам и т.д., для линкбилдинга, для бизнеса на доменах и других целей! Под заказ сделаем выборку.
Что находится в базе доменов России и что вы получаете после клика на кнопку «Скачать»?
Файл в TXT-формате, в котором находится список из 4.5 млн доменных имен России. Это интернет-магазины, агрегаторы, новостные сайты, лендинги, сайты компаний (производители, поставщики, продавцы), каталоги и многие другие.
Вы можете самостоятельно сортировать и фильтровать их, делая выборки для парсинга. Загружайте файл в цмс, открывайте в Excel, работайте в таск-менеджерах и системах аналитики.
В файле представлены национальные домены .RU и .РФ (первого уровня). Доменов второго уровня вроде .RU.COM и .COM.RU (онлайн-бизнес), .RU.NET (веб-технологии), .ORG.RU (некоммерция) нет.
Под заказ соберем базу компаний, интернет-магазинов, производителей или поставщиков по вашему запросу. Используем только открытые (общедоступные) данные, соблюдаем законодательство, не нагружаем сайты.
Для чего нужно скачать базу доменов России или купить ее?
Купить базу доменов РФ предлагают по цене от 20 долл. (зависит от поставщика). У нас вы можете скачать выборку доменных имен России бесплатно и без регистрации. Просто добавьте файл в корзину кликом на кнопку «Скачать» и введите почту, на которую мы пришлем документ.
Дальше остается только использовать его по своему усмотрению: для парсинга, линкбилдинга, отслеживания доменов.
Делайте базы компаний под заказ и зарабатывайте на этом
Базу доменов РФ скачивают для парсинга. Она позволяет:
- делать базы компаний с контактами (емаил, адрес почты, профили в социальных сетях) для продажи или использования внутри компании;
- создавать базы сайтов и интернет-магазинов с определенными CMS (WordPress, Тильда, Joomla, Опенкарт, Битрикс, Друпал и другие);
- парсить интернет-магазины и компании с подключенными на них платежными системами (Robokassa, Сбербанк, Тинькофф, ЮKassa, PayMaster, PayAnyWay);
- собирать базы доменов в техническими данными (IP-адрес, NS- и MX-серверы, география, посещаемость, ИКС, а также другие) для запуска собственных сервисов-анализаторов;
- получать информацию о плагинах и фреймворках, которые используются в ру-сегменте.
Запускайте парсинг по базе доменов и добывайте нужную информацию для продажи или внутреннего использования (база для обзвона менеджерами, выборка для рассылки по почте и так далее).
Получайте в 1 клик информацию о доменах, чтобы зарабатывать на купле-продаже, аукционах и других сделках
Если вы профессионально занимаетесь куплей-продажей доменов, база поможет найти выгодные лоты. Благодаря ей вы получите информацию о доменах, которые:
- с заканчивающимся сроком;
- выставлены на продажу;
- находятся в очереди на снятие с делегирования и многие другие.
Используйте базу доменов для SEO-продвижения
В выборе представлены доменные имена с работающими сайтами (есть возможность сортировки по посещаемости и другим критериям). Один из вариантов использования – поиск площадок под линкбилдинг. Но на самом деле маркетологи, продвиженцы и SEO-специалисты могут найти и другие способы использования базы.
Больше не нужно искать, по какой цене купить база всех доменных имен России, ведь ее можно скачать бесплатно и без регистрации! Под заказ сделаем выборку интернет-магазинов, салонов красоты, автосервисов, разработчиков РФ и СНГ. Просто позвоните +7 495 215-5316.
Просмотров: 663
Все базы и примеры парсинга, которые представлены на данном сайте, собраны из открытых, общедоступных источников (сайты компаний, налоговые данные, судебные решения и т.п.). Мы не подбираем пароли, не взламываем сайты. Не работаем с персональными данными граждан РФ.
Базы компаний позволяют найти новых стратегических партнеров по бизнесу и стать более конкурентным с помощью мониторинга цен конкурентов. Вся собранная нами корпоративная контактная информация в базах, находится в открытом доступе на сайтах компаний.
Иногда компании, на принадлежащих им сайтах, оставляют контактные адреса электронной почты на доменах @yandex.ru/@mail.ru/@gmail.com. Обращаем ваше внимание, что при отсутствии иных сведений о лице, которому принадлежит адрес электронной почты, электронный адрес не относится к персональным данным. Аналогично, если нет совокупности данных, например номера телефона и имени, нельзя говорить о том, что номер телефона — это персональные сведения.
В случае вопросов или пожеланий, свяжитесь, пожалуйста, с нами:
Максимально полный список доменов по всем зонам можно тут посмотреть https://allregistered.domains, на сегодняшний день — это более 315 млн зарегистрированных доменов.
Можно скачать списки просто доменов, а можно и доменов с указанными NS адресами по всем зонам. Аналогов в сети я еще не видел. Плюс ежедневные обновления.
По .ru доменам уже привели хорошие ссылки выше.
Для других зон или получения списка вообще всех доменов в интернете пару раз использовали — https://domains-monitor.com/
Актуальный список доменов можно получить у ру-центра , для этого надо заключить доп соглашение.
nic.ru дает выгружать самые актуальнейшие данные.
для этого нужно с ними заключить партнерское соглашение.
Однажды, мы в своей хостинг-компании решили провести исследование рынка хостинга. Было просто интересно какую долю мы занимаем на местном рынке и какую в общем масштабе. Встал вопрос, где взять базу доменов для исследования. К моему удивлению, такой базы не существовало и до сих пор не существует. И вот что было дальше …
Для каких-то отдельных зон базу можно было довольно просто взять, но, глобально, этого было недостаточно для полноценного исследования. Список зон можно посмотреть на IANA .
Был начат поиск вариантов. Мы — ребята из отрасли и понимали, что ситуация с доменами меняется ежесуточно и недостаточно просто один раз скачать базу и успокоиться — нам нужен был постоянный доступ и полная автоматизация получения информации о доменах. К примеру, в зоне .com каждые сутки не продляется 100-140 тыс. доменов. Поэтому, через неделю, в нашей базе будут миллионы неактуальных доменов.
Зоны .ru .su .рф
Наши родные зоны .ru .su .рф мы быстро нашли и получили доступ на nic.ru — они их предоставляют партнёрам.
Зоны .com, .net .name
Потом, было решено победить зоны .com, .net как самые масштабные. Поиск привёл в Verisign — компания, которая предоставляет доступ к файлам зон. Там надо было заполнить какую-то бумажку и отправить. Изучив ответ оптимизма как-то поубавилось, т.к. по регламенту они не могли просто выслать пароли, а надо было звонить ночью (у них день) в колл-центр и на чистом инглише объяснять «вот ай вонт». У нас работал паренёк, который утверждал, что языком владеет. Вот он-то и раздобыл нам пароль. Это был обычный FTP-доступ. Немного повозившись с файлом мы превратили его в MySQL-базу. Надо сказать, что сервер нам понадобился довольно мощный, потому что 120 млн. записей (на тот момент) не хотели быстро залетать на слабом железе. Так у нас появились базы .com, .net, .name.
NewTLD
Уже тогда начал появляться сервис CZDS (Centralized Zone Data Service) от корпорации ICANN, где хранились новые зоны (newTLD), вроде, .shop, .moscow и т.д. Зарегистрировались, подали запрос, изучили, потратили несколько дней на настройку скриптов и вуаля, у нас появилось ещё несколько десятков млн. доменов.
На закуску
Оставалась ещё куча национальных зон доменов, регистраторы которых никак не хотят делиться данными о доменах. К примеру, такие зоны как .de, .jp, .kr и десятки других, а это десятки миллионов доменов. Где их брать? Можно, конечно, купить на разных площадках, но покупать постоянно будет накладно. Но дело не только в деньгах. После изучения продавцов стало понятно, что автоматизировать процесс не удастся — никто не предоставлял хоть какого-то API. Автоматизация была принципиальным моментом, т.к. трудозатраты на поддержание базы ожидались солидные.
Было принято решение собирать самим и пришлось разработать несколько методик:
Первая — заключалась в том, что есть некий словарь, бегая по которому, робот проверяет возможные домены на занятость по whois или 200 ОК. Вторая — есть сервис Rapid7, который собирает A-записи откуда только можно. Мы брали второй и третий уровень доменов и тоже проверяли на занятость.
Надо сказать, что проверка на занятость только кажется простой. У каждого whois-сервиса свои регламенты и форма ответа. Причём, они зачастую меняются и приходится отлавливать такие ситуации. Иногда, какой-то whois вдруг давал ответ вроде «query limit» и переставал отдавать информацию. Пришлось создать целую ферму VPS, чтобы информация собиралась с разных IP и делать специальные задержки.
В целом, на всю настройку, ушло пару месяцев труда. И ещё полгода на доведения процесса до ума и автоматизации на 95%. Полностью автоматизировать не получится — что-то где-то ломается, изменяется и требует внимания.
Кому это было надо?
В итоге, у нас получился собственный сервис domengood.ru по поддержке актуальной базы доменных имён. Оказалось, что мы не зря мучались — такие базы оказались востребованы разными компаниями для собственных исследований. Если у кого-то есть идеи как и где можно получать актуальную информацию по зарегистрированным доменным именам, то буду рад любому комментарию, а также идеям по коммерческому (и не только) использованию базы доменов.
Натали Азаренко
знает who is who в интернете
Whois (от англ. who is — «кто есть»)— это общедоступная база данных, в которой хранится информация о доменах и их владельцах. Регулирует базу Международная корпорация по присвоению имен и номеров (ICANN), которая описывает службу WHOIS как бесплатный общедоступный каталог с контактной и технической информацией о зарегистрированном доменном имени.
В базе WHOIS можно получить информацию о любом домене. Смотрят данные в специальных сервисах.
Мы расскажем, какие данные содержатся в WHOIS и зачем нужна проверка домена. Если хотите сразу посмотреть сервисы для проверки WHOIS, то выбирайте из этого списка:
Какие данные содержит WHOIS
При регистрации нового доменного имени нужно предоставить персональные данные. Если указать неверные сведения, то будет сложно подтвердить своё право на домен при необходимости. Так доменное имя могут аннулировать по решению суда.
Например, правообладатель товарного знака подаст иск на владельца сайта, имя которого похоже на этот товарный знак. Конечно, если владелец сайта докажет, что домен зарегистрирован раньше товарного знака, он выиграет суд. Но если ответчик не сможет подтвердить свои права на домен из-за неверных сведений при регистрации, регистратор аннулирует домен в соответствии с судебным решением и UDRP (Единая политика разрешения споров о доменных именах).
WHOIS включает в себя:
- информацию о владельце домена (Ф.И.О. или название компании, адрес, контактные данные);
- контактные данные администратора;
- сведения о регистраторе;
- дату создания домена;
- срок регистрации;
- текущий статус домена;
- сведения об IP-адресе;
- DNS-записи.
В некоторых ситуациях контактные данные владельца или администратора могут быть скрыты настройками конфиденциальности. Это зависит от пожелания самого владельца и от выбранной доменной зоны. Так, для сайтов в зонах .com и .net можно скрыть персональные данные администратора, заменив их статусом Private Person. Для доменов в зонах .ru, .su, .рф данные скрываются автоматически. У доменов верхнего .me или .gov, которые относят к закрытым зонам, в публичном доступе находится минимум данных. А домены типа .asia или .coop не предусматривают конфиденциальности домена.
Иногда регистратор домена предлагает настроить конфиденциальность, заменив персональные данные на данные самого регистратора. В этом случае при просмотре WHOIS отображаются данные «посредника» — регистратора, которому можно отправить сообщение для владельца.
Зачем нужна проверка домена
Просмотр WHOIS чаще всего необходим при поиске свободного доменного имени, чтобы узнать, занят или нет интересующий домен. Но есть и другие ситуации, когда требуется проверить WHOIS:
- узнать возраст сайта или дату истечения регистрации домена;
- связаться с владельцем, чтобы перекупить домен;
- подать жалобу на владельца сайта;
- собрать статистику о ресурсе конкурента;
- выявить сайт-однодневку или мошеннический ресурс.
Базы данных, которые используют WHOIS-сервисы, бывают:
- Централизованные. В этом случае сервис располагает полной базой данных и способен ответить на запросы, касающиеся почти всех регистраторов.
- Распределённые. WHOIS-сервис не имеет полной базы и запрашивает информацию у WHOIS-сервисов соответствующих регистраторов.
При использовании распределённой архитектуры регистраторы могут включать в записи произвольную информацию о клиентах. В протоколе WHOIS не предусмотрено различения централизованной и распределённой моделей. Поэтому целесообразно просматривать данные домена с помощью нескольких сервисов.
Теперь, когда мы выяснили, какие данные содержит WHOIS и зачем может пригодиться проверка, перейдём к нашему независимому рейтингу сервисов.
Получить ответ из «первых рук»
ICANN LOOKUP
Ссылка на сайт
В каких доменных зонах ищет: общие домены верхнего уровня (.com, .net, .org, .info, .biz и .name.).
Особенности: можно отправить сообщение о неточности данных.
Стоимость: бесплатно.
Инструмент от регулятора базы данных, чтобы упростить поиск по WHOIS. Сервис позволяет бесплатно просматривать любую общедоступную информацию, связанную с доменным именем.
Интерфейс ICANN LOOKUP
В процессе поиска данные поступают от операторов реестра или регистраторов в режиме реального времени. ICANN LOOKUP отображает лишь данные, поступившие от аккредитованных регистраторов. Нужно учитывать, что ICANN устанавливает правила регистрации только для международных доменов (gTLD).
Правила регистрации для национальных доменов (ccTLD) могут устанавливать органы власти или регистраторы соответствующих стран. Потому в базе могут отсутствовать данные о некоторых национальных доменах. Пример: .рф, .каз, .by. и прочих.
Записи WHOIS на сайте ICANN легко интерпретировать. Данные представлены по разделам: о домене, о регистраторе, о DNSSEC, об авторитативных серверах (сервер, отвечающий за какую-либо зону). Разобраться с трактовкой результатов поиска помогает таблица на сайте сервиса. В ней указано, что именно обозначает то или иное поле.
Часть таблицы с интерпретацией результатов проверки WHOIS
В ICANN LOOKUP также можно подать жалобу на неточность данных или отсутствие ответа из-за недоступности служб.
Проверить домен в зонах .ru и .рф
WHOIS+
Ссылка на сайт
В каких доменных зонах ищет: .ru, .рф.
Особенности: наличие формы для обратной связи с администратором сайта.
Стоимость: бесплатно.
Сервис создан «Координационным центром доменов .RU/.РФ». Инструмент позволяет просматривать данные о доменных именах второго уровня в российских национальных доменах .ru и .рф.
Интерфейс WHOIS+
WHOIS+ показывает статус домена, дату начала и окончания регистрации, имена DNS-серверов, данные администратора домена, точное наименование и ИИН компании-администратора доменного имени на русском и английском языках, информацию о наличии зарегистрированных товарных знаков администратора доменного имени, данные о регистраторе домена.
Если администратором выступает физическое лицо, информация о нём скрыта в соответствии с Законом о персональных данных.
Для каждого поля в таблице результатов прилагается пояснение, что именно обозначает информация.
Пример результатов проверки WHOIS
WHOIS+ позволяет связаться с администратором домена. Для этого в таблице результатов присутствует ссылка на форму обратной связи.
Установить владельца для подачи иска
«Интернет-правосудие»
Ссылка на сайт
В каких доменных зонах ищет: домены международного и национального уровня (.com, .net, .biz, .ру, .рф).
Особенности: подача адвокатского запроса на установление владельца сайта в зонах .ру и .рф.
Стоимость: просмотр публичных данных — бесплатно, установка владельца — платно.
Сервис «Вебджастис» позволяет узнать общедоступную информацию о доменах международного (.com, .net, .biz) и национального уровня (.ru и .рф). Основные сведения по домену предоставляются бесплатно.
Интерфейс «Интернет-правосудия»
«Фишка» инструмента в том, что он помогает выяснить данные, скрытые настройками private person. Например, если администратором выступает физлицо, то узнать его данные посредством стандартной проверки просто невозможно.
Сервис может отправить адвокатский запрос, чтобы установить владельца сайта в зоне .ru и .рф и предъявить ему иск.
Пример ответа на адвокатский запрос с данными администратора
Узнать владельца сайта стоит от 1 500 рублей. В некоторых случаях оплату взимает и регистратор. Ответ на запрос приходит в течение месяца, но за дополнительную оплату ответ могут предоставить за 2 часа, что зависит от регистратора.
Проверить домен и историю изменения Whois
REG.RU
Ссылка на сайт
В каких доменных зонах ищет: международные, национальные и тематические домены, РФ и СНГ, Европа, Азия, Америка.
Особенности: запрос истории изменения Whois и хостинга, просмотр доменов на DNS-серверах и на одном IP-адресе.
Стоимость: просмотр публичных данных — бесплатно, запрос истории — платно.
Популярный регистратор доменных имён REG.RU позволяет получить информацию о домене. Сервис бесплатно предоставляет данные об имени регистратора, открытых контактных данных администратора, сроке истечения регистрации, DNS-серверах. При неточности можно отправить заявку в ICANN через форму обратной связи.
Интерфейс Whois–service REG.RU
Платно можно узнать историю изменения Whois и хостинга, домены на одном IP-адресе, домены на тех же DNS-серверах. Также можно заказать мониторинг домена, чтобы оперативно отслеживать изменения по интересующим доменам. Стоимость дополнительных услуг зависит от типа запроса и выбранных параметров. Например, запрос истории для домена unisender.com обойдётся в 242 рубля, а для unisender.ru — 180 рублей.
Дополнительный функционал проверки WHOIS на REG.RU
Результаты проверки отображаются на русском или английском языке. У всех полей есть подробные описания, разобраться несложно.
Описание полей в результатах проверки
Количество запросов в минуту с одного IP-адреса ограниченно. При превышении лимита доступ ограничивают, при повторном нарушении — блокируют.
Проверить домен в один клик
Be1.ru: проверка WHOIS
Ссылка на сайт
В каких доменных зонах ищет: домены международного и национального уровня.
Особенности: запуск просмотра Whois любого сайта из поисковой строки без перехода в сервис.
Стоимость: бесплатно.
Бесплатный инструмент для просмотра WHOIS позволяет за несколько секунд получить основную публичную информацию относительно доменов международного и национального уровня. Результаты отображаются в виде удобной веб-формы.
Интерфейс Whois–сервиса Be1.ru
Этот простой инструмент попал в наш рейтинг благодаря букмарклету — технологии, которая позволяет сохранить URL на панели закладок браузера и запустить сохранённый сайт одним кликом.
Букмарклер Be1.ru
При посещении сайта, домен которого нужно проверить, достаточно кликнуть на сохранённую закладку. Откроется страница сервиса с результатами проверки домена. Это полезно, если нужно быстро узнать информацию о просматриваемом сайте и не тратить время на переход в WHOIS-сервис.
Проверка Whois с помощью букмарклера
Отличительная особенность сервиса — возможность массовой проверки WHOIS по списку доменов. Можно единовременно указать от 1 до 10 URL.
Проверить в зонах .by и .бел
CCTLD.BY
Ссылка на сайт
В каких доменных зонах ищет: домены международного и национального уровня.
Особенности: наличие букмарклета.
Стоимость: бесплатно.
Инструмент просмотра WHOIS-данных, который проверяет только домены .by и .бел. С помощью сервиса можно узнать свободен ли домен, кто его администратор и его контактные данные, дату регистрации и окончание срока регистрации домена, с какими DNS-серверами делегировано доменное имя.
Интерфейс Whois–сервиса CCTLD.BY
Сервис проверяет только белорусские домены и не имеет никаких дополнительных функций. На CCTLD.BY можно отправить сообщение администратору сайта, даже если он скрыл свои данные.
Форма связи с владельцем домена в результатах проверки
Здесь же на сайте можно ознакомиться с правилами регистрации доменов в зонах .by и .бел.
Проверить домен и запросить его историю
DOMAINTOOLS.COM
Ссылка на сайт
В каких доменных зонах ищет: домены международного и национального уровня.
Особенности: запрос истории домена, мониторинг изменений доменов.
Стоимость: просмотр Whois — бесплатно, прочие услуги — платно.
Западный сервис, в котором можно просмотреть основные данные WHOIS и получить более подробную информацию. В частности, здесь можно изучить историю изменений записей домена и подробнее узнать о сервере.
Интерфейс DOMAINTOOLS.COM
Основные данные WHOIS можно посмотреть бесплатно. На платной основе можно запросить подробный отчёт по истории домена.
Содержание отчёта об истории домена на DOMAINTOOLS.COM
Дополнительно в сервисе можно узнать историю хостинга и посмотреть доступные схожие домены. После авторизации можно отслеживать изменения интересующих доменов.
Итоговое сравнение WHOIS-сервисов
|
Сравнительная таблица WHOIS-сервисов |
|||||
| Название сервиса | Стоимость | Дополнительный функционал | Особенности | Домены | Язык сервиса |
| ICANN LOOKUP | Бесплатно | Поиск как по протоколу RDAP, так и по протоколу WHOIS | Подача жалобы на неточность данных | gTLD — общие домены верхнего уровня. Н-р, .com, .net, .org, .info, .biz и .name и т. д. | Китайский Английский Французский Русский Испанский Арабский |
| WHOIS+ | Бесплатно | Связь с владельцем доменного имени через форму обратной связи | Проверка товарных знаков | .ru, .рф. | Русский |
| Интернет-правосудие | Проверка основных данных бесплатно.
Запрос по private person — от 1 500-3 000 рублей. |
Подача адвокатского запроса на установление данных администратора сайта, являющегося физическим лицом | Отправленная заявка попадает к адвокатам, подключенным к сервису, которые и отправляют запрос | gTLD +.ru, .рф. | Русский |
| REG.RU | Основная информация по домену — бесплатно, дополнительные услуги — платно. | Проверка истории домена, мониторинг изменений, домены на одном IP-адресе и пр. | Количество запросов в минуту с одного IP-адреса ограничено.
Подача жалобы на неточность данных в ICANN. |
Доменные зоны РФ и СНГ, международные, тематические, Европа, Азия, Америка, другие страны. | Русский Английский |
| Be1.ru | Бесплатно | Отсутствует | Наличие букмарклета. Возможность массовой проверки WHOIS по списку доменов. | Домены международного и национального уровня. | Русский |
| CCTLD.BY | Бесплатно | Отсутствует | Отправка сообщения администратору сайта даже при сокрытых данных. | .by, .бел | Русский Беларусский Английский |
| DOMAINTOOLS.COM | Бесплатный просмотр основной информации, платное предоставление расширенных данных | Мониторинг изменений домена, просмотр доступных схожих имён. | Запрос подробной истории домена | Общие и страновые TLD | Английский |
Наличие базы WHOIS помогает сделать интернет-пространство более открытым. Любой человек или организация может воспользоваться WHOIS-сервисом, чтобы подробнее узнать о том или ином ресурсе.
ЭКСКЛЮЗИВЫ ⚡️
Читайте только в блоге
Unisender
Поделиться
СВЕЖИЕ СТАТЬИ
Другие материалы из этой рубрики
Не пропускайте новые статьи
Подписывайтесь на соцсети
Делимся новостями и свежими статьями, рассказываем о новинках сервиса
«Честно» — авторская рассылка от редакции Unisender
Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы
и интервью с экспертами диджитала.