Сколько сайтов закрывают свою статистику от Ahrefs?

Сколько сайтов закрывают свою статистику от Ahrefs?
/ данные от @jetoctopus /

Список проверенных доменов: 213 млн (все известные)
Из них 122 млн отдают 200 код статуса
46.5 млн доменов имеют robots.txt (38% от активных)

6.28 млн. (5.2% активных сайтов) закрыты от всех роботов

Disallow: /

3.1 млн (2.5%) открыты только для гугла

User-Agent: *
Disallow: /
User-Agent: Googlebot
Allow: /

Для этих доменов ↑ все инструменты анализа дают некорректные данные (не видят исходящие ссылки).

Закрыты от специальных ботов:
• Majestic — 2.7 млн
• Ahrefs — 0.661 млн
• SemRush — 0.256 млн

Majestic чаще блокируют в бурже, Ahrefs в рунете.

Блокируют левых ботов небольшой процент сайтов, в основном это сетки, созданные для черного продвижения серых проектов. Но сетки легко находить по подсетям, шаблону robots.txt и кускам html-кода (если не анализировать ссылочный граф). Сложно найти тех, кто блокирует ботов другими способами. Самая большая из найденных сеток: 34 тыс. сайтов разной тематики и с разными шаблонами.

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *