KlarenseBot

Кто мы

KlarenseBot — обходчик сервиса Klarense. Klarense проверяет, как сайт видят посетители, поисковики и ИИ-помощники, и составляет отчёт с советами.

Сами по себе мы интернет не обходим. Каждую проверку запускает человек на klarense.com: владелец сайта, его подрядчик или посетитель. Владелец может подписаться на повторные проверки своего сайта.

Что он делает

• Открывает только публичные страницы: главную, robots.txt, карту сайта, до 30 страниц сайта и ссылки с главной.
• Делает не больше 2 запросов в секунду к одному сайту.
• Не отправляет формы, не входит в личные кабинеты и ничего не покупает.
• Открывает главную в браузере, как посетитель с телефона и с компьютера. Браузер загружает картинки и стили страницы, как для человека.
• Представляется так: KlarenseBot/1.0 (+https://klarense.com/bot)

Как запретить проверку

Добавьте в файл robots.txt в корне сайта:

User-agent: KlarenseBot
Disallow: /

Тогда мы не откроем ни одной страницы сайта, а тот, кто запросил проверку, увидит, что владелец сайта её запретил. Файл мы читаем заново при каждой проверке, так что запрет действует сразу.

Как закрыть только часть сайта

Например, раздел /private/:

User-agent: KlarenseBot
Disallow: /private/

А если в robots.txt запрет для всех роботов?

Правило «User-agent: *» мы соблюдаем, когда обходим страницы сайта. Но страницу, которую попросил проверить человек, всё равно открываем: иначе мы не сможем сказать владельцу, что его сайт закрыт от поисковиков. Чтобы остановить и это, назовите нас по имени, как показано выше.

Связаться с нами

Если KlarenseBot мешает вашему сайту, напишите на hello@klarense.com.