User-agent: *
Disallow: /admin

# Синтез речи краулерам не нужен, а стоит дорого: адрес озвучки лежит
# в разметке обычным <source src>, и обход графа слов превращался в ~50
# запросов к Azure Speech в минуту. Кто читает robots.txt — сюда не пойдёт;
# остальных отсекает проверка в AudioControllerBase.
Disallow: /api/

# SEO-краулер сервиса dataforseo.com: 21.09.2026 он в одиночку сделал 10 064
# запроса к страницам перевода за сутки и вместе с безымянным скрапером выел
# суточную квоту Яндекс.Словаря к трём часам ночи. Пользы от него сайту нет:
# он собирает данные для чужих SEO-отчётов, а не индексирует нас для людей.
# robots.txt он читает — с этого и начинает обход.
User-agent: DataForSeoBot
Disallow: /

# Краулер поисковика Huawei Petal Search: 22.09.2026 — 300 запросов к страницам
# перевода за семь часов, около тысячи в сутки. Ботом он распознаётся и получает
# SEO-заглушку без обращений к API, так что квоты не трогает; но переходов из
# Petal Search у сайта нет, а трафик и процессор он ест как полноценный обход.
User-agent: PetalBot
Disallow: /

Sitemap: https://context-translate.ru/sitemap.xml