# robots.txt для Project A2
# Обновлено: 2026-06-30

Sitemap: https://project-a2.ru/sitemap.xml

# Базовые правила для поисковых роботов.
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*

# Google Search.
User-agent: Googlebot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*

User-agent: Googlebot-Image
Allow: /uploads/
Disallow: /admin/
Disallow: /api/

User-agent: AdsBot-Google
Allow: /
Disallow: /admin/
Disallow: /api/

# Yandex Search.
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid&fbclid
Crawl-delay: 1

# AI search and user-triggered assistants: разрешаем цитирование и переходы на сайт.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /*?*

# AI training/model crawlers: закрываем обучение на контенте сайта.
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Bytespider
User-agent: Applebot-Extended
Disallow: /