# robots-ai.txt Specification (ADF-009)
# Дополнение к основному robots.txt для управления доступом AI-ботов
# Website: https://futlyar-truboprovoda-svap.ru/
# Last Updated: 2026-07-10

# ==============================================================================
# РАЗРЕШЕНИЯ ДЛЯ ПОИСКОВЫХ AI-БОТОВ (ИНДЕКСАЦИЯ КОНТЕНТА)
# ==============================================================================

# OpenAI GPT Bot (ChatGPT, поиск)
User-agent: GPTBot
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /private/
Crawl-delay: 1

# Anthropic Claude Bot
User-agent: Claude-Web
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Crawl-delay: 1

# Perplexity Bot
User-agent: PerplexityBot
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Crawl-delay: 1

# Google Extended (для поиска Gemini и других продуктов Google)
User-agent: Google-Extended
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Crawl-delay: 1

# Applebot (Siri, Spotlight)
User-agent: Applebot
Allow: /
Disallow: /wp-admin/

# ==============================================================================
# ЗАПРЕТ ДЛЯ БОТОВ ОБУЧЕНИЯ МОДЕЛЕЙ (TRAINING BOTS)
# Согласно политике ai.txt: train: prohibited
# ==============================================================================

# Common Crawl Bot (используется для обучения многих ИИ-моделей)
User-agent: CCBot
Disallow: /

# Meta AI Bot (Facebook, Instagram, Llama training)
User-agent: FacebookBot
Disallow: /

# ByteDance Bot (TikTok, Doubao training)
User-agent: Bytespider
Disallow: /

# Cohere Bot
User-agent: cohere-ai
Disallow: /

# ==============================================================================
# ДРУГИЕ AI-БОТЫ
# ==============================================================================

# DuckDuckGo AI
User-agent: DuckDuckBot
Allow: /
Disallow: /wp-admin/

# Yandex AI (YandexGPT)
User-agent: Yandex
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Crawl-delay: 1

# Bing AI (Copilot)
User-agent: Bingbot
Allow: /
Disallow: /wp-admin/
Disallow: /wp-includes/
Crawl-delay: 1

# ==============================================================================
# SITEMAP
# ==============================================================================

Sitemap: https://futlyar-truboprovoda-svap.ru/sitemap.xml
Sitemap: https://futlyar-truboprovoda-svap.ru/llms.txt