# Разрешаем доступ всем основным Google роботам
User-agent: Googlebot
Disallow:

User-agent: AdsBot-Google
Disallow:

User-agent: Googlebot-Image
Disallow:

# Специальные правила для Яндекса
User-agent: Yandex
Allow: /

# Остальные роботы
User-agent: *
Allow: /

# Основная карта сайта (ТОЛЬКО XML Sitemap)
Sitemap: https://vk2tg.ru/sitemap.xml

# Запрещаем индексацию админки и приватных API
Disallow: /admin
Disallow: /api/auth/
Disallow: /api/admin/
Disallow: /api/dashboard/
Disallow: /dashboard

# Запрещаем индексацию временных файлов
Disallow: /*.tmp$
Disallow: /*.log$

# Разрешаем статические файлы
Allow: /assets/
Allow: /images/
Allow: /uploads/
Allow: *.css
Allow: *.js
Allow: *.png
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif
Allow: *.webp
Allow: *.svg

# Разрешаем основные страницы
Allow: /
Allow: /premium
Allow: /sites/
Allow: /about
Allow: /contact
Allow: /news/
Allow: /blog/
Allow: /rss-feeds

# Разрешаем RSS фиды и форматы (НО НЕ КАК SITEMAP!)
Allow: /feed.xml
Allow: /rss.xml
Allow: /dzen.xml
Allow: /atom.xml
Allow: /news/feed.xml
Allow: /blog/feed.xml

# API для статей разрешён (нужен для индексации)
Allow: /api/articles/

# Поддомены (Telegram каналы)
Allow: /*.vk2tg.ru/
Allow: /*.vk2tg.ru/post/

# Время ожидания для ботов (в секундах)
Crawl-delay: 1