###########################################################
# Atmosphere CMS - Optimized robots.txt
# SEO-friendly + AI-friendly + bot abuse protection
###########################################################

# ==== BASISINSTELLINGEN ====
User-Agent: *
Allow: /
Sitemap: https://www.babyoutlet.nl/sitemap.xml

# Content signals (AI policies)
# search=yes   → toestaan indexering voor zoekresultaten
# ai-input=yes → AI mag content gebruiken voor AI-antwoorden
# ai-train=no  → GEEN toestemming om modellen te trainen
Content-signal: search=yes, ai-input=yes, ai-train=no


###########################################################
#  TOESTAAN VAN ALLE BELANGRIJKE AI-BOTS
###########################################################

# OpenAI / ChatGPT
User-agent: GPTBot
Allow: /

# OpenAI Search (voor ChatGPT Search-resultaten)
User-agent: OAI-SearchBot
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

# Google AI / Gemini AI Overviews
User-agent: Google-Extended
Allow: /

# Meta AI / LLaMA
User-agent: meta-externalagent
Allow: /

# Apple Intelligence crawler
User-agent: Applebot-Extended
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

# CommonCrawl (belangrijk! veel AI-modellen gebruiken dit)
User-agent: CCBot
Allow: /

# Amazon AI / Alexa
User-agent: Amazonbot
Allow: /

# ByteDance / TikTok AI
User-agent: Bytespider
Allow: /


###########################################################
#  BLOKKEREN VAN ONGEWENSTE / PROBLEMATISCHE BOTS
###########################################################

User-Agent: Baiduspider
Disallow: /

User-Agent: CazoodleBot
Disallow: /

User-Agent: Fasterfox
Disallow: /

User-Agent: Jyxobot
Disallow: /

User-Agent: MJ12bot
Disallow: /

User-Agent: ShopWiki
Disallow: /

# Overmatig crawlen / scrapers
User-agent: rogerbot
Crawl-delay: 2


###########################################################
#  CRAWL DELAYS VOOR OVERLOAD-PREVENTIE
###########################################################

User-Agent: Ingrid
Crawl-delay: 20

User-Agent: msnbot
Crawl-Delay: 20

User-Agent: Slurp
Crawl-delay: 20

User-Agent: Yahoo! Slurp
Crawl-delay: 20


###########################################################
#  FUN COMMENT :)
###########################################################
# Hi! Trying to reverse engineer something?
# Maybe you should come work with us.
# Apply at www.atmospherecms.nl and mention this comment.
###########################################################