# robots.txt für OwnKeyBot
# Optimiert für SEO und mehrsprachige Inhalte

# === ALLGEMEINE REGELN FÜR ALLE BOTS ===
User-agent: *
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/
Allow: /de/blog
Allow: /en/blog
Allow: /es/blog
Allow: /de/pricing
Allow: /en/pricing
Allow: /es/pricing
Allow: /de/faq
Allow: /en/faq
Allow: /es/faq

# Sensible Bereiche ausschließen
Disallow: /admin
Disallow: /admin/
Disallow: /portal
Disallow: /portal/
Disallow: /api
Disallow: /api/
Disallow: /onboarding
Disallow: /onboarding/
Disallow: /*/reset-password
Disallow: /*/forgot-password
Disallow: /logout
Disallow: /*/login
Disallow: /*/register
Disallow: /return-to-admin
Disallow: /stripe-portal-return
Disallow: /test-email

# Temporäre/Test-Dateien ausschließen
Disallow: /*.json$
Disallow: /uploads/
Disallow: /logs/
Disallow: /node_modules/

# Query-Parameter ausschließen (optional, falls nicht benötigt)
# Disallow: /*?*

# === SPEZIFISCHE REGELN FÜR GOOGLE ===
User-agent: Googlebot
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/
Crawl-delay: 0

# === SPEZIFISCHE REGELN FÜR BING ===
User-agent: Bingbot
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/
Crawl-delay: 1

# === SPEZIFISCHE REGELN FÜR GOOGLE IMAGE BOT ===
User-agent: Googlebot-Image
Allow: /img/
Allow: /uploads/
Disallow: /admin
Disallow: /portal

# === SPEZIFISCHE REGELN FÜR GOOGLE MOBILE BOT ===
User-agent: Googlebot-Mobile
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/

# === SPEZIFISCHE REGELN FÜR FACEBOOK CRAWLER ===
User-agent: facebookexternalhit
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/

# === SPEZIFISCHE REGELN FÜR TWITTER BOT ===
User-agent: Twitterbot
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/

# === SPEZIFISCHE REGELN FÜR LINKEDIN BOT ===
User-agent: LinkedInBot
Allow: /
Allow: /de/
Allow: /en/
Allow: /es/

# === AGGRESSIVE BOTS BLOCKEN ===
User-agent: AhrefsBot
Crawl-delay: 10
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# === SITEMAPS ===
# Haupt-Sitemap (enthält alle Sprachen)
Sitemap: https://www.ownkeybot.com/sitemap.xml

# Sprachspezifische Sitemaps (optional, falls separate Sitemaps gewünscht)
# Sitemap: https://www.ownkeybot.com/sitemap-de.xml
# Sitemap: https://www.ownkeybot.com/sitemap-en.xml
# Sitemap: https://www.ownkeybot.com/sitemap-es.xml