# ==========================================
# SITEMAP – wichtige Grundlage für Google
# ==========================================
Sitemap: https://www.avguide.ch/sitemap.xml


# ==========================================
# 1. HAUPT-SUCHMASCHINEN – VOLLER ZUGANG
# ==========================================

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: bingbot
Allow: /

User-agent: msnbot
Allow: /

User-agent: BingPreview
Allow: /


# ==========================================
# 2. SEO-TOOLS VERLANGSAMEN (nicht blockieren)
# ==========================================

User-agent: AhrefsBot
Crawl-delay: 10
Allow: /

User-agent: SemrushBot
Crawl-delay: 10
Allow: /

User-agent: AlibabaBot
Crawl-delay: 10
Allow: /

User-agent: Amazonbot
Crawl-delay: 10
Allow: /


# ==========================================
# 3. BLOCKLIST – NICHT-NUTZENDE ODER AGGRESSIVE BOTS
# ==========================================

User-agent: YandexBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: FacebookExternalHit
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SEOkicks-Robot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: MauiBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: ZoomBot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: python-requests
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: wget
Disallow: /

User-agent: curl
Disallow: /


# ==========================================
# 4. GOOGLE CRAWL-BUDGET OPTIMIERUNG
# ==========================================
# Interne technische Ordner blockieren

User-agent: *
Disallow: /config/
Disallow: /handlers/
Disallow: /includes/
Disallow: /interceptors/
Disallow: /layouts/
Disallow: /logs/
Disallow: /models/
Disallow: /modules/
Disallow: /modules_app/
Disallow: /views/

# Interne Suchseiten blockieren (Crawl-Budget Killer)
Disallow: /suchen

# Falls vorhanden: Filter-/Sortier-Parameter blockieren
# (Diese Zeilen kannst du auskommentieren, wenn nicht benötigt)
# Disallow: /*?sort=
# Disallow: /*?filter=
# Disallow: /*?page=


# ==========================================
# 5. ALLES ANDERE IST ERLAUBT
# ==========================================

Allow: /