# robots.txt de so-bang.fr
#
# Ce fichier doit exister physiquement a la racine du site. Sans lui, Infomaniak
# sert un robots.txt genere par defaut, reduit a « User-agent: * » et
# « Crawl-delay: 10 » (cf. FAQ Infomaniak 2136), qui bride Bing et ne declare
# aucun sitemap. La presence de ce fichier suffit a desactiver ce comportement.
#
# Source de verite : depot git, prod/robots.txt. Deploiement a la racine du site
# via _tools/ftpsync.py. Ni Rank Math ni le filtre robots_txt de WordPress ne
# sont utilises : WordPress ne genere robots.txt que si aucun fichier n'existe.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=
Disallow: /*&s=
Disallow: /wp-content/uploads/*?_=

# Listings de repertoires refuses par Apache : l'ancre « $ » ne cible que les URL
# terminant par un slash, jamais les fichiers. jQuery et les scripts de
# /wp-includes/ restent accessibles, Google en a besoin pour rendre les pages.
Disallow: /wp-includes/$
Disallow: /wp-includes/*/$

# Crawlers IA : acces explicite
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Anthropic-AI
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://so-bang.fr/sitemap_index.xml
Sitemap: https://so-bang.fr/en/sitemap_index.xml

# llms.txt n'est pas un sitemap : la directive Sitemap attend un fichier XML au
# format sitemaps.org, et Search Console rejette tout le reste. Le manifeste
# reste servi a la racine, il est signale ici en commentaire.
# LLM manifest: https://so-bang.fr/llms.txt