robots.txt
Statut block/open, suggestions AI/scraper, historique diff et visites après date de blocage
Services
Nos Services
Protégez votre compte avec la 2FA, grandissez avec les récompenses de parrainage quand vos invités passent en payant, et proposez des crawlers manquants au catalogue.
Ce que vous obtenez dans le tableau de bord
Contrôles de fichiers techniques et de politique comme dans le panneau—sans promesse de blocage.
Meta / X-Robots-Tag
noindex/nofollow sur l'accueil ou l'URL la plus crawlée ; conflit avec robots Allow
llms.txt
Vérifiez llms.txt / ai.txt et téléchargez un modèle de politique IA
sitemap.xml
Accessibilité, fraîcheur et carte des écarts sitemap × crawl
security.txt
Contrôle Contact / Expires RFC 9116 et modèle
Readiness du site
Un score robots, sitemap, llms, security.txt et tracking
Contrôles de politique et fichiers techniques
robots.txt, meta robots, llms.txt, sitemap.xml, security.txt et readiness—comme dans le tableau de bord.
Analyse robots.txt
Voyez quels crawlers caution/danger sont ouverts ou bloqués, filtrez les suggestions AI ou scraper, comparez actuel vs suggéré (diff), conservez l'historique des versions (rescan et contrôles quotidiens) et enregistrez une date de blocage pour signaler les visites ultérieures.
Meta robots / X-Robots-Tag
Lisez meta robots et X-Robots-Tag depuis la page d'accueil ou l'URL la plus crawlée. Signalez le conflit quand robots.txt autorise le chemin mais meta/header bloque l'indexation (noindex/nofollow).
llms.txt / politique IA
Détectez si /llms.txt ou /ai.txt existe. S'il manque, copiez ou téléchargez un modèle de politique crawler IA caution/danger depuis le panneau.
sitemap.xml et écart de crawl
Vérifiez l'accessibilité, le nombre d'URL et la fraîcheur lastmod. Comparez les URL du sitemap aux hits de crawl (chevauchement + carte des écarts) pour trouver les pages non crawlées ou absentes du sitemap.
security.txt
Vérifiez /.well-known/security.txt et Contact / Expires (RFC 9116). Copiez ou téléchargez un modèle minimal si le fichier manque ou est incomplet.
Score de readiness
Un score robots.txt, sitemap.xml, llms.txt, security.txt et tracking—plus un court historique pour voir ce qui s'est amélioré et quoi corriger ensuite.
Vérification et risque
Qui est réel, quels crawlers IA vous frappent, où le budget est gaspillé, et le niveau de risque de chaque crawler.
Authenticité des bots
Vérification rDNS, taux vérifié et soupçons de spoof
Insights crawlers IA
Visites IA sur 30 jours, bots uniques, hits caution/danger et prochaines étapes
Crawl budget waste
Chemins touchés par des crawlers risqués/scraper avec suggestions Disallow
Niveaux de sécurité
Badges caution et danger dans le catalogue et les filtres de visites
Authenticité, risque IA et gaspillage de crawl
Les mêmes outils de vérification que l'overview, l'authenticité des bots et l'analyse des crawls.
rDNS / authenticité des bots
Vérifiez les crawlers connus via reverse DNS. Voyez le taux vérifié, les soupçons de spoof et le mix d'hôtes.
Insights crawlers IA
Visites de crawlers IA sur 30 jours : hits, bots IA uniques, volume caution/danger, et recommandations (mettre à jour llms.txt ou revoir les crawlers IA non bloqués dans robots.txt).
Crawl budget waste
Voyez quels chemins les crawlers caution/danger et scraper frappent le plus sur 30 jours, puis copiez des suggestions Disallow par chemin.
Badges de sécurité et niveaux de risque
Chaque type de crawler a un niveau safe / caution / danger dans le catalogue et les filtres—le trafic risqué est visible sans promesse de blocage.
Trafic, analytics et export
Voyez la répartition du trafic, quelles sources produisent de vraies visites, et exportez les lignes dont vous avez besoin.
Trafic
Appareils, navigateurs, OS et mix humain vs crawler
Sources de referral
Referrers qui produisent de vraies visites, avec export CSV
Crawl Analysis
Filtrer et chercher les visites par page, crawler, UA ou IP
Export CSV
Exporter les visites de crawl et les referrals en CSV
Comparaison de périodes
Comparer la période actuelle à la fenêtre précédente
Analytics avancés
Rapports plus profonds sur les plans Pro et plus
Analyse des crawls et reporting
Les mêmes outils trafic, referrer, bots et export que dans le tableau de bord.
Répartition du trafic
Examinez appareils, navigateurs, systèmes et le split humain vs crawler pour séparer visiteurs réels et charge bot.
Sources de referral
Voyez quels referrers produisent de vraies visites—pas seulement des hits bruts—et exportez la liste en CSV si besoin.
Crawl Analysis
Recherchez et filtrez les visites de crawl par URL, nom de crawler, User-Agent ou IP. États vides et badges de sécurité restent alignés sur le catalogue.
Export CSV
Exportez les visites de crawl et les sources de referral en CSV depuis le panneau pour sheets ou audits.
Comparaison de périodes
Comparez la fenêtre de monitoring actuelle à la période précédente pour repérer les variations de volume et de risque.
Analytics avancés
Les plans Pro et plus débloquent des rapports plus riches au-delà des totaux de visite—alignés sur les limites du forfait.
Setup et canaux de tracking
Plus qu'une balise meta : script, beacon no-JS, vérification d'install et visite guidée.
tracking.js
Install script avec la balise meta pour capturer les crawls
Beacon no-JS
Ping CSS beacon quand JavaScript est bloqué ou absent
Check d'install
Confirmer que la balise meta et tracking.js sont en ligne
Visite guidée
Tour du panneau du premier site au premier Check
Comment fonctionne l'install
Les mêmes canaux et contrôles que dans Mes sites et le guide de setup.
tracking.js
Copiez la balise meta et tracking.js depuis Mes sites. Le script signale les visites de crawlers pour alimenter analytics et outils de politique.
Beacon no-JS
Ajoutez la feuille de style beacon optionnelle si JavaScript est limité. Le panneau montre l'état du canal et le dernier ping beacon.
Check d'install
Utilisez Check dans Mes sites pour confirmer que la balise meta et tracking.js sont en ligne. Le tracking peut démarrer avant la fin de la vérification.
Visite guidée
Une visite panneau (skippable) couvre l'ajout de site, la copie du snippet et Check—pour un premier setup clair.
Gestion de site et collaboration
Invitez l'équipe, faites grandir les sites dans les limites du forfait, voyez tôt les alertes de quota.
Partage de site
Invitations e-mail avec rôles view ou manage
Multi-sites et quotas
Limites de sites du forfait avec soft wall au plafond
Alertes billing et quota
Alertes panneau et e-mail à 80% et quota plein
Partager l'accès et rester dans les limites
Les mêmes outils de partage, limite de sites et quota que dans Mes sites et Billing.
Partage de site
Invitez quelqu'un par e-mail en rôle view ou manage. Invitations en attente, acceptation/refus et révocation restent dans Mes sites—sans comptes partagés.
Multi-sites et quotas du forfait
Chaque forfait plafonne le nombre de sites. À la limite, le panneau affiche un soft wall et oriente vers l'upgrade au lieu d'échouer en silence.
Alertes billing et quota
Les quotas de crawl mensuels se réinitialisent par période. Vers 80% et à quota plein, alertes panneau et e-mail optionnelles ; ensuite les nouvelles visites ne sont plus journalisées.
Surveillance, alertes et notifications
Signaux de santé, suivi des changements robots, alertes panneau, push, app écran d'accueil et digests e-mail.
Santé du site
Expiration SSL, silence crawl 48h+, tracking stale 7j+
Changements robots.txt
Timeline diff + e-mail optionnel si le contenu change
E-mails de violation
Alerte si un crawler bloqué revient après la date de blocage
Notifications panneau
Boîte cloche pour quota, santé et événements de politique
Web Push
Alertes appareil pour quota, SSL, silence—pas de spam crawl
PWA / écran d'accueil
Installer le tableau de bord comme une app depuis Integrations
E-mail résumé d'activité
Digest optionnel de l'activité crawl
Comment nous vous tenons informé
Les mêmes outils santé, notification, push et PWA que dans l'overview et Integrations.
Santé du site
L'overview signale les certificats SSL bientôt expirés ou expirés, les sites sans crawl depuis 48h+ et les installs sans ping tracking depuis 7j+—pour voir tôt les pannes silencieuses.
Suivi des changements robots.txt
Quand robots.txt change, les rescans et contrôles quotidiens gardent une timeline de diffs. Une préférence e-mail optionnelle vous prévient.
E-mails de violation robots
Après avoir enregistré une date de blocage pour un crawler risqué, les visites ultérieures peuvent déclencher un e-mail de violation—utile pour spoof ou non-conformité.
Notifications panneau
La cloche liste quota, santé, robots et événements similaires dans une boîte—marquez tout comme lu sans quitter le tableau de bord.
Web Push
Activez le push sur les navigateurs supportés (sur iOS, ajoutez d'abord à l'écran d'accueil) pour quota, SSL et silence crawl. Le spam de visites crawl est exclu.
PWA / app écran d'accueil
Depuis Integrations, ajoutez NMOS à l'écran d'accueil pour un accès panneau plus rapide. Les données crawl nécessitent une connexion—rien n'est stocké hors ligne.
E-mail résumé d'activité
Des digests optionnels résument l'activité crawl sans ouvrir le panneau chaque jour. Les préférences sont dans les réglages de notification.
Compte et croissance
Connexion sécurisée, récompenses d'invitation et enrichissement du catalogue crawler.
2FA (TOTP)
Applications d'authentification comme Authy ou Google Authenticator
Programme de parrainage
+15 jours sur votre forfait quand un invité passe gratuit→payant
Suggestion de catalogue
Proposer un type de crawler manquant à l'équipe
Outils de sécurité et de croissance
Les mêmes outils 2FA, parrainage et suggestion de catalogue que dans les réglages compte et l'annuaire crawler.
Authentification à deux facteurs
Activez le TOTP dans les réglages du compte avec Authy, Google Authenticator ou une app similaire. Un avertissement reste visible tant que la 2FA n'est pas activée.
Programme de parrainage
Partagez votre code ou lien d'invitation. Quand une personne invitée passe pour la première fois de gratuit à payant, votre forfait est prolongé de 15 jours. Le statut de récompense reste dans le panneau de parrainage.
Suggestion de catalogue crawler
Si un type de crawler manque dans l'annuaire, envoyez une suggestion depuis le panneau. L'équipe examine les envois—la couverture de détection s'élargit avec le temps.
Comment ça marche ?
Commencez le suivi des crawls en 3 étapes simples
1
S'inscrire
Créez un compte gratuit et choisissez votre forfait. Activez votre compte avec la vérification par e-mail.
2
Installer le tracking
Ajoutez la balise meta, tracking.js et le beacon no-JS optionnel dans le head. Copiez le snippet complet depuis Mes sites.
3
Suivre et examiner
Cliquez sur Check pour vérifier l'install, suivez la visite guidée si vous voulez, puis examinez crawls et readiness.
Systèmes de Suivi
Pages dédiées aux principaux crawlers de recherche et d'IA
Commencer gratuitement
Ajoutez votre premier site en quelques minutes