-
Notifications
You must be signed in to change notification settings - Fork 0
/
robots.txt
executable file
·42 lines (41 loc) · 1.24 KB
/
robots.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
User-agent : *
# vu sur http://www.seomix.fr/robots-txt-wordpress/
# et http://www.shoutmeloud.com/what-is-robots-txt-file-and-how-to-optimize-for-wordpress-blogs.html
# On désindexe tous les URL ayant des paramètres (duplication de contenu)
Disallow: /*?
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
#Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /comments/feed/
#Disallow: /tag/*
#Disallow: /author/*
#Disallow: /ville/*
#Disallow: /divers/*
#Disallow: /age/*
# indexer les fichiers mis en ligne dans vos articles et pages (images, vidéos, audio,...)
Allow: /wp-content/uploads
# On bloque les URL de ping et de trackback
Disallow: */trackback
# On bloque tous les flux RSS sauf celui principal (enlevez /* pour bloquer TOUS les flux)
Disallow: /*/feed
# On bloque toutes les URL de commentaire (flux RSS inclus)
Disallow: /*/comments
# On désindexe tous les fichiers qui n'ont pas lieu de l'être
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.cgi$
Sitemap: http://www.kidzou.fr/sitemap.xml
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /