Bagi yang kesulitan dengan kode-kodenya untuk membuat file robots.txt, berikut ini saya berikan contoh isi dari dile robots.txt untuk wordpress :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
Sitemap: http://gembong.web.id/sitemap.xml
Silahkan tambahi dan kurangi kodenya sesuai dengan kebutuhan Anda, selamat mencoba 
Category:
web
You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response.
0 Responses
