Apa itu file robots.txt dan apa kegunaanya? File ini dipergunakan untuk menginstruksikan para robot mesin pencari untuk dapat menjelajahi/crawled dan mengindex suatu halaman di website kita. Kebanyakan website dan blog mempunyai file dan folder yang tidak relevan untuk mesin pencari (seperti gambar atau file admin) sehingga membuat sebuah file robots.txt dapat benar-benar akan membantu blog kamu berada pada ranking tertinggi di Search Engines (dari Google, Yahoo, MSN dan sebagainya).

File ini sangat mudah untuk dibuat hanya dengan notepad kita sudah dapat memuatnya lalu menguploadnya ke website/blog kamu. Perlu diingat pada saat kamu menkonfigurasi file ini pastikan kalau search engine tidak dapat menjelajahi atau merambah file – file pada blog wordpress kamu. Berikut contoh lengkap dari robots.txt untuk SEO :

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://bloganda.com/sitemap.xml

Semoga bermanfaat.