WordPress için en iyi robots.txt;

Bir çoğumuz web sitelerimizde seo kurallarına dikkat etmeye çalışıyoruz. Bunun için zaman harcayıp araştırmalar yapıyoruz. Ama en itibar edilesi siteler bile bizi yazdıklarıyla şüpheye düşürüyor. Bugun wordpress için en iyi robots.txt yapımı adı altında yazılan makaleleri okuyorum.

İsim vereceğim; seohocasi gibi bu sektörün en eskilerinden olan bir firma. Altta olan robots.txt dosyasını en iyisi diyerekten paylaşıma sunmuş durumda;

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Ama altyapısı wordpress olduğu halde kendi robots.txt dosyası aşağıdaki kodlardan ibaret.

User-agent: *
Disallow: /git.php

Sitemap: http://www.****.com/sitemap.xml

Sitemap: http://www.*****.com/soru-cevap/sitemap.xml

Durum böyle olunca düşünüyor insan evladı ister istemez! Seohocası kendisi için en iyisini istemiyor mu diye…

Benim görüşüm yıllardır bu piyasının içinde olan bir insan olarak wordpress için en iyisi;

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.siteniz.com/blog/sitemap.xml

budur arkadaşlar.  Benimde kullandığım da budur.