robots.txt Nedir ve Nasıl Oluşturulur+ Nasıl Kullanılır?

[Mc Zindan Ankara Style]

robots.txt Nedir?

Eğer yeni bir site oluşturmuşsanız; arama motorlarına yardımcı olmak
için robots.txt dosyasını da oluşturmanız kesinlikle önerilir.
robots.txt dosyası sitenizin bazı bölümlerinin arama motorlarları tarafından indexlenmemesi için kullanılır.
Mesela yeni bir site oluşturdunuz. Sitenizin anasayfasını tamamladınız.
Eğer alt sayfaları oluşturmuşsanız ve içeriği sonra eklemeyi
düşünüyorsanız; arama motorlarının içerik eklenmemiş sayfaları
indexlemesi işinize yaramaz. Bu durumda henüz hazır olmayan sayfalardan
arama motoru robotlarını uzak tutabilirsiniz. Daha sonra sayfalara
içerik eklediğiniz zaman robots.txt dosyasını değiştirerek robotlara
izin verirsiniz.

robots.txt Nasıl Oluşturulur:

Genel Kullanımı:

User-agent: *
Disallow: /

User-agent:

Robot ismi burada belirtilir. * karakteri hepsi anlamına gelir. Yani bütün robotları ifade eder. Mesela User-agent: Googlebot ile sadece google botlarını ifade edebilirsiniz. Ya da User-agent: Scooter ile sadece Altavista botlarını ifade edebilirsiniz. Ama genellikle * ile tamamı ifade edilir.

Disallow:

Robotların ziyaret etmesini istemidiğiniz sayfaları burada belirtirsiniz. Mesela Disallow: / ifadesi ile sitenizdeki bütün sayfalara robotların girişini engellersiniz. Disallow: ifadesi ile de sitenizdeki bütün sayfaları robotların indexlemesini söylemiş olursunuz.
Disallow: /cgi-bin/ ifadesi ile de cgi-bin klasörünün robotlar tarafından indexlenmemesini söylemiş olursunuz.

robots.txt Kullanım Örnekleri:

User-agent: *
Disallow: /
Bütün robotların siteden uzak durmasını sağlar.

********************************************
User-agent: *
Disallow: Bütün robotların sitedeki bütün sayfaları indexlemesine izin verir.

********************************************
User-agent: *
Disallow: /cgi-bin/
Disallow: /resimler/
Disallow: /siirler/

cgi-bin, resimler, siirler klasörleri içindeki sayfaları robotlar indexleyemez. Diğer sayfaları indexleyebilir.

********************************************

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow: Google robotu siteyi indexleyemez. Diğer bütün robotlar siteyi indexleyebilir.

********************************************

Herhangi Bir Sayfanın İndexlenmesini Önlemek:

Sayfaların
meta bölümünden de sayfanın indexlenmesi önlenebilir. Bunu yapabilmek
için head tagları arasına aşağıdaki gibi kodlar eklenmelidir. <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>Bu metayı eklediğiniz sayfayı robot gördüğü zaman bu sayfayı indexlemez ve sayfadaki linkleri takip etmez.<META content=”index, follow” name=robots>
Bu meta ise bütün robotların sayfayı indexlemesini ve sayfadaki linkleri takip etmesini söyler.

Not : robots.txt dosyası ana dizinde(root) olmalıdır. Alt dizinlere yerleştirilmez.