Robots.txt Dosyasını Etkili Kullanın

Sitenizde bulunan içeriğin arama motorları tarafından erişim iznini robots.text dosyasını kullanarak ayarlayabilirsiniz. Buna karar vermeden önce hangi içeriğin taranmasına veya taranmamasına iyice karar verilmelidir.

Dosyaya ulaşmak için; http://idriskizilboga.blogspot.com/robots.txt örneğine bakabilirsiniz.

Buradan site tarafından izin durumlarını görebilirsiniz.