Arama motoru robotlari, bir websitesini ziyaret ettiklerinde oncelikle aradiklari dosyalar robots.txt ve sitemap.xml dosyalaridir.  Eger ziyaret edilen sitede sitemap dosyasi var ise, bu dosya robotlar tarafindan okunur ve orada bulunan siteler robotlar tarafindan takip edilirler.

Arama motorlari robotlari, web sayfasinda bulunan linkleri takip ederek indexlerle, ancak robotlarin sayfalari bulabilmesi ve indexlemesi safanin derinligine gore degisir.

Robot’un ilk ziyaret ettigi site: www.ornek.com

1. derinlik www.ornek.com/kategory

2. derinlik www.ornek.com/kategori/altkategori

3. derinlik www.ornek.com/kategori/altkategori/altkategori

Yukaridaki ornek sitenin derinlik seviyesi 3 tur. Derinlik ne kadar az olursa indexlenme ve tekrar robotlarin ziyaretleri okadar cok olur. Ama ozellikle e-ticaret sitelerinde derinligin fazla olmasi gerekmektedir. 3. derece derinlikte bulunan bir sayfayi robotlarin bulmasi ve ziyareti oldukca fazla zaman alabilir. Bu zamani kisaltmanin en kolay yolu sitemap yani site haritasi olusturmaktir.

Robotlar site haritanizi buldugu zaman, orada listelenen tum url’ler gezerler ve derinligi ne kadar olursa olsun, kisa surede indexlerler. Buda size ciddi bir zaman kazandirir. Bir diger avantaji ise, sayfanizda eger robotlari engelleyecek flash, javascript menu vs.. scriptler kullaniyorsaniz, robotlar siteleri gezemezler ve indexleyemezder bu sorunuda sitemap yaratarak ortadan kaldirabilirsiniz.

Sitemap, xml dosyasi olarak veya html safyasi olarak yapabilirsiniz. html sayfasi olarak yapmanizin yarari, ziyaretcilerinizde sitemap yani site haritasindan yararlanabilmeleri olaraktir. Benim kisisel tavsiyem hem xml olarak hemde html olarak site haritlari yaratin.

XML formatinda site haritasi yaratmak alsinda oldukca basittir. Asagida ornek sitemap gorebilirsiniz.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.ornek.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>

Yukarida tek bir url’den olusan ornek bir sitemap yani site haritasiniz. Sitemap xml dosyasinda kullanilan taglarin aciklamalarini asagidaki tabloda bulablirisiniz.

Sitemap hakkinda daha detayli bilgi edinmek icin ziyaret edebileceginiz websitesi: http://sitemaps.org

Sitemap olustururken dikkat etmeniz gereken hususlar

• Toplam URL sayiniz 50,000 gecmemesi, eger 50,000 fazla URL’iniz var ise, yeni bir sitemap yaratin ve dige URL’leri yarattiginiz yeni sitemap’e yazin.
• Tum URL’ler gecerli ve dogru olmalidir, turkce karakterler kullanmayin
• Baslik veya alt not girmeyiniz, sadece gerekli taglari kullanarak, dogru formatta sitemap yaratiniz.

Yuzlerce veya binlerce sayfasi olan siteler icin, manuel olarak sitemap olusturmak cok zaman alici bir istir bu yuzden interten uzerinden webmasterlarin yararlanabilecegi sitemap olusturma siteleri mevcuttur. Ucretli ve ucretsiz. Burada verdigim linkten sitenizin sitemap’i kolaylikla olusturabilirsiniz: http://www.xml-sitemaps.com/

Sitenize sitemap olusturduktan sonra, yapmaniz gereken olusturdugunuz sitemap’i sitenize yuklemenizdir. Ornek: www.ornek.com/sitemap.xml

Sitemap’inizi yukledikten sonra google webmaster aracini kullanarak sitemap’i google’a kayit edebilirsiniz. Konu hakkinda daha detayli bilgiyi bu adresten alabilirsiniz: http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=40318

Mustafa Hazret