WordPress Sitelerde robots.txt Nasıl olmalı?

WordPress siteler her zaman için basit internet siteleri oldukları düşünülür ancak işin içine giren webmasterlar WordPress tabanlı çok basit bir web sitesinin bile o kadar çok detay konuları var ki siten mi var derdin var kardeşim desek yeridir. WordPress tabanlı sitelerin en büyük sorunlarından biride Google SEO adına yapılan çalışmaların en temel işlevlerinden biri olan robots.txt dosyalarının nasıl olması gerektiği. Robots.txt dosyaları her sitenin can damarı dosyalardan biri ancak bu dosyanın neleri içermesi gerektiği konusunda herkesin kafası karışık gibi. Bizde bu yazımızda bu konu üzerine eğiliyoruz.

Robots.txt Nedir?

Öncelikle robots.txt dosyasının ne anlama geldiğini ve ne işe yaradığına bakalım. Robots.txt dosyası web siteleri üzerinde arama motoru botlarına hangi sayfaları taramaları yada taramamaları hangi sayfaları indexe eklemeleri yada eklememeleri gerektiğini anlatan bir dosyadır.

Bu dosyanın site ziyaretçileri ile hiçbir alakası yoktur. Dosyanın hedefi direk olarak arama motoru botlarıdır. Bu botlarla konuşur  ve bu sitede şu sayfaları indexleyebilirsin yada indexleyemezsin şeklinde onlara yanıtlar verir.

Robots.txt Dosyası Örnekleri

Robots.txt dosyalarının çok basit bir mantıkları vardır. “allow” ve “disallow” yani “izin ver” ve “izin verme” komutlarından ibarettir. Şimdi İnternet siteleri üzerinde bulunan yaygın robots dosyalarının anlamlarına ve yorumlanmalarına örneklerle bakalım.

Örnek 1:
User-agent: *
Allow: /

Yukarıda yer alan robots örneğinin anlamı yani arama motoru botlarına verdiği mesaj şudur. Benim sitemde bütün dosyaları tarayabilir ve arama sonuçlarında gösterebilirsin.

Örnek 2:
User-agent: *
Disallow: /

Yukarıda yer alan örnekte ise “User-agent: *” kısmı tüm arama motorlarına hitap ediyor. “Disallow: /” kısmı ise benim sitemde hiçbir sayfayı indexleme arama sonuçlarında gösterme diyor.

Örnek 3:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /private/

Burada ise sitemde disallow verdiğim 3 sayfa haricinde bütün sayfalarımı indexleyebilirsin mesajı veriliyor botlara.

Örnek 5:
User-agent: *
Allow: /dosya1/site.html
Disallow: /dosya1/

Burada da sitemde sadece site.html sayfamı indexle bunun haricinde hiçbir şeyi indexleme deniliyor.

Robots.txt Dosyası Nasıl Oluşturulur?

Bu dosyayı oluşturmak için herhangi bir eklenti yada script kullanmanıza gerek yok. Çünkü bu dosyayı manuel olarak elle oluşturmak çok kolaydır. Hemen bilgisayarınızın masaüstünden bir not defteri açın ve not defterinin adını “robots.txt” olarak değiştirin.

Bu oluşturduğunuz dosyayı istediğiniz şekilde şekillendirerek sitenizin bulunduğu dizine Cpanel yardımıyla atmanız yeterli olacaktır. Bundan sonra sitenizi taramaya gelen arama motoru botları bu dosyada bulunan komutlara göre hareket edecektir.

WordPress Tabanlı Sitelerin Robots.txt Dosyaları Nasıl Olmalı?

Şimdi geldik zurnanının zırt dediği yere. WordPress içerik yönetim sistemini kullanan web siteleri ve bloglarda robots dosyalarının tam olarak nasıl olması gerektiği ile ilgili kesin bir yargı yok. Bu konuda dünyada otoriter olan “wpbeginner” ve “yoast seo” gibi markaların bile farklı farklı görüşleri var. Ancak tüm bunlara hiç girmeden sitenizi SEO açısından uçuracak ve rakip sitelerin önüne geçirecek robots.txt konusunda altın tavsiyeleri vermeye başlayalım.

  • İlk olarak çok detaylı robots.txt dosyası komutları barındırmak arama motoru botlarını sitenizi tararken çok fazla zaman kaybetmelerine ve sitenizi tam manasıyla tarayamamalarına sebep oluyor. Bu yüzden yalnızca birkaç satır kodu olan bir robots.txt dosyasına ihtiyacımız var.

 

  • Bunun haricinde plugins gibi eklenti dosyalarını indexe kapatmak düz mantıkta akıllıca gelsede artık yeni nesil birçok temanın çok kritik ve farklı yapıda eklentileri varsayılan olarak kullanması sebebiyle sitenin indexlenmesinde garip sorunlar yaratmaktadır.

 

  • Wp-admin klasörüne izin vermeniz durumunda sitenizin hacklenmesine davetiye çıkarmış olursunuz. Bu dosya içerisinde spesifik bir url yoluna izin verilebilir ancak bu dosyanın tamamına index izni vermek intihar gibi olacaktır.

 

  • Son olarak ideal bir robots dosyasında sitenizin sitemap’ı yani site haritasının url adresi mutlaka bulunmalıdır. Çünkü site haritası arama motoru botları için çok ama çok kritiktir.

Şimdi bu tavsiyeler ışığında wordpress ideal robots dosyası nasıl olmalı bunu yazalım.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteadi.com/sitemap.xml

Şimdi WordPress için yazdığımız ideal robots dosyasını yorumlayalım. Tüm arama motoru botlarına açığız ancak tek bir şartımız var. Bizim wp-admin sayfamızı kesinlikle tarama ve indexleme. Wp-admin içerisinde yalnızca admin-ajax.php dosyasını tarayabilirsin. Bütün kurallarımız bu kadar. Çok şeffaf bir siteyiz. En alttada site haritamızın url adresi var.

Tavsiye ettiğimiz komutları kopyalayarak kendi robots.txt dosyanıza yapıştırabilirsiniz. Hepsi bu kadar.

Bir cevap yazın