Dijital Pazarlama
Şimdi Okunuyor
Arama Motorlarında Sitenizin Erişilebilirliğini Yönetme
Guru
1

Siteniz arama motorları tarafından indexlenmiyorsa bir işe yaramaz. Arama sonuçlarında görünmek istiyorsanız, sitenizin arama motorları tarafından erişilebilir olduğundan emin olmanız gerekir. Bununla beraber, alakasız sayfaları (örneğin sitenizin footer bölümünde bulunan hukuki metinler)  veya özel dokümanları arama motorlarından gizlemek isteyebilirsiniz. Bu makalede, robots.txt dosyası ve Robots Meta Etiketlerini kullanarak Arama Motorlarında Sitenizin Erişilebilirliğini Yönetme konusunu ele alıyor olacağız.

Robots Dosyaları ve Etiketleri Ne İşe Yarar?

Robots dosyaları oluşturma ve kullanma konusuna derinlemesine girmeden önce bunların ne işe yaradıklarını öğrenmekte fayda var. İşte birkaç seneryo:

  • Kopya içeriğin indexlenmesini engelleme
  • Yapım aşmasında olup yayına hazır olmayan sayfaları motorlardan gizleme
  • Gizli sayfaların veya dosyaların erişimini kısıtlama

Kopya içerikler SEO performansınızı olumsuz etkiler çünkü arama motorları hangi içeriğin arama sorgusu ile daha yakın ilişkisi olduğuna karar vermekte zorlanır. Bu problem kopya ya da tekrar eden sayfalarını arama motorlarında bloke ederek çözülebilir. Bunu da robots.txt dosyası ve Robots Meta Etiketlerini kullanarak yapıyoruz.

Tekrar eden içeriği yönetmenin başka bir yolu daha var (Canonical). Ancak bunun üzerinde daha sonra duracağız.

Yeni ve tamamlanmamış bir sayfalarınız varsa bunların motorlar tarafından indexlenmesini engellemek en mantıklısı. Piyasaya sürülmek üzere olan ürünler için hazırlamakta olduğunuz sayfalar buna örnek gösterilebilir.

Bazı web sitelerinin ise 3.kişiler tarafından görülmemesi istenen sayfaları bulunabilir. Yine bu türden içerikleri arama motorlarından gizlemek gerekir. (en bariz örneği sitelerin yönetim paneli erişim arayüzleri)

Facebook’un robots.txt dosyası ile arama motorlarından ne kadar çok şey gizlediğini biliyor musunuz? Göz atabilirsiniz: https://www.facebook.com/robots.txt

Sayfalarımızın erişilebilirliğini neden yönetmemiz gerektiğini anladığımıza göre artık bunu nasıl yapacağımız konusuna geçebiliriz.

Robots.txt Dosyası Niçin Var?

Örümcekler çok çalışkandır. Onlara aksini söylemediğiniz sürece her şeyi tarayarak indexlemek isterler. Bir tarayıcı web sitenize uğradığında gözleri ilk olarak robots.txt dosyasını arar. Çünkü bu dosyada hangi sayfaların dizine ekleneceği ve hangi sayfaların yok sayılacağı gibi talimatlar bulunur. Robots.txt dosyasını düzenleyerek, web sitenizin bazı bölümlerine örümceklerin ulaşmasını engelleyebilirsiniz.

robots.txt dosyası sitenizin üst dizininde yer almalıdır. Ayrıca dosya ismi büyük / küçük harfe duyarlıdır. Örnek kullanım: dijitalmedyauzmanligi.com/robots.txt şeklinde olmalıdır.

Sitenize robots.txt dosyası ekledikten sonra bunu birden fazla kez kontrol etmenizi öneririm. Yanlış bir satır eklemek, önemli sayfalarınızın hatta sitenizin tamamının arama motorlarının erişimine kapatılmasına neden olabilir.

Robots.txt Dosyası Oluşturma

Robot.txt içinde birkaç kayıt içeren basit bir metin belgesidir. Her kayıt, user agent ve disallow olmak üzere iki ögeden oluşur.

User agent ögesi, hangi örümceklerin disallow komutunu kullanması gerektiğini söyler. Disallow ise tarayıcılara web sitesinin hangi bölümünün indexlenmeyeceğini bildirir.

Örnek bir kayıt şu şekilde görünecektir.

1

2

User-agent: *

Disallow:

Tüm örümcekleri seçmek için * işaretini kullanırız. Yukarıdaki kayıt web sitenizin tamamını arama motorlarına açacaktır çünkü disallow komutu için herhangi bir hedef belirtilmemiş.

Bununla birlikte disallow komut alanına bir / işareti ekleyerek sitenizi arama motorlarından tamamen gizlemek isteyebilirsiniz.

1

2

User-agent: *

Disallow: /

Yanlış bir işaret yüzünden bazı sitelerin arama motorlarından tamamen gizlendiğine tanık olabilirsiniz.

robots.txt hatası web sitenizin arama motorları tarafından bulunmasına engel olabilir.

Bir diğer kullanım şekli olarak, seçtiğiniz örümceklerin sitenizi indexlemesine engel olmak isteyebilirsiniz.

1

2

User-agent: Googlebot

Disallow: /private-directory/

Yukarıdaki kayıt ile sitenizdeki /private-directory/ uzantısını Google arama motorundan gizleyebilirsiniz. Böylece Google üzerinden arama yapan kullanıcılar, arama sonuçlarında ilgili sayfayı görmeyeceklerdir.

Örümceklerin tam listesine göz atmak isterseniz web robots database sayfasını ziyaret edebilirsiniz.

Her bir user agent için bir disallow komutu eklemek hayli yorucu bir iş olacaktır. Neyse ki bir kayıt için birden fazla disallow komutu ekleyebiliriz.

1

2

3

4

User-agent: Bingbot

Disallow: /sample-directory/

Disallow: /an-uninteresting-page.html

Disallow: /pictures/logo.jpg

Yukarıdaki komutlar ile Bing arama motorundan söz konusu 3 tane uzantıyı gizlemiş oluyoruz.

Özel Komutlar

Şu ana kadar düzenli komutları inceledik. Bununla beraber robots.txt dosyanızda bazı özel komutlar oluşturabilirsiniz.

Örneğin pek çok insan CMS olarak wordpress kullanır. Ziyaretçiler site içi arama özelliğini kullanarak, belirli bir konu ya da Url ile ilgili arama sonuçlarına ulaşabilir. Örneğin dijital medya uzmanlığı web sitesinde arama butonunu kullanarak ‘’seo’’ sözcüğünü aratınca http://dijitalmedyauzmanligi.com/?s=SEO link yapısı karşımıza çıkar.

Eğer site içi arama sonuçlarının arama motorlarında indexlenmesini istemiyorsanız aşağıdaki komutu kullanabilirsiniz.

1

2

User-agent: *

Disallow: /?s=

Yine çeşitli dosya formatlarını arama sonuçlarından gizlemek isterseniz aşağıdaki komutu ekleyebilirsiniz. Bu örnekte tüm .png uzantılı resimler arama sonuçlarından gizlenmiştir.

1

2

User-agent: *

Disallow: /*.png$

Komutun sonuna $ işaretini eklemeyi unutmayın, çünkü bu işaret arama motorlarına URL dizininin sona erdiğini söyler. 🙂

Robots.txt Dosyasını Test Etme

Robots.txt dosyasında herhangi bir yanlış yapıp yapmadığınızı görmek için onu test etmeniz akıllıca olur. Bunun için Google Search Console kullanabilirsiniz. Health (mülk sağlığı) başlığı altında blocked urls (erişime engellenmiş URL) sayfasında detaylara ulaşabilirsiniz. Ayrıca, robots.txt dosyasında yaptığınız bir değişikliği yüklemeden önce burada test edebilirsiniz.

Robots Meta Etiketleri

Robots Meta Etiketleri örümceklerin tek bir sayfaya erişimini yönetmek için kullanılır. Belirtilen sayfanın motorlar tarafından indexlenmesi, arşivlenmesi ve takip edilmesi ile ilgili işlemler bu etiketler yoluyla da yapılabilir.

Robots Meta Etiketlerin örnek bir kullanımı aşağıdaki gibidir:

1

2

3

4

5

<head>

 

<meta name=”robots” content=”noindex” />

 

</head>

Bu meta etiketi, bulunduğu sayfanın arama motorları tarafından indexlenesini engeller. Noindex dışında kullanabileceğiniz birkaç yararlı özellik daha var:

  • index: bu sayfa indexlenebilir, aram sonuçlarında görünür.
  • noindex: bu sayfa indexlenmez, arama sonuçlarında görünmez.
  • follow: sayfadaki linkler takip edilebilir.
  • nofollow: sayfadaki linkler takip edilemez.
  • archive: sayfada cash (önbellek) alınmasına izin vardır.
  • noarchive: sayfada cash (önbellek) alınmasına izin yoktur.

Bir Robots Meta Etiketi içinde birden fazla özellik de kullanılabilir.

1

2

3

4

5

<head>

 

<meta name=”robots” content=”noindex, nofollow” />

 

</head>

Yukarıdaki meta etiketi, bulunduğu sayfanın arama motorları tarafından indexlenmesini ve linklerinin takip edilmesini engeller.

Eğer birbiriyle çelişen etiketleri kullanacak olursanız, Google en sınırlayıcı olanını baz alacaktır. Yani bir sayfada hem index hem de noindex etiketini kullandığınızda, sayfa Google tarafından indexlenmez.

Robots.txt Dosyası mı? Robots Meta Etiketleri mi?

Yazının bu bölümüne kadar geldiyseniz, Arama Motorlarında Sitenizin Erişilebilirliğini Yönetme hakkında kullanabileceğiniz 2 yöntemin Robots.txt dosyası ve Robots Meta Etiketleri olduğunu biliyorsunuz.

Robots.txt dosyaları tüm bir dizini ya da bir dosya formatını engellemek için mükemmel bir yöntemdir. Neticede bir satırlık kod ile büyük bir işi gerçekleştirebiliyoruz. Ancak tek bir sayfayı arama motorlarından gizlemek için en iyi yöntem Robots Meta Etiketlerini kullanmak olacaktır.

Arama Motorları İçin Kullanıcı Deneyimi Her Şeyin Önünde

Bazı durumlarda robots.txt dosyaları ile arama motorlarına kapatılan sayfaların hala arama sonuçlarında görüldüğüne şahit oluruz. Eğer söz konusu sayfa, çok sayıda backlink tarafından arama sorgusunun karşılığı olarak belirtilmişse; Google bunun sonuçlarda gösterilmesi gerektiği kanaatine ulaşır. Sonuç olarak Google, kullanıcı deneyimine teknikten daha fazla önem veriyor diyebiliriz.

Eğer sayfanın indexlenmesini kesinlikle istemiyorsanız, Robots Meta Etiketi noindex komutunu kullanmalısınız. Bu size karmaşık geliyor olabilir ancak sorularınızın yanıtını Matt Cuts tarafından yayınlanan bu videoda bulabilirsiniz.

Sonuç:

  • Robots.txt dosyası ve robots meta etiketleri ile sitenizin arama motorlarındaki erişilebilirliğini yönetebilirsiniz.
  • Sitenizdeki önemli sayfaların yanlışlıkla arama sonuçlarına kapatılmasını istemiyorsanız, Robots.txt dosyasını ve robots meta etiketlerini tekrar kontrol etmeyi unutmayın.

Kartal Koray Yonca

- Set-Soft Bilişim Teknolojileri'nde Pazarlama ve Kurumsal İletişim Yönetmeni
- WebteBEN Dijital Ajans'ta Proje yöneticisi ve İçerik Editörü
- Two-Shield Dijital Ajans'ta İçerik Editörü
- icerikbulutu.com Yazarı
- dijitalmedyauzmanligi.com Editörü
Sizce Makale Nasıl?
Harika
0%
Güzel
100%
Fena Değil
0%
Olmamış
0%
Rezalet
0%
Yazar Hakkında
Kartal Koray Yonca
- Set-Soft Bilişim Teknolojileri'nde Pazarlama ve Kurumsal İletişim Yönetmeni - WebteBEN Dijital Ajans'ta Proje yöneticisi ve İçerik Editörü - Two-Shield Dijital Ajans'ta İçerik Editörü - icerikbulutu.com Yazarı - dijitalmedyauzmanligi.com Editörü
1Yorumlar

Bir Cevap Yazın