İndeksleme, dijital pazarlamacılar tarafından yürütülen SEO çalışmalarının bir parçası değil, arama motorları tarafından gerçekleştirilen teknik bir işlevdir.
SEO’ ya uygun olarak optimize edilmiş olmasına rağmen, Google’ın dizinine eklenmemiş bir içerik, online dünyada görünmez ve ulaşılması zor bir haldedir. Web içeriğinin hızlı bir şekilde indekslenmemesi, sıcak ve sıkı rekabet koşullarının geçerli olduğu dijital dünyada, zaman, para, insan kaynağı ve itibar kaybına neden olacaktır.
Bu yazımda, web içeriklerini hayalet olmaktan kurtarıp, çevrim içi dünyada görünür ve ulaşılabilir hale getirecek olan indeksleme hataları, bu hataların nasıl giderileceği ve hızlı indeks alma yöntemlerinin neler olduğu üzerinde duracağım.
Faydalı olması ümidi ile, bu önemli konuya başlayalım.
İndeksleme (Indexing) Nedir?
İndeksleme, Google’ın tarayıcı botları tarafından keşif ve analiz edilmiş bir içeriğin, dizin (index) adı verilen veri tabanında depolanması işlemidir. Veri tabanında, sayfaya ait URL, anahtar kelimeler, sayfanın güncelliği ve kullanıcı davranışlarına ait bilgiler de yer alır.
Bilindiği üzere, Google’ın çalışma mantığı, üç temel işlev üzerine kuruludur.
Tarama (Crawling)
İndeksleme (Indexing)
Sıralama (Ranking)
Yukarıdaki işlevlerin ne anlama geldiğini, çok satanlar listesinde yer alan bir kitap örneği üzerinden açıklamaya çalışalım.
- Tarama işlevi, kitabın yayınlanmak üzere kabul edilmesidir.
- İndeksleme işlevi, kitabın okuyucu ile buluşmak üzere raflarda yer edinmesidir.
- Sıralama işlevi ise, kitabınızın çok satanlar listesine girmesidir.
Dijital pazarlama bağlamında düşündüğümüzde, bugün artık hepimiz web içeriklerinin best seller olmalarının yolunun SEO’ dan geçtiğini biliyoruz.
Peki,
Google’ın web içeriğini daha hızlı indekslemesinin yolu nereden geçiyor?
Soruyu biraz değiştirerek de sorabiliriz.
Google’ın web içeriğinizi hızlı bir şekilde indekslemesi için neler yapabilirsiniz?
Ya da başka bir soru sorabiliriz.
Web sitenizin Google tarafından indekslendiğinden nasıl emin olabilirsiniz?
İndekslemenin neden önemli olduğundan başlayarak, soruların cevaplarını bulmaya çalışalım.
İndeksleme Neden Önemlidir?
Çünkü, indekslenmemiş bir içerik,
- Google dizininde yer almaz.
- SERP’ de listelenmez.
- Organik trafik yaratmaz.
Google, sorgulamalarda kullanılan anahtar kelimeler ile eşleşen en alakalı içerikleri, veri tabanından bulup, kullandığı algoritmalara uygun olarak SERP’ de listelemektedir. Bir diğer ifade ile, SERP’ de, sadece Google’ın veri tabanına eklenmiş içerikleri listelenmektedir.
“Tarayıcı botlar tarafından keşfedilmiş her içerik indekslenir mi ?” şeklindeki bir soru gelebilir akla. Sorunun cevabı “Bazen hayır ” olacaktır. Nedeni ise, web içeriği taranmış, ancak dizine eklenmeye değer görülmemiş olabilir. Ya da teknik bir sorun nedeni ile indeksleme gerçekleşmemiş olabilir.
Nedeni her ne olursa olsun, Google’ın hızlı bir indeksleme yapabilmesi için, aşağıdaki başlıklarda değineceğimiz kontrol ve yöntemlerin uygulanması, istenmeyen yol kazalarının önüne geçecektir.
Web İçeriğinin İndekslenip İndekslenmediği Nasıl Kontrol Edilir?
- Google arama çubuğunu kullanarak kontrol etme
Arama çubuğuna, site:siteadı.com girildiğinde, Google indekslenmiş tüm sayfalarınızı listelenecektir. Listede yer verilmeyen web sayfaları indekslenmemiş demektir.
- Google Search Console kullanarak kontrol etme
Web içeriğinin dizine eklenip eklenmediği ile ilgili daha kapsamlı bilgiye, Google Search Console hesabı üzerinden ulaşılabilir. Tıklama sırası: Google Search Console -> Dizin oluşturma -> Sayfa Sayısı, şeklinde olacaktır.
Dizine eklenmedi / Dizine eklendi sekmeleri altında google’a ekli ve eklenmemiş olan sayfalarınızı inceleyebilirsiniz.
Web içeriğinde yer alan spesifik sayfaların dizine eklenip eklenmediği ile ilgili bilgi almak için, URL Denetleme alanına, kontrol edilecek sayfaya ait URL girilir. Yeşil renkli tik işareti ile birlikte, “URL Google’da mevcut” ifadesi, sorgulanan sayfanın indekslendiğine , “URL Google’da yok” ise, dizine eklenmediğine işaret eder.
Kullanıcılarına ücretsiz olarak hesap oluşturma imkanı tanıyan Google Search Console, web sitesi sahibi herkes tarafından kullanılması gereken en etkili indeks kontrol etme araçlardan biridir.
Manuel Olarak Nasıl İndeks Alınır?
Google Search Console bu amaçla da kullanılabilecek en iyi araçlardan biridir.
URL Denetleme alanına, dizine alınmasını istediğiniz sayfaya ait URL’yi girin ve Google’ın girdiğiniz URL’yi kontrol etmesini bekleyin. Söz konusu URL henüz dizinde değilse, “Dizine eklenmesini iste” butonuna basarak, Google’a, web sitesinize yeni bir içerik eklediğinizi ve bunu kontrol etmesini istediğinizi söyleyebilirsiniz.
Burada vurgulanması gereken önemli bir nokta, Dizine eklenmesini iste, seçeneğinin, yeni web içerikleri için faydalı olacağıdır. Önceden oluşturulmuş ancak indeksleme sorunu yaşanan içerikler için, ilerleyen bölümlerinde değineceğim yöntemlerin uygulanması faydalı olacaktır.
İndeksleme Hızını Olumsuz Etkileyen Faktörler Nelerdir?
“Tarayıcı botların ağına takılan bir içerik, her durumda dizine de eklenecektir” diyerek bir kenara çekilmek, istenmeyen yol kazalarına neden olabileceği gibi, indeksleme hızı ve süresini de uzatacaktır.
Google’ın indeksleme hızı üzerinde olumsuz etki oluşturabilecek belli başlı faktörleri aşağıdaki şekilde sıralayabiliriz.
- Web sitesi sayfa sayısının yetersiz oluşu
- Site hızının düşük olması ve sık yaşanan kesintiler
- İçerik uzunluğunun Google’ın beklentisini karşılamaması ve sayfa başlığını destelemeyen içerikler
- Çok uzun URL’ler
- Olumsuz ya da yetersiz kullanıcı deneyimi
- Sosyal medyada görünür olmama
- İç ve dış linklerin eksikliği
- Alan adı sorunları
- Kalitesiz, özgün olmayan ya da kopya İçerikler
Dilerseniz şimdi, indeksleme hatalarının neler olduğu ve bu hataları gidermek için neler yapılabileceğimiz üzerinde duralım.
Google İndeksleme Hataları Nelerdir?
Bir sorunun bilinmesi, onu çözebilmenin ilk şartıdır. Bu nedenle, aşağıda açıklayacağım en yaygın indeksleme hatalarını ve ne anlama geldiğini bilmek, web içeriklerinin daha hızlı indeks almalarına katkı sağlayacaktır.
- Tarandı – Şu anda dizine eklenmiş değil (Crawled) hatası ve çözümü
Web içeriğinin Googlebotlar tarafından tarandığını, ancak henüz dizine eklenmediğini ifade eden bir hatadır. Bu hatanın alınma nedeni, içerik ile ilgili bir sorun olmasıdır.
Google’ın indeksleme ve sıralamada en çok dikkate aldığı faktörlerin başında, özgün ve kaliteli içerikler gelmektedir. Bu anlamda görülen eksiklik ya da yetersizlikler nedeni ile, web içeriği dizine eklenmeyebilir. Hatanın çözülmesi için, içeriğin özgün ve kaliteli olması gerekir.
- Keşfedildi – Şu anda dizine eklenmiş değil (Discovered) hatası ve çözümü
Genellikle tarama bütçesi kaynaklı bir sorun olduğuna işaret eden bir hatadır. Tarama için sırada bekleyen çok fazla URL olması durumunda, söz konusu web sitesinin içeriğinin taranmasına henüz sıra gelmemiş olabilir. Çözüm olarak, organik trafik hacmi yaratmayacak, önemsiz ya da yetersiz içeriklerin taranmaması için robots.txt etiketleri kullanılabilir. Bir diğer yöntem de, noindex etiketi kullanarak, Google’a , bu içeriğimi indekse dahil etme mesajı vermektir.
Keşfedildi hatasının alındığı bir diğer durum da, Google’ın web içeriğinin kalitesini indeksleme için yeterli bulmaması ve bu nedenle öncelik vermemesi olabilir. Bu durumda başvurulacak çözüm yöntemi ise, içeriğin hedef kitle odaklı ve rekabetçi bir şekilde yeniden optimize edilmesi olacaktır.
- Kopya ya da tekrarlanan içerik (Duplicate content) hatası ve çözümü
Bu hatanın en önemli nedenleri arasında, farklı sayfalar için standart etiketlerin kullanılması, web sitesi sayfalarında farklı dil seçeneklerinin olması, içeriğinin kopya olmamakla beraber, Google tarafından kopya olarak algılanması olabilir. Hatanın giderilmesi için, rel colonical ya da 301 yönlendirmesi kullanılabilir. İçeriklerin gözden geçirilerek özgünleştirilmesi de, başvurulabilecek bir diğer çözüm yöntemidir.
- Bulunamadı (404) hatası ve çözümü
Bulunamadı 404, sayfanın bulunamadığına işaret eden, var olmayan, silinmiş ya da çok zayıf bir içerikler ile ilgili alınan bir indeksleme hatasıdır. Genel 404 hatalarından farkı, kullanıcıya sayfa bulunamadı uyarısı ile birlikte, 200(success/başarılı) durum kodunu da üretmesidir.
Bulunamadı 404 hatasının çözümü için,
- İlgili sayfa site haritanızda ancak farklı bir URL’de yer alıyorsa 301 yönlendirmesini kullanabilirsiniz.
- İlgi sayfa mevcut ancak tarama ya da indeksleme ile ilgili bir sorun oluştuysa, sorunun tespiti için URL Denetleme aracını kullanabilirsiniz.
- Sayfa tamamen silinmiş ve site haritasında yer almıyorsa, 404 sayfa bulunamadı yönlendirmesini kullanabilirsiniz.
İndeksleme ile ilgili hataların ne olduğunu ve nasıl çözüleceğini de açıkladıktan sonra, artık hızlı indeks alma yöntemlerine geçebiliriz.
Hızlı İndeks Alma Yöntemleri Nelerdir?
Robots.txt Dosyalarınızı Optimize Edin
Robots.txt dosyaları, arama motorlarına, web sitenizde hangi URL’lere erişebileceği, hangilerine erişemeyeceği, ne şekilde tarayacağı ile ilgili izin ya da yasaklama getirdiğiniz dosyalardır. Bir diğer ifade ile, içeriğinizi arama motorlarının taramalarına açıp kapatabileceğiniz araç, robots.txt dosyalardır.
Robots.txt dosyaları, dizine eklenmesini istemediğiniz, içerik değeri düşük ve size organik trafik getirmeyecek türdeki sayfalarınızı bloke ederek, web sitenizi gereksiz ve aşırı doz taramalara karşı koruma amaçlı kullanılmaktadır. Bu nedenle, tarayıcıların organik trafik hacminizi artıracak sayfalara öncelik vermesi, önemsiz sayfalarınızı ise taramaması amacıyla, robots.txt dosyalarını optimize ederek kullanabilirsiniz.
Noindex ve X-Robots Etiketlerini Kaldırın
Noindex etiketleri, arama motorlarına “İçeriğimi indeksleme” mesajını ilettiğiniz etiketlerdir. Google, Bing ya da Yahoo, sizin izniniz olmadan herhangi bir web içeriğinizi dizinlerine ekleyemez. Dizine eklenmesini istediğiniz bir sayfada noindex etiketi varsa, bu etiketi kaldırmanız, içeriğinizin daha hızlı bir sürede indekslenmesini sağlayacaktır.
Web içeriğinizin dizine eklenmesini engelleyecek bir diğer etiket, web sayfalarınızın HTML başlıklarında yer alan X-robots etiketleridir. Google Search Console kullanarak, ilgili sayfa için indekslemeye izin verilip verilmediğini araştırabilirsiniz. Araştırma sonucı noindex olarak çıkarsa, bu etiketleri kaldırmanız gerekecektir.
Yinelenen İçeriklerden Kurtulmak İçin Kanonik (Canonical) Etiketleri Kullanın
Yinelenen (duplicate) içerik problemini engellemek için kullanılan kanonik (rel canonical) etiketler, kurallı etiketler olarak da anılmaktadır. Arama motorlarına, indekslenmesi istenen bir sayfanın, yinelenen bir içerik olmadığını, farklı bir sayfanın ana kopyası olduğunu söylemek için kullanılırlar.
Bir web sitesi, benzer sayfalarından hangisine organik trafiğin yönlendirilmesini istiyorsa, o sayfa için kanonik etiket kullanmalıdır. Bu sayede, web sayfası tarayıcı botlar tarafından yinelenen bir sayfa olarak algılanmayacak ve organik trafik, standart etiketi olan sayfaya yönlendirilecektir.
Google’ın URL Denetleme Aracını (URL Inspection Tool) kullanarak, hangi sayfaların kanonik etikete sahip olduğu kontrol edebilirsiniz.
Site Haritası Kullanın
Hızlı indeks almak için gerekli olan en önemli şeylerden biri de, site haritalarıdır.
Site haritaları, web sitesinde yer alan farklı sayfalara ait URL’lerin yer aldığı XML dosyalarıdır. Arama motorlarının tarayıcı botları, sitenin büyüklüğü, hangi sayfaların önemli olduğu, yeni içeriklerin nerede olduğu ile ilgili bilgilere, site haritasını kontrol ederek ulaşır. Bu nedenle, içeriğin daha sık ve hızlı bir sürede taranması ve indekslenmesi açısından, site haritaları bir web sitesinin olmazsa olmazıdır.
Google, sitenizi ne sıklıkta taraması gerektiğine, site haritanıza bakarak karar verir. Özellikle sık sık blog yazıları, haber, makale yayınlayan, yeni ürünler ekleyen bir web sitesi iseniz, arama motorlarına “içeriğimde güncelleme yaptım gel ve kontrol et” demenizin yolu, site haritanızdan geçmektedir.
Sisteminiz otomatik site haritanızı oluşturmuyor ise Screaming Frog veya XML Sitemaps Generator gibi araçları kullanarakta oluşturabilirsiniz.
Sayfanızın Yeterli İç Link Barındırıp Barındırmadığını Kontrol Edin
Google’ın tarayıcı botları olan örümcekler (spiders), sayfaları birbirine bağlayan HTML linklerini takip ederek tarama işlevini gerçekleştirmektedir. Yeterince dahili bağlantı verilmiş olan içerilerin, internet ağına daha kolay ve hızlı dahil edilmesinin en önemli nedeni de, yeterli iç bağlantı barındırmalarıdır.
Terminolojide yetim (orphan) olarak ifade edilen ve iç link barındırmayan ya da çok az barındıran içeriklerin, dizine eklenmesi oldukça zayıf bir ihtimaldir. Bu nedenle, web sitesi mimarisi üzerine doğru konuşlandırılmış site haritaları, iç bağlantı açısından zayıf olan içeriklerin kolayca tespit edilmesi açısından önemli bir işleve sahiptir.
İçeriğinize Kaliteli Dış Bağlantılar (Backlink) Ekleyin
Dış bağlantılar, Google için kalite ve güvenilirlik göstergeleridir.
Hiç bir dış bağlantı almamış içeriğin dizine eklenmeyeceğini söylemek doğru olmamakla birlikte, backlink alarak referans gösterilmiş içeriklerin daha hızlı indeksleneceği de bir Google gerçeğidir. Zira, alanında otorite haline gelmiş sitelerden alınacak dış linkler, sayfanıza olan güveni artıracaktır.
En etkili baklink alma yöntemlerini aşağıda kısaca listelemeye çalıştım.
- Farklı web siteleri ya da bloggerlardan tanıtım yazıları istemek
- Online forumlarda yer almak
- Ünlü blog yazarlarının makalelerine yorum yapmak
- Sosyal medyada aktif olmak
- Gökdelen (skycrapper) içerikler üretmek
Düşük Kaliteli İçerikleri Kaldırıp, Özgün Ve Kaliteli İçerikleri Ön Plana Çıkarın
Kaliteli ve özgün içerikler, hem indeksleme hem de sıralama açısından, Google’ın bir web içeriğinde aradığı en önemli özelliklerdir.
Web sitenizde, kullanıcılar için fayda ve değer sağlamayacak türde içerikler varsa kullanıcının arama niyetine yanıt veren özgün, zengin ve kaliteli hale getirerek organik trafik hacminizi artıracak önemli sayfalarınızı öne çıkaracaktır. Buna olanağınız yok ise bu içerikleri kaldırmanız google’ın sizin için ayırdığı tarama bütçesini optimize etmenize ve daha hızlı indeks almanıza katkı sağlayacaktır.
Sonuç
Bir web içeriğinin hızlı bir şekilde indekslenmemesinin iki temel nedeni olabilir.
- Teknik sebepler (indeksleme hataları)
- Web sayfasının Google tarafından kalitesiz, değersiz ya da zayıf bulunması.
Hangi nedenle olursa olsun, dizinine eklenmeme ya da geç eklenme, kullanıcıların içeriğinize ulaşamaması anlamına gelecektir.
Çözüm olarak, Google Search Console gibi gelişmiş araçları kullanarak, web sitenizin indekslenme durumunu net bir şekilde görebilirsiniz. Ayrıca, bu yazımda açıklamaya çalıştığım yöntemleri de kullanarak, indekslenme hızınızı artırabilirsiniz.
Unutulmaması gereken önemli bir nokta ise indeksleme ile sıralama aynı şey değildir. İndeksleme, içeriğinizin Google tarafından ne kadar değerli bulunduğu ve ne kadar kolay erişilebilir olduğu ile alakalıyken, yüksek sıralama ve organik trafik hacminin artırılması SEO’nun işidir.
