İçeriğe geçin

Tarama

Tarama, bir botun örneğin arama motorunda işlenmesi için web sayfalarını ve kaynakları otomatik almasıdır.

Diğer adlarıCrawling
Arama ve bulunabilirlik

Bot bir adresten içerik ister

Taramada otomatik program bilinen veya yeni keşfedilen URL’leri ziyaret edip içeriklerini alır. Arama motorları sayfaları incelemek için bu tarayıcıları kullanır. Kurgusal örnekte bot iç bağlantı üzerinden rehberi bulur, ardından almaya çalışır.

Keşif ile başarılı istek ayrı adımlardır. Sunucu hataları, erişim kısıtlamaları veya tarama kuralları isteği etkileyebilir; gereken kaynaklar sayfanın oluşturulması için de önemli olabilir. Günlükte görünen bot ziyareti tam anlaşılmayı, dizine eklenmeyi veya iyi sıralamayı kanıtlamaz. Bu nedenle yalnız ziyaret saymak yerine hangi adrese, hangi yanıtla ve hangi erişilebilir içerikle ulaşıldığını denetleyin.

Kaynaklar