Arayınca
tarama robotu
Web’i keşfeder.
Kaynağa saygı duyar.
Herkese açık sayfalardan bağımsız arama indeksimizi oluşturuyoruz. Sitenize nasıl geldiğimizi ve erişim kurallarını nasıl yöneteceğinizi burada bulabilirsiniz.
Bağlantılar ve site haritaları
robots.txt, erişim ve noindex
Uygun içerik ve güncellemeler
Sitenize geldiğimizde
kendimizi tanıtırız.
Robot adı ve HTTP kimliği bu kurulumun güncel yapılandırmasından gelir.
ArayincaBotArayincaBot/0.2 (+https://arayinca.com/bot)User-Agent tek başına kimlik doğrulaması değildir; taklit edilebilir. Çıkış adresleri için doğrulama bölümünü inceleyin.
Sitenizin kuralları,
sizin kontrolünüzde.
robots.txt her origin için kontrol edilir. Geçici erişim hatalarında tarama ertelenir.
User-agent: ArayincaBot
Disallow: /ozel/
# Tamamen engellemek için Disallow: / kullanın.User-agent: ArayincaBot
Disallow: /Bir sayfayı indeksten çıkarmak
Erişilebilir sayfaya <meta name="robots" content="noindex"> veya X-Robots-Tag: noindex ekleyin. Kaldırma yeniden taramada uygulanır. robots engeli, yeni noindex yönergesini okumamızı engelleyebilir.
Yeniden gelir.
Değişiklikleri izler.
ETag, Last-Modified ve içerik özetleriyle güncellemeler kontrol edilir. Yeniden ziyaret hedefi 1 saat–14 gün arasında uyarlanır; bütçe ve erişim hataları bu süreyi uzatabilir.
- Hostname başına alt bekleme
- 2 saniye
- Günlük toplam ağ sınırı
- 1.000.000 deneme
Retry-After ve robots kuralları ayrıca uygulanır. robots, sitemap ve site simgesi istekleri de günlük sınıra dahildir.
Kimliğimize
daha yakından bakın.
İşletmeci tarafından yapılandırılan çıkış adresleri:
153.56.252.117
Bu liste sunucu işletmecisinin beyanıdır. DNS ile doğrulanmış robot kimliği hizmetimiz henüz yoktur.
Kaynakla bağımız
açık olsun.
Tarama ve kaldırma talepleri
Bu kurulumda henüz herkese açık bir robot iletişim adresi yapılandırılmadı.
Alan doğrulaması genel tarama için zorunlu değildir. Site sahipleri, doğrulama sonrasında kendi alanlarının raporlarını görebilir ve sitemap gönderebilir.
Sonuçlardaki site simgeleri
Aynı origin’deki HTML icon, apple-touch-icon ve /favicon.ico incelenir. Uygun raster simgeler boyut sınırıyla alınır, PNG’ye çevrilir ve kendi sunucumuzdan gösterilir. SVG ve başka origin’deki simgeler bu sürümde kullanılmaz.
Kontrol aralığı yaklaşık yedi gündür; simgeler günlük ağ bütçesinin en fazla %10’unu kullanır.
Görünürlüğünüzü anlayın.
Alanınızı doğrulayın; indeks durumunu ve arama raporlarını inceleyin.