it-swarm-tr.com

Herhangi bir özel davranış belirlemek istemiyorsam, bir robots.txt dosyasına sahip olmak istemiyorsam sorun değil mi?

Herhangi bir özel davranış belirlemek istemiyorsam, bir robots.txt dosyasına sahip olmak istemiyorsam sorun değil mi?

Yoksa birinin eksikliği zararlı olabilir mi?

29
Dan Dumitru

Bir robots.txt dosyasının olmayışı zararlı olmayacaktır. robotstxt.org web sitesi 'den:

Tüm robotların tam erişimine izin vermek için

Kullanıcı ajanı: *
[. .____] izin verme:

(veya sadece boş bir "/robots.txt" dosyası oluşturun ya da hiç kullanmayın)

Ancak, robots.txt dosyanızda herhangi bir şey belirtmemiş olsanız bile, bu iyi bir yöntemdir arama motorlarını XML Site Haritanızın bulunduğu yer hakkında bilgilendirmek . Bunu, robots.txt dosyanızın en üstüne bir satır benzeyen bir çizgi ekleyerek yapabilirsiniz:

Site Haritası: http://www.example.com/sitemap-Host1.xml

Ayrıca, sahip olmamanızın web kayıtlarınızda çok sayıda 404 giriş oluşturacağının farkında olmalısınız.

30
JasonBirch

Eğer "robots.txt" kodunuz yoksa, hata günlüğünüz dosyada çok fazla 404s alacaktır, bu da bir faviconunuz olmasa da bir tür sıkıntı olabilir.

21
delete

Bence sahip 'in iyi olacağını, aksi halde webin büyük alanlarının web örümcekleri tarafından endekslenemeyeceğini düşünüyorum.

Hayır robots.txt, "herkesin indekslemesine izin ver" _ ile aynı değildir [robots.txt neredeyse tanımı gereğidir.

6
Jeff Atwood

Bir robots.txt dosyasının olmayışı, ne yapıp yapamayacağına karar vermek için tarayıcıya bırakır. Herhangi bir belirsizlikten kaçınmak sadece birkaç saniye sürdüğü için, neden tüm ajanların her şeye erişmesine izin veren bir kişi olmasın?

2
Tim Post

Eh, robots.txtsitemap adresinizi içerdiğinden, birine sahip olmamanın zararlı olması muhtemel.

0
Thomas Bonini

İçeriğinize bağlı olarak, sitenizdeki her sayfanın arama motorları tarafından endekslenmesini istemediğiniz sürece bir robot dosyasına sahip olmayla ilgili herhangi bir sorun olmamalıdır.

0
seanl