Web Tasarım - Logo Tasarım

Geri

2 Robots.txt Nedir?

Web tasarım ve reklam blog

robots.txt nedir? robots.txt ne işe yarar?

 

Robots.txt dosyası oluşturularak sitenin kök dizinine yerleştirilir. Bu dosyanın amacı arama motorlarının siteyi taramasına yardımcı olmak ve hangi dosyaların taranıp hangi dosyaların taranmayacağını belirlemek amacıyla oluşturulur.

Robots.txt dosyası arama motorlarına yardımcı olduğu için sitenize faydalı dönüş sağlar.Robots.txt dosyası oluşturarak arama motorlarına ve arama motorları araçlarına çeşitli talimatlar verebilirsiniz.

 

 

Aşağıdaki komut doğrultusunda Googlebot’a “/cms/” dizininin tarama dışı tutulması gerektiğini bildirebilirsiniz.

User-agent: Googlebot

Disallow: /cms/

Bu işlemin tüm tarayıcılar için geçerli olmasını istiyorsanız;

User-agent: *

Disallow: /cms/

Sitenizin sadece tek bir alanının değil tüm alanlarının dizin dışı kalmasını istiyorsanız;

User-agent: *

Disallow: /

Sadece tek bir görselin veya alt sayfanın taranmasını engellemek istiyorsanız;

User-agent: Googlebot

Disallow: /questionfile.html

Disallow: /images/questionfile.jpg

Sitenizde yer alan tüm görsellerin gizli kalmasını istiyorsanız bu durumda dolar işaretini bir yer tutucu olarak kullanıp bir filtre oluşturabilirsiniz. Tarayıcılar bu durumda belirlemiş olduğunuz dosya türlerini taramadan diğer dosyalara geçeceklerdir.

User-agent: *

Disallow: /*.jpg$

Belirli bir dizinin engellenmesini ama bu dizine ait alt dizinin taranmasını istiyorsanız;

User-agent: *

Disallow: /shop/

Allow: /shop/question/

AdWords’e ait tüm görüntülerin organik dizinden çıkarılmasını istiyorsanız;

User-agent: Mediapartners-Google

Allow: /

User-agent: *

Disallow: /

robots.txt dosyası içerisinde aynı zamanda site haritasına yer vererek bir site ile tarayıcılar arasındaki bağlantıyı sağlamlaştırmayı başarabilirsiniz.

UserAgent: *

Disallow:

Sitemap: http://[question.com]/sitemap.xml

 

Robots.txt hakkında ayrıntılı bilgi almak istiyorsanız bizimle iletişime geçebilirsiniz.

2 Yorumlar

  • Farmasi

    09-11-2018 14:19

    2 gündür adam akıllı yazı bulamamıştım. Paylaşım için çok teşekkürler...
  • Furkan Emir Karagöz

    23-07-2018 07:37

    Verdiğiniz faydalı bilgilerden ötürü çok teşekkür ederim başarılarınızın devamını dilerim.
        Captcha

          © Copyrights WebtasarimVeReklam.com