Robots.txt Generator.

By default all robots are

Crawl delay

 

Sitemap URL. Leave blank for none.

Robots are allowed to crawl your site:

 

Restricted directories or files. Relative to root, with trailing slash for dirs.

Your Robots.txt

Plik robotów

Robots.txt Generator pomoże Ci uzyskać plik Robost.txt, Wehn ​​wybrać dozwoloną wyszukiwarkę i czas opóźnienia czołgania, wprowadź adres URL witryny i wybierz Dozwolone rototy, a następnie uzyskaj kod. kod taki jak poniżej:

.

Agent użytkownika: *

Nie zezwala: /

User-Agent: Ia_chiver

Zakazać:

User-Agent: Slurp

Zakazać:

User-Agent: Aport

Zakazać:

User-Agent: Teoma

Zakazać:

User-Agent: BaidUspider

Zakazać:

User-Agent: Twiceler

Zakazać:

User-Agent: Robozilla

Zakazać:

Agent użytkownika: Gigabot

Zakazać:

User-Agent: Googlebot

Zakazać:

Agent użytkownika: GoogleBot-Image

Zakazać:

User-Agent: GoogleBot-Mobile

Zakazać:

User-Agent: mail.ru

Zakazać:

User-Agent: MSNBOT

Zakazać:

User-Agent: Psbot

Zakazać:

User-Agent: Naverbot

Zakazać:

User-Agent: Yeti

Zakazać:

User-Agent: Nutch

Zakazać:

User-Agent: Stackrambler

Zakazać:

User-Agent: Scrubby

Zakazać:

User-Agent: Asterias

Zakazać:

User-Agent: Yahoo-slurp

Zakazać:

User-Agent: Yandex

Nie zezwalaj:

Robots.txt Generator.