mdounin (mdounin) wrote,
mdounin
mdounin

Хозяйке на заметку, для robots.txt:
User-Agent: bingbot
Crawl-delay: 30
По умолчанию они качают в несколько потоков, с нескольких блоков ip-адресов, ни в чём себе не отказывая. На псевдобесконечных сайтах с репозиториями - особенно доставляет. Не стоит удивляться, что за это не любят и банят.
Tags: bing, microsoft, robots.txt, плохое
Subscribe
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 0 comments