NewsHuntBot is the news crawler of NewsHunt, a news search and reading service. It reads the latest articles from news websites so that NewsHunt can show the headline, a short summary and a link back to the publisher.
NewsHuntBot/0.1 (+https://newshunt.io/bot)Signature-Agent: "https://newshunt.io". Our public key is published at /.well-known/http-message-signatures-directory. Crawl-delay, that delay is used instead, however long it is.NewsHuntBot (case does not matter), only that group is used. Otherwise the * group is used.Allow and Disallow: the longest matching rule wins. When an Allow and a Disallow rule are the same length, Allow wins.* matches any characters and $ marks the end of the URL.Crawl-delay (in seconds) is read from the group that applies, as described above.Retry-After time if it is longer.Retry-After (seconds or an HTTP date) for every request to that host. Without it we wait at least 60 seconds after a 429.Add this to your robots.txt:
User-agent: NewsHuntBot Disallow: /
Questions or problems: please contact us.
Newshunt использует необходимые файлы cookie, чтобы вы оставались авторизованными и чтобы запоминать ваш язык и страну, благодаря чему сайт работает так, как вы ожидаете. С вашего разрешения мы также хотели бы использовать аналитические файлы cookie, чтобы понимать, как люди используют Newshunt, и со временем улучшать его.
Принятие влияет только на аналитику. Подробнее см. в нашей Политике конфиденциальности or Условиях использования.