NewsHuntBot is the news crawler of NewsHunt, a news search and reading service. It reads the latest articles from news websites so that NewsHunt can show the headline, a short summary and a link back to the publisher.
NewsHuntBot/0.1 (+https://newshunt.io/bot)Signature-Agent: "https://newshunt.io". Our public key is published at /.well-known/http-message-signatures-directory. Crawl-delay, that delay is used instead, however long it is.NewsHuntBot (case does not matter), only that group is used. Otherwise the * group is used.Allow and Disallow: the longest matching rule wins. When an Allow and a Disallow rule are the same length, Allow wins.* matches any characters and $ marks the end of the URL.Crawl-delay (in seconds) is read from the group that applies, as described above.Retry-After time if it is longer.Retry-After (seconds or an HTTP date) for every request to that host. Without it we wait at least 60 seconds after a 429.Add this to your robots.txt:
User-agent: NewsHuntBot Disallow: /
Questions or problems: please contact us.
നിങ്ങളെ സൈൻ ഇൻ ചെയ്ത നിലയിൽ നിലനിർത്താനും നിങ്ങളുടെ ഭാഷയും രാജ്യവും ഓർമ്മിക്കാനും Newshunt ആവശ്യമായ കുക്കികൾ ഉപയോഗിക്കുന്നു. നിങ്ങളുടെ അനുമതിയോടെ, ആളുകൾ Newshunt എങ്ങനെ ഉപയോഗിക്കുന്നുവെന്ന് മനസ്സിലാക്കാനും കാലക്രമേണ സേവനം മെച്ചപ്പെടുത്താനും അനലിറ്റിക്സ് കുക്കികളും ഉപയോഗിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.
അംഗീകരിക്കുന്നത് അനലിറ്റിക്സിനെ മാത്രമേ ബാധിക്കൂ. കൂടുതൽ വിവരങ്ങൾക്ക് ഞങ്ങളുടെ സ്വകാര്യതാ നയം or നിബന്ധനകളും വ്യവസ്ഥകളും.