Identiteta zahtevkov
Statični crawler se predstavi z javnim User-Agentom, ki upravljavca strani pripelje nazaj na to politiko in kontakt Inflo.
InfloBot/0.1 (+https://inflo.news/o-crawlerju)Pravila dostopa
Robots dovoljenje je obvezen tehnični signal, ni pa samo po sebi pravna podlaga. Nejasen ali prepovedan vir ostane izklopljen.
- Vsak vir ima točen začetni URL, dovoljene gostitelje in pregledano parsersko konfiguracijo.
- Pot, ki jo robots pravila prepovedujejo, se ne zahteva; redirect ne sme razširiti dovoljenega obsega.
- Zahtevki imajo omejitve hitrosti, sočasnosti, časa, števila preusmeritev ter prejetih in shranjenih bajtov.
- Kjer strežnik podpira ETag ali Last-Modified, crawler uporabi pogojni zahtevek in ne prenaša nespremenjene vsebine znova.
- Uradni API, RSS ali Atom ima prednost pred HTML zajemom; brskalniški način je ločen, privzeto izklopljen in zahteva dodatni pregled.
Kontakt upravljavca strani
Če upravljate vključeno uradno stran in opazite preveliko obremenitev, napačno atribucijo ali želite predlagati boljši uradni API oziroma feed, nam pošljite točen URL in opis. Vir lahko med pregledom takoj ostane izklopljen.
Inflo ne uporablja crawler dostopa za prijavo, oddajo obrazcev, nakup, spreminjanje podatkov ali obhod tehničnih omejitev.