V oblasti ochrany pred automatizovaným prehliadaním webových stránok (scraping) sa často stretávame s riešeniami, ktoré sú navrhnuté tak, aby zvýšili náklady na takéto aktivity pre masových prevádzkovateľov. Hoci na individuálnej úrovni môže byť dodatočná záťaž zanedbateľná, pri rozsiahlych operáciách sa tieto náklady kumulujú a robia scrapovanie výrazne drahším.
V tomto kontexte je dôležité pochopiť, že súčasné riešenia často slúžia ako dočasné opatrenia. Hlavným cieľom je venovať viac času pokročilejším metódam, ako je tzv. fingerprinting (odtieňovanie) a identifikácia bezhlavých prehliadačov. Medzi takéto metódy patrí napríklad analýza toho, ako prehliadač spracováva vykresľovanie fontov. Tieto techniky umožňujú vyhnúť sa zobrazovaniu výzvy s overením pomocou práce (proof of work) používateľom, ktorí s oveľa vyššou pravdepodobnosťou predstavujú legitímnych návštevníkov.
Je však potrebné poznamenať, že systémy ako Anubis vyžadujú používanie moderných funkcií JavaScriptu. Tieto funkcie môžu byť deaktivované doplnkami, ako je napríklad JShelter. To znamená, že ak používate takéto doplnky, ktoré obmedzujú beh moderného JavaScriptu, môžete naraziť na problémy s funkčnosťou systému Anubis.
Opakujúc sa princíp spočíva v tom, že na individuálnej úrovni je dodatočná záťaž zanedbateľná. Avšak pri masovom scrapingu sa tieto malé záťaže sčítavajú a výrazne zvyšujú náklady na celú operáciu. Toto je dočasné riešenie, ktoré umožňuje sústrediť sa na vývoj sofistikovanejších metód na identifikáciu bezhlavých prehliadačov, napríklad prostredníctvom ich správania pri vykresľovaní fontov. Cieľom je minimalizovať nutnosť prezentovať overovacie stránky používateľom, ktorí sú pravdepodobne legitímni.
Dôležité upozornenie: Anubis vyžaduje moderné funkcie JavaScriptu, ktoré môžu byť blokované rozšíreniami ako JShelter. Toto riešenie je primárne zamerané na zvýšenie nákladov na scrapovanie pri masovom rozsahu, pričom individuálna záťaž je minimálna. Konečným cieľom je venovať viac času na identifikáciu bezhlavých prehliadačov prostredníctvom metód ako je fingerprinting a vykresľovanie fontov, aby sa pre legitímnych používateľov nemusela zobrazovať stránka s overením.
Čo je to bezhlavý prehliadač a ako ho používať?
Princíp spočíva v tom, že dodatočná záťaž na individuálnej úrovni je zanedbateľná. Pri masovom scrapingu sa však tieto záťaže sčítajú, čím sa scrapovanie stáva oveľa drahším. Toto je zatiaľ dočasné riešenie, ktoré umožňuje venovať viac času na vývoj metód na odhaľovanie bezhlavých prehliadačov (napríklad prostredníctvom ich správania pri vykresľovaní fontov). Tým sa eliminuje potreba zobrazovať používateľom, ktorí sú pravdepodobne legitímni, stránku s overením.
Je dôležité si uvedomiť, že Anubis vyžaduje moderné funkcie JavaScriptu, ktoré doplnky ako JShelter môžu deaktivovať. Zvýšenie nákladov na scrapovanie pri masovom rozsahu je dosiahnuté kumuláciou zdanlivo zanedbateľných záťaží na individuálnej úrovni. Toto dočasné riešenie umožňuje zamerať sa na pokročilejšie techniky, ako je fingerprinting a identifikácia bezhlavých prehliadačov, napríklad analýzou vykresľovania fontov, aby sa minimalizovalo zobrazovanie overovacích stránok pre pravdepodobne legitímnych používateľov.