Blokada scrapingu na stronie: co to Anubis i jak z nim pracować
Anubis to zabezpieczenie, które odróżnia człowieka od programu pobierającego treści. Sprawdź, dlaczego strony je włączają i jak poradzić sobie z blokadą.
Anubis to zabezpieczenie stron internetowych, które weryfikuje, czy odwiedzający jest człowiekiem, zanim udostępni treści. Jego celem jest ochrona serwera przed zautomatyzowanym pobieraniem danych, które coraz częściej prowadzą firmy zajmujące się sztuczną inteligencją.
Dlaczego administratorzy włączają Anubis?
Administratorzy stron wdrażają Anubis przede wszystkim po to, by zapobiec masowemu scrapingowi. Gdy roboty pobierają tysiące podstron w krótkim czasie, serwer się przeciąża, a strona przestaje działać dla zwykłych czytelników. Zabezpieczenie ma ten proces utrudnić, nie zamykając witryny dla osób, które chcą jej po prostu użyć.
Dla wielu właścicieli serwisów oznacza to mniej przestojów i stabilniejszy dostęp do własnych materiałów. Dla użytkownika końcowego różnica bywa zauważalna dopiero wtedy, gdy przeglądarka wyświetli krótką weryfikację.
Jak działa mechanizm Proof-of-Work?
Anubis opiera się na mechanizmie Proof-of-Work, którego pierwowzorem jest Hashcash. Była to propozycja z 1997 roku, zaprojektowana z myślą o walce ze spamem mailowym. Idea jest prosta: nadawca musi wykonać niewielką pracę obliczeniową, zanim wiadomość zostanie zaakceptowana.
W Anubisie zasada działa podobnie. Przeglądarka odwiedzającego wykonuje zadanie obliczeniowe, a jego koszt dla pojedynczego użytkownika jest pomijalny. Ten sam wysiłek, powtórzony tysiące razy przez zautomatyzowane programy, staje się jednak bardzo kosztowny. Właśnie ta asymetria sprawia, że mechanizm zniechęca masowe scrapery.
| Aspekt | Pojedynczy użytkownik | Scraper masowy |
|---|---|---|
| Koszt weryfikacji | Pomijalny | Rośnie znacząco |
| Cel zabezpieczenia | Brak utrudnień w zwykłym użytkowaniu | Ograniczenie masowego pobierania |
| Pierwowzór mechanizmu | Hashcash (1997) | Hashcash (1997) |
Dlaczego JShelter może blokować dostęp?
Anubis wymaga nowoczesnych funkcji JavaScript, bez których weryfikacja się nie uruchomi. Wtyczki ochronne, takie jak JShelter, potrafią te funkcje ograniczać, przez co zabezpieczenie nie działa poprawnie. Efektem jest strona, która nie chce się załadować, mimo że odwiedzający jest człowiekiem.
Zalecanym rozwiązaniem jest wyłączenie JShelter wyłącznie dla domeny, na której pracuje Anubis. Wtyczkę warto jednak zostawić aktywną na pozostałych stronach.
Co z rozwiązaniem tymczasowym i planami na przyszłość?
Obecne zabezpieczenie ma charakter tymczasowy, czyli działa jako rozwiązanie zastępcze. Administrator planuje wprowadzić wykrywanie headless browserów, czyli przeglądarek działających bez interfejsu. Jedną z metod ma być analiza sposobu renderowania czcionek.
Celem tego planu jest pomijanie weryfikacji dla użytkowników, którzy prawdopodobnie są legalnymi odwiedzającymi. Oznacza to, że w przyszłości kontrola ma być mniej uciążliwa, przy zachowaniu blokady dla zautomatyzowanych programów.
Co to oznacza dla Ciebie przy szukaniu ofert na remont?
Blokady antyscrapingowe coraz częściej pojawiają się na stronach sklepów budowlanych, portali z ofertami i serwisów z cennikami. Jeśli porównujesz ceny materiałów lub usług, możesz trafić na weryfikację, która nie przepuszcza przeglądarki z rozszerzeniami ochronnymi. Warto wtedy sprawdzić, czy problem nie wynika z wtyczki, a nie z samej strony. Przy porównywaniu kosztów remontu zbieraj oferty ręcznie, z jednej przeglądarki, i notuj daty ich sprawdzenia. Ceny w internecie zmieniają się często, więc zestawienie z kilku dni bywa mylące. Pamiętaj też, że wyłączanie ochrony prywatności warto ograniczać wyłącznie do sprawdzonych, zaufanych domen.
Najczęstsze pytania
Czym jest Anubis na stronie internetowej?
Anubis to zabezpieczenie, które sprawdza, czy odwiedzający jest człowiekiem, a nie zautomatyzowanym programem. Administrator włącza je, aby chronić serwer przed masowym pobieraniem treści.
Dlaczego strony blokują scraping?
Masowe pobieranie treści obciąża serwer, powoduje przestoje i może sprawić, że strona stanie się niedostępna dla zwykłych użytkowników.
Czy Anubis utrudnia życie zwykłemu użytkownikowi?
Według założeń mechanizmu koszt obliczeniowy dla pojedynczego odwiedzającego jest pomijalny, natomiast dla scraperów masowych rośnie znacząco.
Dlaczego Anubis nie działa z blokerem JShelter?
Zabezpieczenie wymaga nowoczesnych funkcji JavaScript, a wtyczki typu JShelter mogą je blokować. Rozwiązaniem bywa wyłączenie wtyczki dla konkretnej domeny.
Czy wyłączenie JShelter jest bezpieczne?
Wyłączaj wtyczkę tylko dla zaufanych domen, na których rzeczywiście korzystasz z oferty. Na pozostałych stronach warto zachować pełną ochronę prywatności.
Na podstawie: Infokatowice.pl. Tekst opracowany redakcyjnie.