Cum poti bloca boti de Yandex pe un server Apache

Yandex este un motor de căutare rusesc ce dispune de propriul web crawler, similar cu Googlebot. Deși o parte din traficul generat de boții Yandex este legitim, accesările excesive pot suprasolicita resursele serverului tău. Dacă dorești să restricționezi boții Yandex, poți face acest lucru prin câteva modificări simple în configurația Apache.

Utilizarea fișierului .htaccess

Cea mai comună metodă pentru a bloca boți pe Apache este prin intermediul fișierului .htaccess. Adaugă următorul cod în secțiunea <IfModule mod_rewrite.c> a fișierului:

RewriteEngine On

# Blocarea boților Yandex

RewriteCond %{HTTP_USER_AGENT} Yandex [NC]

RewriteRule ^ - [F,L]

Acest cod realizează următoarele:

• RewriteEngine On: Activează modulul de rescriere (rewrite) al Apache.
• RewriteCond %{HTTP_USER_AGENT} Yandex [NC]: Verifică dacă șirul "user-agent" al cererii primite conține "Yandex" (fără a ține cont de majuscule/minuscule).
• RewriteRule ^ - [F,L]: Dacă condiția este îndeplinită, se returnează un răspuns "403 Forbidden" (Acces interzis) și se oprește procesarea ulterioară (flag-ul L).

Considerații importante

• Blocarea întregului trafic Yandex: Această metodă blochează atât traficul legitim de indexare, cât și potențialii boți rău intenționați. Folosește-o cu precauție dacă ții la clasarea în căutările Yandex.
• Specificitate: Poți crea reguli de blocare mai specifice dacă dorești să restricționezi anumiți boți Yandex, permițând accesul altora.
• robots.txt: Utilizează un fișier robots.txt la rădăcina website-ului pentru a oferi instrucțiuni suplimentare crawlerelor, inclusiv celor de la Yandex.

Alternative

Pentru blocarea și filtrarea mai avansată a boților, ia în considerare:

• Reguli de firewall: Implementează blocarea la nivel de IP acolo unde este posibil, utilizând software/servicii specializate de firewall.
• Web Application Firewall (WAF): Un WAF poate filtra traficul mai inteligent, oferind protecție granulară împotriva boților și a altor amenințări.