Son Haberler
Anasayfa » PHP » BaiduSpider Bot Nasıl Engellenir – Baiduspider Engelleme – Baiduspider Bloke PHPBB3

BaiduSpider Bot Nasıl Engellenir – Baiduspider Engelleme – Baiduspider Bloke PHPBB3

BaiduSpiderBaiduSpider Bot, Baidu Arama Motorunun googlebot gibi bir örümceğidir. BaiduSpider Bot portalları, forumları, web sitelerini indekslemek için diğer botlar gibi sürekli dolaşırlar. Bazı sitelerde sıklıkla dolaşırken bazı sitelerede uğramayabiliyorlar. Eğer ki Baiduspider botlarının sayfalarınızda sıklıkla doşamasından rahatsız oluyorsanız, engellemek için birkaç alternatif sunabiliriz. Sitenizin root (kök) dizininde bulunduracağınız yada bulunan Robots.txt yada .htaccess dosyalarını, aşağıdaki örneklerde olduğu gibi düzenleyin yada dosyaları oluşturun.

Robots.txt

Kod:
#Baiduspider Bloke etme
User-agent: Baiduspider
Disallow: /

htaccess

Kod:

<Files *.*>
        order allow  ,deny
        allow from all
        deny from 119.63.196.
</Files>

baiduspider-ss“.htaccess” Dosyasında dikkat etmeniz gereken husus sayfanıza hangi IP adresi ile giriş yaptığıdır.
Örnek 119.63.196.8 – 119.63.196.4 … adreslerini kullanıyorsa .htaccess dosyasında yazılacak IP adresi 119.63.196. olacaktır. Eğer 123.125.66.18 – 123.125.66.20 ip adresini kullanıyorsa 123.125.66. olarak giriş yapmanızdır.

.htaccess Dosyasını aşağıdaki gibi oluşturabilir yada mevcut .htaccess dosyasına ekleyebilirsiniz.

Kod:

RewriteCond %{HTTP_USER_AGENT} Baiduspider
RewriteRule ^.*$ http://127.0.0.1 [R,L]

Hosting firmanız rewrite özelliğini desteklemiyor yada izin vermiyorsa .htaccess dosyasınızı aşağıdaki gibi düzenleyebilir yada oluşturabilirsiniz.

Kod:
SetEnvIfNoCase user-agent  "^baidu" bad_bot=1
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

2007 – 2008 yıllarında phpbb3 forum sitesi sahibi olan bir arkadaşıma vakit oldukça yardımcı oluyordum. Forumda sürekli aktif olan baiduspider isim bir bot gördüm araştırdım fakat açıklayıcı doküman elde edemedim, bu konuda makale yazmak istedim. Kendi sayfamda bu makaleyi hazırladım. Tez canlılığın dezavantajından dolayı, Birgün can sıkıntısından siteyi sildim. Tekrar açmak istedim fakat yazdıklarımın yedekleri olmadığı için google.com un cache belleğinden bilgilerimi geri almak istedim gördümki yazdığım makalelerim farklı sitelere noktası virgülüyle birlikte yapıştırılmış. Artık İNŞAALLAH tekrar silmemek üzere sayfamı tekrar toparlayacağım.

Lokman AKKAYA
Konu: BaiduSpider Bot Nasıl Engellenir – Baiduspider Engelleme – Baiduspider Bloke PHPBB3

İLGİNİZİ ÇEKEBİLİR

WordPress sorgu sayısını azaltmak

Her web geliştiricisi yaptığı web sayfalarının, wordpress kullanıcıları, blog yazarları yaptıkları yada kullandıkları blog sistemlerinin …