エントリー

Baiduspiderをアクセス拒否

自宅サーバーのアクセスログを眺めていると、特定のホストからのアクセスが非常に多いです。そのアクセスのユーザーエージェントに Baiduspider という文字があったので調べてみたら…、「百度」という中国の検索サイトのクローラーのようです。

以前はこのクローラーからのアクセスが異常に多く、その負荷が問題になるほどだったので、色々なサイトがアクセス拒否の対策をとったらしい。

今は負荷が問題になるほどのアクセスではないけど、中国向けの情報は配信していないので、robots.txt に以下の記述を追加しておきました。

User-agent: baiduspider
Disallow: /

これでクローラーを拒否できるらしい。しばらく様子見。

ページ移動

ユーティリティ

カテゴリー

検索

エントリー検索フォーム
キーワード

過去ログ

過去ログ表示フォーム
キーワード

Feed