Webサーバの反応が鈍いとのことで調べるとbotが・・・

このエントリーをはてなブックマークに追加

こんにちは。

弊社がリモートサポート契約しているWebサーバにおいての出来事なんですが、昨日、お客様から、

最近、ブログの更新をするときにサーバが応答してくれないことがある。
自分のホームページを閲覧しようとしたときにページが表示されないことがある。
といった感じの問合せが来ました。

その方のWebサーバは、立ち上げ当初から、これといって、プラグインを増やしたりといったカスタマイズはしていなかったんです。

それなのに、サーバの応答がおかしいという問合せ・・・!?

なんだろうと思い、おもむろにターミナル(私Mac使いなので)を開き、お客様のサーバへ接続して、まずは、httpdのログを確認。

すると、今まで、見たことの無かったレコードが、約2秒に1回の割合で、アクセスしているのです。

はっ(゜Д゜)

でした。

とりあえず、該当のIP情報をdigにかけて、情報を引き出してみると、IPは違えど、アクセスしてきているモノは、皆同じ。

こりゃなんだ!?

とネットを含めて調べてみたところ、

BOT

であることが判明。

ある意味、BOTが巡回しに来ると言うことは、悪いことではないのですが、ここまで、頻繁に来訪して貰っては、通常の営業に支障を来すと言うことで、とりあえず、該当のBOT、今回は、

BingBOT

でしたので、このBOTの機能について、Bingで確認。

すると、ビックリ(゜Д゜)です。

デフォルトのままだと、

数秒間に1回

の割合で来訪してくるモノなのだそうです。

そんなに頻繁に来られても意味が無いから、もっと来訪間隔を大きく出来ないか調べたところ、ありました。

ただ、他のBOTとは違って、秒単位では無く、指数のような数字で管理がされているようです。

それが、これ!

Crawl-delay setting : No crawl delay set
Index refresh speed : Normal

Crawl-delay setting : 1
Index refresh speed : Slow

Crawl-delay setting : 5
Index refresh speed :Very slow

Crawl-delay setting : 10
Index refresh speed : Extremely slow

この4パターンでの設定のようです。

そこで、お客様がどの程度我慢できるかにも寄るのですが、とりあえず、robot.rxtを生成し、中に

User-agent: bingbot
Crawl-delay: 5

として、書き込み、お客様のサイトにアップしてみました。

それから、数日、お客様から、

まだちょっと鈍い感じがするので、もう少し遅くする設定の「10」を設定して、試して貰いました。

そうしたところ、今のところ、大丈夫そうな感じなので、この設定で使って頂くことに致しました。

でも、この設定、この数値が最大値なので、これ以上遅く出来ないんですね。
これ以上を望まれた場合、BingBOTからのアクセスを全てシャットアウトするしか無いんです。

ちなみに、全てシャットアウトするときには、

robot.txt

ではなく、今度は、

.htaccess

での対応となります。

どのような記述をするのかというと、下記のようになります。

SetEnvIf User-Agent “Googlebot” shutout
SetEnvIf User-Agent “Slurp” shutout
SetEnvIf User-Agent “bingbot” shutout
SetEnvIf User-Agent “Yeti” shutout
SetEnvIf User-Agent “Baiduspider” shutout

order Allow,Deny
Allow from all
Deny from env=shutout

このように記述して、Webサーバのルートディレクトリに置くと、BOTが来ないようになります。

ちなみに、上記の記述の場合、主要なBOTを全て蹴るようになります。
— PR —
※たった1ヶ月(31日)で60万円を稼ぐ方法(^o^)
最短で稼ぐための方法があるとしたら・・・
たった4つの“無料”授業を受けるだけで、稼げる側の人になれます(^_-)
→ http://bit.ly/1NtIeg2
今日は、煎茶?珈琲?紅茶?、どれにしましたか?
お茶をしながら、ご覧ください。

【初期費用無料】【サーバーレンタル料無料】【配送料無料】プレミアムウォーター

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です