マーケティングスパイダーのサイトクロールを禁止する

·(編集済み)· / , , ·

648

閲覧·

この記事はに最終更新されました。一部の内容が古くなっている可能性があります。ご質問があれば著者にお問い合わせください。

AI翻訳中文日本語

主要な洞察

AI · GEN

今日、サイトのアクセスログを見てみると、User Agent が Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) というスパイダーが非常に頻繁にサイトをクロールしていて、20MB 超のログを見るに、かなりの期間クロールし続けていることが分かりました。

このスパイダーがアクセスしているページを見ると、過去にクロールしたページのパラメータをランダムに組み合わせてアクセスしているようで、クロールされるリンクはすべて長い文字列であり、ほとんどが 404 を返しています。さらに数秒ごとにクロールされるため、ログ内の正常なアクセス記録が数万行のスパムスパイダー記録に埋もれてしまいます。

最初は、スパイダーなら robots.txt を守るはずだと思い、robots.txt にルールを追加することにしました：

User-agent: SemrushBot
Disallow: /

ところが調べてみると、どうやらこれは robots.txt を守らないようです 😅（公式ページではスパイダーは robots.txt を厳守すると主張していますが、ネット上の声を見ると実際はそうではないようです）。しかもこの SemrushBot に限らず、多くのマーケティングスパイダーが robots.txt を無視します。仕方ないので Nginx でブロックすることにしました。宝塔の Nginx 無料ファイアウォール の グローバル設定 で User-Agent フィルター の ルール をクリックし、以下の正規表現を追加しました（ネットで集めたものです。こんなにあったので驚きました。必要な UA が含まれていないか事前に確認してください）：

CodeBlock Loading...

数秒後、ブロックデータが表示されるようになります。

その後、ブロック数がどんどん増えていくのを見て、404 を返しても 444 を返しても、リクエストが発生すればサーバーリソースを消費するため、数秒〜十数秒ごとにリクエストが続くのは長続きしないと考え直しました。さらに調べてみると、これらのスパイダーの IP は海外ノードばかりで、私のサイトも海外向けに Cloudflare に解決していたため、Cloudflare に途中でブロックしてもらえば、サイト本体にアクセスさせずに済みます。

Cloudflare で該当ドメインのコンソールを開き、セキュリティ の WAF 項目に進み、ルール追加 をクリックします。式プレビュー に以下の式を追加します（同様に、必要な UA がブロックされていないか事前に確認してください）：

CodeBlock Loading...

次に アクション選択 で ブロック を選んで保存します。

これで、宝塔の Nginx 無料ファイアウォールのリスクブロック数が増加しなくなり、Cloudflare のファイアウォールルールのブロック数が急増すれば、無事に Cloudflare でゴミスパイダーのアクセスをブロックできている証拠です。

目覚めてアップデート

目を覚ましたら既に 2,000 回以上ブロックされていました。本当にしつこいですね 😅。

(http.user_agent contains "SemrushBot") or (http.user_agent contains "FeedDemon") or (http.user_agent contains "Indy Library") or (http.user_agent contains "Alexa Toolbar") or (http.user_agent contains "AskTbFXTV") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "CrawlDaddy") or (http.user_agent contains "CoolpadWebkit") or (http.user_agent contains "Java") or (http.user_agent contains "Feedly") or (http.user_agent contains "UniversalFeedParser") or (http.user_agent contains "ApacheBench") or (http.user_agent contains "Microsoft URL Control") or (http.user_agent contains "Swiftbot") or (http.user_agent contains "ZmEu") or (http.user_agent contains "jaunty") or (http.user_agent contains "Python-urllib") or (http.user_agent contains "lightDeckReports Bot") or (http.user_agent contains "YYSpider") or (http.user_agent contains "DigExt") or (http.user_agent contains "HttpClient") or (http.user_agent contains "MJ12bot") or (http.user_agent contains "heritrix") or (http.user_agent contains "Bytespider") or (http.user_agent contains "Ezooms") or (http.user_agent contains "JikeSpider") or (http.user_agent contains "HTTrack") or (http.user_agent contains "Apache-HttpClient") or (http.user_agent contains "harvest") or (http.user_agent contains "audit") or (http.user_agent contains "dirbuster") or (http.user_agent contains "pangolin") or (http.user_agent contains "nmap") or (http.user_agent contains "sqln") or (http.user_agent contains "hydra") or (http.user_agent contains "libwww") or (http.user_agent contains "BBBike") or (http.user_agent contains "sqlmap") or (http.user_agent contains "w3af") or (http.user_agent contains "owasp") or (http.user_agent contains "Nikto") or (http.user_agent contains "fimap") or (http.user_agent contains "havij") or (http.user_agent contains "BabyKrokodil") or (http.user_agent contains "netsparker") or (http.user_agent contains "httperf") or (http.user_agent contains " SF/") or (http.user_agent contains "zgrab") or (http.user_agent contains "NMAP") or (http.user_agent contains "Go-http-client") or (http.user_agent contains "CensysInspect") or (http.user_agent contains "leiki") or (http.user_agent contains "webmeup") or (http.user_agent contains "Python") or (http.user_agent contains "python") or (http.user_agent contains "wget") or (http.user_agent contains "Wget") or (http.user_agent contains "toutiao") or (http.user_agent contains "Barkrowler") or (http.user_agent contains "a Palo Alto") or (http.user_agent contains "ltx71") or (http.user_agent contains "censys") or (http.user_agent contains "DotBot") or (http.user_agent contains "MauiBot") or (http.user_agent contains "MegaIndex.ru") or (http.user_agent contains "BLEXBot") or (http.user_agent contains "ZoominfoBot") or (http.user_agent contains "ExtLinksBot") or (http.user_agent contains "hubspot")