タグ: #scraping

한국어English日本語中文

← すべての記事

• 訪問者統計ではトラフィックの0.5パーセントしか見えない — ボット対策は自己申告ではなく出自で行う

  150万ページのサイトを1年間スクレイパーから守った記録をもとに、ボットトラフィック対応の原則を整理します。JavaScriptベースの分析ツールはボットを数えられないのでサーバーログを見る必要があり、ユーザーエージェントのような自己申告値ではなく、ASNや地理的位置、暗号学的に検証されたボットかどうかといった偽装しにくい出自の情報で規則を立てるべきです。クロールあたりの流入訪問者数という指標、Cloudflareが公開した比率と個別サ

  2026-08-09 · 21 分で読めます #network#bot#cloudflare#waf#scraping