タグ: #web-scraping
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
スクレイパーは今や数百万の家庭用IPからやってくる — residential proxyとオープンソース基盤の消耗戦
2026年7月10日、LWNのJonathan Corbet氏がスクレイパー状況のアップデートを公開しました。中心には二つの事実があります — residential proxy(家庭用プロキシ)がIPベースのブロックを事実上無力化し、AIクローラーのゴールドラッシュがその需要を満たしています。一度の攻撃で、数時間のあいだに数百万の異なるIPアドレスがサイトを叩き、それぞれ二〜三回しかアクセスしません。この記事は、なぜブロックが構造的に
2026-07-11 · 12 分で読めます #web-scraping#residential-proxy#ai-crawlers#anubis#infrastructureWebスクレイピング・クローリングツール 2026 — Scrapy / Playwright / Puppeteer / Crawlee (Apify) / Firecrawl / Jina Reader / Stagehand AI 徹底ガイド
2026年のWebスクレイピング・エコシステムを一気に整理します。Scrapy・Playwright・Puppeteer・Seleniumといった古典から、Crawlee・Apifyのようなモダンフレームワーク、Bright Data・Oxylabs・Smartproxyのプロキシクラウド、ScrapingBee・Browserless・ZenRowsのAPIサービス、Firecrawl・Jina AI Reader・DiffbotのL
2026-05-16 · 32 分で読めます #web-scraping#crawling#scrapy#playwright#puppeteer