태그: #web-scraping
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
스크래퍼는 이제 수백만 개의 가정용 IP에서 온다 — residential proxy와 오픈소스 인프라의 소모전
2026년 7월 10일 LWN의 Jonathan Corbet가 스크래퍼 상황 업데이트를 냈습니다. 핵심은 두 가지입니다 — residential proxy(가정용 프록시)가 IP 기반 차단을 사실상 무력화했고, AI 크롤러의 폭증이 그 수요를 채웠습니다. 한 번의 공격에서 몇 시간 동안 수백만 개의 서로 다른 IP가 각자 두세 번씩만 사이트를 두드립니다. 이 글은 왜 차단이 구조적으로 실패하
2026-07-11 · 12 분 읽기 #web-scraping#residential-proxy#ai-crawlers#anubis#infrastructure웹 스크래핑 & 크롤링 도구 2026 — Scrapy / Playwright / Puppeteer / Crawlee (Apify) / Firecrawl / Jina Reader / Stagehand AI 심층 가이드
2026년 웹 스크래핑 생태계를 한 호흡으로 정리합니다. Scrapy·Playwright·Puppeteer·Selenium 같은 고전부터 Crawlee·Apify 같은 모던 프레임워크, Bright Data·Oxylabs·Smartproxy 같은 프록시 클라우드, ScrapingBee·Browserless·ZenRows 같은 API 서비스, Firecrawl·Jina AI Reader·Dif
2026-05-16 · 37 분 읽기 #web-scraping#crawling#scrapy#playwright#puppeteer