タグ: #common-crawl
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
オープンソースAI学習データセット2026 — Common Crawl / FineWeb (HF) / RedPajama-V2 / Dolma / SlimPajama / The Stack v2 / LAION / COYO-700M (Kakao) 深掘りガイド
2026年のオープンソースAI学習データセットの全体地図を描く。すべてのLLMの基盤となるCommon Crawl、それを精製したRefinedWeb / RedPajama-V2 / FineWeb / FineWeb-Edu / Dolma / SlimPajama、学術系のThe Pile / S2ORC / arXiv、コード系のThe Stack v2 / StarCoder、マルチモーダルのLAION-5B / DataCo
2026-05-16 · 27 分で読めます #ai-datasets#training-data#common-crawl#refinedweb#redpajamaインターネットアーカイブ & デジタル保存 & ウェブアーカイビング 2026 — Wayback Machine / archive.today / Conifer / Browsertrix / WARC / Perma.cc / NDL WARP / OASIS 徹底ガイド
2026年5月時点のデジタル保存とウェブアーカイビングのエコシステムを整理します。Brewster Kahleが創立したInternet Archiveと935B+ページのWayback Machine、匿名アーカイブのarchive.today、Webrecorder陣営のConifer・Browsertrix Crawler・Browsertrix Cloud、新しいWACZフォーマットとReplay.web.page、標準のWAR
2026-05-16 · 45 分で読めます #internet-archive#wayback-machine#brewster-kahle#archive-today#archive-ph