データ & AIエンジニアリング

SQLでデータを扱う手から始め、失敗しても安全なパイプラインを設計し、LLMアプリケーションの内部部品まで自分で作ります。終えると「データがおかしい」という報告を受けたとき、どの段階で何が狂ったかを数字で絞れるようになります。

코스

• SQL実戦 — 検索から実行計画まで、手で全部回します
• データパイプライン — 失敗して再実行しても結果が同じでなければなりません
• Apache Spark — 遅いジョブの答えは実行計画とイベントログにある — ローカルモードのSparkでシャッフル・結合・偏りをイベントログで測る
• Apache Hadoop — 1つのPodにHDFSとYARNを立てて運用する — 疑似分散のHDFS・YARNでブロック・権限・クォータ・MapReduceを手で
• Apache Flink — ストリームを本物のエンジンで動かす — ウォーターマーク・状態・チェックポイントをエンジンの出力で確かめる
• ClickHouse — 列指向分析 DB を中身から — ソートキー・パート・マージを system テーブルの数字で読む
• LLMエンジニアリング — トークナイザからRAG評価まで、土台から
• AIエージェント — モデルではなくグラフ — 停止条件・失敗経路・記録。デモと製品が分かれる場所
• Transformer — アテンションを手で計算する — なぜ√dで割るのかを数字で確かめる
• AIダイエット失敗事件 — 実際にINT8モデルを作り、精度と性能を測る
• 先週のモデルの方が良かった。誰も見つけられない — 実験台帳・レジストリ・昇格ゲートを手で作る
• エージェントが私のDBを消した — 標準ライブラリでMCPサーバーを作り、三層で守る