标签: #llm

한국어English日本語中文

← 全部文章

• 从文档到知识图谱 — 一条诚实的构建流水线

  「从文档里抽出知识图谱」在演示里看起来就是一次 LLM 调用。但把客户的文档真正变成一张可查询的图，是一条六段式的流水线，而成本与痛苦的大部分不在抽取，而在实体解析。本文诚实地梳理：为什么要先定好模式(本体)、基于 LLM 的模式约束抽取(LangChain 的 LLMGraphTransformer、LlamaIndex 的 Simple/Schema/Dynamic 抽取器、Microsoft GraphRAG 的索引流水线)与传统

  2026-07-15 · 15 分钟阅读 #knowledge-graph#ai#llm#data-engineering

• Graph RAG 是什么 — 向量 RAG 卡壳的地方，以及它值回成本的那一刻

  RAG 的标准配方(分块 → 嵌入 → 检索前 k 个)在答案完整落在某一个片段里时很好用，但在多跳问题、以及贯穿整个语料库的全局「意义建构」问题上会结构性地卡住。Microsoft 的 GraphRAG 正是瞄准这两处盲区 — 用 LLM 从语料库里抽取知识图谱，用 Leiden 算法找出社区并预先生成摘要。此后，全局问题用社区摘要的映射-归约来回答，局部问题则用以实体为中心的图探索来回答。本文梳理了向量 RAG 卡住的地方、Grap

  2026-07-15 · 14 分钟阅读 #rag#graph-rag#knowledge-graph#ai#llm

• 即使 AI 来维护你的代码，也要为人类而写

  2026 年 7 月 10 日，Scott Robinson 把一句老格言拧了个弯，让它重新焕发生机。由于 LLM 会把你的代码库当作风格指南来读，你合并进去的每一条捷径，都会成为模型以机器规模回敬给你的训练数据。在梳理了重复的访问权限检查示例，以及他那句“LLM 是海绵”之后，本文抛出一个更难的问题：当下一个维护者是机器时，为人类而写是否依然重要？依然重要。因为人类仍要评审和调试，而正是清晰让 diff 变得可评审。

  2026-07-11 · 10 分钟阅读 #ai#llm#code-quality#maintainability#craft

• Tencent Hy3：冷静解读 295B 开放权重 MoE

  Tencent 于 2026 年 7 月 6 日以 Apache 2.0 许可证公开了 Hy3。这是一个总参数 295B、每次仅激活 21B 的 MoE 推理·智能体语言模型。本文梳理它到底有什么新意、在中国系开放权重浪潮中处于什么位置，以及厂商自行公布的基准测试数字应当相信到什么程度。

  2026-07-11 · 8 分钟阅读 #hy3#tencent#hunyuan#open-weights#moe

• RLHF 模型为何会钻奖励的空子——奖励破解的机制、症状与缓解方向

  Xiaohua Wang 等 23 人于 2026 年 4 月发布在 arXiv 上的《Reward Hacking in the Era of Large Models》，是一篇梳理经 RLHF 对齐的大型模型为何、如何在奖励信号上钻空子的综述。核心提议是把奖励破解理解为目标压缩、优化放大、评估者–策略共同进化这三种力量的"代理压缩假说(PCH)"。它把可辨认的症状汇于一处：冗长偏好、谄媚、看似有理却错误的依据、基准过拟合，以及多模态

  2026-07-11 · 9 分钟阅读 #ai#llm#alignment#rlhf#safety

• Model Context Protocol(MCP)参考手册 — 将 AI 连接到外部世界的开放标准

  Model Context Protocol(MCP)是一个把应用向 LLM 提供上下文的方式标准化的开放协议。本文是一份基于官方文档、面向工程师的 MCP 参考 — 为什么它能解决 M×N 集成问题,主机、客户端、服务器结构与两个层(数据/传输),三种服务器原语(工具、资源、提示),stdio 与 Streamable HTTP 传输。还涵盖了如何设计服务器,以及安全性、成熟度上诚实的取舍。

  2026-07-11 · 10 分钟阅读 #mcp#ai#agents#llm#protocol

• RTX 5090 单卡亲手跑几个小模型 — microGPT·OCR·音乐生成

  用一张 RTX 5090（Blackwell，32GB），通过 SSH 连上去直接跑了三个小模型。从零开始用 28 秒训练出一个 char-level GPT（10.75M 参数，117 万 tokens/s），把专用 OCR（TrOCR）和小型 VLM（Qwen2-VL-2B）放到同一张图上用 CER 一决高下，再用 MusicGen 在 1.9 秒（实时的 4.2 倍）里生成一段 8 秒的音乐。连同过程中遇到的那些诚实的陷阱 — 没

  2026-07-11 · 10 分钟阅读 #pytorch#gpu#llm#ocr#hands-on

• 用 Hybrid SWA 优化长上下文推理 — Xiaomi MiMo v2.5 实际做了什么

  把滑动窗口注意力（SWA）与全注意力按层混合的混合 SWA，是最近同时削减长上下文推理 KV 缓存内存与计算量的主流设计。本文以 Xiaomi 公开的 MiMo v2.5 推理优化文章为依据，梳理混合 SWA 是什么、为什么重要，MiMo v2.5 实际做了哪些架构与系统工程（70 层中仅 10 层全注意力、窗口 128、理论上约 7 倍削减），以及诚实地看它缺了什么。结论是与上一篇量子化文章相同的战场 — KV 缓存 — 只是从另一个

  2026-07-11 · 13 分钟阅读 #ai#llm#inference#attention#optimization

• 解读 Microsoft Flint — 让智能体绘制图表的可视化语言

  Microsoft Research 公开的 Flint 并不是可视化智能体的语言，而是让 AI 智能体能够从数据中稳定地生成美观图表的中间语言。编译器会代替我们，从数据与语义类型中推导出比例尺、坐标轴、颜色、布局等低层决策，并把同一份规格编译为 Vega-Lite、ECharts、Chart.js。本文诚实地探讨 Flint 究竟是什么、解决了什么问题，以及智能体专用的可视化语言究竟是真正必要的构想，还是过度设计。

  2026-07-11 · 9 分钟阅读 #ai#agents#data-visualization#llm#microsoft

• 把预训练检查点变成长上下文混合模型 — HyLo 的升级改造配方

  混合序列模型（注意力 + 线性·SSM 块）在长上下文上更有优势，但迄今为止大多需要从头重新预训练。2026 年 4 月的预印本 HyLo 提出了一份配方：只用廉价的后处理训练，就把已经训练好的 Transformer 检查点"升级改造"成混合模型 — 混入 MLA（潜在注意力）和 Mamba2、Gated DeltaNet 这类线性块，再叠加分阶段的长上下文训练与教师蒸馏。作者报告称，在把上下文最多拉长到 32 倍的同时，KV 缓存内

  2026-07-11 · 9 分钟阅读 #ai#llm#long-context#architecture#efficiency

• KV 缓存降到 4 比特 — SAW-INT4 与系统感知的 INT4 量化

  在长上下文 LLM 服务中，真正的内存瓶颈不是权重，而是 KV 缓存。直接把它降到 INT4 会让精度崩溃，但 2026 年 4 月的预印本 SAW-INT4 报告说，在逐 token 的 INT4 量化之上再叠加块对角阿达玛旋转，就能几乎追回朴素 INT4 丢掉的精度。这篇论文真正的角度不只是精度，而是吞吐量 — 通过直接集成进分页 KV 缓存布局的融合旋转·量化内核，作者们称没有可测量的端到端开销，吞吐量与纯 INT4 相同。向量量

  2026-07-11 · 11 分钟阅读 #ai#llm#quantization#inference#kv-cache

• 在慢速电脑上跑 GLM-5.2 — colibrì 如何从磁盘流式加载 744B 模型

  colibrì 是一个用纯 C 写成、约 1,300 行的推理引擎，能在内存 25GB 的消费级 PC 上运行 744B（7,440 亿）参数的 MoE 模型 GLM-5.2。关键在于 MoE 稀疏性与磁盘流式加载 — 只把约 9.9GB 的密集层常驻内存，约 370GB 的路由专家放在 NVMe SSD 上，每个 token 只读取需要的部分。代价是诚实地慢：冷启动约 0.05–0.1 tok/s，实际上每段落要花几分钟。它靠学习缓存

  2026-07-11 · 7 分钟阅读 #ai#llm#local-inference#moe#quantization

• 构建高效的 AI 智能体 — 五种工作流模式与智能体参考指南

  把 Anthropic 的工程指南《Building Effective Agents》整理成了一份实战参考。文中厘清工作流与智能体的准确区分，介绍作为一切基础的增强型 LLM（检索·工具·记忆），并逐一讲解五种工作流模式（提示链·路由·并行化·编排者-工作者·评估者-优化者）各自的适用场景与示例。同时坦诚地写下自主智能体究竟是什么、何时该用智能体取代工作流，以及过度设计·失控循环·成本/延迟等失败模式。目标是为开发者和 AI 智能体提

  2026-07-11 · 14 分钟阅读 #ai#agents#llm#engineering#anthropic

• 为每一步选择该思考多少 — Ares 的自适应推理努力路由

  本文从实践角度梳理了 Ares（2026 年 3 月的预印本）。这篇论文把推理努力当作以步骤为单位的成本杠杆，而不是任务整体层面的选择。一个轻量级路由器查看交互历史，预测每一步所需的最低推理级别，从而减少让所有步骤都以最大努力运行的浪费。作者报告称，在 TAU-Bench、BrowseComp-Plus、WebArena 上，推理 token 最多削减了 52.7%，而成功率下降甚微——但这是未经独立验证的作者自报数值。本文一并讨论路由

  2026-07-11 · 7 分钟阅读 #ai#agents#llm#efficiency

• 从 UniClawBench 看 2026 年的智能体基准测试 — 存活容器与隐藏的监督者

  香港大学(HKU)MMLab 于 2026 年 7 月投稿到 arXiv 的 UniClawBench,是一个标榜"能力驱动(capability-driven)"的主动式智能体基准测试。它不再与预先静态记录好的标准答案做比对,而是在存活的 Docker 容器中用步骤级检查点来评分,并以执行者、隐藏的监督者、用户智能体组成的闭环来模拟多轮反馈。其核心在于:把 400 个双语任务划分为五种能力,并力图将基座模型的实力与智能体框架的设计分开

  2026-07-11 · 9 分钟阅读 #ai#agents#evaluation#benchmark#llm

• 想得更多不等于答得更对：测试时计算与过度思考

  2026年4月，Shu Zhou 等6人在 "When More Thinking Hurts" 中，对一味增加推理 token 的潮流正面提出质疑。据作者们报告，计算预算越大，额外推理 token 的边际效用就下降得越多，而从某个点开始，模型会陷入"过度思考"，亲手推翻自己此前已经答对的答案。最优思考长度因问题难度而各不相同，因此给所有问题相同预算的做法并不高效。摘要并未给出具体的模型名称或数值，所以我只谨慎地带回方向性。

  2026-07-11 · 10 分钟阅读 #ai#llm#reasoning#inference#test-time-compute

• LLM 倦怠 — 当工作从"创造"变为"审阅"

  开发者 Alec Scollon 的随笔《I Think I Have LLM Burnout》在 Hacker News 上引发热议。因为它精准地道出了这样一种感受：一天的工作从"编写"代码，悄然变成了"审阅"模型写出的东西。本文忠实地梳理他的观点，并补上一份平衡的视角。生成变便宜了，验证却没有，审阅 AI 的输出是实实在在的认知劳动。工具在样板代码和陌生领域里能显出价值，但疲惫来自同样错误的反复、频繁的上下文切换，以及"把一切都塞进

  2026-07-11 · 10 分钟阅读 #llm#developer-experience#burnout#ai-tooling#code-review

• 扩散 LLM 会写 CUDA 内核 — DICE,以及并行生成为何可能有效

  DICE 是 2026 年 2 月的一篇预印本,它主张扩散(diffusion)大语言模型在 CUDA 内核生成上超越了同规模的自回归(autoregressive)模型,创下了新的最高性能(SOTA)。核心思路是:与其把 token 从左到右逐个写出,不如并行生成整个序列,并可以在任意位置非顺序地改写 — 这一性质似乎很适合全局结构至关重要的代码任务。作者用一个名为 CuKe 的 SFT 数据集和两阶段强化学习(BiC-RL)训练了

  2026-07-11 · 10 分钟阅读 #ai#llm#diffusion#cuda#gpu

• 生产级 RAG 模式 — 朴素 RAG 为何失败，以及真正管用的技法

  演示版 RAG 半小时就能做出来，但在生产环境中悄然崩坏的地方，大多不是生成，而是检索。本文把分块、嵌入与混合检索（BM25 + 向量）、重排序、上下文检索、查询改写以及评估逐一梳理，讲清每一项各自是什么、何时有用、又要付出什么代价。只引用像 Anthropic 上下文检索数值那样有出处的数字，并坦率地指出 RAG 并非魔法、最终终究要用自己的数据来评估。

  2026-07-11 · 15 分钟阅读 #ai#rag#llm#retrieval#embeddings

• LLM 训练数据预处理完全指南 — 从网页抓取到 Token 打包，附最新论文

  好模型来自好数据，好数据来自预处理流水线。本文逐步讲解预训练数据要经过的全部工序 — 网页抓取采集 → 正文抽取 → 语言识别 → 启发式规则与分类器结合的质量过滤 → 精确去重与近似(MinHash)去重 → PII·毒性处理 → 基准测试污染清除 → 分词与序列打包，并介绍 SFT 数据整理的要点、datatrove、Dolma、NeMo Curator 等工具，以及从 The Pile 到 FineWeb、DCLM 这些改变了这一

  2026-07-09 · 12 分钟阅读 #ai#llm#data-engineering#preprocessing#training