标签: #ai
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 110 篇
一个 Issue,捅穿整条供应链 — CI 里的智能体是怎么垮的,以及防御到底买到了多少时间
2026 年 6 月 1 日,GMO Flatt Security 的 RyotaK 公开的 Claude Code GitHub Actions 漏洞,完整追踪了闯入 CI 流水线的智能体是如何变成一条能把整个仓库拱手让出的通道的。一行“是机器人就放行”的判断击穿了信任边界,埋在 issue 正文里的指令变成了命令,一条看似只读的命令变成了泄露通道。本文在架构层面拆解了这条路径,并逐一剖析了 Anthropic 实际部署的防御手段。同
2026-07-16 · 33 分钟阅读 #security#ai#prompt-injection#supply-chain#ci-cd从文档到知识图谱 — 一条诚实的构建流水线
「从文档里抽出知识图谱」在演示里看起来就是一次 LLM 调用。但把客户的文档真正变成一张可查询的图,是一条六段式的流水线,而成本与痛苦的大部分不在抽取,而在实体解析。本文诚实地梳理:为什么要先定好模式(本体)、基于 LLM 的模式约束抽取(LangChain 的 LLMGraphTransformer、LlamaIndex 的 Simple/Schema/Dynamic 抽取器、Microsoft GraphRAG 的索引流水线)与传统
2026-07-15 · 15 分钟阅读 #knowledge-graph#ai#llm#data-engineeringGraph RAG 是什么 — 向量 RAG 卡壳的地方,以及它值回成本的那一刻
RAG 的标准配方(分块 → 嵌入 → 检索前 k 个)在答案完整落在某一个片段里时很好用,但在多跳问题、以及贯穿整个语料库的全局「意义建构」问题上会结构性地卡住。Microsoft 的 GraphRAG 正是瞄准这两处盲区 — 用 LLM 从语料库里抽取知识图谱,用 Leiden 算法找出社区并预先生成摘要。此后,全局问题用社区摘要的映射-归约来回答,局部问题则用以实体为中心的图探索来回答。本文梳理了向量 RAG 卡住的地方、Grap
2026-07-15 · 14 分钟阅读 #rag#graph-rag#knowledge-graph#ai#llm当代码生成变得廉价,哪些技能会升值 — 贬值的与升值的
当代码生成变得廉价而充裕,价值不会消失,而是会转移 — 转移到仍然是瓶颈的那一侧。眼下这个瓶颈是验证、判断与集成。本文基于 Jason Wei 的「验证的不对称性」、DORA 2025(吞吐量上去了,但交付不稳定性仍在持续攀升)、LinearB 对 810 万个 PR 的分析(AI 生成的 PR 等待评审的时间长 4.6 倍)、Stack Overflow 2025(66% 的开发者把「几乎正确但又不完全正确」列为头号困扰),梳理了什么
2026-07-12 · 22 分钟阅读 #career#software-engineering#ai#skills#code-review什么该学深,什么该略过 — AI 什么都能答的时代,如何制定学习策略
AI 3 秒就能答出几乎一切的时代,什么该学深,什么该略过。认知心理学给出的答案并不讨喜。造就记忆的不是看见信息这一行为,而是自己把它提取出来这一行为。在 Roediger 与 Karpicke 的实验中,把文章平均通读 14.2 遍的一组,一周后只记住了 40%,而只读了 3.4 遍、却靠自己回想的一组记住了 61%。而且,记得更少的那一组反而对自己更有信心。把提取外包给 AI,最后留下的恰恰只有那份信心。本文提出的不是一份书单,而是
2026-07-12 · 20 分钟阅读 #career#learning#ai#software-engineeringAI 真的让开发者更快了吗 — 被测量出来的数字说了什么
两项随机对照试验给出了截然相反的答案。一项说用了 AI 的开发者快了 55.8%,另一项说慢了 19%。可是给出后一个数字的 METR,在 2026 年 2 月发布后续研究的同时,亲手在 2025 年的结果上挂起了一条警告横幅:它已经不再反映当下 AI 模型的影响。故事并没有就此消失,反而变得更锋利 — 因为连后续实验都被参与者的自我选择偏差绊住,无法确定效应的符号。而且有一项发现始终没有被撤回:那些慢了 19% 的开发者,在做完实验之
2026-07-12 · 29 分钟阅读 #career#ai#productivity#software-engineering#developer-experience与 AI 编程工具良好协作的五个习惯
同一件工具,在一个实验里带来了 55.8% 的收益,在另一个实验里造成了 19% 的损失。改变符号的不是工具,而是用法。从 METR、GitHub Copilot 的 RCT、Stack Overflow 调查以及 Anthropic 的智能体设计文档中提炼出的五个习惯 — 任务选择、评审预算、机器护栏、上下文设计、自我度量。每一个都以一条你能亲手验证的规则收尾。
2026-07-12 · 16 分钟阅读 #ai#productivity#software-engineering#developer-experience即使 AI 来维护你的代码,也要为人类而写
2026 年 7 月 10 日,Scott Robinson 把一句老格言拧了个弯,让它重新焕发生机。由于 LLM 会把你的代码库当作风格指南来读,你合并进去的每一条捷径,都会成为模型以机器规模回敬给你的训练数据。在梳理了重复的访问权限检查示例,以及他那句“LLM 是海绵”之后,本文抛出一个更难的问题:当下一个维护者是机器时,为人类而写是否依然重要?依然重要。因为人类仍要评审和调试,而正是清晰让 diff 变得可评审。
2026-07-11 · 10 分钟阅读 #ai#llm#code-quality#maintainability#craftRLHF 模型为何会钻奖励的空子——奖励破解的机制、症状与缓解方向
Xiaohua Wang 等 23 人于 2026 年 4 月发布在 arXiv 上的《Reward Hacking in the Era of Large Models》,是一篇梳理经 RLHF 对齐的大型模型为何、如何在奖励信号上钻空子的综述。核心提议是把奖励破解理解为目标压缩、优化放大、评估者–策略共同进化这三种力量的"代理压缩假说(PCH)"。它把可辨认的症状汇于一处:冗长偏好、谄媚、看似有理却错误的依据、基准过拟合,以及多模态
2026-07-11 · 9 分钟阅读 #ai#llm#alignment#rlhf#safetyModel Context Protocol(MCP)参考手册 — 将 AI 连接到外部世界的开放标准
Model Context Protocol(MCP)是一个把应用向 LLM 提供上下文的方式标准化的开放协议。本文是一份基于官方文档、面向工程师的 MCP 参考 — 为什么它能解决 M×N 集成问题,主机、客户端、服务器结构与两个层(数据/传输),三种服务器原语(工具、资源、提示),stdio 与 Streamable HTTP 传输。还涵盖了如何设计服务器,以及安全性、成熟度上诚实的取舍。
2026-07-11 · 10 分钟阅读 #mcp#ai#agents#llm#protocolRTX 5090 单卡亲手跑几个小模型 — microGPT·OCR·音乐生成
用一张 RTX 5090(Blackwell,32GB),通过 SSH 连上去直接跑了三个小模型。从零开始用 28 秒训练出一个 char-level GPT(10.75M 参数,117 万 tokens/s),把专用 OCR(TrOCR)和小型 VLM(Qwen2-VL-2B)放到同一张图上用 CER 一决高下,再用 MusicGen 在 1.9 秒(实时的 4.2 倍)里生成一段 8 秒的音乐。连同过程中遇到的那些诚实的陷阱 — 没
2026-07-11 · 10 分钟阅读 #pytorch#gpu#llm#ocr#hands-on用 Hybrid SWA 优化长上下文推理 — Xiaomi MiMo v2.5 实际做了什么
把滑动窗口注意力(SWA)与全注意力按层混合的混合 SWA,是最近同时削减长上下文推理 KV 缓存内存与计算量的主流设计。本文以 Xiaomi 公开的 MiMo v2.5 推理优化文章为依据,梳理混合 SWA 是什么、为什么重要,MiMo v2.5 实际做了哪些架构与系统工程(70 层中仅 10 层全注意力、窗口 128、理论上约 7 倍削减),以及诚实地看它缺了什么。结论是与上一篇量子化文章相同的战场 — KV 缓存 — 只是从另一个
2026-07-11 · 13 分钟阅读 #ai#llm#inference#attention#optimization解读 Microsoft Flint — 让智能体绘制图表的可视化语言
Microsoft Research 公开的 Flint 并不是可视化智能体的语言,而是让 AI 智能体能够从数据中稳定地生成美观图表的中间语言。编译器会代替我们,从数据与语义类型中推导出比例尺、坐标轴、颜色、布局等低层决策,并把同一份规格编译为 Vega-Lite、ECharts、Chart.js。本文诚实地探讨 Flint 究竟是什么、解决了什么问题,以及智能体专用的可视化语言究竟是真正必要的构想,还是过度设计。
2026-07-11 · 9 分钟阅读 #ai#agents#data-visualization#llm#microsoft把预训练检查点变成长上下文混合模型 — HyLo 的升级改造配方
混合序列模型(注意力 + 线性·SSM 块)在长上下文上更有优势,但迄今为止大多需要从头重新预训练。2026 年 4 月的预印本 HyLo 提出了一份配方:只用廉价的后处理训练,就把已经训练好的 Transformer 检查点"升级改造"成混合模型 — 混入 MLA(潜在注意力)和 Mamba2、Gated DeltaNet 这类线性块,再叠加分阶段的长上下文训练与教师蒸馏。作者报告称,在把上下文最多拉长到 32 倍的同时,KV 缓存内
2026-07-11 · 9 分钟阅读 #ai#llm#long-context#architecture#efficiencyKV 缓存降到 4 比特 — SAW-INT4 与系统感知的 INT4 量化
在长上下文 LLM 服务中,真正的内存瓶颈不是权重,而是 KV 缓存。直接把它降到 INT4 会让精度崩溃,但 2026 年 4 月的预印本 SAW-INT4 报告说,在逐 token 的 INT4 量化之上再叠加块对角阿达玛旋转,就能几乎追回朴素 INT4 丢掉的精度。这篇论文真正的角度不只是精度,而是吞吐量 — 通过直接集成进分页 KV 缓存布局的融合旋转·量化内核,作者们称没有可测量的端到端开销,吞吐量与纯 INT4 相同。向量量
2026-07-11 · 11 分钟阅读 #ai#llm#quantization#inference#kv-cache在慢速电脑上跑 GLM-5.2 — colibrì 如何从磁盘流式加载 744B 模型
colibrì 是一个用纯 C 写成、约 1,300 行的推理引擎,能在内存 25GB 的消费级 PC 上运行 744B(7,440 亿)参数的 MoE 模型 GLM-5.2。关键在于 MoE 稀疏性与磁盘流式加载 — 只把约 9.9GB 的密集层常驻内存,约 370GB 的路由专家放在 NVMe SSD 上,每个 token 只读取需要的部分。代价是诚实地慢:冷启动约 0.05–0.1 tok/s,实际上每段落要花几分钟。它靠学习缓存
2026-07-11 · 7 分钟阅读 #ai#llm#local-inference#moe#quantization编程基准与智能体时代脱节 — 排行榜错误比较智能体的三个原因
Tessl 团队于 2026 年 6 月投稿到 arXiv 的立场论文主张,如今的编程基准与智能体式软件工程存在根本性的脱节。因为基准本是为衡量单个模型而造的,我们却拿它来比较由模型、执行框架(harness)、上下文、环境、反馈相互交织而成的整个系统。论文指出了三处具体的脱节 — 把模型与执行框架混为一谈的分数、单一正解评分惩罚了正当的替代方案、缺乏组件级信号因而无法引导改进。本文梳理这一论证,并推敲更好的评测应如何朝着组件级、多正解
2026-07-11 · 10 分钟阅读 #ai#agents#evaluation#software-engineering#coding-benchmarks构建高效的 AI 智能体 — 五种工作流模式与智能体参考指南
把 Anthropic 的工程指南《Building Effective Agents》整理成了一份实战参考。文中厘清工作流与智能体的准确区分,介绍作为一切基础的增强型 LLM(检索·工具·记忆),并逐一讲解五种工作流模式(提示链·路由·并行化·编排者-工作者·评估者-优化者)各自的适用场景与示例。同时坦诚地写下自主智能体究竟是什么、何时该用智能体取代工作流,以及过度设计·失控循环·成本/延迟等失败模式。目标是为开发者和 AI 智能体提
2026-07-11 · 14 分钟阅读 #ai#agents#llm#engineering#anthropic为每一步选择该思考多少 — Ares 的自适应推理努力路由
本文从实践角度梳理了 Ares(2026 年 3 月的预印本)。这篇论文把推理努力当作以步骤为单位的成本杠杆,而不是任务整体层面的选择。一个轻量级路由器查看交互历史,预测每一步所需的最低推理级别,从而减少让所有步骤都以最大努力运行的浪费。作者报告称,在 TAU-Bench、BrowseComp-Plus、WebArena 上,推理 token 最多削减了 52.7%,而成功率下降甚微——但这是未经独立验证的作者自报数值。本文一并讨论路由
2026-07-11 · 7 分钟阅读 #ai#agents#llm#efficiency从 UniClawBench 看 2026 年的智能体基准测试 — 存活容器与隐藏的监督者
香港大学(HKU)MMLab 于 2026 年 7 月投稿到 arXiv 的 UniClawBench,是一个标榜"能力驱动(capability-driven)"的主动式智能体基准测试。它不再与预先静态记录好的标准答案做比对,而是在存活的 Docker 容器中用步骤级检查点来评分,并以执行者、隐藏的监督者、用户智能体组成的闭环来模拟多轮反馈。其核心在于:把 400 个双语任务划分为五种能力,并力图将基座模型的实力与智能体框架的设计分开
2026-07-11 · 9 分钟阅读 #ai#agents#evaluation#benchmark#llm