当下与未来

结构性不可靠的地方

• 事实性陈述：会流畅地编造不存在的引用、法条、API 与数字——「幻觉」的根源是模型在预测下一个词，而不是在查询数据库。
• 精确计算与长链条推理：没有工具辅助时，多步算术与逻辑链越长越容易崩。
• 自身能力边界：模型通常不知道自己不知道什么，很少主动说「这超出我的能力」。
• 时间与状态：训练数据有时间截止，若没有检索工具，对最新事件会答错或过时。
• 高风险决策：医疗、法律、信贷等场景中，责任无法由模型承担。

共同特征：错误看起来同样自信，人类难以察觉。

可靠性与幻觉

模型优化目标是「生成看起来合理的文本」，这与「说出真相」并不等价。检索增强、工具调用与可验证推理是当前三条主要缓解路径，但没有一条能彻底解决。

衡量方式：事实准确率、引用可追溯率、幻觉率

可解释性

我们能测出模型的行为，却很难解释它为什么这样决策。对高风险领域而言，这既是监管障碍，也是改进模型的障碍——不知道原因就无法可靠地修复。

研究方向：机制可解释性、特征可视化、探针分析

数据与算力瓶颈

高质量人类文本正在接近枯竭，而算力与电力的扩张受物理条件约束。合成数据、数据筛选与更高效的架构成为必需，而不是可选项。

相关讨论：规模定律是否仍将延续、算力集中度

能耗与成本

训练与推理的电力消耗已进入数据中心规划的约束条件。推理需求随用户量线性增长，使「单位 token 成本」成为比模型参数更关键的商业指标。

研究方向：量化、蒸馏、稀疏化、专用推理芯片

版权与创作生态

训练数据中大量受版权保护的作品如何使用、生成内容是否享有著作权、创作者如何被补偿——这些问题在不同法域有截然不同的答案，且仍在诉讼与立法之中。

相关议题：数据授权、生成内容标识、收益分配

对齐与治理

「让系统做我们真正想要的」在技术上远比「让系统听话」困难。评测标准、红队测试、部署前审查、国际协调机制都处于快速搭建阶段，各国路径差异明显。

相关框架：风险分级、透明度义务、模型评测

加速派

主张：现有范式足以通向通用智能，关键在规模、算力与工程投入；能力会持续涌现，抵制的代价是错失一个时代的增长。

主要依据：过去十年能力随规模稳定提升，且多次打破「这不可能」的预测。

弱点：难以解释为什么纯预测式训练会带来因果理解与真正的规划能力。

谨慎派

主张：能力进步不可否认，但安全研究、评测机制与治理框架必须同步甚至先行；在无法验证系统行为之前，不应把关键决策交给它。

主要依据：模型行为难以完全预测，且能力越强，错误的后果越不可逆。

弱点：安全投入难以量化收益，容易被竞争者视为拖慢节奏。

怀疑派

主张：当前模型是强大的统计拟合器，缺少真正的世界模型与因果推理，「通用智能」被过度营销，短期会有大量承诺落空。

主要依据：模型在简单变换下的脆弱性、训练数据依赖与缺乏持续学习能力。

弱点：低估了工程规模化与「足够好」的实用性所带来的真实影响。