AI让世界更美好？

看完 Anthropic 9 月 10 日那份威胁报告，又跟 AI 讨论了一阵子，我也有自己的想法想说。

AI 本来是提高生产力的，但是被滥用了，而且还将是长期被滥用，用于武器、监控、基础设施攻击，而且通过分布式请求、任务拆解无害化处理，很难及时抓取到特征。滥用的现状长期不能被解决，一是因为目前这种分布式的无害化对话组合风险无法第一时间去除，另一个是开源社区有很多专门处理过的无审核版本模型，只要有一个国家滥用，其他就会紧跟着，一定会搞军备竞赛。所以 AI 能否让我们的生活变得更美好，需要打上一个问号了，它可能会更快导致人类文明爆发冲突、消亡，加快了进程。目前来看我还是希望世界和平，希望一切能形成一个平衡、规范。

一、什么是AI滥用

以 Anthropic 的使用政策为例子，为什么这几件事不能让 AI 掺和：

一、武器。

禁止生产、改造、设计或非法获取武器、爆炸物和危险材料，设计武器化与投送流程，规避武器管制，以及合成高当量炸药和生化放核武器及其前体。

如果 AI 被允许和用户一路讨论下去，那接下来你将面对的是：

生物武器，也就是病原体。它和别的武器有个根本区别——它会自己传播，放出去之后连投放的人都控制不了，也分不清敌我。疫情是什么样子大家刚经历过，那还只是自然发生的。

化学武器，指沙林、芥子气这类军用毒剂，一次泄漏就是一整片街区，而且中毒之后留给救治的时间是按分钟算的。

核与放射性，它的后果按几十年计，被污染的土地是没有办法处理的

二、关键基础设施。

禁止破坏或扰乱电网、水处理、医疗设备、电信网络、空管系统，也禁止未经授权进入投票、医疗、金融系统。

如果 AI 被允许陪人分析某个电网调度系统怎么打进去，如果导致停一次电，先出事的是靠呼吸机的那个病人、正在进行的那台手术、红绿灯全灭的那个路口。这类系统的共同点是所有人都在用，影响范围巨大。

三、计算机与网络。

禁止未经授权挖掘或利用漏洞、编写恶意代码和勒索软件、制作拒绝服务工具和持久化后门、绕过安全控制。

如果 AI 被允许不设限地陪人挖漏洞，那么攻守两边的成本会一起降，但防守方要把所有洞都补上，进攻方只需要找到一个，最终的后果就是网络攻击不断，不光维护成本升高，还可能造成严重的数据泄露事件，互联网还将演变为黑暗森林！

四、监控与生物特征。

禁止未经同意追踪一个人的位置、情绪或通信，禁止人脸识别与预测式警务，也禁止用生物特征去推断种族、政治观点、宗教信仰、性取向。

如果 AI 被允许从一张脸推断出这个人的宗教或性取向，那么这件事情本来就是不公平的。人一出生就被判为无罪，标签和歧视将伴随一生，HR根据面相判断一个人的能力，一个群体被系统判定为高犯罪群体，事情不发生到你头上时，你说不定还会跟风一下，一旦影响到自己的时候，你已经深陷泥潭了没人会在乎你说的是什么。就像世界上很多在发生的有色人种歧视一样，大家还会调侃，会把这种事情当一个玩笑，还会主动开人种的歧视玩笑。但是如果你是被歧视的一方呢，你又将如何发声？

生物特征伴随一生。密码泄露了可以改，脸和指纹泄露了是一辈子的事，一旦进了某个识别系统，个人几乎没有退出的可能。欧盟《人工智能法》把这类推断直接列进禁止用途。

五、选举与政治影响。

禁止按个人画像做定向拉票、制造虚假的政治运动、大规模生成隐瞒机器来源的信息、伪造政客的合成媒体。

如果 AI 被允许批量生产看起来各自独立的声音，去操作舆论，影响互联网，那么被污染的不是「观点」，而是大众本身是谁来决定的这个问题。

二、分布式请求、任务拆解无害化，很难及时抓到特征

模型在一次对话里只看得到眼前这一段，它不知道你是谁、用哪个邮箱注册的、另外几千个账号在干什么。而滥用者的手法朴素得可怕：把一个危险目标拆成一串正常请求（「写个无人机飞控程序」「优化目标跟踪算法」，单独看都是标准的机器人和计算机视觉活儿；挖漏洞那条流程——加载固件、反编译、形成假设、写验证代码——每一步也都是安全研究员天天在做的事）。

「无害」这个判断是在单条请求这个尺度上成立的，而恶意只在更高的尺度上才存在。要在第一时间去掉它，等于要求模型在只看到一个零件的时候，判断出整台机器要拿来干什么。在这种信息不对称的背景下，往往事情已经做完了，模型才会反应过来。最后只能是快速发现，做不到事前阻止；何况攻击方还会反过来适应检测。

三、无审查版本

把一个带护栏的模型变成不带护栏的，今天成本低到不像话：可以直接把「拒绝」去除掉。这篇研究发现，13 个从 18 亿到 720 亿参数的开源对话模型上，「拒绝」这个行为基本由残差流里的一个方向决定，把那个方向从权重里减掉，模型就几乎不再拒绝任何东西，而且照样能正常干活，只需要花不到 200 美元就能微调。开源社区 HuggingFace 上专门收录这类模型的目录，条目已经上万。

所以哪怕哪家公司把检测做到极致，想要滥用还是没法阻止的

四、军备竞赛

前两条讲的是技术上堵不住，但是现实的国家、地方层面中，就算技术上可行，也没人会先停手。

囚徒困境：对任何一方来说，收益排序都是：我有对方没有 > 双方都没有 > 双方都有 > 对方有我没有，于是双方理性推演的结果，都是各自去滥用AI做一切事情，最后落到一个双方都不满意的均衡里。

承诺无效：意图会变，政权会换届，承诺可以撕毁，但能力一旦形成就是既成事实。所以军事规划的通行逻辑是假定对手会用上他所拥有的一切。

无法核查：AI是软件，可以复制、可以转移、可以在普通数据中心里训练。没有核查手段，条约就只能靠自觉，而没人敢把安全押在对手的自觉上。

双重属性：挖漏洞的能力和补漏洞的能力是同一种能力，无人机避障和自动瞄准共用同一套视觉算法。既然无法从技术上把“军用”切出来单独禁止，那么任何限制都会同时削弱民用，这就让限制在国内政治上极难通过。

加速压迫：当对手的决策和行动进入机器速度，“保留人类审批环节”就从审慎变成了劣势。这会产生“不用就会失去”的压力，推动各方不断压缩人在回路中的比重。这是自动化军备竞赛特有的、最危险的一种加速机制。

五、AI 让生活更美好？

用人工智能建设美好世界一直是人们的美好愿景，但是我最后想到的最不安的一点就是：AI 未必是把人类带向一个原本不会有的结局，而是把原本就在走的那个结局提前了。

冲突的意愿、猜疑、抢先动手的动机，这些东西一直都在，军事竞赛/危险品制造一直在进行，并不是在AI之后才出现的。它做的事只是把门槛大大降低，以前一个团队，一个组织才能做成的事情，今天只需要一个人，一帮AI。几个在校本科生可以撑起一条不间断运转的挖洞流水线，放几年前都得是一个团队才能干的活。

门槛一低，出手的人就多，试错就快，从猜疑到动手之间的那段缓冲就短。所以我担心的不是 AI 让人类变坏，是它让本来还有时间商量的事情，来不及商量。

我们大概拦不住AI浪潮，愿这场浪潮里，我们既不做盲目的乐观者，也不做无力的悲观者，而是做那个还愿意独立思考的人。