AI身份识别中的幻觉问题：自动化系统的隐患与应对之道

机器人的视觉能力正在持续提升。它们可以追踪仓库通道中的工人、识别前台访客、将人脸与配送单据匹配，或在销售代表进入会议室前调出客户档案。

越来越多的自动化系统还能超越摄像头本身的功能，通过查询语言模型来为视觉识别补充上下文信息：这个人是谁、从事什么工作、在哪些网络平台留下了足迹，以及其公开信息是否与存档记录一致。

然而，第二个环节正是问题悄然滋生之处。摄像头的价值取决于它所关联的身份信息是否准确，而当大语言模型被要求根据公开数据对某人进行概括时，往往会凭空捏造细节、将同名不同人的信息混为一谈，或是自信满满地呈现一个根本不存在的人物档案。

对于正在构建涉及人力资源筛选、门禁管理、客户服务或任何包含人员参与的工作流程的机器人与自动化团队来说，单一模型的身份查询已成为一个严峻的可靠性问题。

身份感知自动化的广泛应用

身份感知自动化并不局限于机场和边检系统，如今它已深入到日常商业工作流程之中。接待区和展览空间的仿人机器人会按名字问候访客；酒店和医院的服务机器人将人脸与房间号进行匹配；建立在视觉系统之上的人力资源平台会在面试前交叉比对公开档案；现场服务调度工具会在分配任务前对技术人员和客户进行画像；甚至仓储和物流自动化也越来越多地在交接环节触及身份信息，即包裹与收件人对接的那一刻。

这些系统背后的运作逻辑大致相同：机器人、摄像头或调度引擎检测到与某人相关的信号，然后由下游AI服务对其进行解读。而解读层几乎无一例外地使用大语言模型或基于大语言模型构建的处理管道。

这些模型存在有据可查的幻觉问题。斯坦福大学研究人员发现，主流模型在处理法律查询时，幻觉率在58%至88%之间；而在EMNLP 2025上发布的一项最新多语言基准测试显示，即便是常规知识类任务，30种语言、11个模型的平均幻觉率仍然远高于零。

当任务是识别某个具体的人时，这些数字便从学术话题演变为真实的设计风险。

三类核心失效模式

基于公开数据的身份摘要生成，对大语言模型而言是一个出乎意料的难题，主要体现在三类失效模式上。

第一，同名混淆。当被询问”软件工程师约翰·罗德里格斯”时，单一模型会毫不犹豫地将五个不同的人合并成一份言之凿凿的人物传记，内部不存在任何机制来核实领英档案、会议演讲和专利申请是否属于同一个人。

第二，推测性填充。当公开记录匮乏时，模型会主动填补空白，编造雇主、资质证书、地理位置和发表成果。这类输出看起来条理清晰，而这恰恰是安全关键型身份识别环节最糟糕的特性。美国国家标准与技术研究院（NIST）的生成式AI概况将这一行为定义为”虚构”，并将其列为一类独立风险，尤其是在用户容易受到自动化偏见影响、不加核实地接受听起来合理的输出时。

第三，数据陈旧。基于六个月前训练或检索的数据的模型，无法感知到某人已经换了工作、注销了账号或更新了资质证书。这一问题在机器人被部署于高管办公室、医疗场所或面向客户的环境中时尤为突出，因为在这些场合，错误的背景简报比没有简报更具危害性。

这三类问题的共同根源在于：用一个模型同时承担了多个角色，即在没有任何二次验证的情况下，同时完成检索、消歧和综合三项工作。

来自密歇根大学的一项研究表明，人类在机器人犯三次错误后就会停止信任，且没有任何补救策略能够完全恢复这种信任。对于任何会说出某人姓名或引用个人信息的机器人来说，一次幻觉式的身份错误，正是那种会持续发酵的错误类型。

传感器融合的逻辑同样适用于AI身份识别

机器人团队在硬件层面已经普遍采用共识机制。传感器融合将激光雷达、雷达和视觉信息结合在一起，原因正是没有任何单一传感器在所有环境下都可靠。

同样的逻辑也适用于AI驱动的身份识别。如果单一模型在某些查询上不可靠，那么合理的解决方案就是同时询问多个模型，只保留它们达成共识的部分。这与NIST人工智能风险管理框架中定义的”有效且可靠”这一可信度特征相吻合，该框架将可靠性视为任何其他可信AI属性的基线条件。

这一理念体现在翻译公司Tomedes开发的一款免费工具”What AI Knows About Me”上。该工具接受姓名、电子邮件、用户名或URL作为输入，通过一项名为SMART的功能返回公开足迹摘要。SMART将输入同时发送给多个主流AI模型，将每个模型的响应拆分成若干片段，并只保留多数模型达成共识的版本，低共识度的内容在摘要生成前被过滤掉。

最终生成的档案比任何单一模型独立生成的结果都更为简短保守。对于机器人和自动化应用场景而言，这种取舍恰到好处——一个简明且附有置信度评分的答案，远比一个长篇大论却可能是虚构的档案更具可操作性。

共识过滤后的身份查询实际效果

理解这款工具的运作方式，有助于直观认识共识过滤后的身份查询在输出层面的实际表现。

用户输入一个信息，例如全名或领英主页地址，工具将查询并行发送给多个主流模型，各模型返回各自对该人公开足迹的最优判断，SMART层随后逐段比对各模型的输出：多数模型认同的片段予以保留，存在分歧或含有推测成分的片段则被丢弃，用户最终看到的是一份仅由共识内容重新拼合而成的摘要。

对于将此视为设计参考而非消费者产品的机器人团队而言，值得关注的是该工具在界面层面的设计选择。输出结果免费获取，无需注册，并明确标注了其局限性。Tomedes清晰声明，该工具仅反映公开信号，不应作为招聘、安全或合规决策的唯一依据。

这一表述的意义在于：它提醒用户，基于共识的身份数据只是一个辅助层，而非权威来源——同样的告诫，也应当出现在所有据此采取行动的自动化系统中。

身份识别多模型化的实践启示

将身份识别视为多模型问题而非单一模型问题，可以得出以下几点实践启示。

将单一模型的身份调用视为潜在风险。如果机器人、聊天机器人或工作流程援引了某个具名人员的个人信息，该信息应当能够追溯到多个来源，否则就是随时可能引发的幻觉。

暴露置信度，而不仅仅是内容。消费者用户可以接受模糊的摘要，但工业系统不能。机器人背后的任何身份识别层都需要对每条声明赋予置信度评分，并且机器人需要明确的策略来应对置信度低于阈值的情况。

将传感器与解读器分离。视觉系统负责检测和匹配，大语言模型负责解读，混淆这两个环节，正是仓库机器人以错误职位头衔介绍访客的根源所在。

为拒绝行动进行设计。任何身份识别系统最重要的能力，是知道何时保持沉默。一款能够过滤低共识声明的工具，正是在内容层面展示这一能力；机器人和自动化工作流程在行动层面同样需要这一选项。

可靠性是下一阶段的核心命题

机器人行业在过去几年中快速吸收了生成式AI技术栈。感知基础模型、视觉-语言-行动系统和合成数据管道已成为现代机器人路线图的标准组成部分。

下一阶段则不那么光鲜，但更为关键，核心在于可靠性而非能力。对于那些围绕人员做出决策或在人员面前运作的系统，必须以同样的方式赢得信任，就像其他安全相关组件通过冗余和交叉验证赢得信任一样。

Tomedes的AI负责人Rachelle如此概括：”单一模型对某人的描述只是一个初步猜测，而非经过核实的事实。如今能从公开网络获得的唯一可靠信号，是多个模型独立得出的共同结论。其他一切不过是一个听起来合理的故事。”

对于正在构建下一代机器人和自动化系统的团队而言，设计含义是直接的：共识不是锦上添花的功能，而是任何触及人员的AI层所必须达到的最低可靠性标准。

Q&A

Q1：AI身份识别中的幻觉问题具体指什么？

A：AI身份识别中的幻觉问题，是指大语言模型在根据公开数据生成某人档案时，会捏造不存在的细节、将同名不同人的信息混为一谈，或对根本不存在的人物生成看似可信的描述。斯坦福研究显示，主流模型在法律查询中的幻觉率高达58%至88%，当任务是识别具体人员时，这一问题将直接演变为设计层面的风险。

Q2：SMART多模型共识机制是如何工作的？

A：SMART是Tomedes开发的工具”What AI Knows About Me”中的核心功能。它将用户输入的姓名、邮箱或URL同时发送给多个主流AI模型，分别获取各模型对该人公开足迹的描述，再逐段比对各模型的输出，只保留多数模型认同的内容，过滤掉存在分歧或含推测成分的片段，最终生成一份更简短、更保守但也更可靠的身份摘要。

Q3：机器人系统在身份识别环节应该采取哪些设计措施来降低风险？

A：主要有四点建议：一是不依赖单一模型进行身份判断，所有个人信息应可追溯至多个来源；二是为每条身份声明附加置信度评分，并设定低置信度时的应对策略；三是明确区分视觉检测系统和语言模型解读系统，避免职责混淆；四是赋予系统”拒绝行动”的能力，在共识不足时选择保持沉默，而非输出不可靠的结论。