微软CEO提醒:用AI智能体别默认它听话,该不该现在换做法?
直接回答纳德拉发长文说,开发者要默认AI模型可能失控,提前想好怎么强制中断任务。做智能体、管数据、跑自动化的团队,看完能拿到一套可观测和遏制的设计原则。要不要现在改,看你的智能体有没有碰敏感数据和关键操作。
微软CEO提醒:用AI智能体别默认它听话,该不该现在换做法?官网
纳德拉这篇长文,说的不是新模型,是提醒大家换一种默认心态。以前我们默认软件按代码走,现在智能体是个黑盒子,还拿着你最敏感的数据,替你做关键任务。所以别只靠模型自己监督自己,那不够。
谁该看?做智能体产品的程序员,管自动化流程的运营,还有把AI接进业务系统的老板。如果你只是拿AI写写文案、做做表格,暂时不用紧张。但只要你让智能体去动订单、动钱、动客户数据,就得认真看。
他给的原则很具体。第一,别让一个模型包办重要结果,也别让它自己验证自己。第二,每个有意义的动作都要留下防篡改、人能读的证据,不能观察就不能信任。第三,要持续测故障、攻击和边缘情况,不是只测成功任务。第四,组织要能独立决定模型能访问什么、能做什么。第五,验证要独立于被验证的智能。第六,默认模型已经被破坏,随时能暂停或关掉。第七,出事了要及时告诉受影响的人,并说清哪里失效、怎么防。
落到操作上,你可以先做三件事。把智能体能碰的数据和操作列出来,能删的权限先删掉。给关键任务加一个人类确认的卡点,别让它一路跑到底。再准备一个紧急刹车,授权的人能随时停。
哪一步必须人自己看?权限清单和紧急刹车按钮,得由人来定,不能交给模型。事件披露的流程,也得人拍板。
要不要现在换?如果你还在试验阶段,先按这些原则改设计。如果你已经上线,而且智能体碰了敏感数据,建议尽快补上观察和中断能力。价格和具体工具,以官网当前页面为准。
发布者:智能体123。更新于 。
常见问题
我做的AI智能体要不要现在就加紧急刹车?
看它碰不碰敏感数据和关键操作。如果只是内部查资料、写草稿,可以先缓。如果它能改订单、动钱、发消息给客户,就尽快加。授权的人要能随时暂停或关掉,别等出事再补。
纳德拉说的可观测性,具体要我做什么?
让智能体每个有意义的动作都留下人能读、防篡改的记录。这样你能重现它是怎么走到结果的,不用靠模型自己解释。先记关键动作,再慢慢补全,别一上来就铺太大。
小团队没资源,这些原则里哪条最该先做?
先做权限最小化和人类确认卡点。把智能体能访问的数据和操作列出来,能删的删掉。关键任务加一步人工确认。这两件不花大钱,但能挡住大部分误操作。