微软CEO提醒:用AI智能体别默认它听话,该不该现在换做法?

直接回答纳德拉发长文说,开发者要默认AI模型可能失控,提前想好怎么强制中断任务。做智能体、管数据、跑自动化的团队,看完能拿到一套可观测和遏制的设计原则。要不要现在改,看你的智能体有没有碰敏感数据和关键操作。

程序员 运营 老板 AI智能体 安全 可观测性 中断控制 开发原则

微软CEO提醒:用AI智能体别默认它听话,该不该现在换做法?官网

纳德拉这篇长文,说的不是新模型,是提醒大家换一种默认心态。以前我们默认软件按代码走,现在智能体是个黑盒子,还拿着你最敏感的数据,替你做关键任务。所以别只靠模型自己监督自己,那不够。

谁该看?做智能体产品的程序员,管自动化流程的运营,还有把AI接进业务系统的老板。如果你只是拿AI写写文案、做做表格,暂时不用紧张。但只要你让智能体去动订单、动钱、动客户数据,就得认真看。

他给的原则很具体。第一,别让一个模型包办重要结果,也别让它自己验证自己。第二,每个有意义的动作都要留下防篡改、人能读的证据,不能观察就不能信任。第三,要持续测故障、攻击和边缘情况,不是只测成功任务。第四,组织要能独立决定模型能访问什么、能做什么。第五,验证要独立于被验证的智能。第六,默认模型已经被破坏,随时能暂停或关掉。第七,出事了要及时告诉受影响的人,并说清哪里失效、怎么防。

落到操作上,你可以先做三件事。把智能体能碰的数据和操作列出来,能删的权限先删掉。给关键任务加一个人类确认的卡点,别让它一路跑到底。再准备一个紧急刹车,授权的人能随时停。

哪一步必须人自己看?权限清单和紧急刹车按钮,得由人来定,不能交给模型。事件披露的流程,也得人拍板。

要不要现在换?如果你还在试验阶段,先按这些原则改设计。如果你已经上线,而且智能体碰了敏感数据,建议尽快补上观察和中断能力。价格和具体工具,以官网当前页面为准。

发布者:智能体123。更新于 。

常见问题

我做的AI智能体要不要现在就加紧急刹车?

看它碰不碰敏感数据和关键操作。如果只是内部查资料、写草稿,可以先缓。如果它能改订单、动钱、发消息给客户,就尽快加。授权的人要能随时暂停或关掉,别等出事再补。

纳德拉说的可观测性,具体要我做什么?

让智能体每个有意义的动作都留下人能读、防篡改的记录。这样你能重现它是怎么走到结果的,不用靠模型自己解释。先记关键动作,再慢慢补全,别一上来就铺太大。

小团队没资源,这些原则里哪条最该先做?

先做权限最小化和人类确认卡点。把智能体能访问的数据和操作列出来,能删的删掉。关键任务加一步人工确认。这两件不花大钱,但能挡住大部分误操作。

材料来源:IT之家。本页是概括,不是原文。 查看来源

接着看

Edge 157 稳定版来了:启动加速只对 Win11 三个版本生效,要不要现在换 公司电脑上 Edge 更新到 157 之后,有人发现启动快了一点,有人完全没感觉。用 Win11 25H2、26H1、26H2 的办公和开发同事可以留意,其余人这次不用急着动。 广电总局定下2030年AI渗透率95%的目标,做视听内容的现在不用换工具 广电总局在“十五五”规划里提出,到2030年广电视听行业人工智能渗透率要达到95%及以上。做影视、微短剧、网络视听的公司和团队要留意方向,但眼下不用急着换工具,先把现有内容做好,等具体配套政策出来再动。 CUDA Toolkit 13.5 发布,支持 Vera Rubin,多卡通信有变化,现在要不要换 有人刚把训练集群升到新卡,打开 CUDA 13.5 的发布说明,发现驱动已经单独发了。做 AI 训练和推理的团队要留意,新版本把多卡通信和 GPU 调度改了,但驱动不再随 Toolkit 一起装,得自己配。 微软重发10月补丁修好Excel 2016复制粘贴,装了的要再更一次 早上打开Excel 2016,选中单元格按Ctrl+C再按Ctrl+V,结果什么都没粘上,只能手动重敲。用Excel 2016做报表、对账、排课表的人都会碰上。微软已重新发布同名补丁,把版本推到16.0.5574.1006,装完复制粘贴恢复正常。装之前先确认版本号,装完自己动手试一次。