
本文来自微信公众号: HavenlonLabs ,作者:Havenlon Labs
凌晨三点,一座城市的大多数人仍在睡觉。几公里之外的水厂里,控制系统仍然在自动运行:泵站根据压力变化调整流量,阀门按照既定程序开启与关闭,传感器把设备状态持续回传到调度中心。整个过程几乎不需要人守在现场,也几乎不需要人临时干预。
对大多数居民来说,这些动作与"互联网"无关——它们属于水、管道和机械,属于城市基础设施中最沉默的那一部分。但事实上,它们早已被数字系统所控制。
过去二十年,我们习惯用"损失"来衡量一次网络攻击:一批文件消失,一份数据库外泄,一组账号被盗。这些代价可以被折算成金额、合规罚款,或者声誉修复所需要的时间。它们发生在数字空间里,也基本被数字空间所吸收。
真正的变化在于,今天一条错误的数字指令,可能不再只是让信息消失,而是直接改变现实世界的状态。水泵停止运转,阀门在不该开启的时刻开启,生产线停机,电网调度出现异常。2010年被公开披露的震网(Stuxnet)病毒,第一次让人们看到恶意代码可以损坏离心机这样的物理设备;2021年美国Colonial Pipeline的勒索软件事件则展示了另一条路径——攻击发生在信息系统一侧,但企业出于安全考虑主动关停了输油管道,现实世界的燃料供应随之中断。两件事的技术形态完全不同,指向却是一致的:数字世界第一次拥有了改变物理世界的能力。
这也是为什么,网络安全正在进入一个新的阶段。
过去,网络安全保护数据。未来,网络安全保护现实世界。
一、网络安全的保护对象正在发生变化
过去几十年,网络安全的核心问题其实非常明确:保护信息。我们保护数据库中的用户资料,保护服务器上的业务数据,保护账户密码与加密密钥。整个安全产业的技术积累、投入结构和衡量标准,都建立在"信息是否被正确地保存、传输和访问"这一前提之上。
围绕这个前提,安全体系逐渐收敛成几个基本问题:谁可以访问,谁拥有权限,谁执行了操作。身份认证、权限管理、访问控制,因此成为网络安全最重要的基础设施。它们回答的都是同一类问题——在一个以信息为中心的世界里,如何确认边界的两侧分别站着谁。
这套体系之所以长期有效,是因为在那个时代,绝大部分安全问题确实发生在数字空间之内。数据被窃取,系统被破坏,服务被中断。后果严重,但后果的形态是可以被追溯、被复制、被恢复的:备份可以还原,密钥可以轮换,账号可以重置。信息世界最大的优点,就是它允许重来一次。
但今天,越来越多的系统已经连接现实世界。工业控制系统、智能制造、能源网络、交通系统、机器人,以及未来大量由AI驱动的自动化设备,都正在成为数字世界与现实世界之间的接口。它们不再只是记录状态,而是持续地改写状态。
当一个系统不仅保存信息,还能够改变现实状态时,安全问题的性质就发生了变化。一次错误的写入可以回滚,一次错误的排放却不能;一份被泄露的文件可以追责,一条被误开的管路却只能承受后果。安全的对象从"可恢复的记录"变成了"不可撤销的动作"。
保护的不再只是数据,而是行动本身。
一旦保护对象从数据转向行动,一个更靠前的问题就浮现出来:这些行动,究竟是由谁决定的。
二、真正的变化不是软件开始控制世界,而是软件开始参与决定
很多人认为,AI带来的最大变化是效率提升——更快的响应、更低的成本、更少的人力。这个判断没有错,但它可能停留在了表层。更深层的变化是:软件正在从执行者变成行动参与者。
过去的软件,大多数时候执行的是人提前定义好的规则。工程师告诉系统:当温度超过某个范围,启动冷却;当密码正确,允许访问;当条件满足,执行下一步。规则可能非常复杂,分支可能非常多,但它们的边界是被人一次性写死的。软件负责执行,人负责决定。这条分工线,构成了过去所有安全设计隐含的前提。
AI系统正在改变这种关系。未来,一个AI Agent接收到的可能不再是一条规则,而是一个目标:降低能源消耗,优化生产流程,管理设备状态,完成某项复杂任务。目标本身是抽象的,通往目标的路径则由系统自己生成。它需要理解环境、拆解步骤、规划顺序、调用工具,并最终触发现实中的动作。
于是,链路从"人的决定→软件执行",逐渐变成"人的目标→AI推理→系统行动→现实结果"。中间多出来的那一段,恰恰是过去由人承担、也由人负责的部分。
这并不意味着AI一定会犯错。相反,在许多具体任务上,它的判断可能比疲惫的值班工程师更稳定。真正的问题不在于错误率,而在于结构:当行动链越来越长,当决定过程越来越复杂,人对最终结果的可见性和可干预性正在被稀释。我们仍然拥有目标的设定权,但未必仍然拥有结果的控制权。
创造出更强能力的一方,同时也在承担定义边界的责任。而边界一旦模糊,传统安全体系最擅长回答的那个问题,就开始显得不够用了。
三、未来安全面对的问题,不只是"谁有权限"
传统安全最重要的问题是:谁可以进入系统。所以我们建立身份认证、权限控制和访问边界,把世界划分为可信与不可信、内部与外部、授权与未授权。这些机制解决的是"谁能够做什么"。
在信息时代,这个问题几乎等价于全部安全问题。因为只要访问被正确限制,破坏就无从发生。攻击者与合法用户之间存在一道清晰的界限,安全工作的本质就是维护这道界限。
但在AI时代,一个更深的问题出现了:即使一个系统拥有完全合法的权限,它做出的动作是否就一定应该发生?
答案并不必然。因为权限正确,不代表判断正确;身份真实,不代表结果正确;指令合法,不代表执行安全。授权解决的是资格问题,而现实世界要求的是恰当性问题——同一个动作,在不同的时刻、不同的负载、不同的现场条件下,后果可能完全相反。
设想一个自动化系统完全按照授权运行。它没有被攻击,没有绕过权限,没有违反任何规则,日志干净,审计通过。但如果它基于对环境的错误理解做出了行动,最终仍然可能造成现实损害。在这种情况下,传统安全体系的所有指标都是绿色的,事故却真实发生了。
这正是许多组织在治理上最容易低估的一点:出问题的往往不是坏人,而是好人的错误判断。信任一个团队、一个供应商、一个模型,与为它建立制度约束,是两件不同的事。信任是对动机的判断,制度是对后果的准备。动机可靠的系统,依然会因为信息不完整、上下文缺失或目标被机械理解而走偏。信任无法替代制度,因为制度约束的从来不是恶意,而是不确定性。
所以未来的安全体系不能只验证"谁发出了命令",还必须验证:这个动作是否满足当前环境、当前状态和当前边界条件。判断的对象,从主体转向了行为本身。
这不是一个全新的命题。人类在面对每一种强大工具时,都走过同样的路。
四、文明的发展,一直是在给更强大的工具增加边界
人类历史上,每一次技术革命都伴随着同一个问题:当工具拥有更强大的能力,我们如何确保它仍然服务于人的目标?
工业革命之后,机器的力量第一次远远超过人的体力,人类随之建立起生产规范——工时、工艺、检验、责任归属。电力时代,一种看不见、无法徒手感知却足以致命的能量进入千家万户,人类建立起电网标准、接地规范与保护装置。互联网时代,信息可以在瞬间跨越国界并被无限复制,人类建立起身份体系、权限模型与加密协议。
值得注意的是,这些边界几乎从来不是在技术出现之前设计好的,而是在能力已经释放、后果已经显现之后被逐步补上的。它们也从未真正阻碍技术扩散——恰恰相反,正是因为有了标准与规范,电力才敢被接入住宅,金融交易才敢被搬上网络。边界不是能力的对立面,而是能力得以规模化的前提。
技术进步从来不是因为人类拒绝更强大的工具,而是因为人类不断学习如何驾驭它们。
AI时代也一样。真正的问题不是我们是否应该让AI自动化更多事情——这个趋势已经在成本和竞争的驱动下自行发生。真正的问题是:当AI可以执行越来越多任务时,系统是否仍然拥有清晰的边界?
而在自动化程度足够高的系统里,边界最终会具体化为一个非常朴素的能力问题。
五、未来最重要的能力,可能不是允许,而是拒绝
在过去的软件系统中,安全设计往往关注一件事:如何允许正确的人做正确的事情。整个体系是"开门"导向的——它的成功标准是尽可能减少不必要的阻碍,同时不放进不该进来的人。
但面对高度自动化的系统,一个更重要的问题正在出现:系统是否拥有拒绝错误行动的能力?
因为真正危险的情况,很多时候并不是未经授权的操作,而是一次合法授权下的错误执行。账号可能是真的,指令可能是真的,模型可能也在正常工作,链路上的每一个环节都通过了校验,但最终结果仍然可能是错的。此时,所有基于身份的防线都不会触发,因为它们从设计之初就不是为了拦截"合法而不当"的行为。
于是问题回到了监督本身:如果执行者具备判断能力,那么谁来监督这个判断?如果监督由另一套自动化系统承担,那么谁又来监督监督者?这条追问不可能靠增加层级来终结——每增加一层,只是把同样的问题向后推了一步。它只能靠一个结构性的答案来收束:在链条的末端,必须存在一个不参与目标优化、只负责判断动作是否越界的独立环节,并且它拥有让动作停止的实际权力。
因此,未来安全体系需要的不只是更多授权,而是更多独立判断。一个成熟的系统,不应该只有"执行能力",还必须拥有"拒绝能力"。这种能力的价值不在于它被使用的频率——理想状态下它几乎不会被触发——而在于它的存在改变了整个系统的风险结构。
因为没有拒绝能力的自动化,只是在更快地放大错误。
这也意味着,AI治理的重心正在移动:从监督模型,走向监督执行。
六、AI时代,网络安全的终点正在改变
过去几十年,网络安全主要回答一个问题:如何保护数字资产?未来,它需要回答另一个问题:如何保护现实世界不被错误的数字决定改变?
这是一条新的安全边界。从数据安全,到现实安全;从访问控制,到执行控制;从"谁拥有权限",到"谁拥有让事情真正发生的最终权力"。
值得强调的是,这条边界不会削弱智能系统的价值。未来的智能系统不会因为我们限制它而失去价值,恰恰相反,越强大的系统,越需要清晰的边界。一辆没有刹车的车不会因此跑得更远,它只是不能被允许上路。约束不是能力的税,而是能力被信任、被部署、被交付到关键场景中的通行证。
同样值得强调的是,治理的对象也在发生变化。我们最终要治理的,不是某一个人、某一家公司或某一个模型——把安全寄托在"某个值得信任的人"身上,本身就是一种脆弱的架构。真正需要被约束的,是那种不受制约地把判断直接变成现实的权力,无论它掌握在谁手里。
从可信的人,走向可信的结构。
因为真正可信的系统,不是永远不会犯错,而是在错误发生之前,拥有阻止错误扩散的能力。可靠性从来不等于零故障,它等于故障发生时,损害仍然被关在边界之内。
AI时代,人类真正需要保护的,不只是数据,而是最后一次说"不"的能力。
当机器开始帮助我们行动,安全的终点,也许不再是谁能够进入系统,而是谁拥有最终决定现实是否改变的权力。
如对本稿件有异议或投诉,请联系 tougao@huxiu.com。