模型强到这个程度，令人脊背发凉

本文来自微信公众号：有机大橘子，作者：有机大橘子，头图来自：AI生成

字节的 Seedance 2.0，我昨天测完的感受是，太强了。

分镜理解、运镜设计、音画匹配，每一项单拿出来都是飞跃，合在一起就是碾压。

但模型强到一个临界点，就会出现一个可以预见的问题：它生成的东西太真了，真到你开始不确定什么是真的，真到你开始害怕。

影视飓风的测试视频就是这样。前半段看得热血沸腾，四维在楼道里的武打戏，运镜犹如有个一线的动作导演的背后指挥。

后半段开始脊背发凉，Tim上传自己的照片，模型生成视频的声音和他本人几乎一模一样。更离谱的是，上传何同学的照片，出来的声音……还是Tim的。Tim 大概是国内视频素材最多的人了，模型吃了太多他的素材，把他的一切都“学透了”。

我能体会 Tim 那种恐怖的感受，弹幕里的人也能，他们在疯狂地打着：赛博永生。

其实在昨天我测试的时候就发现，名人的照片上传后，模型是拒绝生成的，但看起来，Tim 可能是被漏掉了。

后来字节迅速下架了真人照片生成功能，并且开始针对 Tim 提出的问题实时紧急优化。反应速度之快，说明他们很重视这个事情。

模型强到今天这个程度，令人猝不及防。冯骥在微博里专门提醒大家告诉父母和亲友，未来一切没有权威渠道背书的视频都可能是伪造的，大家还是要小心。

这个问题目前主要发生在名人层面，普通人在互联网上的数据量级和影视飓风完全不同，倒不必太担心。不过这件事确实值得每个人思考和关注。

技术越强，就越需要大企业守住责任的底线。

但让我陷入沉思的是另一个问题：开源模型呢？

字节可以下架功能，可以清除数据，可以被舆论监督守住底线。但开源模型一旦发布，就没有人能收回，没有人能监管，没有人为滥用负责。

这并不是某一家公司的事，是全世界要共同面对的问题。