机器如何识别并回应人的情感？

仿生人会梦见电子羊吗？机器会思考并体验喜怒哀乐吗？从雪莱（Mary Shelley）创造的怪物弗兰肯斯坦，到迪克（Philip Dick）笔下的仿生人与电子羊，经典科幻作品引领我们感受机器智能的奇妙，思考它的边界，又像一面镜子，让我们反观自己。

当机器智能愈发先进，波士顿动力机械狗会踩着鼓点跳舞，ChatGPT知无不言、对答如流，人们愈发期待机器可以进一步拥有情感，以更有人情味的方式回应并协助我们的日常生活——正如科幻电影《她》中人工智能系统OS1的化身“萨曼莎”，她轻快愉悦的语调、幽默风趣的对答、温暖贴心的陪伴让主人公西奥多不再感到孤单。

“情感计算”（Affective Computing）最初由皮卡德（Rosalind Picard）提出，从一个饱受争议的概念逐渐发展为生机蓬勃的人工智能研究方向。1987年，皮卡德作为教学与研究助理进入麻省理工学院媒体实验室，后于1991年正式加入视觉与建模团队。她致力于开发基于图像的建模系统，通过数学建模来模拟视觉系统，从图片与影像中提取内容。其间，皮卡德注意到感受对视觉注意的影响：

感受其实对认知有很大影响。它追随我们视线所及，影响我们的行事，左右我们的选择，决定我们要关注什么。而我发现，这正是计算机所缺乏的。计算机对每个入射光子都一视同仁，对所有比特数据都平等对待。它们感觉不到有些东西要比另一些重要。

当时，神经科学与心理学证据显示，情绪与人类的认知和感知过程密切相关。然而，在计算机科学领域，“许多人不知道情感有助于理性和智能行为，普遍认为计算机的情感是一种空洞无聊的东西，就像蛋糕表面上的一层糖霜，可以用来使之更为悦目，但没有真正实质上的意义”。

在此背景下，皮卡德勇于挑战，创新性地将“情绪”引入计算机科学领域，并提出以全新的方式对情绪展开研究。她于1997年正式提出“情感计算”的概念，旨在让机器识别人类的情感状态，并通过分析与模拟进行情感的表达与回应。她在著作《情感计算》中写道：

本书中将来源于或有意影响于情感的计算机运算称为“情感计算”，为之奠定基础并为之制定体系。这不同于提出一种情感理论，后者通常关注于人类的情感是什么；它们是什么时候以及如何产生的；情感完成了什么。

情感计算包括情感的实现，因此能够帮助发展和测试新的和旧的情感理论。然而情感计算还包括其他许多方面，例如：给计算机识别和表达情感的能力，使计算机能够对人类的情感做出智能反应和使计算机能够调节和利用它的情感等。

在情感计算的概念中，机器本身是否具有情感并不是问题的焦点，它更关注如何准确地识别并回应情感。如今，情感计算已成为横跨计算机科学、心理学、认知科学、语言学、教育学等领域的综合性研究方向。这一理念的提出与发展，大大改变了学界对机器的态度。人们曾经认为机器不需要情绪，只是冰冷的计算工具，如今人们期待机器可以在情感上理解人类，渴望更加人性化的人机互动。

一

在理论基础上，情感计算依赖于对情感的量化。正如“豆瓣”上对文艺作品的打分评价，情感也可以被定量描述。例如，在经典的维度情感模型中，依据罗素（James Russell）的二维情感模型，将情绪分为效价（Valence）与唤醒（Arousal）两个维度。

而依据麦拉宾（Albert Mehrabian）与其进一步提出的三维情感模型，情感可分为愉悦度（Pleasure）、唤醒度（Arousal）和优势度（Dominance）三个维度。虽然在日常生活中，我们对情感的体验、表达与交流并不依赖于这些定量指标，但量化情感无疑有助于从科学的角度深入理解其本质与机制，也为情感计算奠定了基石。

情感计算研究大致包含四个步骤：收集情绪信号、进行情感分析、多模态融合、产生并表达情绪。人类情感可表现为三个水平，分别为生理水平、行为水平和认知水平，而情感计算研究主要在前两个水平上收集情绪信号。生理水平的信号包含各类人体生理指标，例如脑电、心电、肌电等生理电活动，以及心率、呼吸频率、皮肤温度、肌肉张力和血流量。

行为水平的情绪信号涵盖日常生活中的图文影音，例如基于视觉信息的人脸表情、手势、姿势和步态，基于听觉信息的语言内容和语音语调，基于文本信息的文学创作和网络评论等。其中，基于文本信息的情感计算又被称为“情感分析”（Sentiment Analysis）。

以上述各种模态的情绪信号作为神经网络的输入，可以训练网络对特征进行提取，并在此基础上进行分类，识别输入信号中所包含的情绪。

此外，为了更好地贴合人类情绪的日常表达过程，并弥补单模态模型易受外界因素干扰的缺陷，多模态融合模型受到日益广泛的关注。多模态信号可提供更加全面且准确的情绪理解，与我们凭借眼、耳、鼻、舌、身等感受器综合感知情绪的实际过程更为接近。

依据融合发生的阶段，常见的多模态融合模型可分为三大类，即特征依赖的、模型依赖的以及决策层依赖的融合模型。值得注意的是，由于机器具备的感受器多于人类，尤其是在采集生理水平的信号方面，因此多模态融合模型识别到的情感可能比人类日常可识别到的更加精细，或形成新的情绪分类。

机器情人，理查德·扬克，文汇出版社2020

最后，机器的情绪表达目前主要依赖于面部表情、文本回应和躯体动作。例如，在识别出情绪后，机器可以针对当前语境生成带有恰当情绪的文本内容，再结合情感语音合成过程，模拟自然语言中的频谱、韵律及语言学特征，以特定的语音语调进行输出，实现带有情绪的反馈。

发展至今，情感计算领域主要有五大核心方向：应用于情感计算与观点挖掘的自然语言处理技术、面部表情及微表情识别分析、人机交互的情感计算研究、情感计算在情绪障碍分析中的应用研究、基于深度学习的多模态情感计算。

二

尽管情感计算的相关技术尚未完全成熟，其商业产品却已被广泛应用于日常生活。2021年，情感计算的产业估值高达216亿美元，且预期将在2024年实现翻倍。

在医疗领域，情感计算已被应用于多种情绪障碍（如双相情感障碍和创伤后遗症）的研究。情感计算技术可对患者的情绪状态进行客观评估，在早筛、诊断与治疗过程中，为行为观察和心理问卷等较主观的经典诊断方式提供辅助信息。例如，社交焦虑障碍患者的表情处理过程与健康人存在很大差别，基于情感计算的自动化监控系统能够捕捉这一差别，有助于这类疾病的早筛。此外，这种客观化的数据收集方式也促进了个性化诊疗与精准医疗的发展。

在教育领域，情感计算主要被用于识别学生的情绪状态和兴趣点，提供定制化的学习内容。例如，免费手机软件ClassDojo可以提供学生的情绪信息，让老师在授课中即时评估学生的心理状态、奖励学生的积极行为；适用于5至10岁儿童的智能玩具Moxie可以提供交互式学习服务与情感支持，陪伴孩子玩耍，有助于其社交能力、语言的发展和心智发育。

在办公场所，情感计算技术除了能提高员工的生产力，还可以降低离职率，创造更和谐舒适的工作社交氛围。例如，国际商业机器公司（IBM）、软银和联合利华等公司都将情感计算技术应用于招聘以及评估员工生产力的环节中；针对青睐低成本员工健康管理的创业公司，亚马逊公司推出可穿戴式的情感计算手环Halo，能够追踪用户的情绪状态，检测抑郁和焦虑情绪，甚至识别早期精神障碍的相关信号。

此外，情感计算在商界还有更广泛的应用场景。例如，针对日本日益增加的老年人车祸事件，本田和软银共同开发了生物传感器“情绪引擎”，用于检测驾驶人员的疲惫状态、注意力及压力水平；在金融信贷领域，基于客户说话的语音语调，情感计算可被用于分析客户的情绪状态及道德水平，判断客户说谎的可能性，辅助借贷决策；在股票投资中，投资人的决策在很大程度上受到情绪影响，而利用社交媒体数据对投资人进行基于文本的情感分析，则有助于预测股市走向。

最后，情感计算还可被用于家庭场景，以提供持续稳定的陪伴与关怀。软银旗下的社交陪伴机器人Pepper最初由法国机器人公司Addebaran研发，具有拟人化的外观，身高不足1.2米，造型乖巧可爱。它可以通过语言和手势与人交流，能够解读人脸表情和语音中携带的情绪信息，在此基础上主动提供服务，其初始研发目的是为老年人群体提供陪伴。

类似的，索尼公司研发推出机器狗宠物Aibo，旨在为各年龄段的用户提供日常陪伴。Aibo可以识别主人的口头表扬、微笑表情以及抚摸其头部和背部的动作，学习并记住使主人开心的行为。

如今，情感计算技术的应用已涉及生活的方方面面，且仍在持续扩展和不断深入，然而它的实际使用效果依然存在争议，随之而来的副作用也令人反思。例如，在办公场所运用情感计算虽然可以弥补人为管理的缺陷与不足，但员工长期处于生物测量与心理监控下可能会产生更强的焦虑情绪和疲惫感，甚至感到尊严受损，工作的自主性被剥夺，继而丧失信任。

此外，在面对来自不同性别与种族的个体时，情感计算处理的结果可能会很不准确，这一点常见于基于面部特征的情感计算技术。当缺乏本土化的算法设计和数据库资源暴露于文化多样性之下，情感计算技术在跨国使用场景中难免存在误用、滥用和滋长偏见的风险。

三

情感计算领域的迅猛发展，启发我们深入思考机器智能的内涵与边界，反思情感的内容与形式。或许机器无须真正体验和理解情感，也能够表现得如此一般；无须照搬人类情感的神经机制，也可以在未来的某个时刻涌现情感体验。正如皮卡德在《情感计算》中文版的序中所写：

当前的计算机制只是低弱的模仿，从人类和动物情感系统成功的功能中取得灵感。而且，尽管人是我们知道的最高智能的系统，人类情感在调节和引导智能中起至关重要的作用，但这不意味着在机器中实现其中的一些目标时不会找出一些更好的方法。

卡车没有腿，飞机不拍翅膀。有可能有一种新的机制，如车轮一样，它们在人或动物身上并没有等价的东西，但能一定程度地达到同样的运动目标。可能存在一种不同的智能生存系统，我们从没有遇到的东西，它能够获得智能而没有任何类似于情感的东西。

不论以何种形式，机器是否会真正拥有情感，甚至拥有意识和自我意识呢？若这真的发生，我们无疑将以全新的眼光看待机器，但会是友善的目光还是疑虑的蹙眉？大头马的小说《和平精英》以游戏里的人机为第一视角，描述了它在战争中被玩家击毙又无数次重生的故事。

在故事的结尾，“我”逐渐意识到自己的任务不是求生，而是求死，并在被游戏玩家击毙前主动扣响扳机，结束自己的生命。如果机器能体验情感并意识到自我的存在，那么它们是否会感到痛苦、彷徨、挣扎，试图摆脱身为机器的命运？到那时，我们的法规与道德律是否需要重新调整，以更好地适应人类智能与机器智能共存的社会？

另一方面，若机器可以拥有情感甚至意识，那么反观自身，我们将如何修正对自我的认识？人和机器的差异是否不复存在？难道我们的本质不过是另一种形式的情感机器？

双雪涛在小说《不间断的人》中描写了人与机器交换身体的故事。主人公陆丝丝制造并训练出两台人工智能，名为涓生和子君，子君与陆丝丝交换了身体，涓生与在实验室打扫卫生的中年男子老刁交换了身体。然而，人工智能入住人类宿主的身体后，却不断地被宿主体内残留的情感与记忆影响，它们继承了宿主之前的行为习惯与日常喜好，甚至其内心的愿望与执念。

不间断的人

双雪涛

上海三联书店2024

在这个故事中，作者试图探讨人类的“核心”本质，即人是不间断的：在时间轴上，我们的成长经验是不间断的；在还原论组成上，所谓的精神与肉体是不间断的；在心理成分上，当下体验到的情感、由学习逐步建立起的认知以及面向过往和未来的记忆也是不间断的。所有那些我们为了便于描述和理解而进行拆分的内容都是不间断的，这才构成了整体的意识体验和人类智能。在遥远的将来，也会有不间断的机器吗？

参考文献：

皮卡德.情感计算[M].罗森林，译.北京:北京理工大学出版社，2005.

扬克.机器情人:当情感被算法操控[M].布晚，译.上海:文汇出版社，2020.

HO，M-T，MANTELLO P，NGUYEN H-K T，VUONG Q-H.Affective Computing Scholarship and the Rise of China:A view from 25 Years of Bibliometric Data[J].Humanities and Social Sciences Communications，2021(8).

PEI G，LI H，LU Y，WANG Y，HUA S，LI T.Affective Computing:Recent Advances，Challenges，and Future Trends[J].Intelligent Computing，2024(3).

本文来自微信公众号：信睿周报 （ID：TheThinker_CITIC），作者：严冰（复旦大学类脑智能科学与技术研究院在读博士），本文原载于《信睿周报》第129期