AI精选（193）-人工智能领域内的最新进展：华尔街日报《人工智能将如何改变2030年的世界？》

一、人工智能将如何改变2030年的世界？专家预测未来！

 

文章探讨了人工智能在未来十年对社会、经济和生活方式的影响。专家预测，人工智能将改变许多行业，包括医疗保健、教育、交通和金融。人工智能将创造新的工作机会，但也可能导致一些工作岗位消失。文章强调了道德和伦理问题，以及如何确保人工智能的负责任发展。文章还讨论了人工智能可能带来的潜在风险，例如失业、隐私侵犯和武器化。

https://cn.wsj.com/articles/future-of-ai-2030-experts-5e988b90

 

 

二、人工智能不会取代人类，但会越来越强：孟祥飞谈人工智能未来

天河超级计算机应用研发首席科学家孟祥飞接受澎湃新闻采访，探讨了人工智能的未来发展趋势。孟祥飞认为，人工智能不会诞生情感和思考，也不会取代人类，但其能力会不断增强。他强调，人工智能将成为人类的助手，帮助人类解决更复杂的问题，提升人类的生活质量。孟祥飞还指出，人工智能的发展需要注重伦理和安全问题，确保其应用方向符合人类利益。

https://m.thepaper.cn/newsDetail_forward_28793707

 

 

 

 

 

三、IBM发布轻量级毒性检测模型：Granite-Guardian-HAP-38m，速度更快，性能更优

 

IBM发布了名为Granite-Guardian-HAP-38m的轻量级毒性检测模型，旨在提供快速高效的文本毒性检测。该模型仅有3800万参数，与原始RoBERTa模型相比，减少了隐藏层数量和大小，并提高了速度。Granite-Guardian-HAP-38m在CPU上表现出色，具有低延迟特性，使其适用于大型语言模型的“护栏”功能。该模型在多个基准数据集上进行了训练，可以识别英语文本中的仇恨言论、辱骂、亵渎和毒性内容。IBM强调在使用该模型时应谨慎，并意识到模型可能存在偏差和误判，建议用户谨慎使用并保持负责任的态度。

https://huggingface.co/ibm-granite/granite-guardian-hap-38m

 

 

 

四、TEAL: 大模型训练中无训练激活稀疏化，可加速1.8倍

TEAL 是一种无训练的激活稀疏化方法，可以在不损害模型性能的情况下，在大型语言模型中实现高达 40-50% 的模型范围激活稀疏化。TEAL 基于幅度，将激活稀疏性应用于整个模型的隐藏状态。TEAL 与权重量化兼容，可以进一步提高效率。TEAL 可以实现高达 1.53 倍和 1.8 倍的解码速度提升。TEAL 目前支持 Llama-2/3 和 Mistral 模型，以及统一稀疏性和块状贪婪稀疏性。

https://github.com/FasterDecoding/TEAL

 

 

五、T-MAC: CPU 性能提升，低比特 LLM 推理加速

T-MAC 是一个内核库，通过使用查找表直接支持混合精度矩阵乘法（int1/2/3/4 x int8/fp16/fp32），无需进行反量化，旨在提升 CPU 上低比特 LLM 推理速度。T-MAC 在 Surface Laptop 7 上针对 3B BitNet 模型实现了 20 个令牌/秒的单核吞吐量，以及 48 个令牌/秒的四核吞吐量，比 SOTA CPU 低比特框架（llama.cpp）快 4~5 倍。T-MAC 在不同设备上（Surface Laptop 7、Apple M2-Ultra、Jetson AGX Orin、Raspberry Pi 5 和 Surface Book 3）对不同模型的令牌生成性能进行了评估，显示出显著的加速效果。T-MAC 通过用查找表指令替换繁重的融合乘加指令，显著降低了功耗，并最终导致总能耗的大幅降低。T-MAC 在最新 Snapdragon X Elite 芯片组上，CPU 通过 T-MAC 实现的性能优于 NPU 通过 Qualcomm Snapdragon 神经处理引擎 (NPE) 实现的性能。

https://github.com/microsoft/T-MAC

 

 

 

六、MLC-LLM: 跨平台LLM部署引擎，让AI无所不在

 

MLC-LLM引擎（MLCEngine）是一个通用部署引擎，旨在让大型语言模型 (LLM) 能够在各种平台上运行，从云服务器到边缘设备。通过机器学习编译技术，MLCEngine 可以自动生成可移植的 GPU 库，支持多种硬件和平台。MLCEngine 提供多种 API，包括 REST API、Python API、iOS SDK、Android SDK 和 WebLLM SDK，方便开发者在不同环境中使用 LLM。MLCEngine 支持高效的结构化生成，能够生成符合 JSON 语法的结构化响应，并允许用户自定义 JSON 模式。MLCEngine 已经在各种平台上进行了测试，包括 NVIDIA RTX 4090、NVIDIA Jetson Orin、AMD 7900 XTX、Steam Deck 和 Orange Pi。

https://blog.mlc.ai/2024/06/07/universal-LLM-deployment-engine-with-ML-compilation

 

 

 

七、Falcon-Mamba-7B: 无注意力机制的70亿参数语言模型，性能媲美Transformer

 

Falcon-Mamba-7B 是一个由 TII 开发的无注意力机制的 70 亿参数因果解码器模型，其性能在多个基准测试中与使用 Transformer 架构的模型相当。模型基于 Mamba 架构，在 Refined-Web 等大型数据集上训练，并使用了多阶段训练策略，将上下文长度从 2,048 扩展到 8,192。Falcon-Mamba-7B 在推理过程中没有上下文长度限制，并使用了优化后的 Mamba 内核，可以实现与其他 Transformer 模型相当的吞吐量和性能。该模型在多个基准测试中取得了良好的成绩，包括 IFEval、BBH、MATH Lvl 5、GPQA、MuSR 和 MMLU-PRO。模型训练使用了 256 个 H100 80GB GPU，使用了 3D 并行策略和 ZeRO 技术。

https://huggingface.co/tiiuae/falcon-mamba-7b

 

 

八、GLuCoSE-base-ja：基于LUKE的日语句子嵌入模型，用于语义相似性和搜索任务

GLuCoSE (General LUke-based COntrastive Sentence Embedding) 是一款基于LUKE的日语文本嵌入模型，经过网页数据以及自然语言推理和搜索相关数据集的训练。GLuCoSE 可用于句子向量相似度任务，也适用于语义搜索任务，最大令牌数为512，输出维度为768，采用平均池化方法。该模型可通过sentence-transformers库轻松使用，并提供代码示例。GLuCoSE 在JSTS数据集上的语义相似度计算和AIO3数据集上的零样本搜索任务中取得了良好效果。作者在训练过程中使用了多个数据集，包括mC4、MQA、JNLI、JSNLI、PAWS-X等。

https://huggingface.co/pkshatech/GLuCoSE-base-ja