三星电子日前公布面向智能手机、AI PC等端侧AI设备的LPDDR5X-PIM架构及详细性能指标。该技术可在内存内部直接完成部分运算处理,无需将数据反复传输至处理器。 三星使用Meta的80亿参数模型Llama3.1进行测试。结果显示,处理时间从传统LPDDR5X的12.3秒缩短至5.4秒,提速约2.3倍。每秒Token处理量从27个提升至81.3个,是现有产品的3倍。 LPDDR5X-PIM通过内存内运算减少了数据搬运,从而提升AI推理速度。该性能指标表明其可支持端侧AI推理场景。该技术为端侧AI应用提供了更高的性能支持。