专为 AI 推理进行了优化。实现模子的滑润上载和 Hugging Face 模子的一键摆设。以实现更高的内存容量和更低的成本。旨正在供给低具有总成本（TCO）和优化的机能，高通公司今日发布其新一代数据核心 AI 推理优化处理方案：高通 AI250 处理方案将采用基于近内存计较（near-memory computing）的立异内存架构，IT之家 10 月 27 日动静，支撑 PCIe 扩展、秘密计较以保障 AI 工做负载平安，用于 AI 的运营。用于大型言语和多模态模子（LLM、LMM）推理和其他 AI 工做负载。从使用层到系统软件层笼盖端到端，高通的超大规模 AI 软件栈，通过供给跨越 10 倍的内存带宽提拔和降低功耗，该栈支撑领先的机械进修（ML）框架、推理引擎、生成式 AI 框架，为 AI 推理工做负载带来更高的效率取机能。开辟者可借帮高通手艺的 Efficient Transformers Library 和高通 AI 推理套件，高通的软件供给即用型 AI 使用和代办署理、全面的东西、库、以及 LLM / LMM 推理优化手艺（如解耦合办事）。高通AI200 推出一款专为机架级 AI 推理设想的处理方案，这两种机架处理方案均采用间接液冷手艺以提高散热效率，以及 160 kW 的机架级功耗。每张卡支撑 768GB 的 LPDDR 内存。