高通：超百亿参数模型有望在手机上运行

7月20日，在2023世界半导体大会暨南京国际半导体博览会上，高通全球副总裁孙刚强调了5G技术的持续演进和5G Advanced在推动新一轮5G创新方面的作用。此外，孙刚还提到了混合AI架构的重要性，通过在终端侧运行AI推理，分担或支持云端处理。他指出，5G与AI将紧密结合，这两大协同基本要素将助力未来的创新。

孙刚谈到了生成式AI的潜力，预计在搜索、内容生成、代码编写和提高生产力等领域将带来革命性的变化。生成式AI能在几秒内创作内容，这为市场带来巨大机遇，并且能显著提高生产力。2020年至2022年，生成式AI相关的投资增长425%。据初步预估，生成式AI市场规模将达到1万亿美元。

然而，他也指出了一个挑战，云经济难以支持生成式AI的规模化拓展。为了实现规模化，AI处理的中心正在向XR、汽车、手机、PC、物联网等边缘端转移。生成式AI将会影响各种终端上的应用。

在本次博览会期间，高通进行了全球首个终端侧演示，展示了在安卓手机上运行生成式AI的能力。目前，高通已经支持10亿参数的模型在终端上运行。高通预计，未来几个月内，终端侧将能够运行超过100亿参数的模型。这种发展势头对AI技术的发展具有重要意义。