微软推出混合推理架构版Copilot
作者: CBINEWS
责任编辑: 张琳
来源: 电脑商情在线
时间: 2026-10-08 14:53
微软近日宣布,GitHub Copilot 将于本月末正式支持本地 AI 模型推理功能,允许开发者在云端模型与设备端模型之间进行自动或手动切换。
作为微软推出的 AI 编程辅助工具,GitHub Copilot 能够嵌入 Visual Studio Code、CLI 等平台,依据代码语境提供补全、解析及重构建议。
现阶段,该服务主要依托云端托管模型,通过协调器基于性能、成本与准确度分配请求。微软计划于本月底升级该机制,使 Copilot 能够自主选择云端模型或本地 AI 模型,并在后台统筹推理工作。
针对 GitHub Copilot 用户,微软提供两种运行模式:自动编排或强制调用设备端模型。用户可在 CLI、独立应用及 VS Code 中配置相关偏好。在本地模型配置方面,系统支持指定特定的提供商、模型或端点。
例如,开发者可借助 Windows ML 调用 MAI Code 1.1 Flash,或接入兼容 OpenAI 的本地端点以使用其提供的模型。与此同时,微软发布了采用“混合专家”架构的 MAI Code 1.1 Flash 模型,其总参数量为 1370 亿,活跃参数为 68 亿,并利用量化及推测解码技术改善了响应效率与内存消耗。
Surface Laptop Ultra 的实测数据表明,该模型在处理复杂任务时,峰值内存占用、Token 利用效率及处理速度均有显著优化。解码吞吐量测试结果显示,当提示词长度处于 2K 至 256K Token 区间时,其吞吐量保持在每秒 40 至 63 个词元之间。
