微软深夜拯救“打工人”：自定义Copilot、多模态小模型出奇招，Altman“闪现”剧透新模型
出品 | CSDN（ID：CSDNnews）
这边国内 AI 大模型疯狂地打起了「价格战」，那边国外用 AI 模型和生产力较起了劲，甚至“内卷”得可怕。
这不，昨天凌晨。微软刚召开一场发布会，提前推出搭载高通 Snapdragon X Elite 和 X Plus 的全新 AI PC 品牌 Copilot+PC，不仅与苹果 M3 MacBook Air 在性能上进行了正面较量，还展示了新芯片的 NPU 具备每秒 45 万亿次运算（TOPS）的能力，解锁了一系列新的 Copilot 功能。
仅在一天后，北京时间 5 月 22 日凌晨 12 点，微软又正式拉开了 Build 2024 的帷幕。这一场专属开发者的盛会，在微软 CEO 萨蒂亚·纳德拉（Staya Nadella）、微软体验+设备执行副总裁 Rajesh Jha、微软人工智能执行副总裁兼首席技术官 Kevin Scott 等高管主导下，势要掀起 AI 生产力的革命。
在发布会的最后，出乎意料的是，最近刚忙完 GPT-4o 以及深陷舆论漩涡的 OpenAI CEO 奥特曼也出现在了现场，还小小地剧透了一下新模型的方向。
微软正在让 Copilot 变得无处不在
「感觉我们好像回到了 30 年前第一次讨论 Win 32 的时刻，如今 AI 正在重塑“技术堆栈的每一层”」，微软 CEO 纳德拉于大会伊始如是说道。
他表示，微软几十年来有两个梦想：
计算机能否理解我们，而不是我们必须理解计算机？
在一个信息不断增加的世界中，计算机能否帮助我们根据所有这些信息更有效地进行推理、计划和行动？
对此，纳德拉将这波 AI 浪潮定位为微软梦想的答案。站在 AI 新时代的风口，微软已经构建了三个平台：
Microsoft Copilot，作为 AI 日常伴侣，使得专业知识触手可及；
Copilot+PC，有史以来最快的 AI PC；
Copilot Stack，方便开发者可以构建 AI 应用程序、解决方案和体验。
而这场 Build 2024 也主要围绕这三个平台展开。
为 Windows 下一个十年设定方向的 Copilot+PC
微软 Windows、设备部门副总裁 Pavan Davuluri 表示，Copilot+PC 正在“重新定义你可以在 PC 上执行的操作，并为 Windows 下一个十年设定方向。”关于新一代 Copilot+PC，可详见 CSDN 昨日报道。
今天，基于最新发布的 Copilot+PC，微软推出了 Windows Copilot Runtime，纳德拉声称这将“使 Windows 成为人们构建人工智能应用程序的最佳平台”。
简单来看，Windows Copilot Runtime 将 Copilot 堆栈拓展到 Windows 系统，它也是 Windows 11 系统的全新组成部分。
该运行时包含了 Windows Copilot 库以及可以随时可用的本地 API，它为开发者提供了现在可以访问的一系列语言模型，做到至少 40 种语言模型“开箱即用”。当然这 40 款模型中也覆盖了在这次大会上微软最新发布的 SLM（小模型）Phi-Silica，可在 Copilot+ PC 的 NPU 上运行，为设备带来更快的推理等 AI 体验。
据悉，Phi-Silica 是一个 33 亿个参数的模型，这也使其成为 Phi 系列 AI 模型中最小的一个。
该库还允许你将 RAG（检索增强生成）纳入设备应用程序，来处理设备上的数据。
得益于该运行时，Copilot+ PC 可在设备上通过 Windows Direct ML 原生支持 PyTorch 和 Web 神经网络，这将为开发人员提供更多可用的工具。
展望未来，微软表示，该运行时也会被 Xbox 团队运用来为玩家和游戏开发人员提供支持。在官方展示的游戏示例中，我们看到有人向 Copilot 询问如何完成游戏中任务的视频，人工智能代理提供了帮助。
Copilot Stack
作为一家平台公司，纳德拉表示，微软的目标是构建最完整的端到端堆栈，从基础设施到基础模型、数据再到工具、应用程序可扩展性，这样开发者就可以应用这些强大功能来构建自己的应用程序。
在这次发布会上，微软也从下往上详细分享了 Copilot 的技术栈。
基础设施
首先，在技术栈最底层的基础设施层面，纳德拉表示，微软拥有“世界上最全面的人工智能基础设施”。从数据上来看，Azure 数据中心在全球 60 多个地区提供，微软希望提供云服务的可持续性。
微软与英伟达合作，这家图形芯片公司是微软人工智能计划的核心。纳德拉透露，微软将成为首批提供 Nvidia 最新 Blackwell AI 芯片的云提供商之一，公司“与英伟达有着深厚的合作伙伴关系”。
此外，AMD 的 ND MI300X V5 芯片也将针对 Microsoft Azure 工作负载进行优化。
基础模型层：Phi-3 系列中首个多模态小模型 Phi-3-vision 来了
再往上一层的基础模型方面，“通过 Azure AI，我们提供最广泛的前沿和开源模型选择，包括 LLM 和 SLM，”纳德拉说，「超过 50,000 个组织使用 Azure AI，甚至 GPT-4o 也在 Azure 上进行了训练」。
目前，OpenAI 的最新旗舰模型 GPT-4o 现已在 Azure OpenAI 服务中全面推出。这一开创性的多模态模型在单一模型中集成了文本、图像和音频处理功能，为生成式人工智能和对话式人工智能体验树立了新的标准。GPT-4o 的定价为输入 5 美元/100 万个 token，输出 15 美元/100 万个 token。
本月早些时候，微软通过 Azure OpenAI 服务启用了带有视觉功能的 GPT-4 Turbo。利用这些新模型，开发人员可以构建具有跨文本、图像等输入和输出的应用程序，从而获得更丰富的用户体验。
同时，Azure AI 也支持多款新模型，如 Core42 JAIS、Nixtla TimeGEN-1，未来还将支持 Bria AI、Gretel、NTT DATA、Stability AI 等多款模型。
一直以来，微软也是小模型的引领者。在发布会上，微软发布了自家开发的 AI 小模型 Phi-3 系列中的 Phi-3-small、Phi-3-medium 和 Phi-3-vision（一种全新的多模态模型，https://huggingface.co/microsoft/Phi-3-vision-128k-instruct）。
Phi-3 模型是目前能力最强、性价比最高的小型语言模型 (SLM)，在各种语言、推理、编码和数学基准测试中均优于相同大小和更大的模型。这些模型使用高质量的训练数据进行训练，Phi-3 模型的推出扩大了 Azure 客户对高质量模型的选择范围，为他们组成和构建生成式人工智能应用提供了更多实用的选择。
加上这次最新发布的，如今 Phi-3 模型系列共有四个模型：
Phi-3-vision 是一个 4.2B 参数的多模态模型，具有语言和视觉功能。
Phi-3-mini 是一个 3.8B 参数的语言模型，有两种上下文长度（128K 和 4K）。
Phi-3-small
