今年8月的siggraph大会上，黄仁勋在演讲中给了个演示，给ai输入一张工厂规划的2d 平面图——这张平面图就只是个文档，然后跟生成式ai（generative ai）讲几句话、提几句需求，ai就能输出一个完整的3d虚拟工厂——或者用现在流行的话来说，叫工厂数字孪生——包括工厂仓库地面材料、厂房布局等，基于openusd 3d格式的模型。
这个以前需要投入相当人力物力和时间的工作，现在ai能在很短的时间里完成。当然具体的实现细节还是待调整的，但这个演示让我们看到了，生成式ai在行业应用中的潜在价值，是突破了chatgpt、stable diffusion这些爆款的；当然还有就是这个新晋入主市值万亿俱乐部的英伟达，在现如今的ai市场有多么风生水起。
我们今年接触的不少ai芯片企业，乃至ip供应商普遍都在说，数据中心的ai训练市场已经被英伟达雄踞了，这部分市场很难再被撼动：比如chatgpt、new bing这类云服务的算力基础；以及各类大模型的训练，就是英伟达a100, h100之类的芯片。
但对整个行业来讲，生成式ai这个东风可不能都被英伟达都给借走了：云市场抢不过你，那咱还不能搞搞边缘推理市场吗？所以今年从上至下不同层级的企业都在宣传边缘，乃至端侧的生成式ai。
从广义的“边缘”概念来看，不光是边缘数据中心、企业网关这些边缘，端侧市场上intel已经宣传了大半年的ai pc，联发科则在年底收官前发布了能跑生成式ai的手机ap soc，甚至还有一些搞嵌入式芯片的企业也在谈生成式ai。
但实际上即便是边缘市场，英伟达也是有自己的杀手锏的，抛开各类jetson芯片、igx平台这些更偏行业和企业应用的边缘不谈，英伟达在pc端的geforce显卡不就是现在个人用户做ai研究，以及ai技术爱好者使用最广泛的平台么？
其实自疫情结束后，pc市场开始呈现出颓势之际，pc行业的主要市场参与者就开始了ai pc的宣传。现在看来，生成式ai大概的确会成为接下来这一波让pc市场再度上扬的大热门。市场上谈ai pc最大声的，现阶段显然就是intel及各oem企业了。但实际在包括cuda生态在内的nvidia ai全栈构建ai生态最久，大概也最有资格说ai pc的，应该就是英伟达本达了。
今年9月，英伟达发布了开源的tensorrt-llm，这是个专用于llm大语言模型推理的工具，特点是能够加速llm的推理性能——不过当时主打的仍然是为h100推理加速。10月份tensorrt-llm for windows版本发布，主要是实现了裸金属windows平台的单卡gpu推理，重点是特别明确了对geforce 40系显卡的支持，使pc 生成式ai速度提高 4 倍。与此同时，tensorrt 加速也已应用于热门应用stable diffusion webu中，将生成式ai diffusion模型的速度提升2倍。这就显然有着意ai pc的意思了，大概可以说是正式打响英伟达在ai pc战役的开端，即便英伟达从来不是最近才开始在pc上做ai的。
我们来展开看看在ai pc这个概念上，尤其生成式ai加速，英伟达都有哪些东西。顺便聊聊ai pc是不是真的有价值。
geforce显卡的生成式ai实现基础
想在端侧ai市场分一杯羹的市场玩家还是很多的，比如intel要在新一代面向pc的meteor lake处理器中加入专门的npu加速单元，amd ryzen处理器现在还有专门的ryzen ai品牌概念宣传，联发科的天玑9300手机芯片内部的ai单元特别集成了所谓的“生成式ai加速引擎”...响应的oem厂商就更多了，微软也期望能在这一局里做ai/ml的标准制定者。
显然，在去年底今年初以chatgpt为代表的生成式ai再度引爆ai市场以后，主要的市场参与者对端侧ai是抱着巨大的期望的。其实强调端侧或者本地ai推理的原因很好理解：第一是如文首所述，这么好的技术和热点可不能英伟达一家独美，大家都要分蛋糕；第二是本地ai推理有着云无法比拟的一些优势。
这些优势应该已经老生常谈了，无非就是云和边缘两侧各自的优缺点，这些优势再搬到ai上来：包括数据安全与隐私，延迟需求，以及无法确保实时的云连接等。不过实际上对ai而言，像chatgpt、midjourney这类面向大众的云ai，相比于本地部署ai模型还有个巨大的弱势，即不能根据个体需求做定制。
如果把视野放宽到消费市场以外，ai走向边缘也因此成为必然：起码企业一定需要边缘ai来提升生产力，这也是我们预判明年生成式ai发展的模式走向。对个人用户来说，无论是做科学研究，还是用于具体的生产力，端侧本地的ai也有可定制和更为自由灵活的优势，比如说用stable diffusion这类复合式模型画小姐姐的需求，在midjourney上有被拒绝服务的可能（不是）...
作为云上ai的王者，英伟达在端侧，尤其具体到pc端又有什么样的储备呢？绝大部分同学应该都知道，英伟达从turing架构开始给geforce rtx gpu加入了tensor core，也就是可加速ai运算的专用硬件单元。与此同时，2021年的秋季gtc上，黄仁勋在主题演讲中就多次强调了transformer的价值，以及llm的潜力。
次年英伟达发布hopper架构的h100加速卡，就果断引入transformer engine库，搭配新一代的tensor core硬件以数倍提升transformer模型处理的性能。当时在gpu上做明确更偏专用的加速，看起来还是挺大胆的。同年10月，对应的ada lovelace架构的geforce rtx 40系gpu发布，很自然的也有了transformer引擎支持——虽然它只是个图形卡。
dall-e, chatgpt在全球范围内的爆发实际上是在hopper和ada lovelace加入transformer引擎以后。当然llm和stable diffusion这类大模型的火热还是趋势使然，只不过英伟达能在热点引爆以前就着力于硬件部署，然后在今年的gtc上英伟达很自然地播放了一段此前黄仁勋将dgx交给openai的名场面。很快英伟达的市值就飙升万亿了。这前瞻水平的确不可谓不高...
这里我们再稍微谈一谈transformer和生成式ai究竟是什么关系。transformer在结构上采用一种所谓的自注意力（self-attention）机制，捕捉全局相关性、在一个队列内不同element的关系。transformer最早主要适用于nlp（natural language processing，自然语言处理），因为其自注意力机制能够让队列中每个element与其他所有element相关联，模型就能基于element关联上下文，来权衡其重要性。
说点人话，gpt就是generative pre-trained transformer的缩写，基于或部分基于transformer是很符合这种模型特性的。llm大语言模型普遍是基于transformer结构，比如chatglm，比如llama，这两年都挺火。
另外，原本cnn卷积神经网络和transformer的工作领域是有差别的，前者被认为更适合做图像分类、对象识别之类的工作。但后来谷歌发了个paper，说把图像切割成小片，每一片当成一个单字、token，则也能以较高精度来学习如何识别对象，达成不错的并行度和灵活性，令transformer也适用于大规模图像识别、cv工作。diffusion模型就有基于transformer的尝试。
也不用去细究transformer和diffusion是个什么关系，发展潜力如何。英伟达此前在发布l40和rtx 6000 gpu时，就特别强调了stable diffusion出图（推理）性能提升——这俩也都是基于ada lovelace架构的，只不过和geforce的市场定位不同。
所以总的来说，英伟达在ai pc硬件层面的准备工作是比其他竞争对手快了几个身位的——虽然这一点似乎主要还是依托于英伟达在数据中心ai hpc领域的先期成功——当然在生态上就涵盖了已经十多年历史的、让gpu能够做各类通用计算的cuda，及其后ai作为一部分的布局了。
工具与生态：生成式ai本地推理要提速
在ai训练和推理的问题上，大量市场研究数据都表明推理的市场一定是更大的——施耐德电气的数据是，从用电量的角度来看，全球范围内ai训练和推理功耗，两者现在的比例大约是2:8；未来还会更进一步偏向推理侧。所以很显然英伟达是不会放过推理市场的。
我们每次和chatgpt说上一句话，chatgpt就要进行一次ai推理（inference）；每次stable diffusion出图个小姐姐，也就在本地进行了一次ai推理。这两者的算力量级还是不一样的。今年的春季gtc上，英伟达有特别面向llm推理发布过一款h100 nvl，着眼的是需求较大算力需求的推理。
至于pc端侧，和数据中心显卡一样，大家都是ampere或ada lovelace架构，基于英伟达构建的栈，用geforce rtx显卡做ai推理也是水到渠成。而且似乎pc行业媒体做显卡评测时，前两年就已经把stable diffusion的本地推理纳入考量范畴了——大部分主要是基于stable diffusion webui（a1111，能跑stable diffusion的一个gui图形用户界面）。用geforce rtx显卡跑stable diffusion webui的基础当然是cuda。
所以最早有“ai pc”实现基础的就是英伟达，毕竟其生态和软件栈的布局，以及社区发明的各类玩法算是相当早了。intel从今年初开始推ai pc的概念，事实上是比英伟达晚了不少的。我们之前一直说intel的软件工程师今年加班应该会很多，虽然intel很大程度借助了开源社区的力量，但是把全栈搭得像模像样，让stable diffusion及各类llm模型跑在自家cpu和gpu上，的确还是下了不少功夫的：无论是年初能跑起来，还是下半年的优化工作。
感觉今年10月，英伟达是明确开始更重视ai pc这个议题了。10月份英伟达亲自下场为stable diffusion webui做了个tensorrt扩展。tensorrt是啥呢？这里的rt是runtime的意思，所以它首先是ai应用部署的一个runtime库；另外这也是个推理优化工具——它给出api和分析器，导入ai模型，然后生成优化过的runtime运行时引擎。
换句话说，这个tensorrt插件，是让ai模型在stable diffusion webui里面跑（推理）得更快了。b站up主nenly给出的实测数据是ai推理性能提升3倍，也就是用stable diffusion画小姐姐比之前没有tensorrt插件要快3倍吧；英伟达给的数据是，这个插件跑在geforce rtx 4090上，stable diffusion推理速度比m2 ultra快了7倍（也算是欺负苹果的生态了）,正式让ai生图进入秒速时代。
stable diffusion tensorrt实测成绩 by nenly同学
其实tensorrt这个工具本身的引入也有些年头了，遥想2019年和更早的年份，这个中间件的版本迭代还是gtc历年更新的热点。
而9月发布的tensorrt-llm显然就是基于tensorrt的，后缀llm则是大语言模型。github上给出的定义是，tensorrt-llm为用户提供易于使用的python api来定义llm，并构建包含高水准优化的tensorrt引擎，在英伟达gpu上执行高效的推理（另外也包含能够跑tensorrt引擎的runtime组件）。
英伟达将其定义为，令生成式ai应用投入生产的主干（backbone）。简单来说也就是能够为llm推理加速、优化的工具。英伟达的宣传资料中提到tensorrt-llm v0.6.0“带来至高达5倍的推力性能提升，并支持更多热门的llm”。
英伟达凯发官网入口首页官网介绍中还特别提到tensorrt-llm有利用fasttransformer——这是英伟达针对transformer模型开发的优化库。从这些组成部分来看，tensorrt-llm也算得上是集合多年经验的成果。用英伟达在q3财报电话会议上的话来说，就是“我们投入安装基础（installed base）20多年了；任何时间你看到英伟达gpu，它都跑我们的栈”，当然也包括geforce。
10月份，tensorrt-llm for windows发布，明确了对于geforce rtx单卡推理的支持。这东西和stable diffusion webui的tensorrt插件算是同时发布，怎么看都有要把ai pc真正做起来的意图。宣传中提到tensorrt-llm for windows使pc生成式ai速度提高4倍。
在pc本地跑生成式ai也会因此变得更实用，包括llama这类比较流行的llm模型，有兴趣的同学可以尝试在本地部署。具体是做llm研究，还是用来聊天、写文案、写代码、查资料，或者和别的技术再做结合，那就是pc端用户及开发者要思考的问题了。
这部分最后再谈一点：在pc端的ai软件栈尚未真正统一的情况下，微软的ai api也是很值得观察的，比如directml。directml算是 12的组成部分，是微软以操作系统供应商的身份给出的机器学习api，现在对大部分芯片厂的gpu都提供ai加速支持，通用性更好。像stable diffusion webui也有directml版，只不过效率上可能会略差于芯片厂给的专用api。
这次英伟达也和微软一起特别为跑在directml api上的llama模型做了优化，英伟达可能主要是做了gpu驱动层面的优化。这也算是ai pc生态构建的多面出击吧。
拥抱生成式ai，拥抱ai pc
其实边缘、端侧ai也未必得限定在生成式ai上。虽然“ai pc”这个概念主要是今年才被提出的，但pc平台应用ai技术却应该是自英伟达turing架构（rtx 20系显卡）引入就开始的，要不然tensor core出了这么多年，用来干啥呢？
pc游戏中的ai深度学习超级采样技术dlss，就属于典型的ai在游戏领域的应用：很多像素都不是靠gpu图形单元渲染出来的，而是靠ai生成的——dlss 3都开始生成帧了，3.5都开搞光线重建了，这些都是ai在做的。
还有像是最近更新的rtx vsr视频超分辨率，将低分辨率的流播画面通过ai超分为高分辨率，新版本据说还能在原始分辨率播放内容时，消除画面伪影和失真......加上英伟达还有视频会议眼神注视、画面超分等ai技术与特性，此类技术都应该算是ai pc的组成部分，即便它们并不算是生成式ai。
而生成式ai的到来则必将加速ai pc对于ai技术的深入应用。有关生成式ai在pc平台的应用问题，预计随着生成式ai、大模型自身的发展，我们在明后年就能找到答案，大概率会有对应的杀手级应用出现，就看开发者们天马行空的创意了。
chatgpt引爆市场以来，大众讨论最多的一个问题似乎是生成式ai要抢占人类的工作和地位了，我们是不是要失业了？在机械重复性工作的确可能面临时代淘汰的危机下，这个时代愿意拥抱生成式ai的，也大有人在。而他们是真正将生成式ai作为生产力工具，引导自身和时代未来发展的一批人。
赵恩哲
比如最近首位获得雨果奖的华人艺术家赵恩哲就以自己的手绘设计为基础，借助geforce rtx显卡，用stable diffusion创作了主题为《虚空之舟》的作品。赵恩哲说：“从游戏电影行业产品的角度，用ai与算力降本增效来赋能开发，这是值得肯定的。我个人喜欢手绘未来感的战舰，更希望将这些战舰与我心中的世界变成一部大片，一部游戏，原来靠我一个人的生产力是不太可能实现的。”
“现在有了ai辅助创作工具，可以基于我的想象力，给到我各种技术实现的可能性，原来要实现现在的结果至少需要很多工作者，几个月的努力，现在却在几秒钟内呈现在我的面前。”这个例子应该是颇具代表性的，艺术家将ai与算力变成自身想象力扩展的工具。
虚空之舟
回到ai pc的话题。其实从高维度的系统层面来看，虽说现阶段pc行业几个主要市场竞争者的芯片跑生成式ai的上层软件栈差别非常大，但最终都是为知名的大模型服务。就系统层面来评判各家跑ai的效率是可行的，比如说在所有层级都达成芯片企业部署的最高优化水平时，用stable diffusion生成图，看各家芯片和软件需要多久。
明年我们应该能看到这样的比较，对几家主要竞争者而言都会是考验。先预测一波，就英伟达在这个领域的多年积累，即便不说芯片架构水平，软件栈和生态的实力应该都足够geforce rtx gpu在这类竞争中拔得头筹。对于生成式ai所需的大模型而言，算力仍然是必须的资源，而生态是高效利用资源的保障。
在pc行业的新一轮革命中，拥抱生成式ai的ai pc在当下才真正具备了竞争力。
本文属于原创文章，如若转载，请注明来源：有关ai pc，英伟达都做了些啥？顺便展望明年的电脑https://pad.zol.com.cn/846/8469009.html
