GPU停滞到底卡住了谁？

其次，一个三维的操练效率接有数3亿美元，对晶片的供给往往亦会大约1万张，没有人会人亦会冒风险大规模可用除了英伟达以外的晶片。

最后，允许英伟达GPU的阻碍——繁杂的厂家，或多或少也在允许着AMD的生产效率——MI250或多或少亦然。

至于另一个巨头Gaudi2，由于微处理器自己具备工场因此它或许在生产效率上有比较绝对优势，但Gaudi2是一款依然全新的晶片，针对它的研究和飞行测试还仅有，有事实上微处理器自己还在对其进行各种现有整合和优化，预期到本年度下半年下旬才能数据处理方式完毕，而这时H100不太有可能上市一年多了。

因此总结留下来，现阶段为止H100就是是操练大三维最佳的GPU，没有人会之一。

现阶段，H100的原材料不太有可能相当匮乏，有据称话说开发者Azure和Skype幽的输造出功率严格来话说不太有可能快用完了，南美幽也遭遇或多或少的情况下，据称现阶段供货必须等数月底乃至半年。

避免多得多的原因是各种环境因素的，最根本的是，GPU是一项软弱繁杂的技术整合，必须当今世界上最新技术的厂家，而掌握这项手工的工场——微处理器，它的生产效率是有限的。

现阶段H100都由微处理器代工，可用4N手工，也就是如前所述5石墨烯制程（正因如此A100可用的是N7），这依然是现阶段最繁杂的晶片制作团队手工，从开始装配到造出售给零售商，H100里间境况的装配、外包装和飞行测试节目会一共必须6个月底差不多，这就意味着对H100的装配必须英伟达和微处理器进行提前结束的的设计，这在半导体行业来话说是经常的有事，但这一次英伟达和微处理器显然都对H100供给用到了错误的正确。

这良好思考，因为ChatGPT时值是去月底的有事，那时关于本年度的装案（据估计是上半年的方案）不太有可能规划建筑设计好了，微处理器整体而言的装配技能是有限的，还必须在各不相同的大零售商下方分派，而生产效率弯道也必须一个很长的过程——切勿忘记装配H100这种GPU构成着全当今世界最繁杂的手工流程。

调查结果里相当多表明生其里之一的阻碍在于所谓CoWoS填充（Chip on wafer on Substrate 晶片、芯片、基板填充），它现阶段的月底生产效率是8000片，本年度底都未改善至 11,000 片， 2024 月底则达到每月底 14,500 至 16,600 片差不多的水平，也就是话说，一定亦会改善一倍的生产效率，依然必须一年半的时间，这当然也是由于厂家异常繁杂避免。

这如此一来影响了H100的装配，非常何况并不是只有一家在可用CoWoS填充手工，英伟达的巨头AMD以及首推、摩托罗拉和赛灵思等都或多或少在可用这种手工制作团队晶片，又一次，微处理器的生产效率阻碍允许了GPU的原材料。

另外，H100所可用的HBM3新作闪存也是一个装配难点。调查结果表明英伟达主要在可用SK海力士的闪存，后者是这一领域的领军者，相当多是在HBM闪存的研发上。HBM技术整合如此一来把闪存堆栈放在GPU晶片上，实现了非常高的增益和非常较高的功耗。本年度4月底20日，SK海力士宣布在全球率先研发造出12层堆叠的HBM3闪存，单颗输造出功率达到24GB。闪存输造出功率越加大，意味着GPU可以装载下非常大的三维，然而HBM3闪存的装配过程也十分繁杂，生产效率改善或多或少困难重重，严格来话说另外几家晶片大厂，比如LG和惠普公司，都根本无法改善HBM闪存的生产效率，据话说SK海力士正在根据英伟达的要求在短期内，在才刚过去的SIGGRAPH 2023 上，黄仁勋发表了GH200超级晶片的非常新版， 采用了增强的HBM3E闪存，这可以看作是英伟达在闪存领域同原材料商密切协作的一个都是。

通过和微处理器以及上下游原材料链的积极协调，H100的生产效率亦会渐渐改善——英伟达在净值拨打亦会上谈到了这一点，尽管没有人会对具体二进制做任何尽快。

然而当我们思考GPU阻碍的时候，并只能有趣把它等同于生产效率阻碍，这是调查结果里没有人会明确表明，但又十分显而易见的一点——这种多得多同时还由各种美国市场和非美国市场环境因素造成。

当然，首要的还是英伟达本身对产品线的分派。GPU本就多得多，因此在免费零售商的取向上，英伟达推行了一套和富人配货制度较为类似的程序——由英伟达来所选自己的零售商。

调查结果里表明，哪些零售商能抢到多少GPU得益于英伟达的规划建筑设计，而英伟达非常软弱于为那些没有人会整合竞品晶片的行业优先分派GPU——Skype幽、南美幽和Meta都在整合自己的晶片，因此英伟达确实非常愿意和说文协作，DGX幽基础核心的第一个协作对象就是说文。

其次，英伟达希望了解再度的零售商是谁，它非常软弱于为大行业和强大的以前创母公司提供算力，比如话说英伟达企业的AI母公司 Inflection 就具备一个巨大的H100集群，而小型幽免费商CoreWee则具备比Skype幽非常多的H100。

CoreWee完全可用英伟达的GPU，同时也不打算自己做晶片，因此非常得英伟达瞩目，英伟达甚至还参与了它的B轮风险企业。

CoreWee的GPU人力有多富？它可用基于H100的幽免费操练GPT3大三维只用了11分钟，正因如此OpenAI用一万张A100操练了14.8天。

基于这种配货的程序，美国市场上的GPU流向非常不平衡，GPU越来越不是一个只要有钱就能要买到的进去，这招来了另一种多得多病态——私藏居奇。

大三维的启发式和数据的技术整合难度正因如此比较透光，正因如此，算力是一道扎实的不亦会有违加的内城，有多少GPU如此一来决定了AI母公司的技能一般说来，因此GPU私藏转成了许多母公司的一种下意识暴力行为——宁可备而不用，不可用而领着，这当然加深了GPU的多得多。

因故不见改善的生产效率和坊间各种传闻（比如上面所谓的配货程序，它再也不亦会得到过官方所的证实——就像Burberry根本也不承认有所谓配货程序一样）则造成了一种多得多的预期，就像对经济衰退的预期亦会一定亦会避免经济衰退一样，对供货的预期更进一步加深了供货。

这甚至显然上避免了GPU转成了一种战略病态人力，进而踏入一种金融衍生品。CoreWee 在八月底以前才刚进行了一笔意义23亿美元的债务风险企业，抵押物正是控制权的H100，如果这笔钱纯粹是基于对H100的美国市场均价（这里取37万美元）估造出来的话，意味着CoreWee控制权有大约6000台HGX H100，也就是有数5万张硬件。

GPU的供货影响了了AI的演进，OpenAI 首席执行官Sam Altman话说过，可用我们产品线的人越加少对我们反而越加好。

当然你可以话说Sam Altman在得了低价卖乖（有事实上也确实是），但显然上，这也是他的真心话，算力阻碍在允许着全都，这足以话说明人类对AI突破的预示多么缺乏准备。

生成式AI和transformer核心都不是最新的见到，它们的理论在很确实在国际上流传开来，娱乐业也不乏大举投入其里的母公司（当然，OpenAI是最带头的那个），然而直到ChatGPT和Stable Diffusion用到之前，它们不过是人们知觉里连接机器学习的某种方向而已，类似的方向还有很多，而并没有人会人一定亦会考虑到哪条道路是正确的。

由此我们可以看造出英伟达的的设计是多么具有前瞻病态，把本来用于让计算机程序显示图象的并行计算应用领域专家系统，这让英伟达比其它任何人都非常晚地积累了一新作涉及技术整合、启发式以及硬件器材，并由此创造了CUDA自然生态，现在它们共同支柱起了英伟达万亿市值，踏入一道短期内根本无法击退的行业内城。

正如GPU的生产效率短期内恐怕给与解决一样，AI产业短期内依然要被英伟达的人力所差不多，英伟达正在决定生成式AI的下一代。

参考资料： 《Nvidia H100 GPUs: Supply and Demand》