文 | 互联网怪盗团J9九游会
今天凌晨的WWDC证明了一丝：AI推理算力将历久处于“云表为主”的状态，这个“历久”至少是三到五年。是的，苹果与OpenAI树立了战术贯串，筹办将下一代iOS系统与ChatGPT深度会通；然而绝大部分生成式AI推理，包括翰墨和图片生成任务，仍将上传到ChatGPT的数据中心，在云表完成。对于这一丝，OpenAI在公告中也曾说得很明晰了。苹果的“端侧AI”主要仍局限于软件层面。
如果连苹果王人作念不到推理算力的“端侧化”，那么其他手机厂商就更作念不到了。PC端可能比转移端的进展稍许好一丝，然而在可见的畴昔，大部分AI PC（包括桌面业绩站）仍将基于的桌面级显卡，并且只可履行参数范畴相对较小的（蒸馏后的）大模子推理。无论从时刻角度照旧成本角度计划，大模子及支配开发商王人会更乐意在云表即数据中心完成大部分推理任务。本钱阛阓再次意志到了这一丝，是以WWDC举行之后，苹果股价下落而英伟达股价微涨。
在畴昔很长一段时候里，咱们无用过多计划“端侧算力”。既然如斯，国内AI算力紧缺的问题，就不可能通过发展所谓“端侧算力”的方法去惩办。自从2022年11月底ChatGPT横空出世以来，国内AI算力险些永恒处于紧缺状态，这是由下列成分共同决定的：
全球AI算力均十分紧缺，尤其在制造端，英伟达H系列显卡仅能由台积电代工（三星不行），产能瓶颈将连续到多年以后。
好意思国芯片出口禁令日益严格，尤其在2023年下半年的全主义加强之后，许多“后门”被堵上了，国内厂商采购数据中心级显卡的难度日新月异。
咱们知谈，AI大模子所需算力分为检修和推理两种，前者的条目更高一些；国内的近况则是两种算力王人贫困。讪笑的是，前几年国内发展云游戏时间，互联网大厂和电信运营商均采购了一批英伟达Turing架构的显卡用于架设RTX刀片服务器，这些显卡不错用于AI推理；如果莫得云游戏，国内推理算力的瓶颈将愈加严重。中国游戏产业是一个任劳任怨的背锅产业，谁王人能来踩一脚，谁王人能恶名化，然而扶助所谓“硬科技”产业偏巧还得靠它！
即便如斯，国内AI推理算力的供需相关仍然十分弥留。是以，往时一个月国产大模子的“降价”举措，很大程度上只是是活动艺术闭幕。尤其是对于B端客户而言，无论大模子API的调用价钱降到多低，关节在于能不行买到量。目下的问题等于“有价无市”：唯有极小范畴的采购智商以“刊例价”履行，稍大范畴的采购就必须找销售东谈主员单独洽谈并排队，内容成交价钱难以预思（确定远高于“刊例价”）。
不要说B端用户，哪怕C端用户也能感受到推理算力的弥留：国内的几个最流行的AI大模子支配，免用度户在岑岭期险些一定会遭逢需要排队的景色，必须充值或打赏智商加速程度。要知谈，目下国内主流生成式AI支配的DAU无数唯有几百万量级，推理算力就也曾如斯匮乏；如确切的出现上亿DAU的AI超等支配，算力险些确定是跟不上的——是以目下国内不可能出现这么的超等支配。（注：文心一言和通义千问均自称累计用户高出1亿、逐日API调用次数高出1亿，然而与1亿DAU还差很远；豆包计算也差很远。）
不错思象，比推理条目更高的检修算力愈加紧缺。2024年2月，字节高出在一篇论文当中公布了它于前一年9月组建的“万卡集群”。缺憾的是，它是由1.2万张（相比落伍的）A100显卡构成，而好意思国科技巨头早已换上了由（更先进的）H100构成的“万卡集群”，举例Meta的LLaMA-3等于由2.5万张H100构成的集群检修的；以亚马逊为代表的云规画大厂正在积极转向（更更先进的）B100及GB200算力集群。A系列显卡发布于2020年，那时芯片禁令尚未出台，国内采购莫得多大艰涩；H系列发布于2022年，芯片禁令也曾出台，然而国内仍然不错通过采购“专供版”（主如果H800）的方法绕过；B系列于2024年发布，此时绕过芯片禁令的门道也曾特等狭小、行将就木。
历久、严重的算力瓶颈，给国内AI产业带来了两个久了影响：
当先，算力紧缺意味着算力价钱不菲（无论以自购显卡照旧租用的姿色），国内通盘大模子厂商的售价均无法笼罩检修+推理成本，有些以致无法笼罩边缘推理成本，卖一单亏一单（最近一波降价之后可能亏的更严重）。 其次，国内大部分算力聚合在一丝科技大厂手中，创业公司高度依赖它们，十分渴慕它们以算力的方法投资入股。 论断等于大模子创业在国内是一门特等差的生意，远远比不上圈套年的转移互联网创业。
底下咱们不妨以问答的姿色，进一步默契国内AI算力的近况。问题是阛阓上最和蔼的那些问题，回复则不是来自我本东谈主，而是来自我在云规画和AI行业的信托的一又友，我只是追想他们的谜底闭幕。
问：目下国内AI算力储备及散布景色约莫如何？
答：先说检修使用的“大卡”。如果把A100-800、H100-800均动作“大卡”的话，那么国内的“大卡”储备确定高出六位数，以致可能高出了20万张。问题在于跟着时刻进步，A系列也曾很难再被视为“大卡”了。如果按照扎克伯格所谓的“H100等效算力”，国内的储备确定不高出六位数，而只是Meta一家的“H100等效算力”就也曾高出了30万张，2024年底将打破65万张，远远高出了国内通盘大厂的算力储备之和。
具体到算力散布，有两个模范：第一是“掌执的算力”，第二是“能调用的算力”。阿里这么的云规画大厂掌执了巨大的算力，但其中很大一部分要出租给客户，自家大模子检修和推理能调用的算力巧合有全王人上风。如果只规画“掌执的算力”，国内第一的无疑是阿里，其次是百度、字节高出，腾讯可能更少一丝。掌执一两千张大卡的互联网公司好多，因为内容推选算法、自动驾驶检修等法度王人需要。
至于推理算力的散布就愈加驳杂了。上文提到过，云游戏使用的显卡不错承担一定的推理任务，目下国内的推理算力可能有很大一部分来自以前的云游戏算力。
问：如何看AI算力的国产替代？
答：在检修端难度极大，哪怕某些国产显卡自称其时刻参数能达到A100的水平，它们也不具备NVlink互联时刻和CUDA开发环境，从而无法承担大模子检修业绩。况且，A100是英伟达2020年发布的家具，在2024年“追上”前者四年前的水平并无先进性可言。大模子不是原枪弹，它是一种喜爱性价比的民用商品，使用非主流硬件开发出来的大模子可能毫无买卖价值可言。
然而在推理端，不是完全莫得可能，因为推理卡对NVlink和CUDA的依赖程度很小。英伟达在推理端的城墙仍然很高，然而比起检修端就要差了不少。问题在于，推理算力的时刻阶梯也在不休变迁，时刻变迁的请示者照旧英伟达。假如有选拔的话，主流大厂确定乐意采购英伟达的推相识决决策。国内厂商的问题是在芯片禁令之下莫得选拔，在推理端进行国产替代总归比莫得强。
问：如何看Groq以及国内某些厂商推出的“远超英伟达”的推理卡？
答：在高度特化的时刻阶梯下，如实有可能作念出表不雅时刻远超英伟达同期家具的推理卡——然而付出的代价是支配场景十分狭小。这么的显卡不仅只胜任大模子推理，以致可能仅胜任某一特定类型的推理。大厂树立数据中心需要计划通用性以及后续升级需求，高度特化的显卡无法知足这些需求。上头提到过，云游戏使用的显卡不错用于推理，但高度特化的推理卡不错履行图形渲染任务吗？不错履行自动驾驶等非生成式的推理任务吗？
并且，硅谷那些不差钱的大厂，目卑鄙行以“大卡”同期履行检修和推理任务：速率更快、更具纯真性、料理起来更苟简。你的检修任务在全年之中不是平均散布的，可能这三个月检修蹧跶的算力多一些，接下来推理蹧跶的算力多一些，和解组建“大卡”集群有助于晋升纯真性。天然，这么作念不够经济，是以推理任务主要照旧得由推理卡去履行。我只是思说，英伟达在检修端和推理端的护城河是相反相成的，不是互相孤立的。
问：绕过芯片禁令的可能性大吗？目下公共的替代决策是什么？
答：好多东谈主觉得，芯片禁令不错以“非精深”技巧绕过。但他们漠视了两点：第一，英伟达高端显卡连年来一直供不应求，是以不存在重大的二手及散货阛阓，哪怕是国外大厂淘汰下来的显卡一般亦然里面阐发余热。第二，即便你能绕过英伟达官方销售取得一些显卡，也无法取得时刻撑持。
H系列和B系列检修卡王人不是单片出售的，而是以服务器（检修机）为单元出售。B系列检修机也曾特等像高端数控机床这么的高精尖开发，里面不错植入地舆位置判断系统，发现地舆位置偏移之后不错自动停机。是以无论在表面上照旧实践中，只消英伟达闲散进展履行芯片禁令，等于很难绕过的。天然英伟达确定闲散多卖几个客户、开拓中国阛阓，但目下它的显卡归正不愁卖，短期内也不可能主动承担破损禁令的风险。
天然，一切王人是不错谈的。只消两边王人思进展作念生意，拿出一些东西作念交换，莫得什么生意是一定作念不成的。关节看公共作念生意的意愿有多激烈了！咱们不行低估惩办问题的难度——因为唯有充分计算难度，智商站在试验角度惩办问题。单方面低估难度并装作念问题也曾惩办是不可取的，治服信得过的从业者不会这么作念。