如何评价中国llm厂商涨价现象?
背景知识:
模型训练的权重更新对显卡的同质性要求很高，同步训练域內但凡混入一块烂卡/异构卡/故障卡都会严重拖累整个集群的训练速度，典型的木桶效应。中国厂商预训练规模上限，直接取决于其能走私nvidia前沿显卡集群规模。中国国产显卡在这里不是性能差的问题，是禁止使用。
中国曾经挖矿/互联网经济等的繁荣积累大量存量算力集群，无法用于训练，和美国有巨大预训练需求竞标算力不同，中国存量算力机会成本低，这是中国厂商廉价token的基础。
涨价原因猜想:
1. 后训练消耗算力上升:
后训练的权重更新需求和预训练一致，需要同步训练域，但是推理采样的部分可以异步外包给各种乱七八糟的显卡集群。后训练的瓶颈在于算法，目前强化学习怎么获取think+agent的奖励信号是个大问题。短期要出成果，直接蒸馏最方便，但这种蒸馏后训练的模型分布异常，每步agent许成不许败，失败恢復处理比较难绷。
无论如何，后训练消耗算力上升挤压用于推理的算力。
2. 算力国产化的影响
存量算力(比如a100集群)，目前应该陆续折旧报废了。而据说华为用三倍的价格卖同型号三分之一算力的服务器，用于缓解自己的金融压力(比如员工分红虚拟股)，而中国厂商只能选择推高token价格。
总而言之，中国的廉价token只是转型期的特殊现象。全面nvidia化会使预训练需求竞标算力，token贵; 而全面华为化会直接推高算力的物理和财务成本，token贵。
模型训练的权重更新对显卡的同质性要求很高，同步训练域內但凡混入一块烂卡/异构卡/故障卡都会严重拖累整个集群的训练速度，典型的木桶效应。中国厂商预训练规模上限，直接取决于其能走私nvidia前沿显卡集群规模。中国国产显卡在这里不是性能差的问题，是禁止使用。
中国曾经挖矿/互联网经济等的繁荣积累大量存量算力集群，无法用于训练，和美国有巨大预训练需求竞标算力不同，中国存量算力机会成本低，这是中国厂商廉价token的基础。
涨价原因猜想:
1. 后训练消耗算力上升:
后训练的权重更新需求和预训练一致，需要同步训练域，但是推理采样的部分可以异步外包给各种乱七八糟的显卡集群。后训练的瓶颈在于算法，目前强化学习怎么获取think+agent的奖励信号是个大问题。短期要出成果，直接蒸馏最方便，但这种蒸馏后训练的模型分布异常，每步agent许成不许败，失败恢復处理比较难绷。
无论如何，后训练消耗算力上升挤压用于推理的算力。
2. 算力国产化的影响
存量算力(比如a100集群)，目前应该陆续折旧报废了。而据说华为用三倍的价格卖同型号三分之一算力的服务器，用于缓解自己的金融压力(比如员工分红虚拟股)，而中国厂商只能选择推高token价格。
总而言之，中国的廉价token只是转型期的特殊现象。全面nvidia化会使预训练需求竞标算力，token贵; 而全面华为化会直接推高算力的物理和财务成本，token贵。
已隐藏
李强同志贯彻落实裆中央反内卷精神，批示掌握经济命脉的全民所有制垄断企业挨个涨了一遍基础生产资料价格，起到美化个别资本主义指标的效果，难掩通缩大局。东西便宜了，有啥不好？瞎折腾。
根据美国的开源模型供应商opencode说，他们有能力租服务器，本地部署deepseek，实现和deepseek现在一样，甚至更低的价格。deepseek价格上涨大概率不是因为成本问题，而是因为显卡供应问题，无法支持现在这么庞大的token开销，要通过涨价来控制用户数量。
说白了就是显卡性能和数量跟不上，目前的用户太多，服务器压力支撑不住。只能通过涨价限流来维持正常运转。
因为中国LLM模型是开源模型，所以很可能出现opencode这类第三方供应商自己本地部署api token卖的比原厂还便宜的怪事（笑）。只能说牢梁涨价最大的竞争对手就是外国厂商本地部署的deepseek(笑)。
说白了就是显卡性能和数量跟不上，目前的用户太多，服务器压力支撑不住。只能通过涨价限流来维持正常运转。
因为中国LLM模型是开源模型，所以很可能出现opencode这类第三方供应商自己本地部署api token卖的比原厂还便宜的怪事（笑）。只能说牢梁涨价最大的竞争对手就是外国厂商本地部署的deepseek(笑)。