流量高峰“不加价”，第四范式SageOne IA一体机全新升级，支持模型弹性伸缩
创始人
2025-04-07 12:02:04

智通财经APP获悉，近期，第四范式(06682)一体机解决方案SageOne IA全新升级，推出“模型弹性伸缩”技术来应对流量波动。当前企业一般采用传统扩缩容方案，即当应用负载增加时，通过人工干预或系统按既定规则扩展计算节点，保证服务可用;当负载减少时释放多余的计算节点，这一定程度上增加了算力成本和IT运维复杂度。“模型弹性伸缩”是系统根据负载状况，自动灵活切换同一系列下不同参数大小的模型提供模型服务，无需额外扩展计算节点，节省算力成本，提升资源使用效率的同时还大大降低运维工作量。

例如在大模型推理场景下，负载较小时，满血版模型提供高精度的推理服务;进入高峰时段时，系统会自动将满血版降级为一个或多个蒸馏版/量化版模型实例，来处理大量并发请求。结合模型预加载等技术，可避免模型服务切换时，导致服务中断或输出质量波动问题，做到用户无感知的平滑切换;当流量回归常态后，系统再自动升级到满血版模型服务，并释放多余的较小参数模型实例。

同时，系统可预设多种基于负载的触发条件，如结合GPU使用率、请求队列长度、响应延迟等资源健康度指标，形成动态切换策略和任务路由机制，使弹性方案在实际应用中更贴近业务需求。

上一篇：石油天然气ETF（159588）跌8.49%，半日成交额293.57万元

下一篇：美军“卡尔·文森”号航母已前往中东

相关内容

热门资讯

戈碧迦股价跌5.06%，中信建... 2月27日，戈碧迦跌5.06%，截至发稿，报48.20元/股，成交1.25亿元，换手率1.82%，总...
生益科技股价跌5.04%，中银... 2月27日，生益科技跌5.04%，截至发稿，报69.32元/股，成交22.71亿元，换手率1.35%...
生益科技股价跌5.04%，朱雀... 2月27日，生益科技跌5.04%，截至发稿，报69.32元/股，成交22.71亿元，换手率1.35%...
生益科技股价跌5.04%，东方... 2月27日，生益科技跌5.04%，截至发稿，报69.32元/股，成交22.72亿元，换手率1.35%...
江苏省徐州市市场监管局：假期监... 中国质量新闻网讯 为切实维护春节假期市场计量秩序，严厉打击计量作弊、短斤少两等违法行为，徐州市市场监...