自研大模型训推体系

发布时间:2025-12-24 16:03:20

清众科技依托自研训推平台“智擎”,依托自研训推平台,深度融合预训练、全参数微调、参数高效微调及强化学习等前沿训练技术,搭配世界领先的大模型推理引擎,构建端到端的大模型训练到部署闭环。通过性能优化,实现模型效能的最大化释放,支撑高精度、低延迟的产业级部署。
   解决痛点:传统训推速度慢、显存占用高,无法满足生产级需求
   核心价值:提供高效稳定的企业级 AI 服务基础设施
   核心亮点:
   ✓训练:支持 6 类 38 种模型训练方法,涵盖高效微调、分布式训练等先进训练技术,显著降低训练成本达80%以上。原本需要8张A100计算卡的任务,现仅需1张A10即可高效完成。
   ✓推理:支持PyTorch, vLLM, SGLang, LMDeploy 国内外4大主流推理引擎,用户可自由选择,适配不同业务场景。推理速度达 30-100+token/s(传统仅 5-10),延迟降低 60-80%。