近日，蚂蚁集团AI创新研发部门NextEvo全面开源AI Infra技术，可帮助大模型千卡训练有效时间占比超过95%，能实现训练时“自动驾驶”，这推动了AI研发效率。

该技术框架名为DLRover，目标在于大规模分布式训练的智能化。目前很多企业的训练作业都是跑在混合部署的集群中，运行环境复杂多变，不管多么“崎岖的地形”，DLRover都可以“轻松行驶”。

2023年大模型技术的发展，带来了工程实践的爆发，如何管理数据，提高训练和推理效率，最大化利用现有算力，成了关键一环。

完成一个千亿参数级别的大模型，如GPT-3，用一张卡训练一次要耗时32年，那么训练时的算力利用尤为重要。方法之一是把能用的算力用得更好，比如进一步压榨已购买GPU的性能；二是把以前利用不了的算力用起来，比如CPU、内存等，这就需要通过异构计算平台来解决。

据悉，最新集成进DLRover的是Flash Checkpoint（FCP）方案。模型训练时，一般要打Checkpoint（检查点），以便中断时能恢复到最近状态，目前常规的做法，存在着耗时长、高频打点易降低训练可用时间、低频打点恢复时丢失过多等缺点。新方案FCP应用在千卡千亿参数模型训练后，Checkpoint 导致的训练浪费时间降低约5倍，其中持久化时间降低约70倍，有效训练时间从90%提升至95%。