GPUHedge 是一个开源工具，通过跨多个无服务器 GPU 提供商的投机执行，将冷启动延迟从 117 秒降低到 30 秒，p95 延迟提升了 4 倍。 冷启动延迟是在无服务器 GPU 上部署大型 AI 模型的主要痛点，这种对冲策略提供了一种实用且经济高效的解决方案，可显著改善用户体验并减少计算浪费。 在基准测试中，固定的 RunPod → Cerebrium 对冲策略（启动延迟 10 秒）将 p95 延迟从 116.6 秒降低到 29.4 秒，消除了所有超过 60 秒的请求，并将每次请求的建模活跃计算成本从 0.0114 美元降低到 0.0083 美元。
背景
无服务器 GPU 提供商在 GPU 实例初始化处理请求时会出现冷启动延迟，可能超过一分钟。GPUHedge 将其视为投机执行问题：它在主提供商上启动请求，监控进度，并条件性地在另一个提供商上启动备份，通过提供商的 API 取消失败的任务。