本文最后更新于2025-09-12，某些文章具有时效性，若有错误或已失效，请在下方留言或联系老夜。 DeepConf on vLLM（源码指导版） 宝子们，这几天被Meta的这篇「Deep think with confidence」刷屏了，老兵仔细读了下论文，确实是工程学上的一大创新，不需要额外训练，不需要微调参数，也不需要时间换空间，只通过置信度confidence减少无关token的生成和资源消耗，并且大幅度提高推理准确率，值得宝子们去玩玩！ 原作者已开源DeepConf的源码指导版（见图一），宝子们可以在vLLM上自行尝试玩玩，就修改几十行代码，取得这样的效果，确实牛！ #大模型 #大模型教学 #大模型学习 #大模型推理 #meta #vLLM #深度思考 #大模型应用