代码模子 SFT 对皆后，零落进一步偏勤学习的问题有解了。

北大李戈援救团队与字节相助，在模子检修过程中引入偏勤学习，提倡了一个全新的代码生成优化框架——CodeDPO。

在部分模子上，比拟于单独使用 SFT，CodeDPO 大概将模子的 HumanEval 得分再多进步 10 个百分点，最高增幅接近 1/3。

监督微调（SFT）等现存检修方法，尽管进步了代码质料，但在代码生成过程中存在枢纽局限——莫得十足检修模子在正确与无连气儿决决议之间作念出偏好聘请。

当经受 SFT 方法检修模子时，跟着偏好输出的可能性加多，生成不睬思输出的概率也随之飞腾，导致性能出现瓶颈。

为料理这一问题，北京大学李戈援救团队与字节杰出相助，CodeDPO 因此而生。

该框架将偏勤学习融入代码模子检修中，把握代码自考证机制，显贵进步代码生成的准确性和扩充服从。

SFT 对代码生收服从的进步存在局限

代码生成任务，即左证当然说话描画自动生成代码，正日益受到平方温雅。

大模子在大限制数据集上进行了充分的检修，在这一范围展现出弘远的才能。

这些代码大模子频频会进一步通过指示监督微调（SFT）等方法进行微调，以最大扫尾进步其代码生成才能。

然则，尽管 SFT 方法进步了模子的代码生收服从，但其并未十足检修模子在正确与无连气儿决决议之间作念出偏好聘请。

以 Phi-2-2.7B 模子为例，在后来检修过程中，不同正确性和服从的代码生成概率的变化情况如下图所示。

传统的 SFT 战略难以教养模子更倾向于生成正确料理决议，而非无理或扩充稳固的决议。

因此，在代码模子的后检修中更新检修战略，关于蜕变这些代码模子以轻率千般代码生成任务至关关键。

本文提倡新式代码生成优化框架 CodeDPO，将偏勤学习融入代码模子检修中，基于两个枢纽成分——正确性和服从——界说了代码偏好。

其中，正确性指代码是否准确料理问题，而服从是指揣度代码运行的速率。

商榷团队生机在代码模子的检修过程中，进步模子对正确、高效代码的偏好性。

检修代码模子代码偏好

如图所示，CodeDPO 方法包含四个枢纽风光：

数据种子构建：领先从开源代码库中集合数据种子并生成编程任务教唆；

正确性优化与自考证评分：同期生成代码与测试，通过自考证机制构建用于正确性优化的数据集；

扩充时刻服从优化：商榷团队在采纳的简直测试集上测量扩充时刻，以构建服从优化数据集；

模子偏好检修：从上述两个阶段集合数据集，并使用 DPO 方法来检修多种代码模子。

其中，自考证评分左证生成代码是否通过测试进行迭代更新。

（如上图所示，经过两次迭代后，代码 -1 的评分从 1 变为 1.75 再至 2.7，因其通过更可靠的测试并在每次更新中取得更高评分，标明其正确的概率更大）

代码自考证机制

CodeDPO 通过自考证机制从真确代码库构建数据集，其中代码和测试用例被同期生成并用于评估。

团队假定，能被更多代码片断扩充的测试更为可靠，而通过更多测试的代码则更有可能是正确的。

为此，CodeDPO 经受了一套自考证过程：

每个代码片断和测试用例领先取得一个自考证分数，随后使用一套类 PageRank 的算法进行迭代更新。

该算法通过议论交叉考证中的关联，来诊治每个代码片断和测试的简直分数，优先基于正确性和服从聘请料理决议。

在运行阶段，总共代码片断和测试用例的自考证得分均设为 1。

跟着考证过程的进行，代码和测试用例的得分会左证通过率渐渐更新。具体而言，测试用例被更多的代码片断通过，它的自考证得分就会越高；

通过越多高简直度测试用例的代码片断，其自考证得分也越高。自考证得分的更新公式如下：

其中，d 为阻尼因子，Link ( c,t ) 暗示代码片断 c 是否通过测试用例 t。

经过屡次迭代后，评分渐渐拘谨，最终响应了代码片断和测试用例的正确性质料。

除了代码正确性，代码的扩充服从亦然代码生成模子优化的关键观点。

在 CodeDPO 中，团队通过记载每个代码片断在测试用例中的扩充时刻，来优化其扩充服从。

然则，并非总共测试用例都能准确响应代码的扩充服从。

为了确保服从评估的可靠性，该团队聘请在正确性优化阶段评分最高的代码片断所通过的测试用例，手脚"简直测试集"，以此手脚服从评估的规范。

关于通过简直测试集的代码片断，扩充时刻越短，其服从评分越高。

最终，这些服从较高的代码片断将被用于检修数据聚拢，以进一步优化模子生成代码的扩充服从。

CodeDPO 的最终数据集，包含了从正确性优化与扩充服从优化阶段集合到的数据。

通过整合两方面的数据集，确保了模子不仅能生成正确的代码，还能生成高效的代码料理决议。

完满的数据构造历程如下图所示：

准确性与服从均有进步

测试闭幕显露，经过 CodeDPO 优化后，代码模子的生成准确率和服从，都取得了一定进步。

代码准确性实验

商榷团队在 HumanEval（+），MBPP（+）和 DS-1000 三个数据集上进行了平方实验，涵盖 8 种主流代码生成模子，包含 Base 模子和 SFT 模子。

团队不雅察到 CodeDPO 在总共模子上均带来了显贵进步，无论其运行性能怎么。

格外值得一提的是，在 DeepSeekCoder-6.7B 的基础上，配合已有的 SFT 战略（MagiCoder-S-DS-6.7B），以及本文 CodeDPO 的增强，最终模子在 HumanEval 上达到了 83.5% 的通过率。

此外，CodeDPO 在更具挑战性的 HumanEval+ 上也展现出显贵进步，说明了其在更严格评估下的鲁棒性。

收获于 CodeDPO 的数据构建战略，构建一个可靠的偏好数据集，匡助模子倾向于高质料输出，从而终了更可靠的代码生成。

CodeDPO 在代码模子的后期检修阶段融会着枢纽作用，显贵进步了举座性能。

在 DS-1000 数据集上，该团队进一步评估了 CodeDPO 在不同 Python 库中的推崇。

需要驻扎的是，在数据构建过程中，并未融入特定 Python 库的先验学问。

尽管在 Torch 和 TensorFlow 下团队不雅察到了轻细的性能下跌，可能是由于这些库在数据集构建中的占比较低。

然则，CodeDPO 总体上显露出对其各自基线模子的性能进步。

DS-1000 在数据风光和评估的编程手段方面与 HumanEval 和 MBPP 等基准有所不同，其数据构造过程确保其简直不被任何模子的检修集所包含，从而使得团队在 DS-1000 上不雅察到的蜕变具有可靠性。

这些闭幕标明，CodeDPO 不单是适合于 HumanEval 等规范编程基准，也说明了 CodeDPO 大概在更复杂和千般化的场景中进步模子的编程才能。

代码扩充服从实验

关于代码扩充服从这一问题，该团队通过测量生成代码的扩充时刻并磋商加快比来评估。

同期团队还评估了应用 CodeDPO 前后代码优化百分比，其中秩序若比基线快至少 10% 则视为已优化。

这些观点基于在应用 CodeDPO 前后都能被料理的编程问题所组成的杂乱上来进行实验。

团队聘请 HumanEval+ 和 MBPP+ 进行评估，因其 test case 的构造显贵彭胀了测试用例的千般性，使得这两个增强数据集涵盖了千般边际情况。

下图展示了屡次实验闭幕的散播情况。

CodeDPO 合手续进步代码性能，使生成的代码平均加快 1.25 至 1.45 倍，约 20%-45% 的生成代码料理决议得到了蜕变，证据了其在进步代码服从方面的灵验性。

消融实验

进一局势，作家探讨了 CodeDPO 提倡的自考证机制得到的排序分数，关于最终代码生收服从的影响。

实验中聘请了一些其他的常见排序战略，如：

全测试过滤，即假定总共生成的测试用例均正确，并把握它们来判断代码的正确性；

按通过测试数目排序，即统计总共生成测试中每段代码通过的测试数目，以通过测试最多和最少的代码手脚偏好对；

立时聘请，即从生成的代码中立时考中两个代码料理决议手脚偏好对。

实验闭幕标明，本文提倡的自考证机制以及磋商得到的排序分数，在确保偏好数据集构建的正确性和可靠性方面起着至关关键的作用，显贵进步了 CodeDPO 框架的性能。

著述还探讨了不同偏好优化战略（DPO、KTO 和 SFT）对代码生成模子性能的影响。

SFT 检修战略经受构建的数据聚拢最好的代码料理决议。

在 KTO 检修战略中，商榷团队在框架顶用 KTO 替代了 DPO。

下图闭幕显露，在这些战略中，DPO 推崇最好。

收获于新式的数据构建方法，团队大概取得散播平衡的正负偏好对，从而增强了 DPO 中的对比机制。

CodeDPO 的框架不仅考证了自生成、考证机制和偏勤学习在代码生成范围的灵验性，还为往常更大限制的代码偏好优化奠定了坚实基础。

CodeDPO 的特质在于，不需要有多半优质的测试用例，减少了对外部资源的依赖，使得该框架大概在高质料测试数据可能珍稀的执行场景中优化代码模子。

作家觉得，跟着技能的不休发展，CodeDPO 有望在本色应用中匡助成立团队生成更优质、更适合需求的代码，显贵进步软件的可靠性与委派质料。

作家简介

本文的通信作家是北京大学磋商机学院长聘援救李戈。

第一作家为李戈教讲课题组博士生张克驰，本科毕业于北京大学信息科学技能学院，商榷地点为智能化软件工程、代码暗示与代码生成。

他曾以第一作家在当然说话处理、软件工程等范围的海外会议上发表多篇论文，曾取得 2023 年 ACM 特出论文奖（ACM SIGSOFT Distinguished Paper Award in International Conference on Program Comprehension）。

论文地址：

https://arxiv.org/abs/2410.05605

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 表情主页不竭，以及有关风光哦

咱们会（尽量）实时回话你

点这里� � 温雅我，记起标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相逢 ~