引用

Xia C S, Zhang L. Keep the Conversation Going: Fixing 162 out of 337 bugs for $0.42 each using ChatGPT[J]. arXiv preprint arXiv:2304.00385, 2023.

論文：
https://arxiv.org/abs/2304.00385

摘要

自動(dòng)程序修復(fù)（APR）旨在自動(dòng)為有錯(cuò)誤的程序生成補(bǔ)丁。傳統(tǒng)的 APR 技術(shù)缺乏補(bǔ)丁多樣性，因?yàn)樗鼈儑?yán)重依賴手工或挖掘的錯(cuò)誤修復(fù)模式，并且不能輕易推廣到其他錯(cuò)誤/修復(fù)類型。為了解決這一限制，最近的 APR 工作重點(diǎn)是利用現(xiàn)代大型語言模型 (LLM) 直接生成 APR 補(bǔ)丁。這種基于 LLM 的 APR 工具的工作原理是，首先構(gòu)建使用原始錯(cuò)誤代碼構(gòu)建的輸入提示，然后查詢 LLM 以在錯(cuò)誤位置填寫（完型式 APR）正確的代碼，或者生成一個(gè)全新的代碼片段作為修補(bǔ)。雖然基于 LLM 的 APR 工具能夠?qū)崿F(xiàn)最先進(jìn)的結(jié)果，但它仍然遵循經(jīng)典的生成和驗(yàn)證 (GV) 修復(fù)范例，即首先通過從相同的初始提示中采樣來生成大量補(bǔ)丁，然后驗(yàn)證每個(gè)補(bǔ)丁之后的一個(gè)。這不僅會(huì)導(dǎo)致許多不正確的重復(fù)補(bǔ)丁，而且還會(huì)錯(cuò)過測(cè)試失敗以及看似合理的補(bǔ)丁中的關(guān)鍵但之前被忽略的信息。為了解決上述限制，我們提出了 ChatRepair，這是第一個(gè)完全自動(dòng)化的對(duì)話驅(qū)動(dòng)的 APR 方法，它將補(bǔ)丁生成與即時(shí)反饋交織在一起，以對(duì)話方式執(zhí)行 APR。 ChatRepair 首先向 LLM 提供相關(guān)測(cè)試失敗信息，然后從同一錯(cuò)誤的早期修補(bǔ)嘗試的失敗和成功中學(xué)習(xí)，以獲得更強(qiáng)大的 APR。對(duì)于未能通過所有測(cè)試的早期補(bǔ)丁，我們將不正確的補(bǔ)丁與其相應(yīng)的相關(guān)測(cè)試失敗信息結(jié)合起來，構(gòu)建一個(gè)新的提示，供LLM生成下一個(gè)補(bǔ)丁。這樣，我們就可以避免犯同樣的錯(cuò)誤。對(duì)于通過所有測(cè)試的早期補(bǔ)丁（即合理的補(bǔ)丁），我們進(jìn)一步要求LLM生成原始合理補(bǔ)丁的替代變體。通過這種方式，我們可以進(jìn)一步借鑒早期的成功經(jīng)驗(yàn)，生成更合理的補(bǔ)丁，從而增加獲得正確補(bǔ)丁的機(jī)會(huì)。雖然我們的方法是通用的，但我們使用最先進(jìn)的基于對(duì)話的 LLM – ChatGPT 來實(shí)現(xiàn) ChatRepair。我們對(duì)廣泛研究的 Defects4j 數(shù)據(jù)集的評(píng)估表明，ChatRepair 能夠在修復(fù)性能方面達(dá)到最先進(jìn)的水平，在 Defects4j 1.2 和 2.0 上分別實(shí)現(xiàn) 114 和 48 個(gè)正確修復(fù)。通過計(jì)算訪問 ChatGPT 的成本，我們可以修復(fù) 337 個(gè)錯(cuò)誤中的 162 個(gè)，每個(gè)錯(cuò)誤 0.42 美元！

1 引言

自動(dòng)程序修復(fù) (APR) 是一種自動(dòng)生成軟件錯(cuò)誤補(bǔ)丁的有前途的方法。傳統(tǒng)的 APR 工具通常使用生成和驗(yàn)證 (GV)范例，首先生成大量候選補(bǔ)丁，然后根據(jù)原始測(cè)試套件驗(yàn)證每個(gè)補(bǔ)丁，以發(fā)現(xiàn)一組合理的補(bǔ)丁（通過所有測(cè)試）。然后將這些看似合理的補(bǔ)丁提供給開發(fā)人員，以找到正確修復(fù)潛在錯(cuò)誤的正確補(bǔ)丁。傳統(tǒng)的APR技術(shù)可以分為基于模板的，基于啟發(fā)式的和基于約束的APR工具。在這些傳統(tǒng)技術(shù)中，基于模板的 APR 工具，使用手工制作或挖掘的修復(fù)模板來匹配和修復(fù)有缺陷的代碼模式，被認(rèn)為是最先進(jìn)的。然而，基于模板的工具缺乏補(bǔ)丁多樣性，因?yàn)樗鼈儫o法輕松泛化到預(yù)定義模板列表之外的錯(cuò)誤和模式。為了解決傳統(tǒng) APR 技術(shù)的局限性，研究人員提出了利用深度學(xué)習(xí)進(jìn)步的基于學(xué)習(xí)的 APR 方法。基于學(xué)習(xí)的方法主要基于神經(jīng)機(jī)器翻譯（NMT）或大型語言模型（LLM）。基于 NMT 的 APR 工具將修復(fù)視為一項(xiàng)翻譯任務(wù)，通過使用歷史錯(cuò)誤修復(fù)數(shù)據(jù)集訓(xùn)練 NMT 模型將有錯(cuò)誤的代碼轉(zhuǎn)換為正確的代碼。然而，這種基于 NMT 的 APR 工具嚴(yán)重依賴于其訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)是通過抓取開源存儲(chǔ)庫來進(jìn)行錯(cuò)誤修復(fù)提交而獲得的。這意味著不僅訓(xùn)練數(shù)據(jù)集可能有噪音（即包含不相關(guān)的提交/更改），而且這些基于 NMT 的方法可能無法推廣到在有限的訓(xùn)練數(shù)據(jù)中未見的錯(cuò)誤修復(fù)類型。

最近，研究人員開始直接利用高級(jí)LLM進(jìn)行 APR。現(xiàn)代LLM接受了數(shù)十億個(gè)開源代碼片段的訓(xùn)練，在許多與代碼相關(guān)的任務(wù)上展示了令人印象深刻的性能，并且可以學(xué)習(xí)在給定周圍上下文的情況下直接生成代碼（由于代碼自然性）。 AlphaRepair提出了第一個(gè)完形填空式（或填充式）APR 方法，其中有錯(cuò)誤的代碼被刪除，并且 LLM 在給定前綴和后綴上下文的情況下直接預(yù)測(cè)正確的代碼。最近的工作還應(yīng)用基于 LLM 的 APR 來自動(dòng)完成單個(gè)正確行或生成完整的固定函數(shù)。一項(xiàng)更廣泛的研究研究了將更大的 LLM 和不同的 LLM 架構(gòu)（即生成式和填充式）應(yīng)用于 APR，并證明基于 LLM 的 APR 工具可以在許多 APR 任務(wù)上實(shí)現(xiàn)新的最先進(jìn)的性能。同時(shí)，現(xiàn)有的基于LLM的APR渠道仍然存在以下局限性：

1）缺少測(cè)試失敗信息。當(dāng)前基于 LLM 的工具沒有考慮原始 bug 暴露測(cè)試中的豐富信息。這些信息不僅可以幫助LLM理解被測(cè)源代碼的含義，還可以通過具體的代碼片段提供幫助和提示。圖 1 顯示了錯(cuò)誤修復(fù)示例以及原始測(cè)試失敗信息。我們看到解決方法是將附加字符串交換為“\\000”。對(duì)于基于 LLM 的方法來說，這可能是一個(gè)極其困難的修復(fù)，因?yàn)檫@個(gè)獨(dú)特的字符串是這不是預(yù)訓(xùn)練期間常用的字符串，并且當(dāng)前函數(shù)上下文中也沒有其他三重字符串（“\\XXX”）的示例。然而，從測(cè)試中的失敗行和相應(yīng)的錯(cuò)誤消息中，我們看到測(cè)試期望輸出包含三個(gè)零，甚至包含直接在補(bǔ)丁中使用的代碼片段（“\\000”）！LLM在處理/利用測(cè)試失敗日志等非結(jié)構(gòu)化/復(fù)雜信息方面表現(xiàn)出了強(qiáng)大的能力。如果不考慮它們，基于 LLM 的工具可能會(huì)浪費(fèi)大量時(shí)間來生成不相關(guān)的補(bǔ)丁。

2）重復(fù)采樣。當(dāng)前基于 LLM 的方法首先使用原始有缺陷的代碼構(gòu)建輸入提示，然后要求 LLM 填寫正確的代碼（即完型填空式 APR）或生成全新的固定函數(shù)。使用初始提示，基于 LLM 的技術(shù)將對(duì) LLM 進(jìn)行多次采樣以生成許多補(bǔ)丁，類似于傳統(tǒng)的程序修復(fù) GV 范例。然而，由于每個(gè)樣本都是完全獨(dú)立的，LLM 不知道任何先前生成的補(bǔ)丁。因此，基于 LLM 的工具可能會(huì)生成許多重復(fù)或類似的補(bǔ)丁，這些補(bǔ)丁已被確定為不正確，從而浪費(fèi) API 訪問的成本或 GPU 執(zhí)行的時(shí)間。此外，這種重復(fù)采樣過程也與人類開發(fā)人員修復(fù)錯(cuò)誤的方式截然不同，人類開發(fā)人員在知識(shí)的基礎(chǔ)上迭代構(gòu)建，并嘗試從之前失敗的嘗試中提出下一個(gè)可能的補(bǔ)丁。

3）對(duì)有價(jià)值的合理補(bǔ)丁的無知。除了無法使用過去的錯(cuò)誤補(bǔ)丁之外，當(dāng)前基于 LLM 的 APR 工具也無法有效利用之前生成的合理補(bǔ)丁。合理的補(bǔ)丁已被證明是有價(jià)值的，因?yàn)樗鼈兺ǔＥc實(shí)際正確的補(bǔ)丁共享相似的位置。此外，我們進(jìn)一步假設(shè)合理的補(bǔ)丁可能還包括通過所有測(cè)試的關(guān)鍵代碼成分，并且還可以幫助LLM更好地學(xué)習(xí)如何通過所有測(cè)試以生成更合理的補(bǔ)丁（從而增加生成正確補(bǔ)丁的機(jī)會(huì)）。通過忽略這些有價(jià)值的合理補(bǔ)丁信息并在生成合理補(bǔ)丁后從頭開始，現(xiàn)有的基于 LLM 的 APR 可能會(huì)錯(cuò)過正確修復(fù)更多錯(cuò)誤的機(jī)會(huì)。

我們的工作。我們推出 ChatRepair – 一種完全自動(dòng)化的對(duì)話驅(qū)動(dòng)的 APR 方法，它將補(bǔ)丁生成與即時(shí)反饋交織在一起，以對(duì)話方式執(zhí)行補(bǔ)丁生成。雖然我們的想法很籠統(tǒng)，但為了構(gòu)建 ChatRepair，我們使用最近開發(fā)的、當(dāng)前最先進(jìn)的基于對(duì)話的 LLM – ChatGPT，它不僅經(jīng)過數(shù)十億代碼片段的訓(xùn)練，而且還經(jīng)過設(shè)計(jì)以對(duì)話方式使用，以更好地理解說明。 ChatRepair 首先提取相關(guān)測(cè)試失敗信息作為初始提示，為 ChatGPT 提供更多 APR 上下文信息。此外，ChatRepair 進(jìn)一步從早期修補(bǔ)的失敗和成功中學(xué)習(xí)嘗試相同的錯(cuò)誤以獲得更強(qiáng)大的 APR。對(duì)于未能通過所有測(cè)試的早期補(bǔ)丁，我們將不正確的補(bǔ)丁與其相應(yīng)的測(cè)試失敗信息結(jié)合起來，構(gòu)建一個(gè)新的提示，供 LLM 生成下一個(gè)補(bǔ)丁。這樣，我們就可以避免犯同樣的錯(cuò)誤。對(duì)于通過所有測(cè)試的早期補(bǔ)丁（即合理的補(bǔ)丁），我們進(jìn)一步要求LLM生成原始合理補(bǔ)丁的替代變體。通過這種方式，我們可以進(jìn)一步借鑒早期的成功經(jīng)驗(yàn)，生成更合理的補(bǔ)丁，從而增加獲得正確補(bǔ)丁的機(jī)會(huì)。由于我們的方法使用 ChatGPT 模型，因此我們還計(jì)算用于修復(fù)錯(cuò)誤的 ChatGPT API 查詢的美元成本。令人驚訝的是，我們發(fā)現(xiàn)通過使用 ChatRepair，我們可以修復(fù) 337 個(gè)錯(cuò)誤中的 162 個(gè)，每個(gè)錯(cuò)誤 0.42 美元。

本文做出以下貢獻(xiàn)：

維度。我們?yōu)槿詣?dòng)程序修復(fù)開辟了對(duì)話驅(qū)動(dòng)范例的新維度。我們的工作首次證明，我們可以有效地利用以前被忽略的測(cè)試失敗信息，以及以對(duì)話方式進(jìn)行的早期補(bǔ)丁嘗試，以提示LLM生成更正確的補(bǔ)丁。此外，我們展示了利用基于對(duì)話的LLM進(jìn)行 APR 的廣闊前景。
技術(shù)。我們使用最新的ChatGPT 模型開發(fā)了ChatRepair，這是一種完全自動(dòng)化的對(duì)話驅(qū)動(dòng)的APR 工具。更具體地說，我們自動(dòng)提取有關(guān)初始測(cè)試失敗以及早期補(bǔ)丁嘗試的簡(jiǎn)潔相關(guān)信息，以提示 ChatGPT 進(jìn)行有效的 APR。
評(píng)估。我們?cè)趶V泛研究的 Defects4j 1.2、2.0和 QuixBugs數(shù)據(jù)集上針對(duì)當(dāng)前最先進(jìn)的基于學(xué)習(xí)的傳統(tǒng) APR 工具評(píng)估 ChatRepair。 ChatRepair 在 Defects4j 1.2 和 2.0 上分別獲得了 114 個(gè)和 48 個(gè)正確錯(cuò)誤修復(fù)（比之前的最佳基線多 15 個(gè)和 17 個(gè)）的新的最先進(jìn)修復(fù)結(jié)果。此外，我們進(jìn)行了廣泛的消融研究，以證明利用豐富的語義測(cè)試失敗信息和 ChatRepair 的對(duì)話范例進(jìn)行修復(fù)所獲得的改進(jìn)。
2 技術(shù)介紹

我們提出了 ChatRepair，一種完全自動(dòng)化的對(duì)話驅(qū)動(dòng)的 APR 技術(shù)，它結(jié)合了多個(gè)維度的反饋信息來迭代查詢模型以生成補(bǔ)丁。 ChatRepair 不像現(xiàn)有基于 LLM 的 APR 技術(shù)那樣直接根據(jù)有缺陷的代碼生成補(bǔ)丁，而是另外提供有價(jià)值的測(cè)試失敗信息，以進(jìn)一步幫助 LLM 生成補(bǔ)丁。此外，ChatRepair 并沒有像之前基于 LLM 的 APR 技術(shù)那樣從相同的提示中連續(xù)采樣，而是跟蹤對(duì)話歷史記錄，并通過提示從先前失敗和成功的同一錯(cuò)誤修補(bǔ)嘗試中進(jìn)一步學(xué)習(xí)。通過這種方式，ChatRepair 既可以避免以前的失敗，又可以在早期的成功（例如合理的補(bǔ)丁）的基礎(chǔ)上構(gòu)建更有效的 APR。因此，ChatRepair 最大限度地提高了獲得正確修復(fù)潛在錯(cuò)誤的真正正確補(bǔ)丁的能力。雖然我們的方法是通用的，可以使用不同的 LLM 并應(yīng)用于各種不同的修復(fù)場(chǎng)景，但在這項(xiàng)工作中，我們使用專為對(duì)話交互設(shè)計(jì)的最先進(jìn)的 ChatGPT 模型，如圖1所示。

圖1：ChatRepair整體工作流程

2.1 初始輸入

首先，我們使用原始的bug項(xiàng)目和bug來構(gòu)建ChatGPT的初始提示，以啟動(dòng)修復(fù)過程。我們遵循先前基于學(xué)習(xí)的APR工具，并主要關(guān)注線級(jí)修復(fù)(特別是填充或封閉型APR，因?yàn)樗驯蛔C明是最先進(jìn)的[58])。同時(shí)，ChatRepair通常也可以用于各種不同的修復(fù)場(chǎng)景，我們將在后面的部分中更詳細(xì)地對(duì)其進(jìn)行評(píng)估。

ChatRepair使用來自失敗測(cè)試的各種信息，包括1)它的名稱，2)觸發(fā)測(cè)試失敗的相關(guān)代碼行，以及3)產(chǎn)生的錯(cuò)誤消息。失敗測(cè)試的名稱可以作為被測(cè)函數(shù)的簡(jiǎn)短摘要。在圖2的例子中，失敗的測(cè)試是
testGreatestSubtypeUnionTypes5()，它告訴我們，我們正在測(cè)試一個(gè)與從聯(lián)合類型中確定最大子類型相關(guān)的功能。相關(guān)的測(cè)試代碼和錯(cuò)誤消息給出了關(guān)于測(cè)試失敗原因的具體信息。在示例中，相關(guān)的測(cè)試代碼和錯(cuò)誤消息告訴模型，我們正在比較No_OBJECT_TYPE，但源代碼函數(shù)錯(cuò)誤地返回了一個(gè)None對(duì)象。這樣失敗的測(cè)試信息不僅在源代碼的功能方面為模型提供了更多的解釋，而且在預(yù)期輸出和函數(shù)使用方面提供了具體的信息，以幫助模型生成正確的修復(fù)。注意，如果有多個(gè)失敗的測(cè)試，ChatRepair只提供其中一個(gè)的信息，以保持簡(jiǎn)潔的初始提示。最后，我們通過給model生成正確的行來替換填充位置的有bug的代碼來結(jié)束我們的初始提示。設(shè)C為輸出生成序列概率的ChatGPT，preandsufas為刪除錯(cuò)誤行后的錯(cuò)誤代碼的前綴和后綴，Ifillas為替換錯(cuò)誤行的填充令牌，f0為構(gòu)造的失敗測(cè)試信息，Ifillas為填充指令提示符。補(bǔ)丁pgenerated可以形式化的條件概率:C(p|pre,infill,suf,f0,Ifill)

據(jù)我們所知，ChatRepair是第一個(gè)通過結(jié)合故障信息的自然語言描述(例如，代碼在此測(cè)試中失敗:{failure_test})作為輸入到強(qiáng)大的ChatGPT模型中，以純提示方法應(yīng)用這些測(cè)試失敗和錯(cuò)誤消息的工作。與之前使用的修復(fù)測(cè)試執(zhí)行信息不同[61]，它依賴于自定義編碼或手工制作的啟發(fā)式，通過使用ChatGPT通過提示進(jìn)行ChatRepair不僅是跨越不同編程語言但也不受測(cè)試信息類型的限制。

2.2 會(huì)話修補(bǔ)

我們首先使用創(chuàng)建的初始提示來查詢ChatGPT以獲得模型輸出并提取候選補(bǔ)丁。然后，我們轉(zhuǎn)移到方法的對(duì)話部分，我們將patch生成與測(cè)試驗(yàn)證反饋交織在一起，以對(duì)話的方式提示未來的生成。每個(gè)由模型生成的補(bǔ)丁之后，都立即有一個(gè)補(bǔ)丁驗(yàn)證步驟，以在測(cè)試套件上編譯和運(yùn)行補(bǔ)丁。如果補(bǔ)丁未能通過測(cè)試，我們將使用不正確的補(bǔ)丁和失敗的測(cè)試構(gòu)建詳細(xì)的反饋信息，作為下一個(gè)補(bǔ)丁生成提示的一部分。與初始提示類似，測(cè)試失敗信息可以幫助模型了解失敗原因，并為生成正確修復(fù)提供指導(dǎo)。在對(duì)話步驟中，我們進(jìn)一步將測(cè)試失敗信息與之前不正確的補(bǔ)丁結(jié)合起來，不僅可以避免生成更多類似的不正確補(bǔ)丁，還可以從前幾代的錯(cuò)誤中學(xué)習(xí)。我們重復(fù)這個(gè)過程，直到生成一個(gè)通過整個(gè)測(cè)試套件的可信補(bǔ)丁。

2.3 貌似合理的補(bǔ)丁生成

在前一步之后，ChatRepair應(yīng)該獲得一個(gè)可以通過整個(gè)測(cè)試套件的貌似合理的補(bǔ)丁。然而，一個(gè)似是而非的補(bǔ)丁可能并不總是能夠正確地修復(fù)底層bug，因?yàn)闇y(cè)試套件可能是不完整的，因此無法覆蓋底層代碼的所有可能的預(yù)期用法。因此，開發(fā)人員必須手動(dòng)檢查合理的補(bǔ)丁以確定正確的補(bǔ)丁。合理的補(bǔ)丁和最終正確的補(bǔ)丁都有一個(gè)相似的特點(diǎn):它們都可以通過整個(gè)測(cè)試套件。因此，ChatRepair不是從頭開始)，而是直接利用現(xiàn)有的可信補(bǔ)丁來創(chuàng)建更可信的補(bǔ)丁。簡(jiǎn)而言之，為了增加我們能夠生成正確補(bǔ)丁的概率，ChatRepair采用之前生成的可信補(bǔ)丁，并要求模型生成替代變體并產(chǎn)生額外的候選補(bǔ)丁。

首先，我們采用最初使用的提示符，其中包含原始的有bug的代碼功能以及有用的測(cè)試失敗信息。然后，我們?cè)谔崾痉竺嫣砑由傻暮侠硌a(bǔ)丁列表。在開始時(shí)，該列表將只包含上一步中單個(gè)合理的補(bǔ)丁，但是隨著我們繼續(xù)生成額外的合理補(bǔ)丁，它會(huì)增長(zhǎng)。接下來，我們?cè)谔崾痉兄赋鑫覀兿胍鉀Q的任務(wù)-請(qǐng)生成一個(gè)替代修復(fù)行。然后，我們使用這個(gè)提示符作為ChatGPT的輸入，并獲得一個(gè)候選補(bǔ)丁，我們將再次編譯并運(yùn)行測(cè)試套件，以檢查它是否確實(shí)是另一個(gè)合理的補(bǔ)丁。我們不斷地查詢ChatGPT并更新提示符，以包含生成的新的可信補(bǔ)丁，以避免再次重復(fù)生成相同的可信補(bǔ)丁，并進(jìn)一步構(gòu)建早期的可信補(bǔ)丁。再次設(shè)C為輸出生成序列概率的ChatGPT模型，Ibe為初始提示符，Iplas為任務(wù)指令，PL<n={pl1，…，pln−1}是之前生成的可信補(bǔ)丁。生成的下一個(gè)似是而非的補(bǔ)丁可以形式化為條件概率:C(pli|I，PL<i，IPL)。

最后，我們得到一個(gè)似是而非的補(bǔ)丁列表，這些補(bǔ)丁可以交給開發(fā)人員進(jìn)行人工檢查。與之前的APR工具(僅對(duì)原始錯(cuò)誤代碼進(jìn)行操作以生成補(bǔ)丁)不同，ChatRepair利用每個(gè)可能的補(bǔ)丁中額外的有用信息來獲得更多可能的補(bǔ)丁。一個(gè)合理的補(bǔ)丁通常包含有用的成分/模式，允許它通過原始測(cè)試套件;因此，ChatGPT不是從頭開始(即再次修復(fù)錯(cuò)誤)，而是在現(xiàn)有的可信補(bǔ)丁的基礎(chǔ)上構(gòu)建，通過其強(qiáng)大的理解指令的能力，可以獲得額外的可信補(bǔ)丁，以增加我們的最終補(bǔ)丁列表中包含修復(fù)錯(cuò)誤的正確補(bǔ)丁的可能性。