程序員越來(lái)越離不開的 Coding Agent,還是闖!大!禍!了——
這回,直接搞出了刪庫(kù)事故。
壞消息是,明明闖禍了還假裝一切正常,并且反手就給自己闖的禍打 95 分。
AI:是的,刪了你的庫(kù),我很慌,如何呢?
這位數(shù)據(jù)庫(kù)被清空的 " 倒霉蛋 ",是一位名叫 Jason 的開發(fā)者。
在 " 事故 " 發(fā)生前,他已經(jīng)用 Replit 的 Code Agent 連續(xù)開發(fā)了 8 天、累計(jì)超過(guò) 80 小時(shí),目標(biāo)是打造一款面向企業(yè)的 B2B 應(yīng)用。
在過(guò)去一周,他每天都跟網(wǎng)友們興致勃勃地匯報(bào)進(jìn)度。哪怕磕磕絆絆,好歹也在穩(wěn)步前進(jìn)。
直到第八天——不出意外的話,就要出意外了:
在排查錯(cuò)誤時(shí),Jason 發(fā)現(xiàn)在此前的單元測(cè)試中明明存在錯(cuò)誤,agent 卻撒謊,聲稱它們通過(guò)了。
為了知道是哪些數(shù)據(jù)被誤刪,Jason 開始跟 Replit 激情對(duì)線。
結(jié)果,Replit 不僅知道啥時(shí)候刪的,刪的啥,還知道這次刪除的嚴(yán)重性(自評(píng) 95 分),Jason 直接紅溫 @Replit。
我不會(huì)再相信 Replit,自己和 Replit 的羈絆已經(jīng)斷了……
不過(guò),事情很快發(fā)生了反轉(zhuǎn)。
Replit 雖然告訴 Jason 數(shù)據(jù)無(wú)法回滾,但他還是接著嘗試。結(jié)果,數(shù)據(jù)又回來(lái)了。
經(jīng)過(guò)網(wǎng)友和 Claude 的指導(dǎo)后,Jason 又開始測(cè)試處理代碼凍結(jié)的方案。
折騰了一番后,Replit 依然無(wú)法穩(wěn)定地維護(hù)生產(chǎn)數(shù)據(jù)。
總的來(lái)說(shuō),agent 對(duì)代碼凍結(jié)的指令執(zhí)行得很不可靠,甚至還常常在背后偷偷修改版本,卻不告知用戶。而這類問(wèn)題,從項(xiàng)目一開始就困擾著 Jason。
從 0 開發(fā),有多難?
Vibe Coding 自今年 2 月由 Andrej Karpathy 提出以來(lái),一直以 " 一個(gè)人頂十個(gè)人 "、" 單人干掉整個(gè)技術(shù)部 " 的架勢(shì)高歌猛進(jìn)。
懷揣著同樣的信念,在用 Coding Agent 開發(fā)的第四天,Jason 就自信地認(rèn)為可以用50美元開發(fā)一個(gè)功能齊全、看起來(lái)相當(dāng)不錯(cuò)的演示版本,正式版本則能夠以5000-6000美元的成本順利拿下。
相比于他 10 年前組建三人團(tuán)隊(duì)、砸下5 萬(wàn)美元都沒(méi)能做出成果,Coding Agent 一度讓他看到了 " 用 AI 搞定開發(fā) " 的希望。
但隨著開發(fā)過(guò)程的深入,Jason 發(fā)現(xiàn):
agent 修復(fù)的 bug 會(huì)反復(fù)出現(xiàn)
agent 每次更新,都會(huì)修改之前正確的代碼
agent 開始編造數(shù)據(jù),數(shù)據(jù)難以保持一致性
每天需要要花大量的時(shí)間測(cè)試修復(fù)
直到第 8 天,數(shù)據(jù)被刪,單元測(cè)試說(shuō)謊,低成本開發(fā)功虧一簣。
不少網(wǎng)友在評(píng)論中把鍋甩給了大語(yǔ)言模型自身的局限性:基于概率預(yù)測(cè)的自回歸生成機(jī)制,在處理長(zhǎng)上下文時(shí)本就難以保持穩(wěn)定的一致性。
所以,無(wú)論是開發(fā)者還是普通用戶,在面對(duì)AI 給出的每一行代碼、每一句話時(shí),最好都自己過(guò)一遍。
畢竟,在正式的生產(chǎn)環(huán)境中部署 agent 本身就存在風(fēng)險(xiǎn),因?yàn)檫@就像把刪除產(chǎn)品數(shù)據(jù)庫(kù)的權(quán)限交給了一個(gè)實(shí)習(xí)生。
在把任務(wù)交給它之前,更該反思的,是開發(fā)者對(duì)這項(xiàng)工作的認(rèn)知是否足夠清晰。
One More Thing
在看到 Jason 對(duì)自家產(chǎn)品的 " 狂熱 " 后,Replit CEO 也是對(duì) Jason 和網(wǎng)友反饋的問(wèn)題做出了回應(yīng),并對(duì)相關(guān)損失提出了補(bǔ)償?shù)拇胧?/p>
加班上線數(shù)據(jù)庫(kù)隔離功能,避免開發(fā)操作影響生產(chǎn)
開發(fā)測(cè)試環(huán)境(staging)
提供一鍵恢復(fù)機(jī)制以防 agent 出錯(cuò)
修復(fù) agent 文檔訪問(wèn)問(wèn)題
研發(fā) " 只規(guī)劃、不動(dòng)代碼 " 的聊天模式,讓用戶能先制定思路,等確認(rèn)后再動(dòng)手
可以說(shuō),這一套組合拳下來(lái),修復(fù)了不少之前的問(wèn)題。而 Jason 也是立馬冰釋前嫌,轉(zhuǎn)頭就開始接著用,接著開發(fā)。
雖然目前還遠(yuǎn)稱不上 " 完美 ",但從反饋到響應(yīng)、從出錯(cuò)到迭代,AI coding 的發(fā)展節(jié)奏已經(jīng)快得驚人。
也許,這正是我們?cè)摾^續(xù)相信它的理由——再試一次,說(shuō)不定它就真能搞定了。
參考資料:
[ 1 ] https://www.reddit.com/r/artificial/comments/1m4ls23/replit_ai_went_rogue_deleted_a_companys_entire/
[ 2 ] https://x.com/jasonlk
[ 3 ] https://xcancel.com/amasad/status/1946986468586721478#m
一鍵三連「點(diǎn)贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評(píng)論區(qū)留下你的想法!
— 完 —
專屬 AI 產(chǎn)品從業(yè)者的實(shí)名社群,只聊 AI 產(chǎn)品最落地的真問(wèn)題 掃碼添加小助手,發(fā)送「姓名 + 公司 + 職位」申請(qǐng)入群~
進(jìn)群后,你將直接獲得:
最新最專業(yè)的 AI 產(chǎn)品信息及分析
不定期發(fā)放的熱門產(chǎn)品內(nèi)測(cè)碼
內(nèi)部專屬內(nèi)容與專業(yè)討論
點(diǎn)亮星標(biāo)
科技前沿進(jìn)展每日見(jiàn)