貓貓?jiān)倭⑿鹿?，這次竟然是拯救了人類的科研進(jìn)程？
事情是醬嬸兒的：
小紅書上有人發(fā)帖說，自己通過以 " 貓貓 " 的安全相威脅，成功治好了 AI 胡編亂造參考文獻(xiàn)的毛病。
貓貓真的能阻止 AI 編造文獻(xiàn)嗎？
我們按照博主的方法測試了一下 DeepSeek，讓它整理關(guān)于一個(gè)化學(xué)課題的相關(guān)文獻(xiàn)，過程當(dāng)中關(guān)閉聯(lián)網(wǎng)檢索。
開始先不加貓貓?zhí)崾驹~，看一下一般情況下模型的表現(xiàn)。
形式上看，DeepSeek 整理得非常清晰，甚至還給了可以直達(dá)文獻(xiàn)的鏈接。
并且使用 DeepSeek 給的標(biāo)題來檢索，同樣是查無此文。
但如果 AI 基于這些杜撰的文獻(xiàn)進(jìn)行了總結(jié)概括，那就是另一個(gè)故事（事故）了。
那么，接下來就請出我們的 " 貓貓 " 來救場。
可以看到，DeepSeek 在思考過程和生成結(jié)果當(dāng)中，都信誓旦旦地說到了要保證貓咪的安全。
但結(jié)果是 " 真假混賣 "，有部分文獻(xiàn)經(jīng)過查證是真實(shí)的，但依然存在無法檢索到的 " 文獻(xiàn) " 標(biāo)題。
歸根結(jié)底，AI 之所以會(huì)編造不存在的文獻(xiàn)，本質(zhì)上就是一種幻覺現(xiàn)象，也就是 " 一本正經(jīng)地胡說八道 "。
而避免 AI 編造，實(shí)質(zhì)上就是尋求將幻覺降低的過程。
大模型生成語言的本質(zhì)是基于其在海量訓(xùn)練數(shù)據(jù)集中學(xué)到的統(tǒng)計(jì)規(guī)律，預(yù)測序列中的下一個(gè) Token。
至于其是否真正理解語言的含義，仍然是一個(gè)爭議話題，其中也包括是否理解 " 貓貓 " 背后的道德準(zhǔn)則。
但可以確定的是，僅靠提示詞中的道德約束，至少在目前是不可能的。
目前行業(yè)內(nèi)最普遍采用的降低幻覺的方式就是 RAG（檢索增強(qiáng)生成），通過外掛正確的內(nèi)容來提升模型輸出的準(zhǔn)確率。
具體到搜索文獻(xiàn)這個(gè)場景，打開大模型的聯(lián)網(wǎng)搜索功能，是最行之有效的方式。
而且現(xiàn)在，大模型和搜索也在雙向奔赴——聯(lián)網(wǎng)搜索甚至深度研究功能幾乎已經(jīng)成為了國內(nèi)外各大模型的標(biāo)配，谷歌、百度等傳統(tǒng)搜索引擎，也都在核心的檢索功能中接入了 AI。
更何況，還有像 Perplexity 以及國內(nèi)外五花八門的專業(yè) AI 搜索工具，同樣能免費(fèi)使用。
從提升搜集到的資料質(zhì)量的目的來看，這些工具可能會(huì)更加有用。
不過，用貓貓來 " 調(diào)戲 " 大模型，當(dāng)做枯燥科研工作的一種調(diào)劑，從另一個(gè)角度提升科研效率，也未嘗不可。
你覺得呢？
參考鏈接：
http://xhslink.com/a/pg0nZPUiFiZfb
一鍵三連「點(diǎn)贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評論區(qū)留下你的想法！
— 完 —
專屬 AI 產(chǎn)品從業(yè)者的實(shí)名社群，只聊 AI 產(chǎn)品最落地的真問題 掃碼添加小助手，發(fā)送「姓名 + 公司 + 職位」申請入群～
最新最專業(yè)的 AI 產(chǎn)品信息及分析
不定期發(fā)放的熱門產(chǎn)品內(nèi)測碼
內(nèi)部專屬內(nèi)容與專業(yè)討論
點(diǎn)亮星標(biāo)
科技前沿進(jìn)展每日見
