Google首席科學家Jeff Dean:「Chain of Thought:請LLM寫出過程更準確」

(最新進展:LLM對於含有過程的回答較有自信)

Google大神Jeff Dean在RICE University演講時也分享了「Chain of Thought (簡稱CoT)」

演講連結:https://youtu.be/oSCRZkSQ1CE?si=2QKRt4ARw_KVs8Ez&t=532

▌一句話講 Chain of Thought

1. CoT核心想法:循循善誘LLM寫出過程,可以提高正確率

2. CoT最新進展:LLM對於自己含有過程的回答較有信心

▌如何使LLM寫出過程、增加準確度

兩種方法:

1. 每一個問題最後都加上 「Let’s think it step by step」

2. 在Prompt裡面提供自己一步一步推理的回答範例,再請LLM照模板回答

附個Prompting參考說明書:https://www.promptingguide.ai/zh/techniques/cot

▌最新進展:回答若含有過程,LLM對自己更有信心

大家有注意過ChatGPT有個鍵可以重新生成回答嗎?

其實,LLM是可以吐出不同回答的!

DeepMind一週前的最新研究「Chain-of-Thought Reasoning Without Prompting」指出

當邏輯推理過程出現在其中某個回答時

模型對於這個答案的自信 (Confidence)越高

且通常這個答案是對的

也就是說

面對邏輯推理問題

大家可以看關鍵字詞的位置,若關鍵字詞在一開頭就出現

那很大機率LLM在唬爛,他想都沒想

這時可以重新產生回答

直到看到有推理過程的回答,再採信就好!

附個論文連結:https://arxiv.org/abs/2402.10200

(但我覺得GPT-5來了後,這一切或許就不是個問題了

You cannot copy content of this page

Scroll to Top