Google

8堂生成式 AI 必修課

「取代你的不是AI,是比你更會用AI的人」,相信這句話你讀過很多次。 你一定想問:「然後呢?該怎麼辦?」 解法有兩種:1) 躺平專心做自己  2) 充實自己,學習技術演進到哪了。 如果你選後者的話,這邊是8堂推薦的入門級生成式AI 課程。 — ▋Andrew Ng:為所有人開設的生成式AI課程 Andrew Ng是Stanford教授、AI領域神級人物。 這個是他為大家整理的免費課程,快搶前排座位上課。 https://reurl.cc/6vE206 ▋Andrej Karpathy:大型語言模型簡介 (180萬次觀看) Andrej 是前Tesla AI研究總監、OpenAI創始成員、Stanford博士、李飛飛教授得意門生。 一個小時的演講中,他淺顯易懂的講述了 LLM 如何壓縮整個網路,獲得智力,很值得一看。 https://reurl.cc/dLk1G2 ▋IBM:生成式AI基礎專門訓練 從技術簡介到Prompting Engineering都有介紹。 大家別忘了老字號IBM。 https://reurl.cc/kO7dq9 ▋Google Cloud:生成式AI導論 (155萬次觀看) Google Cloud 拍攝的課程,搭配動畫容易學習。 每上半小時的課程,做個測驗就可以拿到Google Cloud徽章,很有成就感。 https://www.cloudskillsboost.google/paths/118 ▋3Blue1Blown:圖像化講解什麼是GPT (204萬次觀看) 圖像化解釋底層數學與技術,我只服3Blue1Blown,我的大學線性代數唯一導師。 這堂半小時的演講淺顯易懂的講述了 GPT 在幹嘛,還可以延伸看著名的Transformer。 https://reurl.cc/jW8XWD ▋Microsoft:18堂給初學者的生成式AI課程 微軟這系列課程包山包海,從技術介紹到實際部署到Azure和OpenAI的平台上。 https://reurl.cc/OMp1r7 ▋Databricks:大型語言模型-從應用到量產 這間美國超級熱門的資料平台推出的生成式AI課程,共有6個模組,快來一探究竟。 https://reurl.cc/Vzj6M5 ▋NVIDIA:解釋生成式AI 老黃的晶片公司當然也提供一些免費的生成式AI教學,只要註冊就能免費上課。 https://reurl.cc/kO7dyr […]

8堂生成式 AI 必修課 Read More »

AI教父Andrew Ng:三個臭皮匠,勝過諸葛亮?運用ChatGPT Agents打敗GPT4!

ChatGPTs贏過GPT4的關鍵在於Agentic Reasoning! 什麼是Agentic Reasoning? 把LLM視為工作代理人,讓LLMs擁有工作角色、工具、團隊合作、復盤能力 把工作派給LLM Agents,就是所謂的Agentic Reasoning! 舉例來說: 我們可以開兩個ChatGPTs 一個寫程式,一個負責審核程式 這樣就是最簡單的Agentic Reasoning! 更重要的是,ChatGPT Agents互動達成任務,會比直接使用GPT-4更厲害! 講完定義,我們必須看一下實驗結果 在寫程式HumanEval這個任務上 使用多個ChatGPT Agents,會比單獨使用GPT-4完成任務的效果好很多! 上圖橫軸為寫出來的程式其通過率,越接近100%越好 Zero-shot就是使用單一個LLM一次回答可以達到的正確率 可以看到單一個GPT-3.5的準確度僅有48%,遠低於單一個GPT-4的67% 但是當使用多個GPT-3.5 agents後,準確度大幅提升至90%以上超越單一個GPT-4、比肩多個GPT-4 agents! Andrew提到有四大方法幫助LLM Agents效果變更好: 招數一:讓LLM復盤 (Reflection) 以寫程式做unit test來舉例 可以先要求LLM生成程式後 再要求LLM讀程式碼看是否有問題 如此往復循環多次 LLM就可以自己檢驗是否有寫錯程式的地方 增加程式碼的正確性 復盤既可以一個LLM分飾兩角,也可以一個LLM自言自語 招數二:讓LLM使用工具 (Use Tools) 如果讓LLM接上各種現有的系統 也可以讓LLM Agents變得更加良好! 讓LLM可以使用搜尋引擎 讓LLM可以使用程式執行器 都可以讓LLM agent任務做的更好 招數三:使用LLM規劃步驟 (Planning) 讓LLM Agent可以規劃完成某件事情該用哪些模型,有哪些步驟 也是一種讓Agentic Reasoning更好的方向 招數四:LLM專家團隊合作 (Multiagent

AI教父Andrew Ng:三個臭皮匠,勝過諸葛亮?運用ChatGPT Agents打敗GPT4! Read More »

Google首席科學家Jeff Dean:「Chain of Thought:請LLM寫出過程更準確」

(最新進展:LLM對於含有過程的回答較有自信) Google大神Jeff Dean在RICE University演講時也分享了「Chain of Thought (簡稱CoT)」 演講連結:https://youtu.be/oSCRZkSQ1CE?si=2QKRt4ARw_KVs8Ez&t=532 ▌一句話講 Chain of Thought 1. CoT核心想法:循循善誘LLM寫出過程,可以提高正確率 2. CoT最新進展:LLM對於自己含有過程的回答較有信心 ▌如何使LLM寫出過程、增加準確度 兩種方法: 1. 每一個問題最後都加上 「Let’s think it step by step」 2. 在Prompt裡面提供自己一步一步推理的回答範例,再請LLM照模板回答 附個Prompting參考說明書:https://www.promptingguide.ai/zh/techniques/cot ▌最新進展:回答若含有過程,LLM對自己更有信心 大家有注意過ChatGPT有個鍵可以重新生成回答嗎? 其實,LLM是可以吐出不同回答的! DeepMind一週前的最新研究「Chain-of-Thought Reasoning Without Prompting」指出 當邏輯推理過程出現在其中某個回答時 模型對於這個答案的自信 (Confidence)越高 且通常這個答案是對的 也就是說 面對邏輯推理問題 大家可以看關鍵字詞的位置,若關鍵字詞在一開頭就出現 那很大機率LLM在唬爛,他想都沒想 這時可以重新產生回答 直到看到有推理過程的回答,再採信就好! 附個論文連結:https://arxiv.org/abs/2402.10200 (但我覺得GPT-5來了後,這一切或許就不是個問題了

Google首席科學家Jeff Dean:「Chain of Thought:請LLM寫出過程更準確」 Read More »

Google首席科學家Jeff Dean:算力是加速AI學習曲線的關鍵

Jeff Dean是DeepMind和Google Research的首席科學家 前幾天在RICE University給了一個演講 󠀠 其中很大一部分在分享自研的AI晶片Tensor Processing Unit (TPU) 從規格到背後邏輯都分享了一些 󠀠 其中,之所以TPU已經成為Google重要專案,是因為 「算力」是加速「AI學習曲線」的關鍵 以及 「自研晶片」可大幅降低算力的成本 󠀠󠀠 󠀠󠀠 ▌Google的十年AI晶片大業 (TPU-v1到TPU-v5) 很難想像軟體龍頭Google的TPU專案已經發展了近十年吧 󠀠 從v1到v5,總結一下TPU的亮點: – TPU已從只能「推論」到可以支援「訓練+推論」 – TPU的訓練算力已經提升了10倍 (459TFLOPS) – TPU Pod的算力已經達到 4.1 exaflops (8960個TPU-v5p晶片, exa=10^18) 󠀠 乍聽數字沒什麼感覺 但是世界最強的超級電腦frontier也就提供1.191 exaflops TPU Pod其實已經跟世界最猛的超級電腦算力差不多囉XD 󠀠 而背後持續讓Google推動TPU演進的趨勢是 「More computational power improves models significantly」 翻成白話文就是 「算力是Google開發AI的關鍵資源」 󠀠 想像一下 當一間公司擁有的AI算力越高 他可以大幅降低訓練時間、減少模型試錯成本

Google首席科學家Jeff Dean:算力是加速AI學習曲線的關鍵 Read More »

You cannot copy content of this page

Scroll to Top