admin, Author at 蘿蔔實驗室

Google首席科學家Jeff Dean：「Chain of Thought：請LLM寫出過程更準確」

（最新進展：LLM對於含有過程的回答較有自信） Google大神Jeff Dean在RICE University演講時也分享了「Chain of Thought (簡稱CoT)」演講連結：https://youtu.be/oSCRZkSQ1CE?si=2QKRt4ARw_KVs8Ez&t=532 ▌一句話講 Chain of Thought 1. CoT核心想法：循循善誘LLM寫出過程，可以提高正確率 2. CoT最新進展：LLM對於自己含有過程的回答較有信心 ▌如何使LLM寫出過程、增加準確度兩種方法： 1. 每一個問題最後都加上「Let’s think it step by step」 2. 在Prompt裡面提供自己一步一步推理的回答範例，再請LLM照模板回答附個Prompting參考說明書：https://www.promptingguide.ai/zh/techniques/cot ▌最新進展：回答若含有過程，LLM對自己更有信心大家有注意過ChatGPT有個鍵可以重新生成回答嗎？其實，LLM是可以吐出不同回答的！ DeepMind一週前的最新研究「Chain-of-Thought Reasoning Without Prompting」指出當邏輯推理過程出現在其中某個回答時模型對於這個答案的自信 (Confidence)越高且通常這個答案是對的也就是說面對邏輯推理問題大家可以看關鍵字詞的位置，若關鍵字詞在一開頭就出現那很大機率LLM在唬爛，他想都沒想這時可以重新產生回答直到看到有推理過程的回答，再採信就好！附個論文連結：https://arxiv.org/abs/2402.10200 (但我覺得GPT-5來了後，這一切或許就不是個問題了

Google首席科學家Jeff Dean：「Chain of Thought：請LLM寫出過程更準確」 Read More »

Google首席科學家Jeff Dean：算力是加速AI學習曲線的關鍵

Leave a Comment / 大師演講統整 / admin

Jeff Dean是DeepMind和Google Research的首席科學家前幾天在RICE University給了一個演講 󠀠 其中很大一部分在分享自研的AI晶片Tensor Processing Unit (TPU) 從規格到背後邏輯都分享了一些 󠀠 其中，之所以TPU已經成為Google重要專案，是因為「算力」是加速「AI學習曲線」的關鍵以及「自研晶片」可大幅降低算力的成本 󠀠󠀠 󠀠󠀠 ▌Google的十年AI晶片大業 (TPU-v1到TPU-v5) 很難想像軟體龍頭Google的TPU專案已經發展了近十年吧 󠀠 從v1到v5，總結一下TPU的亮點： – TPU已從只能「推論」到可以支援「訓練+推論」 – TPU的訓練算力已經提升了10倍 (459TFLOPS) – TPU Pod的算力已經達到 4.1 exaflops (8960個TPU-v5p晶片, exa=10^18) 󠀠 乍聽數字沒什麼感覺但是世界最強的超級電腦frontier也就提供1.191 exaflops TPU Pod其實已經跟世界最猛的超級電腦算力差不多囉XD 󠀠 而背後持續讓Google推動TPU演進的趨勢是「More computational power improves models significantly」翻成白話文就是「算力是Google開發AI的關鍵資源」 󠀠 想像一下當一間公司擁有的AI算力越高他可以大幅降低訓練時間、減少模型試錯成本

Google首席科學家Jeff Dean：算力是加速AI學習曲線的關鍵 Read More »

8個免費Verilog學習資源 (數位IC)

八大學習資源 / admin

Verilog是台灣數位IC設計工程師必學的硬體描述語言我們幫大家整理了8個免費的Verilog學習資源快一起來學習吧！！ ▌圖片大統整！ ▌HDLBits 簡介：182題Verilog練習題 (由簡而難)，整合線上編譯器、debugger，是Dr. Wong在多倫多大學擔任7年IC助教的精華網址：https://hdlbits.01xz.net/wiki/Main_Page 󠀠 ▌牛客網簡介：「中文」Verilog練習題，整合線上編譯器、debugger 網址：https://www.nowcoder.com/exam/oj?tab=Verilog%E7%AF%87…… 󠀠 ▌ASIC World 簡介：高質量的 Verilog 學習文章與範例程式碼網址：https://www.asic-world.com/verilog/index.html 󠀠 ▌Nandland 簡介：Verilog學習Youtube頻道，還會教你開發FPGA專案，佛心！網址：https://www.youtube.com/c/nandland 󠀠 ▌EDA playground 簡介：Verilog線上編譯器，有許多大家撰寫的 verilog 程式碼可以參考學習網址：https://www.edaplayground.com/ 󠀠 ▌FPGA Tutorial 簡介：業界人士撰寫的 Verilog 學習部落格網址：https://fpgatutorial.com/ 󠀠 ▌DOULOS 簡介：適合初學者的 Verilog 學習文章與範例程式碼網址：https://www.doulos.com/knowhow/verilog/ 󠀠 ▌天璇簡介：中文 Verilog 教學 Vtuber，超特別的 ~ 網址：https://www.youtube.com/playlist……

8個免費Verilog學習資源 (數位IC) Read More »

8個研究生加速理解文獻的生成式AI工具

八大學習資源 / admin

有哪些AI可以幫上苦命研究生呢？我們整理並推薦8個免費的生成式AI 希望能幫大家提升學習效率送給大家當禮物！ 󠀠▌發文先上統整圖 ▌ChatPDF 網址：https://www.chatpdf.com/ 功能：加速閱讀文獻 TLDR：可以上傳想讀的文獻，透過與AI agent問答，快速得到答案 󠀠 ▌Elicit 網址：https://elicit.com/ 功能：加速搜尋文獻、快速了解文獻 TLDR：可以問關鍵學術問題，AI agent會從資料庫推薦最相關的文獻給你，並幫你總結 󠀠 ▌perplexity 網址：https://www.perplexity.ai/ 功能：快速綜述文獻 TLDR：AI agent會從網路上推薦最相關的文獻給你，並幫你總結方便理解 󠀠 ▌Paper Digest 網址：https://www.paperdigest.org/ 功能：快速綜述文獻 TLDR：AI agent會從資料庫推薦最相關的文獻給你，並幫你寫成文獻綜述 󠀠 ▌Ailyze 網址：https://www.ailyze.com/ailyze/ 功能：快速理解文獻 TLDR：AI agent會幫你總結論文的關鍵知識點 (可以用中文輸出！) 󠀠 ▌unriddle 網址：https://www.ailyze.com/ailyze/ 功能：快速理解文獻 TLDR：AI agent可以用問答方式回答你文獻中的關鍵問題，並可以highlight原文 󠀠 ▌Humata 網址：https://www.humata.ai/ 功能：快速理解文獻 TLDR：AI agent可以用問答方式回答你文獻中的關鍵問題，並可以highlight原文 󠀠 ▌Connected papers 網址：https://www.connectedpapers.com/ 功能：視覺化理解文獻之間的關聯 TLDR：可以透過graph來用視覺理解文獻之間的關係，加速成為領域專家

8個研究生加速理解文獻的生成式AI工具 Read More »

南漂的台積電：親臨高雄楠梓第一線

Leave a Comment / 關鍵晶片解析 / admin

近日台積電、清大、陽明交大紛紛進駐高雄市。高雄呈「北科技業、南重工業」的發展趨勢越趨明顯。 󠀠 蘿蔔特別實地走訪了台積電落腳的楠梓產業園區（原加工出口區），帶回第一線照片與個人思考跟大家分享！ 󠀠 ▌北高雄半導體生態鍊發展高雄的護國神山於2023年在半屏山腳開工。位在捷運「楠梓加工出口站」或「油廠國小站」旁。目前楠梓科技園區有80間廠商進駐，加台積電共81間。涵括了半導體生態鏈的IC設計、晶片製造、晶片封測。 󠀠 其中，比較有名的廠商有： – IC設計：義隆、群聯、恩智浦 – 晶片製造：台積電、華邦 – 晶片封測：日月光、華泰 󠀠 借問一下，IC設計、晶片製造、封測是什麼意思？ 󠀠 蘿蔔用蓋房子來比喻好懂一些： – IC設計就像是「建築師事務所」設計大樓結構圖 – 晶片製造就像是「營造商」要按結構圖施工蓋出大樓 – 晶片封裝就像是「裝潢」要讓住戶看到漂亮房間 – 晶片測試就像是「驗屋」要確認水管有水牆壁沒裂 󠀠 兩者的差別只差在成品是晶片還是房子而已。 󠀠 󠀠 ▌高雄楠梓園區的未來：台南善化園區的現在台南的台積電在2017年開工，距今已經過了6年因為南部文化相似，我們或可從台南善化來推估高雄楠梓未來。園區公司數：漲了43% (191間275間) 房價：漲了90% (每坪15萬元29萬元) 人口：漲了70% (30,565人51,921人) 租金：漲了41.2% 󠀠 我想高雄楠梓的未來發展也會蠻類似的楠梓台積電是2023年動土蘿蔔預測五年後應該楠梓房價、人口也會成長至少50% 公司數會成長40%，形成產業聚落先列下來2024楠梓數據，到2028再一起回頭看：園區公司數：81 ? 房價：每坪25萬 ? 人口：193,139人

南漂的台積電：親臨高雄楠梓第一線 Read More »

為什麼iPhone比MacBook Air貴？

Leave a Comment / 關鍵晶片解析 / admin

󠀠 我們嘗試從硬體零件成本、市場需求來解謎講重點，晶片硬體成本差不多，但市場需求、生態鏈差很多！ ▌推理思路 󠀠我們的思路是這樣的，如果晶片硬體成本iPhone比MBA高很多，那iPhone貴就很直覺反之就很可能需要多考量兩種產品市場需求不同，造成蘋果對iPhone的議價能力高，而訂定了較高的價格 󠀠 ▌硬體零件成本比較 (都以512GB比較) iPhone 15 Pro Max （512GB) – 官網售價：54900台幣 – 總成本估計：17856 台幣 (558美元) – 照相模組：2528台幣（79美元） – 鈦合金外殼：1600台幣 (50美元) – A17 Pro處理器 (3nm)：4160台幣 (130美元) – OLED顯示螢幕：3680台幣 (115美元) – 無限系統：768台幣（24美元） – 記憶體：1856台幣 (58美元) ——————————— 󠀠 MacBook Air (512GB) – 售價：36900台幣 – 總成本估計：18656台幣 (583美元) – 照相機：384台幣 (12美元) – 散熱：480台幣

為什麼iPhone比MacBook Air貴？ Read More »