晶片四大會議 ESSCIRC 上個月結束。 近年發佈一系列 Circuit Insights 演講。 內容涵蓋 Imaging、Converter、Sensor、AI Accelerator、5G、車用晶片簡介 乾貨滿滿！分享給大家。 ▋Why Circuit Insights ▋CMOS Imaging ▋Sensors Everywhere ▋Data Converters ▋Circuits Behind Ultra Wide Band ▋Circuits for AI ML ▋5G Wireless Systems ▋Circuits in Cars
用白話文解釋： 封裝→晶片的「保護殼」與「訊號線」 先進封裝→做出「超細的訊號線」，使傳輸速度倍增 你跟上先進封裝熱潮了嗎！？ 這邊幫大家推薦八個先進封裝的YouTube教學影片。 1. 半導體先進製程！2.5D&3D封裝的介紹 YouTuber：Lester 萊斯特 簡介：我覺得知識含金量很高，我甚至擔心台積法務會不會來關切他。 2. 推進摩爾定律的新引擎！ 「3D-IC先進封裝技術」 YouTuber：工研院產業學院 簡介：大家一起來聽工研院陳博瑋副組長上課，真的超專業的。 3. 最新！記憶體、共同封裝光學、先進封裝技術！？ YouTuber：曲博科技教室 簡介：熟悉的曲博最對味。 4. 靠「封裝」超越摩爾定律極限？CoWos 是什麼？ YouTuber：PanSci 泛科學 簡介：想不到泛科學也來湊一腳吧，我真的想不到XD 5. 十分鐘弄懂半導體先進封裝(3D封裝) YouTuber：非主流工程部 簡介：Great work，加油。 6. The World of Advanced Packaging YouTuber：Applied Materials 簡介：3D 畫出先進封裝的結構，很清楚，推個。 7. 先進封裝大進擊，推動摩爾定律延續！ YouTuber：曲博科技教室 簡介：熟悉的曲博最對味 Part II。 8. 搞定晶片先進封裝的眉眉角角 YouTuber：CTIMES 簡介：這應該算是研討會級別的內容，還能免費看，真假。 ▋ 工商時間：VPN 工具推廣 有很多東西只有美國、日本、歐洲等地的IP才能用。 像是Netflix、最新AI工具、外文書等等。
「取代你的不是AI，是比你更會用AI的人」，相信這句話你讀過很多次。 你一定想問：「然後呢？該怎麼辦？」 解法有兩種：1) 躺平專心做自己 2) 充實自己，學習技術演進到哪了。 如果你選後者的話，這邊是8堂推薦的入門級生成式AI 課程。 — ▋Andrew Ng：為所有人開設的生成式AI課程 Andrew Ng是Stanford教授、AI領域神級人物。 這個是他為大家整理的免費課程，快搶前排座位上課。 https://reurl.cc/6vE206 ▋Andrej Karpathy：大型語言模型簡介 (180萬次觀看) Andrej 是前Tesla AI研究總監、OpenAI創始成員、Stanford博士、李飛飛教授得意門生。 一個小時的演講中，他淺顯易懂的講述了 LLM 如何壓縮整個網路，獲得智力，很值得一看。 https://reurl.cc/dLk1G2 ▋IBM：生成式AI基礎專門訓練 從技術簡介到Prompting Engineering都有介紹。 大家別忘了老字號IBM。 https://reurl.cc/kO7dq9 ▋Google Cloud：生成式AI導論 (155萬次觀看) Google Cloud 拍攝的課程，搭配動畫容易學習。 每上半小時的課程，做個測驗就可以拿到Google Cloud徽章，很有成就感。 https://www.cloudskillsboost.google/paths/118 ▋3Blue1Blown：圖像化講解什麼是GPT (204萬次觀看) 圖像化解釋底層數學與技術，我只服3Blue1Blown，我的大學線性代數唯一導師。 這堂半小時的演講淺顯易懂的講述了 GPT 在幹嘛，還可以延伸看著名的Transformer。 https://reurl.cc/jW8XWD ▋Microsoft：18堂給初學者的生成式AI課程 微軟這系列課程包山包海，從技術介紹到實際部署到Azure和OpenAI的平台上。 https://reurl.cc/OMp1r7 ▋Databricks：大型語言模型-從應用到量產 這間美國超級熱門的資料平台推出的生成式AI課程，共有6個模組，快來一探究竟。 https://reurl.cc/Vzj6M5 ▋NVIDIA：解釋生成式AI 老黃的晶片公司當然也提供一些免費的生成式AI教學，只要註冊就能免費上課。 https://reurl.cc/kO7dyr
↑這是Jim，他演講比中指也沒關係 Jim Keller 是《AMD Zen》架構師，《Apple Silicon 初代A系列晶片》的開創者，《Tesla 首代 FSD 自駕晶片》的開創者： 他數次在四年內開發出世界最好的晶片，瀟灑離去，繼續挑戰下世代最好的晶片，有如射雕英雄傳中的俠客-周伯通一般。 這一次，他加入了 AI 晶片新創公司 TensorTorrent，並擔任 CTO。 你一定會問：「怎麼做到的？一個大學畢業生怎麼可能完成這麼多事情？」 Jim Keller 不僅做到了，他願意直接分享心法給你。 以下，是他濃縮自己與團隊合作，成功改變世界的關鍵。 1. 以「目標」為導向，激勵團隊2. 替組織建立「Abstraction Layer」，大而不亂3. 不把「舊團隊」帶去「新公司」，成就創新4. 想像5年後的晶片路線，制敵機先5. 假設先前做的東西「很糟」，除舊佈新 1. 以「目標」為導向，激勵與幫助團隊 大神認為，沒有領導這回事。 只有大家一起做一個計畫，像是設計世界上最好的自動駕駛晶片，大家才能找到自己想做的事，成為團隊。 而執行計畫時，除了debug，還有更多個人問題，像是：健康、家庭、同事等等。 其實，這些每個人「自己」的問題才是最重要的。 當主管幫助團隊成員解決這些問題時。 計畫通常就順利往前推進了，Jim Keller 也不知道為什麼。 久而久之，人們開始說Jim Keller是他們的「導師」。 但他其實只是幫大家的生活 debug 而已。 2. 替組織建立「Abstraction Layer」，才能大而不亂 計算機結構有一個很重要的觀念，稱為 Abstraction Layer。 講白話文，就是硬體跟軟體之間有一個統一的溝通規則。 一定要遵守。 好處是什麼呢？做晶片的人可以專心想晶片怎麼改良，不用天天跟軟體的人開會。 軟體的人也可以專心想演算法怎麼改良，不用一天到晚開會。 只要中間的公通規則是不變的！ 而組織也需要其「Abstraction
ChatGPTs贏過GPT4的關鍵在於Agentic Reasoning！ 什麼是Agentic Reasoning？ 把LLM視為工作代理人，讓LLMs擁有工作角色、工具、團隊合作、復盤能力 把工作派給LLM Agents，就是所謂的Agentic Reasoning！ 舉例來說： 我們可以開兩個ChatGPTs 一個寫程式，一個負責審核程式 這樣就是最簡單的Agentic Reasoning！ 更重要的是，ChatGPT Agents互動達成任務，會比直接使用GPT-4更厲害！ 講完定義，我們必須看一下實驗結果 在寫程式HumanEval這個任務上 使用多個ChatGPT Agents，會比單獨使用GPT-4完成任務的效果好很多! 上圖橫軸為寫出來的程式其通過率，越接近100%越好 Zero-shot就是使用單一個LLM一次回答可以達到的正確率 可以看到單一個GPT-3.5的準確度僅有48%，遠低於單一個GPT-4的67% 但是當使用多個GPT-3.5 agents後，準確度大幅提升至90%以上超越單一個GPT-4、比肩多個GPT-4 agents！ Andrew提到有四大方法幫助LLM Agents效果變更好： 招數一：讓LLM復盤 (Reflection) 以寫程式做unit test來舉例 可以先要求LLM生成程式後 再要求LLM讀程式碼看是否有問題 如此往復循環多次 LLM就可以自己檢驗是否有寫錯程式的地方 增加程式碼的正確性 復盤既可以一個LLM分飾兩角，也可以一個LLM自言自語 招數二：讓LLM使用工具 (Use Tools) 如果讓LLM接上各種現有的系統 也可以讓LLM Agents變得更加良好！ 讓LLM可以使用搜尋引擎 讓LLM可以使用程式執行器 都可以讓LLM agent任務做的更好 招數三：使用LLM規劃步驟 (Planning) 讓LLM Agent可以規劃完成某件事情該用哪些模型，有哪些步驟 也是一種讓Agentic Reasoning更好的方向 招數四：LLM專家團隊合作 （Multiagent
AI教父Andrew Ng：三個臭皮匠，勝過諸葛亮？運用ChatGPT Agents打敗GPT4！ Read More »
老黃今年的 GTC Keynote 有五大重點 ▌新產業「Accelerated Generative AI」 針對生成式AI的加速運算服務將是下世代重要產業 ▌新晶片「Blackwell」 推出史上最大的GPU，有2080億個電晶體，由兩個晶片拼接而成 ▌新服務 「NIM (NVIDIA Inference Microservice)」 NIM是結合了Pre-trained model、軟體環境、針對NVIDIA GPU優化的AI服務包 未來可根據需求買一些NIM AI服務來與自己共同工作了 ▌新商業模型 「AI Foundry」 NVIDIA的終極目標是給使用者一站式的AI服務，NVIDIA提供軟到硬一切事情 當需要AI服務->去NVIDIA AI Store買需要的NIM AI服務包 當需要AI晶片->去NVIDIA Cloud買需要的運算、或是部署到自己的NVIDIA GPU上 當需要客製AI->用NEMO Retriever將公司專屬資料存到Vector資料庫中，客製化自己的AI ▌新世界 「ISAAC Robotics & Omniverse」 使用其數位孿生技術，讓機器人可以在虛擬世界不會摔斷腿就可以學會走路、揮手 NVIDIA將會提供Robotic Foundation Model，加速機器人時代來臨 Blackwell、NIM、ISAAC Robotics、Omniverse一定是媒體關鍵字 我最喜歡的兩個小彩蛋： 1. 老黃最後展示了一堆機器人 (包含小綠小橘)，但demo時小綠不受控，尷尬笑慘 2.
自學AI五年了 幫大家整理8堂大佬開設的AI課程 是我覺得頗有料的內容 分成LLM專班和深度學習大師課 方便大家服用 也歡迎大家一起交流喜歡的AI課 ▌LLM專班 – [Andrej Karpathy] 「Intro to Large Language Models」 (https://reurl.cc/dLk1G2) – [Databricks] 「LLM: Application through Production」 (https://reurl.cc/VNvGqN） – [台大李宏毅教授]「生成式AI課程」 (https://reurl.cc/lgjE4l) ▌深度學習DL從入門到專家 – [Andrej Karpathy] 「Neural Networks: Zero to Hero」 (https://reurl.cc/yYNv2M) – [MIT Kaiming He教授]「Deep Learning Bootcamp」 (https://reurl.cc/zlRqa7) – [MIT Phillip Isola教授]「Deep Learning Bootcamp」 (https://reurl.cc/54WK6y) – [NYU Yann Lecun教授]「Deep Learning」
Groq 如何用14nm的LPU 打敗了4nm的NVIDIA H100呢? 我認為有幾個設計亮點 1) 採用Dataflow架構 ↪︎Dataflow架構會使用編譯器預先做好排程，可降低控制電路面積 ↪︎目的：最大化晶片的算力與SRAM記憶體大小 2) 捨棄傳統多階層的Memory Hierarchy ↪︎不使用DRAM/HBM，也不將SRAM記憶體編排成L1、L2、L3 cache等階層，只有一層軟體可控的SRAM記憶體 Scratchpad ↪︎目的：SRAM可以直接供給運算單元資料，最大化記憶體頻寬 (80 TBps) 3) 捨棄複雜的跨晶片Networking ↪︎讓LPU也成為Router，使用Compiler來控制跨晶片的資料傳輸 ↪︎目的：簡化晶片之間傳輸資料所需要的硬體成本，可彈性配置跨晶片頻寬、提升頻寬利用率 ▌參考資料 [1] Groq Head of Silicon-Igor Arsovski的演講：https://youtu.be/WQDMKTEgQnY?si=Bicqpg2yPM3jvXZ6 [2] Groq Chief Architect在Stanford的演講：https://youtu.be/kPUxl00xys4?si=sV8r_MrX7GLN7ZLV [3] Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads, ISCA’20
（最新進展：LLM對於含有過程的回答較有自信） Google大神Jeff Dean在RICE University演講時也分享了「Chain of Thought (簡稱CoT)」 演講連結：https://youtu.be/oSCRZkSQ1CE?si=2QKRt4ARw_KVs8Ez&t=532 ▌一句話講 Chain of Thought 1. CoT核心想法：循循善誘LLM寫出過程，可以提高正確率 2. CoT最新進展：LLM對於自己含有過程的回答較有信心 ▌如何使LLM寫出過程、增加準確度 兩種方法： 1. 每一個問題最後都加上 「Let’s think it step by step」 2. 在Prompt裡面提供自己一步一步推理的回答範例，再請LLM照模板回答 附個Prompting參考說明書：https://www.promptingguide.ai/zh/techniques/cot ▌最新進展：回答若含有過程，LLM對自己更有信心 大家有注意過ChatGPT有個鍵可以重新生成回答嗎？ 其實，LLM是可以吐出不同回答的！ DeepMind一週前的最新研究「Chain-of-Thought Reasoning Without Prompting」指出 當邏輯推理過程出現在其中某個回答時 模型對於這個答案的自信 (Confidence)越高 且通常這個答案是對的 也就是說 面對邏輯推理問題 大家可以看關鍵字詞的位置，若關鍵字詞在一開頭就出現 那很大機率LLM在唬爛，他想都沒想 這時可以重新產生回答 直到看到有推理過程的回答，再採信就好！ 附個論文連結：https://arxiv.org/abs/2402.10200 (但我覺得GPT-5來了後，這一切或許就不是個問題了
Google首席科學家Jeff Dean：「Chain of Thought：請LLM寫出過程更準確」 Read More »
Jeff Dean是DeepMind和Google Research的首席科學家 前幾天在RICE University給了一個演講 其中很大一部分在分享自研的AI晶片Tensor Processing Unit (TPU) 從規格到背後邏輯都分享了一些 其中，之所以TPU已經成為Google重要專案，是因為 「算力」是加速「AI學習曲線」的關鍵 以及 「自研晶片」可大幅降低算力的成本 ▌Google的十年AI晶片大業 (TPU-v1到TPU-v5) 很難想像軟體龍頭Google的TPU專案已經發展了近十年吧 從v1到v5，總結一下TPU的亮點： – TPU已從只能「推論」到可以支援「訓練+推論」 – TPU的訓練算力已經提升了10倍 (459TFLOPS) – TPU Pod的算力已經達到 4.1 exaflops (8960個TPU-v5p晶片, exa=10^18) 乍聽數字沒什麼感覺 但是世界最強的超級電腦frontier也就提供1.191 exaflops TPU Pod其實已經跟世界最猛的超級電腦算力差不多囉XD 而背後持續讓Google推動TPU演進的趨勢是 「More computational power improves models significantly」 翻成白話文就是 「算力是Google開發AI的關鍵資源」 想像一下 當一間公司擁有的AI算力越高 他可以大幅降低訓練時間、減少模型試錯成本
You cannot copy content of this page
