「台灣人都知道台積的CoWoS」 ：AMD執行長蘇媽來台演講時曾講過這句名言。 如果還不知道，你可能會想說：「涼了，若自己或小朋友想跟上晶片潮流，該去哪邊學？」 Lobo整理了工研院的優質線上學習資源，跟大家分享 包含了半導體產業鍊的各個流程，從晶片設計到最紅的先進封裝，包山包海，佛心。. ▋一窺智能晶片不可不知的－從IC設計至生產 ▋晶片製造的魔法師 – 數位系統設計 ▋IC設計的靈魂 – 晶片設計自動化 EDA ▋晶片燒了！？ESD靜電測試介紹 ▋考試記得檢查再交卷！IC測試 ▋IC測試載板設計與模擬 ▋3D-IC先進封裝技術 ▋晶片測試系統整合平台
—— 開創AMD、Apple、Tesla最重要晶片的辣個男人，來了。 Jim Keller 是《AMD Zen系列》、《Apple Silicon 初代A系列晶片》、《Tesla 首代 FSD 自駕晶片》的開創者，《Tenstorrent AI 晶片公司》的CEO。 . 大神說：「其實最潮AI的程式碼，不過就600行而已」 不信的話，請你自己去讀最潮的Llama開源大語言模型程式碼。 (NVIDIA可能在後面說：「拜託別說了，我的股價！」 . 總之，這跟20年前百家爭鳴的電腦應用相比，超級收斂的。 . 大神又說：「未來的AI晶片，一定會長得跟CPU很不一樣」 所以，到底長怎樣？ 還是大神要收費「解鎖課程」嗎？ . 還真沒有。 以下是他濃縮自己開公司的心法，無私分享給大家。 1. 「從底層」出發，專心優化一個「Layer」 2. 重申「Abstraction Layer」 3. 「開源」軟硬體，一定是未來 . ▋大絕招：「從底層」出發，專心做好一個「Layer」 現在的AI，其實是由一層一層Layer組成的。 所以，Jim Keller說，其實只要把晶片設計成「以Layer為單位」。 專心做好每一層就好。 . 你應該會好奇，那會有多少種「Layer」呢？ 大神算了一下，大概5個Layer。 Matrix Multiply、Convolution、TM、Softmax、All-to-all . 正因如此。 . 「從底層切入」好好優化做一個「Layer」的速度，從軟到硬「去蕪存菁」是最重要的。 . 這也是大神公司正在做的事情。 . 更甚者，他們把自己做的很棒的一些成果開源了。 像是Compiler、Runtime等等。 因為他們相信：「開源才是王道。」 .
「取代你的不是AI，是比你更會用AI的人」，相信這句話你讀過很多次。 你一定想問：「然後呢？該怎麼辦？」 解法有兩種：1) 躺平專心做自己 2) 充實自己，學習技術演進到哪了。 如果你選後者的話，這邊是8堂推薦的入門級生成式AI 課程。 — ▋Andrew Ng：為所有人開設的生成式AI課程 Andrew Ng是Stanford教授、AI領域神級人物。 這個是他為大家整理的免費課程，快搶前排座位上課。 https://reurl.cc/6vE206 ▋Andrej Karpathy：大型語言模型簡介 (180萬次觀看) Andrej 是前Tesla AI研究總監、OpenAI創始成員、Stanford博士、李飛飛教授得意門生。 一個小時的演講中，他淺顯易懂的講述了 LLM 如何壓縮整個網路，獲得智力，很值得一看。 https://reurl.cc/dLk1G2 ▋IBM：生成式AI基礎專門訓練 從技術簡介到Prompting Engineering都有介紹。 大家別忘了老字號IBM。 https://reurl.cc/kO7dq9 ▋Google Cloud：生成式AI導論 (155萬次觀看) Google Cloud 拍攝的課程，搭配動畫容易學習。 每上半小時的課程，做個測驗就可以拿到Google Cloud徽章，很有成就感。 https://www.cloudskillsboost.google/paths/118 ▋3Blue1Blown：圖像化講解什麼是GPT (204萬次觀看) 圖像化解釋底層數學與技術，我只服3Blue1Blown，我的大學線性代數唯一導師。 這堂半小時的演講淺顯易懂的講述了 GPT 在幹嘛，還可以延伸看著名的Transformer。 https://reurl.cc/jW8XWD ▋Microsoft：18堂給初學者的生成式AI課程 微軟這系列課程包山包海，從技術介紹到實際部署到Azure和OpenAI的平台上。 https://reurl.cc/OMp1r7 ▋Databricks：大型語言模型-從應用到量產 這間美國超級熱門的資料平台推出的生成式AI課程，共有6個模組，快來一探究竟。 https://reurl.cc/Vzj6M5 ▋NVIDIA：解釋生成式AI 老黃的晶片公司當然也提供一些免費的生成式AI教學，只要註冊就能免費上課。 https://reurl.cc/kO7dyr
老黃今年的 GTC Keynote 有五大重點 ▌新產業「Accelerated Generative AI」 針對生成式AI的加速運算服務將是下世代重要產業 ▌新晶片「Blackwell」 推出史上最大的GPU，有2080億個電晶體，由兩個晶片拼接而成 ▌新服務 「NIM (NVIDIA Inference Microservice)」 NIM是結合了Pre-trained model、軟體環境、針對NVIDIA GPU優化的AI服務包 未來可根據需求買一些NIM AI服務來與自己共同工作了 ▌新商業模型 「AI Foundry」 NVIDIA的終極目標是給使用者一站式的AI服務，NVIDIA提供軟到硬一切事情 當需要AI服務->去NVIDIA AI Store買需要的NIM AI服務包 當需要AI晶片->去NVIDIA Cloud買需要的運算、或是部署到自己的NVIDIA GPU上 當需要客製AI->用NEMO Retriever將公司專屬資料存到Vector資料庫中，客製化自己的AI ▌新世界 「ISAAC Robotics & Omniverse」 使用其數位孿生技術，讓機器人可以在虛擬世界不會摔斷腿就可以學會走路、揮手 NVIDIA將會提供Robotic Foundation Model，加速機器人時代來臨 Blackwell、NIM、ISAAC Robotics、Omniverse一定是媒體關鍵字 我最喜歡的兩個小彩蛋： 1. 老黃最後展示了一堆機器人 (包含小綠小橘)，但demo時小綠不受控，尷尬笑慘 2.
Groq 如何用14nm的LPU 打敗了4nm的NVIDIA H100呢? 我認為有幾個設計亮點 1) 採用Dataflow架構 ↪︎Dataflow架構會使用編譯器預先做好排程，可降低控制電路面積 ↪︎目的：最大化晶片的算力與SRAM記憶體大小 2) 捨棄傳統多階層的Memory Hierarchy ↪︎不使用DRAM/HBM，也不將SRAM記憶體編排成L1、L2、L3 cache等階層，只有一層軟體可控的SRAM記憶體 Scratchpad ↪︎目的：SRAM可以直接供給運算單元資料，最大化記憶體頻寬 (80 TBps) 3) 捨棄複雜的跨晶片Networking ↪︎讓LPU也成為Router，使用Compiler來控制跨晶片的資料傳輸 ↪︎目的：簡化晶片之間傳輸資料所需要的硬體成本，可彈性配置跨晶片頻寬、提升頻寬利用率 ▌參考資料 [1] Groq Head of Silicon-Igor Arsovski的演講：https://youtu.be/WQDMKTEgQnY?si=Bicqpg2yPM3jvXZ6 [2] Groq Chief Architect在Stanford的演講：https://youtu.be/kPUxl00xys4?si=sV8r_MrX7GLN7ZLV [3] Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads, ISCA’20
You cannot copy content of this page
