關鍵晶片解析

Vision Pro的晶片供應商

除了蘋果自研的R1, M2晶片外 Vision Pro其實還有許多重要的晶片供應商 幫大家整理出來各個廠商的完整晶片列表 以及我自己的觀察與思考,希望對大家有幫助! ▌USI:藍牙與WiFi模組 ▌🇺🇸 Micron:DRAM記憶體晶片 ▌🇯🇵 Kioxia:Flash記憶體晶片 ▌🇺🇸 CIRRUS LOGIC:音頻晶片 ▌🇺🇸 Texas Instruments:被動元件 ▌🇺🇸 Lattice:FPGA ▌🇺🇸 DIODES:選擇器晶片 ▌🇺🇸 onsemi:限流器晶片 ▌個人思考 蘿蔔覺得有2個最特別的地方: 顯示器應該是被Samsung拿走了 CIS晶片很可能是Sony或Samsung 不知道台灣除了TSMC有成為供應鏈的關鍵角色外 是否有更多廠商有機會打入Vision Pro的供應鏈呢?

Vision Pro的晶片供應商 Read More »

NVIDIA 2024 GTC 五大重點

老黃今年的 GTC Keynote 有五大重點 ▌新產業「Accelerated Generative AI」 針對生成式AI的加速運算服務將是下世代重要產業 󠀠 ▌新晶片「Blackwell」 推出史上最大的GPU,有2080億個電晶體,由兩個晶片拼接而成 󠀠 ▌新服務 「NIM (NVIDIA Inference Microservice)」 NIM是結合了Pre-trained model、軟體環境、針對NVIDIA GPU優化的AI服務包 未來可根據需求買一些NIM AI服務來與自己共同工作了 󠀠 ▌新商業模型 「AI Foundry」 NVIDIA的終極目標是給使用者一站式的AI服務,NVIDIA提供軟到硬一切事情 當需要AI服務->去NVIDIA AI Store買需要的NIM AI服務包 當需要AI晶片->去NVIDIA Cloud買需要的運算、或是部署到自己的NVIDIA GPU上 當需要客製AI->用NEMO Retriever將公司專屬資料存到Vector資料庫中,客製化自己的AI 󠀠 ▌新世界 「ISAAC Robotics & Omniverse」 使用其數位孿生技術,讓機器人可以在虛擬世界不會摔斷腿就可以學會走路、揮手 NVIDIA將會提供Robotic Foundation Model,加速機器人時代來臨 󠀠 Blackwell、NIM、ISAAC Robotics、Omniverse一定是媒體關鍵字 󠀠 我最喜歡的兩個小彩蛋: 1. 老黃最後展示了一堆機器人 (包含小綠小橘),但demo時小綠不受控,尷尬笑慘 2.

NVIDIA 2024 GTC 五大重點 Read More »

解密LLM推論晶片新王:Groq LPU的三大亮點

󠀠 Groq 如何用14nm的LPU 打敗了4nm的NVIDIA H100呢? 󠀠 我認為有幾個設計亮點 1) 採用Dataflow架構 ↪︎Dataflow架構會使用編譯器預先做好排程,可降低控制電路面積 ↪︎目的:最大化晶片的算力與SRAM記憶體大小 󠀠 󠀠 2) 捨棄傳統多階層的Memory Hierarchy ↪︎不使用DRAM/HBM,也不將SRAM記憶體編排成L1、L2、L3 cache等階層,只有一層軟體可控的SRAM記憶體 Scratchpad ↪︎目的:SRAM可以直接供給運算單元資料,最大化記憶體頻寬 (80 TBps) 󠀠 󠀠 3) 捨棄複雜的跨晶片Networking ↪︎讓LPU也成為Router,使用Compiler來控制跨晶片的資料傳輸 ↪︎目的:簡化晶片之間傳輸資料所需要的硬體成本,可彈性配置跨晶片頻寬、提升頻寬利用率 󠀠 󠀠 ▌參考資料 [1] Groq Head of Silicon-Igor Arsovski的演講:https://youtu.be/WQDMKTEgQnY?si=Bicqpg2yPM3jvXZ6 [2] Groq Chief Architect在Stanford的演講:https://youtu.be/kPUxl00xys4?si=sV8r_MrX7GLN7ZLV [3] Think Fast: A Tensor Streaming Processor (TSP) for Accelerating Deep Learning Workloads, ISCA’20

解密LLM推論晶片新王:Groq LPU的三大亮點 Read More »

南漂的台積電:親臨高雄楠梓第一線

近日台積電、清大、陽明交大紛紛進駐高雄市。 高雄呈「北科技業、南重工業」的發展趨勢越趨明顯。 󠀠 蘿蔔特別實地走訪了台積電落腳的楠梓產業園區(原加工出口區),帶回第一線照片與個人思考跟大家分享! 󠀠 ▌北高雄半導體生態鍊發展 高雄的護國神山於2023年在半屏山腳開工。 位在捷運「楠梓加工出口站」或「油廠國小站」旁。 目前楠梓科技園區有80間廠商進駐,加台積電共81間。 涵括了半導體生態鏈的IC設計、晶片製造、晶片封測。 󠀠 其中,比較有名的廠商有: – IC設計:義隆、群聯、恩智浦 – 晶片製造:台積電、華邦 – 晶片封測:日月光、華泰 󠀠 借問一下,IC設計、晶片製造、封測是什麼意思? 󠀠 蘿蔔用蓋房子來比喻好懂一些: – IC設計就像是「建築師事務所」設計大樓結構圖 – 晶片製造就像是「營造商」要按結構圖施工蓋出大樓 – 晶片封裝就像是「裝潢」要讓住戶看到漂亮房間 – 晶片測試就像是「驗屋」要確認水管有水牆壁沒裂 󠀠 兩者的差別只差在成品是晶片還是房子而已。 󠀠 󠀠 ▌高雄楠梓園區的未來:台南善化園區的現在 台南的台積電在2017年開工,距今已經過了6年 因為南部文化相似,我們或可從台南善化來推估高雄楠梓未來。 園區公司數:漲了43% (191間275間) 房價:漲了90% (每坪15萬元29萬元) 人口:漲了70% (30,565人51,921人) 租金:漲了41.2% 󠀠 我想高雄楠梓的未來發展也會蠻類似的 楠梓台積電是2023年動土 蘿蔔預測五年後應該楠梓房價、人口也會成長至少50% 公司數會成長40%,形成產業聚落 先列下來2024楠梓數據,到2028再一起回頭看: 園區公司數:81 ? 房價:每坪25萬 ? 人口:193,139人

南漂的台積電:親臨高雄楠梓第一線 Read More »

為什麼iPhone比MacBook Air貴?

󠀠 我們嘗試從硬體零件成本、市場需求來解謎 講重點,晶片硬體成本差不多,但市場需求、生態鏈差很多! ▌推理思路 󠀠我們的思路是這樣的,如果晶片硬體成本iPhone比MBA高很多,那iPhone貴就很直覺 反之就很可能需要多考量兩種產品市場需求不同,造成蘋果對iPhone的議價能力高,而訂定了較高的價格 󠀠 ▌硬體零件成本比較 (都以512GB比較) iPhone 15 Pro Max (512GB) – 官網售價:54900台幣 – 總成本估計:17856 台幣 (558美元) – 照相模組:2528台幣 (79美元) – 鈦合金外殼:1600台幣 (50美元) – A17 Pro處理器 (3nm):4160台幣 (130美元) – OLED顯示螢幕:3680台幣 (115美元) – 無限系統:768台幣 (24美元) – 記憶體:1856台幣 (58美元) ——————————— 󠀠 MacBook Air (512GB) – 售價:36900台幣 – 總成本估計:18656台幣 (583美元) – 照相機:384台幣 (12美元) – 散熱:480台幣

為什麼iPhone比MacBook Air貴? Read More »

六強合推AI運算新規則:MicroXcaling 格式

隨著生成式AI浪潮到來,AI模型變的更肥大、更加耗費運算量 因應這個挑戰,Microsoft、AMD、Intel、Meta、NVIDIA、Qualcomm等科技六巨頭在2023年底向Open Compute Project提交一個AI數值系統標準:MicroXcaling 格式 (簡稱MX),希望能比FP8更省AI記憶體空間、運算成本更低 󠀠 AI運算所需的位元寬度(bitwidth),就像iPhone的價格一樣,「越低」就「越好」 怎麼說呢? 如果iPhone的價格從5萬台幣跳水成1萬台幣,就會有更多人買得起iPhone 如果AI運算所需的位元寬度能從8位元降到更低,就會有更多人用得起AI 󠀠 ▌科學記號與主流數值系統 現有主流的數值系統我們可以初步分為:整數(int)、浮點數(fp)、塊狀浮點數(block fp)、指數(exp)四大類。 相信大家國中都有學過「科學記號」,250這個「整數」可表示為2.5×10^2 因為電腦採用二進制,我們把科學記號從10為基底改成2為基底,250可以表示成1.953125×2^7,這就是「浮點數」 如果讓一群小數共用一個指數 (2^7),那就變成「塊狀浮點數」 我們也可以把這個浮點數四捨五入只看指數項,1.953125×2^7可以近似成2^7,這時就是「指數」囉 󠀠 󠀠 ▌MicroXcaling (MX)賣點是什麼? MicroXcaling最像是「塊狀浮點數」,也就是一群數字(element)共用一個縮放因子 (scale) 因為一群element共用一個scale,所以element有機會可以用到很少位元數,而scale則用來保證值域足夠 利用共用,MX既達成了「更低位元數」,又能「保持需要的值域」! 󠀠 而element與縮放因子都是可以調整其格式的,可以配置其整數(M)有幾位元、指數(E)有幾位元 󠀠 目前MX格式有四種:MXFP8、MXFP6、MXFP4、MXINT8 每32個elements共用一個scale,每個scale都是8位元指數,element分別是FP8、FP6、FP4、INT8格式 MXINT8 就很像是8位元的塊狀浮點數 󠀠 ▌什麼!GPT-3只要4位元MXFP4就夠了嗎!? 作者們實驗了20多種模型,有興趣歡迎自行查看論文的數據 講重點,在GPT-3上,用4位元的MXFP4來量化AI模型權狀可以達到跟FP32差不多的準確度! 󠀠 󠀠 ▌台灣的AI數值系統 蘿蔔身為台灣一份子,知道其實也有許多認真的研究生和工程師在努力研發。 󠀠 相比於大陸的CSDN、知乎,台灣好像沒什麼媒介能幫忙增加研究成果曝光 我們想做點改變,若你知道有相關的研究成果,且認為是「真」的研究成果,歡迎寄信給我們、或是直接留言 寄信格式:列出論文題目、發表位置、10~20字以內的總結 我們的email:lobolab.service@gmail.com 我們會幫忙統整進本文,利用社群力量讓更多人看到辛苦的研究成果! ▌延伸閱讀與資源 [1] https://www.opencompute.org/……/ocp-microscaling…… [2] Microscaling Data

六強合推AI運算新規則:MicroXcaling 格式 Read More »

You cannot copy content of this page

Scroll to Top