講座報(bào)告主題:我國算力的現(xiàn)狀與趨勢
專家姓名:鄭緯民
日期:2024-05-11 時間:10:30
地點(diǎn):會議中心第一報(bào)告廳
主辦單位:計(jì)算機(jī)科學(xué)與通信工程學(xué)院
主講簡介:鄭緯民,,清華大學(xué)計(jì)算機(jī)系教授,中國工程院院士,。長期從事高性能計(jì)算機(jī)體系結(jié)構(gòu),、并行算法和系統(tǒng)研究。提出可擴(kuò)展的存儲系統(tǒng)結(jié)構(gòu)及輕量并行的擴(kuò)展機(jī)制,,發(fā)展了存儲系統(tǒng)擴(kuò)展性理論與方法,。在國內(nèi)率先研制并成功應(yīng)用集群架構(gòu)高性能計(jì)算機(jī)。在國產(chǎn)神威太湖之光上研制的極大規(guī)模天氣預(yù)報(bào)應(yīng)用獲得ACM Gordon Bell獎,。曾獲國家科技進(jìn)步一等獎1項(xiàng),、二等獎2項(xiàng)、國家技術(shù)發(fā)明二等獎1 項(xiàng),,何梁何利科技進(jìn)步獎,,獲得首屆中國存儲終身成就獎。研究專長:高性能計(jì)算機(jī)體系結(jié)構(gòu),、并行算法和系統(tǒng)研究,。
主講內(nèi)容簡介:算力是新質(zhì)生產(chǎn)力,。數(shù)字經(jīng)濟(jì)發(fā)展水平與算力規(guī)模密切相關(guān),,數(shù)據(jù)的高效處理決定數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。算力已成為數(shù)字經(jīng)濟(jì)發(fā)展發(fā)動機(jī),。報(bào)告首先介紹三大類算力:1.HPC算力,,2.AI算力,3.數(shù)據(jù)中心算力,。接著介紹能支持大模型訓(xùn)練的兩種系統(tǒng): 1.基于英偉達(dá)公司GPU的系統(tǒng),;2.基于國產(chǎn)AI芯片的系統(tǒng)。第一種系統(tǒng)的優(yōu)點(diǎn)是硬件性能好,,編程生態(tài)好,。缺點(diǎn)是人家不賣給中國,價(jià)錢漲了幾倍,一卡難求,。第二種系統(tǒng)的狀況是國產(chǎn)的卡用戶不太喜歡用,,其原因是國產(chǎn)卡的生態(tài)系統(tǒng)不太好。怎么辦,?要改變國產(chǎn)卡的生態(tài)系統(tǒng)不好的局面,,需要做好的10個軟件,它們是編程框架,,并行加速,,通信庫,算子庫,,AI 編譯器,,編程語言,調(diào)度器,、內(nèi)存分配,、容錯系統(tǒng)和存儲系統(tǒng)。我們要大力開展基于國產(chǎn)系統(tǒng)的大模型基礎(chǔ)設(shè)施的研究工作,。最后介紹算力的互聯(lián)與互通,。
歡迎師生參加!