昆侖芯×飛槳：共創(chuàng)智能計算“芯”生態(tài)

2022-05-26 11:50 來源：互聯(lián)網(wǎng) 我來投稿撤稿糾錯

WAVE SUMMIT 2022深度學(xué)習(xí)開發(fā)者峰會上周圓滿落幕，來自產(chǎn)學(xué)研界的專家學(xué)者和資深A(yù)I工程師在七大平行論壇帶來了精彩的技術(shù)分享。本次峰會專設(shè)【智能硬核生態(tài)共創(chuàng)】平行論壇，昆侖芯科技生物計算研發(fā)總監(jiān)鄭煥鑫受邀參會，并進行“昆侖芯×飛槳：共創(chuàng)智能計算‘芯’生態(tài)”的主題演講 。

昆侖芯適配百度飛槳等主流框架，支持推理和訓(xùn)練場景，生態(tài)建設(shè)正在逐漸完備，已在豐富的業(yè)務(wù)場景落地。作為國內(nèi)人工智能芯片領(lǐng)域的先行者，昆侖芯科技依托團隊多年耕耘芯片和智能計算領(lǐng)域的行業(yè)影響力，致力于攜手上下游合作伙伴，打造智能計算“芯”生態(tài)。

以下內(nèi)容來自演講實錄：

大家好，我是來自昆侖芯科技的鄭煥鑫。

昆侖芯科技是一家AI芯片公司，2021年4月完成了獨立融資，首輪估值約130億元。公司前身是百度智能芯片及架構(gòu)部，在實際業(yè)務(wù)場景中深耕AI加速領(lǐng)域已十余年，是一家在體系結(jié)構(gòu)、芯片實現(xiàn)、軟件系統(tǒng)和場景應(yīng)用均有深厚積累的AI芯片企業(yè)。

昆侖芯科技研發(fā)實力雄厚，團隊成員擁有全球頂尖學(xué)術(shù)背景，并提出了100%自研的通用AI計算處理器核心架構(gòu)昆侖芯XPU，研究成果也在Hot Chips、ISSCC等國際頂級學(xué)術(shù)會議中成功發(fā)表。

在落地實現(xiàn)上，昆侖芯1代在百度搜索引擎、小度等業(yè)務(wù)中部署超過2萬片，是國內(nèi)唯一一款經(jīng)歷過互聯(lián)網(wǎng)大規(guī)模核心算法考驗的云端AI芯片產(chǎn)品。昆侖芯2代采用7nm制程，也已于2021年8月量產(chǎn)。更先進的昆侖芯3代、自動駕駛芯片等多個產(chǎn)品均已啟動研發(fā)。

隨著AI越來越普及，其依托的算力需求也越來越大。在這個時代背景下，昆侖芯的愿景是“成為劃時代，全球領(lǐng)先的智能計算公司”，為AI發(fā)展提供算力賦能。

昆侖芯在AI芯片上經(jīng)歷了超過10年的發(fā)展歷程。我們在2011年啟動FPGA AI加速器項目，到2015年部署5000片，2017年部署超過12000片，是業(yè)界最大的量;2017年發(fā)布自研架構(gòu)昆侖芯XPU;2018年啟動昆侖芯;2020年昆侖芯1代大規(guī)模部署;2021年昆侖芯2代量產(chǎn)。

昆侖芯軟硬件架構(gòu)及兩代產(chǎn)品

不同于GPU的發(fā)展歷程，昆侖芯1代在AI發(fā)展相對成熟的時候量產(chǎn)，在設(shè)計階段就更好地理解了AI場景，提供了更多的加速計算單元，并且保留了足夠的通用計算單元，最終達到了更好的性價比。

這是我們的昆侖芯XPU架構(gòu)：SDNN-軟件定義神經(jīng)網(wǎng)絡(luò)引擎，是我們自研的核心張量計算單元，用于加速卷積和矩陣乘法;Cluster為我們的通用計算部件;我們也是國內(nèi)業(yè)界率先支持GDDR6的廠商之一;我們的Shared Memory片上共享內(nèi)存，有力保證了計算單元的高并發(fā)、低時延訪問;提供高達200GB/s的片間互聯(lián)帶寬，有效提升了大規(guī)模分布式訓(xùn)練中的數(shù)據(jù)傳輸效率，減少通訊延時;支持PCIe第四代接口，雙向帶寬可達到64GB/s。

這是我們的軟件架構(gòu)圖：在應(yīng)用層，我們支持訓(xùn)練、推理以及科學(xué)計算;在框架層，除了深度合作的PaddlePaddle，還支持TensorFlow，PyTorch等;我們提供了豐富的SDK，包括編輯器、圖引擎、高性能算子庫、高性能通訊庫，以及驅(qū)動;在環(huán)境部署上，我們支持公有云服務(wù)、智算中心、智能邊緣設(shè)備等。

這是我們的產(chǎn)品研發(fā)路線，昆侖芯1代采用14nm工藝，昆侖芯2代采用7nm工藝，此外我們的昆侖芯3代、昆侖芯4代都在研發(fā)路徑中。

昆侖芯1代產(chǎn)品包括兩種形式，其中K100是K200的算力一半版本，主要用在邊緣端。昆侖芯2代產(chǎn)品中，R200 AI加速卡主要用于推理，支持INT8/INT16/INT32/FP16/FP32等精度，非常值得一提的是昆侖芯R200 AI加速卡支持視頻編解碼能力;R480-X8 AI加速器組是我們的單機8卡訓(xùn)練方案，提供200GB/s的片間互聯(lián)帶寬。

概括起來，昆侖芯2代有如下特點：

1.通用計算能力顯著增強，可靈活支持AI算法的演進，提升資源投入效用;

2.硬件虛擬化，提升AI算力資源的利用率;

3.高性能分布式AI系統(tǒng)，加速AI數(shù)據(jù)并行和模型并行中的高速數(shù)據(jù)交換。

介紹完硬件參數(shù)，我們看看昆侖芯的軟件參數(shù)。以R200 AI加速卡為例，相比較于業(yè)界主流產(chǎn)品，典型AI負載性能提升1.5倍左右，其中GEMM矩陣乘法性能為1.7倍，BERT典型自然語言處理性能加速比為1.4倍。對Transformer類有同樣的效果;Yolov3，Yolov5性能加速1.3倍;ResNet50視覺分類算法加速1.2倍。

昆侖芯AI算力賦能千行百業(yè)

昆侖芯科技前身為百度智能芯片及架構(gòu)部，天然對互聯(lián)網(wǎng)AI應(yīng)用有深入了解。以百度搜索場景為例，我們實現(xiàn)了過萬片的部署，與飛槳聯(lián)合優(yōu)化模型：DeepFM、Wide&Deep。此外，我們在包括百度在內(nèi)的多家互聯(lián)網(wǎng)公司上均有不錯的落地表現(xiàn)

在智能城市領(lǐng)域，萬級別攝像機收集視頻流，通過芯片編解碼獲取圖片，對圖片進行人臉檢索以及比對。該場景主要是以CV類算法為主，我們和飛槳聯(lián)合優(yōu)化模型包括：ResNet50、MobileNet-v3、Unet、Yolov3-DarkNet53、SSD-ResNet34 。

工業(yè)質(zhì)檢場景，高清工業(yè)相機拍攝零件照片進行質(zhì)量檢測。搭載國產(chǎn)AI算力機的質(zhì)檢設(shè)備替代人工質(zhì)檢，大大節(jié)省了人力，14個月即可收回成本。同時，“5G+AI+工業(yè)互聯(lián)網(wǎng)”解決方案大大提高了整廠的智能化水平，幫助企業(yè)降低損耗，提升約10%的良品率。在這個方向上，我們和飛槳聯(lián)合開發(fā)了Yolov3-DarkNet53、SSD-ResNet34。

在目前國內(nèi)前沿的生物計算領(lǐng)域，我們也對基因測序算法Blast以及蛋白質(zhì)折疊預(yù)測算法進行了硬件適配，并取得了不錯的加速比。

綜上，我們在互聯(lián)網(wǎng)、智慧城市、智慧工業(yè)、生物計算、智慧金融、智慧政務(wù)、智算中心以及智慧交通等各行業(yè) AI 應(yīng)用落地場景中均提供了多種解決方案。

總結(jié)來看，昆侖芯科技最獨特優(yōu)勢在于：在百度搜索引擎、小度等業(yè)務(wù)中部署超過2萬片，是國內(nèi)唯一一款經(jīng)歷了互聯(lián)網(wǎng)大規(guī)模核心算法考驗的云端AI芯片，產(chǎn)品的可用性、可靠性、穩(wěn)定性、魯棒性得到了驗證，也證明了團隊在芯片架構(gòu)、軟件棧、工程化系統(tǒng)層級的技術(shù)實力。此外，昆侖芯靈活支持多個AI場景，如視覺、語音、NLP和推薦等;不僅如此，昆侖芯也支持HPC、生物計算等算法的加速。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！