a&s 功能實(shí)測比特大陸AI邊緣計(jì)算模組算豐SM5

2020-03-16 08:54 來源：互聯(lián)網(wǎng) 我來投稿撤稿糾錯(cuò)

隨著人工智能在安防、泛安防等領(lǐng)域迅速落地和普及，各類圖像視覺類AI算法落地的精度和實(shí)際效果在提升，獲得了更深廣的業(yè)務(wù)價(jià)值，如安防領(lǐng)域的人臉布控、人車視頻結(jié)構(gòu)化等，泛安防的社區(qū)園區(qū)通行，新零售的VIP客戶識(shí)別等，都是AI技術(shù)商業(yè)化的典型場景。

同時(shí)，視覺類AI算法的深度學(xué)習(xí)計(jì)算，也逐步從云端部署擴(kuò)展到邊緣部署。邊緣的設(shè)備比云端多1-2個(gè)數(shù)量級(jí)，業(yè)內(nèi)對(duì)邊緣AI計(jì)算硬件的需求快速升溫，大家呼喚高算力、低功耗、接口豐富的芯片和模組方案的出現(xiàn)，來替代原來的CPU、GPU方案。

而比特大陸算豐AI計(jì)算模組SM5，定位為國內(nèi)最強(qiáng)算力的AI邊緣計(jì)算模組，成為讓人眼前一亮的選擇。它基于AI專用芯片(ASIC)，在算力上突破了17 TOPS量級(jí)，達(dá)到了驚人的16到30路的潛在視頻計(jì)算分析能力。難得的是，在高算力同時(shí)保持了相對(duì)低功耗、被動(dòng)式無風(fēng)扇散熱、接口豐富等優(yōu)點(diǎn)?？梢哉f是國內(nèi)AI邊緣計(jì)算模組中的領(lǐng)軍產(chǎn)品，吸引了諸多安防、泛安防客戶的眼球。不僅如此，作為國產(chǎn)廠商的純自主研發(fā)產(chǎn)品，也為特種行業(yè)領(lǐng)域提供了新的選擇。比特大陸算豐AI計(jì)算模組SM5實(shí)測效果如何，我們一一驗(yàn)證。

小體積大集成

從外形來看，比特大陸算豐AI計(jì)算模組SM5 (Sophon SM5)極為小巧，尺寸僅為普通信用卡大小，算連接器為87×65×8mm，不算連接器為87×65×3mm。底座為144針高密接口，供客戶開發(fā)底板，嵌入到各類設(shè)備之中。

該模組采用寬溫設(shè)計(jì)，散熱方案可以選配比特大陸的被動(dòng)或主動(dòng)散熱方案，客戶也可自行設(shè)計(jì)?？蛇m應(yīng)-20℃到+55℃的工作環(huán)境，有效降低惡劣環(huán)境對(duì)模組的影響，從而支持系統(tǒng)的持續(xù)運(yùn)作。模組滿足極端環(huán)境的作業(yè)需求，可應(yīng)用在室外半封閉場所。

比特大陸該模組采用雙模驅(qū)動(dòng)，內(nèi)置12G內(nèi)存，既可作為AI計(jì)算的從設(shè)備(PCIE mode)，也可作為主設(shè)備獨(dú)立運(yùn)行(SOC mode)，可支持FP32(2.2T)高精度的計(jì)算，INT8計(jì)算經(jīng)過自動(dòng)化編譯校準(zhǔn)的精度損失可小于<0.5%。

另外，該模組接口豐富，具有10+接口類型。支持PCIE EP/ PCIE RC / Ethernet / RS485/ RS232/ GPIO /SDIO / PWM等接口。擴(kuò)展性強(qiáng)，可擴(kuò)展USB/SATA/HDMI等，可擴(kuò)展SATA存儲(chǔ)，可擴(kuò)展4G/5G/wifi等。

總的來說，比特大陸算豐AI計(jì)算模組SM5體積小、低功耗、雙網(wǎng)口、接口豐富，工作寬溫，高集成度，可以方便的被集成在各類邊緣計(jì)算設(shè)備、嵌入式設(shè)備、自動(dòng)化機(jī)器之中。

SM5模組頂面圖

SM5模組底面圖

自主研發(fā)芯片算力強(qiáng)大

比特大陸算豐AI芯片是其純自主研發(fā)產(chǎn)品，具備200+專利申請(qǐng)。比特大陸算豐AI計(jì)算模組SM5基于比特大陸算豐AI芯片BM1684，為比特大陸的第三代云端AI芯片，屬于歷代規(guī)格最高，算力最強(qiáng)，同時(shí)3代的產(chǎn)品研發(fā)迭代，在客戶持續(xù)使用反饋中，產(chǎn)品的成熟度得到了諸多行業(yè)客戶的打磨和提升，進(jìn)入了成熟階段。

判斷芯片的主要標(biāo)準(zhǔn)即為算力、功耗。a&s實(shí)測該模組的算力達(dá)到17.6TOPS，在Winograd卷積加速下最高可達(dá)35.2TOPS。ARM CPU下算力最強(qiáng)，8核A53主頻2.3GHz，邊緣AI芯片內(nèi)最強(qiáng)，可靈活開發(fā)應(yīng)用。

實(shí)測中，該模組Resnet50的測試吞吐可達(dá)到1000 張/秒以上。安防的應(yīng)用要從整體的視覺應(yīng)用層面，端到端的來看性能指標(biāo)。典型的安防視覺AI計(jì)算過程包含從外部視頻流/圖片流進(jìn)入模組，網(wǎng)口取數(shù)據(jù)，視頻/圖片解碼，視頻前后處理，AI計(jì)算，同時(shí)CPU參與部分計(jì)算，最終輸出等。從該模組的測試結(jié)果看，其最高支持32路30FPS的1080P解碼，支持H264/H265格式，支持視頻編碼最高960 FPS;具備硬加速的圖像前后處理能力(Crop/Resize/色域變換)，有效提升應(yīng)用性能。

常見Resnet50等神經(jīng)網(wǎng)絡(luò)運(yùn)行典型功耗12W以內(nèi)，16路視頻流全流程分析典型功耗為16W。在滿載情況下，典型功耗也不到20W功耗?？梢栽跓o風(fēng)扇的被動(dòng)散熱方案下，持續(xù)有效的長期運(yùn)行。

業(yè)界比對(duì)測試效果良好

除了從典型安防視覺AI計(jì)算過程衡量模組的算力和整體性能，a&s將英偉達(dá)TX2、華為ATLS200等模組方案與比特大陸算豐AI計(jì)算模組SM5進(jìn)行橫向?qū)Ρ葴y試，同類對(duì)比技術(shù)規(guī)格來看，算豐SM5的技術(shù)指標(biāo)在CPU、AI算力、視頻解碼、內(nèi)存、以太網(wǎng)端口等等都具備較大的優(yōu)勢(shì)，可以說說得上是業(yè)內(nèi)超強(qiáng)算力。

從測評(píng)數(shù)據(jù)中可以看出以下幾點(diǎn)：

在AI算力方面，與TX2 、ATLS200相比具有明顯優(yōu)勢(shì);

在視頻解碼上，是TX2 、ATLS200的兩倍;

內(nèi)存為12GB，是TX2 、ATLS200的1.5倍;

以太網(wǎng)端口是2個(gè)，而TX2 、ATLS200均只有1個(gè);

從測評(píng)數(shù)據(jù)來看，比特大陸算豐AI計(jì)算模組SM5的優(yōu)勢(shì)相對(duì)英偉達(dá)TX2、華為ATLS200優(yōu)勢(shì)明顯，雖然功耗相對(duì)較大，但與其余對(duì)比項(xiàng)相結(jié)合后，性價(jià)比仍然最高。

測試數(shù)據(jù)來源為比特大陸實(shí)驗(yàn)室

算力和AI分析路數(shù)

從實(shí)際應(yīng)用和神經(jīng)網(wǎng)絡(luò)benchmark兩個(gè)角度測試比特大陸算豐AI計(jì)算模組SM5。

該模組在安防的實(shí)際應(yīng)用主要指標(biāo)為可接入的視頻路數(shù)和視頻分析應(yīng)用能力。在安裝1塊SM5模組搭載的測試底板后，引出來網(wǎng)絡(luò)、電源等接口，將視頻流服務(wù)器發(fā)過來視頻進(jìn)行多路處理和分析，并將檢測人臉框打在視頻流上編碼輸出顯示。在16路1080p視頻流輸入的情況下，每路視頻實(shí)時(shí)畫面達(dá)到10人臉以上，單個(gè)SM5模組可以實(shí)現(xiàn)完全實(shí)時(shí)的滿幀的處理人臉檢測和跟蹤。

上圖是16路1080P的滿幀處理情況，僅僅為初步部署，并未進(jìn)行優(yōu)化。用戶可以自行開發(fā)算法軟件，并進(jìn)行適度優(yōu)化，完全有可能實(shí)現(xiàn)單個(gè)模組超過16路甚至30路視頻流的人臉檢測分析，或者視頻結(jié)構(gòu)化的業(yè)務(wù)分析能力，可以說在應(yīng)用端到端的算力非常強(qiáng)大。SM5模組的實(shí)際應(yīng)用算力實(shí)測非常強(qiáng)，相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型速度肯定也很快。a&s將SM5模組、Nvidia TX2模組，以及Huawei ATLAS 200模組做了性能實(shí)測比對(duì)，在幾種典型的神經(jīng)網(wǎng)絡(luò)分類模型測試中，吞吐數(shù)據(jù)如下表：

測試數(shù)據(jù)來源為比特大陸實(shí)驗(yàn)室

從實(shí)測結(jié)果來看，在性能上，SM5相比TX2有十倍級(jí)別的性能優(yōu)勢(shì)。相比ATLAS 200，雖然理論峰值標(biāo)稱算力SM5和ATLAS200很接近(17.6T vs 16T)，但是從實(shí)測來看，SM5的性能倍數(shù)在最典型Resnet 50上有1.5倍的優(yōu)勢(shì)，在Mobilenet上有2.38倍的優(yōu)勢(shì)!這說明，標(biāo)稱算力和實(shí)際獲得的算力具有一定的差別。算豐SM5具有較高的有效計(jì)算利用率。

總的來看，無論是實(shí)際應(yīng)用的性能，還是神經(jīng)網(wǎng)絡(luò)模型的速度吞吐，SM5模組都是很強(qiáng)大的，和業(yè)內(nèi)其他產(chǎn)品相比也有較大的優(yōu)勢(shì)。

工具鏈完備，易用度高

對(duì)于開發(fā)者而言，都希望開發(fā)簡單易用，特別是從CPU，GPU等的以前的模型和算法，能夠比較輕易的轉(zhuǎn)到新的AI硬件上來。而比特大陸的算豐AI芯片的多種產(chǎn)品(板卡、模組、盒子)，保持統(tǒng)一的工具鏈和系統(tǒng)軟件。

其中工具鏈完備，開發(fā)友好：

包括底層驅(qū)動(dòng)環(huán)境、編譯器、推理部署工具等一系列軟件工具；

支持Caffe、Tensorflow、PyTorch、PaddlePaddle等深度學(xué)習(xí)框架，離線編譯和校準(zhǔn)工具易用；

完備的性能監(jiān)控工具、神經(jīng)網(wǎng)絡(luò)運(yùn)行庫、視頻編解碼庫、圖像編解碼庫、圖像處理庫；

可提供算法測試用例，包括人臉檢測、物體檢測等。

可應(yīng)用場景廣泛

比特大陸算豐AI計(jì)算模組SM5的定位是被集成，所以應(yīng)用場景是多種多樣的，包括了AI邊緣計(jì)算服務(wù)器，智能NVR，AI邊緣計(jì)算盒，機(jī)器人，大中型無人機(jī)等等。模組的主要功能就是進(jìn)行視覺AI的計(jì)算，能夠?yàn)閭鹘y(tǒng)產(chǎn)品附加AI功能，支持人臉檢測與識(shí)別、面部表情分析、物體檢測與識(shí)別、車牌識(shí)別、聲紋識(shí)別等，可應(yīng)用于人臉識(shí)別、自動(dòng)駕駛、城市大腦、智能安防、智能醫(yī)療等人工智能場景，應(yīng)用領(lǐng)域廣泛。

可以說，BM1684作為比特大陸多年AI技術(shù)積累和沉淀的第三代AI芯片，構(gòu)建的AI模組具有鮮明的特點(diǎn)，優(yōu)勢(shì)諸多。

產(chǎn)品特色

1、超強(qiáng)算力、低功耗、自主芯片。

2、易被集成、低功耗、雙網(wǎng)口、接口多。

3、體積小，被動(dòng)散熱，易集成。

4、雙模驅(qū)動(dòng)，接口豐富，擴(kuò)展性強(qiáng)。

5、工具鏈完備，易用度高。

點(diǎn)評(píng)

這是一款算力超強(qiáng)的AI計(jì)算模組，從應(yīng)用性能和神經(jīng)網(wǎng)絡(luò)實(shí)測來看，算力非常強(qiáng)大，可以說是目前階段業(yè)內(nèi)最強(qiáng)。同時(shí)具備視頻解碼、后處理、CPU強(qiáng)大能力，有可能在視覺AI全流程起到完美的加速效果。

同時(shí)還保持了易集成，低功耗等特點(diǎn)，如此強(qiáng)大的邊緣計(jì)算模組，確實(shí)是業(yè)內(nèi)的強(qiáng)算力模組的最佳選擇之一。預(yù)計(jì)算豐SM5模組會(huì)在安防、智慧城市、機(jī)器人、新零售等領(lǐng)域，加速AI在業(yè)務(wù)中的普及和落地。

主要規(guī)格參數(shù)