編者按：日前，數千項重大科技成果在國家“十三五”科技創新成就展集中展示，中科院多項成果入選其中。“中科院之聲”特開設《中科院“十三五”科技創新成就展示》專欄，将帶您一起深入了解其中的成果，看看這些重大研究背後的故事。

自動化所自主研發的極低比特量化神經處理芯片（QNPU）。丁典攝

深度學習近些年來迅猛發展，在人工智能（AI）領域顯現出了強大的威力。然而這一切是有代價的。為了完成日益複雜的AI任務，神經網絡模型體量暴增，對服務器的儲存和算力要求也水漲船高，由此産生的經濟成本、耗費的電量、對環境的污染正困擾着這個行業。

AI這場“遊戲”正變得越來越“笨拙”，也越來越奢侈。于是，輕量化人工智能（Tiny AI）被寄予厚望，通過對AI模型及其計算載體的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技評論》将“Tiny AI”列為“全球十大突破性技術”。

中科院自動化研究所（以下簡稱自動化所）是國際上最早開展AI輕量化設計的機構之一。“十三五”期間，自動化所研究團隊在“AI芯片—平台—算法”全棧輕量化AI技術中取得了一系列成果，成為新一代AI的“先行者”。

降低AI應用門檻

2014年左右，自動化所研究員、主要從事圖像和視頻内容分析的程健在利用日益活躍的神經網絡模型進行圖像與視頻的智能識别、搜索時，感受到了一種前所未有的“慢”。

識别和搜索是一項對速度、效率要求非常高的任務。但随着神經網絡模型的體形越來越大、參數越來越多、計算越來越複雜，必須依靠專門的服務器或者連接雲端才能運行模型，它是以犧牲效率為代價的。

自動化所研究員張一帆表示，這也擡高了AI應用普及的門檻。由于與人們日常生活息息相關的一些低配置、低成本的終端平台根本無法支撐龐大的神經網絡模型的運行，因此很難實現AI賦能。

盡管模型越大意味着性能越強，但程健想到，也許應該換一種思路，在确保精度接近無損的前提下，給AI模型及其計算載體“瘦身”，比如減少計算量、降低模型複雜度等，從而提升終端運行的效率。但這是一個極具挑戰性的任務。

2015年，程健帶領團隊進行了第一次嘗試，把此前無法在手機端搭載的龐大的深度卷積神經網絡VGG，壓縮了20多倍，使之第一次在手機上完成了快速運行。借助經過輕量化“加工”的神經網絡模型，研究人員加載了一個圖像分類識别的應用，當時智能化程度還較低的手機就已經可以實現對日常生活中1000多類物體的快速識别，而不需要依靠雲端計算。

這次成功的嘗試讓程健相信，Tiny AI這條路不僅走得通，而且很有可能成為未來AI發展的主幹道。因為，它可以使AI應用的門檻大大降低，使之成為普惠民生的智能生态。

在此之後，自動化所研究團隊在國際AI會議發表了多篇神經網絡模型輕量化領域的重要論文，成為國際上最早開始Tiny AI研究的團隊之一。“選擇這個方向，既是問題驅動的，也是社會需求推動的。”程健表示。

軟硬件協同設計

Tiny AI是以一系列輕量化技術為驅動提高算法、平台和芯片的效率，在更緊密的物理空間上實現低功耗的AI訓練和應用部署，不需要依賴于雲端交互就能實現智能化操作，被視為AI的重要應用方向。自動化所團隊在“十三五”期間，分别從軟件和硬件兩方面進行攻關。

自動化所副研究員王培松介紹，研究團隊首先從最上層的算法入手，提出了稀疏表示、量化計算等一系列技術手段，把神經網絡的計算複雜度以及存儲複雜度大大降低。

但問題随之而來。“我們發現，要使推理和算法從雲端遷移到終端成為可能，需要一個合适的工具或者框架提供支撐，因此必須在移動端或設備端定制一個推理框架。”自動化所博士胡慶浩提到，研究團隊用一年半時間自主設計開發出了一個Tiny AI平台QEngine。

而後，研究人員對模型進行輕量化設計，輔以合适的平台提供支持，但運行速度依然不達标，這才讓他們下定決心從底層硬件尋求突破。AI芯片作為AI的硬件載體，要能達到更高的性能、更高的效率、更低的功耗和更小的體積，最大化發掘硬件的能力。

讓王培松信心倍增的是，2019年，在國際神經信息處理系統大會（NeurIPS）上舉行的神經網絡壓縮與加速競賽中，團隊與國際一流高校、芯片公司同場競技，其設計的輕量化神經網絡架構獲得了圖像類賽道雙料冠軍。2020年，自動化所自主研發的極低比特量化神經處理芯片（QNPU）也成功流片。

新一代AI逐浪者

自動化所軟硬協同輕量化的技術研究一直走在國際前列。Tiny AI平台QEngine及輕量化算法已經在數十萬終端上部署。國内的很多企業産品都應用了自動化所的Tiny AI技術。

比如，基于Tiny AI研制的自主巡檢無人機、缺陷識别分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識别、檢測和分析功能，可有效保障輸配電線路的安全和電力系統穩定；在消費電子行業，輕量化的算法及輕量化神經網絡計算架構可有效實現暗光增強、超分辨率等，為手機終端、安防終端提供了影像增強效果；在教育終端的人機互動領域，“輕量化指尖點讀解決方案”賦予了低端硬件平台高端AI算力……

程健表示，Tiny AI一直默默地服務于人們日常生活中很多AI應用需求，但遠遠沒有走到頭。特别是在計算性能極弱的單片機，以及在各種空調、冰箱等家電中算力較弱的計算芯片上，實現比較複雜的AI任務任重道遠。除此之外，目前Tiny AI基于的軟件和硬件平台，大多還是針對大模型、雲端開發來搭建的。未來要能最大化實現極緻效率，還要進一步完善軟硬件的協同設計。

博士階段就跟着程健初涉Tiny AI領域的王培松和胡慶浩是與這一前沿領域共同成長起來的，目前已經是團隊的核心成員。“能趕上新一代AI的曆史潮流，并勇立潮頭，對我們年輕科研人員來說是一件很幸運且自豪的事。”

胡慶浩也坦言，新一代AI的角逐中，國際競争激烈，特别是在輕量化算法設計和AI芯片領域，誰能突出重圍，謎底有待揭曉。

來源：中國科學報