昨天，OPPO正式發布首款自研NPU芯片——馬裡亞納MariSilicon X，這顆芯片采用台積電6nm工藝和DSA新黃金架構，集成自研的MariNeuro AI計算單元以及MariLumi影像處理單元，在設計之初就将AI和圖像處理進行了融合，相比傳統的ISP有更高靈活性和更高性能，用計算攝影突破手機影像功能的極限。

在此之前，小米和vivo也都推出過自研的ISP芯片。問題來了，為什麼現在手機廠商這麼熱衷于ISP的研發，這個模塊對成像來說到底有多重要？

簡單來說，ISP（Image Signal Process, 圖像信号處理器，又稱成像引擎）是手機拍照/攝像流程中的核心單元之一。一張照片，一段視頻，最終呈現的色彩和細節都取決于它。

ISP所扮演的角色

當你按下手機相機APP的（虛拟）快門進行拍照或錄像時，就會自動進入一場“視覺處理的接力賽”。

首先，光線通過鏡頭進入相機模組内部，經過IR Filter過濾紅外光，然後到達CMOS傳感器。這個時候，CMOS會将光學信号轉換為電信号，再通過内部的ADC電路轉換為數字信号，然後傳輸給ISP進行加工處理，再經曆AI單元的一輪智能成像算法優化後，最終才能生成肉眼可見的圖片或視頻文件。

問題來了，鏡頭和CMOS在将光學信号轉化為由0、1、0、1組成的數字信号時可能存在細節上的遺漏和錯誤，而ISP單元的主要任務就是進行“糾錯”、“校驗”和“補償”。

這就好比讓你用英文翻譯一段中文成語或諺語，需要翻譯官具備足夠的文學素養，才能用英語準确表達出中文語境的博大精深。沒錯，此時ISP扮演的就是“翻譯官”的角色。

細數ISP的補償任務

智能手機的鏡頭是由5片起步的鏡片、濾光裝置、馬達、陀螺儀等部件構成，“透光率”是權衡鏡頭性能的重要指标。

通常手機主攝的鏡片數量要多于副攝鏡片數量

CMOS更是核心部件，傳感器尺寸、像素值大小、RGGB或RYYB濾鏡結構、單位像素面積、多像素合一技術等等都會影響它的性能。

換句話說，鏡頭和傳感器本身都存在物理缺陷，從7P→8P的鏡頭到IMX586→IMX700的CMOS，不斷的疊代升級隻能無限趨近完美，而這就意味着經由它們轉化而來的數字信号的原始數據（raw data）都是不完美的。

CMOS傳感器尺寸越大，理論上其成像底蘊就越好

另一方面，當我們進行拍照或視頻錄制時的環境光線條件多種多樣，需要鏡頭和CMOS像人眼瞳孔縮放那般适應環境明暗。

作為翻譯官的ISP，其主要任務就是對存在物理缺陷的原始數據進行優化補償，并還原出最符合我們預期的明暗效果，比如防止逆光時過曝，看清暗光時的畫面細節等。ISP是由很多功能模塊構成，下面我們就簡單介紹一下ISP的功能模塊以及需要補償的部分内容：

BLC：黑電平校正

數字信号對純黑的原始數據定義為0。但由于CMOS存在“漏電流”的缺陷，将鏡頭放入一個純黑的環境時，經過鏡頭和CMOS輸出的原始數據卻不為0。此時，就需要ISP内的BLC（BlackLevel Correction）模塊登場，通過對所有像素減去特性的矯正值，獲得一個矯正成功的結果，這一過程即黑電平校正，讓原始數據可以顯示純黑畫面。

LSC：鏡頭陰影校正

在拍照/攝像時，通過鏡頭到達CMOS中間的光通常要比到達CMOS邊緣的光多，導緻CMOS捕獲的圖像中間亮度高，周圍邊緣亮度低，容易形成所謂的“漸暈”問題。此時，ISP内部的LSC（Lens Shade Correction）鏡頭陰影校正模塊就開始插手了，它會檢測出圖像中間亮度比較均勻的部分，并以此為基準，計算出周圍區域需要補償的因子。

Bayer Denoise：降噪模塊

除了ADC器件以外，包含模拟部分的CMOS感光器件在信号的傳輸中也存在一定的噪聲，拍攝環境的光線越暗，就越需要放大信号，從而産生更大噪音，落實到成像環節就是照片或視頻畫面中出現大量彩色雪花狀的噪點。ISP内的Bayer Denoise降噪模塊可通過多級濾波，顯著降低信号中的噪聲，減少成像噪點。

BPC：壞點校正

CMOS傳感器屬于物理器件，在長時間使用過程中難免出現壞點。ISP中的BPC（Bad Point Correction）壞點校正模塊會自動進行壞點檢測，找到壞點後則可通過中值濾波替換原來的值，從而糾正壞點，避免在全黑畫面中出現彩點和亮點，抑或在純白畫面出現彩點和黑點。

Demosaic：顔色插值

CMOS傳感器本身其實是個“色盲”，如果隻靠它輸出的照片都是黑白的，想要記錄顔色，還需要搭配一個名為Bayer（拜耳）色彩濾波陣列（Bayer Color Filter Array，CFA）的濾光闆，并将其覆蓋在一個感光闆上。Bayer色彩濾波陣列的結構主要以RGBW、RWWB、RGGB和RYYB為主，但由于拜耳陣列中的每一個像素隻能采集一個顔色通道信息，另外兩種顔色信息需要通過插值算法，結合相鄰其他顔色的像素信息才能組成一個完整的色彩，這個有點類似于“去馬賽克”的過程，就需要依靠ISP内的Demosaic插值算法模塊實現。

AWB：自動白平衡

人腦的視覺系統可以自我修正，無論是陰天、晴天、室内、室外、白熾燈還是日光燈下都能識别出準确的白色，不會受到光源顔色的影響。但是，CMOS傳感器卻不具備這一特性，一張白紙在不同光源下輸出的顔色存在偏差，比如低色溫（如白熾燈）偏黃，高色溫（戶外陽光）偏藍。這個時候，ISP中的AWB（Automatic White Balance）自動白平衡模塊就能通過檢測色溫→計算增益→色溫矯正這套流程自動校色，從而準确記錄不同色溫光線下的白色物體。

CCM：顔色校正

CMOS傳感器各顔色塊之間因顔色滲透可能産生顔色誤差，因此經CMOS獲取的圖像與我們期望的顔色之間存在偏差。前面提到的AWB可以矯正白色，而CCM（Color Correction Matrix）顔色矯正模塊則可校準除白色以外其他顔色的準确度，比如提升顔色飽和度，讓畫面色彩更豔麗。

AEC：自動曝光

光照強度會因時間和場景出現變化，人眼由于有着一定的自适應能力，可以根據光照變化作出及時的調整，但CMOS傳感器卻不具備這個能力。為此，就需要使用ISP中的AEC（Automatic Exposure Control）自動曝光模塊根據光照強度自動調節曝光時間，并在必要時進行一定的曝光補償。

HDR：高動态範圍

自然界中的光照強度非常寬，但人眼對高亮度和極暗環境下的細節分辨能力卻相對較窄，CMOS傳感器能記錄的範圍則更窄，因此經由後者輸出的畫面極易丢失高亮和極暗部分的細節。ISP中的HDR高動态範圍模塊就是為此而生，它能通過Tone Mapping（色調映射）的方式，将像素值在特别暗的區域拉高，在特别亮的區域拉低，從而顯露出高亮和極暗部分丢失的畫面細節。

除了上述功能以外，ISP還包含RGB Gamma（伽瑪校正）、RGBToYUV（色彩空間轉換）、Color Denoise /Sharpness（色彩去噪/銳化）和Auto Focus（自動對焦）等模塊。需要注意的是，上述都僅是ISP的基礎功能，不同的ISP（包含獨立芯片和SoC集成的ISP模塊）可能會引入獨有的或更強的特色功能。

雖然高通骁龍和聯發科天玑等5G SoC内部已經集成了性能不俗的通用ISP，但它們很難100%匹配手機廠商自家的AI算法，因此通過自研ISP（NPU）來匹配自家的AI算法，自然就成為了手機廠商的突圍之路，可以在硬件趨于同質化的當下實現更讨好用戶審美的成像效果。