進入八月底，手機市場變得異常熱鬧，大有你方唱罷我登場的陣勢——魅族MX3剛發(fā)布，小米3、索尼Xperia Z1、Galaxy Note III、iPhone 5S/C、OPPO N1陸續(xù)熱鬧登場……幾乎無一例外，相機功能成為了這些業(yè)界矚目的明星產(chǎn)品主要功能訴求之一。在智能手機日趨同質(zhì)化的今天，相機也成為了廠商在產(chǎn)品宣傳上重點進行差異化的焦點之一，防抖動、高速連拍、美顏……各種功能特性扯足眼球。
正所謂外行看熱鬧，內(nèi)行看門道，各種宣傳說辭背后，是軟硬件技術(shù)實力的比拼。手機相機受尺寸限制，難免先天不足——鏡頭必須盡量小以適應(yīng)手機相機的封裝，這導(dǎo)致圖像傳感器獲取的圖像信號難以像數(shù)碼相機一樣的出色，因此作為數(shù)碼相機功能的關(guān)鍵功能模塊的圖像處理器(ISP)擔(dān)當起了提升圖像傳感器捕獲的圖像質(zhì)量的“重任”。
在這些“明星”產(chǎn)品中，魅族MX3手機相機公開采用了富士通4通道ISP芯片。無獨有偶，在當前國內(nèi)外多個主流品牌的熱門機型中，包括魅族MX2、三星Galaxy Note II和Galaxy ZOOM，以及OPPO的幾款主流手機產(chǎn)品中，我們也能發(fā)現(xiàn)富士通ISP技術(shù)的身影。為此，筆者近日特別采訪了富士通半導(dǎo)體公司圖像處理技術(shù)負責(zé)人Holmes 沈，期待挖掘出手機相機ISP的“那些事”。
解析主流數(shù)碼相機ISP Milbeaut的技術(shù)基因
富士通數(shù)碼相機ISP產(chǎn)品家族基于其2000年開始推出的圖像處理器Milbeaut技術(shù)，目前已經(jīng)發(fā)展到第六代。作為數(shù)碼相機產(chǎn)品的核心器件，Milbeaut算是實實在在的“幕后英雄”， 其名號并不為大多數(shù)人所知，甚至網(wǎng)上也難以搜到太多相關(guān)介紹。但Holmes拋出的第一個數(shù)據(jù)就讓人不得不對Milbeaut刮目相看：“Milbeaut占據(jù)全球數(shù)碼相機ISP市場超過50%的份額，全球知名數(shù)碼相機廠商幾乎都與我們有合作，在單反數(shù)碼相機中同樣有大量的成功應(yīng)用?！?
近年來，高像素相機逐漸成為中高端手機的主流配置，而獨立ISP具有的突出圖形處理能力，開始替代500萬像素時代的集成ISP，這類獨立ISP開始走向手機應(yīng)用的舞臺。當前智能手機廠商大都傾向于采用專用的ISP，因為這樣能實現(xiàn)可以與高端數(shù)碼相機媲美的圖像質(zhì)量和性能。而富士通半導(dǎo)體公司基于其占據(jù)數(shù)碼相機市場領(lǐng)先優(yōu)勢的圖像處理器Milbeaut開發(fā)了針對手機相機應(yīng)用的Milbeaut Mobile ISP系列，成功地將其在數(shù)碼相機ISP芯片上的領(lǐng)先技術(shù)成功復(fù)制到手機相機應(yīng)用上。據(jù)悉，在日本廠商生產(chǎn)的配備800萬像素以上攝像頭的終端中，富士通的圖像處理LSI確保了近80%的份額。
“在2008年，第三代Milbeaut Mobile ISP就率先采用了多種在數(shù)碼相機中成功應(yīng)用的功能，如靜態(tài)圖像拍照的連續(xù)自動對焦、人臉識別。”Holmes指出，“第六代Milbeaut Mobile ISP MBG046就采用了幾乎所有的相機功能，而且還具有高清視頻(1920x1080像素)連續(xù)自動對焦，以及市場需求視頻處理器?！痹诓稍L中，Holmes對Milbeaut的領(lǐng)先功能特性如數(shù)家珍：“MBG046基本的功能特性包括實時轉(zhuǎn)換和校正來自傳感器的信號，并輸出到應(yīng)用處理器。ISP針對手機相機系統(tǒng)進行了優(yōu)化，能使應(yīng)用處理器直接顯示接收到的圖像數(shù)據(jù)，并無需修改直接存儲這些數(shù)據(jù)……”按照Holmes的詳細介紹，Milbeaut Mobile ISP MBG046主要功能特性可以總結(jié)如下：
高速圖像處理。MBG046圖像處理器執(zhí)行基本的圖像處理功能，可以實現(xiàn)每秒24幀、每幀8MB的圖像處理，以及每秒超過30幀的高清圖像處理。幾乎所有的基本圖像處理功能由硬件實現(xiàn)，從而可以實現(xiàn)很高的處理速度和低功耗。此外，由于應(yīng)用處理器是手機相機在圖像處理的流程中的下一級，如果來自傳感器的數(shù)據(jù)不能及時轉(zhuǎn)換以及進行校準處理，對于拍攝視頻這種對響應(yīng)速度很敏感的應(yīng)用來說，就會存在延時的問題。Milbeaut Mobile ISP通過將由圖像處理器單元處理過的圖像數(shù)據(jù)直接發(fā)送到圖像輸出單元，而不是通常方案中經(jīng)由SDRAM進行各種插值處理，從而實現(xiàn)了快速處理，消除了信號轉(zhuǎn)換、校正處理導(dǎo)致的延時。
超強的噪聲消除功能。由于Milbeaut Mobile ISP產(chǎn)品面對的相機應(yīng)用一般不可能采用可與數(shù)碼相機媲美的相機鏡頭，要保證圖像質(zhì)量具有挑戰(zhàn)性，特別是處理圖像噪聲非常重要。因此，MBG046圖像處理器采用了比數(shù)碼相機更強大的機制來保證對亮度噪聲和色彩噪聲的消除。為消除噪聲同時不降低分辨率，在MBG046中采用了最新的技術(shù)，從而可以同時采用不同的噪聲消除方法以匹配圖像質(zhì)量。
優(yōu)化的軟件配置。軟件處理是相機系統(tǒng)中的一個重要部分，是硬件序列控制和“3A”(自動白平衡調(diào)整、自動曝光調(diào)整、自動對焦調(diào)整)運算不可或缺的部分。設(shè)計上，富士通將那些涉及復(fù)雜處理，但是運算量輕的任務(wù)轉(zhuǎn)移到軟件實現(xiàn)，而將運算量很大的圖像數(shù)據(jù)處理由專用硬件實現(xiàn)。這樣的配置能讓更多的CPU資源用于額外的軟件圖像處理(運動補償、人臉識別等)，從而可以讓系統(tǒng)更靈活，也能將更多資源用于實現(xiàn)先進的處理性能。
