文/Gil Summy，James Mihaychuk

3D成像是安全、消費(fèi)電子、汽車(chē)和許多其他行業(yè)中許多人機(jī)視覺(jué)應(yīng)用的重要組成部分；因?yàn)樗�被廣泛使用，所以減少硬件、尺寸和計(jì)算負(fù)荷都是有益的。本文概述了加拿大AIRY3D公司開(kāi)發(fā)的一種3D計(jì)算機(jī)視覺(jué)方法DEPTHIQ，這是傳統(tǒng)3D成像技術(shù)的一種更簡(jiǎn)單、更實(shí)惠的替代方法，可以實(shí)現(xiàn)更快、更便宜和更小巧的3D視覺(jué)系統(tǒng)。

DEPTHIQ技術(shù)將光學(xué)編碼透射衍射掩模（TDM）放置在標(biāo)準(zhǔn)CMOS圖像傳感器上，以生成高質(zhì)量的2D彩色圖像和本質(zhì)上相關(guān)的近場(chǎng)深度圖。

在大多數(shù)CMOS圖像傳感器的頂部添加兩層薄的透射材料（統(tǒng)稱為T(mén)DM），可以提供3D傳感功能，并且不會(huì)降低2D圖像質(zhì)量。這些層使用來(lái)自相位光柵的衍射過(guò)程，來(lái)實(shí)現(xiàn)用于3D圖像捕獲的緊湊、低成本、低計(jì)算量的解決方案。

圖1顯示了透明TDM如何應(yīng)用于常規(guī)CMOS圖像傳感器。簡(jiǎn)單來(lái)說(shuō)，透明材料在微透鏡陣列上形成衍射光柵。這對(duì)微透鏡和色彩濾波陣列（CFA）的性能影響都很小。通過(guò)在光到達(dá)有源硅中的像素光電二極管之前，對(duì)光進(jìn)行折射和濾除，微透鏡和CFA強(qiáng)烈影響光譜響應(yīng)和色彩準(zhǔn)確性。TDM設(shè)計(jì)經(jīng)過(guò)優(yōu)化，可與原始2D CMOS圖像傳感器的這些必不可少的微光學(xué)結(jié)構(gòu)兼容。

圖1：透射衍射掩模（TDM），其垂直和水平光柵放置在標(biāo)準(zhǔn)CMOS圖像傳感器上。

TDM設(shè)計(jì)概述

TDM的物理基礎(chǔ)是相位光柵的衍射。因此，TDM是透明結(jié)構(gòu)而不是有損掩模，并且不依賴于不透明的光刻圖樣化特征。這樣可以通過(guò)少量的后處理步驟，將TDM添加到任何現(xiàn)有的圖像傳感器設(shè)計(jì)中。

由于TDM通常只有幾微米厚，因此通常可以將TDM添加到圖像傳感器中，而無(wú)需更改鏡頭或其他相機(jī)模塊組件。但是，與任何圖像傳感器一樣，就數(shù)值孔徑（NA）、主光線角（CRA）和對(duì)準(zhǔn)公差而言，選擇兼容的鏡頭仍然很重要。

通過(guò)衍射過(guò)程，TDM設(shè)計(jì)將相位/方位信息編碼為光強(qiáng)度分布。這種通常 “隱藏”的自由度，包含有關(guān)發(fā)光源深度的信息。TDM使用基于菲涅耳衍射的近場(chǎng)光學(xué)現(xiàn)象的過(guò)程提取方位信息。具體來(lái)講，由諸如衍射光柵的周期性結(jié)構(gòu)產(chǎn)生的光場(chǎng)，通過(guò)被稱為泰伯效應(yīng)的自成像現(xiàn)象來(lái)描述。這是光的相位和強(qiáng)度都在光柵附近形成分形衍射圖案的現(xiàn)象。

光學(xué)設(shè)計(jì)注意事項(xiàng)

TDM及其相機(jī)模塊的設(shè)計(jì)不僅取決于2D成像要求，還取決于3D規(guī)格，例如所需要的深度探測(cè)范圍和相對(duì)深度精度。深度精度通常表示為相對(duì)于到目標(biāo)物體的已知地面距離的百分比誤差。例如，眾所周知的市售立體相機(jī)要求其有效范圍為約20cm至幾米，并且絕對(duì)誤差不超過(guò)2％。

實(shí)際性能將取決于3D成像解決方案的預(yù)期用途，以及在照明和對(duì)比度方面的部署細(xì)節(jié)。不過(guò)，可以通過(guò)結(jié)合2D圖像捕獲規(guī)格以及所需的深度范圍和精度，來(lái)臨時(shí)指定3D成像系統(tǒng)，無(wú)論是基于TDM還是其他方式。

光學(xué)設(shè)計(jì)人員還必須展示在配置了TDM的情況下，從圖像傳感器輕松重建高質(zhì)量2D圖像的能力。要評(píng)估的圖像質(zhì)量關(guān)鍵指標(biāo)包括調(diào)制傳遞函數(shù)（MTF）、量子效率（QE）、色彩逼真度和光響應(yīng)不均勻性（PRNU，或與固定圖樣噪聲相對(duì)應(yīng)的“點(diǎn)亮”）。

數(shù)值孔徑

對(duì)于2D圖像傳感器，重要的設(shè)計(jì)參數(shù)包括NA、CRA和所需要的2D分辨率（像素?cái)?shù)）。對(duì)于使用TDM擴(kuò)展到3D成像的圖像傳感器，這些指標(biāo)同樣重要，盡管還必須評(píng)估這些光學(xué)指標(biāo)對(duì)深度分辨率和精度的影響。

NA大約是折射率和相機(jī)鏡頭所接受光的光錐邊緣光線的最大半角的乘積。也就是說(shuō)，NA描述了系統(tǒng)入射光的角度范圍。

對(duì)于物鏡入射的光線落在邊緣光線所定義的圓錐內(nèi)，經(jīng)過(guò)適當(dāng)設(shè)計(jì)的TDM應(yīng)該能夠在光柵調(diào)制2D圖像中提供有用的方位信息，而不會(huì)對(duì)2D或3D圖像數(shù)據(jù)造成失真。

主光線角

主光線角（CRA）定義為像素陣列有源硅第一表面的法線，與穿過(guò)特定微透鏡中心的光線之間的角度。

CRA從像素陣列的中心到其邊角或邊緣變化。為了校正更靠近像素陣列邊緣的像素中的透鏡陰影（漸暈）效應(yīng)，每個(gè)微透鏡的中心都相對(duì)于有源硅中相應(yīng)光電二極管的中心進(jìn)行了移位（見(jiàn)圖2）。在陣列中心附近，CRA為零，因此假定大多數(shù)光線作為近軸光線到達(dá)像素。對(duì)于具有非零CRA的傳感器，微透鏡陣列的CRA對(duì)于陣列中心的像素仍為零。然而，由于微透鏡相對(duì)于相應(yīng)像素光電二極管的有意移位，對(duì)于沿著從陣列的中心到邊角的線的像素，微透鏡CRA的大小通常將增加。

圖2：微透鏡從像素陣列中心附近的零度，到陣列極端外部邊緣附近的30°的CRA變化示意圖。

在圖2中，M1和M2表示不透明金屬層，Si表示像素光電二極管的有源硅。如圖2的右側(cè)所示，背照式像素結(jié)構(gòu)通常具有較薄的光學(xué)堆疊。為了使微透鏡陣列具有相似的光學(xué)特性，背照式像素的短光學(xué)堆疊與較大的CRA更兼容。

應(yīng)當(dāng)優(yōu)化TDM，以解決微透鏡移位以及透鏡與像素陣列之間的任何CRA不匹配問(wèn)題。為此，設(shè)計(jì)人員可以根據(jù)將光學(xué)相移保持在TDM光柵周期的指定部分內(nèi)，來(lái)選擇開(kāi)發(fā)特定的設(shè)計(jì)。

為了優(yōu)化基于TDM的3D傳感器設(shè)計(jì)，以確保在所需的深度范圍內(nèi)進(jìn)行有用的操作，必須考慮宏觀和像素級(jí)光學(xué)設(shè)計(jì)參數(shù)的組合。角度靈敏度不僅與TDM特征有關(guān)，而且與透鏡的NA有關(guān)。

TDM光柵設(shè)計(jì)參數(shù)

可以定義許多主要的TDM幾何設(shè)計(jì)參數(shù)（見(jiàn)圖3）�？梢赃m當(dāng)改變這些幾何特征，以優(yōu)化深度精度和2D圖像質(zhì)量。

圖3：TDM設(shè)計(jì)參數(shù)。

光柵材料。TDM光柵材料在所需的波長(zhǎng)范圍內(nèi)必須是透明的�；�座和光柵材料還必須與常規(guī)CMOS圖像傳感器的可靠晶圓級(jí)后處理兼容。除了與微透鏡陣列機(jī)械兼容之外，TDM還必須在基座（低折射率）和微透鏡（高折射率）之間具有足夠的折射率差異，以保持每個(gè)微透鏡的預(yù)期聚焦效果。

光柵周期。理想情況下，應(yīng)當(dāng)專(zhuān)門(mén)調(diào)諧TDM光柵周期（間距），以與特定像素結(jié)構(gòu)中存在的光學(xué)堆疊兼容。TDM光學(xué)設(shè)計(jì)應(yīng)當(dāng)在保持所需的角度響應(yīng)的同時(shí)，最大程度地減小像素間的串?dāng)_。光柵周期還影響用于確定物體深度的深度采樣率（填充比）。典型的光柵周期是像素間距的小倍數(shù)。

光柵臺(tái)階高度。TDM的光柵臺(tái)階高度調(diào)諧至與基座的高度一致。取決于基座高度和光學(xué)特性，臺(tái)階高度的范圍很廣。

光柵相移。TDM光柵相移由特定光柵臺(tái)階與相應(yīng)像素中光電二極管中心之間的橫向偏移定義。直接位于像素中心上方的光柵峰，沒(méi)有光柵相移。將像素光電二極管與其最鄰近的光電二極管分隔開(kāi)的對(duì)稱假想線正上方的光柵峰，將具有90°的相移（見(jiàn)圖3）。

基座厚度。基座厚度是測(cè)量從微透鏡陣列的底部到TDM光柵臺(tái)階底部的距離。通過(guò)基座的光路影響調(diào)制深度和特定TDM設(shè)計(jì)的角度靈敏度。通常，基座為幾微米厚。正如已經(jīng)提到的，雖然可以讓較高折射率的基座更薄，但是如果要使微透鏡有效，則基座不能與微透鏡材料的折射率匹配。

光柵方向。TDM光柵方向是指光柵刻線相對(duì)于像素陣列的水平行或垂直列的方向。光柵的方向決定了行或列的方向，每當(dāng)在像素陣列的光電二極管中產(chǎn)生光電子時(shí)，衍射就會(huì)調(diào)制光產(chǎn)生的信號(hào)。由于衍射主要發(fā)生在光柵的短軸上，因此垂直或水平方向的刻劃光柵，只能在與自身方向相同的場(chǎng)景中的檢測(cè)深度。

基于材料、光學(xué)和幾何因素對(duì)TDM進(jìn)行仔細(xì)的設(shè)計(jì)和優(yōu)化，有助于改善3D圖像采集功能。完整的模型將考慮相機(jī)鏡頭、單片集成的TDM光柵以及CMOS圖像傳感器像素的光學(xué)設(shè)計(jì)。TDM組分和光柵輪廓，相對(duì)于像素陣列的光柵相移以及基座厚度，都可以用于調(diào)諧用于深度計(jì)算的調(diào)制深度和角度靈敏度。

迄今為止，這些TDM設(shè)計(jì)方法已經(jīng)成功應(yīng)用于實(shí)施基于各種CMOS圖像傳感器的單傳感器3D成像解決方案。TDM方法已經(jīng)適用于智能手機(jī)的背照式移動(dòng)傳感器，以及前照式全局快門(mén)機(jī)器視覺(jué)傳感器。這樣，TDM結(jié)構(gòu)已被整合到具有約1~3μm像素間距、以及具有200~2000萬(wàn)像素的傳感器上。

AIRY3D公司正致力于通過(guò)有效的深度計(jì)算算法，以及與各種嵌入式視覺(jué)平臺(tái)的集成，來(lái)實(shí)現(xiàn)完整的3D系統(tǒng)�；�于DEPTHIQ TDM的單傳感器設(shè)計(jì)，顯示了快速集成到移動(dòng)、安全、機(jī)器人和汽車(chē)系統(tǒng)中的單孔徑相機(jī)中的強(qiáng)大潛力。