文/Gil Summy，James Mihaychuk

3D成像是安全、消費電子、汽車和許多其他行業(yè)中許多人機視覺應用的重要組成部分；因為它被廣泛使用，所以減少硬件、尺寸和計算負荷都是有益的。本文概述了加拿大AIRY3D公司開發(fā)的一種3D計算機視覺方法DEPTHIQ，這是傳統(tǒng)3D成像技術的一種更簡單、更實惠的替代方法，可以實現更快、更便宜和更小巧的3D視覺系統(tǒng)。

DEPTHIQ技術將光學編碼透射衍射掩模（TDM）放置在標準CMOS圖像傳感器上，以生成高質量的2D彩色圖像和本質上相關的近場深度圖。

在大多數CMOS圖像傳感器的頂部添加兩層薄的透射材料（統(tǒng)稱為TDM），可以提供3D傳感功能，并且不會降低2D圖像質量。這些層使用來自相位光柵的衍射過程，來實現用于3D圖像捕獲的緊湊、低成本、低計算量的解決方案。

圖1顯示了透明TDM如何應用于常規(guī)CMOS圖像傳感器。簡單來說，透明材料在微透鏡陣列上形成衍射光柵。這對微透鏡和色彩濾波陣列（CFA）的性能影響都很小。通過在光到達有源硅中的像素光電二極管之前，對光進行折射和濾除，微透鏡和CFA強烈影響光譜響應和色彩準確性。TDM設計經過優(yōu)化，可與原始2D CMOS圖像傳感器的這些必不可少的微光學結構兼容。

圖1：透射衍射掩模（TDM），其垂直和水平光柵放置在標準CMOS圖像傳感器上。

TDM設計概述

TDM的物理基礎是相位光柵的衍射。因此，TDM是透明結構而不是有損掩模，并且不依賴于不透明的光刻圖樣化特征。這樣可以通過少量的后處理步驟，將TDM添加到任何現有的圖像傳感器設計中。

由于TDM通常只有幾微米厚，因此通�？梢詫�TDM添加到圖像傳感器中，而無需更改鏡頭或其他相機模塊組件。但是，與任何圖像傳感器一樣，就數值孔徑（NA）、主光線角（CRA）和對準公差而言，選擇兼容的鏡頭仍然很重要。

通過衍射過程，TDM設計將相位/方位信息編碼為光強度分布。這種通常 “隱藏”的自由度，包含有關發(fā)光源深度的信息。TDM使用基于菲涅耳衍射的近場光學現象的過程提取方位信息。具體來講，由諸如衍射光柵的周期性結構產生的光場，通過被稱為泰伯效應的自成像現象來描述。這是光的相位和強度都在光柵附近形成分形衍射圖案的現象。

光學設計注意事項

TDM及其相機模塊的設計不僅取決于2D成像要求，還取決于3D規(guī)格，例如所需要的深度探測范圍和相對深度精度。深度精度通常表示為相對于到目標物體的已知地面距離的百分比誤差。例如，眾所周知的市售立體相機要求其有效范圍為約20cm至幾米，并且絕對誤差不超過2％。

實際性能將取決于3D成像解決方案的預期用途，以及在照明和對比度方面的部署細節(jié)。不過，可以通過結合2D圖像捕獲規(guī)格以及所需的深度范圍和精度，來臨時指定3D成像系統(tǒng)，無論是基于TDM還是其他方式。

光學設計人員還必須展示在配置了TDM的情況下，從圖像傳感器輕松重建高質量2D圖像的能力。要評估的圖像質量關鍵指標包括調制傳遞函數（MTF）、量子效率（QE）、色彩逼真度和光響應不均勻性（PRNU，或與固定圖樣噪聲相對應的“點亮”）。

數值孔徑

對于2D圖像傳感器，重要的設計參數包括NA、CRA和所需要的2D分辨率（像素數）。對于使用TDM擴展到3D成像的圖像傳感器，這些指標同樣重要，盡管還必須評估這些光學指標對深度分辨率和精度的影響。

NA大約是折射率和相機鏡頭所接受光的光錐邊緣光線的最大半角的乘積。也就是說，NA描述了系統(tǒng)入射光的角度范圍。

對于物鏡入射的光線落在邊緣光線所定義的圓錐內，經過適當設計的TDM應該能夠在光柵調制2D圖像中提供有用的方位信息，而不會對2D或3D圖像數據造成失真。

主光線角

主光線角（CRA）定義為像素陣列有源硅第一表面的法線，與穿過特定微透鏡中心的光線之間的角度。

CRA從像素陣列的中心到其邊角或邊緣變化。為了校正更靠近像素陣列邊緣的像素中的透鏡陰影（漸暈）效應，每個微透鏡的中心都相對于有源硅中相應光電二極管的中心進行了移位（見圖2）。在陣列中心附近，CRA為零，因此假定大多數光線作為近軸光線到達像素。對于具有非零CRA的傳感器，微透鏡陣列的CRA對于陣列中心的像素仍為零。然而，由于微透鏡相對于相應像素光電二極管的有意移位，對于沿著從陣列的中心到邊角的線的像素，微透鏡CRA的大小通常將增加。

圖2：微透鏡從像素陣列中心附近的零度，到陣列極端外部邊緣附近的30°的CRA變化示意圖。

在圖2中，M1和M2表示不透明金屬層，Si表示像素光電二極管的有源硅。如圖2的右側所示，背照式像素結構通常具有較薄的光學堆疊。為了使微透鏡陣列具有相似的光學特性，背照式像素的短光學堆疊與較大的CRA更兼容。

應當優(yōu)化TDM，以解決微透鏡移位以及透鏡與像素陣列之間的任何CRA不匹配問題。為此，設計人員可以根據將光學相移保持在TDM光柵周期的指定部分內，來選擇開發(fā)特定的設計。

為了優(yōu)化基于TDM的3D傳感器設計，以確保在所需的深度范圍內進行有用的操作，必須考慮宏觀和像素級光學設計參數的組合。角度靈敏度不僅與TDM特征有關，而且與透鏡的NA有關。

TDM光柵設計參數

可以定義許多主要的TDM幾何設計參數（見圖3）。可以適當改變這些幾何特征，以優(yōu)化深度精度和2D圖像質量。

圖3：TDM設計參數。

光柵材料。TDM光柵材料在所需的波長范圍內必須是透明的。基座和光柵材料還必須與常規(guī)CMOS圖像傳感器的可靠晶圓級后處理兼容。除了與微透鏡陣列機械兼容之外，TDM還必須在基座（低折射率）和微透鏡（高折射率）之間具有足夠的折射率差異，以保持每個微透鏡的預期聚焦效果。

光柵周期。理想情況下，應當專門調諧TDM光柵周期（間距），以與特定像素結構中存在的光學堆疊兼容。TDM光學設計應當在保持所需的角度響應的同時，最大程度地減小像素間的串擾。光柵周期還影響用于確定物體深度的深度采樣率（填充比）。典型的光柵周期是像素間距的小倍數。

光柵臺階高度。TDM的光柵臺階高度調諧至與基座的高度一致。取決于基座高度和光學特性，臺階高度的范圍很廣。

光柵相移。TDM光柵相移由特定光柵臺階與相應像素中光電二極管中心之間的橫向偏移定義。直接位于像素中心上方的光柵峰，沒有光柵相移。將像素光電二極管與其最鄰近的光電二極管分隔開的對稱假想線正上方的光柵峰，將具有90°的相移（見圖3）。

基座厚度。基座厚度是測量從微透鏡陣列的底部到TDM光柵臺階底部的距離。通過基座的光路影響調制深度和特定TDM設計的角度靈敏度。通常，基座為幾微米厚。正如已經提到的，雖然可以讓較高折射率的基座更薄，但是如果要使微透鏡有效，則基座不能與微透鏡材料的折射率匹配。

光柵方向。TDM光柵方向是指光柵刻線相對于像素陣列的水平行或垂直列的方向。光柵的方向決定了行或列的方向，每當在像素陣列的光電二極管中產生光電子時，衍射就會調制光產生的信號。由于衍射主要發(fā)生在光柵的短軸上，因此垂直或水平方向的刻劃光柵，只能在與自身方向相同的場景中的檢測深度。

基于材料、光學和幾何因素對TDM進行仔細的設計和優(yōu)化，有助于改善3D圖像采集功能。完整的模型將考慮相機鏡頭、單片集成的TDM光柵以及CMOS圖像傳感器像素的光學設計。TDM組分和光柵輪廓，相對于像素陣列的光柵相移以及基座厚度，都可以用于調諧用于深度計算的調制深度和角度靈敏度。

迄今為止，這些TDM設計方法已經成功應用于實施基于各種CMOS圖像傳感器的單傳感器3D成像解決方案。TDM方法已經適用于智能手機的背照式移動傳感器，以及前照式全局快門機器視覺傳感器。這樣，TDM結構已被整合到具有約1~3μm像素間距、以及具有200~2000萬像素的傳感器上。

AIRY3D公司正致力于通過有效的深度計算算法，以及與各種嵌入式視覺平臺的集成，來實現完整的3D系統(tǒng)。基于DEPTHIQ TDM的單傳感器設計，顯示了快速集成到移動、安全、機器人和汽車系統(tǒng)中的單孔徑相機中的強大潛力。