據(jù)麥姆斯咨詢報道，近日，英國科學與技術設施委員會、美國華盛頓大學（University of Washington）、芬蘭坦佩雷大學（Tampere University）的研究人員組成的團隊在Science Advances期刊上發(fā)表了題為“Miniature color camera via flat hybrid meta-optics”的論文，提出了一種基于混合超構光學（meta-optics）的全彩色微型計算相機，使用硬件在環(huán)（HIL）方法協(xié)同優(yōu)化“端到端”設計架構中的混合超構光學和計算后端。本研究提出的混合超構光學相機的設計方法向超小型相機邁出了重要一步。

(資料圖)

現(xiàn)代相機是為高質量成像而優(yōu)化的復雜系統(tǒng)，通常由多個透鏡組成，以克服色差和幾何像差。然而，這種復雜性往往以犧牲尺寸和重量為代價。人們迫切需要將輕質、超薄和微型相機集成到下一代智能手機、無人機或即時醫(yī)療設備等移動平臺中。因此，在保持高圖像質量的同時，相機的微型化已經成為光學和光子學研究的主要推動力。計算成像是解決這一難題的方法之一，數(shù)字后端可以彌補光學組件的缺陷并提高圖像質量，因此已成為光學、數(shù)學和數(shù)字圖像處理交叉的多學科研究領域。

與此同時，近年來已取得的進展也推動了平面衍射光學元件（DOE）領域的發(fā)展。雖然DOE傳統(tǒng)上用于非成像應用，但最近的一些工作已經證實了它們在成像方面的能力。特別是超構光學（一類亞波長DOE）非常適合計算成像，因為它們能夠以高空間分辨率在入射波前賦予任意自由形式的相位分布。盡管其光圈很?。?00 μm），結合合適的計算后端，超構光學可以產生高質量的圖像。一種特別有前景的方法是在“端到端”設計架構中協(xié)同優(yōu)化超構光學和計算后端，其中硬件和軟件得到同等考慮，從而確保最佳的系統(tǒng)級性能。

超構光學在計算成像中具有三個潛在的優(yōu)勢：（i）它們可以實現(xiàn)重要的尺寸和重量減小（厚度以微米為單位）；（ii）在擴展成像模式（例如高光譜成像、擴展景深和人臉識別）中，它們可以實現(xiàn)超越傳統(tǒng)系統(tǒng)的性能；（iii）由于近幾十年來納米制造的巨大進步，幾乎任意亞波長分辨率的波場操控成為可能。盡管存在這些優(yōu)勢，但是使用大光圈（>1 mm）超構光學采集的圖像質量仍受到強烈色差和幾何像差的困擾。已有研究表明，僅使用超構光學采集寬帶圖像存在根本的局限性。雖然復雜的超構原子（meta-atom）工程可以有所幫助，但是制造具有微型化特性的大光圈超構光學器件仍然具有挑戰(zhàn)性。最后，開發(fā)大光圈超構光學的設計工具的計算成本極其昂貴。這帶來了嚴峻的挑戰(zhàn)，因為目前最先進的端到端設計方法主要涉及光學的數(shù)值建模。

在這項研究工作中，研究團隊遵循其近期提出的設計方法，通過使用混合折射/超構光學系統(tǒng)和計算后端串聯(lián)來規(guī)避所有這些挑戰(zhàn)。所需的相位分布首先通過硬件在環(huán)（HIL）策略進行優(yōu)化，其中由空間光調制器（SLM）實現(xiàn)的DOE被配置和更新。同時，折射透鏡和傳感器保持固定。這不僅繞過了設計光學系統(tǒng)的昂貴的計算成本要求，而且還直接考慮了傳感器噪聲并排除了校準誤差。優(yōu)化的相位掩模被超構光學實現(xiàn)。相比僅使用超構光學的系統(tǒng)，混合光學系統(tǒng)可以改善超構光學的低光效率、像差和重建質量。研究人員使用簡單的超構原子來確?？芍圃煨裕⑶页瑯嬙觾H針對510 nm（SLM工作的波長）進行設計。盡管只考慮了單一波長，但由于超構光學擴展了聚焦深度，研究人員仍然可以實現(xiàn)高質量的全彩色成像。因此，即使使用僅針對一種波長優(yōu)化的簡單超構原子，由于混合光學和計算后端，系統(tǒng)仍能實現(xiàn)高質量的寬帶成像。所提出的成像系統(tǒng)的焦距和光圈為5 mm。為了說明這款相機的潛力，研究人員將其與僅使用單透鏡配置、索尼Alpha 1 III無反商用相機的復合多透鏡光學系統(tǒng)進行了比較。這一比較證實了超構混合光學在全彩色成像中的有效性，而本研究所設計的混合超構光學相機的體積比無反商用相機小約108倍。

由于超構光學中涉及大量散射體，全彩色、大光圈混合光學的設計成本極其昂貴。研究人員使用硬件在環(huán)配置彌補了從理論建模到實際應用的巨大差距，如圖1A所示，他們使用端到端設計架構來優(yōu)化DOE相位分布和相應計算后端。圖1A中的逐像素可編程相位SLM充當占位符來實現(xiàn)DOE的相位分布，它被迭代更新，同時計算后端被協(xié)同優(yōu)化。按照研究團隊在之前研究中提出的方法，這種優(yōu)化產生了如圖1B所示的相位分布。盡管在此配置中采集的圖像是模糊的，但協(xié)同優(yōu)化的計算后端可以恢復圖像并生成高質量的全對焦全彩色圖像。這在三維（3D）場景示例的相同配置中直接得到了證實，而不同深度的特征被放大以凸出高成像質量。

圖1 在端到端架構中協(xié)同優(yōu)化混合超構光學和逆成像的硬件在環(huán)方法示意圖

盡管研究人員在設計和實施中只考慮了單種波長（511 nm），但他們在這種混合配置中展示了全彩色操作。最終確定的超構光學器件（直徑5 mm）及其特性如圖2A所示，其中掃描電子顯微照片（底行）顯示了超構光學器件中納米柱的結構完整性。此外，為了比較和驗證超構光學器件的相位響應，研究人員對其使用了全息表征（圖2A）。

圖像形成和相機組件（超構掩模、透鏡、傳感器和數(shù)據(jù)處理軟件）的光學特性由點擴散函數(shù)（PSF）表征。該混合系統(tǒng)表現(xiàn)出對于各種深度非常相似的PSF，從而實現(xiàn)了超構掩模提供的擴展聚焦深度功能。在圖2C和2D中，研究人員還報道了每個RGB通道僅使用單透鏡系統(tǒng)和混合系統(tǒng)的調制傳遞函數(shù)（MTF）和有效MTF（EMTF）。

圖2 超構掩模相位分布的全息表征及其跨深度的PSF和每個通道的MTF

與僅使用單透鏡系統(tǒng)相比，混合光學系統(tǒng)的主要優(yōu)勢是顯而易見的?；旌瞎鈱W系統(tǒng)的通帶高于僅使用單透鏡的相機系統(tǒng)?；旌舷到y(tǒng)的EMTF值接近1，從而實現(xiàn)更高的成像質量。特別是，僅使用單透鏡系統(tǒng)的紅光譜MTF取值要低得多，甚至是零。

為了評估混合折射超構光學的性能，研究人員以兩種配置采集圖像：（1）顯示器和傳感器之間具有三個固定距離的三種顯示器成像（圖3）和（2）現(xiàn)實生活中的場景，其中各種顏色的物體位于相對于相機多個距離的任意位置。首先，研究人員將混合超構光學與配置1中的單透鏡相機的成像性能進行比較，其中圖像（基準真值）顯示在相對于傳感器0.5、1或1.8 m的顯示器上。通過比較特定圖像細節(jié)可以明顯看出，混合光學系統(tǒng)可產生更好的圖像，特別是對于0.5和1.8 m的成像距離?；旌瞎鈱W系統(tǒng)的優(yōu)越性能通過計算的峰值信噪比（PSNR）值得到進一步的量化強調，其值在所有顏色通道和所有距離上都更高。

圖3 使用設計的混合超構光學的三顯示器成像設置

圖4 由多個不同顏色的物體在相對于傳感器的不同深度排列而成的真實場景

在配置2中，研究人員進一步將混合光學系統(tǒng)與復合多透鏡相機——即索尼Alpha 1 III傳感器與索尼SEL85F18透鏡（光圈限值為F/1.8和F/22）進行比較，如圖4所示。與之前的情況一樣，使用混合光學系統(tǒng)獲得的圖像在兩個深度上都呈現(xiàn)出更清晰的圖像和更好的細節(jié)分辨率。此外，與F/1.8光圈的復合相機相比，混合光學系統(tǒng)在更大的深度范圍內顯示出明顯更好的成像質量。即使對于F/22的較小光圈值，使用混合光學系統(tǒng)獲得的圖像在0.6 m的離焦深度處也呈現(xiàn)出更清晰的細節(jié)。

綜上所述，研究人員提出了一種由折射透鏡和大光圈超構光學構成的全彩色微型計算相機。開發(fā)中的一個關鍵方面是超構光學的設計，研究人員使用HIL方法來優(yōu)化端到端設計架構中的相位分布和計算后端。具體來說，SLM充當超構光學的占位符，對相位分布和相應的計算后端進行迭代優(yōu)化，以在大型訓練集上實現(xiàn)全彩色高質量成像?？紤]的唯一目標指標是恢復RGB圖像的質量，這與現(xiàn)有的優(yōu)化相機數(shù)字微分模型和計算后端的方法不同。因此，研究人員完全繞過了使用電磁求解器優(yōu)化超構光學相位分布的要求，否則由于涉及大量散射體，這將會帶來計算成本極其昂貴的問題。此外，這種方法直接考慮了折射透鏡和傳感器的固定屬性，因此產生了與現(xiàn)實相對應的結果和更強大的計算后端。

所開發(fā)的設計概念（其中HIL方法與端到端設計架構相結合）有望在未來的工作中擴展到從高光譜成像到分類或物體檢測等各種任務。這將充分利用衍射光學可實現(xiàn)的潛力，同時減輕設計過程中的基本障礙。本研究提出的光學設計方法向超小型相機邁出了重要一步，其有望在內窺鏡、腦成像或物體表面的分布式方式中實現(xiàn)新穎的應用。

論文信息：https://doi.org/10.1126/sciadv.adg7297