斯坦福大學(xué)，曼徹斯特大學(xué)和蘇黎世的IBM Research發(fā)表了論文“神經(jīng)傳感器：使用可編程傳感器學(xué)習(xí)HDR成像和視頻壓縮感測的像素曝光”，作者：Julien N.P. Martel, Lorenz K. Mueller, Stephen J. Carey, Piotr Dudek, and Gordon Wetzstein.
論文中顯示，相機傳感器依靠全局或滾動快門功能來曝光圖像。這種固定功能的方法嚴(yán)重限制了傳感器捕捉高動態(tài)范圍（HDR）場景并解析高速動態(tài)的能力。作為功能強大的計算攝影方法，已經(jīng)引入了空間變化的像素曝光，以對傳感器上的輻照度進(jìn)行光學(xué)編碼并通過計算恢復(fù)場景的其他信息，但是現(xiàn)有方法依賴于啟發(fā)式編碼方案和龐大的空間光調(diào)制器以光學(xué)方式實現(xiàn)這些曝光功能。
在這里，我們將神經(jīng)傳感器作為一種方法來以端到端的方式與可區(qū)分的圖像處理方法（例如神經(jīng)網(wǎng)絡(luò)）一起優(yōu)化每個像素的快門功能。此外，我們演示了如何利用新興的可編程和可重新配置的傳感器處理器來直接在傳感器上實現(xiàn)優(yōu)化的曝光功能。我們的系統(tǒng)將傳感器的特定限制考慮在內(nèi)，以優(yōu)化物理上可行的光學(xué)代碼，并在仿真和實驗結(jié)果中展示了HDR和高速壓縮成像的最新性能。
