vault backup: 2022-09-08 12:44:04
Affected files: .obsidian/workspace 02. PARA/03. Resources（資源）/HDR Sensor.md
This commit is contained in:
6
.obsidian/workspace
vendored
6
.obsidian/workspace
vendored
@@ -116,15 +116,15 @@
|
||||
},
|
||||
"active": "d1de3e27789cf166",
|
||||
"lastOpenFiles": [
|
||||
"02. PARA/03. Resources（資源）/IPFS.md",
|
||||
"attachments/Pasted image 20220908124009.png",
|
||||
"02. PARA/03. Resources（資源）/HDR Sensor.md",
|
||||
"02. PARA/03. Resources（資源）/IPFS.md",
|
||||
"02. PARA/01. Project（專案）/008. Sentinel.md",
|
||||
"02. PARA/01. Project（專案）/001. Kong.md",
|
||||
"00. TOP/01. TODO.md",
|
||||
"01. Daily/2022-08-15.md",
|
||||
"01. Daily/2022-07-15(週五).md",
|
||||
"02. PARA/03. Resources（資源）/Trojan.md",
|
||||
"02. PARA/03. Resources（資源）/802.11.md",
|
||||
"02. PARA/03. Resources（資源）/Proxmox VE.md"
|
||||
"02. PARA/03. Resources（資源）/802.11.md"
|
||||
]
|
||||
}
|
||||
@@ -40,7 +40,6 @@ Digital Overlap是目前比較流行的sensor HDR 技術，在監控與車載相
|
||||
### 1. 什麼是時域多幀HDR技術
|
||||
|
||||
相機在時間上連續輸出由欠曝到過曝的圖像，然後做圖像融合，得到HDR圖像。
|
||||
|
||||
|
||||
融合後HDR圖像
|
||||
|
||||
@@ -132,92 +131,70 @@ Sony在推出DOL的時候，宣傳DOL是**準同時**輸出長短曝光。既然
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
![[Pasted image 20220908123355.png]]
|
||||
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
|
||||
為了避免banding，就得讓最小曝光時間是半週期的整數倍。
|
||||
|
||||
|
||||
為了避免banding，就得讓最小曝光時間是半週期的整數倍。
|
||||
這樣就不會出現banding了。但是由於最小曝光時間變大了，動態範圍就損失了。所以有時候為了保證不損失動態範圍，就得容忍Flickering。這就得看應用場景了。
|
||||
類似的問題發生在PWM供電的Led光源上，尤其是交通信號燈以及汽車信號燈，如下圖所示
|
||||
|
||||
|
||||
|
||||
sensor的長曝光幀能catch到led 的light pulse，但是短曝光幀就沒catch到，這樣也會造成flickering甚至信號燈圖像的丟失。
|
||||
這種flicker或者信號燈信息丟失的問題在車載成像系統上是致命的，所以車載HDR現在更傾向採用spatial based HDR技術，比如Sony採用的sub pixel技術或者OV 採用的split pixel技術。
|
||||
|
||||
這樣就不會出現banding了。但是由於最小曝光時間變大了，動態範圍就損失了。所以有時候為了保證不損失動態範圍，就得容忍Flickering。這就得看應用場景了。
|
||||
## HDR imaging split/sub pixel 技術
|
||||
|
||||
類似的問題發生在PWM供電的Led光源上，尤其是交通信號燈以及汽車信號燈，如下圖所示
|
||||
|
||||
|
||||
|
||||
sensor的長曝光幀能catch到led 的light pulse，但是短曝光幀就沒catch到，這樣也會造成flickering甚至信號燈圖像的丟失。
|
||||
|
||||
|
||||
這種flicker或者信號燈信息丟失的問題在車載成像系統上是致命的，所以車載HDR現在更傾向採用spatial based HDR技術，比如Sony採用的sub pixel技術或者OV 採用的split pixel技術。
|
||||
|
||||
三．HDR imaging split/sub pixel 技術
|
||||
|
||||
我們在上一期講了時域多幀HDR技術--Digital Overlap. 現在在監控領域的WDR sensor主要採用這種技術，如下圖，利用不同的sensor曝光（藍色線所示）覆蓋不同的動態範圍，再把多曝光圖像stitching起來（紅色線所示），達到最大的動態範圍輸出。Sony的imx290，OV的ov4689都是這個類型典型sensor。
|
||||
我們在上一期講了時域多幀HDR技術：Digital Overlap. 現在在監控領域的WDR sensor主要採用這種技術，如下圖，利用不同的sensor曝光（藍色線所示）覆蓋不同的動態範圍，再把多曝光圖像stitching起來（紅色線所示），達到最大的動態範圍輸出。Sony的imx290，OV的ov4689都是這個類型典型sensor。
|
||||
|
||||
|
||||
|
||||
車載領域也廣泛使用Temporal domain HDR技術，但是隨著車載相機在ADAS與自動駕駛領域的迅速發展，對圖像質量有著特別的需求，導致Temporal domain HDR技術不能滿足需要。車載比較典型的兩個IQ需求是不能有motion artefact 和LED flickering。
|
||||
|
||||
motion artefact
|
||||
缺點如下：
|
||||
1. motion artefact
|
||||
|
||||
|
||||
|
||||
2. LED flickering
|
||||
|
||||
|
||||
LED flickering
|
||||
|
||||
|
||||
|
||||
Temporal HDR 在原理上就存在這些缺陷，所以要解決這個問題就需要使用其他的HDR體制：Spatial HDR技術是現在車載領域的主流解決方案。
|
||||
Temporal HDR 在原理上就存在這些缺陷，所以要解決這個問題就需要使用其他的HDR體制：Spatial HDR 技術是現在車載領域的主流解決方案。
|
||||
|
||||
## Spatial HDR
|
||||
比較典型的是Sony sensor（imx390/490）採用的Subpixel技術與OV sensor（ovx1a)採用的split pixel技術，他們都屬於SpatialHDR技術範疇，其基本原理是一致的。
|
||||
|
||||
1.大小pixel的分離結構
|
||||
1. 大小pixel的分離結構
|
||||
與普通CFA的不同，大小pixel技術的sensor在相鄰位置有一大一小兩個pixel，他們空間上非常接近，可以認為對空間採樣相同。
|
||||
|
||||
由於pixel的大小不同，物理上的sensitivity不同，FWC也不同，會產生與時域HDR一樣的不同曝光效果，形成了對不同動態範圍的覆蓋。如下圖可以看到LPD（Large Pixel Diode）與SPD（S mall Pixel Diode）是如何擴展動態範圍的。
|
||||
|
||||
|
||||
與普通CFA的不同，大小pixel技術的sensor在相鄰位置有一大一小兩個pixel，他們空間上非常接近，可以認為對空間採樣相同。
|
||||
2. 大小分離pixel的電路設計
|
||||
典型的大小分離pixel的電路如下圖所示
|
||||
|
||||
|
||||
|
||||
SPD和LPD分別用黃色的二極管標出。CGC（conversion gain control）與TG（transfer gate）控制了photo diode 向FD充電，當TG s使能時，FD接收SPD來的電荷，RS會使能讓FD的電荷轉存出來。然後當TGL使能時，FD接收L PD來的電荷，RS會再一次使能讓FD的電荷轉存出來。RST負責在每一次轉存後把FD電容清空。這樣的電路結構就實現了LPD和SPD的分別讀出。這個部分的電路時鐘非常快，所以可以認為大小像素是同時曝光的。後面的讀出電路也會把大小像素同時讀出，由下圖可見，T_lpd與T _spd是同時的。
|
||||
|
||||
|
||||
由於pixel的大小不同，物理上的sensitivity不同，FWC也不同，會產生與時域HDR一樣的不同曝光效果，形成了對不同動態範圍的覆蓋。如下圖可以看到LPD（Large Pixel Diode）與SPD（S mall Pixel Diode）是如何擴展動態範圍的。
|
||||
3. 大小像素HDR與時域HDR在motion artefact上的比較
|
||||
由下圖可以看出基於大小像素的HDR與時域HDR在拍攝運動物體上的mot ion artefact比較。
|
||||
左圖是基於大小像素的圖像，完全沒有motion artefact，右圖是時域HDR，可以看到明顯的motion artefact。
|
||||
|
||||
|
||||
|
||||
對於這種更挑戰的場景，舞廳的旋轉光球，左圖是大小像素HDR，右圖是時域HDR，可以看到時域HDR的圖像把小的運動光點都混到了一起。
|
||||
|
||||
|
||||
2.大小分離pixel的電路設計
|
||||
4. 大小像素與Dual conversion gain的結合
|
||||
單獨靠大小像素只能形成兩個曝光的圖像，再結合之前介紹過的DCG技術，在大小pixel分別配合HCG，LCG，就可以形成4曝光。
|
||||
假設單曝光輸出12bit，曝光比是16，那總共的動態範圍可以達到24bit輸出。
|
||||
|
||||
|
||||
典型的大小分離pixel的電路如下圖所示
|
||||
5. 兩種場景的切換
|
||||
如下圖，橫軸是場景的光亮度，縱軸是SNR，紅色曲線是LPD像素的SNR曲線，藍色曲線是LPD像素的SNR曲線。
|
||||
|
||||
|
||||
|
||||
|
||||
SPD和LPD分別用黃色的二極管標出。CGC（conversion gain control）與TG（transfer gate）控制了photo diode 向FD充電，當TG s使能時，FD接收SPD來的電荷，RS會使能讓FD的電荷轉存出來。然後當TGL使能時，FD接收L PD來的電荷，RS會再一次使能讓FD的電荷轉存出來。RST負責在每一次轉存後把FD電容清空。這樣的電路結構就實現了LPD和SPD的分別讀出。這個部分的電路時鐘非常快，所以可以認為大小像素是同時曝光的。後面的讀出電路也會把大小像素同時讀出，由下圖可見，T_lpd與T _spd是同時的。
|
||||
|
||||
|
||||
|
||||
3.大小像素HDR與時域HDR在motion artefact上的比較
|
||||
|
||||
由下圖可以看出基於大小像素的HDR與時域HDR在拍攝運動物體上的mot ion artefact比較。
|
||||
|
||||
左圖是基於大小像素的圖像，完全沒有motion artefact，右圖是時域HDR，可以看到明顯的motion artefact。
|
||||
|
||||
|
||||
|
||||
對於這種更挑戰的場景，舞廳的旋轉光球，左圖是大小像素HDR，右圖是時域HDR，可以看到時域HDR的圖像把小的運動光點都混到了一起。
|
||||
|
||||
|
||||
|
||||
4.大小像素與Dual conversion gain的結合
|
||||
|
||||
單獨靠大小像素只能形成兩個曝光的圖像，再結合之前介紹過的DCG技術，在大小pixel分別配合HCG，LCG，就可以形成4曝光。
|
||||
|
||||
假設單曝光輸出12bit，曝光比是16，那總共的動態範圍可以達到24bit輸出。
|
||||
|
||||
|
||||
|
||||
5.兩種場景的切換
|
||||
|
||||
如下圖，橫軸是場景的光亮度，縱軸是SNR，紅色曲線是LPD像素的SNR曲線，藍色曲線是LPD像素的SNR曲線。
|
||||
|
||||
|
||||
|
||||
SPD的飽和點更高，而LPD的低光SNR更高。這兩條曲線說明了大小像素這種設計可以很靈活的適配場景的變化，當場景非常亮的情況，就用大小像素融合輸出，這樣可以擴大動態範圍。
|
||||
|
||||
當場景非常暗的情況，就完全切換到LPD像素，因為它的SNR更高。
|
||||
SPD的飽和點更高，而LPD的低光SNR更高。這兩條曲線說明了大小像素這種設計可以很靈活的適配場景的變化，當場景非常亮的情況，就用大小像素融合輸出，這樣可以擴大動態範圍。
|
||||
當場景非常暗的情況，就完全切換到LPD像素，因為它的SNR更高。
|
||||
|
||||
## 來源
|
||||
- [HDR sensor 原理介紹- 吳建明wujianming - 博客園](https://www.cnblogs.com/wujianming-110117/p/12684011.html)
|
||||
Reference in New Issue
Block a user