From 65972b8b9f249faafb1902b1ae01bd2e59abd97b Mon Sep 17 00:00:00 2001 From: Awin Huang Date: Thu, 8 Sep 2022 12:44:04 +0800 Subject: [PATCH] vault backup: 2022-09-08 12:44:04 MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Affected files: .obsidian/workspace 02. PARA/03. Resources（資源）/HDR Sensor.md --- .obsidian/workspace | 6 +- 02. PARA/03. Resources（資源）/HDR Sensor.md | 109 ++++++++----------- 2 files changed, 46 insertions(+), 69 deletions(-) diff --git a/.obsidian/workspace b/.obsidian/workspace index 198c80c..3efb1f2 100644 --- a/.obsidian/workspace +++ b/.obsidian/workspace @@ -116,15 +116,15 @@ }, "active": "d1de3e27789cf166", "lastOpenFiles": [ - "02. PARA/03. Resources（資源）/IPFS.md", + "attachments/Pasted image 20220908124009.png", "02. PARA/03. Resources（資源）/HDR Sensor.md", + "02. PARA/03. Resources（資源）/IPFS.md", "02. PARA/01. Project（專案）/008. Sentinel.md", "02. PARA/01. Project（專案）/001. Kong.md", "00. TOP/01. TODO.md", "01. Daily/2022-08-15.md", "01. Daily/2022-07-15(週五).md", "02. PARA/03. Resources（資源）/Trojan.md", - "02. PARA/03. Resources（資源）/802.11.md", - "02. PARA/03. Resources（資源）/Proxmox VE.md" + "02. PARA/03. Resources（資源）/802.11.md" ] } \ No newline at end of file diff --git a/02. PARA/03. Resources（資源）/HDR Sensor.md b/02. PARA/03. Resources（資源）/HDR Sensor.md index 9329820..8bdfb37 100644 --- a/02. PARA/03. Resources（資源）/HDR Sensor.md +++ b/02. PARA/03. Resources（資源）/HDR Sensor.md @@ -40,7 +40,6 @@ Digital Overlap是目前比較流行的sensor HDR 技術，在監控與車載相 ### 1. 什麼是時域多幀HDR技術 相機在時間上連續輸出由欠曝到過曝的圖像，然後做圖像融合，得到HDR圖像。 - ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412095356429-1225500631.png)  融合後HDR圖像 ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412095500036-1147852374.png) @@ -132,92 +131,70 @@ Sony在推出DOL的時候，宣傳DOL是**準同時**輸出長短曝光。既然  交流電供電光源造成的flickering，如下圖：  ![[Pasted image 20220908123355.png]] - 交流電供電光源造成的flickering，如下圖：![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101441184-199810703.png) + 交流電供電光源造成的flickering，如下圖： + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101441184-199810703.png) + 為了避免banding，就得讓最小曝光時間是半週期的整數倍。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101520036-1816151275.png) - 為了避免banding，就得讓最小曝光時間是半週期的整數倍。 + 這樣就不會出現banding了。但是由於最小曝光時間變大了，動態範圍就損失了。所以有時候為了保證不損失動態範圍，就得容忍Flickering。這就得看應用場景了。 + 類似的問題發生在PWM供電的Led光源上，尤其是交通信號燈以及汽車信號燈，如下圖所示 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101758213-2089228974.png) -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101520036-1816151275.png) + sensor的長曝光幀能catch到led 的light pulse，但是短曝光幀就沒catch到，這樣也會造成flickering甚至信號燈圖像的丟失。 + 這種flicker或者信號燈信息丟失的問題在車載成像系統上是致命的，所以車載HDR現在更傾向採用spatial based HDR技術，比如Sony採用的sub pixel技術或者OV 採用的split pixel技術。 -這樣就不會出現banding了。但是由於最小曝光時間變大了，動態範圍就損失了。所以有時候為了保證不損失動態範圍，就得容忍Flickering。這就得看應用場景了。 +## HDR imaging split/sub pixel 技術 -類似的問題發生在PWM供電的Led光源上，尤其是交通信號燈以及汽車信號燈，如下圖所示 - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101758213-2089228974.png) - -sensor的長曝光幀能catch到led 的light pulse，但是短曝光幀就沒catch到，這樣也會造成flickering甚至信號燈圖像的丟失。 - - -這種flicker或者信號燈信息丟失的問題在車載成像系統上是致命的，所以車載HDR現在更傾向採用spatial based HDR技術，比如Sony採用的sub pixel技術或者OV 採用的split pixel技術。 - -三．HDR imaging split/sub pixel 技術 - -我們在上一期講了時域多幀HDR技術--Digital Overlap. 現在在監控領域的WDR sensor主要採用這種技術，如下圖，利用不同的sensor曝光（藍色線所示）覆蓋不同的動態範圍，再把多曝光圖像stitching起來（紅色線所示），達到最大的動態範圍輸出。Sony的imx290，OV的ov4689都是這個類型典型sensor。 +我們在上一期講了時域多幀HDR技術：Digital Overlap. 現在在監控領域的WDR sensor主要採用這種技術，如下圖，利用不同的sensor曝光（藍色線所示）覆蓋不同的動態範圍，再把多曝光圖像stitching起來（紅色線所示），達到最大的動態範圍輸出。Sony的imx290，OV的ov4689都是這個類型典型sensor。 ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101814735-1497687033.png) 車載領域也廣泛使用Temporal domain HDR技術，但是隨著車載相機在ADAS與自動駕駛領域的迅速發展，對圖像質量有著特別的需求，導致Temporal domain HDR技術不能滿足需要。車載比較典型的兩個IQ需求是不能有motion artefact 和LED flickering。 -motion artefact +缺點如下： +1. motion artefact + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101934829-127704344.png) -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412101934829-127704344.png) + 2. LED flickering + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102051683-2142159974.png) - LED flickering - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102051683-2142159974.png) - -Temporal HDR 在原理上就存在這些缺陷，所以要解決這個問題就需要使用其他的HDR體制：Spatial HDR技術是現在車載領域的主流解決方案。 +Temporal HDR 在原理上就存在這些缺陷，所以要解決這個問題就需要使用其他的HDR體制：Spatial HDR 技術是現在車載領域的主流解決方案。 +## Spatial HDR 比較典型的是Sony sensor（imx390/490）採用的Subpixel技術與OV sensor（ovx1a)採用的split pixel技術，他們都屬於SpatialHDR技術範疇，其基本原理是一致的。 - 1.大小pixel的分離結構 +1. 大小pixel的分離結構 + 與普通CFA的不同，大小pixel技術的sensor在相鄰位置有一大一小兩個pixel，他們空間上非常接近，可以認為對空間採樣相同。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102145785-1322226290.png) +  由於pixel的大小不同，物理上的sensitivity不同，FWC也不同，會產生與時域HDR一樣的不同曝光效果，形成了對不同動態範圍的覆蓋。如下圖可以看到LPD（Large Pixel Diode）與SPD（S mall Pixel Diode）是如何擴展動態範圍的。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102210732-185905022.png) -與普通CFA的不同，大小pixel技術的sensor在相鄰位置有一大一小兩個pixel，他們空間上非常接近，可以認為對空間採樣相同。 + 2. 大小分離pixel的電路設計 + 典型的大小分離pixel的電路如下圖所示 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102348969-47900883.png) -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102145785-1322226290.png) +  SPD和LPD分別用黃色的二極管標出。CGC（conversion gain control）與TG（transfer gate）控制了photo diode 向FD充電，當TG s使能時，FD接收SPD來的電荷，RS會使能讓FD的電荷轉存出來。然後當TGL使能時，FD接收L PD來的電荷，RS會再一次使能讓FD的電荷轉存出來。RST負責在每一次轉存後把FD電容清空。這樣的電路結構就實現了LPD和SPD的分別讀出。這個部分的電路時鐘非常快，所以可以認為大小像素是同時曝光的。後面的讀出電路也會把大小像素同時讀出，由下圖可見，T_lpd與T _spd是同時的。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102537918-1013568966.png) - 由於pixel的大小不同，物理上的sensitivity不同，FWC也不同，會產生與時域HDR一樣的不同曝光效果，形成了對不同動態範圍的覆蓋。如下圖可以看到LPD（Large Pixel Diode）與SPD（S mall Pixel Diode）是如何擴展動態範圍的。 + 3. 大小像素HDR與時域HDR在motion artefact上的比較 + 由下圖可以看出基於大小像素的HDR與時域HDR在拍攝運動物體上的mot ion artefact比較。 + 左圖是基於大小像素的圖像，完全沒有motion artefact，右圖是時域HDR，可以看到明顯的motion artefact。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102637455-473076896.png) -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102210732-185905022.png) + 對於這種更挑戰的場景，舞廳的旋轉光球，左圖是大小像素HDR，右圖是時域HDR，可以看到時域HDR的圖像把小的運動光點都混到了一起。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102730236-58004651.png) - 2.大小分離pixel的電路設計 +4. 大小像素與Dual conversion gain的結合 + 單獨靠大小像素只能形成兩個曝光的圖像，再結合之前介紹過的DCG技術，在大小pixel分別配合HCG，LCG，就可以形成4曝光。 + 假設單曝光輸出12bit，曝光比是16，那總共的動態範圍可以達到24bit輸出。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102823049-1006168382.png) -典型的大小分離pixel的電路如下圖所示 +5. 兩種場景的切換 + 如下圖，橫軸是場景的光亮度，縱軸是SNR，紅色曲線是LPD像素的SNR曲線，藍色曲線是LPD像素的SNR曲線。 + ![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102839110-992140481.png) -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102348969-47900883.png) - - SPD和LPD分別用黃色的二極管標出。CGC（conversion gain control）與TG（transfer gate）控制了photo diode 向FD充電，當TG s使能時，FD接收SPD來的電荷，RS會使能讓FD的電荷轉存出來。然後當TGL使能時，FD接收L PD來的電荷，RS會再一次使能讓FD的電荷轉存出來。RST負責在每一次轉存後把FD電容清空。這樣的電路結構就實現了LPD和SPD的分別讀出。這個部分的電路時鐘非常快，所以可以認為大小像素是同時曝光的。後面的讀出電路也會把大小像素同時讀出，由下圖可見，T_lpd與T _spd是同時的。 - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102537918-1013568966.png) - -  3.大小像素HDR與時域HDR在motion artefact上的比較 - -由下圖可以看出基於大小像素的HDR與時域HDR在拍攝運動物體上的mot ion artefact比較。 - -左圖是基於大小像素的圖像，完全沒有motion artefact，右圖是時域HDR，可以看到明顯的motion artefact。 - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102637455-473076896.png) - -對於這種更挑戰的場景，舞廳的旋轉光球，左圖是大小像素HDR，右圖是時域HDR，可以看到時域HDR的圖像把小的運動光點都混到了一起。 - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102730236-58004651.png) - -4.大小像素與Dual conversion gain的結合 - -單獨靠大小像素只能形成兩個曝光的圖像，再結合之前介紹過的DCG技術，在大小pixel分別配合HCG，LCG，就可以形成4曝光。 - -假設單曝光輸出12bit，曝光比是16，那總共的動態範圍可以達到24bit輸出。 - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102823049-1006168382.png) - - 5.兩種場景的切換 - -如下圖，橫軸是場景的光亮度，縱軸是SNR，紅色曲線是LPD像素的SNR曲線，藍色曲線是LPD像素的SNR曲線。 - -![](https://img2020.cnblogs.com/blog/1251718/202004/1251718-20200412102839110-992140481.png) - -SPD的飽和點更高，而LPD的低光SNR更高。這兩條曲線說明了大小像素這種設計可以很靈活的適配場景的變化，當場景非常亮的情況，就用大小像素融合輸出，這樣可以擴大動態範圍。 - -當場景非常暗的情況，就完全切換到LPD像素，因為它的SNR更高。 + SPD的飽和點更高，而LPD的低光SNR更高。這兩條曲線說明了大小像素這種設計可以很靈活的適配場景的變化，當場景非常亮的情況，就用大小像素融合輸出，這樣可以擴大動態範圍。 + 當場景非常暗的情況，就完全切換到LPD像素，因為它的SNR更高。 ## 來源 - [HDR sensor 原理介紹- 吳建明wujianming - 博客園](https://www.cnblogs.com/wujianming-110117/p/12684011.html) \ No newline at end of file