vault backup: 2022-09-08 12:34:04
Affected files: 02. PARA/03. Resources（資源）/HDR Sensor.md attachments/Pasted image 20220908123355.png
This commit is contained in:
@@ -1,78 +1,65 @@
|
||||
## HDR sensor 原理介紹
|
||||
### 1. 什麼是sensor的動態範圍（dynamic range）
|
||||
sensor的動態範圍就是sensor在一幅圖像裡能夠同時體現高光和陰影部分內容的能力。
|
||||
用公式表達這種能力就是：
|
||||
|
||||
$DR = 20log\frac{i_{max}}{i_{min}}$
|
||||
sensor的動態範圍就是sensor在一幅圖像裡能夠同時體現高光和陰影部分內容的能力。
|
||||
用公式表達這種能力就是：
|
||||
|
||||
$i_{max}$是sensor的最大不飽和電流，也可以說是sensor剛剛飽和時候的電流
|
||||
$i_{min}$是sensor的底電流（blacklevel）
|
||||
$DR = 20log\frac{i_{max}}{i_{min}}$ // DB
|
||||
|
||||
### 2. 為什麼HDR在成像領域是個大問題：
|
||||
在自然界的真實情況，有些場景的動態範圍要大於100dB。
|
||||
人眼的動態範圍可以達到100dB。
|
||||
Sensor 的動態範圍：高端的>78dB，消費級的60dB上下
|
||||
所以當sensor的動態範圍小於圖像場景動態範圍的時候就會出現HDR問題----不是暗處看不清，就是亮處看不清，有的甚至兩頭都看不清。
|
||||
|
||||
上圖暗處看不清-前景處的廣告牌和樹影太暗看不清。
|
||||
$i_{max}$是sensor的最大不飽和電流，也可以說是sensor剛剛飽和時候的電流
|
||||
$i_{min}$是sensor的底電流（blacklevel）
|
||||
|
||||
|
||||
上圖亮處看不清--遠處背景的白雲變成了一團白色，完全看不清細節。
|
||||
### 2. 為什麼HDR在成像領域是個大問題：
|
||||
在自然界的真實情況，有些場景的動態範圍要大於100dB。
|
||||
人眼的動態範圍可以達到100dB。
|
||||
Sensor 的動態範圍：高端的>78dB，消費級的60dB上下
|
||||
所以當sensor的動態範圍小於圖像場景動態範圍的時候就會出現HDR問題----不是暗處看不清，就是亮處看不清，有的甚至兩頭都看不清。
|
||||
|
||||
上圖暗處看不清-前景處的廣告牌和樹影太暗看不清。
|
||||
|
||||
3. 解決HDR問題的數學分析
|
||||
|
||||
上圖亮處看不清--遠處背景的白雲變成了一團白色，完全看不清細節。
|
||||
|
||||
### 3. 解決HDR問題的數學分析
|
||||
|
||||
根據前邊動態範圍公式
|
||||
|
||||
DR = 20log 10（i_max / i_min); // dB
|
||||
|
||||
所以從數學本質上說要提高DR，就是提高i_max，減小i_min；
|
||||
|
||||
對於10bit輸出的sensor,從數學上來說，i_max =1023，i_min =1；
|
||||
|
||||
動態範圍DR = 60；
|
||||
|
||||
對於12bit輸出的sensor，DR = 72；
|
||||
$DR = 20log\frac{i_{max}}{i_{min}}$ // DB
|
||||
|
||||
所以從數學本質上說要提高DR，就是提高$i_{max}$，減小$i_{min}$
|
||||
對於10bit輸出的sensor,從數學上來說，$i_{max}=1023$，$i_{min}=1$
|
||||
動態範圍DR = 60
|
||||
對於12bit輸出的sensor，DR = 72
|
||||
所以從數學上來看，提高sensor 輸出的bit width就可以提高動態範圍，從而解決HDR問題。
|
||||
|
||||
可是現實上卻沒有這麼簡單。
|
||||
|
||||
提高sensor的bit width導致不僅sensor的成本提高，整個圖像處理器的帶寬都得相應提高，消耗的內存也都相應提高，這樣導致整個系統的成本會大幅提高。所以大家想出許多辦法，既能解決HDR問題，又可以不增加太多成本。
|
||||
|
||||
## 二．HDR Imaging Digital Overlap
|
||||
## HDR Imaging Digital Overlap
|
||||
|
||||
Digital Overlap是目前比較流行的sensor H DR 技術，在監控與車載相機等領域的應用非常廣泛。Sony於2012年在監控相機市場首先推出基於DOL（digital overlap）HDR技術的圖像傳感器，之後OV與Onsemi也都推出了與DOL類似的HDR技術的圖像傳感器，而且應用領域不局限於監控這種傳統HDR imaging的市場，而且擴展到了Automotive camera市場。現在Sony已經推出了第二代支持虛擬通道DOL HDR技術的sensor。
|
||||
Digital Overlap是目前比較流行的sensor HDR 技術，在監控與車載相機等領域的應用非常廣泛。Sony於2012年在監控相機市場首先推出基於DOL（digital overlap）HDR技術的圖像傳感器，之後OV與Onsemi也都推出了與DOL類似的HDR技術的圖像傳感器，而且應用領域不局限於監控這種傳統HDR imaging的市場，而且擴展到了Automotive camera市場。現在Sony已經推出了第二代支持虛擬通道DOL HDR技術的sensor。
|
||||
|
||||
1.什麼是時域多幀HDR技術
|
||||
### 1. 什麼是時域多幀HDR技術
|
||||
|
||||
相機在時間上連續輸出由欠曝到過曝的圖像，然後做圖像融合，得到HDR圖像。
|
||||
|
||||
|
||||
|
||||
融合後HDR圖像
|
||||
|
||||
|
||||
|
||||
比較典型的一種融合方法是根據luminance，contrast，motion等條件，對第K幀圖像的像素[i，j]給出權重。Wij,k 是第K幀，位置i，j像素的權重，Xk((i,j)是原始像素值，Xf（i，j）是融合後的像素值。公式如下
|
||||
|
||||
比較典型的一種融合方法是根據luminance，contrast，motion等條件，對第K幀圖像的像素`[i，j]`給出權重。$W_{ij,k}$是第K幀，位置i，j像素的權重，$x_k(i,j)$是原始像素值，$x_f(i,j)$是融合後的像素值。公式如下：
|
||||
|
||||
|
||||
對彩色圖像，權重的計算會考慮色彩的飽和度等因素。
|
||||
|
||||
2.傳統時域多幀HDR技術存在的局限
|
||||
### 2. 傳統時域多幀HDR技術存在的局限
|
||||
|
||||
由於傳統時域多幀是基於連續曝光的整幀圖像（Frame Based）進行融合，所以圖像之間的間隔時間就是一幀圖像的周期，由此會產生很多artefacts：
|
||||
|
||||
場景內物體增減
|
||||
1. 場景內物體增減
|
||||
|
||||
|
||||
|
||||
|
||||
近距離物體快速移動形成拖影
|
||||
|
||||
|
||||
|
||||
Color artefact
|
||||
2. 近距離物體快速移動形成拖影
|
||||
|
||||
|
||||
3. Color artefact
|
||||
|
||||
|
||||
Frame based的多曝光HDR技術常用於still image 的capture，也有視頻HDR 採用這種技術，比如sensor以60fps的幀率交替輸出長短曝光，融合後輸出30fps的HDR圖像。
|
||||
@@ -83,9 +70,9 @@ Frame based的多曝光HDR技術常用於still image 的capture，也有視頻HD
|
||||
|
||||
早期的HDR video有採用這種技術，自從DOL技術出現後，這種Frame based Video HDR技術就逐漸退出歷史舞台了。
|
||||
|
||||
3.什麼是DOL HDR
|
||||
### 3. 什麼是DOL HDR
|
||||
|
||||
DOL HDR 也叫做line interleaving HDR 技術。以兩曝光DOL為例，sensor每行會以長短曝光兩次先後輸出，從readout角度來看，就是長曝光幀與短曝光幀line interleaving 依次輸出，如下圖，第一行L輸出，第一行S輸出，第二行L輸出，第二行S輸出，以此類推。
|
||||
DOL HDR 也叫做 line interleaving HDR 技術。以兩曝光 DOL 為例，sensor每行會以長短曝光兩次先後輸出，從readout角度來看，就是長曝光幀與短曝光幀line interleaving 依次輸出，如下圖，第一行L輸出，第一行S輸出，第二行L輸出，第二行S輸出，以此類推。
|
||||
|
||||
|
||||
|
||||
@@ -96,72 +83,56 @@ frame based HDR，長短曝光幀的間隔是一個幀週期，也就是必須
|
||||
對於DOL HDR而言，由於line interleaving（行的交織），存在兩幀的overlap，等於一幀輸出沒結束，下一幀就來了，長短曝光幀的間隔大大縮小了。
|
||||
|
||||
從下圖可見，長曝光幀與短曝光幀overlap了一部分，所以這種技術叫digital overlap。
|
||||
|
||||
|
||||
|
||||
4.DOL長短曝光幀的時間間隔
|
||||
### 4. DOL 長短曝光幀的時間間隔
|
||||
|
||||
前邊說過，Frame based HDR的長短曝光幀的間隔是一幀的時間，那麼DOL HDR的長短曝光幀的時間間隔是多大呢？
|
||||
前邊說過，Frame based HDR 的長短曝光幀的間隔是一幀的時間，那麼 DOL HDR 的長短曝光幀的時間間隔是多大呢？
|
||||
|
||||
如果先輸出長曝光的話
|
||||
|
||||
|
||||
|
||||
如果先輸出短曝光的話
|
||||
|
||||
|
||||
|
||||
T= long exposure 的時間
|
||||
所以當然是先輸出長曝光，這樣T（時間間隔）會更小。
|
||||
|
||||
所以當然是先輸出長曝光，這樣T（時間間隔）會更小。。
|
||||
|
||||
5.DOL長短曝光時間比與動態範圍擴展
|
||||
### 5. DOL 長短曝光時間比與動態範圍擴展
|
||||
|
||||
以兩曝光DOL 為例
|
||||
$\text{Exposure ratio} = \frac{\text{Long exposure time}}{\text{short exposure time}}$
|
||||
|
||||
Exposure ratio = Long exposure time/ short exposure time
|
||||
|
||||
假設Exposure ratio = 16，假設在xinhao 沒有飽和的條件下，相當於曝光最大值增大了16倍：2^4。也就是動態範圍擴大了4個bit。
|
||||
|
||||
假設Exposure ratio = 16，假設在信號沒有飽和的條件下，相當於曝光最大值增大了16倍：$2^4$。也就是動態範圍擴大了4個bit。
|
||||
以此類推，每增加一個曝光幀，如果exposure ratio =16，動態範圍就可以擴大4bit。
|
||||
|
||||
按照一般HDR sensor 單曝光為12bit來算的話，4曝光就可以讓sensor輸出的動態範圍擴大到24bit（12+4+4+4)。
|
||||
|
||||
exposure ratio 也不是越大越好，exposure ratio會受到三方面的製約，圖像質量，sensor設計以及isp line delay buffer。
|
||||
|
||||
從圖像質量上來說，短曝光時間越短，圖像噪聲越高，長曝光越長，motion的影響越大。Exposure Ratio越大，在圖像融合後的SNR drop也越大。
|
||||
|
||||
從sensor設計上來說，長短曝光之比受到讀出電路的限制，sony的DOL第二代採用虛擬通道技術一定程度改善了這個限制。
|
||||
|
||||
從ISP的角度來說line d elay buffer 也限制了最大曝光時間。在短曝光行出來之前，第一個長曝光行應該還在delay buffer裡，這樣才能兩者對齊好給後面的frame stitch操作。而長短曝光比越大，需要的line delay buffer就越大。
|
||||
從ISP的角度來說line delay buffer 也限制了最大曝光時間。在短曝光行出來之前，第一個長曝光行應該還在delay buffer裡，這樣才能兩者對齊好給後面的frame stitch操作。而長短曝光比越大，需要的line delay buffer就越大。
|
||||
|
||||
|
||||
|
||||
對於sensor做hdr融合case而言，line delay buffer size就是固定的，所以ISP傾向於在isp這端做HDR融合，這樣可以更靈活的設計。（Maver注：對於車載而言，帶寬是個主要關注點，所以大部分用戶不會選擇在ISP側做HDR融合）
|
||||
|
||||
6.DOL的局限
|
||||
### 6. DOL的局限
|
||||
|
||||
Sony在推出DOL的時候，宣傳DOL是'準同時'輸出長短曝光。既然是'準同時'，那就還不是同時，所以也會有一些典型時域多幀HDR的圖像質量問題，同時DOL也有一些特有的IQ問題。
|
||||
Sony在推出DOL的時候，宣傳DOL是**準同時**輸出長短曝光。既然是**準同時**，那就還不是同時，所以也會有一些典型時域多幀HDR的圖像質量問題，同時DOL也有一些特有的IQ問題。
|
||||
|
||||
HDR Transition Artefacts
|
||||
1. HDR Transition Artefacts
|
||||
可以從下左圖看到composition noise造成的edge，這種edge有時候會誤導機器視覺。
|
||||
|
||||
|
||||
可以從下左圖看到composition noise造成的edge，這種edge有時候會誤導機器視覺。
|
||||
從DOL hdr的noise profile可以看出來，如下圖，在HDR拼接處，可以看到SNR的顯著變化，叫做snr drop，當SNR drop大的時候，就會出現明顯的edge，如上圖所示。
|
||||
|
||||
曝光比越小，SNR drop就越小, 可以想見，如果曝光比為1，也就沒有snr drop了。反之，曝光比越大，動態範圍越大，snr drop也越大，如下圖所示。
|
||||
|
||||
|
||||
|
||||
2. Flicker
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
![[Pasted image 20220908123355.png]]
|
||||
|
||||
從DOL hdr的noise profile可以看出來，如下圖，在HDR拼接處，可以看到SNR的顯著變化，叫做snr drop，當SNR drop大的時候，就會出現明顯的edge，如上圖所示。
|
||||
|
||||
|
||||
|
||||
曝光比越小，SNR drop就越小, 可以想見，如果曝光比為1，也就沒有snr drop了。反之，曝光比越大，動態範圍越大，snr drop也越大，如下圖所示。
|
||||
|
||||
|
||||
|
||||
Flicker
|
||||
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
交流電供電光源造成的flickering，如下圖：
|
||||
|
||||
為了避免banding，就得讓最小曝光時間是半週期的整數倍。
|
||||
|
||||
|
||||
BIN
attachments/Pasted image 20220908123355.png
Normal file
BIN
attachments/Pasted image 20220908123355.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 16 KiB |
Reference in New Issue
Block a user