JP2012186593A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2012186593A JP2012186593A JP2011047360A JP2011047360A JP2012186593A JP 2012186593 A JP2012186593 A JP 2012186593A JP 2011047360 A JP2011047360 A JP 2011047360A JP 2011047360 A JP2011047360 A JP 2011047360A JP 2012186593 A JP2012186593 A JP 2012186593A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- moving subject
- processing unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000012545 processing Methods 0.000 title claims abstract description 445
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 209
- 230000008569 process Effects 0.000 claims abstract description 201
- 230000009467 reduction Effects 0.000 claims abstract description 70
- 238000002156 mixing Methods 0.000 claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 26
- 238000011946 reduction process Methods 0.000 claims abstract description 16
- 239000000203 mixture Substances 0.000 claims description 89
- 230000015654 memory Effects 0.000 claims description 72
- 238000001514 detection method Methods 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 30
- 238000009499 grossing Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 description 32
- 101100186887 Caenorhabditis elegans nekl-3 gene Proteins 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
【選択図】図6
Description
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置にある。
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラムにある。
具体的には、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有する。重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成し、動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
1.RAW画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例
(1−1)撮影時のRAW画像に対する処理
(1−2)再生時のフルカラー画像に対する処理
2.重ね合わせ処理に利用するハードウェア構成例について
(2−1)固体撮像素子からの入力画像(RAW画像)に対する処理例
(2−2)記録再生部からの入力画像(YUV画像)に対する処理例
3.その他の実施例
(3−1)高解像度化処理部を設定した実施例
(3−2)RAW画像の重ね合わせ処理時に算出したGMVをフルカラー画像の重ね合わせ処理に際して利用する実施例
4.画像処理装置のハードウェア構成例について
5.本開示の構成のまとめ
まず、本開示の画像処理装置の第1実施例として、RAW画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例について説明する。
なお、本開示の画像処理装置は、たとえば撮像装置、あるいはPC等において実現されるが。以下では、本開示に従った画像処理を撮像装置において実行する場合の処理例について説明する。
図1は、本開示の画像処理装置の一例である撮像装置100の構成例を示している。撮像装置100は、画像撮影時に、撮影されるRAW画像、すなわちモザイク画像を入力して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このRAW画像に対する重ね合わせ処理を実行するのが図1に示す撮像装置100の重ね合わせ処理部a105である。
このフルカラー画像に対する重ね合わせ処理を実行するのが図1に示す撮像装置100の重ね合わせ処理部b108である。
(1−1)撮影時のRAW画像に対する処理
(1−2)再生時のフルカラー画像に対する処理
これらの処理について順次説明する。
まず、図1を参照して、本開示の画像処理装置の一例である撮像装置において、撮像時にN+1枚のRAW画像を重ね合わせる処理について説明する。Nは1以上の整数である。なお、RAW画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、静止画に対する処理例について説明する。
ステップS101において、N枚の画像の重ね合わせ処理を開始する。
なお、以下では、撮像装置が連続撮影したN+1枚の画像のうち、位置合わせの基準となる画像データを基準フレームと呼ぶ。基準フレームは、例えばシャッタが押下された直後に撮像された1枚の画像フレームを使用する。その後のN枚の画像フレームが参照フレームとなる。
N+1枚の画像のうち、重ね合わせ処理に使用されるフレームを参照フレームと呼ぶ。
N回目の重ね合わせ処理時の基準フレーム(N−1回重ね合わせ処理がされたフレーム)および参照フレーム(N+1枚目のフレーム)の注目画素の画素値を、
基準フレーム:mltN−1、
参照フレーム:frmN+1、
と表す。なお、(N−1),(N+1)等のインデックスが大きいほど時間的に後に撮像されたことを意味する。
また、注目画素の動被写体検出結果をαとする。
以上のデータを用いたN回目の重ね合わせ処理時のブレンド式(式1)を以下に示す。
N−1回目の重ね合わせ処理画像mltN−1と、
N+1枚目の重ね合わせ未処理画像frmN+1を適用して上記式に従って実行する。
ステップS106の処理は、N=2以上の場合に、以下の式(式2)に従って実行する画素値の平滑化を伴う画素値更新処理である。
先のステップS105におけるブレンド処理において算出したブレンド画像の画素値:mltNの画像を以下の式(式2)に従って更新する。
mltN=LPF(α)※mltN
・・・(式2)
※は、(LPF(α))で定義された2次元データと、mltNという2次元画像との畳み込み演算(コンボルーション)を意味している。
αは、各画素単位の動き検出情報:α値(0<=α<=1,0:動きあり判定、1:静止(動きなし)判定)である。
LPF(α)は、αが大きい値になればなるほど、より低域成分のみを通すローパスフィルタのフィルタ係数であり、αが小さい値のときは、ほぼ全周波数帯域(即ち、高域成分も含めて)を通すフィルタ係数である。ローパスフィルタの具体的な数値例は、例えば図4に示す3×3個の2次元データからなるローパスフィルタである。
一方、α値が大きい場合、すなわち動被写体と推定される画素位置では、周囲画素の依存度が高くなり、LPFを適用した変化率が大きく表れる。すなわち画素値が平滑化される。
結果として、動被写体領域に対するノイズ低減効果がより大きくなる。
しかし、このステップS106の処理を行うことで、ブレンド処理にて重ね合わせが行われなかった部分、例えば動被写体領域についてLPFによるノイズリダクションが行われ、結果として、α値によらず、すべての画素について、ノイズリダクションが行われることになる。
結果として、静止被写体領域、動被写体領域のいずれの領域においてもノイズ低減効果が発揮されることになる。
続いて、フルカラー画像に対する処理例について説明する。この処理は、例えば図1に示す撮像装置100の表示部109に画像を表示する場合に実行される。なお、フルカラー画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、動画に対する処理例について説明する。
N−1回目の重ね合わせ処理画像mltN−1と、
N+1枚目の重ね合わせ未処理画像frmN+1を適用して上記式に従って実行する。
ステップS206の処理は、N=2以上の場合に、以下の式(式4)に従って実行する画素値の平滑化を伴う画素値更新処理である。
先のステップS205におけるブレンド処理において算出したブレンド画像の画素値:mltNの画像を以下の式(式4)に従って更新する。
mltN=LPF(α)※mltN
・・・(式4)
※は、(LPF(α))で定義された2次元データと、mltNという2次元画像との畳み込み演算(コンボルーション)を意味している。
αは、各画素単位の動き検出情報:α値(0<=α<=1,0:動きあり判定、1:静止(動きなし)判定)である。
なお、上記式(式4)は先に図3のフローのステップS106の処理において説明した式(式2)と同様の式である。
しかし、このステップS206の処理を行うことで、ブレンド処理にて重ね合わせが行われなかった部分、例えば動被写体領域についてLPFによるノイズリダクションが行われ、結果として、α値によらず、すべての画素について、ノイズリダクションが行われることになる。
結果として、静止被写体領域、動被写体領域のいずれの領域においてもノイズ低減効果が発揮されることになる。
(1−1)撮影時のRAW画像に対する処理
(1−2)再生時のフルカラー画像に対する処理
これらの処理例であるが、再生時のフルカラー画像に対する処理に際しては、例えば、RGB→YUV変換し、YUVフォーマットの輝度(Y)信号に対してのみ重ね合わせ処理を行う。
このような処理を行うことで、重ね合わせ処理を実行する各画素単位の信号は、
(1−1)撮影時のRAW画像に対する処理の場合は、RAW画像の構成画素に設定された信号(例えばRGBのいずれかの信号)となる。
(1−2)再生時のフルカラー画像に対する処理の場合は、フルカラー画像を構成する各画素各々について、YUVフォーマットの輝度(Y)信号のみとなる。
この結果、RAW画像に対する重ね合わせ処理を実行する重ね合わせ処理部a105と、フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部b108は入力信号をRAW画像の各画素値とするか、フルカラー画像の各画素の輝度値(Y)とするかのみを異ならせることで、重ね合わせ処理の実行回路としては同一のものを利用することが可能となる。
次に、重ね合わせ処理に利用するハードウェア構成例について説明する。
以下では、
(2−1)固体撮像素子からの入力画像(RAW画像)に対する処理例
(2−2)記録再生部からの入力画像(フルカラー画像(YUV画像))に対する処理例
これら2つの処理例について順次説明する。
なお、以下のハードウェアの説明では、RAW画像に対する処理とフルカラー画像に対する処理が1つの共通する回路構成で実現されることとともに、本開示の構成のもう一つの特徴である、重ね合わせ処理において必要となるメモリ容量の削減処理についても説明する。
まず、図6〜図10を参照して固体撮像素子からの入力画像(RAW画像)に対する画像重ね合わせ(ブレンド)処理の処理例について説明する。
図6に示す位置合わせ処理部204は、図3に示すフローのステップS103の処理や、図5に示すフローのステップS203の処理を実行する。
図6に示す動被写体検出部205は、図3に示すフローのステップS104の処理や、図5に示すフローのステップS204の処理を実行する。
図6に示すブレンド処理部206は、図3に示すフローのステップS105の処理や、図5に示すフローのステップS205の処理を実行する。
図6に示すノイズリダクション処理部207は、図3に示すフローのステップS106の処理や、図5に示すフローのステップS206の処理を実行する。
一方、図1に示す重ね合わせ処理部b108として機能する場合、記録再生部202(=図1の記録再生部107)からYUV画像の輝度信号(Y)を入力してフルカラー画像の重ね合わせ処理を実行する。
、固体撮像素子201(=図1の固体撮像素子103)の出力するRAW画像、または、
記録再生部202(=図1の記録再生部107)の出力するフルカラー画像を保存しておくメモリである。
図6に示す重ね合わせ処理部が、RAW画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを図7に示す。
また、上から、以下の(1)〜(6)の各処理を示している。
(1)固体撮像素子201からメモリa211,メモリb212に対するRAW画像の書き込み(Write)処理、
(2)グローバル動きベクトル(GMV)算出部203に対する固体撮像素子201からの画像の入力処理、
(3)グローバル動きベクトル(GMV)算出部203によるメモリa211からの画像の読み取り(Read)処理、
(4)位置合わせ処理部204、動被写体検出部205、ブレンド処理部206、ノイズリダクション処理部207によるメモリa211からの画像読み取り(Read)処理、
(5)位置合わせ処理部204、動被写体検出部205、ブレンド処理部206、ノイズリダクション処理部207によるメモリb212からの画像読み取り(Read)処理、
(6)ブレンド処理部206、ノイズリダクション処理部207によるメモリa211に対する画像書き込み(Write)処理、
これは、図7に示すタイミングチャートのT1〜T2の(4)と(5)に示す画像フレーム(frm1)と、画像フレーム(frm2)によって、(6)に示す最初の重ね合わせ画像フレーム(mlt1)が生成される処理に対応する。
このタイミングT0〜T1の状態を示したのが図8である。
このタイミングT1〜T2の状態を示したのが図9である。
さらに、GMV算出部203が算出したGMV、すなわち、タイミングT1〜T2で求められた1枚目の画像データ(frm1)と2枚目の画像データ(frm2)間のGMVが入力されて、この入力GMVに基づいて2枚目の画像データ(frm2)を、1枚目の画像データ(frm1)の被写***置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
先に説明した式(式1)に従って、基準画像と、位置合わせ参照画像(動き補償画像)の対応画素の画素値をブレンドして重ね合わせフレーム(ブレンド画像)を生成する。
N=2以上の場合に、先に説明した式(式2)に従って画素値更新処理が行われる。すなわち、例えば図4に示すような係数を持つローパスフィルタによるノイズ提言処理が実行される。このLPFを適用した処理は、各画素単位の動き検出情報:α値が小さい場合、すなわち動被写体と推定される画素位置でローパスフィルタの通過帯域が低周波数成分のみに限定され、画像をスムーズにする効果が発揮されることになる。
このノイズリダクション処理部207の処理画像は、フレームメモリa211に上書きされる。
このタイミングT2〜T3の状態を示したのが図10である。
続いて、記録再生部からの入力画像(フルカラー画像(YUV画像))に対する処理例について図11〜図13を参照して説明する。
図11の重ね合わせ処理部が、フルカラー画像に基づいて生成されるYUV画像の輝度信号(Y)を適用して重ね合わせ処理を実行する場合の処理のタイミングチャートを図12に示す。
また、上から、以下の(1)〜(6)の各処理を示している。
(1)記録再生部202からメモリa211,メモリb212に対するYUV画像中の輝度信号(Y)の書き込み(Write)処理、
(2)グローバル動きベクトル(GMV)算出部203に対する記録再生部202からのYUV画像中の輝度信号(Y)の入力処理、
(3)グローバル動きベクトル(GMV)算出部203によるメモリa211からの画像信号(輝度信号(Y))の読み取り(Read)処理、
(4)位置合わせ処理部204、動被写体検出部205、ブレンド処理部206、ノイズリダクション処理部207によるメモリa211からの画像信号(輝度信号(Y))読み取り(Read)処理、
(5)位置合わせ処理部204、動被写体検出部205、ブレンド処理部206、ノイズリダクション処理部207によるメモリb212からの画像信号(輝度信号(Y))読み取り(Read)処理、
(6)ブレンド処理部206、ノイズリダクション処理部207によるメモリa211に対する画像信号(輝度信号(Y))書き込み(Write)処理、
これは、図12に示すタイミングチャートのT1〜T2の(4)と(5)に示す画像フレーム(frm1)と、画像フレーム(frm2)によって、(6)に示す最初の重ね合わせ画像フレーム(mlt1)が生成される処理に対応する。
この処理では、図11、図12に示すように、重ね合わせ処理部200に対する入力は固体撮像素子201ではなく、記録再生部202から行われる。
このタイミングT0〜T1の状態は、先に説明した図8において、記録再生部202からデータが出力される点が異なるものとなる。
このタイミングT1〜T2の状態は、先に説明した図9において、記録再生部202からデータが出力される点が異なるものとなる。
先に説明した式(式3)に従って、基準画像と、位置合わせ参照画像(動き補償画像)の対応画素の画素値をブレンドして重ね合わせフレーム(ブレンド画像)を生成する。
N=2以上の場合に、先に説明した式(式4)に従って画素値更新処理が行われる。すなわち、例えば図4に示すような係数を持つローパスフィルタによるノイズ提言処理が実行される。このLPFを適用した処理は、各画素単位の動き検出情報:α値が小さい場合、すなわち動被写体と推定される画素位置でローパスフィルタの通過帯域が低周波数成分のみに限定され、画像をスムーズにする効果が発揮されることになる。
このノイズリダクション処理部207の処理画像は、フレームメモリa211に上書きされ、かつ表示部109に出力される。
このタイミングT2〜T3の状態を示したのが図13である。
次にその他の実施例について説明する。
(3−1)高解像度化処理部を設定した実施例
まず、図14を参照して重ね合わせ処理部に高解像度化処理部を設定した実施例について説明する。
RAW画像に対する処理では、先に図3を参照して説明したフローチャートに従った処理を基本処理とし、ステップS103とステップS104の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
また、本実施例の変形として、高解像度化によるぼけを補償するため、入力フレームにラプラシアンフィルタなどのHPFをかける構成としてもよい。
次に、RAW画像の重ね合わせ処理時に算出したGMVをフルカラー画像の重ね合わせ処理に際して利用する実施例について説明する。
図15は、本開示の画像処理装置の一例である撮像装置500の構成例を示している。撮像装置500は、先に説明した図1に示す画像処理装置100と同様、画像撮影時に、撮影されるRAW画像、およびRAW画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
最後に、図16を参照して、上述した処理を実行する画像処理装置の1つのハードウェア構成例について説明する。CPU(Central Processing Unit)901は、ROM(Read Only Memory)902、または記憶部908に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像重ね合わせ(ブレンド)処理やLPF(ローパスフィルタ)によるによるノイズ低減や高解像化のための画像処理を実行する。RAM(Random Access Memory)903には、CPU901が実行するプログラムやデータなどが適宜記憶される。これらのCPU901、ROM902、およびRAM903は、バス904により相互に接続されている。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1)複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。
(3)前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する前記(1)または(2)に記載の画像処理装置。
(4)前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル(GMV)を算出するGMV算出部と、前記グローバル動きベクトル(GMV)に従って、参照画像の被写***置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、前記ブレンド処理部は、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する前記(1)〜(3)いずれかに記載の画像処理装置。
(7)前記画像処理装置は、前記GMV算出部がRAW画像に基づいて算出した画像のグローバル動きベクトル(GMV)を格納するGMV記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記GMV記録部に格納されたグローバル動きベクトル(GMV)を利用して処理を行う前記(4)〜(6)いずれかに記載の画像処理装置。
(9)前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う前記(8)に記載の画像処理装置。
(10)前記重ね合わせ処理部は、RAW画像を処理対象とする場合は前記メモリにRAW画像の各画素対応の画素値データを格納し、RAW画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する前記(8)または(9)に記載の画像処理装置。
具体的には、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有する。重ね合わせ処理部は、画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成し、動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成し、さらに重ね合わせ画像に対して、動被写体情報に基づいて、動被写体領域においてより強いノイズリダクション処理を実行する。ノイズリダクション処理においては、例えば動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する。
これらの処理により動被写体領域、静止被写体領域の双方においてノイズリダクションのなされた画像を生成することが可能となる。
101 ユーザ入力部
102 レンズ
103 固体撮像素子
104 プリ処理部
105 重ね合わせ処理部a
106 ポスト処理部
107 記録再生部
108 重ね合わせ処理部b
109 表示部
200 重ね合わせ処理部
201 固体撮像素子
202 記録再生部
203 GMV算出部
204 位置合わせ処理部
205 動被写体検出部
206 ブレンド処理部
207 ノイズリダクション処理部
211,212 メモリ
300 重ね合わせ処理部
301 高解像度化処理部
302,303 画像サイズ調整部
500 画像処理装置
501 GMV記録部
901 CPU
902 ROM
903 RAM
904 バス
905 入出力インタフェース
906 入力部
907 出力部
908 記憶部
909 通信部
910 ドライブ
911 リムーバブルメディア
Claims (12)
- 複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出部と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理部と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理部と、
を有する画像処理装置。 - 前記ノイズリダクション処理部は、ローパスフィルタを適用した画素値更新処理を実行する請求項1に記載の画像処理装置。
- 前記ノイズリダクション処理部は、動被写体領域においてより高いノイズ低減効果を奏する前記動被写体情報に依存した係数を持つローパスフィルタを適用した画素値更新処理を実行する請求項1に記載の画像処理装置。
- 前記重ね合わせ処理部は、
連続撮影された複数の画像のグローバル動きベクトル(GMV)を算出するGMV算出部と、
前記グローバル動きベクトル(GMV)に従って、参照画像の被写***置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部を有し、
前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得し、
前記ブレンド処理部は、
前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成する請求項1に記載の画像処理装置。 - 前記動被写体検出部は、
前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、
前記ブレンド処理部は、
前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する請求項4に記載の画像処理装置。 - 前記重ね合わせ処理部は、
処理対象画像の高解像化処理を実行する高解像度化処理部を有し、
前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する請求項4に記載の画像処理装置。 - 前記画像処理装置は、
前記GMV算出部がRAW画像に基づいて算出した画像のグローバル動きベクトル(GMV)を格納するGMV記録部を有し、
前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記GMV記録部に格納されたグローバル動きベクトル(GMV)を利用して処理を行う請求項4に記載の画像処理装置。 - 前記重ね合わせ処理部は、
処理対象画像としてRAW画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
2つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う請求項1に記載の画像処理装置。 - 前記重ね合わせ処理部は、
前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う請求項8に記載の画像処理装置。 - 前記重ね合わせ処理部は、
RAW画像を処理対象とする場合は前記メモリにRAW画像の各画素対応の画素値データを格納し、RAW画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、
フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する請求項8に記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行し、
前記重ね合わせ処理ステップは、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に、複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを実行させ、
前記重ね合わせ処理ステップにおいて、
画像の動被写体領域を検出し、画像領域単位の動被写体情報を生成する動被写体検出処理と、
前記動被写体情報に基づいて、静止被写体領域において高いブレンド比率とし、動被写体領域において低いブレンド比率とした複数画像のブレンド処理を実行して重ね合わせ画像を生成するブレンド処理と、
前記重ね合わせ画像に対して、前記動被写体情報に基づいて、動被写体領域においてより強い画素値平滑化処理を実行するノイズリダクション処理を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011047360A JP2012186593A (ja) | 2011-03-04 | 2011-03-04 | 画像処理装置、および画像処理方法、並びにプログラム |
US13/404,997 US20120224766A1 (en) | 2011-03-04 | 2012-02-24 | Image processing apparatus, image processing method, and program |
CN2012100461371A CN102655564A (zh) | 2011-03-04 | 2012-02-24 | 图像处理设备、图像处理方法以及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011047360A JP2012186593A (ja) | 2011-03-04 | 2011-03-04 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012186593A true JP2012186593A (ja) | 2012-09-27 |
JP2012186593A5 JP2012186593A5 (ja) | 2014-04-03 |
Family
ID=46731085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011047360A Ceased JP2012186593A (ja) | 2011-03-04 | 2011-03-04 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20120224766A1 (ja) |
JP (1) | JP2012186593A (ja) |
CN (1) | CN102655564A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014174834A (ja) * | 2013-03-11 | 2014-09-22 | Toshiba Corp | 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム |
JP2015162759A (ja) * | 2014-02-26 | 2015-09-07 | キヤノン株式会社 | 画像処理装置、制御方法及び記録媒体 |
US9142007B2 (en) | 2013-04-10 | 2015-09-22 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
WO2016052250A1 (ja) * | 2014-10-03 | 2016-04-07 | ソニー株式会社 | 信号処理装置、および信号処理方法、撮像装置、電子機器、並びにプログラム |
US9313403B2 (en) | 2013-08-22 | 2016-04-12 | Olympus Corporation | Image processing device, image processing method, and program |
JP2017502551A (ja) * | 2013-11-01 | 2017-01-19 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置 |
US9672608B2 (en) | 2013-08-22 | 2017-06-06 | Olympus Corporation | Image processing device, endoscope apparatus, image processing method, and program |
JP2018200506A (ja) * | 2017-05-25 | 2018-12-20 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019083467A (ja) * | 2017-10-31 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2019161272A (ja) * | 2018-03-07 | 2019-09-19 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
JP2021097420A (ja) * | 2019-11-15 | 2021-06-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
WO2019026263A1 (ja) * | 2017-08-03 | 2019-02-07 | Eizo株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN108648679B (zh) | 2018-05-18 | 2020-06-26 | 京东方科技集团股份有限公司 | 显示面板的驱动方法及装置、显示设备 |
US11880902B2 (en) | 2020-12-30 | 2024-01-23 | Waymo Llc | Systems, apparatus, and methods for enhanced image capture |
WO2022178715A1 (zh) * | 2021-02-24 | 2022-09-01 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005084A (ja) * | 2006-06-21 | 2008-01-10 | Sony Corp | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
JP2009076984A (ja) * | 2007-09-18 | 2009-04-09 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2009194700A (ja) * | 2008-02-15 | 2009-08-27 | Olympus Corp | 画像処理装置及び画像処理プログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2283385B (en) * | 1993-10-26 | 1998-04-01 | Sony Uk Ltd | Motion compensated video signal processing |
US20060291750A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution) |
US20060291751A1 (en) * | 2004-12-16 | 2006-12-28 | Peyman Milanfar | Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution) |
JP2007215114A (ja) * | 2006-02-13 | 2007-08-23 | Sony Corp | 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置 |
JP4623111B2 (ja) * | 2008-03-13 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP4506875B2 (ja) * | 2008-05-19 | 2010-07-21 | ソニー株式会社 | 画像処理装置および画像処理方法 |
DE102008034979B4 (de) * | 2008-07-25 | 2011-07-07 | EADS Deutschland GmbH, 85521 | Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern |
JP2010140460A (ja) * | 2008-11-13 | 2010-06-24 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2012004908A (ja) * | 2010-06-17 | 2012-01-05 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012142829A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 画像処理装置および画像処理方法 |
-
2011
- 2011-03-04 JP JP2011047360A patent/JP2012186593A/ja not_active Ceased
-
2012
- 2012-02-24 US US13/404,997 patent/US20120224766A1/en not_active Abandoned
- 2012-02-24 CN CN2012100461371A patent/CN102655564A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008005084A (ja) * | 2006-06-21 | 2008-01-10 | Sony Corp | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
JP2009076984A (ja) * | 2007-09-18 | 2009-04-09 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2009194700A (ja) * | 2008-02-15 | 2009-08-27 | Olympus Corp | 画像処理装置及び画像処理プログラム |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9177359B2 (en) | 2013-03-11 | 2015-11-03 | Kabushiki Kaisha Toshiba | Information processor, cloud platform, information processing method, and computer program product thereof |
JP2014174834A (ja) * | 2013-03-11 | 2014-09-22 | Toshiba Corp | 情報処理装置、クラウドプラットフォーム、情報処理方法およびそのプログラム |
US9142007B2 (en) | 2013-04-10 | 2015-09-22 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
US9313403B2 (en) | 2013-08-22 | 2016-04-12 | Olympus Corporation | Image processing device, image processing method, and program |
US9672608B2 (en) | 2013-08-22 | 2017-06-06 | Olympus Corporation | Image processing device, endoscope apparatus, image processing method, and program |
US9721330B2 (en) | 2013-11-01 | 2017-08-01 | Huawei Technologies Co., Ltd. | Temporal noise reduction method for noisy image and related apparatus |
JP2017502551A (ja) * | 2013-11-01 | 2017-01-19 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 雑音画像のためのテンポラルノイズリダクション方法及び関係する装置 |
JP2015162759A (ja) * | 2014-02-26 | 2015-09-07 | キヤノン株式会社 | 画像処理装置、制御方法及び記録媒体 |
WO2016052250A1 (ja) * | 2014-10-03 | 2016-04-07 | ソニー株式会社 | 信号処理装置、および信号処理方法、撮像装置、電子機器、並びにプログラム |
JP2018200506A (ja) * | 2017-05-25 | 2018-12-20 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019083467A (ja) * | 2017-10-31 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7005280B2 (ja) | 2017-10-31 | 2022-01-21 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2019161272A (ja) * | 2018-03-07 | 2019-09-19 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
US10887515B2 (en) | 2018-03-07 | 2021-01-05 | Canon Kabushiki Kaisha | Image capturing apparatus, image capturing method, and storage medium to generate a panoramic image having a high dynamic range |
JP2021097420A (ja) * | 2019-11-15 | 2021-06-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
JP2022020660A (ja) * | 2019-11-15 | 2022-02-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
JP7379438B2 (ja) | 2019-11-15 | 2023-11-14 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20120224766A1 (en) | 2012-09-06 |
CN102655564A (zh) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012186593A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
US9756266B2 (en) | Sensor data rescaler for image signal processing | |
JP2012004908A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US9210391B1 (en) | Sensor data rescaler with chroma reduction | |
EP2308236B1 (en) | Improved image formation using different resolution images | |
JP4720859B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
JP5845464B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
US8199222B2 (en) | Low-light video frame enhancement | |
JP2008124625A (ja) | 撮像装置 | |
JP2009071689A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
JP2009194896A (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP2014002635A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2013017142A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
WO2014017153A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2012142827A (ja) | 画像処理装置および画像処理方法 | |
JP5829122B2 (ja) | 撮像装置および評価値生成装置 | |
JP5950755B2 (ja) | 画像処理装置、制御方法、プログラム及び記憶媒体 | |
JP5959194B2 (ja) | 撮像装置 | |
JP6032912B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5919086B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2008147904A (ja) | 信号処理方法および信号処理装置 | |
JP2013135408A (ja) | 撮像装置 | |
JP2012142828A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20151027 |