JP7118818B2 - 画像処理方法、画像処理装置、撮像装置、およびプログラム - Google Patents
画像処理方法、画像処理装置、撮像装置、およびプログラム Download PDFInfo
- Publication number
- JP7118818B2 JP7118818B2 JP2018164468A JP2018164468A JP7118818B2 JP 7118818 B2 JP7118818 B2 JP 7118818B2 JP 2018164468 A JP2018164468 A JP 2018164468A JP 2018164468 A JP2018164468 A JP 2018164468A JP 7118818 B2 JP7118818 B2 JP 7118818B2
- Authority
- JP
- Japan
- Prior art keywords
- amount
- noise reduction
- motion
- processing
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 199
- 238000003384 imaging method Methods 0.000 title claims description 46
- 238000003672 processing method Methods 0.000 title claims 16
- 125000004122 cyclic group Chemical group 0.000 claims description 121
- 238000012937 correction Methods 0.000 claims description 92
- 238000000034 method Methods 0.000 claims description 42
- 230000009467 reduction Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 26
- 238000011946 reduction process Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 7
- 206010047571 Visual impairment Diseases 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本実施形態では、本発明の一適用例として撮像装置を例に挙げて説明する。
本実施形態の撮像装置は、画像データのノイズを低減する機能として巡回型ノイズリダクション処理を実行する機能を有している。以下の説明では、巡回型ノイズリダクション処理を巡回型NR処理と表記する。また本実施形態の撮像装置は、撮影時における当該撮像装置のぶれ(揺れ)を求め、そのぶれの情報を基に、画像データに対してぶれ補正処理を行う、ぶれ補正機能を有している。さらに撮像装置は、撮影時に求めたぶれ量(揺れの大きさ)が所定のぶれ量より大きい場合にはぶれ補正機能を動作させ、一方、ぶれ量が所定のぶれ量以下の場合(撮像装置が殆ど揺れていない場合)にはぶれ補正機能を停止する機能をも有している。なお、ぶれ補正機能を動作させるか否かを決める際の所定のぶれ量は、予め決められた値であるとする。
以下、図1から図5を参照して、第1の実施形態の撮像装置において、ぶれ量と動き量を基に巡回型NR処理の強度を制御する構成及び処理について説明する。
図1は本実施形態の撮像装置の概略構成例を示したブロック図である。なお、図1には、ぶれ量と動き量に基づいて強度を制御する主要な構成部のみを示しており、撮像装置が備えている一般的な他の構成の図示は省略している。
画像生成装置100は撮像光学系101、撮像光学系101により形成された光学像を電気信号に変換する撮像素子102、および、撮像素子102で生成された電気信号から画像データを生成する画像データ生成回路103を含む。画像データ生成回路103で生成された画像データは画像処理装置110に出力される。
動き量検出回路111は、画像データ生成回路103から連続したフレームの画像データを受け取り、それぞれの画像データを複数の領域に分割する。そして、いずれかのフレームである基準画像データと、その基準画像データの1フレーム前の画像データとから、領域毎の動き量(動きベクトル)を検出する。そして、その検出した動き量の情報を、ぶれ量算出回路112、一律強度算出回路113、および、強度決定回路114に出力する。
強度決定回路114は、ぶれ量算出回路112から取得したぶれ量を基に、後段のぶれ補正回路117においてぶれ補正処理が行われるか判定する。そして、強度決定回路114は、ぶれ補正回路117においてぶれ補正処理が行われる場合に、巡回型NR処理回路115がぶれ補正処理の開始に先立って、一律強度算出回路113で算出された強度で巡回型NR処理を行う。なお、後段のぶれ補正回路117でぶれ補正処理が行われるかどうかは、例えば、算出されたぶれ量が例えば所定のぶれ量より大きいか否かにより判定可能である。例えば、算出されたぶれ量が所定のぶれ量より大きい場合にはぶれ補正処理が行われ、一方、所定のぶれ量以下である場合にはぶれ補正処理が行われないと判定する。
なお、図2では、各処理のステップS10~S80を、それぞれS10~S80と略記する。また図2のフローチャートの処理は、ハードウェア構成により実行されてもよいし、CPU等がプログラムを実行することにより実現されてもよい。これらのことは後述する他のフローチャートにおいても同様とする。この図2のフローチャートの処理は、画像生成装置100が画像データを生成することで開始される。
また、ステップ20において、ぶれ量算出回路112は、当該撮像装置のぶれ量を算出する。ぶれ量は、前述したように、動き量検出回路111により検出された動き量に基づいて検知されたものでもよいし、加速度センサー等のデバイスからの出力を基に検知されたものでもよい。ぶれ量算出回路112により検知されたぶれ量の情報は、前述したように、強度決定回路114とぶれ補正回路117に送られる。
さらに、ステップ50において、強度決定回路114は、前述したようにぶれ量算出回路112で算出されたぶれ量に基づき、一律な強度と領域毎の強度の何れかを選択して、巡回型NR処理回路115へ出力する。
次に、ステップ60において、巡回型NR処理回路115は、ステップ50で選択された強度を用いた巡回型NR処理を画像データに対して施す。
WxyN=k×(VxyN-Wxy(N-1))+Wxy(N-1) ・・・(1)
という式で表すことができる。
WxyN=k×VxyN+(1-k)×Wxy(N-1) ・・・(2)
その後、ステップ80において、ぶれ補正回路117は、巡回型NR処理やぶれ補正処理等が施された後の画像データを表示装置121や記録回路122に出力する。
図3のステップ31において、一律強度算出回路113は、動き量検出回路111にて検出された領域毎の動き量を取得し、さらに、基準画像データにおける動き量の統計データ(動き量の平均値、中央値、最大値、最小値、分散など)を算出する。
次に、ステップ32において、一律強度算出回路113は、ステップ31で算出した動き量の統計データのなかの分散から、基準画像データにおける動き量のばらつき度を算出する。
なお、取得した動き量のばらつき度と比較される前述の所定値は、実験的に求めることができる。実験的に所定値を求める場合、例えば動き量のばらつき度を異ならせた複数のテスト用の動画が用意される。そして、動き量のばらつき度が小さい動画から順に、動き量の平均値に基づく強度を設定したときの残像の程度を判定し、残像が気になると最初に判定された動画の動き量のばらつき度を、所定値として設定すればよい。
撮像装置のぶれ(揺れ)が殆ど無く、ぶれ補正処理が行われない場合、強度決定回路114は、一律な強度ではなく、領域単位の強度を選択する。
図5の例のように、撮像装置のぶれ(揺れ)を補正するぶれ補正処理が行われる場合、強度決定回路114は、領域単位の強度ではなく、一律な強度を選択する。
図6は、領域単位で強度を設定し、かつ、ぶれ補正処理を行った場合の画像データの様子を説明するための図である。図6において、(N-1)番目のフレームとN番目のフレームのそれぞれの画像データには、被写体としてビルディングの窓が含まれているものとする。
図6(b)に示すように、窓601と窓602のうち、網掛け部については信号レベルの差が小さく動き量が小さいと判断される。すなわち、窓602のうち、網掛け部については係数kの値が0(あるいは0に近い値)に設定され、窓601の網掛け部の信号レベルと同じ値(あるいはほぼ同じ値)に補正される。それ以外の領域においては、フレーム間での信号レベルの差が大きいと判断され係数kの値が1(あるいは1に近い値)に設定される。すなわち、窓602のうち、網掛け部以外の領域については、窓601の信号レベルの影響をほとんど受けない。
以下、図7を参照して、第2の実施形態について説明する。
図7は、巡回型NR処理の強度と空間型NR処理の強度の関係を説明するための図である。なお、第2の実施形態の撮像装置の構成は概ね前述した図1と同様であるため、それらの図示は省略する。
次に、図8を参照して、第3の実施形態の撮像装置における強度制御について説明する。
図8は、領域単位の強度と一律な強度の関係を説明するための図である。なお、第3の実施形態の撮像装置の構成は概ね前述した図1と同様であるためそれらの図示は省略する。
第3の実施形態の撮像装置の場合、図1の強度決定回路114は、ぶれ量算出回路112にて算出されたぶれ量に基づいて、領域毎の動き量に応じた領域単位の強度の設定可能範囲を決定する。
ぶれ補正回路117は、算出されたぶれ量が第1の閾値以下で、且つ、第2の閾値以上である場合、ぶれ補正処理を行う。
強度決定回路114は、算出されたぶれ量が第1の閾値以下で且つ第2の閾値以上である場合、図8に示すように、後段のぶれ補正処理の影響が出ない範囲で、領域単位の強度を設定する。
なお、前述した本実施形態の撮像装置は、例えば、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどに適用可能である。また、本発明は、図1の画像処理装置110のみで実施することが可能であり、画像生成装置100、表示装置121および記録回路122は別装置とすることも可能である。例えば、本発明は、上記の種々のカメラから通信により画像データを受け取って、巡回型NR処理とぶれ補正処理を行うパーソナルコンピュータやサーバコンピュータなどにも適用可能である。
101 撮像光学系
102 撮像素子
103 画像データ生成回路
110 画像処理装置
111 動き量検出回路
112 ぶれ量算出回路
113 一律強度算出回路
114 強度決定回路
115 巡回型NR処理回路
116 画像加工回路
117 ぶれ補正回路
121 表示装置
122 記録回路
Claims (17)
- 画像処理装置によって実行される画像処理方法であって、
画像データから動き量を検出する工程と、
前記画像データを撮像した撮像装置のぶれ量を算出する工程と、
巡回型ノイズリダクション処理の強度を設定する工程と、
前記画像データに対して前記巡回型ノイズリダクション処理を行う工程と、
前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う工程と、を有し、
前記ぶれ補正処理が動作していない場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、1つ以上の画素を含む領域単位で設定し、
前記ぶれ補正処理が動作している場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理方法。 - 前記全ての領域に一律に設定される前記巡回型ノイズリダクション処理の強度は、前記動き量の統計データに基づいて算出されることを特徴とする請求項1に記載の画像処理方法。
- 前記動き量の統計データから前記動き量のばらつき度を求め、
前記全ての領域に一律に設定される前記巡回型ノイズリダクション処理の強度は、前記動き量のばらつき度に基づいて算出されることを特徴とする請求項2に記載の画像処理方法。 - 前記動き量のばらつき度に基づいて基準値を選択し、
前記全ての領域に一律に適用する前記巡回型ノイズリダクション処理の強度は、基準値に基づいて算出されることを特徴とする請求項3に記載の画像処理方法。 - 前記動き量のばらつき度が所定値より小さい場合は、前記動き量の平均値または中央値が前記基準値として選択されることを特徴とする請求項4に記載の画像処理方法。
- 前記動き量のばらつき度が所定値以上である場合は、前記動き量の最大値が基準値として選択されることを特徴とする請求項4に記載の画像処理方法。
- 前記画像データに対して空間型ノイズリダクション処理を行う工程を有し、
前記空間型ノイズリダクション処理の強度は、前記全ての領域に一律に適用する前記巡回型ノイズリダクション処理の強度に基づいて設定されることを特徴とする請求項1乃至6のいずれか1項に記載の画像処理方法。 - 前記全ての領域に一律に適用する前記巡回型ノイズリダクション処理の強度と、前記動き量に基づく巡回型ノイズリダクション処理の強度との差分が大きくなる領域ほど、前記空間型ノイズリダクション処理の強度は高く設定されることを特徴とする請求項7に記載の画像処理方法。
- 画像処理装置によって実行される画像処理方法であって、
画像データから動き量を検出する工程と、
前記画像データを撮像した撮像装置のぶれ量を算出する工程と、
巡回型ノイズリダクション処理の強度を設定する工程と、
前記画像データに対して前記巡回型ノイズリダクション処理を行う工程と、
前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う工程と、を有し、
前記ぶれ量が第1の閾値以下の場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、1つ以上の画素を含む領域単位で設定し、
前記ぶれ量が前記第1の閾値より大きい場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理方法。 - 前記ぶれ補正処理は、前記ぶれ量が前記第1の閾値より小さい第2の閾値より小さい場合には行われず、前記ぶれ量が前記第2の閾値以上である場合に行われることを特徴とする請求項9に記載の画像処理方法。
- 前記ぶれ量が前記第1の閾値以下、かつ、前記第2の閾値以上である場合の、前記領域単位で設定される前記巡回型ノイズリダクション処理の強度の設定可能範囲は、
前記ぶれ量が前記第2の閾値以下である場合の、前記領域単位で設定される前記巡回型ノイズリダクション処理の強度の設定可能範囲よりも狭いことを特徴とする請求項10に記載の画像処理方法。 - 前記設定可能範囲は、前記ぶれ量と前記設定可能範囲とを対応させたテーブルに基づいて設定されることを特徴とする請求項11に記載の画像処理方法。
- 画像データから動き量を検出する動き量検出手段と、
前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
前記巡回型ノイズリダクション処理を制御する制御手段と、
前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
前記制御手段は、
前記ぶれ補正処理が動作していない場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、1つ以上の画素を含む領域単位で設定し、
前記ぶれ補正処理が動作している場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理装置。 - 撮像手段と、
前記撮像手段によって生成された画像データから動き量を検出する動き量検出手段と、
前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
前記巡回型ノイズリダクション処理を制御する制御手段と、
前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
前記制御手段は、
前記ぶれ補正処理が動作していない場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、1つ以上の画素を含む領域単位で設定し、
前記ぶれ補正処理が動作している場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて領域単位で設定することを特徴とする撮像装置。 - 画像データから動き量を検出する動き量検出手段と、
前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
前記巡回型ノイズリダクション処理を制御する制御手段と、
前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
前記制御手段は、
前記ぶれ量が第1の閾値以下の場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、1つ以上の画素を含む領域単位で設定し、
前記ぶれ量が前記第1の閾値より大きい場合には、前記巡回型ノイズリダクション処理の強度を、前記画像データの全ての領域に一律に設定することを特徴とする画像処理装置。 - 撮像手段と、
前記撮像手段によって生成された画像データから動き量を検出する動き量検出手段と、
前記画像データを撮像した撮像装置のぶれ量を算出するぶれ算出手段と、
前記画像データに対して巡回型ノイズリダクション処理を行う処理手段と、
前記巡回型ノイズリダクション処理を制御する制御手段と、
前記ぶれ量を基に、前記巡回型ノイズリダクション処理が行われた画像データのぶれを抑えるぶれ補正処理を行う補正手段と、を有し、
前記制御手段は、
前記ぶれ量が第1の閾値以下の場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて、1つ以上の画素を含む領域単位で設定し、
前記ぶれ量が前記第1の閾値より大きい場合には、前記巡回型ノイズリダクション処理の強度を、前記動き量に基づいて領域単位で設定することを特徴とする撮像装置。 - 請求項1乃至12のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18196001.4A EP3462725A1 (en) | 2017-09-27 | 2018-09-21 | Image processing method, image processing apparatus, imaging apparatus, and program |
US16/141,662 US10812719B2 (en) | 2017-09-27 | 2018-09-25 | Image processing apparatus, imaging apparatus, and image processing method for reducing noise and corrects shaking of image data |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186768 | 2017-09-27 | ||
JP2017186768 | 2017-09-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062528A JP2019062528A (ja) | 2019-04-18 |
JP7118818B2 true JP7118818B2 (ja) | 2022-08-16 |
Family
ID=66178665
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164468A Active JP7118818B2 (ja) | 2017-09-27 | 2018-09-03 | 画像処理方法、画像処理装置、撮像装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7118818B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006197455A (ja) | 2005-01-17 | 2006-07-27 | Matsushita Electric Ind Co Ltd | ノイズリダクション装置 |
JP2009021868A (ja) | 2007-07-12 | 2009-01-29 | Sony Corp | 映像処理装置、映像処理方法、及びプログラム |
WO2015119207A1 (ja) | 2014-02-07 | 2015-08-13 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
-
2018
- 2018-09-03 JP JP2018164468A patent/JP7118818B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006197455A (ja) | 2005-01-17 | 2006-07-27 | Matsushita Electric Ind Co Ltd | ノイズリダクション装置 |
JP2009021868A (ja) | 2007-07-12 | 2009-01-29 | Sony Corp | 映像処理装置、映像処理方法、及びプログラム |
WO2015119207A1 (ja) | 2014-02-07 | 2015-08-13 | 株式会社モルフォ | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2019062528A (ja) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9454805B2 (en) | Method and apparatus for reducing noise of image | |
EP2849428B1 (en) | Image processing device, image processing method, image processing program, and storage medium | |
US9202263B2 (en) | System and method for spatio video image enhancement | |
US9413951B2 (en) | Dynamic motion estimation and compensation for temporal filtering | |
KR101652658B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기록 매체 | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
US9924097B2 (en) | Apparatus, method and recording medium for image stabilization | |
WO2014012364A1 (zh) | 一种多曝光运动图像的校正方法及装置 | |
US8436906B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
CN110401784B (zh) | 自适应调节滤波强度的运动平滑方法、***及视频设备 | |
CN111372000B (zh) | 视频防抖方法和装置、电子设备及计算机可读存储介质 | |
JP2006197455A (ja) | ノイズリダクション装置 | |
JP2004088234A (ja) | ノイズ低減装置 | |
US10812719B2 (en) | Image processing apparatus, imaging apparatus, and image processing method for reducing noise and corrects shaking of image data | |
CN108632501B (zh) | 视频防抖方法及装置、移动终端 | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
JP7118818B2 (ja) | 画像処理方法、画像処理装置、撮像装置、およびプログラム | |
JP2016201037A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
JP5219771B2 (ja) | 映像処理装置および映像処理装置の制御方法 | |
JP4052348B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP7039215B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20160328858A1 (en) | Image processing system, image processing method, and image processing program | |
US10848682B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7175702B2 (ja) | 像ブレ補正装置およびその制御方法、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7118818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |