JP2019140674A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2019140674A JP2019140674A JP2019004360A JP2019004360A JP2019140674A JP 2019140674 A JP2019140674 A JP 2019140674A JP 2019004360 A JP2019004360 A JP 2019004360A JP 2019004360 A JP2019004360 A JP 2019004360A JP 2019140674 A JP2019140674 A JP 2019140674A
- Authority
- JP
- Japan
- Prior art keywords
- value
- color
- average value
- image processing
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 198
- 238000003672 processing method Methods 0.000 title claims abstract 4
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 86
- 238000012937 correction Methods 0.000 claims description 31
- 238000011946 reduction process Methods 0.000 claims 6
- 238000003384 imaging method Methods 0.000 abstract description 21
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 230000014509 gene expression Effects 0.000 description 39
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
これに対し、例えば特許文献1に開示されているような方法が知られている。特許文献1には、信号中に含まれるノイズ量を推定し、その推定したノイズ量に応じてノイズ低減処理を実行する方法が開示されている。このように、信号中に含まれるノイズ量に応じてノイズ低減処理を実行することにより、高輝度部と低輝度部の間で異なる量のランダムノイズが含まれている場合でもノイズ低減処理を実行することが可能になる。
図1は、本実施形態における撮像システムの概略構成例を示した図である。
図1に示した撮像システムは、動画像を撮像および画像処理する装置としての監視カメラ101と、IPネットワーク網を介して相互に通信可能な状態で接続されるクライアント装置102とから構成されている。ここでは、監視カメラ101が本実施形態の画像処理装置の機能を備えている例を挙げて説明する。なお、クライアント装置102が本実施形態の画像処理装置の機能を備えていてもよい。監視カメラ101により撮影された動画は、クライアント装置102に送られて表示され、また必要に応じて記録等される。本実施形態では監視カメラ101を例に挙げたが、これには限定されず、例えばデジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどでもよい。
撮像光学系201は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッタ等を有して構成され、被写体等の光像を撮像素子部202の撮像面上に形成(結像)させる。撮像素子部202は、撮像面に入射した光を電気信号へと変換する撮像素子と、撮像素子の各画素に対応したカラーフィルタとを有して構成されたカラー撮像センサである。撮像素子部202は、カラーフィルタを透過して撮像面に入射した光を撮像素子により受光し、電気信号へ変換して出力する。なお、撮像素子部202は、全ての画素に対して、任意の露光時間を設定可能な撮像センサであるとする。本実施形態の監視カメラ101の場合、撮像素子部202では動画の撮像が行われ、撮像素子部202からは、動画の時間軸上で連続した各フレームの画像信号が出力される。
図3は、本実施形態の監視カメラ101が備えている画像処理部209の概略的な内部構成例を示すブロック図である。
画像入力部301には、前述のように撮像素子部202にて撮像され、A/D変換部208にてアナログデジタル変換された、動画の各フレームの画像信号が入力される。現像処理部302は、画像入力部301からの画像信号に対して、デモザイク、ホワイトバランス、ガンマ、シャープネスなどの処理を行う。NR(ノイズリダクション)処理部303は、現像処理部302による処理後の画像に、空間フィルタ処理あるいは時間フィルタ処理を施すことで、空間方向および時間方向に発生するランダムノイズを低減するNR処理を行う。本実施形態におけるNR処理部303の詳細な構成および動作については後述する。画像出力部304は、NR処理部303による処理後の画像信号を、図1のエンコーダ部210に出力する。なお、画像入力部301と画像出力部304は必須ではなく、A/D変換部208から出力された画像信号を現像処理部302に直接入力し、NR処理部303から出力された画像信号を直接エンコーダ部210に出力するように構成してもよい。
先ず、NR処理の原理について説明する。
一般的なNR処理の一つに、着目画素とその近傍の複数の参照画素について画素値の比較を行い、相関性の高い画素を加算平均した値を、着目画素のノイズ低減処理後の画素値として出力する方法が知れている。このとき、参照画素を参照する範囲や、参照画素と着目画素の相関を算出する際に用いるパラメータを変更することで、NR処理の強度を制御することが可能になる。
夜間等の暗い環境下で撮影されたSN比が小さい画像では、画像の三原色であるR(赤)成分、G(緑)成分、B(青)成分について特定の色に偏ってしまう色被りの現象が生じることがある。例えば、図4に示すように、上から白の領域401、グレーの領域402、黒の領域403の順に3つの無彩色領域が並んだチャート400を撮影したとする。図4に示したチャート400を、例えば低照度環境や高温環境で撮影した場合、デジタルゲインによって大きく増幅されるランダムノイズや温度上昇により発生する暗電流ノイズの影響を受けて、特定の色への偏り、つまり色被りが生ずる。例えば図5に示すように、R成分、G成分およびB成分の各成分間で平均値のずれ(つまり各色成分の各分布の偏り)が生ずることで、マゼンダ味を帯びた色被りが発生する。このような色被りは、特に、ランダムノイズが多く含まれる低輝度部に発生しやすい。なおノイズの多い低輝度部で平均値ずれが生じている場合において、特開2004−72422号公報に記載のNR処理強度決定方法を適用すると、低輝度部のようにランダムノイズが多く含まれると推定される領域にはNR処理強度が強く設定される。そのため、図5のNR処理実行前と比較して、図6に示すように、R成分、G成分およびB成分の各成分間の色の重なりが無くなって差が広がることで、マゼンダ味を帯びた色被りが更に強調された画像になってしまう。
本実施形態のNR処理部303は、入力信号取得部701、ノイズレベル算出部702、平均値算出部703、色彩値算出部704、NR強度決定部705、NR処理実行部706、出力信号保持部707を有して構成されている。
図9に示すように、NR強度決定部705は、色彩値変化量算出部901、平均値差分算出部902、クリップ処理部903、NR強度係数算出部904を有して構成される。
図10のS1001において、色彩値変化量算出部901は、色彩値算出部704から入力されたRGB入力信号の色彩値a* IN(v,h),b* IN(v,h)とRGB出力信号の色彩値a* OUT(v,h),b* OUT(v,h)との間の変化量を算出する。すなわち、色彩値変化量算出部901はNR処理前後の色彩値の変化量を算出する。例えば、色彩値変化量算出部901は、式(3)を用いて、NR処理前後の色彩値の変化量Δa*b*(v,h)を算出する。そして、色彩値変化量算出部901により算出された色彩値の変化量Δa*b*(v,h)はクリップ処理部903に送られる。なお、NR処理の対象とするフレームと、出力信号保持部707より読み出されたフレームとの間で、被写体に変化が生じていると、NR処理の結果に関係なく、色彩値の変化量が大きくなる。そこで、フレーム間で領域ごとに動きベクトルを算出し、動きベクトルが大きく、被写体に変化が生じた可能性が高いと推定できる領域においては、色彩値の変化量Δa*b*(v,h)を0、あるいは、デフォルト値に固定する構成を追加してもよい。
S806において、NR処理実行部706は、NR強度決定部705にて前述のように決定されたNR処理強度に基づき、入力信号取得部701からのRGB入力信号に対してNR処理を実行する。例えば、NR処理実行部706に実装されているNR処理がイプシロンフィルタによるNR処理であるすると、NR処理実行部706では、式(9)、式(10)の演算で表されるNR処理が行われる。
次にステップS808において、NR処理部303は、入力された現在のフレームの全ての画素についてS801〜807の処理を行ったか否かを判定する。そして、S808において未処理の画素があると判定した場合、NR処理部303の処理はS801に戻り、その未処理の画素についてS801〜807の処理が行われる。一方、S808において入力された現在のフレームの全ての画素についてS801〜807の処理が行われたと判定した場合、NR処理部303は、そのフレームについての図8のフローチャートを終了する。その後、NR処理部303では、次に入力されるフレームについての図8のフローチャートの処理を開始する。
色彩値算出部704が、同一フレームにおけるNR処理実行前とNR処理実行後の画像信号の色彩値を算出し、NR強度決定部705の色彩値変化量算出部901が、これらの色彩値の変化量を算出する構成としてもよい。具体的には、図11に示すように、NR処理部303は、入力信号取得部1101、ノイズ量算出部1102、平均値算出部1103、色彩値算出部1106、NR強度決定部1107、NR処理実行部1108に加えて、仮NR強度決定部1104と仮NR処理実行部1105から構成される。
前述の図11、図12のように構成することで、同一フレームの画像信号のNR処理実行前後の色彩値の変化量を基に、NR処理の強度および効果を決定してNR処理を行うことが可能になる。
以下、第2実施形態について説明する。
第2実施形態の撮像システム、監視カメラ101の内部構成は、概ね前述の第1実施形態の構成と同様であるため、それらの図示と説明は省略する。
図11は、第2実施形態におけるNR処理部303の内部構成例を示すブロック図である。第2実施形態のNR処理部303は、入力信号取得部1301、平均値算出部1302、色彩値算出部1303、NR強度決定部1304、NR処理実行部1305、出力信号保持部1306に加え、補正値算出部1307及び補正処理部1308を有している。入力信号取得部1301は図7の入力信号取得部701と同様のものである。以下、平均値算出部1302は平均値算出部703と、色彩値算出部1303は色彩値算出部704と、NR処理実行部1305はNR処理実行部706と、出力信号保持部1306は出力信号保持部707と同様のものであるため、それらの詳細説明は省略する。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (17)
- 画像信号から、色彩値を算出する色彩値算出手段と、
前記画像信号の平均値を算出する平均値算出手段と、
前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する決定手段と、
前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う処理手段と、
を有することを特徴とする画像処理装置。 - 前記平均値算出手段は、前記画像信号に含まれる複数の色成分ごとに平均値を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記色彩値算出手段は、前記画像信号のノイズ低減処理が実行される前の信号の前記色彩値と、前記ノイズ低減処理が実行された後の信号の前記色彩値とを算出することを特徴とする請求項2に記載の画像処理装置。
- 前記決定手段は、前記ノイズ低減処理が実行される前と後の前記色彩値の変化量を算出し、前記色成分ごとの前記平均値の差分値を算出し、前記平均値の差分値と前記色彩値の変化量とに基づいて、前記強度係数を算出することを特徴とする請求項3に記載の画像処理装置。
- 前記決定手段は、前記平均値の差分値と前記色彩値の変化量のそれぞれに対して、少なくとも二つの設定値との比較に基づくクリップ処理を行い、前記クリップ処理が行われた後の、前記平均値の差分値と前記色彩値の変化量とに基づいて、前記強度係数を算出することを特徴とする請求項4に記載の画像処理装置。
- 前記決定手段は、前記平均値の差分値が大きいほど前記強度係数を大きく設定することを特徴とする請求項4または5に記載の画像処理装置。
- 前記決定手段は、前記色彩値の変化量が小さいほど前記強度係数を大きく設定することを特徴とする請求項4から6のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記平均値の差分値と前記色彩の変化量との割合に応じて前記強度係数を算出することを特徴とする請求項7に記載の画像処理装置。
- 前記画像信号のノイズレベルを算出するノイズレベル算出手段を有し、前記評価値は、前記ノイズレベルを含むことを特徴とする請求項2から8のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記ノイズ低減処理が実行される前と後の前記色彩値の変化量を算出し、前記色成分ごとの前記平均値の差分値を算出し、前記ノイズレベルと前記平均値の差分値と前記色彩値の変化量とに基づいて前記強度係数を算出することを特徴とする請求項9に記載の画像処理装置。
- 前記決定手段は、ノイズレベルの値が大きいほど前記強度係数を大きく設定することを特徴とする請求項10に記載の画像処理装置。
- 前記決定手段は、前記ノイズレベルと前記平均値の差分値と前記色彩の変化量との割合に応じて、前記強度係数を算出することを特徴とする請求項10に記載の画像処理装置。
- 前記平均値と前記色彩値に基づいて前記画像信号を補正する補正手段とを有し、
前記処理手段は、前記補正手段によって補正された画像信号に対して、前記ノイズ低減処理を行うことを特徴とする請求項2に記載の画像処理装置。 - 前記決定手段は、前記色成分ごとの前記平均値の差分値を算出し、前記差分値が小さいほど前記強度係数を大きく設定することを特徴とする請求項13に記載の画像処理装置。
- 前記決定手段は、前記ノイズ低減処理が実行される前の信号の前記色彩値と前記ノイズ低減処理が実行された後の信号の前記色彩値との変化量を算出し、前記変化量が大きいほど前記強度係数を大きく設定することを特徴とする請求項13または14に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
画像信号から、色彩値を算出する工程と、
前記画像信号の平均値を算出する工程と、
前記平均値と前記色彩値を含む評価値に応じて、ノイズ低減処理の強度を示す強度係数を決定する工程と、
前記画像信号に対して、前記強度係数に応じた前記ノイズ低減処理を行う工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19156056.4A EP3528202B1 (en) | 2018-02-14 | 2019-02-07 | Image processing apparatus, image processing method, and program |
US16/275,019 US11100610B2 (en) | 2018-02-14 | 2019-02-13 | Image processing apparatus, image processing method, and storage medium |
CN201910113523.XA CN110166716B (zh) | 2018-02-14 | 2019-02-14 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018024128 | 2018-02-14 | ||
JP2018024128 | 2018-02-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019140674A true JP2019140674A (ja) | 2019-08-22 |
JP7263018B2 JP7263018B2 (ja) | 2023-04-24 |
Family
ID=67694518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019004360A Active JP7263018B2 (ja) | 2018-02-14 | 2019-01-15 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7263018B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005175718A (ja) * | 2003-12-09 | 2005-06-30 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2006211610A (ja) * | 2005-01-31 | 2006-08-10 | Olympus Corp | 撮像システム |
JP2006309524A (ja) * | 2005-04-28 | 2006-11-09 | Olympus Corp | 画像処理装置、画像処理方法、電子カメラ、スキャナ |
JP2011160168A (ja) * | 2010-02-01 | 2011-08-18 | Hitachi Consumer Electronics Co Ltd | 画像処理装置 |
JP2014165891A (ja) * | 2013-02-28 | 2014-09-08 | Hitachi Ltd | 撮像装置及び画像信号処理装置 |
-
2019
- 2019-01-15 JP JP2019004360A patent/JP7263018B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005175718A (ja) * | 2003-12-09 | 2005-06-30 | Olympus Corp | 撮像システムおよび画像処理プログラム |
JP2006211610A (ja) * | 2005-01-31 | 2006-08-10 | Olympus Corp | 撮像システム |
JP2006309524A (ja) * | 2005-04-28 | 2006-11-09 | Olympus Corp | 画像処理装置、画像処理方法、電子カメラ、スキャナ |
JP2011160168A (ja) * | 2010-02-01 | 2011-08-18 | Hitachi Consumer Electronics Co Ltd | 画像処理装置 |
JP2014165891A (ja) * | 2013-02-28 | 2014-09-08 | Hitachi Ltd | 撮像装置及び画像信号処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7263018B2 (ja) | 2023-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9124811B2 (en) | Apparatus and method for processing image by wide dynamic range process | |
KR101263888B1 (ko) | 화상처리장치 및 화상처리방법과 컴퓨터·프로그램 | |
JP7369175B2 (ja) | 画像処理装置およびその制御方法及びプログラム | |
US20140036106A1 (en) | Image processing apparatus and image processing method | |
CN105960658B (zh) | 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质 | |
JP2015156615A (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
US9589339B2 (en) | Image processing apparatus and control method therefor | |
JP2015186247A (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP2017037357A (ja) | 画像処理装置、プログラムおよび記録媒体 | |
JP2023106486A (ja) | 撮像装置及びその制御方法並びにプログラム | |
JP2015144475A (ja) | 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体 | |
US10621703B2 (en) | Image processing apparatus, image processing method, and program | |
KR102282457B1 (ko) | 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치 | |
CN111770321B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
KR20120122574A (ko) | 디지털 카메라 장치에서 영상 처리 장치 및 방법 | |
CN109672810B (zh) | 图像处理设备、图像处理方法和存储介质 | |
JP7263018B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2019016893A (ja) | 画像処理装置およびその制御方法及びプログラム | |
CN110166716B (zh) | 图像处理设备和图像处理方法 | |
US11270421B2 (en) | Image processing apparatus and image processing method that reduce image noise, and storage medium | |
JP6494388B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009239396A (ja) | 画像処理装置 | |
JP6849351B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010130612A (ja) | 撮像装置 | |
JP2017208748A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230412 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7263018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |