JP6946049B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6946049B2 JP6946049B2 JP2017098447A JP2017098447A JP6946049B2 JP 6946049 B2 JP6946049 B2 JP 6946049B2 JP 2017098447 A JP2017098447 A JP 2017098447A JP 2017098447 A JP2017098447 A JP 2017098447A JP 6946049 B2 JP6946049 B2 JP 6946049B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- processing
- information
- matrix conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
<第1の実施形態>
図1には、本実施形態の画像処理装置の一適用例としての撮像装置の概略構成例を示し、図2には、本実施形態の撮像装置が画像から特定の被写体領域を認識する処理のフローチャートを示している。本実施形態の撮像装置、例えば、デジタルカメラ、デジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末だけでなく、工業用カメラ、車載カメラ、医療用カメラ等にも適用可能である。
図1において、撮像部101は、レンズ、絞り、シャッタ、撮像素子及びその駆動回路を有し、撮像素子の撮像面上には画素毎に赤(R)、緑(G)、青(B)のカラーフィルタが配されている。撮像部101の撮像素子は、不図示の撮影レンズにより撮像面上に結像された光学像を光電変換することにより、RGBのアナログ撮像信号を出力する。撮像部101から出力されたアナログ撮像信号は、A/D変換部102によりデジタル画像データに変換されてWB処理部103に送られる。
表示部105は、信号処理部104による処理後のYUVの画像データがバス108を介して供給され、その画像データから表示用の映像信号を生成し、その映像信号に基づく映像を表示デバイスの画面上に表示させる。また、表示部105は、記録部106が記録媒体から再生した画像データに基づく映像についても、画面上に表示させることができる。
図3(a)は、撮影画像の一例を示し、この撮影画像には空領域300と人物領域310とそれ以外の物体領域320(例えば地面)とが含まれているとする。図3(b)は、図3(a)の撮影画像例に対し、それぞれ係数値が異なる第1、第2の二つの色マトリックス変換を行った場合の、色差のUV空間での値をプロットした図である。図3(b)の横軸は色差のU成分を、縦軸は色差のV成分を示している。第1の色マトリックス変換は標準の色マトリックス変換であり、この色マトリックス変換で用いられる係数値は、例えば空の青色を標準的な青色とする値に設定されているとする。一方、第2の色マトリックス変換では、画質調整処理により例えば空の青色を青色とは異なる色(例えば紫色)とするような係数値が設定されているとする。図3(b)の場合、値301は第1の色マトリックス変換が行われた場合の空領域300の平均値を示し、値302は第2の色マトリックス変換が行われた場合の空領域300の平均値を示しているとする。また、値311は第1の色マトリックス変換が行われた場合の人物領域310の平均値、値312は第2の色マトリックス変換が行われた場合の人物領域310の平均値を示しているとする。
図4のS401において、領域判別処理部112は、制御部107による制御の下、画像ファイルの画像データ(YUV画像データ)を取得する。そして、領域判別処理部112は、その画像について、公知のSuperpixel(以下、SPと表記する。)を算出する手法等により、似た色と輝度を有する隣接領域を繋いだ小領域を生成するグルーピング処理を行う。これにより、画像ファイルの画像は、似た色と輝度を有する小領域ごとに分けられることになる。
次のS403において、領域判別処理部112は、下記の式(1)により、SP毎のYUVの平均値(Ysp,Usp,Vsp)と、基準画素値(Ysk,Usk,Vsk)との差分SUBを求める。基準画素値(Ysk,Usk,Vsk)は、標準の色マトリックス変換(第1の色マトリックス変換)により得られる空の青色に対応したYUVの各値であり、この実施形態の領域判定処理における色目標値である。さらに、領域判別処理部112は、SP毎のYUVの平均値(Ysp,Usp,Vsp)と、基準画素値(Ysk,Usk,Vsk)との差分SUBが、所定の閾値以内であるか否かを判定する。
以下、本発明の第2の実施形態について説明する。
図5には第2の実施形態における認識処理のフローチャートを示し、図6には第2の実施形態において標準の色マトリックス変換とは異なる色マトリックス変換が行われた場合の画像の色相変化の説明図を示す。
第2の実施形態では、領域の認識精度が下がることが予測される色マトリックス変換が行われた場合には、領域判別を中止して、領域認識の誤りが生ずるのを防ぐようにする。第2の実施形態において、第1の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。
S501において、制御部107は、前述のS201と同様に、画像ファイルを取得し、さらに、メタ情報の現像パラメータの中から色マトリックス変換の設定情報を取得する。また、制御部107は、前述同様に、ROM110の初期設定情報の中から、画像ファイルのメタ情報から取得した色マトリックス変換の設定情報に応じた係数値と、標準MTXパラメータとを取得する。第2の実施形態の場合、制御部107は、さらにROM110の初期設定情報の中から、領域の認識精度が下がることが予測される第3の色マトリックス変換の係数値についても取得する。以下、第3の色マトリックス変換の係数値を第3のMTXパラメータとする。S501の後、制御部107は、S502に処理を進める。
以下、第3の実施形態について説明する。
第3の実施形態では、第1、第2の実施形態のように、第2の色マトリックス変換が行われた画像の色を第1の色マトリックス変換による標準的な色に近づける色マトリックス変換を行う代わりに、領域判別処理時の空領域の色目標値を修正する。第3の実施形態において、第1、第2の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。
S701において、制御部107は、前述のS501と同様に、画像ファイルを取得し、さらにメタ情報の現像パラメータの中から色マトリックス変換の設定情報を取得する。また、制御部107は、前述のS501と同様に、ROM110の初期設定情報の中から、画像ファイルのメタ情報から取得した色マトリックス変換の設定情報に応じた係数値と、標準MTXパラメータとを取得し、さらに第3のMTXパラメータをも取得する。S701の後、制御部107は、S702に処理を進める。
第3の実施形態の場合の領域判別処理は、概ね前述した図4のフローチャートで説明した処理と同様である。ただし、第3の実施形態の場合、S403の処理が異なる。なお、S401、S402、S404、S405、S406については概ね前述同様であるためそれらの説明は省略する。
ここで、S704の処理後にS705の処理に進んだ場合、領域判別処理部112には、修正色目標値(Yskn,Uskn,Vskn)が設定されている。このため、領域判別処理部112は、S403において、式(1)のYsk,Usk,VskをYskn,Uskn,Vsknに代えた式(2)により、差分SUBを算出する。すなわち、式(2)では、SP毎のYUVの平均値(Ysp,Usp,Vsp)と修正色目標値(Yskn,Uskn,Vskn)との差分SUBが算出される。
なお、S703において、標準MTXパラメータと同じであると判定されてS705に進んだ場合、領域判別処理部112には、前述同様の基準画素値(Ysk,Usk,Vsk)が設定されているため、前述のS403と同様の判定処理が行われることになる。
以下、第4の実施形態について説明する。
第4の実施形態では、撮影画像に対する画質調整処理として、例えばWB設定値が、AWB処理で得られるWB設定値(通常の撮影条件で設定されるAWB設定値)から大きく変更された場合を例に挙げる。すなわち、WBの色温度設定値等を調整する画質調整処理が行われた場合、その調整後のWB設定値は、AWB設定値とは異なるWB設定値となる。以下の説明では、AWB設定値を標準WBパラメータと呼ぶことにし、AWB設定値とは異なる値に調整されたWB設定値を調整WBパラメータと呼ぶことにする。WB設定値を標準WBパラメータから調整WBパラメータに変更する画質調整処理としては、例えばWBの色温度設定値を標準WBパラメータの場合よりも大幅に低くして、青空の青色を極端に濃くするような処理等が想定される。第4の実施形態において、第1の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。なお、第4の実施形態の場合、信号処理部104では、標準の色マトリックス変換(第1の色マトリックス変換)が行われ、前述した実施形態のように第2や第3の色マトリックス変換については行われないとする。
図8において、特定の被写体領域(空領域)の認識処理を行う場合、制御部107は、先ずS801の処理として、記録部106を介して記録媒体から画像ファイルを取得する。また、制御部107は、画像ファイルのヘッダのメタ情報に含まれている現像パラメータの中から、WB設定値の情報を取得する。ここで、第4の実施形態の場合、メタ情報の中のWB設定値には、標準WBパラメータであるAWB設定値の他、WBの色温度設定値等を調整する画質調整処理が行われた場合の調整WBパラメータも含まれる。S801の後、制御部107は、S802に処理を進める。
WB=WBst/WBc 式(4)
以下、第5の実施形態について説明する。
撮影時にWB設定値を変更する画質調整処理が行われた場合、その変更されたWB設定値によるWB処理後の画像は、領域の認識精度が下がってしまうことが予想される画像になることも考えられる。このように領域の認識精度が下がることが予測されるWB処理が行われた場合、第5の実施形態として、前述の第2の実施形態と同様に、制御部107は、領域判別処理部112での領域判別処理を中止してもよい。これにより、領域認識の誤りが生ずるのを防ぐことが可能となる。すなわち、第5の実施形態によれば、領域の認識精度が下がることが予測されるWB処理が行われた場合であっても、前述した第2の実施形態と同様、空領域の誤検出を減らし、精度のよい領域認識を行うことが可能となる。
以下、第6の実施形態について説明する。
前述の第4の実施形態では、調整WBパラメータによるWB処理後の画像に対し、標準WBパラメータによるWB処理後の画像に近づくようなWBゲイン処理を施す例を挙げたが、前述の第3の実施形態のように色目標値の修正が行われてもよい。すなわち第6の実施形態として、制御部107は、調整WBパラメータによるWB処理後の画像に対し、標準WBパラメータのWB処理後の画像に近づけるゲイン処理を行う代わりに、領域判別処理部112で用いる空領域の色目標値を修正する。これにより、第6の実施形態によれば、撮影時等に調整WBパラメータによるWB処理がなされて例えば色温度が変わった画像であっても、精度のよい領域認識を行うことが可能となる。
以下、第7の実施形態について説明する。
第7の実施形態では、撮影された画像に対し、それぞれ異なる色マトリックス変換を行うようにし、一方の色マトリックス変換後の画像を記録し、他方の色マトリックス変換後の画像を認識処理に用いるようにする例である。他方の色マトリックス変換後の画像は、認識処理にのみ用い、その画像ファイルの記録は行わないとする。第7の実施形態では、記録される画像に施される一方の色マトリックス変換が前述の第2の色マトリックス変換、認識処理に用いられる画像に施される他方の色マトリックス変換が第1の色マトリックス変換となされている。
WB処理部103によりWB処理が行われた画像データは、信号処理部104及び信号処理部905に送られる。信号処理部104と信号処理部905は、前述同様に公知のノイズ抑圧処理、輝度信号処理、色マトリックス変換処理を含む色信号処理等を行い、YUV画像データを出力する。ただし、第7の実施形態の場合、信号処理部104は第2の色マトリックス変換による色信号処理を行い、信号処理部905は第1の色マトリックス変換による色信号処理を行う。信号処理部104による信号処理後の画像データは、前述した第1の実施形態と同様に、撮影されて記録されるYUVの画像データとして出力される。一方、信号処理部905による信号処理後の画像データは、領域判別処理部906に送られる。
なお、第7の実施形態の場合、第1の色マトリックス変換がなされた画像データは、領域判別処理後に破棄されるが、第2の色マトリックス変換された画像ファイルとともに記録しておくようにしてもよい。
以下、第8の実施形態について説明する。
第8の実施形態では、撮影された画像に対し、それぞれ異なるWB設定値によるWB処理を行うようにし、一方のWB設定値によるWB処理後の画像を記録し、他方のWB設定値によるWB処理後の画像を認識処理に用いるようにする例である。他方のWB設定値によるWB処理後の画像は、認識処理にのみ用い、その画像ファイルの記録は行わないとする。第8の実施形態では、記録される画像に施される一方のWB設定値が前述の調整WBパラメータ、認識処理に用いられる画像に施される他方のWB設定値が基準WBパラメータとなされている。第8の実施形態において、前述した第4の実施形態と同じ処理、構成に関してはその詳細な説明を省略する。
A/D変換部102から出力されたRGBの画像データは、WB処理部103及びWB処理部1005に送られる。WB処理部103とWB処理部1005は前述同様に公知のWB処理を行う。ただし、第8の実施形態の場合、WB処理部103では、前述した第4の実施形態の場合と同様、標準WBパラメータとは異なる調整WBパラメータによるWB処理が行われ、一方、WB処理部1005では、標準WBパラメータによるWB処理が行われる。そして、WB処理部103によるWB処理後の画像データは信号処理部104に送られ、WB処理部1005によるWB処理後の画像データは信号処理部1006に送られる。
なお、第8の実施形態の場合、標準WBパラメータによるWB処理に係る画像データは、領域判別処理後に破棄されるが、標準WBパラメータとは異なるWB処理に係る画像ファイルとともに記録しておくようにしてもよい。
前述した第1〜第8の実施形態では、画質調整処理として、色マトリックス変換とWB処理の何れか一方のみが、それぞれ標準の色マトリックス変換や標準のWB処理とは異なっている例について説明した。第9の実施形態では、画質調整処理として、色マトリックス変換とWB処理の両方とも、それぞれ標準の色マトリックス変換と標準のWB処理とは異なっている例を挙げる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (9)
- 画像に付加されているメタ情報から、前記画像に対して施された色の変更処理に関する情報を取得する取得手段と、
画像の色情報を基に被写体を判別する判別手段と、
画像に対して色の変更処理を行う処理手段と、を有し、
前記取得手段が取得した情報が、前記画像に対して第1の色の変更処理が施されたことを示す情報であれば、前記判別手段が、前記第1の色の変更処理が施された画像の色情報を基に前記被写体を判別し、
前記取得手段が取得した情報が、前記画像に対して前記第1の色の変更処理と異なる第2の色の変更処理が施されたことを示す情報であれば、前記処理手段が、前記第2の色の変更処理ではなく前記第1の色の変更処理が施された画像に近づくように、前記第2の色の変更処理が施された画像に対して更なる色の変更処理を行い、前記判別手段が、前記更なる色の変更処理が施された画像の色情報を基に前記被写体を判別する
ことを特徴とする画像処理装置。 - 前記色の変更処理は、色マトリックス変換により色を調整する処理と、ホワイトバランスを調整する処理との、少なくとも一つの処理を含むことを特徴とする請求項1に記載の画像処理装置。
- 前記第1の色の変更処理は、初期設定された色マトリックス変換の係数値による色マトリックス変換を行う処理であり、
前記第2の色の変更処理は、前記初期設定された色マトリックス変換の係数値とは異なる係数値による色マトリックス変換を行う処理であることを特徴とする請求項1に記載の画像処理装置。 - 前記第1の色の変更処理は、オートホワイトバランスによるホワイトバランス設定値によりホワイトバランスを調整する処理であり、
前記第2の色の変更処理は、前記オートホワイトバランスによるホワイトバランス設定値とは異なるホワイトバランス設定値によりホワイトバランスを調整する処理であることを特徴とする請求項1に記載の画像処理装置。 - 前記判別手段は、前記画像の色情報が近い領域をグルーピングし、前記グルーピングした領域が特定の被写体であるか否かを判別することを特徴とする請求項1から4の何れか1項に記載の画像処理装置。
- 前記判別手段は、前記画像に対して施される前記調整として、前記被写体の色情報と、前記被写体とは異なる領域の色情報とがほぼ一致する色の変更処理がなされている場合には、前記判別を中止することを特徴とする請求項2または4に記載の画像処理装置。
- 前記色の変更処理は、撮像された画像に対して施されることを特徴とする請求項1から6の何れか1項に記載の画像処理装置。
- 画像に付加されているメタ情報から、前記画像に対して施された色の変更処理に関する情報を取得する工程と、
画像の色情報を基に被写体を判別する工程と、
画像に対して色の変更処理を行う工程と、を有し、
前記メタ情報から取得した情報が、前記画像に対して第1の色の変更処理が施されたことを示す情報であれば、前記第1の色の変更処理が施された画像の色情報を基に前記被写体を判別し、
前記メタ情報から取得した情報が、前記画像に対して前記第1の色の変更処理と異なる第2の色の変更処理が施されたことを示す情報であれば、前記第2の色の変更処理ではなく前記第1の色の変更処理が施された画像に近づくように、前記第2の色の変更処理が施された画像に対して更なる色の変更処理を行い、前記更なる色の変更処理が施された画像の色情報を基に前記被写体を判別する
ことを特徴とする画像処理装置の画像処理方法。 - コンピュータを、請求項1から7の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098447A JP6946049B2 (ja) | 2017-05-17 | 2017-05-17 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017098447A JP6946049B2 (ja) | 2017-05-17 | 2017-05-17 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195989A JP2018195989A (ja) | 2018-12-06 |
JP6946049B2 true JP6946049B2 (ja) | 2021-10-06 |
Family
ID=64571857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017098447A Active JP6946049B2 (ja) | 2017-05-17 | 2017-05-17 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6946049B2 (ja) |
-
2017
- 2017-05-17 JP JP2017098447A patent/JP6946049B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018195989A (ja) | 2018-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101441786B1 (ko) | 피사체 판정 장치, 피사체 판정 방법, 및 기록 매체 | |
JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020166628A (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
JP2006352795A (ja) | 撮像装置及び画像処理方法 | |
KR101309008B1 (ko) | 화상처리방법 및 화상처리장치 | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
JP2020144488A (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
JP2008236101A (ja) | 撮像装置および撮像方法 | |
JP6083974B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN113691795A (zh) | 图像处理设备、图像处理方法和存储介质 | |
JP2007329619A (ja) | 映像信号処理装置と映像信号処理方法、および映像信号処理プログラム。 | |
JP2006295582A (ja) | 画像処理装置と撮像装置、および画像処理プログラム | |
CN108737797B (zh) | 白平衡处理方法、装置和电子设备 | |
CN111866369B (zh) | 图像处理方法及装置 | |
US10929960B2 (en) | Method and image processing device for detecting a portion of an image | |
JP6946049B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113744167B (zh) | 一种图像数据转换方法及装置 | |
JP4335727B2 (ja) | 顔抽出を行うディジタルカメラ | |
CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
KR101722969B1 (ko) | 이동 물체 검출 장치 및 그 제어 방법 | |
JP2009239772A (ja) | 撮像装置、画像処理装置、および画像処理方法、並びにプログラム | |
JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
JP7286328B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7485356B2 (ja) | ひび割れ検出方法、ひび割れ検出装置及びプログラム | |
JP2019165398A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210305 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210915 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6946049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |