JP6663223B2 - 画像処理装置および方法、および撮像装置 - Google Patents

画像処理装置および方法、および撮像装置 Download PDF

Info

Publication number
JP6663223B2
JP6663223B2 JP2016001955A JP2016001955A JP6663223B2 JP 6663223 B2 JP6663223 B2 JP 6663223B2 JP 2016001955 A JP2016001955 A JP 2016001955A JP 2016001955 A JP2016001955 A JP 2016001955A JP 6663223 B2 JP6663223 B2 JP 6663223B2
Authority
JP
Japan
Prior art keywords
shadow
image
shadow area
edge feature
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016001955A
Other languages
English (en)
Other versions
JP2017123069A5 (ja
JP2017123069A (ja
Inventor
哲也 秦
哲也 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016001955A priority Critical patent/JP6663223B2/ja
Publication of JP2017123069A publication Critical patent/JP2017123069A/ja
Publication of JP2017123069A5 publication Critical patent/JP2017123069A5/ja
Application granted granted Critical
Publication of JP6663223B2 publication Critical patent/JP6663223B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置および方法、および撮像装置に関し、特に、入力された画像に含まれる影の領域を補正する技術に関する。
従来、撮影された画像に含まれる被写体の影領域を検出し、検出した影領域の明るさや色を補正することで、影を除去する補正を行う技術が知られている。
特許文献1には、撮影画像中の影領域と非影領域とを検出し、影領域の輝度、色情報を、非影領域の輝度、色情報に近づけるよう補正し、影を除去する補正を行う技術が開示されている。
特開2010−237976号公報
影領域の明るさや色を、非影領域の明るさや色を参照して補正する場合、参照する非影領域は、影が重畳されている背景被写体と同一の背景被写体に属する領域から選ぶ必要がある。これは、選択された影領域と非影領域とが互いに異なる被写体に属する場合、影領域に対する補正量を適切に求めることができないからである。
特許文献1では、非影領域より暗く、かつ、非影領域と色相が大きく異なっていない領域を影領域と判定することで、影領域と非影領域とを同一被写体領域から選び出すようにしている。しかしながら、影領域や非影領域に位置する背景被写体の配置や特性、照明環境によっては、明るさや色情報のみを用いる従来の検出方法では、影領域に対応する非影領域を適切に検出することができない場合がある。
例えば、影領域や非影領域に、似た色相の異なる被写体が位置している場合に、色相の近い領域を検出する方法を用いると、異なる被写体に属する領域を誤って検出してしまう場合がある。また、フラッシュを用いた撮影において、フラッシュ光によって生じた影を補正する場合では、影領域と非影領域とでは照射されている光源が異なるため、影領域と非影領域とが異なる色相になる場合が考えられる。
本発明は上記問題点を鑑みてなされたものであり、撮影された画像における影を、より精度良く低減できるようにすることを目的とする。
上記目的を達成するために、本発明の画像処理装置は、撮影画像を取得する取得手段と、前記撮影画像に含まれる被写体の影領域を検出する影領域検出手段と、前記撮影画像に含まれる前記影領域を除く非影領域の画像信号に基づいて、前記影領域の画像信号を補正し、被写体の影を低減させる補正処理を行う補正手段と、前記撮影画像に含まれるエッジ特徴量を検出するエッジ検出手段と、を備え、前記補正手段は、前記影領域におけるエッジ特徴量と前記非影領域のエッジ特徴量に基づいて、前記影領域に対応する非影領域を抽出し、前記抽出した非影領域の画像信号に基づき、前記補正処理を制御する。
本発明によれば、撮影された画像における影を、より精度良く低減できるようにすることができる。
本発明の実施形態におけるデジタルカメラの構成を示すブロック図。 実施形態における画像処理部の構成を示すブロック図。 第1の実施形態における撮影処理及び影低減処理を示すフローチャート。 第1の実施形態における撮影画像および差分画像の一例を示す図。 第1の実施形態における非影領域検出処理を示すフローチャート。 第1の実施形態におけるエッジ特徴量の算出方法を説明する図。 第2の実施形態における撮影処理及び影低減処理を示すフローチャート。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では、画像処理装置としてデジタルカメラに適用した例について説明する。特に、実施形態では、フラッシュ光を用いた撮影を行う場合に、フラッシュ光が照射された被写体の背後に生じる影を補正する場合を例に取って説明する。
<第1の実施形態>
以下、図1〜6を参照して、本発明の第1の実施形態について説明する。図1は、第1の実施形態におけるデジタルカメラ100の構成例を示すブロック図である。
図1に示すデジタルカメラ100において、ズームレンズ、フォーカスレンズを含むレンズ群101(撮像光学系)、及び、絞り機能を備えるシャッター102を介して入射した光は、撮像部103において光電変換される。撮像部103は、CCDやCMOS素子などで構成され、光電変換により得られた電気信号は、画像信号としてA/D変換器104へ出力される。A/D変換器104は、撮像部103から出力されるアナログ画像信号をデジタル画像信号(画像データ)に変換し、画像処理部105に出力する。
画像処理部105は、A/D変換器104からの画像データ、または、メモリ制御部107を介して画像メモリ106から読み出された画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理、色補正処理などの各種画像処理を行う。画像処理部105から出力された画像データは、メモリ制御部107を介して画像メモリ106に書き込まれる。画像メモリ106は、画像処理部105が各種画像処理を行う際に一時的に画像データを記憶するほか、I/F111を介して記録媒体112から読み込まれた画像データや、表示部109に表示するための画像データを記憶する。
顔検出部113は、撮影された画像から人物の顔が存在する顔領域を検出する。画像処理部105では、顔検出部113の顔検出結果や、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値に基づいてシステム制御部50が露光制御および焦点調節制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、フラッシュ発光部123の発光制御処理などを行う。また、画像処理部105は、後述する方法により、画像中の影を低減する影低減処理も行う。
D/A変換器108は、入力されたデジタル信号をアナログ信号に変換する。例えば画像メモリ106に格納されている表示用のデジタルの画像データをアナログ信号に変換して表示部109に出力する。表示部109は、LCD等の表示装置を有し、撮影された画像、記録媒体112から読み出された画像、ライブビュー画像等を表示するほか、操作を行うためのユーザインターフェースを表示する。
コーデック部110は、画像メモリ106に記録された画像データを、例えばMPEGなどの規格に準拠した形式で符号化または復号化する。インタフェース(I/F)111は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体112を、デジタルカメラ100と機械的および電気的に接続する。システム制御部50は符号化した画像データを、I/F111を介して、メモリカードやハードディスク等の記録媒体112に格納する。
システム制御部50は、CPUまたはMPUを含み、不揮発性メモリ121に記憶されているプログラムをシステムメモリ122の作業領域に展開することにより実行して、デジタルカメラ100全体の各機能を制御する。
操作部120は、上述したインターフェースを表示するタッチパネルやボタン、スイッチを含み、ユーザによる操作を検出すると、システム制御部50に検出された操作を通知する。不揮発性メモリ121は、補助記憶装置として、プログラムやパラメータなどを格納するEEPROMなどの不揮発性の半導体メモリを含む。システムメモリ122は、主記憶装置として、不揮発性メモリ121から読みだしたプログラム等を展開するほか、システム制御部50の動作用の定数、変数を記憶する。
フラッシュ発光部123は、照明装置であり、デジタルカメラ100に内蔵された照明装置であっても、デジタルカメラ100に着脱可能な照明装置であってもよく、撮影環境が暗い場合に撮影補助光を発光する。フラッシュ発光部123を発光させるか否か、また、発光させる場合の発光量は、画像処理部105が決定する。
なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
次に、画像処理部105の主要な構成を、図2を参照して説明する。画像信号生成部201は、A/D変換器104、または、メモリ制御部107から出力されたベイヤー配列の画像データに対して同時化処理を行い、画像信号R,G,Bを生成する。なお、画像信号の形態として、輝度信号と色差信号とを用いるようにしても良い。画像信号生成部201は、生成した画像信号を出力する。
影領域検出部202は、画像信号生成部201から出力された画像信号の中から、被写体の影領域を検出し、エッジ特徴量算出部203(エッジ検出手段)に影領域の情報を出力する。エッジ特徴量算出部203は、影領域検出部202から出力された影領域の情報に基づいて、画像信号生成部201から出力された画像に含まれる影領域および非影領域に対して、エッジの特徴を表すエッジ特徴量を算出し、非影領域検出部204に出力する。非影領域検出部204は、エッジ特徴量算出部203が算出したエッジ特徴量を用いて、画像信号生成部201から出力された画像信号から、影領域に対する非影領域を検出する。
影領域補正部205は、影領域検出部202および非影領域検出部204の検出結果に基づき、影領域の画像信号に対して、影を低減する補正を行う。
次に、図3のフローチャートを参照して、第1の実施形態における撮影処理及び影低減処理について説明する。なお、この処理は、ユーザによる操作部120の操作により、影低減処理を行う影低減撮影モードが設定されている場合であって、フラッシュ発光部123を用いたフラッシュ撮影を行う場合に実行される。
まず、S301において、フラッシュ発光部123を発光しない状態で撮影を行い、非発光画像データを取得し、画像メモリ106へ記録する。次に、S302において、フラッシュ発光部123を発光した状態で撮影動作を行い、発光画像データを取得し、画像メモリ106へ記録する。
S303では、非発光画像データと発光画像データとを画像メモリ106より読み出し、影領域検出部202が、発光画像データの中のフラッシュ光によって生じた影領域を検出する。ここで、影領域の検出方法について、図4を用いて詳しく説明する。
図4は、一連の撮影と影低減処理において得られる撮影画像および差分画像の画像データの例を示したものである。図4(a)はS301で撮影した非発光画像、図4(b)はS302で撮影した発光画像を表す。また、領域401は撮影の対象である主要な被写体を表し、網掛けしていない領域A402と、網掛けした領域B403は、壁などの背景となる被写体を表す。ここでは、領域A402と領域B403とで、背景となる被写体の色や模様が異なる場合を表している。また、影領域A404および影領域B405はそれぞれ、フラッシュ光によって、背景被写体領域A402および背景被写体領域B403上に生じた影領域を表す。
影領域検出部202は、まず、主要な被写体401の明るさが、非発光画像と発光画像において同一となるように非発光画像の明るさを補正した後、両者の画素値の差分を算出する。ここで差分が発生するのは、図4(c)に示したように影領域A404および影領域B405のみとなるため、差分が発生した領域を影領域として検出する。
S304では、非影領域検出部204が、発光画像データの中から、S303で検出した影領域に対応する非影領域を検出する。ここでの非影領域の検出方法は、後で詳しく説明する。
S305では、影領域補正部205が、画像信号生成部201より入力される発光画像データの中の影領域に対して、非影領域検出部204が検出した非影領域の色、輝度情報を参照して、影を低減する補正を行う。具体的には、図4に示す例の場合、影領域A404の画素値が背景被写体領域A402の非影領域での値に、影領域B405の画素値が背景被写体領域B403の非影領域での値に近づくように、所定のゲイン値を適用することによって補正を行い、処理を終了する。または、影領域A404および影領域B405における画像信号の少なくとも一部を、それぞれ背景被写体領域A402および背景被写体領域B403の非影領域における画像信号によって置き換えることによって補正を行う。
次に、図4を参照して、S304で行われる、非影領域検出部204が発光画像データ中の非影領域を検出する方法について、詳しく説明する。第1の実施形態では、上述した通り、非影領域の色、輝度情報を参照して、影領域の色、輝度を補正する。このため、影領域と、参照する非影領域とが、同一の背景被写体領域に含まれている必要がある。図4に示す画像の場合、影領域A404を補正する際には、参照する非影領域として背景被写体領域A402の非影領域が、影領域B405を補正する際には、参照する非影領域として背景被写体領域B403の非影領域が、それぞれ検出される必要がある。
図5は、非影領域検出処理を示すフローチャートである。まず、S501において、エッジ特徴量算出部203が、画像信号生成部201から出力された発光画像データのうち、影領域検出部202が検出した影領域に対してエッジ検出を行い、エッジ特徴量を算出する。具体的には、図6に示す係数を有するラプラシアンフィルタを画像データから生成した輝度信号に対して適用し、出力値の絶対値を取った後に、輝度に対して正規化した値をエッジの特徴を表すエッジ特徴量として用いる。エッジ特徴量算出部203は、上述したようにして影領域に含まれる各画素に対して順次、エッジ特徴量を算出し、更に、影領域の画素のエッジ特徴量に基づいてクラスタリングする。図4(b)の影領域A404および影領域B405の場合のように、背景となる被写体が異なる場合には、エッジ特徴量も異なる値を持つ。従って、エッジ特徴量によるクラスタリングによって、背景となる被写体毎の影領域に分割することが可能である。
次にS502において、エッジ特徴量算出部203が、非影領域に対して、S501と同様の処理を行い、各画素に対するエッジ特徴量を算出し、エッジ特徴量に基づくクラスタリングによって、非影領域を分割する。
S503では、算出したエッジ特徴量に基づいて、影領域に対応する非影領域を検出する。S501、S502で算出したエッジ特徴量は、画像に含まれる被写体に起因する高周波エッジの特徴を表すものである。したがって、影領域であるか非影領域であるかに関わらず、背景となる被写体が同一の場合には、算出したエッジ特徴量は近い値を取ると考えられる。第1の実施形態では、この特性を利用し、エッジ特徴量に基づいて、影領域に対応する非影領域を検出する。
具体的には、非影領域検出部204は、まず、影領域、非影領域をクラスタリングした分割領域のそれぞれについて、エッジ特徴量の平均値を算出する。次に、影領域をクラスタリングした分割領域それぞれに対して、算出した影領域のエッジ特徴量の平均値に最も近いエッジ特徴量の平均値を持つ非影領域の分割領域を抽出する。対応する非影領域が抽出できた場合には、その結果を影領域補正部205へ出力する。そして、影領域補正部205は、上述したようにして、入力された影領域と非影領域の情報を用いて、影領域の補正処理を行う。
以上説明したように第1の実施形態によれば、エッジの特徴量に基づいて、影領域に対応する非影領域を検出し、検出した情報に基づいて、影低減処理を制御する。このようにすることで、非影領域を参照して影低減処理を行う際に、同一の背景被写体に属する非影領域を検出して低減することが可能となり、影低減処理の精度を向上させることが可能となる。
なお、第1の実施形態では、影領域のエッジ特徴量と近い値を持つ非影領域を参照して、影を補正する場合について説明したが、本発明は、エッジ特徴量を用いて影低減処理を行う方法であれば、どのような方法を用いても構わない。例えば、対象とする影領域のエッジ特徴量と近い値を持つ非影領域が存在するか否かによって、影低減処理を実行するか否かを切り替えるよう制御しても良い。
また、第1の実施形態では、影領域に対応する非影領域の抽出を、エッジ特徴量のみによって行う場合について説明したが、本発明は、エッジ特徴量を用いて、非影領域の検出を制御する方法であれば、どのような方法を用いても構わない。例えば、ある影領域に対して、エッジ特徴量が予め決められた閾値よりも近い値を持つ非影領域が複数存在する場合には、互いの間の距離が最も近い非影領域を優先して選択するようにして、影領域と非影領域を検出するようにしても良い。また、色相を比較して、エッジ特徴量が近い値を持ち、かつ、色相が互いに近い値を持つ領域を、影領域と非影領域として検出するようにしても良い。また、色、輝度情報に基づいて影領域と非影領域とを検出する場合に、影領域のエッジ特徴量と大きく異なるエッジ特徴量を持つ非影領域を、検出範囲から予め除外して検出するようにしても良い。
また、第1の実施形態では、エッジ抽出フィルタの出力値をエッジの特徴を表す量として用いる場合について説明したが、本発明は、入力画像のエッジの特徴を表す量であれば、どのような方法を用いても構わない。例えば、縦方向、横方向、斜め方向など、特定の方向のエッジを検出するフィルタを方向毎に用意し、方向毎のエッジ検出フィルタの出力値(分布)をエッジ特徴量として用いるようにしても良い。すなわち、エッジの量だけでなく、エッジの方向に関する特徴も合致することを条件として、影領域と非影領域とを検出するようにしても良い。また、影領域中の振幅の大きい主要なエッジを抽出し、そのエッジのパターンが非影領域に存在するか否かを、公知のパターンマッチングの手法によって探索するようにしても良い。この場合、主要なエッジのパターンが合致する領域を、影領域と対応する非影領域として検出するようにする。
また、第1の実施形態では、エッジ特徴量に応じてクラスタリングした分割領域毎に、非影領域の検出を行う場合で説明したが、本発明は、非影領域の検出方法をこれに限定するものではない。例えば、画像を所定の大きさの複数のブロックに分割し、ブロック毎にエッジ特徴量を算出して、エッジ特徴量の平均値を算出するようにしても良い。この場合、影領域として判定されたブロックのエッジ特徴量の平均値に最も近い値を持つ非影領域のブロックを検出するようにする。
また、第1の実施形態では、影領域の補正方法として、影領域での画素値が非影領域での画素値に近づくようゲイン適用などの変換処理を行うものとして説明したが、本発明は、影領域の補正方法をこれに限定するものではない。例えば、影領域での画素値の変動を高周波成分と低周波成分とに分離し、低周波成分を非影領域での値に置き替えた後、影領域の高周波成分を重畳させるように補正しても良い。
また、第1の実施形態では、撮影時のフラッシュ光によって生じた影を低減する場合を説明したが、本発明は、影低減処理の内容を、上記の場合に限定するものではない。例えば、撮影環境における環境光によって生じた影を補正する場合に用いても良い。その場合でも、影領域におけるエッジ特徴量と近い値を持つ非影領域を参照して、影の補正を行うよう処理すれば良い。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第1の実施形態では、フラッシュ光を発光した時に撮影した発光画像データにおいて、非影領域を検出した。これに対して、第2の実施形態では、影領域に対応する非影領域の検出を、フラッシュ光を発光していない時に撮影した非発光画像データにおいて行う場合を説明する。
このため、第2の実施形態は、非影領域の検出方法が第1の実施形態と異なるが、デジタルカメラ100の構成および画像処理部105の構成は、図1および図2に示した構成と同一の構成を用いることができるため、ここでは説明を省略する。以下、相違点について重点的に説明する。
図7は、第2の実施形態における撮影処理及び影低減処理のフローチャートである。なお、非発光画像、発光画像の撮影、及び、発光画像内の影領域の検出処理は、図3のS301〜S303で説明した処理と同様であるため、同じ参照番号を付して説明を省略する。
S704では、非影領域検出部204が、非発光画像データから非影領域の検出を行う。ここで、具体的な処理を図4を参照して説明する。非影領域検出部204は、S703で発光画像において検出された影領域(影領域A404、影領域B405)と同じ位置の領域を、非発光画像の中で特定する。特定した例が図4(d)の影領域A406および影領域B407である。
次に、非影領域検出部204は、図5を参照して説明した処理によって、非影領域を検出する。すなわち、影領域A406および影領域B407におけるエッジ特徴量に近い値のエッジ特徴量を持つ非影領域を、非発光画像の中から検出する。検出した例が非影領域A408および非影領域B409である。
S705では、非影領域検出部204が、S704で非発光画像内で検出した非影領域と同じ位置の領域を、発光画像内で抽出する。図4の場合であれば、抽出される領域は背景被写体領域A402の非影領域、背景被写体領域B403の非影領域となる。このようにして、非発光画像データに基づいて、発光画像における影領域と非影領域とを検出することが可能となる。非影領域検出部204は、検出した影領域、非影領域の位置の情報を影領域補正部205へ出力する。
S305では、影領域補正部205が、発光画像の影領域の補正処理を行う。ここでの補正処理の内容は、図3のS305で説明した処理と同様であるため、詳細な説明を省略する。
以上説明したように第2の実施形態では、非発光画像において算出したエッジ特徴量に基づいて、影領域に対応する非影領域を検出し、検出した非影領域の位置の情報を用いて、発光画像の非影領域の情報を用いて影領域を補正する。このようにすることで、発光画像での影領域が暗く、エッジの特徴量を精度良く算出できない場合においても、非影領域の検出を適切に行うことが可能となる。
なお、上述した第1および第2の実施形態では、デジタルカメラ100内において、非発光画像および発光画像の撮影、および、影低減処理を共に行う場合について説明した。しかしながら、本発明はこれに限るものではなく、デジタルカメラ100により撮影され、記録媒体112に記録された非発光画像および発光画像を用いて、外部の画像処理装置により影低減処理を行うように構成してもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
50:システム制御部、103:撮像部、105:画像処理部、201:画像信号生成部、202:影領域検出部、203:エッジ特徴量算出部、204:非影領域検出部、205:影領域補正部、402,403:背景被写体領域、404,405:影領域、408:非影領域A、409:非影領域B

Claims (16)

  1. 撮影画像を取得する取得手段と、
    前記撮影画像に含まれる被写体の影領域を検出する影領域検出手段と、
    前記撮影画像に含まれる前記影領域を除く非影領域の画像信号に基づいて、前記影領域の画像信号を補正し、被写体の影を低減させる補正処理を行う補正手段と、
    前記撮影画像に含まれるエッジ特徴量を検出するエッジ検出手段と、を備え、
    前記補正手段は、前記影領域におけるエッジ特徴量と前記非影領域のエッジ特徴量に基づいて、前記影領域に対応する非影領域を抽出し、前記抽出した非影領域の画像信号に基づき、前記補正処理を制御することを特徴とする画像処理装置。
  2. 前記補正手段は、
    前記影領域における前記エッジ特徴量に最も近い前記エッジ特徴量を有する前記非影領域を、前記影領域に対応する非影領域として出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正手段は、
    前記エッジ特徴量に基づいて、前記影領域および前記非影領域をそれぞれ複数の分割領域に分割し、
    前記影領域の各分割領域に対して、前記非影領域の分割領域のいずれかを抽出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記エッジ検出手段は、前記撮影画像をそれぞれ複数の分割領域に分割し、分割領域毎に前記エッジ特徴量を求め、
    前記補正手段は、前記影領域に含まれる各分割領域に対して、前記非影領域に含まれる分割領域のいずれかを抽出することを特徴とする請求項1または2に記載の画像処理装置。
  5. 前記補正手段は、前記影領域の各分割領域のエッジ特徴量に予め決められた閾値よりも近いエッジ特徴量を有する前記非影領域の分割領域が複数存在する場合に、前記影領域の各分割領域からの距離が最も近い前記非影領域の分割領域を抽出することを特徴とする請求項3または4に記載の画像処理装置。
  6. 前記補正手段は、前記影領域の各分割領域のエッジ特徴量に予め決められた閾値よりも近いエッジ特徴量を有する前記非影領域の分割領域が複数存在する場合に、更に、前記影領域における画像信号と、前記非影領域における画像信号とを比較した結果に基づいて、前記非影領域の分割領域を抽出することを特徴とする請求項3または4に記載の画像処理装置。
  7. 前記補正処理は、前記影領域における画像信号が、抽出された前記非影領域における画像信号に近い値となるように、前記影領域における画像信号に対して、所定の変換処理を行う処理であることを特徴とする請求項乃至6のいずれか1項に記載の画像処理装置。
  8. 前記補正処理は、前記影領域における画像信号の少なくとも一部を、抽出された前記非影領域における画像信号によって置き換える処理であることを特徴とする請求項乃至6のいずれか1項に記載の画像処理装置。
  9. 前記補正手段は、前記影領域における前記エッジ特徴量と、前記非影領域における前記エッジ特徴量とを比較した結果に基づいて、前記補正処理を実行するか否かを切り替えることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記エッジ特徴量は、前記撮影画像に含まれるエッジの量、エッジの方向毎の分布、所定の領域に含まれるエッジの量の平均値、エッジを検出するフィルタの出力値の少なくとも一つの情報を含むことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記エッジ特徴量は、前記撮影画像に含まれる主要なエッジを抽出した情報であり、
    前記補正手段は、前記影領域における前記エッジ特徴量と、前記非影領域における前記エッジ特徴量とが合致するか否かを判定した結果に基づいて、前記補正処理を制御することを特徴とする、請求項1に記載の画像処理装置。
  12. 前記取得手段は、前記撮影画像として、照明手段を用いて撮影された第1の画像と、前記照明手段を用いずに撮影した第2の画像とを取得し、
    前記エッジ検出手段は、前記第2の画像に含まれるエッジ特徴量を検出し、
    前記補正手段は、前記第2の画像に含まれるエッジ特徴量に基づいて、前記第1の画像に対して前記補正処理を行う
    ことを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。
  13. 請求項1乃至12のいずれか1項に記載の画像処理装置と、
    前記撮影画像を撮影するための撮像手段と
    を有することを特徴とする撮像装置。
  14. 取得手段が、撮影画像を取得する取得工程と、
    影領域検出手段が、前記撮影画像に含まれる被写体の影領域を検出する影領域検出工程と、
    エッジ検出手段が、前記撮影画像に含まれるエッジ特徴量を検出するエッジ検出工程と、
    補正手段が、前記撮影画像に含まれる前記影領域を除く非影領域の画像信号に基づいて、前記影領域の画像信号を補正し、被写体の影を低減させる補正処理を行う補正工程と、を備え、
    前記補正工程では、前記影領域におけるエッジ特徴量と前記非影領域のエッジ特徴量に基づいて、前記影領域に対応する非影領域を抽出し、前記抽出した非影領域の画像信号に基づき、前記補正処理を制御することを特徴とする画像処理方法。
  15. コンピュータを、請求項1乃至12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  16. 請求項15に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2016001955A 2016-01-07 2016-01-07 画像処理装置および方法、および撮像装置 Expired - Fee Related JP6663223B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016001955A JP6663223B2 (ja) 2016-01-07 2016-01-07 画像処理装置および方法、および撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016001955A JP6663223B2 (ja) 2016-01-07 2016-01-07 画像処理装置および方法、および撮像装置

Publications (3)

Publication Number Publication Date
JP2017123069A JP2017123069A (ja) 2017-07-13
JP2017123069A5 JP2017123069A5 (ja) 2019-02-14
JP6663223B2 true JP6663223B2 (ja) 2020-03-11

Family

ID=59305807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016001955A Expired - Fee Related JP6663223B2 (ja) 2016-01-07 2016-01-07 画像処理装置および方法、および撮像装置

Country Status (1)

Country Link
JP (1) JP6663223B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601245B (zh) * 2021-07-07 2023-12-12 同方威视技术股份有限公司 阴影消除装置和方法、空盘识别装置和方法

Also Published As

Publication number Publication date
JP2017123069A (ja) 2017-07-13

Similar Documents

Publication Publication Date Title
US20200043225A1 (en) Image processing apparatus and control method thereof
JP6445844B2 (ja) 撮像装置および撮像装置で実行される方法
JP2009159496A (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
US9699386B2 (en) Image processing apparatus and method
US11089236B2 (en) Image processing apparatus and image processing method, and image capturing apparatus
US10972676B2 (en) Image processing method and electronic device capable of optimizing hdr image by using depth information
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP6718253B2 (ja) 画像処理装置及び画像処理方法
JP6663223B2 (ja) 画像処理装置および方法、および撮像装置
US10021314B2 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source
KR20110074443A (ko) 촬상 장치, 촬상 방법 및 기록매체
JP6541416B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6570311B2 (ja) 画像処理装置及び画像処理方法
JP2018107741A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2012133587A (ja) 画像解析装置、画像解析方法及びプログラム
JP5566679B2 (ja) 撮像装置及び撮像方法
US11265524B2 (en) Image processing apparatus, image processing method, and storage medium
JP2016091376A (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP6666735B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP6053501B2 (ja) 撮像装置及び撮像装置の制御方法
JP2017151562A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP5367140B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2021087125A (ja) 画像処理装置、その制御装置、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200214

R151 Written notification of patent or utility model registration

Ref document number: 6663223

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees