JP2018082239A - 画像処理装置、撮像装置および制御方法 - Google Patents

画像処理装置、撮像装置および制御方法 Download PDF

Info

Publication number
JP2018082239A
JP2018082239A JP2016221450A JP2016221450A JP2018082239A JP 2018082239 A JP2018082239 A JP 2018082239A JP 2016221450 A JP2016221450 A JP 2016221450A JP 2016221450 A JP2016221450 A JP 2016221450A JP 2018082239 A JP2018082239 A JP 2018082239A
Authority
JP
Japan
Prior art keywords
correction
image
luminance
image data
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016221450A
Other languages
English (en)
Other versions
JP6833466B2 (ja
Inventor
山崎 浩
Hiroshi Yamazaki
浩 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016221450A priority Critical patent/JP6833466B2/ja
Publication of JP2018082239A publication Critical patent/JP2018082239A/ja
Application granted granted Critical
Publication of JP6833466B2 publication Critical patent/JP6833466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被写体の凹凸によって生じる明るさのムラを効果的に補正することができる画像処理装置を提供する。【解決手段】画像処理装置100が備えるCPU114が、撮像素子104とA/D変換部105とを介して、画像データを取得する。また、CPU114が、画像データに対応する被写体の奥行き方向の深さを示す深度情報を取得する。そして、CPU100が、画像補正部111を制御して、画像データの輝度と、深度情報とに基づき、画像データの輝度を補正する。【選択図】図1

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。
画像データにおける深度情報から印刷時の厚さ情報を生成し、凹凸のある立体的な印刷を行う印刷データ生成装置を開示している(特許文献1)。また、撮影した画像データの輝度を被写体の特徴に基づいて補正する機能を備えた画像処理装置が提案されている。特許文献2は、人物の顔の所定部位を検出し、この所定部位に対する輝度を補正する画像処理装置を開示している。
特許第4882823号公報 特開2007−193729号公報 特開2012−230172号公報 特開2005−339522号公報
特許文献2が開示する画像処理装置は、輝度の補正対象とする顔の所定部位それぞれについて予め決められた明度の関係にするために補正を行う。しかし、被写体撮影時の光源の位置や被写体の向きによって明度の関係は変わってくるため、誤補正となる場合もある。上記課題に鑑み、本発明は、被写体の凹凸によって生じる明るさのムラを効果的に補正することができる画像処理装置の提供を目的とする。
本発明の一実施形態の画像処理装置は、画像データを取得する第1の取得手段と、前記画像データに対応する被写体の奥行き方向の深さを示す深度情報を取得する第2の取得手段と、前記画像データの輝度と、前記深度情報とに基づいて、前記画像データの、前記被写体にテカリあるいは陰影が生じている補正領域の輝度を補正する制御手段と、を有する。
本発明の画像処理装置によれば、被写体の凹凸によって生じる明るさのムラを効果的に補正することができる。
本実施形態の画像処理装置の構成を示す図である。 画像補正部の構成例を示す図である。 輝度補正領域と、輝度補正量の決定処理を説明する図である。 輝度補正領域と、輝度補正量の決定処理を説明する図である。 輝度補正領域と、輝度補正量の決定処理を説明する図である。 輝度補正領域と、輝度補正量の決定処理を説明する図である。 画像処理装置の動作処理を説明するフローチャートである。 画像処理装置の動作処理を説明するフローチャートである。 輝度補正処理を説明するフローチャートである。 凸領域の検出処理を説明するフローチャートである。 補正領域画像の生成処理を説明するフローチャートである。
(実施例1)
撮影した画像データを立体物に印刷すると、立体物の凹凸によって出来る実際の陰影と、撮影時の光の当たり具合によってできた陰影の印刷が重なり、強調される。以下に説明する本実施形態の画像処理装置によれば、被写体の凹凸によって生じる明るさのムラを効果的に補正することができる。
図1は、本実施形態の画像処理装置の構成を示す図である。
図1に示す画像処理装置100は、撮像装置の一例としてのデジタルカメラである。
画像処理装置100は、撮影レンズ101、絞り102、103、撮像素子104、A/D変換部105、タイミングジェネレータ(TG)106、第1メモリ108、第2メモリ109、画像処理部110を備える。また、画像処理装置100は、画像補正部111、記録I/F112、記録媒体113、CPU114、表示部115、外部接続I/F116、操作部117、内部バス118、レンズ駆動部119、顔検出部120を備える。CPUは、Central Processing Unitの略称である。
撮影レンズ101は、ズームレンズと合焦位置調整用のフォーカスレンズとを含む複数のレンズ群を有する。撮影レンズ101を構成する各々のレンズは、レンズ駆動部119によって制御される。絞り102、103は、撮影レンズ101からの入射光量を調節する。絞り102、103の開口量は、CPU114によって制御される。
撮像素子104は、例えば、CMOSなどにより構成される。CMOSは、Complementary Metal Oide Semiconductorの略称である。撮像素子104は、CPU114の制御により、撮影レンズ101を通過した被写体光を光電変換して、画像データに係る信号(アナログ画像信号)を生成して出力する。本実施形態では、撮像素子104の各画素は、受光領域が左右水平方向に分離された一対の光電変換部を含む。一対の光電変換部の出力から、一対の光学像の強度分布に関する情報が得られる。この情報に対して像ズレ検出演算処理(相関演算処理、位相差検出処理)を施すことによって、いわゆる瞳分割型位相差検出方式による一対の像の像ズレ量が検出される。CPU114が、像ズレ量に対して演算を行うことによってデフォーカス量が算出され、焦点検出と被写体までの深度情報の取得ができる。深度情報は、画像データに対応する被写体の奥行き方向の深さを示す。深度情報には、撮像手段としてのカメラから被写体までの距離(被写体距離)を絶対値として距離値で表わすデータや、画像データにおける相対的な距離関係(画像の深度)を示すデータ(視差量の分布、デフォーカス量の分布等)を含む。一対の光電変換部に蓄積された電荷は、加算されて画素毎のアナログ信号として出力される。撮像素子104は、特許文献3等に開示された技術を用いて製造することができるため、詳細構造に関する説明は省略する。
深度情報に関して、さまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離(被写体距離)や深さの相対関係を表す情報であればよい。例えば、CPU114が、合焦位置を変更する制御を行い、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から深度情報を取得することができる。この他にも、撮像素子が瞳分割型の画素構成を有する場合、一対の像信号の位相差から各画素に対する深度情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データ(視点画像)を複数の光電変換部から出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布(撮像画像の2次元平面上の分布)を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて、被写体までの距離(被写体距離)に換算すると、被写体距離の分布を示す距離マップデータが得られる。距離マップは、撮影される複数の視点画像の視差量に基づく被写体までの距離を示す。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。
また、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うTOF(Time Of Flight)法を用いて画像内における撮像装置から被写体までの距離情報を直接的に取得してもよい。TOF法では、投光手段により被写体(対象物)にパルス光を投射して、その反射光を受光し、このパルス光の飛行時間(遅れ時間)を測定することで被写体距離(対象物までの距離)を測り、深度情報を取得する。
A/D変換部105は、CPU114の指示にしたがって、撮像素子104から出力されたアナログ信号に対してA/D変換を行うことにより、デジタル信号(画像データ)を生成し、第1メモリ108に記録する。すなわち、CPU114は、画像データを取得する第1の取得手段として機能する。TG106は、CPU114の指示に従って、撮像素子104およびA/D変換部105に対するタイミングパルスを生成し供給する。撮像素子104、A/D変換部105の駆動タイミングは、TG106のタイミングパルスによって制御される。
第1メモリ108は、揮発性のバッファメモリであり、A/D変換部105や記録媒体113からの画像データ、A/D変換部105や記録媒体113からの深度情報を一時的に記憶する。第2メモリ109は、不揮発性メモリであり、CPU114が画像処理装置の各部動作を制御するためのシーケンスプログラムなどを保持している。
画像処理部110は、A/D変換部105からのデジタル信号に対して、各種画像処理を施して画像データを生成し、第1メモリ108に記録する。画像処理部110は、圧縮部、伸張部等を備え、画像データに対して色補正、平滑化処理、コントラスト強調処理や信号圧縮、伸張などの各種処理を行う。
画像補正部111は、CPU114の制御にしたがって、第1メモリ108から画像データと深度情報を読み出す。そして、画像補正部111は、画像データの輝度と、深度情報とに基づいて、画像データの輝度を補正する。画像補正部111の詳細な内部処理については後述する。記録I/F112には、記録媒体113を接続するためのコネクタが形成されている。記録I/F112は、CPU114からの指示に従って、記録媒体113に対して画像データや深度情報の読み出し/書き込みを行う。記録媒体113は、ハードディスクや半導体メモリを内蔵したメモリカードなどを有する。
CPU114は、画像処理装置100全体を制御する。CPU114は、第2メモリ109に格納されたシーケンスプログラムに従って、画像処理装置100の各部動作を制御するとともに、撮影などに必要となる各種演算を実行する。表示部115は、CPU114の指示に従って、メニュー画面やライブビュー等の各種表示を行う。また、表示部115は、CPU114の指示にしたがって、輝度の補正後の画像データを表示する。外部接続I/F116は、USBなどの有線あるいはWiFiなどの無線を介して外部機器と接続する。これにより、外部接続I/F116は、外部機器とデータの送受信を行う。
操作部117は、レリーズボタン、操作ボタンなどを有する。操作部117のレリーズボタンは、露光動作開始の指示や焦点検出、撮影の指示を操作者から受け付ける。操作部117の操作ボタンは、メニュー画面での入力や、撮影モードの切り換え入力などを操作者から受け付ける。内部バス118は、公知のプロトコルに基づいた大容量高速伝送路である。
レンズ駆動部119は、撮像素子104に結像した光学像が合焦するように、CPU114からの指示に従って撮影レンズ101を駆動する。顔検出部120は、第1メモリ108に記録されている画像データを解析して、被写体の顔領域を検出する。顔領域は、例えば、人物の顔面が写っている部分と、目、鼻、口などの器官の領域である。顔面、器官の領域の検出には公知の手法を用いるので、詳細な説明は省略する。なお、図1に示して説明した画像処理装置100の構成は一例である。したがって、以下に説明する動作を実行できるのであれば、画像処理装置100の構成は、図1に示す構成に限定されるものではない。また、画像処理装置は、輝度の補正後の画像データを表示する表示部を含むモバイル機器であってもよい。
図2は、画像補正部111の構成例を示す図である。
画像補正部111は、補正領域決定部203、補正量決定部204、補正演算部205を備える。本実施形態において、画像データは、各画素8ビット長の輝度データを有するものとする。
補正領域決定部203は、CPU114の制御にしたがって第1メモリ108から深度情報を読み出し、この深度情報に基づいて、被写体に生じる明るさのムラを検出する。本実施形態では、被写体の凸形状の領域である凸領域を検出することで、被写体の凸領域に生じるテカリなどの高輝度部や凸領域の周辺の画像領域に生じる、凸形状の被写体に光が遮られたことによる陰影が生じる領域を検出する。これらのテカリや陰影の領域はその程度や画像の用途に応じて強調や低減など適切に補正される。補正領域決定部203は、凸領域の検出結果を補正量決定部204へ送信する。凸領域の検出とは、被写体表面の突起形状を検出する処理である。すなわち、補正領域決定部203は、凸領域の検出処理によって、被写体の凹凸を示す形状情報を取得する。補正領域決定部203は、深度情報が示す深さが周辺の領域(例えば、凸形状のピーク位置を示す画素から所定画素数の範囲内、あるいは凸形状の半値全幅の所定倍の領域など)の深さに比べて極小値を示す領域を凸領域として検出する。
また、補正領域決定部203は、第1メモリ108から画像データを読み出し、この画像データから輝度成分を抽出して、輝度画像を生成する。補正領域決定部203は、輝度画像と、凸領域の検出結果に基づいて、被写体の凹凸すなわち凸領域に起因して発生した凸領域の高輝度部あるいは凸領域の周辺領域の低輝度部(陰影が生じる領域)を輝度補正領域に設定する。輝度補正領域は、輝度の補正対象とする領域である。補正領域決定部203は、顔検出部120によって検出された顔領域から輝度補正領域を決定するようにしてもよい。補正領域決定部203は、輝度補正領域に属する画素の輝度データに対して、最上位に識別信号ビットを付加した補正領域画像を生成し、補正量決定部204へ送信する。輝度画像に付加する識別信号ビットと補正領域画像については、後述する。
補正量決定部204は、補正領域決定部203から受信した補正領域画像と凸領域の検出結果とに基づいて、高輝度部の輝度補正量あるいは陰影部の輝度補正量を決定し、画素単位の輝度補正量を表す補正輝度画像を生成し、補正演算部205へ送信する。補正演算部205は、第1メモリ108から読み出した画像データに対して、補正量決定部204から受信した補正輝度画像を加算することで、輝度補正を行う。なお、輝度補正の方法としては上記に限らず、補正ゲイン等を各領域に掛けることで補正を行っても良い。また、画像データに対する補正値としてRGB信号の形式に換算して、各色の信号にゲインをかける方式で明るさの補正を行っても良い。
図3乃至図6は、輝度補正領域と、輝度補正量の決定処理を説明する図である。
図3(A)は、人物を撮影した画像データの例を示す。この画像データには、撮影時の光の当たり具合によって、鼻筋の左側部、左小鼻の下部に陰影が現れる。図3(B)は、図3(A)に示す画像データの、鼻筋の左側部と左小鼻の下部付近を拡大した部分を示す。本実施形態では、画像補正部111は、輝度補正する際に、画像データに係る画像を複数のブロックに分割し、ブロック単位で被写体表面の凸領域の検出を行った後、画素単位で輝度補正を行う。また、画像補正部111は、凸領域の検出と、輝度補正領域の決定と、輝度補正とを、画像データの水平方向に対して行った後に、垂直方向に対して行う。以降、ブロック301、302、303、304、305、306に着目して、水平方向に対する補正領域決定部203と補正量決定部204の処理を説明する。
図4(A)、(B)、(C)に示すグラフの横軸は、いずれも画像上の面内座標を示している。図4(A)の縦軸は、第1メモリ108が得た被写体の深度情報から算出した奥行き方向の深さ(被写体表面の凹凸)を示す。深さの数値が小さいほど、被写体は撮影者側に盛り上がった形状であることを意味する。
図4(B)は、ブロック毎に求めた深度情報が示す深さの代表値(以下、代表深さ値と称する)を表している。代表深さ値の算出方法としては、ブロック毎に各画素の深度情報を積分しても良いし平均をとっても良いが、本実施形態では平均をとるものとする。
図4(C)の縦軸は、第1メモリ108が得た画像データの輝度である。以下、図4(A)、(B)、(C)を詳しく説明する。図3(C)の曲線320は、図3(B)の陰影が現れた鼻筋近傍の凹凸を表す。補正領域決定部203は、複数の代表深さ値の中から、下に凸な極小値となる代表深さ値を表すブロックを見つけることによって、被写体表面に存在する凸部を検出する。具体的には、補正領域決定部203は、複数ブロック領域(例えば図3(B)に示したような6ブロック分の領域)の代表深さ値の中から最小となるブロックを決定する処理を繰り返して、画像データ全体に適用する。
複数ブロック領域が、被写体である人物と背景に跨ってしまうと、極小値を示すブロックが全て背景に含まれてしまうので、被写体表面の凹凸を検出できなくなる。したがって、補正領域決定部203は、代表深さ値が極小値となるブロックを探す範囲を限定する。具体的には、補正領域決定部203は、撮影時に操作者が焦点を合わせた被写体までの深さを基準にして、代表深さ値が、基準とした深さから−D〜+Dの範囲に収まるブロックをブロックの検出対象にする。
図4(A)は、ブロック301やブロック306が位置している顔の表面(代表深さ値がD2)に対して合焦している状態を示す。極小値となるブロックを検出する範囲は、D2を中心にして、±Dに限定される。Dは、被写体が人物である場合には、例えば、20cm程度に設定しておく。
図4(B)は、図4(A)に対応する、ブロック毎の代表深さ値を示す。
代表深さ値321は、ブロック301に属する画素が持つ深度情報から算出される代表深さ値を示す。代表深さ値323が下に凸な極小値を示していることが分かる。ブロック単位で代表深さ値を算出することにより、画素単位の輝度ばらつきが平準化される。したがって、操作者が陰影検出精度を指定することによって分割ブロックの大きさが決定される構成を採ってもよい。
図4(C)の曲線331は、ブロック301からブロック306に相当する座標位置における画像データの輝度分布を表す。陰影にあたる最小輝度値が、輝度Y1である。陰影以外の領域の輝度値が、輝度Y2である。補正領域決定部203は、凸領域の検出結果と画像データの輝度分布とから輝度補正領域を決定し、補正領域画像を生成する。
輝度補正領域と補正領域画像について説明する。まず、輝度補正領域について説明する。図4(B)のグラフに示すように、ブロック303近傍に凸領域があることが検出される。次に、補正領域決定部203は、ブロック303の周囲のブロックを探索する。図4(C)のグラフに示すように、ブロック303に隣接するブロック304に属する画素の輝度値が低下している。補正領域決定部203は、ブロック304における輝度値の低下は、ブロック303の凸領域によって発生した陰影の影響によるものであると判断し、ブロック304を輝度補正領域として決定する。輝度補正領域は画素単位で決定される。隣接ブロックとみなす範囲は、操作者が操作部117を介して指定した陰影検出精度に合わせて決定される。
ブロック306の右方に位置するブロック307、308の代表深さ値がブロック306と同等であるにも関わらず、ブロック307に相当する座標位置における画像データの代表輝度値が低下している場合を想定する。この場合には、ブロック307に対応する代表輝度値の低下は、被写体表面の凸領域による陰影の影響であるとは判断されず、ブロック307は、輝度補正領域には含まれない。
画素の輝度値が低下しているかどうかを判断する基準の一例を説明する。補正領域決定部203は、例えば、代表深さ値が極小値をとるブロック303での輝度平均値(図4(C)ではY2)よりも所定値(Th1)だけ小さいかどうかを基準にする。Th1の値は、予め一意に決定されてもよいし、操作者が画像データ全体の輝度分布や、画素単位での輝度ばらつき度合いに基づいてTh1の値を設定してもよい。すなわち、補正領域決定部203は、凸領域の周辺の領域であって、かつ、凸領域の輝度値よりも輝度値が所定値だけ小さい領域を、輝度補正領域として決定する。
次に、補正領域画像について説明する。補正領域画像は、補正領域決定部203が生成した輝度画像のうち、輝度補正領域に対応する位置に画素単位で識別信号が付加された輝度画像である。識別信号付けは、以下のように行われる。輝度画像の1画素の輝度を0〜255の256階調で2進数表現すると“00000000”〜“11111111”の8ビット長が必要になる。例えば、30階調は“00011110”のように表現される。30階調の画素が輝度補正領域に含まれると判断された場合は、“100011110”のように、拡張された最上位ビットに識別信号ビット“1”が付けられる。30階調の画素が輝度補正領域に含まれないと判断された場合は、“000011110”のように、拡張された最上位ビットに識別信号ビット“0”が付加される。輝度画像の画像データに対して最上位ビットを拡張し、その値によって補正領域に属するか否かを表現する画像が補正領域画像である。
補正量決定部204は、補正領域決定部203から補正領域画像と凸領域の検出結果を受け取って輝度補正量を決定し、0階調(黒色)画像に対して、補正領域に相当する位置座標の階調を輝度補正量だけオフセットして、補正輝度画像を生成する。補正量決定部204は、生成した補正輝度画像を補正演算部205に渡す。
顔検出部120が、検出した顔面に対して陰影補正を行う場合、毛髪部を低輝度領域として誤認識しないように毛髪検出を行ってもよい。毛髪検出については、特許文献4等に開示された技術を用いて実施することができるので、詳細処理に関する説明は省略する。また、顔面で陰影に関係なく低輝度であるような部位のうち、例えば目のような顔検出部120が検出できる器官については、誤補正を防止するために、補正領域画像において補正対象から除外してもよい。
本実施形態では、補正量決定部204は、輝度補正によって、凸領域による輝度補正領域の輝度低下が低減するように輝度補正量を算出する。具体的には、補正量決定部204は、極小値ブロック303での代表輝度値と輝度補正対象画素の輝度値の差分に基づいて、輝度補正量を算出する。極小値ブロック303での代表輝度値が100階調で、輝度補正対象画素の輝度が30階調の場合、輝度補正量は70階調となる。したがって、ブロック303によって発生した低輝度領域に含まれる補正対象画素の階調は、70、つまり“01000110”となる。補正輝度画像は、画像データ内の全ての補正領域の位置座標に対して輝度補正量分だけ階調をオフセットすることにより生成される。このとき、補正輝度画像の各画素は、最上位の識別信号ビットを持たないので、8ビット長である。
次に、図5(A)、(B)、図6(A)乃至(C)を用いて、ブロック304、311、312、313、314、315に着目した、垂直方向に対する補正領域決定部203と補正量決定部204の処理を説明する。大きな処理の流れは水平方向の処理と同様である。
図5(A)は、輝度補正前の画像を示す。図6(A)、(B)、(C)の横軸は、いずれも画像上の面内座標を示している。図6(A)の縦軸は、第1メモリ108が得た被写体の深度情報から算出される被写体表面の凹凸を示す。図6(B)は、ブロック毎に求めた代表深さ値を表す。図6(A)の曲線340は、図3(B)に示す陰影が現れた小鼻近傍の凹凸を表す。補正領域決定部203は、複数の代表深さ値のうち、下に凸な極小値となる代表深さ値を表すブロックを見つけることによって、被写体表面に存在する凸領域を検出する。
図6(B)は、図6(A)に対応する、ブロック毎の代表深さ値を示す。代表深さ値341は、ブロック304に属する画素が持つ深度情報から算出される代表深さ値を示している。代表深さ値344が下に凸な極小値を示していることが分かる。図6(C)の曲線347は、ブロック304からブロック315に相当する座標位置における画像データの輝度分布を表している。
図6(C)に示すように、ブロック313に隣接するブロック314に属する画素の輝度値が低下している。したがって、補正領域決定部203は、ブロック314に属するガぞの輝度値の低下は、ブロック313(凸領域)によって発生した陰影の影響であると判断する。補正領域決定部203は、輝度画像のデータに対して識別信号“1”が付加された補正領域画像を生成する。
補正量決定部204は、補正領域決定部203から補正領域画像と凸領域の検出結果を受け取って輝度補正量を決定し、0階調(黒色)画像に対して補正領域に相当する位置座標の階調を輝度補正量だけオフセットした補正輝度画像を生成する。補正量決定部204は、生成した補正輝度画像を補正演算部205に渡す。補正演算部205は、補正輝度画像に基づいて、陰影の輝度補正を行う。図5(B)は、輝度補正後の画像を示す。
図7および図8は、画像処理装置の動作処理を説明するフローチャートである。
本フローチャートが示す処理は、ユーザによって撮影モードの設定、輝度補正処理の有無等の諸設定が行われた後で開始される。
図7は、撮影処理を示す。ステップS4101において、CPU114が、撮像素子104からライブビュー表示用のアナログ信号を読み出す。その後、A/D変換部105、画像処理部110によって各種信号処理が行われ、表示部115にライブビューとして撮像素子104が捉えた被写体が表示される。
次に、ステップS4102において、CPU114が、操作部117に対するユーザ操作を待つ。ユーザによってレリーズボタンが半押しされた場合は、処理がステップS4103に進む。レリーズボタンへの操作が無い場合は、処理がステップS4101に戻る。
ステップS4103において、CPU114が、焦点検出処理を実行する。CPU114は、例えば、撮像素子104に埋め込まれた位相差検出用画素の情報に基づいて、レンズ101の駆動方向を決定する。ステップS4104において、CPU114が、レンズ駆動部119を制御して、ステップS4103で決めた駆動方向にレンズ101を移動する。
ステップS4105において、CPU114が、ステップS4104で移動したレンズ位置において、ステップS4101と同様に、撮像素子104からライブビュー表示用のアナログ信号を読み出す。そして、CPU114は、A/D変換部105、画像処理部110を制御して各種信号処理を実行し、表示部115にライブビュー画像を表示する。
ステップS4106において、CPU114が、操作部117に対するユーザ操作を待つ。ユーザによってレリーズボタンが全押しされた場合は、処理がステップS4107に進む。レリーズボタンの半押しが保持されている場合は、処理がステップS4105に進む。また、レリーズボタンから指が離れ、ボタンの押し込みが戻った場合は、処理がステップS4101に戻る。
次に、ステップS4107において、CPU114が、撮像素子104から、静止画モードで被写体を撮像した際のアナログ信号と深度情報を読み出す。続いて、ステップS4108において、CPU114が、A/D変換部105を制御して、撮像素子104からのアナログ信号をデジタル変換する。画像処理部110が、デジタル変換されたアナログ信号に対して、各種画像処理を施して、静止画用の画像データを生成する。
次に、ステップS4109において、CPU114が、ユーザによって予め輝度補正設定がなされたか否かを判断する。輝度補正設定がされている場合は、処理がステップS4110に進む。輝度補正設定がされていない場合は、処理がステップS4111に進む。ステップS4110の輝度補正処理に関しては、図9を用いて後述する。ステップS4111において、CPU114が、画像データを記録I/F112を介して記録媒体113に記録するか、または外部接続I/F116を介して外部機器に送信する。CPU114が、補正後の画像データを符号化し、深度情報を含めて画像ファイルにした上で、記憶手段である記録媒体113に記録するようにしてもよい。また、CPU114が、輝度補正すなわち、被写体に生じているテカリの補正あるいは陰影の補正を含む自動補正をしたことを示す情報を例えばメタデータとして画像ファイルに記録するようにしてもよい。
図8は、画像処理装置による再生処理を説明するフローチャートである。
ステップS4201において、CPU114が、記録I/F112を介して、記録媒体113から、再生する画像データと深度情報を読み出し、第1メモリ108に書き込む。本実施形態では、記録媒体113には、撮像素子104からA/D変換部105を介して第1メモリ108に書き込まれる信号と同様の形式で、画像データと深度情報とが記録されているものとする。
次に、ステップS4202において、CPU114が、ユーザによって予め輝度補正設定がされたか否かを判断する。輝度補正設定がされている場合は、処理がステップS4203に進む。S4203において、CPU114が、輝度補正処理を実行する。輝度補正設定がされていない場合は、処理がステップS4204に進む。
ステップS4204において、CPU114が、画像データを記録I/F112を介して記録媒体113に記録するか、または外部接続I/F116を介して外部機器に送信する。以上で再生処理を終了する。
図9は、図7のステップS410と、図8のステップS4203における輝度補正処理を説明するフローチャートである。
ステップS4301において、補正領域決定部203が、輝度補正対象画像の画像データと深度情報とを第1メモリ108から読み出す。続いて、ステップS4302において、補正領域決定部203が、画像データをブロック分割する。本実施形態では、分割ブロックの大きさは、ユーザが操作部117を介して指定した陰影検出精度に合わせて決定される。
次に、ステップS4303において、補正領域決定部203が、水平方向の分割ブロックに対して輝度補正処理を行うように、処理方向を設定する。ステップS4304において、補正領域決定部203が、画像データと深度情報とに基づいて、被写体表面の凸領域の検出処理を実行する。
ステップS4305では、補正領域決定部203が、画像データと、図9のステップS4304での凸領域の検出結果とに基づいて、凸領域によって発生した陰影の領域である補正対象領域を決定し、識別信号が付加された補正領域画像を生成する。続いて、ステップS4306において、補正量決定部204が、凸領域の検出結果と補正領域画像とに基づいて、画素単位で陰影部の輝度補正量を求める。そして、補正量決定部204は、0階調(黒色)画像に対して補正領域に相当する位置座標の階調を輝度補正量だけオフセットした補正輝度画像を生成する。この例では、補正輝度画像の各画素のデータ長は、識別信号ビットを持たない8ビットである。
ステップS4307において、補正演算部205が、画像データと補正量決定部204が生成した補正輝度画像とを加算することで、凸領域によって生成された陰影の輝度補正を行う。本実施形態によれば、撮像素子から順次取得される画像データ(ライブビュー画像)に対して輝度の補正を実行することができる。このとき、上記ステップS4307に続いて、ステップS4308において、補正演算部205が、輝度補正処理が水平、垂直両方に対して実行されたかを判断する。輝度補正処理が水平、垂直両方に対して実行された場合は、処理を終了する。輝度補正処理が垂直方向に対して実行されていない場合は、処理がステップS4309に進む。ステップS4309において、補正領域決定部203が、垂直方向の分割ブロックに対して輝度補正処理を行うように、処理方向を設定し、処理がステップS4304に戻る。また、本フローチャートによる輝度補正はライブビュー画像にだけでなく、メモリ等に記録された再生画像に対しても適用可能である。
図10は、図9のステップS4304における凸領域の検出処理を説明するフローチャートである。
ステップS4401において、補正領域決定部203が、分割ブロック毎に、画素単位で取得した深度情報の平均をとって、ブロックの代表深さ値を算出する。続いて、ステップS4402において、補正領域決定部203が、ステップS4401で算出した代表深さ値を第1メモリ108に書き込む。
次に、ステップS4403において、補正領域決定部203が、代表深さ値の算出を画像データ内の全ブロックに対して行ったかを判断する。代表深さ値の算出を画像データ内の全ブロックに対して行った場合は、処理がステップS4404に進む。代表深さ値の算出を行っていないブロックが残っている場合は、処理がステップS4401に戻る。
ステップS4404において、補正領域決定部203が、複数ブロック(例えば、6ブロック)の中で、代表深さ値が極小値となるブロックを検出する。この複数ブロック領域の大きさは、ユーザが操作部117を介して指定した陰影検出精度に合わせて決定される。続いて、ステップS4405において、補正領域決定部203が、極小値ブロックとなるブロックの座標(例えば、ブロックの中央画素の座標)を凸領域の座標として第1メモリ108に書き込み、処理を終了する。
図11は、図9のステップS4305における補正領域画像の生成処理を説明するフローチャートである。
ステップS4501において、補正量決定部204が、第1メモリ108から読み出した画像データに対して、輝度成分のみを抽出した輝度画像を生成する。本実施形態では、黒を0階調、白を255階調とし、画像データが持つ8ビットの輝度情報で構成された輝度画像を生成する。続いて、ステップS4502において、補正量決定部204が、輝度画像における低輝度領域に対して、図9のステップS4304での凸領域の検出結果に基づき、凸領域の近傍の低輝度領域であるかを判断する。本実施形態では、補正量決定部204は、凸領域に対応する極小値ブロックに隣接するブロックから広がっている低輝度領域を陰影とし、この低輝度領域を輝度補正領域として決定する。
ステップS4503において、補正量決定部204が、ステップS4501で生成した8ビットの輝度画像に対して、最上位ビット1ビットを拡張した9ビットの輝度画像を生成する。補正量決定部204は、拡張した1ビットを識別信号ビットとして扱い、輝度補正領域に属する座標位置の画素に対しては識別信号ビットに“1”を立てる。補正量決定部204は、輝度補正領域に属さない画素に対しては、識別信号ビットを“0”にした補正領域画像を生成する。上述した本実施形態の画像処理装置によれば、被写体の凸領域によって発生した陰影に対して効果的に輝度補正を行うことができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 画像処理装置
114 CPU

Claims (19)

  1. 画像データを取得する第1の取得手段と、
    前記画像データに対応する被写体の奥行き方向の深さを示す深度情報を取得する第2の取得手段と、
    前記画像データの輝度と、前記深度情報とに基づいて、前記画像データの、前記被写体にテカリあるいは陰影が生じている補正領域の輝度を補正する制御手段と、を有する
    ことを特徴とする画像処理装置。
  2. 前記制御手段は、
    前記深度情報に基づいて、前記被写体の凹凸を示す形状情報を取得し、
    前記形状情報と、前記画像データの輝度とに基づいて、前記補正領域と、前記輝度の補正量とを決定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記制御手段は、前記被写体の凹凸により陰影が生じる領域を前記補正領域として決定する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記制御手段は、前記被写体の凸形状の領域の周辺の領域であって、かつ、前記凸形状の領域の輝度値よりも輝度値が所定値だけ小さい領域を、前記補正領域として決定する
    ことを特徴とする請求項2または請求項3に記載の画像処理装置。
  5. 前記制御手段は、前記輝度の補正によって前記凸形状の領域による前記補正領域の輝度低下が低減するように前記輝度の補正量を決定する
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記制御手段は、前記補正領域の輝度値と前記凸形状の領域の輝度値との差に基づいて、前記輝度の補正量を決定する
    ことを特徴とする請求項4または請求項5に記載の画像処理装置。
  7. 前記制御手段は、前記画像データに係る画像を複数の領域に分割し、
    前記深度情報が示す深さに基づいて、各々の前記領域の代表となる深さを決定し、
    前記代表となる深さが極小となる領域を前記凸形状の領域として決定する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記画像データを解析して、前記被写体の顔領域を検出する検出手段を有し、
    前記制御手段は、前記顔領域から前記補正領域を決定する
    ことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 画像データを取得する第1の取得手段と、
    前記画像データに対応する被写体の奥行き方向の深さを示す深度情報を取得する第2の取得手段と、
    前記画像データの輝度と、前記深度情報とに基づいて、凸形状をなす被写体に対応する前記画像データ内の領域を補正領域として、該補正領域の輝度を補正する制御手段と、を有することを特徴とする画像処理装置。
  10. 画像データを取得する第1の取得手段と、
    前記画像データに対応する被写体の奥行き方向の深さを示す深度情報を取得する第2の取得手段と、
    前記画像データの輝度と、前記深度情報とに基づいて、凸形状をなす被写体に対応する前記画像データ内の領域の周辺の領域であって、かつ、前記凸形状をなす被写体に対応する領域の輝度よりも輝度が低い領域を補正領域として、該補正領域の輝度を補正する制御手段と、を有することを特徴とする画像処理装置。
  11. 前記第2の取得手段は、撮影される複数の視点画像の視差量に基づく像ずれマップまたはデフォーカス量に基づくデフォーカスマップを前記深度情報として取得する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記第2の取得手段は、撮影される複数の視点画像の視差量に基づく被写体までの距離を示す距離マップ、またはTOF法により取得された、被写体までの距離を示す距離情報のうちの少なくともいずれかを前記深度情報として取得する
    ことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  13. 前記輝度の補正後の画像データを表示する表示手段をさらに有する
    ことを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
  14. 前記制御手段は、さらに、前記輝度の補正後の画像データを符号化し、深度情報を含めて画像ファイルにした上で、記憶手段に記憶する
    ことを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
  15. 前記制御手段は、さらに、前記被写体に生じているテカリの補正あるいは陰影の補正を含む自動補正をしたことを示す情報を前記画像ファイルに記録する
    ことを特徴とする請求項14に記載の画像処理装置。
  16. 前記画像処理装置は、前記輝度の補正後の画像データを表示する表示手段を含むモバイル機器である
    ことを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
  17. 前記制御手段は、撮像素子から順次取得される画像データに対して前記輝度の補正を実行する
    ことを特徴とする請求項1乃至16のいずれか1項に記載の画像処理装置。
  18. 被写体光を光電変換して前記画像データに係る信号を出力する撮像素子を有する
    ことを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置として機能する撮像装置。
  19. 画像データを取得する工程と、
    前記画像データに対応する被写体の奥行き方向の深さを示す深度情報を取得する工程と、
    前記画像データの輝度と、前記深度情報とに基づいて、前記画像データの、前記被写体に陰影が生じている補正領域の輝度を補正する工程とを有する
    ことを特徴とする画像処理装置の制御方法。
JP2016221450A 2016-11-14 2016-11-14 画像処理装置、撮像装置および制御方法 Active JP6833466B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016221450A JP6833466B2 (ja) 2016-11-14 2016-11-14 画像処理装置、撮像装置および制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016221450A JP6833466B2 (ja) 2016-11-14 2016-11-14 画像処理装置、撮像装置および制御方法

Publications (2)

Publication Number Publication Date
JP2018082239A true JP2018082239A (ja) 2018-05-24
JP6833466B2 JP6833466B2 (ja) 2021-02-24

Family

ID=62199032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016221450A Active JP6833466B2 (ja) 2016-11-14 2016-11-14 画像処理装置、撮像装置および制御方法

Country Status (1)

Country Link
JP (1) JP6833466B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010135996A (ja) * 2008-12-03 2010-06-17 Olympus Imaging Corp 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム
WO2010087164A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
JP2012044454A (ja) * 2010-08-19 2012-03-01 Canon Inc 撮像装置及びその制御方法、並びにプログラム
JP2012178820A (ja) * 2011-01-31 2012-09-13 Sanyo Electric Co Ltd 電子機器
JP2013078112A (ja) * 2011-09-16 2013-04-25 Panasonic Corp 撮像装置
JP2014232181A (ja) * 2013-05-28 2014-12-11 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010135996A (ja) * 2008-12-03 2010-06-17 Olympus Imaging Corp 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム
WO2010087164A1 (ja) * 2009-01-29 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
JP2012044454A (ja) * 2010-08-19 2012-03-01 Canon Inc 撮像装置及びその制御方法、並びにプログラム
JP2012178820A (ja) * 2011-01-31 2012-09-13 Sanyo Electric Co Ltd 電子機器
JP2013078112A (ja) * 2011-09-16 2013-04-25 Panasonic Corp 撮像装置
JP2014232181A (ja) * 2013-05-28 2014-12-11 キヤノン株式会社 撮像装置およびその制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP7016835B2 (ja) 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
US11694310B2 (en) 2019-06-06 2023-07-04 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image processing system, and manufacturing method of learnt weight

Also Published As

Publication number Publication date
JP6833466B2 (ja) 2021-02-24

Similar Documents

Publication Publication Date Title
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP6415179B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
US9204034B2 (en) Image processing apparatus and image processing method
US9641769B2 (en) Image capture apparatus and method for controlling the same
KR101661216B1 (ko) 디지털 영상 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체
WO2017130522A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN110324529B (zh) 图像处理设备及其控制方法
JP2013097154A (ja) 距離測定装置、撮像装置、距離測定方法
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6833466B2 (ja) 画像処理装置、撮像装置および制御方法
JP5045538B2 (ja) 撮像装置、及び、プログラム
JP4208563B2 (ja) 自動焦点調節装置
JP6752942B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6727973B2 (ja) 画像処理装置及びその制御方法
US10334161B2 (en) Image processing apparatus, image processing method, computer program and imaging apparatus
JP2015152830A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6626551B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP2015118338A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6003974B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6272099B2 (ja) 画像処理装置、制御方法およびプログラム
JP7346021B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体
JP2019022027A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R151 Written notification of patent or utility model registration

Ref document number: 6833466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151