JP2019037004A - 画像処理装置、その制御方法、プログラム - Google Patents
画像処理装置、その制御方法、プログラム Download PDFInfo
- Publication number
- JP2019037004A JP2019037004A JP2018220674A JP2018220674A JP2019037004A JP 2019037004 A JP2019037004 A JP 2019037004A JP 2018220674 A JP2018220674 A JP 2018220674A JP 2018220674 A JP2018220674 A JP 2018220674A JP 2019037004 A JP2019037004 A JP 2019037004A
- Authority
- JP
- Japan
- Prior art keywords
- virtual light
- light source
- shadow
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000011156 evaluation Methods 0.000 claims abstract description 32
- 238000012937 correction Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 45
- 230000008569 process Effects 0.000 description 75
- 239000013598 vector Substances 0.000 description 52
- 238000003384 imaging method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000003321 amplification Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 201000005569 Gout Diseases 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
●(第1の実施形態)
図1は、本発明の第1の実施形態に係る画像処理装置の一例としてのデジタルカメラ100の構成例を示すブロック図である。本発明は撮影された画像に適用する画像処理、より具体的にはリライティング処理の方法に特徴を有する。従って、撮影や記録に関する構成は必須では無い。
システムメモリ122は、システム制御部50の動作用の定数、変数、不揮発性メモリ121から読みだしたプログラム等を展開するために用いる。
例えば撮像部103は、シャッター102が開いている際にレンズ群101が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてA/D変換器104へ出力する。A/D変換器104は撮像部103から出力されるアナログ画像信号をデジタル画像信号(画像データ)に変換し画像処理部105に出力する。
・リライティング処理の実行が指定された状態で撮影された画像
・メニュー画面等からリライティング処理の実施が指示された、例えば記録媒体112に記録済の画像
に対して実施することができる。なお、リライティング処理において撮影時の情報が必要な場合、不揮発性メモリ121またはシステムメモリ122から読み出したり、画像ファイルのヘッダなどから取得したりするものとする。
S301で陰影状態検出部207は、WB増幅部202から入力された画像信号R,G,Bのうち、リライティング処理の対象とする被写体領域に対応する画像信号を抽出する。例えば、顔検出部113で検出した人物の顔領域をリライティング処理の対象とする場合、陰影状態検出部207は顔検出部113から顔情報を取得し、対応する顔領域の画像信号R,G,Bを抽出する。リライティング処理の対象とする被写体領域に特に制限はなく、顔検出部113のように画像の特徴から自動検出される領域であってもよいし、ユーザが操作部120を通じて指定した領域であってもよい。以下では一例として、顔領域をリライティング処理の対象とする場合について説明する。
S302で陰影状態検出部207は、抽出した顔領域401に含まれる画像信号R,G,Bに基づいて、顔領域の明るさ情報を算出する。具体的には、図3(b)に示すように顔領域401を複数(例えば、縦8×横8=64個)のブロックに分割し、ブロックごとに画素の輝度平均値と、色平均値を算出する。なお、R,G,Bの信号値から輝度信号値および色信号値を求めるには、例えばRGB→YUV(YCbCr)やRGB→HSLなどの色空間変換処理を行えばよい。
図5は、リライティング処理を適用する被写体領域と、環境光および仮想光の照射方向の関係を、鉛直上方から俯瞰した様式で模式的に示す図である。ここでは、図3(b)と同様、顔領域401にリライティング処理を適用するものとする。
S501で仮想光源制御部208は、リライティング処理によって実現する、コントラスト値の目標値を例えばシステム制御部50から取得する。目標値は例えば不揮発性メモリ121に予め設定しておくことができる。なお、目標値はリライティング処理を行う被写体領域の種類に応じて異なる値が設定されていてもよい。
S503で仮想光源制御部208は、検出されたコントラスト値と目標値とを比較し、検出値が目標値より高い場合はS504へ、検出値が目標値以下の場合はS505へ、それぞれ処理を進める。
具体的には、S505で仮想光源制御部208は、検出されたコントラスト値が所定の下限閾値未満であるか否かを判定し、所定の下限閾値未満である場合はS506へ、所定の下限閾値以上の場合はS507へ、処理を進める。
Rout=[Rt+A×cos(θ)×(1/D^2)×Rv]/M
Gout=[Gt+A×cos(θ)×(1/D^2)×Gv]/M
Bout=[Bt+A×cos(θ)×(1/D^2)×Bv]/M
ここで、(Rt,Gt,Bt)は処理対象の画素値、Aは仮想光源の強度を表す所定の定数、Dは仮想光源と、リライティング対象領域内の被写体との距離、(Rv,Gv,Bv)は光源反射色である。また、Mはリライティング後の出力RGB値を正規化するための予め設定された定数、角度θは、仮想光源制御部208が決定した仮想光の照射方向と、処理対象画素の被写体の法線ベクトルとがなす角度である。ここで、角度θは、リライティング対象領域の各画素に対して被写体の法線ベクトルを算出し、法線ベクトルの方向と仮想光の照射方向とから算出することができる。
次に、図6および図7を参照して、本発明の第2の実施形態について説明する。第1の実施形態では、リライティング処理の対象とする領域内の被写体の陰影状態を表す評価値と環境光の照射方向とに基づいて、仮想光の照射方向を決定したが、本実施形態では、より詳細に仮想光の照射方向を決定する。
陰影状態検出部207は、被写体領域701を複数(縦8×横8=64個)のブロックに分割し、ブロックごとに画素の輝度平均値を算出する。
また、本実施形態では、陰影状態検出部207はさらに、被写体領域701に占める陰の領域の面積の割合(陰割合)も算出する。具体的には、陰影状態検出部207は、(平均輝度値が予め定められた閾値以下であるブロックの数)/(ブロック総数)として陰割合を算出する。さらに陰影状態検出部207は、ブロックごとに被写体の法線ベクトルの方向を算出する。
陰影状態検出部207は、算出したブロックごとの法線ベクトルの情報と、リライティング処理の対象とする領域内の被写体の陰影状態を表す評価値としての陰割合とを、仮想光源制御部208へ出力する。
S801で仮想光源制御部208は、リライティング処理により実現する、被写体の陰影状態の目標値として、目標陰割合を例えばシステム制御部50から取得する。
S803で仮想光源制御部208は、陰割合を目標値と比較し、その差が所定の閾値範囲内であるか否か(すなわち、陰割合が目標範囲内であるか否か)を判定する。仮想光源制御部208は目標範囲内の陰割合が得られていればリライティング処理が不要であると判断して処理を終了し、画像を再ガンマ処理部206へ出力する。目標範囲内の陰割合が得られていない場合には処理をS804へ進める。
そして、S807で仮想光源制御部208は、輝度を低下させたことによって増加した陰領域(陰領域に相当する輝度になった領域)の一部が仮想光で照射されるように仮想光源の位置の初期値を設定し、処理をS808へ進める。
Rout=[Rt+A×cos(θ_n)×(1/Dn^2)×Rv]/M
Gout=[Gt+A×cos(θ_n)×(1/Dn^2)×Gv]/M
Bout=[Bt+A×cos(θ_n)×(1/Dn^2)×Bv]/M
S813で仮想光源制御部208は、陰領域のブロックの1部の平均輝度が減少するように仮想光源の位置を変更し、再設定して処理をS808に戻す。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (3)
- 画像中の被写体領域について、陰影の状態を表す評価値を算出する算出手段と、
前記評価値に基づいて仮想光源を設定する設定手段と、
前記仮想光源が照射する仮想光の影響を前記画像に反映させる補正手段と、
を有することを特徴とする画像処理装置。 - 画像処理装置の制御方法であって、
前記画像処理装置の算出手段が、画像中の被写体領域について、陰影の状態を表す評価値を算出する算出工程と、
前記画像処理装置の設定手段が、前記評価値に基づいて仮想光源を設定する設定工程と、
前記画像処理装置の補正手段が、前記仮想光源が照射する仮想光の影響を前記画像に反映させる補正工程と、
を有することを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220674A JP6727276B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置、その制御方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220674A JP6727276B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置、その制御方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014197506A Division JP6442209B2 (ja) | 2014-09-26 | 2014-09-26 | 画像処理装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019037004A true JP2019037004A (ja) | 2019-03-07 |
JP6727276B2 JP6727276B2 (ja) | 2020-07-22 |
Family
ID=65637928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220674A Active JP6727276B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置、その制御方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6727276B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002230550A (ja) * | 2000-11-29 | 2002-08-16 | Giken Torasutemu Kk | 物体像識別方法 |
JP2008009849A (ja) * | 2006-06-30 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 人物追跡装置 |
JP2008033897A (ja) * | 2006-06-29 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
JP2009053748A (ja) * | 2007-08-23 | 2009-03-12 | Nikon Corp | 画像処理装置、画像処理プログラムおよびカメラ |
JP2010135996A (ja) * | 2008-12-03 | 2010-06-17 | Olympus Imaging Corp | 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム |
JP2013235537A (ja) * | 2012-05-11 | 2013-11-21 | Nikon Corp | 画像作成装置、画像作成プログラム、及び記録媒体 |
JP2014166298A (ja) * | 2013-01-31 | 2014-09-11 | Olympus Corp | 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
-
2018
- 2018-11-26 JP JP2018220674A patent/JP6727276B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002230550A (ja) * | 2000-11-29 | 2002-08-16 | Giken Torasutemu Kk | 物体像識別方法 |
JP2008033897A (ja) * | 2006-06-29 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
JP2008009849A (ja) * | 2006-06-30 | 2008-01-17 | Matsushita Electric Ind Co Ltd | 人物追跡装置 |
JP2009053748A (ja) * | 2007-08-23 | 2009-03-12 | Nikon Corp | 画像処理装置、画像処理プログラムおよびカメラ |
JP2010135996A (ja) * | 2008-12-03 | 2010-06-17 | Olympus Imaging Corp | 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム |
JP2013235537A (ja) * | 2012-05-11 | 2013-11-21 | Nikon Corp | 画像作成装置、画像作成プログラム、及び記録媒体 |
JP2014166298A (ja) * | 2013-01-31 | 2014-09-11 | Olympus Corp | 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6727276B2 (ja) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6442209B2 (ja) | 画像処理装置およびその制御方法 | |
JP6445844B2 (ja) | 撮像装置および撮像装置で実行される方法 | |
US9699386B2 (en) | Image processing apparatus and method | |
JP6412386B2 (ja) | 画像処理装置およびその制御方法、プログラムならびに記録媒体 | |
JP7292905B2 (ja) | 画像処理装置及び画像処理方法、及び撮像装置 | |
JP6718253B2 (ja) | 画像処理装置及び画像処理方法 | |
US11019254B2 (en) | Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source | |
JP2019145097A (ja) | 設定装置及び方法、プログラム、記憶媒体 | |
JP2017138927A (ja) | 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム | |
JP6921606B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6727276B2 (ja) | 画像処理装置、その制御方法、プログラム | |
JP6541416B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP6663246B2 (ja) | 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム | |
US11842467B2 (en) | Image processing apparatus, image processing method and storage medium | |
JP7356255B2 (ja) | 画像処理装置及びその処理方法、撮像装置、プログラム、記憶媒体 | |
JP6675461B2 (ja) | 画像処理装置およびその制御方法、ならびにプログラム | |
JP2018190257A (ja) | 画像処理装置 | |
JP2021064884A (ja) | 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム | |
JP2021108023A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200210 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200630 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6727276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |