JP2015084517A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2015084517A JP2015084517A JP2014185701A JP2014185701A JP2015084517A JP 2015084517 A JP2015084517 A JP 2015084517A JP 2014185701 A JP2014185701 A JP 2014185701A JP 2014185701 A JP2014185701 A JP 2014185701A JP 2015084517 A JP2015084517 A JP 2015084517A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- image processing
- processing apparatus
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 60
- 230000008569 process Effects 0.000 claims description 60
- 210000001747 pupil Anatomy 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 description 24
- 210000000887 face Anatomy 0.000 description 12
- 230000004907 flux Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置は、ライトフィールドデータを取得し、被写体を選択する。そして該装置は選択した被写体を再構成時に生成条件にかかわらず視認しにくくするための情報であり、前記ライトフィールドデータを再構成して生成される再構成画像に係る情報である制限情報を出力する。
【選択図】図8
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮影後にLFデータから任意の被写体距離に合焦した画像を生成可能なデジタルカメラに、本発明を適用した例を説明する。しかし本発明は、LFデータから任意の被写体距離に合焦した画像を生成することが可能な任意の機器に適用可能である。
本実施形態のデジタルカメラ100が有する撮像部106から出力される画像信号のように、3次元の被写体空間を記述した光線空間情報のことを示す。本実施形態では、画像信号の画素(画素信号)の各々は、通過した撮像光学系104の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。
LFデータを構成する画素を所望の組み合わせで合成するなどして新たに生成する画像であり、本実施形態では、LFデータから生成される、任意の被写体距離に合焦した画像を含む。具体的には生成する被写体距離に対応する焦点j面(再構成面、リフォーカス面)での画素配置に従ってLFデータの画素を並び替え、再構成画像の1画素(単位画素)に対応するLFデータの複数の画素(副画素)の画素値を合算することで該画素の画素値を得る。再構成面における画素配置は、再構成面に撮像素子が存在した場合に入射する光束の入射方向(入射角度)に基づいて決定される。該画素配置において1つのマイクロレンズに対応する複数の画素の画素値を足し合わせることで、再構成画像の1画素を生成することができる。再構成画像としては他にも、マイクロレンズごとに存在する、マイクロレンズからの入射方向が同じ副画素(同じ視点の副画素)から生成される各視点の画像なども含む。この視点画像の生成の際には、他の視点(マイクロレンズからの入射方向)からの画像を視差分の移動量を踏まえて位置合わせをして加算するなどしてもよい。
図1は、本発明の実施形態に係るデジタルカメラ100の機能構成を示すブロック図である。
ここで、本実施形態のデジタルカメラ100において、光軸上の撮像光学系104と撮像素子との間に設けられたマイクロレンズアレイ105について、図を用いて説明する。
ここで、特定の被写体距離に合焦した再構成画像の生成方法の概要について、図を用いて説明する。
のようになる。このように得られた2種類の再構成画像は、それぞれ対応する分割瞳領域の重心位置を擬似的に光軸とした画像である。
で表される。なお、Fは撮像レンズからマイクロレンズアレイまでの距離、αFは撮影レンズから再構成面までの距離(αはリフォーカス係数:再構成面までの距離を決定するための可変係数)である。
で表される。なお、(u,v)を瞳領域の代表座標とすることで、該式は単純加算により計算できる。
ここで、本実施形態の特徴的な処理であるリフォーカスの制限に関する処理について説明する。上述したようなLFデータからは様々な被写体距離に合焦した再構成画像を生成することができるため、撮影範囲に含まれるプライバシー情報が適切に保護されない可能性がある。即ち、例えば通常は撮影やコピーを許可していない文書等が撮影範囲に含まれていた場合、該文書を読み取り可能な再構成画像が生成される可能性があった。また、近年では撮影により得られた画像がオンラインの画像共有サービス等に公開されることも多くなっており、LFデータが任意に再構成可能な状態で公開されることも考えられる。例えば意図せず撮影範囲に写り込んでしまった人物はLFデータからの再構成画像の生成条件によっては、該人物の意思に反して肖像権が侵害される可能性がある。そこで、本実施形態では、斯様な保護対象となる被写体が存在すること、該被写体が合焦されてしまうあるいは視認可能であるリフォーカス範囲を判定し、そのリフォーカス範囲(複数の生成条件)における再構成画像において、当該保護対象の被写体を視認しにくくするための制限情報を生成し、出力する。出力される制限情報は、LFデータ等に付加したり、デジタルカメラ100内での再構成画像生成時に利用されたりする。また、リフォーカスのための再構成画像に限らず、視点変更やパース変更など、何らかの目的で再構成画像が生成される場合に、保護対象の被写体を視認しにくくするための制限情報を生成し、LFデータに付加する。
(1)顔領域の大きさ基準
例えば、検出された顔領域のうち、サイズが最も大きい顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、最も顔領域が大きくなるように撮影されている顔領域については、撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。
例えば、検出された顔領域のうち、検出用画像における配置位置が最も中央に近い顔領域が検出され、それ以外の顔領域の一部あるいは全てが、プライバシー保護対象として判定されてもよい。即ち、顔領域が中央に捉えられるように撮影されている顔領域については撮影者により主被写体となることが想定されて撮影されている可能性が高いため、それ以外の顔領域は撮影者との関係性が低い人物の顔領域としてプライバシー保護対象に設定されてもよい。
例えば、検出された顔領域のうち、認識対象として予め登録されていた人物の顔領域が検出され、それ以外の顔領域が、プライバシー保護対象として判定されてもよい。即ち、予め人物の顔が認識対象として設定される場合、撮影者と該人物との関係性が保証されるものと考えられるため、認識ができなかった顔領域はプライバシー保護対象に設定されてもよい。
例えば、撮影モード等の設定により主被写体として選択される対象が風景等である場合は、人物の顔領域は全てプライバシー保護対象として判定されてもよい。即ち、人物の顔に限らず、主被写体として選択される対象のカテゴリ(人物、風景、建物等)が予め定められている場合は、それ以外のカテゴリに属する像はプライバシー保護対象に設定されてもよい。
上述のように、制御部101は予め定められた基準を参照してプライバシー保護対象を判定するだけでなく、例えばデジタルカメラ100に設けられた不図示の操作ボタン等により選択された被写体をプライバシー保護対象として判定してもよい。あるいは選択された被写体以外の被写体がプライバシー保護対象として判定されてもよい。
例えば車のナンバープレートや住所等、再構成画像を生成した場合に画像内に視認可能な状態の文字列が含まれる場合は、このような文字列の領域が全てプライバシー保護対象として判定されてもよい。文字列の判定には公知のOCR(optical character recognition)技術などを用いることができる。
次に、制限情報を利用して、画像再生時にプライバシー情報を保護する処理を行う手順について、図12のフローチャートを参照して説明する。なお、ここでは、制限情報付加手順で説明した、図10のプライバシー保護領域と図11の制限情報テーブルが付加されている撮像データを、再生する手順を例に、説明を行う。
本発明の実施形態2では、プライバシー保護領域に対し、制限情報が付加されていない、あるいは、ぼかし処理されていない撮像データ(LFデータ)に対して、画像再生時にプライバシー保護処理を施して画像表示を行う。図17は本実施形態における画像再生時のプライバシー保護処理の手順を示すフローチャート図である。
上述した実施形態では、図3に示した撮像光学系104、マイクロレンズアレイ105、及び撮像部106の構成により取得されたLFデータを対象としたが、本発明は図13に示すような構成により得られたLFデータが使用されてもよい。図13の構成は、文献「Todor Georgiev and Andrew Lumsdaine, "Superresolution with Plenoptic 2.0 Camera", Signal Recovery and Synthesis, Optical Society of America, 2009"に記載されるプレノプティックカメラに対応する。図13の構成では、撮像光学系104の焦点がマイクロレンズアレイ105の面上ではなく、より撮像光学系104の射出瞳に近い位置に設けられている点が異なる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (25)
- ライトフィールドデータを取得するデータ取得手段と、
被写体を選択する選択手段と、
前記ライトフィールドデータを再構成して生成される再構成画像に係る情報であり、前記選択手段により選択された被写体を、複数の生成条件で再構成される再構成画像にわたって視認しにくくするための情報である制限情報を出力する出力手段と、を有する
ことを特徴とする画像処理装置。 - 前記出力手段により出力された前記制限情報を前記ライトフィールドデータに関連付けて記録する記録手段をさらに有する請求項1に記載の画像処理装置。
- 前記選択手段は、前記ライトフィールドデータから生成される再構成画像について所定の被写体を検出する検出手段を有し、
前記選択手段は、前記検出手段により検出された前記所定の被写体のうちの少なくとも一部の被写体を選択する
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像において、前記選択手段により選択された被写体を視認しにくくするための処理を適用することを規定する情報であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記視認しにくくするための処理を適用することを規定する情報は、再構成画像の生成条件ごとに定められることを特徴とする請求項4に記載の画像処理装置。
- 前記視認しにくくするための処理を適用することを規定する情報は、生成される再構成画像の被写界深度に応じて該処理を適用する被写体距離の範囲を規定することを特徴とする請求項4または5に記載の画像処理装置。
- 前記視認しにくくするための処理は、画像内の領域に対するぼかし処理であり、
前記制限情報は、前記選択手段により選択された被写体に合焦する被写体距離に近い被写体距離に合焦させた再構成画像ほど、ぼかし処理の強度を強めるように規定されていることを特徴とする請求項4乃至6のいずれか1項に記載の画像処理装置。 - 前記視認しにくくするための処理は、画像内の領域に対するマスク処理であることを特徴とする請求項4乃至7のいずれか1項に記載の画像処理装置。
- 前記視認しにくくするための処理は、前記選択手段により選択された被写体に対応する領域の輝度信号あるいは色信号を当該被写体が視認しにくくなるように変換する処理であることを特徴とする請求項4乃至7のいずれか1項に記載の画像処理装置。
- ライトフィールドデータを取得するデータ取得手段と、
前記ライトフィールドデータから生成可能な再構成画像についての、被写体を再構成画像の複数の生成条件にわたって視認しにくくするための制限情報を取得する情報取得手段と、
前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定手段と、
前記設定手段により設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定手段と、を有する
ことを特徴とする画像処理装置。 - 前記決定手段により決定された生成条件に基づいて、前記ライトフィールドデータから再構成画像を生成する生成手段をさらに有することを特徴とする請求項10に記載の画像処理装置。
- 前記生成手段は、前記制限情報に基づいて、再構成画像内の指定された被写体に対応する領域に、該被写体を視認しにくくするための処理を適用することを特徴とする請求項11に記載の画像処理装置。
- 前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像において、前記指定された被写体を視認しにくくするための処理を適用することを規定する情報であることを特徴とする請求項12に記載の画像処理装置。
- 前記視認しにくくするための処理を適用することを規定する情報は、再構成画像の生成条件ごとに定められることを特徴とする請求項12または13に記載の画像処理装置。
- 前記視認しにくくするための処理を適用することを規定する情報は、生成される再構成画像の被写界深度に応じて該処理を適用する被写体距離の範囲を規定することを特徴とする請求項12乃至14のいずれか1項に記載の画像処理装置。
- 前記視認しにくくするための処理は、画像内の領域に対するぼかし処理であり、
前記制限情報は、前記指定された被写体に合焦する被写体距離に近い被写体距離に合焦させた再構成画像ほど、ぼかし処理の強度を強めるように規定されていることを特徴とする請求項12乃至15のいずれか1項に記載の画像処理装置。 - 前記視認しにくくするための処理は、画像内の領域に対するマスク処理であることを特徴とする請求項12乃至16のいずれか1項に記載の画像処理装置。
- 前記視認しにくくするための処理は、前記指定された被写体に対応する領域の輝度信号あるいは色信号を当該被写体が視認しにくくなるように変換する処理であることを特徴とする請求項12乃至16のいずれか1項に記載の画像処理装置。
- 前記制限情報は、前記ライトフィールドデータを再構成して生成される再構成画像における主被写体以外の領域の被写体を視認しにくくするための情報であることを特徴とする請求項1乃至18のいずれか1項に記載の画像処理装置。
- 前記ライトフィールドデータは、画素信号の各々が、前記ライトフィールドデータを撮像した際の撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を有することを特徴とする請求項1乃至19のいずれか1項に記載の画像処理装置。
- 前記ライトフィールドデータは、被写体の3次元空間を記述する光線空間情報であり、データを再構成することにより、任意の被写体距離に合焦する再構成画像を生成可能であることを特徴とする請求項1乃至20のいずれか1項に記載の画像処理装置。
- ライトフィールドデータを取得するデータ取得工程と、
被写体を選択する選択工程と、
前記ライトフィールドデータを再構成して生成される再構成画像に係る情報であり、前記選択工程において選択された被写体を、複数の生成条件で再構成される再構成画像にわたって視認しにくくするための情報である制限情報を出力する出力工程と、を有する
ことを特徴とする画像処理方法。 - ライトフィールドデータを取得するデータ取得工程と、
前記ライトフィールドデータから生成可能な再構成画像についての、被写体を複数の再構成画像の生成条件にわたって視認しにくくするための制限情報を取得する情報取得工程と、
前記ライトフィールドデータから生成する再構成画像の生成条件を設定する設定工程と、
前記設定工程において設定された生成条件と前記制限情報とに基づいて、最終的に生成する再構成画像の生成条件を決定する決定工程と、を有する
ことを特徴とする画像処理方法。 - コンピュータに請求項1乃至21のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項24に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014185701A JP6502640B2 (ja) | 2013-09-20 | 2014-09-11 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US14/488,927 US9420168B2 (en) | 2013-09-20 | 2014-09-17 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013195318 | 2013-09-20 | ||
JP2013195318 | 2013-09-20 | ||
JP2014185701A JP6502640B2 (ja) | 2013-09-20 | 2014-09-11 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015084517A true JP2015084517A (ja) | 2015-04-30 |
JP6502640B2 JP6502640B2 (ja) | 2019-04-17 |
Family
ID=53047916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014185701A Active JP6502640B2 (ja) | 2013-09-20 | 2014-09-11 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6502640B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017163955A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体 |
JP2021012597A (ja) * | 2019-07-08 | 2021-02-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012001947A1 (ja) * | 2010-06-28 | 2012-01-05 | 株式会社ニコン | 撮像装置、画像処理装置、画像処理プログラム記録媒体 |
JP2013134654A (ja) * | 2011-12-27 | 2013-07-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法およびプログラム |
-
2014
- 2014-09-11 JP JP2014185701A patent/JP6502640B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012001947A1 (ja) * | 2010-06-28 | 2012-01-05 | 株式会社ニコン | 撮像装置、画像処理装置、画像処理プログラム記録媒体 |
JP2013134654A (ja) * | 2011-12-27 | 2013-07-08 | Casio Comput Co Ltd | 画像処理装置、画像処理方法およびプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017163955A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体 |
US11030464B2 (en) | 2016-03-23 | 2021-06-08 | Nec Corporation | Privacy processing based on person region depth |
JP2021012597A (ja) * | 2019-07-08 | 2021-02-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP7378235B2 (ja) | 2019-07-08 | 2023-11-13 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6502640B2 (ja) | 2019-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5854984B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6288952B2 (ja) | 撮像装置およびその制御方法 | |
JP6159097B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
US9420168B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2013201752A5 (ja) | ||
JP2014153890A5 (ja) | ||
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP2014157425A (ja) | 撮像装置及びその制御方法 | |
JP6502640B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP6491442B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
US9369698B2 (en) | Imaging apparatus and method for controlling same | |
JP6470530B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP6074201B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
JP6757245B2 (ja) | 動画再生装置、撮像装置、動画再生方法及びプログラム | |
JP6138222B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2015139018A (ja) | 電子機器及び制御プログラム | |
JP6387149B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6106026B2 (ja) | 画像処理装置、撮像装置、再生装置、制御方法、及びプログラム | |
JP2020085967A (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP6478536B2 (ja) | 画像処理装置および撮像装置、ならびにそれらの制御方法、プログラム | |
JP2015139019A (ja) | 画像合成装置及び画像合成プログラム | |
JP6271981B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 | |
JP2015154254A (ja) | 電子機器及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190322 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6502640 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |