JP2018060579A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2018060579A JP2018060579A JP2017254450A JP2017254450A JP2018060579A JP 2018060579 A JP2018060579 A JP 2018060579A JP 2017254450 A JP2017254450 A JP 2017254450A JP 2017254450 A JP2017254450 A JP 2017254450A JP 2018060579 A JP2018060579 A JP 2018060579A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- unit
- specific subject
- subject
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】撮像装置は、被写体を撮像して、第1画像データを生成する生成手段と、生成手段により生成された第1画像データを複数の部分領域に分割する分割手段と、分割手段によって分割された複数の部分領域と、所定の被写体に関連するテンプレートとに基づいて、複数の部分領域のそれぞれについて被写体らしさを算出する算出手段と、算出手段により複数の部分領域ごとに算出された被写体らしさに応じて、第1画像データに対して第1画像処理を施す第1画像処理手段とを備える。
【選択図】図3
Description
請求項9に記載の撮像装置は、被写体を撮像して、画像データを生成する生成部と、前記画像データから特定被写体領域を特定する特定部と、前記特定部によって特定された特定被写体領域を評価する評価部と、前記評価部の評価部の評価結果と、前記画像データの人物の顔の大きさとに基づいて、前記画像データの前記特定被写体領域に度合の異なる画像処理を施す画像処理部と、を備える。
請求項10に記載の撮像装置は、被写体を撮像して、画像データを生成する生成部と、前記画像データから特定被写体領域を特定する特定部と、前記特定部によって特定された特定被写体領域を評価する評価部と、前記評価部の評価結果に基づいて、前記画像データの前記特定被写体領域に度合の異なる画像処理を施し、前記特定被写体領域のうちの特定の第1領域と、前記第1領域と異なる第2領域との境界においては前記画像処理の度合を徐々に変化させる画像処理部と、を備える。
(1)マップ作成処理の説明
図5(a)は、画像生成部16aにより生成された元画像データ50の一例を模式的に示した図である。元画像データ50は、主要被写体である人物51と、3つの背景領域52、53、54とから構成される画像データである。この元画像データ50に対して、特定部16bは、公知の顔検出処理を行う。顔検出処理によって、元画像データ50から主要被写体である人物の顔の位置および大きさが検出される。図5(a)では、特定部16bが元画像データ50から検出した人物の顔の位置および大きさを、矩形の枠501により模式的に図示している。なお、元画像データ50に多数の人物が含まれていれば、特定部16bはそれら多数の人物の各々について、当該人物の顔の位置および大きさを検出する。
処理部16gは、元画像データ50を複製し、複製した元画像データ50全体に対して、画像をデジタル的に明るくするデジタルライティング処理を施し、処理済画像データ510を生成する。
合成部16hは、処理部16gによって生成された処理済画像データ510を、元画像データ50と合成することによって、合成画像データ512(図4)を生成する。このとき、合成部16hは、上述したαブレンドマップ511を参照しながら、以下の式(1)を用いて、合成画像データを生成する。
I=αA+(1−α)B …(1)
なお、αはαブレンドマップ511に示される、合成の比率を示すαブレンド率(0≦α≦1)、Aは処理済画像データ510、Bは元画像データ50、Iは合成画像データ512を表す。
また、下半身や腕先などに近い部分では、人体の主要な部分に比べて元画像データ50の割合が多くなるので、背景領域と人物領域で度合いを異ならせるような処理であるにも関わらず、違和感のない画像とすることができる。
特定部16bによって複数の異なる人物の顔が検出された場合には、画像処理部16は検出された人物の顔が所定数以上か否かを判定する。特定部16bによって所定数未満の人物の顔、すなわち所定数未満の複数の被写体領域502が検出された場合には、画像処理部16の領域分割部16c、評価値算出部16dおよび被写体マップ生成部16eは、検出されたそれぞれの人物に対して独立に上述の処理を行う。その結果、各人物について被写体マップ507が生成される。
(1)領域分割部16cは、元画像データ50(第1画像データ)を複数の部分領域503に分割し、評価値算出部16dは、部分領域503のそれぞれについて評価値を割り当てる。そして、合成部16hは、割り当てられた評価値に応じて、元画像データ50に対して画像処理済画像データ510とのαブレンド処理(第1画像処理)を施すようにした。したがって、元画像データ50(第1画像データ)に対し、処理部16gによる画像処理を、部分的に異なる度合いで反映させた画像を生成することが出来る。このため、画像処理の処理負担を軽減することができる。
態と組み合わせることも可能である。
処理部16gは、画像処理としてデジタルライティング処理を行うものに代えて、ソフトフィルタ処理を施して、合成画像データ512上でソフトフィルタ効果が得られるようにしてよい。なお、ソフトフィルタ処理は、人物の顔には弱く施され(あるいは全く施されず)、背景には強く施されることが望ましい。従って、処理部16gがソフトフィルタ処理を施す場合、上式(1)ではなく、次式(2)を用いてαブレンド処理を行うことが望ましい。
I=(1−α)A+αB …(2)
上記実施形態で説明した平滑化処理に代えて、あるいは加えて、αブレンドマップ生成の際に、図10に示される被写体マップ507とその周辺領域との境界部に対して平滑化処理を行う構成としてもよい。このような構成とすれば、被写体の領域が、トリミングした領域(被写体領域502)の端まで存在するような場合でも、トリミング領域の画像データとそれ以外の画像データの間で、急激な明るさの変化が抑制されるため、自然な合成画像を得ることができる。
合成部16hは、特定部16bにより検出された人物の大きさに応じて、合成画像データ512を生成する際のαブレンドの割合を変化させてもよい。たとえば、遠方の人物に対しては、αブレンドマップ生成部16fは、αブレンドの割合を小さくする。
主要被写体として人物の場合を例として説明したが、これに限定されるものではない。特定部16bは、主要被写体として、たとえば車両や動物等を特定した場合であっても、評価値算出部16dは、上述したようにして車両や動物等である確度として被写体らしさを表す評価値を算出するものについても本発明の一態様に含まれる。この場合、車両や動物等の形状を表す複数のテンプレート画像505が予め記録されていれば良い。
領域分割部16cは、トリミング画像データ5021からプリ分割画像データ504を生成するものに代えて、元画像データ50の全領域を分割して複数の部分領域503を生成してもよい。
画像処理部16は、元画像データ50を所定サイズに縮小した縮小画像データに対して処理を行ってもよい。この場合、画像処理部16の処理負荷を軽減できる。
合成画像データ512をメモリカード21に記録するものに代えて、処理済画像データ510と被写体マップ507(またはαブレンドマップ511)と元画像データ50とを関連付けて記録してもよい。この場合、合成部16hは、再生時にメモリカード21から処理済画像データ510と被写体マップ507(またはαブレンドマップ511)と元画像データ50とを読み出して、被写体マップ507(またはαブレンドマップ511)を参照しながら、上述したようにして処理済画像データ510と元画像データ50とを合成して合成画像データ512を生成すればよい。
画像処理部16が撮像素子11から出力された撮像信号を用いて合成画像データ512を生成するものに代えて、メモリカード21や不図示の内部メモリに記録されている元画像データ50を用いて合成画像データ512を生成するものも本発明の一態様に含まれる。この場合、画像処理部16の各部は、メモリカード21から読み出された元画像データ50に対して、上述した各処理をそれぞれ行えばよい。
上述した実施の形態では、人物の顔の向きに応じた3つのテンプレート画像505a、505b、505cを用いる例について説明した。本発明はこのような実施の形態に限定されず、人物の顔の向き以外の基準に基づいて用意された複数のテンプレート画像505を用いるように構成することも可能である。
上述の実施の形態で説明した、複数の被写体(人物)に対して、上記のデジタルライティング処理、あるいは/及び、ソフトフィルタ処理を行う際に、上記各種の演算処理を行う処理時間を短縮する為に、処理対象とする被写体数を所定数に制限することができる。このような場合には、被写体の一部である特定部位(顔)の特性の順(例えば顔の大きさの大きい順)に所定数の処理対象被写体を選択する構成としてもよい。
上記変形例10のように、処理対象とする被写体数を所定数に制限する場合、合成画像上で、処理対象として選択された被写体と選択されなかった被写体との間で、上記のデジタルライティング処理、あるいは/及び、ソフトフィルタ処理による画像効果の差が発生し、視覚上、違和感を生じる可能性がある。このような場合に対応する為に、処理対象として選択された被写体と選択されなかった被写体との間の画面上の距離、あるいは/及び処理対象として選択された被写体と選択されなかった被写体との間の画面上の大きさの差によって、上記のデジタルライティング処理、あるいは/及び、ソフトフィルタ処理による画像効果を変更する構成としてもよい。例えば、処理対象として選択された被写体と選択されなかった被写体との距離が大きく、両被写体の大きさの差が大きい場合には、上記のデジタルライティング処理、あるいは/及び、ソフトフィルタ処理による画像効果が大きくなるように、αブレンドマップを設定し、処理対象として選択された被写体と選択されなかった被写体との距離が小さく、両被写体の大きさの差が小さい場合には、上記のデジタルライティング処理、あるいは/及び、ソフトフィルタ処理による画像効果が小さくなるように、αブレンドマップを設定する。このような構成とすることにより、視覚上の違和感を抑制することができる。
上述の実施の形態における、処理対象とする画面中の被写体を、被写体、あるいはその特定部位の大きさ、画面内の被写体の位置、笑顔度、デフォーカス量、目つぶりの度合い、顔認識結果の信頼度に応じて、自動的に設定する構成としてもよい。
上述の実施の形態において、特定部16bにより、複数の被写体領域502が特定された場合には、合成部16fは、画面内の所定部(例えば、画面中央部)に近い被写体に対してαブレンドの比率を高くし、他の被写体に対しては、画面内所定部に近い被写体との間の距離(画面内の距離、あるいは焦点調節部17より得られるデフォーカス量に基づいて算出された撮影レンズL1の光軸方向の距離)、あるいは/及び当該被写体の大きさに基づいて、αブレンド率を調整し、設定する構成としてもよい。このような構成とすれば、合成画像において、被写体間で画像処理の効果に極端な差が発生することを抑制することができる。
上述の実施の形態で説明した処理の結果、生成された合成画像は、極力早く液晶表示器14に表示することが望まれる。このような場合に対応する為に、元画像データ50に対してリサイズ(縮小)処理を行い、処理画素数を低減した上で、上述の各処理を行って、液晶表示器14への表示用の合成画像データを生成する処理を、元画像データ50に対して上述の各処理を行って、例えばメモリカード21に記録する記録用の合成画像データを生成する処理に先だって優先的に行う構成としてもよい。このような構成とすれば、ユーザは、合成画像データを迅速に確認することができる。
実施の形態においてはデジタルカメラ1を例として説明したが、たとえばパーソナルコンピュータ等の画像処理装置において合成画像データ512を生成するものについても本発明の一態様に含まれる。この場合、画像処理装置は、デジタルカメラ1の画像処理部16が備える特定部16b、領域分割部16c、評価値算出部16d、被写体マップ生成部16e、αブレンドマップ生成部16f、処理部16gおよび合成部16hを機能として備えている。そして、画像処理装置は、デジタルカメラにて撮影され記録された元画像データ50を、メモリカード21等を介して読み込み、特定部16b、領域分割部16c、評価値算出部16d、被写体マップ生成部16e、αブレンドマップ生成部16f、処理部16gおよび合成部16hが上述した各処理をそれぞれ行えばよい。
Claims (11)
- 被写体を撮像して、第1画像データを生成する第1生成部と、
前記第1画像データに基づいて第2画像データを生成する第2生成部と、
前記第1画像データから特定被写体領域を特定する特定部と、
前記特定により特定された特定被写体領域を含む領域の少なくとも一部を評価する評価部と、
前記評価部の評価結果に基づいて、前記第1画像データと前記第2画像データとに基づいて、第3画像データを生成する第3生成部と、
を備える撮像装置。 - 請求項1に記載の撮像装置において、
前記評価部は、テンプレートに基づいて前記特定被写体領域を評価する撮像装置。 - 請求項2に記載の撮像装置において、
前記テンプレートは複数種類のテンプレートによって構成され、
前記評価部は、前記複数種類のテンプレートのうち、前記特定部により特定された前記特定被写体領域の特徴に応じて前記テンプレートを選択する撮像装置。 - 請求項3に記載の撮像装置において、
前記評価部は、前記特定被写体領域を、前記選択されたテンプレートに基づいて評価する撮像装置。 - 請求項1〜4のいずれか一項に記載の撮像装置において、
前記第2生成部は、前記第1画像データに対して、明るさを補正するまたは周波数成分を変更する処理を施して前記第2画像データを生成する撮像装置。 - 請求項2から請求項4までの何れか一項に記載の撮像装置において、
前記評価部は、前記特定部によって特定された前記特定被写体領域の前記第1画像データにおける位置と大きさとに基づいて、前記テンプレートの位置と大きさとを設定する撮像装置。 - 請求項1から請求項6までの何れか一項に記載の撮像装置において、
前記特定部によって複数の前記特定被写体領域が特定され、かつ前記複数の特定被写体領域が重複している場合には、前記第3生成部は、前記複数の特定被写体領域のうちの重複している領域については、最も高い評価に基づいて、前記第1画像データと前記第2画像データとを合成する撮像装置。 - 請求項1から請求項7までの何れか一項に記載の撮像装置において、
前記特定部によって所定数以上の前記特定被写体領域が特定された場合に、複数の前記特定被写体領域の特性に基づいて、前記複数の特定被写体領域から前記所定数の前記特定被写体領域を選択する選択部をさらに備え、
前記第3生成部は、前記特定部によって所定数以上の前記特定被写体領域が特定された場合、前記選択部により選択されなかった前記特定被写体領域に関する評価を用いない撮像装置。 - 被写体を撮像して、画像データを生成する生成部と、
前記画像データから特定被写体領域を特定する特定部と、
前記特定部によって特定された特定被写体領域を評価する評価部と、
前記評価部の評価部の評価結果と、前記画像データの人物の顔の大きさとに基づいて、前記画像データの前記特定被写体領域に度合の異なる画像処理を施す画像処理部と、
を備える撮像装置。 - 被写体を撮像して、画像データを生成する生成部と、
前記画像データから特定被写体領域を特定する特定部と、
前記特定部によって特定された特定被写体領域を評価する評価部と、
前記評価部の評価結果に基づいて、前記画像データの前記特定被写体領域に度合の異なる画像処理を施し、前記特定被写体領域のうちの特定の第1領域と、前記第1領域と異なる第2領域との境界においては前記画像処理の度合を徐々に変化させる画像処理部と、
を備える撮像装置。 - 請求項10に記載の撮像装置において、
前記画像処理部は、前記特定被写体領域のうち人物の顔に対応する領域に対しては、他の領域とは前記画像処理の変化の度合を異ならせる撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017254450A JP2018060579A (ja) | 2017-12-28 | 2017-12-28 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017254450A JP2018060579A (ja) | 2017-12-28 | 2017-12-28 | 撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013161240A Division JP6268790B2 (ja) | 2013-08-02 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018060579A true JP2018060579A (ja) | 2018-04-12 |
Family
ID=61909933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017254450A Pending JP2018060579A (ja) | 2017-12-28 | 2017-12-28 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018060579A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
JP2012083848A (ja) * | 2010-10-07 | 2012-04-26 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム |
-
2017
- 2017-12-28 JP JP2017254450A patent/JP2018060579A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1191169A (ja) * | 1997-09-19 | 1999-04-06 | Fuji Photo Film Co Ltd | 画像処理装置 |
JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
JP2012083848A (ja) * | 2010-10-07 | 2012-04-26 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9934562B2 (en) | Method for dynamic range editing | |
US7734098B2 (en) | Face detecting apparatus and method | |
JP5281878B2 (ja) | 撮像装置、ライティング処理装置、ライティング処理方法およびライティング処理用プログラム | |
US9900523B2 (en) | Image processing apparatus which performs image processing on photographic subject | |
US20080112648A1 (en) | Image processor and image processing method | |
JP2002158893A (ja) | 画像補正装置、画像補正方法および記録媒体 | |
JP2002171398A (ja) | 画像処理方法及び電子カメラ | |
KR20130029031A (ko) | 화성을 합성하는 화상 처리 장치 | |
JP2011041089A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
CN109639959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP7292905B2 (ja) | 画像処理装置及び画像処理方法、及び撮像装置 | |
JP2010239440A (ja) | 画像合成装置及びプログラム | |
US20190108625A1 (en) | Image processing apparatus, image processing method, and recording medium | |
US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
US20080239086A1 (en) | Digital camera, digital camera control process, and storage medium storing control program | |
JP5504990B2 (ja) | 撮像装置、画像処理装置及びプログラム | |
US20110311159A1 (en) | Image processing apparatus, image processing method, and recording medium recording a program | |
JPH1091761A (ja) | 画像処理装置 | |
JP6817779B2 (ja) | 画像処理装置、その制御方法、プログラムならびに記録媒体 | |
JP6268790B2 (ja) | 撮像装置 | |
JP2018060579A (ja) | 撮像装置 | |
JP2008283289A (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
JP2006350621A (ja) | 画像処理装置及び画像処理プログラム | |
JP2015032991A (ja) | 撮像装置 | |
JP2010226485A (ja) | 画像加工装置およびデジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190509 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191023 |