以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.用語の定義>
<2.第1の実施の形態>
[2−1.撮像装置の構成]
[2−2.撮像装置により行われる処理]
「2−2−1.背景物条件設定」
「2−2−2.本画像条件設定」
「2−2−3.自分撮りの際に行われる処理」
[2−3.画像加工処理]
「2−3−1.顔位置調整処理」
「2−3−2.傾き補正処理」
「2−3−3.背景物サイズ調整処理」
「2−3−4.最適構図調整処理」
「2−3−5.縦横変換処理」
「2−3−6.顔向き対応調整処理」
「2−3−7.黄金比に基づく拡大処理」
<3.第2の実施の形態>
[3−1.画像処理装置および撮像装置の構成]
[3−2.画像処理装置における処理]
<1.用語の定義>
まず、本技術の各実施形態の説明に先立ち、本明細書で用いる各種の用語の定義について説明する。
「自分撮り」とは、ユーザが撮像装置のレンズを自分自身に向けて自らを被写体として撮像を行うことであり、撮像装置を手に持って行う場合、撮像装置を置いて行う場合を含むものである。また、ユーザが一人で行う場合に限られず、複数人が被写体となり、その複数人のうちのいずれか一人が撮像装置を手に持って行う場合、撮像装置を置いて複数人が被写体となる場合も含むものである。
「撮像」とは、撮像装置において、撮像素子が像を表す光を受光して電気信号に変換することを意味する。「画枠」とは、撮像素子の有効領域により撮像される全領域または全領域よりも若干小さい領域を表すものである。「構図」とは、被写体が所定のアルゴリズムによって決定される位置に配置された状態、すなわち、画枠に対する被写体の配置状態である。
「予備画像」とは、画像加工処理が施される前に背景物についての条件(背景物条件)および顔についての条件(顔条件)を満たす場合に保存される画像である。「本画像」とは、予備画像に対して画像加工処理が施されることにより、最終的に得られる画像である。
「背景物」とは、ユーザが自分撮りを行う際に画枠内に収まるユーザ以外の被写体のことであり、人物、建築物、自然物などユーザの後ろの広がる背景を構成するものである。
「背景物検出用画像」とは、背景物を検出するために背景物を画枠に入れた状態で撮像される画像である。自分撮り時におけるテンプレートマッチングにより背景物の検出において、テンプレートとなる画像である。
<2.実施の形態>
[2−1.撮像装置の構成]
図1は、撮像装置1の概略構成を示すブロック図である。撮像装置1は、静止画像の撮像が可能ないわゆるデジタルスチルカメラである。撮像装置1は、光学撮像系2、撮像素子3、A/D変換部4、信号処理部5、駆動部6、バッファメモリ7、記憶部8、音声出力部9、発光部10、表示部11、入力部12および制御部13とから構成されている。
光学撮像系2は、例えば、撮像レンズ、ズームレンズ、フォーカスレンズおよび絞りなどを有し、被写体の光画像を入射する。光学撮像系2を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子3上に結像される。
撮像素子3は、結像された光画像を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子3から出力されるアナログ撮像信号は、A/D変換部4に出力される。撮像素子3としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。A/D変換部4は、撮像素子3から供給されるアナログ撮像信号をデジタル撮像信号に変換し、信号処理部5に出力する。
信号処理部5は、A/D変換部4から出力されるデジタル撮像信号に対して所定の信号処理を施すとともに、デジタル撮像信号を例えば輝度信号と色差信号からなる画像データに変換して出力する。信号処理部5によって施される処理としては、リニアマトリクス処理、ホワイトバランス調整処理、ガンマ補正処理、Y/C変換処理などがある。
駆動部6は、制御部13からの制御信号に従って基づいて光学撮像系2が備えるズームレンズ、フォーカスレンズおよび絞りなどの制御を行う。
バッファメモリ7は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)を用いて構成されている。バッファメモリ7には、信号処理部5から出力された画像データ、予備画像、背景物検出用画像311、背景物生成用画像312、その他の情報などが一時的に記録される。それら各種画像および情報の詳細については後述する。
記憶部8は、例えば、ハードディスク、メモリースティック(ソニー株式会社の登録商標)、SDメモリーカードなどにより構成される大容量記憶媒体であり、撮像装置1によって撮像された画像を保存するためのものである。画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。
音声出力部9は、通知制御部35による制御に従い、ユーザに対する誘導指示、メッセージ伝達のための音声メッセージなどの各種音声を出力するための音声出力手段である。発光部10は、例えばLED(Light Emitting Diode)を用いて構成され、通知制御部35による制御に従い、点灯、点滅などによってユーザに対して誘導指示、メッセージ伝達を行うための発光手段である。
表示部11は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示手段である。表示部11には撮像時においてはスルー画が表示される。上述したように、信号処理部5においては、撮像信号に所定の処理が施されることにより1枚の静止画に相当する画像データが生成される。この1枚の静止画に相当する画像データの生成が継続して行われることにより、動画におけるフレーム画像に相当する画像データが順次生成される。そして、その順次生成される画像データを表示部11に出力することにより、表示部11には、静止画単位の画像が連続して順次的に表示される。これにより、スルー画が表示される。
また、表示部11では、記憶部8に保存されている画像の表示も行われる。制御部13がユーザによって入力部12を介して指令された画像データを記憶部8から読み出し、それが表示部11に出力されることにより画像の再生表示が行なわれる。これにより、ユーザには記憶部8に保存されている画像を見ることができる。
さらに、表示部11には入力手段としてのタッチパネルにおけるソフトボタン、各種ハードボタンの説明アイコン、撮像装置1の各種設定を行うためのメニュー画面などのユーザインターフェース画像も表示される。制御部13は、撮像装置1の動作状態、モードなどに応じて必要なユーザインターフェース画像としての画像データを生成し、これを表示部11に出力する。これにより、表示部11にはユーザインターフェース画像が表示されることになる。ユーザインターフェース画像は、スルー画や再生表示されている画像データ上に重畳させた状態で表示させることも可能である。
入力部12は、例えばキー、ボタン、ダイヤル、タッチパネル、電源オン/オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、その他各種入力を受け付けるタッチパネルなどからなる入力手段である。入力部12に対して入力がなされると、その入力に応じた制御信号が生成されて制御部13に出力される。そして、制御部13はその制御信号に対応した演算処理や制御を行う。
制御部13は、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)から構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置1全体の制御を行う。また、制御部13は、所定のプログラムを実行することにより、背景物画像生成部31、本画像条件設定部32、背景物検出部33、顔検出部34、通知制御部35、記録制御部36および画像加工部37として機能する。
背景物画像生成部31は、表示部11に背景物条件用画面を表示し、ユーザにより背景物の指定が行われたら、背景物検出用画像を生成する。これにより背景物が設定される。背景物画像生成部31は特許請求の範囲における背景物設定手段に相当するものである。生成された背景物検出用画像は背景物検出部33による背景物の検出において用いられる。
本画像条件設定部32は、表示部11に本画像条件用画面を表示し、ユーザにより目標顔位置の指定が行われたら、その指定された目標顔位置を本画像条件として設定する。本画像条件とは、ユーザが最終的に生成される本画像において顔をどこに位置させたいかを示すものである。後述する画像加工処理の1つである顔位置調整処理ではこの本画像条件を満たすように画像の加工が行われる。
背景物検出部33は、背景物画像生成部31により生成された背景物検出用画像を利用したテンプレートマッチングによる背景物の検出を行い、自分撮り時において背景物が画枠内に入っているか否かを判定するものである。背景物が画枠内に入っているか否かを背景物条件と定義する。背景物検出部33による判定の詳細については後述する。
顔検出部34は、例えばテンプレートマッチングにより、自分撮り時において画枠内にユーザの顔が入っているか否かの検出を行う。そして、検出された顔が顔条件を満たすか否かを判定するものである。顔条件とは、自分撮り時における画枠内の顔の位置についての条件であるが、本画像における目標顔位置としての本画像条件よりもゆるい条件である。本実施の形態においては上述した背景物条件を満たし、かつ、顔条件を満たす場合に撮像が行われる。顔条件および顔検出部34による判定の詳細については後述する。
通知制御部35は、顔検出部34により検出された顔の位置が顔条件を満たすことができるようにスピーカ22から出力される音声、LED23の発光などによる誘導情報の通知の制御を行うものである。さらに、通知制御部35は、背景物検出部33により背景物条件を満たすと判定された場合、および、顔検出部34により顔条件を満たすと判定された場合、その判定結果に従い、ユーザに対して行うその旨の通知の制御も行うものである。通知制御の詳細については後述する。
記録制御部36は、自分撮り時において、背景物検出部33により背景物条件を満たすと判定され、かつ、顔検出部34により顔条件を満たすと判定された場合に信号処理部5から出力された画像データを予備画像としてバッファメモリに保存するように制御を行うものである。記録制御部36は特許請求の範囲における記録手段に相当する。
画像加工部37は、自分撮りにより生成された予備画像に対して所定の画像加工処理を施して本画像の生成を行うものである。図2は、所定のプログラムを実行する制御部13によって実現される画像加工部37の機能の詳細を示すブロック図である。画像加工部37は、切り出し領域設定部41、背景物位置判定部42、画像切り出し部43、拡大処理部44、傾き検出部45、画像回転部46、背景物種別設定部47、重心算出部48、顔向き検出部49とからなる。画像加工部37を構成する各部の詳細および画像加工部37により行われる画像加工処理の詳細については後述する。
図3は、本技術に係る撮像装置1の外観構成を示す図である。図3Aは正面図、図3Bは背面図、図3Cは上面図である。撮像装置1は、扁平な横長の略直方体状に形成されている。
撮像装置1の前面には撮像レンズ21が設けられている。ユーザはこの撮像レンズ21を自分の方向に向けて自分撮りを行う。また、撮像装置1の前面にはスピーカ22が設けられている。スピーカ22は、ブロック図における音声出力部9に相当し、ユーザに対して誘導指示のための音声などの各種音声を出力する音声出力手段である。さらに、撮像装置1の前面にはLED23が設けられている。LED23は、ブロック図における発光部10に相当し、発光、点滅することによってユーザに対して誘導指示、各種メッセージの伝達を行うためのものである。
撮像装置1の上面には撮像時にユーザにより押圧操作されるレリーズボタン24が設けられている。レリーズボタン24は、オートフォーカス用、被写体検出用の検出指示用、レリーズ指示入力用およびその他の指示用の入力手段として機能する。例えば、レリーズボタン24を途中まで押下(半押し)することで検出指示が入力され、レリーズボタン24を最後まで押下(全押し)することで、レリーズ指示が入力される。レリーズボタン24はブロック図における入力部12に含まれるものである。
撮像装置1の背面にはモニター25が設けられている。モニター25は、ブロック図における表示部11に相当し、LCD、PDP、有機ELパネルなどからなる表示手段である。モニター25には、スルー画、撮像により得られた画像、ユーザインターフェース画像などが表示される。
また、撮像装置1の背面にはモニター25と一体的に構成されたタッチパネル26が設けられている。タッチパネル26は例えば静電容量方式によるタッチパネルである。タッチパネル26はユーザが指を接触させることにより撮像装置1に各種入力を行うことができる入力手段として機能するものである。タッチパネルはブロック図における入力部12に含まれるものである。
タッチパネル26は、操作面上の複数の箇所に同時になされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができる。また、タッチパネル26は、操作面に対して繰り返しなれた操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
これにより、タッチパネル26は、いわゆるタップ入力、ダブルタップ入力、ドラッグ操作、ピンチ操作、フリック操作などのユーザからの様々な入力、操作を受け付けて、それらを検出することができる。
タップ入力とは、ユーザの指などを操作面上に短時間1回だけ接触させる入力動作である。ダブルタップ入力とは、指などを操作面上に短い間隔で連続して2回接触させる入力動作である。これらは主に決定の入力などに用いられる。
また、ドラッグ操作とは、ユーザの指などを操作面上に接触させたまま移動させる入力動作である。これにより例えば、モニター25に表示されている領域を示す枠の移動指示などの入力が可能となる。フリック操作とは、ユーザの指など操作面上の1点を指示してから、そのまま任意の方向に素早くはじくようにする入力動作である。これにより、例えば、記憶部8に保存されている複数の画像をモニター25に表示させて見る際に、画像をめくるようにして切り替えることができる。
また、ピンチ操作は、まず、ユーザの2本の指などを同時に操作面上に接触させて、次にその2本の指などを開いたり、つまむように閉じたりする入力動作である。ピンチ操作により例えば、モニター25に表示されている領域を示す枠の拡大、縮小などの入力が可能となる。なお、ピンチ操作において、接触させた2本の指などを開く操作をピンチアウト操作、2本の指などを閉じる操作をピンチイン操作と称する。
[2−1.撮像装置により行われる処理]
撮像装置1は上述のように構成されている。次に、自分撮りの際に行われる処理について説明する。図4は自分撮りの全体フローを示すフローチャートである。まず、ステップS1で図5に示すようなモード切り替え画面100がモニター25に表示される。図5に示す例では、撮像装置1において通常の撮像を行うための通常モードを示すNormalボタン101と、自分撮りを行うための自分撮りモードを示すSelfボタン102の二つのソフトボタンが表示されている。「通常モード」とは、自分撮りではなく、モニター25に表示されるスルー画を見ながら自分以外の被写体方向にレンズを向けて撮像を行うモードである。
そして、ユーザがNormalボタン101とSelfボタン102のうちのいずれか一方のソフトボタンの位置に指を接触させることによってモードの選択が行われると、次にステップS2で、その選択されたモードへの遷移が行われる。モードが遷移すると、それ以降、撮像装置1によってその選択されたモードに基づく表示、処理などが行われる。以下、ユーザによりSelfモード(自分撮りモード)が選択されたものとして説明を行う。
Selfモード(自分撮りモード)が選択されると、次に、ステップS3で「背景物条件/本画像条件設定」処理が行われ、そして、ステップS4の「自分撮り処理」が行われる。ステップS3における「背景物条件/本画像条件設定」およびステップS4の「自分撮り処理」の詳細については別フローチャートを参照して説明する。
図6は、図4のフローチャートにおけるステップS3の「背景物条件/本画像条件設定」の詳細を示すフローチャートである。まず、ステップS31でモニター25に図7に示すような背景物条件/本画像条件選択画面200が表示される。背景物条件/本画像条件選択画面200においては、ユーザが背景物条件モードを選択するための背景物条件モードボタン300と、本画像条件モード選択のための本画像条件モードボタン400とが表示される。
ここで、背景物条件設定処理とは、自分撮りを行う際に背にする背景を構成する様々な被写体の中からユーザが最終的に生成される本画像内に収めたい被写体(背景物)の指定を行うことである。指定された背景物が画枠内に収まることが背景物条件となる。また、本画像条件設定処理とは、ユーザが本画像において自分の顔を配置させたい位置を指定することである。その指定された位置に顔が一致することが本画像条件となる。
「2−2−1.背景物条件設定」
以下、背景物条件設定処理について説明する。ステップS32で、背景物条件モードボタン300に対して入力が行われたか否かが判定される。背景物条件モードボタン300に対して入力が行われた場合(ステップS32のYes)、処理はステップS33に進み、モニター25に背景物条件用画面が表示される。背景物条件用画面は例えば、図8に示すものである。背景物条件用画面においてはまず、背景物条件モードが選択されたことを示すために、図8Aに示すように背景物条件モードボタン300が反転表示される。その後、図8Bに示すようにスルー画301が表示される。次にステップS34で、背景物条件設定が行われたか否かが判定される。
ユーザがスルー画301として表示されている背景中の任意の場所に対応するタッチパネル26の操作面に指を接触させて入力を行うと、図8Cに示すようにその接触位置を中心とした所定のサイズの長方形の枠(以下、背景物指定枠302と称する。)がスルー画301上に重畳した状態で表示される。この背景物指定枠302に囲まれた範囲内の画像が背景物として指定されることとなる。
背景物指定枠302は、その位置、形状およびサイズが変更可能となっている。例えば、指を背景物指定枠302内に接触させた状態でドラック操作を行うことによって背景物指定枠302の位置を変更可能とする。また、指を背景物指定枠302を構成する各辺のいずれかに接触させた状態でドラック操作を行うことによって、背景物指定枠302をその辺の方向に延長させて形状を変更可能とする。さらに、背景物指定枠302上に2本の指を接触させて、ピンチアウト操作を行うことによって背景物指定枠302のサイズを拡大、ピンチイン操作を行うことによってサイズの縮小を可能とする。これらの各種操作で背景物指定枠302を任意の位置、形状およびサイズに調整することによってユーザは背景物を的確に指定することができる。また、例えば、背景物指定枠302内をタップすることにより背景物にピントを合わせるようにしてもよい。
そして、ユーザは背景物指定枠302の位置、形状およびサイズが決定したら、すなわち、指定する背景物が決定したら、例えば、背景物指定枠302内をダブルタップすることにより、背景物指定の決定入力を行う。なお、背景物指定の決定入力の方法は他にも、レリーズボタン24を半押しする、という手法を採用してもよい。このようにして指定された背景物が自分撮り時において画枠内に入ることが背景物条件である。すなわち、背景物指定時と自分撮り時において背景全体が一致している必要はなく、背景の構成物である背景物のみが一致していればよい。よって、自分撮りにおいてユーザは撮像装置1のレンズの方向の細かい調整を行う必要がなく、所望の背景物を収めた自分撮りを容易に行うことができる。
決定入力が行われたら、背景物条件が設定されたとして処理はステップS35に進む(ステップS34のYes)。そして、ステップS35で、背景物指定枠302内の画像に基づいて背景物検出用画像311が生成されてバッファメモリ7に保存される。この背景物検出用画像311は、自分撮りにおける背景物検出部33による判定に用いられる。
なお、本実施の形態においては、背景物指定枠302内に存在する背景物の物体認識は行っておらず、背景物指定枠302内の画像そのものを背景物検出用画像311としている。ただし、物体認識を行うことを否定するものではなく、例えば、テンプレートマッチングなどによる物体認識を行い、背景物の指定を行うようにしてもよい。物体認識を行うことにより、より高精度な背景物指定を行うことができる。
ここで、ステップS35における背景物検出用画像311の生成について図9のフローチャートおよび図10を参照して説明する。まず、ステップS351で上述したダブルタップなどの背景物の決定入力をトリガーとして高速連写が行われる。これにより、背景物検出用画像311の生成に用いられる複数枚(本実施の形態においては2枚)の画像(以下、背景物生成用画像312と称する。)が取得される。図10Aはそのようにして取得された2つの背景物生成用画像312A、312Bである。
次にステップS352で、2つの背景物生成用画像312A、312B間における画像全体のズレが算出される。このズレは2つの背景物生成用画像312A、312Bそれぞれの画像全体における動きベクトルを算出することにより求めることができる。例えば、2つの背景物生成用画像312A、312B間でマッチング処理を行い、2つの背景物生成用画像312A、312Bの一致性を計算することにより動きベクトルにあたる画素ずれを算出する。または、2つの背景物生成用画像312A、312Bにおいてそれぞれ、何らかの特徴点を複数検出し、それら2つの背景物生成用画像312A、312B間で特徴点の対応付けを行うことで背景物生成用画像312A、312B間の画像全体のズレを求める。
次にステップS353で、図10Bに示すように、2つの背景物生成用画像312A、312Bを共に所定のサイズのブロックに分割し、対応するブロックごとにズレとして動きベクトルを求める。次にステップS354で、ステップS353で算出された各ブロックのズレと、ステップS352で算出された背景物生成用画像312A、312B間における画像全体のズレとを比較する。この比較により、各ブロックのうち、背景物生成用画像312A、312B間における画像全体のズレとは異なるズレが生じているブロックを「ズレブロック」として求める。ズレの比較は、背景物生成用画像312A、312B間における画像全体についてズレとして求めた動きベクトルと各ブロックのズレとして求めた動きベクトルとを比較することにより求めることができる。
次にステップS355で、2つの背景物生成用画像312A、312Bのうちいずれか一方から「ズレブロック」にあたる部分を除くことにより背景物検出用画像311が生成される。生成された背景物検出用画像311はバッファメモリ7に保存される。図10Cはこのようにして生成された背景物検出用画像311の一例を示すものである。この背景物検出用画像311においては左側の木の葉が写っていた部分が欠けている。この欠けている部分が除かれた「ズレブロック」に相当する部分である。
なお、2つの背景物生成用画像312A、312Bは以後利用されることはないため、保存せず破棄してもよい。このようにして、例えば葉っぱなどの動的な部分が除かれ、動いていない静的な部分のみによって背景物検出用画像311が構成される。したがって、動的な部分によるノイズを低減し、背景物検出用画像311を用いた背景物検出の精度を高めることができる。
上述の説明では背景物生成用画像を2つ用いて背景物検出用画像を生成する場合を例として挙げたが、用いる背景物生成用画像の数は2つに限られない。高速連写によりさらに多くの背景物生成用画像を取得し、それらを用いて背景物検出用画像を生成してもよい。
次に図6の「背景物条件/本画像条件設定」のフローチャートの説明に戻る。「背景物条件/本画像条件設定」では、次にステップS36で、本画像条件モードボタン400に対して入力が行われたか否かが判定される。本画像条件モードボタン400に対して入力が行われた場合(ステップS36のYes)、処理はステップS37に進み、本画像条件用画面が表示される。
「2−2−2.本画像条件設定」
以下、本画像条件設定処理について説明する。ステップ37でモニター25に本画像条件用画面が表示される。本画像条件用画面は例えば、図11に示すものである。本画像条件用画面においてはまず、本画像条件モードが選択されたことを示すために、図11Aに示すように、本画像条件モードボタン400が反転表示される。次に、図11Bに示すように、指定可能な位置を示す複数の顔アイコン410が表示される。図11Bに示す例ではモニター25には縦3×横3の合計9つの顔アイコン410が表示されている。それら各顔アイコン410の中心が目標顔位置411となる。上述のように、最終的に生成される本画像において、この目標顔位置に顔が一致することが本画像条件である。
次に、ステップS38で本画像条件としての目標顔位置の指定が行われたか否かが判定される。目標顔位置指定は、ユーザがモニター25に表示されている複数の顔アイコン410のうち、任意の顔アイコン410に指を接触させることにより行われる。指定された顔アイコン410は図11Cに示すように反転表示される。そして、目標顔位置411の指定が行われると(ステップS38のYes)、処理はステップS39に進み、指定された顔アイコン410に対応する位置が本画像条件としてバッファメモリ7に保存される。
なお、目標顔位置の指定をユーザに促す本画像条件用画面は図11に示すものに限られない。図11では縦3×横3の合計9つの顔アイコン410が表示される例を挙げたが、顔アイコン410の数はそれに限られず、例えば、縦2×横2の合計4つ、縦4×横4の合計16個の顔アイコンを表示するようにしてもよい。
また、ユーザが複数の顔アイコン410を指定することができるようにしてもよい。図11Dに示す例では、右側の縦に並んだ3つの顔アイコン410が指定されている。例えば、ユーザが顔を画枠内において右側に位置させたいが上下の位置は問わないという場合には図11Dに示すように複数の顔アイコンを指定することができるようにするとよい。
また、顔アイコン410は表示せず、例えば、ユーザがタッチパネル26の操作面の任意の位置に指を接触させて入力を行うと、図12Aに示すようにその接触位置を中心とした所定のサイズの顔位置指定枠402が表示されるようにしてもよい。この顔位置指定枠402に囲まれた範囲内が目標顔位置として指定される。
顔位置指定枠402は、その位置およびサイズが変更することが可能となっている。例えば、指を顔位置指定枠402内に接触させた状態でドラック操作を行うことによってその位置を変更可能とする。さらに、顔位置指定枠402上に2本の指を接触させて、ピンチアウト操作を行うことによって顔位置指定枠402のサイズを拡大、ピンチイン操作を行うことによって縮小を可能とする。
これら各種操作で顔位置指定枠402を任意の位置およびサイズに調整することによってユーザは任意の顔位置を指定することができる。そして、ユーザは顔位置指定枠402の位置およびサイズが決定したら、例えば、顔位置指定枠402内をダブルタップすることにより顔領域の決定入力を行う。なお、決定入力の方法は他にも、レリーズボタン24を半押しする、という手法を採用してもよい。
また、図12Bに示すように、撮像装置1が備える入力手段としての十字キー(図示せず。)などに対するユーザの入力に応じて、その顔位置指定枠402が移動するようにしてもよい。
さらに、図12Cに示すように、数値入力を行うことにより顔位置指定枠402の位置およびサイズを変更することができるようにしてもよい。図12Cの例では、顔位置指定枠402のX座標、Y座標およびサイズが入力可能であり、入力された値に応じて顔位置指定枠402の移動、サイズの変更が行われる。図12Bおよび図12Cに示す例は、入力手段がタッチパネル26ではなくボタンや十字キーなどである場合に有効であると考えられる。
一方、ステップS36で、本画像条件モードボタン400に対して入力が行われないと判定した場合、処理はステップS40に進む(ステップS36のNo)。そして、ステップS40で本画像条件が予め定められたデフォルトの条件に設定される。デフォルトの条件としては例えば画枠内全体が考えられる。ユーザが、本画像においては顔の位置は問わず、画枠に顔が入っていればどこでもよいと考える場合には、本画像条件が画枠内全体に設定するようにするとよい。また、デフォルトの条件としては画枠の中央も考えられる。
以上で「背景物条件/本画像条件設定」は終了となる。なお、上述の説明では、背景物条件設定がなされた後、本画像条件設定が行われるという順序で説明を行った。しかし、順序はそれに限られず、先に本画像条件設定を行い、その後に背景物条件設定を行うようにしてもよい。
背景物条件設定が先に行われ、その後に本画像条件設定が行なわれる場合、背景物検出用画像生成時における画枠全体の画像(以下、背景物条件設定時画像501と称する。)を生成してバッファメモリ7に保持しておく。そして、図13Aに示すように、モニター25に背景物条件設定時画像501を表示させ、その上に顔アイコン410を重畳するように表示させてもよい。これにより、背景物の位置、サイズなどを考慮しながら顔位置の指定を行うことができる。
また、逆に、先に本画像条件設定が行われ、その後に背景物条件設定が行われる場合、図13Bに示すように、スルー画301の表示に重畳させて、事前に指定されている顔位置を示すように指定済み顔位置アイコン502を表示させておくとよい。これにより、ユーザは背景物指定枠302の設定中においても自分が指定した顔位置を常に認識することができるので、顔と背景物の位置関係を容易に把握することができる。
「2−2−3.自分撮りの際に行われる処理」
次に、図4の全体フローにおけるステップS4の「自分撮り」処理の詳細を図14のフローチャートに基づいて説明する。なお、「自分撮り」処理の開始前(「背景物条件/本画像条件設定」処理が終了した時点)に例えば、「カメラを自分に向けてください。」などのメッセージを音声としてスピーカ22から出力するようにするとよい。または、「カメラを自分に向けてください。」などの文字列をモニター25に表示してもよい。このようにして「背景物条件/本画像条件設定」処理が終了して自分撮りが可能となったことをユーザに通知するとよい。
まず、ステップS41で、背景物検出部33により背景物条件を満たすか否かが判定される。上述したように、背景物条件とは画枠内に背景物が入ることである。よって、ステップS41における判定は、スルー画を構成する画像の画枠内において背景物が検出されるか否かに基づいて行われる。背景物の検出は、テンプレートマッチング処理により行われる。そして、テンプレートマッチングに用いられるテンプレート画像として、背景物画像生成部31により生成された背景物検出用画像が用いられる。
具体的には、図15Aに示すように、まず、テンプレート画像として用いられる背景物検出用画像311がバッファメモリ7から読み込まれる。また、検出対象であるスルー画を構成している画像(以下、スルー画用画像301Aと称する。)にテンプレート画像である背景物検出用画像311とのマッチングを行うための探索領域が設定される。なお、スルー画を構成する画像全てに対してテンプレートマッチング処理を行うと処理が重くなってしまう。そこで、スルー画よりも更新頻度の低い画像をスルー画から用意して、その画像に対してテンプレートマッチング処理を行うようにしてもよい。
そして、図15Bに示すように、スルー画用画像301Aに設定された探索領域の位置を検出対象である画像内で所定量ずつ、例えば1画素ずつ移動させながら、それぞれの位置における探索領域内の画像と背景物検出用画像311との類似度を算出する。類似度の算出は例えば、残差法、相互相関法などの手法を用いて行われる。そして、画像全体に対して類似度の算出を行い、類似度が最大となる探索領域に背景物が存在すると判断することにより背景物の検出を行う。
このようにして、スルー画用画像301A内に背景物が存在する場合には図15Cに示すように背景物が検出される。図15Cに示す背景物検出用画像311と同形の枠は背景物として検出された領域(以下、背景物領域601と称する。)を示すものである。なお、背景物の全体が画枠内に入っておらず、背景物の一部が画枠内に入っている場合には、背景物検出用画像311の所定量の面積(例えば、75%など)との関係で類似度が最大になった場合に背景物条件を満たすと判断するようにしてもよい。
背景物検出部33により背景物が検出され、背景物条件を満たすと判定された場合、背景物領域の位置、サイズ、画枠に対する傾きは背景物領域情報として、自分撮りによって生成される予備画像に関連付けられてバッファメモリ7に保存される。さらに、背景物指定時における背景物指定枠302のサイズも背景物指定枠サイズ情報として予備画像に関連付けられて保存される。背景物領域情報および背景物指定枠サイズ情報は後述する画像加工処理に用いられる。
そして、ステップS41において画枠内において背景物が検出された場合、すなわち背景物条件を満たしていると判定された場合、次にステップS42で通知制御部35の制御に基づき、ユーザに対して、背景物条件を満たしている旨の通知が行われる。これにより、ユーザは事前に指定した背景物が画枠内に入ったことを知ることができる。通知方法としては例えば、スピーカ22から予め定められた音色の音を出力する、または、「背景物が入りました。」などの音声メッセージを出力する方法などが挙げられる。また、音声以外の手法として、LED23を予め定められた色で発光させることにより通知を行ってもよい。
ステップS41で背景物条件を満たしていないと判定された場合(ステップS41のNo)、ステップS42でユーザに対して通知を行った場合(ステップS41のYes)共に、次にステップS43で、顔検出部34により顔条件を満たすか否かが判定される。顔条件を満たすか否かは、まず、本画像条件として設定された目標顔位置を含んだ所定のサイズの顔条件範囲を設定し、その顔条件範囲に顔が重なるか否かで判断される。顔条件範囲に顔が一部でも重なる場合には顔条件を満たすと判定される。ステップ43における判定はおいては、まず、顔検出部34によりスルー画用画像中からユーザの顔の検出が行われる。
顔検出部34による顔検出は例えば、背景物検出と同様にテンプレートマッチング処理により行われる。具体的には、まず、検出対象であるスルー画用画像に顔検出用のテンプレート画像とのマッチングを行うための矩形枠を探索領域として設定する。次に、その探索領域画像内で所定量ずつ移動させながら、それぞれの位置における探索領域内の画像とテンプレート画像との類似度を算出する。そして、画像全体に対して類似度の算出を行い、類似度が最大の探索領域に顔が存在すると判断することにより顔の検出を行う。なお、顔検出方法としては、他に、顔の輝度分布情報が記録されているテンプレートとのマッチングによる方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて顔検出の精度を高めるようにしてもよい。
また、所定の登録操作を行うことにより、ユーザおよび撮像装置1を頻繁に利用する者の顔をテンプレート画像として予め登録しておき、そのテンプレート画像を用いたテンプレートマッチング処理に顔検出を行うようにしてもよい。
顔検出部34により顔として検出された領域(以下、顔領域と称する。)の位置、サイズは顔領域情報として、自分撮りによって生成される予備画像に関連付けられてバッファメモリ7に保存される。
そして、検出された顔領域が顔条件を満たすか否かの判定が行われる。ここで、図16乃至図18を参照して顔条件を満たすか否かの判定について説明する。
図16は、顔検出部34による判定の第1の手法について説明する図である。図16Aに示される顔アイコンの中心が本画像条件設定部32により設定された本画像条件としての目標顔位置411である。その目標顔位置411を中心として矩形の顔条件範囲610が設定される。なお、顔条件範囲610は顔アイコンと同一のサイズの円形状にしてもよい。
そして、本実施の形態では、図16Bに示すように、検出された顔領域620が顔条件範囲610にわずかにでも重なった場合に顔条件を満たすと判定される。なお、当然、顔領域620全体が顔条件範囲610に重なった場合にも顔条件を満たすと判定される。また、顔領域620の中心が顔条件範囲610内位置した場合に顔条件を満たすと判定するようにしてもよい。一方、図16Cに示すように、顔領域620と顔条件範囲610とが離間している場合には顔条件を満たすとは判定されない。
本願開示の撮像装置においては、顔領域620が顔条件範囲610に完全に重なった場合、または顔領域620の大部分が顔条件範囲610に重なった場合に顔条件を満たすと判定するのではなく、わずかにでも重なった場合に顔条件を満たすと判定する。これにより、ユーザは自分撮りの際に顔を目標顔位置411に正確に一致させる必要がなくなる。なお、このようにして本画像条件としての目標顔位置411よりもゆるい顔条件としての顔条件範囲610を設定すると、顔は目標顔位置411からずれた状態で撮像がなされることになる。そこで、本技術では、後述する画像加工処理によって、顔を目標顔位置411に一致させて本画像条件を満たすように画像加工を行う。画像加工の詳細については後述する。
次に、顔検出部34による判定の第2の手法について説明する。第2の手法では、図17Aに示すように目標顔位置411を基準として顔条件範囲610よりもサイズが大きい予備顔条件範囲611を設定する。そして、図17Bに示すように顔領域620が顔条件範囲610ではなく予備顔条件範囲611にわずかにでも重なった場合に顔条件を満たすと判定する。
自分撮りにおいては、ユーザはスルー画を見ることはできず、自らの顔を目標顔位置411または顔条件範囲610に接近させるのは困難である。よって、顔条件範囲610よりもさらに広い予備顔条件範囲611を設定することによって、顔条件を満たすとの判定を得ることをさらに容易にすることができる。なお、予備画像取得後、画像加工処理によって顔を目標顔位置411に一致させる点については第1の手法と同様である。
顔条件範囲610および予備顔条件範囲611はユーザによって設定されるのではなく、ユーザが本画像条件として目標顔位置411の指定を行うとそれに伴なって自動的に設定されるものとする。ただし、顔条件範囲610および予備顔条件範囲611が目標顔位置411を基準としてどの程度のサイズに設定されるかはユーザが設定可能にしてもよい。
次に、顔検出部34による判定の第3の手法について説明する。第3の手法では、まず、図18A、図18Bに示すように目標顔位置411と検出された顔領域620の中心との距離を算出する。そして、その距離が所定の閾値以下であるか否かを判断することによって、顔条件を満たすか否かの判定を行う。
図18Aに示す状態では、算出された距離が閾値以上であるため、顔条件を満たしてはいないと判定される。一方、図18Bに示す状態では、距離が閾値以下となったため、顔条件を満たすと判定される。この判定の基準となる閾値はデフォルトで所定の値に設定されていてもよく、ユーザが任意の値に設定できるようにしてもよい。
一方、本画像条件としての目標顔位置411の指定が行われない場合には、目標顔位置411はデフォルトの位置に設定される。例えば、デフォルトの位置が画枠全体である場合には、顔が画枠内に入った時点で顔条件を満たすと判定される。
そして、ステップS43において、顔条件を満たすと判定された場合(ステップS43のYes)は、次にステップS44で、通知制御部35による制御に基づいて、ユーザに対して、顔条件を満たしている旨の通知が行われる。これにより、ユーザは事前に指定しておいた顔条件を満たし、顔が目標顔位置411に接近しているということを知ることができる。
通知方法としては例えば、スピーカ22から予め定められた音色の音を出力する、または、「顔が目標位置に一致しました。」などの音声メッセージを出力するなどが挙げられる。また、音声以外の手法として、LED23を予め定められた色で発光させることにより通知を行ってもよい。ただし、背景物条件を満たす旨の通知と区別するために、音色、LED23の色、発光方法は背景物条件を満たす旨の通知で用いるものとは異なるものにするとよい。また、背景物条件についてはスピーカ22からの音声で通知を行い、顔条件についてはLED23によって通知を行うなど通知手段と通知内容を対応付けてもよい。
ステップS43で顔条件を満たしていないと判定された場合(ステップS43のNo)、ステップS44でユーザに対して通知を行った場合(ステップS43のYes)共に、次にステップS45で、背景物条件を満たし、かつ、顔条件を満たすか否かが判定される。これはすなわち、自画撮りの準備が整った否かを判定するステップであるといえる。
ステップS45で、背景物条件を満たし、かつ、顔条件を満たすとは判定されない場合、すなわち、自画撮りの準備が整ってはいないと判定された場合(ステップS45のNo)、処理はステップS46に進む。そして、ステップS46で通知制御部35による制御に基づいて、ユーザに対して、顔条件を満たすように誘導情報の通知が行われる。
誘導情報の通知方法としては、例えば、予めROMなどに記憶されておりスピーカ22から出力される音声によるもの、LED23の発光によるもの、バイブレータ(図示せず。)の振動によるものなどがある。そして、検出された顔と顔条件範囲610との距離応じて、音声内容を変更するようにするとよい。例えば、音声による通知の場合、顔と目標顔位置411との距離が大きく離れている場合には「もっと右」と出力し、顔と目標顔位置411との距離が近づいた場合には「もう少し右」と出力するなどである。
通知の手法について図19を参照して説明する。図19Aに示す例では、画枠内を顔条件範囲610とその周辺の6つの領域(以下、目標外領域と称する。)に分割している。そして、目標外領域ごとに異なる誘導用音声を対応させておく。例えば、目標顔位置411から遠い目標外領域(1)および(6)には「もっと左(右)」、という音声を割り当てておき、目標外領域(2)(5)には「もう少し左(右)」という音声を割り当てておく。また、目標外領域(3)には「もっと下」という音声を割り当てておき、目標外領域(4)には「もっと上」という音声を割り当てておく。そして、検出された顔領域の位置に応じて各目標外領域に割り当てられた誘導用音声を出力する。これにより、顔の位置に応じた誘導情報の通知を行うことができる。
なお、当然、顔条件範囲610の場所によって領域の分割の仕方などは変更される。例えば、目標顔位置411が右下である場合には図19Bに示すように分割が行われる。なお、図19Aおよび図19Bに示す目標外領域は一例にすぎず、分割の仕方、分割数および各目標外領域への音声の割り当ては様々なパターンを採用することが可能である。
また、目標顔位置411と共に目標顔サイズも指定している場合には、「もっと手前」「もう少し手前」、「もっと奥」、「もう少し奥」というような誘導音声を出力するとよい。
また、各目標外領域に誘導用の声ではなく、ビープ音を割り当てるようにしてもよい。ビープ音を割り当てる場合には、目標外領域ごとに異なる高さ、長さ、出力間隔などが異なるビープ音を割り当てるとよい。例えば、図19Aにおいては、目標外領域(1)、(2)、(5)、(6)の左右方向の誘導については音程の高いビープ音で誘導を行い、目標外領域(3)、(4)の上下方向の誘導については音程の低いビープ音で誘導を行う。そして、顔条件範囲610から遠い目標外領域(1)および(6)には出力間隔が長いビープ音を割り当てておき、目標外領域(2)(5)には出力間隔が短いビープ音を割り当てておく。これにより、顔が顔条件範囲610に近づくとビープ音の出力間隔が短くなるため、ユーザは感覚的に顔が顔条件範囲610に近づいているということ認識することができる。
なお、顔が顔条件範囲610に近づくにつれて、「ピ・・ピ・・ピ・・」から「ピピピピ」というようにビープ音の出力間隔が短くする場合は、顔条件を満たす旨の通知として、「ピーーーー」というような発音時間が長いビープ音を出力することも考えられる。これにより、ユーザは顔条件を満たしたことを感覚的に認識することができると考えられる。なお、上述した領域へのビープ音の割り当ては一例にすぎず、様々なパターンを採用することが可能である。
さらに、誘導情報の通知はLED23の発光により行うことも可能である。例えば、音声による誘導と同様に画面を複数の目標外領域に分割し、各目標外領域に異なる色を割り当てるなどである。また、図20に示すように撮像装置1に複数のLED23を設け、各LED23を誘導方向に対応させるようにしてもよい。図20Aの例は4つのLED23を四角形状に配置した例である。この例においては、ユーザを斜め方向に誘導をする場合には2つのLED23を同時に発光させて通知するようにしてもよい。例えば、右上に誘導する場合には上のLED23と右のLED23を同時に発光させる。
図20BはLED23を横一列に設けて、各LED23がどの方向に対応しているかをU(UP)、D(DOWN)、L(LEFT)、R(RIGHT)の文字で示している。さらに、図20Cは8つのLED23を四角形状に配置している。なお、上述したLED23の数および配置は一例にすぎず、より多くのLED23を設けてもよい。また、他の配置パターンを採用してもよい。
そしてステップS45で、背景物条件を満たし、かつ、顔条件を満たすと判定されるまでステップS41乃至ステップS46が繰り返されてユーザの調整に合わせて、誘導指示、通知がなされる。なお、背景物、顔が画枠から出た場合にもその旨の通知を行うようにするとよい。その場合、ビープ音は警告の意味合いをユーザに伝えるためにブービー音などにするとよい。
そして、ステップS46による誘導情報の通知が繰り返し行われながら、ステップS45で、背景物条件を満たし、かつ、顔条件を満たすと判定されるまで、ステップS41乃至ステップS46が繰り返される。そして、ステップS45で、背景物条件を満たし、かつ、顔条件を満たすと判定された場合、すなわち、自分撮り条件が整ったと判定された場合、処理はステップS47に進む(ステップS45のYes)。次にステップS47で、撮像装置1による撮像が行われて予備画像の生成が行われる。そして、生成された予備画像はバッファメモリ7に保存される。
なお、撮像は様々なタイミングで行うことが考えられる。例えば、自分撮り条件が整った時点(背景物条件を満たし、かつ、顔条件を満たすと判定された時点)で自動的に撮像が行われるようにする。または、自分撮り条件が整った時点で音声または/およびLED23の発光でユーザにレリーズボタン24の押下を促すようにする。この手法によれば、ユーザが自分のタイミングで撮像を行うことができる。
さらに、自分撮り条件が整った時点から「5」、「4」、「3」、「2」、「1」と音声によるカウントダウンを開始し、カウントダウン終了とともに自動で撮像を行うようにしてもよい。この手法によれば、自分撮り条件が整った時点から撮像までの間に所定の時間があるため、その間にユーザは表情を整えることが可能となる。また、レリーズボタン24を自分で押下する必要がないため、レリーズボタン24を押下しようとして誤って撮像装置1を動かしてしまい、顔の位置がずれることなどを防止することができる。
ステップS47における撮像により得られた画像は予備画像としてバッファメモリ7に保存される。なお、生成された予備画像をバッファメモリ7に保存する際には、後述する画像加工処理で用いるために、背景物領域601の位置、サイズ、角度などが背景物領域情報として予備画像に関連付けて保存される。さらに、顔検出部34により検出された顔領域もの位置、サイズなども顔領域情報として予備画像に関連付けて保存される。
次に、ステップS48で予備画像に対して画像加工処理が施されることによって、最終的に本画像が生成される。そして、ステップS49で、生成された本画像は記憶部8に保存される。なお、本画像の生成に用いられた予備画像も再生可能な状態で記憶部8に保存するようにしてもよい。
[2−3.画像加工処理]
以下、画像加工処理について説明する。本実施の形態における撮像装置1で行われる画像加工処理は、顔位置調整処理、傾き補正処理、背景物サイズ調整処理、最適構図調整処理、縦横変換処理、顔向き対応調整処理、黄金比に基づく拡大処理である。なお、顔位置調整処理以外の処理、すなわち、傾き補正処理、背景物サイズ調整処理、最適構図調整処理、縦横変換処理、顔向き対応調整処理、黄金比に基づく拡大処理はユーザによる本画像条件設定が行われなかった場合に施される処理である。
「2−3−1.顔位置調整処理」
まず、図21乃至図24を参照して、顔位置調整処理について説明する。本技術は、ユーザが顔を目標顔位置に一致させる困難性に鑑みて、顔が目標顔位置に一致したときではなく、顔が所定の広さを有する顔条件範囲にわずかにでも重なった場合に顔条件を満たすとして撮像を行うように構成してある。これはすなわち、予備画像においては、顔はユーザが希望する目標顔位置に完全に一致してはいないということである。そこで、顔位置調整処理は、本画像において顔が目標顔位置に一致するように、すなわち、本画像条件を満たすように画像の加工を行う処理である。顔位置調整処理は、切り出し領域設定部41、背景物位置判定部42、画像切り出し部43、拡大処理部44により行われる。
切り出し領域設定部41は、予備画像における顔が目標顔位置に一致するように予備画像の切り出し領域を設定するものである。切り出し領域設定部41は、顔として検領域の中心が目標顔位置に一致するように切り出し領域を設定する。背景物位置判定部42は、切り出し領域設定部41により設定された切り出し領域内に背景物が入っているか否かを判定するものである。判定は、例えば、背景物領域情報に示される背景物領域の位置、サイズを参照して、予備画像において背景物として検出された背景物領域全体が切り出し領域内に収まっているか否かに基づいて行われる。なお、本実施の形態では背景物領域が切り出し領域内に収まっている場合にのみ、背景物が切り出し領域内に入っていると判定するものとする。
画像切り出し部43は、予備画像から切り出し領域設定部41により設定された切り出し領域を切り出すことにより切り出し画像を生成するものである。拡大処理部44は、画像切り出し部43により生成された切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。本実施の形態においては、拡大処理部44は切り出し画像を本画像用のサイズに拡大するものとする。本画像用のサイズとは予備画像と同一のサイズである。
画像の拡大処理は、例えば、補間されるピクセルに最も近いピクセルの画素値を補間用の画素値とするニアレストネイバー法(nearest neighbor)を用いて行うことができる。また、補間される画素の周りの4個のピクセルの画素値を用いた一次近似によって補間用の画素値を求めるバイリニア法(bi-linear interpolation)を用いることも可能である。さらに、補間されるピクセルの周りの16個のピクセルの画素値から3次関数を用いて算出した値を補間用の画素値とするバイキュービック法(bi-cubic convolution)を用いることも可能である。
図21Aは、ユーザによって指定された本画像条件としての目標顔位置411を示すものである。そして、図21Bは自分撮り撮像時において、顔領域620と顔条件範囲610とが重なり、顔条件を満たしていると判定された状態である。この状態で予備画像701の生成が行われる。生成された予備画像701は図21Cに示すようになる。図21Aと図21Cとを比較するとわかるように、予備画像701における顔の位置と目標顔位置411との間にはズレが生じている。
図22は顔位置調整処理の流れを示すフローチャートである。顔位置調整処理においてはまず、ステップS1001で、顔位置調整処理後の本画像において、顔が目標顔位置411に一致するように(本画像条件を満たすように)切り出し領域設定部41によって切り出し領域702が設定される。図21Dはそのようにして設定された切り出し領域702を示すものである。この切り出し領域702のアスペクト比は予備画像701と同一である。切り出し領域702を予備画像701と同一のサイズに拡大すると、切り出し領域702における目標顔位置411Aが目標顔位置411に一致するようになっている。切り出し領域702においては顔領域620と目標顔位置411Aとが一致している。なお、図21Dにおいては図面の見やすさを考慮して顔における目、鼻、口を省略している。
次に、ステップS1002で、切り出し領域702に背景物領域601が入っているか否かが判定される。ステップS1002で、切り出し領域702に背景物領域601が入っていると判定された場合、処理はステップS1004に進む(ステップS1002のYes)。一方、ステップS1002で、切り出し領域702に背景物領域601が入っていないと判定された場合、処理はステップS1003に進む(ステップS1002のNo)。
ステップS1003では、切り出し領域702内に背景物領域601が入る範囲内で、顔領域620と目標顔位置411Aとが最も接近するように切り出し領域702の再設定が行われる。ただし、顔領域620を目標顔位置411Aに一致させることを優先させる場合にはステップS1002の判定およびステップS1003の切り出し領域702の設定は行わないようにしてもよい。
次に、ステップS1004で、予備画像から切り出し領域702を切り出すことによって図21Eに示すような切り出し画像703が生成される。そして、ステップS1005で、切り出し画像703を本画像用のサイズに拡大することにより図21Fに示す本画像800が生成される。
図23は上述のようにして生成された本画像800を撮像装置1のモニター25に表示した状態である。本画像800においては、顔が目標顔位置411に一致していることがわかる。このように、この顔位置調整処理によって、ユーザは自分撮り撮像時においては顔を目標顔位置411に正確に合わせる必要がないため、容易に自分撮り撮像を行うことができるとともに、最終的に生成される本画像においては顔を目標顔位置411に一致させることができる。さらに、図21Cと図21Fとを比較してわかるように、顔位置調整処理によって予備画像701の上側、右側の余白が削られるため、不要な余白のなくして適切な構図とするという効果も奏することができる。
なお、顔位置調整処理は予備画像701の一部分を切り出す処理である。したがって、背景物が予備画像701において端に位置していると顔位置調整処理によって背景物が削られてしまい、顔を目標顔位置411に一致させることと背景物を切り出し領域702内に収めることを両立できない場合がある。そこで、図24に示すように、画枠よりも狭い背景物探索範囲900を設定する。そして、上述した背景物検出部33による判定においては、テンプレートマッチングによって背景物領域601が背景物探索範囲900内で検出された場合にのみ背景物が画枠内に入ったと判定するようにする。これにより、背景物探索範囲900より外側の領域が顔位置調整処理により削られても背景物が削られてしまうことがない。
図24Aに示す例では、検出された背景物領域601が背景物探索範囲900内に位置しているため、背景物条件を満たすと判定される場合である。一方、図24Bに示す例は、背景物領域601は検出されているが、背景物領域601が背景物探索範囲900内に収まっていないため、背景物条件を満たすとは判定されない場合である。
なお、図10Eに示すように、ユーザが複数の目標顔位置411を指定することができるようにした場合は、複数の目標顔位置411の中から予備画像において顔が最も近い目標顔位置411に顔を一致させるようにしてもよい。また、指定された複数の目標顔位置411の略中心に顔を一致させるようにしてもよい。
「2−3−2.傾き補正処理」
次に、傾き補正処理について説明する。傾き補正処理は、予備画像において背景物が傾いている場合に、予備画像を回転させることよって背景物が略水平になった本画像を生成する処理である。傾き補正処理は、傾き検出部45、画像回転部46、切り出し領域設定部41、画像切り出し部43、拡大処理部44により行われる。
傾き検出部45は、予備画像における背景物の傾きを検出するものである。検出は、例えば、背景物領域情報に示される背景物として検出された領域の傾きと画枠の水平軸とを比較することにより行われる。画像回転部46は、例えば、背景物領域を示す枠を構成する辺の内、上下の辺が画枠の上下の辺と略水平になるように、傾き検出部45により検出された傾きの分予備画像を回転させる。回転処理は例えば、アフィン変換などにより行われる。
切り出し領域設定部41は、回転処理が施された予備画像に対して回転処理によって生じた空白部分750を除きつつ、予備画像内において切り出し領域702の大きさが最大となるように切り出し領域702を設定する。画像切り出し部43は、予備画像から切り出し領域702を切り出すことにより切り出し画像703を生成するものである。拡大処理部44は、切り出し画像703に対して拡大処理を施すことにより、本画像を生成するものである。
図25Aは自分撮りによって取得された予備画像701である。まず、ステップS1011において、背景物領域601の傾きが検出される。図25Aに示す予備画像701においては、背景物領域601と画枠とが水平になっていない。すなわち、画枠に対して背景物が傾いている。次にステップS1012で、図25Bに示すように、検出された傾きに基づいて、予備画像701に対して回転処理が施される。
次にステップS1013で、図25Cに示すように、回転処理が施された予備画像701に対して空白部分を除きつつ、予備画像内において切り出し領域702の大きさが最大となるように切り出し領域702が設定される。次に、ステップS1014で、設定された切り出し領域702が切り出されることにより図25Dに示すような切り出し画像703を生成される。そして、ステップS1015で、その切り出し画像703が本画像用サイズに拡大されることにより最終的に図25Eに示すような本画像800が生成される。
一般的に、ユーザは撮像装置1を片手で持ち、腕を伸ばして自分撮りを行う場合が多いと考えられる。したがって、自分撮り時には撮像装置1が傾いてしまうおそれがある。一方、背景物の指定は、通常の撮像と同様に両手で撮像装置1を持ってスルー画を見ながら行うので、背景物の指定時においては撮像装置1を水平に保つのは容易であると考えられる。また、一般的にユーザは背景物指定時は撮像装置1を略水平に保って行うと考えられる。したがって、背景物領域は水平基準に適していると考えられる。したがって、本実施の形態においては背景物領域と画枠とが略平行になるように回転処理を施すようにしている。また、背景物を回転の基準としたのは、ユーザは自分の顔が傾いて写っている画像を取得するために撮像装置1を傾けて自分撮りを行う場合があり得るからである。
「2−3−3.背景物サイズ調整処理」
次に背景物サイズ調整について説明する。背景物サイズ調整とは、背景物指定枠302サイズ情報に示される背景物条件設定時における背景物指定枠のサイズと、予備画像中における背景物領域のサイズとが異なる場合にそれらを一致させるように予備画像に対して、拡大処理を施すものである。これにより、本画像における背景物のサイズを背景物条件設定時と略同一にすることができる。背景物サイズ調整処理は、拡大処理部44、切り出し領域設定部41、画像切り出し部43により行われる。
拡大処理部44は、背景物条件設定時における背景物指定枠302のサイズと予備画像における背景物領域のサイズが略同一となるように予備画像に対して拡大処理を施すものである。なお、拡大処理部44によって拡大処理が施された画像を拡大画像と称する。
切り出し領域設定部41は、拡大画像に対して本画像用サイズの切り出し領域を設定するものである。切り出し領域の設定は、例えば、予備画像における背景物領域の中心座標と、切り出し画像における背景物領域の中心座標とが一致するように設定される。画像切り出し部43は、予備画像から切り出し領域を切り出すことにより本画像を生成するものである。
図27Aは背景物条件設定時における背景物指定枠302を示すものである。図27Bは撮像により取得された予備画像701およびその予備画像701における背景物領域601を示すものである。図27Aと図27Bとを比較してわかるように、予備画像701における背景物領域601は背景物条件設定時における背景物指定枠302よりも小さくなっている。これは、例えば、背景物条件設定時と自分撮り時とにおいて背景物と撮像装置1との距離が変わることにより生じる。
まず、ステップS1021で、図27Cに示すように、背景物条件設定時における背景物指定枠302のサイズと予備画像701における背景物領域601のサイズが略同一となるように予備画像701に対して拡大処理が施される。これにより拡大画像760が生成される。次にステップS1022で、図27Cに示すように、拡大画像760に対して切り出し領域702が設定される。そして、ステップS1023で、拡大画像760から切り出し領域702を切り出すことによって、図27Dに示すような本画像800が生成される。
ユーザは背景物条件設定時においては、背景物をどれにするかだけではなく、背景物のサイズも考慮して背景物指定枠302の調整を行う場合があると考えられる。しかし、自分撮り時においては、体の位置を移動させたり、撮像装置1を持ち替えたりするため、背景物を背景物条件設定時と略同一のサイズで画枠内に収めるのは難しい。そこで、この背景物サイズ調整処理を行うことによって、本画像において背景物のサイズをユーザが望むサイズにすることができる。
「2−3−4.最適構図調整処理」
次に、最適構図調整処理について説明する。最適構図調整処理とは、例えば2本の水平線と2本の垂直線(以下、分割線と称する。)とにより本画像を分割し、その分割線上または分割線の交点上に顔を位置させることにより、美感を起こさせる最適な構図の本画像を生成するものである。また、顔と背景物の重心を分割線上または分割線の交点に位置させることのより、最適な構図の本画像の生成も行う。分割線による分割法としては黄金比分割、3分割などがある。最適構図調整処理は、背景物種別設定部47、重心算出部48、切り出し領域設定部41、背景物位置判定部42、画像切り出し部43、拡大処理部44により行われる。
背景物種別設定部47は、ユーザによる入力などに基づき、指定された背景物が「景色」であるか、「モノ」であるかの設定を行うものである。背景物が「景色」である場合とは、例えば、背景物として富士山のようないわゆる景色が指定された場合である。また、背景物が「モノ」である場合とは、背景物として例えば人形、置物、看板などが指定された場合である。背景物種別設定部47により設定された背景物種別情報は重心算出部48、切り出し領域設定部41に出力される。
本実施の形態においては、背景物が「景色」であると設定された場合には、分割線上または交点に顔領域が配置されるように処理が行われる。一方、背景物が「モノ」であると設定された場合には、分割線上、または分割線の交点に顔領域と背景物領域の重心が配置されるように処理が行われる。背景物が「景色」であるか、「モノ」であるかは、例えば、図29Aに示す背景物指定の決定入力がなされた後に図29Bに示すような所定の入力用画面1000をモニター25に表示し、ユーザが選択することができるようにするとよい。このユーザの入力に基づいて背景物種別設定部47により、背景物が「景色」であるか、「モノ」であるかが設定される。
重心算出部48は、例えば、顔領域の中心座標および背景物の中心座標から、顔領域と背景物領域との全体重心を算出する。重心算出部48による重心の算出は、背景物種別設定部47から背景物として「モノ」が設定されたことを示す背景物種別情報を取得した場合に行われる。
切り出し領域設定部41は、背景物種別設定部47から取得した背景物種別情報が背景物が「景色」であることを示す場合には、顔領域が分割線上または交点上に配置されるように予備画像に対して切り出し領域を設定する。一方、背景物種別情報が背景物が「モノ」であることを示す場合には、重心算出部48により算出された重心が分割線上、または分割線の交点に配置されるように予備画像に対して切り出し領域を設定する。
背景物位置判定部42は、背景物領域情報に示される背景物領域の位置、サイズに基づいて、切り出し領域内に背景物領域が入っているか否かを判定する。画像切り出し部43は、予備画像から切り出し領域702を切り出すことにより切り出し画像703を生成するものである。拡大処理部44は、切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。
まず、一例として、図30および図31を参照して、本画像を黄金比に基づいて分割し、分割線の交点に顔を配置する場合について説明する。これは、背景物として「景色」が選択された場合である。
図30Aは自分撮りによって取得された予備画像701である。「景色」の背景物として富士山が指定されている。まず、ステップS1031で、図30Bに示すように、切り出し領域702が予備画像701内において最大の大きさとなり、さらに、顔領域620が切り出し領域702を分割する分割線の交点上に位置するように切り出し領域702が設定される。なお、分割線の交点は4つであるが、顔を4つの交点のうちのどの交点上に位置させるかは様々な基準に基づき決定することができる。例えば、予備画像701を黄金比に基づき分割して顔に最も近い交点に位置させる。また、顔が右に傾いている場合には左側の2つの交点のうちの顔の近い交点、顔が左の傾いている場合には右側の2つの交点のうちの顔の近い交点に位置させるようにしてもよい。
次にステップS1032で、切り出し領域702内に背景物領域601が入っているか否かが判定される。入っていないと判定された場合、処理はステップS1033に進む(ステップS1032のNo)。ステップS1033で他の交点に顔が位置するように切り出し領域702が決定される。そして、ステップS1032で切り出し領域702内に背景物領域601が入っているか否かが判定される。入っていると判定された場合、処理はステップS1034に進む(ステップS1032のYes)。
次に、ステップS1034で、予備画像701から切り出し領域702が切り出されることにより、図30Cに示すような切り出し画像703が生成される。そして、ステップS1035で、切り出し画像703が本画像用のサイズに拡大されることにより図30Dに示す本画像800が生成される。
図30Aに示す予備画像701はユーザの顔が略中央に位置しており、一般的に好ましくないとされるいわゆる日の丸構図になっている。そして、この予備画像701に最適構図調整処理を施すことにより、容易に図30Dに示すような黄金比に基づいた構図の本画像800を生成することができる。
なお、いずれの交点に顔を一致させても背景物領域601が切り出し領域702内に収まらない場合には、背景物領域601が切り出し領域702内に収まる範囲内で顔を交点の近くに位置させるようにするとよい。また、上述の説明では黄金比に基づいて分割した分割線の交点に顔領域620を位置させる場合を例にして説明したが、同様の手法で顔を3分割の分割線の交点に位置させるように最適構図調整処理を施すことも可能である。
次に他の例として、図32および図33を参照して、画枠内を3分割法に基づいて分割し、分割線の上に背景物と顔の全体重心を配置する最適構図調整処理について説明する。なお、上述のように、背景物領域と顔領域との全体重心を分割線上または交点に位置させるのは、背景物として「モノ」が指定された場合である。
図32Aは自分撮りによって取得された予備画像701である。予備画像701においては背景物領域601、顔領域620が検出されている。まず、ステップS1041で、背景物領域601と顔領域620の全体重心630が算出される。全体重心630は例えば、背景物領域601の中心座標と顔620の中心座標とから算出される。具体的には、背景物領域601の中心座標を(Xb、Yb)、顔領域620の中心座標を(Xf、Yf)とすると、全体重心の座標(Xc、Yc)は、Xc=(Xb+Xf)/2、Yc=(Yb+Yf)/2、で求めることができる。図32Bにこのようにして求められた全体重心630を示す。なお、背景物領域の中心座標を用いて全体重心を求めるのは、一般的にユーザは背景物として指定したい被写体を背景物指定枠302の略中央に位置させて背景物の指定を行うと考えられるためである。
次にステップS1042で、図32Cに示すように、切り出し領域702が予備画像701内において最大の大きさとなり、さらに、重心が切り出し領域702を分割する分割線上に位置するように切り出し領域702が設定される。次にステップS1043で、切り出し領域702内に背景物領域601と顔領域620とが入っているか否かが判定される。入っていないと判定された場合、処理はステップS1044に進む(ステップS1043のNo)。
次に、ステップS1044で全体重心630が分割線上の他の位置に位置するように切り出し領域702が決定される。そして、ステップS1043で切り出し領域702内に背景物領域601および顔領域620が入っているか否かが判定される。入っていると判定された場合、処理はステップS1045に進む(ステップS1043のYes)。次に、ステップS1045で、予備画像701から切り出し領域702が切り出されることにより、図32Dに示すような切り出し画像703が生成される。そして、ステップS1046で、切り出し画像703が本画像用のサイズに拡大されることにより図32Eに示す本画像800が生成される。この本画像は3分割に基づいた構図となっており、背景物と顔との重心が下段の水平線上に位置している。
「2−3−5.縦横変換処理」
次に、縦横変換処理について説明する。縦横変換処理とは、上述した最適構図調整処理において、縦の寸法に比べて横の寸法が長い横長長方形状の切り出し領域では、分割線の線上または分割線の交点に顔を位置させると、背景物領域が切り出し領域内に収まらない場合に行われる処理である。切り出し領域を90度回転させて、切り出し領域を横の寸法に比べて縦の寸法が長い縦長長方形状にすることにより、分割線の線上または分割線の交点に顔を位置させつつ、背景物領域を切り出し領域内に収めることを可能とする。縦横変換処理は、重心算出部48、切り出し領域設定部41、背景物位置判定部42、画像切り出し部43、拡大処理部44により行われる。
図34Aは自分撮りによって取得された予備画像701である。予備画像701においては背景物領域601、顔領域620が検出されている。まずステップS1051で、図34Bに示すように、重心算出部48により背景物領域601と顔領域620の重心630が算出される。なお、重心630の算出方法は上述の最適構図調整処理におけるものと同様である。次にステップS1052で、重心630が切り出し領域702を分割する分割線上または分割線の交点上に位置すると共に、予備画像701内において切り出し領域702Aが最大の大きさとなるように切り出し領域702Aが決定される。次にステップS1053で切り出し領域702A内に背景物領域601および顔領域620が入っているか否かが判定される。ステップS1053において、切り出し領域702Aに顔および背景物が入っていると判定された場合、処理はステップS1058に進む(ステップS1053のYes)。
そしてステップS1058で、予備画像から切り出し領域702Aが切り出されることにより切り出し画像703が生成され、ステップS1059でその切り出し画像703を本画像用のサイズに拡大することにより本画像が生成される。このステップS1051乃至1053、ステップS1058およびステップS1059による処理は最適構図調整処理と同様のものである。
一方、ステップS1053で切り出し領域702A内に背景物領域601および顔領域620が入っていないと判定された場合、処理はステップS1054に進む(ステップS1053のNo)。図34Cにおいては、背景物領域601が切り出し領域702Aからはみ出ている。このような場合にステップS1053で切り出し領域702A内に背景物領域601および顔領域620が入っていないと判定される。
そして、ステップS1054で切り出し領域を90度回転させる。すなわち、切り出し領域が縦長長方形状に設定される。次にステップS1055で、重心630が分割線上または分割線の交点上に位置すると共に、予備画像701内において切り出し領域702Bの大きさが最大となるように切り出し領域702Bが決定される。次にステップS1056で、切り出し領域702B内に背景物領域601および顔領域620が入っているか否かが判定される。ステップS1056において、切り出し領域702Bに背景物領域601および顔領域620が入ってはいないと判定された場合、処理はステップS1057に進み(ステップS1056のYes)、再度切り出し領域702Bの設定が行われる。
図34Dにおいては、90度回転させることにより切り出し領域702Bが縦長長方形状になっているため、重心630を分割線上に位置させつつ、背景物領域601および顔領域620を切り出し領域702B内に収めることが可能となっている。
次に、ステップS1058で、予備画像701から切り出し領域702Bを切り出すことにより、図34Eに示すような切り出し画像703が生成される。そして、ステップS1059でその切り出し画像703を本画像用のサイズに拡大することにより、図34Fに示すような本画像800が生成される。
「2−3−6.顔向き対応調整処理」
次に、顔向き対応調整処理について説明する。顔向き対応調整処理とは、ユーザの顔の向きに応じて本画像内に空間を形成することにより、最適な構図の本画像を生成するものである。顔向き対応調整処理は、顔向き検出部49、背景物位置判定部42、切り出し領域設定部41、画像切り出し部43、拡大処理部44によって行われる。
顔向き検出部49は、予備画像における顔の向きを検出するものである。検出される顔の向きは、例えば、「右向き」、「左向き」である。例えば、エッジ検出などの手法を用いることで、予備画像中から顔の両端位置と顔の中心位置(鼻先を通る線)とが検出され、その顔両端位置と顔中心位置とから顔の向きの方向が検出される。なお、顔向き検出方法として、例えば、目、鼻、口などの顔の構成要素の形状的な特徴を利用した方法や、検出対象となる顔の2点間の輝度値の差分値を用いた検出方法など、顔の向きを検出できる手法であれば別の方式を用いてもよい。
背景物位置判定部42は、顔向き検出部49により検出された顔が向く方向に背景物領域が存在しているか否かを判定する。判定は、背景物領域の位置、サイズなどを示す背景物領域情報を参照して、例えば、顔領域の中心を基準として、顔向き検出部49によって検出された顔が向く方向に背景物領域が存在しているか否かを判定することにより行われる。また、背景物位置判定部42は、設定された切り出し領域内に背景物が入っているか否かを判定する。判定も背景物領域の位置、サイズなどを示す背景物領域情報を参照することにより行われる。画像切り出し部43は、予備画像から切り出し領域を切り出すことにより切り出し画像を生成するものである。拡大処理部44は、切り出し画像に対して拡大処理を施すことにより、本画像を生成するものである。
図36Aは自分撮りによって取得された予備画像701である。予備画像701においては背景物領域601、顔領域620が検出されている。まず、ステップS1061で、顔向き検出部49により顔の向きが検出される。図36Aの予備画像701においては顔は「左向き」である。
次にステップS1062で顔が向く方向に背景物領域601が存在するか否かが判定される。そして、ステップS1062の判定の結果、顔が向く方向に背景物領域601が存在しないと判定された場合、処理は終了となる(ステップS1062のNo)。このように、本実施の形態においては、顔が向く方向に背景物領域601が存在する場合にのみ顔向き対応調整処理が行われるものとする。
一方、ステップS1062で、顔が向く方向に背景物領域601が存在すると判定された場合、処理はステップS1063に進む。(ステップS1062のYes)。そして、ステップS1063で、切り出し領域設定部41により顔領域620が切り出し領域702を3分割法に基づいて分割する分割線の交点に位置すると共に、予備画像701において切り出し領域702の面積が最大となるように切り出し領域702が決定される。
本実施の形態においては、顔の向きが左向きの場合には、分割線の4つの交点のうち右側の交点に顔領域620が位置するように切り出し領域702が決定される。一方、顔の向きが右向きの場合には、分割線の4つの交点のうち左側の交点に顔領域620が位置するように切り出し領域702が決定される。このように、顔が向く方向とは逆方向の分割線の交点に顔領域620を位置させるように切り出し領域702を決定することにより、顔が向く方向に空間を形成することができ、バランスのよい構図となった本画像を生成することができる。
次にステップS1064で切り出し領域702内に背景物領域601が入っているか否かが判定される。そして、ステップS1064の判定の結果、切り出し領域702内に背景物領域601が入っていないと判定された場合、処理はステップS1065に進む(ステップS1064のNo)。
次にステップS1065で、顔領域620が分割線の他の交点に位置するように予備画像701に対して切り出し領域702が決定される。黄金比分割、3分割共に左右の分割線の交点は2つずつである。よって、例えば、ステップS1063で上側の交点に顔が位置するように切り出し領域702が設定された場合には、ステップS1065では下側の交点に顔が位置するように切り出し領域702が設定される。
そして、再び、ステップS1064で背景物領域601が切り出し領域702内に入っているか否かが判定される。ステップS1064で背景物領域601が切り出し領域702内に入っていると判定された場合、処理はステップS1066に進む(ステップS1064のYes)。図36Bはこのようにして決定された切り出し領域702を示すものである。図36Bにおいては顔は「左向き」であるため、顔が右側の交点に位置するように切り出し領域702が決定されている。なお、分割方法は3分割としてある。ただし、黄金比に基づいて分割してもよい。
次にステップS1066で、予備画像から切り出し領域702が切り出されることにより、図36Cに示すような切り出し画像703が生成される。そして、ステップS1067で、切り出し画像703を本画像用のサイズに拡大することにより図31Dに示す本画像800が生成される。この本画像では、顔が左向きであるため、顔が右側の交点に位置しており、左側に空間が形成された構図となっている。
「2−3−7.黄金比に基づく拡大処理」
次に、黄金比に基づく拡大処理について説明する。黄金比に基づく拡大処理とは、ユーザの顔として検出された顔領域の長さと顔領域の下端から本画像の画枠の下端までの距離の比率が黄金比となるような本画像を生成するものである。黄金比に基づく拡大処理は、切り出し領域設定部41、画像切り出し部43、拡大処理部44によって行われる。
図38Aは、自分撮りによって生成された予備画像701である。予備画像701においては富士山の頂が背景物領域601として検出されている。ユーザの顔は顔領域620として検出されている。まず、ステップS1071で、この予備画像701における顔領域の長さが取得される。顔領域の長さは予備画像生成の際に関連付けて保存された顔領域のサイズを示す顔領域情報を参照することにより取得することができる。
次にステップS1072で、図38Bに示すように、背景物領域601が入るとともに、顔領域620の長さと顔領域620の下端から切り出し領域702の下端までの距離の比が黄金比(1:1.618)になるように切り出し領域702が設定される。次に、ステップS1073で予備画像701から切り出し領域702が切り出されることにより、図38Cに示すような切り出し画像703が生成される。この切り出し画像703においては、顔領域620の長さと顔領域620の下端から切り出し画像703の下端までの距離の比が黄金比となっている。そして、ステップS1074で、切り出し画像703を本画像用のサイズに拡大することにより図38Dに示す本画像800が生成される。
黄金比に基づく拡大処理においては、顔領域620の下端から本画像800の下端まで(すなわち、顔領域620の下)にユーザの体があると考える。そして、顔領域620の長さと顔領域620の下端から本画像800の下端までの距離の比率が黄金比となるように処理を行うことによって、図38Dの本画像800に示すように顔と体の比率が黄金比となる。これにより、美感を起こさせる構図の本画像を生成することができる。
なお、上述した各種画像加工処理は必ずしも全てを行う必要があるわけではなく、いずれか1つのみを行ってもよいし、複数行ってもよい。また、複数の画像加工処理を行う場合、どのような順序で行ってもよい。
<3.第2の実施の形態>
[3−1.画像処理装置および撮像装置の構成]
次に本技術の第2の実施の形態について説明する。図40は第2の実施の形態に係る画像処理装置2100の構成を示すブロック図である。画像処理装置2100は画像条件設定部2200、条件判定部2300、画像取得関連処理部2400、画像加工部2500とから構成されている。また、図41は画像処理装置2100の機能を備える撮像装置3000の構成を示すブロック図である。
第2の実施の形態における撮像装置3000は、制御部3100が画像条件設定部2200、条件判定部2300、画像取得関連処理部2400、画像加工部2500として機能する点で第1の実施の形態と相違する。その他の撮像装置3000の構成は第1の実施の形態と同様であるため、説明を省略する。
なお、第2の実施の形態において「予備画像」とは、画像加工処理が施される前に画像が予備画像としての条件(以下、予備構図条件と称する)を満たす場合に保存される画像である。「本画像」とは、予備画像に対して、本画像としての条件(以下、本構図条件と称する)が満たされるように画像加工処理が施されることにより、最終的に得られる画像である。
画像条件設定部2200は、本構図条件と、予備構図条件とを設定するものである。画像条件設定部2200は、図11、図12に示されるように、モニター25に表示される本画像条件用画面に対してユーザにより入力される主被写体の位置に基づいて本構図条件を設定する。よって、本構図条件はユーザが最終的に希望する主被写体の位置などを示すものである。
本構図条件は、例えば、画枠の左上を基準として、水平方向をX方向(0〜100)、鉛直方向をY方向(0〜100)としてパラメータ化した場合に、主被写体の位置(主被写体として判定された領域の重心位置)を示すXの値とYの値として設定される。例えば、「X=65、Y=50」などである。また、本構図条件は「63≦X≦67、48≦Y≦52」のように所定の幅を有するように設定するようにしてもよい。なお、パラメータの範囲は0〜100に限られるものではなく、それよりも大きな値に設定してもよいし、小さな値に設定してもよい。
なお、「主被写体」とは、ユーザがその被写体を重視して画像を得たいと思う被写体である。主被写体は人物の顔の他、所定の検出アルゴリズムにより画像内から被写体として検出されるものであればどのようなものでもよい。例えば、人物の手などの人体の一部または全身、動物、建築物、自動車、花、山などの物体などである。なお、注目被写体は1つとは限らず、複数であってもよい。
また、主被写体の位置の他に、主被写体の大きさも本構図条件として設定可能としてもよい。主被写体の大きさは例えば図12Cに示されるように、主被写体指定枠のサイズ入力可能とし、入力された値に応じて主被写体指定用の枠のサイズが変更されるようにすることが考えられる。
さらに、画枠に対する主被写体の傾きも本構図条件として設定可能としてもよい。ユーザが被写体の傾きを入力する方法としては例えば、図42Aに示されるように傾きを示す値を入力可能とし、その値に応じて主被写体指定用枠4000が回転するようにしてもよい。また、図42Bに示されるように、タッチパネル3100を備えるモニター3200に主被写体指定用枠4000と共に主被写体指定用枠4000を回転操作可能な回転ハンドル4100を表示させ、ユーザがその回転ハンドル4100をタッチパネル3100のタッチ操作などにより操作することにより被写体の傾きを入力可能としてもよい。
また、表示部11がタッチパネルを備えるモニターである場合、タッチしたユーザの指の向きを検出し、その向きに主被写体の向きを合わせるようにしてもよい。また、同時に2本以上の指でタッチ操作を行ういわゆるマルチタッチ操作で主被写体指定枠を回転させることにより主被写体の傾きを入力することができるようにしてもよい。さらに、撮像装置3000に加速度センサを設けて、撮像装置3000を傾かせることにより主被写体の傾きを入力することができるようにしてもよい。
なお、撮像部の撮像により得られる画像から検出される主被写体の位置、大きさ、向きなどに応じて最適な構図を求め、その構図を本構図条件として設定するようにしてもよい。主被写体の位置、大きさ、向きなどに応じて最適な構図を求める手法としては例えば特開2011−29831号公報、特開2009−100300号公報などに記載されている手法を採用することができる。
さらに、「背景物の位置」を本構図条件として設定可能としてもよい。主被写体の位置を指定した方法と同様の方法で背景物の位置が指定されると、それに基づいて画像条件設定部2200は本構図条件を設定する。
本構図条件として背景物を指定する方法としては、例えば、第1の実施の形態において図8を参照して説明したように、スルー画301として表示されている背景中の任意の場所に対応するタッチパネル26の操作面に指を接触させ、その接触位置を中心として表示される背景物指定枠302によって指定する手法が挙げられる。
背景物指定枠302は、その位置、形状およびサイズが変更可能となっている。例えば、指を背景物指定枠302内に接触させた状態でドラック操作を行うことによって背景物指定枠302の位置を変更可能とする。また、指を、背景物指定枠302を構成する各辺のいずれかに接触させた状態でドラック操作を行うことによって、背景物指定枠302をその辺の方向に延長させて形状を変更可能とする。さらに、背景物指定枠302上に2本の指を接触させて、ピンチアウト操作を行うことによって背景物指定枠302のサイズを拡大、ピンチイン操作を行うことによってサイズの縮小を可能とする。これらの各種操作で背景物指定枠302を任意の位置、形状およびサイズに調整することによってユーザは背景物を的確に指定することができる。
また、主被写体の入力と同様に、背景物の位置を示す値を入力することにより背景物の指定を行うことができるようにしてもよい。背景物についての本構図条件は、座標によって設定されてもよいし、所定の面積の範囲として設定されてもよい。
画像条件設定部2200は、本構図条件に基づいて予備構図条件を定める。予備構図条件は本構図条件よりもゆるい条件として設定される。
例えば、本構図条件が主被写体の位置「X=65、Y=50」として設定された場合、予備構図条件は、主被写体の位置「60≦X≦70、45≦Y≦55」のように、本構図条件を包含するように所定の幅を有する値として設定される。詳しくは後述するが、撮像により得られた画像が予備構図条件を満たす場合には画像取得関連処理部2400の処理により、撮像画像が予備画像として取得される。よって、上述のように予備構図条件を本構図条件よりもゆるい条件として設定することにより、予備画像の取得が容易となる。
なお、上述した予備構図条件の範囲は説明の便宜上の一例であり、その値に限られるものではない。本構図条件が「X=65、Y=50」である場合、「55≦X≦75、40≦Y≦50」のように、予備構図条件の幅が大きくなるように設定してもよいし、「62≦X≦67、48≦Y≦52」のように、予備構図条件の幅が小さくなるように設定してもよい。
また、構図条件が例えば「63≦X≦67、48≦Y≦52」のように所定の幅を有するように設定されている場合、予備構図条件を「60≦X≦70、45≦Y≦55」のように幅を有する本構図条件を包含するように所定の幅を有する値として設定するとよい。
なお、予備構図条件は必ずしも本構図条件としての値を中心値とした範囲として設定されるとは限らない。例えば「X=0、Y=50」のように設定された場合には、予備構図条件のXの値が「X≦10」のように上限値のみ、または下限値のみが設定されるようにしてもよい。
また、背景物が所定の範囲に含まれることが本構図条件として設定された場合、その範囲よりも広い範囲に背景物が含まれることを予備構図条件として設定する。これにより、撮影時に正確に背景物を目的の位置に合わせる必要がなくなるので、撮影を容易に行うことができる。
予備構図条件は、予め用意された所定のテンプレートに基づいて設定されるようにしてもよいし、ユーザが予め、予備構図条件の本構図条件を包含する値の幅を設定しておき、それに基づいて自動的に設定されるようにしてもよい。
また、予備構図条件を本構図条件よりも少ない条件とすることによって、予備構図条件を本構図条件よりもゆるい条件として設定するようにしてもよい。例えば、本構図条件が主被写体の位置の他に、主被写体の大きさ、傾きなども含む場合、予備構図条件を主被写体の位置のみとする、主被写体の傾きのみとする、主被写体の大きさ及び傾きとするなど、である。また、本構図条件の背景物についての条件を除いて予備構図条件とする、などである。
条件判定部2300は、撮像により取得した撮像画像が予備構図条件を満たすか否かを判定するものである。条件判定部2300による判定結果は画像取得関連処理部2400に供給される。
画像取得関連処理部2400は、予備画像の取得に関する処理を行うものである。画像取得関連処理部2400は特許請求の範囲における処理部に相当するものである。予備画像の取得には、撮像装置3000が自動で行う場合(いわゆるオートレリーズ)と、ユーザが手動で行う、場合(いわゆるマニュアルレリーズ)の場合とがある。
オートレリーズの場合、画像取得関連処理部2400は、条件判定部2300により撮像画像が予備構図条件を満たすと判定された場合、その撮像画像を予備画像としてバッファメモリ7または記憶部8に記憶させる処理を行う。なお、条件判定部2300により撮像画像が予備構図条件を満たすと判定された場合に記憶される画像は、予備構図条件を満たすと判定された撮像画像そのものであってもよいし、予備構図条件を満たすと判定された撮像画像の前後所定期間内に取得されたフレーム画像であってもよい。画像取得関連処理部2400がこのような処理を行う場合、予備画像の取得は条件判定部2300の判定結果に基づいて自動的に行われることとなる。
一方、マニュアルレリーズの場合、画像取得関連処理部2400は、条件判定部2300により撮像画像が予備構図条件を満たすと判定されたタイミングでシャッタ操作を行うようにユーザに通知する処理を行う。通知は例えば、図20に示されるように撮像装置3000がLEDまたは/およびスピーカを備える場合には、LEDの点灯による通知、音声による通知などが挙げられる。そして、その通知後にユーザによりレリーズ操作がなされるとそれに応じて撮像画像を予備画像としてバッファメモリ7または記憶部8に記憶させる処理を行う。
なお、通知後にユーザによるシャッタ操作が行われたが、そのシャッタ操作の時点では撮像画像が予備構図条件を満たしていないと条件判定部2300に判定された場合、画像取得関連処理部2400はシャッタ操作を無効とし、予備画像の取得処理を行わないようにしてもよい。このような処理を行うために条件判定部2300は、一度、撮像画像が予備構図条件を満たすと判定した後も、画像取得関連処理部2400により予備画像を取得する処理が行われるまでは予備構図条件を満たしているかの判定を繰り返し行う必要がある。なお、予備画像の取得が行われなかった場合には、その旨をLEDの点灯による通知、音声による通知などによりユーザに通知するようにしてもよい。
画像加工部2500は、予備画像に対して本構図条件に基づいてトリミングなどの画像処理を施すことにより本画像を生成するものである。本画像生成のために行う画像処理としては、第1の実施の形態で述べた、画像加工処理を用いることができる。
主被写体の位置を本構図条件の位置に合わせるトリミング処理は例えば図43に示されるように行う。図43Aにおいて点はユーザによって指定された本構図条件であるユーザが望む主被写体の位置5000を示すものである。図43Bは、予備構図条件を満たしたことによって取得された予備画像5100である。図43Cは、本構図条件と予備画像5100とを重ねたものである。図43Cに示されるように、本構図条件としての主被写体の位置5000と、主被写体である顔5200の位置はずれている。
この予備画像5100に対して図43Dに示されるように、本構図条件である主被写体の位置5000と顔5200とが一致するようにトリミング範囲5300が決定される。このトリミング範囲5300のアスペクト比は予備画像5100と同一である。トリミング範囲5300で予備画像5100を切り出すと図43Eに示すようになる。そして、図43Fに示されるように切り出されたトリミング範囲5300を予備画像5100と同一のサイズに拡大すると、顔が本構図条件に一致した本画像5400を生成することができる。
同様に手法を用いることによって、背景物をユーザが指定する位置に配置した本画像を生成することもできる。
また、主被写体の大きさを本構図条件に合わせるのは、第1の実施の形態において説明した背景物サイズ調整処理と同様の処理を主被写体に対して行うことにより実現することができる。
また、主被写体の画枠に対する傾きを本構図条件に合わせるのは、第1の実施の形態において説明した傾き補正処理を行うことで実現することができる。
なお、主被写体の位置だけでなく、大きさ、傾きも本構図条件として設定されている場合には上述した複数の画像加工処理を施して本画像を生成するとよい。
[3−2.画像処理装置における処理]
次に図44のフローチャートを参照して第2の実施の形態における処理について説明する。まずステップS2001で、画像条件設定部2200は本構図条件を設定する。上述したように本構図条件はユーザの入力などに基づいて設定される。次にステップS2002で、画像条件設定部2200は、本構図条件に基づいて予備構図条件を設定する。設定された本構図条件は画像加工部2500に供給され、予備構図条件は条件判定部2300に供給される。
次にステップS2003で、条件判定部2300は撮像画像が予備構図条件を満たしているか否かを判定する。予備構図条件を満たしていない場合には予備構図条件を満たすまでステップS2003の判定が繰り返される(ステップS2003のNo)。なお、撮像画像が予備構図条件を満たしていない場合には上述したように、LEDの点灯、音声などによる誘導通知をユーザに対して行うようにしてもよい。
ステップS2003で撮像画像が予備構図条件を満たしていると判定された場合、処理はステップS2004に進む(ステップS2003のYes)。そして、ステップS2004で、画像取得関連処理部2400は画像取得関連処理を行う。画像取得関連処理は、上述したように、オートレリーズである場合には撮像画像を予備画像として記憶部8などに記憶させることにより予備画像を取得する処理である。また、画像取得関連処理は、マニュアルレリーズの場合には、ユーザに予備画像の取得を促すための通知を行う処理と、ユーザによるレリーズ操作が行われたときに撮像画像を予備画像として記憶部8などに記憶させることにより予備画像を取得する処理である。
予備画像の取得が行われた後に、ステップS2005で画像加工部2500は、本構図条件を満たすように予備画像に対して加工処理を施すことにより本画像を生成する。
以上のようにして本実施の形態に係る画像処理装置2100による処理が行われる。本実施の形態によれば、最終的な画像についての条件である本構図条件よりもゆるい予備構図条件を満たした場合に画像の取得が行われるため、ユーザは正確に本構図条件に合うように撮影を行う必要ない。よって、撮影を容易に行うことができる。そして、撮影により取得された予備画像は画像加工により最終的に本構図条件に合うものとなるため、ユーザは希望する構図の画像を得ることができる。
本実施の形態は、ユーザが撮像装置3000のレンズを自分自身に向けて自らを被写体として撮像を行う「自分撮り」に適用することができる。この場合、主被写体はユーザ自身の顔、バストショット、全身などとなる。自分撮りの際には通常ユーザはスルー画を見ながら撮影を行うことができないが、本実施の形態を適用することにより、スルー画を見なくても、自分自身が希望する構図に収まった本構図条件を満たした画像を得ることができる。また、予備構図条件は本構図条件よりもゆるい条件として設定されるため、スルー画を見なくても予備構図条件を満たして画像を取得することが容易となる。
また、本実施の形態は自分撮りに限られず、スルー画を見ることができない状態での撮影においても顕著な効果を奏する。そのような撮影としては、例えば、腕を高々と伸ばして撮像装置3000を高く掲げて撮影を行ういわゆるハイアングルの撮影がある。さらに、撮像装置3000を足元など低い位置に構えて撮影するいわゆるローアングルの撮影もある。これらの撮影においては、ユーザはスルー画を見ることができないが、スルー画を見なくても、本構図条件を満たした本画像を得ることができる。また、予備構図条件は本構図条件よりもゆるい条件として設定されるため、スルー画を見なくても予備構図条件を満たして画像を取得することが容易となる。
なお、本技術は以下のような構成も取ることができる。
(1)所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理装置において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
画像処理装置。
(2)前記予備構図条件は前記本構図条件よりも易しい条件である
前記(1)に記載の画像処理装置。
(3)前記処理は、前記条件判定部が前記予備構図条件を満たすと判定することに応じて前記撮像画像を予備画像として記憶部に記憶させる処理である
前記(1)または(2)に記載の画像処理装置。
(4)前記予備構図条件に設定されるパラメータの範囲は、前記本構図条件として設定されるパラメータの範囲よりも広い
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)前記予備構図条件として設定される条件よりも、前記本構図条件として設定される条件が多い
前記(1)から(4)のいずれかに記載の画像処理装置。
(6)前記本構図条件は、前記予備画像条件に所定の条件を追加した条件である
前記(1)から(5)のいずれかに画像処理装置。
(7)前記本構図条件は、第1の範囲に被写体が含まれることを条件として含み、前記予備構図条件は前記第1の範囲よりも広い第2の範囲に前記被写体が含まれることを条件として含む
前記(1)から(6)のいずれかに記載の画像処理装置
(8)前記本構図条件は、第3の範囲に背景物が含まれることを条件として含み、前記予備構図条件は、前記第3の範囲よりも広い第4の範囲に前記背景物が含まれることを条件として含む
前記(1)から(7)のいずれかに記載の画像処理装置。
(9)前記本構図条件は、前記予備構図条件に、前記本画像中に背景物が含まれる条件を追加した条件である
前記(1)から(8)のいずれかに記載の画像処理装置。
(10)前記処理は、前記条件判定部により前記予備条件を満たすと判定された場合に、前記ユーザに対して、前記予備条件を満たしている旨の通知が行われるように通知処理を行う
前記(1)から(9)のいずれかに記載の撮像装置。
(11)前記画像加工部は、前記被写体の位置が前記本構図条件として設定されている場合、前記被写体の位置を前記本構図条件に合わせるように前記予備画像に対してトリミング処理を行う
前記(1)から(10)のいずれかに記載の画像処理装置。
(12)所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法。
(13)所定の構図に関する条件を示す本構図条件を満たす画像として本画像を生成する画像処理方法において、
撮像部の撮像に応じて得られる撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定し、
該判定の結果に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行し、
該処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
(14)筐体の一方の面に設けられたレンズと、
該レンズを介した光を受光して画像信号に変える撮像素子と、
前記筐体の前記レンズが設けられた一方の面に対して裏側に位置する他方の面に設けられ、前記画像信号に基づく画像を表示する表示部と、
を備え、
前記撮像素子により得られる撮像画像から所定の構図に関する条件を示す本構図条件を満たす本画像を生成する撮像装置において、
前記撮像画像が、前記本構図条件に基づく予備構図条件を満たすか否かを判定する条件判定部と、
前記条件判定部の判定に応じて前記予備構図条件を満たす画像である予備画像を得るための処理を実行する処理部と、
前記処理部による処理に基づき得られる前記予備画像に、前記本構図条件に応じた画像加工を施して前記本画像を生成する画像加工部と
を備えた
撮像装置。