JP2013153376A - 画像処理装置、画像処理方法および記録媒体 - Google Patents

Abstract

【課題】画像の視認性を確保しつつユーザに適切な情報を提示する。
【解決手段】入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、上記入力画像のトリミング領域を示すトリミング枠を上記表示部にさらに表示させる場合に、上記被写体枠の表示を変化させる表示制御部を含む画像処理装置が提供される。
【選択図】図１

Description

本開示は、画像処理装置、画像処理方法および記録媒体に関する。

近年、例えばデジタルカメラなどの撮像装置を用いて画像を撮像したり、撮像した画像をＰＣ（Personal Computer）などで加工したりする場合に、画像にさまざまな情報を重畳して表示することが一般的になっている。このような技術の一例として、特許文献１には、デジタルカメラのスルー画像に推薦構図枠や被写体枠を表示させる技術が記載されている。

特開２０１１−０８７１３１号公報

しかしながら、特許文献１に記載された技術などによって、画像により多くの情報を重畳して表示した場合、例えば表示が煩雑になり、画像が視認しづらくなる場合がある。つまり、ユーザにとって有用な情報であっても、多くの情報が画像に重畳して表示されると、ユーザの利便性は必ずしも向上しない。

そこで、本開示では、画像の視認性を確保しつつユーザに適切な情報を提示することが可能な、新規かつ改良された画像処理装置、画像処理方法および記録媒体を提案する。

本開示によれば、入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、上記入力画像のトリミング領域を示すトリミング枠を上記表示部にさらに表示させる場合に、上記被写体枠の表示を変化させる表示制御部を含む画像処理装置が提供される。

また、本開示によれば、入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、上記入力画像のトリミング領域を示すトリミング枠を上記表示部にさらに表示させる場合に、上記被写体枠の表示を変化させることを含む画像処理方法が提供される。

また、本開示によれば、入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、上記入力画像のトリミング領域を示すトリミング枠を上記表示部にさらに表示させる場合に、上記被写体枠の表示を変化させる機能をコンピュータに実現させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。

上記の構成によれば、入力画像とともにトリミング枠が表示される場合に、既に入力画像とともに表示されている被写体枠の表示が変化する。このように、入力画像とともに表示される枠の間で表示態様を調整することで、例えばトリミング枠の情報を画像に追加しても入力画像の視認性が保つことができる。

以上説明したように本開示によれば、画像の視認性を確保しつつユーザに適切な情報を提示することができる。

本開示の一実施形態に係るデジタルスチルカメラの機能構成を示す概略的なブロック図である。 本開示の一実施形態に係るデジタルスチルカメラのスタンバイ時処理を示すフローチャートである。 本開示の一実施形態に係るデジタルスチルカメラの撮像時処理を示すフローチャートである。 本開示の一実施形態に係るデジタルスチルカメラにおけるスルー画像の表示例を示す図である。 本開示の一実施形態に係るデジタルスチルカメラにおけるスルー画像の表示例を示す図である。 本開示の一実施形態に係るデジタルスチルカメラにおけるスルー画像の表示例を示す図である。 本開示の一実施形態に係るデジタルスチルカメラにおけるプレビュー画像の表示例を示す図である。 本開示の一実施形態に係るデジタルスチルカメラにおけるプレビュー画像の表示例を示す図である。 本開示の一実施形態に係るデジタルスチルカメラにおけるプレビュー画像の表示例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．機能構成
２．処理フロー
３．スルー画像の表示例
４．プレビュー画像の表示例
５．補足

以下の説明では、画像処理装置の一例であるデジタルスチルカメラに係る本開示の一実施形態を紹介する。なお、本開示の実施形態に係る画像処理装置は、デジタルスチルカメラには限られず、入力画像を処理してトリミング画像を生成する機能を有する各種の装置でありうる。また、本開示の実施形態は、入力画像を処理してトリミング画像を生成する方法、入力画像を処理してトリミング画像を生成する機能をコンピュータに実現させるためのプログラム、および当該プログラムが記録されるコンピュータ読み取り可能な記録媒体をも含む。

（１．機能構成）
まず、図１を参照して、本開示の一実施形態に係るデジタルスチルカメラの機能構成について説明する。図１は、デジタルスチルカメラの機能構成を示す概略的なブロック図である。

デジタルスチルカメラ１００は、撮像光学系１０１、撮像部１０２、制御回路１１０、表示部１２０、および記憶部１３０を含む。制御回路１１０は、被写体認識部１１１、フォーカス判定部１１２、構図設定部１１３、トリミング部１１４、記録制御部１１５、および表示制御部１１６の機能を実現する。なお、デジタルスチルカメラ１００は、図示された機能構成以外にも、一般的にデジタルスチルカメラに設けられる操作部などの構成要素を含みうる。

撮像光学系１０１は、フォーカスレンズ、ズームレンズなどの各種レンズ、光学フィルタ、および絞りなどの光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１０１に含まれる光学部品を介して、撮像部１０２に含まれる撮像素子の露光面に結像される。

撮像部１０２は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、撮像素子を駆動するためのタイミングジェネレータ、および信号処理回路を含む。信号処理回路は、撮像素子が被写体像を光電変換することによって出力されるアナログ画像信号を処理し、デジタル画像信号に変換して制御回路１１０に出力する。信号処理回路は、例えばＤＳＰ（Digital Signal Processor）によって実現される。

制御回路１１０は、被写体認識部１１１、フォーカス判定部１１２、構図設定部１１３、記録制御部１１５、および表示制御部１１６の機能を実現するとともに、デジタルスチルカメラ１００の各部の動作を制御する。制御回路１１０は、例えば、記憶部１３０に格納されたプログラムに基づいて動作することによって上記の機能を実現するＣＰＵ（Central Processing Unit）によって実現される。制御回路１１０の機能の一部または全部は、上記の信号処理回路と同様にＤＳＰによって実現されてもよい。以下、制御回路１１０によって実現される各機能部分について説明する。

被写体認識部１１１は、撮像部１０２から取得される入力画像のデジタル画像信号を解析して、入力画像に含まれる被写体を認識する。ここで、被写体は、例えば人の顔である。他にも、被写体は、動物の顔や花、料理など、各種の物体でありうる。被写体認識部１１１は、例えば、ウェーブレット変換やＨａａｒ特徴検出などのアルゴリズムを用いて被写体の領域を算出する。被写体の領域は、例えば人の顔の場合であれば、あご、耳、および眉が含まれる最小矩形の座標値でありうる。なお、被写体の領域は、必ずしも矩形でなくてもよく、三角形または楕円などの形であってもよい。さらに、被写体認識部１１１は、被写体の領域に加えて、被写体の向きを認識してもよい。

また、被写体認識部１１１は、入力画像に複数の被写体が含まれる場合、すべての被写体を検出するように設定されていてもよく、また被写体の領域の大きさなどの順位によって数を限定して被写体を検出するように設定されていてもよい。被写体認識部１１１は、例えば認識されたそれぞれの被写体の位置や大きさに基づいて、複数の被写体の中から優先被写体を設定してもよい。優先被写体は、例えば、被写体の中で最もユーザにとっての優先度が高いと推定される被写体である。優先被写体を設定した場合、被写体認識部１１１は、どの被写体が優先被写体であるかの情報を、被写体の情報に含めてもよい。被写体認識部１１１によって認識された被写体の情報は、フォーカス判定部１１２および構図設定部１１３に提供される。また、被写体認識部１１１は、被写体の領域の情報を表示制御部１１６に提供してもよい。

フォーカス判定部１１２は、被写体認識部１１１によって認識された被写体がフォーカスされているか否かを判定する。フォーカス判定部１１２は、例えばコントラスト検出方式や位相差検出方式など、オートフォーカスと同様の方式を用いて、被写体がフォーカスされているか否かを判定する。例えばコントラスト検出方式を用いる場合、フォーカス判定部１１２は、入力画像の被写体の領域でのコントラストが所定の閾値以上であるか、または他の領域のコントラストよりも大きいかを判定することによって、被写体がフォーカスされているか否かを判定する。また、位相差検出方式を用いる場合、フォーカス判定部１１２は、ラインセンサなどの測光センサ（図示せず）を用いて検出された被写体の領域での位相差に基づいて、撮像光学系１０１の焦点が被写体に合っているかを判定することによって、被写体がフォーカスされているか否かを判定する。フォーカス判定部１１２は、被写体がフォーカスされているか否かの判定結果を構図設定部１１３に提供する。被写体認識部１１１によって複数の被写体が認識された場合、フォーカス判定部１１２は、例えば優先被写体がフォーカスされているか否かを判定してもよい。

構図設定部１１３は、被写体が所定の構図で配置されるように、入力画像のトリミング領域を設定する。この実施形態において、構図設定部１１３は、所定の構図として三分割構図を用いる。なお、所定の構図は、二分割構図など他の構図であってもよい。構図設定部１１３は、被写体認識部１１１によって認識された被写体の位置、サイズ、および向きに従ってトリミング領域を設定する。より具体的には、構図設定部１１３は、被写体のサイズに応じてトリミング領域のサイズを決定し、トリミング領域を三分割した交点のいずれかに被写体が配置されるようにトリミング領域の位置を決定する。構図設定部１１３は、設定されたトリミング領域の情報を、トリミング部１１４および表示制御部１１６に提供する。

ここで、入力画像に複数の被写体が含まれている場合、構図設定部１１３は、被写体のうちの予め設定された優先被写体が所定の構図で配置されるようにトリミング領域を設定してもよい。さらに、構図設定部１１３は、他の被写体のうち優先被写体と関係が深い関連被写体が含まれるようにトリミング領域を設定してもよい。なお、構図設定部１１３は、トリミング領域が入力画像の範囲を超えるような場合には、トリミング領域を設定しなくてもよい。

また、構図設定部１１３は、フォーカス判定部１１２によって被写体がフォーカスされていると判定された場合に構図を設定してもよい。これは、例えば、被写体がフォーカスされている場合の方が構図設定の精度が高くなるからであり、また、被写体がフォーカスされていない場合、設定された構図に従ってトリミング画像が生成されても、結局失敗作になる可能性が高いためである。

トリミング部１１４は、入力画像から、構図設定部１１３が設定したトリミング領域のトリミング画像を生成する。このとき、トリミング部１１４は、例えば画素補間して解像度を上げるなどの処理（超解像処理ともいう）によって、トリミング画像を入力画像のサイズまで拡大してもよい。

記録制御部１１５は、デジタルスチルカメラ１００で撮像が実行された場合に、入力画像と、トリミング部１１４によって生成されたトリミング画像とを、画像データとして記憶部１３０に記録する。なお、構図設定部１１３によってトリミング領域が設定されなかった場合、記録制御部１１５は、入力画像だけを記録してもよい。トリミング画像が記録される場合、記録制御部１１５は、対応する入力画像の画像データとともに、トリミング領域の情報や、構図の設定に用いられた被写体の領域の情報を記憶部１３０に記録してもよい。

表示制御部１１６は、入力画像を、撮像前のスルー画像、または撮像後のプレビュー画像として表示部１２０に表示させる。まず、入力画像をスルー画像として表示させる場合、表示制御部１１６は、撮像部１０２から入力画像の画像信号を取得する。また、表示制御部１１６は、被写体認識部１１１から入力画像に含まれる被写体の領域の情報を取得し、入力画像に被写体を示す被写体枠を重畳して表示させる。さらに、表示制御部１１６は、構図設定部１１３からトリミング領域の情報を取得し、入力画像にトリミング領域を示すトリミング枠をさらに重畳して表示させる。

ここで、表示制御部１１６は、トリミング枠を入力画像に重畳して表示させる場合に、既に入力画像に重畳して表示されている被写体枠の表示を変化させる。例えば、表示制御部１１６は、トリミング枠が表示されている間は被写体枠の一部または全部を非表示にしてもよい。また、表示制御部１１６は、被写体枠に点滅などのアニメーションを設定したり、被写体枠の色または透過度を変化させたりしてもよい。これによって、例えば、ユーザがトリミング枠を視認したり、トリミング枠と被写体枠とを識別したりすることが容易になる。なお、被写体枠の表示の変化の具体的な例については、後述する。

一方、入力画像をプレビュー画像として表示させる場合、表示制御部１１６は、記憶部１３０に記録された入力画像およびトリミング画像の画像データを取得し、例えばそれぞれの画像を並列して表示部１２０に表示させる。あるいは、表示制御部１１６は、それぞれの画像を順番に表示部１２０に表示させてもよい。このとき、後述するように、表示制御部１１６は、それぞれの画像を互いに識別可能に表示させる。上記のように、記憶部１３０に記録された入力画像とともに、トリミング領域や被写体の領域の情報が付加的に記録されている場合、表示制御部１１６は、これらの領域を示すトリミング枠や被写体枠を、入力画像に重畳して表示させてもよい。また、表示制御部１１６は、プレビュー画像として入力画像だけを表示し、トリミング枠を入力画像に重畳して表示させることでトリミング領域を認識させてもよい。

表示部１２０は、例えばＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどで構成される。表示部１２０は、表示制御部１１６の制御に従って、デジタルスチルカメラ１００に関する各種の情報をユーザに向けて表示する。

記憶部１３０には、デジタルスチルカメラ１００の処理に関する各種のデータが格納される。記憶部１３０は、例えば、フラッシュＲＯＭ（Read Only Memory）もしくはＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリ、ＤＶＤ（Digital Versatile Disc）もしくはＣＤ（Compact Disc）などの光ディスク、またはハードディスクなどでありうる。記憶部１３０は、デジタルスチルカメラ１００に内蔵される記憶装置であってもよく、デジタルスチルカメラ１００に着脱可能な記録媒体であってもよい。また、記憶部１３０は、複数の種類の記憶装置または記録媒体を含んでもよい。記憶部１３０には、記録制御部１１５によって入力画像やトリミング画像の画像データが格納されるほか、制御回路１１０のＣＰＵに上記の機能を実現させるためのプログラムなどが格納されうる。

（２．処理フロー）
次に、図２および図３を参照して、本開示の一実施形態に係るデジタルスチルカメラの処理フローについて説明する。図２は、デジタルスチルカメラ１００のスタンバイ時処理を示すフローチャートである。図３は、デジタルスチルカメラ１００の撮像時処理を示すフローチャートである。

（スタンバイ時処理）
図２に示すスタンバイ時処理は、撮像前に、デジタルスチルカメラ１００の表示部１２０にスルー画像を表示させる処理である。スタンバイ時処理は、例えば、デジタルスチルカメラ１００に操作部として設けられるシャッターボタンが半押しされた場合に実行されてもよく、またデジタルスチルカメラ１００が起動している間に継続的に実行されてもよい。

スタンバイ時処理では、まず、被写体認識部１１１が、撮像部１０２から取得された入力画像のデジタル画像信号を解析して、入力画像に含まれる被写体を認識する（ステップＳ１０１）。表示制御部１１６は、被写体認識部１１１から被写体の領域の情報を取得し、入力画像に被写体枠を重畳して表示させる（ステップＳ１０３）。

次に、フォーカス判定部１１２が、被写体認識部１１１によって認識された被写体がフォーカスされているか否かを判定する（ステップＳ１０５）。ここで、被写体がフォーカスされていないと判定された場合、処理はステップＳ１０１に戻る。つまり、表示制御部１１６は、被写体枠だけが重畳された入力画像を、スルー画像として表示部１２０に表示させる。

一方、ステップＳ１０５で被写体がフォーカスされていると判定された場合、構図設定部１１３が、被写体認識部１１１によって認識された被写体の位置、大きさ、および向きに従って、被写体が所定の構図で配置されるようにトリミング領域を設定する（ステップＳ１０７）。上述のように、例えばトリミング領域が入力画像の範囲を超えるような場合、構図設定部１１３は構図を設定しなくてもよい。

次に、表示制御部１１６が、構図設定部１１３によってトリミング領域が設定されたか否かを判定する（ステップＳ１０９）。ここで、トリミング領域が設定されなかったと判定された場合、処理はステップＳ１０１に戻る。つまり、この場合、表示制御部１１６は、被写体枠だけが重畳された入力画像を、スルー画像として表示部１２０に表示させる。

一方、ステップＳ１０９でトリミング領域が設定されたと判定された場合、表示制御部１１６は、構図設定部１１３からトリミング領域の情報を取得し、入力画像にトリミング枠を重畳して表示させる（ステップＳ１１１）。このとき、表示制御部１１６は、入力画像に重畳して表示される被写体枠の表示を変化させる（ステップＳ１１３）。つまり、この場合、表示制御部１１６は、トリミング枠と、表示が変化した被写体枠とが重畳された入力画像を、スルー画像として表示部１２０に表示させる。

なお、上述のように、ステップＳ１１３における被写体枠の表示の変化は、被写体枠の一部または全部を非表示にすることを含む。従って、上記のスタンバイ時処理後の表示部１２０には、必ずしもトリミング枠と被写体枠とが両方とも見える形で表示されるとは限らない。

また、上記のスタンバイ時処理は、例えば撮像部１０２が取得する画像のフレームごとに繰り返して実行されうる。つまり、表示部１２０に一旦トリミング枠が表示された後に、被写体がフォーカスされなくなったり、構図が設定されなくなったりした場合、トリミング枠の表示は消滅しうる。このとき、被写体枠は、トリミング枠が表示されない場合の、つまりステップＳ１１３での変化がない場合の表示に戻ってもよい。

（撮像時処理）
図３に示す撮像時処理は、撮像後に、デジタルスチルカメラ１００の表示部１２０にプレビュー画像を表示させる処理である。撮像時処理は、例えば、デジタルスチルカメラ１００に操作部として設けられるシャッターボタンが全押しされた場合に実行されうる。

撮像時処理では、まず、構図設定部１１３が、被写体認識部１１１によって認識された被写体の位置、大きさ、および向きに従って、被写体が所定の構図で配置されるようにトリミング領域を設定する（ステップＳ２０１）。このとき、スタンバイ時処理と同様に、構図設定部１１３は、被写体がフォーカスされていない場合にはトリミング領域を設定しなくてもよい。また、スタンバイ時処理とは異なり、構図設定部１１３は、被写体がフォーカスされているか否かに関わらずトリミング領域を設定してもよい。上述のように、例えばトリミング領域が入力画像の範囲から逸脱してしまうような場合、構図設定部１１３はトリミング領域を設定しなくてもよい。

次に、トリミング部１１４が、構図設定部１１３によってトリミング領域が設定されたか否かを判定する（ステップＳ２０３）。なお、この判定は、例えば撮像時処理が実行される直前のスタンバイ時処理におけるトリミング領域の設定の結果を利用してもよい。つまり、例えばシャッターボタンが全押しされる前に半押しされていた場合、トリミング部１１４は、直前のスタンバイ時処理のステップＳ１０７でトリミング領域が設定されていたか否かを判定してもよい。この場合、構図設定部１１３は、上記のステップＳ２０１を必ずしも実行しなくてもよい。

ステップＳ２０３でトリミング領域が設定されなかったと判定された場合、記録制御部１１５は、入力画像だけを画像データとして記憶部１３０に記録する（ステップＳ２０５）。次に、表示制御部１１６が、記憶部１３０から入力画像の画像データを取得し、入力画像を表示部１２０にプレビュー表示させる（ステップＳ２０７）。

一方、ステップＳ２０３でトリミング領域が設定されたと判定された場合、トリミング部１１４が入力画像からトリミング領域のトリミング画像を生成し、記録制御部１１５が入力画像およびトリミング画像をそれぞれ画像データとして記憶部１３０に記録する（ステップＳ２０９）。このとき、トリミング部１１４は、上述のように、トリミング画像を入力画像のサイズまで拡大してもよい。また、記録制御部１１５は、入力画像の画像データとともに、トリミング領域の情報や、構図の設定に用いられた被写体の領域の情報を記憶部１３０に記録してもよい。

次に、表示制御部１１６が、記憶部１３０から入力画像およびトリミング画像の画像データを取得し、入力画像とトリミング画像とを表示部１２０にプレビュー表示させる（ステップＳ２１１）。このとき、表示制御部１１６は、例えばそれぞれの画像を並列して、または順番に表示部１２０に表示させる。表示制御部１１６は、それぞれの画像を互いに識別可能に表示させる。また、表示制御部１１６は、入力画像の画像データとともに記録されたトリミング領域を示す情報や被写体の領域の情報に基づいて、トリミング枠や被写体枠を入力画像に重畳して表示させてもよい。表示制御部１１６は、プレビュー画像として入力画像だけを表示し、トリミング枠を入力画像に重畳して表示させることでトリミング領域を認識させてもよい。

（３．スルー画像の表示例）
次に、図４〜図６を参照して、本開示の一実施形態に係るデジタルスチルカメラにおけるスルー画像の表示例について説明する。図４〜図６は、デジタルスチルカメラ１００の表示部１２０に表示されるスルー画像の例を示す図である。

（第１の表示例）
図４は、スルー画像の第１の表示例を示す。この例では、構図設定部１１３が、入力画像３００に含まれる被写体のうち、優先被写体３０１（第１の被写体）が所定の構図で配置されるように、トリミング領域を設定する。なお、被写体には、優先被写体３０１以外にも他の被写体３０２（第２の被写体）が含まれる。

（ａ）は、被写体が認識されているがトリミング領域は設定されていない場合のスルー画像の表示例である。このとき、優先被写体３０１の領域は、第１の被写体枠３１１として入力画像３００に重畳して表示される。また、優先被写体以外の他の被写体３０２の領域は、第２の被写体枠３１２として入力画像３００に重畳して表示される。ここで、第１の被写体枠３１１は、優先被写体３０１に対応することを示すために、第２の被写体枠３１２よりも目立つように表示されてもよい。例えば、図示されているように、第１の被写体枠３１１は、第２の被写体枠３１２よりも太い線で表示されてもよい。また、第１の被写体枠３１１は、第２の被写体枠３１２よりも低い透過度で表示されてもよい。

（ｂ）は、被写体が認識され、かつトリミング領域が設定された場合のスルー画像の表示例である。このとき、表示制御部１１６は、トリミング領域を示すトリミング枠３２１を入力画像３００に重畳して表示させる。一方、表示制御部１１６は、トリミング枠３２１の表示に伴って、すべての被写体枠、すなわち第１の被写体枠３１１および第２の被写体枠３１２の両方の表示を消滅させる。これによって、ユーザがトリミング枠３２１を視認することが容易になる。さらに、表示制御部１１６は、トリミング画像が生成可能であることを示すトリミングアイコン３３１を入力画像３００に重畳して表示させてもよい。

（ｃ）は、被写体が認識され、かつトリミング領域が設定された場合のスルー画像の別の表示例である。このとき、表示制御部１１６は、トリミング領域を示すトリミング枠３２１とともに、トリミング領域の設定に用いられた優先被写体３０１を示す第１の被写体枠３１１を、入力画像３００に重畳して表示させる。第１の被写体枠３１１は、例えば（ａ）の場合とは異なる色で表示されてもよい。一方、表示制御部１１６は、トリミング枠３２１の表示に伴って、第２の被写体枠３１２の表示を消滅させる。これによって、ユーザがトリミング枠３２１を視認することが容易になる一方で、第１の被写体枠３１１も引き続き視認可能である。従って、ユーザは、トリミング領域と、トリミング領域の設定に用いられた被写体が優先被写体３０１であることとを容易に認識することができる。この場合も、表示制御部１１６は、トリミングアイコン３３１を入力画像３００に重畳して表示させてもよい。

（ｄ）は、被写体が認識され、かつトリミング領域が設定された場合のスルー画像のさらに別の表示例である。このとき、表示制御部１１６は、トリミング領域を示すトリミング枠３２１とともに、トリミング領域の設定に用いられた優先被写体３０１を示す第１の被写体枠３１１を、入力画像３００に重畳して表示させる。一方、表示制御部１１６は、トリミング枠３２１の表示に伴って、第２の被写体枠３１２の表示を点滅させる。表示制御部１１６は、第１の被写体枠３１１の表示を点滅させなくてもよいし、また第２の被写体枠３１２よりも長い周期で点滅させてもよい。

これによって、ユーザがトリミング枠３２１を視認することが容易になる一方で、第１の被写体枠３１１も引き続き視認可能である。従って、ユーザは、トリミング領域と、トリミング領域の設定に用いられた被写体が優先被写体３０１であることと、優先被写体にも他の被写体３０２が存在することとを容易に認識することができる。この場合も、表示制御部１１６は、トリミングアイコン３３１を入力画像３００に重畳して表示させてもよい。

なお、上記の（ｄ）の例において、第１の被写体枠３１１と第２の被写体枠３１２との間で異なるアニメーションを設定するのに加えて、またはこれに代えて、第１の被写体枠３１１を第２の被写体枠３１２よりも目立つ色で表示したり（第１の被写体枠３１１とは異なる色で第２の被写体枠を表示する）、第２の被写体枠３１２の透過度を第１の被写体枠３１１よりも高くしたりしてもよい。

（第２の表示例）
図５は、スルー画像の第２の表示例を示す。この例では、構図設定部１１３が、入力画像３００に含まれる被写体のうち、優先被写体３０１（第１の被写体）が所定の構図で配置され、さらに、他の被写体３０２（第２の被写体）の一部であって優先被写体３０１に関連する関連被写体３０３（第３の被写体）が含まれるように、トリミング領域を設定する。ここで、関連被写体３０３は、例えば、優先被写体３０１の近くに位置し、大きさが優先被写体３０１と同程度の被写体である。

（ａ）は、被写体が認識されているがトリミング領域は設定されていない場合のスルー画像の表示例である。このとき、優先被写体３０１の領域は、第１の被写体枠３１１として入力画像３００に重畳して表示される。また、関連被写体３０３の領域は第２の被写体枠３１２ａとして、他の被写体３０２の領域は第２の被写体枠３１２ｂとして、それぞれ入力画像３００に重畳して表示される。ここで、第１の被写体枠３１１は、優先被写体３０１に対応することを示すために、第２の被写体枠３１２ａ，３１２ｂよりも目立つように表示されてもよい。

（ｂ）は、被写体が認識され、かつトリミング領域が設定された場合のスルー画像の表示例である。このとき、表示制御部１１６は、トリミング領域を示すトリミング枠３２１とともに、トリミング領域の設定に用いられた優先被写体３０１および関連被写体３０３を示す第１の被写体枠３１１および第２の被写体枠３１２ａを、入力画像３００に重畳して表示させる。第１の被写体枠３１１および第２の被写体枠３１２ａは、例えば（ａ）の場合とは異なる色で表示されてもよい。一方、表示制御部１１６は、トリミング枠３２１の表示に伴って、関連被写体３０３以外の他の被写体３０２に対応する第２の被写体枠３１２ｂの表示を消滅させる。

これによって、ユーザがトリミング枠３２１を視認することが容易になる一方で、第１の被写体枠３１１および第２の被写体枠３１２ａも引き続き視認可能である。従って、ユーザは、トリミング領域と、トリミング領域の設定に用いられた被写体が優先被写体３０１および関連被写体３０３であることとを容易に認識することができる。この場合も、表示制御部１１６は、トリミングアイコン３３１を入力画像３００に重畳して表示させてもよい。

なお、上記の（ｂ）の例では、表示制御部１１６が第２の被写体枠３１２ｂの表示を消滅させるが、表示制御部１１６は、図４（ｄ）の例のように、第２の被写体枠３１２ｂを、第１の被写体枠３１１および第２の被写体枠３１２ａとは異なるアニメーション、色、または透過度などで、引き続き入力画像３００に重畳して表示させてもよい。

（第３の表示例）
図６は、スルー画像の第３の表示例を示す。この例では、図５の例と同様に、構図設定部１１３が、入力画像３００に含まれる被写体のうち、優先被写体３０１（第１の被写体）が所定の構図で配置され、さらに、他の被写体３０２（第２の被写体）のうち優先被写体３０１に関連する関連被写体３０３（第３の被写体）が含まれるように、トリミング領域を設定する。

（ａ）は、被写体が認識されているがトリミング領域は設定されていない場合のスルー画像の表示例である。このとき、優先被写体３０１の領域は、第１の被写体枠３１１として入力画像３００に重畳して表示される。また、関連被写体３０３の領域は、第２の被写体枠３１２ａとして入力画像３００に重畳して表示される。なお、この例では、入力画像３００に含まれる他の被写体のすべてが関連被写体３０３であるが、それ以外の他の被写体３０２がさらに入力画像３００に含まれ、他の被写体３０２を示す第２の被写体枠３１２ｂが表示されてもよい。

（ｂ）は、被写体が認識され、かつトリミング領域が設定された場合のスルー画像の表示例である。このとき、表示制御部１１６は、トリミング領域を示すトリミング枠３２１とともに、トリミング領域の設定に用いられた優先被写体３０１を示す第１の被写体枠３１１を入力画像３００に重畳して表示させる一方で、第２の被写体枠３１２ａの表示を消滅させる。これは、表示制御部１１６が、入力画像３００に含まれる関連被写体３０３の数を所定の数と比較し、関連被写体３０３が所定の数以上である場合には、トリミング枠３２１の表示に伴って第２の被写体枠３１２ａの表示を消滅させるという判定をするためである。

このような表示の変化によって、例えば、関連被写体３０３の数がある程度少ない場合には図５の例と同様の情報をユーザに提供する一方で、関連被写体３０３の数が多い場合には関連被写体３０３に関する情報を省略して、トリミング枠３２１を含む入力画像３００の視認性を優先させることができる。

（スルー画像の表示例のまとめ）
以上で紹介したようなスルー画像の表示例では、トリミング枠などを表示することによって、撮像によってトリミング画像が生成されることやトリミング領域をユーザにわかりやすく提示することができる。また、それとともに、被写体枠の表示を変化させることで、重畳して表示される被写体枠とトリミング枠とが錯綜して入力画像の視認性が低下することを防ぐことができる。従って、ユーザは、撮像を実行した場合に生成されるトリミング画像についての情報を予め容易に把握することができ、適切なタイミングで撮像を実行することができる。

ここで、トリミング枠が表示される場合の被写体枠の表示の変化は、例えば被写体枠の表示を消滅させることである。また、すべての被写体枠の表示を消滅させるのではなく、トリミング領域の設定に用いられる優先被写体などに対応する被写体枠については、引き続き入力画像に重畳して表示してもよい。この場合、例えば表示される被写体枠の数などを基準にして、視認性を低下させない範囲で被写体枠を表示してもよい。また、被写体枠の表示を消滅させることなく、例えば点滅などのアニメーションを設定したり、色や透過度などを調整したりすることによって入力画像の視認性を確保してもよい。

（４．プレビュー画像の表示例）
次に、図７〜図９を参照して、本開示の一実施形態に係るデジタルスチルカメラにおけるプレビュー画像の表示例について説明する。図７〜図９は、デジタルスチルカメラ１００の表示部１２０に表示されるプレビュー画像の例を示す図である。

（第１の表示例）
図７は、プレビュー画像の第１の表示例を示す。この例では、入力画像３００とトリミング画像４００とが、表示部１２０に並列して表示される。上述のようにトリミング部１１４がトリミング画像４００を入力画像３００のサイズまで拡大した場合、入力画像３００とトリミング画像４００とは、ほぼ同じサイズになる。そこで、表示制御部１１６は、例えば入力画像３００にトリミング枠３２１を表示させ、トリミング画像４００にトリミングアイコン４３１を表示させることによって、ユーザが入力画像３００とトリミング画像４００とを識別することを可能にする。トリミング枠３２１とトリミングアイコン４３１とは、入力画像３００とトリミング画像４００とを互いに識別するための表示であり、いずれか一方だけが表示されてもよい。

（第２の表示例）
図８は、プレビュー画像の第２の表示例を示す。この例では、入力画像３００とトリミング画像４００とが、表示部１２０に順番に表示される。このとき、表示制御部１１６は、図示されているように、（ａ）の入力画像３００でトリミング枠３２１によって示されるトリミング領域が徐々に拡大され、（ｂ）および（ｃ）の中間画像３５０を経て（ｄ）のトリミング画像４００に変化するようなアニメーションを表示する。

この場合、上記のようなアニメーションが表示されることで、ユーザは入力画像３００とトリミング画像４００とを識別することができる。表示制御部１１６は、さらに、入力画像３００にトリミング枠３２１を表示させ、トリミング画像４００にトリミングアイコン４３１を表示することによって、ユーザが入力画像３００とトリミング画像４００とを識別することをさらに容易にしてもよい。なお、入力画像３００のトリミング枠３２１は、拡大の過程であることをわかりやすくするために、中間画像３５０でもトリミング枠３７１として引き続き表示されてもよい。

（第３の表示例）
図９は、プレビュー画像の第３の表示例を示す。この例では、入力画像３００に、トリミング枠３２１が重畳して表示される。例えば、表示制御部１１６は、（ａ）に示すように、入力画像３００に単純にトリミング枠３２１を重畳して表示させてもよい。また、表示制御部１１６は、（ｂ）に示すように、入力画像３００にトリミング枠３２１に加えて第１の被写体枠３１１を重畳して表示させてもよい。さらに、表示制御部１１６は、（ｃ）に示すように、入力画像３００にトリミング枠３２１を重畳して表示させるとともに、トリミング枠３２１の内側の領域を強調して表示してもよい。（ｃ）の例では、トリミング枠３２１の外側の領域がやや暗く表示されることで、トリミング枠３２１の内側の領域が強調されている。

（プレビュー画像の表示例のまとめ）
上記のようなプレビュー画像の表示例では、入力画像とトリミング画像との両方を表示したり、入力画像にトリミング枠を表示したりすることで、撮像によって生成されたトリミング画像の領域をユーザにわかりやすく提示することができる。これによって、ユーザは、撮像によって生成されたトリミング画像が適切であるかを容易に確認することができる。このとき、ユーザが入力画像とトリミング画像とを識別することが容易になるように、例えば、トリミング画像にトリミングアイコンを表示したり、入力画像が拡大されてトリミング画像に変化するアニメーションを表示したりしてもよい。

（５．補足）
なお、本開示の実施形態は、上記で説明した以外にも、以下にその一例を示すように、さまざまな変形が可能である。

例えば、本開示の実施形態に係る画像処理装置は、デジタルスチルカメラには限られず、撮像機能を有する携帯電話（スマートフォン）やタブレット型ＰＣ（Personal Computer）などの携帯端末であってもよい。この場合、画像処理装置は、上記のデジタルスチルカメラの例と同様にスルー画像およびプレビュー画像を表示させてもよい。また、画像処理装置は、それ自体は撮像機能を有さないデスクトップ型のＰＣなどの情報処理装置であってもよい。この場合、画像処理装置は、例えば他の装置で撮像された画像を入力画像として取得する。

また、本開示の実施形態に係る画面の表示は、上記のようなスルー画像およびプレビュー画像の表示には限られず、ユーザによる画像処理装置の使い方に応じて、さまざまな場面での表示に適用されうる。例えば、画像処理装置が、既に撮像された画像を加工してトリミング画像を生成する処理を実行する場合、上記のスルー画像の例と同様の表示が、撮像された画像の再生表示に適用されてもよい。また、上記のスルー画像の例と同様の表示と同様の表示をプレビュー画像として表示してもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、前記入力画像のトリミング領域を示すトリミング枠を前記表示部にさらに表示させる場合に、前記被写体枠の表示を変化させる表示制御部を備える画像処理装置。
（２）前記被写体が所定の構図で配置されるように前記トリミング領域を設定する構図設定部をさらに備える、前記（１）に記載の画像処理装置。
（３）前記被写体は、第１の被写体および第２の被写体を含み、
前記表示制御部は、前記トリミング枠を表示させる場合に、前記第１の被写体に対応する第１の被写体枠と前記第２の被写体に対応する第２の被写体枠との表示を互いに異なる仕方で変化させる、前記（２）に記載の画像処理装置。
（４）前記表示制御部は、前記第２の被写体枠を消滅させる、前記（３）に記載の画像処理装置。
（５）前記構図設定部は、前記第１の被写体が前記所定の構図で配置されるように前記トリミング領域を設定する、前記（４）に記載の画像処理装置。
（６）前記構図設定部は、前記第２の被写体の一部である第３の被写体が含まれるように前記トリミング領域を設定し、
前記表示制御部は、前記第３の被写体以外の前記第２の被写体に対応する前記第２の被写体枠を消滅させる、前記（５）に記載の画像処理装置。
（７）前記表示制御部は、前記第３の被写体の数が所定の数以上である場合には、前記第３の被写体に対応する前記第２の被写体枠を消滅させる、前記（６）に記載の画像処理装置。
（８）前記表示制御部は、前記トリミング枠を表示させる場合に、前記第１の被写体枠とは異なるアニメーションで前記第２の被写体枠を表示させる、前記（３）に記載の画像処理装置。
（９）前記表示制御部は、前記第２の被写体枠を点滅させる、前記（８）に記載の画像処理装置。
（１０）前記表示制御部は、前記第１の被写体枠とは異なる色で前記第２の被写体枠を表示させる、前記（３），（８）または（９）のいずれか１項に記載の画像処理装置。
（１１）前記表示制御部は、前記第１の被写体枠よりも高い透過度で前記第２の被写体枠を表示させる、前記（３），（８）〜（１０）に記載の画像処理装置。
（１２）前記被写体がフォーカスされているか否かを判定するフォーカス判定部をさらに備え、
前記構図設定部は、前記被写体がフォーカスされている場合に前記トリミング領域を設定する、前記（２）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）前記表示制御部は、前記被写体枠の表示を消滅させる、前記（１）に記載の画像処理装置。
（１４）前記入力画像から前記トリミング領域のトリミング画像を生成し、該トリミング画像を画素補間して解像度を上げる処理によって前記入力画像のサイズに拡大するトリミング部と、
前記入力画像と前記トリミング画像とを記録する記録制御部と
をさらに備える、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）前記表示制御部は、前記記録された画像を再生する場合に、前記入力画像とともに前記トリミング枠を前記表示部に表示させる、前記（１４）に記載の画像処理装置。
（１６）前記表示制御部は、前記記録された画像を再生する場合に、前記入力画像と前記トリミング画像とを並列して前記表示部に表示させ、前記入力画像または前記トリミング画像の少なくともいずれかに互いを識別するための表示を表示させる、前記（１４）に記載の画像処理装置。
（１７）前記表示制御部は、前記記録された画像を再生する場合に、前記入力画像と前記トリミング画像とを順番に前記表示部に表示させ、前記入力画像の前記トリミング領域が拡大されて前記トリミング画像に変化するアニメーションを表示させる、前記（１４）に記載の画像処理装置。
（１８）入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、前記入力画像のトリミング領域を示すトリミング枠を前記表示部にさらに表示させる場合に、前記被写体枠の表示を変化させることを含む画像処理方法。
（１９）入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、前記入力画像のトリミング領域を示すトリミング枠を前記表示部にさらに表示させる場合に、前記被写体枠の表示を変化させる機能をコンピュータに実現させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

１００ デジタルスチルカメラ（画像処理装置）
１１１ 被写体認識部
１１２ フォーカス判定部
１１３ 構図設定部
１１４ トリミング部
１１５ 記録制御部
１１６ 表示制御部
１２０ 表示部
１３０ 記憶部
３００ 入力画像
３０１ 優先被写体
３０２ 他の被写体
３０３ 関連被写体
３１１ 第１の被写体枠
３１２，３１２ａ，３１２ｂ 第２の被写体枠
３２１ トリミング枠
３３１，４３１ トリミングアイコン
４００ トリミング画像

Claims (19)

1. 入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、前記入力画像のトリミング領域を示すトリミング枠を前記表示部にさらに表示させる場合に、前記被写体枠の表示を変化させる表示制御部を備える画像処理装置。
2. 前記被写体が所定の構図で配置されるように前記トリミング領域を設定する構図設定部をさらに備える、請求項１に記載の画像処理装置。
3. 前記被写体は、第１の被写体および第２の被写体を含み、
   前記表示制御部は、前記トリミング枠を表示させる場合に、前記第１の被写体に対応する第１の被写体枠と前記第２の被写体に対応する第２の被写体枠との表示を互いに異なる仕方で変化させる、請求項２に記載の画像処理装置。
4. 前記表示制御部は、前記第２の被写体枠を消滅させる、請求項３に記載の画像処理装置。
5. 前記構図設定部は、前記第１の被写体が前記所定の構図で配置されるように前記トリミング領域を設定する、請求項４に記載の画像処理装置。
6. 前記構図設定部は、前記第２の被写体の一部である第３の被写体が含まれるように前記トリミング領域を設定し、
   前記表示制御部は、前記第３の被写体以外の前記第２の被写体に対応する前記第２の被写体枠を消滅させる、請求項５に記載の画像処理装置。
7. 前記表示制御部は、前記第３の被写体の数が所定の数以上である場合には、前記第３の被写体に対応する前記第２の被写体枠を消滅させる、請求項６に記載の画像処理装置。
8. 前記表示制御部は、前記トリミング枠を表示させる場合に、前記第１の被写体枠とは異なるアニメーションで前記第２の被写体枠を表示させる、請求項３に記載の画像処理装置。
9. 前記表示制御部は、前記第２の被写体枠を点滅させる、請求項８に記載の画像処理装置。
10. 前記表示制御部は、前記第１の被写体枠とは異なる色で前記第２の被写体枠を表示させる、請求項３に記載の画像処理装置。
11. 前記表示制御部は、前記第１の被写体枠よりも高い透過度で前記第２の被写体枠を表示させる、請求項３に記載の画像処理装置。
12. 前記被写体がフォーカスされているか否かを判定するフォーカス判定部をさらに備え、
    前記構図設定部は、前記被写体がフォーカスされている場合に前記トリミング領域を設定する、請求項２に記載の画像処理装置。
13. 前記表示制御部は、前記被写体枠の表示を消滅させる、請求項１に記載の画像処理装置。
14. 前記入力画像から前記トリミング領域のトリミング画像を生成し、該トリミング画像を画素補間して解像度を上げる処理によって前記入力画像のサイズに拡大するトリミング部と、
    前記入力画像と前記トリミング画像とを記録する記録制御部と
    をさらに備える、請求項１に記載の画像処理装置。
15. 前記表示制御部は、前記記録された画像を再生する場合に、前記入力画像とともに前記トリミング枠を前記表示部に表示させる、請求項１４に記載の画像処理装置。
16. 前記表示制御部は、前記記録された画像を再生する場合に、前記入力画像と前記トリミング画像とを並列して前記表示部に表示させ、前記入力画像または前記トリミング画像の少なくともいずれかに互いを識別するための表示を表示させる、請求項１４に記載の画像処理装置。
17. 前記表示制御部は、前記記録された画像を再生する場合に、前記入力画像と前記トリミング画像とを順番に前記表示部に表示させ、前記入力画像の前記トリミング領域が拡大されて前記トリミング画像に変化するアニメーションを表示させる、請求項１４に記載の画像処理装置。
18. 入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、前記入力画像のトリミング領域を示すトリミング枠を前記表示部にさらに表示させる場合に、前記被写体枠の表示を変化させることを含む画像処理方法。
19. 入力画像に含まれる被写体を示す被写体枠を該入力画像とともに表示部に表示させ、前記入力画像のトリミング領域を示すトリミング枠を前記表示部にさらに表示させる場合に、前記被写体枠の表示を変化させる機能をコンピュータに実現させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。

Images