JP5982884B2 - 表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本開示は、表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体に関する。

タッチパネル等のようにユーザが指等の操作体を利用してアプリケーションを操作できるユーザインタフェースが一般的に利用されている。このようなユーザインタフェースによって直感的な操作が可能となり、操作性を向上させることができる。例えば、特許文献１には、このようなユーザインタフェースを用いて、入力画像において拡大したい位置を操作体により指示し、その近傍に拡大画像を表示する方法が開示されている。

特開平１１−６５７６９号公報

しかし、上記特許文献１の画像拡大方法では、拡大する位置を指で指示しているため、拡大映像を視認することが困難であった。

そこで、本開示では、全体像を把握しながら拡大映像を視認することの可能な、新規かつ改良された表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体を提案する。

本開示によれば、表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、部分領域と重複しないように入力画像上に重畳表示する表示制御部を備える、表示制御装置が提供される。

また、本開示によれば、表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、部分領域と重複しないように入力画像上に重畳表示する表示制御方法が提供される。

さらに、本開示によれば、コンピュータに、表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、部分領域と重複しないように入力画像上に重畳表示する表示制御部を備える、表示制御装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

以上説明したように本開示によれば、全体像を把握しながら拡大映像を視認することが可能となる。

本開示の実施形態に係る表示制御装置を備える撮像装置の構成を示すブロック図である。 同実施形態に係るデジタルパネル部の表示制御を行う表示制御装置として機能する映像デジタル処理部の機能構成を示す機能ブロック図である。 同実施形態に係る表示処理を示すフローチャートである。 図３に示す表示処理に基づき、入力画像の部分領域の部分画像を拡大表示したサブ画面を表示する処理を示す説明図である。 部分領域およびサブ画面のサイズと、これらの表示位置関係を説明する説明図である。 サブ画面のサイズ変更処理を説明する説明図である。 マルチタッチによるサブ画面表示処理の一例を示す説明図である。 マルチタッチによるサブ画面表示処理の他の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．撮像装置の構成
２．表示制御する機能部の構成
３．表示制御処理
３−１．基本処理
３−２．サブ画面に対する操作
（１）サブ画面のサイズ変更
（２）サブ画面の表示位置の移動
３−３．マルチタッチによる複数サブ画面表示

＜１．撮像装置の構成＞
まず、図１を参照して、本開示の実施形態に係る表示制御装置を備える機器の一例として、撮像装置１００の構成について説明する。なお、図１は、本実施形態に係る表示制御装置を備える撮像装置１００の構成を示すブロック図である。

本実施形態に係る表示制御装置は、表示面に表示された入力画像の一部（部分領域に表示されている部分画像）を拡大表示するサブ画面を表示する処理を行う。このとき、表示制御装置は、サブ画面を入力画像の部分領域と重複しないように、入力画像上に重畳表示する。このような表示制御装置の表示制御によって、ユーザは、拡大している部分領域とその周辺とを同時に視認できるようになる。

本実施形態に係る表示制御装置は、表示装置を備える機器に対して適用可能であり、例えばパソコンのディスプレイやテレビ、スマートフォンやタブレット端末、デジタルカメラ等への適用が考えられる。以下では、デジタルカメラ等の撮像装置に対して表示制御装置による表示処理を適用した場合を一例として説明する。撮像装置１００では、例えばフォーカス対象を拡大する表示処理を行うことで、フォーカスを合わせる作業を行い易くなる。

本実施形態に係る撮像装置１００は、デジタルカメラ等の静止画像や動画像を取得する装置である。撮像装置１００は、画像処理、映像および音声入出力処理、キー入力処理、パネルおよびＥＶＦへの映像出力処理、パネルに搭載したタッチパネル処理、記録メディアへのリード／ライト処理を行うベースバンドＣＰＵ１２０を備える。例えば、図１に示すように、撮像装置１００は、画像取得部１１０と、ＣＰＵ１２０と、カメラ制御部１３０と、キー操作部１４０とを備える。また、撮像装置１００は、音声入出力処理を行うため、マイク１５０と、フロントエンド部１５２と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１５４と、増幅器１５６と、スピーカー１５８Ｌ、１５８Ｒとを備える。さらに、撮像装置１００は、ＥＶＦ（電子ビューファインダー）１６０と、デジタルパネル部１７０と、リーダライタ部１８０とを備える。

画像取得部１１０は、レンズ１１２から取り込まれた光の強弱を電気信号に変換する半導体素子であるイメージャ１１４とからなる。画像取得部１１０により取り込まれたＲＡＷ画像は、イメージャ制御部（図示せず。）によりクロッピングされて適切な画像サイズとされたのち、ＣＰＵ１２０へ出力される。

ＣＰＵ１２０は、撮像装置１００に設けられた各機能部を制御して、画像処理、映像および音声入出力処理、キー入力処理、パネルおよびＥＶＦへの映像出力処理、タッチパネル処理、記録メディアへのリード／ライト処理を行う。ＣＰＵ１２０は、後述する映像デジタル処理部１２２や、各種制御処理の実行時に必要な情報を一時的に記憶するメモリ１２４等を有している。本実施形態に係る撮像装置は、映像デジタル処理部１２２が表示処理装置としての機能を有する。映像デジタル処理部１２２による表示処理の詳細については後述する。

カメラ制御部１３０は、ＣＰＵ１２０から画像取得部１１０の制御情報を受けて、画像取得部１１０を駆動制御する制御部である。カメラ制御部１３０は、例えばフォーカス、アイリス、露出、シャッタースピード、ゲイン、ＩＳＯの各種カメラマニュアルの制御を行う。

キー操作部１４０は、撮像装置１００を操作するための操作入力部の１つである。キー操作部１４０は、例えば、ＡＥ／ＡＦロック、キャプチャー等の、録画開始停止、静止画撮影のためのシャッターキーや、メニュー等の操作に用いられる上下左右キーを有する。また、キー操作部１４０は、カメラマニュアル操作のためのフォーカス、アイリス、露出、シャッタースピード、ゲイン、ＩＳＯキーおよび、これらのマニュアル操作時の値設定を簡単にするためのマニュアルダイヤルキー、拡大フォーカスキーを有する。キー操作部１４０からの入力情報（ＫＥＹ＿ＡＤ）はＣＰＵ１２０へ入力され、ＣＰＵ１２０は、キー操作部１４０からの入力情報に基づいて撮像装置１００の各機能部を制御する。

音声入出力処理を行う機能部については、まず、マイク１５０は、画像と共に音声を取得する音声入力部であり、例えば撮像装置１００に搭載される内蔵マイクである。マイク１５０により取得された入力音声信号は、フロントエンド部１５２にて音声処理がされた後、ＤＳＰ１５４へ出力される。ＤＳＰ１５４は、アナログ信号である入力音声信号をデジタル信号に変換し、ＣＰＵ１２０へ出力する。一方、音声を出力する際には、ＣＰＵ１２０より出力音声信号が増幅器１５６へ出力される。出力音声信号は、音声信号（Ａｕｄｉｏ Ｄａｔａ）と、ＣＰＵ１２０にてジェネレートされた音声信号であるシステムサウンド（ＳＹＳ＿ＳＯＵＮＤ）と、ビープサウンドとしての矩形波信号（１２Ｃ）とからなる。増幅器１５６は入力された出力音声信号を、外部に音声を出力する出力装置の１つであるスピーカー１５８Ｌ、１５８Ｒへ出力する。

ＥＶＦ１６０は、実際に撮影されようとしている画像と同一画像を表示する小型ディスプレイであって、ファインダー部分に設けられている。ＥＶＦ１６０は、ＣＰＵ１２０から入力された画像信号を表示する。

デジタルパネル部１７０は、ＣＰＵ１２０からの画像信号を表示する表示部（図２の符号１７２）と、表示部の表示面に対する接触（さらには近接）を検出する入力検出部（図２の符号１７４）と、タッチパネル制御を行うタッチパネル制御部とからなる。表示部は、画像信号に基づいて画像を表示する出力部の１つであり、例えば液晶ディスプレイや有機ＥＬディスプレイ等が用いられる。入力検出部は、表示部の表示面に対する指等の操作体の接触や近接を検出可能なセンサであり、静電容量式タッチセンサ等を用いることができる。タッチパネル制御部は、入力検出部の検出結果に基づいて操作体が表示面上に接触した位置を座標変換し、変換した座標をＣＰＵ１２０へ通知する。ＣＰＵ１２０では、表示部の表示内容と通知された座標情報とから、ユーザが行った操作内容を特定し、各機能部を制御する。

リーダライタ部１８０は、記録メディアに対してＣＰＵ１２０から出力された音声信号や画像信号をデータとして記録する。また、リーダライタ部１８０は、記録メディアに記録されたデータを読み出してＣＰＵ１２０へ出力する。ＣＰＵ１２０は、読み出したデータをデジタルパネル部１７０の表示部やスピーカー１５８Ｌ、１５８Ｒへ出力して再生する。

＜２．表示制御する機能部の構成＞
本実施形態に係る撮像装置１００は、撮影対象を撮影する際、取得される撮影中の画像をＥＶＦ１６０やデジタルパネル部１７０の表示部に表示する。このとき、撮影対象にフォーカスを合わせる作業をし易くするため、デジタルパネル部１７０の表示部に撮影中の画像を表示すると共に、当該画像の一部を拡大表示する。これにより、ユーザは撮影対象へのフォーカス状態を詳細に確認することが可能となり、所望の画像を取得することができる。

図２に、デジタルパネル部１７０の表示制御を行う表示制御装置として機能する映像デジタル処理部１２２の機能構成を示す。図２に示すように、映像デジタル処理部１２２は、部分領域決定部１２２ａと、サブ画面位置決定部１２２ｂと、サブ画面サイズ調整部１２２ｃと、表示処理部１２２ｄとを備え、これらを機能させることでデジタルパネル部１７０の表示制御を行う。

部分領域決定部１２２ａは、デジタルパネル部１７０の表示部１７２に表示される画像取得部１１０で撮影中の画像（入力画像）について、デジタルパネル部１７０の入力検出部１７４の検出結果に基づき、拡大表示する部分領域を決定する。部分領域決定部１２２ａは、ユーザが表示部１７２の表示面に対して指等を接触させた位置（タッチ位置）を入力検出部１７４から取得すると、当該タッチ位置を基準として拡大表示する部分領域を決定する。部分領域が決定されると、部分領域決定部１２２ａは、決定した部分領域を特定する情報をサブ画面位置決定部１２２ｂへ通知する。

サブ画面位置決定部１２２ｂは、部分領域決定部１２２ａにて決定された部分領域内の入力画像（部分画像）を拡大表示するサブ画面の表示位置を決定する。サブ画面位置決定部１２２ｂは、入力画像の部分領域と重複しないようにサブ画面の表示位置を決定する。サブ画面位置決定部１２２ｂは、サブ画面の表示位置を決定すると、表示処理部１２２ｄへサブ画面の表示位置を通知する。

サブ画面サイズ調整部１２２ｃは、表示部１７２に表示されたサブ画面のサイズを変更する操作入力が行われたとき、当該操作入力に基づきサブ画面のサイズを変更する。サブ画面サイズ調整部１２２ｃは、サブ画面の変更後のサイズを表示処理部１２２ｄへ通知する。

表示処理部１２２ｄは、表示部１７２に表示される撮影中の画像（入力画像）に対する表示処理を行うとともに、サブ画面の表示処理を行う。表示処理部１２２ｄは、例えば、サブ画面位置決定部１２２ｂから通知されたサブ画面の表示位置に基づいて、表示部１７２にサブ画面を表示する。また、表示処理部１２２ｄは、サブ画面サイズ調整部１２２ｃから通知されたサブ画面のサイズ変更情報に基づいて、表示部１７２に表示されているサブ画面のサイズを拡大したり縮小したりして変更する。表示処理部１２２ｄは、表示処理後の画像を表示部１７２に表示させる。

なお、ＣＰＵ１２０のメモリ１２４は、入力画像の一部を拡大表示するサブ画面を表示部１７２に表示するための各種設定情報を記憶しておくこともできる。メモリ１２４は、例えば、サブ画面のデフォルトサイズや初期表示位置等を記憶することができる。このような情報を記憶するメモリ１２４を参照して、部分領域決定部１２２ａは部分領域を決定し、サブ画面位置決定部１２２ｂはサブ画面の表示位置を決定する。

＜３．表示制御処理＞
［３−１．基本処理］
図３〜図５に基づいて、図２に示す映像デジタル処理部１２２による表示処理を説明する。なお、図３は、本実施形態に係る表示処理を示すフローチャートである。図４は、図３に示す表示処理に基づき、入力画像の部分領域の部分画像を拡大表示したサブ画面を表示する処理を示す説明図である。図５は、部分領域およびサブ画面のサイズと、これらの表示位置関係を説明する説明図である。

本実施形態に係る表示制御処理は、上述したように、撮像装置１００で表示部１７２に表示された入力画像の任意の領域の部分画像を拡大表示する拡大表示機能に適用することができる。特に、入力画像が画像取得部１１０により撮影中の画像であるときには、撮像対象へのフォーカス合わせに用いることができ、この場合を拡大フォーカス機能と称する。以下では、拡大フォーカス機能に適用した場合について説明する。

拡大フォーカス機能は、例えばキー操作部１４０に設けられた拡大フォーカス機能を開始するための拡大フォーカスキーにより実行開始することができる。ユーザにより拡大フォーカスキーが押下されると、ＣＰＵ１２０は、撮像装置１００を拡大フォーカスモードで機能させる。このとき、表示部１７２に、拡大フォーカスモードであることをユーザに通知するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）を表示して通知してもよい。ＯＳＤとしては、例えば、「拡大フォーカス」といった文言や拡大フォーカスモードを示すアイコン等が考えられる。

撮像装置１００が拡大フォーカスモードとしての機能を開始すると、映像デジタル処理部１２２は、まず、入力画像の指定座標を特定する（Ｓ１００）。部分領域は、入力画像のうちサブ画面に拡大表示される部分を規定するものであり、入力画像のうち部分領域に含まれる部分の画像を部分画像と称する。部分領域は、入力画像で指定された位置を表す指定座標に基づいて決定されるため、まず、ステップＳ１００にて指定座標を特定する。指定座標は、例えば前回の拡大フォーカスモードで最後に指定されていた指定座標がメモリ１２４に記録されている場合には、当該座標を指定座標とする。また、指定座標の履歴情報が存在しない場合には、例えば表示部１７２の画面中央を指定座標とすることができる。

指定座標が特定されると、部分領域決定部１２２ａは入力画像の部分領域を特定する（Ｓ１１０）。入力画像の部分画像を特定する部分領域のサイズは予め設定しておくことができ、メモリ１２４に設定情報として記憶されている。部分領域決定部１２２ａは、指定座標および部分領域のサイズに基づいて、入力画像の部分領域を特定する。

例えば、図５に示すように、表示部１７２に表示された入力画像２００と、入力画像２００の一部を規定する部分領域２１０と、部分領域２１０内の部分画像２０２が拡大表示されるサブ画面２２０とがあるとする。サブ画面２２０における、部分画像２０２を拡大表示した画像を、拡大画像２０４とする。例えば、ユーザが表示部１７２の表示面に指を接触させて入力画像の位置を指定すると、部分領域決定部１２２ａは、指のタッチ位置Ｐを指定座標として部分領域２１０を特定する。本実施形態では、部分領域２１０は、表示部１７２に表示されている入力画像２００のサイズの１／８とする。

ステップＳ１１０にて入力画像２００の部分領域２１０が特定されると、サブ画面位置決定部１２２ｂは、部分領域２１０の部分画像２０２を拡大表示するサブ画面２２０の表示位置を決定する（Ｓ１２０）。サブ画面位置決定部１２２ｂは、入力画像２００の部分領域２１０と当該部分領域２１０の部分画像２０２を拡大表示するサブ画面２２０とが重複しないように、サブ画面２２０の表示位置を決定する。

例えば、図５に示すように、入力画像２００の対向する辺の中心同士を結ぶ直線で入力画像２００を４分割し、部分領域２１０と異なるエリアにサブ画面２２０を配置するようにする。図５の例では、部分領域２１０は第４エリアにあることから、サブ画面２２０は第１〜第３エリアのいずれか（図５では第２エリア）に配置する。このとき、部分領域２１０から最も離隔した位置にサブ画面２２０を表示させることにより、部分領域２１０とサブ画面２２０との重複が生じる可能性が低くなる。

サブ画面２２０のサイズは、例えば入力画像２００のサイズの１／４とする。また、サブ画面２２０が表示部１７２の表示領域内に収まるように、入力画像２００の角部から所定のマージン（ｗ_ｘ、ｗ_ｙ）を設けてサブ画面２２０を配置するようにしてもよい。マージン（ｗ_ｘ、ｗ_ｙ）は、例えば１０×１０ピクセル程度としてもよい。

ステップＳ１２０にてサブ画面２２０の表示位置が決定されると、表示処理部１２２ｄにより、サブ画面２２０に部分画像２０２の拡大画像２０４が表示される（Ｓ１３０）。拡大フォーカスモードでは、タッチ位置Ｐの座標（指定座標）により特定された部分領域２１０のｎ倍（例えば２倍）したサイズの領域に相当する撮影中の画像を画像取得部１１０から取得する。そして、イメージャ１１４から切り出した画像をサブ画面２２０に表示して、表示部１７２に表示されている入力画像２００に重畳する。このようにしてサブ画面２２０の拡大画像２０４を取得することで、拡大画像２０４の画質の劣化を防ぎ、サブ画面２２０上でフォーカス状態の確認を確実に行うことができる。

例えば、表示部１７２の表示領域のサイズをＷ１×Ｈ１、イメージャ１１４のサイズをＷ２×Ｈ２とする。このとき、表示部１７２の表示領域上でのタッチ位置Ｐの座標（Ｘ１，Ｙ１）と、イメージャ１１４上の座標（Ｘ２，Ｙ２）との関係は以下のようになる。
Ｘ２＝（Ｗ２／Ｗ１）＊Ｘ１
Ｙ２＝（Ｈ２／Ｈ１）＊Ｙ２

一例を示すと、表示部１７２の表示領域のサイズが６４０×４８０ピクセル、イメージャ１１４のサイズが３０００×２０００ピクセルであるとする。このとき、表示部１７２の表示領域上でのタッチ位置Ｐの座標が（５００，３００）の場合、イメージャ１１４上の座標は、
Ｘ２＝（３０００／６４０）＊５００＝２３４３
Ｙ２＝（２０００／４８０）＊３００＝１２５０
となる。表示処理部１２２ｄは、このように算出されたイメージャ１１４上の座標（Ｘ２，Ｙ２）を中心としてサブ画面２２０と同一サイズでイメージャ１１４から画像を切り出して、サブ画面２２０に表示する。このようにしてサブ画面２２０の拡大画像２０４を取得することで、拡大画像２０４の画質の劣化を防ぎ、サブ画面２２０上でフォーカス状態の確認を確実に行うことができる。

ステップＳ１３０によりサブ画面２２０が表示された後、現在拡大している部分領域２１０以外の領域に操作体を接触させると、現在の部分領域２１０はキャンセルされる。そして、部分領域決定部１２２ａは、操作体の表示面への接触により新たに指定された指定座標に基づき部分領域２１０を再設定する。その後、サブ画面位置決定部１２２ｂは、当該部分領域２１０と重複しないように、部分画像２０２の拡大画像２０４を表示するサブ画面２２０の表示位置を決定し、表示部１７２に表示する。このような処理により、ユーザは入力画像２００の任意の位置を含む部分領域２１０の拡大画像２０４を見ることができるようになる。

また、現在の部分領域２１０に指を接触させ、接触した状態で所望の位置まで部分領域２１０を移動させた後に指を離隔する、いわゆるドラッグ操作によって部分領域２１０を移動できるようにしてもよい。この場合、入力検出部１７４の検出結果に基づいて、指の動きを認識することができる。そして、部分領域決定部１２２ａは、指が移動された位置に部分領域２１０が設定されるようにする。部分領域２１０が移動されると、サブ画面位置決定部１２２ｂは移動後の部分領域２１０に基づきサブ画面２２０の表示位置を決定する。そして、表示処理部１２２ｄは、サブ画面位置決定部１２２ｂの通知に基づきサブ画面２２０を移動させるとともに、拡大画像２０４を再取得してサブ画面２２０に表示する。

これにより、拡大フォーカス動作を継続したまま、フォーカス合わせをしたい部分領域２１０の微調整を行うことが可能となり、少ない操作ステップ数で撮影対象への確実なフォーカス合わせが可能になる。

さらに、サブ画面２２０の表示終了操作が行われた場合には、サブ画面２２０の表示が終了される。表示終了操作としては、例えば、表示部１７２に表示されているサブ画面２２０上でのタップ操作等とすることができる。この場合、入力検出部１７４の検出結果よりサブ画面２２０上でユーザがタップ操作を行ったことが認識されると、表示処理部１２２ｄは、表示部１７２のサブ画面２２０を非表示にする。サブ画面２２０が非表示とされたとき、拡大フォーカスモードが終了されるようにしてもよい。

以上、図３に沿って、表示制御装置として機能する本実施形態に係る映像デジタル処理部１２２による表示制御処理を説明した。ここで、図３の表示制御処理により表示部１７２に表示される入力画像２００とサブ画面２２０とがどのように表示されるかについて、図４に基づき説明する。図４上図は、拡大フォーカスモード前の、撮像中の画像（入力画像２００）が表示部１７２に表示された状態を示す。この状態で、ユーザがキー操作部１４０の拡大フォーカスキーを押下すると、撮像装置１００が拡大フォーカスモードで機能するようになる。

拡大フォーカスモードでは、図４中央図に示すように、入力画像２００の指定座標に基づき、入力画像２００の一部である部分画像２０２を特定する部分領域２１０を表す枠が表示される。また、当該部分領域２１０と重複しないように、部分画像２０２の拡大画像２０４がサブ画面２２０に表示される。サブ画面２２０は、破線枠で示されている。なお、図４中央図では、部分領域２１０とサブ画面２２０とが一部重複しているが、表示部１７２の表示領域内ではこれらは最も離隔するように配置されている。このように一部重複していても入力画像の全体像は認識可能である。

図４中央図の状態から、現在の部分領域２１０以外の入力画像２００の領域で操作体の接触が検出されると、図４下部に示すように、新たなタッチ位置Ｐに基づき部分領域２１０が再設定される。そして、当該部分領域２１０と重複しないように、部分画像２０２の拡大画像２０４が入力画像２００に重畳表示される。

［３−２．サブ画面に対する操作］
（１）サブ画面のサイズ変更
入力画像２００の部分領域２１０内の部分画像２０２を拡大表示するサブ画面２２０のサイズは予め設定されているが、サブ画面２２０の表示後に、ユーザの操作によってサブ画面２２０のサイズは変更可能である。例えば、表示部１７２の表示面上に２本の指を接触させて離隔させるピンチアウト操作や、反対に２本の指を近接させるピンチイン操作によって、直感的にサブ画面２２０のサイズを変更することができる。これらの操作によるサブ画面２２０のサイズ変更について、図６に基づき説明する。

図６左図には、ピンチアウト操作によってサブ画面２２０が拡大される処理を示す。ユーザは、現在表示されているサブ画面２２０上に指を接触させて離隔させると、操作前のサブ画面２２０が符号２２０ｏｕｔの領域に拡大される。一方、図６右図には、ピンチイン操作によってサブ画面２２０が縮小される処理を示す。ユーザは、現在表示されているサブ画面２２０上に指を接触させて近接させると、操作前のサブ画面２２０が符号２２０ｉｎの領域に縮小される。

これらの操作は、図２に示すサブ画面サイズ調整部１２２ｃによって行われる。サブ画面サイズ調整部１２２ｃは、入力検出部１７４の検出結果に基づいてピンチアウト操作やピンチイン操作を認識し、これらの操作量に応じてサブ画面２２０のサイズを決定する。そして、サブ画面サイズ調整部１２２ｃは、決定したサイズを表示処理部１２２ｄへ通知し、表示処理部１２２ｄは、通知されたサイズとなるようにサブ画面２２０のサイズを変更して表示部１７２に表示する。このように、サブ画面２２０のサイズを変更可能とすることで、サブ画面２２０を拡大してフォーカス状態をより詳細に確認したり、サブ画面２２０を縮小して入力画像２００の全体像を視認し易くしたりすることができる。

（２）サブ画面の表示位置の移動
サブ画面２２０の表示位置は、指定座標に基づいてサブ画面位置決定部１２２ｂにより決定されるが、サブ画面２２０の表示後にユーザが移動することも可能である。例えば、表示部１７２に表示されたサブ画面２２０に指を接触させ、接触した状態で所望の位置までサブ画面２２０を移動させた後に指を離隔する、いわゆるドラッグ操作によって移動可能にしてもよい。

この場合、入力検出部１７４の検出結果に基づいて、指の動きを認識することができる。そして、サブ画面位置決定部１２２ｂは、指が移動された位置にサブ画面２２０が表示されるように表示処理部１２２ｄに通知し、表示処理部１２２ｄは、サブ画面位置決定部１２２ｂの通知に基づきサブ画面２２０を移動させる。指が表示面から離隔されると、サブ画面２２０の表示位置は指が離隔された位置に固定される。

このように、サブ画面２２０の表示位置を変更可能とすることで、サブ画面２２０が重畳されている部分の入力画像２００を視認することも可能となる。

［３−３．マルチタッチによる複数サブ画面表示］
これまで、入力画像２００の１部分のみをサブ画面２２０に拡大表示する場合について説明してきたが、本技術は、入力画像２００の複数部分についてそれぞれサブ画面２２０を表示させることも可能である。この場合、入力検出部１７４は、複数の操作体の接触位置を認識可能であるとする。

入力画像２００の複数の部分領域２１０に対する複数のサブ画面２２０を表示させる場合も、上述した図３の処理と同様、それぞれについては、指定座標に基づき部分領域を特定し、サブ画面２２０の表示位置が部分領域と重複しないように決定する。ここで、複数のサブ画面２２０が表示されると、サブ画面２２０同士が重複したり、サブ画面２２０が他の部分領域と重複したりする可能性がある。そこで、部分領域２１０とこれに対応するサブ画面２２０とが重複することなく、かつ入力画像２００の全体も視認できるように、サブ画面２２０の表示処理が行われる。

例えば、図７に示すように、ユーザが表示部１７２の表示面に指を複数回接触させたことで複数のタッチ位置がある場合、最新のタッチ位置に基づくサブ画面２２０のみ表示するようにしてもよい。例えば、１つ目のタッチ位置に基づく第１の部分領域２１０ａと、２つ目のタッチ位置に基づく第２の部分領域２１０ｂとがあるとする。このとき、第２の部分領域２１０ｂが特定されるまでは、第１の部分領域２１０ａの部分画像２０２ａに対応するサブ画面が表示される。その後、第２の部分領域２１０ｂが特定されると、第１の部分領域２１０ａに対応するサブ画面は非表示となり、第２の部分領域２１０ｂの部分画像２０２ｂの拡大画像２０４ｂを表示するサブ画面２２０ｂが表示される。

このように、最新のタッチ位置に基づくサブ画面２２０のみを表示させることで、サブ画面２２０同士、あるいはサブ画面２２０と部分領域２１０との重複の可能性を低減することができる。

また、例えば図８に示すように、ユーザが表示部１７２の表示面に指を複数回接触させたことで複数のタッチ位置がある場合、最新のタッチ位置に基づくサブ画面２２０以外のサブ画面２２０に表示される拡大画像を透明化して表示するようにしてもよい。例えば、１つ目のタッチ位置に基づく第１の部分領域２１０ａと、２つ目のタッチ位置に基づく第２の部分領域２１０ｂとがあるとする。このとき、第２の部分領域２１０ｂが特定されるまでは、第１の部分領域２１０ａの部分画像２０２ａに対応するサブ画面２２０ａの拡大画像２０４ａは通常通り表示される。

その後、第２の部分領域２１０ｂが特定されると、第１の部分領域２１０ａに対応するサブ画面２２０ａの拡大画像２０４ａの透明度を高め、サブ画面２２０ａの背面にある入力画像２００が透過して見えるようにする。そして、第２の部分領域２１０ｂの部分画像２０２ｂの拡大画像２０４ｂを表示するサブ画面２２０ｂが表示する。当該サブ画面２２０ｂの拡大画像２０４ｂは通常通りに表示される。

このように、最新のタッチ位置に基づくサブ画面２２０以外のサブ画面２２０に表示される拡大画像を透明化して表示することで、複数のサブ画面２２０が表示されても最新ではないサブ画面２２０の背面にある入力画像２００を視認することができる。この場合、複数のサブ画面２２０を表示部１７２に表示させることが可能であり、ユーザは複数のサブ画面２２０でフォーカス状態を同時に確認することができる。なお、複数のサブ画面２２０を表示する場合に、サブ画面２２０同士が重複して表示されてしまう場合には、最後に表示されたサブ画面２２０が最前面に表示されるようにすることで、最新のサブ画面２２０の表示内容を詳細に確認することが可能となる。

以上、本実施形態に係る撮像装置１００の構成と、表示制御機能による入力画像２００の部分領域２１０の拡大画像２０４をサブ画面２２０に表示する処理について説明した。本技術によれば、入力画像２００においてユーザが指定した任意の位置をサブ画面２２０として拡大して表示する際に、指定した位置から離隔した位置にサブ画面２２０を部分領域２１０と完全に重複しないように配置する。これにより、ユーザは、全体の構図を確認しながら所定位置のフォーカス状態を同時に確認することができ、フォーカスを合わせる作業が容易になる。

また、拡大フォーカスモードにおいて、拡大対象となる部分領域２１０をドラッグして任意の位置にずらすことも可能であり、拡大フォーカス動作を継続したまま、フォーカス合わせをしたい部分領域２１０の微調整を行うことができる。したがって、少ない操作ステップ数で撮影対象への確実なフォーカス合わせが可能になる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、部分領域２１０のサイズは入力画像２００のサイズの１／８、サブ画面２２０のサイズは入力画像２００のサイズの１／４としたが、本技術はかかる例に限定されない。部分領域２１０およびサブ画面２２０のサイズは適宜設定することができる。

また、上記実施形態では、表示制御装置の機能は撮像装置１００のＣＰＵ１２０内に設けたが、本技術はかかる例に限定されない。例えば、表示部を備える機器とは別に表示制御装置を設け、当該表示制御装置により表示部の表示制御を行ってもよい。あるいは、表示制御機能をプログラムにより実現し、表示部を備える機器と通信可能なサーバ上で当該プログラムを実行させて、表示部の表示制御を行ってもよい。また、表示制御機能をプログラムにより実現した場合、このプログラムは当該プログラムを記録可能な記録媒体によって提供することもできる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、前記部分領域と重複しないように前記入力画像上に重畳表示する表示制御部を備える、表示制御装置。
（２）
前記サブ画面を前記入力画像上に重畳表示する位置を決定するサブ画面位置決定部を備える、前記（１）に記載の表示制御装置。
（３）
前記サブ画面位置決定部は、前記サブ画面を前記部分領域から最も離隔した位置に表示する、前記（２）に記載の表示制御装置。
（４）
前記表示部上に接触する操作体の接触位置を検出する検出部を備え、
前記サブ画面位置決定部は、前記検出部による検出結果から認識されるユーザによる操作に基づいて前記サブ画面の表示位置を決定する、前記（２）に記載の表示制御装置。
（５）
前記ユーザによる操作は、前記表示部上の前記サブ画面に前記操作体を接触させて移動させるドラッグ操作である、前記（４）に記載の表示制御装置。
（６）
前記表示制御部は、前記入力画像の部分領域が複数ある場合、前記各部分領域に表示されている前記各部分画像が拡大表示される複数の前記サブ画面を、前記各部分領域と重複しないように前記入力画像上に重畳表示する、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（７）
前記表示部上に接触する複数の操作体の接触位置を検出可能な検出部を備え、
前記表示制御部は、前記検出部により前記表示部に対する複数の操作体の接触が検出されたとき、最後に検出された前記操作体の接触位置に対応する部分領域の部分画像を拡大表示した前記サブ画面のみを表示する、前記（６）に記載の表示制御装置。
（８）
前記表示部上に接触する複数の操作体の接触位置を検出可能な検出部を備え、
前記表示制御部は、前記検出部により前記表示部に対する複数の操作体の接触が検出されたとき、最後に検出された前記操作体以外の、他の前記操作体の接触位置に対応する部分領域の部分画像を拡大表示した前記サブ画面の画像の透明度を高くする、前記（６）に記載の表示制御装置。
（９）
前記入力画像の前記部分領域を決定する部分領域決定部をさらに備える、前記（１）〜（８）のいずれか１項に記載の表示制御装置。
（１０）
前記表示部上に接触する操作体の接触位置を検出する検出部を備え、
前記部分領域決定部は、前記検出部による検出結果から認識されるユーザのタッチ操作に基づいて前記部分領域を決定する、前記（９）に記載の表示制御装置。
（１１）
前記部分領域決定部は、前記ユーザのタッチ操作に基づいて前記部分領域に表示されている部分画像が拡大表示される前記サブ画面の表示を開始し、前記タッチ操作が解除された後も継続して前記サブ画面を表示する、前記（１０）に記載の表示制御装置。
（１２）
前記部分領域決定部は、前記表示部のうち現在表示されている前記サブ画面に対応する前記部分領域以外に前記操作体の接触が検知されたとき、前記部分領域を前記操作体の接触位置に再設定する、前記（１０）または（１１）に記載の表示制御装置。
（１３）
前記部分領域決定部は、前記部分領域の履歴情報に基づいて、直近に設定された位置に前記部分領域を設定する、前記（９）〜（１２）のいずれか１項に記載の表示制御装置。
（１４）
前記入力画像は、被写体を撮影する撮像部により撮像中の撮像画像である、前記（１）〜（１３）のいずれか１項に記載の表示制御装置。
（１５）
前記表示制御部は、前記サブ画面に拡大表示された部分画像に対してフォーカス調整を受け付ける、前記（１４）に記載の表示制御装置。
（１６）
前記表示制御部は、前記サブ画面に前記撮像部から出力されるＲＡＷ画像を拡大表示する、前記（１４）に記載の表示制御装置。
（１７）
前記サブ画面のサイズを変更するサブ画面サイズ調整部を備える、前記（１）〜（１６）のいずれか１項に記載の表示制御装置。
（１８）
前記表示制御部は、前記表示部の入力画像に対して前記部分領域を示す枠を表示する、前記（１）〜（１７）のいずれか１項に記載の表示制御装置。

１００ 撮像装置
１１０ 画像取得部
１２０ ＣＰＵ
１２２ 映像デジタル処理部
１２２ａ 部分領域決定部
１２２ｂ サブ画面位置決定部
１２２ｃ サブ画面サイズ調整部
１２２ｄ 表示処理部
１２４ メモリ
１３０ カメラ制御部
１４０ キー操作部
１５０ マイク
１５２ フロントエンド部
１５４ ＤＳＰ
１５６ 増幅器
１５８Ｌ、１５８Ｒ スピーカー
１６０ ＥＶＦ
１７０ デジタルパネル部
１７２ 表示部
１７４ 入力検出部
１８０ リーダライタ部
２００ 入力画像
２０２ 部分画像
２０４ 拡大画像
２１０ 部分領域
２２０ サブ画面

Claims (19)

1. 表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、前記部分領域と重複しないように前記入力画像上に重畳表示する表示制御部と、
   前記サブ画面を前記入力画像上に重畳表示する位置を決定するサブ画面位置決定部と、
   を備え、
   前記サブ画面位置決定部は、前記入力画像を分割して形成された複数のエリアのうち、前記部分領域とは異なるエリアに前記サブ画面を表示させる、表示制御装置。
2. 前記サブ画面位置決定部は、前記サブ画面を前記部分領域から最も離隔した位置に表示する、請求項１に記載の表示制御装置。
3. 前記表示部上に接触する操作体の接触位置を検出する検出部を備え、
   前記サブ画面位置決定部は、前記検出部による検出結果から認識されるユーザによる操作に基づいて前記サブ画面の表示位置を決定する、請求項１または２に記載の表示制御装置。
4. 前記ユーザによる操作は、前記表示部上の前記サブ画面に前記操作体を接触させて移動させるドラッグ操作である、請求項３に記載の表示制御装置。
5. 前記表示制御部は、前記入力画像の部分領域が複数ある場合、前記各部分領域に表示されている前記各部分画像が拡大表示される複数の前記サブ画面を、前記各部分領域と重複しないように前記入力画像上に重畳表示する、請求項１〜４のいずれか１項に記載の表示制御装置。
6. 前記表示部上に接触する複数の操作体の接触位置を検出可能な検出部を備え、
   前記表示制御部は、前記検出部により前記表示部に対する複数の操作体の接触が検出されたとき、最後に検出された前記操作体の接触位置に対応する部分領域の部分画像を拡大表示した前記サブ画面のみを表示する、請求項５に記載の表示制御装置。
7. 前記表示部上に接触する複数の操作体の接触位置を検出可能な検出部を備え、
   前記表示制御部は、前記検出部により前記表示部に対する複数の操作体の接触が検出されたとき、最後に検出された前記操作体以外の、他の前記操作体の接触位置に対応する部分領域の部分画像を拡大表示した前記サブ画面の画像の透明度を高くする、請求項５に記載の表示制御装置。
8. 前記入力画像の前記部分領域を決定する部分領域決定部をさらに備える、請求項１〜７のいずれか１項に記載の表示制御装置。
9. 前記表示部上に接触する操作体の接触位置を検出する検出部を備え、
   前記部分領域決定部は、前記検出部による検出結果から認識されるユーザのタッチ操作に基づいて前記部分領域を決定する、請求項８に記載の表示制御装置。
10. 前記部分領域決定部は、前記ユーザのタッチ操作に基づいて前記部分領域に表示されている部分画像が拡大表示される前記サブ画面の表示を開始し、前記タッチ操作が解除された後も継続して前記サブ画面を表示する、請求項９に記載の表示制御装置。
11. 前記部分領域決定部は、前記表示部のうち現在表示されている前記サブ画面に対応する前記部分領域以外に前記操作体の接触が検知されたとき、前記部分領域を前記操作体の接触位置に再設定する、請求項９または１０に記載の表示制御装置。
12. 前記部分領域決定部は、前記部分領域の履歴情報に基づいて、直近に設定された位置に前記部分領域を設定する、請求項８〜１１のいずれか１項に記載の表示制御装置。
13. 前記入力画像は、被写体を撮影する撮像部により撮像中の撮像画像である、請求項１〜１２のいずれか１項に記載の表示制御装置。
14. 前記表示制御部は、前記サブ画面に拡大表示された部分画像に対してフォーカス調整を受け付ける、請求項１３に記載の表示制御装置。
15. 前記表示制御部は、前記サブ画面に前記撮像部から出力されるＲＡＷ画像を拡大表示する、請求項１３に記載の表示制御装置。
16. 前記サブ画面のサイズを変更するサブ画面サイズ調整部を備える、請求項１〜１５のいずれか１項に記載の表示制御装置。
17. 前記表示制御部は、前記表示部の入力画像に対して前記部分領域を示す枠を表示する、請求項１〜１６のいずれか１項に記載の表示制御装置。
18. 表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、前記部分領域と重複しないように、前記入力画像を分割して形成された複数のエリアのうち前記部分領域とは異なるエリアの前記入力画像上に重畳表示する、表示制御方法。
19. コンピュータに、
    表示部に表示された入力画像の部分領域に表示されている部分画像が拡大表示されるサブ画面を、前記部分領域と重複しないように前記入力画像上に重畳表示する表示制御部と、
    前記サブ画面を前記入力画像上に重畳表示する位置を決定するサブ画面位置決定部と、
    を備え、
    前記サブ画面位置決定部は、前記入力画像を分割して形成された複数のエリアのうち、前記部分領域とは異なるエリアに前記サブ画面を表示させる、表示制御装置として機能させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images