JP2016224173A - 制御装置及び制御方法 - Google Patents

Abstract

【課題】元画像の領域のうち表示済みの領域とそれ以外の領域とをユーザが容易に把握することができる技術を提供する。【解決手段】本発明の制御装置は、元画像の一部の領域を選択する選択手段と、前記選択手段によって選択された前記領域における前記元画像の表示を表示部に行わせる第１表示制御を実行可能な制御手段と、前記元画像の領域のうち前記表示部で表示済みの領域である表示済み領域の情報を記憶部に記録する記録手段と、前記記憶部に記録された前記情報に基づいて、前記表示済み領域を示す第１補助画像を生成する第１生成手段と、を有し、前記制御手段は、前記第１補助画像の表示を前記表示部に行わせる第２表示制御をさらに実行可能である。【選択図】図１

Description

本発明は、制御装置及び制御方法に関する。

近年、撮像者の周囲の全方位を撮像した全方位画像、広範囲を撮像したパノラマ画像、等を生成可能なデジタルカメラが登場している。全方位画像やパノラマ画像のように広範囲を撮像した画像（広範囲画像）の画像サイズは大きい。そのため、一般的に、広範囲画像の再生においては、広範囲画像の一部の領域（部分領域）が表示される。全方位画像は全天球の形状を有しているため、全方位画像の再生においては、全方位画像に幾何変換処理が施され、幾何変換処理後の全方位画像の部分領域が表示される（特許文献１）。

しかしながら、このような方法には、表示された部分領域が広範囲画像のどこの領域であるかをユーザが容易に把握できないという課題がある。この課題の解決方法として、特許文献１には、部分領域と同時に、その部分領域が広範囲画像のどこの領域であるかを示す画像を表示する方法が開示されている。

特開２０１３−２７０２１号公報

しかしながら、特許文献１に開示の技術を用いたとしても、表示された部分領域が既に表示済みの領域であるのかをユーザが把握できないことがある。例えば、大勢の人物が写っている広範囲画像に対するユーザのニーズとして、表示対象の部分領域を変えながら全ての人物の表情を確認したいというニーズがある。このようなニーズに関しては、広範囲画像に写った人物がくまなく部分表示され、且つ、同じ人物が何度も部分表示されないことが好ましい。これにより、ユーザは、全ての人物の表情を効率よく確認することができる。しかしながら、上述したように、従来の方法では、表示された部分領域が既に表示済みの領域であるのかをユーザは容易に把握することができない。そのため、同じ部分領域（同じ人物）が何度も表示されたり、一部の人物が部分表示されなかったりする。その結果、全ての人物の表情をユーザが効率よく確認することができないことがある。

本発明は、元画像の領域のうち表示済みの領域とそれ以外の領域とをユーザが容易に把握することができる技術を提供することを目的とする。

本発明の第１の態様は、
元画像の一部の領域を選択する選択手段と、
前記選択手段によって選択された前記領域における前記元画像の表示を表示部に行わせる第１表示制御を実行可能な制御手段と、
前記元画像の領域のうち前記表示部で表示済みの領域である表示済み領域の情報を記憶部に記録する記録手段と、
前記記憶部に記録された前記情報に基づいて、前記表示済み領域を示す第１補助画像を生成する第１生成手段と、
を有し、
前記制御手段は、前記第１補助画像の表示を前記表示部に行わせる第２表示制御をさら
に実行可能である
ことを特徴とする制御装置である。

本発明の第２の態様は、
元画像の一部の領域を選択する選択ステップと、
前記選択ステップにおいて選択された前記領域における前記元画像の表示を表示部に行わせる第１表示ステップと、
前記元画像の領域のうち前記表示部で表示済みの領域である表示済み領域の情報を記憶部に記録する記録ステップと、
前記記憶部に記録された前記情報に基づいて、前記表示済み領域を示す第１補助画像を生成する第１生成ステップと、
前記第１補助画像の表示を前記表示部に行わせる第２表示ステップと、
を有することを特徴とする制御方法
である。

本発明の第３の態様は、上述した制御方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、元画像の領域のうち表示済みの領域とそれ以外の領域とをユーザが容易に把握することができる。

本実施形態に係るデジタルカメラの機能構成の一例を示すブロック図 本実施形態に係る全方位画像の一例を示す図 本実施形態に係る全方位画像と部分領域の一例を示す図 本実施形態に係る部分画像が表示される様子の一例を示す図 本実施形態に係る全方位画像と部分領域の一例を示す図 本実施形態に係る部分画像が表示される様子の一例を示す図 第１実施形態に係るデジタルカメラの動作の一例を示すフローチャート 第１実施形態に係る第１アシスト画像の一例を示す図 第１実施形態に係る第１アシスト画像の一例を示す図 第２実施形態に係るデジタルカメラの動作の一例を示すフローチャート 第２実施形態に係る第１アシスト画像の一例を示す図 第３実施形態に係る第２アシスト画像の一例を示す図

＜第１実施形態＞
以下、本発明の第１実施形態に係る制御装置及び制御方法について説明する。なお、以下では、本実施形態に係る制御装置がデジタルカメラに設けられている例を説明するが、これに限らない。本実施形態に係る制御装置は、パーソナルコンピュータ、スマートフォン、等に設けられていてもよい。

（構成）
まず、本実施形態に係るデジタルカメラの構成の一例について説明する。図１は、本実施形態に係るデジタルカメラ１００の機能構成の一例を示すブロック図である。

全方位ミラー１０１は、デジタルカメラ１００の周囲の全方位（３６０度）からの光を鏡面反射することにより、当該光を撮像素子１０２に導く。全方位ミラー１０１としては、双曲面ミラー、球面ミラー、全周魚眼レンズ、等を用いることができる。

撮像素子１０２は、全方位ミラーからの光を用いた撮像を行う。具体的には、撮像素子１０２は、全方位ミラーからの光を電気信号（画像データ）に変換する。そして、撮像素子１０２は、得られた画像データを画像処理部１０３に出力する。撮像素子１０２としては、ＣＣＤセンサ、ＣＭＯＳセンサ、等を用いることができる。

画像処理部１０３は、撮像素子１０２から出力された画像データに対して画像処理や圧縮処理を施す。そして、画像処理部１０３は、処理が施された後の画像データを出力する。撮像素子１０２と画像処理部１０３から出力される画像データは、デジタルカメラ１００の周囲の全方位を写した全方位画像を表す。本実施形態では、画像処理として、画像の歪みを補正する歪み補正処理が行われる。本実施形態では、歪み補正処理が施された後の画像データが表す画像を「元画像」や「平面画像」と記載する。

なお、画像処理は歪み補正処理に限らない。画像処理として、デジタルカメラ１００の振れによる画像の乱れを補正するブレ補正処理、画像の輝度を補正する輝度補正処理、画像の色を補正する色補正処理、画像のダイナミックレンジを補正するレンジ補正処理、等が行われてもよい。

操作部１０４は、デジタルカメラ１００に対するユーザ操作を受け付ける受付部である。ユーザ操作は、撮影（撮像によって得られた画像データの記録）の実行を指示する撮影操作、元画像の一部の領域（部分領域）を指定したり、指定された部分領域を変更したりする指定操作、等である。なお、部分領域のサイズは、メーカー等によって予め定められた固定サイズであってもよいし、ユーザが変更可能なサイズであってもよい。部分領域の形状についても同様である。

なお、デジタルカメラ１００に設けられたボタンやタッチパネルを「操作部１０４」として捉えることもできるし、デジタルカメラ１００に対するユーザ操作に応じた電気信号を受信する受信部を「操作部１０４」として捉えることもできる。

表示部１０５は、表示部１０５に入力された画像データに応じた画像を表示する。例えば、表示部１０５は、ライブビュー画像、撮影画像、サムネイル画像、メニュー画像、警告画像、アシスト画像、等を表示する。ライブビュー画像は、現在の被写体を表す画像であり、撮影画像は、撮影操作に応じて蓄積された画像であり、サムネイル画像は、撮影画像を示す小サイズの画像である。メニュー画像は、デジタルカメラ１００の各種パラメータをユーザが設定したり確認したりするための画像であり、警告画像は、各種警告を表す画像である。アシスト画像は、全方位画像の表示の際に全方位画像の表示状況を示してユーザによる表示操作をアシストするための補助画像である。表示部１０５としては、液晶表示パネル、有機ＥＬ表示パネル、プラズマ表示パネル、等を用いることができる。

記憶部１０６は、種々の画像や情報を記憶する。例えば、記憶部１０６は、撮影操作に応じて、画像処理部１０３から出力された画像データを、撮影画像を表す画像データとして記憶する。本実施形態では、歪み補正処理が施された後の全方位画像（即ち元画像）が、撮影画像として記憶される。また、記憶部１０６は、表示済み領域の情報である表示情報を記憶する。表示済み領域は、撮影画像の領域のうち表示部１０５で表示済みの領域（画角）である。記憶部１０６が複数の撮影画像を記憶している場合には、記憶部１０６は、複数の撮影画像のそれぞれについて表示情報を記憶する。記憶部１０６としては、不揮発性メモリ、光ディスク、磁気ディスク、等を用いることができる。

なお、歪み補正処理が施される前の画像が撮影画像として記憶され、撮影画像を表示する際に、歪み補正処理によって元画像が生成されてもよい。また、画像処理部１０３で複
数の処理が行われる場合、複数の処理の少なくとも一部の処理は、撮影画像を記憶するタイミングでなく、撮影画像を表示するタイミングで行われてもよい。

アシスト画像生成部１０７は、記憶部１０６が記憶している撮影画像のアシスト画像（アシスト画像を表す画像データ）を生成し、生成したアシスト画像を撮影画像と対応付けて記憶部１０６に記録する。記憶部１０６が複数の撮影画像を記憶している場合には、複数の撮影画像のそれぞれについて、アシスト画像の生成と記録が行われる。本実施形態では、アシスト画像生成部１０７は、後述する選択処理の選択結果と、記憶部１０６に記録された表示情報とに基づいて、表示済み領域を示すアシスト画像（第１アシスト画像；第１補助画像）を生成する（第１生成処理）。

表示時間計測部１０８は、部分領域における撮影画像である部分画像が表示部１０５で表示されている時間を計測する。

制御部１０９は、デジタルカメラ１００が有する各機能部を制御する。また、制御部１０９は、選択処理、表示制御、記録処理、等を行う。選択処理は、部分領域を選択する処理である。表示制御は、画像の表示を表示部１０５に行わせる制御である。例えば、表示制御は、表示対象の画像データを表示部１０５に出力する処理である。記録処理は、表示情報を記憶部１０６に記録する処理である。本実施形態では、制御部１０９は、表示制御として、第１表示制御と第２表示制御を実行可能である。第１表示制御は、選択処理に応じた部分画像（選択処理によって選択された部分領域における撮影画像）の表示を表示部１０５に行わせる制御である。第２表示制御は、第１アシスト画像の表示を表示部１０５に行わせる制御である。

なお、本実施形態に係る制御装置は、少なくとも、アシスト画像生成部１０７、表示時間計測部１０８、及び、制御部１０９を有していればよい。また、制御装置の１つの機能は、１つの処理回路によって実現されてもよいし、複数の処理回路によって実現されてもよい。制御装置の複数の機能が１つの処理回路によって実現されてもよい。例えば、選択処理、表示制御、及び、記録処理の３つの機能が、１つの処理回路によって実現されてもよいし、３つの処理回路によってそれぞれ実現されてもよい。ＣＰＵ（中央処理装置）がプログラムを実行することにより、複数の機能が実現されてもよい。

（第１表示制御）
次に、本実施形態に係る第１表示制御の一例について説明する。

図２は、撮像素子１０２で生成された全方位画像（歪み補正処理が施される前の全方位画像）の一例を示す模式図である。撮像素子１０２では、例えば、デジタルカメラ１００の位置を中心としたドーナツ状の画像が、全方位画像として生成される。このような全方位画像が生成されるのは、全方位ミラー１０１表面の曲率によって実像に対する垂直方向の画角が決定されると共に、撮像素子１０２に実像が歪みをもって投射されるためである。

画像処理部１０３では、このような歪みをもった全方位画像に歪み補正処理が施される。それにより、図２に示すような歪んだ全方位画像が、図３に示すような矩形の全方位画像（平面画像）に展開される。図２に示す全方位画像はドーナツ状の画像であるため、歪んだ画像を矩形の画像に展開するには、歪んだ画像をどこかの方位で切断する必要がある。図２に示す全方位画像を位置２０１で切断して歪みを除去することにより、図３に示す全方位画像が得られる。

平面画像の画像サイズは大きいため、一般的に、平面画像を表示する際には、平面画像
の一部の領域（部分領域）が切り出されて表示される。図３の一点鎖線３０２は、平面画像の水平方向における中心位置を示し、一点鎖線３０３は、平面画像の垂直方向における中心位置を示す。破線３０１で囲まれた領域は、平面画像の中心に対応する部分領域である。部分領域３０１（破線３０１で囲まれた領域）の中心は平面画像の中心と一致する。部分領域３０１は矩形領域であり、（部分領域３０１の左上隅の座標，部分領域３０１の右上隅の座標，部分領域３０１の左下隅の座標，部分領域３０１の右下隅の座標）は（Ａ０，Ｂ０，Ｃ０，Ｄ０）である。本実施形態では、最初に、所定の領域（初期部分領域）である部分領域３０１が選択されて使用される。即ち、蓄積された平面画像（撮影画像）を最初に表示する際には、部分領域３０１における平面画像が表示される。図４はその様子を示す図である。なお、部分領域３０１と異なる領域が初期部分領域として使用されてもよい。部分画像の表示前に指定操作をユーザに行わせ、当該指定操作によって指定された領域が初期部分領域として選択されて使用されてもよい。

本実施形態では、指定操作が行われると、指定操作に応じた部分領域が選択処理によって選択され、選択された部分領域における平面画像が表示される。そのため、ユーザは、指定操作を行うことにより、表示対象の部分領域（選択処理によって選択される部分領域）を部分領域３０１から変更することができる。例えば、部分領域を移動する指定操作が行われると、指定操作に応じて部分領域が移動し、部分領域の移動に伴って表示部１０５の表示が変化する。具体的には、部分画像（部分領域における平面画像）が表示部１０５に表示されるため、部分領域の移動方向とは反対の方向に画像が移動するように、表示部１０５の表示が変化する。図５は、指定操作によって変更された後の部分領域の一例を示す図である。破線５０１で囲まれた領域は、指定操作によって変更された後の部分領域である。部分領域５０１は矩形領域であり、（部分領域５０１の左上隅の座標，部分領域５０１の右上隅の座標，部分領域５０１の左下隅の座標，部分領域５０１の右下隅の座標）は（Ａ，Ｂ，Ｃ，Ｄ）である。部分領域５０１が指定された場合、部分領域５０１における平面画像が表示される。図６はその様子を示す図である。

（第２表示制御）
次に、本実施形態に係る第２表示制御の一例について説明する。

図８は、図３の部分領域３０１（初期部分領域）のみが表示済み領域である場合の第１アシスト画像の一例を示す図である。図８において、網掛けされた領域は未表示領域（表示済み領域以外の領域；表示部１０５で未表示の領域）であり、網掛けされていない領域は表示済み領域である。破線８０１で囲まれた領域は、選択処理によって選択された部分領域（現在の表示対象の部分領域）である。部分領域８０１は、図３の部分領域３０１に対応している。

図９（Ａ），９（Ｂ）は、指定操作により表示対象の部分領域が図３の部分領域３０１から図５の部分領域５０１まで水平方向に移動された後の第１アシスト画像の一例を示す図である。図９（Ａ），９（Ｂ）でも、未表示領域は網掛けされており、表示済み領域は網掛けされていない。破線９０１で囲まれた領域は、現在の表示対象の部分領域である。部分領域９０１は、図５の部分領域５０１に対応している。

このように、本実施形態では、元画像の領域全体を表し、且つ、表示済み領域と未表示領域とで画像の表現の態様が互いに異なる画像が、第１アシスト画像として使用される。それにより、ユーザは、画像の表現の態様を確認することで、未表示領域と表示済み領域とを容易に区別して把握することができる。具体的には、図８，９（Ａ），９（Ｂ）に示すように、第１アシスト画像として平面画像の縮小画像が使用される。そして、第１アシスト画像では、未表示領域が網掛けされおり、表示済み領域が網掛けされてない。それにより、ユーザは、網掛けされているか否かを確認することで、未表示領域と表示済み領域
とを容易に区別して把握することができる。

また、本実施形態の第１アシスト画像では、選択処理によって選択された部分領域（現在の表示対象の部分領域）が示されている。具体的には、図８，９（Ａ），９（Ｂ）に示すように、現在の表示対象の部分領域が破線で示されている。それにより、ユーザは、現在の表示対象の部分領域をも容易に把握することができる。

そして、ユーザは、このような第１アシスト画像を確認して指定操作を行うことで、平面画像全体がくまなく且つ効率よく走査されるように表示対象の部分領域を変更することができる。例えば、同じ領域が何度も繰り返し表示されることを抑制することができる。その結果、ユーザは、第１表示制御により、平面画像全体をくまなく且つ効率よく確認することができる。

なお、第１アシスト画像の表示方法は特に限定されない。例えば、第１アシスト画像のみが表示部１０５に表示されてもよい。第１アシスト画像が他の画像（例えば、部分画像）に重ねられて表示されてもよい。第１表示制御の実行中にのみ第１アシスト画像が自動で表示されてもよいし、そうでなくてもよい。指定操作中にのみ第１アシストが自動で表示されてもよい。第１アシスト画像の表示を指示するユーザ操作に応じて第１アシスト画像が表示され、第１アシスト画像の非表示を指示するユーザ操作に応じて表示部１０５の画面から第１アシスト画像が消去されてもよい。

また、第１アシスト画像は図８，９（Ａ），９（Ｂ）に示すような画像に限らない。例えば、既存の幾何変換処理を用いて、平面画像でなく、球面画像（ドーナツ状の全方位画像）に種々の領域（表示済み領域、未表示領域、現在の表示対象の部分領域、等）をマッピングした画像が、第１アシスト画像として生成されてもよい。第１アシスト画像に被写体が描かれていなくてもよい。種々の線（実線、破線、一点鎖線、太線、細線、赤線、青線、等）によって種々の領域が識別可能に示されていてもよい。領域を示す座標値と領域の種類を示すテキストとによって、種々の領域が識別可能に示されていてもよい。領域の輝度や色によって種々の領域が識別可能に示されていてもよい。表示済み領域が示されていればユーザは未表示領域を容易に把握することができるため、未表示領域は示されていなくてもよい。現在の表示対象の部分領域は示されていなくてもよい。その場合には、第１アシスト画像の生成に選択処理の選択結果を使用する必要はない。

（動作）
次に、本実施形態に係るデジタルカメラの動作の一例について、図７を用いて説明する。図７は、デジタルカメラ１００の動作の一例を示すフローチャートである。図７のフローチャートは、例えば、デジタルカメラ１００の動作モードとして、蓄積された撮影画像を表示（再生）する再生モードが設定されている場合に行われる。図７は、第１表示制御の実行中に第１アシスト画像が自動で表示される例を示す。なお、第１アシスト画像の表示方法は特に限定されないため、第１アシスト画像が表示されるタイミングは以下のタイミングに限定されない。

まず、Ｓ７０１にて、制御部１０９が、デジタルカメラ１００に対するユーザ操作（選択操作）に応じて、記憶部１０６が記憶している複数の撮影画像のうちの１つを表示対象の画像として選択する。具体的には、選択操作が行われると、選択操作に応じた選択信号が操作部１０４から制御部１０９に出力される。そして、制御部１０９は、選択信号に応じて、表示対象の撮影画像を選択する。選択操作は、例えば、制御部１０９によって表示部１０５に表示された複数のサムネイル画像（複数の撮影画像に対応する複数のサムネイル画像）のうちの１つを選択するユーザ操作である。

次に、Ｓ７０２にて、制御部１０９が、Ｓ７０１で選択した撮影画像（選択画像）に対応する表示情報（対応表示情報）を記憶部１０６が記憶しているか否かを判断する。対応表示情報を記憶部１０６が記憶していないと判断された場合には、Ｓ７０３に処理が進められ、対応表示情報を記憶部１０６が記憶していると判断された場合には、Ｓ７０４に処理が進められる。

Ｓ７０３では、アシスト画像生成部１０７が、初期部分領域のみを表示済み領域として示すアシスト画像（初期アシスト画像）を生成する。Ｓ７０４では、アシスト画像生成部１０７が、制御部１０９を介して記憶部１０６から対応表示情報を取得し、取得した対応表示情報を用いてアシスト画像を生成する。そして、Ｓ７０３またはＳ７０４からＳ７０５へ処理が進められる。

Ｓ７０５では、制御部１０９が、部分領域を選択する選択処理を行い、選択した部分領域における選択画像の表示を表示部１０５に行わせる第１表示制御を行う（部分画像の表示）。１回目の処理では、初期部分領域が選択される。

次に、Ｓ７０６にて、制御部１０９が、Ｓ７０３またはＳ７０４で生成されたアシスト画像の表示を表示部１０５に行わせる第２表示制御を行う。本処理により、Ｓ７０５で表示された部分画像に、Ｓ７０３またはＳ７０４で生成されたアシスト画像が重ねられて表示される。

そして、Ｓ７０７にて、表示時間計測部１０８が、Ｓ７０５で表示された部分画像（対象部分画像）の表示時間の計測を開始する。

次に、Ｓ７０８にて、制御部１０９が、選択画像（選択画像の部分画像）の表示を終了するユーザ操作（終了操作）、または、表示対象の部分領域を変更する指定操作が行われたか否かを判断する。Ｓ７０８の処理は、ユーザ操作に応じて操作部１０４から出力される信号を制御部１０９が監視することで実現することができる。終了操作と指定操作のいずれも行われていないと判断された場合には、Ｓ７０９に処理が進められ、終了操作または指定操作が行われたと判断された場合には、Ｓ７１０に処理が進められる。

Ｓ７０９では、制御部１０９が、表示時間計測部１０８の計測値（計測時間；対象部分画像の表示時間）が所定時間に達したか否かを判断する。計測値が所定時間に達したと判断された場合には、Ｓ７１０に処理が進められ、計測値が所定時間に達していないと判断された場合には、Ｓ７０８に処理が戻される。所定時間は、後述する第１閾値以上の時間である。

Ｓ７１０では、表示時間計測部１０８が、対象部分画像の表示時間の計測を終了する。

次に、Ｓ７１１にて、制御部１０９が、表示時間計測部１０８の計測値（Ｓ７０７の処理が行われたタイミングからＳ７１０の処理が行われたタイミングまでの時間）が第１閾値以上であるか否かを判断する。計測値が第１閾値以上であると判断された場合には、制御部１０９が、対象部分画像の領域（部分領域）を表示済み領域とみなし、Ｓ７１２に処理が進められる。計測値が第１閾値未満であると判断された場合には、制御部１０９が、対象部分画像の領域を未表示領域とみなし、Ｓ７１３に処理が進められる。なお、第１閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。

ここで、部分領域の位置をスクロールさせる場合を考える。このような場合には、スクロール中に一部の部分画像が短時間だけ表示されることがある。そして、短時間だけ表示
された部分画像がユーザの記憶に残る可能性は低いため、短時間だけ表示された部分画像の領域を表示済み領域として扱うのは好ましくない。そこで、本実施形態では、部分画像の表示時間が第１閾値未満である場合に、Ｓ７１２の処理が省略される。そのため、短時間だけ表示された部分画像の領域が表示済み領域として扱われることはない。一方で、短時間だけ表示された部分画像の領域はユーザが重要視していない領域であるとも考えられる。そのため、表示時間の大小に拘らず、Ｓ７０５で表示された部分画像の領域が表示済み領域として扱われてもよい。その場合には、表示時間計測部１０８は必要ない。

Ｓ７１２では、制御部１０９が、対象部分画像の領域（部分領域）を表示済み領域として示す対応表示情報を生成し、生成した対応表示情報を記憶部１０６に記録する。記憶部１０６が対応表示情報を既に記憶している場合には、制御部１０９は、対象部分画像の領域（部分領域）が表示済み領域に追加されるように、記憶部１０６が記憶している対応表示情報を更新する。Ｓ７１２の次に、Ｓ７１３に処理が進められる。

Ｓ７１３では、制御部１０９が、終了操作が行われたか否かを判断する。終了操作が行われていないと判断された場合には、Ｓ７０５に処理が戻される。このとき、Ｓ７０８の判断結果として「部分領域を変更する指定操作が行われた」という判断結果が得られていた場合には、Ｓ７０５において、変更後の部分領域が選択処理によって選択される。終了操作が行われたと判断された場合には、Ｓ７１４に処理が進められる。終了操作が行われていないと判断された場合に、Ｓ７０２に処理が戻されてもよい。それにより、第１アシスト画像をリアルタイムで更新して表示することができる。

Ｓ７１４では、制御部１０９が、再生モードの設定を解除するユーザ操作であるモード解除操作が行われたか否かを判断する。Ｓ７１４の処理は、ユーザ操作に応じて操作部１０４から出力される信号を制御部１０９が監視することで実現することができる。モード解除操作が行われていないと判断された場合には、Ｓ７０１に処理が戻され、モード解除操作が行われたと判断された場合には、本フローチャートが終了される。

表示情報と第１アシスト画像の更新の具体例について、以下に説明する。ここでは、図９（Ａ）の網掛けされていない領域を表示済み領域として示す表示情報を記憶部１０６が記憶していたとする。そして、Ｓ７０５にて、選択処理により部分領域９０１が選択されたとする。

この場合、Ｓ７０４にて、図９（Ａ）に示す第１アシスト画像が生成される。そしてＳ７０５とＳ７０６の処理により、部分領域９０１における元画像（選択画像）に図９（Ａ）の第１アシスト画像を重ねた画像が表示される。

ここで、部分領域９０１における元画像の表示時間が第１閾値以上であり、部分領域９０１における元画像が表示された後に元画像の閲覧が終了されたとする。この場合、部分領域９０１が表示済み領域であると判断される。そして、Ｓ７１２の処理により、図９（Ａ）の網掛けされていない領域を表示済み領域として示す表示情報から、図９（Ｂ）の網掛けされていない領域を表示済み領域として示す表示情報へ、表示情報が更新される。その結果、次回の閲覧時に、図９（Ａ）の第１アシスト画像でなく、図９（Ｂ）の第１アシスト画像が表示されることとなる。

これにより、ユーザは、未表示領域と表示済み領域とを容易に区別して把握することができ、平面画像全体がくまなく且つ効率よく走査されるように表示対象の部分領域を変更することができる。

以上述べたように、本実施形態によれば、表示済み領域を示す第１アシスト画像が生成
されて表示される。それにより、ユーザは、未表示領域と表示済み領域とを容易に区別して把握することができる。

なお、本実施形態では、元画像が、撮影画像であり、且つ、歪み補正処理が施された後の全方位画像である場合の例を説明したが、元画像はこれに限らない。元画像は、どのような画像であってもよい。例えば、元画像は、歪み補正処理が施される前の全方位画像であってもよい。元画像は、全方位でない広角な範囲を撮影したパノラマ画像であってもよい。元画像は、撮影画像でなくてもよい。例えば、元画像は、イラストレーション画像であってもよい。

＜第２実施形態＞
以下、本発明の第２実施形態に係る制御装置及び制御方法について説明する。第１実施形態では、表示対象の部分領域が指定操作に応じて変更される例を説明した。本実施形態では、表示対象の部分領域が自動で変更される例を説明する。本実施形態に係るデジタルカメラの機能構成は第１実施形態（図１）と同様であるため、その説明は省略する。

（動作）
本実施形態に係るデジタルカメラの動作の一例について、図１０を用いて説明する。図１０は、デジタルカメラ１００の動作の一例を示すフローチャートである。Ｓ１００１〜Ｓ１００６の処理は第１実施形態（図７）のＳ７０１〜Ｓ７０６の処理と同様であるため、それらの説明は省略する。Ｓ１００６の次に、Ｓ１００７に処理が進められる。ここでは、図９に対応する表示情報がＳ１００４にて取得されたとする。そして、図１１に示す第１アシスト画像がＳ１００６にて表示されたとする。破線１１０１で囲まれた領域は、現在の表示対象の部分領域であり、初期部分領域である。

Ｓ１００７とＳ１００８では、制御部１０９が、対応表示情報に基づいて部分領域を選択することにより、表示対象の部分領域を更新する。本実施形態では、制御部１０９は、未表示領域を、他の領域よりも優先して選択する。

具体的には、Ｓ１００７では、制御部１０９が、対応表示情報に基づいて、表示対象の部分領域の移動方向を決定する。図１１に示すように、部分領域１１０１に対して右側の領域は表示済み領域であり、部分領域１１０１に対して上側、下側、及び、左側は未表示領域である。Ｓ１００７では、制御部１０９は、表示対象の部分領域に対して未表示領域が隣接する方向を選択する。表示対象の部分領域に対して未表示領域が隣接する方向が存在せず、表示対象の部分領域から離れた位置に未表示領域が存在する場合には、表示対象の部分領域から未表示領域へ向かう方向が選択される。

Ｓ１００８では、制御部１０９が、表示対象の部分領域を、Ｓ１００７で決定された移動方向に移動させる。また、制御部１０９は、Ｓ１００５で表示された部分画像の領域が表示済み領域に追加されるように、対象表示情報を更新する。

平面画像において、平面画像の中央部の高さ（垂直方向の位置）は、ユーザの目線の高さと略一致していることが多い。そして、中央部の上側や下側には、ユーザが重要視しない被写体が写っている可能性が高い。換言すれば、中央部の上側や下側には、ユーザが重要視する被写体が写っていない可能性が高い。具体的には、中央部の上側には空、建物の天井、等が写っている可能性が高く、中央部の下側には地面等が写っている可能性が高い。そのため、未表示領域の中で中央部の領域（所定の領域）に対して水平方向に位置する領域が、他の領域よりも優先して選択されることが好ましい。例えば、部分領域１００１から右側や左側に向かう方向が、部分領域１００１から他の方向に向かう方向よりも優先して選択されることが好ましい。そのため、図１１の例では、部分領域１１０１の移動方
向として左方向が選択されている。なお、所定の領域は中央部の領域でなくてもよい。

なお、未表示領域が他の領域よりも優先して選択されれば、表示対象の部分領域の選択方法（更新方法）はどのような方法（アルゴリズム）であってもよい。例えば、表示対象の部分領域を連続的に変更（移動）するのではなく、表示対象の部分領域を不連続に変更してもよい。また、所定の特徴を有する画像の領域が他の領域よりも優先して選択されるように、表示対象の部分領域が選択されてもよい。部分画像の表示は、人物の顔をユーザが確認するために行われることがある。そのため、人物の顔の画像を含む領域が他の領域よりも優先して選択されるように、表示対象の部分領域が選択されてもよい。また、人物の顔の画像をより多く含む領域が他の領域よりも優先して選択されるように、表示対象の部分領域が選択されてもよい。

Ｓ１００８の次に、Ｓ１００９にて、制御部１０９が、自動処理終了操作が行われたか否かを判断する。自動処理終了操作は、未表示領域が優先して選択されるように表示対象の部分領域を自動で更新する処理を終了するユーザ操作であり、第１実施形態で述べた終了操作を含む。デジタルカメラ１００は、表示対象の部分領域を指定操作に応じて更新する非自動更新モードと、表示対象の部分領域を自動で更新する自動更新モードと、を有していてもよい。その場合には、自動処理終了操作は、自動更新モードから非自動更新モードへ動作モードを切り替えるユーザ操作である切り替え操作を含む。切り替え操作は、表示対象の部分領域を変更する指定操作を含む。

自動処理終了操作が行われていないと判断された場合には、Ｓ１００５に処理が戻され、自動処理終了操作が行われたと判断された場合には、Ｓ１０１０に処理が進められる。選択画像の領域全体が表示済み領域となった場合にＳ１０１０に処理が進められてもよい。

Ｓ１０１０では、制御部１０９が、対象表示情報を記憶部１０６に記録する（新規保存、または、上書き保存）。

次に、Ｓ１０１１にて、制御部１０９が、モード解除操作が行われたか否かを判断する。モード解除操作が行われていないと判断された場合には、Ｓ１００１に処理が戻され、モード解除操作が行われたと判断された場合には、本フローチャートが終了される。

ここで、自動更新モードから非自動更新モードへ動作モードを切り替えるユーザ操作（切り替え操作）によってＳ１００９からＳ１０１０に処理が進められた場合を考える。この場合、Ｓ１０１０の処理が行われた後、図７のＳ７０５に処理が進められる。

以上述べたように、本実施形態によれば、表示対象の部分領域が自動で選択される。それにより、表示対象の部分領域を指定するユーザの手間を省くことができ、利便性が向上する。また、未表示領域が他の領域よりも優先して選択されるため、平面画像全体がくまなく且つ効率よく走査されるように表示対象の部分領域を変更することができる。

＜第３実施形態＞
以下、本発明の第３実施形態に係る制御装置及び制御方法について説明する。本実施形態に係るデジタルカメラの機能構成は第１実施形態（図１）と同様である。本実施形態では、アシスト画像生成部１０７は、第１アシスト画像だけでなく、第２アシスト画像（第２補助画像）を生成することができる。また、制御部１０９は、第２アシスト画像の表示を表示部１０５に行わせる第３表示制御をさらに実行可能である。

第２アシスト画像は、記憶部１０６に記録された表示情報に基づいて生成される（第２
生成処理）。第２アシスト画像は、表示率、未表示率、及び、既読情報の少なくともいずれかを示す。表示率は、元画像の領域全体に対する表示済み領域の割合であり、未表示率は、元画像の領域全体に対する未表示領域の割合である。既読情報は、元画像の領域全体が表示済みであるか否かを示す。

なお、表示率、未表示率、既読情報、及び、第２アシスト画像を生成するタイミングは、特に限定されない。例えば、第３表示制御時に、表示率、未表示率、及び、既読情報が生成されて、第２アシスト画像が生成されてもよい。図７のＳ７１２の処理の実行時に、表示率、未表示率、既読情報、及び、第２アシスト画像が生成され、生成されたデータ（情報と画像）が記憶部１０６に記録されてもよい。図７のＳ７１２の処理の実行時に、表示率、未表示率、及び、既読情報が生成され、生成された情報が記憶部１０６に記録されてもよい。そして、第３表示制御時に、表示率、未表示率、及び、既読情報が記憶部１０６から読み出されて、第２アシスト画像が生成されてもよい。

図１２は、第２アシスト画像の一例を示す図である。図１２の例では、２つの撮影画像にそれぞれ対応する２つのサムネイル画像１２０１，１２０２が表示されている。図７のＳ７０１で行われる選択操作は、このように表示された複数のサムネイル画像のうちの１つを選択するユーザ操作である。そして、図１２の例では、第２アシスト画像がサムネイル画像に対応付けられて表示されている。

符号１２０３，１２０５は、表示率を示すテキスト画像である。テキスト画像１２０３は、サムネイル画像１２０１に対応する撮影画像の表示率を示し、テキスト画像１２０５は、サムネイル画像１２０２に対応する撮影画像の表示率を示す。図１２は、サムネイル画像１２０１に対応する撮影画像の表示率が１０％であり、サムネイル画像１２０２に対応する撮影画像の表示率が８５％である場合の例を示す。そのため、図１２の例では、テキスト画像１２０３として「１０％表示済み」というテキスト画像が使用されており、テキスト画像１２０５として「８５％表示済み」というテキスト画像が使用されている。

なお、表示率ではなく未表示率を示す画像が表示されてもよい。表示率と未表示率の両方を示す画像が表示されてもよい。また、表示率や未表示率を示す画像として、テキスト画像以外の画像（例えばグラフィック画像）が使用されてもよい。例えば、表示率と未表示率を示すバー画像が表示されてもよい。

符号１２０４，１２０６は、既読情報を示すテキスト画像である。テキスト画像１２０４は、サムネイル画像１２０１に対応する撮影画像の既読情報を示し、テキスト画像１２０６は、サムネイル画像１２０２に対応する撮影画像の既読情報を示す。アシスト画像生成部１０７は、表示率が第２閾値以上である場合に、元画像の領域全体が表示済み領域であるとみなし、表示率が第２閾値未満である場合に、元画像の領域が未表示領域を含むとみなす。図１２は、第２閾値が８０％である場合の例を示す。そのため、図１２の例では、テキスト画像１２０４として、未表示領域が多く存在することを示すテキスト画像「未読」が使用されている。また、テキスト画像１２０５として、元画像の領域の大部分が表示済み領域であることを示すテキスト画像「既読」が使用されている。

なお、第２閾値は、メーカーによって予め定められた固定値であってもよいし、ユーザが変更可能な値であってもよい。第２閾値として１００％が使用されてもよい。そして、元画像の領域全体が表示済み領域である場合に、テキスト画像「既読」が使用され、それ以外の場合に、テキスト画像「未読」が使用されてもよい。既読情報を示す画像として、テキスト画像以外の画像（例えばグラフィック画像）が使用されてもよい。例えば、表示率が第２閾値以上である場合に、第１のアイコン画像が使用され、表示率が第２閾値未満である場合に、第２のアイコン画像が使用されてもよい。

また、図１２の例では、サムネイル画像のファイル名（「ＩＭＧ＿００１．ＪＰＧ」、「ＩＭＧ＿００２．ＪＰＧ」）が表示されている。ファイル名のテキスト画像は、第２アシスト画像の一部として捉えてもよいし、そうでなくてもよい。

表示率、非表示率、既読情報、ファイル名、等は、ファイル分類（サムネイル画像のソーティング、撮影画像の検索、等）に使用されてもよい。例えば、表示率を用いて、サムネイル画像が表示率順に表示されるように、サムネイル画像のソーティングが行われてもよい。既読情報を用いて、複数の撮影画像から未読の撮影画像（元画像の領域が未表示領域を含むとみなされた撮影画像）が検索されてもよい。

なお、第２アシスト画像の表示方法は特に限定されない。例えば、サムネイル画像は表示されず、第２アシスト画像のみが表示されてもよい。第２アシスト画像がサムネイル画像以外の画像（例えば、部分画像）に重ねられて表示されてもよい。サムネイル画像の表示中にのみ第２アシスト画像が自動で表示されてもよいし、そうでなくてもよい。第２アシスト画像の表示を指示するユーザ操作に応じて第２アシスト画像が表示され、第２アシスト画像の非表示を指示するユーザ操作に応じて表示部１０５の画面から第２アシスト画像が消去されてもよい。

以上述べたように、本実施形態によれば、表示率、未表示率、及び、既読情報の少なくともいずれかを示す第２アシスト画像が表示される。それにより、ユーザは、確認が済んでいない元画像や確認が済んだ画像を容易に把握することができ、確認が済んでいない元画像を効率よく選択して確認することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０７：アシスト画像生成部 １０９：制御部

Claims (13)

1. 元画像の一部の領域を選択する選択手段と、
   前記選択手段によって選択された前記領域における前記元画像の表示を表示部に行わせる第１表示制御を実行可能な制御手段と、
   前記元画像の領域のうち前記表示部で表示済みの領域である表示済み領域の情報を記憶部に記録する記録手段と、
   前記記憶部に記録された前記情報に基づいて、前記表示済み領域を示す第１補助画像を生成する第１生成手段と、
   を有し、
   前記制御手段は、前記第１補助画像の表示を前記表示部に行わせる第２表示制御をさらに実行可能である
   ことを特徴とする制御装置。
2. 前記第１生成手段は、前記選択手段の選択結果と、前記記憶部に記録された前記情報とに基づいて、前記選択手段によって選択された前記領域と、前記表示済み領域とを識別可能に示す画像を、前記第１補助画像として生成する
   ことを特徴とする請求項１に記載の制御装置。
3. 前記選択手段によって選択された前記領域における前記元画像が表示されている時間を計測する計測手段をさらに有し、
   前記記録手段は、
   前記計測手段によって計測された前記時間が第１閾値以上である場合に、前記選択手段によって選択された前記領域を、前記表示済み領域とみなし、
   前記計測手段によって計測された前記時間が第１閾値未満である場合に、前記選択手段によって選択された前記領域を、前記表示部で未表示の領域である未表示領域とみなすことを特徴とする請求項１または２に記載の制御装置。
4. 前記選択手段は、前記記憶部に記録された前記情報に基づいて、前記表示部で未表示の領域である未表示領域を、他の領域よりも優先して選択する
   ことを特徴とする請求項１〜３のいずれか１項に記載の制御装置。
5. 前記選択手段は、前記未表示領域の中で所定の領域に対して水平方向に位置する領域を、他の領域よりも優先して選択する
   ことを特徴とする請求項４に記載の制御装置。
6. 前記所定の領域は、前記元画像の中央部の領域である
   ことを特徴とする請求項５に記載の制御装置。
7. 前記選択手段は、所定の特徴を有する画像の領域を、他の領域よりも優先して選択することを特徴とする請求項４に記載の制御装置。
8. 前記所定の特徴を有する画像の領域は、人物の顔の画像を含む領域である
   ことを特徴とする請求項７に記載の制御装置。
9. 前記選択手段は、人物の顔の画像をより多く含む領域を、他の領域よりも優先して選択する
   ことを特徴とする請求項８に記載の制御装置。
10. 前記記憶部に記録された前記情報に基づいて、前記元画像の領域全体に対する前記表示
    済み領域の割合である表示率、前記表示部で未表示の領域である未表示領域の、前記元画像の領域全体に対する割合である非表示率、及び、前記元画像の領域全体が表示済みであるか否か、の少なくともいずれかを示す第２補助画像を生成する第２生成手段をさらに有し、
    前記制御手段は、前記第２補助画像の表示を前記表示部に行わせる第３表示制御をさらに実行可能である
    ことを特徴とする請求項１〜９のいずれか１項に記載の制御装置。
11. 前記第２生成手段は、
    前記表示率が第２閾値以上である場合に、前記元画像の領域全体が前記表示済み領域であるとみなし、
    前記表示率が第２閾値未満である場合に、前記元画像の領域が前記未表示領域を含むとみなす
    ことを特徴とする請求項１０に記載の制御装置。
12. 元画像の一部の領域を選択する選択ステップと、
    前記選択ステップにおいて選択された前記領域における前記元画像の表示を表示部に行わせる第１表示ステップと、
    前記元画像の領域のうち前記表示部で表示済みの領域である表示済み領域の情報を記憶部に記録する記録ステップと、
    前記記憶部に記録された前記情報に基づいて、前記表示済み領域を示す第１補助画像を生成する第１生成ステップと、
    前記第１補助画像の表示を前記表示部に行わせる第２表示ステップと、
    を有することを特徴とする制御方法。
13. 請求項１２に記載の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images