JP5801038B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、画像を表示する画像表示装置及び画像表示方法に関する。

近年、撮像した画像（動画像、静止画像を含む）をフィルムではなくデータとして記録媒体に記録するデジタル方式の撮像装置が広く普及している。このような撮像装置では、撮像して得られた画像データを多数記録したり、事後的に任意の画像データを消去したりすることが可能である。そのためユーザは、満足した画像が得られるまで、気軽に多数の画像を撮像することができる。

ユーザは、撮像装置に付属するモニタやフォトフレームなどのビューアに代表される画像表示装置を用いて、画像データを再生（動画像を再生、静止画像を表示）する。ユーザは、例えばタッチパネルなどで構成される操作部を用いて、再生すべき画像データを選択する。また、画像表示装置の中には、サムネイル画像などの画像データに対応する画像（以下、対応画像とする）を表示することで、選択を容易にするものがある。

ただし、画像表示装置の表示画面の大きさには制限があり、一度に多数の対応画像を明確に表示することは困難となる。そのため、ユーザは操作部を操作して、所望の画像データの対応画像が表示されるまで、表示される対応画像を順次切り替える必要がある。

このとき、上述のように多数の画像データが存在すると、ユーザが所望の画像データを選択するまでに、多数回の切り替えが必要となる場合が生じる。具体的には、対応画像を多数回送る（次の対応画像を表示する）または多数回戻す（前の対応画像を表示する）ことが必要となる場合が生じる。そのため、所望の画像データを選択するまでの操作が煩雑になることがあり、問題となる。

さらに、例えば同じ構図、同じ場所や同じ時間帯などで撮像されて得られた画像データが複数存在し、当該画像データの中には所望する画像データが存在しないとユーザが判断した場合、ユーザは当該画像データの対応画像を注視する必要がないため、迅速に所望の画像データを選択するべく当該対応画像を高速で送るまたは戻す（一度の操作で多数の対応画像を送るまたは戻す）ことが多くなる。すると、所望の画像データの対応画像の表示を通りすぎてしまう「送り過ぎ」や「戻し過ぎ」が生じ、所望の画像データを選択するまでに時間を要するため、問題となる。

そこで、特許文献１では、ある選択された画像データに類似する画像データの縮小画像を類似順に表示し、その中からさらに選択された画像データに関連する画像データの縮小画像のみを表示することにより、少ない操作で迅速に所望の画像データを選択可能とする画像表示装置が提案されている。

また、特許文献２では、複数の画像データが属するグループの中から、代表となる画像データを各グループにおいて決定し、決定した画像データの縮小画像を並べて表示する画像表示装置が提案されている。当該画像表示装置は、いずれかの代表となる画像データがユーザによって選択されると、当該画像データと同じグループに属する画像データの縮小画像を、並べて表示する。

特開２００７−２０６９１９号公報 特開２００７−２５７４６５号公報

しかしながら特許文献１に記載の画像表示装置では、類似したり関連したりする画像データが少ない画像データについては、その縮小画像を優先的に表示することができないため、捜索が困難になる。また、特許文献２に記載の画像表示装置では、属するグループが分からない画像データの捜索が困難になる。したがって、これらの画像データをユーザが選択しようとする場合、ユーザは、従来と同様に多数の対応画像を順次送るまたは戻すことにより、選択すべき画像を捜索する必要がある。すると、操作が煩雑化したり、「送り過ぎ」や「戻し過ぎ」を生じて画像データの選択に時間を要したりするため、問題となる。

そこで、本発明は、ユーザが容易かつ迅速に所望の画像データを選択可能とする画像表示装置及び画像表示方法を提供することを目的とする。

上記目的を達成するために本発明の画像表示装置は、所定の順番を有する対応画像を少なくとも１つ表示する表示部と、前記表示部に表示される対応画像を、前記順番の順方向又は逆方向に沿って切り替えるための切替指示が入力される入力部と、前記切替指示に従って前記表示部に表示されている第１対応画像を切り替える切替制御部と、を備えた画像表示装置であって、前記切替制御部は、前記第１対応画像と、少なくとも第２対応画像との相関関係が密接でない場合には、前記切替指示に応じて決まる第１切替量で対応画像を切り替え、当該相関関係が密接である場合には、前記第１切替量よりも大きい第２切替量で対応画像を切り替え、前記第２対応画像は、前記切替制御部が前記順方向に沿って対応画像を切り替える場合は前記第１対応画像に対して前記順番が直後の対応画像であり、前記切替制御部が前記逆方向に沿って対応画像を切り替える場合は前記第１対応画像に対して前記順番が直前の対応画像であり、前記第１切替量及び前記第２切替量が、単位動作当たりまたは単位時間当たりに切り替えられる対応画像の数であることを特徴とする。

なお、以下の実施形態では、入力部の一例として操作部を挙げ、切替制御部の一例として表示制御部を挙げて、それぞれ説明している。

このように構成すると、ユーザが所望しない相関関係が密接である対応画像を、容易かつ迅速に切り替えることが可能となる。そのため、ユーザが所望する対応画像を容易かつ迅速に表示させることが可能となる。

また、上記構成の画像表示装置において、前記第２切替量が、前記表示部に表示されている対応画像と、当該対応画像から前記順番に沿って連続しておりそれぞれが当該対応画像と相関関係が密接である対応画像と、を切り替える大きさであることとしても構わない。

このように構成すると、ユーザが所望しない相関関係が密接である対応画像を、まとめて切り替えることが可能となる。そのため、ユーザが所望する対応画像を容易かつ迅速に表示させることが可能となる。

また、上記構成の画像表示装置において、前記切替指示が指示量を示し、当該指示量の増大に応じて前記第１切替量が増大するものであり、前記入力部に前記指示量が所定の大きさ以下となる切替指示が入力されるとき、前記第１対応画像と少なくとも前記第２対応画像との相関関係が密接であっても、前記第２切替量が前記第１切替量と等しくなることとしても構わない。

このように構成すると、相関関係が密接である対応画像を切り替える場合であっても、指示量が所定の大きさ以下となる切替指示を入力部に入力するだけで、第２切替量が無用に大きくなることを抑制することが可能となる。そのため、相関関係が密接である対応画像の中に所望する対応画像が存在する場合など、必要に応じて第２切替量を容易に小さくすることが可能となる。

また、上記構成の画像表示装置において、前記切替指示が指示量を示し、当該指示量の増大に応じて前記第１切替量が増大するものであり、前記入力部に前記指示量が所定の大きさ以上となる切替指示が入力されるとき、前記第１切替量及び前記第２切替量にかかわらず、対応画像が属するカテゴリごとに切り替えられることとしても構わない。

このように構成すると、指示量が所定の大きさ以上となる切替指示を入力部に入力するだけで、対応画像をカテゴリ単位で切り替えることが可能となる。そのため、対応画像をカテゴリ単位で絞り込むことが可能となり、容易かつ迅速に所望の対応画像を表示させることが可能となる。

また、上記構成の画像表示装置において、前記第１切替量が、前記指示量の増大に伴い階段状に増大することとしても構わない。また、前記第１切替量が、前記指示量の増大に伴い線形または非線形に増大することとしても構わない。

また、上記構成の画像表示装置において、前記表示部が、相関関係が密接である対応画像の少なくとも２つを、１つの対応画像としてまとめて表示することとしても構わない。

このように構成すると、複数の対応画像がまとめて切り替えられることを、ユーザに直感させやすくすることが可能となる。なお、まとめて表示される対応画像の１つである代表対応画像が、まとめて表示されない他の対応画像と同様に表示されることとしても構わない。また、まとめて表示される対応画像が、まとめて表示されない他の対応画像と区別され得るように報知されることとしても構わない。

また、上記構成の画像表示装置において、前記表示部は、選択される対応画像が対応する画像データを再生するものであり、相関関係が密接である複数の対応画像の少なくとも１つが選択されたことで、前記表示部が、当該複数の対応画像のいずれか１つが対応する画像データを再生しているとき、前記入力部を介して切替指示とは異なる指示が入力される、または、前記入力部に所定の時間以上指示が入力されないと、再生していない当該複数の対応画像のいずれか１つが対応する画像データを、前記表示部が再生するように変更することとしても構わない。

このように構成すると、相関関係が密接である複数の対応画像が対応するそれぞれの画像データを、ユーザが容易に再生して確認することが可能となる。

また、上記構成の画像表示装置において、前記表示部は、相関関係が密接である複数の対応画像のいずれか１つを、当該複数の対応画像に含まれる他の対応画像よりも優先的に表示するものであり、前記入力部を介して切替指示とは異なる指示が入力される、または、前記入力部に所定の時間以上指示が入力されないと、優先的に表示していない当該複数の対応画像のいずれか１つを、前記表示部が優先的に表示するように変更することとしても構わない。

このように構成すると、相関関係が密接である複数の対応画像を、ユーザが容易に確認することが可能となる。

また、上記構成の画像表示装置において、前記表示部は、相関関係が密接である複数の対応画像のいずれか１つを、当該複数の対応画像に含まれる他の対応画像よりも優先的に表示するものであり、前記表示部は、当該複数の対応画像の中で、直近に選択された対応画像を優先的に表示することとしても構わない。

このように構成すると、ユーザが選択する可能性の高い対応画像を、優先的に表示することが可能となる。そのため、ユーザが容易に所望の対応画像を選択することが可能となる。

また、上記構成の画像表示装置において、相関関係が密接である複数の対応画像の少なくとも１つが選択されたとき、前記表示部が、当該複数の対応画像を別々に表示することとしても構わない。

このように構成すると、相関関係が密接である複数の対応画像を、ユーザが一度で容易に確認することが可能となる。

また、上記構成の画像表示装置において、前記入力部を介して切替指示とは異なる指示が入力される、または、前記入力部に所定の時間以上指示が入力されないことで、対応画像が選択されることとしても構わない。

また、上記構成の画像表示装置において、前記表示部が、前記入力部の操作方法を示す画像を表示することとしても構わない。

このように構成すると、ユーザは、表示部に表示される操作方法を示す画像を見ながら、操作部を操作することになる。そのため、ユーザが容易に表示部を所望の状態にすることが可能になる。

また、上記構成の画像表示装置において、対応画像が、撮像により得られる画像データに対応する画像であり、前記順番が、画像データの撮像時間順または撮像順であり、まとめて表示される対応画像の中で前記順番が最後となる対応画像を、前記代表対応画像としても構わない。

このように構成すると、失敗した撮像により得られた可能性が低い画像データの対応画像を、代表対応画像として表示することが可能となる。

また、上記構成の画像表示装置において、対応画像が、撮像により得られる画像データに対応する画像であり、画像データが示す画像の類否、撮像日時の時間差及び撮像場所の距離差の少なくとも一つに基づいて、相関関係が密接であるか否かが判定されることとしても構わない。

また、上記構成の画像表示装置において、画像データが示す画像が類似するほど、撮像日時の時間差が小さいほどまたは撮像場所の距離差が小さいほど、相関関係が密接であると判定されやすくなることとしても構わない。

また、本発明の画像表示方法は、所定の順番を有する対応画像を少なくとも１つ表示する第１ステップと、前記第１ステップで表示された対応画像を前記順番の順方向又は逆方向に沿って切り替えるための切替指示が入力される第２ステップと、前記第１ステップで表示した第１対応画像を切り替える第３ステップと、を備える画像表示方法であって、前記第３ステップで、前記第１対応画像と、少なくとも、前記第１ステップで前記順方向に沿って対応画像が切り替えられる場合は前記第１対応画像に対して前記順番が直後の対応画像であり、前記第１ステップで前記逆方向に沿って対応画像が切り替えられる場合は前記第１対応画像に対して前記順番が直前の対応画像である第２対応画像との相関関係が密接でない場合には、前記切替指示に応じて決まる第１切替量で対応画像を切り替え、当該相関関係が密接である場合には、前記第１切替量よりも大きい第２切替量で対応画像を切り替え、前記第１切替量及び前記第２切替量が、単位動作当たりまたは単位時間当たりに切り替えられる対応画像の数であることを特徴とする。

本発明によると、ユーザが容易かつ迅速に所望の画像データを選択することが可能となる。

は、本発明の実施形態における画像表示装置の構成の一例を示すブロック図である。 は、再生すべき画像データの捜索時における表示部の表示の一例を示す図である。 は、指示量と切替量との基本関係の一例を示すグラフである。 は、特徴ベクトルの算出方法の一例を示す図である。 は、特徴ベクトルの算出方法の一例を示す図である。 は、指示量と、相関関係が密接である対応画像を切り替える際に設定される切替量と、の関係の一例を示すグラフである。 は、対応画像及び順番の一例を示す図である。 は、第１表示例を示す図である。 は、第２表示例を示す図である。 は、第３表示例を示す図である。 は、第４表示例を示す図である。 は、切替制御の変形例について説明する指示量と切替量との関係の一例を示すグラフである。 は、種々の指示量が入力されたときの対応画像の切替例を示す図である。 は、対応画像の切替時に相関関係が密接であるか否かを判定して対応画像の切替を行う場合の動作を示すフローチャートである。 は、画像データの転送時に相関関係が密接であるか否かを判定する場合の動作を示すフローチャートである。 は、撮像時に相関関係が密接であるか否かを判定する場合の動作を示すフローチャートである。 は、相関関係が密接であるか否かが予め判定されている場合の対応画像の切替動作を示すフローチャートである。 は、複合対応画像の選択検出動作の第１例を示す図である。 は、複合対応画像の選択検出動作の第２例を示す図である。 は、複合対応画像の選択後動作の第１例を示す図である。 は、複合対応画像の選択後動作の第３例を示す図である。 は、複合対応画像の選択後動作の第５例を示す図である。 は、複合対応画像が選択される場合の動作の第１変形例を示す図である。 は、複合対応画像が選択される場合の動作の第３変形例を示す図である。 は、指示量と切替量との基本関係の別例を示すグラフである。 は、再生すべき画像データの捜索時における表示部の表示の別例を示す図である。

＜＜画像表示装置の概要＞＞
本発明の実施形態について、以下図面を参照して説明する。最初に、本発明における画像表示装置の概要について、図１を参照して説明する。図１は、本発明の実施形態における画像表示装置の構成の一例を示すブロック図である。

図１に示すように、画像表示装置１は、画像データを記録する画像記録部２と、ユーザの指示が入力される操作部３と、画像を表示する表示部４と、操作部３を介して入力されるユーザの各種指示に基づいて画像記録部２から必要な情報を読み出すとともに表示部４が表示する画像の制御を行う表示制御部５と、を備える。

画像表示装置１は、画像記録部２に記録されている画像データの中から再生すべき画像データをユーザに選択させる。このとき、表示制御部５は、画像データの対応画像（例えば、画像データ内に添付されたサムネイル画像や、表示制御部５が画像データを調整することで得られる画像（例えば、静止画の縮小画像または動画に含まれる１つのフレームの縮小画像））の少なくとも１つを、表示部４に表示させる。

画像記録部２に記録される画像データは、所定の順番を有している。例えば、撮像日時順、撮像順、名前順、ファイル形式順、ユーザが任意で設定した順番や、これらの順番の組み合わせなど、いかなる順番であっても構わない。なお、対応画像は画像データに対応するものであるため、画像データと同様の順番を有していると解釈することができる。また、順番のみに限られず、画像データが有する種々の関係（例えば、相関関係やカテゴリ）も、対応画像が有していると解釈することができる。以下では説明の簡略化のため、対応画像が画像データと同じ順番や関係を有するものとする。

再生すべき画像データを捜索している際の表示部４の表示の一例を、図２に示す。図２は、再生すべき画像データの捜索時における表示部４の表示の一例を示す図である。

図２（ａ）に示すように、本例では再生候補画像Ｃ１０と、前候補画像Ｂ１０と、次候補画像Ａ１０と、の３つの対応画像が表示部４に表示される。具体的には、再生候補画像Ｃ１０が表示部４の略中央に表示され、その両側に前候補画像Ｂ１０及び次候補画像Ａ１０が表示されるものとしている。なお、前候補画像Ｂ１０、再生候補画像Ｃ１０、次候補画像Ａ１０の順に、対応画像の順番が連続している。

ユーザが操作部３を介して「選択指示」を入力すると、再生候補画像Ｃ１０が対応する画像データが再生される。また、図２（ｂ）に示すように、ユーザが操作部３を介して「再生候補画像を１つ送る」旨の指示を入力すると、次候補画像Ａ１０が再生候補画像Ｃ１１になり、再生候補画像Ｃ１０が前候補画像Ｂ１１になり、次候補画像Ａ１０の次の順番の対応画像が次候補画像Ａ１１になる。また、図２（ｃ）に示すように、ユーザが操作部３を介して「再生候補画像を１つ戻す」旨の指示を入力すると、前候補画像Ｂ１０が再生候補画像Ｃ１２になり、再生候補画像Ｃ１０が次候補画像Ａ１２になり、前候補画像Ａ１０の前の順番の対応画像が前候補画像Ｂ１２になる。

再生候補画像Ｃ１０〜Ｃ１２は、前候補画像Ｂ１０〜Ｂ１２や次候補画像Ａ１０〜Ａ１２などの他の対応画像と区別し得るものであると好ましい。図２に示す例では、表示制御部５が各対応画像の大きさを調整して、再生候補画像Ｃ１０〜Ｃ１２が他の対応画像Ａ１０〜Ａ１２，Ｂ１０〜Ｂ１２よりも大きく表示されるようにしている。なお、これに加えて（または代えて）、例えば再生候補画像Ｃ１０〜Ｃ１２の外枠を他の対応画像Ａ１０〜Ａ１２，Ｂ１０〜Ｂ１２と異ならせて表示しても構わないし、他の方法で差異を表現しても構わない。

なお、画像表示装置１は、何らかの装置の一部（例えば、撮像装置のモニタ）としても解釈され得るものである。そのため、図１に示す各部は、他の用途のためにも使用され得る。また、対応画像は、画像データに添付されたサムネイル画像や縮小画像のみに限られず、文字画像やアイコンなどであっても構わないし、これらを組み合わせたものであっても構わない。

また、図２では「選択指示」入力時の再生候補画像Ｃ１０〜Ｃ１２に対応する画像データを再生することとしたが、これに加えて（または代えて）表示中の対応画像の中で、ユーザによって指定された任意の対応画像が対応する画像データが再生されることとしても構わない。また、例えば操作部３がタッチパネルであるとき、ユーザが、所望の対応画像が表示されている位置をタッチ（タップ）することで、当該対応画像を選択する選択指示が入力されることとしても構わない。また、例えば操作部３がトラックボールやキー（タッチパネル上に表示されるキーも含む。以下同じ。）であるとき、ユーザが操作部３を介して所定の対応画像を指定するとともに所定のキーを押下することで、当該対応画像を選択する選択指示が入力されることとしても構わないし、ユーザが所定のキーを押下することで、その時点で再生候補画像Ｃ１０〜Ｃ１２となっている対応画像を選択する選択指示が入力されることとしても構わない。

また、図２では表示部４に３つの対応画像が表示される場合について示したが、表示される対応画像を１つまたは２つとしても構わないし、４つ以上としても構わない。

＜＜対応画像の切替制御＞＞
次に、再生すべき画像データの捜索時における対応画像の切替制御の詳細について、図面を参照して説明する。

＜切替制御：基本＞
まず、切替制御の基本について、図面を参照して説明する。図３は、指示量と切替量との基本関係の一例を示すグラフである。

「指示量」とは、ユーザが操作部３を操作することで表示制御部５に入力される、切替指示の信号値である。原則的に、ユーザが操作部３の一回当たりの（または単位時間当たりの）操作量を大きくしたり、一回当たりの操作時間を長くしたりするほど、指示量は大きくなる。例えば、操作部３がタッチパネルであれば、ユーザが一度に大きくまたは速く一方向にスライドさせる（なぞる）ほど、指示量は大きくなる。また例えば、操作部３がキーであれば、ユーザがあるキーを時間的に長く押し続けるほど、指示量は大きくなる。また例えば、操作部３がトラックボールであれば、ユーザが一方向に速く回転させるほど、指示量は大きくなる。なお、これらは一例に過ぎず、指示量はどのように設定しても構わない。

「切替量」とは、操作部３から入力される指示量に基づいて表示制御部５により設定される値であり、表示部４に表示されている対応画像を切り替える量を示すものである。具体的に例えば、単位動作当たりまたは単位時間当たりに切り替えられる対応画像の数と定義することが可能である。ただし、以下では説明の具体化のため、切替量を、一回の切替動作で切り替えられる対応画像の数と定義し、かつ、整数値のみを取り得る（対応画像を画像単位で送るまたは戻す）ものとする。このように定義する場合、図２（ａ）から図２（ｂ）の状態になる場合の切替量は１となる。

図３（ａ）及び（ｂ）の各グラフは、横軸が１回の操作当たりまたは単位時間当たりの指示量、縦軸が切替量を示すものであり、指示量の増大に伴い切替量が階段状に増大するものである。ただし、図３（ａ）のグラフでは、切替量を１段階増大させるために必要となる指示量の増大量が、指示量の大きさによらず均一であるが、図３（ｂ）のグラフでは、切替量を１段階増大させるために必要となる指示量の増大量が、指示量が大きくなるほど小さくなる。また、図３（ａ）のグラフでは切替量に上限値が無いが、図３（ｂ）のグラフでは切替量に上限値があり、ある指示量以上では切替量が一定となる。

なお、図３（ａ）及び（ｂ）に示す基本関係は一例に過ぎず、他のものとしても構わない。例えば、図３（ａ）のグラフにおいて切替量に上限値を設けても構わないし、図３（ｂ）のグラフにおいて切替量に上限値を設けないこととしても構わない。

また、対応画像を切り替える際に、切替前後の状態のみをユーザに見せるだけでなく、切替の経過（順次対応画像が送られるまたは戻される、動的な様子）をユーザに見せることとしても構わない。このように構成すると、ユーザが切替の内容を容易に認識することができるため、好ましい。

＜切替制御：相関関係が密接である対応画像＞
原則的に、図３（ａ）または（ｂ）に示すような基本関係に従って設定される切替量により、対応画像の切り替えが行われる。しかしながら、本実施形態の画像表示装置１では、相関関係が密接である（例えば、後述する画像データの相関度が閾値以上となる）対応画像を送るまたは戻すときに、上述の基本関係に従わない切替量が設定される。以下、相関関係が密接である対応画像を切り替える場合の切替制御について、図面を参照して説明する。

［相関度の算出］
まず、相関度の算出方法例について説明する。相関度は、複数の画像データの各種情報を比較することにより算出される。なお、順番が連続する２つの画像データから相関度を算出しても構わないし、順番が連続する３つ以上の画像データから相関度を算出しても構わない。

相関度は、例えば画像データの撮像日時、撮像場所、画像データによって示される画像（例えば、静止画または動画に含まれる１つのフレーム。以下、単に画像とも呼ぶ）の類似度、ユーザによる設定や、これらを総合的に判断した結果など、画像データの各種情報を用いて算出することができる。具体的に例えば、撮像日時が近いほど、撮像場所が近いほど、画像が類似している（例えば、画像の類似度が大きい）ほど、相関度が大きくなるものとする。

画像データの撮像日時を用いて相関度を算出する場合、例えば撮像時に画像データの一部として記録される撮像日時を用いることができる。なお、相関度を算出するそれぞれの画像データの撮像日時の時間差が、所定の時間である基準時間よりも小さくなる場合に、相関度が特に大きくなるようにしても構わない。

撮像場所を用いる場合、例えばＧＰＳ（Global Positioning System）を備える撮像装置で撮像した際に画像データの一部として記録される撮像場所を用いることができる。なお、相関度を算出するそれぞれの画像データの撮像場所の距離差が、所定の距離である基準距離よりも小さくなる場合に、相関度が特に大きくなるようにしても構わない。

また、画像の類似度を算出する方法について、以下説明する。画像の類似度は、種々の観点から算出することが可能である。以下では、類似度を算出する第１〜第３の方法についてそれぞれ説明する。なお、第１〜第３の方法のいずれかを用いて類似度を算出しても構わないし、これらを組み合わせて類似度を算出しても構わないものとする。

まず、第１の方法として、画像内の人数に基づいて類似度を算出する方法について説明する。本方法は、例えば類似度を算出するそれぞれの画像に対して顔検出を行い、それぞれの画像から検出される顔の数（人数）を算出する。そして、それぞれの画像から算出される人数が略等しいものであれば、類似度を大きくする。なお、それぞれの画像から算出される人数が０人で等しくなる場合も、類似度を大きくする。

顔検出を行う場合、公知の種々の技術を適用することが可能である。例えば、Adaboost（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用しても構わない。この方法では、大量の教師サンプル（顔及び非顔のサンプル画像）を識別することで重み付けされた複数の弱識別器により、動画のフレーム中の各部を順次識別することで顔を検出する。

次に、第２の方法として、画像内に含まれる人物が同一人物であるか否かに基づいて類似度を算出する方法について説明する。本方法は、例えば類似度を算出するそれぞれの画像に対して顔認識を行い、それぞれの画像から同一人物が検出されるか否かを判定する。そして、それぞれの画像から同一人物が検出されれば、類似度を大きくする。

顔認識を行う場合、公知の種々の技術を適用することが可能である。例えば、予め記録しておいた特定人物のサンプル画像と、顔検出により画像から検出された人物の顔と、を比較することで行っても構わない。また例えば、それぞれの画像から検出された人物の顔同士を比較することで行っても構わない。

また、第３の方法として、画像の特徴量を表す「特徴ベクトル」を利用して類似度を算出する方法について、図面を参照して説明する。以下では、画像の全体から人物領域を除いた領域である背景領域の特徴ベクトルを用いて特徴ベクトルを算出する方法を例示して説明する。なお、人物領域は、例えば上述のような顔検出により検出された顔領域の位置及び大きさに基づいて、人が含まれる領域を推定することにより算出することができる。また、画像に人が含まれない場合、画像全体を背景領域としても構わない。

図４及び図５は、特徴ベクトルの算出方法の一例を示す図である。図４に示す画像１００は、複数の画素が水平及び垂直方向に配列された二次元画像である。フィルタ１１１〜１１５は、画像１００中の注目画素１０１を中心とする小領域（例えば、３×３画素の画像１００中の領域）のエッジを抽出するエッジ抽出フィルタである。エッジ抽出フィルタとして、エッジ抽出に適した任意の空間フィルタ（例えば、ソーベルフィルタやプレウィットフィルタなどの微分フィルタ）を用いることができる。ただし、フィルタ１１１〜１１５は互いに異なるものとする。なお、図４ではフィルタ１１１〜１１５のフィルタサイズ及びフィルタを作用させる小領域を３×３画素として例示したが、５×５画素などの他の大きさにしても構わない。また、使用するフィルタの数を５以外の数としても構わない。

フィルタ１１１、１１２、１１３及び１１４は、それぞれ画像１００の水平方向、垂直方向、右斜方向及び左斜方向に伸びるエッジを抽出し、抽出したエッジの強度の表すフィルタ出力値を出力する。フィルタ１１５は、水平方向、垂直方向、右斜方向及び左斜方向に分類されない方向に伸びるエッジを抽出し、抽出したエッジの強度を表すフィルタ出力値を出力する。

エッジの強度は、画素信号（例えば輝度信号）の勾配の大きさを表す。例えば、画像１００の水平方向に伸びるエッジが存在している場合、水平方向に直交する方向である垂直方向において、画素信号に比較的大きな勾配が生じる。また例えば、注目画素１０１を中心とした小領域にフィルタ１１１を作用させて空間フィルタリングを行えば、注目画素１０１を中心とした小領域の垂直方向に沿った画素信号の勾配の大きさがフィルタ出力値として得られる。なお、フィルタ１１２〜１１５についても同様である。

画像１００上のある画素を注目画素１０１とした状態で、フィルタ１１１〜１１５を当該注目画素１０１を中心とした小領域に作用させることで、５つのフィルタ出力値が得られる。この５つのフィルタ出力値の内、最大のフィルタ出力値を採用フィルタ値として抽出する。最大のフィルタ出力値がフィルタ１１１〜１１５からのフィルタ出力値であるときの採用フィルタ値を、それぞれ、第１〜第５の採用フィルタ値と呼ぶ。したがって例えば、最大のフィルタ出力値がフィルタ１１１からのフィルタ出力値である時、採用フィルタ値は第１の採用フィルタ値となり、最大のフィルタ出力値がフィルタ１１２からのフィルタ出力値である時、採用フィルタ値は第２の採用フィルタ値となる。

注目画素１０１の位置は、例えば、画像１００の背景領域内を水平方向および垂直方向に１画素ずつ移動させられ、移動のたびにフィルタ１１１〜１１５のフィルタ出力値を取得することで採用フィルタ値を決める。画像１００の背景領域内のすべての画素に対して採用フィルタ値を決めた後、図５に示すような第１〜第５の採用フィルタ値のヒストグラム１２１〜１２５を個別に作成する。

第１の採用フィルタ値のヒストグラム１２１は、画像１００から得られた第１の採用フィルタ値のヒストグラムであり、図５に示す例ではそのヒストグラムの階級の数を１６としている（ヒストグラム１２２〜１２５についても同様）。この場合、１つのヒストグラムから１６個の度数データが得られるため、ヒストグラム１２１〜１２５から８０個の度数データが得られる。この８０個の度数データのそれぞれを要素とする８０次元のベクトルを、形状ベクトルＨ_Ｅとして求める。形状ベクトルＨ_Ｅは、画像１００内に存在する物体の形状に応じたベクトルである。

一方、画像１００の背景領域内の色の様子を表す色ヒストグラムを作成する。例えば、画像１００を形成する各画素の画素信号が、赤色の強度を表すＲ信号、緑色の強度を表すＧ信号、青色の強度を表すＢ信号から構成されている場合、画像１００の背景領域内のＲ信号値のヒストグラムＨＳＴ_Ｒ、Ｇ信号値のヒストグラムＨＳＴ_Ｇ、Ｂ信号値のヒストグラムＨＳＴ_Ｂを、画像１００についての色ヒストグラムとして作成する。例えば、各色ヒストグラムの階級の数を１６とすると、色ヒストグラムＨＳＴ_Ｒ、ＨＳＴ_Ｇ及びＨＳＴ_Ｂから４８個の度数データが得られる。色ヒストグラムから得られた度数データのそれぞれを要素とするベクトル（例えば、４８次元のベクトル）を、色ベクトルＨ_Ｃとして求める。

画像１００の特徴ベクトルをＨにて表した場合、特徴ベクトルＨは、
式「Ｈ＝ｋ_Ｃ×Ｈ_Ｃ＋ｋ_Ｅ×Ｈ_Ｅ」
によって定められる。ここで、ｋ_Ｃ及びｋ_Ｅは予め定められた係数である（ただし、ｋ_Ｃ≠０かつｋ_Ｅ≠０）。したがって、画像１００についての特徴ベクトルＨは、画像１００内の物体の形状及び色に応じた画像特徴量である。

上述のようにして算出される特徴ベクトルＨを用いた類似度の算出方法について、説明する。例えば、類似度を算出しようとする画像が２つであるとき、最初にそれぞれの画像の特徴ベクトルＨ_１，Ｈ_２を算出する。そして、特徴ベクトルＨ_１，Ｈ_２を、特徴ベクトルＨが定義されるべき空間に配置する。この際、特徴ベクトルＨ_１，Ｈ_２の始点を原点に配置し、特徴空間における特徴ベクトルＨ_１の終点と特徴ベクトルＨ_２の終点との距離（ユークリッド距離）を算出する。そして、この距離が小さいほど類似度が大きくなるように、類似度を算出する。なお、この距離が、所定の距離である基準距離よりも小さくなる場合に、特に類似度が大きくなるようにしても構わない。

なお、ＭＰＥＧ（Moving Picture Experts Group）７において、画像の特徴ベクトルＨ（特徴量）の導出に５つのエッジ抽出フィルタが用いられているが、この５つのエッジ抽出フィルタを、フィルタ１１１〜１１５に適用しても構わない。さらに、ＭＰＥＧ７に規定された方法を画像１００に適用することで、画像１００の特徴ベクトルＨ（特徴量）を導出するようにしても構わない。また、形状及び色の一方の特徴量のみを用いて特徴ベクトルＨを算出しても構わない。

また、画像記録部２に記録される画像データが、予め相関度が算出されているものとしても構わないし、表示部４に表示している対応画像を切り替える際に、表示制御部５が相関度を算出することとしても構わない。なお、相関度を算出する（相関関係が密接であるか否かを判定する）タイミングの詳細については後述する。

［切替量］
次に、切り替えようとする対応画像の相関関係が密接である場合に設定される切替量について、図面を参照して説明する。図６は、指示量と、相関関係が密接である対応画像を切り替える際に設定される切替量と、の関係の一例を示すグラフであり、基本関係について示した図３に相当するものである。

ここで、切り替えようとする対応画像の相関関係が密接である場合とは、例えば、現在の再生候補画像が対応する画像データと、当該画像データに対して順番が前または後（戻す場合は前、送る場合は後）となる画像データ（即ち、現在の再生候補画像の少なくとも次に再生候補画像となる対応画像の画像データ）と、の相関関係が密接である場合である。具体的に例えば、少なくとも、現在の再生候補画像が対応する画像データと、当該画像データに対して順番が直前または直後となる画像データと、の相関関係が密接である場合である。なお、切り替えようとする対応画像の相関関係が密接でない場合とは、上記の画像データの相関関係が密接でない場合である。

相関関係が密接でない対応画像を切り替える場合、上述の基本関係に従って切替量が設定される。具体的に例えば、図６（ａ）及び（ｂ）に示すように、ある指示量Ｄに対して切替量Ｅ１，Ｅ２が設定される。しかしながら、相関関係が密接である対応画像を切り替える場合は、上述の基本関係には従わず、切替量Ｅ１，Ｅ２とは異なる方法で決められる切替量ＥＣが設定される。

以上のように構成すると、対応画像の相関関係が密接であるか否かによって、対応画像の切替方法を異ならせることが可能となる。そのため、対応画像に応じた切替を行うことが可能となる。特に、相関関係が密接である対応画像を切り替える際の切替量を大きくすることで、相関関係が密接である対応画像を迅速に切り替えることが可能となる。そのためユーザは、所望しない対応画像を容易かつ迅速に切り替えることにより、所望する対応画像を容易かつ迅速に表示させることが可能となる。したがって、ユーザが容易かつ迅速に所望の画像データを選択することが可能となる。

［表示例］
以下、表示部４に表示される対応画像を切り替える場合の表示の具体例（第１〜第４表示例）について、図面を参照して説明する。図７は、対応画像及び順番の一例を示す図である。図７に示す対応画像２０１の順番は１、対応画像２０２の順番は２、対応画像２０３の順番は３、対応画像２０４の順番は４、対応画像２０５の順番は５、対応画像２０６の順番は６、対応画像２０７の順番は７である。

また、対応画像２０３及び対応画像２０４は、相関関係が密接であると判定され得るものである。同様に、対応画像２０４及び対応画像２０５も、相関関係が密接であると判定され得るものである。そのため、対応画像２０３〜２０５は、相関関係が密接であると判定され得るものとなっている。なお、対応画像２０３〜２０５が対応するそれぞれの画像データが直接的に比較された結果、それぞれの対応画像２０３〜２０５は相関関係が密接であると判定され得るものであっても構わない。

また、以下に説明する第１〜第４表示例では、特に言及することがない限り、対応画像２０１〜２０７の相関関係が密接であるか否かが、切替前（例えば、撮像時や転送時、詳細は後述）に予め求められているものとする。

｛第１表示例｝
図８は、第１表示例を示す図である。なお、図８に示す例は、図２に示す表示方法と同様の表示方法で対応画像を表示するものである。

図８（ａ）の状態では、対応画像２０１が前候補画像Ｂ２０、対応画像２０２が再生候補画像Ｃ２０、対応画像２０３が次候補画像Ａ２０となる。この状態から、図６に示す指示量Ｄの切替指示が順次入力されて、対応画像が順次送られる場合を想定し、以下説明する。

上述のように、対応画像２０２（再生候補画像Ｃ２０）及び対応画像２０３（次候補画像Ａ２０）は、相関関係が密接でない。そのため、図８（ａ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量Ｅ１，Ｅ２（本例では１とする）だけ対応画像が送られることになり、図８（ｂ）の状態となる。図８（ｂ）の状態とは、対応画像２０２が前候補画像Ｂ２１、対応画像２０３が再生候補画像Ｃ２１、対応画像２０４が次候補画像Ａ２１となる状態である。

ここで、上述のように対応画像２０３（再生候補画像Ｃ２１）、対応画像２０４（次候補画像Ａ２１）及び対応画像２０５は、相関関係が密接である。そのため、図８（ｂ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量ＥＣだけ対応画像が切り替えられる。本例では切替量ＥＣが、相関関係が密接である対応画像２０３〜２０５の全てが切り替えられる大きさ（本例では３）になるものとしている。

この場合、図８（ｂ）の状態から、図８（ｃ）の状態を経て図８（ｄ）の状態になる。図８（ｄ）の状態とは、対応画像２０５が前候補画像Ｂ２２、対応画像２０６が再生候補画像Ｃ２２、対応画像２０７が次候補画像Ａ２２となる状態である。図８（ｃ）の状態とは、図８（ｂ）の状態から図８（ｄ）の状態に至る経過状態であり、対応画像２０３が前候補画像、対応画像２０４が再生候補画像、対応画像２０５が次候補画像となる状態と、さらにその後に対応画像２０４が前候補画像、対応画像２０５が再生候補画像、対応画像２０６が次候補画像となる状態と、である。

上記のように表示及び切替を行うこととすると、ユーザには、対応画像２０３〜２０５が高速で切り替えられたように見える。

なお、本表示例において切替時に相関関係が密接であるか否かを判定する場合、計算量や計算速度などの都合上、再生候補画像と、順番がその前または後（戻す場合は前、送る場合は後）の数個分の対応画像と、の相関関係以外は判定することが困難となる場合がある。この場合、例えば、切替量ＥＣを指示量Ｄに応じた値や所定の値としても構わない。また、事前に相関関係が密接であるか否かを判定する場合であっても、切替量ＥＣを、指示量Ｄに応じた値や所定の値にしても構わない。

ところで、切替量ＥＣを指示量Ｄに応じた値や所定の値とすると、相関関係が密接である対応画像２０３〜２０５の一部が一度に送られない（即ち、図８（ｃ）のいずれかの状態で１回分の切替が終了する）状態が生じたり、再生候補画像Ｃ２１（対応画像２０３）と相関関係が密接でない対応画像２０６や２０７までも一度に送られたりする状態が生じ得る。画像データの捜索上、後者の状態が生じると、対応画像の見落としが発生し得るため問題となる。しかしながら、切替量ＥＣの値を、相関関係が密接であるか否かを判定することができる対応画像の数の範囲内として、かつ相関関係が密接であると判定された対応画像を全て切り替える値とすると、この問題となる状態が生じることを防止することができる。

｛第２表示例｝
図９は、第２表示例を示す図であり、第１表示例について示した図８に相当するものである。なお、図８と同様に図９に示す例も、図２に示す表示方法と同様の表示方法で対応画像を表示するものである。

図９（ａ）の状態では、対応画像２０１が前候補画像Ｂ３０、対応画像２０２が再生候補画像Ｃ３０となる。ただし、図９（ａ）の状態では、相関関係が密接である対応画像２０３〜２０５を重ねて１つにまとめた対応画像が、次候補画像Ａ３０となる。この状態から、図６に示す指示量Ｄの切替指示が順次入力されて、対応画像が順次送られる場合を想定し、以下説明する。

上述のように、対応画像２０２（再生候補画像Ｃ３０）及び対応画像２０３〜２０５（次候補画像Ａ２０）は、相関関係が密接でない。そのため、図９（ａ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量Ｅ１，Ｅ２（本例では１とする）だけ対応画像が送られることになり、図９（ｂ）の状態となる。図９（ｂ）の状態とは、対応画像２０２が前候補画像Ｂ３１、対応画像２０３〜２０５を重ねて１つにまとめた対応画像が再生候補画像Ｃ３１、対応画像２０６が次候補画像Ａ３１となる状態である。

ここで、上述のように対応画像２０３〜対応画像２０５（再生候補画像Ｃ３１）は、相関関係が密接である。そのため、図９（ｂ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量ＥＣだけ対応画像が切り替えられる。本例では、切替量ＥＣが、相関関係が密接である対応画像２０３〜２０５の全てが切り替えられる大きさ（本例では３）になるものとしている。

この場合、図９（ｂ）の状態から、図９（ｃ）の状態になる。図９（ｃ）の状態とは、対応画像２０３〜２０５を重ねて１つにまとめた対応画像が前候補画像Ｂ３２、対応画像２０６が再生候補画像Ｃ３２、対応画像２０７が次候補画像Ａ３２となる状態である。

上記のように表示及び切替を行うこととすると、ユーザには、対応画像２０３〜２０５がまとまって送られたように見える。

本例では、対応画像２０３〜２０５を重ねて１つにまとめた対応画像中で、１つの代表対応画像（対応画像２０５）を他の対応画像と同様に表示する。代表対応画像として、対応顔図２０３〜２０５のいずれを用いても構わないが、本例では、順番が最後となる対応画像２０５を代表対応画像としている。例えば、順番を撮像時間順や撮像順にする場合、順番が最後となる画像データは、撮像者が満足した撮像により得られた画像データである可能性が高いため、失敗した撮像により得られた画像データである可能性が低い。そのため、順番が最後となる対応画像を代表対応画像にすることで、対応画像をサムネイル画像や縮小画像で構成する場合に、相関関係が密接である対応画像全体をユーザに把握させやすくすることが可能となる。

なお、対応画像２０３〜２０５を重ねて１つにまとめた対応画像が、対応画像の切り替えの有無にかかわらず、常時まとまった状態で表示されることとしても構わないし、画像を切り替えないときに、それぞれの対応画像２０３〜２０５がまとまらずに分離して表示されることとしても構わない。

｛第３表示例｝
図１０は、第３表示例を示す図であり、第１及び第２表示例について示した図８及び図９に相当するものである。なお、図８及び図９と同様に図１０に示す例も、図２に示す表示方法と同様の表示方法で対応画像を表示するものである。

図１０（ａ）の状態では、対応画像２０１が前候補画像Ｂ４０、対応画像２０２が再生候補画像Ｃ４０、対応画像２０３が次候補画像Ａ４０となる。この状態から、図６に示す指示量Ｄの切替指示が順次入力されて、対応画像が順次送られる場合を想定し、以下説明する。

上述のように、対応画像２０２（再生候補画像Ｃ４０）及び対応画像２０３（次候補画像Ａ４０）は、相関関係が密接でない。そのため、図１０（ａ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量Ｅ１，Ｅ２（本例では１とする）だけ対応画像が送られることになり、図１０（ｂ）の状態となる。図１０（ｂ）の状態とは、対応画像２０２が前候補画像Ｂ４１、対応画像２０４が再生候補画像Ｃ４１、対応画像２０４及び２０５を組み合わせて１つにまとめた対応画像が次候補画像Ａ４１となる状態である。

ここで、上述のように対応画像２０３（再生候補画像Ｃ４１）と、対応画像２０４及び２０５（次候補画像Ｃ４１）とは、相関関係が密接である。そのため、図１０（ｂ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量ＥＣだけ対応画像が切り替えられる。本例では、切替量ＥＣが、相関関係が密接である対応画像２０３〜２０５の全てが切り替えられる大きさ（本例では３）になるものとしている。

この場合、図１０（ｂ）の状態から、図１０（ｃ）の状態を経て図１０（ｄ）の状態になる。図１０（ｄ）の状態とは、対応画像２０４及び２０５を組み合わせて１つにまとめた対応画像が前候補画像Ｂ４２、対応画像２０６が再生候補画像Ｃ４２、対応画像２０７が次候補画像Ａ４２となる状態である。図１０（ｃ）の状態とは、図１０（ｂ）の状態から図１０（ｄ）の状態に至る経過状態であり、対応画像２０３が前候補画像、対応画像２０４及び２０５を組み合わせて１つにまとめた対応画像が再生候補画像、対応画像２０６が次候補画像となる状態である。

上記のように表示及び切替を行うこととすると、ユーザには、対応画像２０３〜２０５がまとまって送られるように見える。

本表示例では、相関関係が密接である対応画像２０３〜２０５の中で順番が最初である対応画像２０３をまとめずにそのまま表示し、対応画像２０４及び２０５は組み合わせて１つにまとめた対応画像として表示する。順番が最初である対応画像２０３をそのまま表示すると、１つにまとめられた対応画像が、先行する対応画像２０３に関連することをユーザに把握させやすくすることが可能となる。

なお、対応画像２０４及び２０５を組み合わせて１つにまとめた対応画像が、対応画像の切り替えの有無にかかわらず、常時まとまった状態で表示されることとしても構わないし、画像を切り替えないときに、それぞれの対応画像２０４及び２０５がまとまらずに分離して表示されることとしても構わない。

また、上述の第２表示例と同様に、対応画像２０３〜２０５を組み合わせて１つの対応画像としても構わないし、対応画像２０４及び２０５を重ねて１つの対応画像としても構わない。また、まとめずにそのまま表示する対応画像を対応画像２０５として、対応画像２０３及び対応画像２０４を組み合わせて１つの対応画像としても構わない。

｛第４表示例｝
図１１は、第４表示例を示す図であり、第１〜第３表示例について示した図８〜図１０に相当するものである。なお、図８〜図１０と同様に図１１に示す例も、図２に示す表示方法と同様の表示方法で対応画像を表示するものである。

図１１（ａ）の状態では、対応画像２０１が前候補画像Ｂ５０、対応画像２０２が再生候補画像Ｃ５０となる。ただし、図１１（ａ）の状態では、相関関係が密接である対応画像２０３〜２０５のいずれか１つを表示して（いずれか１つ以外の表示を省略して）１つにまとめた対応画像が、次候補画像Ａ５０となる。この状態から、図６に示す指示量Ｄの切替指示が順次入力されて、対応画像が順次送られる場合を想定し、以下説明する。

上述のように、対応画像２０２（再生候補画像Ｃ５０）及び対応画像２０３〜２０５（次候補画像Ａ５０）は、相関関係が密接でない。そのため、図１１（ａ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量Ｅ１，Ｅ２（本例では１とする）だけ対応画像が送られることになり、図１１（ｂ）の状態となる。図１１（ｂ）の状態とは、対応画像２０２が前候補画像Ｂ５１、対応画像２０３〜２０５のいずれか１つを表示して１つにまとめた対応画像が再生候補画像Ｃ５１、対応画像２０６が次候補画像Ａ５１となる状態である。

ここで、上述のように対応画像２０３〜２０５（再生候補画像Ｃ３１）は、相関関係が密接である。そのため、図１１（ｂ）の状態で指示量Ｄの切替指示が入力されると、図６に示す切替量ＥＣだけ対応画像が切り替えられる。本例では、切替量ＥＣが、相関関係が密接である対応画像２０３〜２０５の全てが切り替えられる大きさ（本例では３）になるものとしている。

この場合、図１１（ｂ）の状態から、図１１（ｃ）の状態になる。図１１（ｃ）の状態とは、対応画像２０３〜２０５のいずれか１つを表示して１つにまとめた対応画像が前候補画像Ｂ５２、対応画像２０６が再生候補画像Ｃ５２、対応画像２０７が次候補画像Ａ５２となる状態である。

上記のように表示及び切替を行うこととすると、ユーザには、対応画像２０３〜２０５がまとまって送られたように見える。

本例では、対応画像２０３〜２０５のいずれか１つを表示して１つにまとめた対応画像中で、表示する１つの代表対応画像を、対応画像２０５としている。代表対応画像として、対応画像２０３〜２０５のいずれを用いても構わないが、第２表示例において述べたように、順番が最後となる対応画像を代表対応画像にすると、相関関係が密接である対応画像全体をユーザに把握させやすくすることが可能となる。

また、本表示例の対応画像２０３〜２０５のいずれか１つを表示して１つにまとめた対応画像は、そのまま表示すると他の対応画像と区別することが困難となるため、何らかの方法で報知すると好ましい。例えば、図１１に示すように他の対応画像よりも枠を太くして表示したり、枠の色やデザインを異ならせて表示したりすることで報知しても構わないし、アイコンなどを付加して表示することで報知しても構わない。

なお、対応画像２０３〜２０５のいずれか１つを表示して１つにまとめた対応画像が、対応画像の切り替えの有無にかかわらず、常時まとまった状態で表示されることとしても構わないし、画像を切り替えないときに、それぞれの対応画像２０３〜２０５がまとまらずに分離して表示されることとしても構わない。

また、第４表示例に限らず、第１〜第３表示例においても、相関関係が密接である対応画像２０３〜２０５を直接的（第１表示例）または間接的（第２及び第３表示例）に表示する対応画像が、上述の報知を行うこととしても構わない。

＜切替制御の変形例＞
以下、相関関係が密接である対応画像を切り替える場合の切替制御の変形例について、図面を参照して説明する。図１２は、切替制御の変形例について説明する指示量と切替量との関係の一例を示すグラフであり、基本関係について示した図３や、切替制御の一例について示した図６に相当するものである。

図１２（ａ）及び（ｂ）に示すように、本変形例では、閾値Ｄｔｈ１以下となる指示量Ｄ１が入力されると、切り替えようとする対応画像の相関関係が密接であるか否かにかかわらず、基本関係に従った切替量Ｅ１１，Ｅ２１が設定される（換言すると、切替量ＥＣが、切替量Ｅ１１，Ｅ２１に等しくなる）。

また、閾値Ｄｔｈ１より大きく、閾値Ｄｔｈ２より小さい指示量Ｄ２が入力されると、上述の図６に示した切替制御の一例と同様となる。即ち、切り替えようとする対応画像の相関関係が密接でなければ、基本関係に従って切替量Ｅ１２，Ｅ２２が設定され、切り替えようとする対応画像の相関関係が密接であれば、基本関係に従わずに切替量Ｅ１２，Ｅ２２以上となる切替量ＥＣが設定される。

また、本変形例では、閾値Ｄｔｈ２以上となる指示量Ｄ３が入力されると、次のカテゴリの画像までジャンプすることとする。「カテゴリ」とは例えば、画像データの撮像日や撮像場所、撮像が行われたイベントなどが同一となるグループである。また「ジャンプ」とは、次のカテゴリに属する対応画像（例えば、カテゴリ内で順番が最初となる対応画像）まで切り替えることである。そのため、ジャンプをする場合、例えば現在の再生候補画像のカテゴリ内の順番（ｘ）と、当該カテゴリに属する対応画像の数（ｙ）と、に基づいた切替量（ｙ−ｘ＋１）が設定される。

図１２（ａ）及び（ｂ）に示す指示量Ｄ１〜Ｄ３のそれぞれが表示制御部５に継続して入力される場合の対応画像の切替の具体例について、図面を参照して説明する。図１３は、種々の指示量が入力されたときの対応画像の切替例を示す図である。

図１３に示す対応画像３０１の順番は１、対応画像３０２の順番は２、対応画像３０３の順番は３、対応画像３０４の順番は４、対応画像３０５の順番は５、対応画像３０６の順番は６、対応画像３０７の順番は７、対応画像３０８の順番は８である。また、対応画像３０４及び対応画像３０５、対応画像３０５及び対応画像３０６、対応画像３０６及び対応画像３０７、のそれぞれは相関関係が密接であると判定され得るものである。そのため、対応画像３０４〜３０７は相関関係が密接であると判定され得るものとなっている。なお、対応画像３０４〜３０７がそれぞれ対応する画像データが直接的に比較された結果、それぞれの対応画像３０４〜３０７の相関関係が密接であると判定され得るものであっても構わない。

また、対応画像３０１及び３０２、対応画像３０３、対応画像３０４〜３０７、対応画像３０８は、それぞれ同じカテゴリに属するものとする。図１３では、カテゴリを破線で示している。

また図１３では、対応画像３０１を起点として、順番に沿って対応画像が切り替えられる状態を示している。ただし、説明の簡略化のため、図８〜図１１とは異なり、１つの対応画像（例えば、再生候補画像）の切替（送り）のみに着目することとする。

指示量Ｄ１が入力される場合、基本関係に従った切替量Ｅ１１，Ｅ１２が設定される。図１３に示す例では、対応画像が１ずつ送られるものとしている（Ｅ１１，Ｅ１２＝１）。そのため、指示量Ｄ１が入力される度（操作部３がユーザに操作される度）に、対応画像３０１から対応画像３０８まで１ずつ順番に送られる。

このとき、対応画像３０４と、順番が対応画像３０４の後となる対応画像３０５と、は相関関係が密接であるが、上述の通り基本関係に従った切替量Ｅ１１，Ｅ１２が設定される。そのため、対応画像３０４，３０５は１ずつ送られることとなる（対応画像３０６，３０７が送られる場合も同様）。

指示量Ｄ２が入力されて対応画像３０１が送られる場合、対応画像３０１と、対応画像３０１の後となる対応画像３０２と、は相関関係が密接でないため、基本関係に従った切替量Ｅ１２，Ｅ２２が設定される（対応画像３０３が送られる場合も同様）。図１３に示す例では、対応画像が２ずつ送られるものとしている（Ｅ２１，Ｅ２２＝２）。

一方、指示量Ｄ２が入力されて対応画像３０５が送られる場合、対応画像３０５と、順番が対応画像３０５の後となる対応画像３０６，３０７と、は相関関係が密接であるため、上述の通り基本関係に従わない切替量ＥＣが設定される。図１３に示す例では、上述した第１〜第４表示例と同様に、切替量ＥＣが、相関関係が密接である対応画像３０５〜３０７の全てが送られる大きさ（本例では３）になるものとしている。

指示量Ｄ３が入力される場合、対応画像がカテゴリ毎に送られる。特に、指示量Ｄ３が入力される度（操作部３がユーザに操作される度）に、次のカテゴリに属する対応画像のうち順番が最初である対応画像まで送られる。即ち、図１３に示す例では、対応画像３０１，３０３，３０４，３０８の順に送られることとなる。

上述のように、閾値Ｄｔｈ１以下となる指示量Ｄ１が入力されるときに、切り替えようとする対応画像の相関関係が密接であるか否かにかかわらず、基本関係に従う切替量Ｅ１１，Ｅ１２を設定することとすると、相関関係が密接である対応画像３０４〜３０７のそれぞれを切り替える（例えば、再生候補画像にする）ことが可能となる。したがって、対応画像３０４〜３０７が対応するそれぞれの画像データの中に、選択すべき画像データが存在する場合でも、指示量を小さくする（例えば、ユーザが操作部３の一回当たりの（または単位時間当たりの）操作量を小さくしたり、一回当たりの操作時間を短くしたりする）だけで、容易に当該画像データを選択することが可能となる。

また、閾値Ｄｔｈ２以上となる指示量Ｄ３が入力されるときに、対応画像をカテゴリ毎に切り替えることとすると、例えば捜索の初期において、選択すべき画像データの絞り込みを行うことが可能となる。そのため、画像データを容易かつ迅速に選択することが可能となる。

なお、閾値Ｄｔｈ２を設けないこととしても構わない。このとき、閾値Ｄｔｈ１よりも大きい指示量が入力され、切り替えようとする対応画像の相関関係が密接でない場合であれば、基本関係に従う切替量が設定され、相関関係が密接である場合であれば、基本関係に従わない切替量ＥＣが設定されることとしても構わない。

また、閾値Ｄｔｈ１，Ｄｔｈ２は、どのような値としても構わない。特に、図１２（ａ）に示すように、階段状となる基本関係の段差部分と異なる値としても構わないし、図１２（ｂ）に示すように、階段状となる基本関係の段差部分と等しい値としても構わない。

また、上述の第２〜第４表示例にも、本変形例は適用され得る。この場合例えば、少なくとも閾値Ｄｔｈ１以下となる指示量が入力されるときは、１つにまとまっていた対応画像がそれぞれの対応画像に分離されて、それぞれ表示及び切替が行われることとしても構わない。

＜相関の有無を求めるタイミング＞
次に、上述した対応画像の相関関係が密接であるか否かを判定するタイミングについて、図面を参照して説明する。

［切替時］
図１４は、対応画像の切替時に相関関係が密接であるか否かを判定して対応画像の切替を行う場合の動作を示すフローチャートである。図１４に示す動作は、例えば画像表示装置１において画像データを再生しようとする場合に行われる動作であり、ユーザが操作部３を１回操作する際に行われるものである。

図１４に示すように、最初に、ユーザが操作部３を操作することにより、画像表示装置１に切替指示が入力される（ＳＴＥＰ１）。このとき、表示制御部５が上述した指示量を確認する。また、表示制御部５は、切替前の対応画像（例えば、ＳＴＥＰ１の時点での再生候補画像、または、ＳＴＥＰ２の時点での再生候補画像）と、当該対応画像よりも順番が前または後となる切替候補の対応画像（例えば、ＳＴＥＰ２の時点での前候補画像または次候補画像）と、の相関関係が密接であるか否かを判定する（ＳＴＥＰ２）。

表示制御部５は、指示量とＳＴＥＰ２の判定結果とに基づいて、切替前の対応画像を切替候補の対応画像に切り替えるべきか否かを決定する（ＳＴＥＰ３）。この切替の適否の決定は、切替候補の対応画像に切り替えた場合に、上述した切替量の範囲内になるか否かに基づいて決定することができる。具体的には、対応画像を切り替えたとしても切替量の範囲内になるのであれば、対応画像を切り替えると決定する。

ところで、上述のように計算量や計算速度などの都合上、相関関係が密接であるか否かを判定することができる対応画像の数が限られている場合がある。この場合、ＳＴＥＰ３では、相関関係が密接であるか否かを判定することができるか否か（さらにＳＴＥＰ２を行うことができるか否か）に基づいた切替量が設定され、切替の適否の決定が行われる。

対応画像を切り替えないと決定する場合は（ＳＴＥＰ３、ＮＯ）、切替を終了する。一方、切替候補の対応画像を切り替えると決定する場合は（ＳＴＥＰ３、ＹＥＳ）、切替前の対応画像を切替候補の対応画像に切り替える（ＳＴＥＰ４）。この対応画像は、例えば、上述の第１表示例のように高速で切り替えられる。そして、ＳＴＥＰ４で対応画像が切り替えられるとＳＴＥＰ２に戻り、以下ＳＴＥＰ３、ＳＴＥＰ４で同様の動作が行われる。

以上のように、切替時に対応画像（画像データ）の相関関係が密接であるか否かを判定することとすると、どのような対応画像（例えば、複数の撮像装置で撮像された画像データや、順番などの各種情報が変更された画像データ）であっても、上述の切替制御を行うことが可能となる。

［転送時］
図１５は、画像データの転送時に相関関係が密接であるか否かを判定する場合の動作を示すフローチャートである。図１５に示す動作は、例えば、撮像により得られた画像データが、撮像装置からビューア（画像表示装置１）や記録装置に転送される場合に行われるものである。

図１５に示すように、最初に、転送される画像データを指定する転送指示が入力される（ＳＴＥＰ１１）。そして、転送される画像データの有無が確認される（ＳＴＥＰ１２）。転送される画像データがなければ（ＳＴＥＰ１２、ＮＯ）、転送を終了する。一方、転送される画像データがあれば（ＳＴＥＰ１２、ＹＥＳ）、転送される画像データと、順番が当該画像データの前後となる画像データと、の相関関係が密接であるか否かを判定する（ＳＴＥＰ１３）。

ここで、転送される画像データと、その前または後の画像データとの相関関係が密接である場合（ＳＴＥＰ１４、ＹＥＳ）、画像表示装置や記録装置に、相関関係が密接である画像データとして記録される（ＳＴＥＰ１５）。このとき、相関関係が密接であることを示す情報を画像データの一部であるヘッダなどに記録しても構わないし、画像表示装置や記録装置のシステムの記録領域に記録しても構わない。

一方、転送される画像データと、その前または後の画像データとの相関関係が密接でない場合（ＳＴＥＰ１４、ＮＯ）、画像表示装置や記録装置に、相関関係が密接でない画像データとして記録される（ＳＴＥＰ１６）。このとき、ＳＴＥＰ１５と同様に相関関係が密接でないことを示す情報をヘッダやシステム領域に記録しても構わないし、相関関係について記録しないことで相関関係が密接でないことを示しても構わない。

ＳＴＥＰ１５またはＳＴＥＰ１６が終了すると、ＳＴＥＰ１２に戻り他の画像データが転送されるか否かを確認し、以下同様の動作を行う。

このように構成すると、画像表示装置１で画像データを再生しようとする際に、予め画像データの相関関係が密接であるか否かが判定されていることになる。したがって、切替時に相関関係が密接であるか否かを判定する必要がなくなるため、上述の切替制御を迅速に行うことが可能となる。

なお、ＳＴＥＰ１５及び１６において、相関関係が密接であることを示す情報を記録することとしたが、相関度を記録することとしても構わない。また、相関関係が密接であるか否かの判定は、撮像装置が行うこととしても構わないし、画像表示装置や記録装置が行うこととしても構わない。

［撮像時］
図１６は、撮像時に相関関係が密接であるか否かを判定する場合の動作を示すフローチャートである。図１６に示す動作は、一つの画像データを撮像により得る場合に行われる動作である。

図１６に示すように、最初に、画像データの撮像を行う（ＳＴＥＰ２１）。そしてＳＴＥＰ２１の撮像により得られた画像データと、順番が当該画像データの前となる画像データと、の相関関係が密接であるか否かを判定する（ＳＴＥＰ２２）。なお、順番が当該画像データの後となる画像データが存在する場合は、当該画像データと後の画像データとの相関関係が密接であるか否かを判定しても構わない。

ここで、撮像により得られた画像データと、順番が前（または後）となる画像データとの相関関係が密接である場合（ＳＴＥＰ２３、ＹＥＳ）、相関関係が密接である画像データとして撮像装置の記録部に記録される（ＳＴＥＰ２４）。このとき、相関関係が密接であることを示す情報を画像データの一部であるヘッダなどに記録しても構わないし、撮像装置のシステムの記録領域に記録しても構わない。

一方、撮像により得られた画像データと、順番が前（または後）となる画像データとの相関関係が密接でない場合（ＳＴＥＰ２３、ＮＯ）、相関関係が密接でない画像データとして撮像装置の記録部に記録される（ＳＴＥＰ２５）。このとき、ＳＴＥＰ２４と同様に相関関係が密接でないことを示す情報をヘッダやシステムの記録領域に記録しても構わないし、相関関係について記録しないことで相関関係が密接でないことを示しても構わない。そして、ＳＴＥＰ２４またはＳＴＥＰ２５が終了することにより、動作を終了する。

このように構成すると、上述の［転送時］と同様に、画像表示装置１で画像データを再生しようとする際に、予め相関関係が密接であるか否かが判定されていることになる。したがって、切替時に相関関係が密接であるか否かを判定する必要がなくなるため、上述の切替制御を迅速に行うことが可能となる。

なお、ＳＴＥＰ２４及び２５において、相関関係が密接であることを示す情報を記録することとしたが、相関度を記録することとしても構わない。

［相関関係が密接であるか否か予め判定されている対応画像の切替］
次に、上述の［転送時］や［撮像時］に記録したような、相関関係が密接であるか否かが予め判定されている対応画像の切替動作について、図面を参照して説明する。図１７は、相関関係が密接であるか否かが予め判定されている場合の対応画像の切替動作を示すフローチャートである。図１７に示す動作は、例えば画像表示装置１において画像データを再生しようとする場合に行われる動作であり、ユーザが操作部３を１回操作する際に行われるものである。

図１７に示すように、最初に、ユーザが操作部３を操作することにより、画像表示装置１に切替指示が入力される（ＳＴＥＰ３１）。このとき、表示制御部５が上述した指示量を確認する。また、表示制御部５は、切替前の対応画像（例えば、ＳＴＥＰ３１の時点での再生候補画像、または、ＳＴＥＰ３２の時点での再生候補画像）と、当該対応画像よりも順番が前または後となる切替候補の対応画像（例えば、ＳＴＥＰ２の時点での前候補画像または次候補画像）と、の相関関係が密接であるか否かを確認する（ＳＴＥＰ３２）。

表示制御部５は、指示量とＳＴＥＰ３２で確認した相関関係とに基づいて、切替前の対応画像を切替候補の対応画像に切り替えるべきか否かを決定する（ＳＴＥＰ３３）。この切替の適否の決定は、切替候補の対応画像を切り替えた場合に、上述した切替量の範囲内になるか否かに基づいて決定することができる。具体的には、切替候補の対応画像に切り替えたとしても切替量の範囲内になるのであれば、対応画像を切り替えると決定する。

対応画像を切り替えないと決定する場合は（ＳＴＥＰ３３、ＮＯ）、切替を終了する。一方、対応画像を切り替えると決定する場合は（ＳＴＥＰ３３、ＹＥＳ）、切替前の対応画像を切替候補の対応画像に切り替える（ＳＴＥＰ３４）。この対応画像は、例えば、上述の第１表示例のように高速で切り替えられたり、第２〜第４表示例のように他の対応画像とまとめて切り替えられたりする。そして、ＳＴＥＰ３４で対応画像が切り替えられるとＳＴＥＰ３２に戻り、以下ＳＴＥＰ３３、ＳＴＥＰ３４で同様の動作が行われる。

以上のように、対応画像の相関関係が密接であるか否かが予め判定されていると、切替時に相関関係を確認するだけで済むようになる。そのため、画像表示装置１の切替制御の迅速化や、構成の簡略化を図ることが可能となる。

＜複合対応画像をユーザが選択する場合の動作例＞
上述の説明では、ユーザが対応画像を選択する（操作部３を介して選択指示を入力する）場合、当該対応画像が対応する画像データを再生するものとした。しかしながら、少なくとも２つの対応画像がまとめられて成る１つの対応画像（第２〜第４表示例、図７及び図９〜１１参照。以下、複合対応画像と表現して、単体の対応画像と区別する。）を、ユーザが選択する場合がある。この場合、ユーザが対応画像を選択する場合とは異なる動作をするように構成すると、好ましい。

そこで、ユーザが複合対応画像を選択する場合の動作例について、以下説明する。なお、以下に示す各動作例は、同種のもの及び異種のものを問わず、矛盾なき限り組み合わせて実施可能である。また、主に第２表示例（図９参照）や第３表示例（図１０参照）に各動作例を適用する場合について例示し、第４表示例（図１１参照）に各動作例を適用する場合は第２表示例に各動作例を適用する場合と同様として、その説明を省略する。また、説明の簡略化のため、以下の各動作例の説明において図面を参照する場合、図７、図９及び図１０と同様の部分については同様の符号を付して、その詳細な説明を省略する。

［複合対応画像の選択検出動作］
最初に、複合対応画像がユーザによって選択されたことを表示制御部５が検出する各動作例について、図面を参照して説明する。

｛選択検出動作：第１例｝
図１８は、複合対応画像の選択検出動作の第１例を示す図であり、図１８（ａ）が第２表示例に対応し、図１８（ｂ）が第３表示例に対応する。図１８（ａ），（ｂ）に示すように、本動作例は、選択検出範囲Ｓに複合対応画像が位置し、操作部３を介したユーザの指示が所定の時間以上入力されないときに、複合対応画像が選択されたことを表示制御部５が検出する。具体的に例えば、複合対応画像が再生候補画像Ｃ６，Ｃ７となり、ユーザから切替指示が所定の時間以上入力されない場合に、複合対応画像が選択されたことを表示制御部５が検出する。

なお、選択検出範囲Ｓは、再生候補画像の位置に限らず、前候補画像や次候補画像位置に設定しても構わない。また、１つの位置に限らず複数の位置に設定しても構わない。例えば、前候補画像、再生候補画像及び次候補画像のそれぞれの位置に設定しても構わないし、いずれか２つの位置に設定しても構わない。

また、本動作例における、選択検出範囲Ｓに複合対応画像が位置して操作部３を介したユーザの指示が所定の時間以上入力されない状態は、後述する複合対応画像の選択後動作の第４例における同様の状態と、共通化することができる。

｛選択検出動作：第２例｝
図１９は、複合対応画像の選択検出動作の第２例を示す図であり、図１９（ａ）が第２表示例に対応し、図１９（ｂ）が第３表示例に対応する。図１９（ａ），（ｂ）に示すように、本動作例は、操作部３を介してユーザから複合対応画像を選択する選択指示が入力される場合に、表示制御部５が、複合対応画像が選択されたことを検出する。具体的に例えば、複合対応画像（図１９（ａ）の再生候補画像Ｃ８、図１９（ｂ）の次候補画像Ａ９）を選択する選択指示が入力された場合に、複合対応画像が選択されたことを表示制御部５が検出する。

｛選択検出動作：第３例｝
本動作例は、選択検出動作の第１例で述べた選択検出範囲Ｓ（図１８参照）に複合対応画像が位置しているときに、操作部３を介してユーザから切替指示とは異なる指示が入力されたときに、表示制御部５が、複合対応画像が選択されたことを検出する。

具体的に例えば、複合対応画像が再生候補画像Ｃ６となり、切替指示を入力する際にユーザが操作部３を操作する方向（以下、切替指示方向とする）とは異なる方向（例えば、切替指示方向に対して垂直となる方向や、当該方向と切替指示方向との間となる方向。以下、非切替指示方向とする。）の操作をユーザが行う場合に、複合対応画像が選択されたことを表示制御部５が検出する。

ユーザが操作部３を非切替指示方向に操作するとは、例えば、操作部３がタッチパネルであり、表示部４中で前候補画像Ｂ６，Ｂ７、再生候補画像Ｃ６，Ｃ７及び次候補画像Ａ６，Ａ７が整列する方向（図中の左右方向、切替指示方向）にスライドする（なぞる）ことで切替指示が入力される場合では、ユーザが切替指示方向とは異なる方向（図中の上下方向や斜め方向、即ち、非切替指示方向）に沿って表示部４上をスライドする（なぞる）ことである。また例えば、操作部３がトラックボールやキーであり、上記の整列方向（切替指示方向）に沿ってトラックボールを転がしたり、当該方向に対応するキーを押下したりすることで切替指示が入力される場合では、ユーザが切替指示方向とは異なる方向（非切替指示方向）に沿ってトラックボールを転がしたり、当該方向に対応するキーを押下することである。

なお、本動作例における切替指示とは異なる指示は、後述する複合対応画像の選択後動作の第３例における同様の指示と、共通化することができる。

また、上述の選択検出動作の第１例〜第３例は、複合対応画像を選択する場合に限らず、対応画像を選択する場合にも適用可能である。

［複合対応画像の選択後動作］
次に、複合対応画像がユーザによって選択された後に表示制御部５が行う各動作例について、図面を参照して説明する。

｛選択後動作：第１例｝
図２０は、複合対応画像の選択後動作の第１例を示す図であり、第２表示例に対応するものである。図２０（ａ）は、選択検出動作を行う前の表示例である。図２０（ｂ）は、選択検出動作直後の表示例である。図２０（ｃ）は、表示部４が図２０（ｂ）の状態であるときに、ユーザが操作部３を介して切替指示とは異なる指示を入力した場合の表示例である。

図２０（ａ），（ｂ）に示すように、本動作例では、表示制御部５が上述の選択検出動作を行うと、複合対応画像を成すいずれかの対応画像が対応する画像データを表示部４に再生させる。このとき、例えば複合対応画像中の代表対応画像２０５（図７参照）が対応する画像データを、再生しても構わない。

そして、図２０（ｂ）に示すように画像データが再生されている状態で、ユーザが操作部３を介して切替指示とは異なる指示を入力すると、表示制御部５は、再生している画像データとは異なり、かつ、選択した複合対応画像に含まれるいずれかの対応画像が対応する画像データを、表示部４に再生させる。なお、図２０（ｃ）では、対応画像２０３（図７参照）が対応する画像データが表示部４で再生される場合を例示している。

そして、ユーザが、切替指示とは異なる指示をさらに入力する（例えば、ユーザが操作部３に対して非切替指示方向の操作を行う）と、表示制御部５は、表示部４で再生する画像データを順次変更する。例えば、上述した相関度の順や、画像の類似度の順、撮像日時などの順に、再生する画像データを変更する。

このように構成すると、相関関係が密接である複数の対応画像が対応するそれぞれの画像データを、ユーザが容易に再生して確認することが可能となる。

なお、ユーザが操作部３に対して非切替指示方向の操作を行うことで、表示部４で再生される画像データが変更される場合、操作方向によって（例えば、上方向か下方向かによって、または、斜め上方向か斜め下方向かによって）、所定の順番に沿った変更が行われることとしても構わない。具体的に例えば、ユーザが上方向の操作を行うと、表示部４に再生される画像データが昇順に変更され、ユーザが下方向の操作を行うと、表示部４に再生される画像データが降順に変更されることとしても構わない。このように構成すると、ユーザが所望の画像データを容易に探索することが可能になる。

また、操作方向によって、順番の指標（例えば、撮像日時や、画像データが示す画像の類似度など）が異なる変更が行われることとしても構わない。具体的に例えば、ユーザが上方向の操作を行うと、撮像日時の順に表示部４で再生される画像データが変更され、ユーザが下方向の操作を行うと、画像の類似度の順に表示部４で再生される画像データが変更されることとしても構わない。このように構成すると、ユーザが所望の画像データを探索する際に、任意の指標を選択することが可能になる。

また、ユーザが操作部３の操作方向の種類（例えば、上下方向及び斜め方向）を異ならせることで、表示部４で再生される画像データを複数の方法で変更可能としても構わない。具体的に例えば、ユーザが上下方向の操作をすることで、所定の順番に沿った変更が行われ、斜め方向の操作をすることで、順番の指標を異ならせた変更が行われることとしても構わない。

また、操作方向の種類に応じて順番の指標が異なり、操作方向に応じて当該順番の昇降が制御されることとしても構わない。具体的に例えば、ユーザが上方向の操作をすると、撮像日時の昇順に表示部４で再生される画像データが変更され、ユーザが下方向の操作を行うと、撮像日時の降順に表示部４で再生される画像データが変更され、ユーザが斜め上方向の操作をすると、画像の類似度の昇順に表示部４で再生される画像データが変更され、ユーザが斜め下方向の操作を行うと、画像の類似度の降順に表示部４で再生される画像データが変更されることとしても構わない。

また、第３表示例に本動作例を適用する場合、上記の第２表示例に適用する場合と同様の動作が行われることとしても構わない。このとき、複合対応画像を成す対応画像２０４，２０５（図７及び図１０参照）が対応する画像データが、表示部４で再生され得るようにしても構わない。また、相関関係が密接である対応画像２０３〜２０５（図７及び図１０参照）が、表示部４で再生され得るようにしても構わない。

｛選択後動作：第２例｝
本動作例では、表示部４が選択後動作の第１例と同様の動作を行う（図２０参照）が、表示制御部５が、表示部４で再生する画像データを変更する動作（図２０（ｂ）から図２０（ｃ）へ変更する動作）が、第１例と本動作例とで異なる。なお、本動作例において、上記以外の動作は第１例と同様であるため、説明を省略する。

本動作例では、表示制御部５が、操作部３を介したユーザの指示が所定の時間以上入力されないことを検出することで、表示部４で再生する画像データを所定の順番に沿って変更する。また、表示制御部５は、当該変更を繰り返し行い得る。

このように構成すると、相関関係が密接である複数の対応画像が対応するそれぞれの画像データを、ユーザが特別な操作をすることなく容易に再生して確認することが可能となる。

｛選択後動作：第３例｝
図２１は、複合対応画像の選択後動作の第３例を示す図であり、第２表示例に対応するものである。図２１（ａ）は、選択検出動作を行う前の表示例である。図２１（ｂ）は、選択検出動作直後の表示例である。図２１（ｃ）は、表示部４が図２１（ｂ）の状態であるときに、ユーザが操作部３を介して切替指示とは異なる指示を入力した場合の表示例である。

図２１（ａ），（ｂ）に示すように、本動作例では表示制御部５が上述の選択検出動作を行っても、複合対応画像の表示を継続する。このとき、前候補画像Ｂ１１２や次候補画像Ａ１１２の少なくとも一部が表示される範囲内であれば（即ち、ユーザが複合対応画像及び対応画像の順番を把握可能な状態であれば）、複合対応画像を拡大するなど、各種調整を行っても構わない。

そして、図２１（ｂ）に示すように複合対応画像が表示されている状態で、ユーザが操作部３を介して切替指示とは異なる指示を入力すると、表示制御部５は、複合対応画像中の代表対応画像２０５（図７参照）とは異なり、かつ、選択した複合対応画像に含まれるいずれかの対応画像が代表対応画像になるように、表示部４の表示状態を変更する。なお、図２１（ｃ）では、対応画像２０３（図７参照）が代表対応画像になるように、表示部４の表示状態が変更される場合を例示している。

そして、ユーザが、切替指示とは異なる指示をさらに入力すると、表示制御部５は、複合対応画像中の代表対応画像を順次変更する。例えば、上述した相関度の順や、画像の類似度の順、撮像日時などの順に、代表対応画像を変更する。

このように構成すると、複合対応画像を成す複数の対応画像を、ユーザが容易に確認することが可能となる。

なお、選択後動作の第１例において、ユーザが操作部３に対して非切替指示方向の操作を行うことで、表示部４で再生される画像データが変更される動作について述べたが、当該動作を本動作例で行っても構わない。ただし、本動作例では、複合対応画像中の代表対応画像が変更されるものとする。

また、第３表示例に本動作例を適用する場合、上記の第２表示例に適用する場合と同様の動作が行われることとしても構わない。このとき、複合対応画像を成す対応画像２０４，２０５（図７及び図１０参照）の表示部４での表示状態（例えば、並び順や大きさ）が変更され得るようにしても構わない。また、相関関係が密接である対応画像２０３〜２０５（図７及び図１０参照）において、まとめられずに表示される対応画像２０３と、複合対応画像を成す対応画像２０４，２０５とが入れ替えられることで、まとめられずに表示される対応画像が変更され得るようにしても構わない。

｛選択後動作：第４例｝
本動作例では、表示部４が選択後動作の第３例と同様の動作を行う（図２１参照）が、表示制御部５が、複合対応画像中の代表対応画像を変更する動作（図２１（ｂ）から図２１（ｃ）へ変更する動作）が、第３例と本動作例とで異なる。なお、本動作例において、上記以外の動作は第３例と同様であるため、説明を省略する。

本動作例では、表示制御部５が、操作部３を介したユーザの指示が所定の時間以上入力されないことを検出することで、複合対応画像中の代表対応画像を、所定の順番に沿って変更する。また、表示制御部５は、当該変更を繰り返し行い得る。

このように構成すると、複合対応画像を成す複数の対応画像を、ユーザが特別な操作をすることなく容易に確認することが可能となる。

｛選択後動作：第５例｝
図２２は、複合対応画像の選択後動作の第５例を示す図であり、第２表示例に対応するものである。図２２（ａ）は、選択検出動作を行う前の表示例である。図２２（ｂ）は、選択検出動作直後の表示例である。図２２（ｃ）は、表示部４が図２２（ｂ）の状態であるときに、ユーザが操作部３を介して選択指示を入力した場合の表示例である。

図２２（ａ），（ｂ）に示すように、本動作例では表示制御部５が上述の選択検出動作を行うと、相関関係が密接である対応画像２０３〜２０５（図７参照。本例では複合対応画像を成す対応画像。）を、一覧表示画像Ｄ１２２１〜Ｄ１２２３として別々に表示する。このとき、例えば複合対応画像中の代表対応画像２０５（図７参照）の一覧表示画像Ｄ１２２３を、表示部４の中心などの注目され易い位置に配置しても構わない。

そして、図２２（ｂ）に示すように一覧表示画像Ｄ１２２１〜Ｄ１２２３が表示されている状態で、ユーザが操作部３を介して選択指示を入力すると、表示制御部５は、選択指示によって選択された一覧表示画像の対応画像が対応する画像データを、表示部４で再生する。なお、図２２（ｃ）では、対応画像２０５（図７参照）の一覧表示画像Ｄ１２２３を選択する選択指示が入力され、対応画像２０５が対応する画像データが表示部４で再生される場合を例示している。

このように構成すると、相関関係が密接であるそれぞれの対応画像を、一度で容易に確認することが可能となる。

なお、図２２（ｃ）のように表示部４が画像データを再生している際に、ユーザが所定の指示（例えば、表示部４中の任意の位置を選択する選択指示）を入力する場合、表示制御部５は、図２２（ａ）のように表示部４に対応画像及び複合対応画像を表示させても構わないし、図２２（ｂ）のように一覧表示画像を表示させても構わない。

また、表示部４が図２２（ｂ）に示す状態であり、ユーザが操作部３を介して一覧表示画像Ｄ１２２１〜Ｄ１２２３が無い位置を選択する選択指示を入力する場合、表示制御部５は、図２２（ａ）のように表示部４に対応画像及び複合対応画像を表示させても構わない。

また、第３表示例に本動作例を適用する場合、上記の第２表示例に適用する場合と同様の動作が行われることとしても構わない。このとき、図２３（ｂ）のように、相関関係が密接である対応画像２０３〜２０５（図７参照）を一覧表示画像として表示部４に表示しても構わないし、複合対応画像を成す対応画像２０４，２０５（図７及び図１０参照）のみを一覧表示画像として表示部４に表示しても構わない。

［動作の変形例］
｛第１変形例｝
上述の各動作例を第３表示例に適用する場合、複合対応画像を成す対応画像２０４，２０５（図７及び図１０参照）と相関関係が密接であるが、まとめて表示されない対応画像２０３（図７及び図１０参照）がユーザによって選択されたときに、複合対応画像が選択されたときと同様の動作を行っても構わない。また、まとめて表示されない対応画像２０３を、第２表示例や第４表示例における代表対応画像に相当するものとして解釈しても構わない。

この場合の動作例について、図面を参照して具体的に説明する。図２３は、複合対応画像が選択される場合の動作の第１変形例を示す図であり、第３表示例に対応するものである。図２３（ａ）は、選択検出動作を行う前の表示例である。図２３（ｂ）は、選択検出動作直後の表示例である。図２３（ｃ）は、表示部４が図２３（ｂ）の状態であるときに、ユーザが操作部３を介して選択指示を入力した場合の表示例である。

本変形例では、図２３（ａ），（ｂ）に示すように、複合対応画像（次候補画像Ａ１３１）を成す対応画像２０４，２０５（図７参照）と相関関係が密接であるが、まとめて表示されない対応画像２０３（再生候補画像Ｃ１３１、図７参照）を選択する選択指示が入力される場合でも、表示制御部５が、対応画像２０３〜２０５の一覧表示画像Ｄ１３２１〜１３２３を表示部４に表示させる。そして、図２３（ｂ），（ｃ）に示すように、上述の選択後動作の第５例と同様の動作を行う。

このように構成すると、相関関係が密接である対応画像の少なくとも１つをユーザが選択することで、相関関係が密接である複数の対応画像を、ユーザが一度で容易に確認することが可能となる。

なお、本変形例は、選択検出動作の第２例、選択後動作の第５例に対応するものであるが、他の動作例についても同様に対応させることが可能である。

｛第２変形例｝
上述の第２、第４表示例の代表対応画像や、第３表示例の複合対応画像を成す対応画像と相関関係が密接であるがまとめて表示されない対応画像のように、優先的に表示される対応画像を、可変としても構わない。例えば、ユーザが直近に再生した画像データの対応画像や、選択後動作の第３例で直近に優先的に表示した対応画像のように、直近にユーザが選択した対応画像を、優先的に表示される対応画像としても構わない。

このように構成すると、ユーザが選択する可能性の高い対応画像を、優先的に表示することが可能となる。そのため、所望の対応画像をユーザに選択させ易くすることが可能となる。

｛第３変形例｝
表示制御部５は、表示部４に対応画像及び複合対応画像を表示させる時や、一覧表示画像を表示させる時、画像データを再生させる時などに、操作部３の操作方法を併せて表示させても構わない。この場合の表示部４の表示例について、図面を参照して説明する。

図２４は、複合対応画像が選択される場合の動作の第３変形例を示す図であり、第２表示例に対応するものである。図２４（ａ）は、表示部４が対応画像及び複合対応画像を表示する場合の表示例である。図２４（ｂ）は、表示部４が画像データを再生する場合の表示例である。

図２４（ａ）に示すように、表示部４は、切替指示の操作方法を示す画像（図中の、左向きの矢印及び「戻し」と、右向きの矢印及び「送り」）と、選択指示の操作方法を示す画像（図中の、黒丸及び「拡大」）と、を表示する。

また、図２４（ｂ）に示すように、表示部４は、切替指示の操作方法を示す画像（図中の、左向きの矢印及び「戻し」と、右向きの矢印及び「送り」）と、選択指示の操作方法を示す画像（図中の、黒丸及び「重ねる」）と、切替指示とは異なる指示を示す画像（図中の、上向きの矢印及び「類似」と、右向きの矢印及び「時間」）と、を表示する。

このように構成すると、ユーザは、表示部４に表示される操作方法を示す画像を見ながら、操作部３を操作することになる。そのため、ユーザが容易に表示部４を所望の状態にすることが可能になる。

なお、上記の操作方法を示す画像を、表示部４が常時表示しても構わないし、ユーザが操作部３を操作したときなど、所定の条件を満たしたときのみ表示しても構わない。また、本変形例は、選択検出動作の第２例、選択後動作の第１例に対応するものであるが、他の動作例についても同様に対応させることが可能である。また、本変形例は、複合対応画像を表示する場合（例えば、第２〜第４表示例）に適用可能であるだけでなく、複合対応画像を表示しない場合（例えば、第１表示例）にも適用可能である。ただし、複合対応画像を表示して、操作部３の操作が複雑と成り得る場合（例えば、選択検出動作の第２例及び第３例、選択後動作の第１例、第３例及び第５例）に、本変形例を適用すると効果的である。

ところで、図２４（ｂ）に示す表示例のように、表示部４が画像データを再生している際にユーザが操作部３を介して切替指示を入力すると、上述の切替動作が行われる。具体的に例えば、図２４（ｂ）の状態が、図２４（ａ）の再生候補画像Ｃ１４１を選択する選択指示が入力されることで得られるものである場合、ユーザが操作部３を介して切替指示（送り）を入力すると、表示制御部５が、次候補画像Ａ１４１の対応画像２０６（図７参照）が対応する画像データを表示部４で再生させる。なお、表示制御部５が、図２４（ａ）を上述のように送った状態（対応画像２０６（図７参照）が再生候補画像となる状態）を表示部４に表示させても構わない。また、表示部４が一覧表示画像を表示している際に切替指示が入力される場合も、同様の切替動作を行っても構わない。

＜＜変形例＞＞
上述の説明では、切替量が整数値のみを取り対応画像が画像単位で切り替えられることとして説明したが、小数値も取り得ることとして対応画像が部分単位で切り替えられるものとしても構わない。この場合の一例について、図面を参照して説明する。図２５は、指示量と切替量との基本関係の別例を示すグラフであり、図３に対応するものである。図２６は、再生すべき画像データの捜索時における表示部の表示の別例を示す図であり、図２に対応するものである。

図２５に示すように、本例の基本関係のグラフは連続的な値を取る。例えば、図２５（ａ）に示すグラフは、指示量の増大に伴い切替量が線形的に増大するものである。一方、図２５（ｂ）に示すグラフは、指示量の増大に伴い切替量が非線形に増大するものである。また、図２５（ａ）のグラフでは切替量に上限値が無いが、図２５（ｂ）のグラフでは切替量に上限値があり、ある指示量以上では切替量が一定となる。なお、図２５（ａ）及び（ｂ）に示す基本関係は一例に過ぎず、他のものとしても構わない。例えば、図２５（ａ）のグラフにおいて切替量に上限値を設けても構わないし、図２５（ｂ）のグラフにおいて切替量に上限値を設けないこととしても構わない。

また、上記のように切替量を設定する場合の表示部４の表示例を図２６に示す。図２６に示す状態は、切替前に再生候補画像であった対応画像Ｘ１が部分的に送られ、順番が対応画像Ｘ１の後となる対応画像Ｘ２が、次の再生候補画像になる前の状態である。なお、この状態で、対応画像Ｘ１及びＸ２の両方が再生候補画像に該当しないとしても構わないし、いずれか一方が再生候補画像に該当するとしても構わない。

また、上述の説明では、切替量を、１回の切替動作当たりに切り替えられる対応画像の数と定義したが、単位時間当たりに切り替えられる対応画像の数と定義することも可能である。このように定義する場合、切替量は対応画像の切替速度と解釈され、指示量が大きいほど速く画像が切り替えられる（例えば、表示部４内の見かけ上、対応画像が速く移動して切り替えられる）こととなる。なお、切替動作中の切替速度は等速に限られない。例えば、複数の対応画像を一度に切り替える場合、後に切り替えられる対応画像ほど速く切り替えても構わない。

ところで、単位動作当たりの切替量を大きくすることで必然的に単位時間当たりの切替量が大きくなったり、単位時間当たりの切替量を大きくすることで必然的に単位動作当たりの切替量が大きくなったりする場合が生じ得る。例えば、上記の第１表示例において１回の切替動作にかかる時間が所定の範囲内に制限されている場合や、上記の第２〜第４表示例の場合などである。

本発明の実施形態における画像表示装置１について、表示制御部５などの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の画像表示装置１は、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて画像表示装置１を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。

以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、撮像装置の表示部やビューアなどに代表される画像を表示する画像表示装置や、画像表示方法に利用することができる。

１ 画像表示装置
２ 画像記録部
３ 操作部
４ 表示部
５ 表示制御部

Claims (4)

1. 所定の順番を有する対応画像を少なくとも１つ表示する表示部と、
   前記表示部に表示される対応画像を、前記順番の順方向又は逆方向に沿って切り替えるための切替指示が入力される入力部と、
   前記切替指示に従って前記表示部に表示されている第１対応画像を切り替える切替制御部と、を備えた画像表示装置であって、
   前記切替制御部は、
   前記切替指示により入力される指示量の増大に応じて、切替量が増大する指示量対切替量の関係を有しており
   前記第１対応画像と、少なくとも第２対応画像との相関関係が密接でない場合には、前記指示量対切替量の関係に応じて決まる第１切替量で対応画像を切り替え、
   当該相関関係が密接である場合には、前記指示量対切替量の関係に従わず、前記第１切替量よりも大きい第２切替量で対応画像を切り替え、
   前記第２対応画像は、前記切替制御部が前記順方向に沿って対応画像を切り替える場合は前記第１対応画像に対して前記順番が直後の対応画像であり、前記切替制御部が前記逆方向に沿って対応画像を切り替える場合は前記第１対応画像に対して前記順番が直前の対応画像であり、
   前記第１切替量及び前記第２切替量が、単位動作当たりまたは単位時間当たりに切り替えられる対応画像の数であることを特徴とする画像表示装置。
   
2. 前記切替指示が前記指示量を示し、当該指示量の増大に応じて前記第１切替量が増大するものであり、
   前記入力部に前記指示量が所定の大きさ以下となる切替指示が入力されるとき、前記第１対応画像と少なくとも前記第２対応画像との相関関係が密接であっても、前記第２切替量が前記第１切替量と等しくなることを特徴とする請求項１に記載の画像表示装置。
3. 前記表示部が、相関関係が密接である対応画像の少なくとも２つを、１つの対応画像としてまとめて表示することを特徴とする請求項１又は請求項２に記載の画像表示装置。
4. 前記表示部は、選択される対応画像が対応する画像データを再生するものであり、相関関係が密接である複数の対応画像の少なくとも１つが選択されたことで、記表示部が、当該複数の対応画像のいずれか１つが対応する画像データを再生しているとき、前記入力部を介して切替指示とは異なる指示が入力される、または、前記入力部に所定の時間以上指示が入力されないと、再生していない当該複数の対応画像のいずれか１つが対応する画像データを、前記表示部が再生するように変更することを特徴とする請求項３に記載の画像表示装置。
   

Images