JP2018091912A - 表示装置、表示方法および表示プログラム - Google Patents

Abstract

【課題】使い勝手のよい表示装置を提供する。【解決手段】表示装置は、画像を表示する表示部と、前記表示部の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御部と、を備える。【選択図】図１

Description

本発明は、表示装置、表示方法および表示プログラムに関する。

従来、１つの画面を複数の画面領域に分割することで、複数の画像を１つの画面にレイアウトして表示する画像表示システムが知られている（例えば特許文献１）。しかし、従来技術には、レイアウトの変更に煩雑な操作を伴うという課題がある。

特開２０１０−２７８８２４号公報

第１の態様によると、表示装置は、画像を表示する表示部と、前記表示部の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御部と、を備える。
第２の態様によると、表示プログラムは、表示画面に画像を表示する表示ステップと、前記表示画面の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御ステップと、をコンピュータに実行させる。
第３の態様によると、表示方法は、表示画面に画像を表示する表示工程と、前記表示画面の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御工程と、を備える。

第１の実施の形態に係る画像再生システムの構成を示すブロック図 記憶装置３０に記憶されているデータの模式図 携帯機器７の構成を模式的に示すブロック図 携帯機器７の外観を示す模式図 電子アルバム再生時の表示画面と動画像データ３１２を例示する図 電子アルバム再生時の表示画面と動画像データ３１２を例示する図 電子アルバム再生時の表示画面と動画像データ３１２を例示する図 再生処理のフローチャート 電子アルバム再生時の表示画面と動画像データ３１２を例示する図 電子アルバム再生時の表示画面と動画像データ３１２を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図 電子アルバム再生時の表示画面を例示する図

（第１の実施の形態）
図１は、第１の実施の形態に係る画像再生システムの構成を示すブロック図である。画像再生システム１は、ネットワーク２、サーバ３、情報端末４、カメラ５ａ、カメラ５ｂ、無線中継局６ａ、無線中継局６ｂ、および携帯機器７を含む。なお、以下の説明では、カメラ５ａとカメラ５ｂをカメラ５と総称する。

画像再生システム１は、カメラ５による撮像画像を携帯機器７で再生するシステムである。ネットワーク２は、例えばインターネット等の広域通信網である。ネットワーク２には、サーバ３、情報端末４、無線中継局６ａ、無線中継局６ｂが接続されている。情報端末４は、例えばパソコン等の情報端末である。カメラ５ａは、情報端末４およびネットワーク２を介して、サーバ３に画像データを送信することができる。

無線中継局６ａおよび無線中継局６ｂは、カメラ５ｂや携帯機器７との間で、例えば無線ＬＡＮ等の無線通信を行う。カメラ５ｂは、無線中継局６ａおよびネットワーク２を介して、サーバ３に画像データを送信することができる。携帯機器７は、無線中継局６ｂおよびネットワーク２を介して、サーバ３から画像データを受信することができる。

サーバ３は、記憶装置３０を有する。記憶装置３０は、例えばＨＤＤ等の記憶装置である。サーバ３は、カメラ５ａおよびカメラ５ｂから受信した画像データを記憶装置３０に記憶する。サーバ３は、記憶装置３０に記憶されている種々のデータを、必要に応じて携帯機器７に送信する。

図２は、記憶装置３０に記憶されているデータの模式図である。記憶装置３０は、複数の画像データ３１および複数の電子アルバムデータ３２を記憶している。画像データ３１には、静止画を記録した静止画像データ３１１と、動画を記録した動画像データ３１２とが含まれる。静止画像データ３１１は、カメラ５によって作成された、例えばＪＰＥＧ形式の画像ファイルである。動画像データ３１２は、カメラ５によって作成された、例えばＭｏｔｉｏｎＪＰＥＧ形式の画像ファイルである。動画像データ３１２は、時系列的に記録された被写体の画像情報（画像信号）と、時系列的に記録された音声情報（音声信号）とを含む。なお、動画像データ３１２が音声情報を含んでいなくてもよい。

電子アルバムデータ３２は、電子アルバムを表現するデータである。電子アルバムデータ３２は、複数の画像データ３１が関連付けられたデータである。ユーザは、例えば情報端末４を操作することにより、電子アルバムデータ３２の作成および編集を行うことができる。ユーザは、複数の画像データ３１を適宜選択し、選択した画像データ３１が関連付けられた電子アルバムデータ３２を作成する。以下の説明では、電子アルバムデータ３２に関連付けられた画像データ３１を、その電子アルバムデータ３２に含まれる画像データ３１と呼ぶ。

図３は、携帯機器７の構成を模式的に示すブロック図である。携帯機器７は、いわゆるタブレット型の情報端末である。携帯機器７は、制御部７０、ＤＲＡＭ７１、フラッシュメモリ７２、液晶ディスプレイ７３、タッチパネル７４、通信部７５、およびスピーカー７６を備える。

制御部７０は、不図示のマイクロプロセッサおよびその周辺回路から構成される。制御部７０は、フラッシュメモリ７２に予め記録されている所定の制御プログラムを読み込んで実行することにより、携帯機器７の各部を制御する。ＤＲＡＭ７１は主記憶装置である。フラッシュメモリ７２は補助記憶装置である。液晶ディスプレイ７３は表示装置である。タッチパネル７４は、液晶ディスプレイ７３に積層された入力装置である。通信部７５は、無線中継局６ｂとの間で無線によるデータ通信を行う通信モジュールである。制御部７０は、通信部７５を介して、ネットワーク２に接続されたサーバ３等のノードとデータ通信を行うことができる。スピーカー７６は、動画像データ３１２に含まれる音声データ（音声信号）の再生に用いられる。

図４は、携帯機器７の外観を示す模式図である。携帯機器７は板状の筐体を有している。筐体の一面には、液晶ディスプレイ７３が設けられている。液晶ディスプレイ７３にはタッチパネル７４が積層されている。ユーザが手指等を液晶ディスプレイ７３の表示画面に接触させると、タッチパネル７４は、表示画面における接触位置を検出する。以下の説明では、ユーザが手指等を液晶ディスプレイ７３の表示画面に接触させて行う種々の操作をタッチ操作と称する。

携帯機器７は、記憶装置３０に記憶されている電子アルバムデータ３２に基づき、電子アルバムを再生することができる。以下、電子アルバムの再生処理を説明する。

図５（ａ）は、電子アルバム再生時の表示画面７３ａを例示する図である。図５（ａ）の表示画面７３ａは、タイル状に、第１区画１００ａ、第２区画１００ｂ、第３区画１００ｃ、第４区画１００ｄ、第５区画１００ｅ、および第６区画１００ｆに区切られている。以下の説明では、第１区画１００ａ、第２区画１００ｂ、第３区画１００ｃ、第４区画１００ｄ、第５区画１００ｅ、および第６区画１００ｆ等の区画を区画１００と総称する。各々の区画１００は、長方形の形状を有しており、そのサイズおよび位置は様々である。なお、区画（表示領域）の形状は長方形に限らず、正方形やひし形などの形状でもよい。

制御部７０は、再生対象の電子アルバムデータ３２に含まれる画像データ３１から、画像データ３１を６つ選択し、第１区画１００ａ、第２区画１００ｂ、第３区画１００ｃ、第４区画１００ｄ、第５区画１００ｅ、および第６区画１００ｆにそれぞれ表示する。選択した画像データ３１が、動画像データ３１２である場合、制御部７０は、動画像データ３１２からフレームを１つ選択し、そのフレームのみを表示対象の区画１００内に表示する。鑑賞（閲覧）しているユーザ（以下、閲覧者と称する）がその区画１００にタッチ操作を行うと、制御部７０はその区画１００内で、動画像データ３１２の再生を開始する。

なお、画像データ３１のサイズや縦横比は、表示対象の区画１００のサイズや縦横比と必ずしも一致しない。制御部７０は、画像データ３１を区画１００に収まるように適宜加工して表示する。例えば、画像データ３１を第１区画１００ａに表示するに際し、画像データ３１を拡大または縮小したり、画像データ３１の一部を切り出したり、画像データ３１の周囲に余白を設けて縦横比を調節したりする。

閲覧者は、例えばタッチパネル７４に対するタッチ操作や不図示の操作部材への操作により、ページ送りやページ戻し等のページ移動操作を行うことが可能である。閲覧者がページ移動操作を行うと、制御部７０は、各区画１００に表示する画像データ３１を他の画像データ３１に切り替える。

なお、ページ移動操作によって、電子アルバムに含まれる全ての画像データ３１を必ずしも鑑賞可能にしなくてもよい。また、所定の優先順位に基づき、ページ移動操作によって新たに表示される画像データ３１を決定してもよい。例えば被写体抽出、縦横構図などによる、既存の画像判定技術によって、電子アルバムに含まれる多数の画像データ３１について優先順位を決めることができる。

制御部７０による動画像データ３１２の再生方法について詳述する。例えば、図５（ａ）に例示した表示画面７３ａに設けられた第１区画１００ａで、図５（ｂ）に例示した動画像データ３１２を再生する場合について説明する。図５（ｂ）には、再生対象の動画像データ３１２の１フレーム目を例示している。この動画像データ３１２を構成する個々のフレームは、第１区画１００ａよりも大きなサイズを有しているので、制御部７０は、その一部の領域３１２ａを切り出して第１区画１００ａに表示する。制御部７０は、周知の被写体抽出等の技術を用いて、動画像データ３１２の主要被写体２００を識別する。制御部７０は、主要被写体２００が含まれるように一部の領域３１２ａを決定する。

制御部７０は、図５（ａ）に例示した表示画面７３ａにおいて、動画像データ３１２の再生を継続する。制御部７０は、再生中の動画像データ３１２における主要被写体２００の動きに応じて、第１区画１００ａのサイズを変化させる。

図６（ａ）は、主要被写体２００の動きに基づき第１区画１００ａのサイズが変化した後の表示画面７３ｂを例示する図であり、図６（ｂ）は、そのときの動画像データ３１２の再生状態を例示する図である。図５（ｂ）と図６（ｂ）とを比較すると、図６（ｂ）では、主要被写体２００が画面の右方向に動いている。制御部７０は、この動きに応じて、図６（ａ）に示すように、第１区画１００ａのサイズを画面の右方向に向けて拡大する。制御部７０は、第１区画１００ａの右方向に位置していた第２区画１００ｂおよび第３区画１００ｃの横方向のサイズを縮小し、第１区画１００ａのための空間を確保する。なお、第１区画１００ａのサイズの変化に伴い、第２区画１００ｂおよび第３区画１００ｃのサイズが縮小されてもよいし、それぞれの区画に表示されている画像の主要被写体が表示されるように画像を切り出してもよい。

制御部７０は、図６（ｂ）に示すように、主要被写体２００が含まれるように一部の領域３１２ａ（図５（ｂ））を、右方向に拡大する。制御部７０は、拡大した領域３１２ｂの内容を切り出して、サイズを拡大した第１区画１００ａに表示する。このように、もともと領域３１２ａに含まれていた範囲をそのままに、更に右方向の範囲を含むように領域３１２ｂを設定するので、背景部分の被写体等が表示される位置を変化させることなく、動いた主要被写体２００を表示することができる。

図７（ａ）は、図６（ａ）から更に主要被写体２００の動きに基づき第１区画１００ａのサイズが変化した後の表示画面７３ｃを例示する図であり、図７（ｂ）は、そのときの動画像データ３１２の再生状態を例示する図である。図７（ａ）では、主要被写体２００が更に右方向に移動したことにより、主要被写体２００を含む領域３１２ｃと第１区画１００ａが画面幅いっぱいの大きさになっている。これにより、第２区画１００ｂおよび第３区画１００ｃは表示画面７３ｃに含まれなくなっている。このように、制御部７０は、主要被写体２００の動きに伴い、動画を再生している第１区画１００ａの表示態様だけでなく、他の区画１００の表示態様をも変化させる。

なお、図７（ｂ）に示す状態から、主要被写体２００が左方向に移動した場合、制御部７０は第１区画１００ａのサイズを左方向に縮小する。これに伴い、第２区画１００ｂおよび第３区画１００ｃは、再度画面に表示されるようになる。

以上、第１区画１００ａ内でのみ動画の再生が行われる場合について説明したが、複数の区画１００で動画が同時に再生されるように制御部７０を構成してもよい。この場合において、制御部７０が、それぞれの区画１００で再生されている動画の再生状況に基づき、各々の区画１００の表示態様を変更させるようにしてもよい。つまり、図５〜図７を用いて説明したような、主要被写体２００の動きに応じた区画１００のサイズ変更動作を、複数の区画１００において並行して行ってもよい。

また、図７（ａ）のように、第１区画１００ａのサイズ変更に伴い、他の第２区画１００ｂや第３区画１００ｃが表示されなくなることがないようにしてもよい。つまり、第２区画１００ｂおよび第３区画１００ｃのサイズは、第１区画１００ａのサイズ変更にも拘わらず、所定サイズよりも小さくなることがないようにしてもよい。
区画１００ｂに表示されている画像は、主要被写体部分をトリミングした画像として表示する。主要被写体が検出されない場合は、中央部分を残す様にして表示する。

図８は、再生処理のフローチャートである。ステップＳ１０で、制御部７０に、再生対象となる電子アルバムデータ３２を特定する指示が入力される。閲覧者は、電子アルバムデータ３２を特定するために、例えば電子アルバムの名称やＵＲＬ等を、タッチパネル７４等の入力装置により入力する。ステップＳ２０で、制御部７０は、再生対象の電子アルバムデータ３２をサーバ３から受信する。

ステップＳ３０で、制御部７０は、電子アルバムデータ３２に含まれる画像データ３１から、表示画面に表示する複数の画像データ３１を選択する。ステップＳ４０で、制御部７０は、ステップＳ３０で選択した複数の画像データ３１を複数の区画１００でそれぞれ再生する。

ステップＳ５０で、制御部７０は、動画再生中の区画１００において、主要被写体２００が所定方向に移動したか否かを判定する。主要被写体２００が移動していなかった場合、制御部７０は処理をステップＳ７０に進める。他方、主要被写体２００が所定方向に移動していた場合、制御部７０は処理をステップＳ６０に進める。ステップＳ６０で、制御部７０は、動画再生中の区画１００を、主要被写体２００が移動した所定方向に向けて拡大または縮小する。その後、制御部７０は処理をステップＳ７０に進める。

ステップＳ７０で、制御部７０は、所定の再生終了操作が為されたか否かを判定する。再生終了操作が為されていない場合、制御部７０は、処理をステップＳ５０に進める。再生終了操作が為されていた場合、制御部７０は、電子アルバムの再生処理を終了する。なおＳ７０で、制御部７０は、所定の再生終了操作の有無によらず、再生している動画を１度再生し終えると動画の再生を終了してもよい。すなわち、閲覧者の操作により動画再生を終了してもよいし、再生する動画が１度再生し終えると閲覧者の操作はなく動画再生を終了としてもよい。また、所定の再生終了操作がなく、制御部７０により動画再生を終了する場合、動画の再生回数は１回でも複数回でもよい。この動画再生終了までの再生回数はあらかじめ閲覧者により設定されていてもよいし、動画再生時間（例えば動画を５分間再生するという設定）により制御されていてもよい。

なお、動画再生が終了すると、動画が割り当てられている区画の表示態様は、動画が再生される前の初期の表示態様に戻ってもよいし、動画が終了した時点の区画の表示態様を維持したままでもよい。動画再生の終了に伴い、動画が割り当てられている区画の表示態様を初期に戻すのか、終了した時点の表示態様を維持するのかという設定は、閲覧者があらかじめ設定しておいてもよい。

なお、動画が割り当てられる区画の初期の表示態様は、動画の再生内容によって異なってもよい。例えば、図５、図６を用いて上述した動画の場合は、被写体が左から右に動くという内容であったため図５の第１区画１００ａの位置に動画が割り当てられたが、被写体が右から左に動くという内容の動画であれば、図５の区画１００ｄの位置に動画が割り当てられてもよい。また、より動画再生中の被写体の動きを強調したいのであれば、動画が割り当てられた区画の初期の表示態様を小さく（大きく）し、被写体の動きに伴って表示態様を大きく（小さく）してもよい。また、動画が割り当てられる区画の位置も、表示画面の上側、下側と動画の再生内容によって変更してもよい。例えば、再生する動画の内容が凧揚げの様子を撮影したものであれば、動画は図５（ａ）の区画１００ｆに割り当てられる。そして、動画の再生に伴い（主要被写体である凧が地面から空に揚がっていく様子に伴い）区画１００ｅを、次に区画１００ａの区画部分まで拡大していってもよい。すなわち、再生される動画の主要被写体の動きの進行方向とは逆の位置に（進行方向に区画を表示可能な余白を残すようにして）、動画をある区画に割り当てる。
また、ある動画を再生するために、表示画面の区画割りが決まってもよいし、また逆に、すでに区画割りが決まっていて、動画が割り当てられる区画が限られている場合には、その区画に最適な動画が表示されてもよい。

なお、１つ目の動画再生が終了すると、閲覧者の操作により、もう１度同じ動画を再生してもよいし、再生が終了した動画に関連付いた異なる動画に切り替わって再生が開始されてもよい。関連付いた異なる動画に切り替わる処理に伴い、表示画面の表示態様全体が変更されてもよいし、表示画面の一部分の表示態様だけが変更されてもよい。

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部７０は、表示画面に設けられた複数の区画１００のうちの第１区画１００ａにおいて動画像データ３１２を再生し、他の区画１００において動画像データ３１２または静止画像データ３１１を再生する。制御部７０は、第１区画１００ａにおける動画像データ３１２の再生状況に基づき、第１区画１００ａの表示態様を変化させる。このようにしたので、煩雑な操作なしで最適な画面が表示される、使い勝手のよい表示装置を提供することができる。

（２）制御部７０は、動画像データ３１２の再生状況に基づき第１区画１００ａの形状、位置、およびサイズを決定する。このようにしたので、動画像データ３１２の再生状況に応じた最適な表示態様で電子アルバムを再生することができる。

（３）制御部７０は、第１区画１００ａの表示態様を変化させると共に、第２区画１００ｂおよび第３区画１００ｃの表示態様も変化させる。このようにしたので、動画像データ３１２の再生状況に応じた最適な表示態様で電子アルバムを再生することができる。

（４）制御部７０は、第１区画１００ａで再生されている動画像データ３１２における主要被写体２００の動きに基づき、第１区画１００ａの表示態様を変化させる。このようにしたので、主要被写体２００の動きに応じてレイアウトが変化する、飽きの生じない鑑賞体系を提供することができる。

（５）制御部７０は、第１区画１００ａで再生されている動画像データ３１２において主要被写体２００が所定方向に動くと、第１区画１００ａのサイズを所定方向に向けて拡大する。このようにしたので、あたかも主要被写体２００が区画１００のレイアウトを変化させているようなダイナミックな視覚効果を閲覧者に与えることができる。
なお、閲覧者が動画が割り当てられた第１区画１００ａをタッチ操作することで動画が再生するとしたが、動画再生のタイミングは閲覧者の操作に限らず、制御部７０により第１区画１００ａに動画が割り当てられ表示された段階で自動的に再生を開始してもよい。

（第２の実施の形態）
第２の実施の形態に係る画像再生システムは、第１の実施の形態で説明した主要被写体２００の上下左右方向への動きだけでなく、主要被写体２００の奥行き方向への動きにも基づいて、区画１００の表示態様を決定する。以下、第２の実施の形態に係る画像再生システムと、第１の実施の形態に係る画像再生システムとの相違点について、図９を参照して説明する。なお、第１の実施の形態と同一の箇所については、第１の実施の形態と同一の符号を付して説明を省略する。

図９（ａ）は、主要被写体２００の動きに基づき第１区画１００ａのサイズが変化した後の表示画面７３ｄを例示する図であり、図９（ｂ）は、そのときの動画像データ３１２の再生状態を例示する図である。図５（ｂ）と図９（ｂ）とを比較すると、図９（ｂ）では、主要被写体２００が手前方向に移動した、つまり、主要被写体２００が撮像を行っているカメラ側に寄ったため、画面に対する主要被写体２００のサイズが大きくなっている。制御部７０は、この動きに応じて、図９（ａ）に示すように、第１区画１００ａのサイズを拡大する。第１区画１００ａは表示画面７３ｄの左上隅にあるため、第１区画１００ａの拡大の余地は、表示画面７３ｄの右方向および下方向にしかない。そこで制御部７０は、第１区画１００ａを右下方向に向けて拡大する。制御部７０は、他の第２区画１００ｂ、第３区画１００ｃ、第４区画１００ｄ、第５区画１００ｅ、および第６区画１００ｆのサイズを縮小し、第１区画１００ａを拡大するための空間を確保する。なお、主要被写体２００のサイズの変化と第１区画１００ａのサイズの変化の比率は任意に選択可能である。

逆に、主要被写体が画面奥に移動した場合には、画面に対する主要被写体２００のサイズが小さくなる。制御部７０は、この動きに応じて、第１区画１００ａのサイズを縮小する。制御部７０は、第１区画１００ａを縮小したことにより生じる空間を、他の第２区画１００ｂ、第３区画１００ｃ、第４区画１００ｄ、第５区画１００ｅ、および第６区画１００ｆのサイズを拡大することで埋める。

なお、主要被写体２００のサイズの変化は、主要被写体２００自身が移動したことによる変化に限らない。例えば、主要被写体２００を撮像しているカメラが前後方向に移動したことにより主要被写体２００のサイズが変化することも考えられる。このような場合であっても、制御部７０は第１区画１００ａのサイズを変化させる。また、主要被写体２００を撮像しているカメラのズーム比が変化した場合についても同様である。

なお、第１区画１００ａのサイズの拡大は、図９（ａ）に例示した画面右下方向への拡大に限らない。例えば図１１に例示するように、第１区画１００ａが表示画面の中央に位置している場合に、第１区画１００ａを画面の全方向（上下左右方向）に拡大してもよい。この場合、周囲に配置されている区画を、必要に応じて縮小もしくは除去する。

上述した実施の形態によれば、第１の実施の形態と同様の作用効果に加えて、更に次の作用効果が得られる。
（６）制御部７０は、第１区画１００ａで再生されている動画像データ３１２において主要被写体２００のサイズが変化すると、第１区画１００ａのサイズを変化させる。このようにしたので、閲覧者に、主要被写体２００の動きの迫力を大きく感じさせることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
主要被写体２００の動きにより変化させるのは、第１区画１００ａのサイズでなくてもよい。図１０（ａ）に、第１区画１００ａのサイズではなく第１区画１００ａの位置を変化させた例を示す。再生中の動画像データ３１２が、図５（ｂ）に示した状態から、図１０（ｂ）に示した状態になったとき、つまり主要被写体２００が右方向に移動したとき、制御部７０は、領域３１２ａを、主要被写体２００の動きに合わせて右方向に移動させ、新たな領域３１２ｄとする。制御部７０は、主要被写体２００が右方向に移動したことに応じて、図１０（ａ）に示すように、第１区画１００ａを表示画面７３ｅの右側に移動させる。これに伴い、制御部７０は、第１区画１００ａの右側に位置していた第２区画１００ｂおよび第３区画１００ｃは、第１区画１００ａの左側に移動させる。結果として、図１０（ａ）では、第１区画１００ａと、第２区画１００ｂおよび第３区画１００ｃとの位置が入れ替わった形になっている。

また、制御部７０は、再生中の動画像データの３１２の内容に基づいて、すなわち主要被写体２００の動きによっては区画１００の位置を順番に入れ換えてもよい。例えば、凧揚げをしている動画の場合の区画の入れ換わりについて図１０（ａ）を用いて説明する。動画再生開始時には凧が揚げられる前で地面にあるため、動画は区画１００ｆに割り当てられている。次に凧が地面から離れ少し揚げられるにつれて、動画は区画１００ｆから区画１００ｅに入れ替わる。さらに、凧が上空に揚がるにつれて、動画は区画１００ｅから区画１００ｃに入れ替わり、最終的に区画１００ｃから区画１００ｂに入れ換わる。このように動画中の主要被写体（この場合は上昇する凧）の動きに伴って、区画を入れ替えてもよい。また、ここでは下から上に再生中の動画が表示されている区画が移動する例を挙げて説明したが、動画が割り当てられている区画が上下に移動する、左右に移動する、あるいは上下左右に移動する、という移動をしてもよい。

例えば、手放した風船が空を上っていく様子を撮影した動画の場合の区画の入れ換わりについて図１２を用いて説明する。図１２（ａ）に示す動画再生開始時には、人が風船を手に持っており、動画は区画１００ｆに割り当てられている。次に人が風船を手から放し、風船が空に上がっていくにつれて、風船は区画１００ｆからはみ出していく。風船が区画１００ｆから完全に外れると、図１２（ｂ）に示すように、制御部７０は新たな区画１００ｇを他の区画にオーバーラップするような形で追加し、その区画１００ｇに、動画像データから風船のみを切り出して表示する。このとき、区画１００ｆには、風船を持っていた人が図１２（ａ）と同様に表示されたままである。なお、区画１００ｆに表示される人は、全身が区画１００ｆ内に含まれるように切り出してもよいし、一部のみを切り出してもよい。表示画面における区画１００ｇの位置は、動画像データ内における風船の位置と連動している。すなわち、動画像データの画角内において風船が高く上がるほど、区画１００ｇは表示画面のより上方の位置に配置される。区画１００ｇが移動する様子を図１２（ｃ）、図１２（ｄ）に順に示す。このように、区画１００ｇは表示画面を上下左右方向に移動する。

なお、図１２（ｄ）において、区画１００ｇは表示画面の左上隅に到達しているが、再生中の動画像データの画角が表示画面の大きさよりも小さい場合、図１２（ｅ）に示すように、区画１００ｇは表示画面の左上隅には到達しない。また、動画再生が終了したとき、表示画面を図１２（ｄ）や図１２（ｅ）に示す状態にしてもよいし、図１２（ａ）に示す動画再生開始時の状態に表示画面を戻してもよい。

また、図１０で再生中の動画が動画の進行に伴ってサイズが変わる形態や、区画を移動する形態について説明したが、区画の形状や位置に関しては、記載した内容の他にも、例えば縦長の長方形から正方形へ、あるいは横長の長方形へ形状が変わってもよい。また、形状の変更とともに区画の大きさが変わってもよいし、形状が変わらず（例えば正方形のまま）区画の大きさが変わってもよい。あるいは、区画の位置、形状、サイズのすべてが変わってもよい。

上述した変形例１によれば、第１の実施の形態で説明した作用効果に加えて、更に次の作用効果が得られる。
（７）制御部７０は、第１区画１００ａで再生されている動画像データ３１２において主要被写体２００が所定方向に動くと、第１区画１００ａの位置を所定方向に向けて移動させる。このようにしたので、あたかも主要被写体２００が第２区画１００ｂおよび第３区画１００ｃの左側から飛び出してくるような視覚効果を閲覧者に与えることができる。

（変形例２）
上述した各実施の形態では、主要被写体２００の動きに基づき区画１００の表示態様を変化させる例について説明したが、動画像データ３１２についてこれ以外の再生状況に基づき区画１００の表示態様を変化させることもできる。例えば、第１区画１００ａで再生中の動画像データ３１２について、再生されている音声データの音量に基づき第１区画１００ａの表示態様を変化させてもよい。例えば、制御部７０は、再生されている音声データの音量が大きくなると、図９（ａ）で例示したように第１区画１００ａを拡大する。また、音量が小さくなると、逆に第１区画１００ａを縮小する。

また、動画像データ３１２が被写体の構図の変化に着目して撮影された動画像である場合は、その構図の変化に基づいて区画が変わってもよい。例えば、野鳥を動画で撮影している場面を想定すると、主要被写体である野鳥は基本的に撮影画像の中央付近に捉えていて、野鳥が飛んでいくと風景が変わる動画を撮影することができる。このような動画を再生する場合は、主要被写体である野鳥の様子ではなく、風景の変化に伴い区画の形状やサイズを変化してもよい。あるいは、撮影時の加速度センサの情報（例えばパン撮影やチルト撮影）を基に区画を変えてもよい。

上述した変形例２によれば、第１の実施の形態で説明した作用効果に加えて、更に次の作用効果が得られる。
（８）制御部７０は、第１区画１００ａで再生されている動画像データ３１２の音量が変化すると、第１区画１００ａのサイズを変化させる。このようにしたので、視覚と聴覚とを生かした電子アルバムの再生を行うことができる。また、制御部７０は、第１区画１００ａで再生されている動画像データ３１２の被写体の構図の変化に伴い、第１区画１００ａの形状を変化させる。このようにしたので、被写体の構図の変化をより効果的に鑑賞することができる。

（変形例３）
１つの区画１００に対して、複数の動画像データ３１２を割り当ててもよい。制御部７０は、その区画１００において、割り当てられた複数の複数の動画像データ３１２を順に再生する。つまり、複数の複数の動画像データ３１２を、１つの区画１００において時分割的に再生する。

また、複数の動画像データ３１２の全てを１つの区画１００において再生するのではなく、各々の動画像データ３１２の一部を抜き出して再生してもよい。例えば、４つの動画像データ３１２を１つの区画１００に割り当てる場合において、各々の動画像データ３１２の再生時間を１分に限定することができる。更に、複数の動画像データ３１２の再生時間を一律に定めるのではなく、上述した主要被写体２００の動きに基づき各々の動画像データ３１２の再生時間を決定してもよい。例えば、より動きの大きい動画像データ３１２については、他の動画像データ３１２よりも長い再生時間を割り当てることができる。

（変形例４）
上述した各実施の形態では、タッチパネル７４を用いたタッチ操作により携帯機器７を操作する例について説明した。つまり、閲覧者による指示は、全てタッチパネル７４を用いたタッチ操作により制御部７０に入力されていた。これを、他の操作部材（例えばメカニカルスイッチ等）を用いた操作で置き換えてもよい。

また、種々のセンサにより検出された閲覧者の所定動作で置き換えることも可能である。例えば、閲覧者の視線を撮像装置により検出し、視線の変化を閲覧者による指示とすることができる。別の例としては、赤外線センサ等により閲覧者の手の動きを検出し、所定の手の動きを指示とすることもできる。また、マイクロフォンで閲覧者の音声を検出し、所定の音声を指示とすることも可能である。

（変形例５）
上述した各実施の形態において、携帯機器７はタブレット端末であったが、これを他の形態の端末としてもよい。例えば、いわゆるスマートフォンやカメラ、パーソナルコンピュータであってもよい。携帯機器７が、画面サイズの異なる種々の端末である場合、画面サイズに応じて区画１００の個数を変化させることもできる。

（変形例６）
以上で説明した操作方法および表示方法は一例であり、異なる操作方法や表示方法を採用してもよい。例えば、上述した各実施の形態では、複数の区画１００が表示画面全体を覆っていた。これを、各々の区画１００の間に、隙間が設けられるようにしてもよい。つまり、複数の区画１００は必ずしも表示画面全体に隙間なく敷き詰められていなくてもよい。表示方法に関する他の例としては、液晶ディスプレイ７３の代わりに、国際公開ＷＯ２０１３／０７７３３８号公報に記載されているような、空中に立体像を表示する表示装置を採用することができる。

（その他の変形例）
主要被写体２００の移動時に、過去の主要被写体２００の像を区画内に残してもよい。例えば図１３（ａ）に示す表示画面７５０ａから図１３（ｂ）に示す表示画面７５０ｂ、図１３（ｃ）に示す表示画面７５０ｃにかけて、主要被写体２００が画面右方向に移動している。このとき、前述の実施の形態と同様に、主要被写体２００が表示されている区画１００ａは、紙面右方向に向かって大きくなる。図５（ａ）、図６（ａ）、および図７（ａ）の例では、それぞれ最新のフレームのみが表示されていたのに対して、図１３（ｂ）および図１３（ｃ）では、過去のフレームと最新のフレームとが、いわゆる連続写真のように重畳して表示されている。なお、重畳して表示されるフレームは任意の方法で選択してよい。例えば一定の時間間隔でフレームを選択してもよいし、主要被写体２００の特徴的な動きを検出したフレームを選択してもよい。

主要被写体２００の移動時に、その主要被写体２００が表示されている範囲に合わせて区画を移動させてもよい。例えば図１４（ａ）に示す表示画面７５０ａから図１４（ｂ）に示す表示画面７５０ｂ、図１４（ｃ）に示す表示画面７５０ｃにかけて、主要被写体２００が画面右方向に移動している。このとき、主要被写体２００が表示されている区画１００ａは、紙面右方向に向かって移動する。制御部７０は、このとき紙面左側に生じる空きスペースに、新たな区画１００ｘ、１００ｙ、１００ｚを追加する。制御部７０は、これらの新たな区画１００ｘ〜１００ｚに、他の画像データを表示する。

動画と静止画を同時に撮影するカメラが知られている。例えば動画撮影中に所定操作を行ったり特定の被写体が検出されたりすると、動画の撮影を継続したまま、静止画を撮影するカメラが知られている。そのようなカメラで撮影した動画と静止画のペアを、通常の動画や静止画とは異なる態様で表示してもよい。以下、図１５を参照して、そのような動画像データと静止画像データのペアを再生する例について説明する。

図１５（ａ）に示す表示画面７４０ａにおいて、４つの区画には、画像データＡ１、画像データＣ１、画像データＤ１、画像データＥ１がそれぞれ表示されている。画像データＡ１は動画像データである。電子アルバムデータ３２には、動画像データＡ１と同時に撮影された静止画像データＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６が含まれている。

閲覧者が動画像データＡ１にタッチすると（動画像データＡ１が表示されている区画をタッチすると）、制御部７０は動画像データＡ１の再生を開始する。動画像データＡ１の再生が進み、静止画像データＢ１が撮影された時点に到達すると、制御部７０は、表示画面７４０ａを図１５（ｂ）に示す表示画面７４０ｂに変化させる。すなわち制御部７０は、表示画面に新たに区画を追加し、その新たな区画に静止画像データＢ１を表示する。なお、新たに区画を追加する代わりに、既存の区画に静止画像データＢ１を表示してもよい。

同様に、動画像データＡ１の再生が進み、静止画像データＢ２が撮影された時点に到達すると、制御部７０は、表示画面７４０ｂを図１５（ｃ）に示す表示画面７４０ｃに変化させる。すなわち制御部７０は、表示画面に新たに区画を追加し、その新たな区画に静止画像データＢ２を表示する。同様に動画像データＡ１の再生が進み、静止画像データＢ１〜Ｂ６が撮影された時点を通過したときの表示画面７４０ｄを図１５（ｄ）に示す。

なお、いずれかの区画（もしくは所定数の区画）のサイズが所定の最小サイズに達した時点で、新たな区画は追加されなくなる。そのような状態になった場合、制御部７０は、新たな区画を追加してそこに静止画像データを表示する代わりに、画像データＣ１、Ｄ１、Ｅ１が表示されている区画に静止画像データを表示する。つまり、表示画面から画像データＣ１や画像データＤ１、画像データＥ１などを取り除き、それらの画像データの代わりに、動画像データＡ１と関連付けられている静止画像データを表示する。

なお、動画像データの再生開始タイミングは任意に定めてよい。以上で述べたように、閲覧者がタッチ操作などの所定操作を行ったことに応じて再生を開始してもよいし、自動的に再生が開始されてもよい。

動画像データの輝度変化に応じて区画のサイズを変更してもよい。例えば図１６（ａ）に例示するように、第１区画１００ａにおいて花火を撮影した動画像データが再生されているものとする。花火が打ち上げられ、動画像データの輝度が大きくなると（明るくなると）、図１６（ｂ）に示すように、第１区画１００ａは上下左右方向に拡大される。また、花火の打ち上げ後、動画像データの輝度が小さくなると（暗くなると）、図１６（ｃ）に示すように、第１区画１００ａは上下左右方向に縮小される。

動画像データの音量変化に応じて区画のサイズを変更してもよい。例えば図１７（ａ）に例示するように、第１区画１００ａにおいて鳥を撮影した動画像データが再生されているものとする。鳥が大きな鳴き声を上げ、動画像データの音量が大きくなると、図１７（ｂ）に示すように、第１区画１００ａは上下左右方向に拡大される。このとき、図９（ａ）等に例示した場合とは異なり、主要被写体２００である鳥の画角内のサイズは変化していない。そこで制御部７０は、切り出した鳥を拡大して、大きくなった第１区画１００ａに表示する。なお、音量が大きくなった瞬間に、自動的に動画再生が一時停止されるようにしてもよい。

動画像データの音量変化に応じて区画のサイズを変更する別の例を説明する。例えば図１８（ａ）に例示するように、第１区画１００ａにおいて救急車を撮影した動画像データが再生されているものとする。救急車がカメラに向かって近づいてくると、図９（ａ）において説明したとおり、画角内の救急車のサイズが大きくなることに伴い、第１区画１００ａのサイズが拡大される。救急車がサイレンを鳴らしている場合、救急車がカメラに向かって近づいてくることに伴い、サイレンの音量も大きく聞こえるようになるので、画角内のサイズと音量の相乗効果で、第１区画１００ａのサイズは図１８（ｂ）に示すように急激に大きくなる。その後、救急車が再び遠ざかると、画角内のサイズと音量とが両方ともに小さくなるので、第１区画１００ａのサイズも図１８（ｃ）に示すように小さくなる。

動画像データの音声データの内容に区画のサイズを変更してもよい。例えば図１９（ａ）に例示するように、第１区画１００ａにおいて相撲の試合を撮影した動画像データが再生されているものとする。制御部７０が再生中の音声データから試合開始の合図を認識すると、制御部７０は第１区画１００ａを図１９（ｂ）に示す通り拡大する。同様に、制御部７０が再生中の音声データから試合終了の合図を認識すると、制御部７０は第１区画１００ａを図１９（ａ）に示す元の大きさに戻す。

動画像データを再生する区画の位置を、動画像データの内容に基づき決定してもよい。例えば、制御部７０が動画像データの再生前に動画像データの内容を解析した結果、左から右に向かって動く被写体を撮影した動画であることが検出された場合、制御部７０はその動画像データを表示画面の左側にある区画に表示する。また、奥側から手前側に向かって移動する被写体を撮影した動画であることが検出された場合、制御部７０はその動画像データを表示画面の中央近傍にある区画に表示する。

主要被写体２００の全体ではなく、一部のみを切り出して再生してもよい。例えば結婚式を撮影した動画像データを再生する際、指輪交換のシーンにおいては、指輪周辺のみを切り出して再生してもよい。また、主要被写体２００の複数の部分を切り出して、互いに異なる区画で再生してもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
上述した実施の形態および変形例は、以下のような表示装置、表示プログラムおよび表示方法も含む。
（１）画像を表示する表示部と、前記表示部の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御部と、を備える表示装置。
（２）（１）のような表示装置において、前記制御部は、前記画像に関する情報に基づいて、前記所定の領域の大きさ、または、形状を変更する表示装置。
（３）（１）または（２）のような表示装置において、前記制御部は、前記画像に関する情報に基づいて、前記所定の領域の大きさ、または形状を連続的または段階的に変更する表示装置。
（４）（１）〜（３）のような表示装置において、前記制御部は、前記画像に関する情報に基づいて、前記表示部に前記所定の領域とは異なる領域を作成し、前記異なる領域に前記画像に関連した画像を表示する表示装置。
（５）（１）〜（４）のような表示装置において、前記制御部は、前記画像に関する情報に基づいて、前記所定の領域を前記表示部に表示する位置を変更する表示装置。
（６）（１）〜（５）のような表示装置において、前記画像に関する情報は、画像信号または音信号を含む表示装置。
（７）（６）のような表示装置において、前記画像に関する情報は、前記画像信号に基づいて検出された前記画像の構図に関する情報を含む表示装置。
（８）（６）のような表示装置において、前記画像に関する情報は、前記画像信号に基づいて検出された前記画像の主要被写体の動き、または、大きさに関する情報を含む表示装置。
（９）（７）のような表示装置において、前記画像に関する情報は、前記画像信号に基づいて検出された主要被写体の動きの向きに関する情報を含み、前記制御部は、前記主要被写体の動きの向きに関する情報に基づいて、前記所定の領域の大きさを変更する表示装置。
（１０）（９）のような表示装置において、前記所定の領域を、前記主要被写体の動いている方向に大きくする表示装置。
（１１）（９）のような表示装置において、前記所定の領域を、前記主要被写体の動いている方向に位置を変更する表示装置。
（１２）（６）のような表示装置において、前記画像に関する情報は、前記画像信号に基づいて検出された前記画像の主要被写体の明るさに関する情報を含む表示装置。
（１３）（６）のような表示装置において、前記画像に関する情報は、前記画像の撮影時に取得した音信号を含む表示装置。
（１４）（１３）のような表示装置において、前記制御部は、前記音信号の変化に基づいて、前記所定の領域の大きさを変更する表示装置。
（１５）（１３）または（１４）のような表示装置において、前記制御部は、前記画像の主要被写体が発する音を、前記音信号として検出する表示装置。
（１６）（１）〜（１５）のような表示装置において、前記制御部は、前記画像として動画像を表示する表示装置。
（１７）（１）〜（１５）のような表示装置において、前記制御部は、前記画像として連写撮影、タイムラプス撮影のように連続撮影された一連の複数の静止画像を連続して表示する表示装置。
（１８）（１６）または（１７）のような表示装置において、前記画像は、前記画像に関する情報に基づいて、複数の前記領域の１つに配置される表示装置。
（１９）（１８）のような表示装置において、前記画像が配置される領域は、前記画像の構図の変化の方向、または前記画像の主要被写体の動きの変化の方向に位置する前記領域の境界が、前記変化の方向に移動できる位置に配置される表示装置。
（２０）（１８）のような表示装置において、前記複数の領域のうち少なくとも１つは前記領域の境界が移動可能であり、前記領域の境界の移動方向に基づいて、前記領域に配置される前記画像を選択する選択部を備え、前記選択部は、前記領域の境界が移動する方向に、前記画像の構図の変化、または前記画像の主要被写体の動きの変化が生じる前記画像を選択する表示装置。
（２１）表示画面に画像を表示する表示ステップと、前記表示画面の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御ステップと、をコンピュータに実行させる表示プログラム。
（２２）表示画面に画像を表示する表示工程と、前記表示画面の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御工程と、を備える表示方法。

１…画像再生システム、２…ネットワーク、３…サーバ、４…情報端末、５、５ａ、５ｂ…カメラ、６ａ、６ｂ…無線中継局、７…携帯機器、３０…記憶装置、７０…制御部

Claims (22)

1. 画像を表示する表示部と、
   前記表示部の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御部と、
   を備える表示装置。
2. 請求項１に記載の表示装置において、
   前記制御部は、前記画像に関する情報に基づいて、前記所定の領域の大きさ、または、形状を変更する表示装置。
3. 請求項１または請求項２に記載の表示装置において、
   前記制御部は、前記画像に関する情報に基づいて、前記所定の領域の大きさ、または形状を連続的または段階的に変更する表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の表示装置において、
   前記制御部は、前記画像に関する情報に基づいて、前記表示部に前記所定の領域とは異なる領域を作成し、前記異なる領域に前記画像に関連した画像を表示する表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の表示装置において、
   前記制御部は、前記画像に関する情報に基づいて、前記所定の領域を前記表示部に表示する位置を変更する表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の表示装置において、
   前記画像に関する情報は、画像信号または音信号を含む表示装置。
7. 請求項６に記載の表示装置において、
   前記画像に関する情報は、前記画像信号に基づいて検出された前記画像の構図に関する情報を含む表示装置。
8. 請求項６に記載の表示装置において、
   前記画像に関する情報は、前記画像信号に基づいて検出された前記画像の主要被写体の動き、または、大きさに関する情報を含む表示装置。
9. 請求項７に記載の表示装置において、
   前記画像に関する情報は、前記画像信号に基づいて検出された主要被写体の動きの向きに関する情報を含み、
   前記制御部は、前記主要被写体の動きの向きに関する情報に基づいて、前記所定の領域の大きさを変更する表示装置。
10. 請求項９に記載の表示装置において、
    前記所定の領域を、前記主要被写体の動いている方向に大きくする表示装置。
11. 請求項９に記載の表示装置において、
    前記所定の領域を、前記主要被写体の動いている方向に位置を変更する表示装置。
12. 請求項６に記載の表示装置において、
    前記画像に関する情報は、前記画像信号に基づいて検出された前記画像の主要被写体の明るさに関する情報を含む表示装置。
13. 請求項６に記載の表示装置において、
    前記画像に関する情報は、前記画像の撮影時に取得した音信号を含む表示装置。
14. 請求項１３に記載の表示装置において、
    前記制御部は、前記音信号の変化に基づいて、前記所定の領域の大きさを変更する表示装置。
15. 請求項１３または請求項１４に記載の表示装置において、
    前記制御部は、前記画像の主要被写体が発する音を、前記音信号として検出する表示装置。
16. 請求項１から請求項１５までのいずれか一項に記載の表示装置において、
    前記制御部は、前記画像として動画像を表示する表示装置。
17. 請求項１から請求項１５までのいずれか一項に記載の表示装置において、
    前記制御部は、前記画像として連写撮影、タイムラプス撮影のように連続撮影された一連の複数の静止画像を連続して表示する表示装置。
18. 請求項１６または請求項１７に記載の表示装置において、
    前記画像は、前記画像に関する情報に基づいて、複数の前記領域の１つに配置される表示装置。
19. 請求項１８に記載の表示装置において、
    前記画像が配置される領域は、前記画像の構図の変化の方向、または前記画像の主要被写体の動きの変化の方向に位置する前記領域の境界が、前記変化の方向に移動できる位置に配置される表示装置。
20. 請求項１８に記載の表示装置において、
    前記複数の領域のうち少なくとも１つは前記領域の境界が移動可能であり、前記領域の境界の移動方向に基づいて、前記領域に配置される前記画像を選択する選択部を備え、
    前記選択部は、前記領域の境界が移動する方向に、前記画像の構図の変化、または前記画像の主要被写体の動きの変化が生じる前記画像を選択する表示装置。
21. 表示画面に画像を表示する表示ステップと、
    前記表示画面の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御ステップと、
    をコンピュータに実行させる表示プログラム。
22. 表示画面に画像を表示する表示工程と、
    前記表示画面の所定の領域に画像を表示し、前記画像に関する情報に基づいて、前記所定の領域を変更する制御工程と、
    を備える表示方法。
    
    

Images