以下に添付図面を参照して、本発明に係るコメント作成表示装置、コメント作成表示方法及びコメント作成表示プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることができる。
(実施の形態1)
[実施の形態1に係るコメント作成表示装置の構成]
図1を用いて、実施の形態1に係るコメント作成表示装置の構成を説明する。図1は、実施の形態1に係るコメント作成表示装置の構成例を示す機能ブロック図である。
図1に示すように、コメント作成表示装置100は、入力部101と、表示部102と、記憶部110と、制御部120とを有する。例えば、コメント作成表示装置100は、車両等で移動しながら撮影された映像(例えば、車載動画等)を閲覧するときに利用されるものである。車載動画等の映像は、コメント作成表示装置100とネットワークを介して接続されるサーバ装置に蓄積されており、ユーザは、複数の映像の中から選択して閲覧する。
入力部101は、キーボードやマウス等を有し、ユーザによる操作により、コメント作成表示装置100における各種情報を入力する。各種情報の入力については、タッチパネルの操作により行なわれても良い。表示部102は、表示装置としてのモニタ(若しくはディスプレイ、タッチパネル等)やスピーカを有し、コメント作成表示装置100における各種情報を出力する。なお、表示部102が表示する画面は、「表示画面」の一例である。
記憶部110は、制御部120による各種処理に要するデータや、制御部120による各種処理結果を記憶する。記憶部110には、映像記憶部111と、移動情報記憶部112と、コメント記憶部113とが含まれる。かかる記憶部110は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。
映像記憶部111は、移動しながら撮影された映像の映像データを記憶する。より具体的には、映像記憶部111は、移動しながら撮影された映像を一意に識別するための映像IDと、映像の映像データと、映像の二次的な情報を表すメタデータとを記憶する。例えば、メタデータは、撮影日時や撮影場所等を示す地点情報、撮影機器、動画の品質、コーデック、車種等である。映像データがディジタルデータである場合に、メタデータは、Exif(Exchange Image File Format)と呼ばれるフォーマットを用いて、映像データ内に書き込まれていることが一般的である。
移動情報記憶部112は、移動しながら撮影された映像の撮影位置や時間に関する情報を記憶する。より具体的には、移動情報記憶部112は、移動情報IDと、映像IDと、測位開始時刻と、測位時刻及び測位点を含む測位データとを記憶する。これらのうち、移動情報IDは、移動情報記憶部112に記憶された各情報を一意に識別するための情報である。測位開始時刻は、映像の撮影及び測位を開始した時刻を表す情報である。測位点は、撮影位置において、GPS受信機等の位置計測を行なう機器によって測位された座標情報である。測位時刻は、測位点を計測した時刻の情報である。なお、測位データは、GPS受信機でのGPS信号の受信毎に追加されるデータであり、撮影者が移動しながら映像の録画が行なわれるため、複数個記録される。
図2は、実施の形態1に係る移動情報記憶部112に記憶される情報例を示す図である。例を挙げると、移動情報記憶部112は、移動情報ID「移動情報1」と、移動映像ID「Movie1」と、測位開始時刻「2012/02/12 12:00:00」と、測位時刻「2012/02/12 12:00:00」と、測位点「(139.611543,35.464917)」とを対応付けて記憶する。上述したように、測位データは、ひとつの移動情報IDに対して、複数個記録されている。図2に示すように、測位点は、百分率の緯度及び経度である。すなわち、測位点「(139.611543,35.464917)」であれば、東経139.611543度、北緯35.464917度を示す情報となる。
コメント記憶部113は、映像の再生中に表示されるコメントに関する情報を記憶する。より具体的には、コメント記憶部113は、コメントIDと、映像IDと、コメント文字列と、コメント座標値とを記憶する。これらのうち、コメントIDは、コメント記憶部113に記憶された各情報を一意に識別するための情報である。映像IDには、コメント記憶部113に記憶されるコメントに関する情報が作成されたときに再生中であった映像の映像IDが格納される。コメント文字列は、映像の再生中に表示されるコメントの文字列を表す情報であり、コメント座標値の位置において表示される可能性があるコメントである。コメント座標値は、コメント文字列が表示される撮影位置の座標情報を表す情報であり、コメント文字列がどの地点に対するコメントであるのかを示す座標情報(位置座標)である。
図3は、実施の形態1に係るコメント記憶部113に記憶される情報例を示す図である。例を挙げると、コメント記憶部113は、コメントID「Comment1」と、映像ID「Movie1」と、コメント文字列「ここのラーメンは美味しい」と、コメント座標値「(139.612327,35.465738)」とを対応付けて記憶する。他の例を挙げると、コメント記憶部113は、コメントID「Comment2」と、映像ID「Movie2」と、コメント文字列「芸能人のAさんの実家」と、コメント座標値「(139.611441,35.465887)」とを対応付けて記憶する。
なお、記憶部110は、説明の便宜上、コメント作成表示装置100に含まれるものとして説明するが、上述したように、映像等はネットワーク上のサーバ装置等に蓄積されていても良く、その一部又は全部をネットワーク接続された外部装置に配置されても良い。
制御部120は、制御プログラム、各種の処理手順等を規定したプログラム及び所要データを格納するための内部メモリを有する。制御部120には、映像選択部121と、映像取得部122と、コメントリスト作成部123と、再生制御部124と、新規コメント作成部125とが含まれる。かかる制御部120は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路、又は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路である。
映像選択部121は、入力部101と表示部102とを介して、再生する映像をユーザに選択させるとともに、選択された映像の情報を受け付ける。より具体的には、映像選択部121は、映像記憶部111と移動情報記憶部112とに記憶された情報から、再生対象となる映像をユーザに選択させるためのUI(User Interface)を生成し、生成したUIを表示部102に表示する。そして、映像選択部121は、ユーザによって選択された映像の情報を、入力部101を介して取得する。
図4は、実施の形態1に係る映像選択部121によって提供されるUIの例を示す図である。図4に示すように、表示部102には、選択可能なセル10、セル11及びセル12が配置されている。それぞれのセルには、移動しながら撮影された映像のそれぞれについて、対応する映像の撮影開始時刻と撮影時間とが表示されている。例を挙げると、セル10には、撮影開始時刻「2012/02/12 12:00:00」、撮影時間「24分30秒」である映像の情報が表示されている。そして、入力部101を介してユーザにより何れかのセルが選択されると、映像選択部121は、選択されたセルに対応する映像IDを映像取得部122に対して通知する。
映像取得部122は、移動しながら撮影された映像と測位データとを取得する。より具体的には、映像取得部122は、映像選択部121によって通知された映像IDに対応する映像の映像データを映像記憶部111から取得する。また、映像取得部122は、映像選択部121によって通知された映像IDに対応する映像の測位時刻と測位点とを含む情報である測位データを移動情報記憶部112から取得する。そして、映像取得部122は、取得した映像データを再生制御部124に対して出力するとともに、取得した測位データをコメントリスト作成部123に対して通知する。
コメントリスト作成部123は、映像取得部122によって通知された測位データと、コメント記憶部113に記憶された情報とをもとに、映像の再生時に表示するコメント文字列のリストを作成する。かかるリストについては、「コメントリスト」と呼ぶ場合がある。より具体的には、コメントリスト作成部123は、映像取得部122によって通知された測位データの測位点それぞれと、コメント記憶部113に記憶されたコメント座標値との距離を算出する。そして、コメントリスト作成部123は、算出した距離が所定距離以下となったコメント座標値に対応するコメント文字列をリスト化したコメントリストを作成する。
所定距離は、例えば、50メートル〜100メートルの間の距離を指す。所定距離については、あまりに近い距離に制限してしまうと、道幅やGPS精度や速度等の要因により、本来表示した方が好ましいコメントが表示されなくなってしまう可能性がある。コメントリストは、例えば、再生される映像の相対再生時刻と、コメント文字列とが対応付けられたデータである。相対再生時刻は、映像の撮影開始時間を0秒としたときの再生時刻を表し、測位データの測位時刻と、映像取得部122によって取得された測位開始時刻との差分をとることで導出できる。
図5は、実施の形態1に係るコメントリストの例を示す図である。例を挙げると、コメントリストには、相対再生時刻「00:00:12(12秒)」と、コメント文字列「ここのカーブは見通しが悪い」とが対応付けられている。他の例を挙げると、コメントリストには、相対再生時刻「00:01:50(1分50秒)」と、コメント文字列「天気が良ければ島が見えます」とが対応付けられている。なお、上述したように、コメントリストには、測位データの測位点との距離が所定距離以下のコメント座標値に対応するコメント文字列が追加されるため、1つの相対再生時刻に対して複数のコメント文字列が存在する場合がある。また、1つの相対再生時刻に対して1つのコメント文字列のみを表示させる場合には、所定距離以下のコメント座標値のうち、測位点との距離が最小になるコメント座標値に対応するコメント文字列のみをコメントリストに追加すれば良い。
再生制御部124は、移動しながら撮影された映像の再生を制御する。より具体的には、再生制御部124は、映像取得部122によって出力された映像データの表示部102への表示を制御する。このとき、再生制御部124は、コメントリスト作成部123によって作成されたコメントリストをもとに、相対再生時刻に合わせて、表示画面にコメント文字列を表示する。また、再生制御部124は、新規コメントをユーザに追加させるためのUIを表示部102に表示する。
図6は、実施の形態1に係る映像の再生画面の例を示す図である。図6に示すように、表示部102には、映像再生エリア20と、コメント表示エリア21と、コメント入力エリア22と、コメント追加ボタン23とが表示されている。これらのうち、映像再生エリア20は、再生中の映像を表示するエリアである。コメント表示エリア21は、映像の再生時間に合わせて、コメントリストのコメント文字列が表示されるエリアである。例えば、再生制御部124は、映像の再生時間がコメントリストに記録された何れかのコメント文字列の相対再生時刻に一致した場合に、対応するコメント文字列を一定時間だけコメント表示エリア21に表示する。一定時間は、例えば、5秒間等の時間である。図6では、コメント文字列の表示について、再生中の映像に重畳した例を示している。表示画面において、コメント文字列は、再生中の映像に重畳されていなくても良い。例えば、映像の外側にコメント文字列が表示されても良い。
コメント入力エリア22は、文字列が入力されるコントロール部品である。かかるコメント入力エリア22には、入力部101を介してユーザによってコメント文字列が入力される。図6の例では、コメント文字列「ここのパンは美味しい」がコメント入力エリア22に入力されている。コメント追加ボタン23は、コメント入力エリア22に入力された文字列を新規コメントとして追加するためのコントロール部品である。ユーザによってコメント追加ボタン23が押下された場合に、再生制御部124は、押下されたときの映像の映像IDと、再生時間と、コメント座標値とを新規コメント作成部125に対して出力する。コメント座標値は、再生時間に対応する測位点(撮影位置の座標情報)を参照することによって設定される。また、ユーザによってコメント追加ボタン23が押下された場合に、入力部101は、入力されたコメント文字列を新規コメント作成部125に対して出力する。
なお、新規コメント作成部125に対して出力される再生時間やコメント座標値は、コメント追加ボタン23が押下されたときではなく、コメント入力エリア22に文字列が入力されたときのものであっても良い。具体的には、文字列の入力にはある程度の時間を要するため、文字列が入力された時点における再生時間やコメント座標値を利用する。すなわち、再生制御部124は、コメント入力エリア22に文字列が入力された時点における再生時間やコメント座標値を取得しておき、コメント追加ボタン23が押下された場合に、取得した再生時間やコメント座標値を新規コメント作成部125に対して出力する。このとき、再生制御部124は、コメント入力エリア22に文字列が入力された時点で、再生中の映像を一時停止させても良い。
新規コメント作成部125は、新規コメント情報を作成し、作成した新規コメント情報をコメント記憶部113に格納する。より具体的には、新規コメント作成部125は、入力部101を介して入力されたコメント文字列を受け付けるとともに、再生制御部124によって出力された映像ID、再生時間及びコメント座標値を受け付ける。そして、新規コメント作成部125は、受け付けたコメント文字列、映像ID、再生時間及びコメント座標値をコメント記憶部113に格納する。
ここで、新規コメント情報のコメント座標値の設定について詳細に説明する。再生中の映像の映像IDに対応する測位開始時刻と測位時刻との差分が、再生中の映像の再生時間と同一である測位データの測位点を取得し、取得した測位点をコメント座標値とする。図3の例を挙げて説明すると、再生中の映像IDが「Movie1」であり、再生時間が「00:00:03」である場合に、測位開始時刻と測位時刻との差分が3秒となるのは、測位開始時刻「2012/02/12 12:00:00」から3秒経過している測位時刻「2012/02/12 12:00:03」である。これにより、測位時刻「2012/02/12 12:00:03」に対応する測位点「(139.611747,35.465135)」をコメント座標値として設定する。
但し、再生時間に合致する測位時刻が存在しない場合には、線形補間処理を実行することで測位点を算出する。図3の例を挙げて説明すると、再生中の映像の映像IDが「Movie1」であり、再生時間が「00:00:02」である場合に、測位開始時刻と測位時刻との差分が2秒となるデータが存在しないため、測位時刻が「2012/02/12 12:00:00」の測位データと、測位時刻が「2012/02/12 12:00:03」の測位データとを用いて線形補間を行なう。(数1)の線形補間により測位点が求められ、求められた測位点はコメント座標値として設定される。
[実施の形態1に係る全体処理フロー]
次に、図7を用いて、実施の形態1に係るコメント作成表示装置100における全体処理の流れについて説明する。図7は、実施の形態1に係るコメント作成表示装置100における全体処理の流れの例を示すフローチャートである。
図7に示すように、映像選択部121によって生成され表示部102に表示された、再生対象となる映像をユーザに選択させるためのUIにおいて、再生する映像が選択された場合に(ステップS101:Yes)、映像取得部122は、選択された映像の映像IDに対応する映像データを映像記憶部111から取得するとともに、測位時刻と測位点とを含む測位データを移動情報記憶部112から取得する(ステップS102)。一方、映像取得部122は、再生する映像が選択されない場合に(ステップS101:No)、再生する映像の選択待ちの状態となる。
コメントリスト作成部123は、映像取得部122によって取得された測位データの測位点のそれぞれと、コメント記憶部113に記憶されたコメント座標値との距離を算出し、算出した距離が所定距離以下となったコメント座標値に対応するコメント文字列をリスト化したコメントリストを作成する(ステップS103)。再生制御部124は、コメントリスト作成部123によって作成されたコメントリストをもとに、映像取得部122によって取得された映像データの映像の表示部102への表示を制御するとともに、表示画面にコメント文字列を表示し、新規コメントをユーザに追加させるためのUIを表示部102に表示する(ステップS104)。新規コメント作成部125は、入力されたコメント文字列を受け付けるとともに、再生制御部124から映像ID、再生時間及びコメント座標値を受け付けて、受け付けたコメント文字列、映像ID、再生時間及びコメント座標値をコメント記憶部113に格納する(ステップS105)。
[実施の形態1に係るコメントリスト作成処理フロー]
次に、図8を用いて、実施の形態1に係るコメントリスト作成処理の流れについて説明する。図8は、実施の形態1に係るコメントリスト作成処理の流れの例を示すフローチャートである。実施の形態1に係るコメントリスト作成処理とは、主にコメントリスト作成部123による処理を指す。
図8に示すように、コメントリスト作成部123は、映像取得部122によって取得された測位データのデータ数を「M」とし、初期値「1」、増分「1」のループ変数「m」が、終了値「M」になるまでループするループAを開始する(ステップS201)。以下、m番目の測位データについては、「測位データm」と呼ぶ場合がある。
そして、コメントリスト作成部123は、測位データmの測位時刻から求められる相対時刻と、コメントリストに最後に追加されたコメント文字列に対応する相対再生時刻との差が、コメント文字列の表示時間以上であるか否かを判定することにより、コメント文字列が表示可能か否かを判定する(ステップS202)。測位データmの測位時刻から相対時刻を求める方法は、映像取得部122によって取得された測位開始時刻と、測位データmの測位時刻との差を求めれば良い。上述したように、コメント文字列の表示時間は例えば5秒間となっているため、コメントリスト作成部123は、5秒以上の余裕がある場合に、コメント文字列が表示可能であると判定する。
このとき、コメントリスト作成部123は、コメント文字列が表示可能であると判定した場合に(ステップS202:Yes)、測位データmの測位点と、コメント記憶部113に記憶された全てのコメント座標値との距離を算出する(ステップS203)。測位データmの測位点と、コメント座標値とが百分率の緯度経度で表現されている場合に、2点間のおおよその距離「D」は、測位データmの測位点を(x
1,y
1)、コメント座標値を(x
2,y
2)とすると、(数2)により求めることができる。(数2)において、距離「D」の単位は、メートルである。
続いて、コメントリスト作成部123は、算出した距離が所定距離以下であるか否かを判定する(ステップS204)。コメントリスト作成部123は、算出した距離が所定距離以下であると判定した場合に(ステップS204:Yes)、測位データmの測位点との距離が所定距離以下であるコメント座標値に対応するコメント文字列と同一のコメント文字列が、コメントリストに既に追加されているか否かを判定する(ステップS205)。このとき、コメントリスト作成部123は、同一のコメント文字列がコメントリストに既に追加されていないと判定した場合に(ステップS205:No)、測位データmから算出される映像データの相対再生時刻と、コメント文字列とをコメントリストに追加する(ステップS206)。
その後、コメントリスト作成部123は、ループ変数mがループAの終了条件を満たすならば(ステップS207)、処理を終了する。一方、コメントリスト作成部123は、終了条件を満たさない場合に、ステップS201に戻り、上述した処理を実行する。すなわち、コメントリスト作成部123は、コメントが表示可能でないと判定した場合(ステップS202:No)、算出した距離が所定距離より大きい場合(ステップS204:No)、同一のコメント文字列がコメントリストに既に追加されている場合に(ステップS205:Yes)、ループ変数mがループAの終了条件を満たすまで、上述した処理を実行する。
[実施の形態1による効果]
上述したように、コメント作成表示装置100は、ユーザが映像を閲覧してコメントを入力するだけで、入力した地点に対するコメントを保持することができるので、コメントしたい地点の正確な座標値をユーザが認識していなくても、位置情報に対応付けてコメントを保持することができる。容易に、位置情報に対応付けてコメントを保持できることで、例えば、位置情報(コメント座標値)をもとに他の動画にコメント文字列を表示させることも可能であるとともに、任意の地図サービスにコメント文字列を表示させることも可能である。
[実施の形態1の変形例]
図9は、実施の形態1の変形例に係る映像の再生画面の例を示す図である。図9に示す例では、コメント一覧24が表示されているところが図6とは異なる。具体的には、コメント一覧24のコメント文字列から何れかがユーザによって選択された場合に、再生制御部124は、選択されたコメント文字列に対応する位置に映像の再生位置をシークする。以下に、コメント一覧24から選択されたコメント文字列に対応する位置に映像の再生位置をシークする場合の処理について説明する。
コメントリスト作成部123は、コメント文字列と、コメント文字列に対応する測位時刻とを組み合わせたデータを表すコメント一覧24をコメントリストとは別にさらに作成する。これにより、再生制御部124は、コメントリスト作成部123によって作成されたコメント一覧24のコメント文字列を表示画面に表示する(図9参照)。その後、再生制御部124は、コメント一覧24のコメント文字列から何れかが選択された場合に、選択されたコメント文字列の測位時刻の測位点に対応する映像の再生を制御することにより、コメント一覧24から選択されたコメント文字列に対応する位置に映像の再生位置をシークする。
また、コメントリスト作成部123は、映像ID及びコメントIDもコメント一覧24に追加しても良い。これにより、再生制御部124は、コメント一覧24から何れかのコメント文字列が選択された場合に、選択されたコメント文字列に対応する映像IDの映像に変更するようにしても良い。また、再生する映像を変更する場合に、再生制御部124は、新たな映像IDに対応する映像の再生を開始するときに、コメントリスト作成部123からコメントIDを取得し、取得したコメントIDに一致するコメント文字列の相対再生時刻に再生位置を変更することで、選択されたコメント文字列に対応する位置から再生することができる。
(実施の形態2)
上記実施の形態1では、再生中の映像の位置に対するコメントを追加する場合を説明した。実施の形態2では、再生中の映像の位置に対するコメントの追加に際して、コメントの表示位置を設定する場合を説明する。
具体的には、実施の形態2では、コメントが入力された場合に、表示画面に表示するコメントの表示位置を設定することで方角情報を付加する。そして、実施の形態2では、付加された方角情報をもとに、コメントの表示・非表示を制御する。例えば、東京から静岡方面へ向かう映像において富士山についてコメントが入力されたとしても、静岡から東京方面へ向かう映像には同方向に富士山は映らないため、同位置であっても入力されたコメントを表示することは好ましくない場合がある。
[実施の形態2に係るコメント作成表示装置の構成]
図10を用いて、実施の形態2に係るコメント作成表示装置の構成を説明する。図10は、実施の形態2に係るコメント作成表示装置の構成例を示す機能ブロック図である。なお、図10では、実施の形態1に係るコメント作成表示装置100と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。実施の形態2では、記憶部210の移動情報記憶部212及びコメント記憶部213、制御部220のコメントリスト作成部223、再生制御部224、新規コメント作成部225及び方角指定部226以外の機能及び構成、処理については実施の形態1と同様である。
図10に示すように、コメント作成表示装置200は、入力部101と、表示部102と、記憶部210と、制御部220とを有する。記憶部210は、映像記憶部111と、移動情報記憶部212と、コメント記憶部213とを有する。制御部220は、映像選択部121と、映像取得部122と、コメントリスト作成部223と、再生制御部224と、新規コメント作成部225と、方角指定部226とを有する。
移動情報記憶部212は、映像IDと、測位開始時刻と、測位データとを、移動情報IDに対応付けて記憶する。かかる測位データには、測位時刻及び測位点に加えて、映像の撮影時の方角情報を表わす撮影方角情報が含まれる。すなわち、実施の形態2に係る測位データは、測位時刻、測位点及び撮影方角情報の組み合わせとなる。撮影方角情報には、方角を示す数値が格納される。例えば、北を0度として、時計回りに1周を360度の度数法で表現する。つまり、真東は90度、真南は180度、真西は270度である。方角を示す数値としては、度数法ではなく、弧度法で表現しても良いし、0度の基準を北ではなく南等の他の方角に変更しても良い。
コメント記憶部213は、映像IDと、コメント文字列と、コメント座標値と、コメント方角とを、コメントIDに対応付けて記憶する。コメント方角は、表示画面上におけるコメント文字列の表示位置を示す情報である。また、コメント方角は、撮影方角情報と同様に、方角を示す数値が格納される。
コメントリスト作成部223は、映像取得部122によって通知された測位データと、コメント記憶部213に記憶された情報とをもとに、コメントリストを作成する。より具体的には、コメントリスト作成部223は、映像取得部122によって通知された測位データの測位点それぞれと、コメント記憶部213に記憶されたコメント座標値との距離を算出する。そして、コメントリスト作成部223は、算出した距離が所定距離以下となったコメント座標値に対応するコメント文字列をリスト化したコメントリストを作成する。このとき、コメントリスト作成部223は、測位データの撮影方角情報と、コメント方角とを用いて、コメント文字列を表示画面に表示する際の表示角度を算出する。
表示角度は、測位データmの撮影方角情報を「θ
m」、コメント方角を「θ
c」とすると、表示角度「θ」は(数3)により求められる。これらにより、コメントリスト作成部223は、求めた表示角度をさらに含むコメントリストを作成する。
再生制御部224は、移動しながら撮影された映像の再生を制御する。より具体的には、再生制御部224は、映像取得部122によって出力された映像データの表示部102への表示を制御する。このとき、再生制御部224は、コメントリスト作成部223によって作成されたコメントリストをもとに、相対再生時刻に合わせて、また、表示角度に応じて、コメント文字列を表示する。表示角度に応じたコメント文字列の表示について、再生制御部224は、表示角度が315度以上360度未満、又は、0度以上45度未満であるとき、表示角度を「θ」、映像の幅を「w」、コメント文字列の幅を「w
c」とすると、コメント表示エリア21のx座標値「x
c」を(数4)によって算出する。これらにより、再生制御部224は、コメント表示エリア21の左上の座標値を(数4)により算出されたx座標に移動させ、コメント文字列を表示画面に表示する。つまり、表示画面に表示されるコメント文字列は、映像に重畳されていることになる。但し、コメント文字列は、映像に重畳されていなくても良く、映像の外側に表示して、算出した座標位置に対して矢印等のオブジェクトで指し示すようにしても良い。なお、再生制御部224は、表示角度が45度以上315度未満である場合に、コメント文字列に対応する対象物が映像外にあることとして、コメント表示エリア21にはコメント文字列を表示させないようにする。また、再生制御部224は、再生制御部124と同様に、新規コメントをユーザに追加させるためのUIを表示部102に表示する。また、コメント表示エリア21のx座標値は、「コメント位置」の一例である。
図11は、実施の形態2に係る映像の再生画面の例を示す図である。図11に示すように、表示部102には、映像再生エリア20と、コメント表示エリア21と、カーソルポインタ25と、決定ボタン26とが表示されている。図11では、コメント入力エリア22で入力された文字列「ここのパンは美味しい」が、コメント表示エリア21に表示されている例を表している。すなわち、図11に示すコメント表示エリア21は、コメント入力エリア22に入力された文字列のプレビューの役割を担っている。
ユーザは、カーソルポインタ25を操作して、プレビューとしてのコメント表示エリア21を表示させたい位置に移動させて、決定ボタン26を押下する。詳細には、ユーザは、文字列に対応する対象物の方向に、プレビューとしてのコメント表示エリア21を移動させることになる。決定ボタン26が押下されると、再生制御部224は、押下されたときの映像の映像IDと、再生時間と、コメント座標値とを新規コメント作成部225に対して出力する。加えて、再生制御部224は、ユーザによって決定ボタン26が押下された場合に、プレビューとしてのコメント表示エリア21のx座標値「xc」と、映像の幅「w」と、コメント文字列の幅「wc」とを方角指定部226に対して出力する。また、ユーザによって決定ボタン26が押下された場合に、入力部101は、入力されたコメント文字列を新規コメント作成部225に対して出力する。
方角指定部226は、再生制御部224によって出力されたコメント表示エリア21のx座標値「x
c」と、映像の幅「w」と、コメント文字列の幅「w
c」とをもとに、コメント方角「θ
c」を求める。より具体的には、方角指定部226は、コメント方角「θ
c」を(数5)により求めて、求めたコメント方角「θ
c」を新規コメント作成部225に対して出力する。
新規コメント作成部225は、新規コメント情報を作成し、作成した新規コメント情報をコメント記憶部213に格納する。より具体的には、新規コメント作成部225は、入力部101を介して入力されたコメント文字列を受け付けるとともに、再生制御部224によって出力された映像ID、再生時間及びコメント座標値を受け付ける。加えて、新規コメント作成部225は、方角指定部226によって出力されたコメント方角「θc」を受け付ける。そして、新規コメント作成部225は、受け付けたコメント文字列、映像ID、再生時間、コメント座標値及びコメント方角をコメント記憶部213に格納する。
[実施の形態2に係る全体処理フロー]
次に、図12を用いて、実施の形態2に係るコメント作成表示装置200における全体処理の流れについて説明する。図12は、実施の形態2に係るコメント作成表示装置200における全体処理の流れの例を示すフローチャートである。
図12に示すように、映像選択部121によって生成され表示部102に表示された、再生対象となる映像をユーザに選択させるためのUIにおいて、再生する映像が選択された場合に(ステップS301:Yes)、映像取得部122は、選択された映像の映像IDに対応する映像データを映像記憶部111から取得するとともに、測位時刻、測位点及び撮影方角情報を含む測位データを移動情報記憶部212から取得する(ステップS302)。一方、映像取得部122は、再生する映像が選択されない場合に(ステップS301:No)、再生する映像の選択待ちの状態となる。
コメントリスト作成部223は、映像取得部122によって取得された測位データの測位点のそれぞれと、コメント記憶部213に記憶されたコメント座標値との距離を算出するとともに、測位データの撮影方角情報とコメント方角とを用いて、コメント文字列の表示角度を算出し、算出した距離が所定距離以下となったコメント座標値に対応するコメント文字列及び表示角度を含むコメントリストを作成する(ステップS303)。
再生制御部224は、コメントリスト作成部223によって作成されたコメントリストをもとに、映像取得部122によって取得された映像データの映像の表示部102への表示を制御するとともに、表示角度に応じて表示画面にコメント文字列を表示し、新規コメントをユーザに追加させるためのUIを表示部102に表示する(ステップS304)。ここで、方角指定部226は、再生制御部224から受け付けた、コメント表示エリア21のx座標値、映像の幅及びコメント文字列の幅をもとに、コメント方角を求め、求めたコメント方角を新規コメント作成部225に対して出力する。新規コメント作成部225は、入力されたコメント文字列を受け付けるとともに、再生制御部224から映像ID、再生時間及びコメント座標値を受け付けて、さらに、方角指定部226からコメント方角を受け付けて、受け付けたコメント文字列、映像ID、再生時間、コメント座標値及びコメント方角をコメント記憶部213に格納する(ステップS305)。
[実施の形態2に係るコメントリスト作成処理フロー]
次に、図13を用いて、実施の形態2に係るコメントリスト作成処理の流れについて説明する。図13は、実施の形態2に係るコメントリスト作成処理の流れの例を示すフローチャートである。実施の形態2に係るコメントリスト作成処理とは、主にコメントリスト作成部223による処理を指す。
図13に示すように、コメントリスト作成部223は、映像取得部122によって取得された測位データのデータ数を「M」とし、初期値「1」、増分「1」のループ変数「m」が、終了値「M」になるまでループするループAを開始する(ステップS401)。以下、m番目の測位データについては、「測位データm」と呼ぶ場合がある。
そして、コメントリスト作成部223は、測位データmの測位時刻から求められる相対時刻と、コメントリストに最後に追加されたコメント文字列に対応する相対再生時刻との差が、コメント文字列の表示時間以上であるか否かを判定することにより、コメント文字列が表示可能か否かを判定する(ステップS402)。このとき、コメントリスト作成部223は、コメント文字列が表示可能であると判定した場合に(ステップS402:Yes)、測位データmの測位点と、コメント記憶部213に記憶された全てのコメント座標値との距離を算出する(ステップS403)。
続いて、コメントリスト作成部223は、算出した距離が所定距離以下であるか否かを判定する(ステップS404)。コメントリスト作成部223は、算出した距離が所定距離以下であると判定した場合に(ステップS404:Yes)、測位データmの撮影方角情報とコメント方角とから、表示角度を算出する(ステップS405)。そして、コメントリスト作成部223は、算出した表示角度と、測位データmから算出された映像データの相対再生時刻と、コメント文字列とをコメントリストに追加する(ステップS406)。
その後、コメントリスト作成部223は、ループ変数mがループAの終了条件を満たすならば(ステップS407)、処理を終了する。一方、コメントリスト作成部223は、終了条件を満たさない場合に、ステップS401に戻り、上述した処理を実行する。すなわち、コメントリスト作成部223は、コメントが表示可能でないと判定した場合(ステップS402:No)、算出した距離が所定距離より大きい場合に(ステップS404:No)、ループ変数mがループAの終了条件を満たすまで、上述した処理を実行する。
なお、実施の形態2に係るコメントリスト作成処理では、映像の撮影方角情報に応じて算出される表示角度が変化するため、ステップS205に示した重複判定を行なわないこととして説明した。このため、実施の形態2では、同一のコメント文字列がコメントリストに複数回記録される可能性がある。また、ステップS406においては、上述したように、表示角度が所定の角度範囲でなければ、対応するコメント文字列をコメントリストに追加しないようにしても良い。
[実施の形態2による効果]
上述したように、コメント作成表示装置200は、コメントに方角情報を付加することで、再生中の映像(若しくは表示画面)の適切な位置にコメント文字列を表示することができる。また、コメント作成表示装置200は、コメント方角に応じてコメント文字列の表示・非表示を制御することができるので、映像に表示されない対象物に対するコメント文字列の表示を抑制することができる。
(実施の形態3)
上記実施の形態1では、再生中の映像の測位データの測位点と、コメント座標値との距離が所定距離以下であるコメント座標値に対応するコメント文字列をコメントリストに追加する場合を説明した。実施の形態3では、有用なコメント文字列を優先的にコメントリストに追加する場合を説明する。
具体的には、実施の形態3では、映像の再生中に表示されるコメント文字列が複数存在する場合に、複数のコメント文字列をコメント表示エリア21に一度に表示することは好ましくない可能性があるため、表示すべきコメント文字列と表示しなくても良いコメント文字列との取捨選択を行なう。コメント文字列の取捨選択では、再生中の映像に関するメタデータと、コメント文字列に対応する映像に関するメタデータとの類似度合いを評価値として算出し、評価値がより高いコメント文字列をコメントリストに追加する。
[実施の形態3に係るコメント作成表示装置の構成]
図14を用いて、実施の形態3に係るコメント作成表示装置の構成を説明する。図14は、実施の形態3に係るコメント作成表示装置の構成例を示す機能ブロック図である。なお、図14では、実施の形態1に係るコメント作成表示装置100と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。実施の形態3では、制御部320のコメントリスト作成部323以外の機能及び構成、処理については実施の形態1と同様である。
図14に示すように、コメント作成表示装置300は、入力部101と、表示部102と、記憶部110と、制御部320とを有する。記憶部110は、映像記憶部111と、移動情報記憶部112と、コメント記憶部113とを有する。制御部320は、映像選択部121と、映像取得部122と、コメントリスト作成部323と、再生制御部124と、新規コメント作成部125とを有する。
コメントリスト作成部323は、映像取得部122によって通知された測位データと、コメント記憶部113に記憶された情報とをもとに、コメントリストを作成する。より具体的には、コメントリスト作成部323は、映像取得部122によって通知された測位データの測位点それぞれと、コメント記憶部113に記憶されたコメント座標値との距離を算出する。そして、コメントリスト作成部323は、算出した距離が所定距離以下となったコメント座標値を有するコメント情報についてコメント評価値を算出する。
かかるコメント評価値は、距離が所定距離以下となったコメント座標値に対応する映像IDをもとに映像のメタデータを取得し、再生中の映像の映像IDのメタデータと比較し、メタデータが近いコメント座標値のコメント評価値が高くなるように評価式を設定することにより得られる。ここで、メタデータが近いとは、メタデータ同士の類似度合いが高いことを意味する。例えば、評価するメタデータの数を「N」、k番目のメタデータの一致状態を1若しくは0で表す変数を「c
k」、k番目のメタデータの重みを「α
k」とすると、コメント評価値「e」は(数6)により求められる。なお、(数6)において、重み「α
k」は、ユーザにより任意の値が設定される。
以下に、コメント評価値の算出について例を挙げて説明する。例えば、メタデータは、季節、撮影時の天候及び車種が含まれるものとする。季節に対する重みは「0.2」、天候に対する重みは「0.3」、車種に対する重みは「0.5」とする。映像選択部121において選択された映像のメタデータ、すなわち再生中の映像のメタデータについては、季節「春」、天候「晴れ」、車種「ワゴン」であるものとする。
上述した状態において、あるコメント座標値に対応する映像のメタデータが、季節「夏」、天候「雨」、車種「ワゴン」であるものとする。つまり、メタデータ同士の一致は、車種「ワゴン」のみである。このときのコメント評価値は、「0.2×0+0.3×0+0.5×1=0.5」となる。また、映像IDが同一であればメタデータも全て一致するため、コメント評価値は、「0.2×1+0.3×1+0.5×1=1」となる。
コメント評価値を求めたコメントリスト作成部323は、所定評価値以上となったコメント評価値に対応するコメント文字列と、相対再生時刻とをコメントリストに追加する。なお、コメントリストへの追加については、コメントリストへの追加数を制限することを目的としているため、コメント評価値の高いコメント文字列を所定数だけコメントリストに追加しても良いし、コメント評価値が最も高いコメント文字列のみをコメントリストに追加しても良い。
[実施の形態3に係る全体処理フロー]
次に、図15を用いて、実施の形態3に係るコメント作成表示装置300における全体処理の流れについて説明する。図15は、実施の形態3に係るコメント作成表示装置300における全体処理の流れの例を示すフローチャートである。
図15に示すように、映像選択部121によって生成され表示部102に表示された、再生対象となる映像をユーザに選択させるためのUIにおいて、再生する映像が選択された場合に(ステップS501:Yes)、映像取得部122は、選択された映像の映像IDに対応する映像データを映像記憶部111から取得するとともに、測位時刻と測位点とを含む測位データを移動情報記憶部112から取得する(ステップS502)。一方、映像取得部122は、再生する映像が選択されない場合に(ステップS501:No)、再生する映像の選択待ちの状態となる。
コメントリスト作成部323は、映像取得部122によって取得された測位データの測位点のそれぞれと、コメント記憶部113に記憶されたコメント座標値との距離を算出し、算出した距離が所定距離以下となったコメント座標値を有するコメント情報についてコメント評価値を算出し、コメント評価値が所定評価値以上となったコメント文字列をリスト化したコメントリストを作成する(ステップS503)。
再生制御部124は、コメントリスト作成部323によって作成されたコメントリストをもとに、映像取得部122によって取得された映像データの映像の表示部102への表示を制御するとともに、表示画面にコメント文字列を表示し、新規コメントをユーザに追加させるためのUIを表示部102に表示する(ステップS504)。新規コメント作成部125は、入力されたコメント文字列を受け付けるとともに、再生制御部124から映像ID、再生時間及びコメント座標値を受け付けて、受け付けたコメント文字列、映像ID、再生時間及びコメント座標値をコメント記憶部113に格納する(ステップS505)。
[実施の形態3に係るコメントリスト作成処理フロー]
次に、図16を用いて、実施の形態3に係るコメントリスト作成処理の流れについて説明する。図16は、実施の形態3に係るコメントリスト作成処理の流れの例を示すフローチャートである。実施の形態3に係るコメントリスト作成処理とは、主にコメントリスト作成部323による処理を指す。なお、図16では、評価値の最も高いコメント文字列をコメントリストに追加する場合を例に挙げて説明する。
図16に示すように、コメントリスト作成部323は、映像取得部122によって取得された測位データのデータ数を「M」とし、初期値「1」、増分「1」のループ変数「m」が、終了値「M」になるまでループするループAを開始する(ステップS601)。以下、m番目の測位データについては、「測位データm」と呼ぶ場合がある。
そして、コメントリスト作成部323は、測位データmの測位時刻から求められる相対時刻と、コメントリストに最後に追加されたコメント文字列に対応する相対再生時刻との差が、コメント文字列の表示時間以上であるか否かを判定することにより、コメント文字列が表示可能か否かを判定する(ステップS602)。このとき、コメントリスト作成部323は、コメント文字列が表示可能であると判定した場合に(ステップS602:Yes)、測位データmの測位点と、コメント記憶部113に記憶された全てのコメント座標値との距離を算出する(ステップS603)。
続いて、コメントリスト作成部323は、算出した距離が所定距離以下であるか否かを判定する(ステップS604)。コメントリスト作成部323は、算出した距離が所定距離以下であると判定した場合に(ステップS604:Yes)、所定距離以下となったコメント座標値に対応する映像IDの映像のメタデータと、再生中の映像のメタデータとを比較することにより、コメント座標値それぞれに対応するコメント文字列のコメント評価値を算出する(ステップS605)。そして、コメントリスト作成部323は、測位データmから算出される映像データの相対再生時刻と、コメント評価値の最も高いコメント文字列とをコメントリストに追加する(ステップS606)。
その後、コメントリスト作成部323は、ループ変数mがループAの終了条件を満たすならば(ステップS607)、処理を終了する。一方、コメントリスト作成部323は、終了条件を満たさない場合に、ステップS601に戻り、上述した処理を実行する。すなわち、コメントリスト作成部323は、コメントが表示可能でないと判定した場合(ステップS602:No)、算出した距離が所定距離より大きい場合に(ステップS604:No)、ループ変数mがループAの終了条件を満たすまで、上述した処理を実行する。
[実施の形態3による効果]
上述したように、コメント作成表示装置300は、再生中の映像が表示される表示画面に表示するコメント文字列について、再生中の映像の撮影条件等に近い映像の閲覧中に入力されたコメント文字列とするので、より関連度合いの高いコメント文字列を表示することができる。
(実施の形態4)
さて、これまで本発明に係るコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されてよいものである。そこで、(1)コメントの表示時間、(2)コメント表示エリアの座標値、(3)コメント評価値に応じた処理、(4)コメント表示エリアの位置、(5)構成、(6)プログラム、について異なる実施の形態を説明する。
(1)コメントの表示時間
上記実施の形態1では、コメント文字列の表示時間について、5秒間等の一定時間であることとして説明した。かかるコメント文字列の表示時間については、動的に変更することも可能である。例えば、測位データの測位点とコメント座標値との距離が所定値以上となる時間まで表示するようにしても良い。また、GPS等を用いて計測された速度が遅いほど長く表示する等、速度に応じて表示時間を変化させるようにしても良い。
(2)コメント表示エリアの座標値
上記実施の形態2では、コメント表示エリア21をx軸方向に移動させて、コメント表示エリア21の左上のx座標値を利用してコメント方角等を算出する場合を説明した。かかる座標値については、y座標値を利用しても良い。例えば、コメント表示エリア21をy軸方向にも移動させられるようにして、決定ボタン26の押下時にコメント表示エリア21のy座標値「yc」を方角指定部226に対して出力し、y座標値「yc」をもとに算出されたコメント方角を利用する。
(3)コメント評価値に応じた処理
上記実施の形態3では、算出したコメント評価値の高いコメント文字列をコメントリストに追加する場合を説明した。かかるコメント評価値については、コメント文字列を表示画面に表示する場合にも利用するようにしても良い。例えば、再生制御部124は、コメント文字列を表示画面に表示する場合に、コメント評価値の高さによって表示するコメント文字列の大きさや色等を変化させても良い。
(4)コメント表示エリアの位置
上記実施の形態2では、コメント表示エリア21を映像に重畳する場合を説明した。かかるコメント表示エリア21については、映像に重畳されていなくても良い。図17は、コメント表示エリア21を映像の外側に表示する例(1)を示す図である。例えば、図17に示すように、コメント表示エリア21は、映像再生エリア20の外側に配置されている。図17に示す例では、コメント入力エリア22で入力された文字列「ここのパンは美味しい」が映像再生エリア20の外側に配置されたコメント表示エリア21に表示されている。ユーザは、カーソルポインタ25(図示せず)を操作して、矢印の先端を移動させて決定ボタン26を押下する。そして、再生制御部224は、押下されたときの映像の映像IDと、再生時間と、コメント座標値とを新規コメント作成部225に対して出力する。加えて、再生制御部224は、矢印の先端のx座標値と、映像の幅と、コメント文字列の幅とを方角指定部226に対して出力する。これらにより、コメント表示エリア21に入力されたコメント文字列に対応する表示角度が算出され、映像の再生中に、表示角度に応じたコメント文字列が表示される。このときのコメント表示エリア21の表示位置についても、映像再生エリア20の外側に配置しても良く、表示角度に応じた位置を矢印により指示するようにしても良い。なお、コメント表示エリア21の配置位置については、図17に示した位置に限られるわけではない。
図18は、コメント表示エリア21を映像の外側に表示する例(2)を示す図である。例えば、図18に示すように、コメント表示エリア21は、映像再生エリア20の外側に配置されている。図18に示す例では、コメント入力エリア22で入力された文字列「ここのパンは美味しい」が映像再生エリア20の外側に配置されたコメント表示エリア21に表示されている。ユーザは、カーソルポインタ25(図示せず)を操作して、星印等のマーカを移動させて決定ボタン26を押下する。そして、再生制御部224は、押下されたときの映像の映像IDと、再生時間と、コメント座標値とを新規コメント作成部225に対して出力する。加えて、再生制御部224は、星印等のマーカのx座標値と、映像の幅と、コメント文字列の幅とを方角指定部226に対して出力する。これらにより、コメント表示エリア21に入力されたコメント文字列に対応する表示角度が算出され、映像の再生中に、表示角度に応じたコメント文字列が表示される。このときのコメント表示エリア21の表示位置についても、映像再生エリア20の外側に配置しても良く、表示角度に応じた位置を星印等のマーカにより指示するようにしても良い。なお、コメント表示エリア21の配置位置については、図18に示した位置に限られるわけではない。
(5)構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。例えば、コメント評価値の算出で利用されるメタデータは、上述したデータに限られるわけではない。
図示したコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況などに応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
例えば、コメントリスト作成部123と、再生制御部124とを、映像の再生の進行ごとに、再生時間に対応する測位データを取得し、測位データに最も近傍の座標値を有するコメント文字列を取得及び表示する「コメント再生制御部」として統合しても良い。つまり、「コメント再生制御部」によれば、映像の再生中に表示するコメント文字列をリストとして予め抽出するのではなく、再生時間ごとに都度、コメント文字列を抽出して表示することになる。
(6)プログラム
本実施の形態のコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300は、CPU等の制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)等の記憶装置と、HDD(Hard Disk Drive)等の外部記憶装置と、タッチパネル又はディスプレイ装置等の表示装置と、マウスやキーボード等の入力装置を備えており、任意の端末や情報処理装置を利用したハードウェア構成となっている。
本実施の形態のコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300で実行されるコメント作成表示プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等の端末や情報処理装置で読み取り可能な記憶媒体に記録されて提供される。
本実施の形態のコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300で実行されるコメント作成表示プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。本実施の形態のコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300で実行されるコメント作成表示プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、本実施の形態のコメント作成表示プログラムを、ROM等に予め組み込んで提供するように構成しても良い。
本実施の形態のコメント作成表示装置100、コメント作成表示装置200、コメント作成表示装置300で実行されるコメント作成表示プログラムは、上述した各部(コメント記憶部113、映像取得部122、コメントリスト作成部123、再生制御部124、新規コメント作成部125)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体や記憶装置等から信頼度導出プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、コメント記憶部113、映像取得部122、コメントリスト作成部123、再生制御部124、新規コメント作成部125が主記憶装置上に生成されるようになっている。
上述したように、本実施の形態では、少なくとも以下の内容を開示する。
本実施の形態に係るコメント作成表示装置は、コメント記憶部と、取得部と、再生制御部と、コメントリスト作成部とを有する。コメント記憶部は、移動しながら撮影された映像の再生中に表示される文字列を表すコメント文字列と、コメント文字列が表示される撮影位置の座標情報を表すコメント座標値とを対応付けたコメント情報を記憶する。取得部は、映像と、映像の撮影位置を測位したときの時刻を表す測位時刻、及び、映像の撮影位置の座標情報を表す測位点を含む情報である測位データとを取得する。再生制御部は、取得部によって取得された映像の再生を制御する。コメントリスト作成部は、再生中の映像の再生時間に対応する測位データの測位点との距離が所定距離以下である、コメント記憶部に記憶されたコメント座標値に対応するコメント文字列をリストとして作成する。また、再生制御部は、作成されたコメントリストをもとに、映像が表示される表示画面にコメント文字列を表示する。