JPWO2013121471A1 - 映像生成装置 - Google Patents

映像生成装置 Download PDF

Info

Publication number
JPWO2013121471A1
JPWO2013121471A1 JP2013507497A JP2013507497A JPWO2013121471A1 JP WO2013121471 A1 JPWO2013121471 A1 JP WO2013121471A1 JP 2013507497 A JP2013507497 A JP 2013507497A JP 2013507497 A JP2013507497 A JP 2013507497A JP WO2013121471 A1 JPWO2013121471 A1 JP WO2013121471A1
Authority
JP
Japan
Prior art keywords
video
moving
information
angle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013507497A
Other languages
English (en)
Other versions
JP5393927B1 (ja
Inventor
英二 福宮
英二 福宮
森田　克之
克之 森田
浩市 堀田
浩市 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013507497A priority Critical patent/JP5393927B1/ja
Application granted granted Critical
Publication of JP5393927B1 publication Critical patent/JP5393927B1/ja
Publication of JPWO2013121471A1 publication Critical patent/JPWO2013121471A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

映像生成装置（１００）は、対象物の位置を取得する対象物情報取得部（１０１）と、移動体から撮影された映像と、映像が撮影されたときの移動体の位置とを取得する映像情報取得部（１０２）と、映像が撮影されたときの移動体の移動方向を取得する移動方向取得部（１０３）と、映像のうちの少なくとも一タイミングにおける映像の画角の一部である切出映像を、移動体の位置から対象物の位置へ向かう方向と、移動体の移動方向または当該移動方向の反対方向とがともに含まれるように切り出す映像切り出し部（１０４）とを備える。

Description

本発明は、予め移動体の前方または後方を撮影した映像の一部を切り出す映像生成装置に関する。
列車が走行している状態で、その前方風景が撮像装置によりリアルタイムに撮影された上、その前方風景画像が複数の車両のそれぞれに設けられた複数の旅客用モニタで表示される際に、撮影された前方風景画像には、各種情報が適切なタイミングで重畳表示されるようにした映像情報配信表示システム、並びに鉄道車両が特許文献１に記載されている。
特開２００５−１４７８４号公報
しかしながら、特許文献１に記載の技術では、前方風景画像に含まれる建物などの対象物の映像を表示することができるものの、当該建物などの映像を視聴者が視認しやすいように適切に表示することが困難な場合がある。
そこで、本発明の目的は、かかる問題に鑑みてなされたものであって、移動体の前方または後方を撮影した映像において対象物の映像を、視聴者が認識しやすいように適切に表示することができる映像生成装置を提供することにある。
上記目的を達成するために、本発明の一態様に係る映像生成装置は、対象物の位置を取得する対象物情報取得部と、移動体から撮影された映像と、前記映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、前記映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、前記映像のうちの少なくとも一タイミングにおける映像の画角の一部である切出映像を、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または当該移動方向の反対方向とがともに含まれるように切り出す映像切り出し部とを備える。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の映像生成装置および映像生成方法は、移動体の前方または後方を撮影した映像において対象物を視聴者が認識しやすいように適切に表示することができる。
図１は、本発明の実施の形態に係る映像生成装置の構成を示すブロック図である。 図２は、対象物情報受付部の画面を示す図である。 図３は、対象物と対象物関連情報とを関連付けた対象物情報を示す図である。 図４は、対象物と入力されたコメントとを関連付けた表を示す図である。 図５は、映像生成処理の流れを示すフローチャートである。 図６は、視野方向決定処理の流れを示すフローチャートである。 図７は、自動車の移動方向および視野方向を説明するための図である。 図８Ａは、移動方向角度について説明するための図である。 図８Ｂは、対象物ベクトル角度について説明するための図である。 図９は、映像生成処理を行わない場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。 図１０Ａは、図９において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。 図１０Ｂは、図９において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。 図１０Ｃは、図９において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。 図１０Ｄは、図９において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。 図１１は、映像生成処理を行った場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。 図１２Ａは、図１１において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。 図１２Ｂは、図１１において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。 図１２Ｃは、図１１において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。 図１２Ｄは、図１１において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。 図１３は、対象物群の位置の算出方法を説明するための図である。 図１４は、切出画角の変更を説明するための図であり、（ａ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げる前の状態を示す図であり、（ｂ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げた後の状態を示す図である。 図１５は、後方展望映像に対する視野方向を決定する処理について説明するための図である。 図１６は、後方展望映像であって、移動経路が曲がる場合の視野方向を決定する処理について説明するための図である。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、映像情報配信表示システム等に関し、以下の問題が生じることを見出した。
特許文献１に記載されている技術では、前方風景画像に含まれる建物などの対象物が列車の走行方向から大きくずれた位置に存在する場合、当該対象物をある程度の時間連続して表示することが困難であるという課題がある。
このような問題を解決するために、本発明の一態様に係る映像生成装置は、対象物の位置を取得する対象物情報取得部と、移動体から撮影された映像と、前記映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、前記映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、前記映像のうちの少なくとも一タイミングにおける映像の画角の一部である切出映像を、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または当該移動方向の反対方向とがともに含まれるように切り出す映像切り出し部とを備える。
これによれば、対象物が移動体の移動方向から大きくずれた位置に存在する場合であっても、移動体から撮影された前方または後方の展望映像において対象物の映像をある程度の時間連続して表示することができる。
ところで、近時、ソーシャルネットワークサービス（ＳＮＳ）の普及が著しいが、そのようなサービスを通じて沿線の建物などに関するコメントや写真などが投稿されたときに、そのようなコメントや写真などを前方風景画像に含まれる建物などに関連付けて表示することができればＳＮＳの新たな展開が期待される。
このようなニーズを満たすために、前記対象物情報取得部は、さらに、前記対象物に関する情報を取得し、前記映像生成装置は、前記切出映像に含まれる前記対象物に対して前記対象物に関する情報を関連付けた映像を生成する映像生成部をさらに備えてもよい。
これによれば、例えば、ＳＮＳを通じて投稿された移動体の移動経路近傍の対象物に関するコメントや写真などの対象物に関する情報を前方展望映像に含まれる対象物に関連付けて表示することができる。さらに、例えば、コメントや写真などの対象物に関する情報を対象物の映像上の位置に重畳した映像を生成すれば、重畳された対象物に関する情報についても対象物と同様にある程度の時間連続して表示することができる。
また、例えば、前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向と前記移動方向または前記反対方向とのそれぞれに対して与えられた重み付けに基づいて前記切出映像の中心となる視野方向を決定してもよい。
また、例えば、前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向、または、前記移動方向もしくは前記反対方向が、前記切出映像の両端に対応する方向に対して予め定められた角度以内内側に位置するように前記切出映像を前記映像から切り出してもよい。
また、例えば、前記移動方向取得部は、前記映像が撮影された２以上の位置に基づいて、前記映像が撮影された位置に対応付けられた前記移動体の移動方向を導出することにより、当該移動方向を取得してもよい。
また、例えば、前記映像切り出し部は、前記対象物に対して与えられた重み付けが大きいほど、前記切出映像の画角を大きくして切り出してもよい。
また、例えば、前記映像切り出し部は、前記対象物が複数存在する場合、それぞれの対象物に対して与えられた重み付けに基づいて前記切出映像の中心となる視野方向を決定してもよい。
また、例えば、前記映像切り出し部は、前記対象物が複数存在する場合、前記複数の対象物が含まれるように前記切出映像の画角を大きくして切り出してもよい。
また、例えば、前記映像切り出し部は、さらに、前記映像のうちで、前記対象物が含まれる時間帯を少なくとも含む時間帯の映像であって、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または前記反対方向と、がともに含まれる映像を前記切出映像として切り出してもよい。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る映像生成装置および映像生成方法について、図面を参照しながら具体的に説明する。以下は、移動体として、自動車を例に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
（１．構成）
実施の形態１に係る映像生成装置１００は、移動体が移動中に撮影された展望映像に対して画像処理を行う装置である。本実施の形態１において撮影された映像は、自動車の前方の展望映像を動画として撮影した場合について説明する。
図１は、本発明の実施の形態１に係る映像生成装置１００の構成を示すブロック図である。
映像生成装置１００は、対象物情報取得部１０１と、映像情報取得部１０２と、移動方向取得部１０３と、映像切り出し部１０４と、映像生成部１０５とを備える。
対象物情報取得部１０１は、対象物の位置を取得する。また、対象物情報取得部１０１は、さらに、対象物に関する情報（以下、「対象物関連情報」とする。）を取得する。具体的には、対象物情報取得部１０１は、対象物としての地図上で指定された場所またはその場所に立つ建物などの位置と、対象物関連情報としての当該対象物に関するコメントとを組にした対象物情報を取得する。
また、対象物情報取得部１０１は、対象物情報ＤＢ２０２に通信可能な状態で接続されている。対象物情報ＤＢ２０２は、対象物情報を格納している。また、対象物情報ＤＢ２０２は、対象物情報受付部２０１に通信可能な状態で接続されている。対象物情報受付部２０１は、例えば、タブレットコンピュータなどの携帯端末やＰＣであり、ユーザーにより入力された対象物情報を対象物情報ＤＢに送信し、送信した対象物情報を格納させる。
映像情報取得部１０２は、自動車の位置と、当該位置における自動車から所定の画角で撮影された映像とが対応付けられた映像情報を取得する。要するに、映像情報取得部１０２は、移動体から撮影された映像と、映像が撮影されたときの移動体の位置とを取得する。ここで、移動体から撮影された映像は、移動体の移動中に撮影された映像である。また、映像情報取得部は、移動体から撮影された映像と、映像が撮影されたときの移動体の位置とを、当該映像と当該位置とが対応付けられた映像情報として取得する。なお、ここに言う「移動中」とは、例えば自動車が信号待ち際に停車する場合や、電車が駅に停車する場合などの停車時の時も含んでおり、移動体の移動速度が０であっても、移動体が出発地から目的地の間の位置である場合であれば「移動中」としてもよいし、映像が撮影されている間を「移動中」としてもよい。つまり、「移動中」とは、移動体が停車しているときを除外するものではない。
また、映像情報取得部１０２は、映像情報ＤＢ２０４に通信可能な状態で接続されている。映像情報ＤＢ２０４は、映像情報を格納している。また、映像情報ＤＢ２０４は、映像情報生成部２０３に通信可能な状態で接続されている。映像情報生成部２０３は、自動車を移動させながら、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の技術を用いて自動車の位置を測定しつつ、当該位置における自動車からパノラマ撮影用の装置により所定の画角（本実施の形態１では３６０度）で動画を撮影することにより自動車の位置と当該位置において撮影された映像とを取得する。そして、映像情報生成部２０３は、自動車の位置と当該位置において撮影された映像とを対応付けることにより映像情報を生成する。
移動方向取得部１０３は、映像が撮影されたときの自動車の位置に対応づけられた移動体の移動方向を取得する。具体的には、移動方向取得部１０３は、映像が撮影された２以上の位置に基づいて、映像が撮影された位置に対応付けられた移動体の移動方向を導出することにより、移動方向を取得する。
映像切り出し部１０４は、対象物の位置と移動方向とに基づいて、対象物と自動車から移動方向に向いた像とが切出映像に含まれるように、切り出すべき視野の方向を示す視野方向を算出し、算出した結果を基に、複数のフレームからなるパノラマ映像の一つの映像フレーム（一タイミングにおける映像）のそれぞれについて、一つの映像フレームから所定の画角の一部の映像である切出映像としての提示フレームを切り出す。つまり、映像切り出し部１０４は、映像のうちの少なくとも一タイミングにおける映像の画角の一部である切り出し映像を、移動体の位置から対象物の位置へ向かう方向と、移動体の移動方向（または移動方向の反対方向）とがともに含まれるように切り出す切り出しを行う。なお、映像切り出し部１０４は、映像のうちの一タイミングにおける映像のそれぞれについて、切り出しを行う。また、移動体の位置から対象物の位置へ向かう方向は、対象物情報取得部１０１により取得された対象物の位置と、一タイミングにおける映像が撮影されたときの移動体の位置とに基づいて導出される。また、移動方向は、移動方向取得部１０３により取得された一タイミングにおける映像が撮影されたときの移動体の移動方向である。つまり、映像切り出し部１０４は、対象物情報取得部１０１により取得された対象物の位置と、映像が撮影されたときの移動体の位置と、移動方向取得部１０３により取得された移動体の移動方向とに基づいて、映像情報取得部１０２により取得された映像の画角の一部の映像である切出映像を、対象物と映像が撮影されたときの移動体の位置に対応する移動方向（または移動方向の反対方向）とがともに切出映像に含まれるように映像から切り出す。なお、映像の画角の一部の画角（以下、「切出画角」とする。）は、映像の画角よりも小さい画角であって、予め定められた画角である。そして、映像切り出し部１０４は、さらに、切り出した提示フレームと対象物の位置とを対応させて出力する。また、映像切り出し部１０４は、移動体の位置から対象物の位置へ向かう方向である対象物ベクトルと移動体の移動方向（または移動方向の反対方向）とのそれぞれに対して与えられた重み付けに基づいて切出映像の中心となる視野方向を決定する。また、映像切り出し部１０４は、移動体の位置から対象物の位置へ向かう方向、または、移動方向（もしくは移動方向の反対方向）が切出映像の両端に対応する方向に対して予め定められた角度以内内側に位置するように切り出し映像を映像から切り出す。
映像生成部１０５は、対象物に対するコメント自体を、提示フレームに重畳して、ユーザーに提示する。つまり、映像生成部１０５は、切り出し映像としての提示フレームに含まれる対象物に対して対象物関連情報を関連付けた映像を生成する。本実施の形態１では、映像生成部１０５は、自動車と対象物との距離が近くなるほど、対象物に対するコメントを大きくして提示フレームに重畳してユーザーに提示する。なお、映像生成部１０５は、提示フレームに対象物に対するコメントを重畳した映像を生成することに限らずに、提示フレームの外側に対象物に対するコメントが表示されるような映像を生成してもよい。
（２．動作）
以降、具体的な例を挙げて詳細に説明を行う。
図２は、対象物情報受付部２０１の画面の一例を示す図である。
ユーザーは対象物情報受付部２０１として携帯端末やＰＣなどのＧＵＩを備えた機器を用いて例えば図２に示すような地図上の位置を指定して、指定した位置に対して対象物関連情報としてのコメントが入力できるようになっている。具体的には、ユーザーは、画面上に表示された地図（図２参照）に対して、タッチパネルやマウスなどのポインティングデバイスにより地図上の位置を指示することで対象物の位置を指定する。そして、対象物情報受付部２０１は、例えば、地図により指定された対象物の位置に対するコメントを入力するための入力スペースを表示し、ユーザーからの対象物に対するコメントの入力を受け付ける。
なお、上述したような地図上の位置を指定することに限らずに、例えば図３に示す様な対象物情報のリストから対象物としての建物を選択することにより、対象物関連情報を受け付けてもよい。図３では、対象物の例として、建物を挙げているが、山、湖、川などの場所であってもよい。この場合に、対象物情報受付部２０１は、例えば、リストにより指定された対象物の位置に対するコメントを入力するための入力スペースを表示し、ユーザーからの対象物に対するコメントの入力を受け付ける。つまり、対象物情報は、対象物としての建物の名称と、対象物関連情報と、建物の位置情報とが関連付けられた情報である。その際に対象物の位置は当該リストに含まれる位置座標を適用してもよいし、その建物が占める領域の重心位置などを対象物の位置としてもよい。なお、図３は、対象物と対象物関連情報とを関連付けた対象物情報を示す図である。
さらに、リストから建物のみを選択し、コメントを受け付けない構成であってもよい。なお、この場合には、映像生成部１０５にて、対象物関連情報として当該建物の名称や、当該建物に関する情報を提示してもよいし、コメントを表示する代わりに、何らかのマーク、記号などを表示してもよい。つまり、対象物関連情報は、コメント、建物に関する情報、建物の名称、マーク、記号などである。対象物関連情報として何を表示するかはデフォルトとして予め定めておいてもよいし、ユーザーに選択させてもよい。この場合、対象物情報ＤＢ２０２はその旨を保持しておく。
図４は、対象物と入力されたコメントとを関連付けた表を示す図である。
対象物情報ＤＢ２０２は、対象物情報受付部２０１で上記に挙げた地図上での対象物の位置の指定とコメントの入力とを受け付けた場合は、対象物を保持するために図４に示すような表を用いる。なお、対象物情報受付部２０１で対象物の位置およびコメント以外の他の情報を受け付けた場合は、図４に示す表にそれぞれの情報に応じた項目をさらに備えてもよい。なお、以下の説明においては、何らかのマークや記号などもコメントとして取り扱う。
映像情報生成部２０３は、自動車の上に設けられる、パノラマ撮影用の装置と、ＧＰＳ等の技術を用いて現在位置を測定する装置とを有する。映像情報生成部２０３は、現在位置を測定しながら移動し、複数の映像フレームのそれぞれと各映像フレームが撮影された撮影位置とがそれぞれ組になるようにした位置座標付きのパノラマ映像を映像情報として生成する。
映像情報ＤＢ２０４は、映像情報生成部２０３により生成された複数の映像フレームのそれぞれと各映像フレームが撮影された撮影位置とがそれぞれ組になるようにした位置座標付きのパノラマ映像を格納している。映像情報ＤＢ２０４は、映像フレームと撮影位置とが組になるように保持しておけばその形態は特に規定しない。
以降、映像を再生する際における映像生成処理を図５及び図６を用いて説明する。図５は、映像生成処理の流れを示すフローチャートである。図６は、視野方向を決定する処理の流れを示すフローチャートである。
対象物情報取得部１０１が対象物情報ＤＢ２０２から対象物の位置および対象物関連情報を取得する（Ｓ１１０）。そして、映像情報取得部１０２が移動している自動車の位置と、当該位置における自動車から所定の画角で撮影された映像とが対応付けられた映像情報を取得する（Ｓ１２０）。
取得された映像情報に基づく映像の再生が終端の映像フレームまで行われたか否かが判定される（Ｓ１３０）。ここで、映像の再生が終端まで行われていると判定されれば（Ｓ１３０：Ｙｅｓ）、映像生成処理を終了し、映像の再生が終端まで行われていると判定されなければ（Ｓ１３０：Ｎｏ）、次のステップＳ１４０に進む。なお、ステップＳ１３０において行われる判定は、実際に映像の再生が行われて要ることに限らずに、当該再生に必要な内部データの生成が終端の映像フレームまで行われたか否かの判定であってもよい。
次に、映像フレームを１フレーム進める（Ｓ１４０）。なお、このときに１フレーム進める前のフレームをｎ番目の映像フレームであるｎフレームとする。ここでは、映像生成処理の対象となる映像フレームが決定される。映像生成処理の対象となった映像フレームがない場合には、最初の映像フレームが映像生成処理の対象とされる。
ステップＳ１４０において決定された映像フレームにおいて、ｎ番目のｎフレームにおける自動車の位置７０１ａから、図７に示すように、ｎフレームの次のフレームであるｎ＋１番目のｎ＋１フレームにおける自動車の位置７０１ｂへ向かうベクトルを自動車の移動方向７０２とする（Ｓ１５０）。なお、図７は、自動車の移動方向７０２および視野方向７０５を説明するための図である。このように、ステップＳ１５０において、移動方向取得部１０３は、映像が撮影された２以上の位置に基づいて、ｎフレームの映像が撮影された位置に対応付けられた移動体の移動方向７０２を導出する。つまり、ｎフレームの映像が撮影された位置（ｎフレームにおける自動車の位置）７０１ａについて、ｎフレームの映像が撮影された位置７０１ａからｎ＋１フレームの映像が撮影された位置（ｎ＋１フレームにおける自動車の位置）７０１ｂまでの方向が、ｎフレームの映像が撮影された位置７０１ａに対応付けられた移動方向７０２として導出されることになる。
なお、移動方向は、映像が撮影された２以上の位置に基づいて導出されなくともよく、例えば、予め自動車の移動経路を示す移動経路情報を取得し、移動経路情報が示す移動経路と、ｎフレームの映像が撮影された位置とから移動方向７０２が導出される。つまり、この場合には、ｎフレームの映像が撮影された位置が移動経路上の位置となるため、移動経路におけるｎフレームの映像が撮影された位置の接線方向が、ｎフレームの映像が撮影された位置に対応する移動方向７０２として導出される。
また、移動方向７０２は、複数の映像フレームに関連付けられた一定時間間隔の移動方向の変化点に関する方向変化情報から導出してもよい。この場合には、例えば、方向変化情報としてｎ＋ｍフレームにおいて自動車が９０度右に曲がった情報が記憶されており、ｎ＋ｍフレーム以前において北に向かって自動車が移動していた場合には、ｎ＋ｍフレーム以降において自動車の移動方向は東向きとなる。また、この場合、１フレームの前後の所定の範囲のフレームにおいて徐々に北向きから東向きへ移動方向が変更されるようにすることが好ましい。
また、移動方向７０２は、予め複数の映像フレームのそれぞれに対応付けられていてもよい。具体的には、映像を撮影するときに、ジャイロセンサなどの方角を検出するセンサを用いて、当該センサの検出値と、映像を撮影したときの複数の映像フレームのそれぞれとを対応付けて記憶しておき、映像フレームに対応付けられた方角から移動方向を取得するようにしてもよい。
そして、映像切り出し部１０４は、移動方向７０２と自動車の位置７０１ａから対象物の位置７０３に向けて引いた対象物ベクトル７０４とに基づいて視野方向７０５を決定する処理を行う（Ｓ１６０）。なお、本処理についての詳細は、図６に基づいて後述する。
映像切り出し部１０４は、ステップＳ１６０において決定した視野方向を中心に切出画角の範囲を、切出映像である提示フレームとして切り出す（Ｓ１７０）。
映像生成部１０５は、映像切り出し部１０４により切り出された提示フレーム上の対象物の位置７０３に対して対象物に関する情報（コメント）を重畳した映像を生成することにより、切出映像に含まれる対象物に対して対象物に関する情報を関連付ける（Ｓ１８０）。つまり、映像生成部１０５は、対象物に対する対象物関連情報（コメント）を、提示フレーム上の対象物の位置に対応させて重畳して、ユーザーに提示する映像を生成する。ステップＳ１８０の処理が終了すると、ステップＳ１３０に戻る。
次に、図６に基づいて、映像切り出し部１０４により行われる視野方向７０５を決定する処理について詳述する。
パノラマ映像の各映像フレームから切り出す提示フレームは予め規定した一定の視野角の範囲を切り出すものとし、その視野方向は自動車の移動方向とする。対象物の位置と自動車の位置とが予め規定した所定の距離以内になった場合においては、以下の方法により視野方向を決定する。
まず、映像切り出し部１０４は、自動車の位置７０１ａ（図７参照）から所定の距離範囲に対象物が存在するか否かを判定する（Ｓ２１０）。ここで、自動車の位置７０１ａから所定の距離範囲に対象物が存在すると判定されれば（Ｓ２１０：Ｙｅｓ）、次のステップＳ２２０に進む。
映像切り出し部１０４は、自動車の位置７０１ａ、自動車の移動方向７０２、および対象物の位置７０３を用いて、自動車の位置７０１ａから対象物の位置７０３への方向である対象物ベクトル７０４と、自動車の移動方向７０２とのなす角度Ｍを求める。そして、映像切り出し部１０４は、移動方向７０２と対象物ベクトル７０４とのそれぞれに予め定められた重み付けに基づいて視野方向を決定する。映像切り出し部１０４は、例えば、移動方向７０２と対象物ベクトル７０４に対する重み付けがＰ：Ｑである場合、Ｍ×Ｑ／（Ｐ＋Ｑ）度だけ自動車の移動方向７０２から対象物ベクトル７０４方向に傾けた方向を仮視野方向とする（Ｓ２２０）。
映像切り出し部１０４は、ステップＳ２２０により決定された仮視野方向を中心とし、パノラマ映像の各映像フレームから予め規定された切出画角の範囲を切り出した際に、切り出された提示フレームの画角の左端および右端の一方が移動方向７０２に対する移動方向角度８０６が移動方向制限Ｓ度以上、かつ、提示フレームの画角の左端および右端の他方が対象物ベクトル７０４に対する対象物ベクトル角度８０７が対象物ベクトル制限Ｔ度以上であるか否かを判定する（Ｓ２３０、図８Ａおよび図８Ｂ参照）。なお、ここで判定される移動方向角度８０６は、提示フレームの画角の範囲内にある移動方向７０２に対する提示フレームの画角の左端または右端の角度である。また、同様に、対象物ベクトル角度８０７は、提示フレームの画角の範囲内にある対象物ベクトル７０４に対する提示フレームの画角の左端または右端の角度である。ここで、映像切り出し部１０４は、移動方向角度８０６が移動方向制限Ｓ度以上、かつ、対象物ベクトル角度８０７が対象物ベクトル制限Ｔ度以上であると判定すれば（Ｓ２３０：Ｙｅｓ）、仮視野方向を視野方向７０５として決定し、視野方向７０５を決定する処理を終了する。なお、図８Ａは、移動方向角度８０６について説明するための図である。図８Ｂは、対象物ベクトル角度８０７について説明するための図である。
ステップＳ２３０の判定を行うことにより、図８Ａに示す移動方向角度８０６が提示フレームの左端から移動方向制限Ｓ度を下回らないように制限でき、また、図８Ｂに示す対象物ベクトル角度８０７が提示フレームの右端から対象物ベクトル制限Ｔ度を下回らないように制限できる。このように移動方向角度８０６の角度制限を行うことにより、自動車の移動方向７０２が極端に提示フレームの端に来る場合は展望映像としての臨場感が損なわれることを低減できる。また、対象物ベクトル角度８０７の角度制限を行うことにより、対象物の視認性を十分に確保する事ができる。なお、上記Ｓ度及びＴ度は適切な値を設定してもよいし、０度としてもよい。
映像切り出し部１０４は、移動方向角度８０６が移動方向制限Ｓ度以上、かつ、対象物ベクトル角度８０７が対象物ベクトル制限Ｔ度以上であると判定しなかった場合（Ｓ２３０：Ｎｏ）、ステップＳ２２０において決定した仮視野方向と自動車の移動方向７０２とが同じ向きのベクトルであるか否かを判定する（Ｓ２４０）。
映像切り出し部１０４は、仮視野方向と自動車の移動方向７０２とが同じ向きのベクトルであると判定すれば（Ｓ２４０：Ｙｅｓ）、仮視野方向を視野方向７０５として決定し、視野方向７０５を決定する処理を終了する。
映像切り出し部１０４は、仮視野方向と自動車の移動方向７０２とが同じ向きのベクトルであると判定しなければ（Ｓ２４０：Ｎｏ）、予め定められた角度だけ仮視野方向を移動方向７０２に近づけて、近づけた仮視野方向を視野方向７０５として決定し（Ｓ２５０）、視野方向７０５を決定する処理を終了する。
また、映像切り出し部１０４は、ステップＳ２１０において自動車の位置７０１ａから所定の距離範囲に対象物が存在すると判定しない場合（Ｓ２１０：Ｎｏ）、自動車の移動方向７０２を視野方向７０５として決定し、視野方向７０５を決定する処理を終了する。
映像切り出し部１０４は、上述のように視野方向７０５を決定するため、対象物ベクトル７０４が提示フレーム内に含まれない場合は、視野方向７０５は自動車の移動方向７０２と同じ方向となるように変更する。その変更の際において、映像切り出し部１０４は、ステップＳ２５０の処理を行うため、視野方向７０５を映像において徐々に自動車の移動方向７０２と同じ角度になるように変更する。なお、ステップＳ２５０では、１フレームにおける視野方向７０５の角度を変更しているが、これに限らずに、その後の複数（例えば２つ、３つなど）のフレームを経るに従い徐々に視野方向７０５を自動車の移動方向７０２と同じ角度になるように変更してもよい。つまり、この場合には、映像切り出し部１０４は、例えば、フレーム毎に予め定められた角度ずつ、視野方向７０５を自動車の移動方向７０２と同じ向きになるまで変更する処理を行うことになる。これは急激な視野方向の変更によりユーザーにとって見難い映像とならないための配慮となる。
提示フレーム上の対象物の位置は、パノラマ映像から映像フレームを切り出す際に、自動車の移動方向７０２と対象物ベクトル７０４とのなす角度から特定できる。
（具体例）
図９は、映像生成処理を行わない場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。図１０Ａは、図９において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。図１０Ｂは、図９において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。図１０Ｃは、図９において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。図１０Ｄは、図９において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。図１１は、映像生成処理を行った場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。図１２Ａは、図１１において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。図１２Ｂは、図１１において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。図１２Ｃは、図１１において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。図１２Ｄは、図１１において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。
図９に示すように、映像生成処理が行われない場合には、自動車の移動方向が視野方向となる。このため、例えば、対象物の位置７０３に対して「ＦＯＲ ＲＥＮＴ」というコメントが関連付けられていても、図１０Ａおよび図１０Ｂに示すように図９における自動車の位置Ｐ１および位置Ｐ２では「ＦＯＲ ＲＥＮＴ」を視聴者が認識できるが、図１０Ｃに示すように図９における自動車の位置Ｐ３において撮影された映像の画角から対象物の位置７０３がほとんど外れた位置に位置するために対象物の位置７０３の像または「ＦＯＲ ＲＥＮＴ」を認識できない。このように、位置Ｐ１における画角αと、視野方向とが維持されたままの映像が表示されるため位置Ｐ３において対象物の位置７０３の像または「ＦＯＲ ＲＥＮＴ」を認識できない。
一方で、図１１に示すように、映像生成処理が行われる場合には、視野方向は対象物に傾くようにパノラマ映像から切り出されるため、上記と同様に例えば対象物の位置７０３に対して「ＦＯＲ ＲＥＮＴ」というコメントが関連付けられているとき、図１２Ａ、図１２Ｂおよび図１２Ｃに示すように図１１における自動車の位置Ｐ１、位置Ｐ２および位置Ｐ３において対象物の位置７０３の象または「ＦＯＲ ＲＥＮＴ」を視聴者が認識できる。つまり、映像生成処理が行われていない場合には、位置Ｐ３において対象物の位置７０３の象または「ＦＯＲ ＲＥＮＴ」を認識できなかったが、映像生成処理を行うことにより位置Ｐ３において対象物の位置７０３の象または「ＦＯＲ ＲＥＮＴ」を認識できるようになる。このため、視聴者は、映像生成処理を行うことにより、対象物の位置７０３の像または「ＦＯＲ ＲＥＮＴ」を極力長い時間視ることができる。
本実施の形態１に係る映像生成装置１００によれば、対象物が自動車の移動方向からずれた位置に存在する場合であっても、自動車の前方展望映像において対象物の映像をある程度の時間連続して表示することができる。
また、本実施の形態１に係る映像生成装置１００によれば、ＳＮＳを通じて投稿された自動車の移動経路近傍の対象物に関するコメントや写真などの対象物に関する情報を前方展望映像に含まれる対象物に関連付けて表示することができる。さらに、例えば、コメントや写真などの対象物に関する情報を対象物の映像に重畳した映像を生成すれば、重畳された対象物に関する情報についても対象物と同様にある程度の時間連続して表示することができる。
（実施の形態２）
実施の形態１では、１つの対象物がある場合について説明したが、複数の対象物があってもよい。この場合、複数の対象物に対する対象物情報が対象物情報ＤＢ２０２に格納されている。この場合、映像切り出し部１０４は、上記複数の対象物からなる対象物群の位置を定め、実施の形態１の対象物の位置７０３の代わりに用いる。つまり、映像切り出し部１０４は、対象物が複数存在する場合、それぞれの対象物に対して与えられた重み付けに基づいて切り出し映像の中心となる視野方向を決定する。映像切り出し部１０４は、対象物群の位置を、各対象物の重要度と、各対象物および自動車の位置の間の距離とに応じて重み付けを行うことにより算出する。各対象物の重要度は、各対象物の位置について記載されたコメントの文字数を基に設定してもよいし、また、同じ建物に対して多くのコメントが記載されている場合や違う建物であっても近隣の場所に多くのコメントが記載されている場合は、記載されているコメントの密集の度合いに応じて重要度を設定してもよい。例えば、ある対象物から一定範囲内に別の対象物がある場合には、例えば図１３に示すように、重要度の数値をより大きく設定してもよい。なお、各対象物の重要度に応じた重み付けとは、例えば、重要度の数値が大きく設定されている対象物ほどその重みが大きくなるように重み付けすることである。また、各対象物および自動車の位置の間の距離に応じた重み付けとは、例えば、自動車に最も近い対象物ほどその重みが大きくなるように重み付けすることである。
図１３は、対象物群の位置の算出方法を説明するための図である。
実施の形態２では、対象物に対する位置の算出方法のみが異なるため、対象物に対する位置の算出方法についてのみ説明する。対象物群の位置の算出方法は例えば以下のようになる。
図１３上の各対象物（ｅ、ｆ、ｇ、ｈ）の重要度をそれぞれＥ、Ｆ、Ｇ、Ｈとする。また、各対象物（ｅ、ｆ、ｇ、ｈ）と自動車の位置との距離をｄ１、ｄ２、ｄ３、ｄ４とする。
さらに対象物の重要度と、自動車と対象物との間の距離とに対する重み付けを、それぞれＶ、Ｗとすると、各対象物（ｅ、ｆ、ｇ、ｈ）の位置座標にそれぞれ（Ｖ×Ｅ＋Ｗ×ｄ１）、（Ｖ×Ｆ＋Ｗ×ｄ２）、（Ｖ×Ｇ＋Ｗ×ｄ３）、（Ｖ×Ｈ＋Ｗ×ｄ４）の重みを付けた位置座標を求め、重み付けられた複数の位置座標の重心位置を対象物群の位置とする。
なお、上記Ｖ、Ｗの値は、対象物の重要度が低くとも、映像全体としては、その対象物も写るように適切な値を設定することが望ましい。適切な値が設定されれば、自動車の位置が図１３の位置ａである場合には、自動車と対象物（ｅ、ｆ、ｇ）との間の距離よりも自動車と対象物ｈとの間の距離が短いため、対象物ｈに対する重み付けが大きくなり対象物群の位置が移動方向の右側となるように算出される。また、自動車の位置が図１３の位置ｂである場合には、対象物ｈが切出映像の画角から外れた位置に位置することになるため対象物（ｅ、ｆ、ｇ）に対する重み付けが大きくなり対象物群の位置が移動方向の左側となるように算出される。また、自動車の位置が位置ａから位置ｂに移動する間に対象物群の位置は移動方向の右側から左側に移動することになる。したがって、自動車の視野方向７０５においても、同様に自動車の位置が位置ａから位置ｂに移動する間に移動方向の右側から左側に移動することになる。
なお、各コメントの重要度は、コメントの記載者と映像を視聴しているユーザーとの間の友人関係の度合を用いて設定してもよい。この場合、ＦＡＣＥＢＯＯＫ（登録商標）等のＳＮＳから友人関係を取得し両者の友人関係が強いものであれば、そのコメントの重要度をより高く設定してもよい。
映像生成部１０５においては、各対象物のコメントを対象物情報ＤＢ２０２から取得し、提示フレーム上に存在する対象物の位置に対応させて重畳して、ユーザーに提示する映像を生成する。
なお、上記では、各対象物の重心座標を基に視野方向を決定する例であるが、例えば、１つの建物（対象物）に多くのコメントが付けられている場合、その建物に対するコメントを全て表示できるように、コメントの分布範囲を基に視野方向を決定してもよい。つまり、例えば、移動方向から最も外れた方向にあるコメントが画角内に入るように、視野方向を決定することにより、当該建物に対するコメントの全てを表示させるようにしてもよい。
その場合、例えばその建物において最も経路から離れたコメントの位置を、その建物のコメントの代表位置としてもよい。もしくは、近年は地図情報として、単に建物の位置情報、名称情報だけでなく形状情報（領域情報）も含まれているものも有る。よってこれらの情報を利用し、建物の領域において経路から最も離れた位置を視野に含むように視野方向を決定してもよい。
また、１つの建物に多くのコメントが付けられている場合、上記の他にも、複数のコメントの位置の重心を当該建物の位置としてもよい。
（実施の形態３）
実施の形態１および実施の形態２では、切出映像を切り出すときの切出画角を一定の画角としているが、これに限らずに、複数の対象物がある場合であって、各対象物の重要度及び、自動車の位置との距離も同程度の場合においては、図１４に示すように、それらの対象物を一つの提示フレームに含まれるように切り出してもよい。具体的には、映像切り出し部１０４は、上記のような場合に、一つの提示フレームに複数の対象物が含まれるように提示フレームの切出画角を拡げてもよい。なお、図１４は、切出画角の変更を説明するための図であり、（ａ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げる前の状態を示す図であり、（ｂ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げた後の状態を示す図である。図１４（ａ）、（ｂ）において、切出画角および視野方向は破線で示される。
但し、切出画角を拡げると、広角な映像となるため、映像での遠近感の変化や映像歪が発生するため、どの程度まで画角の拡大を許すかの設定は、ユーザーの視聴環境などに基づいて例えば以下のように変更することが考えられる。例えば、ユーザーが小型のタブレット端末などで視聴している場合は、提示映像中の切出画角が変化することによる多少の遠近感の変化や映像歪が生じたときに、ユーザーにとっては多少の違和感が発生する程度ですむと思われるため切出画角の拡大を許容する設定にすることが考えられる。また、没入感のある映像装置（例えばヘッドマウントディスプレイ）等によりユーザーが視聴している場合は、提示映像中の切出画角が変化することによる多少の遠近感の変化や映像歪が生じたときに、ユーザーの感じる違和感は大きくなるため、視野角の変更を極力避ける設定にすることが考えられる。
また、提示映像を再生している途中で画角を変更する場合、映像での遠近感の変化のため違和感を覚えるユーザーもいると思われる。よって、視野角を変更する際は急激な視野角変更にならないように映像フレーム間での角度変化の上限値を定めることが考えられる。
また、複数の対象物のそれぞれと自動車の位置との間の距離などの値を用いて、複数の対象物の内のいずれかを優先して表示し、優先して表示された対象物以外の対象物は提示フレーム外に対象物があることをユーザーに提示した上で、切出画角の変更処理および視野方向の変更処理の少なくとも一方の処理を行ってもよい。この場合に、優先して表示された対象物が含まれるように切り出された優先提示フレームとは別に、優先提示フレームに含まれていない対象物が含まれる非優先提示フレームを切り出してもよい。非優先提示フレームは、優先提示フレームとは別に再生してもよいし、画面分割などを用いて優先提示フレームと同時再生表示してもよい。
上記の各種設定はデフォルトとして予め設定されていてもよいし、ユーザーが選択または任意に設定できるようにしてもよい。
なお、本実施の形態３では、切り出し映像を切り出すときの切出画角の変更は、各対象物の重要度及び、自動車の位置との距離も同程度の場合に行なっているが、これに限らずに、映像切り出し部１０４は、対象物に対して与えられた例えば対象物の重要度などの重み付けが大きいほど、切出映像としての提示フレームの切出画角を大きくして切り出してもよい。
（実施の形態４）
映像を再生する際に、映像情報ＤＢ２０４に格納された全ての映像フレームを再生せず、対象物が映像内に入る映像フレームのみを抽出し、再生することで、対象物の視聴に特化したダイジェスト視聴が可能となる。つまり、映像切り出し部１０４は、さらに、映像のうちで、対象物が含まれる時間帯を少なくとも含む時間帯の映像であって、移動体の位置から対象物の位置へ向かう方向と、移動体の移動方向または反対方向と、がともに含まれる映像を切出映像として切り出す。
具体的には、視野方向を決定する処理において、ステップＳ２３０でＹＥＳと判定されたフレームのみを用いて提示映像を生成すればよい。なお、対象物の表示が唐突にならないようにとの配慮のためステップＳ２３０でＹＥＳと判定されたフレームのみでなく、当該フレームの前後数〜数十フレームも抽出してもよい。
なお、ダイジェスト視聴の対象となる映像フレームの判定は、オフラインで事前に処理をしておく事が考えられる。判定結果は、各映像フレームがダイジェスト視聴の対象となるか否かの判定の結果であってもよいし、ダイジェスト視聴の対象となる区間の情報（開始／終了のフレーム番号等）であってもよい。また、各映像フレームに対して判定結果を関連付けてもよいし、フレーム番号を参照することなどで各映像フレームと判定結果とを対応できるようすれば判定結果を別途保持しておいてもよい。また、映像切り出し部１０４は、切りだす前の映像から対象物が含まれるか否かを判定してもよいし、切り出した後の提示映像から対象物が含まれるか否かを判定してもよい。
また、映像切り出し部１０４は、各対象物からダイジェスト視聴の対象となる映像フレームを判定してもよい。この場合、対象物毎に自動車が近隣になる映像フレームを予め抽出し、抽出した映像フレームに対してステップＳ２３０と同様の判定をすればよい。また、対象物の追加が随時行われるような場合は、映像切り出し部１０４は、追加された対象物について自動車が近隣になる映像フレームを予め抽出し、抽出した映像フレームに対してダイジェスト視聴の対象となる映像フレームを判定することで効率的な処理が行える。
（実施の形態５）
また、映像情報ＤＢ２０４に格納される展望映像は、前方展望映像に限定されない。例えば、後方展望映像であってもよい。すなわち、映像情報生成部２０３を構成する撮影用の装置は、自動車の移動方向を向いて撮影してもよいし、自動車の移動方向の反対方向を向いた撮影してもよい。なおこの場合には、切り出しのときに、例えば、図１５に示すように、自動車の位置に対象物ｉが所定の距離だけ近づいた位置ｂ以降において予め対象物の方向に視野方向を傾けるようにする。このように、予め位置ｂにおいて対象物の方向に視野方向を傾けて切り出しを行うことにより、次の位置ｃにおいて対象物が提示フレームに含まれるようにできるため、より長く提示映像中に対象物が含まれるような提示映像を生成することができる。また、図１６に示すように、自動車の移動経路が曲がる場合には、対象物ｊの方向に視野方向を傾けることにより、対象物が提示映像中に長く含まれる提示映像を生成することができる。
（その他の実施の形態）
なお、上記実施の形態において、映像情報ＤＢ２０４に格納される前方展望映像は３６０度の画角のパノラマ映像であるとしたが、３６０度のパノラマ映像であることに限らない。パノラマ映像は、予め規定された所定の画角を維持しつつ、視野方向をある程度変化させることができる程度の広角（例えば１８０度、１２０度等）で撮影された前方展望映像であればその画角の角度は問わない。また、展望映像は、動画であるとしたが、動画に限らずに異なる複数のタイミングで撮影された複数の静止画の集合であってもよい。展望映像が複数の静止画である場合には、一枚の静止画について、上記映像フレームにおいて行われた処理と同じ処理が行われることになる。
なお、対象物情報受付部２０１は地図上で位置を指定された場所を対象物の位置とし、その場所に関するコメントや、その場所に建つ建物に関するコメントを受け付け、指定位置とコメントを組にして対象物として受け付けるとしたが、対象物情報取得部１０１が取得する対象物に関する情報は、ＳＮＳを提供するサーバから受け取ってもよい。
なお、映像生成装置１００は、映像情報ＤＢ２０４に格納されているパノラマ映像について映像生成処理を行えば提示映像を生成できるため、映像情報生成部２０３が生成したパノラマ映像についてリアルタイムに映像生成処理を行なってもよいし、映像情報ＤＢ２０４に既に格納されているパノラマ映像について映像生成処理を行なってもよい。
なお、映像生成部１０５は、各対象物に対するコメントを対象物情報ＤＢ２０２から取得し、提示フレーム上に存在する対象物の位置に対応させて重畳して、ユーザーに提示する映像を生成するとしたが、映像生成部１０５は、必ずしも本発明に必須の要件ではない。撮影済の位置座標付きのパノラマ映像または広角映像から対象物をできるだけ長い時間視野内にとらえることができるように視野を切り出すことができればよいので、対象物に対応したコメントの提示をせずに、対象物が提示映像中に長く含まれるように提示映像を生成するようにしてもよい。あるいは、対象物に対応したコメントを提示するか否かを切り替えられるように構成してもよい。また、対象物に対応したコメントを提示するのか、対象物に対応した情報（図３参照）を提示するのか、を切り替えられるように構成してもよい。また、提示するコメントは、対象物が提示映像に含まれるタイミングで表示されればよいため、提示フレーム上に存在する対象物の位置に対応させて重畳することに限らずに、提示フレームとは別の表示枠を設けて当該表示枠にコメントを表示するようにしてもよい。
なお、本発明の映像生成装置は、端末装置に自動車の前方または後方の展望映像を提供するサーバ装置として実現できる。一方、本発明の映像生成装置は、サーバ装置と端末装置から構成されるシステムによって実現することもできる。その場合、例えば、映像切り出し手段と映像生成手段を端末装置にもたせ、サーバ装置は、対象物に関する情報と経路情報を端末装置に提供するという構成が考えられる。
以上、本発明の一つまたは複数の態様に係る映像生成装置および映像生成方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
以上のように、本発明によれば、対象物が移動体の移動方向からずれた位置に存在する場合であっても、移動体の前方展望映像においてその対象物に関する情報をある程度の時間連続して表示することができる映像生成装置を提供することができるので、端末装置に移動体の前方展望映像を提供するサーバ装置として有用である。
また、本発明の映像生成装置は、サーバ装置と端末装置から構成されるシステムとして実現することもできる。
１００ 映像生成装置
１０１ 対象物情報取得部
１０２ 映像情報取得部
１０３ 移動方向取得部
１０４ 映像切り出し部
１０５ 映像生成部
２０１ 対象物情報受付部
２０２ 対象物情報ＤＢ
２０３ 映像情報生成部
２０４ 映像情報ＤＢ
７０１ａ、７０１ｂ 自動車の位置
７０２ 移動方向
７０３ 対象物の位置
７０４ 対象物ベクトル
７０５ 視野方向
８０６ 移動方向角度
８０７ 対象物ベクトル角度
本発明は、予め移動体の前方または後方を撮影した映像の一部を切り出す映像生成装置に関する。
列車が走行している状態で、その前方風景が撮像装置によりリアルタイムに撮影された上、その前方風景画像が複数の車両のそれぞれに設けられた複数の旅客用モニタで表示される際に、撮影された前方風景画像には、各種情報が適切なタイミングで重畳表示されるようにした映像情報配信表示システム、並びに鉄道車両が特許文献１に記載されている。
特開２００５−１４７８４号公報
しかしながら、特許文献１に記載の技術では、前方風景画像に含まれる建物などの対象物の映像を表示することができるものの、当該建物などの映像を視聴者が視認しやすいように適切に表示することが困難な場合がある。
そこで、本発明の目的は、かかる問題に鑑みてなされたものであって、移動体の前方または後方を撮影した映像において対象物の映像を、視聴者が認識しやすいように適切に表示することができる映像生成装置を提供することにある。
上記目的を達成するために、本発明の一態様に係る対象物の位置を取得する対象物情報取得部と、移動体から撮影された映像と、前記映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、前記映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、前記映像のうちの一タイミングにおける映像の画角の一部である切出映像を、当該タイミングにおける前記移動体の位置から前記対象物の位置へ向かう方向と、当該タイミングにおける前記移動体の移動方向または当該移動方向の反対方向と、がともに含まれている、前記切出映像を切り出すための基準となる視野方向を算出し、算出した前記視野方向を基に前記切出し映像を切り出す映像切り出し部とを備える。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明の映像生成装置および映像生成方法は、移動体の前方または後方を撮影した映像において対象物を視聴者が認識しやすいように適切に表示することができる。
図１は、本発明の実施の形態に係る映像生成装置の構成を示すブロック図である。 図２は、対象物情報受付部の画面を示す図である。 図３は、対象物と対象物関連情報とを関連付けた対象物情報を示す図である。 図４は、対象物と入力されたコメントとを関連付けた表を示す図である。 図５は、映像生成処理の流れを示すフローチャートである。 図６は、視野方向決定処理の流れを示すフローチャートである。 図７は、自動車の移動方向および視野方向を説明するための図である。 図８Ａは、移動方向角度について説明するための図である。 図８Ｂは、対象物ベクトル角度について説明するための図である。 図９は、映像生成処理を行わない場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。 図１０Ａは、図９において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。 図１０Ｂは、図９において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。 図１０Ｃは、図９において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。 図１０Ｄは、図９において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。 図１１は、映像生成処理を行った場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。 図１２Ａは、図１１において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。 図１２Ｂは、図１１において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。 図１２Ｃは、図１１において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。 図１２Ｄは、図１１において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。 図１３は、対象物群の位置の算出方法を説明するための図である。 図１４は、切出画角の変更を説明するための図であり、（ａ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げる前の状態を示す図であり、（ｂ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げた後の状態を示す図である。 図１５は、後方展望映像に対する視野方向を決定する処理について説明するための図である。 図１６は、後方展望映像であって、移動経路が曲がる場合の視野方向を決定する処理について説明するための図である。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、映像情報配信表示システム等に関し、以下の問題が生じることを見出した。
特許文献１に記載されている技術では、前方風景画像に含まれる建物などの対象物が列車の走行方向から大きくずれた位置に存在する場合、当該対象物をある程度の時間連続して表示することが困難であるという課題がある。
このような問題を解決するために、本発明の一態様に係る映像生成装置は、対象物の位置を取得する対象物情報取得部と、移動体から撮影された映像と、前記映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、前記映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、前記映像のうちの一タイミングにおける映像の画角の一部である切出映像を、当該タイミングにおける前記移動体の位置から前記対象物の位置へ向かう方向と、当該タイミングにおける前記移動体の移動方向または当該移動方向の反対方向と、がともに含まれている、前記切出映像を切り出すための基準となる視野方向を算出し、算出した前記視野方向を基に前記切出し映像を切り出す映像切り出し部とを備える。
これによれば、対象物が移動体の移動方向から大きくずれた位置に存在する場合であっても、移動体から撮影された前方または後方の展望映像において対象物の映像をある程度の時間連続して表示することができる。
また、例えば、前記映像切り出し部は、前記映像のうちの複数のタイミングのそれぞれについて、当該タイミングにおける前記視野方向を算出し、算出した前記視野方向を基に前記切出映像を切り出してもよい。
ところで、近時、ソーシャルネットワークサービス（ＳＮＳ）の普及が著しいが、そのようなサービスを通じて沿線の建物などに関するコメントや写真などが投稿されたときに、そのようなコメントや写真などを前方風景画像に含まれる建物などに関連付けて表示することができればＳＮＳの新たな展開が期待される。
このようなニーズを満たすために、前記対象物情報取得部は、さらに、前記対象物に関する情報を取得し、前記映像生成装置は、前記切出映像に含まれる前記対象物に対して前記対象物に関する情報を関連付けた映像を生成する映像生成部をさらに備えてもよい。
これによれば、例えば、ＳＮＳを通じて投稿された移動体の移動経路近傍の対象物に関するコメントや写真などの対象物に関する情報を前方展望映像に含まれる対象物に関連付けて表示することができる。さらに、例えば、コメントや写真などの対象物に関する情報を対象物の映像上の位置に重畳した映像を生成すれば、重畳された対象物に関する情報についても対象物と同様にある程度の時間連続して表示することができる。
また、例えば、前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向と前記移動方向または前記反対方向とのそれぞれに対して与えられた重み付けに基づいて前記視野方向を決定してもよい。
また、例えば、前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向、または、前記移動方向もしくは前記反対方向が、前記切出映像の両端に対応する方向に対して予め定められた角度以内内側に位置するように前記切出映像を前記映像から切り出してもよい。
また、例えば、前記移動方向取得部は、前記映像が撮影された２以上の位置に基づいて、前記映像が撮影された位置に対応付けられた前記移動体の移動方向を導出することにより、当該移動方向を取得してもよい。
また、例えば、前記映像切り出し部は、前記対象物に対して与えられた重み付けが大きいほど、前記切出映像の画角を大きくして切り出してもよい。
また、例えば、前記映像切り出し部は、前記対象物が複数存在する場合、それぞれの対象物に対して与えられた重み付けに基づいて前記視野方向を決定してもよい。
また、例えば、前記映像切り出し部は、前記対象物が複数存在する場合、前記複数の対象物が含まれるように前記切出映像の画角を大きくして切り出してもよい。
また、例えば、前記映像切り出し部は、さらに、前記映像のうちで、前記対象物が含まれる時間帯を少なくとも含む時間帯の映像であって、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または前記反対方向と、がともに含まれる映像を前記切出映像として切り出してもよい。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る映像生成装置および映像生成方法について、図面を参照しながら具体的に説明する。以下は、移動体として、自動車を例に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
（１．構成）
実施の形態１に係る映像生成装置１００は、移動体が移動中に撮影された展望映像に対して画像処理を行う装置である。本実施の形態１において撮影された映像は、自動車の前方の展望映像を動画として撮影した場合について説明する。
図１は、本発明の実施の形態１に係る映像生成装置１００の構成を示すブロック図である。
映像生成装置１００は、対象物情報取得部１０１と、映像情報取得部１０２と、移動方向取得部１０３と、映像切り出し部１０４と、映像生成部１０５とを備える。
対象物情報取得部１０１は、対象物の位置を取得する。また、対象物情報取得部１０１は、さらに、対象物に関する情報（以下、「対象物関連情報」とする。）を取得する。具体的には、対象物情報取得部１０１は、対象物としての地図上で指定された場所またはその場所に立つ建物などの位置と、対象物関連情報としての当該対象物に関するコメントとを組にした対象物情報を取得する。
また、対象物情報取得部１０１は、対象物情報ＤＢ２０２に通信可能な状態で接続されている。対象物情報ＤＢ２０２は、対象物情報を格納している。また、対象物情報ＤＢ２０２は、対象物情報受付部２０１に通信可能な状態で接続されている。対象物情報受付部２０１は、例えば、タブレットコンピュータなどの携帯端末やＰＣであり、ユーザーにより入力された対象物情報を対象物情報ＤＢに送信し、送信した対象物情報を格納させる。
映像情報取得部１０２は、自動車の位置と、当該位置における自動車から所定の画角で撮影された映像とが対応付けられた映像情報を取得する。要するに、映像情報取得部１０２は、移動体から撮影された映像と、映像が撮影されたときの移動体の位置とを取得する。ここで、移動体から撮影された映像は、移動体の移動中に撮影された映像である。また、映像情報取得部は、移動体から撮影された映像と、映像が撮影されたときの移動体の位置とを、当該映像と当該位置とが対応付けられた映像情報として取得する。なお、ここに言う「移動中」とは、例えば自動車が信号待ち際に停車する場合や、電車が駅に停車する場合などの停車時の時も含んでおり、移動体の移動速度が０であっても、移動体が出発地から目的地の間の位置である場合であれば「移動中」としてもよいし、映像が撮影されている間を「移動中」としてもよい。つまり、「移動中」とは、移動体が停車しているときを除外するものではない。
また、映像情報取得部１０２は、映像情報ＤＢ２０４に通信可能な状態で接続されている。映像情報ＤＢ２０４は、映像情報を格納している。また、映像情報ＤＢ２０４は、映像情報生成部２０３に通信可能な状態で接続されている。映像情報生成部２０３は、自動車を移動させながら、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の技術を用いて自動車の位置を測定しつつ、当該位置における自動車からパノラマ撮影用の装置により所定の画角（本実施の形態１では３６０度）で動画を撮影することにより自動車の位置と当該位置において撮影された映像とを取得する。そして、映像情報生成部２０３は、自動車の位置と当該位置において撮影された映像とを対応付けることにより映像情報を生成する。
移動方向取得部１０３は、映像が撮影されたときの自動車の位置に対応づけられた移動体の移動方向を取得する。具体的には、移動方向取得部１０３は、映像が撮影された２以上の位置に基づいて、映像が撮影された位置に対応付けられた移動体の移動方向を導出することにより、移動方向を取得する。
映像切り出し部１０４は、対象物の位置と移動方向とに基づいて、対象物と自動車から移動方向に向いた像とが切出映像に含まれるように、切り出すべき視野の方向を示す視野方向を算出し、算出した結果を基に、複数のフレームからなるパノラマ映像の一つの映像フレーム（一タイミングにおける映像）のそれぞれについて、一つの映像フレームから所定の画角の一部の映像である切出映像としての提示フレームを切り出す。つまり、映像切り出し部１０４は、映像のうちの少なくとも一タイミングにおける映像の画角の一部である切り出し映像を、移動体の位置から対象物の位置へ向かう方向と、移動体の移動方向（または移動方向の反対方向）とがともに含まれるように切り出す切り出しを行う。なお、映像切り出し部１０４は、映像のうちの一タイミングにおける映像のそれぞれについて、切り出しを行う。また、移動体の位置から対象物の位置へ向かう方向は、対象物情報取得部１０１により取得された対象物の位置と、一タイミングにおける映像が撮影されたときの移動体の位置とに基づいて導出される。また、移動方向は、移動方向取得部１０３により取得された一タイミングにおける映像が撮影されたときの移動体の移動方向である。つまり、映像切り出し部１０４は、対象物情報取得部１０１により取得された対象物の位置と、映像が撮影されたときの移動体の位置と、移動方向取得部１０３により取得された移動体の移動方向とに基づいて、映像情報取得部１０２により取得された映像の画角の一部の映像である切出映像を、対象物と映像が撮影されたときの移動体の位置に対応する移動方向（または移動方向の反対方向）とがともに切出映像に含まれるように映像から切り出す。なお、映像の画角の一部の画角（以下、「切出画角」とする。）は、映像の画角よりも小さい画角であって、予め定められた画角である。そして、映像切り出し部１０４は、さらに、切り出した提示フレームと対象物の位置とを対応させて出力する。また、映像切り出し部１０４は、移動体の位置から対象物の位置へ向かう方向である対象物ベクトルと移動体の移動方向（または移動方向の反対方向）とのそれぞれに対して与えられた重み付けに基づいて切出映像の中心となる視野方向を決定する。また、映像切り出し部１０４は、移動体の位置から対象物の位置へ向かう方向、または、移動方向（もしくは移動方向の反対方向）が切出映像の両端に対応する方向に対して予め定められた角度以内内側に位置するように切り出し映像を映像から切り出す。
映像生成部１０５は、対象物に対するコメント自体を、提示フレームに重畳して、ユーザーに提示する。つまり、映像生成部１０５は、切り出し映像としての提示フレームに含まれる対象物に対して対象物関連情報を関連付けた映像を生成する。本実施の形態１では、映像生成部１０５は、自動車と対象物との距離が近くなるほど、対象物に対するコメントを大きくして提示フレームに重畳してユーザーに提示する。なお、映像生成部１０５は、提示フレームに対象物に対するコメントを重畳した映像を生成することに限らずに、提示フレームの外側に対象物に対するコメントが表示されるような映像を生成してもよい。
（２．動作）
以降、具体的な例を挙げて詳細に説明を行う。
図２は、対象物情報受付部２０１の画面の一例を示す図である。
ユーザーは対象物情報受付部２０１として携帯端末やＰＣなどのＧＵＩを備えた機器を用いて例えば図２に示すような地図上の位置を指定して、指定した位置に対して対象物関連情報としてのコメントが入力できるようになっている。具体的には、ユーザーは、画面上に表示された地図（図２参照）に対して、タッチパネルやマウスなどのポインティングデバイスにより地図上の位置を指示することで対象物の位置を指定する。そして、対象物情報受付部２０１は、例えば、地図により指定された対象物の位置に対するコメントを入力するための入力スペースを表示し、ユーザーからの対象物に対するコメントの入力を受け付ける。
なお、上述したような地図上の位置を指定することに限らずに、例えば図３に示す様な対象物情報のリストから対象物としての建物を選択することにより、対象物関連情報を受け付けてもよい。図３では、対象物の例として、建物を挙げているが、山、湖、川などの場所であってもよい。この場合に、対象物情報受付部２０１は、例えば、リストにより指定された対象物の位置に対するコメントを入力するための入力スペースを表示し、ユーザーからの対象物に対するコメントの入力を受け付ける。つまり、対象物情報は、対象物としての建物の名称と、対象物関連情報と、建物の位置情報とが関連付けられた情報である。その際に対象物の位置は当該リストに含まれる位置座標を適用してもよいし、その建物が占める領域の重心位置などを対象物の位置としてもよい。なお、図３は、対象物と対象物関連情報とを関連付けた対象物情報を示す図である。
さらに、リストから建物のみを選択し、コメントを受け付けない構成であってもよい。なお、この場合には、映像生成部１０５にて、対象物関連情報として当該建物の名称や、当該建物に関する情報を提示してもよいし、コメントを表示する代わりに、何らかのマーク、記号などを表示してもよい。つまり、対象物関連情報は、コメント、建物に関する情報、建物の名称、マーク、記号などである。対象物関連情報として何を表示するかはデフォルトとして予め定めておいてもよいし、ユーザーに選択させてもよい。この場合、対象物情報ＤＢ２０２はその旨を保持しておく。
図４は、対象物と入力されたコメントとを関連付けた表を示す図である。
対象物情報ＤＢ２０２は、対象物情報受付部２０１で上記に挙げた地図上での対象物の位置の指定とコメントの入力とを受け付けた場合は、対象物を保持するために図４に示すような表を用いる。なお、対象物情報受付部２０１で対象物の位置およびコメント以外の他の情報を受け付けた場合は、図４に示す表にそれぞれの情報に応じた項目をさらに備えてもよい。なお、以下の説明においては、何らかのマークや記号などもコメントとして取り扱う。
映像情報生成部２０３は、自動車の上に設けられる、パノラマ撮影用の装置と、ＧＰＳ等の技術を用いて現在位置を測定する装置とを有する。映像情報生成部２０３は、現在位置を測定しながら移動し、複数の映像フレームのそれぞれと各映像フレームが撮影された撮影位置とがそれぞれ組になるようにした位置座標付きのパノラマ映像を映像情報として生成する。
映像情報ＤＢ２０４は、映像情報生成部２０３により生成された複数の映像フレームのそれぞれと各映像フレームが撮影された撮影位置とがそれぞれ組になるようにした位置座標付きのパノラマ映像を格納している。映像情報ＤＢ２０４は、映像フレームと撮影位置とが組になるように保持しておけばその形態は特に規定しない。
以降、映像を再生する際における映像生成処理を図５及び図６を用いて説明する。図５は、映像生成処理の流れを示すフローチャートである。図６は、視野方向を決定する処理の流れを示すフローチャートである。
対象物情報取得部１０１が対象物情報ＤＢ２０２から対象物の位置および対象物関連情報を取得する（Ｓ１１０）。そして、映像情報取得部１０２が移動している自動車の位置と、当該位置における自動車から所定の画角で撮影された映像とが対応付けられた映像情報を取得する（Ｓ１２０）。
取得された映像情報に基づく映像の再生が終端の映像フレームまで行われたか否かが判定される（Ｓ１３０）。ここで、映像の再生が終端まで行われていると判定されれば（Ｓ１３０：Ｙｅｓ）、映像生成処理を終了し、映像の再生が終端まで行われていると判定されなければ（Ｓ１３０：Ｎｏ）、次のステップＳ１４０に進む。なお、ステップＳ１３０において行われる判定は、実際に映像の再生が行われて要ることに限らずに、当該再生に必要な内部データの生成が終端の映像フレームまで行われたか否かの判定であってもよい。
次に、映像フレームを１フレーム進める（Ｓ１４０）。なお、このときに１フレーム進める前のフレームをｎ番目の映像フレームであるｎフレームとする。ここでは、映像生成処理の対象となる映像フレームが決定される。映像生成処理の対象となった映像フレームがない場合には、最初の映像フレームが映像生成処理の対象とされる。
ステップＳ１４０において決定された映像フレームにおいて、ｎ番目のｎフレームにおける自動車の位置７０１ａから、図７に示すように、ｎフレームの次のフレームであるｎ＋１番目のｎ＋１フレームにおける自動車の位置７０１ｂへ向かうベクトルを自動車の移動方向７０２とする（Ｓ１５０）。なお、図７は、自動車の移動方向７０２および視野方向７０５を説明するための図である。このように、ステップＳ１５０において、移動方向取得部１０３は、映像が撮影された２以上の位置に基づいて、ｎフレームの映像が撮影された位置に対応付けられた移動体の移動方向７０２を導出する。つまり、ｎフレームの映像が撮影された位置（ｎフレームにおける自動車の位置）７０１ａについて、ｎフレームの映像が撮影された位置７０１ａからｎ＋１フレームの映像が撮影された位置（ｎ＋１フレームにおける自動車の位置）７０１ｂまでの方向が、ｎフレームの映像が撮影された位置７０１ａに対応付けられた移動方向７０２として導出されることになる。
なお、移動方向は、映像が撮影された２以上の位置に基づいて導出されなくともよく、例えば、予め自動車の移動経路を示す移動経路情報を取得し、移動経路情報が示す移動経路と、ｎフレームの映像が撮影された位置とから移動方向７０２が導出される。つまり、この場合には、ｎフレームの映像が撮影された位置が移動経路上の位置となるため、移動経路におけるｎフレームの映像が撮影された位置の接線方向が、ｎフレームの映像が撮影された位置に対応する移動方向７０２として導出される。
また、移動方向７０２は、複数の映像フレームに関連付けられた一定時間間隔の移動方向の変化点に関する方向変化情報から導出してもよい。この場合には、例えば、方向変化情報としてｎ＋ｍフレームにおいて自動車が９０度右に曲がった情報が記憶されており、ｎ＋ｍフレーム以前において北に向かって自動車が移動していた場合には、ｎ＋ｍフレーム以降において自動車の移動方向は東向きとなる。また、この場合、１フレームの前後の所定の範囲のフレームにおいて徐々に北向きから東向きへ移動方向が変更されるようにすることが好ましい。
また、移動方向７０２は、予め複数の映像フレームのそれぞれに対応付けられていてもよい。具体的には、映像を撮影するときに、ジャイロセンサなどの方角を検出するセンサを用いて、当該センサの検出値と、映像を撮影したときの複数の映像フレームのそれぞれとを対応付けて記憶しておき、映像フレームに対応付けられた方角から移動方向を取得するようにしてもよい。
そして、映像切り出し部１０４は、移動方向７０２と自動車の位置７０１ａから対象物の位置７０３に向けて引いた対象物ベクトル７０４とに基づいて視野方向７０５を決定する処理を行う（Ｓ１６０）。なお、本処理についての詳細は、図６に基づいて後述する。
映像切り出し部１０４は、ステップＳ１６０において決定した視野方向を中心に切出画角の範囲を、切出映像である提示フレームとして切り出す（Ｓ１７０）。
映像生成部１０５は、映像切り出し部１０４により切り出された提示フレーム上の対象物の位置７０３に対して対象物に関する情報（コメント）を重畳した映像を生成することにより、切出映像に含まれる対象物に対して対象物に関する情報を関連付ける（Ｓ１８０）。つまり、映像生成部１０５は、対象物に対する対象物関連情報（コメント）を、提示フレーム上の対象物の位置に対応させて重畳して、ユーザーに提示する映像を生成する。ステップＳ１８０の処理が終了すると、ステップＳ１３０に戻る。
次に、図６に基づいて、映像切り出し部１０４により行われる視野方向７０５を決定する処理について詳述する。
パノラマ映像の各映像フレームから切り出す提示フレームは予め規定した一定の視野角の範囲を切り出すものとし、その視野方向は自動車の移動方向とする。対象物の位置と自動車の位置とが予め規定した所定の距離以内になった場合においては、以下の方法により視野方向を決定する。
まず、映像切り出し部１０４は、自動車の位置７０１ａ（図７参照）から所定の距離範囲に対象物が存在するか否かを判定する（Ｓ２１０）。ここで、自動車の位置７０１ａから所定の距離範囲に対象物が存在すると判定されれば（Ｓ２１０：Ｙｅｓ）、次のステップＳ２２０に進む。
映像切り出し部１０４は、自動車の位置７０１ａ、自動車の移動方向７０２、および対象物の位置７０３を用いて、自動車の位置７０１ａから対象物の位置７０３への方向である対象物ベクトル７０４と、自動車の移動方向７０２とのなす角度Ｍを求める。そして、映像切り出し部１０４は、移動方向７０２と対象物ベクトル７０４とのそれぞれに予め定められた重み付けに基づいて視野方向を決定する。映像切り出し部１０４は、例えば、移動方向７０２と対象物ベクトル７０４に対する重み付けがＰ：Ｑである場合、Ｍ×Ｑ／（Ｐ＋Ｑ）度だけ自動車の移動方向７０２から対象物ベクトル７０４方向に傾けた方向を仮視野方向とする（Ｓ２２０）。
映像切り出し部１０４は、ステップＳ２２０により決定された仮視野方向を中心とし、パノラマ映像の各映像フレームから予め規定された切出画角の範囲を切り出した際に、切り出された提示フレームの画角の左端および右端の一方が移動方向７０２に対する移動方向角度８０６が移動方向制限Ｓ度以上、かつ、提示フレームの画角の左端および右端の他方が対象物ベクトル７０４に対する対象物ベクトル角度８０７が対象物ベクトル制限Ｔ度以上であるか否かを判定する（Ｓ２３０、図８Ａおよび図８Ｂ参照）。なお、ここで判定される移動方向角度８０６は、提示フレームの画角の範囲内にある移動方向７０２に対する提示フレームの画角の左端または右端の角度である。また、同様に、対象物ベクトル角度８０７は、提示フレームの画角の範囲内にある対象物ベクトル７０４に対する提示フレームの画角の左端または右端の角度である。ここで、映像切り出し部１０４は、移動方向角度８０６が移動方向制限Ｓ度以上、かつ、対象物ベクトル角度８０７が対象物ベクトル制限Ｔ度以上であると判定すれば（Ｓ２３０：Ｙｅｓ）、仮視野方向を視野方向７０５として決定し、視野方向７０５を決定する処理を終了する。なお、図８Ａは、移動方向角度８０６について説明するための図である。図８Ｂは、対象物ベクトル角度８０７について説明するための図である。
ステップＳ２３０の判定を行うことにより、図８Ａに示す移動方向角度８０６が提示フレームの左端から移動方向制限Ｓ度を下回らないように制限でき、また、図８Ｂに示す対象物ベクトル角度８０７が提示フレームの右端から対象物ベクトル制限Ｔ度を下回らないように制限できる。このように移動方向角度８０６の角度制限を行うことにより、自動車の移動方向７０２が極端に提示フレームの端に来る場合は展望映像としての臨場感が損なわれることを低減できる。また、対象物ベクトル角度８０７の角度制限を行うことにより、対象物の視認性を十分に確保する事ができる。なお、上記Ｓ度及びＴ度は適切な値を設定してもよいし、０度としてもよい。
映像切り出し部１０４は、移動方向角度８０６が移動方向制限Ｓ度以上、かつ、対象物ベクトル角度８０７が対象物ベクトル制限Ｔ度以上であると判定しなかった場合（Ｓ２３０：Ｎｏ）、ステップＳ２２０において決定した仮視野方向と自動車の移動方向７０２とが同じ向きのベクトルであるか否かを判定する（Ｓ２４０）。
映像切り出し部１０４は、仮視野方向と自動車の移動方向７０２とが同じ向きのベクトルであると判定すれば（Ｓ２４０：Ｙｅｓ）、仮視野方向を視野方向７０５として決定し、視野方向７０５を決定する処理を終了する。
映像切り出し部１０４は、仮視野方向と自動車の移動方向７０２とが同じ向きのベクトルであると判定しなければ（Ｓ２４０：Ｎｏ）、予め定められた角度だけ仮視野方向を移動方向７０２に近づけて、近づけた仮視野方向を視野方向７０５として決定し（Ｓ２５０）、視野方向７０５を決定する処理を終了する。
また、映像切り出し部１０４は、ステップＳ２１０において自動車の位置７０１ａから所定の距離範囲に対象物が存在すると判定しない場合（Ｓ２１０：Ｎｏ）、自動車の移動方向７０２を視野方向７０５として決定し、視野方向７０５を決定する処理を終了する。
映像切り出し部１０４は、上述のように視野方向７０５を決定するため、対象物ベクトル７０４が提示フレーム内に含まれない場合は、視野方向７０５は自動車の移動方向７０２と同じ方向となるように変更する。その変更の際において、映像切り出し部１０４は、ステップＳ２５０の処理を行うため、視野方向７０５を映像において徐々に自動車の移動方向７０２と同じ角度になるように変更する。なお、ステップＳ２５０では、１フレームにおける視野方向７０５の角度を変更しているが、これに限らずに、その後の複数（例えば２つ、３つなど）のフレームを経るに従い徐々に視野方向７０５を自動車の移動方向７０２と同じ角度になるように変更してもよい。つまり、この場合には、映像切り出し部１０４は、例えば、フレーム毎に予め定められた角度ずつ、視野方向７０５を自動車の移動方向７０２と同じ向きになるまで変更する処理を行うことになる。これは急激な視野方向の変更によりユーザーにとって見難い映像とならないための配慮となる。
提示フレーム上の対象物の位置は、パノラマ映像から映像フレームを切り出す際に、自動車の移動方向７０２と対象物ベクトル７０４とのなす角度から特定できる。
（具体例）
図９は、映像生成処理を行わない場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。図１０Ａは、図９において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。図１０Ｂは、図９において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。図１０Ｃは、図９において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。図１０Ｄは、図９において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。図１１は、映像生成処理を行った場合に、自動車の移動した複数の位置と、当該複数の位置のそれぞれにおける視野方向を示す図である。図１２Ａは、図１１において自動車が位置Ｐ１に位置するときに撮影された映像を示す図である。図１２Ｂは、図１１において自動車が位置Ｐ２に位置するときに撮影された映像を示す図である。図１２Ｃは、図１１において自動車が位置Ｐ３に位置するときに撮影された映像を示す図である。図１２Ｄは、図１１において自動車が位置Ｐ４に位置するときに撮影された映像を示す図である。
図９に示すように、映像生成処理が行われない場合には、自動車の移動方向が視野方向となる。このため、例えば、対象物の位置７０３に対して「ＦＯＲ ＲＥＮＴ」というコメントが関連付けられていても、図１０Ａおよび図１０Ｂに示すように図９における自動車の位置Ｐ１および位置Ｐ２では「ＦＯＲ ＲＥＮＴ」を視聴者が認識できるが、図１０Ｃに示すように図９における自動車の位置Ｐ３において撮影された映像の画角から対象物の位置７０３がほとんど外れた位置に位置するために対象物の位置７０３の像または「ＦＯＲ ＲＥＮＴ」を認識できない。このように、位置Ｐ１における画角αと、視野方向とが維持されたままの映像が表示されるため位置Ｐ３において対象物の位置７０３の像または「ＦＯＲ ＲＥＮＴ」を認識できない。
一方で、図１１に示すように、映像生成処理が行われる場合には、視野方向は対象物に傾くようにパノラマ映像から切り出されるため、上記と同様に例えば対象物の位置７０３に対して「ＦＯＲ ＲＥＮＴ」というコメントが関連付けられているとき、図１２Ａ、図１２Ｂおよび図１２Ｃに示すように図１１における自動車の位置Ｐ１、位置Ｐ２および位置Ｐ３において対象物の位置７０３の象または「ＦＯＲ ＲＥＮＴ」を視聴者が認識できる。つまり、映像生成処理が行われていない場合には、位置Ｐ３において対象物の位置７０３の象または「ＦＯＲ ＲＥＮＴ」を認識できなかったが、映像生成処理を行うことにより位置Ｐ３において対象物の位置７０３の象または「ＦＯＲ ＲＥＮＴ」を認識できるようになる。このため、視聴者は、映像生成処理を行うことにより、対象物の位置７０３の像または「ＦＯＲ ＲＥＮＴ」を極力長い時間視ることができる。
本実施の形態１に係る映像生成装置１００によれば、対象物が自動車の移動方向からずれた位置に存在する場合であっても、自動車の前方展望映像において対象物の映像をある程度の時間連続して表示することができる。
また、本実施の形態１に係る映像生成装置１００によれば、ＳＮＳを通じて投稿された自動車の移動経路近傍の対象物に関するコメントや写真などの対象物に関する情報を前方展望映像に含まれる対象物に関連付けて表示することができる。さらに、例えば、コメントや写真などの対象物に関する情報を対象物の映像に重畳した映像を生成すれば、重畳された対象物に関する情報についても対象物と同様にある程度の時間連続して表示することができる。
（実施の形態２）
実施の形態１では、１つの対象物がある場合について説明したが、複数の対象物があってもよい。この場合、複数の対象物に対する対象物情報が対象物情報ＤＢ２０２に格納されている。この場合、映像切り出し部１０４は、上記複数の対象物からなる対象物群の位置を定め、実施の形態１の対象物の位置７０３の代わりに用いる。つまり、映像切り出し部１０４は、対象物が複数存在する場合、それぞれの対象物に対して与えられた重み付けに基づいて切り出し映像の中心となる視野方向を決定する。映像切り出し部１０４は、対象物群の位置を、各対象物の重要度と、各対象物および自動車の位置の間の距離とに応じて重み付けを行うことにより算出する。各対象物の重要度は、各対象物の位置について記載されたコメントの文字数を基に設定してもよいし、また、同じ建物に対して多くのコメントが記載されている場合や違う建物であっても近隣の場所に多くのコメントが記載されている場合は、記載されているコメントの密集の度合いに応じて重要度を設定してもよい。例えば、ある対象物から一定範囲内に別の対象物がある場合には、例えば図１３に示すように、重要度の数値をより大きく設定してもよい。なお、各対象物の重要度に応じた重み付けとは、例えば、重要度の数値が大きく設定されている対象物ほどその重みが大きくなるように重み付けすることである。また、各対象物および自動車の位置の間の距離に応じた重み付けとは、例えば、自動車に最も近い対象物ほどその重みが大きくなるように重み付けすることである。
図１３は、対象物群の位置の算出方法を説明するための図である。
実施の形態２では、対象物に対する位置の算出方法のみが異なるため、対象物に対する位置の算出方法についてのみ説明する。対象物群の位置の算出方法は例えば以下のようになる。
図１３上の各対象物（ｅ、ｆ、ｇ、ｈ）の重要度をそれぞれＥ、Ｆ、Ｇ、Ｈとする。また、各対象物（ｅ、ｆ、ｇ、ｈ）と自動車の位置との距離をｄ１、ｄ２、ｄ３、ｄ４とする。
さらに対象物の重要度と、自動車と対象物との間の距離とに対する重み付けを、それぞれＶ、Ｗとすると、各対象物（ｅ、ｆ、ｇ、ｈ）の位置座標にそれぞれ（Ｖ×Ｅ＋Ｗ×ｄ１）、（Ｖ×Ｆ＋Ｗ×ｄ２）、（Ｖ×Ｇ＋Ｗ×ｄ３）、（Ｖ×Ｈ＋Ｗ×ｄ４）の重みを付けた位置座標を求め、重み付けられた複数の位置座標の重心位置を対象物群の位置とする。
なお、上記Ｖ、Ｗの値は、対象物の重要度が低くとも、映像全体としては、その対象物も写るように適切な値を設定することが望ましい。適切な値が設定されれば、自動車の位置が図１３の位置ａである場合には、自動車と対象物（ｅ、ｆ、ｇ）との間の距離よりも自動車と対象物ｈとの間の距離が短いため、対象物ｈに対する重み付けが大きくなり対象物群の位置が移動方向の右側となるように算出される。また、自動車の位置が図１３の位置ｂである場合には、対象物ｈが切出映像の画角から外れた位置に位置することになるため対象物（ｅ、ｆ、ｇ）に対する重み付けが大きくなり対象物群の位置が移動方向の左側となるように算出される。また、自動車の位置が位置ａから位置ｂに移動する間に対象物群の位置は移動方向の右側から左側に移動することになる。したがって、自動車の視野方向７０５においても、同様に自動車の位置が位置ａから位置ｂに移動する間に移動方向の右側から左側に移動することになる。
なお、各コメントの重要度は、コメントの記載者と映像を視聴しているユーザーとの間の友人関係の度合を用いて設定してもよい。この場合、ＦＡＣＥＢＯＯＫ（登録商標）等のＳＮＳから友人関係を取得し両者の友人関係が強いものであれば、そのコメントの重要度をより高く設定してもよい。
映像生成部１０５においては、各対象物のコメントを対象物情報ＤＢ２０２から取得し、提示フレーム上に存在する対象物の位置に対応させて重畳して、ユーザーに提示する映像を生成する。
なお、上記では、各対象物の重心座標を基に視野方向を決定する例であるが、例えば、１つの建物（対象物）に多くのコメントが付けられている場合、その建物に対するコメントを全て表示できるように、コメントの分布範囲を基に視野方向を決定してもよい。つまり、例えば、移動方向から最も外れた方向にあるコメントが画角内に入るように、視野方向を決定することにより、当該建物に対するコメントの全てを表示させるようにしてもよい。
その場合、例えばその建物において最も経路から離れたコメントの位置を、その建物のコメントの代表位置としてもよい。もしくは、近年は地図情報として、単に建物の位置情報、名称情報だけでなく形状情報（領域情報）も含まれているものも有る。よってこれらの情報を利用し、建物の領域において経路から最も離れた位置を視野に含むように視野方向を決定してもよい。
また、１つの建物に多くのコメントが付けられている場合、上記の他にも、複数のコメントの位置の重心を当該建物の位置としてもよい。
（実施の形態３）
実施の形態１および実施の形態２では、切出映像を切り出すときの切出画角を一定の画角としているが、これに限らずに、複数の対象物がある場合であって、各対象物の重要度及び、自動車の位置との距離も同程度の場合においては、図１４に示すように、それらの対象物を一つの提示フレームに含まれるように切り出してもよい。具体的には、映像切り出し部１０４は、上記のような場合に、一つの提示フレームに複数の対象物が含まれるように提示フレームの切出画角を拡げてもよい。なお、図１４は、切出画角の変更を説明するための図であり、（ａ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げる前の状態を示す図であり、（ｂ）が複数の対象物のそれぞれと自動車との距離が等しい場合における切出画角を拡げた後の状態を示す図である。図１４（ａ）、（ｂ）において、切出画角および視野方向は破線で示される。
但し、切出画角を拡げると、広角な映像となるため、映像での遠近感の変化や映像歪が発生するため、どの程度まで画角の拡大を許すかの設定は、ユーザーの視聴環境などに基づいて例えば以下のように変更することが考えられる。例えば、ユーザーが小型のタブレット端末などで視聴している場合は、提示映像中の切出画角が変化することによる多少の遠近感の変化や映像歪が生じたときに、ユーザーにとっては多少の違和感が発生する程度ですむと思われるため切出画角の拡大を許容する設定にすることが考えられる。また、没入感のある映像装置（例えばヘッドマウントディスプレイ）等によりユーザーが視聴している場合は、提示映像中の切出画角が変化することによる多少の遠近感の変化や映像歪が生じたときに、ユーザーの感じる違和感は大きくなるため、視野角の変更を極力避ける設定にすることが考えられる。
また、提示映像を再生している途中で画角を変更する場合、映像での遠近感の変化のため違和感を覚えるユーザーもいると思われる。よって、視野角を変更する際は急激な視野角変更にならないように映像フレーム間での角度変化の上限値を定めることが考えられる。
また、複数の対象物のそれぞれと自動車の位置との間の距離などの値を用いて、複数の対象物の内のいずれかを優先して表示し、優先して表示された対象物以外の対象物は提示フレーム外に対象物があることをユーザーに提示した上で、切出画角の変更処理および視野方向の変更処理の少なくとも一方の処理を行ってもよい。この場合に、優先して表示された対象物が含まれるように切り出された優先提示フレームとは別に、優先提示フレームに含まれていない対象物が含まれる非優先提示フレームを切り出してもよい。非優先提示フレームは、優先提示フレームとは別に再生してもよいし、画面分割などを用いて優先提示フレームと同時再生表示してもよい。
上記の各種設定はデフォルトとして予め設定されていてもよいし、ユーザーが選択または任意に設定できるようにしてもよい。
なお、本実施の形態３では、切り出し映像を切り出すときの切出画角の変更は、各対象物の重要度及び、自動車の位置との距離も同程度の場合に行なっているが、これに限らずに、映像切り出し部１０４は、対象物に対して与えられた例えば対象物の重要度などの重み付けが大きいほど、切出映像としての提示フレームの切出画角を大きくして切り出してもよい。
（実施の形態４）
映像を再生する際に、映像情報ＤＢ２０４に格納された全ての映像フレームを再生せず、対象物が映像内に入る映像フレームのみを抽出し、再生することで、対象物の視聴に特化したダイジェスト視聴が可能となる。つまり、映像切り出し部１０４は、さらに、映像のうちで、対象物が含まれる時間帯を少なくとも含む時間帯の映像であって、移動体の位置から対象物の位置へ向かう方向と、移動体の移動方向または反対方向と、がともに含まれる映像を切出映像として切り出す。
具体的には、視野方向を決定する処理において、ステップＳ２３０でＹＥＳと判定されたフレームのみを用いて提示映像を生成すればよい。なお、対象物の表示が唐突にならないようにとの配慮のためステップＳ２３０でＹＥＳと判定されたフレームのみでなく、当該フレームの前後数〜数十フレームも抽出してもよい。
なお、ダイジェスト視聴の対象となる映像フレームの判定は、オフラインで事前に処理をしておく事が考えられる。判定結果は、各映像フレームがダイジェスト視聴の対象となるか否かの判定の結果であってもよいし、ダイジェスト視聴の対象となる区間の情報（開始／終了のフレーム番号等）であってもよい。また、各映像フレームに対して判定結果を関連付けてもよいし、フレーム番号を参照することなどで各映像フレームと判定結果とを対応できるようすれば判定結果を別途保持しておいてもよい。また、映像切り出し部１０４は、切りだす前の映像から対象物が含まれるか否かを判定してもよいし、切り出した後の提示映像から対象物が含まれるか否かを判定してもよい。
また、映像切り出し部１０４は、各対象物からダイジェスト視聴の対象となる映像フレームを判定してもよい。この場合、対象物毎に自動車が近隣になる映像フレームを予め抽出し、抽出した映像フレームに対してステップＳ２３０と同様の判定をすればよい。また、対象物の追加が随時行われるような場合は、映像切り出し部１０４は、追加された対象物について自動車が近隣になる映像フレームを予め抽出し、抽出した映像フレームに対してダイジェスト視聴の対象となる映像フレームを判定することで効率的な処理が行える。
（実施の形態５）
また、映像情報ＤＢ２０４に格納される展望映像は、前方展望映像に限定されない。例えば、後方展望映像であってもよい。すなわち、映像情報生成部２０３を構成する撮影用の装置は、自動車の移動方向を向いて撮影してもよいし、自動車の移動方向の反対方向を向いた撮影してもよい。なおこの場合には、切り出しのときに、例えば、図１５に示すように、自動車の位置に対象物ｉが所定の距離だけ近づいた位置ｂ以降において予め対象物の方向に視野方向を傾けるようにする。このように、予め位置ｂにおいて対象物の方向に視野方向を傾けて切り出しを行うことにより、次の位置ｃにおいて対象物が提示フレームに含まれるようにできるため、より長く提示映像中に対象物が含まれるような提示映像を生成することができる。また、図１６に示すように、自動車の移動経路が曲がる場合には、対象物ｊの方向に視野方向を傾けることにより、対象物が提示映像中に長く含まれる提示映像を生成することができる。
（その他の実施の形態）
なお、上記実施の形態において、映像情報ＤＢ２０４に格納される前方展望映像は３６０度の画角のパノラマ映像であるとしたが、３６０度のパノラマ映像であることに限らない。パノラマ映像は、予め規定された所定の画角を維持しつつ、視野方向をある程度変化させることができる程度の広角（例えば１８０度、１２０度等）で撮影された前方展望映像であればその画角の角度は問わない。また、展望映像は、動画であるとしたが、動画に限らずに異なる複数のタイミングで撮影された複数の静止画の集合であってもよい。展望映像が複数の静止画である場合には、一枚の静止画について、上記映像フレームにおいて行われた処理と同じ処理が行われることになる。
なお、対象物情報受付部２０１は地図上で位置を指定された場所を対象物の位置とし、その場所に関するコメントや、その場所に建つ建物に関するコメントを受け付け、指定位置とコメントを組にして対象物として受け付けるとしたが、対象物情報取得部１０１が取得する対象物に関する情報は、ＳＮＳを提供するサーバから受け取ってもよい。
なお、映像生成装置１００は、映像情報ＤＢ２０４に格納されているパノラマ映像について映像生成処理を行えば提示映像を生成できるため、映像情報生成部２０３が生成したパノラマ映像についてリアルタイムに映像生成処理を行なってもよいし、映像情報ＤＢ２０４に既に格納されているパノラマ映像について映像生成処理を行なってもよい。
なお、映像生成部１０５は、各対象物に対するコメントを対象物情報ＤＢ２０２から取得し、提示フレーム上に存在する対象物の位置に対応させて重畳して、ユーザーに提示する映像を生成するとしたが、映像生成部１０５は、必ずしも本発明に必須の要件ではない。撮影済の位置座標付きのパノラマ映像または広角映像から対象物をできるだけ長い時間視野内にとらえることができるように視野を切り出すことができればよいので、対象物に対応したコメントの提示をせずに、対象物が提示映像中に長く含まれるように提示映像を生成するようにしてもよい。あるいは、対象物に対応したコメントを提示するか否かを切り替えられるように構成してもよい。また、対象物に対応したコメントを提示するのか、対象物に対応した情報（図３参照）を提示するのか、を切り替えられるように構成してもよい。また、提示するコメントは、対象物が提示映像に含まれるタイミングで表示されればよいため、提示フレーム上に存在する対象物の位置に対応させて重畳することに限らずに、提示フレームとは別の表示枠を設けて当該表示枠にコメントを表示するようにしてもよい。
なお、本発明の映像生成装置は、端末装置に自動車の前方または後方の展望映像を提供するサーバ装置として実現できる。一方、本発明の映像生成装置は、サーバ装置と端末装置から構成されるシステムによって実現することもできる。その場合、例えば、映像切り出し手段と映像生成手段を端末装置にもたせ、サーバ装置は、対象物に関する情報と経路情報を端末装置に提供するという構成が考えられる。
以上、本発明の一つまたは複数の態様に係る映像生成装置および映像生成方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
以上のように、本発明によれば、対象物が移動体の移動方向からずれた位置に存在する場合であっても、移動体の前方展望映像においてその対象物に関する情報をある程度の時間連続して表示することができる映像生成装置を提供することができるので、端末装置に移動体の前方展望映像を提供するサーバ装置として有用である。
また、本発明の映像生成装置は、サーバ装置と端末装置から構成されるシステムとして実現することもできる。
１００ 映像生成装置
１０１ 対象物情報取得部
１０２ 映像情報取得部
１０３ 移動方向取得部
１０４ 映像切り出し部
１０５ 映像生成部
２０１ 対象物情報受付部
２０２ 対象物情報ＤＢ
２０３ 映像情報生成部
２０４ 映像情報ＤＢ
７０１ａ、７０１ｂ 自動車の位置
７０２ 移動方向
７０３ 対象物の位置
７０４ 対象物ベクトル
７０５ 視野方向
８０６ 移動方向角度
８０７ 対象物ベクトル角度
上記目的を達成するために、本発明の一態様に係る対象物の位置を取得する対象物情報取得部と、移動体から撮影された展望映像と、前記展望映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、前記展望映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、前記展望映像のうちの一タイミングにおける展望映像の画角の一部である切出映像を、当該タイミングにおける前記移動体の位置から前記対象物の位置へ向かう方向と、当該タイミングにおける前記移動体の移動方向または当該移動方向の反対方向と、がともに含まれている、前記切出映像を切り出すための基準となる視野方向を算出し、算出した前記視野方向を基に前記切出し映像を切り出す映像切り出し部とを備える。
このような問題を解決するために、本発明の一態様に係る映像生成装置は、対象物の位置を取得する対象物情報取得部と、移動体から撮影された展望映像と、前記展望映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、前記展望映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、前記展望映像のうちの一タイミングにおける展望映像の画角の一部である切出映像を、当該タイミングにおける前記移動体の位置から前記対象物の位置へ向かう方向と、当該タイミングにおける前記移動体の移動方向または当該移動方向の反対方向と、がともに含まれている、前記切出映像を切り出すための基準となる視野方向を算出し、算出した前記視野方向を基に前記切出し映像を切り出す映像切り出し部とを備える。
また、例えば、前記映像切り出し部は、前記展望映像のうちの複数のタイミングのそれぞれについて、当該タイミングにおける前記視野方向を算出し、算出した前記視野方向を基に前記切出映像を切り出してもよい。
また、例えば、前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向、または、前記移動方向もしくは前記反対方向が、前記切出映像の両端に対応する方向に対して予め定められた角度以上内側に位置するように前記切出映像を前記展望映像から切り出してもよい。
また、例えば、前記移動方向取得部は、前記展望映像が撮影された２以上の位置に基づいて、前記展望映像が撮影された位置に対応付けられた前記移動体の移動方向を導出することにより、当該移動方向を取得してもよい。
また、例えば、前記映像切り出し部は、さらに、前記展望映像のうちで、前記対象物が含まれる時間帯を少なくとも含む時間帯の展望映像であって、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または前記反対方向と、がともに含まれる映像を前記切出映像として切り出してもよい。

Claims (10)

  1. 対象物の位置を取得する対象物情報取得部と、
    移動体から撮影された映像と、前記映像が撮影されたときの前記移動体の位置とを取得する映像情報取得部と、
    前記映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得部と、
    前記映像のうちの少なくとも一タイミングにおける映像の画角の一部である切出映像を、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または当該移動方向の反対方向とがともに含まれるように切り出す映像切り出し部と
    を備える映像生成装置。
  2. 前記対象物情報取得部は、さらに、前記対象物に関する情報を取得し、
    前記映像生成装置は、前記切出映像に含まれる前記対象物に対して前記対象物に関する情報を関連付けた映像を生成する映像生成部をさらに備える
    請求項１に記載の映像生成装置。
  3. 前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向と前記移動方向または前記反対方向とのそれぞれに対して与えられた重み付けに基づいて前記切出映像の中心となる視野方向を決定する
    請求項１または２に記載の映像生成装置。
  4. 前記映像切り出し部は、前記移動体の位置から前記対象物の位置へ向かう方向、または、前記移動方向もしくは前記反対方向が、前記切出映像の両端に対応する方向に対して予め定められた角度以内内側に位置するように前記切出映像を前記映像から切り出す
    請求項１から３のいずれか１項に記載の映像生成装置。
  5. 前記移動方向取得部は、前記映像が撮影された２以上の位置に基づいて、前記映像が撮影された位置に対応付けられた前記移動体の移動方向を導出することにより、当該移動方向を取得する
    請求項１から４のいずれか１項に記載の映像生成装置。
  6. 前記映像切り出し部は、前記対象物に対して与えられた重み付けが大きいほど、前記切出映像の画角を大きくして切り出す
    請求項１から５のいずれか１項に記載の映像生成装置。
  7. 前記映像切り出し部は、前記対象物が複数存在する場合、それぞれの対象物に対して与えられた重み付けに基づいて前記切出映像の中心となる視野方向を決定する
    請求項１から５のいずれか１項に記載の映像生成装置。
  8. 前記映像切り出し部は、前記対象物が複数存在する場合、前記複数の対象物が含まれるように前記切出映像の画角を大きくして切り出す
    請求項１から７のいずれか１項に記載の映像生成装置。
  9. 前記映像切り出し部は、さらに、前記映像のうちで、前記対象物が含まれる時間帯を少なくとも含む時間帯の映像であって、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または前記反対方向とがともに含まれる映像を前記切出映像として切り出す
    請求項１から８のいずれか１項に記載の映像生成装置。
  10. 対象物の位置を取得する対象物情報取得ステップと、
    移動体から撮影された映像と、前記映像が撮影されたときの前記移動体の位置とを取得する映像情報取得ステップと、
    前記映像が撮影されたときの前記移動体の移動方向を取得する移動方向取得ステップと、
    前記映像のうちの少なくとも一タイミングにおける映像の画角の一部の映像である切出映像を、前記移動体の位置から前記対象物の位置へ向かう方向と、前記移動体の移動方向または当該移動方向の反対方向とがともに含まれるように切り出す映像切り出しステップと
    を含む映像生成方法。
JP2013507497A 2012-02-16 2012-07-10 映像生成装置 Active JP5393927B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507497A JP5393927B1 (ja) 2012-02-16 2012-07-10 映像生成装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012031287 2012-02-16
JP2012031287 2012-02-16
PCT/JP2012/004451 WO2013121471A1 (ja) 2012-02-16 2012-07-10 映像生成装置
JP2013507497A JP5393927B1 (ja) 2012-02-16 2012-07-10 映像生成装置

Publications (2)

Publication Number Publication Date
JP5393927B1 JP5393927B1 (ja) 2014-01-22
JPWO2013121471A1 true JPWO2013121471A1 (ja) 2015-05-11

Family

ID=48983642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507497A Active JP5393927B1 (ja) 2012-02-16 2012-07-10 映像生成装置

Country Status (3)

Country Link
US (1) US20130294650A1 (ja)
JP (1) JP5393927B1 (ja)
WO (1) WO2013121471A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101867051B1 (ko) * 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
US9442911B2 (en) * 2014-01-09 2016-09-13 Ricoh Company, Ltd. Adding annotations to a map
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US10198838B2 (en) * 2016-03-31 2019-02-05 Qualcomm Incorporated Geometric work scheduling with dynamic and probabilistic work trimming

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606089B1 (en) * 1999-06-08 2003-08-12 Sulzer Market And Technology Ag Method for visualizing a spatially resolved data set
US6977630B1 (en) * 2000-07-18 2005-12-20 University Of Minnesota Mobility assist device
US7034927B1 (en) * 2002-06-28 2006-04-25 Digeo, Inc. System and method for identifying an object using invisible light
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
KR100801827B1 (ko) * 2004-01-26 2008-02-11 닛본 덴끼 가부시끼가이샤 영상 종류 판정 시스템, 영상 가공 시스템과 그 서버 및 단말기, 영상 가공 방법 및 영상 가공 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
JP2005269604A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
US20070263301A1 (en) * 2004-06-17 2007-11-15 Zohar Agrest System and Method for Automatic Adjustment of Mirrors for a Vehicle
JP2006170934A (ja) * 2004-12-20 2006-06-29 Konica Minolta Holdings Inc ナビゲーション装置、及び、ナビゲーション画像表示方法
JP4385963B2 (ja) * 2005-02-17 2009-12-16 コニカミノルタホールディングス株式会社 画像処理装置
WO2008072429A1 (ja) * 2006-12-12 2008-06-19 Locationview Co. 地理情報関連付き画像データ表示システム
JP5120926B2 (ja) * 2007-07-27 2013-01-16 有限会社テクノドリーム二十一 画像処理装置、画像処理方法およびプログラム
EP2207341B1 (en) * 2008-09-08 2013-11-06 Sony Corporation Image processing apparatus and method, imaging apparatus, and program
JP5388551B2 (ja) * 2008-11-21 2014-01-15 アルパイン株式会社 車載用表示システムおよび表示方法

Also Published As

Publication number Publication date
WO2013121471A1 (ja) 2013-08-22
JP5393927B1 (ja) 2014-01-22
US20130294650A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
JP5393927B1 (ja) 映像生成装置
JP6450779B2 (ja) ストリートビュー目的地への案内を提供する方法およびデバイス
JP6329343B2 (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
US11086395B2 (en) Image processing apparatus, image processing method, and storage medium
WO2012029576A1 (ja) 複合現実感表示システム、画像提供サーバ、表示装置及び表示プログラム
CN110166764B (zh) 虚拟现实vr直播中的视角同步方法及装置
JP2015018296A (ja) 表示制御装置、プログラム及び記録媒体
JP6126271B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP2007215097A (ja) 表示データ生成装置
EP3276982A1 (en) Information processing apparatus, information processing method, and program
JP5511084B2 (ja) 通信装置、通信システム、通信方法、及び通信プログラム
US20130286010A1 (en) Method, Apparatus and Computer Program Product for Three-Dimensional Stereo Display
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
KR100926231B1 (ko) 360도 동영상 이미지 기반 공간정보 구축 시스템 및 그구축 방법
KR102140077B1 (ko) 서버, 사용자 단말 장치 및 그 제어 방법
JP2006099058A (ja) 表示装置、表示方法、およびプログラム
KR101039611B1 (ko) 증강현실에 기반하여 메시지를 표시하는 방법
EP3388920A1 (en) Method and device for guiding a user to a virtual object
JP2022126205A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020119262A (ja) 画像処理装置、画像処理方法及びプログラム
JP6433015B2 (ja) ナビゲーション装置及びナビゲーション方法
JP2009258862A (ja) 映像表示装置及び映像表示方法
WO2024069779A1 (ja) 制御システム、制御方法、および記録媒体
KR101027442B1 (ko) 3ｄ 영상을 이용한 가상 항공여행 제공 시스템 및 그 제공방법
US10609343B2 (en) Area display system

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131015

R150 Certificate of patent or registration of utility model

Ref document number: 5393927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150