JP6861562B2 - 画像共有システム、画像共有サーバ及び画像共有方法 - Google Patents

画像共有システム、画像共有サーバ及び画像共有方法 Download PDF

Info

Publication number
JP6861562B2
JP6861562B2 JP2017073278A JP2017073278A JP6861562B2 JP 6861562 B2 JP6861562 B2 JP 6861562B2 JP 2017073278 A JP2017073278 A JP 2017073278A JP 2017073278 A JP2017073278 A JP 2017073278A JP 6861562 B2 JP6861562 B2 JP 6861562B2
Authority
JP
Japan
Prior art keywords
route
image
terminal
unit
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017073278A
Other languages
English (en)
Other versions
JP2018174512A (ja
Inventor
祐史 西川
祐史 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017073278A priority Critical patent/JP6861562B2/ja
Publication of JP2018174512A publication Critical patent/JP2018174512A/ja
Application granted granted Critical
Publication of JP6861562B2 publication Critical patent/JP6861562B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、画像共有システム、画像共有サーバ及び画像共有方法に関し、特に、一の地点から他の地点までの経路に関連付けれらている静止画又は動画を共有することができる画像共有システム、画像共有サーバ、及び画像共有方法に関する。
従来、映像情報を撮像した位置(撮像位置)及び撮像した時刻とともに記憶部に記憶し、撮像位置の軌跡を地図上に表示し、ユーザが地図上の一点を指摘すると、その地点に最も近い撮像位置を持つ映像情報を記憶部から読み出し、読み出した映像情報を再生する再生装置が知られている(特許文献1参照)。
特許文献1の再生装置では、記憶部から複数の映像情報が検索された場合、地図上のユーザの指摘した地点近傍を拡大表示することにより、ユーザに再生する映像情報を選択する機会を与えている。
特開2009−147542号公報
しかし、特許文献1の技術では、多数の映像情報が検索された場合、ユーザが多数の映像情報のうちから再生する映像を選択しなければならず、ユーザに煩わしさを覚えさせてしまうおそれがあった。
そこで、本発明は、経路に関連付けれらている静止画又は動画の共有に当たり、視聴者の煩わしさを軽減または解消できる画像共有システム、画像共有サーバ、及び画像共有方法を提供することを目的とする。
本発明の画像共有システムは、
各投稿者から投稿された静止画又は動画と、当該静止画又は前記動画に関連付けられた経路としての第1経路とを保持する保持部と、
任意の経路の指定を受け付ける経路指定受付部と、
画像を表示する画像表示部と、
前記経路指定受付部を介して指定された経路である第2経路内で所定の長さ以上にわたって重なりがある前記第1経路を前記保持部から検索する経路検索部と、
前記経路検索部による検索により見つけた各第1経路について該第1経路の一部又は全部を示す第1経路表示と、地図情報と、第1経路に関連付けられた静止画若しくは動画を表示する画像表示又は該第1経路に関連付けられた動画の再生指示を受け付けるための表示である再生指示表示を前記画像表示部に表示させる表示制御部とを備えることを特徴とする。
当該構成の画像共有システムによれば、経路検索部により、第2経路と所定の長さにわたって重なりがある第1経路を有する動画が保持部から検索される。
ここで、第1経路が第2経路と所定の長さにわたって重なりがある場合には、指定された1地点に対応する動画よりも検索される静止画又は動画の数が絞り込まれる。
また、表示制御部により、第1経路表示及び地図情報が画像表示部に表示される。これにより、視聴者に、静止画又は動画に関連した第1経路の地図上の位置を容易に把握させることができる。さらに、表示制御部により、前記第1経路に関連付けられた静止画若しくは動画を表示する画像表示または動画を再生させるためのインターフェースである再生指示インターフェースが画像表示部に表示される。視聴者は、容易に、静止画若しくは動画を視聴し、又は動画の再生指示を行うことができる。
以上の通り、本発明の画像共有システムによれば、検索される動画を絞り込みながら、動画に関連した第1経路の地図を視聴者に容易に把握させることができるとともに、視聴者に、容易に、静止画若しくは動画を視聴させ、又は、動画の再生指示を行わせることができる。従って、本発明の画像共有システムによれば、経路に関連付けれらている静止画又は動画の共有に当たり、視聴者の煩わしさを軽減または解消できる。
本発明の画像共有システムにおいて、
前記保持部は、動画と、前記第1経路としての前記動画に関連付けられた経路とを保持し、
前記第1経路表示は、前記第1経路の一部の経路である局所経路を示す表示を含み、
前記画像表示が前記動画の一部の動画である局所動画を表示し、又は、前記再生指示インターフェースが前記局所動画の再生指示を受け付けるためのインターフェースを含むことが好ましい。
当該構成の画像共有システムによれば、局所経路を示す表示と、局所動画を表示する画像表示又は前記局所動画の再生指示を受け付けるためのインターフェースとが画像表示部に表示される。これにより、視聴者に局所経路を認識させながら、局所動画を視聴させ又は局所動画を再生するための選択肢を与えることができる。
ここで、動画の再生に時間がかかると視聴者が煩わしさを覚えるおそれがあるところ、当該構成の画像共有システムによれば、局所動画は動画の一部であるから、再生時間を短縮することができ、視聴者の煩わしさを軽減または解消することができる。
本発明の画像共有システムにおいて、
前記動画は、前記第1経路の移動時に撮像された動画であり、
前記第1経路には、前記動画における移動の方向が付与されており、
前記経路指定受付部は、前記経路とともに方向の指定を受け付け、
前記経路検索部は、前記第2経路の指定された方向と同一の移動の方向が付与された前記第1経路を検索するように構成されていることが好ましい。
移動時に撮像された動画を見る場合、移動の方向が重要となるところ、当該構成の画像共有システムによれば、第2経路の指定された方向と同一の移動の方向が付与された第1経路が検索される。これにより、動画の視聴者が指定した方向と同一の移動の方向の経路が探索される。当該経路に関連付けられた動画における移動の方向は、動画の視聴者が指定した方向と同一となる。この結果、動画の視聴者が求める方向を加味した動画が共有される。
本発明の画像共有システムにおいて、
動画の投稿を受け付ける投稿受付部を備え、
前記局所動画は、前記動画の投稿者により指定された動画の部分であることが好ましい。
当該構成の画像共有システムによれば、前記動画の投稿者により指定された動画の部分に対応する経路の表示が出力されるとともに、局所動画又は局所動画を再生指示を受け付けるためのインターフェースが出力される。これにより、視聴者は、動画の投稿者が指定した動画の部分に対応する経路を認識しながら、動画の投稿者が指定した部分の動画(局所動画)を容易に視聴することができるようになる。
動画の投稿者が指定した部分の動画は、動画のうち特に共有したい部分であると推察されるので、動画の投稿者の意図に沿った形での動画の共有の円滑化が図られるとともに、再生時間を短縮することができるので、視聴者の煩わしさを軽減または解消することができる。
第1実施形態の全体構成図。 第1実施形態における移動体及び第1端末の構成を示す図。 第1実施形態における第2端末の構成を示す図。 第1実施形態における画像共有サーバの構成を示す図。 第1実施形態における動画投稿処理のフローチャート。 第1実施形態における投稿情報認識処理のフローチャート。 第1実施形態における投稿画面の一例を示す図。 第1実施形態における投稿情報の入力を受け付ける投稿画面の例を示す図。 第1実施形態における投稿済動画視聴処理のフローチャート。 第1実施形態における検索画面を示す図。 第1実施形態における検索結果画面を示す図。 第1実施形態における経路検索処理のフローチャート。 第2実施形態における局所動画認識処理のフローチャート。 第2実施形態における撮像された道路の一例を示す図。 第3実施形態における移動体及び第1端末の構成を示す図。 第3実施形態における局所動画認識処理のフローチャート。 第4実施形態における画像共有サーバの構成を示す図。 第4実施形態における推薦一覧画面出力処理のフローチャート。 第4実施形態における第1推薦一覧画面を示す図。 第4実施形態における第2推薦一覧画面を示す図。
(第1実施形態)
図1〜図12を参照して、本発明の第1実施形態について説明する。
第1実施形態において、画像共有システムは、移動体1に搭載された第1端末21と、第2端末22と、画像共有サーバ3とを備える。第1端末21と、第2端末22と、画像共有サーバ3とは互いに無線通信網等のネットワークを介して相互に通信可能に接続されている。
(移動体の構成)
移動体1は、不図示の各部の作動部とその操作部(アクチュエータ又は操作機構)と各部又はその操作部の状態を検知、検出する検出部を有する。
すなわち、移動体1には、移動体1の各状態を示す信号を出力するセンサ部10と、当該センサ部に接続された第1端末21とが搭載されている。
また、移動体1としての車は不図示の動力源を有し、その動力源の始動停止のためのスイッチ機構の一部であるイグニッションスイッチ又はスタートボタンを有している。
動力源には内燃機関や電動機が用いられる。また、燃料電池や太陽光発電による自然エネルギーを用いるものであっても良い。
また、移動体1としての車は不図示の加速装置、制動装置及び操向装置を有し、発進、加速、転舵、減速、停止を行う。
センサ部10は、GPS(Global Positioning System)衛星から信号を受信することにより移動体1の現在位置を取得するGPSセンサ11と、移動体1、ここでは車の移動速度を取得する車速センサ12と、移動体1の角速度を取得するジャイロセンサ13と移動体1のイグニッションスイッチの入切の状態を取得するイグニッションスイッチセンサ14とを備えている。センサ部10は、不図示のセンサにより、移動体1に対するアクセル、ブレーキ又は操舵などの操作指示量及びその他の移動体1に搭載されている機器情報も取得するように構成されている。センサ部10は、取得された情報を第1端末21に出力するように構成されている。GPSセンサ11が本発明の「位置認識部」に相当する。
(第1端末の構成)
第1端末21は、移動局としての、タブレット型端末又はスマートフォン等、ユーザによる携帯が可能なようにサイズ、形状及び重量が設計されている情報端末である。第1端末21は、移動体1の周囲(例えば移動体1の前方)又は内部を撮像可能となるように、移動体1に設置されている。例えば、移動体1が四輪自動車である場合、第1端末21は、移動体1の前方を撮像可能となるように、移動体1のダッシュボードの上に設置されてもよい。
第1端末21は、第1端末21の第1ユーザU1(移動体の乗員)が搭乗する移動体1に搭載可能なようにサイズ、例えば規格化された1〜2DIN等が設計されている情報端末により構成されてもよい。第1ユーザU1が、「動画の投稿者」の一例に相当する。
第1端末21は、第1端末制御部211、第1端末記憶部212、第1端末出力部213、第1端末入力部214、第1端末通信部215及び第1端末計時部216を備えている。第1端末21は、構成要素を装置の内部に備えるだけでなく、前述したGPSセンサ11のように、装置の外部に構成要素を備え、有線通信又は無線通信を介して必要なデータを認識するように構成されていてもよい。
なお、一の装置が情報を「認識する」とは、一の装置が他の装置から当該情報を受信すること、一の装置が第1端末記憶部212等の記憶媒体に記憶された情報を読み取ること、一の装置がGPSセンサ11等のセンサから出力された信号に基づいて情報を取得すること、一の装置が、受信した情報又は第1端末記憶部212等の記憶媒体に記憶された情報又はGPSセンサ11等のセンサから取得した情報に基づいて、所定の演算処理(計算処理又は検索処理など)を実行することにより当該情報を導出すること、一の装置が他の装置による演算処理結果としての当該情報を当該他の装置から受信すること、一の装置が当該受信信号にしたがって内部記憶装置又は外部記憶装置から当該情報を読み取ること等、当該情報を取得するためのあらゆる演算処理が実行されることを意味する。
第1端末制御部211は、CPU等のプロセッサにより構成されている。第1端末21には、画像共有プログラムがインストールされている。画像共有プログラムが起動されることにより、第1端末制御部211は、第1端末記憶部212からソフトウェアおよびデータを必要に応じて読み取ったうえで後述の演算処理を実行するように構成されている。第1端末制御部211の一部又は全部が、第1端末通信部215を介して通信可能な外部のサーバ等によって構成されていてもよい。第1端末制御部211が、本発明の「投稿受付部」の一例に相当する。
第1端末制御部211は、センサ部10、第1端末記憶部212、第1端末出力部213、第1端末入力部214、第1端末通信部215及び第1端末計時部216と情報を送受信可能なように構成されている。
第1端末記憶部212は、RAM、ROM又はHDD等の記憶装置により構成され、種々の情報を記録するように構成されている。第1端末記憶部212は、第1端末制御部211による演算処理で使用されるデータを記憶及び読出可能に構成されている。第1端末記憶部212の一部又は全部が、第1端末通信部215を介して通信可能な外部のストレージサーバ等によって構成されていてもよい。
第1端末記憶部212は、地図情報2121と、動画情報2122とを記憶している。
地図情報2121は、道路及び各施設等の緯度及び経度等の位置情報及びPOI(Point Of Interest)を含む情報である。地図情報2121には、道路網を構成する複数の道路及び道路の区間のそれぞれの位置、形状および姿勢等を表わす座標値((緯度、経度)または(緯度、経度、高度))の列のほか、各区間を識別するための道路識別情報および属性を表すデータなどが含まれている。各区間は一端または両端において他の道路の区間に接続されている。地図情報2121には、道路の特徴(急カーブ、急勾配、見通しが悪い、事故多発など)が含まれていてもよい。
なお、本明細書では、「道路」との用語は、地図に表示される道路又は実際に存在する各道路の意味で使用する。また、本明細書では、「道路の区間」との用語は、1の交差点から隣接する交差点までの道路等、一定の長さを持つ道路を意味する。各区間は、他の区間と重なりがないように定められる。
また、本明細書では、「経路」との用語は、ある地点から別の地点まで移動するための道路、すなわち、ユーザに通行を促す(案内する)道路、ユーザが通行している道路又はユーザが過去に通行した道路の意味で使用する。また、各経路は、地図情報に含まれる各道路の座標値のセットにより表現される。また、各経路は、地図情報に含まれる各区間の座標値のセットで表されてもよい。
動画情報2122は、第1端末入力部214の第1端末撮像部2141で撮像された動画、撮像された日付である撮像日、撮像された時刻である撮像時刻、撮像したときの位置である撮像位置を含む情報である。撮像日及び撮像時刻は第1端末計時部216から取得された日付及び時刻である。撮像位置は、GPSセンサ11から取得された緯度及び経度の2次元で表される位置情報であってもよいし、さらに高さが加えられた3次元の情報であってもよい。
第1端末出力部213は、第1端末画像表示部2131と、第1端末音声出力部2132とを備える。
第1端末画像表示部2131は、例えば液晶パネルにより構成される。第1端末画像表示部2131は、第1端末制御部211から入力された信号に応じて画像を表示するように構成されている。
第1端末音声出力部2132は、例えばスピーカーにより構成される。第1端末音声出力部2132は、第1端末制御部211から入力された信号に応じて音声を出力するように構成されている。
第1端末出力部213は、これらに加え、におい発生装置、振動発生装置等、ユーザの五感を通じて認識させることができる情報を出力する装置を備えてもよい。
第1端末入力部214は、第1端末撮像部2141と、第1端末操作検知部2142と、第1端末音声認識部2143とを備える。
第1端末撮像部2141は、例えば第1端末21の所定の位置に配置されたカメラにより構成される。第1端末撮像部2141は、動画を撮像し、撮像した動画に対応する信号を第1端末制御部211に出力するように構成されている。
第1端末操作検知部2142は、例えば、タッチパッド、ボタン、キーボード又はマウス等により構成される。第1端末操作検知部2142は、ユーザの操作を検知し、当該タッチ操作に対応する信号を第1端末制御部211に出力するように構成されている。第1端末操作検知部2142としてのタッチパッドと第1端末画像表示部2131としての液晶パネルとが組合わされ、タッチパネルとして構成されてもよい。
第1端末音声認識部2143は、例えばマイクにより構成される。第1端末音声認識部2143は、ユーザが発した音声を認識し、当該音声に対応する信号を第1端末制御部211に出力するように構成されている。
第1端末通信部215は、第1端末近距離無線通信部2151と、第1端末無線通信網通信部2152とを備える。
第1端末近距離無線通信部2151は、有線又は近距離での無線通信に適した通信規格にしたがって移動体1内の無線LAN等を介して移動体1又は移動体1に搭載された機器(たとえばセンサ部10)と相互に通信するように構成されている。
第1端末無線通信網通信部2152は、WiFi(登録商標)等の遠距離での無線通信に適した通信規格にしたがって画像共有サーバ3等の外部端末と相互通信するように構成されている。
第1端末計時部216は、例えばNTP(Network Time Protocol)サーバと通信することにより、現在時刻を認識するように構成されている。第1端末計時部216は、GPSセンサ11から受信した信号により現在時刻を認識してもよい。
(第2端末の構成)
第2端末22は、移動局としての、タブレット型端末又はスマートフォン等、ユーザによる携帯が可能なようにサイズ、形状及び重量が設計されている情報端末である。
第2端末22は、第2端末22の第2ユーザU2(移動体の乗員)が搭乗する移動体1に搭載可能なようにサイズ、例えば規格化された1〜2DIN等が設計されている情報端末により構成されてもよい。また、第2端末22は、固定局として、例えばデスクトップコンピュータにより構成されていてもよい。
第2ユーザU2が、「動画の視聴者」の一例に相当する。
第2端末22は、第2端末制御部221、第2端末記憶部222、第2端末出力部223、第2端末入力部224、第2端末通信部225及び第2端末計時部226を備えている。第2端末22は、構成要素を装置の内部に備えるだけでなく、装置の外部に構成要素を備え、有線通信又は無線通信を介して必要なデータを認識するように構成されていてもよい。
第2端末制御部221は、CPU等のプロセッサにより構成されている。第2端末22には、画像共有プログラムがインストールされている。画像共有プログラムが起動されることにより、第2端末制御部221は、第2端末記憶部222からデータを読み取ったうえで後述の演算処理を実行するように構成されている。第2端末制御部221の一部又は全部が、第2端末通信部225を介して通信可能な外部のサーバ等によって構成されていてもよい。
第2端末制御部221が、本発明の「経路指定受付部」「表示制御部」の一例に相当する。
第2端末制御部221は、第2端末記憶部222、第2端末出力部223、第2端末入力部224、第2端末通信部225及び第2端末計時部226と情報を送受信可能なように構成されている。
第2端末記憶部222は、RAM、ROM又はHDD等の記憶装置により構成され、種々の情報を記録するように構成されている。第2端末記憶部222は、第2端末制御部221による演算処理で使用されるデータを記憶及び読出可能に構成されている。第2端末記憶部222の一部又は全部が、第2端末通信部225を介して通信可能な外部のストレージサーバ等によって構成されていてもよい。
第2端末記憶部222は、地図情報2221及び参考動画情報2222を記憶している。
地図情報2221は、道路及び各施設等の緯度及び経度等の位置情報及びPOI(Point Of Interest)を含む情報である。地図情報2221には、道路網を構成する複数の道路及び道路の区間のそれぞれの位置、形状および姿勢等を表わす座標値((緯度、経度)または(緯度、経度、高度))の列のほか、各区間を識別するための道路識別情報および属性を表すデータなどが含まれている。各区間は一端または両端において他の道路の区間に接続されている。地図情報2221には、道路の特徴(急カーブ、急勾配、見通しが悪い、事故多発など)が含まれていてもよい。
参考動画情報2222は、第2ユーザが登録した動画の情報であり、主に、経路の案内の際に併せて再生される動画に関する情報である。
第2端末出力部223は、第2端末画像表示部2231と、第2端末音声出力部2232とを備える。
第2端末画像表示部2231は、例えば液晶パネルにより構成される。第2端末画像表示部2231は、第2端末制御部221から入力された信号に応じて画像を表示するように構成されている。第2端末画像表示部2231が、本発明の「画像表示部」の一例に相当する。
第2端末音声出力部2232は、例えばスピーカーにより構成される。第2端末音声出力部2232は、第2端末制御部221から入力された信号に応じて音声を出力するように構成されている。
第2端末出力部223は、これらに加え、におい発生装置、振動発生装置等、ユーザの五感を通じて認識させることができる情報を出力する装置を備えてもよい。
第2端末入力部224は、第2端末撮像部2241と、第2端末操作検知部2242と、第2端末音声認識部2243とを備える。
第2端末撮像部2241は、例えば第2端末22の所定の位置に配置されたカメラにより構成される。第2端末撮像部2241は、動画を撮像し、撮像した動画に対応する信号第2端末制御部221に出力するように構成されている。
第2端末操作検知部2242は、例えば、タッチパッド、ボタン、キーボード又はマウス等により構成される。第2端末操作検知部2242は、ユーザの操作を検知し、当該タッチ操作に対応する信号を第2端末制御部221に出力するように構成されている。第2端末操作検知部2242としてのタッチパッドと第2端末画像表示部2231としての液晶パネルとが組合わされ、タッチパネルとして構成されてもよい。
第2端末音声認識部2243は、例えばマイクにより構成される。第2端末音声認識部2243は、ユーザが発した音声を認識し、当該音声に対応する信号を第2端末制御部221に出力するように構成されている。
第2端末通信部225は、第2端末近距離無線通信部2251と、第2端末無線通信網通信部2252とを備える。
第2端末近距離無線通信部2251は、有線又は近距離での無線通信に適した通信規格にしたがって移動体1内の無線LAN等を介して移動体1又は移動体1に搭載された機器(たとえばセンサ部10)と相互に通信するように構成されている。
第2端末無線通信網通信部2252は、WiFi(登録商標)等の遠距離での無線通信に適した通信規格にしたがって画像共有サーバ3等の外部端末と相互通信するように構成されている。
第2端末計時部226は、例えばNTP(Network Time Protocol)サーバと通信することにより、現在時刻を認識するように構成されている。第2端末計時部226は、GPSセンサ11から受信した信号により現在時刻を認識してもよい。
(画像共有サーバの構成)
画像共有サーバ3は、固定局としてのコンピュータにより構成され、サーバ制御部31と、サーバ保持部32と、サーバ通信部35とを備えている。なお、画像共有サーバ3が、移動局としてのスマートフォンまたはタブレットなどの携帯型の端末装置により構成されていてもよい。
画像共有サーバ3には、画像共有プログラムがインストールされている。
サーバ制御部31は、サーバ保持部32からデータを必要に応じて読み取った上で、当該データを対象として画像共有プログラムにしたがった演算処理を実行する演算処理装置(CPU)により構成されている。当該演算処理の詳細については後述する。サーバ制御部31が、本発明の「経路検索部」の一例に相当する。
サーバ保持部32は、RAM、ROM又はHDD等の記憶装置により構成され、サーバ制御部31のそれぞれによる受信情報および計算結果などの演算処理結果を記憶保持するように構成されている。サーバ保持部32は、動画情報321及び地図情報322を保持している。サーバ保持部32は、本発明の「保持部」に相当する。
動画情報321は、移動体に搭載されたカメラ等によって撮像された動画に関する情報である。サーバ保持部32には、複数の動画のそれぞれごとに動画情報321が保持されている。
各動画は、本実施形態では、ある経路を実際に走行する移動体に搭載されたカメラに撮像された動画である。これに代えてまたは加えて、各動画は、ある経路の走行をシミュレーションした動画であってもよいし、映画又はアニメーション等、仮想的なキャラクターがある経路を走行する動画であってもよい。各動画は、実際上のある経路に対応する動画であることが好ましい。
各動画は、本実施形態では、第1端末21の第1ユーザU1を含む複数のユーザによって投稿された動画である。これに代えてまたは加えて、動画は、画像共有サーバ3の所有者又は管理者によって用意された動画であってもよい。
動画情報321には、動画画像3211、撮像位置ログ3212、局所動画情報3213、局所経路情報3214、タグ情報3215、題名情報3216、撮像季節情報3217、撮像時間帯情報3218、コメント3219及び信頼性評価値3220が夫々の動画ごとに互いに関連付けられている。例えば、一の動画について、当該一の動画の動画データ、当該一の動画の撮像位置ログ、当該一の動画の局所動画情報、当該一の動画の局所経路情報、当該一の動画のタグ情報、当該一の動画の題名情報、当該一の動画の撮像季節情報、当該一の動画の撮像時間帯情報及び当該一の動画の信頼性評価値が互いに関連付けられている。動画情報321には、動画に伴う音声が含まれていてもよい。
動画画像3211は、一の動画(以下、「対象動画」という。)を構成する複数の静止画の画像を含む。動画情報321には、動画画像3211に代えて、対象動画を再生するためのリンク情報(URL(Uniform Resource Locator))が含まれていてもよい。
撮像位置ログ3212は、対象動画が撮像された移動体の時系列的な位置(座標値)のログである。撮像位置ログ3212に加えてまたは代えて、地図情報322に含まれる各リンク及び各ノードの組合せが記憶されていてもよい。対象動画が撮像された移動体の時系列的な位置を、以下においては、「対象経路」という。対象経路には、移動体が移動する方向である移動方向に関する情報が含まれている。
局所動画情報3213は、対象動画の投稿者により指定された対象動画の一部の動画(以下、「対象局所動画」という。)を再生するための情報が含まれている。対象局所動画を再生するための情報の例は、3分以降、2分5秒〜2分55秒のように、動画における対象局所動画の開始時点及び終了時点の一方又は両方を指定するような情報である。
局所経路情報3214は、対象局所動画に対応する経路(以下、「対象局所経路」という。)を示す情報である。局所経路情報3214の例は、対象経路における、対象局所経路の開始位置及び終了位置の一方又は両方を含む情報である。
タグ情報3215は、対象局所動画を表すために付された一又は複数の文字列の組である。例えば、「紅葉」「緩やかなカーブ」「雨」などの文字列がタグ情報3215として対象局所動画に付されていてもよい。タグ情報3215は、後述するように対象動画の投稿者によって付されてもよいし、対象動画の視聴者によって付されてもよい。
題名情報3216は、対象局所動画の題名を表す一の文字列である。例えば、「雨の中、紅葉に囲まれた緩やかなカーブをドライブ」などの文字列が題名情報3216として対象局所動画に付されていてもよい。題名情報3216は、後述するように対象動画の投稿者によって付されてもよいし、対象動画の視聴者によって付されてもよい。
撮像季節情報3217は、対象動画の撮像日から認識される対象動画を撮像した季節に関する情報であり、例えば、「春」「初夏」「晩秋」「真冬」である。
撮像時間帯情報3218は、対象動画の撮像時刻から認識される対象動画を撮像した時間帯に関する情報であり、例えば、「7:00〜8:00」、「早朝」「昼」「夜間」である。
コメント3219は、ユーザによって入力された対象動画又は対象局所動画に対するコメントである。
信頼性評価値3220は、対象動画及び対象局所動画が対象経路及び対象局所経路と対応しているかどうかについての信頼性の評価値である。信頼性の評価値の算出方法については後述する。
地図情報322には、道路及び各施設等の緯度及び経度等の位置情報及びPOI(Point Of Interest)を含む情報である。地図情報322には、道路網を構成する複数の道路及び道路の区間のそれぞれの位置、形状および姿勢等を表わす座標値((緯度、経度)または(緯度、経度、高度))の列のほか、各区間を識別するための道路識別情報および属性を表すデータなどが含まれている。各区間は一端または両端において他の道路の区間に接続されている。地図情報322には、道路の特徴(急カーブ、急勾配、見通しが悪い、事故多発など)が含まれていてもよい。
別の態様として、動画情報321の一部または全部、地図情報322の一部または全部のいずれか、または各々とも独立したサーバで管理され、ユーザに提供するよう運営されていても良い。この場合、サーバ保持部32には各々の動画、地図にアクセスするための各サーバのURL等のリンク情報が保持されうる。そして画像共有サーバ3は必要に応じて動画又は地図を取得して閲覧を希望するユーザの端末に提供する。これにより、画像共有サーバ3の処理負荷や管理負荷を軽減することが可能である。
このように、画像共有サーバ3とは別個のサーバに保存された動画または静止画、経路情報等の情報のアクセスするためのリンク情報を保持することも、本発明の「保持」に相当する。
(動画投稿処理)
図5を参照して、第1端末21と画像共有サーバ3とにより実行される動画投稿処理の概要を説明する。本処理は、例えば、第1端末21の第1ユーザU1が、移動体1に運転し、動画を撮像し、移動体1を停止させてから撮像した動画を投稿する場面において実行されうる。
第1端末21の第1端末制御部211は、第1端末撮像部2141で撮像された移動体1で移動している間の動画(以下、本処理及び投稿情報認識処理において「投稿動画」という。)を動画情報2122に記憶する(図5/STEP002)。第1端末制御部211は、投稿動画の撮像の間における、第1端末計時部216で計測された少なくとも撮像を開始した時点及び撮像を開始した時点における日付及び時刻、並びにGPSセンサ11で取得された撮像を開始した時点から撮像を開始した時点までの時系列的な位置を、動画情報2122に記憶する。
投稿動画の撮像が開始した時点の例は、第1端末撮像部2141の撮像機能が開始された時点のほか、第1端末制御部211が、GPSセンサ11、車速センサ12、ジャイロセンサ13等からの出力に基づいて移動体1が移動を開始したと判定した時点、イグニッションスイッチセンサ14からの出力に基づいて、移動体1の動力源が始動したと判定した時点、不図示のドアスイッチセンサの出力に基づいて、ドアが開けられた又は閉められたと判定した時点が挙げられる。
投稿動画の撮像が終了した時点の例は、第1端末撮像部2141の撮像機能が停止された時点のほか、第1端末制御部211が、GPSセンサ11、車速センサ12、ジャイロセンサ13等からの出力に基づいて移動体1が所定時間以上停止したと判定した時点、イグニッションスイッチセンサ14からの出力に基づいて、移動体1の動力源が停止したと判定した時点、不図示のドアスイッチセンサの出力に基づいて、ドアが開けられた又は閉められたと判定した時点が挙げられる。
第1端末制御部211は、投稿情報認識処理を実行する(図5/STEP004)。第1端末制御部211は、投稿情報認識処理により、画像共有サーバ3に送信するための情報(以下、「投稿情報」という。)を認識する。
投稿情報には、第1端末21の第1ユーザU1を識別するためのユーザID、投稿動画を構成する画像、撮像位置の時系列的遷移を示すファイル、投稿動画の一部である投稿局所動画を示す情報、投稿局所動画に対応する経路を示す投稿局所経路の情報、投稿局所動画に付されたタグ情報及び題名情報、撮像日、撮像時刻、投稿動画又は投稿局所動画に対するコメントが含まれている。第1端末制御部211は、投稿動画を画像共有サーバとは異なる画像共有サーバにアップロードする場合、投稿動画を構成する画像に代えて、当該投稿動画を再生するためのURLを投稿情報に含ませてもよい。
なお、第1実施形態の「投稿局所動画」が、本発明の「動画の投稿者により指定された動画の部分」の一例に相当する。
第1端末制御部211は、例えば、投稿動画の撮像が終了した時点において、図5/STEP004の処理を実行するように構成されていてもよい。
第1端末制御部211は、投稿情報を画像共有サーバ3に送信する(図5/STEP006)。
画像共有サーバ3のサーバ制御部31は、投稿情報を受信したか否か判定する(図5/STEP052)。
サーバ制御部31は、投稿情報を受信すると(図5/STEP052‥YES)、投稿情報に含まれる撮像日及び撮像時刻から、日付と季節の対応関係を示すテーブル及び時刻と時間帯との対応関係を示すテーブルを参照して、撮像された季節及び時間帯を認識する(図5/STEP054)。
サーバ制御部31は、投稿情報の信頼性の評価値を算出する(図5/STEP056)。サーバ制御部31は、投稿動画とともに投稿経路が指定されていた場合には、信頼性を高く評価する。また、サーバ制御部31は、第1端末21の第1ユーザU1の投稿した過去の投稿動画の信頼性の平均値を、信頼性の評価値としてもよい。
サーバ制御部31は、投稿情報に含まれる各情報、撮像された季節、時間帯及び信頼性の評価値をサーバ保持部32に保持させる(図5/STEP058)。
上述した動画投稿処理により、画像共有サーバ3へ投稿動画及びその関連情報が記憶される。
(投稿情報認識処理)
図6〜図8を参照して、第1端末21により実行される投稿情報認識処理を説明する。
本処理は、投稿動画の撮像が終了した時点で実行が開始される処理であり、第1端末21の第1ユーザU1が特段の操作をしなくとも、第1端末制御部211は、投稿動画を認識している。
第1端末21の第1端末制御部211は、図7に示される投稿画面P1を第1端末画像表示部2131に出力する(図6/STEP102)。
投稿画面P1には、投稿画面地図P11と、ルート追加ボタンP111と、スポット追加ボタンP112とを含んでいる。
投稿画面地図P11は、地図情報2121から作成された地図である。これに加えてまたは代えて、投稿画面地図P11は、第1端末制御部211が第1端末通信部215を介して外部の地図サーバ等からダウンロードした地図であってもよい。
第1端末制御部211は、第1端末操作検知部2142を介してルート追加ボタンP111の押圧操作を検知することにより、後述する図6/STEP106〜STEP112までの処理を実行する。
また、図示はしないが、第1端末制御部211は、第1端末操作検知部2142を介してスポット追加ボタンP112の押圧操作を検知することにより、第1ユーザU1による地図上の地点の指定と、コメントの追加を受け付ける。これらの地点、コメントは、投稿情報に含められ、画像共有サーバ3に送信される。
第1端末制御部211は、第1端末操作検知部2142を介してルート追加ボタンP111の押圧操作を検知すると(図6/STEP104‥YES)、投稿動画の撮像を開始した地点である撮像開始地点及び投稿動画の撮像を終了した地点である撮像終了地点を入力させる画面を表示する(図6/STEP106)。
第1端末制御部211は、第1端末操作検知部2142を介して撮像開始地点及び撮像終了地点の入力を認識すると(図6/STEP108‥YES)、地図情報2121を参照して、それらの2地点を結ぶ経路を検索することにより、投稿動画に関連した経路である投稿経路を認識する(図6/STEP110)。第1端末制御部211は、複数の経路が検索された場合には、ユーザに対し、経路を選択する入力を求めてもよい。第1端末制御部211は、図6/STEP106〜図6/STEP108の処理を省略し、当該撮像位置に基づいて投稿経路を認識してもよい。また、「投稿経路」が、本発明の「第1経路」の一例に相当する。
第1端末制御部211は、図8に示されるように、投稿経路表示P121及び各種情報の入力を受け付けるための入力ボックスP122〜P125を追加した投稿画面P1を第1端末画像表示部2131に出力する(図6/STEP112)。投稿経路表示P121は、投稿経路を示す表示である。入力ボックスには、題名を入力するための題名入力ボックスP122、撮像日及び撮像時刻を入力するための撮像日時入力ボックスP123、タグ情報を入力するためのタグ情報入力ボックスP124及び撮像位置ログのファイルを指定するためのログファイル入力ボックスP125が含まれている。第1端末制御部211は、動画情報2122に含まれている撮像日及び撮像時刻に基づいて、撮像日時入力ボックスP123を入力した状態で表示してもよい。
第1端末制御部211は、第1端末操作検知部2142を介して投稿経路表示P121のうち2か所に対する押圧操作を検知すると(図6/STEP114‥YES)、当該2か所の間の経路を投稿経路の一部である投稿局所経路として認識する(図6/STEP116)。
第1端末制御部211は、各撮像時点における撮像位置から、投稿局所経路に対応する投稿動画の部分である投稿局所動画を認識する(図6/STEP118)。
第1端末制御部211は、投稿局所経路を示す投稿局所経路表示P126と、コメントを入力するためのコメント入力ボックスP127を追加した投稿画面P1を第1端末画像表示部2131に出力する(図6/STEP120)。
第1端末制御部211は、各入力ボックスP122〜P125、P127に入力された情報を認識する(図6/STEP122)。
なお、第1端末制御部211は、投稿動画の画像を投稿情報に含めない場合、他の動画サーバ等にアップロードされた動画のURLを指定するためのURL入力ボックスP128を第1端末画像表示部2131に出力してもよい。
上述した投稿情報認識処理により、画像共有サーバ3へ送信される投稿情報が認識される。
(投稿済動画視聴処理)
次に、図9〜図11を参照して、第2端末22及び画像共有サーバ3により実行される投稿済動画視聴処理を説明する。
投稿済動画視聴処理は、例えば、第2端末22の第2ユーザU2が、旅行等に出発する場合において出発地及び目的地を決定した後に、動画を閲覧しながら、どのような経路を通行するかを検討したいと希望する場合、通行しようとしている経路を事前に確認したい場合などに有用な処理である。
第2端末22の第2端末制御部221は、図10に示される検索画面P2を第2端末画像表示部2231に出力する(図9/STEP202)。検索画面P2には、地図P21、走行の予定している日を入力するための走行予定日入力ボックスP22、走行を予定しているおおよその時間帯を入力するための走行時間帯入力ボックスP23、及び検索のためのタグ情報を入力するための検索タグ情報入力ボックスP24が含まれている。
第2端末22の第2端末制御部221は、第2端末操作検知部2242を介して第1検索情報の入力が検知されたか否かを判定する(図9/STEP204)。
第1検索情報には、検索の基礎となる経路である検索経路と、各入力ボックスP22〜P24へ入力された情報とが含まれる。検索経路は、地図P21上の2つの地点を指定されることにより、当該2つの地点間を結ぶ経路として認識されうる。当該2つの地点間を結ぶ複数の経路がある場合には、第2端末制御部221は、第2ユーザU2に1または複数の経路を選択させてもよいし、全ての経路を検索経路としてもよい。また、第2端末制御部221は、図10に示されるように、認識した検索経路を示す表示P25を検索画面P2に追加して第2端末画像表示部2231に出力してもよい。第2端末制御部221は、最初に指定された地点を出発地とし、次に指定された地点を目的地とすることにより、検索経路における移動方向を第1検索情報に含めてもよい。第2端末制御部221は、別途指定された方向により、検索経路における移動方向を第1検索情報に含めてもよい。
検索経路が本発明の「第2経路」の一例に相当する。
図9/STEP204の判定結果が肯定的である場合(図9/STEP204‥YES)、第2端末制御部221は、第2端末通信部225を介して第1検索情報を画像共有サーバ3に送信する(図9/STEP206)。
画像共有サーバ3のサーバ制御部31は、第1検索情報を受信すると(図9/STEP252‥YES)、経路探索処理を実行する(図9/STEP254)。経路探索処理の詳細は後述するが、画像共有サーバ3は、サーバ保持部32の動画情報321を参照して、すでに投稿された動画である投稿済動画、投稿済動画に関連付けられた経路である投稿済動画経路、投稿済動画の一部である投稿済局所動画、投稿済局所動画に対応する経路である投稿済局所経路及び投稿済局所動画に対するコメントを検索結果として認識する。検索結果には、投稿済動画の信頼性の評価値が含まれていてもよい。
サーバ制御部31は、検索結果を第2端末22に送信する(図9/STEP256)。
第2端末22の第2端末制御部221は、検索結果を受信すると(図9/STEP208・・YES)、図11に示すように、検索結果画面P3を第2端末画像表示部2231に出力する(図9/STEP210)。
検索結果画面P3には、地図情報2221に基づいて構成された地図P31と、検索経路を示す検索経路表示P321と、検索経路とは異なる経路である推薦経路を示す推薦経路表示P322と、検索された各投稿済局所経路を示す投稿済局所経路表示P331〜P333と、投稿済局所動画の再生を指示するためのボタンP341〜P343と、投稿済み局所動画に関するコメントを受け付けるためのコメントインターフェースP351〜P353とを含む。検索結果画面P3には、投稿済動画の信頼性の評価値を示す表示が含まれていてもよい。投稿済局所経路表示P331〜P333のそれぞれが、本発明の「第1経路表示」「局所経路を示す表示」の一例に相当する。投稿済局所動画の再生を指示するためのボタンP341〜P343のそれぞれが、本発明の「局所動画の再生指示を受け付けるためのインターフェース」の一例に相当する。
第2端末制御部221は、第2端末操作検知部2242を介して投稿済局所動画の再生を指示するためのボタンP341〜P343の押圧操作を検知すると、投稿済局所動画を第2端末画像表示部2231に出力することにより、投稿済局所動画を再生する(図9/STEP212)。各投稿済局所動画の再生画面には、夫々の投稿済局所動画を経路を案内する際の動画とするための設定ボタンが表示されている。なお、ユーザの操作または設定に応じて、第2端末制御部221は、投稿済動画の全体を再生してもよい。
第2ユーザU2は、コメントを参照しながら、各投稿済動画を視聴することにより、どの経路を通行するかを具体的なイメージを掴みながら検討することができる。
第2端末制御部221は、第2端末操作検知部2242を介して経路を案内する際の参考の動画(参考動画)とするための設定ボタンの押圧操作が検知されたか否かを判定する(図9/STEP214)。
当該判定結果が肯定的である場合(図9/STEP214‥YES)、第2端末制御部221は、対応する投稿済局所動画を、参考動画情報2222に追加することにより、投稿済局所動画を参考動画として設定する(図9/STEP216)。この参考動画は、第2端末22が、検索経路の案内をする際に併せて再生される。
当該判定結果が否定的である場合(図9/STEP214‥NO)又は図9/STEP216の処理の後、第2端末制御部221は、投稿済動画視聴処理を終了する。
(経路探索処理)
次に図12を参照して、画像共有サーバ3により実行される経路探索処理を説明する。
画像共有サーバ3のサーバ制御部31は、第1検索情報に含まれる検索経路を認識する(図12/STEP352)。
サーバ制御部31は、検索経路と所定の距離以上重なる投稿済動画経路を検索する(図12/STEP354)。
また、一の経路Aと他の経路Bとが所定の距離以上重なるとは、夫々の経路Aを示す座標値のセットのうち、経路Aの所定の距離以上の部分を示す座標値のセットが経路Bに含まれる座標値のセットと完全に同一である場合のほか、経路Aの所定の距離以上の部分を示す座標値のセットが、経路Bの全体または一部を表す座標値のセットと同一の道路に存在するとみなせる程度に近似していることも含む。
サーバ制御部31は、第1検索情報に複数の検索経路が含まれている場合には、当該複数の検索経路のうちいずれか1つの検索経路と所定の距離以上重なる投稿済動画経路を検索する。
また、サーバ制御部31は、第1検索情報に検索経路における移動方向が含まれている場合には、所定の距離以上重なることに加え、検索経路の方向と投稿済動画経路の移動方向が同一であることを条件として検索してもよい。
また、所定の距離は、あらかじめ定められた距離であってもよいし、検索経路の距離に対応して決定される距離(例えば検索経路の距離の5割以上の距離)であってもよい。
これに代えてまたは加えて、サーバ制御部31は、検索経路と所定の第1距離以上重なる投稿済局所経路を検索してもよい。これらに代えてまたは加えて、サーバ制御部31は、検索経路に含まれる投稿済局所経路を検索してもよい。これらに代えてまたは加えて、サーバ制御部31は、検索経路と投稿済動画経路とが所定の第2距離以上重なる一方、検索経路と投稿済局所経路との重なりがない又は検索経路と投稿済局所経路との重なりが所定の第3距離以下である経路を検索してもよい。
サーバ制御部31は、検索経路と投稿済局所経路との重なりがない場合には、検索経路と投稿済局所経路との距離が所定の第4距離以下である経路を探索してもよい。これに代えてまたは加えてサーバ制御部31は、検索経路と投稿済局所経路との重なりがない場合には、検索経路と投稿済局所経路とを接続するための区間の数が所定の数以下である経路を探索してもよい。
これらの探索により、例えば、同じ目的地に到達する別の経路(例えば、いわゆる寄り道など)、又は同一の目的地に向かう経路ではないが、通行しようとしている道路から近い道路(例えば、検索経路と交差するような道路)が探索されうる。これにより、ユーザは、元々予定していた検索経路上の動画以外にも、その経路の付近の道路に関連する動画を視聴できるようになる。
これらに加えて、サーバ制御部31は、第1検索情報に含まれる日付、時間帯及びタグ情報を参照して、日付、時間帯及びタグ情報に合致する季節、時間帯及びタグ情報を有する投稿済動画経路を抽出してもよい。
サーバ制御部31は、検索された投稿済動画経路があるか否かを判定する(図12/STEP356)。
当該判定結果が肯定的である場合(図12/STEP356・・YES)、サーバ制御部31は、動画情報321を参照して、検索された投稿済動画経路に関連付けられた各情報を検索結果として認識する(図12/STEP358)。サーバ制御部31は、少なくとも、投稿済動画、投稿済動画に関連付けられた経路である投稿済動画経路、投稿済動画の一部である投稿済局所動画、投稿済局所動画に対応する経路である投稿済局所経路及び投稿済局所動画に対するコメントを認識する。
当該判定結果が否定的である場合(図12/STEP356・・NO)又は図12/STEP358の処理の後、サーバ制御部31は、経路探索処理を終了する。
本処理により、検索経路と所定距離以上重なる投稿済動画経路が検索される。
また、これらに加え、経路の検索をしなくとも、初期の画面においてまたは第2端末22の入力部224で検知されたユーザの指示に応じて、最新の動画一覧を表示してもよい。この場合、第2端末22に備えられたGPSセンサ等の位置認識部により認識された現在地、第2端末22が比較的長時間滞在する自宅等の拠点、又はユーザに指定された地点から所定の距離以内の経路に関連する動画の一覧が表示されてもよい。
このようにすることで、ユーザが目的地や経路を持たない場合でも、ユーザは、投稿された情報を閲覧することができる。また、ユーザが旅行先を大まかに考えているような場合にも、ユーザが旅行先の空港等の地点を指定することにより、当該指定された地点付近の経路が検索され、当該経路に関連する動画が再生されうる。
この場合でも再生される動画が局所動画であれば、再生時間が短くなるので、手軽に多くの情報を閲覧することが可能である。
(第2実施形態)
図13〜図14を参照して、本発明の第2実施形態を説明する。第1実施形態では、第1ユーザU1に対象経路表示上の2か所を指定させることで局所経路と局所動画とを認識したが(図6/STEP114〜図6/STEP118)、第2実施形態では、図6/STEP114〜図6/STEP118に代えてまたは加えて、第1ユーザU1ではなく、第1端末21が局所経路と局所動画とを認識する点で第1実施形態と異なる。第1実施形態と第2実施形態とで共通の構成については、同一の符号を付して説明を省略する。また、第2実施形態では、第1実施形態と同様に、処理対象の動画を投稿動画と呼び、当該投稿動画の局所動画を投稿局所動画と呼び、当該投稿局所動画に対応する経路を投稿局所経路と呼ぶ。
(局所動画認識処理)
第1端末制御部211は、動画情報2122を参照して、投稿動画を構成する各画像に基づいて、道路の形状を認識する(図13/STEP402)。第1端末制御部211は、各画像の水平線よりも下方向の画像から、例えば、道路の白線の画像である白線画像を抽出することにより、道路の形状を認識する。
例えば、図14に示されるような道路画像P4においては、複数の白線の画像P41〜P46が含まれている。第1端末制御部211は、公知の手法により、グレースケール処理の後、エッジを抽出し、ノイズなどを除去した後、エッジで囲まれる白線の画像を抽出することができる。
第1端末制御部211は、公知の手法により、抽出した白線の画像の連続性を抽出することができる。例えば、第1端末制御部211は、白線の画像の中心を通る線を出来るだけ滑らかにつなげることで、左側の白線の画像P41〜P43が連続した白線であると認識することができるとともに、右側の白線の画像P44〜P46が連続した白線であると認識することができる。
第1端末制御部211は、公知の手法により、抽出されたの白線の画像の連続性に基づいて、道路の形状を認識することができる。例えば、第1端末制御部211は、図14に示されるような道路画像P4においては、左側の白線の画像P41〜P43の連続性及び右側の白線の画像P44〜P46の連続性に基づいて、左側にカーブしている等の道路の形状を定性的に認識することができる。また、第1端末制御部211は、道路の曲率半径等の道路の形状を定量的に認識してもよい。
第1端末制御部211は、投稿動画を構成する各画像に基づいて、撮像された道路に所定の形状の道路が含まれるか否かを判定する(図13/STEP404)。
「所定の形状の道路」は、例えば、「カーブ」、「交差点」、「曲率半径が所定の曲率半径以上」、「曲率半径が所定の曲率半径以上の道路を含む交差点」、「カーブの後の交差点」、「3つ以上連続したカーブ」、「再生時間5分以上のカーブ」等、道路の形状の定性的な特性及び道路の形状の定量的な特性の組合せ並びにこれらと道路の形状の個数及び再生時間の一方又は両方の組合せで表現されうる。
第1端末制御部211は、投稿動画を構成するいずれかの画像に所定の形状の道路が含まれる場合に、当該判定結果を肯定的であると判定し、動画を構成するすべての画像に所定の形状の道路が含まれない場合に、当該判定結果を否定的であると判定する。
当該判定結果が否定的である場合(図13/STEP404‥NO)、第1端末制御部211は、投稿動画を構成する各画像に基づいて、道路の周辺の環境である道路周辺環境を認識する(図13/STEP406)。第1端末制御部211は、各画像に対して、例えば、機械学習による分類を実行することにより、道路周辺環境を認識する。第1端末制御部211は、例えば、「海」「ビル」などの定性的に道路周辺環境を認識してもよい。また、「○○ルクス以上」など、定量的に道路周辺環境を認識してもよい。
第1端末制御部211は、投稿動画を構成する各画像に基づいて、撮像された道路周辺環境に、所定の道路周辺環境が含まれるか否かを判定する(図13/STEP408)。
「所定の道路周辺環境」は、「海」「ビル」「○○ルクス以上」「○○ルクス以上の海」「3つ以上のビル」「再生時間5分以上の海」など、道路周辺環境の定性的な特性及び道路周辺環境の定量的な特性の組合せ並びにこれらと道路の形状の個数及び再生時間の一方又は両方の組合せで表現されうる。
図13/STEP404又は図13/STEP408のいずれかの結果が肯定的である場合(図13/STEP404・・YES又は図13/STEP408・・YES)、第1端末制御部211は、所定の道路の形状又は所定の道路周辺環境を映している投稿動画の部分を投稿局所動画として認識し、投稿局所動画を示す情報、投稿局所動画に対応する経路である投稿局所経路を示す情報を、第1端末記憶部212に記憶する(図13/STEP410)。なお、第1端末制御部211は、投稿局所動画を撮像した位置に基づいて、投稿局所経路を認識してもよいし、投稿局所動画から認識される道路の形状または道路周辺環境に基づいて投稿局所経路を認識してもよい。
図13/STEP410の処理の後、又は図13/STEP408の結果が否定的である場合(図13/STEP408・・NO)、第1端末制御部211は、本処理を終了する。
なお、図13では、第1端末制御部211は、所定の道路の形状又は所定の道路周辺環境が発見された時点で投稿局所動画及び投稿局所経路を認識し、処理を終了していたが、第1端末制御部211は、動画に含まれる全て又は所定個数以上の、所定の道路の形状又は所定の道路周辺環境を抽出するまで図13/STEP402〜図13/STEP410の処理を実行してもよい。
(第3実施形態)
図15〜図16を参照して、本発明の第3実施形態を説明する。第2実施形態では、第1端末21が動画に含まれる道路の形状又は道路周辺環境に基づいて局所経路と局所動画とを認識したが、第3実施形態では、図13/STEP402〜図13/STEP410の処理に加えてまたは代えて、第1端末21が第1ユーザU1の反応に基づいて局所経路と局所動画とを認識する点で第2実施形態と異なる。第1実施形態〜第3実施形態で共通の構成については、同一の符号を付して説明を省略する。また、第3実施形態では、第1実施形態及び第2実施形態と同様に、処理対象の動画を投稿動画と呼び、当該投稿動画の局所動画を投稿局所動画と呼び、当該投稿局所動画に対応する経路を投稿局所経路と呼ぶ。
(第3実施形態の構成)
第3実施形態の第1端末21は、図15に示されるように、第1ユーザU1に装着された生体センサ4と通信可能に構成されている。生体センサ4は、脳波センサー、リストバンドなどにより構成され、第1ユーザU1の生体情報を取得し、第1端末21に送信するように構成されている。生体情報は、脳波、心拍数、血圧など、定量的な特性で表現される。
これに代えてまたは加えて、第1端末21は、第1ユーザU1又は同乗者の声を収集する音声認識装置又は第1ユーザU1又は同乗者の挙動を撮像する撮像装置と通信することにより、第1ユーザU1又は同乗者の声又は挙動を認識し、これらに基づいて局所動画認識処理を実行してもよい。声又は挙動は、声の大きさ、声の周波数、挙動の回数等、定量的な特性で表現されてもよいし、又は、例えば機械学習による分類により、喜んでいる声、興奮している挙動など、定性的な特性で表現されてもよい。
また、第1端末記憶部212は、ユーザ情報2123を記憶している。
ユーザ情報2123は、後述する局所動画認識処理で取得されたユーザの生体情報、声、挙動などと、当該生体情報、声、挙動が検出された位置と当該生体情報、声、挙動が検出された時刻とを含む情報である。
(局所動画認識処理)
図16を参照して、第1端末21により実行される局所動画認識処理を説明する。
第3実施形態では、投稿動画の撮像時に図16/STEP502〜図16/STEP510の処理を実行する。
第1端末制御部211は、生体センサ4を介して第1ユーザU1の生体情報を認識する(図16/STEP502)。
第1端末制御部211は、取得された生体情報が所定の状態か否かを判定する(図16/STEP504)。
ここで、「所定の状態」とは、所定の脳波である状態、心拍数、血圧が再生時間にして1分以上所定値以上である状態等の、生体情報又は生体情報及び再生時間との組み合わせで表現されうる。第1ユーザU1又は同乗者の声又は挙動が取得されている場合には、喜んでいる声、声の大きさが所定のデジベル以上、3回以上の喜んでいる声、再生時間3分以上にわたって興奮している挙動など、所定の状態が声又は挙動の定性的な特性及び声又は挙動の定量的な特性の組合せ並びにこれらと声又は挙動の回数及び再生時間の一方又は両方の組合せで表現されてもよい。
当該判定結果が肯定的である場合(図16/STEP504‥YES)、第1端末制御部211は、当該生体情報、声、挙動が検出された時点におけるGPSセンサ11から取得された移動体1の位置、第1端末計時部216から取得された時刻を認識する(図16/STEP506)。
第1端末制御部211は、認識した生体情報(又は声若しくは挙動)と、位置と、時刻とを第1端末記憶部212のユーザ情報2123に記憶する(図16/STEP508)。
図16/STEP508の処理の後又は図16/STEP504の判定結果が否定的である場合(図16/STEP504‥NO)、第1端末制御部211は、撮像が終了したか否かを判定する(図16/STEP510)。
当該判定結果が否定的である場合(図16/STEP510‥NO)、第1端末制御部211は、図16/STEP502以下の処理を実行する。
当該判定結果が肯定的である場合(図16/STEP510‥YES)、第1端末制御部211は、ユーザ情報2123を参照し、生体情報(又は声若しくは挙動)が所定の状態となった時点から所定の状態でなくなった時点までの動画及び経路を、投稿局所動画及び投稿局所経路として認識し、動画情報2122に追加して記憶する(図16/STEP512)。第1端末制御部211は、例えば、投稿動画の開始後3分から生体情報が所定の状態となり、投稿動画の開始後5分に生体情報が所定の状態でなくなった場合、投稿動画の開始後3分〜5分までの動画を投稿局所動画として認識し、その間の経路を投稿局所経路として認識する。
図12/STEP512の処理の後、第1端末制御部211は、投稿局所動画認識処理を終了する。
(第4実施形態)
図17〜図20を参照して、本発明の第4実施形態を説明する。第1実施形態では、第2端末22から検索経路を含む第1検索情報が送信され、画像共有サーバ3が当該第1検索情報を基に検索を行い、検索結果を第2端末22に送信し、第2端末22が検索結果を含む画面を出力したが(図9/STEP202〜STEP210)、第4実施形態では、これに加えて、画像共有サーバ3が動画を推薦する機能又は検索経路を含まない第2検索情報による検索機能を提供する点で第1実施形態と異なる。第1実施形態〜第3実施形態で共通の構成については、同一の符号を付して説明を省略する。また、第4実施形態では、第1実施形態と同様に、画像共有サーバ3に保存されている動画を投稿済動画と呼び、当該投稿済動画に関連する経路を投稿済動画経路と呼び、当該投稿済動画の局所動画を投稿済局所動画と呼び、投稿済局所動画に対応する経路を投稿済局所経路と呼ぶ。
(画像共有サーバの構成)
図17に示されるように、画像共有サーバ3のサーバ保持部32は、さらに推薦情報323を保持している。
推薦情報323は、各ユーザに推薦する投稿済動画又は投稿済局所動画に関する情報である。推薦情報323には、投稿済動画又は投稿済局所動画を識別するための情報、投稿済動画又は投稿済局所動画を推薦するための基礎情報が含まれている。
投稿済動画又は投稿済局所動画を推薦するための基礎情報には、投稿済動画又は投稿済局所動画への総アクセス数、投稿済動画又は投稿済局所動画の総再生回数、投稿済動画又は投稿済局所動画の総再生時間、所定期間における投稿済動画又は投稿済局所動画へのアクセス数、投稿済動画又は投稿済局所動画の再生回数、投稿済動画又は投稿済局所動画の再生時間及び各端末からの受信した投稿済動画又は投稿済局所動画への好感度が含まれる。
(推薦一覧画面出力処理)
図18を参照して、第2端末22及び画像共有サーバ3により実行される推薦一覧画面出力処理を説明する。推薦一覧画面出力処理は、例えば、第2端末22の第2ユーザU2が、旅行等に行くことを計画しているものの、目的地が決定されていない段階で、動画を閲覧して、どこに行くのかを検討したいと希望する場合などに有用な処理である。
第2端末制御部221は、第2端末通信部225を介して画像共有サーバ3にアクセスする(図18/STEP602)。
サーバ制御部31は、第2端末22からのアクセスを受けたことを検知すると(図18/STEP652)、推薦情報323を参照することにより、推薦すべき投稿済局所動画のリスト(以下、「推薦動画リスト」という。)及び当該推薦すべき投稿済局所動画に対応する地点のリスト(以下、「推薦地点リスト」という。)を認識する(図18/STEP654)。サーバ制御部31は、例えば、投稿済動画又は投稿済局所動画を推薦するための基礎情報から所定の式を用いて総アクセス数、総再生回数、総再生時間、アクセス数、再生回数、再生時間及び好感度等が大きいほど推薦度が高くなるように各投稿済局所動画の推薦度を決定し、推薦度が高い順に所定の個数までの推薦すべき投稿済局所動画を、推薦動画リストとして認識してもよい。また、サーバ制御部31は、動画情報321を参照することにより、夫々の推薦すべき投稿済局所動画に対応する投稿済局所経路を認識する。そして、サーバ制御部31は、各投稿済局所経路の開始地点(投稿済局所動画の開始時点に対応する地点)を推薦地点リストとして認識する。サーバ制御部31は、推薦動画リストにそれぞれの地域ごとに定められた数だけの推薦すべき投稿済局所動画を含めてもよい。
サーバ制御部31は、サーバ通信部35を介して、認識した推薦動画リスト及び推薦地点リストを第2端末22に送信する(図18/STEP656)。
第2端末制御部221は、第2端末通信部225を介して推薦動画リスト及び推薦地点リストを受信すると(図18/STEP604‥YES)、図19に示される第1推薦一覧画面P5を出力する(図18/STEP606)。
第1推薦一覧画面P5には、フリーワード検索ボックスP51、タグ選択ボックスP52、推薦すべき投稿済局所動画に対応する地点表示P531〜P538が含まれる。このうち、推薦すべき投稿済局所動画に対応する地点表示P531〜P538は、推薦地点リストに含まれる夫々の地点の地図上の位置に表示されている。第2端末制御部221は、第2端末操作検知部2242を介してタグ選択ボックスP52の右端に表示されているプルダウンボタンP521の押圧操作を検知すると、タグ選択ボックスP52の下側にタグ一覧を表示する。第1推薦一覧画面P5には、季節、時間帯などを指定するボックスが含まれていてもよい。
なお、第2端末制御部221は、第2端末操作検知部2242を介して推薦すべき投稿済局所動画に対応する地点表示P531〜P538のいずれかが押圧されたことを検知すると、当地点に対応する推薦すべき投稿済局所動画を推薦動画リストから認識し、当該推薦すべき投稿済局所動画を再生する。
第2端末制御部221は、第2端末操作検知部2242を介してフリーワード検索ボックスP51又はタグ選択ボックスP52への入力があったことを検知すると、検索キーワードとフリーワード検索かタグ選択かを示す情報とを含む第2検索情報を第2端末通信部225を介して画像共有サーバ3に送信する(図18/STEP608)。
サーバ制御部31は、第2検索情報を受信すると(図18/STEP658‥YES)、動画情報321を参照して、第2検索情報に応じた投稿済動画を検索する(図18/STEP660)。第2検索情報がフリーワード検索を示す情報を含んでいた場合、サーバ制御部31は、タグ情報3215、題名情報3216、撮像季節情報3217、撮像時間帯情報3218又はコメント3219に、検索キーワードを含む投稿済動画を検索する。第2検索情報がタグ選択を示す情報を含んでいた場合、サーバ制御部31は、タグ情報3215に、検索キーワードを含む投稿済局所動画を検索する。
サーバ制御部31は、サーバ通信部35を介して検索された投稿済局所動画のリストを第2端末22に送信する(図18/STEP662)。投稿済局所動画のリストには、検索された投稿済局所動画を再生するための情報(例えば投稿済局所動画のURL)、題名、再生回数、投稿済局所動画に対するコメント、投稿済局所動画に対応する局所経路が含まれている。
第2端末制御部221は、投稿済局所動画のリストを受信すると(図18/STEP610・・YES)、図20に示される第2推薦一覧画面P6を出力する(図18/STEP612)。
第2推薦一覧画面P6は、フリーワード検索ボックスP61、タグ選択ボックスP62、タグ一覧P63、投稿済局所動画リスト表示P64、投稿済局所動画に対応する局所経路の表示P65、及び当該局所経路の開始地点の表示P66を含む。
投稿済局所動画リスト表示P64は、投稿済局所動画のリストに含まれる夫々の投稿済局所動画ごとの題名、再生回数、投稿済局所動画に対するコメントを含む表示である。
投稿済局所動画に対応する局所経路の表示P65、及び当該局所経路の開始地点の表示P66は、投稿済局所動画のリストに含まれる夫々の投稿済局所動画ごとの局所経路の、地図上の対応する位置に表示されている。
第2端末制御部221は、第2端末操作検知部2242を介して投稿済局所動画リスト表示P64又は当該局所経路の開始地点の表示P66のいずれかの投稿済局所動画に対応する部分が押圧されたことを検知すると、当該部分に対応する投稿済局所動画を推薦動画リストから認識し、当該投稿済局所動画を再生する。
図18/STEP612の処理の後、第1端末制御部211は、推薦一覧表示処理を終了する。
(変形態様)
第1実施形態〜第4実施形態では、動画が共有対象であったが、これに加えてまたは代えて、第1端末撮像部2141を介して撮像された静止画が共有対象となってもよい。この場合、静止画が本発明の「画像表示」の一例に相当する。
また、動画は、フレーム数が間引かれた動画であってもよい。
また、動画の再生時には、早送りされてもよい。
第1実施形態〜第4実施形態では、画像共有サーバ3を介して動画が共有されたが、第1端末21と第2端末22とが直接通信し、第2端末22に必要な情報が送信されてもよい。この場合、第2端末制御部221が、サーバ制御部31担当分の処理を実行してもよい。
また、図13の局所動画認識処理、図16/STEP512などの処理が画像共有サーバ3で実行されてもよい。
また、図11では、局所動画を再生するためのボタンP341〜P343が表示されたが、これに代えてまたは加えて、ボタンの押圧操作を検知する前にいずれかの局所動画が自動的に再生されてもよい。また、局所動画を構成する画像のうちの一の画像がボタンP341〜P343に代えてまたは加えて表示されてもよい。再生される動画が本発明の「画像表示」の一例に相当する。
また、局所経路の表示に加えてまたは代えて、動画に関連付けられた経路の全体を表示してもよい。
また、第1実施形態では、動画の投稿者である第1ユーザU1により、投稿動画に関連付けられた経路、投稿局所動画に対応する経路が指定されたが、これに代えて、動画の投稿者とは異なるユーザが投稿動画に関連付けられた経路、投稿局所動画に対応する経路を指定してもよい。この場合、サーバ制御部31は、動画と対応する経路であるかどうかの評価をさらに別のユーザの端末から受信し、当該評価に基づいて信頼性の評価値を決定してもよい。
221・・第2端末制御部(表示制御部)、2231・・第2端末画像表示部(画像表示部)、3・・画像共有サーバ、31・・経路検索部31、P331〜P332・・投稿済局所経路表示(第1経路表示)、P31・・地図情報、P341〜P343・・投稿済局所動画の再生を指示するためのボタン(第1経路に関連付けられた動画の再生指示を受け付けるための表示)。

Claims (8)

  1. 各投稿者から投稿された静止画又は動画と、当該静止画又は前記動画に関連付けられた経路としての第1経路とを保持する保持部と、
    任意の経路の指定を受け付ける経路指定受付部と、
    画像を表示する画像表示部と、
    前記経路指定受付部を介して指定された経路である第2経路内で所定の長さ以上にわたって重なりがある前記第1経路を前記保持部から検索する経路検索部と、
    前記経路検索部による検索により見つけた各第1経路について該第1経路の一部又は全部を示す第1経路表示と、地図情報と、第1経路に関連付けられた静止画若しくは動画を表示する画像表示又は該第1経路に関連付けられた動画の再生指示を受け付けるための表示である再生指示表示を前記画像表示部に表示させる表示制御部とを備えることを特徴とする画像共有システム。
  2. 請求項1記載の画像共有システムにおいて、
    前記保持部は、動画と、前記第1経路としての前記動画に関連付けられた経路とを保持し、
    前記第1経路表示は、前記第1経路の一部の経路である局所経路を示す表示を含み、
    前記画像表示が前記動画の一部の動画である局所動画を表示し、又は、前記再生指示表示が前記局所動画の再生指示を受け付けるための表示を含むことを特徴とする画像共有システム。
  3. 請求項記載の画像共有システムにおいて、
    動画の投稿を受け付ける投稿受付部を備え、
    前記局所動画は、前記動画の投稿者により指定された動画の部分であることを特徴とする画像共有システム。
  4. 請求項1〜3のいずれか1項に記載の画像共有システムにおいて、
    前記動画は、前記第1経路の移動時に撮像された動画であり、
    前記第1経路には、前記動画における移動の方向が付与されており、
    前記経路指定受付部は、前記経路とともに方向の指定を受け付け、
    前記経路検索部は、前記第2経路の指定された方向と同一の移動の方向が付与された前記第1経路を検索するように構成されていることを特徴とする画像共有システム。
  5. 請求項1〜4のいずれか1項に記載の画像共有システムにおいて、
    前記経路検索部は、前記第2経路を、前記地図情報に基づく地図上の地点として前記経路指定受付部を介して指定された2つの地点間の経路として認識することを特徴とする画像共有システム。
  6. 請求項5記載の画像共有システムにおいて、
    前記経路検索部は、前記2つの地点間の経路としての前記第2経路を複数、認識したときは、各第2経路について該第2経路内で前記所定の長さ以上にわたって重なりがある前記第1経路を前記保持部から検索し、
    前記表示制御部は、各第2経路に対し検索された前記第1経路に関連付けられた静止画若しくは動画を表示する画像表示又は該第1経路に関連付けられた動画の再生指示を受け付けるための表示である再生指示表示を前記画像表示部に表示させることを特徴とする画像共有システム。
  7. 第1端末及び第2端末と通信可能な通信部と、
    前記通信部を介して各第1端末の投稿者から投稿された静止画又は動画と、当該静止画又は前記動画に関連付けられた経路としての第1経路とを保持する保持部と、
    前記通信部を介して前記第2端末から経路を受信し、前記受信した経路に対して所定の長さ以上にわたって重なりがある前記第1経路を前記保持部から検索する経路検索部と、
    前記経路検索部による検索により見つけた各第1経路について該第1経路の一部又は全部を示す第1経路表示と、地図情報と、該第1経路に関連付けられた静止画若しくは動画を表示する画像表示又は該第1経路に関連付けられた動画の再生指示を受け付けるための表示である再生指示表示とを前記第2端末の画像表示部に表示させる情報を、前記通信部を介して前記第2端末に送信する情報送信部とを備えることを特徴とする画像共有サーバ。
  8. 画像表示部と、各投稿者から投稿された静止画又は動画と、当該静止画又は前記動画に関連付けられた経路としての第1経路とを保持する保持部とを備える一のコンピュータが単独で又は複数のコンピュータが共同で実行する方法であって、
    経路を認識する認識ステップと、
    前記認識された経路内で所定の長さ以上にわたって重なりがある前記第1経路を前記保持部から検索する検索ステップと、
    前記検索ステップにおける検索により見つけた各第1経路について該第1経路の一部又は全部を示す第1経路表示と、地図情報と、該第1経路に関連付けられた静止画若しくは動画を表示する画像表示又は該第1経路に関連付けられた動画の再生指示を受け付けるためのインターフェースである再生指示インターフェースを前記画像表示部に表示させる表示ステップとを含むことを特徴とする画像共有方法。
JP2017073278A 2017-03-31 2017-03-31 画像共有システム、画像共有サーバ及び画像共有方法 Active JP6861562B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017073278A JP6861562B2 (ja) 2017-03-31 2017-03-31 画像共有システム、画像共有サーバ及び画像共有方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017073278A JP6861562B2 (ja) 2017-03-31 2017-03-31 画像共有システム、画像共有サーバ及び画像共有方法

Publications (2)

Publication Number Publication Date
JP2018174512A JP2018174512A (ja) 2018-11-08
JP6861562B2 true JP6861562B2 (ja) 2021-04-21

Family

ID=64108907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017073278A Active JP6861562B2 (ja) 2017-03-31 2017-03-31 画像共有システム、画像共有サーバ及び画像共有方法

Country Status (1)

Country Link
JP (1) JP6861562B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7211155B2 (ja) * 2019-02-26 2023-01-24 京セラドキュメントソリューションズ株式会社 情報提供装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3460784B2 (ja) * 1997-06-10 2003-10-27 松下電器産業株式会社 経路案内システム
JP3809901B2 (ja) * 2000-12-06 2006-08-16 株式会社つくばマルチメディア 地図誘導映像システム
JP2015069258A (ja) * 2013-09-27 2015-04-13 大日本印刷株式会社 動画撮影再生システム、動画撮影再生方法、動画共有サーバ、動画共有方法、及び、プログラム
JP2017150972A (ja) * 2016-02-25 2017-08-31 富士通テン株式会社 ナビゲーション装置および情報表示方法

Also Published As

Publication number Publication date
JP2018174512A (ja) 2018-11-08

Similar Documents

Publication Publication Date Title
JP4213447B2 (ja) アルバム作成方法および装置並びにプログラム
CN100533477C (zh) 图像编辑装置、图像编辑方法
EP3165878A1 (en) Information processing device, information processing method, and program
US20110137907A1 (en) Information processing apparatus and information processing method outputting information on movement of person
CN105339760B (zh) 交通信息引导***、交通信息引导方法以及记录介质
JP6324196B2 (ja) 情報処理装置、情報処理方法および情報処理システム
JP2005100274A (ja) 情報提供システム、情報検索装置及び情報提供方法
WO2021225085A1 (ja) 情報処理システム、情報処理方法、情報処理プログラム、およびサーバ
US10237360B2 (en) Communication system, server apparatus, and communication method
JP4960167B2 (ja) ドライブプラン作成装置、ドライブプラン作成方法、ドライブプラン作成プログラムおよび記録媒体
JP6861562B2 (ja) 画像共有システム、画像共有サーバ及び画像共有方法
JP2013097758A (ja) 情報処理システム、サーバ装置、端末装置、プログラム及び情報処理方法
JP6956232B2 (ja) 探索システム、探索方法、および探索プログラム
JP2012032284A (ja) ナビゲーションシステム
JP4934455B2 (ja) ドライブ情報の知識化システム、方法、プログラム
CN113591744B (zh) 针对危险驾驶行为的标注数据的生成方法及数据采集***
JP7011364B1 (ja) 体験装置、体験システム、及び、表示方法
CN113611007B (zh) 一种数据处理方法及数据采集***
JP5865708B2 (ja) 施設、自然、歴史、ルートに関する画像及び音声の再生及びデータの制作方法
JP4978219B2 (ja) 情報伝達システムおよび情報サーバ
KR101540335B1 (ko) 관광 이력 관리에 따른 콘텐츠 생산 방법
JP3195716U (ja) 道路点検補助システム
JP6989901B2 (ja) 情報処理装置、情報処理システム及び情報処理プログラム
JP4297337B2 (ja) 案内情報提供装置,案内情報提供方法および案内情報表示方法
JP2021019275A (ja) 表示制御装置、データ収集システムおよび表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210330

R150 Certificate of patent or registration of utility model

Ref document number: 6861562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150