JP2022157277A - 映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造 - Google Patents

映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造 Download PDF

Info

Publication number
JP2022157277A
JP2022157277A JP2021061403A JP2021061403A JP2022157277A JP 2022157277 A JP2022157277 A JP 2022157277A JP 2021061403 A JP2021061403 A JP 2021061403A JP 2021061403 A JP2021061403 A JP 2021061403A JP 2022157277 A JP2022157277 A JP 2022157277A
Authority
JP
Japan
Prior art keywords
frame rate
video
video transmission
section
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021061403A
Other languages
English (en)
Inventor
廣人 根岸
Hiroto Negishi
昂生 加峯
Takao Kamine
晶勅 床井
Akitoki Tokoi
靖之 野田
Yasuyuki Noda
裕一 伊田
Yuichi Ida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2021061403A priority Critical patent/JP2022157277A/ja
Publication of JP2022157277A publication Critical patent/JP2022157277A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】データ通信量を抑制しつつ、移動体から送られている映像を車外端末の操作者が観る際に、当該移動体の運転者からの見た目の高い再現性を確保する映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体及びデータ構造を提供する。【解決手段】映像配信システムにおいて、自動車Mが搭載する映像送信装置としての車載装置10は、移動体とともに移動する映像送信装置であって、移動体の周囲の映像を撮像する撮像装置から映像を逐次取得する映像取得部と、移動体の位置情報を取得する位置情報取得部と、フレームレートが紐付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得部と、位置情報によって示される道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで映像を送信する映像送信部と、を有する。【選択図】図1

Description

本発明は、映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造に関し、例えば、移動体からの映像をユーザに提供するための映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造に関する。
車両に搭載される車載機と当該車両の外部に位置する車外端末との間で通信を行う通信ステムがある。例えば、特許文献1には、車両の運転者と車外端末の操作者との間で音声通話を行い、当該音声通話がなされているときに、車両の前方の映像を表す映像データを車載機から車外端末に送信し、当該映像を車外端末に表示させるシステムが開示されている。
特開2016-213791号公報
特許文献1のようなシステムにおいて、例えば、映像を継続して送信する際のデータ通信量の抑制が望まれる。一方で、車外端末のユーザが車両の前方の映像を見ながら当該車両の運転者との間で会話や道案内等をする際に、車両の運転者が車外を見ている際の感覚と同じような感覚を当該車外端末のユーザに体験させることも重要となる。
本発明は、上記した点に鑑みてなされたものであり、データ通信量を抑制しつつ、移動体から送られている映像を外部端末の操作者が観る際に、当該移動体の運転者が見ている風景の高い再現性を確保することを可能とする映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造を提供することを目的の1つとしている。
請求項1に記載の発明は、移動体とともに移動する映像送信装置であって、前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得部と、前記移動体の位置情報を取得する位置情報取得部と、フレームレートが紐付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得部と、前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信部と、を有することを特徴とする映像送信装置である。
請求項8に記載の発明は、移動体とともに移動する映像送信装置であって、前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得部と、前記移動体の位置情報を取得して送信する位置情報送信部と、前記位置情報によって示される道路上の地点又は区間に紐付けられたフレームレートを示す情報を受信するフレームレート受信部と、前記受信部が受信した前記情報が示すフレームレートに基づくフレームレートで前記映像を送信する映像送信部と、を有することを特徴とする映像送信装置である。
請求項9に記載の発明は、移動体とともに移動する映像送信装置から前記移動体の位置情報を受信する位置情報受信部と、フレームレートが対応付けされた道路上の地点又は区間を含む地図情報に基づいて、前記受信部が受信した位置情報によって示される道路上の地点又は区間に紐づけられたフレームレートを特定し、当該特定したフレームレートを示す情報を前記映像送信装置に送信するフレームレート送信部と、を有することを特徴とするサーバ装置である。
請求項10に記載の発明は、移動体とともに移動する映像送信装置によって実行される映像送信方法であって、前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得ステップと、前記移動体の位置情報を取得する位置情報取得ステップと、フレームレートが対応付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得ステップと、前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信ステップと、を含むことを特徴とする映像送信方法である。
請求項11に記載の発明は、コンピュータを備え、移動体とともに移動する映像送信装置によって実行される映像送信プログラムであって、前記コンピュータに、前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得ステップと、前記移動体の位置情報を取得する位置情報取得ステップと、フレームレートが対応付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得ステップと、前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信ステップと、を実行させることを特徴とする映像送信プログラムである。
請求項12に記載の発明は、コンピュータを備え、移動体とともに移動する映像送信装置に、前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得ステップと、前記移動体の位置情報を取得する位置情報取得ステップと、フレームレートが対応付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得ステップと、前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信ステップと、を実行させる映像送信プログラムを記憶するコンピュータ可読記憶媒体である。
請求項13に記載の発明は、コンピュータを備え、移動体とともに移動する映像送信装置によって用いられる地図情報のデータ構造であって、道路上の地点又は区間を示す位置データと、前記位置データが示す前記道路上の地点又は区間に紐づけられたフレームレートを示すフレームレートデータと、を含み、前記映像送信装置が、前記移動体の道路上の位置に応じた道路上の地点又は区間に紐づけられた前記フレームレートを取得し、当該取得したフレームレートに基づくフレームレートで映像を送信する処理に用いられることを特徴とする地図情報のデータ構造である。
本発明の実施例1である映像配信システムの図である。 車載装置を搭載した車両の前席部分の斜視図である。 車載装置の構成の一例を示すブロック図である。 本実施例の地図情報に含まれる情報の一例を示す図である。 本実施例の地図情報に含まれる情報の一例を示す図である。 本実施例の地図情報に含まれる情報の一例を示す図である。 サーバの構成の一例を示すブロック図である。 外部装置の正面図である。 外部装置の構成の一例を示すブロック図である。 車載装置の動作ルーチンのフロー図である。 車載装置の動作ルーチンのフロー図である。 車載装置の動作ルーチンのフロー図である。 サーバの動作ルーチンのフロー図である。
[1.システムの構成]
以下に、本発明の実施例1である映像配信システム100について添付図面を参照しつつ説明する。
図1は、本発明の実施例1である映像配信システム100を示している。図1に示すように、映像配信システム100は、車載装置10、サーバ40及び外部装置70を含んで構成されている。なお、図1においては、車載装置10が移動体の一例としての自動車Mに搭載されている場合を示している。また、図1においては、外部装置70の一例として、スマートフォンを示している。
車載装置10、サーバ40及び外部装置70とは、ネットワークNWを介して、例えば、TCP/IPや、UDP/IP等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、移動体通信網、Wi-Fi(登録商標)等の無線通信及び有線通信を含むインターネット通信により構築され得る。
本実施例の映像配信システム100においては、車載装置10と外部装置70との間で音声通話が確立された上で、車載装置10から自動車Mにおいて撮影された映像が外部装置70に配信される。以下の説明において、上記のように、車載装置10と外部装置70との間での音声通話を確立させつつ、自動車Mにおいて撮影された映像を車載装置10から外部装置70に配信する通信態様をビデオ通信と称する。本実施例において、車載装置10と外部装置70とは、サーバ40を介してビデオ通信を行っている。
このようなビデオ通信が行われることで、車載装置10から送信される映像を視聴している外部装置70のユーザは、あたかも自動車Mの運転者と自動車Mに同乗しているかのような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置70のユーザの自動車Mへの仮想同乗を実現することができる。このようなビデオ通信を実現するシステムを仮想同乗システムと称する。 以下、実施例1においては、車載装置10がカーナビゲーション装置である場合を例に説明する。また、実施例1においては、車載装置10が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ40に送信し、サーバ40が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。
図2は、映像送信装置としての車載装置10を搭載している自動車Mの前席付近を示す斜視図である。図1では、取り付け例として、自動車Mの前席のダッシュボードDB内に車載装置10が取り付けられている場合を示す。
GPS受信機11は、GPS(Global Positioning System)衛星からの信号(GPS信号)を受信する装置である。GPS受信機11は、例えば、ダッシュボードDB上に配されている。なお、GPS受信機11は、GPS信号が受信できればどこに配されていてもよい。GPS受信機11は、受信したGPS信号を車載装置10に送信することが可能である。
撮影部としての車外カメラ12は、自動車Mの前方を撮影する撮像装置である。本実施例において、車外カメラ12は、前方が撮影方向となる様にダッシュボードDBに配されている。例えば、車外カメラ12は、広角カメラであり、フロントガラスを介して自動車Mの前方の広い領域を撮影可能である。なお、車外カメラ12は、ルームミラーRMに設けられても良く、フロントガラスFGの内側に取り付けられていてもよい。
車内カメラ13は、自動車Mの内部の状況を撮影する撮像装置である。本実施例において、車内カメラ13は、フロントガラスFGの上端または当該上端付近の天井部に設けられており、自動車Mの運転者を撮影可能である。
ビデオ通信時には、車外カメラ12または車内カメラ13によって撮像された映像が、外部装置70に配信される。以下、主に車外カメラ12の映像が外部装置70に配信される場合を説明する。
タッチパネル14は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル14は、例えば、ダッシュボードDBのセンターコンソールCCに配されている。タッチパネル14は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル14は、ダッシュボードDB上に取り付けられていてもよい。
タッチパネル14は、車載装置10の制御に基づいて画面表示を行うことが可能である。また、タッチパネル14は、ユーザからの受け付けたタッチパネル14への入力操作を表す信号を車載装置10に送信することが可能である。例えば、タッチパネル14には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル14を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。
また、タッチパネル14には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続(以下、ビデオ接続とも称する)をするための操作の受付画面が表示されてもよい。自動車Mの乗員はタッチパネル14への入力操作によって、ビデオ通信の接続操作を行ってもよい。
スピーカー15は、例えば、AピラーAPの室内側に設けられている。スピーカー15は、車載装置10の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカー15からは、音声通話における外部装置70からの音声が発せられる。
マイク17は、車内の音を受音するマイク装置であり、例えば、ダッシュボードDB上に配されている。マイク17は、車内の音を受音可能であれば、ルームミラーRMまたはハンドル等、どこに設けられていてもよい。ビデオ通信時において、マイク17に収音された音声が音声通話の音声として外部装置70に送信される。
図3は、車載装置10の構成を示すブロック図である。例えば、車載装置10は、システムバス21を介して、大容量記憶装置23と、制御部25と、入力部27と、出力部29と、エンコーダ部30と、データ通信部31と、が協働する装置である。
大容量記憶装置23は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。
各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置23に記憶される各種プログラム(後述する車載装置10における処理を実行するためのプログラムを含む)は、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
また、大容量記憶装置23は、地図情報データベース(図中、地図情報DBと示す)23Aを有している。地図情報データベース23Aには、道路地図を含む地図情報が格納されている。当該地図情報は、道路上の地点又は区間を示す情報である位置データを含む。
当該地図情報において、例えば、道路上の地点及び区間は、例えば道路におけるノード及び道路におけるリンクによって表されている。ノードは道路網における交差点や行き止まり点を示す。リンクは、道路上におけるノードとノードとの間の区間を示す。地図情報データベース23Aは、例えば経路案内のための経路生成に使用され得る。
本実施例において、車載装置10は、自動車Mが位置するリンク又はノードに紐づけられたフレームレートに基づくフレームレートで映像を送信する。以下の説明において、地図情報において、道路上のリンク又はノードを示す位置データに紐づけられているフレームレートを「映像送信用フレームレート」とも称する。
例えば、リンクに紐付けられるフレームレートは、そのリンクに位置する自動車Mから取得されて外部装置70において表示された映像を外部装置70のユーザが見た際に当該外部装置70のユーザに与える印象を、同じ場面を見ている自動車Mの運転者にとっての印象に近づくように予め定められて付与される。
図4は、地図情報データベース23Aに記憶されている地図情報に含まれる情報テーブルを示す図である。図4に示す例においては、道路上のリンク毎にフレームレートが対応付けられている。図4に示すように、地図情報データベース23Aの地図情報において、リンクを示す位置データに、フレームレートデータが対応付けられている。
当該フレームレートデータは、道路上のリンクに位置する車両から動画を撮像した場合に、当該動画が適切に視認されるためのフレームレートとして予め定められてそのリンクに紐づけられているフレームレートを示すデータである。
地図情報において位置データに紐づけられるフレームレートは、例えば、リンク毎に推奨されるフレームレートである。また、地図情報において、例えば、リンク毎に許容されるフレームレートの下限値が対応付けられていてもよく、リンク毎に許容されるフレームレートの範囲が対応付けられていてもよい。
図5は、地図情報において、ノード毎にフレームレートが対応付けられている例を示している。図5に示すように、ノードX及びノードYについて、それぞれ上り方向に進む場合に推奨されるフレームレートと、下り方向に進む場合に推奨されるフレームレートとが対応付けられている。言い換えれば、ノード毎にフレームレートが対応付けられた場合、ノードはフレームレートを切り替えるべき地点となる。
なお、図6は、図4及び図5において例示したリンクA~CとノードX、Yの位置関係を示している。図6に示すように、ノードXはリンクAとリンクBとの間のノードであり、ノードYはリンクBとリンクCとの間のノードである。図6に示すように、リンクAからリンクBへ向かう方向を上り方向とすると、例えば、上りノードXでは、リンクAに紐づいたフレームレート15fpsからリンクBに紐づいたフレームレート20fpsに切り替えることが推奨される。
上述したように、図4に示す例においては、リンク毎にフレームレートが対応付けられている場合について説明し、図5に示す例においては、ノード毎にフレームレートが対応付けられている場合について説明した。なお、本実施例において、リンク又はノードにフレームレートを対応付ける場合に限られず、例えば、道路を含む領域を示す地図上の領域(エリア)毎に、フレームレートが対応付けられていてもよい。
制御部25は、CPU(Central Processing Unit)25A、ROM(Read Only Memory)25B、RAM(Random Access Memory)25C等により構成され、コンピュータとして機能する。そして、CPU25Aが、ROM25Bや大容量記憶装置23に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部25によって、動画配信機能、カーナビゲーション機能等が発揮される。
入力部27は、車載装置10と、車外カメラ12及び車内カメラ13、タッチパネル14並びにマイク17とを通信可能に接続するインタフェース部である。車載装置10は、入力部27を介して車外カメラ12及び車内カメラ13が撮影した映像を逐次取得することが可能である。言い換えれば、制御部25は、入力部27を介して、車外カメラ12によって撮影された自動車の周囲の映像を示す映像データを逐次取得する映像取得部として機能する。
車載装置10は、入力部27を介して、タッチパネル14への入力操作を示す信号を受信することが可能である。例えば、車載装置10は、入力部27を介して、タッチパネル14及びマイク17によってユーザからなされた接続要求や、カーナビゲーションの目的地の設定入力を受け付けることが可能である。
また、入力部27は、車載装置10とGPS受信機11とを通信可能に接続するインタフェース部である。車載装置10は、入力部27を介して、GPS受信機11から、GPS信号を受信し、当該GPS信号から車載装置10の現在位置、すなわち本実施例では自動車Mの現在位置の情報を取得することが可能である。言い換えれば、制御部25は、GPS受信機11から自動車Mの位置情報を取得する位置情報取得部として機能する。
出力部29は、タッチパネル14及びスピーカー15と通信可能に接続されており、タッチパネル14に映像または画像信号を送信して表示をさせたり、スピーカー15に音声信号を送信して、音を出力させたりすることが可能である。
エンコーダ部30は、制御部25からの命令に基づいて、車外カメラ12または車内カメラ13によって撮像された映像(撮像映像とも称する)をエンコーディング(以下、エンコード処理とも称する)する部分である。エンコーダ部は、映像エンコード用のCPU、いわゆるGPUを有しており、当該GPUによってエンコーディングがなされてもよい。
エンコーダ部30は、例えば、MPEG-4規格のエンコード方式で撮像映像をエンコーディングして映像エンコードデータとしてのエンコードデータを生成する。例えば、エンコーダ部30は、H.264、Xvid、DivX、VP8、VP9等のコーデックを用いて、撮像映像からエンコードデータを生成する。
また、エンコーダ部30は、制御部25からの命令に基づいて、車外カメラ12によって撮像された映像を、制御部25によって指示されたフレームレートでエンコーディングする。制御部25は、地図情報を大容量記憶装置23の地図情報データベース23Aから読み出す。言い換えれば、制御部25は、フレームレートが紐づけされた道路上の地点又は区間を含む地図情報を取得する地図情報取得部として機能する。
上記したように、地図情報データベース23Aの地図情報において、道路上の地点又は区間を示す位置データに、映像送信用フレームレートが対応付けられている。制御部25は、読み出した地図情報に基づいて、自動車Mの位置に応じた映像送信用フレームレート、すなわち、自動車Mの位置情報が示す道路上の地点又は区間に紐づけされたフレームレートを取得し、当該取得したフレームレートに基づくフレームレートで映像をエンコーディングすることをエンコーダ部30に指示する。
データ通信部31は、上記したネットワークNWに接続されており、種々のデータをサーバ40との間で送受信する。また、データ通信部31は、種々のデータをサーバ40を介して外部装置70との間で送受信する。
例えば、車載装置10の制御部25は、データ通信部31を介して、サーバ40に車載装置10の現在位置を特定可能な位置データとしての位置特定情報、すなわち本実施例では自動車Mの現在位置の情報を送信可能である。また、例えば、制御部25は、データ通信部31を介して、サーバ40にユーザから入力された目的地を含む情報を送信し、サーバ40から、当該目的地への経路情報またはナビゲーション情報を受信可能である。
制御部25は、データ通信部31を介して、ビデオ通信における音声通話のために、マイク17によって収音された音声の音声データを外部装置70に送信可能である。また、制御部25は、データ通信部31を介して、ビデオ通信における音声通話のために、外部装置70に入力された音声の音声データを受信可能である。
また、制御部25は、データ通信部31を介して、エンコーダ部30によってエンコーディングされたエンコードデータを外部装置70に送信する。例えば、制御部25は、データ通信部31を介して、エンコードデータをバッファしつつ外部装置70に送信する。
制御部25と、エンコーダ部30とデータ通信部31とは、ビデオ通信におけるビデオ接続時のエンコードデータの送信処理において協働して、自動車Mの位置情報によって示される道路上の地点又は区間に紐づけられたフレームレートに基づくフレームレートで映像を送信する映像送信部32として機能する。
このように、車載装置10は、地図情報に基づいて、自動車Mが位置する道路上の位置に応じて、道路上の位置に紐づけられたフレームレートで映像を送信する。言い換えれば、道路上の位置に紐づけられたフレームレートで送信用の映像データを生成して、すなわち、道路上の位置に紐づけられたフレームレートで映像をエンコードして送信する。
これによって、自動車Mの乗員と、外部装置70のユーザとの間で、映像の共有感を高めることができ、円滑に情報の共有を行うことができる。
車載装置10は、車外カメラ12によって撮像された映像を、サーバ40を介して外部装置70に配信する際に、通信量を抑制するために、低いフレームレートで送信する。例えば、車外カメラ12によって27.5fpsで撮像されている場合に、例えば15fps程度に下げることで、通信量を小さくすることができる。
このように、送信する映像のフレームレートを低く設定した場合、車載装置10から送られている映像を外部装置70のユーザ(以下、単に外部ユーザと称する)が視聴した際に、当該外部ユーザが違和感を覚えることがある。
具体的には、フレームレートが低い場合、外部ユーザは、実際の自動車Mの速度に比べて映像から視覚的に得られる速度感覚、いわゆる体感速度が速いと感じることがある。自動車Mの乗員(以下、単に乗員と称する)の実際の体感速度と外部ユーザの体感速度との隔たりにより、乗員と外部ユーザとの間で、映像の共有感が薄れてしまうおそれがある。また、そのような場合、例えば、外部ユーザに恐怖心を抱かせてしまう可能性がある。
そのような体感速度等の違いは、自動車Mが位置する道路上の地点又は区間の周囲の風景の違いによって生じる場合もある。
例えば、自動車Mが通行している道路の近傍、例えば右前方向や左前方向に、塀や建物などの物体が多く存在する場所で撮像され、かつ低いフレームレートの映像を観た場合は、外部ユーザは、自動車Mの乗員が感じる体感速度よりも早く感じる場合や、ゆれを大きく感じる場合がある。一方では、例えば、自動車Mが通行している道路の近傍にあまり建物等の物体が存在せず、景色の変化が少ない場所で撮像され、かつ、低いフレームレートの映像を観た場合、外部ユーザの体感速度は、乗員の体感速度と同等となる場合もある。
そこで、本実施例においては、車載装置10は、図4~6において説明したように、道路上の地点又は区間(以下、単に道路上の位置とも称する)に、適切なフレームレートを予め紐づけておき、道路上の位置を示す位置データに、当該道路上の位置に紐づけられたフレームレートを対応付けた地図情報を用いる。例えば、本実施例の地図情報において、体感速度への影響が大きい地点又は区間には、体感速度への影響が小さい地点又は区間よりも大きい(高い)フレームレートが紐づけられている。また、例えば、景観の良い地点又は区間には、他の地点又は区間よりも大きい(高い)フレームレートが紐づけられていてもよい。
このような地図情報を使用して、自動車Mが位置するリンクに応じたフレームレートで映像を送信することで、データ通信量を抑制しつつ、移動体から送られている映像を外部端末の操作者が観る際に、当該移動体の運転者が見ている風景の高い再現性を確保することができる。
図7は、サーバ40の構成を示すブロック図である。例えば、サーバ40はシステムバス41を介して、大容量記憶装置43と、制御部45と、データ通信部47と、が協働している装置である。サーバ40は、ビデオ通信中において、車載装置10と外部装置70との間の音声通話を確立し、当該音声通話のデータを転送するSIPサーバのような機能を有している。
また、サーバ40は、車載装置10から自動車Mの位置特定情報及び自動車Mの乗員であるユーザが設定した目的地の情報を受信し、当該位置特定情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。
また、サーバ40は、車載装置10から送られてきたエンコードデータを外部装置70に転送する機能を有している。
大容量記憶装置43は、例えば、ハードディスク装置及びSSD(solid state drive)等により構成されており、オペレーティングシステムや、サーバ40用のソフトウェア等の各種プログラムを記憶する。
また、大容量記憶装置43内には、道路地図を含む地図情報が保存されている地図情報データベース(図中、地図情報DBと示す)43Aが含まれている。地図情報データベース43Aの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。また、地図情報データベース43Aの地図情報は、ナビゲーション装置に用いられている地図情報と同等の情報に加えて、映像送信用フレームレートを示す情報を含んでいてもよい。すなわち、地図情報データベース43Aにおいて、道路上の地点又は区間を示す位置データに、図4において説明したような映像送信用フレームレートが対応づけられていてもよい。
制御部45は、CPU(Central Processing Unit)45A、ROM(Read Only Memory)45B、RAM(Random Access Memory)45C等により構成され、コンピュータとして機能する。そして、CPU45Aが、ROM45Bや大容量記憶装置43に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
データ通信部47は、上記したネットワークNWに接続されており、種々のデータを車載装置10及び外部装置70との間で送受信する。
制御部45は、データ通信部47を介して、車載装置10から自動車Mの現在位置を示す位置情報を取得する。また、制御部45は、データ通信部47を介して、車載装置10から自動車Mの乗員が車載装置10に入力した目的地の情報を取得する。制御部45は、当該位置情報及び目的地の情報に基づいて、当該目的地までの経路を生成し、当該経路を示す情報を車載装置10に送信する。
また、制御部45は、データ通信部47を介して、車載装置10から受信したエンコードデータ及び音声を外部装置70に転送する。制御部45は、データ通信部47を介して、外部装置70から受信した音声を車載装置10に転送する。
また、制御部45は、車載装置10から自動車Mの現在位置を示す位置情報を取得し、当該取得した位置情報に対応付けられた映像送信用フレームレートを車載装置10に送信してもよい。
図8は、外部装置70の外観を示す正面図である。上述のように、実施例1において、外部装置70はスマートフォンである。
タッチパネル71は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル71は、ユーザからの受け付けたタッチパネル71への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル71には、車載装置10から配信された映像が表示される。
また、タッチパネル71には、ビデオ通信に関する情報が表示されたり、ビデオ接続をするための操作の受付画面が表示されてもよい。外部装置70のユーザは、タッチパネル71への入力操作によって、ビデオ通信の接続操作を行ってもよい。
スピーカー73は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカー73からは、音声通話における車載装置10からの音声が発せられる。
マイク75は、外部装置70に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク75に収音された音声が音声通話の音声として外部装置70に送信される。
図9は、外部装置70の構成を示すブロック図である。例えば、外部装置70は、システムバス81を介して、大容量記憶装置83と、制御部84と、入力部85と、出力部86と、データ通信部87、デコーダ部88と、が協働する装置である。
大容量記憶装置83は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成されており、オペレーティングシステムや、端末用のソフトウェア等の各種プログラムを記憶する。
なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、大容量記憶装置83に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
制御部84は、CPU(Central Processing Unit)84A、ROM(Read Only Memory)84B、RAM(Random Access Memory)84C等により構成され、コンピュータとして機能する。そして、CPU84Aが、ROM84Bや大容量記憶装置83に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
入力部85は、タッチパネル71及びマイク75に対する入力インタフェース部である。制御部84は、入力部85を介して、タッチパネル71への入力操作を示す信号およびマイク75からの音声入力信号を受信することが可能である。例えば、制御部84は、入力部85を介して、タッチパネル71及びマイク75によってユーザからなされた接続要求を受け付けることが可能である。
出力部86は、タッチパネル71及びスピーカー73への出力インタフェース部である。制御部は84、出力部86を介してタッチパネル14に映像または画像信号を送信して表示をさせたり、スピーカー15に音声信号を送信して、音を出力させたりすることが可能である。
データ通信部87は、上記したネットワークNWに接続されており、種々のデータをサーバ40との間で送受信する。また、データ通信部87は、車載装置10から送信された映像のエンコードデータを始めとして、種々のデータをサーバ40を介して車載装置10との間で送受信する。例えば、制御部84は、データ通信部87を介してエンコードデータを受信するエンコードデータ受信部として機能する。
例えば、外部装置70の制御部84は、データ通信部31を介して、サーバ40から車載装置10から送信された自動車Mの現在位置を特定可能な位置情報の情報を受信可能である。また、例えば、制御部84は、データ通信部87を介して、サーバ40から、自動車Mの経路情報またはナビゲーション情報を受信可能である。
また、制御部84は、データ通信部87を介して、ビデオ通信における音声通話のために、マイク75によって収音された音声の音声データを車載装置10に送信可能である。また、制御部84は、データ通信部87を介して、ビデオ通信における音声通話のために、車載装置10から送信された音声データを受信可能である。
映像出力部としてのデコーダ部88は、制御部84からの命令に基づいて、車載装置10から受信したエンコードデータをデコーディングして再生し出力する部分である。デコーダ部88は、エンコードデータのエンコード時のコーデック、例えば、MPEG-4規格のエンコード方式でエンコードデータをデコーディングして映像を再生して出力する。当該再生された映像は制御部84によってタッチパネル71に表示させられる。
このように、外部装置70は、車載装置10によって送信された映像を受信して表示する。
[2.映像配信システムの動作]
以下、車載装置10、サーバ40及び外部装置70を含む映像配信システム100の動作について説明する。
実施例1の映像配信システム100の動作を実現するための車載装置10及び外部装置70の制御ルーチンについて説明する。以下、ビデオ通信で動画配信が開始されると、映像送信部32は、通信量を抑制するために設定された低いフレームレートでの動画のエンコード処理及び送信処理が開始するものとして説明する。
図10は、車載装置10の制御部25において実行される動画配信ルーチンRT1を示すフローチャートである。制御部25は、例えば、車載装置10に電源が投入されると動画配信ルーチンRT1を開始し、これを繰り返し実行する。
まず、制御部25は、車載装置10が外部装置70とのビデオ通信を開始しているか否かを判定する(ステップS101)。この判定は、例えば、車載装置10において、ビデオ通信の発信がなされ、外部装置70との間で通信が確立されているか否かに基づいてなされる。制御部25は、ビデオ通信が開始されていないと判定すると(ステップS101:NO)、ルーチンRT1を終了する。
制御部25は、車載装置10がビデオ通信を開始していると判定する(ステップS101:YES)と、GPS受信機11からの信号に基づいて自動車Mの位置を示す位置情報を取得し、車外カメラ12から映像を取得し、当該取得した映像をエンコードして位置情報と共にサーバ40を介して外部装置70に配信する動画配信動作を開始する(ステップS102)。
言い換えれば、制御部25は、ステップS102において、車外カメラ12から映像を逐次取得する映像取得部として機能する。また、ステップS102において、制御部25は、自動車Mの位置を示す位置情報を取得する位置情報取得部として機能する。また、ステップS102において、制御部25は、映像データをデフォルト値のフレームレートでエンコーディングして当該エンコーディングされたエンコードデータを送信するデータ送信部として機能する。なお、ステップS102において、位置情報は必ずしも外部装置70に送信されなくともよい。
ステップS102が実行され、動画配信動作が開始されると制御部25は、車載装置10と外部装置70とのビデオ通信が終了したか否かを判定する(ステップS103)。制御部25は、ビデオ通信が終了していない、すなわちビデオ通信が継続していると判定すると(ステップS103:NO)、繰り返しステップS103を実行する。すなわち、ビデオ通信が終了しない限り動作配信動作は継続する。
制御部25は、ステップS103において、外部装置70とのビデオ通信が終了したと判定すると、動画配信動作を終了して(ステップS104)、ルーチンR1が終了する。言い換えれば、制御部25は、外部装置70とのビデオ通信が終了したと判定すると、位置情報の取得、映像の取得並びに当該映像のエンコード処理及び送信を終了する。
図11は、車載装置10の制御部25において実行されるフレームレート制御ルーチンRT2を示すフローチャートである。制御部25は、例えば、車載装置10に電源が投入されるとフレームレート制御ルーチンRT2を開始し、これを繰り返し実行する。なお、本実施例においては、動画配信動作が開始されると最初はデフォルト値のフレームレートでエンコード処理がなされて映像が送信されるとして説明する。
まず、制御部25は、車載装置10が外部装置70とビデオ通信の動画配信動作を行っているか否かを判定する(ステップS201)。
制御部25は、車載装置10がビデオ通信の動画配信動作を行っていると判定すると(ステップS201:YES)、GPS受信機11からの信号に基づいて自動車Mの現在位置を示す位置情報を取得する(ステップS202)。なお、制御部25は、動画配信ルーチンRT1のステップS102において位置情報を取得している場合、ステップS202において、当該取得した位置情報を用いてもよい。
制御部25は、ステップS202の実行後、地図情報データベース23Aの地図情報を参照し、自動車Mの位置情報が示す道路上の地点又は区間に紐づけされたフレームレートを取得する(ステップS203)。ステップS203において、制御部25は、自動車Mの位置情報に対応する地図情報中の位置データに映像送信用フレームレートとして対応付けられたフレームレートを取得する。
制御部25は、ステップS203の実行後、配信中の映像のフレームレートを、ステップS203において取得したフレームレートに設定する(ステップS204)。ステップS204において、制御部25は、当該取得したフレームレートで映像をエンコーディングすることをエンコーダ部30に指示する。
動画配信ルーチンRT1のステップS102、フレームレート制御ルーチンRT2のステップS203及びステップS204において、制御部25と、エンコーダ部30と、データ通信部31とは、映像の送信処理において協働して、自動車Mの位置情報によって示される道路上の地点又は区間に紐づけられたフレームレートに基づくフレームレートで映像を送信する映像送信部32として機能する。
動画配信ルーチンRT1のステップS102は、本発明の映像送信方法、プログラム及び記憶媒体における位置情報取得ステップ及び映像取得ステップに対応する。また、フレームレート制御ルーチンRT2のステップS203は、本発明の映像送信方法、プログラム及び記憶媒体における地図情報取得ステップに対応する。動画配信ルーチンRT1のステップS102及びフレームレート制御ルーチンRT2のステップS204は、本発明の映像送信方法、プログラム及び記憶媒体における映像送信ステップに対応する。
制御部25は、ステップS201においてビデオ通信の動画配信動作を行っていないと判定した場合(ステップS201:NO)、又はステップS204の実行後、フレームレート制御ルーチンRT2を終了する。
なお、フレームレート制御ルーチンRT2のステップS204において、制御部25は、配信中の映像のフレームレートを、ステップS203において取得したフレームレートに基づくフレームレートに設定してもよい。例えば、ステップS204において、配信中の映像のフレームレートは、ステップS203において取得されたフレームレート以上のフレームレートに設定されてもよい。ステップS204において、例えば、ステップS203において取得されたフレームレートに所定の値を加算したフレームレート(例えば、5fps加算)に設定されてもよい。
例えば、ステップS204において、制御部25は、配信中の映像のフレームレートがステップS203で取得したフレームレート以上になっていればフレームレートの設定を変更しないこととしてもよい。また、制御部25は、ステップS203で取得したフレームレートが、フレームレートの初期値よりも小さい場合は、ステップS204において、フレームレートの初期値を設定することとしてもよい。
動画配信ルーチンRT1及びフレームレート制御ルーチンRT2によれば、車載装置10は、自動車Mの周囲の映像を撮像する車外カメラ12から映像を逐次取得し、自動車Mの位置情報を取得し、フレームレートが紐付けされた道路上の地点又は区間を含む地図情報を取得し、当該位置情報によって示される道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで、当該車外カメラ12によって撮像された映像を送信することができる。送信された映像は、サーバ40を介して外部装置70において表示される。
当該地図情報において、道路上の地点又は区間を示す位置データに、フレームレートが対応付けられている。当該フレームレートは、映像が適切に表示されるように、道路上の地点又は区間毎に予め定められて対応付けられている。車載装置10は、送信する映像のフレームレートを、自動車Mが位置する道路上の地点又は区間に応じたフレームレートに基づくフレームレートに設定することで、常に適切なフレームレートで、映像を送信することができる。従って、車載装置10は、例えば、フレームレートが低すぎて、自動車Mの乗員と外部装置70のユーザとの間で映像の共有感が損なわれるようなことなく、適切に映像を送信することができる。
従って、データ通信量を抑制しつつ、移動体から送られている映像を外部端末の操作者が観る際に、当該移動体の運転者が見ている風景の高い再現性を確保することを可能とする映像送信装置、映像送信方法、映像送信プログラム及び記録媒体を提供することができる。
図12及び図13を参照しつつ、フレームレート制御ルーチンRT2の変形例として、自動車Mの位置に応じた映像送信に適したフレームレートの特定がサーバ40によって行われ、車載装置10はサーバから受信したフレームレートによってフレームレートを制御する場合のルーチンについて説明する。図12及び図13について、地図情報データベース43Aにおいて、例えば図4に示したように、道路上のリンクを示す位置データに映像送信用フレームレートが対応付けられているとして説明する。
図12は、車載装置10の制御部25において実行されるフレームレート制御ルーチンRT3を示すフローチャートである。制御部25は、例えば、車載装置10に電源が投入されるとフレームレート制御ルーチンRT3を開始し、これを繰り返し実行する。なお、フレームレート制御ルーチンRT2の場合と同様に、動画配信動作が開始されると最初はデフォルト値のフレームレートでエンコード処理がなされて映像が送信されるとして説明する。
まず、制御部25は、車載装置10が外部装置70とビデオ通信の動画配信動作を行っているか否かを判定する(ステップS301)。
制御部25は、車載装置10がビデオ通信の動画配信動作を行っていると判定すると(ステップS301:YES)、GPS受信機11からの信号に基づいて自動車Mの現在位置を示す位置情報を取得してサーバ40に送信する(ステップS302)。ステップS302において、制御部25は、移動体の位置情報を取得して送信する位置情報送信部として機能する。
ステップS302において、例えば、制御部25は、例えば1秒に1回程度など、間欠的に継続して位置情報を送信する。なお、制御部25は、動画配信ルーチンRT1のステップS102において位置情報を取得している場合、ステップS302において、当該取得した位置情報を用いてもよい。
制御部25は、ステップS302の実行後、サーバ40からのフレームレートの受信を待機する(ステップS303)。ステップS303において、制御部25は、自動車Mの位置情報が示す道路上の地点又は区間に紐づけされたフレームレートの受信を待機する。
制御部25は、ステップS303の実行後、サーバ40からフレームレートを受信したか否かを判定する(ステップS304)。ステップS304において、制御部25は、位置情報によって示される道路上の地点又は区間に紐付けられたフレームレートを示す情報を受信するフレームレート受信部として機能する。
制御部25は、ステップS304において、フレームレートを受信していないと判定する(ステップS304:NO)と、ステップS304を繰り返し、フレームレートを受信したか否かを再び判定する。
制御部25は、ステップS304において、フレームレートを受信したと判定する(ステップS304:YES)と、配信中の映像のフレームレートを、ステップS304において受信したフレームレートに設定する(ステップS305)。ステップS305において、制御部25は、当該受信したフレームレートで映像をエンコーディングすることをエンコーダ部30に指示する。
なお、ステップS305において、制御部25は、配信中の映像のフレームレートを、ステップS304において受信したフレームレートに基づくフレームレートに設定してもよい。例えば、ステップS305において、配信中の映像のフレームレートは、ステップS304において受信されたフレームレート以上のフレームレートに設定されてもよい。
制御部25は、ステップS301においてビデオ通信の動画配信動作を行っていないと判定した場合(ステップS301:NO)、又はステップS305の実行後、フレームレート制御ルーチンRT3を終了する。
図13は、サーバ40の制御部45において実行されるフレームレート送信ルーチンRT4を示すフローチャートである。制御部45は、例えば、サーバ40に電源が投入されるとフレームレート送信ルーチンRT4を開始し、これを繰り返し実行する。
まず、制御部45は、車載装置10が外部装置70とビデオ通信の動画配信動作を行っているか否かを判定する(ステップS401)。ステップS401において、制御部45は、データ通信部47を介して、車載装置10から受信したエンコードデータを外部装置70に転送する処理を行っている場合に、車載装置10が外部装置70とビデオ通信の動画配信動作を行っていると判定する。
制御部45は、車載装置10がビデオ通信の動画配信動作を行っていると判定すると(ステップS401:YES)、車載装置10からの自動車Mの現在位置を示す位置情報を待機する(ステップS402)。
制御部45は、ステップS402の実行後、車載装置10から自動車Mの位置情報を受信したか否かを判定する(ステップS403)。ステップS403において、例えば、制御部45は、データ通信部47を介して自動車Mの位置情報を新たに受信した場合に、位置情報を受信したと判定する。ステップS403において、制御部45は、自動車Mとともに移動する車載装置10から自動車Mの位置情報を受信する位置情報受信部として機能する。
ステップS403において、制御部45は、位置情報を受信していないと判定する(ステップS403:NO)と、ステップS403を繰り返し、位置情報を受信したか否かを再び判定する。
ステップS403において、制御部45は、位置情報を受信したと判定する(ステップS403:YES)と、地図情報データベース43Aの地図情報を参照し、自動車Mの位置情報が示す道路上の地点又は区間に紐づけされたフレームレートを特定する(ステップS404)。ステップS404において、制御部45は、ステップS403において受信した自動車Mの位置情報に対応する地図情報中の位置データに映像送信用フレームレートとして対応付けられたフレームレートを特定する。
制御部45は、ステップS404の実行後、ステップS404において特定したフレームレートを車載装置10に送信する(ステップS405)。ステップS405において、制御部45は、データ通信部を介して、車載装置10にフレームレートを送信する。ステップS405において、制御部45は、フレームレート送信部として機能する。
制御部45は、ステップS401において車載装置10がビデオ通信の動画配信動作を行っていると判定した場合(ステップS401:NO)、又はステップS405の実行後、フレームレート送信ルーチンRT4を終了する。
動画配信ルーチンRT1のステップS102、フレームレート送信ルーチンRT4のステップS404及びステップS405、及びフレームレート制御ルーチンRT3のステップS305において、車載装置10の制御部25と、エンコーダ部30と、データ通信部31とは、映像の送信処理において協働して、自動車Mの位置情報によって示される道路上の地点又は区間に紐づけられたフレームレートに基づくフレームレートで映像を送信する映像送信部32として機能する。
フレームレート制御ルーチンRT3及びフレームレート送信ルーチンRT4によれば、
車載装置10は、サーバ40が有する地図情報に基づいて、自動車Mの道路上の位置応じた道路上の地点又は区間に紐づけられたフレームレートを取得し、当該取得したフレームレートに基づくフレームレートで、車外カメラ12によって撮像された映像を送信することができる。
従って、位置データにフレームレートデータが対応付けられた地図情報をサーバ40が有している場合であっても、適切なフレームレートで映像を送信することができる。
従って、データ通信量を抑制しつつ、移動体から送られている映像を外部端末の操作者が観る際に、当該移動体の運転者が見ている風景の高い再現性を確保することを可能とする映像送信装置、映像送信方法、映像送信プログラム及び記録媒体を提供することができる。
上記実施例において、車載装置10は、車載ナビゲーション装置であるとしたが、車載装置10は、スマートフォン、タブレット等様々な端末であり得る。
上述した実施例における車載装置10、サーバ40及び外部装置70の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
また、上記実施例においては、車載装置10と外部装置70とがサーバ40を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置10と外部装置70との間でP2P(Peer to Peer)通信等によって直接なされてもよい。
なお、上記実施例においては、車載装置10がタッチパネル14に接続されているカーナビゲーション装置である場合について説明したが、これに限られない。例えば、車載装置10は、自動車Mの運転者が携帯するスマートフォンと通信を行って、タッチパネル14に代えて当該スマートフォンのディスプレイにビデオ通信に関する画面等を表示させてもよい。また、車載装置10は、自動車Mの運転者に提示する画面を表示しない構成であってもよい。
例えば、車載装置10は、ドライブレコーダのような構成を有していても良い。従って、車載装置10は、例えば、車外カメラ12と一体となった装置でもよい。具体的には、例えば、車載装置10は、車外カメラ12の筐体内に上記車載装置10の機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置10は、上記説明したような種々の表示出力を行わないこととしてもよい。
さらに、本願の映像送信装置は、上記の実施例における車載装置10と同様の構成の端末装置(例えば、図3)と、車外カメラ12と、ディスプレイ又はタッチパネルとが一体化された構成であってもよい。
なお、上記の実施例において、車外カメラ12の映像が外部装置70に送信される例について説明したが、外部装置70に送信される映像は、車内カメラ13によって撮像された映像に切り替えられてもよい。車内カメラ13によって撮像された映像が送信されている際には、外部装置70のユーザは、例えば、自動車Mの内部の様子を見ながら自動車Mの運転者とコミュニケーションをとることができる。
なお、外部装置70に送信する映像を車外カメラ12の映像と車内カメラ13の映像との間で切り替える切換操作は、車載装置10でなされてもよい。また、当該切換操作は、外部装置70への操作によって遠隔的になされてもよい。
上記の実施例において、外部装置70の制御部84は、車載装置10から送信されている自動車Mの外部の映像をサーバ40を介して受信するとしたが、当該映像に加えて、自動車Mの現在地及び移動予定経路が記された地図画像や、自動車Mの運転者の氏名、自動車Mの走行速度などを受信してもよい。
例えば、外部装置70の制御部84は、タッチパネル71において、車載装置10から受信した地図画像や自動車Mの運転者の氏名、自動車Mの走行速度を自動車Mの外部の映像に重畳して表示させてもよく、又は自動車Mの外部の映像とは異なる表示領域に表示させてもよい。このとき、地図画像や自動車Mの運転者の氏名、自動車Mの走行速度は、外部装置70の操作者によって、その表示/非表示を自由に切り替え可能であってもよい。
例えば、車載装置10の制御部25は、自動車Mに備えられた加速度センサによって計測される加速度に基づいて自動車Mの走行速度を取得してビデオ通信の際に映像とともに送信してもよい。また、制御部25は、例えば、自動車Mの移動距離と時間から算出される走行速度を取得してもよく、車速信号(車速パルス)を受信して自動車Mの走行速度を取得してもよい。
上記実施例においては、車載装置10が自動車Mに搭載される例を説明したが、車載装置10は、自転車、バイク等他の移動体に搭載されていていてもよい。また、車載装置を人が保持しており、例えば歩きながらビデオ通信を行って映像を配信することしてもよい。
上記実施例においては、車載装置10において、車載装置10と外部装置70との通信が確立されてから動画配信動作が開始される場合を例に説明した。しかし、上記したYouTube(登録商標)やニコニコ生放送(登録商標)の動画配信のような態様で動画配信がなされてもよい。すなわち、外部装置70等の視聴者側の端末との通信の確立が無くとも、動画配信動作が開始されてもよい。具体的には、車載装置10と外部装置70等の視聴者側の端末との通信の確立が無くとも、車載装置10によるサーバ40への動画データのアップロードが開始されても良い。
例えば、車載装置10による動画配信動作は、車載装置10とサーバ40との通信が確立された後に、外部装置70との通信接続の確立無しに開始されてもよい。この場合、不特定のまたは許可を受けた特定の外部装置70がサーバ40に接続することで、車載装置10から配信された動画を受信し、外部装置70のユーザが当該動画を視聴することが可能となる。
本実施例の映像配信システム100においては、車載装置10と外部装置70との間で音声通話が確立された上で、車載装置10から自動車Mにおいて撮影された映像が外部装置70に配信される場合について説明したが、音声通話が確立されずに映像のみが送信されてもよい。
100 映像配信システム
10 車載装置
23A、43A 地図情報データベース
25、45、84 制御部
30 エンコーダ部
31、87 データ通信部
32 映像送信部
40 サーバ
70 外部装置
88 デコーダ部

Claims (13)

  1. 移動体とともに移動する映像送信装置であって、
    前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得部と、
    前記移動体の位置情報を取得する位置情報取得部と、
    フレームレートが紐付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得部と、
    前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信部と、
    を有することを特徴とする映像送信装置。
  2. 前記映像送信部は、前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレート以上のフレームレートで前記映像を送信することを特徴とする請求項1に記載の映像送信装置。
  3. 前記映像送信部は、前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートで前記映像を送信することを特徴とする請求項1に記載の映像送信装置。
  4. 前記地図情報において、リンク、ノード又はエリアにフレームレートが対応付けられていることを特徴とする請求項1乃至3のいずれか1項に記載の映像送信装置。
  5. 前記地図情報において、道路上の地点又は区間において許容されるフレームレートの下限値が紐付けられていることを特徴とする請求項1乃至4のいずれか1項に記載の映像送信装置。
  6. 前記地図情報において、フレームレートの低下によって、前記送信部によって送信されて表示された前記映像を視認するユーザの体感速度の変動が大きい地点又は区間には、前記体感速度の変動が小さい地点又は区間よりも大きいフレームレートが対応付けられていることを特徴とする請求項1乃至5のいずれか1項に記載の映像送信装置。
  7. 前記地図情報において、景観の良い地点又は区間には、他の地点又は区間よりも大きいフレームレートが対応付けられていることを特徴とする請求項1乃至6のいずれか1項に記載の映像送信装置。
  8. 移動体とともに移動する映像送信装置であって、
    前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得部と、
    前記移動体の位置情報を取得して送信する位置情報送信部と、
    前記位置情報によって示される道路上の地点又は区間に紐付けられたフレームレートを示す情報を受信するフレームレート受信部と、
    前記受信部が受信した前記情報が示すフレームレートに基づくフレームレートで前記映像を送信する映像送信部と、
    を有することを特徴とする映像送信装置。
  9. 移動体とともに移動する映像送信装置から前記移動体の位置情報を受信する位置情報受信部と、
    フレームレートが対応付けされた道路上の地点又は区間を含む地図情報に基づいて、前記受信部が受信した位置情報によって示される道路上の地点又は区間に紐づけられたフレームレートを特定し、当該特定したフレームレートを示す情報を前記映像送信装置に送信するフレームレート送信部と、
    を有することを特徴とするサーバ装置。
  10. 移動体とともに移動する映像送信装置によって実行される映像送信方法であって、
    前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得ステップと、
    前記移動体の位置情報を取得する位置情報取得ステップと、
    フレームレートが対応付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得ステップと、
    前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信ステップと、
    を含むことを特徴とする映像送信方法。
  11. コンピュータを備え、移動体とともに移動する映像送信装置によって実行される映像送信プログラムであって、
    前記コンピュータに、
    前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得ステップと、
    前記移動体の位置情報を取得する位置情報取得ステップと、
    フレームレートが対応付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得ステップと、
    前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信ステップと、
    を実行させることを特徴とする映像送信プログラム。
  12. コンピュータを備え、移動体とともに移動する映像送信装置に、
    前記移動体の周囲の映像を撮像する撮像装置から前記映像を逐次取得する映像取得ステップと、
    前記移動体の位置情報を取得する位置情報取得ステップと、
    フレームレートが対応付けされた道路上の地点又は区間を含む地図情報を取得する地図情報取得ステップと、
    前記位置情報によって示される前記道路上の地点又は区間に紐付けられたフレームレートに基づくフレームレートで前記映像を送信する映像送信ステップと、
    を実行させる映像送信プログラムを記憶するコンピュータ可読記憶媒体。
  13. コンピュータを備え、移動体とともに移動する映像送信装置によって用いられる地図情報のデータ構造であって、
    道路上の地点又は区間を示す位置データと、
    前記位置データが示す前記道路上の地点又は区間に紐づけられたフレームレートを示すフレームレートデータと、を含み、
    前記映像送信装置が、前記移動体の道路上の位置に応じた道路上の地点又は区間に紐づけられた前記フレームレートを取得し、当該取得したフレームレートに基づくフレームレートで映像を送信する処理に用いられることを特徴とする地図情報のデータ構造。
JP2021061403A 2021-03-31 2021-03-31 映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造 Pending JP2022157277A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021061403A JP2022157277A (ja) 2021-03-31 2021-03-31 映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021061403A JP2022157277A (ja) 2021-03-31 2021-03-31 映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造

Publications (1)

Publication Number Publication Date
JP2022157277A true JP2022157277A (ja) 2022-10-14

Family

ID=83559498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021061403A Pending JP2022157277A (ja) 2021-03-31 2021-03-31 映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造

Country Status (1)

Country Link
JP (1) JP2022157277A (ja)

Similar Documents

Publication Publication Date Title
CN111301284B (zh) 车载装置、程序以及车辆
US20160005333A1 (en) Real Time Car Driving Simulator
KR20170061072A (ko) 리어 뷰 프론트 지능형 안전 헬멧
JP2009516189A (ja) 交通情報を表示するナビゲーションデバイス
US20180182261A1 (en) Real Time Car Driving Simulator
US11922585B2 (en) Method for operating a head-mounted display apparatus in a motor vehicle, control device, and head-mounted display apparatus
JP2022104107A (ja) 車両遠隔操作システム及び車両遠隔操作方法
JP2022157277A (ja) 映像送信装置、サーバ装置、映像送信方法、映像送信プログラム、記憶媒体、及びデータ構造
WO2022208808A1 (ja) 映像送信装置、映像送信方法、プログラム及び記録媒体
WO2023127118A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP2022157323A (ja) 映像送信装置、映像出力装置、映像出力システム、映像送信方法、映像送信プログラム及び記憶媒体
WO2012039022A1 (ja) 情報通信装置、情報通信方法、情報通信プログラム、及び情報通信システム
JP2022157413A (ja) 映像送信装置、映像生成装置、映像送信方法、映像送信プログラム及び記憶媒体
JP4141205B2 (ja) 通信ナビゲーション装置
JP2022157267A (ja) 映像送信装置、映像送信方法、プログラム及び記録媒体
JP2022157463A (ja) 映像送信装置、映像送信方法、プログラム及び記録媒体
WO2023112115A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2018166279A (ja) クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法
WO2023127093A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JPH11205782A (ja) 車両用前方画像処理装置及び車両用前方画像処理システム
JP2024091137A (ja) 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JP2003069471A (ja) Tv電話システム及びtv電話接続方法
JP2024090876A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
WO2023112114A1 (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体
JP2023094982A (ja) 通信システム、情報処理装置、情報処理方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240207