JP2024090801A - 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 - Google Patents
通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2024090801A JP2024090801A JP2022206924A JP2022206924A JP2024090801A JP 2024090801 A JP2024090801 A JP 2024090801A JP 2022206924 A JP2022206924 A JP 2022206924A JP 2022206924 A JP2022206924 A JP 2022206924A JP 2024090801 A JP2024090801 A JP 2024090801A
- Authority
- JP
- Japan
- Prior art keywords
- image
- driving load
- communication
- area
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 28
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000012545 processing Methods 0.000 claims abstract description 105
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 230000001133 acceleration Effects 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 239000007787 solid Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】運転の状況に応じてユーザが注目する蓋然性が高い対象物について認識し易く加工した画像を第2装置において表示させることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の1つとしている。【解決手段】移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記第2装置に送信する送信部と、を有することを特徴とする。【選択図】図1
Description
本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの画像をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。
車両から撮像された画像に何らかの加工を施して表示する装置が知られている。
例えば、特許文献1には、画像認識によって撮影画像データから道路標識等の対象物を認識し、当該対象物を認識しやすいように撮影画像データを補正して車内のモニタに表示する画像表示システムが開示されている。引用文献1には、当該対象物について、予め登録されている固定情報である場合の他、画像表示システムのタッチパネル等から選択または入力される可変情報である場合について開示されている。
特許文献1のような画像表示システムにおいて、例えば、車両から撮影された画像をその車両の外部に位置する車外端末の表示画面に表示する場合、例えば、運転の補助が必要な状況では、車外端末のユーザは、当該車両から撮影された画像中の、周囲の歩行者や他車両等の運転の際に注意が必要な対象物に注目することが好ましい。それによって、例えば、歩行者がいることを運転者に伝えるなどの運転の補助をすることができる。
一方、運転の補助が必要無い状況では、当該車外端末のユーザは、当該車両から撮影された画像中の、例えば観光スポットが写っている部分に注目できることが好ましい。それによって、ユーザは、車外に居ながら周囲の景観を楽しむことができる。
このように、ユーザが注目する対象物として好ましいものが運転の状況によって異なる場合があるので、補正して表示する対象物を予め設定していても、運転の状況によっては好ましい対象物が補正して表示されない場合があることが課題の一つとして挙げられる。
本発明は上記した点に鑑みてなされたものであり、移動体内の第1装置から移動体外の第2装置に画像を送信するシステムにおいて、運転の状況に応じてユーザが注目する蓋然性が高い対象物について認識し易く加工した画像を第2装置において表示させることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の1つとしている。
請求項1に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記第2装置に送信する送信部と、を有することを特徴とする通信システムである。
請求項10に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、前記処理後画像を前記第2装置に送信する送信ステップと、を含むことを特徴とする通信方法である。
請求項11に記載の発明は、コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、前記処理後画像を前記第2装置に送信する送信ステップと、を実行させるための通信プログラムである。
請求項12に記載の発明は、コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムに、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、前記処理後画像を前記第2装置に送信する送信ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。
請求項13に記載の発明は、移動体と共に移動し、前記移動体における画像を取得して他の装置に送信し、かつ、前記他の装置から音声を受信する音声映像通信を行う通信装置であって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記他の装置に送信する送信部と、を有することを特徴とする通信装置である。
請求項14に記載の発明は、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行うサーバ装置であって、前記第1装置から前記画像を取得する画像取得部と、前記移動体において検出された検出情報を前記第1装置から取得し、前記検出情報に基づいて前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記第2装置に送信する送信部と、を有することを特徴とするサーバ装置である。
以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
実施例に係る車載装置10を含む通信システム100の構成について添付図面を参照しつつ説明する。
図1は、本発明の実施例である通信システム100を示している。図1に示すように、通信システム100は、車載装置10、サーバ30及び外部装置40を含んで構成されている。なお、図1においては、車載装置10が移動体の一例としての自動車Mに搭載されている場合を示している。また、図1においては、外部装置40の一例として、スマートフォンを示している。
車載装置10、サーバ30及び外部装置40は、ネットワークNWを介して、例えば、TCP/IPや、UDP/IP等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、移動体通信網、Wi-Fi(登録商標)等の無線通信及び有線通信を含むインターネット通信により構築され得る。
通信システム100において、自動車Mと共に移動する第1装置としての車載装置10によって取得された自動車Mにおける映像及び音声を、第2装置としての外部装置40に送信し、外部装置40によって取得された音声を車載装置10に送信する音声映像通信が可能である。
本実施例の通信システム100においては、車載装置10と外部装置40との間で音声通話が確立された上で、車載装置10から自動車Mにおいて撮影された映像が外部装置40に配信される。
以下の説明において、上記のように、車載装置10と外部装置40との間での音声通話を確立させつつ、自動車Mにおいて撮影された映像を車載装置10から外部装置40に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置10と外部装置40とは、サーバ30を介してビデオ通信を行っている。
このようなビデオ通信が行われることで、車載装置10から送信される映像を視聴している外部装置40のユーザは、あたかも自動車Mの運転者と自動車Mに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置40のユーザの自動車Mへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム100のようなシステムを仮想同乗システムとも称する。
例えば、ビデオ通信中に、外部装置40のユーザは、車載装置10から送信される映像を見ることで、自動車Mの周囲の状況を、自動車Mの助手席に乗っているような感覚で見ることができる。例えば、外部装置40のユーザは、ビデオ通信中に、自動車Mの周囲の景観を楽しむことができる。
また、外部装置40のユーザは、例えば、ビデオ通信中に、運転者への注意喚起等の補助をすることができる。具体的には、外部装置40のユーザは、自動車Mの前方を撮影した画像を見ることで、自動車Mの運転者が左右の一方側に注意を向けている間に、逆側から他の車両が来ないか確認を行うといった、運転者に必要な注意を補完することで、運転の補助をすることができる。
本実施例において、サーバ30は、自動車Mにおいて撮影された映像を車載装置10から受信し、当該映像を構成するフレーム画像の各々に対して画像処理を施した処理後画像を外部装置40に送信することが可能である。例えば、当該画像処理は、外部装置40のユーザにとってより見やすいようにするための画像処理である。
以下、本実施例においては、車載装置10がカーナビゲーション装置である場合を例に説明する。また、本実施例においては、車載装置10が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ30に送信し、サーバ30が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。
図2は、車載装置10を搭載している自動車Mの前席付近を示す斜視図である。図2では、取り付け例として、自動車Mの前席のダッシュボードDB内に車載装置10が取り付けられている場合を示す。
GPS受信機11は、GPS(Global Positioning System)衛星からの信号(GPS信号)を受信する装置である。GPS受信機11は、例えば、ダッシュボードDB上に配されている。なお、GPS受信機11は、GPS信号が受信できればどこに配されていてもよい。GPS受信機11は、受信したGPS信号を車載装置10に送信することが可能である。
車外カメラ13は、自動車Mの前方を撮影する撮像装置である。本実施例において、車外カメラ13は、前方が撮影方向となる様にダッシュボードDBに配されている。例えば、車外カメラ13は、フロントガラスを介して自動車Mの前方を撮影可能である。なお、車外カメラ13は、ルームミラーRMの近傍に設けられても良く、フロントガラスFGの内側に取り付けられていてもよい。ビデオ通信時には、車外カメラ13によって撮像された映像が、外部装置40に配信される。
タッチパネル15は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル15は、例えば、ダッシュボードDBのセンターコンソールCCに配されている。タッチパネル15は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル15は、ダッシュボードDB上に取り付けられていてもよい。
タッチパネル15は、車載装置10の制御に基づいて画面表示を行うことが可能である。また、タッチパネル15は、ユーザから受け付けたタッチパネル15への入力操作を表す信号を車載装置10に送信することが可能である。例えば、タッチパネル15には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル15を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。
また、タッチパネル15には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続(以下、ビデオ接続とも称する)をするための操作の受付画面が表示されてもよい。自動車Mの乗員はタッチパネル15への入力操作によって、ビデオ通信の接続操作を行ってもよい。
スピーカ17は、例えば、AピラーAPの室内側に設けられている。スピーカ17は、車載装置10の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ17からは、音声通話における外部装置40からの音声が発せられる。
マイク19は、車内の音を受音するマイク装置であり、例えば、ダッシュボードDB上に配されている。マイク19は、車内の音を受音可能であれば、ルームミラーRMまたはステアリングホイール21等、どこに設けられていてもよい。ビデオ通信時において、マイク19に収音された音声が音声通話の音声として外部装置40に送信される。また、ビデオ接続のための操作入力等のビデオ通信に関する操作入力が、マイク19を介して音声によって行われてもよい。
ステアリングホイール21は、自動車Mの操舵のための操縦操作を受け付ける部材である。ステアリングホイール21は、ダッシュボードDBに対して回動可能に設けられている。ステアリングホイール21が回動させられると、それに従って自動車Mの操舵輪となる車輪が回動動作する。
図3は、車載装置10の構成を示すブロック図である。例えば、車載装置10は、システムバスを介して、記憶部23と、制御部25と、通信部27と、が協働する装置である。
ステアリングセンサ21Sは、ステアリングホイール21の回転量や回転方向、回転力等の操作に関する物理量を検出するセンサである。
また、自動車Mには加速度センサ22が搭載されている。加速度センサ22は、自動車Mの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばMEMS加速度センサであってもよい。なお、加速度センサ22は慣性計測ユニット(IMU:Inertial Measurement Unit)であってもよい。また、加速度センサ22は、車載装置10に内蔵されていてもよい。
記憶部23は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成される記憶デバイスである。記憶部23は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置10において実行される各種プログラムを記憶する。
各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部23に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
また、記憶部23は、また、道路地図を含む地図情報を記憶している。また、記憶部23は、ビデオ通信の相手としての外部装置40の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。
制御部25は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。制御部25は、CPUがROMや記憶部24に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部25によって、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。
制御部25は、自動車Mに備えられている各種機器、すなわち、GPS受信機11、車外カメラ13、タッチパネル15、スピーカ17、マイク19、ステアリングセンサ21S、及び加速度センサ22と通信可能に接続されている。制御部25は、自動車Mに備えられている各種機器からデータを取得する。
具体的には、制御部25は、GPS受信機11からのGPS信号を逐次取得する。
制御部25は、車外カメラ13によって撮像された映像を逐次取得する。
制御部25は、タッチパネル15への入力操作を表す信号を取得する。
また、制御部25は、マイク19によって収音された自動車Mにおける音声を逐次取得する。
また、制御部25は、ステアリングセンサ21Sによって取得された回転量や回転方向、回転力等の操作に関する物理量を示すセンサ情報を逐次取得する。
また、制御部25は、加速度センサ22によって計測された加速度を示す信号を逐次取得する。
通信部27は、制御部25の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部27は、例えば、ネットワークNWに接続するためのNIC(Network Interface Card)である。
通信部27は、上記したネットワークNWに接続されており、種々のデータをサーバ30との間で送受信する。また、通信部27は、サーバ30を介して種々のデータを外部装置40との間で送受信する。
例えば、制御部25は、通信部27を介して、サーバ30にユーザから入力された目的地を含む情報を送信し、サーバ30から、当該目的地への経路情報またはナビゲーション情報を受信可能である。
制御部25は、ビデオ通信中、通信部27を介して、車外カメラ13によって撮像された映像をサーバ30に逐次送信する。
制御部25は、ビデオ通信中、通信部27を介して、自動車M内の検出機器によって検出された検出情報をサーバ30に逐次送信する。具体的には、制御部25は、ビデオ通信中、GPS信号に基づいた自動車Mの現在位置情報をサーバ30に逐次送信する。また、制御部25は、加速度センサ22によって検出された加速度センサ情報、及びステアリングセンサ21Sによって検出されたステアリングセンサ情報を逐次送信する。これらの検出情報は、サーバ30が行う画像処理の態様を決定するために用いられる。例えば、当該検出情報は、自動車Mの運転者の運転負荷(別言すると、ワークロードまたは運転大変度)を推定するために用いられ、当該運転負荷に基づいて上記画像処理の態様が決定される。
制御部25は、通信部27を介して、ビデオ通信に関してタッチパネル15に表示させるための情報をサーバ30から受信する。
制御部25は、通信部27を介して、ビデオ通信における音声通話のために、マイク19によって収音された音声の音声データを外部装置40に送信可能である。また、制御部25は、通信部27を介して、ビデオ通信における音声通話のために、外部装置40に入力された音声の音声データを受信可能である。
図4は、サーバ30の構成を示すブロック図である。例えば、サーバ30はシステムバスを介して、記憶部31と、通信部33と、制御部35と、が協働している装置である。
サーバ30は、ビデオ通信中において、車載装置10から、車外カメラ13によって撮影された画像を逐次受信する。また、サーバ30は、自動車Mにおいて検出された検出情報、すなわち、自動車Mの現在位置情報、加速度センサ情報、又はステアリングセンサ情報を車載装置10から逐次受信する。
サーバ30は、車載装置10から受信した検出情報に基づいて、自動車Mの運転者にかかっている運転負荷を取得する機能を有する。また、サーバ30は、取得した運転負荷に基づいて、車外カメラ13によって自動車Mの前方を撮影した画像について画像処理を行った処理後画像を生成し、当該生成した処理後画像を外部装置40に送信する機能を有する。
また、サーバ30は、ビデオ通信中において、車載装置10と外部装置40との間の音声通話を確立し、当該音声通話のデータを転送するSIPサーバのような機能を有している。
また、サーバ30は、車載装置10から自動車Mの現在位置情報及び自動車Mの乗員であるユーザが設定した目的地の情報を受信し、当該現在情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。
記憶部31は、例えば、ハードディスク装置及びSSD(solid state drive)等により構成されており、オペレーティングシステムや、サーバ30用のソフトウェア等の各種プログラムを記憶する。
各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部31に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
記憶部31は、例えば、サーバ30が、自動車Mの運転者の運転負荷を取得し、当該取得した運転負荷に基づいて、車外カメラ13によって撮影された自動車Mにおける画像中の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は他の画像処理を行って処理後画像を生成し、当該処理後画像を外部装置40に送信するための通信プログラムを記憶している。
また、記憶部31は、道路地図を含む地図情報が保存されている地図データベース(図示せず)を記憶している。地図データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。
さらに、当該地図データベースにおいて、道路リンク毎又はノード毎に、その道路リンク又はノードを走行するドライバーの運転者にかかると推定される運転負荷の高さを示す運転負荷情報が対応付けられて記憶されている。
例えば、道路リンクに対応付けられた運転負荷の高さは、道路リンクが属する道路の種別や幅員、車線数、踏切、料金所、生活圏、交通量等の運転シーンに基づいて予め設定されたものである。例えば、交差点(ノード)や右左折、急カーブなどの場合は基本的に運転負荷が高いと推定されてもよく、さらに交通量等に応じてレベル分けされた運転負荷が対応付けられていてもよい。
例えば、サーバ30は、自動車Mの現在位置情報に基づいて、自動車Mが走行中の道路リンク又はノードに対応付けられた運転負荷の高さを、自動車Mの運転者の運転負荷として取得する。
通信部33は、上記したネットワークNWに接続されており、種々のデータを車載装置10及び外部装置40との間で送受信する。
制御部35は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。そして、CPUが、ROMや記憶部31に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
制御部35は、通信部33を介して、車載装置10から、車外カメラ13によって撮影された画像を逐次受信する。また、制御部35は、通信部33を介して、自動車Mにおいて検出された検出情報、すなわち、自動車Mの現在位置情報、加速度センサ情報、又はステアリングセンサ情報を車載装置10から逐次受信する。
制御部35は、上述の通信プログラムを実行することで、自動車Mの運転者の運転負荷を取得する運転負荷取得部37としての処理を実行し、当該取得した運転負荷に基づいて、車外カメラ13によって撮影された自動車Mにおける画像中の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は他の画像処理を行って処理後画像を生成する画像生成部39としての処理を実行する。言い換えれば、制御部35は、機能部として、運転負荷取得部37及び画像生成部39を有する。制御部35は、当該画像生成部39によって処理された画像を外部装置40に送信する。
運転負荷取得部37は、上述の如く、自動車Mの運転者の運転負荷を取得する運転負荷取得ステップを実行する機能部である。運転負荷取得部37は、自動車Mにおいて検出された検出情報に基づいて、自動車Mの運転者の運転負荷を取得する。例えば、運転負荷取得部37は、加速度センサ情報又はステアリングセンサ情報、すなわち実際の運転操作の状態に基づいて自動車Mの運転者の運転負荷を取得する。又は、運転負荷取得部37は、自動車Mの現在位置情報に基づいて、地図データベースの道路リンクに対応付けられた運転負荷情報を取得する。
[運転操作の状態に基づく運転負荷の取得]
上述のように、運転負荷取得部37は、実際の運転操作の状態に基づいて自動車Mの運転者の運転負荷を取得することが可能である。
上述のように、運転負荷取得部37は、実際の運転操作の状態に基づいて自動車Mの運転者の運転負荷を取得することが可能である。
例えば、運転負荷取得部37は、自動車Mの現在位置情報から速度を算出し、自動車Mの速度に基づいて自動車Mの運転者の運転負荷を取得する。速度に基づいた運転負荷の取得において、例えば、運転負荷の高さを「高」「低」の2段階で表し、速度が閾値以上である場合に運転負荷の高さを「高」と判定し、速度が閾値未満である場合に運転負荷の高さを「低」と判定することによって運転負荷を取得してもよい。
また、運転負荷取得部37は、例えば、自動車Mに設けられた加速度センサ22によって検出された加速度センサ情報に基づいて、自動車Mの運転者の運転負荷を取得する。
図5Aは、加速度センサ情報が示す自動車Mの加速度に基づく運転負荷の高さの判定基準の一例であるテーブルTB1を示す図である。テーブルTB1は、例えば記憶部31に記憶されている。テーブルTB1には、前後方向の加速度の絶対値の閾値を0.3Gとし、自動車Mの前後方向の加速度の絶対値が、0.3G未満である場合には運転負荷「低」、0.3G以上である場合は運転負荷「高」とする判定基準が定められている。
運転負荷取得部37は、テーブルTB1を参照して、自動車Mの前後方向の加速度の絶対値が0.3G未満である場合には運転負荷「低」、0.3G以上である場合は運転負荷「高」と判定することで、自動車Mの運転者の運転負荷を取得する。
テーブルTB1に基づいて、例えば、自動車Mの運転者が右左折のための減速、又は走行を開始する際の加速を行って、自動車Mの前後方向の加速度の絶対値が0.3G以上となった場合に、運転負荷「高」と判定され得る。例えば、自動車Mの運転者が安定した速度で走行中の場合や停車中であり、自動車Mの前後方向の加速度の絶対値が0.3G未満となった場合に、運転負荷「低」と判定され得る。
例えば、運転負荷の取得に用いられる加速度センサ情報は、前後方向の加速度に限られず、左右方向の加速度が運転負荷の取得に用いられてもよい。
また、運転負荷取得部37は、例えば、自動車Mに設けられたステアリングセンサ21Sによって検出されたステアリングセンサ情報に基づいて、自動車Mの運転者の運転負荷を取得する。
図5Bは、ステアリングセンサ情報が示す自動車Mのステアリングホイール21の回転量(切れ角)に基づく運転負荷の高さの判定基準の一例であるテーブルTB2を示す図である。テーブルTB2は、例えば記憶部31に記憶されている。テーブルTB2には、ステアリングホイール21の操作していない状態の切れ角を0°として切れ角の閾値を90°とし、自動車Mのステアリングホイール21の切れ角が、90°未満である場合には運転負荷「低」、90°以上である場合は運転負荷「高」とする判定基準が定められている。
運転負荷取得部37は、テーブルTB2を参照して、ステアリングホイール21の切れ角が、90°未満である場合には運転負荷「低」、90°以上である場合は運転負荷「高」と判定することで、自動車Mの運転者の運転負荷を取得する。
テーブルTB2に基づいて、例えば、自動車Mの運転者が右左折の際にステアリングホイール21を操作して90°以上回転させている場合に、運転負荷「高」と判定され得る。例えば、自動車Mが直進中であり、ステアリングホイール21の切れ角が、90°未満である場合には、運転負荷「低」と判定され得る。
[地図データベースによる運転負荷の取得]
上述したように、記憶部31内の地図データベースにおいて、道路リンク毎又はノード毎に運転負荷情報が対応づけられて記憶されている。運転負荷取得部37は、自動車Mの現在位置情報に基づいて、地図データベースにおいて自動車Mが走行中の道路リンクまたはノードに対応付けられた運転負荷情報を取得することで、自動車Mの運転者の運転負荷を取得することが可能である。
上述したように、記憶部31内の地図データベースにおいて、道路リンク毎又はノード毎に運転負荷情報が対応づけられて記憶されている。運転負荷取得部37は、自動車Mの現在位置情報に基づいて、地図データベースにおいて自動車Mが走行中の道路リンクまたはノードに対応付けられた運転負荷情報を取得することで、自動車Mの運転者の運転負荷を取得することが可能である。
図5Cは、地図データベースにおいて道路リンク及びノードに対応付けられた運転負荷情報の一例であるテーブルTB3を示す図である。テーブルTB3において、運転負荷の高さが「低」「中」「高」の3段階で表されて道路上の区間(リンク)毎又は交差点、合流、分岐(ノード)毎に対応付けられている。また、テーブルTB3において、運転負荷は「通勤時間帯」及び「その他の時間帯」の2つの時間帯に分けて、時間帯ごとに道路リンクやノードに対応付けられている。
運転負荷取得部37は、自動車Mの現在位置情報に基づいて地図データベースを参照して自動車Mが現在走行中の道路リンク又はノードを特定する。また、運転負荷取得部37は、テーブルTB3を参照して、当該特定した道路リンク又はノードに対応付けられている運転負荷情報が示す運転負荷の高さを取得することで、自動車Mの運転者の運転負荷を取得する。
図5Cに示す例においては、リンクについては道路の規模や交通量等に応じて「高」、「中」、「低」が対応付けられている。また、図5Cに示す例においては、交差点や合流地点等のノードについては、運転負荷が高いと推定されて、「高」が対応付けられている。また、図5Cに示す例においては、一部の道路リンク(具体的には、データID1,2,4,5)について、通勤時間帯ではその他の時間帯よりも運転負荷が高いと推定されて、その他の時間帯よりも高いレベルの運転負荷が対応付けられている。
通勤時間帯は、例えば、午前7:00-9:00及び午後17:00-19:00等の時間帯が考えられ、この時間帯における交通量等を考慮して運転負荷が推定される。時間帯ごとの運転負荷の推定は、上記した例に限られず、例えば時間帯を夜間と日中に分けて、交通量に加えて明るさの違い等も考慮して運転負荷が推定されてもよい。
本実施例において、上述したような運転操作の状態に基づく運転負荷及び地図データベースに対応付けられた運転負荷のいずれを用いる場合であっても、車載装置10からリアルタイムで検出情報を取得し、自動車Mの運転者の運転負荷をリアルタイムで取得することが可能である。
なお、図5A~図5Cにおいて、運転負荷の高さを「高」と「低」との2段階のレベルで判定する例及び「高」「中」「低」の3段階のレベルで判定する例について説明したが、これに限られない。運転負荷の高さは、3つ以上のレベルに分けて判定されてもよい。また、運転負荷を数値として算出し、運転負荷の高さを数値として表してもよい。
運転負荷の高さは、複数の検出情報を組み合わせて取得されてもよい。例えば、加速度やステアリング切れ角等の運転の操作状態に基づいた運転負荷と、道路リンクに対応付けられた固定の運転負荷とを組み合わせてもよい。
続いて、画像生成部39について説明する。画像生成部39は、上述の如く、運転負荷取得部37によって取得された運転負荷の高さに基づいて、車外カメラ13によって撮影された画像中の1又は複数の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は当該領域について画像処理を行い、処理後画像を生成する画像生成ステップを実行する機能部である。
より詳細には、画像生成部39は、サーバ30において逐次受信される画像のうちの1の画像を取得し、画像認識を行って当該画像中の対象物を特定する。当該対象物は、運転負荷の高さに基づいて決まる種別の対象物である。
例えば、運転負荷の高さが閾値以上(例えば、運転負荷が「高」、又は「中」以上)である場合には、画像生成部39は、歩行者や他の車両等の運転時に注意が必要な物体である注意対象物体を画像処理の対象物として特定する。そして、当該対象物としての注意対象物体が写っている画像中の領域である注意対象領域を特定する。例えば、注意対象物体には、歩行者や他車両等の移動体の他に、信号機、道路標識及び道路標示が含まれる。
例えば、運転負荷の高さが閾値未満(例えば、運転負荷「低」)である場合には、画像生成部39は、特定種類の地物を画像処理の対象物として特定する。本明細書において、「地物」とは、樹木・河川・家屋・道路・鉄道等の天然又は人工のすべての物体を指す。
画像生成部39は、例えば、所定の景観を構成する地物又はPOI(Point of interest)として地図データ中に指定されている地物を含む特定種類の地物を画像処理の対象物として特定する。そして、当該対象物としての特定種類の地物が写っている画像中の領域を地物領域として特定する。
画像生成部39は、上記の対象物が写っている画像中の領域、すなわち注意対象領域又は地物領域について、拡大処理を行うか又は輝度の調整等の画像処理を行い、処理後画像を生成する。以下、注意対象領域及び地物領域を処理対象領域とも称する。
例えば、画像生成部39は、処理対象領域を拡大する拡大処理又は処理対象領域の輝度を調整する輝度調整処理のいずれか一方を行ってもよく、当該拡大処理及び輝度調整処理の両方を行っても良い。また、拡大処理又は輝度調整処理に代えて又はこれに加えてコントラストの調整、明度又は彩度の調整を行ってもよい。
例えば、拡大処理は、拡大される領域の大部分を対象物が占めるように行われる場合に限られず、拡大される領域の一部に対象物が含まれるように拡大処理が行われてもよい。処理対象領域が拡大されることによって対象物が元の画像中の対象物よりも拡大されていればよい。例えば、処理対象領域は、その一部に対象物が含まれかつ当該対象物の周辺の景色を含むように特定されてもよい。また、拡大処理後の画像中、対象物が必ずしも中心に写っていなくともよい。
例えば、画像生成部39は、サーバ30において逐次受信される画像の各々について上述のような画像処理を逐次実行し、処理後画像を逐次生成する。
制御部35は、画像生成部39によって生成された処理後画像を外部装置40に通信部33を介して送信する。外部装置40において、対象物が写っている領域について拡大処理又は輝度調整処理等の画像処理が施された画像が表示される。
図6は、自動車Mの運転者の運転負荷が閾値以上である場合に、車外カメラ13によって撮影された画像IMの一例を示す図である。図6において、画像IMは、自動車Mが右折を行っている際の自動車Mの前方を撮影した画像である。図6に示すように、右折する先の道路に設けられている横断歩道を歩行者P1及びP2が横断中である。
このような右折の状況では、例えば、運転操作の状態に基づいて運転負荷の情報を取得する場合、加速度の変動が大きく、ステアリング切れ角が大きいために、運転負荷が高いとの情報が取得される。また、図5Cに示したように、地図データベースに含まれる交差点ノードに対応する運転負荷が上述のように高く設定されているので運転負荷が高いとの情報が取得される。本実施例において、このような運転負荷が高い場面で画像IM中に写っている歩行者P1及びP2は、運転時に注意が必要な注意対象物体に該当する。
このように、運転負荷が高い場合、画像生成部39は、歩行者P1及びP2を対象物として特定し、歩行者P1及びP2が写っている領域を注意対象領域ATとして特定し、注意対象領域ATについて拡大処理又は輝度調整処理等の画像処理を行う。注意対象領域ATについての処理後画像が外部装置40に表示されれば、外部装置40のユーザは、注意対象物体を容易に認識することができる。それによって、例えば、外部装置40のユーザは、ビデオ通信の通話によって自動車Mの運転者に歩行者がいることを伝えて注意を呼び掛けるといった運転の補助をし易くなる。
なお、図6に示す例においては、画像IMに太陽Sが写りこんでいる。このような場合、太陽が非常に明るいために、画像IM中の太陽Sが写っている領域の輝度が高いことによって、注意対象領域ATの輝度が相対的に低くなり、歩行者P1及びP2を画像IM中に認識し難くなることがある。このような場合、注意対象領域ATについて拡大処理及び輝度調整処理を行うことで、注意対象領域ATのみを含む、画像IMの部分拡大画像を処理後画像とすることができる。その場合、画像IM中の太陽Sの写っている領域の輝度に関わらず、注意対象領域AT内の視認性が高くなるように輝度の調整を行うことができる。
図7は、外部装置40の正面図である。上述のように、本実施例において、外部装置40はスマートフォンである。
タッチパネル41は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル41は、ユーザから受け付けたタッチパネル41への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル41には、車載装置10から配信された映像が表示される。
図7において、図6に示した注意対象領域ATについて拡大処理及び輝度調整処理が行われた処理後画像がタッチパネル41に表示されている例を示している。
また、タッチパネル41には、ビデオ通信に関する情報が表示され、例えばビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置40のユーザは、タッチパネル41への入力操作によって、ビデオ通信の開始のための入力操作を行うことが可能である。
スピーカ43は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ43からは、音声通話における車載装置10からの音声が発せられる。
マイク45は、外部装置40に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク45によって収音された音声が音声通話の音声としてサーバ30を介して車載装置10に送信される。
図8は、外部装置40の構成の一例を示すブロック図である。例えば、外部装置40は、システムバス(図示せず)を介して、記憶部47と、制御部49と、通信部51と、が協働する装置である。
記憶部47は、例えば、ハードディスク装置、SSD(solid state drive)、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置40用のソフトウェア等の各種プログラムを記憶する。
なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部47に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
制御部49は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、コンピュータとして機能する。そして、CPUがROMや記憶部47に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
制御部49は、タッチパネル41、スピーカ43及びマイク45に通信可能に接続されている。
制御部49は、タッチパネル41への入力操作を示す信号及びマイク45からの音声入力信号を受信することが可能である。例えば、制御部49は、タッチパネル41及びマイク45によってユーザからなされたビデオ通信の開始のための入力操作を受け付けることが可能である。
また、制御部49は、タッチパネル41に映像または画像信号を送信して表示をさせたり、スピーカ43に音声信号を送信して、音を出力させたりすることが可能である。
例えば、制御部49は、ビデオ通信の開始の要求を受け付けるための開始画面等の画面をタッチパネル41に表示させる。
また、例えば、制御部49は、ビデオ通信中における処理後画像をタッチパネル41に表示させ、自動車Mにおいて収音されたビデオ通信中における音声をスピーカ43に出力させる。
通信部51は、上記したネットワークNWに接続されており、処理後画像等の種々のデータをサーバ30との間で送受信する。また、通信部51は、車載装置10から送信された音声や経路情報や外部装置40において取得された音声等の種々のデータを車載装置10との間でサーバ30を介して送受信する。
外部装置40の制御部49は、通信部51を介して、ビデオ通信の開始画面等の画面を表示させるための情報を受信可能である。
また、制御部49は、ビデオ通信中において、サーバ30において拡大処理又は輝度調整処理等の画像処理が施された処理後画像を逐次受信する。
また、制御部49は、通信部51を介して、ビデオ通信における音声通話のために、マイク45によって収音された音声の音声データを車載装置10に送信可能である。また、制御部49は、通信部51を介して、ビデオ通信における音声通話のために、車載装置10から送信された音声データを受信可能である。
例えば、外部装置40の制御部49は、通信部51を介して、サーバ30から車載装置10から送信された自動車Mの現在位置情報を受信可能である。また、例えば、制御部49は、通信部51を介して、サーバ30から、自動車Mの経路情報またはナビゲーション情報を受信可能である。
図9は、自動車Mの運転者の運転負荷が閾値未満である場合に、車外カメラ13によって撮影された画像IMの一例を示す図である。図9において、画像IMは、自動車Mが直線道路を走行している際の自動車Mの前方を撮影した画像である。図9に示すように、自動車Mの前方には、直線道路が続いており、左手に、山MTが写っている。
このような直線道路を運転している状況では、例えば、運転操作の状態に基づいて運転負荷の情報を取得する場合、加速度が安定し、ステアリング切れ角が小さいために、運転負荷が低いとの情報が取得される。また、このような直線道路の場合、地図データベースに含まれる道路リンクに対応する運転負荷が低く設定され、運転負荷が低いとの情報が取得される。本実施例において、このような運転負荷が低い場面で画像IM中に写っている山MTは、外部装置40のユーザによる視認が推奨される景観を構成する地物とする。
画像生成部39は、山MTを画像処理の対象物として特定し、山MTが写っている領域を地物領域LSとして特定し、地物領域LSについて拡大処理又は輝度調整処理等の画像処理を行う。
図10は、外部装置40のタッチパネル41に、図9に示した地物領域LSについて拡大処理及び輝度調整処理が行われた処理後画像が表示されている様子を示す図である。例えば、外部装置40のユーザは、地物領域LSについての処理後画像を見ることで、自動車Mの前方の景観を楽しむことができる。
このように、本実施例において、運転負荷が低い状況下では、景観を構成する地物ややPOI等の所定の地物を画像処理の対象物とすることで、ユーザが見たいものが写っている蓋然性が高い処理後画像を外部装置40において表示させることができる。
図11は、外部装置40のタッチパネル41に、運転負荷が高い(閾値以上である)場合の、図6に示した注意対象領域ATについて拡大処理を行わずに輝度調整を行った処理後画像が表示されている様子を示す図である。
例えば、注意対象領域AT内の輝度調整を行うことで、注意対象領域AT内の注意対象物体である歩行者P1及びP2を、外部装置40のユーザにとって認識し易い処理後画像とすることができる。例えば、注意対象領域ATについて拡大処理を行わない場合であっても、輝度調整、コントラストの調整、明度の調整、及び彩度の調整のいずれか1つ以上の画像処理を行うことで、外部装置40のユーザにとって認識し易い処理後画像を生成することができる。
さらに、注意対象領域ATの外側の領域について画像処理を行うことで、注意対象領域AT内の視認性を高めてもよい。例えば、注意対象領域AT以外の領域の輝度を低くすることで、注意対象領域AT内の輝度が相対的に高くなり、外部装置40のユーザにとって注意対象物体を認識しやすい処理後画像とすることができる。
図12は、サーバ30の制御部35によって実行される画像配信ルーチンRT1を示すフローチャートである。制御部35は、例えば、車載装置10と外部装置40との間でビデオ通信が開始されると、画像配信ルーチンRT1を開始する。
制御部35は、画像配信ルーチンRT1を開始すると、車外カメラ13によって撮影された画像及び自動車Mにおいて検出された検出情報を車載装置10から取得する(ステップS101)。ステップS101において、制御部35は、通信部33を介して画像及び検出情報を受信する。
ステップS101において、例えば、加速度センサ情報、ステアリングセンサ情報、又は自動車Mの現在位置情報が取得される。
ステップS101の実行後、制御部35の運転負荷取得部37は、S101において取得された検出情報に基づいて、自動車Mの運転者の運転負荷を取得する(ステップS102)。ステップS102において、運転負荷取得部37は、例えば、自動車Mの加速度センサ情報又はステアリングセンサ情報に基づいて、自動車Mの操作状態に基づいた運転負荷を取得する。
ステップS102において、例えば、自動車Mの現在位置情報に基づいて、記憶部31に記憶されている地図データベースを参照し、自動車Mが走行中の道路リンクに対応付けられている運転負荷を取得する。
ステップS102において、例えば、加速度センサ情報、ステアリングセンサ情報及び自動車Mの現在位置情報を用いて運転負荷が取得されてもよい。
ステップS102の実行後、制御部35の画像生成部39は、ステップS102において取得された運転負荷が所定のレベル以上であるか否かを判定する(ステップS103)。ステップS103において、例えば、画像生成部39は、運転負荷の高さが「高」又は「低」で表されている場合には、運転負荷の高さが「高」であるか否かを判定する。
ステップS103において、例えば、運転負荷が3つ以上のレベルで表されている場合には、所定のレベル以上であるか否かが判定される。ステップS103において、例えば、運転負荷が数値で表されている場合に、閾値以上であるか否かが判定される。
ステップS103において、運転負荷が所定のレベル以上であると判定する(ステップS103:YES)と、画像生成部39は、ステップS101において取得された画像中の、人や他車両等の注意対象物体が写っている領域である注意対象領域(運転注意領域)に着目した処理後画像を生成する(ステップS104)。
ステップS104において、例えば、図7に例示したように、注意対象領域ATについて拡大処理を行い、かつ輝度の調整を行った処理後画像が生成される。ステップS104において、例えば、注意対象領域ATについて拡大処理のみが行われてもよい。
ステップS104において、例えば、図11に例示したように、注意対象領域ATについて拡大処理を行わずに、輝度の調整又はコントラストの調整等の画像処理を行った処理後画像が生成されてもよい。
ステップS103において、運転負荷が所定のレベル以上ではないと判定する(ステップS103:NO)と、画像生成部39は、景観を構成する地物やPOIとして指定されている地物等の特定種類の地物が写っている領域である地物領域(景観領域)に着目した処理後画像を生成する(ステップS105)。
ステップS105において、例えば、図10に例示したように、地物領域LSについて拡大処理を行い、かつ輝度の調整を行った処理後画像が生成される。ステップS105において、例えば、地物領域LSについて拡大処理のみが行われてもよい。
ステップS105において、例えば、地物領域LSについて拡大処理を行わずに、輝度の調整又はコントラストの調整等の画像処理を行った処理後画像が生成されてもよい。
ステップS104又はステップS105の実行後、制御部35は、通信部33を介して、処理後画像を外部装置40に送信する(ステップS106)。
ステップS106の実行後、制御部35は、画像配信ルーチンRT1を終了し、次の画像配信ルーチンRT1を新たに開始する。制御部35が画像配信ルーチンRT1を繰り返し実行することによって、処理後画像が外部装置40に逐次送信される。
例えば、画像配信ルーチンRT1のステップS104において、複数の注意対象領域ATが特定された場合には、複数の注意対象領域ATについての複数の処理後画像が生成されてもよい。
当該複数の処理後画像が外部装置40において表示される際に、当該複数の処理後画像の各々が時間を区切って、例えば所定時間(例えば、数秒)経過する毎に順に表示されるようにしてもよい。例えば、複数の処理後画像について、表示する優先順位を付けて、優先順位の高い順に表示されるようにしてもよい。
例えば、元の画像中の注意対象領域ATとして、歩行者が写っている領域と自転車が写っている領域とが特定された場合に、歩行者を含む処理後画像と自転車が写っている処理後画像が生成されてもよい。例えば、対象物の種類についての表示の優先度を歩行者>自転車>車・バイクとした場合、上記の2つの処理後画像は、例えば歩行者を5秒間拡大表示し、その後自転車を5秒間拡大表示するといった態様で表示されてもよい。
画像配信ルーチンRT1のステップS105において、複数の地物領域STが特定された場合についても同様に、複数の処理後画像が生成されてもよく、当該複数の処理後画像の各々が時間を区切って優先度順に表示されてもよい。
以上、詳細に説明したように、本実施例の通信システム100は、サーバ30を介して、第1装置としての車載装置10と第2装置としての外部装置40との間で音声通話を成立させつつ、車載装置10が搭載されている移動体としての自動車Mにおける画像を外部装置40に送信するビデオ通信を行うことが可能である。
本実施例の通信システム100は、移動体の運転者の運転負荷を取得する運転負荷取得部と、運転負荷の高さに基づいて画像中の1又は複数の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は当該領域について画像処理を行って処理後画像を生成する画像生成部と、処理後画像を第2装置に送信する送信部と、を有する。
例えば、運転負荷が閾値以上である場合、人や他車両等の運転に注意が必要な対象物に着目して拡大処理又は輝度調整等の画像処理が行われた処理後画像が生成されて送信され、外部装置40のタッチパネルに表示される。それによって、外部装置40のユーザは、運転に注意が必要な領域に写っている対象物を視認容易となるかまたは明確に認識することができ、例えばビデオ通信における通話によって運転者に注意を呼び掛けることができ、運転の補助をすることができる。例えば、本実施例の通信システム100は、外部装置40のユーザを運転の講師とし、自動車Mの運転者を生徒とすることで、運転の講習等にも利用可能である。
例えば、運転負荷が閾値未満である場合、景観を構成する地物又はPOIとして指定されている地物等の地物が写っている領域に着目して拡大処理又は輝度調整等の画像処理が行われた処理後画像が生成されて送信され、外部装置40のタッチパネルに表示される。それによって、外部装置40のユーザは、景観やPOIが鮮明に見えることで、仮想のドライブを楽しむことができる。
このような構成により、外部装置40のユーザである仮想同乗者にとって、画像中の着目したい領域である蓋然性が高い領域について拡大処理又は輝度調整等の画像処理が行われた処理後画像を外部装置40のユーザに提示することができる。
従って、移動体内の第1装置から移動体外の第2装置に画像を送信するシステムにおいて、運転の状況に応じてユーザが注目する蓋然性が高い対象物について認識し易く加工した画像を第2装置において表示させることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。
なお、外部装置40に表示される画像は、通信量低減のため、車外カメラ13が撮像した画像が高画質(例えば、フルHD画質(1920×1080画素))の画像であっても、これを低画質(例えば、SD画質(720×480画素))にして送信される画像である場合がある。このように外部装置40側で表示される画像の画質が低い場合、外部装置40のユーザにとって画像に映っているものを認識しにくい場合がある。本発明において対象物が写っている領域を拡大処理する場合、画素数が低くなっても着目すべき対象物を鮮明にまたは視認容易に表示することができる。
[変形例]
図13は、実施例の通信システム100の変形例における車載装置60の構成の一例を示すブロック図である。上記の実施例においてサーバ30が有する運転負荷取得部37及び画像生成部39の機能を、本変形例においては車載装置60が有している。
図13は、実施例の通信システム100の変形例における車載装置60の構成の一例を示すブロック図である。上記の実施例においてサーバ30が有する運転負荷取得部37及び画像生成部39の機能を、本変形例においては車載装置60が有している。
具体的には、車載装置60の制御部61は、運転負荷取得部63と、画像生成部65とを有している。記憶部67は、地図データベースを有しており、当該地図データベースにおいて、道路リンク毎に運転負荷が対応付けられている。
また、記憶部67は、自動車Mにおける検出情報に基づいて運転負荷を取得し、運転負荷の高さに基づいて、車外カメラ13によって撮影された画像中の対象物を特定し、対象物が写っている領域について拡大処置をするか又は画像処理をして処理後画像を生成し、処理後画像を外部装置40に送信するための通信プログラムを記憶している。
制御部61は、車載装置10の制御部35と同様に、自動車Mに備えられた各種機器に通信可能に接続されている。
例えば、車載装置60が外部装置40との間でビデオ通信を開始すると、制御部61は、図12に示した画像配信ルーチンRT1と同様のルーチンを実行する。具体的には、運転負荷取得部63が運転負荷を取得し、画像生成部65が、運転負荷の高さに基づいて、車外カメラ13によって撮影された画像中の1又は複数の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は当該領域について画像処理を行い、処理後画像を生成する。
その後、制御部61は、通信部27を介して処理後画像を外部に送信する。車載装置60からの処理後画像の送信先はサーバ30でもよく、外部装置40に直接送信してもよい。本変形例において、サーバ30は、車載装置60から受信した処理後画像について、画像処理を行わずに外部装置40に転送する。
本変形例によれば、サーバ30を介さずに、外部装置40と車載装置60との間でビデオ通信を行って、ビデオ通信中の自動車Mの運転者の運転負荷の高さに応じた処理後画像を車載装置60から外部装置40に配信することが可能である。
例えば、本変形例におけるビデオ通信は、サーバ30を介さずに、車載装置10と外部装置40との間でP2P(Peer to Peer)通信などによって直接なされてもよい。
上述した実施例及び変形例における車載装置10、車載装置60、サーバ30及び外部装置40の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
例えば、上記の実施例及び変形例において、処理対象領域を拡大する拡大処理又は処理対象領域の輝度を調整する輝度調整処理等の画像処理を行うことについて説明したが、当該画像処理に代えて、又はこれに加えて、処理対象領域を枠で囲うマーキングなどの対象物を目立たせる処理を行ってもよい。
また、上記の実施例及び変形例において、拡大処理及び輝度調整処理が行われた処理後画像の例として、図7及び図10では、外部装置40のタッチパネル41の全体に拡大画像が表示されている例について示したが、少なくとも拡大処理が行われた処理後画像(拡大画像と称する)の表示態様はこれに限られない。例えば、タッチパネル41の画面を複数の領域に分割して、拡大されていない画像(例えば、図6)と、拡大画像(例えば、図7)とを、併せて表示してもよい。または、例えば、拡大されていない画像に拡大画像を重畳して表示してもよい。
上記の実施例及び変形例において、運転負荷が高い場合には、歩行者や他の車両等の運転時に注意が必要な注意対象物体を対象物として処理後画像を生成し(画像配信ルーチンRT1のステップS104)、運転負荷が低い場合には、所定の景観を構成する地物等の特定種類の地物を対象物として処理後画像を生成する(画像配信ルーチンRT1のステップS105)例について説明したが、これに限られない。
例えば、画像配信ルーチンRT1において、ステップS103において運転負荷が所定のレベル以上である(運転負荷が高い)と判定された場合に、ステップS104を実行して注意対象物体を対象物として、運転注意領域に着目した処理後画像を生成し、ステップS103において運転負荷が低いと判定された場合には、処理後画像を生成しないこととしてもよい。すなわち、運転負荷が低い場合には拡大処理又は他の画像処理を施さない通常の画像が表示されるようにしてもよい。このような処理は、例えば、運転講習に利用することができる。
例えば、画像配信ルーチンRT1において、ステップS103において運転負荷が所定のレベル以上ではない(運転負荷が低い)と判定された場合に、ステップS105を実行して特定種類の地物を対象物として景観領域に着目した処理後画像を生成し、ステップS103において運転負荷が高いと判定された場合には、処理後画像を生成しないこととしてもよい。すなわち、運転負荷が高い場合には拡大処理又は他の画像処理を施さない通常の画像が表示されるようにしてもよい。このような処理は、例えば、観光案内に利用することができる。
上記の実施例及び変形例においては、通信システム100においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム100において、自動車Mと共に移動する第1装置としての車載装置10によって取得された自動車Mにおける映像を第2装置としての外部装置40に送信し、かつ外部装置40における音声を車載装置10に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、車載装置10からは音声が送信されない態様での通信にも適用可能である。
また、上記の実施例においては、車載装置10と外部装置40とがサーバ30を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置10と外部装置40との間で直接なされてもよい。
また、通信システム100で車載装置10から外部装置40に上記映像配信が行われつつ、通信システム100とは別の経路で並行して車載装置10と外部装置40との間の音声通話が確立されていても良い。
上記実施例及び変形例において、自動車Mの前方を撮影した画像を用いる例について説明したが、これに限られない。例えば、自動車Mには、車内を撮影するカメラ、自動車Mの側方又は後方を撮影するカメラ、又は360度カメラが備えられていてもよい。自動車Mの前方以外の方向を撮影した画像中の処理対象領域について、拡大処理が行われるか又は輝度調整処理等の画像処理が行われて処理後画像が生成されてもよい。
例えば、運転負荷が高い場面では、自動車Mの側方又は後方の注意対象領域について拡大処理が行われるか又は輝度調整処理等の画像処理が行われた処理後画像が生成されてもよい。外部装置40のユーザは、自動車Mの側方又は後方の目視確認を行って運転の補助をすることができる。また、例えば、運転負荷が低い場面では、自動車Mの側方又は後方の地物領域について拡大処理が行われるか又は輝度調整処理等の画像処理が行われた処理後画像が生成されてもよい。外部装置40のユーザは、自動車Mの側方又は後方の景色を楽しむことができる。
上記実施例及び変形例において、車載装置10及び車載装置60は、車載ナビゲーション装置であるとしたが、車載装置10又は車載装置60は、ナビゲーション機能を有していなくともよく、単に車外カメラ13からの動画を配信可能であればよい。
例えば、車載装置10は、車載装置10と同様の構成を有する端末装置と車外カメラ13とタッチパネル15とが一体化された構成であってもよい。具体的には、例えば、車載装置10は、上記車載装置10と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはPC等の端末装置であってもよい。この場合、車載装置10は、内蔵カメラが自動車Mのフロントガラスを通して自動車Mの前方を撮影可能なように、例えばクレードル等でダッシュボードDB上に取り付けられ得る。
また、車載装置10は、自動車Mの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置10は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ13と一体となった装置であってもよい。具体的には、車載装置10は、例えば、車外カメラ13の筐体内に上記した車載装置10のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置10は、上記において説明したような種々の表示出力を行わないこととしてもよい。
上記の実施例及び変形例において、外部装置40はスマートフォンである場合について説明したが、これに限られない。外部装置40は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置40は、タブレット、PC、ウェアラブル端末等の端末装置であってもよい。
上記の実施例及び変形例においては、車載装置10及び車載装置60が自動車Mに搭載される例を説明したが、車載装置10は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。
本発明において、運転負荷の取得手段は実施例及び変形例において説明したものに限られず、運転者にかかる負荷を所定の指標を用いて測定又は推定するものであればよい。例えば、加速度センサ情報又はステアリングセンサ情報に代えて、又はこれらに加えて、ウィンカー、アクセルペダル、ブレーキペダル、又はシフトレバー等の操作状態を示すセンサ情報に基づいて運転負荷が取得されてもよい。例えば、上記した運転負荷の取得手段の他に、生体情報を用いる手段や画像認識によって自動車Mの周囲の状況から運転負荷を推定する手段を採用してもよい。
10、60 車載装置
13 車外カメラ
15 タッチパネル
17 スピーカ
19 マイク
21 ステアリングホイール
21S ステアリングセンサ
22 加速度センサ
23 記憶部
25 制御部
27 通信部
30 サーバ
31 記憶部
33 通信部
35 制御部
37、63 運転負荷取得部
39、65 画像生成部
40 外部装置
41 タッチパネル
43 スピーカ
45 マイク
47 記憶部
49 制御部
51 通信部
13 車外カメラ
15 タッチパネル
17 スピーカ
19 マイク
21 ステアリングホイール
21S ステアリングセンサ
22 加速度センサ
23 記憶部
25 制御部
27 通信部
30 サーバ
31 記憶部
33 通信部
35 制御部
37、63 運転負荷取得部
39、65 画像生成部
40 外部装置
41 タッチパネル
43 スピーカ
45 マイク
47 記憶部
49 制御部
51 通信部
Claims (14)
- 移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、前記第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムであって、
前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、
前記処理後画像を前記第2装置に送信する送信部と、
を有することを特徴とする通信システム。 - 前記画像生成部は、前記運転負荷の高さが閾値以上である場合に、前記画像中の移動体を前記対象物として特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は画像処理を行い、前記処理後画像を生成することを特徴とする請求項1に記載の通信システム。
- 前記画像生成部は、前記運転負荷の高さが閾値以上である場合に、前記画像中の運転時に注意が必要な物体を前記対象物として特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は画像処理を行い、前記処理後画像を生成することを特徴とする請求項1に記載の通信システム。
- 前記運転時に注意が必要な物体は、人又は車両を含むことを特徴とする請求項3に記載の通信システム。
- 前記画像生成部は、前記運転負荷の高さが閾値未満である場合に、前記画像中の特定種類の地物を前記対象物として特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は画像処理を行い、前記処理後画像を生成することを特徴とする請求項1に記載の通信システム。
- 前記画像処理は輝度の調整を含む請求項1に記載の通信システム。
- 前記運転負荷取得部は、前記移動体の操作状態に基づいた前記運転負荷を取得することを特徴とする請求項1に記載の通信システム。
- 前記運転負荷取得部は、前記移動体の速度又は加速度に基づいた前記運転負荷を取得することを特徴とする請求項7に記載の通信システム。
- 前記運転負荷取得部は、前記移動体の現在位置に基づいて地図情報に対応付けられた前記運転負荷を取得することを特徴とする請求項1に記載の通信システム。
- 移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、前記第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、
前記処理後画像を前記第2装置に送信する送信ステップと、
を含むことを特徴とする通信方法。 - コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、前記第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、
前記処理後画像を前記第2装置に送信する送信ステップと、
を実行させるための通信プログラム。 - コンピュータを備え、移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、前記第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行う通信システムに、
前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、
前記処理後画像を前記第2装置に送信する送信ステップと、
を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。 - 移動体と共に移動し、前記移動体における画像を取得して他の装置に送信し、かつ、前記他の装置から音声を受信する音声映像通信を行う通信装置であって、
前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、
前記処理後画像を前記他の装置に送信する送信部と、
を有することを特徴とする通信装置。 - 移動体と共に移動する第1装置によって取得された前記移動体における画像を第2装置に送信し、かつ、前記第2装置によって取得された音声を前記第1装置に送信する音声映像通信を行うサーバ装置であって、
前記第1装置から前記画像を取得する画像取得部と、
前記移動体において検出された検出情報を前記第1装置から取得し、前記検出情報に基づいて前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
前記運転負荷の高さに基づいて前記画像中の1又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、
前記処理後画像を前記第2装置に送信する送信部と、
を有することを特徴とするサーバ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022206924A JP2024090801A (ja) | 2022-12-23 | 2022-12-23 | 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022206924A JP2024090801A (ja) | 2022-12-23 | 2022-12-23 | 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024090801A true JP2024090801A (ja) | 2024-07-04 |
Family
ID=91714747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022206924A Pending JP2024090801A (ja) | 2022-12-23 | 2022-12-23 | 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024090801A (ja) |
-
2022
- 2022-12-23 JP JP2022206924A patent/JP2024090801A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200377126A1 (en) | Information output control device and information output control method | |
JP6906052B2 (ja) | 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム | |
WO2011118064A1 (ja) | 車両想起音発生装置及び車両想起音発生方法 | |
JP2009516189A (ja) | 交通情報を表示するナビゲーションデバイス | |
JP7200645B2 (ja) | 車載装置、プログラム、及び車両 | |
JP6708785B2 (ja) | 走行経路提供システムおよびその制御方法、並びにプログラム | |
CN109952491B (zh) | 生成由车辆的感知***检测的对象的表示的方法和*** | |
JP2019121107A (ja) | 車載通信装置及び車両 | |
KR20230020564A (ko) | 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화 | |
US20220120581A1 (en) | End of trip sequence | |
JP4858212B2 (ja) | 車載ナビゲーション装置 | |
US10889238B2 (en) | Method for providing a spatially perceptible acoustic signal for a rider of a two-wheeled vehicle | |
JP2005069776A (ja) | 車両用表示方法、車両用表示装置 | |
CN112141010B (zh) | 一种控制方法、装置、电子设备及存储介质 | |
JP2022104107A (ja) | 車両遠隔操作システム及び車両遠隔操作方法 | |
JP2024090801A (ja) | 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 | |
JP2017182418A (ja) | 運転支援装置及び運転支援システム | |
JP2024090876A (ja) | 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 | |
JP7451901B2 (ja) | 通信装置、通信方法及びプログラム | |
JP4923579B2 (ja) | 挙動情報取得装置、表示端末及び挙動情報通知システム | |
JPH11205782A (ja) | 車両用前方画像処理装置及び車両用前方画像処理システム | |
WO2023127093A1 (ja) | 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 | |
JP2005207777A (ja) | 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム | |
EP4383225A1 (en) | Information processing device, information processing method, information processing program, and storage medium | |
WO2022208812A1 (ja) | 音声制御装置、音声制御システム、音声制御方法、音声制御プログラム及び記憶媒体 |