JP2024090801A - 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 - Google Patents

通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Download PDF

Info

Publication number
JP2024090801A
JP2024090801A JP2022206924A JP2022206924A JP2024090801A JP 2024090801 A JP2024090801 A JP 2024090801A JP 2022206924 A JP2022206924 A JP 2022206924A JP 2022206924 A JP2022206924 A JP 2022206924A JP 2024090801 A JP2024090801 A JP 2024090801A
Authority
JP
Japan
Prior art keywords
image
driving load
communication
area
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022206924A
Other languages
English (en)
Inventor
晶勅 床井
廣人 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2022206924A priority Critical patent/JP2024090801A/ja
Publication of JP2024090801A publication Critical patent/JP2024090801A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】運転の状況に応じてユーザが注目する蓋然性が高い対象物について認識し易く加工した画像を第２装置において表示させることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。【解決手段】移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記第２装置に送信する送信部と、を有することを特徴とする。【選択図】図１

Description

本発明は、通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関し、例えば、移動体からの画像をユーザに提供可能な通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体に関する。
車両から撮像された画像に何らかの加工を施して表示する装置が知られている。
例えば、特許文献１には、画像認識によって撮影画像データから道路標識等の対象物を認識し、当該対象物を認識しやすいように撮影画像データを補正して車内のモニタに表示する画像表示システムが開示されている。引用文献１には、当該対象物について、予め登録されている固定情報である場合の他、画像表示システムのタッチパネル等から選択または入力される可変情報である場合について開示されている。
特開２００８－２９６９４３号公報
特許文献１のような画像表示システムにおいて、例えば、車両から撮影された画像をその車両の外部に位置する車外端末の表示画面に表示する場合、例えば、運転の補助が必要な状況では、車外端末のユーザは、当該車両から撮影された画像中の、周囲の歩行者や他車両等の運転の際に注意が必要な対象物に注目することが好ましい。それによって、例えば、歩行者がいることを運転者に伝えるなどの運転の補助をすることができる。
一方、運転の補助が必要無い状況では、当該車外端末のユーザは、当該車両から撮影された画像中の、例えば観光スポットが写っている部分に注目できることが好ましい。それによって、ユーザは、車外に居ながら周囲の景観を楽しむことができる。
このように、ユーザが注目する対象物として好ましいものが運転の状況によって異なる場合があるので、補正して表示する対象物を予め設定していても、運転の状況によっては好ましい対象物が補正して表示されない場合があることが課題の一つとして挙げられる。
本発明は上記した点に鑑みてなされたものであり、移動体内の第１装置から移動体外の第２装置に画像を送信するシステムにおいて、運転の状況に応じてユーザが注目する蓋然性が高い対象物について認識し易く加工した画像を第２装置において表示させることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することを目的の１つとしている。
請求項１に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記第２装置に送信する送信部と、を有することを特徴とする通信システムである。
請求項１０に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、前記処理後画像を前記第２装置に送信する送信ステップと、を含むことを特徴とする通信方法である。
請求項１１に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、前記処理後画像を前記第２装置に送信する送信ステップと、を実行させるための通信プログラムである。
請求項１２に記載の発明は、コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムに、前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、前記処理後画像を前記第２装置に送信する送信ステップと、を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体である。
請求項１３に記載の発明は、移動体と共に移動し、前記移動体における画像を取得して他の装置に送信し、かつ、前記他の装置から音声を受信する音声映像通信を行う通信装置であって、前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記他の装置に送信する送信部と、を有することを特徴とする通信装置である。
請求項１４に記載の発明は、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行うサーバ装置であって、前記第１装置から前記画像を取得する画像取得部と、前記移動体において検出された検出情報を前記第１装置から取得し、前記検出情報に基づいて前記移動体の運転者の運転負荷を取得する運転負荷取得部と、前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、前記処理後画像を前記第２装置に送信する送信部と、を有することを特徴とするサーバ装置である。
本発明の実施例に係る通信システムの概略を示す模式図である。 実施例に係る車両の前席部分の構成を示す図である。 実施例に係る車載装置の構成の一例を示すブロック図である。 実施例に係るサーバ装置の構成の一例を示すブロック図である。 実施例に係る運転負荷の高さの判定基準の一例を示す図である。 実施例に係る運転負荷の高さの判定基準の一例を示す図である。 実施例に係る運転負荷の高さの判定に用いるテーブルの一例を示す図である。 実施例に係る車外カメラによって撮影された画像の一例を示す図である。 実施例に係る外部装置の正面図である。 実施例に係る外部装置の構成の一例を示すブロック図である。 実施例において車外カメラによって撮影された画像の一例を示す図である。 実施例に係る外部装置に表示される表示画面の一例を示す図である。 実施例に係る外部装置に表示される表示画面の一例を示す図である。 実施例に係るサーバ装置によって実行されるルーチンの一例を示すフローチャートである。 実施例に係る通信システムの変形例における車載装置の構成の一例を示すブロック図である。
以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
実施例に係る車載装置１０を含む通信システム１００の構成について添付図面を参照しつつ説明する。
図１は、本発明の実施例である通信システム１００を示している。図１に示すように、通信システム１００は、車載装置１０、サーバ３０及び外部装置４０を含んで構成されている。なお、図１においては、車載装置１０が移動体の一例としての自動車Ｍに搭載されている場合を示している。また、図１においては、外部装置４０の一例として、スマートフォンを示している。
車載装置１０、サーバ３０及び外部装置４０は、ネットワークＮＷを介して、例えば、ＴＣＰ／ＩＰや、ＵＤＰ／ＩＰ等の通信プロトコルを用いて相互にデータの送受信が可能になっている。なお、ネットワークＮＷは、例えば、移動体通信網、Ｗｉ-Ｆｉ（登録商標）等の無線通信及び有線通信を含むインターネット通信により構築され得る。
通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける映像及び音声を、第２装置としての外部装置４０に送信し、外部装置４０によって取得された音声を車載装置１０に送信する音声映像通信が可能である。
本実施例の通信システム１００においては、車載装置１０と外部装置４０との間で音声通話が確立された上で、車載装置１０から自動車Ｍにおいて撮影された映像が外部装置４０に配信される。
以下の説明において、上記のように、車載装置１０と外部装置４０との間での音声通話を確立させつつ、自動車Ｍにおいて撮影された映像を車載装置１０から外部装置４０に配信する通信態様を音声映像通信の一態様としてのビデオ通信と称する。本実施例において、車載装置１０と外部装置４０とは、サーバ３０を介してビデオ通信を行っている。
このようなビデオ通信が行われることで、車載装置１０から送信される映像を視聴している外部装置４０のユーザは、あたかも自動車Ｍの運転者と自動車Ｍに同乗しているような感覚を得ることができる。言い換えれば、ビデオ通信によって、外部装置４０のユーザの自動車Ｍへの仮想同乗を実現することができる。また、このようなビデオ通信を実現可能な本実施例の通信システム１００のようなシステムを仮想同乗システムとも称する。
例えば、ビデオ通信中に、外部装置４０のユーザは、車載装置１０から送信される映像を見ることで、自動車Ｍの周囲の状況を、自動車Ｍの助手席に乗っているような感覚で見ることができる。例えば、外部装置４０のユーザは、ビデオ通信中に、自動車Ｍの周囲の景観を楽しむことができる。
また、外部装置４０のユーザは、例えば、ビデオ通信中に、運転者への注意喚起等の補助をすることができる。具体的には、外部装置４０のユーザは、自動車Ｍの前方を撮影した画像を見ることで、自動車Ｍの運転者が左右の一方側に注意を向けている間に、逆側から他の車両が来ないか確認を行うといった、運転者に必要な注意を補完することで、運転の補助をすることができる。
本実施例において、サーバ３０は、自動車Ｍにおいて撮影された映像を車載装置１０から受信し、当該映像を構成するフレーム画像の各々に対して画像処理を施した処理後画像を外部装置４０に送信することが可能である。例えば、当該画像処理は、外部装置４０のユーザにとってより見やすいようにするための画像処理である。
以下、本実施例においては、車載装置１０がカーナビゲーション装置である場合を例に説明する。また、本実施例においては、車載装置１０が、ユーザが案内を希望する目的地をユーザから受け付け、当該目的地をサーバ３０に送信し、サーバ３０が目的地への経路を生成する、いわゆるクラウド型のカーナビゲーション装置の端末装置である場合を例に説明する。
図２は、車載装置１０を搭載している自動車Ｍの前席付近を示す斜視図である。図２では、取り付け例として、自動車Ｍの前席のダッシュボードＤＢ内に車載装置１０が取り付けられている場合を示す。
ＧＰＳ受信機１１は、ＧＰＳ（Global Positioning System）衛星からの信号（ＧＰＳ信号）を受信する装置である。ＧＰＳ受信機１１は、例えば、ダッシュボードＤＢ上に配されている。なお、ＧＰＳ受信機１１は、ＧＰＳ信号が受信できればどこに配されていてもよい。ＧＰＳ受信機１１は、受信したＧＰＳ信号を車載装置１０に送信することが可能である。
車外カメラ１３は、自動車Ｍの前方を撮影する撮像装置である。本実施例において、車外カメラ１３は、前方が撮影方向となる様にダッシュボードＤＢに配されている。例えば、車外カメラ１３は、フロントガラスを介して自動車Ｍの前方を撮影可能である。なお、車外カメラ１３は、ルームミラーＲＭの近傍に設けられても良く、フロントガラスＦＧの内側に取り付けられていてもよい。ビデオ通信時には、車外カメラ１３によって撮像された映像が、外部装置４０に配信される。
タッチパネル１５は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル１５は、例えば、ダッシュボードＤＢのセンターコンソールＣＣに配されている。タッチパネル１５は、運転者から視認できかつ運転者の手が届く場所に配されていればよい。例えば、タッチパネル１５は、ダッシュボードＤＢ上に取り付けられていてもよい。
タッチパネル１５は、車載装置１０の制御に基づいて画面表示を行うことが可能である。また、タッチパネル１５は、ユーザから受け付けたタッチパネル１５への入力操作を表す信号を車載装置１０に送信することが可能である。例えば、タッチパネル１５には、カーナビゲーションの案内表示がなされても良い。また、タッチパネル１５を介して、目的地を設定する等、カーナビゲーション機能に関する操作が可能であってもよい。
また、タッチパネル１５には、ビデオ通信に関する情報が表示されてもよく、ビデオ通信のための接続（以下、ビデオ接続とも称する）をするための操作の受付画面が表示されてもよい。自動車Ｍの乗員はタッチパネル１５への入力操作によって、ビデオ通信の接続操作を行ってもよい。
スピーカ１７は、例えば、ＡピラーＡＰの室内側に設けられている。スピーカ１７は、車載装置１０の制御に基づいて音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ１７からは、音声通話における外部装置４０からの音声が発せられる。
マイク１９は、車内の音を受音するマイク装置であり、例えば、ダッシュボードＤＢ上に配されている。マイク１９は、車内の音を受音可能であれば、ルームミラーＲＭまたはステアリングホイール２１等、どこに設けられていてもよい。ビデオ通信時において、マイク１９に収音された音声が音声通話の音声として外部装置４０に送信される。また、ビデオ接続のための操作入力等のビデオ通信に関する操作入力が、マイク１９を介して音声によって行われてもよい。
ステアリングホイール２１は、自動車Ｍの操舵のための操縦操作を受け付ける部材である。ステアリングホイール２１は、ダッシュボードＤＢに対して回動可能に設けられている。ステアリングホイール２１が回動させられると、それに従って自動車Ｍの操舵輪となる車輪が回動動作する。
図３は、車載装置１０の構成を示すブロック図である。例えば、車載装置１０は、システムバスを介して、記憶部２３と、制御部２５と、通信部２７と、が協働する装置である。
ステアリングセンサ２１Ｓは、ステアリングホイール２１の回転量や回転方向、回転力等の操作に関する物理量を検出するセンサである。
また、自動車Ｍには加速度センサ２２が搭載されている。加速度センサ２２は、自動車Ｍの加速度を測定可能であり、当該測定された加速度を示す信号を出力可能な例えばＭＥＭＳ加速度センサであってもよい。なお、加速度センサ２２は慣性計測ユニット（ＩＭＵ：Inertial Measurement Unit）であってもよい。また、加速度センサ２２は、車載装置１０に内蔵されていてもよい。
記憶部２３は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成される記憶デバイスである。記憶部２３は、オペレーティングシステムや、端末用のソフトウェア等の、車載装置１０において実行される各種プログラムを記憶する。
各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部２３に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
また、記憶部２３は、また、道路地図を含む地図情報を記憶している。また、記憶部２３は、ビデオ通信の相手としての外部装置４０の連絡先を示す情報、例えば電話番号又はメールアドレス等の情報を記憶している。
制御部２５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。制御部２５は、ＣＰＵがＲＯＭや記憶部２４に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。本実施例においては、制御部２５によって、ビデオ通信時の動画配信機能、カーナビゲーション機能等が発揮される。
制御部２５は、自動車Ｍに備えられている各種機器、すなわち、ＧＰＳ受信機１１、車外カメラ１３、タッチパネル１５、スピーカ１７、マイク１９、ステアリングセンサ２１Ｓ、及び加速度センサ２２と通信可能に接続されている。制御部２５は、自動車Ｍに備えられている各種機器からデータを取得する。
具体的には、制御部２５は、ＧＰＳ受信機１１からのＧＰＳ信号を逐次取得する。
制御部２５は、車外カメラ１３によって撮像された映像を逐次取得する。
制御部２５は、タッチパネル１５への入力操作を表す信号を取得する。
また、制御部２５は、マイク１９によって収音された自動車Ｍにおける音声を逐次取得する。
また、制御部２５は、ステアリングセンサ２１Ｓによって取得された回転量や回転方向、回転力等の操作に関する物理量を示すセンサ情報を逐次取得する。
また、制御部２５は、加速度センサ２２によって計測された加速度を示す信号を逐次取得する。
通信部２７は、制御部２５の指示に従って外部機器とのデータの送受信を行う通信装置である。通信部２７は、例えば、ネットワークＮＷに接続するためのＮＩＣ（Network Interface Card）である。
通信部２７は、上記したネットワークＮＷに接続されており、種々のデータをサーバ３０との間で送受信する。また、通信部２７は、サーバ３０を介して種々のデータを外部装置４０との間で送受信する。
例えば、制御部２５は、通信部２７を介して、サーバ３０にユーザから入力された目的地を含む情報を送信し、サーバ３０から、当該目的地への経路情報またはナビゲーション情報を受信可能である。
制御部２５は、ビデオ通信中、通信部２７を介して、車外カメラ１３によって撮像された映像をサーバ３０に逐次送信する。
制御部２５は、ビデオ通信中、通信部２７を介して、自動車Ｍ内の検出機器によって検出された検出情報をサーバ３０に逐次送信する。具体的には、制御部２５は、ビデオ通信中、ＧＰＳ信号に基づいた自動車Ｍの現在位置情報をサーバ３０に逐次送信する。また、制御部２５は、加速度センサ２２によって検出された加速度センサ情報、及びステアリングセンサ２１Ｓによって検出されたステアリングセンサ情報を逐次送信する。これらの検出情報は、サーバ３０が行う画像処理の態様を決定するために用いられる。例えば、当該検出情報は、自動車Ｍの運転者の運転負荷（別言すると、ワークロードまたは運転大変度）を推定するために用いられ、当該運転負荷に基づいて上記画像処理の態様が決定される。
制御部２５は、通信部２７を介して、ビデオ通信に関してタッチパネル１５に表示させるための情報をサーバ３０から受信する。
制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、マイク１９によって収音された音声の音声データを外部装置４０に送信可能である。また、制御部２５は、通信部２７を介して、ビデオ通信における音声通話のために、外部装置４０に入力された音声の音声データを受信可能である。
図４は、サーバ３０の構成を示すブロック図である。例えば、サーバ３０はシステムバスを介して、記憶部３１と、通信部３３と、制御部３５と、が協働している装置である。
サーバ３０は、ビデオ通信中において、車載装置１０から、車外カメラ１３によって撮影された画像を逐次受信する。また、サーバ３０は、自動車Ｍにおいて検出された検出情報、すなわち、自動車Ｍの現在位置情報、加速度センサ情報、又はステアリングセンサ情報を車載装置１０から逐次受信する。
サーバ３０は、車載装置１０から受信した検出情報に基づいて、自動車Ｍの運転者にかかっている運転負荷を取得する機能を有する。また、サーバ３０は、取得した運転負荷に基づいて、車外カメラ１３によって自動車Ｍの前方を撮影した画像について画像処理を行った処理後画像を生成し、当該生成した処理後画像を外部装置４０に送信する機能を有する。
また、サーバ３０は、ビデオ通信中において、車載装置１０と外部装置４０との間の音声通話を確立し、当該音声通話のデータを転送するＳＩＰサーバのような機能を有している。
また、サーバ３０は、車載装置１０から自動車Ｍの現在位置情報及び自動車Ｍの乗員であるユーザが設定した目的地の情報を受信し、当該現在情報及び目的地の情報に基づいて当該目的地への経路を生成する機能を有する。
記憶部３１は、例えば、ハードディスク装置及びＳＳＤ（solid state drive）等により構成されており、オペレーティングシステムや、サーバ３０用のソフトウェア等の各種プログラムを記憶する。
各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部３１に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
記憶部３１は、例えば、サーバ３０が、自動車Ｍの運転者の運転負荷を取得し、当該取得した運転負荷に基づいて、車外カメラ１３によって撮影された自動車Ｍにおける画像中の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は他の画像処理を行って処理後画像を生成し、当該処理後画像を外部装置４０に送信するための通信プログラムを記憶している。
また、記憶部３１は、道路地図を含む地図情報が保存されている地図データベース（図示せず）を記憶している。地図データベースの地図情報は、例えばナビゲーション装置に用いられている地図情報と同等の情報を有しているデータベースである。
さらに、当該地図データベースにおいて、道路リンク毎又はノード毎に、その道路リンク又はノードを走行するドライバーの運転者にかかると推定される運転負荷の高さを示す運転負荷情報が対応付けられて記憶されている。
例えば、道路リンクに対応付けられた運転負荷の高さは、道路リンクが属する道路の種別や幅員、車線数、踏切、料金所、生活圏、交通量等の運転シーンに基づいて予め設定されたものである。例えば、交差点（ノード）や右左折、急カーブなどの場合は基本的に運転負荷が高いと推定されてもよく、さらに交通量等に応じてレベル分けされた運転負荷が対応付けられていてもよい。
例えば、サーバ３０は、自動車Ｍの現在位置情報に基づいて、自動車Ｍが走行中の道路リンク又はノードに対応付けられた運転負荷の高さを、自動車Ｍの運転者の運転負荷として取得する。
通信部３３は、上記したネットワークＮＷに接続されており、種々のデータを車載装置１０及び外部装置４０との間で送受信する。
制御部３５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵが、ＲＯＭや記憶部３１に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
制御部３５は、通信部３３を介して、車載装置１０から、車外カメラ１３によって撮影された画像を逐次受信する。また、制御部３５は、通信部３３を介して、自動車Ｍにおいて検出された検出情報、すなわち、自動車Ｍの現在位置情報、加速度センサ情報、又はステアリングセンサ情報を車載装置１０から逐次受信する。
制御部３５は、上述の通信プログラムを実行することで、自動車Ｍの運転者の運転負荷を取得する運転負荷取得部３７としての処理を実行し、当該取得した運転負荷に基づいて、車外カメラ１３によって撮影された自動車Ｍにおける画像中の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は他の画像処理を行って処理後画像を生成する画像生成部３９としての処理を実行する。言い換えれば、制御部３５は、機能部として、運転負荷取得部３７及び画像生成部３９を有する。制御部３５は、当該画像生成部３９によって処理された画像を外部装置４０に送信する。
運転負荷取得部３７は、上述の如く、自動車Ｍの運転者の運転負荷を取得する運転負荷取得ステップを実行する機能部である。運転負荷取得部３７は、自動車Ｍにおいて検出された検出情報に基づいて、自動車Ｍの運転者の運転負荷を取得する。例えば、運転負荷取得部３７は、加速度センサ情報又はステアリングセンサ情報、すなわち実際の運転操作の状態に基づいて自動車Ｍの運転者の運転負荷を取得する。又は、運転負荷取得部３７は、自動車Ｍの現在位置情報に基づいて、地図データベースの道路リンクに対応付けられた運転負荷情報を取得する。
［運転操作の状態に基づく運転負荷の取得］
上述のように、運転負荷取得部３７は、実際の運転操作の状態に基づいて自動車Ｍの運転者の運転負荷を取得することが可能である。
例えば、運転負荷取得部３７は、自動車Ｍの現在位置情報から速度を算出し、自動車Ｍの速度に基づいて自動車Ｍの運転者の運転負荷を取得する。速度に基づいた運転負荷の取得において、例えば、運転負荷の高さを「高」「低」の２段階で表し、速度が閾値以上である場合に運転負荷の高さを「高」と判定し、速度が閾値未満である場合に運転負荷の高さを「低」と判定することによって運転負荷を取得してもよい。
また、運転負荷取得部３７は、例えば、自動車Ｍに設けられた加速度センサ２２によって検出された加速度センサ情報に基づいて、自動車Ｍの運転者の運転負荷を取得する。
図５Ａは、加速度センサ情報が示す自動車Ｍの加速度に基づく運転負荷の高さの判定基準の一例であるテーブルＴＢ１を示す図である。テーブルＴＢ１は、例えば記憶部３１に記憶されている。テーブルＴＢ１には、前後方向の加速度の絶対値の閾値を０．３Ｇとし、自動車Ｍの前後方向の加速度の絶対値が、０．３Ｇ未満である場合には運転負荷「低」、０．３Ｇ以上である場合は運転負荷「高」とする判定基準が定められている。
運転負荷取得部３７は、テーブルＴＢ１を参照して、自動車Ｍの前後方向の加速度の絶対値が０．３Ｇ未満である場合には運転負荷「低」、０．３Ｇ以上である場合は運転負荷「高」と判定することで、自動車Ｍの運転者の運転負荷を取得する。
テーブルＴＢ１に基づいて、例えば、自動車Ｍの運転者が右左折のための減速、又は走行を開始する際の加速を行って、自動車Ｍの前後方向の加速度の絶対値が０．３Ｇ以上となった場合に、運転負荷「高」と判定され得る。例えば、自動車Ｍの運転者が安定した速度で走行中の場合や停車中であり、自動車Ｍの前後方向の加速度の絶対値が０．３Ｇ未満となった場合に、運転負荷「低」と判定され得る。
例えば、運転負荷の取得に用いられる加速度センサ情報は、前後方向の加速度に限られず、左右方向の加速度が運転負荷の取得に用いられてもよい。
また、運転負荷取得部３７は、例えば、自動車Ｍに設けられたステアリングセンサ２１Ｓによって検出されたステアリングセンサ情報に基づいて、自動車Ｍの運転者の運転負荷を取得する。
図５Ｂは、ステアリングセンサ情報が示す自動車Ｍのステアリングホイール２１の回転量（切れ角）に基づく運転負荷の高さの判定基準の一例であるテーブルＴＢ２を示す図である。テーブルＴＢ２は、例えば記憶部３１に記憶されている。テーブルＴＢ２には、ステアリングホイール２１の操作していない状態の切れ角を０°として切れ角の閾値を９０°とし、自動車Ｍのステアリングホイール２１の切れ角が、９０°未満である場合には運転負荷「低」、９０°以上である場合は運転負荷「高」とする判定基準が定められている。
運転負荷取得部３７は、テーブルＴＢ２を参照して、ステアリングホイール２１の切れ角が、９０°未満である場合には運転負荷「低」、９０°以上である場合は運転負荷「高」と判定することで、自動車Ｍの運転者の運転負荷を取得する。
テーブルＴＢ２に基づいて、例えば、自動車Ｍの運転者が右左折の際にステアリングホイール２１を操作して９０°以上回転させている場合に、運転負荷「高」と判定され得る。例えば、自動車Ｍが直進中であり、ステアリングホイール２１の切れ角が、９０°未満である場合には、運転負荷「低」と判定され得る。
［地図データベースによる運転負荷の取得］
上述したように、記憶部３１内の地図データベースにおいて、道路リンク毎又はノード毎に運転負荷情報が対応づけられて記憶されている。運転負荷取得部３７は、自動車Ｍの現在位置情報に基づいて、地図データベースにおいて自動車Ｍが走行中の道路リンクまたはノードに対応付けられた運転負荷情報を取得することで、自動車Ｍの運転者の運転負荷を取得することが可能である。
図５Ｃは、地図データベースにおいて道路リンク及びノードに対応付けられた運転負荷情報の一例であるテーブルＴＢ３を示す図である。テーブルＴＢ３において、運転負荷の高さが「低」「中」「高」の３段階で表されて道路上の区間（リンク）毎又は交差点、合流、分岐（ノード）毎に対応付けられている。また、テーブルＴＢ３において、運転負荷は「通勤時間帯」及び「その他の時間帯」の２つの時間帯に分けて、時間帯ごとに道路リンクやノードに対応付けられている。
運転負荷取得部３７は、自動車Ｍの現在位置情報に基づいて地図データベースを参照して自動車Ｍが現在走行中の道路リンク又はノードを特定する。また、運転負荷取得部３７は、テーブルＴＢ３を参照して、当該特定した道路リンク又はノードに対応付けられている運転負荷情報が示す運転負荷の高さを取得することで、自動車Ｍの運転者の運転負荷を取得する。
図５Ｃに示す例においては、リンクについては道路の規模や交通量等に応じて「高」、「中」、「低」が対応付けられている。また、図５Ｃに示す例においては、交差点や合流地点等のノードについては、運転負荷が高いと推定されて、「高」が対応付けられている。また、図５Ｃに示す例においては、一部の道路リンク（具体的には、データＩＤ１，２，４，５）について、通勤時間帯ではその他の時間帯よりも運転負荷が高いと推定されて、その他の時間帯よりも高いレベルの運転負荷が対応付けられている。
通勤時間帯は、例えば、午前７：００－９：００及び午後１７：００－１９：００等の時間帯が考えられ、この時間帯における交通量等を考慮して運転負荷が推定される。時間帯ごとの運転負荷の推定は、上記した例に限られず、例えば時間帯を夜間と日中に分けて、交通量に加えて明るさの違い等も考慮して運転負荷が推定されてもよい。
本実施例において、上述したような運転操作の状態に基づく運転負荷及び地図データベースに対応付けられた運転負荷のいずれを用いる場合であっても、車載装置１０からリアルタイムで検出情報を取得し、自動車Ｍの運転者の運転負荷をリアルタイムで取得することが可能である。
なお、図５Ａ～図５Ｃにおいて、運転負荷の高さを「高」と「低」との２段階のレベルで判定する例及び「高」「中」「低」の３段階のレベルで判定する例について説明したが、これに限られない。運転負荷の高さは、３つ以上のレベルに分けて判定されてもよい。また、運転負荷を数値として算出し、運転負荷の高さを数値として表してもよい。
運転負荷の高さは、複数の検出情報を組み合わせて取得されてもよい。例えば、加速度やステアリング切れ角等の運転の操作状態に基づいた運転負荷と、道路リンクに対応付けられた固定の運転負荷とを組み合わせてもよい。
続いて、画像生成部３９について説明する。画像生成部３９は、上述の如く、運転負荷取得部３７によって取得された運転負荷の高さに基づいて、車外カメラ１３によって撮影された画像中の１又は複数の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は当該領域について画像処理を行い、処理後画像を生成する画像生成ステップを実行する機能部である。
より詳細には、画像生成部３９は、サーバ３０において逐次受信される画像のうちの１の画像を取得し、画像認識を行って当該画像中の対象物を特定する。当該対象物は、運転負荷の高さに基づいて決まる種別の対象物である。
例えば、運転負荷の高さが閾値以上（例えば、運転負荷が「高」、又は「中」以上）である場合には、画像生成部３９は、歩行者や他の車両等の運転時に注意が必要な物体である注意対象物体を画像処理の対象物として特定する。そして、当該対象物としての注意対象物体が写っている画像中の領域である注意対象領域を特定する。例えば、注意対象物体には、歩行者や他車両等の移動体の他に、信号機、道路標識及び道路標示が含まれる。
例えば、運転負荷の高さが閾値未満（例えば、運転負荷「低」）である場合には、画像生成部３９は、特定種類の地物を画像処理の対象物として特定する。本明細書において、「地物」とは、樹木・河川・家屋・道路・鉄道等の天然又は人工のすべての物体を指す。
画像生成部３９は、例えば、所定の景観を構成する地物又はＰＯＩ（Point of interest）として地図データ中に指定されている地物を含む特定種類の地物を画像処理の対象物として特定する。そして、当該対象物としての特定種類の地物が写っている画像中の領域を地物領域として特定する。
画像生成部３９は、上記の対象物が写っている画像中の領域、すなわち注意対象領域又は地物領域について、拡大処理を行うか又は輝度の調整等の画像処理を行い、処理後画像を生成する。以下、注意対象領域及び地物領域を処理対象領域とも称する。
例えば、画像生成部３９は、処理対象領域を拡大する拡大処理又は処理対象領域の輝度を調整する輝度調整処理のいずれか一方を行ってもよく、当該拡大処理及び輝度調整処理の両方を行っても良い。また、拡大処理又は輝度調整処理に代えて又はこれに加えてコントラストの調整、明度又は彩度の調整を行ってもよい。
例えば、拡大処理は、拡大される領域の大部分を対象物が占めるように行われる場合に限られず、拡大される領域の一部に対象物が含まれるように拡大処理が行われてもよい。処理対象領域が拡大されることによって対象物が元の画像中の対象物よりも拡大されていればよい。例えば、処理対象領域は、その一部に対象物が含まれかつ当該対象物の周辺の景色を含むように特定されてもよい。また、拡大処理後の画像中、対象物が必ずしも中心に写っていなくともよい。
例えば、画像生成部３９は、サーバ３０において逐次受信される画像の各々について上述のような画像処理を逐次実行し、処理後画像を逐次生成する。
制御部３５は、画像生成部３９によって生成された処理後画像を外部装置４０に通信部３３を介して送信する。外部装置４０において、対象物が写っている領域について拡大処理又は輝度調整処理等の画像処理が施された画像が表示される。
図６は、自動車Ｍの運転者の運転負荷が閾値以上である場合に、車外カメラ１３によって撮影された画像ＩＭの一例を示す図である。図６において、画像ＩＭは、自動車Ｍが右折を行っている際の自動車Ｍの前方を撮影した画像である。図６に示すように、右折する先の道路に設けられている横断歩道を歩行者Ｐ１及びＰ２が横断中である。
このような右折の状況では、例えば、運転操作の状態に基づいて運転負荷の情報を取得する場合、加速度の変動が大きく、ステアリング切れ角が大きいために、運転負荷が高いとの情報が取得される。また、図５Ｃに示したように、地図データベースに含まれる交差点ノードに対応する運転負荷が上述のように高く設定されているので運転負荷が高いとの情報が取得される。本実施例において、このような運転負荷が高い場面で画像ＩＭ中に写っている歩行者Ｐ１及びＰ２は、運転時に注意が必要な注意対象物体に該当する。
このように、運転負荷が高い場合、画像生成部３９は、歩行者Ｐ１及びＰ２を対象物として特定し、歩行者Ｐ１及びＰ２が写っている領域を注意対象領域ＡＴとして特定し、注意対象領域ＡＴについて拡大処理又は輝度調整処理等の画像処理を行う。注意対象領域ＡＴについての処理後画像が外部装置４０に表示されれば、外部装置４０のユーザは、注意対象物体を容易に認識することができる。それによって、例えば、外部装置４０のユーザは、ビデオ通信の通話によって自動車Ｍの運転者に歩行者がいることを伝えて注意を呼び掛けるといった運転の補助をし易くなる。
なお、図６に示す例においては、画像ＩＭに太陽Ｓが写りこんでいる。このような場合、太陽が非常に明るいために、画像ＩＭ中の太陽Ｓが写っている領域の輝度が高いことによって、注意対象領域ＡＴの輝度が相対的に低くなり、歩行者Ｐ１及びＰ２を画像ＩＭ中に認識し難くなることがある。このような場合、注意対象領域ＡＴについて拡大処理及び輝度調整処理を行うことで、注意対象領域ＡＴのみを含む、画像ＩＭの部分拡大画像を処理後画像とすることができる。その場合、画像ＩＭ中の太陽Ｓの写っている領域の輝度に関わらず、注意対象領域ＡＴ内の視認性が高くなるように輝度の調整を行うことができる。
図７は、外部装置４０の正面図である。上述のように、本実施例において、外部装置４０はスマートフォンである。
タッチパネル４１は、例えば、映像を表示可能な液晶ディスプレイ等のディスプレイとタッチパッドとが組み合わされたタッチパネルモニターである。タッチパネル４１は、ユーザから受け付けたタッチパネル４１への入力操作を表す信号を生成することが可能である。本実施例において、タッチパネル４１には、車載装置１０から配信された映像が表示される。
図７において、図６に示した注意対象領域ＡＴについて拡大処理及び輝度調整処理が行われた処理後画像がタッチパネル４１に表示されている例を示している。
また、タッチパネル４１には、ビデオ通信に関する情報が表示され、例えばビデオ通信の接続を開始するための操作の受付画面が表示される。外部装置４０のユーザは、タッチパネル４１への入力操作によって、ビデオ通信の開始のための入力操作を行うことが可能である。
スピーカ４３は、音楽や音声等の音を発することが可能である。ビデオ通信時において、スピーカ４３からは、音声通話における車載装置１０からの音声が発せられる。
マイク４５は、外部装置４０に向けて発せられた音を受音するマイク装置である。ビデオ通信時において、マイク４５によって収音された音声が音声通話の音声としてサーバ３０を介して車載装置１０に送信される。
図８は、外部装置４０の構成の一例を示すブロック図である。例えば、外部装置４０は、システムバス（図示せず）を介して、記憶部４７と、制御部４９と、通信部５１と、が協働する装置である。
記憶部４７は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、オペレーティングシステムや、外部装置４０用のソフトウェア等の各種プログラムを記憶する。
なお、各種プログラムは、例えば、他のサーバ装置等からネットワークを介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。すなわち、記憶部４７に記憶される各種プログラムは、ネットワークを介して伝送可能であるし、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。
制御部４９は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。そして、ＣＰＵがＲＯＭや記憶部４７に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
制御部４９は、タッチパネル４１、スピーカ４３及びマイク４５に通信可能に接続されている。
制御部４９は、タッチパネル４１への入力操作を示す信号及びマイク４５からの音声入力信号を受信することが可能である。例えば、制御部４９は、タッチパネル４１及びマイク４５によってユーザからなされたビデオ通信の開始のための入力操作を受け付けることが可能である。
また、制御部４９は、タッチパネル４１に映像または画像信号を送信して表示をさせたり、スピーカ４３に音声信号を送信して、音を出力させたりすることが可能である。
例えば、制御部４９は、ビデオ通信の開始の要求を受け付けるための開始画面等の画面をタッチパネル４１に表示させる。
また、例えば、制御部４９は、ビデオ通信中における処理後画像をタッチパネル４１に表示させ、自動車Ｍにおいて収音されたビデオ通信中における音声をスピーカ４３に出力させる。
通信部５１は、上記したネットワークＮＷに接続されており、処理後画像等の種々のデータをサーバ３０との間で送受信する。また、通信部５１は、車載装置１０から送信された音声や経路情報や外部装置４０において取得された音声等の種々のデータを車載装置１０との間でサーバ３０を介して送受信する。
外部装置４０の制御部４９は、通信部５１を介して、ビデオ通信の開始画面等の画面を表示させるための情報を受信可能である。
また、制御部４９は、ビデオ通信中において、サーバ３０において拡大処理又は輝度調整処理等の画像処理が施された処理後画像を逐次受信する。
また、制御部４９は、通信部５１を介して、ビデオ通信における音声通話のために、マイク４５によって収音された音声の音声データを車載装置１０に送信可能である。また、制御部４９は、通信部５１を介して、ビデオ通信における音声通話のために、車載装置１０から送信された音声データを受信可能である。
例えば、外部装置４０の制御部４９は、通信部５１を介して、サーバ３０から車載装置１０から送信された自動車Ｍの現在位置情報を受信可能である。また、例えば、制御部４９は、通信部５１を介して、サーバ３０から、自動車Ｍの経路情報またはナビゲーション情報を受信可能である。
図９は、自動車Ｍの運転者の運転負荷が閾値未満である場合に、車外カメラ１３によって撮影された画像ＩＭの一例を示す図である。図９において、画像ＩＭは、自動車Ｍが直線道路を走行している際の自動車Ｍの前方を撮影した画像である。図９に示すように、自動車Ｍの前方には、直線道路が続いており、左手に、山ＭＴが写っている。
このような直線道路を運転している状況では、例えば、運転操作の状態に基づいて運転負荷の情報を取得する場合、加速度が安定し、ステアリング切れ角が小さいために、運転負荷が低いとの情報が取得される。また、このような直線道路の場合、地図データベースに含まれる道路リンクに対応する運転負荷が低く設定され、運転負荷が低いとの情報が取得される。本実施例において、このような運転負荷が低い場面で画像ＩＭ中に写っている山ＭＴは、外部装置４０のユーザによる視認が推奨される景観を構成する地物とする。
画像生成部３９は、山ＭＴを画像処理の対象物として特定し、山ＭＴが写っている領域を地物領域ＬＳとして特定し、地物領域ＬＳについて拡大処理又は輝度調整処理等の画像処理を行う。
図１０は、外部装置４０のタッチパネル４１に、図９に示した地物領域ＬＳについて拡大処理及び輝度調整処理が行われた処理後画像が表示されている様子を示す図である。例えば、外部装置４０のユーザは、地物領域ＬＳについての処理後画像を見ることで、自動車Ｍの前方の景観を楽しむことができる。
このように、本実施例において、運転負荷が低い状況下では、景観を構成する地物ややＰＯＩ等の所定の地物を画像処理の対象物とすることで、ユーザが見たいものが写っている蓋然性が高い処理後画像を外部装置４０において表示させることができる。
図１１は、外部装置４０のタッチパネル４１に、運転負荷が高い（閾値以上である）場合の、図６に示した注意対象領域ＡＴについて拡大処理を行わずに輝度調整を行った処理後画像が表示されている様子を示す図である。
例えば、注意対象領域ＡＴ内の輝度調整を行うことで、注意対象領域ＡＴ内の注意対象物体である歩行者Ｐ１及びＰ２を、外部装置４０のユーザにとって認識し易い処理後画像とすることができる。例えば、注意対象領域ＡＴについて拡大処理を行わない場合であっても、輝度調整、コントラストの調整、明度の調整、及び彩度の調整のいずれか１つ以上の画像処理を行うことで、外部装置４０のユーザにとって認識し易い処理後画像を生成することができる。
さらに、注意対象領域ＡＴの外側の領域について画像処理を行うことで、注意対象領域ＡＴ内の視認性を高めてもよい。例えば、注意対象領域ＡＴ以外の領域の輝度を低くすることで、注意対象領域ＡＴ内の輝度が相対的に高くなり、外部装置４０のユーザにとって注意対象物体を認識しやすい処理後画像とすることができる。
図１２は、サーバ３０の制御部３５によって実行される画像配信ルーチンＲＴ１を示すフローチャートである。制御部３５は、例えば、車載装置１０と外部装置４０との間でビデオ通信が開始されると、画像配信ルーチンＲＴ１を開始する。
制御部３５は、画像配信ルーチンＲＴ１を開始すると、車外カメラ１３によって撮影された画像及び自動車Ｍにおいて検出された検出情報を車載装置１０から取得する（ステップＳ１０１）。ステップＳ１０１において、制御部３５は、通信部３３を介して画像及び検出情報を受信する。
ステップＳ１０１において、例えば、加速度センサ情報、ステアリングセンサ情報、又は自動車Ｍの現在位置情報が取得される。
ステップＳ１０１の実行後、制御部３５の運転負荷取得部３７は、Ｓ１０１において取得された検出情報に基づいて、自動車Ｍの運転者の運転負荷を取得する（ステップＳ１０２）。ステップＳ１０２において、運転負荷取得部３７は、例えば、自動車Ｍの加速度センサ情報又はステアリングセンサ情報に基づいて、自動車Ｍの操作状態に基づいた運転負荷を取得する。
ステップＳ１０２において、例えば、自動車Ｍの現在位置情報に基づいて、記憶部３１に記憶されている地図データベースを参照し、自動車Ｍが走行中の道路リンクに対応付けられている運転負荷を取得する。
ステップＳ１０２において、例えば、加速度センサ情報、ステアリングセンサ情報及び自動車Ｍの現在位置情報を用いて運転負荷が取得されてもよい。
ステップＳ１０２の実行後、制御部３５の画像生成部３９は、ステップＳ１０２において取得された運転負荷が所定のレベル以上であるか否かを判定する（ステップＳ１０３）。ステップＳ１０３において、例えば、画像生成部３９は、運転負荷の高さが「高」又は「低」で表されている場合には、運転負荷の高さが「高」であるか否かを判定する。
ステップＳ１０３において、例えば、運転負荷が３つ以上のレベルで表されている場合には、所定のレベル以上であるか否かが判定される。ステップＳ１０３において、例えば、運転負荷が数値で表されている場合に、閾値以上であるか否かが判定される。
ステップＳ１０３において、運転負荷が所定のレベル以上であると判定する（ステップＳ１０３：ＹＥＳ）と、画像生成部３９は、ステップＳ１０１において取得された画像中の、人や他車両等の注意対象物体が写っている領域である注意対象領域（運転注意領域）に着目した処理後画像を生成する（ステップＳ１０４）。
ステップＳ１０４において、例えば、図７に例示したように、注意対象領域ＡＴについて拡大処理を行い、かつ輝度の調整を行った処理後画像が生成される。ステップＳ１０４において、例えば、注意対象領域ＡＴについて拡大処理のみが行われてもよい。
ステップＳ１０４において、例えば、図１１に例示したように、注意対象領域ＡＴについて拡大処理を行わずに、輝度の調整又はコントラストの調整等の画像処理を行った処理後画像が生成されてもよい。
ステップＳ１０３において、運転負荷が所定のレベル以上ではないと判定する（ステップＳ１０３：ＮＯ）と、画像生成部３９は、景観を構成する地物やＰＯＩとして指定されている地物等の特定種類の地物が写っている領域である地物領域（景観領域）に着目した処理後画像を生成する（ステップＳ１０５）。
ステップＳ１０５において、例えば、図１０に例示したように、地物領域ＬＳについて拡大処理を行い、かつ輝度の調整を行った処理後画像が生成される。ステップＳ１０５において、例えば、地物領域ＬＳについて拡大処理のみが行われてもよい。
ステップＳ１０５において、例えば、地物領域ＬＳについて拡大処理を行わずに、輝度の調整又はコントラストの調整等の画像処理を行った処理後画像が生成されてもよい。
ステップＳ１０４又はステップＳ１０５の実行後、制御部３５は、通信部３３を介して、処理後画像を外部装置４０に送信する（ステップＳ１０６）。
ステップＳ１０６の実行後、制御部３５は、画像配信ルーチンＲＴ１を終了し、次の画像配信ルーチンＲＴ１を新たに開始する。制御部３５が画像配信ルーチンＲＴ１を繰り返し実行することによって、処理後画像が外部装置４０に逐次送信される。
例えば、画像配信ルーチンＲＴ１のステップＳ１０４において、複数の注意対象領域ＡＴが特定された場合には、複数の注意対象領域ＡＴについての複数の処理後画像が生成されてもよい。
当該複数の処理後画像が外部装置４０において表示される際に、当該複数の処理後画像の各々が時間を区切って、例えば所定時間（例えば、数秒）経過する毎に順に表示されるようにしてもよい。例えば、複数の処理後画像について、表示する優先順位を付けて、優先順位の高い順に表示されるようにしてもよい。
例えば、元の画像中の注意対象領域ＡＴとして、歩行者が写っている領域と自転車が写っている領域とが特定された場合に、歩行者を含む処理後画像と自転車が写っている処理後画像が生成されてもよい。例えば、対象物の種類についての表示の優先度を歩行者＞自転車＞車・バイクとした場合、上記の２つの処理後画像は、例えば歩行者を５秒間拡大表示し、その後自転車を５秒間拡大表示するといった態様で表示されてもよい。
画像配信ルーチンＲＴ１のステップＳ１０５において、複数の地物領域ＳＴが特定された場合についても同様に、複数の処理後画像が生成されてもよく、当該複数の処理後画像の各々が時間を区切って優先度順に表示されてもよい。
以上、詳細に説明したように、本実施例の通信システム１００は、サーバ３０を介して、第１装置としての車載装置１０と第２装置としての外部装置４０との間で音声通話を成立させつつ、車載装置１０が搭載されている移動体としての自動車Ｍにおける画像を外部装置４０に送信するビデオ通信を行うことが可能である。
本実施例の通信システム１００は、移動体の運転者の運転負荷を取得する運転負荷取得部と、運転負荷の高さに基づいて画像中の１又は複数の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は当該領域について画像処理を行って処理後画像を生成する画像生成部と、処理後画像を第２装置に送信する送信部と、を有する。
例えば、運転負荷が閾値以上である場合、人や他車両等の運転に注意が必要な対象物に着目して拡大処理又は輝度調整等の画像処理が行われた処理後画像が生成されて送信され、外部装置４０のタッチパネルに表示される。それによって、外部装置４０のユーザは、運転に注意が必要な領域に写っている対象物を視認容易となるかまたは明確に認識することができ、例えばビデオ通信における通話によって運転者に注意を呼び掛けることができ、運転の補助をすることができる。例えば、本実施例の通信システム１００は、外部装置４０のユーザを運転の講師とし、自動車Ｍの運転者を生徒とすることで、運転の講習等にも利用可能である。
例えば、運転負荷が閾値未満である場合、景観を構成する地物又はＰＯＩとして指定されている地物等の地物が写っている領域に着目して拡大処理又は輝度調整等の画像処理が行われた処理後画像が生成されて送信され、外部装置４０のタッチパネルに表示される。それによって、外部装置４０のユーザは、景観やＰＯＩが鮮明に見えることで、仮想のドライブを楽しむことができる。
このような構成により、外部装置４０のユーザである仮想同乗者にとって、画像中の着目したい領域である蓋然性が高い領域について拡大処理又は輝度調整等の画像処理が行われた処理後画像を外部装置４０のユーザに提示することができる。
従って、移動体内の第１装置から移動体外の第２装置に画像を送信するシステムにおいて、運転の状況に応じてユーザが注目する蓋然性が高い対象物について認識し易く加工した画像を第２装置において表示させることを可能にする通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体を提供することができる。
なお、外部装置４０に表示される画像は、通信量低減のため、車外カメラ１３が撮像した画像が高画質（例えば、フルＨＤ画質（1920×1080画素））の画像であっても、これを低画質（例えば、ＳＤ画質（720×480画素））にして送信される画像である場合がある。このように外部装置４０側で表示される画像の画質が低い場合、外部装置４０のユーザにとって画像に映っているものを認識しにくい場合がある。本発明において対象物が写っている領域を拡大処理する場合、画素数が低くなっても着目すべき対象物を鮮明にまたは視認容易に表示することができる。
［変形例］
図１３は、実施例の通信システム１００の変形例における車載装置６０の構成の一例を示すブロック図である。上記の実施例においてサーバ３０が有する運転負荷取得部３７及び画像生成部３９の機能を、本変形例においては車載装置６０が有している。
具体的には、車載装置６０の制御部６１は、運転負荷取得部６３と、画像生成部６５とを有している。記憶部６７は、地図データベースを有しており、当該地図データベースにおいて、道路リンク毎に運転負荷が対応付けられている。
また、記憶部６７は、自動車Ｍにおける検出情報に基づいて運転負荷を取得し、運転負荷の高さに基づいて、車外カメラ１３によって撮影された画像中の対象物を特定し、対象物が写っている領域について拡大処置をするか又は画像処理をして処理後画像を生成し、処理後画像を外部装置４０に送信するための通信プログラムを記憶している。
制御部６１は、車載装置１０の制御部３５と同様に、自動車Ｍに備えられた各種機器に通信可能に接続されている。
例えば、車載装置６０が外部装置４０との間でビデオ通信を開始すると、制御部６１は、図１２に示した画像配信ルーチンＲＴ１と同様のルーチンを実行する。具体的には、運転負荷取得部６３が運転負荷を取得し、画像生成部６５が、運転負荷の高さに基づいて、車外カメラ１３によって撮影された画像中の１又は複数の対象物を特定し、当該画像中の対象物が写っている領域について拡大処理を行うか又は当該領域について画像処理を行い、処理後画像を生成する。
その後、制御部６１は、通信部２７を介して処理後画像を外部に送信する。車載装置６０からの処理後画像の送信先はサーバ３０でもよく、外部装置４０に直接送信してもよい。本変形例において、サーバ３０は、車載装置６０から受信した処理後画像について、画像処理を行わずに外部装置４０に転送する。
本変形例によれば、サーバ３０を介さずに、外部装置４０と車載装置６０との間でビデオ通信を行って、ビデオ通信中の自動車Ｍの運転者の運転負荷の高さに応じた処理後画像を車載装置６０から外部装置４０に配信することが可能である。
例えば、本変形例におけるビデオ通信は、サーバ３０を介さずに、車載装置１０と外部装置４０との間でＰ２Ｐ（Peer to Peer）通信などによって直接なされてもよい。
上述した実施例及び変形例における車載装置１０、車載装置６０、サーバ３０及び外部装置４０の構成、ルーチン等は、例示に過ぎず、用途等に応じて、適宜選択または変更することができる。
例えば、上記の実施例及び変形例において、処理対象領域を拡大する拡大処理又は処理対象領域の輝度を調整する輝度調整処理等の画像処理を行うことについて説明したが、当該画像処理に代えて、又はこれに加えて、処理対象領域を枠で囲うマーキングなどの対象物を目立たせる処理を行ってもよい。
また、上記の実施例及び変形例において、拡大処理及び輝度調整処理が行われた処理後画像の例として、図７及び図１０では、外部装置４０のタッチパネル４１の全体に拡大画像が表示されている例について示したが、少なくとも拡大処理が行われた処理後画像（拡大画像と称する）の表示態様はこれに限られない。例えば、タッチパネル４１の画面を複数の領域に分割して、拡大されていない画像（例えば、図６）と、拡大画像（例えば、図７）とを、併せて表示してもよい。または、例えば、拡大されていない画像に拡大画像を重畳して表示してもよい。
上記の実施例及び変形例において、運転負荷が高い場合には、歩行者や他の車両等の運転時に注意が必要な注意対象物体を対象物として処理後画像を生成し（画像配信ルーチンＲＴ１のステップＳ１０４）、運転負荷が低い場合には、所定の景観を構成する地物等の特定種類の地物を対象物として処理後画像を生成する（画像配信ルーチンＲＴ１のステップＳ１０５）例について説明したが、これに限られない。
例えば、画像配信ルーチンＲＴ１において、ステップＳ１０３において運転負荷が所定のレベル以上である（運転負荷が高い）と判定された場合に、ステップＳ１０４を実行して注意対象物体を対象物として、運転注意領域に着目した処理後画像を生成し、ステップＳ１０３において運転負荷が低いと判定された場合には、処理後画像を生成しないこととしてもよい。すなわち、運転負荷が低い場合には拡大処理又は他の画像処理を施さない通常の画像が表示されるようにしてもよい。このような処理は、例えば、運転講習に利用することができる。
例えば、画像配信ルーチンＲＴ１において、ステップＳ１０３において運転負荷が所定のレベル以上ではない（運転負荷が低い）と判定された場合に、ステップＳ１０５を実行して特定種類の地物を対象物として景観領域に着目した処理後画像を生成し、ステップＳ１０３において運転負荷が高いと判定された場合には、処理後画像を生成しないこととしてもよい。すなわち、運転負荷が高い場合には拡大処理又は他の画像処理を施さない通常の画像が表示されるようにしてもよい。このような処理は、例えば、観光案内に利用することができる。
上記の実施例及び変形例においては、通信システム１００においてビデオ通信を行う例について説明したが、これに限られない。本発明は、通信システム１００において、自動車Ｍと共に移動する第１装置としての車載装置１０によって取得された自動車Ｍにおける映像を第２装置としての外部装置４０に送信し、かつ外部装置４０における音声を車載装置１０に送信する音声映像通信を行う場合に適用可能である。つまり、本発明は、車載装置１０からは音声が送信されない態様での通信にも適用可能である。
また、上記の実施例においては、車載装置１０と外部装置４０とがサーバ３０を介してビデオ通信を行うこととしたが、ビデオ通信は車載装置１０と外部装置４０との間で直接なされてもよい。
また、通信システム１００で車載装置１０から外部装置４０に上記映像配信が行われつつ、通信システム１００とは別の経路で並行して車載装置１０と外部装置４０との間の音声通話が確立されていても良い。
上記実施例及び変形例において、自動車Ｍの前方を撮影した画像を用いる例について説明したが、これに限られない。例えば、自動車Ｍには、車内を撮影するカメラ、自動車Ｍの側方又は後方を撮影するカメラ、又は３６０度カメラが備えられていてもよい。自動車Ｍの前方以外の方向を撮影した画像中の処理対象領域について、拡大処理が行われるか又は輝度調整処理等の画像処理が行われて処理後画像が生成されてもよい。
例えば、運転負荷が高い場面では、自動車Ｍの側方又は後方の注意対象領域について拡大処理が行われるか又は輝度調整処理等の画像処理が行われた処理後画像が生成されてもよい。外部装置４０のユーザは、自動車Ｍの側方又は後方の目視確認を行って運転の補助をすることができる。また、例えば、運転負荷が低い場面では、自動車Ｍの側方又は後方の地物領域について拡大処理が行われるか又は輝度調整処理等の画像処理が行われた処理後画像が生成されてもよい。外部装置４０のユーザは、自動車Ｍの側方又は後方の景色を楽しむことができる。
上記実施例及び変形例において、車載装置１０及び車載装置６０は、車載ナビゲーション装置であるとしたが、車載装置１０又は車載装置６０は、ナビゲーション機能を有していなくともよく、単に車外カメラ１３からの動画を配信可能であればよい。
例えば、車載装置１０は、車載装置１０と同様の構成を有する端末装置と車外カメラ１３とタッチパネル１５とが一体化された構成であってもよい。具体的には、例えば、車載装置１０は、上記車載装置１０と同様の機能を発揮するアプリケーションを搭載したカメラ付きのスマートフォン、タブレットまたはＰＣ等の端末装置であってもよい。この場合、車載装置１０は、内蔵カメラが自動車Ｍのフロントガラスを通して自動車Ｍの前方を撮影可能なように、例えばクレードル等でダッシュボードＤＢ上に取り付けられ得る。
また、車載装置１０は、自動車Ｍの運転者に提示する画面を表示しない構成であってもよい。例えば、車載装置１０は、ドライブレコーダのような構成を有していてもよく、例えば、車外カメラ１３と一体となった装置であってもよい。具体的には、車載装置１０は、例えば、車外カメラ１３の筐体内に上記した車載装置１０のビデオ通信機能を果たすハードウェアを内蔵したような装置であってもよい。この場合、車載装置１０は、上記において説明したような種々の表示出力を行わないこととしてもよい。
上記の実施例及び変形例において、外部装置４０はスマートフォンである場合について説明したが、これに限られない。外部装置４０は、仮想同乗者がビデオ通信に利用できる端末装置であって、ビデオ通信に関する表示又はメッセージの提示、ビデオ通信を行うために必要な操作入力の受付、音声データの送受信並びに映像の受信及び表示が可能に構成されていればよい。例えば、外部装置４０は、タブレット、ＰＣ、ウェアラブル端末等の端末装置であってもよい。
上記の実施例及び変形例においては、車載装置１０及び車載装置６０が自動車Ｍに搭載される例を説明したが、車載装置１０は、自転車、バイク、船舶等他の移動体に搭載されていてもよい。
本発明において、運転負荷の取得手段は実施例及び変形例において説明したものに限られず、運転者にかかる負荷を所定の指標を用いて測定又は推定するものであればよい。例えば、加速度センサ情報又はステアリングセンサ情報に代えて、又はこれらに加えて、ウィンカー、アクセルペダル、ブレーキペダル、又はシフトレバー等の操作状態を示すセンサ情報に基づいて運転負荷が取得されてもよい。例えば、上記した運転負荷の取得手段の他に、生体情報を用いる手段や画像認識によって自動車Ｍの周囲の状況から運転負荷を推定する手段を採用してもよい。
１０、６０ 車載装置
１３ 車外カメラ
１５ タッチパネル
１７ スピーカ
１９ マイク
２１ ステアリングホイール
２１Ｓ ステアリングセンサ
２２ 加速度センサ
２３ 記憶部
２５ 制御部
２７ 通信部
３０ サーバ
３１ 記憶部
３３ 通信部
３５ 制御部
３７、６３ 運転負荷取得部
３９、６５ 画像生成部
４０ 外部装置
４１ タッチパネル
４３ スピーカ
４５ マイク
４７ 記憶部
４９ 制御部
５１ 通信部

Claims (14)

  1. 移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムであって、
    前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
    前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、
    前記処理後画像を前記第２装置に送信する送信部と、
    を有することを特徴とする通信システム。
  2. 前記画像生成部は、前記運転負荷の高さが閾値以上である場合に、前記画像中の移動体を前記対象物として特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は画像処理を行い、前記処理後画像を生成することを特徴とする請求項１に記載の通信システム。
  3. 前記画像生成部は、前記運転負荷の高さが閾値以上である場合に、前記画像中の運転時に注意が必要な物体を前記対象物として特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は画像処理を行い、前記処理後画像を生成することを特徴とする請求項１に記載の通信システム。
  4. 前記運転時に注意が必要な物体は、人又は車両を含むことを特徴とする請求項３に記載の通信システム。
  5. 前記画像生成部は、前記運転負荷の高さが閾値未満である場合に、前記画像中の特定種類の地物を前記対象物として特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は画像処理を行い、前記処理後画像を生成することを特徴とする請求項１に記載の通信システム。
  6. 前記画像処理は輝度の調整を含む請求項１に記載の通信システム。
  7. 前記運転負荷取得部は、前記移動体の操作状態に基づいた前記運転負荷を取得することを特徴とする請求項１に記載の通信システム。
  8. 前記運転負荷取得部は、前記移動体の速度又は加速度に基づいた前記運転負荷を取得することを特徴とする請求項７に記載の通信システム。
  9. 前記運転負荷取得部は、前記移動体の現在位置に基づいて地図情報に対応付けられた前記運転負荷を取得することを特徴とする請求項１に記載の通信システム。
  10. 移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信方法であって、
    前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
    前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、
    前記処理後画像を前記第２装置に送信する送信ステップと、
    を含むことを特徴とする通信方法。
  11. コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムによって実行される通信プログラムであって、前記コンピュータに、
    前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
    前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、
    前記処理後画像を前記第２装置に送信する送信ステップと、
    を実行させるための通信プログラム。
  12. コンピュータを備え、移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行う通信システムに、
    前記移動体の運転者の運転負荷を取得する運転負荷取得ステップと、
    前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成ステップと、
    前記処理後画像を前記第２装置に送信する送信ステップと、
    を実行させるための通信プログラムを記憶するコンピュータ可読記憶媒体。
  13. 移動体と共に移動し、前記移動体における画像を取得して他の装置に送信し、かつ、前記他の装置から音声を受信する音声映像通信を行う通信装置であって、
    前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
    前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、
    前記処理後画像を前記他の装置に送信する送信部と、
    を有することを特徴とする通信装置。
  14. 移動体と共に移動する第１装置によって取得された前記移動体における画像を第２装置に送信し、かつ、前記第２装置によって取得された音声を前記第１装置に送信する音声映像通信を行うサーバ装置であって、
    前記第１装置から前記画像を取得する画像取得部と、
    前記移動体において検出された検出情報を前記第１装置から取得し、前記検出情報に基づいて前記移動体の運転者の運転負荷を取得する運転負荷取得部と、
    前記運転負荷の高さに基づいて前記画像中の１又は複数の対象物を特定し、前記画像中の前記対象物が写っている領域について拡大処理を行うか又は前記領域について画像処理を行い、処理後画像を生成する画像生成部と、
    前記処理後画像を前記第２装置に送信する送信部と、
    を有することを特徴とするサーバ装置。
JP2022206924A 2022-12-23 2022-12-23 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体 Pending JP2024090801A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022206924A JP2024090801A (ja) 2022-12-23 2022-12-23 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022206924A JP2024090801A (ja) 2022-12-23 2022-12-23 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2024090801A true JP2024090801A (ja) 2024-07-04

Family

ID=91714747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022206924A Pending JP2024090801A (ja) 2022-12-23 2022-12-23 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP2024090801A (ja)

Similar Documents

Publication Publication Date Title
US20200377126A1 (en) Information output control device and information output control method
JP6906052B2 (ja) 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム
WO2011118064A1 (ja) 車両想起音発生装置及び車両想起音発生方法
JP2009516189A (ja) 交通情報を表示するナビゲーションデバイス
JP7200645B2 (ja) 車載装置、プログラム、及び車両
JP6708785B2 (ja) 走行経路提供システムおよびその制御方法、並びにプログラム
CN109952491B (zh) 生成由车辆的感知***检测的对象的表示的方法和***
JP2019121107A (ja) 車載通信装置及び車両
KR20230020564A (ko) 어려운 운전 조건하에서 랜드 마크를 이용한 내비게이션 명령 강화
US20220120581A1 (en) End of trip sequence
JP4858212B2 (ja) 車載ナビゲーション装置
US10889238B2 (en) Method for providing a spatially perceptible acoustic signal for a rider of a two-wheeled vehicle
JP2005069776A (ja) 車両用表示方法、車両用表示装置
CN112141010B (zh) 一种控制方法、装置、电子设备及存储介质
JP2022104107A (ja) 車両遠隔操作システム及び車両遠隔操作方法
JP2024090801A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2017182418A (ja) 運転支援装置及び運転支援システム
JP2024090876A (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP7451901B2 (ja) 通信装置、通信方法及びプログラム
JP4923579B2 (ja) 挙動情報取得装置、表示端末及び挙動情報通知システム
JPH11205782A (ja) 車両用前方画像処理装置及び車両用前方画像処理システム
WO2023127093A1 (ja) 通信システム、通信装置、サーバ装置、通信方法、通信プログラム及び記憶媒体
JP2005207777A (ja) 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
EP4383225A1 (en) Information processing device, information processing method, information processing program, and storage medium
WO2022208812A1 (ja) 音声制御装置、音声制御システム、音声制御方法、音声制御プログラム及び記憶媒体