JP2024057142A - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents
情報処理装置、制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2024057142A JP2024057142A JP2022163666A JP2022163666A JP2024057142A JP 2024057142 A JP2024057142 A JP 2024057142A JP 2022163666 A JP2022163666 A JP 2022163666A JP 2022163666 A JP2022163666 A JP 2022163666A JP 2024057142 A JP2024057142 A JP 2024057142A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- display
- driver
- image
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000002093 peripheral effect Effects 0.000 claims description 129
- 239000002131 composite material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 15
- 230000006399 behavior Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 230000000153 supplemental effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】移動体の運転者と移動体の外部に存在するユーザとのコミュニケーションを好適に仲介する情報処理装置、方法、プログラム及び記憶媒体を提供する。【解決手段】運転通話システムにおいて、移動体である対象車両の運転者と対象車両の外部に存在する車外端末2のユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置である車載機1A又はサーバ装置5は、取得手段と、検出手段と、表示制御手段と、を有する。取得手段は、対象車両から対象車両の周辺を撮影した周辺撮影画像を取得する。検出手段は、対象車両の運転者の状態又は操作を検出する。表示制御手段は、周辺撮影画像中の所定範囲を車外端末2に表示させる。この場合、表示制御手段は、運転者の状態又は操作に基づき、車外端末2に表示させる周辺撮影画像中の所定範囲を決定する。【選択図】図11
Description
本発明は、移動体の運転者と移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに関する。
従来から、車両の運転者と車外の人との会話を実現する技術が知られている。例えば、特許文献1には、通信ネットワークを介して車載システムと通信することで車両の運転者と会話相手との通話を実現する会話提供システムが開示されている。
運転者と車外の人とがコミュニケーションを行うシステムでは、車外の人は、車両周辺の撮影画像を確認しながら安全確認の補助に関する助言を行う場合がある。この場合、適切な安全確認の補助を車外の人が行うには、安全確認の補助に適した画像を車外の人に提示する必要がある。
本発明は、上述した課題を鑑み、移動体の運転者と移動体の外部に存在するユーザとのコミュニケーションを好適に仲介することが可能な情報処理装置を提供することを目的の一つとする。
請求項1に記載の発明は、
移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置であって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、
前記移動体の運転者の状態又は操作を検出する検出手段と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段と、を備え、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
情報処理装置である。
移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置であって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、
前記移動体の運転者の状態又は操作を検出する検出手段と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段と、を備え、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
情報処理装置である。
また、請求項8に記載の発明は、
移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置が実行する制御方法であって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得工程と、
前記移動体の運転者の状態又は操作を検出する検出工程と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御工程と、を有し、
前記表示制御工程は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する制御方法であることを特徴とする。
移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置が実行する制御方法であって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得工程と、
前記移動体の運転者の状態又は操作を検出する検出工程と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御工程と、を有し、
前記表示制御工程は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する制御方法であることを特徴とする。
また、請求項9に記載の発明は、
移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置のコンピュータが実行するプログラムであって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、
前記移動体の運転者の状態又は操作を検出する検出手段と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段
として前記コンピュータを機能させ、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
プログラムであることを特徴とする。
移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置のコンピュータが実行するプログラムであって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、
前記移動体の運転者の状態又は操作を検出する検出手段と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段
として前記コンピュータを機能させ、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
プログラムであることを特徴とする。
本発明の1つの好適な実施形態では、移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置であって、前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、前記移動体の運転者の状態又は操作を検出する検出手段と、前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段と、を備え、前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する。この態様により、情報処理装置は、移動体の外部に存在するユーザに対し、運転者の状態又は操作に基づき決定した範囲の周辺撮影画像を提示することができる。
上記情報処理装置の一態様では、前記表示制御手段は、前記運転者の運転負荷の度合いに基づき、前記所定範囲を決定する。好適な例では、前記表示制御手段は、前記運転負荷の度合いが高いほど、前記所定範囲を拡大するとよい。これらの態様によれば、情報処理装置は、運転者の運転負荷に応じた範囲の周辺撮影画像を端末装置のユーザに提示することができる。
上記情報処理装置の他の一態様では、前記表示制御手段は、前記運転者の操作として前記運転者の所定の発話に基づき、前記所定範囲を拡大する。これにより、情報処理装置は、運転者の要求に応じ、周辺撮影画像の表示範囲を好適に制御することができる。
上記情報処理装置の他の一態様では、前記表示制御手段は、前記運転者の視線方向の軌跡を表す線を、前記所定範囲を前記拡大した後の画像に重畳して前記端末装置に表示させる。この場合、情報処理装置は、運転者が視認している箇所及び視認していない箇所を把握可能な態様により画像を端末装置のユーザに提示することができる。
上記情報処理装置の他の一態様では、前記所定範囲は、移動体の前方方向を少なくとも含む範囲であり、前記表示制御手段は、前記運転者の状態又は操作に基づき、前記前方方向を基準とした前記所定範囲の幅を変化させる。この態様により、情報処理装置は、移動体の前方方向を少なくとも含みつつ、運転者の状態又は操作に基づき周辺撮影画像の表示範囲を好適に決定することができる。
上記情報処理装置の他の一態様では、前記周辺撮影画像は、前記移動体に設けられた複数台のカメラにより撮影された画像を合成した合成画像であり、前記表示制御手段は、前記合成画像中の前記所定範囲を、前記端末装置に表示させる。このように、情報処理装置は、複数台のカメラにより移動体の周辺を撮影する態様においても、運転者の状態又は操作に基づき決定した範囲において移動体の周辺を撮影した画像を端末装置のユーザに好適に提示することができる。
本発明の他の好適な実施形態では、移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置が実行する制御方法であって、前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得工程と、前記移動体の運転者の状態又は操作を検出する検出工程と、前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御工程と、を有し、前記表示制御工程は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する。情報処理装置は、この制御方法を実行することで、移動体の外部に存在するユーザに対し、運転者の状態又は操作に基づき決定した範囲の周辺撮影画像を提示することができる。
本発明の他の好適な実施形態では、移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置のコンピュータが実行するプログラムであって、前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、前記移動体の運転者の状態又は操作を検出する検出手段と、前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段として前記コンピュータを機能させ、前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する。情報処理装置のコンピュータは、このプログラムを実行することで、移動体の外部に存在するユーザに対し、運転者の状態又は操作に基づき決定した範囲の周辺撮影画像を提示することができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な各実施例について説明する。
<第1実施例>
(1-1)システム構成
図1は、第1実施例に係る運転通話システムの構成例を示す。運転通話システムは、車両に設けられた車載機1と、車外に存在する者が使用する車外端末2とを有する。運転通話システムでは、車載機1と車外端末2とが互いに通信することで、車両の運転者と車外端末2のユーザとの間の音声通話を媒介し、車外端末2のユーザは、車両から得られる種々の情報を車外端末2により確認しながら車両の運転者と通話を行う。
(1-1)システム構成
図1は、第1実施例に係る運転通話システムの構成例を示す。運転通話システムは、車両に設けられた車載機1と、車外に存在する者が使用する車外端末2とを有する。運転通話システムでは、車載機1と車外端末2とが互いに通信することで、車両の運転者と車外端末2のユーザとの間の音声通話を媒介し、車外端末2のユーザは、車両から得られる種々の情報を車外端末2により確認しながら車両の運転者と通話を行う。
車載機1は、車両と共に移動し、当該車両の運転者と車外端末2のユーザとの通話を実現するための処理などを行う。以後では、車載機1が搭載された車両を「対象車両」とも呼ぶ。車載機1は、インターネットや専用通信網などの通信網3を介し、車外端末2とデータ通信を行う。車載機1と車外端末2とが授受を行うデータには、対象車両の運転者と車外端末2のユーザとの通話において生成される音声データ、及び、対象車両又は運転者に関する情報を表示するための表示指示データなどが含まれている。本実施例では、車載機1は、対象車両から対象車両の周辺を撮影した画像(「周辺撮影画像」とも呼ぶ。)に基づく表示指示データを車外端末2に送信する。後述するように、車載機1は、運転者の運転負荷(ワークロード)に基づいて、車外端末2に表示させる周辺撮影画像の画角(即ち周辺撮影画像の表示範囲)を決定する。
車載機1は、対象車両に設置され、設定された目的地への経路案内を行うナビゲーション装置であってもよく、スマートフォンなどの携帯端末であってもよい。また、車載機1は、対象車両に組み込まれてもよい。車載機1は、「情報処理装置」の一例である。また、対象車両は、「移動体」の一例である。
車外端末2は、対象車両の外に存在する者が操作する端末であり、通信網3を介し、車載機1とデータ通信を行う。車外端末2は、例えば、スマートフォンなどの携帯端末である。例えば、車外端末2は、対象車両の運転中に車載機1と通信を確立し、運転者と車外端末2のユーザとが通話を行うための音声データの授受を車載機1と行う。また、車外端末2は、通話中において表示指示データを車載機1から受信し、表示指示データに基づき、周辺撮影画像等を表示する。車外端末2は、「端末装置」の一例である。
なお、車載機1と車外端末2との通信は、図示しないサーバ装置により中継されることで実現されてもよい。また、車載機1と車外端末2とが直接通信を確立する場合であっても、車載機1と車外端末2とが通信を確立するために必要な情報(例えば通信アドレス情報等)の授受を、車載機1又は/及び車外端末2がサーバ装置と行ってもよい。これらの場合、サーバ装置は、車載機1と車外端末2とがデータ通信を行うために必要な処理(車載機1及び車外端末2の認証処理を含む)を行う。
(1-2)装置構成
図2は、車載機1の概略構成の一例を示す。車載機1は、主に、通信部11と、記憶部12と、入力部13と、制御部14と、センサ群15と、表示部16と、音出力部17と、を有する。車載機1内の各要素は、バスライン10を介して相互に接続されている。
図2は、車載機1の概略構成の一例を示す。車載機1は、主に、通信部11と、記憶部12と、入力部13と、制御部14と、センサ群15と、表示部16と、音出力部17と、を有する。車載機1内の各要素は、バスライン10を介して相互に接続されている。
通信部11は、制御部14の制御に基づき、他の端末とのデータ通信を行う。通信部11は、例えば、地図DB(DataBase)4を更新するための地図データを図示しない地図管理サーバから受信してもよい。
記憶部12は、RAM(Random Access Memory)、ROM(Read Only Memory)、不揮発性メモリ(ハードディスクドライブ、フラッシュメモリなどを含む)などの各種のメモリにより構成される。記憶部12は、車載機1が所定の処理を実行するためのプログラムが記憶される。上述のプログラムは、通話を行うためのアプリケーションプログラム、車外端末2に地図表示や対象車両において撮影された画像の表示を実行させるためのアプリケーションプログラムなどを含んでもよい。また、記憶部12は、制御部14の作業メモリとして使用される。なお、車載機1が実行するプログラムは、記憶部12以外の記憶媒体に記憶されてもよい。
また、記憶部12は、地図DB(DataBase)4を記憶する。地図DB4には、経路案内に必要な種々のデータが記録されている。地図DB4は、対象車両の現在位置などの所定の位置を基準とした地図表示に必要なデータである。地図DB4は、例えば、道路網をノードとリンクの組合せにより表した道路データ、及び、目的地、立寄地、又はランドマークの候補となる施設を示す施設データなどを含むデータベースである。地図DB4は、制御部14の制御下において、通信部11が地図管理サーバから受信する情報に基づき更新されてもよい。
入力部13は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ、音声入力装置等である。表示部16は、制御部14の制御に基づき表示を行うディスプレイ等である。音出力部17は、制御部14の制御に基づき音を出力するスピーカ等である。
センサ群15は、対象車両の状態又は車外の環境に関するセンシングを行う種々のセンサを含んでいる。センサ群15は、車外撮影カメラ51と、運転者カメラ52と、車両挙動検出器53と、生体センサ54と、を有する。
車外撮影カメラ51は、対象車両の前方などの対象車両の外を撮影する1又は複数のカメラであり、所定時間間隔により撮影した周辺撮影画像を生成する。以後では、車外撮影カメラ51が出力する画像(複数台の車外撮影カメラ51が出力する画像を合成したものを含む)を「周辺撮影画像」と呼び、周辺撮影画像から車外端末2に表示させる所定範囲(表示範囲)を切り出した画像を「表示用周辺撮影画像」とも呼ぶ。
運転者カメラ52は、運転者の顔を撮影範囲に含むように設けられたカメラであり、所定時間間隔により撮影した画像(「運転者画像」とも呼ぶ。)を生成する。
車両挙動検出器53は、現在位置、車速、加速度、操舵角等の対象車両の挙動を示す検出信号を生成する。車両挙動検出器53は、例えば、GNSS(Global Navigation Satellite System)受信機、ジャイロセンサ、IMU(Inertial Measurement Unit)、車速センサ、加速度センサ、操舵角センサなどを含む。
生体センサ54は、運転者の心拍、発汗量等の生体現象を示す生体信号を生成する1又は複数のセンサである。
なお、センサ群15は、車外撮影カメラ51、運転者カメラ52、車両挙動検出器53、及び生体センサ54の他、種々の外界センサ(カメラ、ライダ、レーダ、超音波センサ、赤外線センサ、ソナーなどを含む)及び内界センサを含んでもよい。
制御部14は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などを含み、車載機1の全体を制御する。制御部14は、「取得手段」、「検出手段」、「表示制御手段」、及びプログラムを実行するコンピュータ等として機能する。
なお、制御部14が実行する処理は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、制御部14が実行する処理は、例えばFPGA(Field-Programmable Gate Array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、制御部14が本実施例において実行するプログラムを実現してもよい。
図2に示す車載機1の構成は一例であり、図2に示す構成に対して種々の変更がなされてもよい。例えば、地図DB4を記憶部12が記憶する代わりに、制御部14が通信部11を介し、図示しない地図管理サーバから地図情報を受信してもよい。他の例では、入力部13、表示部16、及び音出力部17の少なくともいずれかは、車載機1の外部装置として対象車両内に設けられ、生成した信号を車載機1に供給してもよい。また、センサ群15の少なくとも一部のセンサは、対象車両に備え付けられたセンサであってもよい。この場合、車載機1は、対象車両に備え付けられたセンサが出力する情報を、対象車両からCAN(Controller Area Network)などの通信プロトコルに基づき取得してもよい。
図3は、車外端末2の概略構成の一例を示す。車外端末2は、主に、通信部21と、記憶部22と、入力部23と、制御部24と、センサ群25と、表示部26と、音出力部27と、を有する。車外端末2内の各要素は、バスライン20を介して相互に接続されている。
通信部21は、制御部24の制御に基づき、他の端末とのデータ通信を行う。記憶部22は、RAM、ROM、不揮発性メモリなどの各種のメモリにより構成される。記憶部22は、車外端末2が所定の処理を実行するためのプログラムが記憶される。上述のプログラムは、車載機1と通信を確立した状態において、運転者との通話、車載機1の対象車両の運転に関する表示(地図表示及び各種撮影画像の表示を含む)、及び運転者のワークロードに関する表示を行うためのアプリケーションプログラムなどを含んでもよい。また、記憶部22は、制御部24の作業メモリとして使用される。なお、車外端末2が実行するプログラムは、記憶部22以外の記憶媒体に記憶されてもよい。
入力部23は、ユーザが操作するためのボタン、タッチパネル、リモートコントローラ、音声入力装置等である。表示部26は、制御部24の制御に基づき表示を行うディスプレイ等である。音出力部27は、制御部24の制御に基づき音を出力するスピーカ等である。センサ群25は、車外端末2の状態をセンシングする内界センサ、及び、車外端末2の外界の状態をセンシングする外界センサを含む。
制御部24は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などを含み、車外端末2の全体を制御する。なお、図3に示す車外端末2の構成は一例であり、図3に示す構成に対して種々の変更がなされてもよい。
(1-3)周辺撮影画像の表示
次に、車載機1が車外端末2に表示させる周辺撮影画像の表示について説明する。概略的には、車載機1は、運転者と車外端末2のユーザとの通話中において、運転者のワークロードが所定度合いより大きい場合、ワークロードが所定度合い以下となる場合よりも広い画角となるように周辺撮影画像の表示範囲を決定する。これにより、車載機1は、運転者のワークロードが高い場合に車外端末2のユーザに広い画角に対応する周辺撮影画像を視認させ、車外端末2のユーザによる運転者の安全確認の補助を促進する。運転者のワークロードは、「運転者の状態」の一例である。
次に、車載機1が車外端末2に表示させる周辺撮影画像の表示について説明する。概略的には、車載機1は、運転者と車外端末2のユーザとの通話中において、運転者のワークロードが所定度合いより大きい場合、ワークロードが所定度合い以下となる場合よりも広い画角となるように周辺撮影画像の表示範囲を決定する。これにより、車載機1は、運転者のワークロードが高い場合に車外端末2のユーザに広い画角に対応する周辺撮影画像を視認させ、車外端末2のユーザによる運転者の安全確認の補助を促進する。運転者のワークロードは、「運転者の状態」の一例である。
(1-3-1)ワークロード値の算出
まず、ワークロードの度合いを示す値(スコア)であるワークロード値の算出方法について説明する。以後では、説明の便宜上、ワークロード値は、ワークロード値が高いほど、運転者のワークロードの度合いが高いことを示すものとする。
まず、ワークロードの度合いを示す値(スコア)であるワークロード値の算出方法について説明する。以後では、説明の便宜上、ワークロード値は、ワークロード値が高いほど、運転者のワークロードの度合いが高いことを示すものとする。
車載機1は、ワークロードに関連がある要素(「ワークロード関連要素」とも呼ぶ。)ごとに現在の状態を評価したスコア(「要素別スコア」とも呼ぶ。)に基づき、ワークロード値を算出する。ワークロード関連要素は、対象車両、運転者、又は走行環境に関する状態を表す要素であり、ワークロード関連要素の例は、対象車両が走行中の道路(走行道路)の環境に関する要素(「道路環境要素」とも呼ぶ。)、ワークロードに影響がある運転動作(運転操作)に関する要素(「運転動作要素」とも呼ぶ。)、運転者の体調に関する要素(「運転者体調要素」とも呼ぶ。)などを含む。ワークロード関連要素は、言い換えると、ワークロード上昇原因の候補となる要素である。なお、ワークロード関連要素は、道路環境要素、運転動作要素、又は運転者体調要素の少なくともいずれかがさらに細分化された要素であってもよい。
従って、例えば、車載機1は、通話のための通信を車外端末2と確立している間、ワークロード関連要素毎に対象車両、運転者、又は走行環境に関する現在の状態を評価したスコア(「要素別スコア」とも呼ぶ。)を算出する。そして、車載機1は、算出した要素別スコアの合計値、平均値又はその他の代表値を、ワークロード値として定める。なお、要素別スコアを算出する対象となるワークロード関連要素は、道路環境要素、運転動作要素、運転者体調要素の全てであってもよく、これらのいずれか1つであってもよく、任意の2つであってもよい。また、要素別スコアは、好適には、各ワークロード関連要素のワークロードへの影響度合いに応じて重み付けされてもよい。この場合、例えば、ワークロードへの影響度が高い要素の要素別スコアに乗じる重み係数ほど大きい値となり、これらの重み係数を示す情報が予め記憶部12等に記憶されている。
ここで、車載機1は、道路環境要素の要素別スコアを算出する場合、例えば、走行道路の混雑度、幅員、制限速度、視認性の少なくとも1つを勘案して要素別スコアを算出する。この場合、例えば、車載機1は、地図DB4の道路情報又は通信部11により取得される道路交通情報等を参照し、走行道路の混雑度、幅員、制限速度、視認性等の各度合いを特定し、特定した各度合いを所定の式又はテーブルを参照して要素別スコアに換算する。所定の式又はテーブルは予め記憶部12等に記憶されている。なお、道路環境要素は、複数のワークロード関連要素として細分化されてもよい。この場合、例えば、車載機1は、走行道路の混雑度、幅員、制限速度、視認性の各々をワークロード関連要素とみなし、これらの要素別スコアを夫々算出してもよい。
また、車載機1は、運転動作要素の要素別スコアを算出する場合、例えば、現在の運転動作が、右折、左折、合流、一時停止等のいずれの運転動作に該当するかを判定し、判定した運転動作に応じた要素別スコアを算出する。この場合、例えば、車載機1は、該当する運転動作と運転動作要素の要素別スコアとを対応付けたテーブル等を参照し、運転動作要素の要素別スコアを決定する。ここで、車載機1は、現在の運転動作を、経路案内処理により得られる情報(例えば対象車両の現在位置と設定された目的地までの経路)により判定してもよく、対象車両から得られるウィンカーの状態又はステアリングの状態を表す信号に基づき判定してもよい。また、車載機1は、オートクルーズ走行の有無(又はその他の自動運転機能の有無)に基づき、運転動作要素の要素別スコアを決定してもよい。なお、運転動作要素は、複数のワークロード関連要素として細分化されてもよい。例えば、右折の有無、左折の有無、合流の有無、一時停止の有無、オートクルーズ走行の有無が夫々ワークロード関連要素として設定され、車載機1は、これらの各ワークロード関連要素の要素別スコアを、所定のテーブル等を参照し、対応する運転動作の有無に応じて決定する。
また、車載機1は、運転者体調要素の要素別スコアを算出する場合、運転者の連続運転時間、眠気度(覚醒度)、その他運転に影響を与える生体指標の少なくとも1つを勘案して要素別スコアを算出する。この場合、車載機1は、例えば、眠気度又はその他運転に影響を与える生体指標を、生体センサ54が出力する信号に基づき特定する。そして、車載機1は、所定の式又はテーブルを参照し、特定した連続運転時間と1又は複数の生体指標とを、運転者体調要素の要素別スコアに換算する。なお、運転者体調要素は、複数のワークロード関連要素として細分化されてもよい。この場合、例えば、車載機1は、眠気度、連続運転時間の各々をワークロード関連要素とみなし、これらの要素別スコアを夫々算出してもよい。
以上のようにすることで、車載機1は、ワークロードに影響がある種々の要素を勘案してワークロード値を決定することができる。
(1-3-2)周辺撮影画像の表示範囲の決定
次に、車載機1が車外端末2に表示させる周辺撮影画像の表示範囲の決定方法について説明する。車載機1は、ワークロード値が所定の閾値(「ワークロード閾値」とも呼ぶ。)以下の場合、撮影される全体の画角に対する一部の画角(「通常画角」とも呼ぶ。)に対応する周辺撮影画像を車外端末2に表示させる。一方、車載機1は、ワークロード値がワークロード閾値より大きい場合、通常画角よりも広い画角(「広画角」とも呼ぶ。)に対応する周辺撮影画像を車外端末2に表示させる。ワークロード閾値は、例えば記憶部12に予め記憶されている。
次に、車載機1が車外端末2に表示させる周辺撮影画像の表示範囲の決定方法について説明する。車載機1は、ワークロード値が所定の閾値(「ワークロード閾値」とも呼ぶ。)以下の場合、撮影される全体の画角に対する一部の画角(「通常画角」とも呼ぶ。)に対応する周辺撮影画像を車外端末2に表示させる。一方、車載機1は、ワークロード値がワークロード閾値より大きい場合、通常画角よりも広い画角(「広画角」とも呼ぶ。)に対応する周辺撮影画像を車外端末2に表示させる。ワークロード閾値は、例えば記憶部12に予め記憶されている。
以下では、1台の車外撮影カメラ51が設けられている場合と複数台の車外撮影カメラ51が設けられている場合との表示用周辺撮影画像の決定方法について夫々具体的に説明する。以後では、通常画角に対応する周辺撮影画像を表示する表示モードを「通常画角モード」と呼び、広画角に対応する周辺撮影画像を表示する表示モードを「広画角モード」とも呼ぶ。なお、通常画角モード及び広画角モードのいずれにおいても、周辺撮影画像の表示範囲は、対象車両の前方方向を少なくとも含む範囲であり、車載機1は、通常画角モードか広画角モードかの違いに応じて、対象車両の前方方向を基準とした周辺撮影画像の表示範囲の幅を変化させる。
図4(A)は、対象車両に設けられた車外撮影カメラ51と車外撮影カメラ51の撮影範囲「R」とを明示した対象車両の俯瞰図である。図4(B)は、通常画角モードと広画角モードの夫々において周辺撮影画像の表示範囲を明示した対象車両の俯瞰図である。撮影範囲Rは、車外撮影カメラ51が出力する原画像(即ち画角調整がなされる前の画像)において表される範囲である。
図4(A)及び図4(B)に示す例では、通常画角モードにおいて、車載機1は、撮影範囲Rのうち、中心部分の画角に対応する中心範囲「R1」を、周辺撮影画像の表示範囲として決定する。この場合、例えば、車載機1は、撮影範囲Rに対応する原画像から中心範囲R1に対応する画像を切り出し、切り出した画像を、表示用周辺撮影画像として指定した表示指示データを車外端末2に送信する。言い換えると、車載機1は、車外撮影カメラ51が出力する原画像のうち、前方を基準とする部分画像を、表示用周辺撮影画像として定める。なお、車載機1は、表示指示データに、原画像である周辺撮影画像から切り出した表示用周辺撮影画像を含める代わりに、周辺撮影画像と、その表示範囲(即ち切り出す範囲)とを指定した情報を表示指示データに含めてもよい。
一方、広画角モードでは、車載機1は、撮影範囲Rに対応する原画像である周辺撮影画像を、表示用周辺撮影画像として決定する。この場合、表示用周辺撮影画像は、中心範囲R1に、中心範囲R1の左に存在する左範囲「R2」及び右に存在する右範囲「R3」を加えた範囲(即ち撮影範囲Rの全範囲)に対応する画像となる。
図5(A)は、対象車両に設けられた3台の車外撮影カメラ51(51F、51L、51R)と各車外撮影カメラ51の撮影範囲R(RF、RL、RR)とを明示した対象車両の俯瞰図である。図5(B)は、通常画角モードと広画角モードの夫々において周辺撮影画像として表示される範囲を明示した対象車両の俯瞰図である。
図5(A)及び図5(B)に示す例では、通常画角モードにおいて、車載機1は、対象車両の前方を撮影する車外撮影カメラ51Fの撮影範囲「RF」に対応する画像を、表示用周辺撮影画像として決定する。この場合、車載機1は、車外撮影カメラ51Fが出力する原画像を、表示用周辺撮影画像として決定する。
一方、広画角モードでは、車載機1は、車外撮影カメラ51Fの撮影範囲RF、車外撮影カメラ51Lの撮影範囲「RL」、及び車外撮影カメラ51Rの撮影範囲「RR」に対応する画像を、表示する周辺撮影画像として決定する。この場合、車載機1は、車外撮影カメラ51Fが出力する画像、車外撮影カメラ51Lが出力する画像、及び車外撮影カメラ51Rが出力する画像を任意の画像合成技術を用いて合成する(つなぎ合わせる)ことにより、1枚のパノラマ画像を生成する。なお、対象車両に対する各車外撮影カメラ51の設置位置、向き、及びその他のパラメータ(内部パラメータ、外部パラメータを含む)を示す情報が記憶部12に記憶されている場合には、車載機1は、これらの情報を利用してパノラマ画像の生成を行ってもよい。上記のパノラマ画像は、周辺撮影画像及び合成画像の一例である。
なお、広画角モードにおける表示用周辺撮影画像は、上記のパノラマ画像の全範囲である必要はなく、通常画角モードにおける表示用周辺撮影画像よりも広い画角に対応する一部の範囲であってもよい。同様に、通常画角モードにおける表示用周辺撮影画像は、車外撮影カメラ51Fが出力する原画像に限らず、上記のパノラマ画像から対象車両の前方方向に対応する部分を切り出した部分画像であってもよい。また、車外撮影カメラ51が設けられる台数及び設置位置は、図4(A)及び図4(B)に示されるものに限定されず、3台以上であってもよく、対象車両の任意の位置に設けられてもよい。
(1-4)表示例
図6は、通常画角モードの実行中における車外端末2の第1表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図6に示す表示画面を表示部26に表示している。
図6は、通常画角モードの実行中における車外端末2の第1表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図6に示す表示画面を表示部26に表示している。
ここで、図6に示す表示画面は、周辺撮影画像表示欄60と、補足情報表示欄61と、地図表示欄62とを有する。
車外端末2は、周辺撮影画像表示欄60上において、表示指示データに基づく最新の表示用周辺撮影画像を表示する。この例では、車載機1は、ワークロード値がワークロード閾値以下であると判定し、通常画角モードを実行する。従って、車載機1は、通常画角を有する最新の表示用周辺撮影画像を含む表示指示データを車外端末2に送信する。なお、車載機1は、車外撮影カメラ51が出力する周辺撮影画像と、表示範囲とを指定した表示指示データを車外端末2に送信してもよい。
また、車外端末2は、車載機1が送信する表示指示データに基づき、補足情報表示欄61上において、ワークロード表示ウィンドウ71と、インジケータ72と、画角モード表示ウィンドウ73と、を表示する。
ワークロード表示ウィンドウ71には、車載機1が算出したワークロード値のレベルが表示されている。ここでは、車載機1が算出したワークロード値がレベル1~レベル5のうちのレベル2であることから、ワークロード表示ウィンドウ71には、レベル2に相当する内容が示されている。また、インジケータ72は、ワークロードの度合いを表しており、車載機1が算出したワークロード値が大きいほど、右方向に延びたゲージを表す。なお、ゲージは、ワークロード値に応じて色が変化してもよい。例えば、ワークロード値が高いほど、目立つ色によりゲージが表示されてもよい。また、画角モード表示ウィンドウ73は、現在の表示用周辺撮影画像の表示モード(ここでは通常画角モード)を示している。
また、車外端末2は、地図表示欄62上において、対象車両の現在位置付近の地図を表示する。車載機1は、例えば、車両挙動検出器53に基づき推定した対象車両の状態と地図DB4と目的地までの経路案内に関する情報とに基づき上述の地図を車外端末2が表示するための表示指示データを生成し、当該表示指示データを車外端末2に送信する。なお、ここでは、地図表示欄62には、対象車両の現在位置を示す現在位置マーク77と、車載機1が対象車両の運転者を案内する案内経路を示す経路線78とが地図に重畳されている。
このように、第1表示例では、車載機1は、ワークロード値がワークロード閾値以下となる場合に、通常画角モードを実行し、対象車両の現在位置周辺の地図やワークロード値に関する情報等を表示用周辺撮影画像と共に車外端末2のユーザに提示する。これにより、車外端末2のユーザは、対象車両及び運転者の現在の状態を好適に確認することができる。
図7は、広画角モードの実行中における車外端末2の第2表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図7に示す表示画面を表示部26に表示している。車外端末2は、表示画面上に、周辺撮影画像表示欄60Aと、補足情報表示欄61とを設けている。
車外端末2は、周辺撮影画像表示欄60A上において、車載機1から受信する表示指示データに基づき、最新の表示用周辺撮影画像を表示する。この例では、車載機1は、ワークロード値がワークロード閾値より大きいと判定し、広画角モードを実行する。従って、車載機1は、広画角を有する表示用周辺撮影画像を含む表示指示データを車外端末2に送信する。なお、車載機1は、車外撮影カメラ51が出力する周辺撮影画像と、表示範囲とを指定した表示指示データを車外端末2に送信してもよい。
この場合、通常画角モードにおける表示用周辺撮影画像よりも広画角モードにおける表示用周辺撮影画像の方が画像サイズが大きい(即ち表示する範囲が広い)。よって、ここでは、車外端末2は、通常画角モードの実行中である図6の第1表示例における周辺撮影画像表示欄60と地図表示欄62とを合わせたフィールドを周辺撮影画像表示欄60Aとして設け、広画角の表示用周辺撮影画像を周辺撮影画像表示欄60Aに表示している。
また、車外端末2は、車載機1から受信する表示指示データに基づき、補足情報表示欄61上において、ワークロード値又はワークロード値のレベル(ここではレベル4)を示すワークロード表示ウィンドウ71及びインジケータ72を表示する。さらに、画角モード表示ウィンドウ73は、現在の表示用周辺撮影画像の表示モード(ここでは広画角モード)を示している。
このように、第2表示例では、車載機1は、ワークロード値がワークロード閾値より大きい場合に、広画角モードを実行し、画角が拡大された周辺撮影画像を車外端末2のユーザに提示する。これにより、車外端末2のユーザは、対象車両の前方方向を含む広い視野により対象車両の周辺を確認することができ、運転者の安全確認を好適に補助することができる。また、運転者は、同乗者が見守ってくれているような安心感を得ることができ、あたかも車外端末2のユーザが実際に同乗しているような一体感を得ることができる。
なお、第1表示例及び第2表示例における表示レイアウトは一例であり、種々の変更が適用されてもよい。例えば、車外端末2は、車外端末2のユーザの車外端末2への操作に基づき、地図に代えて、運転者撮影画像を表示してもよい。他の例では、車外端末2は、広画角モード(及び通常画角モード)の実行中において、補足情報表示欄61を表示しなくともよい。さらに別の例では、車外端末2は、地図表示欄62を通常画角モードの実行中よりも縮小して広画角モードの実行中に表示してもよい。
(1-5)処理フロー
図8は、車載機1が実行する処理の手順を示すフローチャートの一例である。車載機1は、図8に示すフローチャートの処理を、車外端末2との通信が確立され、通話が開始された場合に実行する。
図8は、車載機1が実行する処理の手順を示すフローチャートの一例である。車載機1は、図8に示すフローチャートの処理を、車外端末2との通信が確立され、通話が開始された場合に実行する。
まず、車載機1は、対象車両の運転者のワークロードに関連する各ワークロード関連要素のスコア(即ち要素別スコア)を算出する(ステップS101)。この場合、車載機1は、地図DB4及びセンサ群15が出力するデータ等に基づき、道路環境要素、運転動作要素、運転者体調要素、又はこれらを細分化した要素ごとの要素別スコアを算出する。
次に、車載機1は、各ワークロード関連要素のスコア(要素別スコア)に基づき、ワークロード値を算出する(ステップS102)。この場合、車載機1は、要素別スコアを合算又は平均(重み係数を用いる場合を含む)したワークロード値を算出してもよく、ワークロード値を算出する式に各要素別スコアを代入することで、ワークロード値を算出してもよい。
次に、車載機1は、ワークロード値がワークロード閾値より大きい値であるか否か判定する(ステップS103)。そして、ワークロード値がワークロード閾値より大きい値である場合(ステップS103;Yes)、車載機1は、広画角モードを実行すべきと判断し、広画角の表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS104)。
一方、ワークロード値がワークロード閾値以下である場合(ステップS103;No)、車載機1は、通常画角モードを実行すべきと判断し、通常画角の表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS105)。これにより、車外端末2は、表示指示データに基づいて、通常画角の表示用周辺撮影画像を表示する。なお、ステップS104又はステップS105において、表示指示データに、ワークロードに関する情報、現在位置周辺の地図を表示するための地図表示情報、又は運転者撮影画像の少なくともいずれかが含まれている場合には、車外端末2は、これらの情報の少なくともいずれかに基づく表示を行ってもよい。
そして、車載機1は、通話が終了したか否か判定する(ステップS106)。そして、車載機1は、通話が終了したと判定した場合(ステップS106;Yes)、フローチャートの処理を終了する。一方、車載機1は、通話が終了していないと判定した場合(ステップS106;No)、ステップS101へ処理を戻す。
(1-6)変形例
次に、上述した実施例に好適な変形例について説明する。以下の変形例は組み合わせて上述の実施例に適用してもよい。
次に、上述した実施例に好適な変形例について説明する。以下の変形例は組み合わせて上述の実施例に適用してもよい。
(変形例1-1)
車載機1は、周辺撮影画像を車外端末2に表示させる場合、認識した運転者の視線の軌跡を表す線(視線トラッキング線)を周辺撮影画像に重畳してもよい。
車載機1は、周辺撮影画像を車外端末2に表示させる場合、認識した運転者の視線の軌跡を表す線(視線トラッキング線)を周辺撮影画像に重畳してもよい。
図9は、広画角モードにおける変形例1-1に係る車外端末2の第3表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図9に示す表示画面を表示部26に表示している。ここでは、一例として、車外端末2は、車載機1から受信する表示指示データに基づき、第2表示例と同様、通常より広い画角となる周辺撮影画像を表示した周辺撮影画像表示欄60Aと、補足情報表示欄61とを表示画面に設けている。
ここで、周辺撮影画像表示欄60A上では、直近の所定期間内における対象車両の運転者の視線方向の軌跡を示す視線トラッキング線66が、周辺撮影画像内における視線方向に対応付けて、最新の周辺撮影画像上に重畳表示されている。この場合、車載機1は、任意の視線検出技術に基づき、運転者撮影画像から同時刻に撮影された周辺撮影画像上の視線方向を検出し、検出した視線方向を示す視線方向データを生成する。そして、車載機1は、車外端末2に送信する表示指示データに含める周辺撮影画像に、視線方向データが示す直近の所定期間内の運転者の視線方向を示す視線トラッキング線66を重畳する。上記の所定期間の長さは、例えば予め記憶部12に記憶されている。そして、表示指示データを受信した車外端末2は、視線トラッキング線66が重畳された周辺撮影画像を、周辺撮影画像表示欄60に表示する。
なお、車載機1は、例えば、周辺撮影画像上の各位置と当該位置を運転者が見ているときの顔画像モデルとを対応付けた顔視線対応データを予め記憶しておき、当該顔視線対応データに基づき、視線方向データを生成してもよい。この場合、車載機1は、運転者撮影画像から抽出した運転者の顔画像と最も一致度が高い顔画像モデルを特定し、特定した顔画像モデルに対応する周辺撮影画像上の位置を示す視線方向データを生成する。
このように、本変形例によれば、運転者の注意が薄い方向(図8の例では右方向)を車外端末2のユーザが好適に把握することができるため、車外端末2のユーザは、運転者との通話により、運転者の注意が薄い方向の安全確認を補助することができる。また、運転者は同乗者が見守ってくれているような安心感を得ることができ、あたかも車外端末2のユーザが実際に同乗しているような一体感を得ることができる。
好適な例では、車載機1は、ワークロード値に応じて、視線トラッキング線の表示態様(表示色、表示有無等)を変化させてもよい。例えば、車載機1は、ワークロード値が所定の閾値以上となった場合に視線トラッキング線を周辺撮影画像に重畳表示し、ワークロード値が上記閾値未満となった場合に視線トラッキング線を非表示にする。上述の所定の閾値は、ワークロード閾値と同一であってもよく、異なっていてもよい。これにより、車載機1は、車外端末2のユーザによる安全確認の補助が必要である蓋然性が高い場合に限定して視線トラッキング線を表示することができる。一方、車外端末2のユーザによる安全確認の補助が不要な通常時においては、車外端末2のユーザは周辺撮影画像により風景を楽しむことができる。他の例では、車載機1は、ワークロード値に応じた色により視線トラッキング線を表示してもよい。この場合、車載機1は、例えば、ワークロード値が高いほど目立つ色により視線トラッキング線を表示する。
また、視線トラッキング線を表示する場合、車載機1は、周辺撮影画像において運転者が視線を向けるべき対象物(「注視対象物」とも呼ぶ。)を強調表示して車外端末2に表示させてもよい。注視対象物は、例えば、信号機、道路標識、障害物、歩行者などを含む。この場合、車載機1は、任意の物体認識技術(インスタンスセグメンテーションなどの深層学習モデルを利用したものを含む)を用い、予め定めた注視対象物として定めた種類に該当する物体を周辺撮影画像から抽出する。そして、車載機1は、例えば、抽出した周辺撮影画像上の対象物のエリアを縁取りなどにより強調し、かつ、視線トラッキング線を重畳するように、周辺撮影画像を加工し、加工した周辺撮影画像を表示指示データに含めて車外端末2に送信する。表示指示データを受信した車外端末2は、視線トラッキング線が重畳され、かつ、注視対象物が強調された周辺撮影画像を表示する。これにより、車外端末2のユーザは、周辺撮影画像により、運転者が注視していない注視対象物の存在を認識し、当該注視対象物に注意を向けるように運転者にアドバイスすることができる。
(変形例1-2)
車載機1は、ワークロード値に基づき、通常画角モードと広画角モードの切替を行う代わりに、運転者の所定の操作を検知した場合に、通常画角モードと広画角モードの切替を行ってもよい。
車載機1は、ワークロード値に基づき、通常画角モードと広画角モードの切替を行う代わりに、運転者の所定の操作を検知した場合に、通常画角モードと広画角モードの切替を行ってもよい。
例えば、車載機1は、入力部13として音声入力装置を備え、音声入力装置により運転者の所定のキーワードを含む発話を検出した場合に、通常画角モードから広画角モードへの切替を実行する。例えば、車載機1は、「安全確認を手伝って」又はこれに類似する発話を検出した場合、通常画角モードから広画角モードへの切替を実行する。なお、車載機1は、安全確認の終了の合図となる所定のキーワード(「もういいよ」、「ありがとう」等)を含む発話を検出した場合に、広画角モードから通常画角モードへ再び切り替えるとよい。
なお、発話に限らず、種々のインターフェース(例えばボタン等)となる入力部13への所定の操作を検出した場合に、車載機1は、通常画角モードと広画角モードとの切替を行ってもよい。
図10は、本変形例に係るフローチャートの一例である。車載機1は、図10に示すフローチャートの処理を、車外端末2との通信が確立され、通話が開始された場合に実行する。
まず、車載機1は、運転補助を要求する運転者の所定の操作を検出したか否か判定する(ステップS111)。車載機1は、入力部13が生成する入力信号に基づき、上述の所定の操作の有無を判定する。
そして、車載機1は、運転補助を要求する運転者の所定の操作を検出した場合(ステップS111;Yes)、広画角モードを実行すべきと判断し、通常より広画角の表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS112)。なお、この場合、車載機1は、運転補助の要求を中止する所定の操作を検出するまで、ステップS112を継続して実行してもよい。
一方、車載機1は、運転補助を要求する運転者の所定の操作を検出しない場合(ステップS111;No)、通常画角モードを実行すべきと判断し、通常画角の表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS113)。
そして、車載機1は、通話が終了したか否か判定する(ステップS114)。そして、車載機1は、通話が終了したと判定した場合(ステップS114;Yes)、フローチャートの処理を終了する。一方、車載機1は、通話が終了していないと判定した場合(ステップS114;No)、ステップS111へ処理を戻す。
このように、本変形例では、車載機1は、運転者の要求に応じて、広画角モードを実行し、画角が拡大された周辺撮影画像を車外端末2のユーザに提示する。これにより、車外端末2のユーザは、広い視野により運転者の安全確認を好適に補助することができる。また、運転者は、同乗者が見守ってくれているような安心感を得ることができ、あたかも車外端末2のユーザが実際に同乗しているような一体感を得ることができる。
(変形例1-3)
車載機1は、ワークロード値がワークロード閾値より大きいか否かに応じて表示用周辺撮影画像の画角を変える代わりに、ワークロード値に応じて連続的又は段階的に(3段階以上により)表示用周辺撮影画像の画角を変えてもよい。
車載機1は、ワークロード値がワークロード閾値より大きいか否かに応じて表示用周辺撮影画像の画角を変える代わりに、ワークロード値に応じて連続的又は段階的に(3段階以上により)表示用周辺撮影画像の画角を変えてもよい。
この場合においても、車載機1は、ワークロード値が高いほど、広い画角を有する表示用周辺撮影画像を車外端末2に表示させる。言い換えると、車載機1は、ワークロード値が高いほど、対象車両を基準とした左右方向(即ち画像の横方向)において周辺撮影画像の表示範囲を拡大する。なお、ワークロード値に応じた画角を示す情報は、例えば、記憶部12等に予め記憶されていてもよい。この態様によっても、車載機1は、ワークロード値に応じて、周辺撮影画像の表示範囲を的確に決定することができる。
(変形例1-4)
車載機1が実行する処理の少なくとも一部の処理を、車載機1及び車外端末2とデータ通信を行うサーバ装置が実行してもよい。
車載機1が実行する処理の少なくとも一部の処理を、車載機1及び車外端末2とデータ通信を行うサーバ装置が実行してもよい。
図11は、変形例1-3に係る運転通話システムの構成例を示す。運転通話システムは、車載機1Aと、車外端末2と、サーバ装置5とを有する。車載機1Aとサーバ装置5、及び、車外端末2とサーバ装置5は、夫々、通信網3を介してデータ通信を行う。
車載機1Aは、上述の第1実施例において説明した車載機1と同様の構成(図2参照)を有する。なお、地図DB4に基づく処理をサーバ装置5が行う場合には、車載機1Aは、地図DB4を有しなくともよい。そして、車載機1Aは、センサ群15が出力する情報、及び、入力部13により入力された入力情報などを含むアップロード信号をサーバ装置5に送信する。
サーバ装置5は、車載機1Aと車外端末2との音声通話に必要なデータの中継を行う。また、サーバ装置5は、音声通話中において、車載機1Aから受信するアップロード信号等に基づき、表示指示データを生成し、生成した表示指示データを車外端末2へ送信する。具体的には、サーバ装置5は、音声通話中において、車載機1Aから受信するアップロード信号等に基づき、図8又は図10に示されるフローチャートの処理を実行する。
図12は、サーバ装置5の概略構成の一例を示す。サーバ装置5は、主に、通信部41と、記憶部42と、制御部44とを有する。サーバ装置5内の各要素は、バスライン40を介して相互に接続されている。
通信部41は、制御部44の制御に基づき、車載機1A及び車外端末2などの外部装置とのデータ通信を行う。記憶部42は、RAM、ROM、不揮発性メモリ(ハードディスクドライブ、フラッシュメモリなどを含む)などの各種のメモリにより構成される。記憶部42は、サーバ装置5が所定の処理を実行するためのプログラムが記憶される。また、記憶部42は、地図DB4を含んでいる。制御部44は、CPU、GPUなどを含み、サーバ装置5の全体を制御する。また、制御部44は、記憶部42に記憶されたプログラムを実行することで、車外端末2に表示用周辺撮影画像を表示させるために必要な処理を実行する。
このように、車外端末2に表示用周辺撮影画像を表示させるために必要な処理をサーバ装置5が実行する場合であっても、運転通話システムは、運転者のワークロードの状態を車外端末2のユーザに好適に認識させ、ユーザは、運転者に話しかけるのに都合がよいタイミングなどを見計らうことが可能となる。本変形例において、サーバ装置5は、「情報処理装置」の一例である。
以上説明したように、車載機1又はサーバ装置5は、移動体である対象車両の運転者と対象車両の外部に存在する車外端末2のユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置であって、取得手段と、検出手段と、表示制御手段とを有する。取得手段は、対象車両から対象車両の周辺を撮影した周辺撮影画像を取得する。検出手段は、対象車両の運転者の状態又は操作を検出する。表示制御手段は、周辺撮影画像中の所定範囲を車外端末2に表示させる。この場合、表示制御手段は、運転者の状態又は操作に基づき、車外端末2に表示させる周辺撮影画像中の所定範囲を決定する。これにより、車載機1は、状況に応じた周辺撮影画像の表示範囲を決定し、必要に応じて安全確認の補助などを車外端末2のユーザに実行させることができる。
<第2実施例>
第2実施例における車載機1は、運転者の視線方向に基づいて、表示用周辺撮影画像を決定する点において、第1実施例における車載機1と異なる。以後では、第1実施例と同一の構成要素については、適宜同一符号を付し、その説明を省略する。なお、以後の説明において、第2実施例に係る運転通話システムは、図1に示される構成を有するものとし、第2実施例に係る車載機1及び車外端末2は、夫々、図2及び図3に示される構成を有するものとする。
第2実施例における車載機1は、運転者の視線方向に基づいて、表示用周辺撮影画像を決定する点において、第1実施例における車載機1と異なる。以後では、第1実施例と同一の構成要素については、適宜同一符号を付し、その説明を省略する。なお、以後の説明において、第2実施例に係る運転通話システムは、図1に示される構成を有するものとし、第2実施例に係る車載機1及び車外端末2は、夫々、図2及び図3に示される構成を有するものとする。
(2-1)周辺撮影画像の表示
第2実施例では、車載機1は、ワークロード値がワークロード閾値より高い場合において、運転者の視認頻度が低い方向(「低視認頻度方向」とも呼ぶ。)を特定し、特定した方向に対応する周辺撮影画像の範囲を、周辺撮影画像の表示範囲として決定する。低視認頻度方向は、対象車両を基準とした水平面上における方向(即ち方角)であり、「第1方向」の一例である。
第2実施例では、車載機1は、ワークロード値がワークロード閾値より高い場合において、運転者の視認頻度が低い方向(「低視認頻度方向」とも呼ぶ。)を特定し、特定した方向に対応する周辺撮影画像の範囲を、周辺撮影画像の表示範囲として決定する。低視認頻度方向は、対象車両を基準とした水平面上における方向(即ち方角)であり、「第1方向」の一例である。
この場合、車載機1は、「(変形例1-1)」のセクションにて説明した運転者の視線方向の検出方法に基づき、直近の所定期間内における運転者の視線方向を特定する。この場合、例えば、車載機1は、運転者が視線を向ける候補となる候補方向(例えば、対象車両を基準とした前方方向、左方向、右方向の3方向)を予め定めておき、直近の所定期間内において所定時間間隔ごとに検出された視線方向のサンプルがどの候補方向に該当するか集計を行う。なお、各候補方向に関する情報(例えば対象車両を基準とした方角の範囲等)は、例えば、記憶部12に予め記憶されている。そして、車載機1は、全ての候補方向のうち、該当する視線方向のサンプルが最も少ない候補方向を、低視認頻度方向として特定する。なお、車載機1は、複数の低視認頻度方向を決定し、画面分割により対応する複数の表示用周辺撮影画像を車外端末2に表示させてもよい。例えば、車載機1は、前方方向を最も高い頻度により運転者が視認していると判定した場合、右方向及び左方向を夫々低視認頻度方向として特定し、各方向に対応する周辺撮影画像を2画面分割により車外端末2に表示させる。
次に、特定した低視認頻度方向に基づき表示用周辺撮影画像を決定する方法について説明する。以下では、1台の車外撮影カメラ51が設けられた場合と複数台の車外撮影カメラ51が設けられた場合とでの表示用周辺撮影画像の決定方法について夫々具体的に説明する。
図13(A)は、低視認頻度方向が右方向である場合の対象車両に設けられた車外撮影カメラ51と車外撮影カメラ51の撮影範囲Rにおける表示の有無の範囲とを明示した対象車両の俯瞰図である。図13(B)は、低視認頻度方向が左方向である場合の対象車両に設けられた車外撮影カメラ51と車外撮影カメラ51の撮影範囲Rにおける表示の有無の範囲とを明示した対象車両の俯瞰図である。
図13(A)に示す例では、車載機1は、低視認頻度方向が右方向(詳しくは対象車両の右前方)であると特定し、車外撮影カメラ51が生成する周辺撮影画像の撮影範囲Rのうち右方向に対応する範囲「R11」を、周辺撮影画像の表示範囲として定める。この場合、例えば、車載機1は、撮影範囲Rに対応する周辺撮影画像から範囲R11に対応する画像を切り出し、切り出した画像を、表示用周辺撮影画像として指定した表示指示データを車外端末2に送信する。なお、車載機1は、表示指示データに、周辺撮影画像から切り出した表示用周辺撮影画像を含める代わりに、周辺撮影画像と、その表示範囲(即ち切り出す範囲)とを指定した情報を表示指示データに含めてもよい。
また、図13(B)に示す例では、車載機1は、低視認頻度方向が左方向(詳しくは対象車両の左前方)であると特定し、車外撮影カメラ51が生成する周辺撮影画像の撮影範囲Rのうち左方向に対応する範囲「R12」を、周辺撮影画像の表示範囲として定める。なお、車載機1は、ワークロード値がワークロード閾値以下である場合には、例えば、周辺撮影画像の撮影範囲Rのうち前方方向を含む範囲(範囲R11、R12と重複しない範囲であってもよく、一部が重複する範囲であってもよい)を、周辺撮影画像の表示範囲として定める。
このように、車載機1は、車外撮影カメラ51が一台である場合に、車外撮影カメラ51が出力する周辺撮影画像から、低視認頻度方向に対応する部分画像を、表示用周辺撮影画像として好適に決定することができる。
図14(A)は、対象車両に設けられた3台の車外撮影カメラ51F、51L、51Rと、各車外撮影カメラ51の撮影範囲RF、RL、RRと、低視認頻度方向が右方向である場合の各範囲の表示の有無とを明示した対象車両の俯瞰図である。図14(B)は、車外撮影カメラ51F、51L、51Rと、各車外撮影カメラ51の撮影範囲RF、RL、RRと、低視認頻度方向が左方向である場合の各範囲の表示の有無とを明示した対象車両の俯瞰図である。
図14(A)に示す例では、車載機1は、低視認頻度方向が右方向であると特定し、右側を撮影する車外撮影カメラ51Rが生成する周辺撮影画像を、表示用周辺撮影画像として定める。一方、図14(B)に示す例では、車載機1は、低視認頻度方向が左方向であると特定し、左側を撮影する車外撮影カメラ51Lが生成する周辺撮影画像を、表示用周辺撮影画像として定める。また、車載機1は、ワークロード値がワークロード閾値以下である場合には、前方を撮影する車外撮影カメラ51Fが生成する周辺撮影画像を、表示用周辺撮影画像として定める。
なお、車載機1は、車外撮影カメラ51Fが出力する画像、車外撮影カメラ51Lが出力する画像、及び車外撮影カメラ51Rが出力する画像を任意の画像合成技術を用いて合成した1枚のパノラマ画像を生成し、パノラマ画像から表示範囲を決定してもよい。上記のパノラマ画像は、周辺撮影画像及び合成画像の一例である。この場合、車載機1は、生成したパノラマ画像において低視認頻度方向に対応する範囲を、表示範囲として定める。また、車載機1は、ワークロード値がワークロード閾値以下である場合においても、パノラマ画像の一部の範囲(例えば対象車両の前方方向に対応する範囲)を、表示範囲として定める。この場合、表示用周辺撮影画像は、パノラマ画像の部分画像に相当する。
このように、車載機1は、車外撮影カメラ51が複数台である場合においても、各車外撮影カメラ51が出力する周辺撮影画像から、低視認頻度方向に対応する画像を、表示用周辺撮影画像として好適に決定することができる。
(2-2)表示例
図15は、第2実施例における車外端末2の第1表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図15に示す表示画面を表示部26に表示している。
図15は、第2実施例における車外端末2の第1表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図15に示す表示画面を表示部26に表示している。
ここで、図15に示す表示画面は、周辺撮影画像表示欄60と、補足情報表示欄61と、地図表示欄62とを有する。
車外端末2は、周辺撮影画像表示欄60上において、表示指示データに基づく最新の表示用周辺撮影画像を表示する。この例では、車載機1は、ワークロード値がワークロード閾値以下であると判定し、低視認頻度方向の特定を行わず、車外撮影カメラ51が出力する周辺撮影画像のうち対象車両の前方方向に少なくとも対応する範囲を、表示用周辺撮影画像として定める。なお、ここでは、対象車両には、図14(A)及び図14(B)に示されるように、車外撮影カメラ51F、車外撮影カメラ51R、車外撮影カメラ51Lが設けられ、車載機1は、車外撮影カメラ51Fが出力する周辺撮影画像を、表示用周辺撮影画像として決定している。そして、車載機1は、最新の表示用周辺撮影画像を含む表示指示データを車外端末2に送信する。
また、車外端末2は、車載機1が送信する表示指示データに基づき、補足情報表示欄61上において、運転者のワークロードに関する情報を表示するワークロード表示ウィンドウ71及びインジケータ72と、使用カメラ表示ウィンドウ74と、を表示する。
使用カメラ表示ウィンドウ74は、周辺撮影画像表示欄60において表示されている表示用周辺撮影画像を出力しているカメラを識別する情報を表示する。ここでは、対象車両の前方を撮影する車外撮影カメラ51Fが出力する周辺撮影画像が表示用周辺撮影画像として使用されていることから、使用カメラ表示ウィンドウ74には、車外撮影カメラ51Fが用いられていることを示す「前方カメラ表示」と表示されている。
また、車外端末2は、地図表示欄62上において、対象車両の現在位置付近の地図を表示する場合に、現在位置マーク77及び経路線78と共に、表示用周辺撮影画像に対応する地図上のエリア(即ち、低視認頻度方向)を示す表示角度範囲79を明示している。この場合、例えば、車載機1は、表示用周辺撮影画像を撮影した車外撮影カメラ51Fの撮影画角を特定し、特定した情報に基づき、車両挙動検出器53により特定される対象車両の現在位置及び進行方向を基準とする地図上での表示角度範囲79を決定する。なお、記憶部12には、各車外撮影カメラ51の撮影画角を示す情報が記憶されていてもよい。このように、車載機1は、表示用周辺撮影画像と共に、低視認頻度方向に対応する表示角度範囲79を示した地図を表示する。これにより、後述する表示例のように周辺撮影画像表示欄60に表示させる表示用周辺撮影画像の撮影方向が切り替わった場合においても、その切り替わった後の表示範囲を車外端末2のユーザが好適に認識することができる。
図16は、第2実施例における車外端末2の第2表示例を示す。車外端末2は、車載機1と通信を確立しており、車載機1から受信する表示指示データに基づき、図16に示す表示画面を表示部26に表示している。
車外端末2は、周辺撮影画像表示欄60上において、表示指示データに基づく最新の表示用周辺撮影画像を表示する。この例では、車載機1は、ワークロード値がワークロード閾値より大きい値であると判定し、右方向を低視認頻度方向として特定する。従って、車載機1は、車外撮影カメラ51(51F、51R、51L)が出力する周辺撮影画像のうち対象車両の右方向に対応する範囲を、表示用周辺撮影画像として定める。ここでは、車載機1は、対象車両の右方向を撮影する車外撮影カメラ51Rが出力する周辺撮影画像を、表示用周辺撮影画像として決定している。そして、車載機1は、最新の表示用周辺撮影画像を含む表示指示データを車外端末2に送信する。
また、車外端末2は、車載機1が送信する表示指示データに基づき、補足情報表示欄61上において、運転者のワークロードに関する情報を表示するワークロード表示ウィンドウ71及びインジケータ72と、使用カメラ表示ウィンドウ74と、を表示する。ここでは、対象車両の右方向を撮影する車外撮影カメラ51Rが出力する周辺撮影画像が表示用周辺撮影画像として使用されていることから、使用カメラ表示ウィンドウ74には、車外撮影カメラ51Rが用いられていることを示す「右カメラ表示」と表示されている。
また、車外端末2は、地図表示欄62上において、対象車両の現在位置付近の地図を表示する場合に、現在位置マーク77及び経路線78と共に、表示用周辺撮影画像に対応する地図上のエリアを示す表示角度範囲79を明示している。この場合、例えば、車載機1は、表示用周辺撮影画像を撮影した車外撮影カメラ51Rの撮影画角を特定し、特定した情報に基づき、車両挙動検出器53により特定される対象車両の現在位置及び進行方向を基準とする地図上での表示角度範囲79を決定する。なお、記憶部12には、各車外撮影カメラ51の撮影画角を示す情報が記憶されていてもよい。このように、車載機1は、表示用周辺撮影画像と共に、対象車両の現在位置と、低視認頻度方向とを示した地図を表示する。
以上のように、第2表示例では、車載機1は、運転者の負荷が高い場合に、低視認頻度方向に対応する周辺撮影画像を車外端末2に表示させる。これにより、車外端末2のユーザは運転者の安全確認を補助することができ、運転者は同乗者が見守ってくれているような安心感を得ることができ、あたかも車外端末2のユーザが実際に同乗しているような一体感を得ることができる。また、車載機1は、表示用周辺撮影画像に対応する地図上のエリアを表示角度範囲79として明示することで、現在表示されている表示用周辺撮影画像の撮影方向等を、車外端末2のユーザに好適に認識させることができる。
(2-3)処理フロー
図17は、第2実施例において車載機1が実行する処理の手順を示すフローチャートの一例である。車載機1は、図17に示すフローチャートの処理を、車外端末2との通信が確立され、通話が開始された場合に実行する。
図17は、第2実施例において車載機1が実行する処理の手順を示すフローチャートの一例である。車載機1は、図17に示すフローチャートの処理を、車外端末2との通信が確立され、通話が開始された場合に実行する。
まず、車載機1は、対象車両の運転者のワークロードに関連する各ワークロード関連要素のスコア(即ち要素別スコア)を算出する(ステップS201)。この場合、車載機1は、地図DB4及びセンサ群15が出力するデータ等に基づき、道路環境要素、運転動作要素、運転者体調要素、又はこれらを細分化した要素ごとの要素別スコアを算出する。
次に、車載機1は、各ワークロード関連要素のスコア(要素別スコア)に基づき、ワークロード値を算出する(ステップS202)。この場合、車載機1は、要素別スコアを合算又は平均(重み係数を用いる場合を含む)したワークロード値を算出してもよく、ワークロード値を算出する式に各要素別スコアを代入することで、ワークロード値を算出してもよい。
次に、車載機1は、ワークロード値がワークロード閾値より大きい値であるか否か判定する(ステップS203)。そして、ワークロード値がワークロード閾値より大きい値である場合(ステップS203;Yes)、車載機1は、所定期間内における運転者の視線方向の頻度を集計し、低視認頻度方向を決定する(ステップS204)。そして、車載機1は、低視認頻度方向に対応する表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS204)。これにより、車外端末2は、表示指示データに基づいて、低視認頻度方向に対応する表示用周辺撮影画像を表示する。なお、表示指示データに、ワークロードに関する情報、現在位置周辺の地図を表示するための地図表示情報、又は運転者撮影画像の少なくともいずれかが含まれている場合には、車外端末2は、これらの情報の少なくともいずれかに基づく表示を行ってもよい。
一方、ワークロード値がワークロード閾値以下である場合(ステップS203;No)、車載機1は、既定の方向(例えば対象車両の前方方向)に対応する表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS205)。これにより、車外端末2は、表示指示データに基づいて、既定の方向の表示用周辺撮影画像を表示する。なお、表示指示データに、ワークロードに関する情報、現在位置周辺の地図を表示するための地図表示情報、又は運転者撮影画像の少なくともいずれかが含まれている場合には、車外端末2は、これらの情報の少なくともいずれかに基づく表示を行ってもよい。
そして、車載機1は、通話が終了したか否か判定する(ステップS206)。そして、車載機1は、通話が終了したと判定した場合(ステップS206;Yes)、フローチャートの処理を終了する。一方、車載機1は、通話が終了していないと判定した場合(ステップS206;No)、ステップS201へ処理を戻す。
(2-4)変形例
次に、上述した実施例に好適な変形例について説明する。以下の変形例は組み合わせて上述の実施例に適用してもよい。
次に、上述した実施例に好適な変形例について説明する。以下の変形例は組み合わせて上述の実施例に適用してもよい。
(変形例2-1)
車載機1は、ワークロード値に基づき、低視認頻度方向に対応する周辺撮影画像の表示の要否を決定したが、ワークロード値によらずに低視認頻度方向に対応する周辺撮影画像の表示の要否を決定してもよい。例えば、車載機1は、ユーザの操作に基づき、低視認頻度方向に対応する周辺撮影画像の表示の要否を決定してもよく、低視認頻度方向に対応する周辺撮影画像の表示を常時実行してもよい。
車載機1は、ワークロード値に基づき、低視認頻度方向に対応する周辺撮影画像の表示の要否を決定したが、ワークロード値によらずに低視認頻度方向に対応する周辺撮影画像の表示の要否を決定してもよい。例えば、車載機1は、ユーザの操作に基づき、低視認頻度方向に対応する周辺撮影画像の表示の要否を決定してもよく、低視認頻度方向に対応する周辺撮影画像の表示を常時実行してもよい。
(変形例2-2)
車載機1は、低視認頻度方向に対応する周辺撮影画像を表示する代わりに、運転補助を求める方向を指定した運転者の所定の操作を検知した場合に、指定された方向に対応する周辺撮影画像を表示してもよい。指定された方向は、対象車両を基準とする方向であり、「第1方向」の一例である。
車載機1は、低視認頻度方向に対応する周辺撮影画像を表示する代わりに、運転補助を求める方向を指定した運転者の所定の操作を検知した場合に、指定された方向に対応する周辺撮影画像を表示してもよい。指定された方向は、対象車両を基準とする方向であり、「第1方向」の一例である。
例えば、車載機1は、入力部13として音声入力装置を備え、音声入力装置により運転者の所定のキーワードを含み、かつ、方向を指定した発話を検出した場合に、指定された方向に応じた周辺撮影画像の表示を実行する。例えば、車載機1は、「右方向の安全確認を手伝って」又はこれに類似する発話を検出した場合には、右方向に応じた周辺撮影画像の表示を実行する。
なお、運転補助を求める方向を指定した運転者の所定の操作は、発話に限らず、種々のインターフェース(例えばボタン等)となる入力部13への入力操作であってもよい。
図18は、本変形例に係るフローチャートの一例である。車載機1は、図18に示すフローチャートの処理を、車外端末2との通信が確立され、通話が開始された場合に実行する。
まず、車載機1は、運転補助を求める方向を指定した運転者の所定の操作を検出したか否か判定する(ステップS211)。車載機1は、入力部13が生成する入力信号に基づき、上述の所定の操作の有無を判定する。
そして、車載機1は、運転補助を求める方向を指定した運転者の所定の操作を検出した場合(ステップS211;Yes)、指定された方向に対応する表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS212)。なお、この場合、車載機1は、運転補助の要求を中止する所定の操作を検出するまで、又は、予め設定された所定時間が経過するまでステップS212を継続して実行してもよい。
一方、車載機1は、運転補助を求める方向を指定した運転者の所定の操作を検出しなかった場合(ステップS211;No)、既定の方向に対応する表示用周辺撮影画像の表示を車外端末2に指示する表示指示データを車外端末2に供給する(ステップS213)。
そして、車載機1は、通話が終了したか否か判定する(ステップS214)。そして、車載機1は、通話が終了したと判定した場合(ステップS214;Yes)、フローチャートの処理を終了する。一方、車載機1は、通話が終了していないと判定した場合(ステップS214;No)、ステップS211へ処理を戻す。
このように、本変形例では、車載機1は、運転者が指定した方向に対応する周辺撮影画像を車外端末2のユーザに提示する。これにより、車外端末2のユーザは、運転者の要望に応じて運転者の安全確認を好適に補助することができる。また、運転者は、同乗者が見守ってくれているような安心感を得ることができ、あたかも車外端末2のユーザが実際に同乗しているような一体感を得ることができる。
(変形例2-3)
車載機1が実行する処理の少なくとも一部の処理を、車載機1及び車外端末2とデータ通信を行うサーバ装置が実行してもよい。
車載機1が実行する処理の少なくとも一部の処理を、車載機1及び車外端末2とデータ通信を行うサーバ装置が実行してもよい。
この場合、本変形例に係る運転通話システムは、例えば図11に示される構成を有する。そして、車載機1は、センサ群15が出力する情報、及び、入力部13により入力された入力情報などを含むアップロード信号をサーバ装置5に送信する。サーバ装置5は、車載機1と車外端末2との音声通話に必要なデータの中継を行う。また、サーバ装置5は、音声通話中において、車載機1から受信するアップロード信号等に基づき、表示指示データを生成し、生成した表示指示データを車外端末2へ送信する。具体的には、サーバ装置5は、音声通話中において、車載機1Aから受信するアップロード信号等に基づき、図17又は図18に示されるフローチャートの処理を実行する。
このように、車外端末2に表示用周辺撮影画像を表示させるために必要な処理をサーバ装置が実行する場合であっても、運転通話システムは、運転者のワークロードの状態を車外端末2のユーザに好適に認識させ、ユーザは、運転者に話しかけるのに都合がよいタイミングなどを見計らうことが可能となる。本変形例において、サーバ装置5は、「情報処理装置」の一例である。
以上説明したように、車載機1又はサーバ装置5は、移動体である対象車両の運転者と対象車両の外部に存在する車外端末2のユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置であって、取得手段と、検出手段と、表示制御手段とを有する。取得手段は、対象車両から対象車両の周辺を撮影した周辺撮影画像を取得する。検出手段は、対象車両の運転者の状態又は操作を検出する。この場合、表示制御手段は、運転者の状態又は操作に応じて、周辺撮影画像に基づく画像を車外端末2に表示させる。この場合、表示制御手段は、運転者の状態又は操作に基づき対象車両を基準とする第1方向を特定し、周辺撮影画像のうちから第1方向が撮影された範囲を、車外端末2に表示させる画像として決定する。これにより、車載機1は、安全確認の補助などを車外端末2のユーザに好適に実行させることができる。
なお、上述した各実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(Non-transitory Computer Readable Medium)を用いて格納され、コンピュータである制御部等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(Tangible Storage Medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)を含む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
1、1A 車載機
2 車外端末
3 通信網
4 地図DB
5 サーバ装置
11、21、41 通信部
12、22、42 記憶部
13 入力部
14、24、44 制御部
15、25 センサ群
16、26 表示部
17、27 音出力部
2 車外端末
3 通信網
4 地図DB
5 サーバ装置
11、21、41 通信部
12、22、42 記憶部
13 入力部
14、24、44 制御部
15、25 センサ群
16、26 表示部
17、27 音出力部
Claims (10)
- 移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置であって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、
前記移動体の運転者の状態又は操作を検出する検出手段と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段と、を備え、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
情報処理装置。 - 前記表示制御手段は、前記運転者の運転負荷の度合いに基づき、前記所定範囲を決定する、請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記運転負荷の度合いが高いほど、前記所定範囲を拡大する、請求項2に記載の情報処理装置。
- 前記表示制御手段は、前記運転者の操作として前記運転者の所定の発話に基づき、前記所定範囲を拡大する、請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記運転者の視線方向の軌跡を表す線を、前記所定範囲を前記拡大した後の画像に重畳して前記端末装置に表示させる、請求項3または4に記載の情報処理装置。
- 前記所定範囲は、移動体の前方方向を少なくとも含む範囲であり、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記前方方向を基準とした前記所定範囲の幅を変化させる、請求項1~4のいずれか一項に記載の情報処理装置。 - 前記周辺撮影画像は、前記移動体に設けられた複数台のカメラにより撮影された画像を合成した合成画像であり、
前記表示制御手段は、前記合成画像中の前記所定範囲を、前記端末装置に表示させる、請求項1~4のいずれか一項に記載の情報処理装置。 - 移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置が実行する制御方法であって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得工程と、
前記移動体の運転者の状態又は操作を検出する検出工程と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御工程と、を有し、
前記表示制御工程は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
制御方法。 - 移動体の運転者と前記移動体の外部に存在するユーザとのコミュニケーションを仲介するシステムに用いられる情報処理装置のコンピュータが実行するプログラムであって、
前記移動体から前記移動体の周辺を撮影した周辺撮影画像を取得する取得手段と、
前記移動体の運転者の状態又は操作を検出する検出手段と、
前記周辺撮影画像中の所定範囲を前記ユーザの端末装置に表示させる表示制御手段
として前記コンピュータを機能させ、
前記表示制御手段は、前記運転者の状態又は操作に基づき、前記端末装置に表示させる前記所定範囲を決定する
プログラム。 - 請求項9に記載のプログラムを記憶したことを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022163666A JP2024057142A (ja) | 2022-10-12 | 2022-10-12 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022163666A JP2024057142A (ja) | 2022-10-12 | 2022-10-12 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024057142A true JP2024057142A (ja) | 2024-04-24 |
Family
ID=90778952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022163666A Pending JP2024057142A (ja) | 2022-10-12 | 2022-10-12 | 情報処理装置、制御方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024057142A (ja) |
-
2022
- 2022-10-12 JP JP2022163666A patent/JP2024057142A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733462B2 (en) | Travel assistance device and computer program | |
JP4293917B2 (ja) | ナビゲーション装置及び交差点案内方法 | |
JP2012071635A (ja) | 駐車支援装置 | |
JP6708785B2 (ja) | 走行経路提供システムおよびその制御方法、並びにプログラム | |
US20190360837A1 (en) | Navigation system, computer program product, and in-vehicle apparatus | |
JP2008280026A (ja) | 運転支援装置 | |
JP2014120111A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
WO2018163472A1 (ja) | モード切替制御装置、モード切替制御システム、モード切替制御方法およびプログラム | |
JP2006084461A (ja) | 画像取得システム | |
JP7287257B2 (ja) | 画像処理装置、表示システム、プログラムおよび画像処理方法 | |
JP2014120114A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2022176234A (ja) | 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム | |
JP6136238B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2014120113A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2019010919A (ja) | 走行支援装置及びコンピュータプログラム | |
JP2024057142A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
JP2024057143A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
JP2004064409A (ja) | 情報記録装置、情報記録方法及び情報記録用プログラム | |
WO2022224311A1 (ja) | 経路案内装置、経路案内方法、及び、経路案内プログラム | |
US20210291653A1 (en) | Display control apparatus, display control method, and computer-readable storage medium storing program | |
JP2008305283A (ja) | 運転支援装置および運転支援方法 | |
JP7451901B2 (ja) | 通信装置、通信方法及びプログラム | |
WO2024079942A1 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
JP4731173B2 (ja) | 車載用電子装置 | |
JP6136237B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム |