JP2023183512A - 乗員サービス提供装置 - Google Patents
乗員サービス提供装置 Download PDFInfo
- Publication number
- JP2023183512A JP2023183512A JP2022097068A JP2022097068A JP2023183512A JP 2023183512 A JP2023183512 A JP 2023183512A JP 2022097068 A JP2022097068 A JP 2022097068A JP 2022097068 A JP2022097068 A JP 2022097068A JP 2023183512 A JP2023183512 A JP 2023183512A
- Authority
- JP
- Japan
- Prior art keywords
- passenger
- information
- unit
- vehicle
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 52
- 206010041349 Somnolence Diseases 0.000 claims description 33
- 230000008451 emotion Effects 0.000 claims description 24
- 230000002996 emotional effect Effects 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 208000032140 Sleepiness Diseases 0.000 description 7
- 239000008186 active pharmaceutical agent Substances 0.000 description 7
- 230000037321 sleepiness Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 206010027940 Mood altered Diseases 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000004465 reflex eye movement Effects 0.000 description 1
- 230000004462 vestibulo-ocular reflex Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】車両に同乗する幼児等の子供を充分に見守る。【解決手段】乗員サービス提供装置10は、車両の外部のユーザ端末30から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置10は、乗員を撮影するカメラ14と、カメラ14により得られた乗員の撮像画像に基づき乗員の生体情報を取得する生体情報取得部115と、カメラ14により得られた乗員の撮像画像と、生体情報取得部115により取得された生体情報とを並べてユーザ端末30のディスプレイ37に表示するように、ディスプレイ37を制御する出力制御部312と、を備える。【選択図】図4
Description
本発明は、車両等の乗員にサービスを提供する乗員サービス提供装置に関する。
この種の装置として、従来、幼児を車両に残したまま母親等の保護者が車両を離れると、車室内の幼児の監視を開始し、幼児が泣き出したり暴れたりすると保護者の携帯端末に呼出信号を送信するようにした装置が知られている(例えば特許文献1参照)。
ところで、車両に幼児等の子供を同乗させるとき、子供が泣き出したり暴れたりすると、保護者が運転に集中できないおそれがある。したがって、保護者が車室内にいる場合でも、必要に応じて車室内の幼児等の子供の様子が監視されることが好ましい。
本発明の一態様である乗員サービス提供装置は、車両の外部の通信端末から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置は、乗員を撮影する撮像部と、撮像部により得られた乗員の撮像画像に基づき乗員の生体情報を取得する取得部と、撮像部により得られた乗員の撮像画像と、取得部により取得された生体情報とを並べて通信端末の表示部に表示するように、表示部を制御する表示制御部と、を備えることを特徴とする。
本発明によれば、車両に同乗する幼児等の子供を充分に見守ることができる。
以下、図1~図9Bを参照して本発明の実施形態について説明する。本発明の実施形態に係る乗員サービス提供装置は、車両等の乗員へのサービス、特に、車両等に同乗する幼児等の子供の見守りサービスを提供する乗員サービス提供システムの一部を構成する。
図1は、本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図である。図1に示すように、本実施形態に係る乗員サービス提供システム1は、車両100に搭載される車載端末10と、車両100の車室内に設置される通信端末(以下、車室内端末と呼ぶ。)20と、車室内端末20とネットワーク50を介して通信可能に接続される車室外の通信端末(以下、ユーザ端末と呼ぶ。)30と、車両100の運転者の通信端末(以下、運転者端末と呼ぶ。)40とを含む。本実施形態に係る乗員サービス提供装置は、主に車載端末10、車室内端末20およびユーザ端末30により構成される。ネットワーク50には、インターネット網や携帯電話網等に代表される公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)等も含まれる。
図2Aおよび図2Bは、車室内端末20の設置例を示す図である。車室内端末20は、スピーカやディスプレイを有するタブレット端末等の通信端末である。車室内端末20は、ディスプレイに表示される映像やスピーカから出力される音声を車両100に乗車する幼児等の子供が視聴可能な位置に設置される。図2Aに示すように、幼児等の子供P2がフロントシート(例えば運転席)DSの後側のリアシートRSに乗車する場合には、車室内端末20は、図2Bに示すように、車両100の運転席DSの背面部の裏側に設置される。なお、車室内端末20は、フロントシートに固定されてもよいし、取り外し可能に設置されてもよい。
図3は、ユーザ端末30の使用例を示す図である。ユーザ端末30は、スピーカやディスプレイを有するスマートフォンやタブレット端末等の通信端末である。ユーザ端末30は、車室内端末20を介して、車両100に同乗する子供P2とビデオ通話等が可能である。ユーザ端末30は、車両100に乗車する子供の見守り役(シッター役)となる車室外の人物(以下、協力者と呼ぶ。)P3に利用される。例えば、車両100の運転者P1が、車両100に同乗する子供の母親であるとき、協力者P3は、車室外(例えば、図1の家300)にいるその母親の両親(その子供の祖父母)等である。なお、図3には、ユーザ端末30が1つ例示されているが、ネットワーク50には複数のユーザ端末30が接続されてもよい。その場合、各ユーザ端末30に紐づけられた複数の人物が協力者の候補となり得る。
図4は、図1の乗員サービス提供システム1の概略構成を示す図である。図4に示すように、車載端末10は、CPU等の演算部11と、ROM、RAM等の記憶部12と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車載端末10は、通信部13と、カメラ14と、を有する。
通信部13は、ネットワーク50を介して車室内端末20、ユーザ端末30、および、運転者端末40と無線通信可能に構成される。カメラ14は、CCDやCMOS等の撮像素子を有する。カメラ14は、車両100の室内、例えば天井部に、少なくとも運転者および同乗者が撮像範囲に含まれるように設置される。
演算部11は、機能的構成として、乗員検出部111と、判定部112と、登録者情報取得部113と、接続制御部114と、生体情報取得部115と、情報出力部116とを有する。記憶部12は、後述する登録者情報を記憶する。
乗員検出部111は、カメラ14により得られた画像データ(以下、撮像画像データまたは単に撮像画像と呼ぶ。)に基づき、車両100の乗員を検出する。
判定部112は、乗員検出部111により検出された乗員のうち運転者P1以外の乗員(同乗者)に対する、車室外の協力者からの見守りサービスの提供の要否を判定する。より詳細には、判定部112は、カメラ14により得られた撮像画像に基づく画像認識処理により同乗者の年齢を認識する。判定部112は、認識した同乗者の年齢が所定の年齢層に含まれるとき、同乗者に対する見守りサービスの提供が必要であると判定する。見守りサービスの提供の一例としては、ビデオ通話を介した協力者からの映像提供が挙げられる。
判定部112は、カメラ14により得られた撮像画像に基づく画像認識処理により、同乗者の年齢の他、同乗者の体の大きさを認識してもよく、認識された体の大きさが所定サイズ未満であるとき、同乗者に対する見守りサービスの提供が必要であると判定してもよい。また、判定部112は、カメラ14により得られた撮像画像に基づく画像認識処理により、同乗者が図2Aに示すようなチャイルドシートCSに着座しているか否かを判定し、同乗者がチャイルドシートCSに着座していると判定すると、同乗者に対する見守りサービスの提供が必要であると判定してもよい。
登録者情報取得部113は、見守りサービスを提供する協力者として予め登録された人物の情報(以下、登録者情報と呼ぶ。)を、記憶部12から読み出す。登録者情報には、協力者に紐づけられたユーザ端末30の情報(電話番号やメールアドレスなど)や、協力者の情報が含まれる。協力者の情報には、協力者の氏名やニックネームを示す情報や、協力者が見守りサービスを提供可能な日時(日付や、曜日、時間帯など)を示す情報(以下、提供可能日時情報と呼ぶ。)が含まれる。登録者情報は、後述するように、車両100の運転者P1により運転者端末40を介して事前に、記憶部12に登録される。
接続制御部114は、車室内端末20と、協力者に紐づけられたユーザ端末30との接続を制御する。接続制御部114は、判定部112により協力者からの映像提供が必要であると判定されると、車室内端末20をユーザ端末30に通信可能に接続する。具体的には、接続制御部114は、登録者情報取得部113により取得された登録者情報に基づいて発信先情報を生成し、発信先情報を含む接続指示を車室内端末20に送信する。なお、接続指示の送信先となる通信端末の識別情報(MACアドレスやIPアドレス等)が予め記憶部12に記憶されていて、接続制御部114は、その識別情報に基づき特定される通信端末(車室内端末20)に接続指示を送信する。また、発信先情報には、車室内端末20の接続先、すなわち協力者に紐づけられたユーザ端末30の電話番号やIPアドレス等が含まれる。
なお、接続制御部114は、登録者情報取得部113により取得された登録者情報、より詳細には提供可能日時情報により示される提供可能日時に、車両100の出発時間および到着時間が含まれないとき、車室内端末20への接続指示の送信は行わない。このとき、接続制御部114は、見守りサービスを受けることができない旨を示す画面情報を生成し、その画面情報を車両100に搭載された不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示する。なお、接続制御部114は、車両100の出発時間および到着時間に関する情報(以下、乗車時間情報と呼ぶ。)を、無線通信等を利用して車載ナビゲーション装置から取得する。乗車時間情報は、その他の方法により取得されてもよい。例えば、運転者P1が自身のスマートフォン等の通信端末を介して乗車時間情報を車載端末10に送信し、接続制御部114は、運転者P1により送信された乗車時間情報を受信してもよい。また、出発時間および到着時間のうちの一方が提供可能日時に含まれるとき、接続制御部114は、乗車時間(出発から到着までの時間)の一部の時間帯について、協力者が見守りサービスを提供可能である旨を示す画面情報を生成してもよい。
生体情報取得部115は、カメラ14からの撮像画像に基づいて、同乗者の生体情報を取得する。生体情報には、同乗者の眠気の程度を示す情報(以下、眠気情報と呼ぶ。)と、乗員の感情を数値化した情報(以下、感情情報と呼ぶ。)とが含まれる。
生体情報取得部115は、カメラ14からの撮像画像に基づき同乗者の頭部と眼球の動きを認識して、その認識結果に基づき同乗者の眠気の程度を検出する。例えば、生体情報取得部115は、眼球の前提動眼反射(VOR:vestibulo-ocular reflex、頭部の動きと逆方向に眼球を回転させる反射性眼球運動)と頭部の動きとの相関のズレを検出し、そのズレの大きさに基づき眠気の程度を検出する。一般に、眠気の程度が大きくなると、上記ズレが大きくなる。したがって、上記ズレが大きいほど、検出される眠気の程度は大きくなる。なお、眠気の程度の検出方法は、これに限定されず、カメラ14からの映像情報に基づき認識される同乗者の瞼の動きに基づき同乗者の眠気の程度を検出してもよいし、その他の方法により同乗者の眠気の程度を検出してもよい。
また、生体情報取得部115は、カメラ14からの映像情報に基づき同乗者の感情を検出する。例えば、生体情報取得部115は、表情推定AI(人口知能)を用いて、カメラ14により得られた同乗者の顔画像から同乗者の各感情(平常状態、怒り、軽蔑、嫌気、恐怖、幸福、悲しみ、驚きなど)の程度を検出する。各感情の程度は、パーセンテージ等の数値で表される。例えば、怒りの程度が高いときや嫌気の程度が高いとき、同乗者の機嫌が悪いことが分かる。このように、生体情報取得部115は、同乗者の感情を数値化した情報を感情情報として取得する。なお、感情の数値化方法は、これに限定されず、カメラ14からの撮像画像に基づきその他の方法により同乗者の感情を数値化してもよい。
生体情報取得部115は、眠気情報と感情情報とに基づき同乗者の現在の状態(睡眠状態や感情など)を判定する。生体情報取得部115は、眠気情報と感情情報とを含む生体情報を生成する。生体情報には、眠気情報と感情情報ととともに、眠気情報および感情情報が検出された撮像画像の撮像日時を示す日時情報が含まれる。また、生体情報取得部115は、生体情報に基づき同乗者の現在の状態(睡眠状態や感情など)を判定し、判定された同乗者の状態を示す状態情報を生成する。さらに、生体情報取得部115は、生体情報と状態情報とに基づき、同乗者の見守りの要否、より詳細には、同乗者の見守りを継続する必要があるか否かを判定する。
情報出力部116は、生体情報取得部115により同乗者の見守りが必要であると判定されると、生体情報取得部115により生成された生体情報と状態情報とを、通信部13を介してユーザ端末30に出力(送信)する。また、情報出力部116は、同乗者の見守りの要否の判定結果を通知するための情報(以下、通知情報と呼ぶ。)であって、同乗者の見守りが必要であることを示す通知情報を、通信部13を介してユーザ端末30に出力(送信)する。一方、生体情報取得部115により同乗者の見守りが不要であると判定されると、情報出力部116は、同乗者の見守りが不要であることを示す通知情報を、通信部13を介してユーザ端末30に出力(送信)する。
車室内端末20は、図4に示すように、CPU等の演算部21と、ROM、RAM等の記憶部22と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車室内端末20は、通信部23、マイクロフォン(以下、単にマイクと称する。)24と、カメラ25と、ディスプレイ26と、スピーカ27とを有する。車室内端末20は、図2A,2Bに示すように、カメラ25の撮像範囲に同乗者(子供P2)が含まれるように、運転席DSの背面部の裏側に設置される。
通信部23は、ネットワーク50を介して少なくとも車載端末10およびユーザ端末30と無線通信可能に構成される。マイク24は、周囲の音声を音声信号として入力する。マイク24により入力された音声信号は、不図示のA/D変換器を介して音声データとして演算部21に出力される。カメラ25は、CCDやCMOS等の撮像素子を有する。カメラ25により得られた撮像画像は、演算部21に出力される。ディスプレイ26は、演算部21からの画像データに基づく映像を表示する。スピーカ27は、演算部21からの音声データを不図示のD/A変換器を介して音声信号として出力する。
演算部21は、機能的構成として、接続制御部211と、出力制御部212とを有する。接続制御部211は、通信部23を介して車載端末10からの接続指示を受信すると、接続指示に含まれる発信先情報に基づき、通信部23を介して発信信号を出力する。例えば、発信先情報にユーザ端末30の電話番号が含まれるとき、ユーザ端末30に対して呼出信号が出力される。この呼出信号にユーザ端末30が応答すると、ユーザ端末30との接続が確立され、車室内端末20とユーザ端末30との間でビデオ通話が可能となる。
出力制御部212は、マイク24により取得された音声データを、通信部23を介してユーザ端末30に送信する。また、出力制御部212は、カメラ25により得られた同乗者の撮像画像を、通信部23を介してユーザ端末30に送信する。また、出力制御部212は、通信部23を介してユーザ端末30から受信した音声データを、スピーカ28に出力する。さらに、出力制御部212は、通信部23を介してユーザ端末30から受信した撮像画像を、ディスプレイ26に出力する。なお、車載端末10からカメラ14により得られた同乗者の撮像画像がユーザ端末30に送信されるときは、出力制御部212は、ユーザ端末30に対して、マイク24により取得された音声データのみを送信してもよい。
ユーザ端末30は、図4に示すように、CPU等の演算部31と、ROM、RAM等の記憶部32と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、ユーザ端末30は、通信部33、マイク34と、カメラ35と、操作部36と、ディスプレイ37と、スピーカ38とを有する。
通信部33は、ネットワーク50を介して少なくとも車載端末10および車室内端末20と無線通信可能に構成される。マイク34は、外部の音声信号を入力する。マイク34により入力された音声信号は、不図示のA/D変換器を介して音声データとして演算部31に出力される。カメラ35は、CCDやCMOS等の撮像素子を有する。カメラ35により得られた撮像画像は、演算部31に出力される。操作部36は、キーボード等の入力装置により構成される。ディスプレイ37は、演算部31からの画像データに基づく映像を表示する。なお、ディスプレイ37がタッチパネル機能を有する場合、操作部36は、ディスプレイ37により構成されてもよい。スピーカ38は、演算部31からの音声データを不図示のD/A変換器を介して音声信号として出力する。
演算部31は、機能的構成として、接続制御部311と、出力制御部312とを有する。接続制御部311は、通信部33を介して車室内端末20からの呼出信号を受信すると、スピーカ38を介して呼び出し音を出力する。ユーザが、操作部36等を操作して、呼び出し音による呼び出しに応答すると、車室内端末20との接続が確立され、車室内端末20とのビデオ通話が可能となる。
出力制御部312は、マイク34により取得された音声データを、通信部33を介して車室内端末20に送信する。また、出力制御部312は、カメラ35により得られた撮像画像を、通信部33を介して車室内端末20に送信する。また、出力制御部312は、通信部33を介して車室内端末20から受信した音声データを、スピーカ38に出力する。
さらに、出力制御部312は、通信部33を介して車室内端末20から受信した映像情報に基づく映像(同乗者の顔画像を含む映像)と、通信部33を介して車載端末10から受信した生体情報とを並べてディスプレイ37に表示するように、ディスプレイ37を制御する。詳細には、出力制御部312は、同乗者の顔画像を含む映像と生体情報とを1つの画面上に並べて表示するための表示情報を生成し、その表示情報をディスプレイ37に出力する。なお、出力制御部312は、車載端末10から受信した最新の生体情報のみを表示してもよいし、現在時点より所定時間手前の過去の時点から現在時点までの所定期間にわたって車載端末10から受信した生体情報を時系列に並べて表示してもよい。
運転者端末40は、図4に示すように、CPU等の演算部41と、ROM、RAM等の記憶部42と、I/Oインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、運転者端末40は、通信部43、操作部44と、ディスプレイ45とを有する。
通信部43は、ネットワーク50を介して少なくとも車載端末10と無線通信可能に構成される。操作部44は、キーボード等の入力装置により構成される。なお、ディスプレイ45がタッチパネル機能を有する場合、操作部44は、ディスプレイ45により構成されてもよい。
演算部41は、機能的構成として、登録部411を有する。登録部411は、操作部44を介して車両100の運転者P1により入力された登録者情報を、通信部43を介して車載端末10に送信する。具体的には、まず、登録部411は、操作部44を介したユーザからの指示に基づき、登録者情報を入力するための画面(以下、登録画面と呼ぶ。)をディスプレイ45に表示する。ユーザが操作部44を介して登録画面に登録者情報を入力すると、入力された登録者情報が記憶部42に記憶される。登録部411は、記憶部42に記憶された登録者情報を、通信部43を介して車載端末10に送信する。
図5は、予め定められたプログラムに従い運転者端末40の演算部41(CPU)で実行される処理の一例を示すフローチャートである。図5のフローチャートに示す処理は、運転者端末40の操作部44を介して登録画面の表示指示を受け付けると開始される。登録画面の表示指示は、例えば、予め運転者端末40にインストールされた、登録者情報を入力するためのアプリケーション(以下、登録アプリと呼ぶ。)を、操作部44を介して起動することにより行われる。
まず、ステップS11で、登録画面を表示する。ステップS12で、登録者情報の入力が完了したか否かを判定する。ステップS12は肯定されるまで繰り返される。ステップS12で肯定されると、ステップS13で、登録画面に入力された登録者情報を、通信部43を介して車載端末10に送信する。車載端末10に送信された登録者情報は、車載端末10の記憶部12に記憶される。
図6は、予め定められたプログラムに従い車載端末10の演算部11(CPU)で実行される処理の一例を示すフローチャートである。図6のフローチャートに示す処理は、運転者P1の運転席DSへの着座を検出すると開始される。なお、運転者P1が運転席DSに着座している否かは、カメラ14により得られた撮像画像により検出してもよいし、その他の方法により検出してもよい。
まず、ステップS21で、運転者以外の乗員(同乗者)が検出されたか否かを判定する。ステップS21で否定されると、処理を終了する。ステップS21で肯定されると、ステップS22で、同乗者が協力者からの映像提供を必要とする人物であるか否かを判定する。ステップS22で否定されると、処理を終了する。ステップS22で肯定されると、ステップS23で、記憶部12に記憶された登録者情報を取得する。
ステップS24で、依頼可能な協力者が存在するか否かを判定する。より詳細には、記憶部12に記憶された登録者情報に含まれる提供可能日時情報に基づいて、車両100が現在地を出発してから目的地に到着するまでの間(出発時間から到着時間までの間)に、見守りサービスを提供可能な協力者が存在するか否かを判定する。なお、記憶部12に複数の登録者情報が記憶されていて、かつ、依頼可能な協力者が複数見つかったときは、複数の協力者の中からいずれかの協力者を選択するための画面(以下、協力者選択画面と呼ぶ。)を、不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示させてもよい。協力者選択画面には、各協力者の氏名やニックネームの一覧とともに、その一覧の中からいずれかの協力者を選択するための操作ボタン等が表示される。
ステップS25で、依頼可能な協力者に対応する登録者情報に基づいて、依頼可能な協力者に紐づけられたユーザ端末30の電話番号等を含む発信先情報を生成し、生成した発信先情報を含む接続指示を車室内端末20に送信する。これにより、車室内端末20からネットワーク50を介してユーザ端末30に対して呼出信号が出力され、ユーザ端末30がこの呼出信号に応答すると、車室内端末20とユーザ端末30との間でビデオ通話が可能な状態となる。
図7は、予め定められたプログラムに従い車載端末10の演算部11(CPU)で実行される他の処理の一例を示すフローチャートである。図7のフローチャートに示す処理は、車載端末10に電源が投入されている間、所定周期で繰り返される。
まず、ステップS31で、カメラ14から出力される撮像画像、具体的には、同乗者(子供P2)の顔画像を含む撮像画像を取得する。ステップS32で、ステップS31で取得した撮像画像に基づき、同乗者の眠気の程度を検出する。ステップS33で、ステップS31で取得した撮像画像に基づき、同乗者の感情を検出する。ステップS34で、ステップS32で検出された眠気情報とステップS33で検出された感情情報とに基づき、同乗者の状態を判定する。ステップS35で、ステップS32,S33の検出結果およびステップS34の判定結果に基づいて、同乗者の見守りが不要であるか否かを判定する。例えば、ステップS32で検出された眠気情報に基づき眠気の程度が所定程度以上であるとき、同乗者が寝ていると判断し、同乗者の見守りが不要であると判定する。また例えば、ステップS33で検出された感情情報に基づき同乗者の機嫌が悪いと判定されるとき、同乗者の見守りが必要であると判定する。ステップS35で肯定されると、ステップS36で、ステップS32で検出された眠気情報と、ステップS33で検出された感情情報と、ステップS31で取得された撮像画像の撮像日時を示す日時情報と、を含む生体情報を生成する。ステップS37で、ステップS34で生成した生体情報を、通信部13を介してユーザ端末30に送信する。このとき、ステップS34の判定結果を含む状態情報と、見守りが必要であることを示す通知情報も送信される。一方、ステップS35で否定されると、ステップS38で、見守りが不要であることを示す通知情報をユーザ端末30に送信する。
本実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの動作をまとめると以下のようになる。まず、運転者である母親P1が車両100に乗車し運転席DSに着座すると、見守りサービスの提供が必要な人物が同乗しているか否かが判定される(S21,S22)。見守りサービスの提供が必要な人物(図2Aの子供P2)が同乗しているとき、記憶部12に記憶された登録者情報に基づいて、見守りサービスを依頼可能な協力者が検索される。見守りサービスを依頼可能な協力者(図3の祖母P3)が見つかると、車両100に設置された車室内端末20と祖母P3に紐づけられたユーザ端末30とが、ビデオ通話可能に接続される(S23,S24,S25)。ビデオ通話が開始されると、祖母P3のユーザ端末30のディスプレイ37には、子供P2の撮像画像が表示され、ユーザ端末30のスピーカ38から子供P2の音声が出力される。祖母P3が、ディスプレイ37に表示される子供P2の様子やスピーカ38から出力される子供P2の音声を確認しながら、子供P2をあやす仕草などをすると、その様子がカメラ35により撮像され、その撮像画像が車室内端末20に送信される。また、祖母P3が、子供P2をあやす言葉などを発すると、マイク34を介して入力された祖母P3の音声が音声データとして車室内端末20に送信される。この結果、車室内端末20のディスプレイ26に、祖母P3が子供P2をあやす映像が表示されるとともに、車室内端末20のスピーカ27から、祖母P3の音声(子供P2をあやす言葉など)が出力される。図8は、車室内端末20のディスプレイ26に表示される映像の一例を示す図である。
一方、ユーザ端末30のディスプレイ37には、子供P2の撮像画像とともに、子供P2の生体情報が表示される。図9Aおよび図9Bは、ユーザ端末30のディスプレイ37に表示される映像の一例を示す図である。図9Aには、子供P2の撮像画像を含む映像IM1と、眠気情報を含む映像IM2とが並べて表示されたディスプレイ37の一例が示されている。映像IM1には、車載端末10から受信したカメラ14により得られた撮像画像が含まれる。なお、映像IM1には、車室内端末20から受信したカメラ25により得られた撮像画像が含まれてもよい。映像IM2には、現在時点までの所定期間の子供P2の眠気の程度を示す眠気情報IF11と、眠気情報IF11に基づき判定された子供P2の状態情報IF2とが含まれる。図9Aの例では、状態情報IF2として「寝ています」というメッセージが表示されている。ディスプレイ37に表示される眠気情報IF11と状態情報IF2とに基づき、祖母P3は、子供P2が寝ていることを認識できる。また、映像IM2には、通知情報IF3が含まれ、祖母P3は、通知情報IF3に基づき、子供P2の見守りが必要であるか否かを判断できる。図9Aには、見守りが不要であることを示す通知情報IF3の例が示されている。
一方、図9Bには、子供P2の撮像画像を含む映像IM1と、感情情報を含む映像IM2とが並べて表示されたディスプレイ37の一例が示されている。図9Bの映像IM2には、子供P2の現在の感情を示す感情情報IF12と、感情情報IF12に基づき判定された子供P2の状態情報IF2とが含まれる。図9Bの例では、状態情報IF2として「機嫌が悪いようです」というメッセージが表示されている。祖母P3は、ディスプレイ37に表示される感情情報IF12と状態情報IF2とに基づき、子供P2の機嫌が悪いことを認識できる。また、図9Bの映像IM2には、見守りが必要であることを示す通知情報IF3が含まれ、祖母P3は、子供P2の見守りが必要であることを認識できる。
これにより、祖母P3は、子供P2の眠気の程度や子供P2の感情の変化に応じてより適切に子供P2の面倒を見ることが可能となる。その結果、子供P2が乗車に飽きて泣き出したり暴れたりすることを抑制でき、母親P1は、幼児等の子供P2が同乗しているときでも、運転に集中することが可能となり、安全に目的地に向かうことができる。
なお、出力制御部312は、ユーザ端末30の操作部36を介して入力されるユーザ(祖母P3)からの指示(以下、表示切替指示と呼ぶ。)に応じて、ディスプレイ37に眠気情報および感情情報のいずれを表示させるかを決定してもよい。また、出力制御部312は、眠気情報および感情情報の両方をディスプレイ37に並べて表示してもよい。また、図9Bには、5つの感情のパーセンテージを示す感情情報IF12が例示されているが、ディスプレイ37には、感情情報IF12として、4つ以下または6つ以上の感情の値が表示されてもよい。
本発明の実施形態によれば以下のような作用効果を奏することができる。
(1)乗員サービス提供装置は、主に、車両100の車載端末10および車室内端末20と、車両100の外部のユーザ端末30とにより構成され、ユーザ端末30から車両100の運転者(図2Aの運転者P1)以外の乗員(図2Aの子供P2)にサービスを提供する。乗員サービス提供装置は、乗員を撮影するカメラ14と、カメラ14により得られた撮像画像に基づき、乗員の生体情報を取得する生体情報取得部115と、カメラ14により得られた撮像画像と、生体情報取得部115により取得された生体情報とを並べてユーザ端末30のディスプレイ37に表示するように、ディスプレイ37を制御する出力制御部312と、を備える。
(1)乗員サービス提供装置は、主に、車両100の車載端末10および車室内端末20と、車両100の外部のユーザ端末30とにより構成され、ユーザ端末30から車両100の運転者(図2Aの運転者P1)以外の乗員(図2Aの子供P2)にサービスを提供する。乗員サービス提供装置は、乗員を撮影するカメラ14と、カメラ14により得られた撮像画像に基づき、乗員の生体情報を取得する生体情報取得部115と、カメラ14により得られた撮像画像と、生体情報取得部115により取得された生体情報とを並べてユーザ端末30のディスプレイ37に表示するように、ディスプレイ37を制御する出力制御部312と、を備える。
これにより、子供の見守り役の協力者(祖母P3)が、車室外から車両に同乗する幼児等の子供を充分に見守ることができる。その結果、運転者(母親P1)は、同乗する子供の様子を気に掛けることなく運転に集中することができ、安全に目的地に向かうことができる。また、上記のように子供の撮像画像だけでなく子供の生体情報を取得することで、協力者は、車室内の子供の状態(睡眠状態や感情)を精度よく認識できる。その結果、協力者は、見守りを継続すべきか否かを正確に判断でき、適切なタイミングで子供の見守りを終了できる。
(2)生体情報には、乗員の眠気の程度を示す眠気情報が含まれる。これにより、乗員の眠気の度合いを、ユーザ端末30を介して協力者に知らせることができ、協力者は、子供の見守りを継続すべきか否かを正確に判断できる。
(3)生体情報取得部115はさらに、取得した乗員の生体情報に基づき乗員の睡眠状態を判定し、該睡眠状態に基づき乗員へのサービスの提供の要否を判定する。出力制御部312は、生体情報取得部115による乗員へのサービスの提供の要否の判定結果を、生体情報取得部115により取得された生体情報とともにディスプレイ37に表示する。これにより、協力者は、見守りを継続すべきか否かをより正確に判断できる。
(4)生体情報には、乗員の感情を数値化した感情情報が含まれる。これにより、乗員の感情を、ユーザ端末30を介して協力者に知らせることができ、協力者は、子供の見守りを継続すべきか否かを正確に判断できる。
(5)生体情報取得部115はさらに、取得した乗員の生体情報に基づき乗員の睡眠状態を判定し、該睡眠状態に基づき乗員へのサービスの提供の要否を判定する。出力制御部312は、生体情報取得部115による乗員へのサービスの提供の要否の判定結果を、生体情報取得部115により取得された生体情報とともにディスプレイ37に表示する。これにより、協力者は、見守りを継続すべきか否かをより正確に判断できる。
上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。
上記実施形態では、撮像部としての車載端末10のカメラ14により得られた乗員(子供P2)の撮像画像を、表示部としてのユーザ端末30のディスプレイ37に表示するようにした。しかしながら、カメラ25により得られた乗員(子供P2)の撮像画像を、ユーザ端末30のディスプレイ37に表示してもよい。また、上記実施形態では、取得部としての生体情報取得部115が、カメラ14により得られた乗員の撮像画像に基づき、乗員の生体情報(眠気情報と感情情報)を取得するようにした。しかしながら、車載端末10が通信部13を介して、車室内端末20のカメラ25により得られた乗員の撮像画像を受信可能であるとき、取得部は、カメラ25により得られた乗員の撮像画像に基づき乗員の生体情報を取得してもよい。
上記実施形態では、撮像部としての車載端末10のカメラ14により得られた乗員(子供P2)の撮像画像を、表示部としてのユーザ端末30のディスプレイ37に表示するようにした。しかしながら、カメラ25により得られた乗員(子供P2)の撮像画像を、ユーザ端末30のディスプレイ37に表示してもよい。また、上記実施形態では、取得部としての生体情報取得部115が、カメラ14により得られた乗員の撮像画像に基づき、乗員の生体情報(眠気情報と感情情報)を取得するようにした。しかしながら、車載端末10が通信部13を介して、車室内端末20のカメラ25により得られた乗員の撮像画像を受信可能であるとき、取得部は、カメラ25により得られた乗員の撮像画像に基づき乗員の生体情報を取得してもよい。
また、上記実施形態では、判定部112が、カメラ14により得られた撮像画像に基づき、乗員検出部111により検出された乗員(同乗者)に対する協力者からの映像提供の要否を判定するようにした。しかしながら、判定部の構成はこれに限らない。例えば、乗員サービス提供装置10が、同乗者が着座するシート部(図2AのリアシートRS)に設置された着座センサを備えるとき、判定部は、着座センサにより検出されたその同乗者の重量が所定値未満であるとき、その同乗者に対する協力者からの映像提供が必要であると判定してもよい。
また、上記実施形態では、運転者端末40から送信された登録者情報を、乗員サービス提供装置10の記憶部12に記憶するようにしたが、登録者情報を、ネットワーク50を介して通信可能なサーバ装置が備える記憶部に記憶するようにしてもよい。ネットワーク50に複数の運転者の通信端末(運転者端末)が接続されているとき、サーバ装置の記憶部には、各運転者端末から送信された登録者情報が記憶される。この場合、登録者情報の送信元が特定可能なように、登録者情報に、各運転者端末に対応する運転者の情報(氏名やニックネームなど)や各運転者端末の識別情報(電話番号など)を含ませててもよい。車載端末10の登録者情報取得部113は、サーバ装置の記憶部から登録者情報を取得するとき、Bluetooth(登録商標)等の近距離無線通信を介して車載端末10に接続されている運転者端末に対応する登録者情報を、サーバ装置の記憶部に記憶されている複数の登録者情報の中から取得する。
また、上記実施形態では、幼児等の子供が同乗していることが検出されると(S22)、映像提供可能なように車室内端末20とユーザ端末30とを通信可能に接続する処理(S23,S24,S25)を実行するようにした。しかしながら、子供以外に他の人物(大人など)が同乗しているときには、その人物が子供を見守ることができる。したがって、幼児等の子供が同乗していることが検出されたときでも、協力者からの映像提供を必要としない大人などが同乗していることが検出された場合には、協力者からの映像提供不要と判断してもよい。その場合、上記処理(S23,S24,S25)は実行されない。
また、上記実施形態では、車両100の運転者P1が、運転者端末40の操作部44を介して登録者情報を入力する例、すなわち、運転者P1が、見守りサービスへの協力者P3の登録作業を行う例を説明した。しかしながら、見守り役となる協力者自身が、ユーザ端末30にインストールされた登録アプリを介して、見守りサービスへの登録作業を行ってもよい。これにより、見守りサービスへの協力者としての参加に興味を持つ人物が積極的にサービスに参加できるようになり、協力者の数を増大させることができ、見守りサービスの利便性の向上を図ることができる。
また、上記実施形態では、接続指示の送信先となる通信端末(車室内端末20)の識別情報が予め記憶部12に記憶されている場合を例にしたが、ユーザ操作に基づき、接続指示の送信先の識別情報が記憶部12に記憶されてもよい。例えば、ユーザ(例えば、運転者P1)が車室内端末20を操作して、乗員サービス提供装置10とのBluetooth(登録商標)接続を確立させると、車室内端末20の識別情報が、接続指示の送信先の情報として記憶部12に記憶されてもよい。また例えば、ユーザ(例えば、運転者P1)が運転者端末40の操作部44を介して車室内端末20の識別情報を入力して車載端末10に送信することで、その識別情報が接続指示の送信先として記憶部12に記憶されてもよい。
また、上記実施形態では、車室内端末20からネットワーク50を介してユーザ端末30に対して出力される呼出信号に、協力者P3が応答することで車室内端末20とユーザ端末30との間のビデオ通話が開始される例を示した。しかしながら、協力者P3が他の作業をしているなどして呼出信号に応答できないとき、すなわち、呼出信号による呼び出しが所定時間以上継続したときには、協力者P3の代わりにAI(人工知能)を用いた対話用のアプリケーション(以下、対話アプリと呼ぶ。)が車室内端末20からの呼び出しに応答してもよい。具体的には、表示制御部としてのユーザ端末30の出力制御部が対話アプリを起動させて、対話アプリが、車室内端末20からの呼び出しに応答するとともに、協力者P3の代役となるように動作してもよい。
また、上記実施形態では、車載端末10が取得部としての生体情報取得部115を有する例を説明したが、車室内端末20が取得部を有していてもよい。この場合、取得部は、カメラ25により得られた乗員(子供P2)の撮像画像に基づき、乗員の眠気情報と感情情報とを取得し、乗員の生体情報を生成する。また、車室内端末20の出力制御部212は、乗員の生体情報をカメラ25により得られた乗員の撮像画像とともに、通信部23を介してユーザ端末30に送信する。
また、上記実施形態では、提供要否判定部としての生体情報取得部115が、乗員の生体情報に基づき乗員の睡眠状態や感情を判定し、その判定結果に基づき乗員の見守りの要否を判定するようにした。しかしながら、提供要否判定部は、カメラ14の撮像画像に基づき検出された乗員の視線が一点に集中しているかに基づき、乗員の見守りの要否を判定してもよい。そして、乗員の視線が一点に集中しているとき、提供要否判定部は、乗員が何かに集中している状態であると判断し、乗員の見守りが不要であると判定してもよい。
また、上記実施形態では、車室内端末20のディスプレイ26に、協力者P3の撮像画像を含む映像(図8の映像IM0)を表示するようにしたが、ディスプレイ26には、動画コンテンツの映像が表示されてもよいし、その他の映像が表示されてもよい。また、ディスプレイ26の表示を協力者P3が切り替え可能であってもよい。具体的には、操作部36を介して協力者P3により入力されたディスプレイ26の表示切替指示を、演算部31が、通信部33を介して車室内端末20に送信してもよい。そして、出力制御部212が、その表示切替指示に応じて、協力者P3の撮像画像を含む映像と動画コンテンツの映像とのいずれかを出力してもよい。また、出力制御部212は、表示切替指示に応じて動画コンテンツの映像を出力するとき、表示切替指示により指定された動画コンテンツを、記憶部22や、ネットワーク50を介して接続されたコンテンツ配信サーバ(不図示)から取得して、ディスプレイ26に出力してもよい。
また、上記実施形態では、1台のユーザ端末30と1台の車室内端末20とがネットワーク50を介してビデオ通話可能に接続される例を示したが、1台のユーザ端末30に対して複数台の車室内端末20がビデオ通話可能に接続されてもよい。それにより、協力者P3は、ユーザ端末30を介して、複数台の車室内端末20に対応する複数の車両それぞれに乗車する子供の面倒を見ることが可能となる。
さらに、上記実施形態では、車室内端末20と運転者端末40とが別々の通信端末で構成される例を示したが、車室内端末20と運転者端末40とが同一の端末で構成されてもよい。例えば、図2Aの運転席DSの背面部の裏側にスマートフォン等の通信端末を取り付け可能な器具を設置して、その器具に取り付けた運転者端末40を車室内端末20として利用してもよい。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。
10 乗員サービス提供装置、20 車室内端末、30 ユーザ端末、40 運転者端末、11 演算部、12 記憶部、111 乗員検出部、112 判定部、113 登録者情報取得部、114 接続制御部、115 生体情報取得部、116 情報出力部
Claims (5)
- 車両の外部の通信端末から前記車両の運転者以外の乗員にサービスを提供する乗員サービス提供装置であって、
前記乗員を撮影する撮像部と、
前記撮像部により得られた前記乗員の撮像画像に基づき前記乗員の生体情報を取得する取得部と、
前記撮像部により得られた前記乗員の撮像画像と、前記取得部により取得された前記乗員の生体情報とを並べて前記通信端末の表示部に表示するように、前記表示部を制御する表示制御部と、を備えることを特徴とする乗員サービス提供装置。 - 請求項1記載の乗員サービス提供装置において、
前記乗員の生体情報には、前記乗員の眠気の程度を示す眠気情報が含まれることを特徴とする乗員サービス提供装置。 - 請求項2に記載の乗員サービス提供装置において、
前記取得部により取得された前記乗員の生体情報に基づき前記乗員の睡眠状態を判定し、該睡眠状態に基づき前記乗員へのサービスの提供の要否を判定する提供要否判定部をさらに備え、
前記表示制御部は、前記提供要否判定部による判定結果を、前記取得部により取得された前記乗員の生体情報とともに前記表示部に表示することを特徴とする乗員サービス提供装置。 - 請求項1または2に記載の乗員サービス提供装置において、
前記乗員の生体情報には、前記乗員の感情を数値化した感情情報が含まれることを特徴とする乗員サービス提供装置。 - 請求項4に記載の乗員サービス提供装置において、
前記取得部により取得された前記乗員の生体情報に基づき前記乗員の現在の感情を判定し、該感情に基づき前記乗員へのサービスの提供の要否を判定する提供要否判定部をさらに備え、
前記表示制御部は、前記提供要否判定部による判定結果を、前記取得部により取得された前記乗員の生体情報とともに前記表示部に表示することを特徴とする乗員サービス提供装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022097068A JP2023183512A (ja) | 2022-06-16 | 2022-06-16 | 乗員サービス提供装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022097068A JP2023183512A (ja) | 2022-06-16 | 2022-06-16 | 乗員サービス提供装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023183512A true JP2023183512A (ja) | 2023-12-28 |
Family
ID=89333398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022097068A Pending JP2023183512A (ja) | 2022-06-16 | 2022-06-16 | 乗員サービス提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023183512A (ja) |
-
2022
- 2022-06-16 JP JP2022097068A patent/JP2023183512A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10032453B2 (en) | System for providing occupant-specific acoustic functions in a vehicle of transportation | |
US20170349184A1 (en) | Speech-based group interactions in autonomous vehicles | |
JP6466385B2 (ja) | サービス提供装置、サービス提供方法およびサービス提供プログラム | |
US11014508B2 (en) | Communication support system, communication support method, and storage medium | |
WO2020066757A1 (ja) | 危険運転防止装置 | |
CN111192583A (zh) | 控制装置、智能体装置以及计算机可读存储介质 | |
JP6894579B2 (ja) | サービス提供システムおよびサービス提供方法 | |
KR101940213B1 (ko) | 차량용 헤드 서포트 장치 | |
JP2023183512A (ja) | 乗員サービス提供装置 | |
CN210927936U (zh) | 具有全自然用户界面的耳机装置 | |
JP2023183510A (ja) | 乗員サービス提供装置 | |
JP6785889B2 (ja) | サービス提供装置 | |
CN112863505A (zh) | 基于人工智能的邻居间数据处理装置及方法 | |
Pape et al. | Empathic assistants–Methods and use cases in automated and non-automated driving | |
JP2023183511A (ja) | 乗員サービス提供装置 | |
JP2023183513A (ja) | 乗員サービス提供装置 | |
JP7069868B2 (ja) | 着信通知方法及び着信通知装置 | |
CN111669542B (zh) | 车辆管理*** | |
JP2019105966A (ja) | 情報処理方法及び情報処理装置 | |
JP7161971B2 (ja) | ソフトウェア更新装置、ソフトウェア更新システム、及びソフトウェア更新方法 | |
US10999713B2 (en) | Information providing apparatus for controlling output of information and control method thereof | |
JP7495595B2 (ja) | サービス提供装置 | |
WO2022202031A1 (ja) | 覚醒システム、覚醒制御装置および覚醒方法 | |
WO2023042593A1 (ja) | 車載機器制御システム | |
CN117831223A (zh) | 监控方法、计算机程序产品、监控***和车辆 |