JP2023183512A - 乗員サービス提供装置 - Google Patents

Abstract

【課題】車両に同乗する幼児等の子供を充分に見守る。【解決手段】乗員サービス提供装置１０は、車両の外部のユーザ端末３０から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置１０は、乗員を撮影するカメラ１４と、カメラ１４により得られた乗員の撮像画像に基づき乗員の生体情報を取得する生体情報取得部１１５と、カメラ１４により得られた乗員の撮像画像と、生体情報取得部１１５により取得された生体情報とを並べてユーザ端末３０のディスプレイ３７に表示するように、ディスプレイ３７を制御する出力制御部３１２と、を備える。【選択図】図４

Description

本発明は、車両等の乗員にサービスを提供する乗員サービス提供装置に関する。

この種の装置として、従来、幼児を車両に残したまま母親等の保護者が車両を離れると、車室内の幼児の監視を開始し、幼児が泣き出したり暴れたりすると保護者の携帯端末に呼出信号を送信するようにした装置が知られている（例えば特許文献１参照）。

特開２００１－２０２５８０号公報

ところで、車両に幼児等の子供を同乗させるとき、子供が泣き出したり暴れたりすると、保護者が運転に集中できないおそれがある。したがって、保護者が車室内にいる場合でも、必要に応じて車室内の幼児等の子供の様子が監視されることが好ましい。

本発明の一態様である乗員サービス提供装置は、車両の外部の通信端末から車両の運転者以外の乗員にサービスを提供する。乗員サービス提供装置は、乗員を撮影する撮像部と、撮像部により得られた乗員の撮像画像に基づき乗員の生体情報を取得する取得部と、撮像部により得られた乗員の撮像画像と、取得部により取得された生体情報とを並べて通信端末の表示部に表示するように、表示部を制御する表示制御部と、を備えることを特徴とする。

本発明によれば、車両に同乗する幼児等の子供を充分に見守ることができる。

本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図。 車室内端末の設置例を示す図。 車室内端末の設置例を示す図。 ユーザ端末の使用例を示す図。 図１の乗員サービス提供システムの概略構成を示す図。 図４のユーザ端末の演算部で実行される処理の一例を示すフローチャート。 図４の車載端末の演算部で実行される処理の一例を示すフローチャート。 図４の車載端末の演算部で実行される他の処理の一例を示すフローチャート。 車室内端末のディスプレイに表示される映像の一例を示す図。 ユーザ端末のディスプレイに表示される映像の一例を示す図。 ユーザ端末のディスプレイに表示される映像の他の例を示す図。

以下、図１～図９Ｂを参照して本発明の実施形態について説明する。本発明の実施形態に係る乗員サービス提供装置は、車両等の乗員へのサービス、特に、車両等に同乗する幼児等の子供の見守りサービスを提供する乗員サービス提供システムの一部を構成する。

図１は、本発明の実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの概略構成を示す図である。図１に示すように、本実施形態に係る乗員サービス提供システム１は、車両１００に搭載される車載端末１０と、車両１００の車室内に設置される通信端末（以下、車室内端末と呼ぶ。）２０と、車室内端末２０とネットワーク５０を介して通信可能に接続される車室外の通信端末（以下、ユーザ端末と呼ぶ。）３０と、車両１００の運転者の通信端末（以下、運転者端末と呼ぶ。）４０とを含む。本実施形態に係る乗員サービス提供装置は、主に車載端末１０、車室内端末２０およびユーザ端末３０により構成される。ネットワーク５０には、インターネット網や携帯電話網等に代表される公衆無線通信網だけでなく、所定の管理地域ごとに設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。

図２Ａおよび図２Ｂは、車室内端末２０の設置例を示す図である。車室内端末２０は、スピーカやディスプレイを有するタブレット端末等の通信端末である。車室内端末２０は、ディスプレイに表示される映像やスピーカから出力される音声を車両１００に乗車する幼児等の子供が視聴可能な位置に設置される。図２Ａに示すように、幼児等の子供Ｐ２がフロントシート（例えば運転席）ＤＳの後側のリアシートＲＳに乗車する場合には、車室内端末２０は、図２Ｂに示すように、車両１００の運転席ＤＳの背面部の裏側に設置される。なお、車室内端末２０は、フロントシートに固定されてもよいし、取り外し可能に設置されてもよい。

図３は、ユーザ端末３０の使用例を示す図である。ユーザ端末３０は、スピーカやディスプレイを有するスマートフォンやタブレット端末等の通信端末である。ユーザ端末３０は、車室内端末２０を介して、車両１００に同乗する子供Ｐ２とビデオ通話等が可能である。ユーザ端末３０は、車両１００に乗車する子供の見守り役（シッター役）となる車室外の人物（以下、協力者と呼ぶ。）Ｐ３に利用される。例えば、車両１００の運転者Ｐ１が、車両１００に同乗する子供の母親であるとき、協力者Ｐ３は、車室外（例えば、図１の家３００）にいるその母親の両親（その子供の祖父母）等である。なお、図３には、ユーザ端末３０が１つ例示されているが、ネットワーク５０には複数のユーザ端末３０が接続されてもよい。その場合、各ユーザ端末３０に紐づけられた複数の人物が協力者の候補となり得る。

図４は、図１の乗員サービス提供システム１の概略構成を示す図である。図４に示すように、車載端末１０は、ＣＰＵ等の演算部１１と、ＲＯＭ、ＲＡＭ等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車載端末１０は、通信部１３と、カメラ１４と、を有する。

通信部１３は、ネットワーク５０を介して車室内端末２０、ユーザ端末３０、および、運転者端末４０と無線通信可能に構成される。カメラ１４は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。カメラ１４は、車両１００の室内、例えば天井部に、少なくとも運転者および同乗者が撮像範囲に含まれるように設置される。

演算部１１は、機能的構成として、乗員検出部１１１と、判定部１１２と、登録者情報取得部１１３と、接続制御部１１４と、生体情報取得部１１５と、情報出力部１１６とを有する。記憶部１２は、後述する登録者情報を記憶する。

乗員検出部１１１は、カメラ１４により得られた画像データ（以下、撮像画像データまたは単に撮像画像と呼ぶ。）に基づき、車両１００の乗員を検出する。

判定部１１２は、乗員検出部１１１により検出された乗員のうち運転者Ｐ１以外の乗員（同乗者）に対する、車室外の協力者からの見守りサービスの提供の要否を判定する。より詳細には、判定部１１２は、カメラ１４により得られた撮像画像に基づく画像認識処理により同乗者の年齢を認識する。判定部１１２は、認識した同乗者の年齢が所定の年齢層に含まれるとき、同乗者に対する見守りサービスの提供が必要であると判定する。見守りサービスの提供の一例としては、ビデオ通話を介した協力者からの映像提供が挙げられる。

判定部１１２は、カメラ１４により得られた撮像画像に基づく画像認識処理により、同乗者の年齢の他、同乗者の体の大きさを認識してもよく、認識された体の大きさが所定サイズ未満であるとき、同乗者に対する見守りサービスの提供が必要であると判定してもよい。また、判定部１１２は、カメラ１４により得られた撮像画像に基づく画像認識処理により、同乗者が図２Ａに示すようなチャイルドシートＣＳに着座しているか否かを判定し、同乗者がチャイルドシートＣＳに着座していると判定すると、同乗者に対する見守りサービスの提供が必要であると判定してもよい。

登録者情報取得部１１３は、見守りサービスを提供する協力者として予め登録された人物の情報（以下、登録者情報と呼ぶ。）を、記憶部１２から読み出す。登録者情報には、協力者に紐づけられたユーザ端末３０の情報（電話番号やメールアドレスなど）や、協力者の情報が含まれる。協力者の情報には、協力者の氏名やニックネームを示す情報や、協力者が見守りサービスを提供可能な日時（日付や、曜日、時間帯など）を示す情報（以下、提供可能日時情報と呼ぶ。）が含まれる。登録者情報は、後述するように、車両１００の運転者Ｐ１により運転者端末４０を介して事前に、記憶部１２に登録される。

接続制御部１１４は、車室内端末２０と、協力者に紐づけられたユーザ端末３０との接続を制御する。接続制御部１１４は、判定部１１２により協力者からの映像提供が必要であると判定されると、車室内端末２０をユーザ端末３０に通信可能に接続する。具体的には、接続制御部１１４は、登録者情報取得部１１３により取得された登録者情報に基づいて発信先情報を生成し、発信先情報を含む接続指示を車室内端末２０に送信する。なお、接続指示の送信先となる通信端末の識別情報（ＭＡＣアドレスやＩＰアドレス等）が予め記憶部１２に記憶されていて、接続制御部１１４は、その識別情報に基づき特定される通信端末（車室内端末２０）に接続指示を送信する。また、発信先情報には、車室内端末２０の接続先、すなわち協力者に紐づけられたユーザ端末３０の電話番号やＩＰアドレス等が含まれる。

なお、接続制御部１１４は、登録者情報取得部１１３により取得された登録者情報、より詳細には提供可能日時情報により示される提供可能日時に、車両１００の出発時間および到着時間が含まれないとき、車室内端末２０への接続指示の送信は行わない。このとき、接続制御部１１４は、見守りサービスを受けることができない旨を示す画面情報を生成し、その画面情報を車両１００に搭載された不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示する。なお、接続制御部１１４は、車両１００の出発時間および到着時間に関する情報（以下、乗車時間情報と呼ぶ。）を、無線通信等を利用して車載ナビゲーション装置から取得する。乗車時間情報は、その他の方法により取得されてもよい。例えば、運転者Ｐ１が自身のスマートフォン等の通信端末を介して乗車時間情報を車載端末１０に送信し、接続制御部１１４は、運転者Ｐ１により送信された乗車時間情報を受信してもよい。また、出発時間および到着時間のうちの一方が提供可能日時に含まれるとき、接続制御部１１４は、乗車時間（出発から到着までの時間）の一部の時間帯について、協力者が見守りサービスを提供可能である旨を示す画面情報を生成してもよい。

生体情報取得部１１５は、カメラ１４からの撮像画像に基づいて、同乗者の生体情報を取得する。生体情報には、同乗者の眠気の程度を示す情報（以下、眠気情報と呼ぶ。）と、乗員の感情を数値化した情報（以下、感情情報と呼ぶ。）とが含まれる。

生体情報取得部１１５は、カメラ１４からの撮像画像に基づき同乗者の頭部と眼球の動きを認識して、その認識結果に基づき同乗者の眠気の程度を検出する。例えば、生体情報取得部１１５は、眼球の前提動眼反射（ＶＯＲ：vestibulo-ocular reflex、頭部の動きと逆方向に眼球を回転させる反射性眼球運動）と頭部の動きとの相関のズレを検出し、そのズレの大きさに基づき眠気の程度を検出する。一般に、眠気の程度が大きくなると、上記ズレが大きくなる。したがって、上記ズレが大きいほど、検出される眠気の程度は大きくなる。なお、眠気の程度の検出方法は、これに限定されず、カメラ１４からの映像情報に基づき認識される同乗者の瞼の動きに基づき同乗者の眠気の程度を検出してもよいし、その他の方法により同乗者の眠気の程度を検出してもよい。

また、生体情報取得部１１５は、カメラ１４からの映像情報に基づき同乗者の感情を検出する。例えば、生体情報取得部１１５は、表情推定ＡＩ（人口知能）を用いて、カメラ１４により得られた同乗者の顔画像から同乗者の各感情（平常状態、怒り、軽蔑、嫌気、恐怖、幸福、悲しみ、驚きなど）の程度を検出する。各感情の程度は、パーセンテージ等の数値で表される。例えば、怒りの程度が高いときや嫌気の程度が高いとき、同乗者の機嫌が悪いことが分かる。このように、生体情報取得部１１５は、同乗者の感情を数値化した情報を感情情報として取得する。なお、感情の数値化方法は、これに限定されず、カメラ１４からの撮像画像に基づきその他の方法により同乗者の感情を数値化してもよい。

生体情報取得部１１５は、眠気情報と感情情報とに基づき同乗者の現在の状態（睡眠状態や感情など）を判定する。生体情報取得部１１５は、眠気情報と感情情報とを含む生体情報を生成する。生体情報には、眠気情報と感情情報ととともに、眠気情報および感情情報が検出された撮像画像の撮像日時を示す日時情報が含まれる。また、生体情報取得部１１５は、生体情報に基づき同乗者の現在の状態（睡眠状態や感情など）を判定し、判定された同乗者の状態を示す状態情報を生成する。さらに、生体情報取得部１１５は、生体情報と状態情報とに基づき、同乗者の見守りの要否、より詳細には、同乗者の見守りを継続する必要があるか否かを判定する。

情報出力部１１６は、生体情報取得部１１５により同乗者の見守りが必要であると判定されると、生体情報取得部１１５により生成された生体情報と状態情報とを、通信部１３を介してユーザ端末３０に出力（送信）する。また、情報出力部１１６は、同乗者の見守りの要否の判定結果を通知するための情報（以下、通知情報と呼ぶ。）であって、同乗者の見守りが必要であることを示す通知情報を、通信部１３を介してユーザ端末３０に出力（送信）する。一方、生体情報取得部１１５により同乗者の見守りが不要であると判定されると、情報出力部１１６は、同乗者の見守りが不要であることを示す通知情報を、通信部１３を介してユーザ端末３０に出力（送信）する。

車室内端末２０は、図４に示すように、ＣＰＵ等の演算部２１と、ＲＯＭ、ＲＡＭ等の記憶部２２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、車室内端末２０は、通信部２３、マイクロフォン（以下、単にマイクと称する。）２４と、カメラ２５と、ディスプレイ２６と、スピーカ２７とを有する。車室内端末２０は、図２Ａ，２Ｂに示すように、カメラ２５の撮像範囲に同乗者（子供Ｐ２）が含まれるように、運転席ＤＳの背面部の裏側に設置される。

通信部２３は、ネットワーク５０を介して少なくとも車載端末１０およびユーザ端末３０と無線通信可能に構成される。マイク２４は、周囲の音声を音声信号として入力する。マイク２４により入力された音声信号は、不図示のＡ／Ｄ変換器を介して音声データとして演算部２１に出力される。カメラ２５は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。カメラ２５により得られた撮像画像は、演算部２１に出力される。ディスプレイ２６は、演算部２１からの画像データに基づく映像を表示する。スピーカ２７は、演算部２１からの音声データを不図示のＤ／Ａ変換器を介して音声信号として出力する。

演算部２１は、機能的構成として、接続制御部２１１と、出力制御部２１２とを有する。接続制御部２１１は、通信部２３を介して車載端末１０からの接続指示を受信すると、接続指示に含まれる発信先情報に基づき、通信部２３を介して発信信号を出力する。例えば、発信先情報にユーザ端末３０の電話番号が含まれるとき、ユーザ端末３０に対して呼出信号が出力される。この呼出信号にユーザ端末３０が応答すると、ユーザ端末３０との接続が確立され、車室内端末２０とユーザ端末３０との間でビデオ通話が可能となる。

出力制御部２１２は、マイク２４により取得された音声データを、通信部２３を介してユーザ端末３０に送信する。また、出力制御部２１２は、カメラ２５により得られた同乗者の撮像画像を、通信部２３を介してユーザ端末３０に送信する。また、出力制御部２１２は、通信部２３を介してユーザ端末３０から受信した音声データを、スピーカ２８に出力する。さらに、出力制御部２１２は、通信部２３を介してユーザ端末３０から受信した撮像画像を、ディスプレイ２６に出力する。なお、車載端末１０からカメラ１４により得られた同乗者の撮像画像がユーザ端末３０に送信されるときは、出力制御部２１２は、ユーザ端末３０に対して、マイク２４により取得された音声データのみを送信してもよい。

ユーザ端末３０は、図４に示すように、ＣＰＵ等の演算部３１と、ＲＯＭ、ＲＡＭ等の記憶部３２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、ユーザ端末３０は、通信部３３、マイク３４と、カメラ３５と、操作部３６と、ディスプレイ３７と、スピーカ３８とを有する。

通信部３３は、ネットワーク５０を介して少なくとも車載端末１０および車室内端末２０と無線通信可能に構成される。マイク３４は、外部の音声信号を入力する。マイク３４により入力された音声信号は、不図示のＡ／Ｄ変換器を介して音声データとして演算部３１に出力される。カメラ３５は、ＣＣＤやＣＭＯＳ等の撮像素子を有する。カメラ３５により得られた撮像画像は、演算部３１に出力される。操作部３６は、キーボード等の入力装置により構成される。ディスプレイ３７は、演算部３１からの画像データに基づく映像を表示する。なお、ディスプレイ３７がタッチパネル機能を有する場合、操作部３６は、ディスプレイ３７により構成されてもよい。スピーカ３８は、演算部３１からの音声データを不図示のＤ／Ａ変換器を介して音声信号として出力する。

演算部３１は、機能的構成として、接続制御部３１１と、出力制御部３１２とを有する。接続制御部３１１は、通信部３３を介して車室内端末２０からの呼出信号を受信すると、スピーカ３８を介して呼び出し音を出力する。ユーザが、操作部３６等を操作して、呼び出し音による呼び出しに応答すると、車室内端末２０との接続が確立され、車室内端末２０とのビデオ通話が可能となる。

出力制御部３１２は、マイク３４により取得された音声データを、通信部３３を介して車室内端末２０に送信する。また、出力制御部３１２は、カメラ３５により得られた撮像画像を、通信部３３を介して車室内端末２０に送信する。また、出力制御部３１２は、通信部３３を介して車室内端末２０から受信した音声データを、スピーカ３８に出力する。

さらに、出力制御部３１２は、通信部３３を介して車室内端末２０から受信した映像情報に基づく映像（同乗者の顔画像を含む映像）と、通信部３３を介して車載端末１０から受信した生体情報とを並べてディスプレイ３７に表示するように、ディスプレイ３７を制御する。詳細には、出力制御部３１２は、同乗者の顔画像を含む映像と生体情報とを１つの画面上に並べて表示するための表示情報を生成し、その表示情報をディスプレイ３７に出力する。なお、出力制御部３１２は、車載端末１０から受信した最新の生体情報のみを表示してもよいし、現在時点より所定時間手前の過去の時点から現在時点までの所定期間にわたって車載端末１０から受信した生体情報を時系列に並べて表示してもよい。

運転者端末４０は、図４に示すように、ＣＰＵ等の演算部４１と、ＲＯＭ、ＲＡＭ等の記憶部４２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。また、運転者端末４０は、通信部４３、操作部４４と、ディスプレイ４５とを有する。

通信部４３は、ネットワーク５０を介して少なくとも車載端末１０と無線通信可能に構成される。操作部４４は、キーボード等の入力装置により構成される。なお、ディスプレイ４５がタッチパネル機能を有する場合、操作部４４は、ディスプレイ４５により構成されてもよい。

演算部４１は、機能的構成として、登録部４１１を有する。登録部４１１は、操作部４４を介して車両１００の運転者Ｐ１により入力された登録者情報を、通信部４３を介して車載端末１０に送信する。具体的には、まず、登録部４１１は、操作部４４を介したユーザからの指示に基づき、登録者情報を入力するための画面（以下、登録画面と呼ぶ。）をディスプレイ４５に表示する。ユーザが操作部４４を介して登録画面に登録者情報を入力すると、入力された登録者情報が記憶部４２に記憶される。登録部４１１は、記憶部４２に記憶された登録者情報を、通信部４３を介して車載端末１０に送信する。

図５は、予め定められたプログラムに従い運転者端末４０の演算部４１（ＣＰＵ）で実行される処理の一例を示すフローチャートである。図５のフローチャートに示す処理は、運転者端末４０の操作部４４を介して登録画面の表示指示を受け付けると開始される。登録画面の表示指示は、例えば、予め運転者端末４０にインストールされた、登録者情報を入力するためのアプリケーション（以下、登録アプリと呼ぶ。）を、操作部４４を介して起動することにより行われる。

まず、ステップＳ１１で、登録画面を表示する。ステップＳ１２で、登録者情報の入力が完了したか否かを判定する。ステップＳ１２は肯定されるまで繰り返される。ステップＳ１２で肯定されると、ステップＳ１３で、登録画面に入力された登録者情報を、通信部４３を介して車載端末１０に送信する。車載端末１０に送信された登録者情報は、車載端末１０の記憶部１２に記憶される。

図６は、予め定められたプログラムに従い車載端末１０の演算部１１（ＣＰＵ）で実行される処理の一例を示すフローチャートである。図６のフローチャートに示す処理は、運転者Ｐ１の運転席ＤＳへの着座を検出すると開始される。なお、運転者Ｐ１が運転席ＤＳに着座している否かは、カメラ１４により得られた撮像画像により検出してもよいし、その他の方法により検出してもよい。

まず、ステップＳ２１で、運転者以外の乗員（同乗者）が検出されたか否かを判定する。ステップＳ２１で否定されると、処理を終了する。ステップＳ２１で肯定されると、ステップＳ２２で、同乗者が協力者からの映像提供を必要とする人物であるか否かを判定する。ステップＳ２２で否定されると、処理を終了する。ステップＳ２２で肯定されると、ステップＳ２３で、記憶部１２に記憶された登録者情報を取得する。

ステップＳ２４で、依頼可能な協力者が存在するか否かを判定する。より詳細には、記憶部１２に記憶された登録者情報に含まれる提供可能日時情報に基づいて、車両１００が現在地を出発してから目的地に到着するまでの間（出発時間から到着時間までの間）に、見守りサービスを提供可能な協力者が存在するか否かを判定する。なお、記憶部１２に複数の登録者情報が記憶されていて、かつ、依頼可能な協力者が複数見つかったときは、複数の協力者の中からいずれかの協力者を選択するための画面（以下、協力者選択画面と呼ぶ。）を、不図示の表示装置、例えば車載ナビゲーション装置のディスプレイに表示させてもよい。協力者選択画面には、各協力者の氏名やニックネームの一覧とともに、その一覧の中からいずれかの協力者を選択するための操作ボタン等が表示される。

ステップＳ２５で、依頼可能な協力者に対応する登録者情報に基づいて、依頼可能な協力者に紐づけられたユーザ端末３０の電話番号等を含む発信先情報を生成し、生成した発信先情報を含む接続指示を車室内端末２０に送信する。これにより、車室内端末２０からネットワーク５０を介してユーザ端末３０に対して呼出信号が出力され、ユーザ端末３０がこの呼出信号に応答すると、車室内端末２０とユーザ端末３０との間でビデオ通話が可能な状態となる。

図７は、予め定められたプログラムに従い車載端末１０の演算部１１（ＣＰＵ）で実行される他の処理の一例を示すフローチャートである。図７のフローチャートに示す処理は、車載端末１０に電源が投入されている間、所定周期で繰り返される。

まず、ステップＳ３１で、カメラ１４から出力される撮像画像、具体的には、同乗者（子供Ｐ２）の顔画像を含む撮像画像を取得する。ステップＳ３２で、ステップＳ３１で取得した撮像画像に基づき、同乗者の眠気の程度を検出する。ステップＳ３３で、ステップＳ３１で取得した撮像画像に基づき、同乗者の感情を検出する。ステップＳ３４で、ステップＳ３２で検出された眠気情報とステップＳ３３で検出された感情情報とに基づき、同乗者の状態を判定する。ステップＳ３５で、ステップＳ３２，Ｓ３３の検出結果およびステップＳ３４の判定結果に基づいて、同乗者の見守りが不要であるか否かを判定する。例えば、ステップＳ３２で検出された眠気情報に基づき眠気の程度が所定程度以上であるとき、同乗者が寝ていると判断し、同乗者の見守りが不要であると判定する。また例えば、ステップＳ３３で検出された感情情報に基づき同乗者の機嫌が悪いと判定されるとき、同乗者の見守りが必要であると判定する。ステップＳ３５で肯定されると、ステップＳ３６で、ステップＳ３２で検出された眠気情報と、ステップＳ３３で検出された感情情報と、ステップＳ３１で取得された撮像画像の撮像日時を示す日時情報と、を含む生体情報を生成する。ステップＳ３７で、ステップＳ３４で生成した生体情報を、通信部１３を介してユーザ端末３０に送信する。このとき、ステップＳ３４の判定結果を含む状態情報と、見守りが必要であることを示す通知情報も送信される。一方、ステップＳ３５で否定されると、ステップＳ３８で、見守りが不要であることを示す通知情報をユーザ端末３０に送信する。

本実施形態に係る乗員サービス提供装置を含む乗員サービス提供システムの動作をまとめると以下のようになる。まず、運転者である母親Ｐ１が車両１００に乗車し運転席ＤＳに着座すると、見守りサービスの提供が必要な人物が同乗しているか否かが判定される（Ｓ２１，Ｓ２２）。見守りサービスの提供が必要な人物（図２Ａの子供Ｐ２）が同乗しているとき、記憶部１２に記憶された登録者情報に基づいて、見守りサービスを依頼可能な協力者が検索される。見守りサービスを依頼可能な協力者（図３の祖母Ｐ３）が見つかると、車両１００に設置された車室内端末２０と祖母Ｐ３に紐づけられたユーザ端末３０とが、ビデオ通話可能に接続される（Ｓ２３，Ｓ２４，Ｓ２５）。ビデオ通話が開始されると、祖母Ｐ３のユーザ端末３０のディスプレイ３７には、子供Ｐ２の撮像画像が表示され、ユーザ端末３０のスピーカ３８から子供Ｐ２の音声が出力される。祖母Ｐ３が、ディスプレイ３７に表示される子供Ｐ２の様子やスピーカ３８から出力される子供Ｐ２の音声を確認しながら、子供Ｐ２をあやす仕草などをすると、その様子がカメラ３５により撮像され、その撮像画像が車室内端末２０に送信される。また、祖母Ｐ３が、子供Ｐ２をあやす言葉などを発すると、マイク３４を介して入力された祖母Ｐ３の音声が音声データとして車室内端末２０に送信される。この結果、車室内端末２０のディスプレイ２６に、祖母Ｐ３が子供Ｐ２をあやす映像が表示されるとともに、車室内端末２０のスピーカ２７から、祖母Ｐ３の音声（子供Ｐ２をあやす言葉など）が出力される。図８は、車室内端末２０のディスプレイ２６に表示される映像の一例を示す図である。

一方、ユーザ端末３０のディスプレイ３７には、子供Ｐ２の撮像画像とともに、子供Ｐ２の生体情報が表示される。図９Ａおよび図９Ｂは、ユーザ端末３０のディスプレイ３７に表示される映像の一例を示す図である。図９Ａには、子供Ｐ２の撮像画像を含む映像ＩＭ１と、眠気情報を含む映像ＩＭ２とが並べて表示されたディスプレイ３７の一例が示されている。映像ＩＭ１には、車載端末１０から受信したカメラ１４により得られた撮像画像が含まれる。なお、映像ＩＭ１には、車室内端末２０から受信したカメラ２５により得られた撮像画像が含まれてもよい。映像ＩＭ２には、現在時点までの所定期間の子供Ｐ２の眠気の程度を示す眠気情報ＩＦ１１と、眠気情報ＩＦ１１に基づき判定された子供Ｐ２の状態情報ＩＦ２とが含まれる。図９Ａの例では、状態情報ＩＦ２として「寝ています」というメッセージが表示されている。ディスプレイ３７に表示される眠気情報ＩＦ１１と状態情報ＩＦ２とに基づき、祖母Ｐ３は、子供Ｐ２が寝ていることを認識できる。また、映像ＩＭ２には、通知情報ＩＦ３が含まれ、祖母Ｐ３は、通知情報ＩＦ３に基づき、子供Ｐ２の見守りが必要であるか否かを判断できる。図９Ａには、見守りが不要であることを示す通知情報ＩＦ３の例が示されている。

一方、図９Ｂには、子供Ｐ２の撮像画像を含む映像ＩＭ１と、感情情報を含む映像ＩＭ２とが並べて表示されたディスプレイ３７の一例が示されている。図９Ｂの映像ＩＭ２には、子供Ｐ２の現在の感情を示す感情情報ＩＦ１２と、感情情報ＩＦ１２に基づき判定された子供Ｐ２の状態情報ＩＦ２とが含まれる。図９Ｂの例では、状態情報ＩＦ２として「機嫌が悪いようです」というメッセージが表示されている。祖母Ｐ３は、ディスプレイ３７に表示される感情情報ＩＦ１２と状態情報ＩＦ２とに基づき、子供Ｐ２の機嫌が悪いことを認識できる。また、図９Ｂの映像ＩＭ２には、見守りが必要であることを示す通知情報ＩＦ３が含まれ、祖母Ｐ３は、子供Ｐ２の見守りが必要であることを認識できる。

これにより、祖母Ｐ３は、子供Ｐ２の眠気の程度や子供Ｐ２の感情の変化に応じてより適切に子供Ｐ２の面倒を見ることが可能となる。その結果、子供Ｐ２が乗車に飽きて泣き出したり暴れたりすることを抑制でき、母親Ｐ１は、幼児等の子供Ｐ２が同乗しているときでも、運転に集中することが可能となり、安全に目的地に向かうことができる。

なお、出力制御部３１２は、ユーザ端末３０の操作部３６を介して入力されるユーザ（祖母Ｐ３）からの指示（以下、表示切替指示と呼ぶ。）に応じて、ディスプレイ３７に眠気情報および感情情報のいずれを表示させるかを決定してもよい。また、出力制御部３１２は、眠気情報および感情情報の両方をディスプレイ３７に並べて表示してもよい。また、図９Ｂには、５つの感情のパーセンテージを示す感情情報ＩＦ１２が例示されているが、ディスプレイ３７には、感情情報ＩＦ１２として、４つ以下または６つ以上の感情の値が表示されてもよい。

本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）乗員サービス提供装置は、主に、車両１００の車載端末１０および車室内端末２０と、車両１００の外部のユーザ端末３０とにより構成され、ユーザ端末３０から車両１００の運転者（図２Ａの運転者Ｐ１）以外の乗員（図２Ａの子供Ｐ２）にサービスを提供する。乗員サービス提供装置は、乗員を撮影するカメラ１４と、カメラ１４により得られた撮像画像に基づき、乗員の生体情報を取得する生体情報取得部１１５と、カメラ１４により得られた撮像画像と、生体情報取得部１１５により取得された生体情報とを並べてユーザ端末３０のディスプレイ３７に表示するように、ディスプレイ３７を制御する出力制御部３１２と、を備える。

これにより、子供の見守り役の協力者（祖母Ｐ３）が、車室外から車両に同乗する幼児等の子供を充分に見守ることができる。その結果、運転者（母親Ｐ１）は、同乗する子供の様子を気に掛けることなく運転に集中することができ、安全に目的地に向かうことができる。また、上記のように子供の撮像画像だけでなく子供の生体情報を取得することで、協力者は、車室内の子供の状態（睡眠状態や感情）を精度よく認識できる。その結果、協力者は、見守りを継続すべきか否かを正確に判断でき、適切なタイミングで子供の見守りを終了できる。

（２）生体情報には、乗員の眠気の程度を示す眠気情報が含まれる。これにより、乗員の眠気の度合いを、ユーザ端末３０を介して協力者に知らせることができ、協力者は、子供の見守りを継続すべきか否かを正確に判断できる。

（３）生体情報取得部１１５はさらに、取得した乗員の生体情報に基づき乗員の睡眠状態を判定し、該睡眠状態に基づき乗員へのサービスの提供の要否を判定する。出力制御部３１２は、生体情報取得部１１５による乗員へのサービスの提供の要否の判定結果を、生体情報取得部１１５により取得された生体情報とともにディスプレイ３７に表示する。これにより、協力者は、見守りを継続すべきか否かをより正確に判断できる。

（４）生体情報には、乗員の感情を数値化した感情情報が含まれる。これにより、乗員の感情を、ユーザ端末３０を介して協力者に知らせることができ、協力者は、子供の見守りを継続すべきか否かを正確に判断できる。

（５）生体情報取得部１１５はさらに、取得した乗員の生体情報に基づき乗員の睡眠状態を判定し、該睡眠状態に基づき乗員へのサービスの提供の要否を判定する。出力制御部３１２は、生体情報取得部１１５による乗員へのサービスの提供の要否の判定結果を、生体情報取得部１１５により取得された生体情報とともにディスプレイ３７に表示する。これにより、協力者は、見守りを継続すべきか否かをより正確に判断できる。

上記実施形態は種々の形態に変形することができる。以下、変形例について説明する。
上記実施形態では、撮像部としての車載端末１０のカメラ１４により得られた乗員（子供Ｐ２）の撮像画像を、表示部としてのユーザ端末３０のディスプレイ３７に表示するようにした。しかしながら、カメラ２５により得られた乗員（子供Ｐ２）の撮像画像を、ユーザ端末３０のディスプレイ３７に表示してもよい。また、上記実施形態では、取得部としての生体情報取得部１１５が、カメラ１４により得られた乗員の撮像画像に基づき、乗員の生体情報（眠気情報と感情情報）を取得するようにした。しかしながら、車載端末１０が通信部１３を介して、車室内端末２０のカメラ２５により得られた乗員の撮像画像を受信可能であるとき、取得部は、カメラ２５により得られた乗員の撮像画像に基づき乗員の生体情報を取得してもよい。

また、上記実施形態では、判定部１１２が、カメラ１４により得られた撮像画像に基づき、乗員検出部１１１により検出された乗員（同乗者）に対する協力者からの映像提供の要否を判定するようにした。しかしながら、判定部の構成はこれに限らない。例えば、乗員サービス提供装置１０が、同乗者が着座するシート部（図２ＡのリアシートＲＳ）に設置された着座センサを備えるとき、判定部は、着座センサにより検出されたその同乗者の重量が所定値未満であるとき、その同乗者に対する協力者からの映像提供が必要であると判定してもよい。

また、上記実施形態では、運転者端末４０から送信された登録者情報を、乗員サービス提供装置１０の記憶部１２に記憶するようにしたが、登録者情報を、ネットワーク５０を介して通信可能なサーバ装置が備える記憶部に記憶するようにしてもよい。ネットワーク５０に複数の運転者の通信端末（運転者端末）が接続されているとき、サーバ装置の記憶部には、各運転者端末から送信された登録者情報が記憶される。この場合、登録者情報の送信元が特定可能なように、登録者情報に、各運転者端末に対応する運転者の情報（氏名やニックネームなど）や各運転者端末の識別情報（電話番号など）を含ませててもよい。車載端末１０の登録者情報取得部１１３は、サーバ装置の記憶部から登録者情報を取得するとき、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を介して車載端末１０に接続されている運転者端末に対応する登録者情報を、サーバ装置の記憶部に記憶されている複数の登録者情報の中から取得する。

また、上記実施形態では、幼児等の子供が同乗していることが検出されると（Ｓ２２）、映像提供可能なように車室内端末２０とユーザ端末３０とを通信可能に接続する処理（Ｓ２３，Ｓ２４，Ｓ２５）を実行するようにした。しかしながら、子供以外に他の人物（大人など）が同乗しているときには、その人物が子供を見守ることができる。したがって、幼児等の子供が同乗していることが検出されたときでも、協力者からの映像提供を必要としない大人などが同乗していることが検出された場合には、協力者からの映像提供不要と判断してもよい。その場合、上記処理（Ｓ２３，Ｓ２４，Ｓ２５）は実行されない。

また、上記実施形態では、車両１００の運転者Ｐ１が、運転者端末４０の操作部４４を介して登録者情報を入力する例、すなわち、運転者Ｐ１が、見守りサービスへの協力者Ｐ３の登録作業を行う例を説明した。しかしながら、見守り役となる協力者自身が、ユーザ端末３０にインストールされた登録アプリを介して、見守りサービスへの登録作業を行ってもよい。これにより、見守りサービスへの協力者としての参加に興味を持つ人物が積極的にサービスに参加できるようになり、協力者の数を増大させることができ、見守りサービスの利便性の向上を図ることができる。

また、上記実施形態では、接続指示の送信先となる通信端末（車室内端末２０）の識別情報が予め記憶部１２に記憶されている場合を例にしたが、ユーザ操作に基づき、接続指示の送信先の識別情報が記憶部１２に記憶されてもよい。例えば、ユーザ（例えば、運転者Ｐ１）が車室内端末２０を操作して、乗員サービス提供装置１０とのＢｌｕｅｔｏｏｔｈ（登録商標）接続を確立させると、車室内端末２０の識別情報が、接続指示の送信先の情報として記憶部１２に記憶されてもよい。また例えば、ユーザ（例えば、運転者Ｐ１）が運転者端末４０の操作部４４を介して車室内端末２０の識別情報を入力して車載端末１０に送信することで、その識別情報が接続指示の送信先として記憶部１２に記憶されてもよい。

また、上記実施形態では、車室内端末２０からネットワーク５０を介してユーザ端末３０に対して出力される呼出信号に、協力者Ｐ３が応答することで車室内端末２０とユーザ端末３０との間のビデオ通話が開始される例を示した。しかしながら、協力者Ｐ３が他の作業をしているなどして呼出信号に応答できないとき、すなわち、呼出信号による呼び出しが所定時間以上継続したときには、協力者Ｐ３の代わりにＡＩ（人工知能）を用いた対話用のアプリケーション（以下、対話アプリと呼ぶ。）が車室内端末２０からの呼び出しに応答してもよい。具体的には、表示制御部としてのユーザ端末３０の出力制御部が対話アプリを起動させて、対話アプリが、車室内端末２０からの呼び出しに応答するとともに、協力者Ｐ３の代役となるように動作してもよい。

また、上記実施形態では、車載端末１０が取得部としての生体情報取得部１１５を有する例を説明したが、車室内端末２０が取得部を有していてもよい。この場合、取得部は、カメラ２５により得られた乗員（子供Ｐ２）の撮像画像に基づき、乗員の眠気情報と感情情報とを取得し、乗員の生体情報を生成する。また、車室内端末２０の出力制御部２１２は、乗員の生体情報をカメラ２５により得られた乗員の撮像画像とともに、通信部２３を介してユーザ端末３０に送信する。

また、上記実施形態では、提供要否判定部としての生体情報取得部１１５が、乗員の生体情報に基づき乗員の睡眠状態や感情を判定し、その判定結果に基づき乗員の見守りの要否を判定するようにした。しかしながら、提供要否判定部は、カメラ１４の撮像画像に基づき検出された乗員の視線が一点に集中しているかに基づき、乗員の見守りの要否を判定してもよい。そして、乗員の視線が一点に集中しているとき、提供要否判定部は、乗員が何かに集中している状態であると判断し、乗員の見守りが不要であると判定してもよい。

また、上記実施形態では、車室内端末２０のディスプレイ２６に、協力者Ｐ３の撮像画像を含む映像（図８の映像ＩＭ０）を表示するようにしたが、ディスプレイ２６には、動画コンテンツの映像が表示されてもよいし、その他の映像が表示されてもよい。また、ディスプレイ２６の表示を協力者Ｐ３が切り替え可能であってもよい。具体的には、操作部３６を介して協力者Ｐ３により入力されたディスプレイ２６の表示切替指示を、演算部３１が、通信部３３を介して車室内端末２０に送信してもよい。そして、出力制御部２１２が、その表示切替指示に応じて、協力者Ｐ３の撮像画像を含む映像と動画コンテンツの映像とのいずれかを出力してもよい。また、出力制御部２１２は、表示切替指示に応じて動画コンテンツの映像を出力するとき、表示切替指示により指定された動画コンテンツを、記憶部２２や、ネットワーク５０を介して接続されたコンテンツ配信サーバ（不図示）から取得して、ディスプレイ２６に出力してもよい。

また、上記実施形態では、１台のユーザ端末３０と１台の車室内端末２０とがネットワーク５０を介してビデオ通話可能に接続される例を示したが、１台のユーザ端末３０に対して複数台の車室内端末２０がビデオ通話可能に接続されてもよい。それにより、協力者Ｐ３は、ユーザ端末３０を介して、複数台の車室内端末２０に対応する複数の車両それぞれに乗車する子供の面倒を見ることが可能となる。

さらに、上記実施形態では、車室内端末２０と運転者端末４０とが別々の通信端末で構成される例を示したが、車室内端末２０と運転者端末４０とが同一の端末で構成されてもよい。例えば、図２Ａの運転席ＤＳの背面部の裏側にスマートフォン等の通信端末を取り付け可能な器具を設置して、その器具に取り付けた運転者端末４０を車室内端末２０として利用してもよい。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態と変形例の一つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１０ 乗員サービス提供装置、２０ 車室内端末、３０ ユーザ端末、４０ 運転者端末、１１ 演算部、１２ 記憶部、１１１ 乗員検出部、１１２ 判定部、１１３ 登録者情報取得部、１１４ 接続制御部、１１５ 生体情報取得部、１１６ 情報出力部

Claims (5)

1. 車両の外部の通信端末から前記車両の運転者以外の乗員にサービスを提供する乗員サービス提供装置であって、
   前記乗員を撮影する撮像部と、
   前記撮像部により得られた前記乗員の撮像画像に基づき前記乗員の生体情報を取得する取得部と、
   前記撮像部により得られた前記乗員の撮像画像と、前記取得部により取得された前記乗員の生体情報とを並べて前記通信端末の表示部に表示するように、前記表示部を制御する表示制御部と、を備えることを特徴とする乗員サービス提供装置。
2. 請求項１記載の乗員サービス提供装置において、
   前記乗員の生体情報には、前記乗員の眠気の程度を示す眠気情報が含まれることを特徴とする乗員サービス提供装置。
3. 請求項２に記載の乗員サービス提供装置において、
   前記取得部により取得された前記乗員の生体情報に基づき前記乗員の睡眠状態を判定し、該睡眠状態に基づき前記乗員へのサービスの提供の要否を判定する提供要否判定部をさらに備え、
   前記表示制御部は、前記提供要否判定部による判定結果を、前記取得部により取得された前記乗員の生体情報とともに前記表示部に表示することを特徴とする乗員サービス提供装置。
4. 請求項１または２に記載の乗員サービス提供装置において、
   前記乗員の生体情報には、前記乗員の感情を数値化した感情情報が含まれることを特徴とする乗員サービス提供装置。
5. 請求項４に記載の乗員サービス提供装置において、
   前記取得部により取得された前記乗員の生体情報に基づき前記乗員の現在の感情を判定し、該感情に基づき前記乗員へのサービスの提供の要否を判定する提供要否判定部をさらに備え、
   前記表示制御部は、前記提供要否判定部による判定結果を、前記取得部により取得された前記乗員の生体情報とともに前記表示部に表示することを特徴とする乗員サービス提供装置。

Images