JP2021018073A - 情報提供装置、情報提供方法、およびプログラム - Google Patents

情報提供装置、情報提供方法、およびプログラム Download PDF

Info

Publication number
JP2021018073A
JP2021018073A JP2019132047A JP2019132047A JP2021018073A JP 2021018073 A JP2021018073 A JP 2021018073A JP 2019132047 A JP2019132047 A JP 2019132047A JP 2019132047 A JP2019132047 A JP 2019132047A JP 2021018073 A JP2021018073 A JP 2021018073A
Authority
JP
Japan
Prior art keywords
event
vehicle
unit
information
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019132047A
Other languages
English (en)
Inventor
アディティヤ マハジャン
Aditya Mahajan
アディティヤ マハジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019132047A priority Critical patent/JP2021018073A/ja
Priority to CN202010683587.6A priority patent/CN112241677A/zh
Publication of JP2021018073A publication Critical patent/JP2021018073A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】車両の周辺において発生している所定の事象を乗員に気づかせることができる情報提供装置、情報提供方法、およびプログラムを提供すること。【解決手段】第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識する事象認識部と、前記事象認識部により前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知する通知部と、を備える情報提供装置。【選択図】図５

Description

本発明は、情報提供装置、情報提供方法、およびプログラムに関する。
従来、自車両の位置、方位および日時に基づいて特定した天体に関する情報が付加された映像データを生成し、生成された映像データを車内に投影するものが知られている（例えば、特許文献１参照）。
特開２００８−０６４８８９号公報
しかし従来の技術は、車室内からの天体観測に関するものであり、その他の事象を乗員が車両内から観測するための技術については、十分に検討されていなかった。
本発明は、このような事情を考慮してなされたものであり、車両の周辺において発生している所定の事象を乗員に気づかせることができる情報提供装置、情報提供方法、およびプログラムを提供することを目的の一つとする。
この発明に係る情報提供装置、情報提供方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る情報提供装置は、第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識する事象認識部と、前記事象認識部により前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知する通知部と、を備えるものである。
（２）：上記（１）の態様において、前記事象認識部は、前記認識した前記第１車両の周辺において発生している事象が、前記第１車両の周辺の地域において日常の事象として予め登録されている日常事象リストに該当する場合、前記発生している事象を前記第１事象として認識しない、ものである。
（３）：上記（１）または（２）の態様において、前記事象認識部は、前記第１車両の周辺の地域において日常の範囲に含まれるが、前記第１車両の乗員にとって日常の範囲に含まれない第２事象が発生していることを更に認識し、前記通知部は、前記事象認識部により前記第２事象が発生していることが認識された場合にも、前記第１車両の乗員に対して前記第２事象に関する情報を通知する、ものである。
（４）：上記（１）から（３）のいずれかの態様において、前記事象認識部は、前記認識した前記第１車両の周辺において発生している事象が、前記第１車両の周辺の地域において日常でない事象として予め登録されている非日常事象リストに該当する場合、前記発生している事象を前記第１事象として認識する、ものである。
（５）：上記（４）の態様において、前記第１車両の乗員による指示に基づいて、前記非日常事象リストを編集するリスト編集部をさらに備える、ものである。
（６）：上記（１）から（５）のいずれかの態様において、前記事象認識部が認識した前記第１車両の周辺において発生している事象が、前記第１車両の周辺の地域において日常である事象として予め登録されている日常事象リストに該当せず、且つ、前記第１車両の周辺の地域において日常でない事象として予め登録されている非日常事象リストにも該当しない場合、前記第１車両の乗員に対して通知の有無を確認する確認部をさらに備え、前記通知部は、前記第１車両の乗員により通知することが指示された場合、前記第１車両の乗員に対して前記第１車両の周辺において発生している事象に関する情報を通知する、ものである。
（７）：上記（６）の態様において、前記第１車両の乗員により通知することが指示された事象を、前記第１車両の乗員ごとに学習する学習部をさらに備える、ものである。
（８）：上記（１）から（７）のいずれかの態様において、前記通知部は、前記第１車両の乗員に対して通知した事象と同一の事象が、前回の通知から所定期間以内に再び発生した場合、通知対象から除外する、ものである。
（９）：上記（１）から（８）のいずれかの態様において、前記事象認識部は、前記第１車両に搭載された車載検出装置を用いて、走行中に検出された検出結果に基づいて、前記第１車両の周辺において発生している事象を認識する、ものである。
（１０）：上記（１）から（９）のいずれかの態様において、前記事象認識部は、前記第１車両に搭載された車載検出装置により検出された周辺状況と、車両の外部に設置された車外検出装置により検出された周辺状況のうち少なくとも一つに基づいて、前記事象が発生していることを認識する、ものである。
（１１）：上記（１）から（１０）のいずれかの態様において、前記事象認識部により前記事象が発生していることが認識された場合、前記第１車両に搭載されている撮像部を用いて前記事象を撮像したデータを取得するデータ取得部をさらに備える、ものである。
（１２）：上記（１）から（１１）のいずれかの態様において、前記通知部は、前記事象が発生している地域を走行する第２車両の乗員に対してその旨を通知する、ものである。
（１３）：上記（１）から（１２）のいずれかの態様において、前記事象認識部により前記第１事象が発生していることが認識された場合、前記第１車両に対して徐行運転を指示する運転指示部をさらに備える、ものである。
（１４）：本発明の他の態様に係る情報提供方法は、コンピュータが、第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識し、前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知する、方法である。
（１５）：本発明の他の態様に係るプログラムは、コンピュータに、第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識させ、前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知させる、プログラムである。
（１）〜（１５）の態様によれば、車両の周辺において発生している所定の事象を乗員に気づかせることができる。
本発明の情報提供システム１の一例を示す図。 実施形態に係る第１車両１０Ａの構成図。 第１制御部１２０および第２制御部１６０の機能構成図。 車内通知装置３００の構成と、第１車両１０Ａに搭載された機器とを示す図。 車内通知装置３００の構成と、情報提供装置５００の構成の一部とを示す図。 情報提供装置５００により実行される処理（その１）の一例を示すフローチャート。 情報提供装置５００により実行される処理（その２）の一例を示すフローチャート。 情報提供装置５００により実行される処理（その３）の一例を示すフローチャート。
以下、図面を参照し、本発明の車情報提供装置、情報提供方法、およびプログラムの実施形態について説明する。
［全体構成］
図１は、本発明の情報提供システム１の一例を示す図である。図１に示すように、情報提供システム１は、例えば、第１車両１０Ａと、ユーザ端末７０Ａと、第２車両１０Ｂと、ユーザ端末７０Ｂと、情報提供装置５００と、車外検出装置７００Ｃと、車外検出装置７００Ｄとを含む。第１車両１０Ａと、ユーザ端末７０Ａと、第２車両１０Ｂと、ユーザ端末７０Ｂと、情報提供装置５００と、車外検出装置７００Ｃと、車外検出装置７００Ｄとは、ネットワークＮＷを介して接続されている。なお、ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local1 Area Network）、プロバイダ装置、無線基地局などを含む。
第１車両１０Ａ、第２車両１０Ｂは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。以下の説明において、第１車両１０Ａと第２車両１０Ｂとを区別しない場合、車両１０と記す。図１では二台の車両を示しているが、情報提供システムには三台以上の車両が含まれてもよい。
各車両１０は、周辺状況を認識し、周辺状況を示す情報（以下、周辺状況情報と記す）を情報提供装置５００に通知する移動体の一例である。周辺状況情報は、例えば、車両１０の周辺で虹が出ていることや、車両１０の周辺において流れ星が出現したことなどを示す情報である。例えば、第１車両１０Ａは、周辺において取得された周辺状況情報を、ネットワークＮＷを介して情報提供装置５００に送信する。第２車両１０Ｂは、周辺において取得された周辺状況情報を、ネットワークＮＷを介して情報提供装置５００に送信する。また、車両１０は、自身の現在位置を示す情報（以下、現在位置情報と記す）を生成し、車両１０を識別する識別情報（例えば、車両ＩＤ）を現在位置情報に対応づけて、定期的にネットワークＮＷを介して情報提供装置５００に送信してもよい。
ユーザ端末７０Ａは、第１車両１０Ａの乗員であるユーザＡが所有する端末である。ユーザ端末７０Ｂは、第２車両１０Ｂの乗員であるユーザＢが所有する端末である。ユーザ端末７０Ａ、７０Ｂは、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ等を含む。
情報提供装置５００は、例えば、第１車両１０Ａから受信した周辺状況情報に基づいて通知情報を生成し、生成した通知情報をユーザＡに提供する。情報提供装置５００は、例えば、通知エージェント機能を用いて通知情報をユーザＡに提供する。通知エージェント機能には、例えば、車両の周辺の状況を認識し、認識した内容を車両の乗員に通知する機能、車両の乗員と対話をしながら、乗員の発話の中に含まれる要求（コマンド）に基づく情報提供を行う機能などが含まれる。また、通知エージェント機能の中には、車両内の機器（例えば運転制御や車体制御に関わる機器）の制御等を行う機能を有するものがあってよい。
エージェント機能は、例えば、乗員の音声を認識する音声認識機能（音声をテキスト化する機能）に加え、自然言語処理機能（テキストの構造や意味を理解する機能）、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてよい。また、これらの機能を行うための構成の一部（特に、音声認識機能や自然言語処理解釈機能）は、情報提供装置５００に搭載されてもよい。以下の説明では、構成の一部が情報提供装置５００に搭載されており、車内通知装置３００と情報提供装置５００とが協働してエージェントシステムを実現することを前提とする。また、エージェントシステムとして、車内通知装置３００と情報提供装置５００とが協働して仮想的に出現させるサービス提供主体（サービス・エンティティ）をエージェントと称する。
エージェント機能を用いて、車室内の乗員に通知情報を通知する処理の一例について説明する。例えば、第１車両１０Ａの周辺で虹が出ている場合、情報提供装置５００は、第１車両１０Ａの周辺で虹が出ていることを音声あるいは画像で通知する通知情報を生成する。情報提供装置５００は、例えば、通知情報を第１車両１０Ａに送信し、虹が出ていることを第１車両１０Ａの車室内に出力することでユーザＡに通知する。これに限られず、情報提供装置５００は、通知情報をユーザ端末７０Ａに送信し、虹が出ていることをユーザ端末７０Ａから出力させることでユーザＡに通知してもよい。以下、通知情報を第１車両１０Ａに送信してユーザＡに通知する例について説明する。
また、第２車両１０Ｂもこの虹が観測可能なエリアを走行している場合、情報提供装置５００は、生成した通知情報をユーザＢに提供してもよい。ユーザＢへの通知情報の提供も、ユーザＡへの通知情報の提供と同様に、第２車両１０Ｂの車室内に出力する態様であってもよく、ユーザ端末７０Ｂから出力させる態様であってもよい。
車外検出装置７００Ｃは、車外設置物７２０Ｃに固定されており、車外検出装置７００Ｄは、車外設置物７２０Ｄに固定されている。各車外検出装置７００Ｃ，７００Ｄは、車両１０の外部に設置された検出装置の一例であり、車外設置物の周辺状況を認識し、周辺状況情報を情報提供装置５００に通知する。例えば、車外検出装置７００Ｃは、車外設置物７２０Ｃの周辺状況を示す周辺状況情報を、ネットワークＮＷを介して情報提供装置５００に送信する。車外検出装置７００Ｄは、車外設置物７２０Ｄの周辺状況を示す周辺状況情報を、ネットワークＮＷを介して情報提供装置５００に送信する。情報提供装置５００は、車外検出装置７００Ｃ，７００Ｄにより生成された周辺状況情報に基づいて通知情報を生成し、生成した通知情報をユーザに提供してもよい。以下の説明において、車外検出装置７００Ｃ，７００Ｄを区別しない場合、車外検出装置７００と記す。
［車両の構成］
図２は、実施形態に係る第１車両１０Ａの構成図である。なお、第２車両１０Ｂも、以下に説明する第１車両１０Ａと同様の構成を有するものであるため、第２車両１０Ｂの構成についての説明は省略する。
第１車両１０Ａは、例えば、カメラ１１と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０と、車内通知装置３００と、を備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図２に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ１１、レーダ装置１２、およびファインダ１４は、車両１０の周辺の状況を検出する装置であって、車両１０に搭載された車載検出装置の一例である。
カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１１は、第１車両１０Ａの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１１は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１１は、例えば、周期的に繰り返し第１車両１０Ａの周辺を撮像する。カメラ１１は、ステレオカメラであってもよい。カメラ１１は、ドライブレコーダーであってもよい。
レーダ装置１２は、第１車両１０Ａの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、第１車両１０Ａの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。
ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、第１車両１０Ａの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、第１車両１０Ａの任意の箇所に取り付けられる。
物体認識装置１６は、カメラ１１、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１１、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。物体認識装置１６が省略されてもよい。
通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、第１車両１０Ａの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。
ＨＭＩ３０は、第１車両１０Ａの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ４０は、第１車両１０Ａの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、第１車両１０Ａの向きを検出する方位センサ等を含む。
ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、第１車両１０Ａの位置を特定する。第１車両１０Ａの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された第１車両１０Ａの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、第１車両１０Ａが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。
運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。
自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。
走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。
ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
図３は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部１３０は、カメラ１１、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、第１車両１０Ａの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、第１車両１０Ａの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。
行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、第１車両１０Ａの周辺状況に対応できるように、第１車両１０Ａが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、第１車両１０Ａの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの第１車両１０Ａの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における第１車両１０Ａの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。
第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに第１車両１０Ａが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。
第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、第１車両１０Ａの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
［車内通知装置］
まず、車内通知装置３００側のエージェントシステムの一部について説明する。図４は、車内通知装置３００の構成と、第１車両１０Ａに搭載された機器とを示す図である。第１車両１０Ａには、例えば、マイク４１０と、表示・操作装置４２０と、スピーカ４３０とがさらに搭載されている。車内通知装置３００とユーザ端末７０Ａとは、例えば、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。これにより、ユーザ端末７０Ａが車室内に持ち込まれた場合、ユーザ端末７０Ａが、車内通知装置３００を介して情報提供装置５００から受信した通知情報を出力することができる。
マイク４１０は、車室内で発せられた音声を収集する収音部である。車両の複数の乗員の発話を取得するためにマイク４１０は複数あってもよい。表示・操作装置４２０は、画像を表示すると共に、入力操作を受付可能な装置（或いは装置群）である。表示・操作装置４２０は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置４２０は、更に、ＨＵＤ（Head Up Display）や機械式の入力装置、出力装置を含んでもよい。スピーカ４３０は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ（音出力部）を含む。表示・操作装置４２０は、車内通知装置３００とナビゲーション装置５０とで共用されてもよい。また、車内通知装置３００は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラと車内通知装置３００は、ハードウェア上は一体に構成される。
車内通知装置３００は、管理部３１０と、通知エージェント機能部３２０と、車内記憶部３３０とを備える。管理部３１０は、例えば、音響処理部３１１と、指示受付部３１２と、表示制御部３１３と、音声制御部３１４とを備える。車内通知装置３００の各構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
管理部３１０は、ＯＳ（Operating System）やミドルウェアなどのプログラムが実行されることで機能する。車内記憶部３３０は、上記の各種記憶装置により実現される。車内記憶部３３０には、例えば、物体認識装置１６から入力した情報が一時的に記憶される。
通知エージェント機能部３２０は、情報提供装置５００と協働してエージェントを出現させ、音声による情報提供を含む通知エージェント機能を提供する。なお、通知エージェント機能部３２０は、車両の乗員の発話に応じて、音声による応答を含む通知エージェント機能を提供してもよい。通知エージェント機能部３２０には、車両機器を制御する権限が付与されてもよい。
通知エージェント機能部３２０は、カメラ１１、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、周辺状況情報を生成する。また、通知エージェント機能部３２０は、物体認識装置１６による認識結果に基づいて、周辺状況情報を生成してもよい。通知エージェント機能部３２０は、生成した周辺状況情報を、通信装置２０を介して情報提供装置５００に送信する。通知エージェント機能部３２０は、情報提供装置５００から通知情報を受信した場合、受信した通知情報に基づいて、ユーザＡに通知するための各種処理を実行する。
また、通知エージェント機能部３２０は、カメラ１１から物体認識装置１６を介して情報が入力した場合、入力した情報を車内記憶部３３０に一時的に記憶させ、一定時間が経過した場合、車内記憶部３３０に記憶させた情報を消去する。車内記憶部３３０に格納される情報には、カメラ１１により撮像された画像データまたは動画データが含まれる。この画像データや動画データには、撮像された時刻が対応付けられている。
通知エージェント機能部３２０は、音響処理が行われた音声（音声ストリーム）から音声の意味を認識する。まず、通知エージェント機能部３２０は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。通知エージェント機能部３２０は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model）に基づくフレーム単位の音声識別および非音声識別に基づく区間検出を行ってもよい。通知エージェント機能部３２０は、エージェントごとに予め定められているウエイクアップワードなどを認識する。
音響処理部３１１は、乗員の発話を認識するのに適した状態になるように、入力された音に対して音響処理を行う。通知エージェント機能部３２０は、音響処理部３１１により処理された音声ストリームに基づいて、例えば、ウエイクアップワードや、その他の乗員からの要求ワードを認識する。ウエイクアップワードには、例えば、「通知サービスを開始して」などが含まれる。要求ワードには、例えば、「もう一度教えて」、「もっと大きな声で言って」、「どこに見えるの？」、「通知内容の画像を携帯に送って」などが含まれる。
指示受付部３１２は、表示・操作装置４２０を用いて乗員からの指示を受け付ける。これに限られず、指示受付部３１２は、音声認識機能を備え、車内音声に基づいて音声の意味を認識することにより、乗員からの指示を受け付けてもよい。車内音声には、マイク４１０から入力された音や、音響処理部３１１により音響処理が行われた音声（音声ストリーム）などが含まれる。
表示制御部３１３は、通知エージェント機能部３２０からの指示に応じて、表示・操作装置４２０のディスプレイに画像や動画を表示させる。音声制御部３１４は、通知エージェント機能部３２０からの指示に応じて、スピーカ４３０に含まれるスピーカのうち一部または全部に音声を出力させる。
通知エージェント機能部３２０により通知情報が取得された場合の通知例について説明する。例えば、通知エージェント機能部３２０は、通知情報に基づくテキストや画像を表示・操作装置４２０に表示させるように表示制御部３１３に指示するとともに、通知情報に基づく音声をスピーカ４３０から出力させるように音声制御部３１４に指示する。なお、ユーザ端末７０Ａに通知することがユーザＡにより事前に設定されている場合、通知エージェント機能部３２０は、通信装置２０を介して、ユーザ端末７０Ａに通知情報を送信して、ユーザ端末７０Ａの表示部やスピーカから通知情報に基づく画像や音声を出力させてもよい。
通知エージェント機能部３２０は、通知情報に応じて、ユーザＡに通知する態様を決定してもよい。例えば、通知エージェント機能部３２０は、通知レベルが高い通知情報の場合、通知レベルが低い通知情報の場合に比べて、出力態様を強調する。出力態様を強調することには、例えば、スピーカ４３０から音声を出力するだけでなく、表示・操作装置４２０に画像を出力させることが含まれる。こうすることで、通知レベルが高い通知情報（例えば、流れ星や隕石落下など出現確率が相当低い現象）を、通知レベルが低い通知情報（例えば、ゲリラ豪雨や珍しい形の雲の出現などの現象）よりも強調して、乗員に通知することができる。なお、この出力態様は、通知情報ごとに、情報提供装置５００により指定されてもよい。
［情報提供装置の構成］
次に、情報提供装置５００側のエージェントシステムの一部について説明する。図５は、車内通知装置３００の構成と、情報提供装置５００の構成の一部とを示す図である。以下、情報提供装置５００の構成と共に車内通知装置３００等の動作について説明する。ここでは、車内通知装置３００からネットワークＮＷまでの物理的な通信についての説明を省略する。
情報提供装置５００は、例えば、通信部５１０と、第１処理部５２０と、第２処理部５３０と、第１記憶部５５０と、第２記憶部５６０とを備える。通信部５１０は、例えばＮＩＣ（Network Interface Card）などのネットワークインターフェースである。第１処理部５２０と第２処理部５３０の構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
第１処理部５２０は、車内通知装置３００と協働して、エージェントシステムを実現するための各処理を実行する。第１処理部５２０は、例えば、音声認識部５２１と、自然言語処理部５２２と、対話管理部５２３と、応答文生成部５２４とを備える。
第２処理部５３０は、通知情報を生成し、車内通知装置３００に送信するための各処理を実行する。第２処理部５３０は、例えば、事象認識部５３１と、通知部５３２と、ユーザ確認部５３３と、リスト編集部５３４と、学習部５３５と、データ取得部５３６と、運転指示部５３７と、データ管理部５３８と、他車両検出部５３９とを備える。
第１記憶部５５０と第２記憶部５６０は、上記の各種記憶装置により実現される。第１記憶部５５０には、例えば、辞書ＤＢ（データベース）５５１、応答規則ＤＢ５５２などのデータやプログラムが格納される。これらの情報が、第１処理部５２０により読み出される。第２記憶部５６０には、例えば、日常事象リスト５６１と、非日常事象リスト５６２と、ユーザごとリスト５６３と、ユーザ事象識別モデル５６４と、車両位置情報５６５と、周辺状況情報５６６などのデータやプログラムが格納される。これらの情報が、第２処理部５３０により書き込まれたり、第２処理部５３０により読み出されたりする。
まず、第１処理部５２０による処理について説明する。例えば、車内通知装置３００において、通知エージェント機能部３２０は、音声ストリーム、或いは圧縮や符号化などの処理を行った音声ストリームを、情報提供装置５００に送信する。
音声ストリームを取得すると、音声認識部５２１が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部５２２が文字情報に対して辞書ＤＢ５５１を参照しながら意味解釈を行う。辞書ＤＢ５５１は、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書ＤＢ５５１は、同義語や類義語の一覧情報を含んでもよい。音声認識部５２１の処理と、自然言語処理部５２２の処理は、段階が明確に分かれるものではなく、自然言語処理部５２２の処理結果を受けて音声認識部５２１が認識結果を修正するなど、相互に影響し合って行われてよい。
自然言語処理部５２２は、例えば、認識結果として、「どこに見えるの？」、「どこどこ？」等の意味が認識された場合、標準文字情報「どこ」に置き換えたコマンドを生成する。これにより、リクエストの音声に文字揺らぎがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部５２２は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。
対話管理部５２３は、自然言語処理部５２２の処理結果（コマンド）に基づいて、応答規則ＤＢ５５２を参照しながら車両の乗員に対する発話の内容を決定する。応答規則ＤＢ５５２は、コマンドに対してエージェントが行うべき動作（回答や機器制御の内容など）を規定した情報である。
応答文生成部５２４は、対話管理部５２３により決定された発話の内容が車両の乗員に伝わるように応答文を生成し、通信部５１０を介して車内通知装置３００に送信する。応答文生成部５２４は、乗員がパーソナルプロファイルに登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に似せた話し方にした応答文を生成してもよい。
通知エージェント機能部３２０は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部３１４に指示する。また、通知エージェント機能部３２０は、音声出力に合わせてＡＧアニメーションを表示するように表示制御部３１３に指示してもよく、応答文を文字にして表示するように表示制御部３１３に指示してもよい。このようにして、仮想的に出現したエージェントが車両の乗員に応答するエージェント機能が実現される。
次に、第２処理部５３０による処理について説明する。例えば、車内通知装置３００において、通知エージェント機能部３２０は、生成した周辺状況情報を、情報提供装置５００に送信する。
事象認識部５３１は、通信部５１０を介して、第１車両１０Ａから周辺状況情報を受信する。例えば、事象認識部５３１は、第１車両１０Ａに搭載された外部検出部（例えば、カメラ１１、レーダ装置１２、およびファインダ１４など）を用いて走行中に検出された検出結果を、周辺状況情報として受信する。事象認識部５３１は、車外検出装置７００により検出された検出結果を、周辺状況情報として受信してもよい。
例えば、事象認識部５３１は、受信した第１車両１０Ａの周辺状況情報に基づいて、第１車両１０Ａの周辺において発生している事象（以下、発生事象ＥＡと記す）を認識する。第１車両１０Ａの周辺状況情報には、例えば、第１車両１０Ａのカメラ１１、レーダ装置１２、およびファインダ１４から出力された情報が含まれる。事象認識部５３１は、車外検出装置７００Ｃから周辺状況情報を受信し、受信した周辺状況情報に基づいて、車外検出装置７００Ｃの周辺において発生している発生事象ＥＣを認識してもよい。以下の説明では、主に、発生事象ＥＡを認識する例について説明する。発生事象ＥＣについては、「第１車両１０」を「車外検出装置７００Ｃ」と読み換えればよい。発生事象ＥＡと異なる部分について、発生事象ＥＣの説明をする。
事象認識部５３１は、例えば、カメラ１１により撮像された画像を解析することにより、画像内に含まれる所定の画像を検出する。事象認識部５３１は、検出した所定の画像に基づいて発生事象ＥＡを決定する。事象認識部５３１は、パターン認識により所定の画像を検出してもよく、画像から抽出される特徴量に基づいて画像に含まれる所定の画像を検出してもよい。所定の画像には、例えば、虹、流れ星、隕石落下、ゲリラ豪雨、珍しい形の雲、サル、タヌキなどが含まれる。
事象認識部５３１は、画像解析に加えて、レーダ装置１２やファインダ１４から出力された情報に基づいて、所定の画像の動きや速度などを導出して、発生事象ＥＡを認識してもよい。
また、事象認識部５３１は、第１車両１０Ａの周辺の地域において日常でない範囲に含まれる事象（以下、第１事象と記す）が発生していることを認識する。例えば、認識した発生事象ＥＡが非日常事象リスト５６２に含まれる事象に該当する場合、事象認識部５３１は、第１事象が発生していることを認識する。非日常事象リスト５６２は、日常でない範囲に含まれる事象の一覧である。非日常事象リスト５６２には、例えば、対応地域において日常でない事象が対応地域ごとに予め登録されている。非日常事象リスト５６２やその他の認識手法については、後述する。
事象認識部５３１は、認識した発生事象ＥＡが日常事象リスト５６１に含まれる事象に該当しない場合、事象認識部５３１は、発生事象ＥＡを第１事象として認識しない。日常事象リスト５６１は、日常の範囲に含まれる事象の一覧である。日常事象リスト５６１やその他の認識手法については、後述する。
通知部５３２は、事象認識部５３１により第１事象が発生していることが認識された場合、第１車両１０Ａの乗員であるユーザＡに対して第１車両１０Ａの周辺において発生している事象に関する情報を通知する。通知部５３２は、例えば、第１事象と認識された発生事象ＥＡが発生していることを音声や画像で表す通知情報を生成する。通知部５３２は、生成した通知情報を、通信部５１０を介して、第１車両１０Ａあるいはユーザ端末７０Ａに送信する。
なお、事象認識部５３１により発生事象ＥＣに基づいて第１事象が発生していることが認識された場合、通知部５３２は、発生事象ＥＣが発生している位置を導出し、導出した発生事象ＥＣが発生している位置に基づいて、発生事象ＥＣを車室内から見ることができる車両１０を抽出する。通知部５３２は、発生事象ＥＣが発生している位置を示す情報として、緯度、経度、垂直方向の高さを導出する。通知部５３２は、例えば、車両１０の周辺の建物の高さや、発生事象ＥＣが発生している位置と車両１０の位置とを結ぶ直線上に位置する障害物などの地理情報に基づいて、車室内から見ることができる車両１０を抽出してもよい。地理情報は、外部サーバに保存されていてもよく、第２記憶部５６０に記憶されていてもよい。通知部５３２は、抽出した車両１０の乗員に対して発生事象ＥＣを通知する。以下、発生事象ＥＣについては、通知する相手である「第１車両１０の乗員」を「抽出した車両の乗員」と読み換えればよい。
また、事象認識部５３１は、第１車両１０Ａの周辺の地域において日常の範囲に含まれるが、第１車両の乗員にとって日常の範囲に含まれない事象（以下、第２事象と記す）が発生していることを認識する。例えば、認識した発生事象ＥＡが日常事象リスト５６１に含まれる事象に該当し、且つ、ユーザごとリスト５６３に含まれる事象に該当する場合、事象認識部５３１は、第２事象が発生していることを認識する。
通知部５３２は、事象認識部５３１により第２事象が発生していることが認識された場合、第１車両１０Ａの乗員であるユーザＡに対して第１車両１０Ａの周辺において発生している事象に関する情報を通知する。通知部５３２は、例えば、第２事象と認識された発生事象ＥＡが発生していることを音声や画像で表す通知情報を生成する。通知部５３２は、生成した通知情報を、通信部５１０を介して、第１車両１０Ａあるいはユーザ端末７０Ａに送信する。
また、事象認識部５３１は、認識した発生事象ＥＡがユーザごとリスト５６３に含まれる事象に該当する場合、第１車両１０Ａの乗員にとって日常でない範囲に含まれる事象であると判定する。ユーザごとリスト５６３には、例えば、ユーザにより日常でない範囲として設定された事象や、ユーザにより通知対象として設置された事象が含まれる。ユーザごとリスト５６３には、例えば、非日常事象リスト５６２の一部と重複する事象が含まれていてもよい。
また、事象認識部５３１は、認識した発生事象ＥＡが非日常事象リスト５６２に該当するか否かを判定するとともに、認識した発生事象ＥＡが日常事象リスト５６１に該当するか否かを判定してもよい。
ユーザ確認部５３３は、認識した発生事象ＥＡが非日常事象リスト５６２に該当せず、且つ、認識した発生事象ＥＡが日常事象リスト５６１にも該当しない場合、第１車両１０Ａの乗員であるユーザＡに対して通知の有無を確認する。例えば、ユーザ確認部５３３は、第１車両１０Ａのマイク４１０から「車両周辺で認識した事象について通知しますか？」という音声を出力させる。これに限られず、ユーザ確認部５３３は、ユーザＡのユーザ端末７０Ａに同様の趣旨のメッセージを表示させたり、音声を出力させてもよい。ユーザ確認部５３３は、通信部５１０を介して受信した音声ストリームや、表示・操作装置４２０が受け付けたユーザからの指示情報に基づいて、ユーザへの確認に対するユーザからの回答を受け付ける。
通知部５３２は、ユーザ確認部５３３による確認において、車両周辺で認識した事象を通知することがユーザＡにより指示された場合、発生事象ＥＡが非日常事象リスト５６２に該当せず、且つ、日常事象リスト５６１にも該当しない場合であっても、発生事象ＥＡが発生していることをユーザＡに対して通知する。
リスト編集部５３４は、車両周辺で認識した事象を通知することがユーザＡにより指示された場合、認識された発生事象ＥＡを、ユーザごとリスト５６３に追加する。また、リスト編集部５３４は、認識した事象以外であっても、ユーザＡによって指示された事象をユーザごとリスト５６３に追加し、あるいは削除してもよい。
リスト編集部５３４は、第１車両１０Ａの乗員による指示に基づいて、非日常事象リスト５６２を編集する。例えば、リスト編集部５３４は、一般的には日常の範囲に含まれる事象であっても、ユーザが通知を希望する事象を非日常事象リスト５６２に追加する。リスト編集部５３４は、一般的には日常でない範囲に含まれる事象であっても、ユーザが通知を希望しない事象を、非日常事象リスト５６２から削除してもよい。
リスト編集部５３４は、第１車両１０Ａの乗員による指示に基づいて、日常事象リスト５６１を編集してもよい。例えば、リスト編集部５３４は、一般的には日常でない範囲に含まれる事象であっても、ユーザが通知を希望しない事象を日常事象リスト５６１に追加する。リスト編集部５３４は、一般的には日常の範囲に含まれる事象であっても、ユーザが通知を希望する事象を日常事象リスト５６１から削除する。
学習部５３５は、車両周辺で認識した事象を通知することが第１車両１０Ａの乗員により指示された場合、周辺車両で認識した事象（つまり、発生事象ＥＡ）に基づいて、ユーザ事象識別モデル５６４を、第１車両１０Ａの乗員ごとに学習する。例えば、学習部５３５は、発生事象ＥＡに基づく情報を教師データとして、ユーザ事象識別モデル５６４を学習する。この学習する処理については、知られている種々の手法が用いられてよい。ユーザ事象識別モデル５６４は、入力した事象が、ユーザに通知する事象であるか否かをユーザごとに識別するモデルである。なお、ユーザ事象識別モデル５６４は、ユーザごとに用意されたモデルを複数含むものであってもよい。
学習部５３５は、認識した発生事象ＥＡが非日常事象リスト５６２に含まれる事象と合致せず、且つ、認識した発生事象ＥＡが日常事象リスト５６１に含まれる事象と合致しない場合であって、発生事象ＥＡを通知することがユーザによって指示された場合、発生事象ＥＡに基づいて、ユーザ事象識別モデル５６４を、第１車両１０Ａの乗員ごとに学習してもよい。
事象認識部５３１は、ユーザ事象識別モデル５６４を用いて、認識した発生事象ＥＡがユーザＡに通知する事象であるか否かを識別してもよい。例えば、ユーザ事象識別モデル５６４に入力された発生事象ＥＡがユーザＡに通知する事象であると識別された場合、通知部５３２は、発生事象ＥＡが発生していることをユーザＡに対して通知する。
データ取得部５３６は、通知部５３２により乗員に通知された発生事象ＥＡについての発生事象データを生成する。発生事象データとは、発生事象ＥＡを撮像した画像データあるいは動画データを含む。例えば、データ取得部５３６は、事象認識部５３１により通知事象（第１事象やユーザＡに通知する事象を含む）であることが認識された場合、周辺状況情報に基づいて発生事象ＥＡが発生した時刻（以下、発生時刻と記す）を特定する。データ取得部５３６は、特定した発生時刻を含む一定期間において撮像された画像データや動画データの送信を、通信部５１０を介して車内通知装置３００に依頼する。依頼を受けた車内通知装置３００は、車内記憶部３３０から発生時刻を含む所定時間の画像データあるいは動画データを、情報提供装置５００に送信する。データ取得部５３６は、車内通知装置３００から受信した画像データあるいは動画データに基づいて発生事象データを生成する。データ取得部５３６により生成された発生事象データは、通知部５３２により、通知情報が通知された乗員に対して送信されてよい。なお、通知部５３２は、通知情報に換えて、発生事象データを第１車両１０Ａあるいはユーザ端末７０Ａに送信することで、発生事象ＥＡを乗員に通知してもよい。例えば、乗員が寝ている場合や、赤ちゃんが乗車している場合、通知情報を音声で通知せずに、画像データを表示させることで、車室内の快適性を向上させることができる。
運転指示部５３７は、事象認識部５３１により通知事象（第１事象やユーザＡに通知する事象を含む）であることが認識された場合、第１車両１０Ａに対して徐行運転するよう指示する。このとき、運転指示部５３７は、徐行運転するための走行速度や走行距離等を決定し、第１車両１０Ａに指示してもよい。指示を受けた第１車両１０Ａは、自動運転で徐行運転を実行する。こうすることにより、乗員が車両周辺の事象を確認しやすくなる。
データ管理部５３８は、通信部５１０を介して車両１０や車外検出装置７００から受信した情報を、第２記憶部５６０に格納する。例えば、データ管理部５３８は、車両１０から受信した現在位置情報と車両ＩＤとを対応付けた情報を、車両位置情報５６５の一部として第２記憶部５６０に格納する。データ管理部５３８は、車両１０や車外検出装置７００から受信した周辺状況情報を、周辺状況情報５６６の一部として第２記憶部５６０に格納する。データ管理部５３８は、車両１０や車外検出装置７００から受信した画像データや動画データ、生成した発生事象データを周辺状況情報５６６の一部として第２記憶部５６０に格納してもよい。
他車両検出部５３９は、車両位置情報５６５を参照して、通知情報を送信する他車両を検出する。例えば、第１車両１０Ａの周辺において通知事象が発生していることが認識された場合、第１車両１０Ａを含む所定のエリアに存在する他車両を検出する。通知部５３２は、他車両検出部５３９により検出された他車両に対して、他車両の周辺において発生事象ＥＡが発生していることを通知する。他車両検出部５３９は、上述した通知部５３２の処理と同様にして、発生事象ＥＡが発生している位置を導出し、導出した発生事象ＥＡが発生している位置を車室内から見ることができる他車両を抽出する。こうすることにより、第１車両１０Ａにより認識された発生事象ＥＡを、周辺を走行している他車両に対しても通知することできる。
［日常事象リストと非日常事象リスト］
以下、日常事象リスト５６１と非日常事象リスト５６２の一例について説明する。
日常事象リスト５６１には、例えば、雪国で雪が降る事象、日光でサルが出現する事象、田舎にタヌキが出現する事象等が含まれる。
非日常事象リスト５６２には、例えば、地域に依らず出現確率が非常に低い第１現象（例えば、虹、流れ星、ＵＦＯ、隕石落下など）が含まれる。この第１現象は、後述する第２現象や第３現象に比べて、通知レベルが高い通知情報の一例である。
非日常事象リスト５６２には、第１現象よりも出現確率が高いものの地域の依らず珍しい第２現象（例えば、ゲリラ豪雨など）が含まれてもよい。珍しい第２現象には、例えば、出現態様が通常の態様に該当しない現象（例えば、珍しい形の雲の出現、珍しい色の月の出現など）が含まれる。
非日常事象リスト５６２には、例えば、発生事象ＥＡが発生した地域において出現確率が低い第３現象（例えば、雪があまり降らない地域での雪、季節外れの雷など）が含まれてもよい。この第３現象には、発生事象ＥＡが発生した地域において出現頻度が低い動物（例えば、都会でのタヌキなど）が出現する現象などが含まれてよい。
この第３現象には、第１車両１０Ａの現在位置において前回出現した時刻からの経過時間が閾値を超えた現象（例えば、数か月ぶりの雨、数か月ぶりの雪、数か月ぶりの雷など）が含まれてもよい。通知部５３２は、乗員に通知した事象と同一の事象が、前回の通知から所定期間以内に再び発生した場合、通知対象から除外する。例えば、通知部５３２は、事象認識部５３１により第３現象が発生していると認識された場合、同一の現象が発生した前回の発生日時から所定時間が経過している場合、乗員に対して通知するようにしてもよい。つまり、前回の発生日時から所定時間が経過していない場合、通知部５３２は、乗員に対して通知しないようにしてもよい。また、通知部５３２は、同じ年の同じ季節において同一の現象が発生した場合、初回のみ乗員に通知し、二回目以降は通知しないようにしてもよい。
非日常事象リスト５６２には、例えば、有名人が出現しそうな状況（有名人が出演するイベントや撮影ロケが実施されている状況など）が出現する事象が含まれてよい。有名人は、例えば、地域によらず有名な人物（全国的に知名度があるタレントや国会議員など）や、その地域において有名な人物（市長、市議会議員、ご当地アイドルなど）が含まれる。
非日常事象リスト５６２には、例えば、普段の町の様子と異なる景色（例えば、提灯、のぼり旗、お囃子、町内放送など）が出現する事象が含まれてよい。非日常事象リスト５６２には、話題のもの（最近オープンした話題の施設、人気のラーメン店、人気のパン屋など）が出現する事象が含まれてよい。非日常事象リスト５６２には、他の季節には珍しい季節もの（例えば、桜、紅葉など）が出現する現象などが含まれてよい。
［処理フロー］
次に、実施形態の情報提供装置５００により実行される処理の流れの一例について説明する。ここでは、第１車両１０Ａが、第１車両１０Ａの周辺の周辺状況情報を情報提供装置５００に送信する例について説明する。
［処理フロー（その１）］
図６は、情報提供装置５００により実行される処理（その１）の一例を示すフローチャートである。まず、事象認識部５３１は、周辺状況情報を取得し（ステップＳ１０１）、取得した周辺状況情報に基づいて、発生事象ＥＡを認識する（ステップＳ１０３）。事象認識部５３１は、発生事象ＥＡと非日常事象リスト５６２とを照合する（ステップＳ１０５）。認識した発生事象ＥＡが非日常事象リスト５６２に含まれる事象と合致する場合（ステップＳ１０７）、事象認識部５３１は、第１事象が発生していることを認識する（ステップＳ１０９）。そして、通知部５３２は、第１車両１０Ａの乗員であるユーザＡに対して第１車両１０Ａの周辺において発生している事象を通知する（ステップＳ１１１）。そして、データ取得部５３６は、発生事象ＥＡについての発生事象データを生成する（ステップＳ１１３）。通知部５３２は、生成された発生事象データを第１車両１０Ａの乗員であるユーザＡに対して通知してもよい。
ステップＳ１０７において、認識した発生事象ＥＡが非日常事象リスト５６２に含まれる事象と合致しない場合、事象認識部５３１は、発生事象ＥＡとユーザごとリスト５６３とを照合する（ステップＳ１１５）。認識した発生事象ＥＡがユーザごとリスト５６３に含まれる事象と合致する場合（ステップＳ１１７）、ステップＳ１１１に移行する。
［処理フロー（その２）］
図７は、情報提供装置５００により実行される処理（その２）の一例を示すフローチャートである。まず、事象認識部５３１は、周辺状況情報を取得し（ステップＳ２０１）、取得した周辺状況情報に基づいて、発生事象ＥＡを認識する（ステップＳ２０３）。事象認識部５３１は、発生事象ＥＡと日常事象リスト５６１とを照合する（ステップＳ２０５）。認識した発生事象ＥＡが日常事象リスト５６１に含まれる事象と合致しない場合（ステップＳ２０７）、事象認識部５３１は、第１事象が発生していることを認識する（ステップＳ２０９）。そして、通知部５３２は、第１車両１０Ａの乗員であるユーザＡに対して第１車両１０Ａの周辺において発生している事象を通知する（ステップＳ２１１）。そして、データ取得部５３６は、発生事象ＥＡについての発生事象データを生成する（ステップＳ２１３）。通知部５３２は、生成された発生事象データを第１車両１０Ａの乗員であるユーザＡに対して通知してもよい。
ステップＳ２０７において、認識した発生事象ＥＡが日常事象リスト５６１に含まれる事象と合致する場合、事象認識部５３１は、発生事象ＥＡとユーザごとリスト５６３とを照合する（ステップＳ２１５）。認識した発生事象ＥＡがユーザごとリスト５６３に含まれる事象と合致する場合（ステップＳ２１７）、ステップＳ２１１に移行する。
［処理フロー（その３）］
図８は、情報提供装置５００により実行される処理（その３）の一例を示すフローチャートである。まず、事象認識部５３１は、周辺状況情報を取得し（ステップＳ３０１）、取得した周辺状況情報に基づいて、発生事象ＥＡを認識する（ステップＳ３０３）。事象認識部５３１は、発生事象ＥＡと非日常事象リスト５６２とを照合する（ステップＳ３０５）。認識した発生事象ＥＡが非日常事象リスト５６２に含まれる事象と合致する場合（ステップＳ３０７）、事象認識部５３１は、第１事象が発生していることを認識する（ステップＳ３０９）。そして、通知部５３２は、第１車両１０Ａの乗員であるユーザＡに対して第１車両１０Ａの周辺において発生している事象を通知する（ステップＳ３１１）。そして、データ取得部５３６は、発生事象ＥＡについての発生事象データを生成する（ステップＳ３１３）。通知部５３２は、生成された発生事象データを第１車両１０Ａの乗員であるユーザＡに対して通知してもよい。
ステップＳ３０７において、認識した発生事象ＥＡが非日常事象リスト５６２に含まれる事象と合致しない場合、事象認識部５３１は、発生事象ＥＡと日常事象リスト５６１とを照合する（ステップＳ３１５）。認識した発生事象ＥＡが日常事象リスト５６１に含まれる事象と合致しない場合（ステップＳ３１７）、ユーザ確認部５３３は、第１車両１０Ａの乗員であるユーザＡに対して通知の有無を確認する（ステップＳ３１９）。そして、ユーザ確認部５３３は、ユーザＡから確認された事象を通知することが指示されたか否かを判定し（ステップＳ３２１）、通知することが指示された場合、ステップＳ３１１に移行する。なお、ステップＳ３２１の判定結果は、学習部５３５による学習の教師データとして用いられてよい。
以上説明した実施形態の情報提供装置５００によれば、第１車両１０Ａの周辺において取得された情報に基づいて、第１車両１０Ａの周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識する事象認識部５３１と、第１事象が発生していることが認識された場合、第１車両１０Ａの乗員に対して第１事象に関する情報を通知する通知部５３２とを備えることにより、車両の周辺において発生している所定の事象を乗員に気づかせることができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識し、
前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知する、
ように構成されている、情報提供装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、情報提供装置５００に含まれる構成が車両１０に搭載されていてもよい。例えば、車両１０は、他車両への通知が必要ない場合（自車両のみへの通知を行う場合）、車両１０の周辺において認識された事象を、車両１０の乗員に通知してもよい。
５００ 情報提供装置
５３１ 事象認識部
５３２ 通知部
５３３ ユーザ確認部
５３４ リスト編集部
５３５ 学習部
５３６ データ取得部
５３７ 運転指示部
５３８ データ管理部
５３９ 他車両検出部

Claims (15)

  1. 第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識する事象認識部と、
    前記事象認識部により前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知する通知部と、
    を備える情報提供装置。
  2. 前記事象認識部は、前記認識した前記第１車両の周辺において発生している事象が、前記第１車両の周辺の地域において日常の事象として予め登録されている日常事象リストに該当する場合、前記発生している事象を前記第１事象として認識しない、
    請求項１に記載の情報提供装置。
  3. 前記事象認識部は、前記第１車両の周辺の地域において日常の範囲に含まれるが、前記第１車両の乗員にとって日常の範囲に含まれない第２事象が発生していることを更に認識し、
    前記通知部は、前記事象認識部により前記第２事象が発生していることが認識された場合にも、前記第１車両の乗員に対して前記第２事象に関する情報を通知する、
    請求項１または２に記載の情報提供装置。
  4. 前記事象認識部は、前記認識した前記第１車両の周辺において発生している事象が、前記第１車両の周辺の地域において日常でない事象として予め登録されている非日常事象リストに該当する場合、前記発生している事象を前記第１事象として認識する、
    請求項１から３のうちいずれか一項に記載の情報提供装置。
  5. 前記第１車両の乗員による指示に基づいて、前記非日常事象リストを編集するリスト編集部をさらに備える、
    請求項４に記載の情報提供装置。
  6. 前記事象認識部が認識した前記第１車両の周辺において発生している事象が、前記第１車両の周辺の地域において日常である事象として予め登録されている日常事象リストに該当せず、且つ、前記第１車両の周辺の地域において日常でない事象として予め登録されている非日常事象リストにも該当しない場合、前記第１車両の乗員に対して通知の有無を確認する確認部をさらに備え、
    前記通知部は、前記第１車両の乗員により通知することが指示された場合、前記第１車両の乗員に対して前記第１車両の周辺において発生している事象に関する情報を通知する、
    請求項１から５のうちいずれか一項に記載の情報提供装置。
  7. 前記第１車両の乗員により通知することが指示された事象を、前記第１車両の乗員ごとに学習する学習部をさらに備える、
    請求項６に記載の情報提供装置。
  8. 前記通知部は、前記第１車両の乗員に対して通知した事象と同一の事象が、前回の通知から所定期間以内に再び発生した場合、通知対象から除外する、
    請求項１から７のうちいずれか一項に記載の情報提供装置。
  9. 前記事象認識部は、前記第１車両に搭載された車載検出装置を用いて、走行中に検出された検出結果に基づいて、前記第１車両の周辺において発生している事象を認識する、
    請求項１から８のうちいずれか一項に記載の情報提供装置。
  10. 前記事象認識部は、前記第１車両に搭載された車載検出装置により検出された周辺状況と、車両の外部に設置された車外検出装置により検出された周辺状況のうち少なくとも一つに基づいて、前記事象が発生していることを認識する、
    請求項１から９のうちいずれか一項に記載の情報提供装置。
  11. 前記事象認識部により前記事象が発生していることが認識された場合、前記第１車両に搭載されている撮像部を用いて前記事象を撮像したデータを取得するデータ取得部をさらに備える、
    請求項１から１０のうちいずれか一項に記載の情報提供装置。
  12. 前記通知部は、前記事象が発生している地域を走行する第２車両の乗員に対してその旨を通知する、
    請求項１から１１のいうちいずれか一項に記載の情報提供装置。
  13. 前記事象認識部により前記第１事象が発生していることが認識された場合、前記第１車両に対して徐行運転を指示する運転指示部をさらに備える、
    請求項１から１２のうちいずれか一項に記載の情報提供装置。
  14. コンピュータが、
    第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識し、
    前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知する、
    情報提供方法。
  15. コンピュータに、
    第１車両の周辺において取得された情報に基づいて、前記第１車両の周辺の地域において日常でない範囲に含まれる第１事象が発生していることを認識させ、
    前記第１事象が発生していることが認識された場合、前記第１車両の乗員に対して前記第１事象に関する情報を通知させる、
    プログラム。
JP2019132047A 2019-07-17 2019-07-17 情報提供装置、情報提供方法、およびプログラム Pending JP2021018073A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019132047A JP2021018073A (ja) 2019-07-17 2019-07-17 情報提供装置、情報提供方法、およびプログラム
CN202010683587.6A CN112241677A (zh) 2019-07-17 2020-07-15 信息提供装置、信息提供方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019132047A JP2021018073A (ja) 2019-07-17 2019-07-17 情報提供装置、情報提供方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2021018073A true JP2021018073A (ja) 2021-02-15

Family

ID=74171200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019132047A Pending JP2021018073A (ja) 2019-07-17 2019-07-17 情報提供装置、情報提供方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP2021018073A (ja)
CN (1) CN112241677A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975951B (zh) * 2010-06-09 2013-03-20 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
US20180257565A1 (en) * 2015-09-30 2018-09-13 Aisin Seiki Kabushiki Kaisha Drive assist apparatus
WO2017183077A1 (ja) * 2016-04-18 2017-10-26 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
DE112016007376T5 (de) * 2016-10-25 2019-07-25 Mitsubishi Electric Corporation Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
JP6661796B2 (ja) * 2017-01-06 2020-03-11 三菱電機株式会社 報知制御装置および報知制御方法
CN109615894A (zh) * 2018-12-29 2019-04-12 南京奥杰智能科技有限公司 用于交通信息智能管理的路段交通路况检测***

Also Published As

Publication number Publication date
CN112241677A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
US10875525B2 (en) Ability enhancement
US9875583B2 (en) Vehicle operational data acquisition responsive to vehicle occupant voice inputs
US20160167648A1 (en) Autonomous vehicle interaction with external environment
US20200309548A1 (en) Control apparatus, control method, and non-transitory computer-readable storage medium storing program
JP7275058B2 (ja) エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム
CN113176537A (zh) 警笛信号的检测和分类以及警笛信号源的定位
JP7195161B2 (ja) 案内システム、案内方法、およびプログラム
JP2017068589A (ja) 情報処理装置、情報端末、及び、情報処理方法
JP6800340B2 (ja) 車両制御システム、車両制御方法、およびプログラム
CN111599356A (zh) 智能体***、信息处理装置、信息处理方法及存储介质
CN115035494A (zh) 图像处理方法、装置、车辆、存储介质及芯片
KR20230051412A (ko) 차량을 찾고 액세스하기 위한 기술
JP7210394B2 (ja) 情報提供装置、情報提供方法、およびプログラム
US11705141B2 (en) Systems and methods to reduce audio distraction for a vehicle driver
JP2021018073A (ja) 情報提供装置、情報提供方法、およびプログラム
US20220208187A1 (en) Information processing device, information processing method, and storage medium
CN114756700A (zh) 场景库建立方法、装置、车辆、存储介质及芯片
JP7489314B2 (ja) 車両制御システム、車両制御方法、およびプログラム
WO2021075112A1 (ja) 情報処理装置と情報処理方法およびプログラム
JP7208114B2 (ja) 情報提供装置、情報提供方法、およびプログラム
JP7311331B2 (ja) 情報提供装置、情報提供方法、およびプログラム
WO2023204076A1 (ja) 音響制御方法及び音響制御装置
JP2022103472A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020166074A (ja) 音声インタフェイスシステム
CN115115822A (zh) 车端图像处理方法、装置、车辆、存储介质及芯片