JP2017194948A - Information presentation control device, automatic operation vehicle, and automatic operation vehicle supporting system - Google Patents
Information presentation control device, automatic operation vehicle, and automatic operation vehicle supporting system Download PDFInfo
- Publication number
- JP2017194948A JP2017194948A JP2016252131A JP2016252131A JP2017194948A JP 2017194948 A JP2017194948 A JP 2017194948A JP 2016252131 A JP2016252131 A JP 2016252131A JP 2016252131 A JP2016252131 A JP 2016252131A JP 2017194948 A JP2017194948 A JP 2017194948A
- Authority
- JP
- Japan
- Prior art keywords
- information
- recognition
- unit
- selection
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車載のセンサによって検出された周囲状況に応じた自動運転制御をする自動運転車等に関する。 The present invention relates to an automatic driving vehicle or the like that performs automatic driving control according to an ambient condition detected by a vehicle-mounted sensor.
自動車に関する技術において、自車両の走行環境に関する情報である走行環境情報を各種の車載のセンサを用いて取得して、この走行環境情報のうち、自車両の走行状況に応じて運転に有用な情報を運転者に提供する表示装置に関するものがある（特許文献１参照）。 In the technology related to automobiles, travel environment information, which is information related to the travel environment of the host vehicle, is acquired using various in-vehicle sensors, and this travel environment information is useful information for driving according to the travel status of the host vehicle. Is related to a display device (see Patent Document 1).
しかしながら上記のような表示装置では、車載のセンサの稼動状況等に応じて自動制御の内容が変わる自動運転機能を有する自動車（以下、自動運転車という）の運転者は、自分でする必要がある運転の内容を知ることができないという問題がある。 However, in the display device as described above, a driver of an automobile (hereinafter referred to as an autonomous driving vehicle) having an automatic driving function in which the content of automatic control changes depending on the operation status of the on-vehicle sensor or the like needs to do it himself. There is a problem that the contents of driving cannot be known.
そこで、本発明は、自動運転車の運転者に、自分ですべき運転の内容を知らせる情報提示制御装置等を提供する。 Therefore, the present invention provides an information presentation control device and the like that informs the driver of an autonomous vehicle of the content of driving that should be performed by the driver.
本発明の一態様に係る情報提示制御装置は、自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させる提示制御部とを備える。 An information presentation control apparatus according to an aspect of the present invention is an information presentation control apparatus that causes a presentation apparatus mounted on an autonomous driving vehicle to present information, and recognizes a plurality of objects that are different from each other with respect to a surrounding situation of the autonomous driving vehicle. Automatic operation of an autonomous driving vehicle based on at least one of a control that can be executed by the autonomous driving vehicle and a control that cannot be executed according to the selection information, and a selection information acquisition unit that acquires selection information indicating the selection status of the recognition unit A presentation control unit that causes the presentation device to present driving information related to at least one of driving by the system and driving by the driver.
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 These comprehensive or specific modes may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM. The system, method, integrated circuit, computer program Also, any combination of recording media may be realized.
本発明の情報提示制御装置は、自動運転車の運転者に自分ですべき運転の内容を知らせることができる。 The information presentation control device of the present invention can inform the driver of the self-driving car of the content of the driving to be performed by himself / herself.
（本発明の基礎となった知見）
本発明の発明者らは、「背景技術」の欄において記載した表示装置に関し、以下の問題が生じることを見出した。
(Knowledge that became the basis of the present invention)
The inventors of the present invention have found that the following problems occur with respect to the display device described in the “Background Art” column.
自動車では、上記のように車載センサを用いて取得される情報は、車載のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）によるいわゆる電子制御にも用いられる。しかし、運転者には、自分が運転している自動車で実際になされた電子制御の内容、又はこれによる自動車の動作の変化は必ずしも通知されない。 In an automobile, information acquired by using an in-vehicle sensor as described above is also used for so-called electronic control by an in-vehicle ECU (Electronic Control Unit). However, the driver is not necessarily notified of the contents of the electronic control actually performed in the automobile he is driving or the change in the operation of the automobile due to this.
しかしながら、さらに高度化した電子制御による自動運転機能を有する自動運転車では、車載のセンサの稼動状況等に応じて自動運転の内容が変化する。例えば、走行中の自動運転車において、車両前方の状況を検知するセンサに不具合が生じたときに、自動運転車がどのような対象（例えば人、道路標識、道路表示、障害物、他の通行車両等）の認識及びその認識結果に基づく制御をできないのか、つまり、運転者は自分でしなければならない運転行動（認識、推定、判断、操作）を知る必要がある。 However, in a self-driving vehicle having an automatic driving function by more sophisticated electronic control, the content of the automatic driving changes according to the operating state of the vehicle-mounted sensor. For example, in the case of a self-driving vehicle that is running, when a problem occurs in the sensor that detects the situation in front of the vehicle, what kind of object (for example, people, road signs, road displays, obstacles, other traffic) Vehicle, etc.) and the control based on the recognition result, that is, the driver needs to know the driving behavior (recognition, estimation, judgment, operation) that must be performed by himself / herself.
また、外部との通信機能を備える自動運転車は、車載のセンサで検知された周囲状況を外部の認識機器、例えば大規模なニューラルネットワークとして構築された認識システムに送信する。このニューラルネットワークではディープラーニングによる機械学習がなされており、車載の軽量な認識機器よりも高精度で多クラスの認識が可能である。そして自動運転車は、当該周囲状況に基づいてこの認識システムが認識した対象物を示す情報を受信し、この情報を利用して自動運転をする。しかし、場所によっては自動運転車と外部との通信の速度が自動運転に要求されるレベルに達しない。この場合、大規模なニューラルネットワークによる認識結果は自動運転に利用できないため、自動運転の内容が変化する。したがって、自動運転車の通信速度が遅い状況では、運転者はその状況で自分ですべき運転の内容を知る必要がある。 In addition, an autonomous driving vehicle having a function of communicating with the outside transmits an ambient state detected by an in-vehicle sensor to an external recognition device, for example, a recognition system constructed as a large-scale neural network. In this neural network, machine learning by deep learning is performed, and multi-class recognition is possible with higher accuracy than in-vehicle lightweight recognition devices. Then, the automatic driving vehicle receives information indicating the object recognized by the recognition system based on the surrounding situation, and performs automatic driving using this information. However, depending on the location, the speed of communication between the autonomous vehicle and the outside does not reach the level required for autonomous driving. In this case, since the recognition result by the large-scale neural network cannot be used for the automatic driving, the content of the automatic driving changes. Therefore, in a situation where the communication speed of the autonomous driving vehicle is low, the driver needs to know the content of the driving that should be performed in that situation.
しかしながら、従来の表示装置では、このような認識機器の変化、及びこの変化に伴う認識の対象物の変化が考慮されていない。したがって、自動運転車では、この対象物の変化に伴って変化する、運転者自身がする必要がある運転の内容が運転者に通知されないという問題がある。 However, in the conventional display device, such a change in the recognition device and a change in an object to be recognized due to the change are not taken into consideration. Therefore, in the automatic driving vehicle, there is a problem that the driver is not notified of the driving contents that the driver himself / herself needs to change, which changes in accordance with the change of the object.
このような問題を解決するために、本発明の一態様に係る情報提示制御装置は、自動運転車に搭載される提示装置に情報を提示させる情報提示制御装置であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させる提示制御部とを備える。 In order to solve such a problem, an information presentation control device according to an aspect of the present invention is an information presentation control device that causes a presentation device mounted on an autonomous driving vehicle to present information, and is arranged around the autonomous driving vehicle. A selection information acquisition unit that acquires selection information indicating a selection status of a plurality of recognition units that recognize different objects from each other, and at least control that can be executed by the automatic driving vehicle and control that cannot be executed according to the selection information And a presentation control unit that causes the presentation device to present driving information related to at least one of driving by an automatic driving system for an autonomous driving vehicle and driving by a driver.
これにより運転者に、自動運転車の車両上の状況に応じて変化する自動運転システムによる運転又は自身がすべき運転行動についての情報（運転情報）を提供することができる。 Thereby, the information (driving information) about the driving | operation by the automatic driving system which changes according to the condition on the vehicle of a self-driving vehicle, or the driving action which self should perform can be provided to a driver | operator.
例えば、複数の認識部の選択状況は、複数の認識部からの、対象の認識を実行する認識部又は対象の認識を実行しない認識部の選択の状況であってもよい。 For example, the selection status of the plurality of recognition units may be a selection status of a recognition unit that performs target recognition or a recognition unit that does not perform target recognition from a plurality of recognition units.
これにより情報提示制御装置は、自動運転システムにおいて認識される対象、又はされない対象を示す情報に基づいて運転情報を運転者に提供することができる。 Thereby, the information presentation control apparatus can provide driving information to the driver based on information indicating a target recognized or not set in the automatic driving system.
例えば、選択情報取得部は、複数の認識部からの認識部の選択結果を示す選択情報を前記自動運転システムから取得してもよい。 For example, the selection information acquisition unit may acquire selection information indicating the selection result of the recognition unit from the plurality of recognition units from the automatic driving system.
これにより情報提示制御装置は、自動運転システムにおける認識部の実際の選択状況に基づいて運転情報を運転者に提供することができる。 Thereby, the information presentation control apparatus can provide driving information to the driver based on the actual selection status of the recognition unit in the automatic driving system.
また例えば、選択情報取得部は、複数の認識部からの認識部の選択のための判断に用いられる選択判断材料情報を取得し、選択判断材料情報に基づいて選択状況を推定することで選択情報を取得してもよい。または、例えば対象の認識に利用される情報を取得するための、自動運転車が有する検出部又は通信部の稼動状況を示す情報を取得し、稼動状況を示す情報に基づいて、選択される認識部を判断することで選択情報を取得してもよい。 Further, for example, the selection information acquisition unit acquires selection determination material information used for determination for selecting a recognition unit from a plurality of recognition units, and estimates the selection status based on the selection determination material information, thereby selecting the selection information. May be obtained. Or, for example, to acquire information used to recognize the target, acquire information indicating the operating status of the detection unit or the communication unit included in the autonomous driving vehicle, and the recognition selected based on the information indicating the operating status The selection information may be acquired by determining the part.
これにより情報提示制御装置は、自動運転システムでの選択部による認識部の選択を待つことなく選択情報を取得できるため、運転情報を運転者に速やかに提供することができる。また、自動運転システムとのインターフェースを設けることなく選択情報を取得できるため、コストを低減することが可能となる。 Thereby, since the information presentation control apparatus can acquire selection information without waiting for selection of the recognition part by the selection part in an automatic driving system, it can provide driving information to a driver promptly. Moreover, since selection information can be acquired without providing an interface with an automatic driving system, the cost can be reduced.
例えば、選択判断材料情報は、地図情報に基づいて取得される、自動運転車が走行している場所の特徴を示す走行場所情報を含んでもよい。 For example, the selection determination material information may include travel location information that is acquired based on map information and indicates the characteristics of the location where the autonomous driving vehicle is traveling.
これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が自動運転車の走行場所に生じた場合に、運転者に運転情報を提供することができる。 Thereby, the information presentation control device can provide driving information to the driver when a change that changes the content of driving by the automatic driving system occurs in the traveling place of the autonomous driving vehicle.
また例えば、選択判断材料情報は、運転者の身体の状態を示す運転者状態情報を含んでもよい。 For example, the selection determination material information may include driver state information indicating the state of the driver's body.
これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が運転者の身体状態に生じた場合に、運転者に運転情報を提供することができる。 Thereby, the information presentation control device can provide driving information to the driver when a change that changes the content of driving by the automatic driving system occurs in the physical state of the driver.
また例えば、選択判断材料情報は、自動運転車の車外環境を示す車外環境情報を含んでもよい。 Further, for example, the selection determination material information may include vehicle exterior environment information indicating the vehicle exterior environment of the autonomous driving vehicle.
これにより情報提示制御装置は、自動運転システムによる運転の内容が変更されるような変化が車外環境に生じた場合に、運転者に運転情報を提供することができる。 As a result, the information presentation control device can provide driving information to the driver when a change that changes the content of driving by the automatic driving system occurs in the environment outside the vehicle.
また例えば、稼動状況を示す情報は、検出部が有する検出器の異常を示す情報を含み、対象の認識を実行しない認識部は、異常がある検出器が出力する検出結果を対象の認識に用いる認識部を含んでもよい。または、例えば、稼動状況を示す情報は、通信部の通信品質又は通信の実行の有無を示す情報を含み、対象の認識を実行しない認識部は、通信部の通信品質が所定の品質より劣る状況又は通信部が通信を実行していない状況における、通信部により通信される情報を対象の認識に用いるように構成されている認識部を含んでもよい。 In addition, for example, the information indicating the operation status includes information indicating the abnormality of the detector included in the detection unit, and the recognition unit that does not perform the target recognition uses the detection result output by the detector having the abnormality for the target recognition. A recognition unit may be included. Or, for example, the information indicating the operation status includes information indicating the communication quality of the communication unit or the presence / absence of communication, and the recognition unit that does not execute the target recognition is a situation where the communication quality of the communication unit is inferior to a predetermined quality Or the recognition part comprised so that the information communicated by the communication part in the condition where the communication part is not performing communication may be used for object recognition.
これにより情報提示制御装置は、対象の認識に必要な情報を取得できているか否かに応じて選択される認識部の選択状況を反映した運転情報を運転者に提供することができる。 Thus, the information presentation control device can provide the driver with driving information reflecting the selection status of the recognition unit selected depending on whether or not information necessary for target recognition has been acquired.
また例えば、提示制御部１６６は、音声又は画像の少なくとも一方を用いた運転情報の運転者への提示を制御してもよい。
In addition, for example, the
これにより情報提示制御装置は、運転情報を、運転中の運転者に、音、動画、静止画、若しくは表示灯、又はこれらの組み合わせを用いて随時提示することができる。 Thereby, the information presentation control device can present the driving information to the driving driver at any time using sound, moving images, still images, indicator lights, or a combination thereof.
また例えば、運転情報は、自動運転システムが実行しない又は実行していない運転の内容を含む情報であってもよい。 Further, for example, the driving information may be information including the contents of driving that is not performed or not performed by the automatic driving system.
これにより情報提示制御装置は、運転者に自分ですべき運転行動を明示的に提示することができる。 Thereby, the information presentation control apparatus can explicitly present the driving behavior to be performed by the driver to the driver.
また、本発明の一態様に係る自動運転車運転支援システムは、自動運転システムと、上記のいずれかの情報提示制御装置とを備える。 An automatic driving vehicle driving support system according to an aspect of the present invention includes an automatic driving system and any one of the information presentation control devices described above.
これにより自動運転車の運転者は、車両上の状況に応じて変化する、自分ですべき運転行動を随時知ることができる。 Thereby, the driver of the autonomous driving vehicle can know the driving behavior to be changed by himself / herself, which changes according to the situation on the vehicle.
また、本発明の一態様に係る自動運転車は、自動運転システムと、上記のいずれかの情報提示制御装置とを備える。 Moreover, the automatic driving vehicle which concerns on 1 aspect of this invention is equipped with an automatic driving system and one of said information presentation control apparatuses.
この自動運転車では、車両又は運転者の状況に応じて変わる、自分ですべき運転行動が随時運転者に通知される。 In this automatic driving vehicle, the driver is notified of the driving behavior to be changed by himself / herself, which changes according to the situation of the vehicle or the driver.
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。 These comprehensive or specific modes may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM. The system, method, integrated circuit, computer program Alternatively, it may be realized by any combination of recording media.
以下、実施の形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments will be specifically described with reference to the drawings.
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。 It should be noted that each of the embodiments described below shows a comprehensive or specific example. The numerical values, shapes, materials, constituent elements, arrangement positions and connecting forms of the constituent elements, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present invention. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements.
（実施の形態）
図１は、実施の形態における情報提示制御装置を備える自動運転車を含むネットワークの構成を示す概略図である。
(Embodiment)
FIG. 1 is a schematic diagram illustrating a configuration of a network including an autonomous driving vehicle including an information presentation control device according to an embodiment.
自動運転車１００は、ネットワーク１０のノードの１つである。自動運転車１００はネットワーク１０において、自動運転における周囲の状況の認識に、自車両の外部にある認識システム２００を利用することができる。
The
認識システム２００は、例えばニューラルネットワークを用いたディープラーニング、サポートベクターマシン、又はＢｏｏｓｔｉｎｇ等の機械学習を実行したシステムであり、高精度で多クラスの画像認識をすることができる。このような認識システム２００は、自動運転車１００の外部にあって、自動運転車１００が自動運転のために利用する認識部の一部である。詳細は後述する。
The
自動運転車１００と認識システム２００とは、インターネット等の通信回線３００を介して通信する。
The
自動運転車１００からは、後述する車載のセンサが検出した、自車両の周囲の状況を示す情報が基地局３５０に送られ、通信回線３００を介して認識システム２００に届けられる。例えばこの情報は、車載のカメラ（イメージセンサ）が撮影した、自車両の周囲の状況を示す画像のデータとして認識システム２００に届けられる。
From the
認識システム２００は、受け取った情報から車両の周囲の人や物等の存在、方向、距離、動き、その他特性等を認識し、その認識結果を示す情報を自動運転車１００に送り返す。例えば上記の画像のデータを受け取った認識システム２００は、画像認識を実行してこの画像に写る人、道路標識及び道路表示、障害物、他の通行車両等の対象を認識し、その対象を示す情報を、通信回線３００を介して自動運転車１００に返す。
The
この情報を受信した自動運転車１００では、自動運転車１００が備える後述の自動運転システムが、この情報に基づいてアクセル、ブレーキ、及びステアリング等の各種系統を制御する。
In the
図２は、自動運転車１００の機能構成を示す機能ブロック図である。なお、自動運転車１００の動力源は限定されず、燃料で動くエンジンのみ、電力で動くモーターのみ、及びエンジン及びモーターの両方（ハイブリッド）のいずれであってもよい。
FIG. 2 is a functional block diagram illustrating a functional configuration of the
自動運転車１００は、運転支援インターフェース１１０、ナビゲーションシステム１４０、自動運転システム１５０、情報提示制御装置１６０、記憶部１８０、及びアンテナ１９０を備える。
The
運転支援インターフェース１１０は、自動運転車１００とそのユーザである運転者との間のインターフェースのであり、運転者からの入力を受け付ける構成要素及び運転者へ情報を提示する構成要素である。例えば、自動運転車１００の運転者が操作するアクセル、ブレーキ、ステアリングホイール等の運転操作部１２０、ディスプレイを含む表示装置、計器類、表示灯、スピーカー、マイク、タッチパネル、ボタン類が運転支援インターフェース１１０に含まれる。なお、これらのうち、運転者に視覚、聴覚、又は触覚を通じて情報の提示が可能な構成要素を提示装置ともいう。例えば表示装置、計器類、表示灯、スピーカー、ステアリングホイール、ペダル類が提示装置になりうる。ステアリングホイール及びペダル類は、例えば所定の条件が満たされたときに振動することで運転者に注意を促すことができる。
The driving
また、本実施の形態の説明では、これらの操作部への操作によって制御される駆動系、制動系、及び操舵系も運転操作部１２０に含まれる。
In the description of the present embodiment, the driving
記憶部１８０は、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０が、それぞれ処理を実行するために参照する、後述の地図情報及びその他の各種データやプログラムが保存される記憶装置であり、例えばハードディスク、半導体メモリ、若しくはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の記録媒体、又はこれらの組み合わせを用いて実現される。
The
アンテナ１９０は、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０がする、自動運転車１００の外部との情報通信のためのアンテナである。なお、これらの構成要素が行う情報通信には、衛星測位システムの人工衛星からの受信、ＶＩＣＳ（登録商標）（Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：道路交通情報通信システム）やＩＴＳ（Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔ Ｓｙｓｔｅｍｓ：高度道路交通システム）からの受信、インターネット通信等、複数種類の通信が含まれ得る。
The
なお、図２の運転支援インターフェース１１０、記憶部１８０、及びアンテナ１９０は、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０に共有され、いずれからもアクセスされるものであってよいが、これに限定されない。ただし図２では、ナビゲーションシステム１４０、自動運転システム１５０、及び情報提示制御装置１６０の各々が専用する運転支援インターフェース、記憶部、及びアンテナがある場合も、自動運転車１００が備える運転支援インターフェース１１０、記憶部１８０、及びアンテナ１９０としてそれぞれ統合的に示される。
Note that the driving
ナビゲーションシステム１４０は、自動運転車１００の現在位置の取得、目的地への経路探索、及び運転者への経路案内をする。ナビゲーションシステム１４０は、現在位置取得部１４１、経路探索部１４２、経路案内部１４３、及び自律航法部１４４を含む。
The
現在位置取得部１４１は、アンテナ１９０を介してＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星等の衛星測位システムの人工衛星から受信する信号、及び後述の自律航法部１４４から受信する加速度、角速度、及び車速を示す信号に基づいて現在位置を取得する。
The current
経路探索部１４２は、現在位置から目的地までの１つ以上の経路を算出する。
The
経路案内部１４３は、経路探索部１４２が探索し、運転者が選択した経路に沿った目的地までの案内を、運転支援インターフェース１１０を介して出力する画像や音声等でする。
The
自律航法部１４４は、加速度センサ、ジャイロセンサ、及び車速計測器を備え、これらによって計測され取得される自動運転車１００の加速度、角速度、及び車速を示す信号を上述の現在位置取得部１４１に送信する。
The
現在位置取得部１４１が取得した現在位置、経路探索部１４２が探索した経路、及び経路案内部１４３がする案内は、記憶部１８０又はアンテナ１９０を介して自車両の外部から取得される地図情報及び交通情報と合わせて、運転支援インターフェース１１０を介して運転者に提示される。
The current position acquired by the current
上記のような現在位置取得部１４１、経路探索部１４２、経路案内部１４３、及び自律航法部１４４は、ナビゲーションシステム１４０のＥＣＵがプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、記憶部１８０に保存される地図情報等のデータを参照したりすることで実現される構成要素である。
The current
自動運転システム１５０は、検出部１５１、認識部１５２、状況判断部１５３、運転制御部１５４、自車両監視部１５５、選択部１５６、及び通信部１５７を備える。
The
検出部１５１は、自動運転車１００の周囲状況を検出する各種のセンサ（検出器）からなる。各種のセンサの例には、イメージセンサ、レーダー、及びライダーが含まれる。これらのセンサは、検出した周囲状況を示す画像、反射波、又は反射光等のデータとして出力される。
The
認識部１５２は、検出部１５１から出力されたデータに基づいて、周囲状況について対象を認識する。
Based on the data output from the
図２の例では、自動運転システム１５０は複数の認識部１５２を備え、互いに異なる対象を認識する。ここでいう「異なる対象の認識」とは、例えばある認識部１５２は自動運転車１００周辺の道路表示を認識し、他の認識部１５２は他の通行体を認識するといった認識される物が異なることを指す。また別の例として、ある認識部１５２は認識した物のある位置（方向及び距離）を認識し、他の認識部１５２は認識した物の動き（速さ及び方向）、さらに他の認識部１５２は認識した物の動き予測をすることを指す。別の表現をすると、各認識部１５２は、周囲状況の認識において異なる役割を果たす。
In the example of FIG. 2, the
また、自動運転システム１５０は上述の車上の認識部１５２に加えて、車外にある上述の認識システム２００（図１参照）も認識部として利用することができる。認識システム２００は、自動運転システム１５０が通信部１５７を介して送信する検出部１５１からのデータに基づいて、周囲状況について対象を認識する。認識システム２００も各認識部１５２とは異なる対象を認識する。また、例えば認識システム２００は、認識する物が認識部１５２とは同一であってもより高度な認識をすることができる。より高度な認識とは、例えば同じ画像データから、認識部１５２は人とその位置を認識し、認識システム２００はさらにその人の年代、行動、又は所持品等を特定する。あるいは、同じ画像データから、認識部１５２は道路標識とその位置を認識し、認識システム２００はさらにその標識の指示内容を特定する。このような認識内容の差も、本実施の形態における、「異なる対象の認識」の一例である。
In addition to the above-described
なお、各認識部１５２及び認識システム２００の認識の対象は、安全性の観点から冗長性を確保するために一部重複していてもよい。
Note that the recognition targets of each
状況判断部１５３は、認識部１５２又は認識システム２００による認識の結果に基づいて危険予測をしたり、必要に応じて運転者による運転操作部１２０の操作が現在又は予測される状況に照らして適切か否かを判断したりする。また、この危険予測や適否の判断の結果に基づいて、自動運転システム１５０が運転操作部１２０を操作するか否か判断し、自動運転システム１５０が操作をする場合にはその内容を決定する。一例としては、状況判断部１５３は、車線の左右の白線との距離を示す周囲情報に基づいて車線内での自動運転車１００の左右位置を判断し、自動運転車１００が車線の近傍付近を離れて一方の白線から一定の距離の範囲内に入っている状況がある時間継続している場合に、自動運転車１００を車線の中央に寄せる操舵系の操作の実行及びその内容を決定する。
The
運転制御部１５４は、状況判断部１５３が決定した操作を実現するための制御信号を運転操作部１２０に送信する。この制御信号を受信した運転操作部１２０においては、自動運転車１００の駆動系、制動系、及び操舵系がこの制御信号に従って動作し、ステアリング及び各ペダルも必要に応じて動作する。
The driving
自車両監視部１５５は、自動運転車１００の状態を常時（又はミリ秒単位のごく短い時間周期で）監視する。この監視の対象には、例えば上記の検出部１５１に含まれる各種の検出器又は通信部１５７が含まれる。より具体的には、検出器又は通信部１５７の故障の有無等の稼動状況が監視される。
The own
また、各検出器との通信の速度又は接続の有無、及び通信部１５７の通信品質（例えば通信速度、通信のための接続の有無、通信の安定性）又は通信の実行の有無も監視の対象となり得る。例えば、通信速度が、周囲状況の検知から運転制御までに送受信されるデータ量及びその処理速度に応じて決定される閾値を超えているか否かについて監視される。 In addition, the communication speed or presence / absence of connection with each detector, and the communication quality of the communication unit 157 (for example, communication speed, presence / absence of connection for communication, communication stability) or presence / absence of communication are also monitored. Can be. For example, it is monitored whether or not the communication speed exceeds a threshold determined in accordance with the amount of data transmitted and received from detection of ambient conditions to operation control and the processing speed.
その他、各検出器や通信部１５７の動作に影響し得る自動運転車１００の構成要素の状況も監視の対象であってもよい。例えば自動運転車１００バッテリーの残量、自動運転システム１５０のリソース消費量が監視の対象に含まれてもよい。
In addition, the status of the components of the
自車両監視部１５５は、例えば自動運転車１００が備えるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ、図示なし）で伝送される車載の各機器の制御情報（ＣＡＮ情報）から、各機器又は自動運転車１００の状態に関する情報（状態情報）を抽出することで上記の監視を実行する。
The own
自車両監視部１５５は、このような稼動状況等を示す情報を選択部１５６に随時提供する。
The own
選択部１５６は、自車両監視部１５５から提供された情報に基づいて、認識部１５２及び認識システム２００から、上述の対象の認識を実行するもの、又は対象の認識を実行しないものを選択する。
Based on the information provided from the own
例えば、認識システム２００との通信速度が上記の閾値を超えている間、選択部１５６は、対象の認識を実行する認識器として認識システム２００を選択する。また、稼動状況を示す情報がいずれかの検知器の故障を示す場合、選択部１５６は、故障している検知器が出力するデータを認識に使用する認識部（認識部１５２又は認識システム２００）を、対象の認識を実行しない認識部として選択する（またはその認識部以外を、対象の認識を実行する認識部として選択する）。
For example, while the communication speed with the
選択部１５６は、このような選択を所定の規則に従って実行する。この所定の規則は、例えば記憶部１８０に保存される各種データに含まれる。選択部１５６は、自車両監視部１５５から、例えば検知器の所定の動作状態を示すコードが通知されると、当該データを参照してこのコードに対応する規則を取得し、この規則に従って認識部の選択を実行する。
The
図３は、このデータの例を示す図である。図３の例では、通信不良（コード：０１−００１）の場合には、車外の認識部、つまり認識システム２００は対象の認識を実行しない認識部として選択される。または、この規則に対し、選択部１５６は、車上の認識部１５２のみを対象の認識を実行する認識部として選択してもよい。
FIG. 3 is a diagram showing an example of this data. In the example of FIG. 3, in the case of communication failure (code: 01-001), the recognition unit outside the vehicle, that is, the
また、検出器２の故障については規則の中に２つのエントリー（コード：０２−０２０、０２−０２１）があり、対象の認識を実行しない認識部として選択される認識部１５２の数が異常レベルに応じて異なる。例えば検出器２は、車両の前方を映す２個１組のカメラからなるステレオカメラと想定する。また、認識部１５２の一である認識部−０２は、その２個のカメラから受け取る画像データに基づいて車両前方の物体までの距離の情報を取得することができると想定する。そして認識部−０３は、１組のカメラの少なくとも一方から受け取る画像データに基づいて自車両前方の物体の有無及び方向の情報を取得することができると想定する。検出器２の異常レベルＡの故障（コード：０２−０２０）は、１組のカメラの一方のみの故障を示す。この場合、距離の取得に必要なデータが得られない認識部−０２が対象の認識を実行しない認識部として選択される。また、検出器２の異常レベルＢの故障（コード：０２−０２１）は、１組のカメラ両方の故障である。この場合、認識部−０２に加えて、認識部−０３も対象の認識を実行しない認識部として選択される。
Regarding the failure of the detector 2, there are two entries (codes: 02-020, 02-021) in the rule, and the number of
また、バッテリーの残量が所定の閾値未満である場合（コード：０３−０１０）、例えば電力消費量が大きい検出器から出力されるデータを用いる認識部１５２が対象の認識を実行しない認識部として選択されたり、又は安全の観点から優先度の高い認識部のみが対象の認識を実行する認識部として選択されたりして、稼動する認識部が制限される。
In addition, when the remaining battery level is less than a predetermined threshold (code: 03-010), for example, the
なお、図３には例示されてないが、上述した自動運転システム１５０のリソースの余裕不足等のパフォーマンス低下の徴候が検知されている場合も、稼動する認識部が制限され得る。
Although not illustrated in FIG. 3, the recognition unit that operates may be limited even when the above-described signs of performance degradation such as insufficient resources of the
また、選択部１５６は、自車両監視部１５５から出力された情報に基づいて実際にしている選択の状況（選択結果）を示す選択情報を出力する。この選択情報は、情報提示制御装置１６０に提供される。
The
通信部１５７は、上述のとおり、検出部１５１が出力したデータを車外の認識システム２００に送信し、認識システム２００の認識結果を受信して状況判断部１５３に送る。また、選択部１５６が出力した選択情報を情報提示制御装置１６０に送信する。
As described above, the
図４は、上記のように構成される自動運転システム１５０における、自動運転車１００の状態に応じて認識部を選択し、選択情報を提供するまでの動作の手順例を示すフロー図である。この例では、通信部１５７を介した通信の速度に応じた認識部の選択がなされる。
FIG. 4 is a flowchart showing an example of a procedure of operations in the
自動運転システム１５０において、自車両監視部１５５は通信部１５７の通信速度を示す状態情報を取得する（ステップＳ４０）。
In the
選択部１５６は、この状態情報に基づいて、対象の認識を実行する認識部又は実行しない認識部を選択する。通信の速度が所定の閾値を超える場合（ステップＳ４１でＹＥＳ）、選択部１５６は車外の認識部である認識システム２００を、対象の認識を実行する認識部として選択する（ステップＳ４２）。通信の速度が所定の閾値に未満である場合（ステップＳ４１でＮＯ）、選択部１５６は車上の認識部の少なくとも一部を、対象の認識を実行する認識部として選択する（ステップＳ４３）。
Based on this state information, the
次に選択部１５６は、上記の手順を経て実際にしている選択の状況を示す選択情報を、情報提示制御装置１６０に提供するために出力する（ステップＳ４４）。出力される選択情報は、情報提示制御装置１６０に送信されてもよいし、記憶部１８０に書き込まれて各種データの一部として保存されてもよい。
Next, the
なお、ステップＳ４３では、上記の選択に代えて、又は加えて、車外の認識部を、対象の認識を実行しない認識部として選択するという選択が実行されてもよい。 In step S43, instead of or in addition to the above selection, a selection may be performed in which a recognition unit outside the vehicle is selected as a recognition unit that does not execute target recognition.
上記のような自動運転システム１５０の各構成要素は、自動運転システム１５０のＥＣＵが記憶部１８０からプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、通信モジュールを介してデータを送受信したり、記憶部１８０に保存される各種のデータを参照したりすることで実現される。
Each component of the
情報提示制御装置１６０は、選択情報取得部１６１、及び提示制御部１６６を備える、本実施の形態における情報提示制御装置の例である。
The information
選択情報取得部１６１は、自動運転車１００の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する。本実施の形態では、選択情報取得部１６１は、自動運転システム１５０から送信された、選択部１５６が実際にしている、複数の認識部からの認識部の選択結果、より具体的には、対象の認識を実行する認識部又は対象の認識を実行しない認識部の少なくとも一方の選択の状況である選択情報を受信することで取得する。
The selection
提示制御部１６６は、選択情報取得部１６１が取得した選択情報に応じて、自動運転車１００の自動運転システム１５０による運転及び運転者による運転の少なくとも一方に関する情報である運転情報を提示装置に提示させる。
The
ここで、「運転情報」とその提示について、より詳細に説明する。 Here, “driving information” and its presentation will be described in more detail.
運転情報は、自動運転車の運転者に、運転者が自分ですべき運転の内容を知らせるための情報である。ここでいう運転の内容とは、認識、推定、判断、及び操作の各種の運転行動を指す。そして運転情報は、例えば自動運転システム１５０で、ある対象の認識がされない時に、この対象の認識、又はこの認識に基づく推定、判断、さらにこの推定若しくは判断に基づく操作を示す情報であり、自動運転システム１５０が実行しない若しくは実行していないこと、又は運転者が自分ですべき運転行動として運転者に提示される。
The driving information is information for informing the driver of the self-driving car of the driving content that the driver should do. The content of driving here refers to various driving behaviors of recognition, estimation, judgment, and operation. The driving information is, for example, information indicating recognition of an object, estimation based on the recognition, judgment, and operation based on the estimation or judgment when the target is not recognized in the
この運転情報の提示は、例えば自動運転車１００の運転者の求めに応じて随時、あるいは自動運転システム１５０が実行可能な制御若しくは実行不可能な制御に変化が生じたときに、提示装置を通じて音声又は画像の少なくとも一方を用いて行われる。この画像とは、運転者が視覚的に認識できる表示物であれば表示の態様は問わない。運転情報には、運転席周辺にある表示灯、又は表示装置に表示される静止画若しくは動画のいずれを用いて提示されるものも含まれ得る。
The presentation of the driving information is performed through a presentation device at any time, for example, in response to a request from the driver of the
このような運転情報は、選択情報取得部１６１が取得した選択情報に応じて提示制御部１６６によって取得される。例えば、図５に示されるような、認識部の選択状況に応じて提示される情報を示すデータが記憶部１８０にあらかじめ保存されており、提示制御部１６６は、このデータを参照して、選択部１５６から提供された選択情報に基づいて、自動運転システム１５０でこれから実行する運転の内容若しくはこれから実行しない運転の内容、又は現在実行されている運転の内容若しくは実行されていない運転の内容の情報を取得し、この情報を運転情報として運転者に提示する。
Such driving information is acquired by the
例えば提示制御部１６６は、認識部１５２の１つである認識部−０１が対象の認識を実行している認識部として選択されている状況を示す選択情報を新たに受けた場合を想定する。この場合、提示制御部１６６は、「認識部」の列で「認識部−０１」を探し、データ行の１行目でこれを見つける。次に、同行の左から２列目を参照して、レーンキープのための自動操舵が可能である情報を取得する。そして提示制御部１６６はこの情報を所定のテンプレートメッセージの可変部分に代入したメッセージを表示部に表示して、又はスピーカーからの音声で出力して運転情報を運転者に提示する。
For example, it is assumed that the
提示制御部１６６による運転情報の提示の態様の別の例を挙げる。図５のテーブルでは、「認識実行時の提示情報１」の列には、各認識部が対象の認識を実行している認識部として選択されているときに表示装置に表示される画像データの名前が示されている。
Another example of how driving information is presented by the
また、「認識実行時の提示情報２」の列には、各認識部が選択されているときにこの表示装置に表示される文字列データの名前が示されている。 In the column of “Presentation information 2 at the time of recognition execution”, the name of the character string data displayed on the display device when each recognition unit is selected is shown.
また、「認識非実行時の提示情報１」の列には、各認識部が対象の認識を実行しない認識部としての選択されているときにスピーカーから出力される音声データの名前が示されている。 In the column of “Presentation information 1 when recognition is not performed”, the name of the audio data output from the speaker when each recognition unit is selected as a recognition unit that does not perform target recognition is shown. Yes.
これらの画像データ、文字列データ、及び音声データは、それぞれが運転情報を示すデータであり、記憶部１８０に保存されている。提示制御部１６６は、図５のテーブルを参照して選択情報取得部１６１が取得した選択情報に基づいて各データを取得し、このデータの内容を、画像や文字列として表示装置に表示させたり、音声メッセージとしてスピーカーから出力させたりすることで運転情報として運転者に提示してもよい。なお、情報提示の他の例としては、点灯させる表示灯又はさらにその表示態様（点灯、点滅、照明灯の色等）が各認識部の選択の状況ごとに図５に示されるようなテーブルで指定される。提示制御部１６６はその指定に従って表示灯を動作させることで運転情報を提示する。
These image data, character string data, and audio data are data indicating driving information, and are stored in the
図６は、上記のように構成される情報提示制御装置１６０における、選択情報の取得から運転情報の提示までの動作の手順例を示すフロー図である。
FIG. 6 is a flowchart showing an example of an operation procedure from acquisition of selection information to presentation of driving information in the information
情報提示制御装置１６０において、自動運転システム１５０が出力した選択情報を選択情報取得部１６１が取得すると（ステップＳ６１でＹＥＳ）、提示制御部１６６が、この選択情報に基づいて運転情報を取得する（ステップＳ６２）。
In the information
次に提示制御部１６６は、取得したこの運転情報を、適切な提示装置によって運転者に対して提示させる（ステップＳ６３）。
Next, the
上記のような選択情報取得部１６１及び提示制御部１６６は、情報提示制御装置１６０のＥＣＵがプログラムを読み出して実行し、必要なデータを他の構成要素から取得したり、記憶部１８０に保存されるデータを参照したりすることで実現される構成要素である。
The selection
ここまで自動運転システム１５０及び情報提示制御装置１６０それぞれの動作について説明した。以下では、自動運転システム１５０及び情報提示制御装置１６０を備える自動運転車１００での認識部の選択から運転情報の提示までの一連の流れの具体的な例を挙げる。
So far, the operations of the
例えば、自動運転システム１５０では、自車両監視部１５５がする監視において取得された状態情報（図４のステップＳ４０）に基づいて、通信部１５７がしている通信の速度が所定の閾値未満であると判明した場合（図４のステップＳ４１でＮＯ）、選択部１５６は、この判明の結果を受けて車上の認識部１５２を対象の認識をする認識器として選択する（図４のステップＳ４３）。
For example, in the
このとき、対象の認識をする車上の認識器として選択されたのが認識部−０１であると想定する。認識部−０１は、検出部１５１から取得する画像データに基づいて、車線内での左右位置を認識し、状況判断部１５３にこの認識結果を示す情報を提供する。状況判断部１５３はこの情報に基づいて車線内での左右位置の適否を判断し、不適切な場合には適切な左右位置に自車両を戻すステアリング操作を運転制御部１５４にさせる。
At this time, it is assumed that the recognition unit-01 is selected as the recognizer on the vehicle for recognizing the target. The recognition unit-01 recognizes the left and right positions in the lane based on the image data acquired from the
このような認識部の選択の状況を示す選択情報が、選択部１５６から出力されて情報提示制御装置１６０に提供される（図４のステップＳ４４）。
Selection information indicating the selection status of the recognition unit is output from the
選択情報取得部１６１がこの選択情報を取得すると（図６のステップＳ６１）、提示制御部１６６がこの選択情報に基づいて、図５のテーブルを参照して運転情報のデータを取得する（ステップＳ６２）。上記の想定では、図５のテーブルを参照して取得されるデータは、画像データｉｍｇＬａｎｅＫｅｅｐ及び文字列データｔｘｔＬａｎｅＫｅｅｐである。提示制御部１６６がこれらのデータを提示装置のうち表示装置に提示させた（ステップＳ６３）例を示すのが図７である。
When the selection
この例では、画面左半分に表示される画像は、図５のテーブルに示される画像データｉｍｇＬａｎｅＫｅｅｐに対応し、画面右半分に表示されるメッセージは、文字列データｔｘｔＬａｎｅＫｅｅｐに対応する。 In this example, the image displayed on the left half of the screen corresponds to the image data imgLaneKeep shown in the table of FIG. 5, and the message displayed on the right half of the screen corresponds to the character string data txtLaneKeep.
表示装置では、画像データｉｍｇＬａｎｅＫｅｅｐを用いて、認識部−０１が選択されているときに自動運転システム１５０によって実行されているレーンキープが示される。なお、レーンキープは、認識、判断又は推測、及び操舵系の操作を含む運転である。
In the display device, image data imgLaneKeep is used to indicate the lane keep executed by the
また、文字列データｔｘｔＬａｎｅＫｅｅｐを用いて、認識部−０１が選択されているときに自動運転システム１５０によって実行されているレーンキープが画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。なお、運転者による運転に関する情報は、自動運転システム１５０が実行しない又は実行していない運転の内容でもある。この表示により、運転者は自分でする必要がある運転行動を知ることができる。
In addition, the lane keep executed by the
なお、このテキストは、運転者が表示装置の画面を注視しなくていいように、自動的に、又は運転者の要求に応じて読み上げられてもよい。 This text may be read out automatically or in response to a driver's request so that the driver does not have to watch the screen of the display device.
また別の例として、通信部１５７がしている通信の速度が所定の閾値未満であると判明した場合（図４のステップＳ４１でＮＯ）に、選択部１５６は、車上の認識部１５２のうち、対象の認識をする車上の認識器として認識部−０３を選択した場合（図４のステップＳ４３）を想定する。
As another example, when it is determined that the communication speed performed by the
認識部−０３は、検出部１５１から取得するデータに基づいて、自動運転車１００の路面上の位置を認識し、状況判断部１５３にこの認識結果を示す情報を提供する。状況判断部１５３はこの情報に基づいて路面上での位置の適否を判断し、不適切な場合には適切な位置に自車両を戻すステアリング操作、アクセル操作、及びブレーキ操作のうち必要なものを運転制御部１５４にさせる。
The recognition unit-03 recognizes the position on the road surface of the
このような認識部の選択の状況を示す選択情報が、選択部１５６から出力されて情報提示制御装置１６０に提供される（図４のステップＳ４４）。
Selection information indicating the selection status of the recognition unit is output from the
選択情報取得部１６１がこの選択情報を取得すると（図６のステップＳ６１）、提示制御部１６６がこの選択情報に基づいて、図５のテーブルを参照して運転情報のデータを取得する（ステップＳ６２）。上記の想定では、図５のテーブルを参照して取得されるデータは、画像データｉｍｇＳｆｃＫｅｅｐ及び文字列データｔｘｔＳｆｃＫｅｅｐである。提示制御部１６６がこれらのデータを提示装置のうち表示装置に提示させた（ステップＳ６３）例を示すのが図８である。
When the selection
この例では、画面左半分に表示される画像は、図５のテーブルに示される画像データｉｍｇＳｆｃＫｅｅｐに対応し、画面右半分に表示されるメッセージは、文字列データｔｘｔＳｆｃＫｅｅｐに対応する。 In this example, the image displayed on the left half of the screen corresponds to the image data imgSfcKeep shown in the table of FIG. 5, and the message displayed on the right half of the screen corresponds to the character string data txtSfcKeep.
表示装置では、画像データｉｍｇＳｆｃＫｅｅｐを用いて、認識部−０３が選択されているときに自動運転システム１５０によって実行されている路面キープ運転が示される。なお、路面キープは、認識、判断又は推測、並びに駆動系、制動系、及び操舵系の操作を含む運転である。
The display device uses the image data imgSfcKeep to indicate the road surface maintenance operation that is being executed by the
また、文字列データｔｘｔＳｆｃＫｅｅｐを用いて、認識部−０３が選択されているときに自動運転システム１５０によって実行されている路面キープ運転が画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。この表示により、運転者は自分でする必要がある運転行動を知ることができる。なお、運転者による運転に関する情報は、自動運転システム１５０が実行しない又は実行していない運転の内容でもある。
Further, using the character string data txttfcKeep, the road surface keeping operation executed by the
また別の例として、通信部１５７がしている通信の速度が所定の閾値以上であると判明した場合（図４のステップＳ４１でＹＥＳ）に、選択部１５６は、車外の認識部（認識システム２００）を、対象の認識をする認識器として選択した場合を想定する（図４のステップＳ４２）。
As another example, when it is determined that the communication speed of the
認識システム２００は、検出部１５１から取得するデータに基づいて、自車両の前方の人その他通行体の飛び出しの発生を予測し、状況判断部１５３にこの予測結果を示す情報を提供する。状況判断部１５３はこの情報に基づいて、減速のためのブレーキング、衝突の回避のためのステアリング操作を運転制御部１５４にさせる。
Based on the data obtained from the
このような認識部の選択の状況を示す選択情報が、選択部１５６から出力されて情報提示制御装置１６０に提供される（図４のステップＳ４４）。
Selection information indicating the selection status of the recognition unit is output from the
選択情報取得部１６１がこの選択情報を取得すると（図６のステップＳ６１）、提示制御部１６６がこの選択情報に基づいて、図５のテーブルを参照して運転情報のデータを取得する（ステップＳ６２）。上記の想定では、図５のテーブルを参照して取得されるデータは、画像データｉｍｇＲｕｓｈＰｒｅｄ及び文字列データｔｘｔＲｕｓｈＰｒｅｄである。提示制御部１６６がこれらのデータを提示装置のうち表示装置に提示させた（ステップＳ６３）例を示すのが図９である。
When the selection
この例では、画面左半分に表示される画像は、図５のテーブルに示される画像データｉｍｇＲｕｓｈＰｒｅｄに対応し、画面右半分に表示されるメッセージは、文字列データｔｘｔＲｕｓｈＰｒｅｄに対応する。 In this example, the image displayed on the left half of the screen corresponds to the image data imgRushPred shown in the table of FIG. 5, and the message displayed on the right half of the screen corresponds to the character string data txtRushPred.
表示装置では、画像データｉｍｇＲｕｓｈＰｒｅｄを用いて、認識システム２００が選択されているときに自動運転システム１５０によって実行されている飛び出し予測が示される。なお、飛び出し予測は、認識、判断又は推測、並びに制動系及び操舵系の操作を含む運転である。
The display device uses the image data imgRushPred to indicate the pop-up prediction being executed by the
また、文字列データｔｘｔＲｕｓｈＰｒｅｄを用いて、認識システム２００が選択されているときに自動運転システム１５０によって実行されている飛び出し予測が画面右上方に示される。さらに、画面右下方では、運転者による運転に関する情報が示されている。この表示により、運転者は自分でする必要がある運転行動を知ることができる。なお、運転者による運転に関する情報は、自動運転システム１５０が実行していない運転の内容でもある。
Further, using the character string data txtRushPred, the pop-up prediction executed by the
このように、本実施の形態における、情報提示制御装置１６０は、選択情報取得部１６１と、提示制御部１６６とを備える。
As described above, the information
選択情報取得部１６１は、自動運転車１００の周囲状況について互いに異なる対象を認識する複数の認識部（認識部１５２及び認識システム２００）の選択状況を示す選択情報を取得する。
The selection
提示制御部１６６は、その選択情報に応じて、自動運転車１００が実行可能な制御および実行不可能な制御の少なくとも一方に基づく、自動運転車１００の自動運転システム１５０による運転及び運転者による運転の少なくとも一方に関する運転情報を、自動運転車１００に搭載される提示装置に提示させる。
The
これにより運転者に、自動運転車の車両上の状況に応じて変化する自動運転システムによる運転又は自身がすべき運転行動についての情報（運転情報）を提供することができる。 Thereby, the information (driving information) about the driving | operation by the automatic driving system which changes according to the condition on the vehicle of a self-driving vehicle, or the driving action which self should perform can be provided to a driver | operator.
例えば複数の認識部の選択状況は、複数の認識部からの、対象の認識を実行する認識部又は対象の認識を実行しない認識部の選択の状況である。 For example, the selection status of a plurality of recognition units is a selection status of a recognition unit that performs target recognition or a recognition unit that does not perform target recognition from a plurality of recognition units.
これにより情報提示制御装置１６０は、自動運転システム１５０において認識される対象、又はされない対象を示す情報に基づいて運転情報を運転者に提供することができる。
Thereby, the information
例えば選択情報取得部１６１は複数の認識部からの認識部の選択結果を示す選択情報を自動運転システム１５０から取得する。
For example, the selection
これにより情報提示制御装置１６０は、自動運転システム１５０における認識部の実際の選択状況に基づいて運転情報を運転者に提供することができる。
Thereby, the information
なお、選択情報の提供及び取得の態様は上記に限られない。 In addition, the aspect of provision and acquisition of selection information is not restricted above.
例えば、選択情報取得部１６１は、自動運転システム１５０において選択のための判断に用いられる選択判断材料情報を取得し、この選択判断材料情報に基づいて選択状況を推定することで選択情報を取得してもよい。
For example, the selection
ここでいう選択判断材料情報とは、認識部の選択のための判断に、用いられる情報であり、例えば上記の自車両監視部１５５から提供される情報である。選択情報取得部１６１では、選択部１５６が用いるのと共通のアルゴリズムに従ってこの選択判断材料情報を処理する。これにより、選択情報取得部１６１は選択部１５６が選択する認識部を推定することで、選択状況を示す選択情報を取得する。
The selection determination material information here is information used for determination for selection by the recognition unit, for example, information provided from the host
また例えば、選択情報取得部１６１は、対象の認識に利用される情報を取得するための、自動運転車１００が有する検出部１５１又は通信部１５７の稼動状況を示す情報を取得し、稼動状況を示す情報に基づいて、選択される認識部を判断することで選択情報を取得してもよい。
Further, for example, the selection
ここでいう稼動状況を示す情報とは、例えば自車両監視部１５５が取得するＣＡＮ上の制御情報である。選択情報取得部１６１では、この情報に基づいて、対象の認識の実行が不可能な認識部を判断する。
The information indicating the operating status here is, for example, control information on the CAN acquired by the own
これらのようにすることで、情報提示制御装置１６０は、自動運転システム１５０での選択部１５６による認識部の選択を待つことなく選択情報を取得できるため、運転情報を運転者に速やかに提供することができる。
By doing in this way, since the information
また、上記の稼動状況を示す情報は、検出部１５１が有する検出器の異常を示す情報を含み、対象の認識を実行しない認識部は、異常がある検出器が出力する検出結果を対象の認識に用いる認識部を含んでもよい。
The information indicating the operation status includes information indicating the abnormality of the detector included in the
また、上記の稼動状況を示す情報は、通信部１５７の通信品質又は通信の実行の有無を示す情報を含み、通信部１５７により通信される情報を対象の認識に用いるように構成されている認識部を含んでもよい。
In addition, the information indicating the operation status includes information indicating the communication quality of the
これにより情報提示制御装置１６０は、対象の認識に必要な情報を取得できているか否か、又は認識の結果のデータを発信できているかに応じて選択される認識部の選択状況を反映した運転情報を運転者に提供することができる。
Thereby, the information
また、提示装置は、音又は画像の少なくとも一方を用いて運転者に運転情報を提示する。 In addition, the presentation device presents driving information to the driver using at least one of sound and image.
これにより情報提示制御装置１６０は、運転情報を、運転中の運転者に、音、動画、静止画、若しくは表示灯による視覚情報、又はこれらの組み合わせを用いて随時提示することができる。
Thereby, the information
そして、運転情報は、自動運転システム１５０が実行しない運転の内容を含む情報である。
The driving information is information including the contents of driving that the
このような情報は、自動運転システム１５０が実行していなくて、運転者が自分でする必要がある運転行動を示すものである。つまりこの情報が提示されることで、運転者は自分ですべき運転行動を把握することができる。
Such information indicates a driving action that the driver needs to do on his / her own, not being executed by the
（実施の形態の変形例）
実施の形態の変形例における情報提示制御装置は、情報提示制御装置１６０と同じく、自動運転システムを備える自動運転車に搭載される。以下では実施の形態との差異点を中心に説明し、共通の構成要素は共通の参照符号を用いて示し、説明は省略する。
(Modification of the embodiment)
Similar to the information
図１０は、自動運転車１１００の機能構成を示す機能ブロック図である。
FIG. 10 is a functional block diagram showing a functional configuration of the
本変形例における自動運転車１１００が備える自動運転システム１１５０では、認識部の選択に、実施の形態に加えてさらに別の情報を用いることができる。
In the
自動運転システム１１５０は、実施の形態の構成要素に加えて、走行場所情報取得部１１５１、運転者状態情報取得部１１５２、及び車外環境情報取得部１１５３を備える。
The
走行場所情報取得部１１５１は、記憶部１８０に保存される地図情報に基づいて、自動運転車１１００が走行している場所の特徴を示す走行場所情報を取得する。
The travel location
ここでいう「走行している場所の特徴」とは、例えば一般道か高速道路であるか等の道路の区分、直線が続くか蛇行が続くか等の道路の形状、都市部、市街地、又は山間部等の地域の種別、トンネルの中か外か等の特殊な状況のことである。なお、自動運転車１１００が走行している場所、つまり現在位置は、例えばナビゲーションシステム１４０の現在位置取得部１４１からこれを示す情報が提供される。走行場所情報取得部１１５１が取得した走行場所情報は、選択情報取得部１６１に出力される。
The “characteristic of the place where the vehicle is traveling” as used herein refers to, for example, road classification such as whether it is a general road or a highway, the shape of a road such as whether a straight line or a meander continues, an urban area, an urban area, or It is a special situation such as the type of area such as a mountainous area or inside or outside of a tunnel. For example, the current
運転者状態情報取得部１１５２は、自動運転車１１００の車室に居る運転者を監視して、運転者の身体の状態を示す運転者状態情報を取得する。
The driver state
ここでいう「運転者の身体の状態」とは、例えば運転者の疲労度、集中度、覚醒度、体調変化等、安全な運転の遂行に影響し得る状態を指す。このような運転者状態情報は、運転者状態情報取得部１１５２が含む、運転者を撮影又は運転者の生体データを計測する各種のセンサ等（図示なし）が出力するデータ、又は自動運転車１１００の運転状況（例えば連続運転時間、運転者による運転操作部１２０への操作の状況）を示すＣＡＮ情報のデータを、運転者状態情報取得部１１５２が解析して取得してもよい。運転者状態情報取得部１１５２が取得した運転者状態情報は、選択情報取得部１６１に出力される。
The “state of the driver's body” herein refers to a state that can affect the performance of safe driving, such as the driver's fatigue level, concentration level, arousal level, and physical condition change. Such driver state information includes data output by various sensors (not shown) that photograph the driver or measure the driver's biological data, or the like included in the driver state
車外環境情報取得部１１５３は、自動運転車１１００の車外環境を示す車外環境情報を取得する。
The vehicle exterior environment
ここでいう「車外環境」とは、例えば自動運転車１１００が走行している場所における天候や明るさ等の自車両の外の状況、又はこれらを間接的に示すもの（例：気温、時刻、視界、路面状況）である。このような車外環境情報は、車外環境情報取得部１１５３が含むセンサ（図示なし）によって検知されてもよいし、自動運転システム１５０の検出部１５１が含む各検出器が出力するデータを取得した車外環境情報取得部１１５３が、このデータを解析して取得してもよい。あるいは、通信部１５７を介して自動運転システムの外部からの取得可能な情報（例：インターネットで配信されている各地の気象情報又は交通情報）を車外環境情報として取得してもよい。車外環境情報取得部１１５３が取得した車外環境情報は、選択部１５６に出力される。
As used herein, the “environment outside the vehicle” refers to, for example, the situation outside the host vehicle such as the weather or brightness in a place where the
上記のような、走行場所情報取得部１１５１、運転者状態情報取得部１１５２、及び車外環境情報取得部１１５３は、情報提示制御装置１６０のＥＣＵがプログラムを読み出して実行し、必要に応じてセンサからデータを取得したり、記憶部１８０に保存されるデータを参照したりすることで実現される構成要素である。
The travel location
一方、選択部１５６は、自車両監視部１５５が検知した異常に加えて、走行場所情報取得部１１５１から受け取る走行場所情報が示す特徴にさらに応じて認識部を選択してもよい。または、選択部１５６は、運転者状態情報取得部１１５２から受け取る運転者状態情報が示す運転者の身体の状態にさらに応じて認識部を選択してもよい。または選択部１５６は、車外環境情報取得部１１５３から受け取る車外環境情報が示す車外環境に応じて認識部を選択してもよい。以下に、これらの情報に応じてなされる認識部の選択について具体例を用いて後述する。
On the other hand, in addition to the abnormality detected by the own
図１１Ａは、上記のように構成される自動運転システム１１５０における、選択部１５６の動作の一例を示すフロー図である。この例では、選択部１５６は、自車両監視部１５５が監視する通信状態に関する情報に加えて、走行場所情報取得部１１５１が出力する走行場所情報を用いている。
FIG. 11A is a flowchart showing an example of the operation of the
選択部１５６は、自車両監視部１５５から提供される情報に基づいて通信状態の評価をする（ステップＳ８０Ａ）。具体的には、例えば通信速度が所定の閾値以上であれば通信状態が良好であると評価する。
The
通信状態が良好な場合（ステップＳ８０ＡでＹＥＳ）、選択部１５６は、対象の認識を実行する認識部として、車外の認識部である認識システム２００を選択する（ステップＳ８４Ａ）。
When the communication state is good (YES in step S80A), the
通信状態が良好でない場合（ステップＳ８０ＡでＮＯ）、次に選択部１５６は、走行場所情報取得部１１５１から走行場所情報を取得する。
If the communication state is not good (NO in step S80A), the
走行場所が高速道路である場合（ステップＳ８１Ａで「高速道路」）、選択部１５６は、車上の認識部１５２のひとつである認識部−０１を対象の認識を実行する認識部として選択する（ステップＳ８２Ａ）。この選択された認識部−０１は、道路の通行帯を示す白線等の表示を認識する認識部である。
When the travel location is a highway (“highway” in step S81A), the
走行場所が市街地の一般道である場合（ステップＳ８１Ａで「山間部一般道」）、選択部１５６は、認識部−０１とは別の車上の認識部１５２である認識部−０５を対象の認識を実行する認識部として選択する（ステップＳ８３Ａ）。選択された認識部−０５は、例えば通行の妨げになる動物や石等の障害物を認識する認識部である。
When the travel location is a general road in an urban area (“mountain general road” in step S81A), the
このように、選択部１５６によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置１６０に提供される（ステップＳ８５Ａ）。情報提示制御装置１６０では、提示制御部１６６がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部−０１が選択された場合は、図７に示されるような運転情報が表示装置に提示される。
Thus, when a recognition unit is selected by the
図１１Ｂは、情報提示制御装置１６０の動作の他の一例を示すフロー図である。この例では、運転者状態情報取得部１１５２が出力する運転者状態情報がさらに用いられている。
FIG. 11B is a flowchart showing another example of the operation of the information
選択部１５６は、自車両監視部１５５から提供される情報に基づいて通信状態の評価をする（ステップＳ８０Ｂ）。
The
通信状態が良好な場合（ステップＳ８０ＢでＹＥＳ）、選択部１５６は、対象の認識を実行する認識部として、車外の認識部である認識システム２００を選択する（ステップＳ８５Ｂ）。
When the communication state is good (YES in step S80B), the
通信状態が良好でない場合（ステップＳ８０ＢでＮＯ）、次に選択部１５６は、走行場所情報取得部１１５１から走行場所情報を取得する。走行場所が高速道路である場合についてはこの例では省略する。
If the communication state is not good (NO in step S80B), the
走行場所が市街地の一般道である場合（ステップＳ８１Ｂで「市街地一般道」）、次に選択部１５６は、運転者状態情報取得部１１５２から運転者状態情報を取得する。
When the travel location is a general road in an urban area (“urban general road” in step S81B), the
運転者状態情報が、運転者の集中度が低いことを示す場合（ステップＳ８２Ｂで「低い」）、選択部１５６は、車上の認識部１５２のひとつである認識部−０６を選択する（ステップＳ８３Ｂ）。なお、選択された認識部−０６は、通行人などの人を認識する認識部とする。
When the driver state information indicates that the driver's concentration is low (“low” in step S82B), the
運転者状態情報が、運転者の集中度が十分高いことを示す場合（ステップＳ８２Ｂで「十分高い」）、選択部１５６は、認識部−０６とは別の車上の認識部１５２である認識部−０２を選択する（ステップＳ８４Ｂ）。このとき選択された認識部−０２は、例えば同一車線の前方を走る自動車までの距離（車間距離）を認識する認識部である。
When the driver status information indicates that the driver's concentration is sufficiently high (“sufficiently high” in step S82B), the
このように選択部１５６によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置１６０に提供される（ステップＳ８６Ｂ）。情報提示制御装置１６０では、提示制御部１６６がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部−０６が選択された場合は、図１２に例示されるような運転情報が表示装置に提示される。この例では、画面左半分に表示される画像は、提示制御部１６６が参照する図５のテーブルに画像データｉｍｇＰｓｎＡｖｄとして示され、画面右半分に表示されるテキストメッセージは、文字列データｔｘｔＰｓｎＡｖｄとして示されている。画像データｉｍｇＰｓｎＡｖｄは、認識部−０６が選択されているときに自動運転システム１１５０が実行する人回避を示す。また、文字列データｔｘｔＰｓｎＡｖｄは、認識部−０６が選択されているときに自動運転システム１１５０が現在実行している運転（実行可能な運転）の内容を画面上方の枠内で、このとき運転者が自分でする必要がある運転行動（自動運転システム１１５０が実行していない運転の内容）を画面下方の枠内で示している。
As described above, when the recognition unit is selected by the
図１１Ｃは、情報提示制御装置１６０の動作の他の一例を示すフロー図である。この例では、車外環境情報取得部１１５３が出力する車外環境情報がさらに用いられている。
FIG. 11C is a flowchart illustrating another example of the operation of the information
選択部１５６は、自車両監視部１５５から提供される情報に基づいて通信状態の評価をする（ステップＳ８０Ｃ）。
The
通信状態が良好な場合（ステップＳ８０ＣでＹＥＳ）、選択部１５６は、対象の認識を実行する認識部として、車外の認識部である認識システム２００を選択する（ステップＳ８６Ｃ）。
When the communication state is good (YES in step S80C), the
通信状態が良好でない場合（ステップＳ８０ＣでＮＯ）、次に選択部１５６は、走行場所情報取得部１１５１から走行場所情報を取得する。走行場所が高速道路である場合についてはこの例では省略する。
If the communication state is not good (NO in step S80C), the
走行場所が市街地の一般道である場合（ステップＳ８１Ｃで「市街地一般道」）、次に選択部１５６は、運転者状態情報取得部１１５２から運転者状態情報を取得する。運転者状態情報が、運転者の集中度が低いことを示す場合についてはこの例では省略する。
If the travel location is a general road in an urban area (“urban general road” in step S81C), then the
運転者状態情報が、運転者の集中度が十分高いことを示す場合（ステップＳ８２Ｃで「十分高い」）、次に選択部１５６は、車外環境情報取得部１１５３から車外環境情報を取得する。
If the driver state information indicates that the driver's concentration is sufficiently high (“sufficiently high” in step S82C), the
車外環境情報が、車外が十分明るいことを示す場合（ステップＳ８３Ｃで「十分明るい」）、選択部１５６は、車上の認識部１５２のひとつである認識部−０２を選択する（ステップＳ８４Ｃ）。このとき選択された認識部−０２は、例えば同一車線の前方を走る自動車までの距離（車間距離）を認識する認識部である。
When the outside environment information indicates that the outside of the vehicle is sufficiently bright (“sufficiently bright” in step S83C), the
車外環境情報が、車外が雨天で暗いことを示す場合（ステップＳ８３Ｃで「雨天で暗い」）、選択部１５６は、認識部−０２とは別の車上の認識部１５２のひとつである認識部−０４を選択する（ステップＳ８５Ｃ）。ここで選択された認識部−０４は、例えば道路標識の表示内容を認識する認識部である。
When the outside environment information indicates that the outside of the vehicle is rainy and dark (“dark in rain” in step S83C), the
このように選択部１５６によって所定のアルゴリズムに従って認識部が選択されると、選択情報が情報提示制御装置１６０に提供される（ステップＳ８７Ｃ）。情報提示制御装置１６０では、提示制御部１６６がこの選択情報に応じた運転情報を取得して運転者に提示する。例えば認識部−０４が選択された場合に、スピーカーからの音声メッセージで、「標識に従ってハンドルとブレーキの操作を行います」という自動運転システム１１５０が現在実行している運転（実行可能な運転）の内容、及び「歩行者や自転車に十分注意してハンドルとブレーキの操作をしてください」という運転者が自分でする必要がある運転行動（自動運転システム１１５０が実行していない運転の内容）を示す運転情報が運転者に提示される。
When the recognition unit is selected by the
上記で説明した、図１１Ａから図１１Ｃに示されるような認識部の選択、及びこれに応じた運転情報の提示は、例えば自動運転車で自動運転システム１５０が自動運転を実行している間繰り返され、運転者は自分でする必要がある運転行動についての通知を随時受けることができる。
The selection of the recognition unit as shown in FIGS. 11A to 11C described above and the presentation of driving information in accordance with this are repeated, for example, while the
なお、選択情報の提供及び取得の態様は上記に限られない。 In addition, the aspect of provision and acquisition of selection information is not restricted above.
例えば、選択情報取得部１６１が取得する選択判断材料情報は、地図情報に基づいて取得される、自動運転車が走行している場所の特徴を示す走行場所情報を含んでもよい。また、選択判断材料情報は、運転者状態情報を含んでもよい。また、選択判断材料情報は、車外環境情報を含んでもよい。
For example, the selection determination material information acquired by the selection
選択情報取得部１６１では、選択部１５６が用いるのと共通のアルゴリズムに従ってこの選択判断材料情報を処理する。つまり、図１１Ａから図１１Ｃに記載される処理を、選択部１５６が用いる選択判断材料情報を用いて選択情報取得部１６１も実行することで選択部１５６が選択する認識部を推定して選択情報を取得してもよい。
The selection
これにより情報提示制御装置１６０は、例えば自動運転システム１１５０による運転の内容が変更されるような変化が自動運転車１１００の走行場所に生じた場合に、この変更を示す運転情報を運転者に提供することができる。または、自動運転システム１１５０による運転の内容が変更されるような変化が運転者の身体状況に生じた場合に、この変更を示す運転情報を運転者に提供することができる。または、自動運転システム１１５０による運転の内容が変更されるような変化が車外環境に生じた場合に、この変更を示す運転情報を運転者に提供することができる。
As a result, the information
なお、自動運転システム１１５０のリソースには限りがあるため、自動運転システム１１５０では、すべての検出器や認識部を常に稼動させて運転制御の補助又は代行できるとは限らない。したがって、自動運転システム１１５０による自動運転の内容は、選択部１５６によって選択された認識部によって取得される情報に基づいて可能なものに限定される。そして上述のとおり認識部の選択は、自車両上の機器の状況のみならず、走行場所、運転者の身体の状態、又は車外の環境によって変化する、優先して行われるべき自動運転の内容に合わせて変更される。上記で図１１Ａから図１１Ｃを参照して説明された選択部１５６による認識部の選択はこの変更のための選択のアルゴリズムの例であり、本発明はこれらの例に限定されない。例えば走行場所情報、運転者状態情報、及び車外環境情報の組み合わせ、及びこれらの情報が用いられる順序は上記の説明どおりでなくてもよい。
Since the resources of the
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態及び変形例を説明した。しかしながら、本開示における技術はこれらに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態及び変形例で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
(Other embodiments)
As described above, the embodiments and the modifications have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to these, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said embodiment and modification, and it can also be set as a new embodiment. Therefore, other embodiments will be exemplified below.
認識部１５２が認識する対象は上記の説明で例として挙げた車線、車間距離、人、及び障害物に限定されない。例えば認識の対象は、人のうち年少者や高齢者等のより細分化されたカテゴリであってもよい。あるいは、通行体の存否、通行体までの位置若しくは距離、動き予測に限定されず、特定の動作状態が認識されてもよい。例えば、通行体のふらつき、歩行者の携帯機器の画面への注視等の動作状態が認識されてもよい。また、このように細分化して認識した人や動作状態の認識に応じて自車両の周囲の状況の危険度を決定し、この危険度に応じて運転者との運転行動の分担を決定し、その決定内容を運転情報として提示装置に提示させてもよい。
The objects recognized by the
図１３は、危険度の高い歩行者が認識された場合に表示装置で表示される運転情報の例である。この例では、選択部１５６は認識部−０７を選択している。この選択状況を示す選択情報に応じて、情報提示制御装置１６０の提示制御部１６６は、図５に示されるテーブルを参照して、画像データｉｍｇＳｐｄＬｍｔ及び文字列データｔｘｔＳｐｄＬｍｔを取得し、これらのデータを用いて表示装置に図１３の画像を表示させている。この画像では、自動運転システムによる運転に関する情報及び運転者による運転に関する情報の両方が運転情報として提示されている。
FIG. 13 is an example of driving information displayed on the display device when a pedestrian with a high degree of risk is recognized. In this example, the
また、上記の例では運転情報の提示には、画像、文字、及び音声の組み合わせのみが示されているが、これらのいずれかのみを用いて提示されてもよい。また、文字列を読み上げる音声のみならず、運転情報に変更があったことへの注意を喚起するための音が用いられてもよい。また、さらにステアリングホイールの振動やペダルの押し戻し等の触覚による通知と組み合わせられてもよい。 In the above example, only the combination of an image, a character, and a voice is shown in the driving information. However, the driving information may be presented using any one of these. Further, not only a voice for reading a character string but also a sound for calling attention to a change in driving information may be used. Further, it may be combined with notification by tactile sense such as vibration of the steering wheel or pushing back of the pedal.
また、上記の例示では、運転情報は主に車上の認識部間で選択に変更があったときに運転者に提示されているが運転情報の提示のタイミングはこれに限定されない。車外の認識部である認識システム２００から車上の認識部に選択が変更されたときにも提示されてもよい。この場合、通信状態の不良によって認識システム２００による認識の結果が利用できない旨の情報が提示されてもよい。車上の軽量な認識部による認識に基づく自動運転制御のほうが機能に制限が多いため、この場合は自動運転システムに拠る運転の補助や代行が少ないこと、つまり、自分ですべき運転行動が多いことについて運転者の注意を促すことができる。
In the above example, the driving information is presented to the driver when the selection is changed mainly between the recognition units on the vehicle. However, the timing of presenting the driving information is not limited to this. It may also be presented when the selection is changed from the
また、上記の説明において、運転情報は認識部の選択に変更があったときに運転者に提示される記載があるが、運転情報の提示のタイミングはこれに限定されない。例えば運転者が運転支援インターフェース１１０を通じて所定の動作や音声でする運転情報の提示の要求に対する応答として随時提示されてもよい。
In the above description, the driving information is described to the driver when the selection of the recognition unit is changed, but the timing of the driving information presentation is not limited to this. For example, the driver may be presented at any time as a response to a request for presentation of driving information in a predetermined motion or voice through the driving
また、上記の説明において、情報提示制御装置では異常の検出に応えて認識部の選択が行われる記載があるが、この選択は例えば異常の有無の変化に応じて行われればよい。つまり、例えば何らかの異常がある場合に、その異常がないことを示す情報が選択部１５６に通知されたときにも選択部１５６は認識部の選択を実行してもよい。これにより、例えば通信状態が回復した場合や、車載のセンサの表面に付着していた障害物がなくなったことが自車両監視部１５５からの情報から判断できれば、選択部１５６は認識部の選択を実行する。なお、認識部の選択状況が変更されるきっかけは故障等の異常に限定されず、上述のとおり、自動運転車の現在位置、車外環境、又は運転者の身体の状態の変化等がきっかけになってもよい。
In the above description, the information presentation control device has a description that the recognition unit is selected in response to the detection of an abnormality. However, this selection may be performed according to, for example, a change in the presence or absence of an abnormality. That is, for example, when there is some abnormality, the
また、本発明は、情報提示制御装置１６０が、ナビゲーションシステム１４０若しくは自動運転システム１５０（１１５０）、又はこれらの両方と統合されて自動運転車運転支援システムとして実現されて提供されてもよい。図１４は、この例として自動運転システム１１５０と情報提示制御装置１６０とが統合されてなる自動運転車運転支援システム１０００、及びこれを備える自動運転車２１００の構成を示す図である。
In addition, the present invention may be provided as the information
また、本発明は自動運転車１００、１１００、又は２１００として実現され提供されてもよい。
Further, the present invention may be realized and provided as the
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行装置が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示制御装置を実現するプログラムは、次のとおりである。 In each of the above embodiments, each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component. Each component may be realized by a program execution device such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. Here, the program which implement | achieves the information presentation control apparatus of each said embodiment is as follows.
すなわち、このプログラムは、自動運転車に搭載されるコンピュータに、自動運転車に搭載される提示装置に情報を提示させる情報提示制御方法であって、自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得するステップと、選択情報に応じて、自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、自動運転車の自動運転システムによる運転又は運転者による運転の少なくとも一方に関する運転情報を提示装置に提示させるステップとを含む運転情報提示方法を実行させる。 In other words, this program is an information presentation control method for causing a computer mounted on an autonomous driving vehicle to present information to a presentation device mounted on the autonomous driving vehicle, and recognizes different objects with respect to the surrounding conditions of the autonomous driving vehicle. Automatic operation of the autonomous driving vehicle based on at least one of the control that can be executed by the autonomous driving vehicle and the control that cannot be executed according to the selection information. And causing the presentation device to present driving information related to at least one of driving by the system or driving by the driver.
また、プログラム実行装置がプログラムを実行することによって実現される情報提示制御装置１６０、自動運転システム１５０若しくは１５００、又は自動運転車運転支援システム１０００、及びこれらの各々が有する機能的な構成要素間での上記の機能分担は一例であって変更されてもよい。これらの構成要素及び機能を任意に分割したり組み合わせたりすることで実現される形態も本発明の範囲に含まれる。
In addition, the information
以上、一つ又は複数の態様に係る情報提示制御装置について、実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。 As mentioned above, although the information presentation control apparatus which concerns on one or several aspect was demonstrated based on embodiment, this invention is not limited to these embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
本発明は、自動運転車等に利用可能である。 The present invention can be used for an autonomous vehicle or the like.
１０ ネットワーク
１００、１１００、２１００ 自動運転車
１０００ 自動運転車運転支援システム
１１０ 運転支援インターフェース
１１５１ 走行場所情報取得部
１１５２ 運転者状態情報取得部
１１５３ 車外環境情報取得部
１２０ 運転操作部
１４０ ナビゲーションシステム
１５０、１１５０ 自動運転システム
１５１ 検出部
１５２ 認識部（車上の認識部）
１５３ 状況判断部
１５４ 運転制御部
１５５ 自車両監視部
１５６ 選択部
１５７ 通信部
１６０ 情報提示制御装置
１６６ 提示制御部
１８０ 記憶部
１９０ アンテナ
２００ 認識システム（車外の認識部）
３００ 通信回線
３５０ 基地局
DESCRIPTION OF
153
300
Claims (16)
前記自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得する選択情報取得部と、
前記選択情報に応じて、前記自動運転車が実行可能な制御および実行不可能な制御の少なくとも一方に基づく、前記自動運転車の自動運転システムによる運転及び運転者による運転の少なくとも一方に関する運転情報を前記提示装置に提示させる提示制御部とを備える
情報提示制御装置。 An information presentation control device for presenting information to a presentation device mounted on an autonomous driving vehicle,
A selection information acquisition unit that acquires selection information indicating a selection status of a plurality of recognition units that recognize different objects from each other about the situation surrounding the autonomous driving vehicle;
In accordance with the selection information, driving information on at least one of driving by the automatic driving system and driving by the driver based on at least one of control that can be executed by the automatic driving vehicle and control that cannot be executed by the automatic driving vehicle. An information presentation control device comprising: a presentation control unit that causes the presentation device to present.
請求項１に記載の情報提示制御装置。 2. The information according to claim 1, wherein the selection status of the plurality of recognition units is a selection status of a recognition unit that performs recognition of the target or a recognition unit that does not perform recognition of the target from the plurality of recognition units. Presentation control device.
請求項２に記載の情報提示制御装置。 The information presentation control device according to claim 2, wherein the selection information acquisition unit acquires the selection information indicating a selection result of a recognition unit from the plurality of recognition units from the automatic driving system.
請求項２又は３に記載の情報提示制御装置。 The selection information acquisition unit acquires selection determination material information used for determination for selecting a recognition unit from the plurality of recognition units, and estimates the selection status based on the selection determination material information. The information presentation control device according to claim 2 or 3, wherein selection information is acquired.
請求項２から４のいずれか１項に記載の情報提示制御装置。 The selection information acquisition unit acquires information indicating an operation status of a detection unit or a communication unit included in the autonomous driving vehicle for acquiring information used for recognition of the target, and sets the information indicating the operation status. The information presentation control device according to any one of claims 2 to 4, wherein the selection information is acquired by determining a recognition unit to be selected.
請求項４に記載の情報提示制御装置。 The information presentation control device according to claim 4, wherein the selection determination material information includes travel location information that is acquired based on map information and indicates characteristics of a location where the autonomous driving vehicle is traveling.
請求項４に記載の情報提示制御装置。 The information presentation control device according to claim 4, wherein the selection determination material information includes driver state information indicating a physical state of the driver.
請求項４に記載の情報提示制御装置。 The information presentation control device according to claim 4, wherein the selection determination material information includes out-of-vehicle environment information indicating an out-of-vehicle environment of the autonomous driving vehicle.
前記対象の認識を実行しない認識部は、前記異常がある検出器が出力する検出結果を前記対象の認識に用いる認識部を含む
請求項５に記載の情報提示制御装置。 The information indicating the operating status includes information indicating an abnormality of the detector included in the detection unit,
The information presentation control apparatus according to claim 5, wherein the recognition unit that does not perform the recognition of the target includes a recognition unit that uses a detection result output from the detector having the abnormality for the recognition of the target.
前記対象の認識を実行しない認識部は、前記通信部の通信品質が所定の品質より劣る状況又は前記通信部が通信を実行していない状況における、前記通信部により通信される情報を前記対象の認識に用いるように構成されている認識部を含む、
請求項５に記載の情報提示制御装置。 The information indicating the operation status includes information indicating communication quality of the communication unit or presence / absence of communication,
The recognition unit that does not perform the recognition of the target is configured to display information communicated by the communication unit in a situation where the communication quality of the communication unit is inferior to a predetermined quality or the communication unit is not performing communication. Including a recognizer configured to be used for recognition,
The information presentation control apparatus according to claim 5.
請求項１〜１０のいずれか１項に記載の情報提示制御装置。 The information presentation control device according to any one of claims 1 to 10, wherein the presentation control unit controls presentation of the driving information to the driver using at least one of sound and an image.
請求項１から１１のいずれか１項に記載の情報提示制御装置。 The information presentation control device according to any one of claims 1 to 11, wherein the driving information is information including a content of driving that is not executed or not executed by the automatic driving system.
請求項１〜１２のいずれか１項に記載の情報提示制御装置とを備える
自動運転車運転支援システム。 An automatic driving system according to claim 1;
An automatic driving vehicle driving support system comprising the information presentation control device according to any one of claims 1 to 12.
請求項１〜１２のいずれか１項に記載の情報提示制御装置とを備える
自動運転車。 An automatic driving system according to claim 1;
An automatic driving vehicle comprising the information presentation control device according to any one of claims 1 to 12.
前記自動運転車の周囲状況について互いに異なる対象を認識する複数の認識部の選択状況を示す選択情報を取得し、
前記選択情報に応じて、前記自動運転車が実行可能な制御及び実行不可能な制御の少なくとも一方に基づく、前記自動運転車の自動運転システムによる運転又は運転者による運転の少なくとも一方に関する運転情報を前記提示装置に提示させる
情報提示制御方法。 An information presentation control method for presenting information to a presentation device mounted on an autonomous vehicle,
Obtaining selection information indicating a selection situation of a plurality of recognition units that recognize different objects from each other about the situation surrounding the autonomous driving vehicle;
In accordance with the selection information, driving information related to at least one of driving by the automatic driving system of the autonomous driving vehicle or driving by the driver based on at least one of the control that can be executed by the automatic driving vehicle and the control that cannot be executed. An information presentation control method for causing the presentation device to present.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710224339.3A CN107298021B (en) | 2016-04-15 | 2017-04-07 | Information prompt control device, automatic driving vehicle and driving assistance system thereof |
| EP17165722.4A EP3232289B1 (en) | 2016-04-15 | 2017-04-10 | Information presentation control method and autonomous vehicle, and autonomous-vehicle driving support system |
| US15/482,842 US10496889B2 (en) | 2016-04-15 | 2017-04-10 | Information presentation control apparatus, autonomous vehicle, and autonomous-vehicle driving support system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016082105 | 2016-04-15 | ||
| JP2016082105 | 2016-04-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017194948A true JP2017194948A (en) | 2017-10-26 |
| JP7079069B2 JP7079069B2 (en) | 2022-06-01 |
Family
ID=60156046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016252131A Active JP7079069B2 (en) | 2016-04-15 | 2016-12-26 | Information presentation control device, self-driving car, and self-driving car driving support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7079069B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018030103A1 (en) * | 2016-08-09 | 2018-02-15 | 日立オートモティブシステムズ株式会社 | Displayed content recognition device and vehicle control device |
| JP2019177807A (en) * | 2018-03-30 | 2019-10-17 | トヨタ自動車株式会社 | Control device, program, and control method |
| CN112016714A (en) * | 2019-05-29 | 2020-12-01 | 丰田自动车株式会社 | Service providing system, vehicle, and method for providing service |
| JP2020201745A (en) * | 2019-06-11 | 2020-12-17 | Kddi株式会社 | Object identification device, method, and system |
| KR20210055112A (en) * | 2019-11-06 | 2021-05-17 | 만도헬라일렉트로닉스(주) | Vehicle communication system |
| WO2021100482A1 (en) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | Model generation device, estimation device, model generation method, and model generation program |
| WO2021199099A1 (en) * | 2020-03-30 | 2021-10-07 | 日本電気株式会社 | Control device, control system, and control method |
| JP2022024832A (en) * | 2020-07-28 | 2022-02-09 | トヨタ自動車株式会社 | Braking control system, braking control method and program |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001199295A (en) * | 2000-01-19 | 2001-07-24 | Nissan Motor Co Ltd | Traveling state presenting device |
| JP2002175597A (en) * | 2000-12-07 | 2002-06-21 | Hitachi Ltd | Travel control system for automobile |
| JP2008302746A (en) * | 2007-06-05 | 2008-12-18 | Fujitsu Ten Ltd | Vehicle control device and vehicle control method |
| JP2011136628A (en) * | 2009-12-28 | 2011-07-14 | Honda Motor Co Ltd | Vehicle control system |
| JP2015182624A (en) * | 2014-03-25 | 2015-10-22 | 日産自動車株式会社 | Information display apparatus |
| JP2016013751A (en) * | 2014-07-01 | 2016-01-28 | 株式会社デンソー | Control device |
| WO2017072939A1 (en) * | 2015-10-30 | 2017-05-04 | 三菱電機株式会社 | Vehicle information display control device, and method for displaying automatic driving information |
| US20170171375A1 (en) * | 2015-12-09 | 2017-06-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Dynamic vehicle automation level availability indication system and method |
| JP2017128180A (en) * | 2016-01-19 | 2017-07-27 | 株式会社Ｓｕｂａｒｕ | Travel control device of vehicle |
-
2016
- 2016-12-26 JP JP2016252131A patent/JP7079069B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001199295A (en) * | 2000-01-19 | 2001-07-24 | Nissan Motor Co Ltd | Traveling state presenting device |
| JP2002175597A (en) * | 2000-12-07 | 2002-06-21 | Hitachi Ltd | Travel control system for automobile |
| JP2008302746A (en) * | 2007-06-05 | 2008-12-18 | Fujitsu Ten Ltd | Vehicle control device and vehicle control method |
| JP2011136628A (en) * | 2009-12-28 | 2011-07-14 | Honda Motor Co Ltd | Vehicle control system |
| JP2015182624A (en) * | 2014-03-25 | 2015-10-22 | 日産自動車株式会社 | Information display apparatus |
| JP2016013751A (en) * | 2014-07-01 | 2016-01-28 | 株式会社デンソー | Control device |
| WO2017072939A1 (en) * | 2015-10-30 | 2017-05-04 | 三菱電機株式会社 | Vehicle information display control device, and method for displaying automatic driving information |
| US20170171375A1 (en) * | 2015-12-09 | 2017-06-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Dynamic vehicle automation level availability indication system and method |
| JP2017128180A (en) * | 2016-01-19 | 2017-07-27 | 株式会社Ｓｕｂａｒｕ | Travel control device of vehicle |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018025898A (en) * | 2016-08-09 | 2018-02-15 | 日立オートモティブシステムズ株式会社 | Indication recognition device and vehicle control device |
| WO2018030103A1 (en) * | 2016-08-09 | 2018-02-15 | 日立オートモティブシステムズ株式会社 | Displayed content recognition device and vehicle control device |
| JP7006453B2 (en) | 2018-03-30 | 2022-01-24 | トヨタ自動車株式会社 | Controls, programs, and control methods |
| JP2019177807A (en) * | 2018-03-30 | 2019-10-17 | トヨタ自動車株式会社 | Control device, program, and control method |
| CN112016714A (en) * | 2019-05-29 | 2020-12-01 | 丰田自动车株式会社 | Service providing system, vehicle, and method for providing service |
| JP2020194451A (en) * | 2019-05-29 | 2020-12-03 | トヨタ自動車株式会社 | Service provision system |
| JP7205384B2 (en) | 2019-05-29 | 2023-01-17 | トヨタ自動車株式会社 | Service provision system |
| JP2020201745A (en) * | 2019-06-11 | 2020-12-17 | Kddi株式会社 | Object identification device, method, and system |
| JP7025372B2 (en) | 2019-06-11 | 2022-02-24 | Kddi株式会社 | Object identification device, method and system |
| KR20210055112A (en) * | 2019-11-06 | 2021-05-17 | 만도헬라일렉트로닉스(주) | Vehicle communication system |
| KR102253658B1 (en) * | 2019-11-06 | 2021-05-20 | 만도헬라일렉트로닉스(주) | Vehicle communication system |
| WO2021100482A1 (en) | 2019-11-21 | 2021-05-27 | オムロン株式会社 | Model generation device, estimation device, model generation method, and model generation program |
| JPWO2021199099A1 (en) * | 2020-03-30 | 2021-10-07 | ||
| WO2021199099A1 (en) * | 2020-03-30 | 2021-10-07 | 日本電気株式会社 | Control device, control system, and control method |
| JP7279851B2 (en) | 2020-03-30 | 2023-05-23 | 日本電気株式会社 | Control device, control system, control method and control program |
| JP2022024832A (en) * | 2020-07-28 | 2022-02-09 | トヨタ自動車株式会社 | Braking control system, braking control method and program |
| JP7351269B2 (en) | 2020-07-28 | 2023-09-27 | トヨタ自動車株式会社 | Brake control system, brake control method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7079069B2 (en) | 2022-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107298021B (en) | Information prompt control device, automatic driving vehicle and driving assistance system thereof | |
| JP7079069B2 (en) | Information presentation control device, self-driving car, and self-driving car driving support system | |
| CN108068825B (en) | Visual communication system for unmanned vehicles (ADV) | |
| CN110641472B (en) | Safety monitoring system for autonomous vehicle based on neural network | |
| US10007264B2 (en) | Autonomous vehicle human driver takeover mechanism using electrodes | |
| WO2017169026A1 (en) | Driving support device, autonomous driving control device, vehicle, driving support method, and program | |
| CN110782657A (en) | Police cruiser using a subsystem of an autonomous vehicle | |
| JP2019145074A (en) | System and method for offering safety alarm on infrastructure base relating to at least one road | |
| US11873007B2 (en) | Information processing apparatus, information processing method, and program | |
| JPWO2018056103A1 (en) | Vehicle control device, vehicle control method, and moving body | |
| US10752166B2 (en) | Driving assistance method, and driving assistance device, automatic driving control device, and vehicle | |
| WO2018008488A1 (en) | Driving assistance method and driving assistance device using same, driving assistance system, automatic driving control device, vehicle, and program | |
| CN111724627A (en) | Automatic warning system for detecting backward sliding of front vehicle | |
| JP2013117809A (en) | Safety driving support information distribution system and information collection vehicle | |
| JP2017111498A (en) | Driving support device | |
| JP2008070128A (en) | Driving history recording device and program used for the same | |
| WO2020202379A1 (en) | Display control device, display control method, and program | |
| US11590845B2 (en) | Systems and methods for controlling a head-up display in a vehicle | |
| JP6096750B2 (en) | Driving support device | |
| US11458841B2 (en) | Display control apparatus, display control method, and computer-readable storage medium storing program | |
| CN113442921B (en) | Information processing device, driving support device, mobile body, information processing method, and storage medium | |
| JP2019148900A (en) | Vehicle control device, vehicle, and route guide device | |
| US11926259B1 (en) | Alert modality selection for alerting a driver | |
| JP2024079193A (en) | Information processing device, information processing method, and information processing program | |
| JP2023045586A (en) | Periphery monitoring device, periphery monitoring method and periphery monitoring program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210614 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220310 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220317 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220322 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7079069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |