JP2018140749A - Driving support device - Google Patents

Driving support device Download PDF

Info

Publication number
JP2018140749A
JP2018140749A JP2017037228A JP2017037228A JP2018140749A JP 2018140749 A JP2018140749 A JP 2018140749A JP 2017037228 A JP2017037228 A JP 2017037228A JP 2017037228 A JP2017037228 A JP 2017037228A JP 2018140749 A JP2018140749 A JP 2018140749A
Authority
JP
Japan
Prior art keywords
pedestrian
vehicle
person
content
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017037228A
Other languages
Japanese (ja)
Inventor
実千 蒲谷
Miyuki Kamatani
実千 蒲谷
みなみ 佐藤
Minami Sato
みなみ 佐藤
真一 永田
Shinichi Nagata
真一 永田
康平 栃木
Kohei Tochigi
康平 栃木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017037228A priority Critical patent/JP2018140749A/en
Publication of JP2018140749A publication Critical patent/JP2018140749A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a driving support device that can appropriately determine the content of driving support.SOLUTION: A driving support device 1 comprises a recognition part 41 and a determination part 43. The recognition part 41 recognizes behaviour of a pedestrian (person) 6 present in the vicinity of a vehicle 10, a direction of the body of the pedestrian 6 and a direction of the face of the pedestrian 6, on the basis of a surrounding environment of the vehicle 10. The determination part 43 determines the content of driving support to be executed according to the behaviour of the pedestrian 6, the direction of the body of the pedestrian 6 and the direction of the face of the pedestrian 6, recognized by the recognition part 41. The determination part 43, if the behaviour of the pedestrian 6 recognized by the recognition part 41 is movement in a direction in which the pedestrian moves across the front of the vehicle 10, determines the content of the driving support to be executed, as deceleration support, regardless of the direction of the body of the pedestrian 6 and the direction of the face of the pedestrian 6, recognized by the recognition part 41.SELECTED DRAWING: Figure 4

Description

本発明は、運転支援装置に関する。   The present invention relates to a driving support device.

従来の運転支援装置に関する技術として、例えば、特許文献1に記載された歩行者検出装置が知られている。特許文献1に記載された歩行者検出装置では、車両周辺に存在する歩行者の顔を含む頭部と身体部との動作をもとに、歩行者が車道へ飛び出す可能性を判定し、ひいては、実行する運転支援の内容を決定している。   As a technique related to a conventional driving support apparatus, for example, a pedestrian detection apparatus described in Patent Document 1 is known. In the pedestrian detection device described in Patent Document 1, the possibility of a pedestrian jumping out onto the roadway is determined based on the action of the head and body including the face of the pedestrian existing around the vehicle, and consequently The content of driving assistance to be executed is determined.

特開2014−6700号公報JP 2014-6700 A

上記従来技術では、前述のように、人(歩行者)の向きに基づいて運転支援の内容を決定しているが、運転支援の内容の決定に際しては、人の行動も適切に加味すべき場合がある。すなわち、上記従来技術では、運転支援の内容を適切に決定する上で改善の余地がある。   In the above prior art, as described above, the content of driving assistance is determined based on the direction of a person (pedestrian). However, when determining the content of driving assistance, human behavior should be appropriately taken into account. There is. In other words, the above-described conventional technology has room for improvement in appropriately determining the content of driving assistance.

そこで、本発明は、運転支援の内容を適切に決定することができる運転支援装置を提供することを目的とする。   Then, an object of this invention is to provide the driving assistance apparatus which can determine the content of driving assistance appropriately.

本発明に係る運転支援装置は、車両の周辺環境に基づいて、車両周辺に存在する人の行動、人の体の向き及び人の顔の向きを認識する認識部と、認識部で認識した人の行動、人の体の向き及び人の顔の向きに応じて、実行する運転支援の内容を決定する決定部と、を備え、決定部は、認識部で認識した人の行動が車両前方を横断する方向における移動である場合、認識部で認識した人の体の向き及び人の顔の向きにかかわらず、実行する運転支援の内容を減速支援に決定する。
ている。
The driving support device according to the present invention includes a recognition unit for recognizing a person's action, a person's body direction, and a person's face direction around the vehicle based on the surrounding environment of the vehicle, and a person recognized by the recognition unit A determination unit that determines the content of driving assistance to be performed according to the behavior of the person, the direction of the person's body and the direction of the person's face, and the determination unit determines that the action of the person recognized by the recognition unit In the case of movement in the crossing direction, the content of the driving assistance to be executed is determined to be deceleration assistance regardless of the direction of the person's body and the person's face recognized by the recognition unit.
ing.

この運転支援装置では、決定部は、認識部で認識した人の行動が車両前方を横断する方向における移動である場合、つまり、人の移動が主因となり、人と車両との衝突可能性が高くなる場合、認識部で認識した人の体の向き及び人の顔の向きにかかわらず、実行する運転支援の内容を減速支援に決定する。これにより、運転支援の内容の決定に際して人の行動を適切に加味でき、運転支援の内容を適切に決定することが可能となる。   In this driving support device, the determination unit is highly likely to collide with a person and the vehicle when the action of the person recognized by the recognition unit is movement in a direction crossing the front of the vehicle, that is, due to movement of the person. In this case, regardless of the direction of the person's body and the direction of the person's face recognized by the recognition unit, the content of the driving assistance to be executed is determined to be deceleration assistance. Accordingly, it is possible to appropriately take into account human behavior when determining the content of driving support, and it is possible to appropriately determine the content of driving support.

本発明に係る運転支援装置では、決定部は、認識部で認識した人の行動が車両前方を横断する方向における移動ではない場合であって、人の体の向きが車道側のとき、又は、人の体の向きが車道側ではなく且つ人の顔の向きが車道側のとき、実行する運転支援の内容を減速支援に決定し、認識部で認識した人の行動が車両前方を横断する方向における移動ではない場合であって、人の体の向きが車道側ではなく且つ人の顔の向きが車道側ではないとき、実行する運転支援の内容を操舵支援に決定している。この構成によれば、運転支援の内容の決定に際して、人の体の向き及び人の顔の向きを適切に加味でき、運転支援の内容をより適切に決定することが可能となる。   In the driving support device according to the present invention, the determination unit is a case where the action of the person recognized by the recognition unit is not movement in a direction crossing the front of the vehicle, and when the direction of the person's body is the roadway side, or When the person's body is not on the roadside and the person's face is on the roadside, the content of driving assistance to be executed is determined to be deceleration assistance, and the direction of the person's action recognized by the recognition unit crosses the front of the vehicle If the direction of the person's body is not on the roadway side and the direction of the person's face is not on the roadway side, the content of the driving assistance to be executed is determined as steering assistance. According to this configuration, when determining the content of driving support, the direction of the person's body and the direction of the person's face can be appropriately taken into account, and the content of driving support can be determined more appropriately.

本発明によれば、支援内容を適切に決定することができる運転支援装置を提供することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the driving assistance device which can determine the assistance content appropriately.

一実施形態に係る運転支援装置が搭載された車両の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle carrying the driving assistance device which concerns on one Embodiment. (a)は、図1の車両の周辺環境を例示する図である。(b)は、図1の車両の周辺環境を例示する他の図である。(A) is a figure which illustrates the surrounding environment of the vehicle of FIG. (B) is another figure which illustrates the surrounding environment of the vehicle of FIG. 図1の運転支援装置において実行される運転支援の内容のパターンを示す図である。It is a figure which shows the pattern of the content of the driving assistance performed in the driving assistance apparatus of FIG. 図1の運転支援装置の処理を示すフローチャートである。It is a flowchart which shows the process of the driving assistance device of FIG.

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In addition, in each figure, the same code | symbol is attached | subjected to the same or equivalent part, and the overlapping description is abbreviate | omitted.

図1は、一実施形態に係る運転支援装置が搭載された車両の構成を示すブロック図である。図1に示すように、運転支援装置1は、車両10に搭載されている。運転支援装置1は、内部センサ2と、外部センサ3と、ECU[Electronic Control Unit]4と、アクチュエータ5と、を備えている。車両10は、ECU4等によって運転支援が行われる自動運転車両である。   FIG. 1 is a block diagram illustrating a configuration of a vehicle on which a driving support device according to an embodiment is mounted. As shown in FIG. 1, the driving support device 1 is mounted on a vehicle 10. The driving support device 1 includes an internal sensor 2, an external sensor 3, an ECU [Electronic Control Unit] 4, and an actuator 5. The vehicle 10 is an automatic driving vehicle in which driving assistance is performed by the ECU 4 or the like.

内部センサ2は、車両10の走行状態を検出する。内部センサ2は、車速センサ、加速度センサ、及びヨーレートセンサのうち少なくとも一つを含む。車速センサは、車両10の速度を検出する検出器である。車速センサとしては、車輪の回転速度を検出する車輪速センサが用いられる。加速度センサは、車両10の加速度を検出する検出器である。加速度センサは、車両10の前後方向の加速度を検出する前後加速度センサと、車両10の横加速度を検出する横加速度センサとを含む。ヨーレートセンサは、車両10の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサとしては、ジャイロセンサを用いることができる。車速センサ、加速度センサ、及びヨーレートセンサは、必ずしも重複して備える必要はない。このような内部センサ2は、検出した車両10の走行状態に関する情報をECU4へ送信する。   The internal sensor 2 detects the traveling state of the vehicle 10. The internal sensor 2 includes at least one of a vehicle speed sensor, an acceleration sensor, and a yaw rate sensor. The vehicle speed sensor is a detector that detects the speed of the vehicle 10. As the vehicle speed sensor, a wheel speed sensor that detects the rotational speed of the wheel is used. The acceleration sensor is a detector that detects the acceleration of the vehicle 10. The acceleration sensor includes a longitudinal acceleration sensor that detects acceleration in the longitudinal direction of the vehicle 10 and a lateral acceleration sensor that detects lateral acceleration of the vehicle 10. The yaw rate sensor is a detector that detects the yaw rate (rotational angular velocity) around the vertical axis of the center of gravity of the vehicle 10. A gyro sensor can be used as the yaw rate sensor. The vehicle speed sensor, the acceleration sensor, and the yaw rate sensor do not necessarily have to be duplicated. Such an internal sensor 2 transmits information regarding the detected traveling state of the vehicle 10 to the ECU 4.

外部センサ3は、車両10の周辺環境を検出する検出機器である。車両10の周辺環境は、少なくとも、車両10の周辺における歩行者(人)6(図2参照)、歩道7(図2参照)及び車道8(図2参照)に関する環境を含む。外部センサ3は、カメラを含む。また、外部センサ3は、レーダー[Radar]、及びライダー[LIDAR:Laser Imaging Detection and Ranging]の少なくとも一方を含む。外部センサ3は、検出した周辺環境に関する情報をECU4へ送信する。   The external sensor 3 is a detection device that detects the surrounding environment of the vehicle 10. The surrounding environment of the vehicle 10 includes at least an environment related to a pedestrian (person) 6 (see FIG. 2), a sidewalk 7 (see FIG. 2), and a roadway 8 (see FIG. 2) around the vehicle 10. The external sensor 3 includes a camera. The external sensor 3 includes at least one of a radar [Radar] and a rider [LIDAR: Laser Imaging Detection and Ranging]. The external sensor 3 transmits information related to the detected surrounding environment to the ECU 4.

カメラは、車両10の周辺環境を撮像する撮像機器である。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。レーダーは、電波(例えばミリ波)を利用して車両10の周辺環境を検出する。ライダーは、光を利用して車両10の周辺環境を検出する。レーダー及びライダーは、必ずしも重複して備える必要はない。   The camera is an imaging device that images the surrounding environment of the vehicle 10. The camera may be a monocular camera or a stereo camera. The stereo camera has two imaging units arranged so as to reproduce binocular parallax. The radar detects the surrounding environment of the vehicle 10 using radio waves (for example, millimeter waves). The rider detects the surrounding environment of the vehicle 10 using light. The radar and rider do not necessarily have to be provided in duplicate.

ECU4は、車両10の各部の動作を制御する。ECU4は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等を有する電子制御ユニットである。ECU4は、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することで、各種の制御を実行する。ECU4は、複数の電子制御ユニットから構成されていてもよい。ECU4は、認識部41と、判定部42と、決定部43と、算出部44と、を備えている。   The ECU 4 controls the operation of each part of the vehicle 10. The ECU 4 is an electronic control unit having a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like. The ECU 4 executes various controls by loading a program stored in the ROM into the RAM and executing it by the CPU. The ECU 4 may be composed of a plurality of electronic control units. The ECU 4 includes a recognition unit 41, a determination unit 42, a determination unit 43, and a calculation unit 44.

認識部41は、内部センサ2の検出結果から車両情報を認識する。車両情報は、例えば車両10の車速及びヨーレート等を含む。認識部41は、外部センサ3の検出結果から歩行者情報を認識する。例えば、認識部41は、カメラで取得した歩行者6の画像を画像認識することにより、歩行者情報を認識できる。認識部41は、レーダー又はライダーで取得した情報から、歩行者情報を認識できる。認識部41は、内部センサ2及び外部センサ3の検出結果を用いた機械学習によって、歩行者情報を認識できる。   The recognition unit 41 recognizes vehicle information from the detection result of the internal sensor 2. The vehicle information includes, for example, the vehicle speed and yaw rate of the vehicle 10. The recognition unit 41 recognizes pedestrian information from the detection result of the external sensor 3. For example, the recognition unit 41 can recognize pedestrian information by recognizing an image of the pedestrian 6 acquired by a camera. The recognition unit 41 can recognize pedestrian information from information acquired by a radar or a rider. The recognition unit 41 can recognize pedestrian information by machine learning using the detection results of the internal sensor 2 and the external sensor 3.

歩行者情報は、歩行者6の位置(車両10に対する相対距離ないし相対位置を含む)、歩行者6の行動、歩行者6の走行速度、歩行者6の体の向き及び歩行者6の顔の向き等を含む。歩行者の行動は、並走である場合、静止である場合、及び横断である場合を含む。歩行者6の体の向きは、歩道7側である場合、並走側である場合、及び車道8側である場合を含む。歩行者6の顔の向きは、歩行者6の体の向きと同様に、歩道7側である場合、並走側である場合、及び車道8側である場合を含む。   The pedestrian information includes the position of the pedestrian 6 (including the relative distance or relative position with respect to the vehicle 10), the behavior of the pedestrian 6, the traveling speed of the pedestrian 6, the body direction of the pedestrian 6, and the face of the pedestrian 6. Including direction. Pedestrian behavior includes parallel running, stationary, and crossing. The direction of the body of the pedestrian 6 includes the case where the pedestrian 6 is on the sidewalk 7 side, the case where the pedestrian 6 is on the parallel running side, and the case where the pedestrian 6 is on the roadway 8 side. The direction of the face of the pedestrian 6 includes the case of the side of the sidewalk 7, the side of the parallel running, and the case of the side of the roadway 8, similar to the direction of the body of the pedestrian 6.

並走とは、歩行者6の行動が車道8の延びる方向における移動であることをいう。静止とは、歩行者6の行動が立ち止まっている状態であることをいう。横断とは、歩行者6の行動が車両10前方を横断する方向における移動であることをいう。歩道7側とは、車道8から歩道7に向いた方向のことをいう。並走側とは、車道8が延びる方向のことをいう。車道8側とは、歩道7から車道8に向いた方向のことをいう。体の向きとは、頭部以外の身体部の正面が向いている方向のことをいう。顔の向きとは、頭部の正面が向いている方向のことをいう。   Parallel running means that the action of the pedestrian 6 is movement in the direction in which the roadway 8 extends. “Still” means that the action of the pedestrian 6 is stopped. Crossing means that the action of the pedestrian 6 is movement in a direction crossing the front of the vehicle 10. The sidewalk 7 side refers to the direction from the roadway 8 toward the sidewalk 7. The parallel running side means a direction in which the roadway 8 extends. The roadway 8 side means a direction from the sidewalk 7 toward the roadway 8. The direction of the body means the direction in which the front of the body part other than the head is facing. The direction of the face means the direction in which the front of the head is facing.

図2の(a)及び(b)は、車両10の周辺環境を例示する図である。図2の(a)及び(b)は、例えば車両10の運転席から車両10前方に向けて見た場合を示す図である。図2の(a)及び(b)に示すように、歩道7には歩行者6が存在する。図2の(a)に示す歩行者6は、行動が静止であって、体の向きが車道8側であって、顔の向きが並走側である。図2の(b)に示す歩行者6は、行動が並走であって、体の向きが並走側であって、顔の向きが車道8側である。   2A and 2B are diagrams illustrating the surrounding environment of the vehicle 10. 2A and 2B are views showing a case where the vehicle 10 is viewed from the driver's seat of the vehicle 10 toward the front of the vehicle 10, for example. As shown in FIGS. 2A and 2B, a pedestrian 6 exists on the sidewalk 7. The pedestrian 6 shown in FIG. 2A is stationary, has a body direction on the roadway 8 side, and a face direction on the parallel running side. In the pedestrian 6 shown in FIG. 2B, the action is parallel running, the body direction is the parallel running side, and the face direction is the roadway 8 side.

判定部42は、認識部41で認識した車両情報及び歩行者情報に基づいて、運転支援を行うか否かを判定する。具体的には、判定部42は、認識部41で認識した車両情報及び歩行者情報に基づいて、車両10の支援範囲内に存在する歩行者6が検出された場合には運転支援を行うと判定し、支援範囲内に存在する歩行者6が検出されない場合には、運転支援を行わないと判定する。支援範囲は、車両10周辺における一定範囲の領域である。支援範囲は、固定値であってもよいし、例えば車両10の車速が早いときに広く設定される可変値であってもよい。   The determination unit 42 determines whether to perform driving support based on the vehicle information and pedestrian information recognized by the recognition unit 41. Specifically, the determination unit 42 performs driving support when the pedestrian 6 existing within the support range of the vehicle 10 is detected based on the vehicle information and pedestrian information recognized by the recognition unit 41. If it is determined that the pedestrian 6 existing within the support range is not detected, it is determined that the driving support is not performed. The support range is a certain range around the vehicle 10. The support range may be a fixed value, or may be a variable value that is widely set when the vehicle speed of the vehicle 10 is fast, for example.

決定部43は、認識部41で認識した歩行者情報、すなわち、歩行者6の行動、歩行者6の体の向き及び歩行者6の顔の向きに応じて、実行する運転支援の内容を決定する(詳細は後述する)。運転支援の内容は、少なくとも、減速支援と操舵支援とを含む。減速支援は、大減速支援と小減速支援とを含む。大減速支援は、予め設定された設定量以上の要求減速量による減速支援である。小減速支援は、予め設定された設定量よりも小さい要求減速量による減速支援である。   The determination unit 43 determines the content of driving assistance to be executed according to the pedestrian information recognized by the recognition unit 41, that is, the behavior of the pedestrian 6, the body direction of the pedestrian 6, and the face direction of the pedestrian 6. (Details will be described later). The content of the driving assistance includes at least deceleration assistance and steering assistance. The deceleration support includes large deceleration support and small deceleration support. The large deceleration support is a deceleration support with a requested deceleration amount that is equal to or greater than a preset set amount. The small deceleration support is a deceleration support with a requested deceleration amount that is smaller than a preset set amount.

算出部44は、判定部42が車両10の支援範囲内に歩行者6が存在すると判定した場合であって、決定部43が運転支援の内容を減速支援に決定した場合、認識部41で認識した車両情報及び歩行者情報に基づいて要求減速量を算出する。算出部44は、判定部42が車両10の支援範囲内に歩行者6が存在すると判定した場合であって、決定部43が運転支援の内容を操舵支援に決定した場合、認識部41で認識した車両情報及び歩行者情報に基づいて要求操舵量を算出する。ECU4は、要求減速量又は要求操舵量に応じてアクチュエータ5を制御する。   The calculation unit 44 recognizes the recognition unit 41 when the determination unit 42 determines that the pedestrian 6 exists within the support range of the vehicle 10 and the determination unit 43 determines the content of the driving support to be deceleration support. The requested deceleration amount is calculated based on the vehicle information and the pedestrian information. The calculation unit 44 recognizes the recognition unit 41 when the determination unit 42 determines that the pedestrian 6 exists within the support range of the vehicle 10 and the determination unit 43 determines the content of the driving support to be the steering support. The required steering amount is calculated based on the vehicle information and the pedestrian information. The ECU 4 controls the actuator 5 according to the required deceleration amount or the required steering amount.

アクチュエータ5は、車両10の走行制御を実行する装置である。アクチュエータ5は、エンジンアクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。エンジンアクチュエータは、ECU4からの制御信号に応じてエンジンに対する空気の供給量(スロットル開度)を制御し、車両10の駆動力を制御する。なお、車両10がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータにECU4からの制御信号が入力されて当該駆動力が制御される。車両10が電気自動車である場合には、動力源としてのモータにECU4からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ5を構成する。   The actuator 5 is a device that executes traveling control of the vehicle 10. The actuator 5 includes at least an engine actuator, a brake actuator, and a steering actuator. The engine actuator controls the driving force of the vehicle 10 by controlling the amount of air supplied to the engine (throttle opening) according to a control signal from the ECU 4. When the vehicle 10 is a hybrid vehicle, in addition to the amount of air supplied to the engine, a control signal from the ECU 4 is input to a motor as a power source to control the driving force. When the vehicle 10 is an electric vehicle, a control signal from the ECU 4 is input to a motor as a power source to control the driving force. The motor as a power source in these cases constitutes the actuator 5.

ブレーキアクチュエータは、ECU4からの制御信号に応じてブレーキシステムを制御し、車両10の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。なお、ブレーキアクチュエータは、車両10が回生ブレーキシステムを備えている場合、液圧ブレーキシステム及び回生ブレーキシステムの両方を制御してもよい。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を、ECU4からの制御信号に応じて制御する。これにより、操舵アクチュエータは、車両10の操舵トルクを制御する。   The brake actuator controls the brake system according to a control signal from the ECU 4 and controls the braking force applied to the wheels of the vehicle 10. As the brake system, for example, a hydraulic brake system can be used. When the vehicle 10 includes a regenerative brake system, the brake actuator may control both the hydraulic brake system and the regenerative brake system. The steering actuator controls driving of an assist motor that controls steering torque in the electric power steering system in accordance with a control signal from the ECU 4. Thereby, the steering actuator controls the steering torque of the vehicle 10.

図3は、ECU4において実行される運転支援の内容のパターンを示す図である。通常の運転者の運転は、歩行者6が車両10前方を横断している、又は横断する可能性が高いときには、操舵ではなく減速して歩行者6との衝突を回避しようとすることが多い。具体的には、通常の運転者は、歩行者6が車両10前方を横断しているとき、又は、歩行者6の体の向き及び歩行者6の顔の向きの少なくとも一方が車道8側であるとき(歩行者6が車両10前方を横断する可能性が高いとき)には、減速して歩行者6との衝突を回避しようとすることが多い。また、通常の運転者は、上記以外のときには、操舵して歩行者6との衝突を回避しようとすることが多い。そこで、図3に示すように、ECU4によって運転支援が行われる車両10においても、上述した通常の運転者の運転と同様に、歩行者6の行動、歩行者6の体の向き、及び歩行者6の顔の向きに応じた運転支援の内容が決定される。   FIG. 3 is a diagram showing a pattern of contents of driving support executed in the ECU 4. When the pedestrian 6 crosses the front of the vehicle 10 or is likely to cross, the normal driver's driving often tends to decelerate instead of steering to avoid a collision with the pedestrian 6. . Specifically, when the pedestrian 6 crosses the front of the vehicle 10 or at least one of the body direction of the pedestrian 6 and the face direction of the pedestrian 6 is on the side of the roadway 8 In some cases (when there is a high possibility that the pedestrian 6 crosses the front of the vehicle 10), the vehicle often decelerates to avoid a collision with the pedestrian 6. Further, a normal driver often steers to avoid a collision with the pedestrian 6 in cases other than the above. Therefore, as shown in FIG. 3, also in the vehicle 10 for which driving assistance is performed by the ECU 4, the behavior of the pedestrian 6, the body direction of the pedestrian 6, and the pedestrian, as in the case of the normal driver driving described above. The content of the driving assistance according to the direction of the face of 6 is determined.

具体的には、決定部43は、認識部41が認識した歩行者6の行動が車両10前方を横断する方向における移動である場合、認識部41で認識した歩行者6の体の向き及び歩行者6の顔の向きにかかわらず、実行する運転支援の内容を減速支援(大減速支援)に決定する。また、決定部43は、認識部41で認識した歩行者6の行動が車両10前方を横断する方向における移動ではない場合であって、歩行者6の体の向きが車道8側のとき、又は、歩行者6の体の向きが車道8側ではなく且つ歩行者6の顔の向きが車道8側のとき、実行する運転支援の内容を減速支援(小減速支援)に決定する。また、決定部43は、認識部41で認識した歩行者6の行動が車両10前方を横断する方向における移動ではない場合であって、歩行者6の体の向きが車道8側ではなく且つ歩行者6の顔の向きが車道8側ではないとき、実行する運転支援の内容を操舵支援に決定する。   Specifically, when the action of the pedestrian 6 recognized by the recognition unit 41 is movement in a direction crossing the front of the vehicle 10, the determination unit 43 determines the body direction and walking of the pedestrian 6 recognized by the recognition unit 41. Regardless of the face direction of the person 6, the content of the driving assistance to be executed is determined to be deceleration assistance (large deceleration assistance). Further, the determination unit 43 is a case where the action of the pedestrian 6 recognized by the recognition unit 41 is not movement in a direction crossing the front of the vehicle 10, and when the body direction of the pedestrian 6 is on the roadway 8 side, or When the direction of the body of the pedestrian 6 is not the side of the roadway 8 and the direction of the face of the pedestrian 6 is the side of the roadway 8, the content of the driving support to be executed is determined to be deceleration support (small speed reduction support). Further, the determination unit 43 is a case where the action of the pedestrian 6 recognized by the recognition unit 41 is not movement in a direction crossing the front of the vehicle 10, and the body direction of the pedestrian 6 is not on the side of the roadway 8 and is walking. When the face direction of the person 6 is not on the roadway 8 side, the content of the driving assistance to be executed is determined as steering assistance.

次に、ECU4において実行される処理の詳細について説明する。図4は、ECU4の処理を示すフローチャートである。図4に示すように、まず、判定部42は、認識部41で認識した車両情報及び歩行者情報に基づいて、車両10の支援範囲内に歩行者6が存在する否かを判定する(ステップS10)。ステップS10でYESの場合、ステップS20へ進む。一方、ステップS10でNOの場合、処理を終了する。その後、次周期におけるステップS10へ移行し、処理を繰り返し実行する。   Next, details of processing executed in the ECU 4 will be described. FIG. 4 is a flowchart showing the processing of the ECU 4. As shown in FIG. 4, first, the determination unit 42 determines whether or not the pedestrian 6 exists within the support range of the vehicle 10 based on the vehicle information and the pedestrian information recognized by the recognition unit 41 (step). S10). If YES in step S10, the process proceeds to step S20. On the other hand, if NO in step S10, the process ends. Thereafter, the process proceeds to step S10 in the next cycle, and the process is repeatedly executed.

ステップS20において、認識部41は、歩行者6の行動が車両10前方を横断する方向における移動であるか否かを認識する。ステップS20でYESの場合、ステップS30へ進む。一方、ステップS20でNOの場合、ステップS40へ進む。   In step S <b> 20, the recognition unit 41 recognizes whether or not the action of the pedestrian 6 is a movement in a direction crossing the front of the vehicle 10. If YES in step S20, the process proceeds to step S30. On the other hand, if NO in step S20, the process proceeds to step S40.

ステップS30において、決定部43は、運転支援の内容を大減速支援に決定する。なお、ステップS20でYESの場合は、ステップS20でNOの場合に比べて、歩行者6との車両10との衝突可能性が高いと考えられるため、運転支援の内容が大減速支援に決定される。ステップS30の後、処理を終了する。その後、次周期におけるステップS10へ移行し、処理を繰り返し実行する。   In step S30, the determination unit 43 determines the content of driving support to be large deceleration support. In the case of YES in step S20, it is considered that the possibility of collision with the vehicle 10 with the pedestrian 6 is higher than in the case of NO in step S20. The After step S30, the process ends. Thereafter, the process proceeds to step S10 in the next cycle, and the process is repeatedly executed.

ステップS40において、認識部41は、歩行者6の体の向きが車道8側であるか否かを認識する。ステップS40でYESの場合、ステップS50へ進む。ステップS40でNOの場合、ステップS60へ進む。   In step S40, the recognizing unit 41 recognizes whether or not the body direction of the pedestrian 6 is on the roadway 8 side. If YES in step S40, the process proceeds to step S50. If NO in step S40, the process proceeds to step S60.

ステップS50において、決定部43は、運転支援の内容を小減速支援に決定する。つまり、決定部43は、ステップS20でNOの場合であって、ステップS40でYESのときには、歩行者6の顔の向きにかかわらず実行する運転支援の内容を小減速支援に決定する。これは、歩行者6の体の向きが車道8側であることから、歩行者6が車両10前方を横断する意志があると判断されるためである。例えば、図2の(a)に示すように、歩行者6の行動が静止であって、歩行者6の体の向きが車道8側であって、歩行者6の顔の向きが並走側であるときには、歩行者6が車道8を横断したくて周囲の車両を見渡すために、顔を並走側へ向いている可能性がある。このようなときには、歩行者6が車両10前方を横断する可能性が高い。なお、ステップS20でNOの場合は、ステップS20でYESの場合に比べて、歩行者6と車両10との衝突可能性が低いと考えられるため、ステップS50において、運転支援の内容が小減速支援に決定される。ステップS50の後、処理を終了する。その後、次周期におけるステップS10へ移行し、処理を繰り返し実行する。   In step S50, the determination unit 43 determines the content of driving support as small deceleration support. That is, the determination unit 43 determines that the content of the driving support to be executed is small deceleration support regardless of the face direction of the pedestrian 6 when the determination is NO in Step S20 and YES in Step S40. This is because it is determined that the pedestrian 6 is willing to cross the front of the vehicle 10 because the body direction of the pedestrian 6 is on the roadway 8 side. For example, as shown in FIG. 2 (a), the action of the pedestrian 6 is stationary, the body direction of the pedestrian 6 is the roadway 8 side, and the face direction of the pedestrian 6 is the parallel running side. In this case, there is a possibility that the pedestrian 6 wants to cross the roadway 8 and faces his face to the parallel running side in order to look around the surrounding vehicles. In such a case, the pedestrian 6 is likely to cross the front of the vehicle 10. In the case of NO in step S20, it is considered that the possibility of collision between the pedestrian 6 and the vehicle 10 is lower than in the case of YES in step S20. Therefore, in step S50, the content of the driving assistance is small deceleration assistance. To be determined. After step S50, the process ends. Thereafter, the process proceeds to step S10 in the next cycle, and the process is repeatedly executed.

ステップS60において、認識部41は、歩行者6の顔の向きが車道8側であるか否かを認識する。ステップS60でYESの場合、ステップS70へ進む。ステップS60でNOの場合、ステップS80へ進む。   In step S60, the recognition unit 41 recognizes whether or not the face direction of the pedestrian 6 is on the roadway 8 side. If YES in step S60, the process proceeds to step S70. If NO in step S60, the process proceeds to step S80.

ステップS70において、決定部43は、運転支援の内容を小減速支援に決定する。これは、歩行者6の顔の向きが車道8側であることから、歩行者6が車両10前方を横断する意志があると判断されるためである。例えば、図2の(b)に示すように、歩行者6の行動が並走であって、歩行者6の体の向きが並走側であって、歩行者6の顔の向きが車道8側であるときには、並走している歩行者6が急に行動の向きを変えて車道8を横断する可能性がある。つまり、このようなときには、歩行者6が車両10前方を横断する可能性が高い。ステップS70の後、処理を終了する。その後、次周期におけるステップS10へ移行し、処理を繰り返し実行する。   In step S70, the determination part 43 determines the content of driving assistance to small deceleration assistance. This is because it is determined that the pedestrian 6 is willing to cross the front of the vehicle 10 because the face direction of the pedestrian 6 is on the roadway 8 side. For example, as shown in FIG. 2B, the action of the pedestrian 6 is parallel running, the body direction of the pedestrian 6 is parallel running, and the face direction of the pedestrian 6 is the roadway 8. When the vehicle is on the side, the pedestrian 6 running in parallel may suddenly change the direction of action and cross the roadway 8. That is, in such a case, there is a high possibility that the pedestrian 6 crosses the front of the vehicle 10. After step S70, the process ends. Thereafter, the process proceeds to step S10 in the next cycle, and the process is repeatedly executed.

ステップS80において、決定部43は、運転支援の内容を操舵支援に決定する。ステップS80の後、処理を終了する。その後、次周期におけるステップS10へ移行し、処理を繰り返し実行する。ステップS30、ステップS50、ステップS70、及びステップS80の後、要求減速量又は要求操舵量が算出部44によって算出される。そして、アクチュエータ5が、算出された要求減速量又は要求操舵量に応じてECU4によって制御される。なお、図4に示される各処理は、例えば車両10のイグニッションOFF等の所定の終了条件が満たされた場合、終了される。   In step S80, the determination unit 43 determines the content of driving support to be steering support. After step S80, the process ends. Thereafter, the process proceeds to step S10 in the next cycle, and the process is repeatedly executed. After step S30, step S50, step S70, and step S80, the required deceleration amount or the required steering amount is calculated by the calculation unit 44. The actuator 5 is controlled by the ECU 4 in accordance with the calculated required deceleration amount or required steering amount. Each process shown in FIG. 4 is terminated when a predetermined termination condition such as, for example, turning off the ignition of the vehicle 10 is satisfied.

以上、運転支援装置1では、決定部43は、認識部41で認識した歩行者6の行動が車両10前方を横断する方向における移動である場合、つまり、歩行者6の移動が主因となり、歩行者6と車両10との衝突可能性が高くなる場合、認識部41で認識した歩行者6の体の向き及び歩行者6の顔の向きにかかわらず、実行する運転支援の内容を減速支援(大減速支援)に決定する。これにより、運転支援の内容の決定に際して歩行者6の行動を適切に加味でき、運転支援の内容を適切に決定することが可能となる。すなわち、歩行者6の挙動によって運転支援の内容を切り替えることで、煩わしさを感じ難く不要感及び違和感のない運転支援を実現し、通常の運転者の運転(運転支援なし)に近い回避行動とすることができる。   As described above, in the driving support device 1, the determination unit 43 determines that the action of the pedestrian 6 recognized by the recognition unit 41 is movement in a direction crossing the front of the vehicle 10, that is, the movement of the pedestrian 6 is the main cause. When the possibility of a collision between the person 6 and the vehicle 10 is high, the content of the driving assistance to be executed is decelerating assistance regardless of the body direction of the pedestrian 6 recognized by the recognition unit 41 and the face direction of the pedestrian 6 ( Large deceleration support). As a result, the behavior of the pedestrian 6 can be appropriately taken into account when determining the content of driving support, and the content of driving support can be determined appropriately. In other words, by switching the content of driving assistance according to the behavior of the pedestrian 6, it is possible to realize driving assistance that is difficult to feel bothersome and unnecessary and does not feel uncomfortable, and avoidance behavior that is close to normal driving (without driving assistance). can do.

また、運転支援装置1では、決定部43は、認識部41で認識した歩行者6の行動が車両10前方を横断する方向における移動ではない場合であって、歩行者6の体の向きが車道8側のとき、又は、歩行者6の体の向きが車道8側ではなく且つ歩行者6の顔の向きが車道8側のとき、実行する運転支援の内容を減速支援(小減速支援)に決定し、認識部41で認識した歩行者6の行動が車両10前方を横断する方向における移動ではない場合であって、歩行者6の体の向きが車道8側ではなく且つ歩行者6の顔の向きが車道8側ではないとき、実行する運転支援の内容を操舵支援に決定している。この構成によれば、運転支援の内容の決定に際して、歩行者6の体の向き及び歩行者6の顔の向きを適切に加味でき、運転支援の内容をより適切に決定することが可能となる。   In the driving support device 1, the determination unit 43 is a case where the action of the pedestrian 6 recognized by the recognition unit 41 is not movement in a direction crossing the front of the vehicle 10, and the body direction of the pedestrian 6 is the roadway. When the side of the pedestrian 6 is not on the side of the roadway 8 and when the face of the pedestrian 6 is on the side of the roadway 8, the content of the driving assistance to be executed is reduced speed support (small speed reduction support) The action of the pedestrian 6 determined and recognized by the recognition unit 41 is not movement in the direction crossing the front of the vehicle 10, and the body direction of the pedestrian 6 is not the side of the roadway 8 and the face of the pedestrian 6 When the direction is not on the roadway 8 side, the content of the driving assistance to be executed is determined to be steering assistance. According to this configuration, when determining the content of driving support, the direction of the body of the pedestrian 6 and the direction of the face of the pedestrian 6 can be appropriately taken into account, and the content of driving support can be determined more appropriately. .

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく様々な形態で実施される。   As mentioned above, although embodiment of this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.

上記実施形態では、人が歩行者6である例を示したが、人は、自転車に乗った人や車椅子に乗った人等であってもよい。認識部41は、少なくとも車両10に対する歩行者6の走行速度に基づいて、歩行者6の行動(移動又は移動方向)を認識してもよい。   In the above embodiment, an example in which the person is a pedestrian 6 has been shown, but the person may be a person on a bicycle, a person on a wheelchair, or the like. The recognition unit 41 may recognize the action (movement or movement direction) of the pedestrian 6 based on at least the traveling speed of the pedestrian 6 with respect to the vehicle 10.

上記実施形態では、運転支援の内容として減速支援と操舵支援とを含む例を示したが、これに限定されない。運転支援の内容には、少なくとも減速支援が含まれていればよい。運転支援の内容には、支援なしがさらに含まれていてもよい。上記実施形態の運転支援装置1は、外部センサ3に代えてもしくは加えて、車車間通信、路車間通信ないし歩車間通信による通信情報に基づき周辺環境に関する情報を取得する通信装置を備えていてもよい。   In the above-described embodiment, the example including the deceleration support and the steering support as the content of the driving support is shown, but the present invention is not limited to this. The content of the driving assistance only needs to include at least deceleration assistance. The content of driving assistance may further include no assistance. The driving support device 1 of the above embodiment may include a communication device that acquires information about the surrounding environment based on communication information by vehicle-to-vehicle communication, road-to-vehicle communication, or inter-vehicle communication instead of or in addition to the external sensor 3. Good.

上記実施形態では、図3に示すように、歩行者6の体の向きが歩道7側であって顔の向きが車道8側である場合、歩行者6の体の向きが車道8側であって顔の向きが歩道7側である場合、歩行者6の体の向きが歩道7側であって顔の向きが歩道7側又は並走側であり且つ歩行者6の行動が並走又は横断である場合、歩行者6の体の向きが並走側であって顔の向きが歩道7側であり且つ歩行者6の行動が横断である場合、及び、歩行者6の体の向きが車道8側であって顔の向きが車道8側であり且つ歩行者6の行動が並走である場合、運転支援の内容を小減速支援、大減速支援又は操舵支援に決定している。しかし、これらの少なくとも何れかの場合には、支援なしを運転支援の内容として決定してもよい。   In the above embodiment, as shown in FIG. 3, when the body direction of the pedestrian 6 is the sidewalk 7 side and the face direction is the roadway 8 side, the body direction of the pedestrian 6 is the roadway 8 side. If the direction of the face is the sidewalk 7 side, the body direction of the pedestrian 6 is the sidewalk 7 side, the face direction is the sidewalk 7 side or the parallel running side, and the action of the pedestrian 6 is parallel running or crossing If the pedestrian 6's body direction is the parallel running side, the face direction is the sidewalk 7 side, and the pedestrian 6's action is crossing, and the pedestrian 6's body direction is the roadway In the case of the 8th side, the face direction is the side of the roadway 8, and the action of the pedestrian 6 is parallel running, the content of driving assistance is determined to be small deceleration assistance, large deceleration assistance or steering assistance. However, in at least one of these cases, no assistance may be determined as the content of driving assistance.

1…運転支援装置、4…ECU、10…車両、41…認識部、43…決定部、6…歩行者(人)、7…歩道、8…車道。   DESCRIPTION OF SYMBOLS 1 ... Driving assistance device, 4 ... ECU, 10 ... Vehicle, 41 ... Recognition part, 43 ... Decision part, 6 ... Pedestrian (person), 7 ... Sidewalk, 8 ... Roadway.

Claims (2)

車両の周辺環境に基づいて、前記車両周辺に存在する人の行動、前記人の体の向き及び前記人の顔の向きを認識する認識部と、
前記認識部で認識した前記人の行動、前記人の体の向き及び前記人の顔の向きに応じて、実行する運転支援の内容を決定する決定部と、を備え、
前記決定部は、
前記認識部で認識した前記人の行動が前記車両前方を横断する方向における移動である場合、前記認識部で認識した前記人の体の向き及び前記人の顔の向きにかかわらず、
実行する前記運転支援の内容を減速支援に決定する、運転支援装置。
A recognition unit for recognizing a person's behavior around the vehicle based on a surrounding environment of the vehicle, a direction of the person's body, and a direction of the person's face;
A determination unit that determines the content of driving assistance to be performed according to the behavior of the person recognized by the recognition unit, the orientation of the person's body, and the orientation of the person's face;
The determination unit is
When the action of the person recognized by the recognition unit is a movement in a direction crossing the front of the vehicle, regardless of the direction of the person's body and the direction of the person's face recognized by the recognition unit,
A driving support device that determines the content of the driving support to be executed as deceleration support.
前記決定部は、
前記認識部で認識した前記人の行動が前記車両前方を横断する方向における移動ではない場合であって、前記人の体の向きが車道側のとき、又は、前記人の体の向きが車道側ではなく且つ前記人の顔の向きが車道側のとき、実行する前記運転支援の内容を減速支援に決定し、
前記認識部で認識した前記人の行動が前記車両前方を横断する方向における移動ではない場合であって、前記人の体の向きが車道側ではなく且つ前記人の顔の向きが車道側ではないとき、実行する前記運転支援の内容を操舵支援に決定する、請求項1に記載の運転支援装置。
The determination unit is
The action of the person recognized by the recognition unit is not a movement in a direction crossing the front of the vehicle, and the direction of the person's body is the roadway side, or the direction of the person's body is the roadway side. And when the face direction of the person is on the roadway side, the content of the driving support to be executed is determined as deceleration support,
The action of the person recognized by the recognition unit is not movement in a direction crossing the front of the vehicle, and the direction of the person's body is not on the roadway side and the direction of the person's face is not on the roadway side The driving assistance device according to claim 1, wherein the content of the driving assistance to be executed is determined as steering assistance.
JP2017037228A 2017-02-28 2017-02-28 Driving support device Pending JP2018140749A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017037228A JP2018140749A (en) 2017-02-28 2017-02-28 Driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017037228A JP2018140749A (en) 2017-02-28 2017-02-28 Driving support device

Publications (1)

Publication Number Publication Date
JP2018140749A true JP2018140749A (en) 2018-09-13

Family

ID=63527569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017037228A Pending JP2018140749A (en) 2017-02-28 2017-02-28 Driving support device

Country Status (1)

Country Link
JP (1) JP2018140749A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11767010B2 (en) 2020-03-10 2023-09-26 Toyota Jidosha Kabushiki Kaisha Driving assist system
JP7462665B2 (en) 2019-02-21 2024-04-05 ズークス インコーポレイテッド Appearance-Based Movement Prediction

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244295A (en) * 2005-03-04 2006-09-14 Advics:Kk Travel support device for vehicle
JP2012001063A (en) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd Collision avoidance support apparatus
JP2014006700A (en) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp Pedestrian detection device
JP2016009251A (en) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 Control device for vehicle
WO2016098238A1 (en) * 2014-12-19 2016-06-23 株式会社日立製作所 Travel control device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244295A (en) * 2005-03-04 2006-09-14 Advics:Kk Travel support device for vehicle
JP2012001063A (en) * 2010-06-16 2012-01-05 Nissan Motor Co Ltd Collision avoidance support apparatus
JP2014006700A (en) * 2012-06-25 2014-01-16 Mitsubishi Motors Corp Pedestrian detection device
JP2016009251A (en) * 2014-06-23 2016-01-18 エイディシーテクノロジー株式会社 Control device for vehicle
WO2016098238A1 (en) * 2014-12-19 2016-06-23 株式会社日立製作所 Travel control device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7462665B2 (en) 2019-02-21 2024-04-05 ズークス インコーポレイテッド Appearance-Based Movement Prediction
US11767010B2 (en) 2020-03-10 2023-09-26 Toyota Jidosha Kabushiki Kaisha Driving assist system

Similar Documents

Publication Publication Date Title
JP6766783B2 (en) Vehicle control device
JP6852632B2 (en) Vehicle control device
JP7032178B2 (en) Vehicle control device
US10960878B2 (en) Control device for vehicle and control method for vehicle
JPWO2018230376A1 (en) Travel control device
US10807609B2 (en) Vehicle control device
US11485356B2 (en) Vehicle control device and control method
JP7147569B2 (en) Driving support device
CN111108031A (en) Travel control device, vehicle, and travel control method
JP7435725B2 (en) Driving support device
JP2019066915A (en) Vehicle control device
CN113734161B (en) Vehicle brake control method, device, equipment, medium and program product
JP6834633B2 (en) Driving support device
JP2020097346A (en) Travel control device for vehicle
JP2018140749A (en) Driving support device
JP7222343B2 (en) Driving support device
JP2023155454A (en) Driving support device and notification device
JP2021142901A (en) Control device and vehicle
JP7302545B2 (en) Driving support device
JP5664462B2 (en) Roadside obstacle detection device for emergency vehicle evacuation device
JP6723903B2 (en) Vehicle control device and vehicle control method
JP6596047B2 (en) Vehicle control device, vehicle, and method
JP2021086421A (en) Driving support device
JP2022084440A (en) Vehicle control device, vehicle, operation method of vehicle control device, and program
JP2024079032A (en) Driving support method, driving support device, and driving support program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210105