JP2019049774A - 車両制御装置、車両制御方法、およびプログラム - Google Patents

車両制御装置、車両制御方法、およびプログラム Download PDF

Info

Publication number
JP2019049774A
JP2019049774A JP2017172430A JP2017172430A JP2019049774A JP 2019049774 A JP2019049774 A JP 2019049774A JP 2017172430 A JP2017172430 A JP 2017172430A JP 2017172430 A JP2017172430 A JP 2017172430A JP 2019049774 A JP2019049774 A JP 2019049774A
Authority
JP
Japan
Prior art keywords
vehicle
lane
predetermined
control unit
lateral position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017172430A
Other languages
English (en)
Other versions
JP6592852B2 (ja
Inventor
山田 浩之
Hiroyuki Yamada
浩之 山田
片山 誠
Makoto Katayama
誠 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2017172430A priority Critical patent/JP6592852B2/ja
Priority to CN201810984113.8A priority patent/CN109466542B/zh
Priority to US16/114,282 priority patent/US20190073540A1/en
Publication of JP2019049774A publication Critical patent/JP2019049774A/ja
Application granted granted Critical
Publication of JP6592852B2 publication Critical patent/JP6592852B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04Display arrangements
    • G01S7/06Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/24Cathode-ray tube displays or other two dimensional or three-dimensional displays the display being orientated or displaced in accordance with movement of object carrying the transmitting and receiving apparatus, e.g. true-motion radar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315Monitoring blind spots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】自車両の後側方において適切な範囲の他車両を検出することができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。
【解決手段】車両制御装置は、自車両が走行する車線に対する前記自車両の横位置を認識する認識部と、前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行する他車両監視制御部であって、前記認識部により認識された前記横位置に基づいて、前記所定条件を変更する他車両監視制御部と、を備える。
【選択図】図1

Description

本発明は、車両制御装置、車両制御方法、およびプログラムに関する。
従来、車両に搭載されたレーダセンサにより同一車線上を走行する前方車両を探知し、探知した前方車両に追従して車両を自動走行する技術が知られている(例えば、特許文献1参照)。特許文献1に記載の技術では、車両に搭載されたカメラで撮影した路面の画像から抽出された車線を基準にした車両の変位を算出し、算出した変位に基づいて、レーダセンサの探知範囲が車線中央に向くように補正を行っている。
特開平4−258780号公報
しかしながら、従来の技術は、車両の前方方向に向けたレーダ角度を補正するものであり、後側方に存在する車両を検知するための範囲を変更するものではなかった。したがって、後側方に存在する他車両を誤検出したり、検出すべき他車両を検出できない場合があった。
本発明は、このような事情を考慮してなされたものであり、自車両の後側方において適切な範囲の他車両を検出することができる車両制御装置、車両制御方法、およびプログラムを提供することを目的の一つとする。
(1):自車両が走行する車線に対する前記自車両の横位置を認識する認識部(120)と、前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行する他車両監視制御部(130)であって、前記認識部により認識された前記横位置に基づいて、前記所定条件を変更する他車両監視制御部と、を備える車両制御装置(100)である。
(2):(1)において、前記所定条件は、前記他車両が前記自車両の後側方に設定される所定領域内に存在することを含み、前記他車両監視制御部は、前記横位置に基づいて前記所定領域の形態を変更するものである。
(3):(2)において、前記所定領域は、前記自車両の左右の後側方にそれぞれ設定され、前記他車両監視制御部は、前記横位置が偏している側と同じ側の前記所定領域を小さく変更し、反対側の所定領域を大きく変更するものである。
(4):(2)または(3)において、前記他車両監視制御部は、前記自車両の左右の後側方にそれぞれ設定される前記所定領域が、前記自車両が走行する車線に隣接する車線を幅方向に関してカバーするように、前記所定領域の形態を変更するものである。
(5):(2)〜(4)のうち何れか一つにおいて、前記他車両監視制御部は、前記所定領域に複数の他車両が存在する場合に、前記自車両に最も近い他車両を監視対象とするものである。
(6):(2)〜(5)のうち何れか一つにおいて、前記認識部は、前記自車両が走行する車線数を認識し、前記他車両監視制御部は、前記認識部により認識された車線数が三車線以上である場合に、前記認識部により認識された前記横位置に基づいて、前記所定領域の形態を変更するものである。
(7):(2)〜(6)のうち何れか一つにおいて、地図情報が記憶された記憶装置(54)と、前記記憶装置に記憶された地図情報に基づいて前記自車両の目的地までの経路に関する情報を出力するナビゲーション装置(50)と、を更に備え、前記他車両監視制御部は、前記地図情報から前記自車両が走行する車線数を取得し、取得した車線数が三車線以上である場合に、前記認識部により認識された前記横位置に基づいて、前記所定領域の形態を変更するものである。
(8):(2)〜(7)のうち何れか一つにおいて、前記自車両が走行する車線を撮像する撮像部(10)を更に備え、前記他車両監視制御部は、前記撮像部により撮像された画像から前記自車両が走行する車線の隣接車線の幅を推定し、推定した隣接車線の幅に基づいて、前記所定領域の形態を変更するものである。
(9):車載コンピュータが、自車両が走行する車線に対する前記自車両の横位置を認識し、前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行し、認識された前記横位置に基づいて、前記所定条件を変更する、車両制御方法である。
(10):車載コンピュータに、自車両が走行する車線に対する前記自車両の横位置を認識させ、前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行させ、認識された前記横位置に基づいて、前記所定条件を変更させる、プログラムである。
(1)〜(10)によれば、自車両の後側方において適切な範囲の他車両を検出することができる。
実施形態の車両制御装置を含む車両制御システム1の構成図である。 自車両Mを上方から見た場合の車室内の一例を示す図である。 ドアミラーDMR1の一例を示す図である。 自車位置認識部120により走行車線L1に対する自車両Mの相対位置および姿勢が認識される様子を示す図である。 他車両監視制御部130の機能構成図である。 監視領域の一例を示す図である。 自車両Mの横位置が走行車線中央CLから左方向に偏する場合の左後方領域ARLおよび右後方領域ARRの形態が変更した様子を説明するための図である。 三車線の道路を走行する場合に右後方領域の形態が変更されることについて説明するための図である。 右後方領域ARR内に複数の他車両V1,V2が存在する様子を説明するための図である。 隣接車線上において他車両VRSが自車両Mの後側方から接近してきている場面における運転支援制御の制御内容について説明するための図である。 時刻t2における自車両Mの走行の様子を説明するための図である。 実施形態の車両制御処理の流れの一例を示すフローチャートである。 実施形態の車両制御処理の詳細な流れの一例を示すフローチャートである。 実施形態の車両制御装置100のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の車両制御装置、車両制御方法、およびプログラムの実施形態について説明する。
[全体構成]
図1は、実施形態の車両制御装置を含む車両制御システム1の構成図である。車両制御システム1が搭載される車両(以下、自車両Mと称する)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両制御システム1は、例えば、カメラ(撮像部)10と、レーダ12と、ファインダ14と、物体認識装置16と、HMI(Human Machine Interface)20と、車両センサ30と、運転操作子40と、ナビゲーション装置50と、BSI(Blind Spot Information)インジケータ60と、車両制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。例えば、前方を撮像する場合、カメラ10は、フロントウィンドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し自車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ12は、自車両Mの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ12は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。レーダ12は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、照射光に対する散乱光を測定し、対象までの距離を検出するLIDAR(Light Detection and Ranging、或いはLaser Imaging Detection and Ranging)である。ファインダ14は、自車両Mの任意の箇所に一つまたは複数が取り付けられる。
物体認識装置16は、カメラ10、レーダ12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度、移動方向等を認識する。認識される物体は、例えば、車両や、ガードレール、電柱、歩行者、道路標識といった種類の物体である。また、物体認識装置16は、カメラ10により撮影された画像から路面上の区画線(白線)等を抽出し、抽出した区画線により車線を認識してもよい。物体認識装置16は、認識結果を車両制御装置100に出力する。また、物体認識装置16は、カメラ10、レーダ12、またはファインダ14から入力された情報の一部を、そのまま車両制御装置100に出力してもよい。
HMI20は、自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI20は、例えば、表示部22、スピーカ24、運転支援開始スイッチ26等の各種ボタン、マイク、ブザー等を含む。HMI20の各機器は、例えば、インストルメントパネルの各部、助手席や後部座席の任意の箇所に取り付けられる。
図2は、自車両Mを上方から見た場合の車室内の一例を示す図である。図示のように、例えば、表示部22は、フロントウィンドシールドの下に位置し、運転席および助手席の正面に設けられたダッシュボードに設置される(図中22a)。また、表示部22は、例えば、運転席正面に設置され(図中22b)、スピードメーターやタコメーター等の計器類を表示するインストルメントパネルとして機能してもよい。
また、表示部22は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の各種表示装置である。表示部22は、後述する通知制御部133またはHMI制御部140により出力された画像を表示する。また、表示部22は、乗員による操作を画面上で受け付けるタッチパネルでもよい。
スピーカ24は、例えば、助手席に最も近いドア付近(図中24La)と、運転席に最も近いドア付近(図中24Ra)と、助手席の後ろの後部座席に最も近いドア付近(図中24Lb)と、運転席の後ろの後部座席に最も近いドア付近(図中24Rb)とに設置される。スピーカ24は、例えば、通知制御部133またはHMI制御部140の制御により音声、警告音等を出力する。
運転支援開始スイッチ26は、車両制御装置100に運転支援制御を開始させるためのスイッチである。運転支援制御とは、例えば、走行駆動力出力装置200およびブレーキ装置210と、ステアリング装置220との何れか一方または双方を制御する制御態様である。運転支援開始スイッチ26が操作されない場合、すなわち車両制御装置100が運転支援制御を実行しない場合、手動運転が行われる。手動運転では、乗員による運転操作子40の操作量に応じて、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220が制御される。
車両センサ30は、例えば、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、自車両Mの重心点の鉛直軸回りの回転角速度(ヨーレート)を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。速度は、例えば、自車両Mの進行方向に関する縦速度または自車両Mの横方向に対する横速度のうち少なくとも一方を含む。また、加速度は、例えば、自車両Mの進行方向に関する縦加速度または自車両Mの横方向に対する横加速度の少なくとも一方を含む。車両センサ30に含まれる各センサは、検出結果を示す検出信号を車両制御装置100に出力する。
運転操作子40は、例えば、乗員が操舵操作を行うステアリングホイールや、ウィンカー(方向指示器)を作動させるウィンカーレバー、アクセルペダル、ブレーキペダル、シフトレバー等の各種操作子を含む。運転操作子40の各操作子には、例えば、乗員による操作の操作量を検出する操作検出部が取り付けられている。操作検出部は、ウィンカーレバーの位置や、アクセルペダルやブレーキペダルの踏込量、シフトレバーの位置、ステアリングホイールの操舵角や操舵トルク等を検出する。そして、操作検出部は、検出結果を示す検出信号を車両制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一方または双方に出力する。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備え、HDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ30の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キー等を含む。ナビHMI52は、HMI20と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された自車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(例えば、目的地まで走行するときの経由地に関する情報を含む)を、第1地図情報54を参照して決定する。
第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。また、第1地図情報54は、例えば、車線の中央の情報或いは車線の境界の情報等を含んでいる。また、第1地図情報54には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等が含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の基準速度、車線数、各車線の幅員、道路の勾配、道路の位置(経度、緯度、高さを含む3次元座標)、道路またはその道路の各車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識等の情報が含まれる。基準速度は、例えば、法定速度や、その道路を過去に走行した複数の車両の平均速度等である。ナビゲーション装置50は、経路決定部53により決定された経路に基づいて、ナビHMI52を用いた経路案内を行う。
BSIインジケータ60は、例えば、ドアミラーDMRの鏡面の一部に所定の画像60aを表示する。ドアミラーDMRは、例えば、運転席に最も近いドアおよび助手席に最も近いドアにそれぞれ設けられる(図中DMR1、DMR2)。所定の画像60aは、例えば、自車両Mに他車両が接近していること、または将来のある時点で接近すると推定されたことを乗員に通知するための画像である。
図3は、ドアミラーDMR1の一例を示す図である。図示の例のように、ドアミラーDMR1の鏡面の一部には、他車両が自車両Mに接近していることを示す所定の画像60aが表示される。ドアミラーDMR2についても同様に画像60aが表示される。
車両制御装置100の説明に先立って、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を説明する。走行駆動力出力装置200は、自車両Mが走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するパワーECU(Electronic Control Unit)とを備える。パワーECUは、車両制御装置100から入力される情報、或いは運転操作子40から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、車両制御装置100から入力される情報、或いは運転操作子40から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子40に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、車両制御装置100から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、車両制御装置100から入力される情報、或いは運転操作子40から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[車両制御装置の構成]
車両制御装置100は、例えば、外界認識部110と、自車位置認識部120と、他車両監視制御部130と、HMI制御部140とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素の一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、これらの構成要素は、一つのプロセッサにより実現されてもよいし、複数のプロセッサにより実現されてもよい。後者の場合、例えば、車両制御装置100は、複数のECU(Electronic Control Unit)が組み合わされたシステムであってもよい。また、自車位置認識部120は、「認識部」の一例である。
外界認識部110は、物体認識装置16を介してカメラ10、レーダ12、およびファインダ14から入力された情報に基づいて、自車両Mの周辺に存在する他車両の位置、速度、および加速度等の状態を認識する。他車両の位置は、その他車両の重心やコーナー等の代表点で表されてもよいし、他車両の輪郭で表現された領域で表されてもよい。他車両の「状態」とは、他車両の加速度やジャーク、或いは「行動状態」(例えば加速車線変更をしている、またはしようとしているか否か)を含んでもよい。また、外界認識部110は、他車両に加えて、ガードレールや電柱、駐車車両、歩行者といった他の種類の物体の状態を認識してよい。
自車位置認識部120は、GNSS(Global Navigation Satellite System)受信機(不図示)によりGNSS衛星から受信した信号に基づいて、自車両Mの位置を特定する。自車両Mの位置は、車両センサ30の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。また、自車位置認識部120は、例えば、自車両Mが走行している車線(走行車線)、並びに走行車線に対する自車両Mの相対位置および姿勢を認識する。自車位置認識部120は、例えば、カメラ10によって撮像された画像から道路の区画線LMを認識し、認識した区画線LMの中で自車両Mに最も近い2本の区画線LMにより区画された車線を走行車線として認識する。そして、自車位置認識部120は、認識した走行車線に対する自車両Mの位置や姿勢を認識する。また、自車位置認識部120は、区間線LMの数から進行方向が同じ車線の数を認識する。
図4は、自車位置認識部120により走行車線L1に対する自車両Mの相対位置および姿勢が認識される様子を示す図である。自車位置認識部120は、例えば、区画線LM〜車線LMを認識し、自車両Mに最も近い区画線LMおよびLMの間の領域を自車両Mの走行車線(自車線)L1として認識する。そして、自車位置認識部120は、自車両Mの基準点(例えば重心)の走行車線中央CLからの乖離OSを、幅方向相対位置(以下、「横位置」と称する)として認識する。なお、これに代えて、自車位置認識部120は、走行車線L1の何れかの側端部に対する自車両Mの基準点の位置等を、走行車線に対する自車両Mの横位置として認識してもよい。また、自車位置認識部120は、自車両Mの進行方向の走行車線中央CLを連ねた線に対してなす角度θを、走行車線L1に対する自車両Mの姿勢として認識する。
また、自車位置認識部120は、認識された自車両Mの位置および速度と、外界認識部110に認識された他車両またはその他の物体との位置および速度とに基づいて、自車両Mと、他車両またはその他の物体との相対距離および相対速度を認識してもよい。
また、自車位置認識部120は、例えば、自車線に隣接する隣接車線を認識してよい。例えば、自車位置認識部120は、自車線の区画線の次に自車両Mに近い区画線と、自車線の区画線との間の領域を隣接車線として認識する。図4の例では、自車位置認識部120は、自車線の区画線LMと、その区画線LMの次に自車両Mに近い区画線LMとの間の領域を右隣接車線L2として認識する。
他車両監視制御部130は、自車両Mの周囲に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行する。所定条件には、例えば、他車両が自車両Mの後側方の所定領域内に存在することが含まれる。また、所定条件には、周辺車両と自車両Mとが接近していることが含まれてもよく、周辺車両と自車両Mとが接触する可能性があることが含まれてもよい。接近するとは、相対距離が所定のペース以上で小さくなっていることをいう。所定の動作とは、例えば、乗員への通知に関する動作、または、接触回避等の運転支援に関する動作のうち一方または双方、或いはその他の動作である。また、所定領域とは、例えば、予め設定された監視領域である。
また、他車両監視制御部130は、自車位置認識部120により認識された横位置に基づいて、所定条件を変更する。他車両監視制御部130の機能の詳細については後述する。
HMI制御部140は、車両制御装置100により指示された画像をHMI20の表示装置等に出力する。また、HMI制御部140は、HMI20の表示部22や各種ボタン等により受け付けられた乗員の操作内容等を取得する。
[他車両監視制御部の構成]
次に、他車両監視制御部130の機能構成例について説明する。図5は、他車両監視制御部130の機能構成図である。他車両監視制御部130は、例えば、監視領域設定部131と、接近判定部132と、通知制御部133と、接触回避制御部134とを備える。
監視領域設定部131は、自車両Mの走行車線上の位置に基づいて、監視領域を設定する。監視領域とは、例えば、自車両Mの後側方の範囲である。図6は、監視領域の一例を示す図である。図中L1は三車線のうちの中央車線を表し、L2は三車線のうちの左側車線を表し、L3は三車線中のうちの右側車線を表している。監視領域設定部131は、自車位置認識部120により認識された自車両Mの位置情報からナビゲーション装置50の第1地図情報54を参照し、自車両Mが走行する車線数および車線の情報の情報を取得する。また、監視領域設定部131は、カメラ10の撮像画像に含まれる区分線LMの数および位置により自車両Mが走行する車線数および車線の情報を取得してもよい。
監視領域設定部131は、例えば、自車両Mが車線L1を走行する場合に、自車線L1および自車線L1の隣接車線L2およびL3上における監視領域として左右の後方領域ARLおよびARR(後側方領域)を設定する。
左後方領域ARLは、例えば、自車両Mの横位置が自車線L1の走行車線中央CLである場合に、左側のドアミラーDMR2の位置から自車両Mの進行方向に対して左方向に向けて所定の幅WL1と、ドアミラーDMR2の位置から自車両Mの後方に向けて所定の長さLLとを有する領域である。右後方領域ARRは、例えば、自車両Mの横位置が自車線L1の走行車線中央CLである場合に、右側のドアミラーDMR1の位置から自車両Mの進行方向に対して右方向に向けて幅WR1と、ドアミラーDMR1の位置から自車両Mの後方に向けて所定の長さLRとを有する領域である。上述した幅WL1は、自車両Mが自車線L1の走行車線中央CLを走行している場合には、隣接車線L2を区画する区画線のうち自車両Mから遠い方の区画線LML2に達している。また、幅WR1は、自車両Mが自車線L1の走行車線中央CLを走行している場合には、隣接車線L3を区画する区画線のうち自車両Mから遠い方の区画線LMR2に達している。
ここで、監視領域設定部131は、自車両Mの横位置が走行車線中央CLから左右の何れかに偏する場合、左後方領域ARLおよび右後方領域ARRの形態を変更する。領域の形態を変更するとは、例えば、左後方領域ARLおよび右後方領域ARRの幅または長さのうち一方または双方を変更することである。また、形態を変更するとは、左後方領域ARLおよび右後方領域ARRを拡大したり、縮小したり、上下左右の何れかの方向に所定距離だけスライド移動するといったことであってもよい
図7は、自車両Mの横位置が走行車線中央CLから左方向に偏する場合の左後方領域ARLおよび右後方領域ARRの形態が変更した様子を説明するための図である。図7の例では、自車両Mの走行中の横位置が自車線L1の走行車線中央CLから左方向に距離Dだけ偏している。この場合、監視領域設定部131は、距離Dに基づいて、左後方領域ARLの幅WL1および右後方領域ARRの幅WR1を調整する。
例えば、監視領域設定部131は、自車両Mが走行車線中央CL上を走行中の幅WL1から距離Dを減算した値を、左後方領域ARLの幅WL2として設定する。また、監視領域設定部131は、自車両Mが走行車線中央CL上を走行中の幅WR1から距離Dを加算した値を、右後方領域ARRの幅WR2として設定する。
このように、監視領域設定部131は、自車両Mの横位置が偏している側と同じ側の監視領域を小さく変更し、反対側の監視領域を大きく変更する。また、監視領域設定部131は、自車両Mの左右の後側方にそれぞれ設定される監視領域が、自車両Mの自車線L1に隣接する車線L2およびL3を幅方向に関してカバーするように、監視領域の形態を変更する。したがって、実施形態では、自車線L1上における自車両Mの横位置に基づいて、後側方の監視領域を変更することで、自車両Mの左側については、自車線L1の二車線左隣りの車線(左隣隣接車線)を走行する他車両を監視領域にすることを抑制することができ、自車両Mの右側については、車線L3を走行する他車両の検出漏れを抑制することができる。
なお、図7の例では、左後方領域ARLの長さLLおよび右後方領域ARRの長さLRは、自車両Mが走行車線中央CL上を走行している場合と、走行車線中央CLから左方向に偏する位置を走行している場合とで調整を行っていないが、偏する距離Dに基づいて長さを調整してもよい。
また、監視領域設定部131は、自車位置認識部120により認識された車線数が三車線以上ある場合に、自車両Mが走行する走行車線の位置に基づいて上述した左後方領域ARLおよび右後方領域ARRの形態の変更を行ってもよい。図8は、三車線の道路を走行する場合に右後方領域の形態が変更されることについて説明するための図である。図8の例では、自車両Mが三車線のうち左側の車線L2を走行し、他車両V1が三車線のうち右側の車線L3を走行しているものとする。
監視領域設定部131は、取得した車線数が三車線以上であり、且つ、自車両Mが走行している車線の隣隣接車線が存在すると判定された場合に、左後方領域ARLおよび右後方領域ARRの形態の変更を行う。
例えば、図8に示すように、自車両Mが車線L2を走行している場合には、右後方領域ARRが隣隣接車線L3まで跨ってしまい、隣接車線L3を走行する他車両V1が誤検知されてしまう可能性がある。そこで、監視領域設定部131は、自車両Mが車線L2を走行している場合には、右後方領域ARRの幅WR2を短くした幅WR2’を設定する。幅WR2’は、隣接車線L1の右側の区画線LMR1を超えない幅である。自車両Mから区画線LMR1までの距離は、例えば、物体認識装置16または外界認識部110により認識される。また、幅WR2’は、他車両V1が車線L3の左側を走行することで監視対象とならないように、区画線LMR1までの長さよりも短くしてもよい。これにより、隣接車線のみを監視対象にすることができる。また、図8の例では、左後方領域ARLの説明を省略しているが、監視領域設定部131は、左後方領域ARLについても、車線L2の左側の区画線LMR2までの距離に基づいて領域の形態を変更してもよい。なお、監視領域設定部131は、走行車線が一車線または二車線の場合にも、左後方領域ARLおよび右後方領域ARRが設定されてよい。
接近判定部132は、外界認識部110により認識された他車両のうち、左後方領域ARLまたは右後方領域ARRを走行する他車両が存在するか否かを判定する。左後方領域ARLまたは右後方領域ARRを走行する他車両が存在すると判定された場合、接近判定部132は、通知制御部133に通知させる。
また、接近判定部132は、左後方領域ARLまたは右後方領域ARRに存在する他車両の相対距離および相対速度から他車両が自車両Mと接触する可能性があるか否かを判定する。例えば、接近判定部132は、左後方領域ARLまたは右後方領域ARRに存在する他車両の相対距離および相対速度に基づいて、相対距離が所定値以内の他車両に対し、自車両Mとの接触が発生するまでの予測時間(余裕時間)TTCを算出する。TTCは、例えば、相対距離を相対速度で除算(相対距離/相対速度)することで算出される。そして、接近判定部132は、TTCが閾値以下になった場合に、その他車両と接触する可能性があると判定する。他車両と接触する可能性があると判定された場合、接近判定部132は、通知制御部133による通知制御を実行したり、接触回避制御部134による接触回避制御を実行する。
また、接近判定部132は、例えば、左後方領域ARLまたは右後方領域ARRに複数の他車両が存在する場合に、自車両Mに最も近い他車両を監視対象として特定し、特定した他車両に対して接近判定を行う。図9は、右後方領域ARR内に複数の他車両V1,V2が存在する様子を説明するための図である。
例えば、三車線の左側の車線L2を走行している自車両Mが、車線中央から右側(中央車線L1側)に偏った場合、右後方領域ARRが隣隣接車線L3まで跨ってしまう場合がある。その場合、車線L1を走行する他車両V1だけでなく、車線L3を走行する他車両V2までも監視対象となってしまう。そこで、接近判定部132は、右後方領域ARRに存在する複数の他車両のうち、最も近い他車両を特定し、特定した他車両を監視対象車両として接近判定を行う。
また、接近判定部132は、自車両Mの周囲を走行する他車両の相対距離の分布を予め学習しておき、自車両Mの位置の特定が難しい場合に、学習した分布に基づいて、監視対象の他車両を特定してもよい。図8の例において、接近判定部132は、周辺車両V1を監視対象車両として接近判定を行う。
通知制御部133は、例えば、接近判定部132による判定結果に基づいて、所定の通知を車載機器から出力させる。所定の通知とは、例えば、表示部22による画像表示、スピーカ24による警報、運転操作子40の一例であるステアリングホイールの振動、BSIインジケータ60による所定の画像60aの表示等である。また、車載機器とは、例えば、HMI20、運転操作子40、BSIインジケータ60等である。通知制御部133の機能の詳細については、後述する。
接触回避制御部134は、接近判定部132による判定結果に基づいて、他車両との接触を回避するために自車両Mの操舵および速度を制御する運転支援を行う。例えば、接触回避制御部134は、車線変更時に、車線変更先の車線を走行する他車両と接触する可能性があると推定された場合に、自車両Mを自車線から逸脱させないように操舵を制御する車線逸脱抑制制御を実行し、接触回避の運転支援を行う。なお、車線逸脱抑制制御では、操舵の制御に加えて自車両Mの速度を制御してもよい。
接触回避制御部134は、例えば、操舵制御部134Aと、速度制御部134Bとを備える。操舵制御部134Aは、接近判定部132により他車両と接触する可能性があると推定される他車両が存在する場合に、自車両Mが他車両との接触を回避するように、ステアリングホイールの操舵角や操舵トルクの制御量を調整し、調整された制御量を、ステアリング装置220に出力する。
速度制御部134Bは、接近判定部132により他車両と接触する可能性があると推定される他車両が存在する場合に、自車両Mが他車両との接触を回避するように、アクセルペダルやブレーキペダルの踏込量を調整し、調整された制御量を、走行駆動力出力装置200およびブレーキ装置210に出力する。
[運転支援制御の実行場面例]
以下、車両制御装置100によって運転支援制御が実行される場面例について説明する。図10は、隣接車線上において他車両VRSが自車両Mの後側方から接近してきている場面における運転支援制御の制御内容について説明するための図である。図中では、車線L1を走行する自車両Mと車線L2を走行する他車両VRSの各時刻t0〜t5における走行位置と、それぞれの時刻における自車両Mの車載機器の制御内容を示している。具体的には、自車両Mの車載機器の制御内容として、BSIインジケータ60の作動状態、ステアリングホイールの振動有無、スピーカ24の音声出力有無、表示部22の出力有無、ステアリングホイールにおける反力の出力有無を示している。
本実施形態において、監視領域設定部131は、時刻t0〜t5における自車両Mの自車線L1の横位置に基づいて自車両Mの後側方の監視領域ARL、ARRが設定される。なお、図10の例では、時刻t=0における左後方領域ARLを示している。図10の例では、監視領域設定部131により、自車両Mの車線L1における横位置に基づいて、隣隣接車線である車線L3が含まれないような左後方領域ARLが設定されている。
例えば、図中の時刻t0は、自車両Mの左後方領域ARLに他車両VRSが存在することを検出した時刻を示している。この場合、通知制御部133は、BSIインジケータ60を作動させてドアミラーDMR2の鏡面の一部に所定の画像60aを表示させる(図10の(点灯))。これにより、自車両Mの乗員に後側方から他車両VRSが接近していることを通知することができる。
また、時刻t1は、乗員が車線変更を行うために、運転操作子40の一例であるウィンカーレバーを操作して、自車両Mのウィンカーが作動した時刻を示している。この場合、自車両Mの乗員が他車両VRSの存在を認識せずに車線変更を指示していることが想定される。したがって、通知制御部133は、自車両Mが区画線に近づいていない場合であっても、時刻t1の時点で、第1の警報出力として、BSIインジケータ60を制御して、ドアミラーDMR2の鏡面に表示させた所定の画像60aを点滅させる(図10の(点滅))。また、通知制御部133は、第1の警報出力として、所定の画像60aを点滅させるタイミングで、スピーカ24に警報音を所定回数(図示の例では3回)出力させる。これによって、車線変更を指示した乗員に、ウィンカーが作動する前と比べてより強く注意を促すことができる。
また、時刻t1において、接近判定部132は、他車両VRSとの距離xが閾値X以下であるか、または、他車両VRSが左後方領域ARL内に存在し、且つTTC(x/v2)が第1閾値TTC1以下であるか否かを判定し、上記の条件を満たし、且つウィンカーが作動している場合に、通知制御部133は、上述した所定の画像60aの点滅および警報音の出力を行ってもよい。
時刻t2は、乗員が車線変更を行うために、ステアリングホイールを操作して、自車両Mを車線L1から車線L2に移動させようとしている時刻を示している。ここで、図11は、時刻t2における自車両Mの走行の様子を説明するための図である。図中LMは、自車線L1を区画する2つの区画線のうち、進行方向左側の区画線を表し、LMは、自車線L1を区画する2つの区画線のうち、進行方向右側の区画線を表している。図示の例では、左側の車線L2を走行する他車両VRSが、自車両Mから所定の距離以内に存在していることを表している。
例えば、接近判定部132は、区画線LMと自車両Mの重心との距離dが第1距離閾値D1以下となるまで自車両Mが区画線LMに近づいたか否かを判定する。これに代えて、接近判定部132は、自車両Mが区画線を跨ぐまでの時間である車線逸脱推定時間TTLC(Time To Lane Crossing)が予め決められた第1時間閾値TTLC1以下であるか否かを判定してもよい。距離dが第1距離閾値D1以下となるまで自車両Mが区画線LMに近づいたと判定された場合、または、TTLCがTTLC1以下であると判定された場合、接近判定部132は、接触回避制御部134による接触回避制御を実行する前の事前制御として、ステアリングホイールに設けられたバイブレータを作動させてステアリングホイールを振動させる(図10のSTR振動)。これによって、乗員にステアリングホイールを操作させて、車線L1内を走行するように促すことができる。
時刻t3は、ステアリングホイールを振動させた後、ステアリングホイールに対して乗員の操作がなく(操舵角や操舵トルクが閾値未満であり)、区画線LMと自車両Mとの距離dが第1距離閾値D1よりも小さい第2距離閾値D2以下となるまで自車両Mが更に区画線LMに近づいた時刻を示している。また、時刻t3は、ステアリングホイールを振動させた後に所定時間が経過した時刻であってもよい。この場合、接触回避制御部134は、ステアリングホイールの振動を停止し、接触回避制御として、自車両Mが車線中央側へと復帰するように車線逸脱抑制制御を行う。第2距離閾値D2は、第1距離閾値D1と同様に、自車線を区画する区画線を基準に車線中央側へと、予め決められた長さを取ったときの車幅方向の距離である。例えば、第2距離閾値D2は、上方から見て、第2距離閾値D2以下となるまで自車両Mが区画線に近づいた場合、その自車両Mの車体の一部が区画線を越える程度の距離に設定される。
また、接近判定部132は、距離dを自車両Mの横速度v1で除算した車線逸脱推定時間TTLC(=d/v1)が、第2時間閾値TTLC2以下であるか否かを判定してもよい。車線逸脱推定時間TTLCが第2時間閾値TTLC2以下である場合、接触回避制御部134は、自車両Mが車線中央側へと復帰するように操舵制御を行う。第2時間閾値TTLC2は、例えば、第1時間閾値TTLC1よりも短い時間に設定されてよい。
また、通知制御部133は、第2の警報出力として、スピーカ24から警報音を出力させると共に、自車両Mと他車両VRSとが接近していることを示す画像を表示部22に表示させる(図10のMID(Multi Information Display)表示)。また、操舵制御部134Aは、ステアリングホイールに反力を出力してもよい(図10のSTR支援))。
時刻t4では、接触回避制御によって、自車両Mが自車線L1に復帰した時刻を示している。このような場合、自車両Mが自車線に復帰してから所定時間が経過した時点、或いは自車両Mが所定距離を走行した時点(図10の時刻t5)で、通知制御部133は、BSIインジケータ60の作動による画像60aの点滅表示を停止させると共に、MID表示の通知制御を終了する。また、接触回避制御部134は、車線逸脱抑制制御等の接触回避制御を終了する。
[処理フロー]
図12は、実施形態の車両制御処理の流れの一例を示すフローチャートである。例えば、本フローチャートの処理は、所定の周期或いは所定のタイミングで繰り返し実行されてよい。まず、自車位置認識部120は、自車両Mの走行車線における横位置を認識する(ステップS100)。次に、他車両監視制御部130は、自車位置認識部120により認識された横位置に基づいて、後側方領域の形態を変更する(ステップS102)。
次に、他車両監視制御部130は、後側方領域に他車両が存在するか否かを判定する(ステップS104)。後側方領域に他車両が存在する場合、通知制御部133は、乗員に対してその旨を示す通知を行う(ステップS106)。次に、他車両監視制御部130は、自車両Mと他車両とが接触する可能性があるか否かを判定する(ステップS108)。自車両Mと他車両とが接触する可能性がある場合、接触回避制御部134は、自車両Mと他車両とが接触するのを回避するための運転支援(接触回避制御)を実行する(ステップS110)。これにより、本フローチャートの処理は、終了する。なお、ステップS104の処理において、後側方領域に他車両が存在しない場合、または自車両Mと他車両とが接触する可能性がない場合、本フローチャートを終了する。
図13は、実施形態の車両制御処理の詳細な流れの一例を示すフローチャートである。まず、他車両監視制御部130は、本実施形態における自車両Mの車両制御に必要な指標を導出する(ステップS200)。ステップS200の処理では、例えば、自車両Mの横位置を算出したり、自車両Mと車線の区画線までの距離dを算出したり、自車両Mの横速度v1を算出したり、自車両Mと他車両(例えば、後側方車両)との距離xを算出したり、自車両Mと他車両との相対速度v2を算出することである。
次に、監視領域設定部131は、自車両Mの横位置に基づいて、後側方領域を設定する(ステップS202)。次に、接近判定部132は、他車両との距離xが閾値X以下であるか、またはTTC(x/v2)が第1閾値TTC1以下であるか否かを判定する(ステップS204)。他車両との距離xが閾値X以下ではなく、且つ、他車両が後側方領域内でTTC(x/v2)が第1閾値TTC1以下ではない場合、ステップS200の処理に戻る。
また、他車両との距離xが閾値X以下であるか、または後側方領域内でTTC(x/v2)が第1閾値TTC1以下である場合、接近判定部132は、ウィンカーが作動しているか否かを判定する(ステップS206)。ウィンカーが作動している場合、通知制御部133は、第1の警報を出力する(ステップS208)。また、ステップS206の処理において、ウィンカーが作動していない場合、または、ステップS208の処理後、接近判定部132は、自車両Mと区画線との距離dが閾値D1以下、または、TTLC(d/v1)が第1閾値TTLC1以下であるか否かを判定する(ステップS210)。自車両Mと区画線との距離dが閾値D1以下ではなく、且つ、TTLC(d/v1)がTTLCの第1閾値TTLC1以下ではない場合に、ステップS200の処理に戻る。また、自車両Mと区画線との距離dが閾値D1以下であるか、またはTTLC(d/v1)がTTLCの第1閾値TTLC1以下である場合、通知制御部133は、第2の警報を出力する(ステップS212)。
次に、接近判定部132は、距離dが第2距離閾値D2以下となるまで、または車線逸脱推定時間TTLC(=d/v1)が第2時間閾値TTLC2以下となるまで待機し(ステップS214)、距離dが第2距離閾値D2以下となったとき、またはTTLCが第2時間閾値TTLC2以下となったときに接触回避制御の一例として、車線逸脱抑制制御を実行する(ステップS216)。なお、ステップS214の処理では、例えば、距離dが第1距離閾値D1以上になった場合等に、ステップS200の処理に戻る、或いは本フローチャートの処理を終了するといった処理を行ってもよい。
[変形例]
ここで、上述した実施形態の車両制御装置100の変形例について説明する。例えば、他車両監視制御部130の監視領域設定部131は、カメラ10で撮影された画像から自車両Mが走行する自車線の幅を抽出する。そして、監視領域設定部131は、抽出した自車両の幅に基づいて自車線の隣接車線の幅を推定し、推定した隣接車線の幅に基づいて、自車両Mの後側方領域の形態を変更してもよい。これにより、カメラ10とレーダ12の簡素な構成により、自車両Mの後側方領域の形態を変更することができる。
また、他車両監視制御部130の接近判定部132は、左後方領域ARLまたは右後方領域ARRに複数の他車両が存在する場合に、それぞれの他車両の車速を比較し、車速が速い方の他車両を監視対象車両として特定してもよい。これにより、自車両Mと短時間で接近または接触する可能性がある他車両を対象に接近または接触する可能性の有無の判定等を行うことができる。
また、接近判定部132は、左後方領域ARLまたは右後方領域ARRに複数の他車両が存在する場合に、それぞれの他車両の挙動に基づいて、監視対象の車両を特定してもよい。例えば、接近判定部132は、他車両の挙動として、ウィンカーの作動状態や進行方向を認識し、自車両Mが走行している方向に対応する方向のウィンカーが作動し、且つ、進行方向が自車両M側に向いている他車両を、監視対象の車両として特定する。これにより、自車両Mに接近する可能性の高いと推定される他車両を監視対象として接近または接触する可能性の有無の判定等を行うことができる。
以上説明した実施形態によれば、自車両Mの横位置に基づいて、後側方領域の形態を変更することで、自車両の後側方において適切な範囲の他車両を検出することができる。また、実施形態によれば、自車両Mが自車線の中央を走行していない場合であっても自車線の隣隣接車線を走行する他車両の誤検出を抑制したり、隣接車線を走行する他車両の検出漏れを抑制したりすることができる。これにより、例えば、隣隣接車線の車両に対して警報や接触回避制御等を作動させてしまう誤作動を抑制することができる。また、レーダの角度を補正するための物理的な装備を必要とせずにソフトウェア上での監視範囲の調整が可能となる。
[ハードウェア構成]
上述した実施形態の車両制御装置100は、例えば、図14に示すようなハードウェア構成により実現される。図14は、実施形態の車両制御装置100のハードウェア構成の一例を示す図である。
車両制御装置100は、通信コントローラ100−1、CPU100−2、RAM(Random Access Memory)100−3、ROM(Read Only Memory)100−4、フラッシュメモリやHDD等の記憶装置100−5、およびドライブ装置100−6が、内部バス或いは専用通信線によって相互に接続された構成となっている。ドライブ装置100−6には、光ディスク等の可搬型記憶媒体が装着される。記憶装置100−5に格納されたプログラム100−5a、或いはドライブ装置100−6に装着された可搬型記憶媒体に格納されたプログラムがDMA(Direct Memory Access)コントローラ(不図示)等によってRAM100−3に展開され、CPU100−2によって実行されることで、車両制御装置100のそれぞれの機能が実現される。CPU100−2が参照するプログラムは、例えば、インターネット等のネットワークを介して他の装置からダウンロードされてもよい。
上記実施形態は、以下のように表現することができる。
情報を記憶する記憶装置と、
プログラムを実行するハードウェアプロセッサと、を備え、
前記記憶装置には、前記ハードウェアプロセッサに、
自車両が走行する車線に対する前記自車両の横位置を認識する認識処理と、
前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行する他車両監視制御処理であって、前記認識処理により認識された前記横位置に基づいて、前記所定条件を変更する他車両監視制御処理と、
を実行させるための前記プログラムが格納される、
車両制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両制御システム、10…カメラ、12…レーダ、14…ファインダ、16…物体認識装置、20…HMI、30…車両センサ、40…運転操作子、50…ナビゲーション装置、60…BSIインジケータ、100…車両制御装置、110…外界認識部、120…自車位置認識部、130…他車両監視制御部、131…監視領域設定部、132…接近判定部、133…通知制御部、134…接触回避制御部、140…HMI制御部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置

Claims (10)

  1. 自車両が走行する車線に対する前記自車両の横位置を認識する認識部と、
    前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行する他車両監視制御部であって、前記認識部により認識された前記横位置に基づいて、前記所定条件を変更する他車両監視制御部と、
    を備える車両制御装置。
  2. 前記所定条件は、前記他車両が前記自車両の後側方に設定される所定領域内に存在することを含み、
    前記他車両監視制御部は、前記横位置に基づいて前記所定領域の形態を変更する、
    請求項1に記載の車両制御装置。
  3. 前記所定領域は、前記自車両の左右の後側方にそれぞれ設定され、
    前記他車両監視制御部は、前記横位置が偏している側と同じ側の前記所定領域を小さく変更し、反対側の所定領域を大きく変更する、
    請求項2記載の車両制御装置。
  4. 前記他車両監視制御部は、前記自車両の左右の後側方にそれぞれ設定される前記所定領域が、前記自車両が走行する車線に隣接する車線を幅方向に関してカバーするように、前記所定領域の形態を変更する、
    請求項2または3記載の車両制御装置。
  5. 前記他車両監視制御部は、前記所定領域に複数の他車両が存在する場合に、前記自車両に最も近い他車両を監視対象とする、
    請求項2から4のうち何れか1項に記載の車両制御装置。
  6. 前記認識部は、前記自車両が走行する車線数を認識し、
    前記他車両監視制御部は、前記認識部により認識された車線数が三車線以上である場合に、前記認識部により認識された前記横位置に基づいて、前記所定領域の形態を変更する、
    請求項2から5のうち何れか1項に記載の車両制御装置。
  7. 地図情報が記憶された記憶装置と、
    前記記憶装置に記憶された地図情報に基づいて前記自車両の目的地までの経路に関する情報を出力するナビゲーション装置と、を更に備え、
    前記他車両監視制御部は、前記地図情報から前記自車両が走行する車線数を取得し、取得した車線数が三車線以上である場合に、前記認識部により認識された前記横位置に基づいて、前記所定領域の形態を変更する、
    請求項2から6のうち何れか1項に記載の車両制御装置。
  8. 前記自車両が走行する車線を撮像する撮像部を更に備え、
    前記他車両監視制御部は、前記撮像部により撮像された画像から前記自車両が走行する車線の隣接車線の幅を推定し、推定した隣接車線の幅に基づいて、前記所定領域の形態を変更する、
    請求項2から7のうち何れか1項に記載の車両制御装置。
  9. 車載コンピュータが、
    自車両が走行する車線に対する前記自車両の横位置を認識し、
    前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行し、
    認識された前記横位置に基づいて、前記所定条件を変更する、
    車両制御方法。
  10. 車載コンピュータに、
    自車両が走行する車線に対する前記自車両の横位置を認識させ、
    前記自車両の後側方に存在する他車両の状態が所定条件を満たす場合に所定の動作を実行させ、
    認識された前記横位置に基づいて、前記所定条件を変更させる、
    プログラム。
JP2017172430A 2017-09-07 2017-09-07 車両制御装置、車両制御方法、およびプログラム Expired - Fee Related JP6592852B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017172430A JP6592852B2 (ja) 2017-09-07 2017-09-07 車両制御装置、車両制御方法、およびプログラム
CN201810984113.8A CN109466542B (zh) 2017-09-07 2018-08-27 车辆控制装置、车辆控制方法及存储介质
US16/114,282 US20190073540A1 (en) 2017-09-07 2018-08-28 Vehicle control device, vehicle control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017172430A JP6592852B2 (ja) 2017-09-07 2017-09-07 車両制御装置、車両制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019049774A true JP2019049774A (ja) 2019-03-28
JP6592852B2 JP6592852B2 (ja) 2019-10-23

Family

ID=65517573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017172430A Expired - Fee Related JP6592852B2 (ja) 2017-09-07 2017-09-07 車両制御装置、車両制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20190073540A1 (ja)
JP (1) JP6592852B2 (ja)
CN (1) CN109466542B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020175797A (ja) * 2019-04-19 2020-10-29 マツダ株式会社 車両制御装置
JP2021039690A (ja) * 2019-09-05 2021-03-11 日産自動車株式会社 車両運転支援方法及び車両運転支援システム
JP2022011941A (ja) * 2020-06-30 2022-01-17 ダイハツ工業株式会社 運転支援装置
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
WO2023162559A1 (ja) * 2022-02-24 2023-08-31 株式会社デンソー 周辺監視装置及びプログラム
JP2023182401A (ja) * 2022-06-14 2023-12-26 本田技研工業株式会社 移動体制御装置、移動体制御方法、およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11934191B2 (en) * 2019-07-05 2024-03-19 Huawei Technologies Co., Ltd. Method and system for predictive control of vehicle using digital images
US11648900B2 (en) * 2020-07-27 2023-05-16 Robert Bosch Gmbh Off-zone crash detection using lateral accelerations at different positions in a vehicle
DE102020120726A1 (de) * 2020-08-06 2022-02-10 Valeo Schalter Und Sensoren Gmbh Totwinkelwarnung
JP2022157398A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 車両用制御装置および車両制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
JP5463919B2 (ja) * 2010-01-07 2014-04-09 マツダ株式会社 車両の後側方警報装置
JP2013109446A (ja) * 2011-11-18 2013-06-06 Mitsubishi Motors Corp 車線変更支援装置
JP2015215746A (ja) * 2014-05-09 2015-12-03 クラリオン株式会社 接近車両検出装置
KR101551215B1 (ko) * 2014-05-28 2015-09-18 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US9934690B2 (en) * 2014-06-19 2018-04-03 Hitachi Automotive Systems, Ltd. Object recognition apparatus and vehicle travel controller using same
JP6226919B2 (ja) * 2015-07-10 2017-11-08 本田技研工業株式会社 緊急時車両制御装置
KR101778558B1 (ko) * 2015-08-28 2017-09-26 현대자동차주식회사 물체 인식 장치, 그를 가지는 차량 및 그 제어 방법
US10007271B2 (en) * 2015-12-11 2018-06-26 Avishtech, Llc Autonomous vehicle towing system and method
KR101843538B1 (ko) * 2015-12-16 2018-03-30 엘지전자 주식회사 차량 운전 보조장치 및 이의 차량 운전 보조방법
US11423783B2 (en) * 2016-08-30 2022-08-23 Hyundai Motor Company Apparatus and method for implementing LCDAS
JP6593607B2 (ja) * 2017-03-07 2019-10-23 トヨタ自動車株式会社 車両制御装置
JP7108916B2 (ja) * 2018-03-13 2022-07-29 パナソニックIpマネジメント株式会社 車両制御装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020175797A (ja) * 2019-04-19 2020-10-29 マツダ株式会社 車両制御装置
JP2021039690A (ja) * 2019-09-05 2021-03-11 日産自動車株式会社 車両運転支援方法及び車両運転支援システム
JP2022011941A (ja) * 2020-06-30 2022-01-17 ダイハツ工業株式会社 運転支援装置
US20220128995A1 (en) * 2020-10-22 2022-04-28 Waymo Llc Velocity estimation and object tracking for autonomous vehicle applications
WO2023162559A1 (ja) * 2022-02-24 2023-08-31 株式会社デンソー 周辺監視装置及びプログラム
JP2023182401A (ja) * 2022-06-14 2023-12-26 本田技研工業株式会社 移動体制御装置、移動体制御方法、およびプログラム

Also Published As

Publication number Publication date
JP6592852B2 (ja) 2019-10-23
US20190073540A1 (en) 2019-03-07
CN109466542A (zh) 2019-03-15
CN109466542B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
JP6662828B2 (ja) 運転支援システム、運転支援装置および運転支援方法
JP6592852B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6613527B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP6646168B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2018216194A1 (ja) 車両制御システムおよび車両制御方法
US20190071075A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2019043169A (ja) 車両制御システム、車両制御方法、およびプログラム
JP6676196B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019043432A (ja) 車両制御システム、車両制御方法、およびプログラム
JP6843819B2 (ja) 交通案内物認識装置、交通案内物認識方法、およびプログラム
JP2018167699A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JPWO2018123344A1 (ja) 車両制御装置、車両制御方法、及びプログラム
US11200806B2 (en) Display device, display control method, and storage medium
JP6811308B2 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
WO2019069425A1 (ja) 車両制御装置、車両制御方法、およびプログラム
JPWO2018179359A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JP2019197467A (ja) 車両制御装置
WO2018123346A1 (ja) 車両制御装置、車両制御方法、及びプログラム
JP2020163903A (ja) 表示制御装置、表示制御方法、及びプログラム
JP7183438B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP2021131775A (ja) 車両の運転支援システム
CN116802709A (zh) 显示控制装置和显示控制方法
JP7304334B2 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2019049808A (ja) 情報表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190905

R150 Certificate of patent or registration of utility model

Ref document number: 6592852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees