JP7374057B2 - 信号処理装置 - Google Patents

信号処理装置 Download PDF

Info

Publication number
JP7374057B2
JP7374057B2 JP2020155075A JP2020155075A JP7374057B2 JP 7374057 B2 JP7374057 B2 JP 7374057B2 JP 2020155075 A JP2020155075 A JP 2020155075A JP 2020155075 A JP2020155075 A JP 2020155075A JP 7374057 B2 JP7374057 B2 JP 7374057B2
Authority
JP
Japan
Prior art keywords
positional relationship
unit
vehicle
information
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020155075A
Other languages
English (en)
Other versions
JP2022049052A (ja
Inventor
英彰 城戸
竜彦 門司
寛知 齋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2020155075A priority Critical patent/JP7374057B2/ja
Priority to US18/003,575 priority patent/US20230260147A1/en
Priority to PCT/JP2021/026140 priority patent/WO2022059314A1/ja
Publication of JP2022049052A publication Critical patent/JP2022049052A/ja
Application granted granted Critical
Publication of JP7374057B2 publication Critical patent/JP7374057B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、自動運転や高度安全運転支援システムにおいて高度に周辺環境を理解するシステムに好適な信号処理装置に関する。
自動運転や高度安全運転支援システムの実現においては、外界を監視し、障害物やレーン情報など自車走行に必要な物体を検知するセンサの重要性が高まっている。
特に、検知性能を高めるために自車に搭載されているセンサを複数組み合わせてシステム全体の性能を上げる技術がある。例えば、カメラによる検出結果は一般的に、検出した物体までの方向の精度は比較的高いが、距離の精度が低いことで知られる。一方、ミリ波レーダによる検出結果は、距離の精度は高いが、方向の精度が低いことで知られる。そのため、カメラとミリ波レーダの検出結果を組み合わせることでそれぞれ精度の高い検出結果を採用したり、確率的に合成するセンサフュージョンの技術を利用することで、システムとしての性能を上げる技術が知られている。
このようなシステムを用いた機能の中でも重要なものとして、検出された車両や歩行者が自車の進行路上にいるか否かの判断が挙げられる。例えば前方車両に追従するACC(Active Cruise Control)については、前方の車両と周辺の白線の検知状況を判断し、自車が追従する車両を選択する必要がある。前方の車両が自車線にいるか否かの判断を誤ると、隣接車線の車両に追従したり前方に車両が存在するのに加速するなど誤った加減速をしてしまう可能性がある。目の前に障害物がいる際に作動するAEB(Automatic Emergency Braking)についても同様のことがいえる。
例えば、特許文献1においては、カメラとレーダ測距装置を用いて検知した周辺の状況に基づき、他車が走行路や隣接車線のどこにいるかを判断する技術が開示されている。
特許第5145986号公報
センサフュージョンにおいては、各センサの特性があり、あるセンサで検出できても他のセンサでは検出できないという検出物体に対する非対称性が存在する。例えば、カメラでは車両や白線は検出できるが、ミリ波レーダでは車両を検出できる一方、白線の検出は難しい。また、物体までの測定距離に関しても、測定原理に基づく差異が存在する。例えば一般的にカメラは、検出物体までの方向についてはミリ波レーダに比べて比較的正確である。しかし、検出物体までの距離精度という観点では、ミリ波レーダの方がカメラに比べて優位である。そのため、センサフュージョンを実施する際には、お互いのセンサ特性を生かし、ある車両をミリ波レーダとカメラで検出した場合に、距離はミリ波レーダを採用し、方向に関してはカメラを採用するなどする。
しかし、カメラとミリ波レーダについては検出できる物体に対して前述するように差異が存在するため、車両に対してはフュージョン後により正しい距離が求まったとしても、白線に関してはミリ波レーダでの検出は対象外であるために、フュージョン対象とするデータが無い。そのため、カメラで検出された白線の位置とフュージョンされた車両の位置に基づいて両者の相対関係を判定すると、カメラのみで判定した場合に比べて判断を誤る場合がある。つまり、複数のセンサにおいて検出対象物が異なるため、非共通の検出対象物の位置と、共通する検出対象物のフュージョン後の位置の相対関係を如何にして正しく求めるかが課題である。
本発明は、上記課題に鑑みてなされたもので、その目的とするところは、複数のセンサにおいて検出対象物が異なる場合であっても、非共通の検出対象物とフュージョン後に共通する検出対象物との相対関係を正しく求めることができる信号処理装置を提供することにある。
上記課題を解決するため、本発明による信号処理装置は、撮像装置で撮像された画像から、第一の物体と第二の物体を認識し、前記第一の物体と前記第二の物体との間の第一の位置関係を記憶し、前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体の情報と、前記撮像装置で撮像された画像に基づき認識された前記第一の物体の情報とから、前記第一の物体の位置を求め、求められた前記第一の物体と、前記撮像装置で撮像された画像に基づき認識された前記第二の物体との間の第二の位置関係を求め、前記第一の位置関係と前記第二の位置関係を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定することを特徴とする。
本発明によれば、複数のセンサにおいて検出対象物が異なる場合であっても、非共通の検出対象物とフュージョン後に共通する検出対象物との相対関係を正しく求めることができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明による信号処理装置の一実施形態である移動体制御装置を含む車両制御システムを説明する図。 前方車両追従システムにおいて白線と前方車両の位置関係を説明する図。 本発明による信号処理装置の一実施形態である移動体制御装置の全体構成を説明する図。 図3の具体的な例で進行路内判定機能を持つ構成を説明する図。 図4に対して信頼性判定機能を持つ構成を説明する図。 図4に対して立体物の相対関係を算出する構成を説明する図。 立体物の相対関係の算出例を説明する図。 相対関係に基づく異常検知機能を持つ構成例を説明する図。 LIDAR装置が加わる場合の構成例を説明する図。 車両制御システムにおいて道路領域と物体の関係を説明する図。 道路領域との相対関係を算出する構成例を説明する図。
以下に、本発明を実施する形態を図面を参照して説明する。なお、発明を実施する形態を説明するための各図面において、同一の機能を有する部分には同一の符号を付し、その繰り返しの説明は省略する。
物体を検出するセンサとして撮像装置(カメラ等)とレーダ装置(ミリ波レーダ等)を用いた車両制御システムを図1に示す。
撮像装置301とレーダ装置305は移動体としての車両(以下、自車と称する場合がある)201に搭載され、例えば自車201の前方の物体200を検出し、物体200までの距離や相対速度を計測して移動体制御装置300に送信する。移動体制御装置300は、その物体200までの距離や相対速度からブレーキやアクセルの制御を決定し、車両201を制御する。もしくは検出した物体200の危険度や意味に応じて、ドライバにその情報を警告音やディスプレイを通じて通知する。
車両制御システムの機能の中の前方車両追従システム(ACCとも称する)を図2に示す。自車201に搭載された撮像装置301とレーダ装置305は前方車両202、203を検出する。撮像装置301はほかに自車前方に引かれた白線群204を検出し、自車201が進行する領域(レーン)を推定する。移動体制御装置300は、このレーンと、撮像装置301、もしくはレーダ装置305によって検出された物体202、203との相対関係を用いて、前方にいるどの車両に追従するか、もしくはどの車両にも追従しないかを決定する。図2上では前方車両202が自車201のレーン(自車線とも称する)上にいる車両となるため、前方車両202を追従対象として追従する。逆に前方車両203は自車201のレーン上には無いため、追従対象とはならない。別例として205のような前方車両がいないケースの場合、追従対象は無い。
[移動体制御装置300]
本発明を実施する信号処理装置の一実施形態である移動体制御装置300の全体構成を図3に示す。移動体制御装置(信号処理装置)300は、主に、撮像装置301で撮像された画像を解析する画像解析部302、レーダ装置305(撮像装置301とは異なるセンサ)から得られた情報を解析するレーダ解析部306、画像解析部302とレーダ解析部306から得られた情報を統合して最終的な結果を決定及び出力するセンサフュージョン部309を備える。
(画像解析部302)
撮像装置301はその画像信号を移動体制御装置300の画像解析部302に送信する。画像解析部302は、その画像から車両・歩行者・標識・白線などの物体(ないし物体群)を第1物体検出部303(以下、単に物体検出部303と記載する)で検出(認識)する。画像解析部302は、物体検出部303で検出された物体同士の相対関係を保存(記憶)する第1物体間相対関係算出部304(以下、単に物体間相対関係算出部304と記載する)を備える。例えば、ここで保存する物体間の相対関係とは、図2で示したように、検出された車両が自車レーンの内外のどちらにあるかといった情報や検出された物体同士の相対距離や相対速度を含む。
(レーダ解析部306)
同様に、レーダ装置305はそのレーダ信号を移動体制御装置300のレーダ解析部306に送信する。レーダ解析部306は、そのレーダ信号から車両や歩行者などの物体(ないし物体群)を第2物体検出部307(以下、単に物体検出部307と記載する)で検出(認識)する。レーダ解析部306は、物体検出部307で検出された物体同士の相対関係を保存(記憶)する第2物体間相対関係算出部308(以下、単に物体間相対関係算出部308と記載する)を備える。
(センサフュージョン部309)
それぞれの画像解析部302とレーダ解析部306で検出された物体の結果はセンサフュージョン部309に送信される。画像解析部302(の物体検出部303)とレーダ解析部306(の物体検出部307)で双方共通して検出された結果はセンサフュージョン部309の情報融合部310に送られ、検出結果が融合される。融合の方法は公知の技術であり、一般的にはセンサ間で検出された物体を、センサ特性や各検出結果の位置の信頼度に応じて同一物体であるかどうかを判定し、その同一物体として判断された対応する物体の距離を、その後、センサ特性や各検出結果の位置とその推定誤差や信頼度に応じて、二つの距離を用いて再算出したり、あるいは片方のセンサ出力の値(距離)を採用したりすることで、情報融合部310の結果として出力する。
その後、センサフュージョン部309は、第3物体間相対関係算出部311(以下、単に物体間相対関係算出部311と記載する)で、情報融合部310で融合された検出結果に対する相対関係を算出する。情報融合部310に入力される物体情報は、画像解析部302から出力された結果とレーダ解析部306で出力された結果で、特に距離において異なる可能性が高い。それらの情報を融合すると、物体の距離情報などは補正が行われるため、情報融合された結果(すなわち、物体間相対関係算出部311で保存される結果)は、物体間相対関係算出部304及び物体間相対関係算出部308で保存された結果と異なる可能性がある。そのため、センサフュージョン部309は、相対関係総合判断部312において、画像解析部302の物体間相対関係算出部304と、レーダ解析部306の物体間相対関係算出部308と、センサフュージョン部309の物体間相対関係算出部311の結果を総合的に判断し、最終的な物体間の相対関係を出力する。また、その相対関係の判断の過程から最終的な相対関係に対する信頼度を出力しても良い。
なお、ここでは物体間相対関係算出部304と物体間相対関係算出部308をそれぞれ画像解析部302とレーダ解析部306に置いたが、この機能は物体検出の結果を受け取って、センサフュージョン部309側にあっても問題ない。また、車両情報取得装置313で取得したステア角やヨーレート、車速などの車両情報を受け取って各解析や検出に利用しても良い。車両情報取得装置313は、例えば車両に搭載されるステア角センサ、ジャイロセンサ、車輪速度センサなどで構成される。
[移動体制御装置300の具体例]
図3の具体的な例で簡単な構成を図2の進行路内判定機能に基づいて図4に示す。
(画像解析部302)
画像解析部302の物体検出部303は、白線の位置を検出(認識)する白線検出部401と車両(ここでは前方車両)の位置を検出(認識)する第1車両検出部402(以下、単に車両検出部402と記載する)を持ち、白線検出部401から自車前方における進行路の領域(レーン)を推定(認識)する進行路推定部403を持つ。物体間相対関係算出部304は、車両検出部402の検出位置の結果と進行路推定部403の推定位置の結果から、検出した車両が進行路の内外のどちらにあるか(すなわち、相対位置関係)を判定する第1進行路内判定部404(以下、単に進行路内判定部404と記載する)を持つ。これを図2を用いて説明すると、前方車両202の場合、前方車両202は進行路内として判断され、前方車両203の場合、前方車両203は進行路外として判定される。この進行路内の判定には、車両情報取得装置313で取得した自車のステア角やヨーレート等の情報を用いても良い。車両検出部402の結果411、白線検出部401及び進行路推定部403の結果413、進行路内判定部404の結果412は、センサフュージョン部309に送信される。
(レーダ解析部306)
レーダ解析部306の物体検出部307は、車両(ここでは前方車両)の位置を検出(認識)する第2車両検出部405(以下、単に車両検出部405と記載する)を持つ。物体間相対関係算出部308は、ここでは白線検出の機能をレーダ装置305が持たない代わりに、車両情報取得装置313で取得した自車のステア角やヨーレート等の情報から進行路を推定(認識)し、車両検出部405の車両検出結果が推定した進行路内にあるかどうか(すなわち、相対位置関係)を判定する第2進行路内判定部406(以下、単に進行路内判定部406と記載する)を備える。車両検出部405の結果415と進行路内判定部406の結果414は、センサフュージョン部309に送信される。
(センサフュージョン部309)
センサフュージョン部309の情報融合部310は、画像解析部302(の車両検出部402)とレーダ解析部306(の車両検出部405)で検出された車両検出結果(411、415)を照合し、同一とされた車両検出結果を融合して一つの車両検出結果としてその位置を出力する車両検出融合部407を持つ。通常、撮像装置(カメラ等)301の検出精度と、レーダ装置(ミリ波レーダ等)305による検出精度は異なるため、車両検出部402と車両検出部405と車両検出融合部407が出力する距離はそれぞれ異なる場合が多い。センサフュージョン部309の物体間相対関係算出部311は、このように車両検出融合部407で補正された結果と白線検出部401もしくは進行路推定部403の結果413から、再度、融合して求めた車両が進行路の内外のどちらにあるか(すなわち、相対位置関係)を判定する第3進行路内判定部408(以下、単に進行路内判定部408と記載する)を持つ。
進行路内判定部404の結果412と進行路内判定部406の結果414と進行路内判定部408の結果を受け取った相対関係総合判断部312は、お互いの判定結果から、より確からしい内外判定を進行路内総合判定部409で実施し、最終的な相対関係の判定結果を出力する。例えば、進行路内判定部404と進行路内判定部406と進行路内判定部408の結果が一致する際はそのままの判定結果を出力する。しかし、お互いの進行路内判定の結果が不一致である場合において、白線が検出できている場合は、撮像装置(カメラ等)301の方がレーダ装置(ミリ波レーダ等)305よりも信頼性が高いとみなし、進行路内判定部404の結果を優先するなどする。白線が見えていない場合などの判定においては、進行路内判定部406もしくは進行路内判定部408の結果を優先するなどする。
以上では、白線と車両の検出に焦点を当てたが、白線側は例えば走行可能領域や路端、路側帯など、車両側は例えば歩行者や自転車などに置き換えて使用しても良い。また、その進行路内総合判定部409は、判断の過程から最終的な相対関係に対する信頼度を出力しても良い。例えば、それぞれの進行路内判定部(404、406、408)の結果が異なる場合においては、最終的な判断として融合して求めた車両が進行路内にあるとされたとしても、信頼度の値を低く出力することが考えられる。
[信頼性判定]
図4に対して信頼度の概念を設けて判定する構成を説明する図を図5に示す。
(画像解析部302)
画像解析部302の物体間相対関係算出部304では、対象とする車両が進行路内にいるかどうか(進行路内外判定)の信頼性を、白線の位置と車両の位置を基に時系列安定性、距離の信頼性などから第1信頼性判定部501(以下、単に信頼性判定部501と記載する)で判定する。ここで、時系列安定性とは、例えば、各フレームでの判断が白線位置内外で振動するような場合は信頼度が低いとし、白線位置内外のどちらかに一定している場合や、車線変更に伴いステップ的に変動する場合は信頼度が高いとすることが考えられる。距離の信頼性とは、使用するセンサや検出された状態に応じて判定されるものである。例えば、一般的にカメラを用いた距離測定では、自車から対象物までの距離が離れるに応じて測定誤差が増加する。この測定誤差の多寡を信頼度と読み替えれば、自車から対象物までの距離を変数とした多項式で信頼度を変化させることが考えられる。この信頼性判定部501の判定には例えば、事前に評価した成功率などを持つ第1統計情報保存部502が持つ情報から判断しても良い。
(レーダ解析部306)
同様に、レーダ解析部306の物体間相対関係算出部308では、対象とする車両が進行路内にいるかどうか(進行路内外判定)の信頼性を、自車挙動と車両の位置を基に時系列安定性、距離の信頼性などから第2信頼性判定部503(以下、単に信頼性判定部503と記載する)で判定する。この信頼性判定部503の判定には例えば、事前に評価した成功率などを持つ第2統計情報保存部504が持つ情報から判断しても良い。
(センサフュージョン部309)
それらの判断結果や信頼度を受け取ったセンサフュージョン部309内の情報融合部310では、前述した車両検出融合部407で車両の情報を融合した際に同一とみなした車両の距離を補正した量を保存する補正量保存部507を持ち、この補正量を物体間相対関係算出部311に送信する。
物体間相対関係算出部311では、その補正量の多寡から、進行路内判定部408の信頼性を第3信頼性判定部505(以下、単に信頼性判定部505と記載する)で判定する。この信頼性判定部505の判定も、事前に評価した成功率などを持つ第3統計情報保存部506が持つ情報を利用しても良い。
相対関係総合判断部312では、この物体間相対関係算出部304の信頼性判定部501の結果(信頼度)511と物体間相対関係算出部308の信頼性判定部503の結果(信頼度)512と物体間相対関係算出部311の信頼性判定部505の結果(信頼度)の大小から(大小を比較して)、どちらの進行路内判定結果を採用するかを進行路内総合判定部409にて決定する。また、その相対関係の判断の過程から最終的な相対関係に対する信頼度を出力しても良い。例えば、それぞれの信頼性判定部(501、503、505)の結果が異なる場合においては、最終的な判断として融合して求めた車両が進行路内にあるとされたとしても、信頼度の値を低く出力することが考えられる。
[立体物間相対関係算出]
図4に対して立体物間の相対関係を判断に用いる構成を説明する図を図6に示す。
(画像解析部302)
ここで、画像解析部302の物体間相対関係算出部304は、白線と車両の相対関係だけではなく、他の物体との相対関係を保存する部を持つ。例えば、車両が複数検出されている場合においては、その複数検出された車両同士の相対距離や前後関係などを算出する第1立体物間相対関係算出部601(以下、単に立体物間相対関係算出部601と記載する)を持つ。なお、ここで車両は、自転車や歩行者であっても良いし、相対関係は、同じ種類の物体同士に限らず、車両と歩行者、車両と自転車など、違う種類の立体物間の相対距離や前後関係であっても良い。すなわち、ここでは、物体間相対関係算出部304(の立体物間相対関係算出部601)は、例えば、車両と白線が複数(すなわち、車両群と白線群が)検出されている場合においては、車両群の複数認識された車両同士及び白線群の複数認識された白線同士、並びに車両群と白線群との間の相対位置関係を保存(記憶)する(図7の表705を併せて参照)。
(レーダ解析部306)
レーダ解析部306の物体間相対関係算出部308も同様に、複数検出された車両同士の相対距離や前後関係などを算出する機能を持つ第2立体物間相対関係算出部602(以下、単に立体物間相対関係算出部602と記載する)を備える。すなわち、ここでは、物体間相対関係算出部308(の立体物間相対関係算出部602)は、例えば、車両が複数(すなわち、車両群が)検出されている場合においては、車両群の情報と、車両群の複数の車両同士の相対位置関係とを保存(記憶)する(図7の表706を併せて参照)。
ここで立体物間相対関係算出部601及び立体物間相対関係算出部602は、検出された立体物間の前後距離を保存することとする。よりシンボル的に前後関係などを保存しても良い。
(センサフュージョン部309)
このように算出された相対関係の保存をセンサフュージョン部309の情報融合部310の後の物体間でも実施する。この処理を物体間相対関係算出部311の第3立体物間相対関係算出部603(以下、単に立体物間相対関係算出部603と記載する)で行うものとする。この場合、情報融合部310(の車両検出融合部407)は、画像解析部302(の車両検出部402)で検出された車両群検出結果とレーダ解析部306(の車両検出部405)で検出された車両群検出結果を融合して一つの車両群検出結果としてその位置を出力する。また、立体物間相対関係算出部603は、情報融合部310(の車両検出融合部407)で補正された車両群と、白線検出部401もしくは進行路推定部403の結果413である白線群との間の相対位置関係を保存(記憶)する(図7の表707を併せて参照)。
物体間相対関係算出部311の後の相対関係総合判断部312では、これらの立体物間相対関係(例えば、図5に基づき説明したこれらの立体物間相対関係に関して付与ないし算出された信頼度)を比較して、現在の対象物が進行路の中にいるか外にいるかの判定を進行路内総合判定部409にて実施し、最終的な相対関係の判定結果を出力する。
図7に、立体物間相対関係算出部601及び立体物間相対関係算出部602で算出される立体物の相対関係の算出例を示す。
今、車両201に搭載された撮像装置301で前方車両701と前方車両702と前方車両703と前方車両704がそれぞれ検出されているとき、それぞれの距離が70m、90m、100m、70mで検出されているとする。これを立体物間相対関係算出部601では、その距離差分を算出して保存する。ここで全相対関係を保存する4行4列の表705は、各距離差分を保存する。なお、演算量やメモリ量を節約するために単純に隣り合う者同士の関係性に限るなどしても良い。
一方で、車両201に搭載されたレーダ装置305では、それぞれの距離が75m、85m、80m、75mで検出されているとする。立体物間相対関係算出部602では、その距離差分を算出して保存する。ここでは撮像装置301側と同じく全相対関係を保存する4行4列の表706を定義したが、上記同様、相対関係が保存されればその形式にこだわらない。
その後、センサフュージョン部309の情報融合部310で距離が融合され、距離補正された結果を示す。情報融合部310ではレーダ解析部306による検出結果をより多く信用するとし、それぞれの距離が74m、86m、84m、74mで補正されたとする。これにおいて、立体物間相対関係算出部603で相対関係を再算出した表を707に示す。
この結果を受けて、相対関係総合判断部312(の進行路内総合判定部409)では、例えば以下のように判断する。図7に示した各表の要素の符号のみに着目すると、703と702の関係性のみ、表705と表706、表705と表707で符号が逆転している。そのため、相対関係総合判断部312では、画像解析部302からの相対関係の入力は表705については信頼性が低いとみなし、進行路内総合判定部409においてレーダ解析部306もしくはセンサフュージョン部309の情報融合部310が出力した値を信頼性が高いとみなして信用する。これにより、現在の対象物が進行路の中にいるか外にいるかの判定を行い、最終的な相対関係の判定結果を出力する。
[異常検知・報知]
図8に、相対関係の判断に基づいてセンサシステムの異常を検知して報知する構成例を示す。
相対関係総合判断部312の結果と各センサにおける物体間相対関係算出部(304、308、311)の結果は、判断保存部801に累積(記憶)される。それぞれのセンサ情報における相対関係の判断が互いに異なった回数が規定値を越えたり、閾値以上に大きく異なる回数が規定値を越えた場合に、異常診断部802は、それをセンサ異常(信号異常)として判断し、異常信号803を異常報知部804に送信してその結果を報知する。ここで、異常報知部804は、ディスプレイなどの表示装置やマイコン上の診断装置が考えられる。
上述した本構成は、レーダ装置305と撮像装置301に限らず、図9に示したように、LIDAR装置のような他のセンサを用いた構成や、別の撮像装置やレーダ装置を用いた構成にも適用できる。図9に示す例において、LIDAR装置901はその信号を移動体制御装置300のLIDAR信号解析部902に送信する。LIDAR信号解析部902は、第4物体検出部903の結果を受けて各物体の相対関係を第4物体間相対関係算出部904で算出し、その結果をセンサフュージョン部309に送信し、やはり相対関係総合判断部312で全体の相対関係を解析して最終出力とする。
上記実施形態では、車両が自車線(自車レーン)上にあるか否かに関する実施形態を示したが、図10に示すように、物体が歩道1001や路側帯1002、隣接車線1003や対向車線1004などの道路領域にある場合や、交差点などの道路領域を対象とした場合においても、自然に拡張できる。その構成を図11に示す。
画像解析部302の物体検出部303では、第1立体物検出部1101(以下、単に立体物検出部1101と記載する)が、撮像装置301で撮像された画像から歩行者や車両、自転車、道路標識などを検出(認識)する。領域検出部1102では、画像を解析することで領域を決める要素となる白線やゼブラゾーン、縁石などの路端、横断歩道などの境界情報を検出し、自車線や隣接車線、路側帯、歩道の領域を境界情報から間接的に、あるいは画像情報から直接的に推定(認識)する。物体間相対関係算出部304では、立体物検出部1101と領域検出部1102の情報から、検出された立体物がどの領域に属するか、もしくは跨っているかなどを第1領域位置判定部1103(以下、単に領域位置判定部1103と記載する)で判定する。領域までの距離を保存しても良い。
レーダ解析部306の物体検出部307では、第2立体物検出部1104(以下、単に立体物検出部1104と記載する)において、レーダ装置305から得られたレーダ信号から物体を検出(認識)する。物体間相対関係算出部308では、車両情報などを用いて検出物体がどの領域に存在するかを第2領域位置判定部1105(以下、単に領域位置判定部1105と記載する)で判定する。但し、ここでの領域は、レーダ信号からは画像ほど細かく分類できないため、自車進行路や反射物体の無い領域などに限られ、領域位置判定部1103で判定できる属性とは異なる。
このように画像解析部302とレーダ解析部306で検出された物体や領域情報、相対関係の算出結果は、センサフュージョン部309に送られる。センサフュージョン部309の情報融合部310では、検出された物体の融合が立体物融合部1106で実施される。物体間相対関係算出部311では、第3領域位置判定部1107(以下、単に領域位置判定部1107と記載する)において、その融合結果と領域検出部1102の結果から、融合して求めた立体物が属する領域位置の判定を実施する。相対関係総合判断部312では、各状況に基づき最終的に領域位置総合判定部1108において、最終的に検出された立体物が定められた領域のどの位置に存在するかが決定される。但し、領域位置判定部1103から送信される領域と領域位置判定部1105から送信される領域と領域位置判定部1107から送信される領域には前述したように違いがあるため、例えば路側帯や歩道が領域位置判定部1103でしか判断できていないとすると、領域位置総合判定部1108は、領域位置判定部1103の結果と領域位置判定部1107の結果から判断を実施する。
移動体制御装置300は、前述の相対関係総合判断部312の判定結果に応じて車両制御を実施する。以下では相対関係総合判断部312がその相対関係に対して信頼度を出力し、それをACCに応用する場合のことを考える。例えば、相対関係総合判断部312において、最終決定の信頼度が高い(所定値を上回る)状態で自車レーンと先行車の相対関係が判断されている場合は、通常通りのACCを実施する。逆に、相対関係総合判断部312において、最終決定の信頼度が低い(所定値を下回る)状態で自車レーンと先行車の相対関係が判断されている場合においては、ACCに求められる加減速などを通常よりも控えめに実施することで仮に判断が誤っていたとしてもドライバの安全性に大きな影響を与えない状態での車両制御を実施する。
以上で説明したように、本実施形態の移動体制御装置(信号処理装置)300は、撮像装置301で撮像された画像から、第一の物体(例えば前方車両)と第二の物体(例えば白線)を認識し(第1物体検出部303:第1車両検出部402、白線検出部401及び進行路推定部403)、前記第一の物体と前記第二の物体との間の第一の位置関係(例えば自車レーンの内外)を記憶し(第1物体間相対関係算出部304:第1進行路内判定部404)、前記撮像装置301とは異なるセンサ(例えばレーダ装置305)から得られた情報に基づき認識された前記第一の物体の情報と、前記撮像装置301で撮像された画像に基づき認識された前記第一の物体の情報とから、前記第一の物体の位置を求め(情報融合部310:車両検出融合部407)、求められた前記第一の物体と、前記撮像装置301で撮像された画像に基づき認識された前記第二の物体との間の第二の位置関係(例えば自車レーンの内外)を求め(第3物体間相対関係算出部311:第3進行路内判定部408)、前記第一の位置関係と前記第二の位置関係を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定する(相対関係総合判断部312:進行路内総合判定部409)。
また、前記第一の位置関係と前記第二の位置関係を比較する際に、前記第一の位置関係に関して付与ないし算出された第一の信頼度(第1信頼性判定部501)と前記第二の位置関係に関して付与ないし算出された第二の信頼度(第3信頼性判定部505)を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定する。
また、本実施形態の移動体制御装置(信号処理装置)300は、前記撮像装置301で撮像された画像から、第一の物体群(例えば前方車両群)と第二の物体群(例えば白線群)を認識し(第1物体検出部303)、前記第一の物体群の複数認識された前記第一の物体同士及び前記第二の物体群の複数認識された前記第二の物体同士、並びに前記第一の物体群と前記第二の物体群との間の位置関係を前記第一の位置関係として記憶し(第1物体間相対関係算出部304)、前記撮像装置301とは異なるセンサ(例えばレーダ装置305)から得られた情報に基づき認識された前記第一の物体群の情報と、前記撮像装置301とは異なるセンサ(例えばレーダ装置305)から得られた情報に基づき認識された前記第一の物体群の複数の前記第一の物体同士の位置関係とを第三の位置関係として記憶し(第2物体間相対関係算出部308)、前記撮像装置301とは異なるセンサ(例えばレーダ装置305)から得られた情報に基づき認識された前記第一の物体群の情報と、前記撮像装置301で撮像された画像に基づき認識された前記第一の物体群の情報とから、前記第一の物体群の位置を求め(情報融合部310)、求められた前記第一の物体群と、前記撮像装置301で撮像された画像に基づき認識された前記第二の物体群との間の位置関係を前記第二の位置関係として求め(第3物体間相対関係算出部311)、前記第一の位置関係と前記第二の位置関係と前記第三の位置関係を比較して、前記第一の物体群と前記第二の物体群の最終的な位置関係を決定する(相対関係総合判断部312)。
また、前記第一の位置関係と前記第二の位置関係と前記第三の位置を比較する際に、前記第一の位置関係に関して付与ないし算出された第一の信頼度(第1信頼性判定部501)と前記第二の位置関係に関して付与ないし算出された第二の信頼度(第3信頼性判定部505)と前記第三の位置関係に関して付与ないし算出された第三の信頼度(第2信頼性判定部503)を比較して、前記第一の物体群と前記第二の物体群の最終的な位置関係を決定する。
本実施形態では、センサ内での相対関係の判断とフュージョン後の相対関係の判断を適切に利用し、フュージョンすることによって起こり得る複数の物体の相対関係の誤りを補正することができ、複数のセンサを利用した複雑なセンサシステムであっても、正しく相対関係を判断することができる。
すなわち、本実施形態によれば、複数のセンサにおいて検出対象物が異なる場合であっても、非共通の検出対象物とフュージョン後に共通する検出対象物との相対関係を正しく求めることができる。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
200 物体
201 車両(自車)
202 自車線内の前方車両
203 自車線外の前方車両
204 白線群
205 前方車両がいないケース
300 移動体制御装置(信号処理装置)
301 撮像装置
302 画像解析部
303 第1物体検出部
304 第1物体間相対関係算出部
305 レーダ装置
306 レーダ解析部
307 第2物体検出部
308 第2物体間相対関係算出部
309 センサフュージョン部
310 情報融合部
311 第3物体間相対関係算出部
312 相対関係総合判断部
313 車両情報取得装置
401 白線検出部
402 第1車両検出部
403 進行路推定部
404 第1進行路内判定部
405 第2車両検出部
406 第2進行路内判定部
407 車両検出融合部
408 第3進行路内判定部
409 進行路内総合判定部
411 第1車両検出部の結果
412 第1進行路内判定部の結果
413 白線検出部もしくは進行路推定部の結果
414 第2進行路内判定部の結果
415 第2車両検出部の結果
501 第1信頼性判定部
502 第1統計情報保存部
503 第2信頼性判定部
504 第2統計情報保存部
505 第3信頼性判定部
506 第3統計情報保存部
507 補正量保存部
511 第1物体間相対関係算出部の結果
512 第2物体間相対関係算出部の結果
601 第1立体物間相対関係算出部
602 第2立体物間相対関係算出部
603 第3立体物間相対関係算出部
701~704 前方車両
705 第1立体物間相対関係算出部の出力の表
706 第2立体物間相対関係算出部の出力の表
707 第3立体物間相対関係算出部の出力の表
801 判断保存部
802 異常診断部
803 異常信号
804 異常報知部
901 LIDAR装置
902 LIDAR信号解析部
903 第4物体検出部
904 第4物体間相対関係算出部
1001 歩道領域
1002 路側帯領域
1003 隣接車線領域
1004 対向車線領域
1101 第1立体物検出部
1102 領域検出部
1103 第1領域位置判定部
1104 第2立体物検出部
1105 第2領域位置判定部
1106 立体物融合部
1107 第3領域位置判定部
1108 領域位置総合判定部

Claims (7)

  1. 撮像装置で撮像された画像から、第一の物体と第二の物体を認識し、前記第一の物体と前記第二の物体との間の第一の位置関係を記憶し、
    前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体の情報と、前記撮像装置で撮像された画像に基づき認識された前記第一の物体の情報とから、前記第一の物体の位置を求め、
    求められた前記第一の物体と、前記撮像装置で撮像された画像に基づき認識された前記第二の物体との間の第二の位置関係を求め、
    前記第一の位置関係と前記第二の位置関係を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定する信号処理装置において、
    前記第一の位置関係と前記第二の位置関係を比較する際に、前記第一の位置関係に関する第一の信頼度と前記第二の位置関係に関する第二の信頼度を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定することを特徴とした信号処理装置。
  2. 請求項に記載の信号処理装置において、
    前記信頼度は、前記第一の物体までの距離、前記第二の物体までの距離、又は使用するセンサに基づいて決定されることを特徴とした信号処理装置。
  3. 請求項1に記載の信号処理装置において、
    前記第一の位置関係と前記第二の位置関係と前記最終的な位置関係を記憶し、それらの位置関係から選択したいずれか二つの位置関係が互いに異なる回数が規定値を越えた場合に、信号異常として報知することを特徴とした信号処理装置。
  4. 撮像装置で撮像された画像から、第一の物体と第二の物体を認識し、前記第一の物体と前記第二の物体との間の第一の位置関係を記憶し、
    前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体の情報と、前記撮像装置で撮像された画像に基づき認識された前記第一の物体の情報とから、前記第一の物体の位置を求め、
    求められた前記第一の物体と、前記撮像装置で撮像された画像に基づき認識された前記第二の物体との間の第二の位置関係を求め、
    前記第一の位置関係と前記第二の位置関係を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定する信号処理装置において、
    前記第一の位置関係と前記第二の位置関係と前記最終的な位置関係を記憶し、それらの位置関係から選択したいずれか二つの位置関係が互いに異なる回数が規定値を越えた場合に、信号異常として報知することを特徴とした信号処理装置。
  5. 撮像装置で撮像された画像から、第一の物体と第二の物体を認識し、前記第一の物体と前記第二の物体との間の第一の位置関係を記憶し、
    前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体の情報と、前記撮像装置で撮像された画像に基づき認識された前記第一の物体の情報とから、前記第一の物体の位置を求め、
    求められた前記第一の物体と、前記撮像装置で撮像された画像に基づき認識された前記第二の物体との間の第二の位置関係を求め、
    前記第一の位置関係と前記第二の位置関係を比較して、前記第一の物体と前記第二の物体の最終的な位置関係を決定する信号処理装置において、
    前記撮像装置で撮像された画像から、複数の前記第一の物体を含む第一の物体群と複数の前記第二の物体を含む第二の物体群を認識し、前記第一の物体群の複数認識された前記第一の物体同士及び前記第二の物体群の複数認識された前記第二の物体同士、並びに前記第一の物体群と前記第二の物体群との間の位置関係を前記第一の位置関係として記憶し、
    前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体群の情報と、前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体群の複数の前記第一の物体同士の位置関係とを第三の位置関係として記憶し、
    前記撮像装置とは異なるセンサから得られた情報に基づき認識された前記第一の物体群の情報と、前記撮像装置で撮像された画像に基づき認識された前記第一の物体群の情報とから、前記第一の物体群の位置を求め、
    求められた前記第一の物体群と、前記撮像装置で撮像された画像に基づき認識された前記第二の物体群との間の位置関係を前記第二の位置関係として求め、
    前記第一の位置関係と前記第二の位置関係と前記第三の位置関係を比較して、前記第一の物体群と前記第二の物体群の最終的な位置関係を決定することを特徴とした信号処理装置。
  6. 請求項5に記載の信号処理装置において、
    前記第一の位置関係と前記第二の位置関係と前記第三の位置を比較する際に、前記第一の位置関係に関する第一の信頼度と前記第二の位置関係に関する第二の信頼度と前記第三の位置関係に関する第三の信頼度を比較して、前記第一の物体群と前記第二の物体群の最終的な位置関係を決定することを特徴とした信号処理装置。
  7. 請求項5に記載の信号処理装置において、
    前記第一の位置関係と前記第二の位置関係と前記第三の位置関係と前記最終的な位置関係を記憶し、それらの位置関係から選択したいずれか二つの位置関係が互いに異なる回数が規定値を越えた場合に、信号異常として報知することを特徴とした信号処理装置。
JP2020155075A 2020-09-16 2020-09-16 信号処理装置 Active JP7374057B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020155075A JP7374057B2 (ja) 2020-09-16 2020-09-16 信号処理装置
US18/003,575 US20230260147A1 (en) 2020-09-16 2021-07-12 Signal processing device
PCT/JP2021/026140 WO2022059314A1 (ja) 2020-09-16 2021-07-12 信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020155075A JP7374057B2 (ja) 2020-09-16 2020-09-16 信号処理装置

Publications (2)

Publication Number Publication Date
JP2022049052A JP2022049052A (ja) 2022-03-29
JP7374057B2 true JP7374057B2 (ja) 2023-11-06

Family

ID=80775778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020155075A Active JP7374057B2 (ja) 2020-09-16 2020-09-16 信号処理装置

Country Status (3)

Country Link
US (1) US20230260147A1 (ja)
JP (1) JP7374057B2 (ja)
WO (1) WO2022059314A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7520267B1 (ja) 2023-07-05 2024-07-22 三菱電機株式会社 物体検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251894A (ja) 2005-03-08 2006-09-21 Aisin Aw Co Ltd 運転支援装置及び運転支援方法
JP2012103858A (ja) 2010-11-09 2012-05-31 Toyota Motor Corp 障害物認識装置
JP2017182696A (ja) 2016-03-31 2017-10-05 株式会社デンソー 物体認識装置及び物体認識方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251894A (ja) 2005-03-08 2006-09-21 Aisin Aw Co Ltd 運転支援装置及び運転支援方法
JP2012103858A (ja) 2010-11-09 2012-05-31 Toyota Motor Corp 障害物認識装置
JP2017182696A (ja) 2016-03-31 2017-10-05 株式会社デンソー 物体認識装置及び物体認識方法

Also Published As

Publication number Publication date
US20230260147A1 (en) 2023-08-17
JP2022049052A (ja) 2022-03-29
WO2022059314A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
JP6747269B2 (ja) 物体認識装置
US11433897B2 (en) Method and apparatus for determination of optimal cruising lane in an assisted driving system
US11763576B2 (en) Method for determining a drivable area
CN112046481B (zh) 自动驾驶装置和方法
US7222690B2 (en) Awakening degree determining system
US20210107528A1 (en) Vehicle control system
US11002560B2 (en) Vehicle display device
WO2019207639A1 (ja) 行動選択装置、行動選択プログラム及び行動選択方法
US20200242941A1 (en) Driver assistance system, and control method the same
CN111341148A (zh) 用于处理多重反射信号的机动车的控制***以及控制方法
US20210197811A1 (en) Course prediction device, computer readable medium, and course prediction method
KR20210114689A (ko) 차량 및 그 제어 방법
JP7374057B2 (ja) 信号処理装置
US20200385023A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP7356892B2 (ja) 車両の走行環境推定方法、及び、走行環境推定システム
US20210284148A1 (en) Travel control apparatus, vehicle, travel control method, and non-transitory computer-readable storage medium
KR20200133122A (ko) 차량 충돌 방지 장치 및 방법
US11260884B2 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
JP4535585B2 (ja) 周辺監視装置
CN116061965A (zh) 用于控制自主驾驶的设备及其方法
JP7302582B2 (ja) 車両制御システム
JP6354646B2 (ja) 衝突回避支援装置
JP7479226B2 (ja) 経路確認装置及びプログラム
US20220388508A1 (en) Lane keeping controller, vehicle system including the same, and method thereof
WO2023145117A1 (ja) 車載電子制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231024

R150 Certificate of patent or registration of utility model

Ref document number: 7374057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150