JP2023523243A - 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム - Google Patents

障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム Download PDF

Info

Publication number
JP2023523243A
JP2023523243A JP2022564312A JP2022564312A JP2023523243A JP 2023523243 A JP2023523243 A JP 2023523243A JP 2022564312 A JP2022564312 A JP 2022564312A JP 2022564312 A JP2022564312 A JP 2022564312A JP 2023523243 A JP2023523243 A JP 2023523243A
Authority
JP
Japan
Prior art keywords
obstacle
target
depth
network
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022564312A
Other languages
English (en)
Other versions
JP7430277B2 (ja
Inventor
シェン，ユアン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2023523243A publication Critical patent/JP2023523243A/ja
Application granted granted Critical
Publication of JP7430277B2 publication Critical patent/JP7430277B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

コンピュータデバイス（１０４）が実行する障害物検出方法である。方法は、目標車両（１０２）の位置する道路の道路シーン画像を取得するステップ（Ｓ２０２）と、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップ（Ｓ２０４）と、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップ（Ｓ２０６）と、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップ（Ｓ２０８）と、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両（１０２）の位置する道路に対応する障害物検出結果を決定するステップ（Ｓ２１０）と、を含む。

Description

（関連出願の参照）
本願は、２０２０年１０月２２日に中国国家知識産権局に提出した、出願番号が２０２０１１１３８６２７５、発明の名称が「障害物検出方法、装置、コンピュータデバイス及び記憶媒体」の中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込まれるものとする。
（技術分野）
本願は、コンピュータの技術分野に関し、特に障害物検出方法、装置、コンピュータデバイス及び記憶媒体に関する。
人工知能技術の発展に伴い、自動運転技術が登場し、自動運転技術は、人工知能、ビジュアルコンピューティング、レーダ、監視装置及び全地球測位システムの協働により、コンピュータシステムが人間の能動的な操作がない状態で、自動車を自動的かつ安全に制御する。現在、センサにより障害物に対して距離検出を行うことができ、距離検出によって得られた障害物から車両までの距離に基づいて、障害物の車両に対する危険レベルを決定して、危険レベルが高い障害物をタイムリーに回避して自動運転を実現する。
しかしながら、オーバーラップ又は遮蔽が発生する２つ以上の障害物に対して、上記距離検出方式を採用すると、常に、これらの障害物間の相対的な位置関係を正確に判断できず、さらに障害物に対する検出結果が不正確になる。
本願の様々な実施例によれば、障害物を正確に検出可能な障害物検出方法、装置、コンピュータデバイス及び記憶媒体を提供する。
コンピュータデバイスが実行する障害物検出方法は、
目標車両の位置する道路の道路シーン画像を取得するステップと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を含む。
障害物検出装置は、
目標車両の位置する道路の道路シーン画像を取得する道路シーン画像取得モジュールと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する障害物識別処理モジュールと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定する相対的な被写界深度関係決定モジュールと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する測距結果取得モジュールと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する障害物検出結果決定モジュールと、を含む。
コンピュータデバイスは、コンピュータ読み取り可能な命令が記憶されているメモリと、１つ又は複数のプロセッサとを含み、コンピュータ読み取り可能な命令がプロセッサにより実行される場合、１つ又は複数のプロセッサに、
目標車両の位置する道路の道路シーン画像を取得するステップと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を実行させる。
１つ又は複数の不揮発性読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令を記憶しており、コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行される場合、１つ又は複数のプロセッサに、
目標車両の位置する道路の道路シーン画像を取得するステップと、
道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を実行させる。
本願の１つ又は複数の実施例の詳細は、以下の図面及び説明で述べられる。本願の他の特徴及び利点は、明細書、図面及び特許請求の範囲から明らかになるであろう。
ここで説明された図面は、本願の更なる理解を提供するためのものであり、本願の一部を構成するものであり、本願の例示的な実施例及びその説明は、本願を解釈するためのものであり、本願を不当に限定するものではない。
一実施例における障害物検出方法の適用環境図である。 一実施例における障害物検出方法のフローチャートである。 一実施例における障害物識別処理結果の概略図である。 一実施例における道路シーン画像中の障害物の概略図である。 一実施例における障害物識別ステップのフローチャートである。 一実施例における障害物識別モデルの概略構成図である。 別の実施例における障害物検出方法のフローチャートである。 一実施例における障害物検出装置の構成ブロック図である。 一実施例におけるコンピュータデバイスの内部構成図である。 一実施例におけるコンピュータデバイスの内部構成図である。
本願の目的、技術的手段及び利点をより明確にするために、以下、図面及び実施例を参照しながら、本願をさらに詳細に説明する。理解されるように、ここで説明された具体的な実施例は、本願を説明するためのものに過ぎず、本願を限定するものではない。
本願の実施例に係る技術的手段は、人工知能の機械学習などの技術に関し、具体的には、以下の実施例により説明し、本願に係る障害物検出方法は、コンピュータデバイスにより実行され、具体的には、図１に示すような適用環境に適用することができる。目標車両１０２は、ネットワークを介してコンピュータデバイス１０４と通信する。目標車両１０２は、その位置する道路の道路シーン画像を取得し、取得された道路シーン画像をコンピュータデバイス１０４にアップロードし、コンピュータデバイス１０４は、目標車両の位置する道路の道路シーン画像を取得する場合、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、コンピュータデバイス１０４は、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、コンピュータデバイス１０４は、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得し、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する。また、コンピュータデバイス１０４は、さらに、該障害物検出結果を目標車両１０２に送信することにより、目標車両１０２が該障害物検出結果に基づいて障害物をタイムリーに回避することができる。
目標車両は、自動運転自動車などであってもよいが、これらに限定されない。コンピュータデバイスは、端末又はサーバであってもよく、端末は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット及び携帯型ウェアラブルデバイスであってもよいが、これらに限定されず、サーバは、独立した物理サーバであってもよく、複数の物理サーバで構成されたサーバクラスタ又は分散システムであってもよく、さらにクラウドストレージ、ネットワークサービス、クラウド通信、ビッグデータ及び人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバであってもよい。端末及びサーバは、有線又は無線通信方式により直接的又は間接的に接続することができ、本願において限定されない。
一実施例では、図２に示すように、障害物検出方法を提供し、該方法を図１におけるコンピュータデバイス（該コンピュータデバイスが具体的には端末又はサーバであってもよい）に適用することを例として説明し、以下のステップＳ２０２～Ｓ２１０を含む。
Ｓ２０２では、目標車両の位置する道路の道路シーン画像を取得する。
道路シーン画像は、道路のシーン情報を収集して得られた画像である。道路シーン画像は、車線及び障害物などの目標車両の周囲環境を反映することができ、障害物は、車両、歩行者、街灯、交通標識などを含む。道路シーン画像は、画像収集装置によってリアルタイムに収集された画像であってもよく、このように、目標車両が走行する過程において、道路シーン画像をリアルタイムに分析することにより、目標車両の位置する道路に対応する障害物検出結果を取得し、これにより、目標車両は、障害物検出結果に基づいて障害物をタイムリーに回避して走行する。
一実施例では、コンピュータデバイスは、他のコンピュータデバイスがアップロードした道路シーン画像を受信することにより、目標車両の位置する道路の道路シーン画像を取得することができる。他のコンピュータデバイスは、目標車両又は目標車両に関連する画像収集装置であってもよい。
具体的には、目標車両が自動運転状態にある場合、目標車両は、画像収集装置によりリアルシーンの画像を収集して目標車両の位置する道路シーン画像を取得した後、該道路シーン画像をコンピュータデバイスにアップロードし、これにより、コンピュータデバイスは、目標車両の位置する道路の道路シーン画像を取得する。画像収集装置は、目標車両に内蔵された画像収集装置であってもよく、外付けされた、目標車両に関連する画像収集装置であってもよく、例えば、目標車両は、接続線又はネットワークを介して外付けの画像収集装置に接続されてもよく、外付けの画像収集装置は、リアルシーンの画像を収集し、収集された画像を目標車両に伝送する。内蔵された画像収集装置は、カメラであってもよく、外付けされた、目標車両に関連する画像収集装置は、無人航空機のようなカメラを備える画像収集装置であってもよい。カメラは、具体的には、単眼カメラであってもよく、それに応じて、カメラによって収集された道路シーン画像は、単眼画像であり、単眼画像は、同じシーンに対する単一画像であり、具体的には、ＲＧＢ画像であってもよい。好ましくは、カメラを呼び出して走査モードを起動し、カメラ視野内の対象物をリアルタイムに走査し、指定されたフレームレートに応じて道路シーン画像をリアルタイムに生成する。カメラ視野は、カメラが撮影可能な領域である。
Ｓ２０４では、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する。
障害物識別処理は、道路シーン画像における障害物を識別処理することであり、インスタンス分割処理及び被写界深度予測を含む。
インスタンス分割とは、画素レベルで対象輪郭を識別するタスクであり、本願に係るインスタンス分割処理は、具体的には、道路シーン画像における異なる種類の障害物を正確に分割し、画像における各画素点を全て分類し、各画素点が属する種類を決定し、これにより、複数の画素領域を取得し、同じ種類に属する画素領域における異なる障害物を区別して、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得することである。
被写界深度予測とは、道路シーン画像における各障害物の深度情報を予測することであり、深度情報は、被写界深度情報と呼ばれてもよく、障害物の被写界深度情報は、障害物からカメラまでの距離であり、本願に係る被写界深度予測は、具体的には、道路シーン画像における各画素点の深度情報を全て予測し、各画素点の深度情報及びインスタンス分割によって決定された障害物にそれぞれ対応する領域情報に基づいて、各障害物にそれぞれ対応する被写界深度情報を予測することである。
例を挙げて説明し、図３を参照すると、図３は、一実施例における障害物識別処理結果の概略図であり、異なる障害物は、それぞれ異なる領域情報３０２及び深度情報３０４に対応することが分かり、深度情報は、被写界深度予測によって得られた被写界深度値で示され、被写界深度値が小さいほど、対応する障害物が目標車両に近いことを示し、すなわち、被写界深度値の相対的な大きさは、障害物と目標車両との相対的な遠近関係を示す。
なお、本願の実施例では、障害物識別処理の方式は、限定されず、道路シーン画像に対して障害物識別処理を行って各障害物にそれぞれ対応する領域情報及び被写界深度情報を取得することができればよい。
一実施例では、コンピュータデバイスは、予めトレーニングされた障害物識別モデルに基づいて、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する。該予めトレーニングされた障害物識別モデルは、畳み込みニューラルネットワーク構造を含んでもよく、該畳み込みニューラルネットワークは、畳み込み計算、正規化処理、活性化関数計算などの操作を実行することができる。
一実施例では、障害物識別モデルのトレーニング方法としては、以下のような方法であってもよい。トレーニングサンプル画像及びトレーニングサンプル画像に対応するトレーニングラベルを取得し、トレーニングラベルは、対応するトレーニングサンプル画像における各画素点の属する種類及び対応する被写界深度情報をラベリングするためのものである。次に、障害物識別モデルのパラメータを初期化し、トレーニングサンプル画像データを障害物識別モデルに送信し、障害物にそれぞれ対応する予測領域情報及び予測被写界深度情報を取得する。次に、予測領域情報及び予測被写界深度情報とトレーニングラベルとの間の差異に対して、損失関数を採用し、勾配降下アルゴリズムに基づいて、障害物識別モデルのパラメータを最適化し、トレーニング停止条件を満たすまで、上記方法に応じて障害物識別モデルに対して反復トレーニングを行う。トレーニング停止条件は、反復回数が指定された回数に達するか、又は損失関数の変化量が指定された閾値より小さいことであってもよい。
Ｓ２０６では、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定する。
目標障害物は、取得された道路シーン画像における障害物のうち、遮蔽関係を有する障害物であり、遮蔽関係は、目標障害物の、取得された道路シーン画像における対応する領域情報に共通部分があることを示し、相対的な被写界深度関係は、目標障害物から目標車両までの相対的な遠近関係である。理解できるように、遮蔽関係を有する各目標障害物と目標車両との距離が異なり、すなわち、各目標障害物の被写界深度情報が異なり、例えば、障害物Ａが障害物Ｂを遮蔽すると、対応する障害物Ａから目標車両までの距離は、障害物Ｂから目標車両までの距離より小さく、すなわち、障害物Ｂに対して、障害物Ａと目標車両との距離がより近く、異なる目標障害物から目標車両までの距離の相対的な遠近関係は、すなわち目標障害物の相対的な被写界深度関係である。
一実施例では、コンピュータデバイスは、予めトレーニングされた障害物識別モデルに基づいて、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報及び被写界深度情報を取得した後、該障害物識別モデルにより、各障害物にそれぞれ対応する領域情報に基づいて、異なる障害物間の領域情報に共通部分があるか否かを決定し、共通部分がある領域情報に対応する障害物を、遮蔽関係を有する目標障害物として決定し、目標障害物の被写界深度情報に基づいて目標障害物から目標車両までの相対的な遠近を決定し、各目標障害物間の相対的な被写界深度関係を取得する。
具体的には、予め定められた文字により、任意の２つの目標障害物間の相対的な被写界深度関係を示すことができ、例えば、「－１」、「０」、「１」で各目標障害物間の相対的な被写界深度関係を示し、障害物Ａと障害物Ｂの相対的な被写界深度関係が「－１」である場合、障害物Ａが障害物Ｂを遮蔽することを示し、「（障害物Ａ、障害物Ｂ、－１）」と記してもよく、障害物Ａと障害物Ｂの相対的な被写界深度関係が「０」である場合、障害物Ａと障害物Ｂの間に遮蔽関係がないことを示し、「（障害物Ａ、障害物Ｂ、０）」と記してもよく、障害物Ａと障害物Ｂの相対的な被写界深度関係が「１」である場合、障害物Ａが障害物Ｂに遮蔽されることを示し、「（障害物Ａ、障害物Ｂ、１）」と記してもよい。
理解できるように、２つの目標障害物間の相対的な被写界深度関係は、道路シーン画像に対応する各目標障害物間の相対的な被写界深度関係の最小単位であり、例えば、図４に示す道路シーン画像における目標障害物が障害物Ａ、障害物Ｂ、障害物Ｃ及び障害物Ｄであると、該道路シーン画像に対応する各目標障害物間の相対的な被写界深度関係は、「（障害物Ａ、障害物Ｂ、－１）、（障害物Ｂ、障害物Ｃ、０）、（障害物Ｃ、障害物Ｄ、１）」と記してもよく、障害物Ａが障害物Ｂを遮蔽し、障害物Ｂと障害物Ｃとの間に遮蔽関係がなく、障害物Ｃが障害物Ｄを遮蔽することを示す。
Ｓ２０８では、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する。
測距装置は、リアルシーンにおける各障害物から目標車両までの距離を測定するための装置であり、該リアルシーンは、取得された道路シーン画像に対応するシーンである。目標車両に対応する測距装置は、目標車両に集積されるか又は取り付けられてもよく、本願は、これに限定されない。
測距装置は、カメラ及びレーダのうちの少なくとも１種であってもよく、カメラは、単眼カメラ、両眼カメラ、深度カメラ、及び３Ｄ（３Ｄｉｍｅｎｓｉｏｎｓ、３次元）カメラなどであってもよく、好ましくは、カメラを呼び出して走査モードを起動し、カメラ視野内の対象物をリアルタイムに走査し、指定されたフレームレートに応じて測距のための測距データをリアルタイムに生成し、該測距データは、具体的には、障害物画像であってもよく、障害物画像は、測距装置に合わせた単眼画像、両眼画像、深度画像又は３Ｄ画像などであってもよい。レーダは、レーザレーダ、ミリ波レーダなどのレーダシステムであってもよい。レーザレーダは、レーザビームを照射することにより、対象物の位置、速度、姿勢及び形状などの特徴データを検出するレーダシステムである。ミリ波レーダは、ミリ波帯で検知するレーダシステムである。レーダシステムは、リアルタイムに、対象物に検出信号を送信し、対象物から反射されたエコー信号を受信し、検出情報とエコー信号との間の差異に基づいて、対象物の特徴データを決定する。レーダシステムは、複数の送信機及び受信機を採用し、これにより、リアルシーンにおける障害物に対応する測距のための測距データを取得し、該測距データは、具体的には、３次元点群データであってもよい。
一実施例では、目標車両は、測距装置により測距データを収集した後、取得された測距データに基づいて、各障害物から目標車両までの推定距離を決定することができ、すなわち各障害物の測距結果を取得し、該測距結果をコンピュータデバイスにアップロードし、これにより、コンピュータデバイスは、目標車両に対応する収集装置が収集した各障害物に対する測距結果を取得する。
一実施例では、目標車両は、測距装置により測距データを収集した後、該測距データをコンピュータデバイスにアップロードし、コンピュータデバイスは、測距装置が収集した測距データを受信した後、該測距データに基づいて各障害物から目標車両までの推定距離を決定し、これにより各障害物の測距結果を取得する。
具体的には、異なる測距装置が収集した測距データのデータタイプは異なり、それに応じて該測距データに基づいて、各障害物の測距結果を決定する方式も異なり、具体的には、測距装置に合わせた距離予測モデルを採用して、測距データに基づいて各障害物に対する測距結果を取得することができる。距離予測モデルは、ニューラルネットワークモデルであり、単眼シングルフレーム測距モデル、単眼マルチフレーム測距モデル、両眼立体視測距モデル、レーダ目標検出測距モデル、及びレーダと単眼画像とを融合させた測距モデルなどを含む。
例えば、測距データが単眼カメラによって収集されたシングルフレームの単眼画像である場合、単眼シングルフレーム測距方法で、シングルフレームの単眼画像における障害物から目標車両までの距離を推定し、測距結果を取得することができ、測距データが単眼カメラによって収集されたマルチフレームの単眼画像である場合、単眼マルチフレーム測距方法で、マルチフレームの単眼画像における障害物から目標車両までの距離を推定し、測距結果を取得することができ、測距データが両眼カメラによって収集された両眼画像である場合、両眼立体視測距方法で、両眼画像における障害物から目標車両までの距離を推定し、測距結果を取得することができ、測距データがレーダによって収集された３次元点群データである場合、レーダ目標検出測距アルゴリズムで、収集された３次元点群データに基づいて３次元点群データに対応する目標障害物から目標車両までの距離を推定し、測距結果を取得し、測距データが単眼カメラによって収集された単眼画像及びレーダによって収集された３次元点群データである場合、レーダと単眼画像を融合させた目標検出測距アルゴリズムで、収集された単眼画像及び３次元点群データに基づいて、単眼画像における障害物から目標車両までの距離を推定し、測距結果を取得する。
Ｓ２１０では、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する。
障害物検出結果は、道路シーン画像に対応する障害物同士と目標車両との相対的な遠近関係を反映することができ、障害物検出結果は、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果、及び各障害物の危険レベルのうちの少なくとも１つであり、危険レベルは、障害物の目標車両に対する危険度の表示であり、実際の適用シーンにおいて、目標車両は、危険レベルが高い目標障害物を優先的に回避する必要がある。
一実施例では、Ｓ２１０は、各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定し、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、目標車両の位置する道路に対応する障害物検出結果として決定するステップを含む。
具体的には、遮蔽関係を有する任意の２つの目標障害物のうちの遮蔽された目標障害物の危険レベルは、前景の目標障害物の危険レベルより低く、すなわち、遮蔽関係を有する２つの目標障害物のうちの、目標車両との距離が近い目標障害物の危険レベルがより高い。
一実施例では、コンピュータデバイスが各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定するステップは、各障害物の測距結果に基づいて、各障害物にそれぞれ対応する初期危険レベルを決定するステップと、障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得するステップと、調整されていない障害物の初期危険レベル、及び目標障害物の補正危険レベルに基づいて、目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルを決定するステップと、を含む。初期危険レベルは、測距結果に合わせ、理解できるように、目標車両との距離が近い障害物ほど、目標車両に対する危険度が高く、すなわち、初期危険レベルが高い。
具体的には、コンピュータデバイスは、障害物から目標車両までの測距結果に基づいて、障害物が属する距離区間を決定し、各距離区間に合わせた初期危険レベルを取得し、該初期危険レベルを障害物の初期危険レベルとして決定し、障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、目標障害物の相対的な注目レベルを決定し、該相対的な注目レベルに基づいて目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得し、調整されていない障害物の初期危険レベル、及び目標障害物の補正危険レベルを目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルとして決定する。距離区間に合わせた初期危険レベルは、目標車両の走行シーンの変化に応じて変化することができ、目標車両の走行シーンは、道路シーン及び天気シーンを含み、道路シーンは、普通の市街地道路、繁華街道路及び高速道路などであってもよく、天気シーンは、晴天、雨雪天、霧などを含む。目標障害物の相対的な注目レベルは、遮蔽関係を有する目標障害物間の相対的な注目レベルを指し、例えば、障害物Ａが障害物Ｂを遮蔽すると、障害物Ａの相対的な注目レベルは、高い注目レベルであり、障害物Ｂの相対的な注目レベルは、低い注目レベルである。相対的な注目レベルに基づいて、目標障害物の初期危険レベルを補正する具体的な方式は、初期危険レベルが相対的な注目レベルに合わせる場合、初期危険レベルを補正危険レベルとして決定し、初期危険レベルが相対的な注目レベルに合わない場合、初期危険レベルを相対的な注目レベルに合わせる危険レベルに補正し、相対的な注目レベルに合わせる危険レベルを補正危険レベルとすることであってもよい。
上記実施例について、例を挙げて説明する。例えば、目標車両が晴天で普通の市街地道路を走行する場合、該シーンで車速が４０ｋｍ／ｈであると仮定すると、検出された目標車両までの距離が１０ｍより小さい障害物の初期危険レベルを高い初期危険レベル（高と記す）として決定し、検出された目標車両までの距離が１０ｍ以上３０ｍより小さい障害物の初期危険レベルを中くらいの初期危険レベル（中と記す）として決定し、検出された目標車両までの距離が３０ｍ以上の障害物の初期危険レベルを低い初期危険レベル（低と記す）として決定する。検出された障害物Ａ及び障害物Ｂから目標車両までの距離がいずれも１０ｍより小さく、障害物Ａと障害物Ｂが遮蔽関係を有し、対応する相対的な被写界深度関係が「（障害物Ａ、障害物Ｂ、－１）」であれば、障害物Ａ及び障害物Ｂの初期危険レベルがいずれも高い初期危険レベル（高と記す）であると決定し、障害物Ａの相対的な注目レベルが高い注目レベル（高と記す）であり、障害物Ｂの相対的な注目レベルが低い注目レベル（低と記す）であると決定し、障害物Ａ及び障害物Ｂのそれぞれの相対的な注目レベルに基づいて、それぞれ障害物Ａ及び障害物Ｂの初期危険レベルを補正する場合、障害物Ａの高い初期危険レベルをそのまま保持し、障害物Ｂの初期危険レベルを高い初期危険レベルから低い危険レベルに補正し、検出された障害物のうちの障害物Ａ及び障害物Ｂ以外の障害物の初期危険レベル、障害物Ａ及び障害物Ｂの補正危険レベルを、目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルに決定する。
上記障害物検出方法において、コンピュータデバイスは、取得された目標車両の位置する道路の道路シーン画像に対して障害物識別処理を行うことにより、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、これにより、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得した後、オーバーラップ又は遮蔽が発生する２つ以上の目標障害物に対しても、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を正確に決定することができ、さらに正確な障害物検出結果に基づいて、危険レベルが高い障害物をタイムリーに回避し、自動運転の安全信頼性を向上させる。
本願は、さらに、上記障害物検出方法を適用する適用シーンを提供する。具体的には、該障害物検出方法の該適用シーンでの適用は、以下のとおりである。
コンピュータデバイスは、目標車両の位置する道路の道路シーン画像を取得した後、障害物識別モデルにより道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報及び被写界深度情報を取得し、各障害物にそれぞれ対応する領域情報に基づいて、障害物のうちの遮蔽関係を有する目標障害物間の相対的な被写界深度関係を決定する。同時に、コンピュータデバイスは、さらに、目標車両がレーダにより収集した３次元点群データを受信し、該３次元点群データを画像座標系に投影することにより、点群画像を取得し、該点群画像に基づいて各障害物の測距結果を取得し、すなわち各障害物から目標車両までの距離を取得し、該距離に基づいて各障害物に対応する初期危険レベル（低、中、高を含む）を決定し、次に目標障害物間の相対的な被写界深度関係に基づいて各障害物のうちの目標障害物の初期危険レベルを補正し、各目標障害物の補正危険レベルを取得し、補正されていない障害物の初期危険レベル及び目標障害物の補正危険レベルを各目標障害物の危険レベルとして決定し、次に各障害物の測距結果、目標障害物の相対的な被写界深度関係及び各障害物の危険レベルを障害物検出結果として出力し、すなわち障害物の３Ｄ空間物理的距離、被写界深度関係及び危険レベルを出力する。
一実施例では、図５に示すように、Ｓ２０４は、具体的には、以下のステップＳ５０２～Ｓ５０８を含む。
Ｓ５０２では、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力する。
障害物識別モデルは、ニューラルネットワークモデルであり、具体的には、畳み込みニューラルネットワーク構造を含んでもよく、該畳み込みニューラルネットワークは、畳み込み計算、正規化処理、活性化関数計算などの操作を実行することができる。
Ｓ５０４では、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得する。
特徴抽出ネットワークは、道路シーン画像に対して特徴抽出操作を行うためのものであり、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）及び特徴ピラミッドネットワーク（Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋｓ、ＦＰＮ）を含んでもよい。
一実施例では、コンピュータデバイスは、道路シーン画像を特徴抽出バックボーンネットワークに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する。特徴ピラミッドネットワークは、複数のアップサンプリングモジュールを含み、各アップサンプリングモジュールは、それぞれアップサンプリングネットワーク層、正規化層及び活性化層で構成される。アップサンプリングモジュールの数は、特徴抽出バックボーンネットワークにより抽出された異なるスケールのバックボーン特徴マップの数と同じである。
具体的には、異なるスケールの畳み込みネットワーク層は、各畳み込みネットワーク層から出力された特徴マップの画像サイズが異なることを指す。コンピュータデバイスは、異なるスケールに対応する複数のバックボーン特徴マップを取得した後、異なるスケールの該複数のバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドのアップサンプリングモジュールにより、入力された各バックボーン特徴マップに対してアップサンプリング処理を行い、バックボーン特徴マップの拡大を実現し、拡大されたバックボーン特徴マップを取得し、拡大されたバックボーン特徴マップを入力された目標バックボーン特徴マップと融合し、融合された対応するスケールの特徴マップを取得し、目標バックボーン特徴マップは、拡大されたバックボーン特徴マップのスケールと同じであるバックボーン特徴マップであり、これにより、異なるスケールに対応する複数の特徴マップを取得する。
Ｓ５０６では、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得する。
インスタンス分割ネットワークは、道路シーン画像における障害物に対してインスタンス分割処理を行うことを実現するためのものであり、具体的には、領域生成ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ、ＲＰＮ）、目標分類ネットワーク及び目標分割ネットワークを含む。
一実施例では、コンピュータデバイスは、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得し、目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測し、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する。
具体的には、予め定められたスケールは、複数の異なるスケールであってもよく、例えば、予め定められたスケールは、それぞれ３×３及び１×１である。領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、複数の候補枠を生成することができ、各候補枠に含まれる領域は、候補領域であり、これにより、各特徴マップにそれぞれ対応する候補領域を取得し、次に、領域特徴集約モジュール（ＲＯＩ Ａｌｉｇｎ）により候補領域に対応する特徴マップの一部を目標分類ネットワークに入力して、目標分類ネットワークにより各候補領域に対応する障害物を分類し、各候補領域に対応する障害物種類を取得し、障害物種類に属する候補領域を目標分割ネットワークに入力し、目標分割ネットワークにより候補領域から障害物の領域情報を抽出する。
Ｓ５０８では、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する。
被写界深度予測ネットワークは、道路シーン画像における各障害物の被写界深度情報を予測するためのものであり、本願の他の実施例では、該被写界深度予測ネットワークは、さらに、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度情報を決定することができる。
具体的には、コンピュータデバイスは、被写界深度予測ネットワークにより、道路シーン画像における各画素点の深度情報を全て予測し、各画素点の深度情報及びインスタンス分割によって決定された障害物にそれぞれ対応する領域情報に基づいて、各障害物にそれぞれ対応する被写界深度情報を予測する。
一実施例では、図６を参照すると、図６は、一実施例における障害物識別モデルの概略構成図である。障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）を含むことが見られる。
特徴抽出ネットワークは、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）及び特徴ピラミッドネットワーク（ＦＰＮ）を含み、インスタンス分割ネットワークは、領域生成ネットワーク（ＲＰＮ）、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）及び目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）を含み、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）は、異なるスケールの畳み込みモジュールを含み、各畳み込みモジュールは、畳み込みネットワーク層（Ｃｏｎｖｏｌｕｔｉｏｎ）、正規化層（Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ、ＢＮ）及び活性化層（Ｒｅｌｕ）で構成され、特徴ピラミッドネットワーク（ＦＰＮ）は、複数のアップサンプリングモジュールを含み、各アップサンプリングモジュールは、それぞれアップサンプリングネットワーク層（ｂｉｌｉｎｅａｒ ｕｐｓａｍｐｌｉｎｇ）、正規化層及び活性化層で構成される。アップサンプリングモジュールの数は、特徴抽出バックボーンネットワークにより抽出された異なるスケールのバックボーン特徴マップの数と同じである。
インスタンス分割ネットワークは、領域生成ネットワーク（ＲＰＮ）、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）及び目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）を含み、領域生成ネットワーク（ＲＰＮ）は、複数の予め定められたスケールの畳み込みモジュールを含み、異なるスケールの特徴マップから候補領域を抽出するためのものであり、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）は、畳み込みモジュール及びフルメッシュモジュールを含み、各候補領域の種類を予測し、候補領域に対応する候補枠位置に回帰するためのものであり、目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）は、複数の畳み込みモジュールを含み、候補領域に対して非線形変換を行うためのものであり、これにより、障害物に対するインスタンス分割を実現する。
被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）は、異なるスケールの畳み込みモジュール及びダウンサンプリングモジュールを含み、各候補領域に対応する障害物の被写界深度情報を予測し、遮蔽関係を有する目標障害物の相対的な被写界深度関係を決定することを実現するためのものである。
例を挙げて説明し、続けて図６を参照すると、特徴抽出バックボーンネットワークが４つの異なるスケールの畳み込みモジュールを含むと仮定し、一枚のＷ＊Ｈ＊Ｃ（Ｗが画像の長さを表し、Ｈが画像の幅を表し、Ｃが画像のチャネル数を表す）のＲＧＢ画像を特徴抽出バックボーンネットワークに入力し、１つの畳み込みモジュールを通過するごとに、該畳み込みモジュールからの出力画像の画像面積が入力画像の画像面積の１／４となり、これにより４つの異なるスケールのバックボーン特徴マップを取得し、取得された４つの異なるスケールの特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドのアップサンプリングモジュールにより４つの異なるスケールのバックボーン特徴マップにおける最小スケールのバックボーン特徴マップに対してアップサンプリング処理を行い、バックボーン特徴マップに対する拡大を実現し、拡大されたバックボーン特徴マップを取得し、以下の式で示される。
Ｗｏｕｔ×Ｈｏｕｔ＝（２×Ｗｉｎ）×（２×Ｈｉｎ）
ここで、Ｗｏｕｔは、出力画像の長さであり、Ｈｏｕｔは、出力画像の幅であり、Ｗｉｎは、入力画像の長さであり、Ｈｉｎは、入力画像の幅である。特徴ピラミッドネットワークは、拡大されたバックボーン特徴マップを取得した後、拡大されたバックボーン特徴マップを入力された目標バックボーン特徴マップと融合することにより、融合された４つの異なるスケールの特徴マップを取得し、特徴ピラミッドのダウンサンプリングモジュールにより４つの異なるスケールのバックボーン特徴マップにおける最小スケールのバックボーン特徴マップに対してダウンサンプリング処理を行い、新たなスケールの特徴マップを取得し、これにより特徴ピラミッドネットワークにより５つの異なるスケールの特徴マップを取得する。
領域生成ネットワーク（ＲＰＮ）により、それぞれ５つの異なるスケールの特徴マップから候補領域を抽出し、領域特徴集約モジュール（ＲＯＩ ａｌｉｇｎ）により、候補領域に対応する特徴マップの一部を目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）に入力し、候補領域が検出対象の障害物種類であれば、該障害物種類（ｃｌａｓｓ）を出力し、候補枠位置（ｂｏｕｎｄｂｏｘ）に回帰し、該候補領域を目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）に入力し、目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）により、候補領域に対して二値分類分割を行い、すなわち、前景と背景に分割し、前景が障害物領域であり、これにより、障害物の領域情報（Ｍａｓｋ）を抽出し、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）から出力された障害物種類を領域情報に対応する障害物種類とする。
特徴融合モジュール（ｃｏｎｃａｔ）及び最大プーリングモジュール（ｍａｘ ｐｏｌｌｉｎｇ）により、インスタンス分割の結果（すなわち、障害物のノーコメント情報及び障害物種類）を被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）に入力し、被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）により、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度値を出力する。
上記実施例では、コンピュータデバイスは、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力し、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、これにより、道路シーン画像における異なるスケールの障害物に対して、いずれも領域情報の正確な抽出を行うことができ、さらに、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて各障害物に対して被写界深度予測を行い、これにより各障害物にそれぞれ対応する被写界深度情報を取得し、道路シーン画像における異なるスケールの障害物の領域情報及び深度情報の正確な取得を実現し、さらに障害物検出の精度を向上させる。
一実施例では、コンピュータデバイスが各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定するステップは、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定するステップを含む。
具体的には、コンピュータデバイスは、障害物識別を行う過程において、インスタンス分割ネットワークにおける領域生成ネットワークを採用して候補領域を抽出する場合、候補領域に対応する候補枠を取得し、具体的には、候補枠のサイズ及び座標を含む。コンピュータデバイスは、各障害物にそれぞれ対応する領域情報に基づいて各障害物に対応する候補領域を決定し、具体的には、各障害物に対応する候補枠を決定し、各候補枠のサイズ及び座標に基づいて異なる障害物に対応する候補枠間の重複率を計算し、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定することである。重複率閾値は、実際の適用シーンに応じて設定することができる。
上記実施例では、コンピュータデバイスは、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、これにより、障害物に対応する候補領域間の重複率に基づいて、遮蔽関係を有する目標障害物を決定することができ、さらに目標障害物の被写界深度関係を決定することを実現し、障害物検出の精度を向上させる。
一実施例では、コンピュータデバイスが目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップは、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得するステップと、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、を含む。
具体的には、コンピュータデバイスで得られた障害物の被写界深度情報は、被写界深度値であり、被写界深度値の大きさは、障害物から目標車両までの距離の遠近を示し、例えば、被写界深度値が小さいほど、障害物から目標車両までの距離が近いことを示し、被写界深度値が大きいほど、障害物から目標車両までの距離が遠いことを示す。コンピュータデバイスが目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートすることは、具体的には、被写界深度値の大きさに応じて目標障害物を近い順にソートし、目標障害物に対する被写界深度のソート結果を取得することであってもよい。コンピュータデバイスは、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定した後、予め定められた文字により任意の２つの目標障害物間の相対的な被写界深度関係を示すことができ、例えば、「－１」、「０」、「１」で各目標障害物間の相対的な被写界深度関係を示す。
上記実施例では、コンピュータデバイスは、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、さらに目標車両の位置する道路に対応する障害物検出結果を正確に決定し、障害物検出の精度を向上させる。
一実施例では、コンピュータデバイスが、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップは、目標車両に対応する測距装置が収集した測距データを取得するステップと、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得するステップと、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得するステップと、を含む。測距装置は、カメラ及びレーダのうちの少なくとも１種を含む。
具体的には、測距装置が収集した測距データのデータタイプが異なり、該測距データに基づいて各障害物の測距結果を決定する方式も異なり、具体的には、測距装置に合わせた距離予測モデルを採用して、測距データに基づいて各障害物に対する測距結果を取得することができ、距離予測モデルを使用して測距結果を取得する前に、距離予測モデルに合わせたデータ前処理方式を予め使用して測距データを前処理する必要がある。距離予測モデルに合わせたデータ前処理方式は、すなわち、測距装置に合わせたデータ前処理方式であり、データ前処理方式は、画像前処理方式又は点群データ前処理方式を含み、画像前処理方式は、画像階調化、幾何学的変換及び画像強調などの処理のうちの少なくとも１種であってもよく、点群データ前処理は、点群データを座標系に投影することにより、点群画像を取得することであってもよい。
例えば、測距データがカメラによって収集された単眼画像又は両眼画像である場合、画像前処理方式を採用して、収集された単眼画像又は両眼画像を前処理し、前処理後の単眼画像又は両眼画像を取得してもよく、収集された画像データが３次元点群データである場合、点群データ前処理方式を採用して、３次元点群データを前処理し、点群画像を取得してもよい。
上記実施例では、コンピュータデバイスは、目標車両に対応する測距装置が収集した測距データを取得し、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得し、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得し、障害物検出の精度を向上させる。
一実施例では、図７に示すように、さらに障害物検出方法を提供し、該方法を、図１のコンピュータデバイス１０４に適用することを例として説明し、以下のステップＳ７０２～Ｓ７３６を含む。
Ｓ７０２では、目標車両が自動運転状態にある場合、目標車両に対応する画像収集装置から伝送された道路シーン画像を受信する。
Ｓ７０４では、道路シーン画像を障害物識別モデルに入力し、障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含み、特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含む。
Ｓ７０６では、道路シーン画像を特徴抽出バックボーンネットワークに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得する。
Ｓ７０８では、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する。
Ｓ７１０では、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得する。
Ｓ７１２では、目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測する。
Ｓ７１４では、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する。
Ｓ７１６では、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する。
Ｓ７１８では、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得する。
Ｓ７２０では、異なる障害物に対応する候補領域間の重複率を計算する。
Ｓ７２２では、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定する。
Ｓ７２４では、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得する。
Ｓ７２６では、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定する。
Ｓ７２８では、目標車両に対応する測距装置が収集した測距データを取得する。
Ｓ７３０では、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得する。
Ｓ７３２では、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得する。
Ｓ７３４では、各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定する。
Ｓ７３６では、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、目標車両の位置する道路に対応する障害物検出結果として決定する。
本願は、さらに、上記障害物検出方法を適用する適用シーンを提供する。具体的には、該障害物検出方法の該適用シーンでの適用は、以下のとおりである。
自動運転状態にある目標車両は、走行中に、一方では、単眼カメラにより目標車両の位置する道路の道路シーン画像（単眼画像）を収集し、該道路シーン画像をコンピュータデバイスに伝送し、道路シーン画像は、目標車両の周囲環境、例えば、車線及び障害物を反映することができ、障害物は、車両、歩行者、街灯、交通標識などを含み、他方では、レーダにより目標車両の位置する道路における各障害物の３次元点群データを収集し、該３次元点群データをコンピュータデバイスに伝送する。
コンピュータデバイスは、目標車両の道路シーン画像を取得した後、道路シーン画像を、特徴抽出バックボーンネットワーク（Ｂａｃｋｂｏｎｅ）及び特徴ピラミッドネットワーク（ＦＰＮ）を含む特徴抽出ネットワークと、領域生成ネットワーク（ＲＰＮ）、目標分類ネットワーク（Ｂｏｘ ｈｅａｄ）及び目標分割ネットワーク（Ｍａｓｋ ｈｅａｄ）を含むインスタンス分割ネットワークと、被写界深度予測ネットワーク（Ｒｅｌａｔｉｏｎ Ａｗａｒｅ Ｈｅａｄ）と、を含む障害物識別モデルに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークにおけるアップサンプリングモジュール及びダウンサンプリングモジュールの処理により、異なるスケールに対応する複数の特徴マップを取得し、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得し、目標分類ネットワークにより各候補領域にそれぞれ対応する障害物種類を予測し、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報（ｍａｓｋ）を取得し、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得し、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報（ｍａｓｋ）に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域（候補枠）を取得し、候補領域に基づいて遮蔽関係を有する目標障害物を決定し、さらに予測された各障害物の被写界深度情報と組み合わせて目標障害物を被写界深度の順にソートし、目標障害物間の被写界深度のソート関係（すなわち、相対的な被写界深度関係）を取得する。
コンピュータデバイスは、目標車両の位置する道路における障害物の３次元点群データを取得した後、３次元点群データを画像座標系に投影することにより、点群画像を取得し、点群画像に基づいて各障害物から目標車両までの距離を決定し、目標車両までの距離に基づいて各障害物の初期危険レベルを決定し、道路シーン画像における目標障害物間の被写界深度のソート関係を取得した後、該被写界深度のソート関係に基づいて障害物のうちの目標障害物の初期危険レベルを補正し、目標障害物の補正危険レベルを取得し、補正されていない障害物の初期危険レベル及び目標障害物の補正危険レベルを各障害物の危険レベルとして決定する。具体的には、目標障害物が他の障害物に遮蔽されると、その補正危険レベルが低いと決定し、目標障害物の初期危険レベルが被写界深度のソート結果に合わないと、被写界深度のソート結果を基準として障害物の初期危険レベルを補正する。
コンピュータデバイスは、各障害物の危険レベルを取得した後、各障害物から目標車両までの距離、各障害物間の被写界深度のソート関係及び各障害物の注目レベルを障害物検出結果として出力する。
図２、図５及び図７のフローチャートにおける各ステップは、矢印の指示に従って順に表示されているが、これらのステップは必ずしも矢印で指示した順に実行されるわけではないことを理解されたい。本明細書に明確な記載があることを除外、これらのステップの実行は、厳格に順に行われるものではなく、これらのステップは他の順に従って実行されてもよい。そして、図２、図５及び図７における少なくとも一部のステップは、複数のステップ又は複数の段階を含んでもよく、これらのステップ又は段階は、必ずしも同じタイミングで実行されて完了するわけではなく、異なるタイミングで実行されてもよく、これらのステップ又は段階の実行順序も必ず順に行われるわけではなく、他のステップ又は他のステップにおけるステップ又は段階の少なくとも一部に対して、順番にまたは交替に実行されてもよい。
一実施例では、図８に示すように、障害物検出装置を提供し、該装置は、ソフトウェアモジュール又はハードウェアモジュール、又は両者の組み合わせを採用してコンピュータデバイスの一部となり、該装置は、具体的には、道路シーン画像取得モジュール８０２と、障害物識別処理モジュール８０４と、相対的な被写界深度関係決定モジュール８０６と、測距結果取得モジュール８０８と、障害物検出結果決定モジュール８１０とを含み、
道路シーン画像取得モジュール８０２は、目標車両の位置する道路の道路シーン画像を取得し、
障害物識別処理モジュール８０４は、道路シーン画像に対して障害物識別処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、
相対的な被写界深度関係決定モジュール８０６は、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、
測距結果取得モジュール８０８は、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得し、
障害物検出結果決定モジュール８１０は、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を決定する。
一実施例では、道路シーン画像取得モジュール８０２は、さらに、目標車両が自動運転状態にある場合、目標車両に対応する画像収集装置から伝送された道路シーン画像を受信し、道路シーン画像は、画像収集装置が目標車両の位置する道路のリアルシーンを収集して得られた画像である。
一実施例では、障害物検出結果決定モジュール８１０は、さらに、各障害物の測距結果、及び障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定し、各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、目標車両の位置する道路に対応する障害物検出結果として決定する。
一実施例では、障害物検出結果決定モジュール８１０は、さらに、各障害物の測距結果に基づいて、各障害物にそれぞれ対応する初期危険レベルを決定し、障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得し、調整されていない障害物の初期危険レベル、及び目標障害物の補正危険レベルに基づいて、目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルを決定する。
上記実施例では、取得された目標車両の位置する道路の道路シーン画像に対して障害物識別処理を行うことにより、道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得し、各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、これにより、目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得した後、オーバーラップ又は遮蔽が発生する２つ以上の目標障害物に対しても、各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、目標車両の位置する道路に対応する障害物検出結果を正確に決定することができ、さらに正確な障害物検出結果に基づいて、危険レベルが高い障害物をタイムリーに回避し、自動運転の安全信頼性を向上させる。
一実施例では、障害物識別処理モジュール８０４は、さらに、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力し、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する。
一実施例では、特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、障害物識別処理モジュール８０４は、さらに、道路シーン画像を特徴抽出バックボーンネットワークに入力し、特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、異なるスケールのバックボーン特徴マップを特徴ピラミッドネットワークに入力し、特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する。
一実施例では、インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含み、障害物識別処理モジュール８０４は、さらに、異なるスケールの特徴マップをそれぞれ領域生成ネットワークに入力し、領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得し、目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測し、予測によって得られた各候補領域が属する障害物種類に基づいて、候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する。
上記実施例では、道路シーン画像を、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む障害物識別モデルに入力し、特徴抽出ネットワークにより、道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、インスタンス分割ネットワークにより、異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、これにより、道路シーン画像における異なるスケールの障害物に対して、いずれも領域情報の正確な抽出を行うことができ、さらに、被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、これにより各障害物にそれぞれ対応する被写界深度情報を取得し、道路シーン画像における異なるスケールの障害物の領域情報及び深度情報の正確な取得を実現し、さらに障害物検出の精度を向上させる。
一実施例では、相対的な被写界深度関係決定モジュール８０６は、さらに、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定する。
上記実施例では、各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、異なる障害物に対応する候補領域間の重複率を計算し、これにより、障害物に対応する候補領域間の重複率に基づいて、遮蔽関係を有する目標障害物を決定することができ、さらに目標障害物の被写界深度関係を決定することを実現し、障害物検出の精度を向上させる。
一実施例では、相対的な被写界深度関係決定モジュール８０６は、さらに、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定する。
上記実施例では、目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定し、さらに目標車両の位置する道路に対応する障害物検出結果を正確に決定し、障害物検出の精度を向上させる。
一実施例では、測距装置は、カメラ及びレーダのうちの少なくとも１種を含み、測距結果取得モジュール８０８は、さらに、目標車両に対応する測距装置が収集した測距データを取得し、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得し、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得する。
上記実施例では、目標車両に対応する測距装置が収集した測距データを取得し、測距装置に合わせたデータ前処理方式に応じて、測距データを前処理し、前処理後の測距データを取得し、測距装置に合わせた距離予測モデルにより、前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得し、障害物検出の精度を向上させる。
障害物検出装置に関する具体的な限定は、上記障害物検出方法に対する限定を参照してよく、ここで詳細な説明は省略する。上記障害物検出装置における各モジュールは、その全部又は一部がソフトウェア、ハードウェア及びそれらの組み合わせによって実現されてもよい。プロセッサが以上の各モジュールに対応する操作を呼び出して実行するように、上記各モジュールは、ハードウェアとしてコンピュータデバイスにおけるプロセッサに組み込まれるか、又はコンピュータデバイスにおけるプロセッサとは独立して設けられてもよいし、ソフトウェアとしてコンピュータデバイスにおけるメモリに記憶されてもよい。
一実施例では、コンピュータデバイスを提供しており、該コンピュータデバイスは、サーバであってもよく、その内部構造図は、図９のように構成されてもよい。該コンピュータデバイスは、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。該コンピュータデバイスのプロセッサは、計算及び制御能力を提供する。該コンピュータデバイスのメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体には、オペレーティングシステムと、コンピュータプログラムと、データベースとが記憶されている。該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行に環境を提供する。該コンピュータデバイスのデータベースは、道路シーン画像データを記憶する。該コンピュータデバイスのネットワークインタフェースは、ネットワークを介して外部の端末と通信する。該コンピュータプログラムは、プロセッサによって実行されると、障害物検出方法を実現する。
一実施例では、コンピュータデバイスを提供し、該コンピュータデバイスは、端末であってもよく、その内部構造図は、図１０のように構成されてもよい。該コンピュータデバイスは、システムバスを介して接続されたプロセッサ、メモリ、通信インタフェース、ディスプレイ及び入力装置を含む。該コンピュータデバイスのプロセッサは、計算及び制御能力を提供する。該コンピュータデバイスのメモリは、不揮発性記憶媒体、内部メモリを含む。該不揮発性記憶媒体には、オペレーティングシステムと、コンピュータプログラムとが記憶されている。該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行に環境を提供する。該コンピュータデバイスの通信インタフェースは、有線又は無線方式で外部の端末と通信し、無線方式は、ＷＩＦＩ、キャリアネットワーク、ＮＦＣ（近距離無線通信）又は他の技術により実現してもよい。該コンピュータプログラムは、プロセッサによって実行されると、障害物検出方法を実現する。該コンピュータデバイスのディスプレイは、液晶ディスプレイ又は電子インクディスプレイであってもよく、該コンピュータデバイスの入力装置は、ディスプレイに覆われたタッチ層であってもよく、コンピュータデバイスのハウジングに設置されたボタン、トラックボール又はタッチパッドであってもよく、さらに外付けのキーボード、タッチパッド又はマウスなどであってもよい。
当業者であれば、図９又は１０に示された構造は、本願の技術的手段に関連する一部の構造のブロック図に過ぎず、本願の技術的手段が適用されるコンピュータデバイスを限定するものではなく、具体的なコンピュータデバイスは、図に示されたものより多い又は少ない構成要素を含んだり、いくつかの構成要素を組み合わせてなったものであったり、異なる構成要素レイアウトを備えたものであったりすることができることを理解できる。
一実施例では、さらに、コンピュータ読み取り可能な命令が記憶されているメモリと、１つ又は複数のプロセッサを含むコンピュータデバイスを提供しており、コンピュータ読み取り可能な命令がプロセッサにより実行される場合、１つ又は複数のプロセッサに上記各方法の実施例におけるステップを実行させる。
一実施例では、コンピュータ読み取り可能な命令が記憶されている１つ又は複数の不揮発性読み取り可能な記憶媒体を提供しており、コンピュータ読み取り可能な命令が１つ又は複数のプロセッサにより実行される場合、１つ又は複数のプロセッサに上記各方法の実施例におけるステップを実行させる。
一実施例では、コンピュータプログラム製品又はコンピュータプログラムを提供しており、該コンピュータプログラム製品又はコンピュータプログラムは、コンピュータ命令を含み、該コンピュータ命令は、コンピュータ読み取り可能な記憶媒体に記憶される。コンピュータデバイスのプロセッサは、コンピュータ読み取り可能な記憶媒体から該コンピュータ命令を読み取り、プロセッサは、該コンピュータ命令を実行することにより、該コンピュータデバイスに上記各方法の実施例におけるステップを実行させる。
当業者であれば、上記実施例の方法における全部又は一部のフローは、コンピュータプログラムによって関連するハードウェアに命令を与えることで実現でき、前記コンピュータプログラムは、不揮発性コンピュータの読み取り可能な記憶媒体に記憶されてもよく、該コンピュータプログラムは、実行されると、上記各方法の実施例のフローを含んでもよいことを理解できる。本願において提供される、及び、各実施例において使用されるメモリ、記憶、データベース又は他の媒体に対するいかなる引用は、いずれも不揮発性及び揮発性メモリのうちの少なくとも１種を含んでもよい。不揮発性メモリは、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フレキシブルディスク、フラッシュメモリ、又は光メモリなどを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、又は外部キャッシュメモリを含んでもよい。限定されるものではなく例示として、ＲＡＭは、例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）又はダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）などの様々な形態で可能である。
以上、実施例の各技術的特徴を任意に組み合わせることができ、説明を簡潔にするために、上記実施例における各技術的特徴の全ての可能な組み合わせについて説明していない。しかしながら、これらの技術的特徴の組み合わせに矛盾がない限り、それらの全ては、本明細書の範囲と見なされるべきである。
以上、実施例は本願のいくつかの実施形態のみを説明しており、それらの説明は、具体的で詳細であるが、本発明の特許の範囲を限定するものとして解釈されるべきではない。当業者にとって、本願の構想から逸脱することなく、いくつかの変形又は改善を加えることもでき、これらの変形又は改善は、両方とも、本願の保護範囲に属することに留意されたい。したがって、本願の特許の保護範囲は、添付の特許請求の範囲を基準とするべきである。

Claims (20)

  1. コンピュータデバイスが実行する障害物検出方法であって、
    目標車両の位置する道路の道路シーン画像を取得するステップと、
    前記道路シーン画像に対して障害物識別処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得するステップと、
    各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、前記目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、
    前記目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得するステップと、
    各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、前記目標車両の位置する道路に対応する障害物検出結果を決定するステップと、を含む、ことを特徴とする、
    障害物検出方法。
  2. 目標車両の位置する道路の道路シーン画像を取得する前記ステップは、
    前記目標車両が自動運転状態にある場合、前記目標車両に対応する画像収集装置から伝送された道路シーン画像を受信するステップであって、前記道路シーン画像は、前記画像収集装置が前記目標車両の位置する道路のリアルシーンを収集して得られた画像である、ステップを含む、ことを特徴とする、請求項１に記載の障害物検出方法。
  3. 前記道路シーン画像に対して障害物識別処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する前記ステップは、
    前記道路シーン画像を障害物識別モデルに入力するステップであって、前記障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含む、ステップと、
    前記特徴抽出ネットワークにより、前記道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得するステップと、
    前記インスタンス分割ネットワークにより、前記異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報を取得するステップと、
    前記被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得するステップと、を含む、ことを特徴とする、
    請求項１に記載の障害物検出方法。
  4. 前記特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、前記特徴抽出ネットワークにより、前記道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得する前記ステップは、
    前記道路シーン画像を前記特徴抽出バックボーンネットワークに入力し、前記特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得するステップと、
    前記異なるスケールのバックボーン特徴マップを前記特徴ピラミッドネットワークに入力し、前記特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得するステップと、を含む、ことを特徴とする、
    請求項３に記載の障害物検出方法。
  5. 前記インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含み、前記インスタンス分割ネットワークにより、前記異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報を取得する前記ステップは、
    前記異なるスケールの特徴マップをそれぞれ前記領域生成ネットワークに入力し、前記領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各特徴マップにそれぞれ対応する候補領域を取得するステップと、
    前記目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測するステップと、
    予測によって得られた各候補領域が属する障害物種類に基づいて、前記候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得するステップと、を含む、ことを特徴とする、
    請求項３に記載の障害物検出方法。
  6. 各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定するステップは、
    各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得するステップと、
    異なる障害物に対応する候補領域間の重複率を計算するステップと、
    重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定するステップと、を含む、ことを特徴とする、
    請求項１に記載の障害物検出方法。
  7. 前記目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップは、
    前記目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得するステップと、
    前記被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定するステップと、を含む、ことを特徴とする、
    請求項１に記載の障害物検出方法。
  8. 前記測距装置は、カメラ及びレーダのうちの少なくとも１種を含み、前記目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する前記ステップは、
    前記目標車両に対応する前記測距装置が収集した測距データを取得するステップと、
    前記測距装置に合わせたデータ前処理方式に応じて、前記測距データを前処理し、前処理後の測距データを取得するステップと、
    前記測距装置に合わせた距離予測モデルにより、前記前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得するステップと、を含む、ことを特徴とする、
    請求項１に記載の障害物検出方法。
  9. 各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、前記目標車両の位置する道路に対応する障害物検出結果を決定する前記ステップは、
    各障害物の測距結果、及び前記障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定するステップと、
    各目標障害物間の相対的な被写界深度関係、各障害物の測距結果及び各障害物の危険レベルのうちの少なくとも１つを、前記目標車両の位置する道路に対応する障害物検出結果として決定するステップと、を含む、ことを特徴とする、
    請求項１～８のいずれか一項に記載の障害物検出方法。
  10. 各障害物の測距結果、及び前記障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、各障害物の危険レベルを決定する前記ステップは、
    各障害物の測距結果に基づいて、各障害物にそれぞれ対応する初期危険レベルを決定するステップと、
    前記障害物のうちの目標障害物間の相対的な被写界深度関係に基づいて、前記目標障害物の初期危険レベルを補正し、対応する補正危険レベルを取得するステップと、
    調整されていない障害物の初期危険レベル、及び前記目標障害物の補正危険レベルに基づいて、前記目標車両の位置する道路における各障害物にそれぞれ対応する危険レベルを決定するステップと、を含む、ことを特徴とする、
    請求項９に記載の障害物検出方法。
  11. 目標車両の位置する道路の道路シーン画像を取得する道路シーン画像取得モジュールと、
    前記道路シーン画像に対して障害物識別処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報と被写界深度情報を取得する障害物識別処理モジュールと、
    各障害物にそれぞれ対応する領域情報に基づいて、遮蔽関係を有する目標障害物を決定し、前記目標障害物の被写界深度情報に基づいて、各目標障害物間の相対的な被写界深度関係を決定する相対的な被写界深度関係決定モジュールと、
    前記目標車両に対応する測距装置が収集した各障害物に対する測距結果を取得する測距結果取得モジュールと、
    各目標障害物間の相対的な被写界深度関係、及び各障害物の測距結果に基づいて、前記目標車両の位置する道路に対応する障害物検出結果を決定する障害物検出結果決定モジュールと、を含む、ことを特徴とする、
    障害物検出装置。
  12. 前記道路シーン画像取得モジュールは、さらに、
    前記目標車両が自動運転状態にある場合、前記目標車両に対応する画像収集装置から伝送された道路シーン画像を受信し、前記道路シーン画像は、前記画像収集装置が前記目標車両の位置する道路のリアルシーンを収集して得られた画像である、ことを特徴とする、
    請求項１１に記載の障害物検出装置。
  13. 前記障害物識別処理モジュールは、さらに、
    前記道路シーン画像を障害物識別モデルに入力し、前記障害物識別モデルは、特徴抽出ネットワーク、インスタンス分割ネットワーク及び被写界深度予測ネットワークを含み、
    前記特徴抽出ネットワークにより、前記道路シーン画像に対して特徴抽出を行い、異なるスケールに対応する複数の特徴マップを取得し、
    前記インスタンス分割ネットワークにより、前記異なるスケールの特徴マップに対してそれぞれインスタンス分割処理を行い、前記道路シーン画像における各障害物にそれぞれ対応する領域情報を取得し、
    前記被写界深度予測ネットワークにより、各障害物にそれぞれ対応する領域情報に基づいて、各障害物に対して被写界深度予測を行い、各障害物にそれぞれ対応する被写界深度情報を取得する、ことを特徴とする、
    請求項１１に記載の障害物検出装置。
  14. 前記特徴抽出ネットワークは、特徴抽出バックボーンネットワーク及び特徴ピラミッドネットワークを含み、前記障害物識別処理モジュールは、さらに、
    前記道路シーン画像を前記特徴抽出バックボーンネットワークに入力し、前記特徴抽出バックボーンネットワークにおける異なるスケールの畳み込みネットワーク層の処理により、異なるスケールに対応する複数のバックボーン特徴マップを取得し、
    前記異なるスケールのバックボーン特徴マップを前記特徴ピラミッドネットワークに入力し、前記特徴ピラミッドネットワークの処理により、異なるスケールに対応する複数の特徴マップを取得する、ことを特徴とする、
    請求項１３に記載の障害物検出装置。
  15. 前記インスタンス分割ネットワークは、領域生成ネットワーク、目標分類ネットワーク及び目標分割ネットワークを含み、前記障害物識別処理モジュールは、さらに、
    前記異なるスケールの特徴マップをそれぞれ前記領域生成ネットワークに入力し、前記領域生成ネットワークにおける予め定められたスケールの畳み込みネットワーク層の処理により、各前記特徴マップにそれぞれ対応する候補領域を取得し、
    前記目標分類ネットワークにより、各候補領域にそれぞれ対応する障害物種類を予測し、
    予測によって得られた各候補領域が属する障害物種類に基づいて、前記候補領域に対してインスタンス分割を行い、各障害物にそれぞれ対応する領域情報を取得する、ことを特徴とする、
    請求項１３に記載の障害物検出装置。
  16. 前記相対的な被写界深度関係決定モジュールは、さらに、
    各障害物にそれぞれ対応する領域情報に基づいて、障害物識別を行う過程において、各障害物にそれぞれ対応する候補領域を取得し、
    異なる障害物に対応する候補領域間の重複率を計算し、
    重複率が重複率閾値より大きい候補領域に対応する障害物を、遮蔽関係を有する目標障害物として決定する、ことを特徴とする、
    請求項１１に記載の障害物検出装置。
  17. 前記相対的な被写界深度関係決定モジュールは、さらに、
    前記目標障害物の被写界深度情報に基づいて、各目標障害物を近い順にソートし、対応する被写界深度のソート結果を取得し、
    前記被写界深度のソート結果に基づいて、各目標障害物間の相対的な被写界深度関係を決定する、ことを特徴とする、
    請求項１１に記載の障害物検出装置。
  18. 前記測距装置は、カメラ及びレーダのうちの少なくとも１種を含み、前記測距結果取得モジュールは、さらに、
    前記目標車両に対応する前記測距装置が収集した測距データを取得し、
    前記測距装置に合わせたデータ前処理方式に応じて、前記測距データを前処理し、前処理後の測距データを取得し、
    前記測距装置に合わせた距離予測モデルにより、前記前処理後の測距データに対して距離推定処理を行い、各障害物に対する測距結果を取得する、ことを特徴とする、
    請求項１１に記載の障害物検出装置。
  19. コンピュータ読み取り可能な命令が記憶されているメモリと、１つ又は複数のプロセッサと、を含む、コンピュータデバイスであって、前記コンピュータ読み取り可能な命令が前記プロセッサにより実行される場合、前記１つ又は複数のプロセッサに請求項１～１０のいずれか一項に記載の方法のステップを実行させる、ことを特徴とする、コンピュータデバイス。
  20. １つ又は複数のプロセッサが実行するコンピュータプログラムであって、請求項１～１０のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
JP2022564312A 2020-10-22 2021-09-24 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム Active JP7430277B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011138627.5A CN112417967B (zh) 2020-10-22 2020-10-22 障碍物检测方法、装置、计算机设备和存储介质
CN202011138627.5 2020-10-22
PCT/CN2021/120162 WO2022083402A1 (zh) 2020-10-22 2021-09-24 障碍物检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
JP2023523243A true JP2023523243A (ja) 2023-06-02
JP7430277B2 JP7430277B2 (ja) 2024-02-09

Family

ID=74840400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022564312A Active JP7430277B2 (ja) 2020-10-22 2021-09-24 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム

Country Status (5)

Country Link
US (1) US20230014874A1 (ja)
EP (1) EP4109331A4 (ja)
JP (1) JP7430277B2 (ja)
CN (1) CN112417967B (ja)
WO (1) WO2022083402A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN115512316A (zh) * 2021-06-04 2022-12-23 魔门塔(苏州)科技有限公司 静态障碍物接地轮廓线多帧融合方法、装置及介质
CN113689589B (zh) * 2021-09-02 2023-04-21 广东电网有限责任公司 一种基于无人机的电缆线路巡视方法及装置
CN113790761B (zh) * 2021-09-22 2023-08-04 腾讯科技（深圳）有限公司 驾驶端定位方法、装置、计算机设备和存储介质
WO2023065313A1 (zh) * 2021-10-22 2023-04-27 深圳市速腾聚创科技有限公司 遮挡关系判断方法、装置、存储介质及电子设备
CN113902047B (zh) * 2021-12-10 2022-03-04 腾讯科技（深圳）有限公司 图像元素匹配方法、装置、设备以及存储介质
CN114396911B (zh) * 2021-12-21 2023-10-31 中汽创智科技有限公司 一种障碍物测距方法、装置、设备及存储介质
CN114274979B (zh) * 2022-01-07 2024-06-14 中国第一汽车股份有限公司 自动驾驶的目标关注度等级判别方法、装置及存储介质
CN114627443B (zh) * 2022-03-14 2023-06-09 小米汽车科技有限公司 目标检测方法、装置、存储介质、电子设备及车辆
CN114677425A (zh) * 2022-03-17 2022-06-28 北京小马慧行科技有限公司 确定物体景深的方法与装置
CN114740867A (zh) * 2022-05-10 2022-07-12 丰疆智能(深圳)有限公司 基于双目视觉的智能避障方法、装置、机器人及介质
CN114764911B (zh) * 2022-06-15 2022-09-23 小米汽车科技有限公司 障碍物信息检测方法、装置、电子设备及存储介质
CN115331190B (zh) * 2022-09-30 2022-12-09 北京闪马智建科技有限公司 一种基于雷视融合的道路隐患识别方法及装置
CN115375985B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 非限定类别障碍物检测方法、相关网络训练方法及装置
CN115840459B (zh) * 2023-01-04 2023-05-16 北京科技大学 一种面向扑翼飞行器的单目视觉避障***
CN116052121B (zh) * 2023-01-28 2023-06-27 上海芯算极科技有限公司 一种基于距离预估的多传感目标检测融合方法及装置
CN116416504B (zh) * 2023-03-16 2024-02-06 北京瑞拓电子技术发展有限公司 基于车辆协同的高速公路异物检测***和方法
CN116012453B (zh) * 2023-03-28 2023-06-09 常州星宇车灯股份有限公司 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116704473B (zh) * 2023-05-24 2024-03-08 禾多科技（北京）有限公司 障碍物信息检测方法、装置、电子设备和计算机可读介质
CN116434151B (zh) * 2023-06-14 2023-08-29 云途信息科技(杭州)有限公司 路面异物识别方法、装置、计算机设备及存储介质
CN117934486B (zh) * 2024-03-25 2024-06-07 国网辽宁省电力有限公司电力科学研究院 变压器元件检测方法、装置、电子设备和存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
JP2015042952A (ja) 2013-08-26 2015-03-05 シャープ株式会社 障害物検知装置および電動車両
CN104537661A (zh) * 2014-12-26 2015-04-22 张长隆 一种单目摄像头测量面积的方法和***
CN106226050B (zh) * 2016-07-15 2019-02-01 北京航空航天大学 一种基于卷积神经网络的tfds故障图像自动识别方法
US10678846B2 (en) * 2017-03-10 2020-06-09 Xerox Corporation Instance-level image retrieval with a region proposal network
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108416776B (zh) * 2018-03-16 2021-04-30 京东方科技集团股份有限公司 图像识别方法、图像识别装置、计算机产品和可读存储介质
CN108469825A (zh) * 2018-04-19 2018-08-31 河南科技学院 一种基于车路协同的智能巡视***及其构建方法
CN108764186B (zh) * 2018-06-01 2021-10-26 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
CN109084724A (zh) * 2018-07-06 2018-12-25 西安理工大学 一种基于双目视觉的深度学习障碍物测距方法
CN109212377B (zh) * 2018-09-27 2021-08-20 国网智能科技股份有限公司 一种高压线路障碍物识别方法、装置、巡检机器人
CN109639896A (zh) * 2018-12-19 2019-04-16 Oppo广东移动通信有限公司 遮挡物检测方法、装置、存储介质及移动终端
JP2020167441A (ja) 2019-03-28 2020-10-08 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN110070056B (zh) * 2019-04-25 2023-01-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
WO2021026831A1 (zh) * 2019-08-14 2021-02-18 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制***
CN110942449B (zh) * 2019-10-30 2023-05-23 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111291809B (zh) * 2020-02-03 2024-04-12 华为技术有限公司 一种处理装置、方法及存储介质
CN111339649B (zh) * 2020-02-20 2022-02-08 西南交通大学 一种采集车辆轨迹数据的仿真方法、***及设备
CN111488812B (zh) * 2020-04-01 2022-02-22 腾讯科技（深圳）有限公司 障碍物位置识别方法、装置、计算机设备和存储介质
CN111680554A (zh) * 2020-04-29 2020-09-18 北京三快在线科技有限公司 自动驾驶场景的深度估计方法、装置和自主车辆
CN111627057B (zh) * 2020-05-26 2024-06-07 孙剑 一种距离测量方法、装置及服务器
CN111666921B (zh) * 2020-06-30 2022-05-20 腾讯科技（深圳）有限公司 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技（深圳）有限公司 障碍物检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
EP4109331A4 (en) 2023-06-21
WO2022083402A1 (zh) 2022-04-28
EP4109331A1 (en) 2022-12-28
CN112417967A (zh) 2021-02-26
JP7430277B2 (ja) 2024-02-09
CN112417967B (zh) 2021-12-14
US20230014874A1 (en) 2023-01-19

Similar Documents

Publication Publication Date Title
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
EP3732657B1 (en) Vehicle localization
US11798173B1 (en) Moving point detection
US20230144209A1 (en) Lane line detection method and related device
KR102052114B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
KR102103834B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
US11216705B2 (en) Object detection based on machine learning combined with physical attributes and movement patterns detection
WO2021253245A1 (zh) 识别车辆变道趋势的方法和装置
CN112446227A (zh) 物体检测方法、装置及设备
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
US20230236038A1 (en) Position estimation method, position estimation device, and position estimation program
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
CN114359181A (zh) 一种基于图像和点云的智慧交通目标融合检测方法及***
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
Kühnl et al. Visual ego-vehicle lane assignment using spatial ray features
JP2022039188A (ja) 位置姿勢算出方法および位置姿勢算出プログラム
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
CN115187941A (zh) 目标检测定位方法、***、设备及存储介质
CN112699711A (zh) 车道线检测方法、装置、存储介质及电子设备
CN116665179A (zh) 数据处理方法、装置、域控制器以及存储介质
Ballinas-Hernández et al. Marked and unmarked speed bump detection for autonomous vehicles using stereo vision
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及***
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240130

R150 Certificate of patent or registration of utility model

Ref document number: 7430277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150