KR102545105B1 - 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 - Google Patents

차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 Download PDF

Info

Publication number
KR102545105B1
KR102545105B1 KR1020180120326A KR20180120326A KR102545105B1 KR 102545105 B1 KR102545105 B1 KR 102545105B1 KR 1020180120326 A KR1020180120326 A KR 1020180120326A KR 20180120326 A KR20180120326 A KR 20180120326A KR 102545105 B1 KR102545105 B1 KR 102545105B1
Authority
KR
South Korea
Prior art keywords
target
interest
region
image
false target
Prior art date
Application number
KR1020180120326A
Other languages
English (en)
Other versions
KR20200040431A (ko
Inventor
유민균
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180120326A priority Critical patent/KR102545105B1/ko
Priority to US16/203,839 priority patent/US11003921B2/en
Priority to CN201811482880.5A priority patent/CN111103594A/zh
Publication of KR20200040431A publication Critical patent/KR20200040431A/ko
Application granted granted Critical
Publication of KR102545105B1 publication Critical patent/KR102545105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량의 영상 정보로부터 허위 타겟을 판별할 수 있는 차량용 허위 타겟 판별 장치 및 그의 제어 방법과 그를 포함하는 차량에 관한 것으로, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 영상 매칭부와, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑하는 타겟 매핑부와, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출하는 관심 영역 추출부와, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 판별부를 포함할 수 있다.

Description

차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 {APPARATUS AND METHOD FOR DISTINQUISHING FALSE TARGET IN VEHICLE AND VEHICLE INCLUDING THE SAME}
본 발명은 차량용 허위 타겟 판별 장치에 관한 것으로, 더욱 상세하게는 차량의 영상 정보로부터 허위 타겟을 판별할 수 있는 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량에 관한 것이다.
일반적으로, 차량에는 운전자 및 탑승자 보호와 운행 보조 및 승차감의 향상을 위한 다양한 시스템들이 탑재되고 있으며, 이러한 시스템들은 다양한 센서 및 정보통신기술을 활용하여 개량 발전되고 있다.
그 중에서도 카메라를 통한 영상 센서를 이용하여 차선을 인식하고 자동 조향을 수행하는 기술이 실용화되고 있다.
차량에 구비되는 영상 인식 처리장치는, 운행되는 도로 차선의 영상 정보와 후속 주행하는 차량에 관한 영상 정보 및 좌우 차선의 영상 정보를 검출한 후 표시수단을 통해 영상 정보를 디스플레이하여 운전자에게 편리한 차선의 인식과 운행되는 도로의 상황 및 주변 차량의 운행 정보를 제공할 수 있다.
또한, 최근에는 영상 센서 및 레이더를 통해 수집된 영상 정보 및 레이더 정보를 융합하여 필요한 정보를 추출해서 사용할 수 있는 센서 퓨전 시스템이 개발되고 있다.
이러한, 센서 퓨전 시스템은, 카메라를 이용하여 차선정보를 인식하고 차량의 자동 조향을 제어하는 자율주행시스템이나 차량의 스마트 크루즈 컨트롤 기능을 제공하기 위해 사용되고 있다.
하지만, 센서 퓨전 시스템은, 도로의 가드레일 및 도로 경계 등을 구별하지 못하여 허위 타겟을 발생시키기도 하고, 레이더 전자파의 난반사 등에 의해 허위 타겟을 발생시키기도 하는데, 이러한 허위 타겟들은, 차량의 오제어를 일으키는 원인이 되고 있다.
또한, 레이더 데이터 경우, 실제 장애물 데이터와 허위 타겟 데이터의 구분이 불가능하여 허위 타겟을 식별하기가 어렵고, 레이더 데이터에 대한 영상 처리가 불가능하기 때문에 레이더 데이터를 토대로 허위 타겟을 판별하는 것이 어려운 상황이다.
따라서, 향후 차량의 영상 정보로부터 허위 타겟을 신속하고 정확하게 판별할 수 있는 허위 타겟 판별 장치의 개발이 요구되고 있다.
본 발명은 허위 타겟을 감지하기 위한 센서 퓨전과 영상을 매칭하여 관심 영역을 추출하고 허위 타겟 분류 학습을 수행함으로써, 허위 타겟을 신속하고 정확하게 판별할 수 있는 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량을 제공하는데 있다.
또한, 본 발명은 추출한 관심 영역을 토대로 허위 타겟 분류 학습을 수행함으로써, 연산 시간을 최소화하여 빠른 허위 타겟 판별을 수행할 수 있는 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량을 제공하는데 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 차량용 허위 타겟 판별 장치는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 영상 매칭부와, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑하는 타겟 매핑부와, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출하는 관심 영역 추출부와, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 판별부를 포함할 수 있다.
여기서, 본 발명은, 관심 영역 추출부로부터 추출된 관심영역의 크기를 확인하고, 추출된 관심영역의 크기와 기준 크기를 비교하며, 추출된 관심영역의 크기와 기준 크기가 서로 다르면 추출된 관심영역의 크기를 기준 크기로 조절하는 크기 조절부를 더 포함할 수 있다.
또한, 본 발명 일 실시예에 따른 차량용 허위 타겟 판별 장치의 허위 타겟 판별 방법은, 2차원 영상과 3차원 영상을 획득하는 단계와, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 단계와, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑하는 단계와, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출하는 단계와, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 차량용 허위 타겟 판별 장치의 허위 타겟 판별 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 상기 허위 타겟 판별 방법에서 제공된 과정을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 차량은, 차량 주변에 위치하는 타겟을 센싱하는 센서 퓨전 장치와, 센서 퓨전 장치에 통신 연결되어 획득한 2차원 영상과 3차원 영상의 좌표 정보를 매칭하고 좌표 정보가 매칭된 매칭 영상을 토대로 허위 타겟을 판별하는 허위 타겟 판별 장치를 포함하고, 허위 타겟 판별 장치는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 영상 매칭부와, 센서 퓨전 장치로부터 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑하는 타겟 매핑부와, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출하는 관심 영역 추출부와, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 판별부를 포함할 수 있다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 관련된 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량은, 허위 타겟을 감지하기 위한 센서 퓨전과 영상을 매칭하여 관심 영역을 추출하고 허위 타겟 분류 학습을 수행함으로써, 허위 타겟을 신속하고 정확하게 판별할 수 있는 효과를 제공한다.
또한, 본 발명은 추출한 관심 영역을 토대로 허위 타겟 분류 학습을 수행함으로써, 연산 시간을 최소화하여 빠른 허위 타겟 판별을 수행할 수 있는 효과를 제공한다.
또한, 본 발명은, 기존의 센서퓨젼 타겟에서 가드레일 또는 도로경계에서 발생하는 허위 타겟을 효율적으로 제거 할 수 있다.
또한, 본 발명은, CNN(Convolutional Neural Network)을 이용하여 레이더/라이더(Lidar)에서 생성되는 센서퓨전 허위타겟을 영상처리로 판단할 수 있으며, 기존 연산시간이 오래 걸리는 Fster R CNN(Region-based Convolutional Neural Network)부분의 검색 시간을 관심영역 추출로 대체함으로써, 연산 시간의 단축이 가능하다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량용 허위 타겟 판별 장치를 설명하기 위한 블럭 구성도이다.
도 2는 도 1의 정합 수행 과정을 설명하기 위한 도면이다.
도 3은 도 1의 매핑 수행 과정을 설명하기 위한 도면이다.
도 4는 도 1의 관심 영역 추출 과정을 설명하기 위한 도면이다.
도 5는 도 1의 이미지 크기 조절 과정을 설명하기 위한 도면이다.
도 6은 도 1의 학습 과정을 설명하기 위한 도면이다.
도 7은 도 1의 예측 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 허위 타겟 판별 방법을 설명하기 위한 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
이하, 도 1 내지 도 8을 참조하여 본 발명의 실시예들에 적용될 수 있는 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량용 허위 타겟 판별 장치를 설명하기 위한 블럭 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 차량용 허위 타겟 판별 장치는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 영상 매칭부(100), 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑하는 타겟 매핑부(200), 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출하는 관심 영역 추출부(300), 그리고 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 판별부(500)를 포함할 수 있다.
경우에 따라, 본 발명은, 차량이 주행하면 차량 주변을 센싱하여 2차원 영상과 3차원 영상을 획득하는 영상 획득부(미도시)를 더 포함할 수도 있다.
다른 경우로서, 본 발명은, 추출된 관심 영역의 크기를 소정 크기로 조절하기 위한 크기 조절부(400)를 더 포함할 수도 있다.
본 발명의 차량용 허위 타겟 판별 장치를 구성하는 구성 부분을 좀 더 상세히 설명하면 다음과 같다.
먼저, 영상 획득부(미도시)는, 2차원 영상을 획득하는 적어도 하나의 카메라와, 3차원 영상을 획득하는 적어도 하나의 레이더(ladar)를 포함할 수 있다.
경우에 따라, 영상 획득부는, 3차원 영상을 획득하는 적어도 하나의 라이더(lidar)를 더 포함할 수도 있다.
여기서, 카메라는, 차량의 전방을 센싱하는 전방 카메라이고, 레이더는, 차량의 전방을 센싱하는 전방 레이더일 수 있지만, 이에 한정되지는 않는다.
이어, 영상 매칭부(100)는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭할 수 있다.
즉, 영상 매칭부(100)는, 3차원 영상의 좌표 정보를 2차원 영상의 좌표 정보로 변환하고, 변환된 좌표 정보를 2차원 영상의 좌표 정보에 매칭하여 매칭 영상을 생성할 수 있다.
여기서, 영상 매칭부(100)는, 정합성 수행 부분으로서, 전방 카메라의 영상 2차원 좌표계와 전방 레이더/전방 라이더 3차원 좌표계를 칼리브레이션(calibaration)할 수 있다.
일 예로, 영상 매칭부(100)는, 전방 카메라 영상과 차량 좌표계 사이의 정합을 수행한다.
이때, 영상 매칭부(100)의 정합성 수행 부분는, 실제 차량의 3차원 영상 좌표계에서 2차원 영상 좌표계로 위치의 이동을 하기 위한 부분으로서, 인트린직/익스트린직(intrinsic/extrinsic) 파라미터를 이용하여 정합을 수행할 수 있다.
그리고, 타겟 매핑부(200)는, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑할 수 있다.
여기서, 타겟 매핑부(200)는, 센싱된 타겟 정보를 매칭 영상에 매핑할 때, 타겟의 위치 정보, 폭 정보, 길이 정보, 그리고 높이 정보 중 적어도 어느 하나를 매핑할 수 있다.
즉, 타겟 매핑부(200)는, 센서퓨전 타겟의 위치, 폭, 길이, 높이 정보를 기준으로 정보를 추출한 후에 정합성 파라미터를 이용하여 해당 정보를 영상에 매핑할 수 있다.
이처럼, 타겟 매핑부(200)는, 센서퓨전 위치 변환 과정을 수행하는 것으로, 정합성을 수행한 센서퓨전 타겟의 위치, 폭, 길이, 높이 정보를 기반으로 타겟의 위치를 영상으로 옮길 수 있다.
다음, 관심 영역 추출부(300)는, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출할 수 있다.
관심 영역 추출부(300)는, 선정된 관심영역을 추출할 때, 타겟 정보를 토대로 관심영역의 추출 크기를 설정하고, 설정된 추출 크기에 상응하여 관심영역을 추출할 수 있다.
여기서, 관심 영역 추출부(300)는, 관심영역의 추출 크기를 설정할 때, 타겟 정보를 토대로 관심영역의 최소 크기를 결정하고, 결정된 최소 크기를 토대로 관심영역의 추출 크기를 설정할 수 있다.
이때, 관심영역의 추출 크기는, 관심영역의 최소 크기보다 더 클 수 있다.
예를 들면, 관심영역의 추출 크기는, 관심영역의 최소 크기보다 약 20% ~ 약 40% 더 클 수 있는데, 이에 한정되지는 않는다.
또한, 관심 영역 추출부(300)는, 선정된 관심영역을 추출할 때, 매칭 영상으로부터 관심영역으로 선정된 타겟 이미지를 잘라내어 분리할 수 있다.
이처럼, 관심 영역 추출부(300)는, 정합성 기반으로 옮겨진 센서퓨전의 타겟 정보를 기반으로 영상에서 관심영역을 선정하고 관심영역을 잘라낼 수 있다.
즉, 관심 영역 추출부(300)는, 센서퓨전 타겟의 위치, 폭, 길이, 높이 정보를 기준으로 관심영역을 설정하고 이미지를 잘라낼 수 있는데, 이미지 크기 재조절을 예상하여 관심영역을 센서퓨전 타겟의 폭, 길이, 높이보다 약 30% 정도 여유롭게 잘라낼 수 있다.
그리고, 관심 영역 추출부(300)는, 센서퓨전 타겟에서 나온 결과를 영상에 매핑(mapping)하여 잘라내기 때문에 기존의 Faster R CNN에서 타겟의 위치를 검색하는 연산시간을 단축할 수 있다.
여기서, 기존의 Faster R CNN에서 가장 연산 시간이 많이 소요되는 부분인 타겟 검색 부분은, 본 발명에서 센서퓨전 타겟의 위치를 관심영역 설정으로 단순화한 것이다.
그리고, 본 발명은, 추출된 관심 영역의 크기를 소정 크기로 조절하기 위한 크기 조절부(400)를 더 포함할 수 있는데, 크기 조절부(400)는, 관심 영역 추출부(300)로부터 추출된 관심영역의 크기를 확인하고, 추출된 관심영역의 크기와 기준 크기를 비교하며, 추출된 관심영역의 크기와 기준 크기가 서로 다르면 추출된 관심영역의 크기를 기준 크기로 조절할 수 있다.
여기서, 기준 크기는, 특정 면적을 갖는 정사각형 크기일 수 있는데, 이에 한정되는 것은 아니다.
또한, 크기 조절부(400)는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 면적과 이미지 형상을 기준 크기에 상응하는 이미지 면적과 이미지 형상으로 조절할 수 있다.
경우에 따라, 크기 조절부(400)는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 형상을 기준 크기에 상응하는 이미지 형상으로 동일하게 조절하고, 이미지 형상이 조절된 관심영역에 상응하는 이미지 면적을 기준 크기에 상응하는 이미지 면적으로 동일하게 조절할 수 있다.
다른 경우로서, 크기 조절부(400)는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 면적을 기준 크기에 상응하는 이미지 면적으로 동일하게 조절하고, 이미지 면적이 조절된 관심영역에 상응하는 이미지 형상을 기준 크기에 상응하는 이미지 형상으로 동일하게 조절할 수도 있다.
또 다른 경우로서, 크기 조절부(400)는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 면적과 이미지 형상을 기준 크기에 상응하는 이미지 면적과 이미지 형상으로 동시에 조절할 수도 있다.
이처럼, 크기 조절부(400)는, 잘라낸 관심영역의 이미지 크기를 분류기 입력에 맞게 정사각형화하는 크기 재조정을 수행할 수 있다.
이어, 판별부(500)는, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 수 있는데, 실제 주행 시에 관심영역 이미지를 기준으로 허위타겟 여부를 구분하여 학습하는 학습부(510)와, 추출한 파라미터를 기반으로 실제 데이터를 분류기로 분류하여 허위타겟을 구분하는 예측부(520)를 포함할 수 있다.
여기서, 판별부(500)는, 추출된 관심영역이 허위 타겟인지를 판별할 때, 미리 저장된 판별 정보를 토대로 관심영역이 허위 타겟인지를 판별할 수 있다.
이때, 판별부(500)는, 관심영역이 허위 타겟인지를 판별할 때, 관심영역이 허위 타겟으로 판별되면 관심영역에 허위 타겟 식별 번호를 라벨링(labeling)할 수 있다.
예를 들면, 판별부(500)는, 관심영역에 허위 타겟 식별 번호를 라벨링할 때, 관심영역에 허위 타겟 식별 번호를 플래그 1(flag 1)로 라벨링할 수 있다.
또한, 판별부(500)는, 관심영역이 허위 타겟인지를 판별할 때, 관심영역이 실제 타겟으로 판별되면 관심영역에 실제 타겟 식별 번호를 라벨링(labeling)할 수 있다.
예를 들면, 판별부(500)는, 관심영역에 실제 타겟 식별 번호를 라벨링할 때, 관심영역에 실제 타겟 식별 번호를 플래그 0(flag 0)으로 라벨링할 수 있다.
그리고, 판별부(500)는, 미리 저장된 판별 정보를 토대로 관심영역이 허위 타겟인지를 판별할 때, 관심영역이 허위 타겟이 아니면 관심영역을 실제 타겟으로 인지할 수 있다.
또한, 판별부(500)는, 허위 타겟 분류 학습을 수행할 때, 미리 저장된 판별 정보를 토대로 관심영역이 허위 타겟 또는 실제 타겟인지를 판별하고, 판별된 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하여 허위 타겟 분류 학습을 수행할 수 있다.
그리고, 판별부(500)는, 허위 타겟 분류 학습 수행 이후에, 관심영역의 허위 타겟 분류 학습을 토대로 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 수 있다.
여기서, 판별부(500)는, 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 때, 허위 타겟 분류 학습 수행 이전에 추출된 관심영역을 예측할 수 있다.
또한, 판별부(500)는, 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 때, 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하는지를 확인하고, 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하면 관심영역의 허위 타겟 분류 학습을 토대로 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하고, 예측한 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하여 분류할 수 있다.
이처럼, 판별부(500)의 학습부(510)는, 잘라낸 이미지가 실제 타겟이면, 0으로 라벨링하고, 잘라낸 이미지가 허위 타겟이면, 1로 라벨링하여 학습할 수 있다.
여기서, 판별부(500)의 학습부(510)는, 센서퓨전 타겟의 위치를 매핑한 관심영역의 이미지이므로 실제로 라벨링이 가능하다.
이어, 판별부(500)의 예측부(520)는, 실제 센서퓨전 타겟에서 학습 전까지의 과정을 수행한 이미지를 분류기에 넣어서 예측할 수 있다.
여기서, 예측 결과는, 허위타겟 또는 실제타겟으로 분류될 수 있다.
일 예로, 판별부(500)의 예측부(520)는, CNN을 이용하여 영상과 센서퓨전 타겟의 정보를 매핑한 후에 허위타겟의 여부를 판단할 수 있다.
이와 같이, 본 발명은, 허위 타겟을 감지하기 위한 센서 퓨전과 영상을 매칭하여 관심 영역을 추출하고 허위 타겟 분류 학습을 수행함으로써, 허위 타겟을 신속하고 정확하게 판별할 수 있다.
또한, 본 발명은 추출한 관심 영역을 토대로 허위 타겟 분류 학습을 수행함으로써, 연산 시간을 최소화하여 빠른 허위 타겟 판별을 수행할 수 있다.
또한, 본 발명은, 기존의 센서퓨젼 타겟에서 가드레일 또는 도로경계에서 발생하는 허위 타겟을 효율적으로 제거 할 수 있다.
또한, 본 발명은, CNN(Convolutional Neural Network)을 이용하여 레이더/라이더(Lidar)에서 생성되는 센서퓨전 허위타겟을 영상처리로 판단할 수 있으며, 기존 연산시간이 오래 걸리는 Fster R CNN(Region-based Convolutional Neural Network)부분의 검색 시간을 관심영역 추출로 대체함으로써, 연산 시간의 단축이 가능하다.
도 2는 도 1의 정합 수행 과정을 설명하기 위한 도면이고, 도 3은 도 1의 매핑 수행 과정을 설명하기 위한 도면이며, 도 4는 도 1의 관심 영역 추출 과정을 설명하기 위한 도면이고, 도 5는 도 1의 이미지 크기 조절 과정을 설명하기 위한 도면이며, 도 6은 도 1의 학습 과정을 설명하기 위한 도면이고, 도 7은 도 1의 예측 과정을 설명하기 위한 도면이며, 도 8은 본 발명의 일 실시예에 따른 허위 타겟 판별 방법을 설명하기 위한 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 영상 매칭부는, 정합성 수행 부분으로서, 전방 카메라의 영상 2차원 좌표계와 전방 레이더/전방 라이더 3차원 좌표계를 칼리브레이션(calibaration)할 수 있다.
일 예로, 영상 매칭부(100)는, 전방 카메라 영상과 차량 좌표계 사이의 정합을 수행한다.
이때, 영상 매칭부(100)의 정합성 수행 부분는, 실제 차량의 3차원 영상 좌표계에서 2차원 영상 좌표계로 위치의 이동을 하기 위한 부분으로서, 인트린직/익스트린직(intrinsic/extrinsic) 파라미터를 이용하여 정합을 수행할 수 있다.
그리고, 도 3에 도시된 바와 같이, 본 발명의 타겟 매핑부는, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑할 수 있다.
여기서, 타겟 매핑부는, 센서퓨전 타겟의 위치, 폭, 길이, 높이 정보를 기준으로 정보를 추출한 후에 정합성 파라미터를 이용하여 해당 정보를 영상에 매핑할 수 있다.
이처럼, 타겟 매핑부(200)는, 센서퓨전 위치 변환 과정을 수행하는 것으로, 정합성을 수행한 센서퓨전 타겟의 위치, 폭, 길이, 높이 정보를 기반으로 타겟의 위치를 영상으로 옮길 수 있다.
다음, 도 4에 도시된 바와 같이, 본 발명의 관심 영역 추출부는, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출할 수 있다.
여기서, 관심 영역 추출부는, 정합성 기반으로 옮겨진 센서퓨전의 타겟 정보를 기반으로 영상에서 관심영역을 선정하고 관심영역을 잘라낼 수 있다.
즉, 관심 영역 추출부는, 센서퓨전 타겟의 위치, 폭, 길이, 높이 정보를 기준으로 관심영역을 설정하고 이미지를 잘라낼 수 있는데, 이미지 크기 재조절을 예상하여 관심영역을 센서퓨전 타겟의 폭, 길이, 높이보다 약 30% 정도 여유롭게 잘라낼 수 있다.
그리고, 관심 영역 추출부는, 센서퓨전 타겟에서 나온 결과를 영상에 매핑(mapping)하여 잘라내기 때문에 기존의 Faster R CNN에서 타겟의 위치를 검색하는 연산시간을 단축할 수 있다.
여기서, 기존의 Faster R CNN에서 가장 연산 시간이 많이 소요되는 부분인 타겟 검색 부분은, 본 발명에서 센서퓨전 타겟의 위치를 관심영역 설정으로 단순화한 것이다.
그리고, 도 5에 도시된 바와 같이, 본 발명의 크기 조절부는, 관심 영역 추출부로부터 추출된 관심영역의 크기를 확인하고, 추출된 관심영역의 크기와 기준 크기를 비교하며, 추출된 관심영역의 크기와 기준 크기가 서로 다르면 추출된 관심영역의 크기를 기준 크기로 조절할 수 있다.
이처럼, 크기 조절부는, 잘라낸 관심영역의 이미지 크기를 분류기 입력에 맞게 정사각형화하는 크기 재조정을 수행할 수 있다.
이어, 도 6에 도시된 바와 같이, 본 발명의 판별부는, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 수 있다.
여기서, 판별부는, 학습 부분으로서, 실제 주행 시에 관심영역 이미지를 기준으로 허위타겟 여부를 구분하여 학습할 수 있는데, 잘라낸 이미지가 실제 타겟이면, 0으로 라벨링하고, 잘라낸 이미지가 허위 타겟이면, 1로 라벨링하여 학습할 수 있다.
이때, 판별부는, 센서퓨전 타겟의 위치를 매핑한 관심영역의 이미지이므로 실제로 라벨링이 가능하다.
또한, 판별부는, 예측 부분으로서, 추출한 파라미터를 기반으로 실제 데이터를 분류기로 분류하여 허위타겟을 구분할 수 있다.
그리고, 도 7에 도시된 바와 같이, 판별부는, 실제 센서퓨전 타겟에서 학습 전까지의 과정을 수행한 이미지를 분류기에 넣어서 예측할 수 있다.
여기서, 예측 결과는, 허위타겟 또는 실제타겟으로 분류될 수 있다.
일 예로, 판별부는, CNN을 이용하여 영상과 센서퓨전 타겟의 정보를 매핑한 후에 허위타겟의 여부를 판단할 수 있다.
도 8은 본 발명의 일 실시예에 따른 허위 타겟 판별 방법을 설명하기 위한 흐름도이다.
도 8에 도시된 바와 같이, 본 발명의 허위 타겟 판별 장치는, 2차원 영상과 3차원 영상을 획득한다(S10).
여기서, 본 발명의 허위 타겟 판별 장치는, 2차원 영상과 3차원 영상을 획득할 때, 차량이 주행하는지를 확인하고, 차량이 주행하면 차량 주변을 센싱하여 2차원 영상과 3차원 영상을 획득할 수 있다.
그리고, 본 발명의 허위 타겟 판별 장치는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭할 수 있다(S20).
여기서, 본 발명의 허위 타겟 판별 장치는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭할 때, 3차원 영상의 좌표 정보를 2차원 영상의 좌표 정보로 변환하고, 변환된 좌표 정보를 2차원 영상의 좌표 정보에 매칭하여 매칭 영상을 생성할 수 있다.
이어, 본 발명의 허위 타겟 판별 장치는, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑할 수 있다(S30).
여기서, 본 발명의 허위 타겟 판별 장치는, 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑할 때, 센싱된 타겟 정보에 포함되는 타겟의 위치 정보, 폭 정보, 길이 정보, 그리고 높이 정보 중 적어도 어느 하나를 매칭 영상 내에 매핑할 수 있다.
다음, 본 발명의 허위 타겟 판별 장치는, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출할 수 있다(S40).
여기서, 본 발명의 허위 타겟 판별 장치는, 선정된 관심영역을 추출할 때, 타겟 정보를 토대로 관심영역의 추출 크기를 설정하고, 설정된 추출 크기에 상응하여 관심영역을 추출할 수 있다.
이때, 관심영역의 추출 크기 설정은, 타겟 정보를 토대로 관심영역의 최소 크기를 결정하고, 결정된 최소 크기를 토대로 관심영역의 추출 크기를 설정할 수 있다.
일 예로, 관심영역의 추출 크기는, 관심영역의 최소 크기보다 더 클 수 있다.
그리고, 본 발명의 허위 타겟 판별 장치는, 선정된 관심영역을 추출할 때, 매칭 영상으로부터 관심영역으로 선정된 타겟 이미지를 잘라내어 분리할 수 있다.
이어, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 수 있다(S50).
여기서, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 때, 추출된 관심영역의 크기를 확인하고, 추출된 관심영역의 크기와 기준 크기를 비교하며, 추출된 관심영역의 크기와 기준 크기가 서로 다르면 추출된 관심영역의 크기를 기준 크기로 조절하고, 크기가 조절된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 수 있다.
이때, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역의 크기와 기준 크기를 비교할 때, 추출된 관심영역의 크기와 기준 크기가 서로 동일하면 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 수 있다.
일 예로, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 면적과 이미지 형상을 기준 크기에 상응하는 이미지 면적과 이미지 형상으로 조절할 수 있다.
경우에 따라, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 형상을 기준 크기에 상응하는 이미지 형상으로 동일하게 조절하고, 이미지 형상이 조절된 관심영역에 상응하는 이미지 면적을 기준 크기에 상응하는 이미지 면적으로 동일하게 조절할 수도 있다.
다른 경우로서, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 면적을 기준 크기에 상응하는 이미지 면적으로 동일하게 조절하고, 이미지 면적이 조절된 관심영역에 상응하는 이미지 형상을 기준 크기에 상응하는 이미지 형상으로 동일하게 조절할 수도 있다.
또 다른 경우로서, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역의 크기를 기준 크기로 조절할 때, 추출된 관심영역에 상응하는 이미지 면적과 이미지 형상을 기준 크기에 상응하는 이미지 면적과 이미지 형상으로 동시에 조절할 수도 있다.
다음, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행할 때, 미리 저장된 판별 정보를 토대로 관심영역이 허위 타겟 또는 실제 타겟인지를 판별하고, 판별된 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링(labeling)하며, 라벨링된 관심영역을 토대로 허위 타겟 분류 학습을 수행할 수 있다.
여기서, 본 발명의 허위 타겟 판별 장치는, 판별된 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링할 때, 관심영역이 허위 타겟으로 판별되면 관심영역에 허위 타겟 식별 번호를 라벨링하고, 관심영역이 실제 타겟으로 판별되면 관심영역에 실제 타겟 식별 번호를 라벨링할 수 있다.
그리고, 본 발명의 허위 타겟 판별 장치는, 허위 타겟 분류 학습을 수행하면, 관심영역의 허위 타겟 분류 학습을 토대로 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 수 있다.
여기서, 본 발명의 허위 타겟 판별 장치는, 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 때, 허위 타겟 분류 학습 수행 이전에 추출된 관심영역을 예측할 수 있다.
본 발명의 허위 타겟 판별 장치는, 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 때, 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하는지를 확인하고, 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하면 관심영역의 허위 타겟 분류 학습을 토대로 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하며, 예측한 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하여 분류할 수 있다.
다음, 본 발명의 허위 타겟 판별 장치는, 종료 요청이 수신되는지를 확인하고 종료 요청이 수신되면 모든 과정을 종료할 수 있다(S60).
추가적으로, 본 발명은, 차량용 허위 타겟 판별 장치의 허위 타겟 판별 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로서, 본 발명의 실시예에 따른 허위 타겟 판별 방법에서 제공된 과정을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 차량은, 차량 주변에 위치하는 타겟을 센싱하는 센서 퓨전 장치와, 센서 퓨전 장치에 통신 연결되어 획득한 2차원 영상과 3차원 영상의 좌표 정보를 매칭하고 좌표 정보가 매칭된 매칭 영상을 토대로 허위 타겟을 판별하는 허위 타겟 판별 장치를 포함하고, 허위 타겟 판별 장치는, 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 영상 매칭부와, 센서 퓨전 장치로부터 센싱된 타겟 정보를 좌표 정보가 매칭된 매칭 영상에 매핑하는 타겟 매핑부와, 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 선정된 관심영역을 추출하는 관심 영역 추출부와, 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 판별부를 포함할 수 있다.
여기서, 차량은, 차량이 주행하면 차량 주변을 센싱하여 2차원 영상과 3차원 영상을 획득하는 영상 획득부를 더 포함하고, 영상 획득부는, 센서 퓨전 장치 및 허위 타겟 판별 장치 중 적어도 어느 한 곳에 배치될 수 있다.
그리고, 센서 퓨전 장치는, 차량 주변을 센싱하여 2차원 영상을 획득하고 획득한 2차원 영상을 토대로 허위 타겟을 1차 판별하고, 허위 타겟 판별 장치는, 획득한 2차원 영상과 3차원 영상을 토대로 허위 타겟을 2차 판별할 수 있다.
이어, 허위 타겟 판별 장치는, 관심 영역 추출부로부터 추출된 관심영역의 크기를 확인하고, 추출된 관심영역의 크기와 기준 크기를 비교하며, 추출된 관심영역의 크기와 기준 크기가 서로 다르면 추출된 관심영역의 크기를 기준 크기로 조절하는 크기 조절부를 더 포함할 수 있다.
다음, 허위 타겟 판별 장치는, 허위 타겟 분류 학습 수행 이후에, 관심영역의 허위 타겟 분류 학습을 토대로 허위 타겟 분류 학습 수행 이전에 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 수 있다.
이와 같이, 본 발명은, 허위 타겟을 감지하기 위한 센서 퓨전과 영상을 매칭하여 관심 영역을 추출하고 허위 타겟 분류 학습을 수행함으로써, 허위 타겟을 신속하고 정확하게 판별할 수 있다.
또한, 본 발명은 추출한 관심 영역을 토대로 허위 타겟 분류 학습을 수행함으로써, 연산 시간을 최소화하여 빠른 허위 타겟 판별을 수행할 수 있다.
또한, 본 발명은, 기존의 센서퓨젼 타겟에서 가드레일 또는 도로경계에서 발생하는 허위 타겟을 효율적으로 제거 할 수 있다.
또한, 본 발명은, CNN(Convolutional Neural Network)을 이용하여 레이더/라이더(Lidar)에서 생성되는 센서퓨전 허위타겟을 영상처리로 판단할 수 있으며, 기존 연산시간이 오래 걸리는 Fster R CNN(Region-based Convolutional Neural Network)부분의 검색 시간을 관심영역 추출로 대체함으로써, 연산 시간의 단축이 가능하다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100: 영상 매칭부
200: 타겟 매핑부
300: 관심 영역 추출부
400: 크기 조절부
500: 판별부

Claims (35)

  1. 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하고, 그 매칭 파라미터를 결정하는 영상 매칭부;
    센싱된 타겟 정보를 상기 좌표 정보가 매칭된 매칭 영상에 상기 매칭 파라미터를 이용해 매핑하는 타겟 매핑부;
    상기 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 상기 선정된 관심영역을 추출하는 관심 영역 추출부; 그리고,
    허위 타겟 분류 학습을 통한 분류기에 의해 상기 추출된 관심영역을 처리해 상기 센싱된 타겟이 허위 타겟인지를 판별하는 판별부를 포함하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  2. 제1 항에 있어서,
    차량이 주행하면 상기 차량 주변을 센싱하여 2차원 영상과 3차원 영상을 획득하는 영상 획득부를 더 포함하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  3. 제2 항에 있어서, 상기 영상 획득부는,
    상기 2차원 영상을 획득하는 적어도 하나의 카메라; 그리고,
    상기 3차원 영상을 획득하는 적어도 하나의 레이더(ladar)를 포함하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  4. 제3 항에 있어서, 상기 영상 획득부는,
    상기 3차원 영상을 획득하는 적어도 하나의 라이더(lidar)를 더 포함하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  5. 제1 항에 있어서, 상기 영상 매칭부는,
    상기 3차원 영상의 좌표 정보를 상기 2차원 영상의 좌표 정보로 변환하고, 상기 변환된 좌표 정보를 상기 2차원 영상의 좌표 정보에 매칭하여 상기 매칭 영상을 생성하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  6. 제1 항에 있어서, 상기 타겟 매핑부는,
    상기 센싱된 타겟 정보를 상기 매칭 영상에 매핑할 때, 상기 타겟의 위치 정보, 폭 정보, 길이 정보, 그리고 높이 정보 중 적어도 어느 하나를 매핑하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  7. 제1 항에 있어서, 상기 관심 영역 추출부는,
    상기 선정된 관심영역을 추출할 때, 상기 타겟 정보를 토대로 상기 관심영역의 추출 크기를 설정하고, 상기 설정된 추출 크기에 상응하여 상기 관심영역을 추출하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  8. 제7 항에 있어서, 상기 관심 영역 추출부는,
    상기 관심영역의 추출 크기를 설정할 때, 상기 타겟 정보를 토대로 상기 관심영역의 최소 크기를 결정하고, 상기 결정된 최소 크기를 토대로 상기 관심영역의 추출 크기를 설정하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  9. 제8 항에 있어서, 상기 관심영역의 추출 크기는,
    상기 관심영역의 최소 크기보다 더 큰 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  10. 제1 항에 있어서, 상기 관심 영역 추출부는,
    상기 선정된 관심영역을 추출할 때, 상기 매칭 영상으로부터 상기 관심영역으로 선정된 타겟 이미지를 잘라내어 분리하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  11. 제1 항에 있어서,
    상기 관심 영역 추출부로부터 추출된 관심영역의 크기를 확인하고, 상기 추출된 관심영역의 크기와 기준 크기를 비교하며, 상기 추출된 관심영역의 크기와 상기 기준 크기가 서로 다르면 상기 추출된 관심영역의 크기를 상기 기준 크기로 조절하는 크기 조절부를 더 포함하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  12. 제11 항에 있어서, 상기 기준 크기는,
    특정 면적을 갖는 정사각형 크기인 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  13. 제1 항에 있어서, 상기 판별부는,
    상기 허위 타겟 분류 학습을 수행할 때, 미리 저장된 판별 정보를 토대로 상기 관심영역이 허위 타겟 또는 실제 타겟인지를 판별하고, 상기 판별된 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하여 상기 허위 타겟 분류 학습을 수행하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  14. 제1 항에 있어서, 상기 판별부는,
    상기 허위 타겟 분류 학습 수행 이후에, 상기 관심영역의 허위 타겟 분류 학습을 토대로 상기 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  15. 제14 항에 있어서, 상기 판별부는,
    상기 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측할 때, 상기 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하는지를 확인하고, 상기 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하면 상기 관심영역의 허위 타겟 분류 학습을 토대로 상기 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하고, 상기 예측한 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하여 분류하는 것을 특징으로 하는 차량용 허위 타겟 판별 장치.
  16. 차량용 허위 타겟 판별 장치의 허위 타겟 판별 방법에 있어서,
    2차원 영상과 3차원 영상을 획득하는 단계;
    상기 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하고, 그 매칭 파라미터를 결정하는 단계;
    센싱된 타겟 정보를 상기 좌표 정보가 매칭된 매칭 영상에 상기 매칭 파라미터를 이용해 매핑하는 단계;
    상기 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 상기 선정된 관심영역을 추출하는 단계; 그리고,
    허위 타겟 분류 학습을 통한 분류기에 의해 상기 추출된 관심영역을 처리해 상기 센싱된 타겟이 허위 타겟인지를 판별하는 단계를 포함하는 것을 특징으로 하는 허위 타겟 판별 방법.
  17. 제16 항에 있어서, 상기 2차원 영상과 3차원 영상을 획득하는 단계는,
    차량이 주행하는지를 확인하고, 상기 차량이 주행하면 상기 차량 주변을 센싱하여 상기 2차원 영상과 3차원 영상을 획득하는 것을 특징으로 하는 허위 타겟 판별 방법.
  18. 제16 항에 있어서, 상기 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하는 단계는,
    상기 3차원 영상의 좌표 정보를 상기 2차원 영상의 좌표 정보로 변환하고, 상기 변환된 좌표 정보를 상기 2차원 영상의 좌표 정보에 매칭하여 상기 매칭 영상을 생성하는 것을 특징으로 하는 허위 타겟 판별 방법.
  19. 제16 항에 있어서, 상기 센싱된 타겟 정보를 상기 좌표 정보가 매칭된 매칭 영상에 매핑하는 단계는,
    상기 센싱된 타겟 정보에 포함되는 타겟의 위치 정보, 폭 정보, 길이 정보, 그리고 높이 정보 중 적어도 어느 하나를 상기 매칭 영상 내에 매핑하는 것을 특징으로 하는 허위 타겟 판별 방법.
  20. 제16 항에 있어서, 상기 선정된 관심영역을 추출하는 단계는,
    상기 타겟 정보를 토대로 상기 관심영역의 추출 크기를 설정하고, 상기 설정된 추출 크기에 상응하여 상기 관심영역을 추출하는 것을 특징으로 하는 허위 타겟 판별 방법.
  21. 제20 항에 있어서, 상기 관심영역의 추출 크기 설정은,
    상기 타겟 정보를 토대로 상기 관심영역의 최소 크기를 결정하고, 상기 결정된 최소 크기를 토대로 상기 관심영역의 추출 크기를 설정하는 것을 특징으로 하는 허위 타겟 판별 방법.
  22. 제21 항에 있어서, 상기 관심영역의 추출 크기는,
    상기 관심영역의 최소 크기보다 더 큰 것을 특징으로 하는 허위 타겟 판별 방법.
  23. 제20 항에 있어서, 상기 선정된 관심영역을 추출하는 단계는,
    상기 매칭 영상으로부터 상기 관심영역으로 선정된 타겟 이미지를 잘라내어 분리하는 것을 특징으로 하는 허위 타겟 판별 방법.
  24. 제16 항에 있어서, 상기 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 단계는,
    상기 추출된 관심영역의 크기를 확인하는 단계;
    상기 추출된 관심영역의 크기와 기준 크기를 비교하는 단계; 그리고,
    상기 추출된 관심영역의 크기와 상기 기준 크기가 서로 다르면 상기 추출된 관심영역의 크기를 상기 기준 크기로 조절하는 단계; 그리고,
    상기 크기가 조절된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 단계를 포함하는 것을 특징으로 하는 허위 타겟 판별 방법.
  25. 제24 항에 있어서, 상기 추출된 관심영역의 크기와 기준 크기를 비교하는 단계에서,
    상기 추출된 관심영역의 크기와 상기 기준 크기가 서로 동일하면 상기 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 것을 특징으로 하는 허위 타겟 판별 방법.
  26. 제16 항에 있어서, 상기 추출된 관심영역이 허위 타겟인지를 판별하여 허위 타겟 분류 학습을 수행하는 단계는,
    미리 저장된 판별 정보를 토대로 상기 관심영역이 허위 타겟 또는 실제 타겟인지를 판별하는 단계;
    상기 판별된 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링(labeling)하는 단계; 그리고,
    상기 라벨링된 관심영역을 토대로 상기 허위 타겟 분류 학습을 수행하는 단계를 포함하는 것을 특징으로 하는 허위 타겟 판별 방법.
  27. 제26 항에 있어서, 상기 판별된 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하는 단계는,
    상기 관심영역이 허위 타겟으로 판별되면 상기 관심영역에 허위 타겟 식별 번호를 라벨링하고,
    상기 관심영역이 실제 타겟으로 판별되면 상기 관심영역에 실제 타겟 식별 번호를 라벨링하는 것을 특징으로 하는 허위 타겟 판별 방법.
  28. 제16 항에 있어서,
    상기 허위 타겟 분류 학습을 수행하면, 상기 관심영역의 허위 타겟 분류 학습을 토대로 상기 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하는 단계를 더 포함하는 것을 특징으로 하는 허위 타겟 판별 방법.
  29. 제28 항에 있어서, 상기 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하는 단계는,
    상기 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하는지를 확인하는 단계;
    상기 허위 타겟 분류 학습 수행 이전에 추출된 관심영역이 존재하면 상기 관심영역의 허위 타겟 분류 학습을 토대로 상기 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하는 단계; 그리고,
    상기 예측한 관심영역을 상응하는 허위 타겟 식별 번호 또는 실제 타겟 식별 번호로 라벨링하여 분류하는 단계를 포함하는 것을 특징으로 하는 허위 타겟 판별 방법.
  30. 제16 항 내지 제29 항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  31. 차량 주변에 위치하는 타겟을 센싱하는 센서 퓨전 장치; 그리고,
    상기 센서 퓨전 장치에 통신 연결되어 획득한 2차원 영상과 3차원 영상의 좌표 정보를 매칭하고, 상기 좌표 정보가 매칭된 매칭 영상을 토대로 허위 타겟을 판별하는 허위 타겟 판별 장치를 포함하고,
    상기 허위 타겟 판별 장치는,
    상기 획득한 2차원 영상의 좌표 정보와 3차원 영상의 좌표 정보를 매칭하고, 그 매칭 파라미터를 결정하는 영상 매칭부;
    상기 센서 퓨전 장치로부터 센싱된 타겟 정보를 상기 좌표 정보가 매칭된 매칭 영상에 상기 매칭 파라미터를 이용해 매핑하는 타겟 매핑부;
    상기 매칭 영상에 매핑된 타겟을 관심 영역으로 선정하고 상기 선정된 관심영역을 추출하는 관심 영역 추출부; 그리고,
    허위 타겟 분류 학습을 통한 분류기에 의해 상기 추출된 관심영역을 처리해 상기 센싱된 타겟이 허위 타겟인지를 판별하는 판별부를 포함하는 것을 특징으로 하는 차량.
  32. 제31 항에 있어서,
    상기 차량이 주행하면 상기 차량 주변을 센싱하여 2차원 영상과 3차원 영상을 획득하는 영상 획득부를 더 포함하고,
    상기 영상 획득부는,
    상기 센서 퓨전 장치 및 상기 허위 타겟 판별 장치 중 적어도 어느 한 곳에 배치되는 것을 특징으로 하는 차량.
  33. 제31 항에 있어서, 상기 센서 퓨전 장치는,
    상기 차량 주변을 센싱하여 2차원 영상을 획득하고 상기 획득한 2차원 영상을 토대로 허위 타겟을 1차 판별하고,
    상기 허위 타겟 판별 장치는,
    상기 획득한 2차원 영상과 3차원 영상을 토대로 상기 허위 타겟을 2차 판별하는 것을 특징으로 하는 차량.
  34. 제31 항에 있어서, 상기 허위 타겟 판별 장치는,
    상기 관심 영역 추출부로부터 추출된 관심영역의 크기를 확인하고, 상기 추출된 관심영역의 크기와 기준 크기를 비교하며, 상기 추출된 관심영역의 크기와 상기 기준 크기가 서로 다르면 상기 추출된 관심영역의 크기를 상기 기준 크기로 조절하는 크기 조절부를 더 포함하는 것을 특징으로 하는 차량.
  35. 제31 항에 있어서, 상기 허위 타겟 판별 장치는,
    상기 허위 타겟 분류 학습 수행 이후에, 상기 관심영역의 허위 타겟 분류 학습을 토대로 상기 허위 타겟 분류 학습 수행 이전에 추출된 관심영역에 대한 허위 타겟 또는 실제 타겟을 예측하는 것을 특징으로 하는 차량.
KR1020180120326A 2018-10-10 2018-10-10 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 KR102545105B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180120326A KR102545105B1 (ko) 2018-10-10 2018-10-10 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
US16/203,839 US11003921B2 (en) 2018-10-10 2018-11-29 Apparatus and method for distinguishing false target in vehicle and vehicle including the same
CN201811482880.5A CN111103594A (zh) 2018-10-10 2018-12-05 车辆中区分虚假目标的装置和方法及包括其的车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180120326A KR102545105B1 (ko) 2018-10-10 2018-10-10 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량

Publications (2)

Publication Number Publication Date
KR20200040431A KR20200040431A (ko) 2020-04-20
KR102545105B1 true KR102545105B1 (ko) 2023-06-19

Family

ID=70159425

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120326A KR102545105B1 (ko) 2018-10-10 2018-10-10 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량

Country Status (3)

Country Link
US (1) US11003921B2 (ko)
KR (1) KR102545105B1 (ko)
CN (1) CN111103594A (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
SG11202103493QA (en) 2018-10-11 2021-05-28 Tesla Inc Systems and methods for training machine models with augmented data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11604261B2 (en) * 2019-02-06 2023-03-14 Lockeed Martin Corporation Extended laser active ranging system, method and computer readable program product
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
DE102020123920B3 (de) * 2020-09-15 2021-08-19 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und System zum automatischen Labeling von Radardaten
KR102584070B1 (ko) * 2020-11-23 2023-10-10 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
KR102572339B1 (ko) * 2020-12-14 2023-08-28 이기현 전자기파 데이터의 ai 기계학습을 위한 어노테이션 방법
CN112305531B (zh) * 2020-12-29 2022-02-11 北京海兰信数据科技股份有限公司 一种目标检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099762A (ja) * 2001-09-25 2003-04-04 Daihatsu Motor Co Ltd 前方車両認識装置及び認識方法
KR101125233B1 (ko) * 2010-11-25 2012-03-21 재단법인대구경북과학기술원 융합기술기반 보안방법 및 융합기술기반 보안시스템
JP2013250809A (ja) * 2012-05-31 2013-12-12 Casio Comput Co Ltd 多クラス識別器、方法、およびプログラム
KR101874588B1 (ko) * 2016-12-28 2018-07-04 주식회사 포딕스시스템 고해상도 카메라를 이용한 다채널 관심영역 표출방법
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0115433D0 (en) * 2001-06-23 2001-08-15 Lucas Industries Ltd An object location system for a road vehicle
EP2669846B1 (en) * 2012-06-01 2017-11-01 Ricoh Company, Ltd. Target recognition system and target recognition method executed by the target recognition system, target recognition program executed on the target recognition system, and recording medium storing the target recognition program
KR101417408B1 (ko) * 2012-11-15 2014-07-14 현대자동차주식회사 레이더를 이용한 객체 인식방법 및 시스템
KR20150142543A (ko) * 2014-06-12 2015-12-22 현대모비스 주식회사 자동차의 통합센서 시스템
US20160379388A1 (en) * 2014-07-16 2016-12-29 Digitalglobe, Inc. System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
CN104200657B (zh) * 2014-07-22 2018-04-10 杭州智诚惠通科技有限公司 一种基于视频和传感器的交通流量参数采集方法
CN105302151B (zh) * 2014-08-01 2018-07-13 深圳中集天达空港设备有限公司 一种飞机入坞引导和机型识别的***及方法
JP2017156219A (ja) * 2016-03-02 2017-09-07 沖電気工業株式会社 追尾装置、追尾方法およびプログラム
CN106204629A (zh) * 2016-08-17 2016-12-07 西安电子科技大学 天基雷达与红外数据融合在轨动目标检测方法
US10354411B2 (en) * 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
CN108241829A (zh) * 2016-12-23 2018-07-03 乐视汽车（北京）有限公司 车辆行驶图像识别方法
CN107066933B (zh) * 2017-01-25 2020-06-05 武汉极目智能技术有限公司 一种道路标牌识别方法及***
US11200433B2 (en) * 2017-05-03 2021-12-14 Mobileye Vision Technologies Ltd. Detection and classification systems and methods for autonomous vehicle navigation
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测***
CN107844761B (zh) * 2017-10-25 2021-08-10 海信集团有限公司 交通标志的检测方法及装置
CN107862329A (zh) * 2017-10-31 2018-03-30 电子科技大学 一种基于深度置信网络的雷达一维距离像真假目标识别方法
CN108197582B (zh) * 2018-01-10 2021-09-14 武汉理工大学 基于深度学习的海事雷达图像处理方法
CN108263389B (zh) * 2018-01-26 2019-08-30 深圳市九洲源科技有限公司 一种车辆前方虚假目标剔除装置及方法
WO2019161300A1 (en) * 2018-02-18 2019-08-22 Nvidia Corporation Detecting objects and determining confidence scores
US10628686B2 (en) * 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
CN108437923B (zh) * 2018-03-27 2020-08-07 浙江吉利控股集团有限公司 一种行人保护***及方法
AU2018220142A1 (en) * 2018-08-24 2020-03-12 Canon Kabushiki Kaisha Method and system for reproducing visual content
US10659698B2 (en) * 2018-09-19 2020-05-19 Canon Kabushiki Kaisha Method to configure a virtual camera path

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099762A (ja) * 2001-09-25 2003-04-04 Daihatsu Motor Co Ltd 前方車両認識装置及び認識方法
KR101125233B1 (ko) * 2010-11-25 2012-03-21 재단법인대구경북과학기술원 융합기술기반 보안방법 및 융합기술기반 보안시스템
JP2013250809A (ja) * 2012-05-31 2013-12-12 Casio Comput Co Ltd 多クラス識別器、方法、およびプログラム
KR101874588B1 (ko) * 2016-12-28 2018-07-04 주식회사 포딕스시스템 고해상도 카메라를 이용한 다채널 관심영역 표출방법
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Also Published As

Publication number Publication date
US11003921B2 (en) 2021-05-11
CN111103594A (zh) 2020-05-05
US20200117917A1 (en) 2020-04-16
KR20200040431A (ko) 2020-04-20

Similar Documents

Publication Publication Date Title
KR102545105B1 (ko) 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량
JP5407898B2 (ja) 対象物検出装置及びプログラム
WO2016129403A1 (ja) 物体検知装置
US10717442B2 (en) Method and apparatus for determining a presently existing driving situation
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR20130118116A (ko) 자동 주차 보조 시스템에서 장애물 충돌 회피 장치 및 방법
CN112997093B (zh) 用于确定关于车辆环境中的物体的信息的方法和处理单元
JP5894201B2 (ja) 境界線認識装置
CN111723724B (zh) 一种路面障碍物识别方法和相关装置
US11598877B2 (en) Object recognition device and vehicle control system
WO2014181386A1 (ja) 車両判別装置
US11726176B2 (en) Annotation of radar-profiles of objects
US20220348211A1 (en) Method and Assistance Device for Assisting Driving Operation of a Motor Vehicle, and Motor Vehicle
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
KR102545109B1 (ko) 차량용 허위 타겟 제거 장치 및 그의 허위 타겟 제거 방법과 그를 포함하는 차량
CN115147587A (zh) 一种障碍物检测方法、装置及电子设备
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
KR101750615B1 (ko) 객체 인식/탐지 장치 및 객체 인식/탐지 방법
KR101963352B1 (ko) 비전 기반 적응형 순항 제어 시스템 및 방법
WO2024009756A1 (ja) 物体識別装置及び物体識別方法
KR20150093948A (ko) Db를 이용한 장애물 인식 장치 및 그 방법
US20220229186A1 (en) Object shape detection apparatus and method
WO2024127633A1 (ja) 配光制御システム及び配光制御方法
CN109284665B (zh) 用于减少对象识别方法的检测候选者数量的方法和装置
EP3002708A1 (en) Perspective transform of mono-vision image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant