KR102618924B1 - Fmcw 레이다 기반의 객체 탐지 시스템 및 방법 - Google Patents
Fmcw 레이다 기반의 객체 탐지 시스템 및 방법 Download PDFInfo
- Publication number
- KR102618924B1 KR102618924B1 KR1020230139443A KR20230139443A KR102618924B1 KR 102618924 B1 KR102618924 B1 KR 102618924B1 KR 1020230139443 A KR1020230139443 A KR 1020230139443A KR 20230139443 A KR20230139443 A KR 20230139443A KR 102618924 B1 KR102618924 B1 KR 102618924B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- radar
- distance
- map information
- depth map
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000008685 targeting Effects 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241001112258 Moca Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
- G01R23/005—Circuits for comparing several input signals and for indicating the result of this comparison, e.g. equal, different, greater, smaller (comparing phase or frequency of 2 mutually independent oscillations in demodulators)
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/42—Simultaneous measurement of distance and other co-ordinates
- G01S13/426—Scanning radar, e.g. 3D radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
- G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/04—Display arrangements
- G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
- G01S7/20—Stereoscopic displays; Three-dimensional displays; Pseudo-three-dimensional displays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/35—Details of non-pulse systems
- G01S7/352—Receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Geometry (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
본 발명에 따른 FMCW 레이다 기반의 객체 탐지 시스템에 의해 수행되는 방법은 상기 FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체(이하, 근접 객체)에 대한 레이다 센싱 정보를 수신하는 단계; 상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하는 단계; 상기 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신하는 단계; 상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성하는 단계; 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하는 단계; 및 상기 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시하는 단계를 포함한다.
Description
본 발명은 FMCW 레이다 기반의 객체 탐지 시스템 및 방법에 관한 것으로, 특히 위협체와 같은 표적(객체)를 FMCW 레이다 및 스테레오 카메라를 통해 획득한 정보를 기반으로 탐지하기 위한 시스템 및 방법에 관한 것이다.
종래 기술에 따른 레이다 시스템은 포인트 방식으로 객체를 탐지하며, 일반적으로 레이돔, 안테나, 송수신기, 신호처리 장치, 그리고 하우징으로 구성된다. 레이다 안테나는 전파를 발사하고 수신하여 반사된 신호를 수집한다. 송수신기는 전파의 송수신을 관리하고 도플러 주파수를 계산한다. 신호처리 장치는 수신된 데이터를 분석하고 객체의 거리, 속도, 각도를 추출할 수 있다. 하우징은 레이다 시스템을 보호하고 안정성을 유지할 수 있다.
일반적으로 레이다는 거리, 각도 및 속도를 하나의 포인트로 탐지하는데, 특히 연속파 주파수 변조(Frequency-Modulated Continuous Wave, 이하 FMCW) 레이다는 여러 객체의 거리와 속도를 탐지할 수 있으며, 이용할 수 있는 객체의 데이터, 복잡성, 비용 특성들 사이에서 적절한 절충이 가능하다. 그리고 다중 레이다를 장착하여 레이다 영상을 기반으로 서라운드 환경의 객체 정보를 추출하면, 정확한 객체의 정보를 생성할 수 있다.
참고로, 도 1은 레이다에 의한 객체의 거리 추출에 대한 거리-도플러 예시를 도시한 도면이다. 도 2는 레이다에 의한 객체의 각도 추출에 대한 거리-각도의 예시를 도시한 도면이다.
한편, 종래 기술에서 레이다 센서는 비교적 비나 안개의 외부 환경에 강인하고, 전파의 왕복시간으로 정확한 거리를 탐지하며, 객체로부터 반사된 도플러 주파수를 이용하여 속도 정보를 직접 획득한다. 이때, 레이다 시스템의 크기로 인하여 수신 안테나 개수의 확장에 한계가 있기 때문에, 각도 탐지 성능이 낮아서 모든 객체가 하나의 포인트로 인지되며, 이로 인하여 객체의 종류를 분류 및 인식하기가 매우 어렵지만, 도플러 스펙트럼을 이용하여 객체의 특징 벡터 추출하여 객체를 인지/분류하는 기법을 활용하고 있다.
레이다 센서 시스템으로 객체에 대해 정밀도 높게 탐지하려면, 다중 레이다로 장착하여 서라운드 환경의 레이다 영상을 생성해야 하며, 이러한 레이다 영상을 기반으로 객체 정보를 추출하는 것이 가능하지만, 각 레이더 센서는 객체를 단순히 포인트로 탐지하면 안되며, 거리 및 각도 탐지 성능이 고해상도로 고도화되어야 한다. 이때, 고해상도로 객체의 각도를 탐지하기 위한 시분할 MIMO(Multiple Input Multiple Output) 기법이 있으며, 이 기법은 2D(거리, 각도) 맵 뿐만 아니라 거리-수평좌표-수직좌표로 구성된 3D 객체 정보도 탐지할 수 있지만, 기존 가시광 센서 또는 적외선 센서에 비해 특히, 근접거리에서 낮은 해상도의 문제가 있다.
또한, 레이다 센서 시스템은 가시광 센서 또는 적외선 센서와 달리 레이다에서 탐지된 각 포인트마다 도플러 정보를 함께 추출할 수 있기 때문에, 단순한 전파 영상뿐만 아니라 각 산란점마다 존재하는 도플러 스펙트럼을 함께 이용하는 경우에 4D 영상 기반으로 객체의 인지율을 향상시킬 수 있지만, 여전히 포인트-클라우드로 생성된 데이터는 근접거리에서 낮은 해상도가 문제이다.
본 발명이 해결하고자 하는 과제는 FMCW 레이다로 근접하는 객체에 대해, 거리 및 각도 탐지 성능이 고해상도로 고도화된 레이다를 보유하고 있지 않은 상태에서, FMCW 레이다의 포인트 클라우드 3D 영상과 스테레오 영상을 결합하여 객체의 정밀한 3D 맵을 생성할 수 있는, FMCW 레이다 기반의 객체 탐지 시스템 및 방법에 관한 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 FMCW 레이다 기반의 객체 탐지 시스템에 의해 수행되는 방법은 상기 FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체(이하, 근접 객체)에 대한 레이다 센싱 정보를 수신하는 단계; 상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하는 단계; 상기 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신하는 단계; 상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성하는 단계; 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하는 단계; 및 상기 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시하는 단계를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하는 단계는, 상기 레이다 센싱 정보로부터 특징점을 추출하는 단계; 상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정하는 단계; 및 상기 특징점과 거리 정보 및 각도 정보를 기반으로 3D 특징맵 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정하는 단계는, 상기 레이다 센싱 신호의 전송 신호 주파수와 수신 신호 주파수의 차이값을 산출하는 단계; 상기 차이값과 지연시간을 반영한 기울기를 산출하는 단계; 및 상기 차이값과 기울기값을 기반으로 상기 거리 정보를 추정하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정하는 단계는, 레이다의 작동 주파수와 복수의 수신 안테나 사이의 거리 정보를 획득하는 단계; 상기 객체로 레이다 신호를 전송 및 수신하는 단계; 상기 수신된 레이다 신호의 주파수 차이를 계산하는 단계; 및 상기 레이다의 작동 주파수, 레이다 신호의 주파수 차이 및 수신 안테나 사이의 거리 정보에 기반하여 상기 각도 정보를 산출하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 수신된 레이다 신호의 주파수 차이를 계산하는 단계는, 레이다 안테나와 객체 사이의 거리 변화 정보 및 상기 레이다의 작동 주파수에 기초하여 산출할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성하는 단계는, 상기 스테레오 영상 정보로부터 특징점을 추출하는 단계; 상기 특징점에 기초하여 3D 깊이맵 정보를 생성하는 단계; 및 상기 3D 깊이맵 정보에 기반하여 객체와의 거리 정보 및 각도 정보를 추정하는 단계를 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하는 단계는, 상기 3D 특징맵 정보로부터 제1 객체 틀어짐 변화량을 추출하는 단계; 상기 3D 깊이맵 정보로부터 제2 객체 틀어짐 변화량을 추출하는 단계; 및 상기 제1 및 제2 객체 틀어짐 변화량에 기초하여 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하는 단계를 포함할 수 있다.
또한, 본 발명의 제2 측면에 따른 FMCW 레이다 기반의 객체 탐지 시스템은 상기 FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체(이하, 근접 객체)에 대한 레이다 센싱 정보를 수신하고, 상기 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신하는 통신모듈, 상기 레이다 센싱 정보 및 스테레오 영상 정보에 기초하여 객체를 탐지하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하고, 상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성한 후, 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하고, 상기 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시하도록 제어하는 프로세서를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 레이다 센싱 정보로부터 특징점을 추출하고, 상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정한 후, 상기 특징점과 거리 정보 및 각도 정보를 기반으로 3D 특징맵 정보를 생성할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 레이다 센싱 신호의 전송 신호 주파수와 수신 신호 주파수의 차이값을 산출하고, 상기 차이값과 지연시간을 반영한 기울기를 산출한 후, 상기 차이값과 기울기값을 기반으로 상기 거리 정보를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 레이다의 작동 주파수와 복수의 수신 안테나 사이의 거리 정보를 획득하고, 상기 객체로 레이다 신호가 전송 및 수신됨에 따라 상기 수신된 레이다 신호의 주파수 차이를 계산하고, 상기 레이다의 작동 주파수, 레이다 신호의 주파수 차이 및 수신 안테나 사이의 거리 정보에 기반하여 상기 각도 정보를 산출할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 레이다 안테나와 객체 사이의 거리 변화 정보 및 상기 레이다의 작동 주파수에 기초하여 산출할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 스테레오 영상 정보로부터 특징점을 추출하고, 상기 특징점에 기초하여 3D 깊이맵 정보를 생성한 후, 상기 3D 깊이맵에 기반하여 객체와의 거리 정보 및 각도 정보를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 프로세서는 상기 3D 특징맵 정보로부터 제1 객체 틀어짐 변화량을 추출하고, 상기 3D 깊이맵 정보로부터 제2 객체 틀어짐 변화량을 추출하며, 상기 제1 및 제2 객체 틀어짐 변화량에 기초하여 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 FMCW 레이다 기반의 객체 탐지 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
전술한 본 발명의 일 실시예에 의하면, 기존의 고해상도 레이다를 보유하지 않는 환경에서도, FMCW 레이다를 사용하여 0.2m 이내까지 근접하는 객체의 거리 및 각도를 고해상도로 정밀하게 탐지할 수 있다.
또한, FMCW 레이다를 통해 수집한 데이터를 사용하여 객체의 위치를 3D 포인트 클라우드로 표현하고, 스테레오 카메라를 사용하여 이미지를 촬영하고, 두 개의 이미지 간의 변위를 기반으로 깊이 정보를 생성한 후, FMCW Radar로부터 얻은 3D 포인트 클라우드와 스테레오 카메라로부터 얻은 3D 맵을 결합하여 객체의 정밀한 3D 맵을 생성함으로써, 객체의 거리와 방향, 그리고 깊이 정보를 고해상도로 제공할 수 있다. 이러한, 정밀 3D 맵을 활용하여 객체의 정밀한 거리 및 자세 정보를 생성하여 제공할 수 있으며, 객체의 위치와 방향을 보다 정밀하게 파악할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시 예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 레이다에 의한 객체의 거리 추출에 대한 거리-도플러 예시를 도시한 도면이다.
도 2는 레이다에 의한 객체의 각도 추출에 대한 거리-각도의 예시를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법의 순서도이다.
는 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법을 기능 중심으로 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 특징맵 정보의 일 예시를 도시한 도면이다.
도 6은 본 발명의 일 실시예에서 FMCW 레이다 기반 거리 산출 과정을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에서 FMCW 레이다 기반 각도 산출 과정을 설명하기 위한 도면이다.
도 8은 FMCW 레이다에서 추출된 특징점 정보를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라를 통한 특징점 정보의 일 예시를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 스테레오 영상 생성시 깊이 및 거리 변화량을 추출하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 3D 특징맵 정보의 일 예시를 도시한 도면이다.
도 12는 본 발명의 일 실시예에서 생성된 결합 3D 맵의 일 예시를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 FMCW 레이다 기반 객체 탐지 시스템의 블록도이다.
도 1은 레이다에 의한 객체의 거리 추출에 대한 거리-도플러 예시를 도시한 도면이다.
도 2는 레이다에 의한 객체의 각도 추출에 대한 거리-각도의 예시를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법의 순서도이다.
는 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법을 기능 중심으로 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 특징맵 정보의 일 예시를 도시한 도면이다.
도 6은 본 발명의 일 실시예에서 FMCW 레이다 기반 거리 산출 과정을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에서 FMCW 레이다 기반 각도 산출 과정을 설명하기 위한 도면이다.
도 8은 FMCW 레이다에서 추출된 특징점 정보를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라를 통한 특징점 정보의 일 예시를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 스테레오 영상 생성시 깊이 및 거리 변화량을 추출하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 3D 특징맵 정보의 일 예시를 도시한 도면이다.
도 12는 본 발명의 일 실시예에서 생성된 결합 3D 맵의 일 예시를 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 FMCW 레이다 기반 객체 탐지 시스템의 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는 도 3 내지 도 12를 참조하여 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 시스템(100)에 의해 수행되는 방법을 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법의 순서도이다. 도 4는 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법을 기능 중심으로 설명하기 위한 도면이다. 도 5는 본 발명의 일 실시예에 따른 3D 특징맵 정보의 일 예시를 도시한 도면이다.
본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 방법은 먼저, FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체(이하, 근접 객체)에 대한 레이다 센싱 정보를 수신한다(S110).
본 발명의 일 실시예는 FMCW 레이다로 근접하는 객체를 탐지하기 위한 것을 그 대상으로 하며 일 예로, FMCW 레이다와 객체 간의 소정의 거리는 0.2m 이내로 설정될 수 있으나 반드시 이에 한정되는 것은 아니다.
다음으로, 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성한다(S120).
일 실시예로, 레이다 센싱 정보를 통해 3D 특징맵 정보를 생성하기 위해서는 먼저, 레이다 센싱 정보로부터 특징점을 추출하고(S121), 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정한 후(S122), 특징점과 거리 정보 및 각도 정보를 기반으로 3D 특징맵 정보를 생성할 수 있다(S133). 이와 같이 생성된 3D 특징맵 정보의 일 예시는 도 5에 도시된 바와 같다.
도 6은 본 발명의 일 실시예에서 FMCW 레이다 기반 거리 산출 과정을 설명하기 위한 도면이다.
일 실시예로, 객체와의 거리 정보를 산출하기 위해서는 레이다 센싱 신호의 전송 신호 주파수와 수신 신호 주파수의 차이값을 산출한다. 그 다음, 차이값과 지연시간(τ)을 반영한 기울기를 산출한다. 전송 신호 주파수와 수신 신호 주파수의 차이값을 △fFMCW라 할 때, 기울기는 다음 식 1을 통해 산출할 수 있다.
[식 1]
그 다음, 차이값과 기울기값을 기반으로 거리 정보(R)를 다음 식 2에 따라 추정할 수 있다. 이때, 식 2에서 c는 전자기파 속도를 의미한다.
[식 2]
한편, 본 발명의 일 실시예는 FMCW 레이다를 이용하여 객체의 상대속도()를 산출할 수 있으며, 이는 수신 신호 주파수의 변화를 기반으로 다음 식 3을 통해 산출할 수 있다.
[식 3]
또는
이때, 식 3에서 f0는 평균주파수, B는 대역폭, △fa는 상승 ramp의 주파수 차이, △fb는 하강 ramp의 주파수 차이, △fD는 수신 주파수의 변화 값을 나타낸다.
도 7a 및 도 7b는 본 발명의 일 실시예에서 FMCW 레이다 기반 각도 산출 과정을 설명하기 위한 도면이다. 이때, 도 7a는 송신 안테나(Tx) 및 2개의 수신 안테나(Rx)를 나타낸 것이며, 도 7b은 2개의 수신 안테나(a, b)로부터 각도 추정하는 과정을 설명하기 위한 것이다.
일 실시예로, 객체와의 각도 정보를 산출하기 위해서는 먼저 레이다의 작동 주파수()와 복수의 수신 안테나 사이의 거리 정보(d)를 획득한다. 그 다음, 객체로 레이다 신호를 전송하여 수신하고, 수신된 레이다 신호의 주파수 차이 를 식 4에 기초하여 계산한다. 이때, 식 4에서 은 레이다 안테나와 객체 사이의 거리 변화로 이다.
[식 4]
그 다음, 레이다 신호의 작동 주파수, 레이다 신호의 주파수 차이 및 수신 안테나 사이의 거리 정보에 기초하여 FMCW 레이다를 이용한 객체와의 각도 정보()를 다음 식 5에 기초하여 산출할 수 있다.
[식 5]
이때, 식 4의 경우 로도 표현할 수 있다.
도 8은 FMCW 레이다에서 추출된 특징점 정보(F(x, y, z))를 도시한 것으로, 앞서 산출한 거리 정보() 및 각도 정보(y, z)가 특징점에 반영되어 3D 특징맵 정보로 생성될 수 있다.
다시 도 1을 참조하면, 다음으로 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신하고(S130), 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성한다(S140).
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라를 통한 특징점 정보의 일 예시를 도시한 도면이다. 도 10은 본 발명의 일 실시예에 따른 스테레오 영상 생성시 깊이 및 거리 변화량을 추출하는 과정을 설명하기 위한 도면이다. 도 11은 본 발명의 일 실시예에 따른 3D 특징맵 정보의 일 예시를 도시한 도면이다.
일 실시예로, 스테레오 영상 정보에 기반하여 3D 깊이맵을 생성하기 위해서는 먼저, 스테레오 영상 정보로부터 특징점을 추출한다(S141). 그 다음, 특징점에 기초하여 3D 깊이맵 정보를 생성하고(S142), 3D 깊이맵 정보에 기반하여 객체와의 거리 정보 및 각도 정보를 추정한다(S143).
이때, 스테레오 영상을 통해 추출한 특징점 I(x, y, z)에는 도 10에 도시된 바와 같이 스테레오에서 특정 위치의 추출된 거리(), 각도(y, z) 값에 대한 정보가 포함될 수 있다.
일 실시예로, 스테레오 영상 정보로부터 객체와의 거리 정보를 산출하는 과정의 경우, 도 6에서 설명한 FMCW 레이다의 거리 정보 계산 방법에서 표현된 수신 신호 주파수(①, ②, ③, ④, ⑤)에 대하여 스테레오 깊이 맵을 생성(①', ②', ③', ④', ⑤')시 각각 대응하는 위치에 대한 거리 정보를 산출해야 한다. 이는 이후 단계에서 3D 특징맵 정보와 3D 깊이맵 정보를 결합하기 위함이다.
다시 도 3을 참조하면, 다음으로 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하고(S150), 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시한다(S160)
도 12는 본 발명의 일 실시예에서 생성된 결합 3D 맵의 일 예시를 도시한 도면이다.
일 실시예로, 결합 3D 맵을 생성하는 과정은, 먼저 3D 특징맵 정보로부터 제1 객체 틀어짐 변화량을 추출하고(S151), 3D 깊이맵 정보로부터 제2 객체 틀어짐 변화량을 추출한다(S152). 그 다음, 제1 및 제2 객체 틀어짐 변화량에 기초하여 3D 특징맵 정보와 3D 깊이맵 정보를 결합할 수 있다(S153).
이때, 스테레오 3D 깊이맵 정보에서 FMCW 레이다 기반 3D 특징맵에서의 특징점 반영한 데이터 결합 3D 맵은 도 13에 도시된 바와 같으며, 여기에서 특징점을 반영한 데이터 결합의 표현은 다음 식 6과 같이 표현할 수 있다.
[식 6]
한편, 상술한 설명에서, 단계 S110 내지 S160는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 3 내지 도 12에 기술된 내용과 도 13에 기술된 내용은 상호 적용될 수 있다.
도 13은 본 발명의 일 실시예에 따른 FMCW 레이다 기반 객체 탐지 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 객체 탐지 시스템(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체에 대한 레이다 센싱 정보를 수신하고, 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신한다. 이와 같은 통신모듈(110)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술, 그밖에 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), Wi-Fi(wireless fidelity) 등의 기능을 구현하기 위한 모듈로 구성될 수 있다.
메모리(120)에는 레이다 센싱 정보 및 스테레오 영상 정보에 기초하여 객체를 탐지하기 위한 프로그램이 저장된다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다. 예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킴에 따라, 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하고, 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성한다. 그리고 프로세서(130)는 3D 특징맵 정보와 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하고, 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시하도록 제어한다.
한편, 본 발명의 일 실시예에서, 프로세서(130)는 결합 3D 맵 생성 과정에서, 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있다. 일 예로, 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있으며, 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network)과 같은 모델을 포함할 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 FMCW 레이다 기반의 객체 탐지 시스템(100) 및 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (14)
- FMCW 레이다 기반의 객체 탐지 시스템에 의해 수행되는 방법에 있어서,
상기 FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체(이하, 근접 객체)에 대한 레이다 센싱 정보를 수신하는 단계;
상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하는 단계;
상기 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신하는 단계;
상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성하는 단계;
상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하는 단계; 및
상기 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시하는 단계를 포함하는, FMCW 레이다 기반의 객체 탐지 방법.
- 제1항에 있어서,
상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하는 단계는,
상기 레이다 센싱 정보로부터 특징점을 추출하는 단계;
상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정하는 단계; 및
상기 특징점과 거리 정보 및 각도 정보를 기반으로 3D 특징맵 정보를 생성하는 단계를 포함하는, FMCW 레이다 기반의 객체 탐지 방법.
- 제2항에 있어서,
상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정하는 단계는,
상기 레이다 센싱 신호의 전송 신호 주파수와 수신 신호 주파수의 차이값을 산출하는 단계;
상기 차이값과 지연시간을 반영한 기울기를 산출하는 단계; 및
상기 차이값과 기울기값을 기반으로 상기 거리 정보를 추정하는 단계를 포함하는, FMCW 레이다 기반의 객체 탐지 방법.
- 제2항에 있어서,
상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정하는 단계는,
레이다의 작동 주파수와 복수의 수신 안테나 사이의 거리 정보를 획득하는 단계;
상기 객체로 레이다 신호를 전송 및 수신하는 단계;
상기 수신된 레이다 신호의 주파수 차이를 계산하는 단계; 및
상기 레이다의 작동 주파수, 레이다 신호의 주파수 차이 및 수신 안테나 사이의 거리 정보에 기반하여 상기 각도 정보를 산출하는 단계를 포함하는, FMCW 레이다 기반의 객체 탐지 방법.
- 제4항에 있어서,
상기 수신된 레이다 신호의 주파수 차이를 계산하는 단계는,
레이다 안테나와 객체 사이의 거리 변화 정보 및 상기 레이다의 작동 주파수에 기초하여 산출하는 것인, FMCW 레이다 기반의 객체 탐지 방법.
- 제1항에 있어서,
상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성하는 단계는,
상기 스테레오 영상 정보로부터 특징점을 추출하는 단계;
상기 특징점에 기초하여 3D 깊이맵 정보를 생성하는 단계; 및
상기 3D 깊이맵 정보에 기반하여 객체와의 거리 정보 및 각도 정보를 추정하는 단계를 포함하는, FMCW 레이다 기반의 객체 탐지 방법.
- 제1항에 있어서,
상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하는 단계는,
상기 3D 특징맵 정보로부터 제1 객체 틀어짐 변화량을 추출하는 단계;
상기 3D 깊이맵 정보로부터 제2 객체 틀어짐 변화량을 추출하는 단계; 및
상기 제1 및 제2 객체 틀어짐 변화량에 기초하여 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하는 단계를 포함하는, FMCW 레이다 기반의 객체 탐지 방법.
- FMCW 레이다 기반의 객체 탐지 시스템에 있어서,
상기 FMCW 레이다를 통해 소정 거리 이내의 근접하는 객체(이하, 근접 객체)에 대한 레이다 센싱 정보를 수신하고, 상기 근접 객체를 대상으로 스테레오 카메라를 통해 촬영된 스테레오 영상 정보를 수신하는 통신모듈,
상기 레이다 센싱 정보 및 스테레오 영상 정보에 기초하여 객체를 탐지하기 위한 프로그램이 저장된 메모리 및
상기 메모리에 저장된 프로그램을 실행시킴에 따라, 상기 레이다 센싱 정보에 기초하여 3D 특징맵 정보를 생성하고, 상기 스테레오 영상 정보에 기초하여 3D 깊이맵 정보를 생성한 후, 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하여 결합 3D 맵을 생성하고, 상기 결합 3D 맵에 기초하여 객체의 거리 및 자세 정보를 전시하도록 제어하는 프로세서를 포함하는, FMCW 레이다 기반의 객체 탐지 시스템.
- 제8항에 있어서,
상기 프로세서는 상기 레이다 센싱 정보로부터 특징점을 추출하고, 상기 레이다 센싱 정보로부터 객체와의 거리 정보 및 각도 정보를 추정한 후, 상기 특징점과 거리 정보 및 각도 정보를 기반으로 3D 특징맵 정보를 생성하는 것인, FMCW 레이다 기반의 객체 탐지 시스템.
- 제9항에 있어서,
상기 프로세서는 상기 레이다 센싱 신호의 전송 신호 주파수와 수신 신호 주파수의 차이값을 산출하고, 상기 차이값과 지연시간을 반영한 기울기를 산출한 후, 상기 차이값과 기울기값을 기반으로 상기 거리 정보를 추정하는 것인, FMCW 레이다 기반의 객체 탐지 시스템.
- 제9항에 있어서,
상기 프로세서는 레이다의 작동 주파수와 복수의 수신 안테나 사이의 거리 정보를 획득하고, 상기 객체로 레이다 신호가 전송 및 수신됨에 따라 상기 수신된 레이다 신호의 주파수 차이를 계산하고, 상기 레이다의 작동 주파수, 레이다 신호의 주파수 차이 및 수신 안테나 사이의 거리 정보에 기반하여 상기 각도 정보를 산출하는 것인, FMCW 레이다 기반의 객체 탐지 시스템.
- 제11항에 있어서,
상기 프로세서는 레이다 안테나와 객체 사이의 거리 변화 정보 및 상기 레이다의 작동 주파수에 기초하여 산출하는 것인, FMCW 레이다 기반의 객체 탐지 시스템.
- 제8항에 있어서,
상기 프로세서는 상기 스테레오 영상 정보로부터 특징점을 추출하고, 상기 특징점에 기초하여 3D 깊이맵 정보를 생성한 후, 상기 3D 깊이맵에 기반하여 객체와의 거리 정보 및 각도 정보를 추정하는 것인, FMCW 레이다 기반의 객체 탐지 시스템.
- 제8항에 있어서,
상기 프로세서는 상기 3D 특징맵 정보로부터 제1 객체 틀어짐 변화량을 추출하고, 상기 3D 깊이맵 정보로부터 제2 객체 틀어짐 변화량을 추출하며, 상기 제1 및 제2 객체 틀어짐 변화량에 기초하여 상기 3D 특징맵 정보와 상기 3D 깊이맵 정보를 결합하는 것인, FMCW 레이다 기반의 객체 탐지 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230139443A KR102618924B1 (ko) | 2023-10-18 | 2023-10-18 | Fmcw 레이다 기반의 객체 탐지 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230139443A KR102618924B1 (ko) | 2023-10-18 | 2023-10-18 | Fmcw 레이다 기반의 객체 탐지 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102618924B1 true KR102618924B1 (ko) | 2023-12-28 |
Family
ID=89384907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230139443A KR102618924B1 (ko) | 2023-10-18 | 2023-10-18 | Fmcw 레이다 기반의 객체 탐지 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102618924B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110060600A (ko) * | 2009-11-30 | 2011-06-08 | 재단법인대구경북과학기술원 | 장애물체 위치 및 속도 추정 장치 및 방법 |
| KR20160047863A (ko) * | 2014-10-23 | 2016-05-03 | 현대모비스 주식회사 | 물체 검출 장치 및 그 동작 방법 |
| KR20200071959A (ko) * | 2018-12-12 | 2020-06-22 | 충북대학교 산학협력단 | 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치 |
| KR20210116856A (ko) * | 2020-03-18 | 2021-09-28 | 한국생산기술연구원 | 스테레오 카메라와 라이다를 이용한 무인차량의 주행 제어 시스템 |
| KR20220128779A (ko) * | 2021-03-15 | 2022-09-22 | 주식회사 바이다 | 스테레오 카메라 및 레이더를 이용한 차량 감지 시스템 및 차량 감지 방법 |
-
2023
- 2023-10-18 KR KR1020230139443A patent/KR102618924B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110060600A (ko) * | 2009-11-30 | 2011-06-08 | 재단법인대구경북과학기술원 | 장애물체 위치 및 속도 추정 장치 및 방법 |
| KR20160047863A (ko) * | 2014-10-23 | 2016-05-03 | 현대모비스 주식회사 | 물체 검출 장치 및 그 동작 방법 |
| KR20200071959A (ko) * | 2018-12-12 | 2020-06-22 | 충북대학교 산학협력단 | 레이더 센서 및 카메라를 이용한 객체 인식 방법 및 그를 위한 장치 |
| KR20210116856A (ko) * | 2020-03-18 | 2021-09-28 | 한국생산기술연구원 | 스테레오 카메라와 라이다를 이용한 무인차량의 주행 제어 시스템 |
| KR20220128779A (ko) * | 2021-03-15 | 2022-09-22 | 주식회사 바이다 | 스테레오 카메라 및 레이더를 이용한 차량 감지 시스템 및 차량 감지 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI834772B (zh) | 雷達深度學習 | |
| US11506776B2 (en) | Method and device with improved radar resolution | |
| CN106842210B (zh) | 一种新的多子阵合成孔径声纳快速成像算法 | |
| KR101360572B1 (ko) | Ｆｍｃｗ 레이더의 다중 타겟 탐지방법 및 장치 | |
| KR20210061597A (ko) | 참조 데이터를 이용한 레이더 데이터 처리 장치 및 방법 | |
| CN109270529B (zh) | 基于虚拟天线的前视阵列sar高分辨成像方法及*** | |
| JP2017156219A (ja) | 追尾装置、追尾方法およびプログラム | |
| Patra et al. | mm-Wave radar based gesture recognition: Development and evaluation of a low-power, low-complexity system | |
| CN115166714B (zh) | 单通道sar运动舰船二维速度估计与重定位方法及装置 | |
| CN105044785A (zh) | 一种基于模糊聚类与Hough变换的探地雷达地下管线探测方法 | |
| KR101968327B1 (ko) | 항적 거리 보상 장치 및 방법 | |
| KR102618924B1 (ko) | Fmcw 레이다 기반의 객체 탐지 시스템 및 방법 | |
| Stinco et al. | Non‐cooperative target recognition in multistatic radar systems | |
| CN116466307B (zh) | 一种基于深度图的毫米波雷达点云仿真的方法和装置 | |
| Stevens et al. | Emitter selection criteria for passive multistatic synthetic aperture radar imaging | |
| US20200018821A1 (en) | Object sensing apparatus, object sensing method, and computer readable recording medium | |
| JP6879386B2 (ja) | 合成開口レーダの信号処理装置及び信号処理方法 | |
| KR102132296B1 (ko) | Fmcw 레이더를 이용한 타겟 탐지 장치 및 방법 | |
| KR20200117602A (ko) | Sar 영상의 객체 응답 초해상도화 방법 및 객체 응답 초해상도화 장치 | |
| KR102279563B1 (ko) | 레이더 신호 처리 장치 및 레이더 신호 처리 방법 | |
| Huang et al. | A rd-t network for hand gesture recognition based on millimeter-wave sensor | |
| CN115575965A (zh) | 一种激光雷达多回波判别方法和装置 | |
| CN115131756A (zh) | 一种目标检测方法及装置 | |
| CN112698280B (zh) | 一种基于dsp和fpga架构的双基sar实时回波模拟方法 | |
| KR102172085B1 (ko) | 레이더 장치 및 이를 이용한 타겟 거리 측정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |