KR20230009714A

KR20230009714A - Dnn을 이용한 fmcw 레이더의 해상도 향상 장치 및 방법

Info

Publication number: KR20230009714A
Application number: KR1020210090451A
Authority: KR
Inventors: 이성주; 박휘수
Original assignee: 세종대학교산학협력단
Priority date: 2021-07-09
Filing date: 2021-07-09
Publication date: 2023-01-17
Also published as: KR102610631B1

Abstract

본 발명은 다수의 저가형 레이더를 사용하여 하나의 타겟 물체의 위치를 감지하고 각각의 레이더에서 감지한 타겟 물체의 위치를 심층 신경망을 통해 학습하여 더욱 정밀한 위치를 찾도록 하는 것이다.

Description

DNN을 이용한 FMCW 레이더의 해상도 향상 장치 및 방법{FMCW Rada resolution enhancement method and system}

본 발명은 FMCW 레이더에서 타겟 물체의 정확한 감지를 위하여 동일한 타겟 물체를 다수의 레이더를 사용하여 각각 감지하고,각 레이더가 감지한 타겟 물체의 거리 정보를 심층 신경망으로 학습하여, 정밀한 거리를 산출하는 방법에 관한 것이다. 즉, 저가형 다수의 레이더를 통해서 고성능 레이더의 성능을 얻을 수 있도록 하는 것이다.

물체의 거리를 측정하는 레이더에서 시간에 따라 신호의 주파수를 변화 시켜 송신하는 방식의 레이더를 FMCW 레이더라 한다.

FMCW 레이더의 원리는, 신호를 톱니파 혹은 삼각파로 송신하고 이러한 신호가 물체와 충돌 후 반사되어 돌아오는 수신 파형을 통하여 물체의 거리를 감지하는 것이다. 이후 송신 신호와 수신 신호를 믹싱하고, 믹싱 신호에서는 도플러 효과가 나타나는 비트 주파수가 생성된다. 도플러 효과란, 파동에서 파동원과 관찰자의 상대 속도에 따라 진동수와 파장이 바뀌는 현상이다. 비트 주파수는 도플러 효과에 의해 거리 및 상대 속도에 관한 정보를 포함하고 있다. 상기 비트 주파수를 포함하는 믹싱 신호는 ADC에서 디지털 신호로 전환되어 DSP로 입력된 후 고속 푸리에 변환을 통해 거리에 대한 정보를 추출하게 된다.

이처럼 FMCW 레이다는 신호처리 방식과 송수신기 구성이 간단하여 지능형 운전자 보조 시스템(Advanced Driver Assistance) 레이더로 사용하고 있으며, FMCW 레이다 기술 적용분야에서는 정밀한 거리 측정을 위한 레이더를 요구하게 된다.

정밀한 거리 측정을 위해서는 거리 해상도가 높은 레이더를 사용하여야 한다. 거리 해상도가 높은 레이더는 시스템의 하드웨어적인 설계로 인해서 고가가 되는 문제가 있다.

또한, 저가형 레이더가 고가형 레이더의 거리 해상도를 따라가는 것에는 어려움이 있다.

대한민국 등록특허 10-2069100

상기와 같은 문제점을 해결하기 위하여, 다수의 레이더를 사용하며 각 레이더가 동일한 타겟 물체의 거리를 감지하고, 감지한 거리 정보를 중심으로 타겟 물체의 더욱 정밀한 위치를 탐지 할 수 있는 방법을 제공한다.

상술한 목적달성을 위하여 본 발명은, 레이다를 이용하여 타겟물체의 위치를 방법에 있어서, 레이다의 송수신 신호를 수집하는 단계; 상기 수집한 송수신 신호를 중첩하여 믹싱 신호를 생성하는 믹싱 단계; 상기 믹싱 신호를 고속 푸리에 변환하여 주파수 도메인으로 변환하는 고속 푸리에 변환 단계; 상기 고속 푸리에 변환 단계에서 주파수 도메인으로 변환된 각 레이더의 믹싱 신호를 수집하는 거리 정보 수집 단계; 상기 거리 정보 수집 단계를 통해서 수집한 거리 정보를 기반으로 타겟 물체가 위치할 수 있는 후보구역을 산출하는 섹터 추출 단계; 상기 섹터 추출 단계를 통해서 추출된 후보구역의 심층 신경망을 적용하는 심층 신경망 단계; 상기 심층 신경망을 적용한 결과를 토대로 타겟물체의 위치를 산출하는 위치 산출단계;를 포함하는 타겟물체 위치 산출 방법을 제공한다.

본 발명에서, 상기 심층 신경망은, 레이더 장치에서 위치를 알고 있는 샘플타겟에 송신신호를 송신하는 레이더 신호 송신단계; 상기 송신신호가 샘플타겟으로부터 반사되는 반사신호를 수신하고, 반사신호와 송신신호를 믹싱하여 믹싱신호를 생성하는 믹싱 단계; 상기 믹싱 신호를 푸리에 변환하여 주파수 도메인으로 변환하는 푸리에 변환단계; 상기 주파수 도메인으로 변환된 신호를 인공신경망에 입력하고 상기 샘플타겟의 위치와의 관계를 기반으로 상기 인공신경망을 학습시키는 학습단계;를 통하여 학습된 인공신경망인 것;을 특징으로 하며, 상기 레이더 장치는 둘 이상의 레이더 장치를 포함하여 구성되고, 상기 섹터 추출 단계에서 산출하는 타겟 물체가 위치할 수 있는 후보구역은, 상기 둘 이상의 레이더 장치 각각으로부터 타겟 물체와의 거리를 산출하는 다수의 거리정보를 이용하여 산출되는 것;을 특징으로 한다.

또한, 상기 심층 신경망 단계는, 상기 믹싱 신호를 고속 푸리에 변환한 FFT 신호를 상기 산출된 후보구역에 대응하는 상기 학습된 인공신경망에 입력하여 타겟의 세부위치를 산출하는 것;을 특징으로 한다.

본 발명에 따르면 해상도가 낮은 저가형 레이더를 사용함에도 거리 해상도 및 거리 정밀도가 향상되는 효과가 있다. 특히 본 발명은 인공지능 학습방법인 DNN을 이용하여 별도의 하드웨어 장치 없이도 레이더의 해상도를 향상시키는 효과를 가져온다.

도 1은 본원 발명의 FMCW 레이더 장치이다.
도 2는 본원 발명의 장치를 나타낸 것이다.
도 3은 본원 발명의 실시예인 3X3 섹터를 나타낸 것이다.
도 4는 레이더 2개를 사용한 본원 발명의 실시 예를 나타낸 것이다.
도 5는 타겟 물체가 경계에 위치하는 것을 나타낸 실시 예이다.
도 6는 섹터를 분할한 것을 나타낸 것이다.
도 7은 심층 신경망을 통하여 출력된 타겟 물체의 정밀한 위치를 나타내는 것이다.
도 8는 본원 발명의 방법 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.

1. 종래 기술

FMCW 레이더란, FMCW 방식을 사용하여 물체의 거리를 감지하는 레이더이며, FMCW 방식은 시간에 따라 주파수를 변화시킨 신호를 송신시키는 방법이다.

도 1은 단일 FMCW 레이더를 구성하는 구성도이다. 파형 신호를 만드는 파형 발생기(Wave Generator)(101), 디지털 신호를 아날로그 신호로 변환하는 DAC(Digital Analog Converter)(102), 파형 신호를 톱니파 또는 삼각파로 변형하는 VCO(Voltage Control Oscillator)(103), 송수신 신호를 증폭하는 AMP(Amplifier)(104,105), 수신된 신호의 노이즈를 제거해주는 LPF(Low Pass Filter)(106), 아날로그 신호를 디지털 신호로 변환해주는 ADC(Analog Digital Converter)(107), 신호를 고속 푸리에 변환해주는 DSP(Digital Signal Processor)(108)로 구성된다.

FMCW 레이더의 신호 처리 방식을 설명하면, 파형 발생기에서 파형을 생성하여 DAC를 지나 디지털 파형을 아날로그 파형으로 전환하고, 이 아날로그 파형을 VCO에서 톱니파 또는 삼각파형으로 변환한 후 AMP에서 증폭된 신호를 송신하면, 송신신호가 물체와 부딪힌 후 반사되어 돌아오게 된다. 반사파는 수신 신호가 되고, 수신 신호를 AMP에서 증폭한 후 송신 신호와 믹싱한다. 다음으로 믹싱된 신호를 LPF를 통과시킨 후, 노이즈는 제거하고 비트 주파수를 추출한다.

비트 주파수는 도플러 효과의 영향으로 레이다와 물체 사이의 거리 및 상대 속도에 대한 정보를 가지고 있으며, 송신 신호와 수신 신호가 중첩된 신호에서 추출되는 주파수이다.

이러한 비트 주파수는 ADC를 통하여 디지털 신호로 변환된 후 DSP에서 고속 푸리에 변환되어, 이로부터 거리 정보를 추출할 수 있게 한다. FMCW 레이다의 거리 해상도는 수학식 1과 같다.

상기 수학식 1은 레이다의 거리 해상도에 관한 식으로,

는 거리 해상도,

는 빛의 속도(광속)이며,

는 신호의 변조 대역폭이다.

는 레이다의 주파수 대역폭이다.

상기 수학식 1과 같이, 거리 해상도

는 주파수 대역폭

에 반비례하므로, 종래에는 거리 해상도를 개선하기 위하여 주파수 대역폭이 큰 레이다를 사용하였다. 하드웨어적으로 주파수 대역폭이 큰 레이다를 사용하게 되면, 레이다의 비용이 증가한다는 문제가 있다.

FMCW 레이더의 거리 해상도가 3cm라고 가정하게 될 때,타겟 물체와 레이더 사이의 거리가 3~4.5cm이면 레이더 시스템은 3cm라고 출력하고, 타겟 물체와 레이더 사이의 거리가 4.5~6cm 인 경우에는 레이더 시스템은 6cm로 출력한다.

이처럼 레이더의 거리 해상도의 정수배 만큼을 거리 정보로 출력하기 때문에 더 정밀한 거리 해상도를 통하여 타겟 물체의 위치를 정확하게 할 필요가 있다.

종래에는 거리 해상도를 향상하기 위하여서는 고속 푸리에 변환 포인트 수가 커져야 하고, 이를 위해서는 주파수 대역폭이 큰 고가의 레이다를 사용하여야 하였던 것이다.

2. 본원의 FMCW 레이더와 심층 신경망을 통한 영역 감지 장치

이에, 본 발명은 고속 푸리에 변환 포인트 수를 늘려 거리 해상도를 증가시켰던, 종래와 달리 N개의 다수의 레이더를 활용하여 각 레이더를 통해서 추출한 타겟 물체의 거리를 심층 신경망으로 학습하여 정밀한 타겟 물체의 위치를 파악하도록 하는 것이다.

2.1. 송신부(210)

송신부는 신호를 송출하는 장치이다. N개의 레이더가 각각 개별로 파형을 생성하고, 생선된 파형은 DAC를 통과하며 디지털 파형이 아날로그 파형으로 전환된다. N개의 아날로그 파형은 VCO에서 톱니파 또는 삼각파형으로 변환되어 AMP를 지나 증폭되어 물체를 향해 송신된다. 이로 N개의 레이더에 대한 N개의 송신 신호가 만들어진다.

2.2. 수신부(220)

상기 물체를 향해 송신된 N개의 레이더로부터 송출된 N개의 송신 신호가 소정의 물체와 충돌하여 반사되어 돌아오는 파형이 수신 신호이다. 이러한 수신 신호는 AMP에서 증폭되어 수신부로 되돌아오며, 총 N개의 수신 신호가 생성된다. 이에 상기 수신부는 물체와 충돌 후 돌아오는 수신 신호를 수집하는 장치이다.

2.3. 믹싱부(미도시)

상기 믹싱부(미도시)는 상기 송신부에서의 생성 및 송출된 송신 신호와 상기 수신부에서 수집된 송수신 신호를 믹싱하는 장치이다. 상기 송수신 신호를 믹싱한 믹싱 신호는 비트 주파수를 가지고 있으며, 상기 믹싱 신호는 LPF를 통과하여 노이즈가 제거된다. 이러한 N개의 믹싱 신호는 소정 개수의 샘플(이하, 소정의 개수를 M개로 표기한다.)로 아날로그-디지털 신호 변환하는 ADC를 통과하며, M개의 샘플을 갖는 믹싱 신호가 된다.

2.4. DSP(230)

상술한 N개의 레이더 각각의 믹싱 신호를 수집하여 믹싱 신호를 통해서 타겟 물체의 위치를 심층 신경망 처리하여 타겟 물체의 정밀한 거리를 산출하는 장치이다.

ADC를 통과한 믹싱 신호를 입력으로 받고, 시간 도메인으로 표현된 믹싱 신호를 주파수 도메인으로 변환하는 고속 푸리에 변환을 취한 후, 타겟 물체의 정확한 위치를 파악하기 위하여 심층 신경망을 적용할 수 있도록 하는 발명이다.

2.4.1. 고속 푸리에 변환부(231)

상기 믹싱부를 통해서 입력된 믹싱 신호를 고속 푸리에 변환하는 장치이다. 시간 도메인으로 이루어졌던 믹싱 신호가 주파수 도메인으로 변경되어 N개의 샘플로 구성된다. 이때, 특정 샘플은 메인로브를 발생시켜, 메인 로브를 통하여 타겟 물체의 거리 정보를 추출할 수 있다.

2.4.2. 거리 정보 수집부(232)

상기 각 레이더의 고속 푸리에 변환한 믹싱 신호를 수집하는 장치이다. 레이더 각각이 감지한 타겟 물체의 위치를 모으는 것이다.

하기 수학식 2는 비트 주파수를 통해서 타겟 물체와 레이더 사이의 거리를 구하는 것이다.

상기 수학식 2에서 R은 타겟 물체와 레이더 사이의 거리,

는 비트 주파수,

는 레이더 시스템의 신호 시간(Sweep time),

빛의 속도,

는 레이더 주파수 대역폭이다.

이를 통해서 N개의 레이더 각각에서 측정한 타겟 물체와 레이더 사이의 거리를 추출할 수있다.

단일 레이더에서 타겟 물체의 위치를 추출할 때에는, 거리 R과 위상을 추출하여 거리를 산출하였다. 본 발명에서는 거리 R만을 사용하도록 한다.

따라서, 거리 정보 수집부는 N개의 레이더 각각에서 산출한 거리 R을 수집하는 것이다.

2.4.3. 섹터 추출부(233)

타겟 물체가 존재하는 위치를 찾기 위하여 섹터(sector)를 구분하는데, 본 발명에서는 N개의 레이더 각각을 통해서 감지한 타겟 물체의 위치를 사용하여 타겟이 위치하는 섹터(sector)를 추출한다. '섹터'는 타겟 물체가 위치할 수 있는 영역을 가상의 구역으로 나눈 것을 말하며, 각 레이더의 물리적 해상도를 기준으로 각 섹터의 크기가 정해질 수 있다.

도 3와 같은 3 X 3 섹터(sector)(300)를 실시 예로 설명한다. 각 섹터는 타겟이 위치하는 가능한 최대 영역을 소정 구역의 섹터로 구분하여 표시한 것이다. 도 3에서, 작은 정사각형을 섹터(sector:320)라고 하며 섹터를 구성하는 영역의 한 변의 길이(310)는 레이더의 실제 물리적 거리 해상도라 할 수 있다. 이에 작은 정사각형 각 꼭지점(330)에 물체가 위치하게 되면, 종래기술에서는 가까이 있는 꼭지점(330)의 좌표를 물체의 위치로 식별하게 되어, 레이더의 거리 해상도(310)와 동일하게 위치를 파악할 수 있다. 이와 같이 종래기술에서는, 정사각형 안에 즉, 섹터(320) 안에 물체가 존재하게 될 경우에도 레이터의 물리적 해상도가 정해져 있으므로, 도 3의 각 섹터 구분 사각형들의 꼭지점에 해당하는 위치로 타겟의 위치가 검출되며, 각 섹터내에 위치하는 객체들의 레이더 검출위치가 동일하게 검출되는 문제가 발생한다.

이에 본 발명에서는 거리 해상도를 기준으로 설정한 섹터를 도 6에서와 같이 더욱 세분화된 격자로 구분하고, 격자로 세분화된 섹터를 심층 신경망부의 입력으로 주입하여 더욱 정밀한 거리 정보를 얻는다.

이를 위하여 먼저, 도 3에서 물체가 위치하는 섹터를 식별한다.

도 3에서 왼쪽 끝에서 가장 하위의 정사각형을 섹터 1이라고 하며, 오른쪽 끝에서 가장 상위의 정사각형을 섹터 9라고 한다.

타겟 물체가 존재하는 섹터를 추출하는 방법은 아래에 후술한다.

2.4.4 심층 신경망부(234)

심층 신경망부(234)는 기계학습을 통해 획득한 신경망 모델부(미도시)를 포함하여 구성되며, 수신 신호와 송신 신호가 믹싱된 믹싱신호를 푸리에 변환한 주파수 대역의 진폭데이터를 신경망 모델부에 입력하여 타겟의 거리를 산출한다. 본 발명에서 사용하는 신경망 모델부는 심층 신경망(DNN)을 사용하며, 특히 합성곱 신경망(CNN: Convolution Neural Network)이 사용될 수 있다.

본 발명의 심층 신경망부(234)는 기 학습한 합성곱 신경망(CNN) 모듈을 탑재하고 있으며, 상기 고속 푸리에 변환부(231)의 출력신호 및 상기 섹터 추출부(233)에서 찾은 섹터를 기준으로 하여 대상체가 존재하는 세분화된 격자의 위치를 탐지한다.

예를 들어 도 7에서, 대상체의 위치가 섹터 5로 산출되었다면, 심층신경망부(234)는 섹터 5에 대하여 기 학습한 합성곱 신경망에 믹싱신호의 푸리에 변환신호를 입력하여 정확한 세부 격자 위치에 대응하는 위치를 출력한다.

본 발명의 합성곱 신경망의 학습 방법에 대해서는 아래에 후술한다.

2.4.5 출력부(235)

심층 신경망부를 통해서, 타겟 물체의 위치 및 거리를 정확하게 산출하고 출력하는 구성이다. 도 7을 들어 설명하면, 종래에는 레이더의 한계로 인하여, 대상체의 위치가(도 7에서 검정색 점으로 표현된 부분) 각 섹터를 나누는 꼭지점의 위치로 확인 될 수 밖에 없었지만, 본 발명에 따르면 각 섹터를 세부 격자로 나누고 각 섹터에 위치하는 대상체에 대한 믹싱신호의 FFT 신호를 CNN 학습함으로써, 보다 정확한 위치를 확인할 수 있게 되었다.

3. 본원 발명의 FMCW 레이더와 심층 신경망을 통한 영역 감지 방법

다수의 FMCW 레이더에 심층 신경망을 적용하여 거리 정밀도를 향상하는 방법에 관하여 후술한다.

3.1. 섹터설정 및 신경망 학습단계

본 발명은 레이터가 배치된 구역을 중심으로 타겟물체가 위치할 수 있는 영역을 소정갯수의 가상의 섹터로 나누고 각 섹터 영역에 대하여 세분화한 격자위치에 존재하는 타겟물체의 위치와 해당 타겟물체가 반사하는 레이더 신호를 학습데이터로 하여 신경망을 학습하는 과정을 수행한다.

본 발명의 섹터설정 및 신경망 학습단계는 적어도 하기의 섹터 추출 단계(S860) 이전에 수행되어야 하며, 학습한 섹터 정보 및 각 섹터를 학습한 신경망 모델을 후술하는 섹터 추출단계(S860) 및 심층 신경망 단계(S870)에서 활용한다.

(1) 섹터 설정

2개의 레이더를 사용하는 경우를 실시예로 설명한다. 도 3과 4에서 보이는 것처럼 제1 레이터(410), 제2 레이더(420)은 각각 그 y축 좌표가 0이 되는 위치에 배치되며 소정 간격 이격되도록 배치되며, 이들로부터 대상물체가 위치할 영역을 소정 갯수의 섹터로 나누어 좌표값을 설정한다. 실시예에서는 3 X 3 섹터로 나눈 경우를 예로 들었으며, 각 섹터의 꼭지점의 y좌표들의 간격은 각 레이더의 물리적 거리 해상도로 설정하였다. 즉, 도 4에서와 같이 타겟물체(430)이 존재하는 경우, 종래기술에 따르면, 레이터 1은 해상도의 한계로 인하여 그 위치를 정확하게 탐지하지 못하고, 가까운 섹터 경계 좌표, 즉 도 4에서는 섹터좌표 (1, 2) 또는 (2, 1)에 위치하는 것으로 탐지한다. 이 경우 레이더 2에서는 유사한 방식으로 섹터좌표 (1, 2), (2, 2)에 위치하는 것으로 탐지한다.

(2) 세부 격자 설정 및 기계학습

도 6, 7과 같이 각 섹터를 가상으로 세부 격자로 나누어 설정한 후, 각 섹터에 대하여 CNN 학습을 수행한다. 훈련데이터는 각 섹터의 다양한 위치에 배치된 샘플 타겟의 정확한 세부 격자 좌표와 해당 샘플 타겟의 레이다 1, 2에서의 믹싱신호를 FFT 데이터이다.

각 섹터별 학습을 마친 CNN 모델은 각 레이더에서의 FFT 데이터를 입력하면 각 섹터별 세부 격자의 좌표를 출력하도록 학습된다.

인공신경망 학습의 각 단계는, 레이더 장치에서 위치를 알고 있는 샘플타겟에 송신신호를 송신하는 레이더 신호 송신단계; 상기 송신신호가 샘플타겟으로부터 반사되는 반사신호를 수신하고, 반사신호와 송신신호를 믹싱하여 믹싱신호를 생성하는 믹싱 단계;상기 믹싱 신호를 푸리에 변환하여 주파수 도메인으로 변환하는 푸리에 변환단계; 상기 주파수 도메인으로 변환된 신호를 인공신경망에 입력하고 상기 샘플타겟의 위치와의 관계를 기반으로 상기 인공신경망을 학습시키는 학습단계;를 포함하여 구성될 수 있다.

본 발명의 CNN 모델의 원리는, 섹터내 소정의 위치한 샘플타겟의 경우 기존의 레이더로 거리를 산출하면 레이더 해상도로 인하여 동일한 섹터좌표로 위치가 산출되는 경우라도, 세부 격자 좌표가 다른 위치에 있는 샘플타겟이라면 FFT 신호의 각 샘플이 동일하지 않으며, 이들 FFT 신호의 각 샘플이 정밀한 위치정보를 담고 있게 되는데, 이들 FFT 신호와 그 정밀한 위치정보 사이의 관계를 사전 기계학습을 CNN. 모델을 정립하고, 이후, 측정 대상이 되는 타겟물체의 FFT 신호를 학습한 신경망 모델에 입력하여 정확한 세부 격자위치를 산출하게 되는 것이다.

본 발명에서의 CNN 모델은 입력층이 (레이더의 숫자 * FFT 샘플의 수)로 표현되는 갯수만큼의 노드를 가질 수 있으며, 은닉층은 컴퓨팅 환경에 따라 통상의 지식을 가진자가 적절하게 설정이 가능하다. 한편 그 출력층은 각 섹터별 세부 격자의 갯수와 같은 노드수를 가질 수 있으며 각 노드의 활성 여부가 각 세부격자 좌표에 타겟이 존재하는 것을 표현하도록 설계될 수 있다.

즉, 본 발명의 CNN 모델은 타겟물체가 위치하는 각 섹터별로 학숩되어 각 섹터별 신경망 모듈을 구성하되, 샘플 타겟에 대한 고속 푸리에 변환 신호와 샘플 타겟이 위치하는 각 섹터내의 세부 격자좌표를 훈련데이터로 하여 지도학습됨으로써, 타겟물체에 대한 FFT 신호가 입력되는 경우, 소정 섹터의 세부 격자좌표를 출력하도록 설계된다.

예를 들어, 도 7에서와 같이 섹터 5에 샘플타겟이 위치하는 경우, 해당 섹터의 세부격자 좌표를 (2, 3)으로 설정할 수 있으며, 해당 샘플타겟의 FFT 신호를 입력으로 하여 CNN이 세부격자 좌표 (2, 3)이 활성화되도록 지도학습을 수행하여 CNN을 학습할 수 있다. 즉 FMCW 레이더 장치에서 송신신호와 송신신호가 샘플타겟으로로부터 반사되어 오는 수신신호를 믹싱한, 믹싱신호를 고속 푸리에 변환하고, 상기 고속 푸리에 변환된 FFT 신호를 입력데이터로 하고 상기 샘플타겟이 위치한 세부위치를 목표 출력값으로 하여 신경망을 학습시킨다.

상술한 신경망 모델은 각 섹터별로 학습이 가능하며, 이와 같이 각 섹터별로 학습이 완료된 신경망 모듈은 상술한 심층 신경망부에 각 섹터별 식별자와 함께 탑재되어 각 섹터별로 위치할 가능성이 있는 타겟 물체의 세부 격자위치를 산출하는 데에 활용된다.

3.2. 송신 단계(S810)

상술한 레이더의 송신부를 통해서 톱니파 또는 삼각파 신호를 타겟 물체를 향하여 송출하는 단계이다. FMCW 레이더는 시간에 따른 주파수가 다른 신호를 송출한다.

3.3. 수신 단계(S820)

상기 송신 단계에서 타겟 물체를 향하여 송신한 신호가 타겟 물체와 충돌한 후 반사되어 오는 신호를 수신 신호라고 하며, 수신 신호를 수집하는 단계를 수신 단계라고 한다.

3.4. 믹싱 단계(S830)

송신 신호와 수신 신호를 서로 믹싱하여 믹싱 신호를 생성하는 단계이다. 비트 주파수는 송신 신호와 수신 신호의 주파수의 차를 나타내는 것으로, 송신 신호와 수신 신호를 서로 중첩함으로써 비트 주파수를 구할 수 있으며, 비트 주파수를 통해서 타겟 물체의 거리를 구할 수 있다.

3.5. 고속 푸리에 변환 단계(S840)

상술한 고속 푸리에 변환부에서 수행하는 단계로, 상기 믹싱 단계를 통하여 믹싱한 N개의 레이더에 대한 믹싱 신호를 시간 도메인에서 주파수 도메인으로 변환하는 것이다.

푸리에 변환 샘플수를 256개로 설정한 경우를 실시예로 하여 설명하면, 각각의 레이더로부터의 믹싱신호는 256개의 샘플을 가지며 각 샘플은 해당 주파수 에서의 진폭성분(크기성분)을 가진다.

3.6. 거리 정보 수집 단계(S850)

다수의 레이더 각각의 거리 정보를 수집하는 단계로, 상술한 거리 정보 수집부에서 수행하는 단계이다.

상기 고속 푸리에 변환 단계에서 변환된 N개의 믹싱 신호를 모두 수집하는 단계이다. 다수의 레이더를 통하여 하나의 타겟 물체를 감지하였고, 각 레이더의 위치에 따라서 타겟 물체와 레이더 간의 거리가 소정의 오차 범위내로 다르게 출력된다.

3.7. 섹터 추출 단계(S860)

상술한 섹터 추출부에서 수행하는 단계로, 상기 거리 정보 수집단계를 통해서 수집한 다수의 거리 정보를 통하여 타겟물체가 위치할 수 있는 후보구역을 산출하는 단계이다.

<실시 예 1>

도 4과 같은 실시 예를 들어서 섹터 추출하는 단계를 설명한다.

로 이루어진 섹터와 한 개의 타겟 물체와 2개의 레이더로 이루어진 실시예이다. 실제 타겟 물체는 섹터 5에 위치해 있다.

레이더 1(410)과 레이더 2(420) 각각 타겟 물체(430)와 이루는 거리를 상기 거리 정보 수집 단계를 통하여 구하였다. 이에 레이더 1(410)에서 구한 거리를 R₁이라 하고, 레이더 2(420)에서 구한 거리를 R₂라고 한다.

실제 레이터 1(410, 섹터좌표 (1, 0)에 위치)로부터 구한 거리정보는 그 물리적 한계로 인하여 각 섹터의 꼭지점의 좌표로 측정되므로, 타겟 물체(430)의 위치는 레이더 1과 타겟 물체 사이의 거리 R₁을 반지름으로 하는 반원을 그렸을 때, 가장 가까운 섹터 교차점들의 좌표인 (1, 2), (2, 1)의 위치 중의 하나로 추정될 것이며, 실제 타겟 물체(430)의 위치는 레이더 1으로부터 좌표 (1, 2), (2, 1)까지의 거리를 각각 반지름으로 하는 원들의 사이에 에 존재할 것이다. 이는 레이더 1과 타겟 물체 사이의 거리 R₁을 반지름으로 하는 반원을 그렸을 때, R₁ 반지름으로 하는 반원의 경계가 지나가는 섹터와 같은데, 이 때, 타겟 물체가 위치할 가능성이 있는 섹터는 섹터 3,4,5,6이 된다.

한편 섹터좌표 (2, 0)에 배치되는 레이더 2(420)와 타겟 물체 사이의 거리 R₂을 반지름으로 하는 반원을 그리면, 반원의 경계가 지나는 섹터는 섹터 1,4,5,6 임을 확인할 수 있다.

이때 두 레이더로부터 추출된 섹터, 3, 4, 5, 6과 1, 4, 5, 6의 섹터 중 공통 영역을 찾으면 섹터 4,5,6 영역이 공통 영역임을 알 수있다. 이에, 섹터 4,5,6을 타겟 물체가 존재하는 섹터로 추출한다.

3.8. 심층 신경망 단계(S870)

상술한 심층 신경망부에서 수행하는 단계이며, 상기 섹터 추출 단계를 통해서 추출한 섹터에 대응하는 심층 신경망을 적용하는 단계이다.

도 7은 실시 예 1에 심층 신경망을 적용한 것을 나타낸 것이다. 상기 섹터 추출 단계를 통해서 추출된 섹터 4,5,6에 대하여 모두 기 학습한 CNN 모델에 입력한다. 도 7은 섹터당 4X4 형태의 세부격자를 설정한 경우를 보이는데, 타겟물체의 FFT 신호를 상기 학습한 섹터 4, 5, 6의 CNN 모델에 입력하면, 4X4 격자의 세부 좌표를 출력한다.

3.9. 타겟 물체 위치 산출 단계(S880)

상술한 출력부에서 수행하는 단계로, 상기 심층 신경망 단계를 통하여 학습한 결과로부터 타겟물체 세부 위치를 산출하는 단계이다.

앞서 도 7과 관련한 실시예에서 설명한 것처럼 두 개의 레이더에서 타겟물체를 탐지한 믹싱신호의 FFT 신호를 기 학습한 섹터 4, 5, 6의 CNN 모델에 입력하여, 4 X 4 격자의 세부 좌표를 출력한다. 최종 타겟 물체의 위치는 이들 중복 섹터 4, 5, 6의 CNN 모델 출력 세부 격자 좌표 중에서 확률함수가 최대가 되는 섹터의 세부 격자 좌표를 최종 위치로 결정하고 출력한다.

한편, 본 발명의 기술적 사상은 상기 실시 예에 따라 구체적으로 기술되었으나, 상기 실시 예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주지해야 한다. 또한, 본 발명의 기술분야에서 당업자는 본 발명의 기술 사상의 범위 내에서 다양한 실시 예가 가능함을 이해할 수 있을 것이다.

101 파형발생기
102 디지털 아날로그 변환기(DAC)
103 Voltage Control Oscillator (VCO)
104 Amplifier (AMP)
105 Amplifier (AMP)
106 Low Pass Filter (LPF)
107 아날로그 디지털 변환기(ADC)
108 Digital Signal Processor(DSP)
210 송신부
220 수신부
230 DSP
231 고속 푸리에 변환부
232 거리정보 수집부
233 섹터 추출부
234 심층 신경망부
235 출력부
300 3 X 3 섹터
310 거리 해상도
330 섹터 꼭지점
320 섹터(sector)
430 타겟 물체
410 레이더 1
420 레이더 2
S810 송신 단계
S820 수신 단계
S830 믹싱 단계
S840 고속 푸리에 변환 단계
S850 거리 정보 수집 단계
S860 섹터 추출 단계
S870 심층 신경망 단계
S880 타겟 물체 산출 단계

Claims

2 이상의 레이더;
상기 2 이상의 레이더로부터 송출된 송신신호에 의해 타겟 물체에서 반사되어 오는 신호를 프로세싱하는 DSP;로 구성되며,
상기 레이더 각각은,
레이더 신호를 생성하여 외부로 송출되는 송신 신호를 송신하는 송신부;
상기 송신 신호가 타겟 물체와 충돌 후 반사되어 수신되는 수신 신호를 수신하는 수신부;
상기 송신 신호와 수신 신호를 믹싱하여 믹싱 신호를 생성하는 믹싱부;
를 포함하여 구성하며,
상기 DSP는,
상기 레이더 각각의 믹싱 신호를 주파수 도메인으로 변환하는 고속 푸리에 변환을 수행하는 고속 푸리에 변환부;
상기 각각의 레이더로부터 타겟물체까지의 각각의 거리를 산출하는 거리 정보 수집부;
상기 수집한 레이더 각각의 거리를 기반으로 타겟 물체가 위치하는 섹터를 추출하는 섹터 추출부;
타겟 물체가 위치하는 각 섹터별 신경망 모듈을 탑재하여, 상기 고속 푸리에 변환부에서 출력되는 각 레이더에서의 믹싱신호의 주파수 도메인 신호를 상기 신경망 모듈에 입력하여 타겟 물체의 세부위치를 산출하는 심층 신경망부;
상기 심층 신경망부에서 산출한 타겟 물체의 위치를 출력하는 출력부;
를 포함하여 구성되는 것을 특징으로 하는 레이더 장치.
제 1항에 있어서,
상기 섹터 추출부는,
상기 거리 정보 수집부를 통해서 수집한 레이더 각각으로부터의 타겟 물체와의 거리를 기준으로 하여, 타겟 물체가 위치할 수 있는 공통 섹터를 타겟 물체가 위치하는 섹터로 추출하는 것;을 특징으로 하는 레이더 장치.
제2항에 있어서,
상기 심층 신경망부에 탑재된 각 섹터별 신경망 모듈은,
타겟물체가 위치하는 각 섹터별로 학습하되,
샘플 타겟에 대한 고속 푸리에 변환 신호와 샘플 타겟이 위치하는 각 섹터내의 세부 격자좌표를 훈련데이터로 하여 학습됨으로써, 고속 푸리에 변환 신호에 대하여 세부 격자좌표를 출력하도록 학습된 것;
을 특징으로 하는 레이더 장치.
FMCW 레이더 장치에서 송신신호와 송신신호가 샘플타겟으로로부터 반사되어 오는 수신신호를 믹싱한, 믹싱신호를 고속 푸리에 변환하여 FFT 신호를 생성하는 FFT 신호 생성단계;
상기 고속 푸리에 변환된 FFT 신호를 입력데이터로 하고 상기 샘플타겟이 위치한 세부위치를 목표 출력값으로 하여 신경망 학습을 진행하는 신경망 학습단계;
FMCW 레이더 장치에서 타겟물체에 대하여 송신신호를 송신하고, 타겟물체로부터 반사된 수신신호를 믹싱하여 거리를 산출하는 타겟 거리 산출단계;
상기 학습된 신경망에 상기 타겟물체로부터의 믹싱신호의 FFT 신호를 입력하여 세부위치를 획득하는 타겟물체 세부위치 위치 획득단계;
를 포함하는 타겟물체의 위치획득 방법.
레이더 장치에서 위치를 알고 있는 샘플타겟에 송신신호를 송신하는 레이더 신호 송신단계;
상기 송신신호가 샘플타겟으로부터 반사되는 반사신호를 수신하고, 반사신호와 송신신호를 믹싱하여 믹싱신호를 생성하는 믹싱 단계;
상기 믹싱 신호를 푸리에 변환하여 주파수 도메인으로 변환하는 푸리에 변환단계;
상기 주파수 도메인으로 변환된 신호를 인공신경망에 입력하고 상기 샘플타겟의 위치와의 관계를 기반으로 상기 인공신경망을 학습시키는 학습단계;
를 포함하여 구성되는 인공신경망 학습방법.
레이다를 이용하여 타겟물체의 위치를 방법에 있어서,
레이다의 송수신 신호를 수집하는 단계;
상기 수집한 송수신 신호를 중첩하여 믹싱 신호를 생성하는 믹싱 단계;
상기 믹싱 신호를 고속 푸리에 변환하여 주파수 도메인으로 변환하는 고속 푸리에 변환 단계;
상기 고속 푸리에 변환 단계에서 주파수 도메인으로 변환된 각 레이더의 믹싱 신호를 수집하는 거리 정보 수집 단계;
상기 거리 정보 수집 단계를 통해서 수집한 거리 정보를 기반으로 타겟 물체가 위치할 수 있는 후보구역을 산출하는 섹터 추출 단계;
상기 섹터 추출 단계를 통해서 추출된 후보구역의 심층 신경망을 적용하는 심층 신경망 단계;
상기 심층 신경망을 적용한 결과를 토대로 타겟물체의 위치를 산출하는 위치 산출단계;
를 포함하는 타겟물체 위치 산출 방법.
제6항에 있어서,
상기 심층 신경망은,
레이더 장치에서 위치를 알고 있는 샘플타겟에 송신신호를 송신하는 레이더 신호 송신단계;
상기 송신신호가 샘플타겟으로부터 반사되는 반사신호를 수신하고, 반사신호와 송신신호를 믹싱하여 믹싱신호를 생성하는 믹싱 단계;
상기 믹싱 신호를 푸리에 변환하여 주파수 도메인으로 변환하는 푸리에 변환단계;
상기 주파수 도메인으로 변환된 신호를 인공신경망에 입력하고 상기 샘플타겟의 위치와의 관계를 기반으로 상기 인공신경망을 학습시키는 학습단계;
를 통하여 학습된 인공신경망인 것;을 특징으로 하는 타겟물체 위치 산출 방법.
제7항에 있어서,
상기 레이더 장치는 둘 이상의 레이더 장치를 포함하여 구성되며,
상기 섹터 추출 단계에서 산출하는 타겟 물체가 위치할 수 있는 후보구역은,
상기 둘 이상의 레이더 장치 각각으로부터 타겟 물체와의 거리를 산출하는 다수의 거리정보를 이용하여 산출되는 것;
을 특징으로 하는 타겟물체 위치 산출 방법.
제8항에 있어서,
상기 심층 신경망 단계는,
상기 믹싱 신호를 고속 푸리에 변환한 FFT 신호를 상기 산출된 후보구역에 대응하는 상기 학습된 인공신경망에 입력하여 타겟의 세부위치를 산출하는 것;
을 특징으로 하는 타겟물체 위치 산출 방법.