KR20220166704A

KR20220166704A - 비가시 경로 레이더 장치

Info

Publication number: KR20220166704A
Application number: KR1020210174657A
Authority: KR
Inventors: 박영서; 조한상; 정기봉; 최병혁
Original assignee: 삼성전기주식회사
Priority date: 2021-06-10
Filing date: 2021-12-08
Publication date: 2022-12-19

Abstract

본 발명의 일 실시 예에 따른 비가시 경로 레이더 장치는, 비가시 경로를 통해 수신받은 제1 주파수 레이더 신호를 디지털 신호로 변환하여 제1 경로 신호를 출력하는 제1 레이더 수신부; 가시 경로를 통해 가시 경로를 탐지하는 가시 경로 탐지 장치로부터 제2 경로 신호를 제공받고, 상기 제2 경로 신호를 이용하여 상기 제1 경로 신호에 포함된 비가시 경로와 무관한 가시 경로 신호를 캔슬하여 비가시 경로 관련 신호를 추출하는 제1 신호 처리부; 및 상기 비가시 경로 신호에 기초해 비가시 경로의 사물을 검출하는 제1 신호 검출부; 를 포함한다.

Description

비가시 경로 레이더 장치{NON-LINE-OF-SIGHT RADAR APPARATUS}

본 발명은 비가시 경로 레이더 장치에 관한 것이다.

일반적으로, 레이더는 가시영역에 전파를 보내고 반사되는 전파를 받아 사물을 탐지한다. 그러나 전파는 가시영역이 아니더라도 반사, 회절, 투과를 통하여 전달되는 특성이 있다. 일반적으로, 이러한 신호는 약하고 가시 영역의 사물감지에 방해가 되므로 일종의 노이즈로 간주하여 제거한다.

그러나, 빌딩 뒤에 차량을 탐지하는 경우가 필요하여 지형지물의 정보와 반사된 멀티패스(Multipath) 전파를 사용하여 비가시 경로의 사물을 탐지하는 기술이 군사용이나 항공용으로 개발된 경우도 있다.

한편, 자율주행 자동차나 그 전단계인 ADAS (Advanced Driver-Assistance Systems) 자동차는 그 수준을 높일수록 자율주행에 필요한 센서를 다량으로 추가하고 있다. 카메라는 물론 라이다(Lidar), 레이더(Radar) 그리고 초음파 센서가 그것들이다. 이 센서들은 상호 보완하여 차츰 사람보다 더 정확하게 주변사물을 탐지하여 자율주행 성능과 안정성에 기여한다.

그런데, 현재 개발되는 모든 센서는 비가시 경로를 탐지하지 못한다. 빛과 전파와 음파는 조금씩 반사, 회절, 투과를 하지만 현실적으로 비가시 경로를 통하여 탐지하는 전장용 카메라나 라이다나 레이더나 초음파센서는 아직 없다. 또한, 주차장이나 좁은 골목에서 사람이나 자전거 혹은 어린이가 차량이나 벽 뒤에 가려있다가 갑자기 튀어나와 사고를 당하는 경우가 있지만, 차량에서 비가시 경로의 물체를 탐지하는 장치는 없다는 문제점이 있다.

그런데, Brian Watson의 2019년 서적 "Non-Line-Of-Sight Radar"에서는 9GHz의 X-band나 18GHz의 Ku-band 레이더를 사용하여 비행체에서 도심의 빌딩 뒤에서 움직이는 차량을 탐지하는 기술을 제시하고 있다. 이를 위해 빌딩에 한번 이상 반사되는 멀티 경로(Multi Path) 전파를 사용하며 그 반사한 빌딩의 위치와 모양의 정보를 사용한다. 그러나 이러한 빌딩의 정보는 구글 어스(Google Earth)와 같은 사전에 조사된 지형지물 정보가 있어야 한다는 단점이 있다.

이에 따라, 주차된 차량과 같이 계속 변하는 장애물을 탐지하는 데는 어려움이 있다. 또한 탐지 대상이 차량이 아닌 작은 아이와 같이 작은 경우 이러한 항공용 중장거리 레이더 기술로는 탐지하기 어렵다는 문제점이 있다.

또 다른 비가시 경로 레이더(Non-Line-Of-Sight Radar)에 대한 연구 자료는 벤츠(Bentz)와 프린스턴(Princeton)의 2020년 연구논문인 "Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar"에서 찾아볼 수 있다. 여기서는 원래 카메라나 라이다를 사용하여 반사된 신호를 통하여 비가시 영역을 탐지하다가 실용화를 위해서 기존 자동차의 77GHz 레이더를 사용해서 구현했다.

그러나 이 경우는 77GHz의 고주파 레이더를 사용했기에 반사파는 탐지를 할 수 있지만 회절이나 투과된 신호를 활용할 수가 없었다. 주파수가 높으면 레이더를 작게 만들 수는 있지만 경로손실은 물론 회절 투과 능력이 현저히 떨어지기 때문이다. 따라서 반사 경로가 확보되지 못하는 곳에서 접근하는 사람은 전혀 탐지할 수가 없다는 문제점이 있다.

(선행기술문헌)

(특허문헌 1) KR 공개특허 공보 제10-2017-0007472호 (2017.01.18)

(특허문헌 2) KR 공개특허 공보 제10-2020-0020057호 (2020.02.26)

(특허문헌 3) JP 공개특허 공보 제2018-025475호 (2018.02.15)

본 발명의 일 실시 예는, 주차장이나 좁은 골목 등에서, 육안으로 보이지 않는 비가시 경로(NLOS: Non-Line-Of-Sight)에서 차량으로 다가오는 사람 등의 동체를 감지할 수 있는 비가시 경로 레이더 장치를 제공한다.

본 발명의 일 실시 예에 의해, 비가시 경로를 통해 수신받은 제1 주파수 레이더 신호를 디지털 신호로 변환하여 제1 경로 신호를 출력하는 제1 레이더 수신부; 가시 경로를 통해 가시 경로를 탐지하는 가시 경로 탐지 장치로부터 제2 경로 신호를 제공받고, 상기 제2 경로 신호를 이용하여 상기 제1 경로 신호에 포함된 비가시 경로와 무관한 가시 경로 신호를 캔슬하여 비가시 경로 관련 신호를 추출하는 제1 신호 처리부; 및 상기 비가시 경로 신호에 기초해 비가시 경로의 사물을 검출하는 제1 신호 검출부; 를 포함하는 비가시 경로 레이더 장치가 제안된다.

또한, 본 발명의 다른 일 실시 예에 의해, 비가시 경로를 통해 제1 주파수 레이더 신호를 수신하는 제1 레이더; 및 가시 경로를 통해 제2 주파수 레이더 신호를 수신하는 제2 레이더; 를 포함하고, 상기 제1 레이더는, 상기 제1 주파수 레이더 신호를 디지털 신호로 변환하여 제1 경로 신호를 출력하는 제1 레이더 수신부; 상기 제2 레이더로부터 제공받은 제2 경로 신호를 이용하여 상기 제1 경로 신호에 포함된 비가시 경로와 무관한 가시 경로 신호를 캔슬하여 비가시 경로 관련 신호를 추출하는 제1 신호 처리부; 및 상기 비가시 경로 신호에 기초해 비가시 경로의 사물을 검출하는 제1 신호 검출부; 를 포함하는 비가시 경로 레이더 장치가 제안된다.

본 발명의 일 실시 예에 의하면, 비가시 경로 인공지능 레이더 장치를 이용하여, 주차장이나 좁은 골목 등에서, 육안으로 보이지 않는 비가시 경로(NLOS)에서 차량으로 다가오는 사람 등의 사물을 감지할 수 있다.

예를 들어, 벽이나 주차된 차량에 가려 안보이다가 갑자기 튀어나오는 작은 어린이들을 미리 감지하여 사고를 사전에 방지할 수 있다. 또한 성인이나 자전거의 움직임도 미리 감지하여 필요에 따라 속도를 줄이고 사고를 예방할 수 있다.

예를 들면, 전장용 NLOS(비가시경로) 레이더는 일반 차량용 레이더의 보조수단으로 장애물에 가려 보이지 않는 근거리 탐지에 적용될 수 있고, 일반 차량용 레이더와 가능한 가까이 장착하여 탐지 효율을 높일 수 있으며, 예를 들면 앞 범퍼 좌우에 차량용 SRR (Short Range Radar) 레이더에 최대한 가깝게 장착할 수 있거나, SRR 레이더를 포함하는 하나의 콤보 모듈로 제작하여 구현할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 비가시 경로 레이더 장치의 일 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 비가시 경로 레이더 장치의 일 예시도이다.
도 3은 제1 신호 처리부의 일 예시도이다.
도 4는 제1 신호 처리부 및 제2 신호 처리부의 일 예시도이다.
도 5는 제1 신호검출부의 동작 설명도이다.
도 6은 탐지 차량, 주변 차량과 주변 사람 예시도이다.
도 7은 도 6에서 제1 레이더에 의해 검출되는 포인트 클라우드 예시도이다.
도 8은 도 6에서 제2 레이더에 의해 검출되는 포인트 클라우드 예시도이다.
도 9는 도 6에서 제1 레이더에 의해 비가시경로에서 검출되는 포인트 클라우드 예시도이다.
도 10은 비가시경로 레이더 장치에서 검출되는 포인트 클라우드 설명도이다.

이하에서는, 본 발명은 설명되는 실시 예에 한정되지 않으며, 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다.

또한, 본 발명의 각 실시 예에 있어서, 하나의 예로써 설명되는 구조, 형상 및 수치는 본 발명의 기술적 사항의 이해를 돕기 위한 예에 불과하므로, 이에 한정되는 것이 아니라 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다. 본 발명의 실시 예들은 서로 조합되어 여러 가지 새로운 실시 예가 이루어질 수 있다.

그리고, 본 발명에 참조된 도면에서 본 발명의 전반적인 내용에 비추어 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위해서, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 비가시 경로 레이더 장치의 일 예시도이고, 도 2는 본 발명의 일 실시 예에 따른 비가시 경로 레이더 장치의 일 예시도이다.

도 1 및 도 2를 참조하면, 비가시 경로 레이더 장치는, 제1 레이더(100)와 제2 레이더(200)중 적어도 제1 레이더(100)를 포함할 수 있다.

본 서류에서, 제1 레이더(100)는 비가시 경로 탐지 장치를 대표하는 것이고, 제2 레이더(200)는 가시 경로 탐지 장치를 대표하는 것으로, 본 발명의 비가시 경로 탐지 장치는 제1 레이더(100)를 예를 들어 설명하고, 가시 경로 탐지 장치는 제2 레이더(200)를 예를 들어 설명하지만, 이는 설명의 편의를 위한 것일 뿐이고, 비가시 경로 또는 가시 경로의 사물을 탐지할 수 있으면 되므로, 하기 예시에 한정되는 것은 아니다.

제1 레이더(100)는, 비가시 경로(PH1 또는 NLOS)를 통해 제1 주파수 레이더 신호(S_PH1)를 수신하고, 제2 레이더(200)로부터 제공받은 신호(S200)를 이용하여 제1 주파수 레이더 신호(S_PH1)에서 비가시 경로와 무관한 가시 경로(PH2 또는 DLOS)의 신호를 캔슬하여, 비가시 경로 신호에 기초해 비가시 경로상에 존재하는 사물을 검출하여 제1 검출신호(SD1)를 출력할 수 있다.

제2 레이더(200)는, 가시 경로(PH2 또는 DLOS)를 통해 제2 주파수 레이더 신호(S_PH2)를 수신하여, 제2 주파수 레이더 신호(S_PH2)에 기초해 가시 경로상에 존재하는 사물을 검출하여 제2 검출신호(SD2)를 출력할 수 있다.

통상적으로, 차량용 레이더는 그 주파수에 따라 특성이 다르다. 예를 들어, 고주파 레이더는 작게 만들 수 있고 작은 물체도 섬세하게 탐지하도록 설계될 수 있다. 그런데, 고주파는 레이더는 NLOS(비가시경로) 신호 (반사, 회절, 투과 신호)가 약하여 이를 주로 사용해야 하는 NLOS 레이더로 사용하기에는 적합하지 않을 수 있다. 이에 따라 NLOS 레이더는 저주파 레이더를 사용하여 NLOS 탐지 기능을 더 효과적으로 구현할 수 있다.

일 예로, 예전의 차량중 24GHz 레이더를 사용하는 경우가 있었고, 현재 차량에는 77GHz 레이더를 사용하는 경우가 있다.

본 발명의 주요 내용중 하나는, 현재의 77GHz 레이더 보다 낮은 주파수를 사용하여 최대한 반사, 회절, 투과 신호를 확보하는 비가시 경로(NLOS) 레이더 장치를 제공한다.

본 발명의 주요 내용중 다른 하나는, NLOS 신호와 DLOS (Direct-Line-Of-Sight) 신호를 구별하는 기술이다.

예를 들어, NLOS 신호는 감쇄로 인하여 DLOS 신호에 비하여 약하므로 이를 구별하는 기술이 필요하다. 정지된 차량에서 벽이나 주차되어 있는 차량과 같은 정지된 방해물 뒤에서 움직이는 사람은 도플러(Doppler) 신호의 차이를 통하여 비교적 쉽게 구별해 낼 수 있다. 그런데, 차량이 움직일 경우 모든 방해물에서도 도플러(Doppler) 신호가 감지되므로 보다 난이도가 있다. 또한 주차된 차량이 움직이기라도 하면 더욱 어려운 상황이 온다. 이에 따라 NLOS 레이더에서 NLOS 신호보다 강한 DLOS 신호를 효과적으로 구분해 내기 위해서 NLOS 레이더인 제1 레이더(100) 이외의 센서인 제2 레이더(200)에서 감지되는 DLOS 신호를 사용하면 유용하다.

부연하면, 비가시 경로(NLOS) 레이더(제1 레이더) 이외의 센서에서 감지되는 DLOS 신호를 사용하여 NLOS 레이더의 DLOS 신호 부분을 매칭시켜 제거하여 NLOS 레이더의 NLOS 신호 부분을 보다 효과적으로 감지할 수 있다. 일반적으로 DLOS 레이더인 제2 레이더(200)는 기존 차량에 사용되던 77GHz 레이더가 이용될 수 있다. 따라서 저주파 NLOS 레이더인 제1 레이더(100)를, 77GHz 레이더인 제1 레이더(100)와 같은 위치에 배치하여 거의 같은 시점에서 제1 및 제2 레이더(100,200)에서 감지되는 전파를 비교하여 NLOS 레이더의 NLOS 신호 성분을 효과적으로 구별하여 감지할 수 있다.

또한, 77GHz 레이더인 제2 레이더(200)의 DLOS 신호 대신 라이더나 초음파나 카메라에서 탐지한 DLOS 신호 성분을 사용할 수도 있다. 따라서 본 발명의 주요 내용중 다른 하나는 NLOS 레이더인 제1 레이더(100) 이외의 센서인 제2 레이더(200)나 라이더나 초음파나 카메라를 통해 얻은 DLOS 신호를 사용하여 NLOS 레이더의 DLOS 신호 성분과 구별되는 NLOS 신호를 효과적으로 추출하는 것이다.

그리고, 본 발명의 주요 내용중 또 다른 하나는, NLOS 레이더인 제1 레이더에서 NLOS 신호를 감지함에 있어서 그 타켓의 위치 정보뿐 아니라 도플러(Doppler) 패턴을 딥 러닝(Deep Learning)을 통하여 학습시킨 AI (Artificial Intelligence) 알고리즘을 사용하는 것이다.

예를 들어, NLOS 레이더인 제1 레이더(100)에 들어오는 반사 회절 투과 등을 통한 NLOS 신호는 경로 환경에 따라 매우 다른 모습을 가진다. 따라서 가능한 다양한 경우의 환경에서 발생되는 신호를 무수히 반복적으로 학습시켜 NLOS 영역에 있는 사람의 접근을 오류 없이 탐지하도록 그 탐지 능력을 향상시켜야 한다. 이때 NLOS 신호 감지와 관계가 없는 DLOS 신호를 구별하여 제거한 NLOS 관련 신호로만 학습하고 탐지함으로 그 AI 알고리즘의 복잡도를 줄이고 정확도를 높여서 그 성능을 크게 향상시킬 수 있다. 그리고 본 발명의 장치가 적용된 이후에도 학습 시스템이 허락된다면 계속해서 NLOS 탐지를 학습할 수 있도록 구현하고 그 학습된 정보를 공유하여 그 NLOS 레이더의 성능을 계속 향상시키고 안전성을 계속 높일 수 있다

이와 같은 본 발명의 주요 사항에 대해서는 하기에 계속 설명된다.

예를 들어, 제1 레이더(100)는, 제1 레이더 수신부(110), 제1 신호 처리부(120), 및 제1 신호 검출부(130)를 포함할 수 있다.

제1 레이더 수신부(110)는, 상기 제1 주파수 레이더 신호를 디지털 신호로 변환하여 제1 경로 신호(S_PH1)를 출력할 수 있다.

예를 들어, 제1 레이더 수신부(110)는 전파를 수신하는 안테나와, 상기 안테나를 통해 수신받은 RF 신호를 베이스밴드(Baseband) 신호로 변환하고 아날로그 신호를 디지털 신호로 변환하는 프론트-엔드부를 포함할 수 있다. 상기 프론트-엔드부로부터의 신호는 제1 신호 처리부(120)에 출력할 수 있다.

일 예로, 상기 제1 레이더 수신부(110)의 제1 경로 신호(S_PH1)는, 상기 비가시 경로(PH1)를 통해 획득된 비가시 경로 신호(S_NLOS)와 NLOS 유관 가시 경로(PH2) 신호(S_DLOS_1)와 NLOS 무관 가시 경로 신호(S_DLOS_2)를 포함할 수 있다.

제1 신호 처리부(120)는, 상기 제2 레이더(200)로부터 신호(S200)(예, S_PH2)를 제공받고, 상기 신호(S200)(예, S_PH2)를 이용해 상기 제1 경로 신호(S_PH1)에서 비가시 경로와 무관한 가시 경로 신호(S_DLOS)를 캔슬하여 비가시 경로 신호(S_NLOS)를 생성할 수 있다.

예를 들어, 상기 제1 신호 처리부(120)는. 상기 제1 경로 신호(S_PH1)에 대해 도플러 패턴 신호를 생성할 수 있다. 일 예로, 상기 제1 신호 처리부(120)는, 상기 제2 경로 신호(S_PH2)를 이용해 상기 제1 경로 신호(S_PH1)에서 NLOS 무관 가시 경로 신호(S_DLOS_2)를 제거하여, NLOS 유관 가시 경로(PH2) 신호(S_DLOS_1)를 포함하는 비가시 경로 신호(S_NLOS)를 생성할 수 있다.

부연하면, 상기 제1 신호 처리부(120)는, 비가시 경로 신호(S_NLOS)가 제거된 상기 제2 경로 신호(S_PH1)와, 비가시 경로 신호(S_NLOS)를 포함하는 상기 제1 경로 신호(S_PH1)를 이용하여, 상기 캔슬 동작을 수행할 수 있다.

제1 신호 검출부(130)는, 상기 비가시 경로 신호(S_NLOS)에 기초해 비가시 경로(PH1 또는 NLOS)의 사물을 검출하여 제1 검출신호(SD1)를 출력할 수 있다.

예를 들어, 상기 제1 신호 검출부(130)는, 상기 비가시 경로 신호(S_NLOS)의 도플러 패턴 신호를 입력받아 인공지능(AI) 학습을 수행하여 구축된 AI 알고리즘을 이용해 상기 비가시 경로(PH1)의 사물을 검출할 수 있다.

도 2를 참조하면, 예를 들어, 제2 레이더(200)는, 제2 레이더 수신부(210), 제2 신호 처리부(220), 및 제2 신호 검출부(230)를 포함할 수 있다.

제2 레이더 수신부(210)는, 상기 제2 주파수 레이더 신호를 디지털 신호로 변환하여 제2 경로 신호(S_PH2)를 출력할 수 있다.

제2 신호 처리부(220)는, 상기 제2 레이더 수신부(210)로부터의 제2 경로 신호(S_PH2)에서 기설정된 노말 임계치(Normal Threshold)보다 낮은 레벨의 신호나 노이즈 등을 제거하여 가시 경로 신호(S_DLOS)를 생성할 수 있다.

제2 신호 검출부(230)는, 상기 가시 경로 신호(S_DOS)에 기초해 가시 경로(PH2 또는 DLOS)의 사물을 검출하여 제2 검출신호(SD2)를 출력할 수 있다.

예를 들어, 상기 제1 주파수 레이더 신호는, 상기 제2 레이더(200)에서 이용되는 제2 주파수 레이더 신호의 제2 경로 주파수보다 낮은 제1 경로 주파수를 이용할 수 있다.

일 예로, 제2 주파수 레이더 신호의 제2 경로 주파수는 77GHz (예, 76 GHz~81 GHz 범위의 주파수)일 수 있고, 상기 제1 주파수 레이더 신호의 제1 경로 주파수는 1GHz 내지 25GHz 범위에 포함되는 주파수중 어느 주파수가 될 수 있으며, 일 예로 7.5GHz가 될 수 있으며, 이는 하나의 예시에 불과하므로, 이에 한정되는 것은 아니다.

전술한 본 발명의 실시 예는, 차량 전방 범퍼에 장착하는 77GHz 전장용 레이더인 제2 레이더(200)와 같은 위치에 NLOS 레이더인 제1 레이더(100)를 장착할 수 있다. 필요에 따라서는 77GHz 전장용 DLOS 레이더인 제2 레이더(200)와 NLOS 레이더인 제1 레이더(100)를 하나의 콤보 모듈로 제작할 수 있다.

부연하면, 77GHz 고주파 DLOS 레이더인 제2 레이더(200)에서는 눈에 보이는 가시경로(Direct-Line-Of-Sight)의 사물을 DLOS 경로의 고주파 전파를 이용하여 감지할 수 있다. 그러나 고주파 DLOS 레이더에서는 눈에 보이지 않는 비가시 경로(Non-Line-Of-Sight)의 사물에 대해 NLOS 경로를 통한 신호는 매우 약하고 불분명하여 일반적으로 Noise(잡신호)로 간주하고 제거한다.

이에 반해 저주파 NLOS 레이더인 제1 레이더(100)에서는 눈에 보이는 사물을 DLOS 경로의 저주파 전파를 이용하여 감지하고 동시에 눈에 보이지 않는 사물도 NLOS 경로의 저주파 전파를 이용하여 감지할 수 있다.

그러나 눈에 보이는 사물은 제2 레이더(200)에서 감지하므로 제1 레이더(100)에서는 감지할 필요가 없으니 제1 레이더(100)는 NLOS 경로를 통한 눈에 보이지 않는 사물을 감지하는데 집중하면 NLOS 감지 효율을 높일 수 있다.

이에 따라 제1 레이더(100)의 신호처리에서 DLOS 레이더의 신호를 가지고 제1 레이더(100)의 DLOS 경로를 통한 신호성분을 매칭시켜 캔슬하여 제거하고, NLOS 경로를 통한 신호 성분을 추출하여 NLOS 경로에 있는 눈에 보이지 않는 사물만 효율적으로 감지할 수 있다. 제1 레이더(100)의 신호처리에서는 딥 러닝(Deep Leaning)으로 학습시킨 AI 알고리즘을 사용할 수 있으며, 학습되는 신호가 간결할수록 그 효율이 커지므로 이처럼 NLOS 감지와 관련 없는 DLOS 신호는 AI 알고리즘 수행 이전 과정에서 제거될 수 있다.

부연하면, DLOS 신호라도 NLOS 신호와 관련된 신호는 제거하지 않고 학습에 필요에 따라 사용할 수 있다. 예를 들면 NLOS 반사를 일으키는 사물의 DLOS 신호는 NLOS 감지에 도움이 될 수 있다. 이에 따라, 본 발명의 주요 내용중 또 다른 하나는 NLOS AI 알고리즘 성능을 최대화 하기 위해 NLOS와 관련된 신호를 추출하는 기술이다.

한편, 본 발명의 비가시 경로 레이더 장치가, 제1 레이더(100)와 제2 레이더(200)를 포함하여 콤보 모듈로 제작되어, NLOS 사물 감지 성능을 향상시킬 수 있다.

본 발명의 각 도면에 대해, 동일한 부호 및 동일한 기능의 구성요소에 대해서는 가능한 불필요한 중복 설명은 생략될 수 있고, 각 도면에 대해 가능한 차이점에 대한 사항이 설명될 수 있다.

도 3은 제1 신호 처리부의 일 예시도이다.

도 3을 참조하면, 제1 신호 처리부(120)는, 제1 변환부(121), 제1 처리부(123), 및 캔슬부(125)를 포함할 수 있다.

제1 변환부(121)는, 상기 제1 레이더 수신부(110)로부터 입력되는 제1 경로 신호(S_PH1)에 대해 FFT 수행하고, 도플러(doppler) 알고리즘을 이용하여 도플러 패턴을 도출하여 사물의 위치 및 속도 정보를 포함하는 제1 경로 포인트 신호(SP1)를 출력할 수 있다.

제1 처리부(123)는, 제1 변환부(121)로부터의 제1 경로 포인트 신호(SP1)에서 기설정된 최소 임계치(Minimum Threshold)보다 낮은 레벨의 신호나 노이즈 등을 제거하고, 복수의 검출 포인트를 포함하는 제1 경로 포인트 클라우드 신호(SPC1)를 생성할 수 있다.

캔슬부(125)는, 상기 제1 처리부(123)로부터의 제1 경로 포인트 클라우드 신호(SPC1)에서, 상기 제2 레이더(200)의 제2 신호 처리부(220)로부터 제공받은 가시 경로 신호(S_DLOS)를 이용해, 상기 제1 경로 포인트 클라우드 신호(SPC1)에서 비가시 경로와 무관한 제2 경로 포인트 클라우드 신호를 캔슬하여 비가시 경로 신호(S_NLOS)를 생성할 수 있다.

부연하면, DLOS 레이더인 제2 레이더(200)는 비가시 경로의 신호를 제거하지만, NLOS 레이더인 제1 레이더(100)는 비가시 경로의 신호를 제거하지 않거나 최소한으로 제거하여 사물을 검출하여 포인트 클라우드(Point Cloud)를 생성할 수 있다. 상기 포인트 클라우드(Point Cloud)는 2D 또는 3D 맵으로 어느 지점에 사물이 검출 되었는지를 검출 포인트의 집합으로 보여준다. NLOS 레이더인 제1 레이더(100)는 상대적으로 제2 레이더(200)의 사용 주파수보다는 주파수가 낮기 때문에 이러한 NLOS 신호가 더 강하게 감지될 수 있다. 일 예로, 상대적으로 높은 주파수(예, 77GHz)를 사용하는 DLOS 레이더인 제2 레이더(200)는 전술한 바와 같이, 약한 세기의 NLOS 신호를 제거할 수 있다. 따라서 제2 레이더(200)를 통한 DLOS 신호 성분만 감지한 포인트 클라우드(Point Cloud)를 이용하여 제1 레이더(100)에서 NLOS 성분을 포함하여 감지한 포인트 클라우드(Point Cloud)에서 DLOS 성분을 제거함에 따라, DOS 성분이 제거된 NLOS 관련 성분만을 추출할 수 있다.

제2 레이더(200)는 NLOS 신호 (반사/투과/회절파)를 제1 레이더(100) 보다 훨씬 더 약하게 감지하므로, 일반적으로 DLOS 포인트 클라우드(Point Cloud)에는 NLOS 신호가 포함되어 있지 않다. 반면에 제1 레이더(100)는 NLOS 신호 (반사/투과/회절파)가 더 강하게 감지하여 NLOS 신호를 포함한 포인트 클라우드를 생성한다. 결국 제1 레이더(100)가 출력되는 신호에서 NLOS 감지에 필요없는 DLOS 성분을 제거하면 출력되는 신호에서 그 복잡도가 줄어든다.

도 4는 제1 신호 처리부 및 제2 신호 처리부의 일 예시도이다.

도 4를 참조하면, 제1 신호 처리부(120)는, 도 3에 도시한 바와 같이, 제1 신호 변환부(121), 제1 처리부(123), 및 캔슬부(125)를 포함할 수 있다. 이에 대한 제세한 설명은 도 3을 참조한 설명으로 대신한다.

제2 신호 처리부(220)는, 제2 변환부(221), 및 제2 처리부(223)를 포함할 수 있다.

제2 변환부(221)는, 상기 제2 레이더 수신부(210)로부터 입력되는 제2 경로 신호(S_PH2)에 대해 FFT 수행하고, 도플러(doppler) 알고리즘을 이용하여 도플러 패턴을 도출하여 사물의 위치 및 속도 정보를 포함하는 제2 경로 포인트 신호(SP2)를 출력할 수 있다.

제2 처리부(123)는, 제2 변환부(221)로부터의 제2 경로 포인트 신호(SP2)에서 기설정된 노말 임계치(Normal Threshold)보다 낮은 레벨의 신호나 노이즈 등을 제거하고, 복수의 검출 포인트를 포함하는 제2 경로 포인트 클라우드 신호(SPC2)를 포함하는 가시 경로 신호(S_DLOS)를 생성할 수 있다.

도 5는 제1 신호검출부의 동작 설명도이다.

도 5를 참조하면, 상기 제1 신호 검출부(130)는, 상기 제1 신호 처리부(120)로부터 상기 비가시 경로 신호(S_NLOS)를 입력받아 인공지능(AI) 학습을 수행하여 구축된 NLOS 사물 감지 AI 알고리즘을 이용해 상기 비가시 경로(PH1 또는 NLOS)의 사물을 검출할 수 있다.

예를 들어, 제1 신호 검출부(130)는, 비가시 경로 신호(S_NLOS)에 대해 미리 학습을 통해 구축된 NLOS(비가시경로) AI(Artificial Intelligence) 알고리즘을 포함하여, 캔슬부(125)로부터 입력되는 비가시 경로 신호(S_NLOS)에 대해 NLOS AI 알고리즘을 이용하여, 비가시 경로(PH1)의 사물을 검출하여 제1 검출신호(SD1)를 출력할 수 있다.

도 6은 탐지 차량, 주변 차량과 주변 사람 예시도이다.

도 6에서, CAO는 본 발명의 비가시 경로 레이더 장치를 탑재하고 있는 탐지 차량이고, CA1은 탐지 차량(CA0)의 주행 방향과 반대 방향으로 주행하는 제1 차량이고, CA2은 탐지 차량(CA0)의 주행 방향과 같은 방향으로 앞서가는 제2 차량이고, CA3는 주차된 제3 차량이고, CA4는 제3 차량(CA3) 옆에 주차된 제4 차량이다. P1은 가시 경로상의 사람(또는 사람들)이고, P2는 비가시 경로상의 사람(또는 사람들)이다.

또한, 제1 사람(P1)이 가시 경로(PH2-4)상에서 제1 차량(CA1)의 주행 방향에서 멀어지고, 주차된 제3 차량(CA3)과 제4 차량(CA4) 사이에, 육안으로 보이지 않는 비가시 경로(PH1)에서 제2 사람(P2)이 제1 차량(CA1)의 주행 방향으로 다가오는 경우를 가정할 수 있다.

이 경우, 탐지 차량(CA0)과 제1 차량(CA1)과 가시경로(DLOS)(PH2-1)가 존재하고, 탐지 차량(CA0)과 제2 차량(CA2)과 가시경로(DLOS)(PH2-2)가 존재하고, 탐지 차량(CA0)과 제3 차량(CA3)과 가시경로(DLOS)(PH2-3)가 존재하고, 탐지 차량(CA0)과 제4 차량(CA4)과 가시경로(DLOS)(PH2-4)가 존재하고, 탐지 차량(CA0)과 제1 사람(P1)과 가시경로(DLOS)(PH2-5)가 존재하며, 탐지 차량(CA0)과 제2 사람(P2)과 비가시경로(NLOS)(PH1)가 존재한다.

여기서, 탐지 차량(CA0)과 제3 차량(CA3) 사이에는 가시경로(DLOS)(PH2-3) 및 비가시경로(PH1)가 동시에 존재함을 알 수 있다.

도 7은 도 6에서 제1 레이더에 의해 검출되는 포인트 클라우드 예시도이다.

도 7을 참조하면, 제1 레이더(100)에 의해 검출되는 포인트 클라우드는, 가시경로상의 제1 차량(CA1)에 의한 제1 포인트 클라우드(PC1), 가시경로상의 제2차량(CA2)에 의한 제2 포인트 클라우드(PC2), 가시경로상의 제3 차량(CA3)에 의한 제3 포인트 클라우드(PC3), 가시경로상의 제4 차량(CA4)에 의한 제4 포인트 클라우드(PC4), 가시경로상의 제1 사람(P1)에 의한 제5 포인트 클라우드(PC5), 및 비가시 경로상의 제2 사람(P21)에 의한 제6 포인트 클라우드(PC6)를 포함할 수 있다.

도 8은 도 6에서 제2 레이더에 의해 검출되는 포인트 클라우드 예시도이다.

도 8을 참조하면, 제2 레이더(200)에 의해 검출되는 사물은, 가시경로상의 제1 차량(CA1)에 의한 제1 포인트 클라우드(PC1), 가시경로상의 제2차량(CA2)에 의한 제2 포인트 클라우드(PC2), 가시경로상의 제3 차량(CA3)에 의한 제3 포인트 클라우드(PC3), 가시경로상의 제4 차량(CA4)에 의한 제4 포인트 클라우드(PC4), 가시경로상의 제1 사람(P1)에 의한 제5 포인트 클라우드(PC5)를 포함할 수 있다.

도 9는 도 6의 제1 레이더에 의해 비가시경로에서 검출되는 포인트 클라우드 예시도이다. 부연하면, 도 9는, 도 6의 제1 레이더에서 제2 레이더 신호를 이용하여 비가시 경로와 관련없는 가시경로 신호를 캔슬하고 비가시경로 사물 감지를 위해 추출한 NLOS 포인트 클라우드 예시도이다.

도 9는, 제1 레이더(100)에서 검출되는 포인트 클라우드에서 제2 레이더(200)에서 검출되는 포인트 클라우드중 비가시 경로와 무관한 포인트 클라우드(PC1~PC5)를 캔슬하는 과정을 거친후에 남는 포인트 클라우드(PC3,PC6)를 보이고 있다.

도 9에는 비가시경로(PH1)와 관련되는 제3 가시경로(PH2-3)와 비가시경로(PH1) 각각에 존재하는 제3 및 제6 포인트 클라우드(PC3,PC6)이 도시되어 있고, 또한 상기 제3 및 제6 포인트 클라우드(PC3,PC6)에 기초해 AI 위치 추정 알고리즘이 비가시 경로에 존재하는 타켓 위치를 추정한 제7 포인트 클라우드(PC7)가 도시되어 있다.

이러한 예를 통하여 본 발명은 도 7의 포인트 클라우드를 도 9의 포인트 클라우드로 간소화하는 데이터 가공 기법을 사용하여 AI 위치 추정 알고리즘을 포함하는 도 5의 NLOS 사물 감지 (Object Detection) AI 알고리즘(130)의 복잡성을 줄이고 사물 감지 성능을 높일 수 있다는 것을 보여준다.

물론 NLOS AI 알고리즘을 학습하여 구축할 때도 도 7의 포인트 클라우드가 아닌 도 9의 포인트 클라우드 데이터로 학습하여 NLOS AI 알고리즘의 복잡성을 줄이고 정확성을 높일 수 있다.

도 10은 비가시경로 레이더 장치에서 검출되는 포인트 클라우드 설명도이다.

도 10을 참조하면, (a) 도면은 탐지 대상 상황도이고, (b) 도면은 제1 레이더에 의한 포인트 클라우드 탐지 도면이고, (c)는 제2 레이더에 의한 포인트 클라우드 탐지 도면이고, (d)는 비가시경로의 포인트 클라우드 탐지 도면이다.

예를 들어, (a) 도면의 탐지 대상을 제1 레이더로 탐지하면 (b)와 같이 포인트 클라우드가 탐지되고, (a) 도면의 탐지 대상을 제2 레이더로 탐지하면 (c)와 같이 포인트 클라우드가 탐지되며, 상기 (b) 도면과 같은 탐지 포인트 클라우드 에서 상기 (c) 도면과 같은 포인트 클라우드를 캔슬하면 (d) 도면과 같이, 비가시경로에 관련되는 포인트 클라우드가 탐지될 수 있다.

이후 이 비가시경로에 관련되는 포인트 클라우드에 제1 신호 처리부(130)의 AI 알고리즘을 적용하면 (d) 도면의 점선 원 안에 마름모꼴로 표시된 바와 같은 NLOS 사물의 실재 위치를 추정할 수 있다.

예를 들어, 본 발명의 비가시 경로 레이더 장치는, 제1 레이더(100)와 제2 레이더(200)를 포함하고 있으나, 제2 레이더(200)에 한정되는 것은 아니고, DLOS (Direct-Line-Of-Sight) 신호를 포착할 수 있는 다른 센서가 될 수 있다. 제2 레이더(200) 이외의 센서를 이용하여 획득된 DLOS (Direct-Line-Of-Sight) 신호를 사용하여 NLOS 레이더의 DLOS 신호 성분과 구별되는 NLOS 신호를 효과적으로 추출할 수 있다.

AI 알고리즘을 이용하는 NLOS AI 레이더는 NLOS 위치 신호뿐 아니라 도플러(Doppler) 패턴을 딥 러닝(Deep Learning)을 통하여 학습시켜 구축된 AI (Artificial Intelligence) 알고리즘을 사용하여 NLOS 사물을 보다 효율적으로 감지할 수 있다.

예를 들어 DLOS 경로 PH2-3(제3 가시경로)을 통해 제3 포인트 클라우드(PC3)을 나타내는 신호와 NLOS 경로 PH1(제1 가시경로)을 통해 제6 포인트 클라우드(PC6/PC7)을 나타내는 신호는 같은 방향에서 오는데 PC6/PC7을 나타내는 신호가 휠씬 약하여 구별하여 감지하기에 어려운 면이 있다. 그러나 P2는 움직이는 사물(예, 사람)이고 CA3는 정지된 사물(예, 차량)이므로 도플러 패턴이 다르고 따라서 수신 주파수가 다소 다르므로 이를 통하여 구별할 수 있다. 또한 AI 알고리즘에서는 이 도플러 패턴을 분석하여 NLOS에서 다가오는 사물인지 멀어지는 사물인지 구별하고 시간에 따른 이동경로를 예측할 수 있으며 이를 통하여 사고 예방을 위한 경고 신호를 발생 시킬 수 있다.

전술한 NLOS AI 레이더는 크기가 허락되는 한 가능한 낮은 주파수를 사용하여 최대한 반사, 회절, 투과 등 NLOS 신호 강도를 최대한 확보할 수 있도록 할 수 있다.

도 6 내지 도 10을 참조하여 부연하면, DLOS 타겟은 DLOS 레이더에서 탐지하므로 NLOS 레이더에서는 DLOS 타겟은 탐지할 필요가 없고 NLOS 타겟만 탐지하면 된다. 따라서 도 10과 같이 NLOS 탐지와 관련이 없는 DLOS 신호성분은 NLOS 포인트 클라우드 맵(Point Cloud Map)에서 모두 캔슬(Cancelling)하여 제거될 수 있다. 그러면 약한 NLOS 신호성분과 이와 관계 있는 DLOS 성분만 남게 된다. 반사 투과 회절을 일으키거나 이와 관련된 DLOS 타겟은 NLOS 타겟의 위치를 정확하게 파악할 수 있게 하기 위하여 제거하지 않는 것이 도움이 된다.

이와 같이 NLOS 레이더에서는 NLOS와 관계된 포인트 클라우드 맵 (Point Cloud Map)만을 가지고 딥러닝 트레이닝(Training)을 수행하여 AI 알고리즘을 만들고 실전에서도 NLOS와 관계된 포인트 클라우드 맵(Point Cloud Map)만을 가지고 AI 인퍼런싱(Inferencing)을 수행하여 효과적으로 타겟 사물을 검출할 수 있다.

참고로, AI 트레이닝(Training)(또는 학습)은 복수의 정답지 데이타를 가지고 AI 알고리즘의 계수(Coefficient) 등을 결정하고, 제대로 된 정답지를 가지고 학습을 많이 할수록 AI 알고리즘은 업그레이드 된다. 학습된 AI 알고리즘을 사용하여 주어진 정답을 모르는 데이타를 가지고 정답을 예측하는 것을 인퍼런싱(Inferencing)(또는 예측) 이라고 한다.

도 6에서 주차된 2대의 차(CA4,CA5) 사이에서 차량 진로방향으로 접근하는 사람들(P2)만이 NLOS 타겟으로 나타난다. 왼쪽에서 멀어지는 사람들(P1)이나 앞서가는 제2 차량(CA2) 혹은 다가오는 제1 차량(CA1)는 모두 DLOS 타겟으로 DLOS 레이더에서 감지한다. 여기서는 단순화를 위해 반사되는 NLOS 신호 1개만을 고려하여 설명한다. 그러면 반사하는 NLOS 신호를 만들어 주는 제3 차량(CA3)은 DLOS 타겟이지만 NLOS 신호에 직접적으로 영향을 주기 때문에 제거하지 않고 AI 트레이닝(Training) 및 인퍼런싱(Inferencing)에 포함 시킨다.

도 7은 NLOS와 DLOS를 모두 감지하는 NLOS 저주파 레이더인 제1 레이더(100)의 포인트 클라우드(Point Cloud)의 예시를 보이고 있으며, 도 8은 DLOS만을 주로 감지하는 DLOS 고주파 레이더이인 제2 레이더(200)의 포인트 클라우드(Point Cloud)의 예시를 보이고 있다.

이 경우 NLOS와 관련 없는 DLOS 포인트(Point)를 캔슬링(Canceling)하여 제거하면 도 9에 도시된 NLOS 관련 포인트 클라우드 맵(Point Cloud Map)이 완성되며 이를 가지고 AI 트레이닝(Training) 및 AI 인퍼런싱(Inferencing)하여 NLOS 타켓(Target)을 감지한다.

여기서 NLOS와 관련 없는 DLOS 신호를 제거하는 이유는 NLOS와 관련된 부분만 딥 러닝(Deep Learning)으로 학습함으로 NLOS AI 알고리즘의 복잡도를 줄여주고 정확도를 높여주기 위해서이다.

또한, 도 7은, 도 4의 제1 레이더(100)의 제1 처리부(123)에서 출력되는 비가시경로 포인트 클라우드(NLOS Point Could) 신호를 2D 포인트 클러우드 표시 방법인 BEV (Brid's Eye View) 형태로 나타낸 도면이다. 도 8은 도 4의 제2 레이더(200)의 제2 처리부(223)에 출력되는 가시경로 포인트 클라우드(DLOD Point Could) 신호를 BEV 형태로 나타낸 도면이다. 또한 도 9중 점선인 비가시 경로의 사물(NLOS Objects)를 제외한 부분은 도 4의 비가시경로에 관련된 포인트 클라우드(NLOS Related Point Could) 신호를 BEV 형태로 나타낸 도면이다.

예를 들어, 도 7에 도시된 바와 같이, 제3 차량(CA3)에 해당하는 원형 DLOS 포인트 클라우드(PC3)와 그 뒤에 마름모 형상의 NLOS 포인트 클라우드(PC6)가 감지되지만, 도 8에 도시된 바와 같이, 마름모 형상의 포인트 클라우드는 감지되지 않는다. 따라서 마름모 형상은 NLOS 신호로 파악되며 원형 DLOS에 가려서 보이지 않아야 하는데 보이므로 이 마름모 형상은 반사파로 인한 포인트 클라우드로 추정될 수 있다.

도 9에서는 반사를 일으킨 원형 DLOS 포인트 클라우드(PC3)와 마름모 형상 NLOS 포인트 클라우드(PC6)가 남게 되며 이 포인트 클라우드(Point Cloud)를 AI 알고리즘으로 인퍼런싱(Inferencing) 하면 점선의 NLOS 포인트 클라우드(PC7)와 같이 타겟의 위치가 파악될 수 있다. AI 학습을 할 때에도 도 9의 포인트 클라우드(Point Cloud)와 NLOS 타겟의 실제 위치를 마스킹한 정답지를 가지고 학습을 수행한다. 따라서 도 9에 점선 원 안의 점선 마름모 형상 부분 즉 비가시경로 사물(NLOS Objects) 위치를 감지한 결과가 도 9에 보인 바와 같이, AI 알고리즘 인퍼런싱(Algorithm Inferencing)의 결과라고 이해할 수 있다.

여기서 제3 차량(CA3)가 NLOS 신호를 만들어 주는 지 아닌지는 도 7에서 그 뒤에 다가오는 제2 사람(P2)이 감지되었기 때문에도 알 수 있다. 일반적으로 같은 DLOS 경로에 뒤에 있는 물체는 가려서 안보이거나 하나로 합쳐 보인다. 그렇지 않고 구별하여 보인다는 것은 그 물체가 NLOS 위치에 있다는 것을 알려준다. 또한 NLOS에 있다면 반사나 투과나 회절이나 신호가 약해지고 지연이 생겨서 실제 있는 위치보다 멀리 있는 것처럼 보일 수 있다. 여기서는 반사의 경우만 가정했으므로 제3 차량(CA3)에 반사된 것으로 계산하여 도 9와 같이 미러 영상이 위치하는 곳에 그리고 그 보다는 조금 가까이에 있다는 것으로 추정할 수 있다.

이와 같이 도 9에 도시된 사물을 기하학적으로 계산으로 만은 불확실성이 높기 때문에 딥 러닝(Deep Learning)을 사용한 AI 알고리즘을 사용하여 확률적인 정확도를 높여 줄 수 있다. 또한 다가오는 사람들의 도플러(Doppler) 신호를 정지된 제3 차량(CA3)의 도플러(Doppler) 신호와 비교해 보면 이것이 NLOS 신호임을 더 정확하게 알 수 있다.

게다가, 본 발명에서는, AI 알고리즘을 사용하여 NLOS 신호를 감지할 수 있는데, AI 알고리즘을 트레이닝(Training) 시키는 정답지는 포인트 클라우드(Point Cloud) 형태로 제공된다. 제1 레이더(100)에서 감지된 포인트 클라우드(Point Cloud)에 실제로 가려진 사람이 있는 정답 위치를 투영한다. 그러면 AI 알고리즘은 이러한 신호가 감지되었을 때에는 여기에 위치하는구나 라고 학습을 하는데 이런 학습을 수없이 반복한다.

예를 들면, 제품 제작 단계에서 미리 트레이닝(Training)을 수행하여 도 9에 도시한 바와 같이 제2 사람(P2)이 원형 포인트 클라우드(Point Cloud) 위에 마름모꼴 포인트 클라우드(Point Cloud)로 감지될 수 있고, 그 사람의 실제 위치는 원형 포인트 클라우드(Point Cloud) 아래쪽에 점선의 포인트 클라우드(Point Cloud)에 있다는 것을 이미 알고 그곳이 정답이라고 AI 알고리즘을 학습한다. 이러한 학습을 무수히 반복하면 이 알고리즘은 이러한 NLOS 관련된 신호가 들어오면 트레이닝(Train)된 AI 알고리즘을 인퍼런싱(Inferencing)하여 실선 마름모꼴이 아닌 점선 마름모꼴에 실제 사람이 있다고 판단을 한다.

이러한 트레이닝 동안에 관련 없는 너무 많은 데이타를 사용하면 AI 알고리즘의 성능이 떨어지기에 NLOS와 관련 없는 DLOS 포인트 클라우드(Point Cloud)는 제거하고 NLOS 탐지와 관련이 있는 데이타만을 가지고 트레이닝(Training) 및 인퍼런싱(inferencing)을 수행한다. NLOS 탐지와 관련이 있는 데이타는 기본적으로 탐지된 NLOS 데이터 (예, PC6)와 NLOS 레이더 사이에 있는 모든 데이타(예, PC3)를 포함한다.

한편, 포인트 클라우드 맵(Point Cloud Map)은 영상 형태이므로 CNN (Convolutional Neural Network)이 기본적으로 사용되지만 성능 향상을 위하여 여러 가지 최신 AI 알고리즘도 사용될 수 있다. 특히 NLOS 타겟의 도플러 신호와 시간적으로 변하는 진로를 파악하고 미래의 진로를 예측하는 데는 시계열 AI 알고리즘이 보다 효과적으로 사용될 수 있다. NLOS 레이더의 궁극적인 효용은 단순한 NLOS 타겟의 탐지보다는 차량 진로에 접근하여 충돌 가능성이 있는 NLOS 타겟의 진로를 예측하여 경고를 하거나 차량을 제어하는데 있기 때문이다. 벤츠/프린스턴의 논문에도 사람인지 자전거인지 사물의 형태를 파악하는 영상처리 알고리즘과 과거와 현재의 위치를 가지고 미래의 위치를 예측하는 시계열 AI 알고리즘이 동시에 사용되었다. 보다 효과적인 NLOS 감지를 위해서는 더욱 다양하고 고도화된 AI 알고리즘이 앞으로 사용될 수 있다.

본 발명은 이러한 AI 알고리즘들을 보다 효율적으로 동작시키기 위하여 노이즈로 간주되는 NLOS와 무관한 DLOS 데이타를 제거해 주고 NLOS와 관련된 데이타 만을 추출해 주는 AI 데이타 가공 기술로 유용하게 사용될 수 있다.

이상에서는 본 발명을 실시 예로써 설명하였으나, 본 발명은 상기한 실시 예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.

100: 제1 레이더
110: 제1 레이더 수신부
120: 제1 신호 처리부
130: 제1 신호 검출부
200: 제2 레이더
210: 제2 레이더 수신부
220: 제2 신호 처리부
230: 제2 신호 검출부
PH1: 비가시 경로
PH2: 가시 경로
S_NLOS: 비가시 경로 신호
S_DLOS: 가시 경로 신호
S_PH1: 제1 경로 신호
S_PH2: 제2 경로 신호
S_DLOS_1: NLOS 유관 가시 경로 신호
S_DLOS_2: NLOS 무관 가시 경로 신호

Claims

비가시 경로를 통해 수신받은 제1 주파수 레이더 신호를 디지털 신호로 변환하여 제1 경로 신호를 출력하는 제1 레이더 수신부;
가시 경로를 통해 가시 경로를 탐지하는 가시 경로 탐지 장치로부터 제2 경로 신호를 제공받고, 상기 제2 경로 신호를 이용하여 상기 제1 경로 신호에 포함된 비가시 경로와 무관한 가시 경로 신호를 캔슬하여 비가시 경로 관련 신호를 추출하는 제1 신호 처리부; 및
상기 비가시 경로 신호에 기초해 비가시 경로의 사물을 검출하는 제1 신호 검출부;
를 포함하는 비가시 경로 레이더 장치.
제1항에 있어서, 상기 제1 주파수 레이더 신호는,
상기 가시 경로 탐지 장치에서 이용되는 제2 주파수 레이더 신호의 제2 경로 주파수보다 낮은 제1 경로 주파수를 이용하는
비가시 경로 레이더 장치.
제1항에 있어서, 상기 제1 레이더 수신부의 제1 경로 신호는,
상기 비가시 경로를 통해 획득된 비가시 경로 신호와 NLOS 유관 가시 경로 신호와 NLOS 무관 가시 경로 신호를 포함하는
비가시 경로 레이더 장치.
제1항에 있어서, 상기 제1 신호 검출부는,
상기 제1 신호 처리부로부터 상기 비가시 경로 신호를 입력받아 인공지능(AI) 학습을 수행하여 구축된 AI 알고리즘을 이용해 상기 비가시 경로의 사물을 검출하는
비가시 경로 레이더 장치.
제1항에 있어서, 상기 제1 신호 처리부는.
상기 제1 경로 신호에 대해 도플러 패턴 신호를 추출하는
비가시 경로 레이더 장치.
제5항에 있어서, 상기 제1 신호 검출부는,
상기 비가시 경로 신호에서 타켓 위치 정보와 도플러 패턴 신호를 입력받아 인공지능(AI) 학습을 수행하여 구축된 AI 알고리즘을 이용해 상기 비가시 경로의 사물을 검출하는
비가시 경로 레이더 장치.
제3항에 있어서, 상기 제1 신호 처리부는,
상기 제2 경로 신호를 이용해 상기 제1 경로 신호에서 NLOS 무관 가시 경로 신호를 제거하여, NLOS 유관 가시 경로 신호를 포함하는 비가시 경로 신호를 생성하는
비가시 경로 레이더 장치.
제1항에 있어서, 상기 제1 신호 처리부는,
비가시 경로 신호가 제거된 상기 제2 경로 신호와, 비가시 경로 신호를 포함하는 상기 제1 경로 신호를 이용하여, 상기 캔슬 동작을 수행하는
비가시 경로 레이더 장치.
비가시 경로를 통해 제1 주파수 레이더 신호를 수신하는 제1 레이더; 및
가시 경로를 통해 제2 주파수 레이더 신호를 수신하는 제2 레이더; 를 포함하고,
상기 제1 레이더는,
상기 제1 주파수 레이더 신호를 디지털 신호로 변환하여 제1 경로 신호를 출력하는 제1 레이더 수신부;
상기 제2 레이더로부터 제공받은 제2 경로 신호를 이용하여 상기 제1 경로 신호에 포함된 비가시 경로와 무관한 가시 경로 신호를 캔슬하여 비가시 경로 관련 신호를 추출하는 제1 신호 처리부; 및
상기 비가시 경로 신호에 기초해 비가시 경로의 사물을 검출하는 제1 신호 검출부;
를 포함하는 비가시 경로 레이더 장치.
제9항에 있어서, 상기 제1 주파수 레이더 신호는,
상기 제2 레이더에서 이용되는 제2 주파수 레이더 신호의 제2 경로 주파수보다 낮은 제1 경로 주파수를 이용하는
비가시 경로 레이더 장치.
제9항에 있어서, 상기 제1 레이더 수신부의 제1 경로 신호는,
상기 비가시 경로를 통해 획득된 비가시 경로 신호와 NLOS 유관 가시 경로 신호와 NLOS 무관 가시 경로 신호를 포함하는
비가시 경로 레이더 장치
제9항에 있어서, 상기 제1 신호 검출부는,
상기 제1 신호 처리부로부터 상기 비가시 경로 신호를 입력받아 인공지능(AI) 학습을 수행하여 구축된 AI 알고리즘을 이용해 상기 비가시 경로의 사물을 검출하는
비가시 경로 레이더 장치.
제9항에 있어서, 상기 제1 신호 처리부는.
상기 제1 경로 신호에 대해 도플러 패턴 신호를 생성하는
비가시 경로 레이더 장치
제13항에 있어서, 상기 제1 신호 검출부는,
상기 비가시 경로 신호에서 타켓 위치 정보와 도플러 패턴 신호를 입력받아 인공지능(AI) 학습을 수행하여 구축된 AI 알고리즘을 이용해 상기 비가시 경로의 사물을 검출하는
비가시 경로 레이더 장치.
제11항에 있어서, 상기 제1 신호 처리부는,
상기 제2 경로 신호를 이용해 상기 제1 경로 신호에서 NLOS 무관 가시 경로 신호를 제거하여, NLOS 유관 가시 경로 신호를 포함하는 비가시 경로 신호를 생성하는
비가시 경로 레이더 장치.
제9항에 있어서, 상기 제1 신호 처리부는,
비가시 경로 신호가 제거된 상기 제2 경로 신호와, 비가시 경로 신호를 포함하는 상기 제1 경로 신호를 이용하여, 상기 캔슬 동작을 수행하는
비가시 경로 레이더 장치.