KR20150142543A - 자동차의 통합센서 시스템 - Google Patents

Abstract

본 발명은, 차량의 진행방향에 위치한 제1 전방차량을 감지하여, 라이다 데이터를 생성하는 라이다 센서모듈, 상기 차량의 진행방향에 위치한 제2 전방차량을 포함하는 영상 데이터를 생성하는 카메라 센서모듈 및 상기 라이다 데이터 및 상기 영상 데이터를 설정된 센서퓨전 알고리즘을 적용하여 통합 데이터를 생성하고, 상기 통합 데이터를 기반으로 상기 제1, 2 전방차량을 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 차량인식모듈을 포함하는 자동차의 통합센서 시스템을 제공한다.

Description

자동차의 통합센서 시스템{Intergrated sensor system of the vehicles}

본 발명은 자동차의 통합센서 시스템에 관한 것으로써, 더욱 상세하게는 차량의 진행방향에 위치한 전방차량에 대한 검출 정확도 및 검출율을 높이기 용이한 자동차의 통합센서 시스템에 관한 것이다.

라이다(Lidar) 센서와 카메라 센서는 차량 전방의 장애물을 관측하여 충돌 경보 혹은 AEB를 작동시키기 위한 목적으로 사용된다.

라이다 센서는 물체 검출 신뢰성 및 거리 정확도는 높지만 물체 분류가 어려운 반면, 카메라는 물체 분류는 가능하지만 거리 정확도와 검출율이 낮으며 환경에 민감한 단점을 갖고 있다.

따라서, 두 센서를 상호보완적으로 퓨전하여 통합 센서 시스템의 성능 및 신뢰성을 높이는 것이 필요하다.

하지만, 통합 센서 시스템은 일반적으로 두 센서에서 모두 물체가 검출된 경우에만 물체 검출로 판단하고 하나의 센서에서 물체 검출이 되지 않은 경우에는 미검출로 판단하고 검출된 정보를 버리는 방법을 사용하고 있어, 물체 검출이 된 경우의 신뢰성은 높여주는 반면 물체 검출율은 오히려 낮출수 있다.

최근 들어, 통합 센서 시스템을 적용하여, 물체 검출에 대한 정확도 및 검출율을 높이기 위한 연구가 진행 중에 있다.

본 발명의 목적은, 차량의 진행방향에 위치한 전방차량에 대한 검출 정확도 및 검출율을 높이기 용이한 자동차의 통합센서 시스템을 제공함에 있다.

본 발명에 따른 자동차의 통합센서 시스템은, 차량의 진행방향에 위치한 제1 전방차량을 감지하여, 라이다 데이터를 생성하는 라이다 센서모듈, 상기 차량의 진행방향에 위치한 제2 전방차량을 포함하는 영상 데이터를 생성하는 카메라 센서모듈 및 상기 라이다 데이터 및 상기 영상 데이터를 설정된 센서퓨전 알고리즘을 적용하여 통합 데이터를 생성하고, 상기 통합 데이터를 기반으로 상기 제1, 2 전방차량을 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 차량인식모듈을 포함한다.

여기서, 상기 라이다 센서모듈은, 상기 제1 전방차량으로 제1 신호를 송신하는 송신부, 상기 제1 전방차량에서 반사된 제2 신호를 수신하는 수신부 및 상기 제1, 2 신호를 기반으로 상기 제1 전방차량의 거리정보를 포함하는 상기 라이다 데이터를 생성하는 센서제어부를 포함한다.

또한, 상기 센서제어부는, 상기 제1 신호 송신후 상기 제2 신호가 수신되는 소요시간 및 상기 제2 신호의 신호크기에 따라 상기 제1 전방차량의 거리정보를 산출하여, 상기 라이다 데이터를 생성한다.

여기서, 상기 차량인식모듈은, 상기 라이다 데이터 및 상기 영상 데이터를 시간 순서로 정렬하여, 상기 라이다 데이터에 포함된 상기 제1 전방차량의 거리정보를 설정된 영상 좌표계에 따라 상기 제1 전방차량의 위치좌표를 산출하는 좌표 산출부, 상기 제1 전방차량의 위치좌표와 상기 영상에 포함된 상기 제2 전방차량의 위치좌표가 매칭되는지 판단하는 위치 매칭부 및 상기 제1, 2 전방차량의 위치 좌표가 서로 매칭되면 상기 동일 차량으로 판단하여 상기 동일 차량으로 검출인식하고, 상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제1 전방차량만 검출인식하는 차량 인식부를 포함한다.

상기 제1, 2 전방차량의 위치 좌표는, 상기 제1, 2 전방차량 각각의 중심 좌표이다.

상기 차량 인식부는, 상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제2 전방차량을 미검출 인식한다.

상기 차량인식모듈은, 상기 제1, 2 전방차량을 상기 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 경우, 충돌 경고 또는 속도를 제어한다.

본 발명에 따른 자동차의 통합센서 시스템은, 차량의 진행방향에 위치한 전방차량을 라이다 센서모듈 및 카메라 센서모듈에서 감지한 데이터를 통합하여, 전방차량에 대한 검출 인식에 대한 정확도 및 검출율을 높일 수 있는 이점이 있다.

또한, 본 발명에 따른 자동차의 통합센서 시스템은, 라이다 센서모듈에서 감지한 전방차량과 카메라 센서모듈에서 감지한 전방차량이 서로 매칭되지 않으면, 라이다 센서모듈에서 감지한 전방차량만을 검출 인식하도록 함으로써, 검출 인식에 대한 정확도를 높일 수 있는 이점이 있다.

도 1은 본 발명에 따른 자동차의 통합센서 시스템을 나타낸 시스템도이다.
도 2는 도 1에 나타낸 자동차의 통합센서 시스템에 대한 제어 구성을 나타낸 제어블록도이다.
도 3은 도 2에 나타낸 차량인식모듈에서 전방차량의 검출여부를 확인하기 위해 설정된 표이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 발광소자를 이루는 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.

도 1은 본 발명에 따른 자동차의 통합센서 시스템에 대한 인식범위를 나타낸 시스템도 및 도 2는 도 1에 나타낸 자동차의 통합센서 시스템에 대한 제어 구성을 나타낸 제어블록도이다.

도 1 및 도 2를 참조하면, 자동차의 통합센서 시스템은 차량의 중앙부, 즉 윈드쉴드(windshield)에 장착되며, 차량의 진행방향을 위치한 장애물 및 전방차량을 감지할 수 있다.

실시 예에서, 통합센서 시스템은 라이다 센서모듈(110), 카메라 센서모듈(120) 및 차량인식모듈(130)을 포함할 수 있다.

여기서, 라이다 센서모듈(110) 및 카메라 센서모듈(120)은 별도의 센서모듈인 것으로 나타내고 설명하지만, 하나의 통합센서 모듈로 구현될 수 있으며, 이에 한정을 두지 않는다.

도 1(a)는 통합센서 시스템에 대하여 상면 또는 평면으로 감지하는 범위를 나타낸 것이며, 도 1(b)는 통합센서 시스템에서 차량의 측면으로 감지하는 범위를 나타낸 것이다.

도 1(a) 및 도 1(b)에 나타낸 바와 같이, 통합센서 시스템은 차량의 전방방향으로 라이다 센서모듈(110)의 제1, 2 범위(①, ②)에 위치한 장애물 또는 전방차량을 검출할 수 있으며, 카메라모듈(120)의 제2, 3 범위(②, ③)에 위치한 장애물 또는 전방차량을 검출할 수 있다.

여기서, 카메라모듈(120)은 카메라 센서 또는 렌즈의 촛점거리 이내에 해당되는 제1 범위(①)에서 장애물 또는 전방차량을 감지할 수 없다.

라이다 센서모듈(110)은 차량의 전면에서 제1 범위(①), 즉 도로 또는 지면 이전까지 감지하는 범위로써, 카메라모듈(120)은 감지하지 않으며, 차량인식모듈(130)은 제1 범위(①)에서 장애물 또는 전방차량을 감지한 라이다 데이터가 입력되면 제1 범위(①)에 장애물 또는 전방차량이 위치한 것으로 검출인식할 수 있다.

이때, 라이다 센서모듈(110)은 제1, 2 범위(①, ②)로 제1 신호를 송신하는 송신부(112), 제1, 2 범위(①, ②)에 위치한 제1 전방차량에서 반사된 제2 신호를 수신하는 수신부(114) 및 상기 제1, 2 신호를 기반으로 상기 제1 전방차량을 검출할 수 있으며, 상기 제1 전방차량 검출시 거리정보를 포함하는 라이다 데이터를 생성하는 센서제어부(116)를 포함할 수 있다.

즉, 센서제어부(116)은 송신부(112)에서 상기 제1 신호 송신 후 수신부(114)에서 상기 제2 신호 수신시까지 소요된 시간 및 상기 제2 신호의 신호크기에 따라 상기 제1 전방차량과 상기 차량과의 이격거리, 즉 거리정보를 산출하여 상기 라이다 데이터를 생성할 수 있다.

카메라 센서모듈(120)은 제2, 3 범위(②, ③)에 위치한 제2 전방차량을 포함하는 영상을 촬영하고, 영상 데이터를 생성할 수 있다.

여기서, 차량인식모듈(130)은 좌표산출부(132), 위치 매칭부(134) 및 차량인식부(136)을 포함할 수 있다.

좌표산출부(132)는 상기 라이다 데이터 및 상기 영상 데이터가 입력되면, 상기 라이다 데이터 및 상기 영상 데이터 각각의 입력시간을 시간 동기화시켜, 시간 순서대로 입력되는 데이터들을 정렬할 수 있다.

이후, 좌표산출부(132)는 상기 라이다 데이터에 포함된 상기 제1 전방차량의 거리정보를 기반으로 설정된 영상좌표계에 따라 변환된 상기 제1 전방차량의 위치좌표를 산출한다.

실시 예에서, 좌표산출부(132)는 상기 영상에 대응하는 상기 영상 좌표계를 적용하여 상기 제1 전방차량의 거리정보에 대응하는 위치좌표를 산출하는 것으로 나타내었으나, 상기 영상 좌표계 외에 다른 좌표계로 상기 제1 전방차량의 위치좌표를 산출할 수 있으며, 이에 한정을 두지 않는다.

위치 매칭부(134)는 상기 제1 전방차량의 위치좌표를 상기 영상 데이터에 포함된 상기 제2 전방차량의 위치좌표와 설정된 오차범위 내에서 서로 매칭되는지 판단한다.

또한, 위치 매칭부(134)는 상기 제1 전방차량의 위치좌표를 상기 영상 데이터로 구현된 상기 영상에 오버랩시켜, 오버랩된 위치가 상기 영상에 포함된 상기 제2 전방차량에 위치하는지 확인하여 매칭여부를 판단할 수 있으며, 이에 한정을 두지 않는다.

차량인식부(136)는 위치 매칭부(134)로부터 상기 제1, 2 전방차량의 위치좌표가 서로 매칭되는 경우, 상기 제1, 2 전방차량이 동일 차량으로 판단하여, 상기 제1, 2 전방차량을 상기 동일 차량으로 검출인식할 수 있다.

또한, 차량인식부(136)는 위치 매칭부(134)로부터 상기 제1, 2 전방차량의 위치좌표가 서로 매칭되지 않으면, 상기 제1 전방차량만을 검출인식할 수 있으며, 상기 제2 전방차량을 미검출인식할 수 있다.

도 3은 도 2에 나타낸 차량인식모듈에서 전방차량의 검출여부를 확인하기 위해 설정된 표이다.

도 3을 참조하면, 차량인식모듈(130)은 라이다 센서모듈(110)에서 입력된 라이다 데이터를 기반으로 제1 전방차량의 영상좌표 및 카메라 센서모듈(120)에서 입력된 영상 데이터를 기반으로 제2 전방차량의 영상좌표가 서로 매칭되는지 판단한다.

이때, 도 3에 나타낸 바와 같이, 차량인식모듈(130)은 제1 내지 제3 범위(①, ②, ③) 내에서 라이다 센서모듈(110)에서 전달된 상기 라이다 데이터에 제1, 2 범위(①, ②)에서 제1 전방차량이 검출되고, 카메라 센서모듈(120)에서 전달된 상기 영상 데이터에 제2, 3 범위(②, ③)에서 제2 전방차량이 검출됨을 알 수 있다.

이때, 차량인식모듈(130)은 제1 범위(①) 내에 라이다 센서모듈(110)에서 검출된 제1 전방차량을 검출인식하고, 제2 범위(②) 내에 라이다 센서모듈(110) 및 카메라 센서모듈(120) 각각에서 검출된 제1, 2 전방차량을 동일 차량으로 검출인식한다.

차량인식모듈(130)은 제3 범위(③) 내에 카메라 센서모듈(120)에서 검출한 제2 전방차량을 미검출인식한다.

본 발명에 따른 자동차의 통합센서 시스템은 라이다 센서모듈(110) 및 카메라 센서모듈(120)에서 동일한 범위 내에 존재하는 장애물 또는 전방차량을 검출하는 경우 및 라이다 센서모듈(110)에서 검출한 장애물 또는 전방차량 만을 검출인식하도록 함으로써, 검출 정확성 및 오검출을 낮출 수 있는 이점이 있다.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (7)

1. 차량의 진행방향에 위치한 제1 전방차량을 감지하여, 라이다 데이터를 생성하는 라이다 센서모듈;
   상기 차량의 진행방향에 위치한 제2 전방차량을 포함하는 영상 데이터를 생성하는 카메라 센서모듈; 및
   상기 라이다 데이터 및 상기 영상 데이터를 설정된 센서퓨전 알고리즘을 적용하여 통합 데이터를 생성하고, 상기 통합 데이터를 기반으로 상기 제1, 2 전방차량을 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 차량인식모듈;을 포함하는 자동차의 통합센서 시스템.
2. 제 1 항에 있어서,
   상기 라이다 센서모듈은,
   상기 제1 전방차량으로 제1 신호를 송신하는 송신부;
   상기 제1 전방차량에서 반사된 제2 신호를 수신하는 수신부; 및
   상기 제1, 2 신호를 기반으로 상기 제1 전방차량의 거리정보를 포함하는 상기 라이다 데이터를 생성하는 센서제어부;를 포함하는 자동차의 통합센서 시스템.
3. 제 2 항에 있어서,
   상기 센서제어부는,
   상기 제1 신호 송신후 상기 제2 신호가 수신되는 소요시간 및 상기 제2 신호의 신호크기에 따라 상기 제1 전방차량의 거리정보를 산출하여, 상기 라이다 데이터를 생성하는 자동차의 통합센서 시스템.
4. 제 1 항에 있어서,
   상기 차량인식모듈은,
   상기 라이다 데이터 및 상기 영상 데이터를 시간 순서로 정렬하여, 상기 라이다 데이터에 포함된 상기 제1 전방차량의 거리정보를 설정된 영상 좌표계에 따라 상기 제1 전방차량의 위치좌표를 산출하는 좌표 산출부;
   상기 제1 전방차량의 위치좌표와 상기 영상에 포함된 상기 제2 전방차량의 위치좌표가 매칭되는지 판단하는 위치 매칭부; 및
   상기 제1, 2 전방차량의 위치 좌표가 서로 매칭되면 상기 동일 차량으로 판단하여 상기 동일 차량으로 검출인식하고, 상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제1 전방차량만 검출인식하는 차량 인식부;를 포함하는 자동차의 통합센서 시스템.
5. 제 4 항에 있어서,
   상기 제1, 2 전방차량의 위치 좌표는,
   상기 제1, 2 전방차량 각각의 중심 좌표인 자동차의 통합센서 시스템.
6. 제 4 항에 있어서,
   상기 차량 인식부는,
   상기 제1, 2 전방차량의 위치 좌표가 매칭되지 않으면 상기 제2 전방차량을 미검출 인식하는 자동차의 통합센서 시스템.
7. 제 1 항에 있어서,
   상기 차량인식모듈은,
   상기 제1, 2 전방차량을 상기 동일 차량으로 검출인식하거나, 또는 상기 제1 전방차량만을 검출인식하는 경우, 충돌 경고 또는 속도를 제어하는 자동차의 통합센서 시스템.

Images