KR100844640B1 - 물체 인식 및 거리 계측 방법 - Google Patents

Abstract

본 발명은 물체 인식 및 거리 계측 방법에 관한 것으로서, 자동차에서 주행 중에 전방을 감시하는 카메라의 정보를 이용하여 보행자 등 물체가 갑자기 튀어나올 가능성이 있는 장소(교차점 등)를 감지한 뒤 운전자에게 주의를 환기시키거나 기계 제어의 경우에서 속도의 제어 및 위험 회피 등의 자동 제어를 수행할 수 있게 하고, 이를 통해 사고를 미연에 방지할 수 있게 되는 물체 인식 및 거리 계측 방법에 관한 것이다.

물체인식, 거리계측, 교정, 호모그래피

Description

물체 인식 및 거리 계측 방법 {Method for object recognizing and distance measuring}

도 1은 본 발명에 따른 거리 계측 장치의 구성 및 각 구성부의 설치상태를 나타낸 도면,

도 2는 본 발명에서 제1교정을 설명하기 위한 도면,

도 3은 본 발명에서 제2교정을 설명하기 위한 도면,

도 4는 본 발명에서 복수의 찰상장치로 찰상된 원화상을 나타낸 도면,

도 5a와 도 5b는 본 발명에서 교정을 행한 화상의 예를 나타낸 도면,

도 6는 본 발명에서 높이 정보 추출을 설명하기 위한 도면,

도 7은 본 발명에서 입체물 검출을 설명하기 위한 도면,

도 8은 본 발명에서 교차점 검출을 설명하기 위한 도면,

도 9은 시계열 화상을 설명하기 위한 도면.

<도면의 주요 부분에 대한 부호의 설명>

1 : 차량 2 : 계측 장치

3 : 촬상장치 4 : 물체인식/거리계측 유니트

5 : 통보제어 유니트 6 : 조명장치

본 발명은 물체 인식 및 거리 계측 방법에 관한 것으로서, 더욱 상세하게는 자동차 등에서 차량 운전 지원이나 자동 제어 등에 사용할 수 있는 물체 인식 및 거리 계측 방법에 관한 것이다.

오늘날, 공업용 기계 장치나 오락용 완구 등에서의 환경 인식(예, 환경 맵의 작성, 진로 예측, 이동 제어) 또는 자동차 등의 차량 운전 지원이나 자동 제어(예, 장애물이나 보행자 감지, 프리-크래쉬 세이프티(Pre-Crash Safety) 등)를 위하여, 물체 인식 및 거리 계측을 정확히 수행할 수 있는 장치나 방법에 대해 많은 연구가 이루어지고 있다.

특히, 최근의 자동차 분야에서는 전방의 물체를 인식하고 차량의 속도를 제어하거나 위험 회피를 수행하는 시스템 등이 실용화되고 있으며, 이러한 시스템의 구성 및 운용에 있어서 무엇보다 중요하게 선결되어야 할 것이 정확하고 신속한 대상 물체 인식 및 거리 계측이라 할 수 있다.

이러한 물체 인식 및 거리 계측을 위해서는 특정 방향을 감시하는 센서를 이용하게 된다.

그러나, 상기의 센서를 이용한다고 해도 그늘 등으로부터 물체가 갑자기 튀어나오거나 낙하물이 상공으로부터 갑자기 낙하하는 경우 등에 대해서는 대상 물체 에 대응하기 위한 제어 수행까지 시간이 촉박하고, 주어진 시간 내에 위험을 회피하는 등의 제어를 수행 및 완료하는 데에는 많은 어려움이 있는 것이 사실이다.

또한 화상 인식 기술을 이용한 시스템의 경우에도 도로의 노면상에 그려진 노표 등을 장애물로 오인식하는 경우가 많고, 아직까지 모든 화상에 대하여 장애물을 식별할 수 있는 시스템이 개발되어 있지 않은 것이 현실이다.

정확한 물체 인식을 위해서는 화상의 농담(濃淡) 정보로부터 물체를 식별하는 기술이 필요하다.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 발명한 것으로서, 자동차에서 주행 중에 전방을 감시하는 센서의 정보를 이용하여 물체가 갑자기 튀어나올 가능성이 있는 장소(교차점 등)를 감지한 뒤 운전자에게 주의를 환기시키거나 기계 제어의 경우에서 속도의 제어 및 위험 회피 등의 자동 제어를 수행할 수 있게 하여 사고를 미연에 방지할 수 있게 하기 위한 물체 인식 및 거리 계측 방법을 제공하는데 그 목적이 있다.

또한 본 발명은 복수의 카메라를 이용하여 입체물과 평면을 식별하고 노면에 그려진 노표 등의 문자나 무늬 등에 오반응하는 것을 억제하고, 이를 통해 정확한 물체 식별 및 보다 많은 유연성을 가지는 시스템을 구축할 수 있는 물체 인식 및 거리 계측 방법을 제공하는데 그 목적이 있다.

이하, 첨부한 도면을 참조하여 본 발명에 대해 상세히 설명하면 다음과 같다.

첨부한 도 1은 본 발명에 따른 거리 계측 장치의 구성 및 각 구성부의 설치상태를 나타낸 도면으로, 차량에 탑재되는 거리 계측 장치의 실시예를 도시한 도면이다.

도시된 바와 같이, 차량(1)에 탑재되는 본 발명의 계측 장치(2)는 복수의 촬상장치(3), 물체인식/거리계측 유니트(4), 통보제어 유니트(5), 조명장치(6)를 포함하여 구성된다.

상기 촬상장치(3)는 소정 화상각을 가지는 렌즈를 구비하는 것으로, 복수의 촬상장치가 차량의 특정 방향을 향해 설치되는 바, 도시한 예에서는 복수의 촬상장치(3)들이 차량 전방의 화상을 촬상할 수 있도록 설치되고 있다.

상기 촬상장치(3)는 일정 주기, 예를 들면 초당 30 프레임의 속도로 전방의 화상을 촬상하고, 시계열 화상, 즉 동화상을 촬상하고 촬상된 동화상을 출력하게 된다.

상기 촬상장치(3)로는 촬상 소자의 방식을 한정하지 않고 CMOS, CCD, 진공관 방식 등의 소자를 사용한 카메라들이 사용될 수 있고, 화상을 생성할 수 있는 소자가 사용된 것이라면 종류에 관계없이 사용 가능하다.

다만, 실외 환경에서 사용할 수 있고 차량에 탑재할 수 있는 것이면서 CMOS, CCD 등의 반도체 소자가 사용된 것이 바람직하다.

또한 촬상장치(3)는 일정 주기로 전방의 화상을 촬상할 수 있고(일정 주기가 바람직하지만 일정 주기가 아니라도 상관 없음), 시계열적인 순서가 바뀌지 않은 동화상을 출력할 수 있는 것이면 좋다.

다음으로, 상기 물체인식/거리계측 유니트(4)는 촬상장치(3)에 의해 촬상되어 그로부터 출력되는 시계열의 화상을 차례로 수신받고, 차량 전방에 존재하는 물체의 거리를 계측하여 계측 결과에 따른 신호를 출력하는 구성부이다.

그리고, 상기 물체인식/거리계측 유니트(4)가 출력하는 계측 신호는 통보제어 유니트(5)로 전송되는데, 상기 통보제어 유니트(5)는 전송받은 계측 결과를 차량 내 운전자 또는 승원에게 통보하거나 자동으로 차량의 주행상태를 제어하는 구성부이다.

또한 상기 조명장치(6)는 촬상장치(3)의 시야에 근적외선 등을 포함하는 빛을 전방으로 조사하여 조명하는 장치로서, 촬상장치(3)가 사물을 촬영하는 방향, 예컨대 차량의 전방을 향해 빛을 조사할 수 있는 위치라면 어느 부위에 장착되어도 무방하며, 헤드 램프 혹은 안개등을 사용하거나 그와 유사한 별도의 조명장치를 구비한다.

본 발명에서, 거리 계측이란 인간이 시각계를 통하여 외계에 존재하는 물체까지의 거리(높이 포함)를 인식하는 행위, 즉 미지의 입력 패턴을 양쪽 눈에서 인식한 경우에 물체의 종별로부터 미리 기억시킨 표준 패턴과의 유사성을 평가하고 가장 높은 유사성의 표준 패턴과 양쪽 눈의 시차를 고려하여 입력 패턴과의 거리를 인식하는 일련의 행위를 컴퓨터에 대행시키는 것을 말한다.

일반적으로 촬상장치는 매 초당 수십 프레임(NTSC에서는 30프레임/초)의 정지 화상의 열(비디오)을 생성 및 출력하고, 또 처리 장치는 상기 정지 화상의 열을 1장씩 차례차례 화상 처리해 가는 것이기 때문에, 이 화상을 수록(녹화)할 필요는 없고, 처리에 필요한 시간만 과거의 화상을 참조할 수 있는 기억 구역(링 버퍼 등)을 가지면 좋다.

다만, 상기 촬상장치에 대해서는 피사체를 실시간으로 촬상하는 것이어도 괜찮지만, 이것으로 한정하지는 않는다.

예를 들면, 비디오 카메라(녹화기)와 같이 사전에 촬영 혹은 녹화해 둔 피사체를 재생, 출력하는 것이어도 괜찮지만 복수의 촬상장치 사이의 촬영 시각이 완전히 일치해야 정밀도가 높아진다.

이것은 촬상되는 화상에 시간적인 어긋남이 있는 경우 대상 물체가 이동한 것인지 그렇지 않으면 시차가 존재한 것인지를 판별할 수 없게 되기 때문이다.

여기서,“시계열”이란 일정한 주기, 예를 들면 NTSC(30프레임/초)와 같이 일정 간격으로 정지 화상이 시간축 위에 올바르게 연속하고 있는 의미로 해석된다.

이하, 전술한 거리 계측 장치를 이용하는 본 발명의 물체 인식 및 거리 계측 과정에 대해 상술하기로 한다.

1. 호모그래피(Homography) 변환

차량(1) 상단에 전방을 향해 장착된 복수의 촬상장치(3)가 전방의 피사체를 포함하는 화상을 일정 또는 부정 주기로 촬상하여 시계열적인 화상, 즉 동화상을 출력한다.

그리고, 물체인식/거리계측 유니트(4)가 촬상장치로부터 출력되는 시계열적인 화상을 차례로 수신받고, 물체인식/거리계측 유니트 내 시점 변환 수단이 촬상장치 간의 위치 관계를 바탕으로 상기 화상에 대해 시점 변환을 수행한다.

시점 변환 과정에서, 교정 패턴을 촬상한 화상을 이용하고, 복수의 촬상장치, 즉 복수의 카메라 간의 공간적 위치 관계를 대응시키는 호모그래피 행렬을 작성하여 상기 호모그래피 행렬을 이용해 화상에 대해 사영 변환을 수행하며, 촬상된 화상 간의 위치 관계를 대응시킨다.

여기서, 교정 패턴에 대해 설명하면, 카메라의 광학적인 렌즈 왜곡이나 촬상 위치의 차이 등의 교정에 이용하는 정방 격자 모양의 패턴이며, 육안 보정하는 경우나 화상 처리로 반 자동적으로 교정하는 경우도 있고, 체스 보드 패턴이나 QR 코드와 같이 방향성을 가진 것을 이용하기도 한다.

또한 사영 변환에 대해 설명하면, 이는 화상 처리에 있어서 기하 변환의 일종인데, 픽셀의 좌표변화를 행하는 이론이고, 어느 점으로부터 투영한 화상을 원하는 출력 평면에서 차단하는 변환을 픽셀의 재배치에 의해서 행한다.

그리고, 입체물 후보 추출 수단이 상기 화상에 포함되는 입체물 후보를 추출하고, 대응 위치 인식 수단이 추출된 입체물 후보에 대해 복수 화상의 대응 위치를 산출한다.

상기 대응 위치 인식 수단은 시점 변환 수단에 의해 위치 관계가 대응된 화상 간부터 거리에 따른 시차를 바탕으로 촬영된 물체까지의 거리를 산출하는 스테레오 처리를 블록매칭(BlockMatching)에 의해서 수행한다.

그리고, 평면 인식 수단은 대응 위치 인식 후보로부터 입체물을 확정하게 되는데, 상기 대응 위치 인식 수단에 의해 출력되는 거리 화상을 이용하여 촬상된 물체가 평면에 속하는 물체인지 그렇지 않으면 평면으로부터 입체적으로 존재하는 물체인지를 식별하게 된다.

그리고, 출력 수단은 상기 입체물 확정 결과로부터 교차점 위치를 확정해 출력하며, 평면으로 인식한 물체와 입체물로 인식한 물체를 종합해 인식하고, 교차점이라고 판단되는 영역을 출력하게 된다.

상기 촬상장치로서 차량에 복수의 카메라를 설치하는 경우에 있어서, 좌우의 카메라 간에 미소한 위치 이탈이 발생할 수 있으며, 그 미소한 위치 이탈을 화상상에서 보정하고 또한 좌우의 카메라 간의 시차가 0이 되도록 호모그래피(Homography) 행렬을 이용하여 변환을 실시한다.

상기 호모그래피 행렬은 복수의 카메라를 이용하여 화상을 찍는 경우에 각 카메라 간의 위치나 자세를 산출하기 위한 행렬이고, 이러한 호모그래피 행렬을 이용하여 카메라 간의 위치 관계를 동등하게 하는 변환을 호모그래피 변환이라 부른다.

이러한 호모그래피 변환을 실시하는 것에 의하여 카메라의 엄격한 설치 조건이 완화될 수 있고, 또한 카메라 간의 좌표를 공통화할 수 있기 때문에 시차만을 추출할 수 있게 된다.

상기 호모그래피 행렬은 좌우 카메라의 위치 관계를 정의하는 것이고, 카메라가 고정되면 값은 일정하게 정해진다.

따라서, 카메라의 배치, 간격, 고정 방법을 변경했을 경우에 교정(Calibration)을 행하여야 한다.

1-1. 제1교정(Calibration 1)

제1교정으로서, 인간의 시각 특성과 마찬가지로 거리에 따라 좌우의 시차가 발생하도록 교정을 실시한다.

첨부한 도 2에 나타낸 바와 같이, 호모그래피 변환을, 전방이 있는 거리에 설치한 평면에 대해서, 카메라 쌍이 수직이 되도록 교정을 실시한다.

이는 호모그래피 행렬을 이용하는 것으로, 좌우의 시차가 카메라로부터 물체까지의 거리와 대응한다.

1-2. 제2교정(Calibration 2)

상기 제1교정에서와 마찬가지로 차량이 존재하는 평면(여기에서는 지면)을 이용하여 동일하게 교정을 실시한다.

여기서는 제1교정에서 행한 평면을 90°전방으로 변화시킨 노면(수평인 평면)을 이용해 행하는 것으로, 첨부한 도 3에 나타낸 바와 같이 좌우 카메라 간의 시차가 깊이 거리 방향과 높이 방향을 포함한 것이 되어, 지면 영역에 대해서 시차가 0이 되는 화상을 얻을 수 있다.

물체의 높이를 계측하는 경우, 카메라를 천정 등에 설치해서 전방으로 멀리 부감(俯瞰)하는 형태로 설치한 뒤 높이를 거리로서 계측하는 것이 일반적인 방법이지만, 노면에서 교정한 호모그래피 행렬을 이용하여 좌우 카메라 화상 간의 시차를 산출하는 것으로, 물체의 높이와 물체까지의 거리를 모두 포함한“거리 + 높이”의 합성 거리를 의사적으로 산출할 수 있다.

1-3. 스테레오(Stereo) 처리

촬상된 물체까지의 거리를 계측하기 위해서, 상기 교정 과정을 통해 구한 시차 화상으로부터 화상 간의 대응점을 검출하는 블록매칭(BlockMatching) 처리를 이용하여 거리를 산출한다.

여기서, 시차가 있는 2장의 화상은 거리 정보를 농담으로 표현한 거리 화상으로 변환된다.

이상의 순서로 구한 거리 화상은 각각의 교정 수법에 따라서 첨부한 도 5a 및 도 5b의 두 화상이 된다.

이와 같이 카메라 쌍 정면으로 교정을 행한 도 5a에서는 전방의 거리에 따른 화상이 출력되고, 또 노면으로 교정을 행한 도 5b에서는 노면이 아닌 부분(높이가 있는 입체물)만이 출력되고 있음을 알 수 있다.

이처럼 차량이 존재하는 평면(여기에서는 노면)과는 다른 높이에 존재하는 입체물을 검출할 수 있는 것으로, 차량의 자동 제어나 장애물 회피에 응용이 가능하다.

1-4. 입체물 검출 처리

상기 두 종류의 교정을 이용한 스테레오(Stereo) 거리 화상을 조합시키는 것으로, 화상 내에 존재하는 물체의 높이와 거리를 각각 따로 추출할 수 있다.

결국, 하기 식(1)과 도 6에 나타낸 바와 같이, 깊이 거리를 가지는 제1교정의 화상과, 높이와 깊이를 포함한 제2교정의 화상 차이를 구하는 것으로, 높이 정 보만을 추출한다.

이것은 스테레오 처리로 산출된 거리 화상의 차분과 같다.

(1)

이상의 수법을 이용하는 것으로, 종래의 깊이 거리에 그 물체의 높이를 더한 상세한 판별이 가능해지고, 노면 등에 표시되어 있는 노표나 백선 등 높이를 가지지 않는 물체가 검출되지 않도록 할 수 있어, 높이를 가지는 입체 구조물만 감지하는 시스템의 구축이 가능해진다.

1-5. 교차점 검출 처리

교차점 감지에는 복수의 촬상장치 사이의 위치 관계를 이용하고, 촬상장치 정면에서 시차가 0이 되도록 한 화상(도 5a)과, 지면 영역에 대해서 시차가 0이 되게 한 화상(도 5b) 2장을 이용한다.

교차점이란, 자신의 차 진로와 동일 평면상에 존재하지만, 건물 등의 건축물에 의해 사각이 되는 영역(전망이 나쁜 영역)에서, 차 진로 방향과 교차하는 방향으로 보행자, 차량 등이 존재하는 평면과의 교점을 가리킨다.

우선, 입체물 검출 처리를 이용해 화상 중에 존재하는 노면과는 높이가 다른 영역을 검출한다.

이것은 도 5b의 높이 정보만을 꺼내는 것과 같고, 노면과는 높이가 다른 입체물을 검출하는 것이 된다(첨부한 도 7 참조).

또한 바로 앞 전방에서 무한 원점(선이 수렴하는 점. 일반적으로 도로상에서는 백선의 수렴하는 점을 가리킨다)을 향하는 방사 직선상을 전방으로부터 탐색하고, 건축물 등의 입체 구조물보다도 먼 곳에 노면 영역이 존재하는 경우는 입체 구조물의 배후에 도로 영역이 존재(옆길, T자로, 교차점)하는 것으로 판단하며, 그 위치를 교차점 가능 영역이라 한다(첨부한 도 8 참조).

이 교차점 가능 영역의 존재하는 거리를 깊이 거리 화상에 의해 판별하여 통보제어 유니트(5)가 운전자에게 경고, 통지 또는 제어하는 것으로, 돌발적인 사고 등을 미연에 회피할 수 있게 된다.

이상에서 설명한 바와 같이, 본 발명에서는 시계열적으로 연속하는 피사체를 포함하는 복수의 화상 중에서 소정의 조건을 만족하는 보행자 위치 후보를 인식하여, 정지 물체와 사람을 판별한다. 차량 간 자동제어장치 등과 병용하여 적용하는 경우에 위험 회피나 피해 저감, 운전 지원, 주의 환기 등을 행할 수 있다. 또한 기존의 시스템과 달리, 거리 화상과 농담 화상의 양면으로부터 대상을 판별하는 시스템이므로, 환경 인식 기술을 실용화하는데 있어서 해결 과제가 되어왔던 감지해도 제어가 늦은 경우 등의 문제점이 해결될 수 있고, 다양한 시스템에 응용이 가능하다.

Claims (4)

1. 차량에 장착된 복수의 촬상장치를 이용해 피사체를 포함하는 화상을 촬상하는 단계와;

   교정 패턴을 촬상한 화상을 이용해 복수의 촬상장치 간의 공간적 위치 관계를 대응시키도록 작성된 호모그래피 행렬을 이용하여 상기 복수의 촬상장치로부터 촬상된 화상에 대해 사영 변환을 수행하고 촬상된 화상 간의 위치 관계를 대응시키는 호모그래피 변환을 수행하는 단계와;

   상기 화상에 포함되는 입체물 후보를 추출하고, 추출된 입체물 후보에 대해 복수 화상의 대응 위치를 산출하되, 위치 관계가 대응된 화상 간부터 거리에 따른 시차를 바탕으로 촬영된 물체까지의 거리를 산출하는 스테레오 처리를 수행하는 단계와;

   대응 위치 인식 후보로부터 입체물을 확정하되, 상기 스테레오 처리된 거리 화상을 이용해 촬상된 물체가 평면에 속하는 물체(노면 영역)인지 또는 입체적으로 존재하는 입체물인지를 식별한 뒤 교차점 위치를 판별하는 단계;

   를 포함하는 물체 인식 및 거리 계측 방법.
2. 청구항 1에 있어서,

   상기 호모그래피 변환을 수행하는 단계는, 상기 호모그래피 행렬을 이용하여 상기 복수의 촬상장치로부터 촬상된 화상에 대해 거리에 따라 좌우의 시차가 발생하도록 하면서 촬상된 전방 평면에 대해 수직 평면이 되도록 교정을 실시하는 제1교정 단계와, 상기 호모그래피 행렬을 이용하여 상기 제1교정 단계에서 행한 평면을 90° 전방으로 변화시킨 노면에 대해 교정을 실시하여 지면 영역에 대해서는 시차가 0이 되는 화상을 얻는 제2교정 단계를 포함하고,

   상기 스테레오 처리는, 상기 제1교정 단계 및 제2교정 단계를 통해 구한 시차 화상으로부터 화상 간의 대응점을 검출하는 블록매칭 처리를 이용하여 거리 정보를 농담으로 표현한 거리 화상을 구하는 것을 특징으로 하는 것을 특징으로 하는 물체 인식 및 거리 계측 방법.
3. 청구항 2에 있어서,

   상기 스테레오 처리된 거리 화상을 이용해 촬상된 물체가 평면에 속하는 물체인지 입체적으로 존재하는 입체물인지를 식별하는 과정은,

   상기 제1교정의 화상으로부터 처리된 거리 정보를 가지는 화상과, 상기 제2교정의 화상으로부터 처리된 높이와 거리 정보를 가지는 화상의 화상 차이를 구하여 노면으로부터 높이를 가지는 입체물을 식별하는 것을 특징으로 하는 물체 인식 및 거리 계측 방법.
4. 청구항 1에 있어서,

   상기 교차점 위치를 판별하는 단계는,

   전방의 무한 원점을 향하는 방사 직선상을 바로 앞 전방으로부터 탐색하고, 노면 영역과는 높이가 다른 식별된 입체물보다 먼 곳에 노면 영역이 존재하는 경우에 입체물의 배후에 도로 영역이 존재하는 교차점 위치로 판단하는 것을 특징으로 하는 물체 인식 및 거리 계측 방법.

Images