KR20090106852A - 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법및 그 장치 - Google Patents

Abstract

본 발명은 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법 및 그 장치에 관한 것으로, 외부로부터 입력되는 외부 영상 데이터를 이용하여 윤곽선 영상을 생성 및 저장하고 상기 생성된 윤곽선 영상을 하프변환함으로써 직선매개변수를 검출하는 단계와, 상기 윤곽선 영상과 직선매개변수가 표현하는 무한 직선 영상을 매칭시킴으로써 직선의 시작점과 종료점을 검출하는 단계를 포함하는 영상 처리 방법 및 그 장치를 제공함으로써 실제 물체의 크기와 모양의 특성들을 정확히 판단할 수 있으며, 이에 따라 실제 물체 인식 등을 효율적으로 할 수 있다.

하프 변환, 직선 검출 장치, 윤곽선 영상, 에지 영상

Description

직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법 및 그 장치{Image Processing Method and Apparatus for Detecting the Starting Point and End Point of the Lines}

본 발명은 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법 및 그 장치에 관한 것이다.

영상을 분석하여 영상 내 물체나 환경을 인식하는 컴퓨터 비전(computer vision)은 다양한 응용 분야를 가진다. 물체 또는 환경의 인식을 수행함에 있어서 중요한 정보는 직선 정보이다. 영상 처리 장치들은 직선을 기준으로 물체를 인식할 수 있으며, 도로에서의 차선도 검출이 가능하다.

영상에 존재하는 직선 검출을 위한 방법으로 하프 변환을 사용한다. 하프 변환은 원본 영상을 윤곽선 정보를 가지는 에지 영상으로 변환 후 변환된 에지 영상의 모든 에지 지점들이 영향을 주는 직선들의 매개변수를 추출한다. 하프 변환을 통한 직선 검출은 영상에 잡음이 존재하는 경우나 밝기 변화에 강인하여 많이 이용된다.

그러나 하프 변환을 통하여 획득한 직선의 매개변수 검출만으로는 실제 직선의 정보를 이용하여 물체를 인식하거나 로봇, 차량의 주행 등과 같은 응용 분야에 바로 적용하기에는 무리가 있다. 하프 변환을 통하여 획득한 매개변수만으로는 직선이 실제 어느 지점에서 시작하여 어느 지점에서 종료하는지를 알 수 없기 때문이다.

따라서 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 원본 영상으로부터 획득한 윤곽선 영상과 하프 변환의 결과인 직선의 매개 변수를 이용하여 정확한 직선의 시작점과 종료점을 검출하는 영상 처리 방법 및 그 장치의 제공을 그 목적으로 한다.

본 발명의 일 측면에 따른 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법은 외부로부터 입력되는 외부 영상 데이터를 이용하여 윤곽선 영상(edge image)을 생성 및 저장하고, 상기 생성된 윤곽선 영상을 하프변환함으로써 직선매개변수를 검출하는 단계와 상기 저장된 윤곽선 영상을 이용하여 상기 검출된 직선매개변수가 표현하는 무한 직선 영상의 시작점과 종료점을 검출하는 단계를 포함한다.

상기 윤곽선 영상을 저장하는 단계는 생성된 윤곽선 영상을 구성하는 유효한 픽셀들의 좌표를 저장하는 것을 특징으로 한다.

또한, 상기 무한 직선 영상의 시작점과 종료점을 검출하는 단계는 검출된 직선매개변수가 표현하는 무한 직선 영상과 상기 저장된 윤곽선 영상을 매칭시키는 단계, 무한 직선 영상을 구성하는 픽셀 중 상기 윤곽선 영상과 매칭되는 픽셀만을 획득하는 단계 및 매칭되는 픽셀들로 구성되는 선분의 시작점과 종료점을 체크하고 그에 대한 픽셀 정보를 획득하는 단계를 포함할 수 있다.

이 경우 무한 직선과 윤곽선 영상을 매칭하여 무한 직선 영상 중 윤곽선 영상과 매칭되는 픽셀을 획득하고, 상기 픽셀로 구성되는 선분의 시작점과 종료점을 체크하는 과정을 각각의 직선매개변수마다 수행한다.

직선매개변수를 검출하는 단계는 다수의 에지점에 대하여 아래의 수학식을 소정의 범위를 가지는 값 별로 반복 계산한 결과 값을 이용하여 직선매개변수를 검출하는 것을 특징으로 한다.

여기서, x, y는 각 에지점의 x, y 좌표값이다.

이 경우 상기 수학식을 소정의 범위를 가지는 값 별로 반복 계산하는 단계는 한 번에 복수개씩 병렬적으로 수행하는 것을 특징으로 한다.

또한, 상기 직선매개변수를 검출하는 단계는 수학식으로부터 얻어진 ρ,θ 쌍에 해당하는 매개변수 셀의 값을 1씩 증가시키는 단계와 매개변수 메모리 각 셀의 값이 소정의 값 이상인 경우, 상기 매개변수 메모리 셀에 상응하는 매개변수를 유효 직선매개변수로 판단하는 단계를 포함할 수 있다. 이 경우 상기 직선매개변수를 검출하는 단계는 매개변수 공간 중 일정 영역에 해당하는 다수의 매개변수 메모리 셀 중 가장 큰 값을 가지는 셀을 검색하고, 상기 검색된 셀 값이 기준 값보다 클 경우 이를 유효 직선매개변수로 판단하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따른 직선의 시작점과 종료점을 검출하기 위한 영상 처리 장치는 외부로부터 입력되는 외부 영상 데이터를 이용하여 윤곽선 영상(edge image)을 생성하고 이를 메모리에 저장하는 에지 생성부, 상기 에지 생성부가 생성한 윤곽선 영상의 픽셀 좌표 정보를 하프변환을 수행하여 직선매개변수를 획득하는 하프 변환부 및 상기 메모리부에 저장된 윤곽선 영상을 이용하여 상기 검출된 직선매개변수가 표현하는 무한 직선 영상의 시작점과 종료점을 검출한다.

상기 매칭부는 직선매개변수가 표현하는 무한 직선 영상과 상기 저장된 윤곽선 영상을 매칭시켜 상기 무한 직선 영상을 구성하는 픽셀 중 상기 윤곽선 영상과 매칭되는 픽셀만을 획득하고 상기 매칭되는 픽셀들로 구성되는 선분의 시작점과 종료점을 체크하는 것을 특징으로 한다.

상기 매칭부는 무한 직선과 윤곽선 영상을 매칭하여 무한 직선 영상 중 윤곽선 영상과 매칭되는 픽셀을 획득하고, 상기 픽셀로 구성되는 선분의 시작점과 종료점을 체크하는 과정을 각각의 직선매개변수마다 수행할 수 있다.

또한, 본 발명에 따른 영상 처리 장치는 하프 변환된 직선매개변수 중 유효한 직선매개변수를 검출하기 위한 유효 매개변수 검출부, 에지 생성부에서 생성한 윤곽선 영상을 구성하는 유효한 픽셀들의 좌표를 저장하는 윤곽선 영상 저장부 및 유효 매개변수 검출부에서 체크한 유효 직선매개변수를 저장하기 위한 유효 직선매개변수 리스트 등을 더 포함하는 것이 바람직하다.

상기 하프 변환부는 다수의 에지점에 대하여 소정의 범위를 가지는 값 별로 아래의 수학식을 계산하여 하프 변환을 수행하게 된다.

여기서, x, y는 각 에지점의 x, y 좌표값이다.

또한, 상기 하프 변환부는 상기 수학식의 연산을 한 번에 복수개씩 병렬적으로 수행하는 것이 더 바람직하다. 이를 위하여 상기 하프 변환부는 다수의 삼각함수 연산기와 사칙 연산기를 포함할 수 있다.

상기 하프 변환부는 상기 수학식으로부터 얻어진 ρ,θ에 해당하는 매개변수 셀의 값을 1씩 증가시키게 된다. 이에 상기 유효 매개변수 검출부는 상기 매개변수 메모리 각 셀의 값이 소정의 값 이상인 경우, 상기 매개변수 메모리 셀에 상응하는 매개변수를 유효 직선매개변수로 판단하게 된다. 뿐만 아니라, 상기 유효 매개변수 검출부는 매개변수 공간 중 일정 영역에 해당하는 다수의 매개변수 메모리 셀 중 가장 큰 값을 가지는 셀을 검색하고, 상기 검색된 셀 값이 기준 값보다 클 경우 이를 유효 직선매개변수로 판단할 수도 있다.

상기한 바와 같이 본 발명에 따른 직선의 시작점 및 종료점을 검출하기 위한 영상 처리 방법 및 그 장치에 따르면, 영상 직선의 시작과 끝을 판별할 수 있어, 물체 인식등과 같은 분야에 있어서 직선 정보만을 가지고도 실제 물체의 크기와 모양 등을 판단할 수 있다. 이러한 본 발명은 카메라를 통하여 촬영한 영상 정보를 기반으로 주행을 하는 지능형 로봇과 차선을 인식하는 차량 주행 보조 장치 등에도 적용이 가능하다.

이하, 본 발명에 따른 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법 및 그 장치에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타낸 도면이다.

도 1에 도시된 바와 같이 카메라(200)와 연결되어 동작하는 영상 처리 장치(100)는 영상 입력부(110), 에지 생성부(120), 하프 변환부(130), 유효 매개변수 검출부(140), 매칭부(150), 출력부(160), 메모리부(170) 등을 포함한다.

카메라(200)는 렌즈(lens) 등을 통하여 빛을 받아들여 외부 영상을 촬영하는 일반적인 장치를 지칭한다. 도 1의 카메라(200)는 촬영한 외부 영상을 소정의 유무선 통신 방법을 통하여 본 발명에 따른 영상 처리 장치(100) 중 영상 입력부(110)로 전달한다.

영상 입력부(110)는 카메라(200)로부터 전달된 외부 영상 정보를 받아서 디지털(digital) 형태의 데이터로 변환하고, 자체 신호 또는 카메라(200)의 출력신호를 이용하여 동기 신호(clock)를 생성한다.

에지 생성부(120)는 영상 입력부(110)로부터 전달된 디지털 형태의 외부 영상 데이터를 가지고 윤곽선 영상(edge image)을 생성하고, 생성된 윤곽선 영상을 이루는 유효한 픽셀들의 좌표를 계산한다. 윤곽선 영상을 생성하는 방법에 대하여는 자세히 설명하지 않기로 한다.

이와 같이 생성된 윤곽선 영상은 메모리부(170)에 저장된다. 윤곽선 영상이 저장된 메모리부(170)의 영역을 윤곽선 영상 저장부(171)라 칭하기로 한다.

하프 변환부(130)는 상기 에지 생성부(120)에서 계산한 윤곽선 픽셀의 좌표 정보를 가지고, 하프변환을 수행한다. 하프변환 결과에 따른 결과는 메모리부(170)의 매개변수 셀(172)에 저장된다.

유효 매개변수 검출부(140)는 매개변수 셀(172)에 저장된 하프결과를 바탕으로 유효한 매개변수 쌍을 체크하여 영상의 직선을 검출하는 역할을 수행한다. 여기서 검출된 직선은 시작점과 종료점을 가지지 않은 무한 직선에 해당한다. 또한, 검출된 유효 직선매개변수 쌍은 메모리부(170)의 유효 매개변수 리스트(173)에 저장될 수 있다.

매칭부(150)는 유효 직선매개변수와 윤곽선 영상을 매칭시켜 직선의 시작점 및 종료점을 검출하는 구성 요소에 해당한다. 이와 같이 직선의 시작점 및 종료점을 검출한 경우 유한 직선인 선분에 대한 정보를 획득할 수 있다.

출력부(160)는 사용자의 요구에 맞추어서 상기 매칭부(150)가 획득한 유한 직선 선분에 대한 정보 또는 유한 직선 선분 정보를 기초로 하여 그린 영상 등을 출력할 수 있다.

도 2는 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타낸 도면이다.

영상 처리 장치(100)는 카메라(200)와 같은 외부 장치로부터 외부 영상을 입력받게 된다(S201).

영상 처리 장치(100)는 입력된 외부 영상을 디지털 형태의 데이터로 변환한 후 윤곽선 영상을 생성하고, 추후 무한 직선의 시작점, 종료점을 검출하기 위하여 그 정보를 메모리에 저장한다(S202).

영상 처리 장치(100)는 생성된 윤곽선 영상의 픽셀 정보를 바탕으로 하프 변환을 수행한다(S203). 그 후 영상 처리 장치(100)는 하프 변환을 수행한 결과를 바탕으로 유효한 직선 매개 변수를 획득하는 과정을 수행한다(S204).

영상 처리 장치(100)는 획득한 유효 직선 매개 변수를 통하여 무한 직선 영상을 형성하고, 이를 S202 과정에서 저장된 윤곽선 영상과 매칭시켜 무한 직선의 시작점과 종료점을 검출하여 유한 직선 영상을 복원하기 위한 정보를 획득한다(S205).

영상 처리 장치(100)는 획득한 유한 직선 영상 정보 또는 획득한 유한 직선 영상 정보를 기초로 복원한 윤곽선 영상 등을 사용자의 요구에 따라 출력한다(S206).

도 2에서 설명한 바와 같이 본 발명에 따른 영상 처리 장치(100)는 유효 직선 매개 변수와 상기 유효 직선 매개 변수로 복원되는 무한 직선의 시작점과 종료점 정보를 저장해두고, 추후 윤곽선 영상과 동일한 영상을 복원할 수 있다.

도 3은 하프 변환을 하기 위한 직선의 일 예를 나타낸 도면이다.

도 3의 전체 영상은 수평 방향의 X축과 수직 방향의 Y축으로 이루어진 2차원의 정보와 각 점에 해당하는 픽셀(pixel)들의 고유 밝기 정보를 통하여 표현될 수 있다.

도 3의 전체 영상은 설명의 편의를 위하여 640×480의 해상도를 갖는 것으로 가정한다. 물론, 이러한 전체 영상의 해상도는 특정 값으로 제한되지 않으며, 자유롭게 변경이 가능하다.

도 3의 직선 L은 극형식의 방정식으로 표현되는 아래 수학식 1을 통하여 표현될 수 있다.

[수학식 1]

여기서 ρ는 좌표가 (0,0)인 전체 영상의 원점과 직선 간의 거리를 의미하고, θ는 X축과 직선 L의 법선이 이루는 각도를 나타낸다. 위의 수학식 1은 ρ과 θ를 이용하여 이차원 평면의 직선을 표현할 수 있으며, ρ과 θ 좌표를 이용하는 방정식을 극형식이라고 한다. 결국, (ρ,θ)의 두 가지 매개변수를 통하여 이차원 평면 내에 존재하는 무한 직선을 표현할 수 있는 것이다.

한편, 640×480 영상에 존재하는 모든 경우의 직선을 표현하기 위한 ρ과 θ매개변수의 범위는 아래의 [수학식 2]와 같다. 아래 [수학식 2]에서 H 변수는 영상의 수직 해상도 값이고, W 변수는 영상의 수평 해상도 값이다.

여기서 ρ의 값이 음수인 경우는 직선이 제3사분면에 존재하는 경우에 해당한다. 물론, 제3사분면에 위치하는 직선을 표기하기 위하여 θ의 범위를 0 < θ< 2π 또는 -π < θ < π로 설정할 수도 있지만, 하프 변환의 효율상 아래의 [수학식 2]와 같이 매개 변수를 표현한다.

[수학식 2]

본 발명에 따른 영상 처리 방법은 도 3에 도시된 에지 지점들(A1, A2, A3)로부터 직선 L을 검출하는 과정이다. 특히, 본 발명은 에지 지점들(A1, A2, A3)의 발생 빈도를 측정하여 유효한 직선을 검출하는 것이다. 직선 성분이 많을수록 해당 직선상에 위치하는 에지 지점들이 많이 나타나고 이러한 에지 지점들의 발생빈도를 측정함으로써 직선을 검출한다는 개념이다.

도 4는 본 발명에 따른 영상 처리 장치에 의한 하프 변환 결과를 간략히 나타낸 도면이다.

도 4의 이차원 평면은 ρ축과 θ축으로 구성된다. 특히, 도 4의 이차원 평면을 매개변수 공간으로 칭하기로 한다. 도 4의 하프 변환 결과는 에지점을 지날 수 있는 직선들을 (ρ,θ)의 파라미터로 표현하고 있다.

예를 들어, 도 3의 직선 L에서 나타나는 에지점(A1, A2, A3)에 대해서 하프변환을 수행하면 매개변수 공간에는 세 개의 사인파형의 곡선이 나타나게 된다. 여기서 하나의 사인파형 곡선은 하나의 에지점을 지나갈 수 있는 직선들이 가지는 (ρ,θ) 좌표의 집합이다. 특히, 도 3의 A1 에지점에 대하여 하프변환을 수행한 결과로 획득한 사인파형 곡선은 에지점 A1을 지나가는 다수의 직선들을 의미하는 것이다.

도 3의 이차원 평면 중 세 개의 에지점(A1, A2, A3)에 대하여 하프변환을 수행하였다. 여기서 세 개의 사인파형 곡선이 일치하는 점의 (ρ,θ), 즉 (ρ1,θ1)파라미터로 표현되는 직선이 세 개의 에지점(A1, A2, A3)을 모두 지나는 직선이며, 이러한 직선은 도 3의 L 직선에 해당한다.

본 발명에 따른 고속 하프변환 직선검출장치는 이러한 특성을 이용하여 다수의 에지점들 정보로부터 에지점을 지나는 무한 직선을 검출할 수 있다.

본 발명에 따른 영상 처리 장치(100)는 각 에지점 별로 하프변환을 수행하여 에지점별 사인파형 곡선을 획득한다. 그 후 사인파형 곡선이 지나가는 점을 체크하고, 그 점에 해당하는 메모리 셀의 값을 1씩 증가시킨다. 그 결과 세 개의 곡선들이 만나는 한 점(도 4의 P Point)에 상응하는 메모리 셀은 3의 값을 가지고, 나머지 곡선 부분에 상응하는 메모리 셀은 1, 곡선이 지나가지 않는 영역의 점에 해당하는 메모리 셀은 0의 값을 가지게 될 것이다. 본 발명에 따른 영상 처리 장 치(100)는 소정의 기준 값 이상인 메모리 셀들을 체크하고, 그 메모리 셀이 포인팅하는 (ρ,θ)를 판별함으로써 에지점을 지나는 직선을 얻을 수 있다.

이러한 동작을 통하여 살펴보면 하프변환은 도 3의 영상공간을 도 4의 매개변수 공간으로 변환하는 것을 의미한다. 도 3의 영상공간에서 에지지점들이 어느 직선에 해당하는지를 알기란 매우 어려운 일이나. 이를 도 4의 매개변수 공간으로 변환하여 매개변수 공간상에서 높은 값을 가지는 메모리 셀, 즉 직선의 매개변수 (ρ,θ)를 검출하면, 에지점이 형성하는 직선을 명확하게 알 수 있게 된다.

도 5는 본 발명의 영상 처리 장치가 수행하는 하프변환의 동작 방식의 일 예를 나타낸 도면이다.

도 5의 하프변환에서 영상 처리 장치(100)는 모든 에지점들의 좌표에 대해서 θ의 범위만큼 반복적으로 [수학식 1]과 같은 연산을 수행하여 ρ를 구한다. 이와 같이 구해진 ρ값은 해당 θ의 값과 매칭되어 도 4의 매개변수 공간에 반영된다.

[수학식 1]의 연산을 수행 결과에 따른 (ρ,θ)에 해당하는 메모리 셀들의 값은 1만큼 증가되며, 상기 메모리 셀들의 값에 따라 매개변수 공간의 밝기 등이 변하는 것이다.

다만, 도 5에서 설명한 방식의 하프변환은 θ의 범위만큼(도 5에서는 315번)반복 연산을 하게 되므로 연산수행시간이 길어지게 되고, 매개변수를 저장하기 위한 메모리 사용량도 높아진다는 단점이 존재한다.

도 6은 본 발명의 영상 처리 장치가 수행하는 하프변환의 동작 방식의 다른 예를 나타낸 도면이다.

도 6을 통하여 제시되는 하프변환 방식의 요지는 한 번에 복수 개의 [수학식 1] 연산, 즉 [수학식 1]의 병렬적 연산을 수행한다는 것이다. 설명의 편의를 위하여 도 6에서는 15개의 연산을 한 번에, 즉 병렬적으로 수행하는 경우를 가정한다.

영상 처리 장치(100)는 한번에 15개의 [수학식 1] 연산이 이루어지므로 하프변환에 걸리는 시간은 1/15만큼 줄어들게 된다. 도 5의 하프변환 방식에서는 하나의 윤곽선 영상에 대해서 θ변수의 범위, 즉 315번의 반복적인 연산이 수행된다. 이에 반하여 도 6의 하프변환의 동작방식에 따르면, 영상 처리 장치(100)는 21번의 반복 연산만을 수행하면 된다.

결론적으로 도 6의 하프변환 동작방식을 이용하는 경우 반복 연산의 횟수가 짧아지므로 하프변환 수행시간은 짧아지게 된다. 또한, (ρ,θ) 좌표에 따른 값을 저장하기 위한 메모리도 줄어들게 된다.

본 발명의 하프변환 방식에 따르면 (ρ,θ) 좌표에 따른 매칭 횟수 정보를 저장하기 위한 공간은 전체의 θ×ρ 크기를 가지는 하나의 메모리가 아니다. 본 발명에서는 1×ρ의 크기를 가지는 메모리가 15개 필요하다.

결국, 본 발명에 따른 하프변환은 적은 용량의 메모리만으로도 구현이 가능하므로, 구현 비용과 효율 측면에서 뛰어나다. 다만, 도 6에서 설명한 고속 하프변환 방식은 일반적인 PC에서는 동작이 힘들다. PC는 직렬(Serial) 방식의 처리를 수행하게 되므로 동시에 15개의 연산을 수행할 수 없다. 즉, 도 6에 기재된 수학식을 프로그래밍 하여도, PC는 15개의 연산을 병렬적으로 수행하지 않고 순차적으로 수행할 뿐이므로 연산 수행 시간을 획기적으로 줄일 수는 없다.

도 7은 하프변환의 동작을 수행하기 위한 하프 변환기의 하드웨어 구성을 나타낸 도면이다.

도 7의 하프 변환기(130)는 [x,y,θ]의 초기 값이 입력되면 최종적으로 ρ를 출력하게 된다.

도 7에 도시된 바와 같이 하프 변환기(130)는 입력부(131), 코사인 연산기(132), 감산기(133), 사인 연산기(134), 곱셈기(135), 가산기(136) 및 출력부(137)를 통하여 구성될 수 있다.

다시 도 3을 참조하면 본 발명에서 가정한 XY 이차원 평면은, 수평(X좌표)으로는 1부터 640까지, 수직(Y좌표)으로는 1부터 480까지의 값을 가진다. 이 때, 매개변수 공간의 크기를 줄이기 위하여 영상의 정가운데 (320,240) 지점을 원점으로 하여 수평의 경우 (-319~320), 수직의 경우 (-239~240)의 값을 가지도록 조정한다. 이러한 역할을 수행하는 것이 도 7에 도시된 2개의 감산기(133)이다.

한편, 코사인 연산기(132)와 사인 연산기(134)는 각각 θ값을 입력받아 cosθ와 sinθ 값을 출력한다. 곱셈기(135)는 x-320=x'과 cosθ값을 곱하는 연산과 y-240=y'와 sinθ값을 곱하는 연산을 수행한다. 가산기(136)는 x'cosθ와 y'sinθ값을 더하는 역할을 수행한다. 이와 같은 도 7의 하프 변환기(130) 구성을 통하여 수학식 1의 수행함으로써 ρ값을 산출할 수 있다.

출력부(137)는 입력된 θ와 산출된 ρ에 해당하는 매개변수 셀(172)의 값을 1만큼 증가시키는 역할을 수행한다.

여기서, 도 5에서 설명한 하프 변환은 도 7의 하프 변환기(130) 하나를 통하여서도 구현될 수 있다. 그러나 도 6에서 설명한 하프 변환을 수행하기 위해서는 도 7의 하프 변환기(130) 다수가 병렬적으로 구성되어야 한다.

도 8은 도 6의 하프변환 결과가 저장되는 매개변수 셀의 구조를 나타낸 도면이다.

이미 언급한 바와 같이 도 6의 고속 하프변환의 결과를 저장하기 위하여 본 발명에 따른 영상 처리 장치(100)는 1×ρ의 구조를 가지는 매개변수 셀(172)을 포함할 수 있다.

1×ρ의 구조를 가지는 도 8의 매개변수 셀(172)을 도 5의 하프변환시 필요한 θ×ρ 매개변수 셀과 구분하기 위하여 분할 매개변수 셀로 칭하기로 한다.

640×480의 해상도를 가정한 경우, ρ는 -399에서 400의 값을 가질 수 있으므로 총 800개의 열을 가지는 매개변수 셀(172)이 필요하다. 도 8을 살펴볼 때, 0부터 799까지의 주소를 가지는 각 셀이 각 ρ에 대응되는 것이다.

도 7의 하프 변환기(130)에서 임의의 ρ1값이 출력되는 경우, ρ1값에 따른 분할 매개변수 셀의 값을 1만큼 증가된다. 구체적으로 ρ1값에 따른 메모리 셀의 값을 임시 버퍼(174)에 저장한다. 상기 임시버퍼(174)의 값은 자동으로 1 증가되 어 원래의 매개변수(172)에 써지는 방법으로 구현될 수 있다.

이와 같은 방법으로 분할 매개변수 메모리는 θ 별 하프 변환기(130)의 연산 결과인 ρ값에 따른 매개변수 셀(172)에 대해서 1씩 증가하는 동작을 지속적으로 수행한다.

도 9는 본 발명에 따른 영상 처리 장치가 도 5의 하프변환을 수행하는 방법을 나타낸 도면이다.

먼저, 본 발명에 따른 영상 처리 장치(100)는 자신의 매개 변수 메모리에 따른 값들을 초기화한다(S901). 즉, 모든 매개 변수 셀들의 값이 0으로 설정되는 것이다.

영상 처리 장치(100)는 θ값을 1로 설정한다(S902). 그 후, 입력되는 에지점의 x,y 좌표와 현재의 θ값을 이용하여 S903의 [수학식] 계산을 수행한다(S903).

영상 처리 장치(100)는 현재의 θ값과 ρ값에 의하여 지칭되는 매개변수 메모리 셀의 값을 1만큼 증가시킨다(S904).

그 후 현재 θ값이 315보다 큰지 확인하고(S905), θ값이 315보다 크지 않은 경우 θ값을 1만큼 증가시킨 후 S903 내지 S905의 단계를 반복한다. 만일 S905 단계에서 현재 θ값이 315보다 큰 경우 하프변환을 종료하게 된다.

도 10은 본 발명에 따른 영상 처리 장치가 도 6의 하프변환을 수행하는 방법을 나타낸 도면이다.

먼저, 영상 처리 장치(100)는 θ값을 1로 설정한다(S1001). 그 후, 본 발명에 따른 영상 처리 장치(100)는 자신의 매개 변수 메모리에 따른 값들을 초기화한다(S1002). 즉, 모든 매개 변수 셀들의 값이 0으로 설정되는 것이다.

S1002의 매개 변수 셀들의 값 초기화 후, 영상 처리 장치(100)는 도 10에 기재된 15개의 수학식을 병렬적으로 계산한다(S1003).

영상 처리 장치(100)는 15개의 수학식을 계산한 15쌍의 (ρ,θ)에 의하여 각각 지칭되는 매개변수 메모리 셀의 값을 1만큼 증가시킨다(S1004).

그 후 현재 θ값이 315보다 큰지 확인하고(S1005), θ값이 315보다 크지 않은 경우 θ값을 15만큼 증가시킨 후 S1002 내지 S1005의 단계를 반복한다. 만일 S1005 단계에서 현재 θ값이 315보다 큰 경우 하프변환을 종료하게 된다.

도 11은 중복되는 직선의 검출을 방지하기 위한 유효 매개변수 검출부의 구성을 나타낸 도면이다.

하나의 직선에 대하여 여러 개의 직선이 복원되는 현상이 발생하는 것은 영상 처리 장치가 하나의 에지 직선에 대하여 하나의 매개변수 쌍을 검색하지 못하고, 정확한 하나의 매개변수 값과 비슷한 매개변수 쌍도 직선매개변수로 검출될 수 있기 때문이다.

일반적으로 하프 변환기는 소정의 값 이상이라는 조건을 만족하는 매개변수 쌍을 모두 에지 직선으로 판단한다. 그런데 정확한 매개변수 쌍 주위에 해당하는 셀의 값은 정확한 매개변수 쌍의 영향을 받아 상당히 큰 값을 가지는 경향이 있으 며, 이에 따라 여러 개의 직선이 검출되는 것이다.

이를 해결하기 위하여 본 발명에서는 일정 영역의 매개변수 공간상에서 가장 큰 값을 가지는 셀을 검색하고, 상기 최대값이 기준 값보다 클 경우 이를 유효한 매개변수 쌍으로 판단하는 메커니즘을 제안한다.

도 11에 도시된 바와 같이 유효 매개변수 검출부(140)는 제1, 2 최대값 계산기(141, 143), 다수의 레지스터(142) 및 기준값 비교기(144)를 포함할 수 있다.

도 11에 도시된 메모리(170)는 15개의 분할 매개변수 메모리로 이루어지며, 각 분할 매개변수 셀(172)은 0번지부터 799번지까지의 각 셀들의 값을 출력하게 된다. 즉, 도 11의 유효 매개변수 검출부(140)는 도 6에서 설명한 하프변환을 이용하는 경우 적용되는 것이다. 다만, 도 5의 하프변환을 이용하는 경우에도 본 방법이 적용될 수 있다.

분할 매개변수 셀(172)로부터 출력되는 값은 제1 최대값 계산기(141)로 입력되며, 제1 최대값 계산기(141)는 그 중 가장 큰 최대값을 산출한다. 여기서 제1 최대값 계산기(141)는 15개의 분할 매개변수 메모리로부터 입력받은 셀 값 중 가장 큰 값을 판별하므로 15to1 최대값 계산기에 해당한다.

제1 최대값 계산기(141)가 구한 최대값은 동일 ρ를 가지는 연속하는 15개의 θ중에서 가장 큰 값이다. 이는 결국 도 4의 매개변수 공간에 있어서 최대값을 가지는 열을 의미한다.

구해진 최대값은 15개로 구성되어 있는 레지스터(141) 중 가장 왼쪽 레지스터인 C1에 입력되어 진다. 다수의 레지스터(141)는 모두 각 행에서 최대값을 가지 는 열의 셀 값과 해당 매개변수의 좌표정보인 (ρ,θ) 정보를 저장한다.

제2 최대값 계산기(143)는 15개의 레지스터(141)에 저장된 열 최대값들을 비교하여 그 중에서도 가장 큰 값, 즉 영역 최대값을 찾게 된다. 제1, 2 최대값 계산기의 동작을 통하여 일정 영역(15×15) 중 가장 큰 값 및 그 값을 가지는 파라미터 쌍을 검출할 수 있다.

기준값 비교기(144)는 검색된 영역 최대값과 소정의 기준값과 비교하여, 상기 검색된 파라미터 쌍이 유효한 직선매개변수 쌍인지 판단한다.

한편, 다수의 레지스터(142) 중 C1은 최신의 열 최대값을 입력받으며, C2 내지 C14의 레지스터는 자신이 저장하던 정보를 다음 레지스터로 시프트(shift)시킨다. 최종의 C15 레지스터는 자신이 저장하고 있던 정보를 버리게 된다. 즉, 다수의 레지스터(142)는 시프트 레지스터(shift register)와 유사한 구조를 가지는 것이다.

도 12는 본 발명에 따른 윤곽선 영상과 무한 직선 영상 간 매칭을 설명하기 위한 도면이다.

도 12의 A 이미지는 본 발명에 따른 영상 처리 장치(100)의 윤곽선 영상 저장부(171)에 저장된 윤곽선 영상을 나타내고 있다. 또한, 도 12의 B는 영상 처리 장치(100)가 윤곽선 영상으로부터 획득한 유효 직선매개변수를 이용하여 복원한 무한 직선 영상에 해당한다.

영상 처리 장치(100)의 매칭부(150)는 윤곽선 영상과 유효 직선매개변수로 복원한 무한 직선 영상, 즉 도 12의 A와 B 영상을 매칭시킨다. 매칭부(150)는 두 영상 중 공통되는 픽셀만을 선택함으로써 유한 직선 영상(도 12의 C)을 획득하게 된다.

또한, 매칭부(150)는 각 유효 직선매개변수 쌍에 대하여, 상기 유효 직선매개변수에 의하여 복원되는 무한 직선 중 유한 직선 영상 구간의 시작점과 종료점에 대한 정보를 메모리부(170)에 저장하여둔다. 정리하면, 영상 처리 장치(100)는 유효 직선매개변수 값(ρ,θ)과 그 시작점과 종료점에 대한 정보(α,β)를 같이 메모리부(170)에 저장하는 것이다.

도 13은 윤곽선 영상과 무한 직선 영상을 매칭하는 일 실시예를 나타낸 도면이다.

윤곽선 영상과 무한 직선 영상을 매칭하는 한 가지 방법으로 각 유효 직선매개변수 쌍을 기초로 하여 도 12의 B 직선이 그려지는 픽셀을 계산하고, 도 12 A의 윤곽선 영상이 상기 그려지는 픽셀에 존재하는지 확인하는 방법을 이용할 수 있다.

예를 들어, 도 13에서 유효 직선매개변수 쌍 (ρ1,θ1)으로 복원되는 무한 직선이 L1인 경우를 가정한다. 매칭부(150)는 무한 직선 L1이 그려지는 다수의 픽셀을 계산할 수 있다.

또한, 매칭부(150)는 다수의 픽셀 각각에 도 12 A의 윤곽선 영상이 존재하는지 체크한다. 만일, 어느 무한 직선 L1에 속하는 임의의 픽셀에 도 12 A의 윤곽선 영상이 존재한다면, 그 좌표에 해당하는 픽셀은 유한 직선 영상을 구성하는 점으로 생각한다. 반대로 임의의 픽셀이 무한 직선 L1에 속하더라도 상기 픽셀에 도 12 A의 윤곽선 영상이 존재하지 않는 경우, 그 픽셀은 유한 직선 영상을 구성하는 점에 해당하지 않는 것이다.

이와 같이 매칭부(150)는 무한 직선 L1 중 윤곽선 영상이 존재하는 선분 S1, S2을 구성하는 픽셀을 얻을 수 있다. 또한, 매칭부(150)는 S1, S2의 시작점(A1, A2)과 종료점(B1, B2)의 좌표를 얻을 수도 있다. 매칭부(150)는 무한 직선 L1에 대하여 시작점(A1, A2)과 종료점(B1, B2)의 좌표 정보를 메모리부(170)에 저장하여 둔다.

출력부(160)는 추후 메모리부(170)에 저장되어 있는 유효직선매개변수(ρ1, θ1) 정보를 이용하여 무한 직선 L1을 그릴 수 있으며, 무한 직선 L1에 대하여 저장된 시작점 (A1, A2)과 종료점(B1, B2)의 좌표를 이용하여 선분 S1, S2를 복원할 수 있게 된다.

도 14는 본 발명에 따른 영상 처리 장치가 처리한 영상을 나타낸 도면이다.

도 14의 A는 본 발명에 따른 영상 처리 장치(100)가 카메라(200)로부터 입력받은 원본 영상에 해당한다. 입력받은 원본 영상 A에는 삼각형 객체(O1)와 두 개의 직사각형 객체(O2, O3)가 표현되어 있다.

도 14의 B는 영상 처리 장치(100)의 에지 생성부(120)가 원본 영상으로부터 생성한 윤곽선 영상 또는 에지 영상을 나타낸다. 도면에서 살펴볼 수 있듯이 윤곽 선 영상 이미지(B)에는 원본 영상에 존재하는 객체 내부의 정보는 존재하지 않으며, 객체의 윤곽선 정보만이 존재하게 된다.

도 14의 C는 하프 변환과 유효 직선매개변수 검출을 통하여 획득한 직선매개변수에 의하여 복원된 이미지다. 유효 직선매개변수 정보만을 이용하여 복원된 이미지에는 각 객체를 구성하는 선분이 연장되는 무한 직선만이 존재할 수 있다.

이러한 무한 직선을 가지고는 객체(O1, O2, O3)들의 형태 또는 크기 등에 대한 정보를 정확히 추출할 수 없다. 특히, 직사각형 객체 O2의 우측변과 O3의 좌측변은 구분되어야 하는 선분임에도 불구하고 도 14 C의 이미지에서는 하나의 무한 직선으로 인식되고 있다.

도 14의 D는 직선매개변수와 직선의 시작점과 종료점 정보를 이용하여 복원한 이미지에 해당한다. 직선의 시작점과 종료점 정보가 존재하므로 직사각형 객체 O2의 우측변과 O3의 좌측변이 각각 다른 선분으로 구분될 수 있음을 나타내고 있다. 이와 같은 이미지를 통하여 원본 영상의 형태 또는 크기 등에 대한 정확한 판단이 가능하다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의하여 정해져야 한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 나타낸 도면.

도 2는 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타낸 도면.

도 3은 하프 변환을 하기 위한 직선의 일 예를 나타낸 도면.

도 4는 본 발명에 따른 영상 처리 장치에 의한 하프 변환 결과를 간략히 나타낸 도면.

도 5는 본 발명의 영상 처리 장치가 수행하는 하프변환의 동작 방식의 일 예를 나타낸 도면.

도 6은 본 발명의 영상 처리 장치가 수행하는 하프변환의 동작 방식의 다른 예를 나타낸 도면.

도 7은 하프변환의 동작을 수행하기 위한 하프 변환기의 하드웨어 구성을 나타낸 도면.

도 8은 도 6의 하프변환 결과가 저장되는 매개변수 셀의 구조를 나타낸 도면.

도 9는 본 발명에 따른 영상 처리 장치가 도 6의 하프변환을 수행하는 방법을 나타낸 도면.

도 10은 본 발명에 따른 영상 처리 장치가 도 6의 하프변환을 수행하는 방법을 나타낸 도면.

도 11은 중복되는 직선의 검출을 방지하기 위한 유효 매개변수 검출부의 구성을 나타낸 도면.

도 12는 본 발명에 따른 윤곽선 영상과 무한 직선 영상 간 매칭을 설명하기 위한 도면.

도 13은 윤곽선 영상과 무한 직선 영상을 매칭하는 일 실시예를 나타낸 도면.

도 14는 본 발명에 따른 영상 처리 장치가 처리한 영상을 나타낸 도면.

<도면의 주요 부분에 대한 부호 설명>

100 : 영상 처리 장치

110 : 영상 입력부

120 : 에지 생성부

130 : 하프 변환부

140 : 유효 매개변수 검출부

150 : 매칭부

160 : 출력부

170 : 메모리부

200 : 카메라

Claims (19)

1. 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법에 있어서,

   영상 처리 장치는 외부로부터 입력되는 외부 영상 데이터를 이용하여 윤곽선 영상(edge image)을 생성 및 저장하고, 상기 생성된 윤곽선 영상을 하프변환함으로써 직선매개변수를 검출하는 단계; 와

   상기 영상 처리 장치는 상기 저장된 윤곽선 영상을 이용하여 상기 검출된 직선매개변수가 표현하는 무한 직선 영상의 시작점과 종료점을 검출하는 단계를 포함하는 영상 처리 방법.
2. 제1항에 있어서,

   상기 생성된 윤곽선 영상을 저장하는 단계는,

   생성된 윤곽선 영상을 구성하는 유효한 픽셀들의 좌표를 저장하는 것을 특징으로 하는 영상 처리 방법.
3. 제1항에 있어서,

   상기 무한 직선 영상의 시작점과 종료점을 검출하는 단계는,

   상기 검출된 직선매개변수가 표현하는 무한 직선 영상과 상기 저장된 윤곽선 영상을 매칭시키는 단계;

   상기 무한 직선 영상을 구성하는 픽셀 중 상기 윤곽선 영상과 매칭되는 픽셀만을 획득하는 단계; 및

   상기 매칭되는 픽셀들로 구성되는 선분의 시작점과 종료점을 체크하고 그에 대한 정보를 획득하는 단계를 포함하는 영상 처리 방법.
4. 제3항에 있어서,

   상기 무한 직선과 윤곽선 영상을 매칭하여 무한 직선 영상 중 윤곽선 영상과 매칭되는 픽셀을 획득하고, 상기 픽셀로 구성되는 선분의 시작점과 종료점을 체크하는 과정을 각각의 직선매개변수마다 수행하는 것을 특징으로 하는 영상 처리 방법.
5. 제1항에 있어서,

   상기 직선매개변수를 검출하는 단계는,

   다수의 에지점에 대하여 아래의 수학식을 소정의 범위를 가지는 값 별로 반복 계산한 결과 값을 이용하여 직선매개변수를 검출하는 것을 특징으로 하는 영상 처리 방법.

   

   여기서, x, y는 각 에지점의 x, y 좌표값이다.
6. 제5항에 있어서,

   상기 수학식을 소정의 범위를 가지는 값 별로 반복 계산하는 단계는,

   한 번에 복수개씩 병렬적으로 수행하는 것을 특징으로 하는 영상 처리 방법.
7. 제6항에 있어서,

   상기 직선매개변수를 검출하는 단계는,

   상기 수학식으로부터 얻어진 ρ,θ 쌍에 해당하는 매개변수 셀의 값을 1씩 증가시키는 단계; 와

   상기 매개변수 각 셀의 값이 소정의 값 이상인 경우, 상기 매개변수 셀에 상응하는 매개변수를 유효 직선매개변수로 판단하는 단계를 포함하는 영상 처리 방법.
8. 제7항에 있어서,

   상기 직선매개변수를 검출하는 단계는,

   매개변수 공간 중 일정 영역에 해당하는 다수의 매개변수 셀 중 가장 큰 값을 가지는 셀을 검색하고, 상기 검색된 셀 값이 기준 값보다 클 경우 이를 유효 직선매개변수로 판단하는 단계를 더 포함하는 영상 처리 방법.
9. 직선의 시작점과 종료점을 검출하기 위한 영상 처리 장치에 있어서,

   외부로부터 입력되는 외부 영상 데이터를 이용하여 윤곽선 영상(edge image)을 생성하고 이를 메모리에 저장하는 에지 생성부;

   상기 에지 생성부가 생성한 윤곽선 영상의 픽셀 좌표 정보를 하프변환을 수행하여 직선매개변수를 획득하는 하프 변환부; 및

   상기 메모리에 저장된 윤곽선 영상을 이용하여 상기 검출된 직선매개변수가 표현하는 무한 직선 영상의 시작점과 종료점을 검출하는 매칭부를 포함하는 영상 처리 장치.
10. 제9항에 있어서,

    상기 매칭부는,

    상기 직선매개변수가 표현하는 무한 직선 영상과 상기 저장된 윤곽선 영상을 매칭시키고, 상기 무한 직선 영상을 구성하는 픽셀 중 상기 윤곽선 영상과 매칭되 는 픽셀만을 획득하며, 상기 매칭되는 픽셀들로 구성되는 선분의 시작점과 종료점을 체크하는 것을 특징으로 하는 영상 처리 장치.
11. 제10항에 있어서,

    상기 매칭부는,

    상기 무한 직선과 윤곽선 영상을 매칭하여 무한 직선 영상 중 윤곽선 영상과 매칭되는 픽셀을 획득하고, 상기 픽셀로 구성되는 선분의 시작점과 종료점을 체크하는 과정을, 각각의 직선매개변수마다 수행하는 것을 특징으로 하는 영상 처리 장치.
12. 제9항에 있어서,

    상기 하프 변환된 직선매개변수 중 유효한 직선매개변수를 검출하기 위한 유효 매개변수 검출부를 더 포함하는 영상 처리 장치.
13. 제12항에 있어서,

    상기 에지 생성부에서 생성한 윤곽선 영상을 구성하는 유효한 픽셀들의 좌표를 저장하는 윤곽선 영상 저장부; 와

    상기 유효 매개변수 검출부에서 체크한 유효 직선매개변수를 저장하기 위한 유효 직선매개변수 리스트를 더 포함하는 영상 처리 장치.
14. 제12항에 있어서,

    상기 하프 변환부는,

    다수의 에지점에 대하여 소정의 범위를 가지는 값 별로 아래의 수학식을 계산하여 하프 변환을 수행하는 것을 특징으로 하는 영상 처리 장치.

    

    여기서, x, y는 각 에지점의 x, y 좌표값이다.
15. 제14항에 있어서,

    상기 하프 변환부는,

    상기 수학식의 연산을 한 번에 복수개씩 병렬적으로 수행하는 것을 특징으로 하는 영상 처리 장치.
16. 제15항에 있어서,

    상기 하프 변환부는,

    상기 수학식으로부터 얻어진 ρ,θ에 해당하는 매개변수 셀의 값을 1씩 증가시키는 영상 처리 장치.
17. 제16항에 있어서,

    상기 하프 변환부는,

    상기 수학식의 연산을 병렬적으로 복수개씩 수행하기 위하여 다수의 삼각함수 연산기와 사칙 연산기를 포함하는 영상 처리 장치.
18. 제16항에 있어서,

    상기 유효 매개변수 검출부는,

    상기 매개변수 각 셀의 값이 소정의 값 이상인 경우, 상기 매개변수 셀에 상응하는 매개변수를 유효 직선매개변수로 판단하는 것을 특징으로 하는 영상 처리 장치.
19. 제18항에 있어서,

    상기 유효 매개변수 검출부는,

    매개변수 공간 중 일정 영역에 해당하는 다수의 매개변수 셀 중 가장 큰 값을 가지는 셀을 검색하고, 상기 검색된 셀 값이 기준 값보다 클 경우 이를 유효 직선매개변수로 판단하는 것을 특징으로 하는 영상 처리 장치.

Images