KR20220110431A

KR20220110431A - 카메라를 이용한 변위량 측정 방법

Info

Publication number: KR20220110431A
Application number: KR1020210013763A
Authority: KR
Inventors: 주광철
Original assignee: 주광철
Priority date: 2021-01-30
Filing date: 2021-01-30
Publication date: 2022-08-08
Also published as: KR102502540B1

Abstract

본 발명은, 반지름이 알려져 있는 원 또는 구 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 촬영된 타깃의 계산된 지름(단위: 픽셀)과 실제 지름의 비율을 곱하여 타깃 중심의 픽셀 좌표로부터 타깃 중심의 물리적 좌표를 구하고; 상기 물리적 좌표를 구하는 과정을 매 영상 프레임마다 반복하여 타깃 중심의 물리적 좌표를 연속적으로 구하고; 상기 연속적으로 구해진 타깃 중심의 물리적 좌표들 간의 차이로 타깃이 붙어 있는 물체의 변위량을 최종적으로 구하는 방법을 제시한다. 또한, 설치된 카메라가 타깃의 정면을 향하지 않고 있을 때, 변위량 측정 오차을 자동으로 보정하거나 사용자에게 카메라를 재설치할 것을 권장하는 방법을 제시한다.

Description

카메라를 이용한 변위량 측정 방법 {Displacement Measuring Methods using a camera}

본 발명은 물체의 변위량을 측정하는 방법에 관한 것으로, 구체적으로는 카메라로 촬영한 타깃(원형 또는 구형 마크) 영상을 처리하여 변위량을 측정하는 방법에 관한 것이다. 특징으로는 카메라 설치의 적정성을 판별 기능과 바람직하지 않은 카메라 설치에 대한 자동 오차 보정 기능이 있고, 또한 스마트폰 애플리케이션으로 구현하기 용이하다.

선행기술문헌에 명시된 특허문헌들을 통해서 알 수 있듯이 변위량 측정은 여러 산업 분야에서 필요하다. 변위량 측정의 대표적인 두 가지 응용 예로는 파일(Pile, 말뚝)의 관입량 측정기(항타관리기라고도 부름)와 구조물 변형 감시기(구조물 변위량 측정기라고도 부름)가 있다. 상기 두 가지 응용 예들은 변위량을 측정하는 공통점이 있지만, 사용 환경에 따라서 우선시되는 요구 조건은 다르다. 관입량 측정기는 건설공사 현장에서 파일을 땅에 밖을 때 주로 사용하는 것으로서, 설치 시간이 짧아야 하고 측정 정밀도는 mm단위 정도이다. 반면 구조물 변형 감시기는 주로 교량이나 건물의 변형을 감시하기 위한 것으로서, 상대적으로 설치 시간에 대해서 덜 민감하지만, 고 정밀도가 요구되고 장시간 측정할 수 있어야 한다. 상기 언급한 요구 조건은 후술하는 기술 비교에서 다시 언급된다.

자동으로 변위량을 측정하는 방법은 크게 3가지로 나눌 수 있다. 방법 1)은 센서나 레이저 측정기를 변위량 측정 대상물에 부착하는 것이 특징이고; 방법 2)는 카메라를 이용하여 측정 대상물의 변위량을 영상처리 기법으로 구하는 것이고; 방법 3)은 방법 2)와 같이 카메라 영상처리 기법을 사용하되 대상물 자체에 대한 영상을 처리하는 것이 아니고 측정 대상물에 부착된 타깃(인식 마크)의 영상을 처리한다. 선행기술문헌에 나열된 특허문헌의 기술들을 응용 분야와 변위량 측정 방법으로 분류해보면 아래 표 1과 같다.

선행기술	응용 분야		변위량 측정 방법
선행기술	관입량 측정기	변형 감시기	방법 1) 센서/레이저 사용	방법 2) 카메라 사용	방법 3) 카메라 + 타깃 사용
특허문헌 1	O		O
특허문헌 2	O		O
특허문헌 3	O			O	O
특허문헌 4		O		O
특허문헌 5		O		O
특허문헌 6		O			O
특허문헌 7	O				O
특허문헌 8	O				O

위의 표 1의 변위량 측정 방법의 분류별로 장단점을 비교해봄으로써 선행기술의 문제점들을 이해할 수 있고, 본 발명에서 개선하고자 하는 내용도 쉽게 이해할 수 있다. 분류별 공통적인 장단점 먼저 비교하고, 그 이후에 선행기술의 고유한 내용에 대해서도 설명한다.

상기 방법 1)은 센서나 레이저 거리 측정기를 사용하고, 측정 정밀도가 낮아서 주로 관입량 측정기에 사용되는데 설치가 복잡하고 설치에 긴 시간을 요한다. 관입량 측정기가 사용되는 작업환경을 고려해보면 설치가 복잡하고 긴 시간을 요하는 것은 치명적인 단점이다. 방법 1)은 위의 표에 나열된 3가지 변위량 측정 방법들 중 성능 및 사용의 편리성 측면에서 가장 낮다.

상기 방법 2)는 카메라로 촬영한 영상을 처리하여 변위량을 측정한다. 이 방법의 시스템 구성(통상적으로 카메라, 카메라 고정 삼각대, 영상 처리 장치)은 타 방법에 비해 상대적으로 간단한 반면 아래와 같은 큰 두 가지 단점이 있다. 측정 대상물 자체의 움직임을 검출하기 위해 주로 촬영한 영상신호를 미분하여 윤곽선 추출을 한다. 그런데 일반적으로 알려진 바와 같이 신호를 미분하는 것은 잡음에 취약하고, 경우에 따라서는 윤곽선의 움직임을 파악할 수 없는 경우가 있다. 예를 들어, 건설공사 현장에서 파일을 박는 경우(관입량을 측정하고자 하는 경우) 윤곽선이 수직방향으로만 형성이 되기 때문에 수직 변위를 검출할 수 없다. 그래서 방법 2)는 관입량 측정기에 사용하기 어렵다. 또 다른 단점은 변위량 측정기를 설치할 때마다 측정 대상물로부터 카메라까지의 거리(설치 거리)를 측정하고, 카메라의 초점 거리도 구해야 한다. 이로 인하여 변위량 측정기 설치 시간이 길어지고, 설치 거리와 초점 거리의 오차가 변위량 측정의 오차를 유발한다. 방법 2)의 긴 설치 시간으로 인하여 관입량 측정기에 사용하는 것이 적합하지 않다. 또한, 카메라의 초점 거리도 쉽게 구해지는 것은 아니다.

상기 방법 3)은 상기 방법 2)의 단점을 개선하기 위해서 미리 정해진 타깃(측정 대상물에 부착 혹은 인쇄한 인식 마크)를 사용한다. 방법 3)의 타깃 설치가 방법 2) 대비 유일한 단점인데, 변위 측정 대상물의 시공 전에 타깃 설치를 사전 작업으로 해둘 수 있기 때문에 큰 단점은 아니다. 그런데 방법 3)의 분류에 속하는 종래 기술은 방법 2)의 단점을 개선하지만 다른 단점을 야기한다. 방법 3)의 종래의 기술은 카메라가 타깃과 수직 정렬이 안 되면 큰 측정 오차를 유발하는 단점이 있다. 본 발명은 여러 가지 개선점이 있는데, 그 중의 하나가 상기 수직 정렬 문제를 개선하는 것이다.

이상과 같이 변위 측정 방법별로 선행기술의 공통 장단점을 살펴보았고, 이하 본 발명의 방법이 속하는 상기 방법 3)의 개별 선행기술들에 대한 단점을 서술한다.

특허문헌 3의 기술은 명시적으로는 상기 방법 2)에 속하나 묵시적으로 방법 3)의 내용도 포한되어 있어 본 발명과 비교한다. 특허문헌 3의 기술은 관입량을 측정하기 위해서 2개의 카메라를 사용하고, 이 2개의 카메라의 촬영 순간을 동기화 하기위해 특별한 동기발생장치를 사용한다. 특허문헌 3의 기술은 본 발명 대비 사용하는 카메라 수가 많고 또한 동기발생장치를 사용함으로 인하여 하드웨어의 비용이 훨씬 고가이고, 설치 시간이 매우 길어 작업이 신속하게 이루어져야 하는 건설공사현장에서 사용하기 적합하지 않다.

특허문헌 6의 기술이 본 발명과 가장 유사한 것이다. 그런데 이 기술은 타깃과 카메라가 수직정렬(타깃 평면과 카메라까지 연장선이 수직이고, 그 평면과 그 연장선이 타깃의 중심에서 교차)되지 않았을 때 발생하는 오차에 대한 대책이 없고, 두 개의 타깃(인식 마크)를 요한다. 수직정렬이 되지 않았을 때의 문제점은 본 발명의 상세 설명에서 다시 언급한다. 본 발명은 원이나 구 형태의 하나의 타깃만을 사용하기 때문에 설치 및 관리가 쉽다. 또한, 특허문헌 6의 기술은 두 개의 타깃을 설치한 후 이들 간의 거리를 파라미터로 입력해야 하는데 이것은 설치 시간을 더 소요하고, 거리 측정 오차가 변위량 측정 오차를 유발한다.

특허문헌 7의 기술은 카메라와 타깃을 사용하는 관점에서 본 발명과 같은 기술 분류이나, 변위량을 카메라에 촬영된 바코드의 값으로 결정한다. 이것의 가장 큰 단점은 최소 측정 단위가 바코드의 길이에 의해서 결정된다. 바코드가 원거리에서 제대로 식별되기 위해서는 바코드의 바가 일정 길이 이상으로 되어야 하는데, 그 길이가 최소 측정 단위를 결정하게 되어 미세 변위 측정이 어렵다.

특허문헌 8의 기술의 최대 장점은 라인스캔 카메라를 사용하여 고속 측정이 가능하게 하는 것인데, 이 기술이 출원 당시 카메라 기술을 감안하면 의미 있는 장점이라고 할 수 있으나 현재의 카메라 기술을 감안해보면 장점이라 할 수 없고, 라인스캔 카메라의 희소성으로 인하여 가격이 오히려 더 비쌀 수 있다. 이 뿐만아니라 특허문헌 6의 기술과 같은 수직정렬 문제도 있다.

대한민국 공개특허 2002-0060459 (공개일 2002. 7. 18.) 대한민국 등록특허 10-2201871 (등록일 2021. 1. 6.) (특허문허 3) 대한민국 등록특허 10-1193076 (등록일 2012. 10. 15.) 일본 등록특허 P4948660 (등록일 2012. 3. 16.) 대한민국 등록특허 10-1434393 (등록일 2014. 8. 20.) 대한민국 등록특허 10-0458290 (등록일 2004. 11. 12.) 대한민국 등록특허 10-2039443 (등록일 2019. 10. 28.) 대한민국 등록특허 10-0437275 (등록일 2004. 6. 14.)

본 발명은 상기 대상 물체의 번위량을 측정하는 종래 기술의 문제점들을 해결하기 위한 것으로, 주요 사용 장소인 건설공사 현장에서 단시간 내에 설치 가능한 쉬운 설치; 상기 언급된 수직정렬이 되지 않은 경우 오차를 자동으로 보정하거나 혹은 적어도 잘못 설치된 요소를 사용자에게 알릴 수 있는 오차 대응력; 종래 기술 대비 하나의 카메라와 하나의 타깃만을 사용하는 시스템의 간소성; 잡음에 대한 영향을 줄이는 시스템 강건성; 스마트폰 애플리케이션으로 구현 가능한 방법으로 사용자 편리성 등을 해결하고자 하는 과제로 한다.

본 발명의 변위량 측정 방법은 하드웨어적인 요소와 소프트웨어적인 요소를 필요로한다. 하드웨어적인 요소는 지름의 크기가 미리 알려진 원이나 구의 타깃(인식 마크), 타깃을 원거리에서 촬영할 수 있는 카메라, 그리고 이 카메라로부터 출력되는 영상처리를 할 수 있는 PC나 스마트폰 같은 연산장치로 구성된다. 소프트웨어적인 요소는 촬영된 영상으로부터 타깃의 위치를 연속적으로 계산하고, 연속적으로 계산된 위치들 간의 차이를 변위량으로 계산하는 알고리즘을 의미한다.

도 1을 참조하여 하드웨어적인 요소를 좀 더 설명한다. 도 1은 본 발명의 기술이 관입량 측정기로 사용된 건설공사 현장을 예를 도시한 것이다. 파일(300)을 지면(400)에 박기 위해 해머(100)로 파일을 내리치게 되는데, 이때 파일에 부착된 타깃(200)의 변위량으로 파일의 관입량을 계산한다. 카메라와 연산장치가 일체로 되어 있는 스마트폰(500)이 타깃으로부터 원거리에 설치되어 있고, 촬영한 타깃의 영상(610)이 스마트폰 화면에 나타나 있다. 스마트폰 설치용 삼각대(700)는 특별한 것이 아니다. 이후 설명에서 언급될 수직정렬라인(800)도 도시되어 있다. 본 발명에서 하드웨어적인 요소는 특별한 것이 아니고, 핵심적인 내용은 소프트웨어적인 요소에 의해서 결정된다.

도 3를 참조하여 상기 소프트웨어적인 요소를 좀 더 설명한다. 도 3은 본 발명의 방법을 설명하기 위한 순서도 이다. 이 순서도는 타깃을 촬영한 영상 데이터를 프레임 단위로 획득하는 단계(S10); 카메라가 보내주는 영상 데이터를 순차적으로 읽어오는 단계(S20); 순차적으로 들어오는 영상의 픽셀 값을 임계치(Tt)와 비교하는 단계(S30); 상기 비교결과 타깃 픽셀 해당하는 경우 그 픽셀의 X(가로 방향) 및 Y(세로 방향) 좌표를 저장하고 픽셀의 최소, 최댓값을 추적하는 단계(S40); 영상 프레임의 끝을 판별하여 반복 여부를 결정하는 단계(S50); 상기 단계(S40)에서 저장한 픽셀 좌표의 평균값으로 타깃의 중심 좌표를 계산하는 단계(S60); X, Y 각각의 좌표에 대하여 최저/최고점들(X, Y축 각각에 대하여 최저/최고점, 모두 4점)과 상기 단계(S60)에서 계산한 중심 좌표 간의 거리를 계산하는 단계(S70); 상기 최저/최고점들과 상기 중심 좌표 간의 거리 벡터에서 각 축의 성분을 구하는 단계(S90); 상기 단계(S70)과 단계(80)에서 구해진 값들의 차이로 오차 보정을 결정할 지수(Eu, El, Er,Eb)를 구하는 단계(S90); 상기 단계(S90)에서 계산된 지수를 임계값들(Tg와 Tn)과 비교하여 오차 보정 여부 및 카메라의 재설치 여부를 판단하는 단계(S100, S120); 상기 여부 판단 결과에 따라 거치게 되는 오차 보정 단계(S130); 타깃 중심의 좌표를 픽셀 좌표에서 물리적 좌표로 변환하는 단계(S110); 상기 여부 판단 단계(S100, S120)의 결과가 유의미한 좌표를 계산할 수 없는 경우 사용자에게 카메라 설치를 재점검하도록 권장하는 메시지를 표시하는 단계(S140)로 구성되어 있다.

본 발명은 변위량 측정 기술이 사용되는 응용 분야(관입량 측정기, 구조물 변형 감시기)의 요구조건(설치의 신속성 및 용이성, 오차 보정, 카메라 설치의 정적성 판단)을 충족시키고, 또한 잡음에 대한 대응력 등 사용 환경에 영향을 받는 요소들에 대해서 개선한다. 구체적으로는, 주요 사용 장소인 건설공사 현장에서 단시간 내에 설치 가능한 쉬운 설치; 상기 언급된 수직정렬이 되지 않은 경우 오차를 자동으로 보정하거나 혹은 적어도 잘못 설치된 요소를 사용자에게 알릴 수 있는 오차 대응력; 종래 기술 대비 하나의 카메라와 하나의 타깃만을 사용하는 시스템의 간소성; 잡음에 대한 영향을 줄이는 시스템 강건성; 스마트폰 애플리케이션으로 구현 가능한 방법으로 사용자 편리성 등에 대하여 개선한다.

본 발명의 기술을 채택한 관입량 측정기는, 건설공사 현장에서 파일을 땅에 박을 때 관입량을 원거리에서 측정하므로써 작업자의 안전을 확보하고 파일 시공 결과의 적정성 판단에 신뢰할만한 데이터를 제공한다. 또한, 본 발명의 기술을 채택한 구조물 변형 감시기는 선행기술 대비 오차 보정 측면과 잡음 대응력 측면에서 우수하다.

도 1은 본 발명의 기술이 사용되는 예
도 2는 종래 기술의 문제점과 본 발명의 개선점을 설명하기 위한 도면
도 3은 본 발명의 변위량 측정 방법의 순서도
도 4는 본 발명의 변위량 측정을 설명하기 위한 도면(카메라 설치 양호)
도 5는 본 발명의 변위량 측정을 설명하기 위한 도면(변위 발생)
도 6은 본 발명의 변위량 측정을 설명하기 위한 도면(카메라 설치 불량)
도 7은 본 발명의 변위량 측정을 설명하기 위한 도면(카메라 설치 불량)

이하 설명의 편의성을 위해 특정한 예시를 기준으로 본 발명 실시를 위한 구체적인 내용을 서술하지만, 본 발명의 응용 분야가 이러한 예시에만 국한된 것을 의미하지는 않고, 타깃을 부착할 수 있는 모든 물체의 변위량을 측정하는 것에 사용될 수 있다.

도 1은 본 발명의 기술을 관입량 측정기로 사용한 예시를 나타낸 것이다. 관입량 측정기는 건설공사 현장에서 파일이 적절히 시공되었는지를 판단하기 사용하는 것으로서, 해머(100)로 파일(300)을 항타했을 때 파일이 지면(400)에 얼마만큼 박히는지 측정한다. 파일이 지면에 박히는 양을 길이로 나타내는 것을 관입량이라 한다. 즉, 관입량은 파일(300)의 변위량을 말하는 것이다. 본 발명은 변위량 측정 대상물(300)에 부착되어 있는 타깃(200)의 변위량을 계산한다. 타깃은 카메라가 인식하기 쉽도록 배경과 대비되는 색을 사용한다. 바람직한 예는 백색 배경에 흑색 타깃 혹은 반대로 흑색 배경에 백색 타깃을 사용하는 것이다. 본 설명의 예에서는 백색 배경에 흑색 타깃을 사용한다. 본 발명의 타깃(200) 모양은 원(員)이나 구(球)의 형태이다. 원이나 구의 모양을 사용하는 목적은 카메라 정렬에 대한 적정성 판다과 측정 오차 보정이 용이하고, 종래 기술 대비 하나의 타깃만 사용해도 되기 때문이다. 오차 보정과 거리 변환에 관해서는 이하에서 다시 자세히 언급한다. 타깃의 지름은 미리 정해지고, 이 지름이 픽셀 좌표에서 거리를 물리적 좌표에서 거리로 변환할 때 비례 상수로 사용된다. 타깃의 촬영과 영상처리를 위한 스마트폰(500)이 타깃으로부터 떨어진 곳에 설치되어 있고, 촬영된 타깃(610)이 스마트폰의 화면에 나타나 있고, 스마트폰은 삼각대(700)에 의해 지면(400)에 단단히 고정되어 있다. 스마트폰은 카메라 기능과 영상처리 기능이 일체로 되어 있어 편리한 면이 있다. 경우에 따라서는 카메라와 영상처리 기능이 분리된 별개의 카메라와 PC로도 구성할 수 있다. 가상의 수직정렬선(800)은 카메라가 타깃(200)에 수직정렬 되기 위한 위치를 표시한 것이다.

도 2는 도 1과 같은 사용 예를 나타낸 것인데, 다만 카메라(500)가 타깃(200)에 수직정렬 되지 않은 경우에 해당한다. 카메라(500)가 수직정렬선(800)보다 왼쪽으로 치우쳐 설치된 경우를 나타내고 있다. 이러한 경우에는 측정 오차가 발생할 수 있는데, 종래의 기술은 이것에 대한 대책이 없다. 본 발명의 오차 보정 방법은 이하에서 다시 상세히 언급된다. 카메라와 타깃의 정렬에 관한 내용 이외에는 도 1의 내용과 같다.

이하 도 3 내지 도 7를 통해서 본 발명의 핵심 내용인 변위량 계산 방법에 대해서 자세히 설명한다. 도 3의 전체적인 처리과정을 순서도로 나타낸 것이다. 도 4 내지 도 7은 영상데이터 처리과정을 자세하게 설명하기 위한 것으로서, 도 4는 상기 언급했던 카메라와 타깃의 정렬이 양호한 경우의 것이고; 도 5는 도 4의 상황에서 타깃(910)이 아래 방향으로 움직인 경우의 것이고; 도 6은 도 1의 경우 대비 카메라 정렬이 좌우로 틀어진 경우에 촬영된 타깃(960)의 모양을 나타낸 것이고; 도 7은 도 1의 경우 대비 카메라 정렬이 상하/좌우 모두로 틀어진 경우 촬영된 타깃(970)의 모양을 나타낸 것이다. 도 4 내지 도 5의 작도 편의성을 위해서 카메라 해상도를 11 x 14로 가정했지만 실제의 경우는 이보다 훨씬 높은(예를 들면, 통상 스마트폰의 카메라 해상도 1080 x 1920) 것을 사용한다. 도 4의 경우(카메라가 양호하게 설치된 경우)를 기준으로 도 3의 순서도를 단계별로 먼저 설명하고, 그 이후에 다른 경우(도 5, 도 6, 도 7)에 대해서 설명한다.

도 3의 단계 S10은 카메라(500)로부터 촬영한 타깃(610)의 영상데이터를 프레임 단위로 가져오기 위한 것이다. 카메라는 도 4에 나타낸 영상데이터(900)(각 픽셀의 흑백 정보를 16진수로 나타냄)와 같이 2차원 데이터를 제공한다. 그런데 통상의 경우는 카메라가 스캔을 하여 영상데이트를 제공하는 관계로, 영상처리 장치(스마트폰이나 PC의 프로세서)로 넘겨지는 영상데이터의 형태는 도 4의 카메라 스캔 출력(D[n])과 같이 1차원이다. 영상데이터는 통상적으로 흑백 성분과 컬러 성분으로 나누어서 전달되는데 이렇게 하는 이유는 높은 해상도를 제공하는 흑백 정보가 더 유용하게 사용되도록 하기 위한 것이다. 본 예에서도 흑백 정보를 사용하는데, 해상도 차이가 없다면 타깃을 잘 구별할 수 있는 컬러 성분을 사용해도 상관없다. 스캔 출력(D[n])은 각 픽셀의 흑백 영상값(휘도값)을 나타내고 있다. 이상의 설명을 요약하자면, 카메라 스캔 출력(D[n])은 타깃을 촬영한 결과로서 16진수로 담고있는 1차원 어레이(Arrary)이다. 영상데이터(900, D[n])를 살펴보면 타깃(910)의 영역의 값은 배경값들보다 작다. 이 작은 값은 배경보다 어두운 흑색 타깃을 촬영한 당연한 결과이다.

도 3의 단계 S20은 상기 언급한 카메라 스캔 출력 즉 픽셀 값(D[n])을 순차로 읽어 온다. 'D[n]'으로 표현된 어레이에서 'n'은 픽셀의 스캔된 순서를 나타내는 것이고 이것으로부터 2차원 영상데이터 상의 위치도 알 수있다. 2차원 영상데이터 상의 위치 계산은 아래 수학식 1에 의해서 이루어진다. 카메라가 스캔을 진행하면 n의 값은 0에서부터 순차적으로 증가한다. 도 4의 예에서 살펴보면, 첫번째 픽셀(n=0)의 값은 D[0] = F0 이고 다섯번째 픽셀(n=4)의 값은 D[4] = E5 이다.

도 3의 단계 S30은 단계 S20에서 읽어온 픽셀 값(D[n])과 임계 값(Tt)을 비교하여 해당 픽셀이 타깃(910)에 속하는지 판단한다. 배경과 타깃을 구별할 수 있는 중간 값으로 임계 값(Tt)을 설정하면, 타깃(910)에 속하는 픽셀들을 골라 낼 수 있다. 본 예에서는 임계 값(Tt)을 128로 정하였다. 픽셀 값들(D[n]) 중에서 임계 값(Tt)보다 작은 것들을 골라낸 결과는 추출된 타깃 이미지(950)와 같이 될 것이다. 즉, 추출된 타깃 이미지(950)에 해당하는 값(D[n])은 임계 값 128보다 작고, 단계 S30의 판정 결과는 '참'이 된다.

도 3의 단계 S40은 단계 S30의 판정 결과가 참인 경우에 수행 되는 것으로서, 타깃 픽셀 좌표들(X[m], Y[m])과 픽셀 좌표의 최소(Xmin, Ymin)/최대(Xmax, Ymax) 값들을 추적한다. 타깃 픽셀 좌표들(X[m], Y[m])은 도 4에 예시되어 있다. X[m], Y[m]은 1차원 어레이(Arrary)로 표현될 수 있는 것이고, 여기서 'm'은 어레이의 인덱스를 나타낸다. 'm'은 어레이 값이 저장될 때마다 하나씩 증가한다. X[m]과 Y[m]이 저장되는 과정을 일반적인 관계식으로 표현하면 아래 수학식 1과 같다. 이 수학식에서, D[n]은 타깃을 촬영한 영상데이터 이고; 'n'이 몇번째 픽셀인가를 나타내고; Tt는 상기 언급한 바와 같이 임계 값(본 예에서는 128)이고; %는 잉여류 계산 연산자이고; W는 영상데이터의 폭(본 예에서는 11)이고; Int()는 정수화하는 함수이다. 수학식 1의 의미를 도식적인 방법으로 이해하기 위해서, 도 4의 타겟 픽셀에 속하는 세개의 픽셀값들(D[14] = 70, D[15] = 60, D[16] = 50)을 예로 하여 설명하면 다음과 같다. D[14], D[15], D[16]의 값들은 모두 128(Tt)보다 작으므로 단계 S30의 판정 결과는 이들 값들에 대해서 모두 참이 되고, 수학식 1의 연산이 진행된다. 세개의 픽셀값들에 대해서 연산을 진행해보면, X[0] = 14 % 11 = 3, Y[0] = Int(14 / 11) = 1, X[1] = 15 % 11 = 4, Y[1] = Int(15 / 11) = 1, X[2] = 16 % 11 = 5, Y[2] = Int(16 / 11) = 1과 같이 된다. 좀 더 많은 픽셀값에 대하여 같은 방식의 연산을 진행한 결과가 도 4의 타깃 픽셀들의 X 좌표 열(X[m])과 타깃 픽셀들의 Y 좌표 열(Y[m])에 나타나 있다. 결과적으로, X[m]은 해당 픽셀값(D[n]<Tt)의 2차원 영상데이터 상의 가로 위치를 나타내고, Y[m]은 세로 위치를 나타낸다. 도 4에 나타낸 바와 같이(화살표로 연결된 것들과 작은 동그라미로 표시된 것들 참조), 예로서 D[14]의 X[m](X[0]), Y[m](Y[0])의 값은 이 픽셀의 가로 위치 3과 세로 위치 1을 나타낸다.

(수학식 1)

X[m] = n % W

Y[m] = Int(n/W)

도 3의 단계 S40의 또하나의 기능인 픽셀 좌표의 최소/최대값 추적은 다음과 같이 수행된다. 스캔된 영상 값(D[n])에 따라 순차적인 진행을 하면서 새로 계산된 X[m]이 현재의 Xmin 보다 작으면 이값을 새로운 Xmin으로 저장하고; Xmax 보다 크면 새로운 Xmax로 저장한다. 만일 새로 계산된 X[m]이 현재의 Xmin 이나 Xmax와 같은 경우 새로운 값을 취할지 현재 값을 유지할지 판단은 해당 픽셀값(D[n])이 더 작은 쪽의 것을 택하는 방식으로한다. 여기서 더 작은 쪽의 의미는 해당 픽셀의 더 많은 영역이 타깃 영역에 들어가 있다는 것을 의미한다. 이와 같은 의미에서 백색 타겟을 사용하는 경우 더 큰 쪽의 것을 택해야 하는 것이 자명한 일이다. Y[m]에 대해서도 X[m]과 같은 방식으로 Ymin, Ymax를 저장한다. 이상과 같이 Xmin, Xmax, Ymin, Ymax를 추적하여 궁극적으로 얻고자 하는 것은 이들의 픽셀 좌표이다. 도 4의 추출된 타깃 이미지(950)에 이예의 Ymin, Xmin, Xmax, Ymax의 픽셀 좌표를 음영으로 표시했다. 즉, 도 4에서 Ymin의 좌표는 (5, 1)이고; Xmin의 좌표는 (1, 5)이고; Xmax의 좌표는 (5, 5)이고; Ymax의 좌표는 (5, 9)이다. 이 좌표들의 의미는 각 X 방향과 Y 방향에 대해서 중심으로부터 가장 먼 거리에 있는 타깃 픽셀의 위치정보를 알려주는 것이다.

도 3의 단계 S50은 단지 영상데이터의 한 프레임에 대한 처리가 모두 끝난 여부를 판단한다. 한 프레임에 대한 처리가 모두 끝난 경우 다음 단계로 넘어가고, 아직 끝나지 않았다면 이전 단계를 반복한다.

도 3의 단계 S60은 타깃 중심의 픽셀 좌표를 구하는데, 저장된 X[m]의 평균과 Y[m]의 평균으로 이것을 구한다. 도 4의 추출된 타깃 이미지(950)에서 알 수 있듯이, 이 예의 경우 중심의 픽셀 좌표는 (5, 5)이다. 신호처리에서 평균은 적분과 같은 의미를 가지고 있기 때문에 종래 기술의 미분을 사용하는 방식에 비해 잡음 강건성이 높아진다.

도 3의 단계 S70은 타깃 중심으로 부터 Xmin,Xmax, Ymin, Ymax의 위치들까지의 거리들(Ru, Rl, Rr, Rb)을 구한다. 이 거리들은 촬영한 타깃의 위쪽 반지름(Ru), 왼쪽 반지름(Rl), 오른쪽 반지름(Rr), 아래쪽 반지름(Rb)를 의미한다. 이 반지름들은 픽셀 좌표를 물리적 좌표로 변환한는데 비례 상수로 사용한다. 예를 들어, 타깃(200)의 실제 반지름이 8mm이고, 카메라로 촬영한 타깃의 반지름이 4 픽셀이라고 한다면, 1 픽셀 거리당 물리적 거리는 2mm이다. 타깃 중심의 픽셀 좌표를 물리적 좌표로 변환하는 단계 S110에서 상기 언급한 비례관계(위의 예의 경우 1 픽셀당 2mm)를 사용한다.

도 3의 단계 S80은 상기 계산한 반지름들(Ru, Rl, Rr, Rb)을 벡터로 보았을 때 X, Y 각 축에 대한 성분 거리들(Du, Dl, Dr, Db, 도 7 참조)을 구한다. 도 4의 경우는 카메라 정렬이 양호한 경우이므로 반지름(Ru, Rl, Rr, Rb)과 성분 거리(Du, Dl, Dr, Db)가 같고, 카메라 정렬이 양호하지 않은 도 7의 경우 반지름(Ru, Rl, Rr, Rb)과 성분 거리(Du, Dl, Dr, Db)가 같지 않다. 이 값들이 서로다르다면, 카메라 정렬이 잘못된 경우를 의미한다. 반지름(Ru, Rl, Rr, Rb)과 성분 거리(Du, Dl, Dr, Db)의 좀 더 상세한 의미는 카메라 정렬이 잘 되지 않은 경우에 해당하는 도 7을 설명하는 곳에서 후술한다. 카메라 설치 적정 지수(Eu, El, Er, Eb)는 단순히 반지름(Ru, Rl, Rr, Rb)과 성분 거리(Du, Dl, Dr, Db)의 차를 구한다. 적정 지수(Eu, El, Er, Eb)는 단계 S90에서 구해지는데 이것의 용도도 도 7을 설명하는 곳에서 후술한다. 적정 지수(Eu, El, Er, Eb)를 포한함 오차 대응에 관련된 단계들(S100, S120, S130, S140)도 후술한다.

도 4와 같이 카메라가 양호하게 설치된 경우는 단계 S110이 영상데이터 한 프레임 처리 최종 단계가 된다. 이 단계에서 구해지는 값은 타깃 중심의 물리적 좌표이다. 상기 언급한 바와 같이 타깃 중심의 픽셀 좌표가 (5, 5)이므로 이 것을 비례관계(위의 예의 경우 1 픽셀당 2mm)를 사용하여 물리적 좌표로 변환하면 (10, 10)이 된다. 상기 서술한 도 4의 경우와 마찬가지로, 도 5에 나타낸 영상데이터(900)을 도 3의 순서도에 의해 처리하게 되면 타깃 중심의 필셀 좌표는 (5, 6)이 되고 물리적 좌표는 (10, 12)가 된다. 결론적으로 도 4 대비 도 5의 타깃은 Y 방향으로 2mm 이동하게 된 것이다. 즉 타깃의 변위량이 2mm인 것이다. 참고로 Y 좌표는 아래 방향이 증가하는 방향이다. 이와 같이 처리하는 이유는 통상의 카메라가 위에서 아래로 스캔하는 것에서 기인한다.

여기까지 설명한 단계별 내용을 종합하면, 본 발명은 반지름이 알려져 있는 원 또는 구 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 상기 구해진 타깃 중심과 가장 먼 거리에 있는 타깃 픽셀 간의 거리로 타깃 반지름(픽셀 단위)을 구하고; 미리 알려진 타깃의 물리적 반지름(mm 단위)을 상기 구해진 타깃의 반지름(픽셀 단위)으로 나누어(나눗셈 연산) 픽셀당 물리적 거리 계수(mm per pixel)를 구하고; 상기 구해진 계수를 상기 구해진 타깃 중심의 픽셀 좌표에 곱하여(곱셈 연산) 타깃 중심의 물리적 좌표를 구하고; 상기 물리적 좌표를 구하는 과정을 매 영상 프레임마다 반복하여 타깃 중심의 물리적 좌표를 연속적으로 구하고; 상기 연속적으로 구해진 타깃 중심의 물리적 좌표들 간의 차이로 타깃이 붙어 있는 물체의 변위량을 최종적으로 구한다.

도 2와 같이 카메라가(500) 타깃(200)의 수직정렬선(800)의 선상에 있지 않게 되는 경우 타깃(200)이 좌우로 비스듬하게 촬영된다. 이와 같이 비스듬하게 촬연된 상황을 도 6에 나타냈다. 도 6에서 보는 바와 같이 촬영된 타깃(960)이 타원 모양으로 찌그러지는 것은 비스듬하게 촬영했기 때문에 당연하다. 좌우로 비스듬하게 촬영된 경우, 타깃 중심의 좌표를 물리적 좌표로 변환 할 때 아래 수학식 2를 사용한다. 수학식 2에서 X는 타깃(960) 중심의 X축(가로 축) 물리적 좌표이고; Xpixel은 타깃(960) 중심의 X축 픽셀 좌표이고; Dt는 실제 타깃(200)의 지름이고; Rl은 영상처리에 의해 구한 왼쪽 반지름이고; Rr은 영상처리에 의해 구한 오른쪽 반지름이고; Y는 타깃(960) 중심의 Y축(세로 축) 물리적 좌표이고; Ypixel은 타깃(960) 중심의 Y축 픽셀 좌표이고; Ru는 영상처리에 의해 구한 윗쪽 반지름이고; Rb는 영상처리에 의해 구한 아래쪽 반지름이다. 여기서 말하는 영상처리에 의해 구해진 반지름들(Rl, Rr, Ru, Rb)은 전술한 영상처리 단계 S70에 의해서 구해진 것을 의미한다. 도 6과 같이 좌우 한쪽으로만 비스듬하게 촬영된 경우에 있어서, Du, Dl, Dr, Db(영상처리 단계 S80에서 계산한 값)는 Ru, Rl, Rr, Rb와 같거나 아주 적은 차이가 난다. 카메라 설치 적정 지수(Eu, El, Er, Eb)가 아주 작은 값으로 되고 판단 단계 S100의 결과는 참이된다. 단계 S100에서 Ex는 Eu, El, Er, Eb 전체를 나타내는 것이고 Tg의 양호한 조건을 나타내는 임계값이다.

(수학식 2)

X = Xpixel * Dt / (Rl + Rr)

Y = Ypixel * Dt / (Ru + Rb)

상기 수학식 2를 사용하여 픽셀 좌표를 물리적 좌표로 변환하는 것과 관련 전술한 내용을 종합하면, 본 발명은 반지름이 알려져 있는 원 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 타깃의 상하, 좌우 반지를을 영상처리로 구하고; 세로 방향 좌표에 대하여 미리 알려진 타깃의 물리적 지름(mm 단위)을 상기 구해진 타깃의 상하 반지름(픽셀 단위) 둘을 합한 것으로 나누어(나눗셈 연산) 세로방향 픽셀당 물리적 거리 계수(mm per pixel)를 구하고; 가로 방향 좌표에 대하여 미리 알려진 타깃의 물리적 지름(mm 단위)을 상기 구해진 타깃의 좌우 반지름(픽셀 단위) 둘을 합한 것으로 나누어(나눗셈 연산) 가로방향 픽셀당 물리적 거리 계수(mm per pixel)를 구하고; 상기 구해진 두가지의 계수를 상기 구해진 타깃 중심의 픽셀 Y, X 좌표에 각각 곱하여(곱셈 연산) 타깃 중심의 물리적 좌표를 구하고; 상기 물리적 좌표를 구하는 과정을 매 영상 프레임마다 반복하여 타깃 중심의 물리적 좌표를 연속적으로 구하고; 상기 연속적으로 구해진 타깃 중심의 물리적 좌표들 간의 차이로 타깃이 붙어 있는 물체의 변위량을 최종적으로 구한다.

도 7은 카메라(500)가 타깃(200)을 촬영할 때 상하, 좌우 두 축 모두에 대해서 비스듬하게 설정된 경우를 나타낸 것이다. 전술한 동일한 방법(영상처리 단계 S70과 S80)으로 반지름(Ru, Rl, Rr, Rb)과 축방향 성분 거리(Du, Dr, Dl, Db)를 구한 결과를 도 7에 표시했다. 영상처리 단계 S90에서 구하는 카메라 설치 적정 지수(Eu, El, Er, Eb)의 값은 비스듬하게 설치된 정도에 따라서 변한다. 영상처리 적정 지수 값들 중 어느 하나(Ex)라도 임계값(Tn)과 같거나 크면 설치 점검 권장 표시 단계(S140)이 수행된다. 적정 지수와 임계값의 비교는 영상처리 단계 S120에서 하게되는 적정 지수가 임계값 보다 작으면 오차 보정 단계(S130)를 실행한다. 오차 보정은 반지름(Ru, Rl, Rr, Rb)과 축방향 성분 거리(Du, Dr, Dl, Db)의 값에 따라 여러 가지 방법으로 가능한데, 가장 쉬운 방밥의 상하 축과 좌우 축의 비스듬한 정도의 비율을 구하여 픽셀 좌표를 물리적 좌표로 변환하는 과정에서 구해진 비율을 반영한다.

상기 도 7에 대한 설명을 종합하면, 본 발명은 원 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 상기 구해진 타깃 중심과 가장 먼 거리에 있는 타깃 픽셀 간의 거리로 타깃 반지름(Ru, Rl, Rr, Rb) 을 구하고; 상기 반지를을 벡터로 표현했을 때 가로/세로 축 성분에 해당하는 성분 거리(Du, Dr, Dl, Db)를 구하고;상기 반지름과 상기 성분 거리의 차(카메라 설치 적정 지수 Eu, El, Er, Eb)가 일정치 이상이면 사용자에게 카메라 설치 점검 권장 표시를 해준다. 상기 카메리 설치 적정 지수는 잡음이 발생한 경우에도 큰 값을 갖게 되므로 이값은 종합적으로 사용환경에 대한 정보를 제공해준다.

Claims

반지름이 알려져 있는 원 또는 구 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 상기 구해진 타깃 중심과 가장 먼 거리에 있는 타깃 픽셀 간의 거리로 타깃 반지름(픽셀 단위)을 구하고; 미리 알려진 타깃의 물리적 반지름(mm 단위)을 상기 구해진 타깃의 반지름(픽셀 단위)으로 나누어(나눗셈 연산) 픽셀당 물리적 거리 계수(mm per pixel)를 구하고; 상기 구해진 계수를 상기 구해진 타깃 중심의 픽셀 좌표에 곱하여(곱셈 연산) 타깃 중심의 물리적 좌표를 구하고; 상기 물리적 좌표를 구하는 과정을 매 영상 프레임마다 반복하여 타깃 중심의 물리적 좌표를 연속적으로 구하고; 상기 연속적으로 구해진 타깃 중심의 물리적 좌표들 간의 차이로 타깃이 붙어 있는 물체의 변위량을 최종적으로 구하는 방법.
반지름이 알려져 있는 원 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 타깃의 상하, 좌우 각각의 반지를을 영상처리로 구하고; 세로 방향 좌표에 대하여 미리 알려진 타깃의 물리적 지름(mm 단위)을 상기 구해진 타깃의 상하 반지름(픽셀 단위) 둘을 합한 것으로 나누어(나눗셈 연산) 세로방향 픽셀당 물리적 거리 계수(mm per pixel)를 구하고; 가로 방향 좌표에 대하여 미리 알려진 타깃의 물리적 지름(mm 단위)을 상기 구해진 타깃의 좌우 반지름(픽셀 단위) 둘을 합한 것으로 나누어(나눗셈 연산) 가로방향 픽셀당 물리적 거리 계수(mm per pixel)를 구하고; 상기 구해진 두가지의 계수를 상기 구해진 타깃 중심의 픽셀 Y, X 좌표에 각각 곱하여(곱셈 연산) 타깃 중심의 물리적 좌표를 구하고; 상기 물리적 좌표를 구하는 과정을 매 영상 프레임마다 반복하여 타깃 중심의 물리적 좌표를 연속적으로 구하고; 상기 연속적으로 구해진 타깃 중심의 물리적 좌표들 간의 차이로 타깃이 붙어 있는 물체의 변위량을 최종적으로 구하는 방법
원 형태의 타깃을 카메라로 촬영한 영상데이터를 처리하여 타깃 중심(Center)의 픽셀 좌표를 촬영된 타깃 픽셀들의 위치 평균으로 구하고; 상기 구해진 타깃 중심과 가장 먼 거리에 있는 타깃 픽셀 간의 거리로 타깃 반지름(Ru, Rl, Rr, Rb) 을 구하고; 상기 반지를을 벡터로 표현했을 때 가로/세로 축 성분에 해당하는 성분 거리(Du, Dr, Dl, Db)를 구하고; 상기 반지름과 상기 성분 거리의 차(카메라 설치 적정 지수 Eu, El, Er, Eb)가 일정값 이상이면 사용자에게 카메라 설치 점검 권장 표시해주는 방법.