KR102228395B1 - 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법 - Google Patents
분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법 Download PDFInfo
- Publication number
- KR102228395B1 KR102228395B1 KR1020200139375A KR20200139375A KR102228395B1 KR 102228395 B1 KR102228395 B1 KR 102228395B1 KR 1020200139375 A KR1020200139375 A KR 1020200139375A KR 20200139375 A KR20200139375 A KR 20200139375A KR 102228395 B1 KR102228395 B1 KR 102228395B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lane
- divided
- identification information
- image analysis
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000010191 image analysis Methods 0.000 claims abstract description 76
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000003709 image segmentation Methods 0.000 claims description 18
- 230000002265 prevention Effects 0.000 claims description 4
- 238000003703 image analysis method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06K9/00798—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명에 따라 도로 영상 내 객체 추적을 위한 영상 분석 장치가 제안되며, 상기 영상 분석 장치는 도로 영상을 복수 개의 영역으로 분할하는 영상 분할부; 상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하는 영상 크기 변경부; 및 상기 복수 개의 분할 영상 각각 내에서 획득된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 객체 추적부를 포함할 수 있다.
Description
본 발명은 분할 영상을 활용한 객체 추적 장치, 시스템 및 방법에 관한 것으로서, 좀더 상세하게는 이동 객체의 이동 흐름을 촬영한 도로 영상에서 객체 인식 및 추적을 통해 이동 흐름의 상태를 검출하면서, 영상을 복수의 분할 영상으로 나누고, 복수의 분할 영상을 축소하여 효율적으로 영상 분석을 하기 위한 것에 관한 것이다.
카메라 장비의 성능이 향상되면서, 고해상도의 영상이 사용되고 있다. 도로 영상 촬영에도 이러한 추세는 이어질 것으로 보이며, 이에 따라 고해상도의 영상의 분석 및 처리에 대한 요구가 늘어나고 있다.
고해상도 영상을 영상 처리에 이용할 경우 상대적으로 고사양의 하드웨어가 필요하며, 고해상도 영상에서 화각 또는 거리의 폭이 크기 때문에 인식되는 객체의 크기가 다양하고, 그 크기의 편차가 크므로 검출 알고리즘에서 너무 크거나 작은 크기의 객체는 검출이 용이하지 못하다. 본 발명의 시점에서, 영상 내의 약 97% 정도의 객체들은 검출이 되고 있으나, 나머지 약 3% 정도의 객체들은 검출이 안되고 있는 실정이다.
본 발명은 앞서 설명한 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법에 관한 것으로서, 좀더 상세하게는 이동 객체의 이동 흐름을 촬영한 도로 영상에서 객체 인식 및 추적을 통해 이동 흐름의 상태를 검출하면서, 영상을 복수의 분할 영상으로 나누고, 복수의 분할 영상을 축소하여 효율적으로 영상 분석을 하기 위한 장치, 시스템 및 방법을 제안하고자 하며, 후술할 해결 수단을 통해 달성하고자 한다.
본 발명에서 이루고자 하는 해결하고자 하는 과제들은 상기 해결하고자 하는 과제로 제한되지 않으며, 언급하지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따라 도로 영상 내 객체 추적을 위한 영상 분석 장치가 제안되며, 상기 영상 분석 장치는 도로 영상을 복수 개의 영역으로 분할하는 영상 분할부; 상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하는 영상 크기 변경부; 및 상기 복수 개의 분할 영상 각각 내에서 획득된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 객체 추적부를 포함할 수 있다.
추가적으로 또는 대안으로, 상기 영상 분할부는 상기 복수 개의 영역에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정하고, 각 차선 인식 영역의 위치 좌표로부터 상기 복수 개의 영역의 해상도 크기에 따른 비율 좌표를 획득할 수 있다.
추가적으로 또는 대안으로, 상기 영상 크기 변경부는 상기 비율 좌표를 이용하여 상기 복수 개의 분할 영상에 차선 인식 영역을 설정할 수 있다.
추가적으로 또는 대안으로, 상기 영상 분할부는 상기 복수 개의 영역 내 객체의 크기 또는 상기 도로 영상의 촬영 장치로부터의 이격 거리에 따라 상기 도로 영상을 복수 개의 영역으로 분할할 수 있다.
추가적으로 또는 대안으로, 상기 축소는 객체 검출이 가능한 최소 객체 크기를 기준으로 결정될 수 있다.
추가적으로 또는 대안으로, 상기 객체 추적부는 상기 복수 개의 분할 영상 중 서로 인접한 영역에 대한 제1 분할 영상 및 제2 분할 영상에서, 상기 제1 분할 영상에서 검출되었으나 사라진 객체의 차선 식별 정보와 상기 제2 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가 동일하다고 판단되면, 상기 사라진 객체와 상기 새롭게 등장한 객체를 동일한 객체로 판단할 수 있다.
추가적으로 또는 대안으로, 상기 제1 분할 영상에서 상기 사라진 객체의 차선 식별 정보와 상기 제2 분할 영상에서 상기 새롭게 등장한 객체의 차선 식별 정보가 동일하지 않다고 판단되면, 상기 객체 추적부는 상기 제2 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가, 상기 사라진 객체의 차선 식별 정보의 인접한 다른 차선인지를 판단할 수 있다.
추가적으로 또는 대안으로, 상기 제2 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가 상기 사라진 객체의 차선 식별 정보의 인접한 다른 차선이면, 상기 객체 추적부는 상기 새롭게 등장한 객체와 상기 제1 분할 영상에서 상기 사라진 객체를 동일한 객체로 판단할 수 있다.
본 발명에 따라 도로 영상 내 객체 추적을 위한 영상 분석 시스템이 제안되며, 상기 영상 분석 시스템은 도로 영상을 복수 개의 영역으로 분할하고, 상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하며, 상기 복수 개의 분할 영상 각각 내에서 획득된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 영상 분석 장치; 및 상기 도로 영상을 제공받아 저장 또는 표시하거나 상기 영상 분석 장치로부터 객체 추적의 결과를 수신하여 표시하는 운영 장치를 포함할 수 있다.
추가적으로 또는 대안으로, 상기 영상 분석 장치는 레이더 센서를 포함하는 객체 검출 장치와 연동하여 동작할 수 있다.
추가적으로 또는 대안으로, 상기 운영 장치는 상기 영상 분석 장치로부터 객체에 대한 정보를 제공받아 교통 정보, 불법주정차 정보, 속도위반 정보 및 생활방범 정보 중 적어도 하나를 생성하여 표시할 수 있다.
추가적으로 또는 대안으로, 상기 영상 분석 시스템은 상기 도로 영상을 촬영하기 위한 촬영 장치를 더 포함할 수 있다.
본 발명에 따라 도로 영상 내 객체 추적을 위한 영상 분석 방법이 제안되며, 상기 영상 분석 방법은 도로 영상을 복수 개의 영역으로 분할하는 단계; 상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하는 단계; 및 상기 복수 개의 분할 영상 각각 내에서 획득된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 단계를 포함할 수 있다.
상기 과제 해결방법들은 본 발명의 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따르면, 영상 내 객체 크기의 변화가 큰 화각의 영상에서의 객체 검출 및 추적율이 향상될 수 있다.
또한, 본 발명에 따르면, 고해상도 영상의 분석에 필요한 프로세싱 부하를 줄이므로, 효율적인 영상 분석이 가능하다.
본 발명에서 얻은 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 본 발명과 관련된 영상 분석 시스템의 전체적인 구성을 도시한다.
도 2는 본 발명과 관련된 도로 영상을 도시한다.
도 3은 본 발명과 관련된 도로 영상 내의 차선 인식과 관련된 도면이다.
도 4는 본 발명과 관련된 도로 영상 의 일부 분할 영상을 축소한 것을 도시한다.
도 5는 본 발명과 관련된 분할 영상들에 걸친 객체의 동일성 판단과 관련된 도면이다.
도 6은 본 발명에 따른 방법의 순서도를 도시한다.
도 7은 본 발명에 따른 방법의 순서도를 도시한다.
도 8은 본 발명에 따른 영상 분석 장치의 블록도를 도시한다.
도 1은 본 발명과 관련된 영상 분석 시스템의 전체적인 구성을 도시한다.
도 2는 본 발명과 관련된 도로 영상을 도시한다.
도 3은 본 발명과 관련된 도로 영상 내의 차선 인식과 관련된 도면이다.
도 4는 본 발명과 관련된 도로 영상 의 일부 분할 영상을 축소한 것을 도시한다.
도 5는 본 발명과 관련된 분할 영상들에 걸친 객체의 동일성 판단과 관련된 도면이다.
도 6은 본 발명에 따른 방법의 순서도를 도시한다.
도 7은 본 발명에 따른 방법의 순서도를 도시한다.
도 8은 본 발명에 따른 영상 분석 장치의 블록도를 도시한다.
이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.
도 1은 본 발명과 관련된 영상 분석 시스템의 전체적인 구성을 도시한다. 영상 분석 시스템에는, 교통 상황을 촬영하여 영상을 생성하기 위한 카메라 등의 촬영 장치(1)와 그와 관련된 부속 장치들, 촬영 장치(1)와 유선 또는 무선으로 연결되는 영상 분석 장치(2), 그리고 상기 영상을 전달받아 실시간 관제하거나 영상을 저장하고 관리하는 등의 작업을 수행하는 각종 지자체, 도로공사, 시설공단, 경찰청 등이 운영하고 있는 교통 관제실과 같은 운영 장치(3)를 포함할 수 있다. 또한, 영상 분석 시스템은 다양한 객체 검출 장치(예컨대, 전자기적 센서, 레이더 센서, 영상 센서 중 적어도 하나)를 더 포함할 수 있으며, 이 경우 영상 분석 장치(2)는 객체 검출 장치와 연동하여 동작할 수 있다. 본 발명에 따른 영상 분석 장치(2)는 촬영 장치(1) 또는 운영 장치(3)에 포함되거나, 또는 촬영 장치(1) 및 운영 장치(3)와 통신하는 별도의 장치나 시스템 등으로 존재할 수 있다.
도 2는 본 발명과 관련된 도로 영상을 도시한다. 도로 내 이동 흐름을 촬영하는 촬영 장치(1)는 고정형 카메라 또는 스피드돔(Speed Dom) 카메라와 같은 회전형 카메라를 포함하여 구성될 수 있다. 이러한 촬영 장치(1)는 도로 영역을 촬영하기 위한 화각을 갖도록 지주 상의 일정 높이에 고정 설치될 수 있다. 이에 따라, 도 2에 도시된 것처럼, 촬영 장치(1)로부터 촬영된 영상은 먼 영역 내 객체는 크기가 작은 편이고, 촬영 장치(1)와 가까워질수록 객체의 크기는 커지는 특징이 있다.
본 발명에 따른 영상 분석 장치(2)는 촬영 장치(1)에서 촬영된 도로 영상 내의 차선 인식을 수행할 수 있다.
예를 들어, 도 2는 원본 도로 영상에서 도로를 인식한 모습을 도시하며, 여러 색의 선 또는 도형 등으로 각 차선(상행, 하행 차로), 중앙선(중앙분리대), 도로 영역 최외곽 등을 인식의 결과를 표시한 것이다. 원본 도로 영상에서는, 이와 같이 차선을 인식하고, 인식된 차선마다 1차선, 2차선 등 차선 식별 정보(ID)가 부여된 차선 인식 영역을 설정하여 차선 인식 영역 내에서 객체를 검출하고 이동하는 객체의 차선을 식별함으로써 객체의 차선 이동을 추적할 수 있다.
도 3은 본 발명에 따라 도로 영상을 분할한 것을 도시한다.
도 2에 도시된 것과 같은 도로 영상에서, 앞서 말한 문제점을 해결하기 위해, 영상이 복수 개의 영역으로 분할될 수 있고, 분할은 촬영 장치(1)로부터의 거리(또는 객체의 크기)를 기준으로 결정될 수 있으므로, 도시된 것처럼 수평선을 통해 분할되는 것으로 이해될 수 있다.
도 3에서는, 도로 영상을 총 5개의 분할 영상으로 나눈 것을 도시한다. 각 영역이 분할되는 기준은, 예를 들어, 첫번째 분할 영상(맨 상단부터 C1 직선으로 이루어진 영역)은 객체의 크기가 본 발명에 따른 영상 분석 또는 객체 인식을 통해 인식될 수 있는 최소의 크기의 객체들이 포함된 것으로 구성될 수 있다. 또는, 예를 들어, 첫번째 분할 영상(맨 상단부터 C1 직선으로 이루어진 영역)은 객체의 크기가 본 발명에 따른 영상 분석 또는 객체 인식을 통해 인식될 수 없는 크기의 객체들이 포함된 것으로 구성될 수 있다. 이 경우엔, C1 내지 C2로 이루어진 영역에 해당하는 분할 영상부터 그 안에 있는 객체를 인식할 수 있을 것이다.
즉, 영상의 분할은 영상 내 객체의 크기를 기반으로 이루어질 수 있다.
또다른 예로, 분할 영상의 축소가 필요한 경우에, 축소하고 나서의 분할 영상 내 객체의 크기가 본 발명에 따른 영상 분석 또는 객체 인식을 통해 인식될 수 있는 최소의 크기의 객체들이 포함된 것으로 구성될 수 있다. 즉, 분할 영상의 축소율은 객체 검출이 가능한 최소 객체 크기를 기준으로 결정될 수 있다. 이에 따라, 상기 영역의 분할은 영상 내 객체의 크기 및/또는 축소율을 기반으로 이루어질 수 있다.
도 3에서와 같은 영상 분할 이후, 영상 분석 장치(2)는 각 분할 영상에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정한다. 예를 들어, 도 3은 분할 영상마다 설정된 차선 인식 영역을 서로 다른 색상으로 표시하여 나타낸 것이다.
이후, 영상 분석 장치(2)는 각 차선 인식 영역의 위치 좌표를 획득한다. 여기서, 위치 좌표는 각 분할 영상 내 차선 인식 영역을 구성하는 픽셀의 좌표로 이루어질 수 있다.
이후, 영상 분석 장치(2)는 위치 좌표로부터 비율 좌표를 획득한다. 여기서, 비율 좌표는 위치 좌표를 정규화한 좌표로서, 위치 좌표를 각 분할 영상의 크기(즉, 해상도 크기)에 따른 전체 픽셀 수로 나누어 계산될 수 있다. 즉, 비율 좌표는 위치 좌표(x, y)의 수평축 상 위치 x를 각 분할 영상의 해상도의 수평축 범위에서의 상대적인 위치 x', 수직축 상 위치 y를 각 분할 영상의 해상도의 수직축 범위에서의 상대적인 위치 y'로 나타낸 좌표(x', y')이다. 예를 들어, 분할 영상의 해상도가 1920 x 1080 이고, 1차선에 설정된 차선 인식 영역을 구성하는 어느 하나의 픽셀의 위치 좌표(x, y)의 경우, x가 1000, y가 1000이라고 가정하면, 해당 픽셀의 비율 좌표는 x가 0.5208333333, y가 0.9259259259로 계산된다. 즉, 위치 좌표 x, y가 해상도 크기에 따른 비율이 반영되어 0 ~ 1 사이의 비율 좌표로 정규화 된다. 이때 x는 영상의 좌측을 기준으로 폭(width) 방향으로의 픽셀 위치를 나타내고, y는 영상의 하단을 기준으로 높이(height) 방향으로의 픽셀 위치를 나타낸다. 이러한 비율 좌표는 영상의 크기가 축소되더라도 유지되므로, 축소 전 영상에서의 비율 좌표와 축소된 영상에서의 비율 좌표는 서로 동일하다.
이와 같이 계산된 비율 좌표에 따라 차선 인식 영역을 표시하게 되면, 후술할 도 4와 같이, 영상의 해상도를 다운시켜 영상 크기를 축소하더라도 차선 인식 영역의 좌표가 해상도 크기에 따른 비율로 정규화 되었기 때문에, 축소된 영상에서도 축소 전 영상에 대응하는 위치에 차선 인식 영역이 표시될 수 있다. 따라서, 각 분할 영상 내 차선 식별 정보가 부여된 차선 인식 영역 역시 축소된 영상에서도 축소 전 영상에 대응하는 위치와 모양으로 표시될 수 있다.
한편, 차선 인식 영역의 비율 좌표는 차선 인식 영역의 모양에 따라 복수 개로 획득될 수 있다. 예를 들어 다각형 모양의 차선에 의해 설정된 다각형 모양의 차선 인식 영역의 경우, 그 꼭지점 수에 해당하는 비율 좌표를 포함하는 것이 바람직하다.
앞서 설명했듯이, 각 차선 인식 영역은 차선 식별 정보가 부여되었으므로, 분할된 영상에서 차선 인식 영역이 검출되면, 검출된 차선 인식 영역의 차선 식별 정보(즉, 몇 번 차선인지)가 획득될 수 있다.
도 4는 본 발명과 관련된 도로 영상의 일부 분할 영상을 축소한 것을 도시한다.
도 4는 도 3에 도시된 분할 영상을, 축소율에 따라 축소한 것을 도시한다. 분할 영상의 축소라고 언급했지만, 분할 영상들 중 적어도 하나는 축소가 되지 않고, 원본 도로 영상에서 분할된 상태 그대로 일 수 있다.
이렇게 분할 영상을 축소하는 이유는, 앞서 설명한 것처럼, 영상 내 미검출되는 객체를 줄이고, 고해상도의 영상을 영상 분석하는데 필요한 프로세싱의 부하를 낮추기 위한 것이다. 고해상도의 영상의 경우 영상 분석을 위한 객체 검출, 추적 등에 있어서 과도한 수준의 해상도일 수 있으므로, 이를 축소함으로써 프로세싱 부하를 낮출 수 있다.
도 4에는 도 3에서 언급한처럼 원본 도로 영상에서 분할된 분할 영상(최상단부터 C1으로 이루어진 제1 분할 영상, C1 내지 C2으로 이루어진 제2 분할 영상, C2 내지 C3로 이루어진 제3 분할 영상, C3 내지 C4로 이루어진 제4 분할 영상, C4부터 최하단으로 이루어진 제5 분할 영상) 중 제2 내지 제5 분할 영상이 도시된다.
앞서 설명한 것처럼, 제1 분할 영상은 축소되지 않은 원본 영상에서 분할된 그대로의 영상이라고 가정한다. 제1 분할 영상 내의 객체들은 그 크기가 본 발명에 따른 영상 분석 또는 객체 인식이 불가능하다고 가정하고, 이에 따라 제1 분할 영상에서는 영상 분석 또는 객체 인식을 수행하지 않으며, 차선 인식 역시 하지 않는다. 이로 인해서, 본 발명에 따른 영상 분석 장치(2) 또는 시스템의 프로세싱 부하를 낮출 수 있다.
제2 분할 영상부터 차선 인식이 가능한데, 도시된 것처럼 분할 영상들 중 일부는 축소가 되었기 때문에, 연속하는 분할 영상들 사이의 경계 부분에서는 객체의 식별 또는 추적에 문제가 발생할 수 있다. 예컨대, 제2 분할 영상에 존재하던 객체가 시간의 흐름에 따라 제2 분할 영상에서는 사라지게 되고, 제3 분할 영상에서 새롭게 등장할 수 있다. 하나의 영상에서의 객체의 추적은 이러한 경계의 문제가 발생하지 않기 때문에, 연속적으로 가능하지만, 분할 영상, 특히 그 크기가 원본과 달리 축소된 분할 영상에서는 서로 별개의 영상의 경우와 마찬가지이므로, 복수의 분할 영상에서의 객체의 동일성을 식별하기 위한 수단이 필요하다.
본 발명에서는, 분할 영상들 내에서 객체 인식을 위해 도 2 또는 3과 관련하여 설명한 차선 식별 정보를 이용하도록 한다. 다만, 단순히 차선 식별 정보를 각 분할 영상들에 걸쳐서 1대1로 맵핑하면, 다음과 같은 문제점이 발생할 수 있다.
예컨대, 한 분할 영상에서 한 방향(예컨대, 하행 차로)에 5개의 차선이 있는 경우, 제2 분할 영상에서의 5번 차선과, 제3 분할 영상에서 5번 차선을 1대1로 맵핑하면, 도 4의 제4 분할 영상처럼 진출 램프 (차선)이 있는 경우에 문제가 발생할 수 있다. 도 4의 제4 분할 영상에는 하행선의 경우 진출 차선이 있으므로, 총 6개의 차선이 존재한다. 비단, 진출 또는 진입 차선 뿐만 아니라, 도로가 곡선의 형태를 이루거나 차선 축소 또는 차선 확대 등이 존재하는 도로의 경우에는 이러한 문제가 발생한다.
이에, 영상 분석 장치(2)는 축소된 각 분할 영상에 차선 식별 정보가 부여된 차선 인식 영역을 축소 설정하여 각 분할 영상에서의 차선의 동일성을 판단하고 이에 따라 객체의 동일성을 식별하게 된다.
즉, 영상 분석 장치(2)는 각 분할 영상에 대해 축소 전에 획득한 각 차선 인식 영역의 비율 좌표를 이용하여 축소된 각 분할 영상에서 각 차선 인식 영역을 설정하거나 인식할 수 있다. 앞서 설명한 바와 같이, 비율 좌표는 해상도 크기 비율에 따른 좌표로 정규화 된 값이기 때문에, 해상도를 다운시켜 축소된 영상에서도 축소 전 영상에 대응하는 위치와 모양으로 축소된 각 차선 인식 영역의 설정이 가능하다. 이로 인해, 축소된 분할 영상 내에서 차선 인식을 위한 별도의 영상 분석 과정이 필요 없게 된다.
이와 같이 축소된 분할 영상에 축소 설정된 각 차선 인식 영역은 상술한 영상 분할 당시 부여되어 있던 차선 식별 정보가 여전히 부여되어 있다. 따라서, 여러 분할 영상(제2 분할 영상, 제3 분할 영상, 제4 분할 영상, 제5 분할 영상)에 걸쳐 이동하는 객체의 차선을 식별하고 차선의 동일성을 판단할 수 있다.
분할 영상들에 걸쳐 차선의 동일성이 판단 가능하면, 시계열적으로(또는 순차적으로) 제2 분할 영상에서 사라진 객체(객체 A)와, 제3 분할 영상에서 새롭게 등장한 객체(객체 B)가 동일한 차선에 위치하는지 여부가 판단될 수 있다. 이로 인해, 서로 동일한 차선에 위치하는 것으로 판단되면, 객체 A와 객체 B가 서로 동일한 객체인 것으로 판단될 수 있다. 이에 따라, 복수 개의 분할 영상 내에서 객체의 식별 및 추적이 가능하다. 후술하는 설명에서, “사라진 객체”와 “새롭게 등장한 객체”는 모두 연속하는 분할 영상들에서, 한 분할 영상에서 사라진 객체와 그 다음 분할 영상에서 새롭게 등장한 객체를 의미한다. 이는 곧 “사라진 객체”는 직전의 시간 주기(영상 분석 또는 객체 추적을 위한)에서의 분할 영상에서는 객체 인식 및 추적이 되었으나, 그 다음 시간 주기에서의 분할 영상에서는 사라진 객체를 의미하며, “새롭게 등장한 객체”는 직전의 시간 주기에서의 분할 영상에서는 객체 인식 및 추적이 되지 않았으나, 그 다음 영상 분석 또는 객체 추적 시간 주기에서의 분할 영상에서는 새롭게 등장한 객체를 의미한다.
예를 들어, “사라진 객체” 와 “새롭게 등장한 객체”는 t=t1에서 분할 영상 1에서는 검출되었으나, t=t1+Δ 에서 분할 영상 1에서 검출되지 않은 객체 A와, t=t1에서 분할 영상 2(분할 영상 2는 도로 진행 방향에 따라 분할 영상 1의 바로 다음 영상임)에서 검출되지 않았고, t=t1+Δ에서 분할 영상 2에서 새롭게 등장한 객체 B를 의미한다. 여기서, Δ는 영상 분석 또는 객체 추적이 수행되는 시간 주기 또는 간격을 의미한다.
도 5는 위에 예시한 상황을 도시한다.
분할 영상 1과 분할 영상 2는 서로 인접한 영역에 대한 분할 영상이며, 동일한 원본 영상에서 분할된 영상이다. t=t1에서, 분할 영상 1에서 객체 A가 검출되었고, t=t1+Δ 에서 분할 영상 1에서 객체 A는 사라졌다. 또한, t=t1에서, 분할 영상 2에서는 검출되지 않은 객체 B가, t=t1+Δ 에서 분할 영상 2에서 검출되었다. 본 발명은 이러한 객체 A, B의 동일성을 판단하기 위해, 객체가 검출된 분할 영상에서의 차선 식별 정보를 획득하고, 만약 두 객체의 차선 식별 정보가 동일하면, 두 객체를 동일한 객체로 판단할 수 있다. 여기서, 차선 식별 정보는 분할 영상에서 객체가 검출된 차선 인식 영역에 부여된 차선 식별 정보를 획득함으로써 확인할 수 있다.
한편, 두 분할 영상에서 동일한 차선을 유지한 객체만이 반드시 동일한 객체로 판단할 필요는 없다. 구체적으로, 두 분할 영상의 경계 부근에서 차선 변경을 한 객체가 있다면, 한 분할 영상에서 사라진 객체의 차선 식별 정보와 그 다음 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가 다를 수도 있다. 다만, 그렇더라도, 예를 들어 2개 차선 이상의 변경은 사실상 불가능한 것으로 가정하여, 바로 이웃하는 차선으로의 변경만 허용하는 것으로 가정할 수 있다. 즉, 분할 영상들에서 차선의 동일성 판단의 결과, 다음 분할 영상에서 새롭게 등장한 객체가 그 앞의 분할 영상에서의 사라진 객체의 차선의 바로 옆 차선에 위치한 것으로 검출되면, 분할 영상에서 사라진 객체는 그 다음 분할 영상에서 새롭게 등장한 객체와 동일하다고 판단할 수 있다.
도 6은 본 발명에 따른 방법의 순서도를 도시한다. 도 6은 도로 영상 분석을 위한 방법에 관한 것으로서, 본 발명에 따른 영상 분석 장치(2), 또는 영상 분석 장치(2) 내의 특정의 구성요소(예컨대, 제어부 또는 프로세서부) 등에 의해 수행될 수 있고, 상기 구성요소의 명칭이나 이름은 해당 내용의 권리범위를 제약하지 않는다.
영상 분석 장치(2)는 도로 영상을 복수 개의 영역으로 분할할 수 있다(S610). 이는 개별 도로 영상(프레임)이 입력될 때마다 수행될 수 있다.
영상 분석 장치(2)는 각 분할 영상에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정한다.
이후, 영상 분석 장치(2)는 각 차선 인식 영역의 위치 좌표를 획득할 수 있다. 여기서, 위치 좌표는 각 분할 영상 내 차선 인식 영역을 구성하는 픽셀의 좌표로 이루어질 수 있다.
이후, 영상 분석 장치(2)는 위치 좌표로부터 비율 좌표를 획득한다. 여기서, 비율 좌표는 위치 좌표를 정규화한 좌표로서, 위치 좌표를 각 분할 영상의 크기(즉, 해상도 크기)에 따른 전체 픽셀 수로 나누어 계산될 수 있다. 즉, 비율 좌표는 위치 좌표(x, y)의 수평축 상 위치 x를 각 분할 영상의 해상도의 수평축 범위에서의 상대적인 위치 x', 수직축 상 위치 y를 각 분할 영상의 해상도의 수직축 범위에서의 상대적인 위치 y'로 나타낸 좌표(x', y')이다. 예를 들어, 분할 영상의 해상도가 1920 x 1080 이고, 1차선에 설정된 차선 인식 영역을 구성하는 어느 하나의 픽셀의 위치 좌표(x, y)의 경우, x가 1000, y가 1000이라고 가정하면, 해당 픽셀의 비율 좌표는 x가 0.5208333333, y가 0.9259259259로 계산된다. 즉, 위치 좌표 x, y가 해상도 크기에 따른 비율이 반영되어 0 ~ 1 사이의 비율 좌표로 정규화 된다. 이때 x는 영상의 좌측을 기준으로 폭(width) 방향으로의 픽셀 위치를 나타내고, y는 영상의 하단을 기준으로 높이(height) 방향으로의 픽셀 위치를 나타낸다. 이러한 비율 좌표는 영상의 크기가 축소되더라도 유지되므로, 축소 전 영상에서의 비율 좌표와 축소된 영상에서의 비율 좌표는 서로 동일하다.
영상 분석 장치(2)는 상기 분할된 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 조정된 분할 영상을 획득하는 영상 크기 변경을 수행할 수 있다(S620). 여기서, 축소는 복수 개의 영역에 따라 개별적인 축소율을 통해 이루어질 수 있다. 이 단계의 영상의 분할은 앞서 설명한 부분을 참조하도록 한다.
한편, 상기한 S620에서는, 그 이전 단계에서 각 분할 영상으로부터 획득한 차선 인식 영역의 비율 좌표를 이용하여 복수 개의 조정된 분할 영상 각각에 차선 인식 영역을 설정할 수 있다. 비율 좌표에 따라 차선 인식 영역을 설정하게 되면, 도 4와 같이, 영상의 해상도를 다운시켜 영상 크기를 축소하더라도 차선 인식 영역의 좌표가 해상도 크기에 따른 비율로 정규화 되었기 때문에, 축소된 영상에서도 축소 전 영상에 대응하는 위치에 차선 인식 영역이 표시될 수 있다. 따라서, 각 분할 영상 내 차선 식별 정보가 부여된 차선 인식 영역 역시 축소된 영상에서도 축소 전 영상에 대응하는 위치와 모양으로 표시될 수 있다.
이하의 설명에서는, “조정된” 분할 영상을 단순히 “분할 영상”이라 지칭하며, “분할 영상”은 그 크기가 원본 영상으로부터 축소가 되었을 수도 있고, 원본 그대로의 크기일 수도 있다.
영상 분석 장치(2)는 상기 복수 개의 분할 영상 각각 내에서 획득된 차선 식별 정보에 기초하여, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적할 수 있다(S630).
한편, 복수 개의 분할 영상에 걸친 객체의 추적에 있어서, 앞서 설명했던 영상의 분할로 인해 발생할 수 있는 문제를 해결하기 위한 방안을 도 7을 참조하여 설명한다.
도 7은 본 발명에 따른 방법의 순서도를 도시한다. 도 7은 분할 영상들 간의 객체의 동일성 또는 식별을 위한 방법에 관한 것이며, 본 발명에 따른 영상 분석 장치(2), 또는 영상 분석 장치(2) 내의 특정의 구성요소(예컨대, 제어부 또는 프로세서부) 등에 의해 수행될 수 있고, 상기 구성요소의 명칭이나 이름은 해당 내용의 권리범위를 제약하지 않는다. 앞서 설명한 도 4와 관련하여, 영상 크기 변경을 통해 (하나의 영상으로부터 획득된) 복수의 분할 영상이 입력된다(S710).
영상 분석 장치(2)는 앞 분할 영상에서 사라진 객체와 그 뒤 분할 영상에서 새롭게 등장한 객체가 존재하는지 여부를 확인할 수 있다(S720). 즉, t=t1에서 제1 분할 영상에서는 검출되었으나, t=t1+Δ에서 제1 분할 영상에서 사라진 객체가 있는지, 그리고 t=t1에서 제2 분할 영상에서는 검출되지 않았으나, t=t1+Δ에서 제2 분할 영상에서 새롭게 등장한 객체가 있는지가 확인될 수 있다.
만약, 분할 영상에서 사라진 객체와 그 다음 분할 영상에서 새롭게 등장한 객체가 존재한다고 확인되었으면, 영상 분석 장치(2)는 상기 사라진 객체(객체 A)의 차선 식별 정보와 상기 새롭게 등장한 객체(객체 B)의 차선 식별 정보를 획득할 수 있다(S730). 객체의 차선 식별 정보를 획득하기 위한 방법은 아래에서 설명하도록 한다.
앞서 설명한 것처럼, 각 분할 영상에서 비율 좌표의 획득을 통해 설정된 차선 인식 영역에는 차선 식별 정보가 부여될 수 있다. 따라서, 각 분할 영상에서 객체가 위치한 차선 인식 영역이 검출될 수 있으며, 검출된 차선 인식 영역에 대한 차선 식별 정보가 획득될 수 있다.
영상 분석 장치(2)는 제1 분할 영상에서 “사라진 객체”가 위치한 차선 인식 영역을 검출할 수 있으며, 이에 따라 “사라진 객체”의 차선 식별 정보를 획득할 수 있다. 영상 분석 장치(2)는 “새롭게 등장한 객체” 의 차선 식별 정보도 제2 분할 영상에서 “새롭게 등장한 객체” 의 차선 인식 영역을 검출함으로써 획득할 수 있다.
각 분할 영상들에서의 객체의 차선 식별 정보의 획득이 가능하면, 영상 분석 장치(2)는 시계열적으로(또는 순차적으로) 제1 분할 영상에서 사라진 객체(객체 A)와, 제2 분할 영상에서 새롭게 등장한 객체(객체 B)의 차선 식별 정보가 동일한지 여부를 판단할 수 있다(S740). 이로 인해, 차선 식별 정보가 서로 동일한 것으로 판단되면, 영상 분석 장치(2)는 객체 A와 객체 B가 서로 동일한 객체인 것으로 판단할 수 있다(S750). 이에 따라, 복수 개의 분할 영상에 걸쳐서 객체의 식별 및 추적이 가능하다.
한편, 두 분할 영상에서 동일한 차선을 유지한 객체만이 반드시 동일한 객체로 판단할 필요는 없다. 구체적으로, 두 분할 영상의 경계 부근에서 차선 변경을 한 객체가 있다면, 분할 영상에서 사라진 객체의 차선 식별 정보와 그 다음 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가 다를 수도 있다. 이에, 영상 분석 장치(2)는 객체 A와 객체 B의 차선 식별 정보가 동일하지 않으면, 제2 분할 영상에서 객체 A의 차선과 인접한 다른 차선에서 객체 A의 검출을 시도할 수 있다. 다만, 이러한 경우에라도, 예를 들어 2개 차선 이상의 변경은 사실상 불가능한 것으로 가정하여, 바로 이웃하는 차선으로의 변경만 허용하는 것으로 가정할 수 있다. 즉, 분할 영상들에서 차선의 동일성 판단의 결과, 분할 영상에서 새롭게 등장한 객체가 그 앞의 분할 영상에서의 사라진 객체의 차선의 바로 옆 차선에 위치한 것으로 검출되면, 영상 분석 장치(2)는 분할 영상에서 사라진 객체는 그 다음 분할 영상에서 새롭게 등장한 객체와 동일하다고 판단할 수 있다.
도 8은 본 발명에 따른 영상 분석 장치(2)의 블록도를 도시한다.
영상 분석 장치(2)는 영상 분할부(21), 영상 크기 변경부 (22), 객체 추적부(23), 제어부(24), 통신부(25) 및 저장부(26)를 포함할 수 있다.
영상 분할부(21)는 촬영 장치(1)로부터 도로 영상을 수신하여 획득하는 영상 획득부(미도시)에 의해 획득된 도로 영상을 복수 개의 영역으로 분할할 수 있다. 영상의 분할은, 촬영 장치(1)로부터의 거리(또는 객체의 크기)를 기준으로 결정될 수 있다.
영상 분할부(21)는 각 분할 영상에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정한다.
이후, 영상 분할부(21)는 각 차선 인식 영역의 위치 좌표를 획득한다. 여기서, 위치 좌표는 각 분할 영상 내 차선 인식 영역을 구성하는 픽셀의 좌표로 이루어질 수 있다.
이후, 영상 분할부(21)는 위치 좌표로부터 비율 좌표를 획득할 수 있다. 여기서, 비율 좌표는 위치 좌표를 정규화한 좌표로서, 위치 좌표를 각 분할 영상의 크기(즉, 해상도 크기)에 따른 전체 픽셀 수로 나누어 계산될 수 있다. 즉, 비율 좌표는 위치 좌표(x, y)의 수평축 상 위치 x를 각 분할 영상의 해상도의 수평축 범위에서의 상대적인 위치 x', 수직축 상 위치 y를 각 분할 영상의 해상도의 수직축 범위에서의 상대적인 위치 y'로 나타낸 좌표(x', y')이다. 예를 들어, 분할 영상의 해상도가 1920 x 1080 이고, 1차선에 설정된 차선 인식 영역을 구성하는 어느 하나의 픽셀의 위치 좌표(x, y)의 경우, x가 1000, y가 1000이라고 가정하면, 해당 픽셀의 비율 좌표는 x가 0.5208333333, y가 0.9259259259로 계산된다. 즉, 위치 좌표 x, y가 해상도 크기에 따른 비율이 반영되어 0 ~ 1 사이의 비율 좌표로 정규화 된다. 이때 x는 영상의 좌측을 기준으로 폭(width) 방향으로의 픽셀 위치를 나타내고, y는 영상의 하단을 기준으로 높이(height) 방향으로의 픽셀 위치를 나타낸다. 이러한 비율 좌표는 영상의 크기가 축소되더라도 유지되므로, 축소 전 영상에서의 비율 좌표와 축소된 영상에서의 비율 좌표는 서로 동일하다.
또한, 상기 영상의 분할은 영상 내 객체 크기 및/또는 분할 영상의 축소율을 기반으로 수행될 수 있다. 다시 말하면, 분할된 영상들 각각의 크기나 원본 영상에서 분할 영상들을 구분 또는 구성하는 기준은, 촬영 장치(1)로부터 분할 영상 내 피사체까지의 거리, 분할 영상 내 객체의 크기 및 분할 영상 각각의 축소율(축소되지 않은 것도 포함) 중 적어도 하나일 수 있다. 영상의 분할과 관련해서는 도 2와 관련된 설명을 참조할 수 있다.
영상 크기 변경부(22)는 분할된 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득할 수 있다. 영상 크기 변경부(22)는 영상 분할부(21)를 통해 획득한 각 차선 인식 영역의 비율 좌표를 이용하여 복수 개의 분할 영상 각각에 차선 인식 영역을 설정할 수 있다. 비율 좌표에 따라 차선 인식 영역을 설정하게 되면, 도 4와 같이, 영상의 해상도를 다운시켜 영상 크기를 축소하더라도 차선 인식 영역의 좌표가 해상도 크기에 따른 비율로 정규화 되었기 때문에, 축소된 영상에서도 축소 전 영상에 대응하는 위치에 차선 인식 영역이 표시될 수 있다. 따라서, 각 분할 영상 내 차선 식별 정보가 부여된 차선 인식 영역 역시 축소된 영상에서도 축소 전 영상에 대응하는 위치와 모양으로 표시될 수 있다.
객체 추적부(23)는 복수 개의 분할 영상 내에서 객체를 검출하고 객체의 차선 변경을 감지 또는 검출할 수 있다. 또한, 객체 추적부(23)는 복수 개의 분할 영상에 걸쳐서 객체를 추적할 수 있다. 즉, 객체 추적부(23)는 도로 상의 제1 영역에 대응하는 제1 분할 영상과 그 다음의 제2 영역에 대응하는 제2 분할 영상에서, 객체의 인식과 추적을 연속적으로 수행할 수 있다.
특히, 앞서 언급한 것처럼, 특정 분할 영상에서 새롭게 등장한 객체의 경우, 실제로 원본 영상에서 첫 등장한 객체인지 아니면 그 이전의 분할 영상에서 검출 및 추적이 되었던 객체인지를 확인할 수 있어야, 원본 영상 내의 온전한 객체 추적이 가능한데, 본 발명에서 제안하는 기술적 특징에 따르면, 연속된 분할 영상들에서 사리진 객체 및 새롭게 등장한 객체, 그리고 각 객체의 차선 식별 정보의 검출 등을 통해서 이를 달성할 수 있다. 차선 식별 정보의 검출을 위해, 앞서 설명한 것처럼, 각 분할 영상에서 비율 좌표의 획득을 통해 설정된 차선 인식 영역에는 차선 식별 정보가 부여될 수 있다. 따라서, 객체 추적부(23)는 각 분할 영상에서 객체가 위치한 차선 인식 영역을 검출할 수 있으며, 검출된 차선 인식 영역에 대한 차선 식별 정보가 획득될 수 있다.
즉, 객체 추적부(23)는 제1 분할 영상에서 “사라진 객체”가 위치한 차선 인식 영역을 검출할 수 있으며, 이에 따라 “사라진 객체”의 차선 식별 정보를 획득할 수 있다. 객체 추적부(23)는 “새롭게 등장한 객체” 의 차선 식별 정보도 제2 분할 영상에서 “새롭게 등장한 객체” 의 차선 인식 영역을 검출함으로써 획득할 수 있다.
객체 추적부(23)는 제1 분할 영상에서 ”사라진 객체”의 차선 식별 정보와 상기 제2 분할 영상에서 “새롭게 등장한 객체”의 차선 식별 정보가 동일하다고 판단되면, “사라진 객체”와 “새롭게 등장한 객체”를 동일한 객체로 판단할 수 있다.
객체 추적부(23)는 제1 분할 영상에서 “사라진 객체”의 차선 식별 정보와 제2 분할 영상에서 “새롭게 등장된 객체”의 차선 식별 정보가 동일하지 않으면, 상기 제2 분할 영상에서 “사라진 객체”의 차선과 인접한 다른 차선에서 사라진 객체의 검출을 시도할 수 있다. 객체 추적부(23)는 제2 분할 영상에서 “사라진 객체”의 차선과 인접한 다른 차선에서 새롭게 등장한 객체가 검출되면, 검출된 객체와 “사라진 객체”를 동일한 객체로 판단할 수 있다.
또한, 객체 추적부(23)는 레이더 센서를 포함하는 객체 검출 장치와 연동하여 동작할 수 있으며, 예컨대 객체를 검출하고 인식할 수 있다.
한편, 객체 추적부(23)는 사람이나 차량, 차량 번호판 등의 객체를 구분하여 검출 및 인식할 수 있다. 이는 다양한 목적을 위한 용도로서 활용되기 위함이며, 구체적으로는 객체 추적부(23)는 감시 목적 및 대상에 따라 교통정보 수집 시스템, 불법 주·정차 단속 시스템, 무인 도로 방범 시스템, 생활 방범 시스템, 지능형 사물 추적 시스템, 무인 신호·과속 단속 시스템, 주차 관리 시스템으로 분류되는 CCTV 시스템들과 연동하여 동작할 수 있다. 이를 위해, 객체 추적부(23)는 교통정보 수집, 불법주정차, 속도위반 또는 생활 방범에 필요한 객체를 검출 및 인식하고, 상기 검출 및 인식된 객체에 대한 정보를 각종 지자체, 도로공사, 시설공단, 경찰청 등이 운영하고 있는 교통 관제실과 같은 운영 장치(3)로 제공할 수 있다.
통신부(25)는 외부의 시스템(예컨대, 운영 장치(3))으로 분석된 결과를 전송할 수 있다. 또한, 저장부(26)는 원본 도로 영상을 저장하거나, 분할 영상들, 분할 영상들 각각에 적용된 축소율, 검출된/추적된 객체에 대한 정보 등을 저장할 수 있다.
제어부(24)는 영상 분석 장치(2)의 구성 요소들, 예컨대 영상 분할부(21), 영상 크기 변경부(22), 객체 추적부(23), 통신부(25) 및 저장부(26)를 제어하며, 좀더 상세하게는 해당 구성 요소가 본 명세서에서 기술된 특징을 구현하도록 지시/명령을 전달하고, 그에 따른 결과를 수신할 수 있으며, 하나의 구성 요소로부터 다른 구성 요소로 정보, 메시지, 데이터 등을 전달할 수 있다.
또한, 제어부(24)는 객체 추적부(23)로부터 검출 및 인식된 객체에 대한 정보로부터 차선별 차량 통행 정보를 생성하여 저장부(26)로 저장시키거나, 통신부(25)를 통해 운영 장치(3)로 제공할 수 있다. 여기서 차량 통행 정보는 차종, 속도 및 통행량 등을 포함할 수 있다.
한편, 운영 장치(3)는 도로 영상 또는 분할 영상을 제공받아 저장 또는 표시할 수 있고, 객체 추적의 결과를 수신하여 표시할 수 있다. 또한, 운영 장치(3)는 객체 추적부(23)로부터 검출 및 인식된 객체에 대한 정보를 제공받아 교통 정보, 불법주정차 정보, 속도위반 정보 또는 생활방범 정보 등을 생성하고 표시할 수 있다.
이상의 명세서에서, 서수(제1, 제2 등)를 사용하여 발명의 내용을 설명했는데, 서수는 발명의 권리범위를 제약하지 않으며, 동일한 서수가 반드시 동일한 구성 요소나 특징을 한정하는 것은 아니다.
이상의 명세서에서, "장치"와 그에 속한 구성들(영상 분할부(21), 영상 크기 변경부(22), 객체 추적부(23), 제어부(24), 통신부(25) 및 저장부(26) 등)이 해당 방법 또는 절차 등을 수행하는 것으로 설명하였으나, "장치"와 그에 속한 구성들은 명칭일 뿐 권리범위가 그에 종속되는 것은 아니다. 즉, 장치 외에도 시스템 등으로서도 해당 방법 또는 절차가 수행될 수 있으며, 그뿐만 아니라 도로, 통행로 내 이상 상황 감지를 위한 소프트웨어 또는 컴퓨터 또는 그 밖의 기계, 장치 등으로 판독가능한 코드에 의해 상기 방법 또는 방식이 수행될 수 있다.
아울러, 본 발명의 또다른 양태(aspect)로서, 앞서 설명한 제안 또는 발명의 동작이 "컴퓨터"(시스템 온 칩(system on chip; SoC) 또는 (마이크로) 프로세서 등을 포함하는 포괄적인 개념)에 의해 구현, 실시 또는 실행될 수 있는 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품(product) 등으로도 제공될 수 있고, 본 발명의 권리범위가 상기 코드 또는 상기 코드를 저장 또는 포함한 컴퓨터-판독가능한 저장 매체 또는 컴퓨터 프로그램 제품으로 확장가능하다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
Claims (13)
- 도로 영상 내 객체 추적을 위한 영상 분석 장치로서,
도로 영상을 복수 개의 영역으로 분할하고, 상기 복수 개의 영역에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정하고, 각 차선 인식 영역의 위치 좌표로부터 상기 복수 개의 영역의 해상도 크기에 따른 비율 좌표를 획득하는 영상 분할부;
상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하고, 상기 비율 좌표를 이용하여 상기 복수 개의 분할 영상에 차선 인식 영역을 설정하는 영상 크기 변경부; 및
상기 복수 개의 분할 영상 각각 내에서 획득된 상기 차선 인식 영역에 부여된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 객체 추적부를 포함하는, 영상 분석 장치. - 삭제
- 삭제
- 제1항에 있어서, 상기 영상 분할부는,
상기 복수 개의 영역 내 객체의 크기 또는 상기 도로 영상의 촬영 장치로부터의 이격 거리에 따라 상기 도로 영상을 복수 개의 영역으로 분할하는, 영상 분석 장치. - 제1항에 있어서, 상기 축소는 객체 검출이 가능한 최소 객체 크기를 기준으로 결정되는, 영상 분석 장치.
- 제1항에 있어서, 상기 객체 추적부는 상기 복수 개의 분할 영상 중 서로 인접한 영역에 대한 제1 분할 영상 및 제2 분할 영상에서,
상기 제1 분할 영상에서 검출되었으나 사라진 객체의 차선 식별 정보와 상기 제2 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가 동일하다고 판단되면, 상기 사라진 객체와 상기 새롭게 등장한 객체를 동일한 객체로 판단하는, 영상 분석 장치. - 제6항에 있어서, 상기 제1 분할 영상에서 상기 사라진 객체의 차선 식별 정보와 상기 제2 분할 영상에서 상기 새롭게 등장한 객체의 차선 식별 정보가 동일하지 않다고 판단되면, 상기 객체 추적부는 상기 제2 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가, 상기 사라진 객체의 차선 식별 정보의 인접한 다른 차선인지를 판단하는, 영상 분석 장치.
- 제7항에 있어서, 상기 제2 분할 영상에서 새롭게 등장한 객체의 차선 식별 정보가 상기 사라진 객체의 차선 식별 정보의 인접한 다른 차선이면, 상기 객체 추적부는 상기 새롭게 등장한 객체와 상기 제1 분할 영상에서 상기 사라진 객체를 동일한 객체로 판단하는, 영상 분석 장치.
- 도로 영상 내 객체 추적을 위한 영상 분석 시스템으로서,
도로 영상을 복수 개의 영역으로 분할하고, 상기 복수 개의 영역에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정하고, 각 차선 인식 영역의 위치 좌표로부터 상기 복수 개의 영역의 해상도 크기에 따른 비율 좌표를 획득하고, 상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하고, 상기 비율 좌표를 이용하여 상기 복수 개의 분할 영상에 차선 인식 영역을 설정하며, 상기 복수 개의 분할 영상 각각 내에서 획득된 상기 차선 인식 영역에 부여된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 영상 분석 장치; 및
상기 도로 영상을 제공받아 저장 또는 표시하거나 상기 영상 분석 장치로부터 객체 추적의 결과를 수신하여 표시하는 운영 장치를 포함하는, 영상 분석 시스템. - 제9항에 있어서, 상기 영상 분석 장치는 레이더 센서를 포함하는 객체 검출 장치와 연동하여 동작하는, 영상 분석 시스템.
- 제9항에 있어서, 상기 운영 장치는 상기 영상 분석 장치로부터 객체에 대한 정보를 제공받아 교통 정보, 불법주정차 정보, 속도위반 정보 및 생활방범 정보 중 적어도 하나를 생성하여 표시하는, 영상 분석 시스템.
- 제9항에 있어서, 상기 도로 영상을 촬영하기 위한 촬영 장치를 더 포함하는, 영상 분석 시스템.
- 도로 영상 내 객체 추적을 위한 영상 분석 방법으로서,
도로 영상을 복수 개의 영역으로 분할하고, 상기 복수 개의 영역에서 차선을 인식하여 각 차선에 대한 차선 식별 정보가 부여된 차선 인식 영역을 설정하고, 각 차선 인식 영역의 위치 좌표로부터 상기 복수 개의 영역의 해상도 크기에 따른 비율 좌표를 획득하는 단계;
상기 복수 개의 영역 중 적어도 하나를 축소하여 복수 개의 분할 영상을 획득하고, 상기 비율 좌표를 이용하여 상기 복수 개의 분할 영상에 차선 인식 영역을 설정하는 단계; 및
상기 복수 개의 분할 영상 각각 내에서 획득된 상기 차선 인식 영역에 부여된 차선 식별 정보에 기초한 객체의 동일성 판단을 통해, 상기 복수 개의 분할 영상에 걸쳐서 객체를 추적하는 단계를 포함하는, 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200139375A KR102228395B1 (ko) | 2020-10-26 | 2020-10-26 | 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200139375A KR102228395B1 (ko) | 2020-10-26 | 2020-10-26 | 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102228395B1 true KR102228395B1 (ko) | 2021-03-16 |
Family
ID=75224097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200139375A KR102228395B1 (ko) | 2020-10-26 | 2020-10-26 | 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102228395B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230057066A (ko) | 2021-10-21 | 2023-04-28 | 한전케이디엔주식회사 | Ai 기반 금구류 인식 및 결함 탐지 방법 및 장치 |
KR102689133B1 (ko) | 2023-10-05 | 2024-07-26 | 이상석 | 차량 번호 판독 및 카메라의 정렬을 자동으로 제어하기 위한 차량 번호 판독기 및 그의 동작 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002056381A (ja) * | 2000-08-11 | 2002-02-20 | Fujitsu Ltd | 道路状況画像処理装置 |
KR101803891B1 (ko) * | 2017-03-17 | 2017-12-28 | 주식회사 트라콤 | 셀영역별 교통인수와 객체추적 모듈로 이루어진 하이브리드형 셀영역 기반 교통상황 실시간 통보장치 및 방법 |
-
2020
- 2020-10-26 KR KR1020200139375A patent/KR102228395B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002056381A (ja) * | 2000-08-11 | 2002-02-20 | Fujitsu Ltd | 道路状況画像処理装置 |
KR101803891B1 (ko) * | 2017-03-17 | 2017-12-28 | 주식회사 트라콤 | 셀영역별 교통인수와 객체추적 모듈로 이루어진 하이브리드형 셀영역 기반 교통상황 실시간 통보장치 및 방법 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230057066A (ko) | 2021-10-21 | 2023-04-28 | 한전케이디엔주식회사 | Ai 기반 금구류 인식 및 결함 탐지 방법 및 장치 |
KR102689133B1 (ko) | 2023-10-05 | 2024-07-26 | 이상석 | 차량 번호 판독 및 카메라의 정렬을 자동으로 제어하기 위한 차량 번호 판독기 및 그의 동작 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11080995B2 (en) | Roadway sensing systems | |
US5434927A (en) | Method and apparatus for machine vision classification and tracking | |
US10664706B2 (en) | System and method for detecting, tracking, and classifying objects | |
US6396535B1 (en) | Situation awareness system | |
Patel et al. | License plate detection using Harris corner and character segmentation by integrated approach from an image | |
KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
EP3343443A1 (en) | Object detection for video camera self-calibration | |
US20020054210A1 (en) | Method and apparatus for traffic light violation prediction and control | |
WO2014172708A1 (en) | Pedestrian right of way monitoring and reporting system and method | |
JP2002536646A (ja) | 物体認識及び追跡システム | |
CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
CN111144231B (zh) | 一种基于深度图像的自助通道防尾随检测方法和*** | |
KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
WO2020183345A1 (en) | A monitoring and recording system | |
KR102228395B1 (ko) | 분할 영상을 활용한 영상 분석 장치, 시스템 및 이를 위한 방법 | |
TW202341006A (zh) | 物件追蹤整合方法及整合裝置 | |
CN117392585B (zh) | 闸机通行检测方法、装置、电子设备及存储介质 | |
KR102317311B1 (ko) | 영상을 이용한 정보 분석 시스템 및 그에 관한 방법 | |
JP7203277B2 (ja) | 車両ナンバープレートの認識率をモニタリングする方法及び装置、並びにコンピュータ読み取り可能な格納媒体 | |
Ge | A spatial-temporal-map-based traffic video analytic model for large-scale cloud-based deployment | |
Banerjee et al. | Bigdata Analytics and Artificial Intelligence for Smart Intersections | |
Döge | Experiences with video-based incident detection and parking space surveillance systems on motorways in the free state of Saxony | |
CN118314518A (zh) | 一种ai智能监控管理平台 | |
CA2905372C (en) | Roadway sensing systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |