KR102283482B1 - 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템 - Google Patents

객체추적을 통해 교통정보를 산출할 수 있는 영상시스템 Download PDF

Info

Publication number
KR102283482B1
KR102283482B1 KR1020210022543A KR20210022543A KR102283482B1 KR 102283482 B1 KR102283482 B1 KR 102283482B1 KR 1020210022543 A KR1020210022543 A KR 1020210022543A KR 20210022543 A KR20210022543 A KR 20210022543A KR 102283482 B1 KR102283482 B1 KR 102283482B1
Authority
KR
South Korea
Prior art keywords
tracking
area
tracking object
reliability
detected
Prior art date
Application number
KR1020210022543A
Other languages
English (en)
Inventor
조익현
이국진
박영기
Original Assignee
주식회사 싸인텔레콤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸인텔레콤 filed Critical 주식회사 싸인텔레콤
Priority to KR1020210022543A priority Critical patent/KR102283482B1/ko
Application granted granted Critical
Publication of KR102283482B1 publication Critical patent/KR102283482B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

객체추적을 통해 교통정보를 산출할 수 있는 영상시스템은 객체를 촬영할 수 있는 카메라와 카메라에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 개별통신부를 포함하는 CCTV카메라부 및 CCTV카메라부로부터 수신된 데이터 중 촬영된 영상에서 이동하는 적어도 하나의 객체를 검출하고, 검출된 객체를 추적객체로 설정하며, 설정된 추적객체 각각의 광류(optical flow)에 기초하여 추적객체가 이동될 예측영역을 산출하고, 산출된 예측영역에 대한 동일시각의 추적객체영역을 검출하며, 검출된 추적객체영역과 예측영역에 기초하여 추적객체에 대한 추적성공여부판단하고, 추적성공한 추적객체에 대한 신뢰도를 파악하며, 파악된 신뢰도에 기초하여 추적객체에 대한 추적여부를 판단하는 제어부를 포함한다.

Description

객체추적을 통해 교통정보를 산출할 수 있는 영상시스템{Video system that can calculate traffic information through object tracking}
본 발명은 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템에 관한 것으로, 보다 상세하게는 복수의 CCTV카메라를 이용하여 객체추적을 통해 혼합도, 교통량 등의 교통정보를 산출할 수 있는 영상시스템에 관한 것이다.
기존의 고정된 카메라에서 차량을 찾아내는 기술로 가장 널리 이용되는 기술은 배경 제거 기술이다. 이 기술은 자동차가 없는 도로 영상을 기반으로 도로 위의 움직이는 객체를 검출한다. 하지만 해당 기술은 검출된 객체를 인지하는 과정이 없다. 따라서 자동차가 아닌 다른 물체가 도로상에 움직이더라도 구분할 수 없다. 또한, 카메라의 흔들림이나 순간적인 밝기 변화 등의 배경 모델과 다른 환경에 매우 민감하다.
이러한 문제를 해결하기 위해 객체의 생김새 정보를 이용한 차량 탐색 방법이 연구되었다. 차량을 검출하는 가장 대표적인 방법으로는 Hog 특징 기반의 검출 방법이 있다. 이 방법의 경우에는 각각의 차량을 인지하고 검출한다는 장점이 있지만 한정된 각도에서 촬영된 차량만을 검출할 수 있다는 한계가 있다. 반면, 최근 활발하게 연구되고 있는 합성곱 신경망 기반의 객체 탐색 기술은 차량을 인지할 수 있을 뿐만 아니라 다양한 각도에서 바라보는 차량을 모두 검출 가능하며 높은 검출 성공률을 보인다.
추적은 연속된 영상에서 공통적으로 관측되는 객체를 연속적으로 파악하여 해당 객체의 정체성을 유지하는 것이다. 객체의 추적에 이용되는 대표적인 기술로는 특징 기반의 추적이 있다. 특징 기반의 추적은 객체의 생김새 정보인 색이나 특징점 등을 이용하여 객체를 추적하는 기술이다. 하지만 도로 영상의 경우 도로면의 색상과 비슷한 어두운 계열의 차량에 대한 색상 기반의 추적이 잘 이루어지지 않으며 작은 차량에서 특징점을 충분히 검출할 수 없다는 문제가 있다.
반면 광류 흐름 기반의 추적의 경우에는 영상 전체의 픽셀을 대상으로 광류의 흐름을 계산하는 추적 방법이다. 하지만 추적을 위해서는 객체 각각의 영역을 파악해야 하므로 배경 제거 기반의 차량 검출 방법과 함께 이용되는 경우 차량들의 간격이 좁은 교차로에서의 적용이 어렵다. 또한, 이동 차량의 속도가 빠른 경우 인접한 프레임 사이의 차량 이동이 크게 발생하므로 이동 차량의 추적에 적용하기 어렵다는 단점이 있다.
움직임 기반의 예측을 이용한 추적은 누적된 이동 정보를 바탕으로 현재의 위치를 추적하는 방법이다. 하지만 갑작스러운 객체의 움직임에 대응하지 못한다는 단점이 있어 상대적으로 신뢰도가 낮은 추적 방법이다.
따라서 본 발명의 목적은 객체추적을 정확히 하여 교통혼합도 및 교통량 등의 교통정보를 정확히 파악할 수 있는 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템은, 복수의 위치 각각에서 객체를 촬영할 수 있는 카메라와, 상기 카메라에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 개별통신부를 포함하는 복수의 CCTV카메라부; 및 상기 복수의 CCTV카메라부로부터 수신된 데이터 중 촬영된 영상에서 이동하는 적어도 하나의 객체를 검출하고, 검출된 객체를 추적객체로 설정하며, 설정된 상기 추적객체 각각의 광류(optical flow)에 기초하여 상기 추적객체가 이동될 예측영역을 산출하고, 산출된 예측영역에 대한 동일시각의 추적객체영역을 검출하며, 검출된 상기 추적객체영역과 상기 예측영역에 기초하여 상기 추적객체에 대한 추적성공여부판단하고, 추적성공한 상기 추적객체에 대한 신뢰도를 파악하며, 파악된 신뢰도에 기초하여 상기 추적객체에 대한 추적여부를 판단하는 제어부를 포함한다. 추적객체의 광류를 파악하여 추적객체가 이동할 영역을 예측하고 이동한 추적객체를 검출하여 중첩되는 부분에 따라 추적성공여부를 판단하고 차량들이 중첩되는 정도에 따라 신뢰도를 파악하여 추적여부를 결정하므로 교통정보를 정확하게 파악할 수 있으므로 교통혼합도 및 교통량 등의 교통정보를 정확히 제공할 수 있다.
여기서, 상기 제어부는, 상기 예측영역과 상기 추적객체영역의 중첩된 영역의 넓이를 상기 예측영역과 상기 추적객체영역를 합친 총넓이로 나누어 산출된 값이 기설정된 성공값 이상인지를 판단하여 추적성공여부를 판단할 수 있다.
그리고 상기 제어부는, 상기 예측영역은 L c = L p + O avg 에 의해 산출되며, L i d - L c ＜ T h 가 성립하면 상기 추적객체에 대한 추적을 성공으로 판단할 수 있다. L p : 전 프레임에서의 차량영역, O avg : 이전 프레임 차량 영역 내부의 광류흐름 평균, L c : 현재 프레임에서 차량의 영역 예측값, L i d : 객체 검증 단계를 통해 새롭게 검출된 차량 i번째 영역정보, T h : 기설정 임계값
여기서, 상기 제어부는, 상기 추적객체가 다른 추적객체에 의해 적어도 일부가 검출되지 않는 경우 미검출 정도에 따라 상기 추적객체에 대한 신뢰도를 감소시킬 수 있다.
그리고 상기 제어부는, 상기 신뢰도에 대한 임계신뢰도를 설정하며, 상기 추적객체에 대한 신뢰도가 상기 임계신뢰도 미만이 되면 상기 추적객체에 대한 추적을 중지시킬 수 있다.
본 발명에 따르면 추적객체의 광류를 파악하여 추적객체가 이동할 영역을 예측하고 이동한 추적객체를 검출하여 중첩되는 부분에 따라 추적성공여부를 판단하고, 차량들이 중첩되는 정도에 따라 신뢰도를 파악하여 추적여부를 결정하므로 교통정보를 정확하게 파악할 수 있으므로 교통혼합도 및 교통량 등의 교통정보를 정확히 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템의 예시도.
도 2는 객체를 추적하는 동작의 흐름 예시도.
도 3 내지 도 5는 개체추적에 대한 산출 설명 예시도.
도 6은 객체추적 성공여부의 산출 설명 흐름도.
도 7은 제어블록도.
이하, 첨부된 도면들을 참조하면서 본 발명의 바람직한 실시 예에 따른 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템(1)을 상세히 설명한다.
도 1은 본 발명에 따른 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템(1)의 예시도이고, 도 2는 객체(2)를 추적하는 동작의 흐름 예시도이며, 도 3 내지 도 5는 개체추적에 대한 산출 설명 예시도이고, 도 6은 객체추적 성공여부의 산출 설명 흐름도이며, 도 7은 제어블록도이다.
객체추적을 통해 교통정보를 산출할 수 있는 영상시스템(1)은 복수의 CCTV카메라부(10), 이동카메라부(20), 통신부(30), 디스플레이부(40), 사용자입력부(50), 저장부(60), 알림부(70) 및 제어부(80)를 포함한다.
복수의 CCTV카메라부(10)는 제1 CCTV카메라부(11), 제2 CCTV카메라부(12), 제3 CCTV카메라부(13) 및 제n CCTV카메라부(14)로 복수로 이루어진다. 복수의 CCTV카메라부(10) 각각은 카메라(111, 121, 131, 141)와 개별통신부(112, 122, 132, 142)를 포함한다.
제1 CCTV카메라부(11)는 복수의 위치 각각에서 객체(2)를 촬영할 수 있는 제1카메라(111)와, 제1카메라(111)에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 제1개별통신부(112)를 포함할 수 있다. 제1카메라(111)는 경우에 따라서는 줌인 및 회전이 가능하도록 설치되며, 줌인 및 회전을 구동하는 제1카메라구동부를 추가로 포함할 수 있다. 제1개별통신부(112)는 제1카메라(111)에서 촬영된 영상데이터를 후술할 제어부(80)로 전송할 수 있다.
제2 CCTV카메라부(12)는 복수의 위치 각각에서 객체(2)를 촬영할 수 있는 제2카메라(121)와, 제2카메라(121)에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 제2개별통신부(122)를 포함할 수 있다. 제2카메라(121)는 경우에 따라서는 줌인 및 회전이 가능하도록 설치되며, 줌인 및 회전을 구동하는 제2카메라구동부를 추가로 포함할 수 있다. 제2개별통신부(122)는 제2카메라(121)에서 촬영된 영상데이터를 후술할 제어부(80)로 전송할 수 있다.
제3 CCTV카메라부(13)는 복수의 위치 각각에서 객체(2)를 촬영할 수 있는 제3카메라(131)와, 제3카메라(131)에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 제3개별통신부(132)를 포함할 수 있다. 제3카메라(131)는 경우에 따라서는 줌인 및 회전이 가능하도록 설치되며, 줌인 및 회전을 구동하는 제3카메라구동부를 추가로 포함할 수 있다. 제3개별통신부(132)는 제3카메라(131)에서 촬영된 영상데이터를 후술할 제어부(80)로 전송할 수 있다.
제n CCTV카메라부(14)는 복수의 위치 각각에서 객체(2)를 촬영할 수 있는 제n카메라(141)와, 제n카메라(141)에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 제n개별통신부(142)를 포함할 수 있다. 제n카메라(141)는 경우에 따라서는 줌인 및 회전이 가능하도록 설치되며, 줌인 및 회전을 구동하는 제n카메라구동부를 추가로 포함할 수 있다. 제n개별통신부(142)는 제n카메라(141)에서 촬영된 영상데이터를 후술할 제어부(80)로 전송할 수 있다.
이렇게 CCTV카메라부(10)는 다수의 CCTV카메라부로 이루어지며, 서로 다른 위치의 각 지역 도로를 촬영할 수 있다.
이동카메라부(20)는 이동하여 지역 도로를 촬영할 수 있다. 이동카메라부(20)는 카메라를 구비하는 무인비행체로 마련될 수 있다. 이동카메라부(20)는 제어부(80)에 의해 조종될 수 있으며, 원하는 지역의 도로를 촬영할 수도 있다. 예컨대 도로에 사고가 발생한 경우 이를 더 자세하게 파악할 수 있도록 접근하여 사고 및 교통상황에 대한 정보를 촬영하여 제공할 수도 있다.
통신부(30)는 외부장치로부터 데이터를 수신할 수 있다. 복수의 CCTV카메라부(10)로부터 촬영된 영상을 수신하여 제어부(80)로 전달할 수 있다.
디스플레이부(40)는 복수의 CCTV카메라부(10)로부터 촬영된 복수의 영상을 표시할 수 있다. 디스플레이부(40)는 화면영역을 구획하여 촬영된 복수의 영상을 모두 표시할 수도 있고, 제어부(80)의 제어에 의해 일부 영상 또는 하나의 영상을 표시할 수도 있다. 디스플레이부(40)는 복수의 CCTV카메라부(10)와 이동카메라부(20)로부터의 동영상을 표시할 수도 있다.
사용자입력부(50)는 사용자가 촬영된 영상을 조작하거나 제어를 위한 사용자명령을 입력할 수 있도록 마련된다. 사용자입력부(50)는 키보드, 마우스, 모션입력, 음성입력, 터치입력을 포함하는 입력을 포함하여 사용자명령을 입력할 수 있도록 다양하게 마련될 수도 있다.
저장부(60)는 촬영된 영상 및 도로의 차량흐름, 혼잡도, 교통량 등의 정보를 저장할 수 있다. 이렇게 저장된 데이터를 기초로 하여 도로의 상황을 예측할 수도 있고, 교통량에 대한 분석, 예측 및 개선방향을 도출할 수도 있으며, 도로의 상태 등에 대한 데이터를 저장하여 도로의 보수일정, 보수필요지역 등에 대한 정보를 제공할 수 있도록 할 수도 있다.
알림부(70)는 촬영된 영상 내의 각종 상황을 사용자에게 알릴 수 있다. 알림부(70)는 스피커로 마련될 수도 있고, 디스플레이부로 마련될 수도 있다. 또한, 알림부(70)는 통신부로 마련되어 제어를 위한 자리에 부재중인 경우에도 사용자의 단말기로 정보를 알릴 수도 있다.
제어부(80)는 복수의 CCTV카메라부(10)로부터 수신된 데이터 중 촬영된 영상에서 이동하는 적어도 하나의 객체(2)를 검출하고, 검출된 객체(2)를 추적객체(3)로 설정하며, 설정된 추적객체(3) 각각의 광류(optical flow)에 기초하여 추적객체(3)가 이동될 예측영역을 산출하고, 산출된 예측영역에 대한 동일시각의 추적객체영역을 검출하며, 검출된 추적객체영역과 예측영역에 기초하여 추적객체(3)에 대한 추적성공여부판단하고, 추적성공한 추적객체(3)에 대한 신뢰도를 파악하며, 파악된 신뢰도에 기초하여 추적객체(3)에 대한 추적여부를 판단한다.
제어부(80)는 예측영역과 추적객체영역의 중첩된 영역의 넓이를 예측영역과 추적객체영역를 합친 총넓이로 나누어 산출된 값이 기설정된 성공값 이상인지를 판단하여 추적성공여부를 판단할 수 있다.
제어부(80)는 예측영역은 L c = L p + O avg 에 의해 산출되며, L i d - L c ＜ T h 가 성립하면 추적객체(3)에 대한 추적을 성공으로 판단할 수 있다. L p : 전 프레임에서의 차량영역, O avg : 이전 프레임 차량 영역 내부의 광류흐름 평균, L c : 현재 프레임에서 차량의 영역 예측값, L i d : 객체 검증 단계를 통해 새롭게 검출된 차량 i번째 영역정보, T h : 기설정 임계값
제어부(80)는 추적객체(3)가 다른 추적객체(3)에 의해 적어도 일부가 검출되지 않는 경우 미검출 정도에 따라 추적객체(3)에 대한 신뢰도를 감소시킬 수 있다.
제어부(80)는 신뢰도에 대한 임계신뢰도를 설정하며, 추적객체(3)에 대한 신뢰도가 임계신뢰도 미만이 되면 추적객체(3)에 대한 추적을 중지시킬 수 있다.
도 2는 객체(2)를 추적하는 동작의 흐름 예시도이다.
복수의 CCTV카메라부(10)로부터 촬영된 영상을 수신하면 신규 프레임 입력이 이루어진다(S1). 복수의 CCTV카메라부(10)로부터 수신된 데이터 중 촬영된 영상에서 이동하는 적어도 하나의 객체(2)를 검출한다. 검출된 복수의 객체를 복수의 추적객체(3)로 설정한다.
복수의 추적객체(3)에 대하여 광류 흐름 계산하며(S2), 이에 기초하여 추적객체(3)가 이동될 예측영역을 산출한다(S3).
또한, 산출된 예측영역에 대한 동일시각의 추적객체영역을 검출한다(S4).
복수의 추적객체(3)에 대한 예측영역과 추적객체영역을 이용하여 추적객체(3)에 대한 추적성공여부를 판단한다(S5). 즉, 예측영역과 추적객체영역의 중첩된 영역의 넓이를 예측영역과 추적객체영역를 합친 총넓이로 나누어 산출된 추적값이 기설정된 성공값 이상인지를 판단하여 추적성공여부를 판단한다. 추가적으로 살펴보면, 예측영역은 L c = L p + O avg 에 의해 산출되며, L i d - L c ＜ T h 가 성립하면 추적객체(3)의 대한 추적을 성공으로 판단할 수 있다.(L p : 전 프레임에서의 차량영역, O avg : 이전 프레임 차량 영역 내부의 광류흐름 평균, L c : 현재 프레임에서 차량의 영역 예측값, L i d : 객체 검증 단계를 통해 새롭게 검출된 차량 i번째 영역정보, T h : 기설정 임계값)
각각의 추적객체(3)에 대하여 산출된 추적값을 내림차순으로 정렬한다(S6).
추적객체(3)에 대한 신뢰도를 조정한다(S7).
신뢰도가 낮은 추적객체(3)는 추적을 중지시킨다(S8).
남은 검출결과에 대한 신규 객체(2)를 등록한다(S9).
여기서, 추적객체(3)에 대하여 광류 흐름 계산하는데 SPAT(Spatial Partition analysis tracking)형 기준표적박스검출부를 통해 검출된 기준 표적 박스를 기준으로 현재 프레임 상에 매칭 시키고, 현재 프레임 상의 기준표적박스에 위치한 특정 차량과, 이웃하는 또 다른 프레임 상의 기준 표적박스에 위치한 특정차량 사이의 움직임에 따라 나타나는 명암 변화(광류 : optical flow)를 연산하여 특정차량의 움직임을 추적제어시키는 역할을 한다.
여기서, 광류(OF, Optical Flow)를 기반으로 한 특정차량의 움직임을 추적제어시키는 것은 픽셀수준의 세기 측정을 기반으로 하며 영상에 대한 사전 정보 없이 움직이는 물체를 검출할 수 있다. 이 방법은 카메라가 움직이는 경우에 대해서도 검출이 안정적인 모션 추출이 가능한 특징을 가진다.
광류(OF, Optical Flow)란 이미지에서 밝기 패턴이 어떻게 이동하였는지를 나타내는 분포로, 이를 통해 지역적으로 물체들의 이동 정보를 얻을 수 있다. 광류는 크게 저밀도 광류(sparse optical flow), 고밀도 광류(dense optical flow)로 나눌 수 있다.
저밀도 광류의 예로는 Lucas-kanade방식이 있으며, 이는 특징점에 대하여 모션을 측정하는 방법이지만 고밀도광류는 보다 조밀하게 모든 픽셀에 대하여 모션을 측정하는 방법이다. 따라서 고밀도 광류의 계산량이 더 많아 시간이 더 소비되지만 더욱 정확하게 모션을 측정할 수 있다는 장점이 있다. 기준 표적박스를 기반으로 하여 특정차량의 움직임을 추적제아하기 위해 고밀도 광류 중 Farneback 방식으로 구성될 수 있다. Farneback 방식의 광류는 기준 표적박스를 기반으로하여 영상 블록에서 발생한 특정차량의 움직임에 관한 방향과 크기를 추적할 수 있다.
도 3 내지 도 5는 개체추적에 대한 산출 설명 예시도이다.
도 3 (a) 도로 상에 추적객체(3) A, B가 하방으로 이동하고 있다.
도 3 (b) 이에 따라 제어부(80)는 추적객체(3) A, B가 이동될 예측영역(PA, PB)을 산출한다. 산출된 예측영역에 대한 동일시각의 추적객체영역(A1, B1)을 검출한다. 이를 이용하여 추적값을 산출할 수 있다. 추적객체(3) A의 추적값은 A1과 PA가 중첩된 영역의 넓이를 A1과 PA에 의해 형성된 테두리 영역의 넓이로 나누어 산출된다. 이 추적값이 기설정 임계값보다 큰 지 작은 지를 판단하여 추적성공여부를 판단한다. 이와 같은 방법으로 각각의 추적객체(3)에 대하여 추적성공여부를 판단할 수 있다.
여기서, 추적값(IoU)은 다음 그림1과 같이 표현될 수 있다.
(그림 1)
Figure 112021020401521-pat00001
도 4 (a) 도로 상에 추적객체(3) A, C가 하방으로 이동하고 있고, 신규 추적객체(3) B가 촬영영역으로 진입하고 있다.
도 4 (b) 이에 따라 제어부(80)는 추적객체(3) A, B, C가 이동될 예측영역(PA, PB, PC)을 산출한다. 산출된 예측영역에 대한 동일시각의 추적객체영역(A1, B1, C1)을 검출한다. 이를 이용하여 추적값을 산출할 수 있다. 추적객체(3) A의 추적값은 A1과 PA가 중첩된 영역의 넓이를 A1과 PA에 의해 형성된 테두리 영역의 넓이로 나누어 산출된다. 이 추적값이 기설정 임계값보다 큰 지 작은 지를 판단하여 추적성공여부를 판단한다. 이와 같은 방법으로 각각의 추적객체(3)에 대하여 추적성공여부를 판단할 수 있다.
여기서, 복수의 CCTV카메라부(10)에 의해 촬영된 추적객체(3) B는 추적객체(3) A에 의해 적어도 일부가 검출되지 않는 부분이 발생할 수 있다. 이를 바탕으로 추적객체(3) B의 신뢰도는 감소하나 임계신뢰도 이하가 아니므로 도로 상에서 이동하는 추적객체(3)로 계속 추적하게 된다. 여기서, 추적객체(3) A, B, C는 하방으로 직진하고 있으며 신규로 늘어나는 추적객체(3)로 인하여 하방직진 방향으로의 교통량이 증가하는 것을 파악할 수 있다.
도 5 (a) 도로 상에 추적객체(3) A, C가 하방으로 이동하고 있고, 신규 추적객체 B가 촬영영역으로 진입하고 있다.
도 5 (b) 이에 따라 제어부(80)는 추적객체(3) A, B, C가 이동될 예측영역(PA, PB, PC)을 산출한다. 산출된 예측영역에 대한 동일시각의 추적객체영역(A1, B1, C1)을 검출한다. 이를 이용하여 추적값을 산출할 수 있다. 추적객체(3) A의 추적값은 A1과 PA가 중첩된 영역의 넓이를 A1과 PA에 의해 형성된 테두리 영역의 넓이로 나누어 산출된다. 이 추적값이 기설정 임계값보다 큰 지 작은 지를 판단하여 추적성공여부를 판단한다. 이와 같은 방법으로 각각의 추적객체(3)에 대하여 추적성공여부를 판단할 수 있다.
여기서, 복수의 CCTV카메라부(10)에 의해 촬영된 추적객체(3) B는 추적객체(3) A에 의해 적어도 일부가 검출되지 않는 부분이 발생할 수 있다. 이를 바탕으로 추적객체(3) B의 신뢰도는 감소하나 임계신뢰도 이하가 아니므로 도로 상에서 이동하는 추적객체(3)로 계속 추적하게 된다. 이후 추적객체(3) A는 좌측으로 이동하므로 도로 상에는 추적객체(3) B와 C가 하방으로 직진 이동하게 된다. 여기서, 추적객체(3) B, C는 하방으로 직진하고 있으며 신규로 늘어나는 추적객체(3)가 없으므로 인하여 하방직진 방향으로의 교통량이 증가하지 않는 것을 파악할 수 있다.
여기서, 추적객체(3)의 이동속도를 측정하여 도로의 교통량 및 혼잡도를 파악할 수도 있다.
도 6은 객체추적 성공여부의 산출 설명 흐름도이다.
추적객체(3)의 광류 흐름을 산출한다(S11).
추적객체(3)의 트랙을 설정한다(S12).
현재 프레임에서 복수 차량의 영역 예측값 즉, 예측영역은 L c = L p + O avg 에 의해 산출한다(S13).
추적객체(3)를 개수를 센다(S14).
추적객체(3)의 개수만큼 객체추적 성공여부를 파악했는 지 확인한다(S15).
파악한 만큼의 추적객체(3)에 넘버를 추가한다(S16).
L i d - L c ＜ T h 가 성립하는 지 확인한다(S17). 즉, 복수의 검출영역(L i d )이 어느 하나의 예측영역(L c )에서 얼마나 이격되어 있는 지를 파악하여 기설정 임계값보다 작은 지를 파악한다.
해당 예측영역(L c )에서 어느 하나의 검출영역(L i d ) 간의 거리가 기설정 임계값보다 작으면 해당 검출영역(L i d )과 해당 예측영역(L c )의 크기를 비교하여 기설정 임계크기보다 작은 지를 판단한다(S18). 해당 검출영역(L i d )과 해당 예측영역(L c )의 크기가 기설정 임계크기보다 작으면 추적객체(3)의 추적이 성공된 것으로 판단하고 계속 추적을 수행한다.
추적객체(3)의 트랙을 재설정한다(S19).
여기서, 추적객체(3)에 대한 신뢰도를 파악한다(S20).
추적객체(3)에 대한 신뢰도는 추적객체(3)가 다른 추적객체에 의해 적어도 일부가 검출되지 않는 경우 미검출 정도에 따라 추적객체(3)에 대한 신뢰도를 감소시킬 수 있다(S21). 또한, 추적객체(3)에 대한 신뢰도는 추적객체(3)가 다른 추적객체에 의해 적어도 일부가 검출되지 않게 된 후 적어도 일부가 검출되지 않고 소정시간 경과 후 다시 검출되는 경우에 추적객체(3)에 대한 신뢰도를 증가시킬 수도 있다(S22).
적어도 어느 하나의 추적객체(3)에 대한 신뢰도는 추적객체영역을 직방형으로 설정하는 경우 추적객체영역의 세로길이에 기초하여 다른 추적객체(3)에 대한 신뢰도를 변경하도록 할 수 있다.
예컨대 복수의 CCTV카메라 중 어느 하나와 어느 하나의 추적객체영역의 세로길이가 작은 추적객체(3) 사이에 추적객체영역의 세로길이가 큰 추적객체(3)가 있다면 추적객체영역의 세로길이가 작은 추적객체(3)는 추적객체영역의 세로길이가 큰 추적객체(3)에 의해 적어도 일부가 검출되지 않을 확률이 매우 커지므로 도로 상에서 이동하고는 있으나 보이지는 않을 수 있다. 이러한 경우 추적객체(3)에 대한 신뢰도는 급감되어 추적을 수행하지 않을 수 있다. 이러한 경우가 증가되면 될수록 교통량 및 교통혼잡도를 파악하는데 어려움이 있을 수 있다.
그러므로, 추적객체영역의 세로길이가 큰 추적객체(3)가 있는 경우 추적객체영역의 세로길이가 큰 추적객체(3) 주변의 추적객체(3)의 신뢰도를 변경할 필요가 있다. 예컨대, 추적객체영역의 세로길이가 작은 추적객체(3)가 추적객체영역의 세로길이가 큰 추적객체(3)에 의해 완전히 검출되지 않는 경우에도 소정시간동안 추적객체영역의 세로길이가 큰 추적객체(3)와 함께 이동하고 있는 것으로 판단하고 있을 수 있다.
또한, 추적객체(3)의 추적객체영역의 크기 및 이동속도에 따라서도 추적객체(3)의 신뢰도를 변경할 수 있다.
더불어, 야간의 경우 차량의 조명을 검출하고, 조명이 소정 거리 이동하는 속도를 파악하여 동일한 조명을 파악하고 차량의 크기를 파악할 수도 있다.
상기의 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템(1)은, 추적객체(3)의 광류를 파악하여 추적객체(3)가 이동할 영역을 예측하고 이동한 추적객체(3)를 검출하여 중첩되는 부분에 따라 추적성공여부를 판단하고 차량들이 중첩되는 정도에 따라 신뢰도를 파악하여 추적여부를 결정하므로 교통정보를 정확하게 파악할 수 있으므로 교통혼합도 및 교통량 등의 교통정보를 정확히 제공할 수 있다.
1: 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템
10: CCTV카메라부 11: 제1 CCTV카메라부
111: 제1카메라 112: 제1개별통신부
12: 제2 CCTV카메라부 121: 제2카메라
122: 제2개별통신부
13: 제3 CCTV카메라부 131: 제3카메라
132: 제3개별통신부
14: 제n CCTV카메라부 141: 제n카메라
142: 제n개별통신부
20: 이동카메라부 30: 통신부
40: 디스플레이부 50: 사용자입력부
60: 저장부 70: 알림부
80: 제어부

Claims (5)

  1. 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템에 있어서,
    객체를 촬영할 수 있는 카메라와, 상기 카메라에서 촬영된 영상을 포함하는 데이터를 전송할 수 있는 개별통신부를 포함하는 CCTV카메라부; 및
    상기 CCTV카메라부로부터 수신된 데이터 중 촬영된 영상에서 이동하는 적어도 하나의 객체를 검출하고, 검출된 객체를 추적객체로 설정하며, 설정된 상기 추적객체 각각의 광류(optical flow)에 기초하여 상기 추적객체가 이동될 예측영역을 산출하고, 산출된 예측영역에 대한 동일시각의 추적객체영역을 검출하며, 검출된 상기 추적객체영역과 상기 예측영역에 기초하여 상기 추적객체에 대한 추적성공여부판단하고, 추적성공한 상기 추적객체에 대한 신뢰도를 파악하며, 파악된 신뢰도에 기초하여 상기 추적객체에 대한 추적여부를 판단하는 제어부를 포함하며,
    상기 제어부는,
    상기 예측영역과 상기 추적객체영역의 중첩된 영역의 넓이를 상기 예측영역과 상기 추적객체영역를 합친 총넓이로 나누어 산출된 값이 기설정된 성공값 이상인지를 판단하여 추적성공여부를 판단하고, 상기 추적객체영역의 세로길이가 작은 추적객체가 상기 추적객체영역의 세로길이가 큰 추적객체에 의해 완전히 검출되지 않는 경우에도 소정시간동안 상기 추적객체영역의 세로길이가 큰 추적객체와 함께 이동하고 있는 것으로 판단하도록 상기 추적객체의 상기 추적객체영역의 크기 및 이동속도에 따라서 상기 추적객체의 신뢰도를 변경하도록 하는,
    객체추적을 통해 교통정보를 산출할 수 있는 영상시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 제어부는,
    상기 예측영역은 Lc = Lp + Oavg 에 의해 산출되며,
    Li d - Lc ＜ Th 가 성립하면 상기 추적객체에 대한 추적을 성공으로 판단하는,
    객체추적을 통해 교통정보를 산출할 수 있는 영상시스템.
    Lp : 이전 프레임에서의 차량영역, Oavg : 이전 프레임 차량 영역 내부의 광류흐름 평균, Lc : 현재 프레임에서 차량의 영역 예측값, Li d : 객체 검증 단계를 통해 새롭게 검출된 차량 i번째 영역정보, Th : 기설정 임계값
  4. 제1항에 있어서,
    상기 제어부는,
    상기 추적객체가 다른 추적객체에 의해 적어도 일부가 검출되지 않는 경우 미검출 정도에 따라 상기 추적객체에 대한 신뢰도를 감소시키는,
    객체추적을 통해 교통정보를 산출할 수 있는 영상시스템.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 신뢰도에 대한 임계신뢰도를 설정하며, 상기 추적객체에 대한 신뢰도가 상기 임계신뢰도 미만이 되면 상기 추적객체에 대한 추적을 중지시키는,
    객체추적을 통해 교통정보를 산출할 수 있는 영상시스템.
KR1020210022543A 2021-02-19 2021-02-19 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템 KR102283482B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210022543A KR102283482B1 (ko) 2021-02-19 2021-02-19 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210022543A KR102283482B1 (ko) 2021-02-19 2021-02-19 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템

Publications (1)

Publication Number Publication Date
KR102283482B1 true KR102283482B1 (ko) 2021-07-29

Family

ID=77127552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022543A KR102283482B1 (ko) 2021-02-19 2021-02-19 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템

Country Status (1)

Country Link
KR (1) KR102283482B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026123A (ko) * 2008-08-29 2010-03-10 주식회사 세인시스템 이동 물체의 특징점을 이용하는 영상 검지 방법
KR20110099992A (ko) * 2010-03-03 2011-09-09 주식회사 토페스 실시간 교통상황 검지 시스템
KR20110118376A (ko) * 2010-04-23 2011-10-31 동명대학교산학협력단 광류를 이용한 방범용 차량 감지 시스템
KR101735365B1 (ko) * 2017-01-19 2017-05-16 (주)나인정보시스템 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
KR101984209B1 (ko) * 2018-11-20 2019-05-30 주식회사 싸인텔레콤 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100026123A (ko) * 2008-08-29 2010-03-10 주식회사 세인시스템 이동 물체의 특징점을 이용하는 영상 검지 방법
KR20110099992A (ko) * 2010-03-03 2011-09-09 주식회사 토페스 실시간 교통상황 검지 시스템
KR20110118376A (ko) * 2010-04-23 2011-10-31 동명대학교산학협력단 광류를 이용한 방범용 차량 감지 시스템
KR101735365B1 (ko) * 2017-01-19 2017-05-16 (주)나인정보시스템 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
KR101984209B1 (ko) * 2018-11-20 2019-05-30 주식회사 싸인텔레콤 지능형 프레임별 연속추적제어모듈을 통한 연속프레임별 특정차량 실시간 추적장치 및 방법

Similar Documents

Publication Publication Date Title
US10878584B2 (en) System for tracking object, and camera assembly therefor
KR102283483B1 (ko) 교통량 산출을 위한 영상분석시스템
KR102189262B1 (ko) 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법
EP3641304B1 (en) Target object capturing method and device, and video monitoring device
JP6584024B2 (ja) 監視システム
US8189869B2 (en) Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera
US8170277B2 (en) Automatic tracking apparatus and automatic tracking method
US20100013917A1 (en) Method and system for performing surveillance
US20020054210A1 (en) Method and apparatus for traffic light violation prediction and control
WO2015089867A1 (zh) 一种交通违章检测方法
WO2016052837A1 (ko) 교통감시 시스템
CN111914592B (zh) 多相机联合取证方法、装置及***
KR20160105255A (ko) 차량 충돌 방지를 위한 지능형 신호등 제어 장치 및 방법
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
JP7125843B2 (ja) 障害検知システム
JP2003061075A (ja) 物体追跡装置、物体追跡方法および侵入者監視システム
KR102283482B1 (ko) 객체추적을 통해 교통정보를 산출할 수 있는 영상시스템
CN117082332A (zh) 使用雷达的相机设置的自动配置
CN112906428A (zh) 影像侦测区域取得方法及空间使用情况的判定方法
KR20230020184A (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
JP2006018339A (ja) ナンバープレート認識装置及び方法
JP2023036054A (ja) 目標カウント方法、装置、デバイス及び記憶媒体
CN115174889A (zh) 摄像机的位置偏移检测方法、电子设备和存储介质
CN107665332B (zh) 一种路口占有率和车辆流量计算方法及装置
WO2005120070A2 (en) Method and system for performing surveillance

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant