KR102347026B1 - 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치 - Google Patents

복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치 Download PDF

Info

Publication number
KR102347026B1
KR102347026B1 KR1020210129685A KR20210129685A KR102347026B1 KR 102347026 B1 KR102347026 B1 KR 102347026B1 KR 1020210129685 A KR1020210129685 A KR 1020210129685A KR 20210129685 A KR20210129685 A KR 20210129685A KR 102347026 B1 KR102347026 B1 KR 102347026B1
Authority
KR
South Korea
Prior art keywords
camera
cameras
image
fixed
area
Prior art date
Application number
KR1020210129685A
Other languages
English (en)
Inventor
고현준
Original Assignee
주식회사 넥스트케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트케이 filed Critical 주식회사 넥스트케이
Priority to KR1020210129685A priority Critical patent/KR102347026B1/ko
Application granted granted Critical
Publication of KR102347026B1 publication Critical patent/KR102347026B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H04N5/247—

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 다중 카메라 및 다중 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다. 다중 카메라를 이용한 영상분석장치는 복수의 고정 카메라에 의해 형성된 복수의 개별 감시 영역을 연속적으로 배치하여 형성된 확장 감시 영역을 갖는 다중 카메라로부터 수신한 복수의 카메라 영상에서 객체를 검출하며, 연속한 두 개별 감시 영역 각각에 대한 두 카메라 영상에서 동일 객체를 식별하여 메타 데이터를 생성하는 지능형 에지장치 및 상기 지능형 에지장치와 통신망을 통해 연결되며, 상기 메타 데이터를 이용하여 분석을 수행하는 에지기반 영상분석장치를 포함할 수 있다.

Description

복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치{VIDEO ANALYSIS DEVICE USING A MULTI CAMERA CONSISTING OF A PLURALITY OF FIXED CAMERAS}
본 발명은 다중 카메라 및 다중 카메라로 촬영한 영상을 분석하는 기술에 관한 것이다.
감시 카메라는 소정 영역을 감시할 목적으로 설치된다. 감시하려는 영역이 감시 카메라가 커버할 수 있는 범위보다 크면, 회전할 수 있는 PTZ 카메라가 설치될 수 있다. 회전, 틸트 및 줌이 가능하므로, PTZ 카메라가 촬영할 수 있는 감시 영역은 특정 방향을 향하도록 고정된 고정 카메라가 촬영할 수 있는 감시 영역보다 넓다. 하지만 PTZ 카메라는 고정 카메라에 비해 상대적으로 고가이다. 한편, PTZ 카메라는 회전하기 때문에, PTZ 카메라가 현재 촬영하고 있는 영역의 주변은 촬영되지 않는다. 이로 인해, 고정 카메라와 PTZ 카메라로 구성된 CCTV 카메라 1식이 선호되고 있다.
한국 공개특허공보 제10-2021-0065647호
본 발명의 실시예는 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있는 다중 카메라를 이용하여 촬영한 복수의 카메라 영상을 하나의 고정 카메라가 촬영한 영상으로 취급하여 분석할 수 있는 방안을 제공하고자 한다. 즉, 감시 영역을 확장하면서도 그에 따른 비용 증가를 최소화할 수 있는 영상 분석 방안을 제공하고자 한다.
본 발명의 일측면에 따르면, 다중 카메라를 이용한 영상분석장치가 제공된다. 다중 카메라를 이용한 영상분석장치는 복수의 고정 카메라에 의해 형성된 복수의 개별 감시 영역을 연속적으로 배치하여 형성된 확장 감시 영역을 갖는 다중 카메라로부터 수신한 복수의 카메라 영상에서 객체를 검출하며, 연속한 두 개별 감시 영역 각각에 대한 두 카메라 영상에서 동일 객체를 식별하여 메타 데이터를 생성하는 지능형 에지장치 및 상기 지능형 에지장치와 통신망을 통해 연결되며, 상기 메타 데이터를 이용하여 분석을 수행하는 에지기반 영상분석장치를 포함할 수 있다.
일 실시예로, 상기 다중 카메라는 상기 복수의 고정 카메라-여기서, 상기 복수의 고정 카메라 중 연속한 두 고정 카메라는 카메라 사이각만큼 벌어짐- 및 상기 복수의 고정 카메라가 고정되는 다중 카메라용 브라켓을 포함하되, 상기 다중 카메라용 브라켓은 장착 대상에 체결되는 장착 부재, 상기 장착 부재에 일단이 고정되며 타단은 서로 이격되는 복수의 암, 상기 암의 타단에 회전 가능하게 결합된 제1 회전 부재, 및 상기 제1 회전 부재에 회전 가능하게 결합되며 상기 고정 카메라가 장착되는 제2 회전 부재를 포함할 수 있다.
일 실시예로, 상기 지능형 에지장치는 객체 재인식에 의해 상기 연속한 두 개별 감시 영역 각각에 대응하는 상기 두 카메라 영상에서 동일 객체를 검출할 수 있다.
일 실시예로, 상기 지능형 에지장치에 의해 검출될 이벤트를 설정하면, 설정된 이벤트에 따른 카메라 설정은 연동에 의해 상기 다중 카메라를 구성하는 상기 복수의 고정 카메라에 적용될 수 있다.
일 실시예로, 상기 영상분석모듈은 상기 다중 카메라로부터 상기 복수의 카메라 영상을 수신하며, 상기 수신한 복수의 카메라 영상을 영상 분석에 적합하게 전처리하는 영상데이터 처리 모듈 및 상기 확장 감시 영역을 하나의 고정 카메라에 의해 촬영한 단일 감시 영역으로 취급하기 위해, 상기 확장 감시 영역을 구성하는 상기 복수의 개별 감시 영역간 배치 관계로부터 성립된 상기 복수의 카메라 영상간 대응 관계를 이용하여, 상기 연속한 두 개별 감시 영역에 각각 대응하는 상기 두 카메라 영상에서 상기 동일 객체를 식별하여 추적하는 영상분석모듈을 포함할 수 있다.
일 실시예로, 상기 확장 감시 영역은 상기 복수의 개별 감시 영역 중 상기 연속한 두 개별 감시 영역 사이에 형성된 사각 영역을 포함할 수 있다.
일 실시예로, 상기 두 카메라 영상 중 한 카메라 영상에서 이탈하는 객체가 나머지 카메라 영상에서 출현하는 위치는 상기 객체가 이탈하기 시작한 시점에서 결정된 벡터에 의해 결정될 수 있다.
일 실시예로, 상기 확장 감시 영역은 상기 복수의 개별 감시 영역 중 연속하는 두 개별 감시 영역에 의한 중첩 영역을 포함할 수 있다.
일 실시예로, 제1 카메라 영상의 좌측면은 제2 카메라 영상에 설정된 제2 검출선에 대응하고, 상기 제2 카메라 영상의 우측면은 상기 제1 카메라 영상에 설정된 제1 검출선에 대응하며, 상기 제1 검출선에 도달한 객체는 상기 제2 카메라 영상에서 식별 및 추적될 수 있다.
본 발명의 실시예에 따르면, 다중 카메라가 생성한 복수의 카메라 영상을 소프트웨어적으로 처리함으로써, 개별 감시 영역을 가진 복수의 고정 카메라를 하나의 확장 감시 영역을 가진 카메라와 같이 활용할 수 있게 되어 비용 대비 효율이 극대화될 수 있다. 특히, 복수의 카메라 영상이 현장에서 분석되기 때문에, 원격지에 위치한 영상분석장치로 전송하기 위해 필요한 통신 자원 역시 크게 감소될 수 있다.
또한, 본 발명의 실시예에 따르면 PTZ 카메라에 비해 상대적으로 저가의 고정 카메라를 이용하여 PTZ 카메라와 동일 또는 그 이상으로 넓은 감시 영역을 촬영할 수 있어서, 설치 비용이 크게 감소된다. 1대의 PTZ 카메라 또는 CCTV 카메라 1식과 달리, 복수의 고정 카메라로 구성된 다중 카메라의 감시 영역에서는 사각 영역이 일시적으로 발생하지 않는다.
이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 공지의 1식 카메라와 본 발명의 다중 카메라를 예시적으로 비교한 도면이다.
도 2는 다중 카메라용 브라켓을 예시적으로 도시한 도면이다.
도 3은 다중 카메라를 이용한 감시 영역 확장을 예시적으로 도시한 도면이다.
도 4는 다중 카메라에 의한 확장 감시 영역 및 단일 카메라에 의한 단일 감시 영역을 예시적으로 도시한 도면이다.
도 5는 확장 감시 영역에 적용하는 지능형 에지장치를 예시적으로 도시한 도면이다.
도 6은 확장 감시 영역에서 동일 객체를 검출 및 추적하는 과정을 예시적으로 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.
첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다. 한편, 설명의 편의와 이해를 돕기 위해서, 도면은 다소 과장하여 도시되었다.
도 1은 공지의 CCTV 카메라 1식과 본 발명의 다중 카메라를 예시적으로 비교한 도면으로, (a)는 공지의 CCTV 카메라 1식에 의한 감시 영역을 나타내며, (b)는 다중 카메라에 의한 확장 감시 영역이다.
도 1의 (a)를 참조하면, CCTV 카메라는 안전 또는 보안 목적으로 특정 영역(이하 감시 영역)을 촬영하여 감시 영상을 출력한다. 일반적으로 사용되는 CCTV 카메라 1식은 1대의 고정 카메라(10a)와 1대의 PTZ(Pan tilt zoom) 카메라(10b)로 구성된다. 고정 카메라(10a)에 의해 촬영되는 감시 영역(11a)은 고정적이며 변경되지 않는다. 따라서 검출된 객체가 감시 영역(11a)에서 이탈하면 더 이상 객체 추적이 불가능하게 된다. PTZ 카메라(10b)는 회전(Pan), 기울기 조절(Tilt), 확대(Zoom) 기능을 가지고 있어서, PTZ 카메라(10b)에 의해 촬영되는 감시 영역(11b, 11b')은 변경이 가능하다. 즉, PTZ 카메라(10b)는 감시 영역(11a)을 이탈한 객체를 촬영할 수 있다.
CCTV 카메라 1식은 2대의 카메라를 이용하여 상대적으로 넓은 감시 영역을 커버할 수 있는 장점을 가진다. 하지만 PTZ 카메라(10b)의 가격은 고정 카메라(10a) 상대적으로 고가이다. 따라서 PTZ 카메라(10b)를 필요한 수량만큼 설치하려면 상당한 비용이 요구된다. 특히, CCTV 카메라 1식이 상대적으로 넓은 감시 영역을 커버할 순 있지만, 동시에 감시 영역 전체를 커버하지 못한다. 도시된 예에서, PTZ 카메라(10b)의 감시 영역(11b)이 감시 영역(11a)의 좌측에 위치한 시점에서, 감시 영역(11a)의 우측 영역을 감시할 수 없게 된다. 유사하게, PTZ 카메라(10b)가 반시계 방향으로 회전하여 감시 영역(11b')을 촬영하는 동안, 감시 영역(11a)의 좌측 영역을 감시할 수 없다.
도 1의 (b)를 참조하면, 다중 카메라(20a, 20b, 20c)는 복수의 개별 감시 영역(21a, 21b, 21c)을 정의한다. 동일 사양을 가진 다중 카메라(20a, 20b, 20c)의 광축 사이의 각도(이하 카메라 사이각)는 실질적으로 동일하게 설정될 수 있다. 제2 고정 카메라(20b)에 의해 정의된 제2 감시 영역(21b)은 제1 고정 카메라(20a)에 의해 정의된 제1 감시 영역(21a)을 카메라 사이각 만큼 회전시킨 것과 실질적으로 동일할 수 있다. 동일한 관계는 제2 감시 영역(21b)와 제3 감시 영역(21c)간에도 성립될 수 있다. 따라서 동일한 카메라 사이각만큼 회전하여 배치된 다중 카메라는 각각의 감시 영역이 연속되어 부채꼴 형상을 갖는 확장 감시 영역을 정의할 수 있다. 확장 감시 영역을 형성하는 복수의 개별 감시 영역(21a, 21b, 21c)은 이웃하는 개별 감시 영역과 부분적으로 중첩되거나 이격될 수 있다. 중첩의 정도 또는 이격 거리는 카메라 사이각에 의해 조절될 수 있다.
고정 카메라의 화각은 렌즈에 의해 결정된다. 널리 사용되는 4.0 mm 고정 초점 렌즈의 경우 좌우 약 70도 및 상하 약 50도의 화각을 가지며, 전방으로 약 4M까지는 객체를 명확하게 식별 가능하게 촬영할 수 있지만, 그 이상의 거리에 있는 객체는 존재 여부 정도만 확인할 수 있다. 따라서 보다 먼 거리에 위치한 객체를 식별 가능하게 촬영하려면 초점 거리가 긴 렌즈를 사용하여야 하며, 그 경우 고정 카메라의 화각은 크게 감소한다. 예를 들어 8.0 mm 고정 초점 렌즈는 약 10M 내지 20M에 위치한 객체를 식별 가능하게 촬영할 수 있지만, 화각은 약 40도 이하이다. 본 명세서에서 지칭하는 확장 감시 영역, 개별 감시 영역 및 단일 감시 영역은 영상 분석을 통해 객체를 명확하게 검출 및 추적할 수 있는 영역이다. 따라서 개별 감시 영역 및 단일 감시 영역은 고정 카메라가 촬영할 수 있는 최대 범위의 영역보다는 상대적으로 작을 수 있다.
공지의 CCTV 카메라 1식과 비교하면, 다중 카메라는 사각 영역을 최소화할 수 있다. CCTV 카메라 1식의 경우, 회전하는 PTZ 카메라의 시야에서 벗어난 영역은 일시적으로 사각 영역이 될 수 있다. 이에 반해 다중 카메라는 복수의 개별 감시 영역 전부를 동시에 촬영하므로, 사각 영역이 발생하지 않는다. 따라서 다중 카메라는 동등 또는 보다 넓은 영역을 CCTV 카메라 1식보다 상대적으로 적은 비용으로 일시적인 사각 영역의 발생 없이 촬영할 수 있다.
사각 영역이 일시적으로 발생하는 상황과는 별도로, CCTV 카메라 1식을 이용한 객체 추적은 고정 카메라의 시야에서 벗어난 객체를 PTZ 카메라를 이용하여 추적하는 방식이다. 따라서 PTZ 카메라가 이미 객체를 추적하고 있는 동안에 새로운 이벤트가 PTZ 카메라 또는 고정 카메라의 시야에서 검출되더라도 추적이 불가능할 수 있다. 따라서 CCTV 카메라 1식으로 동시 추적할 수 있는 객체 또는 이벤트의 수는 매우 제한적이다. 이에 반해, 이하에서 상세히 설명하겠지만, 다중 카메라를 이용하여 추적 가능한 객체의 수는 확장 감시 영역 내에서는 실질적으로 제한되지 않는다. 다중 카메라를 구성하는 복수의 고정 카메라는 확장 감시 영역 전체를 촬영하기 때문에, 특정 객체를 추적하는 동안에도 새로운 객체나 이벤트를 검출하고 추적할 수 있다.
도 2는 다중 카메라용 브라켓을 예시적으로 도시한 도면으로, (a)는 다중 카메라용 브라켓을, (b)는 고정 카메라가 부착된 상태를 각각 나타낸다. 도 2에 예시된 다중 카메라용 브라켓은 복수의 고정 카메라를 설치하기 위한 일 예이며, 도시된 브라켓 이외에도 다양한 브라켓이 구현 가능하다.
다중 카메라는 카메라 사이각만큼 회전한 복수의 고정 카메라(20a, 20b, 20c) 및 복수의 고정 카메라(20a, 20b, 20c)를 설치 대상에 고정시키는 다중 카메라용 브라켓(30)을 포함한다. 다중 카메라용 브라켓(30)은 복수의 결합공(34)이 형성된 장착 부재(31), 장착 부재(31)에 일단이 고정된 복수의 암(32a, 32b, 32c), 및 복수의 암(32a, 32b, 32c) 각각의 타단에 결합된 카메라 결합 부재(33)를 포함할 수 있다.
장착 부재(31)는 장착 대상에 체결된다. CCTV 설치용 폴 또는 전신주에 다중 카메라를 설치하는 경우, 예시된 장착 부재(31)가 사용될 수 있다. 장착 부재(31)는 금속 판재로 제조되며, 판재의 양측이 장착 대상을 향해 절곡될 수 있다. 복수의 결합공(34)은 금속 판재의 양단 부근에 형성될 수 있다. 결합공(34)에 삽입된 금속 또는 합성 수지로 제조된 버클(35)을 이용하며 장착 부재(31)를 장착 대상에 체결할 수 있다. 한편, 벽면 등에 다중 카메라를 설치하는 경우, 장착 부재(31)는 복수의 결합공이 형성된 금속 판재일 수 있다.
복수의 암(32a, 32b, 32c)의 일단은 장착 부재(31)에 고정되며, 타단은 서로 이격된다. 예시된 구조에서, 이웃하는 암간의 사이각은 동일하며, 이로 인해 타단으로 갈수록 암(32a, 32b, 32c) 사이 거리는 증가할 수 있다. 제2 암(32b)은 제1 암(32a)과 제3 암(32c) 사이에 위치하며 장착 부재(31)의 전방으로 연장한다. 제1 암(32a)과 제3 암(32c)은 제2 암(32b)으로부터 소정의 사이각만큼 벌어져서 장착 부재(31)의 전방으로 연장한다. 복수의 암(32a, 32b, 32c)의 타단은 동일 직선상에 정렬될 수 있다. 따라서 제2 암(32b)은 제1 암(32a) 및 제3 암(32c)보다 짧을 수 있다.
카메라 결합 부재(33)는 암의 타단에 회전 가능하게 결합된 제1 회전 부재(33a) 및 제1 회전 부재(33a)에 회전 가능하게 결합되며 고정 카메라가 장착되는 제2 회전 부재(33b)를 포함할 수 있다. 제1 회전 부재(33a)의 회전축과 제2 회전 부재(33b)의 회전축은 수직할 수 있다. 고정 카메라의 지향 방향은 제1 회전 부재(33a)의 회전축을 중심으로 좌우로 조정될 수 있으며, 제2 회전 부재(33b)의 회전축을 중심으로 상하로 조정될 수 있다.
도 3은 다중 카메라를 이용한 감시 영역 확장을 예시적으로 도시한 도면으로, 고정 카메라의 개별 감시 영역과 이들을 조합한 확장 감시 영역을 예시하고 있다.
복수의 카메라 영상을 소프트웨적으로 처리하여 복수의 개별 감시 영역을 하나의 확장 감시 영역으로 취급하기 위해서는, 개별 감시 영역들간의 다양한 배치 관계를 고려하여야 한다. 도 3의 (a)는 개별 감시 영역들이 이격된 경우를, (b)는 개별 감시 영역들이 접하고 있는 경우를, 그리고 (c)는 개별 감시 영역들이 중첩된 경우를 각각 나타낸다.
다중 카메라를 구성하는 복수의 고정 카메라는 복수의 개별 감시 영역(또는 확장 감시 영역)에서 동일한 객체 및 이벤트를 검출하기 위한 복수의 카메라 영상을 출력한다. 만일 고정 카메라별 설정이 다르면, 객체 및 이벤트 검출이 불가능한 카메라 영상이 생성될 수 있어서, 영상 분석 효율이 감소될 수 있다. 이를 방지하기 위해서, 임의의 객체 또는 이벤트 검출이 설정되면, 설정된 이벤트 검출에 필요한 카메라 설정은 연동에 의해 다중 카메라를 구성하는 복수의 고정 카메라 전체에 적용될 수 있다. 따라서 고정 카메라마다 카메라 설정을 개별적으로 변경할 필요가 없어진다.
다중 카메라를 구성하는 복수의 고정 카메라는 개별 감시 영역을 각각 형성한다. 다중 카메라를 구성하는 복수의 고정 카메라의 사양이 실질적으로 동일하면, 복수의 개별 감시 영역도 실질적으로 동일하게 형성될 수 있다. 복수의 고정 카메라가 카메라 사이각 만큼 회전하면, 개별 감시 영역도 카메라 사이각 만큼 회전한다. 한편, 다중 카메라를 구성하는 복수의 고정 카메라의 사양이 상이하더라도, 고정 카메라를 적절하게 좌우 회전 및 상하 회전시키면 복수의 개별 감시 영역들을 서로 가깝게 형성할 수 있다. 따라서 복수의 고정 카메라는 하나의 확장 감시 영역을 부분적으로 촬영하여 생성된 복수의 카메라 영상을 조합하여 확장 감시 영역 전체를 나타낼 수 있도록 배치되어야 한다. 이하에서는 이 조건에 부합하는 배치의 경우를 구분해서 설명한다.
3대의 고정 카메라(20a, 20b, 20c)로 구성된 다중 카메라가 예시된 (a)에서, 카메라 사이각 θ 1 이 크면 개별 감시 영역(21a, 21b, 21c)이 서로로부터 이격되어 이웃한 두 개별 감시 영역 사이에 사각 영역(22a, 22b)이 발생할 수 있다. 반면, (b)와 (c)에 예시된 경우에서, 카메라 사이각 θ 2 또는 θ 3 이 적절하게 선택되면(여기서, θ 1 >θ 2 >θ 3 ), 및 θ 1 , θ 2 , θ 3 <90)사각 영역은 이웃하는 두 개별 감시 영역 사이에 발생하지 않을 수 있다.
공지의 CCTV 카메라 1식과 달리, 사각 영역(22a, 22b)은 개별 감시 영역 사이에 위치하며 사각 영역(22a, 22b)의 형상은 변경되지 않는다. 따라서 검출할 객체의 특성, 예를 들어 차량의 평균 길이 또는 일정한 주행 방향 등을 고려할 때, 사각 영역(22a, 22b)의 폭(즉, 두 개별 감시 영역 사이의 거리)이 지나치게 크지 않으면, 객체가 사각 영역(22a, 22b)에 일시적으로 진입하더라도 계속해서 추적할 수 있다.
4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 다중 카메라가 예시된 (b)에서, 고정 카메라의 수가 증가할수록 확장 감시 영역의 형태는 반원 형상과 비슷하게 된다. 고정 카메라(20a, 20b, 20c, 20d)를 적절하게 좌우 회전 및 상하 회전시키면 사각 영역 및 중첩 영역이 발생하지 않거나 발생하더라도 무시할 수 있을 정도로 개별 감시 영역들(21a, 21b, 21c, 21d)이 서로 가까워질 수 있다.
(c)도 4대의 고정 카메라(20a, 20b, 20c, 20d)로 구성된 다중 카메라가 형성한 확장 감시 영역을 예시한다. 카메라 사이각 θ 3 이 작으면 이웃하는 개별 감시 영역(21a, 21b, 21c, 21d)의 일부가 중첩되어 중첩 영역(23a, 23b, 23c)이 발생할 수 있다. 한편, (c)에서 제1 감시 영역(21a)과 제4 감시 영역(21d)이 고정 카메라(20a, 20d)로부터 멀어지도록 방사상으로 이동하면, 중첩 영역(23a, 23c)이 감소될 수 있다. 또한, 확장 감시 영역의 형상이 부채꼴에서 직선에 가까운 형상으로 변형될 수 있다.
도 4는 다중 카메라에 의한 확장 감시 영역 및 단일 카메라에 의한 단일 감시 영역을 예시적으로 도시한 도면이다.
도 4의 (a)를 참조하면, 두 대의 다중 카메라(20L, 20R)에 의한 확장 감시 영역(24a, 24b)이 왕복 4차선 도로에 정의될 수 있다. 제1 다중 카메라(20L) 및 제2 다중 카메라(20R) 각각은 3대의 고정 카메라를 포함하며, 지상으로부터 소정 높이에 설치되어 있다. 제1 내지 제3 고정 카메라는 카메라 사이각만큼 회전하여 설치되지만, 각 카메라 사이각은 동일하거나 상이할 수 있다. 한편, 네 대의 고정 카메라(25a, 25b, 25c, 25d)는 왕복 4차선 도로로 이어지는 골목길을 향해 설치되며, 고정 카메라(25a, 25b, 25c, 25d) 각각은 골목길의 일부 및 반대편 인도의 일부에 단일 감시 영역(26a, 26b, 26c, 26d)을 정의할 수 있다. 여기서, 왕복 4차선 도로는 고속 주행하는 차량이 통과하여 검출 및 추적할 객체의 수가가 많은 조건을 가지며, 골목길은 통과하는 차량 또는 행인이 적어서 검출 및 추적할 객체의 수가 작은 조건을 가지는 것으로 가정한다.
도 4의 (b)는 대상 객체를 검출하는 영역(이하 관심 영역) 밖에 위치한 영역들(F1, F2, F3, F4, F5)을 나타낸다. 여기서 영역 F1, F2, F3은 제1 확장 감시 영역(24a)을 촬영한 카메라 영상에서 제거될 영역을 나타내고, 영역 F4는 제3 단일 감시 영역(26c)을 촬영한 카메라 영상에서 제거될 영역을 나타내며, 영역 F5는 제4 단일 감시 영역(26d)을 촬영한 카메라 영상에서 제거될 영역을 나타낸다.
영상 분석 장치에 입력되는 카메라 영상은 검출 대상 객체뿐 아니라 비대상 객체까지 포함할 수 있다. 복수의 고정 카메라를 카메라 회전각만큼 회전하여 형성되므로, 확장 감시 영역은 부채꼴과 유사한 형상을 가질 수 있다. 따라서 관심 영역 밖에 위치한 객체도 카메라 영상에 포함될 수 있다. 예를 들어, 제1 다중 카메라(20L)에 의한 제1 확장 감시 영역(24a)은 도시된 도면의 좌측 2개 차선을 통과하는 차량 객체를 검출하기 위해 정의될 수 있다. 영역 F1 및 F3은 좌측 인도에 위치하며 그로 인해 사람 객체가 카메라 영상에 포함될 수 있다. 특히 영역 F1 및 F3에는 가로등이 위치하고 있어서, 비가 내리는 야간에는 가로등 불빛이 반사될 수도 있다. 한편 영역 F2는 도시된 도면의 우측 차선에 위치하며 그로 인해 반대 방향으로 주행하는 차량 객체가 카메라 영상에 포함될 수 있다.
이러한 영역들은 환경 필터를 이용하여 제거될 수 있다. 환경 필터는 관심 영역 내에서 노이즈로 작용할 수 있는 환경 요소를 제거한다. 환경 환경 요소는 다양하며, 주간에는 비나 눈, 야간에는 차량이나 가로등의 불빛이 대표적이다. 예를 들어, 도로에 반사된 불빛은 주변의 어두운 영역에 비해 밝은 영역의 화소값을 가진다. 영상에 표출된 밝은 영역은 예를 들어, Morphology 연산을 적용하여 감소되거나 제거될 수 있다. 이외에도, 환경 요소의 유형에 따라, 다양한 제거 방식이 적용될 수 있다. 또한, 환경 필터는 관심 영역 이외 영역을 제거함으로써 관심 영역만 영상 분석에 이용될 수 있도록 한다. 이를 통해 처리 속도 및 분석의 정확도가 향상될 수 있다.
도 5는 확장 감시 영역에 적용하는 지능형 에지장치를 예시적으로 도시한 도면이다.
지능형 에지장치(100)는 복수의 고정 카메라로 구성된 다중 카메라(20)와 설치된 현장에 설치되어, 다중 카메라에 의해 생성된 복수의 카메라 영상을 1차 영상 분석하여 메타 데이터를 생성할 수 있다. 메타 데이터는 영상에서 검출된 객체 및 객체 관련 이벤트 중 어느 하나에 대한 정보를 포함할 수 있다. 지능형 에지장치(100)는 카메라(20)가 설치된 위치 및 현장 상황에 적합하게 학습하며, 수행한 학습에 기초하여 복수의 카메라 영상을 분석할 수 있다. 지능형 에지장치(100)는, 예를 들어, 검출할 객체별로 설정된 이벤트를 검출하도록 학습될 수 있다. 생성된 메타 데이터는 에지기반 영상분석장치(200)에 의해 2차 영상 분석될 수 있다. 1차 영상 분석은 다중 카메라(20)에 의해 생성된 복수의 카메라 영상에서 학습된 이벤트를 검출하는 분석을 포함할 수 있다. 2차 영상 분석은 지능형 에지장치(100)가 학습하지 않은 이벤트를 검출하거나, 둘 이상의 카메라 영상으로부터 이벤트를 검출하기 위한 분석을 포함할 수 있다.
도 5를 참조하면, 지능형 에지장치(100)는 영상데이터 처리모듈(110), 영상분석모듈(120) 및 메타데이터 전송모듈(130)을 포함한다. 영상데이터 처리모듈(110)은 하나 이상의 다중 카메라(20)로부터 복수의 카메라 영상을 수신하며, 수신한 카메라 영상을 영상 분석에 적합하게 전처리한다. 영상분석모듈(120)은 전처리된 복수의 카메라 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다.
영상데이터 처리모듈(110)과 영상분석모듈(120)은 모듈 형태의 소프트웨어일 수 있다. 즉, 지능형 에지장치(100)는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함하며, 영상데이터 처리모듈(110) 및 영상분석모듈(200)은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.
영상데이터 처리모듈(110)은 RTSP 클라이언트, 디코더 및 영상 전처리 모듈을 포함할 수 있다. RTSP 클라이언트는 영상 전송 프로토콜, 예를 들어, RTSP를 지원하는 통신 모뎀으로, 다중 카메라(20)로부터 영상 데이터를 수신한다. 디코더는 수신된 영상 데이터를 디코딩하여 복수의 카메라 영상을 복원한다. 영상 전처리 모듈은 영상 분석에 적합하도록, 복원된 카메라 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 디코더 및 영상 전처리 모듈은 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.
영상분석모듈(120)은 하나 이상의 객체를 복수의 카메라 영상에서 검출하는 객체 검출 모듈 및 검출된 객체의 움직임을 분석하여 이벤트를 검출하는 이벤트 검출 모듈을 포함할 수 있다. 추가적으로, 객체 검출 모듈은 검출된 객체를 유형별로 분류하거나 검출된 객체를 추적할 수 있다. 객체 검출 모듈은, 예를 들어, 객체 이미지를 이용하여 학습되거나 객체를 표현한 템플릿을 이용하여 객체를 검출할 수 있다. 객체 검출 모듈은 검출 및 추적중인 객체에 관한 메타 데이터를 생성할 수 있다. 객체 검출 모듈은 둘 이상의 객체를 확장 감시 영역 내에서 검출 및 추적할 수 있다. 생성된 메타 데이터는 이벤트 검출 모듈에 의한 이벤트 검출에 이용되거나 통신망(40)을 통해 에지기반 영상분석장치(200)로 전송될 수 있다.
복수의 개별 감시 영역으로 구성된 하나의 확장 감시 영역을 효율적으로 감시하기 위해서는, 복수의 카메라 영상에서 동일 객체를 개별적으로 검출 및 추적하는 방식을 대신하여, 복수의 고정 카메라에 의해 촬영된 확장 감시 영역을 하나의 고정 카메라에 의해 촬영한 단일 감시 영역으로 취급하는 방식이 적용될 수 있다. 확장 감시 영역을 하나의 단일 감시 영역처럼 처리하기 위해서, 동일 객체를 복수의 카메라 영상에서 식별하며 추적할 수 있어야 한다. 객체가 개별 감시 영역 내에서 움직이는 동안에는 공지의 객체 추적 방식, 예를 들어, 객체의 움직임 예측을 통한 추적 방식, 객체의 속성 비교를 통한 추적 방식 등이 적용될 수 있다. 한편, 객체가 연속한 개별 감시 영역 중 하나로부터 이탈하기 시작하면, 하나의 확장 감시 영역을 구성하는 복수의 개별 감시 영역들 사이의 지리적인 배치 관계(이하 배치 관계)를 이용하여 객체를 식별 및 추적할 수 있다. 이를 통해, 연속된 두 카메라 영상에 표출된 객체의 동일 여부가 신속하게 결정될 수 있도록 한다. 여기서 배치 관계는 예를 들어 연속한 두 개별 감시 영역 사이의 거리, 연속한 두 개별 감시 영역간 각도를 포함할 수 있다. 배치 관계는 두 개별 감시 영역을 각각 촬영하여 생성된 두 카메라 영상간 대응 관계를 설정하는데 이용될 수 있다. 영상분석모듈(120)의 객체 검출 모듈이 객체를 검출 및 추적하는 방식은 이하에서 도 6을 참조하여 상세히 설명한다.
이벤트 검출 모듈은 검출된 객체의 행위가 미리 설정된 이벤트 조건에 부합하는지를 객체 검출 모듈이 생성한 메타 데이터를 이용하여 판단한다. 이벤트 검출 모듈은 둘 이상의 이벤트를 확장 감시 영역 내에서 검출할 수 있다. 기존의 이벤트 검출 방식은 딥러닝 방식과 룰 기반 방식 중 어느 하나에 의해 수행되었으며, 최근 들어 딥러닝 방식이 룰 기반 방식보다 상대적으로 더 많이 사용되고 있다. 딥러닝 방식은 객체의 속성을 검출하는데 유리하며, 룰 기반 방식은 객체를 검출하기 위해 미리 지정된 영역에서 객체의 행위를 검출하는데 유리하다. 딥러닝 방식은 객체 및 객체에 연관된 행위를 학습한 딥러닝 알고리즘이, 영상 또는 영상 속 객체의 속성을 추출하고, 해당 속성을 가진 객체의 행위가 미리 설정된 이벤트 조건에 부합하는지 판단하는 방식이다. 한편, 룰 기반 방식은 객체의 움직임을 기준으로 해당 객체의 행위를 특정하며, 해당 행위가 미리 설정된 이벤트 조건에 부합하는지 판단하는 방식이다.
딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 이벤트 검출 모듈도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출 모듈도 복수개일 수 있다. 이로 인해, 확장 감시 영역 내에서 특정 객체를 추적하는 동안에도 새로운 이벤트를 검출할 수 있다. 또한, 각 이벤트 검출에 의한 객체 추적을 복수로 수행할 수 있다.
통신망(40)은 메타 데이터의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC, LTE, 와이브로 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.
에지기반 영상분석장치(200)는 2차 분석 결과에 기초하여, 지능형 에지 장치(100)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(100)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지기반 영상분석장치(200)로 전송하여 분석을 요청할 수도 있다.
도 6은 확장 감시 영역에서 동일 객체를 검출 및 추적하는 과정을 예시적으로 도시한 도면으로, 복수의 개별 감시 영역 각각에 대한 복수의 카메라 영상을 소프트웨어적으로 처리하기 위한 방식을 예시적으로 설명하고 있다.
하나의 확장 감시 영역은 복수의 고정 카메라에 의해 촬영된다. 따라서 하나의 확장 감시 영역에서 움직이는 객체를 검출 및 추적하기 위해서는, 복수의 카메라 영상이 분석되어야 한다. 검출할 객체의 출현 빈도가 높은(즉, 혼잡도가 높은) 영역에 확장 감시 영역을 정의하면, 복수의 카메라 영상을 원격지의 영상 분석 장치로 전송하기 위해 상당한 큰 통신 대역폭이 요구된다. 반면, 혼잡도가 낮은 영역에 단일 감시 영역을 정의하면, 카메라 영상을 상대적으로 작은 통신 대역폭으로도 원격지의 영상 분석 장치로 전송할 수 있다.
따라서, 복수의 카메라 영상을 분석하여 생성한 메타 데이터가 원격지의 에지기반 영상분석장치(200)로 전송될 수 있다. 예를 들어, 고속으로 주행하는 다수의 차량 객체가 검출되는 도로에 설치된 다중 카메라는 현장에 설치된 지능형 에지장치(100)에 복수의 카메라 영상을 전송한다. 지능형 에지장치(100)는 설치된 현장 상황에 맞게 학습되며, 학습된 모델에 따라 검출한 객체 및 객체 관련 이벤트 중 어느 하나 또는 모두를 메타 데이터로 변환하여 에지기반 영상분석장치(200)로 전송한다. 한편, 지능형 에지장치(100)는 필요한 경우에 한해 카메라 영상을 에지기반 영상분석장치(200)로 전송할 수 있다. 이로 인해 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능해질 수 있다.
다중 카메라(20)에 연결된 지능형 에지장치(100)는 복수의 카메라 영상에서 동일 객체를 식별 및 추적할 수 있도록 학습된다. 복수의 카메라 영상에서 동일 객체를 식별 및 추적하는 대표적인 방식은 객체 재인식(Re-identification)이다. 객체 재인식은 딥러닝 분석을 통해 객체의 속성을 추출하며, 기존에 등록된 객체의 속성과 비교하여, 둘 이상의 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 기존에 등록된 객체와 일치할 확률(이하 유사도)이 표출되거나, 재인식된 객체에 부여되었던 객체 식별자가 다시 부여될 수 있다. 객체 재인식은 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 추출할 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.
도 6의 (a) 내지 (d)에 예시된 방식은 하나의 확장 감시 영역에 대응하는 복수의 카메라 영상에서 동일 객체를 검출 및 추적할 수 있는 다양한 방식을 예시적으로 나타낸다. (a) 및 (c)는 한 대의 차량이 3개의 개별 감시 영역으로 구성된 확장 감시 영역을 통과하는 상황을 나타내며, (b) 및 (d)는 각 개별 감시 영역을 촬영한 카메라 영상을 나타낸다. 상세하게, (a)는 사각 영역이 연속한 두 개별 감시 영역 사이에 존재하는 경우를 나타내며, (c)는 연속한 두 개별 감시 영역에 중첩 영역이 존재하며 사각 영역은 존재하지 않는 경우를 나타낸다. 지능형 에지장치(100)는 이러한 개별 감시 영역간 배치 관계를 미리 학습할 수 있다.
이하에서 상세히 설명하겠지만, 연속한 두 개별 감시 영역의 배치 관계에 의해서 두 개별 감시 영역을 촬영한 두 카메라 영상의 대향하는 측면간에 대응 관계가 성립한다. 대응 관계를 이용하면, 제1 감시 영상에서 이탈하는 객체가 제2 감시 영상의 어느 위치에서 출현하는지를 복잡한 연산에 의하지 않더라도 결정할 수 있게 된다. 다만, 연속한 두 개별 감시 영역 사이에 사각 영역이 존재하면, 객체의 벡터에 따라 두 개별 감시 영역간 대응 관계는 동적으로 변경될 수 있다. 이를 통해, 복수의 개별 감시 영역에서 개별적으로 검출되는 객체는 하나의 확장 감시 영역상에서 검출되는 것으로 처리될 수 있다.
한편, 객체를 더 이상 추적할 수 없는 경우는 객체가 감시 영역에서 이탈하여 사각 영역에 진입하는 경우 이외에도 다양하게 발생할 수 있다. 예를 들어, 객체가 카메라 영상에 표출되었지만 식별이 불가능하거나 상이한 객체로 인식될 수 있고, 다른 객체에 가려져서 추적이 더 이상 불가능해질 수도 있으며, 이외에도 다양한 경우에서 객체 추적이 불가능해질 수 있다. 객체를 더 이상 추적할 수 없게 되면, 객체의 위치는 객체 추적이 중단된 시점에서의 위치로 결정되며 추적 불가능한 객체가 해당 위치에서 발생했음을 알리는 알람이 출력될 수 있다.
도 6의 (a) 및 (b)를 참조하면, 동일 객체는 객체가 움직이는 방향을 나타내는 벡터를 이용하여 연속한 두 개별 감시 영역에서 검출될 수 있다. 제1 내지 제3 개별 감시 영역(21a, 21b, 21c)은 서로 중첩하지 않으며, 이로 인해 사각 영역이 발생한다. 제1 내지 제3 카메라 영상(26a, 26b, 26c)은 제1 내지 제3 개별 감시 영역(21a, 21b, 21c)을 촬영한 영상이다. 지능형 에지장치(100)는 배치 관계 및 객체의 벡터를 이용하여 어느 한 카메라 영상에서 이탈한 객체가 다른 카메라 영상에서 출현할 위치를 예측할 수 있다.
시각 t1에서 차량 객체는 연속하는 제1 개별 감시 영역(21a)과 제2 개별 감시 영역(21b) 양측 모두에 부분적으로 위치한다. 따라서 제1 카메라 영상(27a)과 제2 카메라 영상(27b) 모두에 표출된다. 제1 예측 영역(27b')은 차량 객체가 제1 카메라 영상(27a)을 이탈하기 시작하는 시점, 즉 시각 t1 이전에 결정된 차량 객체의 벡터 및 제1 개별 감시 영역(21a)과 제2 개별 감시 영역(21b)간 배치 관계에 의해 결정될 수 있다. 차량 객체가 시각 t1에서 제1 예측 영역(27b')에 출현하면, 제1 카메라 영상(27a)을 이탈하고 있는 차량 객체와 제2 카메라 영상(27b)에 진입하고 있는 차량 객체는 동일 객체로 분류될 수 있다. 제2 카메라 영상(27b)에 출현하기 시작하면, 제1 카메라 영상(27a)에서 동일 객체로 확인된 차량 객체에 대한 추적은 종료될 수 있다. 이후 제2 카메라 영상(27b)에서 이탈하기 전까지는, 공지의 객체 추적 방식이 적용될 수 있다.
한편, 시각 t3에 사각 영역에 위치한 차량 객체는 제2 카메라 영상(27b)과 제3 카메라 영상(27c) 모두에서 검출되지 않는다. 그렇지만 차량 객체의 벡터는 제2 카메라 영상(27b)을 이탈하는 시점에서 결정되므로, 동일한 차량 객체가 제3 카메라 영상(27c)에서 출현할 제2 예측 영역(27c')이 결정될 수 있다. 도시된 예에서, 차량 객체는 제2 카메라 영상(27b)을 이탈하는 과정에서 차선을 변경하였다. 따라서 차량의 벡터는 변경된 차선을 향하게 결정될 수 있다. 그로 인해 제2 예측 영역(27c')의 위치는 차선 변경 전의 예측 영역과 달라질 수 있다. 만일, 차량 객체의 벡터가 사각 영역 진입시와 사각 영역 진출시에 달라질 수 있을 정도(예를 들어, 차선 변경)로 사각 영역의 폭이 넓으면, 객체 재인식을 적용하여 동일 객체인지 여부를 결정할 수 있다.
도 6의 (c) 및 (d)를 참조하면, 동일 객체는 중첩한 개별 감시 영역의 측면 및 이에 대응하도록 설정한 검출선을 이용하여 두 개별 감시 영역에서 검출될 수 있다. 연속된 제1 내지 제3 개별 감시 영역(21a, 21b, 21c)은 서로 중첩하도록 정의되어 사각 영역은 형성되지 않는다. 따라서, 제1 개별 감시 영역(21a)의 우측면 전체는 제2 개별 감시 영역(21b)에 위치하며, 제2 개별 감시 영역(21b)의 좌측면 전체는 제1 개별 감시 영역(21a)에 위치하게 된다. 유사하게, 제3 개별 감시 영역(21c)의 좌측면 일부는 제2 개별 감시 영역(21b)에 위치하며, 제2 개별 감시 영역(21b)의 우측면 일부는 제3 개별 감시 영역(21c)에 위치하게 된다. 제1 검출선(21a')은 제2 개별 감시 영역(21b)의 좌측면에 일치하도록 제1 카메라 영상(27a)에 설정되며, 제2 검출선(21b')은 제1 개별 감시 영역(21a)의 우측면에 일치하도록 제2 카메라 영상(27b)에 설정된다. 따라서 제1 검출선(21a')과 제2 카메라 영상(27b)의 좌측면 사이에 1:1 대응 관계가 성립되며, 제2 검출선(21b')과 제1 카메라 영상(21a)의 우측면 사이에도 1:1 대응 관계가 성립될 수 있다. 동일한 방식으로, 제3 검출선(21b'')과 제3 카메라 영상(27c)의 좌측면, 그리고 제4 검출선(21c')과 제2 카메라 영상(27b)의 우측면 사이에도 1:1 대응 관계가 성립될 수 있다. 예를 들어, 차량 객체가 제1 카메라 영상(27a)의 제1 검출선(21a')에 도달하면, 동일한 차량 객체가 제2 카메라 영상(27b)의 좌측면상의 특정 위치에서 출현하기 시작한다. 제1 검출선(21a')과 제2 카메라 영상(27b)의 좌측면은 1:1 대응 관계이므로, 제1 검출선(21a')상의 위치가 결정되면 제2 카메라 영상(27b)의 좌측면 상의 위치도 결정될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (9)

  1. 동일 위치에 설치된 복수의 고정 카메라에 의해 형성된 복수의 개별 감시 영역을 연속적으로 배치하여 형성된 확장 감시 영역을 갖는 다중 카메라로부터 수신한 복수의 카메라 영상에서 객체를 검출하며, 연속한 두 개별 감시 영역 각각에 대한 두 카메라 영상에서 동일 객체를 식별하여 메타 데이터를 생성하는 지능형 에지장치; 및
    상기 지능형 에지장치와 통신망을 통해 연결되며, 상기 메타 데이터를 이용하여 상기 지능형 에지장치가 학습하지 않은 이벤트를 검출하는 에지기반 영상분석장치를 포함하되,
    중첩하는 연속한 두 개별 감시 영역을 촬영한 제1 카메라 영상에 설정된 제1 검출선은 제2 카메라 영상의 좌측면에 1:1 대응하여 상기 제1 검출선에서 검출된 객체의 상기 제2 카메라 영상에서의 출현 위치는 상기 제1 검출선에서의 검출 위치에 의해 결정되며,
    상기 제2 카메라 영상에 설정된 제2 검출선은 상기 제1 카메라 영상의 우측면에 1:1 대응하여 상기 제2 검출선에서 검출된 객체의 상기 제1 카메라 영상에서의 출현 위치는 상기 제2 검출선에서의 검출 위치에 의해 결정되는 다중 카메라를 이용한 영상분석장치.
  2. 청구항 1에 있어서, 상기 다중 카메라는
    상기 복수의 고정 카메라-여기서, 상기 복수의 고정 카메라 중 연속한 두 고정 카메라는 카메라 사이각만큼 벌어짐; 및
    상기 복수의 고정 카메라가 고정되는 다중 카메라용 브라켓을 포함하되,
    상기 다중 카메라용 브라켓은
    장착 대상에 체결되는 장착 부재,
    상기 장착 부재에 일단이 고정되며 타단은 서로 이격되는 복수의 암,
    상기 암의 타단에 회전 가능하게 결합된 제1 회전 부재, 및
    상기 제1 회전 부재에 회전 가능하게 결합되며 상기 고정 카메라가 장착되는 제2 회전 부재를 포함하는 다중 카메라를 이용한 영상분석장치.
  3. 청구항 1에 있어서, 상기 지능형 에지장치는 객체 재인식에 의해 상기 중첩하는 연속한 두 개별 감시 영역 각각에 대응하는 상기 두 카메라 영상에서 동일 객체를 검출하는 다중 카메라를 이용한 영상분석장치.
  4. 청구항 1에 있어서, 상기 지능형 에지장치에 의해 검출될 이벤트를 설정하면, 설정된 이벤트에 따른 카메라 설정은 연동에 의해 상기 다중 카메라를 구성하는 상기 복수의 고정 카메라에 적용되는 다중 카메라를 이용한 영상분석장치.
  5. 청구항 1에 있어서, 상기 지능형 에지장치는
    상기 다중 카메라로부터 상기 복수의 카메라 영상을 수신하며, 상기 수신한 복수의 카메라 영상을 영상 분석에 적합하게 전처리하는 영상데이터 처리 모듈; 및
    상기 확장 감시 영역을 하나의 고정 카메라에 의해 촬영한 단일 감시 영역으로 취급하기 위해, 상기 확장 감시 영역을 구성하는 상기 복수의 개별 감시 영역간 배치 관계로부터 성립된 상기 복수의 카메라 영상간 대응 관계를 이용하여, 상기 중첩하는 연속한 두 개별 감시 영역에 각각 대응하는 상기 두 카메라 영상에서 상기 동일 객체를 식별하여 추적하는 영상분석모듈을 포함하는 다중 카메라를 이용한 영상분석장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020210129685A 2021-09-30 2021-09-30 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치 KR102347026B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210129685A KR102347026B1 (ko) 2021-09-30 2021-09-30 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210129685A KR102347026B1 (ko) 2021-09-30 2021-09-30 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치

Publications (1)

Publication Number Publication Date
KR102347026B1 true KR102347026B1 (ko) 2022-01-04

Family

ID=79342613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210129685A KR102347026B1 (ko) 2021-09-30 2021-09-30 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치

Country Status (1)

Country Link
KR (1) KR102347026B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102490703B1 (ko) * 2022-06-29 2023-01-19 모델솔루션(주) 메타버스 환경 구현을 위한 시뮬레이터
WO2023210839A1 (ko) * 2022-04-27 2023-11-02 주식회사 넥스트케이 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119084B1 (ko) * 2011-07-13 2012-03-15 (주)블루비스 메타데이터를 이용한 영상관리 시스템 및 그 방법
KR20160032432A (ko) * 2014-09-16 2016-03-24 삼성에스디에스 주식회사 동일 객체 검출 방법 및 장치
KR101832274B1 (ko) * 2017-05-29 2018-02-27 주식회사 디케이앤트 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR20210065647A (ko) 2019-11-27 2021-06-04 한국전력공사 다중 카메라 고정 장치 및 이를 이용한 영상 모니터링 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119084B1 (ko) * 2011-07-13 2012-03-15 (주)블루비스 메타데이터를 이용한 영상관리 시스템 및 그 방법
KR20160032432A (ko) * 2014-09-16 2016-03-24 삼성에스디에스 주식회사 동일 객체 검출 방법 및 장치
KR101832274B1 (ko) * 2017-05-29 2018-02-27 주식회사 디케이앤트 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR20210065647A (ko) 2019-11-27 2021-06-04 한국전력공사 다중 카메라 고정 장치 및 이를 이용한 영상 모니터링 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023210839A1 (ko) * 2022-04-27 2023-11-02 주식회사 넥스트케이 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR102490703B1 (ko) * 2022-06-29 2023-01-19 모델솔루션(주) 메타버스 환경 구현을 위한 시뮬레이터

Similar Documents

Publication Publication Date Title
KR102347026B1 (ko) 복수의 고정 카메라로 구성된 다중 카메라를 이용한 영상 분석 장치
KR100918837B1 (ko) 하이브리드 방식의 차량 검지시스템 및 그 검지방법
KR101248054B1 (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
US20130307981A1 (en) Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
KR102170992B1 (ko) 다기능 차량번호인식 시스템 및 그 제어방법
US11770502B2 (en) Image surveillance apparatus applied with moving-path tracking technique using multi camera
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
KR102162130B1 (ko) 단일카메라를 이용한 불법주정차 단속시스템
KR102061264B1 (ko) C-its 기반 차량위치정보를 이용한 돌발 상황 감지시스템
KR102196086B1 (ko) 카메라의 ptz 자율 자세보정 방법 및 이를 이용한 교통정보 시스템
CN111914592B (zh) 多相机联合取证方法、装置及***
US8929603B1 (en) Autonomous lock-on target tracking with geospatial-aware PTZ cameras
CN113627213A (zh) 车辆异常行为监控方法、装置及***
CN112804454A (zh) 一种广域警戒***及其警戒方法
CN112257683A (zh) 一种面向车辆运行轨迹监测的跨镜追踪方法
KR101322162B1 (ko) 차량 검지시스템을 이용한 차량 검지방법
KR101795798B1 (ko) 지능형 영상감시 시스템
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
WO2017208601A1 (ja) 画像処理装置、外界認識装置
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
CN113489948A (zh) 一种摄像监控设备、方法、装置及存储介质
KR20230152410A (ko) 다중 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR20190136515A (ko) 차량 인식 장치
KR20230020184A (ko) 고정 카메라 및 이동 카메라를 이용한 영상 분석 장치
KR102440169B1 (ko) 멀티센서 신호 융합과 ai 영상 분석을 통한 유효감지 정확도를 향상시킨 스마트 경계 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant