KR101648208B1 - 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치 - Google Patents

고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치 Download PDF

Info

Publication number
KR101648208B1
KR101648208B1 KR1020150127253A KR20150127253A KR101648208B1 KR 101648208 B1 KR101648208 B1 KR 101648208B1 KR 1020150127253 A KR1020150127253 A KR 1020150127253A KR 20150127253 A KR20150127253 A KR 20150127253A KR 101648208 B1 KR101648208 B1 KR 101648208B1
Authority
KR
South Korea
Prior art keywords
block
image
blocks
change
segmentation
Prior art date
Application number
KR1020150127253A
Other languages
English (en)
Inventor
김동기
Original Assignee
김동기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김동기 filed Critical 김동기
Priority to KR1020150127253A priority Critical patent/KR101648208B1/ko
Application granted granted Critical
Publication of KR101648208B1 publication Critical patent/KR101648208B1/ko

Links

Images

Classifications

    • G06K9/00771—
    • G06K9/3233—
    • G06K9/6201—
    • G06T7/0079—

Landscapes

  • Image Analysis (AREA)

Abstract

고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치가 개시된다. 객체 인식 및 추적 방법은 분할 단계의 초기 설정값이 설정되는 단계, 초기 설정값을 기반으로 제1 분할 단계를 수행하여 영상을 복수의 제1 분할 블록으로 분할하는 단계, 복수의 제1 분할 블록 중 영상 정보가 변화된 제1 변화 분할 블록을 결정하는 단계, 제1 변화 분할 블록에 대해 제2 분할 단계를 수행하여 제1 변화 분할 블록을 기반으로 영상을 복수의 제2 분할 블록으로 분할하는 단계와 복수의 제2 분할 블록 중 영상 정보가 변화된 제2변화 분할 블록을 결정하는 단계를 포함할 수 있다.

Description

고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치{Method and apparatus for recognizing and tracking object by using high resolution image}
본 발명은 객체 인식 및 추적 방법에 관한 것으로서, 보다 상세하게는, 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치에 관한 것이다.
기존의 보안 감시 시스템에서 사용되는 통상적인 CCTV(closed circuit television) 카메라는 Full-HD(high definition) (해상도: 1080P, 1920(가로)x1080(세로))급이 널리 사용되어 왔다. 현재 CCTV 카메라의 해상도 적용 기술은 더욱 진보하여 지상파 디지털 텔레비전(Digital TV)에서 Ultra-HD(4k)까지 서비스 가능하다
Ultra-HD(해상도; 1080P*4K, 3840(가로)x2160(세로)) 영상은 33,177,600개의 픽셀로 이루어져 있다. Ultra-HD 영상에 RGB색상이 적용될 경우, 99,532,800개의 많은 색상 값이 조합된다. 통상적으로 이미지 프로세서에 의한 객체 인식 및 추적 시스템은 초당 15프레임의 빅 데이타(big data)를 제한된 CPU(central processor unit) 자원으로 처리해야 하는 문제점을 내포하고 있다. 통상적으로 객체 인식 시스템은 고해상도의 영상을 다운 샘플링(Down Sample)한 D1(해상도; 720x480) 또는 CIF(해상도; 352x240)의 저해상도 영상을 이용하여 객체 인식 처리를 한다. 따라서, 객체 인식 거리의 한계성, 형태 인식 한계성, 색상 인식의 한계성 등의 문제점이 내포되어 있어 효율적으로 객체 인식 시스템을 운영하는데 있어 한계성이 존재한다.
KR 10-2009-0109719
본 발명의 일 측면은 고해상도 영상을 이용한 객체 인식 및 추적 방법을 제공한다.
본 발명의 다른 측면은 고해상도 영상을 이용한 객체 인식 및 추적 장치를 제공한다.
본 발명의 일 측면에 따른 객체 인식 및 추적 방법은 분할 단계의 초기 설정값이 설정되는 단계, 상기 초기 설정값을 기반으로 제1 분할 단계를 수행하여 영상을 복수의 제1 분할 블록으로 분할하는 단계, 상기 복수의 제1 분할 블록 중 영상 정보가 변화된 제1 변화 분할 블록을 결정하는 단계, 상기 제1 변화 분할 블록에 대해 제2 분할 단계를 수행하여 상기 제1 변화 분할 블록을 기반으로 상기 영상을 복수의 제2 분할 블록으로 분할하는 단계와 상기 복수의 제2 분할 블록 중 영상 정보가 변화된 제2변화 분할 블록을 결정하는 단계를 포함할 수 있되, 상기 제2 분할 단계는 상기 영상을 상기 제1 분할 단계보다 작은 크기의 단위 블록으로 분할할 수 있다.
한편, 블록 배경 모델 학습을 기반으로 한 블록 배경 모델이 생성된 경우, 상기 제2 분할 단계는 초기 설정값을 기반으로 한 마지막 분할 단계이고, 상기 복수의 제2 분할 블록은 객체의 예측 이동 위치에 대응되는 ROI(region of interest) 영역에 대응될 수 있다.
또한, 상기 블록 배경 모델 학습을 기반으로 한 상기 블록 배경 모델이 생성되지 않은 경우, 상기 제2 분할 단계는 상기 제1 분할 단계의 다음 분할 단계이고, 상기 복수의 제2 분할 블록은 상기 제1 변화 분할 블록에 대응될 수 있다.
또한, 객체 인식 및 추적 방법은 상기 제2 분할 단계가 상기 초기 설정값을 기반으로 설정된 마지막 분할 단계인 경우, 상기 제2변화 분할 블록에서 픽셀 변화를 감지하여 객체를 추출하는 단계를 더 포함할 수 있다.
또한, 상기 초기 설정값은 상기 영상의 해상도 및 상기 영상에 포함되는 객체의 개수를 기반으로 결정될 수 있다.
또한, 상기 영상 정보의 변화는 이전 프레임에서 객체가 포함되지 않은 영역에 대해서는 프레임 간 비트 참조 연산을 기반으로 결정되고, 상기 이전 프레임에서 상기 객체가 포함된 영역에 대해서는 프레임 내 비트 참조 연산을 기반으로 결정될 수 있다.
본 발명의 다른 측면에 따른 객체 인식 및 추적을 수행하는 영상 처리 장치는 프로세서를 포함하고, 상기 프로세서는 분할 단계의 초기 설정값을 설정하고, 상기 초기 설정값을 기반으로 제1 분할 단계를 수행하여 영상을 복수의 제1 분할 블록으로 분할하고, 상기 복수의 제1 분할 블록 중 영상 정보가 변화된 제1 변화 분할 블록을 결정하고, 상기 제1 변화 분할 블록에 대해 제2 분할 단계를 수행하여 상기 제1 변화 분할 블록을 기반으로 상기 영상을 복수의 제2 분할 블록으로 분할하고, 상기 복수의 제2 분할 블록 중 영상 정보가 변화된 제2변화 분할 블록을 결정하도록 구현될 수 있되, 상기 제2 분할 단계는 상기 영상을 상기 제1 분할 단계보다 작은 크기의 단위 블록으로 분할할 수 있다.
한편, 블록 배경 모델 학습을 기반으로 한 블록 배경 모델이 생성된 경우, 상기 제2 분할 단계는 초기 설정값을 기반으로 한 마지막 분할 단계이고, 상기 복수의 제2 분할 블록은 객체의 예측 이동 위치에 대응되는 ROI(region of interest) 영역에 대응될 수 있다.
또한, 상기 블록 배경 모델 학습을 기반으로 한 상기 블록 배경 모델이 생성되지 않은 경우, 상기 제2 분할 단계는 상기 제1 분할 단계의 다음 분할 단계이고, 상기 복수의 제2 분할 블록은 상기 제1 변화 분할 블록에 대응될 수 있다.
또한, 상기 프로세서는 상기 제2 분할 단계가 상기 초기 설정값을 기반으로 설정된 마지막 분할 단계인 경우, 상기 제2변화 분할 블록에서 픽셀 변화를 감지하여 객체를 추출하도록 구현될 수 있다.
또한, 상기 초기 설정값은 상기 영상의 해상도 및 상기 영상에 포함되는 객체의 개수를 기반으로 결정될 수 있다.
또한, 상기 영상 정보의 변화는 이전 프레임에서 객체가 포함되지 않은 영역에 대해서는 프레임 간 비트 참조 연산을 기반으로 결정되고, 상기 이전 프레임에서 상기 객체가 포함된 영역에 대해서는 프레임 내 비트 참조 연산을 기반으로 결정될 수 있다.
본 발명의 실시예에 따른 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치는 불필요한 영상 처리를 위한 연산량을 감소시키면서 영상 내에서 객체의 존재 및 객체의 이동에 대한 정보를 빠르고 정확하게 획득할 수 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 HBR 객체 인식부의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 HBR 객체 인식부의 병렬 처리 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 제1 작업 관리 단계를 구체적으로 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 HBR 객체 인식부의 동작을 나타낸 순서도이다.
도 6은 본 발명의 실시예에 따른 퓨젼 객체 인식부를 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 병렬 연산 처리부의 동작을 나타낸 순서도이다.
도 8은 본 발명의 실시예에 따른 연산 방식을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 순방향 연산 쓰레드 및 역방향 연산 쓰레드를 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 연산 처리 결과를 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
기존의 고해상도의 영상에서 객체 인식 방법에서는 배경 영상의 차(background differencing)가 사용된다. 배경 영상의 차에 의한 형태 추출은 배경과 전경을 분리하는 방법이다. 전경은 우리가 관심을 가지는 객체, 즉, 방범용 영상에서는 사람이 관심 객체이고 불법 주차 관제 시스템에서는 불법 주차를 하는 차량이 관심 객체일 수 있다. 반면에 배경은 실내의 경우, 벽, 액자, 냉장고 등이 있고, 실외의 경우, 건물, 주차된 차, 나무, 신호등, 거리 등일 수 있다. 다른 표현으로 전경은 사용자에 의해 관심을 받는 동적 객체이고, 배경은 움직임이 작거나 패턴을 가지며 객체로서 처리되지 않아야 하는 부동 객체일 수 있다. 배경 영상의 차에 의한 형태 추출 방법에서는 배경은 변하지 않는다는 가정 아래, 픽셀 값의 변화와 같은 영상 변화를 기반으로 객체가 추출될 수 있다.
이하, 본 발명의 실시예에서는 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치가 개시된다. 블록 기반의 점진적 객체 인식 방식을 사용하여 고해상도의 영상이 효과적으로 병렬 처리되고, 고밀집 환경에서 센서 퓨전(fusion)을 기반으로 한 보완적 결합이 사용되어 객체 인식 단계를 이중화하여 영상 처리를 위한 연산량이 저감될 수 있다.
도 1은 본 발명의 실시예에 따른 영상 처리 장치를 나타낸 블록도이다.
도 1에서는 고해상도 영상을 이용한 객체 인식 및 추적 방법을 수행하기 위한 영상 처리 장치가 개시된다.
도 1을 참조하면, 영상 처리 장치는 영상 수집부(100), 배경 학습 처리부(105), HBR((hierarchical block recognize) 객체 인식부(110), 퓨전 객체 인식부(115), 객체 인식부(125), 객체 추적부(125), 병렬 연산 처리부(130), GPU 연산부(135), 객체 정보 저장부(140), 객체 정보 전송부(145), 회전형 카메라(150), 적외선 센서/레이더/열화상 카메라(155), 비디오카드 GPU(graphic processor unit) (160) 및 프로세서(미도시)를 포함할 수 있다.
영상 수집부(100)는 디지털 카메라(예를 들어, 회전형 카메라, 적외선 센서/레이더/열화상 카메라)로부터 고해상도의 영상을 수신하고, 수신한 영상에 대한 정보를 배경 학습 처리부(105)로 전송하기 위해 구현될 수 있다.
배경 학습 처리부(105)는 배경 영상 차(background differencing)를 기반으로 1차적인 객체 형태를 추출하기 위해 구현될 수 있다. 배경 학습 처리부(105)는 배경 영상의 학습 모델로 초 또는 분 단위로 배경 모델에 대한 학습을 수행할 수 있다. 또한, 배경 학습 처리부(105)는 객체 인식 처리를 수행하는 동안 학습된 배경 픽셀들에 대한 주기적인 갱신을 위해 구현될 수 있다.
HBR 객체 인식부(110)는 고해상도의 영상을 점진적 블록 단위(예를 들어, 8x8개의 블록, 16x16개의 블록, 32x32개의 블록, 64x64개의 블록, NxN개의 블록)로 최소 4 단계(1단계 분할, 2단계 분할, 3단계 분할, 4단계 분할)로 분할할 수 있다.
또한, HBR 객체 인식부(110)는 순차적으로 변화된 영상 정보를 가지는 블록에 대한 정보를 인식하기 위해 구현될 수 있다. 예를 들어, 배경 학습 처리부(105)에 의해 학습된 배경 정보를 기반으로 1단계 분할로 분할된 블록(예를 들어, 8x8개의 블록) 중에서 변화된 영상 정보를 포함하는 블록을 결정할 수 있다. 1단계 분할로 분할된 블록 중에서 변화된 영상 정보를 포함하는 블록은 변화된 1단계 블록(또는 1단계 변화 블록)이라는 용어로 표현될 수 있다.
이후, 변화된 1단계 블록에 대해 2단계 분할로 분할을 수행할 수 있다. 2단계 분할로 분할된 블록 중에서 변화된 영상 정보를 포함하는 블록은 변화된 2단계 블록(또는 2단계 변화 블록)이라는 용어로 표현될 수 있다. 즉, 변화된 2단계 블록은 변화된 1단계 블록에 포함되는 블록으로서 변화된 1단계 블록 내에서 영상 변화 부분을 더욱 구체적으로 지시할 수 있다.
또한, HBR 객체 인식부(110)는 단계 별로 점진적으로 블록 정보를 세분화하여 배경 학습 처리부(105)에 학습된 배경의 정보를 이용하여 블록 별로 변화된 픽셀의 정보를 고려하여 객체의 형태를 결정할 수 있다. HBR 객체 인식부(110)에서 점진적인 블록 정보 세분화 방법이 사용되는 경우, 연산량이 저감될 수 있다.
퓨전 객체 인식부(115)는 GPU 처리의 한계를 보완하기 위한 목적으로 구현될 수 있다. 구체적으로 고밀집 지역에서 다수의 객체가 발생한 경우나 범용 PC에서 영상 처리를 수행할 경우와 같이 GPU의 처리 한계를 보완하기 위해 퓨전 객체 인식부가 사용될 수 있다. 퓨전 객체 인식부(115)는 보조적 수단으로 적외선 센서로부터 수신된 객체의 정보를 이용한 블록의 변화된 정보를 기반으로 연산량을 저감시킬 수 있다.
객체 인식부(120)는 HBR객체 인식부(110)에 의해 결정된 객체 정보와 퓨전 객체 인식부(115)에 의해 결정된 객체 정보를 기반으로 기계 학습(machine learning) 데이터를 이용하여 해당 블록만을 객체 검출기를 이용하여 최종 객체 인식을 수행하기 위해 구현될 수 있다.
객체 추적부(125)는 객체의 이동 거리 및 방향을 연산하고 팬(Pan), 틸트(Tilt), 줌(Zoom)의 제어기가 내장된 카메라를 제어하여 객체를 추적하기 위해 구현될 수 있다.
병렬 연산 처리부(130)는 객체의 변화 정보를 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임)간의 비트를 참조하여 연산의 병목 현상을 해소하기 위해 구현될 수 있다. 병렬 연산 처리부(130)는 효과적인 병렬 처리로 GPU의 성능을 최대한 사용할 수 있다. 병렬 연산 처리부(130)는 프레임 간 비트 참조(Outer bit)에 따르는 연산 정보의 신뢰성을 높이기 위해 이전 프레임의 객체 위치 정보에 한하여 프레임 내 비트(Inner bit)를 추가적으로 참조하여 객체 인식 정보로 사용할 수 있다.
GPU 연산부(135)는 그래픽 카드 제조사마다 GPU 사용 가능한 API(Application Program Interface)를 공용화 하기 위해 구현될 수 있다.
객체 정보 저장부(140)는 객체 정보(객체의 위치, 객체의 크기, 객체의 색상, 객체의 방향)을 저장하기 위해 구현될 수 있다.
객체 정보 전송부(145)는 객체 정보를 중앙 관제 센터의 유무선 네트워크를 통하여 전송하기 위해 구현될 수 있다.
회전형 카메라(150)는 객체에 대한 일반 영상 정보를 획득하기 위해 구현될 수 있고, 적외선 센서/레이더/열화상 카메라(155)는 객체에 대한 적외선 영상 정보/레이더 영상 정보/열화상 영상 정보를 획득하기 위해 구현될 수 있다.
비디오 카드 GPU(160)는 수신한 영상 정보의 처리를 위해 구현될 수 있다.
도 2는 본 발명의 실시예에 따른 HBR 객체 인식부의 동작을 나타낸 개념도이다.
도 2에서는 HBR 객체 인식부에서 영상 분할 크기를 점진적으로 감소시키면서 객체를 탐색하는 방법이 개시된다.
구체적으로 HBR 객체 인식부는 복수의 분할 단계로 영상을 분할할 수 있고, 분할 단계의 수에 대한 초기 설정 값은 영상 해상도와 인식 구역 환경에 따라서 설정될 수 있다. 예를 들어, 초기 설정값은 HD급 영상에 대해서는 3개의 분할 단계, Full HD 급 영상에 대해서는 4개의 분할 단계, Ultra-HD(4k) 급 영상에 대해서는 6개의 분할 단계로 설정될 수 있다.
또한 촬상된 영상 내에 객체의 수가 많을 경우(예를 들어, 도심 구역 영상), 초기 설정 값에 2~3단계가 추가될 수 있다. 예를 들어, 영상 촬상 장치는 영상 내의 객체의 개수를 1차적으로 결정한 후 초기 설정값을 설정할 수 있다.
도 3을 참조하면, 제1 영상은 영상 촬상 장치로부터 수신받은 가공되지 않은 고해상도 영상 데이터일 수 있다. 이하, 본 발명의 실시예에서는 설명의 편의상 고해상도 영상 데이터는 HD 급 영상 데이터로 가정된다.
영상 데이터에 대한 복수의 분할 단계(예를 들어, 3단계 분할)를 통해 점진적으로 블록 별 객체 인식이 수행될 수 있다. 구체적으로 영상은 4x4개의 블록, 8x8개의 블록, 16x16개의 블록으로 다운 샘플링(down sampling)되고 점진적으로 블록 별 객체 인식이 수행된다. 연산 속도의 저감을 위하여 다운 샘플링은 가우시안 피라미드(Gaussian Pyramid)를 사용하고, 블록 별 픽셀의 변환은 배경 영상의 차(background differencing)를 사용할 수 있다.
1단계 블록은 영상이 1단계 분할(예를 들어, 4x4개의 블록)로 분할된 경우, 개별 블록을 지시하고, 2단계 블록은 영상이 2단계 분할(예를 들어, 8x8개의 블록)으로 분할된 경우, 개별 블록을 지시하고 3단계 블록은 영상이 3단계 분할(예를 들어, 16x16개의 블록)으로 분할된 경우, 개별 블록을 지시할 수 있다.
예를 들어, 복수의 1단계 블록 중 하나의 1단계 블록이 변화된 1단계 블록(이하, 1단계 변화 블록)(200)인 경우, 1단계 변화 블록에 대해 대응되는 복수개의 2단계 블록이 결정될 수 있다. 1단계 변화 블록에 대응되는 복수개의 2단계 블록 중 변화된 2단계 블록(이하, 2단계 변화 블록)(220)이 결정될 수 있다. 마찬가지 방식으로 2단계 변화 블록에 대해 대응되는 복수개의 3단계 블록이 결정될 수 있다. 2단계 변화 블록에 대해 대응되는 복수개의 3단계 블록 중 변화된 3단계 블록(이하, 3단계 변화 블록)(240)이 결정될 수 있다. 이러한 반복적인 블록 탐색 방식을 통해 영상 내에서 객체가 포함되는 영역이 결정될 수 있다.
마지막 단계에서 객체가 포함되는 영역에서 배경을 제외하고 변화된 픽셀의 영역이 추출될 수 있다. 도 2와 같은 경우, 3단계 변화 블록 내에서 변하지 않은 픽셀 영역을 제외하고 변화된 픽셀 영역이 추출될 수 있다. 또한 반복적 구조 안에서 블록 배경 학습이 수행되어 블록 배경 학습 모델이 존재하는 경우, 중간 블록 변화의 인식 단계를 생략하고 객체의 예측 계산된 이동 위치의 ROI(Region Of Interest) 영역을 고려하여 바로 마지막 분할 단계(예를 들어, 16x16개의 블록)의 블록의 영역 상에서 객체를 추출할 수 있다.
즉, 영상 처리 장치는 분할 단계의 초기 설정값을 설정하고, 초기 설정값을 기반으로 제1 분할 단계를 수행하여 영상을 복수의 제1 분할 블록으로 분할할 수 있다. 또한, 영상 처리 장치는 복수의 제1 분할 블록 중 영상 정보가 변화된 제1 변화 분할 블록을 결정하고, 제1 변화 분할 블록에 대해 제2 분할 단계를 수행하여 상기 제1 변화 분할 블록을 기반으로 영상을 복수의 제2 분할 블록으로 분할할 수 있다. 이후, 영상 처리 장치는 복수의 제2 분할 블록 중 영상 정보가 변화된 제2변화 분할 블록을 결정할 수 있다. 제2 분할 단계는 상기 영상을 상기 제1 분할 단계보다 작은 크기의 단위 블록으로 분할하는 단계일 수 있다.
도 3은 본 발명의 실시예에 따른 HBR 객체 인식부의 병렬 처리 방법을 나타낸 순서도이다.
도 3을 참조하면, 제1 작업 관리 단계(S300)에서는 블록 내의 영상 정보의 변화가 탐색되고 연산할 블록의 위치 정보(또는 블록 정보)가 작업 대기 큐로 입력될 수 있다.
작업 대기 큐 단계(S310)에서는 작업 대기 큐는 FIFO (First In First Out)를 기반으로 작업할 블록을 결정한다.
제2 작업 관리 단계(S320)에서는 쓰레드(thread) 풀(Pool)중 작업 준비 상태(standby working)인 쓰레드에 작업 대기 큐에 의해 결정된 블록 정보를 전송한다.
작업 실행 단계(S330)에서는 제2 작업 관리 단계(S320)에서 결정된 블록 정보에 대응되는 작업 대상 블록에 대한 연산을 GPU 관련 명령어를 이용하여 처리할 수 있다. 작업 실행 단계(S330)에서 복수의 작업 대상 블록에 대한 연산이 수행될 수도 있고, 복수의 작업 대상 블록에 대한 연산은 비트 단위 병렬 처리(S340)를 기반으로 수행될 수 있다.
또한, 작업 실행 단계(S330)에서는 연산 처리가 완료되면 작업 대상 블록에 대한 연산 결과 정보를 제1 작업 관리 단계(S300)로 전달할 수 있다.
제1 작업 관리 단계(S300)에서는 수신한 작업 대상 블록에 대한 연산 결과 정보에 포함되는 작업 대상 블록의 픽셀 변화량의 결과에 따라서 더욱 세분화된 블록(다음 단계 블록)에 대한 정보를 작업 대기 큐로 입력할 수 있다. 구체적으로 특정 1단계 블록(영상에 대한 4x4개의 블록 중 하나의 블록)에 대한 픽셀 변화량의 결과에 따라, 특정 1단계 블록에 대응되는 복수개의 2단계 블록(영상에 대한 16x16개의 블록 중 1단계 블록에 대응되는 4개의 블록)가 결정될 수 있다. 복수개의 2단계 블록 각각에 대한 정보가 제1 작업 관리 단계(S300)에서 결정되어 작업 대기 큐 단계(S310)로 전송될 수 있다.
복수개의 2단계 블록 각각이 작업 대상 블록이 되고, 복수개의 2단계 블록 각각에 대한 픽셀 변화량이 제2 작업 관리 단계(S320), 작업 실행 단계(S330)를 통해 산출될 수 있다.
도 4는 본 발명의 실시예에 따른 제1 작업 관리 단계를 구체적으로 나타낸 순서도이다.
도 4에서는 Full-HD급의 영상을 기준으로 4단계 분할이 수행되어 영상이 4x4개의 블록(1단계 분할), 8x8 개의 블록(2단계 분할), 16x16 개의 블록(3단계 분할), 32x32 개의 블록(4단계 분할)으로 다운 샘플링되어 점진적으로 객체 인식이 수행되는 경우, 1단계 분할에서 2단계 분할로의 진행을 통한 객체 인식 과정이 개시된다.
*1단계 분할이 수행되고 1단계 블록에 대한 정보가 작업 대기 큐에 입력될 수 있다(단계 S410).
구체적으로 1단계 분할을 기반으로 한 4x4개(16개)의 블록 각각에 대한 위치 정보를 포함하는 16개 블록에 대한 자료 구조가 작업 대기 큐에 입력된다.
1단계 분할을 기반으로 한 복수개의 1단계 블록에 대한 작업 결과를 수신하고 변화량을 감지한다(단계 S420).
전술한 바와 같이 작업 대기 큐에서 16개 블록에 대한 자료 구조를 기반으로 16개 블록 각각에 대한 정보가 쓰레드(thread) 풀(pool)중 작업 준비 상태(standby working)인 쓰레드로 전송되어 복수의 작업 대상 블록인 16개 블록의 변화량에 대한 연산이 수행될 수 있다. 16개 블록의 변화량에 대한 연산 결과는 다시 제1 작업 단계로 전달될 수 있고, 16개 블록의 변화량에 대한 연산 결과를 기반으로 16개 블록 각각에 대한 변화량이 감지될 수 있다.
블록 배경 모델이 학습된다(단계S430).
영상에서 객체를 제외한 배경에 해당되는 부분이 결정되고, 영상 처리 장치는 배경에 대한 학습을 수행하여 블록 배경 모델을 결정할 수 있다.
블록 배경 모델의 변화를 탐지한다(단계 S440).
블록 배경 모델의 변화에 대한 탐지는 2단계 분할부터 수행될 수 있다. 학습된 블록 배경 모델에서 변화가 발생한 경우, 다음 단계 분할이 수행되지 않고, 객체의 예측 이동 위치에 대응되는 ROI(Region Of Interest) 영역에 대해 마지막 단계 분할이 수행된다.
객체의 예측되는 이동 위치에 대응되는 ROI에 대응되는 영역에 대해 마지막 단계 분할이 수행되는 경우, 변화가 탐지된 블록에 대응되는 복수의 마지막 단계 블록에서 변화량이 연산될 수 있다. 예를 들어, 마지막 단계 분할을 기반으로 분할되는 32x32개의 블록 각각에 대한 위치 정보를 포함하는 1024개 블록에 대한 자료 구조가 작업 대기 큐에 자료 구조로서 입력되고 변화가 탐지된 블록에 대응되는 복수의 마지막 단계 블록 각각에 대한 변화량이 연산될 수 있다. 이러한 방법이 사용되는 경우, 2 단계 분할 및 3 단계 분할을 거치지 않고 바로 4단계 분할로 진행되기 때문에 중간 단계가 수행되지 않아 불필요한 연산량이 감소될 수 있다.
블록 배경 모델의 변화가 탐지되지 않고, 변화량이 감지되었을 경우, 1단계 분할의 다음 단계인 2 단계 분할을 기반으로 분할되는 16x16개의 블록 각각에 대한 위치 정보를 포함하는 자료 구조가 작업 대기 큐에 자료 구조로서 입력될 수 있다 즉, 블록 배경 모델의 변화가 탐지되지 않고, 변화량이 감지되었을 경우, 순차적으로 분할 단계가 적용되어 변화가 탐지된 분할 블록에 대응되는 다음 분할 단계의 복수의 분할 블록 각각에 대한 변화량이 연산될 수 있다.
도 5는 본 발명의 실시예에 따른 HBR 객체 인식부의 동작을 나타낸 순서도이다.
도 5를 참조하면, 블록의 분할 단계를 지정한다(단계 S500).
해상도에 따른 분할 단계의 최대값인 초기 설정 값이 설정되고, 초기 설정 값을 고려하여 블록의 분할 단계가 지정된다. 전술한 바와 같이 HBR 객체 인식부는 초기 설정 값에 따라 복수의 분할 단계로 영상을 분할할 수 있다. 분할 단계의 수에 대한 초기 설정 값은 영상 해상도와 인식 구역 환경에 따라서 설정될 수 있다. 예를 들어, 초기 설정 값은 HD급 영상에 대해서는 3개의 분할 단계, Full HD 급 영상에 대해서는 4개의 분할 단계, Ultra-HD(4k) 급 영상에 대해서는 6개의 분할 단계로 설정될 수 있다.
초기 설정 값에 따른 분할 단계가 완료 여부를 판단한다(단계 S505).
즉, 초기 설정 값(count)으로 설정된 분할 단계가 끝까지 수행된 경우, 단계 S560에서 변화된 영상 정보를 가지는 블록(변화된 N 단계 블록)에 대해 윤곽선 추출 알고리즘(예를 들어, CannyEdge알고리즘)을 사용하여 윤곽선을 추출하여 객체를 인식한다. 반대로 설정된 분할 단계가 완료되지 않은 경우, 지정된 분할 단계에 따른 영상 처리 절차가 진행된다.
지정된 분할 단계로 영상을 다운 샘플링한다(단계 S510).
영상에 대해 가우시안 피라미드(Gaussian Pyramid) 알고리즘을 기반으로 한 다운샘플링이 수행된다.
지정된 분할 단계로 복수의 분할된 N 단계 블록에서 픽셀 변화를 탐지한다(단계 S515).
배경 영상의 차(background differencing)을 기반으로 변화된 픽셀이 결정된다. 예를 들어, 픽셀의 차이가 50이상인 경우, 변화된 픽셀로 간주될 수 있다.
N 단계 변화 블록을 감지하고 초기 설정값을 변화시킨다(단계 S520).
단계 S515에서 연산된 픽셀 변화값을 기반으로 N 단계 변화 블록이 결정될 수 있다. 또한, 연산 처리 장치는 영상 해상도와 인식 구역 환경을 고려하여 초기 설정값을 변화시킬 수 있다.
블록 배경 모델을 학습한다(단계 S525).
*전술한 바와 같이 블록 배경 모델의 학습을 통해 중간 분할 단계를 생략하고 최종 분할 단계에 대한 연산을 통해 객체를 추출할 수 있다.
블록 배경 모델의 영역에 변화된 블록이 존재하는지 여부를 판단한다(단계 S530).
블록 배경 모델의 영역에 변화된 블록이 존재하는 경우, 더 이상의 블록을 비교하지 않고 단계 S540으로 이동한다.
블록 배경 모델의 영역에 변화된 블록이 존재하지 않는 경우, 단계 S515에서 결정된 N 단계 변화 블록의 존재 여부를 판단하고, N 단계 변화 블록에 대응되는 복수의 N+1 단계 블록에 대해 전술한 영상 처리가 수행되어 복수의 N+1 단계 블록 중 N+1 단계 변화 블록이 결정될 수 있다.
객체의 이동 위치를 예측하여 예측 관습 영역(ROI)에 대한 마지막 분할 단계 블록을 결정한다(단계 S540).
블록 배경 모델의 영역에 변화된 블록이 존재하는 경우, 중간 분할 단계를 수행하지 않고 객체의 이동 위치를 예측하여 예측 관습 영역(ROI)에 대한 마지막 분할 단계 블록이 결정된다.
마지막 분할 단계 블록에서 변화 픽셀이 감지되고(단계 S545), 마지막 분할 단계 블록 중 변화 픽셀이 존재하는 마지막 분할 단계 변화 블록이 결정된다(단계 S550).
즉, 관습ROI 구역에서만 다운 샘플링 처리 후 배경 영상의 차를 이용하여 변화된 픽셀을 결정할 수 있다. 변화된 픽셀에 대한 정보를 기반으로 마지막 분할 단계 변화 블록이 결정된다.
마지막 분할 단계 변화 블록에서 윤곽선이 추출된다(단계 S555).
객체를 추출하기 위해 마지막 분할 단계 변화 블록에서 윤곽선이 추출될 수 있다.
도 6은 본 발명의 실시예에 따른 퓨젼 객체 인식부를 나타낸 개념도이다.
도 6을 참조하면, 퓨전 객체 인식부는 퓨젼 센서(예를 들어, 레이다)에 의해 감지된 센싱 정보를 수신 장치를 통하여 수신한다.
퓨전 객체 인식부는 센싱 정보를 기반으로 객체를 판별한다(단계 S600).
퓨전 객체 인식부는 퓨젼 센서의 수신 장치에서 수신받은 객체의 정보를 기반으로 객체의 크기 및 모양을 고려하여 객체의 유무를 판단할 수 있다.
퓨전 객체 인식부는 판단된 객체의 정보를 영상의 좌표계로 매핑하여 객체의 위치를 벡터화한다(단계 S610).
객체 정보를 객체 인식부로 전송한다(단계 S620).
퓨전 객체 인식부는 객체의 위치, 객체의 크기 및 모양에 대한 정보 등을 포함하는 객체 정보를 객체 인식부로 전송할 수 있다.
도 7은 본 발명의 실시예에 따른 병렬 연산 처리부의 동작을 나타낸 순서도이다.
병렬 연산 처리부는 GPU의 성능을 최대한 효과적인 병렬 처리를 위하여 병렬 연산 처리의 저해 요소인 병목 현상을 발생하는 프레임 내 비트(bit) 참조의 해결 수단으로 프레임 내 비트 참조에 의한 연산 방식 대신, 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 비트 참조로 프레임 내 비트 참조에 대한 병목 현상을 해소할 수 있다.
또한 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 비트 참조에 의한 연산 결과의 신뢰성을 향상시키기 위해 추적 중인 객체를 포함하는 영역에 대해서만 프레임 내 비트 참조에 의한 연산 방식이 적용될 수 있다. 즉, 이전 프레임(n-1번째 프레임)에서 객체를 포함하는 영역에 한하여 프레임 내 비트 참조 연산을 사용하여 객체의 신뢰성을 높일 수 있다.
프레임 내 비트 참조 연산 또한 최대한 병목 현상의 요소를 제거하기 위하여 순방향 연산 쓰레드, 정방향 연산 쓰레드, 공통 블록 연산 처리로 구분하여 실행함으로써 지피유(GPU)의 병렬 연산 성능을 최대한 사용할 수 있다
도 7을 참조하면, GPU을 이용한 병렬 연산 처리는 프레임 간 비트 참조에 의한 연산 방식 및 프레임 내 비트 참조에 의한 연산 방식으로 나뉠 수 있다.
프레임 간 비트 참조에 의한 연산 방식은 프레임 내 비트 참조에 의한 연산 방식으로 인한 병목 현상을 처리하기 위한 수단으로서 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임)간의 비트 참조에 의한 연산을 수행할 수 있다.
프레임 내 비트 참조에 의한 연산 방식은 프레임 간의 연산 결과의 객체 인식 신뢰성을 향상시킬 수단으로 이전 프레임(n-1번째 프레임)에 포함되는 객체 위치 구역에 한하여 프레임 내 비트 참조에 의한 연산을 수행하여 객체 추출의 신뢰성을 높일 수 있다.
구체적인 프레임 간 비트 참조에 의한 연산 방식이 개시된다.
전체 프레임 연산을 요청한다(단계 S700).
전체 프레임 연산은 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임)의 전체 픽셀 정보(또는 비트 정보)를 기반으로 수행될 수 있다.
프레임 간 비트를 참고한다(단계 S705).
이전 프레임의 비트 정보와 현재 프레임의 비트 정보를 참고하여 GPU 명령을 기반으로 병렬 처리 연산을 수행한다(단계 S710).
프레임 간 병렬 처리 연산의 결과를 처리한다(단계 S715).
구체적인 프레임 내 비트 참조에 의한 연산 방식이 개시된다.
프레임 간의 연산 결과의 신뢰성을 향상시키기 위해 이전 프레임(n-1번째 프레임)의 객체 위치 구역에 한하여 프레임 내의 연산을 요청할 수 있다(단계 S720).
순방향 연산 쓰레드 및 역방향 연산 쓰레드를 실행한다(단계 S725).
연산 저감 목적으로 최소한의 프레임 내 비트 참조를 위하여 순방향 쪽으로 연산 처리하는 쓰레드와 역방향 쪽으로 연산 처리하는 쓰레드를 구분하여 실행한다. 특정 연산 종료 블록을 설정하여 연산 종료 블록을 중심으로 순방향 연산 쓰레드 및 역방향 연산 쓰레드가 수행될 수 있다. 이하, 순방향 연산 쓰레드 및 역방향 연산 쓰레드에 대해 구체적으로 개시한다.
쓰레드별 프레임 내의 비트를 참고하고(단계 S730), GPU 명령을 이용한 병렬 처리 연산을 수행한다(단계 S735).
순방향 연산 처리 쓰레드와 역방향 연산 처리 쓰레드에서 처리 하지 못한 공통 블록에 대한 연산 처리를 수행한다(단계 S740).
연산의 시작, 끝, 오류 등을 관리하여 연산 결과를 처리한다(단계 S745).
도 8은 본 발명의 실시예에 따른 연산 방식을 나타낸 개념도이다.
도 8의 (A)에서는 프레임 간 비트 참조에 의한 연산 방식이 개시된다.
도 8의 (B)에서는 프레임 내 비트 참조에 의한 연산 방식이 개시된다.
도 8의 (A)를 참조하면, 현재 프레임(N번째 프레임)과 이전 프레임(N-1번째 프레임)간의 비트 참조가 개시된다. 현재 프레임과 이전 프레임 간에 대응되는 영역에서 비트 간의 비교가 수행될 수 있다.
도 8의 (B)를 참조하면, 현재 프레임(N번째 프레임) 내에서 비트 참조가 개시된다. 현재 프레임 내의 인접 영역 간의 비트의 비교가 수행될 수 있다.
아래의 표는 병렬화 할 수 없는 데이터 참조 구조를 나타내는 알고리즘이다.
<표>
Figure 112015087424319-pat00001
현재 데이터 연산 결과가 이전 데이터의 결과값의 종속적인 구조로 이루어져 병렬 연산 처리를 사용할 수 없는 구조가 표에서 개시된다.
도 9는 본 발명의 실시예에 따른 순방향 연산 쓰레드 및 역방향 연산 쓰레드를 나타낸 개념도이다.
도 9를 참조하면, 연산 저감 목적으로 최소한의 프레임 내 비트 참조를 위하여 순방향(900)쪽으로 연산 처리하는 쓰레드와 역방향(930)쪽으로 연산 처리하는 쓰레드가 구분되어 실행될 수 있다. 순방향 연산처리 쓰레드는 제1 연산 종료 블록(910)까지, 역방향 연산처리 쓰레드는 제2 연산 종료 블록(920)까지 연산 처리를 수행하여 프레임 내의 비트 참조에 의한 병목 현상이 해결될 수 있다.
도 10은 본 발명의 실시예에 따른 연산 처리 결과를 나타낸 개념도이다.
도 10에서는 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임) 간의 비트 참조에 의한 연산 처리 결과와 프레임 내의 연산 처리 결과가 도식화된다.
도 10의 (A)에서는 이전 프레임(n-1번째 프레임)과 현재 프레임(n번째 프레임)에서 객체가 변화 모습이 도식화된다.
도 10의 (B)에서는 현재 프레임(n번째 프레임)과 이전 프레임(n-1번째 프레임)의 GPU를 기반으로 한 병렬 연산 처리 결과로 객체의 변화 모습이 개시된다. 도 10의 (B)를 참조하면, 이전 프레임(n-1번째 프레임)의 객체 위치와 현재 프레임(n번째 프레임)의 객체 위치가 중복되어 인식되는 것이 확인될 수 있다.
이러한 객체 위치의 중복 인식을 해결하기 위해 객체 이동 위치 구역에 한하여 프레임 내의 병렬 연상 처리가 수행될 수 있다. 도 9의 (C)에서는 객체 이동 위치 구역에 한하여 프레임 내의 병렬 연상 처리를 수행한 결과가 개시된다.
이와 같은 고해상도 영상을 이용한 객체 인식 및 추적 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

  1. 객체 인식 및 추적 방법은,
    분할 단계의 초기 설정값이 설정되는 단계;
    상기 초기 설정값을 기반으로 제1 분할 단계를 수행하여 영상을 복수의 제1 분할 블록으로 분할하는 단계;
    상기 복수의 제1 분할 블록 중 영상 정보가 변화된 제1 변화 분할 블록을 결정하는 단계;
    상기 제1 변화 분할 블록에 대해 제2 분할 단계를 수행하여 상기 제1 변화 분할 블록을 기반으로 상기 영상을 복수의 제2 분할 블록으로 분할하는 단계; 및
    상기 복수의 제2 분할 블록 중 영상 정보가 변화된 제2 변화 분할 블록을 결정하는 단계를 포함하되,
    상기 제2 분할 단계는 상기 영상을 상기 제1 분할 단계보다 작은 크기의 단위 블록으로 분할하고,
    블록 배경 모델 학습을 기반으로 한 블록 배경 모델이 생성된 경우, 상기 제2 분할 단계는 초기 설정값을 기반으로 한 마지막 분할 단계이고, 상기 복수의 제2 분할 블록은 객체의 예측 이동 위치에 대응되는 ROI(region of interest) 영역에 대응되고,
    상기 블록 배경 모델 학습을 기반으로 한 상기 블록 배경 모델이 생성되지 않은 경우, 상기 제2 분할 단계는 상기 제1 분할 단계의 다음 분할 단계이고, 상기 복수의 제2 분할 블록은 상기 제1 변화 분할 블록에 대응되고,
    상기 영상 정보의 변화는 이전 프레임에서 객체가 포함되지 않은 영역에 대해서는 프레임 간 비트 참조 연산을 기반으로 결정되고, 상기 이전 프레임에서 상기 객체가 포함된 영역에 대해서는 프레임 내 비트 참조 연산을 기반으로 결정되는 것을 특징으로 하는 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 분할 단계가 상기 초기 설정값을 기반으로 설정된 마지막 분할 단계인 경우, 상기 제2변화 분할 블록에서 픽셀 변화를 감지하여 객체를 추출하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 초기 설정값은 상기 영상의 해상도 및 상기 영상에 포함되는 객체의 개수를 기반으로 결정되는 것을 특징으로 하는 방법.
  6. 삭제
  7. 객체 인식 및 추적을 수행하는 영상 처리 장치에 있어서,
    상기 영상 처리 장치는 프로세서를 포함하고,
    상기 프로세서는 분할 단계의 초기 설정값을 설정하고,
    상기 초기 설정값을 기반으로 제1 분할 단계를 수행하여 영상을 복수의 제1 분할 블록으로 분할하고,
    상기 복수의 제1 분할 블록 중 영상 정보가 변화된 제1 변화 분할 블록을 결정하고,
    상기 제1 변화 분할 블록에 대해 제2 분할 단계를 수행하여 상기 제1 변화 분할 블록을 기반으로 상기 영상을 복수의 제2 분할 블록으로 분할하고,
    상기 복수의 제2 분할 블록 중 영상 정보가 변화된 제2변화 분할 블록을 결정하도록 구현되되,
    상기 제2 분할 단계는 상기 영상을 상기 제1 분할 단계보다 작은 크기의 단위 블록으로 분할하고,
    블록 배경 모델 학습을 기반으로 한 블록 배경 모델이 생성된 경우, 상기 제2 분할 단계는 초기 설정값을 기반으로 한 마지막 분할 단계이고, 상기 복수의 제2 분할 블록은 객체의 예측 이동 위치에 대응되는 ROI(region of interest) 영역에 대응되고,
    상기 블록 배경 모델 학습을 기반으로 한 상기 블록 배경 모델이 생성되지 않은 경우, 상기 제2 분할 단계는 상기 제1 분할 단계의 다음 분할 단계이고, 상기 복수의 제2 분할 블록은 상기 제1 변화 분할 블록에 대응되고,
    상기 영상 정보의 변화는 이전 프레임에서 객체가 포함되지 않은 영역에 대해서는 프레임 간 비트 참조 연산을 기반으로 결정되고, 상기 이전 프레임에서 상기 객체가 포함된 영역에 대해서는 프레임 내 비트 참조 연산을 기반으로 결정되는 것을 특징으로 하는 영상 처리 장치.
  8. 삭제
  9. 삭제
  10. 제7항에 있어서,
    상기 프로세서는 상기 제2 분할 단계가 상기 초기 설정값을 기반으로 설정된 마지막 분할 단계인 경우, 상기 제2변화 분할 블록에서 픽셀 변화를 감지하여 객체를 추출하도록 구현되는 것을 특징으로 하는 영상 처리 장치.
  11. 제7항에 있어서,
    상기 초기 설정값은 상기 영상의 해상도 및 상기 영상에 포함되는 객체의 개수를 기반으로 결정되는 것을 특징으로 하는 영상 처리 장치.
  12. 삭제
KR1020150127253A 2015-09-08 2015-09-08 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치 KR101648208B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150127253A KR101648208B1 (ko) 2015-09-08 2015-09-08 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150127253A KR101648208B1 (ko) 2015-09-08 2015-09-08 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101648208B1 true KR101648208B1 (ko) 2016-08-12

Family

ID=56715091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127253A KR101648208B1 (ko) 2015-09-08 2015-09-08 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101648208B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717613B1 (ko) 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN106980477A (zh) * 2017-04-11 2017-07-25 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪***及方法
WO2020055097A1 (ko) * 2018-09-10 2020-03-19 삼성전자 주식회사 객체를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
US10825185B2 (en) 2018-05-14 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for performing segmentation of small objects within moving pictures in real-time
KR102207370B1 (ko) * 2020-08-04 2021-01-27 이쎌 주식회사 실시간 객체 추적 방법 및 이러한 방법을 사용하는 장치
WO2021042867A1 (zh) * 2019-09-06 2021-03-11 西安光启未来技术研究院 一种实现人脸检测的方法和装置
WO2021256266A1 (ja) * 2020-06-16 2021-12-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体追跡装置、物体追跡方法及びプログラム
KR20220126932A (ko) * 2021-03-10 2022-09-19 숭실대학교산학협력단 블록체인 기반의 영상 위변조 방지 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090109719A (ko) 2008-04-16 2009-10-21 주식회사 하나은행 계좌 이체 방법
KR101296318B1 (ko) * 2012-06-22 2013-08-14 (주) 넥스트칩 적응적 블록 분할에 의한 객체 추적 장치 및 방법
KR101436369B1 (ko) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090109719A (ko) 2008-04-16 2009-10-21 주식회사 하나은행 계좌 이체 방법
KR101296318B1 (ko) * 2012-06-22 2013-08-14 (주) 넥스트칩 적응적 블록 분할에 의한 객체 추적 장치 및 방법
KR101436369B1 (ko) * 2013-06-25 2014-09-11 중앙대학교 산학협력단 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101717613B1 (ko) 2016-12-27 2017-03-17 주식회사한맥아이피에스 에지 정보 기반의 객체 추적 알고리즘을 통한 이동 차량 탐지 시스템 및 방법
CN106980477A (zh) * 2017-04-11 2017-07-25 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪***及方法
CN106980477B (zh) * 2017-04-11 2018-01-02 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪***及方法
US10825185B2 (en) 2018-05-14 2020-11-03 Electronics And Telecommunications Research Institute Method and apparatus for performing segmentation of small objects within moving pictures in real-time
WO2020055097A1 (ko) * 2018-09-10 2020-03-19 삼성전자 주식회사 객체를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device
WO2021042867A1 (zh) * 2019-09-06 2021-03-11 西安光启未来技术研究院 一种实现人脸检测的方法和装置
WO2021256266A1 (ja) * 2020-06-16 2021-12-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体追跡装置、物体追跡方法及びプログラム
KR102207370B1 (ko) * 2020-08-04 2021-01-27 이쎌 주식회사 실시간 객체 추적 방법 및 이러한 방법을 사용하는 장치
KR20220126932A (ko) * 2021-03-10 2022-09-19 숭실대학교산학협력단 블록체인 기반의 영상 위변조 방지 시스템 및 방법과 이를 위한 컴퓨터 프로그램
KR102516548B1 (ko) * 2021-03-10 2023-03-31 숭실대학교 산학협력단 블록체인 기반의 영상 위변조 방지 시스템 및 방법과 이를 위한 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR101648208B1 (ko) 고해상도 영상을 이용한 객체 인식 및 추적 방법 및 장치
KR100902343B1 (ko) 로봇 영상 시스템 및 검출 방법
JP5478047B2 (ja) 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム
US9167260B2 (en) Apparatus and method for video processing
JP2008518331A (ja) リアルタイムビデオ動き解析を通じたビデオコンテンツ理解
JP2009147807A (ja) 画像処理装置
US20140169469A1 (en) Computationally efficient motion estimation with learning capabilities for video compression in transportation and regularized environments
WO2020233397A1 (zh) 在视频中对目标进行检测的方法、装置、计算设备和存储介质
CN109446967B (zh) 一种基于压缩信息的人脸检测方法和***
US11281927B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
WO2010113417A1 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
KR101025133B1 (ko) 영상감시 시스템 및 그 시스템의 영상감시방법
Tian et al. Snowflake removal for videos via global and local low-rank decomposition
US20220058452A1 (en) Spatiotemporal recycling network
JP2009212605A (ja) 情報処理方法、情報処理装置及びプログラム
Tang et al. A fast video stabilization algorithm based on block matching and edge completion
JP6472279B2 (ja) 画像処理装置及び画像処理方法
Delibasoglu UAV images dataset for moving object detection from moving cameras
KR102080456B1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
Sincan et al. Moving object detection by a mounted moving camera
US20200065979A1 (en) Imaging system and method with motion detection
US8433139B2 (en) Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality
CN114612517A (zh) 基于时空信息融合的目标跟踪方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 4