KR102141646B1 - 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치 - Google Patents

비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR102141646B1
KR102141646B1 KR1020190002990A KR20190002990A KR102141646B1 KR 102141646 B1 KR102141646 B1 KR 102141646B1 KR 1020190002990 A KR1020190002990 A KR 1020190002990A KR 20190002990 A KR20190002990 A KR 20190002990A KR 102141646 B1 KR102141646 B1 KR 102141646B1
Authority
KR
South Korea
Prior art keywords
grid
moving object
model
background model
movement
Prior art date
Application number
KR1020190002990A
Other languages
English (en)
Other versions
KR20200086585A (ko
Inventor
이준희
양동원
하태길
임종인
최진영
김도경
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020190002990A priority Critical patent/KR102141646B1/ko
Publication of KR20200086585A publication Critical patent/KR20200086585A/ko
Application granted granted Critical
Publication of KR102141646B1 publication Critical patent/KR102141646B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법에 있어서, 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드(grid) 영역들로 분할하는 단계, 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 그리드 영역들에 주의 집중 마스크(attention mask)를 설정하는 단계, 비고정 카메라의 움직임에 따른 배경 모델의 움직임을 보상하는 단계, 및 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 프레임들 각각으로부터 이동체를 선별하는 단계를 포함하는 방법이 개시된다.

Description

비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치{Method and apparatus for detecting moving object from image recorded by unfixed camera}
본 개시는 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 개시는 주의 집중 마스크(attention mask)가 활용됨에 따라 개선된 검출 효율을 갖는, 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치에 관한 것이다.
카메라에 의한 영상으로부터 이동체를 검출하는 기술에 대한 연구가 진행되고 있다. 영상에서 이동하지 않는 배경으로부터 이동하는 물체를 나타내는 부분이 구별 가능해지는 경우, 그로부터 다양한 응용 방안이 파생될 수 있다. 따라서, 컴퓨터 비전 및 영상 감시 등의 분야에서 이동체 검출에 대한 중요성이 증가하고 있다.
이동체를 촬영하는 카메라가 고정되어 있지 않은 환경에서도 이동체 검출이 요구될 수 있다. 카메라 자체가 이동하며 이동체를 촬영하는 비고정 카메라의 경우, 고정 카메라의 경우와는 달리, 검출 대상이 되는 이동체뿐만 아니라 배경까지도 영상 내에서 이동하게 되므로, 움직임을 갖는 배경으로부터 이동체가 검출되는 과정이 보다 복잡해질 수 있다.
비고정 카메라의 영상으로부터 이동체를 검출하기 위해서는 배경의 움직임을 파악하여 이를 보상하는 과정이 수반될 수 있다. 배경의 움직임을 보상하는 과정에서 이동체 검출에 요구되는 연산량이 크게 증가할 수 있어, 비고정 카메라의 경우 촬영되는 영상으로부터 실시간으로 이동체를 검출하는 것이 어려울 수 있다. 그에 따라, 비고정 카메라의 경우에도 이동체 검출의 실시간성을 확보할 수 있도록, 이동체 검출의 연산량을 감소시키기 위한 기술이 요구될 수 있다.
등록특허공보 제10-1438451호
다양한 실시예들은 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치를 제공하기 위한 것이다. 본 개시가 이루고자 하는 기술적 과제는 전술한 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 개시의 일 측면에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법은, 상기 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드(grid) 영역들로 분할하는 단계; 상기 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 상기 그리드 영역들에 주의 집중 마스크(attention mask)를 설정하는 단계; 상기 비고정 카메라의 움직임에 따른 상기 배경 모델의 움직임을 보상하는 단계; 및 상기 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 상기 프레임들 각각으로부터 상기 이동체를 선별하는 단계를 포함할 수 있다.
본 개시의 다른 측면에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치는, 적어도 하나의 프로그램을 저장하는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 상기 이동체를 검출하는 프로세서를 포함하고, 상기 프로세서는, 상기 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드 영역들로 분할하고, 상기 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 상기 그리드 영역들에 주의 집중 마스크를 설정하고, 상기 비고정 카메라의 움직임에 따른 상기 배경 모델의 움직임을 보상하고, 상기 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 상기 프레임들 각각으로부터 상기 이동체를 선별할 수 있다.
본 개시에 따른 이동체를 검출하는 방법 및 장치에 의해, 이동체 검출의 대상이 되는 영상이 비고정 카메라에 의해 촬영되는 경우에도 영상의 부위별로 해상도가 다르게 설정될 수 있어, 이동체를 검출하기 위해 요구되는 연산량이 감소할 수 있다. 연산량이 감소됨에 따라, 촬영되는 영상으로부터 이동체를 검출하는 것이 지연되지 않을 수 있으므로, 비고정 카메라의 경우에도 이동체 검출의 실시간성이 확보될 수 있다.
도 1은 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 과정을 설명하기 위한 도면이다.
도 2는 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법을 구성하는 단계들을 나타내는 흐름도이다.
도 3은 일부 실시예에 따른 주의 집중 마스크(attention mask)를 설정하는 방식을 설명하기 위한 도면이다.
도 4는 일부 실시예에 따른 그리드(grid) 영역들 각각이 처리되는 해상도를 결정하는 방식을 설명하기 위한 도면이다.
도 5는 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 성능을 설명하기 위한 도면이다.
도 6은 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치를 구성하는 요소들을 나타내는 블록도이다.
이하 첨부된 도면을 참조하면서 오로지 예시를 위한 실시예들을 상세히 설명하기로 한다. 아래의 설명은 실시예들을 구체화하기 위한 것일 뿐 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 상세한 설명 및 실시예로부터 당해 기술분야의 전문가가 용이하게 유추할 수 있는 것은 권리범위에 속하는 것으로 해석된다.
본 명세서에서 사용되는 '구성된다' 또는 '포함한다' 등의 용어는 명세서 상에 기재된 여러 구성 요소들 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수 있고, 또는 추가적인 구성 요소들 또는 단계들이 더 포함될 수 있는 것으로 해석되어야 한다.
본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같은 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있으나, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않아야 한다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하기 위한 목적으로만 사용된다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되는 일반적인 용어들로 선택되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당하는 발명의 설명 부분에서 그 의미가 상세하게 기재될 것이다. 따라서, 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 과정이 영상 입력(input video)(110), 검출 루프(detecting loop)(120) 및 전경 추정(foreground estimation)(130)으로 구성될 수 있음이 도시되어 있다.
영상 입력(110)은 비고정 카메라에 의해 촬영되는 영상을 수신하는 단계를 의미할 수 있다. 비고정 카메라는 촬영의 대상이 되는 이동체뿐만 아니라 이동체를 촬영하는 카메라 또한 움직임을 갖는 것을 의미할 수 있다. 예를 들면, 비고정 카메라는 차량의 블랙박스 등일 수 있다. 또는, 비고정 카메라는 이동과 동시에 주변 환경에 대한 영상을 수신하는 로봇에 활용될 수 있다.
검출 루프(120)는 영상 입력(110) 과정을 통해 수신되는 영상을 처리하는 단계를 의미할 수 있다. 비고정 카메라의 영상은 초당 복수의 프레임들을 갖는 동영상일 수 있고, 검출 루프(120)의 영상을 처리하는 과정은 복수의 프레임들 각각에 대해 반복적으로 수행될 수 있다. 복수의 프레임들 각각은 특정 개수의 픽셀들로 구성될 수 있고, 영상 처리 과정은 픽셀들이 나타내는 수치에 기반하여 수행될 수 있다.
검출 루프(120)는 호모그래피 추정(121), 주의 집중 마스크 추정(122), 배경 모델의 이동(123) 및 배경 모델 업데이트(124)로 구성될 수 있다. 다만 이는 하나의 예시일 뿐이고, 다른 범용적인 과정들 또는 단계들이 검출 루프(120) 상에 더 포함될 수도 있다.
호모그래피 추정(121)은 비고정 카메라의 이동을 나타내는 호모그래피 행렬(homography matrix)를 도출하는 과정을 의미할 수 있다. 호모그래피 행렬이 도출되는 경우 이를 활용하여 비고정 카메라의 움직임을 상쇄할 수 있다. 비고정 카메라의 움직임이 상쇄되는 경우 배경의 움직임이 상쇄될 수 있고, 그에 따라 실제 이동체의 움직임만이 반영될 수 있다.
주의 집중 마스크 추정(122)은 영상 입력(110) 과정에 의한 입력 영상에 주의 집중 마스크를 설정하는 과정을 의미할 수 있다. 주의 집중 마스크가 설정되는 경우 입력 영상이 각기 다른 해상도로 분리될 수 있고, 그에 따라 복잡한 부분은 높은 해상도로, 단순한 부분은 낮은 해상도로 처리하여 이동체 검출의 연산량이 대폭 감소할 수 있다. 주의 집중 마스크를 통한 연산량 감소에 의해 이동체 검출이 입력되는 영상에 대해 실시간으로 수행될 수 있다.
배경 모델의 이동(123)은 비고정 카메라의 움직임에 따른 배경의 이동을 보정하는 과정을 의미할 수 있다. 전술한 바와 같이, 호모그래피 행렬이 도출되는 경우 카메라의 움직임이 도출될 수 있고, 배경은 카메라의 이동 방향과 반대 방향으로 이동한다는 점을 고려하면, 호모그래피 행렬을 통해 배경의 이동이 보정될 수 있다. 배경의 움직임이 보정되는 경우, 영상에서 이동체만이 움직임을 가지므로, 이동체 검출이 수행될 수 있다.
배경 모델 업데이트(124)는 움직임이 보정된 배경 모델의 모델 변수들을 업데이트하는 과정을 의미할 수 있다. 배경 모델은 입력 영상에서 배경 및 배경을 바탕으로 이동하는 이동체를 모델링한 것을 의미할 수 있다. 배경 모델이 설정되는 경우, 배경 모델의 모델 변수들에 대한 연산을 통해 배경 모델로부터 이동체를 나타내는 부분이 결정될 수 있다. 특히, 모델 변수들에 대한 연산은 주의 집중 마스크 추정(122) 과정에서 설정된 주의 집중 마스크에 의한 해상도에 따라 서로 다른 정도로 수행될 수 있고, 그에 따라 연산의 효율성이 증대될 수 있어 전체 연산량이 감소할 수 있다.
검출 루프(120)는 매 프레임마다 전술한 과정들이 반복되어 수행될 수 있다. 매 프레임마다 프레임을 구성하는 픽셀들에 의해 배경 모델의 모델 변수들이 업데이트될 수 있고, 그에 따라 픽셀들 중 어떠한 픽셀이 이동체를 나타내는 픽셀인지가 판단될 수 있다.
전경 추정(130)은 검출 루프(120)를 통해 업데이트되는 배경 모델의 모델 변수들로부터 전경(foreground)를 추정하는 과정을 의미할 수 있다. 전경은 배경(background)에 대비되는 것으로서, 이동체를 나타낼 수 있다. 즉, 배경으로부터 전경을 추정하는 것은 정지된 물체들로부터 이동체를 검출하는 과정을 의미할 수 있다.
배경 모델(background model)은 배경에 대해 움직임을 갖는 이동체를 검출하기 위해 배경을 모델링한 것으로서, 다양한 모델 변수들을 가질 수 있다. 모델 변수들은 입력 영상의 프레임들 각각을 구성하는 픽셀들에 의해 결정될 수 있다. 예를 들면, 픽셀들 각각이 갖는 픽셀 강도(pixel intensity)에 의해 모델 변수들의 값이 결정될 수 있다. 픽셀 강도는 픽셀의 밝기를 나태내는 지표일 수 있다.
배경 모델의 모델 변수들은 픽셀들의 픽셀 강도에 대한 평균(mean), 분산(variance) 및 에이지(age)를 포함할 수 있다. 예를 들면, 배경 모델은 특정 값의 평균 및 분산을 갖는 단일 가우시안 모델(SGM, single Gaussian model)일 수 있고, 단일 가우시안 모델은 학습의 정도를 나타내는 에이지를 가질 수 있다. 단일 가우시안 모델은 매 프레임의 픽셀들에 대한 학습을 통해 평균 및 분산의 값을 업데이트할 수 있고, 학습에 따라 에이지의 값이 증가할 수 있다.
배경 모델은 이중모드 SGM(dumal-mode single Gaussian model)일 수 있다. 더욱 상세하게는, 배경 모델은 어패런트 배경 모델(apparent background model) 및 캔디더트 배경 모델(candidate background model)을 포함하는 이중모드 SGM일 수 있다. 배경 모델이 두 개의 SGM에 의한 이중모드 SGM으로 구현되는 경우 배경이 두 개의 SGM으로 모델링되고, 그에 따라 배경이 잡음 또는 전경 물체에 의해 손상되는 것이 방지될 수 있다.
배경 모델은 그리드(grid) 단위로 적용될 수 있다. 그리드는 입력 영상을 구성하는 프레임들이 격자 형태로 나뉘어지는 단위를 의미할 수 있다. 예를 들면, 입력 영상의 프레임들이 320*240의 픽셀들로 구성되는 경우, 16*16의 픽셀들이 하나의 그리드를 형성할 수 있고, 입력 영상은 20*15의 그리드들로 치환될 수 있다. 소정의 크기로 형성되는 각각의 그리드에 대해 배경 모델이 적용될 수 있다.
특정 프레임 또는 특정 시간 t에서, i번째 그리드를 구성하는 픽셀 그룹을 Gi (t)라 하고, 해당 픽셀 그룹의 전체 픽셀 개수를 ｜Gi (t)｜라 하며, t에서 j번째 픽셀의 픽셀 강도를 Ij (t)라 하는 경우, i번째 그리드에 적용되는 SGM 배경 모델의 평균 μi (t), 분산 σi (t) 및 에이지 α i (t)는 아래의 수학식 1과 같이 표현될 수 있다.
Figure 112019002972419-pat00001
수학식 1에 의해 프레임 또는 시간이 t-1에서 t로 진행됨에 따라 배경 모델의 학습을 수행하고, 그에 따라 평균, 분산 및 에이지가 업데이트될 수 있다.
Figure 112019002972419-pat00002
,
Figure 112019002972419-pat00003
및
Figure 112019002972419-pat00004
는 각각 t-1에서 배경의 움직임이 보상된 배경 모델의 모델 변수들을 의미할 수 있다. 배경의 움직임 보상에 대한 구체적인 내용은 후술할 도 2의 단계 230을 통해 설명될 수 있다. 한편, Mi (t) 및 Vi (t)는 아래의 수학식 2와 같이 표현될 수 있다.
Figure 112019002972419-pat00005
수학식 2는 픽셀 강도의 평균 및 분산을 그리드 단위로 구한 것으로서, Mi (t) 및 Vi (t)는 그리드를 단위에 특화된 배경 모델의 모델 변수들을 의미할 수 있다. 수학식 2의 경우와 같이 모델 변수들이 픽셀 단위가 아닌 그리드 단위로 적용됨에 따라, 그리드 내부의 일부 특이 픽셀에 의해 배경 모델의 학습에 오류가 발생하는 것이 방지될 수 있다.
수학식 1 및 수학식 2의 모델 변수들에 의해 입력 영상이 배경 모델에 의해 모델링 될 수 있다. 구체적으로, 입력 영상의 프레임들을 구성하는 픽셀들이 그리드들로 분할되어, 각각의 그리드에 배경 모델이 적용될 수 있다. 또한, 배경 모델은 수학식 1 및 수학식 2의 모델 변수들에 의한 모델이 이중으로 구비되는 이중 모드 SGM으로 구현될 수 있다.
도 2는 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법을 구성하는 단계들을 나타내는 흐름도이다.
도 2를 참조하면, 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법은 단계 210 내지 단계 240을 포함할 수 있다. 다만 이에 제한되는 것은 아니고, 도 2에 도시되는 단계들 외에 다른 범용적인 단계들이 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법에 더 포함될 수 있다.
도 2의 방법은 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치에 의해 수행될 수 있다. 도 2의 방법을 수행하는 장치는 후술할 도 6의 장치(600)일 수 있다.
단계 210에서, 장치(600)는 비고정 카메라에 의해 촬영되는 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드 영역들로 분할할 수 있다.
단계 220에서, 장치(600)는 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 그리드 영역들에 주의 집중 마스크(attention mask)를 설정할 수 있다.
주의 집중 마스크를 설정하는 과정에서, 장치(600)는 그리드 영역들 각각에 포함되는 픽셀(pixel)들의 분산(variance)에 기초하여 그리드 영역들의 적어도 일부를 병합하거나 분할할 수 있다.
주의 집중 마스크를 설정하는 과정에서, 장치(600)는, 그리드 영역들의 적어도 일부가 병합되는 경우, 병합되는 그리드 영역에 적용되는 모델 변수들을 병합되기 이전의 그리드 영역들 각각의 모델 변수들에 대한 평균으로 설정할 수 있다.
주의 집중 마스크를 설정하는 과정에서, 장치(600)는, 그리드 영역들의 적어도 일부가 분할되는 경우, 분할되는 그리드 영역들 각각의 모델 변수들을 분할되기 이전의 그리드 영역의 모델 변수들로 설정할 수 있다.
주의 집중 마스크를 설정하는 과정에서, 장치(600)는 행렬 형상으로 배열되는 그리드 영역들의 행 방향 또는 열 방향을 따라 주의 집중 마스크를 설정할 수 있다.
주의 집중 마스크를 설정하는 단계에 대한 보다 구체적인 내용은 후술할 도 3 내지 도 4를 통해 설명될 수 있다.
단계 230에서, 장치(600)는 비고정 카메라의 움직임에 따른 배경 모델의 움직임을 보상할 수 있다.
움직임을 보상하는 과정에서, 장치(600)는 호모그래피 행렬(homography matrix)에 따른 그리드 영역들의 이동 및 이동되는 그리드 영역들과 이동 이전의 그리드 영역들이 오버랩(overlap)되는 영역에 기초하여 모델 혼합을 수행할 수 있다. 모델 혼합은 아래의 수학식 3을 통해 설명될 수 있다.
Figure 112019002972419-pat00006
수학식 3을 참조하면,
Figure 112019002972419-pat00007
,
Figure 112019002972419-pat00008
및
Figure 112019002972419-pat00009
는 수학식 1의 모델 업데이트에 활용되는 변수들로서, 각각 t-1에서 배경의 움직임이 보상된 배경 모델의 평균, 분산 및 에이지를 의미할 수 있다. 수학식 3의 가중치 wk는 아래의 수학식 4를 통해 설명될 수 있다.
Figure 112019002972419-pat00010
수학식 4를 참조하면, 가중치 가중치 wk는 호모그래피 행렬에 따라 이동되는 그리드 영역 Ri와 이동 이전의 그리드 영역 Gk (t)가 오버랩되는 영역에 비례할 수 있고, 모든 가중치들의 합은 1일 수 있다. 즉, 오버랩되는 부분이 많은 영역은 높은 가중치를 통해 움직임 보상 후의 모델 변수에 크게 반영될 수 있고, 오버랩되는 부분이 적은 영역은 그 반대일 수 있다. 이와 같이 오버랩되는 부분들이 혼합되는 방식으로 모델 혼합에 의한 움직임 보상이 수행될 수 있다.
단계 240에서, 장치(600)는 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 프레임들 각각으로부터 이동체를 선별할 수 있다.
이동체를 선별하는 과정에서, 장치(600)는 그리드 영역들 각각에 포함되는 픽셀들의 픽셀 강도(pixel intensity) 및 업데이트되는 모델 변수들에 기초하여 이동체를 나타내는 픽셀들을 선별할 수 있다. 이동체를 선별하기 위한 구체적인 기준은 아래의 수학식 5를 통해 설명될 수 있다.
Figure 112019002972419-pat00011
수학식 5를 참조하면, 각 그리드에 대해, 픽셀 강도가 평균으로부터 일정 수준 이상 벗어난 픽셀들이 이동체에 해당하는 것으로서 전경 픽셀로 간주될 수 있다.
도 2의 단계 210 내지 단계 240, 수학식 1 내지 수학식 5에 관한 보다 구체적인 내용은 등록특허공보 제10-1438451호를 통해 제공될 수 있다.
도 3은 일부 실시예에 따른 주의 집중 마스크(attention mask)를 설정하는 방식을 설명하기 위한 도면이다.
도 3을 참조하면, 입력 영상(311)에 대한 주의 집중 마스크(312), 입력 영상(321)에 대한 주의 집중 마스크(322) 및 입력 영상(331)에 대한 주의 집중 마스크(332)가 도시되어 있다.
주의 집중 마스크는 그리드 영역들 각각에 포함되는 픽셀들의 분산에 기초하여 설정될 수 있다. 주의 집중 마스크를 설정하는 과정에서, 그리드 영역들의 적어도 일부가 병합되거나 분할될 수 있다. 그리드 영역들의 병합 또는 분할에 의해 입력 영상을 처리하는 해상도가 변경될 수 있다. 입력 영상에서 복잡한 부분은 그리드 영역에 대한 분할을 통해 고해상도로 처리될 수 있고, 단순한 부분은 그리드 영역들에 대한 병합을 통해 저해상도로 처리될 수 있다.
고해상도로 처리할지, 또는 저해상도로 처리할지 여부는 픽셀들의 표준편차 또는 분산을 기준으로 결정될 수 있다. 예를 들면, 입력 영상의 프레임을 구성하는 그리드들 각각에 대해 표준편차 또는 분산이 계산될 수 있고, 표준편차 또는 분산이 높을수록 고해상도로, 낮을수록 저해상도로 처리될 수 있다.
주의 집중 마스크는 행렬 형상으로 배열되는 그리드 영역들의 행 방향 또는 열 방향을 따라 설정될 수 있다. 도 3의 주의 집중 마스크(312) 내지 주의 집중 마스크(332)는 모두 행 방향을 따라 설정되었음이 확인될 수 있다. 구체적으로, 행렬 형상의 그리드들 각각에 대해 표준 편차 또는 분산을 계산하고, 표준 편차 또는 분산을 행(row) 방향으로 합산하면 하나의 열(column)을 갖는 열 벡터가 도출될 수 있고, 열 벡터의 값은 행 방향으로 합산된 표준편차 또는 분산을 나타낼 수 있다. 따라서, 열 벡터의 값을 기준으로 행 방향을 따라 주의 집중 마스크가 설정될 수 있다.
입력 영상(311)에 대한 주의 집중 마스크(312)를 참조하면, 입력 영상(311) 상단부는 비교적 단순한 부분으로서 그리드들의 표준편차 또는 분산의 값이 작고, 그에 따라 저해상도를 나타내는 어두운 색으로 표시되어 있으며, 입력 영상(311)의 하단부는 다소 복잡한 부분으로서, 그리드들의 표준편차 또는 분산의 값이 크고, 그에 따라 고해상도를 나타내는 밝은 색으로 표시되어 있다. 입력 영상(321)에 대한 주의 집중 마스크(322) 및 입력 영상(331)에 대한 주의 집중 마스크(332) 또한 동일한 방식으로 행 방향을 따라 주의 집중 마스크가 설정되었음이 확인될 수 있다.
도 3에서는 주의 집중 마스크가 행 방향을 따라 설정되는 것으로 예시되었으나, 이에 제한되는 것은 아니고, 주의 집중 마스크는 대응되는 원리에 따라 열 방향으로 설정될 수도 있고, 기타 다른 적합한 방식에 따라 설정될 수도 있다.
주의 집중 마스크가 설정되어, 입력 영상이 처리되는 해상도가 일괄적으로 설정되지 않고, 복잡도에 따라 서로 다른 해상도로 설정될 수 있다. 그에 따라, 고해상도 처리가 불필요한 부분은 저해상도로 설정되어 보다 신속하게 처리될 수 있어, 이동체 검출의 전체적인 연산량이 대폭 감소할 수 있다.
도 4는 일부 실시예에 따른 그리드(grid) 영역들 각각이 처리되는 해상도를 결정하는 방식을 설명하기 위한 도면이다.
도 4를 참조하면, 주의 집중 마스크의 설정에 따라 그리드 영역이 분할되어 해상도가 증가하거나, 그리드 영역들이 병합되어 해상도가 감소하는 예시가 도시되어 있다.
그리드 영역(411)의 표준편차 또는 분산이 상대적으로 큰 경우, 그리드 영역(411)은 그리드 영역들(412) 또는 그리드 영역들(413)로 분할될 수 있고, 반대의 경우, 그리드 영역들(412) 또는 그리드 영역들(413)은 그리드 영역(411)으로 병합될 수 있다.
그리드 영역(411)이 4개의 그리드 영역들(412)으로 분할되는 경우, 4개의 그리드 영역들(412)에는 4개의 독립적인 배경 모델들이 각각 적용될 수 있다. 이 경우, 4개의 배경 모델들의 모델 변수들에는 분할 전의 그리드 영역(411)에 적용되던 배경 모델의 모델 변수들의 값이 그대로 붙여넣어질 수 있다. 이와 같은 방식은 그리드 영역(411)이 16개의 그리드 영역들(413)으로 분할되는 경우에도 마찬가지로 적용될 수 있다. 분할 이후, 분리된 그리드 영역들에 적용되는 배경 모델은 독립적으로 동작하여 각 영역들의 모델 변수들의 값은 달라질 수 있다.
4개의 그리드 영역들(412)이 그리드 영역(411)으로 병합되는 경우, 4개의 그리드 영역들(412) 각각에 적용되던 배경 모델들의 모델 변수들에 대한 평균이 병합 후의 그리드 영역(411)에 적용될 수 있다. 예를 들면, 4개의 그리드 영역들(412)에 각각 적용되는 배경 모델들의 모델 변수로서, 분산 σ1 (t), σ2 (t), σ3 (t), σ4 (t)이 각각 10, 10, 10, 30인 경우, 병합 후의 그리드 영역(411)에 적용되는 배경 모델의 모델 변수로서 분산은 15일 수 있다. 16개의 그리드 영역들(413)이 그리드 영역(411)으로 병합되는 경우에도 동일한 방식이 적용될 수 있다.
한편, 그리드 영역(421)이 그리드 영역들(422) 또는 그리드 영역들(423)로 분할되거나, 반대로 병합되는 경우에서와 같이, 일부 그리드 영역의 픽셀들이 정의되지 않는 경우(NaN), 정의되지 않는 그리드 영역들이 제외된 상태로 그리드 영역의 병합 및 분할이 수행될 수 있다.
도 5는 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 성능을 설명하기 위한 도면이다.
도 5를 참조하면, 입력 영상 (a)에 대한 선행 기술에 따른 검출 결과(b) 및 본 개시에 따른 검출 결과(c)가 도시되어 있다.
입력 영상 (a)로부터 이동체를 검출하는 성능에 있어서, 도 5의 (b) 및 (c)를 참조하면, 본 개시에 따른 방법의 성능은 선행 기술의 성능과 동일한 수준의 성능을 가질 수 있다. 한편, 본 개시에 따른 검출 결과(c)는 선행 기술에 따른 검출 결과(b) 대비 6 fps(frame per second)의 속도 향상이 있어, 선행 기술 대비 약 2배의 속도 향상이 확인될 수 있었다.
본 개시에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법은 주의 집중 마스크를 설정하여 그리드 영역마다 해상도를 달리할 수 있고, 단순한 부분의 해상도를 낮게 설정하는 방식으로, 이동체 검출에 소요되는 연산량을 대폭 감소시킬 수 있다. 연산량의 감소에 따라 실시간으로 처리 가능한 초당 프레임 수가 상승할 수 있고, 그에 따라 이동체 검출의 실시간성이 확보될 수 있다.
도 6은 일부 실시예에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치를 구성하는 요소들을 나타내는 블록도이다.
도 6을 참조하면, 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치(600)는 메모리(610) 및 프로세서(620)를 포함할 수 있다. 다만 이에 제한되는 것은 아니고, 도 6에 도시되는 요소들 외에 다른 범용적인 요소들이 장치(600)에 더 포함될 수 있다.
도 1 내지 도 5를 통해 설명된 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법을 구성하는 단계들은 도 6의 장치(600)에서 시계열적으로 처리될 수 있다. 따라서, 이하에서 도 6의 장치(600)에 관해 생략되는 내용이라 하더라도, 도 1 내지 도 5의 방법에 관해 이상에서 기술된 내용은 도 6의 장치(600)에 대해서도 적용될 수 있다.
메모리(610)는 장치(600)에서 처리된 데이터 및 처리될 데이터로서 입력 영상 또는 배경 모델의 모델 변수 등에 관한 데이터를 저장할 수 있다. 메모리(610)는 적어도 하나의 프로그램을 저장할 수 있다. 메모리(610)에 저장되는 적어도 하나의 프로그램은 프로세서(620)에 의해 실행될 수 있다.
메모리(610)는 DRAM(dynamic random access memory), SRAM(static random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM, 블루레이(blu-ray) 또는 다른 광학 디스크 스토리지, HDD(hard disk drive), SSD(solid state drive), 또는 플래시 메모리로 구현될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(620)는 다수의 논리 게이트들의 어레이로 구현될 수 있고, 범용적인 마이크로 프로세서와 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 프로세서(620)는 복수 개의 프로세싱 엘리먼트들(processing elements)로 구성될 수도 있다.
프로세서(620)는 메모리(610)에 저장되는 적어도 하나의 프로그램을 실행함으로써 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법을 구성하는 단계들을 수행할 수 있다.
프로세서(620)는 비고정 카메라에 의해 촬영되는 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드 영역들로 분할할 수 있다.
프로세서(620)는 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 그리드 영역들에 주의 집중 마스크를 설정할 수 있다.
프로세서(620)는 비고정 카메라의 움직임에 따른 배경 모델의 움직임을 보상할 수 있다.
프로세서(620)는 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 프레임들 각각으로부터 이동체를 선별할 수 있다.
한편, 본 개시에 따른 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법은 그 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록되는 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터로 판독 가능한 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
600: 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치
610: 메모리
620: 프로세서

Claims (11)

  1. 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법에 있어서,
    상기 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드(grid) 영역들로 분할하는 단계;
    상기 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 상기 그리드 영역들에 주의 집중 마스크(attention mask)를 설정하는 단계;
    상기 비고정 카메라의 움직임에 따른 상기 배경 모델의 움직임을 보상하는 단계; 및
    상기 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 상기 프레임들 각각으로부터 상기 이동체를 선별하는 단계를 포함하고,
    상기 주의 집중 마스크를 설정하는 단계는,
    상기 그리드 영역들 각각에 포함되는 픽셀(pixel)들의 분산(variance)에 기초하여 상기 그리드 영역들의 적어도 일부를 병합하거나 분할하는 단계를 포함하는, 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 주의 집중 마스크를 설정하는 단계는,
    상기 적어도 일부가 병합되는 경우, 병합되는 그리드 영역에 적용되는 상기 모델 변수들을 병합되기 이전의 그리드 영역들 각각의 상기 모델 변수들에 대한 평균으로 설정하는 단계를 포함하는, 방법.
  4. 제 1항에 있어서,
    상기 주의 집중 마스크를 설정하는 단계는,
    상기 적어도 일부가 분할되는 경우, 분할되는 그리드 영역들 각각의 상기 모델 변수들을 분할되기 이전의 그리드 영역의 상기 모델 변수들로 설정하는 단계를 포함하는, 방법.
  5. 제 1항에 있어서,
    상기 주의 집중 마스크를 설정하는 단계는,
    행렬 형상으로 배열되는 상기 그리드 영역들의 행 방향 또는 열 방향을 따라 상기 주의 집중 마스크를 설정하는 단계를 포함하는, 방법.
  6. 제 1항에 있어서,
    상기 움직임을 보상하는 단계는,
    호모그래피 행렬(homography matrix)에 따른 상기 그리드 영역들의 이동 및 상기 이동되는 상기 그리드 영역들과 상기 이동 이전의 상기 그리드 영역들이 오버랩(overlap)되는 영역에 기초하여 모델 혼합을 수행하는 단계를 포함하는, 방법.
  7. 제 1항에 있어서,
    상기 이동체를 선별하는 단계는,
    상기 그리드 영역들 각각에 포함되는 픽셀들의 픽셀 강도(pixel intensity) 및 상기 업데이트되는 모델 변수들에 기초하여 상기 이동체를 나타내는 픽셀들을 선별하는 단계를 포함하는, 방법.
  8. 제 1항에 있어서,
    상기 모델 변수들은 상기 그리드 영역들 각각에 포함되는 픽셀들의 픽셀 강도에 대한 평균(mean), 분산(variance) 및 에이지(age)를 포함하는, 방법.
  9. 제 1항에 있어서,
    상기 배경 모델은 어패런트 배경 모델(apparent background model) 및 캔디더트 배경 모델(candidate background model)을 포함하는 이중 모드 SGM(dual-mode single Gaussian model)으로 구현되는, 방법.
  10. 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법을 구현하기 위한 프로그램이 기록되는 컴퓨터로 판독 가능한 기록 매체에 있어서,
    상기 방법은,
    상기 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드 영역들로 분할하는 단계;
    상기 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 상기 그리드 영역들에 주의 집중 마스크를 설정하는 단계;
    상기 비고정 카메라의 움직임에 따른 상기 배경 모델의 움직임을 보상하는 단계; 및
    상기 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 상기 프레임들 각각으로부터 상기 이동체를 선별하는 단계를 포함하고,
    상기 주의 집중 마스크를 설정하는 단계는,
    상기 그리드 영역들 각각에 포함되는 픽셀(pixel)들의 분산(variance)에 기초하여 상기 그리드 영역들의 적어도 일부를 병합하거나 분할하는 단계를 포함하는, 기록매체.
  11. 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 장치에 있어서,
    적어도 하나의 프로그램을 저장하는 메모리; 및
    상기 적어도 하나의 프로그램을 실행함으로써 상기 이동체를 검출하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 영상을 구성하는 프레임들 각각을 배경 모델을 적용하기 위한 그리드 영역들로 분할하고,
    상기 그리드 영역들 각각이 처리되는 해상도를 결정하기 위해 상기 그리드 영역들에 주의 집중 마스크를 설정하고,
    상기 비고정 카메라의 움직임에 따른 상기 배경 모델의 움직임을 보상하고,
    상기 움직임이 보상된 배경 모델에 관한 모델 변수들을 업데이트하여 상기 프레임들 각각으로부터 상기 이동체를 선별하고,
    상기 프로세서는
    상기 그리드 영역들 각각에 포함되는 픽셀(pixel)들의 분산(variance)에 기초하여 상기 그리드 영역들의 적어도 일부를 병합하거나 분할함으로써 상기 주의 집중 마스크를 설정하는, 장치.
KR1020190002990A 2019-01-09 2019-01-09 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치 KR102141646B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190002990A KR102141646B1 (ko) 2019-01-09 2019-01-09 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190002990A KR102141646B1 (ko) 2019-01-09 2019-01-09 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200086585A KR20200086585A (ko) 2020-07-17
KR102141646B1 true KR102141646B1 (ko) 2020-08-05

Family

ID=71832429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002990A KR102141646B1 (ko) 2019-01-09 2019-01-09 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102141646B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114819A (ko) * 2021-02-09 2022-08-17 주식회사 라온버드 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
KR20230095322A (ko) 2021-12-22 2023-06-29 국방과학연구소 비행체 탑재 광학장비 지상 중첩 촬영 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022093004A1 (en) * 2020-10-30 2022-05-05 Mimos Berhad System and method for computing motion information from detected moving objects
KR102450466B1 (ko) * 2021-02-09 2022-09-30 주식회사 라온버드 영상 내의 카메라 움직임 제거 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438451B1 (ko) * 2013-04-17 2014-09-12 서울대학교산학협력단 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100715669B1 (ko) * 2004-12-17 2007-05-09 한국전자통신연구원 다단계 해상도를 갖는 3차원 이미지 표현 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438451B1 (ko) * 2013-04-17 2014-09-12 서울대학교산학협력단 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220114819A (ko) * 2021-02-09 2022-08-17 주식회사 라온버드 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
KR102614895B1 (ko) * 2021-02-09 2023-12-19 주식회사 라온버드 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법
KR20230095322A (ko) 2021-12-22 2023-06-29 국방과학연구소 비행체 탑재 광학장비 지상 중첩 촬영 방법

Also Published As

Publication number Publication date
KR20200086585A (ko) 2020-07-17

Similar Documents

Publication Publication Date Title
KR102141646B1 (ko) 비고정 카메라에 의해 촬영되는 영상으로부터 이동체를 검출하는 방법 및 장치
KR102382693B1 (ko) 이미지 분석 기반으로 환경에 영향 받지 않는 감시를 위한 보행자 검출기의 학습 방법 및 학습 장치, 그리고, 이를 이용하여 테스트 방법 및 테스트장치
EP3633618B1 (en) Method for tracking object by using convolutional neural network including tracking network and computing device using the same
US11543830B2 (en) Unsupervised real-to-virtual domain unification for end-to-end highway driving
Krull et al. 6-dof model based tracking via object coordinate regression
US9947077B2 (en) Video object tracking in traffic monitoring
CN110349190B (zh) 自适应学习的目标跟踪方法、装置、设备及可读存储介质
CN108876813B (zh) 用于视频中物体检测的图像处理方法、装置及设备
US20130287250A1 (en) Method and apparatus for tracking object in image data, and storage medium storing the same
EP3686837B1 (en) Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using gan to enhance fault tolerance and fluctuation robustness in extreme situations
US11960294B2 (en) Self-supervised attention learning for depth and motion estimation
EP3690811A1 (en) Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
Bešić et al. Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning
US20210224951A1 (en) Image processing apparatus and operation method thereof
US20220335624A1 (en) Unsupervised training of optical flow estimation neural networks
US20180247418A1 (en) Method and apparatus for object tracking and segmentation via background tracking
CN112418149A (zh) 一种基于深卷积神经网络的异常行为检测方法
JP3716455B2 (ja) 領域抽出方法及び領域抽出装置
CN112396594A (zh) 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
Labao et al. Simultaneous localization and segmentation of fish objects using multi-task CNN and dense CRF
CN112001949A (zh) 确定目标点移动速度的方法、装置、可读存储介质及设备
KR101438451B1 (ko) 비고정 카메라 영상에 대한 이중모드 ｓｇｍ 기반의 이동체 고속 검출 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
Concha et al. Performance evaluation of a 3D multi-view-based particle filter for visual object tracking using GPUs and multicore CPUs
Vora et al. Future segmentation using 3d structure

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant