KR20170133269A - 영상 처리장치, 영상 처리방법 및 프로그램 - Google Patents

영상 처리장치, 영상 처리방법 및 프로그램 Download PDF

Info

Publication number
KR20170133269A
KR20170133269A KR1020170063259A KR20170063259A KR20170133269A KR 20170133269 A KR20170133269 A KR 20170133269A KR 1020170063259 A KR1020170063259 A KR 1020170063259A KR 20170063259 A KR20170063259 A KR 20170063259A KR 20170133269 A KR20170133269 A KR 20170133269A
Authority
KR
South Korea
Prior art keywords
specific object
region
image
area
unit
Prior art date
Application number
KR1020170063259A
Other languages
English (en)
Other versions
KR102213328B1 (ko
Inventor
야스오 밤바
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170133269A publication Critical patent/KR20170133269A/ko
Application granted granted Critical
Publication of KR102213328B1 publication Critical patent/KR102213328B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

화상 처리장치는 화상 중의 복수의 물체를 적절히 관련시키는 것을 목적으로 한다. 대상 검출부는, 영상에 포함되는 추미 대상의 영역의 위치를 검출한다. 특정 물체 검출부는, 영상에 포함되는 특정 물체의 위치를 검출한다. 특정 물체는 소정의 특징을 갖는다. 관련부는, 추미 대상 검출부에 의해 검출되는 추미 대상의 영역의 위치와, 특정 물체 검출부에 의해 검출되는 특정 물체의 위치의 상대 위치에 근거하여, 추미 대상의 영역을 특정 물체와 관련시킨다.

Description

영상 처리장치, 영상 처리방법 및 프로그램{VIDEO PROCESSING APPARATUS, VIDEO PROCESSING METHOD, AND PROGRAM}
본 발명은, 화상에 있어서 대상을 추미하는 추미장치, 추미방법 및 프로그램에 관한 것이다.
종래, 감시 카메라의 촬상 화상에 있어서 소정의 물체를 추미하는 기술이 알려져 있다. 더구나, 추미 대상이 되는 대상 물체와, 대상 물체에 관련되는 관련 물체를 서로 대응시켜 관리하고, 관련 물체의 추미 결과를 사용함으로써 대상 물체의 추미를 행하는 기술도 알려져 있다. 이와 같은 기술은 대상 물체의 추미 정밀도를 향상시킬 수 있다. 일본국 특개 2012-103752호 공보에는, 이동 물체의 영역과 특정 물체의 영역의 중첩하는 부분의 면적에 근거하여, 이동 물체가 특정 물체에 대응하는지를 판단하고, 이동 물체가 특정 물체에 대응한다고 판단한 경우에, 이동 물체를 특정 물체와 관련시키는 기술이 개시되어 있다.
그렇지만, 대상 물체와 관련 물체의 관계는, 양쪽 물체의 화상 영역의 중첩에 한정되는 것은 아니다. 예를 들면, 대상 물체가 어떤 인물의 하반신의 일부인 경우에, 동일 인물의 머리 부분을 특정 물체로서 관련시키는 것도 가능하다. 이렇게 다양한 관계를 갖는 화상들을 적절히 관련시키는 기술이 요망되고 있다.
본 발명은 화상중의 복수의 물체를 적절히 관련시키는 것을 목적으로 한다,
본 발명의 일면에 따르면, 영상 처리장치는, 영상에 포함되는 추미 대상의 영역의 위치를 검출하도록 구성된 대상 검출부와, 상기 영상에 포함되고 소정의 특징을 갖는 특정 물체의 위치를 검출하도록 구성된 특정 물체 검출부와, 상기 대상 검출부에 의해 검출된 상기 추미 대상의 영역의 위치와, 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 상대 위치에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체에 관련시키도록 구성된 관련부를 구비하고, 상기 대상 검출부는, 상기 추미 대상의 영역과 상기 특정 물체가 상기 관련부에 의해 관련된 경우, 검출된 상기 추미 대상의 영역의 위치 또는 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 적어도 한개를 사용하여, 상기 추미 대상을 추미하도록 구성된다.
본 발명의 또 다른 특징 및 국면은 첨부된 도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은 추미 시스템의 전체도다.
도 2는 카메라의 하드웨어 구성을 도시한 도면이다.
도 3은 카메라의 소프트웨어 구성을 도시한 도면이다.
도 4는 카메라에 의한 추미 처리를 나타낸 흐름도다.
도 5a, 도 5b, 도 5c 및 도 5d는 추미 처리의 설명도다.
이하, 본 발명의 실시형태에 대해 도면을 참조하여 설명한다.
도 1은, 본 실시형태에 따른 추미 시스템(100)의 전체도다. 본 실시형태에 있어서는, 추미 시스템(100)이 인물을 추미하는 경우를 예로 들어 설명한다. 그러나, 추미 대상은 인물에 한정되는 것은 아니고, 자동차, 자전거, 모터사이클 등이어도 된다. 추미 시스템(100)은, 카메라(101), 녹화장치(102), 표시장치(103)와, 입력장치(104)를 갖고 있다. 카메라(101), 녹화장치(102) 및 표시장치(103)는, 네트워크(105) 경유로 접속된다. 입력장치(104)는, 표시장치(103)에 접속된다. 카메라(101)는, 팬-틸트-줌(PTZ) 카메라로 불리며, 팬, 틸트 및 줌 조절이 가능하다. 카메라(101)는, 추미 대상이 되는 대상 물체가 항상 촬상되도록, 자동으로 팬, 틸트 및 줌을 제어한다. 여기에서, 팬은 카메라(101)의 방향을 좌우로 변경하는 것을 말한다. 틸트는 카메라(101)의 방향을 상하로 변경하는 것을 말한다. 줌은 화각을 망원 또는 광각측으로 변화시키는 것을 말한다.
카메라(101)는, 녹화장치(102) 또는 표시장치(103)로부터의 요구에 따라, 영상을 송신한다. 녹화장치(102)는, 카메라(101)로부터 취득한 영상을 미도시의 기록 매체에 보존한다. 표시장치(103)는, 카메라(101)로부터 얻은 영상과, 녹화장치(102)에 보존된 영상을 판독해서 표시한다. 표시장치(103)는, 입력장치(104)를 거쳐 유저로부터의 요구를 받아, 카메라(101)에 요구를 송신한다.
도 2는, 카메라(101)의 하드웨어 구성을 도시한 도면이다. 중앙처리장치(CPU)(201)는, 판독 전용 메모리(ROM)(202)에 기억된 제어 프로그램을 판독해서 각종 처리를 실행한다. 랜덤 액세스 메모리(RAM)(203)는, CPU(201)의 주메모리 및 워크 에어리어 등의 일시 기억영역으로서 사용된다. 후술하는 카메라(101)의 기능과 처리는, CPU(201)이 ROM(202)에 격납되어 있는 프로그램을 판독하고 실행함으로써 실현되는 것이다. 촬상부(204)는, 상보성 금속 산화물 반도체(CMOS) 촬상 센서 및 전하 결합 소자(CCD) 촬상 센서 등의 고체 촬상 소자와, 팬 헤드(pan head)를 갖는다. 촬상부(204)는, 팬, 틸트 및 줌을 변화시켜서 영상(화상)을 촬상한다. 표시부(205)는, 각종 정보를 표시한다. 입력부(206)는, 키보드와 마우스를 갖고, 유저에 의한 각종 조작을 접수한다. 통신부(207)는, 하이퍼텍스트 전송 프로토콜(HTTP) 및 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP) 등의 통신방식에 근거하여, 네트워크(105)를 거쳐 외부장치와의 통신 처리를 행한다.
도 3은, 카메라(101)의 소프트웨어 구성을 도시한 도면이다. 영상 취득부(301)는, 촬상부(204)로부터 촬상 데이터를 취득한다. 여기에서, 촬상 데이터는, 촬상부(204)에 의해 촬상된 영상과, 그 영상이 촬상될 때의 촬상부(204)의 자세 정보(팬 값, 틸트 값 및 줌 값)를 포함하는 데이터를 말한다. 부호화부(302)는, 영상 취득부(301)로부터 촬상 데이터를 받고, 영상을 적당한 부호화 방식에 의해 부호화한다. 부호화 방식의 예로는 Joint Photographic Experts Group(JPEG), Moving Picture Experts Group(MPEG)-2, MPEG-4, H.264를 들 수 있다. 통신 처리부(303)는 부호화된 영상을 통신부(207)를 경유해서 외부로 송신한다. 통신 처리부(303)는, 외부장치와의 사이에서 데이터의 송수신을 행한다. 통신 처리부(303)는 예를 들면, 입력장치(104)로부터 유저에 의해 입력된 정보를 통신부(207)를 거쳐 수신한다.
검출부(304)는, 영상 취득부(301)가 취득한 촬상 데이터에 포함되는 영상을 받는다. 검출부(304)는, 기지의 패턴인식과 기계학습의 각종 수법을 이용하여, 영상에 포함되는 각 프레임 화상에 있는 특정 물체의 영역을 검출한다. 여기에서, 특정 물체는, 얼굴, 인체의 전체 또는 인체의 일부 등 미리 정해진 물체를 말한다. 본 실시형태에 있어서는, 사람의 얼굴이 특정 물체로서 미리 정해져 있는 것으로 한다. 추미 대상이 자동차인 경우에는, 특정 물체는 자동차의 번호판이어도 된다.
카메라(101)의 RAM(203)에, 이 특정 물체를 검출하기 위해서 필요한, 특정 물체의 물체 종별에 고유한 특징을 나타내는 정보가 미리 기억되어 있다. 검출부(304)는, 예를 들면, 화상의 크기를 변경하면서 대조 패턴을 화상 전체 영역에 사용해서 복수의 국소 패턴을 추출하고, 각각의 국소 특징량을 산출한다. 그리고, 검출부(304)는, 각각의 가중을 사용한 국소 특징량의 총합으로부터 특정 물체인지를 판정한다. 본 처리에 대해서는, 일본국 특개 2009-211311호 공보를 참조하기 바란다.
특정 물체 추미부(305)는 특정 물체의 영역의 추미를 행한다. 구체적으로는, 특정 물체 추미부(305)는, 영상에 있어서 시간적으로 연속하는 복수의 프레임 화상 각각에 있어서 검출된 특정 물체의 영역을 관련시킨다. 이와 같은 관련 처리는, 각 프레임 화상의 특정 물체의 영역의 검출 결과 중에서, 동일한 특정 물체에 대응하는 검출 결과들을 페어링하는 매칭 문제로서 공식화할 수 있다. 특정 물체 추미부(305)는, 우선, 복수의 프레임 화상의 특정 물체들 사이의 유사도를 임의의 값을 사용하여 정의한다. 임의의 값의 예로는, 특정 물체를 표시하는 도형의 위치와 사이즈, 특정 물체로부터 추출된 특징량을 들 수 있다. 다음에, 특정 물체 추미부(305)는, 유사도의 내림 차순으로 검출 결과들을 페어링하는 방법이나, 전체의 유사도의 합이 최대가 되도록 검출 결과들을 페어링하는 전체 최적화방법을 사용하여, 검출 결과의 매칭을 결정할 수 있다. 그리고, 특정 물체 추미부(305)는, 관련된 특정 물체의 영역에 대해 동일한 ID를 부여한다.
결정부(306)는, 영상 취득부(301)가 취득한 촬상 데이터에 포함되는 영상을 받는다. 그리고, 결정부(306)는, 영상중의 이동 물체를 추미 대상으로서 결정한다. 이하, 추미 대상인 이동 물체를 대상 물체로 칭한다. 대상 물체 추미부(307)는, 대상 물체의 영역의 위치와 대상 물체의 영역에 관련된 특정 물체의 영역의 위치에 근거하여, 대상 물체의 영역의 추미를 행한다. 관련부(308)는, 결정부(306)에 의해 결정된 대상 물체의 영역을, 검출부(304)에 의해 검출된 특정 물체의 영역과 관련시킨다. 결정부(306), 대상 물체 추미부(307) 및 관련부(308)의 처리의 상세에 관해서는 후술한다. 제어부(309)는, 카메라(101)의 팬 모터, 틸트 모터 및 줌 모터의 제어 명령을 생성 및 발행한다.
도 4는, 카메라(101)에 의한 추미 처리를 나타낸 흐름도다. 예를 들면, 입력장치(104)에 대한 유저 입력에 따라 카메라(101)에 송신된 PTZ 추미 개시 요구를 통신 처리부(303)가 수신하면, 카메라(101)의 CPU(201)은 PTZ 추미 모드를 개시한다. 추미 처리는, PTZ 추미 모드에 있어서의 카메라(101)의 처리다. 도 5a 내지 도 5d는, 추미 처리의 설명도다. 도 5a 내지 도 5d에 나타낸 각 프레임 화상 500, 510, 520, 530은, 영상에 포함되는 연속하는 프레임 화상이다. 프레임 화상 500, 510, 520, 530은 촬상 순서에 대응하는 순서로 배열된다. 즉, 프레임 화상 500, 510, 520, 530은, 시계열로 얻어진 복수의 화상의 일례다. 도 5a 내지 도 5d의 프레임 화상의 우측에 나타낸 좌표에 대해서는 후술한다.
도 4의 스텝 S400에 있어서, 영상 취득부(301)는, 촬상부(204)에 의해 촬상된 프레임 화상(입력 화상)을 1매 취득한다. 스텝 S400에 있어서 취득한 프레임 화상이, 스텝 S401 이후의 처리의 처리 대상이 된다. 이하, 처리 대상인 프레임 화상을 대상 프레임 화상으로 칭한다. 추미 처리는 루프 처리다. 예를 들면, 도 5a 내지 도 5d에 나타낸 4매의 프레임 화상을 포함하는 영상을 처리 대상으로 하는 경우에는, 영상 취득부(301)는, 스텝 S401이 최초로 실행될 때 프레임 화상 500을 취득한다. 영상 취득부(301)는, 2회째 스텝 S401이 실행될 때에는 프레임 화상 510을 취득한다. 이렇게, 영상 취득부(301)는, 영상에 있어서의 배열 순서(촬상 순서)로 프레임 화상을 1매씩 취득한다.
스텝 S401에 있어서, 검출부(304)는, 기지의 패턴인식과 기계학습을 포함하는 각종 수법을 이용하여, 대상 프레임 화상으로부터 특정 물체의 영역을 검출한다. 본 실시형태에 있어서는, 검출부(304)는, 사람의 머리 부분을 특정 물체로 하여 특정 물체의 영역을 검출한다. 도 5a 내지 도 5d의 예에 있어서는, 도 5a의 프레임 화상 500은 특정 물체를 포함하지 않으므로, 특정 물체의 영역은 검출되지 않는다. 도 5b의 프레임 화상 510으로부터는, 특정 물체의 영역 512 및 513이 검출된다. 도 5c의 프레임 화상 520으로부터는, 특정 물체의 영역 522 및 523이 검출된다. 도 5d의 프레임 화상 530으로부터는, 특정 물체의 영역 532 및 533이 검출된다.
스텝 S402에 있어서, 특정 물체 추미부(305)는, 시간적으로 연속하는 프레임 화상들 사이의 대응하는 특정 물체의 영역들의 관련 처리를 행한다. 도 5a 내지 도 5d의 예에 있어서, 도 5b의 프레임 화상 510이 대상 프레임 화상이라고 가정한다. 이 경우, 직전의 프레임 화상 500은 특정 물체의 영역 512 및 513에 대응하는 특정 물체의 영역을 포함하지 않는다. 따라서, 특정 물체 추미부(305)는, 특정 물체의 영역 512, 513에 신규의 특정 물체 ID를 할당한다. 도 5b의 예에서는, 특정 물체의 영역 512에는, 특정 물체 ID "1"이 할당된다. 특정 물체의 영역 513에는, 특정 물체 ID "2"가 할당된다.
도 5c의 프레임 화상 520이 대상 프레임 화상이라고 가정한다. 이 경우, 직전의 프레임 화상 510은 특정 물체의 영역 522 및 523을 포함하고 있다. 따라서, 특정 물체 추미부(305)는, 프레임 화상 520의 특정 물체의 각각의 대응하는 영역 522 및 523에 대해, 프레임 화상 510의 특정 물체의 영역 512 및 513과 동일한 특정 물체 ID, 즉 "1" 및 "2"를 할당한다. 이렇게, 동일한 특정 물체에 관련되는 영역에 같은 특정 물체 ID를 할당함으로써, 특정 물체의 영역들을 서로 관련시킬 수 있다. 마찬가지로, 도 5d의 특정 물체의 영역 532 및 533에는, 각각 특정 물체 ID "1" 및 "2"가 할당된다.
도 4로 되돌아간다. 스텝 S402의 처리후, 스텝 S403으로 처리가 진행한다. 스텝 S403에 있어서, CPU(201)은, 추미 대상이 되는 이동 물체가 이미 결정되어 있는지 아닌지를 확인한다. 추미 대상이 결정된 경우에는(스텝 S403에서 YES), 처리가 스텝 S406으로 진행한다. 추미 대상이 결정되지 않은 경우에는(스텝 S403에서 NO), 처리가 스텝 S404로 진행한다. 예를 들면, PTZ 추미 모드가 개시한 직후에는, 아직 추미 대상이 결정되지 않았기 때문에, 처리는 스텝 S404로 진행한다.
스텝 S404에 있어서, 결정부(306)는, 대상 프레임 화상에 추미 대상의 이동 물체가 존재하는지 아닌지를 확인한다. 대상 프레임 화상에 추미 대상의 이동 물체가 존재한 경우에는(스텝 S404에서 YES), 처리를 스텝 S405로 진행한다. 스텝 S405에 있어서, 결정부(306)는 추미 대상의 이동 물체의 영역을 대상 물체의 영역으로서 결정한다. 구체적으로는, 결정부(306)는 자동적으로 이동 물체를 검출한다. 결정부(306)는, 예를 들면, 프레임간 차분으로 불리는, 시간적으로 인접하는 프레임 화상들의 차이를 결정하는 수법을 사용함으로써, 움직임 영역을 검출한다. 그리고, 결정부(306)는, 많은 움직임 영역을 포함하는 사각형 영역을 대상 물체의 영역으로서 검출한다. 도 5a 내지 도 5d의 예에서는, 도 5a에 나타낸 것과 같이, 인물의 발이 최초에 프레임 화상에 나타난다. 따라서, 인물의 발을 포함하는 사각형 영역 501이 대상 물체의 영역으로서 결정되어 있다. 대상 프레임 화상에 추미 대상의 이동 물체가 존재하지 않은 경우에는(스텝 S404에서 NO), 처리를 스텝 S413으로 진행한다.
다른 예로서는, 유저가 입력장치(104)를 거쳐 명시적으로 이동 물체를 지정하기를 원할 수도 있다. 이 경우에, 결정부(306)는 추미해야 할 이동 물체가 존재한다고 판단해도 된다. 유저가 추미하고 싶다고 생각하는 물체의 근처에서, 입력장치(104)의 일례인 마우스를 클릭하면, 결정부(306)는 클릭에 관련되는 정보를 통신 처리부(303)를 거쳐 취득한다. 이 경우, 결정부(306)는 추미해야 할 이동 물체가 존재한다고 판단한다. 결정부(306)는, 이 정보에 근거하여, 예를 들면, 클릭된 좌표를 중심으로 한 일정한 사이즈의 사각형 영역을 대상 물체의 영역으로서 결정한다.
스텝 S406에 있어서, CPU(201)은, 대상 물체의 영역과 특정 물체의 영역이 관련되어 있는지 아닌지를 확인한다. 대상 물체의 영역을 특정 물체의 영역과 관련시키는 정보가 존재하는 경우에는(스텝 S406에서 YES), 처리를 스텝 S410으로 진행한다. 대상 물체의 영역을 특정 물체의 영역과 관련시키는 정보가 존재하지 않는 경우에는(스텝 S406에서 NO), 처리를 스텝 S407로 진행한다.
스텝 S407에 있어서, 대상 물체 추미부(307)는, 대상 프레임 화상에 있어서 대상 물체의 영역의 추미를 행한다. 구체적으로는, 대상 물체 추미부(307)는, 대상 프레임 화상의 이전의 프레임 화상까지의 처리에 있어서 결정된 대상 물체의 영역을 검출하고, 검출 위치를 특정한다. 대상 물체 추미부(307)는, 대상 물체의 영역을 임의의 추미 수법을 이용해서 검출해도 된다. 추기 수법의 예로는, 템플릿 매칭과 민 시프트(mean shift)를 들 수 있다. 도 5a 내지 도 5d의 예에 있어서는, 도 5a의 프레임 화상 500에 있어서 대상 물체의 영역 501에 대한 추미 처리에 의해 도 5b의 프레임 화상 510에 있어서의 영역 511이 대상 물체의 영역으로서 검출된다. 대상 물체 추미부(307)는, 이 영역 511의 위치를 특정한다. 마찬가지로, 도 5c의 프레임 화상 520에 있어서의 영역 521과 도 5d의 프레임 화상 530에 있어서는 영역 531이 대상 물체의 영역으로서 검출된다. 대상 물체 추미부(307)는, 이 영역 521 및 531의 위치를 특정한다.
스텝 S408에 있어서, 관련부(308)는, 대상 물체의 영역과 관련시킬 특정 물체의 새로운 영역이 존재하는지 아닌지를 판정한다. 이때, 관련부(308)는, 대상 물체의 추미 처리의 결과로서 얻어진 대상 물체의 위치와, 특정 물체의 추미 처리의 결과로서 얻어진 특정 물체의 위치를 참조한다. 이하, 스텝 S408에 있어서의 처리에 대해 도 5a 내지 도 5d를 참조하면서 설명한다. 도 5a 내지 도 5d의 프레임 화상 510 내지 530의 우측에 나타낸 좌표계는, 대상 물체의 중심을 원점으로 하는 직교좌표계이다. 이들 직교좌표계에 있어서, 프레임 화상의 횡방향을 x축(우측 방향을 양)으로 표시한다. 종방향을 y축(윗쪽 방향을 양)으로 표시한다. 대상 물체의 영역의 중심은 원점이다. 이들 직교좌표계에 의해, 특정 물체의 영역들의 상대 위치를 수치화할 수 있다. 대상 물체의 영역의 세로 폭 및 가로 폭 중, 더 큰 쪽을 길이 1.0을 갖는 것으로 정한다. 도 5a 내지 도 5d에서, 좌표계에 있어서 특정 물체의 영역에 대응하는 박스들 512, 513, 522, 523, 532, 533 내부에 표시되는 숫자는 특정 물체 ID를 나타낸다.
관련부(308)는, 대상 물체의 영역과 특정 물체의 영역의 위치 관계에 관련되는 관련 조건에 따라, 특정 물체의 영역을 대상 물체의 영역에 관련시킬 것인지 아닌지를 판정한다. 관련 조건은, 미리 RAM(203) 등의 기억부에 설정되어 있다. 본 실시형태에 있어서는, 관련 조건은 이하의 2개의 조건을 포함한다. 관련부(308)는, 특정 물체의 영역이 2개의 조건을 만족시키는 경우에, 이 특정 물체의 영역을 대상 물체의 영역과 관련시키는 것으로 판정한다.
첫번째 조건은, 대상 물체의 영역과 특정 물체의 영역의 거리가 판정 기간 동안 거리 임계값보다 작게 유지되는 것이다. 두번째 조건은, 판정 기간 중에, 대상 물체의 영역의 위치를 기준으로 한 특정 물체의 영역의 상대 위치의 변화량의 최대값(이하, 최대 위치 변화량)이 변화량 임계값보다 작은 것이다. 판정 기간은, 프레임 수 또는 경과 시간으로 정해져도 된다. 판정 기간은, 연속하는 기간이거나, 연속하는 기간 중 소정의 비율을 차지하는 기간이어도 된다. 예를 들면, 소정의 기간은 "연속하는 5 프레임"이나 "연속하는 5 프레임 중 4 프레임 이상"이어도 된다. 이하의 설명에서는, 판정 기간이 연속하는 3 프레임인 것으로 가정한다.
첫번째 조건에 대해 더 설명한다. 예를 들어, 대상 물체의 영역과 특정 물체의 영역의 거리는, 각각의 영역의 중심 좌표들 사이의 유클리드 거리로 정의할 수 있다. 이 거리가 일정값 이하, 예를 들면, 2.5 이하인 특정 물체의 영역만이 첫번째 조건을 만족하는 것으로 판정된다. 특정 물체의 영역 512, 513, 522, 523, 532, 533이 각각 대상 물체의 영역으로부터 2.5 이하의 거리를 갖는 것으로 가정한다. 이 경우에는, 모든 특정 물체의 영역 512, 513, 522, 523, 532, 533이 첫번째 조건을 만족한다.
두번째 조건에 대해 더 설명한다. 대상 물체의 영역의 위치를 기준으로 한 특정 물체의 영역의 상대 위치는, 특정 물체의 영역의 중심점의 전술한 직교좌표에 있어서의 x 및 y 좌표에 의해 정의된다. 특정 물체 ID "1"을 갖는 영역 512, 522, 532에 있는 특정 물체들이 각각 (-0.1, 1.2), (-0.1, 1.3), (0, 1.1)의 x 및 y 좌표를 갖는 것으로 가정한다. 또한, 특정 물체 ID "2"를 갖는 영역 513, 523, 533의 특정 물체들이 각각 (1.8, 1.6), (1.0, 0.8), (0.4, -0.4)의 x 및 y 좌표를 갖는 것으로 가정한다. 이 경우, 최대 위치 변화량은, 예를 들면, 판정 기간 중에 출현하는, 동일한 특정 물체 ID를 갖는 2개의 특정 물체의 영역 사이의 유클리드 거리의 최대값으로서 정의할 수 있다.
예를 들면, 도 5b, 도 5c, 도 5d의 프레임 화상 510, 520 및 530에 있어서 특정 물체 ID "1"을 갖는 특정 물체의 영역들 사이의 최대 위치 변화량은, 특정 물체의 영역 522와 특정 물체의 영역 532 사이의 유클리드 거리 0.22가 된다. 마찬가지로, 도 5b, 도 5c, 도 5d의 프레임 화상 510, 520 및 530에 있어서 특정 물체 ID "2"를 갖는 특정 물체의 영역의 최대 위치 변화량은, 특정 물체의 영역 513과 특정 물체의 영역 533 사이의 유클리드 거리 1.84가 된다. 예를 들면, 최대 위치 변화량이 0.7 이하인 특정 물체의 영역만 두번째 조건을 만족하는 것으로 가정한다. 특정 물체 ID "1"을 갖는 특정 물체의 영역은 두번째 조건을 만족한다. 특정 물체 ID "2"를 갖는 특정 물체의 영역은 두번째 조건을 만족하지 않는다.
그 결과, 도 5d의 프레임 화상 530이 대상 프레임 화상으로 설정되어 있는 경우에는, 특정 물체 ID "1"을 갖는 특정 물체의 영역 532가 대상 물체의 영역과 관련되는 것으로 판정된다. 특정 물체 ID "2"를 갖는 특정 물체의 영역 533은 대상 물체의 영역과 관련되지 않는 것으로 판정된다.
이렇게, 관련부(308)는, 대상 물체의 영역과 특정 물체의 영역의 위치의 관계에 관한 조건을 참조함으로써, 대상 물체의 영역을 특정 물체의 영역과 적절히 관련시킬 수 있다. 관련부(308)는, 특정 물체의 영역과 대상 물체의 영역이 항상 중첩하지 않더라도, 특정 물체의 영역을 대상 물체의 영역과 관련시킬 것인지 아닌지를 적절히 판정할 수 있다. 스텝 S408의 처리는, 특정 물체의 물체 영역을 대상 물체의 물체 영역과 관련시킬 것인지 아닌지를 결정하는 결정 처리의 일례다.
도 4로 되돌아간다. 스텝 S408에 있어서, 관련부(308)가 대상 물체의 영역에 관련시킬 특정 물체의 새로운 영역이 존재한다고 판정한 경우에는(스텝 S408에서 YES), 처리를 스텝 S409로 진행한다. 관련부(308)가 관련시킬 특정 물체의 새로운 영역이 존재하지 않는다고 판정한 경우에는(스텝 S408에서 NO), 처리를 스텝 S412로 진행한다.
스텝 S409에 있어서, 관련부(308)는, 스텝 S408에 있어서 관련시킬 것으로 판정된 특정 물체의 영역을 대상 물체의 영역과 관련시킨다. 예를 들면, 관련부(308)는, 대상 물체의 영역을 특정 물체의 영역의 특정 물체 ID과 관련시키는 관련 정보를 생성하고, 이 관련 정보를 RAM(203)에 격납한다. 도 5d의 프레임 화상 530에 있어서는, 대상 물체의 영역 531이 특정 물체 ID "1"을 갖는 특정 물체의 영역 532와 관련된다. 이하, 대상 물체의 영역에 관련된 특정 물체의 영역을 관련 물체의 영역으로 칭한다.
스텝 S410에 있어서는, 대상 물체 추미부(307)는, 대상 물체의 영역의 위치 및 관련 물체의 영역의 위치에 근거하여, 대상 물체의 영역의 추미를 행한다. 추미 처리를 위해 임의의 방법을 사용할 수 있다. 첫번째 방법은, 관련 물체의 영역의 위치에 근거하여, 대상 물체의 영역을 추미하는 방법이다. 대상 물체 추미부(307)는, 스텝 S402에 있어서의 추미 결과에 근거하여, 관련 물체와 같은 특정 물체 ID를 갖는 특정 물체의 영역을 특정하고, 관련 물체의 영역의 위치를 갱신한다. 대상 물체 추미부(307)는, 대상 물체의 영역이 관련 물체의 영역과 관련되었을 때의 대상 물체의 영역과 관련 물체의 영역의 위치 관계가 불변이리고 가정함으로써, 대상 물체의 영역의 위치를, 관련 물체의 영역의 위치로부터 구할 수 있다.
두번째 방법은, 대상 물체의 영역의 위치 및 관련 물체의 영역의 위치의 양쪽에 근거하여, 대상 물체의 영역을 추미하는 방법이다. 여기에서, 대상 물체 추미부(307)는, 스텝 S407의 처리와 유사한 처리에 의해 대상 물체의 영역의 추미를 행한다. 대상 물체 추미부(307)는 또한, 첫번째 방법에서 서술한 방법과 유사한 처리에 의해 관련 물체의 영역의 추미를 행한다. 그리고, 대상 물체 추미부(307)는, 2개의 추미 결과를 통합함으로써, 대상 물체의 영역의 위치를 결정한다. 구체적으로는, 대상 물체 추미부(307)는, 추미 결과들 중, 추미에 대한 자신도가 더 높은 결과를 채용함으로써 대상 물체의 영역의 위치를 결정해도 된다. 대상 물체 추미부(307)는, 각각의 추미 결과에서 구한 대상 물체의 위치들의 중간값을 대상 물체의 위치로 산출해도 된다. 여기에서 채용된 추미의 자신도는 추미의 성공 확률을 표시하는 스코어를 말한다.
대상 물체 추미부(307)는, 스텝 S410에서 산출된 추미의 신뢰도가 임계값 이하인 경우에는, 추미 대상인 이동 물체를 미결정의 상태로 되돌린다. 스텝 S407에 있어서도, 대상 물체 추미부(307)는, 마찬가지로 추미의 신뢰도를 산출한다. 산출된 추미의 신뢰도가 임계값 이하인 경우에는, 대상 물체 추미부(307)는, 추미 대상인 이동 물체를 미결정의 상태로 되돌린다.
스텝 S411에 있어서, 관련부(308)는, 대상 물체의 영역과 특정 물체의 영역의 관련에 관한 정보(관련 정보)를 갱신한다. 예를 들면, 복수의 연속된 프레임 화상들로부터 관련 물체의 영역이 소실한 경우에, 관련부(308)는, 대상 물체의 영역과 관련 물체의 영역으로서의 역할을 하는 특정 물체의 영역의 관련을 해소한다. 구체적으로는, 관련부(308)는, 관련 정보로부터, 대상 물체의 영역에 관련되어 있는 관련 물체의 영역으로서의 역할을 하는 특정 물체의 영역의 특정 물체 ID를 삭제한다.
스텝 S412에 있어서, 제어부(309)는, 스텝 S407 또는 스텝 S411에 있어서 특정한 대상 물체의 영역의 위치에 근거하여, 대상 물체가 화상의 중심 부근에 표시되도록, 카메라(101)의 팬, 틸트 및 줌을 제어한다. 구체적으로는, 제어부(309)는, 팬 모터, 틸트 모터 및 줌 모터에 대한 제어 명령을 생성하고, 이 제어 명령을 촬상부(204)로 보낸다.
스텝 S412에 있어서, 관련 물체의 영역이 존재하는 경우에는, 제어부(309)는, 관련 물체의 위치에 근거하여, 대상 물체가 화상의 중심 부근에 계속해서 표시되도록, 카메라(101)의 팬, 틸트 및 줌을 제어해도 된다. 본 실시형태에 있어서는, 제어부(309)는, 팬, 틸트 및 줌의 모두를 제어하는 것으로 설명한다. 그러나, 제어부(309)는, 팬, 틸트 및 줌 중 적어도 1개를 제어해도 된다. 본 처리는, 관련 물체로서의 역할을 하는 물체 영역의 위치에 근거하여, 적어도 촬상 방향 또는 촬상 화각을 제어하는 제어 처리의 일례다.
다른 예로서는, 관련 물체의 영역이 존재하는 경우에는, 관련 물체의 영역의 위치 및 크기에 근거하여, 대상 물체의 영역의 위치 및 크기를 추정할 수 있다. 따라서, 제어부(309)는, 이 추정 결과에 근거하여, 예를 들면, 대상 물체가 화상에 있어서 일정한 크기로 갖도록, 카메라(101)의 줌을 제어해도 된다.
스텝 S413에 있어서, CPU(201)은, 입력장치(104)에 대한 유저 입력에 따라 송신된 PTZ 추미 개시 요구를 통신 처리부(303)가 수신하였는지 아닌지를 확인한다. PTZ 추미 개시 요구를 수신한 경우에는(스텝 S413에서 YES), 추미 처리를 종료한다. PTZ 추미 개시 요구를 수신하지 않은 경우에는(스텝 S413에서 NO), 처리를 스텝 S400으로 진행한다.
이상과 같이, 본 실시형태에 따른 추미 시스템은, 대상 물체의 영역을 적절한 물체의 영역과 자동적으로 관련시킬 수 있다. 화상에 있어서 대상 물체의 영역과 중첩하지 않는 물체의 영역과도, 대상 물체의 영역이 관련될 수 있다. 화상 위에 대상 물체의 영역에 관련될 수 있는 복수의 특정 물체의 영역이 존재하는 경우에도, 적절한 특정 물체의 영역을 선택하고, 이것을 대상 물체의 영역과 관련시킬 수 있다. 이렇게, 화상 중의 복수의 물체의 영역을 적절히 관련시킬 수 있다.
PTZ 추미에 있어서, 대상 물체의 영역과 특정 물체의 영역이 관련됨으로써, 추미 정밀도가 향상된다. 대상 물체의 영역, 화상으로부터 추출한 색과 엣지 등의 외관 정보를 사용해서 추미된다. 이와 같은 추미는, 예를 들어, 대상 물체의 외관의 변화와 조명 변동 등의 요인이 있으면 실패하기 쉽다. 대상 물체의 영역 대신에, 대상 물체의 영역에 관련된 특정 물체의 영역을 추미하고, 대상 물체의 영역과 관련 물체의 영역을 동시에 추미한 후, 그 결과를 통합함으로써, 보다 고정밀도로 추미를 행할 수 있다.
또한, 대상 물체의 영역과 특정 물체의 영역을 관련시킴으로써, 적절한 PTZ 제어를 행할 수 있다. 관련 물체의 영역의 화면 상의 위치 및 크기로부터, 대상 물체의 영역의 위치 및 크기를 추정할 수 있다. 추정 결과를 기초로, 예를 들면, 대상 물체가 화면 위에 일정한 크기로 표시되도록 줌을 제어할 수 있다. 대상 물체의 중요한 부위를 화면 중심에 표시하도록, 팬 및 틸트를 제어할 수 있다.
본 실시형태의 제1 변경예에서, 관련부(308)는, 영상중에 나타나는 특정 물체의 영역의 수에 따라, 관련 조건을 결정(변경)해도 된다. 예를 들면, 특정 물체의 영역의 출현수가 많을수록, 관련부(308)가 취할 수 있는 판정 기간을 더 길게 해도 된다. 본 처리는, 판정 기간을 변경하는 기간 변경 처리의 일례다. 관련부(308)는, 특정 물체의 영역의 출현수가 많을수록, 첫번째 및 두번째 조건을 변경하여, 특정 물체의 영역이 대상 물체의 영역에 관련되기 어렵게 해도 된다. 이 변경에 의해, 대상 물체의 영역에 관련될 가능성이 높은 특정 물체의 영역이 복수 존재하고 있는 경우에는, 대상 물체의 영역과 관련성이 더 높은 특정 물체의 영역만을 대상 물체의 영역과 관련시킬 수 있다.
제2 변경예에서는, 관련부(308)는, 실시형태에 있어서 설명한 관련 조건의 판정 기간을 적절히 변경해도 된다. 예를 들면, 관련부(308)는, 대상 물체의 영역과 특정 물체의 영역 사이의 거리에 근거하여, 또는, 대상 물체의 영역과 특정 물체의 영역 사이의 중첩 면적에 근거하여, 판정 기간을 변경해도 된다. 예를 들면, 대상 물체의 영역과 특정 물체의 영역 사이의 거리가 임계값 미만인 경우에는, 관련부(308)는, 거리가 임계값 이상일 때보다 짧은 기간으로 판정 기간을 설정해도 된다. 대상 물체의 영역과 특정 물체의 영역 사이의 중첩 면적이 임계값 이상인 경우에, 관련부(308)는, 대상 물체의 영역과 특정 물체의 영역 사이의 중첩 면적이 임계값 미만인 경우보다 짧은 기간으로 판정 기간을 설정해도 된다. 본 처리는, 판정 기간을 변경하는 기간 변경 처리의 일례다.
또 다른 예에서, 관련부(308)는, 대상 물체의 영역과 특정 물체의 영역의 적어도 한쪽에 포함되는 영역 또는 대상 물체의 영역과 특정 물체의 영역을 포함하는 최소의 외접 사각형을 기준으로 한다. 그리고, 관련부(308)는, 기준의 면적에 대한, 대상 물체의 영역과 특정 물체의 영역의 중첩 면적의 비율이 큰 경우에, 판정 기간을 보다 짧은 기간으로 변경해도 된다.
제3 변경예에서는, 관련 조건은 전술한 실시형태에 한정되는 것은 아니다. 예를 들면, 관련부(308)는, 상기 첫 번째 및 두번째 조건 이외에 세번째 조건을 만족하는 경우에, 특정 물체의 영역을 관련시켜도 된다. 세번째 조건은, 대상 물체의 영역의 면적을 기준으로 한 특정 물체의 영역의 면적의 변화량(이하, 최대 면적 변화량)이 소정의 범위 내에 속한다는 것이다. 이 세번째 조건을 추가하는 것에 의해, 대상 물체의 영역에 대하여 면적이 크게 변동하는 특정 물체의 영역을 관련 후보로부터 제외할 수 있다.
본 실시형태에 있어서는, 물체 사이의 거리를 2차원 화상 위의 물체의 위치에 따라 정의한다. 그러나, 거리의 계산 방법은 이것에 한정되는 것은 아니다. 제4 변경예에서는, 예를 들면, 카메라(101)를 중심으로 한 구면을 가정한다. 구면과, 카메라(101)에서 시작하여 카메라(101)를 물체와 연결하는 반직선의 교점을 물체의 좌표로 정의한다. 따라서, 물체의 좌표는, 경도 및 위도에 의해 유일하게 정해진다. 물체의 경도 및 위도는, 영상 촬상시의 촬상부(204)의 자세 정보와, 영상 내부의 물체의 위치의 정보로부터 산출가능하다. 다른 예로서는, 카메라(101)는, 2차원 좌표 대신에, 경도 및 위도에 근거하여, 물체들 사이의 거리를 정의해도 된다.
제5 변경예에서, 결정부(306)는, 스텝 S409에서의 관련 후, 대상 물체의 영역을 변경해도 된다. 결정부(306)는, 예를 들면, 대상 물체의 영역의 중심이 관련된 특정 물체의 영역의 중심과 일치하도록, 대상 물체의 영역을 변경해도 된다. 본 처리는, 대상 물체의 물체 영역을 변경하는 영역 변경 처리의 일례다.
제6 변경예에서는, 추미 처리가 카메라(101) 이외의 장치에 의해 행해져도 된다. 예를 들면, 카메라(101)의 제어장치가 카메라(101)와 분리되어 존재하는 경우에는, 제어장치가 추미 처리를 실행해도 된다. 이 경우, 제어장치는, 카메라(101)에 의해 촬영된 영상을 실시간으로 수신하고, 수신한 영상에 대해 추미 처리를 실행하고, PTZ 제어에 의해 생성한 팬, 틸트 및 줌의 제어 명령을 카메라(101)에 송신한다. 다른 예로서는, 녹화장치(102)가 추미 처리를 행해도 된다. 이 경우, 녹화장치(102)는, 카메라(101)로부터 수신한 영상에 대하여 실시간으로 추미 처리를 행해도 된다. 녹화장치(102)는, 미도시의 기억부에 녹화된 영상에 대하여 추미 처리를 행해도 된다. 녹화장치(102)가 추미 처리를 행하는 경우에는, PTZ 제어 처리(스텝 S412)는 생략해도 된다.
이상에서, 본 발명을 그것의 바람직한 실시형태에 근거하여 상세한 설명하였다. 그러나, 본 발명은 이들 특정의 실시형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위의 여러가지 형태도 본 발명에 포함된다. 상기한 실시형태의 일부를 적절히 조합하여도 된다.
이상에서 본 발명의 실시형태를 상세히 설명하였다. 그러나, 본 발명은 실시형태의 예는, 시스템, 장치, 방법, 프로그램, 및 기록 매체(기억매체)를 포함해도 된다. 구체적으로는, 본 발명의 실시형태는 복수의 기기(예를 들면, 호스트 컴퓨터, 인터페이스 기기, 촬상장치, 웹 어플리케이션 등)를 포함하는 시스템에 적용해도 된다. 본 발명의 실시형태는 한 개의 기기로 이루어진 장치에 적용해도 된다.
전술한 실시형태에 따르면, 화상 중의 복수의 물체를 적절히 관련시킬 수 있다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (17)

  1. 영상에 포함되는 추미 대상의 영역의 위치를 검출하도록 구성된 대상 검출부와,
    상기 영상에 포함되고 소정의 특징을 갖는 특정 물체의 위치를 검출하도록 구성된 특정 물체 검출부와,
    상기 대상 검출부에 의해 검출된 상기 추미 대상의 영역의 위치와, 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 상대 위치에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체에 관련시키도록 구성된 관련부를 구비하고,
    상기 대상 검출부는, 상기 추미 대상의 영역과 상기 특정 물체가 상기 관련부에 의해 관련된 경우, 검출된 상기 추미 대상의 영역의 위치 또는 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 적어도 한개를 사용하여, 상기 추미 대상을 추미하도록 구성된 영상 처리장치.
  2. 제 1항에 있어서,
    상기 추미 대상의 영역은, 상기 영상으로부터 상기 추미 대상으로서 검출된 이동 물체의 영역, 또는 유저에 의해 상기 추미 대상으로서 지정된 영역의 적어도 한개인 영상 처리장치.
  3. 제 1항에 있어서,
    상기 특정 물체는, 특정한 물체 종별에 고유한 특징에 근거하여 상기 영상으로부터 검출된 영역인 영상 처리장치.
  4. 제 1항에 있어서,
    상기 대상 검출부는, 서로 다른 시간에 촬영된 복수의 화상들 사이의 차분에 근거하여 상기 추미 대상의 영역의 위치를 검출하도록 구성된 영상 처리장치.
  5. 제 1항에 있어서,
    상기 대상 검출부는, 유저에 의한 조작에 근거하여 상기 추미 대상의 영역의 위치를 결정하고, 그 결정된 추미 대상을 추미하도록 구성된 영상 처리장치.
  6. 제 1항에 있어서,
    상기 추미 대상의 영역과 상기 특정 물체가 상기 관련부에 의해 관련된 경우, 상기 특정 물체 검출부에 의한 검출된 상기 특정 물체의 위치에 근거하여, 상기 추미 대상의 영역의 위치를 수정하도록 구성된 수정부를 더 구비한 영상 처리장치.
  7. 제 1항에 있어서,
    상기 영상을 촬상하도록 구성된 촬상부와,
    상기 추미 대상의 영역과 상기 특정 물체가 상기 관련부에 의해 관련된 경우, 검출된 상기 추미 대상의 영역의 위치 또는 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 적어도 한개를 사용하여, 상기 촬상부의 촬상 방향 또는 촬상 화각 중 적어도 한쪽을 제어하도록 구성된 제어부를 더 구비한 영상 처리장치.
  8. 제 1항에 있어서,
    상기 관련부는, 상기 추미 대상의 영역의 위치와 상기 특정 물체의 위치의 상기 상대 위치가 소정의 조건을 만족하는 경우에, 상기 추미 대상의 영역을 상기 특정 물체와 관련시키도록 구성된 영상 처리장치.
  9. 제 8항에 있어서,
    상기 소정의 조건은, 상기 영상에 있어서 소정의 판정 기간에 대응하는 복수의 화상 각각에 있어서의 상기 추미 대상의 영역의 위치와 상기 특정 물체의 위치 사이의 거리가 임계값 미만인 영상 처리장치.
  10. 제 8항에 있어서,
    상기 소정의 조건은, 상기 영상에 있어서 소정의 판정 기간에 대응하는 복수의 화상 각각에 있어서의 상기 추미 대상의 영역의 위치에 대한 상기 특정 물체의 상대 위치의 변화량이 임계값 미만인 영상 처리장치.
  11. 제 1항에 있어서,
    상기 관련부는, 상기 추미 대상의 영역의 면적과 상기 특정 물체의 영역의 면적 사이의 관계에 관한 조건에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체와 관련시킬지 아닌지 판정하도록 구성된 영상 처리장치.
  12. 제 8항에 있어서,
    상기 관련부는, 상기 영상에 포함되는 화상에서 검출된 상기 특정 물체의 수에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체에 관련시킬지 아닌지 판정하기 위한 조건을 결정하고, 이 결정한 조건에 따라, 상기 추미 대상의 영역을 상기 특정 물체와 관련시킬지 아닌지 판정하도록 구성된 영상 처리장치.
  13. 제 1항에 있어서,
    상기 관련부는, 상기 영상에 있어서의 소정의 판정 기간에 대응하는 복수의 화상에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체와 관련시킬지 아닌지를 판정하도록 구성되고,
    상기 영상 처리장치는, 상기 추미 대상의 영역의 위치와 상기 특정 물체의 위치 사이의 거리, 또는, 상기 추미 대상의 영역과 상기 특정 물체의 영역 사이의 중첩 면적의 적어도 한개에 근거하여, 상기 판정 기간을 변경하도록 구성된 기간 변경부를 더 구비한 영상 처리장치.
  14. 제 1항에 있어서,
    상기 관련부는, 상기 영상에 있어서 소정의 판정 기간에 대응하는 복수의 화상에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체와 관련시킬지 아닌지를 판정하도록 구성되고,
    상기 영상 처리장치는, 상기 영상에 포함되는 화상에 있어서 검출된 상기 특정 물체의 수에 근거하여, 상기 판정 기간을 변경하도록 구성된 기간 변경부를 더 구비한 영상 처리장치.
  15. 제 1항에 있어서,
    상기 특정 물체는, 사람의 머리 부분 또는 차량의 번호판인 영상 처리장치.
  16. 영상에 포함되는 추미 대상의 영역의 위치를 검출하는 단계와,
    상기 영상에 포함되고 소정의 특징을 갖는 특정 물체의 위치를 검출하는 단계와,
    상기 추미 대상의 영역의 검출된 위치와 상기 특정 물체의 검출된 위치의 상대 위치에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체와 관련시키는 단계를 포함하고,
    상기 추미 대상의 영역의 위치를 검출하는 단계는, 상기 추미 대상의 영역과 상기 특정 물체가 관련된 경우, 검출된 상기 추미 대상의 영역의 위치 또는 검출된 상기 특정 물체의 위치의 적어도 한개를 사용하여, 상기 추미 대상을 추미하는 단계를 포함하는 영상 처리방법.
  17. 컴퓨터를,
    영상에 포함되는 추미 대상의 영역의 위치를 검출하도록 구성된 대상 검출부와,
    상기 영상에 포함되고 소정의 특징을 갖는 특정 물체의 위치를 검출하도록 구성된 특정 물체 검출부와,
    상기 대상 검출부에 의해 검출된 상기 추미 대상의 영역의 위치와, 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 상대 위치에 근거하여, 상기 추미 대상의 영역을 상기 특정 물체에 관련시키도록 구성된 관련부로서 기능시키고,
    상기 대상 검출부는, 상기 추미 대상의 영역과 상기 특정 물체가 상기 관련부에 의해 관련된 경우, 검출된 상기 추미 대상의 영역의 위치 또는 상기 특정 물체 검출부에 의해 검출된 상기 특정 물체의 위치의 적어도 한개를 사용하여, 상기 추미 대상을 추미하도록 구성된, 매체에 기억된 프로그램.
KR1020170063259A 2016-05-25 2017-05-23 영상 처리장치, 영상 처리방법 및 프로그램 KR102213328B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2016-104297 2016-05-25
JP2016104297A JP6755713B2 (ja) 2016-05-25 2016-05-25 追尾装置、追尾方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20170133269A true KR20170133269A (ko) 2017-12-05
KR102213328B1 KR102213328B1 (ko) 2021-02-08

Family

ID=59220494

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170063259A KR102213328B1 (ko) 2016-05-25 2017-05-23 영상 처리장치, 영상 처리방법 및 프로그램

Country Status (6)

Country Link
US (1) US10438360B2 (ko)
JP (1) JP6755713B2 (ko)
KR (1) KR102213328B1 (ko)
CN (1) CN107438173B (ko)
DE (1) DE102017111203B4 (ko)
GB (1) GB2553178B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11721026B2 (en) * 2017-01-20 2023-08-08 Sony Corporation Information processing apparatus, information processing method, and information processing system
WO2019144263A1 (zh) 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 可移动平台的控制方法、设备、计算机可读存储介质
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
WO2020145882A1 (en) * 2019-01-09 2020-07-16 Hitachi, Ltd. Object tracking systems and methods for tracking a target object
CN109859149B (zh) * 2019-01-25 2023-08-08 成都泰盟软件有限公司 一种设定目标查找区域小动物运动跟踪方法
US11295541B2 (en) * 2019-02-13 2022-04-05 Tencent America LLC Method and apparatus of 360 degree camera video processing with targeted view
CN110008379A (zh) * 2019-03-19 2019-07-12 北京旷视科技有限公司 监控图像处理方法及装置
JP7183920B2 (ja) * 2019-04-01 2022-12-06 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
JP7174252B2 (ja) * 2019-04-25 2022-11-17 日本電信電話株式会社 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム
US20220262142A1 (en) * 2019-08-14 2022-08-18 Intel Corporation Automatic generation of 3d bounding boxes from multi-camera 2d image data
CN110688906B (zh) * 2019-08-31 2023-07-18 深圳市广宁股份有限公司 风电设备的智能检测方法及相关产品
JP2021052325A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7328849B2 (ja) 2019-09-25 2023-08-17 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
JP7307643B2 (ja) 2019-09-25 2023-07-12 キヤノン株式会社 撮像装置、システム、撮像装置の制御方法、プログラム
CN111028270B (zh) * 2019-11-14 2023-04-07 浙江大华技术股份有限公司 跟踪全景图像中物体越界的方法、装置、终端及存储装置
CN111145212B (zh) * 2019-12-03 2023-10-03 浙江大华技术股份有限公司 一种目标追踪处理方法及装置
CN114930802A (zh) * 2020-01-14 2022-08-19 索尼集团公司 信息处理器、信息处理方法和程序
JP7497587B2 (ja) 2020-03-24 2024-06-11 Ｏｍデジタルソリューションズ株式会社 撮像装置
JP2022076369A (ja) * 2020-11-09 2022-05-19 キヤノン株式会社 画像処理装置、画像処理方法
CN113012194B (zh) * 2020-12-25 2024-04-09 深圳市铂岩科技有限公司 目标追踪方法、装置、介质和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011197963A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd 人物検出装置、人物検出方法及びプログラム
JP2013162329A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2016076791A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 物体追尾装置、物体追尾方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
ATE486332T1 (de) 2005-03-17 2010-11-15 British Telecomm Verfahren zur verfolgung von objekten in einer videosequenz
KR100883066B1 (ko) * 2007-08-29 2009-02-10 엘지전자 주식회사 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법
JP2009211311A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置及び方法
JP5656567B2 (ja) * 2010-11-05 2015-01-21 キヤノン株式会社 映像処理装置および方法
US8768007B2 (en) * 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
FR3003065B1 (fr) * 2013-03-05 2015-02-27 Commissariat Energie Atomique Procede de suivi d'une cible dans une sequence d'images avec prise en compte de la dynamique de la cible
WO2014172832A1 (en) * 2013-04-22 2014-10-30 Jaw Ip Limited A system and method for tracking an object
US10043284B2 (en) * 2014-05-07 2018-08-07 Varian Medical Systems, Inc. Systems and methods for real-time tumor tracking
CN104537692B (zh) * 2014-12-30 2016-02-17 中国人民解放军国防科学技术大学 基于时空上下文信息辅助的关键点稳定跟踪方法
CN104574444B (zh) * 2015-01-19 2017-06-09 天津工业大学 一种基于目标分解的Camshift跟踪方法
CN104915970B (zh) * 2015-06-12 2019-03-29 南京邮电大学 一种基于轨迹关联的多目标跟踪方法
GB201512283D0 (en) 2015-07-14 2015-08-19 Apical Ltd Track behaviour events

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011197963A (ja) * 2010-03-18 2011-10-06 Fujitsu Ltd 人物検出装置、人物検出方法及びプログラム
JP2013162329A (ja) * 2012-02-06 2013-08-19 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2016076791A (ja) * 2014-10-03 2016-05-12 キヤノン株式会社 物体追尾装置、物体追尾方法、およびプログラム

Also Published As

Publication number Publication date
CN107438173A (zh) 2017-12-05
GB2553178A (en) 2018-02-28
JP2017212581A (ja) 2017-11-30
GB201708077D0 (en) 2017-07-05
GB2553178B (en) 2020-05-13
CN107438173B (zh) 2021-08-03
JP6755713B2 (ja) 2020-09-16
US10438360B2 (en) 2019-10-08
DE102017111203B4 (de) 2024-02-01
KR102213328B1 (ko) 2021-02-08
DE102017111203A1 (de) 2017-11-30
US20170345162A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
KR102213328B1 (ko) 영상 처리장치, 영상 처리방법 및 프로그램
JP6195915B2 (ja) 画像計測装置
JP6395506B2 (ja) 画像処理装置および方法、プログラム、並びに撮像装置
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN102714697A (zh) 图像处理装置、图像处理方法及程序
CN104981680A (zh) 相机辅助的运动方向和速度估计
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
JP5438601B2 (ja) 人物動作判定装置およびそのプログラム
JP2019186955A (ja) 情報処理システム、情報処理方法及びプログラム
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP4628860B2 (ja) 画像センサ
JP6613976B2 (ja) 撮影制御プログラム、撮影制御方法および撮影制御装置
JP6336935B2 (ja) 移動物体追跡装置
KR102226372B1 (ko) 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법
JP2019096062A (ja) 物体追跡装置、物体追跡方法、および、物体追跡プログラム
JP5617166B2 (ja) 回転推定装置、回転推定方法およびプログラム
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JP4812099B2 (ja) カメラ位置検出方法
JP7525990B2 (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
WO2023166648A1 (ja) 移動軌跡情報処理装置
WO2023166649A1 (ja) 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant