KR102105189B1 - 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 - Google Patents

관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 Download PDF

Info

Publication number
KR102105189B1
KR102105189B1 KR1020130131645A KR20130131645A KR102105189B1 KR 102105189 B1 KR102105189 B1 KR 102105189B1 KR 1020130131645 A KR1020130131645 A KR 1020130131645A KR 20130131645 A KR20130131645 A KR 20130131645A KR 102105189 B1 KR102105189 B1 KR 102105189B1
Authority
KR
South Korea
Prior art keywords
camera
interest
sub
tracking
unit
Prior art date
Application number
KR1020130131645A
Other languages
English (en)
Other versions
KR20150050172A (ko
Inventor
엄기문
정일구
류원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130131645A priority Critical patent/KR102105189B1/ko
Priority to US14/497,843 priority patent/US20150116502A1/en
Publication of KR20150050172A publication Critical patent/KR20150050172A/ko
Application granted granted Critical
Publication of KR102105189B1 publication Critical patent/KR102105189B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 관심 객체 추적을 위한 다중 카메라 동적 선택 방법으로, 다중 카메라에서 주 카메라를 선택하는 단계와, 상기 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택하는 단계와, 하나 이상의 부 카메라에서의 상기 관심 객체의 촬영 위치를 투영하는 단계와, 상기 부 카메라에 의해 촬영된 영상에서 상기 투영된 촬영 위치에 포함된 화소수 비율에 따라 부 카메라를 선택하는 단계를 포함한다.

Description

관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법{Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object}
본 발명은 다중 카메라를 이용한 방송 서비스 장치 및 방법에 관한 것으로, 특히 시청자가 관심있는 객체를 다중 카메라를 통해 촬영하여 서비스하는 장치 및 방법에 관한 것이다.
방송 서비스를 위한 다중 카메라를 이용하는 종래 기술로서 Trade Optics의 "METHOD AND APPARATUS FOR RELATIVE CONTROL OF MULTIPLE CAMERAS" (미국 특허 공개번호 2012-015493)이 있다. 이는 스포츠 경기의 영상을 캡쳐하는 복수의 카메라를 제어하는 방법 및 장치에 관한 것으로서, 하나의 카메라는 목표 객체를 추적하며, 다른 카메라는 객체 주변, 예를 들어 경기장 전체를 촬영하는 카메라로 사용하는 것을 특징으로 하고 있다.
이러한 종래 기술에서는 카메라의 객체 추적 위치에 따라 그 주변을 촬영할 수 있도록 다른 카메라 위치나 줌을 조절하는 기능만 제시하고 있다. 즉, 시청자가 관심있는 객체를 다양한 각도에서 촬영한 영상을 제공할 수 없다.
또한, 객체가 이동에 의해 고정 카메라의 촬영 범위 밖으로 벗어날 경우, 객체 추적 정확도가 저하된다.
또한, 컬러가 유사한 객체들이 여러 개 있는 경우 객체 추적 오류가 발생할 수 있다.
본 발명은 관심 객체를 다양한 각도에서 촬영한 영상을 제공할 수 있는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법을 제공한다.
본 발명은 객체의 이동에 따라 적응적으로 촬영 카메라를 선택하여 객체 추적 정확도를 향상시키는 관심 객체 영상 촬영을 위한 다중 카메라 동적 선택 방법 및 장치를 제공한다.
본 발명은 컬러 정보 외에 3차원 깊이 정보를 획득할 수 있는 3D 카메라를 사용하여 객체 추적 오류를 향상시킬 수 있는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법을 제공한다.
본 발명은 관심 객체 추적을 위한 다중 카메라 동적 선택 방법으로, 다중 카메라에서 주 카메라를 선택하는 단계와, 상기 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택하는 단계와, 하나 이상의 부 카메라에서의 상기 관심 객체의 촬영 위치를 투영하는 단계와, 상기 부 카메라에 의해 촬영된 영상에서 상기 투영된 촬영 위치에 포함된 화소수 비율에 따라 부 카메라를 선택하는 단계를 포함한다.
본 발명은 관심 객체 추적을 위한 다중 카메라의 동적 선택 장치로, 다중 카메라에서 주 카메라를 선택하는 주카메라 동적 선택부와, 상기 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택하는 관심 객체 선택부와, 하나 이상의 부 카메라에서의 상기 관심 객체의 촬영 위치를 투영하는 관심 객체 투영부와, 상기 부 카메라에 의해 촬영된 영상에서 상기 투영된 촬영 위치에 포함된 화소수 비율에 따라 부 카메라를 선택하는 부 카메라 선택부를 포함한다.
본 발명은 시청자가 관심있는 객체를 다양한 각도에서 촬영한 영상을 제공할 수 있다. 또한, 본 발명은 객체가 이동하여 고정 카메라의 촬영 범위 밖으로 벗어나거나, 하나의 카메라에 의해 보이지 않는 객체 영역이 발생하는 경우 촬영 다중 카메라를 동적으로 변경할 수 있다. 또한, 본 발명은 컬러가 유사한 객체들이 여러 개 있는 경우에도 컬러와 깊이 정보를 같이 이용하고, 다중 카메라가 동시에 객체를 추적함으로써 단일 카메라나 컬러만을 이용한 객체 추적 기술보다 높은 정확도를 제공하는 장점이 있다. 또한, 본 발명은 다중 3D 카메라에 의한 여러 시점에서의 깊이 정보 획득과 카메라 정보에 의해 객체의 3D 모델을 생성할 수 있다. 또한, 본 발명은 콘텐츠 촬영 시에 시청자에게 관심 객체 중심의 다중 카메라 영상을 제공하고, 또한 선택적으로 객체의 3D 모델을 생성하는 수단을 제공함으로써 3D 모델 기반으로 카메라 시점이 아닌 가상의 다른 시점 영상을 생성함으로써 객체 중심의 연속적인 다중 시점 영상 전환 서비스도 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따라 관심 객체 추적을 위해 다중 카메라를 동적으로 선택하는 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 관심 객체 추적을 위한 다중 카메라 동적 선택 장치의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 관심 객체 추적을 위한 다중 카메라 동적 선택 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명에 따라 관심 객체 추적을 위해 다중 카메라를 동적으로 선택하는 일 예를 도시한 도면이다.
도 1을 참조하면, 다수의 카메라들(10-1, 10-2, 10-3, 10-4, 10-5)이 관심 객체(1)의 주위에 다양한 각도로 배치되어 관심 객체(1)를 촬영한다. 이때, 카메라의 수는 제한되지 않지만, 관심 객체가 다양한 각도에서 촬영될 수 있을 정도의 수만큼 배치된다. 다중 카메라는 주 카메라(10-1)와 부 카메라들(10-2, 10-3, 10-4, 10-5)로 이용될 수 있는데, 이는 사용자에 의해 설정될 수 있다.
주 카메라(10-1)에 의해 촬영된 영상(20-1)에 포함된 관심 객체 위치를 부 카메라(10-2, 10-3, 10-4, 10-5)에서의 촬영 위치로 투영하여 촬영하는데, 부 카메라(10-2, 10-3, 10-4, 10-5)로 전달된 관심 객체의 투영 위치는 각 카메라 촬영 범위 내 존재할 수도 있지만, 모든 카메라 위치와 자세가 관심 객체 위치를 고려하여 배치되지 않을 수도 있으며, 객체의 움직임에 따라 투영된 위치에서 관심 객체의 화소 전체 또는 일부가 촬영 범위를 벗어날 수 있다. 예컨대, 도 1에서 부 카메라(10-4)에 의해 촬영된 영상에는 관심 객체 화소 중 일부만이 포함되어 있다. 이럴 경우, 부 카메라(10-4)를 이용하여 관심 객체를 촬영하는 것은 비효율적이다. 따라서, 투영 위치에서 촬영된 영상에서 관심 객체에 해당하는 화소 비율이 소정 값 이상인 부 카메라들(10-2, 10-3, 105)만을 선택하여, 관심 객체(1)를 추적한다.
도 2는 본 발명의 일 실시 예에 따른 관심 객체 추적을 위한 다중 카메라의 동적 선택 장치의 구성도이다.
도 2를 참조하면, 관심 객체 추적을 위한 다중 카메라 동적 선택 장치(이하 '장치'라 기재함)(100)는 주 카메라 선택부(110), 관심 객체 선택부(120), 관심 객체 투영부(130) 및 촬영 카메라 선택부(140)를 포함한다. 부가적으로, 카메라 파라미터 계산부(150), 카메라 파라미터 DB(155), 관심 객체 추적부(160) 및 3차원 모델부(170)를 더 포함할 수 있다.
다중 카메라(10-1, 10-2, ...,10-n)는 관심 객체를 다양한 각도에서 촬영하기 위한 하나 이상의 카메라들의 집합으로, 일 실시 예에 따라 고정 다중 카메라 또는 팬(pan), 틸트(tilt), 줌(zoom)이 가능한 PTZ 카메라일 수 있다. 또한, 본 발명에서는 컬러 동영상만 획득하는 다중 카메라 대신 다중 3D 카메라를 사용한다. 여기서, 3D 카메라는 컬러 영상에 대한 카메라로부터의 거리 또는 깊이 정보를 획득할 수 있는 장치로, 스테레오 카메라 또는 실시간으로 깊이 획득이 가능한 깊이 센서 등을 포함하여 모든 형태가 가능하다.
이러한 다중 카메라(10-1, 10-2, ...,10-n)는 촬영 시작 전에, 관심 객체를 다양한 각도에서 촬영하기 위해 관심 객체 주위에 적절하게 배치된다. 또한, PTZ 카메라는 팬(pan), 틸트(tilt), 줌(zoom) 기능이 가능하므로, 촬영 시작 전에 관심 객체가 적절한 영상 내 크기와 위치를 가지도록 제어한다. 그리고, 이러한 다중 카메라(10-1, 10-2, ...,10-n)는 유/무선 통신 수단을 통해 장치(100)와 접속될 수 있다.
주 카메라 선택부(110)는 다중 카메라(10-1, 10-2, ...,10-n)에서 주 카메라를 선택한다. 이는 인터페이스부(20)를 통해 사용자로부터 지정된 카메라가 주 카메라로 선택될 수 있다. 여기서, 인터페이스부(20)는 사용자로부터 정보를 입력받을 수 있는 수단으로, 마이크, 터치 스크린 등의 모든 가능한 수단인데, 장치(100)에 구비되거나, 유/무선 통신 수단을 통해 장치(100)와 접속될 수 있다.
관심 객체 선택부(120)는 선택된 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택한다. 즉, 관심 객체 선택부(120)는 주 카메라에 의해 촬영된 영상을 디스플레이부(30)에 출력하고, 인터페이스부(20)를 통해 사용자로부터 관심 객체를 선택받을 수 있다. 여기서, 디스플레이부(30)는 정지 영상 또는 동영상 신호를 출력하는 LCD 등을 포함하는 표시 수단으로, 장치(100)에 구비되거나, 유/무선 통신부를 통해 장치(100)와 접속될 수 있다.
관심 객체 투영부(130)는 하나 이상의 부 카메라에서의 관심 객체의 촬영 위치를 투영한다. 상세하게는, 객체 영역 추출부(131), 투영 좌표 계산부(132) 및 투영 좌표 전달부(133)을 포함한다.
객체 영역 추출부(131)는 주 카메라에서 촬영된 영상에서 관심 객체의 영역을 추출한다. 상세하게는, 선택된 관심 객체의 대략적 위치를 기반으로 주 카메라에 의해 촬영된 영상의 컬러와 깊이 정보를 획득하고, 획득된 컬러 및 깊이 정보를 기반으로 주 카메라에서 촬영된 영상에서 관심 객체 영역을 추출한다. 그런데, 깊이 획득 기능이 없는 PTZ 카메라의 경우에는 컬러만으로 관심 객체 영역을 추출할 수도 있다.
투영 좌표 계산부(132)는 추출된 관심 객체 영역의 각 화소별 깊이 정보와 각 카메라 파라미터를 이용하여 부 카메라 영상 내로 3차원 투영될 좌표를 계산한다. 여기서, 카메라 파라미터는 다중 카메라 각각의 위치 및 자세를 나타내는 것으로, 이는 카메라 파라미터 계산부(150)에 의해 계산되는 값이다.
카메라 파라미터 계산부(150)는 다중 카메라 각각의 위치 및 자세를 나타내는 카메라 파라미터를 계산하는데, 카메라 파라미터 계산에 대해서는 논문 "Z. Z. Zhang. A flexible new technique for camera calibration.　IEEE Transactions on Pattern Analysis and Machine Intelligence,　22(11): 1330-1334, 2000"에 소개된 기법 등이 이용될 수 있다. 또한, 카메라 파라미터 계산부(150)는 고정 카메라일 경우에는 그 위치가 변하지 않으나, PTZ 카메라의 경우와 같이 촬영 중에 카메라의 자세, 줌, 초점을 포함하는 요소가 변경될 경우, 카메라 파라미터를 다시 계산한다. 파라미터 갱신을 위해 선행 논문 [O. D. Faugeras, Q. T. Luong, and S. J. Maybank, "Camera self-calibration: Theory and experiments," In G. Sandini, editor,Proc. 2nd European Conf. On Comp Vision, Lecture Notes in Comp. Science 588, pp. 321-334. Springer-Verlag, May 1992]에 나타난 바와 같은 self-calibration 기법 등을 이용될 수 있다. 카메라 파라미터 계산부(150)에 의해 계산된 값은 카메라 파라미터 DB(155)에 저장된다.
따라서, 투영 좌표 계산부(132)는 카메라 파라미터 DB(155)에 저장된 카메라 파라미터를 이용하여, 카메라 간의 상대적 위치 관계를 알 수 있다, 즉, 카메라 A로 촬영한 영상 내 한 점에 대해 3차원 정보를 획득하면, 3 차원 투영 기법에 의해 다른 카메라 B로 촬영한 영상 내 동일한 점의 위치를 계산할 수 있다.
투영 좌표 전달부(133)는 계산된 투영 좌표를 각각의 부 카메라들로 전달된다.
한편, 각 카메라로 전달된 투영 좌표는 카메라 촬영 범위 내 존재할 수도 있지만, 모든 카메라 위치와 자세가 관심 객체 위치를 고려하여 배치되지 않을 수도 있으므로, 관심 객체 화소 전체 또는 일부가 촬영 범위를 벗어나는 경우도 발생될 수 있다.
촬영 카메라 선택부(140)는 부 카메라에 의해 촬영된 영상에서 관심 객체의 화소수 비율에 따라 부 카메라를 선택하는데, 상세하게는 부 카메라 영상 획득부(141), 화소 비율 계산부(142) 및 선택부(143)를 포함한다.
부 카메라 영상 획득부(141)는 하나 이상의 부카메라들로부터 투영 좌표 영역에서 촬영된 영상을 획득한다. 화소 비율 계산부(142)는 촬영된 영상에서 관심 객체 화소수 비율을 조사한다. 선택부(143)는 화소 비율 계산부(142)에 의해 계산된 화소 비율에 따라 부 카메라를 동적으로 선택한다. 즉, 전체 객체 화소 중에서 특정 비율 이상(예를 들어 30%)의 화소들이 촬영 범위를 벗어날 경우에는 관심 객체가 해당 카메라 촬영 범위를 벗어났다고 판단하여 해당 부카메라를 촬영 카메라에서 제외시킨다. 예컨대, 도 1에 도시된 바와 같이 촬영 영상(20-4)에서 관심 객체의 화소 수 비율이 소정 비율 이하인 부카메라(10-4)는 촬영 카메라에서 제외시킨다.
관심 객체 추적부(160)는 전술한 바와 같이 관심 객체를 추적할 부카메라가 선택된 후에, 사용자로부터 관심 객체 추적 요청이 입력됨에 따라 관심 객체를 추적하는데, 상세하게는 촬영부(161) 및 카메라 선택 갱신부(162)를 포함한다.
촬영부(161)는 관심 객체 추적 요청에 따라, 주카메라 및 촬영 카메라 선택부(140)에 의해 선택된 부 카메라들로부터 촬영된 영상을 획득하여 디스플레이부(30)에 출력한다. 이때, 촬영부(161)는 관심 객체 투영부(130)와 연동되어, 주 카메라에서 촬영된 영상에서 컬러 및 깊이 기반으로 관심 객체를 추출한 후, 그 결과를 기반으로 선택된 부카메라에서의 3차원 투영 좌표를 계산하여 해당 부 카메라로 전달하고, 선택된 부카메라에서는 관심 객체를 촬영한다.
그런데, 시간이 경과됨에 따라 관심 객체는 그 위치가 이동되므로, 관심 객체를 촬영할 수 있는 부카메라 선택을 다시 수행해야 한다. 이를 위해 선택 카메라 갱신부(162)는 촬영 카메라 선택부(140)와 연동하여 카메라 선택 동작을 재수행한다. 이러한 카메라 선택은 매 프레임 또는 처리 시간을 고려하여 소정 주기로 수행될 수 있다.
또한, 관심 객체 추적부(160)는 관심 객체 영상 촬영의 종료 명령이 내려질 때까지 동작하는데, 주 카메라 변경 또는 관심 객체 변경 요청에 따라 동작이 종료될 수도 있다. 즉, 주카메라 변경 또는 관심 객체 변경 요청에 따라 관심 객체 투영부(130) 및 촬영 카메라 선택부(140)에 의해 초기화 동작이 다시 수행된 후, 관심 객체 추적 동작이 개시될 수 있다.
3차원 모델부(170)는 다중 3D 카메라에 의해 촬영된 관심 객체의 컬러 및 깊이 정보를 3차원 공간상에 투영하고, 이를 결합(Registration)하여 프레임별로 객체의 3D 모델을 생성한다. 이렇게 생성된 3D 모델 기반으로 카메라 시점이 아닌 가상의 다른 시점 영상을 생성함으로써 객체 중심의 연속적인 다중 시점 영상 전환 서비스도 제공할 수 있는 효과가 있다.
도 3은 본 발명의 일 실시 예에 따른 관심 객체 추적을 위한 다중 카메라의 동적 선택 방법의 순서도이다.
우선, 다중 카메라(10-1, 10-2, ...,10-n)는 촬영 시작 전에, 관심 객체를 다양한 각도에서 촬영하기 위해 관심 객체 주위에 적절하게 배치된다. 또한, PTZ 카메라는 팬(pan), 틸트(tilt), 줌(zoom) 기능이 가능하므로, 촬영 시작 전에 관심 객체가 적절한 영상 내 크기와 위치를 가지도록 제어된다.
도 3을 참조하면, S310에서, 주 카메라 선택부(110)는 다중 카메라(10-1, 10-2, ...,10-n)에서 주 카메라를 선택한다. 이는 사용자로부터 지정된 카메라가 주 카메라로 선택될 수 있다.
S320에서, 관심 객체 선택부(120)는 선택된 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택한다. 즉, 관심 객체 선택부(120)는 주 카메라에 의해 촬영된 영상을 디스플레이하고, 사용자로부터 관심 객체를 선택받을 수 있다.
관심 객체 투영부(130)는 하나 이상의 부 카메라에서의 관심 객체의 촬영 위치를 투영하는데, 상세하게는, S330에서 객체 영역 추출부(131)는 주 카메라에서 촬영된 영상에서 관심 객체의 영역을 추출한다. 상세하게는, 선택된 관심 객체의 대략적 위치를 기반으로 주 카메라에 의해 촬영된 영상의 컬러와 깊이 정보를 획득하고, 획득된 컬러 및 깊이 정보를 기반으로 주 카메라에서 촬영된 영상에서 관심 객체 영역을 추출한다. 그런데, 깊이 획득 기능이 없는 PTZ 카메라의 경우에는 컬러만으로 관심 객체 영역을 추출할 수도 있다.
S340에서, 투영 좌표 계산부(132)는 추출된 관심 객체 영역의 각 화소별 깊이 정보와 각 카메라 파라미터를 이용하여 부 카메라 영상 내로 3차원 투영될 좌표를 계산한다. 여기서, 카메라 파라미터는 다중 카메라 각각의 위치 및 자세를 나타내는 것으로, 이는 미리 계산되는 값이다. 또한, 도면에는 도시되어 있지 않지만, 고정 카메라일 경우에는 그 위치가 변하지 않으나, PTZ 카메라의 경우와 같이 촬영 중에 카메라의 자세, 줌, 초점을 포함하는 요소가 변경될 경우, 카메라 파라미터를 다시 계산하는 단계가 더 포함될 수 있다.
따라서, 투영 좌표 계산부(132)는 카메라 파라미터를 이용하여, 카메라 간의 상대적 위치 관계를 알 수 있다, 즉, 카메라 A로 촬영한 영상 내 한 점에 대해 3차원 정보를 획득하면, 3 차원 투영 기법에 의해 다른 카메라 B로 촬영한 영상 내 동일한 점의 위치를 계산할 수 있다.
한편, 각 카메라로 전달된 투영 좌표는 카메라 촬영 범위 내 존재할 수도 있지만, 모든 카메라 위치와 자세가 관심 객체 위치를 고려하여 배치되지 않을 수도 있으므로, 관심 객체 화소 전체 또는 일부가 촬영 범위를 벗어나는 경우도 발생될 수 있다.
따라서, 촬영 카메라 선택부(140)는 부 카메라에 의해 촬영된 영상에서 관심 객체의 화소수 비율에 따라 부 카메라를 선택하는데, 상세하게는 S350에서 부 카메라 영상 획득부(141)는 하나 이상의 부카메라들로부터 투영 좌표 영역에서 촬영된 영상을 획득한다. S360에서, 화소 비율 계산부(142)는 촬영된 영상에서 관심 객체 화소수 비율을 조사한다. S370에서, 선택부(143)는 화소 비율 계산부(142)에 의해 계산된 화소 비율에 따라 부 카메라를 동적으로 선택한다. 즉, 전체 객체 화소 중에서 특정 비율 이상(예를 들어 30%)의 화소들이 촬영 범위를 벗어날 경우에는 관심 객체가 해당 카메라 촬영 범위를 벗어났다고 판단하여 해당 부카메라를 촬영 카메라에서 제외시킨다.
관심 객체 추적부(160)는 전술한 바와 같이 관심 객체를 추적할 부카메라가 선택된 후에, S380에서 사용자로부터 관심 객체 추적 요청이 입력되는지 확인한다.
S380의 확인 결과 사용자로부터 관심 객체 추적 요청이 입력되면, 촬영부(161)는 주카메라 및 촬영 카메라 선택부(140)에 의해 선택된 부 카메라들로부터 촬영된 영상을 획득하여 출력한다. 이때, 촬영부(161)는 관심 객체 투영부(130)와 연동되어, S390에서 주 카메라에서 촬영된 영상에서 컬러 및 깊이 기반으로 관심 객체를 추출한 후, S400에서 선택된 부카메라에서의 3차원 투영 좌표를 계산하고, S410에서 선택된 부카메라에서 관심 객체를 촬영한다.
또한, 선택적으로 S420에서, 3차원 모델부(170)는 다중 3D 카메라에 의해 촬영된 관심 객체의 컬러 및 깊이 정보를 3차원 공간상에 투영하고, 이를 결합(Registration)하여 프레임별로 객체의 3D 모델을 생성한다. 이렇게 생성된 3D 모델 기반으로 카메라 시점이 아닌 가상의 다른 시점 영상을 생성함으로써 객체 중심의 연속적인 다중 시점 영상 전환 서비스도 제공할 수 있는 효과가 있다.
그런데, 시간이 경과됨에 따라 관심 객체는 그 위치가 이동되므로, 관심 객체를 촬영할 수 있는 부카메라 선택을 다시 수행해야 한다. 이를 위해 선택 카메라 갱신부(162)는 S430에서 카메라 선택을 갱신해야 할지를 판단한다. 여기서, 판단 기준은 매 프레임 또는 처리 시간을 고려하여 소정 주기로 수행되는 것으로 설정되었을 경우, 프레임 변경 또는 주기 도래가 될 수 있다. 또는 사용자에 의해 별도의 요청에 따라 판단될 수 있다.
S430의 판단 결과 카메라 선택을 갱신해야 할 경우, 카메라 선택 갱신부(162)는 촬영 카메라 선택부(140)와 연동하여 S330로 진행되도록 제어한다.
또한, 관심 객체 추적부(160)는 관심 객체 영상 촬영의 종료 명령이 내려질 때까지 동작하는데, 주 카메라 변경 또는 관심 객체 변경 요청에 따라 동작이 종료될 수도 있다. 즉, 주카메라 변경 요청(S440)또는 관심 객체 변경 요청(S450)에 따라 각각 S310 또는 S320으로 진행되도록 제어한다.

Claims (18)

  1. 다중 카메라에서 주 카메라를 선택하는 단계와,
    상기 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택하는 단계와,
    하나 이상의 부 카메라에서의 상기 관심 객체의 촬영 위치를 투영하는 단계와,
    상기 부 카메라에 의해 촬영된 영상에서 상기 투영된 촬영 위치에 포함된 화소수 비율이 특정 비율 미만인 부 카메라는 제외하고, 상기 화소수 비율이 상기 특정 비율 이상인 부 카메라를 선택하는 단계 및,
    상기 주카메라 및 상기 선택된 부 카메라로부터 촬영된 영상에 포함된 관심 객체의 컬러 및 깊이 정보를 3차원 공간상에 투영하고, 투영된 관심 객체의 컬러 및 깊이 정보를 결합(Registration)하여 프레임별로 관심 객체의 3D 모델을 생성하는 단계를 포함하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  2. 제 1항에 있어서, 상기 부 카메라를 선택하는 단계는
    매 프레임별 또는 소정 프레임 간격으로 재수행됨을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  3. 제 1항에 있어서,
    상기 다중 카메라 각각의 위치 및 자세를 나타내는 카메라 파라미터를 계산하는 단계를 더 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  4. 제 3항에 있어서, 상기 카메라 파라미터를 계산하는 단계는
    촬영 중에 카메라 자세, 줌, 초점을 포함하는 요소 중 적어도 하나가 변경될 경우, 카메라 파라미터를 갱신하는 단계를 더 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  5. 제 3항에 있어서, 상기 투영하는 단계는
    상기 주카메라에서 촬영된 영상으로부터 상기 선택된 관심 객체의 영역을 추출하는 단계와,
    상기 카메라 파라미터를 이용하여 상기 추출된 관심 객체의 영역에 상응하는 부 카메라에서의 촬영 위치를 계산하는 단계를 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  6. 제 5항에 있어서, 상기 추출하는 단계는
    선택된 관심 객체의 대략적 위치를 기반으로 상기 주 카메라에 의한 컬러와 깊이 정보를 획득하는 단계와,
    획득된 컬러 및 깊이 정보를 기반으로 상기 주 카메라에서 촬영된 영상에서 관심 객체 영역을 추출하는 단계를 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  7. 제 5항에 있어서, 상기 추출하는 단계는
    PTZ 카메라의 경우에는 컬러만으로 관심 객체를 추출함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 방법.
  8. 삭제
  9. 다중 카메라에서 주 카메라를 선택하는 주카메라 동적 선택부와,
    상기 주 카메라에 의해 촬영된 영상으로부터 관심 객체를 선택하는 관심 객체 선택부와,
    하나 이상의 부 카메라에서의 상기 관심 객체의 촬영 위치를 투영하는 관심 객체 투영부와,
    상기 부 카메라에 의해 촬영된 영상에서 상기 투영된 촬영 위치에 포함된 화소수 비율이 특정 비율 미만인 부 카메라는 제외하고, 상기 화소수 비율이 상기 특정 비율 이상인 부 카메라를 선택하는 촬영 카메라 선택부 및,
    상기 주카메라 및 상기 선택된 부 카메라로부터 촬영된 영상에 포함된 관심 객체의 컬러 및 깊이 정보를 3차원 공간상에 투영하고, 투영된 관심 객체의 컬러 및 깊이 정보를 결합(Registration)하여 프레임별로 관심 객체의 3D 모델을 생성하는 3차원 모델부
    를 포함하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  10. 제 9항에 있어서, 상기 다중 카메라는
    3D 카메라임을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  11. 제 9항에 있어서, 상기 관심 객체 투영부 및 촬영 카메라 선택부는
    매 프레임별 또는 소정 프레임 간격으로 반복 동작됨을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  12. 제 9항에 있어서,
    상기 다중 카메라 각각의 위치 및 자세를 나타내는 카메라 파라미터를 계산하는 카메라 파라미터 계산부를 더 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  13. 제 12항에 있어서, 상기 카메라 파라미터 계산부는
    촬영 중에 카메라 자세, 줌, 초점을 포함하는 요소 중 적어도 하나가 변경될 경우, 카메라 파라미터를 갱신함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  14. 제 12항에 있어서, 상기 관심 객체 투영부는
    상기 주카메라에서 촬영된 영상으로부터 상기 선택된 관심 객체의 영역을 추출하는 객체 영역 추출부와,
    상기 카메라 파라미터를 이용하여 상기 추출된 관심 객체의 영역에 상응하는 부 카메라에서의 촬영 위치를 계산하는 투영 좌표 계산부를 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  15. 제 14항에 있어서, 상기 객체 영역 추출부는
    선택된 관심 객체의 대략적 위치를 기반으로 상기 주 카메라에 의한 컬러와 깊이 정보를 획득하고, 획득된 컬러 및 깊이 정보를 기반으로 상기 주 카메라에서 촬영된 영상에서 관심 객체 영역을 추출함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  16. 제 14항에 있어서, 상기 관심 객체 투영부는
    상기 계산된 영상 좌표를 다중 카메라로 전달하는 투영 좌표 전달부를 더 포함함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  17. 제 15항에 있어서, 상기 객체 영역 추출부는
    PTZ 카메라의 경우에는 컬러만으로 관심 객체를 추출함을 특징으로 하는 관심 객체 추적을 위한 다중 카메라 동적 선택 장치.
  18. 삭제
KR1020130131645A 2013-10-31 2013-10-31 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 KR102105189B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130131645A KR102105189B1 (ko) 2013-10-31 2013-10-31 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US14/497,843 US20150116502A1 (en) 2013-10-31 2014-09-26 Apparatus and method for dynamically selecting multiple cameras to track target object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130131645A KR102105189B1 (ko) 2013-10-31 2013-10-31 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150050172A KR20150050172A (ko) 2015-05-08
KR102105189B1 true KR102105189B1 (ko) 2020-05-29

Family

ID=52994955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130131645A KR102105189B1 (ko) 2013-10-31 2013-10-31 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법

Country Status (2)

Country Link
US (1) US20150116502A1 (ko)
KR (1) KR102105189B1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970197B1 (ko) * 2012-10-29 2019-04-18 에스케이 텔레콤주식회사 복수의 카메라 제어 방법과 그를 위한 카메라 제어 장치
EP2884460B1 (en) 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
US20160314596A1 (en) * 2015-04-26 2016-10-27 Hai Yu Camera view presentation method and system
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras
EP3101625A3 (en) * 2015-04-30 2016-12-14 Pixia Corp. Method and system of selecting a view from a plurality of cameras
KR102076531B1 (ko) 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
KR101619838B1 (ko) * 2015-12-09 2016-05-13 공간정보기술 주식회사 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템
KR101640071B1 (ko) * 2016-02-22 2016-07-18 공간정보기술 주식회사 피티지(ptz) 카메라와 연동하는 스테레오 카메라 시스템의 세로형 설치장치
US10491810B2 (en) 2016-02-29 2019-11-26 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
US10122996B2 (en) * 2016-03-09 2018-11-06 Sony Corporation Method for 3D multiview reconstruction by feature tracking and model registration
KR101880504B1 (ko) * 2016-10-12 2018-08-17 케이에스아이 주식회사 객체 정보 추출이 가능한 지능형 영상 감시시스템
KR102117686B1 (ko) * 2016-11-01 2020-06-01 주식회사 케이티 영상 제공 서버, 영상 제공 방법 및 사용자 단말
KR102187016B1 (ko) * 2016-11-25 2020-12-04 주식회사 케이티 타임 슬라이스 영상을 제공하는 사용자 단말 및 영상 제공 서버
KR102139106B1 (ko) * 2016-12-16 2020-07-29 주식회사 케이티 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말
KR20180092495A (ko) 2017-02-09 2018-08-20 한국전자통신연구원 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법
GB2597875B (en) * 2017-06-16 2022-07-06 Symbol Technologies Llc Methods, systems and apparatus for segmenting and dimensioning objects
CN107370948A (zh) * 2017-07-29 2017-11-21 安徽博威康信息技术有限公司 一种演播室视频智能切换方法
KR102105510B1 (ko) * 2017-08-17 2020-04-28 주식회사 케이티 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말
CN109961458B (zh) * 2017-12-26 2021-07-02 杭州海康威视***技术有限公司 目标对象的追踪方法、装置及计算机可读存储介质
KR102058723B1 (ko) 2018-07-11 2019-12-24 양정만 영상에서 추출된 객체를 암호화하고 데이터베이스를 구축하는 시스템의 제어방법
JP7366594B2 (ja) * 2018-07-31 2023-10-23 キヤノン株式会社 情報処理装置とその制御方法
CN110830756B (zh) * 2018-08-07 2022-05-17 华为技术有限公司 一种监控方法与装置
CN110839136A (zh) * 2018-08-15 2020-02-25 浙江宇视科技有限公司 告警联动方法及装置
DE102020201097B4 (de) * 2020-01-30 2023-02-16 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung und Verfahren zur optischen Objektkoordinatenermittlung
CN111787341B (zh) * 2020-05-29 2023-12-05 北京京东尚科信息技术有限公司 导播方法、装置及***
CN112843715B (zh) * 2020-12-31 2023-07-04 上海米哈游天命科技有限公司 一种拍摄视角的确定方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20120169882A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Tracking Moving Objects Using a Camera Network
WO2013108686A1 (ja) * 2012-01-17 2013-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211754A1 (en) * 2010-03-01 2011-09-01 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20120169882A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Tracking Moving Objects Using a Camera Network
WO2013108686A1 (ja) * 2012-01-17 2013-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20150116502A1 (en) 2015-04-30
KR20150050172A (ko) 2015-05-08

Similar Documents

Publication Publication Date Title
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
EP3007038B1 (en) Interaction with three-dimensional video
JP6715441B2 (ja) 拡張現実表示システム、端末装置および拡張現実表示方法
US8654195B2 (en) Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
US9786064B2 (en) Multi-camera control apparatus and method to maintain location and size of object in continuous viewpoint switching service
JP5456020B2 (ja) 情報処理装置および方法
CN105915817B (zh) 一种用于捕获图像的方法、装置及***
JP6918455B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105247859A (zh) 一个或多个卫星设备的主动立体显像
WO2017183470A1 (ja) 三次元再構成方法
KR101997991B1 (ko) 시점 변환을 이용하는 영상 결합 방법 및 시스템
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
JP2004193962A (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
WO2017145149A1 (en) System and method for automatic remote assembly of partially overlapping images
JP2018033107A (ja) 動画の配信装置及び配信方法
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
CN111131697B (zh) 一种多摄像机智能跟踪拍摄方法、***、设备及存储介质
JP2022012398A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020193950A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
US12033355B2 (en) Client/server distributed camera calibration
US20240144530A1 (en) Method, program, and system for 3d scanning
CN114208153B (zh) 不使用防抖的多重拍摄图像捕获

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant