KR20180018561A - 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법 - Google Patents

이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR20180018561A
KR20180018561A KR1020177035946A KR20177035946A KR20180018561A KR 20180018561 A KR20180018561 A KR 20180018561A KR 1020177035946 A KR1020177035946 A KR 1020177035946A KR 20177035946 A KR20177035946 A KR 20177035946A KR 20180018561 A KR20180018561 A KR 20180018561A
Authority
KR
South Korea
Prior art keywords
size
video
viewing area
image
face
Prior art date
Application number
KR1020177035946A
Other languages
English (en)
Inventor
알랭 베르디에
크리스토프 카제뜨
시릴 강동
브루노 가르니에
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180018561A publication Critical patent/KR20180018561A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06K9/00221—
    • G06K9/00362—
    • G06K9/22—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 원리는 디바이스(100) 상에서 비디오 신호를 재생시키거나 캡처하는 동안 비디오 확대축소 기능을 가능하게 하는 방법을 개시한다. 이러한 방법을 구현하는 디바이스의 전형적인 예는 태블릿 혹은 스마트폰과 같은 휴대용 디바이스이다. 확대축소 기능이 활성화되는 경우, 사용자는 자신이 확대하기를 원하는 영역을 표시하기 위해 더블 탭을 행한다. 이러한 동작은 다음과 같은 동작들을 개시시키는데, 먼저, 사용자가 탭을 행한 위치 주변으로 탐색 윈도우(420)가 정의되고; 그 다음에, 이러한 탐색 윈도우 내에서 인간 얼굴들이 검출되고; 탭이 행해진 위치에 가장 가까이 있는 얼굴(430)이 선택되고; 선택된 얼굴 및 일부 파라미터들에 따라 신체 윈도우(440) 및 조망 윈도우(450)가 결정된다. 조망 윈도우(450)의 축척은 조망 윈도우(450)가 비디오의 부분적 영역만을 보여주도록 조정된다. 신체 윈도우(440)는 비디오 스트림 내에서 추적될 것이고, 그리고 비디오 내의 이러한 영역의 움직임들은 조망 윈도우(450)에 적용될 것이고, 이에 따라, 조망 윈도우(450)는 관심의 대상인 이전에 선택된 사람에 대한 초점을 계속 유지하게 된다. 더욱이, 선택된 얼굴이 조망 윈도우(450) 내에 여전히 존재하는지가 계속 점검된다. 마지막 점검에 관해 에러가 발생한 경우, 조망 윈도우 위치는 검출된 얼굴의 위치를 포함하도록 조정된다. 조망 윈도우의 크기조정 비율은 바람직하게는 스크린 상에 디스플레이되는 슬라이더를 통해 사용자에 의해 제어될 수 있다.

Description

이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법
본 개시내용은 일반적으로 비디오(video)들의 재생(playback) 혹은 비디오들의 캡처(capture) 동안 비디오들을 디스플레이(display)할 수 있는 디바이스(device)들에 관한 것으로, 특히, 비디오 확대축소 기능(video zooming feature)에 관한 것이며, 여기에는 이러한 디바이스 상에서 구현되는 이미지(image)의 부분적 영역을 선택 및 추적하기 위한 방법이 포함된다. 이러한 디바이스들의 대표적인 예들은 태블릿 혹은 스마트폰과 같이 터치 스크린(touch screen)을 구비한 휴대용 디바이스들이다.
본 서술부분은 아래에서 기재되고 그리고/또는 설명되는 본 개시내용의 다양한 실시형태들과 관련될 수 있는 그러한 본 발명의 기술분야의 다양한 실시형태들에 대해 본 명세서를 읽는 독자에게 소개하고자 의도된 것이다. 이러한 논의는 본 개시내용의 다양한 실시예들을 더 잘 이해할 수 있도록 하기 위한 배경 정보를 독자에게 제공하는데 도움을 줄 것으로 믿어진다. 따라서, 이러한 서술들은 이와 같은 관점에서 읽혀져야 하고 종래 기술의 인정으로서 읽혀져서는 안됨을 이해해야 한다.
스크린 상에 디스플레이되는 이미지의 부분적 영역의 선택은 오늘날의 컴퓨터 시스템들에서, 예를 들어, 어도비 포토샵(Adobe Photoshop), 김프(Gimp), 혹은 마이크로소프트 페인트(Microsoft Paint)와 같은 이미지 편집 툴(image editing tool)들에서 흔히 일어난다. 종래 기술은 이미지의 부분적 영역의 선택을 가능하게 하는 다수의 다양한 해법들을 포함한다.
하나의 매우 일반적인 해법은 직사각형의 선택인데, 이것은 (직사각형의 제 1 모서리가 될 지점인) 제 1 지점 상에서 클릭(clicking)을 행하고 마우스를 통해 눌려진 상태로 파인더(finder)를 유지하면서 포인터(pointer)를 (직사각형의 제 2 모서리가 될 지점인) 제 2 지점으로 이동시키는 것에 근거하여 이루어진다. 포인터가 이동되는 동안 스크린 상에는 선택 직사각형이 그려져 사용자로 하여금 해당 이미지의 선택된 영역의 시각화를 가능하게 한다. 이러한 직사각형 형상 대신에 정사각형, 원형, 타원형, 혹은 더 복잡한 형태와 같은 임의의 기하학적 형상을 사용하여 이와 같은 선택이 이루어질 수 있음에 유의해야 한다. 이러한 방법의 주된 단점은 제 1 모서리에 대한 정밀도(precision)가 부족하다는 것이다. 이러한 문제를 예시하는 가장 좋은 예는 공(ball)과 같은 원형 물체를 직사각형으로 선택하는 경우이다. 사용자가 어디서부터 시작해야 할지를 알 수 있게 도움을 줄 수 있는 그 어떤 참조(reference)도 존재하지 않는다. 이러한 문제를 해결하기 위해, 일부 구현예들은 직사각형 상에 소위 핸들(handles)을 제안하는데, 이러한 핸들은 직사각형의 크기변경(resize)을 가능하게 하고 아울러 이러한 핸들 상에서 클릭을 행하고 핸들을 새로운 위치로 이동시킴으로써 더 정밀하게 직사각형을 조정할 수 있게 한다. 하지만, 이것은 선택 영역을 조정하기 위해 사용자로부터 많은 상호작용들을 요구한다.
다른 기법들은, 이미지의 내용물(content)에 더 근접하는 비-기하학적 형태의 선택을 제공한다(때때로 이미지 내에 표현된 물체들을 따라가기 위한 윤곽 검출 알고리즘(contour detection algorithm)을 사용함). 이러한 해법들에서, 일반적으로 사용자는 자신이 선택하기를 원하는 영역의 윤곽을 따라가려고 한다. 이것은 선택 영역의 범위를 정하는 자취(trace)를 형성한다. 하지만, 이러한 해법의 단점은 사용자가 자신의 선택이 완료됐음을 표시하기 위해 출발 지점으로 다시 돌아옴으로써 자취를 폐쇄(close)시켜야만 한다는 것인데, 이것은 때때로 어려운 일이다.
이러한 기법들 중 일부는 스마트폰 및 태블릿과 같이 터치 스크린이 구비된 디바이스들의 특이성(particularity)에 맞게 조정되었다. 실제로, 이러한 디바이스들에서, 사용자는 스크린 상에 디스플레이된 이미지 상에서 자신의 손가락을 이용해 직접적으로 상호작용한다. CN101458586은 선택 영역을 조정하기 위해 복수의 손가락 터치들을 결합하는 것을 제안하는데, 이것의 단점은 상대적으로 복잡한 사용성(usability) 그리고 사용자에 대한 추가적인 학습 단계를 갖는다는 것이다. US20130234964는 선택될 영역과 사용자가 스크린을 누른 지점 간의 이동(shift)을 도입함으로써 손가락으로 이미지를 가리는 문제를 해결한다. 이러한 기법은 이전의 해법과 동일한 단점을 갖는데, 사용성이 취약하고 일부 학습 복잡성이 부가된다.
일부 스마트폰 및 태블릿은, 사용자로 하여금 비디오들을 재생시키는 동안 혹은 통합된 카메라를 사용하여 비디오들을 녹화하는 동안 이미지의 선택된 부분적 영역에 초점을 맞출 수 있게 하는 비디오 확대축소 기능을 제안한다. 이러한 비디오 확대축소 기능은 이미지의 부분적 영역의 선택을 요구한다. 이러한 선택을 위해 종래의 초점이동(pan) 및 확대축소(zoom) 접근법을 사용하는 것, 또는 앞에서 소개된 해법들 중 어느 하나를 사용하는 것은 효과적이지 않은데, 특히 사용자가 인간 행위자(human actor)에 초점을 맞추고 싶어할 때 효과적이지 않다. 실제로, 스크린 상에서의 행위자의 위치는 시간 경과 동안 변하고, 이것은 해당 이미지의 올바른 영역에 관해 다시 확대(zooming in) 및 축소(zooming out)를 수행함으로써 계속해서 확대축소 영역을 수동으로 조정하는 것을 어렵게 만든다.
따라서 종래 기술의 문제들 중 적어도 일부에 대처하고 행위자에 관해 초점을 맞추는 생생한(live) 확대축소 기능을 가능하게 하는 해법에 대한 필요성이 존재한다는 것을 알 수 있다. 본 개시내용은 이러한 해법을 제공한다.
제 1 실시형태에서, 본 개시내용은 비디오의 부분적 영역을 확대하기 위한 데이터 프로세싱 장치(data processing apparatus)에 관한 것이고, 이러한 데이터 프로세싱 장치는 스크린 및 프로세서(processor)를 포함하고, 여기서 스크린은, 일련의 이미지들을 포함하는 비디오를 디스플레이하는 것; 그리고 비디오를 디스플레이하는 스크린 상에서 행해진 터치의 좌표(coordinates)를 획득하는 것을 수행하도록 구성되고, 프로세서는, 터치의 좌표까지 가장 작은 기하학적 거리(geometric distance)를 갖는 인간 얼굴(human face)을 선택하는 것(여기서, 인간 얼굴은 크기 및 위치를 갖고 있음); 선택된 인간 얼굴의 크기 및 위치에 대한 부분적 조망 영역(partial viewing area)의 크기 및 위치를 결정하는 것; 그리고 축척 비율(scale factor)에 따라 부분적 조망 영역을 디스플레이하는 것을 수행하도록 구성된다. 제 1 실시예는 선택된 얼굴과 관련된 특징적 요소(distinctive element)의 픽셀(pixel)들의 세트(set)를 검출함으로써 부분적 조망 영역의 크기 및 위치를 결정하는 것을 포함하고, 여기서 특징적 요소는 크기 및 위치를 가지며, 특징적 요소의 크기 및 위치는 선택된 인간 얼굴의 크기 및 위치에 관한 기하학적 함수(geometric functions)에 의해 결정된다. 제 2 실시예는 비디오 내에서의 이미지 및 이전의 이미지 간에 검출된 특징적 요소에 관한 픽셀들의 세트의 움직임(motion)에 따라 이미지의 부분적 조망 영역의 위치를 조정하는 것을 포함한다. 제 3 실시예는 축척 비율을 결정하는 슬라이더(slider)의 값에 따라 이미지의 부분적 조망 영역의 크기를 조정하는 것을 포함한다. 제 4 실시예는 축척 비율을 결정하기 위한 스크린의 가장자리(border) 상의 터치에 따라 이미지의 부분적 조망 영역의 크기를 조정하는 것을 포함하고, 여기서 스크린의 가장자리의 상이한 영역들은 서로 다른 축척 비율들에 대응한다. 제 5 실시예는 선택된 얼굴이 부분적 조망 영역 내에 포함되는지를 점검(check)하는 것을 포함하고, 그리고 선택된 얼굴이 부분적 조망 영역 내에 포함되지 않은 경우, 선택된 얼굴을 포함하도록 부분적 조망 영역의 위치를 조정하는 것을 포함한다. 제 6 실시예는 이미지의 일부분 상에서만 인간 얼굴들의 검출을 수행하는 것을 포함하고, 여기서 이미지의 일부분의 크기는 스크린 크기를 일정 비율(ratio)로 감소시킨 크기이고, 이미지의 일부분의 위치는 터치의 좌표를 중심으로 하는 위치이다. 제 7 실시예는 스크린 상의 터치의 좌표를 제공하기 위한 더블 탭(double tap)을 검출하는 것을 포함한다.
제 2 실시형태에서, 본 개시내용은 비디오의 부분적 조망 영역을 확대하기 위한 방법에 관한 것이고, 여기서 비디오는 일련의 이미지들을 포함하고, 이러한 방법은, 비디오를 디스플레이하는 스크린 상에서 행해진 터치의 좌표를 획득하는 것; 터치의 좌표까지 가장 작은 기하학적 거리를 갖는 인간 얼굴을 선택하는 것(여기서, 인간 얼굴은 크기 및 위치를 갖고 있음); 선택된 인간 얼굴의 크기 및 위치에 대한 부분적 조망 영역의 크기 및 위치를 결정하는 것; 그리고 결정된 축척 비율에 따라 부분적 조망 영역을 디스플레이하는 것을 포함한다. 제 1 실시예는 선택된 얼굴과 관련된 특징적 요소의 픽셀들의 세트를 검출함으로써 부분적 조망 영역의 크기 및 위치를 결정하는 것을 포함하고, 여기서 특징적 요소는 크기 및 위치를 가지며, 특징적 요소의 크기 및 위치는 선택된 인간 얼굴의 크기 및 위치에 관한 기하학적 함수에 의해 결정된다. 제 2 실시예는 비디오 내에서의 이미지 및 이전의 이미지 간에 검출된 특징적 요소에 관한 픽셀들의 세트의 움직임에 따라 이미지의 부분적 조망 영역의 위치를 조정하는 것을 포함한다. 제 3 실시예는 선택된 얼굴과 관련된 특징적 요소의 픽셀들의 세트가 부분적 조망 영역 내에 포함되지 않은 경우, 이러한 픽셀들의 세트를 포함하도록 부분적 조망 영역의 위치를 조정하는 것을 포함한다.
제 3 실시형태에서, 본 개시내용은 제 1 실시형태의 방법의 임의의 실시예를 구현하기 위한 프로세서에 의해 실행가능한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램에 관한 것이다.
제 3 실시형태에서, 본 개시내용은 비-일시적 컴퓨터 판독가능 매체 상에 저장되는 컴퓨터 프로그램물(computer program product)에 관한 것이고, 이러한 컴퓨터 프로그램물은 제 1 실시형태의 방법의 임의의 실시예를 구현하기 위한 프로세서에 의해 실행가능한 프로그램 코드 명령들을 포함한다.
본 개시내용의 바람직한 특징들이 이제 첨부 도면들을 참조하여 비-한정적 예에 의해 설명될 것이고, 첨부 도면들에서,
도 1은 본 개시내용이 구현될 수 있는 예시적인 시스템을 나타내고;
도 2a, 도 2b, 도 2c, 도 2d는 본 개시내용의 바람직한 실시예에 따라 수행되는 동작들의 결과들을 도시하고;
도 3은 본 개시내용의 바람직한 실시예에 따른 방법의 흐름도의 예를 나타내고;
도 4a 및 도 4b는 도 3의 흐름도에서 정의된 상이한 요소들을 예시하고; 그리고
도 5a 및 도 5b는 디바이스의 스크린 상에 디스플레이되는 슬라이더를 통해 확대축소 비율 제어를 구현한 예를 나타낸다.
본 발명의 원리는 디바이스 상에서 비디오 신호를 재생시키거나 캡처하는 동안 비디오 확대축소 기능을 가능하게 하는 방법을 개시한다. 이러한 방법을 구현하는 디바이스의 전형적인 예는 태블릿 혹은 스마트폰과 같은 휴대용 디바이스이다. 확대축소 기능이 활성화되는 경우, 사용자는 자신이 확대하기를 원하는 영역을 표시하기 위해 더블 탭을 행한다. 이러한 동작은 다음과 같은 동작들을 개시시키는데, 먼저, 사용자가 탭을 행한 위치 주변으로 탐색 윈도우(search window)가 정의되고; 그 다음에, 이러한 탐색 윈도우 내에서 인간 얼굴들이 검출되고; 탭이 행해진 위치에 가장 가까이 있는 얼굴이 선택되고; 선택된 얼굴 및 일부 파라미터(parameter)들에 따라 신체 윈도우(body window) 및 조망 윈도우(viewing window)가 결정된다. 조망 윈도우의 축척은 조망 윈도우가 비디오의 부분적 영역만을 보여주도록 조정된다. 신체 윈도우는 비디오 스트림(video stream) 내에서 추적될 것이고, 그리고 비디오 내의 이러한 영역의 움직임들은 조망 윈도우에 적용될 것이고, 이에 따라, 조망 윈도우는 관심의 대상인 이전에 선택된 사람에 대한 초점을 계속 유지하게 된다. 더욱이, 선택된 얼굴이 조망 윈도우 내에 여전히 존재하는지가 계속 점검된다. 마지막 점검에 관해 에러(error)가 발생한 경우, 조망 윈도우 위치는 검출된 얼굴의 위치를 포함하도록 조정된다. 조망 윈도우의 크기조정 비율(scaling factor)은 바람직하게는 스크린 상에 디스플레이되는 슬라이더를 통해 사용자에 의해 제어될 수 있다.
도 1은 본 개시내용이 구현될 수 있는 예시적인 장치를 나타낸다. 이러한 디바이스의 하나의 예는 태블릿이고, 또 하나의 다른 예는 스마트폰이다. 디바이스(100)는 바람직하게는, 본 개시내용의 적어도 하나의 실시예의 방법을 실행하도록 구성된 적어도 하나의 하드웨어 프로세서(110); 메모리(120); 사용자를 위해 터치 스크린(140) 상에서 디스플레이될 이미지들을 발생시키기 위한 디스플레이 제어기(display controller)(130); 그리고 터치 스크린(140)과의 사용자의 상호작용들을 판독하는 터치 입력 제어기(touch input controller)(150)를 포함한다. 디바이스(100)는 또한, 바람직하게는 사용자와 상호작용하기 위한 그리고 다른 디바이스들과 상호작용하기 위한 다른 인터페이스들(interface)들(160); 그리고 파워 시스템(power system)(170)을 포함한다. 컴퓨터 판독가능 저장 매체(180)는 프로세서(110)에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드를 저장한다. 본 발명의 기술분야에서 숙련된 자는 이러한 예시된 디바이스가 명확한 설명을 위해서 매우 단순화된 것임을 알 것이다.
본 설명에서, 모든 좌표는 제 1 사분면의 상황에서 제공되는바, 이것이 의미하는 바는 이미지들의 원점(origin) 좌표는 도 2a에서 요소(299)에 의해 도시된 바와 같이 바닥 좌측 모서리에서 취해짐을 의미한다.
도 2a, 도 2b, 도 2c, 도 2d는 본 개시내용의 바람직한 실시예에 따라 수행되는 동작들의 결과들을 도시한다. 도 2a는 스크린(140)을 포함하는 디바이스(100)를 보여주고 있는데, 여기서 스크린(140)은 도면번호 200, 202, 및 204로 각각 표시된 3명의 무용가(dancer)들의 장면(scene)을 나타내는 비디오 신호를 디스플레이하고 있다. 비디오는 재생되고 있거나 캡처되고 있다. 사용자는 무용가(200)에 관심이 있다. 사용자의 목표는 도 2b에서 예시되는 바와 같이 무용가(200) 및 그 주변 세부사항들이 스크린의 대부분을 점유하여 다른 무용가들의 움직임에 의해 방해를 받음이 없이 무용가(200)의 동작을 더 상세히 볼 수 있도록 하는 것이다. 이러한 목적을 위해, 사용자는 확대축소 기능을 활성화시키고 도 2c에서 둥근 원(circle)(210)에 의해 예시되는 바와 같이 자신이 선호하는 무용가(200)의 신체 상에서 더블 탭을 행한다. 이것은 결과적으로 도 2d에서 무용가(200)를 둘러싸는 조망 윈도우(220)가 정의되게 한다. 디바이스는 도 4d에서 보여지는 바와 같이 이러한 조망 윈도우에 관해 확대축소를 수행하고, 그리고 더 상세히 설명되는 바와 같이 확대축소 기능이 중지될 때까지 무용가의 움직임을 따라가기 위해 무용가의 신체를 계속해서 추적한다. 추적하는 동안, 디바이스는 또한 무용가의 머리(head)가 조망 윈도우(220) 내에서 보여지는 지를 계속해서 검증한다. 얼굴이 탐색 윈도우 내에서 검출된 경우 하지만 그 위치가 조망 윈도우 바깥쪽에 있는 경우, 이것은 에러로서 고려된다. 이러한 경우에, 재동기화 메커니즘(resynchronization mechanism)이 조망 윈도우의 위치를 업데이트(update)하고 그리고 추적 알고리즘을 업데이트하는데, 이것은 머리를 다시 포착(catch)할 수 있게 하며 이에 따라 조망 윈도우를 업데이트할 수 있게 한다. 이러한 에러가 너무 빈번하게 나타나는 경우, 즉, 결정된 임계치(threshold)보다 더 많이 나타나는 경우, 얼굴 검출은 전체 이미지에 걸쳐 확장된다. 도 3은 본 개시내용의 바람직한 실시예에 따른 방법의 흐름도의 예를 나타낸다. 프로세스는 비디오가 디바이스(100)에 의해 재생되고 있거나 캡처되고 있는 동안 그리고 사용자가 확대축소 기능을 활성화시킨 경우 시작한다. 사용자는 원하는 위치에서 스크린(140)에 탭을 행하는데, 예를 들어, 도 4a에서 요소(410)가 나타내는 바와 같이 무용가(200) 상에서 탭을 행한다. 더블 탭의 위치는 터치 입력 제어기(150)에 의해 획득되는데, 예를 들어, 손가락 터치로서 캡처된 영역의 중심(barycentre)으로서 계산되며, 짝을 이루는 좌표(TAP.X 및 TAP.Y)에 의해 정의되는 스크린 상의 위치에 대응한다. 단계(300)에서 이러한 좌표는, 도 4a에서 요소(420)가 나타내는 탐색 윈도우(Search Window, SW)를 결정하기 위해 사용된다. 탐색 윈도우는 바람직하게는, 잘 알려진 이미지 프로세싱 기법들을 사용하여 인간 얼굴들을 검출하기 위해 얼굴 검출 알고리즘이 작용하게 될 직사각형 영역이다. 탐색을 전체 이미지의 일부분으로만 국한시킴으로써 얼굴 검출 알고리즘의 응답 시간이 향상될 수 있다. 탐색 윈도우의 위치는 탭이 행해진 위치를 중심으로 한다. 탐색 윈도우의 크기는 스크린 크기를 일정 비율(proportion)(α)로 감소시킨 크기로서 정의된다. 전형적인 예는 각각의 차원(dimension)에서 α = 25%인 경우인데, 이것은 탐색 영역이 전체 이미지의 단지 1/16만을 차지하게 하고, 검출 단계의 속도를 대략 16배 증가시킨다. 탐색 윈도우는 직사각형의 2개의 모서리에 의해 정의되는데, 예를 들어, 다음과 같이 정의되는바, 여기서 좌표 SW.XMin, SW.YMin 및 SW.XMax, SW.YMax는 각각 직사각형의 2개의 모서리의 좌표이고, SCR.W 및 SCR.H는 각각 스크린의 폭 및 높이이다:
SW.XMin = TAP.X - (α/2 × SCR.W); SW.YMin = TAP.Y - (α/2 × SCR.H);
SW.XMax = TAP.X + (α/2 × SCR.W); SW.YMax = TAP.Y + (α/2 × SCR.H);
단계(301)에서는, 탐색 윈도우 내에 포함된 이미지에 관해 얼굴 검출이 개시된다. 이러한 알고리즘은 검출된 얼굴들의 세트를 반환(return)하는데, 도 4b에서 요소(430) 및 요소(431)가 나타내는 얼굴들을 반환하고, 각각의 얼굴에 대해 얼굴을 나타내는 이미지, 탐색 윈도우 내에서 그 이미지의 크기 및 그 이미지의 위치를 함께 반환한다. 단계(302)에서는, 사용자가 행한 탭의 위치에 가장 가까이 있는 얼굴이 선택되는데, 도 4b에서 요소(430)가 나타내는 얼굴이 선택된다. 예를 들어, 탭이 행해진 위치와 검출된 얼굴들의 이미지의 각각의 중심 간의 거리는 다음과 같이 계산된다:
D[i] = SQRT((SW.XMin + DF[i].X + DF[i].W/2 - TAP.X)2 + (SW.YMin + DF[i].Y + DF[i].H/2 - TAP.Y)2)
이러한 수식에서, DF[]는 검출된 얼굴들의 목록(table)이고, 여기서 각각의 얼굴에 대해 그 수평 위치는 DF[i].X이고, 수직 위치는 DF[i].X이고, 폭은 DF[i].X이고, 높이는 DF[i].X이고, 그리고 D[]는 거리들의 결과적인 목록이다. 목록 D[] 내에서 최소 거리 값을 갖는 얼굴이 선택되고, 따라서 이러한 얼굴이 추적 얼굴(Track Face, TF)이 되게 된다. 그 다음에, 단계(303)에서, 추적 얼굴의 위치(TF.X 및 TF.Y) 그리고 추적 얼굴의 크기(TF.W 및 TF.H)는, 도 4b에서 요소(440)가 나타내는 신체 윈도우(Body Window, BW)를 결정하기 위해 사용된다. 신체 윈도우는 예를 들어, 특징 기반 추적 알고리즘(feature based tracking algorithm)을 사용하여 추적 목적으로 사용될 것이다. 일반적인 경우, 이미지 분석 관점에서, 특징 기반 추적기에 관한 한, 장면 내에 잠재적으로 존재하는 다른 인간들 및 이미지의 배경 모두와 관련하여 머리보다는 신체 요소가 더 식별력(discriminatory)이 있다. 추적 얼굴로부터 신체 윈도우를 정의하는 것은 임의로(arbitrarily) 수행된다. 신체 윈도우는 추적 얼굴 아래에 위치하는 윈도우이고, 신체 윈도우의 차원은 추적 얼굴의 차원에 비례하며, 수평으로는 파라미터 αw를 갖고 수직으로는 파라미터 αh를 갖는다. 예를 들어, 신체 윈도우는 다음과 같이 정의된다:
BW.W = αw × TF.W; BW.H = αh × TF.H;
BW.X = TF.X + TF.W/2 - BW.W/2; BW.Y = TF.Y - BW.H;
이미지들의 대표적인 세트로부터의 통계치(statistics)는 αw = 3 및 αh = 4의 값을 갖는 추적 단계에 대해 성공적인 것으로 증명된 경험적 추단(heuristic)을 정의할 수 있게 했다. 임의의 다른 기하학적 함수가 추적 얼굴로부터 신체 윈도우를 결정하기 위해 사용될 수 있다.
유사하게, 단계(304)에서는, 도 4b에서 요소(450)가 나타내는 조망 윈도우(VW)가 임의로 결정된다. 조망 윈도우(VW)의 위치는 추적 얼굴의 위치에 의해 정의되고, 조망 윈도우(VW)의 크기는 추적 얼굴 크기, 확대축소 비율(α') 및 스크린 차원(Screen Dimensions, SD)의 함수(function)이다. 바람직하게는, 조망 윈도우의 가로 대 세로 비율(aspect ratio)은 스크린의 가로 대 세로 비율과 관련되어 있다. 조망 윈도우를 정의하는 예는 아래와 같은 수식에 의해 주어진다:
VW.H = α' × TF.H; VW.W = TF.H × SD.W/SD.H;
VW.X = min (0, TF.X + TF.W/2 - VW.W/2);
VW.Y = min (0, TF.Y + TF.H/2 - VW.H/2);
α' = 10인 실험적 값은 디폴트 값(default value)으로서 만족스러운 결과를 제공했다. 하지만, 이러한 파라미터는 사용자에 의해 제어될 수 있고, 그 값은 프로세스 동안 변경될 수 있다.
단계(305)에서, 신체 윈도우는 추적 알고리즘에 제공된다. 단계(306)에서는, 추적 알고리즘이, 잘 알려진 이미지 프로세싱 기법들을 사용하여, 비디오 스트림 내에서 신체 윈도우 이미지를 포함하는 픽셀들의 위치를 추적한다. 이것은 비디오 스트림의 연속적인 이미지들을 분석하여 비디오 스트림의 첫 번째 이미지 및 후속 이미지 내에서의 신체 윈도우의 연속적인 위치들 간에 검출된 움직임(MX, MY)의 추정치(estimation)를 제공함으로써 수행된다. 검출된 움직임은 조망 윈도우의 내용물에 영향을 미친다. 본래 이미지 내에서의 무용가(200)의 위치가 우측으로 이동했고 이에 따라 무용가(200)가 현재 이미지의 가운데에 있는 경우, 무용가(200)의 좌측에는 새로운 요소들, 예를 들어, 또 하나의 다른 무용가가 출현할 수 있다. 따라서, 조망 윈도우의 내용물은 이러한 새로운 내용물에 따라, 그리고 선택된 확대축소 비율(α')에 따라, 그리고 검출된 움직임에 따라, 업데이트된다. 이러한 업데이트는 단계(306)에서 연속적으로 저장되는 업데이트된 위치에 위치하는 전체 이미지의 부분적 영역을 추출(extract)하는 것, 그리고 이것의 축척(scale)을 확대축소 비율(α')에 따라 조정하는 것, 그리고 이것을 디스플레이하는 것을 포함한다. 이것은 비디오를 구성하는 연속적인 이미지들의 목록을 image[]로 표시하고, 이전의 이미지에서의 조망 윈도우의 저장된 좌표를 VW[i-1].X 및 VW[i-1].Y로 표시하는 경우, 다음과 같이 표현될 수 있다:
VW.image = extract (image[i], VW[i-1].X + MX, VW[i-1].Y + MY, VW.W/α', VW.H/a');
VW.image = scale (VW.image, α');
이전의 이미지 추출은 조망 윈도우로 하여금 비디오 스트림 내에서 검출되는 움직임을 따라가게 할 수 있다. 추적 알고리즘에서 빈번하게 일어나는 문제는 추적되는 영역들의 차단(occlusions) 및 알고리즘의 표류(drifting)와 관련된다. 이러한 문제를 막기 위해, 단계(307)에서, 추가적인 검증이 수행된다. 이것은 추적 얼굴을 조망 윈도우 내에서 여전히 볼 수 있는 지를 검증하는 것으로 이루어진다. 만약 분기부(branch)(350)에서와 같이 조망 윈도우 내에서 추적 얼굴을 볼 수 없다면, 이것이 의미하는 바는, 추적이 표류하고 있고 올바른 요소를 더 이상 추적하고 있지 않음을 의미하거나, 또는 예를 들어, 새로운 요소가 전경(foreground)에 존재하기 때문에 일어난 차단에 의해, 그 새로운 요소가, 추적되는 요소를 가리고 있음을 의미한다. 이것은 단계(317)에서, 조망 윈도우의 위치를 추적 얼굴의 마지막 검출된 위치와 다시 동기화(resynchronize)시키는 것이 일어나게 한다. 그 다음에, 단계(318)에서, 에러 계수기(error counter)가 증분된다. 그 다음에, 단계(309)에서, 에러 총수(error count)가, 미리결정된 임계치보다 더 큰지가 점검된다. 에러 총수가, 미리결정된 임계치보다 더 큰 경우, 분기부(353)에서, 전체 프로세스가 다시 시작되는데, 달라지는 것은 탐색 윈도우가 전체 이미지로 확장된다는 점, 그리고 시작 위치는 이제 더 이상 사용자에 의해 제공된 탭이 행해진 위치가 아니라 단계(307)에서 검증된 바와 같은 그리고 단계(310)에서 이전에 저장된 바와 같은 추적 얼굴의 마지막 검출된 위치라는 점이다. 에러 총수가 임계치보다 더 작은 동안은, 분기부(354)에서 프로세스가 정상적으로 계속된다. 실제로, 일시적 차단이 일어나는 경우, 추적 얼굴은 몇 개의 이미지들 이후 다시 출현할 수 있고, 따라서 추적 알고리즘은 어떠한 추가적 조치(measure)도 없이 쉽게 복원될 수 있을 것이다. 단계(307)의 점검 결과가 참(true)인 경우, 분기부(352)로 진행하는데, 이것이 의미하는 바는 추적 얼굴이 조망 윈도우 내에서 인식되고 있음을 의미한다. 이러한 경우, 단계(310)에서, 추적 얼굴의 위치가 저장되고, 단계(311)에서, 에러 총수가 재설정(reset)된다. 그 다음에, 단계(312)에서는, 확대축소 기능이 여전히 활성화되어 있는지 아니면 활성화되어 있지 않은지가 점검된다. 만약 확대축소 기능이 여전히 활성화되어 있다면, 프로세스는 추적 및 업데이트 단계(306)로 되돌아 간다. 만약 확대축소 기능이 활성화되어 있지 않다면, 프로세스는 중지되고, 디스플레이는 크기조정된 이미지 대신에 정상적인 이미지를 다시 보여줄 수 있을 것이다.
바람직하게는, 추적 얼굴 인식 및 신체 윈도우 추적은, 단계(306)에서 추적 및 검출 동작들이 수행되는 경우, 얼굴 및 신체의 모델(model)을 반복적으로 향상시키고, 이것은 또한 양쪽 요소들의 인식을 더욱 향상시킬 수 있다.
도 4a 및 도 4b는 도 3의 흐름도에서 정의된 상이한 요소들을 예시한다. 도 4a에서, 둥근 원(410)은 탭이 행해진 위치에 대응하고, 직사각형(420)은 탐색 윈도우에 대응한다. 도 4b에서, 둥근 원(430) 및 둥근 원(431)은 단계(301)에서 검출되는 얼굴들에 대응한다. 둥근 원(430)은 단계(302)에서 선택되는 추적 얼굴을 나타낸다. 직사각형(440)은 단계(303)에서 정의되는 신체 윈도우를 표시하고, 직사각형(450)은 단계(304)에서 결정되는 조망 윈도우에 대응한다.
도 5a 및 도 5b는 디바이스의 스크린 상에 디스플레이되는 슬라이더를 통해 확대축소 비율 제어를 구현한 예를 나타낸다. 바람직하게는, 조망 윈도우를 구축 및 업데이트하기 위해 단계(304) 및 단계(306)에서 사용되는 확대축소 비율(α')은, 확대축소 동작 동안, 예를 들어, 이미지의 우측 편에 위치하여 확대축소 비율의 값을 설정하는데 사용되는 수직 슬라이더(510)를 통해, 사용자에 의해 구성가능하다. 도 5a에서, 슬라이더(510)는 스크린의 바닥을 향하는 낮은 값으로 설정되어 있고, 따라서, 작아지는 축소 효과(small zoom effect)가 일어나게 된다. 도 5b에서, 슬라이더(510)는 스크린의 상단을 향하는 높은 값으로 설정되어 있고, 따라서, 상당히 커지는 확대 효과(important zoom effect)가 일어나게 된다. 더욱이, 그래픽 요소(graphical element)(520)는 확대축소 기능을 정지시키기 위해 사용자에 의해 활성화될 수 있다. 이러한 슬라이더는 또한 비디오에 의해 전용으로 사용되는 영역을 감소시키는 것을 피하기 위해 스크린 상에 디스플레이되지 않을 수 있다. 예를 들어, 슬라이더를 심벌화(symbolizing)하는 어떠한 그래픽 요소도 없이, 스크린의 우측 가장자리가 확대축소 비율을 제어할 수 있는데, 바닥에서 터치가 일어날 때는 축소 한계치에 이르도록 그리고 상단에서 터치가 일어날 때는 최대 확대가 일어나도록 확대축소 비율이 제어될 수 있다. 이러한 것을 보여주는 결과는 도 2d의 예시와 같이 보이는 스크린이다. 대안적으로, 슬라이더는 또한 잠시 디스플레이될 수 있고 확대축소 비율의 변경이 수행되면 바로 사라질 수 있다.
바람직한 실시예에서, 비디오 확대축소 기능은 사용자 요청이 있는 경우 활성화된다. 음성 명령을 통해 혹은 디바이스 상의 물리적 버튼을 누름으로써, 스크린 상에 디스플레이되는 아이콘을 인증(validating)하는 것과 같은 다양한 수단이 이러한 요청을 확립하기 위해 사용될 수 있다.
변형예에서, 초점이 맞추어지는 관심 대상은 인간인 사람이 아니라 동물, 물체, 예를 들어, 자동차, 건물, 혹은 임의 종류의 물체이다. 이러한 경우에, 단계들(301 및 306)에서 사용된 인식 및 추적 알고리즘들, 뿐만 아니라 경험적 추단은 인식 및 추적될 요소의 특정 특징에 맞게 조정되지만 방법의 다른 요소들은 여전히 유효하다. 예를 들어, 나무의 경우에, 얼굴 검출은 나무 줄기(tree trunk)의 검출로 대체되고, 추적될 영역을 결정하기 위해 다른 경험적 추단이 사용될 것이며, 추적 영역은 나무 줄기 상에서 정의된다. 이러한 변형예에서, 사용자는 바람직하게는 비디오 확대축소 기능을 활성화시키기 전에 비디오 확대축소의 타입을 선택하고, 따라서 이것은 가장 적절한 알고리즘을 사용할 수 있게 한다.
또 하나의 다른 변형예에서는, 단계(301)에서 특정 요소를 검출하기 전에, 인간, 동물, 자동차, 건물 등과 같은 결정된 타입들의 세트 중에서, 해당 영역 내에 존재하는 요소들의 타입을 결정하기 위해, 탐색 윈도우 상에서의 분석이 먼저 수행된다. 요소들의 타입은 중요도(importance)가 감소하는 순서로 나열된다. 중요도에 대한 하나의 기준은 탐색 윈도우 내에서의 물체의 크기이다. 또 하나의 다른 기준은 물체의 각각의 타입에 대한 요소들의 개수이다. 디바이스는 그 나열된 것 중 최상위에 있는 요소의 타입에 따라 인식 및 추적 알고리즘들을 선택한다. 이러한 변형예는 요소들의 복수의 타입들에 대한 확대축소 기능의 자동 조정을 제공한다.
하나의 변형예에서, 부분적 조망 윈도우(450)는 전체 스크린(full screen)으로 디스플레이되는데, 이것은 스크린 해상도보다 더 높은 해상도를 갖는 비디오를 디스플레이할 때 특히 관심을 불러일으킨다. 대안적 변형예에서, 부분적 조망 윈도우는 스크린의 단지 일부분만을 점유하는데, 예를 들어, 화면-속-화면(picture-in-picture) 방식으로 한쪽 모서리만을 점유하고, 이것은 스크린 전체를 전반적으로 조망하는 것과 선택된 사람 혹은 요소의 세부사항들을 보는 것을 모두 할 수 있게 한다.
바람직한 실시예에서, 신체 윈도우는 얼굴 추적 파라미터들에 따라 결정된다. 더 정확하게 말하면, 인간 검출의 경우에 대해서 특정 경험적 추단이 제공된다. 이러한 목적으로, 바람직하게는, 검출된 제 1 요소(즉, 인간 검출의 경우에 추적 얼굴)의 크기에 근거하여, 임의의 다른 기하학적 함수가 사용될 수 있다. 예를 들어, 이러한 기하학적 함수를 결정하기 위해, 수직 크기조정 값(vertical scaling value), 수평 크기조정 값(horizontal scaling value), 수평 편차(horizontal offset), 및 수직 편차(vertical offset)가 사용될 수 있다. 이러한 값들은 바람직하게는 검출된 제 1 요소의 파라미터들에 의존한다.
도면에서 사용된 이미지는 pixabay.com을 통해 획득된 공개된 것이다.
본 발명의 기술분야에서 숙련된 자에 의해 이해될 수 있는 바와 같이, 본 발명의 원리의 실시형태들은 전적으로 하드웨어로 구현된 형태를 취할 수 있거나, 전적으로 소프트웨어(여기에는 펌웨어(firmware), 상주하는 소프트웨어(resident software), 마이크로-코드(micro-code) 등이 포함됨)로 구현된 형태를 취할 수 있거나, 혹은 하드웨어 실시형태와 소프트웨어 실시형태의 결합된 구현 형태를 취할 수 있는데, 이들은 모두 본 명세서에서 일반적으로 "회로", "모듈", 혹은 "시스템"으로서 정의될 수 있다. 더욱이, 본 발명의 원리의 실시형태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 이용될 수 있다. 따라서, 예를 들어, 본 명세서에서 제시되는 도면은 본 개시내용의 원리를 구현하는 예시적인 시스템 구성요소 및/또는 회로의 개념적인 도면을 나타낸다는 것이 본 발명의 기술분야에서 숙련된 자에 의해 이해될 것이다. 유사하게, 임의의 흐름도, 순차도, 상태 천이도(state transition diagrams), 의사 코드(pseudo code), 등은, 컴퓨터 판독가능 저장 매체에서 실질적으로 표현될 수 있는, 이에 따라 컴퓨터 혹은 프로세서가 명시적으로 제시되든 그렇지 않든 상관없이 이러한 컴퓨터 혹은 프로세서에 의해 실행될 수 있는 그러한 다양한 프로세스들을 나타낸다는 것이 이해될 것이다. 컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들) 내에 구현되는 컴퓨터 판독가능 프로그램물의 형태를 취할 수 있고, 이러한 컴퓨터 판독가능 프로그램물에는 컴퓨터에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드가 구현된다. 본 명세서에서 사용되는 바와 같은 컴퓨터 판독가능 저장 매체는 비-일시적 저장 매체인 것으로 고려되는데, 그 안에 정보를 저장할 수 있는 내재적 능력을 갖고 있을 뿐만 아니라 그 안으로부터의 정보의 검색을 제공할 수 있는 내재적 능력도 갖고 있는 그러한 비-일시적 저장 매체인 것으로 고려된다. 컴퓨터 판독가능 저장 매체는 예를 들어, 전자적, 자기적, 광학적, 전기자기적, 적외선, 혹은 반도체 시스템, 장치, 혹은 디바이스, 또는 앞서의 것들의 임의의 적절한 조합일 수 있지만, 이러한 것으로만 한정되는 것은 아니다. 다음에 나열되는 것은 본 발명의 원리가 적용될 수 있는 컴퓨터 판독가능 저장 매체의 더 특정된 예를 제공하지만 본 발명의 기술분야에서 통상의 기술을 가진 자에 의해 용이하게 이해되는 바와 같이 이것은 단지 예시적인 것이고 전체 구현예를 남김없이 나열한 것이 아님을 이해해야 한다: 휴대용 컴퓨터 디스켓; 하드 디스크; 판독-전용 메모리(Read-Only Memory, ROM); 소거가능하고 프로그래밍가능한 판독-전용 메모리(Erasable Programmable Read-Only Memory)(EPROM 혹은 플래시 메모리); 휴대가능한 소형 디스크 판독-전용 메모리(Compact Disc Read-Only Memory, CD-ROM); 광학 저장 디바이스; 자기 저장 디바이스; 또는 앞서의 것들의 임의의 적절한 조합.
본 명세서의 설명, 그리고 (적절한 경우) 청구항 및 도면에서 개시되는 각각의 특징은 독립적으로 제공될 수 있거나 임의의 적절한 조합으로 제공될 수 있다. 하드웨어로 구현되는 것으로서 설명된 특징은 또한 소프트웨어로 구현될 수 있고, 그 반대도 가능하다. 청구항에서 나타나는 참조 번호는 단지 예시적 목적만을 가지며 청구항의 범위에 어떠한 한정적 영향도 미치지 않는다.

Claims (15)

  1. 비디오(video)의 부분적 조망 영역(partial viewing area)(450)을 확대(zooming into)하기 위한 데이터 프로세싱 장치(data processing apparatus)(100)로서, 상기 데이터 프로세싱 장치(100)는,
    스크린(screen)(140)과; 그리고
    프로세서(processor)(110)를 포함하고,
    - 상기 스크린(140)은,
    - 일련의 이미지(image)들을 포함하는 상기 비디오를 디스플레이(display)하는 것과; 그리고
    - 상기 비디오를 디스플레이하는 상기 스크린(140) 상에서 행해진 터치(touch)(410)의 좌표(coordinates)를 획득하는 것을 수행하도록 되어 있고,
    - 상기 프로세서(110)는,
    - 상기 터치(410)의 좌표까지 가장 작은 기하학적 거리(geometric distance)를 갖는 인간 얼굴(human face)(430)을 선택하는 것과, 여기서 상기 인간 얼굴은 크기 및 위치를 갖고;
    - 상기 선택된 인간 얼굴(430)의 크기 및 위치에 대한 부분적 조망 영역(450)의 크기 및 위치를 결정하는 것과; 그리고
    - 축척 비율(scale factor)에 따라 상기 부분적 조망 영역(450)을 디스플레이하는 것을 수행하도록 되어 있는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  2. 제1항에 있어서,
    상기 프로세서(110)는, 상기 선택된 얼굴(430)과 관련된 특징적 요소(distinctive element)(440)의 픽셀(pixel)들의 세트(set)를 검출함으로써 상기 부분적 조망 영역(450)의 크기 및 위치를 결정하도록 되어 있고,
    상기 특징적 요소는 크기 및 위치를 가지며, 상기 특징적 요소의 크기 및 위치는 상기 선택된 인간 얼굴(430)의 크기 및 위치에 관한 기하학적 함수(geometric functions)에 의해 결정되는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 프로세서(110)는, 상기 비디오 내에서의 상기 이미지 및 이전의 이미지 간에 검출된 상기 특징적 요소(440)에 관한 픽셀들의 세트의 움직임(motion)에 따라 상기 이미지의 상기 부분적 조망 영역(450)의 위치를 조정하도록 되어 있는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  4. 제1항 내지 제3항 중 어느 하나의 항에 있어서,
    상기 프로세서(110)는, 상기 축척 비율을 결정하는 슬라이더(slider)(510)의 값에 따라 상기 이미지의 상기 부분적 조망 영역(450)의 크기를 조정하도록 되어 있는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  5. 제1항 내지 제3항 중 어느 하나의 항에 있어서,
    상기 프로세서(110)는, 상기 축척 비율을 결정하기 위한 상기 스크린의 가장자리(border) 상의 터치에 따라 상기 이미지의 상기 부분적 조망 영역(450)의 크기를 조정하도록 되어 있고,
    상기 스크린의 가장자리의 상이한 영역들은 서로 다른 축척 비율들에 대응하는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  6. 제1항 내지 제5항 중 어느 하나의 항에 있어서,
    상기 프로세서(110)는 상기 선택된 얼굴(430)이 상기 부분적 조망 영역(450) 내에 포함되는지를 점검(check)하도록 되어 있고, 그리고 상기 선택된 얼굴(430)이 상기 부분적 조망 영역(450) 내에 포함되지 않은 경우, 상기 선택된 얼굴(430)을 포함하도록 상기 부분적 조망 영역(450)의 위치를 조정하는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  7. 제1항 내지 제6항 중 어느 하나의 항에 있어서,
    상기 프로세서(110)는 상기 이미지의 일부분(420) 상에서만 인간 얼굴들의 검출을 수행하도록 되어 있고,
    상기 이미지의 일부분(420)의 크기는 상기 스크린의 크기를 일정 비율(ratio)로 감소시킨 크기이고,
    상기 이미지의 일부분(420)의 위치는 상기 터치(410)의 좌표를 중심으로 하는 위치인 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  8. 제1항 내지 제7항 중 어느 하나의 항에 있어서,
    상기 프로세서(110)는 상기 스크린(140) 상의 상기 터치(410)의 좌표를 제공하기 위한 더블 탭(double tap)을 검출하도록 되어 있는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 데이터 프로세싱 장치.
  9. 비디오의 부분적 조망 영역(450)을 확대하기 위한 방법으로서, 상기 비디오는 일련의 이미지들을 포함하고, 상기 방법은,
    - 상기 비디오를 디스플레이하는 스크린(140) 상에서 행해진 터치(410)의 좌표를 획득하는 단계(333)와;
    - 상기 터치(410)의 좌표까지 가장 작은 기하학적 거리를 갖는 인간 얼굴(430)을 선택하는 단계와, 여기서 상기 인간 얼굴은 크기 및 위치를 갖고;
    - 상기 선택된 인간 얼굴(430)의 크기 및 위치에 대한 부분적 조망 영역(450)의 크기 및 위치를 결정하는 단계와; 그리고
    - 결정된 축척 비율에 따라 상기 부분적 조망 영역(450)을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 방법.
  10. 제9항에 있어서,
    상기 부분적 조망 영역(450)의 크기 및 위치는 상기 선택된 얼굴(430)과 관련된 특징적 요소(440)의 픽셀들의 세트를 검출함으로써 결정되고,
    상기 특징적 요소는 크기 및 위치를 가지며, 상기 특징적 요소의 크기 및 위치는 상기 선택된 인간 얼굴(430)의 크기 및 위치에 관한 기하학적 함수에 의해 결정되는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 방법.
  11. 제9항 내지 제10항 중 어느 하나의 항에 있어서,
    상기 비디오 내에서의 상기 이미지 및 이전의 이미지 간에 검출된 상기 특징적 요소(440)에 관한 픽셀들의 세트의 움직임이, 상기 이미지의 상기 부분적 조망 영역(450)의 위치를 조정하기 위해 사용되는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 방법.
  12. 제9항 내지 제11항 중 어느 하나의 항에 있어서,
    상기 선택된 얼굴(430)과 관련된 상기 특징적 요소(440)의 픽셀들의 세트가 상기 부분적 조망 영역(450) 내에 포함되지 않은 경우, 상기 부분적 조망 영역(450)의 위치는 상기 특징적 요소(440)의 픽셀들의 세트를 포함하도록 조정되는 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 방법.
  13. 제9항 내지 제12항 중 어느 하나의 항에 있어서,
    검출되는 상기 터치(410)는 더블 탭인 것을 특징으로 하는 비디오의 부분적 조망 영역을 확대하기 위한 방법.
  14. 청구항 제9항 내지 제13항 중 적어도 하나의 항을 따르는 방법의 단계들을 구현하기 위해 프로세서(110)에 의해 실행가능한 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램.
  15. 비-일시적 컴퓨터 판독가능 매체(180) 상에 저장되는 컴퓨터 프로그램물(computer program product)로서, 상기 컴퓨터 프로그램물은 청구항 제9항 내지 제13항 중 적어도 하나의 항을 따르는 방법의 단계들을 구현하기 위해 프로세서(110)에 의해 실행가능한 프로그램 코드 명령들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램물.
KR1020177035946A 2015-06-15 2016-06-14 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법 KR20180018561A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305928 2015-06-15
EP15305928.2 2015-06-15
PCT/EP2016/063559 WO2016202764A1 (en) 2015-06-15 2016-06-14 Apparatus and method for video zooming by selecting and tracking an image area

Publications (1)

Publication Number Publication Date
KR20180018561A true KR20180018561A (ko) 2018-02-21

Family

ID=53758138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035946A KR20180018561A (ko) 2015-06-15 2016-06-14 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법

Country Status (7)

Country Link
US (1) US20180173393A1 (ko)
EP (1) EP3308258A1 (ko)
JP (1) JP2018517984A (ko)
KR (1) KR20180018561A (ko)
CN (1) CN107771314A (ko)
TW (1) TW201712524A (ko)
WO (1) WO2016202764A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023101346A1 (ko) * 2021-12-02 2023-06-08 삼성전자 주식회사 디스플레이 장치에서 재생 중인 콘텐트를 편집하는 방법 및 이를 위한 전자 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015315163B2 (en) 2014-09-09 2020-07-23 Liveperson, Inc. Dynamic code management
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
CN107368253B (zh) * 2017-07-06 2020-12-29 努比亚技术有限公司 图片缩放显示方法、移动终端及存储介质
CN108733280A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
CN109121000A (zh) * 2018-08-27 2019-01-01 北京优酷科技有限公司 一种视频处理方法及客户端
CN109816700B (zh) * 2019-01-11 2023-02-24 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
CN112055168B (zh) * 2019-06-05 2022-09-09 杭州萤石软件有限公司 视频监控方法、***及监控服务器
CN112602311A (zh) * 2019-08-02 2021-04-02 北京小米移动软件有限公司南京分公司 一种终端设备
CN111093027B (zh) * 2019-12-31 2021-04-13 联想(北京)有限公司 一种显示方法及电子设备
CN111770380A (zh) * 2020-01-16 2020-10-13 北京沃东天骏信息技术有限公司 一种视频处理方法和装置
JP2021129178A (ja) * 2020-02-12 2021-09-02 シャープ株式会社 電子機器、表示制御装置、表示制御方法、および、プログラム
JP7332047B2 (ja) * 2020-06-01 2023-08-23 日本電気株式会社 追跡装置、追跡システム、追跡方法、およびプログラム
CN111722775A (zh) * 2020-06-24 2020-09-29 维沃移动通信（杭州）有限公司 图像处理方法、装置、设备及可读存储介质
CN112347924A (zh) * 2020-11-06 2021-02-09 杭州当虹科技股份有限公司 一种基于人脸跟踪的虚拟导播改进方法
EP4240004A4 (en) * 2021-05-12 2024-06-05 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR CAPTURING AN IMAGE BY AN ELECTRONIC DEVICE
CN117177064A (zh) * 2022-05-30 2023-12-05 荣耀终端有限公司 一种拍摄方法及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458586B (zh) 2007-12-11 2010-10-13 义隆电子股份有限公司 以多根手指在触控屏幕上操作对象的方法
KR101709935B1 (ko) * 2009-06-23 2017-02-24 삼성전자주식회사 영상촬영장치 및 그 제어방법
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
KR102030754B1 (ko) 2012-03-08 2019-10-10 삼성전자주식회사 관심 영역을 선택하기 위한 이미지 편집 장치 및 방법
EP2801919A1 (en) * 2013-05-10 2014-11-12 LG Electronics, Inc. Mobile terminal and controlling method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023101346A1 (ko) * 2021-12-02 2023-06-08 삼성전자 주식회사 디스플레이 장치에서 재생 중인 콘텐트를 편집하는 방법 및 이를 위한 전자 장치

Also Published As

Publication number Publication date
TW201712524A (zh) 2017-04-01
EP3308258A1 (en) 2018-04-18
CN107771314A (zh) 2018-03-06
US20180173393A1 (en) 2018-06-21
JP2018517984A (ja) 2018-07-05
WO2016202764A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
KR20180018561A (ko) 이미지 영역을 선택 및 추적함으로써 비디오를 확대축소하기 위한 장치 및 방법
US10284789B2 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
US8274592B2 (en) Variable rate browsing of an image collection
US9124814B2 (en) Method and apparatus for supporting image processing, and computer-readable recording medium for executing the method
JP6036807B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9912853B2 (en) Switching between cameras of an electronic device
US20140248950A1 (en) System and method of interaction for mobile devices
US8769409B2 (en) Systems and methods for improving object detection
CN111475059A (zh) 基于近距离传感器和图像传感器的手势检测
CN104123520A (zh) 二维码扫描方法及装置
JP2014197824A5 (ko)
JP5769277B2 (ja) 入力装置、入力方法及びプログラム
US10257436B1 (en) Method for using deep learning for facilitating real-time view switching and video editing on computing devices
TW201413641A (zh) 具有圖片切換功能的裝置及圖片切換方法
JP2012238293A (ja) 入力装置
US20200106967A1 (en) System and method of configuring a virtual camera
TW201413640A (zh) 具有圖片切換功能的裝置及圖片切換方法
US9838615B2 (en) Image editing method and electronic device using the same
JP2013080266A (ja) 入力装置
JP5850188B2 (ja) 画像表示システム
KR20130116013A (ko) 카메라 장치 및 그의 제어 방법
KR20150039049A (ko) 템플릿 편집 프레임 크기에 따른 사용자 인터페이스 제공 방법 및 그 장치
JP7080711B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US20220283698A1 (en) Method for operating an electronic device in order to browse through photos
WO2020029555A1 (zh) 用于平面间无缝切换的方法、装置和计算机可读存储介质