KR20220053876A - Apparatus and method for reproducing multi-focused image - Google Patents
Apparatus and method for reproducing multi-focused image Download PDFInfo
- Publication number
- KR20220053876A KR20220053876A KR1020200138134A KR20200138134A KR20220053876A KR 20220053876 A KR20220053876 A KR 20220053876A KR 1020200138134 A KR1020200138134 A KR 1020200138134A KR 20200138134 A KR20200138134 A KR 20200138134A KR 20220053876 A KR20220053876 A KR 20220053876A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- cameras
- unit
- camera
- user
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H04N5/232125—
-
- H04N5/23219—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명의 일 실시예는 사용자의 시선에 적합한 초점의 영상을 제공하는 다초점 영상 재생 장치 및 방법에 관한 것이다.An embodiment of the present invention relates to a multifocal image reproducing apparatus and method for providing an image of a focus suitable for a user's gaze.
현재 일반적으로 이용되고 있는 동영상의 재생은 단일 초점을 둔 영상만을 이용한다. 가수들의 공연 영상을 제공하는 경우 여러 대의 카메라를 이용하여 다양한 각도에서 촬영된 영상을 제공하지만, 특정 각도에서 촬영된 영상은 단일 초점으로 촬영된 한가지 영상만을 제공한다.The currently used video playback uses only a single-focused video. In the case of providing performance images of singers, images taken from various angles are provided using multiple cameras, but only one image captured at a specific angle is provided with a single focus.
그러나 사용자의 취향에 따라 사용자 별로 다양한 객체에 초점을 두고 영상을 시청하는 경향이 있다. 예를 들어 복수의 인원으로 구성된 그룹가수가 공연을 하는 영상의 경우에 시청자에 따라 관심있게 바라보는 가수가 다를 수 있는데, 바라보는 대상에 따라 사용자 별로 초점이 다른 영상을 제공하는 것이 바람직하다. However, according to the user's taste, there is a tendency to focus on various objects for each user and watch the video. For example, in the case of a video in which a group singer composed of a plurality of people performs a performance, the singer with interest may be different depending on the viewer.
도 1은 초점이 다른 영상을 제공하는 선행 기술(공개특허공보 제10-2014-0033531호, “이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체”,20140319 참조)을 설명하기 위하여 도시한 도면이다.1 is a diagram illustrating the prior art (refer to Korean Patent Publication No. 10-2014-0033531, “Mobile terminal and its control method, and a recording medium therefor,” 20140319) for providing an image having a different focus.
도 1을 참조하면, 초점 거리를 달리하는 멀티 포커싱 이미지를 얻고, 사용자의 터치 입력이 가해진 객체에 대해 최대 선명도를 갖는 영상을 이미지를 제공하는 방법을 개시하고 있다.Referring to FIG. 1 , a method of obtaining a multi-focusing image having different focal lengths and providing an image having the maximum sharpness with respect to an object to which a user's touch input is applied is disclosed.
그러나 상기 선행기술은 사용자가 손을 이용한 터치를 통해 초점을 변경한다는 점에서 반응 속도가 늦다는 단점이 있다.However, the prior art has a disadvantage in that the reaction speed is slow in that the user changes the focus through a touch using a hand.
본 발명의 일 실시예의 목적은 좀 더 편리하고 빠르게 반응할 수 있는 다초점 영상 재생 장치 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a multifocal image reproducing apparatus and method that can respond more conveniently and quickly.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다초점 영상 재생 장치는 복수의 카메라를 이용하여 영상을 촬영하는 촬영부; 사용자의 시선을 감지하는 아이트래킹 센서부; 상기 카메라에서 촬영된 영상 중에서 소정의 기준에 따라 대표영상을 선택하고, 상기 아이트래킹 센서부의 감지 결과에 기초하여 (복수의 카메라 중 하나 또는) 상기 각각의 카메라에서 촬영된 영상 중 하나를 재생영상으로 선택하는 제어부; 및 상기 대표영상을 먼저 출력하고, 상기 재생영상이 선택되면 순차적으로 상기 재생영상을 출력하는 디스플레이부를 포함하고, 상기 촬영부는 각각의 카메라가 서로 다른 배경 또는 객체를 특정하고, 특정된 배경 또는 객체에 초점을 맞추어 촬영한다.Multifocal image reproducing apparatus according to an embodiment of the present invention for achieving the above object includes: a photographing unit for photographing an image using a plurality of cameras; Eye tracking sensor unit for detecting the user's gaze; A representative image is selected from among the images captured by the camera according to a predetermined criterion, and one of the images captured by each camera (one of a plurality of cameras or) is used as a playback image based on the detection result of the eye tracking sensor unit. control unit to select; and a display unit for outputting the representative image first, and sequentially outputting the reproduced image when the reproduced image is selected, wherein the photographing unit allows each camera to specify a different background or object, Focus and shoot.
바람직하게는, 상기 촬영부는 각각의 카메라에서 촬영되는 모든 영상에서 배경과 객체 각각을 식별하는 식별부; 식별된 배경 및 객체에 대하여 우선 순위를 설정하는 순위 설정부; 및 우선 순위에 기초하여 각각의 카메라로 배경 또는 객체를 할당하는 할당부를 포함하고, 각각의 카메라는 할당된 배경 또는 객체에 초점을 맞추어 촬영한다.Preferably, the photographing unit includes: an identification unit for identifying each of a background and an object in all images captured by each camera; a priority setting unit for setting priorities with respect to the identified background and objects; and an allocator for allocating a background or object to each camera based on the priority, wherein each camera focuses on the assigned background or object to photograph.
바람직하게는, 상기 순위 설정부는 배경 또는 객체의 움직임 정도를 기초로 순위를 설정한다.Preferably, the rank setting unit sets the rank based on the degree of movement of the background or object.
바람직하게는, 상기 제어부는 상기 아이트래킹 센서부의 감지 결과에 기초하여 사용자의 시선이 향하는 배경 또는 객체를 분석하고, 사용자의 시선이 향하는 배경 또는 객체에 초점을 맞추어 촬영한 카메라의 영상을 재생영상으로 선택한다.Preferably, the control unit analyzes the background or object to which the user's gaze is directed based on the detection result of the eye tracking sensor unit, and converts the image of the camera captured by focusing on the background or object to which the user's gaze is directed as a playback image. choose
바람직하게는, 상기 촬영부는 각각의 카메라별로 영상이 저장되는 영상 저장부를 포함하되, 저장되는 영상은 배경 또는 객체의 선명도에 관한 메타 데이터를 포함하며, 상기 제어부는 상기 아이트래킹 센서부의 감지 결과에 기초하여 사용자의 시선이 향하는 객체를 분석하고, 사용자의 시선이 향하는 객체의 선명도에 관한 메타 데이터에 기초하여 저장 영상을 선택한다.Preferably, the photographing unit includes an image storage unit for storing an image for each camera, the stored image includes metadata related to a background or sharpness of an object, and the control unit is based on the detection result of the eye tracking sensor unit to analyze the object to which the user's gaze is directed, and select a stored image based on metadata regarding the sharpness of the object to which the user's gaze is directed.
바람직하게는, 영상 저장부에 각각의 카메라 별로 저장되는 영상은 시간적으로 동기화되어 저장되고, 상기 디스플레이부는 재생시간을 동기화하여 영상을 출력한다.Preferably, the images stored for each camera in the image storage unit are temporally synchronized and stored, and the display unit outputs the images by synchronizing the playback time.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다초점 영상 재생방법은 복수의 카메라를 이용하여 영상을 촬영하는 단계; 사용자의 시선을 감지하는 단계; 소정의 기준에 따라 복수의 카메라에서 촬영된 영상 중에서 대표영상을선택하고, 상기 사용자 시선의 감지 결과에 기초하여 상기 각각의 카메라에서 촬영된 영상 중 하나를 재생영상으로 선택하는 단계; 및 상기 대표영상을 먼저 출력하고, 상기 재생영상이 선택되면 순차적으로 상기 재생영상을 출력하고, 상기 복수의 카메라를 이용하여 영상을 촬영하는 단계는 각각의 카메라가 서로 다른 배경 또는 객체를 특정하고, 특정된 배경 또는 객체에 초점을 맞추어 촬영한다. 바람직하게는, 상기 복수의 카메라를 이용하여 영상을 촬영하는 단계는 각각의 카메라에서 촬영되는 모든 영상에서 배경과 객체 각각을 식별하는 단계; 식별된 배경 및 객체에 대하여 우선 순위를 설정하는 단계; 및 우선 순위에 기초하여 각각의 카메라로 배경 또는 객체를 할당하는 단계를 포함하고, 각각의 카메라는 할당된 배경 또는 객체에 초점을 맞추어 촬영한다. 바람직하게는, 상기 대표영상 및 재생영상을 선택하는 단계는 상기 사용자의 시선 감지 결과에 기초하여 사용자의 시선이 향하는 배경 또는 객체를 분석하고, 사용자의 시선이 향하는 배경 또는 객체에 초점을 맞추어 촬영한 카메라의 영상을 재생영상으로 선택한다.A multifocal image reproducing method according to an embodiment of the present invention for achieving the above object includes: photographing an image using a plurality of cameras; detecting the user's gaze; selecting a representative image from among images photographed by a plurality of cameras according to a predetermined criterion, and selecting one of the images photographed by each camera as a reproduction image based on a detection result of the user's gaze; and outputting the representative image first, outputting the playback image sequentially when the playback image is selected, and taking an image using the plurality of cameras, each camera specifies a different background or object, Shoot by focusing on a specific background or object. Preferably, the step of photographing an image using the plurality of cameras comprises: identifying each of a background and an object from all images captured by each camera; setting priorities for the identified backgrounds and objects; and allocating a background or object to each camera based on the priority, wherein each camera focuses on the assigned background or object to take a picture. Preferably, the selecting of the representative image and the playback image is performed by analyzing a background or object to which the user's gaze is directed based on the user's gaze detection result, and focusing on the background or object to which the user's gaze is directed. Select the camera video as the playback video.
본 발명의 일 실시예에 따른 다초점 영상 재생 장치 및 방법은 사람의 시선을 감지하고, 사람의 시선에 적합한 초점이 형성된 영상을 제공할 수 있다.A multifocal image reproducing apparatus and method according to an embodiment of the present invention may detect a human gaze and provide an image in which a focus suitable for the human gaze is formed.
도 1은 다른 영상을 제공하는 종래의 기술을 설명하기 위하여 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치를 설명하기 위하여 도시한 블록도이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치의 작동 방식을 설명하기 위하여 도시한 도면이다.
도 4는 도 2의 촬영부의 상세 구성을 설명하기 위하여 도시한 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 다초점 영상 재생 장치를 설명하기 위하여 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 다초점 영상 재생 방법을 설명하기 위하여 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 대표영상 및 재생영상을 선택하는 단계를 설명하기 위하여 도시한 흐름도이다.1 is a flowchart illustrating a conventional technique for providing another image.
2 is a block diagram illustrating a multifocal image reproducing apparatus according to an embodiment of the present invention.
3A to 3C are diagrams for explaining an operation method of a multifocal image reproducing apparatus according to an embodiment of the present invention.
4 is a block diagram illustrating a detailed configuration of the photographing unit of FIG. 2 .
5 is a block diagram illustrating a multifocal image reproducing apparatus according to another embodiment of the present invention.
6 is a flowchart illustrating a method for reproducing a multifocal image according to an embodiment of the present invention.
7 is a flowchart illustrating a step of selecting a representative image and a playback image according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치를 설명하기 위하여 도시한 블록도이다.2 is a block diagram illustrating a multifocal image reproducing apparatus according to an embodiment of the present invention.
도 2를 참조하면 본 발명의 일 실시에에 따른 다초점 영상 재생 장치(100)는 촬영부(110), 아이트래킹 센서부(120), 제어부(130) 및 디스플레이부(140)를 포함한다.Referring to FIG. 2 , the multifocal
촬영부(110)는 복수의 카메라로 구성된다. 복수의 카메라는 다양한 방향을 향할 수 있지만, 모두 같은 방향을 향할 수도 있다. 모두 같은 방향을 향하더라도 각각의 카메라가 서로 다른 배경 또는 객체를 특정하고, 특정된 배경 또는 객체에 초점을 맞추어 촬영함으로써 다초점 영상 즉, 초점 거리가 서로 다른 복수의 영상을 생성할 수 있다. 여기서 영상은 동영상과 정지영상(스틸샷)을 포함한다. The photographing
다초점 영상 재생 장치(100)는 스마트폰일 수도 있는데, 스마트폰인 경우 복수의 카메라는 스마트폰 뒷면에 위치하여 모두 같은 방향을 향할 수도 있다.The multifocal
아이트래킹 센서부(120)는 사용자의 시선을 감지한다. 사용자의 시선을 감지하여 사용자가 바라보는 영상의 객체가 무엇인지 분석할 수 있다.The eye
제어부(130)는 카메라에서 촬영된 영상 중에서 소정의 기준에 따라 대표영상을 선택하고, 아이트래킹 센서부(120)의 감지 결과에 기초하여 (복수의 카메라 중 하나 또는) 각각의 카메라에서 촬영된 영상 중 하나를 재생영상으로 선택한다. 제어부(130)가 선택하는 영상은 카메라에서 실시간으로 촬영되는 영상을 선택하거나 촬영되어 저장된 영상을 선택할 수도 있다.The
대표영상을 선택하는 소정의 기준은 복수의 카메라 중 하나의 영상을 무작위로 선택하거나 특정 카메라에서 촬영된 영상을 대표영상으로 선택할 것을 미리 설정할 수 있다. 또는 시간적으로 동기화되어 저장된 모든 동영상 중 특정 재생시간 대에 움직임이 가장 큰 객체에 초점을 두어 촬영한 영상을 대표영상으로 선택할 수 도 있다. 여기서 특정 재생시간대는 동영상의 재생이 시작되는 시간대 즉, 동영상의 첫 부분이 해당될 수 있다.A predetermined criterion for selecting the representative image may be preset to select one image from among a plurality of cameras or to select an image captured by a specific camera as the representative image. Alternatively, among all the temporally synchronized and stored videos, an image captured by focusing on the object with the greatest movement during a specific playback time period may be selected as the representative image. Here, the specific playback time zone may correspond to a time period in which the playback of the video starts, that is, the first part of the video.
또한 재생영상은 아이트래킹 센서부(120)의 감지 결과에 기초하여 사용자가 시선을 두고 있는 객체를 분석하고, 해당 객체에 초점을 두고 촬영한 영상을 재생 영상으로 선택한다.In addition, the reproduced image analyzes the object the user is looking at based on the detection result of the eye-
디스플레이부(140)는 대표영상을 먼저 출력하고, 재생영상이 선택되면 순차적으로 재생영상을 출력한다.The
다초점 영상 재생 장치(100)가 작동을 시작하면 디스플레이부(140)는 먼저 대표영상을 재생함과 동시에 아이트래킹 센서부(120)는 사용자의 시선을 감지하여 사용자가 바라보는 객체를 분석한다. 그리하여 사용자가 바라보는 객체가 분석되면 그때부터 사용자가 바라보는 객체를 촬영한 영상을 출력하고, 사용자가 시선이 옮겨질 때 마다 옮겨지는 객체를 촬영한 영상을 순차적으로 출력한다.When the multifocal
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 다초점 영상 재생 장치의 작동 방식을 설명하기 위하여 도시한 도면이다.3A to 3C are diagrams illustrating an operation method of a multifocal image reproducing apparatus according to an embodiment of the present invention.
도 3a는 다초점 영상 재생 장치(100)가 다초점 영상을 촬영하는 방식을 설명하기 위하여 도시한 도면이다.3A is a diagram illustrating a method in which the multifocal
도 3a를 참조하면 다초점 영상 재생 장치(100)의 촬영부(110)는 4개의 카메라(1, 2, 3, 4)로 구성되어 있다. 카메라 1 내지 카메라 3은 각각 객체 1 내지 객체 3에 초점을 두고 영상을 촬영하고 카메라 4는 배경을 촬영함으로 다초점 영상을 생성할 수 있다.Referring to FIG. 3A , the photographing
도 3b 및 도 3c는 사용자가 다초점 영상 재생 장치(100)에서 다초점 영상이 재생되는 방식을 설명하기 위하여 도시한 도면이다.3B and 3C are diagrams illustrating a method for a user to reproduce a multifocal image in the multifocal
도 3b를 참조하면, 재생되는 영상에서 객체 2를 주시하면 아이트래킹 센서부(120)에서 이러한 점을 감지하게 되고, 제어부(130)에서는 객체 2를 초점으로 하여 촬영한 카메라 2의 영상을 선택하여 재생되도록 한다.Referring to FIG. 3B , when the
그리고 아이트래킹 센서부(120)에서 사용자의 시선이 객체 1로 옮겨간 것을 감지하면 제어부에서는 객체 1을 초점으로 하여 촬영한 카메라 1의 영상을 선택하여 재생되도록 한다.And when the eye
도 4는 도 2의 촬영부의 상세 구성을 설명하기 위하여 도시한 블록도이다. 4 is a block diagram illustrating a detailed configuration of the photographing unit of FIG. 2 .
도 4를 참조하면 촬영부(110)는 식별부(112), 순위 설정부(114) 및 할당부(116)를 포함한다.Referring to FIG. 4 , the photographing
식별부(112)는 각각의 카메라에서 촬영되는 모든 영상에서 배경과 적어도 하나의 객체 각각을 구별하고 식별한다.The
하나의 영상에는 다수의 객체가 있을 수 있다. 예를 들어, 사용자가 무대에 서 공연을 하는 세 명의 그룹가수를 촬영하는 경우, 영상에서 각각의 가수를 촬영하는 경우에 각각의 가수를 식별하고, 배경을 식별할 수 있다.There may be multiple objects in one image. For example, when the user is photographing three group singers performing on stage, when photographing each singer in the video, each singer can be identified and the background can be identified.
순위 설정부(114)는 식별된 배경 및 객체에 대하여 우선 순위를 설정한다. The
앞의 예에서 그룹가수에 3명과 배경에 대하여 우선 순위를 설정할 수 있다. In the previous example, you can set priorities for three group singers and their backgrounds.
우선 순위의 설정은 카메라로부터 거리에 따라 설정하거나, 시간적으로 동기화되어 저장된 모든 동영상 중 특정 재생시간대에 움직임의 정도에 기초하여 우선순위를 설정할 수도 있다. 또는 화면 터치 등과 같이 사용자 입력에 의하여 설정될 수도 있다.The priority may be set according to the distance from the camera, or the priority may be set based on the degree of movement in a specific playback time among all videos synchronized and stored in time. Alternatively, it may be set by a user input such as a screen touch.
할당부(116)는 우선 순위에 기초하여 각각의 카메라로 배경 또는 객체를 할당한다. 여기서 각각의 카메라는 할당된 배경 또는 객체에 초점을 맞추어 촬영한다.The
만약 하나의 영상 재생 장치(100)에 포함된 카메라의 성능이 제각기 다른 경우에는 어느 카메라에 어떤 객체를 할당할 것인지는 중요한 문제 일 수 있다. 예를 들어, 그룹 가수 중에서 가장 인기가 있는 가수에게 높은 우선순위를 설정하여 성능이 좋고 해상도가 뛰어난 카메라를 배정할 수 있고 배경과 같은 중요성이 떨어지는 경우에는 낮은 우선순위를 배정하여 성능 또는 해상도가 가장 떨어지는 카메라에 할당할 것이다.If the performance of the cameras included in one
도 5는 본 발명의 다른 실시예에 따른 다초점 영상 재생 장치를 설명하기 위하여 도시한 블록도이다.5 is a block diagram illustrating a multifocal image reproducing apparatus according to another embodiment of the present invention.
도 5를 참조하면 본 발명의 다른 실시예에 따른 다초점 영상 재생 장치(100)는 촬영부(110), 아이트래킹 센서부(120), 제어부(130) 및 디스플레이부(140)를 포함하되 촬영부(110)는 영상 저장부(118)를 포함한다. 여기에서는 앞에서 설명한 구성요소에 대한 설명은 생략하고 영상 저장부(118)에 대해서만 설명한다.Referring to FIG. 5 , the multifocal
영상 저장부(118)는 촬영부(110)에 포함되고, 각각의 카메라 별로 촬영된 영상이 저장된다. 또한 저장된 영상에는 배경 또는 객체의 선명도에 관한 메타 데이터를 포함할 수 있다.The
여기서 선명도에 관한 정보는 시간에 동기화 되어 저장될 수 있다. 예를 들어 특정 재생시간대의 해당 객체의 선명도에 관한 정보를 포함할 수 있다. Here, the information on the sharpness may be stored in synchronization with time. For example, it may include information about the sharpness of a corresponding object in a specific playback time period.
또한 제어부(130)는 아이트래킹 센서부(120)의 감지 결과에 기초하여 사용자의 시선이 향하는 객체를 분석하고, 사용자의 시선이 향하는 객체의 선명도에 관한 메타 데이터에 기초하여 저장 영상을 선택한다.In addition, the
그리고 저장되는 영상은 시간적으로 동기화되어 저장될 수 있는데, 이 경우 디스플레이부(140)는 동기화된 시간에 기초하여 영상을 출력할 수 있다.In addition, the stored image may be temporally synchronized and stored. In this case, the
도 6은 본 발명의 일 실시예에 따른 다초점 영상 재생 방법을 설명하기 위하여 도시한 흐름도이다.6 is a flowchart illustrating a method for reproducing a multifocal image according to an embodiment of the present invention.
도 2 및 도 6을 참조하면, 단계 610에서는, 촬영부(110)에서, 복수의 카메라를 이용하여 영상을 촬영한다.2 and 6 , in step 610 , the photographing
도 2 및 도 6을 참조하면, 단계 620에서는, 아이트래킹 센서부(120)에서, 사용자의 시선을 감지한다.2 and 6 , in step 620 , the eye tracking
도 2 및 도 6을 참조하면, 단계 630에서는, 제어부(130)에서, 소정의 기준에 따라 복수의 카메라에서 촬영된 영상 중에서 대표영상을 선택하고, 사용자 시선의 감지 결과에 기초하여 각각의 카메라에서 촬영된 영상 중 하나를 재생영상으로 선택한다.2 and 6 , in step 630, the
여기서 대표영상 및 재생영상을 선택하는 단계의 다른 실시예로서, 사용자의 시선 감지 결과에 기초하여 사용자의 시선이 향하는 배경 또는 객체를 분석하고, 사용자의 시선이 향하는 배경 또는 객체에 초점을 맞추어 촬영한 카메라의 영상을 재생영상으로 선택할 수 있다.Here, as another embodiment of the step of selecting the representative image and the playback image, the background or object to which the user's gaze is directed is analyzed based on the user's gaze detection result, and the background or object to which the user's gaze is directed is focused and photographed. You can select the video from the camera as the playback video.
도 2 및 도 6을 참조하면, 단계 640에서는, 디스플레이부(140)에서, 대표영상을 먼저 출력하고, 재생영상이 선택되면 순차적으로 재생영상을 출력한다. Referring to FIGS. 2 and 6 , in step 640 , the
복수의 카메라를 이용하여 영상을 촬영하는 단계는, 각각의 카메라가 서로 다른 배경 또는 객체를 특정하고, 특정된 배경 또는 객체에 초점을 맞추어 촬영한다.In the step of photographing an image using a plurality of cameras, each camera specifies a different background or object, and focuses on the specified background or object to photograph.
도 7은 본 발명의 일 실시예에 따라 대표영상 및 재생영상을 선택하는 단계를 설명하기 위하여 도시한 흐름도이다.7 is a flowchart illustrating a step of selecting a representative image and a reproduced image according to an embodiment of the present invention.
복수의 카메라를 이용하여 영상을 촬영하는 단계는, 도 4 및 도 7을 참조하면, 단계 710에서는, 식별부(112)에서, 각각의 카메라에서 촬영되는 모든 영상에서 배경과 객체 각각을 식별한다.In the step of taking an image using a plurality of cameras, referring to FIGS. 4 and 7 , in step 710 , the
도 4 및 도 7을 참조하면, 단계 720에서는, 순위 설정부(114)에서, 식별된 배경 및 객체에 대하여 우선 순위를 설정한다.4 and 7 , in step 720, the
도 4 및 도 7을 참조하면, 단계 730에서는, 할당부(116)에서, 우선 순위에 기초하여 각각의 카메라로 배경 또는 객체를 할당한다.4 and 7 , in step 730 , the
여기서 각각의 카메라는 할당된 배경 또는 객체에 초점을 맞추어 촬영한다.Here, each camera takes a picture by focusing on the assigned background or object.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.So far, the present invention has been looked at with respect to preferred embodiments thereof.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are illustrative rather than restrictive.
점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.should be considered in terms of The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
Claims (1)
사용자의 시선을 감지하는 아이트래킹 센서부;
상기 카메라에서 촬영된 영상 중에서 소정의 기준에 따라 대표영상을 선택하
고, 상기 아이트래킹 센서부의 감지 결과에 기초하여 (복수의 카메라 중 하나 또
는) 상기 각각의 카메라에서 촬영된 영상 중 하나를 재생영상으로 선택하는 제어
부; 및
상기 대표영상을 먼저 출력하고, 상기 재생영상이 선택되면 순차적으로 상기
재생영상을 출력하는 디스플레이부를 포함하고,
상기 촬영부는
각각의 카메라가 서로 다른 배경 또는 객체를 특정하고, 특정된 배경 또는
객체에 초점을 맞추어 촬영하는 다초점 영상 재생 장치.a photographing unit for photographing an image using a plurality of cameras;
Eye tracking sensor unit for detecting the user's gaze;
A representative image is selected according to a predetermined criterion from among the images captured by the camera.
And, based on the detection result of the eye tracking sensor unit (one of the plurality of cameras or
a) Control to select one of the images captured by the respective cameras as a playback image
wealth; and
The representative image is output first, and when the playback image is selected, the
Includes a display unit for outputting a playback image,
the filming unit
Each camera specifies a different background or object, the specified background or
A multifocal video playback device that focuses on an object and shoots it.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200138134A KR20220053876A (en) | 2020-10-23 | 2020-10-23 | Apparatus and method for reproducing multi-focused image |
PCT/KR2020/015010 WO2022085836A1 (en) | 2020-10-23 | 2020-10-30 | Multifocal video playback apparatus, video service provision system using multifocal video, and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200138134A KR20220053876A (en) | 2020-10-23 | 2020-10-23 | Apparatus and method for reproducing multi-focused image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220053876A true KR20220053876A (en) | 2022-05-02 |
Family
ID=81289865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200138134A KR20220053876A (en) | 2020-10-23 | 2020-10-23 | Apparatus and method for reproducing multi-focused image |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20220053876A (en) |
WO (1) | WO2022085836A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6207202B2 (en) * | 2012-06-08 | 2017-10-04 | キヤノン株式会社 | Image processing apparatus and image processing method |
KR101952684B1 (en) * | 2012-08-16 | 2019-02-27 | 엘지전자 주식회사 | Mobile terminal and controlling method therof, and recording medium thereof |
KR101471927B1 (en) * | 2013-09-13 | 2014-12-11 | 우석 계 | Multi-camera, display apparatus and method using the multi-camera |
JP6249752B2 (en) * | 2013-12-12 | 2017-12-20 | キヤノン株式会社 | Image processing apparatus, image processing method, and program. |
KR102004990B1 (en) * | 2014-05-13 | 2019-07-29 | 삼성전자주식회사 | Device and method of processing images |
-
2020
- 2020-10-23 KR KR1020200138134A patent/KR20220053876A/en unknown
- 2020-10-30 WO PCT/KR2020/015010 patent/WO2022085836A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022085836A1 (en) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112165590B (en) | Video recording implementation method and device and electronic equipment | |
JP5685732B2 (en) | Video extraction device, program, and recording medium | |
US20070003267A1 (en) | Image capture apparatus with auto focus function | |
US9066065B2 (en) | Reproduction apparatus and method of controlling reproduction apparatus | |
JP2016119600A (en) | Editing device and editing method | |
JPWO2010116715A1 (en) | Image photographing apparatus, image photographing method, program, and integrated circuit | |
JP2008028951A (en) | Imaging apparatus, imaging method, program, and storage medium | |
KR20150141059A (en) | Apparatus and method for providing thumbnail image of moving picture | |
KR20150032165A (en) | Moving image selection apparatus for selecting moving image to be combined, moving image selection method, and storage medium | |
KR20130031176A (en) | Display apparatus and method | |
KR102299565B1 (en) | Method for real time person object cognition and real time image processing on real time broadcasting image and apparatus for performing the method | |
JP2010245856A (en) | Video editing device | |
CN102045527A (en) | Image pickup device and image processing device | |
US20130177287A1 (en) | Reproduction apparatus, image capturing apparatus, and program | |
KR20200124870A (en) | Apparatus and method for reproducing multi-focused image | |
KR102334503B1 (en) | Apparatus and method for reproducing multi-focused image | |
JP6761230B2 (en) | Image processing device, its control method, program and imaging device | |
JP2008199330A (en) | Moving image management apparatus | |
KR20220053876A (en) | Apparatus and method for reproducing multi-focused image | |
JP2011119936A (en) | Photographing device and reproducing method | |
JP2014220598A (en) | Image processing device and image processing method | |
JP2011119934A (en) | Image shooting device and image shooting method | |
JP2007324663A (en) | Video camera | |
JP4110007B2 (en) | Digital movie video camera and video playback device | |
JP2019096950A (en) | Imaging apparatus, imaging method and imaging program |