KR102403719B1 - Electronic device and control method thereof - Google Patents
Electronic device and control method thereof Download PDFInfo
- Publication number
- KR102403719B1 KR102403719B1 KR1020170023369A KR20170023369A KR102403719B1 KR 102403719 B1 KR102403719 B1 KR 102403719B1 KR 1020170023369 A KR1020170023369 A KR 1020170023369A KR 20170023369 A KR20170023369 A KR 20170023369A KR 102403719 B1 KR102403719 B1 KR 102403719B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- frame
- user motion
- electronic device
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
전자 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 전자 장치의 제어 방법은 제1 영상을 재생하는 단계, 제1 영상의 제1 프레임이 재생되는 동안 사용자 모션이 감지되면, 제1 프레임이 촬영된 위치 정보에 기초하여 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단하는 단계, 제2 영상이 존재하는 경우, 판단된 제2 영상 중 제1 프레임에 대응되는 제2 프레임을 판단하는 단계 및 제2 프레임부터 제2 영상을 재생하는 단계를 포함한다. 이에 따라, 전자 장치는 영상을 재생하는 동안 사용자 모션이 감지되면, 감지된 사용자 모션에 대응되는 또다른 영상을 재생함으로써, 보다 현실감 있는 가상 현실을 사용자에게 제공할 수 있다.Disclosed are an electronic device and a method for controlling the same. The method for controlling an electronic device according to the present invention includes the steps of: reproducing a first image; when a user motion is detected while a first frame of the first image is being reproduced, corresponding to the user motion based on location information at which the first frame is captured Determining whether a second image to be used is present, if there is a second image, determining a second frame corresponding to the first frame among the determined second images, and playing a second image from the second frame including the steps of Accordingly, when a user motion is detected while playing an image, the electronic device may provide a more realistic virtual reality to the user by playing another image corresponding to the sensed user motion.
Description
본 발명은 전자 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 360도 어라운드 뷰 영상 제공이 가능한 전자 장치 및 그 제어 방법에 관한 기술이다.The present invention relates to an electronic device and a method for controlling the same, and more particularly, to an electronic device capable of providing a 360-degree around-view image and a method for controlling the same.
최근 기술 발달로 인하여, 사용자는 전자 장치에서 재생하는 VR(Virtual Reality) 영상를 통해 다양한 가상 환경을 경험할 수 있다.Due to recent technological development, a user may experience various virtual environments through a virtual reality (VR) image reproduced by an electronic device.
특히, 전자 장치는 360도 어라운드 뷰 형태로 촬영된 영상을 재생할 수 있다. 따라서, 사용자는 전자 장치에서 재생되는 영상을 통해 보다 실감나는 가상 현실을 경험할 수 있다.In particular, the electronic device may reproduce an image captured in the form of a 360-degree around view. Accordingly, the user may experience a more realistic virtual reality through the image reproduced on the electronic device.
그러나, 이 같은 영상을 통해 가상 환경을 제공하는 전자 장치는 하나의 영상에 대해서만 시간 축으로 재생한다. 예를 들어, 재생 중인 영상에서 복수의 길이 존재할 경우, 전자 장치는 복수의 길 중 해당 영상을 촬영한 촬영 장치가 이동한 이동 방향에 대응하는 길과 관련하여 촬영된 영상만을 재생할 수 있다.However, an electronic device that provides a virtual environment through such an image reproduces only one image on the time axis. For example, when there are a plurality of paths in the image being reproduced, the electronic device may reproduce only images captured in relation to a path corresponding to a moving direction in which a photographing device photographed the image, among the plurality of paths, is moved.
이에 따라, 사용자는 전자 장치를 통해 또다른 길에 관련하여 촬영된 영상을 시청할 수 없으므로, 보다 현실감 있는 가상 현실을 경험하지 못하는 문제가 있다.Accordingly, there is a problem in that a user cannot experience a more realistic virtual reality because the user cannot view an image photographed in relation to another road through the electronic device.
따라서, 보다 현실감 있는 가상 현실을 사용자게 제공할 수 있는 가상 환경 서비스 개발이 모색되어야 한다.Therefore, it is necessary to develop a virtual environment service that can provide a more realistic virtual reality to users.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 전자 장치에서 사용자 모션에 따라 상이한 영상을 제공하여 보다 현실감 있는 가상 현실을 사용자에게 제공하도록 함을 목적으로 한다.The present invention has been devised in response to the above needs, and an object of the present invention is to provide a more realistic virtual reality to a user by providing different images according to a user's motion in an electronic device.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자 장치의 제어 방법은 제1 영상을 재생하는 단계, 상기 제1 영상의 제1 프레임이 재생되는 동안 사용자 모션이 감지되면, 상기 제1 프레임이 촬영된 위치 정보에 기초하여 상기 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단하는 단계, 상기 제2 영상이 존재하는 경우, 상기 판단된 제2 영상 중 상기 제1 프레임에 대응되는 제2 프레임을 판단하는 단계 및 상기 제2 프레임부터 상기 제2 영상을 재생하는 단계를 포함한다.According to an exemplary embodiment of the present invention, there is provided a method for controlling an electronic device according to an embodiment of the present invention for achieving the above object, comprising: reproducing a first image; when a user motion is detected while a first frame of the first image is being reproduced, the second determining whether a second image corresponding to the user motion exists based on location information at which one frame is captured; if the second image exists, corresponding to the first frame among the determined second images and determining a second frame to be used, and reproducing the second image from the second frame.
그리고, 상기 제2 영상이 존재하는지 여부를 판단하는 단계는, 상기 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 분기점이 있는지 여부를 판단하여, 상기 기설정된 임계 거리 내에 분기점이 있으면, 복수의 영상 중 상기 분기점에 대한 정보를 포함하는 영상을 상기 제2 영상으로 판단할 수 있다.In the determining whether the second image exists, it is determined whether there is a branch point within a preset threshold distance from the location information at which the first frame is captured, and if there is a branch point within the preset threshold distance, a plurality of It is possible to determine an image including information on the branch point among the images of , as the second image.
또한, 상기 제2 영상이 존재하지 않는 것으로 판단되면, 상기 사용자 모션에 대응되는 방향으로 상기 제1 영상의 시점을 회전하여 재생하는 단계를 더 포함할 수 있다.The method may further include, if it is determined that the second image does not exist, rotating the viewpoint of the first image in a direction corresponding to the user's motion to reproduce the image.
그리고, 상기 제2 영상이 존재하는지 여부를 판단하는 단계는, 상기 사용자 모션에 대응되는 복수의 영상이 존재하는 것으로 판단되면, 상기 사용자 모션의 방향 및 회전각에 기초하여 상기 복수의 영상 중 하나를 제2 영상으로 판단할 수 있다.In the determining whether the second image exists, if it is determined that a plurality of images corresponding to the user motion exist, one of the plurality of images is selected based on the direction and rotation angle of the user motion. It can be determined by the second image.
또한, 상기 제2 프레임을 판단하는 단계는, 상기 제1 프레임이 촬영된 위치로부터 기설정된 임계 거리 이내에 촬영된 위치 정보를 가지는 프레임을 상기 제2 프레임으로 판단할 수 있다.Also, the determining of the second frame may include determining a frame having location information photographed within a predetermined threshold distance from a location where the first frame was photographed as the second frame.
그리고, 상기 재생하는 단계는, 상기 사용자 모션의 방향에 기초하여 상기 제2 프레임으로부터의 재생 순서를 결정하여 재생할 수 있다.In addition, the reproducing may include determining a reproducing order from the second frame based on the direction of the user's motion and reproducing it.
또한, 상기 제1 영상은, 상기 사용자 모션에 따라 변경되는 UI 엘리먼트를 포함하며, 상기 사용자 모션이 기설정된 각도 이상 회전한 경우, 상기 UI 엘리먼트에 상기 제1 영상에서 상기 제2 영상으로의 영상 변경을 안내하는 인디케이터를 표시하는 단계를 더 포함할 수 있다.In addition, the first image includes a UI element that is changed according to the user motion, and when the user motion rotates by more than a preset angle, the UI element changes the image from the first image to the second image It may further include the step of displaying an indicator to guide.
그리고, 상기 사용자 모션은, 사용자 얼굴 움직임, 신체 움직임 및 조작부에 조작 방향 중 적어도 하나를 포함할 수 있다.In addition, the user motion may include at least one of a user's face motion, a body motion, and a manipulation direction of the manipulation unit.
한편, 본 발명의 또다른 실시 예에 따르면, 전자 장치는 영상을 출력하는 출력부, 사용자 모션을 감지하는 감지부 및 제1 영상의 제1 프레임이 출력되는 동안 상기 사용자 모션이 감지되면, 상기 제1 프레임이 촬영된 위치 정보에 기초하여 상기 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단하며, 상기 제2 영상이 존재하는 경우, 상기 판단된 제2 영상 중 상기 제1 프레임에 대응되는 제2 프레임으로부터 상기 제2 영상을 출력하도록 상기 출력부를 제어하는 제어부를 포함한다.Meanwhile, according to another embodiment of the present invention, in the electronic device, when the user motion is detected while the output unit for outputting an image, the sensing unit for detecting user motion, and the first frame of the first image are output, the second It is determined whether a second image corresponding to the user motion exists based on the location information at which one frame is captured, and if the second image exists, a second image corresponding to the first frame among the determined second images is determined. and a controller configured to control the output unit to output the second image from a second frame.
그리고, 상기 제어부는, 상기 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 분기점이 있는지 여부를 판단하여, 상기 기설정된 임계 거리 내에 분기점이 있으면, 복수의 영상 중 상기 분기점에 대한 정보를 포함하는 영상을 상기 제2 영상으로 판단할 수 있다.And, the control unit determines whether there is a branch point within a preset threshold distance from the location information at which the first frame is captured, and if there is a branch point within the preset threshold distance, information on the branch point among a plurality of images is included. may be determined as the second image.
또한, 상기 제어부는, 상기 제2 영상이 존재하지 않는 것으로 판단되면, 상기 사용자 모션에 대응되는 방향으로 상기 제1 영상의 시점을 회전하여 출력하도록 상기 출력부를 제어할 수 있다.Also, if it is determined that the second image does not exist, the controller may control the output unit to rotate and output the viewpoint of the first image in a direction corresponding to the user motion.
그리고, 상기 제어부는, 상기 사용자 모션에 대응되는 복수의 영상이 존재하는 것으로 판단되면, 상기 사용자 모션의 방향 및 회전각에 기초하여 상기 복수의 영상 중 하나를 제2 영상으로 선택할 수 있다.In addition, when it is determined that a plurality of images corresponding to the user motion exist, the controller may select one of the plurality of images as the second image based on the direction and rotation angle of the user motion.
또한, 상기 제어부는, 상기 제1 프레임이 촬영된 위치로부터 기설정된 임계 거리 이내에 촬영된 위치 정보를 가지는 프레임을 상기 제2 프레임으로 판단할 수 있다.Also, the controller may determine a frame having location information captured within a preset threshold distance from a location where the first frame was captured as the second frame.
그리고, 상기 제어부는, 상기 사용자 모션의 방향에 기초하여 상기 제2 프레임으로부터의 재생 순서를 결정할 수 있다.In addition, the controller may determine a reproduction order from the second frame based on the direction of the user's motion.
또한, 상기 제1 영상은, 상기 사용자 모션에 따라 변경되는 UI 엘리먼트를 포함하며, 상기 제어부는, 상기 사용자 모션이 기설정된 각도 이상 회전한 경우, 상기 UI 엘리먼트에 상기 제1 영상에서 상기 제2 영상으로의 영상 변경을 안내하는 인디케이터를 표시하도록 상기 출력부를 제어할 수 있다.In addition, the first image includes a UI element that is changed according to the user motion, and when the user motion rotates by more than a preset angle, the controller displays the UI element from the first image to the second image. The output unit may be controlled to display an indicator for guiding the image change to .
그리고, 상기 사용자 모션은, 사용자 얼굴 움직임, 신체 움직임 및 조작부에 조작 방향 중 적어도 하나를 포함할 수 있다.In addition, the user motion may include at least one of a user's face motion, a body motion, and a manipulation direction of the manipulation unit.
이상과 같이, 본 발명에 따르면, 전자 장치는 영상을 재생하는 동안 사용자 모션이 감지되면, 감지된 사용자 모션에 대응되는 또다른 영상을 재생함으로써, 보다 현실감 있는 가상 현실을 사용자에게 제공할 수 있다.As described above, according to the present invention, when a user motion is detected while playing an image, the electronic device may provide a more realistic virtual reality to the user by playing another image corresponding to the sensed user motion.
도 1은 본 발명의 일 실시예에 따른 전자 장치에서 영상을 재생하기 위한 예시도,
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도,
도 3은 본 발명의 일 실시예에 따른 저장부의 세부 블록도,
도 4는 본 발명의 일 실시예에 다른 전자 장치의 세부 블록도,
도 5는 본 발명의 일 실시예에 따른 360도 어라운드 뷰로 촬영된 영상을 나타내는 예시도,
도 6은 본 발명의 일 실시예에 따른 전자 장치에서 복수의 영상을 재생하는 예시도,
도 7은 본 발명의 일 실시예에 따른 전자 장치에서 영상 전환을 가이드하는 제1 예시도,
도 8은은 본 발명의 또다른 실시예에 따른 전자 장치에서 영상 전환을 가이드하는 제2 예시도,
도 9는 본 발명의 일 실시예에 따른 전자 장치의 제어 방법에 대한 흐름도이다.1 is an exemplary view for playing an image in an electronic device according to an embodiment of the present invention;
2 is a block diagram of an electronic device according to an embodiment of the present invention;
3 is a detailed block diagram of a storage unit according to an embodiment of the present invention;
4 is a detailed block diagram of an electronic device according to an embodiment of the present invention;
5 is an exemplary view showing an image taken in a 360 degree around view according to an embodiment of the present invention;
6 is an exemplary view of reproducing a plurality of images in an electronic device according to an embodiment of the present invention;
7 is a first exemplary diagram for guiding image conversion in an electronic device according to an embodiment of the present invention;
8 is a second exemplary diagram for guiding image conversion in an electronic device according to another embodiment of the present invention;
9 is a flowchart illustrating a method for controlling an electronic device according to an embodiment of the present invention.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다. 먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다. Before describing the present invention in detail, a description will be given of the description of the present specification and drawings. First, terms used in the present specification and claims have been selected in consideration of functions in various embodiments of the present invention. However, these terms may vary depending on the intention of a person skilled in the art, legal or technical interpretation, and emergence of new technology. Also, some terms are arbitrarily selected by the applicant. These terms may be interpreted in the meanings defined in this specification, and if there is no specific term definition, it may be interpreted based on the general content of the present specification and common technical common sense in the art.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, and are intended to indicate that one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.In an embodiment of the present invention, terms such as “module”, “unit”, “part”, etc. are terms for designating a component that performs at least one function or operation, and these components are hardware or software. It may be implemented or implemented as a combination of hardware and software. In addition, a plurality of "modules", "units", "parts", etc. are integrated into at least one module or chip, except when each needs to be implemented in individual specific hardware, and thus at least one processor. (not shown) may be implemented.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Also, in an embodiment of the present invention, when it is said that a part is connected to another part, this includes not only direct connection but also indirect connection through another medium. In addition, the meaning that a certain part includes a certain component means that other components may be further included, rather than excluding other components, unless specifically stated to the contrary.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 전자 장치에서 영상을 재생하기 위한 예시도이다.1 is an exemplary diagram for playing an image in an electronic device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 따라, 사용자가 요청하는 영상(이하 제1 영상이라 함)(10)을 재생할 수 있다. 여기서, 전자 장치(100)는 VR 디바이스, 스마트폰 및 VR 웨어러블 디바이스 등이 될 수 있으며, 전자 장치(100)를 통해 재생되는 영상은 360도로 촬영된 어라운드 뷰 영상이 될 수 있다.As shown in FIG. 1 , the
따라서, 전자 장치(100)는 360도로 촬영된 복수의 영상 중 사용자 명령에 대응되는 제1 영상(10)을 재생할 수 있다. 이때, 전자 장치(100)는 제1 영상(10) 중 기설정된 방향의 영상이 사용자의 시선에 맞도록 재생할 수 있다. 예를 들어, 제1 영상(10)은 정북 방향을 0도로 설정하여 촬영될 수 있다. 이 경우, 전자 장치(100)는 0도로 설정된 정북 방향으로 제1 영상(10)의 시점을 설정하여 재생할 수 있다. 한편, 전자 장치(100)는 0도로 설정된 정북 방향의 제1 영상(10)을 재생하고 있는 동안 사용자 모션을 감지한다. 감지 결과, 사용자의 얼굴이 좌측으로 회전하는 사용자 모션이 감지되면, 전자 장치(100)는 감지된 사용자 모션에 대응되는 방향으로 제1 영상(10)의 시점을 회전하여 재생할 수 있다.Accordingly, the
예를 들어, 좌측으로 45도 각도로 회전하는 사용자 모션이 감지되면, 전자 장치(100)는 0도로 설정된 정북 방향에서 215도로 설정된 북서 방향으로 제1 영상(10)의 시점을 회전하여 재생할 수 있다.For example, when a user motion rotating at an angle of 45 degrees to the left is sensed, the
이 같이, 사용자 모션에 기초하여 제1 영상(10)의 시점을 회전하여 제1 영상(10)을 재생하는 전자 장치(100)는 복수의 영상 중 제1 영상(10)과 관련된 제2 영상(20)이 존재하면, 사용자 모션에 기초하여 제1 영상(10)에서 제2 영상(20)으로 전환하여 재생할 수 있다.As described above, the
구체적으로, 전자 장치(100)는 제1 영상(10)의 제1 프레임이 재생되는 동안 사용자 모션이 감지되면, 제1 프레임이 촬영된 위치 정보에 기초하여 사용자 모션에 대응되는 제2 영상(20)이 존재하는지 여부를 판단한다. Specifically, when a user motion is detected while the first frame of the
판단 결과, 제2 영상(20)이 존재하면, 전자 장치(100)는 제2 영상(20) 중 제1 영상(10)의 제1 프레임과 대응되는 제2 프레임을 판단한 후, 제2 프레임부터 제2 영상(20)을 재생할 수 있다.As a result of the determination, if the
예를 들어, 사용자 모션이 감지된 시점에 재생되는 제1 영상(10)의 제1 프레임의 위치 정보는 제1 프레임이 촬영된 위치의 좌표값을 포함할 수 있다. 이 경우, 전자 장치(100)는 기저장된 복수의 영상별 프레임 중 제1 영상(10)의 제1 프레임의 위치 정보와 대응되는 위치 정보를 포함하는 프레임이 존재하는지 여부를 판단한다.For example, location information of the first frame of the
판단 결과, 제2 영상(20)의 제2 프레임의 위치 정보가 제1 프레임의 위치 정보와 대응되는 것으로 판단되면, 전자 장치(100)는 사용자 모션의 방향에 기초하여 제2 영상(20)의 제2 프레임의 재생 순서를 결정한다.As a result of the determination, if it is determined that the position information of the second frame of the
구체적으로, 전자 장치(100)는 제1 영상(10)의 제1 프레임의 좌표값과 이전 혹은 다음 프레임의 좌표값에 기초하여 제1 영상(10)의 재생(백터) 방향을 결정한다. 또한, 전자 장치(100)는 제2 영상(20)의 제2 프레임의 좌표값과 이전 혹은 다음 프레임의 좌표값에 기초하여 제2 영상(20)의 재생(백터) 방향을 결정한다. 이후, 전자 장치(100)는 제1 영상(10)의 재생 방향과 제2 영상(20)의 재생 방향에 기초하여 제2 영상(20)으로의 회전 방향을 결정한다. 이후, 전자 장치(100)는 결정된 제2 영상(20)으로의 회전 방향과 사용자 모션의 방향에 기초하여 제2 영상(20)의 제2 프레임, 다음 프레임 순서로 제2 영상(20)의 재생 순서를 결정하거나 혹은 제2 프레임, 이전 프레임 순서로 제2 영상(20)의 재생 순서를 결정할 수 있다.Specifically, the
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 제1 영상(10)의 재생 방향과 제2 영상(20)의 재생 방향에 기초하여 회전각을 산출한다. 또한, 전자 장치(100)는 사용자 모션에 따른 회전각을 산출한다. 이후, 전자 장치(100)는 제1 및 제2 영상(10,20)의 재생 방향에 기초하여 산출된 회전각과 사용자 모션에 따른 회전각에 기초하여 제2 영상(20)의 제2 프레임, 다음 프레임 순서로 제2 영상(20)의 재생 순서를 결정하거나 혹은 제2 프레임, 이전 프레임 순서로 제2 영상(20)의 재생 순서를 결정할 수 있다.However, the present invention is not limited thereto, and the
이 같이, 제2 영상(20)의 재생 순서가 결정되면, 전자 장치(100)는 제1 영상(10)의 제1 프레임과 대응되는 제2 영상(20)의 제2 프레임부터 이전 혹은 이후 프레임을 연속하여 재생할 수 있다.In this way, when the playback order of the
지금까지, 본 발명에 따른 전자 장치(100)에서 영상을 재생하는 동작에 대해서 개략적으로 설명하였다. 이하에서는, 본 발명에 따른 전자 장치(100)의 각 구성에 대해서 상세히 설명하도록 한다.Up to now, the operation of reproducing an image in the
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.2 is a block diagram of an electronic device according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 전자 장치(100)는 출력부(110), 감지부(120), 제어부(130) 및 저장부(140)를 포함한다.As shown in FIG. 2 , the
출력부(110)는 저장부(140) 혹은 전자 장치(100)와 물리적으로 연결된 외부 저장 매체에 저장된 복수의 영상 중 하나를 출력한다. 여기서, 영상은 360도로 촬영된 어라운드 뷰 영상이 될 수 있다.The
이 같은 출력부(110)는 후술할 도 4에 도시된 바와 같이, 디스플레이부(111) 및 오디오 출력부(112)를 포함할 수 있다.The
디스플레이부(111)는 360도로 촬영된 영상의 비디오 데이터를 화면상에 디스플레이하며, 오디오 출력부(112)는 해당 영상의 오디오 데이터를 스피커(미도시)를 통해 가청음 형태로 출력한다.The
감지부(120)는 사용자 모션을 감지한다. 구체적으로, 감지부(120)는 사용자의 얼굴 움직임 및 신체 움직임 중 적어도 하나에 대한 사용자 모션을 감지할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 감지부(120)는 후술할 조작부(152)를 통해 조작된 조작 방향으로부터 사용자 모션을 감지할 수 있다.The
제어부(130)는 복수의 영상 중 제1 영상의 제1 프레임이 출력되는 동안 감지부(120)를 통해 사용자 모션이 감지되면, 제1 영상의 제1 프레임의 위치 정보에 기초하여 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단한다. 여기서, 제1 영상의 제1 프레임에 대한 위치 정보는 제1 프레임이 촬영된 위치에 대한 좌표값이 될 수 있다.When a user motion is detected through the
구체적으로, 저장부(140) 혹은 전자 장치(100)와 물리적으로 연결된 외부 기록 매체에는 복수의 영상이 저장될 수 있다. 따라서, 제어부(130)는 제1 영상의 제1 프레임이 출력되는 동안 감지부(120)를 통해 사용자 모션이 감지되면, 제1 영상의 제1 프레임이 촬영된 위치 정보에 기초하여 저장부(140) 혹은 외부 기록 매체에 저장된 복수의 영상 중 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단할 수 있다.Specifically, a plurality of images may be stored in the
판단 결과, 제2 영상이 존재하지 않는 것으로 판단되면, 제어부(130)는 감지된 사용자 모션에 대응되는 방향으로 제1 영상의 시점을 회전하여 출력하도록 출력부(110)를 제어한다. 이에 따라, 출력부(110)는 사용자 모션에 대응되는 방향으로 제1 영상의 시점을 회전하고, 사용자 모션에 대응되는 방향으로 회전된 제1 영상을 디스플레이부(111)를 통해 재생할 수 있다.As a result of the determination, if it is determined that the second image does not exist, the
구체적으로, 제어부(130)는 360도로 촬영된 제1 영상의 시점을 기설정된 조건에 대응되는 방향으로 설정하여 출력하도록 출력부(110)를 제어할 수 있다. 예를 들어, 제1 영상은 정북 방향을 0도로 설정하여 촬영될 수 있다. 이 경우, 제어부(130)는 0도로 설정된 정북 방향으로 제1 영상의 시점을 설정하여 출력하도록 출력부(110)를 제어할 수 있다.Specifically, the
이 같이, 정북 방향의 제1 영상을 출력하고 있는 상태에서, 감지된 사용자 모션이 제1 영상의 회전을 위한 것으로 판단되면, 제어부(130)는 감지된 사용자 모션에 대응되는 방향으로 제1 영상의 시점을 회전할 수 있다. 예를 들어, 좌측으로 45도 각도로 회전하는 사용자 모션이 감지되면, 제어부(130)는 0도로 설정된 정북 방향에서 215도로 설정된 북서 방향으로 제1 영상의 시점을 회전하여 출력하도록 출력부(110)를 제어한다. 이에 따라, 출력부(110)는 정북 방향에서 북서 방향으로 회전된 제1 영상을 디스플레이부(111)를 통해 재생할 수 있다.In this way, in a state in which the first image in the north direction is being output, if it is determined that the detected user motion is for the rotation of the first image, the
한편, 제2 영상이 존재하는 것으로 판단되면, 제어부(130)는 판단된 제2 영상 중 제1 프레임에 대응되는 제2 프레임부터 제2 영상을 출력하도록 출력부(110)를 제어한다. 이에 따라, 출력부(110)는 제2 영상의 제2 프레임부터 출력할 수 있다. 여기서, 제1 프레임에 대응되는 제2 프레임은 제1 프레임이 촬영된 위치로부터 기설정된 임계 거리 이내에서 촬영된 위치 정보를 가지는 프레임이 될 수 있다.Meanwhile, if it is determined that the second image exists, the
일 실시예에 따라, 제어부(130)는 제1 영상의 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 분기점이 있는지 여부를 판단한다. 판단 결과, 기설정된 임계 거리 내에 분기점이 있으면, 기저장된 복수의 영상 중 해당 분기점에 대한 정보를 포함하는 영상을 제2 영상으로 판단할 수 있다.According to an embodiment, the
구체적으로, 제어부(130)는 제1 영상의 제1 프레임이 출력되는 동안 사용자 모션이 감지되면, 제1 프레임이 촬영된 위치 정보와 제1 프레임 이후에 출력될 복수의 프레임들이 촬영된 위치 정보에 기초하여 제1 영상의 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 있는 프레임 중 분기점에 대한 정보를 포함하는지 여부를 판단한다. Specifically, when a user motion is detected while the first frame of the first image is output, the
예를 들어, 제1 프레임 이후에 출력될 복수의 프레임들 중 제1-1 프레임 내지 제1-3의 프레임이 기설정된 거리 내에 있는 프레임이 될 수 있으며, 이 중 제1-3의 프레임에 분기점에 대한 정보를 포함할 수 있다.For example, frames 1-1 to 1-3 among a plurality of frames to be output after the first frame may be frames within a predetermined distance, and among them, a branch point is a frame of 1-3. may include information about
이 경우, 제어부(130)는 기저장된 복수의 영상 중 해당 분기점에 대한 정보를 포함하는 영상을 사용자 모션에 대응되는 제2 영상으로 판단할 수 있다. 이 같이, 사용자 모션에 대응되는 제2 영상이 존재하는 것으로 판단되면, 전자 장치(100)는 제2 영상을 구성하는 복수의 프레임 중 제1-3의 프레임에 포함된 분기점에 대한 정보와 대응되는 정보를 포함하는 제2 프레임을 재생할 제2 영상의 시작 프레임으로 결정할 수 있다.In this case, the
또다른 실시예에 따라, 제어부(130)는 출력부(110)를 통해 출력되는 제1 영상의 프레임별 위치 정보에 기초하여 기저장된 복수의 영상 중 제1 영상과 관련된 제2 영상이 존재하는지 여부를 판단할 수 있다. 제2 영상이 존재하는 것으로 판단된 상태에서 사용자 모션이 감지되면, 제어부(130)는 제1 영상에서 제2 영상으로 전환하여 출력하도록 출력부(110)를 제어한다.According to another embodiment, the
구체적으로, 제어부(130)는 재생 중인 제1 영상의 프레임별 촬영된 위치 정보와 기저장된 복수의 영상별 프레임이 촬영된 위치 정보를 비교하여 재생 중인 제1 영상의 프레임별 촬영된 위치 정보와 대응되는 위치 정보를 포함하는 영상이 존재하는지 여부를 판단한다.Specifically, the
예를 들어, 재생 중인 제1 영상의 제1 프레임의 위치 정보와 제2 영상의 제2 프레임의 위치 정보가 대응될 경우, 제어부(130)는 재생 중인 제1 영상과 관련된 제2 영상이 존재하는 것으로 판단할 수 있다.For example, when the position information of the first frame of the first image being reproduced corresponds to the position information of the second frame of the second image, the
이 같이, 제2 영상이 존재하는 것으로 판단된 상태에서 기설정된 임계 시간 내에 사용자 모션이 감지되면, 제어부(130)는 제2 영상의 제2 프레임을 재생할 제2 영상의 시작 프레임으로 결정할 수 있다.In this way, when it is determined that the second image exists and a user motion is detected within a preset threshold time, the
이 같은 다양한 실시예를 통해 제2 영상의 제2 프레임이 재생을 시작할 프레임이 결정되면, 제어부(130)는 제2 영상의 제2 프레임 이후에 연속해서 재생될 프레임을 결정한다.When the frame at which the second frame of the second image starts to be reproduced is determined through these various embodiments, the
실시예에 따라, 제어부(130)는 감지된 사용자 모션의 방향에 기초하여 제2 프레임부터의 재생 순서를 결정할 수 있다.According to an embodiment, the
구체적으로, 제어부(130)는 제1 영상의 제1 프레임의 위치 정보와 이전 혹은 다음 프레임의 위치 정보에 기초하여 제1 영상의 재생 방향을 결정한다. 또한, 제어부(130)는 제2 영상의 제2 프레임의 위치 정보와 이전 혹은 다음 프레임의 위치 정보에 기초하여 제2 영상의 재생 방향을 결정한다.Specifically, the
이후, 제어부(130)는 제1 영상의 재생 방향과 제2 영상의 재생 방향에 기초하여 제1 영상에서 제2 영상으로의 회전 방향을 결정한다. 이후, 제어부(130)는 결정된 제2 영상으로의 회전 방향과 사용자 모션의 방향에 기초하여 제2 영상의 제2 프레임부터의 재생 순서를 결정할 수 있다.Thereafter, the
예를 들어, 제2 프레임의 이전 프레임은 제2-1 프레임이고, 제2 프레임의 다음 프레임은 제2-2 프레임이 될 수 있다. 그리고, 사용자 모션의 방향이 제2 영상의 재생 방향과 대응되는 방향인 경우, 제어부(130)는 제2 프레임 및 제2-2 프레임 순서로 제2 영상을 재생할 수 있다. 한편, 사용자 모션의 방향이 제2 영상의 재생 방향과 반대 방향인 경우, 제어부(130)는 제2 프레임 및 제2-1 프레임 순서로 제2 영상을 재생할 수 있다.For example, a frame preceding the second frame may be a frame 2-1, and a frame following the second frame may be a frame 2-2. And, when the direction of the user's motion corresponds to the reproduction direction of the second image, the
그러나, 본 발명은 이에 한정되지 않으며, 제어부(130)는 제1 및 제2 영상의 재생 방향으로부터 산출된 회전각과, 사용자 모션에 따른 회전각에 기초하여 제2 영상의 제2 프레임으로부터의 재생 순서를 결정할 수 있다.However, the present invention is not limited thereto, and the
예를 들어, 제1 및 제2 영상의 재생 방향으로부터 산출된 회전각이 45도가 될 수 있다. 그리고, 사용자 모션에 따른 회전각은 좌측 방향으로 40도가 될 수 있다. 제2 프레임의 이전 프레임은 제2-1 프레임이고, 제2 프레임의 다음 프레임은 제2-2 프레임이 될 수 있다. 이 경우, 제어부(130)는 제1 및 제2 영상의 재생 방향으로부터 산출된 회전각과 사용자 모션에 따른 회전각의 차이를 비교하여, 두 회전각 간의 차이가 기설정된 임계 범위 내에 포함되면, 제2 프레임 및 제2-2 프레임 순서로 제2 영상을 재생할 수 있다. For example, the rotation angle calculated from the reproduction directions of the first and second images may be 45 degrees. In addition, the rotation angle according to the user's motion may be 40 degrees in the left direction. A frame preceding the second frame may be a frame 2-1, and a frame following the second frame may be a frame 2-2. In this case, the
한편, 전술한 예와 같이, 제1 및 제2 영상의 재생 방향으로부터 산출된 회전각이 45도이면, 제1 영상의 재생 방향과 제2 영상의 재생 반대 방향의 회전각은 135도가 될 수 있다. 한편, 사용자 모션에 따른 회전각은 우측 방향으로 130도 가 될 수 있다. 이 경우, 제어부(130)는 제1 영상의 재생 방향과 제2 영상의 재생 방대 방향으로부터 산출된 회전각과 사용자 모션에 따른 회전각 간의 차이를 비교하여 두 회전각 간의 차이가 기설정된 임계 범위 내에 포함되면, 제2 프레임 및 제2-1 프레임 순서로 제2 영상을 재생할 수 있다.Meanwhile, as in the above example, if the rotation angles calculated from the reproduction directions of the first and second images are 45 degrees, the rotation angles in the direction opposite to the reproduction direction of the first image and the second image may be 135 degrees. . Meanwhile, the rotation angle according to the user's motion may be 130 degrees in the right direction. In this case, the
한편, 전술한 제1 영상에는 사용자 모션에 따라 변경되는 UI 엘리먼트를 포함할 수 있다. 따라서, 제어부(130)는, 감지된 사용자 모션이 기설정된 각도 이상 회전한 경우, 제1 영상에 포함된 UI 엘리먼트를 통해 제1 영상에서 제2 영상으로의 영상 변경을 안내하는 인디케이터를 표시하도록 출력부(110)를 제어할 수 있다. 이에 따라, 출력부(110)는 감지된 사용자 모션이 기설정된 각도 이상 회전한 경우, 제1 영상에 포함된 UI 엘리컨트를 통해 제1 영상에서 제2 영상으로의 영상 변경을 안내하는 인디케이터를 디스플레이부(111)를 통해 표시할 수 있다.Meanwhile, the above-described first image may include a UI element that is changed according to a user's motion. Accordingly, when the detected user motion is rotated by more than a preset angle, the
본 발명의 추가적인 양상에 따라, 제어부(130)는 사용자 모션에 대응되는 복수의 영상이 존재하는 것으로 판단되면, 사용자 모션의 방향 및 회전각에 기초하여 복수의 영상 중 하나를 제2 영상으로 선택할 수 있다.According to an additional aspect of the present invention, if it is determined that a plurality of images corresponding to the user motion exist, the
구체적으로, 제어부(130)는 제1 영상의 제1 프레임이 출력되는 동안 사용자 모션이 감지되면, 전술한 실시예를 통해 제1 영상의 제1 프레임의 위치 정보와 관련된 위치 정보를 포함하는 영상이 존재하는지 여부를 판단한다. 판단 결과, 복수의 영상이 존재하면, 제어부(130)는 감지된 사용자 모션의 방향 및 회전각에 기초하여 기판단된 복수의 영상 중 하나를 사용자 모션에 대응되는 제2 영상으로 판단할 수 있다.Specifically, when a user motion is detected while the first frame of the first image is being output, the
예를 들어, 기저장된 복수의 영상 중 A 및 B 영상이 제1 영상의 제1 프레임의 위치 정보와 관련된 위치 정보를 포함하는 영상으로 판단될 수 있다. 이 경우, 제어부(130)는 전술한 실시예를 통해 제1 및 A 영상 간의 회전각(이하 제1 회전각이라 함)과 제1 및 B 영상 간의 회전각(이하 제2 회전각이라 함)을 산출한다. 또한, 제어부(130)는 전술한 실시예를 통해 제1 영상의 제1 프레임이 출력되는 동안 감지된 사용자 모션으로부터 회전각을 산출한다. 이후, 제어부(130)는 제1 및 제2 회전각 각각을 사용자 모션으로부터 산출된 회전각과 비교한다. 즉, 제어부(130)는 제1 회전각과 사용자 모션으로부터 산출된 회전각 간의 차이가 기설정된 임계 범위 내에 존재하는지 여부를 판단한다. 또한, 제어부(130)는 제2 회전각과 사용자 모션으로부터 산출된 회전각 간의 차이가 기설정된 임계 범위 내에 존재하는지 여부를 판단한다. 판단 결과, 제1 회전각과 사용자 모션으로부터 산출된 회전각 간의 차이가 기설정된 임계 범위 내에 존재하는 것으로 판단되면, 제어부(130)는 A 영상을 사용자 모션에 대응되는 제2 영상으로 판단할 수 있다.For example, images A and B among a plurality of pre-stored images may be determined as images including position information related to position information of a first frame of the first image. In this case, the
이후, 제어부(130)는 제2 영상을 구성하는 프레임별 위치 정보에 기초하여 제1 영상의 제1 프레임의 위치 정보와 관련된 위치에서 촬영된 제2 프레임을 판단한다. 제2 프레임이 판단되면, 제어부(130)는 사용자 모션에 기초하여 획득한 방향 정보에 기초하여 제2 프레임부터 제2 영상으로 판단된 A 영상을 재생할 수 있다. 한편, 제1 영상의 제1 프레임과 대응되는 A 영상(제2 영상)의 제2 프레임부터 재생 순서를 결정하는 동작은 상기에서 상세히 설명하였으므로, 이하에서는 상세한 설명을 생략하도록 한다.Thereafter, the
한편, 제어부(130)는 저장부(140)에 기저장된 위치 매핑 모듈(141) 및 영상 재생 모듈(142)을 통해 제1 영상을 재생하거나 재생 중인 제1 영상관 관련된 제2 영상으로 영상 전환하여 재생할 수 있다.Meanwhile, the
도 3은 본 발명의 일 실시예에 따른 저장부의 세부 블록도이다.3 is a detailed block diagram of a storage unit according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 저장부(140)는 위치 매핑 모듈(141) 및 영상 재생 모듈(142)을 포함한다.As shown in FIG. 3 , the
위치 매핑 모듈(141)은 저장부(140)에 기저장된 영상을 구성하는 복수의 프레임별 촬영된 위치에 대한 위치 정보에 기초하여 영상별로 촬영된 위치가 서로 매칭되는 구간이 존재하는지 여부를 판단하기 위한 모듈이다.The
그리고, 영상 재생 모듈(142)은 360도 어라운드 뷰 촬영이 가능한 촬영 장치(미도시)를 통해 촬영된 영상 및 해당 영상을 구성하는 복수의 프레임이 촬영된 위치 정보를 저장 및 재생하기 위한 모듈이다.In addition, the
따라서, 제어부(130)는 영상 재생 모듈(142)을 통해 사용자가 요청한 제1 영상이 재생할 수 있다. 또한, 제어부(130)은 제1 영상이 재생되는 동안 사용자 모션이 감지되면, 위치 매핑 모듈(141)을 통해 기저장된 복수의 영상 중 사용자 모션이 감지된 시점에 재생된 제1 영상의 제1 프레임의 위치 정보와 대응되는 위치 정보를 포함하는 제2 영상이 존재하는지 여부를 판단할 수 있다.Accordingly, the
판단 결과, 제1 영상의 제1 프레임의 위치 정보와 대응되는 위치 정보를 포함하는 제2 영상이 존재하면, 제어부(130)는 영상 재새 모듈(142)을 통해 제2 영상을 구성하는 프레임 중 제1 영상의 제1 프레임의 위치 정보와 대응되는 위치 정보를 포함하는 제2 프레임부터 제2 영상을 재생할 수 있다.As a result of the determination, if there is a second image including position information corresponding to the position information of the first frame of the first image, the
이하에서는, 전술한 전자 장치(100)의 세부 구성에 대해서 상세히 설명하도록 한다.Hereinafter, the detailed configuration of the aforementioned
도 4는 본 발명의 일 실시예에 다른 전자 장치의 세부 블록도이다.4 is a detailed block diagram of an electronic device according to an embodiment of the present invention.
전술한 바와 같이, 전자 장치(100)는 출력부(110), 감지부(120), 제어부(130) 및 저장부(140) 구성 외에 입력부(150), 통신부(160) 및 촬영부(170)를 더 포함할 수 있다.As described above, the
먼저, 전술한 바와 같이, 출력부(110)는 디스플레이부(111) 및 오디오 출력부(112)를 포함한다. 디스플레이부(111)는 360도로 촬영된 영상의 비디오 데이터를 화면상에 디스플레이하며, 오디오 출력부(112)는 해당 영상의 오디오 데이터를 스피커(미도시)를 통해 가청음 형태로 출력한다.First, as described above, the
그리고, 전술한 바와 같이, 사용자 모션을 감지하는 감지부(120)는 모션 센서(121), 동공 추적 센서(122), 지자기 센서(123), 중력 센서(124) 및 자이로 센서(125) 중 적어도 하나를 포함할 수 있다.And, as described above, the
모션 센서(111)는 이동하는 전자 장치(100)의 가속도나 충격의 세기를 측정하는 가속도 센서(Accelerometer Sensor)가 될 수 있다.The
동공 추적 센서(122)는 사용자의 안구에 근접한 곳에 위치하여, 사용자의 동공을 촬영하면서 사용자의 시선 변화를 감지하는 센서이다. The
지자기 센서(Magnetic Sensor)(123)는 지구 자기장을 이용하여 방위각을 탐지할 수 있는 전자 나침판으로써, 위치 추적, 3D 영상 게임 등에 사용되거나, 스마트 폰, 무전기, GPS, PDA, 네비게이션 항법 장치 등에 사용되는 센서이다.The
중력 센서(Gravity Sensor)(124)는 중력이 어느 방향으로 작용하는지 탐지하는 센서로써, 전자 장치(100)의 이동 방향에 따라 자동으로 회전하여 방향을 감지하는데 이용되는 센서이다. The
자이로 센서(Gyroscope Sensor)(125)는 기존의 모션 센서(121)에 각각 회전을 넣어 6축 방향을 인식하여 하여 좀더 세밀하고 정밀한 동작을 인식할 수 있도록 도와주는 센서이다.The
따라서, 제어부(130)는 전술한 각종 센서를 통해 감지된 감지 정보에 기초하여 사용자 모션에 따른 방향을 판단하거나 회전각을 검출하고, 사용자 모션 및 회전각 중 적어도 하나에 기초하여 재생 중인 제1 영상의 시점을 회전하거나 제1 영상에서 제2 영상으로 영상 전환을 수행할 수 있다.Accordingly, the
한편, 본 발명에 따른 감지부(120)는 후술할 조작부(152)의 조작 방향에 기초하여 사용자 모션을 감지할 수 있다. 이 같은 감지부(120)는 전술한 구성 외에 사물이 다른 사물에 접촉되기 이전에 근접하였는지 여부를 결정하는데 이용되는 근접 센서(미도시), 수광을 빛을 감지하여 전기적인 신호로 변환하는 광 센서(미도시) 등을 더 포함할 수 있다.Meanwhile, the
입력부(150), 다양한 사용자 명령을 입력받아 제어부(130)로 전달하기 위한 입력 수단으로써, 마이크(151), 조작부(152), 터치 입력부(153) 및 사용자 입력부(154)를 포함할 수 있다.The
마이크(151)는 사용자의 음성 명령을 입력받으며, 조작부(152)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있다. 그리고, 터치 입력부(153)는 전술한 디스플레이부(111)와 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다. 이 경우, 터치 입력부(154)는 디스플레이부(111)를 통해 디스플레이된 다양한 어플리케이션 관련 아이콘에 대한 선택 명령을 입력받을 수 있다.The
사용자 입력부(154)는 원격 제어 장치와 같은 적어도 하나의 주변 기기(미도시)로부터 전자 장치(100)의 동작을 제어하기 위한 IR 신호 혹은 RF 신호를 입력받을 수 있다.The
통신부(160)는 적어도 하나의 주변 기기(미도시)와 데이터 통신을 수행한다. 이 같은 통신부(160)는 근거리 통신 모듈(161)를 포함하며, 근거리 통신 모듈(161)을 통해 적어도 하나의 주변 기기(미도시)와 데이터 통신을 수행할 수 있다. The
여기서, 근거리 통신 모듈(161)은 근거리에 위치하는 적어도 하나의 주변 기기(미도시)와 무선 통신을 수행하는 모듈로써, 예를들어, 블루투스(bluetooth)모듈, NFC(Near Field Communication)모듈, 와이파이(WiFi)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다. Here, the short-
무선 통신 모듈(162)은 무선 랜 모듈과 같이, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 그러나, 본 발명은 이에 한정되지 않으며, 무선 통신 모듈(162)은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈이 될 수 있다.The
커넥터(163)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(163)는 전술한 제어부(130)의 제어 명령에 따라 커넥터(163)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(163)는 커넥터(163)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.The
촬영부(170)는 주변 환경에 대한 영상을 촬영하며, 특히, 360도 어라운드 뷰 영상을 촬영할 수 있다.The photographing
한편, 전술한 바와 같이, 위치 매핑 모듈(141) 및 영상 재생 모듈(142)을 저장하는 저장하는 저장부(140)는 전자 장치(100)의 동작을 제어하기 위한 운용 프로그램을 더 저장할 수 있다. 여기서, 운용 프로그램은 전자 장치(100)가 턴 온(Turn On)되는 경우, 저장부(140)에서 읽혀지고, 컴파일되어 전자 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다. Meanwhile, as described above, the
한편, 전술한 제어부(130)는 RAM(131), ROM(132), CPU(133) 및 GPU(134)를 더 포함할 수 있으며, RAM(131), ROM(132), CPU(133) 및 GPU(134)는 버스(135)를 통해 서로 연결될 수 있다.Meanwhile, the
CPU(133)는 저장부(140)를 액세스하여, 저장부(140)에 저장된 OS를 이용하여 부팅을 수행한다. 또한 CPU(133)는 저장부(140)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다. The
GPU(134)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 디스플레이 화면을 생성한다. 구체적으로, GPU(134)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하고, 연상된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 디스플레이 화면을 생성한다. The
ROM(131)은 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(133)는 ROM(131)에 저장된 명령어에 따라 저장부(140)에 저장된 OS를 RAM(124)에 복사하고, OS를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(133)는 저장부(140)에 저장된 각종 프로그램을 RAM(132)에 복사하고, RAM(132)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. The
이 같은 제어부(130)는 전술한 각 구성들과 결합되어 단일칩 시스템(System-on-a-chip 또는 System on chip, SOC, SoC)으로 구현될 수 있다.The
한편, 상술한 제어부(130)의 동작은 저장부(140)에 저장된 프로그램에 의해 이루어질 수 있다. 여기서, 저장부(140)는 ROM(131), RAM(132) 또는 전자 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.Meanwhile, the above-described operation of the
도 5는 본 발명의 일 실시예에 따른 360도 어라운드 뷰로 촬영된 영상을 나타내는 예시도이다.5 is an exemplary diagram illustrating an image captured in a 360-degree around view according to an embodiment of the present invention.
도 4에서 설명한 바와 같이, 전자 장치(100)가 360도 어라운드 뷰 촬영이 가능한 촬영부(170)를 포함할 경우, 촬영부(170)는 360도 어라운드 뷰 형태의 영상을 촬영할 수 있다. As described with reference to FIG. 4 , when the
그러나, 본 발명은 이에 한정되지 않으며, 촬영 장치(미도시)를 통해 360도 어라운드 뷰 형태의 영상을 촬영할 수 있다.However, the present invention is not limited thereto, and an image in the form of a 360-degree around view may be captured through a photographing device (not shown).
본 발명에서는 전자 장치(100)의 촬영부(170)를 통해 360도 어라운드 뷰 형태를 영상이 촬영되는 것으로 한정하여 설명하도록 한다.In the present invention, the description will be given by limiting the 360-degree around view form to an image being photographed through the photographing
구체적으로, 전자 장치(100)는 기설정된 촬영 조건에 대응되는 방향(이하 정북 방향이라 함)을 0도에 맞추어 영상을 촬영한다. 즉, 전자 장치(100)는 전술한 바와 같은 지자기 센서(123)를 통해 탐지된 방위각 정보에 기초하여 정북 방향을 0도 설정한 상태에서 영상을 촬영할 수 있다. 이에 따라, 도 5에 도시된 바와 같이, 360도 어라운드 뷰 형태의 영상(510)이 생성될 수 있다.Specifically, the
이후, 전자 장치(100)는 사용자 명령에 따라 영상(510)을 재생할 경우, 0도로 설정된 정북 방향을 영상(510)의 시점으로 설정하여 재생할 수 있다.Thereafter, when the
이 같이, 0도로 설정된 정북 방향을 영상(510)의 시점으로 설정하여 재생하고 있는 상태에서 사용자 모션이 감지되면, 전자 장치(100)는 사용자 모션에 대응되는 방향으로 영상(510)의 시점을 회전하여 재생할 수 있다.As such, when a user motion is detected while the
도 6은 본 발명의 일 실시예에 따른 전자 장치에서 복수의 영상을 재생하는 예시도이다.6 is an exemplary diagram of reproducing a plurality of images in an electronic device according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 따라 A 영상(610)을 재생할 수 있다. 즉, 전자 장치(100)는 사용자 명령에 따라 A 영상(610)을 구성하는 복수의 프레임 중 A-1 프레임부터 순차적으로 재생할 수 있다.As shown in FIG. 6 , the
한편, 사용자는 X 분기점에 해당하는 A-4 프레임의 A 영상(610)이 재생되고 있는 상태에서 좌측 방향으로 머리를 회전할 수 있다. 이 같은 사용자 모션이 감지되면, 전자 장치(100)는 기저장된 영상 중 A 영상(610)의 A-4 프레임이 촬영된 위치 정보와 대응되는 위치 정보를 포함하는 영상이 존재하는지 여부를 판단한다.Meanwhile, the user may rotate the head in the left direction while the
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 A 영상(610)의 A-4 프레임을 재생하고 동안 사용자 모션이 감지되면, 기저장된 복수의 영상 중 A 영상(610)의 A-4 프레임이 촬영된 위치 정보를 기준으로 기설정된 임계 거리 내에 촬영된 위치에 대한 위치 정보를 포함하는 영상이 존재하는지 여부를 판단할 수 있다.However, the present invention is not limited thereto, and when a user motion is detected while the
판단 결과, 사용자 모션에 대응되는 C 영상(630)이 존재하는 것으로 판단될 수 있다. 즉, X 분기점에 해당하는 A 영상(610)의 A-4 프레임이 촬영된 위치와 C 영상(630)의 C-4 프레임이 촬영된 위치가 서로 대응될 수 있다. As a result of the determination, it may be determined that the
이 경우, 전자 장치(100)는 사용자 모션에 대응되는 방향에 기초하여 C-4 프레임부터 C 영상(630)을 재생할 수 있다. 구체적으로, 전자 장치(100)는 좌측 방향으로 회전하는 사용자 모션이 감지되면, C 영상(630)의 재생 방향에 기초하여 C-3, C-4 프레임 순서로 C 영상(630)을 재생할 수 있다.In this case, the
한편, 사용자는 Y 분기점에 해당하는 C-8 프레임의 C 영상(630)이 재생되고 있는 상태에서 우측 방향으로 머리를 회전할 수 있다. 이 같은 사용자 모션이 감지되면, 전자 장치(100)는 기저장된 영상 중 C 영상(630)의 C-8 프레임이 촬영된 위치 정보와 대응되는 위치 정보를 포함하는 영상이 존재하는지 여부를 판단한다.Meanwhile, the user may rotate the head in the right direction while the
판단 결과, 사용자 모션에 대응되는 B 영상(620)이 존재하는 것으로 판단될 수 있다. 즉, Y 분기점에 해당하는 C 영상(630)의 C-8 프레임이 촬영된 위치와 B 영상(620)의 B-2 프레임이 촬영된 위치가 서로 대응될 수 있다.As a result of the determination, it may be determined that the
이 경우, 전자 장치(100)는 사용자 모션에 대응되는 방향에 기초하여 B-2 프레임부터 B 영상(620)을 재생할 수 있다. 구체적으로, 전자 장치(100)는 우측 방향으로 회전하는 사용자 모션이 감지되면, B 영상(620)의 재생 방향에 기초하여 B-2,B-3 프레임 순서로 B 영상(620)을 재생할 수 있다.In this case, the
한편, 사용자는 Z 분기점에 해당하는 B-8 프레임의 B 영상(620)이 재생되고 있는 상태에서 좌측 방향으로 머리를 회전할 수 있다. 이 같은 사용자 모션이 감지되면, 전자 장치(100)는 기저장된 영상 중 B 영상(620)의 B-8 프레임이 촬영된 위치 정보와 대응되는 위치 정보를 포함하는 영상이 존재하는지 판단한다.Meanwhile, the user may rotate the head in the left direction while the
판단 결과, 사용자 모션에 대응되는 A 영상(610)이 존재하는 것으로 판단될 수 있다. 즉, Z 분기점에 해당하는 B 영상(620)의 B-8 프레임이 촬영된 위치와 A 영상(610)의 A-8 프레임이 촬영된 위치가 서로 대응될 수 있다.As a result of the determination, it may be determined that the
이 경우, 전자 장치(100)는 사용자 모션에 대응되는 방향에 기초하여 A-8 프레임부터 A 영상(610)을 재생할 수 있다. 구체적으로, 전자 장치(100)는 좌측 방향으로 회전하는 사용자 모션이 감지되면, A 영상(610)의 재생 방향에 기초하여 A-8, A-9 프레임 순서로 A 영상(610)을 재생할 수 있다.In this case, the
도 7은 본 발명의 일 실시예에 따른 전자 장치에서 영상 전환을 가이드하는 제1 예시도이다.7 is a first exemplary diagram for guiding image conversion in an electronic device according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 대응되는 제1 영상(710)을 재생한다. 한편, 전자 장치(100)는 기저장된 영상 중 재생 중인 제1 영상(710)의 프레임별 위치 정보와 대응되는 위치 정보를 포함하는 영상이 존재하는지 여부를 판단한다.7 , the
예를 들어, 기저장된 복수의 영상 중 제2 영상이 재생 중인 제1 영상(710)의 제1 프레임의 위치 정보와 대응되는 위치 정보를 포함할 수 있다. 이 경우, 전자 장치(100)는 제1 프레임에 대한 제1 영상(710)이 디스플레이되는 화면상에 제2 영상이 존재하는 것을 나타내기 위한 UI 엘리먼트(720)를 표시한다. 도시된 바와 같이, 제1 프레임에 대한 제1 영상(710)이 디스플레이되는 화면상에는 복수의 인디케이터(721)를 포함하는 UI 엘리먼트(720)가 표시될 수 있다.For example, the second image among the plurality of pre-stored images may include position information corresponding to the position information of the first frame of the
따라서, 사용자는 제1 영상(710)이 디스플레이되는 화면상에 표시된 UI 엘리먼트(720)에 기초하여 제2 영상이 재생될 방향으로 얼굴을 회전할 수 있다. 이 같이, 사용자의 얼굴이 회전하는 사용자 모션이 감지되면, 전자 장치(100)는 감지된 사용자 모션에 기초하여 사용자의 얼굴이 회전하는 방향에 위치하는 적어도 하나의 인디케이터(721)를 사용자의 얼굴이 회전하는 방향과 반대되는 방향에 위치하는 인티케이터(721)와 상이하게 표시한다. Accordingly, the user may rotate the face in a direction in which the second image is to be reproduced based on the
예를 들어, 우측으로 회전하는 사용자 모션이 감지되면, 전자 장치(100)는 감지된 사용자 모션에 대응되는 방향에 위치하는 인디케이터(721-1)를 사용자의 얼굴이 회전하는 방향과 반대되는 방향에 위치하는 인티케이터(721)와 상이하게 표시할 수 있다.For example, when a user motion rotating to the right is detected, the
따라서, 사용자는 사용자 모션에 따라 상이한 형태로 표시된 인디케이터(721-1)를 통해 제1 영상(710)에서 제2 영상으로 영상 전환을 위한 회전 정도를 쉽게 인지할 수 있다.Accordingly, the user can easily recognize the degree of rotation for changing the image from the
도 8은은 본 발명의 또다른 실시예에 따른 전자 장치에서 영상 전환을 가이드하는 제2 예시도이다.8 is a second exemplary diagram for guiding image conversion in an electronic device according to another embodiment of the present invention.
도 8에 도시된 바와 같이, 전자 장치(100)는 사용자 명령에 대응되는 제1 영상(810)을 재생한다. 제1 영상(810)을 재생하는 동안 사용자 모션이 감지되면, 전자 장치(100)는 감지된 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단한다.As shown in FIG. 8 , the
예를 들어, 제1 프레임에 대한 제1 영상(810)이 재생되는 동안 사용자 모션이 감지될 수 있다. 이 같은 사용자 모션이 감지되면, 전자 장치(100)는 제1 영상(810)의 제1 프레임에 대한 위치 정보를 포함하는 영상이 존재하는지 여부를 판단한다. 판단 결과, 제2 영상이 존재하면, 전자 장치(100)는 제1 프레임에 대한 제1 영상(810)이 재생되는 화면상에 사용자 모션에 대응되는 방향에 제2 영상이 존재하는 것을 나타내기 위한 인디케이터(820)를 표시한다.For example, a user motion may be detected while the
이에 따라, 사용자는 제1 프레임에 대한 제1 영상(810)이 재생되는 화면상에 표시된 인디케이터(820)가 표시된 방향으로의 회전을 기설정된 시간 동안 유지할 수 있다. 이 같이, 인디케이터(820)가 표시된 방향과 대응되는 방향으로 사용자 모션의 기설정된 시간 동안 유지되면, 전자 장치(100)는 제1 영상(810)의 제1 프레임의 위치 정보와 대응되는 위치에서 촬영된 프레임부터 제2 영상을 재생할 수 있다.Accordingly, the user may maintain the rotation in the direction in which the
그러나, 본 발명은 이에 한정되지 않으며, 전자 장치(100)는 사용자 명령에 대응되는 제1 영상(810)을 재생하는 동안 제2 영상(820)이 존재하면, 제2 영상(820)이 존재하는 것을 나타내기 위한 인디케이터(820)를 표시할 수 있다.However, the present invention is not limited thereto, and if the
예를 들어, 재생 중인 제1 영상(810)의 제1 프레임의 위치 정보와 기저장된 복수의 영상 중 제2 영상의 제2 프레임의 위치 정보가 대응될 수 있다. 이 경우, 전자 장치(100)는 제1 프레임에 대한 제1 영상(810)이 재생되는 화면상에 제2 영상의 재생을 위한 방향으로 인디케이터(820)를 표시할 수 있다.For example, position information of a first frame of the
이에 따라, 사용자는 화면상에 표시된 인디케이터(820)의 표시 방향으로 자신의 얼굴을 회전할 수 있다. 이 같은 사용자 모션이 감지되면, 전자 장치(100)는 제1 영상에서 제2 영상으로 영상 전환하여 제2 영상의 제2 프레임부터 제2 영상을 재생할 수 있다.Accordingly, the user may rotate his/her face in the direction of the
이하에서는, 본 발명에 따른 전자 장치(100)에서 사용자 모션에 기초하여 다양한 영상을 재생하는 방법에 대해서 상세히 설명하도록 한다.Hereinafter, a method for reproducing various images based on user motion in the
도 9는 본 발명의 일 실시예에 따른 전자 장치의 제어 방법에 대한 흐름도이다.9 is a flowchart of a method for controlling an electronic device according to an embodiment of the present invention.
도 9에 도시된 바와 같이, 전자 장치(100)는 복수의 영상 중 사용자 명령에 따라 제1 영상을 재생한다(S910). 여기서 제1 영상을 포함하는 복수의 영상은 360도 어라운드 뷰 형태로 촬영된 영상이 될 수 있다.As shown in FIG. 9 , the
이 같은 제1 영상을 재생하는 동안 전자 장치(100)는 사용자 모션이 감지되는지 여부를 판단한다(S920). 판단 결과, 제1 영상의 제1 프레임이 재생되는 동안 사용자 모션이 감지되면, 전자 장치(100)는 제1 영상의 제1 프레임이 촬영된 위치 정보에 기초하여 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단한다(S930).While the first image is being reproduced, the
실시예에 따라, 전자 장치(100)는 제1 영상의 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 분기점이 있는지 여부를 판단한다. 판단 결과, 기설정된 임계 거리 내에 분기점이 있는 것으로 판단되면, 전자 장치(100)는 기저장된 복수의 영상 중 분기점에 대한 정보를 포함하는 영상을 제2 영상으로 판단할 수 있다.According to an embodiment, the
한편, 사용자 모션에 대응되는 복수의 영상이 존재하는 것으로 판단되면, 전자 장치(100)는 감지된 사용자 모션의 방향 및 회전각에 기초하여 사용자 모션에 대응되는 복수의 영상 중 하나를 제2 영상으로 판단할 수 있다.Meanwhile, if it is determined that a plurality of images corresponding to the user motion exist, the
사용자 모션에 대응되는 제2 영상이 존재하는 것으로 판단되면, 전자 장치(100)는 사용자 모션에 대응되는 영상으로 판단된 제2 영상을 구성하는 복수의 프레임 중 제1 영상의 제1 프레임에 대응되는 제2 프레임을 판단하고, 판단된 제2 프레임부터 제2 영상을 재생한다(S940,S950).When it is determined that the second image corresponding to the user motion exists, the
구체적으로, 전자 장치(100)는 사용자 모션에 대응되는 영상으로 판단된 제2 영상을 구성하는 복수의 프레임 중 제1 영상의 제1 프레임이 촬영된 위치로부터 기설정된 임계 거리 내에서 촬영된 위치 정보를 가지는 프레임을 제2 프레임으로 판단할 수 있다.Specifically, the
사용자 모션에 대응되는 제2 영상의 재생을 시작할 제2 프레임이 결정되면, 전자 장치(100)는 제2 프레임 이후에 연속해서 재생될 프레임에 대한 재생 순서를 결정한다. 구체적으로, 전자 장치(100)는 사용자 모션의 방향에 기초하여 제2 프레임부터의 재생 순서를 결정하고, 그 결정된 재생 순서에 기초하여 제2 프레임부터 제2 영상을 재생할 수 있다.When the second frame for starting the reproduction of the second image corresponding to the user's motion is determined, the
한편, 전술한 단계 S930에서 사용자 모션에 대응되는 제2 영상이 존재하지 않는 것으로 판단되면, 전자 장치(100)는 사용자 모션에 대응되는 방향으로 제1 영상의 시점을 회전하여 재생한다(S960).Meanwhile, if it is determined that the second image corresponding to the user motion does not exist in the aforementioned step S930, the
구체적으로, 전자 장치(100)는 제1 영상의 시점을 기설정된 조건에 대응되는 방향(이하 정북 방향이라 함)으로 설정하여 재생할 수 있다. 이 같이, 정북 방향의 제1 영상을 출력하고 있는 상태에서, 감지된 사용자 모션이 제1 영상의 회전을 위한 것으로 판단되면, 전자 장치(100)는 정북 방향에서 감지된 사용자 모션에 대응되는 방향으로 제1 영상의 시점을 회전하여 재생할 수 있다.Specifically, the
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.So far, the present invention has been looked at with respect to preferred embodiments thereof.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications are possible by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
100 : 전자 장치 110 : 출력부
111 : 디스플레이부 112 : 오디오 출력부
120 : 감지부 121 : 모션 센서
122 : 동공 추적 센서 123 : 지자기 센서
124 : 중력 센서 125 : 자이로 센서
130 : 제어부 140 : 저장부
141 : 위치 매핑 모듈 142 : 영상 재생 모듈
150 : 입력부 151 : 마이크
152 : 조작부 153 : 터치 입력부
154 : 사용자 입력부 160 : 통신부
161 : 근거리 통신 모듈 162 : 무선 통신 모듈
163 : 커넥터 170 : 촬영부100: electronic device 110: output unit
111: display unit 112: audio output unit
120: detection unit 121: motion sensor
122: pupil tracking sensor 123: geomagnetic sensor
124: gravity sensor 125: gyro sensor
130: control unit 140: storage unit
141: location mapping module 142: video playback module
150: input unit 151: microphone
152: operation unit 153: touch input unit
154: user input unit 160: communication unit
161: short-distance communication module 162: wireless communication module
163: connector 170: recording unit
Claims (16)
복수의 영상 중 제1 영상을 재생하는 단계;
상기 제1 영상의 제1 프레임이 재생되는 동안 사용자 모션이 감지되면, 상기 제1 프레임이 촬영된 위치 정보에 기초하여 상기 복수의 영상 중 상기 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단하는 단계;
상기 제2 영상이 존재하는 경우, 상기 판단된 제2 영상 중 상기 제1 프레임에 대응되는 제2 프레임을 판단하는 단계; 및
상기 제2 프레임부터 상기 제2 영상을 재생하는 단계;를 포함하며,
상기 제2 영상이 존재하는지 여부를 판단하는 단계는,
상기 복수의 영상 중 상기 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 분기점을 갖는 상기 제2 영상이 존재하는지 여부를 판단하며,
상기 분기점은,
상기 복수의 영상 중 서로 동일한 위치 정보를 갖는 프레임이 존재하는 경우, 상기 프레임의 위치 정보인 제어 방법.A method for controlling an electronic device, comprising:
reproducing a first image among a plurality of images;
When a user motion is detected while the first frame of the first image is being reproduced, it is determined whether a second image corresponding to the user motion exists among the plurality of images based on location information at which the first frame is captured to do;
determining a second frame corresponding to the first frame among the determined second images when the second image exists; and
Including; reproducing the second image from the second frame;
The step of determining whether the second image exists,
It is determined whether the second image having a branch point within a predetermined threshold distance from location information at which the first frame is captured among the plurality of images exists;
The junction is
When a frame having the same position information exists among the plurality of images, the control method is position information of the frame.
상기 제2 영상이 존재하지 않는 것으로 판단되면, 상기 사용자 모션에 대응되는 방향으로 상기 제1 영상의 시점을 회전하여 재생하는 단계;
를 더 포함하는 것을 특징으로 하는 제어 방법.The method of claim 1,
if it is determined that the second image does not exist, rotating and reproducing a viewpoint of the first image in a direction corresponding to the user motion;
Control method, characterized in that it further comprises.
상기 제2 영상이 존재하는지 여부를 판단하는 단계는,
상기 사용자 모션에 대응되는 복수의 영상이 존재하는 것으로 판단되면, 상기 사용자 모션의 방향 및 회전각에 기초하여 상기 복수의 영상 중 하나를 제2 영상으로 판단하는 것을 특징으로 하는 제어 방법.The method of claim 1,
The step of determining whether the second image exists,
When it is determined that a plurality of images corresponding to the user motion exist, one of the plurality of images is determined as a second image based on a direction and a rotation angle of the user motion.
상기 제2 프레임을 판단하는 단계는,
상기 제1 프레임이 촬영된 위치로부터 기설정된 임계 거리 이내에 촬영된 위치 정보를 가지는 프레임을 상기 제2 프레임으로 판단하는 것을 특징으로 하는 제어 방법.The method of claim 1,
Determining the second frame comprises:
and determining a frame having location information captured within a preset threshold distance from a location where the first frame was captured as the second frame.
상기 재생하는 단계는,
상기 사용자 모션의 방향에 기초하여 상기 제2 프레임으로부터의 재생 순서를 결정하여 재생하는 것을 특징으로 하는 제어 방법.The method of claim 1,
The playing step is
and determining and playing the playback order from the second frame based on the direction of the user motion.
상기 제1 영상은,
상기 사용자 모션에 따라 변경되는 UI 엘리먼트를 포함하며,
상기 사용자 모션이 기설정된 각도 이상 회전한 경우, 상기 UI 엘리먼트에 상기 제1 영상에서 상기 제2 영상으로의 영상 변경을 안내하는 인디케이터를 표시하는 단계;
를 더 포함하는 것을 특징으로 하는 제어 방법.The method of claim 1,
The first image is
It includes a UI element that changes according to the user motion,
displaying an indicator guiding an image change from the first image to the second image on the UI element when the user motion is rotated by more than a preset angle;
Control method, characterized in that it further comprises.
상기 사용자 모션은,
사용자 얼굴 움직임, 신체 움직임 및 조작부에 조작 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.The method of claim 1,
The user motion is
A control method comprising at least one of a user's face movement, body movement, and a manipulation direction in the manipulation unit.
영상을 출력하는 출력부;
사용자 모션을 감지하는 감지부; 및
제1 영상의 제1 프레임이 출력되는 동안 상기 사용자 모션이 감지되면, 상기 제1 프레임이 촬영된 위치 정보에 기초하여 복수의 영상 중 상기 사용자 모션에 대응되는 제2 영상이 존재하는지 여부를 판단하며,
상기 제2 영상이 존재하는 경우, 상기 판단된 제2 영상 중 상기 제1 프레임에 대응되는 제2 프레임으로부터 상기 제2 영상을 출력하도록 상기 출력부를 제어하는 제어부;를 포함하며,
상기 제어부는,
상기 복수의 영상 중 상기 제1 프레임이 촬영된 위치 정보로부터 기설정된 임계 거리 내에 분기점을 갖는 상기 제2 영상이 존재하는지 여부를 기준으로 판단하는 것을 특징으로 하며,
상기 분기점은,
상기 복수의 영상 중 서로 동일한 위치 정보를 갖는 프레임이 존재하는 경우, 상기 프레임의 위치 정보인 전자 장치.In an electronic device,
an output unit for outputting an image;
a sensing unit for detecting user motion; and
If the user motion is detected while the first frame of the first image is output, it is determined whether a second image corresponding to the user motion exists among a plurality of images based on location information at which the first frame is captured, ,
a control unit controlling the output unit to output the second image from a second frame corresponding to the first frame among the determined second images when the second image exists; and
The control unit is
It is characterized in that the determination is made based on whether the second image having a branching point exists within a predetermined threshold distance from location information at which the first frame is captured among the plurality of images,
The junction is
When a frame having the same location information exists among the plurality of images, the electronic device is location information of the frame.
상기 제어부는,
상기 제2 영상이 존재하지 않는 것으로 판단되면, 상기 사용자 모션에 대응되는 방향으로 상기 제1 영상의 시점을 회전하여 출력하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.10. The method of claim 9,
The control unit is
When it is determined that the second image does not exist, the electronic device of claim 1, wherein the output unit is controlled to rotate and output the viewpoint of the first image in a direction corresponding to the user's motion.
상기 제어부는,
상기 사용자 모션에 대응되는 복수의 영상이 존재하는 것으로 판단되면, 상기 사용자 모션의 방향 및 회전각에 기초하여 상기 복수의 영상 중 하나를 제2 영상으로 선택하는 것을 특징으로 하는 전자 장치.10. The method of claim 9,
The control unit is
When it is determined that a plurality of images corresponding to the user motion exist, one of the plurality of images is selected as a second image based on a direction and a rotation angle of the user motion.
상기 제어부는,
상기 제1 프레임이 촬영된 위치로부터 기설정된 임계 거리 이내에 촬영된 위치 정보를 가지는 프레임을 상기 제2 프레임으로 판단하는 것을 특징으로 하는 전자 장치.10. The method of claim 9,
The control unit is
and determining, as the second frame, a frame having location information photographed within a predetermined threshold distance from a location where the first frame was photographed.
상기 제어부는,
상기 사용자 모션의 방향에 기초하여 상기 제2 프레임으로부터의 재생 순서를 결정하는 것을 특징으로 하는 전자 장치.10. The method of claim 9,
The control unit is
and determining a playback order from the second frame based on a direction of the user's motion.
상기 제1 영상은,
상기 사용자 모션에 따라 변경되는 UI 엘리먼트를 포함하며,
상기 제어부는,
상기 사용자 모션이 기설정된 각도 이상 회전한 경우, 상기 UI 엘리먼트에 상기 제1 영상에서 상기 제2 영상으로의 영상 변경을 안내하는 인디케이터를 표시하도록 상기 출력부를 제어하는 것을 특징으로 하는 전자 장치.10. The method of claim 9,
The first image is
It includes a UI element that changes according to the user motion,
The control unit is
The electronic device of claim 1, wherein when the user motion rotates by more than a preset angle, the output unit is controlled to display an indicator guiding an image change from the first image to the second image on the UI element.
상기 사용자 모션은,
사용자 얼굴 움직임, 신체 움직임 및 조작부에 조작 방향 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
10. The method of claim 9,
The user motion is
An electronic device comprising at least one of a user's face movement, a body movement, and a manipulation direction in the manipulation unit.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170023369A KR102403719B1 (en) | 2017-02-22 | 2017-02-22 | Electronic device and control method thereof |
| PCT/KR2018/002166 WO2018155917A1 (en) | 2017-02-22 | 2018-02-22 | Electronic device and control method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170023369A KR102403719B1 (en) | 2017-02-22 | 2017-02-22 | Electronic device and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180096940A KR20180096940A (en) | 2018-08-30 |
| KR102403719B1 true KR102403719B1 (en) | 2022-06-02 |
Family
ID=63252795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170023369A KR102403719B1 (en) | 2017-02-22 | 2017-02-22 | Electronic device and control method thereof |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102403719B1 (en) |
| WO (1) | WO2018155917A1 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101758164B1 (en) * | 2011-04-08 | 2017-07-26 | 엘지전자 주식회사 | Mobile twrminal and 3d multi-angle view controlling method thereof |
| US20140152558A1 (en) * | 2012-11-30 | 2014-06-05 | Tom Salter | Direct hologram manipulation using imu |
| JP2014153645A (en) * | 2013-02-13 | 2014-08-25 | Seiko Epson Corp | Image display device and display control method of image display device |
| CN105229719B (en) * | 2013-03-15 | 2018-04-27 | 奇跃公司 | Display system and method |
| KR20160096422A (en) * | 2015-02-05 | 2016-08-16 | 삼성전자주식회사 | Method for displaying screen and electronic device |
| KR20160139461A (en) * | 2015-05-27 | 2016-12-07 | 엘지전자 주식회사 | Head mounted display and, the controlling method thereof |
-
2017
- 2017-02-22 KR KR1020170023369A patent/KR102403719B1/en active IP Right Grant
-
2018
- 2018-02-22 WO PCT/KR2018/002166 patent/WO2018155917A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018155917A1 (en) | 2018-08-30 |
| KR20180096940A (en) | 2018-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11640235B2 (en) | Additional object display method and apparatus, computer device, and storage medium | |
| US11321921B2 (en) | Display control apparatus, display control method, and program | |
| JP6158406B2 (en) | System for enabling video capture of interactive applications on mobile devices | |
| JP5654430B2 (en) | Use of a portable game device to record or change a game or application running in a home game system in real time | |
| US10915993B2 (en) | Display apparatus and image processing method thereof | |
| KR20210046760A (en) | Video Clip Object Tracking | |
| CN110213638B (en) | Animation display method, device, terminal and storage medium | |
| JP2019047167A (en) | Imaging apparatus, image display system, operation method, program | |
| ES2943093T3 (en) | Method and electronic device for recording video | |
| CN112044069B (en) | Object prompting method, device, equipment and storage medium in virtual scene | |
| CN109981977A (en) | Electronic device and its control method and computer readable storage medium | |
| CN108694073B (en) | Control method, device and equipment of virtual scene and storage medium | |
| JP6234622B1 (en) | Method for communicating via virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
| CN110393916B (en) | Method, device and equipment for rotating visual angle and storage medium | |
| WO2021073293A1 (en) | Animation file generating method and device, and storage medium | |
| US20150193911A1 (en) | Display control device, display control system, and display control method | |
| JP6457989B2 (en) | GAME PROGRAM AND GAME DEVICE | |
| CN113269877B (en) | Method and electronic equipment for acquiring room layout plan | |
| US10719147B2 (en) | Display apparatus and control method thereof | |
| JP2018116684A (en) | Communication method through virtual space, program causing computer to execute method, and information processing device to execute program | |
| KR102403719B1 (en) | Electronic device and control method thereof | |
| US11366318B2 (en) | Electronic device and control method thereof | |
| JP6023037B2 (en) | Video game processing program, video game processing system, and video game processing apparatus | |
| CN109885235B (en) | Interaction method and device based on virtual tag card, storage medium and terminal | |
| JP2017056213A (en) | Video game processing program and video game processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |