KR20180046044A - Omnidirectional image display apparatus and method - Google Patents
Omnidirectional image display apparatus and method Download PDFInfo
- Publication number
- KR20180046044A KR20180046044A KR1020160140786A KR20160140786A KR20180046044A KR 20180046044 A KR20180046044 A KR 20180046044A KR 1020160140786 A KR1020160140786 A KR 1020160140786A KR 20160140786 A KR20160140786 A KR 20160140786A KR 20180046044 A KR20180046044 A KR 20180046044A
- Authority
- KR
- South Korea
- Prior art keywords
- event
- area
- image data
- omnidirectional
- image display
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
본 발명은 전방위 영상 표시에 관한 것으로, 더욱 상세하게는 전방위 영상 중에서 사용자가 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트를 알려주는 전방위 영상 표시 장치 및 그 표시 방법에 관한 것이다.The present invention relates to an omni-directional image display, and more particularly, to an omni-directional image display apparatus and a display method thereof that notify an event occurring in another part of an omnidirectional image other than a region viewed by a user.
주지하는 바와 같이, 전방위 영상은 여러 대의 카메라를 이용하여 360도 전방위 영상을 동시에 촬영하고, 촬영된 영상을 심리스(seamless)하게 합성하여, 사용자가 시점을 자유롭게 변경하여 감상할 수 있도록 360도 전방위를 확인할 수 있는 넓은 시야각을 제공한다. 이러한 전방위 영상은 자연 경관, 건축물, 부동산, 시설물의 보안감시, 지도, 가상 여행 등 다양한 분야에 적용될 수 있다.As is known, the omnidirectional image is obtained by simultaneously photographing the 360-degree omnidirectional images using a plurality of cameras, synthesizing the captured images seamlessly, and providing 360-degree omnidirectional Provides a versatile viewing angle. Such omnidirectional images can be applied to various fields such as natural scenery, buildings, real estate, security surveillance of facilities, guidance, and virtual trips.
이러한 전방위 영상 서비스는 특정 장소에서 촬영된 360도 영상을 인터넷 등과 같은 통신망을 이용하여 원격지에서 화면으로 출력하여 원격지에 위치한 사용자가 볼 수 있도록 할 수 있다.In the omnidirectional image service, a 360-degree image photographed at a specific location can be output to a screen from a remote site using a communication network such as the Internet to allow a user located at a remote location to view the 360-degree image.
이렇게 화면으로 출력된 전방위 영상에서는 사용자를 둘러싸고 있는 가상의 구(sphere)가 존재하며, 이 중 사용자가 보고 있는 일부분만이 스크린 또는 VR(Virtual Reality) 장치 등을 통하여 표시된다.In the omnidirectional image thus displayed on the screen, there is a virtual sphere surrounding the user, and only a part of the user's vision is displayed on a screen or a VR (Virtual Reality) device.
예컨대, 영상이 스크린에 표시되는 경우에 사용자는 마우스 등과 같은 입력장치를 이용하여 표시 영역을 가상의 구의 다른 부분으로 변경할 수 있으며, VR 장치인 경우에 고개를 돌려서 다른 방향을 쳐다봄으로써 표시 영역을 변경할 수 있다.For example, when an image is displayed on a screen, the user can change the display area to another part of the virtual sphere using an input device such as a mouse or the like. In the case of a VR device, Can be changed.
그런데, 전방위 영상은 사용자가 보고 있는 영역 이외에 다른 부분에도 영상이 존재하기 때문에, 사용자가 모든 장면의 영상을 동시에 관찰하기에는 어려움이 따르는 문제점이 있다. 예컨대, 360도 영상을 이용한 실시간 방송을 가정할 때, 사용자가 현재 관찰하고 있는 영역의 반대쪽에서 다른 흥미로운 이벤트가 발생한다고 하여도 사용자는 해당 이벤트의 발생을 인지하기 어렵다.However, the omnidirectional image has a problem that it is difficult for the user to simultaneously observe the images of all the scenes because the images exist in other parts than the area that the user is viewing. For example, assuming real-time broadcasting using a 360-degree image, it is difficult for the user to recognize the occurrence of the event even if another interesting event occurs on the opposite side of the area currently observed by the user.
본 발명의 실시예에 따르면, 전방위 영상 중에서 사용자가 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트를 사용자가 인지하기 용이하게 표시하여 주는 전방위 영상 표시 장치 및 그 표시 방법을 제공한다.According to an embodiment of the present invention, there is provided an omniazimetic image display device and a display method thereof, which allow a user to easily recognize an event occurring in another part of the omnidirectional image other than the area viewed by the user.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to those mentioned above, and another problem to be solved can be clearly understood by those skilled in the art from the following description.
본 발명의 일 관점에 따른 전방위 영상 표시 장치에 의한 영상 표시 방법은, 전방위 영상 중에서 일부 영역에 대응하는 일부 영상 데이터를 상기 전방위 영상 표시 장치의 제1 영역에 표시하는 단계와, 상기 전방위 영상 중 상기 일부 영역을 제외한 잔여 영역 내에서 소정의 이벤트가 검출된 경우에, 상기 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터와 상기 이벤트에 대한 정보 중 적어도 하나를 상기 제1 영역 또는 상기 전방위 영상 표시 장치의 제2 영역에 표시하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided an image display method using an omnidirectional image display device, comprising the steps of: displaying, in a first area of the omnidirectional image display device, partial image data corresponding to a part of omnidirectional images; Detecting at least one of event detection video data corresponding to the event detection area in which the event is detected and information about the event in the remaining area excluding the partial area, And displaying the first area on a second area of the display device.
본 발명의 다른 관점에 따른 전방위 영상 표시 장치는, 전방위 영상 중에서 일부 영역에 대응하는 일부 영상 데이터를 표시하는 디스플레이부와, 상기 디스플레이부를 제어하는 제어부를 포함하며, 상기 제어부는, 상기 일부 영상 데이터가 상기 전방위 영상 표시 장치의 제1 영역에 표시되도록 상기 디스플레이부를 제어하고, 상기 전방위 영상 중 상기 일부 영역을 제외한 잔여 영역 내에서 소정의 이벤트가 검출된 경우에, 상기 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터와 상기 이벤트에 대한 정보 중 적어도 하나가 상기 제1 영역 또는 상기 전방위 영상 표시 장치의 제2 영역에 표시되도록 상기 디스플레이부를 제어할 수 있다.According to another aspect of the present invention, there is provided an omnidirectional image display apparatus including a display unit for displaying a part of image data corresponding to a part of an omni-directional image, and a control unit for controlling the display unit, And controls the display unit to be displayed in a first area of the omnidirectional image display device, and when a predetermined event is detected in the remaining area excluding the partial area of the omnidirectional image, the event detection area corresponding to the detected event detection area And at least one of the event detection video data and the event information may be displayed in the first area or the second area of the omnidirectional video display device.
본 발명의 실시예에 따르면, 전방위 영상 중에서 사용자가 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트를 사용자가 용이하게 인지할 수 있도록 표시하여 준다.According to the embodiment of the present invention, the user can easily recognize an event occurring in another part of the omnidirectional image in addition to the area the user is viewing.
따라서, 사용자가 자신이 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트에 대한 인지성이 향상되며, 이벤트가 발생한 해당 영역의 영상을 그만큼 쉽게 감상할 수 있는 효과가 있다.Accordingly, the user is more aware of events occurring in other parts than the area he or she is viewing, and the image of the corresponding area where the event occurs can be easily appreciated.
도 1은 본 발명의 실시예에 따른 전방위 영상 표시 장치를 포함하는 전방위 영상 서비스 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 전방위 영상 표시 장치에 의한 영상 표시 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 전방위 영상 표시 장치에서 일부 영역에 대응하는 일부 영상 데이터가 화면으로 표시되는 상태를 나타낸 것이다.
도 4는 본 발명의 실시예에 따른 전방위 영상 표시 장치에서 화면 표시 영역을 제외한 잔여 영역에 대한 이벤트 정보가 획득된 상태를 나타낸 것이다.
도 5는 본 발명의 실시예에 따른 전방위 영상 표시 장치에서 화면 표시 영역을 제외한 잔여 영역에 대한 이벤트 정보를 사용자 시점 화면에 표시한 상태를 나타낸 것이다.
도 6은 본 발명의 실시예에 따른 전방위 영상 표시 장치에서 화면 표시 영역을 제외한 잔여 영역에 대한 이벤트 정보를 사용자 시점 화면의 주변에 표시한 상태를 나타낸 것이다.1 is a configuration diagram of an omni-directional image service system including an omnidirectional image display apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an image display method by the omnidirectional image display apparatus according to an embodiment of the present invention.
FIG. 3 is a view illustrating a state in which some image data corresponding to a part of an omnidirectional image display apparatus according to an embodiment of the present invention is displayed on a screen.
FIG. 4 is a diagram illustrating a state in which event information for a remaining area except for a screen display area is obtained in the omnidirectional image display device according to the embodiment of the present invention.
FIG. 5 is a diagram illustrating a state in which event information on a remaining area excluding a screen display area is displayed on a user view screen in the omnidirectional image display device according to the embodiment of the present invention.
FIG. 6 is a diagram illustrating a state in which event information on a remaining area excluding a screen display area is displayed on the periphery of a user view screen in the omnidirectional image display device according to the embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions in the embodiments of the present invention, which may vary depending on the intention of the user, the intention or the custom of the operator. Therefore, the definition should be based on the contents throughout this specification.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들에 대해 살펴보기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 전방위 영상 표시 장치를 포함하는 전방위 영상 서비스 시스템의 구성도이다.1 is a configuration diagram of an omni-directional image service system including an omnidirectional image display apparatus according to an embodiment of the present invention.
이에 나타낸 바와 같이 실시예에 따른 전방위 영상 서비스 시스템은 서버 장치(100)와 전방위 영상 표시 장치(200)가 통신망(10)을 통해 연결될 수 있다. 전방위 영상 표시 장치(200)는 디스플레이부(210), 제어부(220), 통신부(230), 저장부(240), 인터페이스부(250)를 포함한다.As described above, in the omni-directional image service system according to the embodiment, the
서버 장치(100)는 특정 장소의 전방위 영상 데이터를 획득하고, 획득된 전방위 영상 데이터를 통신망(10)을 이용하여 전방위 영상 표시 장치(200)에게 전송할 수 있다.The
또는, 서버 장치(100)는 전방위 영상 데이터 중에서 일부 영상 데이터를 제외하여 나머지에 해당하는 잔여 영상 데이터를 분류하고, 분류된 잔여 영상 데이터는 제외하고 일부 영상 데이터를 통신망(10)을 이용하여 전방위 영상 표시 장치(200)에게 전송할 수 있다. 여기서, 일부 영상 데이터는 전방위 영상 표시 장치(200)를 사용하는 사용자의 시점에 대응하는 일부 영역의 영상 데이터일 수 있다. 이때, 서버 장치(100)는 일부 영상 데이터를 제외한 잔여 영상 데이터 내에서 소정의 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터를 획득 및 저장하며, 획득된 이벤트에 관한 정보를 통신망(10)을 이용하여 전방위 영상 표시 장치(200)에게 전송할 수 있다. 예컨대, 획득하고자 하는 이벤트에 대한 설정 정보는 서버 장치(100) 내에 사전에 저장될 수 있으며, 전방위 영상 표시 장치(200)로부터 통신망(10)을 통해 제공될 수도 있다.Alternatively, the
전방위 영상 표시 장치(200)는 전방위 영상 중에서 사용자의 시점에 대응하는 일부 영역의 영상 데이터를 화면의 제1 영역에 표시하며, 표시된 일부 영역을 제외한 잔여 영역에 대응하는 잔여 영상 데이터 내의 이벤트 정보를 획득한다. 그리고, 획득된 이벤트 정보를 화면의 제1 영역 또는 화면의 제2 영역에 표시한다. 여기서, 일부 영역으로부터 이벤트 검출 영역과의 이격거리 또는 일부 영역에 대한 이벤트 검출 영역의 상대적 방향을 포함하는 관계 정보를 이벤트 검출 영상 데이터와 이벤트에 대한 정보 중 적어도 하나와 함께 표시할 수 있다.The omnidirectional
이러한 전방위 영상 표시 장치(200)는 서버 장치(100)로부터 통신망(10)을 통해 특정 장소의 전방위 영상 데이터를 전송 받을 수 있다. 이 경우에, 전방위 영상 표시 장치(200)는 전방위 영상 데이터를 사용자의 시점에 대응하는 일부 영역에 해당하는 일부 영상 데이터와 잔여 영역 내에서 소정의 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터로 분류할 수 있다. 또는, 사용자의 시점에 대응하는 일부 영역에 해당하는 일부 영상 데이터는 서버 장치(100)에 의해 분류된 후에 전방위 영상 표시 장치(200)로 전송될 수 있다. 이 경우라면 잔여 영상 데이터 내의 이벤트 정보 또한 서버 장치(100)에 의해 추출된 후에 전방위 영상 표시 장치(200)로 전송될 수 있다.The omnidirectional
전방위 영상 표시 장치(200)의 디스플레이부(210)에는 전방위 영상 데이터 중에서 사용자의 시점에 의한 일부 영역에 대응하는 일부 영상 데이터가 화면의 제1 영역에 표시된다. 또, 전방위 영상 데이터에서 일부 영역을 제외한 잔여 영역에 대응하는 잔여 영상 데이터 내의 이벤트 정보가 화면의 제1 영역 또는 제2 영역에 표시된다. 예컨대, 디스플레이부(210)는 VR HMD(Head Mounted Display)로 구현할 수 있다.In the
제어부(220)는 디스플레이부(210)에 의한 전방위 영상 데이터 및 이벤트 정보의 표시 과정을 제어한다. 그리고, 제어부(220)는 사용자 시점에 의한 일부 영역과 잔여 영역과의 이격거리 또는 상대적 방향이 포함된 관계 정보가 이벤트 정보와 함께 표시되도록 디스플레이부(210)를 제어한다. 예컨대, 제어부(220)는 CPU(Central Processing Unit) 등과 같은 프로세서로 구현할 수 있다.The
통신부(230)는 통신망(10)에 연결된 서버 장치(100)로부터 전방위 영상 표시 장치(200)의 제어에 따라 통신망을 통해 데이터를 수신한다. 제어부(220)의 제어에 따라 전방위 영상 데이터를 수신하거나 전방위 영상 데이터 중에서 일부 영역에 대한 일부 영상 데이터와 함께 이벤트 정보를 수신하도록 제어한다. 예컨대, 통신부(230)는 인터넷 접속이 가능한 LAN(Local Area Network) 카드로 구현할 수 있다.The
저장부(240)에는 통신부(230)에 의해 수신된 전방위 영상 데이터와 사용자의 시점에 의한 일부 영역에 대응하는 일부 영상 데이터 및 잔여 영상 데이터가 저장된다. 또, 저장부(240)에는 전방위 영상 데이터 내의 이벤트 정보가 저장되거나 일부 영상 데이터를 제외한 잔여 영상 데이터 내의 이벤트 정보가 저장될 수 있다. 이러한 전방위 영상 데이터, 일부 영상 데이터, 잔여 영상 데이터, 이벤트 정보에 대한 저장 과정은 제어부(220)의 제어 신호에 따라 수행될 수 있다. 예컨대, 저장부(160)는 EEPROM(Electrically Erasable Programmable Read-Only Memory) 등의 비휘발성 메모리 소자로 구현할 수 있다.The
인터페이스부(250)는 전방위 영상 표시 장치(200)의 사용자의 명령을 입력받아서 제어부(220)에게 전달한다. 사용자는 디스플레이부(210)에 표시되는 영상을 변경하기 위해 마우스 등과 같은 입력장치를 조작할 수 있으며, VR 장치를 사용하는 경우에는 고개를 돌려서 다른 방향을 쳐다볼 수 있는데, 인터페이스부(250)는 이러한 사용자의 행위를 파악하여 대응하는 명령으로 입력받을 수 있다. 예컨대, 인터페이스부(250)는 VR 장치의 경우라면 자이로(Gyro) 센서로 구현할 수 있다.The
도 2는 본 발명의 실시예에 따른 전방위 영상 표시 장치에 의한 영상 표시 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating an image display method by the omnidirectional image display apparatus according to an embodiment of the present invention.
도 1 및 도 2를 참조하면 실시예에 따른 전방위 영상 표시 장치에 의한 영상 표시 방법은, 전방위 영상 중에서 일부 영역에 대응하는 일부 영상 데이터를 전방위 영상 표시 장치의 제1 영역에 표시하는 단계(S310 내지 S330)를 포함한다. 여기서, 전방위 영상 표시 장치(200)는 서버 장치(100)로부터 통신망(10)을 통해 특정 장소의 전방위 영상 데이터를 전송 받을 수 있다. 이 경우에, 전방위 영상 표시 장치(200)는 전방위 영상 데이터를 사용자의 시점에 대응하는 일부 영역에 해당하는 일부 영상 데이터와 잔여 영역에 해당하는 잔여 영상 데이터로 분류할 수 있다. 또는, 사용자의 시점에 대응하는 일부 영역에 해당하는 일부 영상 데이터는 서버 장치(100)에 의해 분류된 후에 전방위 영상 표시 장치(200)로 전송될 수 있다.1 and 2, a method of displaying an image by an omnidirectional image display apparatus according to an exemplary embodiment of the present invention includes displaying a partial image data corresponding to a part of omnidirectional images in a first area of an omnidirectional image display device (S310 - S330). Here, the omnidirectional
아울러, 전방위 영상 중 일부 영역을 제외한 잔여 영역 내에서 소정의 이벤트가 검출된 경우에, 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터와 이벤트에 대한 정보 중 적어도 하나를 전방위 영상 표시 장치의 제1 영역 또는 제2 영역에 표시하는 단계(S340)를 더 포함한다. 여기서, 제어부(220)는 전방위 영상 데이터에 대한 분석을 통해 이벤트에 대한 정보를 추출 및 획득할 수 있다. 또는, 전방위 영상 데이터 내의 이벤트에 대한 정보는 서버 장치(100)에 의해 추출된 후에 전방위 영상 표시 장치(200)로 전송될 수 있다.In addition, when a predetermined event is detected in the remaining area excluding a part of the omnidirectional image, at least one of the event detection image data corresponding to the event detection area in which the event is detected and the information about the event is input to the omni- (S340) of displaying the first area or the second area. Here, the
그리고, 획득된 이벤트에 대한 정보를 화면의 제1 영역 또는 화면의 제2 영역에 표시하는 단계(S350)를 더 포함한다. 예컨대, 전방위 영상 데이터 중에서 사용자의 시점에 대응하는 일부 영역의 영상 데이터가 화면의 제1 영역에 표시되며, 표시된 일부 영역을 제외한 잔여 영역에 대응하는 잔여 영상 데이터 내의 이벤트에 대한 정보가 화면의 제1 영역 또는 화면의 제2 영역에 표시된다. 여기서, 일부 영역으로부터 이벤트 검출 영역과의 이격거리 또는 일부 영역에 대한 이벤트 검출 영역의 상대적 방향을 포함하는 관계 정보가 이벤트 검출 영역 데이터와 이벤트에 관한 정보 중 적어도 하나와 함께 표시될 수 있다.And displaying the acquired event information on the first area of the screen or the second area of the screen (S350). For example, the image data of the partial area corresponding to the viewpoint of the user is displayed in the first area of the screen in the omnidirectional image data, and information about the event in the remaining image data corresponding to the remaining area excluding the displayed partial area is displayed on the first Area or a second area of the screen. Here, the relationship information including the distance from a certain area to the event detection area or the relative direction of the event detection area with respect to the partial area may be displayed together with at least one of the event detection area data and the information on the event.
여기서, 전방위 영상 표시 장치가 영상 데이터를 분석하여 소정의 이벤트를 검출하는 시기는 특별히 한정되지 않는다. 예컨대, 단계 S310에서 전방위 영상 데이터를 획득한 후에 전방위 영상 데이터를 대상으로 하여 소정의 이벤트를 검출 할 수 있다. 또는, 단계 S330에서 화면에 표시되는 일부 영상 데이터가 전방위 영상 데이터에서 제외된 나머지 영상 데이터를 대상으로 하여 소정의 이벤트를 검출할 수도 있다.Here, the time when the omnidirectional video display device analyzes video data and detects a predetermined event is not particularly limited. For example, after acquiring omnidirectional image data in step S310, a predetermined event may be detected on the omnidirectional image data. Alternatively, in step S330, a predetermined event may be detected with respect to the remaining image data in which some image data displayed on the screen is excluded from the omnidirectional image data.
이하, 도 1 내지 도 6을 참조하여 본 발명의 실시예에 따른 전방위 영상 표시 장치에 의한 영상 표시 방법에 대해 더 자세히 살펴보기로 한다.Hereinafter, a method of displaying an image by the omnidirectional image display apparatus according to an embodiment of the present invention will be described in more detail with reference to FIG. 1 to FIG.
먼저, 서버 장치(100)에서 전방위 영상 데이터를 대상으로 하여 소정의 이벤트를 검출하는 실시예에 대해 설명하기로 한다.First, an embodiment in which a predetermined event is detected with respect to omnidirectional image data in the
서버 장치(100)는 특정 장소의 전방위 영상 데이터를 획득하고(S310), 획득된 전방위 영상 데이터를 사용자의 시점에 대응하는 일부 영역의 일부 영상 데이터와 나머지에 해당하는 잔여 영상 데이터로 분류한다(S320). 그리고, 서버 장치(100)는 분류된 일부 영상 데이터를 통신망(10)을 통해 전방위 영상 표시 장치(200)에게 전송한다. 여기서, 사용자의 시점에 대한 정보는 전방위 영상 표시 장치(200)가 통신망(10)을 통해 사전에 제공할 수 있다. 또, 서버 장치(100)는 특정 장소의 전방위 영상 데이터에서 잔여 영상 데이터를 제외하지 않고 전체 데이터를 전방위 영상 표시 장치(200)에게 전송할 수도 있다.The
그러면, 전방위 영상 표시 장치(200)에서는 제어부(220)의 제어에 따라 통신부(230)가 사용자의 시점에 대응하는 일부 영역의 일부 영상 데이터를 수신하며, 이렇게 수신된 일부 영상 데이터는 제어부(220)의 제어에 따라 저장부(240)에 저장될 수 있다.Then, in the omnidirectional
그리고, 제어부(220)의 제어에 따라 디스플레이부(210)는 도 3에 나타낸 바와 같이 사용자(1)를 중심으로 한 전방위 영상 데이터(300) 중에서 사용자의 시점에 대응하는 일부 영역의 일부 영상 데이터(301)를 화면에 표시한다. 여기서, 사용자의 시점에 대응하는 일부 영상 데이터(301)는 도 5 및 도 6과 같은 화면(400)의 제1 영역(410)에 표시될 수 있다(S330).3, the
아울러, 서버 장치(100)는 통신망(10)을 통해 사용자의 시점에 대응하는 일부 영역의 영상 데이터를 전송하면서 일부 영역을 제외한 나머지에 해당하는 잔여 영상 데이터를 분류하며, 분류된 잔여 영상 데이터를 분석하여 잔여 영상 내에서 소정의 이벤트가 검출된 이벤트 검출 영역을 파악하고, 소정의 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터 및 이벤트에 관한 정보를 획득한다. 그리고, 획득된 이벤트 검출 영상 데이터 및 이벤트에 관한 정보를 통신망(10)을 이용하여 전방위 영상 표시 장치(200)에게 전송한다(S340). 예컨대, 도 3에 나타낸 바와 같이 일부 영상 데이터(301)에 대응하는 일부 영상을 제외한 잔여 영상에 대응하는 잔여 영상 데이터들 중에서 소정의 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터들(302, 303, 304)을 획득한다. 여기서, 획득하고자 하는 이벤트에 대한 설정 정보는 서버 장치(100) 내에 사전에 저장될 수 있으며, 전방위 영상 표시 장치(200)로부터 통신망(10)을 통해 제공될 수도 있다. 예컨대, 서버 장치(100)는 일부 영상 데이터(301)를 제외한 잔여 영상 데이터들을 분석하여 특정 인물이 영상에 등장하는 이벤트 검출 영상 데이터를 획득하거나 얼굴 인식 알고리즘을 통하여 특정 인물이 영상에 등장하는 이벤트 검출 영상 데이터를 획득할 수 있다. 예컨대, 이벤트에 대한 정보는 기 설정된 이벤트 검출 알고리즘에 의해 영상에서 실시간으로 추출될 수도 있고, 사전에 녹화된 영상을 재생하는 경우에는 미리 준비되어 영상에 포함된 메타데이터를 이용하여 획득할 수도 있다.In addition, the
여기서, 서버 장치(100)가 영상 데이터를 분석하여 소정의 이벤트를 검출하는 시기는 특별히 한정되지 않는다. 예컨대, 단계 S310에서 전방위 영상 데이터를 획득한 후에 전방위 영상 데이터를 대상으로 하여 소정의 이벤트를 검출 할 수 있다. 또는, 단계 S330에서 화면에 표시되는 일부 영상 데이터가 전방위 영상 데이터에서 제외된 나머지 영상 데이터를 대상으로 하여 소정의 이벤트를 검출할 수도 있다.Here, the timing at which the
그리고, 전방위 영상 표시 장치(200)의 제어부(220)는 통신부(230)를 제어하여 서버 장치(100)로부터 이벤트에 대한 정보를 수신하도록 하며, 수신된 이벤트에 대한 정보를 표시하도록 디스플레이부(210)를 제어한다. 예컨대, 디스플레이부(210)는 도 5와 같이 화면(400)의 제1 영역(410)에 출력 중인 영상 데이터에 중첩시켜서 이벤트에 대한 정보를 표시할 수 있다. 이때, 제1 영역(410)에 표시 중이던 일부 영상 데이터에 대응하는 일부 영역으로부터 이벤트 검출 영역과의 이격거리 또는 일부 영역에 대한 이벤트 검출 영역의 상대적 방향을 포함하는 관계 정보를 이벤트 검출 영상 데이터와 이벤트에 관한 정보 중 적어도 하나와 함께 표시할 수 있다(S350).The
예컨대, 도 5에 나타낸 바와 같이 화면(400)의 제1 영역(410)에 출력 중인 영상에 중첩시켜 썸네일(421, 431, 441)과 화살표(422, 432, 442)를 표시할 수 있다. 썸네일(421, 431, 441)의 크기는 이격거리의 길이에 반비례하게 표시할 수 있고, 화살표(422, 432, 442)의 크기는 상대적 방향의 각도크기에 반비례하게 표시할 수 있다. 또는, 썸네일(421, 431, 441)을 텍스트로 대체하거나 썸네일(421, 431, 441)과 텍스트를 함께 표시할 수도 있다. 또, 썸네일(421, 431, 441)은 기 설정된 알고리즘에 의해 결정될 수 있는 이벤트의 흥미도 또는 중요도에 따라 그 크기와 선명도가 조절될 수 있다.For example,
또는, 도 6에 나타낸 바와 같이 화면(400)의 제1 영역(410)이 아닌 제2 영역(450)에 썸네일(451, 452, 453)을 리스트 형태로 표시할 수도 있다. 도 5와 마찬가지로 썸네일(451, 452, 453)을 텍스트로 대체하거나 썸네일(451, 452, 453)과 텍스트를 함께 표시할 수도 있으며, 썸네일(421, 431, 441)은 기 설정된 알고리즘에 의해 결정될 수 있는 이벤트의 흥미도 또는 중요도에 따라 그 크기와 선명도가 조절될 수 있다.Alternatively, the
여기서, 전방위 영상 표시 장치(200)의 사용자는 VR 장치를 사용하는 경우에 도 5의 실시예와 같은 화면(400)을 보고 있다가 고개를 돌려 다른 방향을 쳐다봐서 썸네일(421, 431, 441) 중에서 어느 하나에 대응하는 영역으로의 이동을 지시할 수 있다. 또는, 도 6의 실시예와 같은 화면(400)을 보고 있다가 마우스 등과 같은 입력장치를 조작하여 썸네일(451, 452, 453) 중에서 어느 하나에 대응하는 영역으로의 이동을 지시할 수 있다.When the user of the omnidirectional
그러면, 제어부(220)는 디스플레이부(210)를 제어하여 썸네일(421, 431, 441)이나 썸네일(451, 452, 453) 중에서 사용자에 의해 선택된 썸네일에 대응하는 영역이 화면(400)의 제1 영역(410)에 표시되도록 한다. 이때, 제1 영역(410)에 표시될 썸네일에 대응하는 영상 데이터는 서버 장치(100)로부터 전송받거나 미리 전송받은 영상 데이터가 이용될 수 있다.The
다음으로, 전방위 영상 표시 장치(200)에서 전방위 영상 데이터를 대상으로 하여 소정의 이벤트를 검출하는 실시예에 대해 설명하기로 한다.Next, a description will be made of an embodiment in which a predetermined event is detected with respect to the omnidirectional image data in the omnidirectional
먼저, 서버 장치(100)는 특정 장소의 전방위 영상 데이터를 획득하고(S310), 획득된 전방위 영상 데이터를 통신망(10)을 통해 전방위 영상 표시 장치(200)에게 전송한다.First, the
그러면, 전방위 영상 표시 장치(200)에서는 제어부(220)의 제어에 따라 통신부(230)가 전방위 영상 데이터를 수신하며, 이렇게 수신된 전방위 영상 데이터는 제어부(220)의 제어에 따라 저장부(240)에 저장될 수 있다.The omnidirectional image data is received by the
이어서, 제어부(220)는 전방위 영상 데이터를 사용자의 시점에 대응하는 일부 영역의 일부 영상 데이터와 나머지에 해당하는 잔여 영상 데이터로 분류한다. 여기서, 제어부(220)는 도 3에 나타낸 바와 같이 사용자(1)를 중심으로 한 전방위 영상 데이터(300) 중에서 사용자(1)의 시점에 대응하는 일부 영역의 일부 영상 데이터(301)를 다른 영역의 영상 데이터들과 분리하게 된다(S320).Then, the
그리고, 제어부(220)의 제어에 따라 디스플레이부(210)는 도 3에 나타낸 바와 같이 사용자(1)를 중심으로 한 전방위 영상 데이터(300) 중에서 사용자(1)의 시점에 대응하는 일부 영역의 일부 영상 데이터(301)를 화면에 표시한다. 여기서, 사용자의 시점에 대응하는 일부 영상 데이터(301)는 도 5 및 도 6과 같은 화면(400)의 제1 영역(410)에 표시될 수 있다(S330).3, the
아울러, 제어부(220)는 전방위 영상 데이터 중에서 사용자의 시점에 대응하는 일부 영상 데이터가 제외된 영상 데이터, 즉 잔여 영상 데이터를 분석하여 잔여 영상 데이터 내에서 소정의 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터 및 이벤트에 대한 정보를 획득한다(S340). 예컨대, 도 3에 나타낸 바와 같이 일부 영상 데이터(301)에 대응하는 일부 영상을 제외한 잔여 영상에 대응하는 잔여 영상 데이터들 중에서 소정의 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터들(302, 303, 304)을 획득한다. 여기서, 획득하고자 하는 이벤트에 대한 설정 정보는 저장부(240)나 제어부(220)의 내부 메모리 등에 사전에 저장될 수 있다. 예컨대, 제어부(220)는 이벤트 검출 영상 데이터들(302, 303, 304)을 포함하는 잔여 영상 데이터를 분석하여 특정 인물이 영상에 등장하는 이벤트를 검출하거나 얼굴 인식 알고리즘을 통하여 특정 인물이 영상에 등장하는 이벤트를 검출할 수 있다. 예컨대, 이벤트 정보는 기 설정된 이벤트 검출 알고리즘에 의해 영상에서 실시간으로 추출될 수도 있고, 사전에 녹화된 영상을 재생하는 경우에는 미리 준비되어 영상에 포함된 메타데이터를 이용하여 획득할 수도 있다.In addition, the
여기서, 전방위 영상 표시 장치(200)의 제어부(220)가 영상 데이터를 분석하여 소정의 이벤트를 검출하는 시기는 특별히 한정되지 않는다. 예컨대, 단계 S310에서 전방위 영상 데이터를 획득한 후에 전방위 영상 데이터를 대상으로 하여 소정의 이벤트를 검출 할 수 있다. 또는, 단계 S330에서 화면에 표시되는 일부 영상 데이터가 전방위 영상 데이터에서 제외된 나머지 영상 데이터를 대상으로 하여 소정의 이벤트를 검출할 수도 있다.Here, the timing at which the
그리고, 제어부(220)는 앞서 획득된 이벤트 정보를 표시하도록 디스플레이부(210)를 제어하며, 디스플레이부(210)는 단계 S340에서 획득된 이벤트에 관한 정보를 화면에 표시하게 된다.The
예컨대, 디스플레이부(210)는 도 5와 같이 화면(400)의 제1 영역(410)에 출력 중인 영상 데이터에 중첩시켜서 이벤트에 관한 정보를 표시할 수 있다. 이때, 제1 영역(410)에 표시 중이던 일부 영상 데이터에 대응하는 일부 영역으로부터 이벤트 검출 영역과의 이격거리 또는 일부 영역에 대한 이벤트 검출 영역의 상대적 방향을 포함하는 관계 정보를 이벤트 검출 영역 데이터와 이벤트에 관한 정보 중 적어도 하나와 함께 표시할 수 있다(S350).For example, the
예컨대, 도 5에 나타낸 바와 같이 화면(400)의 제1 영역(410)에 출력 중인 영상에 중첩시켜 썸네일(421, 431, 441)과 화살표(422, 432, 442)를 표시할 수 있다. 썸네일(21, 431, 441)의 크기는 이격거리의 길이에 반비례하게 표시할 수 있고, 화살표(422, 432, 442)의 크기는 상대적 방향의 각도크기에 반비례하게 표시할 수 있다. 또는, 썸네일(421, 431, 441)을 텍스트로 대체하거나 썸네일(421, 431, 441)과 텍스트를 함께 표시할 수도 있다. 또, 썸네일(421, 431, 441)은 기 설정된 알고리즘에 의해 결정될 수 있는 이벤트의 흥미도 또는 중요도에 따라 그 크기와 선명도가 조절될 수 있다.For example,
또는, 도 6에 나타낸 바와 같이 화면(400)의 제1 영역(410)이 아닌 제2 영역(450)에 썸네일(451, 452, 453)을 리스트 형태로 표시할 수도 있다. 도 5와 마찬가지로 썸네일(451, 452, 453)을 텍스트로 대체하거나 썸네일(451, 452, 453)과 텍스트를 함께 표시할 수도 있으며, 썸네일(421, 431, 441)은 기 설정된 알고리즘에 의해 결정될 수 있는 이벤트의 흥미도 또는 중요도에 따라 그 크기와 선명도가 조절될 수 있다.Alternatively, the
여기서, 전방위 영상 표시 장치(200)의 사용자는 VR 장치를 사용하는 경우에 도 5의 실시예와 같은 화면(400)을 보고 있다가 고개를 돌려 다른 방향을 쳐다봐서 썸네일(421, 431, 441) 중에서 어느 하나에 대응하는 영역으로의 이동을 지시할 수 있다. 또는, 도 6의 실시예와 같은 화면(400)을 보고 있다가 마우스 등과 같은 입력장치를 조작하여 썸네일(451, 452, 453) 중에서 어느 하나에 대응하는 영역으로의 이동을 지시할 수 있다.When the user of the omnidirectional
그러면, 제어부(220)는 디스플레이부(210)를 제어하여 썸네일(421, 431, 441)이나 썸네일(451, 452, 453) 중에서 사용자에 의해 선택된 썸네일에 대응하는 영역이 화면(400)의 제1 영역(410)에 표시되도록 한다.The
지금까지 살펴본 바와 같이, 본 발명의 실시예에 따르면 전방위 영상 중에서 사용자가 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트를 사용자가 용이하게 인지할 수 있도록 표시하여 준다.As described above, according to the embodiment of the present invention, the user can easily recognize an event occurring in another part of the omnidirectional image other than the area viewed by the user.
따라서, 사용자가 자신이 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트에 대한 인지성이 향상되며, 이벤트가 발생한 해당 영역의 영상을 그만큼 쉽게 감상할 수 있다.Accordingly, the user is more aware of events occurring in other areas than the area he / she is viewing, and can easily appreciate the images of the corresponding areas where the events occur.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Each block of the block diagrams attached hereto and combinations of steps of the flowchart diagrams may be performed by computer program instructions. These computer program instructions may be loaded into a processor of a general purpose computer, special purpose computer, or other programmable data processing apparatus so that the instructions, which may be executed by a processor of a computer or other programmable data processing apparatus, And means for performing the functions described in each step are created. These computer program instructions may also be stored in a computer usable or computer readable memory capable of directing a computer or other programmable data processing apparatus to implement the functionality in a particular manner so that the computer usable or computer readable memory It is also possible for the instructions stored in the block diagram to produce a manufacturing item containing instruction means for performing the functions described in each block or flowchart of the block diagram. Computer program instructions may also be stored on a computer or other programmable data processing equipment so that a series of operating steps may be performed on a computer or other programmable data processing equipment to create a computer- It is also possible that the instructions that perform the processing equipment provide the steps for executing the functions described in each block of the block diagram and at each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Also, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments, the functions mentioned in the blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially concurrently, or the blocks or steps may sometimes be performed in reverse order according to the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.
본 발명의 실시예에 의하면, 전방위 영상 중에서 사용자가 보고 있는 영역 이외에 다른 부분에서 발생한 이벤트를 사용자가 용이하게 인지할 수 있도록 표시하여 주어서 이벤트가 발생한 해당 영역의 영상을 그만큼 쉽게 감상할 수 있다. 이러한 본 발명은 VR HMD나 스마트폰 등을 활용하는 가상현실 및 증강현실 기술분야에 이용할 수 있다.According to the embodiment of the present invention, the user can easily recognize the event occurring in another part of the omnidirectional image in addition to the area viewed by the user, thereby easily viewing the image of the corresponding area in which the event occurs. The present invention can be applied to a virtual reality and augmented reality technology field utilizing a VR HMD or a smart phone.
100 : 서버 장치 200 : 전방위 영상 표시 장치
210 : 디스플레이부 220 : 제어부
230 : 통신부 240 : 저장부
250 : 인터페이스부100: server device 200: omnidirectional image display device
210: display unit 220:
230: communication unit 240: storage unit
250:
Claims (8)
전방위 영상 중에서 일부 영역에 대응하는 일부 영상 데이터를 상기 전방위 영상 표시 장치의 제1 영역에 표시하는 단계와,
상기 전방위 영상 중 상기 일부 영역을 제외한 잔여 영역 내에서 소정의 이벤트가 검출된 경우에, 상기 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터와 상기 이벤트에 대한 정보 중 적어도 하나를 상기 제1 영역 또는 상기 전방위 영상 표시 장치의 제2 영역에 표시하는 단계를 포함하는
전방위 영상 표시 방법.A method of displaying an image by an omni-directional image display device,
Displaying, in a first area of the omnidirectional image display device, part of image data corresponding to a part of the omnidirectional image;
Detecting at least one of event detection video data corresponding to an event detection area in which the event is detected and information about the event in a case where a predetermined event is detected in a remaining area of the omni- Area or a second area of the omnidirectional image display device
Omni image display method.
상기 일부 영역으로부터 상기 이벤트 검출 영역과의 이격거리 또는 상기 일부 영역에 대한 상기 이벤트 검출 영역의 상대적 방향을 포함하는 관계 정보를 상기 이벤트 검출 영상 데이터와 상기 이벤트에 대한 정보 중 적어도 하나와 함께 표시하는
전방위 영상 표시 방법.The method according to claim 1,
And displays relationship information including at least one of the event detection image data and the event information together with at least one of the event detection image data and the event information including the distance from the event detection area to the partial area or the relative direction of the event detection area to the partial area
Omni image display method.
상기 전방위 영상 표시 장치와 통신망으로 연결된 서버 장치로부터 상기 이벤트에 관한 정보를 수신하는 단계를 더 포함하는
전방위 영상 표시 방법.The method according to claim 1,
Further comprising receiving information on the event from a server device connected to the omnidirectional video display device through a communication network
Omni image display method.
상기 전방위 영상 표시 장치와 통신망으로 연결된 서버 장치로부터 상기 전방위 영상에 대응하는 전방위 영상 데이터를 수신하는 단계를 더 포함하며,
상기 이벤트는 상기 전방위 영상 데이터에 대한 분석을 통해 검출되거나 상기 전방위 영상 데이터에 포함된 메타데이터를 이용하여 검출되는
전방위 영상 표시 방법.The method according to claim 1,
Further comprising receiving omni-directional image data corresponding to the omni-directional image from a server device connected to the omni-directional image display device through a communication network,
The event may be detected through analysis of the omnidirectional image data or detected using metadata included in the omnidirectional image data
Omni image display method.
전방위 영상 중에서 일부 영역에 대응하는 일부 영상 데이터를 표시하는 디스플레이부와,
상기 디스플레이부를 제어하는 제어부를 포함하며,
상기 제어부는,
상기 일부 영상 데이터가 상기 전방위 영상 표시 장치의 제1 영역에 표시되도록 상기 디스플레이부를 제어하고, 상기 전방위 영상 중 상기 일부 영역을 제외한 잔여 영역 내에서 소정의 이벤트가 검출된 경우에, 상기 이벤트가 검출된 이벤트 검출 영역에 대응하는 이벤트 검출 영상 데이터와 상기 이벤트에 대한 정보 중 적어도 하나가 상기 제1 영역 또는 상기 전방위 영상 표시 장치의 제2 영역에 표시되도록 상기 디스플레이부를 제어하는
전방위 영상 표시 장치.As an omni-directional video display device,
A display unit for displaying some image data corresponding to a part of the omni-directional image,
And a control unit for controlling the display unit,
Wherein,
Controlling the display unit to display the partial image data in a first area of the omnidirectional image display apparatus, and when a predetermined event is detected in a remaining area excluding the partial area of the omnidirectional image, And controls the display unit such that at least one of the event detection video data corresponding to the event detection area and the event information is displayed in the first area or the second area of the omnidirectional video display device
Omnidirectional image display device.
상기 제어부는,
상기 일부 영역으로부터 상기 이벤트 검출 영역과의 이격거리 또는 상기 일부 영역에 대한 상기 이벤트 검출 영역의 상대적 방향을 포함하는 관계 정보가 상기 이벤트 검출 영상 데이터와 상기 이벤트에 대한 정보 중 적어도 하나와 함께 표시되도록 상기 제어부를 제어하는
전방위 영상 표시 장치.6. The method of claim 5,
Wherein,
A relationship information including a distance between the partial area and the event detection area or a relative direction of the event detection area with respect to the partial area is displayed together with at least one of the event detection image data and the event information, The control unit
Omnidirectional image display device.
서버 장치로부터 통신망을 통해 데이터를 수신하는 통신부를 더 포함하며,
상기 제어부는,
상기 서버 장치로부터 상기 이벤트에 대한 정보를 수신하도록 상기 통신부를 제어하는
전방위 영상 표시 장치.6. The method of claim 5,
Further comprising a communication unit for receiving data from a server apparatus via a communication network,
Wherein,
And controls the communication unit to receive information on the event from the server apparatus
Omnidirectional image display device.
서버 장치로부터 통신망을 통해 데이터를 수신하는 통신부를 더 포함하며,
상기 제어부는,
상기 전방위 영상 데이터를 상기 서버 장치로부터 수신하도록 상기 통신부를 제어하고,
상기 전방위 영상 데이터에 대한 분석을 통해 또는 상기 전방위 영상 데이터에 포함된 메타데이터를 이용하여 상기 잔여 영역 내에서 상기 이벤트를 검출하는
전방위 영상 표시 장치.6. The method of claim 5,
Further comprising a communication unit for receiving data from a server apparatus via a communication network,
Wherein,
Controls the communication unit to receive the omnidirectional video data from the server apparatus,
And detecting the event in the remaining region through analysis of the omnidirectional image data or using metadata included in the omnidirectional image data
Omnidirectional image display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160140786A KR102098225B1 (en) | 2016-10-27 | 2016-10-27 | Omnidirectional image display apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160140786A KR102098225B1 (en) | 2016-10-27 | 2016-10-27 | Omnidirectional image display apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180046044A true KR20180046044A (en) | 2018-05-08 |
| KR102098225B1 KR102098225B1 (en) | 2020-04-07 |
Family
ID=62187494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160140786A KR102098225B1 (en) | 2016-10-27 | 2016-10-27 | Omnidirectional image display apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102098225B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019231269A1 (en) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | Method and apparatus for providing user interface for plurality of viewpoints in 360-degree content |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120017783A (en) * | 2010-08-20 | 2012-02-29 | 한국과학기술원 | Method and apparatus for presenting location information on augmented reality |
| KR20120122258A (en) * | 2011-04-28 | 2012-11-07 | 주식회사 네오콤 | Multi vision dom camera |
| KR20150101612A (en) * | 2014-02-27 | 2015-09-04 | 엘지전자 주식회사 | Head Mounted Display with closed-view and Method for controlling the same |
| KR20160063871A (en) * | 2014-11-27 | 2016-06-07 | 현대오트론 주식회사 | Augmented reality navigation apparatus for providing route guide service and method thereof |
| KR101639275B1 (en) | 2015-02-17 | 2016-07-14 | 서울과학기술대학교 산학협력단 | The method of 360 degrees spherical rendering display and auto video analytics using real-time image acquisition cameras |
-
2016
- 2016-10-27 KR KR1020160140786A patent/KR102098225B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120017783A (en) * | 2010-08-20 | 2012-02-29 | 한국과학기술원 | Method and apparatus for presenting location information on augmented reality |
| KR20120122258A (en) * | 2011-04-28 | 2012-11-07 | 주식회사 네오콤 | Multi vision dom camera |
| KR20150101612A (en) * | 2014-02-27 | 2015-09-04 | 엘지전자 주식회사 | Head Mounted Display with closed-view and Method for controlling the same |
| KR20160063871A (en) * | 2014-11-27 | 2016-06-07 | 현대오트론 주식회사 | Augmented reality navigation apparatus for providing route guide service and method thereof |
| KR101639275B1 (en) | 2015-02-17 | 2016-07-14 | 서울과학기술대학교 산학협력단 | The method of 360 degrees spherical rendering display and auto video analytics using real-time image acquisition cameras |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019231269A1 (en) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | Method and apparatus for providing user interface for plurality of viewpoints in 360-degree content |
| WO2019231178A1 (en) * | 2018-06-01 | 2019-12-05 | 엘지전자 주식회사 | Method and device for transmitting and receiving metadata about plurality of viewpoints |
| CN111727605A (en) * | 2018-06-01 | 2020-09-29 | Lg电子株式会社 | Method and apparatus for transmitting and receiving metadata regarding multiple viewpoints |
| CN111727605B (en) * | 2018-06-01 | 2022-09-13 | Lg电子株式会社 | Method and apparatus for transmitting and receiving metadata regarding multiple viewpoints |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102098225B1 (en) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3754592B1 (en) | Image acquisition device and method of controlling the same | |
| US11445167B2 (en) | Display control apparatus, display control method, and storage medium | |
| EP3179338B1 (en) | Hybrid reality based object interaction and control | |
| US20240037712A1 (en) | Image acquisition device and method of controlling the same | |
| US9807300B2 (en) | Display apparatus for generating a background image and control method thereof | |
| JP6403687B2 (en) | Monitoring system | |
| JP2013076924A5 (en) | ||
| WO2017169369A1 (en) | Information processing device, information processing method, program | |
| CN108965656B (en) | Display control apparatus, display control method, and storage medium | |
| JP7182865B2 (en) | Display control device, display control method, and program | |
| JP2017162103A (en) | Inspection work support system, inspection work support method, and inspection work support program | |
| US20170364724A1 (en) | Image processing apparatus, image processing method, and image processing system | |
| KR20210104979A (en) | apparatus and method for multi-channel image back-up based on event, and network surveillance camera system including the same | |
| JP2016092693A (en) | Imaging apparatus, imaging apparatus control method, and program | |
| JP5677055B2 (en) | Surveillance video display device | |
| WO2018168823A1 (en) | Image processing device and electronic equipment | |
| JP2016081428A (en) | Information terminal, information processing device, and program | |
| KR20180046044A (en) | Omnidirectional image display apparatus and method | |
| JP2012054891A (en) | Image processing apparatus, method, and program | |
| JP6261191B2 (en) | Display control apparatus, display control method, and program | |
| KR101619953B1 (en) | Method for image processing of surveilance camera by using auto multi-tracing | |
| KR20180085432A (en) | System for Performing Linkage Operation of Augmented Reality and Event in Association with Camera and Driving Method Thereof | |
| JP6621165B2 (en) | Image display device, image display method, and image display program | |
| KR101749679B1 (en) | Three-dimensional shape generation system of the target track with the capture image and method thereof | |
| JP6689492B2 (en) | Terminal device, data processing system and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |