KR101443327B1 - A real time rendering 3d object interactive multi-vision system and method for processing a real time rendering 3d object - Google Patents
A real time rendering 3d object interactive multi-vision system and method for processing a real time rendering 3d object Download PDFInfo
- Publication number
- KR101443327B1 KR101443327B1 KR1020130000362A KR20130000362A KR101443327B1 KR 101443327 B1 KR101443327 B1 KR 101443327B1 KR 1020130000362 A KR1020130000362 A KR 1020130000362A KR 20130000362 A KR20130000362 A KR 20130000362A KR 101443327 B1 KR101443327 B1 KR 101443327B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- real
- unit
- event
- time rendering
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템 및 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법에 관한 것이다.
본 발명의 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법, 하나의 전체 화면을 분할한 분할 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 복수의 디스플레이 유닛마다 사전에 할당하여 저장하는 단계; 상기 복수의 디스플레이 유닛들이 상기 저장된 분할 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 동기화하여 표시하는 단계; 상기 복수의 디스플레이 유닛들 중 적어도 하나에서 사용자로부터 UX이벤트를 입력받는 단계; 및 상기 입력된 UX이벤트에 따라 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 복수의 디스플레이 유닛에서 표현되는 실시간 렌더링 3D 화면을 복수의 디스플레이 유닛들 간에 표시되는 화면의 재생빈도마다 밀리초 단위의 정밀도를 가지고 동기를 맞추어 표시할 수 있고, 멀티 디스플레이 환경에서 전체적인 화면의 어긋남이 없이 정확하게 표시할 수 있다. 나아가, 전체 표시 화면의 어긋남이 없이 정확한 화면 표시가 유지되면서 수십, 수백 개 이상의 디스플레이 유닛에서 최고 수준의 해상도로 화면 표시가 가능하도록 용이하게 확장할 수 있다.The present invention relates to a real-time rendering 3D object interactive multi-vision system and a real-time rendering 3D object processing method of the multi-vision system.
A method for real-time rendering 3D object processing of a multivision system according to the present invention, a method for previously allocating and storing divided image data or real-time rendering object data obtained by dividing one full screen into a plurality of display units; Synchronizing and displaying the stored divided image data or real-time rendering object data by the plurality of display units; Receiving a UX event from a user in at least one of the plurality of display units; And displaying image data or real-time rendering object data according to the input UX event.
According to the present invention, a real-time rendering 3D screen represented by a plurality of display units can be displayed synchronized with the accuracy of a unit of milliseconds for each refresh rate of a screen displayed between a plurality of display units, The display can be accurately displayed without a shift of the screen. Furthermore, the display screen can be easily expanded without failing to display the entire display screen, so that screen display can be performed at the highest resolution in tens or hundreds of display units.
Description
본 발명은 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3D 오브젝트 처리방법에 관한 것으로, 복수의 상호 독립적인 디스플레이 유닛에서 표시되는 실시간 렌더링 3D 화면을 디스플레이 유닛들 간의 화면을 동기화(Synchronization)하여 표현할 수 있는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템에 관한 것이다.The present invention relates to a real-time rendering 3D object interactive multivision system and a real-time rendering 3D object processing method thereof, in which a real-time rendering 3D screen displayed on a plurality of mutually independent display units is synchronized and displayed Time interactive 3D object interactive multi-vision system.
멀티비전(Multivision)이란 복수의 디스플레이 유닛 상에서 하나의 전체 화면 또는 각기 다른 화면을 표시해 주는 장치이다. 멀티비전은 기술적 제약이나 비용의 한계를 넘는 크기의 영상을 표현하기 위해서, 작은 크기의 영상 표시유닛들을 모아서 배치하고 전체 영상의 각 부분들을 분할한 뒤 각각의 장치를 통해서 표시하는 방법을 사용한다.Multivision is a device that displays one full screen or a different screen on a plurality of display units. Multivision uses a method of collecting and arranging small-sized image display units, dividing each part of the whole image, and displaying the images through each device, in order to express an image having a size exceeding the technical constraints or cost limitations.
멀티비전을 구현하기 위해서는 단일 영상 신호 발생장치에서 나오는 전기적인 영상 신호를 하드웨어적으로 분배하여 여러 개의 개별 디스플레이 유닛을 위한 전기적인 영상 신호를 만드는 방법을 사용하거나, 개별 디스플레이 유닛마다 상호 독립적인 영상 신호 발생 장치를 직접 연결하고, 각각의 영상 신호 발생 장치의 제어를 담당하는 시스템끼리 네트워크로 연결하여 연동하는 방법을 사용할 수 있다.In order to realize multi-vision, a method of generating an electrical image signal for a plurality of individual display units by distributing an electrical image signal generated from a single image signal generator by hardware is used. Alternatively, It is possible to use a method in which the generating apparatus is directly connected and the systems responsible for the control of the respective video signal generating apparatuses are interconnected by a network connection.
개별 디스플레이 유닛 혹은 소수의 디스플레이 유닛마다 독립적인 영상 신호 발생기를 사용하고, 그 제어 시스템끼리 네트워크로 연동하는 경우에는 전체 영상 크기의 영상 신호를 만들거나 이 신호를 개별 표시장치를 위한 신호로 분배하는 하드웨어 장치를 만들 필요가 없기 때문에 백여 개 이상의 표시장치를 모아서 거대한 디스플레이를 구성하는 것이 가능해 진다.An independent video signal generator is used for each display unit or a small number of display units, and when the control systems are interlocked with each other over a network, a video signal of a full image size is generated, or the signal is distributed as a signal for an individual display device Since there is no need to make a device, it is possible to gather more than a hundred display devices to construct a huge display.
이러한 종래의 멀티비전은 제작된 영상물의 전체 영상을 개별 또는 분할해 각 디스플레이 유닛에 스케쥴에 따라 단순 재생하는 하는 것에 불과하고 하였다. This conventional multivision is merely a simple reproduction of the entire image of the produced video material by dividing it into individual screens or dividing it into display units.
본 발명의 목적은 3D 오브젝트들을 실시간으로 렌더링하여 멀티비전 형태로 표현할 수 있는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3D 오브젝트 처리방법을 제공하는 것이다.An object of the present invention is to provide a real-time rendering 3D object interactive multi-vision system capable of rendering 3D objects in real time and displaying them in a multi-vision form, and a real-time rendering 3D object processing method thereof.
본 발명의 다른 목적은 실시간 렌더링 3D 오브젝트 프로그램과 사용자 입력에 따라 실시간으로 변화하는 화면을 화상의 불일치가 발생하지 않고 정확하게 동기화되어 표현할 수 있는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3D 오브젝트 처리방법을 제공하는 것이다.Another object of the present invention is to provide a real-time 3D object program and a real-time rendering system capable of expressing in real time synchronized images in real time without any inconsistency of images, Method.
본 발명의 또 다른 목적은 독립적인 다양한 플랫폼 디바이스들과 통신하고 상호작용하여 플랫폼 디바이스와 멀티비전으로 표현하는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3D 오브젝트 처리방법을 제공하는 것이다.It is another object of the present invention to provide a real-time rendering 3D object interactive multi-vision system communicating with and interacting with various platform devices independent of each other and representing the platform device in multi-vision, and a real-time rendering 3D object processing method thereof.
본 발명의 또 다른 목적은 멀티비전을 구성하는 디스플레이 유닛의 수를 충분히 확장하더라도 높은 수준의 해상도를 유지할 수 있는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3D 오브젝트 처리방법을 제공하는 것이다.Another object of the present invention is to provide a real-time rendering 3D object interactive multi-vision system and a real-time rendering 3D object processing method thereof, which can maintain a high level of resolution even if the number of display units constituting the multivision is sufficiently expanded.
본 발명의 과제를 해결하기 위한 멀티비전용 디스플레이 유닛은, 하나의 전체 화면 중 일부에 해당하는 분할 영상데이터를 처리하는 영상처리부; 입력된 UX이벤트를 처리하는 UX이벤트 처리부; 실시간 렌더링 오브젝트 데이터를 만드는 오브젝트 처리부; 상기 실시간 렌더링 오브젝트 데이터와 분할 영상데이터를 겹쳐진 화면으로 표현하는 마스킹 영상 인코딩부; 다른 디스플레이 유닛 또는 서버와 통신데이터를 송수신하는 통신부; 상기 다른 디스플레이 유닛과의 동기화를 위한 타이머; 및 상기 영상처리부, UX이벤트 처리부, 오브젝트 처리부, 마스킹 영상 인코딩부, 및 통신부 중 적어도 하나를 제어하기 위한 제어부를 포함하여 구성할 수 있다.According to an aspect of the present invention, there is provided a multi-purpose display unit including: an image processing unit for processing divided image data corresponding to a part of one full screen; A UX event processing unit for processing the input UX event; An object processing unit for creating real-time rendering object data; A masking image encoding unit for rendering the real-time rendering object data and the divided image data in a superimposed screen; A communication unit for communicating communication data with another display unit or a server; A timer for synchronization with the other display unit; And a control unit for controlling at least one of the image processing unit, the UX event processing unit, the object processing unit, the masking image encoding unit, and the communication unit.
상기 멀티비전용 디스플레이 유닛은 하나의 전체 화면 중 일부에 해당하는 분할 영상데이터 또는 상기 실시간 렌더링 오브젝트 데이터를 사전에 저장하는 저장부를 더 포함할 수 있다.The multi-dedicated display unit may further include a storage unit for previously storing the divided image data or the real-time rendering object data corresponding to a part of one full screen.
상기 멀티비전용 디스플레이 유닛은, 상기 UX이벤트를 입력하는 UX이벤트 입력부를 더 포함할 수 있다.The multi-dedicated display unit may further include a UX event input unit for inputting the UX event.
상기 멀티비전용 디스플레이 유닛은, 오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 오브젝트 인공지능 시뮬레이터를 더 포함할 수 있다.The multi-purpose private display unit may further include an object artificial intelligent simulator for simulating state values according to usage, size, and characteristics of the objects to generate unformed continuous state values.
상기 멀티비전용 디스플레이 유닛의 제어부는, 영상처리부를 제어하는 영상제어부; 상기 그래픽처리부를 제어하는 그래픽제어부; 실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어하는 오브젝트 제어부; 복수의 디스플레이 유닛에서 다양한 인터페이스를 통해 입력받은 데이터 값을 다른 각각의 디스플레이 유닛에 동기화시킬 데이터로 만들고 제어하는 UX이벤트 제어부; 및 외부의 시스템 또는 다른 플랫폼 장치와 통신하여 수신한 오브젝트 상태값을 제어하는 통신제어부 중 적어도 하나를 포함할 수 있다.The control unit of the multi-dedicated display unit may further include: a video control unit for controlling the video processing unit; A graphic control unit for controlling the graphic processing unit; An object control unit for controlling at least one of creation, deletion, position, movement, inter-object interference, start time, duration, image presentation method, playback speed, and frame number information of a real-time 3D object screen; A UX event control unit for generating and controlling data values received through various interfaces in a plurality of display units to be synchronized with each of the other display units; And a communication control unit for controlling the received object state value by communicating with an external system or another platform device.
상기 멀티비전용 디스플레이 유닛에서, 상기 통신데이터는 동기신호 데이터, 오브젝트 데이터, 영상 데이터, 그래픽 데이터, 및 UX이벤트 데이터 중 적어도 하나를 포함할 수 있다.In the multi-dedicated display unit, the communication data may include at least one of synchronization signal data, object data, video data, graphic data, and UX event data.
상기 멀티비전용 디스플레이 유닛에서, 상기 통신데이터는 네트워크에 연결된 다른 플랫폼과 송수신되는 것이 바람직하다.In the multi-dedicated display unit, the communication data is preferably transmitted to and received from another platform connected to the network.
본 발명의 일실시예에 따른 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템은 청구항 제 1항 내지 제7항 중 어느 한 항에 기재된 디스플레이 유닛들 다수를 서로 통신 가능하도록 결합하여 이루어지는 것을 특징으로 한다.A real-time rendering 3D object interactive multivision system according to an embodiment of the present invention is characterized in that a plurality of display units according to any one of
상기 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템에서, 다수의 디스플레이 유닛들은 동기화 서버를 통하여 결합되는 것이 바람직하다.In the real-time rendered 3D object interactive multivision system, the plurality of display units are preferably coupled through a synchronization server.
상기 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템의 동기화 서버는, 각 디스플레이 유닛과 통신데이터를 송수신하는 서버통신부; 각 디스플레이 유닛과 동기화를 위한 서버 타이머; 및 각 디스플레이 유닛의 동기 정보를 생성하는 서버 동기정보 생성부를 포함할 수 있다.Wherein the synchronization server of the real-time 3D object interactive multivision system comprises: a server communication unit for transmitting and receiving communication data to and from each display unit; A server timer for synchronization with each display unit; And a server synchronization information generator for generating synchronization information of each display unit.
상기 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템은, 실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어하는 오브젝트 제어부; 복수의 디스플레이 유닛에서 다양한 인터페이스를 통해 입력받은 데이터 값을 다른 각각의 디스플레이 유닛에 동기화시킬 데이터로 만들고 제어하는 UX이벤트 제어부; 및 연결된 각 디스플레이 유닛 또는 외부 플랫폼 디바이스와 통신하여 주고 받은 오브젝트 상태값을 제어하는 통신제어부 중 적어도 하나를 포함할 수 있다.The real-time rendering 3D object interactive multivision system is a 3D object interactive multi-vision system for generating and deleting objects constituting a real-time rendered 3D object screen, a location, a movement, inter-object interference, start time, duration, An object control unit for controlling at least one of the objects; A UX event control unit for generating and controlling data values received through various interfaces in a plurality of display units to be synchronized with each of the other display units; And a communication control unit for controlling the object state values communicated with the respective display units or the external platform devices connected and connected.
상기 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템의 동기화 서버는 오브젝트들의 용도, 크기와 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 오브젝트의 인공지능 시뮬레이터를 더 포함할 수 있다.The synchronization server of the real-time rendered 3D object interactive multivision system may further include an artificial intelligence simulator of an object that simulates state values according to usage, size, and characteristics of the objects to create unformed continuous state values.
본 발명의 일실시예에 따른 멀티비전의 실시간 렌더링 3D 오브젝트 처리방법은, 하나의 전체 화면을 분할한 분할 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 복수의 디스플레이 유닛마다 사전에 할당하여 저장하는 단계; 상기 복수의 디스플레이 유닛들이 상기 저장된 분할 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 동기화하여 표시하는 단계; 상기 복수의 디스플레이 유닛들 중 적어도 하나에서 사용자로부터 UX이벤트를 입력받는 단계; 및 상기 입력된 UX이벤트에 따라 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 표시하는 단계를 포함할 수 있다.The 3D object processing method of multi-vision according to an embodiment of the present invention includes: pre-allocating and storing divided image data or real-time rendering object data obtained by dividing one full screen for each of a plurality of display units; Synchronizing and displaying the stored divided image data or real-time rendering object data by the plurality of display units; Receiving a UX event from a user in at least one of the plurality of display units; And displaying image data or real-time rendering object data according to the input UX event.
상기 멀티비전의 실시간 렌더링 3D 오브젝트 처리방법은, 상기 입력받은 UX이벤트가 다른 디스플레이 유닛과 관계되어 있는지를 판단하는 단계를 더 포함할 수 있다.The multi-vision real-time rendering 3D object processing method may further include determining whether the input UX event is related to another display unit.
상기 멀티비전의 실시간 렌더링 3D 오브젝트 처리방법은, 상기 UX이벤트가 입력된 디스플레이 유닛으로부터 UX이벤트와 관련된 디스플레이 유닛에 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나를 전송하는 단계를 더 포함할 수 있다.The multi-vision real-time rendering 3D object processing method includes transmitting at least one of synchronization information data, image data, real-time rendering object data, and UX event data to a display unit associated with a UX event from a display unit to which the UX event is input Step < / RTI >
상기 멀티비전의 실시간 렌더링 3D 오브젝트 처리방법은, 네트워크에 연결된 다른 플랫폼 또는 다른 디스플레이 유닛으로부터 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나를 수신하는 단계를 더 포함할 수 있다.The multi-vision real-time rendering 3D object processing method may further include receiving at least one of synchronization information data, image data, real-time rendering object data, and UX event data from another platform or another display unit connected to the network have.
상기 멀티비전의 실시간 렌더링 3D 오브젝트 처리방법에서, 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나는 동기 서버를 경유하여 전송 또는 수신할 수 있다. In the multi-vision real-time rendering 3D object processing method, at least one of synchronization information data, image data, real-time rendering object data, and UX event data may be transmitted or received via a synchronization server.
본 발명에 따른 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템에 의하면, 복수의 디스플레이 유닛에서 표현되는 실시간 렌더링 3D 화면을 복수의 디스플레이 유닛들 간에 표시되는 화면의 재생빈도마다 밀리 초 단위의 정밀도를 가지고 동기를 맞추어 표시할 수 있어, 멀티 디스플레이 환경에서 전체적인 화면의 어긋남이 없이 정확하게 표시할 수 있다. According to the real-time rendering 3D object interactive multivision system of the present invention, a real-time rendering 3D screen represented by a plurality of display units is synchronized with a precision of millisecond for each refresh rate of a screen displayed between a plurality of display units So that it is possible to precisely display the image without deviating the entire screen in a multi-display environment.
또한, 전체 표시 화면의 어긋남이 없이 정확한 화면 표시가 유지되면서 수십, 수백 개 이상의 디스플레이 장치에서 화면 표시가 구동되도록 용이하게 확장할 수 있다.In addition, it is possible to easily expand the screen display so as to be driven by several tens or hundreds of display apparatuses while maintaining accurate screen display without shifting the entire display screen.
또한, 본 발명의 멀티비전 시스템은 구성되는 각 디스플레이 유닛마다 사전에 표시할 영상 데이터(오브젝트)를 사전에 할당하여 저장한 후에 이를 표시하기 때문에, 멀티비전 시스템을 수십, 수백 개 이상의 디스플레이 유닛으로 구성하더라도 최고 수준의 해상도로 표현하는 것이 가능하다.Further, since the multivision system according to the present invention pre-allocates and stores image data (objects) to be displayed in advance for each display unit to be configured, the multivision system is configured to include several tens or hundreds of display units It is possible to display it at the highest resolution.
또한, 사용자는 제한된 디스플레이 영역에서 조작하는 한계에서 벗어나 복수의 다중 디스플레이 유닛들을 단일 디스플레이 장치처럼 조작이 가능해 진다.In addition, the user is able to manipulate a plurality of multiple display units like a single display device, out of the limit of operating in a limited display area.
또한, 개별 혹은 다수의 독립적인 디스플레이 유닛 장치마다 다양한 인터페이스를 배치하여 복수의 다중 디스플레이 유닛에서 동시에 다중 사용자가 다양한 인터페이스와 상호작용하는 시스템을 구성할 수 있다.In addition, it is possible to arrange various interfaces for individual or a plurality of independent display unit devices, thereby configuring a system in which multiple users simultaneously interact with various interfaces in a plurality of multiple display units.
또한, 다양한 플랫폼의 디바이스들과 연동되어 그 디바이스를 사용하는 사용자와 상호작용하는 시스템을 구성할 수 있다.It is also possible to construct a system that interacts with devices of various platforms and interacts with a user who uses the devices.
도 1은 본 발명에 따른 멀티비전용 디스플레이 유닛의 구성을 나타내는 블록도,
도 2는 본 발명에 따른 동기화 서버의 구성을 나타내는 블록도,
도 3은 본 발명의 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템에서 복수의 디스플레이 유닛과 동기화 서버 간의 데이터 흐름을 나타내는 흐름도,
도 4는 본 발명의 일실시예에 따른 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템의 구성을 나타내는 블록도,
도 5는 본 발명의 다른 실시예에 따른 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템의 구성을 나타내는 블록도, 및
도 6 및 도 7은 본 발명의 실시예에 따른 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법을 나타내는 순서도이다. 1 is a block diagram showing the configuration of a multi-dedicated display unit according to the present invention;
2 is a block diagram illustrating a configuration of a synchronization server according to the present invention;
3 is a flow chart showing data flow between a plurality of display units and a synchronization server in a real-time rendering 3D object interactive multi-vision system of the present invention;
FIG. 4 is a block diagram illustrating a configuration of a real-time rendering 3D object interactive multi-vision system according to an embodiment of the present invention;
5 is a block diagram illustrating a configuration of a real-time rendering 3D object interactive multi-vision system according to another embodiment of the present invention, and Fig.
6 and 7 are flowcharts illustrating a method of processing a 3D object in real-time rendering of a multi-vision system according to an embodiment of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 설명한다. 설명의 편의상 본 발명과 직접적으로 관련이 없는 부분은 생략하였고, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 부여하였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Parts which are not directly related to the present invention are omitted for convenience of description, and the same or similar components are denoted by the same reference numerals throughout the specification.
본 발명에 따른 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템은 예를 들면 다양한 인터페이스 및 다양한 플랫폼을 통한 사용자의 이벤트에 따라 오브젝트들이 반응하도록 구성한 스마트 아쿠아리움에 적용할 수 있다.The real-time rendering 3D object interactive multi-vision system according to the present invention can be applied to, for example, a smart aquarium configured to allow objects to respond to user's events through various interfaces and various platforms.
실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템은 각각 디스플레이 유닛(1)으로 구성된 복수의 클라이언트(#1-#n)들을 서로 통신가능하게 결합하여 구성할 수 있다. The real-time 3D object interactive multivision system can be configured by combining a plurality of clients (# 1- # n) each composed of the
복수의 클라이언트(#1-#n)들을 서로 통신가능하게 결합하는 방법은 도 4에 나타낸 바와 같이 클라이언트끼리 서로 연결하는 것과 도 5에 나타낸 바와 같이 동기화 서버(300)를 경유하여 클라이언트들을 결합하는 것이 가능하다.A method of communicably coupling a plurality of clients (# 1 - # n) to each other is as follows: connecting clients with each other as shown in FIG. 4 and connecting clients via a
복수의 클라이언트(#1-#n)들은 각각 표시할 영상 데이터와 오브젝트 데이터를 사전에 저장한 후 모든 클라이언트(#1-#n)들을 동기화시켜 표시할 수 있다. The plurality of clients (# 1- # n) can store the image data and the object data to be displayed in advance and display them in synchronization with all the clients (# 1- # n).
복수의 클라이언트(#1-#n)는 각각 하나의 전체 화면 중 일부에 해당하는 분할 화면을 할당하여 표시하는 복수의 디스플레이 유닛(1)을 포함할 수 있다.The plurality of clients (# 1- # n) may include a plurality of
도 1에 나타낸 바와 같이, 본 발명의 멀티비전용 디스플레이 유닛(1)은 다른 디스플레이 유닛(클라이언트#1-#n) 또는 서버(300)와 통신데이터를 송수신하는 통신부(110), 실시간 렌더링 오브젝트 데이터와 분할 영상데이터를 겹쳐진 화면으로 표현하는 마스킹 영상 인코딩부(120), 다른 디스플레이 유닛과의 동기화를 위한 타이머(130), 사용자로부터 UX이벤트(user experience event)를 입력받는 UX이벤트 입력부(140), UX이벤트 입력부(140)로부터 입력된 UX이벤트를 처리하는 UX이벤트 처리부(150), 실시간 렌더링 오브젝트 데이터를 만드는 오브젝트 처리부(160), 오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 오브젝트 인공지능 시뮬레이터(220), 입력되는 그래픽 데이터를 처리하는 그래픽 처리부(170), 하나의 전체 화면 중 일부에 해당하는 분할 영상데이터를 처리하는 영상처리부(180), 상기 하나의 전체 화면 중 일부에 해당하는 분할 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 사전에 저장하는 저장부(190), 영상처리부(180), UX이벤트 처리부(150), 오브젝트 처리부(160), 마스킹 영상 인코딩부(120), 및 통신부(110) 중 적어도 하나를 제어하기 위한 제어부(200), 처리된 실시간 렌더링 오브젝트 데이터와 분할 영상데이터를 화면으로 출력하는 출력부(210)를 포함하여 구성할 수 있다.1, the
통신부(110)는 다른 디스플레이 유닛(클라이언트 #2-#n), 동기화 서버(300), 예를 들면 스마트폰과 같은 다양한 플랫폼(미도시), 인터넷으로 연결된 사용자 컴퓨터 등과 통신데이터를 송수신할 수 있다.The
통신데이터는 동기신호 데이터, 오브젝트 데이터, 영상 데이터, 그래픽 데이터, 및 UX이벤트 데이터 중 적어도 하나를 포함할 수 있다.The communication data may include at least one of synchronization signal data, object data, image data, graphic data, and UX event data.
통신부(110)는 무선 인터넷 기술로서 WLAN (Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.The
통신부(110)는 근거리 통신기술로서 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 적용될 수 있다.The
통신부(110)는 HDMI(high definition multimedia interface), USB, 컴포넌트(component), LVDS 등의 규격에 따라 송수신할 수 있는 인터페이스가 적용될 수 있다.An interface capable of transmitting and receiving according to a standard such as a high definition multimedia interface (HDMI), a USB, a component, or an LVDS can be applied to the
마스킹 영상 인코딩부(120)는 저장부(190)에 저장된 분할 영상데이터와 실시간 렌더링 오브젝트 데이터를 중첩시켜 하나의 분할 화면으로 출력할 수 있도록 처리할 수 있다.The masking
또한, 마스킹 영상 인코딩부(120)는 통신부(110)를 통해 수신한 영상데이터와 실시간 렌더링 오브젝트 데이터를 중첩시켜 하나의 화면으로 출력할 수 있도록 처리할 수 있다.In addition, the masking
타이머(130)는 모든 클라이언트(#1-#n)들 및 동기화 서버를 동기화하기 위해 현재 디스플레이 유닛(1)의 시각 정보를 유지 관리할 수 있다. 타이머(130)는 네트워크를 통해 다른 클라이언트 또는 서버와 시각을 주고 교환하며, 네트워크 통신 중 지연요소 및 클라이언트 상태 지연요소를 측정하고 보상하여 시각을 다른 클라이언트 및 서버와 일치시킬 수 있다. The
UX이벤트 입력부(140)는 사용자의 명령을 입력하는 터치패널, 마우스, 키보드, 리모컨 등을 포함할 수 있다.The UX
UX이벤트 입력부(140)는 또한 와이파이(Wi-Fi), 블루투스 등과 같은 무선통신기술을 이용하여 연결된 스마트폰과 같은 모바일 장치를 포함할 수도 있다.The UX
UX이벤트 처리부(150)는 UX이벤트 입력부(140)에서 입력된 정해지지 않은 일정의 입출력 데이터 처리와 사용자 상호작용 처리를 위한 각종 인터페이스 입출력 데이터 처리를 수행한다. 즉, 사용자의 명령에 따라 UX이벤트를 처리하여 UX이벤트에 따른 오브젝트, 영상, 그래픽 등을 처리할 수 있다.The UX
물론, UX이벤트 처리부(150)는 통신부(110)를 통하여 입력된 UX이벤트를 처리하여 오브젝트, 영상, 그래픽 등을 처리할 수도 있다. Of course, the UX
오브젝트 처리부(160)는 저장부(190)에 저장된 또는 통신부(110)를 통해 입력된 오브젝트 데이터를 처리하여 출력부(210)를 통해 오브젝트가 출력될 수 있도록 한다.The
오브젝트 처리부(160)는 UX이벤트 처리부(150)에서 처리된 또는 통신부(110)를 통해 입력된 UX이벤트에 따라 오브젝트들을 처리할 수 있다.The
오브젝트 처리부(160)는 오브젝트 종류에 따라 정적(statics) 오브제트 처리부 및 동적(dynamic) 오브젝트 처리부를 포함할 수 있다.The
인공지능 시뮬레이터(220)는 UX이벤트 처리부(150)에서 처리된 UX이벤트에 따라 오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만들어 오브젝트 처리부(160)에 제공할 수 있다. The
또한, 인공지능 시뮬레이터(220)는 저장부(190)에 저장되거나 통신부(110)를 통하여 입력된 UX이벤트에 따라 오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만들어 오브젝트 처리부(160)에 제공할 수 있다.The
그래픽 처리부(170)는 UX이벤트 입력부(140) 또는 통신부(110)를 통해 입력되거나, 저장부(190)에 저장된 그래픽 데이터를 처리하여 출력부(210)에 제공할 수 있다.The
영상처리부(180)는 기본적으로 저장부(190)에 저장된 분할 영상데이터에 대해 기 설정된 다양한 영상처리과정을 수행한다. 상기 저장부(190)에 저장된 영상 데이터는 멀티비전에서 처리하는 하나의 전체 화면 중 할당된 일부에 해당하는 분할 영상 데이터로서 사전에 저장되어 다른 디스플레이 유닛들과 동기화하여 처리될 수 있다.The
영상처리부(180)는 이러한 프로세스가 수행된 영상 데이터를 출력부(210)에 출력함으로써, 출력부(210)에 해당 영상신호에 기초하는 영상이 표시되게 한다. 물론 영상처리부(180)는 연결된 디스플레이 유닛, 동기화 서버, 및 다른 플랫폼 디바이스로부터 입력되어 수신된 영상 데이터를 소정 프로세스로 처리할 수 있다. The
영상처리부(180)가 수행하는 신호처리의 종류는 한정되지 않는 바, 예를 들면 소정 신호를 각 특성별 신호로 분배하는 디멀티플렉싱(de-multiplexing), 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상 데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상 데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.The type of the signal processing performed by the
영상처리부(180)는 상기 프로세스를 수행하기 위한 다양한 칩셋(미도시), 메모리(미도시), 전자부품(미도시), 배선(미도시) 등의 회로 구성이 인쇄회로기판(미도시) 상에 실장된 영상처리보드(미도시)로 구현된다.The
저장부(190)는 하나의 전체 화면 중 할당된 일부에 해당하는 분할 영상 데이터, 실시간 렌더링 3D 오브젝트 데이터, 그래픽 데이터, 디스플레이 유닛(1)을 구동하기 위한 각종 프로그램 등을 저장할 수 있다.The
저장부(190)는 한정되지 않은 데이터가 저장된다. 저장부(250)는 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다. 저장부(190)는 제어부(200)에 의해 액세스되며, 이들에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행된다. The
제어부(200)는 CPU로 구성할 수 있고, 디스플레이 유닛(1)의 다양한 구성에 대한 제어동작을 수행한다. 예를 들면, 제어부(200)는 영상처리부(180)가 처리하는 영상 데이터 처리과정의 진행, 통신부(110)를 통한 신호/정보/데이터의 송수신 동작, 저장부(190)에 액세스하여 데이터의 독취/기록/수정/삭제/갱신 작업을 수행, UX이벤트 처리부(150)의 이벤트 처리과정, 오브젝트 처리부(1600의 오브젝트 처리과정, 그래픽 처리부(170)의 그래픽 처리과정 및 처리된 각종 데이터를 출력부(210)를 통해 출력하는 과정을 제어한다.The
도 1에는 편의상 하나의 제어부(200)로 각 구성 요소를 제어하는 것으로 표현하였지만, 각 구성 요소의 효율적인 제어를 위해 별도의 제어부를 개별적으로 구성할 수 있다. 제어부(200)는 예를 들면 영상처리부(180)를 제어하는 영상제어부(미도시), 상기 그래픽처리부(170)를 제어하는 그래픽제어부(미도시), 실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어하는 오브젝트 제어부(미도시), 복수의 디스플레이 유닛(10)에서 다양한 인터페이스를 통해 입력받은 데이터 값을 다른 각각의 디스플레이 유닛에 동기화시킬 데이터로 만들고 제어하는 UX이벤트 제어부(미도시) 및 외부의 시스템 또는 다른 플랫폼 디바이스와 통신하여 수신한 오브젝트 상태값을 제어하는 통신제어부(미도시) 중 적어도 하나를 포함할 수 있다.In FIG. 1, one component is controlled by one
출력부(210)는 상기 영상 처리부(180)로부터 처리되어 수신된 영상 데이터에 기초하여 영상을 표시한다. 출력부(210)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 패널로 구현될 수 있다.The
출력부(210)는 구현 방식에 따라서 부가적인 구성을 추가적으로 포함할 수 있다. 예를 들면, 출력부(210)는 액정 방식인 경우, 광을 공급하는 백라이트유닛(미도시)과, 표시패널(미도시)을 구동시키는 패널구동기판(미도시)을 포함할 수 있다.The
도 4에 나타낸 바와 같이 지금까지 설명한 디스플레이 유닛(1)들 다수를 상호 직접 연결하여 본 발명에 따른 실시간 랜터링 3D 오브젝트 인터렉티브 멀티비전 시스템을 구성할 수 있다.As shown in FIG. 4, a plurality of the
본 발명의 다른 실시예로서, 도 5에 나타낸 바와 같이 네트워크 허브(#1-#N)를 통하여 다수의 클라이언트(#1-#N+1…)를 서버에 연결할 수 있다.As another embodiment of the present invention, a plurality of clients (# 1- # N + 1 ...) can be connected to the server via the network hub (# 1- # N) as shown in FIG.
도 2는 도 5에 나타낸 동기화 서버(300)의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of the
동기화 서버(300)는 연결된 각 디스플레이 유닛(1) 또는 외부 플랫폼 디바이스(미도시)와 통신데이터를 송수신하는 서버통신부(320), 디스플레이 유닛들(1)의 동기화를 위해 서버 시각 정보를 유지 관리하는 서버 타이머(310), 디스플레이 유닛들(1)의 동기 정보를 생성하는 서버 동기정보 생성부(330), 실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어하는 서버 오브젝트 제어부(340), 복수의 디스플레이 유닛(1)에서 다양한 인터페이스를 통해 입력받은 데이터 값을 다른 각각의 디스플레이 유닛(1)에 동기화시킬 데이터로 만들고 제어하는 서버 UX이벤트 제어부(350), 연결된 각 디스플레이 유닛(1) 또는 외부 플랫폼 디바이스와 통신하여 주고 받은 오브젝트 상태값을 제어하는 서버 통신제어부(360), 및 오브젝트들의 용도, 크기와 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 서버 오브젝트의 인공지능 시뮬레이터(370)를 포함하여 구성할 수 있다.The
서버 타이머(310)는 모든 클라이언트(#1-#n)들 및 동기화 서버를 동기화하기 위해 현재 동기화 서버(300)의 시각 정보를 유지 관리할 수 있다. 서버 타이머(310)는 네트워크를 통해 다른 클라이언트(#1-#N)와 시각을 주고 교환하며, 네트워크 통신 중 지연요소 및 동기화 서버(300)의 상태 지연요소를 측정하고 보상하여 시각을 모든 클라이언트와 일치시킬 수 있다.The
서버통신부(320)는 모든 디스플레이 유닛(클라이언트 #1-#n), 예를 들면 스마트폰과 같은 다양한 플랫폼(미도시), 인터넷으로 연결된 사용자 컴퓨터 등과 통신데이터를 송수신할 수 있다.The
통신데이터는 동기신호 데이터, 오브젝트 데이터, 영상 데이터, 그래픽 데이터, 및 UX이벤트 데이터 중 적어도 하나를 포함할 수 있다.The communication data may include at least one of synchronization signal data, object data, image data, graphic data, and UX event data.
서버통신부(320)는 HDMI(high definition multimedia interface), USB, 컴포넌트(component), LVDS 등의 규격에 따라 송수신할 수 있는 인터페이스가 적용될 수 있다.The
서버통신부(320)는 무선 인터넷 기술로서 WLAN (Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수도 있다.The
서버통신부(320)는 근거리 통신기술로서 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 적용될 수도 있다.The
서버 동기정보 생성부(330)는 모든 클라이언트들(#1-#N)이 동기화하여 동영상 데이터, 그래픽 데이터, 오브젝트 데이터 등을 표현할 수 있도록 동기화 정보를 생성할 수 있다. The server synchronization
동기화 정보는 서버통신부(320)를 통하여 동기신호로서 통신데이터와 함께 각 클라이언트로 송수신될 수 있다.The synchronization information can be transmitted and received to each client together with communication data as a synchronization signal through the
서버 UX이벤트 제어부(350)는 외부의 플랫폼 디바이스 또는 각 클라이어언트(#1-#N)의 인터페이스 장치(A,B,C,D,E…)를 통하여 입력된 데이터를 각 클라이언트에 동기화시킬 데이터로 만들고 제어할 수 있다. The server UX
서버 오브젝트 제어부(340)는 실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어할 수 있다.The server
서버 통신제어부(360)는 서버통신부(320)를 제어하여 연결된 각 디스플레이 유닛(1) 또는 외부 플랫폼 디바이스와 통신하여 주고 받은 오브젝트 상태값을 제어할 수 있다.The server
서버 인공지능 시뮬레이터(370)는 서버 UX이벤트 제어부(350)에서 제공된 UX이벤트에 따라 오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만들어 오브젝트 제어부(340)에 제공할 수 있다.The server
이하 동기 서버(300)와 디스플레이 유닛(1)(클라이언트) 사이의 데이터 흐름을 도 3을 참조하여 설명하면 다음과 같다.Hereinafter, the data flow between the
디스플레이 유닛(1)과 동기 서버(300)는 서버 연결신호를 주고 받아 서로 연결될 수 있다. 이때, 연결된 디스플레이 유닛(1)과 동기 서버(300)는 밀리초(ms)당 오브젝트 동기화 정보를 주고 받는다.The
연결된 디스플레이 유닛(1)과 동기 서버(300)는 영상 동기 정보, 영상 준비 상태 정보, 및 영상 재생신호, 프레임 정보를 순차적으로 주고받는다.The
이후, 연결된 디스플레이 유닛(1)과 동기 서버(300)는 외부의 플랫폼 디바이스 또는 각 디스플레이 유닛의 인터페이스 장치에서 입력된 UX이벤트 입력데이터와 UX이벤트 동기화 정보를 송수신할 수 있다.Then, the
마지막으로 연결된 디스플레이 유닛(1)과 동기 서버(300)는 통신 동기화 정보 및 통신 준비상태 정보를 주고 받은 후, 통신 데이터를 출력 시작 명령, 통신 상태 정보를 주고 받는다.Finally, the
이와 같이 동기 서버(300)는 연결된 모든 디스플레이 유닛(1)과 실시간으로 3D 오브젝트를 동기화하여 처리하여 모든 디스플레이 유닛들이 전체적으로 일체화된 화면을 표현할 수 있을 뿐만 아니라 다양한 사용자 이벤트를 실시간으로 반영하여 표현할 수 있다.In this way, the
이하 본 발명의 실시예에 따른 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법을 도 6 및 도 7을 참조하여 설명하면 다음과 같다.Hereinafter, a real-time rendering 3D object processing method of the multivision system according to an embodiment of the present invention will be described with reference to FIGS. 6 and 7. FIG.
도 6은 모든 디스플레이 유닛(1)이 각각 저장부(190)에 저장된 데이터를 기준으로 동기화하여 표시하면서, 각 디스플레이 유닛의 UX이벤트 입력부(140)를 통하여 UX이벤트가 입력되었을 때의 실시간 렌더링 3D 오브젝트 처리방법을 나타낸 것이다.FIG. 6 is a diagram illustrating a real-time rendering 3D object when a UX event is input through the UX
먼저, 각 디스플레이 유닛(1)들의 저장부(190)에는 영상 데이터(오브젝트 포함)가 할당되어 저장된다(S410).First, image data (including objects) is allocated and stored in the
각 디스플레이 유닛(1)은 저장부(190)에 저장된 할당 영상 데이터(오브젝트 포함)를 표시한다(S411).Each
이후, 각 디스플레이 유닛(1)의 UX이벤트 입력부(140)로부터 UX이벤트가 입력되었는지를 판단한다(S412). 만일 UX이벤트가 입력되지 않았으면 저장부(190)에 저장된 일정으로 사전 할당된 영상 데이터(오브젝트 포함)를 표시한다. 만일 만일 UX이벤트가 입력되었으면, 입력된 UX이벤트가 다른 디스플레이 유닛들과 관계되었는지를 판단한다(S413).Then, it is determined whether a UX event is input from the UX
만일, 입력된 UX이벤트가 다른 디스플레이 유닛들과 관계되지 않았으면, 입력된 UX이벤트를 자신에게만 반영하여 영상 데이터(오브젝트 포함)를 동기화하여 표시한다.If the input UX event is not related to other display units, the input UX event is reflected only to the user, and the image data (including the object) is displayed in synchronization.
만일 입력된 UX이벤트가 다른 디스플레이 유닛들과 관계되어 있으면, UX이벤트를 관계된 디스플레이 유닛 또는 동기 서버(300)에 전송한다(S414).If the input UX event is related to other display units, it transmits the UX event to the related display unit or the synchronization server 300 (S414).
이후 입력 또는 수신된 UX이벤트를 반영하여 각 디스플레이 유닛(1)은 영상 데이터(오브젝트 포함)를 동기화하여 표시한다(S415).Then, the
도 7은 디스플레이 유닛(1)이 각각 저장부(190)에 저장된 데이터를 기준으로 동기화하여 표시하면서, 외부 플랫폼 디바이스 또는 다른 디스플레이 유닛을 통하여 UX이벤트가 입력되었을 때의 실시간 렌더링 3D 오브젝트 처리방법을 나타낸 것이다.7 shows a real-time rendering 3D object processing method when the UX event is input through the external platform device or another display unit while the
먼저, 각 디스플레이 유닛(1)들의 저장부(190)에는 영상 데이터(오브젝트 포함)가 할당되어 저장된다(S510).First, image data (including objects) is allocated and stored in the
각 디스플레이 유닛(1)은 저장부(190)에 저장된 할당 영상 데이터(오브젝트 포함)를 표시한다(S511).Each
이후, 외부 플랫폼 디바이스 또는 다른 디스플레이 유닛으로부터 UX이벤트가 입력되었는지를 판단한다(S512). 만일 UX이벤트가 입력되지 않았으면 저장부(190)에 저장된 일정으로 사전 할당된 영상 데이터(오브젝트 포함)를 표시한다. 만일 만일 UX이벤트가 입력되었으면, 입력 또는 수신된 UX이벤트를 반영하여 각 디스플레이 유닛(1)은 영상 데이터(오브젝트 포함)를 동기화하여 표시한다(S512).Then, it is determined whether a UX event is input from the external platform device or another display unit (S512). If the UX event is not input, the image data (including objects) pre-allocated to the schedule stored in the
외부 플랫폼 디바이스 또는 다른 디스플레이 유닛으로부터 입력되는 통신데이터는 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나를 포함할 수 있다.Communication data input from an external platform device or another display unit may include at least one of synchronization information data, image data, real-time rendering object data, and UX event data.
지금까지 본 발명의 실시예가 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 실시예를 변형할 수 있을 것이다. 따라서, 발명의 범위는 지금까지 설명된 실시예로 정해지는 것이 아니라 첨부된 청구항과 그 균등물에 의해 정해질 것이다.While the embodiments of the present invention have been shown and described, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope or spirit of this invention. Accordingly, the scope of the invention is not to be determined by the embodiments described so far but on the basis of the appended claims and their equivalents.
1: 디스플레이 유닛(클라이언트) 110: 통신부
120: 영상 마스킹 인코딩부 130: 타이머
140: UX이벤트 입력부 150: UX이벤트 처리부
160: 오브젝트 처리부 170: 그래픽 처리부
180: 영상 처리부 190: 저장부
200: 제어부 210: 출력부(디스플레이 패널)
220: 인공지능 시뮬레이터 300: 동기 서버
310: 서버 타이머 320: 서버통신부
330: 서버동기 정보 생성부 340: 서버 오브젝트 제어부
350: 서버 UX이벤트 제어부 360: 서버 통신제어부
370: 서버 인공지능 시뮬레이터1: display unit (client) 110: communication unit
120: video masking encoding unit 130: timer
140: UX event input unit 150: UX event processing unit
160: Object processing unit 170: Graphics processing unit
180: Image processing unit 190:
200: control unit 210: output unit (display panel)
220: artificial intelligence simulator 300: synchronization server
310: server timer 320: server communication section
330: server synchronization information generation unit 340: server object control unit
350: server UX event controller 360: server communication controller
370: Server AI simulator
Claims (17)
하나의 전체 화면 중 일부에 해당하는 분할 영상데이터를 처리하는 영상처리부;
입력된 UX이벤트를 처리하는 UX이벤트 처리부;
실시간 렌더링 오브젝트 데이터를 만드는 오브젝트 처리부;
상기 실시간 렌더링 오브젝트 데이터와 분할 영상데이터를 겹쳐진 화면으로 표현하는 마스킹 영상 인코딩부;
다른 디스플레이 유닛 또는 서버와 통신데이터를 송수신하는 통신부;
상기 다른 디스플레이 유닛과의 동기화를 위한 타이머;
오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 오브젝트 인공지능 시뮬레이터 및
상기 영상처리부, UX이벤트 처리부, 오브젝트 처리부, 마스킹 영상 인코딩부, 타이머, 오브젝트 인공지능 시뮬레이터 및 통신부 중 적어도 하나를 제어하기 위한 제어부를 포함하는 것을 특징으로 하는 멀티비전용 디스플레이 유닛.In the multi-dedicated display unit,
An image processing unit for processing divided image data corresponding to a part of one full screen;
A UX event processing unit for processing the input UX event;
An object processing unit for creating real-time rendering object data;
A masking image encoding unit for rendering the real-time rendering object data and the divided image data in a superimposed screen;
A communication unit for communicating communication data with another display unit or a server;
A timer for synchronization with the other display unit;
An object simulator that simulates state values according to the purpose, size, and characteristics of objects to create unstructured continuous state values.
And a control unit for controlling at least one of the image processing unit, the UX event processing unit, the object processing unit, the masking image encoding unit, the timer, the object artificial intelligence simulator, and the communication unit.
상기 하나의 전체 화면 중 일부에 해당하는 분할 영상데이터 또는 상기 실시간 렌더링 오브젝트 데이터를 사전에 저장하는 저장부를 더 포함하는 멀티비전용 디스플레이 유닛.The method according to claim 1,
And a storage unit for previously storing the divided image data or the real-time rendering object data corresponding to a part of the one full screen.
상기 UX이벤트를 입력하는 UX이벤트 입력부를 더 포함하는 멀티비전용 디스플레이 유닛.The method according to claim 1,
And a UX event input unit for inputting the UX event.
상기 제어부는,
영상처리부를 제어하는 영상제어부;
그래픽처리부를 제어하는 그래픽제어부;
실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어하는 오브젝트 제어부;
복수의 디스플레이 유닛에서 다양한 인터페이스를 통해 입력받은 데이터 값을 다른 각각의 디스플레이 유닛에 동기화시킬 데이터로 만들고 제어하는 UX이벤트 제어부;및
외부의 시스템 또는 다른 플랫폼 장치와 통신하여 수신한 오브젝트 상태값을 제어하는 통신제어부 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티비전용 디스플레이 유닛. The method according to claim 1,
Wherein,
An image control unit for controlling the image processing unit;
A graphic control unit for controlling the graphic processing unit;
An object control unit for controlling at least one of creation, deletion, position, movement, inter-object interference, start time, duration, image presentation method, playback speed, and frame number information of a real-time 3D object screen;
A UX event control unit for generating and controlling data values to be input to the plurality of display units through the various interfaces and synchronized with each of the other display units;
And a communication control unit for controlling the received object state value by communicating with an external system or another platform device.
상기 통신데이터는 동기신호 데이터, 오브젝트 데이터, 영상 데이터, 그래픽 데이터, 및 UX이벤트 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티비전용 디스플레이 유닛. The method according to claim 1,
Wherein the communication data includes at least one of synchronous signal data, object data, video data, graphic data, and UX event data.
상기 통신데이터는 네트워크에 연결된 다른 플랫폼과 송수신되는 것을 특징으로 하는 멀티비전용 디스플레이 유닛. The method according to claim 1,
Wherein the communication data is transmitted / received to / from another platform connected to the network.
상기 다수의 디스플레이 유닛들은 동기화 서버를 통하여 결합되는 것을 특징으로 하는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템.9. The method of claim 8,
Wherein the plurality of display units are coupled through a synchronization server.
상기 동기화 서버는,
연결된 각 디스플레이 유닛 또는 외부 플랫폼 디바이스와 통신데이터를 송수신하는 서버통신부;
디스플레이 유닛들의 동기화를 위한 서버 타이머; 및
디스플레이 유닛들의 동기 정보를 생성하는 서버 동기정보 생성부를 포함하는 것을 특징으로 하는 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템.10. The method of claim 9,
Wherein the synchronization server comprises:
A server communication unit for transmitting and receiving communication data to and from each of the connected display units or external platform devices;
A server timer for synchronization of display units; And
And a server synchronization information generator for generating synchronization information of the display units.
상기 동기화 서버는,
실시간 렌더링 3D 오브젝트 화면을 구성하는 오브젝트들의 생성, 삭제, 위치, 이동, 오브젝트간 간섭, 시작 시각, 지속 시간, 영상 표현 방법, 재생 속도, 및 프레임 넘버 정보 중 적어도 하나를 제어하는 오브젝트 제어부;
복수의 디스플레이 유닛에서 다양한 인터페이스를 통해 입력받은 데이터 값을 다른 각각의 디스플레이 유닛에 동기화시킬 데이터로 만들고 제어하는 UX이벤트 제어부; 및
연결된 각 디스플레이 유닛 또는 외부 플랫폼 디바이스와 통신하여 주고 받은 오브젝트 상태값을 제어하는 통신제어부 중 적어도 하나를 포함하는 것을 특징으로 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템.11. The method of claim 10,
Wherein the synchronization server comprises:
An object control unit for controlling at least one of creation, deletion, position, movement, inter-object interference, start time, duration, image presentation method, playback speed, and frame number information of a real-time 3D object screen;
A UX event control unit for generating and controlling data values received through various interfaces in a plurality of display units to be synchronized with each of the other display units; And
And a communication control unit for controlling an object state value communicated with each of the display units or the external platform device connected to the real time rendering 3D object interactive multivision system.
상기 동기화 서버는 오브젝트들의 용도, 크기와 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 오브젝트의 인공지능 시뮬레이터를 더 포함하는 것을 특징으로 실시간 렌더링 3D 오브젝트 인터렉티브 멀티비전 시스템.12. The method of claim 11,
Wherein the synchronization server further comprises an artificial intelligence simulator of an object that simulates state values according to usage, size, and characteristics of objects to produce unformed continuous state values.
오브젝트들의 용도, 크기 및 특징에 따라 상태값을 시뮬레이션하여 정형화되지 않은 연속 상태값을 만드는 단계;
상기 복수의 디스플레이 유닛들이 상기 저장된 분할 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 동기화하여 표시하는 단계;
상기 복수의 디스플레이 유닛들 중 적어도 하나에서 사용자로부터 UX이벤트를 입력받는 단계; 및
상기 입력된 UX이벤트에 따라 영상데이터 또는 실시간 렌더링 오브젝트 데이터를 표시하는 단계를 포함하는 것을 특징으로 하는 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법. A step of previously allocating and storing divided image data or real-time rendering object data obtained by dividing one full screen for each of a plurality of display units;
Simulating state values according to usage, size, and characteristics of objects to form unformed continuous state values;
Synchronizing and displaying the stored divided image data or real-time rendering object data by the plurality of display units;
Receiving a UX event from a user in at least one of the plurality of display units; And
And displaying the image data or the real-time rendering object data according to the input UX event in the real-time rendering 3D object processing method.
상기 입력받은 UX이벤트가 다른 디스플레이 유닛과 관계되어 있는지를 판단하는 단계를 더 포함하는 것을 특징으로 하는 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법.14. The method of claim 13,
Further comprising the step of determining whether the input UX event is related to another display unit.
상기 UX이벤트가 입력된 디스플레이 유닛으로부터 UX이벤트와 관련된 디스플레이 유닛에 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나를 전송하는 단계를 더 포함하는 것을 특징으로 하는 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법. 15. The method of claim 14,
Further comprising transmitting at least one of synchronization information data, image data, real-time rendering object data, and UX event data to a display unit associated with the UX event from the display unit to which the UX event is input, Of real time rendering of 3D objects.
네트워크에 연결된 다른 플랫폼 또는 다른 디스플레이 유닛으로부터 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나를 수신하는 단계를 더 포함하는 것을 특징으로 하는 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법.14. The method of claim 13,
Further comprising receiving at least one of synchronization information data, image data, real-time rendering object data, and UX event data from another platform or other display unit connected to the network. Way.
상기 동기화 정보 데이터, 영상데이터, 실시간 렌더링 오브젝트 데이터, 및 UX이벤트 데이터 중 적어도 하나는 동기 서버를 경유하여 전송 또는 수신하는 것을 특징으로하는 멀티비전 시스템의 실시간 렌더링 3D 오브젝트 처리방법.17. The method according to claim 15 or 16,
Wherein at least one of the synchronization information data, the image data, the real-time rendering object data, and the UX event data is transmitted or received via the synchronization server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130000362A KR101443327B1 (en) | 2013-01-02 | 2013-01-02 | A real time rendering 3d object interactive multi-vision system and method for processing a real time rendering 3d object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130000362A KR101443327B1 (en) | 2013-01-02 | 2013-01-02 | A real time rendering 3d object interactive multi-vision system and method for processing a real time rendering 3d object |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140088462A KR20140088462A (en) | 2014-07-10 |
KR101443327B1 true KR101443327B1 (en) | 2014-09-26 |
Family
ID=51737012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130000362A KR101443327B1 (en) | 2013-01-02 | 2013-01-02 | A real time rendering 3d object interactive multi-vision system and method for processing a real time rendering 3d object |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101443327B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170027290A (en) | 2015-08-28 | 2017-03-09 | 이에이트 주식회사 | More than 4k ultra-high resolution embedded system based on extended multi-dispaly avainlable for real-time interaction |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105139445B (en) * | 2015-08-03 | 2018-02-13 | 百度在线网络技术(北京)有限公司 | Scene reconstruction method and device |
KR20240051400A (en) * | 2022-10-12 | 2024-04-22 | 한국전자기술연구원 | Real-time 3D AR object acquisition apparatus, system and method |
CN116450074B (en) * | 2023-06-15 | 2023-09-05 | 摩尔线程智能科技(北京)有限责任公司 | Image display method and device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008096748A (en) * | 2006-10-12 | 2008-04-24 | Canon Inc | Display controller, display device, and multi-display system |
KR20120018864A (en) * | 2010-08-24 | 2012-03-06 | 엘지전자 주식회사 | Method for processing image of multivision display system outputting 3 dimensional contents and multivision display system enabling of the method |
KR101140323B1 (en) | 2010-06-29 | 2012-05-02 | 주식회사 디지털존 | Multivision system and frame synchronization method between video play apparatuses |
-
2013
- 2013-01-02 KR KR1020130000362A patent/KR101443327B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008096748A (en) * | 2006-10-12 | 2008-04-24 | Canon Inc | Display controller, display device, and multi-display system |
KR101140323B1 (en) | 2010-06-29 | 2012-05-02 | 주식회사 디지털존 | Multivision system and frame synchronization method between video play apparatuses |
KR20120018864A (en) * | 2010-08-24 | 2012-03-06 | 엘지전자 주식회사 | Method for processing image of multivision display system outputting 3 dimensional contents and multivision display system enabling of the method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170027290A (en) | 2015-08-28 | 2017-03-09 | 이에이트 주식회사 | More than 4k ultra-high resolution embedded system based on extended multi-dispaly avainlable for real-time interaction |
Also Published As
Publication number | Publication date |
---|---|
KR20140088462A (en) | 2014-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7774430B2 (en) | Media fusion remote access system | |
Marrinan et al. | SAGE2: A new approach for data intensive collaboration using Scalable Resolution Shared Displays | |
JP2020501265A (en) | Systems, methods, and media for displaying interactive augmented reality displays | |
CN109257589B (en) | Remote three-dimensional scanning holographic animation special effect generation and display system and method thereof | |
US10755748B2 (en) | Systems and methods for producing annotated class discussion videos including responsive post-production content | |
KR101443327B1 (en) | A real time rendering 3d object interactive multi-vision system and method for processing a real time rendering 3d object | |
CN105210394A (en) | System and method for multi-user control and media streaming to a shared display | |
US20210195168A1 (en) | Virtual display engine | |
CN106463153A (en) | Systems and methods for interactively presenting a presentation to viewers | |
US20220028157A1 (en) | 3d conversations in an artificial reality environment | |
CN104980475B (en) | Method and device for synchronously presenting display content | |
CN104469397A (en) | Distribution management apparatus and distribution management system | |
KR102426933B1 (en) | An educational platform that provides video content by accessing cloud websites through devices | |
CN103246435A (en) | Feedback window based interaction method and device | |
KR20160087703A (en) | Apparatus and method for controlling multi display apparatus using space information of the multi display apparatus | |
CN103294193A (en) | Multi-terminal interaction method, device and system | |
Emerson et al. | Enabling collaborative interaction with 360 panoramas between large-scale displays and immersive headsets | |
CN103336649B (en) | Between a kind of multiple terminals, feed back method and the device of window Image Sharing | |
Wendrich et al. | Hybrid design tools in a social virtual reality using networked oculus rift: a feasibility study in remote real-time interaction | |
CN105142033A (en) | Interactive information display method and system | |
US10534571B2 (en) | Object-based presentation system | |
KR20130120705A (en) | Total media framework for interactive exhibition environment | |
CN103279268A (en) | Interaction method and interaction device based on controlled terminal list | |
CN105739690A (en) | Double-client control method, device and system | |
CN111857330A (en) | Virtual simulation intelligent interaction system and interaction method for retail goods display and exhibition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |