KR20160081602A - Kinetic pixel display in which physical engine and actuator are linked - Google Patents

Abstract

Disclosed is a display device in which a physical engine and an actuator are linked. The device includes: an MCU receiving virtual reality dynamic data from a physical simulation program; the actuator delivering information of at least one of motion, light and sound to a tangible object; and a sensor part receiving at least one sensor input among position, speed, direction, brightness and sound. The MCU delivers an electric signal to the actuator on the basis of the received virtual reality dynamic data, and delivers a real world dynamic data to the physical simulation program by receiving a sensor output from the sensor part.

Description

물리엔진과 액츄에이터가 연동되는 키네틱 픽셀 디스플레이{KINETIC PIXEL DISPLAY IN WHICH PHYSICAL ENGINE AND ACTUATOR ARE LINKED}[0001] KINETIC PIXEL DISPLAY IN WHICH PHYSICAL ENGINE AND ACTUATOR ARE LINKED [0002]

본 발명은 증강현실(Augmented Reality) 또는 혼합현실(Mixed Reality)에 관한 것으로 보다 자세하게는 디스플레이의 물리엔진과 현실의 액츄에이터가 연동되는 키네틱 픽셀 디스플레이 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to augmented reality or mixed reality, and more particularly, to a kinetic pixel display device in which a physics engine of a display and an actuator of a real world cooperate with each other.

증강 현실 체험 장치들이 가상 현실과 물리적 공간이 서로 떨어져 있거나(ex. kinect, leap motion　 등의 컴퓨터 비전 또는 오락실 자동차 게임 류의 스크린과 센서 및　액추에이터의 단순 연동) 스마트폰 카메라를 통하여 보아야만 하고 직접적으로는 볼 수 없는 증강현실 컨텐츠 등), 사용자가 부자연스럽다고　느끼거나 피로감을 유발하는 한계점이 있었다.The augmented reality experience devices should be viewed through a smartphone camera, or the virtual reality and physical space must be separated from each other (eg, computer vision such as kinect, leap motion, or simple interlocking of screens and sensors and actuators in arcade games) Augmented reality contents that can not be seen by the user), and there is a limit point that the user feels unnatural or causes fatigue.

본 발명의 기술적 과제는 물리엔진과 액츄에이터를 연동하는 장치를 제공함에 있다.An object of the present invention is to provide an apparatus for linking a physical engine and an actuator.

본 발명의 다른 기술적 과제는 물리적 사물과 가상현실의 픽셀 이미지를 직접적으로 상호 작용이 가능하게 한 디스플레이를 제공함에 있다.Another object of the present invention is to provide a display in which a physical object and a pixel image of a virtual reality can directly interact with each other.

본 발명의 일 양태에 따르면, 물리엔진과 액츄에이터를 연동하는 디스플레이 장치는 물리 시뮬레이션 프로그램으로부터 가상현실 동적 데이터을 수신하는 MCU, 움직임, 빛 및 소리 중 적어도 하나의 정보를 유형의 객체로 전달하는 액츄에이터 및 위치, 속도, 방향, 밝기 및 소리 중 적어도 하나의 센서 입력을 수신하는 센서부를 포함하며, MCU는 수신한 가상현실 동적 데이터를 기초로 전기 신호를 액츄에이터로 전달하고. 센서부로부터 센서 출력을 수신하여 실제 세계 동적 데이터를 물리 시뮬레이션 프로그램으로 전달한다.According to one aspect of the present invention, a display device that cooperates with a physical engine and an actuator includes an MCU that receives virtual reality dynamic data from a physics simulation program, an actuator that conveys at least one of information of motion, light, And a sensor unit for receiving at least one sensor input of the velocity, the direction, the brightness, and the sound, and the MCU transmits the electric signal to the actuator based on the received virtual reality dynamic data. Receives the sensor output from the sensor unit, and transmits the real world dynamic data to the physical simulation program.

본 발명에 따르면 디스플레이의 물리엔진과 현실의 액츄에이터가 연동될 수있다.According to the present invention, the physical engine of the display and the actual actuator can be interlocked.

본 발명에 따르면 물리 엔진과 액츄에이터를 사용한 디스플레이 장치는 게임, 예술 작품, 광고 사인 등에 응용될 수 있다.INDUSTRIAL APPLICABILITY According to the present invention, a display device using a physical engine and an actuator can be applied to a game, an artwork, an advertisement sign, and the like.

본 발명에 따르면. 물리 엔진 애니메이션에서 추출된 데이터를 액츄에이터로 전송하여 영상 매체와 실제 물건이 서로 물리적으로 반응할 수 있다.According to the present invention. The data extracted from the physics engine animation is transmitted to the actuator, so that the image medium and the physical object can physically react with each other.

본 발명에 따르면, 사용자는 추가적인 장치 없이 현실 세계 안에서 보고 느낄 수 있는 증강현실을　경험할 수 있다.According to the present invention, a user can experience an augmented reality that can be seen and felt in the real world without an additional device.

본 발명에 따르면 디스플레이의 물리엔진과 현실의 엑츄에이터가　동일한 위치에서 직관적으로 연동될 수 있다.According to the present invention, the physical engine of the display and the actual actuator can be intuitively interlocked at the same position.

도 1은 본 발명에 따른 디스플레이 장치를 나타내는 일 예이다.
도 2는 본 발명에 따른 디스플레이 장치의 동작을 나타내는 순서도이다.
도 3은 본 발명에 따른 디스플레이 장치의 다른 예를 나타내는 도이다.
도 4는 본 발명에 따른 물리 엔진과 액추에이터의 연동을 나타내는 일 예이다.1 is an example of a display device according to the present invention.
2 is a flow chart showing the operation of the display device according to the present invention.
3 is a diagram showing another example of a display device according to the present invention.
4 is an example showing interlocking between a physical engine and an actuator according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Also, in order to clearly illustrate the present invention in the drawings, portions not related to the present invention are omitted, and the same or similar reference numerals denote the same or similar components.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.The objects and effects of the present invention can be understood or clarified naturally by the following description, and the objects and effects of the present invention are not limited only by the following description.

본 발명의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.The objects, features and advantages of the present invention will become more apparent from the following detailed description. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

이제부터, 본 발명에 따른 가상의 물리엔진의 데이터와 현실의 액츄에이터가 서로 반응하여 작동되는 디스플레이 장치를 설명한다.Hereinafter, a display device in which data of a virtual physics engine according to the present invention and an actual actuator react with each other and operates will be described.

이 장치는 물리엔진에서 발생되는 수치 데이터를 액츄에이터로 전송해 액츄에이터가 가상의 물리엔진과 동일하게 가변되고, 사용자가 액츄에이터를 조작하면 가변되는 수치 데이터가 물리엔진으로 전송되어 디스플레이에 반영된다.This device transmits the numerical data generated by the physical engine to the actuator so that the actuator can be changed in the same way as the virtual physical engine. When the user operates the actuator, the variable numerical data is transmitted to the physical engine and reflected on the display.

이 장치는 실시간 인터랙티브 영상을 재생 및 상기된 구성 내부 요소의 동적 데이터를 제어 가능하게 하는 물리 시뮬레이션 및 컴퓨터 비전 프로그램을 통해 구현하는 장치이다. The device is a device that implements through a physical simulation and a computer vision program that enables playback of real-time interactive images and control of the dynamic data of the internal elements described above.

도 1은 본 발명에 따른 디스플레이 장치를 나타내는 일 예이다.1 is an example of a display device according to the present invention.

도 1을 참조하면, 프로그램 속의 내부 요소는 디스플레이 장치를 통해 영상으로 표현될 액티브 레이어 요소(active layer component, 능동층이라고도 한다)(예, 동그라미(100))와 실재하는 물체의 형상 데이터를 기반으로 하여 동적 데이터가 제어 및 계측되어 물체의 좌표와 동일한　영역에 씌워질 패시브 레이어 요소(passive layer component, 수동층이라고도 한다)(예, 사각형(120))가 있다.Referring to FIG. 1, an internal element in a program is divided into an active layer component (also referred to as an active layer) (for example, a circle 100) and an existing object shape data (Passive layer component, also referred to as a passive layer) (e.g., a rectangle 120) in which the dynamic data is controlled and measured to cover the same area as the coordinates of the object.

본 발명에 따르면, 사용자의 사용 목적에 따라서 영상물에 대한 구성과 시퀀스 또는 실시간 상호작용 시스템이 물리 시뮬레이션(physical simulation)을 통해 구축될 수 있다.According to the present invention, a configuration and a sequence or a real-time interactive system for a video object can be constructed through physical simulation according to a user's purpose of use.

본 발명에 따라서 영상물을 구성하는 요소는 시뮬레이션 된 동적 정보(kinetic data)와 물성(physical properties)을 가지며, 시뮬레이션 프로그램 내부에서의 연산을 통해 실시간 상호 작용을 할 수 있다.According to the present invention, the elements constituting the video object have simulated dynamic information (kinetic data) and physical properties, and can perform real-time interaction through calculation in the simulation program.

본 발명에 따른 구성 요소는 가상적 객체와 실재의 객체로 구분된다. The component according to the present invention is divided into a virtual object and a real object.

첫째, 가상적 객체는 기능에 따라 능동층(active layers)과 수동층(passive layers)으로 구분될 수 있다. First, virtual objects can be divided into active layers and passive layers according to functions.

능동층은 디스플레이 장치(모니터, 프로젝터 등)를 직접 통하여 사용자가 볼 수 있는 기능을 하는 객체이며, 시뮬레이션에 의해 생성된 가상 현실의 동적 데이터를 기반으로 움직인다.The active layer is an object that can be viewed by the user directly through the display device (monitor, projector, etc.) and moves based on the dynamic data of the virtual reality generated by the simulation.

수동층은 사용자가 볼 수 없도록 숨겨져 있으며, 실재하는 유형(有形)의 객체와 혼합되어 객체를 관찰하거나 직접 조작하여 간접적으로 기능하는 객체를 말한다. A passive layer is an object that is hidden from view by the user and functions indirectly by observing or directly manipulating the object mixed with a tangible object.

둘째, 실재의 객체는 수동층 가상적 객체와 동일한 형상 및 물적 정보를 기반으로 모델링되며 실재하는 유형의 객체이거나, 컴퓨터 비전(Computer Vision) 기술을 통하여 카메라로 인식된 영역을 시뮬레이션 상에서 리지드 바디(rigid body)로 인식하여 처리되는 객체를 말한다. Second, a real object is modeled based on the same shape and physical information as a passive layer virtual object, or it can be a real-type object, or a region recognized by a camera through a computer vision technique can be simulated as a rigid body ) Is an object that is recognized and processed.

실재의 객체는 시뮬레이션 영상 내의 수동층 가상의 객체와 동일한 좌표에 겹쳐지도록 설치되거나 인식된 리지드 바디를 트랙킹(tracking)하여 시뮬레이션 상에서 실시간으로 수동층 객체화 된다. The real object is manually layered in real time on the simulation by tracking the rigid body installed or recognized so as to overlap with the passive virtual object in the simulation image.

이러한 유형의 실재의 객체는 수동층 가상적 객체를 실재하는 물체로 디스플레이 하는 역할을 한다. This type of real object serves to display the passive layer virtual object as a real object.

이러한 방식은 영화의 특수효과 기법에서 사용되는 매트 페인팅(matte painting) 기법과 유사한 방식으로서, 필름에 촬영된 실재하는 세계의 영상 위에 가상의 이미지를 덧씌우는 것과 반대로 가상의 세계 속에 실재하는 유형의 객체를 겹쳐보이게 한다. This approach is similar to the matte painting technique used in cinematic special effects techniques. In contrast to the way in which a virtual image is superimposed on an image of a real world photographed on a film, a type of object existing in a virtual world .

또한, 수동층의 가상적 객체는 부여된 형상 데이터, 동적 데이터, 물성 데이터 또는 이를 통하여 시뮬레이션 된 상호 작용의 시각화 및 효과 등 다양한 표현 과정에 있어서 특정 시퀀스 또는 특정 시간대 사이의 데이터 연산에 대한 임의적 조작 및 추출(예, 프로그램 상에서 스택(stack) 또는 힙(heap) 영역에 할당되어 매 번 갱신, 읽거나 저장)이 가능하며, 중앙 처리장치를 통해 메모리에 저장할 수 있다. In addition, the virtual object of the passive layer can be arbitrarily manipulated and extracted for a specific sequence or data operation during a specific time period in various presentation processes such as the visualization and effect of the shape data, the dynamic data, the physical property data, (Eg, assigned to a stack or heap area in the program, updated every time, read or stored), and can be stored in memory via the central processing unit.

이때, 저장된 데이터는 가상 시뮬레이션의 제어된 조건 하에서 능동층 가상적 객체와의 상호 작용을 통해 발생된 물리적 현상 정보(collision data)에 따라 동일하게 움직이거나 반응할 수 있도록 설계된 액츄에이터로 송출되거나 이에 내장된 센서부와 액츄에이터 또는 기타 출력장치를 제어할 수 있고 센서로부터 인풋을 받아들일 수 있도록 된 MCU를 통해 위치, 속도, 방향 등의 동적 정보의 추출을 통해 다시 중앙 처리장치로 송출되어 메모리에 저장된 뒤 시뮬레이션 프로그램에서 조작하는 일련의 과정을 통해 양방향 통신이 가능하다. At this time, the stored data is sent out to an actuator designed to move or respond to the same physical phenomenon information (collision data) generated through interaction with the active layer virtual object under the controlled condition of the virtual simulation, Speed, direction, etc., through the MCU, which can control the part, actuator, or other output device and receive the input from the sensor. Directional communication is possible through a series of processes in which the operation is performed.

실재하는 객체는 가상 시뮬레이션 속의 수동층 객체와 연동되어 동일 또는 거의 유사하게 움직일 수 있으며, 가상 세계 속에 존재하는 능동층 객체와 실재하는 유형의 객체의 외견상으로의 상호작용이 가능하다. 시각적, 촉각적으로 직관적인 효과가 있다.The real objects can be moved in the same or almost similar manner in conjunction with the passive layer objects in the virtual simulation, and the outward interaction of the active layer objects existing in the virtual world with the actual type objects is possible. There is an intuitive visual and tactile effect.

기존의 실재하는 물체에 가상 현실의 요소를 부여하거나 실제 세계의 변화를 가상 현실에 적용하여 얻을 수 있었던 증강 현실 효과는 피드백을 주거나 받는 영역과 실제적으로 사용자가 눈과 귀를 통해 정보를 인식하는 영역이 이질적으로 서로 떨어져 있거나 인위적인 장치를 통하여야 했기 때문에 사용자 경험(user experience)적 측면에 있어 피로감을 유발하며 현실감을 체험하는 데 한계가 있다. The augmented reality effect that can be obtained by applying the elements of virtual reality to existing real objects or applying the changes of real world to virtual reality is the area where feedback is given or received and the area where the user actually recognizes information through eyes and ears Are distant from each other or through an artificial device, there is a limitation in experiencing the sense of reality that causes fatigue in the user experience aspect.

본 발명에 따르면. 두 가지 세계가 직접 맞닿는 상호작용을 시각적인 디스플레이 장치로 표현함으로써 가상과 실재가 혼합된 현실을 보다 자연스러운 사용자 인터페이스와 디스플레이 장치에 응용할 수 있다.According to the present invention. By expressing the interaction of the two worlds directly with the visual display device, it is possible to apply the mixed real and virtual reality to a more natural user interface and display device.

도 2는 본 발명에 따른 디스플레이 장치의 동작을 나타내는 순서도이다.2 is a flow chart showing the operation of the display device according to the present invention.

도 2를 참조하면, CPU/메모리는 물리 데이터 연산 수행하여 영상 신호를 실시간 영상 디스플레이로 전달한다(S200).Referring to FIG. 2, the CPU / memory performs a physical data operation to transfer a video signal to a real-time image display (S200).

이미지를 디스플레이 하는 장치의 일 예로 프로젝터가 사용될 수 있다.As an example of an apparatus for displaying an image, a projector may be used.

프로젝터를 통해 실재하는 물체 위에 영사된 픽셀 이미지와 실재하는 물체를 겹쳐 놓고 서로 반응할 수 있다.Through the projector, the projected pixel image and the real object can be superimposed on each other to react with each other.

CPU/메모리는 OS와 연동하여 데이터를 송수신한다(S205).The CPU / memory transmits and receives data in cooperation with the OS (S205).

OS는 물리 시뮬레이션 프로그램과 연동하여 데이터를 송수신한다(S210).The OS transmits and receives data in cooperation with the physics simulation program (S210).

물리 시뮬레이션 프로그램은 가상 객체로 동적 데이터(예, 가상현실)을 전달한다(S215).The physical simulation program delivers dynamic data (e.g., virtual reality) as a virtual object (S215).

가상 객체는 능동층 또는 수동층으로 연동된다(S220). 이때, 능동층과 수동층은 상호작용을 할 수 있다(S225).The virtual object is interlocked with the active layer or the passive layer (S220). At this time, the active layer and the passive layer can interact (S225).

능동층은 영상 출력 명령을 CPU/메모리로 전달할 수 있다(S230).The active layer may transmit a video output command to the CPU / memory (S230).

수동층은 MCU로 동적 데이터(예, 가상현실)을 전달한다(S235).The passive layer delivers dynamic data (e.g., virtual reality) to the MCU (S235).

MCU는 액츄에이터로 전기 신호를 보내거나(S240), 물리 시뮬레이션 프로그램으로 동적데이터(예, 실제 세계)를 전달한다(S245).The MCU sends an electric signal to the actuator (S240) or delivers dynamic data (e.g., real world) to the physical simulation program (S245).

액츄에이터는 움직임, 빛, 소리 등의 액츄에이터 출력을 유형의 객체로 전달한다(S250).The actuator transmits an actuator output such as motion, light, and sound to a type object (S250).

유형의 객체는 센서 입력(예, 위치, 속도, 방향, 밝기, 소리 등의 현실 데이터)을 센서부로 전달한다(S255).Type object transmits sensor input (e.g., real data such as position, speed, direction, brightness, sound, etc.) to the sensor unit (S255).

센서부는 센서 출력을 MCU로 전달한다(S260).
The sensor unit transmits the sensor output to the MCU (S260).

도 3은 본 발명에 따른 디스플레이 장치의 다른 예를 나타내는 도이다.3 is a diagram showing another example of a display device according to the present invention.

도 3을 참조하면, 디스플레이 장치(300)는 액츄에이터(310), 센서부(320), MCU(330) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 3, the display device 300 may include at least one of an actuator 310, a sensor unit 320, and an MCU 330.

액츄에이터(310)와 센서부(320)는 프로그램으로부터 제어되는 동적 데이터의 추출을 통해 가상하는 영상과 피드백을 주거나 받는다.The actuator 310 and the sensor unit 320 receive or receive a virtual image and feedback through extraction of dynamic data controlled by a program.

물리 시뮬레이션 프로그램은 영상물을 구성하는 요소(능동층 또는 수동층)를 포함하며, 이 구성 요소는 시뮬레이션 된 동적 정보와 물성을 가지며, 구성 요소들은 시뮬레이션 프로그램 내부에서의 연산을 통해 실시간 상호 작용을 할 수 있다.A physics simulation program includes elements (active layer or passive layer) that constitute video objects, which have simulated dynamic information and physical properties, and which can perform real-time interactions through computation within a simulation program. have.

보다 자세하게는, 물리 시뮬레이션 프로그램의 구성 요소에 가상적 객체가 있으며, 가상적 객체는 디스플레이 장치(모니터, 프로젝터 등)를 직접 통하여 사용자가 볼 수 있는 객체이며 시뮬레이션에 의해 생성된 가상 현실의 동적 데이터를 기반으로 움직이는 능동층 또는 사용자가 직접 볼 수 없도록 숨겨져 있으며 실재하는 유형(有形)의 객체와 혼합되어 실제 객체를 관찰하거나 직접 조작하여 간접적으로 기능하는 수동층 중 적어도 하나이다. More specifically, there are virtual objects in the components of the physical simulation program, and the virtual objects are objects that can be viewed by the user directly through the display device (monitor, projector, etc.) and based on the dynamic data of the virtual reality generated by the simulation A moving active layer or at least one passive layer that is hidden so that it can not be directly seen by the user and is mixed with an actual tangible object and indirectly functions by observing or directly manipulating the actual object.

또는, 수동층 가상적 객체와 동일한 형상 및 물적 정보를 기반으로 모델링되며 실재하는 유형의 객체이거나, 컴퓨터 비전(Computer Vision) 기술을 통하여 카메라로 인식된 영역을 시뮬레이션 상에서 리지드 바디(rigid body)로 인식하여 처리되는 객체인 실재의 객체(또는 유형의 객체라고도 함)가 액츄에이터(310)에 연동될 수 있다.Alternatively, it can be a real-type object that is modeled based on the same shape and physical information as the passive layer virtual object, or a region recognized by a camera through a computer vision technology as a rigid body in the simulation A real object (or an object of a type) that is an object to be processed can be interlocked with the actuator 310.

수동층의 가상적 객체는 부여된 형상 데이터, 동적 데이터, 물성 데이터 또는 이를 통하여 시뮬레이션 된 상호 작용의 시각화 및 효과 등 다양한 표현 과정에 있어서 특정 시퀀스 또는 특정 시간대 사이의 데이터 연산에 대한 임의적 조작 및 추출(예, 프로그램 상에서 스택 또는 힙 영역에 할당되어 매 번 갱신, 읽거나 저장)이 가능하며, MCU(330)를 통해 메모리(도면 미표시)에 저장할 수 있다. The virtual object of the passive layer can be arbitrarily manipulated and extracted (for example, for a specific sequence or data operation during a specific time period) in various presentation processes such as the visualization and effect of the applied shape data, dynamic data, , Stored in a stack or a heap area in the program, updated every time, read or stored), and can be stored in a memory (not shown) through the MCU 330.

MCU(330)는 통신과 데이터 처리를 담당한다.The MCU 330 is responsible for communication and data processing.

MCU(330)는 영상 매체와 실재 매체를 겹쳐 보이게 할 때 생기는 왜곡 현상으로 인해 발생하는 공차를 없애기 위해 각각의 영상 텍스쳐(texture)를 오프스크린(offscreen)위에 입힌 뒤 해당 레이어의 3D 공간 좌표를 수정한　상태로 렌더링하는 프로젝션 매핑을 수행할 수 있다.In order to eliminate the tolerance caused by distortions caused when the image medium and the real medium are overlapped, the MCU 330 applies the respective image texture on the offscreen and then corrects the 3D space coordinates of the layer It is possible to perform a projection mapping that renders it as one state.

MCU(330)는 물리 시뮬레이션 프로그램 중 수동층으로부터 동적 데이터(예, 가상현실)을 수신할 수 있다.The MCU 330 may receive dynamic data (e.g., a virtual reality) from the passive layer of the physics simulation program.

MCU(330)는 수신한 동적 데이터(예, 가상현실)을 기초로 전기 신호를 액츄에이터로 보내 연동할 수 있다. 또한, MCU(330)는 센서부(320)로부터 센서 출력을 수신하여 동적 데이터(예, 실제 세계)를 물리 시뮬레이션 프로그램으로 전달할 수도 있다.The MCU 330 can transmit the electric signal to the actuator based on the received dynamic data (e.g., virtual reality). In addition, the MCU 330 may receive the sensor output from the sensor unit 320 and transmit the dynamic data (e.g., real world) to the physical simulation program.

이때, 액츄에이터(310)가 유형의 객체로 출력한 정보(예, 움직임, 빛, 소리 등)을 기초로 센서부(320)에 입력된 센서 입력(예, 위치, 속도, 방향, 밝기, 소리 등)을 기초로 센서 출력이 MCU(330)로 전달된 것일 수 있다.
At this time, the sensor input (e.g., position, velocity, direction, brightness, sound, etc.) input to the sensor unit 320 based on the information (e.g., The sensor output may be transmitted to the MCU 330 based on the sensor output.

도 4는 본 발명에 따른 물리 엔진과 액추에이터의 연동을 나타내는 일 예이다.4 is an example showing interlocking between a physical engine and an actuator according to the present invention.

도 4를 참조하면, 동작 버튼(400)을 누름에 따라서 액추에이터(410)가 움직일 때, 물리 엔진이 연동되어 디스플레이 상의 구성요소(420)도 동일하게 움직임을 확인할 수 있다.
Referring to FIG. 4, when the actuator 410 is moved according to the depression of the operation button 400, the physical engine is interlocked so that the component 420 on the display can also confirm the movement.

상기한 본 발명의 바람직한 실시 예는 예시의 목적으로 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 상기의 특허청구 범위에 속하는 것으로 보아야 할 것이다. It will be apparent to those skilled in the art that various modifications, additions and substitutions are possible, without departing from the spirit and scope of the invention as defined by the appended claims. Should be regarded as belonging to the above-mentioned patent claims.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 가지 치환, 변형 및 변경이 가능하므로, 본 발명은 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventive concept as defined by the appended claims. But is not limited thereto.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described exemplary system, the methods are described on the basis of a flowchart as a series of steps or blocks, but the present invention is not limited to the order of the steps, and some steps may occur in different orders . It will also be understood by those skilled in the art that the steps shown in the flowchart are not exclusive and that other steps may be included or that one or more steps in the flowchart may be deleted without affecting the scope of the invention.

Claims (14)

물리엔진과 액츄에이터를 연동하는 디스플레이 장치에 있어서,
물리 시뮬레이션 프로그램으로부터 가상현실 동적 데이터을 수신하는 MCU;
움직임, 빛 및 소리 중 적어도 하나의 정보를 유형의 객체로 전달하는 액츄에이터; 및
위치, 속도, 방향, 밝기 및 소리 중 적어도 하나의 센서 입력을 수신하는 센서부를 포함하며,
상기 MCU는 상기 수신한 가상현실 동적 데이터를 기초로 전기 신호를 액츄에이터로 전달하고. 상기 센서부로부터 센서 출력을 수신하여 실제 세계 동적 데이터를 상기 물리 시뮬레이션 프로그램으로 전달함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.A display device for interlocking a physical engine with an actuator,
An MCU for receiving virtual reality dynamic data from a physical simulation program;
An actuator for transmitting information of at least one of movement, light, and sound to an object of a type; And
And a sensor unit for receiving at least one sensor input of position, speed, direction, brightness, and sound,
The MCU transmits an electric signal to the actuator based on the received virtual reality dynamic data. Wherein the controller receives the sensor output from the sensor unit and delivers the real world dynamic data to the physical simulation program. 제 1 항에 있어서,
상기 MCU는 영상 매체와 실재 매체 각각의 영상 텍스쳐를 오프스크린 위에 입히고 3D 공간 좌표를 수정한　상태로 렌더링하는 프로젝션 매핑을 수행함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.The method according to claim 1,
Wherein the MCU performs projection mapping in which the image texture of each of the image medium and the real medium is clipped on the off-screen and the 3D space coordinates are modified and rendered, and the display mapping is performed between the physical engine and the actuator. 제 1 항에 있어서,
상기 물리 시뮬레이션 프로그램은 영상물을 구성하는 요소로서 능동층 또는 수동층을 포함함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.The method according to claim 1,
Wherein the physical simulation program includes an active layer or a passive layer as an element constituting a video image. 제 3 항에 있어서,
상기 능동층 또는 수동층은 시뮬레이션 된 동적 정보와 물성을 가지며 상기시뮬레이션 프로그램 내부에서의 연산을 통해 실시간 상호 작용함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.The method of claim 3,
Wherein the active layer or the passive layer has simulated dynamic information and physical properties, and real-time interaction is performed through operations in the simulation program. 제 1 항에 있어서,
상기 물리 시뮬레이션 프로그램의 구성 요소로서 상기 디스플레이 장치를 통하여 사용자가 직접 볼 수 있는 가상적 객체가 포함되며,
상기 가상적 객체는 시뮬레이션에 의해 생성된 상기 가상 현실 동적 데이터를 기반으로 움직이는 능동층 또는 사용자가 직접 볼 수 없도록 숨겨져 있으며 실재하는 유형(有形)의 객체와 혼합되어 실제 객체를 관찰하거나 직접 조작하여 간접적으로 기능하는 수동층 중 적어도 하나임을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.The method according to claim 1,
A virtual object that can be directly viewed by a user through the display device is included as a component of the physical simulation program,
The virtual object is hidden from the active layer moving based on the virtual reality dynamic data generated by the simulation or hidden by the user and is mixed with the actual tangible object so that the virtual object is indirectly observed Wherein the actuator is at least one of a functional layer and a passive layer. 제 5 항에 있어서,
상기 가상적 객체는 상기 수동층과 동일한 형상 및 물적 정보를 기반으로 모델링되며 실재하는 유형의 객체임을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.6. The method of claim 5,
Wherein the virtual object is modeled based on the same shape and physical information as the passive layer and is an object of a real type. 제 1 항에 있어서,
상기 유형의 객체는 컴퓨터 비전(Computer Vision) 기술을 통하여 카메라로 인식된 영역을 시뮬레이션 상에서 리지드 바디(rigid body)로 인식하여 처리되는 객체인 실재의 객체이며,
상기 유형의 객체가 상기 액츄에이터에 연동됨을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 장치.The method according to claim 1,
An object of this type is a real object which is an object to be processed by recognizing a region recognized by a camera through a computer vision technique as a rigid body on simulation,
Characterized in that the type of object is interlocked with the actuator. 물리엔진과 액츄에이터를 연동하는 디스플레이 방법에 있어서,
물리 시뮬레이션 프로그램으로부터 가상현실 동적 데이터을 수신하는 단계;
움직임, 빛 및 소리 중 적어도 하나의 정보를 유형의 객체로 전달하는 단계; 및
위치, 속도, 방향, 밝기 및 소리 중 적어도 하나의 센서 입력을 수신하는 단계를 포함하며,
상기 수신한 가상현실 동적 데이터를 기초로 전기 신호를 액츄에이터로 전달하고. 상기 센서부로부터 센서 출력을 수신하여 실제 세계 동적 데이터를 상기 물리 시뮬레이션 프로그램으로 전달하는 단계를 더 포함함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.A display method for interlocking a physical engine with an actuator,
Receiving virtual reality dynamic data from a physical simulation program;
Transmitting information of at least one of movement, light, and sound to an object of a type; And
Receiving at least one sensor input of position, velocity, direction, brightness and sound,
And transmits an electric signal to the actuator based on the received virtual reality dynamic data. Further comprising: receiving sensor output from the sensor unit and transmitting real world dynamic data to the physical simulation program. 제 8 항에 있어서,
영상 매체와 실재 매체 각각의 영상 텍스쳐를 오프스크린 위에 입히고 3D 공간 좌표를 수정한　상태로 렌더링하는 프로젝션 매핑을 수행하는 단계를 더 포함함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.9. The method of claim 8,
The method of claim 1, further comprising: projecting the image texture of each of the image medium and the real medium onto an off-screen, and performing a projection mapping to render the 3D space coordinate modified. 제 8 항에 있어서,
상기 물리 시뮬레이션 프로그램은 영상물을 구성하는 요소로서 능동층 또는 수동층을 포함함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.9. The method of claim 8,
Wherein the physical simulation program includes an active layer or a passive layer as elements constituting a video image. 제 10 항에 있어서,
상기 능동층 또는 수동층은 시뮬레이션 된 동적 정보와 물성을 가지며 상기시뮬레이션 프로그램 내부에서의 연산을 통해 실시간 상호 작용함을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.11. The method of claim 10,
Wherein the active layer or the passive layer has simulated dynamic information and physical properties and interacts in real time through computation within the simulation program. 제 8 항에 있어서,
상기 물리 시뮬레이션 프로그램의 구성 요소로서 상기 디스플레이 장치를 통하여 사용자가 직접 볼 수 있는 가상적 객체가 포함되며,
상기 가상적 객체는 시뮬레이션에 의해 생성된 상기 가상 현실 동적 데이터를 기반으로 움직이는 능동층 또는 사용자가 직접 볼 수 없도록 숨겨져 있으며 실재하는 유형(有形)의 객체와 혼합되어 실제 객체를 관찰하거나 직접 조작하여 간접적으로 기능하는 수동층 중 적어도 하나임을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.9. The method of claim 8,
A virtual object that can be directly viewed by a user through the display device is included as a component of the physical simulation program,
The virtual object is hidden from the active layer moving based on the virtual reality dynamic data generated by the simulation or hidden by the user and is mixed with the actual tangible object so that the virtual object is indirectly observed Wherein the actuator is at least one of a functional layer and a functional passive layer. 제 12 항에 있어서,
상기 가상적 객체는 상기 수동층과 동일한 형상 및 물적 정보를 기반으로 모델링되며 실재하는 유형의 객체임을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.13. The method of claim 12,
Wherein the virtual object is modeled based on the same shape and physical information as the passive layer and is an object of a real type. 제 8 항에 있어서,
상기 유형의 객체는 컴퓨터 비전(Computer Vision) 기술을 통하여 카메라로 인식된 영역을 시뮬레이션 상에서 리지드 바디(rigid body)로 인식하여 처리되는 객체인 실재의 객체이며,
상기 유형의 객체가 상기 액츄에이터에 연동됨을 특징으로 하는 물리엔진과 액츄에이터를 연동하는 디스플레이 방법.9. The method of claim 8,
An object of this type is a real object which is an object to be processed by recognizing a region recognized by a camera through a computer vision technique as a rigid body on simulation,
Wherein the object of the type is interlocked with the actuator.

Images