KR102356789B1 - Communication system and control method that can control device based on voice - Google Patents
Communication system and control method that can control device based on voice Download PDFInfo
- Publication number
- KR102356789B1 KR102356789B1 KR1020190160645A KR20190160645A KR102356789B1 KR 102356789 B1 KR102356789 B1 KR 102356789B1 KR 1020190160645 A KR1020190160645 A KR 1020190160645A KR 20190160645 A KR20190160645 A KR 20190160645A KR 102356789 B1 KR102356789 B1 KR 102356789B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- virtual
- real
- control command
- client device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004891 communication Methods 0.000 title description 7
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 20
- 230000003190 augmentative effect Effects 0.000 claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법을 개시한다. 본 발명의 일 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 클라이언트 디바이스; 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며, 상기 클라이언트 디바이스는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킨다.Disclosed are a conversation system and a control method capable of controlling a device based on voice. According to an aspect of the present invention, there is provided a dialogue system capable of controlling a device based on voice, comprising: a client device that displays a real-time image received from a virtual conversation agent on a screen, and receives and transmits a control command from a user; a virtual conversation agent that captures a real-time screen using a camera and receives and transmits a control command from the client device; and one or more IoT electronic devices that receive a control command from the virtual dialog agent and perform a corresponding operation, wherein the client device synthesizes an artificial intelligence character in virtual reality so that the virtual dialog agent controls the IoT electronic device operation is implemented as an image to be displayed on the screen, and based on the virtual reality-based image including the artificial intelligence character and the captured real-time screen, virtual reality and augmented reality are mutually linked.
Description
본 발명은 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법에 관한 것으로, 더욱 상세하게는 증강현실과 가상현실을 혼합한 혼합현실 환경에서 음성을 이용하여 현실세계에 존재하는 기기의 제어가 가능한 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법에 관한 것이다.The present invention relates to a dialogue system and a control method capable of controlling a device based on voice, and more particularly, to control a device existing in the real world using voice in a mixed reality environment in which augmented reality and virtual reality are mixed. It relates to a conversation system and a control method capable of controlling a device based on a possible voice.
사용자와 컴퓨터 간의 의사소통 방법에 점차 음성의 중요성이 대두되고 있으며, 이러한 대화시스템을 통해 사용자가 컴퓨터 및 전자기기 등을 제어하는 것이 가능해지고 있다. 예컨대, 사용자는 스마트홈으로 구성된 전자기기들을 네트워크로 연결된 스마트폰(제어 어플리케이션이 포함된 스마트폰)을 이용하여 음성을 통한 제어 명령으로 전자기기들을 제어할 수 있다. The importance of voice is gradually emerging in a communication method between a user and a computer, and it is becoming possible for a user to control a computer and electronic devices through such a conversation system. For example, a user may control the electronic devices configured as a smart home by using a control command through voice using a smart phone (smartphone including a control application) connected through a network.
하지만, 상술한 바와 같은 현재의 대화시스템은 단순히 사용자가 음성을 통해 제어 명령을 전달하고 전자기기는 그에 대응하는 동작을 수행할 뿐, 사용자 입장에서는 제어가 올바르게 수행되고 있는지 직접적으로 확인을 할 수 없어 현실성이 떨어진다는 문제점이 있다. However, in the current conversation system as described above, the user simply transmits a control command through voice and the electronic device performs a corresponding operation, and the user cannot directly check whether the control is being performed correctly. There is a problem with the lack of realism.
본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 가상현실에 인공지능 캐릭터를 합성하여 음성 기반의 제어 명령에 따른 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시켜 디스플레이 할 수 있는 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and by synthesizing an artificial intelligence character in virtual reality, the operation according to the voice-based control command is realized as an image and displayed on the screen, and virtual reality including the artificial intelligence character An object of the present invention is to provide a dialogue system and a control method capable of controlling a device based on a voice that can be displayed by interworking virtual reality and augmented reality based on a base image and a captured real-time screen.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention may be understood by the following description, and will be more clearly understood by an embodiment of the present invention. Further, it will be readily apparent that the objects and advantages of the present invention can be realized by the means and combinations thereof indicated in the claims.
상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 클라이언트 디바이스; 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며, 상기 클라이언트 디바이스는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킨다.According to an aspect of the present invention for achieving the above object, a dialogue system capable of controlling a device based on voice displays a real-time image received from a virtual conversation agent on a screen, and receives and transmits a control command from a user a client device that does; a virtual conversation agent that captures a real-time screen using a camera and receives and transmits a control command from the client device; and one or more IoT electronic devices that receive a control command from the virtual dialog agent and perform a corresponding operation, wherein the client device synthesizes an artificial intelligence character in virtual reality so that the virtual dialog agent controls the IoT electronic device operation is implemented as an image to be displayed on the screen, and based on the virtual reality-based image including the artificial intelligence character and the captured real-time screen, virtual reality and augmented reality are mutually linked.
상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 한다. The IoT electronic device is characterized in that it is connected by an IoT network.
삭제delete
상기 클라이언트 디바이스는, 화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며, 상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 것을 특징으로 한다. The client device may divide the screen into a frame of a main area and an auxiliary area, and display a real-time screen captured by a virtual conversation agent using a camera in the main area, and a list of controllable IoT electronic devices in the auxiliary area It is characterized in that it is listed and displayed.
상기 클라이언트 디바이스는, 가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 것을 특징으로 한다. When the client device receives a control command input by a user from the virtual conversation agent, the image displayed on the main area and the image displayed on the auxiliary area are switched and displayed.
상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템에서의 제어 방법은, 음성을 기반으로 기기의 제어가 가능한 대화시스템에서의 제어 방법에 있어서, 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계; 가상 대화 에이전트가, 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 단계; 및 IoT 전자기기가, 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 단계;를 포함하며, 상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시키는 단계를 포함한다. According to another aspect of the present invention for achieving the above object, there is provided a control method in a conversation system capable of controlling a device based on voice, the control method in a conversation system capable of controlling a device based on voice, displaying, by a client device, a real-time image received from a virtual conversation agent on a screen, and receiving and transmitting a control command from a user; A step of the virtual conversation agent capturing a real-time screen using a camera, receiving and transmitting a control command from the client device; and receiving, by the IoT electronic device, a control command from the virtual conversation agent and performing a corresponding operation; including, by the client device, displaying a real-time image received from the virtual conversation agent on a screen and controlling the user The step of receiving and transmitting the command comprises synthesizing an artificial intelligence character in virtual reality, realizing the operation of the virtual conversation agent controlling the IoT electronic device as an image and displaying it on the screen, and virtual reality-based including the artificial intelligence character and interworking virtual reality and augmented reality based on the image and the captured real-time screen.
상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 한다. The IoT electronic device is characterized in that it is connected by an IoT network.
삭제delete
상기 클라이언트 디바이스는, 화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며, 상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는, 상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계를 포함하는 것을 특징으로 한다. The client device may divide the screen into a frame of a main area and an auxiliary area, and the step of displaying, by the client device, a real-time image received from a virtual conversation agent on a screen, and receiving and transmitting a control command from a user, and displaying a real-time screen captured by the virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area.
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계는, 가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 단계를 포함하는 것을 특징으로 한다. The step of displaying a real-time screen captured by the virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area includes receiving a control command input by the user from the virtual conversation agent When receiving, switching between the image displayed on the main area and the image displayed on the auxiliary area is characterized in that it comprises the step of displaying the displayed image.
본 발명의 일 측면에 따르면, 가상현실에 인공지능 캐릭터를 합성하여 음성 기반의 제어 명령에 따른 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시켜 디스플레이 함으로써, 보다 실감나는 상호작용을 연출하여 사용자에게 실감나는 대화시스템 서비스를 제공할 수 있는 효과가 있다.According to one aspect of the present invention, an artificial intelligence character is synthesized in virtual reality, an operation according to a voice-based control command is implemented as an image, and displayed on the screen, and a virtual reality-based image including an artificial intelligence character and a real-time screen shot By interworking and displaying virtual reality and augmented reality based on
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. .
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템의 개략적인 구성도,
도 2는 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 일 예,
도 3은 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 다른 예,
도 4는 본 발명의 일 실시예에 따른 대화시스템의 제어 방법의 개략적인 흐름도이다. The following drawings attached to this specification illustrate preferred embodiments of the present invention, and serve to further understand the technical spirit of the present invention together with specific contents for carrying out the invention, so the present invention is in such drawings It should not be construed as being limited only to the stated matters.
1 is a schematic configuration diagram of a dialogue system capable of controlling a device based on voice according to an embodiment of the present invention;
2 is an example of a screen of a client device according to an embodiment of the present invention;
3 is another example of a screen of a client device according to an embodiment of the present invention;
4 is a schematic flowchart of a method for controlling a conversation system according to an embodiment of the present invention.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in the description of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, the “… The term “unit” means a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.
도 1은 본 발명의 일 실시예에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템의 개략적인 구성도, 도 2는 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 일 예, 도 3은 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 다른 예이다. 1 is a schematic configuration diagram of a conversation system capable of controlling a device based on voice according to an embodiment of the present invention, FIG. 2 is an example of a screen of a client device according to an embodiment of the present invention, and FIG. 3 is a view Another example of a screen of a client device according to an embodiment of the present invention.
도 1을 참조하면, 본 실시예에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은 클라이언트 디바이스(100), 가상 대화 에이전트(200) 및 IoT 전자기기(300)를 포함한다. Referring to FIG. 1 , a conversation system capable of controlling a device based on voice according to the present embodiment includes a
클라이언트 디바이스(100)는 가상 대화 에이전트(200)로부터 실시간 영상을 수신하여 화면에 디스플레이 할 수 있다. 클라이언트 디바이스(100)는 사용자로부터 제어 명령을 수신하여 가상 대화 에이전트(200)로 전달할 수 있다. 이때, 클라이언트 디바이스(100)는 영상을 표시할 수 있는 화면을 구비하고, 통신이 가능한 휴대성이 있는 휴대용 단말일 수 있다. 예컨대, 클라이언트 디바이스(100)는 스마트폰, PDA 등과 같은 휴대용 단말일 수 있다. The
클라이언트 디바이스(100)는 가상 대화 에이전트(200)로부터 실시간 영상을 수신하여 화면에 디스플레이 하되, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트(200)가 IoT 전자기기(300)를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킬 수 있다. 이처럼, 클라이언트 디바이스(100)의 화면에 가상현실에 인공지능 캐릭터를 합성하여 음성 기반의 제어 명령에 따른 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시켜 디스플레이 함으로써, 보다 실감나는 상호작용을 연출하여 사용자에게 실감나는 대화시스템 서비스를 제공할 수 있는 효과가 있다. The
한편, 도 2 내지 도 3에 도시된 바와 같이, 클라이언트 디바이스(100)는 화면을 메인 영역(M)과 보조 영역(S)의 프레임으로 나누어 서로 다른 영상을 출력할 수 있다. 이때, 메인 영역(M)의 화면은 보조 영역(S)의 화면보다 상대적으로 큰 화면일 수 있다. 예컨대, 도 2에 도시된 바와 같이 메인 영역(M)에는 가상 대화 에이전트(200)가 카메라를 이용하여 촬영한 실시간 화면을 표시할 수 있으며, 보조 영역(S)에는 제어 가능한 IoT 전자기기(300)의 목록을 나열하여 표시할 수 있다. 이때, 메인 영역(M)에 표시된 실시간 화면에서 제어 가능한 IoT 전자기기(300)는 증강 현실이 적용되어 팝업 형식으로 불룩하게 표시됨으로써 사용자에게 입체감을 제공할 수도 있다. 한편, 사용자는 클라이언트 디바이스(100)의 화면에서 전등의 제어를 위해 음성으로 제어 명령을 제공할 수 있으며, 이러한 제어 명령은 가상 대화 에이전트(200)를 거쳐 해당하는 IoT 전자기기(300)로 전달되어 제어 명령이 수행될 수 있다. 예컨대, 사용자는 전등을 끄고 싶은 경우, “전등 꺼”와 같은 제어 명령을 음성을 통해 입력할 수 있으며, 해당 제어 명령은 가상 대화 에이전트(200)를 거쳐 해당하는 IoT 전자기기(300)로 전달되어 제어 명령이 수행될 수 있다. 이때, 클라이언트 디바이스(100)의 화면은 도 3에 도시된 바와 같이 전환될 수 있다. 즉, 클라이언트 디바이스(100)의 메인 영역(M)에는 전등의 제어와 연관된 수행 동작의 영상을 표시할 수 있으며, 보조 영역(S)에는 가상 대화 에이전트(200)가 카메라를 이용하여 촬영한 실시간 화면이 표시될 수 있다. 다시 말해, 클라이언트 디바이스(100)는, 가상 대화 에이전트(200)로부터 사용자가 입력한 제어 명령을 수신하는 경우, 메인 영역(M)에 표시된 영상과 상기 보조 영역(S)에 표시된 영상을 서로 전환하여 표시함으로써, 제어 명령의 입력에 따른 IoT 전자기기(300) 제어의 수행 동작을 보다 시각적으로 사용자에게 제공하여 실감나는 대화시스템 서비스를 제공할 수 있는 효과가 있다.Meanwhile, as shown in FIGS. 2 to 3 , the
가상 대화 에이전트(200)는 카메라를 이용하여 실시간 화면을 촬영할 수 있다. 가상 대화 에이전트(200)는 클라이언트 디바이스(100)로부터 제어 명령을 수신하여 IoT 전자기기(300)로 전달할 수 있다. 이때, 가상 대화 에이전트(200)는 실시간 화면의 촬영이 가능한 카메라를 구비하는 것으로, 일정한 장소에 고정형으로 구비될 수도 있고, 이동형으로 구비될 수도 있다. 이때, 가상 대화 에이전트(200)는 이동형으로 구비되는 경우 로봇 형태일 수 있다. 본 실시예를 설명함에 있어서, 가상 대화 에이전트(200)는 이동형으로 구비되는 경우, 다양한 장소를 이동하면서 IoT 네트워크로 연결된 IoT 전자기기(300)를 보다 효과적으로 제어할 수 있다. 이때, 가상 대화 에이전트(200)가 제어가 가능한 IoT 전자기기(300)와 통신이 가능한 일정 거리 내에 위치하는 경우, 제어 가능한 IoT 전자기기(300)의 목록이 클라이언트 디바이스(100)의 화면에 디스플레이 될 수 있다. The
IoT 전자기기(300)는 가상 대화 에이전트(200)로부터 제어 명령을 수신하여 대응하는 동작을 수행할 수 있다. 이때, IoT 전자기기(300)는 복수 개일 수 있으며, IoT 네트워크에 의해 연결될 수 있다. The IoT
IoT 네트워크에 대해 설명하면 다음과 같다. The IoT network will be described as follows.
사물인터넷 기기들이 기하급수적으로 증가함에 따라 각기 사용되는 방법보다 여러 기기들을 연동하여 서로 데이터를 주고받고 상호작용하는 방식의 기술들이 많이 나오고 있다. 특히, IoT 네트워크 기술로는 컴퓨팅과 무선 통신을 갖춘 IoT기기를 다양한 응용 환경에 적용하여 자율적인 네트워크를 구성하고 기기들로부터 획득한 정보들을 무선으로 수집하여 감시 및 제어 등의 용도로 활용하는 기술이다. 이러한 네트워크에서 서로 통신을 할 때는 RF기술을 이용한 단거리 통신부터 3G, LTE, 4G 등의 기술을 이용한 장거리 통신망을 형성하여 구현되고 있으며 WiFi, RFID, Bluetooth, NFC, ZigBee, 3G, LTE, LoRa 등을 이용하여 통신을 주고받고 있다. IoT 네트워크는 다양한 방법을 통해 구현이 가능하다. 즉, 이동통신 네트워크를 활용할 수도 있고, 다양한 근거리 통신 기법을 통해 애드혹 네트워크 형태로 구현될 수도 있다. 네트워크는 유선 또는 무선으로 특정 장치와 장치 사이에 데이터를 주고받을 수 있는 물리적 환경 내지 장치를 의미한다.As the number of IoT devices increases exponentially, there are a lot of technologies that link multiple devices to exchange data and interact with each other rather than using each method. In particular, as IoT network technology, IoT devices equipped with computing and wireless communication are applied to various application environments to form an autonomous network, and information obtained from devices is wirelessly collected and utilized for monitoring and control purposes. . When communicating with each other in these networks, it is implemented by forming a long-distance communication network using technologies such as 3G, LTE, and 4G from short-distance communication using RF technology. are used to communicate. The IoT network can be implemented through various methods. That is, a mobile communication network may be utilized or may be implemented in the form of an ad hoc network through various short-distance communication techniques. The network refers to a physical environment or device capable of exchanging data between a specific device and the device in a wired or wireless manner.
본 발명에 따르면, 현실 세계의 각종 IoT 전자기기(300)들은 IoT 네트워크를 통해 연결될 수 있으며, 가상 대화 에이전트(200)를 통해 사용자의 제어 명령을 수신하여 수신한 제어 명령에 대응하는 IoT 전자기기(300)를 동작 시킬 수 있다. According to the present invention, various IoT
도 4는 본 발명의 일 실시예에 따른 대화시스템의 제어 방법의 개략적인 흐름도이다. 4 is a schematic flowchart of a method for controlling a conversation system according to an embodiment of the present invention.
도 4를 참조하면, 먼저, 클라이언트 디바이스(100)는, 가상 대화 에이전트(200)로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달한다(S410). 클라이언트 디바이스(100)는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트(200)가 IoT 전자기기(300)를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킬 수 있다. 클라이언트 디바이스(100)는, 화면을 메인 영역(M)과 보조 영역(S)의 프레임으로 나눌 수 있으며, 메인 영역(M)에는 가상 대화 에이전트(200)가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 보조 영역(S)에는 제어 가능한 IoT 전자기기(300)의 목록을 나열하여 표시할 수 있다. 한편, 클라이언트 디바이스(100)는, 가상 대화 에이전트(200)로부터 사용자가 입력한 제어 명령을 수신하는 경우, 메인 영역(M)에 표시된 영상과 상기 보조 영역(S)에 표시된 영상을 서로 전환하여 표시할 수 있다. Referring to FIG. 4 , first, the
다음으로, 가상 대화 에이전트(200)는, 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스(100)로부터 제어 명령을 수신하여 전달한다(S420). 이때, 가상 대화 에이전트(200)는 실시간 화면의 촬영이 가능한 카메라를 구비하는 것으로, 일정한 장소에 고정형으로 구비될 수도 있고, 이동형으로 구비될 수도 있다. 이때, 가상 대화 에이전트(200)는 이동형으로 구비되는 경우 로봇 형태일 수 있다.Next, the
다음으로, IoT 전자기기는, 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행한다(S430). 이때, IoT 전자기기는 하나 이상일 수 있으며, IoT 네트워크에 의해 연결될 수 있다. Next, the IoT electronic device receives a control command from the virtual conversation agent and performs a corresponding operation (S430). In this case, there may be one or more IoT electronic devices, and may be connected by an IoT network.
본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Methods according to an embodiment of the present invention may be implemented as an application or implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium are specially designed and constructed for the present invention, and may be known and used by those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.
본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.While this specification contains many features, such features should not be construed as limiting the scope of the invention or the claims. Also, features described in individual embodiments herein may be implemented in combination in a single embodiment. Conversely, various features described in a single embodiment herein may be implemented in various embodiments individually, or may be implemented in appropriate combination.
도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although the operations have been described in a specific order in the drawings, it should not be understood that the operations are performed in the specific order as illustrated, or that all of the described operations are performed in a continuous order, or to obtain a desired result. Multitasking and parallel processing can be advantageous in certain circumstances. In addition, it should be understood that the division of various system components in the above-described embodiments does not require such division in all embodiments. The aforementioned app components and systems may generally be implemented as a package in a single software product or multiple software products.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.The present invention described above, for those of ordinary skill in the art to which the present invention pertains, various substitutions, modifications and changes are possible within the scope without departing from the technical spirit of the present invention. It is not limited by the drawings.
100 : 클라이언트 디바이스
200 : 가상 대화 에이전트
300 : IoT 전자기기
M : 메인 영역
S : 보조 영역100: client device
200: virtual conversation agent
300: IoT electronic device
M: main area
S: Secondary area
Claims (10)
카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및
상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며,
상기 클라이언트 디바이스는,
가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고,
상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시키는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.a client device that displays a real-time image received from a virtual conversation agent on a screen, and receives and transmits a control command from a user;
a virtual conversation agent that captures a real-time screen using a camera and receives and transmits a control command from the client device; and
one or more IoT electronic devices that receive a control command from the virtual conversation agent and perform a corresponding operation;
The client device is
By synthesizing artificial intelligence characters in virtual reality, the virtual dialog agent controls the IoT electronic device as an image to be displayed on the screen,
A dialogue system capable of controlling a device based on a voice, characterized in that the virtual reality-based image including the artificial intelligence character and the virtual reality and augmented reality are interlocked based on the captured real-time screen.
상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.The method of claim 1,
The IoT electronic device is a dialogue system capable of controlling the device based on voice, characterized in that it is connected by an IoT network.
상기 클라이언트 디바이스는,
화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며,
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고,
상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.The method of claim 1,
The client device is
The screen can be divided into frames in the main area and sub area,
In the main area, a real-time screen captured by a virtual conversation agent using a camera is displayed,
A dialogue system capable of controlling a device based on a voice, characterized in that the list of controllable IoT electronic devices is listed and displayed in the auxiliary area.
상기 클라이언트 디바이스는,
가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.5. The method of claim 4,
The client device is
A dialogue system capable of controlling a device based on voice, characterized in that when a control command input by a user is received from a virtual conversation agent, the image displayed in the main area and the image displayed in the auxiliary area are switched and displayed.
클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계;
가상 대화 에이전트가, 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 단계; 및
IoT 전자기기가, 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 단계;를 포함하며,
상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는,
가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시키는 단계를 포함하는 것을 특징으로 하는 제어 방법.In a control method in a conversation system capable of controlling a device based on voice,
displaying, by a client device, a real-time image received from a virtual conversation agent on a screen, and receiving and transmitting a control command from a user;
A method comprising: a virtual conversation agent capturing a real-time screen using a camera, and receiving and transmitting a control command from the client device; and
Including, by the IoT electronic device, receiving a control command from the virtual conversation agent and performing a corresponding operation;
The step of displaying, by the client device, the real-time image received from the virtual conversation agent on a screen, and receiving and transmitting a control command from the user,
By synthesizing an artificial intelligence character in virtual reality, the virtual conversation agent controls the IoT electronic device as an image to be displayed on the screen, and based on the virtual reality-based image including the artificial intelligence character and the captured real-time screen Control method comprising the step of mutually interworking virtual reality and augmented reality.
상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 하는 제어 방법.7. The method of claim 6,
The IoT electronic device is a control method, characterized in that connected by an IoT network.
상기 클라이언트 디바이스는,
화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며,
상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는,
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계를 포함하는 것을 특징으로 하는 제어 방법.7. The method of claim 6,
The client device is
The screen can be divided into frames in the main area and sub area,
The step of displaying, by the client device, the real-time image received from the virtual conversation agent on a screen, and receiving and transmitting a control command from the user,
and displaying a real-time screen captured by a virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area.
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계는,
가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 단계를 포함하는 것을 특징으로 하는 제어 방법.
10. The method of claim 9,
Displaying a real-time screen captured by a virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area,
and displaying the image displayed on the main area and the image displayed on the auxiliary area by switching each other when receiving a control command input by the user from the virtual conversation agent.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190160645A KR102356789B1 (en) | 2019-12-05 | 2019-12-05 | Communication system and control method that can control device based on voice |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190160645A KR102356789B1 (en) | 2019-12-05 | 2019-12-05 | Communication system and control method that can control device based on voice |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210070645A KR20210070645A (en) | 2021-06-15 |
KR102356789B1 true KR102356789B1 (en) | 2022-01-28 |
Family
ID=76412013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190160645A KR102356789B1 (en) | 2019-12-05 | 2019-12-05 | Communication system and control method that can control device based on voice |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102356789B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113783771A (en) * | 2021-09-17 | 2021-12-10 | 杭州一知智能科技有限公司 | AI virtual human interaction method and system based on WeChat |
KR102409281B1 (en) | 2021-11-25 | 2022-06-15 | (주)펜타유니버스 | Home appliance interactive system based on artificial intelligence |
WO2024071661A1 (en) * | 2022-09-30 | 2024-04-04 | 삼성전자 주식회사 | Electronic device and operation method thereof |
KR20240076607A (en) | 2022-11-22 | 2024-05-30 | (주)펜타유니버스 | System and method to support AI-based interactive services for home appliances |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180076188A (en) * | 2016-12-27 | 2018-07-05 | 엔티지(주) | Method for embodiment of augmented reality using marker and Voice Recognition |
KR101788248B1 (en) | 2017-03-02 | 2017-10-20 | 주식회사 미래엔 | On-line learning system and method using virtual reality and augmented reality |
KR101942798B1 (en) * | 2017-05-18 | 2019-01-29 | 주식회사 오퍼스원 | Method, apparatus and server for providing security service using idle user devices |
-
2019
- 2019-12-05 KR KR1020190160645A patent/KR102356789B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20210070645A (en) | 2021-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102356789B1 (en) | Communication system and control method that can control device based on voice | |
US10271013B2 (en) | Display control method and apparatus | |
JP6548286B2 (en) | Ground station, unmanned aerial vehicle, and communication system between ground station and unmanned aerial vehicle, method | |
CN105472546B (en) | Near field communication method and mobile terminal | |
JP2013507874A (en) | Control method of portable device, control method of display device, and control method of image system | |
CN105915766B (en) | Control method based on virtual reality and device | |
CN104702665A (en) | Information sharing method and information sharing device | |
CN104391581B (en) | The projecting method of the operation interface of mobile terminal and its application program | |
KR102134744B1 (en) | Apparatus and method for providing virtual fairs through virtual reality | |
CN109271125A (en) | Screen display control method, device and the storage medium of split type terminal device | |
CN109937393B (en) | Supporting augmented reality software applications | |
CN105252533A (en) | Robot interactive system, cloud computing platform, user terminal and robot | |
WO2018040566A1 (en) | Wireless communication method, unmanned aerial vehicle, unmanned aerial vehicle control device, and system | |
JP2014182406A (en) | Information processing system, information processing device and information processing method, and program | |
CN106982158A (en) | The sharing method and device of movement locus | |
CN106550487A (en) | WI FI direct-connected method and system | |
KR20170048677A (en) | Control module of game execution of mobile communication terminal and method for providing game image of split screen and the program stored in medium for executing the method | |
CN107913519B (en) | Rendering method of 2D game and mobile terminal | |
KR101659066B1 (en) | Method, system and computer-readable recording medium for creating message containing virtual space and virtual object | |
KR20180128637A (en) | Drone group control method and drone group control system having the method | |
KR20170133869A (en) | Terminal, POS terminal, beacon management server, beacon signal transmitter, troupe management server for confirming troupe using beacon, system comprising the same, control method thereof and computer readable medium having computer program recorded thereon | |
Zepernick | Toward immersive mobile multimedia: From mobile video to mobile extended reality | |
CN102946430B (en) | Command dispatching system and method | |
US10834561B2 (en) | Smart hardware operation method and apparatus | |
CN111752562A (en) | Cross-platform client interface development method, device, terminal equipment and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |