KR20210007931A - Real time VR service method through robot avatar - Google Patents

Real time VR service method through robot avatar Download PDF

Info

Publication number
KR20210007931A
KR20210007931A KR1020200184136A KR20200184136A KR20210007931A KR 20210007931 A KR20210007931 A KR 20210007931A KR 1020200184136 A KR1020200184136 A KR 1020200184136A KR 20200184136 A KR20200184136 A KR 20200184136A KR 20210007931 A KR20210007931 A KR 20210007931A
Authority
KR
South Korea
Prior art keywords
robot avatar
client device
client
image
time
Prior art date
Application number
KR1020200184136A
Other languages
Korean (ko)
Other versions
KR102325048B1 (en
Inventor
김성룡
Original Assignee
김성룡
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성룡 filed Critical 김성룡
Priority to KR1020200184136A priority Critical patent/KR102325048B1/en
Publication of KR20210007931A publication Critical patent/KR20210007931A/en
Priority to KR1020210121420A priority patent/KR20210119337A/en
Application granted granted Critical
Publication of KR102325048B1 publication Critical patent/KR102325048B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

According to an embodiment of the present invention, provided is a real-time virtual reality (VR) service providing method which can allow a user to more realistically experience various environments through VR images. The real-time VR service providing method comprises the steps of: allowing a client device to register VR experience application information in an application management server, wherein the VR experience application information includes photographing location information of a VR image by the client device; allowing the application management server to search a robot avatar device matching the VR experience application information; allowing the client device to perform pairing with the searched robot avatar device; and allowing the client device to receive the VR image from the paired robot avatar device in real time. Movement of the paired robot avatar device can be controlled by a first control signal transmitted from the client device.

Description

로봇 아바타를 통한 실시간 VR 서비스 제공방법{Real time VR service method through robot avatar}Real time VR service method through robot avatar}

본 명세서는 로봇 아바타 기기를 통해 클라이언트가 원하는 VR(Virtual Reality) 영상을 실시간으로 제공받는 방법 및 이를 위한 장치, 방법 및 시스템을 제안한다. The present specification proposes a method of receiving a virtual reality (VR) image desired by a client through a robot avatar device in real time, and an apparatus, method, and system for the same.

최근 각 통신사마다 5G(5th Generation)를 활용한 다양한 기능과 서비스를 내놓고 있다. 그 결과, 그동안 통신 속도의 한계 때문에 이뤄지지 못했던 빅데이터 연결 등이 가능해져 전 세계 어느 곳에 있던 시간 딜레이 없이 방송하는 것은 물론 원격 조정 등이 가능해졌다. 더구나 세계적으로 앞다퉈 차세대 통신 기술들을 도입하고 있는 추세이며, 가상 원격 화상 회의인 텔레프레젠스(Telepresence)등 신기술들로 시공간을 뛰어넘으려는 시도가 이어지고 있다.Recently, each telecommunications company is offering various functions and services using 5G (5th Generation). As a result, it became possible to connect to big data, which was not possible due to the limitation of communication speed, so that broadcasting without time delay anywhere in the world as well as remote control became possible. Moreover, there is a trend of introducing next-generation communication technologies worldwide, and attempts to transcend time and space with new technologies such as Telepresence, a virtual remote video conference, are continuing.

따라서, 국내 5G를 통한 통신과 360도 VR 등의 서비스는 향후 10년간 지금의 수십 배 이상 성장 가능하다고 업계에서 예측하고 있으며, 더불어 생활기반 플랫폼 서비스와 여행 서비스는 지금 시장 안정화 단계에 있어 매년 그 수요와 매출이 급상승하고 있다. 최근에는 지자체와 관공서는 물로 일반 기업들까지 VR 등을 활용한 신규 서비스와 연계한 새로운 비즈니스 사업을 발굴하려 노력하고 있는 실정이다.Therefore, the industry predicts that domestic 5G communications and services such as 360-degree VR can grow dozens of times over the next 10 years. In addition, life-based platform services and travel services are currently in the stabilization stage of the market and are in demand every year. And sales are soaring. In recent years, local governments and government offices are trying to discover new business businesses in connection with new services using VR, even to general companies.

본 발명은 더욱 빨라진 통신 속도를 기반으로 클라이언트가 원하는 VR 영상을 실시간으로 제공받거나 제공해 줄 수 있는 서비스 장치, 방법 및 시스템을 제공함에 그 목적이 있다.An object of the present invention is to provide a service apparatus, method, and system capable of receiving or providing a VR image desired by a client in real time based on a faster communication speed.

본 명세서에서는 보다 현장감 있는 로봇 아바타 서비스(ROBOT AVATAR SERVICE; RAS)를 제공한다. 여기서 RAS는, 클라이언트가 직접 경험하고 싶으나 일정한 제약(예를 들어, 클라이언트의 장애, 시간/비용/장소 제약 등)으로 클라이언트가 경험할 수 없는 현장을 로봇 아바타가 대신하여 가서 경험하고, 이러한 경험 상황을 실시간 VR 영상으로 제공하는 서비스를 일컫는다. RAS는 기본적으로 클라이언트가 자신이 경험하고자 하는 일들을 등록하고, 등록된 일을 대신하여 수행하는 로봇 아바타와 페어링/매칭/연결시켜주는 서비스를 제공하며, 페어링/매칭/연결된 로봇 아바타는 초고속 통신 기반으로 VR 영상을 클라이언트에 실시간으로 전송하게 된다. In this specification, a more realistic robot avatar service (ROBOT AVATAR SERVICE; RAS) is provided. Here, in RAS, the robot avatar goes to and experiences the sites that the client wants to experience directly but cannot be experienced by the client due to certain restrictions (for example, the client's failure, time/cost/location restrictions, etc.). It refers to a service provided by real-time VR video. Basically, RAS provides a service that allows clients to register tasks they want to experience and pair/match/connect with robot avatars that perform on behalf of the registered tasks, and pairing/matching/connected robot avatars are based on high-speed communication. VR video is transmitted to the client in real time.

본 발명의 일 실시예에 따른 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서, 클라이언트 기기가 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계로서, 상기 VR 체험 신청 정보는 상기 클라이언트 기기가 VR 영상의 촬영 위치 정보를 포함함; 상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보와 매칭되는 로봇 아바타 기기를 서칭하는 단계; 상기 클라이언트 기기가 상기 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계; 및 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 VR 영상을 실시간으로 수신하는 단계; 를 포함하되, 상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 제1 제어 신호에 의해 제어될 수 있다.In a method for providing a real-time VR (Virtual Reality) service according to an embodiment of the present invention, a step of registering, by a client device, VR experience request information in an application management server, wherein the VR experience request information is provided by the client device Including shooting location information; Searching, by the application management server, a robot avatar device matching the VR experience request information; Performing, by the client device, pairing with the searched robot avatar device; And receiving, by the client device, a VR image from the paired robot avatar device in real time. Including, the movement of the paired robot avatar device may be controlled by a first control signal transmitted from the client device.

또한, 상기 실시간 VR 서비스 제공 방법은, 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기의 이동 방향, 각도 및/또는 속도를 제어하기 위한 상기 제1 제어 신호를 상기 페어링된 로봇 아바타 기기로 전송하는 단계; 및 상기 페어링된 로봇 아바타 기기가 상기 제1 제어 신호에 따라 이동하는 단계; 를 더 포함할 수 있다. In addition, the method for providing a real-time VR service includes: transmitting, by the client device, the first control signal for controlling a movement direction, angle and/or speed of the paired robot avatar device to the paired robot avatar device; And moving the paired robot avatar device according to the first control signal. It may further include.

또한, 상기 제1 제어 신호는, 상기 클라이언트 기기에 대한 사용자의 이동 입력 신호에 동기화되어 생성될 수 있다.In addition, the first control signal may be generated in synchronization with a user's movement input signal for the client device.

또한, 상기 클라이언트 기기가 사용자에 의해 이동 제어가 가능한 타 기기와 페어링되어 있는 경우, 상기 페어링된 로봇 아바타 기기의 이동은 상기 타 기기의 이동과 동기화될 수 있다.In addition, when the client device is paired with another device capable of movement control by a user, the movement of the paired robot avatar device may be synchronized with the movement of the other device.

또한, 상기 제1 제어 신호는, 상기 타 기기로부터 상기 클라이언트 기기가 수신한 이동 제어 신호에 동기화되어 생성될 수 있다.In addition, the first control signal may be generated in synchronization with a movement control signal received by the client device from the other device.

또한, 상기 VR 영상 촬영을 위해 상기 로봇 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화될 수 있다.In addition, when the maximum shooting angle of the camera unit provided in the robot avatar device for capturing the VR image is less than 360 degrees, the shooting direction of the camera unit is synchronized with the head or gaze direction of the user wearing the client device. I can.

또한, 상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며, 상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성될 수 있다.In addition, the shooting angle of the camera unit is controlled by a second control signal transmitted from the client device, and the second signal may be generated in synchronization with a sensing result in the direction of the head or gaze of the user wearing the client device. have.

또한, 상기 로봇 아바타 기기를 서칭하는 단계는, 상기 어플리케이션 관리 서버가, 상기 등록된 VR 영상의 촬영 위치 정보와 매칭되는 현재 위치 정보를 갖는 로봇 아바타 기기를 서칭하는 단계일 수 있다.In addition, the step of searching for the robot avatar device may be a step of searching, by the application management server, a robot avatar device having current location information matching the photographing location information of the registered VR image.

또한, 상기 클라이언트 기기가 상기 페어링된 아바타 기기로부터 상기 VR 영상을 실시간으로 수신하는 단계는, 상기 클라이언트 기기가 상기 등록된 촬영 위치에서 촬영된 VR 영상을 상기 페어링된 아바타 기기로부터 실시간으로 수신하는 단계; 를 포함할 수 있다.In addition, the step of receiving the VR image from the paired avatar device by the client device in real time may include: receiving, by the client device from the paired avatar device, the VR image captured at the registered photographing location; It may include.

또한, 상기 클라이언트 기기가 상기 페어링된 아바타 기기로부터 상기 VR 영상을 실시간으로 수신하는 단계는, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기 및 상기 페어링된 아바타 기기간의 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계; 를 포함할 수 있다.In addition, the step of receiving, by the client device, the VR image from the paired avatar device in real time may include, by the application management server, providing a real-time voice chat or text chat function between the client device and the paired avatar device; It may include.

본 발명의 일 실시예에 따르면, 클라이언트는 자신이 직접 가지 않더라도 자신이 경험하고자 하는 특정 지역(특히, 원거리)에 있는 경치, 사물, 전시품 등과 같은 다양한 환경을 보다 현장감 있게 VR 영상을 통해 체험할 수 있다는 효과를 갖는다.According to an embodiment of the present invention, even if the client does not go directly, the client can experience various environments such as scenery, objects, exhibits, etc. in a specific area (particularly, a long distance) to experience through VR images in a more realistic way. Has an effect.

또한, 본 발명의 일 실시예에 따르면, 클라이언트는 로봇 아바타 이동/모션의 직접 조작이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 로봇 아바타를 통해 할 수 있다는 효과를 갖는다. In addition, according to an embodiment of the present invention, since the client can directly manipulate the movement/motion of the robot avatar, the client can more actively and flexibly provide the desired experience through the robot avatar.

또한, 본 발명의 일 실시예에 따르면, VR 여행/체험과 같은 기존에 없던 새로운 VR 서비스의 도출이 가능하므로, 새로운 직업 창출 등과 같은 경제적 효과를 갖는다.In addition, according to an embodiment of the present invention, since it is possible to derive new VR services such as VR travel/experience, which did not exist, it has economic effects such as creating new jobs.

도 1은 본 발명의 일 실시예에 따른 로봇 아바타를 통한 실시간 VR 서비스 방법을 예시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다.1 is a flowchart illustrating a real-time VR service method through a robot avatar according to an embodiment of the present invention.
2 is a block diagram illustrating a real-time VR service system according to an embodiment of the present invention.
3 and 4 are diagrams illustrating an embodiment in which a real-time VR service system according to an embodiment of the present invention is implemented.
5 is a diagram illustrating a method of controlling a robot avatar device of a client device according to an embodiment of the present invention.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technology to be described below may be modified in various ways and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology to be described below with respect to a specific embodiment, and it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the technology described below.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as 1st, 2nd, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, only for the purpose of distinguishing one component from other components. Is only used. For example, without departing from the scope of the rights of the technology described below, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms of the terms used in the present specification, expressions in the singular should be understood as including plural expressions unless clearly interpreted differently in context, and terms such as "includes" are specified features, numbers, steps, actions, and components. It is to be understood that the presence or addition of one or more other features or numbers, step-acting components, parts or combinations thereof is not meant to imply the presence of, parts, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is intended to clarify that the division of the constituent parts in the present specification is merely divided by the main function that each constituent part is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more according to more subdivided functions. In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to its own main function, and some of the main functions of each constituent unit are different. It goes without saying that it may be performed exclusively by.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing the method or operation method, each of the processes constituting the method may occur differently from the specified order unless a specific order is clearly stated in the context. That is, each process may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.

본 명세서는 기본적으로 로봇 아바타 서비스(REAL AVATAR SERVICE; RAS)를 제공한다. RAS는 로봇 아바타가 클라이언트를 대신하여 클라이언트가 하고자 하는 일들을 대신하여 수행/경험하는 서비스를 일컫는다. 본 발명에 따를 때, 5G와 같은 초고속 통신 서비스를 활용한 실시간 VR과 위치기반 서비스를 활용해 클라이언트가 경험하고자 하는 것(예를 들어, 원거리 여행지로의 여행, 전시회 관람, 해외 콘서트 관람, 수업 참석 등)을 의뢰하면, 로봇 아바타가 클라이언트를 대신하여 경험하고, 경험 상황을 실시간 VR 영상으로 전송해줄 수 있다. 이는, 텔레익지스턴스(Teleexistence)라는 기술 분야로도 불리며, VR 기기 및 초고속 이동 통신과 결합되어 새로운 서비스 상품의 창출이 가능하다. 이렇게 창출된 서비스 상품을 통해 클라이언트는 원격지에 있는 사물 또는 사람이 마치 근처에 있는 것 같은 현장감을 느낄 수 있으며, 로봇 아바타를 직접 조작함으로써 적극적으로 자신의 체험 환경을 직접 구축할 수 있다. This specification basically provides a robot avatar service (REAL AVATAR SERVICE; RAS). RAS refers to a service that a robot avatar performs/experiences on behalf of the client and on behalf of the client's work. In accordance with the present invention, what the client wants to experience using real-time VR and location-based services using high-speed communication services such as 5G (e.g., travel to a distant destination, visit an exhibition, visit an overseas concert, attend a class Etc.), the robot avatar can experience on behalf of the client and transmit the experience situation as a real-time VR image. This is also referred to as a technical field called teleexistence, and it is possible to create new service products by combining with VR devices and high-speed mobile communication. Through the service product created in this way, the client can feel the sense of reality as if an object or person in a remote location is nearby, and can actively build their own experience environment by directly manipulating the robot avatar.

예를 들어, 투병 생활 중이나 킬리만자로에 오르는 것이 소원인 아이, 베트남에 있으나 한국에서 열리는 특정 가수 공연에 가고 싶어 하는 아이, 죽기 전 북한에 있는 자신의 고향을 보고 싶어하는 90세 할아버지, 영등포 타임스퀘어에서 열리고 있는 할인 쇼핑 행사에서 직접 눈으로 보고 상품을 구입하고 싶으나 육아로 방문할 시간이 부족한 주부, 출장 중이나 딸의 기념 행사에 참석하고 싶어하는 아빠 등과 같이 자신이 직접 경험하고 싶으나 시간적/공간적/현실적 한계로 불가능한 사례가 있을 수 있다. 이와 같은 한계를 갖는 이들이 클라이언트가 되어 직접 경험하고자 하는 일들의 대행을 본 서비스 시스템을 통해 직접 의뢰할 수 있으며, 본 서비스 시스템은 이를 대신 수행해줄 로봇 아바타와 클라이언트를 페어링/연결시켜줄 수 있다. 페어링/연결된 로봇 아바타는 클라이언트가 의뢰한 일들을 대신 수행함으로써 클라이언트를 만족시킬 수 있다. 특히, 본 서비스의 경우 사람이 아닌 로봇이 대신 수행하기 때문에 현실적인 제약으로 사람이 직접 접근하기 어려운 지역(예를 들어, 매우 위험하고 험난한 지형 또는 날씨가 너무 춥거나 더운 지역 등)으로도 접근이 가능하므로, 보다 다양하고 무궁무진한 VR 영상의 실시간 전송이 가능하다는 장점을 갖는다. For example, a child who is struggling with illness or wishes to climb Kilimanjaro, a child in Vietnam but wants to go to a certain singer performance in South Korea, a 90-year-old grandfather who wants to see his hometown in North Korea before he dies, and is held at Times Square in Yeongdeungpo. At a discount shopping event, a housewife who wants to see and purchase products with their own eyes but does not have time to visit for child care, a father who wants to attend a business trip or a commemorative event for her daughter, etc. There may be examples. Those with such limitations can become clients and directly request an agency for things they want to experience directly through this service system, and the service system can pair/connect the robot avatar and the client that will perform this instead. The paired/connected robot avatar can satisfy the client by performing tasks requested by the client instead. In particular, since this service is performed by a robot instead of a human, it is possible to access even areas that are difficult for humans to directly access due to realistic restrictions (e.g., extremely dangerous and rough terrain or areas where the weather is too cold or hot). Therefore, it has the advantage that real-time transmission of more diverse and infinite VR images is possible.

이러한 본 서비스 시스템의 구현 방법 및 다양한 실시예는 이하에서 각 도면을 참조하여 이하에서 구체적으로 후술한다.The implementation method and various embodiments of the present service system will be described later in detail with reference to each drawing.

도 1은 본 발명의 일 실시예에 따른 로봇 아바타를 통한 실시간 VR 서비스 방법을 간략히 예시한 순서도이다. 본 순서도에서 각 단계의 순서는 변경될 수 있으며, 적어도 하나의 단계가 새롭게 부가되거나 삭제될 수 있다. 또한, 본 순서도에서 클라이언트 기기는 실시간 VR 영상을 의뢰한 클라이언트의 기기를 의미하며, 로봇 아바타 기기는 의뢰받은 실시간 VR 영상을 클라이언트 기기에 실시간으로 제공하는 로봇 기기를 의미한다. 본 명세서의 실시간 VR 서비스는 특정 어플리케이션을 통해 구현될 수 있으며, 본 명세서의 클라이언트 기기 및 아바타 기기는 이러한 특정 어플리케이션/프로그램(이하, 어플리케이션으로 통칭)이 설치된 전자 기기에 해당할 수 있다.1 is a flowchart briefly illustrating a real-time VR service method through a robot avatar according to an embodiment of the present invention. In this flowchart, the order of each step may be changed, and at least one step may be newly added or deleted. In addition, in this flow chart, the client device refers to a device of a client requesting a real-time VR image, and the robot avatar device refers to a robot device that provides the requested real-time VR image to the client device in real time. The real-time VR service of the present specification may be implemented through a specific application, and the client device and the avatar device of the present specification may correspond to electronic devices in which such a specific application/program (hereinafter, collectively referred to as an application) is installed.

도 1을 참조하면, 우선, 클라이언트 기기(101)는 VR 체험을 어플리케이션 관리 서버(103)에 신청/등록할 수 있다(S101). 예를 들어, 클라이언트 기기(101)는 자신이 경험하고자 하는 VR 체험에 관한 기본적인 정보로서, 의뢰하고자 하는 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 관심사, 하고 싶은 일, 해야 할 일, 일정 및/또는 사용 언어 등의 정보를 어플리케이션 관리 서버에 신청/등록할 수 있다. Referring to FIG. 1, first, the client device 101 may apply/register for a VR experience to the application management server 103 (S101). For example, the client device 101 is basic information about the VR experience that it wants to experience, and the content type, shooting location, shooting time, shooting request cost, interest, what to do, and what to do. Information such as day, schedule and/or language used may be requested/registered in the application management server.

다음으로, 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 VR 체험 신청/등록 정보를 기반으로 VR 체험을 대행하기에 적절한 로봇 아바타 기기(102)를 서칭할 수 있다(S102). 여기서 서칭되는 로봇 아바타 기기(102)는 VR 체험 대행을 위해 어플리케이션 관리 서버(103)에 등록되어 있는 기기로서, 특정 지역에 사전에 설치/위치/배치되어 있는 촬영 기기를 의미할 수 있다. 로봇 아바타 기기(102)는 촬영/대행 가능한 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 일정 및/또는 지원 언어 등에 관한 기본 정보와 함께 어플리케이션 관리 서버에 등록될 수 있다. 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 VR 체험 신청/등록 정보와 사전에 등록되어 있는 로봇 아바타 기기(102)의 기본 정보를 상호 비교하여, 가장 높은 매칭률을 갖는(예를 들어, VR 체험 신청/등록 정보와 가장 매칭되는 정보량이 많은 기본 정보를 갖는) 아바타 기기(102)를 서칭할 수 있다. 어플리케이션 관리 서버(103)는 매칭률 판단에 있어 두 기기간 등록된 장소의 매칭 여부에 가장 높은 우선 순위를 두고 로봇 아바타 기기(102)를 서칭할 수 있다. Next, the application management server 103 may search for a robot avatar device 102 suitable for performing a VR experience based on the VR experience request/registration information of the client device 101 (S102). The robot avatar device 102 searched here is a device registered in the application management server 103 for a VR experience agency, and may mean a photographing device that is previously installed/located/arranged in a specific area. The robot avatar device 102 may be registered in the application management server together with basic information about a content type, a photographing location, a photographing time, a photographing request cost, a schedule, and/or a supported language of a VR image that can be photographed/proposed. The application management server 103 compares the VR experience application/registration information of the client device 101 with the basic information of the robot avatar device 102 registered in advance, and has the highest matching rate (for example, The avatar device 102 having a large amount of information that most matches the VR experience request/registration information) may be searched. In determining the matching rate, the application management server 103 may search for the robot avatar device 102 with the highest priority on whether or not a registered place between two devices is matched.

다음으로, 클라이언트 기기(101)와 서칭된 로봇 아바타 기기(102)간의 페어링/연결이 수행될 수 있다(S102). 여기서, 페어링/연결은 두 기기간의 직접적인 연결뿐만 아니라, 어플리케이션 관리 서버를 통한 간접적인 페어링/연결 모두를 의미한다. 직접적인 페어링/연결의 경우, 클라이언트 기기(101)와 로봇 아바타 기기(102)는 상호간에 무선/유선 제어 신호를 직접적으로 주고받음으로써 통신을 수행할 수 있으며, 간접적인 페어링/연결의 경우, 클라이언트 기기(101)와 로봇 아바타 기기(102)는 어플리케이션 관리 서버(103)를 통해 무선/유선 제어 신호를 주고받을 수 있으며, 어플리케이션 관리 서버(103)는 중간에서 두 기기간의 제어 신호를 전달하는 역할을 수행할 수 있다. Next, pairing/connection between the client device 101 and the searched robot avatar device 102 may be performed (S102). Here, pairing/connection means both direct connection between two devices as well as indirect pairing/connection through an application management server. In the case of direct pairing/connection, the client device 101 and the robot avatar device 102 can perform communication by directly exchanging wireless/wired control signals with each other, and in the case of indirect pairing/connection, the client device 101 and the robot avatar device 102 can exchange wireless/wired control signals through the application management server 103, and the application management server 103 transmits control signals between two devices in the middle. can do.

마지막으로, 클라이언트 기기(101)는 페어링/연결된 로봇 아바타 기기(102)로부터 미리 약속한 체험 시간에 자신이 의뢰한 VR 영상을 실시간으로 제공받을 수 있다. 이때, 클라이언트 기기(101)는 로봇 아바타 기기(102)를 직접 조작하여 자신이 체험하고자 하는 환경을 적극적으로 구축할 수도 있다. 예를 들어, 클라이언트 기기(101)는 로봇 아바타 기기(102)의 이동/모션/움직임/비행 방향/속도, 카메라 각도 등을 조작하기 위한 제어 신호를 로봇 아바타 기기(102)로 직접(혹은 실시간 VR 서비스 시스템을 통해 간접적으로) 전송할 수 있으며, 로봇 아바타 기기(102)는 클라이언트 기기로부터 수신한 제어 신호에 따라 이동/모션/움직임/비행이 제어되어 VR 영상을 실시간 전송할 수 있다. Finally, the client device 101 may receive a VR image requested by the client device 101 from the paired/connected robot avatar device 102 at a predetermined experience time in real time. In this case, the client device 101 may directly manipulate the robot avatar device 102 to actively build an environment that it wants to experience. For example, the client device 101 directly transmits a control signal for manipulating the movement/motion/movement/flight direction/speed, camera angle of the robot avatar device 102 to the robot avatar device 102 (or real-time VR It can be transmitted indirectly) through the service system, and the robot avatar device 102 can transmit a VR image in real time by controlling movement/motion/motion/flight according to a control signal received from the client device.

본 실시간 VR 서비스 시스템의 구축을 위해 다양한 장소(예를 들어, 관광 명소, 전시회, 쇼핑몰 등)에 로봇 아바타 기기(102)가 미리 구비/배치/설치/위치되어 있거나 해당 장소 근처에 로봇 아바타 기기(102)가 구비된 서비스 지점이 위치할 수 있다. 본 서비스 시스템을 수행하기 위해 고용된 로봇 배달자가 미리 약속된 시간 전에 약속된 장소로 로봇 아바타 기기(102)를 위치시켜놓을 수 있으며, 약속된 시간부터 클라이언트 기기(101)와 로봇 아바타 기기(102)가 페어링/연결되어 실시간 VR 영상 전송 서비스가 개시될 수 있다. 나아가, 이러한 로봇 배달자는 단순히 로봇 아바타 기기를 배달만 하는 것이 아닌, 로봇 아바타 기기의 체험을 함께 동행할 수도 있다(즉, 로봇 동행자로서의 역할도 수행 가능). 이때, 로봇 동행자는 로봇 아바타 기기와 동행하면서 로봇 아바타 기기를 통해 제공되는 클라이언트 기기와의 실시간 커뮤니케이션 기능을 통해 클라이언트와 실시간/쌍방향 대화를 수행할 수 있다. 이를 통해, 로봇 동행자는 여행지에 대한 다양한 조언/정보를 클라이언트에게 제공하는 등 클라이언트의 가이드 또는 대화 상대가 되어줄 수 있다.In order to build this real-time VR service system, a robot avatar device 102 is pre-equipped/arranged/installed/located in various places (for example, tourist attractions, exhibitions, shopping malls, etc.) or a robot avatar device ( A service point with 102) may be located. A robot delivery person hired to perform the service system may place the robot avatar device 102 at an appointment place before a predetermined time, and the client device 101 and the robot avatar device 102 from the promised time. Is paired/connected to start a real-time VR image transmission service. Furthermore, such a robot delivery person may not only deliver the robot avatar device, but may also accompany the experience of the robot avatar device (that is, the role of a robot companion can also be performed). In this case, the robot companion may perform a real-time/two-way conversation with the client through a real-time communication function with the client device provided through the robot avatar device while accompanying the robot avatar device. Through this, the robot companion can be a guide or a conversation partner of the client, such as providing various advice/information on the travel destination to the client.

도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.2 is a block diagram illustrating a real-time VR service system according to an embodiment of the present invention.

도 2를 참조하면, 실시간 VR 서비스 시스템은 클라이언트 기기(101), 아바타 기기(102) 및 어플리케이션 관리 서버(103)를 포함할 수 있다. 어플리케이션 관리 서버(103)는 전체 실시간 VR 서비스 시스템을 관리/총괄/운용하는 기기/서버에 해당할 수 있으며, 클라이언트 기기(101) 및 아바타 기기(102)와 통신을 수행하고 이들을 관리/제어할 수 있다. 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)는 본 명세서에서 기술하는 다양한 기능/방법을 수행하기 위한 적어도 하나의 구성/유닛을 포함할 수 있다.Referring to FIG. 2, a real-time VR service system may include a client device 101, an avatar device 102, and an application management server 103. The application management server 103 may correspond to a device/server that manages/generates/operates the entire real-time VR service system, and communicates with the client device 101 and the avatar device 102 and manages/controls them. have. The application management server 103, the client device 101, and the avatar device 102 may include at least one component/unit for performing various functions/methods described herein.

예를 들어, 어플리케이션 관리 서버(103)/클라이언트 기기(101)/아바타 기기(102)는 프로세서(201), 메모리 유닛(202), VR 디스플레이 유닛(203), 통신 유닛(204), 광각 카메라 유닛(205), 모션 유닛(206) 및/또는 입력 유닛(207)을 포함할 수 있다. 이하에서는 각 구성/유닛에 대해 설명하며, 이하의 설명은 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)에 공통적으로 적용될 수 있다.For example, the application management server 103 / client device 101 / avatar device 102 is a processor 201, a memory unit 202, a VR display unit 203, a communication unit 204, a wide-angle camera unit 205, a motion unit 206 and/or an input unit 207. Hereinafter, each component/unit will be described, and the following description may be commonly applied to the application management server 103, the client device 101, and the avatar device 102.

프로세서(201)는, 본 명세서에서 제안된 기능, 과정 및/또는 방법을 구현할 수 있으며, 각 기기에 포함된 적어도 하나의 다른 유닛/구성과 통신을 수행할 수 있다. 따라서, 프로세서(201)는 각 기기와 동일시되어 설명될 수 있다. The processor 201 may implement the functions, processes and/or methods proposed in the present specification, and may perform communication with at least one other unit/configuration included in each device. Accordingly, the processor 201 may be described by being identified with each device.

메모리 유닛(202)은 다양한 정보/데이터/프로그램/어플리케이션/영상/이미지을 저장할 수 있다. 메모리 유닛(202)은 저장한 정보/데이터/영상/이미지를 프로세서(202)로 전송하거나 프로세서(201)로부터 수신할 수 있다. 또한, 메모리 유닛(202)에 저장된 프로그램/어플리케이션은 프로세서(202)에 의해 실행/수행될 수 있다. 특히, 본 발명에 따른 메모리 유닛(202)은 실시간 VR 서비스 시스템을 구현하기 위해 디자인된 어플리케이션을 저장할 수 있으며, 프로세서(201)에 의해 해당 어플리케이션이 실행될 수 있다. 메모리 유닛(202)은 프로세서(201) 내부 또는 외부에 있을 수 있다.The memory unit 202 may store various types of information/data/programs/applications/images/images. The memory unit 202 may transmit the stored information/data/image/image to the processor 202 or may receive it from the processor 201. Also, a program/application stored in the memory unit 202 may be executed/executed by the processor 202. In particular, the memory unit 202 according to the present invention may store an application designed to implement a real-time VR service system, and the application may be executed by the processor 201. The memory unit 202 may be inside or outside the processor 201.

VR 디스플레이 유닛(203)은 이미지/영상/화면을 출력/디스플레이할 수 있다. 예를 들어, VR 디스플레이 유닛(203)은 HMD(Head Mounted Display)에 해당할 수 있다. 또한, (VR) 디스플레이 유닛(203)은 적어도 하나의 터치/압력/근접/모션/카메라 센서를 포함하여 사용자의 터치 입력을 센싱할 수 있으며, (VR) 디스플레이 유닛(203)이 HMD인 경우 사용자 입력으로서 적어도 하나의 방향/자이로/각도/가속도 센서를 구비하여 사용자의 헤드 방향/각도를 센싱할 수 있다. (VR) 디스플레이 유닛(203)은 센싱한 결과를 프로세서로 전송할 수 있다. 특히, 본 명세서의 (VR) 디스플레이 유닛(203)은 통신 유닛(204)을 통해 실시간으로 전송받은 다양한 VR 이미지/영상/화면을 실시간으로 디스플레이할 수 있다. 또한, 로봇 아바타 기기에 구비된 (VR) 디스플레이 유닛(203)은 클라이언트의 얼굴/아바타/이모티콘을 디스플레이하여 마치 로봇 아바타 기기가 클라이언트처럼 보이도록 함으로써 실제 클라이언트가 해당 지역을 여행하는 것과 같은 개인 맞춤형 체험 서비스를 제공할 수도 있다. The VR display unit 203 may output/display an image/video/screen. For example, the VR display unit 203 may correspond to a Head Mounted Display (HMD). In addition, the (VR) display unit 203 may include at least one touch/pressure/proximity/motion/camera sensor to sense a user's touch input, and when the (VR) display unit 203 is an HMD, the user At least one direction/gyro/angle/acceleration sensor is provided as an input to sense the user's head direction/angle. The (VR) display unit 203 may transmit the sensing result to the processor. In particular, the (VR) display unit 203 of the present specification may display various VR images/videos/screens transmitted in real time through the communication unit 204 in real time. In addition, the (VR) display unit 203 provided in the robot avatar device displays the client's face/avatar/emoticon to make the robot avatar device look like a client, thereby providing a personalized experience such as a real client traveling in a corresponding area. You can also provide services.

통신 유닛(204)은 프로세서(201)와 연결되어, 내부/외부 기기/서버와 유/무선 신호를 송신 및/또는 수신할 수 있다. The communication unit 204 is connected to the processor 201 and may transmit and/or receive an internal/external device/server and a wired/wireless signal.

광각 카메라 유닛(205)은 적어도 하나의 (광각) 카메라 센서(예를 들어, 360도 카메라 (센서))를 이용하여 이미지/영상/화면을 입력/획득/인식/센싱할 수 있다. 특히, 본 발명에 따른 광각 카메라 유닛(205)의 경우, 광각의 이미지/영상/화면을 실시간으로 촬영/획득/인식/센싱할 수 있으며, 이렇게 촬영/획득/인식/센싱된 영상은 VR 영상으로서 통신 유닛(204)을 통해 클라이언트 기기(101)로 실시간으로 전송될 수 있다. The wide-angle camera unit 205 may input/acquire/recognize/sens an image/video/screen using at least one (wide-angle) camera sensor (eg, a 360-degree camera (sensor)). In particular, in the case of the wide-angle camera unit 205 according to the present invention, a wide-angle image/video/screen can be photographed/acquired/recognized/sensed in real time, and the photographed/acquired/recognized/sensed image is a VR image. It can be transmitted in real time to the client device 101 through the communication unit 204.

모션 유닛(206)은 적어도 하나의 모터/엔진을 구비하여 로봇 아바타 기기(102)의 움직임(예를 들어, 이동/모션/비행 방향/속도/각도 등)을 제어할 수 있다. 모션 유닛(206)은 프로세서(201) 및/또는 통신 유닛(204)으로부터 수신한 제어 신호에 기초하여 로봇 아바타 기기(102)의 움직임을 제어할 수 있으며, 이렇게 수신한 제어 신호는 클라이언트 기기(101) 및/또는 어플리케이션 관리 서버(103)로부터 전송된 제어 신호일 수 있다.The motion unit 206 may include at least one motor/engine to control the movement of the robot avatar device 102 (eg, movement/motion/flying direction/speed/angle, etc.). The motion unit 206 may control the movement of the robot avatar device 102 based on the control signal received from the processor 201 and/or the communication unit 204, and the received control signal is the client device 101 ) And/or a control signal transmitted from the application management server 103.

입력 유닛(207)는 적어도 하나의 센서/모듈 구비하여 사용자(특히, 클라이언트)의 다양한 입력을 센싱하고, 센싱한 입력을 프로세서(201)로 전달할 수 있다. 예를 들어, 입력 유닛(207)은 근접 센서, 터치 센서, 압력 센서, 카메라 센서, 모션 센서, 적외선 센서, 마이크 센서, 자이로 센서, 및/또는 스틱 모듈(상/하/좌/우 방향으로의 스틱 움직임 감지하는 모듈)를 구비할 수 있다. 스틱 모듈을 이용한 로봇 아바타 기기의 제어 실시예는 도 5를 참조하여 이하에서 후술한다.The input unit 207 may be provided with at least one sensor/module to sense various inputs of a user (especially a client) and transmit the sensed input to the processor 201. For example, the input unit 207 is a proximity sensor, a touch sensor, a pressure sensor, a camera sensor, a motion sensor, an infrared sensor, a microphone sensor, a gyro sensor, and/or a stick module (up/down/left/right direction). A module that detects stick movement) may be provided. An embodiment of controlling a robot avatar device using a stick module will be described later with reference to FIG. 5.

도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다. 보다 상세하게는, 도 3은 실시간 VR 서비스를 제공하는 로봇 아바타 기기, 도 4는 실시간 VR 서비스를 제공받는 클라이언트 기기를 각각 예시한 도면이다.3 and 4 are diagrams illustrating an embodiment in which a real-time VR service system according to an embodiment of the present invention is implemented. In more detail, FIG. 3 is a diagram illustrating a robot avatar device providing a real-time VR service, and FIG. 4 is a diagram illustrating a client device receiving a real-time VR service.

도 3을 참조하면, 도 1에 따라 페어링/연결된 로봇 아바타 기기(301)는 클라이언트 기기가 의뢰한 장소를 광각 카메라 유닛을 통해 촬영한 VR 영상을 클라이언트 기기로 전송할 수 있다. 이때, 로봇 아바타 기기(301)는 촬영한 VR 영상(302)을 클라이언트 기기와 약속한 시간에 실시간으로 전송하거나, 저장해두었다가 추후 약속한 시간에 전송해줄 수 있다. Referring to FIG. 3, a robot avatar device 301 paired/connected according to FIG. 1 may transmit a VR image captured by a wide-angle camera unit of a place requested by the client device to the client device. In this case, the robot avatar device 301 may transmit the captured VR image 302 to the client device in real time at a predetermined time or store and transmit the captured VR image 302 at a predetermined time later.

로봇 아바타 기기(301)는 실시간 VR 서비스 시스템의 구현(특히, 로봇 아바타 기기의 구현)을 위해 고용되었거나 업으로 하는 근로자에 의해 클라이언트가 의뢰한 특정 장소로 및/또는 약속 시간 이전에 옮겨지거나, 이동이 자동화된 로봇 기기로 구현되어 약속 시간에 특정 장소로 직접 이동할 수도 있다. 또는, 로봇 아바타 기기는 클라이언트가 의뢰한 특정 장소에 사전에 배치/설치/위치되어 있는 기기일 수도 있다. The robot avatar device 301 is moved or moved to a specific place requested by the client and/or before the appointment time by a worker employed or engaged in a real-time VR service system (especially, a robot avatar device). Implemented with this automated robotic device, it can also be moved directly to a specific place at an appointment. Alternatively, the robot avatar device may be a device that is previously placed/installed/located in a specific place requested by the client.

도 4를 참조하면, 클라이언트 기기(401)는 도 3과 같이 로봇 아바타 기기(301)의 광각 카메라 유닛을 통해 촬영된 영상을 VR 영상으로 제공받을 수 있다. 360도 이미지(402)를 제공받는 경우, 클라이언트는 클라이언트 기기(401)의 각도/방향((VR) 디스플레이 유닛이 HMD인 경우, HMD를 착용한 머리의 각도/방향) 또는 클라이언트의 시선 각도/방향/위치를 조절함으로써 원하는 각도/방향의 VR 영상(403)을 직접 체험할 수 있다. Referring to FIG. 4, the client device 401 may receive an image captured through the wide-angle camera unit of the robot avatar device 301 as a VR image as shown in FIG. 3. When the 360-degree image 402 is provided, the client is the angle/direction of the client device 401 (when the (VR) display unit is an HMD, the angle/direction of the head wearing the HMD) or the gaze angle/direction of the client By adjusting the /position, you can directly experience the VR image 403 of the desired angle/direction.

이때, 클라이언트 기기(401)는 표시 중인 VR 영상(403) 중 인식된 특정 객체에 대한 정보를 검색하여 클라이언트에 제공할 수도 있다. 예를 들어, 클라이언트 기기(401)는 표시 VR 영상(403) 중 인식된 특정 이미지/텍스트를 자동으로 검색하여(예를 들어, 어플리케이션 또는 포털 사이트에서 제공하는 이미지/텍스트 검색 기능을 이용) 검색 결과를 클라이언트에 제공할 수도 있다. In this case, the client device 401 may search for information on a recognized specific object among the VR image 403 being displayed and provide it to the client. For example, the client device 401 automatically searches for a specific image/text recognized among the displayed VR images 403 (for example, using an image/text search function provided by an application or portal site), and the search result Can also be provided to the client.

추가로, 클라이언트는 로봇 아바타 기기(301)가 제공하는 VR 영상을 체험하면서 아바타 기기(301)와 실시간 커뮤니케이션을 수행할 수 있다. 예를 들어, 로봇 아바타 기기(301)를 통해 실시간 VR 영상을 촬영하여 제공 중인 경우, 어플리케이션 관리 서버는 어플리케이션을 통한 (쌍방향) 음성/문자 채팅 기능을 제공하여 로봇 아바타(또는 로봇 배달자/동행자)와 클라이언트간의 실시간 커뮤니케이션 기능을 제공할 수 있다. 이때, 로봇 아바타 기기(301)는 클라이언트 기기(401)의 채팅 메시지에 대응하여 인공 지능 챗봇과 같은 자동 채팅 기능을 사용해 응답할 수 있다. 이를 통해, 클라이언트는 누군가와 함께 체험/경험을 하고 있는 것처럼 느껴 체험 만족감이 더 높일 수 있으며, 커뮤니케이션을 통한 사회적 체험 환경이 조성될 수 있다. 또한, 로봇 아바타 기기(301)는 클라이언트의 질문에 응답하는 방식의 채팅 수행도 가능하므로(인터넷 검색을 통한 검색 결과 제공 가능), 클라이언트는 체험 장소에 관한 다양한 지식도 얻을 수 있다는 효과를 갖는다. In addition, the client may perform real-time communication with the avatar device 301 while experiencing a VR image provided by the robot avatar device 301. For example, when a real-time VR image is captured and provided through the robot avatar device 301, the application management server provides a (bidirectional) voice/text chat function through the application to provide a robot avatar (or robot delivery person/companion). It can provide a real-time communication function between the client and the client. In this case, the robot avatar device 301 may respond to the chat message of the client device 401 using an automatic chat function such as an artificial intelligence chatbot. Through this, the client feels as if he is experiencing/experience with someone, and the satisfaction of the experience can be increased, and a social experience environment can be created through communication. In addition, since the robot avatar device 301 can perform a chat in a manner that responds to a client's question (a search result can be provided through Internet search), the client can obtain various knowledge about the experience location.

이러한 클라이언트 기기(401)와 로봇 아바타 기기(301)간의 페어링/연결은, 1:1 매칭이 기본이나, 실시예에 따라 1:N 또는 N:1 페어링/연결도 가능하다. 이 역시, 앞서 상술한 바와 같이 클라이언트/아바타 기기가(401, 301) 등록한 신청/기본 정보 기반으로 어플리케이션 관리 서버에 의해 수행될 수 있다. The pairing/connection between the client device 401 and the robot avatar device 301 is based on 1:1 matching, but a 1:N or N:1 pairing/connection is also possible according to an embodiment. This can also be performed by the application management server based on the application/basic information registered by the client/avatar device (401, 301) as described above.

클라이언트는 VR 영상을 제공받은 후, VR 영상을 제공한 로봇 아바타를 평가할 수 있다. 예를 들어, 클라이언트는 어플리케이션을 통해 해당 로봇 아바타에 대한 평가 점수를 매길 수 있으며, 이는 어플리케이션 관리 서버에 저장되어 관리될 수 있다. 어플리케이션 관리 서버는 실시예에 따라 어플리케이션을 통해 클라이언트 기기와 페어링/연결 가능성이 높은 로봇 아바타 기기(301)를 추천하는 기능을 제공할 수 있다. 이 경우 추천하는 로봇 아바타 기기(301)에 대한 평균 평가 점수도 함께 제공될 수 있으며, 점수가 높을수록 추천되는 빈도도 높을 수 있다. After receiving the VR image, the client may evaluate the robot avatar that provided the VR image. For example, the client may score an evaluation score for a corresponding robot avatar through an application, which may be stored and managed in an application management server. The application management server may provide a function of recommending a robot avatar device 301 having a high possibility of pairing/connecting with a client device through an application according to an embodiment. In this case, an average evaluation score for the recommended robot avatar device 301 may also be provided, and the higher the score, the higher the recommended frequency.

이상으로, 클라이언트 기기(401)와 로봇 아바타 기기(301)간에 수행되는 실시간 VR 서비스 방법에 대해 전반적으로 살펴보았다. In the above, a real-time VR service method performed between the client device 401 and the robot avatar device 301 has been generally described.

이하에서는, 클라이언트 기기(401)가 로봇 아바타 기기(301)의 움직임/이동/모션/비행 동작을 제어하는 방법에 대해 살펴본다. 이렇듯 클라이언트 기기(401)가 로봇 아바타 기기(301)의 움직임/이동/모션/비행 동작을 직접 제어 가능하다는 점에서, 클라이언트가 직접 자신이 경험/체험하고자 하는 환경을 적극적으로 조성할 수 있다는 효과가 발생한다. Hereinafter, a method of controlling the movement/movement/motion/flight motion of the robot avatar device 301 by the client device 401 will be described. As described above, since the client device 401 can directly control the movement/movement/motion/flying motion of the robot avatar device 301, the effect that the client can actively create the environment that the client wants to experience/experience directly. Occurs.

도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다. 본 실시예에서 클라이언트 기기는 클라이언트가 착용한 HMD 기기, 로봇 아바타 기기는 드론 기기에 각각 해당하나, 실시예가 이에 제한되는 것은 아니다.5 is a diagram illustrating a method of controlling a robot avatar device of a client device according to an embodiment of the present invention. In the present embodiment, the client device corresponds to an HMD device worn by the client, and the robot avatar device corresponds to a drone device, but the embodiment is not limited thereto.

도 5를 참조하면, 클라이언트는 클라이언트 기기(501)에 대해 로봇 아바타 기기(504)의 이동을 제어하기 위한 입력을 인가할 수 있다. 예를 들어, 클라이언트는 클라이언트 기기(501)에 구비된 입력 유닛을 통해 로봇 아바타 기기(504)의 이동 제어를 위한 터치 입력을 인가할 수 있으며, 터치 입력을 센싱한 클라이언트 기기(501)는 센싱한 입력에 대응하는 제어 신호를 생성할 수 있다. 이때, 클라이언트 기기(501)는 클라이언트의 입력이 용이하도록 로봇 아바타 기기(504) 제어를 위한 아이콘/이미지/UI(User Interface)(예를 들어, 조이 스틱 또는 4가지 방향의 화살표 아이콘/이미지/UI 등)를 어플리케이션을 통해 제공할 수 있으며, 클라이언트는 해당 아이콘/이미지/UI에 대하여 로봇 아바타 기기(504)가 이동하길 원하는 방향으로 드래그 입력 등을 수행할 수 있다. 이러한 입력을 통해 생성된 제어 신호는 로봇 아바타 기기(504)로 전송되어 로봇 아바타 기기(504)의 이동/움직임/비행/모션을 제어할 수 있다. 이러한 제어 신호는 클라이언트 기기(501)에서 로봇 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 로봇 아바타 기기(504)로 전달될 수도 있다. Referring to FIG. 5, the client may apply an input for controlling the movement of the robot avatar device 504 to the client device 501. For example, the client may apply a touch input for controlling the movement of the robot avatar device 504 through an input unit provided in the client device 501, and the client device 501 sensing the touch input is It is possible to generate a control signal corresponding to the input. At this time, the client device 501 is an icon/image/UI (User Interface) for controlling the robot avatar device 504 (e.g., a joy stick or an arrow icon/image/UI in four directions) to facilitate input from the client. Etc.) may be provided through an application, and the client may perform a drag input for the corresponding icon/image/UI in a direction in which the robot avatar device 504 wants to move. The control signal generated through such an input is transmitted to the robot avatar device 504 to control the movement/motion/flight/motion of the robot avatar device 504. This control signal may be directly transmitted from the client device 501 to the robot avatar device 504 or may be transmitted to the robot avatar device 504 through an application management server.

상술한 실시예는 클라이언트가 클라이언트 기기(501)를 통해 로봇 아바타 기기(504)를 제어하는 실시예이며, 이외에, 클라이언트 기기(501)가 페어링/연결되어 있는 타 기기를 통해 로봇 아바타 기기(504)를 제어하는 실시예도 아래와 같이 도출될 수 있다. 이하에서, 클라이언트 기기(501)는 타 기기(502)와 사전에 페어링/연결되어 있는 경우를 가정하며, 여기서 타 기기(502)는 전동 휠체어인 경우를 가정하나 실시예가 이에 한정되는 것은 아니다. The above-described embodiment is an embodiment in which the client controls the robot avatar device 504 through the client device 501, and in addition, the robot avatar device 504 through another device to which the client device 501 is paired/connected. An embodiment of controlling the can also be derived as follows. Hereinafter, it is assumed that the client device 501 is paired/connected with the other device 502 in advance, and the other device 502 is assumed to be an electric wheelchair, but the embodiment is not limited thereto.

일 실시예로서, 클라이언트 기기(501)는 무선/유선 통신을 통해 사전에 타 기기(502)와 페어링/연결된 상태일 수 있다. 여기서 타 기기(502)는 본 명세서에서 기술되는 기능/동작을 수행하기 위해 도 2에서 설명한 적어도 하나의 구성/유닛을 포함할 수 있다. 이때, 클라이언트 기기(501)와 연결된 타 기기(502)가 모터/엔진 등을 구비하여 클라이언트 제어에 의해 이동 가능한 기기인 경우(예를 들어, 전동 휠체어, 자동차, 오토바이, 자전거 등), 로봇 아바타 기기(504)의 움직임/이동을 제어하기 위한 제어 신호는 타 기기(502)의 이동 상태에 대응하여/동기화되어 생성될 수 있다. 예를 들어, 타 기기(502)가 전동 휠체어인 경우, 제어 신호는 전동 휠체어의 이동 방향/속도(혹은 사용자가 전동 휠체어의 움직임을 제어하기 위해 구비된 제어 스틱(503)을 통해 입력된 이동 입력 신호)에 대응하여 생성될 수 있으며, 이렇게 생성된 제어 신호는 로봇 아바타 기기(504)로 전송될 수 있다. 이러한 제어 신호 역시 클라이언트 기기(501)에서 로봇 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 로봇 아바타 기기(504)로 전달될 수도 있다. 본 실시예와 같이 타 기기(502)의 이동/움직임과 로봇 아바타 기기(504)의 이동/움직임을 서로 동기화시킴으로써, 클라이언트에게 보다 더 높은 현장감이 제공될 뿐 아니라, 클라이언트가 적극적으로 자신의 체험/경험 환경을 조성할 수 있다는 효과가 발생한다. As an embodiment, the client device 501 may be in a state of being paired/connected with the other device 502 in advance through wireless/wired communication. Here, the other device 502 may include at least one component/unit described in FIG. 2 to perform the functions/operations described herein. At this time, when the other device 502 connected to the client device 501 is a device that can be moved by client control with a motor/engine, etc. (for example, an electric wheelchair, a car, a motorcycle, a bicycle, etc.), a robot avatar device The control signal for controlling the movement/movement of the 504 may be generated corresponding to/synchronized with the movement state of the other device 502. For example, when the other device 502 is an electric wheelchair, the control signal is a movement direction/speed of the electric wheelchair (or a movement input input through the control stick 503 provided for the user to control the movement of the electric wheelchair) Signal), and the control signal thus generated may be transmitted to the robot avatar device 504. Such a control signal may also be directly transmitted from the client device 501 to the robot avatar device 504 or may be transmitted to the robot avatar device 504 through an application management server. By synchronizing the movement/motion of the other device 502 and the movement/motion of the robot avatar device 504 as in the present embodiment, a higher sense of realism is provided to the client, and the client actively experiences/ There is an effect of creating an experience environment.

만일, 로봇 아바타 기기(504)에 구비된 광각 카메라 유닛(505)이 360도 미만의 촬영 각도를 제공하는 경우, 광각 카메라 유닛(505)의 촬영 각도를 제어하기 위한 제어 신호 역시 클라이언트 기기(501)로부터 전송될 수 있다. 이때 전송되는 제어 신호는 클라이언트 기기(501)가 센싱하는 클라이언트의 시선/머리 방향/각도/속도/가속도 등에 대응하여 생성될 수 있으며, 해당 제어 신호에 따라 촬영 방향/각도/속도/가속도 등과 같은 광각 카메라 유닛(505)의 움직임이 제어될 수 있다. 이를 통해, 클라이언트가 자신이 원하는 각도/방향을 적극적으로 체험/경험해볼 수 있다는 효과가 발생한다. 만일, 로봇 아바타 기기(504)의 이동/움직임/비행/모션이 앞서 상술한 실시예와 같이 클라이언트 기기(501)와 페어링/연결된 타 기기에 의해 제어되는 경우, 로봇 아바타 기기(504)의 이동/움직임/비행/모션은 타 기기(502)에 의해 생성된 제1 제어 신호에 의해 제어되며, 로봇 아바타 기기(504)의 광각 카메라 유닛(505)의 촬영 각도/속도/방향은 클라이언트 기기(501)에 의해 생성된 제2 제어 신호에 의해 각각 독립적으로 제어되게 된다. If the wide-angle camera unit 505 provided in the robot avatar device 504 provides a shooting angle of less than 360 degrees, a control signal for controlling the shooting angle of the wide-angle camera unit 505 is also the client device 501 Can be transmitted from At this time, the transmitted control signal may be generated in response to the client's gaze/head direction/angle/speed/acceleration, etc., sensed by the client device 501, and a wide angle such as shooting direction/angle/speed/acceleration, etc. The movement of the camera unit 505 can be controlled. Through this, there is an effect that the client can actively experience/experience the angle/direction he or she desires. If the movement/motion/fly/motion of the robot avatar device 504 is controlled by another device paired/connected with the client device 501 as in the above-described embodiment, the movement/movement of the robot avatar device 504 Movement/flight/motion is controlled by a first control signal generated by the other device 502, and the shooting angle/speed/direction of the wide-angle camera unit 505 of the robot avatar device 504 is the client device 501 Each is independently controlled by a second control signal generated by.

이때, 앞서 상술한 실시예와 같이, 비행하는 동안 로봇 아바타 기기의 (VR) 디스플레이 유닛에 클라이언트의 얼굴/아바타/이모티콘이 디스플레이하여 마치 로봇 아바타 기기가 클라이언트처럼 보이도록 하는 개인 맞춤형 체험 서비스가 제공될 수 있다. At this time, as in the above-described embodiment, a personalized experience service in which the face/avatar/emoticon of the client is displayed on the (VR) display unit of the robot avatar device during flight so that the robot avatar device looks like a client will be provided. I can.

본 실시간 VR 서비스 시스템의 가장 큰 차이점은, 기존 VR을 활용한 여행 및 탐방 프로그램들은 녹화된 영상을 사용하지만 본 서비스는 실시간으로 그 영상들을 전송한다는 점이 다르다고 할 수 있다. 녹화 영상을 만들기 위해서는 사전 촬영과 편집 등을 거치며 많은 시간이 소요되며 지난 시기의 영상을 플레이한다는 점에서 시의성이 떨어지며 직접 현장을 체험한다는 체험성이 떨어진다는 단점이 있다. 또한 기타 그래픽을 이용한 VR 컨텐츠들은 제작 기간이 길고 만드는데 비용이 많이 든다. 하지만 본 서비스는 실시간으로 의뢰자가 원하는 영상들을 볼 수 있기에 실제의 리얼 타임 현장감을 느낄 수 있으며 촬영 및 편집 그리고 비싼 그래픽 제작비용 등이 발생하지 않아 서비스 면에서도 저비용으로 운영이 가능하다는 점이 가장 큰 장점이라 할 수 있다.The biggest difference between this real-time VR service system is that travel and exploration programs using existing VR use recorded images, but this service transmits the images in real time. To make a recorded video, it takes a lot of time to go through pre-shooting and editing, and there is a disadvantage in that the timeliness is poor and the experience of experiencing the site directly is inferior in that the video from the past period is played. In addition, VR contents using other graphics have a long production period and are expensive to create. However, the biggest advantage of this service is that it is possible to operate at a low cost in terms of service as it does not incur real-time realism because it allows the client to view the videos they want in real time. can do.

본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.The embodiment according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present invention is one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.

또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, in the case of implementation by firmware or software, an embodiment of the present invention is implemented in the form of modules, procedures, functions, etc. that perform the functions or operations described above, and is stored in a recording medium that can be read through various computer means. Can be recorded. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium is a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical medium such as a compact disk read only memory (CD-ROM), a digital video disk (DVD), and a floppy disk. Magnetic-Optical Media such as a floptical disk, and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of the program instructions may include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.

아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.In addition, the device or terminal according to the present invention may be driven by a command that causes one or more processors to perform the functions and processes described above. For example, such instructions may include interpreted instructions such as script instructions such as JavaScript or ECMAScript instructions, executable code, or other instructions stored in a computer-readable medium. Furthermore, the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.

또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.In addition, a computer program (also known as a program, software, software application, script or code) mounted on the device according to the present invention and executing the method according to the present invention includes a compiled or interpreted language or a priori or procedural language. It can be written in any form of programming language, and can be deployed in any form, including standalone programs, modules, components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in the file system. A program may be in a single file provided to the requested program, or in multiple interactive files (e.g., files that store one or more modules, subprograms, or portions of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored within a markup language document). The computer program may be deployed to run on one computer or multiple computers located at one site or distributed across a plurality of sites and interconnected by a communication network.

설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 본 발명은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.For convenience of explanation, each drawing has been described separately, but it is also possible to design a new embodiment by merging the embodiments described in each drawing. In addition, the present invention is not limitedly applicable to the configuration and method of the embodiments described as described above, but the above-described embodiments are configured by selectively combining all or part of each embodiment so that various modifications can be made. It could be.

또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although preferred embodiments have been illustrated and described above, the present specification is not limited to the specific embodiments described above, and without departing from the subject matter claimed in the claims, those having ordinary knowledge in the technical field to which the specification belongs. Various modifications are possible by the person, as well as these modifications should not be individually understood from the technical idea or perspective of the present specification.

101: 클라이언트 기기
102: 로봇 아바타 기기
103: 어플리케이션 관리 서버 101: client device
102: robot avatar device
103: application management server

Claims (3)

서로 다른 지역에 위치하고, VR 체험을 대행시켜주는 자동화된 드론 기기로 구현되어 특정 장소로 직접 비행하는 복수의 로봇 아바타 기기를 이용한 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서,
클라이언트 기기가 의뢰하고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및 촬영의뢰 비용에 관한 정보들 중 적어도 하나를 포함하는 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계;
로봇 아바타 기기가 의뢰받고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및 촬영 의뢰 비용에 관한 정보들 중 적어도 하나를 포함하는 기본정보를 상기 어플리케이션 관리 서버에 등록하는 단계;
상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보에 포함된 VR 영상의 촬영 위치 정보와 매칭되는 현재 위치 정보를 갖는 로봇 아바타 기기를 서칭하는 단계;
상기 클라이언트 기기가 상기 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계;
상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기의 비행 방향, 각도 및/또는 속도를 제어하기 위한 제1 제어 신호를 페어링된 로봇 아바타 기기로 전송하는 단계;
상기 페어링된 로봇 아바타 기기가 상기 제1 제어 신호에 따라 비행하는 단계; 및
상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 등록된 촬영 위치에서 비행하여 촬영한 VR 영상을 실시간으로 수신하는 단계; 를 포함하되,
상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 상기 제1 제어 신호에 의해 제어되는, 실시간 VR 서비스 제공 방법.In a method for providing a real-time VR (Virtual Reality) service using a plurality of robot avatar devices that are located in different regions and are implemented as an automated drone device that acts as an agent for VR experience and fly directly to a specific place,
Registering VR experience request information including at least one of information on a shooting location, a shooting time, a language used, and a shooting request cost of a VR image requested by the client device to the application management server;
Registering basic information including at least one of information on a photographing position, a photographing time, a language used, and a photographing request cost of a VR image to be requested by the robot avatar device to the application management server;
Searching, by the application management server, a robot avatar device having current location information matching the photographing location information of the VR image included in the VR experience request information;
Performing, by the client device, pairing with the searched robot avatar device;
Transmitting, by the client device, a first control signal for controlling the flight direction, angle and/or speed of the paired robot avatar device to the paired robot avatar device;
Flying the paired robot avatar device according to the first control signal; And
Receiving, in real time, a VR image captured by the client device flying at a registered shooting position from the paired robot avatar device; Including,
The movement of the paired robot avatar device is controlled by the first control signal transmitted from the client device. 제 1 항에 있어서,
상기 VR 영상 촬영을 위해 상기 로봇 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화되는, 실시간 VR 서비스 제공 방법.The method of claim 1,
When the maximum shooting angle of the camera unit provided in the robot avatar device for capturing the VR image is less than 360 degrees, the shooting direction of the camera unit is synchronized with the head or gaze direction of the user wearing the client device. How to provide VR service. 제 2 항에 있어서,
상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며,
상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성되는, 실시간 VR 서비스 제공 방법.The method of claim 2,
The shooting angle of the camera unit is controlled by a second control signal transmitted from the client device,
The second signal is generated in synchronization with a sensing result of a head or a gaze direction of a user wearing the client device.
KR1020200184136A 2019-07-10 2020-12-28 Real time VR service method through robot avatar KR102325048B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200184136A KR102325048B1 (en) 2019-07-10 2020-12-28 Real time VR service method through robot avatar
KR1020210121420A KR20210119337A (en) 2020-12-28 2021-09-13 Real time VR service method through robot avatar

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190083098 2019-07-10
KR1020200184136A KR102325048B1 (en) 2019-07-10 2020-12-28 Real time VR service method through robot avatar

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190083098 Division 2019-07-10 2019-07-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210121420A Division KR20210119337A (en) 2020-12-28 2021-09-13 Real time VR service method through robot avatar

Publications (2)

Publication Number Publication Date
KR20210007931A true KR20210007931A (en) 2021-01-20
KR102325048B1 KR102325048B1 (en) 2021-11-10

Family

ID=74305138

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200184136A KR102325048B1 (en) 2019-07-10 2020-12-28 Real time VR service method through robot avatar
KR1020210121420A KR20210119337A (en) 2020-12-28 2021-09-13 Real time VR service method through robot avatar

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210121420A KR20210119337A (en) 2020-12-28 2021-09-13 Real time VR service method through robot avatar

Country Status (1)

Country Link
KR (2) KR102325048B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517324B1 (en) * 2022-02-15 2023-04-03 양동현 System for combining metaverse and real world

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030086326A (en) * 2001-03-27 2003-11-07 가부시키가이샤 니콘 Method for mediating digital data
KR101343860B1 (en) * 2013-01-03 2013-12-20 재단법인대구경북과학기술원 Robot avatar system using hybrid interface and command server, learning server, and sensory server therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030086326A (en) * 2001-03-27 2003-11-07 가부시키가이샤 니콘 Method for mediating digital data
KR101343860B1 (en) * 2013-01-03 2013-12-20 재단법인대구경북과학기술원 Robot avatar system using hybrid interface and command server, learning server, and sensory server therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102517324B1 (en) * 2022-02-15 2023-04-03 양동현 System for combining metaverse and real world

Also Published As

Publication number Publication date
KR20210119337A (en) 2021-10-05
KR102325048B1 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
US11722537B2 (en) Communication sessions between computing devices using dynamically customizable interaction environments
US11915670B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US10976830B2 (en) Unified virtual reality platform
US10606609B2 (en) Context-based discovery of applications
US20190019011A1 (en) Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device
US20200329214A1 (en) Method and system for providing mixed reality service
US20180356885A1 (en) Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user
WO2017143303A1 (en) Apparatuses, methods and systems for sharing virtual elements
US12020667B2 (en) Systems, methods, and media for displaying interactive augmented reality presentations
US20180357826A1 (en) Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display
CN112783700A (en) Computer readable medium for network-based remote assistance system
US20230353616A1 (en) Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination
US20220291808A1 (en) Integrating Artificial Reality and Other Computing Devices
Pretto et al. Towards gesture-based multi-user interactions in collaborative virtual environments
KR102325048B1 (en) Real time VR service method through robot avatar
US11847297B2 (en) Method of providing real-time VR service through avatar
JP6149967B1 (en) Video distribution server, video output device, video distribution system, and video distribution method
KR102193630B1 (en) Real time VR service device, method and system through avatar
KR20210007930A (en) Real time VR service device, method and system through avatar
KR102467017B1 (en) Method for augmented reality communication between multiple users
KR20180122802A (en) System for proxy experience through agent and the method using the same
JP2024092909A (en) PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM
JP2024092562A (en) PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM
WO2023177773A1 (en) Stereoscopic features in virtual reality

Legal Events

Date Code Title Description
A107 Divisional application of patent
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant