KR20210007931A - Real time VR service method through robot avatar - Google Patents
Real time VR service method through robot avatar Download PDFInfo
- Publication number
- KR20210007931A KR20210007931A KR1020200184136A KR20200184136A KR20210007931A KR 20210007931 A KR20210007931 A KR 20210007931A KR 1020200184136 A KR1020200184136 A KR 1020200184136A KR 20200184136 A KR20200184136 A KR 20200184136A KR 20210007931 A KR20210007931 A KR 20210007931A
- Authority
- KR
- South Korea
- Prior art keywords
- robot avatar
- client device
- client
- image
- time
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 58
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 239000000470 constituent Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H04N5/23299—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 명세서는 로봇 아바타 기기를 통해 클라이언트가 원하는 VR(Virtual Reality) 영상을 실시간으로 제공받는 방법 및 이를 위한 장치, 방법 및 시스템을 제안한다. The present specification proposes a method of receiving a virtual reality (VR) image desired by a client through a robot avatar device in real time, and an apparatus, method, and system for the same.
최근 각 통신사마다 5G(5th Generation)를 활용한 다양한 기능과 서비스를 내놓고 있다. 그 결과, 그동안 통신 속도의 한계 때문에 이뤄지지 못했던 빅데이터 연결 등이 가능해져 전 세계 어느 곳에 있던 시간 딜레이 없이 방송하는 것은 물론 원격 조정 등이 가능해졌다. 더구나 세계적으로 앞다퉈 차세대 통신 기술들을 도입하고 있는 추세이며, 가상 원격 화상 회의인 텔레프레젠스(Telepresence)등 신기술들로 시공간을 뛰어넘으려는 시도가 이어지고 있다.Recently, each telecommunications company is offering various functions and services using 5G (5th Generation). As a result, it became possible to connect to big data, which was not possible due to the limitation of communication speed, so that broadcasting without time delay anywhere in the world as well as remote control became possible. Moreover, there is a trend of introducing next-generation communication technologies worldwide, and attempts to transcend time and space with new technologies such as Telepresence, a virtual remote video conference, are continuing.
따라서, 국내 5G를 통한 통신과 360도 VR 등의 서비스는 향후 10년간 지금의 수십 배 이상 성장 가능하다고 업계에서 예측하고 있으며, 더불어 생활기반 플랫폼 서비스와 여행 서비스는 지금 시장 안정화 단계에 있어 매년 그 수요와 매출이 급상승하고 있다. 최근에는 지자체와 관공서는 물로 일반 기업들까지 VR 등을 활용한 신규 서비스와 연계한 새로운 비즈니스 사업을 발굴하려 노력하고 있는 실정이다.Therefore, the industry predicts that domestic 5G communications and services such as 360-degree VR can grow dozens of times over the next 10 years. In addition, life-based platform services and travel services are currently in the stabilization stage of the market and are in demand every year. And sales are soaring. In recent years, local governments and government offices are trying to discover new business businesses in connection with new services using VR, even to general companies.
본 발명은 더욱 빨라진 통신 속도를 기반으로 클라이언트가 원하는 VR 영상을 실시간으로 제공받거나 제공해 줄 수 있는 서비스 장치, 방법 및 시스템을 제공함에 그 목적이 있다.An object of the present invention is to provide a service apparatus, method, and system capable of receiving or providing a VR image desired by a client in real time based on a faster communication speed.
본 명세서에서는 보다 현장감 있는 로봇 아바타 서비스(ROBOT AVATAR SERVICE; RAS)를 제공한다. 여기서 RAS는, 클라이언트가 직접 경험하고 싶으나 일정한 제약(예를 들어, 클라이언트의 장애, 시간/비용/장소 제약 등)으로 클라이언트가 경험할 수 없는 현장을 로봇 아바타가 대신하여 가서 경험하고, 이러한 경험 상황을 실시간 VR 영상으로 제공하는 서비스를 일컫는다. RAS는 기본적으로 클라이언트가 자신이 경험하고자 하는 일들을 등록하고, 등록된 일을 대신하여 수행하는 로봇 아바타와 페어링/매칭/연결시켜주는 서비스를 제공하며, 페어링/매칭/연결된 로봇 아바타는 초고속 통신 기반으로 VR 영상을 클라이언트에 실시간으로 전송하게 된다. In this specification, a more realistic robot avatar service (ROBOT AVATAR SERVICE; RAS) is provided. Here, in RAS, the robot avatar goes to and experiences the sites that the client wants to experience directly but cannot be experienced by the client due to certain restrictions (for example, the client's failure, time/cost/location restrictions, etc.). It refers to a service provided by real-time VR video. Basically, RAS provides a service that allows clients to register tasks they want to experience and pair/match/connect with robot avatars that perform on behalf of the registered tasks, and pairing/matching/connected robot avatars are based on high-speed communication. VR video is transmitted to the client in real time.
본 발명의 일 실시예에 따른 실시간 VR(Virtual Reality) 서비스 제공 방법에 있어서, 클라이언트 기기가 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계로서, 상기 VR 체험 신청 정보는 상기 클라이언트 기기가 VR 영상의 촬영 위치 정보를 포함함; 상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보와 매칭되는 로봇 아바타 기기를 서칭하는 단계; 상기 클라이언트 기기가 상기 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계; 및 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 VR 영상을 실시간으로 수신하는 단계; 를 포함하되, 상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 제1 제어 신호에 의해 제어될 수 있다.In a method for providing a real-time VR (Virtual Reality) service according to an embodiment of the present invention, a step of registering, by a client device, VR experience request information in an application management server, wherein the VR experience request information is provided by the client device Including shooting location information; Searching, by the application management server, a robot avatar device matching the VR experience request information; Performing, by the client device, pairing with the searched robot avatar device; And receiving, by the client device, a VR image from the paired robot avatar device in real time. Including, the movement of the paired robot avatar device may be controlled by a first control signal transmitted from the client device.
또한, 상기 실시간 VR 서비스 제공 방법은, 상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기의 이동 방향, 각도 및/또는 속도를 제어하기 위한 상기 제1 제어 신호를 상기 페어링된 로봇 아바타 기기로 전송하는 단계; 및 상기 페어링된 로봇 아바타 기기가 상기 제1 제어 신호에 따라 이동하는 단계; 를 더 포함할 수 있다. In addition, the method for providing a real-time VR service includes: transmitting, by the client device, the first control signal for controlling a movement direction, angle and/or speed of the paired robot avatar device to the paired robot avatar device; And moving the paired robot avatar device according to the first control signal. It may further include.
또한, 상기 제1 제어 신호는, 상기 클라이언트 기기에 대한 사용자의 이동 입력 신호에 동기화되어 생성될 수 있다.In addition, the first control signal may be generated in synchronization with a user's movement input signal for the client device.
또한, 상기 클라이언트 기기가 사용자에 의해 이동 제어가 가능한 타 기기와 페어링되어 있는 경우, 상기 페어링된 로봇 아바타 기기의 이동은 상기 타 기기의 이동과 동기화될 수 있다.In addition, when the client device is paired with another device capable of movement control by a user, the movement of the paired robot avatar device may be synchronized with the movement of the other device.
또한, 상기 제1 제어 신호는, 상기 타 기기로부터 상기 클라이언트 기기가 수신한 이동 제어 신호에 동기화되어 생성될 수 있다.In addition, the first control signal may be generated in synchronization with a movement control signal received by the client device from the other device.
또한, 상기 VR 영상 촬영을 위해 상기 로봇 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화될 수 있다.In addition, when the maximum shooting angle of the camera unit provided in the robot avatar device for capturing the VR image is less than 360 degrees, the shooting direction of the camera unit is synchronized with the head or gaze direction of the user wearing the client device. I can.
또한, 상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며, 상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성될 수 있다.In addition, the shooting angle of the camera unit is controlled by a second control signal transmitted from the client device, and the second signal may be generated in synchronization with a sensing result in the direction of the head or gaze of the user wearing the client device. have.
또한, 상기 로봇 아바타 기기를 서칭하는 단계는, 상기 어플리케이션 관리 서버가, 상기 등록된 VR 영상의 촬영 위치 정보와 매칭되는 현재 위치 정보를 갖는 로봇 아바타 기기를 서칭하는 단계일 수 있다.In addition, the step of searching for the robot avatar device may be a step of searching, by the application management server, a robot avatar device having current location information matching the photographing location information of the registered VR image.
또한, 상기 클라이언트 기기가 상기 페어링된 아바타 기기로부터 상기 VR 영상을 실시간으로 수신하는 단계는, 상기 클라이언트 기기가 상기 등록된 촬영 위치에서 촬영된 VR 영상을 상기 페어링된 아바타 기기로부터 실시간으로 수신하는 단계; 를 포함할 수 있다.In addition, the step of receiving the VR image from the paired avatar device by the client device in real time may include: receiving, by the client device from the paired avatar device, the VR image captured at the registered photographing location; It may include.
또한, 상기 클라이언트 기기가 상기 페어링된 아바타 기기로부터 상기 VR 영상을 실시간으로 수신하는 단계는, 상기 어플리케이션 관리 서버가 상기 클라이언트 기기 및 상기 페어링된 아바타 기기간의 실시간 음성 채팅 또는 문자 채팅 기능을 제공하는 단계; 를 포함할 수 있다.In addition, the step of receiving, by the client device, the VR image from the paired avatar device in real time may include, by the application management server, providing a real-time voice chat or text chat function between the client device and the paired avatar device; It may include.
본 발명의 일 실시예에 따르면, 클라이언트는 자신이 직접 가지 않더라도 자신이 경험하고자 하는 특정 지역(특히, 원거리)에 있는 경치, 사물, 전시품 등과 같은 다양한 환경을 보다 현장감 있게 VR 영상을 통해 체험할 수 있다는 효과를 갖는다.According to an embodiment of the present invention, even if the client does not go directly, the client can experience various environments such as scenery, objects, exhibits, etc. in a specific area (particularly, a long distance) to experience through VR images in a more realistic way. Has an effect.
또한, 본 발명의 일 실시예에 따르면, 클라이언트는 로봇 아바타 이동/모션의 직접 조작이 가능하므로, 클라이언트가 보다 적극적이고 유연하게 자신이 원하는 경험을 로봇 아바타를 통해 할 수 있다는 효과를 갖는다. In addition, according to an embodiment of the present invention, since the client can directly manipulate the movement/motion of the robot avatar, the client can more actively and flexibly provide the desired experience through the robot avatar.
또한, 본 발명의 일 실시예에 따르면, VR 여행/체험과 같은 기존에 없던 새로운 VR 서비스의 도출이 가능하므로, 새로운 직업 창출 등과 같은 경제적 효과를 갖는다.In addition, according to an embodiment of the present invention, since it is possible to derive new VR services such as VR travel/experience, which did not exist, it has economic effects such as creating new jobs.
도 1은 본 발명의 일 실시예에 따른 로봇 아바타를 통한 실시간 VR 서비스 방법을 예시한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다.1 is a flowchart illustrating a real-time VR service method through a robot avatar according to an embodiment of the present invention.
2 is a block diagram illustrating a real-time VR service system according to an embodiment of the present invention.
3 and 4 are diagrams illustrating an embodiment in which a real-time VR service system according to an embodiment of the present invention is implemented.
5 is a diagram illustrating a method of controlling a robot avatar device of a client device according to an embodiment of the present invention.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technology to be described below may be modified in various ways and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology to be described below with respect to a specific embodiment, and it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the technology described below.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as 1st, 2nd, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, only for the purpose of distinguishing one component from other components. Is only used. For example, without departing from the scope of the rights of the technology described below, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms of the terms used in the present specification, expressions in the singular should be understood as including plural expressions unless clearly interpreted differently in context, and terms such as "includes" are specified features, numbers, steps, actions, and components. It is to be understood that the presence or addition of one or more other features or numbers, step-acting components, parts or combinations thereof is not meant to imply the presence of, parts, or combinations thereof.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is intended to clarify that the division of the constituent parts in the present specification is merely divided by the main function that each constituent part is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more according to more subdivided functions. In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to its own main function, and some of the main functions of each constituent unit are different. It goes without saying that it may be performed exclusively by.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing the method or operation method, each of the processes constituting the method may occur differently from the specified order unless a specific order is clearly stated in the context. That is, each process may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.
본 명세서는 기본적으로 로봇 아바타 서비스(REAL AVATAR SERVICE; RAS)를 제공한다. RAS는 로봇 아바타가 클라이언트를 대신하여 클라이언트가 하고자 하는 일들을 대신하여 수행/경험하는 서비스를 일컫는다. 본 발명에 따를 때, 5G와 같은 초고속 통신 서비스를 활용한 실시간 VR과 위치기반 서비스를 활용해 클라이언트가 경험하고자 하는 것(예를 들어, 원거리 여행지로의 여행, 전시회 관람, 해외 콘서트 관람, 수업 참석 등)을 의뢰하면, 로봇 아바타가 클라이언트를 대신하여 경험하고, 경험 상황을 실시간 VR 영상으로 전송해줄 수 있다. 이는, 텔레익지스턴스(Teleexistence)라는 기술 분야로도 불리며, VR 기기 및 초고속 이동 통신과 결합되어 새로운 서비스 상품의 창출이 가능하다. 이렇게 창출된 서비스 상품을 통해 클라이언트는 원격지에 있는 사물 또는 사람이 마치 근처에 있는 것 같은 현장감을 느낄 수 있으며, 로봇 아바타를 직접 조작함으로써 적극적으로 자신의 체험 환경을 직접 구축할 수 있다. This specification basically provides a robot avatar service (REAL AVATAR SERVICE; RAS). RAS refers to a service that a robot avatar performs/experiences on behalf of the client and on behalf of the client's work. In accordance with the present invention, what the client wants to experience using real-time VR and location-based services using high-speed communication services such as 5G (e.g., travel to a distant destination, visit an exhibition, visit an overseas concert, attend a class Etc.), the robot avatar can experience on behalf of the client and transmit the experience situation as a real-time VR image. This is also referred to as a technical field called teleexistence, and it is possible to create new service products by combining with VR devices and high-speed mobile communication. Through the service product created in this way, the client can feel the sense of reality as if an object or person in a remote location is nearby, and can actively build their own experience environment by directly manipulating the robot avatar.
예를 들어, 투병 생활 중이나 킬리만자로에 오르는 것이 소원인 아이, 베트남에 있으나 한국에서 열리는 특정 가수 공연에 가고 싶어 하는 아이, 죽기 전 북한에 있는 자신의 고향을 보고 싶어하는 90세 할아버지, 영등포 타임스퀘어에서 열리고 있는 할인 쇼핑 행사에서 직접 눈으로 보고 상품을 구입하고 싶으나 육아로 방문할 시간이 부족한 주부, 출장 중이나 딸의 기념 행사에 참석하고 싶어하는 아빠 등과 같이 자신이 직접 경험하고 싶으나 시간적/공간적/현실적 한계로 불가능한 사례가 있을 수 있다. 이와 같은 한계를 갖는 이들이 클라이언트가 되어 직접 경험하고자 하는 일들의 대행을 본 서비스 시스템을 통해 직접 의뢰할 수 있으며, 본 서비스 시스템은 이를 대신 수행해줄 로봇 아바타와 클라이언트를 페어링/연결시켜줄 수 있다. 페어링/연결된 로봇 아바타는 클라이언트가 의뢰한 일들을 대신 수행함으로써 클라이언트를 만족시킬 수 있다. 특히, 본 서비스의 경우 사람이 아닌 로봇이 대신 수행하기 때문에 현실적인 제약으로 사람이 직접 접근하기 어려운 지역(예를 들어, 매우 위험하고 험난한 지형 또는 날씨가 너무 춥거나 더운 지역 등)으로도 접근이 가능하므로, 보다 다양하고 무궁무진한 VR 영상의 실시간 전송이 가능하다는 장점을 갖는다. For example, a child who is struggling with illness or wishes to climb Kilimanjaro, a child in Vietnam but wants to go to a certain singer performance in South Korea, a 90-year-old grandfather who wants to see his hometown in North Korea before he dies, and is held at Times Square in Yeongdeungpo. At a discount shopping event, a housewife who wants to see and purchase products with their own eyes but does not have time to visit for child care, a father who wants to attend a business trip or a commemorative event for her daughter, etc. There may be examples. Those with such limitations can become clients and directly request an agency for things they want to experience directly through this service system, and the service system can pair/connect the robot avatar and the client that will perform this instead. The paired/connected robot avatar can satisfy the client by performing tasks requested by the client instead. In particular, since this service is performed by a robot instead of a human, it is possible to access even areas that are difficult for humans to directly access due to realistic restrictions (e.g., extremely dangerous and rough terrain or areas where the weather is too cold or hot). Therefore, it has the advantage that real-time transmission of more diverse and infinite VR images is possible.
이러한 본 서비스 시스템의 구현 방법 및 다양한 실시예는 이하에서 각 도면을 참조하여 이하에서 구체적으로 후술한다.The implementation method and various embodiments of the present service system will be described later in detail with reference to each drawing.
도 1은 본 발명의 일 실시예에 따른 로봇 아바타를 통한 실시간 VR 서비스 방법을 간략히 예시한 순서도이다. 본 순서도에서 각 단계의 순서는 변경될 수 있으며, 적어도 하나의 단계가 새롭게 부가되거나 삭제될 수 있다. 또한, 본 순서도에서 클라이언트 기기는 실시간 VR 영상을 의뢰한 클라이언트의 기기를 의미하며, 로봇 아바타 기기는 의뢰받은 실시간 VR 영상을 클라이언트 기기에 실시간으로 제공하는 로봇 기기를 의미한다. 본 명세서의 실시간 VR 서비스는 특정 어플리케이션을 통해 구현될 수 있으며, 본 명세서의 클라이언트 기기 및 아바타 기기는 이러한 특정 어플리케이션/프로그램(이하, 어플리케이션으로 통칭)이 설치된 전자 기기에 해당할 수 있다.1 is a flowchart briefly illustrating a real-time VR service method through a robot avatar according to an embodiment of the present invention. In this flowchart, the order of each step may be changed, and at least one step may be newly added or deleted. In addition, in this flow chart, the client device refers to a device of a client requesting a real-time VR image, and the robot avatar device refers to a robot device that provides the requested real-time VR image to the client device in real time. The real-time VR service of the present specification may be implemented through a specific application, and the client device and the avatar device of the present specification may correspond to electronic devices in which such a specific application/program (hereinafter, collectively referred to as an application) is installed.
도 1을 참조하면, 우선, 클라이언트 기기(101)는 VR 체험을 어플리케이션 관리 서버(103)에 신청/등록할 수 있다(S101). 예를 들어, 클라이언트 기기(101)는 자신이 경험하고자 하는 VR 체험에 관한 기본적인 정보로서, 의뢰하고자 하는 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 관심사, 하고 싶은 일, 해야 할 일, 일정 및/또는 사용 언어 등의 정보를 어플리케이션 관리 서버에 신청/등록할 수 있다. Referring to FIG. 1, first, the
다음으로, 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 VR 체험 신청/등록 정보를 기반으로 VR 체험을 대행하기에 적절한 로봇 아바타 기기(102)를 서칭할 수 있다(S102). 여기서 서칭되는 로봇 아바타 기기(102)는 VR 체험 대행을 위해 어플리케이션 관리 서버(103)에 등록되어 있는 기기로서, 특정 지역에 사전에 설치/위치/배치되어 있는 촬영 기기를 의미할 수 있다. 로봇 아바타 기기(102)는 촬영/대행 가능한 VR 영상의 컨텐츠 종류, 촬영 위치, 촬영 시간, 촬영 의뢰 비용, 일정 및/또는 지원 언어 등에 관한 기본 정보와 함께 어플리케이션 관리 서버에 등록될 수 있다. 어플리케이션 관리 서버(103)는 클라이언트 기기(101)의 VR 체험 신청/등록 정보와 사전에 등록되어 있는 로봇 아바타 기기(102)의 기본 정보를 상호 비교하여, 가장 높은 매칭률을 갖는(예를 들어, VR 체험 신청/등록 정보와 가장 매칭되는 정보량이 많은 기본 정보를 갖는) 아바타 기기(102)를 서칭할 수 있다. 어플리케이션 관리 서버(103)는 매칭률 판단에 있어 두 기기간 등록된 장소의 매칭 여부에 가장 높은 우선 순위를 두고 로봇 아바타 기기(102)를 서칭할 수 있다. Next, the
다음으로, 클라이언트 기기(101)와 서칭된 로봇 아바타 기기(102)간의 페어링/연결이 수행될 수 있다(S102). 여기서, 페어링/연결은 두 기기간의 직접적인 연결뿐만 아니라, 어플리케이션 관리 서버를 통한 간접적인 페어링/연결 모두를 의미한다. 직접적인 페어링/연결의 경우, 클라이언트 기기(101)와 로봇 아바타 기기(102)는 상호간에 무선/유선 제어 신호를 직접적으로 주고받음으로써 통신을 수행할 수 있으며, 간접적인 페어링/연결의 경우, 클라이언트 기기(101)와 로봇 아바타 기기(102)는 어플리케이션 관리 서버(103)를 통해 무선/유선 제어 신호를 주고받을 수 있으며, 어플리케이션 관리 서버(103)는 중간에서 두 기기간의 제어 신호를 전달하는 역할을 수행할 수 있다. Next, pairing/connection between the
마지막으로, 클라이언트 기기(101)는 페어링/연결된 로봇 아바타 기기(102)로부터 미리 약속한 체험 시간에 자신이 의뢰한 VR 영상을 실시간으로 제공받을 수 있다. 이때, 클라이언트 기기(101)는 로봇 아바타 기기(102)를 직접 조작하여 자신이 체험하고자 하는 환경을 적극적으로 구축할 수도 있다. 예를 들어, 클라이언트 기기(101)는 로봇 아바타 기기(102)의 이동/모션/움직임/비행 방향/속도, 카메라 각도 등을 조작하기 위한 제어 신호를 로봇 아바타 기기(102)로 직접(혹은 실시간 VR 서비스 시스템을 통해 간접적으로) 전송할 수 있으며, 로봇 아바타 기기(102)는 클라이언트 기기로부터 수신한 제어 신호에 따라 이동/모션/움직임/비행이 제어되어 VR 영상을 실시간 전송할 수 있다. Finally, the
본 실시간 VR 서비스 시스템의 구축을 위해 다양한 장소(예를 들어, 관광 명소, 전시회, 쇼핑몰 등)에 로봇 아바타 기기(102)가 미리 구비/배치/설치/위치되어 있거나 해당 장소 근처에 로봇 아바타 기기(102)가 구비된 서비스 지점이 위치할 수 있다. 본 서비스 시스템을 수행하기 위해 고용된 로봇 배달자가 미리 약속된 시간 전에 약속된 장소로 로봇 아바타 기기(102)를 위치시켜놓을 수 있으며, 약속된 시간부터 클라이언트 기기(101)와 로봇 아바타 기기(102)가 페어링/연결되어 실시간 VR 영상 전송 서비스가 개시될 수 있다. 나아가, 이러한 로봇 배달자는 단순히 로봇 아바타 기기를 배달만 하는 것이 아닌, 로봇 아바타 기기의 체험을 함께 동행할 수도 있다(즉, 로봇 동행자로서의 역할도 수행 가능). 이때, 로봇 동행자는 로봇 아바타 기기와 동행하면서 로봇 아바타 기기를 통해 제공되는 클라이언트 기기와의 실시간 커뮤니케이션 기능을 통해 클라이언트와 실시간/쌍방향 대화를 수행할 수 있다. 이를 통해, 로봇 동행자는 여행지에 대한 다양한 조언/정보를 클라이언트에게 제공하는 등 클라이언트의 가이드 또는 대화 상대가 되어줄 수 있다.In order to build this real-time VR service system, a
도 2는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템을 예시한 블록도이다.2 is a block diagram illustrating a real-time VR service system according to an embodiment of the present invention.
도 2를 참조하면, 실시간 VR 서비스 시스템은 클라이언트 기기(101), 아바타 기기(102) 및 어플리케이션 관리 서버(103)를 포함할 수 있다. 어플리케이션 관리 서버(103)는 전체 실시간 VR 서비스 시스템을 관리/총괄/운용하는 기기/서버에 해당할 수 있으며, 클라이언트 기기(101) 및 아바타 기기(102)와 통신을 수행하고 이들을 관리/제어할 수 있다. 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)는 본 명세서에서 기술하는 다양한 기능/방법을 수행하기 위한 적어도 하나의 구성/유닛을 포함할 수 있다.Referring to FIG. 2, a real-time VR service system may include a
예를 들어, 어플리케이션 관리 서버(103)/클라이언트 기기(101)/아바타 기기(102)는 프로세서(201), 메모리 유닛(202), VR 디스플레이 유닛(203), 통신 유닛(204), 광각 카메라 유닛(205), 모션 유닛(206) 및/또는 입력 유닛(207)을 포함할 수 있다. 이하에서는 각 구성/유닛에 대해 설명하며, 이하의 설명은 어플리케이션 관리 서버(103), 클라이언트 기기(101) 및 아바타 기기(102)에 공통적으로 적용될 수 있다.For example, the
프로세서(201)는, 본 명세서에서 제안된 기능, 과정 및/또는 방법을 구현할 수 있으며, 각 기기에 포함된 적어도 하나의 다른 유닛/구성과 통신을 수행할 수 있다. 따라서, 프로세서(201)는 각 기기와 동일시되어 설명될 수 있다. The
메모리 유닛(202)은 다양한 정보/데이터/프로그램/어플리케이션/영상/이미지을 저장할 수 있다. 메모리 유닛(202)은 저장한 정보/데이터/영상/이미지를 프로세서(202)로 전송하거나 프로세서(201)로부터 수신할 수 있다. 또한, 메모리 유닛(202)에 저장된 프로그램/어플리케이션은 프로세서(202)에 의해 실행/수행될 수 있다. 특히, 본 발명에 따른 메모리 유닛(202)은 실시간 VR 서비스 시스템을 구현하기 위해 디자인된 어플리케이션을 저장할 수 있으며, 프로세서(201)에 의해 해당 어플리케이션이 실행될 수 있다. 메모리 유닛(202)은 프로세서(201) 내부 또는 외부에 있을 수 있다.The
VR 디스플레이 유닛(203)은 이미지/영상/화면을 출력/디스플레이할 수 있다. 예를 들어, VR 디스플레이 유닛(203)은 HMD(Head Mounted Display)에 해당할 수 있다. 또한, (VR) 디스플레이 유닛(203)은 적어도 하나의 터치/압력/근접/모션/카메라 센서를 포함하여 사용자의 터치 입력을 센싱할 수 있으며, (VR) 디스플레이 유닛(203)이 HMD인 경우 사용자 입력으로서 적어도 하나의 방향/자이로/각도/가속도 센서를 구비하여 사용자의 헤드 방향/각도를 센싱할 수 있다. (VR) 디스플레이 유닛(203)은 센싱한 결과를 프로세서로 전송할 수 있다. 특히, 본 명세서의 (VR) 디스플레이 유닛(203)은 통신 유닛(204)을 통해 실시간으로 전송받은 다양한 VR 이미지/영상/화면을 실시간으로 디스플레이할 수 있다. 또한, 로봇 아바타 기기에 구비된 (VR) 디스플레이 유닛(203)은 클라이언트의 얼굴/아바타/이모티콘을 디스플레이하여 마치 로봇 아바타 기기가 클라이언트처럼 보이도록 함으로써 실제 클라이언트가 해당 지역을 여행하는 것과 같은 개인 맞춤형 체험 서비스를 제공할 수도 있다. The
통신 유닛(204)은 프로세서(201)와 연결되어, 내부/외부 기기/서버와 유/무선 신호를 송신 및/또는 수신할 수 있다. The
광각 카메라 유닛(205)은 적어도 하나의 (광각) 카메라 센서(예를 들어, 360도 카메라 (센서))를 이용하여 이미지/영상/화면을 입력/획득/인식/센싱할 수 있다. 특히, 본 발명에 따른 광각 카메라 유닛(205)의 경우, 광각의 이미지/영상/화면을 실시간으로 촬영/획득/인식/센싱할 수 있으며, 이렇게 촬영/획득/인식/센싱된 영상은 VR 영상으로서 통신 유닛(204)을 통해 클라이언트 기기(101)로 실시간으로 전송될 수 있다. The wide-
모션 유닛(206)은 적어도 하나의 모터/엔진을 구비하여 로봇 아바타 기기(102)의 움직임(예를 들어, 이동/모션/비행 방향/속도/각도 등)을 제어할 수 있다. 모션 유닛(206)은 프로세서(201) 및/또는 통신 유닛(204)으로부터 수신한 제어 신호에 기초하여 로봇 아바타 기기(102)의 움직임을 제어할 수 있으며, 이렇게 수신한 제어 신호는 클라이언트 기기(101) 및/또는 어플리케이션 관리 서버(103)로부터 전송된 제어 신호일 수 있다.The
입력 유닛(207)는 적어도 하나의 센서/모듈 구비하여 사용자(특히, 클라이언트)의 다양한 입력을 센싱하고, 센싱한 입력을 프로세서(201)로 전달할 수 있다. 예를 들어, 입력 유닛(207)은 근접 센서, 터치 센서, 압력 센서, 카메라 센서, 모션 센서, 적외선 센서, 마이크 센서, 자이로 센서, 및/또는 스틱 모듈(상/하/좌/우 방향으로의 스틱 움직임 감지하는 모듈)를 구비할 수 있다. 스틱 모듈을 이용한 로봇 아바타 기기의 제어 실시예는 도 5를 참조하여 이하에서 후술한다.The
도 3 및 4는 본 발명의 일 실시예에 따른 실시간 VR 서비스 시스템이 구현된 실시예를 예시한 도면이다. 보다 상세하게는, 도 3은 실시간 VR 서비스를 제공하는 로봇 아바타 기기, 도 4는 실시간 VR 서비스를 제공받는 클라이언트 기기를 각각 예시한 도면이다.3 and 4 are diagrams illustrating an embodiment in which a real-time VR service system according to an embodiment of the present invention is implemented. In more detail, FIG. 3 is a diagram illustrating a robot avatar device providing a real-time VR service, and FIG. 4 is a diagram illustrating a client device receiving a real-time VR service.
도 3을 참조하면, 도 1에 따라 페어링/연결된 로봇 아바타 기기(301)는 클라이언트 기기가 의뢰한 장소를 광각 카메라 유닛을 통해 촬영한 VR 영상을 클라이언트 기기로 전송할 수 있다. 이때, 로봇 아바타 기기(301)는 촬영한 VR 영상(302)을 클라이언트 기기와 약속한 시간에 실시간으로 전송하거나, 저장해두었다가 추후 약속한 시간에 전송해줄 수 있다. Referring to FIG. 3, a
로봇 아바타 기기(301)는 실시간 VR 서비스 시스템의 구현(특히, 로봇 아바타 기기의 구현)을 위해 고용되었거나 업으로 하는 근로자에 의해 클라이언트가 의뢰한 특정 장소로 및/또는 약속 시간 이전에 옮겨지거나, 이동이 자동화된 로봇 기기로 구현되어 약속 시간에 특정 장소로 직접 이동할 수도 있다. 또는, 로봇 아바타 기기는 클라이언트가 의뢰한 특정 장소에 사전에 배치/설치/위치되어 있는 기기일 수도 있다. The
도 4를 참조하면, 클라이언트 기기(401)는 도 3과 같이 로봇 아바타 기기(301)의 광각 카메라 유닛을 통해 촬영된 영상을 VR 영상으로 제공받을 수 있다. 360도 이미지(402)를 제공받는 경우, 클라이언트는 클라이언트 기기(401)의 각도/방향((VR) 디스플레이 유닛이 HMD인 경우, HMD를 착용한 머리의 각도/방향) 또는 클라이언트의 시선 각도/방향/위치를 조절함으로써 원하는 각도/방향의 VR 영상(403)을 직접 체험할 수 있다. Referring to FIG. 4, the
이때, 클라이언트 기기(401)는 표시 중인 VR 영상(403) 중 인식된 특정 객체에 대한 정보를 검색하여 클라이언트에 제공할 수도 있다. 예를 들어, 클라이언트 기기(401)는 표시 VR 영상(403) 중 인식된 특정 이미지/텍스트를 자동으로 검색하여(예를 들어, 어플리케이션 또는 포털 사이트에서 제공하는 이미지/텍스트 검색 기능을 이용) 검색 결과를 클라이언트에 제공할 수도 있다. In this case, the
추가로, 클라이언트는 로봇 아바타 기기(301)가 제공하는 VR 영상을 체험하면서 아바타 기기(301)와 실시간 커뮤니케이션을 수행할 수 있다. 예를 들어, 로봇 아바타 기기(301)를 통해 실시간 VR 영상을 촬영하여 제공 중인 경우, 어플리케이션 관리 서버는 어플리케이션을 통한 (쌍방향) 음성/문자 채팅 기능을 제공하여 로봇 아바타(또는 로봇 배달자/동행자)와 클라이언트간의 실시간 커뮤니케이션 기능을 제공할 수 있다. 이때, 로봇 아바타 기기(301)는 클라이언트 기기(401)의 채팅 메시지에 대응하여 인공 지능 챗봇과 같은 자동 채팅 기능을 사용해 응답할 수 있다. 이를 통해, 클라이언트는 누군가와 함께 체험/경험을 하고 있는 것처럼 느껴 체험 만족감이 더 높일 수 있으며, 커뮤니케이션을 통한 사회적 체험 환경이 조성될 수 있다. 또한, 로봇 아바타 기기(301)는 클라이언트의 질문에 응답하는 방식의 채팅 수행도 가능하므로(인터넷 검색을 통한 검색 결과 제공 가능), 클라이언트는 체험 장소에 관한 다양한 지식도 얻을 수 있다는 효과를 갖는다. In addition, the client may perform real-time communication with the
이러한 클라이언트 기기(401)와 로봇 아바타 기기(301)간의 페어링/연결은, 1:1 매칭이 기본이나, 실시예에 따라 1:N 또는 N:1 페어링/연결도 가능하다. 이 역시, 앞서 상술한 바와 같이 클라이언트/아바타 기기가(401, 301) 등록한 신청/기본 정보 기반으로 어플리케이션 관리 서버에 의해 수행될 수 있다. The pairing/connection between the
클라이언트는 VR 영상을 제공받은 후, VR 영상을 제공한 로봇 아바타를 평가할 수 있다. 예를 들어, 클라이언트는 어플리케이션을 통해 해당 로봇 아바타에 대한 평가 점수를 매길 수 있으며, 이는 어플리케이션 관리 서버에 저장되어 관리될 수 있다. 어플리케이션 관리 서버는 실시예에 따라 어플리케이션을 통해 클라이언트 기기와 페어링/연결 가능성이 높은 로봇 아바타 기기(301)를 추천하는 기능을 제공할 수 있다. 이 경우 추천하는 로봇 아바타 기기(301)에 대한 평균 평가 점수도 함께 제공될 수 있으며, 점수가 높을수록 추천되는 빈도도 높을 수 있다. After receiving the VR image, the client may evaluate the robot avatar that provided the VR image. For example, the client may score an evaluation score for a corresponding robot avatar through an application, which may be stored and managed in an application management server. The application management server may provide a function of recommending a
이상으로, 클라이언트 기기(401)와 로봇 아바타 기기(301)간에 수행되는 실시간 VR 서비스 방법에 대해 전반적으로 살펴보았다. In the above, a real-time VR service method performed between the
이하에서는, 클라이언트 기기(401)가 로봇 아바타 기기(301)의 움직임/이동/모션/비행 동작을 제어하는 방법에 대해 살펴본다. 이렇듯 클라이언트 기기(401)가 로봇 아바타 기기(301)의 움직임/이동/모션/비행 동작을 직접 제어 가능하다는 점에서, 클라이언트가 직접 자신이 경험/체험하고자 하는 환경을 적극적으로 조성할 수 있다는 효과가 발생한다. Hereinafter, a method of controlling the movement/movement/motion/flight motion of the
도 5는 본 발명의 일 실시예에 따른 클라이언트 기기의 로봇 아바타 기기 제어 방법을 예시한 도면이다. 본 실시예에서 클라이언트 기기는 클라이언트가 착용한 HMD 기기, 로봇 아바타 기기는 드론 기기에 각각 해당하나, 실시예가 이에 제한되는 것은 아니다.5 is a diagram illustrating a method of controlling a robot avatar device of a client device according to an embodiment of the present invention. In the present embodiment, the client device corresponds to an HMD device worn by the client, and the robot avatar device corresponds to a drone device, but the embodiment is not limited thereto.
도 5를 참조하면, 클라이언트는 클라이언트 기기(501)에 대해 로봇 아바타 기기(504)의 이동을 제어하기 위한 입력을 인가할 수 있다. 예를 들어, 클라이언트는 클라이언트 기기(501)에 구비된 입력 유닛을 통해 로봇 아바타 기기(504)의 이동 제어를 위한 터치 입력을 인가할 수 있으며, 터치 입력을 센싱한 클라이언트 기기(501)는 센싱한 입력에 대응하는 제어 신호를 생성할 수 있다. 이때, 클라이언트 기기(501)는 클라이언트의 입력이 용이하도록 로봇 아바타 기기(504) 제어를 위한 아이콘/이미지/UI(User Interface)(예를 들어, 조이 스틱 또는 4가지 방향의 화살표 아이콘/이미지/UI 등)를 어플리케이션을 통해 제공할 수 있으며, 클라이언트는 해당 아이콘/이미지/UI에 대하여 로봇 아바타 기기(504)가 이동하길 원하는 방향으로 드래그 입력 등을 수행할 수 있다. 이러한 입력을 통해 생성된 제어 신호는 로봇 아바타 기기(504)로 전송되어 로봇 아바타 기기(504)의 이동/움직임/비행/모션을 제어할 수 있다. 이러한 제어 신호는 클라이언트 기기(501)에서 로봇 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 로봇 아바타 기기(504)로 전달될 수도 있다. Referring to FIG. 5, the client may apply an input for controlling the movement of the
상술한 실시예는 클라이언트가 클라이언트 기기(501)를 통해 로봇 아바타 기기(504)를 제어하는 실시예이며, 이외에, 클라이언트 기기(501)가 페어링/연결되어 있는 타 기기를 통해 로봇 아바타 기기(504)를 제어하는 실시예도 아래와 같이 도출될 수 있다. 이하에서, 클라이언트 기기(501)는 타 기기(502)와 사전에 페어링/연결되어 있는 경우를 가정하며, 여기서 타 기기(502)는 전동 휠체어인 경우를 가정하나 실시예가 이에 한정되는 것은 아니다. The above-described embodiment is an embodiment in which the client controls the
일 실시예로서, 클라이언트 기기(501)는 무선/유선 통신을 통해 사전에 타 기기(502)와 페어링/연결된 상태일 수 있다. 여기서 타 기기(502)는 본 명세서에서 기술되는 기능/동작을 수행하기 위해 도 2에서 설명한 적어도 하나의 구성/유닛을 포함할 수 있다. 이때, 클라이언트 기기(501)와 연결된 타 기기(502)가 모터/엔진 등을 구비하여 클라이언트 제어에 의해 이동 가능한 기기인 경우(예를 들어, 전동 휠체어, 자동차, 오토바이, 자전거 등), 로봇 아바타 기기(504)의 움직임/이동을 제어하기 위한 제어 신호는 타 기기(502)의 이동 상태에 대응하여/동기화되어 생성될 수 있다. 예를 들어, 타 기기(502)가 전동 휠체어인 경우, 제어 신호는 전동 휠체어의 이동 방향/속도(혹은 사용자가 전동 휠체어의 움직임을 제어하기 위해 구비된 제어 스틱(503)을 통해 입력된 이동 입력 신호)에 대응하여 생성될 수 있으며, 이렇게 생성된 제어 신호는 로봇 아바타 기기(504)로 전송될 수 있다. 이러한 제어 신호 역시 클라이언트 기기(501)에서 로봇 아바타 기기(504)로 직접 전송되거나, 어플리케이션 관리 서버를 통해 로봇 아바타 기기(504)로 전달될 수도 있다. 본 실시예와 같이 타 기기(502)의 이동/움직임과 로봇 아바타 기기(504)의 이동/움직임을 서로 동기화시킴으로써, 클라이언트에게 보다 더 높은 현장감이 제공될 뿐 아니라, 클라이언트가 적극적으로 자신의 체험/경험 환경을 조성할 수 있다는 효과가 발생한다. As an embodiment, the
만일, 로봇 아바타 기기(504)에 구비된 광각 카메라 유닛(505)이 360도 미만의 촬영 각도를 제공하는 경우, 광각 카메라 유닛(505)의 촬영 각도를 제어하기 위한 제어 신호 역시 클라이언트 기기(501)로부터 전송될 수 있다. 이때 전송되는 제어 신호는 클라이언트 기기(501)가 센싱하는 클라이언트의 시선/머리 방향/각도/속도/가속도 등에 대응하여 생성될 수 있으며, 해당 제어 신호에 따라 촬영 방향/각도/속도/가속도 등과 같은 광각 카메라 유닛(505)의 움직임이 제어될 수 있다. 이를 통해, 클라이언트가 자신이 원하는 각도/방향을 적극적으로 체험/경험해볼 수 있다는 효과가 발생한다. 만일, 로봇 아바타 기기(504)의 이동/움직임/비행/모션이 앞서 상술한 실시예와 같이 클라이언트 기기(501)와 페어링/연결된 타 기기에 의해 제어되는 경우, 로봇 아바타 기기(504)의 이동/움직임/비행/모션은 타 기기(502)에 의해 생성된 제1 제어 신호에 의해 제어되며, 로봇 아바타 기기(504)의 광각 카메라 유닛(505)의 촬영 각도/속도/방향은 클라이언트 기기(501)에 의해 생성된 제2 제어 신호에 의해 각각 독립적으로 제어되게 된다. If the wide-
이때, 앞서 상술한 실시예와 같이, 비행하는 동안 로봇 아바타 기기의 (VR) 디스플레이 유닛에 클라이언트의 얼굴/아바타/이모티콘이 디스플레이하여 마치 로봇 아바타 기기가 클라이언트처럼 보이도록 하는 개인 맞춤형 체험 서비스가 제공될 수 있다. At this time, as in the above-described embodiment, a personalized experience service in which the face/avatar/emoticon of the client is displayed on the (VR) display unit of the robot avatar device during flight so that the robot avatar device looks like a client will be provided. I can.
본 실시간 VR 서비스 시스템의 가장 큰 차이점은, 기존 VR을 활용한 여행 및 탐방 프로그램들은 녹화된 영상을 사용하지만 본 서비스는 실시간으로 그 영상들을 전송한다는 점이 다르다고 할 수 있다. 녹화 영상을 만들기 위해서는 사전 촬영과 편집 등을 거치며 많은 시간이 소요되며 지난 시기의 영상을 플레이한다는 점에서 시의성이 떨어지며 직접 현장을 체험한다는 체험성이 떨어진다는 단점이 있다. 또한 기타 그래픽을 이용한 VR 컨텐츠들은 제작 기간이 길고 만드는데 비용이 많이 든다. 하지만 본 서비스는 실시간으로 의뢰자가 원하는 영상들을 볼 수 있기에 실제의 리얼 타임 현장감을 느낄 수 있으며 촬영 및 편집 그리고 비싼 그래픽 제작비용 등이 발생하지 않아 서비스 면에서도 저비용으로 운영이 가능하다는 점이 가장 큰 장점이라 할 수 있다.The biggest difference between this real-time VR service system is that travel and exploration programs using existing VR use recorded images, but this service transmits the images in real time. To make a recorded video, it takes a lot of time to go through pre-shooting and editing, and there is a disadvantage in that the timeliness is poor and the experience of experiencing the site directly is inferior in that the video from the past period is played. In addition, VR contents using other graphics have a long production period and are expensive to create. However, the biggest advantage of this service is that it is possible to operate at a low cost in terms of service as it does not incur real-time realism because it allows the client to view the videos they want in real time. can do.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.The embodiment according to the present invention may be implemented by various means, for example, hardware, firmware, software, or a combination thereof. In the case of implementation by hardware, an embodiment of the present invention is one or more ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs ( field programmable gate arrays), processors, controllers, microcontrollers, microprocessors, etc.
또한, 펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현되어, 다양한 컴퓨터 수단을 통하여 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, in the case of implementation by firmware or software, an embodiment of the present invention is implemented in the form of modules, procedures, functions, etc. that perform the functions or operations described above, and is stored in a recording medium that can be read through various computer means. Can be recorded. Here, the recording medium may include a program command, a data file, a data structure, or the like alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. For example, the recording medium is a magnetic medium such as a hard disk, a floppy disk, and a magnetic tape, an optical medium such as a compact disk read only memory (CD-ROM), a digital video disk (DVD), and a floppy disk. Magnetic-Optical Media such as a floptical disk, and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of the program instructions may include not only machine language codes such as those produced by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
아울러, 본 발명에 따른 장치나 단말은 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세스를 수행하도록 하는 명령에 의하여 구동될 수 있다. 예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.In addition, the device or terminal according to the present invention may be driven by a command that causes one or more processors to perform the functions and processes described above. For example, such instructions may include interpreted instructions such as script instructions such as JavaScript or ECMAScript instructions, executable code, or other instructions stored in a computer-readable medium. Furthermore, the device according to the present invention may be implemented in a distributed manner over a network, such as a server farm, or may be implemented in a single computer device.
또한, 본 발명에 따른 장치에 탑재되고 본 발명에 따른 방법을 실행하는 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 혹은 코드로도 알려져 있음)은 컴파일 되거나 해석된 언어나 선험적 혹은 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 혹은 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 혹은 다중의 상호 작용하는 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 혹은 코드의 일부를 저장하는 파일) 내에, 혹은 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트) 내에 저장될 수 있다. 컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.In addition, a computer program (also known as a program, software, software application, script or code) mounted on the device according to the present invention and executing the method according to the present invention includes a compiled or interpreted language or a priori or procedural language. It can be written in any form of programming language, and can be deployed in any form, including standalone programs, modules, components, subroutines, or other units suitable for use in a computer environment. Computer programs do not necessarily correspond to files in the file system. A program may be in a single file provided to the requested program, or in multiple interactive files (e.g., files that store one or more modules, subprograms, or portions of code), or part of a file that holds other programs or data. (Eg, one or more scripts stored within a markup language document). The computer program may be deployed to run on one computer or multiple computers located at one site or distributed across a plurality of sites and interconnected by a communication network.
설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시예들을 병합하여 새로운 실시예를 구현하도록 설계하는 것도 가능하다. 또한, 본 발명은 상술한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상술한 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.For convenience of explanation, each drawing has been described separately, but it is also possible to design a new embodiment by merging the embodiments described in each drawing. In addition, the present invention is not limitedly applicable to the configuration and method of the embodiments described as described above, but the above-described embodiments are configured by selectively combining all or part of each embodiment so that various modifications can be made. It could be.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In addition, although preferred embodiments have been illustrated and described above, the present specification is not limited to the specific embodiments described above, and without departing from the subject matter claimed in the claims, those having ordinary knowledge in the technical field to which the specification belongs. Various modifications are possible by the person, as well as these modifications should not be individually understood from the technical idea or perspective of the present specification.
101: 클라이언트 기기
102: 로봇 아바타 기기
103: 어플리케이션 관리 서버 101: client device
102: robot avatar device
103: application management server
Claims (3)
클라이언트 기기가 의뢰하고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및 촬영의뢰 비용에 관한 정보들 중 적어도 하나를 포함하는 VR 체험 신청 정보를 어플리케이션 관리 서버에 등록하는 단계;
로봇 아바타 기기가 의뢰받고자 하는 VR 영상의 촬영 위치, 촬영 시간, 사용 언어, 및 촬영 의뢰 비용에 관한 정보들 중 적어도 하나를 포함하는 기본정보를 상기 어플리케이션 관리 서버에 등록하는 단계;
상기 어플리케이션 관리 서버가 상기 VR 체험 신청 정보에 포함된 VR 영상의 촬영 위치 정보와 매칭되는 현재 위치 정보를 갖는 로봇 아바타 기기를 서칭하는 단계;
상기 클라이언트 기기가 상기 서칭된 로봇 아바타 기기와의 페어링을 수행하는 단계;
상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기의 비행 방향, 각도 및/또는 속도를 제어하기 위한 제1 제어 신호를 페어링된 로봇 아바타 기기로 전송하는 단계;
상기 페어링된 로봇 아바타 기기가 상기 제1 제어 신호에 따라 비행하는 단계; 및
상기 클라이언트 기기가 상기 페어링된 로봇 아바타 기기로부터 등록된 촬영 위치에서 비행하여 촬영한 VR 영상을 실시간으로 수신하는 단계; 를 포함하되,
상기 페어링된 로봇 아바타 기기의 이동은 상기 클라이언트 기기로부터 전송된 상기 제1 제어 신호에 의해 제어되는, 실시간 VR 서비스 제공 방법.In a method for providing a real-time VR (Virtual Reality) service using a plurality of robot avatar devices that are located in different regions and are implemented as an automated drone device that acts as an agent for VR experience and fly directly to a specific place,
Registering VR experience request information including at least one of information on a shooting location, a shooting time, a language used, and a shooting request cost of a VR image requested by the client device to the application management server;
Registering basic information including at least one of information on a photographing position, a photographing time, a language used, and a photographing request cost of a VR image to be requested by the robot avatar device to the application management server;
Searching, by the application management server, a robot avatar device having current location information matching the photographing location information of the VR image included in the VR experience request information;
Performing, by the client device, pairing with the searched robot avatar device;
Transmitting, by the client device, a first control signal for controlling the flight direction, angle and/or speed of the paired robot avatar device to the paired robot avatar device;
Flying the paired robot avatar device according to the first control signal; And
Receiving, in real time, a VR image captured by the client device flying at a registered shooting position from the paired robot avatar device; Including,
The movement of the paired robot avatar device is controlled by the first control signal transmitted from the client device.
상기 VR 영상 촬영을 위해 상기 로봇 아바타 기기에 구비된 카메라 유닛의 최대 촬영 각도가 360도 미만인 경우, 상기 카메라 유닛의 촬영 방향은, 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향에 동기화되는, 실시간 VR 서비스 제공 방법.The method of claim 1,
When the maximum shooting angle of the camera unit provided in the robot avatar device for capturing the VR image is less than 360 degrees, the shooting direction of the camera unit is synchronized with the head or gaze direction of the user wearing the client device. How to provide VR service.
상기 카메라 유닛의 촬영 각도는 상기 클라이언트 기기로부터 전송된 제2 제어 신호에 의해 제어되며,
상기 제2 신호는 상기 클라이언트 기기를 착용한 사용자의 머리 또는 시선 방향의 센싱 결과에 동기화되어 생성되는, 실시간 VR 서비스 제공 방법.The method of claim 2,
The shooting angle of the camera unit is controlled by a second control signal transmitted from the client device,
The second signal is generated in synchronization with a sensing result of a head or a gaze direction of a user wearing the client device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200184136A KR102325048B1 (en) | 2019-07-10 | 2020-12-28 | Real time VR service method through robot avatar |
KR1020210121420A KR20210119337A (en) | 2020-12-28 | 2021-09-13 | Real time VR service method through robot avatar |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190083098 | 2019-07-10 | ||
KR1020200184136A KR102325048B1 (en) | 2019-07-10 | 2020-12-28 | Real time VR service method through robot avatar |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190083098 Division | 2019-07-10 | 2019-07-10 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210121420A Division KR20210119337A (en) | 2020-12-28 | 2021-09-13 | Real time VR service method through robot avatar |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210007931A true KR20210007931A (en) | 2021-01-20 |
KR102325048B1 KR102325048B1 (en) | 2021-11-10 |
Family
ID=74305138
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200184136A KR102325048B1 (en) | 2019-07-10 | 2020-12-28 | Real time VR service method through robot avatar |
KR1020210121420A KR20210119337A (en) | 2020-12-28 | 2021-09-13 | Real time VR service method through robot avatar |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210121420A KR20210119337A (en) | 2020-12-28 | 2021-09-13 | Real time VR service method through robot avatar |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102325048B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102517324B1 (en) * | 2022-02-15 | 2023-04-03 | 양동현 | System for combining metaverse and real world |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030086326A (en) * | 2001-03-27 | 2003-11-07 | 가부시키가이샤 니콘 | Method for mediating digital data |
KR101343860B1 (en) * | 2013-01-03 | 2013-12-20 | 재단법인대구경북과학기술원 | Robot avatar system using hybrid interface and command server, learning server, and sensory server therefor |
-
2020
- 2020-12-28 KR KR1020200184136A patent/KR102325048B1/en active IP Right Grant
-
2021
- 2021-09-13 KR KR1020210121420A patent/KR20210119337A/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030086326A (en) * | 2001-03-27 | 2003-11-07 | 가부시키가이샤 니콘 | Method for mediating digital data |
KR101343860B1 (en) * | 2013-01-03 | 2013-12-20 | 재단법인대구경북과학기술원 | Robot avatar system using hybrid interface and command server, learning server, and sensory server therefor |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102517324B1 (en) * | 2022-02-15 | 2023-04-03 | 양동현 | System for combining metaverse and real world |
Also Published As
Publication number | Publication date |
---|---|
KR20210119337A (en) | 2021-10-05 |
KR102325048B1 (en) | 2021-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11722537B2 (en) | Communication sessions between computing devices using dynamically customizable interaction environments | |
US11915670B2 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
US10976830B2 (en) | Unified virtual reality platform | |
US10606609B2 (en) | Context-based discovery of applications | |
US20190019011A1 (en) | Systems and methods for identifying real objects in an area of interest for use in identifying virtual content a user is authorized to view using an augmented reality device | |
US20200329214A1 (en) | Method and system for providing mixed reality service | |
US20180356885A1 (en) | Systems and methods for directing attention of a user to virtual content that is displayable on a user device operated by the user | |
WO2017143303A1 (en) | Apparatuses, methods and systems for sharing virtual elements | |
US12020667B2 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
US20180357826A1 (en) | Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display | |
CN112783700A (en) | Computer readable medium for network-based remote assistance system | |
US20230353616A1 (en) | Communication Sessions Between Devices Using Customizable Interaction Environments And Physical Location Determination | |
US20220291808A1 (en) | Integrating Artificial Reality and Other Computing Devices | |
Pretto et al. | Towards gesture-based multi-user interactions in collaborative virtual environments | |
KR102325048B1 (en) | Real time VR service method through robot avatar | |
US11847297B2 (en) | Method of providing real-time VR service through avatar | |
JP6149967B1 (en) | Video distribution server, video output device, video distribution system, and video distribution method | |
KR102193630B1 (en) | Real time VR service device, method and system through avatar | |
KR20210007930A (en) | Real time VR service device, method and system through avatar | |
KR102467017B1 (en) | Method for augmented reality communication between multiple users | |
KR20180122802A (en) | System for proxy experience through agent and the method using the same | |
JP2024092909A (en) | PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM | |
JP2024092562A (en) | PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM | |
WO2023177773A1 (en) | Stereoscopic features in virtual reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |