WO2023128305A1 - 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템 - Google Patents

메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템 Download PDF

Info

Publication number
WO2023128305A1
WO2023128305A1 PCT/KR2022/018817 KR2022018817W WO2023128305A1 WO 2023128305 A1 WO2023128305 A1 WO 2023128305A1 KR 2022018817 W KR2022018817 W KR 2022018817W WO 2023128305 A1 WO2023128305 A1 WO 2023128305A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
user image
image data
metaverse
matching
Prior art date
Application number
PCT/KR2022/018817
Other languages
English (en)
French (fr)
Inventor
김대욱
김대호
제성철
이도행
최용재
Original Assignee
주식회사 직방
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 직방 filed Critical 주식회사 직방
Publication of WO2023128305A1 publication Critical patent/WO2023128305A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to a user image data matching method in a metaverse-based office environment, and more particularly, in constructing an office environment in a three-dimensional virtual space based on a metaverse, a character (avatar) connected to the office environment
  • a metaverse a character connected to the office environment
  • the present invention receives image data of a video camera captured at a remote location, places it in a two-dimensional shape at the character's head position in a three-dimensional virtual space, and replaces the character's face with the user's image data captured in real time. It relates to a user image data matching method in a metaverse-based office environment that allows additional information by the other party's facial expression or behavior to be delivered at the same time without being limited to simply textual conversation.
  • Metabus is a compound word of the English word 'Meta', which means 'virtual' and 'transcendence', and 'Universe', which means the universe.
  • Metaverse is a concept that has evolved one step further from virtual reality (VR, a cutting-edge technology that allows people to experience the same as real life in a virtual world created by a computer). It is characterized by being able to do social and cultural activities between members (avatars) like in reality.
  • VR virtual reality
  • virtual reality refers to an interface between a human and a computer that creates a specific environment or situation with a computer and makes it as if a person using it is interacting with a real surrounding situation or environment.
  • This virtual reality is mainly intended to allow people to show and manipulate as if they are in an environment that is difficult to experience on a daily basis without directly experiencing it, and its application fields are games, education, advanced programming, remote control, and remote satellites These include surface exploration, exploration data analysis, and scientific visualization.
  • metaverse refers to creating a certain environment or situation by a computer, and making social ties between users more active in this environment or situation.
  • Korean Patent Laid-Open Publication No. 10-2019-0062045, 'Method and Apparatus for Implementing Virtual Conference' (hereinafter referred to as 'prior art'), which is a prior art document, overlaps a part of the user's body with a video in which a virtual conference is held. This is to implement a virtual conference space with increased realism by displaying the virtual conference room.
  • conversation which is one of the most important things in communication between members (people) in the real world, has a more accurate meaning by additionally confirming visual information such as facial expressions, tones, and gestures in addition to voice information of the conversation itself. will convey information.
  • the prior art remains at the level of simply communicating through text online, and has a problem in that it does not improve the bond between members like in the real world.
  • the current situation of the participant (user) corresponding to the character (avatar) connected to the office environment is displayed in real time.
  • the purpose is to provide a user image data matching method in a metaverse-based office environment that can greatly improve social ties in virtual space that metaverse pursues by filming and overlapping virtual images.
  • the present invention receives image data of a video camera captured at a remote location, places it in a two-dimensional shape at the character's head position in a three-dimensional virtual space, and replaces the character's face with the user's image data captured in real time. It relates to a user image data matching method in a metaverse-based office environment that allows additional information by the other party's facial expression or behavior to be delivered at the same time without being limited to simply textual conversation.
  • the present invention sets up a chat group that satisfies certain conditions among users accessing a virtual space and allows conversation only within the chat group, thereby solving problems such as information leakage that occur in the process of transmitting information.
  • the purpose of this study is to provide a user image data matching method in a metaverse-based office environment that can be prevented.
  • the user image data matching method in the metaverse-based office environment checks the camera point of view of the target user in the virtual space, and the users included in the virtual image of the camera point of view. a talk group checking step of checking whether a talk group is included in the chat group; and a user image matching step of matching a user image captured in real time with the avatar of each group user included in the chat group.
  • the user image may be matched to the head of the avatar.
  • the user image matching step may include a target coordinate checking step of confirming 2-dimensional coordinates on which the head position of the corresponding avatar is projected in the virtual image of the camera coordinate system onto which the virtual space of the 3-dimensional coordinate system is projected; and a user image overlapping step of overlapping the corresponding user image with the 2D coordinates of the corresponding virtual image.
  • the target coordinate checking step may include an avatar position checking step of checking the position of the corresponding avatar in a 3D virtual space; a relative positioning step of calculating the relative position of the head in the skeletal structure of the corresponding avatar; Head positioning step of calculating the 3D coordinates of the head by applying the relative position to the 3D coordinates of the corresponding avatar; and a projection coordinate checking step of checking the two-dimensional coordinates on which the avatar's head position is projected.
  • an avatar setting information checking step of checking setting information of an avatar matched with a corresponding group user may be further included.
  • the user image may be image processed to extract a head of the corresponding user, and the extracted image may be matched to the head of the corresponding avatar.
  • a predetermined image area may be extracted around a set feature point among the head of the user.
  • the extracted image region may be fixed and overlapped irrespective of a user's motion thereafter.
  • the dialogue group checking step may include a space area checking step of checking a space area partitioned by setting in the virtual space; and a conversation group determination step of determining a user located in the same spatial area as the target user as a conversation group.
  • a conversation group participation limit is set in at least a part of the space area including the security area in the virtual space, and among users located in the space area, the right to participate in the conversation is removed, the conversation group participation permission is removed. can be excluded from the group.
  • the present invention includes a storage medium on which a program for executing the user image data matching method in the metaverse-based office environment is recorded.
  • the present invention includes a user image data matching system including the storage medium in a metaverse-based office environment.
  • the present invention in constructing an office environment in a three-dimensional virtual space based on the metaverse, displays the current situation of the participant (user) corresponding to the character (avatar) connected to the office environment in real time.
  • the present invention receives image data of a video camera captured at a remote location, places it in a two-dimensional shape at the character's head position in a three-dimensional virtual space, and replaces the character's face with the user's image data captured in real time. It has the advantage of being able to simultaneously deliver additional information based on the other person's facial expression or behavior without being limited to a conversation simply by text.
  • the present invention has the advantage of being able to deliver information with a more accurate meaning by additionally confirming visual information such as expressions, tones, and gestures between users in addition to voice information of the conversation itself.
  • the present invention can provide the same level of conversation as when each member (user) connects online, but meets and talks in person in the real world, and through this, the relationship between members can be greatly improved. there is.
  • the present invention sets up a chat group that satisfies certain conditions among users accessing a virtual space and allows conversation only within the chat group, thereby solving problems such as information leakage that occur in the process of transmitting information. has the advantage of preventing
  • FIG. 1 is a flowchart illustrating an embodiment of a user image data matching method in a metaverse-based office environment according to the present invention.
  • FIG. 2 is a flowchart illustrating a specific embodiment of step 'S200' of FIG. 1 .
  • FIG. 3 is a flowchart illustrating a specific embodiment of step 'S210' shown in FIG. 2 .
  • FIG. 4 is a flowchart illustrating another embodiment of FIG. 2 .
  • FIG. 5 is a flowchart illustrating a specific embodiment of FIG. 1 .
  • step 'S100' of FIG. 1 is a flowchart illustrating a specific embodiment of step 'S100' of FIG. 1 .
  • FIG. 7 is a diagram illustrating an embodiment of a virtual image to which a user image is matched in FIG. 1 .
  • the user image data matching method in the metaverse-based office environment of the present invention can be operated in a server/client system on the Internet, and the configuration for executing the method is a desktop, workstation, or It can be any one of a fixed computing device such as a server, and in addition, a smart phone, a laptop, a tablet, a phablet, and a portable multimedia player. , PMPs), personal digital assistants (PDAs), or e-book readers.
  • PMPs personal digital assistants
  • e-book readers e-book readers.
  • the user image data matching method in the metaverse-based office environment of the present invention can be executed in at least one configuration of a server or a client in a server/client system, and the process by the method while at least two configurations work together can be divided according to the operation method and distributed.
  • the client may include a user terminal used by the user as well as a manager terminal excluding the server.
  • first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • a component when referred to as being 'connected' or 'connected' to another component, it may be directly connected or connected to the other component, but other components may exist in the middle. there is.
  • FIG. 1 is a flowchart illustrating an embodiment of a user image data matching method in a metaverse-based office environment according to the present invention.
  • the method of matching user image data in a metaverse-based office environment includes a conversation group check step (S100) and a user image matching step (S200).
  • the conversation group confirmation step (S100) is a process of checking the user (group user) who can interact with the target user (person) in the metaverse-based office environment, confirms the camera viewpoint of the target user in the virtual space, and Checks whether or not the conversation group is included in the users included in the virtual image of .
  • the camera viewpoint may be based on the target user's avatar or the rear upper part of the target user's avatar
  • the virtual space may be formed based on the 3D coordinate system
  • the virtual image shown in FIG. It is an image output to a user's terminal, as shown, and refers to an image in which three-dimensional coordinates of a virtual space are projected in two dimensions.
  • the step of confirming the chat group is a process of checking at least some users to be included in the chat group according to certain conditions among the avatars displayed on the terminal of the target user.
  • the user image matching step (S200) is a process of matching the user image captured in real time with the avatar of each group user included in the chat group. More specifically, as shown in FIG. 7, the head of the avatar A user image of a corresponding user may be matched.
  • FIG. 2 is a flowchart illustrating a specific embodiment of step 'S200' of FIG. 1 .
  • the user image matching step (S200) includes a target coordinate checking step (S210) and a user image overlapping step (S220).
  • the head position of the avatar is projected in the virtual image of the camera coordinate system in which the virtual space of the three-dimensional coordinate system in which the metaverse-based office environment is constructed is projected onto the display of the user terminal used by the user. Performs the process of checking the two-dimensional coordinates to be
  • the target coordinates checking step (S210) a 3-dimensional image corresponding to the head of the avatar located in a 3-dimensional virtual space is obtained.
  • the corresponding user image is overlapped with the two-dimensional coordinates of the corresponding virtual image.
  • FIG. 3 is a flowchart showing a specific embodiment of step 'S210' shown in FIG. 2
  • FIG. 4 is a flowchart showing another embodiment of FIG.
  • the position of the avatar matched with the target user can be checked in the 3D virtual space (S211).
  • the initial location of the avatar upon login may be a location upon previous logout or may include a set fixed location (eg, the front door of a virtual office).
  • the reference position of the avatar and the relative position of the head are calculated (S212), and the 3D coordinates of the head can be calculated by applying the relative position to the 3D coordinates of the avatar (S213).
  • the avatar may be set in various forms by the target user.
  • the avatar setting information checking step of checking the setting information for the avatar of the corresponding group user confirmed in the conversation group checking step (S100) ( S201) may be performed.
  • the setting information of the corresponding group user is checked to determine the external characteristics (skeleton) of the matched avatar (S201).
  • a relative position with respect to the head of the avatar may be calculated (S212).
  • the three-dimensional coordinates of the avatar's head position are checked (S213), the two-dimensional coordinates on which the avatar's head position is projected are checked, and the head (target) position of the avatar displayed on the virtual image can be checked. (S214).
  • FIG. 5 is a flowchart illustrating a specific embodiment of FIG. 1 .
  • image data (user image) of corresponding users may be received from a plurality of users (remote users) included in the camera view of the corresponding avatar (S110). At this time, the image data may be matched with the ID of the corresponding user.
  • the corresponding image data may be discarded (S130).
  • the corresponding user is a conversation group of the target user (S120)
  • an avatar matched (indexed) with the ID of the corresponding user is selected (S201), and as described above, the relative position and 3D position of the target (head) are determined.
  • the 2D position of the virtual image to be projected may be calculated based on this (S214), and the received image data may be overlapped at the corresponding position (S220).
  • FIG. 5 shows a user located in a specific space (or included in a camera view) in a metaverse-based office environment, after receiving image data of each user, when the corresponding user is a conversation group, the corresponding image If data overlaps and is not a conversation group, the corresponding image data can be discarded.
  • chat group After first checking whether a chat group is included, user images of users included in the chat group may be received and overlapped with corresponding avatars.
  • the user image is image-processed to produce a necessary part centered on the user's head, as shown in FIG. 7 . It can be extracted, and the extracted image can be matched to the head of the corresponding avatar. In other words, by removing unnecessary images such as the background, the data amount of the transmitted image can be minimized.
  • a certain image region may be extracted centered on set feature points (eg, eyes, nose, etc.).
  • set feature points eg, eyes, nose, etc.
  • step 'S100' of FIG. 1 is a flowchart illustrating a specific embodiment of step 'S100' of FIG. 1 .
  • the step of checking a talk group may include a step of checking a space area (S110) and a step of determining a talk group (S120).
  • the space area checking step (S110) it is possible to check the space area partitioned for each setting in the virtual space.
  • space areas partitioned by purpose can be checked.
  • the space of the virtual office may be divided into an area included in the camera's point of view and an area not included.
  • the purpose of the metaverse-based office environment of the present invention is to build similarly to the real world, one company can use one building created in the virtual space, or in some cases a large number of companies or individuals can use it together.
  • the right to form a conversation group (the right to participate in a conversation) is basically given to all users belonging to the entire space (the entire building), and the conversation is performed by the method described above. You can have them join or leave the group.
  • a meeting room of a specific company grants permission to participate in conversations only to users who are employees of the company or to users who are business partners, thereby preventing the contents of the conversation from being leaked to users who are not related to work. can be done, which can improve security.
  • conversation participation permission may be granted so that all users can participate in conversation, as in the real world.
  • the method of matching user image data in the metaverse-based virtual office environment described above may be implemented as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all types of recording devices storing data that can be read by a computer system.
  • the computer-readable recording medium may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.
  • the present invention can be utilized in metaverse fields, virtual reality fields, and virtual office fields, as well as similar or related fields, and can improve reliability and competitiveness in those fields.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법에 관한 것으로, 보다 상세하게는 가상공간에서 대상유저의 카메라시점을 확인하고, 해당 카메라시점의 가상영상에 포함된 유저들에 대한 대화그룹 포함여부를 확인하는 대화그룹 확인단계; 및 상기 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 유저영상 매칭단계;를 포함하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법에 관한 것이다.

Description

메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템
본 발명은 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법에 관한 것으로서, 보다 상세하게는 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터(아바타)에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상시킬 수 있도록 한 것이다.
특히, 본 발명은 원격지점에서 촬영된 화상카메라의 영상데이터를 수신하여 3차원 가상공간의 캐릭터 머리위치에 2차원형상으로 위치시켜, 캐릭터의 얼굴을 실시간으로 촬영된 유저의 영상데이터로 대체함으로써, 단순히 텍스트에 의한 대화에 제한하지 않고 상대방의 표정이나 행동에 의한 추가적인 정보를 동시에 전달할 수 있도록 한 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법에 관한 것이다.
메타버스 '가상', '초월' 등을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회적활동이 이뤄지는 3차원의 가상세계를 말한다.
메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 구성원(아바타) 간의 사회적, 문화적 활동 등을 할 수 있다는 특징이 있다.
한편, 가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다.
이러한 가상현실은 주로 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주기 위한 것으로, 응용분야는 게임, 교육, 고급 프로그래밍, 원격조작, 원격위성 표면탐사, 탐사자료 분석, 과학적 시각화(Scientific visualization) 등이다.
결과적으로, 메타버스는 컴퓨터에 의해 어떤 특정한 환경이나 상황을 만들고, 이러한 환경이나 상황 속에서 유저들 간의 사회적 유대관계가 보다 적극적으로 이어질 수 있도록 한 것을 말한다고 볼 수 있다.
최근 들어, IT인프라와 사회적인 발전, 그리고 보건위기 등의 다양한 이유로 인해 재택근무가 활성화됨에 따라, 이러한 메타버스 기반의 가상오피스환경에서 업무를 수행하는 방법들이 개발되고 있다.
하기의 선행기술문헌인 대한민국 공개특허공보 제10-2019-0062045호 '가상 회의 구현 방법 및 장치'(이하 '선행기술'이라 한다)는, 가상회의가 진행되는 영상에 사용자의 신체 중 일부를 오버랩하여 디스플레이 함으로써, 현실감이 증가된 가상 회의 공간을 구현하기 위한 것이다.
그러나, 선행기술에서 오버랩되는 유저의 이미지는 정지상태의 사진과 같은 이미지이므로, 유저들이 대화하는 과정에서 텍스트 이상의 향상된 정보(표정이나 행동 등에 의한 정보)가 전달된다고 하기에는 무리가 있다.
일반적으로, 현실세계에서의 구성원(사람)간의 커뮤니케이션에 있어서 가장 중요한 것 중 하나인 대화는, 대화 자체의 음성정보에 더하여 표정이나, 성조, 몸짓 등의 시각정보를 추가적으로 확인함으로써, 보다 정확한 의미의 정보를 전달하게 된다.
이로 인해, 채팅과 같은 텍스트에 의한 대화에서, 문장 자체만으로 오해를 유발할 수 있기 때문에, 다양한 이모티콘 등을 함께 사용하여 대화하게 되지만, 이러한 이모티콘 만으로는 정확한 의미나 느낌을 충분히 전달하는데 한계가 있었다.
다시 말해, 선행기술은 온라인상에서 단순히 텍스트에 의해 대화하는 정도의 수준에 머무르는 것으로, 현실세계와 같은 구성원간의 유대감을 향상시키지는 못한다는 문제점이 있다.
더욱이, 선행기술은 단지 컴퓨터상에서 사무실이미지를 배경으로 하여, 각 유저들의 이미지를 단순히 오버랩한 것으로, 가상공간을 배경으로 하지는 않기 때문에, 그 기술분야가 가상현실을 기반으로 한다고 하기에는 무리가 있다.
상기와 같은 문제점을 해결하기 위해서, 본 발명은 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터(아바타)에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상할 수 있는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법을 제공하는데 목적이 있다.
특히, 본 발명은 원격지점에서 촬영된 화상카메라의 영상데이터를 수신하여 3차원 가상공간의 캐릭터 머리위치에 2차원형상으로 위치시켜, 캐릭터의 얼굴을 실시간으로 촬영된 유저의 영상데이터로 대체함으로써, 단순히 텍스트에 의한 대화에 제한하지 않고 상대방의 표정이나 행동에 의한 추가적인 정보를 동시에 전달할 수 있도록 한 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법에 관한 것이다.
또한, 본 발명은 가상공간에 접속한 유저들 중 일정조건을 만족하는 대화그룹을 설정하고, 해당 대화그룹 내에서만 대화가 가능하도록 함으로써, 정보를 전달하는 과정에서 발생하는 정보유출 등의 문제를 미연에 방지할 수 있는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법은, 가상공간에서 대상유저의 카메라시점을 확인하고, 해당 카메라시점의 가상영상에 포함된 유저들에 대한 대화그룹 포함여부를 확인하는 대화그룹 확인단계; 및 상기 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 유저영상 매칭단계;를 포함한다.
또한, 상기 유저영상 매칭단계는, 아바타의 머리에 유저영상을 매칭할 수 있다.
또한, 상기 유저영상 매칭단계는, 3차원좌표계의 가상공간이 투영되는 카메라좌표계의 가상영상에서, 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 타겟좌표확인단계; 및 해당 가상영상의 2차원좌표에 해당 유저영상을 오버랩하는 유저영상오버랩단계;를 포함할 수 있다.
또한, 상기 타겟좌표확인단계는, 3차원 가상공간에서 해당 아바타의 위치를 확인하는 아바타위치확인단계; 해당 아바타의 뼈대구조에서 머리의 상대위치를 계산하는 상대위치확인단계; 해당 아바타의 3차원좌표에 상대위치를 적용하여 머리의 3차원좌표를 계산하는 머리위치확인단계; 및 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 투영좌표확인단계;를 포함할 수 있다.
또한, 상기 타겟좌표확인단계 이전에, 해당 그룹유저에 매칭된 아바타의 설정정보를 확인하는 아바타설정정보확인단계;를 더 포함할 수 있다.
또한, 상기 유저영상 매칭단계는, 상기 유저영상을 영상처리하여 해당 유저의 머리부분을 추출하고, 추출된 영상을 해당 아바타의 머리부분에 매칭할 수 있다.
또한, 상기 유저영상 매칭단계는, 상기 유저의 머리부분 중 설정된 특징점을 중심으로 일정한 영상영역을 추출할 수 있다.
또한, 상기 유저영상 매칭단계는, 상기 특징점에 의해 처음 영상영역이 추출되면, 이후 해당 유저의 움직임에 무관하게 추출된 영상영역을 고정하여 오버랩할 수 있다.
또한, 상기 대화그룹 확인단계는, 상기 가상공간에서 설정별로 구획된 공간영역을 확인하는 공간영역확인단계; 및 상기 대상유저와 같은 공간영역에 위치한 유저를 대화그룹으로 판단하는 대화그룹판단단계;를 포함할 수 있다.
또한, 상기 대화그룹판단단계는, 상기 가상공간 중 보안영역을 포함하는 적어도 일부의 공간영역에 대화그룹참여제한을 설정하고, 해당 공간영역에 위치한 유저들 중 대화참여권한이 제거된 유저는 해당 대화그룹에서 제외할 수 있다.
또한, 본 발명은 상기의 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법을 실행하는 프로그램이 기록된 저장매체를 포함한다.
또한, 본 발명은 메타버스 기반의 오피스 환경에서 상기 저장매체를 포함하는 유저영상데이터 매칭 시스템을 포함한다.
상기와 같은 해결수단에 의해, 본 발명은 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터(아바타)에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상할 수 있는 장점이 있다.
특히, 본 발명은 원격지점에서 촬영된 화상카메라의 영상데이터를 수신하여 3차원 가상공간의 캐릭터 머리위치에 2차원형상으로 위치시켜, 캐릭터의 얼굴을 실시간으로 촬영된 유저의 영상데이터로 대체함으로써, 단순히 텍스트에 의한 대화에 제한하지 않고 상대방의 표정이나 행동에 의한 추가적인 정보를 동시에 전달할 수 있는 장점이 있다.
이를 통해 본 발명은 대화 자체의 음성정보와 더불어, 유저들 간의 표정이나, 성조, 몸짓 등의 시각정보를 추가적으로 확인함으로써, 보다 정확한 의미의 정보를 전달할 수 있는 장점이 있다.
결과적으로, 본 발명은 각각의 구성원(유저)들이 온라인 상에서 접속하고 있으나, 실제 현실세계에서 직접 만나서 이야기 하는 것과 동일한 수준의 대화레벨을 제공할 수 있으며, 이를 통해 구성원 간의 유대관계를 크게 향상시킬 수 있다.
또한, 본 발명은 가상공간에 접속한 유저들 중 일정조건을 만족하는 대화그룹을 설정하고, 해당 대화그룹 내에서만 대화가 가능하도록 함으로써, 정보를 전달하는 과정에서 발생하는 정보유출 등의 문제를 미연에 방지할 수 있는 장점이 있다
특히, 현실세계에서도 대화의 내용을 다른 사람들이 듣는 경우가 발생하여 정보가 유출되고 확산되며, 심한 경우 루머 등을 만들게 되지만, 본 발명에서는 이러한 문제점을 원천적으로 방지할 수 있다.
도 1은 본 발명에 의한 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3은 도 2에 나타난 단계 'S210'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 4는 도 2의 다른 일 실시예를 나타내는 흐름도이다.
도 5는 도 1의 구체적인 일 실시예를 나타내는 순서도이다.
도 6은 도 1의 단계 'S100'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 7은 도 1에 의해 유저영상이 매칭된 가상영상의 일 실시예를 나타내는 도면이다.
본 발명에 따른 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
먼저, 본 발명의 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법은, 인터넷 상의 서버/클라이언트 시스템에서 운용이 가능하며, 해당 방법을 실행하는 구성으로는 데스크탑(Desktop), 워크스테이션(Workstation) 또는 서버(Server)와 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으며, 이 외에도 스마트폰(Smart phone), 랩탑(Laptaop), 태블릿(Tablet), 패블릿(Phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader)과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수도 있다.
또한, 본 발명의 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법은, 서버/클라인언트 시스템에서 서버 또는 클라이언트 중 적어도 하나의 구성에서 실행될 수 있으며, 적어도 두 개의 구성이 연동하면서 해당 방법에 의한 프로세스를 운용방식에 따라 분할하여 분산실행할 수 있다. 이때, 클라이언트는 사용자가 사용하는 사용자단말기는 물론 서버를 제외한 관리자단말기를 포함할 수 있음은 물론이다.
또한, 본 발명을 설명하는 과정에서 사용되는 기술적 용어는, 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 함은 당연하다.
또한, 본 발명을 설명하면서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 한다.
또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명을 설명하면서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한, '구성된다' 또는 '가지다' 등의 용어는 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 해당 구성 요소들은 해당 용어들에 의해 한정되어서는 안 되며, 해당 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용됨은 당연하다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
또한, 어떤 구성 요소가 다른 구성 요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다.
반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 설명함에 있어, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 되며, 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.
도 1은 본 발명에 의한 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법은 대화그룹 확인단계(S100) 및 유저영상 매칭단계(S200)를 포함한다.
대화그룹 확인단계(S100)는 메타버스 기반의 오피스 환경에서, 대상유저(본인)과 대화가능한 유저(그룹유저)들을 확인하는 과정으로, 가상공간에서 대상유저의 카메라시점을 확인하고, 해당 카메라시점의 가상영상에 포함된 유저들에 대한 대화그룹 포함여부를 확인한다.
여기서, 카메라시점은 대상유저의 아바타 또는 대상유저의 아바타의 후방상부를 기준으로 할 수 있고, 가상공간은 3차원좌표계를 기준으로 형성될 수 있으며, 가상영상은 카메라시점을 기준으로 도 7에 나타난 바와 같이 유저의 단말기에 출력되는 영상으로, 가상공간의 3차원좌표가 2차원으로 투영된 영상을 말한다.
결과적으로, 대화그룹 확인단계(S100)는 대상유저의 단말기에 디스플레이되는 아바타 중 일정한 조건에 의해 대화그룹에 포함될 적어도 일부의 유저들을 확인하는 과정이다.
유저영상 매칭단계(S200)는 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 과정으로, 보다 구체적으로는 도 7에 나타난 바와 같이 아바타의 머리에 해당 유저의 유저영상을 매칭할 수 있다.
이하에서 이를 보다 구체적으로 살펴보기로 한다.
도 2는 도 1의 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 2를 참조하면, 유저영상 매칭단계(S200)는 타겟좌표확인단계(S210) 및 유저영상오버랩단계(S220)를 포함한다.
타겟좌표확인단계(S210)는 메타버스 기반의 오피스 환경이 구축된 3차원좌표계의 가상공간이, 유저가 사용하는 유저단말기의 디스플레이로 투영되는 카메라좌표계의 가상영상에서, 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 과정을 수행한다.
예를 들어, 도 7에 나타난 바와 같이 아바타의 머리부분에 해당 유저의 유저영상을 오버랩할 경우, 타겟좌표확인단계(S210)에서는 3차원의 가상공간에 위치하는 아바타의 머리부분에 해당하는 3차원좌표를, 투영되는 평면영상인 가상영상의 2차원좌표계로 변환한 2차원좌표를 산출하게 된다.
이후, 유저영상오버랩단계(S220)에서, 해당 가상영상의 2차원좌표에 해당 유저영상을 오버랩하는 하게 된다.
예를 들어, 가상공간의 아바타 머리부분에 유저영상을 매칭한 후, 이를 디스플레이하게 되면, 아바타의 움직임에 따라 유저영상의 크기 등을 조절하는데 많은 연산을 필요로 하게 되는 바, 본 발명과 같이 3차원좌표를 2차원좌표로 변환하고 해당 2차원좌표에 유저영상을 매칭하게 되면, 해당 과정에서 좌표변환만 연산하면 되므로, 데이터의 연산량을 크게 줄일 수 있으며, 이를 통해 보다 쉽게 온라인상에서의 실시간처리가 가능하도록 할 수 있다.
이하에서는 3차원좌표를 2차원좌표로 변환하는 과정에 대해 보다 상세히 살펴보기로 한다.
도 3은 도 2에 나타난 단계 'S210'의 구체적인 일 실시예를 나타내는 흐름도이고, 도 4는 도 2의 다른 일 실시예를 나타내는 흐름도이다.
먼저, 대상유저가 메타버스기반의 오피스 환경에 접속하게 되면, 3차원 가상공간에서 대상유저에 매칭된 아바타의 위치를 확인할 수 있다(S211).
이때, 로그인(Login)시 아바타의 처음 위치는 이전 로그아웃(Logout)시 위치이거나, 설정된 고정위치(예를 들어, 가상 오피스의 정문 등)를 포함할 수 있다.
그리고, 해당 아바타의 뼈대구조에서, 아바타의 기준위치와 머리의 상대위치를 계산하고(S212), 해당 아바타의 3차원좌표에 상대위치를 적용하여 머리의 3차원좌표를 계산할 수 있다(S213).
한편, 아바타는 대상유저에 의해 다양한 형태로 설정될 수 있다.
이에, 본 발명에서는 도 4에 나타난 바와 같이 타겟좌표확인단계(S210) 이전에, 앞서 대화그룹 확인단계(S100)에서 확인된 해당 그룹유저의 아바타에 대한 설정정보를 확인하는 아바타설정정보확인단계(S201)를 수행할 수 있다.
다시 말해, 대화그룹 확인단계(S100)에서 대화그룹으로 확인된 그룹유저에 대하여, 해당 그룹유저의 설정정보를 확인하여 매칭된 아바타의 외형적 특징(골격)을 확인하고(S201), 이에 기초하여 아바타의 머리에 대한 상대위치를 계산할 수 있다(S212).
이후, 해당 아바타의 머리위치에 대한 3차원좌표를 확인하고(S213), 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하여, 가상영상에 디스플레이되는 아바타의 머리(타겟) 위치를 확인할 수 있다(S214).
도 5는 도 1의 구체적인 일 실시예를 나타내는 순서도이다.
먼저, 대상유저의 아바타가 이동하는 과정에서, 해당 아바타의 카메라시점에 포함되는 다수의 유저(원격 사용자)들에 대하여, 해당 유저들의 화상데이터(유저영상)를 수신할 수 있다(S110). 이때, 화상데이터는 해당 유저의 ID에 매칭될 수 있다.
이후, 해당 유저가 대상유저(나)와 대화하는 그룹인지를 확인한 후(S120), 대화그룹이 아닐 경우 해당 화상데이터를 폐기(S130)할 수 있다.
만약, 해당 유저가 대상유저의 대화그룹인 경우(S120), 해당 유저의 ID에 매칭(인덱싱)된 아바타를 선택하고(S201), 앞서 설명한 바와 같이 타겟(머리)의 상대위치 및 3차원위치를 계산한 후(S212, S213), 이에 기초하여 투영될 가상영상의 2차원위치를 계산하고(S214) 해당 위치에 수신한 화상데이터를 오버랩할 수 있다(S220).
다시 말해, 도 5는 메타버스 기반의 오피스 환경에서 특정 공간에 위치한(또는 카메라시점에 포함되는) 유저들에 대하여, 각 유저들의 화상데이터를 수신한 후, 해당 유저가 대화그룹일 경우에는 해당 화상데이터를 오버랩하고 대화그룹이 아니면 해당 화상데이터를 폐기할 수 있다.
물론, 앞서 설명한 바와 같이 대화그룹의 포함여부를 먼저 확인한 후, 대화그룹에 포함된 유저들의 유저영상을 수신하여 해당 아바타에 오버랩할 수도 있음은 당연하다.
이러한 방법들은 해당 오피스 환경의 구축정보(크기, 해상도 및 복잡도 등), 데이터처리방법 및 당업자의 요구 등에 따라 최적의 방법이 선택되어 적용되어 수행될 수 있다.
또한, 유저영상을 아바타의 머리부부에 매칭하는 과정에서, 원격지의 유저를 촬영한 영상이 수신되면, 해당 유저영상을 영상처리하여 해당 유저의 머리부분을 중심으로 도 7에 나타난 바와 같이 필요한 부분을 추출하고, 추출된 영상을 해당 아바타의 머리부분에 매칭할 수 있다. 다시 말해, 배경 등과 같이 불필요한 영상을 제거함으로써, 전송되는 영상의 데이터량을 최소화할 수 있다.
이때, 유저의 머리부부에 해당하는 영상을 추출함에 있어, 설정된 특징점(예를 들어, 눈이나 코 등)을 중심으로 일정한 영상영역을 추출할 수 있다. 이와 같이 특징점을 기준으로 영상을 추출하게 되면, 얼굴의 경계선을 기준으로 영상을 추출하는 방법에 비하여, 영상처리시 데이터의 연산량을 크게 줄일 수 있다.
이와 같이, 특징점에 의해 처음 영상영역이 추출되면, 이후 해당 유저의 움직임에 무관하게 추출된 영상영역을 고정하여 오버랩함으로써, 유저의 표정변화와 더불어 행동(머리의 움직임 등)도 쉽게 확인할 수 있으며, 이를 통해 대화의 보다 더 정확한 의미전달이 가능해질 수 잇다.
도 6은 도 1의 단계 'S100'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 6을 참조하면, 대화그룹 확인단계(S100)는 공간영역확인단계(S110) 및 대화그룹판단단계(S120)를 포함할 수 있다.
먼저 공간영역확인단계(S110)에서는, 가상공간에서 설정별로 구획된 공간영역을 확인할 수 있다. 예를 들어, 가상 오피스의 공간에서 용도별(회의실, 복도, 휴게실 등)로 구획된 공간영역을 확인할 수 있다. 다른 예로, 가상 오피스의 공간에서 카메라시점에 포함되는 영역과 포함되지 않는 영역으로 구획할 수 있다.
이와 같이 대상유저가 위치하는 공간이 구분되어 확인되면, 대화그룹판단단계(S120)에서는 대상유저와 같은 공간영역에 위치한 유저를 대화그룹으로 판단할 수 있다.
한편, 본 발명의 메타버스 기반의 오피스 환경은 현실세계와 유사하게 구축하는 것이 목적이므로, 가상공간에 만들어진 하나의 건물을 하나의 업체가 이용하거나, 경우에 따라 많은 수의 업체나 개인들이 함께 이용할 수 있다.
이에, 본 발명에서는 대화그룹을 형성함에 있어, 기본적으로는 해당 공간 전체(건물 전체)에 속해 있는 모든 유저들에게 대화그룹을 형성할 권한(대화참여권한)을 부여하고, 앞서 살펴본 방법에 의해 대화그룹에 참여하거나 탈퇴하도록 할 수 있다.
다만, 특정 업체나 개인의 보안영역으로 설정된 영역에서는, 해당 보안영역을 이용하도록 허가된 유저들에게만 대화참여권한을 부여함으로써, 대화참여권한이 없는 유저가 해당 공간에 위치하더라도, 해당 보안영역에서의 대화에 참여하지 못하도록 할 수 있다.
예를 들어, 특정 업체의 회의실 등은 해당 업체의 직원에 해당하는 유저들, 또는 거래처에 해당하는 유저들에게만 대화참여권한을 부여함으로써, 업무와 무관한 유저들에게 대화의 내용이 유출되는 것을 방지할 수 있으며, 이를 통해 보안성을 향상시킬 수 있다.
이 외의 공용공간(예를 들어, 휴게실이나 복도 등)에서는 현실세계와 마찬가지로 모든 유저들이 대화에 참여할 수 있도록 대화참여권한을 부여할 수 있다.
다시 말해, 기본적으로 모든 공간에 대하여 모든 유저들에게 대화참여권한을 부여한 상태에서, 보안영역으로 설정된 영역에서는 대화그룹참여제한을 설정하고, 특정 팀이나 소속 등으로 매칭된 유저들을 제외한 나머지 유저들의 대화참여권한을 제거함으로써, 대상유저와 매칭된 팀의 유저들만이 대화에 참여하도록 할 수 있다.
이상에서 살펴본 메타버스 기반의 가상 오피스 환경에서 유저의 영상데이터를 매칭하는 방법은, 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능할 수 있다.
여기서, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 예를 들어, 컴퓨터가 읽을 수 있는 기록 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고 본 발명을 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
또한, 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.
본 발명은 메타버스 분야, 가상현실분야 및 가상오피스 분야는 물론 이와 유사 내지 연관된 분야에서 활용이 가능하며, 해당 분야에서의 신뢰성 및 경쟁력을 향상시킬 수 있다.

Claims (12)

  1. 가상공간에서 대상유저의 카메라시점을 확인하고, 해당 카메라시점의 가상영상에 포함된 유저들에 대한 대화그룹 포함여부를 확인하는 대화그룹 확인단계; 및
    상기 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 유저영상 매칭단계;를 포함하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  2. 제 1항에 있어서,
    상기 유저영상 매칭단계는,
    아바타의 머리에 유저영상을 매칭하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  3. 제 2항에 있어서,
    상기 유저영상 매칭단계는,
    3차원좌표계의 가상공간이 투영되는 카메라좌표계의 가상영상에서, 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 타겟좌표확인단계; 및
    해당 가상영상의 2차원좌표에 해당 유저영상을 오버랩하는 유저영상오버랩단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  4. 제 3항에 있어서,
    상기 타겟좌표확인단계는,
    3차원 가상공간에서 해당 아바타의 위치를 확인하는 아바타위치확인단계;
    해당 아바타의 뼈대구조에서 머리의 상대위치를 계산하는 상대위치확인단계;
    해당 아바타의 3차원좌표에 상대위치를 적용하여 머리의 3차원좌표를 계산하는 머리위치확인단계; 및
    해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 투영좌표확인단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  5. 제 4항에 있어서,
    상기 타겟좌표확인단계 이전에,
    해당 그룹유저에 매칭된 아바타의 설정정보를 확인하는 아바타설정정보확인단계;를 더 포함하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  6. 제 2항에 있어서,
    상기 유저영상 매칭단계는,
    상기 유저영상을 영상처리하여 해당 유저의 머리부분을 추출하고, 추출된 영상을 해당 아바타의 머리부분에 매칭하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  7. 제 6항에 있어서,
    상기 유저영상 매칭단계는,
    상기 유저의 머리부분 중 설정된 특징점을 중심으로 일정한 영상영역을 추출하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  8. 제 7항에 있어서,
    상기 유저영상 매칭단계는,
    상기 특징점에 의해 처음 영상영역이 추출되면, 이후 해당 유저의 움직임에 무관하게 추출된 영상영역을 고정하여 오버랩하는 것을 특징으로 하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  9. 제 1항에 있어서,
    상기 대화그룹 확인단계는,
    상기 가상공간에서 설정별로 구획된 공간영역을 확인하는 공간영역확인단계; 및
    상기 대상유저와 같은 공간영역에 위치한 유저를 대화그룹으로 판단하는 대화그룹판단단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  10. 제 1항에 있어서,
    상기 대화그룹판단단계는,
    상기 가상공간 중 보안영역을 포함하는 적어도 일부의 공간영역에 대화그룹참여제한을 설정하고,
    해당 공간영역에 위치한 유저들 중 대화참여권한이 제거된 유저는 해당 대화그룹에서 제외하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법.
  11. 제 1항 내지 제 10항 중 어느 하나의 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법을 실행하는 프로그램이 기록된 저장매체.
  12. 제 11항의 저장매체를 포함하는 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 시스템.
PCT/KR2022/018817 2021-12-28 2022-11-25 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템 WO2023128305A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0189840 2021-12-28
KR1020210189840A KR102419906B1 (ko) 2021-12-28 2021-12-28 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템

Publications (1)

Publication Number Publication Date
WO2023128305A1 true WO2023128305A1 (ko) 2023-07-06

Family

ID=82401610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018817 WO2023128305A1 (ko) 2021-12-28 2022-11-25 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템

Country Status (2)

Country Link
KR (1) KR102419906B1 (ko)
WO (1) WO2023128305A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419906B1 (ko) * 2021-12-28 2022-07-13 주식회사 직방 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템
KR102624171B1 (ko) * 2023-07-18 2024-01-11 주식회사 티지 사용자 개입형 아바타를 이용한 실시간 영상추적 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160154A (ja) * 1999-12-02 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
KR20170127354A (ko) * 2016-05-11 2017-11-21 강미연 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
KR20180000022A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 가상 오피스 구현 방법
KR20190117223A (ko) * 2018-04-06 2019-10-16 주식회사 넥슨코리아 게임 제공 장치 및 방법
KR20200067537A (ko) * 2018-12-04 2020-06-12 주식회사 동우 이앤씨 가상 환경 회의실 제공 시스템 및 방법
KR102419906B1 (ko) * 2021-12-28 2022-07-13 주식회사 직방 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111778B1 (ko) 2017-11-28 2020-05-15 제주대학교 산학협력단 수평유지장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160154A (ja) * 1999-12-02 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
KR20170127354A (ko) * 2016-05-11 2017-11-21 강미연 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
KR20180000022A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 가상 오피스 구현 방법
KR20190117223A (ko) * 2018-04-06 2019-10-16 주식회사 넥슨코리아 게임 제공 장치 및 방법
KR20200067537A (ko) * 2018-12-04 2020-06-12 주식회사 동우 이앤씨 가상 환경 회의실 제공 시스템 및 방법
KR102419906B1 (ko) * 2021-12-28 2022-07-13 주식회사 직방 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
1Q60 ILKYU MEAT BALL: "Seoul Economy Awesome Money. There is no office in Jikbang? Visit the Jikbang Metaverse office!", YOUTUBE, 16 July 2021 (2021-07-16), XP093075332, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=n2Pzg-dz-Fo> [retrieved on 20230822] *
ANONYMOUS: "O2O platform evolving into metaverse... "I commute with an avatar"", 29 June 2021 (2021-06-29), XP093074976, Retrieved from the Internet <URL:https://www.etnews.com/20210629000148> [retrieved on 20230818] *
ETODAY TV: "[Metaverse] Jikbang’s Metapolis Introduction Video", YOUTUBE, 24 September 2021 (2021-09-24), XP093075333, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=ZXwRcUJjRBs> [retrieved on 20230822] *

Also Published As

Publication number Publication date
KR102419906B1 (ko) 2022-07-13

Similar Documents

Publication Publication Date Title
WO2023128308A1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 제어 시스템
WO2023128305A1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템
US20220319139A1 (en) Multi-endpoint mixed-reality meetings
WO2016036218A1 (ko) 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션
WO2013027893A1 (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
CN113196239A (zh) 对与在通信会话内所显示的对象相关的内容的智能管理
WO2016108545A1 (ko) 대화 서비스 제공 방법 및 대화 서비스 제공 디바이스
WO2023128310A1 (ko) 메타버스 기반의 오피스 환경에서 유저 그룹핑 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저 그룹핑 시스템
CN104298910B (zh) 便携式电子装置及互动式人脸登入方法
Nakanishi FreeWalk: a social interaction platform for group behaviour in a virtual space
WO2023128307A1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 디스플레이 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 디스플레이 시스템
Cavazza et al. Multimodal acting in mixed reality interactive storytelling
WO2023128309A1 (ko) 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템
WO2015008932A1 (ko) 증강현실에서의 원격 협업을 위한 디지로그 공간 생성기 및 그를 이용한 디지로그 공간 생성 방법
CN111739181A (zh) 考勤方法及装置、电子设备及存储介质
WO2021187646A1 (ko) 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
WO2021187647A1 (ko) 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템
WO2019221385A1 (ko) 대화용 애플리케이션의 운영 방법
CN112785741B (zh) 签到***和方法、计算机设备和存储设备
Otsuka Multimodal conversation scene analysis for understanding people’s communicative behaviors in face-to-face meetings
CN115002392A (zh) 一种视频会议分组管理方法和装置
WO2021153942A1 (ko) 폐쇄형 커뮤니티 구성원 추가 방법 및 장치
WO2024005472A1 (ko) 가상 공간에 있는 3d 오브젝트 상의 특정 위치와 연동된 메모를 공유할 수 있는 실시간 vr 회의시스템 및 방법
WO2015137585A1 (ko) 채터봇을 이용한 온라인 채팅 커뮤니티 운용방법
WO2024005473A1 (ko) 가상 공간에 있는 3d 오브젝트 상의 특정 위치 표시를 공유할 수 있는 실시간 vr 회의시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916455

Country of ref document: EP

Kind code of ref document: A1