KR102234646B1 - 가상 현실 체험 장치 및 방법 - Google Patents

가상 현실 체험 장치 및 방법 Download PDF

Info

Publication number
KR102234646B1
KR102234646B1 KR1020200101433A KR20200101433A KR102234646B1 KR 102234646 B1 KR102234646 B1 KR 102234646B1 KR 1020200101433 A KR1020200101433 A KR 1020200101433A KR 20200101433 A KR20200101433 A KR 20200101433A KR 102234646 B1 KR102234646 B1 KR 102234646B1
Authority
KR
South Korea
Prior art keywords
motion
data
user
coordinates
virtual character
Prior art date
Application number
KR1020200101433A
Other languages
English (en)
Inventor
권귀태
Original Assignee
(주)케이넷 이엔지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이넷 이엔지 filed Critical (주)케이넷 이엔지
Application granted granted Critical
Publication of KR102234646B1 publication Critical patent/KR102234646B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 시뮬레이션 공간에서 HMD(Head Mount Display)를 착용하고 있는 이용자의 모션을 인식하여 상기 이용자에게 가상 현실 체험을 제공하는 가상 현실 체험 장치는 복수의 카메라 모듈로부터 상기 이용자의 모션을 상이한 각도에서 촬영한 복수의 모션 데이터를 수신하는 모션 데이터 수신부, 상기 복수의 모션 데이터 각각으로부터 상기 이용자의 머리 부분을 제외한 신체를 추출하여 복수의 신체 데이터를 생성하는 신체 데이터 생성부, 상기 복수의 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하고, 딥러닝 알고리즘을 이용하여 해당 후보 영역 각각에 대한 특징을 추출하여 해당 후보 영역에 포함되어 있는 관절 포인트를 인식하고, 해당 관절 포인트를 기준으로 상기 이용자의 모션을 인식하는 모션 인식부, 모션이 인식된 상기 복수의 모션 데이터를 동일한 신체 부위 및 관절 포인트를 근거로 하여 병합하여 3차원 데이터를 생성하는 3차원 데이터 생성부, 상기 3차원 데이터의 좌표를 상기 시뮬레이션 공간의 좌표에 매칭되도록 변환하는 좌표 변환부, 및 좌표가 변환된 상기 3차원 데이터를 근거로 하여 상기 시뮬레이션 공간에 가상 캐릭터를 생성하는 가상 캐릭터 생성부를 포함하고, 상기 가상 캐릭터는 상기 이용자의 모션에 대응하여 실시간으로 동일한 모션을 취하는 것을 특징으로 한다.

Description

가상 현실 체험 장치 및 방법{APPARATUS AND METHOD FOR EXPERIENCE OF VIRTUAL REALITY}
본 발명의 가상 현실 체험 장치 및 방법에 관한 것으로 보다 상세하게는 딥러닝 알고리즘을 통해서 상이한 각도로 이용자를 촬영하는 복수의 카메라로부터 촬영된 영상 데이터를 병합하여 이용자의 모션과 동일한 모션을 취하는 캐릭터를 생성하여 이용자가 가상 현실 체험을 하도록 하는 가상 현실 체험 장치 및 방법에 관한 것이다.
가상현실(VR)이란 컴퓨터가 만든 가상세계 속에서 이용자가 실제로 상호작용을 하는 것처럼 만들어주는 기술을 뜻한다. 가상현실 시장이 무르익으면서, 새롭게 떠오르고 있는 가상현실 게임 시장을 선점하기 위한 글로벌 정 보통신기술(ICT) 업체들의 경쟁도 뜨겁다. 일반적으로 가상현실 게임은 가상공간에서 게임 이용자가 직접 가상 현실 속의 캐릭터가 되어, 실제 상황처럼 게임을 즐길 수 있도록 개발된다.
본 명세서에서는 이러한 가상 현실을 딥러닝 알고리즘을 이용해서 구현하는 방법을 소개하고자 한다.
[선행문헌]
공개 특허 10-2018-0086938
본 발명의 가상 현실 체험 장치 및 방법에 관한 것으로 보다 상세하게는 딥러닝 알고리즘을 통해서 상이한 각도로 이용자를 촬영하는 복수의 카메라로부터 촬영된 영상 데이터를 병합하여 이용자의 모션과 동일한 모션을 취하는 캐릭터를 생성하여 이용자가 가상 현실 체험을 하도록 하는 가상 현실 체험 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 시뮬레이션 공간에서 HMD(Head Mount Display)를 착용하고 있는 이용자의 모션을 인식하여 상기 이용자에게 가상 현실 체험을 제공하는 가상 현실 체험 장치는 복수의 카메라 모듈로부터 상기 이용자의 모션을 상이한 각도에서 촬영한 복수의 모션 데이터를 수신하는 모션 데이터 수신부, 상기 복수의 모션 데이터 각각으로부터 상기 이용자의 머리 부분을 제외한 신체를 추출하여 복수의 신체 데이터를 생성하는 신체 데이터 생성부, 상기 복수의 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하고, 딥러닝 알고리즘을 이용하여 해당 후보 영역 각각에 대한 특징을 추출하여 해당 후보 영역에 포함되어 있는 관절 포인트를 인식하고, 해당 관절 포인트를 기준으로 상기 이용자의 모션을 인식하는 모션 인식부, 모션이 인식된 상기 복수의 모션 데이터를 동일한 신체 부위 및 관절 포인트를 근거로 하여 병합하여 3차원 데이터를 생성하는 3차원 데이터 생성부, 상기 3차원 데이터의 좌표를 상기 시뮬레이션 공간의 좌표에 매칭되도록 변환하는 좌표 변환부, 및 좌표가 변환된 상기 3차원 데이터를 근거로 하여 상기 시뮬레이션 공간에 가상 캐릭터를 생성하는 가상 캐릭터 생성부를 포함하고, 상기 가상 캐릭터는 상기 이용자의 모션에 대응하여 실시간으로 동일한 모션을 취하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 가상 현실 체험 장치는 상기 HMD의 좌표를 상기 가상 캐릭터의 머리 부분의 좌표에 매칭시키는 HMD 좌표 매칭부를 더 포함하고, 상기 복수의 카메라 모듈은 적어도 4개이다.
상기 가상 캐릭터 생성부는 좌표가 변환된 상기 3차원 데이터의 신체 부위 별 좌표들 각각에 대응하도록 상기 가상 캐릭터를 생성하고, 상기 가상 캐릭터는 상기 이용자의 신체 부위 각각의 모션에 따라 실시간으로 동일한 모션을 취하는 것을 특징으로 한다.
상기 3차원 데이터 생성부는 모션이 인식된 상기 복수의 모션 데이터 각각에 대해서 후보 영역 간의 경계 좌표를 동기화한 후, 상기 관절 포인트에 대응하는 좌표를 중첩시켜 3차원 데이터를 생성한다.
본 발명의 일 실시예에 따른 시뮬레이션 공간에서 HMD(Head Mount Display)를 착용하고 있는 이용자의 모션을 인식하여 상기 이용자에게 가상 현실 체험을 제공하는 가상 현실 체험 장치를 이용하는 가상 현실 체험 방법은 모션 데이터 수신부가 복수의 카메라 모듈로부터 상기 이용자의 모션을 상이한 각도에서 촬영한 복수의 모션 데이터를 수신하는 단계, 신체 데이터 생성부가 상기 복수의 모션 데이터 각각으로부터 상기 이용자의 머리 부분을 제외한 신체를 추출하여 복수의 신체 데이터를 생성하는 단계, 모션 인식부가 상기 복수의 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하고, 딥러닝 알고리즘을 이용하여 해당 후보 영역 각각에 대한 특징을 추출하여 해당 후보 영역에 포함되어 있는 관절 포인트를 인식하고, 해당 관절 포인트를 기준으로 상기 이용자의 모션을 인식하는 단계, 좌표 변환부가 상기 3차원 데이터의 좌표를 상기 시뮬레이션 공간의 좌표에 매칭되도록 변환하는 단계, 및 가상 캐릭터 생성부가 좌표가 변환된 상기 3차원 데이터를 근거로 하여 상기 시뮬레이션 공간에 가상 캐릭터를 생성하는 단계를 포함하고, 상기 가상 캐릭터는 상기 이용자의 모션에 대응하여 실시간으로 동일한 모션을 취하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 가상 현실 체험 방법은 HMD 좌표 매칭부가 상기 HMD의 좌표를 상기 가상 캐릭터의 머리 부분의 좌표에 매칭시키는 단계를 더 포함하고, 상기 복수의 카메라 모듈은 적어도 4개이다.
상기 가상 캐릭터를 생성하는 단계에서 상기 가상 캐릭터 생성부는 좌표가 변환된 상기 3차원 데이터의 신체 부위 별 좌표들 각각에 대응하도록 상기 가상 캐릭터를 생성하고, 상기 가상 캐릭터는 상기 이용자의 신체 부위 각각의 모션에 따라 실시간으로 동일한 모션을 취하고, 상기 3차원 데이터를 생성하는 단계에서 상기 3차원 데이터 생성부는 모션이 인식된 상기 복수의 모션 데이터 각각에 대해서 후보 영역 간의 경계 좌표를 동기화한 후, 상기 관절 포인트에 대응하는 좌표를 중첩시켜 3차원 데이터를 생성한다.
본 발명에 따른 가상 현실 체험 장치는 복수의 카메라 모듈을 통해서 이용자를 전 방향에서 촬영하여 모션 데이터를 생성하고, 딥러닝 알고리즘을 통해서 해당 모션 데이터를 병합하고 3차원 데이터를 통해서 이용자의 모션을 취하는 가상의 캐릭터를 생성함으로서, 이용자가 더 생동감 있는 가상 현실 체험을 할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 체험 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 가상 현실 체험 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상 현실 체험 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상 현실 체험 시스템(1000)의 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 체험 시스템(1000)은 카메라 모듈(100), 표시 단말(300), 및 이와 네트워크(400)로 연계되는 가상 현실 체험 장치(200)를 포함할 수 있다.
카메라 모듈(100)은 이용자가 가상 현실 체험을 하고 있는 시뮬레이션 공간에 설치되어 있는 모듈일 수 있다. 카메라 모듈(100)은 복수개로 구성될 수 있다. 복수의 카메라 모듈(100)은 각각 이용자를 상이한 각도로 촬영하여 이용자의 모션 데이터를 생성할 수 있다. 이에 대해서는 도 2에서 좀 더 자세히 설명하도록 한다.
가상 현실 체험 장치(200)는 네트워크(400)를 통해서 카메라 모듈(100)로부터 데이터를 수신하고 이를 가공한 결과 데이터를 표시 단말(300)에 출력할 수 있다. 가상 현실 체험 장치(200)는 서버일 수 있다.
표시 단말(300)은 시뮬레이션 공간 내에 설치되어 있는 단말일 수 있다. 이용자는 표시 단말(300)에서 나오는 영상을 통해서 가상 체험을 할 수 있다.
표시 단말(300)은 TV와 같은 표시부의 크기가 큰 디스플레이 장치일 수 있다. 다만 표시 단말(300)은 이에 한정되지 않으며, 표시 단말(300)은 일반적인 데스크탑 컴퓨터, 네비게이션, 노트북, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿PC 등과 같은 전자 장치를 포함할 수 있다. 전자 장치는 하나 이상의 일반적이거나 특수한 목적의 프로세서, 메모리, 스토리지, 및/또는 네트워킹 컴포넌트(유선 또는 무선)를 가질 수 있다.
네트워크(400)의 통신 방식은 제한되지 않으며, 네트워크(400)가 포함할 수 있는 통신망의 일 예로는 이동통신망, 유선 온라인, 무선 온라인, 방송망을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(400)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 온라인 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 가상 현실 체험 장치(200)의 블록도이고, 도 3은 본 발명의 일 실시예에 따른 가상 현실 체험 방법의 순서도이다.
도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 가상 현실 체험 장치(200)는 모션 데이터 수신부(201), 신체 데이터 생성부(202), 모션 인식부(203), 3차원 데이터 생성부(204), 좌표 변환부(205), 가상 캐릭터 생성부(206), 및 HMD 좌표 매칭부(207)를 포함할 수 있다.
모션 데이터 수신부(201)는 복수의 카메라 모듈(100)로부터 이용자의 모션을 상이한 각도에서 촬영한 복수의 모션 데이터를 수신할 수 있다.(S10)
복수의 카메라 모듈(100)은 적어도 4개일 수 있다. 예를 들어, 카메라 모듈(100)의 시야각은 약 120도일 수 있고, 이 경우 4개의 카메라 모듈(100)을 통해서 이용자를 전 방향에서 촬영할 수 있다.
신체 데이터 생성부(202)는 복수의 모션 데이터 각각으로부터 이용자의 머리 부분을 제외한 신체를 추출하여 복수의 신체 데이터를 생성할 수 있다.(S11) 신체 데이터 생성부(202)는 수신되는 모션 데이터에서 인체가 있는지 여부를 감지하여, 인체가 없는 경우, 신체 데이터를 생성하지 않아 모션 인식의 과정이 진행되지 않는다.
본 발명의 일 예로, 신체 데이터 생성부(202)가 모션 데이터로부터 대상자의 신체를 감지하여 추출하는 방식은 공지의 대상체 감지 알고리즘을 채택할 수 있다. 해당 알고리즘은 가시광선 영상 정보 또는 열화상 영상 정보를 이용하여 신체를 감지할 수 있고, 두 영상 정보를 동시에 활용하여 신체 감지의 정확성을 향상시킬 수 있다.
모션 인식부(203)는 복수의 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성할 수 있다..
모션 인식부(203)는 신체 데이터에 포함되어 있는 이용자의 신체 부위를 감지하고 감지된 신체 부위 별로 분할하여 후보 영역을 생성할 수 있다. 신체 부위에는 이용자의 머리 부분이 제외된다.
후보 영역의 생성은 모션 데이터에서 신체 부위가 있을 만한 영역들을 선택적 탐색 알고리즘(Selective Search Algorithm) 통해서 이루어질 수 있다.
모션 인식부(203)는 복수의 후보 영역을 생성한 후, 딥러닝 알고리즘을 이용하여 해당 후보 영역 각각에 대한 특징을 추출하여 해당 후보 영역에 포함되어 있는 관절 포인트를 인식하고, 해당 관절 포인트를 기준으로 이용자의 모션을 인식할 수 있다.(S12)
딥 러닝 알고리즘은 R-CNN(Region Proposal-Convolutional Neural Network) 신경망을 통한 알고리즘일 수 있다. R-CNN은 Region Proposal 기반의 CNN 기법으로서, 이미지 내에서 추출한 후보 영역(Region Proposal)의 특징을 이용하여 후보 영역 내 객체가 무엇인지 분류하고 객체의 위치를 보정하는 기법이다. 모션 인식부(203)는 모션 데이터에 포함된 각 셀들에 대해 부여된 셀 라벨링 정보를 학습 데이터로 사용하여 전처리 과정을 거쳐서 데이터 화면 크기가 조절된 후보 영역 각각의 셀들을 판별하는 R-CNN 신경망을 통한 알고리즘을 통하여 해당 후보 영역에 포함되어 있는 신체 부위를 인식할 수 있다.
R-CNN 신경망을 통한 알고리즘은 앞서 설명한 선택적 탐색 알고리즘과 같이 진행될 수 있다. 즉, 모션 데이터에서 물체가 있을 만한 후보 영역들을 선택적 탐색 알고리즘을 사용하여 추출한 다음, 각각의 후보 영역을 개별 CNN에 입력하여 후보 영역의 특징을 추출함으로써 각 후보 영역 내 존재하는 객체의 종류를 분류하고, 객체에 대한 바운딩 박스(bounding box)를 좁혀 나감으로써 객체의 검출 위치를 정교하게 보정할 수 있다.
3차원 데이터 생성부(204)는 모션이 인식된 복수의 모션 데이터를 동일한 신체 부위 및 관절 포인트를 근거로 하여 병합하여 3차원 데이터를 생성할 수 있다.(S13) 예를 들어, 3차원 데이터 생성부(204)는 모션이 인식된 복수의 모션 데이터 각각에 대해서 후보 영역 간의 경계 좌표를 동기화한 후, 관절 포인트에 대응하는 좌표를 중첩시켜 3차원 데이터를 생성할 수 있다.
앞서 언급한 바와 같이 복수의 카메라 모듈(100)을 통해서 이용자의 모션을 전 방향에서 촬영이 되기 때문에 3차원 데이터 생성부(204)는 복수의 모션 데이터에서 공통의 좌표끼리 병합을 함으로서 이용자의 전 방향에 대한 모션이 반영되는 3차원 데이터를 생성할 수 있다.
좌표 변환부(205)는 3차원 데이터의 좌표를 시뮬레이션 공간의 좌표에 매칭되도록 변환할 수 있다.(S13)
가상 캐릭터 생성부(206)는 좌표가 변환된 3차원 데이터를 근거로 하여 시뮬레이션 공간에 가상 캐릭터를 생성할 수 있고,(S14) 해당 가상 캐릭터는 표시 단말(300)의 표시부에도 표시될 수 있다. 가상 캐릭터 생성부(206)는 좌표가 변환된 3차원 데이터의 신체 부위 별 좌표들 각각에 대응하도록 가상 캐릭터를 생성할 수 있다. 또한 표시 단말(300) 표시부에는 시뮬레이션 공간이 구현이 된 배경 영상이 표시될 수 있다. 표시 단말(300) 표시부에는 배경 영상과 배경 영상에 포함되어 있는 가상 캐릭터가 함께 출력될 수 있다.
가상 캐릭터는 이용자의 모션에 대응하여 실시간으로 동일한 모션을 취할 수 있다.
이용자는 헤드 마운트 디스플레이(HMD)를 착용하여 시뮬레이션 공간에서 가상 현실을 체험할 수 있다. HMD 좌표 매칭부(207)는 HMD의 좌표를 가상 캐릭터의 머리 부분의 좌표에 매칭시킬 수 있다.
이처럼 본 발명에 따른 가상 현실 체험 장치(200)는 복수의 카메라 모듈(100)을 통해서 이용자를 전 방향에서 촬영하여 모션 데이터를 생성하고, 딥러닝 알고리즘을 통해서 해당 모션 데이터를 병합하고 3차원 데이터를 통해서 이용자의 모션을 취하는 가상의 캐릭터를 생성함으로서, 이용자가 더 생동감 있는 가상 현실 체험을 할 수 있도록 한다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.
100: 카메라 단말 202: 신체 데이터 생성부
200: 가상 현실 체험 장치 203: 모션 인식부
201: 모션 데이터 수신부 204: 3차원 데이터 생성부

Claims (7)

  1. 시뮬레이션 공간에서 HMD(Head Mount Display)를 착용하고 있는 이용자의 모션을 인식하여 상기 이용자에게 가상 현실 체험을 제공하는 가상 현실 체험 장치에 있어서,
    복수의 카메라 모듈로부터 상기 이용자의 모션을 상이한 각도에서 촬영한 복수의 모션 데이터를 수신하는 모션 데이터 수신부;
    상기 복수의 모션 데이터 각각으로부터 상기 이용자의 머리 부분을 제외한 신체를 추출하여 복수의 신체 데이터를 생성하는 신체 데이터 생성부;
    상기 복수의 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하고, 딥러닝 알고리즘을 이용하여 해당 후보 영역 각각에 대한 특징을 추출하여 해당 후보 영역에 포함되어 있는 관절 포인트를 인식하고, 해당 관절 포인트를 기준으로 상기 이용자의 모션을 인식하는 모션 인식부;
    모션이 인식된 상기 복수의 모션 데이터를 동일한 신체 부위 및 관절 포인트를 근거로 하여 병합하여 3차원 데이터를 생성하는 3차원 데이터 생성부;
    상기 3차원 데이터의 좌표를 상기 시뮬레이션 공간의 좌표에 매칭되도록 변환하는 좌표 변환부;
    좌표가 변환된 상기 3차원 데이터를 근거로 하여 상기 시뮬레이션 공간에 가상 캐릭터를 생성하는 가상 캐릭터 생성부; 및
    상기 HMD의 좌표를 상기 가상 캐릭터의 머리 부분의 좌표에 매칭시키는 HMD 좌표 매칭부를 포함하고,
    상기 복수의 카메라 모듈은 적어도 4개이고,
    상기 가상 캐릭터 생성부는 좌표가 변환된 상기 3차원 데이터의 신체 부위 별 좌표들 각각에 대응하도록 상기 가상 캐릭터를 생성하고,
    상기 가상 캐릭터는 상기 이용자의 신체 부위 각각의 모션에 따라 실시간으로 동일한 모션을 취하고,
    상기 3차원 데이터 생성부는 모션이 인식된 상기 복수의 모션 데이터 각각에 대해서 후보 영역 간의 경계 좌표를 동기화한 후, 상기 관절 포인트에 대응하는 좌표를 중첩시켜 3차원 데이터를 생성하는 것을 특징으로 하는 가상 현실 체험 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 시뮬레이션 공간에서 HMD(Head Mount Display)를 착용하고 있는 이용자의 모션을 인식하여 상기 이용자에게 가상 현실 체험을 제공하는 가상 현실 체험 장치를 이용하는 가상 현실 체험 방법에 있어서,
    모션 데이터 수신부가 복수의 카메라 모듈로부터 상기 이용자의 모션을 상이한 각도에서 촬영한 복수의 모션 데이터를 수신하는 단계;
    신체 데이터 생성부가 상기 복수의 모션 데이터 각각으로부터 상기 이용자의 머리 부분을 제외한 신체를 추출하여 복수의 신체 데이터를 생성하는 단계;
    모션 인식부가 상기 복수의 신체 데이터를 신체 부위 별로 분할하여 복수의 후보 영역을 생성하고, 딥러닝 알고리즘을 이용하여 해당 후보 영역 각각에 대한 특징을 추출하여 해당 후보 영역에 포함되어 있는 관절 포인트를 인식하고, 해당 관절 포인트를 기준으로 상기 이용자의 모션을 인식하는 단계;
    3차원 데이터 생성부가 모션이 인식된 상기 복수의 모션 데이터를 동일한 신체 부위 및 관절 포인트를 근거로 하여 병합하여 3차원 데이터를 생성하는 단계;
    좌표 변환부가 상기 3차원 데이터의 좌표를 상기 시뮬레이션 공간의 좌표에 매칭되도록 변환하는 단계;
    가상 캐릭터 생성부가 좌표가 변환된 상기 3차원 데이터를 근거로 하여 상기 시뮬레이션 공간에 가상 캐릭터를 생성하는 단계; 및
    HMD 좌표 매칭부가 상기 HMD의 좌표를 상기 가상 캐릭터의 머리 부분의 좌표에 매칭시키는 단계를 포함하고,
    상기 복수의 카메라 모듈은 적어도 4개이고,
    상기 가상 캐릭터를 생성하는 단계에서 상기 가상 캐릭터 생성부는 좌표가 변환된 상기 3차원 데이터의 신체 부위 별 좌표들 각각에 대응하도록 상기 가상 캐릭터를 생성하고,
    상기 가상 캐릭터는 상기 이용자의 신체 부위 각각의 모션에 따라 실시간으로 동일한 모션을 취하고,
    상기 3차원 데이터를 생성하는 단계에서 상기 3차원 데이터 생성부는 모션이 인식된 상기 복수의 모션 데이터 각각에 대해서 후보 영역 간의 경계 좌표를 동기화한 후, 상기 관절 포인트에 대응하는 좌표를 중첩시켜 3차원 데이터를 생성하는 것을 특징으로 하는 가상 현실 체험 방법.
    상기 가상 캐릭터는 상기 이용자의 모션에 대응하여 실시간으로 동일한 모션을 취하는 것을 특징으로 하는 가상 현실 체험 방법.

  6. 삭제
  7. 삭제
KR1020200101433A 2020-03-31 2020-08-12 가상 현실 체험 장치 및 방법 KR102234646B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200039042 2020-03-31
KR1020200039042 2020-03-31

Publications (1)

Publication Number Publication Date
KR102234646B1 true KR102234646B1 (ko) 2021-04-01

Family

ID=75441260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200101433A KR102234646B1 (ko) 2020-03-31 2020-08-12 가상 현실 체험 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102234646B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433670B1 (ko) * 2021-07-28 2022-08-18 에스지 주식회사 실물 이미지를 이용한 공간의 위치 기반 가상 환경 제공 시스템
WO2023277586A1 (ko) * 2021-06-30 2023-01-05 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR20230004280A (ko) * 2021-06-30 2023-01-06 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR102502116B1 (ko) 2022-08-09 2023-02-23 에스지 주식회사 가상현실과 증강현실 기반의 가상 환경 제공시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017576A (ko) * 2000-08-31 2002-03-07 이준서 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
KR20150024899A (ko) * 2012-06-21 2015-03-09 마이크로소프트 코포레이션 깊이 카메라를 이용한 아바타 구성
KR20170055788A (ko) * 2015-11-12 2017-05-22 주식회사 글로브포인트 교육용 콘텐츠 제작 시스템에 포함되는 저작자 단말 및 이를 이용한 가상 신체 정보 생성 및 저장 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020017576A (ko) * 2000-08-31 2002-03-07 이준서 화상을 이용한 모션 캡처 시스템과 모션 캡처 방법
KR20150024899A (ko) * 2012-06-21 2015-03-09 마이크로소프트 코포레이션 깊이 카메라를 이용한 아바타 구성
KR20170055788A (ko) * 2015-11-12 2017-05-22 주식회사 글로브포인트 교육용 콘텐츠 제작 시스템에 포함되는 저작자 단말 및 이를 이용한 가상 신체 정보 생성 및 저장 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023277586A1 (ko) * 2021-06-30 2023-01-05 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR20230004280A (ko) * 2021-06-30 2023-01-06 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR102622981B1 (ko) 2021-06-30 2024-01-10 옥재윤 딥러닝 기술을 이용한 모션 추적 시스템
KR102433670B1 (ko) * 2021-07-28 2022-08-18 에스지 주식회사 실물 이미지를 이용한 공간의 위치 기반 가상 환경 제공 시스템
KR102502116B1 (ko) 2022-08-09 2023-02-23 에스지 주식회사 가상현실과 증강현실 기반의 가상 환경 제공시스템

Similar Documents

Publication Publication Date Title
KR102234646B1 (ko) 가상 현실 체험 장치 및 방법
US11710351B2 (en) Action recognition method and apparatus, and human-machine interaction method and apparatus
US11501574B2 (en) Multi-person pose recognition method and apparatus, electronic device, and storage medium
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
US11430265B2 (en) Video-based human behavior recognition method, apparatus, device and storage medium
US11398044B2 (en) Method for face modeling and related products
EP2941736B1 (en) Mobile device based text detection and tracking
US10922536B2 (en) Age classification of humans based on image depth and human pose
CN111768479B (zh) 图像处理方法、装置、计算机设备以及存储介质
JP2001282456A (ja) マンマシーン・インターフェース・システム
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
JP2017505965A (ja) モバイル機器用三次元ジェスチャのリアルタイム認識及び追跡システム
CN108305321B (zh) 一种基于双目彩色成像***的立体人手3d骨架模型实时重建方法和装置
CN113392270A (zh) 视频处理方法、装置、计算机设备以及存储介质
CN111353336B (zh) 图像处理方法、装置及设备
Indrawan et al. Face recognition for social media with mobile cloud computing
Goel et al. Raspberry pi based reader for blind people
CN107092347B (zh) 一种增强现实互动***及图像处理方法
KR101520889B1 (ko) 객체와 핸드 장치 사이의 거리 정보를 활용하는 디지로그 북 시스템 및 구현 방법
KR102092630B1 (ko) 영상 모션 인식 장치 및 방법
CN113965550A (zh) 智能交互式远程辅助视频***
KR20230068635A (ko) 모션 인식 게임 장치
He et al. A Single-Frame Face Anti-Spoofing Algorithm With Circular CDC and Multi-Scale Spatial Attention
US20240037777A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory computer readable medium
Liu Dual-sensor approaches for real-time robust hand gesture recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant