KR20230062217A - 클라우드 ai 기반의 xr 디바이스 운영 시스템 - Google Patents

클라우드 ai 기반의 xr 디바이스 운영 시스템 Download PDF

Info

Publication number
KR20230062217A
KR20230062217A KR1020210147242A KR20210147242A KR20230062217A KR 20230062217 A KR20230062217 A KR 20230062217A KR 1020210147242 A KR1020210147242 A KR 1020210147242A KR 20210147242 A KR20210147242 A KR 20210147242A KR 20230062217 A KR20230062217 A KR 20230062217A
Authority
KR
South Korea
Prior art keywords
object recognition
cloud
cloud server
image
present
Prior art date
Application number
KR1020210147242A
Other languages
English (en)
Other versions
KR102556606B1 (ko
Inventor
임화섭
윤홍수
신호동
임선영
Original Assignee
가온미디어 주식회사
케이퓨처테크 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온미디어 주식회사, 케이퓨처테크 주식회사 filed Critical 가온미디어 주식회사
Priority to KR1020210147242A priority Critical patent/KR102556606B1/ko
Priority to PCT/KR2021/015487 priority patent/WO2023074970A1/ko
Publication of KR20230062217A publication Critical patent/KR20230062217A/ko
Application granted granted Critical
Publication of KR102556606B1 publication Critical patent/KR102556606B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 일반적으로 XR 콘텐츠를 위해 촬영영상에서 객체를 인식 처리하는 기술에 관한 것이다. 특히, 본 발명은 XR 디바이스가 주변 촬영영상과 공간정보를 기초로 일정 구간마다 객체 식별을 수행하여 대표이미지를 클라우드 서버로 전달하고, 클라우드 서버가 대표이미지를 AI 딥러닝 연산에 적용하여 객체 인식을 수행하고 그 결과를 XR 디바이스로 반환하도록 구성함으로써 XR 객체인식을 효과적으로 처리할 수 있는 클라우드 AI 기반의 XR 객체인식 처리 기술에 관한 것이다. 본 발명에 따르면 XR 디바이스가 촬영영상에서 객체를 식별하고 클라우드 기반으로 객체 인식을 수행하도록 구성함으로써 XR 콘텐츠를 위한 객체인식 과정을 효과적으로 처리할 수 있는 장점이 있다. 또한, 본 발명에 따르면 객체 인식 과정을 효과적으로 수행할 수 있어 저성능의 XR 디바이스로도 XR 콘텐츠를 실시간으로 제공할 수 있는 장점이 있다. 또한, 본 발명에 따르면 클라우드 AI 딥러닝 기반으로 특징 기반 객체인식 과정을 수행하므로 객체 정보를 학습함에 따라 객체 인식율과 인식 정확도를 점차적으로 향상시킬 수 있는 장점이 있다.

Description

클라우드 AI 기반의 XR 객체인식 처리 방법 {object recognition method by use of cloud AI in eXtended Reality}
본 발명은 일반적으로 XR 콘텐츠를 위해 촬영영상에서 객체를 인식 처리하는 기술에 관한 것이다.
특히, 본 발명은 XR 디바이스가 주변 촬영영상과 공간정보를 기초로 일정 구간마다 객체 식별을 수행하여 대표이미지를 클라우드 서버로 전달하고, 클라우드 서버가 대표이미지를 AI 딥러닝 연산에 적용하여 객체 인식을 수행하고 그 결과를 XR 디바이스로 반환하도록 구성함으로써 XR 객체인식을 효과적으로 처리할 수 있는 클라우드 AI 기반의 XR 객체인식 처리 기술에 관한 것이다.
최근 들어 정보통신기술(ICT) 분야에서는 확장현실(XR; eXtended Reality) 기술에 대한 관심이 높다. 확장현실(XR)은 일반적으로 가상현실(VR), 증강현실(AR), 혼합현실(MR)을 총칭하는 용어이다. 가상현실(VR; Virtual Reality)은 컴퓨터그래픽(CG)으로 가상의 세계를 생성하여 표시하는 기술이고, 증강현실(AR; Augmented Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 추가하여 표시하는 기술이고, 혼합현실(MR; Mixed Reality)은 현실 세계의 영상에 컴퓨터그래픽 콘텐츠를 독립적으로 결합 또는 믹싱하는 기술이다. 이러한 확장현실(XR; eXtended Reality) 기술은 게임, 콘서트, 실습교육, 대테러 작전, 화재 진압훈련 등 활용도가 높다.
확장현실을 구현하기 위해서는 현실세계를 촬영한 영상을 분석하여 그 촬영영상에 어떠한 객체(objects, 사물)가 포함되어 있는지 인식해야 한다. 즉, 먼저 촬영영상에 객체가 포함되어 있다는 사실을 식별해야 하고, 다음으로는 그 식별된 객체가 어떠한 사물인지(예: 사람, 자동차, 개, 고양이, 거북이 등) 인식해야 한다.
일반적으로 이러한 과정은 컴퓨터 비전(computer vision) 기반으로 복잡한 영상 분석을 통해 이루어진다. 컴퓨터 비전 기술은 카메라 촬영영상을 실시간으로 분석해야 하기 때문에 데이터 처리량이 많을 수밖에 없다.
XR 디바이스는 사용자가 예를 들어 헤드마운트 방식으로 착용하는데, 이러한 XR 디바이스에서 객체인식을 수행한다면 엄청난 고성능을 구현해야 하기 때문에 상당한 어려움이 있다.
그렇다고 외부 서버에서 객체인식을 수행하도록 구성한다면 XR 디바이스와 외부 서버 간에 엄청난 데이터 송수신이 이루어져야 하므로 하나의 XR 디바이스가 무선 네트워크 자원을 너무 많이 차지해버리는 문제점이 있다. 또한, 대용량 데이터 송수신을 처리해야 하므로 실시간 응답을 구현하기 힘들 뿐만 아니라 XR 디바이스가 여전히 고성능이어야 한다.
대한민국 공개특허 10-2019-0104945호(2019.09.11) "XR 디바이스 및 그 제어 방법"
본 발명의 목적은 일반적으로 XR 콘텐츠를 위해 촬영영상에서 객체를 인식 처리하는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 XR 디바이스가 주변 촬영영상과 공간정보를 기초로 일정 구간마다 객체 식별을 수행하여 대표이미지를 클라우드 서버로 전달하고, 클라우드 서버가 대표이미지를 AI 딥러닝 연산에 적용하여 객체 인식을 수행하고 그 결과를 XR 디바이스로 반환하도록 구성함으로써 XR 객체인식을 효과적으로 처리할 수 있는 클라우드 AI 기반의 XR 객체인식 처리 기술을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
상기의 목적을 달성하기 위하여 본 발명은 XR 디바이스(100)의 촬영영상에 대해 객체를 인식하기 위해 XR 디바이스(100)와 클라우드 서버(200)가 네트워크로 연결되어 협조 동작하는 클라우드 AI 기반의 XR 객체인식 처리 방법을 제공한다.
본 발명에 따른 클라우드 AI 기반의 XR 객체인식 처리 방법은, XR 디바이스(100)가 내부 카메라 모듈에 의해 주변 촬영영상을 생성하는 제 1 단계; XR 디바이스(100)가 내부 센서 모듈에 의해 주변 공간정보를 획득하는 제 2 단계; XR 디바이스(100)가 촬영영상 및 공간정보를 분석하여 촬영영상 내에서 객체를 식별하는 제 3 단계; XR 디바이스(100)가 미리 설정된 일정 시간구간의 촬영영상에 대해 위 식별된 객체가 포함된 대표이미지를 추출하는 제 4 단계; XR 디바이스(100)가 대표이미지를 클라우드 서버(200)로 전송하는 제 5 단계; 클라우드 서버(200)가 대표이미지에 대해 AI 딥러닝 연산을 수행하고 그 AI 딥러닝 연산의 출력으로부터 객체인식 결과를 획득하는 제 6 단계; 클라우드 서버(200)가 객체인식 결과를 XR 디바이스(100)로 전송하는 제 7 단계;를 포함하여 구성된다.
이때, 제 5 단계에서 XR 디바이스(100)는 공간정보를 클라우드 서버(200)로 더 전송하고, 제 6 단계에서 클라우드 서버(200)는 대표이미지와 공간정보의 조합에 대해 AI 딥러닝 연산을 수행하도록 구성될 수 있다.
또한, 공간정보는 깊이정보 및 입체정보를 포함하여 구성될 수 있다.
또한, 본 발명은 제 6 단계 이후에 수행되는, 클라우드 서버(200)가 객체인식 결과와 관련된 보조정보를 검색 및 획득하는 단계; 클라우드 서버(200)가 보조정보를 XR 디바이스(100)로 전송하는 단계;를 더 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 클라우드 AI 기반의 XR 객체인식 처리 방법을 실행시키기 위하여 비휘발성 저장매체에 저장된 것이다.
본 발명에 따르면 XR 디바이스가 촬영영상에서 객체를 식별하고 클라우드 기반으로 객체 인식을 수행하도록 구성함으로써 XR 콘텐츠를 위한 객체인식 과정을 효과적으로 처리할 수 있는 장점이 있다.
또한, 본 발명에 따르면 객체 인식 과정을 효과적으로 수행할 수 있어 저성능의 XR 디바이스로도 XR 콘텐츠를 실시간으로 제공할 수 있는 장점이 있다.
또한, 본 발명에 따르면 클라우드 AI 딥러닝 기반으로 특징 기반 객체인식 과정을 수행하므로 객체 정보를 학습함에 따라 객체 인식율과 인식 정확도를 점차적으로 향상시킬 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 클라우드 AI 기반의 XR 객체인식 처리 구성을 나타내는 도면.
[도 2]는 본 발명에서 XR 디바이스의 처리 과정을 나타내는 도면.
[도 3]은 본 발명에서 클라우드 서버의 처리 과정을 나타내는 도면.
[도 4]는 본 발명에 따른 클라우드 AI 기반의 XR 객체인식 처리 방법의 전체 프로세스를 나타내는 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 클라우드 AI 기반의 XR 객체인식 처리 구성을 나타내는 도면이다.
XR 디바이스(100)는 XR 콘텐츠와 관련하여 사용자 인터페이스를 담당하는 장치로서 예컨대 HMD(Head-Mounted Display)의 형태로 사용자가 장착한다. XR 디바이스(100)는 내부에 카메라 모듈과 각종 센서 모듈을 갖추고 있어 사용자 주변에 관한 영상을 촬영하고 평면(2D) 또는 입체(3D) 정보를 센싱한다.
XR 디바이스(100)는 인터넷을 통해 클라우드 서버(200)에 연결되어 있다. 클라우드 서버(200)는 AI 딥러닝 연산 기능과 데이터베이스 정보관리 기능을 구비하고 있어 객체 인식(object recognition) 처리를 담당한다.
본 발명에서 XR 디바이스(100)는 카메라 모듈에 의해 사용자 주변에 대한 촬영영상(V)을 생성하고 센서 모듈에 의해 사용자 주변 공간에 대한 공간정보(S)를 생성한다. 이때, 공간정보(S)는 깊이정보와 입체정보를 포함할 수 있다. 종래기술에서와 같이 고화질의 촬영영상(V)을 그대로 분석하여 객체 인식하도록 구성하면 XR 디바이스(100)의 연산 부담이 매우 크다. 그에 따라, 본 발명에서는 시스템 경량화를 구현하기 위해 XR 디바이스(100)의 연산 부담을 낮추는 구성을 채택하였다.
[도 2]는 본 발명에서 XR 디바이스(100)의 처리 과정을 나타내는 도면이다.
본 발명에서 XR 디바이스(100)는 미리 설정된 일정 시간구간(예: 1초) 단위로 촬영영상(V)에 대한 대표이미지(I)를 추출하여 클라우드 서버(200)로 전달하는 역할을 담당하도록 구성한다. 이때, 대표이미지(I)는 해당 시간구간 동안의 촬영영상(V)을 대표하는 이미지여야 하므로, XR 디바이스(100)는 해당 시간구간 동안의 촬영영상(V)으로부터 객체를 식별한 후, 촬영영상(V)의 일련의 이미지 프레임들 중에서 그 식별된 객체가 온전하게 포함되는 프레임 이미지를 선별하여 대표이미지(I)로 삼는 것이 바람직하다.
객체 식별(object identification)은 촬영영상(V) 내에 객체가 포함되어 있다고 식별하는 것을 의미하며, 그 객체가 어떠한 것인지 알아낼 필요는 없다. 객체 식별은 촬영영상(V)을 복잡하게 분석할 필요없이 코딩유닛(예: 매크로블록) 단위로 모션벡터를 분석하는 것에 의해서도 달성할 수 있다. 따라서, 객체 식별 과정은 객체 인식 과정에 비해 매우 적은 연산량으로 달성할 수 있어 XR 디바이스(100)가 수행하도록 구성하더라도 무방하다. 이때, 촬영영상(V)에 의해서만 객체 식별을 수행하는 것보다 공간정보(S)를 조합하여 객체 식별을 수행하는 것이 정확도가 더 높다. 그에 따라, 촬영영상(V)에 공간정보(S)를 조합하여 객체 식별을 수행하는 것이 바람직하다.
XR 디바이스(100)는 일정 시간구간(예: 1초)마다 해당 구간의 촬영영상(V)에 대한 대표이미지(I)를 추출하여 클라우드 서버(200)로 전송한다. 대표이미지(I)는 프레임 이미지 한장으로 구성되는 것이 바람직한데, 구현 예에 따라서는 비교적 적은 수(예: 5장)의 프레임 이미지로 구성될 수도 있다. 또한, 대표이미지(I)만 클라우드 서버(200)로 전송할 수도 있고, 대표이미지(I)와 공간정보(S)를 함께 클라우드 서버(200)로 전송하도록 구성될 수도 있다.
클라우드 서버(200)는 XR 디바이스(100)로부터 제공받은 대표이미지(I)로부터 객체 인식을 수행한다. [도 3]은 본 발명에서 클라우드 서버(200)가 객체 인식을 위해 수행하는 처리 과정을 나타내는 도면이다.
클라우드 서버(200)는 대표이미지(I)로부터, 또는 대표이미지(I)와 공간정보(S)의 조합을 AI 딥러닝 연산에 투입하여 그 결과로부터 객체식별, 특징추출, 객체인식을 수행한다. 객체인식에 의해 해당 객체가 무엇인지 알게 된다. [도 3]에서는 해당 객체가 거북이라는 것을 알게 되었다.
이를 위해, 클라우드 서버(200)는 이미지에 대한 객체 인식에 미리 훈련되어 있는 AI 딥러닝 모듈을 구비하고 있다. 이때, 바람직하게는 XR 디바이스(100)가 대표이미지(I)를 예컨대 1초마다 전송함에 따라 객체인식 과정을 지속적으로 수행하게 되어 딥러닝이 강화된다. 인공지능(AI)에서는 딥러닝, 머신러닝 등의 여러가지 용어가 사용되고 있는데, 본 명세서에는 이들을 총칭하여 딥러닝이라고 표기하였다.
한편, [도 3]에서 객체식별, 특징추출, 객체인식을 모두 AI 딥러닝 연산을 통해 달성할 수도 있고, 일부 단계, 예컨대 객체식별은 별도의 전처리(preprocessing)를 통해 수행할 수도 있다. 또는, 객체식별에 관한 정보는 XR 디바이스(100)가 클라우드 서버(200)로 제공하도록 구성할 수도 있다.
이상의 요지를 정리하면, XR 디바이스(100)는 자신의 주변에 대해 예컨대 30 FPS(Frame/Second)로 촬영영상(V)을 생성하는데, 이 촬영영상(V)에 대해 1초 단위로 대표이미지(I)를 추출한다. 즉, 1초에 대응하는 30 프레임의 이미지에 대해 객체를 식별하고 그 객체가 온전히 포함되어 있는 대표이미지(I)를 한장 추출하여 클라우드 서버(200)로 전송한다. XR 디바이스(100)는 1초마다 대표이미지(I)를 한장씩 클라우드 서버(200)로 전송하는 것이다. 클라우드 서버(200)는 대표이미지(I)를 AI 딥러닝 모듈에 입력하여 그 출력으로부터 객체인식 결과(R)를 얻는다.
그리고 나서, 클라우드 서버(200)는 객체인식 결과(R)에 대응하는 보조정보(A)를 검색하여 획득한다. 데이터베이스로부터 보조정보(A)를 얻을 수도 있고, 인터넷 검색을 통해 보조정보(A)를 실시간으로 얻을 수도 있다. 예를 들어, 객체인식 결과(R)가 거북이인 경우에는 보조정보(A)로서 해당 거북이의 품종, 거북이 먹이, 영양제, 거북이 케어 방법, SNS 거북이 이미지, 근처 동물병원의 이름과 위치 등을 들 수 있다.
이러한 보조정보(A)는 클라우드 서버(200)가 XR 디바이스(100)로 객체인식 결과(R)와 함께 제공하는 것이 바람직하다. 그리고, 사용자 설정 또는 사용자 선택에 따라 클라우드 서버(200)에 저장해두었다가 클라우드 서버(200)와 연결된 다른 디바이스들, 예컨대 스마트폰, 랩톱컴퓨터, 자율주행차량, 스마트가전(미도시) 등에서 객체인식 결과(R)와 보조정보(A)를 활용하도록 구성할 수도 있다.
[도 4]는 본 발명에 따른 클라우드 AI 기반의 XR 객체인식 처리 방법의 전체 프로세스를 나타내는 도면이다.
단계 (S100, S110) : 먼저, XR 디바이스(100)가 내부 카메라 모듈에 의해 주변 촬영영상(V)을 생성하고 내부 센서 모듈에 의해 주변 공간정보(S)를 획득한다. 이때, 공간정보(S)는 깊이정보와 입체정보를 포함할 수 있다. 다음으로는 미리 설정된 일정 구간(예: 1초) 단위로 이하의 과정이 반복 수행된다.
단계 (S120 ~ S140) : XR 디바이스(100)는 촬영영상(V) 및 공간정보(S)를 분석하여 객체를 식별한다. 객체 식별은 해당 시간구간의 촬영영상(V) 내에 객체가 포함되어 있다고 식별하는 것을 의미하며, 그 객체가 무엇인지까지 알아낼 필요는 없다. 객체 식별은 촬영영상(V)을 분석하여 달성할 수도 있지만, 그 객체가 존재하는지 여부만 판단하면 충분하므로 좀더 효과적인 알고리즘, 예컨대 코딩유닛(예: 매크로블록) 단위로 모션벡터를 분석하는 것에 의해서도 달성할 수 있다. 이때, 평면상의 이미지만으로 객체를 식별하면 오류가 많이 날 수 있으므로 깊이정보와 입체정보와 같은 공간정보(S)도 조합하여 사용함으로써 객체 식별의 정확도를 높이는 구성이 바람직하다.
XR 디바이스(100)는 해당 시간구간의 촬영영상(V)에 대해 위 식별된 객체가 포함된 대표이미지(I)를 추출하고, 그 대표이미지(I)를 클라우드 서버(200)로 전송한다. 이때, 대표이미지(I)만 클라우드 서버(200)로 전송할 수도 있고, 대표이미지(I)와 공간정보(S)를 함께 클라우드 서버(200)로 전송하도록 구성될 수도 있다.
단계 (S150 ~ S180) : 클라우드 서버(200)는 대표이미지(I)에 대해 AI 딥러닝 연산을 수행하여, 그 AI 딥러닝 연산의 출력으로부터 객체인식 결과(R)를 획득한다. 객체인식에 의해 해당 객체가 무엇인지(예: 사람, 자동차, 개, 고양이, 거북이 등) 알게 된다. 이때, 객체인식의 정확도를 높이기 위해 대표이미지(I)와 공간정보(S)의 조합에 대해 AI 딥러닝 연산을 수행하도록 구성할 수도 있다. 클라우드 서버(200)는 XR 콘텐츠 생성을 위해 객체인식 결과(R)를 XR 디바이스(100)로 전송한다.
한편, 클라우드 서버(200)는 객체인식 결과(R)와 관련된 보조정보(A)를 검색하여 획득하고, 이 보조정보(A)를 객체인식 결과(R)에 추가하여 XR 디바이스(100)로 전송하도록 구성하는 것이 바람직하다. [도 3]을 참조하면, 객체인식 결과(R)가 '거북이'인 경우에 보조정보(A)는 해당 거북이의 품종, 거북이 먹이, 영양제, 거북이 케어 방법, SNS 거북이 이미지, 근처 동물병원의 이름과 위치 등이 될 수 있다.
단계 (S190) : 다음으로, XR 디바이스(100)는 객체인식 결과(R)와 보조정보(A)를 이용하여 XR 콘텐츠를 생성 표시한다. 이 과정은 공지기술로도 구현 가능하고, 본 발명이 XR 콘텐츠를 생성 표시에 관한 기술은 아니므로 이에 관한 자세한 설명은 생략한다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (5)

  1. XR 디바이스(100)의 촬영영상에 대해 객체를 인식하기 위해 XR 디바이스(100)와 클라우드 서버(200)가 네트워크로 연결되어 협조 동작하는 클라우드 AI 기반의 XR 객체인식 처리 방법으로서,
    XR 디바이스(100)가 내부 카메라 모듈에 의해 주변 촬영영상(V)을 생성하는 제 1 단계;
    상기 XR 디바이스(100)가 내부 센서 모듈에 의해 주변 공간정보(S)를 획득하는 제 2 단계;
    상기 XR 디바이스(100)가 촬영영상(V) 및 공간정보(S)를 분석하여 상기 촬영영상(V) 내에서 객체를 식별하는 제 3 단계;
    상기 XR 디바이스(100)가 미리 설정된 일정 시간구간의 촬영영상(V)에 대해 상기 식별된 객체가 포함된 대표이미지(I)를 추출하는 제 4 단계;
    상기 XR 디바이스(100)가 상기 대표이미지(I)를 클라우드 서버(200)로 전송하는 제 5 단계;
    상기 클라우드 서버(200)가 상기 대표이미지(I)에 대해 AI 딥러닝 연산을 수행하고 그 AI 딥러닝 연산의 출력으로부터 객체인식 결과(R)를 획득하는 제 6 단계;
    상기 클라우드 서버(200)가 상기 객체인식 결과(R)를 상기 XR 디바이스(100)로 전송하는 제 7 단계;
    를 포함하여 구성되는 클라우드 AI 기반의 XR 객체인식 처리 방법.
  2. 청구항 1에 있어서,
    상기 제 5 단계에서 상기 XR 디바이스(100)는 상기 공간정보(S)를 클라우드 서버(200)로 더 전송하고,
    상기 제 6 단계에서 상기 클라우드 서버(200)는 상기 대표이미지(I)와 상기 공간정보(S)의 조합에 대해 AI 딥러닝 연산을 수행하도록 구성되는 것을 특징으로 하는 클라우드 AI 기반의 XR 객체인식 처리 방법.
  3. 청구항 1에 있어서,
    상기 공간정보(S)는 깊이정보 및 입체정보를 포함하여 구성되는 것을 특징으로 하는 클라우드 AI 기반의 XR 객체인식 처리 방법.
  4. 청구항 1에 있어서,
    상기 제 6 단계 이후에 수행되는,
    상기 클라우드 서버(200)가 상기 객체인식 결과(R)와 관련된 보조정보(A)를 검색 및 획득하는 단계;
    상기 클라우드 서버(200)가 상기 보조정보(A)를 상기 XR 디바이스(100)로 전송하는 단계;
    를 더 포함하여 구성되는 것을 특징으로 하는 클라우드 AI 기반의 XR 객체인식 처리 방법.
  5. 컴퓨터에 청구항 1 내지 4 중 어느 하나의 항에 따른 클라우드 AI 기반의 XR 객체인식 처리 방법을 실행시키기 위하여 저장매체에 저장된 컴퓨터프로그램.
KR1020210147242A 2021-10-29 2021-10-29 클라우드 ai 기반의 xr 디바이스 운영 시스템 KR102556606B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210147242A KR102556606B1 (ko) 2021-10-29 2021-10-29 클라우드 ai 기반의 xr 디바이스 운영 시스템
PCT/KR2021/015487 WO2023074970A1 (ko) 2021-10-29 2021-10-30 클라우드 ai 기반의 xr 객체인식 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210147242A KR102556606B1 (ko) 2021-10-29 2021-10-29 클라우드 ai 기반의 xr 디바이스 운영 시스템

Publications (2)

Publication Number Publication Date
KR20230062217A true KR20230062217A (ko) 2023-05-09
KR102556606B1 KR102556606B1 (ko) 2023-07-19

Family

ID=86158230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147242A KR102556606B1 (ko) 2021-10-29 2021-10-29 클라우드 ai 기반의 xr 디바이스 운영 시스템

Country Status (2)

Country Link
KR (1) KR102556606B1 (ko)
WO (1) WO2023074970A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160049391A (ko) * 2014-10-27 2016-05-09 한화테크윈 주식회사 로이터링 시각화 장치 및 방법
KR20190104945A (ko) 2019-08-23 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20210057611A (ko) * 2019-11-12 2021-05-21 엘지전자 주식회사 이미지 데이터에 포함된 객체를 인식하는 인공 지능 장치 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102425578B1 (ko) * 2017-08-08 2022-07-26 삼성전자주식회사 객체를 인식하는 방법 및 장치
KR102288323B1 (ko) * 2019-07-19 2021-08-10 주식회사 엘지유플러스 클라우드 서버 기반 증강현실 서비스 제공 방법, 이를 이용한 단말 및 클라우드 서버
KR20190103099A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160049391A (ko) * 2014-10-27 2016-05-09 한화테크윈 주식회사 로이터링 시각화 장치 및 방법
KR20190104945A (ko) 2019-08-23 2019-09-11 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR20210057611A (ko) * 2019-11-12 2021-05-21 엘지전자 주식회사 이미지 데이터에 포함된 객체를 인식하는 인공 지능 장치 및 그 방법

Also Published As

Publication number Publication date
KR102556606B1 (ko) 2023-07-19
WO2023074970A1 (ko) 2023-05-04

Similar Documents

Publication Publication Date Title
US11361505B2 (en) Model retrieval for objects in images using field descriptors
Xian et al. Structure-guided ranking loss for single image depth prediction
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
Betancourt et al. The evolution of first person vision methods: A survey
CN113420719B (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
US20190392587A1 (en) System for predicting articulated object feature location
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN112784765B (zh) 用于识别动作的方法、装置、设备以及存储介质
CN111259751A (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
EP3876204A2 (en) Method and apparatus for generating human body three-dimensional model, device and storage medium
CN113015978B (zh) 处理图像以定位新颖对象
CN113902956B (zh) 融合模型的训练方法、图像融合方法、装置、设备及介质
CN111667005A (zh) 一种采用rgbd视觉传感的人体交互***
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
WO2023184817A1 (zh) 图像处理方法、装置、计算机设备、计算机可读存储介质及计算机程序产品
CN114187392A (zh) 虚拟偶像的生成方法、装置和电子设备
US11380121B2 (en) Full skeletal 3D pose recovery from monocular camera
KR102556606B1 (ko) 클라우드 ai 기반의 xr 디바이스 운영 시스템
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置
CN113656629B (zh) 视觉定位方法、装置、电子设备及存储介质
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN113205131A (zh) 图像数据的处理方法、装置、路侧设备和云控平台
US20240096041A1 (en) Avatar generation based on driving views
JP2023002703A (ja) 表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right