KR20210046591A - 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 - Google Patents

증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 Download PDF

Info

Publication number
KR20210046591A
KR20210046591A KR1020207037546A KR20207037546A KR20210046591A KR 20210046591 A KR20210046591 A KR 20210046591A KR 1020207037546 A KR1020207037546 A KR 1020207037546A KR 20207037546 A KR20207037546 A KR 20207037546A KR 20210046591 A KR20210046591 A KR 20210046591A
Authority
KR
South Korea
Prior art keywords
data
real
scenario
augmented reality
virtual object
Prior art date
Application number
KR1020207037546A
Other languages
English (en)
Inventor
신루 호우
솅추안 쉬
구오시옹 리
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority to KR1020237003932A priority Critical patent/KR20230022269A/ko
Publication of KR20210046591A publication Critical patent/KR20210046591A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00201—
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시예는 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 상기 방법은 현실 시나리오 데이터를 획득하는 단계; 상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 단계; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 단계를 포함한다.

Description

증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
본 출원은 출원 번호가 201910979912.0이고, 출원일이 2019년 10월 15일인 중국 특허 출원에 기반하여 제출한 것이며, 상기 중국 특허 출원의 우선권을 주장하는바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.
본 발명은 증강 현실 기술분야에 관한 것으로서, 구체적으로, 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체에 관한 것이다.
증강 현실(Augmented Reality, AR) 기술은, 실물 정보(시각 정보, 소리, 촉각 등)에 대해 시뮬레이션을 실행한 후, 현실 세계에 중첩시킴으로써, 실제 환경 및 가상 물체를 실시간으로 동일한 화면 또는 공간에서 제시하는 것이다. AR 기기에 의해 제시된 증강 현실 시나리오의 효과에 대한 최적화 및 사용자와의 상호 작용성의 향상은, 갈수록 더 중요해진다.
이를 고려하여, 본 발명의 실시예는 적어도 하나의 증강 현실 데이터 제시 방안을 제공한다.
제1 측면에 있어서, 본 발명의 실시예는 증강 현실 데이터제시 방법을 제공하고, 상기 방법은,
현실 시나리오 데이터를 획득하는 단계;
상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 단계; 및
상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 단계를 포함한다.
상기 방법을 통해, 인식된 현실 시나리오 데이터에서의 상이한 타깃 실물 대상의 속성 정보에 기반하여, 가상 대상의 특수 효과 데이터를 결정할 수 있고, AR 기기에서 현실 시나리오에 유입된 가상 대상의 특수 효과 데이터를 디스플레이할 수 있으므로, 가상 대상의 디스플레이가 현실 시나리오 데이터 중 타깃 실물 데이터의 속성 정보에 매칭되도록 할 수 있어, 증강 현실 시나리오의 디스플레이 효과를 향상시킨다.
한 가지 가능한 실시형태에 있어서, 상기 현실 시나리오 데이터는 현실 시나리오 이미지를 포함하고;
상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하기 전, 상기 방법은,
상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 검출하는 단계 - 상기 포즈 데이터는 상기 AR 기기가 현실 시나리오에서의 위치 정보 및 촬영 각도 중 적어도 하나를 포함함 - ; 및
상기 현실 시나리오 이미지에서 디스플레이된 적어도 하나의 실물 대상으로부터, 상기 포즈 데이터에 매칭되는 타깃 실물 대상을 결정하는 단계를 더 포함한다.
상기 실시형태를 통해, AR 기기의 포즈 데이터에 기반하여, 상기 포즈 데이터에 매칭되는 현실 시나리오 하에서의 관심 타깃, 즉 타깃 실물 대상을 결정할 수 있으므로, 상기 타깃 실물 대상의 속성에 매칭되는 가상 대상 특수 효과 상태를 디스플레이함으로써, 가상 대상의 특수 효과 데이터가 현실 시나리오에 더욱 잘 유입되도록 한다.
한 가지 가능한 실시형태에 있어서, 상기 방법은,
촬영된 참조 실물 대상 자세를 인식하는 단계;
상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하는 단계 - 상기 제1 타깃 증강 현실 데이터는 상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 를 더 포함한다.
여기서, 상기 참조 실물 대상 자세는 얼굴 표정 및 몸동작 중 적어도 하나를 포함한다.
여기서, 참조 실물 대상의 얼굴 표정 및 몸동작 중 적어도 하나를 획득하는 것을 통해, 증강 현실 데이터 중 가상 대상의 특수 효과 데이터에 대해 동적 업데이트를 수행할 수 있음으로써, 제시된 증강 현실 시나리오가 참조 실물 대상과 가상 대상 사이의 인터랙션 효과를 디스플레이할 수 있도록 하여, 제시 효과가 더욱 현실적이도록 한다.
한 가지 가능한 실시형태에 있어서, 상기 촬영된 참조 실물 대상 자세를 인식하는 단계는,
상기 AR 기기가 현실 시나리오에서의 위치 정보와 상기 가상 대상이 현실 시나리오 중 대응되는 위치 정보 사이의 거리를 검출하는 단계; 및
상기 거리가 기설정된 거리 범위 내에 존재할 경우, 촬영된 참조 실물 대상 자세를 인식하는 단계를 포함한다.
현실 시나리오 중 일부 자세를 나타내는 일부 실물 대상이 존재할 수 있지만, 이러한 실물 대상은 가상 대상과 상호 작용하는 것이 아닐 수 있으므로, 상기 실시형태를 사용하면, 불필요한 인식 처리 및 자세 업데이트 처리를 감소시킬 수 있어, 처리 자원을 절약할 수 있다.
한 가지 가능한 실시형태에 있어서, 상기 촬영된 참조 실물 대상 자세를 인식하는 단계는,
미리 훈련된 신경 네트워크 모델에 기반하여, 획득된 현실 시나리오 이미지에 대해 자세 인식 처리를 수행하여, 상기 현실 시나리오 이미지 중 디스플레이된 상기 참조 실물 대상 자세를 얻는 단계를 포함한다.
한 가지 가능한 실시형태에 있어서, 상기 방법은,
상기 AR 기기에 작용되는 트리거 동작을 응답하는 단계;
상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제2 타깃 증강 현실 데이터로 업데이트하는 단계 - 상기 제2 타깃 증강 현실 데이터는 상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 를 포함한다.
여기서, 상기 트리거 동작은 상기 AR 기기 스크린에 작용되는 동작, 소리 입력 및 상기 AR 기기의 포즈를 변경시키는 것 중 적어도 하나를 포함한다.
이러한 실시형태를 통해, 가상 대상의 디스플레이 효과를 풍부화시키고, 증강 현실(AR) 기기에게 더욱 많은 인터랙션 방법을 제공할 수 있어, 증강 현실 시나리오에서의 인터랙션 능력을 향상시킨다.
한 가지 가능한 실시형태에 있어서, 상기 방법은,
내비게이션 청구에 응답하여, 상기 AR 기기가 현실 시나리오에서의 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 획득하는 단계;
상기 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 이용하여, 내비게이션 노선을 생성하는 단계 - 상기 내비게이션 노선에서의 통과 지점은 상기 가상 대상이 현실 시나리오에서의 위치를 포함함 - ; 및
상기 AR 기기에서 상기 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 단계를 더 포함한다.
한 가지 가능한 실시형태에 있어서,
상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 단계는,
상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 획득하는 단계; 및
상기 AR 기기가 현실 시나리오에서의 포즈 데이터 및 상기 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터에 기반하여, 상기 속성 정보에 매칭되는 상기 가상 대상의 특수 효과 데이터를 결정하는 단계를 포함한다.
상기 3 차원 시나리오 모델은 현실 시나리오를 나타낼 수 있고, 3 차원 시나리오 모델에 의해 구축된 가상 대상의 포즈 데이터에 기반하여 현실 시나리오에 잘 유입될 수 있으며, 상기 가상 대상이 3 차원 시나리오 모델에서의 포즈 데이터로부터, AR 기기의 포즈 데이터에 매칭되는 가상 대상의 특수 효과 데이터를 결정함으로써, 가상 대상의 특수 효과 데이터의 디스플레이가 현실 시나리오에 더욱 부합되도록 한다.
제2 측면에 있어서, 본 발명의 실시예는 증강 현실 데이터 제시 장치를 제공하고, 상기 장치는,
현실 시나리오 데이터를 획득하고, 상기 현실 시나리오 데이를 인식부에 전송하도록 구성된 획득부;
상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하고, 상기 가상 대상의 특수 효과 데이터를 디스플레이부에 전송하는 인식부; 및
상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하도록 구성된 디스플레이부를 포함한다.
한 가지 가능한 실시형태에 있어서, 상기 현실 시나리오 데이터는 현실 시나리오 이미지를 포함하고;
상기 인식부는 또한, 상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하기 전, 상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 검출하고 - 상기 포즈 데이터는 상기 AR 기기가 현실 시나리오에서의 위치 정보 및 촬영 각도 중 적어도 하나를 포함함 - ; 상기 현실 시나리오 이미지에서 디스플레이된 적어도 하나의 실물 대상으로부터, 상기 포즈 데이터에 매칭되는 타깃 실물 대상을 결정하도록 구성된다.
한 가지 가능한 실시형태에 있어서, 상기 디스플레이부는 또한,
촬영된 참조 실물 대상 자세를 인식하고;
상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며;
상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하도록 - 상기 제1 타깃 증강 현실 데이터는 상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 구성된다.
한 가지 가능한 실시형태에 있어서, 상기 참조 실물 대상 자세는 얼굴 표정 및 몸동작 중 적어도 하나를 포함한다.
한 가지 가능한 실시형태에 있어서, 상기 디스플레이부는 또한,
상기 AR 기기가 현실 시나리오에서의 위치 정보와 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보 사이의 거리를 검출하고;
상기 거리가 기설정된 거리 범위 내에 존재할 경우, 촬영된 참조 실물 대상 자세를 인식하도록 구성된다.
한 가지 가능한 실시형태에 있어서, 상기 디스플레이부는 또한,
미리 훈련된 신경 네트워크 모델에 기반하여, 획득된 현실 시나리오 이미지에 대해 자세 인식 처리를 수행하여, 상기 현실 시나리오 이미지 중 디스플레이된 상기 참조 실물 대상 자세를 얻도록 구성된다.
한 가지 가능한 실시형태에 있어서, 상기 디스플레이부는 또한,
상기 AR 기기에 작용되는 트리거 동작을 응답하고;
상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며;
상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제2 타깃 증강 현실 데이터로 업데이트하도록 - 상기 제2 타깃 증강 현실 데이터는 상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 구성된다.
한 가지 가능한 실시형태에 있어서, 상기 트리거 동작은 상기 AR 기기 스크린에 작용되는 동작, 소리 입력 및 상기 AR 기기의 포즈를 변경시키는 것 중 적어도 하나를 포함한다.
한 가지 가능한 실시형태에 있어서, 상기 장치는 내비게이션부를 더 포함하고, 상기 내비게이션부는,
내비게이션 청구에 응답하여, 상기 AR 기기가 현실 시나리오에서의 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 획득하고;
상기 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 이용하여, 내비게이션 노선을 생성하며 - 상기 내비게이션 노선에서의 통과 지점은 상기 가상 대상이 현실 시나리오에서의 위치를 포함함 - ; 및
상기 AR 기기에서 상기 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 데이터를 디스플레이하도록 구성된다.
한 가지 가능한 실시형태에 있어서,
상기 인식부는 또한,
상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 획득하고;
상기 AR 기기가 현실 시나리오에서의 포즈 데이터 및 상기 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터에 기반하여, 상기 속성 정보에 매칭되는 상기 가상 대상의 특수 효과 데이터를 결정하도록 구성된다.
제3 측면에 있어서, 본 발명의 실시예는 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 상기 제1 측면 또는 어느 하나의 실시형태에 따른 증강 현실 데이터 제시 방법의 단계를 실행한다.
제4 측면에 있어서, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 제1 측면 또는 어느 하나의 실시형태에 따른 증강 현실 데이터 제시 방법의 단계를 실행한다.
상기 증강 현실 데이터 제시 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체에 관련된 효과의 설명은 상기 증강 현실 데이터 제시 방법의 설명을 참조하고, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예의 상기 목적, 특징 및 장점이 더욱 선명해지고 이해하기 쉬워지도록 하기 위해, 아래에 비교적 바람직한 실시예를 예를 들고, 첨부 도면과 배합하여, 상세하게 설명하고자 한다.
본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 실시예의 기술방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 방법의 흐름 예시도이다.
도 2는 본 발명의 실시예에서 제공한 가능한 현실 시나리오 이미지를 획득하는 예시도이다.
도 3은 본 발명의 실시예에서 제공한 가능한 현실 시나리오 중 가상 물체의 이미지를 중첩시킨 후의 이미지이다.
도 4는 본 발명의 실시예에서 제공한 가능한 가상 물체의 속성 정보 디스플레이의 예시도이다.
도 5a는 본 발명의 실시예에서 제공한 참조 실물 대상의 자세를 인식하지 못하기 전, 가상 물체의 특수 효과 데이터 즉 가상 물체 제시의 상태 예시도이다.
도 5b는 본 발명의 실시예에서 제공한 참조 실물 대상의 자세를 인식하지 못한 후, 가상 물체의 특수 효과 데이터 즉 가상 물체 제시의 상태 예시도이다.
도 6은 본 발명의 실시예에서 제공한 AR 기기에서 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 이미지의 예시도이다.
도 7은 본 발명의 실시예에서 제공한 증강 현실 데이터 제시의 아키텍처 예시도이다.
도 8은 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이다.
본 발명의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일 뿐임은 자명한 것이다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 실시예의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 실시예의 보호 범위에 속해야 한다.
본 발명의 실시예는 AR 기술을 지원하는 전자 기기(예를 들어 핸드폰, 태블릿 컴퓨터, AR 안경 등 AR 기기) 또는 서버, 또는 그들의 조합에 적용될 수 있고, 본 발명의 실시예가 서버에 응용되는 경우, 상기 서버는 통신 기능을 구비하고 촬영 기능을 구비하는 다른 전자 기기에 연결될 수 있으며, 그 연결 방식은 유선 연결 또는 무선 연결일 수 있으며, 무선 연결은 예를 들어 블루투스 연결, 와이파이(Wireless Fidelity, WIFI) 연결 등일 수 있다.
AR 기기에서 증강 현실 시나리오를 제시하는 것은, AR 기기에서 현실 시나리오에 유입된 가상 대상을 디스플레이하는 것으로 이해할 수 있고, 직접 가상 대상의 제시 화면을 랜더링하여, 현실 시나리오에 융합되도록 할 수 있으며, 예를 들어 한 세트의 가상 다구를 제시하여, 현실 시나리오에서의 실제 상 위에 배치된 것으로 나타내도록 하는 것이며, 가상 대상의 제시 특수 효과와 현실 시나리오 이미지가 융합된 후, 융합된 표시 화면을 디스플레이할 수도 있으며; 구체적인 제시 방식의 선택은 AR 기기의 기기 타입 및 사용된 화면 제시 기술에 의해 결정되며, 예를 들어, 일반적으로, AR 안경으로부터 현실 시나리오(이미지가 형성된 현실 시나리오 이미지가 아님)를 직접 볼 수 있으므로, AR 안경은 직접 가상 대상의 제시 화면을 랜더링하는 제시 방식을 사용할 수 있으며; 핸드폰, 태블릿 컴퓨터 등 모바일 단말 기기의 경우, 모바일 단말 기기에서 디스플레이된 것은 현실 시나리오 중 이미지가 형성된 화면이므로, 현실 시나리오 이미지와 가상 대상의 제시 특수 효과를 융합 처리하는 방식을 사용하여, 증강 현실 효과를 디스플레이할 수 있다.
가상 대상이 현실 시나리오에서의 유입 정도는 가상 대상의 디스플레이 효과에 엄청 큰 영향을 미친다. 현실 시나리오 중 타깃 실물 대상의 속성의 상이함에 기반하여, 이에 매칭되는 가상 대상을 디스플레이하여, 가상 대상의 디스플레이가 현실 시나리오의 수요에 더욱 부합되도록 할 수 있고, 유입성이 더욱 좋아짐으로써, 증강 현실 시나리오의 디스플레이 효과를 향상시킨다.
아래에 본 발명의 실시예에서 언급한 증강 현실 데이터 제시 방법을 상세하게 소개한다.
도 1에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 방법의 흐름 예시도이고, 아래와 같은 단계들을 포함한다.
단계 S101에 있어서, 현실 시나리오 데이터를 획득한다.
단계 S102에 있어서, 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정한다.
단계 S103에 있어서, 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이한다.
상기 방법을 통해, 인식된 현실 시나리오 데이터에서의 타깃 실물 대상의 연관 속성 정보, 예를 들어 대상 타입(예를 들어 상품 캐비닛), 대상 상태(예를 들어 상품 캐비닛 중 남은 물품의 정보), 대상 명칭(예를 들어 건축물 명칭) 등에 기반하여, 디스플레이해야 하는 가상 대상의 특수 효과 데이터, 예를 들어 상품 캐비닛 중 상품 패턴, 남은 물품의 설명 내용 및 건물 명칭 등을 결정할 수 있음으로써, AR 기기에서 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하여, 현재 현실 시나리오 수요를 만족시키고, 디스플레이 효과를 풍부화시킨다.
아래에 상기 단계를 각각 설명한다.
상기 단계 S101에 있어서, 현실 시나리오 데이터는 시나리오 이미지 및 현실 시나리오 소리 등 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다.
여기서 설명해야 할 것은, 현실 시나리오 데이터에 현실 시나리오 이미지가 포함된 경우, 현실 시나리오 이미지를 획득하고, 그 중의 타깃 실물 대상의 속성 정보를 인식할 수 있어, 매칭되는 가상 대상의 특수 효과 데이터를 결정하며, 상기 현실 시나리오 이미지는 후속 증강 현실 데이터의 생성에 사용될 수 있고, 후속 증강 현실 데이터의 생성에 사용되지 않을 수도 있으며, 전술한 바와 같이, 직접 가상 대상의 제시 화면을 랜더링할 수 있어, 현실 시나리오와 융합되도록 하며, 상기 현실 시나리오 이미지와 가상 대상의 특수 효과 데이터를 융합한 후에 랜더링할 수도 있다.
상기 상이한 타입의 현실 시나리오 데이터에 포함된 타깃 실물 대상의 타입은 상이하고, 예를 들어, 현실 시나리오 데이터에 현실 시나리오 이미지가 포함된 경우, 현실 시나리오 데이터에서의 실물 대상은 건축물, 놓여진 물품 등을 포함할 수 있으며; 현실 시나리오 데이터에서의 실물 대상은 또한 소리 특수 효과, 냄새 특수 효과 등을 포함할 수 있다.
현실 시나리오 데이터에 현실 시나리오 이미지가 포함된 경우, 현실 시나리오 이미지를 획득하는 방식은 예를 들어 AR 기기 내장 카메라(예를 들어 전면 카메라)를 통해 획득하는 것이거나, AR 기기와 무관하게 현실 시나리오에 전개된 카메라를 통해 획득하는 것이거나, 다른 기기를 통해 AR 기기에 전송된 사용자 이미지 데이터의 방식을 통해 획득할 수도 있다. 본 출원은 현실 시나리오 이미지의 획득 방식을 한정하지 않는다.
상기 단계 S102에 있어서, 타깃 실물 대상의 속성 정보는 예를 들어 타깃 실물 대상의 카테고리, 타깃 실물 대상의 사이즈, 또는 타깃 실물 대상의 명칭 등일 수 있다.
한 가지 가능한 실시형태에 있어서, 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하는 단계 중, 사용 가능한 방식은 타깃 실물 대상을 포함하는 현실 시나리오 이미지를 미리 훈련된 인식 모델에 입력하고, 인식 모델을 통해 현실 시나리오 이미지를 처리하여, 상기 타깃 실물 대상의 속성 정보를 출력하는 방식을 포함한다.
다른 한 가지 가능한 실시형태에 있어서, 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하는 단계 중, 또한 상이한 실물 대상에서 상이한 보조 식별자를 설정하여, 예를 들어 실물 대상에 상이한 2 차원 코드를 추가할 수 있어, 타깃 실물 대상에 설정된 2 차원 코드를 스캔할 수 있음으로써, 타깃 실물 대상의 속성 정보를 획득하는 방식을 사용할 수 있다.
상기 단계 S102에 있어서, 현실 시나리오 이미지에 하나 또는 복수 개의 실물 대상이 포함될 수 있고, 복수 개의 실물 대상이 포함된 경우, 상기 복수 개의 실물 대상을 모두 타깃 실물 대상으로 사용하여 속성 정보의 인식을 수행할 수 있으며; 처리 자원을 절약하고, 불필요한 인식 처리를 감소시키며, 사용자 관람 수요를 정확하게 인식하기 위해, 먼저 AR 기기의 포즈 데이터에 기반하여, 매칭 조건에 부합되는 타깃 실물 대상을 선별한 다음, 속성 정보의 인식을 수행할 수 있으며; 포즈 데이터는 AR 기기가 현실 시나리오에서의 위치 정보 및 촬영 각도 중 적어도 하나를 포함할 수 있다. AR 기기의 포즈 데이터에 기반하여 타깃 실물 대상을 선별하는 과정은 아래와 같은 경우로 나눌 수 있다.
경우 1에 있어서, 포즈 데이터는 위치 정보를 포함한다.
이러한 경우, 현실 시나리오 이미지 중 디스플레이된 각 실물 대상이 현실 시나리오에서의 위치와 AR 기기가 현실 시나리오에서의 위치 사이의 거리를 계산할 수 있고, 계산된 거리가 기설정된 거리보다 작은 경우, 상기 실물 대상이 타깃 실물 대상인 것으로 결정한다.
예시적으로, 도 2에 도시된 바와 같이, 도 2는 가능한 현실 시나리오 이미지를 획득하는 예시도이고, 도면 중 A 포인트 위치는 AR 기기가 현실 시나리오에서의 위치 정보이며, B, C, D는 각각 AR 기기가 촬영해야 하는 현실 시나리오 이미지에서의 실물 대상이 현실 시나리오에서의 위치 정보이며, B와 A 사이의 거리가 기설정된 거리보다 작으면, A를 타깃 실물 대상으로 결정한다.
다른 한 가지 가능한 실시형태에 있어서, 또한 현실 시나리오 이미지에서 디스플레이된 각 실물 대상이 현실 시나리오에서의 위치 및 AR 기기가 현실 시나리오에서의 위치 정보 사이의 거리를 계산할 수 있고, 대응되는 계산된 거리가 가장 가까운 실물 대상을 타깃 실물 대상으로 결정할 수 있다.
경우 2에 있어서, 포즈 데이터는 촬영 각도를 포함한다.
포즈 데이터가 촬영 각도를 포함하는 경우, 각 실물 대상에 대응되는 기설정된 촬영 각도를 먼저 결정할 수 있고, 각 실물 대상에 대해, AR 기기의 촬영 각도와 상기 실물 대상에 대응되는 기설정된 촬영 각도가 중첩되는지 여부를 판단하며, 중첩되면, 상기 실물 대상을 타깃 실물 대상으로 결정한다.
예시적으로, 동일한 면의 벽의 상이한 높이 위치에는 상이한 사진이 설치될 수 있고, 실물 대상은 상이한 높이를 갖는 사진일 수 있으며, 각 사진은 기설정된 촬영 각도가 존재할 수 있으며, 예를 들어 사진 A의 기설정된 촬영 각도는 30°~60°이며, AR 기기의 촬영 각도가 40°이면, 사진 A를 타깃 실물 대상으로 결정한다.
실제 응용에 있어서, 복수 개의 실물 대상의 기설정된 촬영 각도가 AR 기기의 촬영 각도와 중첩되면, 이 복수 개의 실물 대상을 타깃 실물 대상으로 사용할 수 있고, 대응되는 중첩 각도가 가장 큰 실물 대상을 타깃 실물 대상으로 결정할 수도 있다.
경우 3에 있어서, 포즈 데이터는 위치 정보 및 촬영 각도를 포함한다.
포즈 데이터에 위치 정보 및 촬영 각도가 동시에 포함될 경우, 먼저 각 실물 대상으로부터 AR 기기의 위치로부터 기설정된 거리 범위 내에 존재하는 확인될 실물 대상을 선별할 수 있고, 다음 확인될 실물 대상에서, 대응되는 기설정된 촬영 각도와 AR 기기의 촬영 각도가 중첩되는 실물 대상을 타깃 실물 대상으로 결정할 수 있다.
상기 예를 계속하여, 동일한 면의 벽의 상이한 높이 위치에 설치된 상이한 사진이 AR 기기까지의 위치가 동일하고, 확인될 실물 대상이 벽에서의 사진이면, 상이한 사진의 기설정된 촬영 각도에 기반하여 타깃 실물 대상을 선별할 수 있다.
타깃 실물 대상의 속성 정보를 인식한 후, 가상 대상 특수 효과 데이터베이스에서, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정할 수 있다. 예시적으로, 타깃 실물 대상의 속성 정보가 음료수 캐비닛이면, 가상 대상의 특수 효과 데이터는 음료수 이미지를 포함할 수 있고, 또한 음료수 명칭 등과 같은 음료수 이미지의 설명 정보를 포함할 수 있으며; 타깃 실물 대상의 속성 정보가 책장이면, 가상 대상의 특수 효과 데이터는 서책 이미지일 수 있고, 또한 서책 명칭 및 작가 등과 같은 서책 이미지의 설명 정보일 수도 있다.
본 발명의 실시예에 있어서, 타깃 실물 대상의 속성 정보를 인식한 후, 제시된 가상 대상의 특수 효과 데이터는 사용자에 의해 자율적으로 설정될 수 있다. 상이한 사용자가 상이한 가상 대상을 제시하는 특수 효과 데이터를 설정할 경우, 상이한 사용자의 단말 기기에서 타깃 실물 대상의 속성 정보를 검출할 경우, 상이한 사용자의 기기에서 상이한 타깃 실물 대상의 속성 정보를 제시할 수 있다.
본 발명의 실시예에 있어서, 현실 시나리오에서의 실물 대상에 대해 선택적으로 가상 대상의 특수 효과 데이터의 구성을 수행할 수 있고, 예를 들어, 일부 실물 대상에 연관된 가상 대상의 특수 효과 데이터가 구성되지 않은 것에 관련하여, 이러한 경우, 일부 타깃 실물 대상에 대해, 상기 타깃 실물 대상의 속성 정보를 인식한 후, 이에 대응되는 가상 대상의 특수 효과 데이터는 비어있을 수 있다.
상기 설명 내용에서, 결정된 타깃 실물 대상의 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터는, 가상 대상 특수 효과 데이터베이스에 저장된 상기 가상 대상의 특수 효과 데이터로부터, 결정된 상기 AR 기기의 포즈 데이터를 매칭하는 가상 대상 특수 효과 데이터일 수 있다. 한 가지 가능한 실시형태에 있어서, AR 기기가 현실 시나리오에서의 포즈 데이터 및 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터(가상 대상 특수 효과 데이터베이스에 저장된 것으로 간주할 수 있음)에 기반하여, 가상 대상의 특수 효과 데이터를 결정할 수 있다.
여기서, 가상 대상의 특수 효과 데이터의 용이한 개발을 위해, 3 차원 시나리오 모델을 사용하여 현실 시나리오를 사용할 수 있고, 상기 3 차원 시나리오 모델에 기반하여 가상 대상의 특수 효과 데이터를 개발할 수 있으며, 이로써, 가상 대상의 특수 효과 데이터가 현실 시나리오에 더욱 잘 유입되도록 할 수 있다. 이러한 경우, AR 기기가 현실 시나리오에서의 포즈 데이터(위치 정보 및 촬영 각도 중 적어도 하나를 포함함), 및 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터에 기반하여, 가상 대상의 특수 효과 데이터를 결정할 수 있다.
본 출원의 일부 실시예에 있어서, 가상 대상 특수 효과 데이터의 용이한 랜더링을 위해, 가상 대상이 3 차원 시나리오 모델에서의 디스플레이 특수 효과를 복원하고, 가상 대상의 디스플레이 특수 효과 및 3 차원 시나리오 모델을 포함하는 디스플레이 화면에서의 3 차원 시나리오 모델에 대해 투명한 처리를 수행할 수 있으며, 이로써, 후속 랜더링 단계에서, 가상 대상의 디스플레이 특수 효과 및 투명화 처리된 3 차원 시나리오 모델을 포함하는 디스플레이 화면을 랜더링할 수 있고, 현실 시나리오와 3 차원 시나리오 모델이 대응되도록 하며, 이로써, 현실 세계에서 가상 대상이 3 차원 시나리오 모델에서의 디스플레이 특수 효과를 얻을 수 있다.
상기 내용 중, 가상 대상이 정적 상태일 경우, 가상 대상이 3 차원 시나리오 모델에서의 포즈 데이터는 가상 대상이 3 차원 시나리오 모델에서의 위치 정보(예를 들어 지리적 위치 좌표 정보) 및 대응되는 자세 정보(가상 대상의 디스플레이 자세) 중 적어도 하나를 포함할 수 있고; 가상 대상이 동적 상태일 경우, 가상 대상이 3 차원 시나리오 모델에서의 포즈 데이터는 복수 그룹의 위치 정보(예를 들어 위치 좌표 정보) 및 대응되는 자세 정보(가상 대상의 디스플레이 자세) 중 적어도 하나를 포함할 수 있다.
구체적인 실시 중, AR 기기가 현실 시나리오에서의 포즈 데이터를 결정한 후, 가상 대상이 3 차원 시나리오 모델에서의 포즈 데이터에서, AR 기기의 포즈 데이터에 매칭되는 가상 대상의 특수 효과 데이터를 결정할 수 있고, 예를 들어 가상 대상이 구축된 건물 모델 시나리오 하에서의 특수 효과 데이터에서, AR 기기가 현재 위치하는 위치 및 촬영 각도에 매칭되는 가상 대상의 위치 및 자세 등을 결정한다.
단계 S102에서 현실 시나리오 이미지 중 각 실물 대상에 대해 속성 정보 인식을 모두 수행하기 전, 또는 AR 기기의 포즈 데이터에 기반하여 매칭 조건에 부합되는 타깃 실물 대상을 선별하고, 타깃 실물 대상에 대해 속성 정보 인식을 수행하기 전, 현실 시나리오 이미지에서 독립적으로 분할 가능한 실물 대상을 먼저 결정할 수 있다. 한 가지 가능한 실시형태에 있어서, 현실 시나리오 이미지에서의 각 실물 대상을 결정하는 단계 중, 현실 시나리오 이미지에 대해 이미지 분할을 수행한 다음, 이미지 분할이 수행된 각 부분의 분할 이미지에 대응되는 실물 대상을 인식하는 과정을 사용할 수 있다. 이미지 분할은 이미지를 특정 개수의 특정된, 독특한 성질을 구비하는 영역으로 나누고 관심 타깃을 제공한다.
상기 단계 S103에 있어서, AR 기기에서 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하고, AR 기기의 타입의 상이함 및 가상 대상의 특수 효과 데이터의 타입의 상이함에 따라, 각 특수 효과 데이터를 각각 디스플레이할 수 있거나, 여러 가지 특수 효과 데이터를 결합하여 디스플레이할 수 있다.
(1) 가상 대상이 소리를 포함할 경우, 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 것은, 현실 시나리오를 촬영하는 전자 기기에서 타깃 실물 대상의 속성 정보에 대응되는 소리를 플레이하는 것일 수 있다.
예를 들어, 타깃 실물 대상의 속성 정보는 특정한 사이즈의 커피 머신일 수 있고, 현실 시나리오 데이터로부터 상기 사이즈의 커피 머신을 검출한 경우, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터가 커피를 소개하는 특정한 단락의 녹음인 것으로 결정할 수 있으면, AR 기기에서 상기 단락의 녹음을 플레이할 수 있다.
(2) 가상 대상이 냄새를 포함하는 경우, 현실 시나리오 데이터에서 타깃 실물 대상의 속성 정보를 인식하고, 속성 정보에 매칭되는 냄새의 타입 및 냄새를 방출하는 지속 시간을 결정하며, 결정된 냄새의 타입 및 냄새를 방출하는 지속 시간을 냄새 방출을 제어하는 다른 기기에 송신하며, 냄새 방출을 제어하는 다른 기기가 상기 지속 시간 동안 대응되는 타입의 냄새를 방출하도록 지시하는 것일 수 있다.
(3) 가상 대상이 가상 물체의 제시 화면을 포함할 경우, 상기 제시 화면은 정적일 수 있고, 동적일 수도 있으며, 증강 현실 데이터는 증강 현실 이미지를 포함할 수 있다. AR 기기 타입의 상이함에 기반하여, 현실 이미지를 증강하는 것은 상이한 제시 방법이 대응되게 존재할 수 있다.
한 가지 가능한 제시 방법에 있어서, AR 안경에 응용될 수 있고, 구체적으로 미리 설치된 가상 물체가 현실 시나리오에서의 위치 정보에 기반하여, AR 안경의 렌즈에서 가상 물체를 디스플레이할 수 있고, 사용자가 가상 물체가 디스플레이되어 있는 AR 안경의 렌즈를 통해 현실 시나리오를 관찰하는 경우, 가상 물체가 현실 시나리오에서 대응되는 위치에서 가상 물체를 관찰할 수 있다.
다른 하나의 가능한 제시 방법에 있어서, 핸드폰, 태블릿 등 전자 기기에 응용될 수 있고, 가상 대상의 특수 효과 데이터를 디스플레이하는 증강 현실 데이터를 디스플레이할 경우, AR 기기는 현실 시나리오에 기반하여 현실 시나리오 이미지를 생성하고, AR 기기에서 디스플레이된 증강 현실 데이터는 현실 시나리오 이미지에 가상 물체의 이미지를 중첩한 후의 이미지일 수 있다.
예시적으로, 상기 제시 방식을 사용하여 제시된 증강 현실 이미지는 도 3에 도시된 바와 같을 수 있고, 중첩된 가상 물체의 이미지와 현실 시나리오에서의 실물 대상 사이에는 차폐 관계가 존재할 수 있으며, 구체적인 것은 아래에서 상세하게 소개하고, 여기서 잠시 상세하게 설명하지 않는다.
다른 예에 있어서, 가상 물체가 포함된 증강 현실 이미지를 제시하는 과정 중, 또한 가상 물체의 속성 정보를 디스플레이할 수 있고, 여기서, 가상 물체 및 속성 정보는 가상 대상의 특수 효과 데이터에 모두 속한다. 도 4에 도시된 바와 같이, 타깃 실물 대상은 하나의 투명문을 갖는 냉장고이고, 가상 물체는 냉장고 내의 음료수(냉장고 내에 있는 음료수는 미리 설정된 것임)이며, 가상 대상의 속성 정보는 음료수의 생산 일자, 유통 기한, 칼로리 수치 및 함유량 등이며; 타깃 실물 대상이 책장일 경우, 가상 물체는 책장에 놓여진 서책이고, 가상 대상의 속성 정보는 서책의 작가, 출판사 및 출판 일자 등이다.
현실 체험을 증강시키기 위해, 디스플레이된 AR 시나리오에서, 가상 대상과 현실 시나리오의 인터랙션 효과를 증가시킬 수 있다. 예를 들어, 촬영된 참조 실물 대상 자세에 응답하여, 상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 디스플레이할 수 있다.
구체적으로, 촬영된 참조 실물 대상의 자세를 인식할 수 있고, 다음 참조 실물 대상의 자세에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며, AR 기기 중 현재 디스플레이되는 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하며, 여기서, 제1 타깃 증강 현실 데이터는 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 포함한다.
여기서, 참조 실물 대상은 현실 시나리오에서 참조 자세를 제공 가능한 임의의 실물 대상을 가리키고, 예를 들어 AR 기기를 조작하고 있는 사용자, 현실 시나리오에서의 인물 또는 동물 또는 로봇 등일 수 있다.
여기서, 한 가지 가능한 경우에서, 참조 실물 대상의 자세는 얼굴 표정 및 몸동작 중 적어도 하나를 포함할 수 있다. 참조 대상의 자세를 인식하는 것은, 미리 훈련된 신경 네트워크 모델에 기반하여, 획득된 현실 시나리오 이미지에 대해 자세 인식 처리를 수행하여, 현실 시나리오 이미지 중 디스플레이된 참조 실물 대상 자세를 얻을 수 있다.
한 가지 가능한 경우에 있어서, 촬영된 참조 실물 대상 자세를 인식하는 단계는, AR 기기가 현실 시나리오에서의 위치 정보와 가상 대상이 현실 시나리오 중 대응되는 위치 정보 사이의 거리를 검출하는 것; 및 거리가 기설정된 거리 범위 내에 존재하는 경우, 촬영된 참조 실물 대상 자세를 인식하는 것을 통해 구현될 수 있다.
구체적으로, 획득된 현실 시나리오 이미지를 미리 훈련된 신경 네트워크 모델에 입력할 수 있고, 신경 네트워크 모델은 획득된 현실 시나리오 이미지에서 인식된 자세를 출력할 수 있으며, 인식된 자세를, 참조 실물 대상 자세로 결정할 수 있다.
훈련 신경 네트워크의 훈련 샘플은 자세 라벨을 갖고 있는 샘플 이미지일 수 있고, 예를 들어 자세 라벨은 얼굴 표정 라벨(예를 들어 얼굴 표정은 웃는 표정, 박장대소 표정, 우는 표정 또는 의문스러운 표정 등일 수 있음) 및 몸동작 라벨(예를 들어 몸동작은 촬영하는 것, 악수하는 것 또는 인사하는 것 등일 수 있음) 중 적어도 하나일 수 있으며, 신경 네트워크 모델에 기반하여 각 샘플 이미지의 예측 자세를 얻을 수 있으며, 샘플 이미지의 예측 자세 및 자세 라벨에 기반하여, 신경 네트워크를 훈련할 수 있으며, 구체적인 훈련 과정은 더이상 상세하게 소개하지 않는다.
AR 기기에 의해 현재 디스플레이된 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하는 것은, 증강 현실 데이터에서의 가상 대상의 특수 효과 데이터를 업데이트하여, AR 기기 중 현재 디스플레이되는 가상 대상이 새로운 디스플레이 상태를 제시하도록 하는 것일 수 있다.
예시적으로, 한 가지 시나리오 하에서, 참조 실물 대상은 현실 시나리오 중 AR 기기를 조작하는 사용자와 배합하는 다른 사용자이고, AR 기기를 통해 상기 다른 사용자의 제스처, 표정 및 몸동작 등 중 적어도 하나를 획득한 다음, 가상 대상이 상기 다른 사용자와의 제스처, 표정 및 몸동작 중 적어도 하나에 대응되는 상태를 제시하도록 제어한다. 여기서, 인식 가능한 사용자의 제스처, 표정 및 몸동작 등 중 적어도 하나는 미리 설정될 수 있고, 각 제스처, 표정 및 몸동작 중 적어도 하나에 대응되는 가상 대상의 상태도 미리 설정될 수 있다. 예를 들어, 참조 실물 대상의 자세를 인식하기 전, 가상 대상의 특수 효과 데이터 즉 가상 물체에 의해 제시된 상태는 도 5a에 도시된 바와 같을 수 있고, 현실 시나리오 이미지 중 참조 실물 대상의 자세를 검출하면, 가상 물체의 제시 상태는 도 5b에 도시된 바와 같을 수 있으며, 도 5b 중 제시된 것은 가상 물체가 촬영 자세를 인식한 후 제시된 상태이다.
다른 시나리오 하에 있어서, 참조 실물 대상은 AR 기기를 조작하는 사용자일 수 있고, 즉 AR 기기를 조작하는 사용자는 현재 디스플레이된 AR 시나리오에 기반하여, 그 중의 가상 대상에 대한 관련 제스처를 취하며, 이때 AR 기기 사용자의 제스처를 인식할 수 있으며, 대응되는 동작을 실행한다. 예시적으로, 도 4에 도시된 예를 계속하여, 현실 시나리오 중 음료수 옆의 두 개의 화살표가 클릭되었는지 여부를 인식하는 것을 통해, 현재 디스플레이된 음료수 및 그 속성 정보를 변경 가능한지 여부를 결정하고; 또는 현실 시나리오 중 음료수가 클릭되었는지 여부를 인식하는 것을 통해, 음료수가 구매되었는지 여부를 결정한다. 음료수가 클릭된 것으로 인식되면, AR 기기에서 대응되는 페이 화면을 제시할 수 있고, 페이 성공된 것으로 검출된 후, 주문 정보를 생성하며, 상기 주문 정보를 대응되는 판매자 서버에 송신함으로써, 가상 물체에 기반하여 실물 물체를 구매하는 것을 구현한다.
또 한 가지 가능한 실시형태에 있어서, 또한 AR 기기에 작용되는 트리거 동작을 응답한 다음, 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 획득할 수 있고, AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제2 타깃 증강 현실 데이터를 업데이트하며, 제2 타깃 증강 현실 데이터는 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 포함한다.
여기서, 트리거 동작은 AR 기기 스크린에서의 동작(예를 들어 클릭, 더블 클릭, 길게 터치 또는 슬라이드 등), 소리 입력 및 AR 기기의 포즈를 변경시키는 것(예를 들어 AR 기기의 위치를 변경시키거나 AR 기기의 촬영 각도를 변경시키는 등) 중 적어도 하나를 포함할 수 있다.
예시적으로, 도 4에 도시된 예를 계속하여, AR 기기를 통해 음료수의 속성 정보를 디스플레이하는 경우, 증강 현실 시나리오 중 음료수 옆의 두 개의 가상 버튼이 클릭되었는지 여부를 검출할 수 있는 것 외에도, AR 기기의 스크린에서 두 개의 가상 버튼에 대응되는 위치가 트리거 동작이 존재하는지 여부를 결정할 수 있으며, 상기 트리거 동작에 대응되는 효과는 현실 시나리오에서 검출된 제스처 동작은 대응된다. 예를 들어 AR 기기의 스크린에서 음료수 옆의 화살표를 클릭하는 동작과 현실 시나리오에서 제스처에 기반하여 음료수 옆의 화살표를 트리거하는 동작에 매칭되는 가상 대상의 특수 효과 데이터는 동일할 수 있다.
구체적인 실시 중, AR 기기에서 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하고, 현실 시나리오 데이터가 현실 시나리오 이미지를 포함하며, 가상 대상이 가상 물체를 포함하는 경우, 또한 현실 시나리오 이미지 중 각 실물 대상과 가상 물체 사이의 차폐 관계의 판단을 추가할 수 있다. 구체적으로, 각 실물 대상의 포즈 정보, 가상 물체의 포즈 정보 및 AR 기기의 포즈 정보에 기반하여, 각 실물 대상과 가상 대상 사이의 차폐 관계를 결정할 수 있다.
본 발명의 실시예는 또한 내비게이션 효과의 제시를 추가할 수 있다.
구체적으로, 내비게이션 청구에 응답하여, AR 기기가 현실 시나리오에서의 현재 위치 정보 및 가상 대상이 현실 시나리오 중 대응되는 위치 정보를 획득한 다음, 현재 위치 정보 및 가상 대상이 현실 시나리오 중 대응되는 위치 정보를 이용하여 내비게이션 노선을 생성하며, 내비게이션 노선에서의 통과 지점은 가상 대상이 현실 시나리오에서의 위치를 포함하거나, 가상 대상이 현실 시나리오에서 위치하는 위치 영역을 포함하며, AR 기기에 기반하여 내비게이션 노선의 지시 데이터의 증강 현실 데이터를 디스플레이할 수 있다.
여기서, AR 기기는 로컬에서 내비게이션 노선을 생성하는 과정을 실행할 수 있고, 내비게이션 청구를 서버에 송신할 수도 있으며, 서버에 의해 실행되고, 내비게이션 노선이 AR 기기에 송신된다.
본 발명의 실시예에서 내비게이션 효과를 추가하는 것은, 사용자의 내비게이션 수요가 존재하는 경우, 내비게이션 수요에 기반하여, 통과 지점의 내비게이션 노선으로서 가상 대상 위치를 생성하여 추가하는 것일 수 있다. 한 가지 가능한 실시형태에 있어서, 목적지 정보를 수신하였는지 여부를 검출할 수 있고, 목적지는 현실 시나리오에서의 어느 한 지점일 수 있으며, 가상 대상이 현실 시나리오에서 위치하는 위치 영역일 수도 있으며, 검출된 목적지 정보에 대응되는 지점이 가상 대상이 현실 시나리오에서 위치하는 위치 영역의 범위 내에 위치하는 경우, 직접 AR 기기의 현재의 위치 정보 및 목적지 정보에 기반하여, 상기 가상 대상에 도달하는 가장 짧은 운행 노선을 결정할 수 있으며; 목적지가 현실 시나리오에서의 지점일 경우, 상기 목적지를 내비게이션 종점으로 하고, 가상 대상이 현실 시나리오에서 위치하는 위치 영역을 통과하는 가장 짧은 노선을 생성할 수 있으며, 즉 사용자에게 가상 대상 디스플레이 위치 영역을 배치하도록 안내하여, 사용자가 운행 과정에서의 해로 체험 및 행로 재미를 향상시킨다.
이 외에, 목적지 정보를 수신하지 못한 경우, 가상 대상의 연관된 소개 정보를 주동적으로 제공할 수도 있고, 사용자가 가상 대상의 디스플레이 트리거 버튼을 클릭한 것으로 검출되면, 가상 대상이 위치하는 위치로 도달하는 내비게이션 노선을 결정할 수 있고, AR 기기에서 디스플레이할 수 있다.
예시적으로, AR 기기에서 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 이미지를 디스플레이하는 것은, 도 6에 도시된 바와 같을 수 있으며, 증강 현실 이미지에서 가상 물체를 포함하는 것 외에도, 지시 심볼(예를 들어 땅에서의 화살표)을 포함할 수 있으며, 지시 심볼을 디스플레이하는 것을 통해, 사용자가 대응되는 위치에 도달하도록 안내할 수 있다.
예시적으로, 사용자가 특정한 타깃 가상 물체에 도달할 경우, 사용자에게 상기 타깃 가상 물체와 관련된 다른 타깃 가상 물체의 내비게이션 노선을 제공할 수 있다.
본 분야의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 기록 순서는 엄격한 실행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.
동일한 사상에 기반하여, 본 발명의 실시예는 증강 현실 데이터 제시 장치를 제공하고, 도 7에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 증강 현실 데이터 제시 장치의 아키텍처 예시도이고, 획득부(701), 인식부(702), 디스플레이부(703), 및 내비게이션부(704)를 포함하며, 구체적으로,
현실 시나리오 데이터를 획득하고, 상기 현실 시나리오 데이를 인식부(702)에 전송하도록 구성된 획득부(701);
상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하고, 상기 가상 대상의 특수 효과 데이터를 디스플레이부(703)에 전송하는 인식부(702); 및
상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하도록 구성된 디스플레이부(703)를 포함한다.
한 가지 선택 가능한 실시형태에 있어서, 상기 현실 시나리오 데이터는 현실 시나리오 이미지를 포함하고;
상기 인식부(702)는 또한, 상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하기 전, 상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 검출하고 - 상기 포즈 데이터는 상기 AR 기기가 현실 시나리오에서의 위치 정보 및 촬영 각도 중 적어도 하나를 포함함 - ; 상기 현실 시나리오 이미지에서 디스플레이된 적어도 하나의 실물 대상으로부터, 상기 포즈 데이터에 매칭되는 타깃 실물 대상을 결정하도록 구성된다.
한 가지 선택 가능한 실시형태에 있어서, 상기 디스플레이부(703)는 또한,
촬영된 참조 실물 대상 자세를 인식하고;
상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며;
상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하도록 - 상기 제1 타깃 증강 현실 데이터는 상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 구성된다.
한 가지 선택 가능한 실시형태에 있어서, 상기 참조 실물 대상 자세는 얼굴 표정 및 몸동작 중 적어도 하나를 포함한다.
한 가지 선택 가능한 실시형태에 있어서, 상기 디스플레이부(703)는 또한,
상기 AR 기기가 현실 시나리오에서의 위치 정보와 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보 사이의 거리를 검출하고;
상기 거리가 기설정된 거리 범위 내에 존재할 경우, 촬영된 참조 실물 대상 자세를 인식하도록 구성된다.
한 가지 선택 가능한 실시형태에 있어서, 상기 디스플레이부(703)는 또한,
미리 훈련된 신경 네트워크 모델에 기반하여, 획득된 현실 시나리오 이미지에 대해 자세 인식 처리를 수행하여, 상기 현실 시나리오 이미지 중 디스플레이된 상기 참조 실물 대상 자세를 얻도록 구성된다.
한 가지 선택 가능한 실시형태에 있어서, 상기 디스플레이부(703)는 또한,
상기 AR 기기에 작용되는 트리거 동작을 응답하고;
상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며;
상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제2 타깃 증강 현실 데이터로 업데이트하도록 - 상기 제2 타깃 증강 현실 데이터는 상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 구성된다.
한 가지 선택 가능한 실시형태에 있어서, 상기 트리거 동작은 상기 AR 기기 스크린에 작용되는 동작, 소리 입력 및 상기 AR 기기의 포즈를 변경시키는 것 중 적어도 하나를 포함한다.
한 가지 선택 가능한 실시형태에 있어서, 상기 장치는 내비게이션부(704)를 더 포함하고, 상기 내비게이션부(704)는,
내비게이션 청구에 응답하여, 상기 AR 기기가 현실 시나리오에서의 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 획득하고;
상기 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 이용하여, 내비게이션 노선을 생성하며 - 상기 내비게이션 노선에서의 통과 지점은 상기 가상 대상이 현실 시나리오에서의 위치를 포함함 - ;
상기 AR 기기에서 상기 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 데이터를 디스플레이하도록 구성된다.
한 가지 선택 가능한 실시형태에 있어서, 상기 인식부(702)는 또한,
상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 획득하고;
상기 AR 기기가 현실 시나리오에서의 포즈 데이터, 및 상기 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터에 기반하여, 상기 속성 정보에 매칭되는 상기 가상 대상의 특수 효과 데이터를 결정하도록 구성된다.
일부 실시예에 있어서, 본 발명의 실시예에서 제공한 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 실행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예 및 기타 실시예에 있어서, “부”는 부분 회로, 부분 프로세서, 부분 프로그램 또는 소프트웨어 등일 수 있으며, 물론 유닛일 수도 있고, 모듈 방식 또는 비모듈 방식일수도 있다는 것이다.
동일한 기술적 사상에 기반하여, 본 발명의 실시예는 전자 기기를 더 제공한다. 도 8에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이고, 프로세서(801), 메모리(802) 및 버스(803)를 포함한다. 여기서, 메모리(802)는 실행 명령어를 저장하기 위한 것이고, 내부 메모리(8021) 및 외부 메모리(8022)를 포함하며; 여기서 내부 메모리(8021)는 내부 저장소로도 지칭되며, 프로세서(801)에서의 연산 데이터 및 하드 디스크 등 외부 메모리(8022)와 교환되는 데이터를 임시 저장하기 위한 것이며, 프로세서(801)는 내부 메모리(8021)와 외부 메모리(8022)를 통해 데이터 교환을 수행하며, 전자 기기(800)가 동작될 경우, 프로세서(801)와 메모리(802) 사이는 버스(803)를 통해 통신하며, 프로세서(801)가,
현실 시나리오 데이터를 획득하는 것;
상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 것; 및
상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 것 등 구현하는 명령어를 실행하도록 한다.
여기서, 프로세서(801)가 실행하는 구체적인 처리 과정은 상기 방법 실시예 또는 장치 실시예에서의 설명을 참조할 수 있고, 여기서 더이상 구체적으로 설명하지 않는다.
또한, 본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 방법 실시예에 따른 증강 현실 데이터 제시 방법의 단계를 실행한다.
본 발명의 실시예에서 제공한 증강 현실 데이터 제시 방법의 컴퓨터 프로그램 제품은, 프로그램 코드가 기록된 컴퓨터 판독 가능한 저장 매체를 포함하며, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 증강 현실 데이터 제시 방법의 단계를 실행하는데 사용될 수 있으며, 구체적인 것은 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 구체적인 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있으며, 여기서 반복적으로 설명하지 않는다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.
상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.
이상의 설명은 다만 본 발명의 실시예의 구체적인 실시 형태일뿐이고, 본 발명의 실시예의 보호 범위는 이에 한정되지 않는다. 본 출원이 속하는 기술 분야의 통상의 기술자라면, 본 발명의 실시예에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 발명의 실시예의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 발명의 실시예의 보호 범위는 특허청구범위의 보호 범위를 기준으로 해야 한다.
[산업상 실용 가능성]
본 발명의 실시예는 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체를 제공하고, 상기 방법은, 현실 시나리오 데이터를 획득하는 단계; 상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 단계; 및 상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 단계를 포함한다. 상기 방법을 통해, 인식된 현실 시나리오 데이터에서의 상이한 타깃 실물 대상의 속성 정보에 기반하여, 가상 대상의 특수 효과 데이터를 결정할 수 있고, AR 기기에서 현실 시나리오에 유입된 가상 대상의 특수 효과 데이터를 디스플레이할 수 있으므로, 가상 대상의 디스플레이가 현실 시나리오 데이터 중 타깃 실물 데이터의 속성 정보에 매칭되도록 할 수 있어, 증강 현실 시나리오의 디스플레이 효과를 향상시킨다.

Claims (22)

  1. 증강 현실 데이터 제시 방법으로서,
    현실 시나리오 데이터를 획득하는 단계;
    상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 단계; 및
    상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  2. 제1항에 있어서,
    상기 현실 시나리오 데이터는 현실 시나리오 이미지를 포함하고;
    상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하기 전, 상기 증강 현실 데이터 제시 방법은,
    상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 검출하는 단계 - 상기 포즈 데이터는 상기 AR 기기가 현실 시나리오에서의 위치 정보 및 촬영 각도 중 적어도 하나를 포함함 - ; 및
    상기 현실 시나리오 이미지에서 디스플레이된 적어도 하나의 실물 대상으로부터, 상기 포즈 데이터에 매칭되는 타깃 실물 대상을 결정하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 증강 현실 데이터 제시 방법은,
    촬영된 참조 실물 대상 자세를 인식하는 단계;
    상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
    상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하는 단계 - 상기 제1 타깃 증강 현실 데이터는 상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 를 더 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  4. 제3항에 있어서,
    상기 참조 실물 대상 자세는 얼굴 표정 및 몸동작 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 촬영된 참조 실물 대상 자세를 인식하는 단계는,
    상기 AR 기기가 현실 시나리오에서의 위치 정보와 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보 사이의 거리를 검출하는 단계; 및
    상기 거리가 기설정된 거리 범위 내에 존재할 경우, 촬영된 참조 실물 대상 자세를 인식하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  6. 제3항 내지 제5항 중 어느 한 항에 있어서,
    상기 촬영된 참조 실물 대상 자세를 인식하는 단계는,
    미리 훈련된 신경 네트워크 모델에 기반하여, 획득된 현실 시나리오 이미지에 대해 자세 인식 처리를 수행하여, 상기 현실 시나리오 이미지 중 디스플레이된 상기 참조 실물 대상 자세를 얻는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 증강 현실 데이터 제시 방법은,
    상기 AR 기기에 작용되는 트리거 동작을 응답하는 단계;
    상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 획득하는 단계; 및
    상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제2 타깃 증강 현실 데이터로 업데이트하는 단계 - 상기 제2 타깃 증강 현실 데이터는 상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  8. 제7항에 있어서,
    상기 트리거 동작은 상기 AR 기기 스크린에 작용되는 동작, 소리 입력 및 상기 AR 기기의 포즈를 변경시키는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 증강 현실 데이터 제시 방법은,
    내비게이션 청구에 응답하여, 상기 AR 기기가 현실 시나리오에서의 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 획득하는 단계;
    상기 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 이용하여, 내비게이션 노선을 생성하는 단계 - 상기 내비게이션 노선에서의 통과 지점은 상기 가상 대상이 현실 시나리오에서의 위치를 포함함 - ; 및
    상기 AR 기기에서 상기 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 데이터를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하는 단계는,
    상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 획득하는 단계; 및
    상기 AR 기기가 현실 시나리오에서의 포즈 데이터 및 상기 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터에 기반하여, 상기 속성 정보에 매칭되는 상기 가상 대상의 특수 효과 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 방법.
  11. 증강 현실 데이터 제시 장치로서,
    현실 시나리오 데이터를 획득하고, 상기 현실 시나리오 데이를 인식부에 전송하도록 구성된 획득부;
    상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하여, 상기 속성 정보에 매칭되는 가상 대상의 특수 효과 데이터를 결정하고, 상기 가상 대상의 특수 효과 데이터를 디스플레이부에 전송하는 인식부; 및
    상기 가상 대상의 특수 효과 데이터에 기반하여, 증강 현실(AR) 기기에서 상기 가상 대상의 특수 효과 데이터를 포함하는 증강 현실 데이터를 디스플레이하도록 구성된 디스플레이부를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  12. 제11항에 있어서,
    상기 현실 시나리오 데이터는 현실 시나리오 이미지를 포함하고; 상기 인식부는 또한,
    상기 현실 시나리오 데이터 중 타깃 실물 대상의 속성 정보를 인식하기 전, 상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 검출하고 - 상기 포즈 데이터는 상기 AR 기기가 현실 시나리오에서의 위치 정보 및 촬영 각도 중 적어도 하나를 포함함 - ;
    상기 현실 시나리오 이미지에서 디스플레이된 적어도 하나의 실물 대상으로부터, 상기 포즈 데이터에 매칭되는 타깃 실물 대상을 결정하도록 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 디스플레이부는 또한,
    촬영된 참조 실물 대상 자세를 인식하고;
    상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며;
    상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제1 타깃 증강 현실 데이터로 업데이트하도록 - 상기 제1 타깃 증강 현실 데이터는 상기 참조 실물 대상 자세에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  14. 제13항에 있어서,
    상기 참조 실물 대상 자세는 얼굴 표정 및 몸동작 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  15. 제13항 또는 제14항에 있어서,
    상기 디스플레이부는 또한,
    상기 AR 기기가 현실 시나리오에서의 위치 정보와 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보 사이의 거리를 검출하고;
    상기 거리가 기설정된 거리 범위 내에 존재할 경우, 촬영된 참조 실물 대상 자세를 인식하도록 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서,
    상기 디스플레이부는 또한,
    미리 훈련된 신경 네트워크 모델에 기반하여, 획득된 현실 시나리오 이미지에 대해 자세 인식 처리를 수행하여, 상기 현실 시나리오 이미지 중 디스플레이된 상기 참조 실물 대상 자세를 얻도록 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서,
    상기 디스플레이부는 또한,
    상기 AR 기기에 작용되는 트리거 동작을 응답하고;
    상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 획득하며;
    상기 AR 기기에서 현재 디스플레이되는 증강 현실 데이터를 제2 타깃 증강 현실 데이터로 업데이트하도록 - 상기 제2 타깃 증강 현실 데이터는 상기 트리거 동작에 매칭되는 가상 대상의 특수 효과 데이터를 포함함 - 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  18. 제17항에 있어서,
    상기 트리거 동작은 상기 AR 기기 스크린에 작용되는 동작, 소리 입력 및 상기 AR 기기의 포즈를 변경시키는 것 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 데이터 제시 장치.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서,
    상기 증강 현실 데이터 장치는 내비게이션부를 더 포함하고, 상기 내비게이션부는,
    내비게이션 청구에 응답하여, 상기 AR 기기가 현실 시나리오에서의 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 획득하고;
    상기 현재 위치 정보 및 상기 가상 대상이 상기 현실 시나리오에서의 대응되는 위치 정보를 이용하여, 내비게이션 노선을 생성하며 - 상기 내비게이션 노선에서의 통과 지점은 상기 가상 대상이 현실 시나리오에서의 위치를 포함함 - ;
    상기 AR 기기에서 상기 내비게이션 노선의 지시 데이터를 포함하는 증강 현실 데이터를 디스플레이하도록 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  20. 제11항 내지 제19항 중 어느 한 항에 있어서,
    상기 인식부는 또한,
    상기 AR 기기가 현실 시나리오에서의 포즈 데이터를 획득하고;
    상기 AR 기기가 현실 시나리오에서의 포즈 데이터 및 상기 가상 대상이 현실 시나리오를 나타내기 위한 3 차원 시나리오 모델에서의 포즈 데이터에 기반하여, 상기 속성 정보에 매칭되는 상기 가상 대상의 특수 효과 데이터를 결정하도록 구성된 것임을 특징으로 하는 증강 현실 데이터 제시 장치.
  21. 전자 기기로서,
    프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 상기 제1항 내지 제10항 중 어느 한 항에 따른 증강 현실 데이터 제시 방법의 단계를 실행하는 것을 특징으로 하는 전자 기기.
  22. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1항 내지 제10항 중 어느 한 항에 따른 증강 현실 데이터 제시 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
KR1020207037546A 2019-10-15 2020-08-27 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체 KR20210046591A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237003932A KR20230022269A (ko) 2019-10-15 2020-08-27 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910979912.0A CN110716645A (zh) 2019-10-15 2019-10-15 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN201910979912.0 2019-10-15
PCT/CN2020/111888 WO2021073268A1 (zh) 2019-10-15 2020-08-27 一种增强现实数据呈现方法、装置、电子设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237003932A Division KR20230022269A (ko) 2019-10-15 2020-08-27 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체

Publications (1)

Publication Number Publication Date
KR20210046591A true KR20210046591A (ko) 2021-04-28

Family

ID=69212600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037546A KR20210046591A (ko) 2019-10-15 2020-08-27 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체

Country Status (5)

Country Link
KR (1) KR20210046591A (ko)
CN (1) CN110716645A (ko)
SG (1) SG11202013122PA (ko)
TW (1) TW202119362A (ko)
WO (1) WO2021073268A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830155B2 (en) 2020-10-06 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
WO2021184388A1 (zh) * 2020-03-20 2021-09-23 Oppo广东移动通信有限公司 图像展示方法及装置、便携式电子设备
CN111538920A (zh) * 2020-03-24 2020-08-14 天津完美引力科技有限公司 内容的呈现方法及装置、***、存储介质、电子装置
CN111416938B (zh) * 2020-03-27 2021-11-02 咪咕文化科技有限公司 一种增强现实合拍方法、设备及计算机可读存储介质
CN111476911B (zh) * 2020-04-08 2023-07-25 Oppo广东移动通信有限公司 虚拟影像实现方法、装置、存储介质与终端设备
CN111652979A (zh) * 2020-05-06 2020-09-11 福建工程学院 一种实现ar的方法和***
CN111625091B (zh) * 2020-05-14 2021-07-20 佳都科技集团股份有限公司 基于ar眼镜的标签叠加方法及装置
KR20210148074A (ko) * 2020-05-26 2021-12-07 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示***及装置
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN111627117B (zh) * 2020-06-01 2024-04-16 上海商汤智能科技有限公司 画像展示特效的调整方法、装置、电子设备及存储介质
CN111595346B (zh) * 2020-06-02 2022-04-01 浙江商汤科技开发有限公司 导航提醒方法、装置、电子设备及存储介质
CN111640190A (zh) * 2020-06-02 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、电子设备及存储介质
CN111625103A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 雕塑展示方法、装置、电子设备及存储介质
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
CN111625100A (zh) * 2020-06-03 2020-09-04 浙江商汤科技开发有限公司 图画内容的呈现方法、装置、计算机设备及存储介质
CN111638793B (zh) * 2020-06-04 2023-09-01 浙江商汤科技开发有限公司 飞行器的展示方法、装置、电子设备及存储介质
CN111640183A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种ar数据展示控制方法及装置
CN111638792A (zh) * 2020-06-04 2020-09-08 浙江商汤科技开发有限公司 Ar效果的呈现方法、装置、计算机设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111639611A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种历史文物的展示控制方法及装置
CN111640193A (zh) * 2020-06-05 2020-09-08 浙江商汤科技开发有限公司 文字处理方法、装置、计算机设备及存储介质
CN111640192A (zh) * 2020-06-05 2020-09-08 上海商汤智能科技有限公司 场景图像处理方法、装置、ar设备以及存储介质
CN111651047B (zh) * 2020-06-05 2023-09-19 浙江商汤科技开发有限公司 一种虚拟物体展示方法、装置、电子设备及存储介质
CN111640184A (zh) * 2020-06-05 2020-09-08 上海商汤智能科技有限公司 古建筑物重现方法、装置、电子设备及存储介质
CN111638797A (zh) * 2020-06-07 2020-09-08 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111643900B (zh) * 2020-06-08 2023-11-28 浙江商汤科技开发有限公司 一种展示画面控制方法、装置、电子设备和存储介质
CN111640165A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 Ar合影图像的获取方法、装置、计算机设备及存储介质
CN111679741B (zh) * 2020-06-08 2023-11-28 浙江商汤科技开发有限公司 一种图像处理方法、装置、电子设备和存储介质
CN111640166B (zh) * 2020-06-08 2024-03-26 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质
CN111651049B (zh) * 2020-06-08 2024-01-09 浙江商汤科技开发有限公司 交互方法、装置、计算机设备及存储介质
CN111640197A (zh) * 2020-06-09 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效控制方法、装置及设备
CN111857341B (zh) * 2020-06-10 2023-06-13 浙江商汤科技开发有限公司 一种展示控制方法及装置
CN111640199B (zh) * 2020-06-10 2024-01-09 浙江商汤科技开发有限公司 一种ar特效数据生成的方法及装置
CN111640200B (zh) * 2020-06-10 2024-01-09 浙江商汤科技开发有限公司 一种ar场景特效生成的方法及装置
CN111640202B (zh) * 2020-06-11 2024-01-09 浙江商汤科技开发有限公司 一种ar场景特效生成的方法及装置
CN111652986B (zh) * 2020-06-11 2024-03-05 浙江商汤科技开发有限公司 舞台效果呈现方法、装置、电子设备及存储介质
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN111667588A (zh) * 2020-06-12 2020-09-15 上海商汤智能科技有限公司 人物图像处理方法、装置、ar设备以及存储介质
CN111652987B (zh) * 2020-06-12 2023-11-07 浙江商汤科技开发有限公司 一种ar合影图像生成的方法及装置
CN111693063A (zh) * 2020-06-12 2020-09-22 浙江商汤科技开发有限公司 导航互动展示方法、装置、电子设备及存储介质
CN111667590B (zh) * 2020-06-12 2024-03-22 上海商汤智能科技有限公司 一种互动合影方法、装置、电子设备及存储介质
CN111862341A (zh) * 2020-07-09 2020-10-30 北京市商汤科技开发有限公司 虚拟对象的驱动方法、装置、显示设备及计算机存储介质
CN111833461B (zh) * 2020-07-10 2022-07-01 北京字节跳动网络技术有限公司 一种图像特效的实现方法、装置、电子设备及存储介质
CN111897431B (zh) * 2020-07-31 2023-07-25 北京市商汤科技开发有限公司 展示方法及装置、显示设备、计算机可读存储介质
CN111880659A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 虚拟人物控制方法及装置、设备、计算机可读存储介质
CN111881861B (zh) * 2020-07-31 2023-07-21 北京市商汤科技开发有限公司 一种展示方法、装置、设备及存储介质
CN111899350A (zh) * 2020-07-31 2020-11-06 北京市商汤科技开发有限公司 增强现实ar图像的呈现方法及装置、电子设备、存储介质
CN111880664B (zh) * 2020-08-03 2024-06-14 深圳传音控股股份有限公司 Ar互动方法、电子设备及可读存储介质
CN111882567A (zh) * 2020-08-03 2020-11-03 深圳传音控股股份有限公司 Ar效果的处理方法、电子设备及可读存储介质
CN111982093A (zh) * 2020-08-24 2020-11-24 深圳市慧鲤科技有限公司 导航方法、装置、电子设备和存储介质
CN112037314A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 图像显示方法、装置、显示设备及计算机可读存储介质
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
CN112068704B (zh) * 2020-09-10 2023-12-08 上海幻维数码创意科技股份有限公司 一种在目标对象上显示增强现实效果的方法
CN112437226B (zh) * 2020-09-15 2022-09-16 上海传英信息技术有限公司 图像处理方法、设备及存储介质
CN112148197A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实ar交互方法、装置、电子设备及存储介质
CN112270765A (zh) * 2020-10-09 2021-01-26 百度(中国)有限公司 信息处理方法、装置、终端、电子设备以及存储介质
CN114529690B (zh) * 2020-10-30 2024-02-27 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN112288889A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 指示信息展示方法、装置、计算机设备及存储介质
CN112348968B (zh) * 2020-11-06 2023-04-25 北京市商汤科技开发有限公司 增强现实场景下的展示方法、装置、电子设备及存储介质
CN114584684A (zh) * 2020-11-30 2022-06-03 北京市商汤科技开发有限公司 信息展示方法、装置、电子设备及存储介质
CN112927293A (zh) * 2021-03-26 2021-06-08 深圳市慧鲤科技有限公司 Ar场景展示方法及装置、电子设备和存储介质
CN112991555B (zh) * 2021-03-30 2023-04-07 北京市商汤科技开发有限公司 数据展示方法、装置、设备以及存储介质
CN113190116A (zh) * 2021-04-28 2021-07-30 北京市商汤科技开发有限公司 日程提醒方法、装置、电子设备及存储介质
CN113411248B (zh) * 2021-05-07 2024-03-05 上海纽盾科技股份有限公司 等保测评中结合ar的数据可视化处理方法及***
CN113325951B (zh) * 2021-05-27 2024-03-29 百度在线网络技术（北京）有限公司 基于虚拟角色的操作控制方法、装置、设备以及存储介质
CN113238657A (zh) * 2021-06-03 2021-08-10 北京市商汤科技开发有限公司 一种信息的展示方法、装置、计算机设备及存储介质
CN113359984A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 瓶体的特效呈现方法、装置、计算机设备及存储介质
CN113359983A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、电子设备及存储介质
CN113426117B (zh) * 2021-06-23 2024-03-01 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
CN113470186A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 Ar交互方法、装置、电子设备及存储介质
CN113838217B (zh) * 2021-09-23 2023-09-12 北京百度网讯科技有限公司 信息展示方法、装置、电子设备及可读存储介质
CN113867528A (zh) * 2021-09-27 2021-12-31 北京市商汤科技开发有限公司 显示方法、装置、设备及计算机可读存储介质
CN114155605B (zh) * 2021-12-03 2023-09-15 北京字跳网络技术有限公司 一种控制方法、装置以及计算机存储介质
CN116212361B (zh) * 2021-12-06 2024-04-16 广州视享科技有限公司 虚拟对象显示方法、装置和头戴式显示装置
CN114265330B (zh) * 2021-12-17 2023-05-02 中国人民解放军空军特色医学中心 一种基于模拟飞行的增强现实显示效果评估***及方法
CN114332429A (zh) * 2021-12-31 2022-04-12 北京绵白糖智能科技有限公司 增强现实ar场景的展示方法及装置
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114390215B (zh) * 2022-01-20 2023-10-24 脸萌有限公司 一种视频生成方法、装置、设备以及存储介质
CN114935994A (zh) * 2022-05-10 2022-08-23 阿里巴巴（中国）有限公司 物品数据处理方法、设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043890A (zh) * 2009-10-16 2011-05-04 马天龙 一种将实体与虚拟物品相关联的控制平台及相应控制方法
JP6108926B2 (ja) * 2013-04-15 2017-04-05 オリンパス株式会社 ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法
CN103530903A (zh) * 2013-10-28 2014-01-22 智慧城市***服务（中国）有限公司 一种虚拟试衣间的实现方法及实现***
US10600111B2 (en) * 2016-11-30 2020-03-24 Bank Of America Corporation Geolocation notifications using augmented reality user devices
CN107204031B (zh) * 2017-04-27 2021-08-24 腾讯科技（深圳）有限公司 信息展示方法及装置
EP3639261B1 (en) * 2017-05-05 2023-08-30 Unity IPR APS Contextual applications in a mixed reality environment
CN108874114B (zh) * 2017-05-08 2021-08-03 腾讯科技（深圳）有限公司 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN108932051B (zh) * 2017-05-24 2022-12-16 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN109213728A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及***
CN108491485A (zh) * 2018-03-13 2018-09-04 北京小米移动软件有限公司 信息提示方法、装置和电子设备
CN108537149B (zh) * 2018-03-26 2020-06-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108519817A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 基于增强现实的交互方法、装置、存储介质及电子设备
CN108563327B (zh) * 2018-03-26 2020-12-01 Oppo广东移动通信有限公司 增强现实方法、装置、存储介质及电子设备
CN108492363B (zh) * 2018-03-26 2020-03-10 Oppo广东移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN108829250A (zh) * 2018-06-04 2018-11-16 苏州市职业大学 一种基于增强现实ar的对象互动展示方法
CN108876484A (zh) * 2018-08-06 2018-11-23 百度在线网络技术（北京）有限公司 商品推荐方法及装置
CN109298780A (zh) * 2018-08-24 2019-02-01 百度在线网络技术（北京）有限公司 基于ar的信息处理方法、装置、ar设备及存储介质
CN109345637B (zh) * 2018-08-27 2021-01-26 创新先进技术有限公司 基于增强现实的互动方法及装置
CN109078327A (zh) * 2018-08-28 2018-12-25 百度在线网络技术（北京）有限公司 基于ar的游戏实现方法和设备
CN109089097A (zh) * 2018-08-28 2018-12-25 恒信东方文化股份有限公司 一种基于vr图像处理的焦点对象选取方法
CN109459029B (zh) * 2018-11-22 2021-06-29 亮风台（上海）信息科技有限公司 一种用于确定目标对象的导航路线信息的方法与设备
CN109741462A (zh) * 2018-12-29 2019-05-10 广州欧科信息技术股份有限公司 基于ar的展品导赏装置、方法及存储介质
CN110286773B (zh) * 2019-07-01 2023-09-19 腾讯科技（深圳）有限公司 基于增强现实的信息提供方法、装置、设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830155B2 (en) 2020-10-06 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and operating method thereof

Also Published As

Publication number Publication date
TW202119362A (zh) 2021-05-16
WO2021073268A1 (zh) 2021-04-22
SG11202013122PA (en) 2021-05-28
CN110716645A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
KR20210046591A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
KR20230022269A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
US10657716B2 (en) Collaborative augmented reality system
CN107810465B (zh) 用于产生绘制表面的***和方法
KR20210123357A (ko) 신체 자세 추정
CN105981076B (zh) 合成增强现实环境的构造
KR20200010296A (ko) 가상, 증강 및 혼합 현실 디스플레이 시스템들을 위한 키보드들
KR102417786B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기, 저장 매체 및 프로그램
KR20230096043A (ko) 실시간 3d 신체 모션 캡처로부터의 사이드-바이-사이드 캐릭터 애니메이션
JP6224327B2 (ja) 情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム
EP4222581A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
KR20210148074A (ko) Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체
KR20180013892A (ko) 가상 현실을 위한 반응성 애니메이션
CN106536004B (zh) 增强的游戏平台
JP2018514836A (ja) バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化
CN114514493A (zh) 增强设备
JP2022512525A (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
CN103752010B (zh) 用于控制设备的增强现实覆盖
CN110192169A (zh) 虚拟场景中菜单处理方法、装置及存储介质
US11922904B2 (en) Information processing apparatus and information processing method to control display of a content image
CN113066189A (zh) 一种增强现实设备及虚实物体遮挡显示方法
KR101770188B1 (ko) 혼합 현실 체험 공간 제공 방법 및 시스템
Ortman et al. Guidelines for user interactions in mobile augmented reality
CN113031846B (zh) 用于展示任务的描述信息的方法、装置及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
WITB Written withdrawal of application