KR20210148074A - Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체 - Google Patents

Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체 Download PDF

Info

Publication number
KR20210148074A
KR20210148074A KR1020217020429A KR20217020429A KR20210148074A KR 20210148074 A KR20210148074 A KR 20210148074A KR 1020217020429 A KR1020217020429 A KR 1020217020429A KR 20217020429 A KR20217020429 A KR 20217020429A KR 20210148074 A KR20210148074 A KR 20210148074A
Authority
KR
South Korea
Prior art keywords
virtual object
data
data packet
scenario
initial
Prior art date
Application number
KR1020217020429A
Other languages
English (en)
Inventor
신루 호우
칭 루안
딩루 왕
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010456842.3A external-priority patent/CN111610997A/zh
Priority claimed from CN202010456843.8A external-priority patent/CN111610998A/zh
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20210148074A publication Critical patent/KR20210148074A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 AR 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체를 제공하고, 여기서, 생성 방법은, 제1 트리거 동작에 응답하여, 상기 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하는 단계; 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및 상기 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계를 포함한다.

Description

AR 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체
본 발명은 2020년 05월 26일인 중국 특허 출원에 기반하여 제출한, 출원 번호가 202010456842.3이며, 출원 명칭이 "AR 시나리오 콘텐츠의 생성 방법, 전시 방법, 전시 시스템 및 장치" 및 2020년 05월 26일인 중국 특허 출원에 기반하여 제출한, 출원 번호가 202010456843.8이며, 출원 명칭이 "AR 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체"인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 참조로서 본 발명에 인용된다.
본 발명은 증강 현실 기술분야에 관한 것으로서, 구체적으로, AR 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체에 관한 것이다.
증강 현실(Augmented Reality, AR) 기술은 가상 대상을 실제 세계와 교묘하게 융합하는 기술로서, 컴퓨터에 의해 생성된 텍스트, 이미지, 3 차원 모델, 음악, 비디오 등 가상 대상을 시뮬레이션한 후, 실제 세계에 적용함으로써, 증강 현실 시나리오를 프리젠테이션한다.
증강 현실 시나리오를 프리젠테이션하기 전, 증강 현실 시나리오에서 가상 대상, 및 가상 대상의 전시 정보와 같은 전시된 AR 콘텐츠를 미리 결정할 수 있지만, 현재 현실 시나리오의 내부 환경에 변화가 발생되면, 사전 제작된 가상 대상과 현재 현실 시나리오는 더이상 매칭되지 않으므로, 현실 시나리오에서 가상 대상을 오버랩할 경우, 증강 현실 시나리오의 전시 효과가 나쁘다.
본 발명의 실시예는 적어도 AR 시나리오 콘텐츠의 생성 방안을 제공한다.
제1 측면에 있어서, 본 발명의 실시예는 증강 현실(AR) 시나리오 콘텐츠의 생성 방법을 제공하고, 상기 방법은,
제1 트리거 동작에 응답하여, 상기 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하는 단계;
상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및
상기 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계를 포함한다.
본 발명의 실시예에 있어서, 제1 트리거 동작을 검출할 경우, 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득할 수 있으며, 초기 AR 데이터와 관련된 적어도 하나의 가상 대상을 포함하는 업데이트 데이터를 추가로 획득할 수 있으며, 예를 들어 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함할 수 있으며, 다음 업데이트 데이터에 기반하여 초기 AR 데이터 패킷을 업데이트하여, 타깃 현실 시나리오에 더욱 매칭되는 가상 대상을 얻음으로써, 증강 현실 시나리오의 진실감 효과를 향상시킨다.
제2 측면에 있어서, 본 발명의 실시예에서 증강 현실(AR) 시나리오 콘텐츠의 전시 방법을 제공하고, 상기 방법은,
제2 트리거 동작에 응답하여, 상기 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하는 단계 - 상기 AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ;
AR 기기가 현재 상기 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 상기 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 상기 제1 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하는 단계; 및
상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하는 단계를 포함한다.
본 발명의 실시예에 있어서, 제2 트리거 동작에 응답하여, 상기 제2 트리거 동작에 관련된 AR 데이터 패킷을 획득할 수 있으며, 더 나아가 AR 기기에 대응되는 제2 포즈 데이터, 및 AR 데이터 패킷에 미리 설정된 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터에 기반하여, 가상 대상이 상기 타깃 현실 시나리오에서의 프리젠테이션 특수 효과 정보를 결정하며, 최종적으로 AR 기기에서 진실된 증강 현실 시나리오 효과를 전시한다.
제3 측면에 있어서, 본 발명의 실시예는 증강 현실(AR) 시나리오 콘텐츠의 생성 장치를 제공하고, 상기 장치는,
제1 트리거 동작에 응답하여, 상기 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하기 위한 제1 획득 모듈;
상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 제2 획득 모듈 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및
상기 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하기 위한 업데이트 모듈을 포함한다.
제4 측면에 있어서, 본 발명의 실시예는 증강 현실(AR) 시나리오 콘텐츠의 전시 장치를 제공하고, 상기 장치는,
제2 트리거 동작에 응답하여, 상기 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하기 위한 획득 모듈 - 상기 AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ;
AR 기기가 현재 상기 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 상기 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 상기 제1 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하기 위한 결정 모듈; 및
상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하기 위한 전시 모듈을 포함한다.
제5 측면에 있어서, 본 발명의 실시예에서 전자 기기를 제공하고, 상기 전자 기기는 프로세서, 메모리 및 버스를 포함하며, 상기 메모리는 상기 프로세서에 의해 실행 가능한 기계 판독 가능한 명령어를 저장하며, 전자 기기가 작동될 경우, 상기 프로세서는 상기 메모리 사이와 버스를 통해 통신하며, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1 측면에 따른 생성 방법의 단계를 실행하거나, 제2 측면에 따른 전시 방법의 단계를 실행한다.
제6 측면에 있어서, 본 발명의 실시예에서 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1 측면에 따른 생성 방법의 단계를 실행하거나, 제2 측면에 따른 전시 방법의 단계를 실행한다.
본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 본 발명의 실시예에서 제공한 첫 번째 AR 시나리오 콘텐츠의 생성 방법의 흐름도이다.
도 2a는 본 발명의 실시예에서 제공한 AR 데이터 패킷 다운로드 인터페이스 예시도이다.
도 2b는 본 발명의 실시예에서 제공한 AR 데이터 패킷 다운로드 및 업로드의 인터페이스 예시도이다.
도 3은 본 발명의 실시예에서 제공한 위치 결정 프롬프트의 페이지 예시도이다.
도 4는 본 발명의 실시예에서 제공한 가상 대상의 포즈 데이터 전시 페이지 예시도이다.
도 5는 본 발명의 실시예에서 제공한 가상 대상의 포즈 데이터 편집 페이지 예시도이다.
도 6은 본 발명의 실시예에서 제공한 인터랙션 데이터에 의해 생성된 인터페이스 예시도이다.
도 7은 본 발명의 실시예에서 제공한 AR 데이터 패킷 저장 페이지 예시도이다.
도 8은 본 발명의 실시예에서 제공한 업로드 업데이트된 AR 데이터 패킷의 인터페이스 흐름도이다.
도 9는 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠의 전시 방법의 흐름도이다.
도 10은 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠가 전시될 경우 AR 기기에서 수행된 위치 결정 프롬프트 예시도이다.
도 11은 본 발명의 실시예에서 제공한 증강 현실의 시나리오 예시도이다.
도 12는 본 발명의 실시예에서 제공한 두 번째 AR 시나리오 콘텐츠의 생성 방법의 흐름도이다.
도 13은 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠의 전시 시스템의 구조 예시도이다.
도 14는 본 발명의 실시예에서 제공한 세 번째 AR 시나리오 콘텐츠의 생성 방법의 흐름도이다.
도 15은 본 발명의 실시예에서 제공한 첫 번째 AR 시나리오 콘텐츠의 생성 장치의 구조 예시도이다.
도 16은 본 발명의 실시예에서 제공한 첫 번째 AR 시나리오 콘텐츠의 전시 장치의 구조 예시도이다.
도 17은 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이다.
본 발명의 목적, 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일 뿐임은 자명한 것이다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 얻은 다른 실시예는 전부 본 발명의 보호 범위에 속해야 한다.
유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 정의되고 해석될 필요가 없다.
본 명세서에서 용어 "및 /또는"은 다만 상관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낸다. 또한, 본 문에서 용어 "적어도 하나"는 복수의 어느 하나 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나 또는 복수 개의 요소를 나타낼 수 있다.
증강 현실(Augmented Reality, AR) 기술은 AR 기기에 적용될 수 있고, AR 기기는 AR 기능을 지원 가능한 임의의 전자 기기일 수 있으며, AR 안경, 태블릿 컴퓨터, 스마트 핸드폰 등을 포함하지만 이에 한정되지 않는다. AR 기기가 현실 시나리오에서 동작될 경우, 상기 AR 기기를 통해 현실 시나리오에 오버랩된 가상 대상을 볼 수 있으며, 예를 들어 일부 건축물 또는 여행 관광지를 지나갈 경우, AR 기기를 통해 건축물 또는 여행 관광지의 부근에 오버랩된 가상 그래픽 소개를 볼수 있으며, 여기서 가상 그래픽은 가상 대상으로 지칭될 수 있으며, 건축물 또는 여행 관광지는 실제 시나리오일 수 있으며, 이러한 시나리오 하에서, AR 안경을 통해 보이는 가상 그래픽 소개는, AR 안경의 방향 각도의 변화에 따라 변화되며, 여기서 가상 그래픽 소개는 AR 안경 위치 관계와 연관되지만, 다른 일부 시나리오에서, 우리는 실제 책상 위에 배치된 가상 화분을 보고싶다거나, 실제 학교 운동장에 오버랩된 가상 나무를 보고싶어 하는 등과 같이, 더욱 진실된 가상과 현실이 결합된 증강 현실 시나리오를 보고싶어 하며, 이러한 방식에서, 가상 화분 및 가상 나무가 현실 시나리오와 더욱 잘 융합 가능하도록 하는 방법을 고려해야 하여, 증강 현실 시나리오에서 가상 대상에 대한 프리젠테이션 효과를 구현하며, 상기 프리젠테이션 효과가 구현되는 방법은, 본 발명의 실시예에서 토론해야 하는 콘텐츠이며, 아래에 구체적인 실시예를 결합하여 반복 설명하고자 한다.
본 실시예에 대한 이해를 용이하게 하기 위해, 먼저 본 발명의 실시예에서 개시된 AR 시나리오 콘텐츠의 생성 방법을 상세하게 소개하며, 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠의 생성 방법의 실행 주체는 상기 AR 기기일 수 있으며, 예를 들어 AR 안경, 태블릿 컴퓨터, 스마트 폰, 스마트 웨어러블 기기 등 디스플레이 기능 및 데이터 처리 기능을 구비하는 기기를 포함할 수 있으며, 본 발명의 실시예에서 한정하지 않으며, 일부 가능한 구현 형태에 있어서, 상기 AR 시나리오 콘텐츠의 생성 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.
도 1에 도시된 바를 참조하면, 이는 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠의 생성 방법의 흐름도이고, 상기 생성 방법은 아래의 단계 S101~단계 S103을 포함한다.
단계 S101에 있어서, 제1 트리거 동작에 응답하여, 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득한다.
예시적으로, 제1 트리거 동작은 타깃 현실 시나리오에 관련된 어느 한 초기 AR 데이터 패킷에 대응되는 편집 옵션에 대한 트리거 동작일 수 있고, 트리거 동작은 예를 들어 편집 옵션을 선택하는 동작, 또는, 직접 음성 또는 제스처 등의 방식을 통해 트리거하는 동작 등이며, 본 발명은 이에 대해 한정하지 않는다.
도 2a에 도시된 바와 같이, 이는 "XXX빌딩-15층" 및 다른 현실 시나리오에 각각 관련된 AR 데이터 패킷의 예시도이며, "[예] 사이언스 픽션" 카테고리의 초기 AR 데이터 패킷의 편집 옵션이 트리거된 것과 같이, "XXX빌딩-15층"에 대응되는 어느 한 AR 데이터 패킷의 편집 옵션이 트리거된 것을 검출하면, 서버에 타깃 현실 시나리오"XXX빌딩-15층"에 관련된 "[예] 사이언스 픽션" 카테고리의 초기 AR 데이터 패킷을 획득하도록 요청할 수 있다.
여기서, 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷의 개수는 적어도 하나일 수 있고, 상이한 초기 AR 데이터 패킷은 상이한 AR 시나리오의 카테고리에 대응될 수 있다. 예시적으로, 각 초기 AR 데이터 패킷은 라벨 정보를 포함할 수 있고, 상기 라벨 정보는 상기 초기 AR 데이터 패킷의 카테고리를 나타내기 위한 것이며, 예를 들어 "사이언스 픽션 카테고리", "카툰 카테고리" 및 "역사 카테고리" 중 하나 또는 복수 개를 포함할 수 있으며, 다양한 카테고리는 AR 시나리오 중 전시될 가상 대상의 스타일을 나타내기 위한 것이며; 여기서, 각 초기 AR 데이터 패킷은 사전에 설정된 가상 대상을 포함할 수 있으며, 가상 대상을 포함하지 않을 수도 있다.
예시적으로, 타깃 현실 시나리오는 건축물의 실내 시나리오, 또는 거리 시나리오일 수 있고, 또한 가상 대상을 오버랩 가능한 어느 한 타깃 현실 시나리오일 수 있다.
단계 S102에 있어서, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하고; 업데이트 데이터는 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함한다.
여기서, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상은 초기 AR 데이터 패킷 중 로컬에 포함된 가상 대상을 포함할 수 있고, 또한 네트워크를 통해 다운로드된 가상 대상을 포함할 수 있으며, 또한 사전에 구축된 소재 라이브러리로부터 획득된 가상 대상을 포함할 수 있으며, 여기서, 소재 라이브러리는 로컬에 설정될 수 있을 뿐만 아니라, 클라우드 서버에 설정될 수도 있으며, 본 발명은 이에 대해 한정하지 않는다.
예시적으로, 가상 대상은 상기 언급된 가상 화분, 가상 나무 등 정적인 가상 모델일 수 있거나, 일부 가상 비디오 및 가상 동화상 등 동적인 가상 대상일 수 있으며, 가상 대상의 제1 포즈 데이터는 가상 대상 프리젠테이션 경우의 위치 및 자세 중 적어도 하나를 나타낼 수 있는 데이터를 포함하지만 이에 한정되지 않으며, 예를 들어 가상 대상이 타깃 현실 시나리오에 대응되는 좌표계에서의 위치 좌표, 편향각 및 사이즈 정보를 포함할 수 있다.
단계 S103에 있어서, 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성한다.
일부 실시예에 있어서, 획득된 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷에서의 관련된 가상 대상의 콘텐츠를 업데이트하여, 업데이트된 AR 데이터 패킷을 얻을 수 있으며, 여기서, 업데이트 방식은 직접 업데이트 데이터를 초기 AR 데이터 패킷에 추가하는 것일 수 있거나, 초기 AR 데이터 패킷 중 기존된 일부 데이터를 대체하는 것일 수 있어, 업데이트된 AR 데이터 패킷을 얻으며, 상기 업데이트된 AR 데이터 패킷은 상기 언급된 초기 AR 데이터 패킷에 관련된 가상 대상, 및 적어도 하나의 가상 대상의 업데이트 데이터를 포함한다.
얻은 업데이트된 AR 데이터 패킷이 AR 기기가 타깃 현실 시나리오를 촬영하는데 사용 가능할 경우, 업데이트된 AR 데이터 패킷에 따라 타깃 현실 시나리오에 융합된 가상 대상을 전시한다.
본 발명의 실시예에 있어서, 제1 트리거 동작을 검출할 경우, 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득할 수 있으며, 초기 AR 데이터와 관련된 적어도 하나의 가상 대상을 포함하는 업데이트 데이터를 추가로 획득할 수 있으며, 예를 들어 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함할 수 있으며, 다음 업데이트 데이터에 기반하여 초기 AR 데이터 패킷 업데이트를 수행하여, 타깃 현실 시나리오에 더욱 매칭되는 가상 대상을 얻음으로써, 증강 현실 시나리오의 진실감 효과를 향상시킨다.
아래에 구체적인 실시예를 결합하여 상기 단계 S101~단계 S103을 구체적으로 반복 설명하고자 한다.
한 가지 실시형태에 있어서, 본 발명의 실시예에서 제공한 생성 방법은 AR 생성 엔드에 적용될 수 있고, 상기 생성 방법은,
제1 트리거 동작에 의해 지시된 타깃 현실 시나리오의 3 차원 시나리오 모델을 획득하는 단계를 더 포함한다.
예시적으로, AR 생성 엔드는 컴퓨터, 노트북, 태블릿 등 기기일 수 있고, 이러한 기기는 AR 시나리오 콘텐츠를 생성 및 편집하기 위한 애플리케이션 프로그램을 장착할 수 있거나 AR 시나리오 콘텐츠를 생성 및 편집하기 위한 WEB 페이지를 액세스할 수 있으며, 사용자는 애플리케이션 프로그램 또는 WEB 페이지에서 AR 시나리오 콘텐츠를 원격으로 편집할 수 있으며, 예를 들어, 타깃 현실 시나리오를 나타내는 3 차원 시나리오 모델을 통해 타깃 현실 시나리오를 시뮬레이션하여, 타깃 현실 시나리오에서 구성할 필요없이, 직접 3 차원 시나리오 모델에 전시될 가상 대상의 연관 데이터를 구성할 수 있음으로써, AR 시나리오 콘텐츠의 생성을 구현할 수 있다.
일부 실시예에 있어서, AR 생성 엔드의 디스플레이 인터페이스에는 복수 개의 현실 시나리오에 대응되는 편집 옵션이 전시될 수 있고, 어느 한 편집 옵션이 트리거된 것을 검출한 후, 트리거된 편집 옵션에 대응되는 현실 시나리오를 타깃 현실 시나리오로 사용할 수 있으며, 타깃 현실 시나리오의 편집 옵션이 트리거됨으로써, 상기 타깃 현실 시나리오의 3 차원 시나리오 모델을 획득할 수 있어, 후속 상기 타깃 현실 시나리오 모델의 3 차원 시나리오 모델에 전시될 가상 대상을 추가하는데 용이하다. 또는, AR 생성 엔드의 디스플레이 인터페이스에는 지도가 전시될 수 있고, 상기 지도에는 복수 개의 관심 지점(Point Of Interest, POI)이 설정되며, 각 POI 포인트는 하나의 현실 시나리오에 대응되며, 사용자가 어느 한 현실 시나리오의 POI를 클릭할 경우, AR 생성 엔드는 마찬가지로 상기 타깃 현실 시나리오에 대한 편집 옵션이 트리거된 것을 검출할 수 있음으로써, 타깃 현실 시나리오를 나타내는 3 차원 시나리오 모델, 및 타깃 현실 시나리오에 관련된 초기 증강 현실(AR) 데이터 패킷을 획득하여, 후속 상기 타깃 현실 시나리오 모델의 3 차원 시나리오 모델에 전시될 가상 대상을 추가하는데 용이하다.
예시적으로, 타깃 현실 시나리오를 나타내는 3 차원 시나리오 모델과 상기 타깃 현실 시나리오는 동일한 좌표계 하에서 등비례로 프리젠테이션되며, 예를 들어 타깃 현실 시나리오에 거리 및 거리 양측의 건물이 포함되면, 상기 타깃 현실 시나리오의 3 차원 시나리오 모델도 마찬가지로 상기 거리의 모델 및 상기 거리 양측의 건물을 포함하는 것을 나타내며, 3 차원 시나리오 모델과 타깃 현실 시나리오는 동일한 좌표계에서 예를 들어 1:1 비례에 따라 프리젠테이션될 수 있거나, 등비례로 프리젠테이션될 수도 있다.
도 2b에 도시된 바와 같이, AR 시나리오 콘텐츠가 전시된 편집 페이지는, 편집 인터페이스에서 "업데이트 체험 패키지 리스트" 옵션이 트리거된 것을 검출하면, "XXX빌딩-15층"과 같은 여러 가지 현실 시나리오를 획득할 수 있으며, 편집 인터페이스 중 "다운로드 시나리오"가 트리거된 것을 검출하면, 타깃 현실 시나리오에 대한 제1 트리거 동작을 검출한 것으로 간주할 수 있음으로써, 상기 타깃 현실 시나리오를 나타내는 3 차원 시나리오 모델, 및 라벨 정보가 "크리스마스" 및 "원단절"인 두 개의 초기 AR 체험 패키지와 같은 상기 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득할 수 있다.
상기 타깃 현실 시나리오에 관련된 초기 AR 체험 패키지(초기 AR 데이터 패킷)가 "크리스마스"인 카테고리 태깅은 "사이언스 픽션" 및 "자연"의 태깅을 추가로 포함하는 것을 알 수 있는데, 이는 창조된 가상 대상이 사이언스 픽션 카테고리에 속하는 가상 대상, 및 자연 카테고리에 속하는 가상 대상일 수 있음을 설명하고, 물론 후기 편집할 경우, 업로드된 가상 대상의 카테고리에 기반하여 AR 데이터 패킷의 카테고리를 변경할 수 있다.
더 나아가, 상기 단계 S102의 경우, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득할 경우, 상기 단계 S102은 아래와 같은 단계를 포함한다.
단계 S1021에 있어서, 로딩된 3 차원 시나리오 모델을 전시한다.
단계 S1022에 있어서, 적어도 하나의 가상 대상이 3 차원 시나리오 모델에 위치할 경우의 업데이트 데이터를 획득하고, 업데이트 데이터는 적어도 하나의 가상 대상이 3 차원 시나리오 모델에 위치할 경우의 제1 포즈 데이터를 포함한다.
예시적으로, 가상 대상이 3 차원 시나리오 모델에 위치할 경우의 제1 포즈 데이터는 상기 가상 대상이 상기 3 차원 시나리오 모델의 좌표계에 위치할 경우의 위치 좌표, 편향각 및 사이즈 정보를 포함하며, 여기서, 편향각은 가상 대상의 지정된 정방향과 3 차원 시나리오 모델 좌표계의 좌표축 사이의 협각을 통해 나타낼 수 있다.
예시적으로, 3 차원 시나리오 모델과 타깃 현실 시나리오는 동일한 좌표계에서 1:1 비례로 프리젠테이션될 수 있고, 상이한 좌표계에서 등비례로 프리젠테이션될 수 있으므로, 여기서 가상 대상이 3 차원 시나리오 모델에서 프리젠테이션될 경우의 제1 포즈 데이터를 획득하고, 후기 AR 기기에서 프리젠테이션될 경우, 가상 대상이 타깃 현실 시나리오에서의 프리젠테이션 특수 효과 정보를 나타낼 수 있다.
여기서, 사용자가 AR 생성 엔드에서 전시된 편집 페이지에 입력된 편집 동작을 검출하는 것을 통해, 상기 편집 동작에 의해 편집된 콘텐츠를 얻을 수 있고, 상기 편집 동작에 의해 편집된 콘텐츠를 업데이트 데이터로 사용할 수 있다. 예를 들어 편집 페이지에서 3 차원 시나리오 모델의 예시도 및 가상 대상에 관련된 포즈 데이터 편집바를 전시할 수 있으며, 사용자는 가상 대상의 포즈 데이터 편집바에서 가상 대상이 3 차원 시나리오 모델에서의 제1 포즈 데이터를 편집할 수 있으며, 편집 완료 후, AR 생성 엔드는 가상 대상이 3 차원 시나리오 모델에서의 제1 포즈 데이터를 획득할 수 있다.
더 나아가, 가상 대상이 3 차원 시나리오 모델에서의 제1 포즈 데이터에 기반하여, 가상 대상이 타깃 현실 시나리오에서 전시될 경우의 제1 포즈 데이터를 결정할 수 있고, 상기 제1 포즈 데이터가 타깃 현실 시나리오에서 전시될 경우에 따라, 가상 대상이 타깃 현실 시나리오와 더욱 잘 융합될 수 있도록 할 수 있으므로, AR 기기에서 더욱 진실된 증강 현실 시나리오의 효과를 디스플레이할 수 있다.
본 발명의 실시예에 있어서, 사용자에게 상기 타깃 현실 시나리오에 관련된 3 차원 시나리오 모델 및 초기 AR 데이터 패킷을 제공할 수 있어, 사용자가 자체 수요에 따라 직관적으로 3 차원 시나리오 모델을 통해 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상에 대해 편집 업데이트를 수행하는데 용이하고, 상기 방식을 통해 업데이트된 AR 데이터 패킷을 얻으며, 증강 현실 체험자가 타깃 현실 시나리오에서 증강 현실 체험을 수행할 경우, 직접 업데이트된 AR 데이터 패킷을 호출하여 증강 현실 체험을 수행할 수 있으며, 본 발명에서 제공한 AR 데이터 패킷을 원격으로 편집하는 방식을 통해, AR 데이터 패킷의 생성 방식을 간략화할 수 있어, 후속 증강 현실 시나리오의 전시를 위해 편리한 AR 소재를 제공한다.
또한, 가상 대상의 제1 포즈 데이터를 편집하기 위한 3 차원 시나리오 모델을 제공할 수 있으므로, 사용자가 직관적으로 가상 대상이 3 차원 시나리오에서의 제1 포즈 데이터를 편집하는데 용이함으로써, 사용자 수요에 기반하여 개인화적으로 가상 대상의 제1 포즈 데이터의 설정을 수행할 수 있다.
다른 한 가지 실시형태에 있어서, 본 발명의 실시예에서 제공한 생성 방법은 또한 AR 시나리오에서 체험하는 과정에서 생성될 수 있으며, 예를 들어 AR 시나리오 전시를 수행하는 AR 기기에 적용되며, 상기 방법은,
AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 초기 AR 데이터 패킷에 기반하여, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시하는 단계를 더 포함한다.
예시적으로, AR 기기는 AR 시나리오 콘텐츠를 전시 및 편집하기 위한 애플리케이션 프로그램을 장착할 수 있고, 사용자는 AR 기기에서 상기 애플리케이션 프로그램을 오픈하여 증강 현실 시나리오에서 AR 시나리오 콘텐츠를 편집할 수 있으며, 상기 애플리케이션 프로그램을 오픈한 후, AR 기기의 디스플레이 인터페이스는 적어도 하나의 현실 시나리오에 대응되는 편집 옵션을 전시할 수 있으며, 각 현실 시나리오는 복수 개의 초기 AR 데이터 패킷에 관련되며, 각 초기 AR 데이터 패킷은 대응되는 편집 옵션을 구비하며, 이러한 초기 AR 데이터 패킷에 대한 온라인 편집을 수행할 수 있다.
일부 실시예에 있어서, AR 기기의 디스플레이 인터페이스는 복수 개의 현실 시나리오에 각각 대응되는 초기 AR 데이터 패킷을 전시할 수 있고, 어느 한 초기 AR 데이터 패킷의 편집 옵션이 트리거된 것을 검출한 후, 트리거된 편집 옵션에 대응되는 초기 AR 데이터 패킷을 상기 타깃 현실 시나리오에 관련된 AR 데이터 패킷으로 사용할 수 있다.
가상 대상을 전시하기 전 먼저 AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터를 획득할 수 있고, 다음 AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터에 기반하여, 상기 AR 기기에서 전시되어야 할 가상 대상을 결정하며, 이로부터 알다시피 본 발명의 실시예에서 제공한 것은 증강 현실 시나리오를 체험하는 과정 중, AR 시나리오 콘텐츠를 편집하는 방안이다.
예시적으로, AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터는 가상 대상을 디스플레이하기 위한 디스플레이 부재가 위치하는 위치 및 디스플레이 각도 중 적어도 하나를 포함할 수 있으며, AR 기기에 대응되는 제2 포즈 데이터를 해석하기 용이하기 위해, 여기서 좌표계의 개념을 영입하며, 예를 들어 타깃 현실 시나리오가 위치하는 세계 좌표계를 예로 들면, 예시적으로, AR 기기에 대응되는 제2 포즈 데이터는, AR 기기의 디스플레이 부재가 상기 세계 좌표계에서의 좌표 위치; AR 기기의 디스플레이 부재와 세계 중 각 좌표축의 협각; 및 AR 기기의 디스플레이 부재가 세계 좌표계에서의 좌표 위치 및 세계 좌표 중 각 좌표축의 협각 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다.
여기서, AR 기기의 디스플레이 부재는 구체적으로 상기 AR 기기 중 가상 대상을 디스플레이하기 위한 부재를 가리키고, 예시적으로, AR 기기가 핸드폰 또는 태블릿일 경우, 대응되는 디스플레이 부재는 스크린일 수 있고, AR 기기가 AR 안경일 경우, 대응되는 디스플레이 부재는 가상 대상을 디스플레이하기 위한 렌즈일 수 있다.
AR 기기에 대응되는 제2 포즈 데이터는 여러 가지 방식을 통해 획득될 수 있고, 예를 들어 AR 기기에 포즈 센서가 구성될 경우, AR 기기 위의 포즈 센서를 통해 AR 기기의 제2 포즈 데이터를 결정할 수 있으며; AR 기기에 카메라 같은 이미지 수집 부재가 구성될 경우, 카메라에 의해 수집된 타깃 현실 시나리오 이미지를 통해 상기 제2 포즈 데이터를 결정할 수 있다.
예시적으로, 포즈 센서는 자이로 스코프, 관성 측정 유닛(Inertial measurement unit, IMU) 등과 같은 AR 기기의 촬영 각도를 결정하기 위한 각속도 센서를 포함할 수 있고; 글로벌 포지셔닝 시스템(Global Positioning System, GPS), 위성 측위 시스템( Global Navigation Satellite System, GLONASS), 와이파이(Wireless Fidelity, WiFi) 위치 결정 기술에 기반한 위치 결정 부재와 같은 AR 기기 촬영 위치를 결정하기 위한 위치 결정 부재를 포함할 수 있으며; 동시에 AR 기기의 촬영 각도를 결정하기 위한 각속도 센서 및 촬영 위치를 결정하기 위한 위치 결정 부재를 포함할 수도 있다.
구체적으로, AR 기기에 의해 촬영된 타깃 현실 시나리오 이미지를 통해 상기 AR 기기에 대응되는 제2 포즈 데이터를 결정할 경우, 상기 타깃 현실 시나리오 이미지 및 사전 저장된 위치 결정하기 위한 제1 신경 네트워크를 통해, 상기 AR 기기에 대응되는 제2 포즈 데이터를 결정할 수 있다.
예시적으로, 제1 신경 네트워크는 타깃 현실 시나리오를 사전에 촬영하여 얻은 복수 개의 샘플 사진, 및 각 샘플 사진을 촬영할 경우 대응되는 제2 포즈 데이터에 기반하여, 훈련하여 얻을 수 있다.
AR 기기에 의해 촬영된 타깃 현실 시나리오 이미지로 AR 기기에 대응되는 제2 포즈 데이터를 결정할 경우, 도 3에 도시된 바와 같이, AR 기기에서 사용자가 편집 상태에 진입하였음을 프롬프트 하고, 위치 결정하기 시작하기 위한 정보를 전시하며, 예를 들어 사용자가 위치 결정을 위한 타깃 현실 시나리오 이미지를 촬영하도록 프롬프트하기 위한 정보를 전시한다.
AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터를 획득할 경우, 상기 AR 기기에 대응되는 제2 포즈 데이터, 및 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상이 상기 타깃 현실 시나리오에서의 초기 제1 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상을 전시할 수 있으며, 상기 가상 대상을 전시하는 동시에, 또한 상기 적어도 하나의 가상 대상의 포즈 데이터 전시 인터페이스를 전시할 수 있으며, 도 4에 도시된 바와 같이, 이는 가상 대상인 당삼채말(Tang Tri-Color Glazed Ceramics) 전시 예시도, 및 상기 전시 영역 내의 가상 대상에 대한 포즈 데이터 전시 인터페이스이며, 상기 포즈 데이터 전시 인터페이스에는 가상 대상인 당삼채말이 타깃 현실 시나리오에서의 초기 제1 포즈 데이터가 전시되어 있으며, 주로 상기 당삼채말이 타깃 현실 시나리오에서의 좌표 정보를 포함한다.
예시적으로, 도 4의 좌측에서 도시된 포즈 데이터 전시 인터페이스는 "나의 지도 좌표"를 포함하며, AR 기기의 디스플레이 부재가 타깃 현실 시나리오가 위치하는 좌표계에서의 좌표 정보를 나타낼 수 있으며; 모델 리스트는 복수 개의 가상 대상이 상기 타깃 현실 시나리오에서의 좌표 정보를 포함하며, 예를 들어 가상 대상인 "당삼채말" 및 "돌사자"가 각각 타깃 현실 시나리오에서의 좌표 정보를 포함하며, 더 나아가, 또한 다른 가상 대상, 및 다른 가상 대상이 상기 타깃 현실 시나리오에서의 좌표 정보를 추가할 수 있다.
더 나아가, 상기 단계 S102의 경우, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득할 경우,
전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계를 포함하고; 업데이트 데이터는 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 포함한다.
여기서, 사용자가 AR 기기에서 전시한 포즈 데이터 편집 페이지에 입력된 편집 동작을 검출하는 것을 통해, 상기 편집 동작에 의해 편집된 콘텐츠를 얻을 수 있고, 상기 편집 동작에 의해 편집된 콘텐츠를 업데이트 데이터로 사용할 수 있으며, 예를 들어 포즈 데이터 편집 페이지에서 AR 기기에서 가상 대상에 관련된 포즈 데이터 편집바를 전시할 수 있으며, 도 5에 도시된 바와 같이, 사용자는 가상 대상의 포즈 데이터 편집바에서 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 편집할 수 있으며, 예시적으로, 가상 대상의 포즈 데이터에 대한 편집은 타깃 현실 시나리오가 위치하는 세계 좌표계에서 완료된 것이므로, 편집 완료 후, AR 기기는 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 획득할 수 있다.
예시적으로, 도 5에서의 좌측은 현재 전시된 가상 대상인 "당삼채말"이 타깃 현실 시나리오에서의 좌표 정보, 및 상기 가상 대상이 타깃 현실 시나리오에서의 인터랙션 데이터를 전시하며, 인터랙션 데이터는 후문에서 해석한다. 도 5에서의 우측은 현재 전시된 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 편집하는 인터페이스를 전시하며, 상기 인터페이스에서, 가상 대상이 타깃 현실 시나리오에 위치하는 좌표계에서의 좌표 정보를 편집할 수 있으며, 상기 가상 대상의 사이즈 비례를 편집할 수 있으며, 상기 가상 대상이 각각 좌표계에서의 3 개의 좌표축과의 협각을 편집할 수 있다.
본 발명의 실시예에 있어서, AR 기기에 대응되는 제2 포즈 데이터를 획득한 후, 상기 AR 기기에 대응되는 제2 포즈 데이터에 기반하여, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시할 수 있어, 사용자가 AR 기기에서 수요에 따라 직관적으로 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 편집 조정할 수 있도록 함으로써, AR 시나리오 콘텐츠의 생성 과정을 간략화할 수 있으며, 상기 과정이 증강 현실 시나리오의 체험 과정에서 AR 데이터 패킷에 대한 직관적인 조정을 수행할 수 있기 때문에, 조정된 AR 데이터 패킷의 정확도가 더욱 높도록 할 수 있다.
한 가지 실시형태에 있어서, 상기 언급된 전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
포즈 데이터 편집 인터페이스를 전시하고, 포즈 데이터 편집 인터페이스를 통해 수신된 적어도 하나의 가상 대상의 제1 포즈 데이터를 획득하는 단계를 포함하며;
여기서, 제1 포즈 데이터는, 타깃 현실 시나리오가 위치하는 좌표계에서의 위치 좌표, 편향각 및 사이즈 정보 중 적어도 하나를 포함한다.
예시적으로, AR 기기에 의해 전시된 포즈 데이터 편집 페이지를 통해, 전시된 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 위치 좌표, 편향각 및 사이즈 정보의 편집 동작을 획득할 수 있음으로써, 상기 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 얻는다.
예시적으로, 도 5에 도시된 바를 참조하면, 가상 대상인 "당삼채말"에 대한 포즈 데이터 편집 인터페이스이며, 구체적으로, 상기 포즈 데이터 편집 인터페이스는 "당삼채말"이 타깃 현실 시나리오에서의 위치 좌표에 대한 편집을 포함할 수 있고, "당삼채말"이 타깃 현실 시나리오에서의 사이즈 정보에 대한 편집을 포함할 수 있으며, "당삼채말"이 타깃 현실 시나리오가 위치하는 세계 좌표계에서 좌표축으로의 편향각에 대한 편집을 포함할 수 있다.
본 발명의 실시예에 있어서, 증강 현실 시나리오에서, 가상 대상의 제1 포즈 데이터를 편집하기 위한 포즈 데이터 편집 인터페이스를 제공할 수 있어, 사용자가 직관적으로 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 조정할 수 있도록 함으로써, 사용자 수요에 기반하여 개인화적으로 가상 대상의 제1 포즈 데이터의 설정을 수행할 수 있다.
다른 한 가지 실시형태에 있어서, 상기 언급된 업데이트 데이터는 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 포함하는 것 이외에, 또한 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 인터랙션 데이터, 또는, 적어도 하나의 가상 대상이 타깃 현실 시나리오를 나타내는 3 차원 시나리오 모델에서의 인터랙션 데이터를 포함할 수 있으며, 본 발명의 실시예에서 제공한 업데이트 데이터는 적어도 하나의 가상 대상에 대응되는 인터랙션 데이터를 더 포함하며, 상기 단계 S102의 경우, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득할 경우, 상기 단계 S102은,
인터랙션 데이터 편집 인터페이스를 전시하고, 상기 인터랙션 데이터 편집 인터페이스를 통해 각각 수신된 각 가상 대상의 인터랙션 데이터를 획득하는 단계를 포함하며;
여기서, 상기 인터랙션 데이터는, 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 포함한다.
예시적으로, AR 기기에 의해 전시된 인터랙션 데이터 편집 인터페이스, 또는 AR 생성 엔드에 의해 전시된 인터랙션 데이터 편집 인터페이스에서, 적어도 하나의 가상 대상의 인터랙션 데이터에 대한 편집 동작을 획득할 수 있으며, 즉 타깃 현실 시나리오에서 인터랙션 데이터에 대한 현장 편집을 수행할 수 있으며, 타깃 현실 시나리오를 나타내는 3 차원 시나리오 모델에서 인터랙션 데이터에 대한 원격 편집을 수행할 수도 있음으로써, 적어도 하나의 가상 대상에 대한 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 얻는다.
예시적으로, 획득된 어느 한 가상 대상에 대한 인터랙션 데이터에 기반하여, 후속 가상 대상의 상태 트리거 조건에 기반하여, 상기 가상 대상이 상기 상태 트리거 조건에 대응되는 프리젠테이션 상태에 따라 프리젠테이션하는 것, 및, 상기 상태 트리거 조건에 의해 전시되도록 트리거된 후의 순환 전시 횟수에 따라 전시하는 것 중 적어도 하나를 트리거할 수 있다.
도 6에 도시된 바와 같이, 도 6의 (a)에 도시된 창조 트리거 조건 버튼을 트리거한 후, 도 6의 (b)에 도시된 인터랙션 데이터 편집 인터페이스를 전시하며, 구체적으로 가상 동화상에 대한 인터랙션 데이터를 편집하는 인터페이스를 가리키며, 상기 인터랙션 데이터 편집 인터페이스는 적어도 하나의 가상 대상에 대한 상태 트리거 조건, 상기 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수의 편집 영역을 포함할 수 있다.
예시적으로, 상태 트리거 조건에 대응되는 편집 영역을 통해 가상 대상의 상태 트리거 조건에 대한 편집 동작을 획득할 수 있음으로써, 상기 가상 대상에 대응되는 상태 트리거 조건을 얻고, 후속 AR 기기는 상기 상태 트리거 조건을 획득한 후 상기 가상 대상이 타깃 현실 시나리오에서 전시되도록 트리거할 수 있다.
예시적으로, 프리젠테이션 상태의 편집 영역을 통해 가상 대상이 트리거된 후 디스플레이되는지 여부를 편집할 수 있고, 도 6의 (b)에 도시된 바와 같이, "모델 디스플레이"에 대응되는 버튼이 선택된 상태일 경우, 현재 가상 동화상에 대응되는 트리거 조건 1이 트리거된 후, 현재 가상 동화상이 디스플레이됨을 나타내며, "모델 디스플레이"에 대응되는 버튼이 선택되지 못한 상태일 경우, 현재 가상 동화상에 대응되는 트리거 조건 1이 트리거된 후, 현재 가상 동화상이 디스플레이되지 않음을 나타낸다.
예시적으로, 순환 횟수에 대응되는 편집 영역을 통해 가상 대상이 전시된 후의 순환 전시 횟수에 대한 편집 동작을 획득할 수 있으며, 예를 들어 획득된 전시 횟수가 n 회이면, 현재 가상 동화상이 트리거 조건 1이 트리거된 후, 순환 전시를 n 회 수행하는 것을 나타낼 수 있다.
특별히, 인터랙션 데이터에 여러 가지 상태 트리거 조건을 포함할 경우, 인터랙션 데이터는 각 상태 트리거 조건의 우선 순위를 더 포함한다.
예시적으로, AR 기기에 의해 전시된 인터랙션 데이터 편집 인터페이스가 인터랙션 데이터를 편집할 경우, 도 5에 도시된 페이지에서 전시할 수 있으며, 예를 들어, 도 5의 좌측에서, 현재 전시된 가상 대상인 "당삼채말"이 타깃 현실 시나리오가 위치하는 좌표계 하의 좌표 정보, 및 트리거 조건, 디스플레이 상태, 순환 전시 여부, 우선 순위 등을 포함하는 상기 가상 대상인 "당삼채말"에 대응되는 인터랙션 데이터(도 5에 도시되지 않음)를 전시할 수 있다.
예시적으로, 인터랙션 데이터는 여러 가지 상태 트리거 조건을 포함하는 것은 구체적으로 초기 AR 데이터 패킷에 관련된 가상 대상이 복수 개 포함되는 것을 가리키고, 각 가상 대상이 하나의 상태 트리거 조건에 대응되는 경우, 각 가상 대상에 대응되는 상태 트리거 조건에 대한 우선 순위를 설정할 수 있고, 후속 AR 기기가 복수 개의 상태 트리거 조건을 동시에 획득할 경우, 우선 순위가 가장 높은 상태 트리거 조건에 대응되는 가상 대상이, 상기 가상 대상에 대응되는 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 상기 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 따라 전시하도록 트리거한다.
여기서 언급된 상태 트리거 조건은,
클릭 모델 트리거 조건, 슬라이딩 모델 트리거 조건, 거리 식별 트리거 조건, 지정 영역 트리거 조건, 제스처 식별 트리거 조건, 현재 모델을 향한 트리거 조건 및 지정 모델을 향한 트리거 조건 중 적어도 하나를 포함할 수 있지만 이에 한정되지 않는다.
아래에 가상 대상 A를 결합하여 이러한 상태 트리거 조건의 의미를 설명하고자 한다.
여기서, (1)클릭 모델 트리거 조건은 AR 기기에 전시된 가상 대상 A의 3 차원 모델을 클릭한 후 AR 기기에서 상기 가상 대상 A를 전시하는 상태 트리거 조건을 트리거하는 것을 가리키며, 예시적으로, AR 기기는 전시될 가상 대상의 3 차원 모델을 전시할 수 있으며, 상기 3 차원 모델에 대한 클릭 동작을 검출한 후, 상기 3 차원 모델에 대응되는 가상 대상을 전시하며;
(2)슬라이딩 모델 트리거 조건은 AR 기기에서 설정된 방식에 따라 가상 대상 A의 3 차원 모델을 슬라이딩하는 것을 통해 트리거된 상기 가상 대상 A에 대한 상태 트리거 조건을 가리키고, 예시적으로, AR 기기에서 가상 대상 A에 대한 3 차원 모델에 대한 오른쪽 슬라이딩 동작을 수행하여 가상 대상 A가 전시되도록 트리거하며, AR 기기에서 가상 대상 A에 대한 3 차원 모델에 대한 왼쪽 슬라이딩 동작을 수행하여 가상 대상 A가 사라지도록 트리거하는 것으로 설정할 수 있으며;
(3)거리 트리거 조건은 AR 기기가 위치하는 위치 좌표와 설정된 위치 포인트 사이의 거리가 설정된 거리를 만족할 경우, 트리거된 상기 가상 대상 A에 대한 상태 트리거 조건을 가리키며;
(4)지정 영역 트리거 조건은 AR 기기가 지정 영역에 진입된 후, 트리거된 가상 대상 A에 대한 상태 트리거 조건을 가리키며;
(5)제스처 식별 트리거 조건은 설정된 제스처 움직임을 통해, 트리거된 가상 대상 A에 대한 상태 트리거 조건을 가리키며;
(6)현재 모델을 향한 트리거 조건은 AR 기기의 촬영 각도가 가상 대상 A가 위치하는 위치를 향할 경우, 트리거된 상기 가상 대상 A에 대한 상태 트리거 조건을 가리키며;
(7)지정 모델을 향한 트리거 조건은 AR 기기가 특정된 가상 대상이 위치하는 위치를 향할 경우, 트리거된 가상 대상 A에 대한 상태 트리거 조건을 가리킨다.
AR 데이터 패킷에 복수 개의 가상 대상이 포함될 경우, 또한 각 가상 대상이 한 가지 상태 트리거 조건에 대응될 경우, 이러한 상태 트리거 조건에 대한 트리거 로직 체인을 형성할 수 있으며, 예를 들어 AR 데이터 패킷에 3 개의 가상 대상이 포함되되, 첫 번째 가상 대상, 두 번째 가상 대상 및 세 번째 가상 대상에 각각 대응되는 상태 트리거 조건을 상태 트리거 조건 1, 상태 트리거 조건 2 및 상태 트리거 조건 3으로 각각 기록하고, 상태 트리거 조건 1, 상태 트리거 조건 2 및 상태 트리거 조건 3이 트리거 로직 체인을 형성한 후, 예를 들어 형성된 트리거 로직 체인의 순서가 상태 트리거 조건 1, 상태 트리거 조건 2 및 상태 트리거 조건 3이면, 사용자가 상태 트리거 조건 1, 상태 트리거 조건 2 및 상태 트리거 조건 3을 순차적으로 트리거할 경우, 가상 대상 1, 가상 대상 2 및 가상 대상 3을 순차적으로 전시할 수 있다.
본 발명의 실시예에 있어서, 가상 대상에 대한 인터랙션 데이터를 편집하는 인터랙션 데이터 편집 인터페이스를 제공하여, 가상 대상을 편집하는 트리거 방식 및 전시 형태를 지원할 수 있다.
한 가지 실시형태에 있어서, 본 발명의 실시예에서 제공한 생성 방법은,
초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 물체 모델에 대응되는 제3 포즈 데이터를 획득하는 단계 - 적어도 하나의 가상 물체 모델은 타깃 현실 시나리오에서의 타깃 물체를 나타냄 - 를 더 포함하고;
적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계는,
적어도 하나의 가상 대상의 업데이트 데이터, 및 가상 물체 모델에 대응되는 제3 포즈 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계를 포함한다.
예시적으로, 가상 물체 모델에 대응되는 제3 포즈 데이터는, 가상 물체 모델이 타깃 현실 시나리오에서 프리젠테이션될 경우의 위치 및 자세 중 적어도 하나를 나타낼 수 있는 데이터를 포함할 수 있거나 이에 한정되지 않으며, 또는 가상 물체 모델이 3 차원 시나리오 모델에서의 위치 및 자세 중 적어도 하나를 나타낼 수 있는 데이터를 포함할 수 있지만 이에 한정되지 않으며, 예를 들어 가상 물체 모델이 타깃 현실 시나리오 또는 3 차원 시나리오 모델이 위치하는 좌표계에서의 위치 좌표, 편향각 및 사이즈 정보를 포함할 수 있다.
구체적으로, 가상 물체 모델이 타깃 현실 시나리오에서 또는 3 차원 시나리오 모델에서의 제3 포즈 데이터는, 상기 가상 물체 모델에 대응되는 타깃 실제 물체가 타깃 현실 시나리오에서의 제3 포즈 데이터를 나타낼 수 있고, 또한, 가상 물체 모델이 AR 기기에서 전시될 경우의 전시 형태를 편집할 수 있으며, 예를 들어 가상 물체 모델이 AR 기기에서의 전시 형태를 차폐 형태로 편집하고, AR 기기에서 프리젠테이션될 경우 투명 처리를 수행하며, 상기 가상 물체 모델은 차폐되어야 하는 가상 대상을 차폐하는데 사용될 수 있으며, 예를 들어 가상 대상을 전시할 경우, 가상 대상이 차폐되어야 하는 일부 영역에 대한 랜더링을 수행하지 않으며, 가상 물체 모델을 통해 차페된 일부 영역에 대한 투명 처리를 수행할 수 있음으로써, 차폐 효과에 달성할 수 있다.
본 발명의 실시예에 있어서, 차폐 효과를 프리젠테이션하기 위한 가상 물체 모델을 편집할 수 있고, 가상 물체 모델에 대응되는 제3 포즈 데이터를 편집하는 것을 통해, 가상 물체 모델이 타깃 현실 시나리오에서의 실제 제3 포즈 데이터를 원상 회복하는 것을 구현할 수 있어, 후속 AR 기기에서 가상 대상을 전시할 경우, 더욱 진실된 전시 효과를 제공하는데 용이하다.
한 가지 실시형태에 있어서, 적어도 하나의 가상 대상은 적어도 하나의 제1 가상 대상을 포함하고, 상기 단계 S102의 경우, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득할 경우, 상기 단계 S102은,
초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상의 업데이트 데이터를 획득하는 단계를 포함한다.
초기 AR 데이터 패킷에 가상 대상이 포함될 경우, 여기서 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 것은, 초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상의 업데이트 데이터를 획득하는 것일 수 있다.
다른 한 가지 실시형태에 있어서, 적어도 하나의 가상 대상은 적어도 하나의 제2 가상 대상을 포함하고, 상기 단계 S102의 경우, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득할 경우, 상기 단계 S102은,
사전에 구축된 소재 라이브러리로부터 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상을 획득하고, 적어도 하나의 제2 가상 대상의 업데이트 데이터를 획득하는 단계를 포함한다.
초기 AR 데이터 패킷에 가상 대상이 포함되거나 가상 대상이 포함되지 않을 경우, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하고, 사전에 구축된 소재 라이브러리로부터 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상을 획득하며, 적어도 하나의 제2 가상 대상의 업데이트 데이터를 획득할 수 있다.
다른 한 가지 실시형태에 있어서, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득할 경우, 초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상의 업데이트 데이터, 및 사전에 구축된 소재 라이브러리로부터 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상의 업데이트 데이터를 동시에 획득할 수 있다.
예시적으로, 사전에 구축된 소재 라이브러리는 여러 가지 가상 정적 모델, 동화상 및 비디오 등 가상 대상을 포함할 수 있고, 사용자는 사전에 구축된 소재 라이브러리에서 상기 초기 AR 데이터 패킷에 업로드되어야 할 가상 대상을 선택할 수 있다.
예시적으로, 제2 가상 대상과 제1 가상 대상은 동일할 수 있고, 상이할 수도 있으며, 제1 가상 대상 및 제2 가상 대상 중 적어도 하나의 업데이트 데이터를 통해 초기 AR 데이터 패킷을 업데이트할 수 있다.
본 발명의 실시예에 있어서, 여러 가지 방식을 통해 초기 AR 데이터 패킷에 관련된 가상 대상 및 상기 가상 대상의 업데이트 데이터를 획득할 수 있어, 가상 대상의 업데이트 데이터를 유연하게 획득할 수 있다.
이에 대응되게, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시할 경우,
초기 AR 데이터 패킷에서의 적어도 하나의 제1 가상 대상, 및 사전에 구축된 소재 라이브러리로부터 획득된 초기 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상 중 적어도 하나를 전시하는 단계를 포함할 수 있다.
전술한 바와 같이 초기 AR 데이터 패킷이 가상 대상을 포함할 수 있거나, 가상 대상을 포함하지 않을 수 있으며, 초기 AR 데이터 패킷에 가상 대상이 포함될 경우, 전시된 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상은, 초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상이 전시된 것일 수 있고, 사전에 구축된 소재 라이브러리로부터 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상이 획득된 후 전시된 것일 수도 있으며, 또는, 초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상, 및 사전에 구축된 소재 라이브러리로부터 획득된 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상이 동시에 전시된 것일 수 있다.
더 나아가, 업데이트된 AR 데이터 패킷을 생성한 후, 본 발명의 실시예에서 제공한 생성 방법은,
업데이트된 AR 데이터 패킷을 서버에 송신하는 단계; 또는, 업데이트된 AR 데이터 패킷 및 업데이트된 AR 데이터 패킷이 활성화되는지 여부를 지시하는 상태 정보를 서버에 송신하는 단계를 더 포함한다.
예시적으로, 도 7에 도시된 바와 같이, 초기 AR 데이터 패킷을 편집 완료하여 업데이트된 AR 데이터 패킷을 얻은 후, 클릭하여 저장할 수 있고, 예를 들어 AR 기기가 사용자에 의해 트리거된 저장 트리거 동작을 검출하고, 저장 성공한 후, 상기 업데이트된 AR 데이터 패킷을 서버에 송신할 수 있다.
예시적으로, 업데이트된 AR 데이터 패킷이 활성화되는지 여부를 지시하는 상태 정보는 도 2a에 전시된 인터페이스를 통해 설정될 수 있고, 각 AR 데이터 패킷의 아래에는 "활성화" 버튼(도 2a에 도시되지 않음)이 설정될 수 있으며, 상기 AR 데이터 패킷 아래의 "활성화" 버튼이 트리거되면, 상기 AR 데이터 패킷에 대응되는 업데이트된 AR 데이터 패킷이 서버에 업로드된 후, AR 기기에 의해 다운로드되어 체험될 수 있음을 나타낸다.
본 발명의 실시예에 있어서, 생성된 업데이트된 AR 데이터 패킷을 서버에 게시할 수 있어, 다른 사용자가 다운로드하여 사용할 수 있도록 제공할 수 있으며, 예시적으로, 다른 AR 기기가 다운로드하여 편집하는 동시에, AR 기기가 다운로드하여 AR 데이터 패킷을 체험하도록 제공할 수 있다.
다른 한 가지 실시형태에 있어서, 업데이트된 AR 데이터 패킷을 생성한 후, 본 발명의 실시예에서 제공한 생성 방법은,
업데이트된 AR 데이터 패킷에 대한 업로드 트리거 동작에 응답하여, 업데이트된 AR 데이터 패킷의 라벨 정보를 획득하고, 업데이트된 AR 데이터 패킷 및 라벨 정보를 서버에 송신하는 단계를 더 포함한다.
예시적으로, 초기 AR 데이터 패킷을 편집하여, 업데이트된 AR 데이터 패킷을 얻은 후, 업데이트된 데이터 패킷을 서버에 송신할 수 있고, 도 8에 도시된 바와 같이, 얻은 타깃 현실 시나리오에 관련된 AR 데이터 패킷은 복수 개를 포함할 수 있으며, 사용자는 도 8의 (a)에 도시된 페이지의 업로드 체험 패키지 동작을 트리거한 후, 사용자가 업로드할 타깃 업데이트된 AR 데이터 패킷을 결정하기 위해, 도 8의 (b)에 도시된 페이지를 전시할 수 있으며, 사용자는 상기 페이지에서 업로드될 타깃 업데이트된 AR 데이터 패킷에 대응되는 라벨 정보를 작성할 수 있다.
예시적으로, 라벨 정보는 타깃 현실 시나리오의 명칭, 빌딩 명칭, 체험 패키지 명칭, 테마, 비고 등 정보를 포함할 수 있고, 라벨 정보의 작성은 일 측면으로 업로드될 업데이트된 AR 데이터 패킷을 결정하는데 용이하고, 다른 측면으로, 서버가 상기 라벨 정보에 기반하여 업로드된 업데이트된 AR 데이터 패킷을 저장하는데 용이함으로써, AR 기기 엔드의 사용자가 AR 기기에서 AR 데이터 패킷을 다운로드 하여 체험하는데 용이하다.
본 발명의 실시예에 있어서, 생성된 업데이트된 AR 데이터 패킷을 서버에 게시할 수 있어, 다른 사용자가 다운로드하여 사용할 수 있도록 제공할 수 있으며, 예시적으로, 다른 AR 생성 엔드가 다운로드하여 편집하는 동시에, AR 기기가 다운로드하여 AR 데이터 패킷을 체험하도록 제공할 수 있다.
예시적으로, 업데이트된 AR 데이터 패킷 및 라벨 정보를 서버에 송신하는 단계는,
업데이트된 AR 데이터 패킷, 라벨 정보 및 업데이트된 AR 데이터 패킷이 활성화되는지 여부를 지시하는 상태 정보를 서버에 송신하는 단계를 포함하고;
여기서, 활성화 상태의 AR 데이터 패킷은 사용될 수 있다.
예시적으로, 업데이트된 AR 데이터 패킷이 활성화되는지 여부를 지시하는 상태 정보는 도 8의 (a)를 통해 설정될 수 있고, 각 AR 데이터 패킷의 아래에는 "활성화" 버튼이 설정되며, 상기 AR 데이터 패킷 아래의 "활성화" 버튼이 트리거되면, 상기 AR 데이터 패킷에 대응되는 업데이트된 AR 데이터 패킷이 서버에 업로드된 후, AR 기기에 의해 다운로드되어 체험될 수 있음을 나타낸다.
아래에 AR 시나리오 콘텐츠에 대한 전시 과정을 소개하고, 상기 전시 과정은 AR 기기에 적용될 수 있으며, 상기 AR 기기는 상기 AR 데이터 패킷을 생성하기 위한 AR 기기와 동일할 수 있고, 상이할 수도 있으며, 여기서 더이상 한정하지 않으며, 도 9에 도시된 바와 같이, 아래의 단계 S201~단계 S203을 포함한다.
단계 S201에 있어서, 제2 트리거 동작에 응답하여, 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하고; AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함한다.
예시적으로, AR 기기는 AR 안경, 태블릿 컴퓨터, 스마트폰, 스마트 웨어러블 기기 등 디스플레이 기능 및 데이터 처리 기능을 구비하는 기기를 포함할 수 있지만 이에 한정되지 않으며, 이러한 AR 기기에는 AR 시나리오 콘텐츠를 전시하기 위한 애플리케이션 프로그램이 장착될 수 있고, 사용자는 상기 애플리케이션 프로그램에서 AR 시나리오 콘텐츠를 체험할 수 있다.
AR 기기에서 AR 시나리오 콘텐츠를 전시하기 위한 애플리케이션 프로그램을 오픈한 후, 상기 AR 기기는 적어도 하나의 현실 시나리오, 및 각 현실 시나리오에 관련된 AR 데이터 패킷을 전시할 수 있으며, 예시적으로, 제2 트리거 동작은 타깃 현실 시나리오에서 관련된 AR 데이터 패킷에 대한 트리거 동작일 수 있으며, 한 가지 실시예에서, 도 2a에 도시된 바와 같이, 사용자는 AR 기기에 의해 전시된 현실 시나리오에 관련된 AR 데이터 패킷에서, 타깃 현실 시나리오 "XXX빌딩-15층"에 관련된 AR 데이터 패킷을 클릭할 수 있으며, 예를 들어 "[예] 사이언스 픽션"인 상기 AR 데이터 패킷을 클릭하면, AR 기기는 상기 AR 데이터 패킷에 대한 제2 트리거 동작이 존재함을 검출할 수 있음으로써, 서버에 타깃 현실 시나리오"XXX빌딩-15층"에 관련된 AR 데이터 패킷을 획득하도록 요청할 수 있다.
여기서, AR 데이터 패킷에 포함된 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터는 타깃 현실 시나리오에서의 제1 포즈 데이터일 수 있고, 또는, AR 데이터 패킷에 포함된 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터는 타깃 현실 시나리오의 3 차원 시나리오 모델에서의 제1 포즈 데이터일 수 있으며, 구체적인 것은 전술한 설명을 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.
단계 S202에 있어서, AR 기기가 현재 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정한다.
여기서, AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 상기 AR 기기에 대응되는 제2 포즈 데이터를 획득하는 방식은 이상의 설명을 참조하면 되며, 여기서 더이상 반복하여 설명하지 않는다.
AR 기기가 현재 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터를 획득하기 전, 도 10에 도시된 바와 같이, AR 기기에서 사용자가 AR 기기를 사용하여 촬영하도록 프롬프트하기 위한 정보를 전시할 수 있다.
가상 대상에 대응되는 제1 포즈 데이터가 타깃 현실 시나리오에서의 제1 포즈 데이터인 경우, AR 기기에 대응되는 제2 포즈 데이터 및 가상 대상에 대응되는 제1 포즈 데이터가 동일한 좌표계에서의 포즈 데이터이므로, AR 기기에 대응되는 제2 포즈 데이터, 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 상기 가상 대상이 AR 기기에서의 프리젠테이션 특수 효과 정보를 결정할 수 있다.
가상 대상에 대응되는 제1 포즈 데이터가 타깃 현실 시나리오의 3 차원 시나리오 모델에서의 제1 포즈 데이터인 경우, 3 차원 시나리오 모델과 현실 시나리오가 동일한 좌표계에서 1:1 비례로 프리젠테이션되고, 상이한 좌표계에서 등비례로 프리젠테이션되므로, 사전에 설정된 가상 대상이 3 차원 시나리오 모델에서 프리젠테이션될 경우의 제1 포즈 데이터, 및 AR 기기에 대응되는 제2 포즈 데이터를 통해, 상기 가상 대상이 AR 기기에서의 프리젠테이션 특수 효과 정보를 결정할 수 있다.
단계 S203에 있어서, 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시한다.
가상 대상이 타깃 현실 시나리오에서의 프리젠테이션 특수 효과 정보를 얻은 후, AR 기기를 통해 상기 프리젠테이션 특수 효과 정보에 따라 상기 적어도 하나의 가상 대상을 전시할 수 있으며, 도 11에 도시된 바와 같이, 타깃 현실 시나리오에서 가상 대상인 "당삼채말"을 전시한 예시도이다.
본 발명의 실시예에 있어서, 제2 트리거 동작에 응답하여, 상기 제2 트리거 동작에 관련된 AR 데이터 패킷을 획득할 수 있고, 더 나아가 AR 기기에 대응되는 제2 포즈 데이터, 및 사전에 설정된 AR 데이터 패킷에서의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 가상 대상이 상기 타깃 현실 시나리오에서의 프리젠테이션 특수 효과 정보를 결정할 수 있으며, 최종적으로 AR 기기에서 진실된 증강 현실 시나리오 효과를 전시한다.
더 나아가, AR 데이터 패킷은 적어도 하나의 가상 물체 모델에 대응되는 제3 포즈 데이터를 더 포함하고; 가상 물체 모델은 타깃 현실 시나리오에서의 타깃 물체를 나타내며;
AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정할 경우,
AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터, 및 가상 물체 모델에 대응되는 제3 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하는 단계를 포함한다.
예시적으로, 상기 가상 물체 모델이 타깃 현실 시나리오에서의 제3 포즈 데이터, AR 기기에 대응되는 제2 포즈 데이터, 및 가상 대상에 대응되는 제1 포즈 데이터에 따라, 상기 가상 대상이 가상 물체 모델에 대응되는 실물 물체에 의해 차폐되는지 여부를 결정할 수 있으며, 상기 가상 대상의 일부 영역 또는 전부 영역이 가상 물체 모델에 대응되는 실물 물체에 의해 차폐되도록 결정할 경우, 차폐된 상기 일부 영역을 랜더링하지 않으며, 상기 가상 물체 모델은 차폐 형태로 처리될 수 있으며, 상기 차폐 형태의 가상 물체 모델에 대해 투명화 처리를 수행할 수 있으므로, 사용자는 AR 기기에서 투명 처리된 가상 물체 모델을 보지 못함으로써, 가상 대상이 타깃 현실 시나리오에서의 실물 물체에 의해 차폐된 프리젠테이션 효과를 전시할 수 있다.
본 발명의 실시예에 있어서, 가상 물체 모델의 제3 포즈 데이터를 통해, 가상 물체 모델이 타깃 현실 시나리오에서의 실제 제3 포즈 데이터를 원상 복귀하는 것을 구현할 수 있고, 가상 대상이 가상 물체 모델에 대응되는 실물 물체에 의해 차폐된 것을 결정할 경우, 가상 물체 모델을 통해 가상 대상에 대한 차폐 효과를 구현할 수 있음으로써, AR 기기에서 더욱 진실된 증강 현실 시나리오의 효과를 전시한다.
한 가지 실시형태에 있어서, AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 인터랙션 데이터를 더 포함하고, 인터랙션 데이터는 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 포함한다.
예시적으로, 인터랙션 데이터에 포함된 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수의 해석은 상기 문장을 참조하면 되며, 여기서 더이상 반복하여 설명하지 않는다.
전술한 바에 기반한 상태 트리거 조건은 여러 가지를 포함할 수 있고, 예를 들어 클릭 모델 트리거 조건, 슬라이딩 모델 트리거 조건, 거리 식별 트리거 조건, 지정 영역 트리거 조건, 제스처 식별 트리거 조건, 현재 모델을 향한 트리거 조건 및 지정 모델을 향한 트리거 조건 중 적어도 하나 또는 복수 개를 포함하며, 각 트리거 조건의 해석은 상기 콘텐츠를 참조하면 되며, 여기서 더이상 반복하여 설명하지 않으며, 상태 트리거 조건이 두 가지 타입을 포함할 수 있는 것을 알 수 있는데, 한 가지 타입은 AR 기기에 대응되는 제2 포즈 데이터에 관련된 상태 트리거 조건이며, 예를 들어 거리 식별 트리거 조건, 지정 영역 트리거 조건, 현재 모델을 향한 트리거 조건 및 지정 모델을 향한 트리거 조건 중 적어도 하나 또는 복수 개이며, 다른 타입은 AR 기기에 대응되는 제2 포즈 데이터에 무관한 상태 트리거 조건이며, 예를 들어 클릭 모델 트리거 조건, 슬라이딩 모델 트리거 조건 및 제스처 식별 트리거 조건 중 적어도 하나 또는 복수 개이며, 아래에 이 두 가지 타입의 경우, 가상 대상과의 인터랙션을 각각 고려한다.
한 가지 가능한 실시형태에 있어서, 본 발명의 실시예에서 제공한 전시 방법은,
(1)적어도 하나의 가상 대상에 작용되는 인터랙션 동작을 검출하는 단계; 및
(2)적어도 하나의 가상 대상에 작용되는 인터랙션 동작이 제1 타입의 상태 트리거 조건에 부합될 경우, 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건 하에서 대응되는 프리젠테이션 상태, 및 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하여, 업데이트된 프리젠테이션 특수 효과 정보를 얻는 단계를 더 포함하고;
더 나아, 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하는 단계는,
업데이트된 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하는 단계를 포함한다.
예시적으로, 인터랙션 동작은 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하도록 트리거하기 위한 동작일 수 있고, 여기서, 제1 타입의 상태 트리거 조건은 상기 언급된 AR 기기에 대응되는 제2 포즈 데이터에 무관한 상태 트리거 조건일 수 있으며, 예를 들어 클릭 모델 트리거 조건, 슬라이딩 모델 트리거 조건 및 제스처 식별 트리거 조건 중 적어도 하나 또는 복수 개이다.
예시적으로, AR 기기가 상기 인터랙션 동작이 존재한 것을 검출하면, 예를 들어, 사용자가 AR 기기에서 가상 대상 A에 의해 트리거된 슬라이딩 동작을 작용한 것을 검출하면, 상기 가상 대상 A가 슬라이딩 동작 하에 대응되는 프리젠테이션 상태, 및 상기 가상 대상 A가 상기 슬라이딩 동작 하에서 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 획득할 수 있으며, 다음 상기 가상 대상 A의 프리젠테이션 특수 효과 정보에 기반하여 업데이트한다.
예시적으로, 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하는 방식은 세 가지 경우로 나눌 수 있고, 첫 번째 경우는 독립적으로 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건 하에 대응되는 프리젠테이션 상태에 기반하여 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트할 수 있고, 두 번째 경우는 독립적으로 상기 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트할 수 있으며, 세 가지 경우는 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건 하에 대응되는 프리젠테이션 상태, 및 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수를 동시에 결합하여, 공동으로 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트할 수 있다.
아래에 각각 구체적인 실시예를 결합하여 이상의 세 가지 경우를 소개한다.
첫 번째 경우에 있어서, 예시적으로, 가상 대상 A의 초기 프리젠테이션 특수 효과 정보가 책상 위에 디스플레이된 가상 꽃병이며, 인터랙션 동작이 가상 대상에 작용되는 슬라이딩 동작이면, 상기 가상 대상 A가 슬라이딩 동작 하에 대응되는 프리젠테이션 상태는 비디스플레이이며, 상기 가상 꽃병에 작용하는 슬라이딩 동작이 존재하는 것을 검출한 후, 가상 꽃병의 프리젠테이션 특수 효과 정보를 원래의 디스플레이로부터 소실로 변화시킨다.
두 번째 경우에 있어서, 예시적으로, 가상 대상 A가 벽에서 A 위치로부터 B 위치로 걸어가는 것이 프리젠테이션된 가상 고양이이고, 인터랙션 동작이 가상 고양이에 대응되는 3 차원 모델에 작용되는 클릭 동작이면, 상기 가상 대상은 클릭 동작 하에서 전시되도록 트리거된 후의 순환 전시 횟수는 5 회이고, 사용자가 상기 가상 고양이에 대한 클릭 동작을 작용하는 것을 검출할 경우, 상기 가상 고양이가 A 위치로부터 B 위치까지의 전시 방식에 따라 5 회 순환하도록 트리거할 수 있다.
세 번째 경우에 있어서, 예시적으로, 가상 대상 A는 랜턴에서 한 번 깜빡이는 가상 조명이고, 인터랙션 동작은 제스처 식별 동작이며, 상기 가상 조명은 상기 제스처 식별 동작 하에 대응되는 프리젠테이션 상태가 디스플레이이며, 상기 가상 대상이 상기 제스처 식별 동작 하에서 전시되도록 트리거된 후의 순환 전시 횟수는 5 회이며, 상기 제스처 식별 동작을 검출할 경우, 가상 조명의 프리젠테이션 특수 효과 정보를 5 회 깜빡이도록 업데이트할 수 있다.
본 발명의 실시예에 있어서, 가상 대상에 대한 인터랙션 동작이 존재함을 검출할 경우, 상기 인터랙션 동작이 설정된 상태 트리거 조건에 부합되는 것을 결정할 경우, 가상 대상이 상기 설정된 상태 트리거 조건 하의 전시 방식에 따라, 가상 대상을 전시하며, 예시적으로, 증강 현실 체험자는 AR 기기에 설정된 제스처를 전시할 수 있음으로써, 가상 대상이 상기 제스처에 대응되는 프리젠테이션 특수 효과에 따라 전시되도록 트리거하며, 상기 방식은 증강 현실 체험자가 타깃 현실 시나리오에서 가상 대상과의 인터랙션을 향상시키며, 사용자 체험을 향상시킨다.
다른 한 가지 가능한 실시형태에 있어서, 본 발명의 실시예에서 제공한 전시 방법은,
제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합될 경우, 적어도 하나의 가상 대상이 상기 제2 타입의 상태 트리거 조건 하에서 대응되는 프리젠테이션 상태, 및 적어도 하나의 가상 대상이 상기 제2 타입의 상태트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하여, 업데이트된 프리젠테이션 특수 효과 정보를 얻는 단계를 더 포함하고;
프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하는 단계는,
업데이트된 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하는 단계를 포함한다.
예시적으로, 제2 타입의 상태 트리거 조건은 상기 언급된 AR 기기에 대응되는 제2 포즈 데이터에 관련된 상태 트리거 조건일 수 있고, 예를 들어 거리 식별 트리거 조건, 지정 영역 트리거 조건, 현재 모델을 향한 트리거 조건 및 지정 모델을 향한 트리거 조건 중 적어도 하나 또는 복수 개이다.
예시적으로, AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는 것은 여러 가지 경우를 포함하고, 구체적으로 AR 기기의 디스플레이 부재가 위치하는 위치 및 디스플레이 각도 중 적어도 하나를 통해 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는지 여부를 결정할 수 있으며, 독립적으로 AR 기기의 디스플레이 부재가 위치하는 위치를 통해 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는지 여부를 결정할 수 있으며, 독립적으로 AR 기기의 디스플레이 각도를 통해 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는지 여부를 결정할 수도 있으며, 또는 AR 기기의 디스플레이 부재가 위치하는 위치 및 디스플레이 각도를 결합하는 것을 통해 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는지 여부를 결정할 수 있다.
예시적으로, AR 기기의 디스플레이 부재가 위치하는 위치 좌표와 설정된 위치 포인트 사이의 거리가 설정된 거리를 만족할 경우, 상기 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는 것을 결정할 수 있고; 또는, 또한 AR 기기의 디스플레이 각도가 가상 대상 A가 위치하는 위치를 향하는 것을 결정할 경우, 마찬가지로 상기 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합하는 것을 결정할 수 있으며; 또는, 또한 AR 기기의 디스플레이 부재가 위치하는 위치 좌표와 설정된 위치 포인트 사이의 거리가 설정된 거리를 만족하고, 상기 AR 기기의 디스플레이 각도가 가상 대상 A가 전시된 위치를 향할 경우, 상기 AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합되는 것을 결정하며, 이러한 경우가 많으므로, 여기서 일일이 반복하여 설명하지 않는다.
더 나아가, AR 기기에 대응되는 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합될 경우, 적어도 하나의 가상 대상이 상기 제2 타입의 상태 트리거 조건 하에 대응되는 프리젠테이션 상태, 및 적어도 하나의 가상 대상이 상기 제2 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 따라, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트할 수 있으며, 구체적인 업데이트 방식은 전술한 인터랙션 동작에 기반하여 업데이트하는 방식과 유사하며, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예에 있어서, AR 기기에 대응되는 제2 포즈 데이터가 설정된 상태 트리거 조건에 부합되는 것을 검출할 경우, 가상 대상이 상기 설정된 상태 트리거 조건 하의 전시 방식에 따라, 가상 대상을 전시하며, 예시적으로, AR 기기가 설정된 위치에 가깝고, AR 기기의 디스플레이 각도가 가상 대상 A가 위치하는 위치를 향할 경우, 가상 대상 A가 상기 AR 기기의 제2 포즈 데이터에 대응되는 프리젠테이션 특수 효과에 따라 전시되도록 트리거하며, 상기 과정은 증강 현실 시나리오 효과가 더욱 진실되도록 할 수 있음으로써, 사용자 체험을 향상시킨다.
아래에 AR 생성 엔드에 기반하여 AR 시나리오 콘텐츠를 원격으로 생성하는 과정을 설명하고, 도 12에 도시된 바와 같이, 아래와 같은 단계를 포함한다.
단계 S301에 있어서, 제1 트리거 동작에 응답하여, 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오의 3 차원 시나리오 모델, 및 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득한다.
단계 S302에 있어서, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하고; 업데이트 데이터는 적어도 하나의 가상 대상이 3 차원 시나리오 모델에서의 제1 포즈 데이터를 포함한다.
단계 S303에 있어서, 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성한다.
본 발명의 실시예에 있어서, 제1 트리거 동작에 응답하여, 사용자에게 상기 타깃 현실 시나리오에 관련된 3 차원 시나리오 모델 및 초기 AR 데이터 패킷을 제공할 수 있어, 사용자가 자체 수요에 따라 직관적으로 3 차원 시나리오 모델을 통해 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상에 대해 편집 업데이트를 수행하는데 용이하고, 상기 방식을 통해 업데이트된 AR 데이터 패킷을 얻으며, 증강 현실 체험자가 타깃 현실 시나리오에서 증강 현실 체험을 수행할 경우, 직접 업데이트된 AR 데이터 패킷을 호출하여 증강 현실 체험을 수행할 수 있으며, 본 발명에서 제공한 AR 데이터 패킷을 원격으로 편집하는 방식을 통해, AR 데이터 패킷의 생성 방식을 간략화할 수 있어, 후속 증강 현실 시나리오의 전시를 위해 편리한 AR 소재를 제공한다.
도 13에 도시된 바를 참조하면, 본 발명의 실시예는 AR 시나리오 콘텐츠의 전시 시스템(400)을 더 제공하고, AR 생성 엔드(401), 서버(402) 및 AR 기기(403)를 포함하며, AR 생성 엔드(401)는 서버(402)와 통신 연결되며, AR 기기(403)는 서버(402)와 통신 연결되며;
AR 생성 엔드(401)는, 제1 트리거 동작에 응답하여, 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오의 3 차원 시나리오 모델, 및 타깃 현실 시나리오에 관련된 초기 증강 현실(AR) 데이터 패킷을 획득하고; 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하며 - 업데이트 데이터는 적어도 하나의 가상 대상이 3 차원 시나리오 모델에서의 제1 포즈 데이터를 포함함 - ; 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하고, 업데이트된 AR 데이터 패킷을 서버에 송신하기 위한 것이며;
서버(402)는, 업데이트된 AR 데이터 패킷을 수신하고, AR 기기에 업데이트된 AR 데이터 패킷을 전달하기 위한 것이며;
AR 기기(403), 제2 트리거 동작에 응답하여, 서버에 저장된 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 업데이트된 AR 데이터 패킷을 획득하고; AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 업데이트된 AR 데이터 패킷 중 적어도 하나의 가상 대상이 3 차원 시나리오 모델에서의 제1 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하며; 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하기 위한 것이다.
본 발명의 실시예에서 제공한 전시 시스템은, 생성 AR 데이터 패킷을 원격으로 편집할 수 있고, 생성된 AR 데이터 패킷을 서버에 게시할 수 있어, AR 기기 엔드가 증강 현실 체험을 하도록 제공하며, 구체적으로 AR 생성 엔드에서 AR 데이터 패킷에 대한 간략한 생성 방식을 제공할 수 있어, 사용자 편집에 용이하며, 서버 엔드는 AR 데이터 패킷을 저장할 수 있어, AR 기기가 AR 데이터 패킷을 다운로드하여 체험하는데 용이하다.
아래에 AR 기기에 기반하여 증강 현실 시나리오에서 AR 시나리오 콘텐츠를 현장으로 생성하는 과정을 설명하며, AR 기기에 적용되며, 도 14에 도시된 바와 같이, 아래와 같은 단계를 포함한다.
단계 S501에 있어서, 제1 트리거 동작에 응답하여, 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득한다.
단계 S502에 있어서, AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 초기 AR 데이터 패킷에 기반하여, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시한다.
단계 S503에 있어서, 전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하고; 업데이트 데이터는 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 포함한다.
단계 S505에 있어서, 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성한다.
본 발명의 실시예에 있어서, 제1 트리거 동작에 응답하여, AR 데이터 패킷 편집 상태에 진입할 수 있고, AR 기기에 대응되는 제2 포즈 데이터를 획득한 후, 상기 AR 기기에 대응되는 제2 포즈 데이터에 기반하여, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시할 수 있어, 사용자가 AR 기기에서 수요에 따라 직관적으로 가상 대상이 타깃 현실 시나리오에서의 제2 포즈 데이터에 대해 편집 조정을 수행할 수 있음으로써, AR 시나리오 콘텐츠의 생성 과정을 간략화할 수 있으며, 조정된 AR 데이터 패킷의 정확도가 더욱 높도록 할 수 있다.
동일한 기술적 사상에 기반하여, 본 발명의 실시예에서 도 1에 도시된 AR 시나리오 콘텐츠의 생성 방법에 대응되는 생성 장치를 더 제공하고, 본 발명의 실시예에서의 장치가 문제를 해결하는 원리와 본 발명의 실시예에 따른 생성 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있으며, 중복된 곳은 더이상 반복하여 설명하지 않는다.
도 15에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠의 생성 장치(600)는,
제1 트리거 동작에 응답하여, 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하기 위한 제1 획득 모듈(601);
초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 제2 획득 모듈(602) - 업데이트 데이터는 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및
적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하기 위한 업데이트 모듈(603)을 포함한다.
한 가지 가능한 실시형태에 있어서, 제1 획득 모듈(601)은 또한,
제1 트리거 동작에 의해 지시된 타깃 현실 시나리오의 3 차원 시나리오 모델을 획득하기 위한 것이며;
제2 획득 모듈(602)이 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것일 경우, 또한
로딩된 3 차원 시나리오 모델을 전시하고;
적어도 하나의 가상 대상이 3 차원 시나리오 모델에 위치할 경우의 업데이트 데이터를 획득하기 위한 것이며, 업데이트 데이터는 적어도 하나의 가상 대상이 3 차원 시나리오 모델에 위치할 경우의 제1 포즈 데이터를 포함한다.
한 가지 가능한 실시형태에 있어서, 생성 장치는 전시 모듈(604)을 더 포함하고, 전시 모듈(604)은,
AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 초기 AR 데이터 패킷에 기반하여, 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시하기 위한 것이다.
제2 획득 모듈(602)이 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것일 경우, 또한
전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것이며; 업데이트 데이터는 적어도 하나의 가상 대상이 타깃 현실 시나리오에서의 제1 포즈 데이터를 포함한다.
한 가지 가능한 실시형태에 있어서, 제2 획득 모듈이 전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것일 경우, 또한
포즈 데이터 편집 인터페이스를 전시하고, 포즈 데이터 편집 인터페이스를 통해 수신된 적어도 하나의 가상 대상의 제1 포즈 데이터를 획득하기 위한 것이며;
여기서, 제1 포즈 데이터는, 타깃 현실 시나리오가 위치하는 좌표계에서의 위치 좌표, 편향각 및 사이즈 정보 중 적어도 하나를 포함한다.
한 가지 가능한 실시형태에 있어서, 업데이트 데이터는 적어도 하나의 가상 대상에 대응되는 인터랙션 데이터를 더 포함하고;
제2 획득 모듈이 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것일 경우, 또한
인터랙션 데이터 편집 인터페이스를 전시하고, 인터랙션 데이터 편집 인터페이스를 통해 각각 수신된 각 가상 대상의 인터랙션 데이터를 획득하기 위한 것이며;
여기서, 인터랙션 데이터는, 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 포함한다.
한 가지 가능한 실시형태에 있어서, 인터랙션 데이터에 여러 가지 상태 트리거 조건을 포함할 경우, 인터랙션 데이터는 각 상태 트리거 조건의 우선 순위를 더 포함한다.
한 가지 가능한 실시형태에 있어서, 제2 획득 모듈(602)은 또한
초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 물체 모델에 대응되는 제3 포즈 데이터를 획득하기 위한 것이며, 적어도 하나의 가상 물체 모델은 타깃 현실 시나리오에서의 타깃 물체를 나타내며;
업데이트 모듈(603)이 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하기 위한 것일 경우, 또한
적어도 하나의 가상 대상의 업데이트 데이터, 및 가상 물체 모델에 대응되는 제3 포즈 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하기 위한 것이다.
한 가지 가능한 실시형태에 있어서, 적어도 하나의 가상 대상은 적어도 하나의 제1 가상 대상을 포함하고, 제2 획득 모듈(602)이 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것일 경우, 또한
초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상의 업데이트 데이터를 획득하기 위한 것이다.
한 가지 가능한 실시형태에 있어서, 적어도 하나의 가상 대상은 적어도 하나의 제2 가상 대상을 포함하고, 제2 획득 모듈이 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 것일 경우, 또한
사전에 구축된 소재 라이브러리로부터 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상을 획득하고, 적어도 하나의 제2 가상 대상의 업데이트 데이터를 획득하기 위한 것이다.
한 가지 가능한 실시형태에 있어서, 생성 장치는 송신 모듈(605)을 더 포함하고, 업데이트된 AR 데이터 패킷을 생성한 후, 송신 모듈(605)은,
업데이트된 AR 데이터 패킷을 서버에 송신하는 단계; 또는, 업데이트된 AR 데이터 패킷 및 업데이트된 AR 데이터 패킷이 활성화되는지 여부를 지시하는 상태 정보를 서버에 송신하기 위한 것이다.
한 가지 가능한 실시형태에 있어서, 업데이트된 AR 데이터 패킷을 생성한 후, 송신 모듈(605)은 또한,
업데이트된 AR 데이터 패킷에 대한 업로드 트리거 동작에 응답하여, 업데이트된 AR 데이터 패킷의 라벨 정보를 획득하고, 라벨 정보를 서버에 송신하기 위한 것이다.
동일한 기술적 사상에 기반하여, 본 발명의 실시예에서 도 9에 도시된 AR 시나리오 콘텐츠의 전시 방법에 대응되는 전시 장치를 더 제공하고, 본 발명의 실시예에서의 장치가 문제를 해결하는 원리와 본 발명의 실시예에 따른 전시 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있으며, 중복된 곳은 더이상 반복하여 설명하지 않는다.
도 16에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 AR 시나리오 콘텐츠의 전시 장치(700)의 예시도이며, 상기 장치는,
제2 트리거 동작에 응답하여, 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하기 위한 획득 모듈 - AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ;
AR 기기가 현재 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하기 위한 결정 모듈(702); 및
프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하기 위한 전시 모듈(703)을 포함한다.
한 가지 가능한 실시형태에 있어서, AR 데이터 패킷은 적어도 하나의 가상 물체 모델에 대응되는 제3 포즈 데이터를 더 포함하고; 가상 물체 모델은 타깃 현실 시나리오에서의 타깃 물체를 나타내며;
결정 모듈(702)이 AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하기 위한 것일 경우, 또한,
AR 기기가 현재 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터, 및 가상 물체 모델에 대응되는 제3 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하기 위한 것이다.
한 가지 가능한 실시형태에 있어서, AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 인터랙션 데이터를 더 포함하고, 인터랙션 데이터는 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 포함한다.
한 가지 가능한 실시형태에 있어서, 전시 장치는 인터랙션 모듈(704)을 더 포함하고, 인터랙션 모듈(704)은,
적어도 하나의 가상 대상에 작용되는 인터랙션 동작을 검출하고;
적어도 하나의 가상 대상에 작용되는 인터랙션 동작이 제1 타입의 상태 트리거 조건에 부합될 경우, 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건 하에서 대응되는 프리젠테이션 상태, 및 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하여, 업데이트된 프리젠테이션 특수 효과 정보를 얻기 위한 것이며;
전시 모듈(704)이 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하기 위한 것일 경우, 또한,
업데이트된 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하기 위한 것이다.
한 가지 가능한 실시형태에 있어서, 전시 장치는 인터랙션 모듈(704)을 더 포함하고, 인터랙션 모듈(704)은,
제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합될 경우, 적어도 하나의 가상 대상이 상기 제2 타입의 상태 트리거 조건 하에서 대응되는 프리젠테이션 상태, 및 적어도 하나의 가상 대상이 상기 제2 타입의 상태트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하여, 업데이트된 프리젠테이션 특수 효과 정보를 얻기 위한 것이며;
전시 모듈은 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시할 경우,
업데이트된 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하기 위한 것이다.
장치에서의 각 모듈의 처리 플로우, 및 각 모듈 사이의 인터랙션 플로우의 설명은 상기 방법 실시예에서의 관련 설명을 참조할 수 있고, 여기서 더이상 상세하게 설명하지 않는다.
도 1에서의 AR 시나리오 콘텐츠의 생성 방법에 대응되게, 본 발명의 실시예는 전자 기기(800)를 더 제공하고, 도 17에 도시된 바와 같이, 본 발명의 실시예에서 제공한 전자 기기(800) 구조 예시도이며, 상기 전자 기기는,
프로세서(81), 메모리(82), 및 버스(83)를 포함하며; 메모리(82)는 실행 명령어를 저장하기 위한 것이며, 내장 메모리(821) 및 외부 메모리(822)를 포함하며; 여기서 내장 메모리(821)는 내부 메모리로도 지칭되며, 프로세서(81)에서의 연산 데이터, 및 하드웨어 디스크 등 외부 메모리(822)와 교환하는 데이터를 잠시 저장하기 위한 것이며, 프로세서(81)는 내장 메모리(821)와 외부 메모리(822)를 통해 데이터 교환하며, 전자 기기(800)가 작동될 경우, 프로세서(81)와 메모리(82) 사이는 버스(83)를 통해 통신하여, 프로세서(81)가, 제1 트리거 동작에 응답하여, 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하는 단계; 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계 - 업데이트 데이터는 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계를 실행하도록 한다.
또는, 프로세서(81)가, 제2 트리거 동작에 응답하여, 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하는 단계 - AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; AR 기기가 현재 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터에 기반하여, 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하는 단계; 및 프리젠테이션 특수 효과 정보에 기반하여, AR 기기를 통해 적어도 하나의 가상 대상을 전시하는 단계를 실행하도록 할 수 있다.
본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 컴퓨터가 프로세서에 의해 작동될 경우 상기 방법 실시예에서의 생성 방법 또는 전시 방법의 단계를 실행한다. 여기서, 상기 저장 매체는 휘발성 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.
본 발명의 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 상기 컴퓨터 프로그램 제품은 프로그램 코드를 캐리하며, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 생성 방법 또는 전시 방법의 단계를 실행하는데 사용될 수 있으며, 구체적인 것은 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
여기서, 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 구현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 구현된다.
본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 구체적인 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있으며, 여기서 반복적으로 설명하지 않는다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.
상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.
마지막으로 설명해야 할 것은, 이상 상기 실시예는, 다만 본 발명의 구체적인 실시형태일 뿐이고, 본 발명의 기술방안을 한정하려는 것이 아닌 설명하기 위함이며, 본 발명의 청구 범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 본 분야의 기술자라면, 임의의 본 기술분야의 공지된 기술자가 본 발명에서 개시된 기술 범위 내에서, 여전히 전술한 실시예에서 기재된 기술방안을 수정하거나 용이하게 변화를 생각해낼 수 있으며, 또는 그것의 일부 기술 특징을 동등하게 대체할 수 있음을 이해해야 하고; 이러한 수정, 변화 또는 교체는 상응하는 기술방안의 본질이 본 발명의 기술방안의 사상 및 범위를 벗어나지 않도록 하며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 발명의 보호 범위는 상기 특허청구범위의 보호 범위를 기준으로 해야 한다.

Claims (20)

  1. 증강 현실(AR) 시나리오 콘텐츠의 생성 방법으로서,
    제1 트리거 동작에 응답하여, 상기 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하는 단계;
    상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및
    상기 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  2. 제1항에 있어서,
    상기 생성 방법은,
    상기 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오의 3 차원 시나리오 모델을 획득하는 단계를 더 포함하고;
    상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
    로딩된 상기 3 차원 시나리오 모델을 전시하는 단계; 및
    상기 적어도 하나의 가상 대상이 상기 3 차원 시나리오 모델에 위치할 경우의 업데이트 데이터를 획득하는 단계 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상이 상기 3 차원 시나리오 모델에 위치할 경우의 제1 포즈 데이터를 포함함 - 를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  3. 제1항에 있어서,
    상기 생성 방법은,
    AR 기기가 현재 상기 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 상기 초기 AR 데이터 패킷에 기반하여, 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상을 전시하는 단계를 더 포함하고;
    상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
    전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상이 상기 타깃 현실 시나리오에서의 제1 포즈 데이터를 포함함 - 를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  4. 제3항에 있어서,
    상기 전시된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
    포즈 데이터 편집 인터페이스를 전시하고, 상기 포즈 데이터 편집 인터페이스를 통해 수신된 상기 적어도 하나의 가상 대상의 제1 포즈 데이터를 획득하는 단계를 포함하고;
    상기 제1 포즈 데이터는, 상기 타깃 현실 시나리오에 위치하는 좌표계에서의 위치 좌표, 편향각 및 사이즈 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 업데이트 데이터는 상기 적어도 하나의 가상 대상에 대응되는 인터랙션 데이터를 더 포함하고;
    상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
    인터랙션 데이터 편집 인터페이스를 전시하고, 상기 인터랙션 데이터 편집 인터페이스를 통해 각각 수신된 각 가상 대상의 인터랙션 데이터를 획득하는 단계를 포함하며;
    상기 인터랙션 데이터는, 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  6. 제5항에 있어서,
    상기 인터랙션 데이터가 여러 가지 상태 트리거 조건을 포함할 경우, 상기 인터랙션 데이터는, 각 상태 트리거 조건의 우선 순위를 더 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 생성 방법은,
    상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 물체 모델에 대응되는 제3 포즈 데이터를 획득하는 단계 - 상기 적어도 하나의 가상 물체 모델은 상기 타깃 현실 시나리오에서의 타깃 물체를 나타냄 - 를 더 포함하고;
    상기 적어도 하나의 가상 대상의 상기 업데이트 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계는,
    상기 적어도 하나의 가상 대상의 상기 업데이트 데이터, 및 상기 가상 물체 모델에 대응되는 상기 제3 포즈 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 가상 대상은 적어도 하나의 제1 가상 대상을 포함하고, 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
    상기 초기 AR 데이터 패킷에 포함된 적어도 하나의 제1 가상 대상의 업데이트 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 가상 대상은 적어도 하나의 제2 가상 대상을 포함하고, 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하는 단계는,
    사전에 구축된 소재 라이브러리로부터 상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 제2 가상 대상을 획득하고, 상기 적어도 하나의 제2 가상 대상의 업데이트 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    업데이트된 AR 데이터 패킷을 생성한 후, 상기 생성 방법은,
    상기 업데이트된 AR 데이터 패킷을 서버에 송신하는 단계; 또는, 상기 업데이트된 AR 데이터 패킷 및 상기 업데이트된 AR 데이터 패킷이 활성화되는지 여부를 나타내는 상태 정보를 서버에 송신하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  11. 제10항에 있어서,
    상기 업데이트된 AR 데이터 패킷을 생성한 후, 상기 생성 방법은,
    상기 업데이트된 AR 데이터 패킷에 대한 업로드 트리거 동작에 응답하여, 상기 업데이트된 AR 데이터 패킷의 라벨 정보를 획득하고, 상기 라벨 정보를 상기 서버에 송신하는 단계를 더 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 방법.
  12. 증강 현실(AR) 시나리오 콘텐츠의 전시 방법으로서,
    제2 트리거 동작에 응답하여, 상기 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하는 단계 - 상기 AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ;
    AR 기기가 현재 상기 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 상기 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 상기 제1 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하는 단계; 및
    상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 전시 방법.
  13. 제12항에 있어서,
    상기 AR 데이터 패킷은 적어도 하나의 가상 물체 모델에 대응되는 제3 포즈 데이터를 더 포함하고; 상기 가상 물체 모델은 상기 타깃 현실 시나리오에서의 타깃 물체를 나타내며;
    상기 AR 기기가 현재 상기 타깃 현실 시나리오를 촬영할 경우의 제2 포즈 데이터, 및 상기 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 상기 제1 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하는 단계는,
    상기 AR 기기가 현재 상기 타깃 현실 시나리오를 촬영할 경우의 상기 제2 포즈 데이터, 상기 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 상기 제1 포즈 데이터, 및 상기 가상 물체 모델에 대응되는 상기 제3 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하는 단계를 포함하는 것을 특징으로 증강 현실 시나리오 콘텐츠의 전시 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 인터랙션 데이터를 더 포함하고, 상기 인터랙션 데이터는 적어도 하나의 상태 트리거 조건, 각 상태 트리거 조건에 대응되는 프리젠테이션 상태, 및 가상 대상이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 전시 방법.
  15. 제14항에 있어서,
    상기 전시 방법은,
    상기 적어도 하나의 가상 대상에 작용되는 인터랙션 동작을 검출하는 단계; 및
    상기 적어도 하나의 가상 대상에 작용되는 인터랙션 동작이 제1 타입의 상태 트리거 조건에 부합될 경우, 상기 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건 하에서 대응되는 프리젠테이션 상태, 및 상기 적어도 하나의 가상 대상이 상기 제1 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하여, 업데이트된 프리젠테이션 특수 효과 정보를 얻는 단계를 더 포함하고;
    상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하는 단계는,
    상기 업데이트된 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 전시 방법.
  16. 제14항 또는 제15항에 있어서,
    상기 전시 방법은,
    상기 제2 포즈 데이터가 제2 타입의 상태 트리거 조건에 부합될 경우, 상기 적어도 하나의 가상 대상이 상기 제2 타입의 상태 트리거 조건 하에서 대응되는 프리젠테이션 상태, 및 상기 적어도 하나의 가상 대상이 상기 제2 타입의 상태 트리거 조건이 전시되도록 트리거된 후의 순환 전시 횟수 중 적어도 하나에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 업데이트하여, 업데이트된 프리젠테이션 특수 효과 정보를 얻는 단계를 더 포함하고;
    상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하는 단계는,
    상기 업데이트된 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하는 단계를 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 전시 방법.
  17. 증강 현실(AR) 시나리오 콘텐츠의 생성 장치로서,
    제1 트리거 동작에 응답하여, 상기 제1 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 초기 AR 데이터 패킷을 획득하기 위한 제1 획득 모듈;
    상기 초기 AR 데이터 패킷에 관련된 적어도 하나의 가상 대상의 업데이트 데이터를 획득하기 위한 제2 획득 모듈 - 상기 업데이트 데이터는 상기 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ; 및
    상기 적어도 하나의 가상 대상의 업데이트 데이터에 기반하여, 상기 초기 AR 데이터 패킷을 업데이트하여, 업데이트된 AR 데이터 패킷을 생성하기 위한 업데이트 모듈을 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 생성 장치.
  18. 증강 현실(AR) 시나리오 콘텐츠의 전시 장치로서,
    제2 트리거 동작에 응답하여, 상기 제2 트리거 동작에 의해 지시된 타깃 현실 시나리오에 관련된 AR 데이터 패킷을 획득하기 위한 획득 모듈 - 상기 AR 데이터 패킷은 적어도 하나의 가상 대상에 대응되는 제1 포즈 데이터를 포함함 - ;
    AR 기기가 현재 상기 타깃 현실 시나리오를 촬영하는 제2 포즈 데이터, 및 상기 AR 데이터 패킷 중 적어도 하나의 가상 대상에 대응되는 상기 제1 포즈 데이터에 기반하여, 상기 적어도 하나의 가상 대상의 프리젠테이션 특수 효과 정보를 결정하기 위한 결정 모듈; 및
    상기 프리젠테이션 특수 효과 정보에 기반하여, 상기 AR 기기를 통해 상기 적어도 하나의 가상 대상을 전시하기 위한 전시 모듈을 포함하는 것을 특징으로 하는 증강 현실 시나리오 콘텐츠의 전시 장치.
  19. 전자 기기로서,
    프로세서, 메모리 및 버스를 포함하고, 상기 메모리는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어를 저장하며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하며, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제1항 내지 제11항 중 어느 한 항에 따른 생성 방법의 단계, 또는 제12항 내지 제16항 중 어느 한 항에 따른 전시 방법의 단계를 실행하는 것을 특징으로 하는 전자 기기.
  20. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 제1항 내지 제11항 중 어느 한 항에 따른 생성 방법의 단계, 또는 제12항 내지 제16항 중 어느 한 항에 따른 전시 방법의 단계를 실행하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
KR1020217020429A 2020-05-26 2020-12-09 Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체 KR20210148074A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN202010456843.8 2020-05-26
CN202010456842.3A CN111610997A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示***及装置
CN202010456842.3 2020-05-26
CN202010456843.8A CN111610998A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、装置及存储介质
PCT/CN2020/135048 WO2021238145A1 (zh) 2020-05-26 2020-12-09 Ar场景内容的生成方法、展示方法、装置及存储介质

Publications (1)

Publication Number Publication Date
KR20210148074A true KR20210148074A (ko) 2021-12-07

Family

ID=78745558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020429A KR20210148074A (ko) 2020-05-26 2020-12-09 Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체

Country Status (5)

Country Link
JP (1) JP2022537861A (ko)
KR (1) KR20210148074A (ko)
SG (1) SG11202108241QA (ko)
TW (1) TWI783472B (ko)
WO (1) WO2021238145A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401442B (zh) * 2022-01-14 2023-10-24 北京字跳网络技术有限公司 视频直播及特效控制方法、装置、电子设备及存储介质
CN114942737A (zh) * 2022-04-28 2022-08-26 Oppo广东移动通信有限公司 显示方法、装置、显示设备、头戴式设备及存储介质
CN114764327B (zh) * 2022-05-09 2023-05-05 北京未来时空科技有限公司 一种三维可交互媒体的制作方法、装置及存储介质
CN115291939A (zh) * 2022-08-17 2022-11-04 北京字跳网络技术有限公司 互动场景配置方法、装置、存储介质、设备及程序产品
CN115374141B (zh) * 2022-09-20 2024-05-10 支付宝(杭州)信息技术有限公司 虚拟形象的更新处理方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2327894A1 (en) * 2000-12-07 2002-06-07 Clearview Geophysics Inc. Method and system for complete 3d object and area digitizing
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
US10234935B2 (en) * 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
CN108416832B (zh) * 2018-01-30 2024-05-14 腾讯科技(深圳)有限公司 媒体信息的显示方法、装置和存储介质
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
EP3621039A1 (en) * 2018-09-06 2020-03-11 Tata Consultancy Services Limited Real time overlay placement in videos for augmented reality applications
EP3861533A4 (en) * 2018-10-05 2022-12-21 Magic Leap, Inc. CROSS REALITY SYSTEM
CN110764614B (zh) * 2019-10-15 2021-10-08 北京市商汤科技开发有限公司 增强现实数据呈现方法、装置、设备及存储介质
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN111610997A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、展示***及装置
CN111610998A (zh) * 2020-05-26 2020-09-01 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质

Also Published As

Publication number Publication date
TWI783472B (zh) 2022-11-11
TW202145150A (zh) 2021-12-01
JP2022537861A (ja) 2022-08-31
SG11202108241QA (en) 2021-12-30
WO2021238145A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
TWI782332B (zh) 一種擴增實境資料呈現方法、設備及儲存媒體
KR20210148074A (ko) Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US10871934B2 (en) Virtual content displayed with shared anchor
KR20210046591A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
Grubert et al. Augmented reality for Android application development
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
KR20190103322A (ko) 표면 인식 렌즈
US9632314B2 (en) Head mounted display device displaying thumbnail image and method of controlling the same
KR102417786B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기, 저장 매체 및 프로그램
KR20230022269A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
CN102216959A (zh) 用于操纵全景的技术
CN111610997A (zh) Ar场景内容的生成方法、展示方法、展示***及装置
CN112070906A (zh) 一种增强现实***及增强现实数据的生成方法、装置
KR20150131357A (ko) 실제 세계 분석론 시각화
KR20170125618A (ko) 증강현실 플랫폼을 통해 가상 영역에 표시할 컨텐츠를 생성하는 방법 및 이를 지원하는 전자 장치
US20160371885A1 (en) Sharing of markup to image data
US11893696B2 (en) Methods, systems, and computer readable media for extended reality user interface
US20210118236A1 (en) Method and apparatus for presenting augmented reality data, device and storage medium
CN112070907A (zh) 一种增强现实***及增强现实数据的生成方法、装置
CA3119609A1 (en) Augmented reality (ar) imprinting methods and systems
JP2017041780A (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
CN111815783A (zh) 虚拟场景的呈现方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right