KR102420166B1 - 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템 - Google Patents

Abstract

실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법은, 제 1 사용자의 컴퓨팅 디바이스의 프로세서에서 제 1 확장현실 어플리케이션을 실행하여 수행하는 맞춤형 네트워크 전송 정보 퀄리티 조정 방법으로서, 적어도 하나 이상의 타 컴퓨팅 디바이스와 확장현실 영상 콘텐츠를 송수신하는 확장현실 커뮤니케이션 서비스를 실행하는 단계; 타 컴퓨팅 디바이스와의 네트워크 환경을 감지하는 단계; 상기 감지된 네트워크 환경에 따라서 상기 확장현실 영상 콘텐츠의 적어도 하나 이상의 영상 파라미터를 설정하는 단계; 상기 설정된 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 생성하는 단계; 및 상기 생성된 확장현실 영상 콘텐츠를 포함하는 커뮤니케이션 데이터를 상기 타 사용자 컴퓨팅 디바이스에 송신하는 단계를 포함한다.

Description

맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템{METHOD AND SYSTEM FOR CUSTOMZING NETWORK TRANSMSSION PRAMETER}

본 발명은 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템에 관한 것이다. 보다 상세하게는, 네트워크 전송 환경에 따라서 네트워크를 통해 전송되는 콘텐츠의 파라미터를 사용자 맞춤형으로 설정하는 방법에 관한 것이다.

최근, 가상현실(Virtual Reality: VR), 증강현실(Augmented Reality: AR), 혼합현실(Mixed Reality: MR)에 대한 관심이 급상승하고 있는 가운데, 확장현실(XR)(eXtended Reality: XR)까지 가세하면서 이용자의 몰입경험(Immersive Experience)을 제공하는 서비스 및 기기 시장이 나날이 발전하고 있다.

여기서, 확장현실(XR)이란, 가상현실과 증강현실, 그리고 혼합현실 기술을 모두 아우르는 용어로서, 증강현실, 가상현실 및 혼합현실을 모두 지원할 수 있는 새로운 형태의 기기에 융합되는 과정을 통해 그 개념이 탄생하게 되었다.

확장현실(XR) 기술은, VR, AR 그리고 MR 기반한 많은 요소 기술들을 공동으로 활용하고 있으며, 이러한 기술들이 통용될 수 있는 혁신적이고 새로운 형태의 기기에 적용되어서 다양한 새로운 경험이 가능해지고 있다. 예를 들면, 확장현실(XR) 기술은, 제조, 건축, 게임, 영상, 의료, 교육, 쇼핑, 마케팅, 관광, 자동차 또는 헬스케어 등에 이르기까지 다양한 산업에 적용되고 있다.

한편, 정보 통신 기술(Information　and Communication　Technology, ICT)이 발전함에 따라 네트워크(network)에 기반한 데이터 통신(data communication)이 활발히 이루어지고 있다.

여기서, 통신이란, 두 개 이상의 통신장치 사이에서 동선이나 광섬유, 혹은 무선링크를 포함하는 전송미디어를 사용하여 정해진 규칙 즉, 통신 프로토콜에 따라 데이터로 표현되는 정보를 교환하는 과정을 의미한다.

최근 들어, 확장현실(XR) 기술의 성장과 함께 네트워크에 기반한 각종 확장현실(XR) 관련 데이터들의 교환 활동이 이루어지고 있으나, 통신장치나 네트워크의 자체적 상태, 통신 환경 및/또는 서로 다른 통신장치 간의 호환성 등의 다양한 원인으로 인하여 통신 즉, 커뮤니케이션(communication)을 수행하는 통신장치 간에 원활한 데이터 송수신이 어려움을 겪고 있는 실정이다.

10-1354133 B1

본 발명은, 네트워크 환경에 따라서 사용자 맞춤형으로 확장현실 기반으로 커뮤니케이션 데이터의 퀄리티를 조정하여 송수신하는 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템을 제공하는데 그 목적이 있다.

또한, 본 발명은, 측정된 네트워크 환경에 따라서 커뮤니케이션 데이터를 생성하여 통신하는 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템을 제공하는데 그 목적이 있다.

실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법은, 제 1 사용자의 컴퓨팅 디바이스의 프로세서에서 제 1 확장현실 어플리케이션을 실행하여 수행하는 맞춤형 네트워크 전송 정보 퀄리티 조정 방법으로서, 적어도 하나 이상의 타 컴퓨팅 디바이스와 확장현실 영상 콘텐츠를 송수신하는 확장현실 커뮤니케이션 서비스를 실행하는 단계; 타 컴퓨팅 디바이스와의 네트워크 환경을 감지하는 단계; 상기 감지된 네트워크 환경에 따라서 상기 확장현실 영상 콘텐츠의 적어도 하나 이상의 영상 파라미터를 설정하는 단계; 상기 설정된 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 생성하는 단계; 및 상기 생성된 확장현실 영상 콘텐츠를 포함하는 커뮤니케이션 데이터를 상기 타 사용자 컴퓨팅 디바이스에 송신하는 단계를 포함한다.

이때, 상기 타 컴퓨팅 디바이스와의 네트워크 환경을 감지하는 단계는, 복수의 컴퓨팅 디바이스와의 대역폭을 각각 측정하는 단계와, 상기 측정된 대역폭 중 가장 작은 대역폭을 공통 대역폭으로 결정하는 단계를 포함할 수 있다.

또한, 상기 감지된 네트워크 환경에 따라서 상기 확장현실 영상 콘텐츠의 적어도 하나 이상의 영상 파라미터를 설정하는 단계는, 확장현실 영상 출력모드를 결정하는 단계와, 상기 결정된 확장현실 영상 출력모드에서 상기 감지된 네트워크 환경에 기초하여 상기 영상 파라미터를 결정하는 단계를 포함할 수 있다.

또한, 상기 확장현실 영상 출력모드를 결정하는 단계는, 서로 다른 영상 파라미터의 복수의 영상을 출력하는 단계와, 상기 출력된 복수의 영상 중 사용자 선택에 따라 하나의 영상이 결정되는 단계와, 상기 결정된 영상으로 상기 영상 파라미터를 결정하는 단계를 포함할 수 있다.

또한, 상기 결정된 확장현실 영상 출력모드에서 상기 감지된 네트워크 환경에 기초하여 상기 영상 파라미터를 결정하는 단계는, 상기 감지된 네트워크 환경에 따라서 네트워크 전송 파라미터를 결정하는 단계와, 상기 결정된 네트워크 전송 파라미터에 따라서 제 1 영상 파라미터를 결정하는 단계와, 상기 결정된 제 1 영상 파라미터에 따라서 나머지 영상 파라미터를 결정하는 단계를 포함할 수 있다.

또한, 상기 결정된 확장현실 영상 출력모드에서 상기 감지된 네트워크 환경에 기초하여 상기 영상 파라미터를 결정하는 단계는, 제 2 영상 파라미터를 제 1 값으로 고정하는 단계와, 상기 결정된 제 1 영상 파라미터 내에서 상기 제 2 영상 파라미터가 제 1 값일 때의 제 3 영상 파라미터 값을 산출하여 영상 파라미터를 결정하는 단계와, 상기 제 1 영상 파라미터가 변경되면 상기 제 3 영상 파라미터를 재산출하여 결정하는 단계를 포함할 수 있다.

또한, 상기 설정된 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 생성하는 단계는, 영상을 획득하는 단계와, 상기 획득된 영상에 증강되는 가상 객체를 입력하는 유저 인터페이스를 제공하는 단계와, 상기 유저 인터페이스에 따라 생성된 가상 객체를 상기 확장현실 영상 콘텐츠에 포함하는 단계를 포함할 수 있다.

또한, 상기 획득된 영상에 증강되는 가상 객체를 입력하는 유저 인터페이스를 제공하는 단계는, 상기 설정된 영상 파라미터에 따라서 상기 획득된 영상을 변경하는 단계와, 상기 설정된 영상 파라미터에 따라서 상기 가상 객체를 입력하기 위한 포인터의 종류 또는 모양을 변경하는 단계를 포함할 수 있다.

또한, 상기 획득된 영상에 증강되는 가상 객체를 입력하는 유저 인터페이스를 제공하는 단계는, 상기 설정된 영상 파라미터에 따라서 상기 가상 객체의 종류, 형태, 크기 또는 색 중 적어도 하나를 변경하는 단계를 포함할 수 있다.

또한, 상기 설정된 영상 파라미터에 대한 메타 정보를 결정하는 단계와, 상기 결정된 메타 정보와 상기 설정된 영상 파라미터를 매칭하여 저장하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템은, 데이터 통신에 이용되는 네트워크 환경을 기반으로 교환하려는 데이터를 가공하여 송수신함으로써, 네트워크 사용 환경에 최적화된 속도와 품질로 생성된 맞춤형 데이터 교환을 수행하여, 확장현실 환경 내에서 최적의 커뮤니케이션 서비스를 제공할 수 있다.

또한, 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템은, 데이터 통신에 이용되는 네트워크 환경을 기반으로 맞춤형 데이터를 생성하여 제공함으로써, 확장현실(XR) 기술에 기반한 데이터 교환 시에도 네트워크 통신 부하, 버퍼링(buffering) 또는 데이터의 품질 저하 등과 같은 통신 문제를 최소화할 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스를 통해 확장현실 환경을 제공하는 개념도이다.
도 3은 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스를 통해 확장현실 환경을 제공하는 개념도이다.
도 5는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 6은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 7은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스를 통해 확장현실 커뮤니케이션을 제공하는 개념도이다.
도 8은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.
도 9는 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 실시예에 따른 네트워크 전송 정보 퀄리티를 조정하는 유저 인터페이스의 일례이다.
도 11은 본 발명의 실시예에 따른 일반모드에서 네트워크 전송 정보 퀄리티를 조정하는 과정을 나타내는 흐름도이다.
도 12는 본 발명의 실시예에 따른 선명도 모드에서 네트워크 전송 정보 퀄리티를 조정하는 과정을 나타내는 흐름도이다.
도 13은 본 발명의 실시예에 따른 커스텀 모드에서 네트워크 전송 정보 퀄리티를 조정하는 유저 인터페이스의 일례이다.
도 14는 본 발명의 실시예에 따라 조정된 네트워크 전송 정보 퀄리티에 따라서 확장현실 커뮤니케이션을 제공하는 모습의 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 시스템(이하, “커뮤니케이션 시스템”)은, 사용자들이 컴퓨팅 디바이스의 확장현실 어플리케이션을 통해 확장현실 콘텐츠를 기초로 한 서로 간의 커뮤니케이션을 제공하는 시스템이다.

여기서, 확장현실 환경은, 사용자나 커뮤니케이션 상대방 주변의 물리적 공간에 대한 영상, 사용자들의 음성 및 이에 연관된 가상 콘텐츠가 삽입되어 생성된 환경을 의미하며, 증강현실(AR) 환경과 혼합현실 환경(MR)을 포함할 수 있다.

상기 가상 콘텐츠는, 컴퓨팅 디바이스에서 생성된 가상의 콘텐츠로, 라벨, 텍스트 정보, 이미지, 드로잉 객체 및 3 차원 엔티티를 포함하며, 상기 물리적 공간이나 물리적 공간을 촬영한 영상에 대응하여 생성된 증강/혼합 콘텐츠다.

그리고 확장현실 커뮤니케이션(XR Communication)이란, 서로 다른 사용자가 컴퓨팅 디바이스를 통해 상호 의사소통을 위하여 상기 가상 콘텐츠를 포함한 실감형 미디어(예컨대, 영상, 음성)를 포함하는 커뮤니케이션 데이터(Communication data)로 주고받는 활동을 의미한다.

즉, 실시예에 따른 커뮤니케이션 시스템은, 일반적인 커뮤니케이션의 의사소통 매개인 음성 및 화상과 더불어 물리적 공간이나 촬영영상에 연관된 가상 콘텐츠를 추가 매개로 통신하여, 확장현실 환경 내에서 다자간 커뮤니케이션을 지원할 수 있다.

이때, 커뮤니케이션 데이터(Communication data)는, 서로 다른 사용자(예컨대, 원격 관리자 및 현장 작업자)의 컴퓨팅 디바이스가 네트워크를 통해 주고받는 음성, 영상 및/또는 가상 콘텐츠를 포함할 수 있으며, 확장현실 영상 콘텐츠는 사용자들 중 적어도 하나의 주변 공간을 촬영한 영상과 상기 영상에 매칭된 가상 콘텐츠를 포함할 수 있다. 실시예에서, 커뮤니케이션 데이터는, 컴퓨팅 디바이스 및/또는 서버 등에 의해 네트워크를 기반으로 송수신될 수 있다.

실시예에서, 커뮤니케이션 시스템은, 사용자의 컴퓨팅 디바이스의 통신환경에 따라서 서로 다른 커뮤니케이션 데이터 통신방식을 제공하여, 통신환경에 최적화된 확장현실 커뮤니케이션 환경을 제공할 수 있다.

또한, 실시예에 따른 커뮤니케이션 시스템은, 커뮤니케이션 데이터에서 주요 콘텐츠인 확장현실 영상 콘텐츠의 전송관련 파라미터들을 네트워크 환경에 따라 사용자 맞춤형으로 조정하여, 최적의 커뮤니케이션 환경을 제공할 수 있다.

예를 들어, 복수의 사용자 중 적어도 하나의 사용자의 주변을 촬영한 영상을 기준으로 일 사용자가 가상 콘텐츠를 제작하여 확장현실 영상 콘텐츠를 생성하고, 네트워크 환경에 따른 사용자 맞춤형으로 확장현실 영상 콘텐츠의 파라미터를 조정한 후 송신할 수 있다.

이하 설명의 편의를 위해, 컴퓨팅 디바이스를 사용하는 주체, 환경 및/또는 목적에 따라서 그 역할을 구분한 예시를 기준으로 설명하기로 한다.

실시예에서 컴퓨팅 디바이스는, 제 1 사용자 컴퓨팅 디바이스 및 제 2 사용자 컴퓨팅 디바이스로 구분될 수 있다. 보다 상세히, 제 1 사용자 컴퓨팅 디바이스는 작업 현장으로부터 원격에 위치하는 원격 관리자의 컴퓨팅 디바이스로서, 유무선 네트워크를 기반으로 제 2 사용자 컴퓨팅 디바이스와 커뮤니케이션 데이터를 송수신할 수 있다. 또한, 제 3 사용자 컴퓨팅 디바이스는, 또 다른 원격 관리자의 컴퓨팅 디바이스일 수 있으며, 제 1 사용자 컴퓨팅 디바이스에서 제공하는 확장현실 환경에 대한 커뮤니케이션 데이터를 수신하여 확장현실 환경을 출력하는 디바이스일 수 있다. 상황에 따라 제 3 사용자 컴퓨팅 디바이스 또한 작업 현장의 영상에 대해 가상 콘텐츠를 생성하여 제공할 수도 있을 것이다.

이하 설명에서는, 제 1 사용자 컴퓨팅 디바이스가 현장 작업자의 컴퓨팅 디바이스로부터 수신된 촬영영상에 기초한 확장현실 환경을 제공하고, 제공된 확장현실 인터페이스 환경 내에서 제 1 사용자 입력에 따라 현장 작업자에게 의사를 전달하기 위해 커뮤니케이션 데이터를 생성하는 작업 관리자의 컴퓨팅 디바이스임을 기준으로 설명한다.

여기서, 원격 관리자란, 작업이 진행되는 현장으로부터 원격의 위치에서 해당 현장 작업자의 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 가상 콘텐츠로 생성하여 현장 작업자에게 제공하는 자일 수 있다.

또한, 현장 작업자란, 작업 현장에서 수신된 작업 가이던스를 통해 제공된 확장현실 환경을 기반으로 실제 작업을 수행하는 자일 수 있다.

다른 실시예에서는, 현장 작업자가 주변 촬영영상에 작업 가이던스를 가상 콘텐츠로 생성함으로써 생성된 확장현실 영상 콘텐츠를 원격 관리자로 송신하는 실시예도 가능할 것이다.

이하 설명에서, 제 1 사용자 및 제 3 사용자는 원격 관리자로, 제 2 사용자는 현장 작업자임을 기준으로 설명한다.

이하, 이러한 커뮤니케이션 시스템의 세부적 구성부터 상세히 설명하기로 한다.

<맞춤형 네트워크 전송 정보 퀄리티 조정 시스템>

도 1은 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 시스템은, 확장현실 환경을 제공하는 컴퓨팅 디바이스(100, 101, 200, 300, 400)와, 컴퓨팅 디바이스(100, 101, 200, 300, 400) 간 커뮤니케이션 데이터를 송수신하도록 중계하는 커뮤니케이션 데이터 중계 컴퓨팅 시스템 시스템(500)(이하, “서버 시스템”)을 포함할 수 있다.

컴퓨팅 디바이스 및 서버 시스템(500)은, 상호 연동하여 데이터 통신에 이용되는 네트워크의 속도를 측정할 수 있고, 측정된 네트워크 환경을 기반으로 데이터를 가공하여 통신하는 확장현실(XR) 커뮤니케이션을 수행할 수 있다.

이러한 도 1의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 컴퓨팅 디바이스 및 데이터 중계 컴퓨팅 시스템 시스템(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth)

네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

- 서버 시스템(500)

실시예에서 서버 시스템(500)은, 확장현실(XR) 커뮤니케이션 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.

자세히, 서버 시스템(500)은, 사용자 컴퓨팅 디바이스들과 통신 중계기 등 사이에서 네트워크 기반으로 송수신되는 커뮤니케이션 데이터의 교환을 중계할 수 있다.

이러한 서버 시스템(500)은, 데이터 중계 컴퓨팅 시스템, 데이터 가공 컴퓨팅 시스템, 가상 콘텐츠 데이터베이스 및 공간정보 데이터베이스를 포함할 수 있다.

자세히, 데이터 중계 컴퓨팅 시스템은, 데이터 중계를 위한 통신설비, 서버, 컴퓨팅 장치 등을 포함할 수 있으며, 유무선 통신 네트워크를 통해 커뮤니케이션 데이터를 컴퓨팅 디바이스 간에 송수신하도록 중계할 수 있다. 예를 들어, 데이터 중계 컴퓨팅 시스템은, 제 1 사용자의 컴퓨팅 디바이스와 제 2 사용자 컴퓨팅 디바이스 간에 송수신되는 커뮤니케이션 데이터를 전달하는 중계 역할을 수행할 수 있다.

또한, 데이터 가공 서버는, 네트워크 환경에 따라 설정된 영상 파라미터로 커뮤니케이션 데이터 내 확장현실 영상 콘텐츠를 가공하는 역할을 수행할 수 있다.

다만, 실시예에서 네트워크 환경에 따른 커뮤니케이션 모드에 따라 커뮤니케이션 데이터를 가공하는 역할은 확장현실 영상 콘텐츠를 제작하는 사용자의 컴퓨팅 디바이스에서 수행되는 것으로 설명한다.

또한, 가상 콘텐츠 데이터베이스에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 콘텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 콘텐츠 데이터베이스는, 상기 가상 콘텐츠를 실제객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 콘텐츠로 저장할 수 있다.

그리고 가상 콘텐츠 데이터베이스는, 컴퓨팅 디바이스 요청시 상기 컴퓨팅 디바이스의 주변 물리적 공간에 매칭된 가상 콘텐츠를 전달하는 가상 콘텐츠 소스 역할을 수행할 수 있다.

또한, 공간정보 데이터베이스는, 특정 영역의 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있으며, 이러한 정보들을 메타 정보로 저장될 수 있다.

그리고 공간정보 데이터베이스는, 메타정보에 매칭하여 네트워크 환경에 따라 설정한 영상 파라미터를 추가적으로 저장할 수 있다. 이를 통해 사용자는, 특정 메타정보에 대해 확장현실 커뮤니케이션을 진행할 때, 기 설정된 영상 파라미터에 따라서 조정된 확장현실 영상을 통해 커뮤니케이션을 수행할 수 있다.

즉, 서버 시스템(500)은, 컴퓨팅 디바이스의 주변 물리적 공간에 대한 가상 콘텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 컴퓨팅 디바이스를 통해 증강현실 환경 또는 확장현실 환경을 제공할 수 있다.

이러한 서버 시스템(500)은, 적어도 하나 이상의 컴퓨팅 서버, 데이터베이스 서버로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 커뮤니케이션 중계 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.

- 컴퓨팅 디바이스

상기 컴퓨팅 디바이스는, 사용자에게 확장현실 환경을 제공하며, 이러한 확장현실 환경 내에서 음성, 화상 및 실제객체와 대응된 가상 콘텐츠를 이용하여 타사용자와 커뮤니케이션할 수 있는 확장현실 어플리케이션을 실행할 수 있다.

이러한 컴퓨팅 디바이스는, 확장현실 어플리케이션이 설치된 다양한 타입(예컨대, 웨어러블 타입, 모바일 타입, 데스크 탑 타입 또는 테이블 탑 타입)의 컴퓨팅 디바이스를 포함할 수 있다.

1. 웨어러블 타입의 컴퓨팅 디바이스(100, 101)

도 2는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스를 통해 확장현실 환경을 경험하는 개념도이고, 도 3은 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도이다.

실시예에 따른 컴퓨팅 디바이스(100, 101)는, 스마트 글래스(smart glasses display)나 헤드 마운티드 디스플레이(HMD)와 같은 웨어러블 타입의 컴퓨팅 디바이스를 포함할 수 있다.

스마트 글라스 타입의 컴퓨팅 디바이스(100)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 콘텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.

자세히, 실시예의 컴퓨팅 디바이스(100)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 콘텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

예를 들어, 도 2를 참조하면, 컴퓨팅 디바이스(100)의 확장현실 어플리케이션은, 주변 물리적 공간(20)에서 실제객체(RO)와 실제객체 내 마커(MK) 등을 이미지 인식할 수 있으며, 인식된 마커(MK)에 대응되는 사용자의 시야에 가상 콘텐츠(VC1)을 표시하도록 제어할 수 있다.

또한, 확장현실 어플리케이션은, 학습된 실제객체를 인식할 수 있으며, 인식된 실제객체의 위치에 대응되는 사용자의 시야에 가상 콘텐츠(VC2)를 표시하도록 제어하여, 확장현실 영상 콘텐츠를 제공할 수 있다.

또한, 확장현실 어플리케이션은, 학습된 실제객체나 마커(MK)를 통해 물리적 공간을 인식할 수 있으며, 인식된 공간의 특정 위치에 매칭된 가상 콘텐츠를 사용자의 시야의 대응되도록 표시하여, 확장현실 영상 콘텐츠를 제공할 수 있다.

이러한 가상 콘텐츠는 컴퓨팅 디바이스에서 사용자 시야의 일부분에 디스플레이 될 수 있는 이미지 또는 영상과 같은 시각 콘텐츠를 포함할 수 있다. 예를 들어, 가상 콘텐츠는 물리적 공간의 다양한 부분을 오버레이하는 가상객체 이미지들을 포함할 수 있다. 이러한 가상객체 이미지는 2D 이미지 또는 3D 이미지로 렌더링 될 수 있다.

실시예에 따라서, 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 사용자의 시야의 일 영역에 촬영영상에 대해 가상 객체가 증강된 확장현실 영상을 표시하는 방식으로, 확장현실 영상 콘텐츠를 제공할 수도 있다.

헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 디스플레이 시스템에 의해서만, 디스플레이된 이미지를 볼 수 있도록 주변 물리적 공간에 대한 광을 차단할 수 있다. 이러한 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스는, 3차원 장면을 인식시키기 위해 좌안과 우안 디스플레이 각각에 시차에 오프셋을 둔 서로 다른 이미지를 출력함으로써, 3차원 영상을 출력할 수 있다.

그리고 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101) 또한, 주변 물리적 공간을 촬영한 영상 및 상기 촬영한 영상을 기초로 생성된 가상 콘텐츠를 3차원 영상으로 출력함으로써, 확장현실 환경을 제공할 수 있다.

또한, 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 주변 물리적 공간 또는 물리적 공간을 촬영한 영상을 기초로 사용자 입력에 따라서 가상객체를 생성하여 확장현실 영상 콘텐츠를 생성하는 유저 인터페이스를 제공할 수 있다.

또한, 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 사용자 또는 타 사용자의 촬영 영상을 기초로 생성된 가상 콘텐츠를 증강한 확장현실 영상을 일 영역 상에 출력하는 방식으로 확장현실 영상 콘텐츠를 제공할 수도 있다.

이하에서는, 이러한 웨어러블 타입 디바이스 중 스마트 글라스 타입의 컴퓨팅 디바이스를 중심으로 구체적인 구성요소를 설명하기로 한다.

도 3을 참조하면, 예시적인 구현에 따른 컴퓨팅 디바이스(100)는, 확장현실 어플리케이션을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 컴퓨팅 디바이스(100)의 하우징 내에 포함되도록 구현될 수 있다.

메모리(110)에는, 확장현실 어플리케이션(111)이 저장되며, 확장현실 어플리케이션(111)에는 확장현실 환경을 제공하기 위한 가상 콘텐츠, 이미지 버퍼, 위치 엔진, 가상 콘텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(110)는 확장현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.

실시예에서 확장현실 어플리케이션(111)은, 확장현실 환경에 기초하여 커뮤니케이션을 수행하기 위한 커뮤니케이션 어플리케이션을 포함할 수 있다. 커뮤니케이션 어플리케이션은, 네트워크 환경 반응형 확장현실 커뮤니케이션 서비스를 제공하기 위한 각종 어플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다.

또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.

프로세서 어셈블리(120)는, 확장현실 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 확장현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.

실시예에서 프로세서 어셈블리(120)는, 확장현실(XR) 커뮤니케이션 서비스를 제공하기 위하여 메모리(110)의 확장현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.

예를 들어, 프로세서 어셈블리(120)는, 이미지 센서를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 가상 콘텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 컴퓨팅 디바이스(100)의 구성요소들을 제어할 수 있다.

이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.

통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 서버 시스템(500))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다.

자세히, 통신 모듈(130)은, 확장현실 환경을 구현하기 위한 가상 콘텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.

실시예에서 통신 모듈(130)은, 확장현실(XR) 커뮤니케이션 서비스와 관련된 커뮤니케이션 데이터를 서버 시스템(500) 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.

이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.

이미지 센서(161)는, 컴퓨팅 디바이스(100) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.

실시예에서 이미지 센서(161)는, 확장현실(XR) 커뮤니케이션 서비스에 관련된 영상을 촬영하여 획득할 수 있다.

또한, 이미지 센서(161)는, 컴퓨팅 디바이스(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 디바이스(100)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간을 촬영할 수 있다.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.

IMU(163)는 컴퓨팅 디바이스(100)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 컴퓨팅 디바이스(100) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.

또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.

또한, 일부 구현들에서, 확장현실 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.

오디오 센서(165)는, 컴퓨팅 디바이스(100) 주변의 소리를 인식할 수 있다.

자세히, 오디오 센서(165)는, 컴퓨팅 디바이스(100) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.

실시예에서 오디오 센서(165)는 확장현실 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.

인터페이스 모듈(140)은, 컴퓨팅 디바이스(100)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.

이러한 인터페이스 모듈(140)을 통해 컴퓨팅 디바이스(100)는, 여러 입출력 장치들과 연결될 수 있다.

예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.

예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 디바이스(100) 내부에 설치되는 실시예도 포함될 수 있다.

이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(110) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.

입력 시스템(150)은 확장현실(XR) 커뮤니케이션 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.

자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.

입력 시스템(150)을 통해 입력된 사용자 입력에 따라서 주변 물리적 공간에 대한 가상객체가 생성될 수 있으며, 프로세서 어셈블리는 이와 같이 입력 시스템(150)을 통해 확장현실 영상 콘텐츠를 생성하는 유저 인터페이스를 제공할 수 있다.

디스플레이 시스템(170)은, 컴퓨팅 디바이스(100) 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 콘텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다.

이러한 디스플레이 시스템(170)은, 컴퓨팅 디바이스(100)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 콘텐츠로 출력함으로써, 사용자는 가상 콘텐츠를 3차원 이미지로 인식할 수 있다.

실시예에서 디스플레이 시스템(170)은, 확장현실(XR) 커뮤니케이션 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이러한 웨어러블 타입 컴퓨팅 디바이스(100)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자가 사용하기에 유리할 수 있다.

2. 모바일 타입 컴퓨팅 디바이스(200)

도 4는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스를 통해 확장현실 환경을 경험하는 개념도이고, 도 5는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다.

다른 예시에서 컴퓨팅 디바이스(200)는, 확장현실 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. 이러한 모바일 타입 컴퓨팅 디바이스(200)는, 이미지 센서로 주변 물리적 공간의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간에 매칭되어 표시되는 가상 콘텐츠를 표시하여 확장현실 환경을 사용자에게 제공할 수 있다.

예를 들어, 컴퓨팅 디바이스는 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 등이 포함될 수 있다.

도 4를 참조하면, 모바일 타입 컴퓨팅 디바이스(200)의 확장현실 어플리케이션은, 주변 물리적 공간(20)에서 실제객체(RO)와 마커(MK) 등을 이미지 캡처하고 디스플레이 시스템을 제어하여 표시할 수 있다. 또한, 확장현실 어플리케이션은, 인식된 마커(MK)에 대응되는 위치에 가상 콘텐츠(VC1)을 표시하도록 제어할 수 있다. 또한, 확장현실 어플리케이션은, 특정 실제객체를 학습하여 인식할 수 있으며, 인식된 특정 실제객체의 위치에 대응되는 사용자의 시야에 가상 콘텐츠(VC2)를 표시하도록 제어할 수 있다.

도 5를 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.

모바일 타입 컴퓨팅 디바이스(200)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(100)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(100)와의 차이점을 중심으로 설명한다.

이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.

자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.

예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

이러한 디스플레이 시스템(270)은 확장현실 영상 콘텐츠를 출력하여 확장현실 환경을 제공할 수 있으며, 또한, 표시되는 촬영영상에 대해 사용자 입력을 받아 가상객체를 생성하여 확장현실 영상 콘텐츠를 생성하는 입출력 인터페이스를 제공할 수도 있다.

또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 컴퓨팅 디바이스(200)의 하우징에 일측 면과 타측 면에 배치될 수 있다.

이때, 일측 면의 이미지 센서가 물리적 공간을 향해 배향되어 물리적 공간을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다.

이러한 모바일 타입 컴퓨팅 디바이스(200)는, 작업 현장과 같은 물리적 공간에 위치한 현장 작업자에게 적합할 수 있다.

3. 데스크 탑 타입 컴퓨팅 디바이스(300)

도 6은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.

데스크 탑 타입 컴퓨팅 디바이스의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(100)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(100)와의 차이점을 중심으로 설명한다.

도 6을 참조하면, 다른 예시에서 컴퓨팅 디바이스(300)는, 확장현실 어플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 확장현실(XR) 커뮤니케이션 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 타 사용자의 컴퓨팅 디바이스(300)에서 주변 물리적 공간을 촬영한 영상을 수신하고, 수신된 영상 및 상기 물리적 공간에 매칭된 가상 콘텐츠를 증강하여 표시함으로써, 확장현실 환경을 사용자에게 제공할 수 있다.

또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 타 사용자로부터 커뮤니케이션 데이터를 수신하고, 수신된 커뮤니케이션 데이터에서 확장현실 영상 콘텐츠를 출력하여, 확장현실 환경을 사용자에게 제공할 수 있다.

또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.

예시적으로, 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.

또한, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다.

예시적인 구현으로, 데스크 탑 컴퓨팅 디바이스(300)의 확장현실 어플리케이션(311)은, 디스플레이 장치(370)를 통해 타유저의 컴퓨팅 디바이스(300)의 영상을 획득하여 출력할 수 있으며, 상기 영상에 대응한 사용자 입력을 수신하고 수신된 사용자 입력에 따라 영상에 대응되는 가상 콘텐츠를 생성할 수 있다.

또한, 확장현실 어플리케이션(311)은, 영상의 물리적 공간 내 센서 시스템(260)이나 기 매칭된 가상 콘텐츠 소스로부터 데이터를 수신하고, 수신된 데이터를 영상과 매칭된 가상 콘텐츠로 생성할 수 있다.

또한, 확장현실 어플리케이션(311)은, 이와 같이 생성된 가상 콘텐츠를 디스플레이 장치에서 출력되는 영상에 오버레이하여 출력함으로써, 사용자에게 확장현실 환경을 제공할 수 있다.

또한, 확장현실 어플리케이션(311)은, 통신 모듈(330)을 통해 생성된 가상 콘텐츠를 커뮤니케이션 데이터로 송신하여, 음성, 화상과 더불어 물리적 공간에 대응된 가상 콘텐츠를 의사소통을 위한 매개로 활용할 수 있다.

예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.

데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 한다.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 현장 작업자의 컴퓨팅 디바이스(300)와 연동하여 원격으로 지시나 필요한 정보를 전달하는 원격 관지라가 사용하기 유리할 수 있다.

4. 테이블 탑 타입 컴퓨팅 디바이스(400)

예시적 구현에 따르면 테이블 탑 타입의 컴퓨팅 디바이스(400)는, 기존 데스크 탑 타입의 컴퓨팅 디바이스(300)와 다른 새로운 형상과 구조의 테이블 탑(Tabletop) 형상으로 구현될 수 있고, 이러한 경우 테이블 탑 내에 포함된 시스템을 통해 확장현실 환경을 제공할 수 있다.

테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 데스크 탑 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 데스크 탑 타입 컴퓨팅 디바이스(300)와의 차이점을 중심으로 설명한다.

도 7은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스를 통해 확장현실 커뮤니케이션을 경험하는 개념도이고, 도 8은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도이다.

테이블 탑(Tabletop) 타입 컴퓨팅 디바이스(400)란, 원격 관리자가 현장 작업자의 컴퓨팅 디바이스로부터 수신되는 영상을 용이하게 확인하고, 해당 영상에 표시되는 객체에 대한 작업 가이던스를 가상 콘텐츠를 기반으로 수월하게 입력하는 인터페이스 시스템을 제공하는 장치일 수 있다.

즉, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 타 유저의 컴퓨팅 디바이스로부터 획득되는 영상 상에, 현재 위치에서 획득되는 영상의 실재객체를 기반으로 생성되는 가상 콘텐츠를 표시한 증강/혼합현실 영상을 생성 및 제공하는 시스템일 수 있다.

도 7 및 도 8을 참조하면, 예시적인 테이블 탑 타입 컴퓨팅 디바이스(400)는, 메모리(410), 프로세서 어셈블리(420), 통신 모듈(430), 인터페이스 모듈(440), 입력 시스템(450), 센서 시스템(460) 및 디스플레이 시스템(470)을 포함할 수 있다.

이러한 구성요소들은 컴퓨팅 디바이스(400)의 하우징 내에 포함되도록 구성될 수 있다. 테이블 탑 타입 컴퓨팅 디바이스(400)의 상기 구성요소에 대한 설명 중 중복되는 내용은 상기 기술한 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 차이점을 중심으로 설명한다.

도 7을 보면, 예시의 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)을 통해 타 컴퓨팅 디바이스에서 촬영된 촬영영상과, 상기 촬영영상에 연관된 가상 콘텐츠를 출력하여 확장현실 환경을 사용자에게 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470)의 디스플레이(471) 상에 터치 센서(473)를 통해 촬영영상에 대한 사용자의 포인팅, 드래그 등의 터치 입력을 받는 입출력 인터페이스를 제공할 수 있다.

또한, 테이블 탑 타입 컴퓨팅 디바이스(400)는, 디스플레이 시스템(470) 상에 배치된 센서 시스템(460)(예컨대, 이미지 센서(461))를 통해 사용자의 손(LH, RH)의 제스처 입력을 받을 수 있으며, 가이드 도구(Guide tool, GT)에 따른 동작 입력을 받을 수 있다. 이러한 제스처 입력과 가이드 도구의 동작 입력 또한 디스플레이(471)에 촬영영상에 대응하여 입력될 수 있으며, 컴퓨팅 디바이스(300)는 촬영영상에 표시된 실제객체 이미지에 매칭하여 상기 사용자 입력을 감지할 수 있다.

즉, 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(400)의 확장현실 어플리케이션(411)은, 센서 시스템(460)을 통해 획득된 사용자 입력 기반으로 가상 콘텐츠를 시각화하여 제공하는 서비스를 구현하기 위한 일련의 프로세스를 실행할 수 있다. 이때, 사용자 입력은 디스플레이에 표시된 촬영영상에 대응하여 수행되기 때문에, 입출력 인터페이스를 함께 제공함으로써, 사용자는 좀더 직관적으로 촬영영상에 대한 사용자 입력이 가능할 수 있다.

<맞춤형 네트워크 전송 정보 퀄리티 조정 방법>

이하, 첨부된 도면을 참조하여 제 1 사용자의 컴퓨팅 디바이스와 제 2 사용자의 컴퓨팅 디바이스와 제 3 사용자 컴퓨팅 디바이스 사이에서 맞춤형 네트워크 전송 정보 퀄리티 조정하여 확장현실(XR) 커뮤니케이션 서비스를 제공하는 방법에 대해 상세히 설명하고자 한다.

설명의 편의를 위해, 제 2 사용자 컴퓨팅 디바이스는 모바일 타입 컴퓨팅 디바이스(200)를 기준으로 설명하고, 제 1 사용자 컴퓨팅 디바이스와 제 3 사용자 컴퓨팅 디바이스는 데스크 타입 컴퓨팅 디바이스(300)를 기준으로 설명한다.

또한, 제 1 사용자 컴퓨팅 디바이스의 확장현실 어플리케이션은, 제 1 확장현실 어플리케이션으로 지칭하고, 제 2 사용자 컴퓨팅 디바이스의 확장현실 어플리케이션은 제 2 확장현실 어플리케이션으로 지칭하기로 하며, 제 3 사용자 컴퓨팅 디바이스의 확장현실 어플리케이션은 제 3 확장현실 어플리케이션이라고 지칭한다.

도 9는 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 본 발명의 실시예에서 제 1 사용자 컴퓨팅 디바이스는, 적어도 하나 이상의 제 2 사용자 컴퓨팅 디바이스와 확장현실(XR) 커뮤니케이션을 위하여 제 1 확장현실 어플리케이션을 실행할 수 있다. 또한, 제 3 사용자 컴퓨팅 디바이스 제 3 확장현실 어플리케이션을 통해 확장현실 커뮤니케이션에 참여할 수 있다.

실행된 제 1 확장현실 어플리케이션은, 확장현실 영상 출력모드를 결정할 수 있다. (S101)

확장현실 영상 출력모드는, 네트워크 환경에 따라서 확장현실 영상 파라미터 설정하여 설정된 확장현실 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 제공할 수 있다.

여기서, 확장현실 영상 파라미터는, 해상도(PPI), 초당 프레임수(FPS) 및 초당 데이터 전송율(이하, 비트레이트(bps))을 포함할 수 있다.

이러한 확장현실 영상 출력모드는, 이전 설정한 출력모드로 결정될 수 있다. 즉, 이전 실행할 때 설정되어 있는 출력모드로 재실행시 자동 결정될 수 있다.

또한, 확장현실 영상 출력모드는, 커뮤니케이션 데이터에 메타정보가 포함되어 있고, 메타정보에 매칭되어 출력모드가 설정되어 있는 경우, 상기 출력모드로 확장현실 영상 출력모드를 결정할 수 있다.

여기서, 메타정보는, 작업종류, 작업대상 객체, 위치 및 사용자 계정 중 적어도 하나 이상의 정보를 포함할 수 있다.

예를 들어, 촬영영상에 정밀작업이 요구되는 제 1 장비가 포함되고, 메타정보에는 제 1 장비와 제 1 장비에 대한 제 1 출력모드가 포함된 경우, 제 1 출력모드를 확장현실 영상 출력모드로 결정할 수 있다.

그리고 확장현실 영상 출력모드는, 사용자 선택에 따라서 설정이 변경될 수 있다. 예를 들어, 제 1 사용자가 확장현실 영상 출력모드를 직접 변경할 수 있으며, 또는 제 2 사용자나 제 3 사용자가 확장현실 영상 출력모드의 변경을 요청하고 제 1 사용자의 수락에 따라서 출력모드가 변경될 수도 있다.

확장현실 영상 콘텐츠에 기초가 되는 촬영영상을 촬영하는 사용자와, 촬영영상에 대해 확장현실을 구현하기 위한 가상 콘텐츠를 생성하는 사용자가 있으며, 두 사용자는 동일인이거나 서로 다른 사람일 수 있다.

여기서, 가상 콘텐츠를 생성하여 확장현실 영상 콘텐츠를 생성하는 사용자가 확장현실 영상 콘텐츠 생성 작업을 수행하므로, 복수의 커뮤니케이션에 참여한 사용자 중 최종적으로 확장현실 영상 출력모드를 결정하여 결정된 확장현실 영상 출력모드에 따라서 확장현실 영상 콘텐츠를 생성하고 공유하는 사용자일 수 있다.

이하, 설명에서는, 제 1 사용자가 확장현실 영상 콘텐츠를 생성하는 사용자로 설명하고, 제 2 사용자에게서 촬영된 촬영영상으로 확장현실 영상 콘텐츠를 생성하는 것을 기준으로 설명하나, 서로 역할을 달리하거나 한 명이 모든 역할을 수행하는 등의 실시예가 포함될 수 있을 것이다.

다음으로, 제 1 확장현실 어플리케이션은, 커뮤니케이션 데이터 송수신을 위한 네트워크 환경을 감지할 수 있다. (S102)

자세히, 제 1 확장현실 어플리케이션은, 제 1 사용자와 서버 시스템(500)과의 네트워크 환경 또는/및 서버 시스템(500)을 통한 타 사용자와의 네트워크 환경을 감지할 수 있다.

예를 들어, 제 1 확장현실 어플리케이션은, 제 2 사용자 및 제 3 사용자의 확장현실 어플리케이션과의 커뮤니케이션 데이터를 주고받는 네트워크 환경을 대역폭(bandwidth), 초당 전송속도와 같은 네트워크 전송 파라미터 등으로 측정할 수 있다.

그리고 제 1 확장현실 어플리케이션은, 감지된 네트워크 환경에 따라 커뮤니케이션 데이터 송수신을 위한 네트워크 전송 파라미터를 결정할 수 있다. (S103)

일반적으로 제 1 확장현실 어플리케이션은, 각각의 타 사용자와의 네트워크 환경에 따라 네트워크 전송 파라미터를 개별적으로 결정할 수 있다.

실시예에서, 네트워크 전송 파라미터는, 타 컴퓨팅 디바이스와 커뮤니케이션 데이터를 주고받기 위한 대역폭일 수 있으며, 전체 컴퓨팅 디바이스에 대해 공통적으로 기 설정된 대역폭으로 커뮤니케이션 데이터를 송수신하거나, 각 컴퓨팅 디바이스마다 측정된 네트워크 환경에 따라서 각기 다른 대역폭으로 커뮤니케이션 데이터를 송수신할 수 있다.

다만, 개별적으로 네트워크 전송 파라미터를 다르게 설정할 경우, 다르게 설정된 네트워크 전송 파라미터에 따라서 확장현실 영상 콘텐츠 또한 다르게 생성(예컨대, 인코딩)해야 하므로, 제 1 컴퓨팅 디바이스의 데이터 처리 부하가 증가할 수 있다.

따라서, 실시예에서, 제 1 확장현실 어플리케이션은, 커뮤니케이션에 참여한 적어도 하나 이상의 사용자 중 네트워크 전송 파라미터가 가장 작은 사용자의 네트워크 전송 파라미터를 복수의 타 컴퓨팅 디바이스에 공통적으로 설정할 수 있다.

네트워크 전송 파라미터가 결정되면, 확장현실 영상 콘텐츠의 촬영모드에서 결정된 네트워크 전송 파라미터를 기준으로 확장영상 콘텐츠 파라미터를 결정할 수 있다. (S105)

실시예에 따른 확장현실 영상 출력모드는, 복수의 출력모드를 포함할 수 있으며, 복수의 출력모드에는 사용자가 각 확장현실 영상 파라미터를 설정할 수 있는 커스텀 모드를 포함할 수 있다.

예를 들어, 도 10을 참조하면, 확장현실 영상 출력모드는, 일반모드(61i) 및 선명도 모드(62i)를 포함할 수 있고, 커스텀 모드인 이지 모드(63i) 및 전문가 모드(64i)를 포함할 수 있다.

실시예에서, 전문가 모드는 영상 파라미터의 각각의 파라미터를 수치로 설정할 수 있는 유저 인터페이스를 제공하는 커스텀 모드일 수 있다.

예를 들어, 도 10을 보면, 해상도, FPS, 비트레이트 중 적어도 하나를 스크롤바(71i, 72i, 73i)를 통해 입력하여 설정하는 유저 인터페이스를 제공할 수 있다.

이때, 영상 파라미터 중 적어도 하나 예컨대 비트레이트는, 결정된 네트워크 전송 파라미터에 따라 자동 설정될 수 있다.

제 1 사용자는, 제 1 확장현실 어플리케이션의 전문가 모드 유저 인터페이스를 통해, 상기 설정된 비트레이트에 따라서 확장현실 영상 콘텐츠의 해상도와 FPS의 값을 결정할 수 있다.

실시예에서, 제 1 확장현실 어플리케이션은, 해상도 또는 FPS 중 하나의 값을 지정하면, 나머지 하나의 값은 기 설정된 비트레이트에 따라서 산출하여 자동 설정할 수 있다. 예를 들어, 비트레이트가 결정된 대역폭에 따라서 2Mbps로 자동 설정되고, 제 1 사용자가 해상도를 720PPi로 설정하면 FPS를 설정하는 포인터(P1)는 자동으로 산출된 FPS 값을 24로 이동할 수 있다.

이때, 전문가 모드 유저 인터페이스는, 네트워크 환경이 변경되어 대역폭과 이에 따른 비트레이트가 증감할 때의 따라 변동할 영상 파라미터와, 고정할 영상 파라미터를 지정할 수도 있다.

예를 들어, 전문가 모드 유저 인터페이스는, 해상도를 고정 영상 파라미터로 지정하고, FPS를 변동 영상 파라미터로 설정할 수 있으며, 네트워크 환경에 따라 비트레이트가 증가한다면 FPS를 증가시키고, 비트레이트가 감소한다면 FPS를 감소시킬 수 있다.

또한, 전문가 유저 인터페이스는, 영상 파라미터 중 하나의 파라미터를 우선순위 파라미터로 설정할 수 있다. 예를 들어, 전문가 유저 인터페이스는, 해상도를 우선순위 파라미터로 설정할 경우, 네트워크 환경에 따라 비트레이트가 증가한다면 해상도를 증가시키고, 비트레이트가 감소한다면 FPS를 감소시키는 설정이 가능하다.

이러한 커스텀 모드 설정을 통해, 사용자는 네트워크 환경에 따라 맞춤형 확장현실 영상 콘텐츠를 생성할 수 있다. 다만, 전문가가 아니라면 영상 파라미터에 대한 이해도가 낮아 자신이 원하는 영상 콘텐츠에 대한 설정이 어려울 수 있다.

이를 위해, 제 1 확장현실 어플리케이션은, 다른 커스텀 모드로 이지 모드를 제공할 수 있다.

여기서, 이지 모드는, 제 1 사용자가 제 1 확장현실 어플리케이션을 통한 사용자 입력을 통해 확장현실 영상 콘텐츠를 생성하기 위한 파라미터를 설정하는 것이다.

실시예에서, 이지 모드는 사용자의 음성 입력을 통해 설정하는 유저 인터페이스를 제공함으로써 현장 작업자나 웨어러블 디바이스를 사용하는 사용자가 손쉽게 영상 파라미터를 설정할 수 있다.

이지 모드 유저 인터페이스는, 결정된 네트워크 전송 파라미터에 따라서 확장현실 영상 파라미터 중 적어도 하나인 비트레이트를 자동 설정할 수 있다.

그리고 설정된 비트레이트 내에서 각기 다른 확장현실 영상 파라미터 값을 가지는 복수의 확장현실 영상을 선택 가능하도록 출력할 수 있다.

예를 들어, 도 13을 참조하면, 설정된 비트레이트에서 전송 가능한 복수의 확장현실 영상으로, 제 1 해상도와 제 1 FPS를 갖는 제 1 확장현실 영상(21i)과, 제 2 해상도와 제 2 FPS를 갖는 제 2 확장현실 영상(22i)과, 제 3 해상도와 제 3 FPS를 갖는 제 3 확장현실 영상(23i)과, 제 4 해상도와 제 4 FPS를 갖는 제 4 확장현실 영상(24i)을 각기 다른 영역에 출력할 수 있다. 여기서, 확장현실 영상은, 기 제작된 샘플 영상이거나, 각기 다른 파리미터로 인코딩한 실제 제공될 확장현실 영상일 수 있다.

실시예에 따라서, 제 1 해상도에서 제 4 해상도로 갈수록 해상도 값이 작아질 수 있으며, 제 1 FPS에서 제 4FPS로 갈수록 FPS 값이 커질 수 있다.

제 1 사용자는 음성 입력 등을 통해 제 1 확장현실 영상 내지 제 4 확장현실 영상 중 하나의 영상을 선택할 수 있으며, 선택된 확장현실 영상의 파라미터가 확장현실 영상 파라미터 값으로 설정됨으로써, 네트워크 환경에 따른 확장현실 영상 파라미터를 손쉽게 사용자 맞춤형으로 설정할 수 있다.

다른 실시예에서, 제 1 확장현실 어플리케이션은, 이지 모드에서 영상 파라미터에 따라 단계별로 설정하는 유저 인터페이스를 제공할 수도 있다.

예를 들어, 제 1 확장현실 어플리케이션은, 1차적으로 해상도를 달리하고 FPS는 고정시킨 복수의 확장현실 영상을 선택하도록 제공하여 확장현실 영상 콘텐츠의 해상도를 설정하도록 하고, 2차적으로 FPS를 달리하고 해상도를 고정시킨 복수의 확장현실 영상을 선택 가능하도록 제공하여, 확장현실 영상 콘텐츠의 FPS를 설정하도록 할 수 있다.

이때, 제 1 확장현실 어플리케이션은, 1차적으로 선택된 제 1 파라미터에 따라서 기 설정된 비트레이트 내에 전송 가능한 제 2 파라미터의 최대 값을 산출하고, 제 2 파라미터의 최대 값 내에서 생성된 복수의 확장현실 영상 콘텐츠를 선택 가능하도록 제공할 수도 있다.

한편, 제 1 확장현실 어플리케이션은, 영상 파라미터에서 고정 파라미터를 지정하고, 네트워크 환경에 따라 변경되는 비트레이트에 따라서 고정 파라미터 외 나머지 파라미터를 변경하는 일반모드와, 선명도 모드를 제공할 수 있다.

자세히, 도 11을 참조하면, 실시예에 따른 일반 모드는, FPS를 고정한 모드로 네트워크 환경에 따라 결정된 비트레이트 내에서 해상도를 변경한 확장현실 영상 콘텐츠를 제공할 수 있다.

자세히, 일반 모드로 설정되면, 제 1 확장현실 어플리케이션은, 제 1 영상 파라미터를 고정 값으로 설정할 수 있다. (S201)

예를 들어, 제 1 확장현실 어플리케이션은, 30FPS를 고정값으로 확장현실 영상 콘텐츠의 파라미터를 설정할 수 있다.

그리고 원격 협업 접속이 이루어지면, 제 1 확장현실 어플리케이션은, 참여된 복수의 사용자의 컴퓨팅 디바이스와 네트워크 환경을 감지할 수 있다. (S202, S203)

예를 들어, 제 1 확장현실 어플리케이션은, 제 2 컴퓨팅 디바이스와 제 3 컴퓨팅 디바이스의 네트워크 환경을 감지하고, 제 2 컴퓨팅 디바이스와 제 3 컴퓨팅 디바이스 중 최소의 네트워크 전송 파라미터를 네트워크 전송 파라미터로 결정할 수 있다. (S204)

그리고 결정된 네트워크 전송 파라미터에 따라서 제 1 영상 파라미터를 고정된 상태에서, 나머지 영상 파라미터를 산출하여, 결정할 수 있다. (S205)

예를 들어, 제 1 확장현실 어플리케이션은, 최소 네트워크 전송 파라미터가 3Mbps를 초과하면, 기 설정된 최대 값인 2.5Mbps를 비트레이트로 결정할 수 있다. 그리고 2.5Mbps의 비트레이트 내에서 30FPS라면 전송 가능하도록 영상의 최대 해상도를 720ppi로 산출할 수 있다.

이를 통해, 일반 모드에서 네트워크 환경에 따른 영상 파라미터는, 해상도 720ppi, 초당 프레임 30FPS, 비트레이트 2.5Mbps로 결정될 수 있다.

또한, 제 1 확장현실 어플리케이션은, 최소 네트워크 전송 파라미터가 3Mbps 내지 1Mbps 사이의 제 1 구간이라면, 제 1 구간 내에서 기 설정된 값인 1Mbps를 비트레이트로 결정할 수 있다. 그리고 1Mbps의 비트레이트 내에서 30FPS라면 전송 가능하도록 영상의 최대 해상도를 360ppi로 산출할 수 있다.

이를 통해, 일반 모드에서 네트워크 환경에 따른 영상 파라미터는, 해상도 360ppi, 초당 프레임 30FPS, 비트레이트 1Mbps로 결정될 수 있다.

또한, 제 1 확장현실 어플리케이션은, 최소 네트워크 전송 파라미터가 1Mbps 내지 0.5Mbps 사이의 제 2 구간이라면, 제 2 구간 내에서 기 설정된 값인 0.75Mbps를 비트레이트로 결정할 수 있다. 그리고 0.75Mbps의 비트레이트 내에서 30FPS라면 전송 가능하도록 영상의 최대 해상도 값인 240ppi를 산출할 수 있다.

이를 통해, 일반 모드에서 네트워크 환경에 따른 영상 파라미터는, 해상도 240ppi, 초당 프레임 30FPS, 비트레이트 0.75Mbps로 결정될 수 있다.

그리고 제 1 확장현실 어플리케이션은, 결정된 영상 파라미터에 따라서 확장현실 영상을 생성하고, 참여된 사용자들의 컴퓨팅 디바이스로 최소 네트워크 전송 파라미터에 따라 전송할 수 있다. (S208)

즉, 일반모드에서는, 네트워크 환경에 관계없이 일정한 속도의 프레임을 제공함으로써, 실시간 작업정보 공유가 중요한 협업에 모드로 활용될 수 있다.

또한, 도 12를 참조하면, 실시예에 따른 선명도 모드는, 해상도를 고정한 모드로 네트워크 환경에 따라 결정된 비트레이트 내에서 FPS를 변경한 확장현실 영상 콘텐츠를 제공할 수 있다.

자세히, 선명도 모드로 설정되면, 제 1 확장현실 어플리케이션은, 제 2 영상 파라미터를 고정 값으로 설정할 수 있다. (S301)

예를 들어, 제 1 확장현실 어플리케이션은, 720ppi를 해상도 고정값으로 확장현실 영상 콘텐츠의 파라미터를 설정할 수 있다.

그리고 원격 협업 접속이 이루어지면, 제 1 확장현실 어플리케이션은, 참여된 복수의 사용자의 컴퓨팅 디바이스와 네트워크 환경을 감지할 수 있다. (S302, S303)

예를 들어, 제 1 확장현실 어플리케이션은, 제 2 컴퓨팅 디바이스와 제 3 컴퓨팅 디바이스의 네트워크 환경을 감지하고, 제 2 컴퓨팅 디바이스와 제 3 컴퓨팅 디바이스 중 최소의 네트워크 전송 파라미터를 네트워크 전송 파라미터로 결정할 수 있다. (S304)

그리고 결정된 네트워크 전송 파라미터에 따라서 제 2 영상 파라미터가 고정된 상태에서, 나머지 영상 파라미터를 산출하여, 결정할 수 있다. (S305)

예를 들어, 제 1 확장현실 어플리케이션은, 최소 네트워크 전송 파라미터가 3Mbps를 초과하면, 기 설정된 최대 값인 2.5Mbps를 비트레이트로 결정할 수 있다. 그리고 2.5Mbps의 비트레이트 내에서 해상도가 720ppi라면 전송 가능하도록 영상의 최대 FPS 값을 30으로 산출할 수 있다.

이를 통해, 선명도 모드에서 네트워크 환경에 따른 영상 파라미터는, 해상도 720ppi, 초당 프레임 30FPS, 비트레이트 2.5Mbps로 결정될 수 있다.

또한, 제 1 확장현실 어플리케이션은, 최소 네트워크 전송 파라미터가 3Mbps 내지 1Mbps 사이의 제 1 구간이라면, 제 1 구간 내에서 기 설정된 값인 2Mbps를 비트레이트로 결정할 수 있다. 그리고 2Mbps의 비트레이트 내에서 해상도가 720ppi라면 전송 가능하도록 영상의 최대 FPS를 24로 산출할 수 있다.

이를 통해, 선명도 모드에서 네트워크 환경에 따른 영상 파라미터는, 해상도 720ppi, 초당 프레임 24FPS, 비트레이트 2Mbps로 결정될 수 있다.

또한, 제 1 확장현실 어플리케이션은, 최소 네트워크 전송 파라미터가 1Mbps 내지 0.5Mbps 사이의 제 2 구간이라면, 제 2 구간 내에서 기 설정된 값인 1Mbps를 비트레이트로 결정할 수 있다. 그리고 1Mbps의 비트레이트 내에서 해상도가 720ppi라면 전송 가능한 영상의 최대 FPS 값을 10으로 산출할 수 있다.

이를 통해, 선명도 모드에서 네트워크 환경에 따른 영상 파라미터는, 해상도 720ppi, 초당 프레임 10FPS, 비트레이트 1Mbps로 결정될 수 있다.

그리고 제 1 확장현실 어플리케이션은, 결정된 영상 파라미터에 따라서 확장현실 영상을 생성하고, 참여된 사용자들의 컴퓨팅 디바이스로 최소 네트워크 전송 파라미터에 따라 전송할 수 있다. (S308)

즉, 선명도 모드에서는, 네트워크 환경에 관계없이 일정한 화질의 해상도 영상을 제공함으로써, 정밀한 작업정보 공유가 중요한 협업에 모드로 활용될 수 있다.

다시 도 9의 설명으로 돌아와, 이와 같이 실시예에서 제 1 확장현실 어플리케이션은, 최종적으로 결정된 출력모드의 영상 파라미터에 따라서 커뮤니케이션 데이터를 생성 및 송신할 수 있다. (S107)

자세히, 제 1 확장현실 어플리케이션은, 제 1 사용자에게 송신할 음성 데이터, 확장현실 영상 콘텐츠 등을 포함하는 커뮤니케이션 데이터를 생성할 수 있다.

여기서, 제 1 확장현실 어플리케이션은, 결정된 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 생성하여, 커뮤니케이션 데이터에 포함시킬 수 있다.

실시예에서, 확장현실 영상 콘텐츠는, 촬영영상에 제 1 사용자 입력에 따라 생성된 가상 객체가 증강된 확장현실 영상을 포함할 수 있다.

이를 위해 제 1 확장현실 어플리케이션은, 영상에 대해 가상 객체를 생성하는 유저 인터페이스를 제공할 수 있다.

자세히, 제 1 확장현실 어플리케이션은, 제 2 컴퓨팅 디바이스에서 수신한 촬영영상을 출력하고, 상기 출력되는 촬영영상 상에서 사용자의 입력에 따라 객체의 종류, 형태, 위치를 결정하여, 촬영영상에 증강된 가상 객체를 생성할 수 있다.

이때, 촬영영상은, 제 2 컴퓨팅 디바이스에서 제 2 사용자가 설정한 영상 파라미터에 따라 인코딩하여 송신한 영상일 수 있다.

제 1 확장현실 영상 어플리케이션은, 상기 촬영영상에 대해 가상 객체 입력 인터페이스를 제공하기 위해, 촬영영상을 현재 설정된 영상 파라미터에 따라서 변경할 수 있다. 예를 들어, 촬영영상의 기 설정된 해상도와 FPS에 따라서 변경하여 출력할 수 있다.

그리고 제 1 확장현실 영상 어플리케이션은, 도 14와 같이 촬영영상(30i) 상에서 기 설정한 종류의 가상 객체를 표시할 위치를 결정하는 포인터(40i)를 제공할 수 있다.

이때, 제 1 확장현실 영상 어플리케이션은, 표시되는 촬영영상(30i)의 영상 파라미터에 따라서 포인터(40i)의 종류, 모양을 변경할 수 있다.

예를 들어, 제 1 확장현실 영상 어플리케이션은, 해상도가 소정의 값 이하로 낮아지는 경우, 포인터(40i)의 크기를 감소 또는 증가시키거나, 색을 변경함으로써, 낮은 해상도에서 포인터(40i)의 위치를 정확하게 인지시키도록 제공할 수 있다.

또한, 제 1 확장현실 영상 어플리케이션은, 설정된 영상 파라미터에 따라서 표시되는 가상객체의 종류, 형태 또는 색 등을 변경할 수 있다.

예를 들어, 제 1 확장현실 영상 어플리케이션은, FPS가 소정의 값 이하로 낮아지는 경우, 상대적으로 단순한 구조의 형상을 가지는 가상 객체로 형태를 변경하거나, 가상 객체의 크기를 감소시키거나, 색을 변경함으로써, 낮은 FPS에서 명확하게 가상 객체를 최대한 실시간으로 표시할 수 있도록 제공할 수 있다.

그리고 제 1 확장현실 어플리케이션은, 상기와 같이 생성된 가상 객체에 대한 정보를 포함하는 확장현실 영상을 생성하여, 커뮤니케이션 데이터에 포함시킬 수 있다.

확장현실 영상 콘텐츠는, 촬영영상에 제 1 사용자 입력에 따라 생성된 가상 객체 및 가상 객체의 표시위치 정보를 포함한 가상 콘텐츠를 포함할 수 있다.

실시예에서, 제 1 확장현실 어플리케이션은, 결정된 영상 파라미터가 소정의 값 이하인 경우, 가상객체 생성시의 촬영영상의 촬영영역 정보, 가상 객체 및 표시위치 정보를 확장현실 영상 콘텐츠로 생성하여 커뮤니케이션 데이터 포함시킬 수 있다.

즉, 네트워크 환경이 열악한 경우, 확장현실 영상 전체를 송신하는 것이 아닌, 가상 콘텐츠에 대한 정보를 공유하고, 각 사용자의 컴퓨팅 디바이스에 저장된 가상 객체를 업로딩하여 가상 콘텐츠 정보에 따라 각각의 컴퓨팅 디바이스에서 증강시켜 확장현실 환경을 제공할 수 있다.

예를 들어, 소정의 해상도 이하라면, 제 1 확장현실 어플리케이션은, 가상 객체가 포인팅이라는 가상 객체 종류 정보와, 상기 포인터가 표시되는 3차원 공간 상의 좌표 또는 촬영영상 내 포인터와 특정 객체 사이의 위치관계 정보를 가상 객체 표시위치 정보로 포함하는 가상 콘텐츠를 송신할 수 있다.

제 2 사용자 컴퓨팅 디바이스의 제 2 확장현실 어플리케이션은, 가상 콘텐츠를 수신하여, 가상 콘텐츠에 따라 촬영영역에 가상 객체를 증강하여 표시함으로써, 제 1 사용자에 대한 확장현실 환경의 커뮤니케이션을 제공할 수 있다.

또한, 제 3 사용자 컴퓨팅 디바이스의 제 3 확장현실 어플리케이션은, 가상 콘텐츠를 수신하고 제 2 사용자로부터 촬영영상을 수신하여, 촬영영상에 가상 콘텐츠에 따라 가상 객체를 증강함으로써, 제 1 사용자에 대한 확장현실 환경 커뮤니케이션을 제공할 수 있다.

그리고 제 1 확장현실 어플리케이션은, 협업 커뮤니케이션이 종료된 후 사용자 피드백을 받아 영상 파라미터를 재설정할 수 있다. (S109)

예를 들어, 제 1 확장현실 어플리케이션은, 네트워크 환경에 따른 해상도와 FPS 각각의 만족도에 대한 평가를 받아, 평가에 따른 피드백에 따라서 해상도와 FPS의 수치를 변경할 수 있다.

마지막으로, 제 1 확장현실 어플리케이션은, 설정된 영상 파라미터에 대한 메타 정보를 설정하는 인터페이스를 제공할 수 있고, 메타정보에 따라서 상기 설정된 영상 파라미터 정보를 저장할 수 있다. (S111)

여기서, 영상 파라미터 정보는, 확장현실 영상 출력모드와, 상기 출력모드에서 네트워크 환경에 따라 설정된 영상 파라미터 설정상태를 의미한다.

그리고 메타정보는, 작업종류, 작업대상 객체, 위치 및 커뮤니케이션 상대 사용자 계정 중 적어도 하나 이상의 정보를 포함할 수 있다.

이러한 메타정보는, 제 1 확장현실 어플리케이션을 통해 사용자가 입력하여 결정하거나, 촬영영상이 촬영된 위치 또는 촬영영상 내에서 검출된 작업대상 객체 등을 통해 자동으로 결정될 수도 있다.

메타정보가 결정되면, 제 1 확장현실 어플리케이션은, 결정된 메타정보에 매칭하여 설정된 영상 파라미터 정보를 저장할 수 있다.

이후, 제 1 확장현실 어플리케이션은, 커뮤니케이션 서비스 제공 중 메타정보를 검출하면, 메타정보에 따라 설정된 영상 파라미터 정보로 세팅할 수 있다.

예를 들어, 제 1 확장현실 어플리케이션은, 촬영영상에서 제 1 작업대상 객체를 검출하고 제 1 작업대상 객체에 대한 영상 파라미터 정보가 기 저장되어 있다면, 해당 정보에 따라서 출력모드 및 출력모드에 따른 파라미터를 세팅할 수 있다.

또한, 제 1 확장현실 어플리케이션은, 촬영영상의 촬영위치가 제 1 위치의 소정의 반경 이내이고 제 1 위치에 대한 영상 파라미터 정보가 기 저장되어 있다면, 해당 정보에 따라서 출력모드 및 출력모드에 따른 파라미터를 세팅할 수 있다.

이상, 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템은, 데이터 통신에 이용되는 네트워크 환경을 기반으로 교환하려는 데이터를 가공하여 송수신함으로써, 네트워크 사용 환경에 최적화된 속도와 품질로 구현되는 맞춤형 데이터를 이용한 데이터 교환을 수행할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템은, 데이터 통신에 이용되는 네트워크 환경을 기반으로 맞춤형 데이터를 생성하여 제공함으로써, 확장현실(XR) 기술에 기반한 데이터 교환 시에도 네트워크 통신 부하, 버퍼링(buffering) 또는 데이터의 품질 저하 등과 같은 통신 문제를 최소화할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 맞춤형 네트워크 전송 정보 퀄리티 조정 방법 및 시스템은, 다자 간 원격 커뮤니케이션(Remote communication)을 구현하는 확장현실(XR) 커뮤니케이션 기술을 제공함으로써, 원격의 관리자가 적어도 하나 이상의 현장 작업자와 동시에 데이터 통신을 수행할 수 있는 효과가 있다.

이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (10)

1. 제 1 사용자의 컴퓨팅 디바이스의 프로세서에서 제 1 확장현실 어플리케이션을 실행하여 수행하는 맞춤형 네트워크 전송 정보 퀄리티 조정 방법으로서,
   적어도 하나 이상의 타 컴퓨팅 디바이스와 확장현실 영상 콘텐츠를 송수신하는 확장현실 커뮤니케이션 서비스를 실행하는 단계;
   타 컴퓨팅 디바이스와의 네트워크 환경을 감지하는 단계;
   상기 감지된 네트워크 환경에 따라서 상기 확장현실 영상 콘텐츠의 적어도 하나 이상의 영상 파라미터를 설정하는 단계;
   상기 설정된 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 생성하는 단계; 및
   상기 생성된 확장현실 영상 콘텐츠를 포함하는 커뮤니케이션 데이터를 상기 타 컴퓨팅 디바이스에 송신하는 단계를 포함하고,
   상기 확장현실 커뮤니케이션 서비스 실행 중 메타 정보를 검출하는 단계와,
   상기 검출한 메타 정보 중 상기 설정된 영상 파라미터에 대한 메타 정보를 결정하는 단계와,
   상기 결정된 메타 정보와 상기 설정된 영상 파라미터를 매칭하여 저장하는 단계와,
   타 컴퓨팅 디바이스와 확장현실 커뮤니케이션 서비스를 재실행하는 단계와,
   상기 확장현실 커뮤니케이션 서비스 재실행 중 상기 저장된 메타 정보를 검출하는 단계와,
   상기 검출한 메타 정보에 매칭된 영상 파라미터에 따라서 상기 확장현실 커뮤니케이션을 통해 출력되는 확장현실 영상 콘텐츠의 파라미터를 세팅하는 단계를 더 포함하고,
   상기 메타 정보는 작업종류, 작업대상 객체, 위치 및 커뮤니케이션 상대 사용자 계정 중 적어도 하나 이상의 정보를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
2. 제 1 항에 있어서,
   상기 타 컴퓨팅 디바이스와의 네트워크 환경을 감지하는 단계는,
   복수의 컴퓨팅 디바이스와의 대역폭을 각각 측정하는 단계와,
   상기 측정된 대역폭 중 가장 작은 대역폭을 공통 대역폭으로 결정하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
3. 제 1 항에 있어서,
   상기 감지된 네트워크 환경에 따라서 상기 확장현실 영상 콘텐츠의 적어도 하나 이상의 영상 파라미터를 설정하는 단계는,
   확장현실 영상 출력모드를 결정하는 단계와,
   상기 결정된 확장현실 영상 출력모드에서 상기 감지된 네트워크 환경에 기초하여 상기 영상 파라미터를 결정하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
4. 제 3 항에 있어서,
   상기 확장현실 영상 출력모드를 결정하는 단계는,
   서로 다른 영상 파라미터의 복수의 영상을 출력하는 단계와, 상기 출력된 복수의 영상 중 사용자 선택에 따라 하나의 영상이 결정되는 단계와, 상기 결정된 영상으로 상기 영상 파라미터를 결정하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
5. 제 3 항에 있어서,
   상기 결정된 확장현실 영상 출력모드에서 상기 감지된 네트워크 환경에 기초하여 상기 영상 파라미터를 결정하는 단계는,
   상기 감지된 네트워크 환경에 따라서 네트워크 전송 파라미터를 결정하는 단계와, 상기 결정된 네트워크 전송 파라미터에 따라서 제 1 영상 파라미터를 결정하는 단계와, 상기 결정된 제 1 영상 파라미터에 따라서 나머지 영상 파라미터를 결정하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
6. 제 5 항에 있어서,
   상기 결정된 확장현실 영상 출력모드에서 상기 감지된 네트워크 환경에 기초하여 상기 영상 파라미터를 결정하는 단계는,
   제 2 영상 파라미터를 제 1 값으로 고정하는 단계와, 상기 결정된 제 1 영상 파라미터 내에서 상기 제 2 영상 파라미터가 제 1 값일 때의 제 3 영상 파라미터 값을 산출하여 영상 파라미터를 결정하는 단계와, 상기 제 1 영상 파라미터가 변경되면 상기 제 3 영상 파라미터를 재산출하여 결정하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
7. 제 1 항에 있어서,
   상기 설정된 영상 파라미터에 따라서 확장현실 영상 콘텐츠를 생성하는 단계는,
   영상을 획득하는 단계와, 상기 획득된 영상에 증강되는 가상 객체를 입력하는 유저 인터페이스를 제공하는 단계와, 상기 유저 인터페이스에 따라 생성된 가상 객체를 상기 확장현실 영상 콘텐츠에 포함하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
8. 제 7 항에 있어서,
   상기 획득된 영상에 증강되는 가상 객체를 입력하는 유저 인터페이스를 제공하는 단계는,
   상기 설정된 영상 파라미터에 따라서 상기 획득된 영상을 변경하는 단계와,
   상기 설정된 영상 파라미터에 따라서 상기 가상 객체를 입력하기 위한 포인터의 종류 또는 모양을 변경하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
9. 제 7 항에 있어서,
   상기 획득된 영상에 증강되는 가상 객체를 입력하는 유저 인터페이스를 제공하는 단계는,
   상기 설정된 영상 파라미터에 따라서 상기 가상 객체의 종류, 형태, 크기 또는 색 중 적어도 하나를 변경하는 단계를 포함하는
   맞춤형 네트워크 전송 정보 퀄리티 조정 방법.
10. 삭제

Images