KR101896982B1 - 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 - Google Patents
사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 Download PDFInfo
- Publication number
- KR101896982B1 KR101896982B1 KR1020160133027A KR20160133027A KR101896982B1 KR 101896982 B1 KR101896982 B1 KR 101896982B1 KR 1020160133027 A KR1020160133027 A KR 1020160133027A KR 20160133027 A KR20160133027 A KR 20160133027A KR 101896982 B1 KR101896982 B1 KR 101896982B1
- Authority
- KR
- South Korea
- Prior art keywords
- connection
- user interface
- interface object
- virtual user
- information
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 title claims abstract description 22
- 230000006399 behavior Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims 3
- 238000004590 computer program Methods 0.000 claims 1
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H04L67/38—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- H04L67/36—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/75—Indicating network or usage conditions on the user display
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 증강 현실, 가상 현실 또는 혼합 현실 환경에서 사용자간 통신을 제공하는 방법 및 시스템에 관한 것이다. 본 발명에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법은 적어도 하나의 물리적 공간 정보물리적 객체를 포함하는 물리적 공간 정보를 수신하는 단계; 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 상기 물리적 객체를 기반으로 생성하는 단계; 및 상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함한다. 본 발명의 구성에 따르면, 혼합 현실 상에서 실시간 커뮤니케이션 기능을 제공해 줄 수 있다. 따라서 사용자는 가상 현실 환경 속에서 현실 환경의 다른 사람과의 커뮤니케이션을 위하여 현실 환경으로 빠져 나올 필요가 없으며, 다양한 가상 현실 환경의 플랫폼 속에서도 웹 브라우저를 통해서 통신할 수 있는 바 커뮤니케이션의 범위가 제한되지 않는다.
Description
본 발명은 증강 현실, 가상 현실 또는 이를 결합한 혼합 현실 환경에서 사용자간 통신을 제공하기 위하는 방법 및 시스템에 관한 것이다.
일반적으로 현실에서 사용자 간의 커뮤니케이션은 스마트폰과 같은 사용자 단말을 통해 수행되며 화상 통화의 경우 단말기에 탑재된 카메라 모듈을 통해 입력된 영상을 상대방에게 전송하고 상대방의 단말의 디스플레이 장치를 통해 표시 함으로써 상호간의 커뮤니케이션이 이루어지고 있다. 이때, 사용자는 단말의 터치스크린 상에 표시된 버튼이나 단말기에 물리적으로 배치된 버튼을 통해 연결을 시도하거나, 커뮤니케이션에 필요한 기능 들을 제어하고 있다.
현재에 이르러 그래픽 처리 및 센서 기술의 발달로 사용자의 체감도를 높여 현실 세계를 가상으로 구현하는 가상 현실(Virtual reality)과, 현실과 컴퓨터 그래픽으로 처리된 이미지를 겹쳐서 표시해주는 증강현실(Augmented reality) 뿐 아니라, 이를 혼합한 혼합 현실(Mixed reality)과 관련한 기술이 꾸준히 개발되고 있다.
사용자는 이러한 가상과 현실이 혼합된 환경에서 주변 객체 및 프로그램에 의해 생성된 가상 객체와의 인터페이스가 가능해 졌다.
따라서, 가상 객체와의 교류를 위한 인터페이스뿐 아니라 현실 또는 다른 가상 객체와의 교류를 위하여 현재의 현실세계에서 이용되는 사용자간의 커뮤니케이션을 위한 명령이나 인터페이스도 증강 현실 또는 증강 현실과 가상 현실을 합성한 혼합 현실의 환경 속에서도 앞으로는 필요해 질 것으로 예상된다.
나아가, 최근에는 WebRTC(Real-Time Communication)라는 기술을 통해, 커뮤니케이션을 위한 별도의 어플리케이션의 적용 없이 웹 브라우저만을 이용하여 사용자간 미디어 통신이 가능한 솔루션이 개발되었다.
따라서, 가상의 환경에서도 WebRTC 기술을 통해 현실 환경의 다른 사용자 또는 가상 환경 속의 다른 사용자들과 커뮤니케이션을 수행할 수 있는 시스템이 필요해 질 것으로 보인다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위하여, 실시간 커뮤니케이션을 가상 현실 환경에서 구현하는데 그 목적이 있다.
또한, 가상 현실 환경에서 실시간 커뮤니케이션의 부가 기능을 제공하며, 실시간 커뮤니케이션을 효율적으로 제어할 수 있도록 하는데 그 목적이 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법은 사용자의 물리적 공간 정보를 수신하는 단계; 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및 상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함한다.
상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것이 바람직하다.
상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것이 바람직하다.
상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 상기 접속 요청자가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함하는 것이 바람직하다.
상기 생성하는 단계는 상기 접속 요청자와 상기 접속 수신자 간의 성립된 연결을 상기 물리적 공간 정보를 이용하여 연결 객체로 생성하는 단계를 더 포함하는 것이 바람직하다.
상기 생성하는 단계는 상기 연결 객체를 상기 물리적 공간 정보의 상기 물리적 객체 정보 및 연결 상대방의 설정 정보를 이용하여 홀로그래픽 객체로 생성하는 것이 바람직하다.
상기 생성하는 단계는 복수의 성립된 연결에 대하여 각 연결 별로 생성된 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것이 바람직하다.
상기 입력 받는 단계는, 상기 사용자의 행동 인식을 통해 상기 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것이 바람직하다.
상기 생성하는 단계는 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경되는 깊이 정보를 반영하여 이동시키는 단계를 포함한다.
상기 통신을 위한 명령은 접속 요청 명령, 접속 승인/거부 명령, 및 음성 /영상 정보 입력 명령 중 적어도 하나인 것이 바람직하다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템은 프로세서와 메모리를 참조하는 표시부; 사용자의 물리적 공간 정보를 획득하기 위한 센서부; 및 상기 메모리의 일부를 사용하여 상기 프로세서에서 처리되는 사용자 인터페이스 처리 프로그램을 포함하고, 상기 프로그램은 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 것이 바람직하다.
상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것이 바람직하다.
상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것이 바람직하다.
상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 상기 접속 요청자가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함한다.
상기 사용자 인터페이스 처리 프로그램은 상기 접속 요청자와 상기 접속 수신자 간의 성립된 복수의 연결을 상기 물리적 공간 정보를 이용하여 각 연결 별 연결 객체로 생성하는 단계를 더 포함한다.
상기 사용자 인터페이스 처리 프로그램은 복수의 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것이 바람직하다.
상기 사용자 인터페이스 처리 프로그램은 상기 사용자의 행동 인식을 통해 상기 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것이 바람직하다.
상기 사용자 인터페이스 처리 프로그램은 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경을 반영하여 이동시키는 단계를 포함한다.
본 발명의 구성에 따르면, 혼합 현실 상에서 실시간 커뮤니케이션 기능을 제공해 줄 수 있다. 따라서 사용자는 가상 현실 환경 속에서 현실 환경의 다른 사람과의 커뮤니케이션을 위하여 현실 환경으로 빠져 나올 필요가 없으며, 다양한 가상 현실 환경의 플랫폼 속에서도 어플리케이션, 또는 웹 브라우저를 통해서 통신할 수 있으므로 사용자간 커뮤니케이션의 범위가 제한되지 않는다.
또한, 현실 환경에서 제공되는 부가서비스도 그대로 제공 받을 수 있다. 나아가, 사용자는 현실 환경보다 시/공간적 제약이 적은 혼합 현실상에서 실시간 커뮤니케이션을 효율적으로 제어할 수 있다.
또한, 현실의 전환 없이 현재 사용자가 존재하는 현실 환경에서 커뮤니케이션을 지원하므로 사용자에게 더욱 현실감 있는 커뮤니케이션을 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 방법으로 구현되는 사용자 간의 통신 예를 나타내는 도이다.
도 2는 본 발명의 일 실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체를 예시하는 도이다.
도 3은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체를 통한 통신 연결 수단의 선택을 나타내는 도이다.
도 4 내지 6는 본 발명의 일 실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체를 예시하는 도이다.
도 7은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체의 처리 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템을 나타내는 개념도다.
도 2는 본 발명의 일 실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체를 예시하는 도이다.
도 3은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체를 통한 통신 연결 수단의 선택을 나타내는 도이다.
도 4 내지 6는 본 발명의 일 실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체를 예시하는 도이다.
도 7은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체의 처리 방법을 나타내는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템을 나타내는 개념도다.
이하의 내용은 단지 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시 되지 않았지만 발명의 원리를 구현하고 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이외같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 방법으로 구현되는 사용자(10) 간의 통신 예를 나타내는 도이다.
도 1을 참조하면, 본 실시예에 따른 사용자(10)는 가상 현실 상황에서 다른 사용자(20)들과 통신을 수행하고 있다.
가상 현실(Virtual Reality)은 컴퓨터 그래픽을 통하여 특정한 상황을 만들어서 실제로 사용자(10)가 특정한 상황 내에 속해서 생성된 객체들과 상호작용을 할 수 있도록 하는 환경을 의미한다.
본 실시예에서 가상 현실은 상술한 가상의 상황 뿐 아니라 가상의 객체를 사용자(10)가 눈으로 보는 현실세계에 겹쳐서 표시하는 증강 현실(Augmented Reality)을 기반으로, 웨어러블 컴퓨터의 하나로 HMD(Head Mounted Display) 장치를 통해 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 혼합 현실(Mixed Reality, MR)을 모두 포함할 수 있다.
즉, 본 실시예에서 사용자(10) 간의 통신은 가상의 공간으로만 이루어진 상황에서 사용자(10)간 통신을 수행하는 경우와, HMD장치(15)를 통해 사용자(10)에게 현실의 공간과 가상의 공간이 겹쳐진 상황에서 사용자(10)간 통신을 수행하는 경우를 모두 포함한다.
따라서 사용자(10)는 본 실시예에 따른 가상 현실 상황에서 다른 사용자(20)와의 통신을 위하여, 예를 들어 HMD장치(15)를 벗고 스마트폰을 통해 전화를 거는 행위가 필요없이 현실의 다른 사용자(20)에게 전화를 걸거나 다른 가상 현실 상황의 사용자(10)에게 전화를 걸 수 있다.
본 실시예에서 HMD장치(15)는 디스플레이 장치를 포함하는 한 쌍의 웨어러블 글라스로 구성될 수 있으며 투명, 반투명 또는 불투명한 디스플레이 장치들의 선택 및 조합으로 구성되어 현실의 환경과 가상의 환경을 적절히 조합하여 혼합 현실 환경을 만들고 사용자(10)에게 제공해 줄 수 있다.
구체적으로 투명한 디스플레이 장치는 현실 객체를 적어도 일부의 투명한 픽셀을 통해 표시하고, 가상의 객체를 다른 픽셀을 통해 함께 표시해 준다. 예를 들어 투명한 디스플레이는 see-through OLED(Organic Light-Emitting Diode)와 같이 투과성의 이미지 생성 요소를 포함하는 렌즈로 구성될 수 있다.
나아가, 투명한 디스플레이 장치는 필터를 포함하여, 현실 환경의 객체들의 이미지가 사용자(10)의 눈에 도달하기 전에 적절히 밝기, 해상도 등을 조절하여 사용자(10)가 가상의 객체와 함께 현실 환경의 객체를 인식할 수 있도록 한다.
또한, 추가적으로 HMD장치(15)는 시선 추적 센서를 포함하여 사용자(10)의 시선을 인식하고, 응시하는 객체에 대한 정보를 제공하거나, 시야를 고려하여 가상의 객체의 크기나 위치를 설정할 수 있다.
HMD장치(15)는 광학 센서를 통하여 시야 밖에서의 행동이나 객체의 움직임 등을 인식할 수 있다. 또한 추가적인 외부 센서로서 깊이 카메라, 가시광 카메라, 적외선 카메라, 행동 인식 카메라 등을 통하여 현실 세계의 객체들의 상태, 위치, 깊이, 조도 정보 등을 인식할 수 있다.
추가적으로 위치 센서로서 GPS(Global Positioning System), 가속도 센서, 자이로 센서 등을 포함하여 사용자의 위치와 관련된 정보, 공간 내 움직임에 대한 정보등을 인식할 수 있다.
또한, 마이크와 같은 외부 소리를 수집하는 장치를 포함하여, 사용자간 음성을 송수신 할 수 있게 할 뿐 아니라, 음성을 통한 제어 명령을 인식할 수 있다.
이상의 센싱 된 정보를 통해 HMD장치(15)는 사용자가 속해 있는 물리적 공간에 대한 물리적 공간 정보를 인식하고, 디스플레이 장치를 통해 물리적 공간 상에 표시되는 가상의 객체를 보다 생동감 있게 표현하거나, 현실의 객체와 어우러져서 가상의 객체가 표시될 수 있도록 한다.
이하에서는 혼합 현실을 주로 설명하나 그 기술적 적용 범위는 혼합 현실로만 제한되지 않으며, 다양한 형태의 가상 현실을 포함할 수 있다. 또한, 설명의 편의를 위해 HMD장치를 예로 설명하나, 사용자에게 가상 현실을 제공하는 웨어러블 컴퓨터, 자동차용 HUD(Head Up Display)장치, 기타 다양한 사용자 단말 장치들과 연동하여 그 명칭을 불문하고 적용 ? 수 있다.
도 2는 본 발명의 일 실시예에 따른 사용자(10)간 통신을 위한 가상의 사용자 인터페이스 객체(100)를 예시하는 도이다.
본 실시예에서 가상의 사용자 인터페이스 객체(100)는 현실 세계의 물리적 객체들로 구성되는 물리적 공간(200) 상에 표시될 수 있다. 본 실시예에서 물리적 객체란 현실 세계에 실제로 존재하는 객체들로, 이때 객체는 사람, 동물, 사물 뿐 아니라 현실 공간 상의 일 지점도 포함한다.
물리적 공간 정보란 이러한 물리적 객체를 포함하는 정보로 센서를 통해 수집되는 사용자의 현재 위치 정보, 현재 위치에 대한 이미지 정보, 현재 위치에서 사용자의 이동 정보, 현재 위치의 온도, 습도, 조도 등의 환경 정보 등을 포함한다.
또한, 물리적 객체는 물리적 공간 정보로 센싱의 대상이 되는 모든 대상을 포함한다.
본 실시예에서 사용자 인터페이스 객체(100)는 물리적 공간 정보를 이용하여 생성되되, 일 실시예에서 물리적 공간(200)에 포함된 물리적 객체를 이용하여 생성되어 표시되는 형식이 결정될 수 있다.
구체적으로 물리적 객체의 깊이 정보를 기반으로 디스플레이 장치 상에 표시되는 크기 또는 위치가 결정될 수 있다.
이때, 물리적 공간(200)의 깊이 정보는 사용자(10)의 눈으로 인식되는 물리적 공간(200)의 이미지 정보의 초점에 대한 정보로서 가상의 사용자 인터페이스 객체(100)는 초점의 깊이를 고려하여 물리적 공간 정보 내 가상의 사용자 인터페이스 객체(100)의 표시되는 깊이를 결정할 수 있다.
예를 들어, 사용자(10)가 먼 거리에 있는 현실 세계의 물리적 객체를 응시하는 경우에는 사용자 인터페이스 객체(100)의 표시되는 깊이도 상대적으로 깊게 표시하여 사용자(10)가 응시하는 물리적 객체와 함께 인터페이스를 조작할 수 있도록 한다.
즉, 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 상기 물리적 객체의 깊이 정보를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정될 수 있다.
또한, 깊이 정보를 기반으로 해당 깊이에 대응되는 주위의 물리적 객체의 특징을 이용하여 표시 형식을 결정할 수 있다.
예를 들어 도 2의 경우 가상의 사용자 인터페이스 객체(100)는 물체가 없는 벽의 주위에 표시되므로, 물리적 객체로서 벽의 색을 인식하여 사용자(10)에게 표시되는 색상을 결정할 수 있다. 벽의 색과 유사한 색으로 사용자 인터페이스 객체(100)를 표시하게 되면 시인성이 떨어져 사용자(10)의 조작이 어려워 질 수 있다.
또는 반대로, 가상의 사용자 인터페이스 객체(100)를 활성과 비활성 상태로 구분하여, 사용자(10)가 가상의 사용자 인터페이스 객체(100)를 비활성 시키는 경우에는 물리적 객체의 색과 비슷한 색으로 표시하여 시야를 방해하거나 거슬리는 것을 방지하고, 사용자(10)가 활성 시키는 경우에는 색을 다르게 표시하여 조작이 쉽도록 하는 것도 가능하다.
또한 사용자(10)의 초점이 TV에 형성된 경우 사용자(10)가 TV를 조작하려는 것을 예상하고 TV를 끄고 켜는 등의 사용자(10)의 행동에 방해를 최소화하는 위치에 가상의 사용자 인터페이스 객체(100)가 표시되도록 할 수 있다.
나아가, 본 실시예에서 가상의 사용자 인터페이스 객체(100)를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경되는 깊이 정보를 반영하여 그 위치가 이동될 수 있다.
따라서, 사용자(10)의 시선 방향, 초점 등을 즉각적으로 인식하고 이에 따라 가상의 사용자 인터페이스 객체(100)의 위치를 변경하여, 인터페이스 사용의 편의성을 높인다.
이상의 실시예에 따른 사용자 인터페이스 객체는 가상 환경 속에서 실행가능한 어플리케이션으로 구현될 수 있다.
이때의 어플리케이션은 통신회선을 통한 일반 음성 또는 화상통화, 인터넷 IP 망을 기반으로 하는 VoIP(Voice over Internet Protocol) 등을 지원하기 위한 기본적인 영상과 음성의 송수신을 기능을 제공하며 추가적으로 본 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 통화의 전이나 중간에 제공해 준다. 또한, 도 2를 참조하면 인터페이스 사용의 편의성을 더욱 높이기 위하여 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 웹RTC(Real-Time communication) 기반으로 구현될 수 있다.
즉, 웹RTC를 이용하여 가상의 사용자 인터페이스 객체(100)를 구현하여 사용자(10)간의 통신에 별도의 어플리케이션의 적용 없이 웹 브라우저만을 이용하여 사용자(10)간 미디어 통신이 가능하도록 할 수 있다.
이를 통해 사용자(10)는 가상의 현실 속에서 웹 브라우저를 실행시키는 것 만으로 본 실시예에 따라 생성되는 사용자 인터페이스 객체(100)를 사용할 수 있다. 예를 들어, 마이크로소프트의 엣지 브라우저, 구글의 크롬 등을 이용하여 웹페이지의 접속 만으로 사용자 인터페이스 객체(100)를 생성 및 실행시킬 수 있다.
구체적인 인터페이스로, 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 사용자(10)간의 통신을 위하여 접속을 요청하는 접속 요청자가 상대방으로 접속 수신자 목록 중 하나를 선택하는 것을 통해 통신을 요청하도록 할 수 있다.
도 2를 참조하면 접속 요청자는 자신의 손가락을 이용하여 가상의 공간 내에 생성되어 현실의 물리적 공간(200)과 함께 표시되는 가상의 사용자 인터페이스 객체(100)의 일부를 가리키거나 누르는 행동을 통해 통신을 위한 접속의 요청 명령을 입력할 수 있다.
이상의 본 실시예에서 통신을 위한 명령은 접속 요청 명령, 접속 승인/거부 명령, 및 음성 /영상 정보 입력 명령 중 적어도 하나일 수 있으며, 이러한 명령의 구체적인 입력을 위한 인터페이스에 대하여 이하 설명한다.
도 2에서 사용자(10)는 물리적 객체로서 빈 벽에 생성된 가상의 사용자 인터페이스 객체(100) 중 [email protected]라는 계정의 사용자(10)에게 손가락을 이용하여 접속을 요청할 수 있다.
또한, 본 실시예에 따른 사용자 인터페이스 객체(100)는 연결 수단의 목록을 표시해 주고, 이를 통해 다른 사용자(20)와의 연결을 위한 연결 수단을 선택할 수 있도록 할 수 있다.
본 실시예에서 연결 수단은 접속 요청자(10)의 가상의 사용자 인터페이스 객체(100)에 표시되는 형식, 명령을 입력 받는 방식, 접속 요청자(10)와 접속 수신자(20) 간의 통신 방식 등을 기준으로 구분될 수 있다.
보다 상세히 설명하면, 도 3은 본 발명의 일 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 통한 통신 연결 수단을 나타내는 도이다.
도 3을 참조하면, 가상의 사용자 인터페이스 객체(100)는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함할 수 있다.
인터페이스 요소는 예를 들어, 접속 수신자(20)가 설정한 링크로서 접속 요청에 이용되는 어플리케이션을 실행하는 커스텀 링크, 웹 브라우저를 실행시키는 웹 링크와 같이 접속을 위한 주소가 텍스트 형태로 그대로 노출되는 것일 수 있다.
이를 접속 요청자(10)가 응시하거나, 손으로 클릭하거나 터치하는 등의 동작으로 선택하면 해당하는 링크에 따른 명령이 수행되게 된다.
또한, QR(Quick Response) 코드와 같은 2차원의 코드를 이용하는 것도 가능하다. 구체적인 링크 주소를 노출 시키지 않고 코드화 된 정보를 접속 요청자 측의 단말에 표시하고, 가상 현실 환경에서 코드의 인식을 위한 코드 인식 객체를 실행 시키고(이때의 프로그램도 WebRTC 기반으로 생성될 수 있다.) 이때의 객체가 코드를 인식하게 되면 인식된 정보를 통해 접속 수신자(20)에게 접속을 요청하도록 할 수 있다.
구체적인 인터페이스로, 직접적인 코드 인식 객체의 실행 없이 사용자의 시선이 가상 환경 속의 QR코드를 응시하는 경우, 자동으로 코드 인식 객체를 백그라운드에서 실행시키고 이를 통해 QR코드의 인식 결과로서 다른 사용자에게 접속을 요청하게 할 수 있다.
또한, 이때의 접속 요청 의사를 명확하게 하기 위하여 QR코드의 인식 외 추가적인 사용자의 명령을 입력 받는 것도 가능하다. 예를 들어, QR코드를 인식하고 사용자가 음성으로 접속을 요청하는 명령을 입력하거나, 행동을 통해 명령을 입력하게 되면 통화를 시도하도록 하는 것도 가능하다.
또한, 본 실시예에서 연결 수단은 도 2와 같이 이미지화된 버튼 들의 목록으로 구현되는 것도 가능하다.
즉, 링크의 주소와 같은 정보를 노출시키지 않고, 이미지화 된 버튼으로 구현하고, 접속 요청자(10)의 버튼의 클릭이나 터치를 입력 받으면, 해당 버튼에 연결된 링크 주소를 실행 시키도록 하는 것도 가능하다.
간접적인 사용자(10)의 연결 수단에 대한 선택은 HMD장치(15)의 다양한 센서를 통해 구현될 수 있다.
예를 들어, 행동 인식을 이용하여 연결 수단에 대한 선택을 입력 받을 수 있다.
또한 외부 환경의 영상 인식으로 연결 수단의 선택을 구현하는 것도 가능하다.
예를 들어, HMD장치(15) 내의 카메라를 통해 화재나 침입 등에 대한 물리적 공간(200)에 대한 외부 이미지 정보를 수집하고, 화재의 경우에는 소방서와 연결된 연결 수단을 선택하는 것으로 자동으로 인식할 수 있으며, 침입의 경우에는 경비업체 또는 경찰서와 연결된 연결 수단을 선택하는 것으로 인식할 수 있다.
또한, 도 3을 참조하면 본 실시예에서 가상의 사용자 인터페이스 객체(100')는 접속 수신자(20)의 측면에서 접속 요청자(10)의 접속 정보를 제공해 줄 수 있다.
이때 접속 정보는 접속 요청자(10)의 신상 정보, 접속 요청 목적 정보 등의 접속 요청자(10)에 대한 모든 정보를 포함한다.
본 실시예에서 접속 요청자(10) 측의 가상의 사용자 인터페이스 객체(100)는 상기 접속 요청자(10)의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소를 포함하고, 접속 수신자(20) 측의 가상의 사용자 인터페이스 객체(100')는 상기 접속 요청자(10)가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함할 수 있다.
또한, 접속 수신자(20)측의 가상의 사용자 인터페이스 객체(100)는 접속 수신자(20)에게 특정 벨소리가 단말에 울리도록 하는 것도 가능하다. 이때 벨소리는 접속 요청자(10), 접속 요청 목적 등을 기준으로 구분될 수 있다.
나아가, 스케쥴 정보를 스스로 참조하고 이에 따른 인터페이스를 수행하는 것을 포함할 수 있다.
예를 들어, 접속 요청자(10)의 접속 요청 시간을 확인하고, 스케줄 정보를 참조하여 접속 수신자(20)에게 접속 요청을 알리거나 또는 부재중임을 응답으로 제공하도록 하는 가상의 사용자(10) 인터페이스를 실행하게 하는 것도 가능하다.
또한, 자동 응답을 인터페이스 요소로 표시하는 것도 가능하다. 예를 들어, 접속 요청자(10)로부터 선택된 연결 수단이 부동산의 임대 문의를 위한 수단으로 미리 설정된 경우에, 부동산이 이미 임대가 완료된 경우에는 연결 프로세스가 자동 응답으로 임대 완료라는 메시지를 제공하고, 연결을 종료 시키도록 하는 것도 가능하다.
그 외에도, 문맥 인식(Contextual Awareness)을 통한 부가 정보를 제공하는 것을 인터페이스 요소로 표시할 수 있다. 즉, 접속 요청자(10)나 접속 수신자(20)가 설정한 상황에 대한 텍스트 정보를 참조하여, 이를 접속 수신자 측의 단말(300)에 표시하게 할 수 있다.
이때, 텍스트 정보를 단순히 표시해 주는 것이 아니라, 기존의 입력된 텍스트 정보와 현재의 텍스트 정보 또는 접속 요청자(10)나 접속 수신자(20)의 단말에 저장된 사용자(10) 정보 등을 참고하고 학습하여, 부가적인 정보를 제공하도록 할 수 있다.
이하, 도 4를 참조하여 본 실시예에 따른 행동 인식을 통한 가상의 사용자(10) 인터페이스에 대하여 설명한다.
상술한 바와 같이, 본 실시예에서 HMD장치(15)에 탑재된 센서를 통해 사용자(10)의 행동을 인식하는 것도 가능하다.
예를 들어, 가상의 사용자 인터페이스 객체(100)를 통해 연결하고자 하는 접속 수신자를 선택한 상황에서 사용자(10)가 자신의 손모양을 수화기 모양으로 하고, 이를 움직이는 것을 통해 인터페이스 명령을 입력할 수 있다.
구체적으로 수화기 모양의 손을 드는 행위를 통해 접속 수신자는 접속 요청자의 접속 요청을 승인하는 명령을 입력할 수 있으며, 수화기 모양의 손을 내리는 행위를 통해 접속을 거부하거나 통화를 종료하는 명령을 입력할 수 있다.
그 외에도 도시하지는 않았으나 미리 약속된 다양한 사용자(10)의 행동을 통해 명령을 입력 받을 수 있다.
예를 들어, 가상의 사용자(10) 인터페이스를 활성화한 상태에서 손으로 숫자 1, 또는 2를 표시하는 경우 단축 다이얼의 1번 또는 2번으로 입력된 상대방에 대한 접속 요청 명령으로 인식할 수 있다.
또한, 행동을 인식함에 있어 사용자(10)의 단순 행동 뿐 아니라, 물리적 공간 상에 포함된 물리적 객체와의 사용자(10)간의 상호작용을 인식하여 접속 요청 명령을 인식하는 것도 가능하다.
예를 들어, 사용자가 물리적 객체로서 문을 여는 경우 문과 관련된 공간의 상대방 또는 회사에 통화를 요청하도록 할 수 있다.
또한, 손 뿐만 아니라 HMD장치(15)의 자이로 센서 또는 카메라 센서를 통해 사용자(10)의 머리 움직임을 인식하여 접속 요청을 승인하거나 거부하는 것을 인식할 수 있다.
본 실시예에서 가상의 사용자 인터페이스 객체(100)는 접속 요청자와 상기 접속 수신자 간의 성립된 연결을 상기 물리적 공간 정보를 이용하여 연결 객체로 생성하는 것도 가능하다.
구체적으로 연결 객체를 상기 물리적 공간 정보의 상기 물리적 객체 정보 및 연결 상대방의 설정 정보를 이용하여 입체적으로 표시되는 홀로그래픽 객체로 생성할 수 있다.
도 5를 참조하면, 물리적 공간 정보로서 현재 사용자(10)가 존재하는 공간의 바닥이라는 물리적 객체 정보를 인식하고, 연결 상대방을 홀로그래픽 객체(110, 110')로 바닥에 서있는 것처럼 표시하도록 할 수 있다.
또한, 홀로그래픽 객체 역시 사용자(10)의 얼굴 정보 또는 사용자(10)의 계정 설정 정보를 참조하여 생성되어 홀로그래픽 만으로 연결 상대방을 식별할 수 있도록 할 수 있다.
추가적으로 도 5에서 복수의 홀로그래픽 객체가 존재하고 그 위치가 구분되어 있는 경우 사용자(10)의 시선 위치를 인식하여 사용자(10)가 어느 상대방에게 말하는 것인지를 인식하여 정보를 전달할 수 있도록 하는 것도 가능하다.
예를 들어, 사용자(10)가 오른쪽에 위치한 akn이라는 홀로그래픽 객체(110)를 보면서 대화를 하는 경우 입력된 대화는 akn이라는 계정의 상대방에게만 전달되도록 할 수 있다. 또한, 상술한 행동 인식을 통해 사용자(10)가 손으로 직접 자신이 대화하고자 하는 상대방에 대한 홀로그래픽 객체를 선택하도록 하는 것도 가능하다.
추가적으로, 본 실시예에서 가상의 사용자 인터페이스 객체(100)는 사용자(10)의 언어를 인식하여 이를 텍스트로 표시해 주는 것도 가능하다. 또한 텍스트를 번역하여 사용자(10)에게 제공해 주는 것도 가능하다. 이때, 번역을 위한 언어는 사용자(10)의 설정 정보를 참조하여 결정될 수 있다.
또한, 도 6을 참조하면 복수의 연결 객체를 각각의 이미지 레이어(110, 110', 110'')로 구현하여 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것도 가능하다.
즉, 연결 객체가 다수인 경우에는 공간적 제약에 따라 홀로그래픽 객체로 표시하는 데 어려움이 있을 수 있는 바, 각각의 연결 객체를 레이어 구조를 통해 책장에 꽂힌 책들과 같이 겹쳐서 표시해 주고 사용자(10)가 책장 속에서 책을 고르듯이 연결 객체 중 하나를 선택하여 대화를 하게할 수 있다.
또한, 이러한 연결 객체의 순서와 크기를 사용자(10)가 임의로 변경할 수 있는 사용자(10) 인터페이스를 제공하여 사용자(10)가 가장 많이 대화하는 상대방의 연결 객체를 맨 앞으로 이동하거나 크기를 크게 하는 것도 가능하다.
추가적으로 본 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 포함하는 물리적 공간의 이미지 자체(혼합현실 이미지)가 다른 기기로 중계되는 것도 가능하다.
예를 들어, 통화 상대방의 단말로 혼합현실 이미지를 중계할 수 있다. 즉 현실 세계의 사용자와 가상 현실의 사용자간 통화를 지원함에 있어, 가상 현실의 사용자의 시야로 인식되는 혼합 현실을 통화의 상대방에게 그대로 중계하여 상호간의 통화가 더욱 수월하게 이루어질 수 있도록 할 수 있다.
이하, 도 7을 참조하여 본 실시예에 따른 사용자(10)간 통신을 위한 가상의 사용자 인터페이스 객체(100)의 처리 방법에 대하여 설명한다.
도 7은 본 실시예에 따른 가상의 사용자 인터페이스 객체(100)의 처리 방법을 나타내는 흐름도이다.
본 실시예에 따른 가상의 사용자 인터페이스 객체(100)를 제공하기 위하여 적어도 하나의 물리적 객체의 깊이 정보를 포함하는 물리적 공간 정보를 수신한다(S100).
본 실시예에서는 HMD장치(15)의 카메라 모듈을 통해 사용자(10)가 현재 속해 있는 현실 환경의 물리적 객체를 포함하는 물리적 공간 정보를 수신한다. 수신하는 물리적 공간 정보는 사용자(10)의 시야에 따른 초점 정보를 가질 수 있으며, 본 실시예에서 깊이 정보는 사용자(10)의 초점 정보에 대응될 수 있다.
다음, 가상의 공간 내에서 사용자(10)간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체(100)를 상기 물리적 공간 정보를 이용하여 상기 깊이 정보를 기반으로 생성한다(S200).
즉, 물리적 공간 정보를 이용하여 가상의 사용자 인터페이스 객체(100)를 생성하는데, 먼저 가상의 공간 상에서 인터페이스 객체(100)가 표시되는 깊이를 결정할 수 있다.
이때, 인터페이스 객체(100)가 생성되어 표시되는 깊이는 인터페이스 객체(100)의 동작의 편리성과 사용자(10)의 시야의 제한 정도를 적절히 조절하여 결정될 수 있다.
예를 들어, 동작의 편리성을 위하여 사용자(10)의 초점에 해당하는 물리적 객체의 깊이와 동일한 깊이에 인터페이스 객체(100)를 생성하는 경우 사용자(10)는 초점의 이동 없이 통신을 위한 명령을 입력할 수 있다.
또한, 생성하는 단계(S200)는 시야의 제한을 줄이기 위하여 초점과 동일한 깊이에 생성하되 초점에 해당하는 물리적 객체의 바깥에 인터페이스 객체(100)를 생성할 수 있다. 인터페이스 객체(100)의 크기, 색상 등을 포함하는 표시 형식 역시 물리적 객체의 속성 정보를 참조하여 결정될 수 있다. 이때, 물리적 객체의 속성 정보는 HMD장치(15)의 카메라 센서 등을 통해 인식될 수 있다.
나아가, 인터페이스 객체(100)는 통신 연결 수단을 위한 인터페이스 요소들을 포함한다. 인터페이스 요소로서 다른 사용자(20)에 대한 접속 요청 수단을 정의하는 요소, 접속 요청의 목적을 입력하고 이를 표시해주는 요소를 포함할 수 있다.
또한, 인터페이스 객체(100)는 사용자(10)가 복수의 상대방과 동시에 연결된 경우 이를 물리적 공간(200) 상에 효율적으로 표시하기 위한 요소를 포함할 수 있다.
예를 들어, 도 5와 같이 홀로그래픽을 이용하여 직접 3차원의 객체를 생성하고 멀리 떨어져 있더라도 한 공간에서 대화를 할 수 있도록 한다. 또한 다수의 상대방이 존재하는 경우에는 도 6과 같은 레이어 구조로 깊이를 달리하는 연결 객체들을 생성하고 이를 선택할 수 있는 사용자(10) 인터페이스를 제공해 주는 것도 가능하다.
다음, 설명한 가상의 사용자 인터페이스 객체(100)를 통하여 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는다(S300)
즉, 입력 받는 단계(S300)는 HMD장치(15)의 센서로부터 물리적 공간(200)에 대한 속성 정보, 사용자(10) 행동 인식 정보 등을 수신하고 이를 통해 인터페이스 명령을 입력 받거나, 인터페이스 객체(100)에 대한 기타 명령을 입력 받는다.
인터페이스를 통한 명령의 입력은 도 2와 같이 버튼을 누르는 행위, 도 4와 같이 손가락 모양 등을 통해 인식할 수 있다. 인터페이스 객체(100)에 대한 기타 명령은 도 6과 같이 연결 객체를 이동하거나 확대 축소하는 변경 등의 명령으로 사용자(10)의 행동인식을 통해 인식할 수 있다.
도 8은 본 발명의 일실시예에 따른 사용자(10)간 통신을 위한 가상의 사용자 인터페이스 객체(100)의 처리 방법 및 이를 수행하는 시스템을 나타내는 개념도다.
도 8을 참조하면 본 실시예에 따른 시스템은 혼합 현실을 생성하기 위한 혼합 현실 처리부(310)와 인터페이스 객체(100)를 생성하는 인터페이스 객체 생성부(320)로 구성되는 HMD장치(15)와, 네트워크(400) 및 네트워크(400)를 통해 각종 서버(500) 및 기타 사용자(20) 들로 구성될 수 있다.
혼합 현실 처리부(310)의 혼합 현실 생성부(312)는 센서부(314)에서 인식된 이미지 정보, 거리 정보, 기타 환경 정보를 활용하여 물리적 공간(200)에 적합한 가상 현실을 생성하고 이를 결합하여 혼합 현실을 생성한다.
센서부(314)는 시선 추적 센서를 포함하여 사용자(10)의 시선을 인식하며, 광학 센서를 통하여 시야 밖에서의 행동이나 객체의 움직임 등을 인식할 수 있다. 깊이 카메라, 가시광 카메라, 적외선 카메라 등을 통하여 현실 세계의 객체들의 깊이나 조도 정보 등을 인식할 수 있다. 기타 가상 현실의 몰입도를 증가시키기 위한 각종 센서들을 포함할 수 있다.
인터페이스 객체 생성부(320)는 가상의 공간 내에서 사용자(10)간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체(100)를 생성한다.
인터페이스 객체 생성부(320)는 표시부(322), 프로세서(324), 메모리(326), 및 저장부(328)를 포함하며 저장부(328)는 사용자 인터페이스 처리 프로그램(330)을 저장하여 프로세서(324)를 통해 수행될 수 있도록 한다.
즉, 인터페이스 객체 생성부(320)는 저장부(328)에 저장된 사용자 인터페이스 처리 프로그램(330)의 명령 및 명령의 수행에 필요한 데이터를 메모리(326)에 로딩하고 프로세서(324)는 이를 실행하여 인터페이스 객체(100)를 생성한다. 생성된 인터페이스 객체(100)는 표시부(322)를 통해 표시될 수 있다.
메모리(326) 또는 저장부(328)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
추가적으로 본 실시예에 따른 시스템은 통신 모듈을 더 포함하며, 유/무선 통신 시스템을 통해 네트워크(400)에 접속하여 다른 사용자(20) 또는 서버(500)와 장치를 연결할 수 있다.
일례로, 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 또다른 예로, 유선 인터넷 기술로는 XDSL(Digital Subscriber Line), FTTH(Fibers to the home), PLC(Power Line Communication) 등이 이용될 수 있다.
또한, 통신 모듈은 근거리 통신 모듈을 포함하여, 근거리 통신 모듈을 포함한 전자 장치와 데이터를 송수신할 수 있다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
이상, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 소프트웨어 코드는 기록 매체로서 메모리에 저장되고, 제어부에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (19)
- 사용자의 물리적 공간 정보를 수신하는 단계;
가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및
상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함하고,
상기 생성하는 단계는 상기 사용자의 초점에 대한 물리적 공간의 깊이 정보를 고려하여 상기 가상의 사용자 인터페이스 객체의 표시 깊이를 결정하고,
상기 깊이 정보에 대응되는 주변 물리적 객체의 특징을 이용하여 표시 형식을 결정하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 상기 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 가상의 사용자 인터페이스 객체는 상기 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 상기 접속 요청자가 입력한 상기 컨텍스트 정보를 상기 접속 수신자에게 표시하기 위한 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 생성하는 단계는 상기 접속 요청자와 상기 접속 수신자 간의 성립된 연결을 상기 물리적 공간 정보를 이용하여 연결 객체로 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 5 항에 있어서,
상기 생성하는 단계는 상기 연결 객체를 상기 물리적 공간 정보의 상기 물리적 객체의 정보 및 연결 상대방의 설정 정보를 이용하여 홀로그래픽 객체로 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 5 항에 있어서,
상기 생성하는 단계는 복수의 성립된 연결에 대하여 각 연결 별로 생성된 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 입력 받는 단계는,
상기 사용자의 행동 인식을 통해 상기 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 생성하는 단계는 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경을 반영하여 이동시키는 단계를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 제 1 항에 있어서,
상기 통신을 위한 명령은 접속 요청 명령, 접속 승인/거부 명령, 및 음성 /영상 정보 입력 명령 중 적어도 하나인 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 - 프로세서와 메모리를 참조하는 표시부;
사용자의 물리적 공간 정보를 획득하기 위한 센서부; 및
상기 메모리의 일부를 사용하여 상기 프로세서에서 처리되는 사용자 인터페이스 처리 프로그램을 포함하고,
상기 프로그램은 가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및
상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함하고,
상기 생성하는 단계는 상기 사용자의 초점에 대한 물리적 공간의 깊이 정보를 고려하여 상기 가상의 사용자 인터페이스 객체의 표시 깊이를 결정하고,
상기 깊이 정보에 대응되는 주변 물리적 객체의 특징을 이용하여 표시 형식을 결정하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 11 항에 있어서,
상기 가상의 사용자 인터페이스 객체는 상기 물리적 공간 정보에 포함된 상기 물리적 객체를 기반으로 크기 또는 위치를 포함하는 표시 형식이 결정되는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 11 항에 있어서,
상기 가상의 사용자 인터페이스 객체는 접속 요청자의 적어도 하나의 통신 연결 수단에 대한 선택을 위한 인터페이스 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 11 항에 있어서,
상기 가상의 사용자 인터페이스 객체는 접속 요청자의 접속 요청 목적을 정의하는 컨텍스트 정보의 입력을 위한 요소 또는 접속 요청자가 입력한 상기 컨텍스트 정보를 접속 수신자에게 표시하기 위한 요소를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 11 항에 있어서,
상기 프로그램은 접속 요청자와 접속 수신자 간의 성립된 복수의 연결을 상기 물리적 공간 정보를 이용하여 각 연결 별 연결 객체로 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 15 항에 있어서,
상기 프로그램은 복수의 상기 연결 객체를 상기 물리적 공간 정보를 이용하여 깊이를 달리 하여 생성하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 11 항에 있어서,
상기 프로그램은 상기 사용자의 행동 인식을 통해 접속 요청 명령 또는 접속 승인 명령을 입력 받는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 제 11 항에 있어서,
상기 프로그램은 상기 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보 내에서 상기 물리적 객체의 변경을 반영하여 이동시키는 단계를 포함하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 시스템 - 컴퓨터 판독 가능한 비휘발성 기록 매체에 저장되며,
사용자의 물리적 공간 정보를 수신하는 단계;
가상의 공간 내에서 사용자간 통신을 위한 명령을 입력 받는 가상의 사용자 인터페이스 객체를 상기 물리적 공간 정보를 이용하여 생성하는 단계; 및
상기 가상의 사용자 인터페이스 객체를 통한 접속 요청자의 접속 요청 명령 또는 접속 수신자의 접속 승인 명령을 입력 받는 단계를 포함하고,
상기 생성하는 단계는 상기 사용자의 초점에 대한 물리적 공간의 깊이 정보를 고려하여 상기 가상의 사용자 인터페이스 객체의 표시 깊이를 결정하고,
상기 깊이 정보에 대응되는 주변 물리적 객체의 특징을 이용하여 표시 형식을 결정하는 것을 특징으로 하는 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법을 실행시키기 위한 프로그램
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160133027A KR101896982B1 (ko) | 2016-10-13 | 2016-10-13 | 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 |
| PCT/KR2016/013980 WO2018070604A1 (ko) | 2016-10-13 | 2016-11-30 | 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160133027A KR101896982B1 (ko) | 2016-10-13 | 2016-10-13 | 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180041000A KR20180041000A (ko) | 2018-04-23 |
| KR101896982B1 true KR101896982B1 (ko) | 2018-09-10 |
Family
ID=61905690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160133027A KR101896982B1 (ko) | 2016-10-13 | 2016-10-13 | 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101896982B1 (ko) |
| WO (1) | WO2018070604A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021133053A1 (ko) * | 2019-12-26 | 2021-07-01 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130339864A1 (en) * | 2012-06-15 | 2013-12-19 | Nokia Corporation | Method and apparatus for providing mixed-reality connectivity assistance |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273368A (zh) * | 2005-08-29 | 2008-09-24 | 埃韦里克斯技术股份有限公司 | 经由移动图像识别的交互 |
| KR100906577B1 (ko) * | 2007-12-11 | 2009-07-10 | 한국전자통신연구원 | 혼합현실용 콘텐츠 재생 시스템 및 방법 |
| KR101306288B1 (ko) * | 2010-09-30 | 2013-09-09 | 주식회사 팬택 | 가상 객체를 이용한 증강 현실 제공 장치 및 방법 |
| US9165381B2 (en) * | 2012-05-31 | 2015-10-20 | Microsoft Technology Licensing, Llc | Augmented books in a mixed reality environment |
-
2016
- 2016-10-13 KR KR1020160133027A patent/KR101896982B1/ko active IP Right Grant
- 2016-11-30 WO PCT/KR2016/013980 patent/WO2018070604A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130339864A1 (en) * | 2012-06-15 | 2013-12-19 | Nokia Corporation | Method and apparatus for providing mixed-reality connectivity assistance |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021133053A1 (ko) * | 2019-12-26 | 2021-07-01 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180041000A (ko) | 2018-04-23 |
| WO2018070604A1 (ko) | 2018-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104871214B (zh) | 用于具扩增实境能力的装置的用户接口 | |
| EP3038333A1 (en) | Mobile terminal and method of controlling therefor | |
| JP6428268B2 (ja) | 画像表示装置及び画像表示方法、並びに画像表示システム | |
| CN115412720A (zh) | 混合2d/3d内容的检测和显示 | |
| EP3676745B1 (en) | Privacy screen for computer simulated reality | |
| KR20160087268A (ko) | 이동 단말기 및 이의 제어방법 | |
| US10158749B2 (en) | Method by which portable device displays information through wearable device, and device therefor | |
| WO2014119862A1 (ko) | 채팅 영역에 대한 보안 기능을 활성화하는 방법 및 디바이스 | |
| US20240094865A1 (en) | Selecting items displayed by a head-worn display device | |
| US20220291808A1 (en) | Integrating Artificial Reality and Other Computing Devices | |
| CN112835445A (zh) | 虚拟现实场景中的交互方法、装置及*** | |
| WO2022140113A1 (en) | Conversation interface on an eyewear device | |
| US20220374131A1 (en) | Touchpad navigation for augmented reality display device | |
| KR101896982B1 (ko) | 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템 | |
| US20180095605A1 (en) | Generating a Mixed reality Interface to Expose Object Functionality | |
| US20240032121A1 (en) | Secure peer-to-peer connections between mobile devices | |
| US11880542B2 (en) | Touchpad input for augmented reality display device | |
| KR20200000636A (ko) | 사용자 단말의 가상의 이미지 표시 방법 및 이를 수행하는 사용자 단말 | |
| US11341729B2 (en) | Method and electronic device for correcting external reality pixels and virtual content pixels within an augmented reality environment | |
| US9979808B2 (en) | Mobile terminal and controlling method thereof | |
| KR20150105131A (ko) | 증강현실 제어 시스템 및 제어 방법 | |
| US10262278B2 (en) | Systems and methods for identification and interaction with electronic devices using an augmented reality device | |
| KR20150146297A (ko) | 이동 단말기 및 그 제어 방법 | |
| KR20180097031A (ko) | 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템 | |
| US12001024B2 (en) | Energy-efficient adaptive 3D sensing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |