KR20110136035A - 실제현실 적응형 증강현실 장치 - Google Patents
실제현실 적응형 증강현실 장치 Download PDFInfo
- Publication number
- KR20110136035A KR20110136035A KR1020100055793A KR20100055793A KR20110136035A KR 20110136035 A KR20110136035 A KR 20110136035A KR 1020100055793 A KR1020100055793 A KR 1020100055793A KR 20100055793 A KR20100055793 A KR 20100055793A KR 20110136035 A KR20110136035 A KR 20110136035A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- reality
- virtual reality
- saturation value
- color
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 실제현실 적응형 증강현실 장치에 관한 것으로, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부를 구비한다.
Description
본 발명은 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 증강현실 장치를 제공하는 것이다.
디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
한편 상기 실제현실 데이터에 표시하는 가상현실 데이터의 색상/채도가 항상 일정한 경우, 상기 실제현실 데이터의 색상/채도가 상기 가상현실 데이터의 색상/채도와 유사하면 상기 실제현실 데이터 상에 상기 가상현실 데이터가 명확하게 표시되지 않을 수 있다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하고, 상기 객체에 표시할 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)을 확인한 후, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하여 가상현실 데이터를 구성하는 증강현실 장치를 제공하는 것이다.
본 발명에 따른 실제현실 적응형 증강현실 장치는, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부를 구비한다.
본 발명에 따르면, 상기 실제현실 적응형 증강현실 장치의 실제현실 확인부는, 상기 실제현실 데이터의 색상/채도 값을 추출하여 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는 상기 실제현실 데이터 상의 광원 위치를 추적하여 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는 상기 실제현실 데이터가 촬영된 시간과 장소를 확인하여 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
본 발명에 따르면, 상기 실제현실 적응형 증강현실 장치의 가상현실 구성부는, 상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링할 수 있다.
본 발명에 따르면, 가상현실 데이터가 표시될 실제현실 데이터가 입력되는 시간과 장소 또는 광원의 위치와 광량에 상관 없이 상기 가상현실 데이터가 상기 실제현실 데이터와 명확하게 구별되도록 출력하는 이점이 있다.
도 1은 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
도 6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
도 5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
도 6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 말미에 "(숫자)"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 장치(100) 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 증강현실 장치(100) 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체(또는 실제현실 데이터 상의 가상현실 데이터 표시 위치)를 결정하는 기능 및 상기 실제현실 데이터 상의 객체(또는 위치)에 상기 획득된 가상현실 데이터를 표시하여 출력하는 기능을 적어도 하나 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다.
예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성될 수 있다. 상기 실제현실 데이터 상에 상기 가상현실 데이터를 표시할 객체(또는 위치)는 마커/마커리스 방식 중 어느 하나를 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도를 판독하여 결정될 수 있다. 상기 결정된 실제현실 데이터 상의 객체(또는 위치)에 상기 가상현실 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하거나, 실제현실 계층(Layer)와 하나 이상의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 상기 가상현실 계층에 각각의 가상현실 데이터를 상기 결정된 객체(또는 위치)와 매칭하여 출력할 수 있으며, 상기 실제현실 데이터가 투명 디스플레이인 경우 상기 투명 디스플레이에는 상기 결정된 객체(또는 위치)와 매칭하여 가상현실 데이터만 출력할 수 있다.
또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.
예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135) 및 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(130)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(120)를 더 구비하고, 가상현실 데이터가 표시될 실제현실 데이터 상의 객체(또는 위치)를 결정하는 방식에 따라 센서부(125)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.
상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 출력부(110)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
상기 카메라부(130)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(130)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 상기 센서부(125)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(125)의 기능을 수행할 수 있다.
예를들어, 상기 카메라부(130)와 센서부(125)가 연동하는 경우, 상기 카메라부(130)는 상기 센서부(125)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(130)와 센서부(125)의 시선 방향이 일치되도록 설정된다.
또는, 상기 카메라부(130)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(125)의 기능을 수행할 수 있다.
상기 통신부(120)는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
상기 센서부(125)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(125)는 상기 카메라부(130)와 통합될 수 있다.
상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(110)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(130) 또는 센서부(125)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(140)와, 상기 실제현실 데이터로부터 가상현실 데이터를 출력할 객체를 인식하는 객체 인식부(145)와, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부(150)를 구비한다.
상기 실제현실 입력부(140)는 상기 카메라부(130)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(135)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부(120)를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 출력부(110)를 통해 출력되거나 또는 상기 증강현실 출력부(180)로 전달된다.
상기 실제현실 데이터가 입력되면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 가상현실 데이터를 출력할 하나 이상의 객체(또는 위치)를 인식한다.
본 발명의 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터에 포함된 객체를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 객체 인식부(145)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체를 인식할 수 있다.
여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 객체가 무엇인지 판별할 수 있도록 미리 정의된 객체들의 기하학 구조와 분포 패턴을 포함한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 객체 인식부(145)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다.
한편, 상기 실제현실 데이터가 카메라부(130)를 통해 실시간 입력되는 경우, 상기 객체 인식부(145)는 상기 센서부(125)와 카메라부(130)의 시선 방향을 일치시킨 후, 상기 카메라부(130)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(125)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상현실 데이터를 출력할 객체(또는 위치)로 인식할 수 있다.
또는, 상기 실제현실 데이터가 상기 메모리부(135)에 저장되거나 또는 통신부(120)를 통해 수신되고 상기 실제현실 데이터에 상기 객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 객체 인식부(145)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상현실 데이터를 출력할 객체(또는 위치)를 인식할 수 있다.
상기 객체 인식부(145)를 통해 상기 실제현실 데이터 상의 객체가 인식되면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터에 대한 상기 객체 주변의 색상/채도 값(1)을 확인한다.
본 발명의 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 <수학식>과 같은 색상/채도 산출 행렬식을 통해 상기 실제현실 데이터에 대한 색상/채도 값을 추출한 후, 상기 객체 인식부(145)를 통해 인식된 객체 주변의 픽셀에 대한 색상/채도 값(1)을 확인할 수 있다.
<수학식>
여기서, x, y는 실제현실 데이터 상의 픽셀 좌표 값이고, 상기 Y’(1, y)는 픽셀 좌표 (1, y)에 대한 색상 값이고, U(1, y), V(1, y)는 픽셀 좌표 (1, y)에 대한 채도 값이다. 상기와 같이 실제현실 데이터의 색상/채도 값을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 가장 직관적으로 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 상기 실제현실 데이터가 동영상인 경우에 각 프레임 별로 상기 <수학식>을 계산해야 한다.
본 발명의 다른 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터 상의 광원 위치를 추적하고, 상기 광원 위치와 광량을 기반으로 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 상기와 같이 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 상기 객체가 검출된 시점에 <수학식>을 한번 계산한 후 상기 객체가 상기 광원의 영향 범위에 존재하는 동안 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 상기 실제현실 데이터의 색상/채도 값을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식보다 객체 주변의 색상/채도 값(1)이 부정확해질 수 있다.
예를들어, 상기 실제현실 확인부(150)는 상기 <수학식>을 통해 추출된 실제현실 데이터의 색상/채도 값을 판독하여 특정 색상/채도에 대한 그라데이션(Gradation) 효과가 발생하는 필셀 영역을 확인하고, 상기 그라데이션 방향을 기반으로 상기 실제현실 데이터 상의 광원 위치를 추적할 수 있다. 상기 광원의 위치가 추적되면, 상기 그라데이션의 가장 밝은 부분의 명암을 기반으로 상기 광원의 광량을 산출하고, 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 실제현실 확인부(150)는 상기 실제현실 데이터가 촬영된 시간과 장소를 확인한 후, 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 상기와 같이 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하는 방식은 상기 실제현실 데이터로부터 색상/채도 값을 추출하지 않고도 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있으나, 정확성이 다소 떨어질 수 있다.
예를들어, 상기 실제현실 데이터가 상기 카메라를 통해 실시간 입력되는 경우, 상기 실제현실 확인부(150)는 상기 실제현실 데이터가 입력되는 시점의 시간이 야간인지 주간인지, 상기 실제현실 데이터가 입력되는 장소가 실내인지 실외인지 확인하고, 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다. 만약 상기 실제현실 데이터가 상기 메모리부(135)에 저장되어 있거나, 또는 통신부(120)를 통해 수신되는 경우라도 메타 정보 형태로 상기 실제현실 데이터가 촬영된 시점의 시간과 장소가 포함되어 있다면, 상기 실제현실 확인부(150)는 상기 시간과 장소를 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인할 수 있다.
도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(155)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가상현실 데이터를 입력하는 가상현실 입력부(160)와, 상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부(165)와, 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부(170)와, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부(175)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(110)를 통해 출력하는 증강현실 출력부(180)를 구비한다.
상기 가상현실 결정부(155)는 상기 실제현실 데이터로부터 검출된 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가상현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(155)는 상기 고정된 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 객체가 마커를 통해 인식된 경우, 상기 가상현실 결정부(155)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상현실 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상현실 결정부(155)는 상기 객체 인식부(145)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 결정부(155)는 상기 객체 인식부(145)를 통해 인식된 객체의 모양/형태/색상/구조를 판독하여 상기 객체에 표시할 가상현실 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상현실 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 객체 인식부(145)를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
한편, 상기 실제현실 데이터가 메모리부(135)에 저장되어 있거나 또는 통신부(120)를 통해 수신되고 상기 실제현실 데이터에 상기 객체 인식부(145)를 통해 인식된 객체(또는 위치)에 표시할 가상현실 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상현실 결정부(155)는 상기 메타 데이터를 참조하여 상기 객체(또는 위치)에 표시할 가상현실 데이터를 결정할 수 있다.
상기 가상현실 입력부(160)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(155)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
본 발명의 일 실시 방법에 따르면, 상기 메모리부(135)에 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 저장된 경우, 상기 가상현실 입력부(160)는 상기 메모리부(135)로부터 폴리곤 데이터와 텍스쳐 데이터를 추출한다.
상기 폴리곤 데이터와 텍스쳐 데이터가 추출되면, 상기 가상현실 확인부(165)는 상기 추출된 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정부(170)는 상기 객체 주변의 색상/채도 값(1)을 기준으로 상기 텍스쳐 데이터의 색상/채도 값(2)의 대비가 증가하도록 색상/채도를 보정하고, 가상현실 구성부(175)는 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한다.
상기 가상현실 구성부는 상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링할 수 있다.
여기서, 상기 가상현실 보정부(170)가 상기 식생/채도의 대비를 증가시키는 방식은, 상기 색상/채도 값(1)의 명암을 고정한 상태에서 상기 색상/채도 값(1)과 명암 대비가 증가하도록 색상/채도 값(2)의 명암을 보정하거나, 또는 상기 색상/채도 값(1)의 색상을 고정한 상태에서 상기 색상/채도 값(2)의 색상을 색상/채도 값(1)과 보색관계의 색상으로 쉬프트(Shift) 시켜 보정할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 통신망을 통해 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 수신되는 경우, 상기 가상현실 입력부(160)는 상기 폴리곤 데이터와 텍스쳐 데이터를 요청하는 가상현실 요청 정보를 구성하여 통신망 상의 증강현실 운영 서버(200)로 전송하고, 기 증강현실 운영 서버(200)로부터 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 수신한다.
여기서, 상기 가상현실 요청 정보는 상기 결정된 가상현실 데이터에 대응하는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
상기 폴리곤 데이터와 텍스쳐 데이터가 수신되면, 상기 가상현실 확인부(165)는 상기 추출된 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정부(170)는 상기 객체 주변의 색상/채도 값(1)을 기준으로 상기 텍스쳐 데이터의 색상/채도 값(2)의 대비가 증가하도록 색상/채도를 보정하고, 가상현실 구성부(175)는 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 통신망을 통해 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터에 텍스쳐 데이터가 매핑/렌더링된 가상현실 데이터가 수신되는 경우, 상기 가상현실 입력부(160)는 상기 폴리곤 데이터에 텍스쳐 데이터가 매핑/렌더링된 가상현실 데이터를 요청하는 가상현실 요청 정보를 구성하여 통신망 상의 증강현실 운영 서버(200)로 전송하고, 상기 증강현실 운영 서버(200)로부터 가상현실 요청 정보에 대응하는 가상현실 데이터를 수신한다.
여기서, 상기 가상현실 요청 정보는 상기 결정된 가상현실 데이터에 대응하는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 상기 태그, 키워드, 문자열을 포함하거나 또는 상기 주소, 데이터식별코드를 포함할 수 있으며, 상기 실제현실 확인부(150)에 의해 확인된 상기 객체 주변의 색상/채도 값(1)을 더 포함한다.
또는, 상기 가상현실 요청 정보는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터를 더 포함할 수 있다.
상기 색상/채도 값(1) 또는 실제현실 데이터를 포함하는 가상현실 요청 정보에 통해 상기 증강현실 운영 서버(200)로부터 수신되는 가상현실 데이터는 상기 증강현실 운영 서버(200)에서 상기 텍스쳐 데이터의 색상/채도 값(2)은 상기 객체 주변의 색상/채도 값(1)을 기준으로 대비가 증가하도록 보정된 색상/채도를 포함하여 폴리곤 데이터에 매핑/렌더링된 가상현실 데이터를 포함한다.
상기 텍스쳐 데이터의 색상/채도 값(2)은 상기 객체 주변의 색상/채도 값(1)을 기준으로 대비가 증가하도록 보정된 색상/채도를 포함하는 가상현실 데이터가 구성되면, 상기 증강현실 출력부(180)는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체(또는 위치)에 상기 가상현실 입력부(160)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(110)를 통해 출력한다.
본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(110)를 통해 출력할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(180)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(110)를 통해 출력할 수 있다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(110)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(180)는 상기 객체 인식부(145)를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
도면2는 본 발명의 실시 방법에 따른 실제현실 적응형 증강현실 시스템 구성을 도시한 도면이다.
보다 상세하게 본 도면2는 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 처리하는 시스템 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 시스템 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 도면2는 편의상 상기 증강현실 시스템을 구성하는 각각의 수단을 증강현실 운영 서버(200)에 구비되는 구성요소 형태로 구성하여 상기 증강현실 운영 서버(200) 내에 도시하였으나, 상기 수단들이 증강현실 운영 서버(200)의 구성요소로 한정되는 것은 결코 아니며, 당업자의 의도에 따라 각 수단이 별도의 서버 형태로 구현되거나, 또는 두개 이상의 수단이 조합되어 서버 형태로 구현되거나, 일부 수단은 서버 형태로 구현되고 나머지 수단은 증강현실 운영 서버(200)의 구성요소 형태로 구현되는 것이 모두 가능하며, 상기 수단들의 구현 방식에 의해 본 발명이 한정되지 아니함을 명백하게 밝혀두는 바이다.
본 발명에 따르면, 상기 증강현실 시스템은, 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체(또는 실제현실 데이터 상의 가상현실 데이터 표시 위치)를 결정하는 기능 및 상기 실제현실 데이터 상의 객체(또는 위치)에 상기 획득된 가상현실 데이터를 표시하여 출력하는 기능을 구비한 증강현실 장치(100)와, 상기 증강현실 장치(100)와 통신 연결되어 상기 증강현실 장치(100)로 가상현실 데이터를 전송하되, 상기 가상현실 데이터의 색상/채도가 상기 실제현실 데이터 상의 객체 주변 색상/채도와 대비가 증가하도록 처리하는 증강현실 운영 서버(200)를 포함하여 이루어진다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)가 상기 실제현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하여 획득하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 실제현실 데이터를 저장하는 실제현실 D/B(270)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 실제현실 데이터는 실제 세계를 카메라를 통해 촬영한 이미지 파일 또는 동영상 파일을 포함한다.
본 발명의 실시 방법에 따르면, 상기 실제현실 데이터는 해당 실제현실 데이터를 설명하는 태그, 키워드, 문자열을 포함하는 실제현실 메타 정보와 연계되어 상기 실제현실 D/B(270)에 저장될 수 있다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는 상기 증강현실 장치(100)가 가상현실 데이터를 상기 증강현실 운영 서버(200)로부터 수신하여 획득하는 경우, 상기 증강현실 장치(100)로 제공할 하나 이상의 가상현실 데이터를 저장하는 가상현실 D/B(275)를 구비하거나, 또는 통신 연결하여 운영한다.
상기 가상현실 데이터는 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터의 조합으로 구성되며, 결합 가능한 폴리곤 데이터와 텍스쳐 데이터를 포함하고 상기 폴리곤 데이터에 상기 텍스쳐 데이터를 매핑하여 렌더링하기는 매핑/렌더링 정보를 포함하는 데이터 파일, 결합 가능한 폴리곤 데이터와 텍스쳐 데이터를 포함하고 상기 매핑/렌더링 정보는 상기 증강현실 장치(100)에서 동적으로 결정되도록 설정된 데이터 파일 중 적어도 하나를 포함한다.
본 발명의 실시 방법에 따르면, 상기 가상현실 데이터는 해당 가상현실 데이터를 식별하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(275)에 저장될 수 있으며, 상기 가상현실 메타 정보는 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함하는 가상현실 메타 정보와 연계되어 상기 가상현실 D/B(275)에 저장될 수 있다.
본 발명의 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터로부터 인식된 마커 정보를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 마커 정보와 매칭되는 마커 정보를 포함하거나, 또는 상기 수신되는 마커 정보를 판별하는 태그, 키워드, 문자열을 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터로부터 인식된 객체 정보를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 객체 정보와 매칭되는 객체 정보를 포함하거나, 상기 수신되는 객체 정보를 판별하는 태그, 키워드, 문자열을 포함할 수 있다.
여기서, 상기 객체 정보는 상기 증강현실 장치(100)에서 실제현실 데이터의 색상/채도를 판독하여 획득한 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보 중 적어도 하나를 포함하거나, 또는 상기 기하학 구조와 분포 패턴 중 적어도 하나를 통해 추정된 객체를 식별(또는 지정)하는 객체 식별 정보를 포함한다.
본 발명의 또다른 일 실시 방법에 따라 상기 증강현실 장치(100)에서 상기 가상현실 데이터를 요청하기 위해 실제현실 데이터를 전송하는 경우, 상기 가상현실 메타 정보는 상기 수신되는 실제현실 데이터를 판독하여 객체를 인식하는 객체 인식 정보를 포함하고, 상기 객체 인식 정보를 통해 인식된 객체에 대응하는 객체 정보를 더 포함하거나, 상기 인식된 객체를 판별하는 태그, 키워드, 문자열을 더 포함할 수 있다.
여기서, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 객체가 무엇인지 판별할 수 있도록 미리 정의된 객체들의 기하학 구조와 분포 패턴을 포함하며, 상기 실제현실 데이터로부터 획득되는 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 객체를 인식할 수 있게 된다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 실제현실 요청 정보를 수신하는 실제현실 요청 정보 수신수단(205)과, 상기 수신된 실제현실 데이터 요청 정보를 판독하거나 또는 상기 실제현실 D/B(270)에 저장된 실제현실 메타 정보와 상기 실제현실 데이터 요청 정보를 비교하여 상기 증강현실 장치(100)로 전송할 실제현실 데이터를 결정 및 추출하는 실제현실 데이터 추출수단(210)과, 상기 추출된 실제현실 데이터를 상기 증강현실 장치(100)로 전송하는 실제현실 데이터 전송수단(220)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 구비된 카메라를 통해 실제현실 데이터를 직접 획득하거나, 또는 상기 증강현실 장치(100)에 투명 디스플레이가 구비된 경우 상기 증강현실 장치(100)로 실제현실 데이터를 전송하는 상기 수단들은 생략 가능하다.
여기서, 상기 실제현실 요청 정보는 상기 실제현실 D/B(270)에 저장된 실제현실 데이터 중 어느 하나의 실제현실 데이터와 실제현실 메타 정보와 매칭되는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 실제현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
도면2를 참조하면, 상기 증강현실 운영 서버(200)는, 상기 증강현실 장치(100)로부터 가상현실 요청 정보를 수신하는 가상현실 요청 정보 수신수단(225)과, 상기 수신된 가상현실 데이터 요청 정보를 판독하거나 또는 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보와 상기 가상현실 데이터 요청 정보를 비교하여 상기 증강현실 장치(100)로 전송할 가상현실 데이터를 추출하는 가상현실 데이터 추출수단(230)과, 상기 추출된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하는 가상현실 데이터 전송수단(235)을 구비할 수 있다. 만약 상기 증강현실 장치(100)에 가상현실 데이터가 저장되어 있거나 또는 다른 서버로부터 가상현실 데이터를 수신하는 경우 상기 증강현실 장치(100)로 가상현실 데이터를 전송하는 상기 수단들은 생략 가능하다.
본 발명의 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 이를 설명하는 태그, 키워드, 문자열을 포함할 수 있으며, 실시 방법에 따라 특정 가상현실 데이터를 요청하는 주소, 데이터식별코드를 포함할 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 마커 정보, 객체 정보, 객체 인식 정보를 포함하거나, 또는 상기 태그, 키워드, 문자열을 포함하거나 또는 상기 주소, 데이터식별코드를 포함할 수 있으며, 상기 실제현실 확인부(150)에 의해 확인된 상기 객체 주변의 색상/채도 값(1)을 더 포함한다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 가상현실 요청 정보는 상기 증강현실 장치(100)에서 입력된 실제현실 데이터를 포함할 수 있다.
상기 가상현실 요청 정보 수신수단(225)을 통해 증강현실 장치(100)로부터 가상현실 요청 정보가 수신되면, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)로부터 상기 가상현실 요청 정보에 대응하는 가상현실 데이터를 추출한다.
본 발명의 일 실시 방법에 따라 상기 가상현실 요청 정보에 마커 정보가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 마커 정보(또는 상기 마커 정보를 판별하는 태그, 키워드, 문자열)와 상기 가상현실 요청 정보에 포함된 마커 정보를 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
본 발명의 다른 일 실시 방법에 따라 상기 가상현실 요청 정보에 객체 정보가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 정보(또는 상기 객체 정보를 판별하는 태그, 키워드, 문자열)와 상기 가상현실 요청 정보에 포함된 객체 정보를 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
본 발명의 또다른 일 실시 방법에 따라 상기 가상현실 요청 정보에 실제현실 데이터가 포함된 경우, 상기 가상현실 데이터 추출수단(230)은 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 인식 정보를 통해 상기 실제현실 데이터에 포함된 객체를 인식하고, 상기 실제현실 데이터로부터 인식된 객체 정보와 상기 가상현실 D/B(275)에 저장된 가상현실 메타 정보의 객체 정보(또는 상기 객체 정보를 판별하는 태그, 키워드, 문자열)을 비교하여 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출할 수 있다.
상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터가 추출되면, 상기 가상현실 데이터 전송수단(235)은 상기 추출된 폴리곤 데이터와 텍스쳐 데이터를 포함하는 가상현실 데이터를 상기 증강현실 장치(100)로 전송한다.
한편, 본 발명의 다른 실시 방식에 따라 상기 증강현실 운영 서버(200)에서 상기 추출된 폴리곤 데이터에 텍스쳐 데이터를 매핑/렌더링한 가상현실 데이터를 구성하는 경우, 상기 증강현실 운영 서버(200)는, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인수단(245)과, 상기 가상현실 요청 정보에 포함된 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정수단(260)과, 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성수단(265)을 구비하며, 상기 가상현실 요청 정보에 실제현실 데이터가 포함된 경우, 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 인식하고, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인수단(240)을 더 구비할 수 있다.
본 발명의 어느 일 실시 방법에 따라 상기 가상현실 요청 정보에 상기 증강현실 장치(100)로 입력된 실제현실 데이터가 포함되거나, 또는 상기 실제현실 D/B(270)에 저장된 실제현실 데이터 상에 가상현실 데이터를 표시하는 경우, 상기 실제현실 확인수단(240)은 상기 실제현실 데이터에 포함된 객체를 인식하고, 상기 객체 주변의 색상/채도 값(1)을 확인한다. 상기 실제현실 확인수단(240)이 상기 객체를 인식하는 구성은 상기 도면1의 객체 인식부(145) 구성을 참조하고, 상기 객체 주변의 색상/채도 값(1)을 확인하는 구성은 상기 도면1의 실제현실 확인부(150) 구성을 참조하기로 한다.
상기 실제현실 확인수단(240)을 통해 상기 객체 주변의 색상/채도 값(1)이 확인되거나, 또는 상기 가상현실 요청 정보를 통해 상기 색상/채도 값(1)이 포함되어 수신된 경우, 상기 가상현실 확인수단(245)은 상기 가상현실 데이터 추출수단(230)을 통해 가상현실 D/B(275)로부터 추출된 텍스쳐 데이터의 색상/채도 값(2)을 확인하고, 상기 가상현실 보정수단(260)은 상기 가상현실 요청 정보에 포함된 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고, 상기 가상현실 구성수단(265)은 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하며, 상기 가상현실 데이터 전송수단(235)은 상기 구성된 가상현실 데이터를 상기 증강현실 장치(100)로 전송한다.
도면3은 본 발명의 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
보다 상세하게 본 도면3은 시간과 장소를 기반으로 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링되는 텍스쳐 데이터의 색상/채도 값(2)를 보정한 것을 예시한 것이다.
도면3의 (a)는 텍스쳐 데이터의 색상/채도 값(2)를 보정하지 않고 가상현실 데이터를 구성한 경우를 예시한 것이고, 도면3의 (b)는 상기 실제현실 데이터가 입력되는 시간이 주간인 경우에 상기 도면3의 (a)에 예시된 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)를 상기 객체 주변의 색상/채도 값(1)과 대비가 증가하도록 보정한 것을 예시한 것이고, 도면3의 (c)는 상기 실제현실 데이터가 입력되는 시간이 야간인 경우에 상기 도면3의 (a)에 예시된 가상현실 데이터를 구성하는 텍스쳐 데이터의 색상/채도 값(2)를 상기 객체 주변의 색상/채도 값(1)과 대비가 증가하도록 보정한 것을 예시한 것이다.
도면4는 본 발명의 다른 일 실시 방법에 따른 가상현실 데이터를 보정하는 예시 도면이다.
보다 상세하게 본 도면4는 객체 주변의 색상/채도 값(1)과 텍스쳐 데이터의 색상/채도 값(2)의 색상을 기반으로 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링되는 텍스쳐 데이터의 색상/채도 값(2)를 보정한 것을 예시한 것이다.
도면4의 (a)는 텍스쳐 데이터의 색상/채도 값(2)를 보정하지 않고 가상현실 데이터를 구성한 경우를 예시한 것이고, 도면4의 (b)는 상기 텍스쳐 데이터의 색상/채도 값(2)을 상기 객체 주변의 색상/채도 값(1)과 보색 관계의 색상으로 쉬프트 시켜 보정한 것을 예시한 것이다.
도면5는 본 발명의 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
보다 상세하게 본 도면5는 상기 도면1에 도시된 증강현실 장치(100)에서 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 색상/채도 보정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면5를 참조하면, 증강현실 장치(100)는 실제현실 데이터가 입력되면(500), 상기 실제현실 데이터 상의 객체를 인식하고(505), 상기 인식된 객체 주변의 색상/채도 값(1)을 확인한다(510).
상기 객체 주변의 색상/채도 값(1)이 확인되면(515), 상기 증강현실 장치(100)는 상기 객체에 표시할 가상현실 데이터를 결정하고(520), 메모리부(135)로부터 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 추출하거나, 또는 상기 도면2에 도시된 증강현실 운영 서버(200)로 폴리곤 데이터와 텍스쳐 데이터를 요청하는 가상현실 요청 정보를 전송하여 상기 증강현실 운영 서버(200)로부터 상기 결정된 가상현실 데이터에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 수신한다(525).
상기 폴리곤 데이터와 텍스쳐 데이터가 추출(또는 수신)되면, 상기 증강현실 장치(100)는 상기 텍스쳐 데이터의 색상/채도 값(2)를 확인한다(530).
만약 상기 텍스쳐 데이터의 색상/채도 값(2)이 확인되면(530), 상기 증강현실 장치(100)는 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고(535), 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한 후(540), 상기 구성된 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 출력한다(545).
도면6은 본 발명의 다른 일 실시 방법에 따라 객체 주변의 색상/채도에 따라 가상현실 데이터의 색상/채도를 보정하는 과정을 도시한 도면이다.
보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)에서 상기 도면2에 도시된 증강현실 운영 서버(200)를 통해 실제현실 데이터 상의 객체 주변 색상/채도를 기준으로 상기 객체에 표시할 가상현실 데이터의 색상/채도의 대비가 증가하도록 구성하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 색상/채도 보정 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
예컨대, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조하여 상기 증강현실 장치(100)에서 실제현실 데이터를 상기 증강현실 운영 서버(200)로 전송하여 상기 가상현실 데이터의 색상/채도의 대비가 증가시키는 과정을 유추할 수 있을 것이며, 본 발명은 상기 유추 가능한 모든 실시 방법을 포함함을 명백하게 밝혀두는 바이다.
도면6을 참조하면, 증강현실 장치(100)는 실제현실 데이터가 입력되면(600), 상기 실제현실 데이터 상의 객체를 인식하고(605), 상기 인식된 객체 주변의 색상/채도 값(1)을 확인한다(610).
상기 객체 주변의 색상/채도 값(1)이 확인되면(615), 상기 증강현실 장치(100)는 상기 객체에 표시할 가상현실 데이터를 결정하고(620), 상기 확인된 객체 주변의 색상/채도 값(1)을 포함하는 가상현실 요청 정보를 상기 도면2에 도시된 증강현실 운영 서버(200)로 전송한다(625).
이후, 상기 증강현실 운영 서버(200)는 상기 가상현실 요청 정보에 대응하는 폴리곤 데이터와 텍스쳐 데이터를 확인하고(630), 상기 텍스쳐 데이터의 색상/채도 값(2)를 확인한다(635).
만약 상기 텍스쳐 데이터의 색상/채도 값(2)이 확인되면(640), 상기 증강현실 운영 서버(200)는 상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하고(645), 상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성한 후(650), 상기 구성된 가상현실 데이터를 상기 증강현실 장치(100)로 전송하며(655), 이에 대응하여 상기 증강현실 장치(100)는 상기 수신된 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 출력한다(660).
100 : 증강현실 장치 140 : 실제현실 입력부
145 : 객체 인식부 150 : 실제현실 확인부
155 : 가상현실 결정부 160 : 가상현실 입력부
165 : 가상현실 확인부 170 : 가상현실 보정부
175 : 가상현실 구성부 180 : 증강현실 출력부
145 : 객체 인식부 150 : 실제현실 확인부
155 : 가상현실 결정부 160 : 가상현실 입력부
165 : 가상현실 확인부 170 : 가상현실 보정부
175 : 가상현실 구성부 180 : 증강현실 출력부
Claims (3)
- 실제현실 데이터로부터 가상현실 데이터를 표시할 객체가 인식되면, 상기 인식된 객체 주변의 색상/채도 값(1)을 확인하는 실제현실 확인부;
상기 객체에 표시할 가상현실 데이터의 폴리곤 데이터에 매핑/렌더링할 텍스쳐 데이터를 확인하고, 상기 텍스쳐 데이터의 색상/채도 값(2)을 확인하는 가상현실 확인부;
상기 색상/채도 값(1)을 기준으로 상기 색상/채도 값(2)의 대비가 증가하도록 보정하는 가상현실 보정부;
상기 보정된 색상/채도 값(2)을 포함하는 텍스쳐 데이터를 상기 폴리곤 데이터에 매핑/렌더링하여 가상현실 데이터를 구성하는 가상현실 구성부;를 구비하여 이루어지는 것을 특징으로 하는 실제현실 적응형 증강현실 장치.
- 제 1항에 있어서, 상기 실제현실 확인부는,
상기 실제현실 데이터의 색상/채도 값을 추출하여 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는
상기 실제현실 데이터 상의 광원 위치를 추적하여 상기 광원의 위치와 광량을 기반으로 상기 객체 주변의 색상/채도 값(1)을 확인하거나, 또는
상기 실제현실 데이터가 촬영된 시간과 장소를 확인하여 상기 객체 주변의 색상/채도 값(1)을 확인하는 것을 특징으로 하는 실제현실 적응형 증강현실 장치.
- 제 1항에 있어서, 상기 가상현실 구성부는,
상기 객체 주변의 색상/채도 값(1)이 기 설정된 기준 색상/채도 값보다 어둡거나, 또는 상기 실제현실 데이터 상의 광량이 기 설정된 기준 광량보다 작거나, 또는 상기 실제현실이 야간에 야외에서 촬영된 경우, 상기 가상현실 데이터를 렌더링하는 광량을 상기 기준 광량보다 크게 설정하여 렌더링하는 것을 특징으로 하는 실제현실 적응형 증강현실 장치.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100055793A KR20110136035A (ko) | 2010-06-14 | 2010-06-14 | 실제현실 적응형 증강현실 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100055793A KR20110136035A (ko) | 2010-06-14 | 2010-06-14 | 실제현실 적응형 증강현실 장치 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170024290A Division KR101792250B1 (ko) | 2017-02-23 | 2017-02-23 | 실제현실 적응형 증강현실 제공 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20110136035A true KR20110136035A (ko) | 2011-12-21 |
Family
ID=45502733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100055793A KR20110136035A (ko) | 2010-06-14 | 2010-06-14 | 실제현실 적응형 증강현실 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20110136035A (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150084925A (ko) * | 2012-11-13 | 2015-07-22 | 퀄컴 인코포레이티드 | 증강 현실 디바이스들의 전력 성능을 증가시키기 위한 가상 물체 디스플레이 특성들의 수정 |
WO2016040153A1 (en) * | 2014-09-08 | 2016-03-17 | Intel Corporation | Environmentally mapped virtualization mechanism |
CN108596105A (zh) * | 2018-04-26 | 2018-09-28 | 李辰 | 增强现实书画*** |
KR20180136445A (ko) * | 2016-04-18 | 2018-12-24 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
-
2010
- 2010-06-14 KR KR1020100055793A patent/KR20110136035A/ko active Search and Examination
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150084925A (ko) * | 2012-11-13 | 2015-07-22 | 퀄컴 인코포레이티드 | 증강 현실 디바이스들의 전력 성능을 증가시키기 위한 가상 물체 디스플레이 특성들의 수정 |
WO2016040153A1 (en) * | 2014-09-08 | 2016-03-17 | Intel Corporation | Environmentally mapped virtualization mechanism |
KR20180136445A (ko) * | 2016-04-18 | 2018-12-24 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 및 프로그램 |
US10943409B2 (en) | 2016-04-18 | 2021-03-09 | Sony Corporation | Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers |
CN108596105A (zh) * | 2018-04-26 | 2018-09-28 | 李辰 | 增强现实书画*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050088542A1 (en) | System and method for displaying an image composition template | |
KR20110136038A (ko) | 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템 | |
CN109413399A (zh) | 使用深度图合成对象的装置及其方法 | |
WO2021068795A1 (zh) | 图像显示方法、图像识别方法、装置、介质、设备及*** | |
KR101619512B1 (ko) | 증강현실 장치 간 정보 공유 방법 | |
KR101638630B1 (ko) | 증강현실 데이터 최적화 방법 | |
KR101682705B1 (ko) | 알에프리더를 이용한 증강현실 제공 방법 | |
KR20110136035A (ko) | 실제현실 적응형 증강현실 장치 | |
KR101792250B1 (ko) | 실제현실 적응형 증강현실 제공 방법 | |
CN112073640B (zh) | 全景信息采集位姿获取方法及装置、*** | |
KR101692764B1 (ko) | 가상 점을 이용한 증강현실 제공 방법 | |
KR101680124B1 (ko) | 이종 플랫폼 간 증강현실 전달 방법 | |
EP3407297B1 (en) | Method and device for determining a characteristic of a display device | |
JP6341540B2 (ja) | 情報端末装置、方法及びプログラム | |
KR20120009639A (ko) | 사용자 조건을 이용한 선택적 가상객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체 | |
KR101679844B1 (ko) | 이종 플랫폼 간 증강현실 제공 방법 | |
CN115843375A (zh) | 徽标标注方法及装置、徽标检测模型更新方法及***、存储介质 | |
KR20210101571A (ko) | 이미지의 생성 방법 및 그 전자 장치 | |
KR101803532B1 (ko) | 증강현실 품질 제어 방법 | |
KR102117510B1 (ko) | 증강현실의 선택적 가상객체 표시 방법 | |
KR101168599B1 (ko) | 거리 구간 별 가상객체를 표시하는 장치 | |
KR20230051138A (ko) | 거리 센싱을 이용한 증강현실 제공 방법 | |
KR20170143476A (ko) | 사용자 조건을 이용한 증강현실의 선택적 가상객체 표시 방법 | |
KR20190122618A (ko) | 거리 차이를 이용한 증강현실 제공 방법 | |
KR20120026711A (ko) | 오디오 객체 출력 방법 및 이를 위한 증강현실 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
J301 | Trial decision |
Free format text: TRIAL NUMBER: 2017101000899; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20170223 Effective date: 20181211 |