KR101824501B1 - 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법 - Google Patents

Abstract

헤드 마운트 디스플레이 장치가, 좌안 및 우안 디스플레이들로 구성되는 디스플레이부와, 좌안 및 우안 생체감응센서들로 구성되며, 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화를 감지하며, 생체변화가 감지되는 위치의 좌표 값을 포함하는 인터럽트 신호를 발생하는 생체감응센서부와, 상기 디스플레이부에 좌안 및 우안 시청용 영상을 출력하며, 상기 인터럽트신호 발생시 수신되는 좌표값에 따라 해당 영상의 오프셋시켜 영상의 위치를 조절하는 제어부로 구성된다.

Description

헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법{DEVICE AND METHOD FOR CONTROLLING DISPLAY OF THE IMAGE IN THE HEAD MOUNTED DISPLAY}

본 발명은 영상 표시 장치 및 방법에 관한 것으로, 특히 헤드 마운트 표시 장치에서 영상의 표시를 제어하는 장치 및 방법에 관한 것이다.

종래의 HMD 장치는 안경처럼 유저의 눈에 접안 혹은 착용하며, 유 무선의 입력 인터페이스를 통해 외부로부터 입력되는 영상신호를 내부의 디스플레이 장치 혹은 소자를 통해 표시하는 장치이다. 상기 헤드 마운트 디스플레이 장치는 기존 영상 디스플레이 장치보다 현실감이 뛰어나지만, 비용 및 크기 인체 적합성 등의 문제들을 야기한다. 그러나 이런 문제점들을 극복하기 위한 많은 연구들이 진행되고 있으며, 향후 TV, 모니터의 대체 수요로 각광 받을 것으로 예상된다.

그러나 현재 사용되고 있는 HMD 디스플레이는 두 눈으로 사물을 보는 사람의 눈에 적합하지 않은 단안 방식이 대부분이다. 이로 인해, 좁은 시야로 답답함과 부자연스러움을 주는 문제점이 있다. 곧 이미지를 구성하는 모든 점들에서, 모든 파장이 왜곡없이 시야에 전달되는 것은 단일 광 채널 방식에는 어려움이 있다.

본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는 양안형 디스플레이를 구현하고, 상기 양안형 디스플레이 구현시 사용자의 양안에 최적화된 이미지를 표시하도록 하는 장치 및 방법을 제안한다.

본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치는, 좌안 및 우안 디스플레이들로 구성되는 디스플레이부와, 좌안 및 우안 생체감응센서들로 구성되며, 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화를 감지하며, 생체변화가 감지되는 위치의 좌표 값을 포함하는 인터럽트 신호를 발생하는 생체감응센서부와, 상기 디스플레이부에 좌안 및 우안 시청용 영상을 출력하며, 상기 인터럽트신호 발생시 수신되는 좌표값에 따라 해당 영상의 오프셋시켜 영상의 위치를 조절하는 제어부로 구성된 것을 특징으로 한다.

여기서 상기 생체감응센서부가 광학피드백부를 더 구비하며, 상기 광학피드백부는, 사용자의 명령에 따라 영상 위치를 조절하기 위한 데이터를 발생하며, 피드백되는 데이타에 의해 오프셋 위치를 결정하는 컨트롤러와, 상기 위치조절데이타를 구동신호로 변환하고, 피드백신호를 디지털 피드백 데이터로 변환하는 변환기와, 상기 구동신호에 의해 디스플레이의 광축을 물리적으로 이동시키며, 이동시킨 거리를 상기 변환기에 피드백하는 액츄에이터로 구성되며, 상기 컨트롤러는 피드백 결과에 따라 이동된 광축의 오프셋 값을 포함하는 인터럽트신호를 상기 제어부에 전송하는 것을 특징으로 한다.

그리고 상기 제어부는 원안 이미지를 좌안용 제1영상과 우안용 제2영상으로 구분하여 상기 디스플레이부에 전송할 수 있다. 또한 상기 헤드마운트 디스플레이 장치는 광학부자재를 더 구비하며, 상기 제어부는 원안 이미지를 전송하며, 상기 광학부자재가 상기 원안 이미지를 편광시켜 상기 제1영상 및 제2영상을 발생하여 상기 디스플레이부에 전달할 수 있다.

그리고 상기 헤드마운트 디스플레이 장치는 카메라모듈부를 더 구비하며, 상기 카메라모듈부는 좌안용 카메라 모듈 및 우안용 카메라 모듈을 구비하여 피사체로부터 상기 제1 및 제2영상을 획득할 수 있다. 상기 헤드마운트 디스플레이 장치는 통신부를 더 구비하며, 상기 통신부는 외부 통신환경과 무선 인터페이스 기능으로 영상데이타를 수신하여 상기 제어부 전달한다. 상기 헤드마운트 디스플레이 장치는 외부 인터페이스부를 더 구비하며, 상기 외부 인터페이스부는 외부장치와 근거리 통신 인터페이스 기능으로 영상데이타를 수신하여 상기 제어부 전달한다.

또한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 영상 표시 방법은, 표시할 영상을 제1영상 및 제2영상으로 구분하여 좌안 및 우안용 디스플레이들을 통해 각각 표시하는 과정과, 좌안 및 우안 생체감응 센서들을 통해 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화를 감지하는 과정과, 상기 생체변화 감지시 생체변화가 감지된 위치의 좌표 값을 포함하는 인터럽트 신호를 발생하는 과정과, 상기 인터럽트신호 발생시 수신되는 좌표값에 따라 해당 영상의 오프셋시켜 영상의 위치를 조절한 후, 상기 조절된 영상을 각각 디스플레이를 통해 표시하는 과정으로 이루어짐을 특징으로 한다.

여기서 상기 좌안 및 우안 영상을 표시하는 과정은 원안 이미지를 좌안용 제1영상과 우안용 제2영상으로 구분하여 상기 디스플레이부에 전송하여 표시한다. 또한 헤드 마운트 디스플레이 장치의 영상 표시 방법은 좌안용 카메라 모듈 및 우안용 카메라 모듈을 피사체로부터 상기 제1 및 제2영상을 획득하는 과정을 더 구비할 수 있다.

또한 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 사용자 입력 방법은, 한 개 이상의 선택 항목들이 존재하는 영상을 제1영상 및 제2영상으로 구분하여 좌안 및 우안용 디스플레이들을 통해 각각 표시하는 과정과, 상기 제 1영상 및 제 2 영상의 위치를 지정된 오프셋에 의해 사용자의 안폭에 맞게 재조정하는 과정과, 좌안 및 우안 생체감응 센서들을 통해 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화 여부를 감지하는 과정과, 상기 생체변화 감지 시 생체변화가 감지된 좌안, 우안의 위치의 좌표 값들을 포함하는 인터럽트 신호를 발생하는 과정과, 지정된 오프셋에 의해 기 조정된 영상의 위치에 따라 좌안 및 우안의 위치의 좌표 값들이 속한 확장된 한 개의 통합된 좌표 영역을 구성하는 과정과, 상기 통합된 좌표 영역을 통해 기 발생된 좌안 및 우안의 위치의 좌표 값들을 지정된 오프셋에 의해 단일 좌표로 산출하는 과정을 구비하여, 사용자의 선택 입력이 발생한 부분이 상기 재조정된 영상 및 통합된 좌표 영역에서 어디에 해당하는지를 알아내는 것을 특징으로 하는 방법이다

그리고 상기 생체감응센서부가 좌안, 우안의 위치의 좌표 값을 발생하는 과정은, 설정된 시간 동안 생체 변화가 없음을 감지하면 상기 제1 및 제2 생체감응센서부가 각각 좌안 및 우안의 생체변화가 없는 위치의 좌표 값을 생성한다.

그리고 확장된 한 개의 통합된 좌표 영역을 구성하는 과정은, 상기 제1 및 제2 생체감응센서들 중 어느 하나의 생체감응센서의 전체 좌표 값들에 오프셋을 더하고, 오프셋을 더하지 않은 다른 하나의 생체감응센서의 전체 좌표 값들과 합집합을 통해서 구성하며, 여기서 상기 좌표값과 오프셋은 양의 정수가 된다.

또한 상기 좌안 및 우안의 위치의 좌표 값들을 지정된 오프셋에 의해 단일 좌표로 산출하는 과정은, 상기 제1 및 제2 생체감응센서들 중 어느 하나의 생체감응센서의 좌표 값에 오프셋을 더하고 이에 대응되는 다른 생체감응센서의 좌표값과 산술 평균하여 새로운 좌표영역을 할당한다.

본 발명의 실시예에 따른 표시장치는 HMD 디스플레이 상에 입력 및 통신 등에 관련된 여러 기능을 추가하고, 이를 모듈화시켜 기술 집약적인 정보/미디어 기기로서의 독립성을 확보할 수 있으며, 유사 기능의 여러 IT기기의 대체재로써의 아이덴티티를 가지고, 기기-유저간의 상호작용을 통해 차세대 IT 기기로 의 발판을 마련할 수 있는 이점이 있다. 또한 본 발명의 실시예에 따른 HMD 표시장치는 기기 간의 끊임없는 통합과 로깅 소프트웨어가 전체적인 사용 경험에 차별화를 제공할 수 있어, 무선 스마트 단말처럼 인포테인먼트 기능을 제공할 수 있으며, 이로인해 레저 및 엔터테인먼트 등의 각 분야에 사용이 가능한 이점이 있다. 또한 본 발명의 실시예에 따른 표시장치는 머리에 쓰고 눈에 직접 접안하는 휴대 특성을 활용할 수 있어 아웃도어, 군용 및 의료 분야 등 사회 전반에 응용이 가능한 이점이 있다.

도 1은 본 발명의 실시예에 따른 HMD 표시장치의 구성을 도시하는 도면
도 2는 상기 도 1과 같은 본 발명의 실시예에 따른 표시장치의 동작을 설명하기 위한 도면
도 3은 단안 방식의 HMD 표시장치의 디스플레이 시야 구성 예를 도시하는 도면
도 4는 듀얼 광채널, 양안 헤드마운트 디스플레이 장치의 디스플레이 영역 구성을 도시하는 도면
도 5는 본 발명의 실시예에 따른 HMD처리부에서 양안 표시를 부분 이미지들을 생성하는 방법(제1방법) 을 설명하기 위한 도면
도 6은 본 발명의 실시예에 따른 HMD처리부에서 양안 표시를 부분 이미지들을 생성하는 방법(제2방법) 을 설명하기 위한 도면
도 7은 본 발명의 실시예에 따라 양안 시야를 제공하는 HMD처리부 100의 생체감응인식과정을 설명하기 위한 도면
도 8은 본 발명의 실시 예에서 사용되는 오프셋 a 값을 획득하기 위한 광피드백부의 구성을 도시하는 도면
도 9는 본 발명의 실시예에 따른 HMD 표시장치의 동작 절차를 도시하는 흐름도

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 생체 인식에 따른 좌표 및 오프셋 등에 대한 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

HMD 장치는 사용자의 눈에 접안 혹은 착용하여 영상 컨텐츠를 표시하는 장치이며, 컨버젼스 추세에 따라 다양한 기능들을 추가 할 수 있다. 예를들면 카메라를 구비하는 HMD 장치를 착용한 후 사용자가 외부 사물을 볼 수 있는 기능을 추가할 수 있다. 두 번째로 HMD 장치는 HMD 장치와 유저 사이에 터치 입력패드와 같은 새로운 유저 입력 인터페이스 기능을 추가할 수 있다. 세번째로 HMD 장치와 유무선 단말기를 모듈화 시켜 주변 기기와 상호 통신을 수행할 수 있다. 네번째로 HMD 장치는 주변 통신 기기와 네트워크를 형성하여 네트워크를 통해 수신되는 정보를 저장 및 처리하고, 또한 처리된 정보 또는 HMD 장치에서 생성된 정보를 네트워크로 전송할 수 있는 IT 기기로서의 기능을 추가할 수 있다. 다섯번째로 본 발명에서 제안하는 HMD 디스플레이는 눈에 접안하거나 머리에 착용하는 디스플레이 장치 외에, 시각화가 가능한 모든 멀티미디어 기기, 카메라, 캠코더, 망원경 등으로 확장이 가능하다.

본 발명의 실시예에 따른 표시장치는 HMD 디스플레이 상에 입력 및 통신 등에 관련된 여러 기능을 추가하고, 이를 모듈화시켜 기술 집약적인 정보/미디어 기기로서의 독립성을 확보하며, 유사 기능의 여러 IT기기의 대체재로써의 아이덴티티를 가지고, 기기-유저간의 상호작용을 통해 차세대 IT 기기로의 발판을 마련할 수 있도록 한다. 본 발명의 실시예에 따른 HMD 장치는 외부 사물을 인지하는 부분, 주어진 컨텐츠를 시각화시키는 부분 및 유저 입력부, 주변 기기와 네트워크를 위한 통신기능 및 정보를 재가공 가능한 연산프로세서를 탑재할 수 있다. 이로인해 본 발명의 실시예에 따른 HMD 장치는 기기 간의 끊임없는 통합과 로깅 소프트웨어가 전체적인 사용 경험에 차별화를 줄 수 있다. 또한 본 발명의 실시예에 따른 HMD 장치는 무선 스마트 단말처럼 인포테인먼트 기능을 제공할 수 있으며, 휴대 단말, 스마트폰, PMP, 네비게이터, 디지털 카메라와 같은 IT 장치처럼 레저, 엔터테인먼트 등의 각 분야에 사용이 가능하다. 또한 머리에 쓰고 눈에 직접 접안하는 휴대 특성을 활용하여, 아웃도어 워킹 및 전술 정보통신 체계에 기반한 차세대 보병 전투장비, 전투차량, 군용기, 전투함 등의 사통 장치의 조준경 등의 군사분야, 시력보조용, 내시경, 특수 수술 장비 등의 의료 분야 등, 사회 전반에 응용이 가능하다. 또한 2D 및 3D TV 및 극장 영화관 기능을 대신하는 차세대 기기로 활용도 가능하다.

또한 본 발명의 실시예에 따른 HMD 장치는 듀얼 광 채널 방식의 양안 HMD를 구성하여 상기와 같은 기능들을 동일하게 구현한다.

도 1은 본 발명의 실시예에 따른 HMD 장치의 구성을 도시하는 도면이다.

상기 도 1을 참조하면, HMD 장치10은 HMD처리부100 및 신호처리부200으로 구성될 수 있다. 그리고 상기 HMD처리부100은 외부 영상을 획득하기 위한 카메라모듈부110과, 신호처리부200에서 출력되는 영상을 표시하는 디스플레이부120과, 사용자40의 반응을 감지하는 생체감응센서부130으로 구성될 수 있다. 상기 신호처리부200은 본 발명의 실시예에 따라 HMD 장치의 전반적인 동작을 제어하는 제어부210과, 외부 통신환경20과 통신 기능을 수행하는 통신부220과, 사용자의 명령을 입력하는 입력부230과, 외부장치 등과 연결되어 데이터를 인터페이스하는 외부 인터페이스부240 등을 구비할 수 있다.

여기서 상기 제어부210은 본 발명의 실시예에 따른 표시장치의 동작을 제어하기 위한 프로그램 및 데이터 등을 저장하는 메모리 및 표시장치의 동작을 제어하는 프로세서 등을 구비할 수 있다. 그리고 상기 통신부220은 외부 통신환경20과 연결되어 본 발명의 실시예에 따른 표시장치와 통신 기능을 수행한다. 여기서 상기 외부 통신환경20은 무선 통신망 또는 인터넷 망 등이 될 수 있다. 따라서 상기 통신부220은 무선통신 망의 경우, 외부 통신환경20과 무선 통신을 위한 안테나223과, 상기 안테나223과 연결되어 기저대역의 송신신호를 무선 주파수 대역으로 상승변환 및 전력증폭하고, 수신되는 무선주파수신호를 저잡음 증폭 및 기저대역으로 하강변환하는 RF부225와, 상기 RF부225 및 제어부210 사이에 연결되어 송신신호를 변조 및 수신신호를 복조하는 모뎀227 등을 구비할 수 있다. 또한 상기 통신부220은 외부 통신환경20이 인터넷 망인 경우 모뎀으로 구성될 수도 있다. 상기 입력부230은 사용자의 명령을 입력하는 장치로써, 키패드 및/또는 터치패드로 구성될 수 있다. 외부 인터페이스부240은 유선 및/또는 무선 근거리 통신부로써, 유선인 경우 USB 인터페이스가 될 수 있으며, 무선인 경우 NWC, 블루투스, UWB 인터페이스가 될 수 있다.

상기 카메라모듈부110은 피사체30을 촬영하여 디지털 데이터로 변환한 후 제어부121에 전달하는 기능을 수행한다. 본 발명의 실시예에서 상기 카메라모듈부110은 좌안 및 우안으로 시청할 수 있는 두개의 카메라 모듈로 구성될 수 있으며, 상기 제어부121의 제어하에 좌안 및 우안의 초점으로 제어되어 구동될 수 있다. 디스플레이부120은 상기 제어부121의 제어하에 영상데이타를 표시한다. 본 발명의 실시예에서 상기 디스플레이부120은 사용자 40이 좌안 및 우안으로 시청할 수 있는 두개의 디스플레이이로 구성될 수 있으며, 상기 두 개의 디스플레이들은 상기 제어부121의 제어하에 각각 좌안 및 우안으로 시청하기 위한 영상 데이터를 표시할 수 있다. 생체감응 센서부130은 사용자의 생체 변화를 감지하는 센서로서, 좌안 및 우안의 변화를 감지할 수 있는 좌안 및 우안 감응 센서들들 구비할 수 있다.

상기한 바와 같이 본 발명의 실시예에 따른 HMD처리부100은 양안 방식의 디스플레이로써, 디스플레이부120은 우안 디스플레이 및 좌안 디스플레이로 구성이 가능하며, 마찬가지로 카메라 모듈부 110도 우안 카메라 모듈 및 좌안 카메라 모듈부로 듀얼 광채널을 제공하도록 구성이 가능하다. 또한 디스플레이IF도 역시 우안 디스플레이 IF 및 좌안 디스플레이 IF로 구분하여 디스플레이부120을 선택적으로 구동할 수 있다. 한편 양안에 제공되는 디스플레이부 120의 안폭 조절 및 그 조절된 정도를 피드백하는 생체감응센서부 130은 좌안 및 우안의 생체 감응 선택 영역을 조절 할 수 있도록 광학 조절 및 피드백회로부를 더 구비할 수 있다. 상기 광학피드백부는 도 8에서 설명될 것이다.

상기 도 1과 같은 구성을 가지는 본 발명의 실시예에 따른 HMD 장치의 동작을 살펴보면, 카메라모듈부 110는 피사체 30을 인식하고, 카메라모듈부110은 통해 인식된 영상이미지를 모듈 I/F를 제어부 210에 전달한다. 여기서 상기 카메라모듈부110은 출력되는 영상 이미지는 Hsync, Vsync 및 특정 비트를 가지는 카메라 데이터 송출 방식을 포함하여 다양한 방식으로 구현될 수 있으며, 데이터 포맷도 YUV 외에 다양한 방법을 사용할 수 있다. 그러면 상기 제어부210은 상기 카메라모듈부110으로부터 수신되는 영상을 압축하여 저장하거나, 또는 압축 저장된 데이타를 디코딩하거나 또는 상기 카메라모듈부110에서 전달되는 영상 이미지를 스케일링 및 색변환하여 디스플레이I/F를 통해 디스플레이부 120로 전송할 수 있다. 이때 상기 제어부210이 상기 디스플레이부120에 전송하는 영상 이미지는 RGB 혹은 CPU 인터페이스를 포함하여 다양한 방식을 사용할 수 있으며, 전송 전후의 인코딩/디코딩이 가능하다. 디스플레이부 120은 상기 제어부210에서 전송되는 영상 이미지를 광학 장치를 통해 사용자 40의 눈으로 보여 줄 수 있으며, 이런 표시 동작은 널리 알려져 있으므로 구체적인 동작 설명은 생략한다.

이렇게 송출된 영상은 사용자40이 시청할 수 있으며, 영상 시청시 특정 부분에서 사용자 40의 인체가 감응 하게 되면 생체감응센서부 130이 생체 반응을 인식할 수 있으며, 상기 생체감응센서부130은 상기 사용자의 생체 변화를 감지하여 컨트롤I/F를 상기 제어부210에 외부 입력 인터럽트가 발생했음을 알린다. 여기서, 컨트롤I/F는 I2C 방식을 포함하여 다양한 방법으로 구현 될 수 있다. 또한 생체감응인식은 eye-tracking, 동공 확장/축소 감지, 동공 위치 추적, 안구 주변 근육 변화 감지 및/또는 각막 굴절율 등을 측정하여 감지할 수 있으며, 이런 생체감응을 인식하는 센서는 가속도 센서등의 중력센서의 다양한 수단이 사용될 수 있다. 한편 HMD처리부100의 생체감응센서부 130은 생체감응인식을 위해 다양한 생체 변화가 입력 수단이 될 수 있도록 각각을 수학적으로 구분하고, 정해진 resolution에 상응하는 행위가 발생하면 이를 제어부 210에 전달할 수 있는 하드웨어 및 소프트웨어 구조를 가져야 한다. 마찬가지로 제어부 210도 이를 수용하고 처리할 수 있는 하드웨어 및 소프트웨어 구조를 가져야 한다. 이렇게 입력된 사용자 40의 입력에 의해 제어부 210은 내부의 하드웨어 및 소프트웨어에서 정의된 동작을 수행하며, 이 결과에 따라 상기 제어부210은 디스플레이부 120을 제어하여 재 생성된 영상데이터를 표시할 수 있다. 또한 상기 영상 표시 및 영상 재구성 제어는 생체감응인식 외에 입력부 230을 통해 발생되는 사용자 40의 제어명령에 의해 제어부 210에서 처리 될 수 있으며, 이 사용자입력은 생체감응인식과 동시, 혹은 대체, 혹은 단독으로 상기 과정을 유발할 수 있으며, 상기 신호처리부200이 독립적인 표시부를 더 구비하는 경우, 신호처리부200에 구비된 표시부에서도 동일하게 시각화가 가능하다.

또한 상기 도 1에서 카메라모듈부 110의 피사체 인식 과정없이, 제어부 210으로부터 전달된 영상을 디스플레이부 120가 표시할 수 있으며, 이를 시청하는 사용자 40의 생체감응을 인식하여 생체감응인식부 130이 제어부210에 인터럽트를 발생할 수도 있다. 마찬가지로 입력부 230을 통한 다른 수단의 입력도 동시, 대체 또는 단독으로 발생 할 수 있으며, 상술한 과정은 신호처리부200에 독립적으로 구비될 수 있는 표시부에서도 동일하게 시각화가 가능하다.

한편, 통신부 220은 외부통신환경 20과 RF I/F를 통해 통신할 수 있으며, RF I/F는 다양한 통신방식, 예를 들어 3G, 2G, WIFI, LTE, GPS 등이 될 수 있다, 또한, 추후에 나올 차세대 통식방식도 포함할 수 있다. 상기 HMD처리부100이 신호처리부200의 디스플레이 장치 및 입력장치가 되어 신호처리부200에 이를 보고하고, 또한 생체감응센서부 130을 통해 표시되는 영상의 제어를 하는 것이 가능하다. 마찬가지로 입력부 230을 통해 상기 생체감응센서부130과 동시, 대체, 단독 입력 및 제어하는 것도 가능하다. 또한 HMD처리부100이 신호처리부200과 통합 모듈로 구성됨으로써, 안경처럼 착용하여 시청하는 기능 이외에 외부 통신환경20 또는 도시하지 않은 외부장치와 통신하는 이동단말의 기능도 수행할 수 있다.

한편 RF I/F를 통해 상술한 바와 같이 외부 통신기능을 이용할 때, 통합모듈 혹은 신호처리부200은 다양한 통신 프로토콜을 처리할 수 있으며, 이런 경우 동일 프로토콜을 사용하는 통신 기기와 접촉 및/또는 비접촉식 통신 인프라를 통해 능동 및 수동으로 통신을 할 수도 있다. 여기서 비접촉식은 통신 기기간 유무선 통신방식을 의미한다. 이때 같은 프로토콜을 사용하는 외부 기기와의 통신을 통해서 네트워크를 형성하고, 정의된 목적에 맞게 상호간 데이터를 송수신 할 수 있다. 또한 상기 카메라 모듈부110을 통해 입력된 영상과 외부 통신 기기의 데이터를 객체화하여 HMD처리부100 및/또는 통합모듈에 시각화하여 표시할 수 있다. 상기 생체감응센서부130은 상기 비주얼된 객체에 대한 사용자 40의 생체감응인식을 통해 특정 명령 및 행위를 인식할 수 있으며, 이를 제어부 210에 전달할 수 있다. 그리고 이를 수신하는 제어부 210은 상기 생체 인식 결과를 하드웨어 및 소프트웨어 의해 정의된 특성에 맞게 처리하여 사용자 40이 의도하는 기능을 수행할 수 있으며, 또한 상기 수행한 결과 및 객체를 재구성 및/또는 재창출하여, 디스플레이 I/F를 통해 사용자 40에 보여주거나, 통신부 220를 통해 외부 통신 기기에 전달할 수도 있다.

도 2는 상기 도 1과 같은 본 발명의 실시예에 따른 표시장치의 동작을 설명하기 위한 도면이다.

상기 도 2를 참조하면, 피사체30은 제1 피사체 31 및 제2 피사체 32가 있고, 이는 외부 통신 환경20을 통해 정의된 통신 프로토콜로 RF I/F를 통해 통신부220에 입력될 수 있다. 따라서 HMD 장치는 목적에 맞게 정의된 속성들을 통신부 220을 통해 외부 기기와 통신할 수 있다. 또한 카메라 모듈부 110은 피사체 31 및 피사체 32의 이미지를 촬영하여 제어부 210에 전달할 수 있다. 이 영상들은 디스플레이부 120를 통해 사용자40이 시청할 수 있으며, 통신부 220에 수용된 피사체 31 및 피사체 32의 속성들은 제어부 210과 함께 그 하드웨어 와 소프트웨어의 정의된 목적에 맞게 재구성 및 재창출되어 객체 153 및 객체 155로 할당될 수 있다. 따라서 사용자 40이 보는 것은 객체 153 및 객체 155의 이미지뿐이지만, 상기 도 1과 같은 구성을 가지는 HMD처리부100 및 신호처리부200의 통합모듈은 객체 153 및 객체 155에 정의된 바에 의해 여러 속성들을 정의할 수 있다. 이렇게 시각화된 객체들은 생체감응센서부 130에 의해 영상영역이 좌표화되고, 특정 생체감응인식을 통해 유효센싱영역 163 및 165의 유효개체 좌표화를 정의할 수 있다. 이러한 생체감응센서부 130에 의한 영상영역 좌표화는 특정 생체 감응 인식 수단에 맞게 다양하게 사용될 수 있다. 예를 들면, 상기 생체감응센서부130은 동공위치에 따라 영상 영역을 세분화하여 좌표화하고, 유효 센싱 영역에 동공 위치가 일치될 때 이를 인터럽트로 간주 하는 방법 등을 사용할 수 있다. 상기 생체감응센서부130은 동공 위치 인식 외에도 눈 주위 근육변화 감지나 기타 다양한 방법들이 사용하여 생체 감응을 인식할 수 있다.

상술한 바와 같이 생체감응센서부130은 객체 153 및 객체 155의 정의된 속성들을 사용하고, 생체감응인식 과정을 통해 유효센싱영역 163 및 165에서 입력 인터럽트를 발생할 수 있다.

여기서 생체감응인식은 먼저 생체감응센서부 130에 의해 좌표화가 된 부분으로부터 유효센싱영역 163 및 165를 선별하는 방법, 두 번째로 선별된 유효센싱영역 163 및 165 또는 그 이상의 유효센싱영역들 중 사용자 40이 원하는 영역을 한 개 이상 정하여 선택하는 방법, 세 번째로 사용자 40이 선택된 유효센싱영역 163 및 165 혹은 그 이상을 선택했음을 제어부 210에 알리기 위해 생체감응센서부 130이 이를 데이터화하여 인터럽트 발생을 알릴 수 있는 방법을 포함한다.

상기 생체 감응센서부130은 아이트랙커 혹은 각막굴절율 측정장치, 중력센서 등을 이용하여 구현할 수 있다. 상기 생체감응센서부 130은 하드웨어 및 소프트웨어가 정의한 성능 범위 내에서 사용자의 생체변화를 좌표화하며, 이를 HMD처리부110이 제공하는 시각화 영역에 맞게 그 크기 범위를 정하고, 객체 153 및 객체 155의 시각화된 영역에 맞게 그 유효센싱영역 163 및 165의 좌표의 크기 및 영역을 할당한다. 다음 사용자 40이 특정 유효센싱영역 163 및 165 중 어느 한 개 혹은 그 이상을 선택하고자 하는 행동을 하면, 아이트랙커 각막굴절율 측정장치, 또는 중력센서 등이 행동의 변화를 감지하고, 이 변화는 산술적으로 데이터화되어 생체감응센서부130에서 처리된다. 이후 사용자 40이 선택하고자 부분을 정했다면 사용자의 행태는 해당 위치에 고정될 것이며, 그 정해진 시점에 아이트랙커, 각막굴절율측정장치, 중력센서는 변화를 감지하지 못하게 된다. 이때 생체감응센서부 130의 하드웨어 및 소프트웨어가 설정된 시간 동안 생체 변화가 없으면 이를 입력 인터럽트로 간주하고, 변화가 없어진 위치의 좌표 값을 제어부 210에 전달하며, 이로인해 제어부 210은 어느 좌표에서 입력인터럽트를 발생했는지 알 수 있게 된다.

이때 정의된 인터럽트에 맞게, 제어부 210은 해당영상을 재구성, 재창출 하거나, 객체 153 및 객체 155의 정의된 속성들을 사용자 40의 의도에 맞게 정의된 하드웨어와 소프트웨어를 통해 재구성, 재창출 할 수 있으며, 통신부 220에 전달하여 네트워크 상의 속성들과 다시 송수신을 할 수 있게 한다. 이 모든 과정은 디스플레이I/F를 통해 디스플레이부 120에 전달되어 사용자 40에 시각화 될 수 있다. 또한 사용자 40은 기존 사용자 입력을 통해 입력부 230에 인터럽트를 발생시킬 수 있으며, 상기 정의된 과정과 병행 또는 단독 사용이 가능하다. 한편 상기 신호처리부200이 독립적인 디스플레이를 가지는 경우, 신호처리부200의 디스플레이를 상술한 과정의 시각화가 가능하다.

도 3은 단안 방식의 HMD 표시장치의 디스플레이 시야 구성 예를 도시하는 도면이다.

카메라 모듈부 110가 단일 광 채널의 단안 방식을 사용하는 경우, 도 3a와 같은 피사체 30가 카메라 모듈부 110의 이미지 센서에 3b와 같이 입력되며, 따라서 상기 카메라모듈부110에 획득되는 이미지는 3b에 도시된 바와 같이 좌우 양 측이 줄어들게 된다. 이때 상기 3b와 같은 이미지를 듀얼 광 채널을 구성하여 양안 디스플레이 구조를 적용하면, 상기 3a와 같은 확장된 이미지를 제공하는 것도 가능하다.

본 발명의 실시예에서는 상기한 바와 같이 양안의 디스플레이 및 카메라 이미지 센서를 가지는 HMD처리부100 및 신호처리부200으로 구성되는 HMD 표시장치를 제안한다. 양안 디스플레이구성을 위한 듀얼 광채널의 HMD 장치는 도 4와 같이 이미지 영역의 구성이 가능하다. 본 발명에서 제공하는 디스플레이 방식은 OLED, CRT, LCD와 같은 real image가 아닌 각 이미지의 각 점의 파장들을 사람 혹은 동물의 안구에 전달하는 virtual image 체계이다.

도 4는 듀얼 광채널, 양안 HMD 장치의 디스플레이 영역 구성을 도시하는 도면이다.

상기 도 4를 참조하면, HMD처리부100은 양안에 각각의 다른 이미지를 전달하여 생물학적인 시각 인식과정을 통해 넓은 이미지를 재구성 하는 것이 가능하다. 즉, 상기 4a와 같은 피사체 30은 카메라 모듈부 110에 인식되는 피사체일 수도 있고, 신호처리부200의 제어부 210이 제공하는 가상의 이미지 일 수도 있다.

먼저 상기 4a와 같은 피사체 30은 카메라 모듈부 110에 의해 인식되는 피사체라고 가정한다. 그러면 상기 피사체 30은 카메라 모듈부 110의 제1 카메라 모듈부 113 및 제 2카메라 모듈부 115 에 의해 각각 4b 및 4c와 같이 디스플레이부 120의 제1 디스플레이부 123 및 제2 디스플레이부 125에 표시될 수 있다. 즉, 상기 4a와 같은 피사체는 카메라모듈부110 및 디스플레이부120을 통해 4b 및 4c와 같이 사용자 40의 좌안 및 우안에 전달될 수 있다. 여기서 제1 및 제2 카메라 모듈부 및 제1 및 제2 디스플레이부를 좌안, 우안에 별도로 할당하지 않은 이유는 제 1카메라 모듈부 113 가 좌안을 위해 구성될 수 도 있고 우안을 위해 구성될 수 있기 때문이며, 마찬가지로 제 1디스플레이부 123이 사용자의 좌안에 할당 될 수 도 있고, 우안에 할당 될 수도 있기 때문이다. 이는 HMD처리부100 내에 편광 장치 및 렌즈 같은 광학 기기들의 구성에 따라 달라지게 되기 때문이다. 따라서 상기 4a같은 피사체는 각각 상기 4b 및 4c와 같이 원래 이미지 보다는 좁아져서 카메라 모듈부 113 및 115 에 입광된다. 이렇게 획득되는 이미지는 제어부 210에 전달되며, 제어부210은 이를 이미지 처리하여 디스플레이부 123 및 125 에 각각 상기 4b 및 4c같이 전달한다. 그러면 사용자 40은 생물학적인 시각인식 과정을 통해 이를 상기 4a와 같이 조합 구성하여 단일 광 채널의 헤드마운트 디스플레이가 제공하는 상기 도 3b의 이미지와 다르게 광폭 시야를 제공하는 이미지 구성이 가능하다. 즉, 상기 4a - 4c에 도시된 바와 같이 양안 HMD 장치에서는 원점 0에 의해 [+ α, -α] 만큼 좌 우로 구성되며, 4b와 같은 [-β,+α]의 이미지와 4c와 같은 [-α,+β]의 이미지는 사용자의 시야에서 [-β,+β]의 시야를 구성한다.

상기와 같은 본 발명의 실시예에 따른 양안 HMD 표시장치의 동작을 구체적으로 살펴본다.

도 5는 본 발명의 실시예에 따른 HMD처리부에서 양안 표시를 부분 이미지들을 생성하는 방법(제1방법)을 설명하기 위한 도면이다. 상기 도 5는 카메라모듈부 110에서 획득한 피사체 30의 이미지와, 사용자의 시야에 전달 가능한 이미지를 제공하는 디스플레이 123 및 125로 구성되는 HMD처리부100의 구성을 도시하고 있다.

상기 도 5를 참조하면, 먼저 카메라모듈부 110에 의해 획득되는 이미지는 제어부 210에 전달되며, 제어부210은 이를 영상처리하여 HMD 처리부100에 전달한다. 이때 전달되는 피사체30의 원안이미지는 좌안 및 우안으로 시청할 수 있도록 한다. 본 발명의 실시예에 따른 HMD처리부100은 내부에 편광 장치 및 렌즈를 포함하고 있는 광학 부자재 50을 통해 피사체의 원안 이미지 30을 부분이미지A 32 및 부분이미지B 31로 편광 변환하고, 상기 변환된 부분 이미지 32 및 31을 각각 제1 디스플레이부 123 및 제2디스플레이부 125에 전달한다. 상기 부분이미지A 32가 제1디스플레이부 123에서 보여지는 것과 반대로 디스플레이부 125를 통해서 사용자에게 보여질 수 있으며, 이는 부분이미지B 31의 경우도 마찬가지로 적용된다. 이는 광학부자재 50을 거쳐서 편광 변환되는 방식의 차이에 의해서 정해지는 것이므로, 반드시 어느 쪽에 특정 부분이미지가 할당되어야 한다는 것은 아니다. 이렇게 디스플레이부 123 및 125에 전달된 부분이미지들은, 각각 사용자의 우측 시야 45 및 좌측 시야 46으로 전달되어, 사용자의 좌측 눈 42 및 우측 눈 41의 망막에 인식되고, 사용자 40은 이를 통해서 각 부분이미지A 32 및 부분이미지B 31을 원안 이미지 30으로 인식하게 된다.

한편, 부분이미지A 32 및 부분이미지B 31은 특정 스펙트럼으로 편광될 수도 있다. 예를 들어 부분이미지A 32는 붉은색 표현을 위한 스펙트럼을 포함한 파장으로 한쪽 디스플레이부에 전달이 되고, 부분이미지B 31은 녹색표현을 위한 스펙트럼의 파장으로 구성이 되어 부분이미지A 32가 전달된 디스플레이 쪽이 아닌 다른 쪽의 디스플레이로 전달되어, 완전한 색 구성이 가능하도록 광학부자재를 구성할 수 있다.

한편, 카메라 모듈부 110에서 생성된 이미지가 아닌 제어부 210상에 저장된 이미지나 동영상도 상기 원안이미지 30 및 부분이미지A 32, 부분이미지B 31으로 변환할 수 있다. 한편, 상기와 같은 HMD 처리부 100이 광학 부자재를 사용하지 않고, 제어부 210상에서 부분이미지를 생성하여 각각 디스플레이부120에 전달할 수도 있다.

도 6은 본 발명의 실시예에 따른 신호처리부에서 양안 표시를 부분 이미지들을 생성하는 방법(제2방법) 을 설명하기 위한 도면이다.

상기 도 6을 참조하면, 제어부 210은 제1카메라 모듈부 113 및 제2카메라모듈부 115에 의해 피사체의 원안이미지 30을 획득할 수 있다. 이때 각각 부분이미지A 32 및 부분이미지B 31을 각각 두 개의 카메라 모듈부 113 및 115 로부터 획득할 수 있으며, 혹은 한 개의 카메라 모듈부 110에 의해 취득된 원안 이미지 30을 제어부 210이 내부 이미지 처리 과정을 거쳐 두 개의 부분이미지A 32 및 부분이미지B 31로 구성할 수도 있다. 그리고 제어부210은 상기 부분이미지 32 및 31을 Display I/F를 통해 각각의 디스플레이부 123 및125 에 전달한다. 상기 도 5는 원안이미지 30을 HMD 처리부100 내의 광학 부자재 50을 통한 광 변환 과정을 거쳐 두 개의 부분이미지 A 및 B를 생성하였지만, 도 6은 제어부 210에서 원안이미지 30을 만들기 위해, 의도적으로 두 개의 부분이미지를 생성하여 각각 다른 이미지들을 디스플레이부 123 및 125에 전달한다.

상기 도 5와 같은 제1 방법은 제어부 210을 통한 내부의 이미지 분할 과정과 동기화가 필요하지 않으며, 광학부자재 50에서 광변환 과정을 거치는 아날로그 방식이 될 수 있으며, 상기 도 6과 같은 제2 방법은 제어부 210 내의 이미지 처리 과정을 거쳐 두 개의 부분이미지를 생성한 후, 두 이미지의 동기를 맞추어 각각 다른 하드웨어 인터페이스를 통해서 전송하는 디지털 방식이 될 수 있다. 따라서 상기 도 6의 제2 방법에서 광 변환 과정을 위한 광학 부자재 53 및 55는 각각의 디스플레이부 123 및 125에 허상의 이미지를 제공하기 위한 광 변환 과정만 포함하면 되므로, 하드웨어의 구성이 보다 간결해진다. 이렇게 각각의 광학 부자재 53 및 55를 거친 부분이미지A 31 및 부분이미지B 31은 상기와 동일한 과정을 거쳐 사용자의 우측 시야 45 및 좌측 시야 46으로 인식한다.

상기 제어부 210은 상기 도 5의 제1 방법에서와 같이 특정 색을 표현하는 스펙트럼을 가진 부분 이미지A 32 및 부분이미지B 31을 각각 생성할 수 있다.. 예를 들어 제어부 210에서 원안이미지 30을 최종적으로 구성하기 위해 내부적인 이미지 처리과정을 수행한 후, 부분이미지A 32는 붉은 색의 스펙트럼을 가지는 파장을 포함한 이미지로 생성하고, 부분이미지B 31은 녹색의 스펙트럼을 가지는 파장을 포함한 이미지로 생성한 후, 이들 이미지를 각각 사용자의 시야 45 및 46으로 전달하면, 사용자가 이를 생물학적으로 인식하여 원안이미지 30으로 인식하게 할 수 있다.

그러므로 상기 도 5와 같은 제1 방법 및 도 6과 같은 제2 방법은 모두 사용자에게 광폭 시야의 원안이미지 30을 제공할 수 있음을 알 수 있다. 한편, 생체감응인식 기능을 수행하는 생체감응센서부 130도 부분 이미지들을 각각 인식할 수 있어야 한다. 즉, 각 양안의 완전한 이미지를 구성하기 위해 각각의 시야에 제공되는 이미지들이 다르기 때문에 양 눈에 의해 생체감응센서부 130에 인식되는 좌표가 동일하지 않으며, 따라서 양안 시야를 위한 생체감응 인식을 위한 구성은 단안 시야를 위한 생체감응인식과정과 동일하지 않다.

도 7은 본 발명의 실시예에 따라 양안 시야를 제공하는 HMD처리부 100의 생체감응인식과정을 설명하기 위한 도면이다.

상기 도 7을 참조하면, 상기한 바와 같이 생체 감응 인식을 위하여 생체감응센서부130과 제어부210은 사용자의 생체 변화를 인식을 위한 정보들을 공유하고 있어야 한다. 즉, 상기 생체감응센서부130은 사용자의 생체변화를 감지하기 위한 좌안 및 우안 생체감지센서들을 구비하며, 또한 생체변화를 감지하기 위하여 좌표화된 부분으로부터 각각 대응되는 좌안 및 우안의 유효센싱 영역을 선별하고, 상기 선별된 좌안 및 우안 유효센싱영역을 선택한 후, 선택된 유효센싱 영역 정보들을 제어부에 통보한다. 즉, 상기 생체감응센세부130은 사용자의 생체 변화를 감지하기 위하여 사용자의 좌안 및 우안의 시각 영역에 맞게 감지 범위의 크기를 결정하고, 좌안 및 우안의 유효센싱 영역 좌표들을 각각 감지하기 위한 크기 및 영역을 할당하고 이런 위치정보들을 제어부210과 공유한다.

상기와 같은 상태에서 영상 표시시, 생체감응센서부130은 센서들을 통해 각각 좌안 및 우안의 변화를 감지하고, 이런 변화를 산술적으로 데이터화하여 제어부에 전송한다. 그리고 일정시간 이상 사용자의 좌안 및/또는 우안의 생체변화가 감지되지 않으면(즉, 시선이 고정되어 있으면), 상기 생체감응센서부130은 사용자의 시선에 따른 좌표(좌안 및/또는 우안) 및 인터럽트신호를 제어부에 전송한다. 그러면 제어부210은 상기 인터럽트신호 및 좌표 정보에 따라 표시되는 영상의 위치를 조절하기 위한 영상을 재구성하도록 제어한다. 한편, 상기 제어부는 생체감응센서부130에서 전달된, 사용자의 시선에 따른 좌표(좌안 및/또는 우안) 및 인터럽트신호들을 산술적으로 데이터화 하여, 통합 좌표영역을 구성하고, 사용자의 의사 결정을 위한 유저 입력 인터페이스 영역을 재구성한다.

상기한 바와 같이 제어부 210은 7c와 같이 생체감응센서부 130에 인식된 내용을 좌표로 구성할 수 있다. 이를 통해 상기 HMD처리부100에 제공된 아이콘 및 디스플레이 영역 중 어느 부분이 선택되었는지를 알 수 있게 되어 정해진 프로그램을 수행할 수 있게 된다. 만약 단안 시야 제공을 위한 HMD처리부100이면 사용자의 선택을 수용하기 위한 생체감응센서부 130도 한 개가 된다. 이런 경우 상기 생체감응센서부130의 출력을 제어부 210에 구성되는 7c와 같은 제어부 210에 프로그램된 좌표 영역과 소프트웨어적으로 맵핑시킬 수 없다. 그러나 양안 시야를 위해 각각의 디스플레이부 123 및 125에 각각의 생체감응센서부 133 및 135를 대응되도록 구성하게 되면, 각각의 생체감응센서부 133 및 135에서 제어부 210에 전달되는 좌표 인식을 위한 출력값들이 다르게 되며, 제어부 210는 프로그램된 선택좌표 영역에 해당 위치를 어느 부분에 맵핑시킬지 결정하는 과정을 수행하여야 한다.

상기 도 7을 참조하면, 임의적으로 사용자의 한쪽 시야에 구성되는 생체감응센서부 133와 다른 한쪽 시야에 구성되는 생체감응센서부 135는 Y[0:4], X[0:6]의 좌표로 그 인식 영역이 구분되어 있다고 가정한다. 이를 통해, 제어부 210에서 전달된 시각 아이콘의 위치는 각각 7a에 도시된 바와 같이 생체감응센서부 133에는 X[4],Y[1]이 되고, 7b에 도시된 바와 같이 생체감응센서부 135에는 X[2],Y[1]이 될 것이다. 이를 각각 제어부 210에서 단안 헤드마운트 디스플레이 방식과 동일한 과정 및 처리를 하게 되면, 양안의 인식 위치가 달라서 제공된 시각 아이콘이 선택이 되었는지 알 수 없게 된다. 이 경우 좌/우 좌표값들이 다르므로, 개별적인 좌표데이터들 만으로는 유저 입력 인터페이스 수단으로 활용이 어렵다. 따라서 새로운 방법의 정의가 필요하다. 본 발명의 실시예에서는 사용자의 안 폭에 의해 결정되는 오프셋 a를 정의한다. 이 오프셋 a의 값은 다음과 같이 정의된다. 실제 양안의 디스플레이부 123 및 125의 안 폭을 조절하여 각 디스플레이부 123 및 125가 제공하는 광축 간의 거리를 사용자의 안폭과 동일하게 하고, 각각의 디스플레이부 123 및 125가 제공하는 부분이미지A 31 및 부분이미지B 32를 융상시켜 완전한 이미지 구성을 가능하게 한다. 이를 위하여 사용자에 의한 시각 지표 변경 명령을 발생할 수 있는 시각지표입력 수단을 구비할 수 있다. 이 시각 지표 입력수단은 입력부230이 될 수 있으며, 또한 HMD처리부100의 내부에 독립적으로 구성될 수도 있다. 사용자는 이 시각지표입력수단을 통해 각 디스플레이부 123 및 125의 안 폭을 조절 할 수 있고, 이 피드백 받은 값을 소프트웨어 적으로 변환하여 결정한 값을 오프셋 a로 적용할 수 있다.

상기 HMD처리부100은 상기 오프셋 a를 통해 각각의 디스플레이부 123 및 125의 위치를 사용자의 양안에 맞게 조절할 수 있으며, 광 시야의 중앙 초점을 맞출 수 있다.이런 경우 상기 생체감응센서부 133 및/또는 135가 이 오프셋 a 를 전달받고, 각 배열의 인식된 좌표(X,Y)의 인덱스 값에 상기 오프셋 a를 더해서(조절하여) 제어부 210에 전달할 수 있다. 또한 상기 생체감응센서부 133 및/또는 135가 해당 시각 아이콘이 선택된 위치에 해당하는 좌표값(7a의 경우 생체감응센서부 135의 좌표값; X[4], Y[1], 7b의 경우 생체감응센서부 135의 좌표값; X[2],Y[1])을 제어부 210에 전달하고, 제어부 210가 전달된 생체감응센서부133 및/또는 생체감응센서부135의 좌표값에 오프셋 a 값을 더 할 수도 있다. 상기 두 방법을 통해 궁극적으로 제어부 210은 생체감응센서부 133 및/또는 135에서 전달된 시각 아이콘의 위치 좌표값을 X[],Y[] 배열의 인덱스 값에 오프셋 a 만큼 더한 값으로 처리를 하게 된다. 한편 7c의 경우, 생체감응센서부 133 및 135 중 어느 하나의 생체감응센서부의 전체 좌표 값들에 오프셋을 더하고, 오프셋을 더하지 않은 다른 하나의 생체감응센서부의 전체 좌표 값들과, 합집합을 통해서, 구성될 수 있다. 여기서 상기 좌표값과 오프셋은 양의 정수가 될 수 있다.

상기 7a - 7c와 같은 경우, 7a와 같은 생체감응센서부 133의 오프셋은 0이 되며, 7b와 같은 생체감응센서부 135의 오프셋 a는 X 축으로 2가 될 수 있다. 따라서 상기 예에서는 제어부 210이 인식좌표 값으로 최종 취득하게 되는 X[2],Y[1] 값은 X[2+a],Y[1]로 조절될 수 있다. 여기서 안 폭 조절에 의해 피드백 되어 취득된 오프셋 값을 2가 되므로, 조절된 좌표값은 X[4],Y[1]가 되게 된다. 생체감응센서부 133에서 구한 X[4],Y[1]의 인덱스 값과 산술 평균을 하면, X[ 4+4/2],Y[1]의 좌표로 변환되고, 궁극적으로, X[4],Y[1]의 좌표를 가지게 된다. 따라서 양 눈에 의해 인식된 생체감응센서부 133 및 135의 인식 좌표 값들은 상기 방법에 의해, 구성이 될 때, 제어부 210에서 안 폭 조절의 피드백 값인 오프셋 a 만큼 확장되어 통합된 좌표영역으로 구성된다. 이를 통해, 제어부는 통합된 좌표영역에서, 변환된 좌표값을 얻을 수 있고, 유저의 입력이 발생한 위치를 계산 할 수 있어, 유저 입력 인터페이스의 수단으로 활용이 가능하다.

이를 정리하면, 생체감응센서부 133의 X[i],Y[j] 좌표 값은 그대로 제어부 210에 전달되고, 다른 쪽 생체감응센서부 135의 좌표 값은 제어부 210에 X[i+a],Y[j] 로 전달이 되어, 제어부 210은 각각의 인덱스 값을 통해 X[ i+i+a /2],Y[j] 의 영역으로 맵핑을 시킬 수 있게 된다. 따라서 제어부 210은 각각의 디스플레이부 123 및 125에 부분이미지A 31 및 부분이미지B 32를 전달하면서, 선택 아이콘도 부분이미지로 시각화 함과 동시에, X[ i+a ],Y[j] 의 좌표로 선택 아이콘의 위치를 조절한다. 이후 제어부210은 사용자의 생체감응 인식 결과가 각 생체감응인식부 133 및 135를 통해 피드백되면, 이를 다시 X[ i+i+a /2],Y[j] 과정으로 변환 후 해당 좌표가 선택되어 있는지를 판단하게 된다.

따라서 상기 도 7의 경우, X좌표는 X[0:6]에서 X[0:8]로 확장되게 되며, 겹치지 않는 영역인 생체감응인식부 133의 X[0:1]에 해당하는 좌표는 그대로 가져와 제어부 210에 맵핑된 값과 일치 여부를 판단한다. 그러나 생체감응인식부 135를 통해서는 시각 아이콘이 존재하지 않으므로, 피드백되는 좌표값이 없다. 반대로 생체감응인식부B 135에 대해서는 X[5:6]에 겹치지 않는 시각아이콘이 형성되지만, 이는 X[5+2:6+2]인 X[7:8]로 구성되어 제어부 210이 내부에 맵핑된 시각아이콘의 해당 좌표와 일치 여부를 판단 할 수 있게 된다. 상기 도 7은 생체감응센서부135의 출력에 오프셋 값을 더하는 경우를 예로 들어 도시하고 있지만, 생체감응센서부135에 국한되지 않고 반대로 구성이 가능하다. 또한 상기와 같은 오프셋 조정 방법은 상기 도 5와 같은 제1 방법 및 도 6과 같은 제2 방법에 모두 적용 가능하다.

상기한 바와 같이 본 발명의 실시 예에서는 양안 헤드마운트 디스플레이에서의 사용자 생체정보 인식과정을 좌표화할 수 있다. 또한 양안 구별이 없는 단순 헤드마운트 디스플레이에서도 사용자의 생체 정보를 획득할 수 있다. 이런 경우 상기 단안 HMD처리부100의 생체감응센서부 130는 디스플레이부 120가 한 개일지라도, 생체감응 센서부 133 및 135로 양안에 구성이 가능하다. 그리고 단안 HMD처리부100의, 두 개의 카메라모듈부 113 및 115로 구성이 가능하며, 각각의 카메라모듈부에서 취득한 부분이미지를 제어부 210에서 융상하고,, 원안이미지를 단일 디스플레이부 120에 제공하는 것도 가능하다.

상기한 바와 같이, 본 발명의 실시예에 따른 헤드 마운트 디스플레이 장치의 사용자 입력 방법을 살펴보면, 먼저 한 개 이상의 선택 항목들이 존재하는 영상을 제1영상 및 제2영상으로 구분하여 좌안 및 우안용 디스플레이들을 통해 각각 표시한다. 이후 상기 제 1영상 및 제 2 영상의 위치를 지정된 오프셋에 의해 사용자의 안폭에 맞게 재조정하며, 좌안 및 우안 생체감응센서부들을 통해 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화 여부를 감지한다. 이때 상기 생체변화가 감지되면 생체변화가 감지된 좌안 및 우안의 위치의 좌표 값들을 포함하는 인터럽트 신호를 발생한다. 그리고 상기 인터럽트에 의해 지정된 오프셋에 의해 기 조정된 영상의 위치에 따라 좌안 및 우안의 위치의 좌표 값들이 속한 확장된 한 개의 통합된 좌표 영역을 구성하며, 상기 통합된 좌표 영역을 통해 기 발생된 좌안 및 우안의 위치의 좌표 값들을 지정된 오프셋에 의해 단일 좌표로 산출한다. 상기와 같은 방법으로 본 발명의 실시예에 따른 헤드마운트 표시장치는 사용자의 선택 입력이 발생한 부분이 상기 재조정된 영상 및 통합된 좌표 영역에서 어디에 해당하는지를 알아낼 수 있다.

여기서 상기 생체감응센서부가 좌안, 우안의 위치의 좌표 값을 발생하는 방법은 설정된 시간 동안 생체 변화가 없음을 감지하면 상기 제1 및 제2 생체감응센서부가 각각 좌안 및 우안의 생체변화가 없는 위치의 좌표 값을 생성한다.

그리고 확장된 한 개의 통합된 좌표 영역을 구성하는 방법은 상기 제1 및 제2 생체감응센서들 중 어느 하나의 생체감응센서의 전체 좌표 값들에 오프셋을 더하고, 오프셋을 더하지 않은 다른 하나의 생체감응센서의 전체 좌표 값들과 합집합을 통해서 구성하며, 여기서 상기 좌표값과 오프셋은 양의 정수이다.

또한 상기 좌안 및 우안의 위치의 좌표 값들을 지정된 오프셋에 의해 단일 좌표로 산출하는 방법은 상기 제1 및 제2 생체감응센서들 중 어느 하나의 생체감응센서의 좌표 값에 오프셋을 더하고 이에 대응되는 다른 생체감응센서의 좌표값과 산술 평균하여 새로운 좌표영역을 할당한다.

도 8은 본 발명의 실시 예에서 사용되는 오프셋 a 값을 획득하기 위한 광피드백부의 구성을 도시하는 도면이다.

상기 도 8을 참조하면, 광피드백부140은 컨트롤러145, ADC/DAC(analog to digital converter / digital to analog converter)143 및 액츄에이터(optical actuator)141로 구성될 수 있으며, HMD처리부100의 내부에 구성될 수 있다. 상기 광학 피드백부 140은액츄에이터 141 및 ADC/DAC 143 컨트롤러145가 한개의 모듈 혹은 부분적으로 집적화할 수도 있다.먼저 사용자는 시각 지표 입력수단 을 통해 초점을 조절하기 위한 명령을 발생할 수 있으며, HMD처리부100은 이 명령에 의해 두개의 디스플레이부 123 및 125의 광축을 조절하여 중앙 초점을 맞출 수 가 있다. 이 시각 지표 입력부는 키패드, 터치패드, 센서 등으로 구성할 수 있다. 여기서 상기 시각표입력부는 상기 입력부230이 될 수 있으며, 또한 HMD처리부100에 독립적으로 설치될 수도 있다. 이때 시각지표 입력부가 입력부230이면, 사용자에 의해 발생되는 명령은 제어부 210에 입력되어 컨트롤IF를 통해 컨트롤러145에 전달 될 수 있다. 상기 컨트롤IF는 I2C 및 SBI 등등의 시리얼 입출력 포트로 설정이 가능하다. 또한 상기 시각지표 입력부는 HMD처리부100에 위치되어 사용자의 명령이 컨트롤러 145에 바로 입력될 수도 있다.

상기 컨트롤러145는 시각지표 입력부를 통해 사용자의 광축 조절 명령을 입력하거나 또는 제어부 210을 통해서 명령을 전달 받을 수 있다. 여기서 광축조절은 사용자의 안폭에 따라 감지되는 생체 감지 신호에 따라 디스플레이의 영상 표시 위치를 조절하는 것을 의미한다. 그러면 상기 컨트롤러145는 입력되는 사용자 명령 또는 제어부210에 의해 전달되는 명령을 분석하여 내부의 하드웨어 및 소프트웨어의 구성을 통해, 그 동작 영역(광축 조절 영역)을 결정하며, 결정된 동작영역에 따라 이동할 크기를 결정하여 ADC/DAC 143에 전달한다. ADC/DAC 143은 상기 광축의 이동 거리 데이터를 아날로그 구동 신호로 변환하여 액츄에이터 141에 전달한다. 그리고 상기 액츄에이터 141은 내부의 VCM 모터나 기타 동적 장치를 구동하여 HMD처리부100의 디스플레이부 123 및 125의 광축을 물리적으로 이동시키며, 이로인해 사용자의 안 폭에 맞게 중앙 초점이 조절된다. 이후 상기 액츄에이터141은광축의 이동 거리를 ADC/DAC143에 전달한다. 그리고 상기 ADC/DAC143은 상기 피드백되는 수치를 디지털 데이터로 변환하여 상기 컨트롤러145에 전달한다.

그러면 상기컨트롤러 145는 상기 피드백 수신되는 값으로부터 오프셋 a를 생성하여 제어부 210에 전달한다. 또한 상기 컨트롤러 145는 상기 피드백 결과를 제어부 210에 전송하고, 제어부210은 이 값으로부터 오프셋 a를 결정할 수도 있다. 상기와 같이 오프셋 a를 결정한 후, 상기 제어부210은 이 값을 이용하여 사용자의 선택 가능영역의 좌표를 정한 후, 상기 도 6과 같이 디스플레이부 123 및 125에 사용자의 안폭에 맞게 이미지 영역을 재구성해서 전달하고, 그에 맞게 선택영역 아이콘의 좌표를 각각 생체감응인식부 133 및 135에 할당할 수 있다. 또한 상기 제어부210은 상기 도 5와 같이 생체 감응 인식부 133 및 135에만 적절하게 선택 가능한 아이콘의 좌표를 할당할 수 도 있다.

도 9는 본 발명의 실시예에 따른 HMD 표시장치의 동작 절차를 도시하는 흐름도이다.

본 발명의 실시예에 따른 HMD 표시장치는 표시할 영상을 제1영상 및 제2영상으로 구분하여 좌안 및 우안용 디스플레이들을 통해 각각 표시한다. 이후 좌안 및 우안 생체감응 센서들을 통해 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화를 감지하며, 상기 생체변화를 감지하면 생체변화가 감지된 위치의 좌표 값을 포함하는 인터럽트 신호를 발생한다. 그리고 상기 인터럽트신호가 발생되면 수신되는 좌표값에 따라 해당 영상을 오프셋시켜 영상의 위치를 조절한 후, 상기 조절된 영상을 각각 디스플레이를 통해 표시한다.

상기 도 9를 참조하여 상기와 같은 본 발명의 실시예에 따른 HMD 표시장치의 동작 절차를 살펴보면, 제어부210은 911단계에서 피사체을 인식하며, 913단계에서 인식된 피사체의 영상을 획득한다. 이때 상기 영상 획득은 카메라모듈부110으로 촬영되는 영상이 될 수 있다. 또한 상기 제어부210이 메모리에 저장하고 있는 영상, 외부통신환경20 또는 외부인터페이스부240을 통해 수신되는 영상을 획득할 수도 있다. 이런 경우, 상기 911단계는 생략될 수 있다.

이하의 설명에서 상기 영상은 상기 카메라모듈부110으로부터 수신하며, 카메라모듈부110은 좌안 및 우안용 2개 카메라모듈로 구성된 경우를 가정한다. 또한 상기 디스플레이부120도 좌안 및 우안용 2개의 디스플레이들을 가지며, 생체감응센서부130도 좌안용 및 우안용의 2개 생체감응센서들로 구성된 것을 가정하여 설명한다.

그러면 상기 제어부210은 913단계에서 제1 및 제2영상을 수신하게 되며, 915단계에서 이를 상기 디스플레이부120에 표시하기 위한 처리 과정을 수행한다. 이때 상기 제어부210은 색변환, 스케일링 등의 기능을 구행하며, 또한 이를 저장하는 경우 상기 획득된 영상을 코딩하는 기능을 수행할 수 있다. 이후 상기 제어부210은 917단계에서 상기 처리된 제1 및 제2영상을 HMD처리부100에 출력하여 디스플레이부120이 이를 표시하도록 제어한다. 이때 상기 표시 동작은 상기 도 6과 같은 제2방법으로 수행될 수 있다.

이후 상기 제어부210은 생체감응센서부130으로부터 생체인식 결과의 수신을 대기한다. 상기 생체감응센서부130은 사용자의 눈이 특정 위치에 설정된 시간 이상 고정되면 상기 제어부210에 인터럽트 신호를 발생하고, 그때의 시각 아이콘(사용자의 눈이 고정된 위치)의 좌표 값을 상기 제어부210에 전달한다. 또한 상기 생체감응센서부130은 상기 도 8과 같은 광학피드백부140을 구비할 수 있으며, 이런 경우 상기 생체감응센서부130은 시각지표입력수단에서 발생되는 사용자의 명령에 따라 광학피드백부140이 동작되어 오프셋을 결정할 수 있다. 이런 경우 상기 생체감응센서부130은 설정되는 오프셋 값도 함께 전송할 수 있다. 그러면 상기 제어부210은 919단계에서 생체 감응을 인식하고, 921단계에서 상기 도 7에 도시된 바와 같이 양안의 인식 위치에 따라 영상을 매핑시켜 조정한다. 이후 상기 제어부210은 상기 조정된 영상을 HMD처리부100에 출력하여 조정된 영상을 표시한다.

상기와 같은 동작을 반복하면, 사용자는 좌안 및 우안에 초점이 맞춰진 제1 및 제2영상을 시청할 수 있게 된다.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

1. 헤드 마운트 디스플레이 장치에 있어서,
   좌안 및 우안 디스플레이들로 구성되는 디스플레이부와,
   좌안 및 우안 생체감응센서들로 구성되며, 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화를 감지하며, 생체변화가 감지되는 위치의 좌표 값을 포함하는 인터럽트 신호를 발생하는 생체감응센서부와,
   상기 디스플레이부에 좌안 및 우안 시청용 영상을 출력하며, 상기 인터럽트신호 발생시 수신되는 좌표값에 따라 해당 영상을 오프셋시켜 영상의 위치를 조절하도록 제어하는 제어부로 구성되고,
   상기 제어부는 좌안 좌표 평면과 우안 좌표 평면 중 적어도 하나를 상기 오프셋에 따라 수정한 후에 상기 좌안 좌표 평면 및 상기 우안 좌표 평면을 결합함으로써, 좌안의 좌표 값 및 우안의 좌표 값을 모두 포함하는 하나의 확장된 좌표 평면을 생성된 것을 특징으로 하는 장치.
2. 제1항에 있어서, 광학피드백부를 더 구비하며,
   상기 광학피드백부는,
   상기 제어부의 제어하에 영상위치 조절을 위한 위치조절 데이타를 발생하며, 피드백되는 데이타에 의해 오프셋 위치를 결정하는 컨트롤러와,
   상기 위치조절데이타를 구동신호로 변환하고, 피드백신호를 디지털 피드백 데이터로 변환하는 변환기와,
   상기 구동신호에 의해 디스플레이의 광축을 물리적으로 이동시키며, 이동시킨 거리를 상기 변환기에 피드백하는 액츄에이터로 구성되며,
   상기 컨트롤러는 피드백 결과에 따라 이동된 광축의 오프셋 값을 포함하는 인터럽트신호를 상기 제어부에 전송하는 것을 특징으로 하는 장치.
3. 제2항에 있어서, 상기 제어부는 원안 이미지를 좌안용 제1영상과 우안용 제2영상으로 구분하여 상기 디스플레이부에 전송하는 것을 특징으로 하는 장치.
4. 제3항에 있어서, 광학부자재를 더 구비하며,
   상기 제어부는 원안 이미지를 전송하며,
   상기 광학부자재가 상기 원안 이미지를 편광시켜 상기 제1영상 및 제2영상을 발생하여 상기 디스플레이부에 전달하는 것을 특징으로 하는 장치.
5. 제3항에 있어서, 카메라모듈부를 더 구비하며,
   상기 카메라모듈부는 좌안용 카메라 모듈 및 우안용 카메라 모듈을 구비하여 피사체로부터 상기 제1 및 제2영상을 획득하는 것을 특징으로 하는 장치.
6. 제3항에 있어서, 통신부를 더 구비하며,
   상기 통신부는 외부 통신환경과 무선 인터페이스 기능으로 영상 데이터를 수신하여 상기 제어부에 전달하는 것을 특징으로 하는 장치.
7. 제3항에 있어서, 외부 인터페이스부를 더 구비하며,
   상기 외부 인터페이스부는 외부장치와 근거리 통신 인터페이스 기능으로 영상데이타를 수신하여 상기 제어부 전달하는 것을 특징으로 하는 장치.
8. 헤드 마운트 디스플레이 장치의 영상 표시 방법에 있어서,
   표시할 영상을 제1영상 및 제2영상으로 구분하여 좌안 및 우안용 디스플레이들을 통해 각각 표시하는 과정과,
   좌안 및 우안 생체감응 센서들을 통해 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화 여부를 감지하는 과정과,
   상기 생체변화 감지 시 생체변화가 감지된 위치의 좌표 값을 포함하는 인터럽트 신호를 발생하는 과정과,
   상기 인터럽트신호 발생시 수신되는 좌표값에 따라 해당 영상을 오프셋시켜 영상의 위치를 조절하는 과정과,
   상기 조절된 영상을 각각 디스플레이를 통해 표시하는 과정, 혹은
   상기 좌표 값 및 오프셋을 이용하여 광학피드백부를 통해 상기 디스플레이들의 광축 거리를 사용자의 좌안 및 우안의 안폭과 동일하게 위치 조절하는 과정을 포함하고,
   상기 영상의 위치를 조절하는 과정은 좌안 좌표 평면과 우안 좌표 평면 중 적어도 하나를 상기 오프셋에 따라 수정하는 과정 및 상기 좌안 좌표 평면 및 상기 우안 좌표 평면을 결합함으로써, 좌안의 좌표 값 및 우안의 좌표 값을 모두 포함하는 하나의 확장된 좌표 평면을 생성하는 과정을 더 포한하는 것을 특징으로 하는 방법.
9. 삭제
10. 제8항에 있어서, 좌안 및 우안용 디스플레이들을 통해 각각 표시하는 과정은
    광학부자재를 더 구비하며,
    상기 광학부자재가 원안 이미지를 편광시켜 상기 제1영상 및 제2영상을 발생하여 상기 디스플레이들에 전달하는 것을 특징으로 하는 방법
11. 제8항에 있어서,
    좌안용 카메라 모듈 및 우안용 카메라 모듈을 피사체로부터 상기 제1 및 제2영상을 획득하는 과정을 더 구비하는 것을 특징으로 하는 방법.
12. 제 8항에 있어서, 상기 생체변화를 감지하는 과정은
    상기 생체감응센서에 의해 설정된 시간 동안 생체 변화가 없음을 감지하면, 생체변화가 없는 위치의 좌표 값을 생성하는 것을 특징으로 하는 방법.
13. 제 12항에 있어서, 상기 생체변화를 감지하는 과정은 상기 생체감응센서로서 아이트랙커, 각막굴절율측정장치, 중력센서들 중의 하나를 사용하는 것을 특징으로 하는 방법
14. 제 8항에 있어서, 상기 조절된 영상을 각각 디스플레이들을 통해 표시하는 과정은 상기 수신되는 좌표값에 따라 해당 영상을 오프셋시켜 영상의 위치를 조절하고, 양안의 인식 위치에 따라 영상을 매핑시켜 각각의 디스플레이들을 통해 표시하는 과정및 이 과정을 반복하는 것을 특징으로 하는 방법
15. 제 8항에 있어서, 상기 위치 조절 과정은
    상기 광학피드백부를 통해 상기 제1 및 제2 생체감응센서들에서 감지된 좌표값들을 동일 오프셋 값에 의해 조절하여 좌안 및 우안용 디스플레이 위치를 재 조정하거나, 광학부자재가 원안 이미지를 편광시키는 정도를 조정하는 것을 특징으로 하는 방법.
16. 헤드 마운트 디스플레이 장치의 사용자 입력 방법에 있어서,
    한 개 이상의 선택 항목들이 존재하는 영상을 제1영상 및 제2영상으로 구분하여 좌안 및 우안용 디스플레이들을 통해 각각 표시하는 과정과,
    상기 제 1영상 및 제 2 영상의 위치를 지정된 오프셋에 의해 사용자의 안폭에 맞게 재조정하는 과정과,
    좌안 및 우안 생체감응 센서들을 통해 상기 좌안 및 우안 디스플레이를 시청하는 사용자의 생체변화 여부를 감지하는 과정과,
    상기 생체변화 감지 시 생체변화가 감지된 좌안, 우안의 위치의 좌표 값들을 포함하는 인터럽트 신호를 발생하는 과정과,
    지정된 오프셋에 의해 기 조정된 영상의 위치에 따라, 좌안, 우안의 위치의 좌표 값들이 속한, 확장된 한 개의 통합된 좌표 영역을 구성하는 과정과,
    상기 통합된 좌표 영역을 통해 기 발생된 좌안 및 우안의 위치의 좌표 값들을 지정된 오프셋에 의해 단일 좌표로 산출하는 과정을 포함하고,
    상기 확장된 한 개의 통합된 좌표 영역을 구성하는 과정은 좌안 좌표 평면과 우안 좌표 평면 중 적어도 하나를 상기 오프셋에 따라 수정하는 과정 및 상기 좌안 좌표 평면 및 상기 우안 좌표 평면을 결합함으로써, 좌안의 좌표 값 및 우안의 좌표 값을 모두 포함하는 하나의 확장된 좌표 평면을 생성하는 과정을 더 포함하여 사용자의 선택 입력이 발생한 부분이 상기 재조정된 영상 및 통합된 좌표 영역에서 어디에 해당하는지를 알아내는 것을 특징으로 하는 방법
17. 제16항에 있어서, 생체감응센서부가 좌안, 우안의 위치의 좌표 값을 발생하는 과정은
    설정된 시간 동안 생체 변화가 없음을 감지하면, 상기 제1 및 제2 생체감응센서부가 각각 좌안 및 우안의 생체변화가 없는 위치의 좌표 값을 생성하는 것을 특징으로 하는 방법.
18. 제16항에 있어서, 확장된 한 개의 통합된 좌표 영역을 구성하는 과정은
    상기 제1 및 제2 생체감응센서들 중 어느 하나의 생체감응센서의 전체 좌표 값들에 오프셋을 더하고, 오프셋을 더하지 않은 다른 하나의 생체감응센서의 전체 좌표 값들과, 합집합을 통해서, 구성하는 것을 특징으로 하는 방법
19. 제18항에 있어서, 상기 좌표값과 오프셋은 양의 정수인 것을 특징으로 하는 방법.
20. 제16항에 있어서, 좌안, 우안의 위치의 좌표 값들을 지정된 오프셋에 의해, 단일 좌표로 산출하는 과정은,
    상기 제1 및 제2 생체감응센서들 중 어느 하나의 생체감응센서의 좌표 값에 오프셋을 더하고, 이에 대응되는 다른 생체감응센서의 좌표값과 산술 평균하여 새로운 좌표영역을 할당하는 것을 특징으로 하는 방법

Images