KR101148508B1 - 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기 - Google Patents

모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기 Download PDF

Info

Publication number
KR101148508B1
KR101148508B1 KR1020100068905A KR20100068905A KR101148508B1 KR 101148508 B1 KR101148508 B1 KR 101148508B1 KR 1020100068905 A KR1020100068905 A KR 1020100068905A KR 20100068905 A KR20100068905 A KR 20100068905A KR 101148508 B1 KR101148508 B1 KR 101148508B1
Authority
KR
South Korea
Prior art keywords
display
image
mobile device
user
face
Prior art date
Application number
KR1020100068905A
Other languages
English (en)
Other versions
KR20120008191A (ko
Inventor
황성재
류중희
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020100068905A priority Critical patent/KR101148508B1/ko
Publication of KR20120008191A publication Critical patent/KR20120008191A/ko
Application granted granted Critical
Publication of KR101148508B1 publication Critical patent/KR101148508B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

모바일 기기 디스플레이의 표시 장치가 제공된다.
상기 장치는 광각렌즈로 객체를 촬영하는 카메라부; 상기 카메라부에 의하여 촬영된 상기 객체 이미지를 평면 영상으로 보정하는 보정부; 사용자의 안면 위치 정보를 획득하는 안면 위치 추적부; 상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상이 연속적으로 보이도록 상기 평면 영상의 표시 중심점 및 배율을 결정하는 연산부; 및 상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 이미지를 상기 디스플레이에 표시하는 제어부를 포함하며, 본 발명의 상술한 장치 및 방법에 의하여 사용자 시야각에 따라 사용자에게 보여지는 모바일 기기 내의 이미지와 외부 이미지를 일치시켜, 이미지의 왜곡 또는 분리의 문제를 효과적으로 해결하며, 사용자는 마치 투명한 창을통해 증강된 객체 이미지를 보는 듯한 자연스러운 시각 인터렉션을 할 수 있다. 또한 이를 모바일 기기를 이용한 가상현실에 적용하는 경우, 증강현실의 효과를 극대화시킬 수 있고, 사용자의 몰입감이 극대화된다.

Description

모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기{A method and device for display of mobile device, and mobile device using the same}
본 발명은 모바일 기기 디스플레이 표시 장치 및 방법에 관한 것으로서, 보다 구체적으로는 사용자의 시야각을 고려하여, 실제 사용자의 시야와 일치하는 형태로 외부 객체를 모바일 기기 디스플레이에 표시할 수 있는 모바일 기기 디스플레이 표시 장치 및 방법에 관한 것이다.
최근 가상 환경(VE: Virtual Environment)과 실시계 환경(RE: Real Environment)를 서로 혼합하여 사용자에게 보다 높은 현실감을 제공하는 혼합 현실(Mixed Reality)에 대한 연구가 활발히 진행되고 있다.
혼합 현실(Mixed Reality)은 가상 환경과 실제 현실 환경 중 어느 것을 기반으로 하는가에 따라 증강현실(AR: Augmented Reality)과 증강 가상 현실(AV: Augmented Virtuality)로 나누어진다. 여기에서, 증강현실(Augmented Reality)은 실세계에 3차원 가상물체를 겹쳐 보여주는 기술로, 사용자가 보고 있는 실사 영상에 가상 영상을 겹쳐(overlap), 현실 환경과 가상화면의 구분이 모호해지도록 하여 사용자를 더욱 몰입하게 하는 기술이다. 이러한 증강현실에서 사용자가 보고 있는 실사 영상의 표시는 매우 중요한 기술 요소인데, 왜냐하면 사용자는 모바일 기기에 표시되는 실사 영상과 모바일 기기 바깥으로 보이는 외부 이미지가 겹쳐지지 않음으로써, 사용자는 마치 두 개의 다른 영상 이미지를 보는 듯한 착각을 일으키어, 증강현실에 몰입하기 어렵게 되는 문제가 있다.
도 1a는 실제 모바일 기기로부터 보여지는 이미지와 외부 이미지가 겹쳐지지 않음으로써 마치 두 개의 다른 객체(모바일 기기 영상 내의 객체와 모바일 기기 외부의 객체로서, 도 1a에서는 Starbucks라는 상점이 객체에 해당함)가 사용자에게 보이는 사진이다.
또한 도 1b는 실제 모바일 기기로부터 보여지는 시점이 사용자의 시점과 겹쳐져서 하나의 객체가 마치 두 개의 객체처럼 보이는 사진이다. 이러한 경우 사용자는 실세계에 3차원 가상물체가 겹쳐있다고 느끼게 되는 사용자 경험을 할수 없게 되버리는 단점이 있다.
도 2 또한 비록 하나의 객체이지만, 두 객체의 외곽선이 서로 일치하지 않음으로써, 하나의 객체가 분리(separated)된 듯한 이미지가 사용자에게 보이는 사진이다. 만약, 이러한 문제를 제거한 이상적인 모바일 기기의 객체 표시는 도 3과 같다.
도 3을 참조하면, 사용자가 보는 모바일 기기 영상과 외부 객체의 이미지는 서로 일치하여, 하나의 객체가 일부는 모바일 기기 외부에, 또 다른 일부는 모바일 기기의 디스플레이에 표시되며, 이로써 사용자는 객체의 관심 영역만을 모바일 기기로 표시하는 듯한 느낌을 받게 되어, 인지 부조화를 없애 증강 현실의 효과를 극대화시키게 된다. 하지만, 현재까지 개시된 기술 중 모바일 기기 영상에서의 이러한 이미지 왜곡 문제를 효율적으로 해결한 것은 개시되지 않는다.
따라서, 본 발명이 해결하고자 하는 과제는 사용자의 시야에 따라 표시되는 이미지가 변화되어, 모바일 기기에서 표시되는 이미지와 외부 이미지를 일치시켜 이미지 왜곡의 문제를 해결할 수 있는 모바일 디스플레이 표시 장치에 관한 것이다.
본 발명이 해결하려는 또 다른 과제는 사용자의 시야에 따라 표시되는 이미지가 변화되어, 모바일 기기에서 표시되는 이미지와 외부 이미지를 일치시켜 이미지 왜곡 문제를 해결할 수 있는 어안렌즈를 이용한 모바일 디스플레이 표시 방법에 관한 것이다.
본 발명이 해결하려는 또 다른 과제는 상기 표시 장치를 구비하는 모바일 기기 및 이를 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상기 과제를 해결하기 위하여, 본 발명은 모바일 기기 디스플레이의 표시 장치로서, 상기 장치는 광각렌즈로 객체를 촬영하는 카메라부; 상기 카메라부에 의하여 촬영된 상기 객체 이미지를 평면 영상으로 보정하는 보정부; 사용자의 안면 위치 정보를 획득하는 안면 위치 추적부; 상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상이 연속적으로 보이도록 상기 평면 영상의 표시 중심점 및 배율을 결정하는 연산부; 및 상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 영상을 상기 디스플레이에 표시하는 제어부를 포함하는 것을 특징으로 하는 모바일 기기의 디스플레이 표시 장치를 제공한다.
본 발명의 일 실시예에서 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리이며, 상기 외부 이미지는 상기 모바일 기기 바깥으로 사용자에게 보이는 객체 이미지이다.
본 발명의 또 다른 일 실시예에서 상기 광각 렌즈는 어안렌즈이며, 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 연산부는 상기 평면 영상 중 상기 시야각이 연장된 영역 내의 일 지점을 표시 중심점으로 결정한다.
본 발명의 또 다른 일 실시예에서 상기 연산부는 사용자의 안면 거리가 클수록 상기 배율이 감소하는 방식으로 상기 배율을 결정한다.
본 발명은 상기 또 다른 과제를 해결하기 위하여, 상술한 모바일 기기 디스플레이 표시 장치를 구동시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다. 또한, 본 발명은 상술한 모바일 기기 디스플레이 표시 장치를 포함하는 모바일 기기를 제공한다.
상기 또 다른 과제를 해결하기 위하여, 본 발명은 모바일 기기 디스플레이의 표시방법으로, 상기 방법은 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계; 상기 왜곡 이미지를 평면 이미지로 보정하는 단계; 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계; 상기 검출된 안면 위치 정보에 따라, 상기 보정된 평면 이미지의 배율 및 표시 중심점을 결정하는 단계; 및 상기 결정된 표시 중심점 및 배율에 따라 상기 평면 이미지를 추출하여, 표시하는 단계를 포함하며, 여기에서 상기 추출, 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법을 제공한다.
본 발명의 또 다른 일 실시예는 모바일 기기 디스플레이의 표시방법으로, 상기 방법은 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계; 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계; 상기 검출된 안면 위치 정보에 따라, 상기 왜곡 이미지의 왜곡 보정 지점 및 배율을 결정하는 단계; 상기 결정된 왜곡 보정 지점을 중심으로 상기 왜곡 이미지를 구면 이미지에서 평면 이미지로 보정한 후, 상기 결정된 배율에 따라 상기 평면 이미지를 확대/축소하는 단계; 상기 평면 이미지를 상기 디스플레이에 표시하는 단계를 포함하며, 여기에서 상기 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법을 제공한다.
본 발명의 일 실시예에서 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리이며, 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 영역 내의 상기 평면 이미지 일 지점이 표시 중심점으로 결정된다.
본 발명의 또 다른 일 실시예에서 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리이며, 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 선을 기준으로 상기 구면 이미지의 왜곡 보정 지점이 결정된다. 또한, 사용자 안면과 디스플레이 사이의 거리가 멀수록 배율은 감소한다.
본 발명의 상술한 장치 및 방법에 의하여 사용자 시야각에 따라 사용자에게 보여지는 모바일 기기 내의 이미지와 외부 이미지를 일치시켜, 이미지의 왜곡 또는 분리의 문제를 효과적으로 해결하며, 사용자는 마치 투명한 창을통해 증강된 객체 이미지를 보는 듯한 자연스러운 시각 인터렉션을 할 수 있다. 또한 이를 모바일 기기를 이용한 가상현실에 적용하는 경우, 증강현실의 효과를 극대화시킬 수 있고, 사용자의 몰입감이 극대화된다.
더 나아가, 본 발명에 따른 디스플레이 표시 장치 및 방법은 어안렌즈를 사용하므로, 모바일 기기 전면의 외부 영역 모두를 실질적인 표시 대상으로 할 수 있으며, 더 나아가 이러한 어안렌즈가 안면 추적부와 함께 사용됨으로써 사용자로 하여금 사실적인 영상을 획득할 수 있게끔 한다.
도 1a, 도 1b 및 도 2는 종래 기술에 대한 문제점을 설명하는 사진이다.
도 3은 본 발명에서 구현하는 이미지에 대한 사진이다.
도 4는 본 발명의 일 실시예에 따라 시야각 및 그 배율이 조정된 후의 이미지이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 표시 장치의 시야각 조절 방법을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 표시 장치의 블록도이다.
도 7은 본 발명에 따른 안면 위치 추적부(530)에 의하여 얻어지는 안면 위치 정보인 안면 각도 및 거리를 설명하는 도면이다.
도 8 및 9는 본 발명에 따른 디스플레이 표시 장치에서 사용자의 안면 각도에 따라 시야각이 조절되는 방식을 설명하는 도면이다.
도 10은 표시 중심점을 시야각 영역 내에 설정하는 방식을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 모바일 기기 디스플레이의 표시방법의 단계도이다.
도 12는 본 발명의 또 다른 일 실시예에 따른 모바일 기기 디스플레이의 표시방법의 단계도이다 .
이하, 본 발명을 도면을 참조하여 상세하게 설명하고자 한다. 다음에 소개되는 실시예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서 본 발명은 이하 설명된 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
도 4 및 5는 이미지 왜곡 및 변형 발생과 본 발명에 따라 영상 이미지와 외부 이미지를 연속적으로 구성하는 방식을 설명하는 도면이다.
도 4는 객체(110)를 모바일 기기(100)에 구비된 카메라(미도시)로 촬영하여 모바일 기기(100)의 디스플레이(120)에 표시한 경우를 나타낸다.
도 4를 참조하면, 하나의 객체는 모바일 기기의 바깥쪽 이미지(110a, 이하 외부 이미지)와 디스플레이에 표시되는 이미지(110b, 이하 객체 이미지)로 표시된다. 하지만, 사용자의 시야각 및 거리(이는 사용자 안면과 디스플레이 사이의 각도 및 거리에 대응한다)에 따라, 두 이미지가 서로 연속하지 않는다는 문제가 있다. 이 경우, 마치 두 개의 객체가 불연속적으로 표시되므로, 사용자는 이를 서로 다른 객체라는 직관으로 느끼게 되는 문제가 있다. 따라서, 본 발명은 이러한 문제를 해결하기 위하여, 먼저 보다 넓은 영역으로 객체를 촬영할 수 있는 광각렌즈를 사용하여 외부 객체를 촬영하며, 본 발명의 일 실시예에서 어안렌즈를 사용하여 외부 객체의 이미지를 얻었다. 하지만, 어안렌즈 이외의 임의의 광학렌즈(광각렌즈)가 본 발명에 따른 디스플레이 표시 장치에 사용될 수 있으며, 이는 본 발명의 범위에 속한다.
도 5는 본 발명의 일 실시예에 따라 시야각 및 그 배율이 조정된 후의 이미지이다.
도 5를 참조하면, 본 발명에 따른 디스플레이 표시 장치에 의하여 상기 보정된 평면 영상 중 객체(연필)의 앞 부분 중 일 지점이 표시 중심점(P)으로 설정되고, 그 배율이 확대됨으로써, 외부 이미지와 디스플레이에 표시되는 객체 이미지가 연속적으로 표시되도록 한다. 즉, 본 발명은 사용자가 디스플레이를 통하여 객체 이미지를 보는 시야각(안면 각도)과 그 거리로부터, 평면 영상의 표시 지점 및 해당 표시 지점의 배율을 결정한다. 이때 상기 평면 영상은 넓은 시야각을 갖는 어안렌즈로부터 촬영된 구면 이미지(왜곡 이미지)로부터 추출, 보정된 것이므로, 상기 평면 영상은 매우 넓은 영역 범위 및 시야각을 가지게 된다. 따라서, 본 발명은 어안 렌즈를 통하여 사용자의 시야각과 일치하는 각도의 평면 영상을 얻을 수 있고, 상기 얻어진 영상을 거리에 대응하여 확대/축소시킨다. 즉, 본 발명은 어안렌즈를 통하여 마치 종래의 카메라를 회전시키며 객체 이미지 각도를 조절하는 것과 동일한 효과를 얻게 한다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 표시 장치의 블록도이다.
도 6을 참조하면, 본 발명에 따른 모바일 기기 디스플레이의 표시 장치는 광각렌즈로 객체를 촬영하는 카메라부(610); 상기 카메라부(610)에 의하여 촬영된 상기 객체 이미지를 평면 영상으로 보정하는 보정부(620); 사용자의 안면 위치 정보를 획득하는 안면 위치 추적부(630); 상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상이 연속적으로 보이도록 상기 평면 영상의 표시 중심점 및 배율을 결정하는 연산부(640); 및 상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 영상을 상기 디스플레이에 표시하는 제어부(650)를 포함한다. 즉, 본 발명에 따른 표시 장치는 사용자와 디스플레이 사이의 시야각 및 거리를 측정하기 위한 안면 위치 추적부(630), 즉, 헤드 트렉커(head tracker)와 광각렌즈, 즉 어안렌즈를 동시에 구비함으로써, 모바일 기기를 보는 사용자의 시야와 카메라 촬영 각도를 동일하게 구성한다.
도 7은 본 발명에 따른 안면 위치 추적부(630)에 의하여 얻어지는 안면 위치 정보, 즉, 안면 각도 및 거리를 설명하는 도면이다.
도 7을 참조하면, 모바일 기기(100)의 디스플레이 중심점(120)을 기준으로, 사용자의 안면이 좌측과 우측에 있는 경우, 디스플레이 중심을 기준으로 각도 및 거리에 관한 정보가 획득될 수 있다. 따라서, 상기 안면 위치 추적부(630)는 사용자 머리의 위치와 그 이동을 측정하기 위한 별도의 카메라 모듈을 더 구비할 수 있다. 하지만, 이와 달리 상기 모바일 기기와 사용자의 상대적 거리, 각도는 안면 추적부의 카메라 등을 기준할 수 있으며, 적어도 모바일 기기를 중심으로 거리 및 각도를 검출할 수 있는 한, 이는 본 발명의 범위에 속한다.
도 8 및 9는 본 발명에 따른 디스플레이 표시 장치에서 사용자의 안면 각도에 따라 시야각이 조절되는 방식을 설명하는 도면이다.
도 8을 참조하면, 사용자의 시야각(810)과 모바일 기기 카메라가 촬영하는 촬영각(820)은 서로 동일한 각도가 아닐 수 있으며, 이 경우 카메라로부터 보여지는 이미지(821)와 사용자가 눈으로 확인하는 이미지(811)는 비록 동일 객체라 하더라도 서로 일치하지 않게 된다.
도 9를 참조하면, 카메라의 촬영각(820)와 사용자의 시야각(810)을 일치시키는 경우, 동일한 시야각에 따라 동일 객체의 연속된 이미지를 얻을 수 있다. 이 경우, 통상적인 렌즈가 아닌, 보다 확대된 영역으로 이미지를 촬영하여, 추출할 수 있는 렌즈가 필요한데, 본 발명자는 구면 렌즈 형태인 어안렌즈에 주목하였다.
통상적으로 어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안렌즈는 광역의 영상을 획득할 수 있도록 하나, 이때의 획득한 영상은 심한 왜곡을 가진다. 이에 어안렌즈를 구비하는 카메라를 이용하는 시스템은 어안렌즈를 통해 광역의 영상을 획득하고, 이의 왜곡을 보정하여 사용자가 필요로 하는 영상을 제공하여 준다. 이러한 영상의 왜곡을 보정하기 위해 현재 많은 영상 보정 방법이 개시되고 사용되고 있는데, 그 예로는 Nayar 방법과 Xianghua 방법들이 있다.
본 발명의 일 실시예에서는 먼저 광역으로 촬영된 왜곡 이미지(곡면 이미지)를 평면 이미지로 보정하며, 이 경우, 광역으로 확대된 평면 이미지가 나오게 된다. 이때 상기 평면 이미지 중 어느 지점을 중심으로 한 평면 이미지를 추출, 표시하는지에 따라 카메라 촬영각 변경과 동일한 효과가 발생한다.
본 발명의 일 실시예에서는 평면 이미지 중 사용자의 시야각이 연장된 영역 내의 일 지점이 표시 중심점, 즉, 평면 이미지 일부가 추출되어, 표시되는 중심점이 된다.
도 10은 표시 중심점을 시야각 영역 내에 설정하는 방식을 설명하기 위한 도면이다.
도 10을 참조하면, 모바일 기기(910)를 보는 사용자 안면(920)이 개시되며, 상기 사용자 안면(920) 각도로부터, 소정 각도로 기울어진 시야각(930)이 계산된다. 특히, 어안렌즈에 의하여 미리 촬영된 후, 왜곡 보정된 평면 이미지(940)는 상당히 넓은 광역의 이미지를 포함하는 데, 이때 사용자의 시야각이 연장된 영역(940a) 중 임의의 일 지점에 상기 표시 중심점이 결정되고, 상기 결정된 표시 중심점을 기준으로 상기 평면 이미지가 추출되어, 표시된다.
본 발명은 시야각에 따른 카메라 촬영 각도 변경뿐만 아니라, 사용자와 모바일 기기 사이의 거리에 따라 추출된 이미지 배율이 가변적으로 결정되는데, 본 발명의 일 실시예에서는 사용자 안면과 모바일 기기 사이의 거리가 멀수록 표시되는 이미지 배율이 감소된다. 이는 사용자가 모바일 기기 사이의 거리가 멀수록, 외부 객체와 사용자 사이의 거리 또한 멀어지는 특성을 고려한 것이다.
본 발명은 또 다른 과제를 해결하기 위하여, 표시되는 이미지와 외부 이미지를 연속하게 하는, 즉, 동일 객체인 경우 그 형태를 일치시키는 모바일 기기 디스플레이의 표시방법을 제공한다.
도 11은 본 발명의 일 실시예에 따른 모바일 기기 디스플레이의 표시방법의 단계도이다.
도 11을 참조하면, 먼저 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득한다(S100). 이후 상기 획득된 왜곡 이미지를 평면 이미지로 보정하며(S110), 이에 따라 넓은 영역으로 촬영된 평면 이미지가 얻어진다. 또한, 본 발명에 따른 표시방법은 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는데(S120), 상기 안면 위치 정보 검출은 상술한 S100, S110 단계와 독립적으로 진행될 수 있으며, 본 발명에서 상기 안면 위치 정보는 모바일 기기와 사용자 안면 사이의 각도 및 거리를 포함한다. 이후 상기 검출된 안면 위치 정보에 따라, 상기 보정된 평면 이미지의 배율 및 표시 중심점이 결정되고(S130), 상기 결정된 배율 및 표시 중심점을 기준으로 상기 평면 이미지를 추출하여, 표시한다(S140). 이로써 상기 추출, 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하게 되며, 이는 마치 카메라를 적당한 위치로 회전, 이동시켜, 외부 이미지와 일치하는 디스플레이 이미지를 획득하는 것과 동일한 방식이다.
본 발명은 더 나아가, 미리 왜곡 이미지를 평면 이미지로 보정하는 후, 이로부터 표시 중심점을 설정하는 대신, 왜곡 이미지 자체에서 왜곡 보정 지점을 설정하는 방식을 제공하며, 이는 하기 도 12에 도시된 바와 같다.
도 12를 참조하면, 본 발명에 따른 모바일 기기 디스플레이의 표시방법은 어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계(S101); 상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계(S111); 상기 검출된 안면 위치 정보에 따라, 상기 왜곡 이미지의 왜곡 보정 지점 및 배율을 결정하는 단계(S121); 상기 결정된 왜곡 보정 지점을 중심으로 상기 왜곡 이미지를 구면 이미지에서 평면 이미지로 보정한 후, 상기 결정된 배율에 따라 상기 평면 이미지를 확대/축소하는 단계(S131); 상기 평면 이미지를 상기 디스플레이에 표시하는 단계(S141)를 포함하며, 여기에서 상기 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하게 된다. 이때 상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리를 포함할 수 있다.
또한 상기 왜곡 보정 지점 및 표시 중심 지점은 상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 영역 내의 상기 평면 이미지 또는 왜곡 이미지의 일 지점이 될 수 있다. 이는 도 8에서 설명한 바와 동일한 방식이므로, 이하 생략한다. 또한 사용자와 모바일 기기 사이의 거리에 따라 추출된 평면 이미지의 배율은 가변적으로 변하게 되는데, 본 발명의 일 실시예에서 상기 거리가 멀수록 배율이 감소한다.
본 발명에 따른 표시 장치 및 방법은 특히 손으로 이동가능한 모바일 기기, 예를 들면, 휴대전화, 노트북, 넷북 등에 사용가능하나, 이 외에도 통상의 퍼스널 컴퓨터 등에서도 사용가능하다.
본 발명은 이상의 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.
또한, 본 발명에 따른 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (15)

  1. 모바일 기기 디스플레이의 표시 장치로서, 상기 장치는
    광각렌즈로 객체를 촬영하는 카메라부;
    상기 카메라부에 의하여 촬영된 상기 객체 이미지를 평면 이미지로 보정하는 보정부;
    사용자의 안면 위치 정보를 획득하는 안면 위치 추적부;
    상기 안면 위치 추적부에 의하여 획득된 사용자의 안면 위치 정보에 대응하여, 객체의 외부 이미지와 상기 디스플레이에 표시되는 평면 영상가 연속적으로 보이도록 상기 평면 이미지의 표시 중심점 및 배율을 결정하는 연산부;
    상기 결정된 표시 중심점 및 배율을 기준으로 상기 평면 이미지를을 상기 디스플레이에 표시하는 제어부를 포함하는 것을 특징으로 하는 모바일 기기의 디스플레이 표시 장치.
  2. 제 1항에 있어서,
    상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리인 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.
  3. 제 1항에 있어서,
    상기 외부 이미지는 상기 모바일 기기 바깥으로 사용자에게 보이는 객체 이미지인 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.
  4. 제 1항에 있어서,
    상기 광각 렌즈는 어안렌즈인 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.
  5. 제 2항에 있어서,
    상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 연산부는 상기 평면 영상 중 상기 시야각이 연장된 영역 내의 일 지점을 표시 중심점으로 결정하는 모바일 기기의 디스플레이 표시 장치.
  6. 제 1항에 있어서,
    상기 연산부는 사용자의 안면 거리가 클수록 상기 배율이 감소하는 방식으로 상기 배율을 결정하는 것을 특징으로 하는 모바일 기기 디스플레이 표시 장치.
  7. 삭제
  8. 제 1항 내지 제 6항 중 어느 한 항에 따른 모바일 기기 디스플레이 표시 장치를 포함하는 모바일 기기.
  9. 모바일 기기 디스플레이의 표시방법으로, 상기 방법은
    어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계;
    상기 왜곡 이미지를 평면 이미지로 보정하는 단계;
    상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계;
    상기 검출된 안면 위치 정보에 따라, 상기 보정된 평면 이미지의 배율 및 표시 중심점을 결정하는 단계; 및
    상기 결정된 표시 중심점 및 배율에 따라 상기 평면 이미지를 추출하여, 표시하는 단계를 포함하며, 여기에서 상기 추출, 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.
  10. 모바일 기기 디스플레이의 표시방법으로, 상기 방법은
    어안렌즈로 외부 객체에 대한 왜곡 이미지를 획득하는 단계;
    상기 모바일 기기 사용자의 안면 위치 정보를 검출하는 단계;
    상기 검출된 안면 위치 정보에 따라, 상기 왜곡 이미지의 왜곡 보정 지점 및 배율을 결정하는 단계;
    상기 결정된 왜곡 보정 지점을 중심으로 상기 왜곡 이미지를 구면 이미지에서 평면 이미지로 보정한 후, 상기 결정된 배율에 따라 상기 평면 이미지를 확대/축소하는 단계;
    상기 평면 이미지를 상기 디스플레이에 표시하는 단계를 포함하며, 여기에서 상기 표시된 평면 이미지는 상기 모바일 기기 바깥으로 표시되는 외부 객체 이미지와 연속하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.
  11. 제 10항에 있어서,
    상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리인 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.
  12. 제 11항에 있어서,
    상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 영역 내의 상기 평면 이미지 일 지점을 표시 중심점으로 결정하는 모바일 기기의 디스플레이 표시방법.
  13. 제 10항에 있어서,
    상기 안면 위치 정보는 상기 디스플레이 중심점을 기준으로 한 안면 각도 및 상기 모바일 기기와 안면 사이의 거리인 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.
  14. 제 12항에 있어서,
    상기 안면 각도로부터 계산된 사용자 시야각에 따라 상기 시야각이 연장된 선을 기준으로 상기 구면 이미지의 왜곡 보정 지점이 결정되는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.
  15. 제 11항 또는 제 13항에 있어서,
    상기 거리가 멀수록 배율이 감소하는 것을 특징으로 하는 모바일 기기 디스플레이의 표시방법.
KR1020100068905A 2010-07-16 2010-07-16 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기 KR101148508B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100068905A KR101148508B1 (ko) 2010-07-16 2010-07-16 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100068905A KR101148508B1 (ko) 2010-07-16 2010-07-16 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기

Publications (2)

Publication Number Publication Date
KR20120008191A KR20120008191A (ko) 2012-01-30
KR101148508B1 true KR101148508B1 (ko) 2012-05-25

Family

ID=45613248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100068905A KR101148508B1 (ko) 2010-07-16 2010-07-16 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기

Country Status (1)

Country Link
KR (1) KR101148508B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101923177B1 (ko) * 2012-04-04 2019-02-27 삼성전자주식회사 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
KR102079097B1 (ko) * 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
KR101588971B1 (ko) 2013-11-22 2016-01-27 삼성전기주식회사 카메라의 촬영 방향 및 화각 제어 시스템 및 그 방법
US9525817B2 (en) 2013-11-22 2016-12-20 Samsung Electro-Mechanics Co., Ltd. System and method of controlling imaging direction and angle of view of camera
US10120635B2 (en) * 2016-03-09 2018-11-06 Samsung Electronics Co., Ltd. Configuration and operation of display devices including device management
CN111091507A (zh) * 2019-12-09 2020-05-01 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
KR102406921B1 (ko) * 2020-12-04 2022-06-10 (주)딥인사이트 모놀리식 아키텍처를 가지는 광학 장치 및 그 제조 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030686A (ja) 2001-07-19 2003-01-31 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
KR20060104606A (ko) * 2005-03-31 2006-10-09 주식회사 팬택 촬영자 거리에 기반한 카메라 줌 제어 장치 및 그 방법
KR20100006652A (ko) * 2008-07-10 2010-01-21 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
KR20100048747A (ko) * 2008-10-31 2010-05-11 한국과학기술원 안면 추적을 이용한 모바일 유저 인터페이스 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030686A (ja) 2001-07-19 2003-01-31 Konami Co Ltd ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム
KR20060104606A (ko) * 2005-03-31 2006-10-09 주식회사 팬택 촬영자 거리에 기반한 카메라 줌 제어 장치 및 그 방법
KR20100006652A (ko) * 2008-07-10 2010-01-21 성균관대학교산학협력단 시선 인식을 이용한 풀 브라우징 방법 및 이를 적용한휴대용 단말기
KR20100048747A (ko) * 2008-10-31 2010-05-11 한국과학기술원 안면 추적을 이용한 모바일 유저 인터페이스 장치

Also Published As

Publication number Publication date
KR20120008191A (ko) 2012-01-30

Similar Documents

Publication Publication Date Title
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
KR101148508B1 (ko) 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기
US11050994B2 (en) Virtual reality parallax correction
KR20180111798A (ko) 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
JP2018524832A (ja) パノラマバーチャルリアリティコンテンツの全方位ステレオキャプチャおよびレンダリング
CN108463840B (zh) 信息处理设备、信息处理方法以及记录介质
EP2328125A1 (en) Image splicing method and device
JP2018518078A (ja) カメラリグおよび立体画像キャプチャ
US10567649B2 (en) Parallax viewer system for 3D content
WO2014122477A1 (en) Improvements in and relating to image making
CN113518996A (zh) 从多视图视觉数据进行损坏检测
US11720996B2 (en) Camera-based transparent display
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
CN110855972A (zh) 图像处理方法以及电子设备和存储介质
KR20200056721A (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
US20230018560A1 (en) Virtual Reality Systems and Methods
JP2018033107A (ja) 動画の配信装置及び配信方法
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2017199958A (ja) 撮像装置、その制御方法、および制御プログラム
CN108027646B (zh) 一种终端显示防抖方法及装置
KR20170044319A (ko) 헤드 마운트 디스플레이의 시야 확장 방법
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
WO2018083757A1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee