KR20140070990A - 증강현실을 구현하기 위한 단말 및 그 방법 - Google Patents

증강현실을 구현하기 위한 단말 및 그 방법 Download PDF

Info

Publication number
KR20140070990A
KR20140070990A KR1020120138774A KR20120138774A KR20140070990A KR 20140070990 A KR20140070990 A KR 20140070990A KR 1020120138774 A KR1020120138774 A KR 1020120138774A KR 20120138774 A KR20120138774 A KR 20120138774A KR 20140070990 A KR20140070990 A KR 20140070990A
Authority
KR
South Korea
Prior art keywords
camera
terminal
attribute information
camera attribute
stored
Prior art date
Application number
KR1020120138774A
Other languages
English (en)
Other versions
KR101981964B1 (ko
Inventor
조규성
신대규
조익환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120138774A priority Critical patent/KR101981964B1/ko
Priority to US14/095,205 priority patent/US9245185B2/en
Publication of KR20140070990A publication Critical patent/KR20140070990A/ko
Application granted granted Critical
Publication of KR101981964B1 publication Critical patent/KR101981964B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실을 구현하기 위한 단말 및 방법에 관한 것이다.
이를 위해 본 발명은 하나 이상의 카메라에 대한 카메라 속성 정보를 저장하는 카메라 속성 정보 제공 서버와, 증강현실을 기반으로 하는 어플리케이션을 구동할 시 카메라 속성 정보 제공 서버로 단말에 구비된 카메라에 대한 카메라 속성 정보를 수신하여 저장하고, 저장된 카메라 속성 정보를 이용하여 증강현실을 구현하는 단말을 포함함으로써 영상과 가상 오브젝트가 정확하게 정합된 증강현실을 제공할 수 있게 된다.

Description

증강현실을 구현하기 위한 단말 및 그 방법{TERMINAL AND METHOD FOR REALIZING VIRTUAL REALITY}
본 발명은 증강현실을 구현하기 위한 단말 및 그 방법에 관한 것으로, 특히 단말이 증강현실을 구현할 시 영상과 가상 오브젝트가 정확하게 정합된 증강현실을 구현하기 위한 단말 및 그 방법에 관한 것이다.
일반적으로 현재 단말은 전면 또는 후면에 카메라가 장착되어 있다. 이러한 단말에서 증강현실 어플리케이션을 실행할 시 후면에 장착된 카메라로부터 영상을 입력받고, 입력된 영상을 센서 또는 영상 분석을 통해 단말의 위치와 방향을 판단한다. 이후 단말은 판단된 단말의 위치와 방향을 기반으로 표시하고자 하는 관심 위치 또는 오브젝트를 결정하고, 가상 오브젝트를 생성한 후 입력된 영상에 생성된 가상 오브젝트를 합성하여 표시한다. 여기서, 단말은 카메라 속성 정보를 이용하여 입력된 영상에 생성된 가상 오브젝트를 합성하는데, 카메라 속성 정보는 카메라의 화각, 초점거리 등을 포함한다.
상기와 같이 종래의 단말은 카메라로부터 입력된 영상을 통해서 단말의 위치와 방향을 판단하고, 판단된 위치와 방향을 기반으로 표시하고자 하는 관심 위치 및 오브젝트를 결정한 후 가상 오브젝트를 합성하였다.
하지만, 종래에는 다양한 종류의 단말이 제작되어 출시되고, 이러한 단말이 다양한 종류의 카메라를 장착하고 있기 때문에 모든 단말에 대한 카메라 속성 정보를 알기 어렵다.
또한 종래에는 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 이용하여 증강현실을 구현하기 때문에 입력된 영상과 가상 오브젝트가 정확하게 정합되지 않는다는 문제점이 있었다.
따라서, 본 발명에서는 입력된 영상과 가상 오브젝트가 정확하게 정합된 증강현실을 구현하기 위한 단말 및 그 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 증강현실을 구현하기 위한 단말에 있어서, 상기 단말에 대한 위치 또는 방향을 감지하는 센서와, 영상을 출력하는 카메라부와, 상기 센서로부터 감지된 단말에 대한 위치 및 방향을 이용하여 상기 단말의 자세를 추정하는 단말 자세 추정부와, 상기 카메라부로부터 입력된 영상에 가상 오브젝트를 합성하는 가상 오브젝트 합성부와, 증강현실 구현 요청 시 카메라 속성 정보가 저장되어 있는지 판단하여 상기 카메라 속성 정보가 저장되어 있지 않으면 카메라 속성 제공 서버로 상기 단말의 카메라 속성 정보를 요청하고, 상기 요청된 카메라 속성 정보가 수신되면 상기 카메라 속성 정보와 상기 추정된 자세를 기반으로 상기 영상에 상기 가상 오브젝트를 합성하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 증강현실 구현 단말에서 증강현실을 구현하기 위한 방법에 있어서, 증강현실 구현 요청 시 상기 단말에 대한 위치 또는 방향을 감지하는 과정과, 상기 센서로부터 감지된 단말에 대한 위치 및 방향을 이용하여 상기 단말의 자세를 추정하는 과정과, 카메라 속성 정보가 저장되어 있는지 판단하는 과정과, 상기 카메라 속성 정보가 저장되어 있지 않으면 카메라 속성 제공 서버로 상기 단말의 카메라 속성 정보를 요청하는 과정과, 상기 요청된 카메라 속성 정보가 수신되면 상기 수신된 카메라 속성 정보와 상기 추정된 자세를 기반으로 상기 영상에 상기 가상 오브젝트를 합성하는 과정을 포함함을 특징으로 한다.
본 발명은 각 단말이 구비하는 카메라에 대한 카메라 속성 정보를 제공함으로써 영상과 가상 오브젝트간의 정확하게 정합된 증강현실을 구현할 수 있다는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 증강현실을 구현하기 위한 시스템의 구성도,
도 2는 본 발명의 실시 예에 따른 대한 카메라 속성 정보 제공 서버의 구성도,
도 3는 본 발명의 실시 예에 따라 증강현실을 구현하기 위한 단말의 구성도,
도 4는 본 발명의 실시 예에 따른 단말이 증강현실을 구현하는 과정을 나타내는 흐름도.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 하나 이상의 카메라에 대한 카메라 속성 정보를 저장하는 카메라 속성 정보 제공 서버와, 증강현실을 기반으로 하는 어플리케이션을 구동할 시 카메라 속성 정보 제공 서버로 단말에 구비된 카메라에 대한 카메라 속성 정보를 수신하여 저장하고, 저장된 카메라 속성 정보를 이용하여 증강현실을 구현하는 단말을 포함함으로써 영상과 가상 오브젝트가 정확하게 정합된 증강현실을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 증강현실을 구현하기 위한 시스템의 구성도이다.
본 발명의 증강현실 구현 시스템은 단말(100)과 카메라 속성 제공 서버(200)를 포함한다. 본 발명에서는 하나의 단말이 증강현실을 구현하는 것을 예로 설명하였으나, 하나 이상의 단말에서도 가능할 것이다.
단말(100)은 증강현실을 기반으로 하는 어플리케이션이 실행되면 단말(100)이 구비한 카메라에 대한 카메라 속성 정보가 저장되어 있는지 확인하여 카메라 속성 정보가 저장되어 있으면 저장된 카메라 속성 정보를 이용하여 증강현실을 구현한다.
카메라 속성 제공 서버(200)는 하나 이상의 단말에 대한 카메라 속성 정보를 저장한다. 이때, 카메라 속성 정보는 카메라가 세상을 바라보는 화각(field of view), 렌즈로부터 카메라 센서에 이르는 초점거리(focal length) 중 적어도 하나를 포함한다. 또한, 카메라 속성 정보는 카메라 센서의 픽셀에 대한 가로, 세로비(aspect ratio), 카메라 센서의 픽셀에 대한 기울기(skewness), 카메라 센서에서 중심정의 픽셀 좌표(principal point), 구면 왜곡을 보정하기 위한 파라미터 (distortion coefficient)를 더 포함할 수 있다. 뿐만 아니라, 카메라 속성 정보는 카메라에서 사용되는 해상도 정보를 더 포함할 수 있다.
도 2는 본 발명의 실시 예에 따른 증강현실을 구현하기 위한 단말의 구성도이다.
본 발명의 단말(100)은 제어부(110), 센서부(120), 카메라부(130), 단말 자세 추정부(140), 가상 오브젝트 합성부(150), 디스플레이부(160), 저장부(170)를 포함한다.
제어부(110)는 단말(100)의 전반적인 동작을 제어하는데, 특히 제어부(110)는 증강현실 기반의 어플리케이션이 실행되면 저장부(170)에 카메라부(130)에 대한 카메라 속성 정보가 저장되어 있는지 여부를 판단한다.
만약 카메라 속성 정보가 저장되어 있으면 제어부(110)는 저장된 카메라 속성 정보를 이용하여 증강현실을 구현한다. 구체적으로 제어부(110)는 저장된 카메라 속성 정보를 이용하여 단말(100)의 위치 및 방향을 판단하고, 판단된 단말의 위치와 방향을 기반으로 표시하고자 하는 관심 위치 또는 오브젝트를 결정한 후 가상 오브젝트를 생성하여 입력된 영상에 생성된 가상 오브젝트를 합성한다. 이후 제어부(110)는 합성된 결과를 디스플레이부(160)를 통해서 표시한다.
만약 카메라 속성 정보가 저장되어 있지 않으면 제어부(110)는 단말(100)에 대한 카메라 속성 정보를 요청하는 요청 메시지를 카메라 속성 제공 서버(200)로 전달한다. 이때, 요청 메시지는 카메라 속성 제공 서버(200)에 저장된 하나 이상의 카메라 속성 정보 중 단말(100)의 카메라 속성 정보를 검출하기 위해 사용되는 단말(100)의 모델명 또는 단말(100)에 구비된 카메라의 모델명과 같은 카메라 속성 검색 키워드를 포함한다.
카메라 속성 제공 서버(200)로부터 요청 메시지에 대한 응답 메시지가 수신되면 제어부(110)는 응답 메시지 내에 단말(100)의 카메라 속성 정보가 포함되어있는지를 판단한다.
만약 카메라 속성 정보가 포함되어 있으면 제어부(110)는 수신된 응답 메시지에 포함된 카메라 속성 정보를 저장부(170)에 저장하고, 저장된 카메라 속성 정보를 이용하여 증강현실을 구현한다.
만약 카메라 속성 정보가 포함되어 있지 않으면 제어부(110)는 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 이용하여 증강현실을 구현한다.
센서부(120)는 위치센서(121)와 방향센서(122)를 포함하는데, 위치센서(121)는 단말(100)의 위치를 감지하고, 방향 센서(122)는 단말(100)의 방향을 감지하고, 감지된 결과값을 단말 자세 추정부(140)로 전달한다. 본 발명에서의 위치센서(121)와 방향센서(122)은 단말의 위치 또는 방향을 감지하기 위한 어떠한 위치센서 및 방향센서를 이용할 수 있다.
카메라부(130)는 광신호를 수신하여 영상을 출력한다. 특히, 카메라부(130)는 프리뷰 영상을 생성하여 출력한다.
단말 자세 추정부(140)는 센서부(120)로부터 단말(10)의 위치 및 방향에 대해 감지된 결과값과 카메라부(130)로부터 출력된 영상을 이용하여 단말(10)이 어떤 장소에서 어느 방향으로 위치하는지에 대한 단말 자세를 추정한다.
가상 오브젝트 합성부(150)는 단말 자세 추정부(140)를 통해서 추정된 단말 자세, 저장된 카메라 속성 정보를 기반으로 카메라부(130)로부터 출력된 영상 내 오브젝트의 정확한 위치에 가상 오브젝트를 합성한다.
디스플레이부(160)는 액정표시장치(LCD, Liquid Crystal Display)로 형성될 수 있으며, 단말의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 이러한 디스플레이부(160)는 LCD 이외에 다양한 장치들로 구성될 수 있다.
저장부(170)는 제어부(110)의 제어에 따라 제어부(110), 센서부(120), 카메라부(130), 단말 자세 추정부(140), 가상 오브젝트 합성부(150), 디스플레이부(160)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 특히 본 발명의 저장부(170)는 단말(100)에 구비된 카메라에 대한 카메라 속성 정보를 저장하거나 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 미리 저장할 수 있다.
도 3은 본 발명의 실시 예에 따른 대한 카메라 속성 정보 제공 서버의 구성도이다.
본 발명의 카메라 속성 정보 제공 서버(200)는 제어부(201)와 카메라 속성 저장부(202)를 포함한다.
카메라 속성 정보 제공 서버(200)의 전반적인 동작을 제어하는데, 단말(100)로부터 단말(100)에 대한 카메라 속성 정보를 요청하는 요청 메시지를 수신되면 제어부(201)는 카메라 속성 저장부(202)에 포함된 하나 이상의 카메라 속성 정보 중 요청 메시지에 포함된 카메라 속성 검색 키워드에 해당하는 카메라 속성 정보를 검색한다.
만약 카메라 속성 검색 키워드에 해당하는 카메라 속성 정보가 존재하면 제어부(110)는 해당 카메라 속성 정보를 포함하는 응답 메시지를 생성하고, 생성된 응답 메시지를 단말(100)로 전달한다.
만약 카메라 속성 검색 키워드에 해당하는 카메라 속성 정보가 존재하지 않으면 제어부(110)는 카메라 속성 정보가 존재하지 않음을 나타내는 정보를 포함하는 응답 메시지를 생성하여 단말(100)로 전달한다. 다른 실시 예로 제어부(110)는 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 포함하는 응답 메시지를 생성하여 단말(100)로 전달할 수도 있다.
카메라 속성 저장부(202)는 하나 이상의 단말 또는 카메라에 대응하는 카메라 속성 정보를 저장한다. 예를 들어, 카메라 속성 저장부(202)는 하나 이상의 단말의 종류 또는 카메라의 종류와 같은 카메라 속성 검색 키워드, 카메라가 세상을 바라보는 화각(field of view), 렌즈로부터 카메라 센서에 이르는 초점거리(focal length) 중 적어도 하나를 저장한다. 또한, 카메라 속성 저장부(202)는 카메라 센서의 픽셀에 대한 가로, 세로비(aspect ratio), 카메라 센서의 픽셀에 대한 기울기(skewness), 카메라 센서에서 중심정의 픽셀 좌표(principal point), 구면 왜곡을 보정하기 위한 파라미터 (distortion coefficient), 카메라에서 사용되는 해상도 정보를 더 저장할 수 있다. 뿐만 아니라, 카메라 속성 저장부(202)는 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 더 저장할 수도 있다.
도 4는 본 발명의 실시 예에 따른 단말이 카메라 속성 제공 서버를 통해서 증강현실을 구현하는 과정을 나타내는 흐름도이다.
400단계에서 제어부(110)은 증강현실을 기반으로 하는 어플리케이션을 실행한다. 구체적으로 제어부(110)는 증강현실 기반의 어플리케이션을 실행하여 카메라부(130)를 구동하고, 카메라부(130)로부터 출력된 영상을 디스플레이부(160)에 표시한다. 또한 제어부(110)는 센서부(120)를 통해서 단말의 위치 및 방향을 감지하고, 감지된 단말의 위치 및 방향을 기반으로 단말 자세 추정부(140)를 통해서 단말의 자세를 추정한다.
401단계에서 제어부(110)는 저장부(170) 내에 단말(100)에 대한 카메라 속성 정보가 저장되어 있는지 여부를 판단한다.
카메라 속성 정보가 저장되어 있으면 제어부(110)는 408단계로 진행하여 저장된 카메라 속성 정보를 이용하여 증강현실을 구현한다.
카메라 속성 정보가 저장되어있지 않으면 제어부(110)는 402단계로 진행하여 단말(100)에 해당하는 카메라 속성 정보를 요청하기 위한 요청 메시지를 생성한다.
403단계에서 제어부(110)는 생성된 요청 메시지를 카메라 속성 제공 서버(200)로 전달한다. 이때, 요청 메시지에는 단말(100)에 해당하는 카메라 속성 정보를 검색하기 위한 카메라 속성 검색 키워드를 포함한다.
404단계에서 제어부(110)는 카메라 속성 제공 서버(200)로부터 요청 메시지에 대한 응답 메시지가 수신되는지 여부를 판단하여 응답 메시지가 수신되면 405단계로 진행한다. 만약 응답 메시지가 수신되지 않으면 제어부는(110)는 404단계에서 카메라 속성 제공 서버(200)로부터 응답 메시지가 수신되는지 여부를 계속적으로 확인한다. 다른 실시 예로 제어부(110)는 카메라 속성 제공 서버(200)로부터 응답 메시지가 수신되지 않으면 저장부(170)에 미리 저장된 공통의 카메라 속성 정보를 이용하여 증강현실을 구현할 수도 있다.
405단계에서 제어부(110)는 수신된 응답 메시지에 단말(100)에 대한 카메라 속성 정보가 포함되었는지 여부를 판단하여 카메라 속성 정보가 포함되어 있으면 406단계로 진행하고, 카메라 속성 정보가 포함되어 있지 않으면 407단계에서 저장부(170)에 미리 저장된 공통의 카메라 속성 정보를 이용하여 증강현실을 구현한다. 예를 들어, 응답 메시지는 단말(100)에 대한 카메라 속성 정보가 존재하지 않음을 나타내는 정보가 포함될 수 있다.
406단계에서 제어부(110)는 수신된 응답 메시지에 포함된 단말(100)에 대한 카메라 속성 정보를 저장부(170)에 저장한다.
408단계에서 제어부(110)는 저장부(170)에 저장된 카메라 속성 정보를 이용하여 증강현실을 구현한다. 구체적으로 제어부(170)는 저장된 카메라 속성 정보와 추정된 단말의 자세를 기반으로 카메라부(130)로부터 출력된 영상에 가상 오브젝트를 합성하도록 가상 오브젝트 합성부(150)를 제어하고, 합성된 영상을 디스플레이부(160)를 통해서 출력한다.
이와 같이 본 발명은 하나 이상의 단말에 대한 카메라 속성 정보를 미리 저장한 카메라 속성 제공 서버가 요청에 따라 해당 단말에 대한 카메라 속성 정보를 제공함으로써 단말이 제공된 카메라 속성 정보를 이용하여 카메라로부터 출력된 영상과 가상 오브젝트가 정확하게 정합된 증강현실을 제공할 수 있게 된다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 증강현실 구현 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 증강현실 구현 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 증강현실 구현 단말이 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 증강현실 구현 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 증강현실 구현 단말의 요청 또는 자동으로 해당 프로그램을 상기 증강현실 구현 단말로 전송하는 제어부를 포함할 수 있다.
100: 단말
200: 카메라 속성 제공 서버

Claims (16)

  1. 증강현실을 구현하기 위한 단말에 있어서,
    상기 단말에 대한 위치 또는 방향을 감지하는 센서와,
    영상을 출력하는 카메라부와,
    상기 센서로부터 감지된 단말에 대한 위치 및 방향을 이용하여 상기 단말의 자세를 추정하는 단말 자세 추정부와,
    상기 카메라부로부터 입력된 영상에 가상 오브젝트를 합성하는 가상 오브젝트 합성부와,
    증강현실 구현 요청 시 카메라 속성 정보가 저장되어 있는지 판단하여 상기 카메라 속성 정보가 저장되어 있지 않으면 카메라 속성 제공 서버로 상기 단말의 카메라 속성 정보를 요청하고, 상기 요청된 카메라 속성 정보가 수신되면 상기 카메라 속성 정보와 상기 추정된 자세를 기반으로 상기 영상에 상기 가상 오브젝트를 합성하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 구현 단말.
  2. 제1항에 있어서, 상기 카메라 속성 정보는,
    카메라가 세상을 바라보는 화각(field of view), 렌즈로부터 카메라 센서에 이르는 초점거리(focal length) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강현실 구현 단말.
  3. 제1항에 있어서, 상기 제어부는,
    상기 카메라 속성 정보가 저장되어 있지 않으면 상기의 단말의 카메라 속성 정보를 요청하기 위한 요청 메시지를 생성하고, 상기 생성된 요청 메시지를 상기 카메라 속성 제공 서버로 전달하는 것을 특징으로 하는 증강현실 구현 단말.
  4. 제3항에 있어서, 상기 요청 메시지는,
    상기 단말의 카메라 속성 정보를 검색하기 위해서 사용되는 카메라 속성 검색 키워드를 포함하는 것을 특징으로 하는 증강현실 구현 단말.
  5. 제3항에 있어서, 상기 제어부는,
    상기 카메라 속성 제공 서버로부터 상기 요청 메시지에 대한 응답 메시지가 수신되면 상기 수신된 응답 메시지에 포함된 상기 단말의 카메라 속성 정보를 저장하는 것을 특징으로 하는 증강현실 구현 단말.
  6. 제1항에 있어서, 상기 제어부는,
    상기 카메라 속성 정보가 저장되어 있으면 상기 저장된 카메라 속성 정보와 상기 추정된 자세를 기반으로 상기 영상에 상기 가상 오브젝트를 합성하도록 제어하는 것을 특징으로 하는 증강현실 구현 단말.
  7. 제1항에 있어서, 상기 카메라 속성 제공 서버는,
    하나 이상의 단말에 대한 카메라 속성 정보를 저장하는 카메라 속성 저장부와,
    상기 단말로부터 상기 요청 메시지가 수신되면 상기 요청 메시지에 포함된 카메라 속성 검색 키워드에 해당하는 단말의 카메라 속성 정보를 검색하고, 상기 검색된 단말의 카메라 속성 정보를 포함하는 응답 메시지를 생성하여 상기 단말로 전달하는 제어부를 포함하는 것을 특징으로 하는 증강현실 구현 단말.
  8. 제7항에 있어서, 상기 카메라 속성 제공 서버의 제어부는,
    상기 카메라 속성 검색 키워드에 해당하는 단말의 카메라 속성 정보가 존재하지 않으면 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 응답 메시지에 포함시켜 상기 단말로 전달하는 것을 특징으로 하는 증강현실 구현 단말.
  9. 증강현실 구현 단말에서 증강현실을 구현하기 위한 방법에 있어서,
    증강현실 구현 요청 시 상기 단말에 대한 위치 또는 방향을 감지하는 과정과,
    상기 센서로부터 감지된 단말에 대한 위치 및 방향을 이용하여 상기 단말의 자세를 추정하는 과정과,
    카메라 속성 정보가 저장되어 있는지 판단하는 과정과,
    상기 카메라 속성 정보가 저장되어 있지 않으면 카메라 속성 제공 서버로 상기 단말의 카메라 속성 정보를 요청하는 과정과,
    상기 요청된 카메라 속성 정보가 수신되면 상기 수신된 카메라 속성 정보와 상기 추정된 자세를 기반으로 상기 영상에 상기 가상 오브젝트를 합성하는 과정을 포함함을 특징으로 하는 증강현실 구현 방법.
  10. 제9항에 있어서, 상기 카메라 속성 정보는,
    카메라가 세상을 바라보는 화각(field of view), 렌즈로부터 카메라 센서에 이르는 초점거리(focal length) 중 적어도 하나를 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  11. 제9항에 있어서, 상기 단말의 카메라 속성 정보를 요청하는 과정은,
    상기 카메라 속성 정보가 저장되어 있지 않으면 상기의 단말의 카메라 속성 정보를 요청하기 위한 요청 메시지를 생성하는 과정과,
    상기 생성된 요청 메시지를 상기 카메라 속성 제공 서버로 전달하는 과정을 포함함을 특징으로 하는 증강현실 구현 방법.
  12. 제11항에 있어서, 상기 요청 메시지는,
    상기 단말의 카메라 속성 정보를 검색하기 위해서 사용되는 카메라 속성 검색 키워드를 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  13. 제9항에 있어서,
    상기 카메라 속성 제공 서버로부터 상기 요청 메시지에 대한 응답 메시지가 수신되면 상기 수신된 응답 메시지에 포함된 상기 단말의 카메라 속성 정보를 저장하는 과정을 더 포함함을 특징으로 하는 증강현실 구현 방법.
  14. 제9항에 있어서,
    상기 카메라 속성 정보가 저장되어 있으면 상기 저장된 카메라 속성 정보와 상기 추정된 자세를 기반으로 상기 영상에 상기 가상 오브젝트를 합성하는 과정을 더 포함함을 특징으로 하는 증강현실 구현 방법.
  15. 제9항에 있어서, 상기 카메라 속성 제공 서버는,
    하나 이상의 단말에 대한 카메라 속성 정보를 저장하는 카메라 속성 저장부와,
    상기 단말로부터 상기 요청 메시지가 수신되면 상기 요청 메시지에 포함된 카메라 속성 검색 키워드에 해당하는 단말의 카메라 속성 정보를 검색하고, 상기 검색된 단말의 카메라 속성 정보를 포함하는 응답 메시지를 생성하여 상기 단말로 전달하는 제어부를 포함하는 것을 특징으로 하는 증강현실 구현 방법.
  16. 제15항에 있어서, 상기 카메라 속성 제공 서버의 제어부는,
    상기 카메라 속성 검색 키워드에 해당하는 단말의 카메라 속성 정보가 존재하지 않으면 모든 단말의 카메라 속성 정보를 일반화시킨 공통의 카메라 속성 정보를 응답 메시지에 포함시켜 상기 단말로 전달하는 것을 특징으로 하는 증강현실 구현 방법.
KR1020120138774A 2012-12-03 2012-12-03 증강현실을 구현하기 위한 단말 및 그 방법 KR101981964B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120138774A KR101981964B1 (ko) 2012-12-03 2012-12-03 증강현실을 구현하기 위한 단말 및 그 방법
US14/095,205 US9245185B2 (en) 2012-12-03 2013-12-03 Terminal for generating augmented reality and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120138774A KR101981964B1 (ko) 2012-12-03 2012-12-03 증강현실을 구현하기 위한 단말 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140070990A true KR20140070990A (ko) 2014-06-11
KR101981964B1 KR101981964B1 (ko) 2019-05-24

Family

ID=50825096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120138774A KR101981964B1 (ko) 2012-12-03 2012-12-03 증강현실을 구현하기 위한 단말 및 그 방법

Country Status (2)

Country Link
US (1) US9245185B2 (ko)
KR (1) KR101981964B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200107289A (ko) 2019-03-07 2020-09-16 주식회사 엘지유플러스 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법
KR102677596B1 (ko) * 2023-07-07 2024-06-24 김시환 증강현실 기반 바람편지 서비스 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412413A (zh) * 2016-05-09 2017-02-15 捷开通讯科技(上海)有限公司 拍照控制***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046989A (ja) * 2001-07-27 2003-02-14 Mitsubishi Electric Corp 映像監視装置および映像監視システム
US20060038833A1 (en) * 2004-08-19 2006-02-23 Mallinson Dominic S Portable augmented reality device and method
KR20120005735A (ko) * 2010-07-09 2012-01-17 한국과학기술원 증강 현실에서 위치 정보를 표시하는 방법 및 장치
WO2012071466A2 (en) * 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) * 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
US20100257252A1 (en) * 2009-04-01 2010-10-07 Microsoft Corporation Augmented Reality Cloud Computing
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
US20130088514A1 (en) * 2011-10-05 2013-04-11 Wikitude GmbH Mobile electronic device, method and webpage for visualizing location-based augmented reality content
KR101303166B1 (ko) * 2012-01-26 2013-09-09 엘지전자 주식회사 이동 단말기 및 그의 사진 검색방법
US20140247281A1 (en) * 2013-03-03 2014-09-04 Geovector Corp. Dynamic Augmented Reality Vision Systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046989A (ja) * 2001-07-27 2003-02-14 Mitsubishi Electric Corp 映像監視装置および映像監視システム
US20060038833A1 (en) * 2004-08-19 2006-02-23 Mallinson Dominic S Portable augmented reality device and method
KR20120005735A (ko) * 2010-07-09 2012-01-17 한국과학기술원 증강 현실에서 위치 정보를 표시하는 방법 및 장치
WO2012071466A2 (en) * 2010-11-24 2012-05-31 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200107289A (ko) 2019-03-07 2020-09-16 주식회사 엘지유플러스 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법
KR102677596B1 (ko) * 2023-07-07 2024-06-24 김시환 증강현실 기반 바람편지 서비스 시스템

Also Published As

Publication number Publication date
US20140152853A1 (en) 2014-06-05
US9245185B2 (en) 2016-01-26
KR101981964B1 (ko) 2019-05-24

Similar Documents

Publication Publication Date Title
CN111602140B (zh) 分析由头戴式设备的相机记录的图像中的对象的方法
TWI431250B (zh) Navigation device for integrating traffic image recording and navigation information
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US11126848B2 (en) Information processing device, information processing method, and information processing program
US20190012799A1 (en) Information processing apparatus, information processing method, and recording medium
US11798177B2 (en) Hand tracking method, device and system
WO2012041208A1 (zh) 信息处理设备以及信息处理方法
CN110895676B (zh) 动态对象跟踪
KR101523046B1 (ko) 영상처리기반의 거리 측정장치
US12026299B2 (en) Adaptive intelligent head-hand VR system and method
KR101981964B1 (ko) 증강현실을 구현하기 위한 단말 및 그 방법
US11321864B1 (en) User guided mode for measurement purposes
US20240071018A1 (en) Smooth object correction for augmented reality devices
US10564733B2 (en) Operating method of tracking system, controller, tracking system, and non-transitory computer readable storage medium
JP2020148712A (ja) 測距システム、測距装置及び配置方法
JP2007259002A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
US20220198764A1 (en) Spatially Aware Environment Relocalization
KR102010252B1 (ko) 증강 현실 서비스 제공 장치 및 방법
KR20150089366A (ko) 지자계 센서를 이용한 실내 위치 추적 시스템
WO2013132885A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11402897B2 (en) Position estimation apparatus, position estimation method, and program
KR20190043032A (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
JP6208977B2 (ja) 情報処理装置、通信端末およびデータ取得方法
US8786752B2 (en) Digital device and method for controlling the same
KR101704513B1 (ko) 측위 정보를 기반으로 증강현실 영상을 구현하기 위한 서버 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant