KR101236644B1 - 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법 - Google Patents

마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법 Download PDF

Info

Publication number
KR101236644B1
KR101236644B1 KR1020110054885A KR20110054885A KR101236644B1 KR 101236644 B1 KR101236644 B1 KR 101236644B1 KR 1020110054885 A KR1020110054885 A KR 1020110054885A KR 20110054885 A KR20110054885 A KR 20110054885A KR 101236644 B1 KR101236644 B1 KR 101236644B1
Authority
KR
South Korea
Prior art keywords
infrared
marker
augmented reality
leds
information
Prior art date
Application number
KR1020110054885A
Other languages
English (en)
Other versions
KR20120135967A (ko
Inventor
김응곤
류남훈
이혜미
정종욱
Original Assignee
에스알시 주식회사
순천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스알시 주식회사, 순천대학교 산학협력단 filed Critical 에스알시 주식회사
Priority to KR1020110054885A priority Critical patent/KR101236644B1/ko
Publication of KR20120135967A publication Critical patent/KR20120135967A/ko
Application granted granted Critical
Publication of KR101236644B1 publication Critical patent/KR101236644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 증강현실 구현을 위한 적외선 마커는, 외부로부터 정보를 수신하는 마커정보 수신부, 적외선 카메라에 의해 인식되는 다수의 적외선 엘이디를 포함하는 적외선 엘이디 발광부, 상기 적외선 엘이디 발광부로부터의 적외선을 외부로 투과시키는 적외선 마커 표시부, 상기 마커정보 수신부로부터 수신된 적외선 마커에 대한 정보에 의해 상기 적외선 엘이디 발광부를 제어하는 제어부를 포함하고, 상기 다수의 적외선 엘이디의 배열 및 발광에 의해 증강현실 영상에 대한 정보를 포함하고, 이를 이용한 증강현실 구현방법을 제공함으로써, 대상체에 적용되는 마커가 외관상 드러나지 않으며, 하나의 마커에 의해 다양한 증강현실 영상의 구현이 가능하다.

Description

마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법{Method of using Infrared marker based on augmented reality for providing Marker information with real-time changing and producing multiple markers}
본 발명은 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 및 이의 활용 방법에 관한 것이다. 즉, 본 발명은 증강현실 구현을 위한 마커 및 이를 이용한 증강현실 구현방법에 관한 것으로, 보다 상세하게는 적외선 엘이디를 이용한 마커 및 그 방법에 관한 것이다.
증강현실(AUGMENTED REALITY, AG)이란 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로서, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(MIXED REALITY, MR)이라고도 한다. 현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다. 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다.
예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기되어 사용자가 가상의 콘텐츠를 제공받을 수 있는 것이다.
이를 위한 방식으로는 GPS 및 LBS 기반의 방식이 있고, 비전, 즉 시각을 기반으로 한 방식이 있는데, 본 발명은 비전 기반의 증강현실 시스템에 관련한 것이다.
비전 기반의 증강현실 시스템은 사전에 빌딩이나 상점 등에 마킹기술이 적용되고 카메라를 통해 판독하는 것으로서, 이러한 마킹기술에는 2차원 바코드의 일종인 QR(Quick Response) 코드나, 구조화된 글자형식의 코드인 (ePosition) 코드 등이 있다.
그런데, 종래의 비전 기반의 증강현실 시스템은 육안으로 보이는 마커(Visible Marker,VM)가 표시되어 있는 추적대상체(Target Object,TO)를 촬영하고 촬영된 영상에 가상영상을 렌더링한 화면이 출력되는 시스템인데, 이러한 종래의 시스템에서는 육안으로 보이는 마커를 이용하므로 정확하고 빠르게 증강현실을 구현할 수 있는 장점이 있으나, 이러한 마커는 추적대상체에 인위적으로 부가되어야 하는 부가물이기 때문에, 실제 원하는 대상물을 가리게 하거나 육안을 거슬리게 하는 문제가 있다.
또한, 가시적 마커이기 때문에 각각의 마커에 대응되는 가상영상이 특정되게 되므로, 대상체마다 각각의 마커들이 별도로 마련되어야 하는 바, 그 응용범위가 협소한 한계가 있다.
그리고, 육안으로 보이는 마커는 대상체와의 거리가 멀거나, 야간에는 카메라를 통해 인식이 되지 않기 때문에 주간이어야 하며 근접해야만 가상영상을 획득할 수 있는 한계도 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 대상체에 적용되는 마커가 외관상 드러나지 않고 다양하게 응용이 가능한 적외선 마커 및 이를 이용한 증강현실 구현방법을 제공하는 데 그 목적이 있다.
본 발명에 따른 적외선 마커는, 외부로부터 정보를 수신하는 마커정보 수신부, 적외선 카메라에 의해 인식되는 다수의 적외선 엘이디를 포함하는 적외선 엘이디 발광부, 상기 적외선 엘이디 발광부로부터의 적외선을 외부로 투과시키는 적외선 마커 표시부, 상기 마커정보 수신부로부터 수신된 적외선 마커에 대한 정보에 의해 상기 적외선 엘이디 발광부를 제어하는 제어부를 포함하여, 상기 다수의 적외선 엘이디의 배열 및 발광에 의해 증강현실 영상에 대한 정보를 포함하고 있는 것을 특징으로 하며,
상기 적외선 엘이디 발광부는, 상기 적외선 카메라에 대한 상대적 위치 및 자세에 대한 정보를 나타내는 위치영역 및 구현될 증강현실 영상의 종류에 대한 정보를 나타내는 종류영역으로 구성되고,
상기 위치영역은, 4개의 적외선 엘이디가 사각형의 모서리에 대응되도록 배열되며, 사각형의 모서리에 대응되는 어느 일 적외선 엘이디에 인접한 두 적외선 엘이디를 잇는 두 선분 상에 위치하는 2개의 적외선 엘이디를 더 포함하는 것을 구체적인 특징으로 한다.
그리고, 상기 종류영역은, 다수의 적외선 엘이디가 행렬형태로 배열된 것을 다른 구체적인 특징으로 한다.
본 발명에 따른 증강현실 구현방법은, 다수의 적외선 엘이디에 의해 적외선 카메라에 대한 상대적 위치 및 자세에 대한 정보를 나타내는 위치영역 및 다수의 엘이디에 의해 구현될 증강현실 영상의 종류에 대한 정보를 나타내는 종류영역으로 구성된 적외선 마커의 영상을 획득하는 영상획득단계, 상기 영상획득단계에서 획득한 상기 적외선 마커의 상기 위치영역에 배열된 적외선 엘이디를 통해 적외선 마커의 적외선 카메라에 대한 상대적 위치 및 자세를 분석하는 자세분석단계, 상기 영상획득단계에서 획득한 상기 적외선 마커의 상기 종류영역에 배열된 적외선 엘이디를 통해 증강현실 영상의 종류를 분석하는 종류분석단계, 상기 자세분석단계 및 상기 종류분석단계에서 분석한 상기 적외선 마커의 자세 및 종류에 해당되는 증강현실 영상을 추출하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 위치영역은, 4개의 적외선 엘이디가 사각형의 모서리에 대응되도록 배열되고, 사각형의 모서리에 대응되는 어느 일 적외선 엘이디에 인접한 두 적외선 엘이디를 잇는 두 선분 상에 2개의 적외선 엘이디가 위치하며, 상기 종류영역은, 다수의 적외선 엘이디가 행렬형태로 배열된 것을 구체적인 특징으로 하고,
상기 자세분석단계는, 상기 영상획득단계에서 획득한 영상에서 기저장된 적외선 엘이디의 화소값 범위에 해당하는 값을 추출함으로써, 적외선 엘이디 각각의 위치를 검출하는 엘이디 위치검출단계, 상기 위치검출단계에서 추출한 적외선 엘이디의 중심점을 기준으로 Convex Hull 알고리즘을 이용하여 외곽점을 추출하는 외곽점 추출단계, 상기 외곽점 추출단계에서 추출된 외곽점 중 아래 식을 통해 중간점을 추출하는 중간점 추출단계 및
Figure 112011042836492-pat00001
(여기서, Px는 각 점들의 X좌표이며, Py는 각 점들의 Y좌표이고, n은 추출된 적외선 엘이디의 중심점 번호를 나타낸다.)
상기 외곽점 추출단계 및 상기 중간점 추출단계에서 추출된 외곽점 및 중간점을 이용하여 아래 식을 통해 좌상단 모서리점을 추출하는 좌상단 모서리점 추출단계를 포함하는 것을 다른 구체적인 특징으로 한다.
Figure 112011042836492-pat00002
(여기서, Pn은 중간점이 아닌 외곽점의 좌표이며, C1과 C2는 중간점을 나타낸다.)
그리고, 상기 종류분석단계는, 상기 영상획득단계에서 획득한 상기 적외선 마커의 상기 종류영역에 배열된 다수의 적외선 엘이디 각각의 점등을 통해 증강현실 영상의 종류를 분석하는 것을 또한 구체적인 특징으로 한다.
본 발명에 따르면,
추적대상체에 적용되는 마커가 외관상 드러나지 않기 때문에, 실제 원하는 대상물을 가리거나 육안을 거슬리게 하지 않는다.
또한, 하나의 마커에 의해 대응되는 영상이 다수 구현될 수 있으므로, 대상체마다 별도의 마커가 구비될 필요가 없어 다양한 응용이 가능해진다.
그리고, 적외선 마커를 적외선 카메라로 촬영하기 때문에 대상체로부터의 거리가 멀어도 가상영상의 출력이 가능하고, 야간에도 가상영상의 출력이 가능하다.
도1은 본 발명에 따른 증강현실 시스템을 도시한 것이다.
도2는 본 발명에 따른 증강현실 시스템의 일부를 도식화한 것이다.
도3은 본 발명에 적용되는 적외선 마커의 구성도이다.
도4는 적외선 마커로부터 Convex Hull 알고리즘을 활용하여 추출한 외곽점들을 도시한 것이다.
도5는 적외선 마커의 좌상단 코너점 검출 구성도이다.
도6은 적외선 마커의 마커 종류를 추출하기 위한 구성도이다.
도7은 본 발명에 따른 적외선 마커에 의해 구현되는 가상영상을 예시한 것이다.
본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 보다 구체적으로 설명하되, 이미 주지된 기술에 대해서는 설명을 생략하기로 한다.
도1은 본 발명에 따른 증강현실 시스템을 도시한 것이고, 도2는 본 발명에 따른 증강현실 시스템의 일부를 도식화한 것이다.
도1 내지 도2를 참조하여 설명하면, 본 발명에 따른 증강현실 시스템(100)은 대상체(110), 증강현실 구현장치(120), 마커정보송신기(130) 및 출력장치(140)를 포함하여 구성된다.
대상체(110)는 증강현실 구현을 위한 적외선 마커를 가진 것으로서 사용자가 가상의 콘텐츠를 보고자하는 대상물체이고, 마커정보 송신기(130)는 대상체(110)에 구현될 적외선 마커(IM)에 대한 정보를 송신하기 위한 수단이다.
대상체(110)에 적용되는 본 발명의 적외선 마커(IM)는 마커정보 수신부, 적외선 엘이디 발광부, 적외선 마커 표시부 및 제어부를 포함하여 구성된다.
마커정보 수신부는 마커정보 송신기(130)로부터 송신된 적외선 마커(IM)에 대한 정보를 수신하기 위한 구성이고, 적외선 엘이디 발광부는 복수의 적외선 엘이디로 배열되어 전원 제어에 의해 복수의 적외선 엘이디 각각이 발광되는 구성이다. 적외선 마커 표시부는 발광된 적외선 엘이디의 빛이 대상체(110) 외부로 투과될 수 있도록 하고 일종의 커버에 해당되는 구성이다.
즉, 마커정보 송신기(130)는 해당 대상체(110)에 대한 정보를 대상체(110)에서 적외선 마커(IM)의 형태로 구현될 수 있도록 하는 제어신호를 송신하게 되고, 대상체(110)의 마커정보 수신부는 마커정보 송신기(130)에서 전송된 제어신호를 수신하게 된다. 마커정보 수신부에 의해 수신된 제어신호는 제어부로 전달되며, 제어부는 제어신호에 따라 적외선 엘이디 발광부의 각각의 적외선 엘이디의 전원을 제어하게 된다. 제어부의 전원제어에 의해서 발광된 적외선 엘이디는 적외선 마커 표시부를 통해 외부로 투과되는 것이다.
여기서 상술한 마커정보 송신기(130)와 마커정보 수신부는 유선, Zigbee, Bluetooth 등의 유무선 통신망에 의해 정보의 송수신이 가능하다.
다음으로, 증강현실 구현장치(120)는 대상체(110)의 실제 영상과 대상체(110)의 적외선 마커(IM)를 촬영하여, 촬영된 실제 영상 위에 적외선 마커(IM)로부터 판독되는 가상 영상을 렌더링하여 새로운 영상을 생성하는 장치로서, 가시광선 카메라부(121), 적외선 카메라부(122), 영상처리부(123), 가상영상 DB(124) 및 통신부(125)를 포함한다.
증강현실 구현장치(120)의 가시광선 카메라부(121)는 대상체(110)의 실제 영상을 촬영하기 위한 수단으로, 가시광선 파장 영역의 빛을 수광한다.
본 발명에서 증강현실 구현장치(120)는 가시광선 카메라부(121) 외에 적외선 카메라부(122)를 더 포함하여 구성된다.
적외선 카메라부(122)는 대상체(110)의 적외선 마커(IM)를 촬영하기 위한 수단으로, 가시광선 파장 영역보다 긴 적외선 파장 영역의 빛을 수광한다.
두 카메라부(121,122)에 의해 촬영된 영상은 영상처리부(123)에서 획득받게 된다. 영상처리부(123)는 두 카메라부(121,122)로부터 수신된 아날로그 영상신호를 디지털 영상신호로 변환하여 디지털신호처리 프로세서에 의해 디지털적으로 영상신호를 처리하게 된다.
즉, 영상처리부(123)에서는 적외선 마커(IM)를 촬영하여 얻은 영상신호로부터 적외선 카메라부(122)에 대한 적외선 마커의 위치 및 자세를 실시간으로 추적하여 해석함으로써, 대상체(110)의 위치 및 자세 정보를 얻고, 획득된 대상체(110)의 위치 및 자세 정보를 통해서 적외선 마커(IM)의 위치 및 종류를 해석함으로써, 해당 적외선 마커(IM)의 위치 및 종류에 대응되게 가상영상 DB(124)에 저장된 가상영상을 수신받게 된다.
여기서, 자세란 각도 및 방향을 의미하는 것으로서, 적외선 카메라부(122)의 촬영에 의해 적외선 카메라부(122)에 대한 적외선 마커(IM)의 각도 및 방향에 대한 정보를 의미한다.
적외선 마커(IM)의 위치 및 종류의 해석에 대해서는 후술하기로 한다.
그리하여, 실제 영상을 촬영하여 얻은 영상에 가상영상이 겹쳐진(overlap) 증강현실 영상을 생성시킨다.
살핀 바와 같이, 가상영상 DB(124)는 적외선 마커(IM)에 대응되는 가상영상을 저장하기 위한 수단인데, 가상영상 DB(124)에 추가적으로 또는 배타적으로 통신부(125)가 구성될 수 있다.
통신부(125)는 통신망을 통하여 외부 네트워크로의 정보의 송신 및 외부 네트워크로부터 정보의 수신이 가능한 수단으로, 영상처리부(123)의 제어에 의해, 적외선 마커(IM)를 촬영하여 얻은 영상신호로부터 적외선 마커(IM)의 위치 및 종류를 해석함으로써, 해당 적외선 마커(IM)에 대응되는 가상영상을 통신망을 경유해서 외부 네트워크에 존재하는 서버(미도시)로부터 수신받을 수 있기 위한 구성이다.
이상의 구성에 의해서, 대상체(110)를 촬영하여 증강현실 구현장치(120)에 의해 생성된 증강현실 영상은 이를 출력하기 위한 디스플레이수단인 출력장치(140)에 의해 출력되도록 구성될 수 있는데, 이는 휴대폰의 디스플레이, 컴퓨터 모니터, HMD(Head Mounted Display), 크리스탈 아이즈(Crystal Eyes) 등의 입체안경이나 안경형 HMD(Optical See-Through HMD) 등일 수 있다.
도3 내지 도6은 본 발명에 적용되는 적외선 마커(IM)의 적외선 엘이디 발광부의 구성 및 그로부터 대상체의 위치 및 종류를 해석하는 방법에 관한 것이다.
도3은 본 발명에 적용되는 적외선 마커(IM)의 일 구성인 적외선 엘이디 발광부의 배열을 나타낸 것이다.
도3을 참조하면, 적외선 마커(IM)의 적외선 엘이디 발광부는 마커 위치영역(220)과 마커 종류영역(230)으로 구성된다.
마커 위치영역(220)은 적외선 마커(IM)의 적외선 카메라부(122)에 대한 위치정보를 나타내기 위한 6개의 적외선 엘이디(310,320,330,340,350,360)가 배열된 영역이며, 마커 종류영역(230)은 적외선 마커(IM)의 종류에 대한 정보, 즉 증강현실을 구현시킬 가상영상의 종류를 나타내기 위한 4개의 적외선 엘이디(510,520,530,540)로 배열된 영역이다.
각 영역의 적외선 엘이디의 갯수는 가장 미니멀한 예시를 든 것이고, 이 이상의 수량의 엘이디의 배열에 따라 더 많은 응용이 가능함은 물론이다.
영상처리부(123)는 적외선 엘이디의 화소값 범위를 기저장하고 있음으로해서, 적외선 카메라부(122)를 통해 입력받은 영상으로부터 획득한 적외선 엘이디의 화소값 범위에 해당하는 값을 추출함으로써, 먼저 적외선 엘이디 위치의 중심점을 추출하게 된다.
중심점은 엘이디의 중심 픽셀을 뜻하는 것으로서, 엘이디의 중심 픽셀을 계산함으로써, 엘이디 각각의 위치를 검출하는 것이다.
즉, 입력된 적외선 영상에서 엘이디의 위치를 찾기 위해 입력 영상 전체에 대해 픽셀 단위로 스캐닝함에 의해 중심점을 추출하는 것이다. 엘이디가 켜진 상태에서 RGB 컬러 값 범위에 들어가는 픽셀이 발견되면, 영역을 상하좌우로 넓혀가며 인접 픽셀들을 점차적으로 검색하게 된다.
다음, 엘이디 각각의 중심점을 검출한 후, 추출한 적외선 엘이디의 중심점을 기준으로 공지의 Convex Hull 알고리즘을 활용하여 외곽점들을 추출한다.
도 4는 Convex Hull 알고리즘을 활용하여 추출한 외곽점들을 나타낸다.
이러한 외곽점은 적외선 마커(IM)를 적외선 카메라부(122)가 어느 방향에서 바라보고 있는지에 대한 자세 정보를 추출하기 위한 것이다. 즉, 하나의 적외선 엘이디를 사용하는 경우 그 위치는 쉽게 추출할 수 있겠지만 카메라가 어느 방향에서 바라보는지에 관한 정보는 파악할 수 없게 된다. 그래서, 마커 위치영역(220)의 네 모서리에 엘이디를 배열함으로써, 카메라가 바라보는 각도를 알 수 있는 것이다.
그러나, 네 모서리의 외곽점만으로는 카메라가 바라보는 각도는 알 수 있지만 어느 방향에서 바라보는지는 알 수가 없다. 카메라가 어느 방향에서 바라보는지를 정확히 파악하여 그에 맞도록 가상영상을 증강시키기 위해서 마커 위치영역(220)의 기준이 되는 좌상단 코너점의 검출이 필요하고, 좌상단 코너점을 명확히 하기 위해서 본 발명의 적외선 마커에서는 중간점(320,360)의 개념이 추가된다.
추출된 외곽점들 중 중간점(320, 360)의 추출은 수학식 1을 통해 추출할 수 있다.
Figure 112011042836492-pat00003
(여기서, Px는 각 점들의 X좌표이며, Py는 각 점들의 Y좌표이고, n은 추출된 적외선 엘이디의 중심점 번호를 나타낸다.)
도 5는 마커의 좌상단 코너점 검출 구성도이다.
마커의 좌상단 점을 추출하기 위해 추출된 6개의 외곽점들(310, 320, 330, 340, 350, 360) 중 각각의 모서리점(310, 330, 340, 350)에 대해 중간점(320, 360)과의 거리를 합산하여 최소값으로 추출된 모서리점을 좌상단 모서리점으로 선정하는 것이다.
좌상단 모서리점은 수학식 2를 통해 추출할 수 있다.
Figure 112011042836492-pat00004
(여기서, Pn은 모서리점(310, 330, 340, 350)의 좌표이며, C1과 C2는 각각 중간점(320, 360)을 나타낸다. P1(310)의 경우는, P1(310)과 C1(320) 사이의 거리(370)와, P1(310)과 C2(360) 사이의 거리(380) 합이며, P2(330)의 경우는, P2(330)와 C1(320) 사이의 거리(390)와, P2(330)와 C2(360) 사이의 거리(400) 합이며, P3(340)의 경우는, P3(340)와 C1(320) 사이의 거리(410)와, P3(340)와 C2(360) 사이의 거리(420) 합이며, P4(350)의 경우는, P4(350)와 C1(320) 사이의 거리(430)와, P4(350)와 C2(360) 사이의 거리(440) 합이다.)
이와 같이 좌상단 코너점의 검출에 의해 카메라가 어느 방향에서 바라보는지가 계산되므로, 증강된 영상 또한 카메라의 자세에 맞게 생성되어 영상에 겹쳐지게 되고, 이를 도7에 예시하였다.
도6은 적외선마커의 마커 종류를 추출하기 위한 구성도이다.
마커 종류를 나타내는 점(510, 520, 530, 540)은 적외선 엘이디를 ON/OFF 함으로써 마커 종류(마커 번호)를 나타내는 것으로서, 마커 종류를 나타내는 점(510, 520, 530, 540)들의 ON/OFF에 따른 마커 번호는 다음의 표 1과 같다. 점(510, 520, 530, 540)의 값 중 0은 적외선 엘이디가 OFF된 상태이며, 1은 적외선 엘이디가 ON된 상태이다.
점1(510) 점2(520) 점3(530) 점4(540) 마커 번호
0 0 0 0 0
0 0 0 1 1
0 0 1 0 2
0 0 1 1 3
0 1 0 0 4
0 1 0 1 5
0 1 1 0 6
0 1 1 1 7
1 0 0 0 8
1 0 0 1 9
1 0 1 0 10
1 0 1 1 11
1 1 0 0 12
1 1 0 1 13
1 1 1 0 14
1 1 1 1 15
마커 종류를 나타내는 점은 각각 2의 n승에 해당하는 값을 가지게 되는데, 표1에서 알 수 있듯이, 점1(510)은 2의 3승에 해당하는 8, 점2(520)는 2의 2승에 해당하는 4, 점3(530)은 2의 1승에 해당하는 2, 점4(540)는 2의 0승에 해당하는 1의 값을 가지고 있다.
이상과 같이, 마커 종류 영역은 마커의 종류 수에 따라 2×2, 3×3, 3×4, 4×4 등 다양하게 활용할 수 있게 되고, 3×3인 경우 가능한 마커번호는 512개일 것이다.
도7은 점1(510), 점4(540)이 켜진 상태의 일 예이고, 이 상태가 위 표에서 참조되듯이 마커번호 9에 해당되어 마커번호 9에 해당되는 영상이 구현되며, 도7은 마커번호 9의 종류가 3차원의 트럭 영상을 나타내는 것을 예로 든 것이다.
위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시예에만 국한되는 것으로 이해되어져서는 아니 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어져야 할 것이다.
IM : 적외선 마커
220 : 마커 위치영역
230 : 마커 종류영역

Claims (9)

  1. 외부로부터 정보를 수신하는 마커정보 수신부,
    적외선 카메라에 의해 인식되는 다수의 적외선 엘이디를 포함하는 적외선 엘이디 발광부로서, 적외선 엘이디가 사각형의 모서리에 대응되도록 배열되어 있고, 사각형의 모서리에 대응되는 어느 일 적외선 엘이디에 인접한 두 적외선 엘이디를 잇는 두 선분 상에 위치하는 적외선 엘이디가 추가로 배열되어 상기 적외선 카메라에 대한 상대적 위치 및 자세에 대한 정보를 나타내는 위치영역, 및 적외선 엘이디가 행렬 형태로 배열되어 구현될 증강현실 영상의 종류에 대한 정보를 나타내는 종류영역으로 구성된 적외선 엘이디 발광부,
    상기 적외선 엘이디 발광부로부터의 적외선을 외부로 투과시키는 적외선 마커 표시부,
    상기 마커정보 수신부로부터 수신된 적외선 마커에 대한 정보에 의해 상기 적외선 엘이디 발광부를 제어하는 제어부를 포함하여,
    상기 다수의 적외선 엘이디의 배열 및 발광에 의해 증강현실 영상에 대한 정보를 포함하고 있는 것을 특징으로 하는 적외선 마커.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 다수의 적외선 엘이디에 의해 적외선 카메라에 대한 상대적 위치 및 자세에 대한 정보를 나타내는 위치영역 및 다수의 엘이디에 의해 구현될 증강현실 영상의 종류에 대한 정보를 나타내는 종류영역으로 구성된 적외선 마커의 영상을 획득하는 영상획득단계,
    상기 영상획득단계에서 획득한 상기 적외선 마커의 상기 위치영역에 배열된 적외선 엘이디를 통해 적외선 마커의 적외선 카메라에 대한 상대적 위치 및 자세를 분석하는 자세분석단계,
    상기 영상획득단계에서 획득한 상기 적외선 마커의 상기 종류영역에 배열된 적외선 엘이디를 통해 증강현실 영상의 종류를 분석하는 종류분석단계,
    상기 자세분석단계 및 상기 종류분석단계에서 분석한 상기 적외선 마커의 자세 및 종류에 해당되는 증강현실 영상을 추출하는 단계를 포함하며,
    상기 자세분석단계는,
    상기 영상획득단계에서 획득한 영상에서 기저장된 적외선 엘이디의 화소값 범위에 해당하는 값을 추출함으로써, 적외선 엘이디 각각의 위치를 검출하는 엘이디 위치검출단계,
    상기 위치검출단계에서 추출한 적외선 엘이디의 중심점을 기준으로 Convex Hull 알고리즘을 이용하여 외곽점을 추출하는 외곽점 추출단계,
    상기 외곽점 추출단계에서 추출된 외곽점 중 아래 식을 통해 중간점을 추출하는 중간점 추출단계 및
    Figure 112012085980748-pat00014

    (여기서, Px는 각 점들의 X좌표이며, Py는 각 점들의 Y좌표이고, n은 추출된 적외선 엘이디의 중심점 번호를 나타낸다.)
    상기 외곽점 추출단계 및 상기 중간점 추출단계에서 추출된 외곽점 및 중간점을 이용하여 아래 식을 통해 좌상단 모서리점을 추출하는 좌상단 모서리점 추출단계를 포함하는 것을 특징으로 하는 적외선 마커를 이용한 증강현실 구현방법.
    Figure 112012085980748-pat00015

    (여기서, Pn은 중간점이 아닌 외곽점의 좌표이며, C1과 C2는 중간점을 나타낸다.)
  7. 제6항에 있어서,
    상기 위치영역은, 4개의 적외선 엘이디가 사각형의 모서리에 대응되도록 배열되고, 사각형의 모서리에 대응되는 어느 일 적외선 엘이디에 인접한 두 적외선 엘이디를 잇는 두 선분 상에 2개의 적외선 엘이디가 위치하며,
    상기 종류영역은, 다수의 적외선 엘이디가 행렬형태로 배열된 것을 특징으로 하는 적외선 마커를 이용한 증강현실 구현방법.
  8. 삭제
  9. 제6항에 있어서,
    상기 종류분석단계는,
    상기 영상획득단계에서 획득한 상기 적외선 마커의 상기 종류영역에 배열된 다수의 적외선 엘이디 각각의 점등을 통해 증강현실 영상의 종류를 분석하는 것을 특징으로 하는 적외선 마커를 이용한 증강현실 구현방법.
KR1020110054885A 2011-06-08 2011-06-08 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법 KR101236644B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110054885A KR101236644B1 (ko) 2011-06-08 2011-06-08 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110054885A KR101236644B1 (ko) 2011-06-08 2011-06-08 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법

Publications (2)

Publication Number Publication Date
KR20120135967A KR20120135967A (ko) 2012-12-18
KR101236644B1 true KR101236644B1 (ko) 2013-03-25

Family

ID=47903524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110054885A KR101236644B1 (ko) 2011-06-08 2011-06-08 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법

Country Status (1)

Country Link
KR (1) KR101236644B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210132345A (ko) * 2020-04-27 2021-11-04 (유)엔와이텔 증강 현실 체험용 마커 기능을 지원하는 이동형 ar 안내 노드 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101962543B1 (ko) 2017-08-31 2019-03-26 광운대학교 산학협력단 마커 인식 기반 증강현실 생성 시스템 및 방법
KR102102803B1 (ko) * 2017-12-07 2020-04-22 (주) 판타즈모 정적 마커 그리드 기반 실시간 실내 위치 측위 방법 및 그 시스템
KR102263836B1 (ko) * 2019-01-31 2021-06-10 한국기술교육대학교 산학협력단 생산 라인에서의 작업자 위치 인식 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
KR20080107211A (ko) * 2007-06-05 2008-12-10 삼성전자주식회사 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100542370B1 (ko) 2004-07-30 2006-01-11 한양대학교 산학협력단 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
KR20080107211A (ko) * 2007-06-05 2008-12-10 삼성전자주식회사 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210132345A (ko) * 2020-04-27 2021-11-04 (유)엔와이텔 증강 현실 체험용 마커 기능을 지원하는 이동형 ar 안내 노드 장치
KR102502035B1 (ko) * 2020-04-27 2023-02-21 (유)엔와이텔 증강 현실 체험용 마커 기능을 지원하는 이동형 ar 안내 노드 장치

Also Published As

Publication number Publication date
KR20120135967A (ko) 2012-12-18

Similar Documents

Publication Publication Date Title
US11115633B2 (en) Method and system for projector calibration
CN113532326B (zh) 用于辅助型3d扫描的***和方法
US11282224B2 (en) Information processing apparatus and information processing method
US8988343B2 (en) Method of automatically forming one three-dimensional space with multiple screens
CN110476148B (zh) 用于提供多视图内容的显示***和方法
US7454065B2 (en) Specific point detecting method and device
US9275267B2 (en) System and method for automatic registration of 3D data with electro-optical imagery via photogrammetric bundle adjustment
JP2018511098A5 (ko)
KR101236644B1 (ko) 마커 정보의 실시간 변경 및 다수의 마커 제작을 위한 증강현실 기반의 적외선 마커 활용 방법
KR101274301B1 (ko) 적외선 엘이디 발광영역의 영상 복원을 통한 증강현실 시스템
KR101189209B1 (ko) 위치 인식 장치 및 그 방법
US20190164281A1 (en) Robotic pill filling, counting, and validation
KR101756713B1 (ko) 입체형 다중 마커 구조의 증강 현실 구현 시스템 및 그 방법
CN110730345A (zh) 图像显示方法、图像识别方法、装置、介质、设备及***
CN101165719A (zh) 一种基于标志点的增强实现工业维修方法及***
KR101792250B1 (ko) 실제현실 적응형 증강현실 제공 방법
KR101274334B1 (ko) 비전기반의 증강현실 시스템
KR20110136035A (ko) 실제현실 적응형 증강현실 장치
KR20110136028A (ko) 가상 점을 통해 객체를 인식하는 증강현실 장치
KR101315433B1 (ko) 모스 부호 기반의 증강현실 시스템
CN106920258B (zh) 增强现实中快速实时获得运动物体信息的方法及***
US20190033589A1 (en) Head-mounted apparatus
JP5861881B2 (ja) 画像合成装置、画像合成方法、プログラム、及び、画像合成システム
JP6896670B2 (ja) 放射線量分布表示装置及び放射線量分布表示方法
KR101788471B1 (ko) 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180118

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190124

Year of fee payment: 7