KR20110104243A - 증강 현실에서 차폐된 마커의 인식 장치 및 방법 - Google Patents

증강 현실에서 차폐된 마커의 인식 장치 및 방법 Download PDF

Info

Publication number
KR20110104243A
KR20110104243A KR1020100023268A KR20100023268A KR20110104243A KR 20110104243 A KR20110104243 A KR 20110104243A KR 1020100023268 A KR1020100023268 A KR 1020100023268A KR 20100023268 A KR20100023268 A KR 20100023268A KR 20110104243 A KR20110104243 A KR 20110104243A
Authority
KR
South Korea
Prior art keywords
marker
feature point
information
augmented reality
recognizing
Prior art date
Application number
KR1020100023268A
Other languages
English (en)
Inventor
소경숙
정진
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020100023268A priority Critical patent/KR20110104243A/ko
Publication of KR20110104243A publication Critical patent/KR20110104243A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nonlinear Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 현실 환경을 기반으로 한 증강 현실(AR)에서, 인식하고자 하는 마커가 다른 물체에 의해 가려지거나 모양이 찌그러진 경우 해당 마커의 특징점을 구분하여 추출하고, 추출된 특징점이 이미 저장된 해당 마커의 특징점과 일정한 임계값 이상으로 일치하면 유효한 마커로 인식하여 마커의 위치 및 자세 측정에 적용함으로써, 보다 정확한 마커 인식 및 트래킹(tracking)이 가능하여 기존에 비해 증강된 현실을 제공한다.

Description

증강 현실에서 차폐된 마커의 인식 장치 및 방법{RECOGNITION APPARATUS AND METHOD OF OCCLUDED MARKER IN AUGMENTED REALITY}
본 발명은 증강 현실에서 마커 인식 기술에 관한 것으로서, 더욱 상세하게는 인식하고자 하는 마커가 다른 물체에 의해 가려지거나 모양이 찌그러진 경우 해당 마커의 특징점을 구분하여 추출하고, 추출된 특징점이 이미 저장된 해당 마커의 특징점과 일정한 임계값 이상으로 일치하면 유효한 마커로 인식하는 증강 현실에서 차폐된 마커의 인식 장치 및 방법에 관한 것이다.
가상 현실(Virtual Reality: VR)은 컴퓨터 시스템에서 생성한 3D 가상 공간과 주로 상호 작용이 주가되는 분야로서, 가상 공간은 현실 세계를 바탕으로 구성된다. 사용자는 이러한 가상 공간을 인체의 오감(시각, 청각, 후각, 미각, 촉각)을 통해 느낌으로써 몰입감(沒入感)을 갖게 된다.
증강 현실(Augmented Reality: AR)은 가상 현실(VR)의 하나의 분야에서 파생된 기술로서, 현실 세계와 가상의 체험을 결합한 것을 의미한다. 즉, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
가상 현실은 모든 환경을 컴퓨터를 통해 가상환경으로 제작하여 사용자와 상호 작용하지만, 증강 현실은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용함으로써 향상된 현실감을 줄 수 있다는 특징을 가진다. 따라서, 증강 현실에서는 사용자가 자신이 위치해 있는 실제 환경을 인식함과 동시에, 실제 영상 위에 표현된 가상의 정보도 인식하게 된다.
이와 같이, 증강 현실은 현실 영상과 가상의 그래픽을 접목하여 보여주기 때문에 보다 실감있고 정확한 영상을 얻기 위해서는 가상 객체들을 화면에서 원하는 자리에 정확히 위치시켜야 한다. 이를 구현하기 위해서는 가상 객체에 대한 3차원 좌표가 필요하며, 이 좌표는 카메라를 기준으로 하는 좌표값이 되어야 한다.
그런데, 문제는 카메라의 영상에서 현실 세계의 어떤 지점이나 물체에 대한 카메라의 3차원 좌표를 확보해야 하는데, 이를 위해서는 2대 이상의 카메라가 필요하므로 3차원 위치를 파악하기가 쉽지 않다.
따라서, 이에 대한 대책으로 증강 현실에서는 가상 객체를 위치시킬 마커(marker)를 현실 세계의 공간에 배치하고 상기 마커를 기준으로 상대적 좌표를 추출하여 가상 객체를 위치시킬 위치 및 자세를 추정하는 마커 기반 인식 기술을 이용하고 있다.
예를 들어, 고양이를 뜻하는 마커를 사용자가 임의로 만들고, 실제 고양이의 모습을 3차원 그래픽 이미지로 형상화한 3차원 가상 영상을 고양이 마커와 매칭시킨다. 이 마커를 컴퓨터에 연결된 카메라 등의 영상 인식 수단으로 인식하면, 컴퓨터 모니터에 고양이의 3차원 가상 영상이 나타나는 것이다.
그런데, 기존 마커 기반 인식 기술에서는, 인식하고자 하는 마커가 사용자와의 인터렉션을 위해 움직이는 손이나 다른 물체에 의해 가려지게 되고(이하, 차폐된 마커), 또는 모양이 찌그러지게 되어(이하, 왜곡된 마커), 유용한 마커로 인식하지 못하는 문제가 발생하고 있다.
이를 해결하기 위한 방안으로, 차폐된(occluded) 마커가 존재하면 이를 제거하여 마커를 인식하도록 수행하였다. 이 경우, 마커 인식에 대한 동작 오류는 해결할 수 있지만, 제거된 마커와 매칭되는 가상 객체의 일부 구성이 삭제되거나 다른 구성에 뭉개져서 표현되므로 오히려 현실감을 떨어뜨리는 문제점이 있다. 특히, 복수 개의 마커를 인식해서 가상 이미지를 제공하는 경우 상기의 문제점은 더 크게 작용할 수 있다. 예를 들면, 복수 개의 마커를 인식하여 하나의 가상 이미지인 복합기를 제공하는 경우 어떤 마커는 복합기의 제어 버튼과 매핑되고, 어떤 마커는 복합기의 출력 트레이와 매핑될 수 있는데, 이중 하나의 마커가 제거되면 복합기의 제어 버튼이 삭제된 상태로 표시되거나, 출력 트레이가 없는 어색한 복합기로 표시될 수 있다.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 인식하고자 하는 마커가 다른 물체에 의해 차폐되거나 모양이 왜곡된 경우 해당 마커의 특징점을 추출하고, 추출된 특징점이 이미 저장된 해당 마커의 특징점과 일정한 임계값 이상으로 일치하면 유효한 마커로 인식하여 마커 트랙킹에 적용시키는 차폐된 마커의 인식 장치 및 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 다수 개의 마커가 배치된 증강 현실 환경에서 마커를 인식하는 기술에 유용하게 적용함으로써 보다 정밀한 마커 인식 및 트래킹(tracking)이 가능하도록 하는 데 있다.
이를 위하여, 본 발명의 제1 측면에 따르면, 현실 환경의 실제 객체를 촬영하여 얻은 실제 영상으로부터 마커를 인식하는 장치에 있어서, 상기 실제 영상으로부터 인식하고자 하는 마커를 구분하여 상기 마커의 특징점을 추출하는 특징점 추출부; 상기 특징점 추출부로부터 추출된 특징점이 인가되면 미리 저장된 해당 마커의 원 특징점 정보와 임계값 정보를 검출하여, 상기 특징점 추출부로부터 추출된 특징점이 상기 해당 마커의 원 특징점 정보에 임계값 이상으로 일치하는지 여부에 따라 유효성을 판단하는 유효 판단부; 상기 유효 판단부를 통해 판단한 유효 마커를 검출하는 마커 검출부; 및 상기 실제 영상으로부터 인식하고자 하는 각 마커의 원 특징점 정보와 상기 각 마커당 원 특징점 정보의 일치 정도를 산정할 수 있는 임계값 정보를 저장한 저장부를 포함하는 것을 특징으로 한다.
본 발명의 제2 측면에 따르면, 현실 환경의 실제 객체를 촬영하여 얻은 실제 영상으로부터 마커를 인식하는 방법에 있어서, 상기 실제 영상으로부터 인식하고자 하는 마커를 구분하여 상기 마커의 특징점을 추출하는 단계; 상기 마커에 대하여 사전에 저장한 원 특징점 정보와 임계값 정보를 검출하여, 상기 단계에서 추출된 특징점이 상기 마커의 원 특징점 정보에 임계값 이상으로 일치하는지 여부를 판단하는 단계; 및 상기 판단 결과, 상기 추출된 특징점이 상기 마커의 원 특징점 정보에 임계값 이상으로 일치하면 유효 마커로 인식하고, 상기 임계값 미만이면 무효 마커로 인식하는 단계; 및 상기 유효 마커를 최종 마커로 검출하여 마커의 위치 및 자세 측정에 적용하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 복수의 마커가 배치된 증강 현실 환경에서 다른 물체에 의해 차폐되거나 모양 일부가 찌그러져 왜곡된 마커라도 일정 조건을 만족하는 경우 유효한 마커로 인식하여 적용함으로써 보다 정밀한 마커 인식 및 트래킹이 가능하다. 이로써, 기존에 비해 증강된 현실을 제공할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 증강 현실에서 손가락에 의해 마커가 차폐된 상태를 보여주는 도면.
도 2는 본 발명의 실시예에 따른 증강 현실에서 차폐된 마커의 인식 장치를 나타낸 구성도.
도 3은 본 발명의 실시예에 따른 마커 인식에서 마커의 강인성에 따라 유효성을 판단하는 방법을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 증강 현실에서 차폐된 마커의 인식 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 실시예에 따른 증강 현실에서 손가락에 의해 마커가 차폐된 상태를 보여주는 도면이다.
도시한 도면부호 10은 웹 카메라와 같은 영상 인식 수단을 통해 인식한 현실 환경에 대한 실제 영상이다.
실제 영상(10)으로부터 각 마커(12, 14)를 검출하여 인식하는 과정에서, 외부의 아무런 영향을 받지 않는 제1 마커(12)는 검색정 테두리 안에 기하학 문양이 사용된 패턴을 정확하게 인식할 수 있다.
반면에, 제2 마커(14)는 마커 전방에 사용자의 손이 배치되어 일부 영역이 차폐되어 있다. 이러한 제2 마커(14)를 인식할 때 손이 배치되지 않은 영역의 패턴에 대해서는 정확하게 인식할 수 있으나, 손이 배치된 영역(16)은 손 영상에 의해 가려져 정확하게 인식할 수 없다.
그러나, 손이 배치된 영역(16)이 마커의 패턴(14a)에 해당하는 영역이 아니고 검정색 테두리(14b)에 해당하는 영역이면 마커를 인식하는 데 크게 문제가 되지 않는다. 또한, 손이 배치된 영역(16)이 마커의 패턴(14a) 일부를 포함하기는 하지만, 패턴의 특징을 모호하게 하는 경우가 아니면 마커를 인식하는 데 크게 문제가 되지 않는다.
즉, 마커의 일부가 차폐되더라도 해당 마커를 식별할 수 있는 최소한의 특징을 알 수 있는 정도면 유효 마커로 적용할 수 있다.
따라서, 본 발명에서는 상기한 점에 착안하여 실제 영상으로부터 각 마커의 특징점을 추출하여 추출된 특징점이 해당 마커의 원 특징점 정보에 일정한 임계값(Threshold value) 이상으로 일치하는지 여부에 따라 마커의 사용 여부를 결정한다.
이를 구현하기 위한 구성에 대하여 구체적으로 살펴보기로 한다.
도 2는 본 발명의 실시예에 따른 증강 현실에서 차폐된 마커의 인식 장치를 나타낸 구성도이고, 도 3은 본 발명의 실시예에 따른 마커 인식에서 마커의 강인성에 따라 유효성을 판단하는 방법을 설명하기 위한 도면이다.
먼저 도 2를 참조하면, 본 발명의 실시예에 따른 마커 인식 장치(100)는 영상 인식부(110), 마커 인식부(120)로서 특징점 추출부(122)와 유효 판단부(124) 및 마커 검출부(126), 저장부(130), 가상 객체 합성부(140), 표시부(150)를 포함한다.
영상 인식부(110)는 현실 환경에 존재하는 실제 객체를 촬영하여 현실 환경에 대한 영상(이하, 실제 영상)을 획득한다. 그리고, 이를 마커 인식부(120)로 전달한다. 이 영상 인식부(110)는 컴퓨터 등의 외부 콘트롤 장치와 연결되는 카메라 또는 웹캠(webcam)이거나, 개인휴대단말기에 내장된 카메라일 수 있다.
특징점 추출부(122)는 영상 인식부(110)를 통해 획득한 실제 영상으로부터 마커를 구분하여 마커의 색상 정보나, 선분 정보, 에지(edge) 정보 등을 이용하여 특징점을 추출한다.
유효 판단부(124)는 특징점 추출부(122)에서 추출된 특징점이 인가되면 저장부(130)에 미리 저장된 해당 마커의 원 특징점 정보와 임계값 정보를 검출하여, 추출된 특징점이 해당 마커의 원 특징점 정보로부터 임계값 이상으로 일치하는지를 비교 판단한다. 판단 결과, 임계값 이상으로 일치하면 유효 판단부(124)는 해당 마커를 유효한 마커로 인식하고, 임계값 미만이면 무효한 마커로 인식한다.
마커 검출부(126)는 유효 판단부(124)의 판단 결과에 따라 유효 마커를 추출하여 최종 마커를 검출한다. 이때, 마커 검출부(126)는 경우에 따라 유효 마커를 저장부(130)에 저장된 해당 마커의 정보로 복원하여 검출할 수 있다.
따라서, 상기의 구성에 의한 마커 인식부(120)는 실제 영상에서 인식하고자 하는 대상 마커의 특징점을 추출하여 유효성을 판단한 후, 유효 마커의 경우 마커 검출부(126)에서 저장부(130)에 저장된 마커 정보에 기초하여 마커를 인식한다.
저장부(130)는 인식하고자 하는 다양한 마커에 관한 정보를 저장한 마커 DB(132)와, 마커 DB(132)에 저장된 마커와 매핑되는 가상 객체에 관한 정보를 저장한 가상객체 DB(134)를 포함할 수 있다.
마커 DB(132)에는 해당 마커의 색상 정보나 선분, 에지 정보를 이용한 특징점 정보가 저장되고, 이 특징점 정보와의 일치 정도를 산정할 수 있는 임계값(Threshold value) 정보가 사전에 저장된다.
이 임계값 정보는 앞서 설명한 바와 같이 상기 유효 판단부(124)에서 실제 영상으로부터 추출된 특징점과 저장부(130)에 미리 저장된 해당 마커의 특징점 정보와의 일치 정도에 따라 유효성을 판단하는 기준이 된다.
본 발명의 실시예에 따른 임계값 정보는 해당 마커의 강인성(robustness)에 따라 결정될 수 있다.
마커의 강인성은 마커의 패턴 인식이 정확하고 쉬운 정도를 나타내는 척도(尺度)로, 강인성이 높으면 마커의 인식률이 높고 강인성이 낮으면 마커의 인식률이 낮아 아주 미세하게 모양이 왜곡되거나 차폐되더라도 마커 인식에 실패할 가능성이 크다.
따라서, 마커의 강인성이 높으면 마커의 차폐 영역이 비교적 넓어도 최소한의 마커 인식이 가능하므로 임계값의 레벨이 낮다. 이와 반대로, 마커의 강인성이 낮으면 마커의 차폐 영역이 작아야 마커 인식이 가능하므로 임계값 레벨이 높게 결정할 수 있다.
도 3은 일 례로, 마커의 강인성에 따라 유효성을 판단하는 방법을 나타내고 있다.
즉, 실제 영상으로부터 검출된 마커A, 마커B에 대하여 마커의 강인성은 각각 80, 60이고, 임계값은 마커의 강인성과 상호 반비례 관계임을 고려하여 각각 60%, 80%로 가정한다.
이러한 마커A와 마커B에 도 3의 (b)에 도시된 바와 같이 동일한 차폐 영역(occluded region)이 발생하면, 각 마커의 인식은 차폐 영역을 제외한 영역을 기반으로 이루어진다.
차폐 영역의 범위가 대략 30% 정도이면, 차폐 영역을 제외한 영역으로부터 추출한 마커A의 특징점은 마커A의 원 특징점 정보에 임계값 60% 이상 일치하는 조건을 만족한다. 따라서, 차폐된 마커A는 유효한 마커로 볼 수 있다.
그러나, 차폐 영역을 제외한 영역으로부터 추출한 마커B의 특징점은 마커B의 원 특징점 정보에 임계값 80% 이상 일치하는 조건에 만족하지 못하므로 무효한 마커로 볼 수 있다.
이처럼, 마커 인식부(120)에서 유효성 판단에 의해 마커의 사용 여부를 결정하면, 가상 객체 합성부(140)는 마커 인식부(120)에서 결정된 최종 마커에 매핑되는 가상 객체를 저장부(130)로부터 검출하여, 영상 인식부(110)를 통해 획득한 실제 영상과 합성한다. 그리고, 합성된 하나의 영상을 표시부(150)로 출력한다.
그러면, 표시부(150)는 가상 객체 합성부(140)로부터 입력되는 영상 즉, 영상 인식부(110)를 통해 획득한 실제 영상과 2차원 또는 3차원 이미지, 동영상과 같은 시각적 가상 객체가 합성된 하나의 영상을 표시한다.
따라서, 상기의 구성에 따른 본 발명의 마커 인식 장치(100)는 하나 또는 하나 이상의 복수 마커의 일부가 차폐되거나 모양이 왜곡된 경우라 하더라도 배제하지 않고, 해당 마커의 원 특징점과 일치하는 정도에 따라 유효 마커로 인식하여 마커의 방위(구체적으로 위치 및 자세 등) 측정에 적용하도록 한다.
한편, 증강 현실에서 방위 인식을 위해 복수 개의 유효 마커가 필요한 상황에서, 마커 인식의 오류나 외적인 환경 등에 의해 마커가 차폐되거나 왜곡되어, 방위 인식을 위해 필요한 복수 개 만큼의 유효 마커를 인식할 수 없는 경우가 발생할 수 있다. 이 경우, 본 실시예에서는 상기 특징점 추출부(도 2의 122)로부터 추출된 특징점으로부터 방위 인식을 위해 기본적으로 필요한 마커의 개수인지를 판단하고, 판단 결과 기본적으로 필요한 마커의 개수가 부족하면 유효 판단부(도 2의 124)를 통해 유효성 판단을 수행한다. 이로써, 차폐되거나 왜곡된 마커에 대해서도 유효 마커로 인식하여 마커의 인식률을 높일 수 있다.
그럼, 이하에서는 상기한 마커 인식 장치(100)의 구성을 이용하여 차폐된 마커를 인식하는 과정을 구체적으로 설명한다.
도 4는 본 발명의 실시예에 따른 증강 현실에서 차폐된 마커의 인식 방법을 설명하기 위한 흐름도이다.
우선 마커를 인식하기 전에, 인식하고자 하는 하나 이상의 마커에 대하여 특징점을 정의하고 정의된 특징점 정보(이하, 원 특징점 정보라 칭함)를 마커별로 저장부(130)에 미리 저장해 둔다. 그리고, 인식하고자 하는 하나 이상의 마커와 매칭되는 가상 객체를 미리 저장부(130)에 저장해 둔다.
이후, 마커 인식부(120)는 영상 인식부(110)를 통해 현실 환경에 존재하는 실제 객체를 촬영하여 현실 환경에 대한 실제 영상을 획득한다(S100).
이후, 마커 인식부(120)는 영상 인식부(110)에서 획득한 실제 영상으로부터 마커를 구분하여 검출하고, 검출된 마커의 색상 정보, 선분 및 에지 정보를 이용하여 특징점을 추출한다(S110, S120).
이후, 추출된 특징점이 차폐 또는 왜곡되었는지를 판단한다(S130).
차폐 또는 왜곡되었는지의 판단 여부는 추출된 특징점이 저장부(130)에 미리 저장된 해당 마커의 원 특징점 정보와 다른지 여부에 따라 쉽게 판단할 수 있을 것이다.
판단 결과, 추출된 특징점이 차폐 또는 왜곡되지 않았으면 유효한 마커로 인식하지만(S160), 추출된 특징점이 차폐 또는 왜곡된 것으로 판단되면, 유효 판단부(124)에서는 저장부(130)로부터 해당 마커의 원 특징점 정보와 임계값 정보를 검출하여, 추출된 특징점이 해당 마커의 원 특징점 정보에 임계값 이상으로 일치하는지를 비교 판단한다(S140).
상기 판단을 통해, 추출된 특징점이 임계값 이상으로 일치하면 유효 판단부(124)는 해당 마커를 유효한 마커로 인식하고(S160), 임계값 미만이면 무효한 마커로 인식한다(S150). 인식 후, 유효한 마커를 최종 마커로 검출하여 마커의 방위 측정에 적용한다.
이때, 필요에 따라서는 유효한 마커를 저장부(130)에 저장된 해당 마커의 정보로 복원하여 최종 마커로 검출할 수 있다.
이후, 해당 마커와 매핑되는 가상 객체를 저장부(130)로부터 검출한다(S170).
이후, 검출한 가상 객체를 해당 마커에 위치시켜 실제 영상과 합성한 후 표시부(150)를 통해 하나의 영상으로 제공한다(S180).
이로써, 상기한 과정을 거치면 마커가 차폐되거나 왜곡된 경우에도 일정 조건을 만족하면 유효 마커로 사용함으로써 보다 정밀한 마커 인식 및 트래킹이 가능하므로 기존에 비해 증강된 현실을 제공할 수 있다.
한편, 본 발명은 상기한 증강현실 방법을 소프트웨어적인 프로그램으로 구현하여 컴퓨터로 읽을 수 있는 소정 기록매체에 기록해 둠으로써 다양한 재생장치에 적용할 수 있다.
다양한 재생장치는 PC, 노트북, 휴대용 단말 등일 수 있다.
기록매체는 각 재생장치의 내장형 하드디스크이거나, 외장형으로 CD-R, CD-RW와 같은 광디스크, 콤팩트 플래시 카드, 스마트 미디어, 메모리 스틱, 멀티미디어 카드일 수 있다.
이 경우, 컴퓨터로 읽을 수 있는 기록매체에 기록한 프로그램은, 앞서 설명한 바와 같이, 현실 환경의 실제 영상으로부터 인식하고자 하는 마커를 구분하여 마커의 특징점을 추출하는 과정과, 추출한 마커에 대하여 사전에 저장된 원 특징점 정보와 임계값 정보를 검출하여, 상기 과정에서 추출된 마커의 특징점이 기저장된 원 특징점 정보에 임계값 이상으로 일치하는지 여부를 판단하는 과정, 판단 결과 추출된 마커의 특징점이 기저장된 원 특징점 정보에 임계값 이상으로 일치하면 유효 마커로 인식하고, 임계값 미만이면 무효 마커로 인식하는 과정, 및 유효 마커를 최종 마커로 검출하여 마커의 방위 측정에 적용하는 과정을 포함하여 실행될 수 있다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
종래 현실 환경을 기반으로 한 증강 현실(AR)에서는 마커가 차폐되거나 왜곡된 경우 해당 마커를 배제하여 마커 인식을 수행하였으나, 본 발명은 해당 마커의 특징점을 구분하여 추출하고, 추출된 특징점이 이미 저장된 해당 마커의 특징점과 일정한 임계값 이상으로 일치하면 유효한 마커로 인식하여 마커의 위치 및 자세 측정에 적용함으로써 보다 정확한 마커 인식 및 트래킹(tracking)이 가능하고, 이로써 기존에 비해 증강된 현실을 제공할 수 있다.
10: 실제 영상 12, 14: 제1 및 제2 마커
14a: 마커의 패턴 14b: 마커의 테두리
16: 손이 배치된 영역 100: 마커 인식 장치
110: 영상 인식부 120: 마커 인식부
122: 특징점 추출부 124: 유효 판단부
126: 마커 검출부 130: 저장부
132: 마커 DB 134: 가상객체 DB
140: 가상 객체 합성부 150: 표시부

Claims (11)

  1. 현실 환경의 실제 객체를 촬영하여 얻은 실제 영상으로부터 하나 또는 하나 이상의 복수 마커를 인식하는 장치에 있어서,
    상기 실제 영상으로부터 인식하고자 하는 복수 마커를 구분하여 상기 복수 마커의 특징점을 추출하는 특징점 추출부;
    상기 특징점 추출부로부터 추출된 특징점이 인가되면 미리 저장된 해당 마커의 원 특징점 정보와 임계값 정보를 검출하여, 상기 특징점 추출부로부터 추출된 특징점이 상기 해당 마커의 원 특징점 정보에 임계값 이상으로 일치하는지 여부에 따라 유효성을 판단하는 유효 판단부;
    상기 유효 판단부를 통해 판단한 유효 마커를 검출하는 마커 검출부; 및
    상기 실제 영상으로부터 인식하고자 하는 각 마커의 원 특징점 정보와 상기 각 마커당 원 특징점 정보의 일치 정도를 산정할 수 있는 임계값 정보를 저장한 저장부
    를 포함하는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 장치.
  2. 제1항에 있어서,
    상기 임계값 정보는
    상기 복수 마커의 강인성(robustness)에 따라 산정되는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 장치.
  3. 제1항에 있어서,
    상기 유효 판단부는 상기 특징점 추출부로부터 추출된 특징점이 인가되면 상기 특징점으로부터 방위 인식을 위해 기본적으로 필요한 마커의 개수가 부족한지 여부를 판단하고, 마커의 개수가 부족하면 상기 유효성 판단을 수행하는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 장치.
  4. 제1항에 있어서,
    상기 특징점은
    상기 마커의 특징이 되는 색상 정보, 선분 정보, 에지 정보인 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 장치.
  5. 제1항에 있어서,
    상기 마커 검출부는
    상기 유효 마커를 상기 저장부에 저장된 해당 마커의 정보로 복원하여 검출하는 것이 가능한 증강 현실에서 차폐된 마커의 인식 장치.
  6. 현실 환경의 실제 객체를 촬영하여 얻은 실제 영상으로부터 마커를 인식하는 방법에 있어서,
    상기 실제 영상으로부터 인식하고자 하는 마커를 구분하여 상기 마커의 특징점을 추출하는 단계;
    상기 마커에 대하여 사전에 저장한 원 특징점 정보와 임계값 정보를 검출하여, 상기 단계에서 추출된 특징점이 상기 마커의 원 특징점 정보에 임계값 이상으로 일치하는지 여부를 판단하는 단계;
    상기 판단 결과, 상기 추출된 특징점이 상기 마커의 원 특징점 정보에 임계값 이상으로 일치하면 유효 마커로 인식하고, 상기 임계값 미만이면 무효 마커로 인식하는 단계; 및
    상기 유효 마커를 최종 마커로 검출하여 마커의 방위 측정에 적용하는 단계
    를 포함하는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 방법.
  7. 제6항에 있어서,
    상기 마커의 특징점을 추출하는 단계는,
    상기 마커의 색상 정보, 선분 정보, 에지 정보를 이용하여 추출하는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 방법.
  8. 제6항에 있어서,
    상기 마커의 원 특징점 정보에 임계값 이상으로 일치하는지 여부를 판단하는 단계 이전에,
    추출된 마커의 특징점으로부터 방위 인식을 위해 기본적으로 필요한 마커의 개수가 부족한지 여부를 판단하고, 판단 결과 마커의 개수가 부족하면 상기 임계값과 일치 여부를 판단하는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 방법.
  9. 제6항에 있어서,
    상기 임계값 정보는
    상기 마커의 강인성(robustness)에 따라 결정되는 것을 특징으로 하는 증강 현실에서 차폐된 마커의 인식 방법.
  10. 제6항에 있어서,
    상기 유효 마커를 최종 마커로 검출하는 단계는,
    필요에 따라 상기 유효 마커를 사전에 저장된 해당 마커의 정보로 복원하여 검출하는 것이 가능한 증강 현실에서 차폐된 마커의 인식 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 과정을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020100023268A 2010-03-16 2010-03-16 증강 현실에서 차폐된 마커의 인식 장치 및 방법 KR20110104243A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100023268A KR20110104243A (ko) 2010-03-16 2010-03-16 증강 현실에서 차폐된 마커의 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100023268A KR20110104243A (ko) 2010-03-16 2010-03-16 증강 현실에서 차폐된 마커의 인식 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160127010A Division KR20160118194A (ko) 2016-09-30 2016-09-30 증강 현실에서 차폐된 마커의 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20110104243A true KR20110104243A (ko) 2011-09-22

Family

ID=44955066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100023268A KR20110104243A (ko) 2010-03-16 2010-03-16 증강 현실에서 차폐된 마커의 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20110104243A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665363B1 (ko) * 2015-05-08 2016-10-24 주식회사 인디고엔터테인먼트 가상현실, 증강현실 및 홀로그램을 혼합한 인터랙티브 콘텐츠 시스템
CN112334944A (zh) * 2018-07-03 2021-02-05 日立汽车***株式会社 摄像机装置的标志识别方法及标志识别装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665363B1 (ko) * 2015-05-08 2016-10-24 주식회사 인디고엔터테인먼트 가상현실, 증강현실 및 홀로그램을 혼합한 인터랙티브 콘텐츠 시스템
CN112334944A (zh) * 2018-07-03 2021-02-05 日立汽车***株式会社 摄像机装置的标志识别方法及标志识别装置
CN112334944B (zh) * 2018-07-03 2023-09-08 日立安斯泰莫株式会社 摄像机装置的标志识别方法及标志识别装置

Similar Documents

Publication Publication Date Title
US10088294B2 (en) Camera pose estimation device and control method
KR101469398B1 (ko) 텍스트 기반 3ｄ 증강 현실
KR101227255B1 (ko) 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
US8934673B2 (en) Image processing method and apparatus for detecting target
JP5205187B2 (ja) 入力システム及び入力方法
KR101250619B1 (ko) 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
KR101227237B1 (ko) 복수의 마커를 이용하여 가상 객체간 인터렉션을 구현하는 증강현실 시스템 및 방법
US10592778B2 (en) Stereoscopic object detection leveraging expected object distance
CN111488775B (zh) 注视度判断装置及方法
US11823394B2 (en) Information processing apparatus and method for aligning captured image and object
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US11189035B2 (en) Retrieval device, retrieval method, and computer program product
JP2010237872A (ja) 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
US20210224322A1 (en) Image search system, image search method and storage medium
US11106949B2 (en) Action classification based on manipulated object movement
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
KR20110104243A (ko) 증강 현실에서 차폐된 마커의 인식 장치 및 방법
KR20110087620A (ko) 레이아웃 기반의 인쇄매체 페이지 인식방법
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
KR101079184B1 (ko) 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법
KR20160118194A (ko) 증강 현실에서 차폐된 마커의 인식 장치 및 방법
CN103428551A (zh) 一种手势遥控***
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment