KR101197126B1 - 인쇄물과 동영상의 증강현실 시스템 및 방법 - Google Patents

Abstract

이 발명은 인쇄물을 촬영한 화면의 일부에 동영상을 합성하여 증강하는 인쇄물과 동영상의 증강현실 시스템 및 방법에 관한 것이다.
이 발명의 한 실시예에 따른 인쇄물과 동영상의 증강현실 시스템은, 그림의 특징값을 포함한 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스와, 상기 데이터베이스에 상기 식별정보와 상기 동영상파일을 매칭하여 저장하는 그림매칭동영상등록수단과, 상기 그림이 포함된 인쇄물의 촬영 영상으로부터 상기 그림 영역을 추출하고 상기 그림의 특징값을 포함한 검색용 식별정보를 산출하고 상기 데이터베이스로부터 상기 검색용 식별정보와 매칭된 동영상파일을 검색하고 상기 검색된 동영상을 상기 촬영 영상의 그림 영역에 디스플레이하는 증강현실수단을 포함한다.

Description

인쇄물과 동영상의 증강현실 시스템 및 방법 {Augmented reality system and method of a printed matter and video}

이 발명은 증강현실 기술에 관한 것으로서, 보다 상세하게는 인쇄물을 촬영한 화면의 일부에 동영상을 합성하여 증강하는 인쇄물과 동영상의 증강현실 시스템 및 방법에 관한 것이다.

증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리, 현실세계의 기반 위에 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 예컨대, 가상현실기술은 일반적으로 사용자로 하여금 가상의 환경에 몰입하게 하므로 사용자는 실제 환경을 볼 수 없는 반면, 증강현실 기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다.

다시 말하면, 가상현실은 현실세계를 대체하여 사용자에게 보여주지만, 증강현실은 현실세계에 가상의 물체를 중첩함으로서 현실세계를 보충하여 사용자에게 보여준다는 차별성을 가지며 가상현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 특징이 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

이 발명의 목적은 오프라인에서의 인쇄물과 온라인에서의 동영상을 혼합하여 증강하는 인쇄물과 동영상의 증강현실 시스템 및 방법을 제공하기 위한 것이다.

상술한 목적을 달성하기 위한 이 발명의 한 실시예에 따른 인쇄물과 동영상의 증강현실 시스템은, 그림의 특징값을 포함한 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스와, 상기 데이터베이스에 상기 식별정보와 상기 동영상파일을 매칭하여 저장하는 그림매칭동영상등록수단과, 상기 그림이 포함된 인쇄물의 촬영 영상으로부터 상기 그림 영역을 추출하고 상기 그림의 특징값을 포함한 검색용 식별정보를 산출하고 상기 데이터베이스로부터 상기 검색용 식별정보와 매칭된 동영상파일을 검색하고 상기 검색된 동영상을 상기 촬영 영상의 그림 영역에 디스플레이하는 증강현실수단을 포함한 것을 특징으로 한다.

또한, 이 발명의 한 실시예에 따른 인쇄물과 동영상의 증강현실 시스템은, 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속되는 인쇄물과 동영상의 증강현실 시스템에 있어서, 그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하고, 상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하며, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 증강현실수단을 포함한 것을 특징으로 한다.

또한, 이 발명의 한 실시예에 따른 인쇄물과 동영상의 증강현실 방법은, 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속된 단말기에서의 인쇄물과 동영상의 증강현실 방법에 있어서, 그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하는 제1단계와, 상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하는 제2단계와, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 제3단계를 포함한 것을 특징으로 한다.

이상과 같이 이 발명에 따르면 오프라인에서의 인쇄물과 온라인에서의 동영상이 혼합되어 증강되기 때문에, 송신자와 수신자는 오프라인에서 인쇄물로 된 편지를 주고받음과 아울러 그 인쇄물을 매개로 온라인에 접속하여 그 인쇄물에 링크된 동영상을 주고받을 수 있는 잇점이 있다.

도 1은 이 발명에 따른 인쇄물과 동영상의 증강현실 시스템을 도시한 기능 블록도이다.
도 2는 이 발명에 따른 수신측에서의 인쇄물과 동영상의 증강현실 방법을 도시한 기능 블록도이다.
도 3a 내지 도 3c는 수신측에서 이 발명에 따른 인쇄물과 동영상의 증강현실 서비스를 수행하는 과정을 도시한 도면이다.

이하, 첨부된 도면을 참조하여 이 발명의 한 실시예에 따른 인쇄물과 동영상의 증강현실 시스템 및 방법을 보다 상세하게 설명한다.

현재 모바일단말기를 이용한 증강현실 기술은 크게 2가지 기술로 구분되는 바, 이는 모바일단말기에 장착된 카메라로 입력되는 영상에 포함된 물체나 그림이 무엇인지를 인식하는 식별(identification) 기술과, 영상에 포함된 물체나 그림의 3차원 위치를 인식하는 3차원 위치인식(3D registaration) 기술로 구분된다.

이 발명은 모바일단말기를 이용한 증강현실 기술로서, 식별 기술과 3차원 위치인식 기술을 조합한다. 바람직한 실시예에서 이 발명은 편지 송수신에 적용된다. 편지 송신자는 오프라인에서 인쇄물로 된 그림엽서나 그림카드에 수기로 편지를 써서 수신자에게 발송하고, 아울러 동영상으로 촬영한 영상편지를 인터넷 상의 서버에 업로드한다. 이때, 오프라인으로 발송되는 인쇄물(그림엽서나 그림카드)의 그림의 특징값과, 송신자 정보 및/또는 수신자 정보 등이 조합되어 식별정보가 연산되고, 서버에는 그 식별정보와 영상편지 동영상이 매칭되어 저장된다.

수신자는 오프라인으로 송신자가 발송한 인쇄물로 된 그림엽서나 그림카드를 받아서 송신자가 수기로 작성한 편지를 읽는다. 아울러, 수신자는 자신의 모바일단말기의 카메라를 이용하여 인쇄물(그림엽서나 그림카드)의 그림을 포함하여 사진을 촬영하고 그 촬영한 사진을 이 발명에 따른 인쇄물과 동영상의 증강현실 시스템에 제공한다. 그러면, 이 발명의 시스템은 인쇄물의 그림으로부터 특징값을 추출하고 송신자 정보 및/또는 수신자 정보를 입력받아 이를 조합함으로써 식별정보를 연산하며, 그 식별정보를 서버에 제공하여 그 식별정보와 매칭되어 저장된 영상편지 동영상을 읽어와서 모바일단말기에 출력한다. 정리하면, 이 발명에 따르면 편지 수신자는 오프라인에서 인쇄물로 된 편지를 전송받고, 그 인쇄물을 매개로 하여 온라인에 접속하여 영상편지 동영상을 수신하여 볼 수 있다.

도 1은 이 발명에 따른 인쇄물과 동영상의 증강현실 시스템을 도시한 기능 블록도이다.

이 발명에 따른 인쇄물과 동영상의 증강현실 시스템은, 그림의 특징값을 포함한 식별정보와 동영상파일이 매칭되어 저장된 웹서버의 데이터베이스(20)와, 상기 데이터베이스(20)에 식별정보와 동영상파일을 매칭하여 저장하는 그림매칭동영상등록수단과, 상기 그림의 촬영 영상으로부터 상기 그림의 특징값을 포함한 검색용 식별정보를 산출하고 상기 데이터베이스(20)로부터 상기 검색용 식별정보와 매칭된 동영상을 검색하고 상기 검색된 동영상을 상기 촬영 영상의 그림 영역에 디스플레이하는 증강현실수단을 포함한다.

상기 그림매칭동영상등록수단은 물리적으로 송신자 단말기와 웹서버를 포함하여 이루어질 수 있고, 증강현실수단은 물리적으로 웹서버와 수신자 단말기를 포함하여 이루어질 수 있다. 송신자 단말기와 웹서버 및 웹서버와 수신자 단말기는 외부 유, 무선 통신망을 통해 통신이 이루어진다.

상기 그림매칭동영상등록수단은 인쇄물로 된 그림엽서나 그림카드에 포함된 그림 영상을 입력하는 그림영상입력수단(11)과, 상기 그림 영상으로부터 상기 그림의 특징값을 추출하는 그림특징값추출수단(12)과, 상기 그림의 특징값을 포함하는 식별정보를 산출하는 식별정보산출수단(13)과, 상기 동영상파일을 수신하는 동영상입력수단(14)과, 상기 식별정보와 상기 동영상파일을 매칭하여 상기 데이터베이스(20)에 저장하는 매칭저장수단(15)을 포함한다.

상기 그림매칭동영상등록수단은 외부로부터 부가정보(예컨대, 송신자 정보 및/또는 수신자 정보)를 입력하는 부가정보입력수단(16)을 더 포함하고, 상기 식별정보산출수단(13)은 상기 그림의 특징값과 상기 부가정보를 이용하여 상기 식별정보를 산출한다.

여기서, 상기 그림영상입력수단(11)은 송신자 단말기에 포함되어, 송신자가 인쇄물로 된 그림엽서나 그림카드를 촬영하면 그 촬영 영상으로부터 상기 그림 영상을 추출할 수 있다.

그림특징값추출수단(12)과 식별정보산출수단(13)은 각각 물리적으로 송신자 단말기에 포함될 수도 있고, 웹서버에 포함될 수도 있다. 즉, 송신자 단말기가 촬영 영상으로부터 그림 영상을 추출한 후 그림의 특징값을 추출하고 그 그림의 특징값과 부가정보와 동영상파일을 웹서버에게 전달할 수 있으며, 이 경우 웹서버는 그림의 특징값과 부가정보를 이용하여 식별정보를 산출하고 그 식별정보와 동영상파일을 매칭하여 데이터베이스에 저장한다. 또는, 송신자 단말기가 그림의 특징값과 부가정보를 이용하여 식별정보를 산출하고 그 식별정보와 동영상파일을 웹서버에게 전달할 수 있으며, 이 경우 웹서버는 송신자 단말기로부터 입력되는 식별정보와 동영상파일을 매칭하여 데이터베이스에 저장한다.

증강현실수단은 인쇄물로 된 그림카드 등을 포함하는 그림 영상을 획득하는 그림영상획득수단(31)과, 상기 획득된 그림 영상으로부터 그림 영역을 추출하는 그림영역추출수단(32)과, 상기 추출된 영역의 그림의 특징값을 추출하는 그림특징값추출수단(33)과, 상기 그림의 특징값을 포함하는 검색용 식별정보를 산출하는 식별정보산출수단(34)과, 상기 데이터베이스(20)로부터 상기 검색용 식별정보와 매칭되어 저장된 동영상파일을 검색하는 매칭동영상검색수단(35)과, 상기 그림 영역에 상기 그림 대신에 상기 검색된 동영상을 재생하여 표시하는 표시제어수단(36)을 포함한다.

이 증강현실수단은 외부로부터 부가정보(예컨대, 송신자 정보 및/또는 수신자 정보)를 입력하는 부가정보입력수단(37)을 더 포함하고, 상기 식별정보산출수단(34)은 상기 그림의 특징값과 상기 부가정보를 이용하여 상기 검색용 식별정보를 산출한다. 이 증강현실수단은 획득된 그림 영상으로부터 상기 그림 영역의 3차원 자세를 연산하는 3차원자세연산수단(38)을 더 포함하고, 상기 표시제어수단(36)은 상기 3차원자세연산수단(38)에서 연산된 상기 그림 영역의 3차원 자세를 반영하여 상기 그림 영역에 상기 검색된 동영상을 표시한다.

상기 그림특징값추출수단(32)과 식별정보산출수단(34)은 각각 물리적으로 웹서버에 포함될 수도 있고, 수신자 단말기에 포함될 수도 있다. 즉, 수신자 단말기가 획득된 그림 영상으로부터 그림 영역을 추출한 후 그림의 특징값을 추출하고 그 그림의 특징값과 부가정보를 웹서버에 전달할 수 있으며, 이 경우 웹서버는 그림의 특징값과 부가정보를 이용하여 검색용 식별정보를 산출하고 그 검색용 식별정보를 데이터베이스에 적용하여 해당 검색용 식별정보와 매칭되는 동영상을 검색하여 수신자 단말기에게 제공한다. 또는, 수신자 단말기가 그림의 특징값과 부가정보를 이용하여 검색용 식별정보를 산출하고 그 검색용 식별정보를 웹서버에게 전달할 수 있으며, 이 경우 웹서버는 수신된 검색용 식별정보를 데이터베이스에 적용하여 해당 검색용 식별정보와 매칭되는 동영상을 검색하여 수신자 단말기에게 제공한다.

3차원자세연산수단(38)은 인쇄물로 된 그림카드 등을 촬영한 그림 영상으로부터 특징점을 추출하고, 특징점 매칭을 하여 현재 그림카드 등의 화면상의 2차원 위치를 찾아내고, 이 그림카드 등의 화면상의 2차원 위치를 수신자 단말기 카메라와 그림카드 등의 상대적인 3차원 위치값 6개(x, y, z축의 이동값 및 x, y, z축의 회전값)로 계산하여 3차원 자세 정보를 획득한다.

이 발명을 구현하기 위하여, 송신측의 그림특징값추출수단(12) 및 식별정보산출수단(13)은 각각 수신측의 그림특징값추출수단(33) 및 식별정보산출수단(34)과 실질적으로 동일하게 구성되어야 함은 자명하다.

도 2는 이 발명에 따른 수신측에서의 인쇄물과 동영상의 증강현실 방법을 도시한 기능 블록도이고, 도 3a 내지 도 3c는 수신측에서 이 발명에 따른 인쇄물과 동영상의 증강현실 서비스를 수행하는 과정을 도시한 도면이다.

수신측에서 인쇄물의 촬영 영상에 동영상을 증강현실하려면, 우선, 웹서버에 상기 촬영 영상에 포함된 그림에 매칭된 동영상이 저장되어야 한다.

수신자가 수신자 단말기를 이용하여 인쇄물의 그림엽서나 그림카드 등을 촬영하면(S21), 수신자 단말기는 그 촬영된 그림 영상으로부터 그림 영역을 추출한다(S22). 도 3a는 인쇄물의 그림엽서나 그림카드를 촬영하는 상황을 촬영한 도면으로서, 수신자가 풍경 그림이 인쇄된 그림엽서를 촬영하고 있음을 확인할 수 있다.

수신자 단말기 또는 웹서버는 추출된 영역의 그림의 특징값을 추출하고(S23), 단계 S23에서 추출한 그림의 특징값을 포함하는 검색용 식별정보를 산출한다(S24). 웹서버는 검색용 식별정보에 매칭되어 저장된 동영상을 검색하여(S25) 수신자 단말기에게 제공한다.

그러면, 수신자 단말기는 단계 S22에서 추출된 그림 영역에 그림 대신에 단계 S25에서 검색된 동영상을 재생하여 표시한다(S26). 도 3b는 실제 모니터에 디스플레이되는 화면을 촬영한 도면으로서, 도 3a에서 수신자가 들고 있는 인쇄물 그림엽서의 그림은 풍경그림이었지만 실제 모니터에 디스플레이될 때에는 풍경그림이 아니라 송신자의 영상편지 동영상이 재생되어 디스플레이된다.

단계 S26에서 수신자 단말기는 그림 영상으로부터 상기 인쇄물의 3차원 자세정보를 추출하고, 그 촬영된 인쇄물의 3차원 자세 정보를 반영하여 동영상을 표시한다. 즉, 수신자가 인쇄물을 많이 회전시킨 상태로 촬영하면 그림 영역에 표시되는 동영상도 많이 회전되도록 하여 표시하고, 인쇄물을 조금 회전시킨 상태로 촬영하면 그림 영역에 표시되는 동영상도 조금 회전되도록 하여 표시한다.

도 3c는 3차원 자세를 반영하는 것의 효과를 설명하기 위하여 도시한 도면으로서, 수신자가 인쇄물의 회전각도를 증가시키면 그 인쇄물의 회전각도에 따라 그림 영역에 디스플레이되는 동영상도 회전된 상태로 디스플레이된다. 이 발명에서 촬영된 그림 영역의 영상으로부터 3차원 자세를 추출하는 기술 및 그 추출된 3차원 자세에 따라 해당 그림 영역에 디스플레이되는 동영상을 회전시키는 기술은 모두 통상적인 기술을 이용할 수 있다.

이 발명은 오프라인에서의 그림엽서나 그림카드에 동영상을 매칭하여 부가가치를 창출하는 기술분야로서, 그림엽서나 그림카드를 제작하는 팬시용품 제작분야, 회사의 홍보 브로셔와 홍보 동영상을 연계시키는 광고분야, 초대장과 초대영상을 연계시키는 이벤트 회사 등에 응용하여 사용할 수 있다.

11 : 그림영상입력수단 12 : 그림특징값추출수단
13 : 식별정보산출수단 14 : 동영상입력수단
15 : 매칭저장수단 16 : 부가정보입력수단
20 : 데이터베이스 31 : 그림영상획득수단
32 : 그림영역추출수단 33 : 그림특징값추출수단
34 : 식별정보산출수단 35 : 매칭동영상검색수단
36 : 표시제어수단 37 : 부가정보입력수단
38 : 3차원자세연산수단

Claims (18)

1. 삭제
2. 그림의 특징값을 포함한 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스와,
   상기 데이터베이스에 상기 식별정보와 상기 동영상파일을 매칭하여 저장하는 그림매칭동영상등록수단과,
   상기 그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하고 상기 그림의 특징값을 포함한 검색용 식별정보를 산출하고 상기 데이터베이스로부터 상기 검색용 식별정보와 매칭된 동영상파일을 검색하고 상기 검색된 동영상을 상기 촬영 영상의 그림 영역에 디스플레이하는 증강현실수단을 포함하고,
   상기 그림매칭동영상등록수단은, 상기 그림의 영상을 입력하는 그림영상입력수단과, 상기 그림의 영상으로부터 상기 그림의 특징값을 추출하는 그림특징값추출수단과, 상기 그림의 특징값을 포함하는 식별정보를 산출하는 식별정보산출수단과, 상기 동영상파일을 수신하는 동영상입력수단과, 상기 식별정보와 상기 동영상파일을 매칭하여 상기 데이터베이스에 저장하는 매칭저장수단을 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
3. 제 2 항에 있어서, 상기 그림매칭동영상등록수단은,
   외부로부터 부가정보를 입력하는 부가정보입력수단을 더 포함하고, 상기 식별정보산출수단은 상기 그림의 특징값과 상기 부가정보를 이용하여 상기 식별정보를 산출하는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
4. 그림의 특징값을 포함한 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스와,
   상기 데이터베이스에 상기 식별정보와 상기 동영상파일을 매칭하여 저장하는 그림매칭동영상등록수단과,
   상기 그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하고 상기 그림의 특징값을 포함한 검색용 식별정보를 산출하고 상기 데이터베이스로부터 상기 검색용 식별정보와 매칭된 동영상파일을 검색하고 상기 검색된 동영상을 상기 촬영 영상의 그림 영역에 디스플레이하는 증강현실수단을 포함하고,
   상기 증강현실수단은, 상기 인쇄물에 포함된 상기 그림의 영상을 획득하는 그림영상획득수단과, 상기 획득된 그림 영상으로부터 그림 영역을 추출하는 그림영역추출수단과, 상기 추출된 영역의 그림의 특징값을 추출하는 그림특징값추출수단과, 상기 그림의 특징값을 포함하는 상기 검색용 식별정보를 산출하는 식별정보산출수단과, 상기 데이터베이스로부터 상기 검색용 식별정보와 매칭되어 저장된 동영상파일을 검색하는 매칭동영상검색수단과, 상기 그림 영역에 상기 그림 대신에 상기 검색된 동영상파일을 재생하여 표시하는 표시제어수단을 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
5. 제 4 항에 있어서, 상기 증강현실수단은,
   외부로부터 부가정보를 입력하는 부가정보입력수단을 더 포함하고, 상기 식별정보산출수단은 상기 그림의 특징값과 상기 부가정보를 이용하여 상기 검색용 식별정보를 산출하는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
6. 제 4 항에 있어서, 상기 증강현실수단은,
   상기 획득된 그림 영상으로부터 상기 그림 영역의 3차원 자세를 연산하는 3차원자세연산수단을 더 포함하고, 상기 표시제어수단은 상기 3차원자세연산수단에서 연산된 상기 그림 영역의 3차원 자세를 반영하여 상기 그림 영역에 상기 검색된 동영상을 표시하는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
7. 삭제
8. 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속되는 인쇄물과 동영상의 증강현실 시스템에 있어서,
   그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하고, 상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하며, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 증강현실수단을 포함하고,
   상기 검색정보는 상기 그림의 영상 데이터이고,
   상기 증강현실수단은 상기 인쇄물에 포함된 상기 그림의 영상을 획득하는 그림영상획득수단과, 상기 획득된 그림 영상으로부터 그림 영역을 추출하여 상기 추출된 그림 영역의 영상 데이터를 상기 웹서버에게 전달하는 그림영역추출수단과, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 표시제어수단을 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
9. 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속되는 인쇄물과 동영상의 증강현실 시스템에 있어서,
   그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하고, 상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하며, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 증강현실수단을 포함하고,
   상기 검색정보는 상기 그림의 특징값이고,
   상기 증강현실수단은 상기 인쇄물에 포함된 상기 그림의 영상을 획득하는 그림영상획득수단과, 상기 획득된 그림 영상으로부터 그림 영역을 추출하는 그림영역추출수단과, 상기 추출된 영역의 그림의 특징값을 추출하여 상기 웹서버에게 전달하는 그림특징값추출수단과, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 표시제어수단을 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
10. 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속되는 인쇄물과 동영상의 증강현실 시스템에 있어서,
    그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하고, 상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하며, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 증강현실수단을 포함하고,
    상기 검색정보는 상기 식별정보이고,
    상기 증강현실수단은 상기 인쇄물에 포함된 상기 그림의 영상을 획득하는 그림영상획득수단과, 상기 획득된 그림 영상으로부터 그림 영역을 추출하는 그림영역추출수단과, 상기 추출된 영역의 그림의 특징값을 추출하는 그림특징값추출수단과, 상기 그림의 특징값을 포함하는 상기 식별정보를 산출하여 상기 웹서버에게 전달하는 식별정보산출수단과, 상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 표시제어수단을 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
11. 제 10 항에 있어서, 상기 증강현실수단은,
    외부로부터 부가정보를 입력하는 부가정보입력수단을 더 포함하고, 상기 식별정보산출수단은 상기 그림의 특징값과 상기 부가정보를 이용하여 상기 식별정보를 산출하는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
12. 제8항 내지 제 10 항 중 어느 한 항에 있어서, 상기 증강현실수단은,
    상기 획득된 그림 영상으로부터 상기 그림 영역의 3차원 자세를 연산하는 3차원자세연산수단을 더 포함하고, 상기 표시제어수단은 상기 3차원자세연산수단에서 연산된 상기 그림 영역의 3차원 자세를 반영하여 상기 그림 영역에 상기 검색된 동영상을 표시하는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 시스템.
13. 삭제
14. 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속된 단말기에서의 인쇄물과 동영상의 증강현실 방법에 있어서,
    그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하는 제1단계와,
    상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하는 제2단계와,
    상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 제3단계를 포함하고,
    상기 검색정보는 상기 그림 영역의 영상 데이터인 것을 특징으로 하는 인쇄물과 동영상의 증강현실 방법.
15. 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속된 단말기에서의 인쇄물과 동영상의 증강현실 방법에 있어서,
    그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하는 제1단계와,
    상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하는 제2단계와,
    상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 제3단계를 포함하고,
    상기 검색정보는 상기 그림의 특징값이고,
    상기 제2단계는 상기 제1단계에서 추출된 영역의 그림의 특징값을 추출하여 상기 웹서버에게 전달하는 단계를 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 방법.
16. 식별정보와 동영상파일이 매칭되어 저장된 데이터베이스를 포함한 웹서버와 접속된 단말기에서의 인쇄물과 동영상의 증강현실 방법에 있어서,
    그림이 포함된 인쇄물의 촬영 영상으로부터 그림 영역을 추출하는 제1단계와,
    상기 그림에 매칭되는 동영상파일을 검색하기 위한 검색정보를 추출하여 상기 검색정보를 상기 웹서버에게 전달하는 제2단계와,
    상기 웹서버로부터 동영상파일을 전달받아 상기 그림 영역에 상기 그림 대신 상기 동영상파일을 재생하여 디스플레이하는 제3단계를 포함하고,
    상기 검색정보는 상기 식별정보이고,
    상기 제2단계는 상기 제1단계에서 추출된 영역의 그림의 특징값을 추출하고, 상기 그림의 특징값을 포함하는 상기 식별정보를 산출하는 단계를 포함한 것을 특징으로 하는 인쇄물과 동영상의 증강현실 방법.
17. 제 16 항에 있어서,
    외부로부터 부가정보를 입력하는 부가정보입력단계를 더 포함하고,
    상기 식별정보는 상기 그림의 특징값과 상기 부가정보를 이용하여 산출되는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 방법.
18. 제 14 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 촬영 영상으로부터 상기 그림 영역의 3차원 자세를 연산하는 3차원자세연산단계를 더 포함하고,
    상기 제3단계는 상기 그림 영역의 3차원 자세를 반영하여 상기 그림 영역에 상기 검색된 동영상을 표시하는 것을 특징으로 하는 인쇄물과 동영상의 증강현실 방법.

Images