KR102195517B1 - Implementing method and apparatus for children's story based on augmented reality - Google Patents

Implementing method and apparatus for children's story based on augmented reality Download PDF

Info

Publication number
KR102195517B1
KR102195517B1 KR1020190040002A KR20190040002A KR102195517B1 KR 102195517 B1 KR102195517 B1 KR 102195517B1 KR 1020190040002 A KR1020190040002 A KR 1020190040002A KR 20190040002 A KR20190040002 A KR 20190040002A KR 102195517 B1 KR102195517 B1 KR 102195517B1
Authority
KR
South Korea
Prior art keywords
image
marker
augmented reality
moving picture
moving
Prior art date
Application number
KR1020190040002A
Other languages
Korean (ko)
Other versions
KR20200060202A (en
Inventor
배상민
배효신
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20200060202A publication Critical patent/KR20200060202A/en
Application granted granted Critical
Publication of KR102195517B1 publication Critical patent/KR102195517B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 기반의 동화 구현 방법은 카메라로 객체 마커를 캡쳐하는 단계, 상기 객체 마커를 포함하는 영상을 이용하여 상기 객체 마커의 위치 및 이동 경로를 추적하는 단계, 상기 객체 마커에 대응되는 영상 객체를 결정하는 단계 및 상기 영상 객체를 프로젝터를 이용하여 투사하는 단계를 포함한다. 상기 객체 마커는 특정 객체에 위치하고, 상기 영상 객체는 상기 객체 마커의 위치에 대응되는 위치에 투사되고, 상기 이동 경로에 대응되는 경로로 이동한다.The augmented reality-based moving picture implementation method includes capturing an object marker with a camera, tracking the position and movement path of the object marker using an image including the object marker, and determining an image object corresponding to the object marker And projecting the image object using a projector. The object marker is located on a specific object, and the image object is projected to a position corresponding to the position of the object marker, and moves to a path corresponding to the movement path.

Description

증강현실 기반의 동화 구현 방법 및 장치{IMPLEMENTING METHOD AND APPARATUS FOR CHILDREN'S STORY BASED ON AUGMENTED REALITY}A method and apparatus for implementing a fairy tale based on augmented reality {IMPLEMENTING METHOD AND APPARATUS FOR CHILDREN'S STORY BASED ON AUGMENTED REALITY}

이하 설명하는 기술은 증강 현실 기술을 이용한 동화 구현 기법에 관한 것이다.The technology described below relates to a moving picture realization technique using an augmented reality technology.

스마트 기기가 등장하면서 다양한 동화 콘텐츠가 공개되었다. 영상 출력 장치가 동화의 내용 및 사운드를 출력하여, 동화 내용을 일방적으로 사용자에게 제공하는 방식이다. 사용자가 기기에 일정한 입력(문자 입력, 터치 입력 등)을 하여 동화 진행을 제어하거나 일정한 선택을 할 수는 있지만, 이를 상호 작용 콘텐츠로 보기는 어렵다.With the advent of smart devices, various fairy tale contents were released. This is a method in which the video output device outputs the content and sound of the moving picture and unilaterally provides the moving picture content to the user. Although the user can control the moving picture progress or make a certain selection by making certain inputs (text input, touch input, etc.) to the device, it is difficult to view this as interactive content.

한국등록특허 제10-1743530호Korean Patent Registration No. 10-1743530

이하 설명하는 기술은 증강 현실 기술을 이용하여 사용자와 상호작용 가능한 동화 콘텐츠를 제공하고자 한다.The technology described below is intended to provide moving picture content that can interact with a user by using augmented reality technology.

증강현실 기반의 동화 구현 방법은 카라로 객체 마커를 캡쳐하는 단계, 상기 객체 마커를 포함하는 영상을 이용하여 상기 객체 마커의 위치 및 이동 경로를 추적하는 단계, 상기 객체 마커에 대응되는 영상 객체를 결정하는 단계 및 상기 영상 객체를 프로젝터를 이용하여 투사하는 단계를 포함한다. 상기 객체 마커는 특정 객체에 위치하고, 상기 영상 객체는 상기 객체 마커의 위치에 대응되는 위치에 투사되고, 상기 이동 경로에 대응되는 경로로 이동한다.The augmented reality-based moving picture realization method includes capturing an object marker with color, tracking the location and movement path of the object marker using an image including the object marker, and determining an image object corresponding to the object marker And projecting the image object using a projector. The object marker is located on a specific object, and the image object is projected to a position corresponding to the position of the object marker, and moves to a path corresponding to the movement path.

증강현실 기반의 동화 구현 장치는 영상에서 객체를 검출하는 프로그램 및 객체 정보에 대응하는 영상 객체 데이터를 저장하는 저장장치, 특정 객체에 위치하는 객체 마커를 포함하는 소스 영상을 획득하는 영상센서, 영상 객체를 투사하는 프로젝터 및 상기 영상 객체 데이터에서 상기 객체 마커에 대응하는 상기 영상 객체를 결정하고, 상기 소스 영상에서 상기 객체 마커의 위치 및 이동 경로를 추적하고, 상기 위치 내지 상기 이동 경로에 대응되는 위치에 상기 영상 객체가 투사되도록 제어하는 연산장치를 포함한다.An augmented reality-based moving picture realization apparatus includes a program for detecting an object in an image and a storage device for storing image object data corresponding to object information, an image sensor for obtaining a source image including an object marker located on a specific object, and an image object Determine the image object corresponding to the object marker from the projector that projects and the image object data, track the position and movement path of the object marker in the source image, and to the position corresponding to the position to the movement path And an operation device that controls the image object to be projected.

이하 설명하는 기술은 사용자가 움직이는 객체를 기준으로 영상 객체인 동화 캐릭터를 제어하여 실감 있는 동화를 구현한다. 이하 설명하는 기술은 아이들이 좋아하는 그림자 영상으로 동화 캐릭터를 재현하여 재미있고 몰입감 높은 동화를 구현한다.The technique described below implements a realistic moving picture by controlling a moving picture character, which is a video object, based on an object that a user moves. The technology to be described below reproduces a fairy tale character with a shadow image that children like to realize a funny and immersive fairy tale.

도 1은 동화 구현 장치에 대한 예이다.
도 2는 동화 구현 과정에 대한 예이다.
도 3은 동화 구현 장치를 이용한 동화 구현의 예이다.
도 4는 동화 구현 장치를 이용한 동화 구현의 다른 예이다.
도 5는 증강 현실 기반의 영상 객체가 출력되는 예이다.
도 6은 증강 현실 기반의 영상 객체가 출력되는 다른 예이다.
도 7은 동화 구현 장치의 구성을 도시한 예이다.1 is an example of an apparatus for implementing a moving picture.
2 is an example of a process of implementing a moving picture.
3 is an example of a moving picture realization using a moving picture realizing apparatus.
4 is another example of a moving picture realization using a moving picture realizing apparatus.
5 is an example in which an augmented reality based image object is output.
6 is another example in which an augmented reality-based image object is output.
7 is an example showing the configuration of a moving picture realization apparatus.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.The technology to be described below may be modified in various ways and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the technology to be described below with respect to a specific embodiment, and it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the technology described below.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as 1st, 2nd, A, B, etc. may be used to describe various components, but the components are not limited by the above terms, only for the purpose of distinguishing one component from other components. Is only used. For example, without departing from the scope of the rights of the technology described below, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms of the terms used in the present specification, expressions in the singular should be understood as including plural expressions unless clearly interpreted differently in context, and terms such as "includes" are specified features, numbers, steps, actions, and components. It is to be understood that the presence or addition of one or more other features or numbers, step-acting components, parts or combinations thereof is not meant to imply the presence of, parts, or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.Prior to the detailed description of the drawings, it is intended to clarify that the division of the constituent parts in the present specification is merely divided by the main function that each constituent part is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more according to more subdivided functions. In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to its own main function, and some of the main functions of each constituent unit are different. It goes without saying that it may be performed exclusively by.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In addition, in performing the method or operation method, each of the processes constituting the method may occur differently from the specified order unless a specific order is clearly stated in the context. That is, each process may occur in the same order as the specified order, may be performed substantially simultaneously, or may be performed in the reverse order.

이하 설명하는 기술은 동화를 구현하는 장치이다. 이하 설명하는 기술은 동화 스토리 진행을 시각적으로 보여주는 동화 구현 장치이다. 이하 설명하는 기술은 증강 현실 기술을 이용하여 아이들에게 친숙한 영상으로 캐릭터 또는 장면을 보여준다. The technique described below is a device for implementing a moving picture. The technology to be described below is a moving picture realization device that visually shows the progress of a moving picture story. The technology described below shows a character or scene as an image familiar to children using augmented reality technology.

이하 사용하는 용어에 대하여 설명한다.Hereinafter, terms used will be described.

동화 객체는 동화에 등장하는 캐릭터, 물건 또는 배경을 나타내는 물리적인 객체이다. 동화 객체는 다양한 형태로 구현될 수 있다. 예컨대, 동화 객체는 동화책에 삽입 내지 부착가능한 캐릭터 형태일 수 있다. 동화 객체는 종이, 합성수지, 금속 등 다양한 재질로 구성될 수 있다. 동화 객체는 일정한 두께를 갖는 평면 형태일 수 있다. 이 경우 평면에는 동화 캐릭터 도안이나 그림이 배치될 수 있다. 또 동화 객체는 입체감 있는 캐릭터 형태를 가질 수도 있다.A fairy tale object is a physical object representing a character, object or background appearing in a fairy tale. The moving picture object can be implemented in various forms. For example, the moving picture object may be in the form of a character that can be inserted or attached to a moving picture book. The moving object can be made of various materials such as paper, synthetic resin, and metal. The moving object may have a flat shape having a certain thickness. In this case, a drawing or drawing of a fairy tale character may be arranged on the plane. Also, the moving picture object may have a character shape with a three-dimensional effect.

객체 마커는 동화 객체에 부착되는 마커(marker)이다. 객체 마커는 마커가 부착된 특정 동화 객체를 식별하는 용도이다. 객체 마커는 다양한 형태로 구현될 수 있다. 객체 마커는 QR 코드, 바코드 등과 같이 일정한 정보를 포함하는 코드일 수 있다. 또 객체 마커는 근거리 무선통신으로 일정한 정보를 전송할 수 있는 칩(RFID 칩, NFC 칩 등)일 수도 있다. The object marker is a marker attached to a moving object. The object marker is for identifying a specific moving object to which the marker is attached. Object markers can be implemented in various forms. The object marker may be a code including certain information such as a QR code or a barcode. In addition, the object marker may be a chip (RFID chip, NFC chip, etc.) capable of transmitting certain information through short-range wireless communication.

객체 마커는 영상에서 다른 객체와 구별되어 식별될 수 있으면 된다. 즉, 객체 마커는 영상에서 특정 객체 마커를 식별할 수 있고, 식별한 객체 마커가 어떤 동화 객체를 나타내는지 정보를 전달하면 충분하다. 따라서 객체 마커는 이와 같은 기능을 갖는 다양한 형태가 사용될 수 있다.The object marker may be distinguished from other objects in the image and can be identified. That is, the object marker can identify a specific object marker in the image, and it is sufficient to transmit information on which moving object the identified object marker represents. Accordingly, various types of object markers having such a function can be used.

영상 객체는 디지털 영상에서 특정 동화 객체를 나타내는 영상이다. 예컨대, 영상 객체는 동화에 등장하는 캐릭터, 물건 또는 배경일 수 있다. The image object is an image representing a specific moving object in a digital image. For example, the video object may be a character, object, or background appearing in a fairy tale.

이하 설명의 편의를 위하여 동화 객체는 동화에 등장하는 캐릭터라고 가정한다.For convenience of explanation, it is assumed that the moving picture object is a character appearing in the moving picture.

도 1은 동화 구현 장치(100)에 대한 예이다. 동화 구현 장치(100)는 영상인식장치(120) 및 프로젝터(130)를 포함한다. 도 1은 동화 구현 장치(100)에 대한 하나의 예이다. 예컨대, 동화 구현 장치(100)는 프로젝터가 내장된 영상인식장치와 같이 일체형으로 구현될 수 있다.1 is an example of a moving picture realization apparatus 100. The moving picture realization apparatus 100 includes an image recognition apparatus 120 and a projector 130. 1 is an example of an apparatus 100 for implementing a moving picture. For example, the moving picture realizing apparatus 100 may be implemented integrally, such as an image recognition apparatus with a built-in projector.

도 1에서 동화 객체(110)는 객체 마커(111)를 외부에 부착한 형태이다. 동화 객체(110)는 고래 모양의 물리적인 객체이다. In FIG. 1, the moving object 110 has an object marker 111 attached to the outside. The moving object 110 is a physical object in the shape of a whale.

영상인식장치(120)는 카메라로 영상을 촬영하고, 영상에 포함된 객체를 인식할 수 있다. 영상인식장치(120)는 영상 내의 특정 객체를 추적하여 해당 객체의 위치를 추적할 수 있다. 영상인식장치(120)는 스마트기기와 같은 장치일 수 있다. The image recognition device 120 may capture an image with a camera and recognize an object included in the image. The image recognition device 120 may track a specific object in the image to track the location of the corresponding object. The image recognition device 120 may be a device such as a smart device.

(1) 영상인식장치(120)는 동화 객체(110)를 자체를 인식할 수도 있다. 영상인식장치(120)가 동화 객체(110)를 인식하여 어떤 유형의 객체인지 파악할 수도 있다. 또 영상인식장치(120)는 동화 객체(110)를 추적하여 위치 및 이동 경로를 파악할 수도 있다. (2) 영상인식장치(120)는 객체 마커(110)를 기준으로 동화 객체(110)를 인식할 수도 있다. 영상인식장치(120)는 객체 마커(111)를 추적하여 동화 객체(110)의 위치, 방향, 이동 경로를 추적할 수 있다. (1) The image recognition apparatus 120 may recognize the moving object 110 itself. The image recognition device 120 may recognize the moving object 110 to determine what type of object it is. In addition, the image recognition apparatus 120 may track the moving object 110 to determine the location and movement path. (2) The image recognition apparatus 120 may recognize the moving object 110 based on the object marker 110. The image recognition device 120 may track the location, direction, and movement path of the moving object 110 by tracking the object marker 111.

영상인식장치(120)는 동화 객체(110)에 대응하는 영상 객체를 생성한다. 따라서 영상인식장치(120)는 동화 객체(110)가 동화에 등장하는 어떤 캐릭터인지 파악해야 한다. 영상인식장치(120)가 동화 객체(110)를 검출하고, 인식하여 어떤 캐릭터인지 파악할 수도 있다. 다양한 동화 콘텐츠, 다양한 캐릭터 등을 고려하면 객체 마커(111)를 기준으로 동화 객체(110)를 파악하는 것이 바람직할 수 있다. 따라서 이하 영상인식장치(120)는 객체 마커(111)를 기준으로 동화 객체(110)를 인식한다고 가정한다.The image recognition device 120 creates an image object corresponding to the moving object 110. Accordingly, the image recognition apparatus 120 must determine which character the moving object 110 is a character appearing in the moving picture. The image recognition apparatus 120 may detect and recognize the moving object 110 to determine which character it is. Considering various moving picture contents, various characters, etc., it may be desirable to grasp the moving object 110 based on the object marker 111. Therefore, it is assumed that the image recognition apparatus 120 recognizes the moving object 110 based on the object marker 111.

영상인식장치(120)는 객체 마커(111)를 기준으로 2차원 평면에서 동화 객체(110)의 위치를 추적할 수 있다. 나아가 영상인식장치(120)는 객체 마커(110)를 기준으로 3차원 공간에서 동화 객체(110)의 위치를 추적할 수도 있다. 영상인식장치(120)는 동화 객체(110) 또는 객체 마커(111)의 크기를 기준으로 3차원 공간에서의 높이 내지 깊이를 추정할 수 있다. 또는 영상인식장치(120)는 스테레오 카메라 내지 적외선 카메라를 사용하여 동화 객체(110)의 높이 내지 깊이를 측정할 수도 있다.The image recognition apparatus 120 may track the position of the moving object 110 on a two-dimensional plane based on the object marker 111. Furthermore, the image recognition apparatus 120 may track the position of the moving object 110 in a three-dimensional space based on the object marker 110. The image recognition apparatus 120 may estimate a height or depth in a 3D space based on the size of the moving object 110 or the object marker 111. Alternatively, the image recognition device 120 may measure the height or depth of the moving object 110 using a stereo camera or an infrared camera.

영상인식장치(120)는 객체 마커(111)에 포함된 정보를 해석하여 동화 객체(110)를 식별한다. 예컨대, 도 1과 같이 영상인식장치(120)는 객체 마커(111)를 캡쳐하고, 객체 마커(111)에 포함된 정보를 추출할 수 있다. 영상인식장치(120)는 객체 마커(111)가 부착된 동화 객체(110)가 고래라고 식별한다. 이 경우 영상인식장치(120)는 사전에 보유한 영상 데이터를 기준으로 고래를 나타내는 영상 객체를 생성할 수 있다. 또는 영상인식장치(120)는 사전에 저장한 영상 객체 집합에서 고래 객체를 선택할 수 있다.The image recognition device 120 identifies the moving object 110 by analyzing information included in the object marker 111. For example, as shown in FIG. 1, the image recognition apparatus 120 may capture the object marker 111 and extract information included in the object marker 111. The image recognition device 120 identifies the moving object 110 to which the object marker 111 is attached to be a whale. In this case, the image recognition apparatus 120 may generate an image object representing a whale based on image data held in advance. Alternatively, the image recognition apparatus 120 may select a whale object from a previously stored image object set.

영상 객체는 칼러 영상, 흑백 영상, 그림자 영상 등일 수 있다. 그림자 영상은 2차원 평면에서 동화 객체의 그림자 형태를 나타내는 영상을 의미한다. 나아가 영상 객체는 입체감 있는 3차원 객체일 수도 있다. The image object may be a color image, a black and white image, a shadow image, or the like. The shadow image refers to an image representing the shape of a shadow of a moving object on a two-dimensional plane. Furthermore, the image object may be a three-dimensional object having a three-dimensional effect.

영상인식장치(120)는 생성한 영상 객체를 프로젝터(130)에 전달할 수 있다. 영상인식장치(120)는 프로젝터(130)에 삽입된 형태, 유선으로 연결된 형태 또는 무선으로 연결된 형태일 수 있다. 영상인식장치(120)는 연결된 프로젝터(130)에 영상 객체를 전달한다. 영상인식장치(120)는 영상 객체가 포함된 일정한 영상을 프로젝터(130)에 전달한다. 영상인식장치(120)는 객체 마커(111)의 위치를 기준으로 영상 객체의 위치를 설정하여 영상을 생성한다. The image recognition device 120 may transmit the generated image object to the projector 130. The image recognition device 120 may be inserted into the projector 130, connected by wire, or connected wirelessly. The image recognition device 120 transmits an image object to the connected projector 130. The image recognition device 120 transmits a certain image including an image object to the projector 130. The image recognition apparatus 120 generates an image by setting the position of the image object based on the position of the object marker 111.

프로젝터(130)는 영상인식장치(120)가 전달하는 영상을 외부에 투사한다.The projector 130 projects an image transmitted by the image recognition device 120 to the outside.

도 2는 동화 구현 과정(200)에 대한 예이다. 동화 구현 장치는 객체 마커를 인식한다(210). 동화 구현 장치는 캡쳐한 영상에서 객체 마커를 검출하고, 객체 마커의 내용을 분석하여 정보를 추출한다. 이 과정에서 동화 구현 장치는 객체 마커가 나타내는 동화 객체를 식별할 수 있다. 2 is an example of a moving picture implementation process 200. The moving picture realization apparatus recognizes the object marker (210). The moving picture realization apparatus detects an object marker from the captured image, analyzes the contents of the object marker, and extracts information. In this process, the moving picture realizing apparatus can identify the moving picture object indicated by the object marker.

동화 구현 장치는 객체 마커의 위치, 방향 및 이동 경로를 추적한다(220). 동화 구현 장치는 카메라(영상 센서)로 캡쳐한 영상에서 객체 마커의 위치를 추적할 수 있다.The moving picture realization apparatus tracks the location, direction, and movement path of the object marker (220). The moving picture realization apparatus may track the position of the object marker in the image captured by the camera (image sensor).

동화 구현 장치는 객체 마커에 대응하는 영상 객체를 결정하고 생성한다(230). 동화 구현 장치는 객체 마커에 포함된 정보를 기준으로 영상 객체를 결정할 수 있다. 동화 구현 장치는 사전에 보유한 데이터를 이용하여 영상 객체를 생성할 수 있다. The moving picture realization apparatus determines and creates an image object corresponding to the object marker (230). The moving picture realization apparatus may determine an image object based on information included in the object marker. The moving picture realization apparatus may create an image object using data held in advance.

동화 구현 장치는 사전에 영상 객체 세트를 보유할 수 있다. 이 경우 동화 구현 장치는 객체 마커에 포함된 식별자 정보를 기준으로 영상 객체 세트 중 특정 영상 객체를 선택할 수 있다. 동일한 동화에 등장하는 캐릭터에 대해서도, 서로 다른 영상 객체가 존재할 수 있다. 동화 구현 장치는 객체 마커에 포함된 식별자 정보를 기준으로 특정한 영상 객체를 선택할 수 있다. The moving picture realization apparatus may have a set of video objects in advance. In this case, the moving picture realization apparatus may select a specific image object from the set of image objects based on the identifier information included in the object marker. Different video objects may exist even for characters appearing in the same fairy tale. The moving picture realization apparatus may select a specific video object based on identifier information included in the object marker.

한편 동화 구현 장치는 동화 객체 자체를 분석하여, 영상 객체를 결정할 수도 있다.Meanwhile, the moving picture realizing apparatus may analyze the moving object itself and determine the image object.

동화 구현 장치는 객체 마커의 위치, 방향 및 움직임을 추적하였다. 동화 구현 장치는 실시간으로 변경되는 객체 마커의 위치, 방향 등에 대응되는 영상 객체를 출력할수 있다(240). 예컨대, 동화 구현 장치는 객체 마커의 이동에 따라 실시간으로 영상에서 영상 객체가 이동하도록 표현할 수 있다. 영상 객체가 표현되는 다양한 예에 대하여 후술한다. The moving picture realization apparatus tracks the position, direction and movement of the object marker. The moving picture realization apparatus may output an image object corresponding to the position and direction of the object marker that is changed in real time (240). For example, the apparatus for implementing a moving picture may represent a moving image object in an image in real time according to the movement of the object marker. Various examples in which an image object is expressed will be described later.

도 3은 동화 구현 장치를 이용한 동화 구현의 예이다. 도 3은 상호 작용형 동화 구현의 예이다. 사용자는 동화책(50)에서 특정한 동화 객체(110A)를 선택한다. 사용자는 영상인식장치(120)가 동화 객체(110A)를 인식할 수 있도록 적당한 위치에 동화 객체를 위치시킨다(도 3의 동화 객체 후면에 객체 마커 위치). 3 is an example of a moving picture realization using a moving picture realizing apparatus. 3 is an example of an interactive moving picture implementation. The user selects a specific moving object 110A from the moving picture book 50. The user places the moving object at an appropriate position so that the image recognition apparatus 120 can recognize the moving object 110A (the object marker position on the back of the moving object in FIG. 3).

영상인식장치(120)는 객체 마커를 기준으로 동화 객체(110A)를 인식하고, 동화 객체(110A)를 추적한다. The image recognition apparatus 120 recognizes the moving object 110A based on the object marker and tracks the moving object 110A.

영상인식장치(120)는 객체 마커에 포함된 정보를 기준으로 동화 객체(110A)에 대응하는 영상 객체를 선택 내지 생성한다. 영상인식장치(120)는 영상 객체가 포함된 영상을 생성하여 프로젝터(130)에 전달한다. 프로젝터(130)는 영상 객체가 포함된 영상을 외부 벽면 또는 스크린에 투사한다. 도 3은 고래에 대한 그림자 영상을 생성하여 외부에 투사한 예이다. The image recognition apparatus 120 selects or generates an image object corresponding to the moving object 110A based on information included in the object marker. The image recognition device 120 generates an image including an image object and transmits it to the projector 130. The projector 130 projects an image including an image object onto an external wall or screen. 3 is an example of generating a shadow image of a whale and projecting it to the outside.

영상인식장치(120)는 객체 마커 또는 동화 객체(110A)의 위치를 인식하여 영상 객체도 대응되게 위치하도록 표현할 수 있다. 나아가 영상인식장치(120)는 영상 객체에 일정한 효과를 부여할 수 있다. 예컨대, 영상인식장치(120) 영상 객체(고래)가 수영하는 애니메이션 효과를 갖는 영상을 생성할 수 있다.The image recognition apparatus 120 may recognize the position of the object marker or the moving object 110A and express the image object to be correspondingly positioned. Furthermore, the image recognition device 120 may impart a certain effect to the image object. For example, the image recognition apparatus 120 may generate an image having an animation effect in which an image object (whale) swims.

도 4는 동화 구현 장치를 이용한 동화 구현의 다른 예이다. 도 4는 상호 작용형 동화 구현의 다른 예이다. 도 4는 두 개의 동화 객체를 이용하는 예이다. 도 4는 제1 동화 객체(110A)와 제2 동화 객체(110B)를 도시한다. 도 4는 영상인식장치, 프로젝터와 같은 구성은 도시하지 않았다.4 is another example of a moving picture realization using a moving picture realizing apparatus. 4 is another example of an interactive moving picture implementation. 4 is an example of using two moving objects. 4 shows a first moving object 110A and a second moving object 110B. Fig. 4 does not show an image recognition device or a projector.

사용자가 제1 동화 객체(110A)와 제2 동화 객체(110B)를 선택하여 영상인식장치가 해당 동화 객체를 인식하게 한다. 영상인식장치는 동화 객체의 객체 마커를 기준으로 복수의 동화 객체를 동시에 인식할 수 있다. 영상인식장치는 복수의 동화 객체의 위치 및 움직임을 추적할 수 있다.The user selects the first moving object 110A and the second moving object 110B so that the image recognition apparatus recognizes the corresponding moving object. The image recognition apparatus may simultaneously recognize a plurality of moving objects based on the object markers of the moving objects. The image recognition apparatus may track the position and movement of a plurality of moving objects.

영상인식장치는 인식한 동화 객체에 대응하는 영상 객체를 생성할 수 있다. 프로젝터는 영상인식장치가 생성한 영상을 외부에 투사한다. 도 4는 제1 동화 객체(110A)에 대한 영상 객체(고래, A 표시) 및 제2 동화 객체(110B)에 대한 영상 객체(배를 탄 피노키오, B 표시)를 도시한다. 도 4는 동화 객체에 대한 그림자 영상이 생성되어 투사된 예이다. 또 영상인식장치는 영상 객체에 대한 일정한 효과를 부여할 수 있다. 예컨대, 영상인식장치는 제1 동화 객체(110A)의 이동에 따라 영상 객체 A(고래)가 헤엄치는 영상을 생성할 수 있다. 영상인식장치는 제2 동화 객체(110B)의 이동에 따라 영상 객체 B(배)가 이동하는 장면을 생성할 수 있다.The image recognition apparatus may generate an image object corresponding to the recognized moving object. The projector projects the image generated by the image recognition device to the outside. 4 shows a video object (whale, A display) for the first moving object 110A and a video object (Pinocchio on a boat, B display) for the second moving object 110B. 4 is an example in which a shadow image of a moving object is generated and projected. In addition, the image recognition device can give a certain effect to the image object. For example, the image recognition apparatus may generate an image in which the image object A (whale) swims according to the movement of the first moving object 110A. The image recognition apparatus may generate a scene in which the image object B (the ship) moves according to the movement of the second moving object 110B.

영상인식장치는 동화 객체 내지 객체 마커를 기준으로 영상 객체를 생성한다. 이때 영상인식장치는 동화 객체 내지 객체 마커의 위치 및 방향을 모니터링한다. 영상인식장치는 동화 객체 내지 객체 마커의 위치 및 방향에 대응되게 영상 객체의 위치 및 방향을 변경할 수 있다. The image recognition apparatus generates an image object based on a moving object or an object marker. At this time, the image recognition device monitors the position and direction of the moving object or the object marker. The image recognition apparatus may change the position and direction of the image object to correspond to the position and direction of the moving object or object marker.

도 5는 증강 현실 기반의 영상 객체가 출력되는 예이다. 도 5의 상단은 동화 객체 내지 객체 마커의 방향이 변경되는 예를 도시한다. 동화 객체는 (a)에서 (d)까지 도시하였다. 동화 객체 (a)는 영상인식장치(120)와 평행한 상태라고 가정한다. 동화 객체 (b)는 (a) 기준 반시계 방향으로 30° 회전한 상태이다. 동화 객체 (c)는 (a) 기준 반시계 방향으로 85°회전한 상태이다. 동화 객체 (d)는 (a) 기준 반시계 방향으로 130°회전한 상태이다.5 is an example in which an augmented reality based image object is output. The upper part of FIG. 5 shows an example in which the direction of a moving object or an object marker is changed. The moving objects are shown from (a) to (d). It is assumed that the moving object (a) is in parallel with the image recognition device 120. The moving object (b) is rotated by 30° counterclockwise based on (a). The moving object (c) is rotated by 85° counterclockwise based on (a). The moving object (d) is rotated by 130° counterclockwise based on (a).

도 5의 하단은 상단에 도시한 동화 객체의 방향에 따라 영상 객체가 변경되는 예를 도시한다. 영상 객체 (A)는 동화 객체 (a)에 대한 영상이다. 영상 객체 (B)는 동화 객체 (b)에 대한 영상이다. 영상 객체 (C)는 동화 객체 (c)에 대한 영상이다. 영상 객체 (D)는 동화 객체 (d)에 대한 영상이다. 이와 같이 영상 객체는 동화 객체의 방향에 따라 일정하게 방향이 전환되는 형태로 구현될 수 있다. 또 영상 객체가 평면 형태인 그림자인 경우, 평면 객체의 특성을 고려하여 영상 객체가 회전하는 효과를 부여할 수 있다. 예컨대, 동화 객체를 비스듬히 두면 그림자도 얇아질 수 있다.The lower part of FIG. 5 shows an example in which the video object is changed according to the direction of the moving object shown at the top. The video object (A) is an image of the moving object (a). The video object (B) is a video for the moving object (b). The video object (C) is a video of the moving object (c). The video object (D) is an image of the moving object (d). In this way, the video object may be implemented in a form in which the direction is constantly changed according to the direction of the moving object. In addition, when the image object is a shadow having a flat shape, an effect of rotating the image object may be given in consideration of the characteristics of the flat object. For example, if the moving object is placed at an angle, the shadow may be thinned.

영상 생성 장치는 객체 인식 장치가 인식한 동화 객체의 위치 및 움직임에 따라 일정한 효과를 갖는 영상을 생성할 수 있다. 이하 동화 객체의 위치 및 움직임에 따라 영상에서 나타나는 효과를 인터랙션(interaction) 효과라고 명명한다. 인터랙션 효과는 사운드 출력, 영상 객체의 움직임, 배경 영상 출력, 영상 객체와 배경의 인터랙션 영상 출력, 별도의 애니메이션 영상 출력 등 다양할 수 있다. The image generating device may generate an image having a certain effect according to the position and movement of the moving object recognized by the object recognition device. Hereinafter, an effect that appears in an image according to the position and movement of a moving object is referred to as an interaction effect. The interaction effect may be various such as sound output, motion of an image object, background image output, an interaction image output between an image object and a background, and a separate animation image output.

동화 객체 또는 객체 마커가 일정한 영역 내지 지점에 위치하는 경우 특정한 인터랙션 효과가 발생할 수 있다. 동화 객체 또는 객체 마커의 움직임 내지 이동 경로가 일정한 제스처인 경우 특정한 인터랙션 효과가 발생할 수 있다. 예컨대, 제스처는 사용자가 동화 객체를 흔드는 경우, 동화 객체로 원을 그리는 경우 등일 수 있다.When a moving object or an object marker is positioned in a certain area or point, a specific interaction effect may occur. Specific interaction effects may occur when a moving object or an object marker moves or a movement path is a constant gesture. For example, the gesture may be when a user shakes a moving object or draws a circle with the moving object.

나아가 두 개의 동화 객체가 서로 근접하거나, 중첩되는 경우 인터랙션 효과가 발생할 수도 있다. 도 6은 증강 현실 기반의 영상 객체가 출력되는 다른 예이다. 도 6은 두 개의 동화 객체가 근접한 경우 발생하는 이벤트를 도시한 예이다. 근접은 두 개의 동화 객체가 사전에 정의된 반경 내에 위치는 경우일 수 있다. 영상인식장치는 두 개의 동화 객체의 위치를 추적하므로, 두 개의 동화 객체가 일정하게 근접하는지 여부를 알 수 있다. 중첩은 두 개의 동화 객체가 2차원 평면에서 서로 중복되는 경우를 의미한다. 영상인식장치는 두 개의 동화 객체의 위치를 추적하므로, 두 개의 동화 객체가 평면에서 서로 중복되는 상태인지 여부를 추정할 수 있다.Furthermore, when two moving objects are close to each other or overlap each other, an interaction effect may occur. 6 is another example in which an augmented reality-based image object is output. 6 is an example of an event that occurs when two moving objects are adjacent. Proximity may be a case where two moving objects are located within a predefined radius. Since the image recognition apparatus tracks the positions of the two moving objects, it is possible to know whether the two moving objects are in constant proximity. Overlapping refers to a case where two moving objects overlap each other in a two-dimensional plane. Since the image recognition apparatus tracks the positions of the two moving objects, it can be estimated whether the two moving objects overlap each other in a plane.

도 6은 피노키오에 등장하는 캐릭터를 도시한 예이다. 귀뚜라미(A)와 피노키오(B)가 이동하면서 근접하는 예이다. A 및 B는 동화 객체 또는 영상 객체를 의미한다. 귀뚜라미(A)와 피노키오(B)가 근접하면 또는 충돌하면 일정한 이벤트가 발생한다. C는 피노키오의 코 위에 올라가는 영상이다. 즉, C는 두 개의 동화 객체가 상호 작용하여 스토리 진행을 위한 영상(두 개의 객체가 출연)이 출력되는 예이다. D는 피노키오의 코가 길어지는 예이다. D는 두 개의 동화 객체의 상호 작용으로 하나의 객체에 일정한 애니메이션 효과가 나타나는 예이다.6 is an example of a character appearing in Pinocchio. This is an example of a cricket (A) and Pinocchio (B) moving and approaching. A and B mean a moving picture object or a video object. When the cricket (A) and Pinocchio (B) come close or collide, a certain event occurs. C is a video of Pinocchio's nose. In other words, C is an example in which an image (two objects appear) for progressing a story is output by interaction of two moving objects. D is an example of Pinocchio's nose becoming longer. D is an example in which a certain animation effect appears on one object due to the interaction of two moving objects.

이와 같이 복수의 동화 객체가 서로 인터랙션하여 다양한 인터랙션 효과를 발생시킬 수 있다. 예컨대, 인터랙션 효과는 사운드 출력(배경 음악, 음성 등), 복수의 영상 객체의 인터랙션 영상 출력, 배경 영상 출력, 영상객체와 배경 영상의 인터랙션 영상 출력, 복수의 영상 객체를 대체하는 하나의 영상 객체 출력 및 애니메이션 영상 출력 중 적어도 하나일 수 있다.In this way, a plurality of moving objects may interact with each other to generate various interaction effects. For example, the interaction effect is sound output (background music, audio, etc.), interactive video output of a plurality of video objects, background video output, interactive video output of video objects and background video, and output of one video object replacing multiple video objects. And an animation image output.

예컨대, 영상 객체들이 서로 근접할 때 캐릭터 간의 인터랙션을 애니메이션으로 구현할 수 있다. 예컨대, 백설공주가 난장이에 근접하면, 기본 애니메이션 대신 백설공주와 난장이가 악수를 하는 협동 애니메이션을 만들어서 재생할 수 있다.For example, when image objects are close to each other, an interaction between characters may be implemented as an animation. For example, when Snow White is close to the dwarf, instead of the basic animation, a cooperative animation in which Snow White and the dwarf shake hands can be created and played.

이러한 근접성을 활용하면 게임이나 퍼즐같은 종류의 인터랙션도 가능하다. 예컨대, 스토리텔링을 진행할 때 여러 종류의 그림자를 합쳐서 퍼즐을 풀었을 때만 특정 애니메이션이 나오게 할 수도 있다. 예컨대, 브레멘 음악대는 4마리의 동물들이 합체해서 도적떼를 쫓아내는 장면이 나온다. 이때 사용자가 등장하는 동물들을 합쳤을 때 하나의 거대한 동물처럼 보이는 영상을 출력할 수 있다. 이후 도적떼가 도방가는 애니메이션을 출력할 수도 있다. Using this proximity, you can also interact with games and puzzles. For example, in storytelling, you can combine several types of shadows so that a specific animation appears only when the puzzle is solved. For example, in the Bremen Band, there is a scene where four animals unite to drive out a band of bandits. At this time, when the animals appearing in the user are combined, an image that looks like one giant animal can be output. After that, it is possible to output an animation where the bandits go to robbers.

전술한 동화 구현은 1: 1 스토리텔링에 해당한다. 1:1 스토리텔링 외에도 다양한 실시예에 본 기술이 적용될 수 있다. 예를 들어 다음과 같다.The above-described fairy tale implementation corresponds to 1: 1 storytelling. In addition to 1:1 storytelling, the present technology may be applied to various embodiments. For example:

1 대 다수 스토리텔링 One-to-many storytelling

동화책을 이용해서 1인 사용자가 다수의 대중에게 그림자 연극과 함께 동화책을 읽어줄 수 있다. 연극 스크립트를 직접 준비하지 않아도 동화책의 텍스트를 읽고 움직이는 그림자를 보여주며 생동감 있는 스토리텔링 진행이 가능하다.Using a storybook, a single user can read a storybook along with a shadow play to a large number of the public. You can read the text of a fairy tale book and show moving shadows without having to prepare a play script yourself, and you can live storytelling.

캐릭터 전시 활용Character exhibition utilization

그래픽 아티스트, 일러스터 등등의 캐릭터 전시에 활용할 수 있다. 캐릭터 상품의 후면에 AR마커를 부착하여 살아 움직이는 듯한 캐릭터 그림자를 프로젝터로 구현할 수 있으며 인테리어 또는 행사 전시에 사용할 수 있다. It can be used for character exhibitions such as graphic artists and illustrators. By attaching an AR marker on the back of a character product, a animated character shadow can be realized with a projector, and can be used for interior or event display.

도 7은 동화 구현 장치(300)의 구성을 도시한 예이다. 동화 구현 장치(300)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 동화 구현 장치(300)는 PC, 스마트 기기, 네트워크 서버, 영상 처리 전용 칩셋 등의 형태를 가질 수 있다. 7 is an example showing the configuration of the moving picture realization apparatus 300. The moving picture realization apparatus 300 may be physically implemented in various forms. For example, the moving picture realization apparatus 300 may have a form such as a PC, a smart device, a network server, and a chipset dedicated to image processing.

동화 구현 장치(300)는 저장 장치(310), 메모리(320), 영상 센서(330), 연산장치(340), 인터페이스 장치(350), 통신 장치(360), 디스플레이 장치(370) 및 프로젝터(380)를 포함할 수 있다.The moving picture realization device 300 includes a storage device 310, a memory 320, an image sensor 330, an operation device 340, an interface device 350, a communication device 360, a display device 370, and a projector ( 380).

저장 장치(310)는 전술한 바와 같이 영상에서 객체를 검출하는 검출 프로그램을 저장할 수 있다. 검출 프로그램은 캡쳐한 영상에서 동화 객체 또는 객체 마커를 검출할 수 있다. 검출 프로그램은 캡쳐한 영상에서 동화 객체를 식별할 수도 있다. 저장 장치(310)는 객체 마커에서 정보를 추출하는 프로그램을 저장할 수 있다. 저장 장치(310)는 영상 객체 생성을 위한 영상 데이터를 저장할 수 있다. 저장 장치(310)는 영상 객체 세트를 저장할 수 있다. 저장 장치(310)는 영상 센서(330)가 캡쳐한 영상을 저장할 수 있다. 저장 장치(310)는 영상 객체가 포함된 영상을 저장할 수 있다.The storage device 310 may store a detection program that detects an object in an image as described above. The detection program may detect a moving object or an object marker from the captured image. The detection program can also identify moving objects in the captured image. The storage device 310 may store a program for extracting information from an object marker. The storage device 310 may store image data for generating an image object. The storage device 310 may store a set of image objects. The storage device 310 may store an image captured by the image sensor 330. The storage device 310 may store an image including an image object.

메모리(320)는 동화 구현 장치(300)가 영상 처리 및 영상 생성과정에서 생성하는 임시 데이터 및 정보 등을 저장할 수 있다.The memory 320 may store temporary data and information generated by the moving picture realization apparatus 300 during image processing and image generation.

영상 센서(330)는 영상을 캡처하는 센서이다. 영상 센서(330)는 CMOS, CCD 등 다양한 센서 중 적어도 하나일 수 있다. 나아가 영상 센서(330)는 스테레오 카메라에 사용되는 복수의 센서일 수도 있다. 영상 센서(330)는 동화 객체 내지 객체 마커를 캡쳐한다.The image sensor 330 is a sensor that captures an image. The image sensor 330 may be at least one of various sensors such as CMOS and CCD. Furthermore, the image sensor 330 may be a plurality of sensors used in a stereo camera. The image sensor 330 captures a moving object or an object marker.

연산 장치(340)는 저장장치(310)에 저장된 프로그램을 이용하여 영상 센서(330)가 캡쳐한 영상에서 동화 객체 내지 객체 마커를 검출할 수 있다. 연산 장치(340)는 동화 객체 내지 객체 마커를 지속적으로 검출하여 동화 객체 내지 객체 마커 위치 내지 이동 경로를 추적할 수 있다. 연산 장치(340)는 동화 객체 내지 객체 마커를 검출하여 동화 객체의 방향성을 추정할 수 있다. The computing device 340 may use a program stored in the storage device 310 to detect a moving object or an object marker from an image captured by the image sensor 330. The computing device 340 may continuously detect a moving object or an object marker to track the moving object or object marker position or a moving path. The computing device 340 may estimate the direction of the moving object by detecting the moving object or the object marker.

연산 장치(340)는 저장장치(310)에 저장된 프로그램을 이용하여 객체 마커에서 객체 정보를 추출할 수 있다. 연산 장치(340)는 추출한 객체 정보(식별자)를 기준으로 영상 객체를 생성할 수 있다. 연산 장치(340)는 추출한 객체 정보(식별자)를 기준으로 영상 객체 세트에서 특정 영상 객체를 선택할 수도 있다. 연산 장치(340)는 일정한 배경과 함께 영상 객체를 포함하는 영상을 생성할 수 있다. 연산 장치(340)는 영상 객체와 함께 전술한 다양한 인터랙션 효과에 해당하는 영상을 생성할 수 있다. 연산 장치(340)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.The computing device 340 may extract object information from the object marker using a program stored in the storage device 310. The computing device 340 may generate an image object based on the extracted object information (identifier). The computing device 340 may select a specific image object from the image object set based on the extracted object information (identifier). The computing device 340 may generate an image including an image object with a certain background. The computing device 340 may generate an image corresponding to the aforementioned various interaction effects together with the image object. The computing device 340 may be a device such as a processor, an AP, or a chip in which a program is embedded that processes data and processes certain operations.

인터페이스 장치(350)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(350)는 물리적으로 연결된 입력 장치 또는 외부 저장 장치로부터 영상을 입력받을 수 있다. 인터페이스 장치(350)는 영상 처리를 위한 모델 내지 프로그램을 입력받을 수 있다. 인터페이스 장치(350)는 영상 생성에 사용되는 영상 데이터를 입력받을 수 있다.The interface device 350 is a device that receives certain commands and data from the outside. The interface device 350 may receive an image from a physically connected input device or an external storage device. The interface device 350 may receive a model or a program for image processing. The interface device 350 may receive image data used for image generation.

통신 장치(360)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(360)는 외부 객체(예컨대, 별도의 카메라)로부터 동화 객체 또는 객체 마커가 포함된 영상을 수신할 수 있다. 통신 장치(360)는 연산 장치(340)가 생성한 최종 영상을 외부 객체(예컨대, 프로젝터 또는 디스플레이 장치)에 송신할 수 있다.The communication device 360 refers to a component that receives and transmits certain information through a wired or wireless network. The communication device 360 may receive a moving object or an image including an object marker from an external object (eg, a separate camera). The communication device 360 may transmit the final image generated by the computing device 340 to an external object (eg, a projector or a display device).

통신 장치(350) 내지 인터페이스 장치(360)를 입력장치라고 명명할 수 있다.The communication device 350 to the interface device 360 may be referred to as an input device.

디스플레이장치(370)는 연산 장치(340)가 생성한 최종 영상을 출력하는 장치이다. 디스플레이장치(370)는 물리적인 화면(패널)에 영상을 출력한다. 프로젝터(380)는 연산 장치(340)가 생성한 최종 영상을 투사하는 장치이다. 디스플레이장치(370) 내지 프로젝터(380)는 이격된 별도의 장치로 구현될 수도 있다. 이 경우 디스플레이장치(370) 내지 프로젝터(380)는 유선 또는 무선으로 최종 영상을 수신할 수 있다.The display device 370 is a device that outputs a final image generated by the computing device 340. The display device 370 outputs an image on a physical screen (panel). The projector 380 is a device that projects the final image generated by the computing device 340. The display device 370 to the projector 380 may be implemented as separate devices separated from each other. In this case, the display device 370 to the projector 380 may receive the final image by wire or wirelessly.

또한, 상술한 바와 같은 동화 구현 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.In addition, the moving picture implementation method as described above may be implemented as a program (or application) including an executable algorithm that can be executed on a computer. The program may be provided by being stored in a non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, or memory. Specifically, the above-described various applications or programs may be provided by being stored in a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, and ROM.

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.The present embodiment and the accompanying drawings are merely illustrative of some of the technical ideas included in the above-described technology, and those skilled in the art will be able to easily within the scope of the technical ideas included in the specification and drawings of the above-described technology. It will be apparent that all of the modified examples and specific embodiments that can be inferred are included in the scope of the rights of the above-described technology.

100 : 동화 구현 장치
110 : 동화 객체
111 : 객체 마커
120 : 영상인식장치
130 : 프로젝터
300 : 동화 구현 장치
310 : 저장장치
320 : 메모리
330 : 영상 센서
340 : 연산장치
350 : 인터페이스장치
360 : 통신장치
370 : 디스플레이장치
380 : 프로젝터100: fairy tale implementation device
110: fairy tale object
111: object marker
120: image recognition device
130: projector
300: fairy tale implementation device
310: storage device
320: memory
330: image sensor
340: operation device
350: interface device
360: communication device
370: display device
380: projector

Claims (16)

카메라로 객체 마커를 캡쳐하는 단계;
상기 객체 마커를 포함하는 영상을 이용하여 상기 객체 마커의 위치 및 이동 경로를 추적하는 단계;
상기 객체 마커에 대응되는 영상 객체를 결정하는 단계; 및
상기 영상 객체를 프로젝터를 이용하여 투사하는 단계를 포함하되,
상기 객체 마커는 특정 객체에 위치하고, 상기 영상 객체는 상기 객체 마커의 위치에 대응되는 위치에 투사되고, 상기 이동 경로에 대응되는 경로로 이동하고,
상기 영상 객체는 그림자 형태의 객체이고,
상기 영상 객체는 상기 특정 객체 또는 상기 객체 마커의 위치 내지 방향에 따라 2차원 공간 또는 3차원 공간상에서 지향하는 방향이 변화하는 모양으로 표현되는 증강현실 기반의 동화 구현 방법.Capturing an object marker with a camera;
Tracking a location and a movement path of the object marker using an image including the object marker;
Determining an image object corresponding to the object marker; And
Including the step of projecting the image object using a projector,
The object marker is located on a specific object, the video object is projected to a position corresponding to the position of the object marker, and moves to a path corresponding to the movement path,
The image object is an object in the form of a shadow,
The image object is an augmented reality-based moving picture realization method in which a direction to be directed in a two-dimensional space or a three-dimensional space changes according to the location or direction of the specific object or the object marker. 제1항에 있어서,
상기 객체 마커에 포함된 객체 정보를 추출하고, 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 방법.The method of claim 1,
An augmented reality-based moving picture realization method for extracting object information included in the object marker and determining the image object based on the object information. 제1항에 있어서,
근거리 통신을 이용하여 상기 특정 객체 또는 상기 객체 마커로부터 객체 정보를 수신하고, 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 방법. The method of claim 1,
An augmented reality-based moving picture implementation method for receiving object information from the specific object or the object marker using short-range communication and determining the image object based on the object information. 삭제delete 삭제delete 제1항에 있어서,
상기 특정 객체는 동화에 등장하는 캐릭터 모양 내지 형태이고, 평면 또는 입체 형태를 갖는 유형의 객체인 증강현실 기반의 동화 구현 방법.The method of claim 1,
The specific object is a character shape or shape appearing in a fairy tale, and is an object of a type having a flat or three-dimensional shape. 제1항에 있어서,
상기 객체 마커가 특정한 위치로 이동하거나, 상기 객체 마커의 이동 경로가 특정한 제스처를 나타내는 경우, 상기 영상 객체와 관련된 사운드가 출력되거나, 애니메이션 영상이 투사되는 증강현실 기반의 동화 구현 방법.The method of claim 1,
When the object marker moves to a specific position or the movement path of the object marker indicates a specific gesture, a sound related to the image object is output or an animation image is projected. 제1항에 있어서,
상기 객체 마커가 복수인 경우, 상기 복수의 객체 마커에 대응하는 복수의 영상 객체를 투사하되, 상기 복수의 영상 객체가 일정한 범위 내로 근접 또는 중첩되는 경우 일정한 인터랙션(interaction) 효과가 출력되는 증강현실 기반의 동화 구현 방법.The method of claim 1,
Augmented reality-based in which a plurality of image objects corresponding to the plurality of object markers are projected when there are a plurality of object markers, but a certain interaction effect is output when the plurality of image objects are adjacent or overlapped within a certain range How to implement a fairy tale 제8항에 있어서,
상기 인터랙션 효과는 사운드 출력, 상기 복수의 영상 객체의 인터랙션 영상 출력, 배경 영상 출력, 상기 영상객체와 배경 영상의 인터랙션 영상 출력, 상기 복수의 영상 객체를 대체하는 하나의 영상 객체 출력 및 애니메이션 영상 출력 중 적어도 하나인 증강현실 기반의 동화 구현 방법.The method of claim 8,
The interaction effect may include outputting a sound, outputting an interaction image of the plurality of image objects, outputting a background image, outputting an interactive image of the image object and a background image, outputting one image object replacing the plurality of image objects, and outputting an animation image. At least one augmented reality-based fairy tale implementation method. 영상에서 객체를 검출하는 프로그램 및 객체 정보에 대응하는 영상 객체 데이터를 저장하는 저장장치;
특정 객체에 위치하는 객체 마커를 포함하는 소스 영상을 획득하는 영상센서;
영상 객체를 투사하는 프로젝터; 및
상기 영상 객체 데이터에서 상기 객체 마커에 대응하는 상기 영상 객체를 결정하고, 상기 소스 영상에서 상기 객체 마커의 위치 및 이동 경로를 추적하고, 상기 위치 내지 상기 이동 경로에 대응되는 위치에 상기 영상 객체가 투사되도록 제어하는 연산장치를 포함하되,
상기 연산 장치는 상기 영상에서 상기 특정 객체 또는 상기 객체 마커의 위치 내지 방향을 결정하고, 상기 영상 객체 데이터를 이용하여 상기 위치 내지 방향에 따라 지향하는 방향이 변화하는 상기 영상 객체를 생성하는 증강현실 기반의 동화 구현 장치.A program for detecting an object in an image and a storage device for storing image object data corresponding to the object information;
An image sensor that acquires a source image including an object marker positioned on a specific object;
A projector for projecting an image object; And
Determine the image object corresponding to the object marker from the image object data, track the position and movement path of the object marker in the source image, and project the image object to the position or a position corresponding to the movement path Including an operation device that is controlled to be,
The computing device is based on an augmented reality that determines the position or direction of the specific object or the object marker in the image, and generates the image object whose direction is changed according to the position or direction using the image object data Fairy tale implementation device. 제10항에 있어서,
상기 연산 장치는 상기 객체 마커에 포함된 객체 정보를 추출하고, 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
The operation device extracts object information included in the object marker and determines the image object based on the object information. 제10항에 있어서,
상기 특정 객체 또는 상기 객체 마커로부터 객체 정보를 수신하는 통신장치를 더 포함하고, 상기 연산장치는 상기 객체 정보를 기준으로 상기 영상 객체를 결정하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
Further comprising a communication device for receiving object information from the specific object or the object marker, the computing device is an augmented reality-based moving picture realization apparatus for determining the image object based on the object information. 삭제delete 제10항에 있어서,
상기 객체 마커가 복수인 경우, 상기 프로젝터는 상기 복수의 객체 마커에 대응하는 복수의 영상 객체를 투사하고,
상기 연산 장치는 상기 복수의 영상 객체가 일정한 범위 내로 근접 또는 중첩되는 경우 일정한 인터랙션(interaction) 효과를 생성하는 증강현실 기반의 동화 구현 장치.The method of claim 10,
When there are a plurality of object markers, the projector projects a plurality of image objects corresponding to the plurality of object markers,
The computing device is an augmented reality-based moving picture realization device that generates a certain interaction effect when the plurality of image objects are adjacent or overlapped within a certain range. 제14항에 있어서,
상기 인터랙션 효과는 사운드 출력, 상기 복수의 영상 객체의 인터랙션 영상 출력, 배경 영상 출력, 상기 영상객체와 배경 영상의 인터랙션 영상 출력, 상기 복수의 영상 객체를 대체하는 하나의 영상 객체 출력 및 애니메이션 영상 출력 중 적어도 하나인 증강현실 기반의 동화 구현 장치.The method of claim 14,
The interaction effect may include outputting a sound, outputting an interaction image of the plurality of image objects, outputting a background image, outputting an interactive image of the image object and a background image, outputting one image object replacing the plurality of image objects, and outputting an animation image. At least one augmented reality-based fairy tale implementation device. 컴퓨터에서 제1항 내지 제3항 및 제6항 내지 제9항 중 어느 하나의 항에 기재된 증강현실 기반의 동화 구현 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium in which a program for executing the augmented reality-based moving picture realization method according to any one of claims 1 to 3 and 6 to 9 is recorded on a computer.
KR1020190040002A 2018-11-21 2019-04-05 Implementing method and apparatus for children's story based on augmented reality KR102195517B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180144340 2018-11-21
KR1020180144340 2018-11-21

Publications (2)

Publication Number Publication Date
KR20200060202A KR20200060202A (en) 2020-05-29
KR102195517B1 true KR102195517B1 (en) 2020-12-28

Family

ID=70911960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190040002A KR102195517B1 (en) 2018-11-21 2019-04-05 Implementing method and apparatus for children's story based on augmented reality

Country Status (1)

Country Link
KR (1) KR102195517B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539395B1 (en) * 2021-12-30 2023-06-05 (주)웅진씽크빅 Electronic device for implementing metaverse environment using drawing motion and method for operating the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757627B1 (en) * 2016-01-28 2017-07-14 허상훈 Marker tracking apparatus for projection area in augmented reality environment using three-dimensional model and marker tracking method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743530B1 (en) 2015-06-05 2017-06-07 아이알링크 주식회사 Shadow picture maker linked with smart phone and system of narration of the fairy tale using the same
KR20180028764A (en) * 2016-09-09 2018-03-19 몬스터스쿨 주식회사 Apparatus and method for children learning using augmented reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757627B1 (en) * 2016-01-28 2017-07-14 허상훈 Marker tracking apparatus for projection area in augmented reality environment using three-dimensional model and marker tracking method thereof

Also Published As

Publication number Publication date
KR20200060202A (en) 2020-05-29

Similar Documents

Publication Publication Date Title
US11112934B2 (en) Systems and methods of generating augmented reality (AR) objects
CN102441276B (en) Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US10401948B2 (en) Information processing apparatus, and information processing method to operate on virtual object using real object
US9529566B2 (en) Interactive content creation
US20190371071A1 (en) Precise placement of and animation creation for virtual objects in an environment using a trackable three-dimensional object
US9846965B2 (en) Augmented reality device with predefined object data
US9135753B2 (en) Apparatus and method of augmented reality interaction
KR101250619B1 (en) Augmented reality system and method using virtual user interface
US20130222427A1 (en) System and method for implementing interactive augmented reality
US10096165B2 (en) Technologies for virtual camera scene generation using physical object sensing
CN115239926A (en) Augmented modification based on user interaction with augmented reality scene
KR101227237B1 (en) Augmented reality system and method for realizing interaction between virtual object using the plural marker
CN103249461A (en) System for enabling a handheld device to capture video of an interactive application
CN106464773B (en) Augmented reality device and method
CN102222329A (en) Raster scanning for depth detection
KR101927150B1 (en) 3d display apparatus and method for providing user interface
US20170296913A1 (en) Information processing device and information processing method
US8885878B2 (en) Interactive secret sharing
KR102195517B1 (en) Implementing method and apparatus for children's story based on augmented reality
US8371897B1 (en) Vision technology for interactive toys
US11889222B2 (en) Multilayer three-dimensional presentation
KR20190059068A (en) A puzzle assembling system for a grid map using augmented reality and the method thereof
TWI633500B (en) Augmented reality application generation system and method
US20120309530A1 (en) Rein-controlling gestures
KR20200076373A (en) The system and method of recognizing a motion

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant