KR102440412B1 - Pop-up book, apparatus for providing augmented reality using the same, and method therefor - Google Patents

Abstract

The present invention relates to a method for providing augmented reality (AR) using a pop-up book, which comprises the steps of: extracting a predetermined number of frames at the same time interval from a streaming video in which the pop-up book is captured, and generating an input vector column including a plurality of input vectors arranged in the order of the captured time, by a data processing unit; recognizing a state of a page of the pop-up book, which is any one among a page folding state, a page unfolding state, and a page moving state, by a recognizing unit performing an operation on the plurality of input vectors through a recognition network; and providing, by an augmentation unit, an augmented reality screen corresponding to the state of the page recognized by the recognizing unit.

Description

팝업북, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법{Pop-up book, apparatus for providing augmented reality using the same, and method therefor} Pop-up book, apparatus for providing augmented reality using same, and method therefor

본 발명은 팝업북을 이용한 증강현실 제공 기술에 관한 것으로, 보다 상세하게는, 팝업북, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a technology for providing augmented reality using a pop-up book, and more particularly, to a pop-up book, an apparatus for providing augmented reality using the same, and a method therefor.

현재 출시되고 있는 AR 팝업북은 기존의 팝업북과 같이 눕혀서 사용하는 형태이다. 예컨대 사용자는 팝업북상 위에 페이지를 펼쳐 팝업이 되게 하고 모바일기기를 팝업북상부에 고정시키거나 손에 드는 방식으로 페이지를 비추어 AR 교재를 사용한다. 종래기술에 따르면 사용자가 페이지를 넘기거나, 페이지 내에서 팝업북을 조작하거나, 모바일 기기 화면을 조작하는 데 있어 번잡하다는 문제점이 있다. The AR pop-up book that is currently being released is a form that can be used lying down like the existing pop-up book. For example, the user spreads the page on the pop-up book to become a pop-up, and uses the AR teaching materials by fixing the mobile device to the top of the pop-up book or illuminating the page in a hand-held way. According to the prior art, there is a problem in that it is complicated for a user to turn a page, manipulate a pop-up book within a page, or manipulate a screen of a mobile device.

한국공개특허 제2017-0016704호 (2017년 02월 14일 공개)Korea Patent Publication No. 2017-0016704 (published on February 14, 2017)

정보전달과 영상출력이 주 콘텐츠인 증강현실을 제공하기 위한 용도의 팝업북의 경우, 주로 모바일 기기를 팝업북 앞 팝업북상에 고정시키고 사용하게 된다. 이 방식은 고정한 모바일 기기와 눕혀 펼친 팝업북간의 각도 불일치로 인해 팝업북과 모바일 기기를 번갈아 볼 때 사용자가 쉽게 피로해진다는 문제점이 있다. 화면상의 인터랙션이 주 콘텐츠인 팝업북의 경우, 주로 양 손에 모바일 기기를 가로로 들고 사용하게 된다. 이 방식에 따르면 사용자가 팝업북을 조작하거나, 페이지를 넘길 때 잠시 기기를 내려놓거나 한 손만 사용하여 조작해야 한다. 따라서 번잡한 과정으로 몰입감이 감소하고 사용자 피로도가 증가한다는 문제점이 있다. 따라서 상술한 바와 같은 문제점을 고려한 본 발명의 목적은 손쉽게 조작이 가능한 팝업북과, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법을 제공함에 있다. In the case of a pop-up book for the purpose of providing augmented reality whose main content is information delivery and image output, a mobile device is mainly fixed on the pop-up book in front of the pop-up book and used. This method has a problem in that the user is easily fatigued when viewing the pop-up book and the mobile device alternately due to the mismatch of the angle between the fixed mobile device and the unfolded pop-up book. In the case of a pop-up book whose main content is interaction on the screen, it is mainly used by holding the mobile device horizontally in both hands. According to this method, when the user manipulates the pop-up book, turns the page, puts down the device for a while, or uses only one hand to operate it. Therefore, there is a problem in that the immersion feeling is reduced and user fatigue is increased due to the complicated process. Accordingly, an object of the present invention in consideration of the above-described problems is to provide a pop-up book that can be easily manipulated, an apparatus for providing augmented reality using the pop-up book, and a method therefor.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 팝업북은 원판형의 베이스부와, 상기 베이스부 상에 형성되며 각각이 동일한 크기의 사각판형인 복수의 페이지부를 포함하며, 상기 베이스부는 상기 베이스부의 원을 동일한 면적을 가지는 짝수의 부채꼴로 분할하면서 반지름 길이를 가지는 복수의 반지름선이 있을 때, 상기 복수의 반지름선 중 어느 하나의 반지름선을 따라 상기 베이스부를 절개하는 하나의 절개선과 상기 베이스부를 상기 하나의 반지름선 이외의 다른 반지름선을 따라 절첩하는 복수의 절첩선을 포함한다. A pop-up book according to a preferred embodiment of the present invention for achieving the above object includes a disk-shaped base portion and a plurality of page portions formed on the base portion and each having a square plate shape of the same size, the base When there is a plurality of radial lines having a radius length while dividing the circle of the base portion into an even number of sectoral shapes having the same area, one incision line for cutting the base portion along any one of the plurality of radial lines; and a plurality of fold lines for folding the base portion along a radius line other than the one radius line.

특히, 상기 팝업북은 팝업북이 펼쳐진 상태에서, 상기 복수의 페이지부 각각의 밑면이 상기 절개선 및 상기 복수의 절첩선 중 짝수 번째 절접선에 연결되며, 상기 복수의 페이지부 각각의 어느 하나의 옆면이 상기 베이스부의 원의 중심을 수직으로 관통하는 중심축에서 연결되는 것을 특징으로 한다. In particular, in the pop-up book, in a state in which the pop-up book is opened, the bottom of each of the plurality of page parts is connected to the cut line and an even-numbered fold line among the plurality of fold lines, and any one side of each of the plurality of page parts is It is characterized in that it is connected at a central axis penetrating the center of the circle of the base part vertically.

또한, 상기 팝업북은 팝업북이 접혀지는 상태에서, 상기 절개선으로부터 시계 방향으로 홀수 번째 절접선이 산을 형성하고, 상기 절개선으로부터 시계 방향으로 짝수 번째 절접선이 골을 형성하는 것을 특징으로 한다. In addition, the pop-up book is characterized in that, in a state in which the pop-up book is folded, an odd-numbered notch forms a mountain from the incision clockwise, and an even-numbered notch forms a valley from the incision clockwise.

그리고 상기 팝업북은 상기 베이스부의 상기 중심축에서 상기 베이스부의 하방으로 돌출되는 회전심을 더 포함한다. And the pop-up book further includes a rotating core that protrudes downwardly from the central axis of the base part.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른팝업북을 이용한 증강현실을 제공하기 위한 장치는 화면 표시를 위한 표시부와, 영상 촬영을 위한 카메라부와, 상기 카메라부를 통해 상기 팝업북을 촬영한 스트리밍 영상으로부터 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬한 복수의 입력벡터를 포함하는 입력벡터열을 생성하는 데이터처리부와, 인식망을 통해 상기 복수의 입력벡터에 대한 연산을 수행하여 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 팝업북의 페이지의 상태를 인식하는 인식부와, 상기 표시부를 통해 상기 인식부가 인식한 페이지의 상태에 대응하는 증강현실화면을 제공하는 증강부를 포함한다. A device for providing augmented reality using a pop-up book according to a preferred embodiment of the present invention for achieving the above object is a display unit for displaying a screen, a camera unit for taking an image, and the pop-up book through the camera unit. A data processing unit that extracts a predetermined number of frames at the same time interval from the captured streaming image, and generates an input vector sequence including a plurality of input vectors in which the extracted frames are arranged according to the photographed time sequence, and a recognition network a recognition unit for recognizing a page state of a pop-up book that is any one of a page folded state, a page unfolded state, and a page moving state by performing an operation on the plurality of input vectors; and the state of the page recognized by the recognition unit through the display unit Includes an augmentation unit that provides an augmented reality screen corresponding to the.

상기 인식망은 복수의 스테이지에 대응하여 시간 순서로 정렬된 복수의 입력벡터를 상기 복수의 스테이지 별로 입력받는 입력층과, 이전 스테이지의 상태값과 현 스테이지의 입력값인 입력벡터에 대해 가중치가 적용되는 연산을 수행하여 현 스테이지의 상태값을 산출한 후, 산출된 상태값을 다음 스테이지에 전달하는 복수의 은닉셀을 포함하되, 상기 복수의 은닉셀 중 마지막 은닉셀은 현 스테이지의 상태값을 산출한 후, 산출된 현 스테이지의 상태값에 가중치를 적용하여 상기 팝업북의 페이지의 상태를 나타내는 출력벡터를 산출하는 은닉층과, 상기 출력벡터를 출력하는 출력층을 포함한다. In the recognition network, a weight is applied to an input layer that receives a plurality of input vectors arranged in chronological order corresponding to a plurality of stages for each stage, and an input vector that is an input value of a state value of a previous stage and an input value of a current stage. and a plurality of hidden cells for calculating the state value of the current stage by performing an operation to be performed and then transferring the calculated state value to the next stage, wherein the last hidden cell among the plurality of hidden cells calculates the state value of the current stage and a hidden layer that calculates an output vector representing the state of a page of the pop-up book by applying a weight to the calculated state value of the current stage, and an output layer that outputs the output vector.

상기 장치는 복수의 학습용 입력벡터를 포함하는 학습용 입력벡터열과 상기 학습용 입력벡터열에 대응하는 레이블을 포함하는 학습 데이터를 마련하고, 학습이 이루어지지 않은 가중치를 가지는 인식망이 상기 복수의 학습용 입력벡터에 대한 연산을 수행하여 출력벡터를 산출하고, 손실함수를 통해 상기 출력벡터와 상기 학습용 실측벡터와의 차이인 손실을 산출하고, 상기 손실이 최소가 되도록 상기 인식망의 가중치를 수정하는 최적화를 수행하는 학습부를 더 포함한다. The apparatus provides a training input vector sequence including a plurality of training input vectors and training data including a label corresponding to the training input vector sequence, and a recognition network having a weight that has not been trained is applied to the plurality of training input vectors. Calculating an output vector by performing an operation for , calculating a loss that is a difference between the output vector and the actual measurement vector for training through a loss function, and performing optimization to correct the weight of the recognition network so that the loss is minimized It further includes a study section.

여기서, 상기 페이지 접힘 상태는 복수의 페이지부 중 서로 이웃하는 제1 페이지부 및 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부 사이의 베이스부의 절첩선이 접혀진 상태를 의미한다. 또한, 상기 페이지 펼쳐짐 상태는 상기 제1 페이지부 및 상기 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부의 절첩선이 펼쳐진 상태를 의미한다. 그리고 상기 페이지 이동 상태는 상기 페이지 펼쳐짐 상태에서, 상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와, 상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 이웃하는 제3 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 상기 제3 페이지부 사이의 베이스부의 절첩선이 펼쳐진 상태로 변경된 상태를 의미한다. Here, the page folded state means a state in which a first page part and a second page part adjacent to each other exist among the plurality of page parts, and a fold line of the base part between the first page part and the second page part is folded. . In addition, the page unfolded state means a state in which the first page part and the second page part exist, and fold lines of the first page part and the second page part are unfolded. And, the page movement state may indicate that, in the page unfolded state, any one of the first page part and the second page part is adjacent to any one of the first page part and the second page part. a third page part exists, and the fold line of the base part between any one of the first page part and the second page part and the third page part is changed to an unfolded state.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법은 데이터처리부가 상기 팝업북을 촬영한 스트리밍 영상으로부터 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬한 복수의 입력벡터를 포함하는 입력벡터열을 생성하는 단계와, 인식부가 인식망을 통해 상기 복수의 입력벡터에 대한 연산을 수행하여 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 팝업북의 페이지의 상태를 인식하는 단계와, 증강부가 상기 인식부가 인식한 페이지의 상태에 대응하는 증강현실화면을 제공하는 단계를 포함한다. In a method for providing augmented reality using a pop-up book according to a preferred embodiment of the present invention for achieving the above object, the data processing unit extracts a predetermined number of frames at the same time interval from the streaming image captured by the pop-up book, , generating an input vector sequence including a plurality of input vectors in which the extracted frames are arranged according to the photographing time sequence, and the recognition unit performs an operation on the plurality of input vectors through a recognition network to form a page folded state; Recognizing the state of a page of the pop-up book that is one of a page unfolding state and a page moving state, and providing an augmented reality screen corresponding to the state of the page recognized by the recognition unit by an augmentation unit.

본 발명에 따르면 사용자는 팝업북을 양손을 이용하지 않아도 손쉬운 동작으로 페이지를 이동시킬 수 있다. 이에 따라, 팝업북을 조작하면서도 동시에 증강장치인 모바일 기기 화면을 손쉽게 조작할 수 있다. According to the present invention, the user can move the page of the pop-up book with an easy operation without using both hands. Accordingly, while manipulating the pop-up book, it is possible to easily manipulate the screen of the mobile device, which is an augmentation device, at the same time.

도 1은 본 발명의 실시예에 따른 팝업북의 베이스부의 평면도이다.
도 2는 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 위에서 바라본 평면도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 팝업북의 페이지부의 전면을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 팝업북의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 팝업북이 접혀지는 상태의 사시도이다.
도 7은 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 측면에서 바라본 측면도이다.
도 8은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 페이지 인식 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 구성을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 단위 동작을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 학습을 통해 인식망을 생성하는 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 화면 예이다.
도 17 내지 도 19는 본 발명의 다른 실시예에 따른 팝업북의 형태를 도시한 도면이다. 1 is a plan view of a base portion of a pop-up book according to an embodiment of the present invention.
2 is a plan view of an unfolded pop-up book according to an embodiment of the present invention as viewed from above.
3 and 4 are views showing the front of the page portion of the pop-up book according to an embodiment of the present invention.
5 is a diagram for explaining the operation of a pop-up book according to an embodiment of the present invention.
6 is a perspective view of a state in which a pop-up book according to an embodiment of the present invention is folded.
7 is a side view of an unfolded pop-up book according to an embodiment of the present invention as viewed from the side.
8 is a diagram for explaining an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
9 is a diagram for explaining a page recognition method of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
10 is a diagram for explaining the configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
11 is a diagram for explaining a detailed configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
12 is a diagram for explaining the configuration of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention.
13 is a diagram for explaining a unit operation of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention.
14 is a flowchart illustrating a method of generating a recognition network through learning according to an embodiment of the present invention.
15 is a flowchart illustrating a method for providing augmented reality using a pop-up book according to an embodiment of the present invention.
16 is a screen example for explaining a method for providing augmented reality using a pop-up book according to an embodiment of the present invention.
17 to 19 are diagrams illustrating the form of a pop-up book according to another embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors should develop their own inventions in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term for explanation. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, so various equivalents that can replace them at the time of the present application It should be understood that there may be water and variations.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings, and the size of each component does not fully reflect the actual size.

먼저, 본 발명의 실시예에 따른 팝업북에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 팝업북의 베이스부의 평면도이다. 도 2는 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 위에서 바라본 평면도이다. 도 3 및 도 4는 본 발명의 실시예에 따른 팝업북의 페이지부의 전면을 도시한 도면이다. 도 5는 본 발명의 실시예에 따른 팝업북의 동작을 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 팝업북이 접혀지는 상태의 사시도이다. 도 7은 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 측면에서 바라본 측면도이다. First, a pop-up book according to an embodiment of the present invention will be described. 1 is a plan view of a base portion of a pop-up book according to an embodiment of the present invention. 2 is a plan view of an unfolded pop-up book according to an embodiment of the present invention as viewed from above. 3 and 4 are views showing the front of the page portion of the pop-up book according to an embodiment of the present invention. 5 is a diagram for explaining the operation of a pop-up book according to an embodiment of the present invention. 6 is a perspective view of a state in which a pop-up book according to an embodiment of the present invention is folded. 7 is a side view of an unfolded pop-up book according to an embodiment of the present invention as viewed from the side.

도 1 내지 도 7을 참조하면, 본 발명의 실시예에 따른 팝업북(100)은 베이스부(110) 및 복수의 페이지부(120)를 포함한다. 1 to 7 , the pop-up book 100 according to an embodiment of the present invention includes a base unit 110 and a plurality of page units 120 .

베이스부(110)는 원판형으로 형성되며, 지면에 수평으로 배치된다. 복수의 페이지부(120)는 각각이 동일한 크기의 사각판형으로 형성되며, 베이스부(110)의 상면에 기립되어 배치된다. The base part 110 is formed in a disk shape and is horizontally disposed on the ground. Each of the plurality of page units 120 is formed in a rectangular plate shape having the same size, and is disposed standing up on the upper surface of the base unit 110 .

도 1을 참조하면, 베이스부(110)의 원을 동일한 면적을 가지는 짝수의 부채꼴로 분할하면서, 반지름 길이를 가지는 가상의 선인 복수의 반지름선을 가정한다. 베이스부(110)는 복수의 반지름선 중 어느 하나의 반지름선을 따라 베이스부(110)를 절개하는 하나의 절개선(c)과 베이스부(110)를 상기한 어느 하나의 반지름선 이외의 다른 반지름선을 따라 절첩하는 하나 이상의 절첩선(f)을 가진다. 일례로, 도 1에 도시된 바와 같이, 베이스부(110)의 원을 동일한 면적의 8개의 부채꼴로 분할하는 반지름선을 가정한다. 이러한 경우, 절개선(c)과 7개의 절첩선(f: f1, f2, f3, f4, f5, f6, f7)이 형성될 수 있다. Referring to FIG. 1 , it is assumed that the circle of the base unit 110 is divided into an even number of sector shapes having the same area, and a plurality of radial lines that are virtual lines having a radius length. The base portion 110 includes one cut-off line c for cutting the base portion 110 along any one of the plurality of radial lines and the base portion 110 other than any one of the above-mentioned radial lines. It has one or more fold lines f that fold along the radius line. As an example, as shown in FIG. 1 , it is assumed that a radius line dividing the circle of the base part 110 into eight sectors of the same area is assumed. In this case, the cut line c and seven fold lines f: f1, f2, f3, f4, f5, f6, and f7 may be formed.

도 1 및 도 2를 참조하면, 팝업북(100)이 펼쳐진 상태에서, 복수의 페이지부(120) 각각의 밑면이 베이스부(110)의 절개선(c) 및 짝수 번째 절접선(f), 예컨대, 제2, 제4, 제6 절첩선(f2, f4, f6)에 연결된다. 또한, 복수의 페이지부(120) 각각의 어느 하나의 옆면이 베이스부(110)의 원의 중심을 수직으로 관통하는 중심축(x)에서 연결된다. 이때, 연결되는 복수의 페이지부(120)는 중심축(x)을 회전축으로 회전 자유롭게 연결된다. 이에 따라, 복수의 페이지부(120) 각각의 다른 하나의 옆면은 베이스부(110)의 원의 원주를 따라 동일한 각도만큼 이격되어 배치된다. 1 and 2 , in a state in which the pop-up book 100 is unfolded, the bottom surface of each of the plurality of page parts 120 is cut along the cut line c and the even-numbered cut line f of the base part 110 , for example. , are connected to the second, fourth, and sixth fold lines f2, f4, and f6. In addition, one side surface of each of the plurality of page parts 120 is connected to the central axis (x) penetrating the center of the circle of the base part 110 vertically. In this case, the plurality of page parts 120 to be connected are rotatably connected to the central axis (x) as a rotation axis. Accordingly, the other side surface of each of the plurality of page units 120 is disposed to be spaced apart by the same angle along the circumference of the circle of the base unit 110 .

특히, 베이스부(110)의 절개선(c)을 따라 2개로 분리되는 부분 각각에 서로 다른 2개의 페이지부(120)의 밑면이 연결된다. 이때, 절개선(c)에 밑면이 연결되는 2개의 페이지부(120)를 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)라고 칭하기로 한다. 팝업북(100)이 펼쳐질 때, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)가 밀착되어 연결된다. In particular, the bottom surfaces of the two different page parts 120 are connected to each of the parts separated into two along the cut line c of the base part 110 . In this case, the two page parts 120 whose bottom surfaces are connected to the cut-out line c will be referred to as a first connection page part 120f and a second connection page part 120m. When the pop-up book 100 is unfolded, the first connection page part 120f and the second connection page part 120m are closely connected to each other.

도 3 및 도 4를 참조하면, 제1 연결 페이지부(120f)에는 끼움부(IS)가 형성되며, 제2 연결 페이지부(120m)에는 체결부(CO)가 형성된다. 도 3에 도시된 바와 같이, 끼움부(IS)는 제1 연결 페이지부(120f)의 어느 일 부위에 사다리꼴의 밑변(S1, 마주보며 서로 평행한 두 변 중 길이가 상대적으로 긴 변)과 평행하지 않은 2개의 변(S2, S3)을 포함하는 3개의 변이 절개되고 윗변(S4, 마주보며 서로 평행한 두 변 중 상대적으로 길이가 짧은 변)이 접혀져 형성된다. 이에 대응하여 도 4에 도시된 바와 같이, 체결부(CO)는 끼움부(IS)에 대향하여 끼움부(IS)의 접혀지는 변(S4)에 대응하는 제2 연결 페이지부(120m)의 부분(C1)이 절개되어 형성된다. 이에 따라, 도 5의 (A)에 도시된 바와 같이, 팝업북(100)이 펼쳐진 상태에서 제1 연결 페이지부(120f)의 끼움부(IS)가 제2 연결 페이지부(120m)의 체결부(CO)에 삽입됨으로써, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)가 밀착되어 연결된다. 3 and 4 , the fitting part IS is formed in the first connection page part 120f, and the fastening part CO is formed in the second connection page part 120m. As shown in FIG. 3 , the fitting part IS is parallel to the base of the trapezoid (S1, the relatively long side of the two opposite sides parallel to each other) at any part of the first connection page part 120f. Three sides including two sides (S2, S3) that are not not made are cut, and the upper side (S4, a side having a relatively short length among two opposite sides and parallel to each other) is formed by folding. Correspondingly, as shown in FIG. 4 , the fastening portion CO is a portion of the second connection page portion 120m corresponding to the folded side S4 of the fitting portion IS opposite to the fitting portion IS. (C1) is formed by incision. Accordingly, as shown in FIG. 5A , in the state in which the pop-up book 100 is unfolded, the fitting part IS of the first connection page part 120f is connected to the fastening part (IS) of the second connection page part 120m. CO), the first connection page part 120f and the second connection page part 120m are closely connected to each other.

도 1, 도 5 및 도 6을 참조하면, 팝업북(100)이 접혀지는 상태에서, 도 5의 (B) 및 도 6에 도시된 바와 같이, 제1 연결 페이지부(120f)의 끼움부(IS)가 제2 연결 페이지부(120m)의 체결부(CO)로부터 추출되고, 베이스부(110)는 절개선(c)을 따라 분리되며, 절개선(c)으로부터 시계 방향으로 홀수 번째 절접선(f)이 산을 형성하고, 절개선(c)으로부터 시계 방향으로 짝수 번째 절접선(f)이 골을 형성한다. 예컨대, 도 1과 같은 반지름선을 가정하면, 베이스부(110)는 절개선(c)을 따라 분리되면서, 제1, 제3, 제5, 제7 절첩선(f1, f3, f5, f7)이 산을 형성하고, 제2, 제4, 제6 절첩선(f2, f4, f6)이 골을 형성하도록 접혀진다. 전술한 바와 같이, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)를 포함하는 복수의 페이지부(120)는 중심축(x)을 회전축으로 회전 자유롭게 연결되기 때문에, 절개선(c)이 절개되어 2개로 분리되는 부분 각각에 페이지부(120), 즉, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)의 밑면이 연결되지만, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)는 상호 이격된다. 게다가, 팝업북(100)이 접혀지는 상태에서도, 복수의 페이지부(120) 각각의 어느 하나의 옆면이 베이스부(110)의 원의 중심을 수직으로 관통하는 중심축(x)을 회전축으로 회전 자유롭게 연결되기 때문에, 여전히, 절개선(c)으로부터 시계 방향으로 짝수 번째 절접선(f), 예컨대, 제2, 제4, 제6 절첩선(f2, f4, f6)에 페이지부(120)의 밑면이 연결된다. 1, 5 and 6 , in a state in which the pop-up book 100 is folded, as shown in FIGS. 5B and 6 , the fitting part IS of the first connection page part 120f ) is extracted from the fastening part CO of the second connection page part 120m, the base part 110 is separated along the incision line c, and clockwise from the incision line c, the odd-numbered incision line ( f) forms a mountain, and an even-numbered incision (f) in a clockwise direction from the incision line (c) forms a valley. For example, assuming a radius line as shown in FIG. 1 , the base part 110 is separated along the cut line c, and the first, third, fifth, and seventh fold lines f1, f3, f5, and f7 are separated along the cut line c. Forming this mountain, the second, fourth, and sixth fold lines f2, f4, f6 are folded to form a valley. As described above, since the plurality of page parts 120 including the first connection page part 120f and the second connection page part 120m are rotatably connected with the central axis x as the rotation axis, the incision line ( The bottom surfaces of the page part 120 , that is, the first connection page part 120f and the second connection page part 120m, are connected to each of the parts where c) is cut and separated into two parts, but the first connection page part 120f ) and the second connection page unit 120m are spaced apart from each other. In addition, even in a state in which the pop-up book 100 is folded, the side surface of each of the plurality of page units 120 can rotate freely about the central axis (x) penetrating the center of the circle of the base unit 110 as a rotation axis. Since they are connected, the bottom surface of the page part 120 is still at the even-numbered fold lines f, for example, the second, fourth, and sixth fold lines f2, f4, and f6 in a clockwise direction from the incision line c. this is connected

한편, 본 발명의 추가적인 실시예에 따르면, 도 7에 도시된 바와 같이, 베이스부(110)의 하면에 중심축(x)에서 아래로 돌출되는 회전심(130)이 형성될 수 있다. 회전심(130)은 반구형이 될 수 있다. 이러한 회전심(130)에 따라 외력에 의해 팝업북(100)이 중심축(x)을 회전축으로 하는 회전(R)이 용이하게 이루어질 수 있다. Meanwhile, according to an additional embodiment of the present invention, as shown in FIG. 7 , a rotation core 130 protruding downward from the central axis x may be formed on the lower surface of the base part 110 . The rotating core 130 may have a hemispherical shape. According to the rotation core 130, the pop-up book 100 can be easily rotated (R) with the central axis (x) as the rotation axis by an external force.

다음으로, 본 발명의 실시예에 따른 팝업북(100)을 이용한 증강현실을 제공하기 위한 장치에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치를 설명하기 위한 도면이다. 도 9는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 페이지 인식 방법을 설명하기 위한 도면이다. Next, an apparatus for providing augmented reality using the pop-up book 100 according to an embodiment of the present invention will be described. 8 is a diagram for explaining an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention. 9 is a diagram for explaining a page recognition method of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 실시예에 따른 팝업북(100)을 이용한 증강현실을 제공하기 위한 장치(200, 이하, '증강장치'로 칭함)는 스마트폰, 테블릿, 패블릿 등을 대표적으로 예시할 수 있다. 증강장치(200)는 팝업북(100)을 촬영하고, 촬영된 영상에서 팝업북(100)의 페이지가 펼쳐진 상태인지 여부 및 페이지 이동 여부를 인식하고, 인식된 바에 따라 해당하는 페이지에 대응하는 증강현실을 제공한다. Referring to FIG. 8 , a device (hereinafter, referred to as an 'augmented device') for providing augmented reality using a pop-up book 100 according to an embodiment of the present invention (hereinafter, referred to as an 'augmented device') is a representative smartphone, tablet, phablet, etc. can be exemplified by The augmentation device 200 captures the pop-up book 100, recognizes whether the page of the pop-up book 100 is in an unfolded state and whether the page is moved in the captured image, and generates augmented reality corresponding to the corresponding page according to the recognized image. to provide.

예컨대, 도 9의 (A)에 도시된 바와 같이, 서로 이웃하는 2개의 페이지부(120)를 제1 및 제2 페이지부(121, 122)라고 할 때, 증강장치(200)는 촬영된 영상에서 서로 이웃하는 제1 및 제2 페이지부(121, 122)와, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)를 하나의 페이지로 인식한다. 앞서, 도 1 내지 도 6을 참조로 하는 설명에서 알 수 있는 바와 같이, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)는 부채꼴이며, 이 부채꼴의 중심각을 이등분하는 절첩선(f)이 존재한다. 증강장치(200)는 촬영된 영상 내에서 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태를 인식하면, 팝업북(100)의 해당 페이지가 펼쳐진 상태로 인식할 수 있다. For example, as shown in FIG. 9A , when two page parts 120 that are adjacent to each other are first and second page parts 121 and 122 , the augmentation apparatus 200 displays the captured image. The first and second page parts 121 and 122 adjacent to each other and the base part 110 between the first and second page parts 121 and 122 adjacent to each other are recognized as one page. Earlier, as can be seen from the description with reference to FIGS. 1 to 6 , the base part 110 between the first and second page parts 121 and 122 adjacent to each other is a sector, and the central angle of the sector is A bisecting fold line f exists. The augmentation apparatus 200 includes first and second page parts 121 and 122 adjacent to each other in the captured image, and a base part ( When the fold line f of 110 ) is recognized in an unfolded state, the corresponding page of the pop-up book 100 may be recognized as an unfolded state.

또한, 팝업북(100)은 펼쳐진 상태에서, 외력, 즉, 사용자의 손, 손가락 등을 통한 외력, 예컨대, 스위핑 동작(SW)에 의해 중심축(x)을 회전축으로 회전(R)할 수 있다. 증강장치(200)는 촬영된 영상에서 도 9의 (A)에 도시된 바와 같이, 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태로부터 도 9의 (B)에 도시된 바와 같이, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122, 이 예에서는 123)와, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122)와 이웃하는 제3 페이지부(123)가 존재하며, 그 어느 하나의 페이지부(121/122, 이 예에서는 123)와 제3 페이지부(123) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태로 변경된 것을 인식하여 페이지가 이동했음을 인식한다. Also, in the unfolded state, the pop-up book 100 may rotate (R) the central axis (x) as a rotation axis by an external force, that is, an external force through the user's hand or finger, for example, a sweeping operation (SW). As shown in FIG. 9A in the captured image, the augmentation apparatus 200 includes first and second page parts 121 and 122 that are adjacent to each other, and first and second page parts that are adjacent to each other. As shown in FIG. 9B from a state in which the fold line f of the base part 110 between 121 and 122 is unfolded, among the first page part 121 and the second page part 122 , One page portion 121/122 (123 in this example) and a third page portion adjacent to any one page portion 121/122 of the first page portion 121 and the second page portion 122 123 exists, and the fold line f of the base part 110 between any one page part 121/122, in this example, 123 and the third page part 123, is changed to an unfolded state. Recognizes that the page has moved.

다음으로, 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 세부 구성을 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 11은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 세부 구성을 설명하기 위한 도면이다. 도 12는 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 구성을 설명하기 위한 도면이다. 도 13은 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 단위 동작을 설명하기 위한 도면이다. Next, a detailed configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention will be described. 10 is a diagram for explaining the configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention. 11 is a diagram for explaining a detailed configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention. 12 is a diagram for explaining the configuration of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention. 13 is a diagram for explaining a unit operation of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention.

도 10을 참조하면, 증강장치(200)는 카메라부(11), 입력부(12), 표시부(13), 저장부(14) 및 제어부(15)를 포함한다. Referring to FIG. 10 , the augmentation apparatus 200 includes a camera unit 11 , an input unit 12 , a display unit 13 , a storage unit 14 , and a control unit 15 .

카메라부(11)는 영상을 촬영하기 위한 것이다. 여기서, 영상은 스트리밍 영상이 될 수 있다. 카메라부(12)는 복수의 렌즈 및 복수의 이미지 센서를 포함할 수 있다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(11)는 하나 이상의 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(15)로 출력할 수 있다. The camera unit 11 is for capturing an image. Here, the image may be a streaming image. The camera unit 12 may include a plurality of lenses and a plurality of image sensors. The image sensor receives light reflected from a subject and converts it into an electrical signal, and may be implemented based on a Charged Coupled Device (CCD), a Complementary Metal-Oxide Semiconductor (CMOS), or the like. The camera unit 11 may further include one or more analog-to-digital converters, and may convert an electrical signal output from the image sensor into a digital sequence and output it to the control unit 15 .

입력부(12)는 증강장치(200)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(15)에 전달할 수 있다. 입력부(12)는 증강장치(200)를 제어하기 위한 각 종 키들을 포함한다. 입력부(12)는 표시부(13)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(13)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(12)는 생략될 수도 있다. The input unit 12 may receive a user's key manipulation for controlling the augmentation apparatus 200 , generate an input signal, and transmit it to the control unit 15 . The input unit 12 includes various types of keys for controlling the augmentation device 200 . As for the input unit 12, when the display unit 13 is formed of a touch screen, the functions of various keys may be performed on the display unit 13, and when all functions can be performed only with the touch screen, the input unit 12 may be omitted. may be

표시부(13)는 화면 표시를 위한 것으로, 증강장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 표시부(13)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(13)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(13)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 터치된 위치를 나타내는 입력 좌표를 포함하는 감지 신호를 발생시켜 제어부(15)로 전송할 수 있다. The display unit 13 is for screen display, and may visually provide a menu of the augmentation device 200, input data, function setting information, and other various information to the user. The display unit 13 may be formed of a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), or the like. Meanwhile, the display unit 13 may be implemented as a touch screen. In this case, the display unit 13 includes a touch sensor. The touch sensor detects a user's touch input. The touch sensor may be composed of a touch sensing sensor such as a capacitive overlay, a pressure type, a resistive overlay, or an infrared beam, or may be composed of a pressure sensor. . In addition to the above sensors, all kinds of sensor devices capable of sensing contact or pressure of an object may be used as the touch sensor of the present invention. The touch sensor may detect a user's touch input, generate a detection signal including input coordinates indicating the touched position, and transmit it to the controller 15 .

저장부(14)는 증강장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 저장부(14)는 카메라부(11)가 촬영한 영상 등을 기 설정된 기간 저장하고, 용량이 충분하지 않은 경우 가장 오래된 영상부터 순차로 삭제할 수 있다. 저장부(14)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage unit 14 serves to store programs and data necessary for the operation of the augmentation device 200 . The storage unit 14 stores images captured by the camera unit 11 for a preset period, and when the capacity is insufficient, the oldest images may be sequentially deleted. Various types of data stored in the storage unit 14 may be deleted, changed, or added according to a user's operation.

제어부(15)는 증강장치(200)의 전반적인 동작 및 증강장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 또한, 제어부(15)는 기본적으로, 증강장치(200)의 각 종 기능을 제어하는 역할을 수행한다. 제어부(15)는 CPU(central processing unit), GPU(Graphic Processing Unit), DSP(Digital Signal Processor) 등이 될 수 있다. 도 11을 참조하면, 제어모듈(13)은 학습부(210), 데이터처리부(220), 인식부(230) 및 증강부(240)를 포함한다. The controller 15 may control the overall operation of the augmentation apparatus 200 and the signal flow between internal blocks of the augmentation apparatus 200 , and perform a data processing function of processing data. In addition, the control unit 15 basically serves to control various functions of the augmentation device 200 . The controller 15 may be a central processing unit (CPU), a graphic processing unit (GPU), a digital signal processor (DSP), or the like. Referring to FIG. 11 , the control module 13 includes a learning unit 210 , a data processing unit 220 , a recognition unit 230 , and an augmentation unit 240 .

학습부(210)는 학습 데이터를 이용하여 학습을 통해 인식망(RN)을 생성하기 위한 것이다. 본 발명의 실시예에 따른 인식망(RN)은 심층신경망(DNN: Deep Neural Network)이며, 순환신경망으로 형성될 수 있다. 예컨대, 인식망(RN은 RNN(Recurrent Neural Network), LTSM(Long Short-Term Memory Models), GRU(Gated Recurrent Unit) 등을 예시할 수 있다. 본 발명의 실시예에서 인식망(RN)은 RNN(Recurrent Neural Network)으로 형성되는 것으로 설명되지만, 이에 한정되는 것은 아니며, LTSM(Long Short-Term Memory Models), GRU(Gated Recurrent Unit) 등을 비롯한 다른 순환신경망으로 형성될 수도 있다. The learning unit 210 is to generate a recognition network (RN) through learning using the learning data. The recognition network (RN) according to an embodiment of the present invention is a deep neural network (DNN), and may be formed as a recurrent neural network. For example, the recognition network (RN is a Recurrent Neural Network (RNN), Long Short-Term Memory Models (LTSM), Gated Recurrent Unit (GRU), etc.) In an embodiment of the present invention, the recognition network (RN) is an RNN Although described as being formed as a (Recurrent Neural Network), it is not limited thereto, and may be formed of other recurrent neural networks including Long Short-Term Memory Models (LTSM), Gated Recurrent Units (GRUs), and the like.

데이터처리부(220)는 도 12를 참조하면, 복수의 입력벡터(X1 내지 Xn)를 생성하기 위한 것이다. 데이터처리부(220)는 카메라부(11)를 통해 촬영되는 스트리밍 영상이 입력되면, 입력되는 스트리밍 영상에서 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬하여 복수의 입력벡터(X1 내지 Xn)를 생성한다. Referring to FIG. 12 , the data processing unit 220 is for generating a plurality of input vectors X1 to Xn. When a streaming image photographed through the camera unit 11 is input, the data processing unit 220 extracts a predetermined number of frames at the same time interval from the input streaming image, and arranges the extracted frames according to the photographing time sequence. A plurality of input vectors X1 to Xn are generated.

예컨대, 인식망(RN)이 300개의 스테이지(S300, n=300)로 이루진 것으로 가정한다. 그러면, 데이터처리부(220)는 스트리밍 영상에서 동일한 간격으로 300개의 프레임을 추출한다. 데이터처리부(220)는 추출된 복수의 프레임을 이용하여 복수의 입력벡터를 생성하고, 생성된 복수의 입력벡터(X1 내지 Xn)를 영상이 촬영된 시간의 순서에 따라 정렬하여 복수의 입력벡터(X1 내지 Xn)를 포함하는 입력벡터열(Xt: X1 내지 Xn)을 생성한다. 그리고 데이터처리부(220)는 생성된 입력벡터열(Xt: X1 내지 Xn)을 인식부(230)에 제공한다. For example, it is assumed that the recognition network RN consists of 300 stages (S300, n=300). Then, the data processing unit 220 extracts 300 frames at the same interval from the streaming image. The data processing unit 220 generates a plurality of input vectors by using the plurality of extracted frames, and aligns the generated plurality of input vectors (X1 to Xn) according to the order of time when the image is captured to obtain a plurality of input vectors ( An input vector sequence (Xt: X1 to Xn) including X1 to Xn) is generated. In addition, the data processing unit 220 provides the generated input vector sequences Xt: X1 to Xn to the recognition unit 230 .

인식부(230)는 인식망(RN)을 이용하여 페이지의 상태를 인식한다. 여기서, 페이지 상태는 페이지 접힘, 페이지 펼쳐짐 및 페이지 이동을 포함한다. 인식부(230)는 인식망(RN)에 복수의 입력벡터(X1 내지 Xn)를 포함하는 입력벡터열(Xt: X1 내지 Xn)에 입력하고, 인식망(RN)은 입력벡터열(Xt: X1 내지 Xn)에 대해 복수의 스테이지(S1 내지 Sn)의 순서대로 가중치가 적용되는 하나 이상의 연산을 수행하여 페이지 상태를 나타내는 출력벡터(Y)를 산출한다. The recognition unit 230 recognizes the state of the page using the recognition network (RN). Here, the page state includes page folding, page unfolding, and page movement. The recognition unit 230 inputs the input vector string (Xt: X1 to Xn) including a plurality of input vectors (X1 to Xn) to the recognition network (RN), and the recognition network (RN) receives the input vector string (Xt: An output vector Y representing a page state is calculated by performing one or more operations in which weights are applied in the order of the plurality of stages S1 to Sn with respect to X1 to Xn).

인식망(RN)은 복수의 스테이지(S1 내지 Sn)로 이루어지며, 각 스테이지는 입력층(IL: Input Layer), 은닉층(HL: Hidden Layer) 및 출력층(OL: Output Layer)을 포함한다. 스테이지(S1 내지 Sn)의 길이(n)는 미리 설정된다. The recognition network RN consists of a plurality of stages S1 to Sn, and each stage includes an input layer (IL), a hidden layer (HL), and an output layer (OL). The length n of the stages S1 to Sn is preset.

입력층(IL)은 복수의 입력벡터(X1 내지 Xn) 각각에 대응하는 복수의 입력버퍼를 포함하며, 복수의 입력벡터(X1 내지 Xn)를 은닉층(HL)에 입력한다. 즉, 입력층(IL)에는 시간 순서로 정렬된 복수의 입력벡터(X1 내지 Xn)가 입력된다. The input layer IL includes a plurality of input buffers corresponding to each of the plurality of input vectors X1 to Xn, and inputs the plurality of input vectors X1 to Xn to the hidden layer HL. That is, a plurality of input vectors X1 to Xn arranged in time order are input to the input layer IL.

은닉층(HL)은 스테이지의 개수(n)의 배수에 해당하는 복수의 은닉셀(HC)을 포함한다. 즉, 은닉층(HL)은 1개의 층으로 도시되었지만, 2 이상의 층으로 형성될 수 있다. 복수의 은닉셀(HC)은 복수의 입력벡터(X1 내지 Xn)에 대해 가중치가 적용되는 하나 이상의 연산을 순환 방식으로 수행하여 출력벡터(Y)를 산출한다. The hidden layer HL includes a plurality of hidden cells HC corresponding to a multiple of the number n of the stages. That is, although the hidden layer HL is illustrated as one layer, it may be formed of two or more layers. The plurality of hidden cells HC calculates the output vector Y by performing one or more operations in which weights are applied to the plurality of input vectors X1 to Xn in a cyclic manner.

출력층(OL)은 마지막 스테이지(Sn)의 은닉셀(HCn)에 의해 산출된 출력벡터(Y)를 출력한다. 출력벡터(Y)는 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 페이지의 상태를 나타낸다. The output layer OL outputs the output vector Y calculated by the hidden cell HCn of the last stage Sn. The output vector Y represents a page state that is any one of a page folded state, a page unfolded state, and a page moved state.

한편, 도 12를 참조하면, 은닉셀(HC)은 가중치(Weight, Wx, Wh, Wy)가 적용되는 하나 이상의 연산으로 이루어진다. 여기서, 연산은 활성화함수(Activation Function)를 적용한 연산을 의미한다. 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 또한, 하나의 은닉셀(HC)에서 가중치는 입력값인 입력벡터(Xt)에 적용되는 입력 가중치 Wx, 이전 스테이지의 상태값 Ht-1에 대해 적용되는 상태 가중치 Wh 및 출력값 Yt에 대해 적용되는 출력 가중치 Wy를 포함한다. 예컨대, 은닉셀(HC)에 적용되는 가중치가 적용되는 연산은 다음의 수학식 1을 예시할 수 있다. Meanwhile, referring to FIG. 12 , the hidden cell HC consists of one or more operations to which weights (Weight, Wx, Wh, Wy) are applied. Here, the operation means an operation to which an activation function is applied. The activation function may be exemplified by Sigmoid, Hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, and the like. In addition, in one hidden cell HC, the weight is the input weight Wx applied to the input vector Xt, which is the input value, the state weight Wh applied to the state value Ht-1 of the previous stage, and the output applied to the output value Yt. Includes weight Wy. For example, an operation to which a weight applied to the hidden cell HC is applied may be exemplified by Equation 1 below.

여기서, b는 임계치 혹은 바이어스이다. 특히, tanh 함수, ReLU 함수는 다른 활성화함수로 변경될 수 있다. 수학식 1과 도 12를 참조하면, 복수의 은닉셀(HCt) 각각은 이전 스테이지(St-1)의 은닉셀(HCt-1)이 연산한 이전 스테이지(St-1)의 상태값(Ht-1)과 자신의 스테이지(St)의 입력값(Xt)에 대해 가중치(W: Wh, Wx, Wy)가 적용되는 연산을 수행하여 현 스테이지(St)의 상태값(Ht) 및 출력값(Yt)을 산출할 수 있다. Here, b is a threshold or bias. In particular, the tanh function and the ReLU function can be changed to other activation functions. Referring to Equation 1 and FIG. 12 , each of the plurality of hidden cells HCt is a state value Ht- of the previous stage St-1 calculated by the hidden cell HCt-1 of the previous stage St-1. 1) and the state value (Ht) and output value (Yt) of the current stage (St) by performing an operation in which weights (W: Wh, Wx, Wy) are applied to the input value (Xt) of the own stage (St) can be calculated.

인식망(RN)의 입력층(IL)이 시간 순서에 따라 정렬된 복수의 입력벡터(X1 내지 Xn) 각각을 은닉층(HL)의 대응하는 은닉셀, 즉, 제1 내지 제n 은닉셀(HC1 내지 HCn)에 입력한다. 그러면, 은닉층(HL)의 제1 내지 제n 은닉셀(HC1 내지 HCn) 각각은 이전 스테이지(St-1)의 은닉셀(HCt-1)이 연산한 이전 스테이지(St-1)의 상태값(Ht-1)과 자신(HCt)의 스테이지(St)의 입력값(Xt)에 대해 가중치(상태 가중치 및 입력 가중치)가 적용되는 연산을 수행하여 현 스테이지(St)의 상태값(Ht)을 산출한 후, 산출된 상태값(Ht)을 다음 스테이지(St+1)의 은닉셀(HCt+1)로 전달한다. 예컨대, 제1 은닉셀(HC1)은 초기 상태값(H0)에 상태 가중치(Wh)를 적용하고, 제1 입력벡터(X1)에 입력 가중치(Wx)를 적용하여 제1 스테이지(S1)의 상태값(H1)을 산출한다. 제1 은닉셀(HC1)의 경우, 이전 스테이지가 없기 때문에 초기 상태값(H0)을 이용한다. 이어서, 제2 은닉셀(HC2)은 이전 스테이지인 제1 스테이지(S1)의 상태값(H1)에 상태 가중치(Wh)를 적용하고, 제2 입력벡터(X2)에 입력 가중치(Wx)를 적용하여 제2 스테이지(S2)의 상태값(H2)을 산출한다. 그리고 제3 은닉셀(HC3)은 이전 스테이지인 제2 스테이지(S2)의 상태값(H2)에 상태 가중치(Wh)를 적용하고, 제3 입력벡터(X3)에 입력 가중치(Wx)를 적용하여 제3 스테이지(S3)의 상태값(H3)을 산출하는 식이다. 이와 같이, 복수의 은닉셀(HCt)은 이전 스테이지의 상태값(Ht-1)과 현 스테이지의 입력값인 입력벡터(Xt)에 대해 상태 및 입력 가중치(Wh, Wx)가 적용되는 연산을 수행하여 현 스테이지의 상태값(Ht)을 산출하고, 산출된 상태값(Ht)을 다음 스테이지(St+1)로 전달한다. The input layer IL of the recognition network RN assigns each of the plurality of input vectors X1 to Xn arranged in time sequence to the corresponding hidden cell of the hidden layer HL, that is, the first to nth hidden cell HC1. to HCn). Then, each of the first to nth hidden cells HC1 to HCn of the hidden layer HL is the state value ( Ht-1) and an operation in which weights (state weight and input weight) are applied to the input value Xt of the stage St of the self (HCt) are performed to calculate the state value Ht of the current stage St After that, the calculated state value Ht is transferred to the hidden cell HCt+1 of the next stage St+1. For example, the first hidden cell HC1 applies the state weight Wh to the initial state value H0, and applies the input weight Wx to the first input vector X1 to obtain the state of the first stage S1. Calculate the value H1. In the case of the first hidden cell HC1, since there is no previous stage, the initial state value H0 is used. Next, the second hidden cell HC2 applies the state weight Wh to the state value H1 of the first stage S1, which is the previous stage, and applies the input weight Wx to the second input vector X2. Thus, the state value H2 of the second stage S2 is calculated. And the third hidden cell HC3 applies the state weight Wh to the state value H2 of the second stage S2, which is the previous stage, and applies the input weight Wx to the third input vector X3. This is the formula for calculating the state value H3 of the third stage S3. In this way, the plurality of hidden cells HCt perform an operation in which the state and input weights Wh and Wx are applied to the state value Ht-1 of the previous stage and the input vector Xt that is the input value of the current stage. Thus, the state value Ht of the current stage is calculated, and the calculated state value Ht is transferred to the next stage St+1.

이와 같은 연산의 수행 중 마지막 은닉셀인 제n 은닉셀(HCn)은 이전 스테이지인 제n-1 스테이지(Sn-1)의 상태값(Hn-1)에 상태 가중치(Wh)가 적용되고, 현 스테이지(Sn)의 입력값인 입력벡터(Xn)에 대해 입력 가중치(Wx)가 적용되는 연산을 수행하여 현 스테이지인 제n 스테이지(Sn)의 상태값(Hn)을 산출한다. 그런 다음, 제n 은닉셀(HCn)은 현 스테이지인 제n 스테이지(Sn)의 상태값(Hn)에 출력 가중치(Wy)를 적용하는 연산을 수행하여 출력벡터(Y)를 산출한다. The state weight Wh is applied to the state value Hn-1 of the n-1 th stage Sn-1, which is the previous stage, for the n-th hidden cell HCn, which is the last hidden cell during such operation, and the current An operation in which an input weight Wx is applied to an input vector Xn that is an input value of the stage Sn is performed to calculate a state value Hn of an n-th stage Sn that is the current stage. Then, the n-th hidden cell HCn calculates the output vector Y by performing an operation of applying the output weight Wy to the state value Hn of the n-th stage Sn, which is the current stage.

이와 같이, 본 발명의 실시예에 따른 인식망(RN)에서 입력층(IL)은 복수의 스테이지(S1 내지 Sn) 각각에 대응하여 시간 순서로 정렬된 복수의 입력벡터(X1 내지 Xn)를 복수의 스테이지(S1 내지 Sn) 별로 입력받는다. 그러면, 은닉층(HL)의 마지막 은닉셀(HCn)을 제외한 복수의 은닉셀(HC1 내지 HCn-1)은 이전 스테이지(St-1)의 상태값(Ht-1)과 현 스테이지(St)의 입력값인 입력벡터(Xt)에 대해 상태 및 입력 가중치(Wx, Wh)가 적용되는 연산을 수행하여 현 스테이지의 상태값(Ht)을 산출한 후, 산출된 상태값을 다음 스테이지(St+1)에 전달한다. 그러면, 마지막 은닉셀(HCn)은 이전 스테이지(Sn-1)의 상태값(Hn-1)과 현 스테이지(Sn)의 입력값인 제n 입력벡터(Xn)에 대해 상태 및 입력 가중치(Wx, Wh)가 적용되는 연산을 수행하여 현 스테이지(Sn)의 상태값(Hn)을 산출한 후, 산출된 현 스테이지의 상태값(Hn)에 출력 가중치(Wy)를 적용하여 출력벡터(Y)를 산출한다. 출력벡터(Y)는 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 페이지의 상태를 나타내며, 인식망(RN)이 출력벡터(Y)를 산출하면, 인식부(230)는 출력벡터(Y)에 따라 페이지 접힘, 페이지 펼쳐짐 및 페이지 이동 중 어느 하나인 페이지의 상태를 증강부(240)에 제공한다. In this way, in the recognition network RN according to the embodiment of the present invention, the input layer IL includes a plurality of input vectors X1 to Xn arranged in time order corresponding to each of the plurality of stages S1 to Sn. The input is received for each stage (S1 to Sn) of Then, the plurality of hidden cells HC1 to HCn-1 except for the last hidden cell HCn of the hidden layer HL are input to the state value Ht-1 of the previous stage St-1 and the current stage St. After calculating the state value (Ht) of the current stage by performing an operation in which the state and input weights (Wx, Wh) are applied to the input vector (Xt), which is a value, the calculated state value is applied to the next stage (St+1) forward to Then, the last hidden cell HCn has the state and input weights Wx, Wh) is applied to calculate the state value (Hn) of the current stage (Sn), and then apply the output weight (Wy) to the calculated state value (Hn) of the current stage to obtain the output vector (Y) Calculate. The output vector Y indicates a page state that is any one of a page folded state, a page unfolded state, and a page moved state. According to (Y), a page state that is any one of page folding, page unfolding, and page movement is provided to the augmentation unit 240 .

증강부(240)는 페이지의 상태에 따라 표시부(13)를 통해 대응하는 증강현실화면을 표시하도록 제어한다. 즉, 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 각각에 대응하는 증강현실화면이 존재하며, 증강부(240)는 이러한 상태에 대응하는 증강현실화면을 제공한다. The augmentation unit 240 controls to display a corresponding augmented reality screen through the display unit 13 according to the state of the page. That is, there is an augmented reality screen corresponding to each of the page folded state, the page unfolded state, and the page moving state, and the augmentation unit 240 provides the augmented reality screen corresponding to these states.

다음으로, 본 발명의 실시예에 따른 학습(deep learning)을 통해 인식망(RN)을 생성하는 방법에 대해서 설명하기로 한다. 도 14는 본 발명의 실시예에 따른 학습(deep learning)을 통해 인식망(RN)을 생성하는 방법을 설명하기 위한 흐름도이다. Next, a method for generating a recognition network (RN) through deep learning according to an embodiment of the present invention will be described. 14 is a flowchart illustrating a method of generating a recognition network (RN) through deep learning according to an embodiment of the present invention.

도 14를 참조하면, 학습부(210)는 S110 단계에서 인식망(RN)을 초기화한다. 이는 인식망(RN)의 가중치, 즉, 입력 가중치 Wx, 상태 가중치 Wh 및 출력 가중치 Wy를 초기화하는 것을 의미한다. Referring to FIG. 14 , the learning unit 210 initializes the recognition network (RN) in step S110. This means initializing the weights of the recognition network RN, that is, the input weight Wx, the state weight Wh, and the output weight Wy.

그런 다음, 학습부(210)는 S120 단계에서 학습 데이터를 마련한다. 학습 데이터는 복수의 학습용 입력벡터(X1 내지 Xn)를 포함하는 학습용 입력벡터열(Xt: X1 내지 Xn) 및 학습용 입력벡터열(Xt: X1 내지 Xn)에 대응하는 레이블을 포함한다. 여기서, 레이블은 페이지의 상태를 나타낸다. 이러한 학습 데이터는 페이지의 상태를 알고 있는 촬영된 스트리밍 영상으로부터 추출된 복수의 프레임을 이용하여 생성된다. Then, the learning unit 210 prepares the learning data in step S120. The training data includes a training input vector sequence (Xt: X1 to Xn) including a plurality of training input vectors (X1 to Xn) and a label corresponding to the training input vector sequence (Xt: X1 to Xn). Here, the label indicates the state of the page. Such learning data is generated using a plurality of frames extracted from a recorded streaming image that knows the state of the page.

이어서, 학습부(210)는 S130 단계에서 초기화된, 즉, 학습이 이루어지지 않은 가중치를 포함하는 인식망(RN)에 복수의 학습용 입력벡터를 입력한다. 그러면, 인식망(RN)은 S140 단계에서 복수의 학습용 입력벡터에 대한 연산을 수행하여 출력벡터(Y)를 산출한다. 이때, 인식망(RN)은 학습용 입력벡터열(Xt: X1 내지 Xn)에 대해 복수의 스테이지(S1 내지 Sn)의 순서대로 가중치가 적용되는 하나 이상의 연산을 수행하여 출력벡터(Y)를 산출한다. Next, the learning unit 210 inputs a plurality of input vectors for learning to the recognition network RN including the weights initialized in step S130 , that is, not trained. Then, the recognition network (RN) calculates an output vector (Y) by performing an operation on a plurality of input vectors for learning in step S140. At this time, the recognition network (RN) calculates an output vector (Y) by performing one or more operations in which weights are applied in the order of a plurality of stages (S1 to Sn) on the training input vector sequence (Xt: X1 to Xn) .

그러면, 학습부(210)는 S150 단계에서 손실함수를 통해 복수의 학습용 입력벡터를 포함하는 학습용 입력벡터열(Xt: X1 내지 Xn)에 대응하는 출력벡터와, 복수의 학습용 입력벡터에 대응하는 레이블, 즉, 알려진 페이지의 상태와의 차이인 손실을 산출하고, 손실이 최소가 되도록 상기 인식망(RN)의 기중치를 수정하는 최적화를 수행한다. Then, the learning unit 210 through the loss function in step S150 an output vector corresponding to an input vector string for learning (Xt: X1 to Xn) including a plurality of input vectors for learning, and a label corresponding to the plurality of input vectors for learning. , that is, a loss that is a difference from a known page state is calculated, and optimization is performed to correct the weight of the recognition network RN so that the loss is minimized.

학습부(210)는 전술한 S120 단계 내지 S150 단계를 손실이 소정의 목표치 미만이 될 때까지 서로 다른 학습 데이터를 이용하여 반복함으로써 인식망(RN)을 생성할 수 있다. The learning unit 210 may generate the recognition network RN by repeating the above-described steps S120 to S150 using different learning data until the loss is less than a predetermined target value.

전술한 바와 같은 절차에 따라 복수의 인식망(RN)이 생성되면, 증강장치(200)는 학습된 인식망(RN)을 이용하여 팝업북(100)의 페이지의 상태를 인식하고, 인식된 팝업북(100)의 페이지의 상태에 따라 증강현실화면을 제공한다. 그러면, 이러한 방법에 대해서 설명하기로 한다. 도 15는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다. 도 16은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 화면 예이다. When a plurality of recognition networks (RN) are generated according to the procedure as described above, the augmentation device 200 recognizes the state of the page of the pop-up book 100 using the learned recognition network (RN), and the recognized pop-up book ( 100) provides an augmented reality screen according to the state of the page. Then, this method will be described. 15 is a flowchart illustrating a method for providing augmented reality using a pop-up book according to an embodiment of the present invention. 16 is a screen example for explaining a method for providing augmented reality using a pop-up book according to an embodiment of the present invention.

도 15를 참조하면, 데이터처리부(220)는 S210 단계에서 카메라부(11)를 통해 팝업북(100)을 촬영한 스트리밍 영상을 입력받고, S220 단계에서 입력되는 스트리밍 영상에서 동일한 시간 간격으로 소정 수(n)의 프레임을 추출하고, 추출된 프레임이 촬영된 시간 순서에 따라 정렬된 복수의 입력벡터(X1 내지 Xn)를 생성한다. Referring to FIG. 15 , the data processing unit 220 receives a streaming image captured by the pop-up book 100 through the camera unit 11 in step S210, and receives a predetermined number ( n) is extracted, and a plurality of input vectors (X1 to Xn) arranged according to the time sequence in which the extracted frames are photographed are generated.

다음으로, 인식부(230)는 S230 단계에서 복수의 입력벡터(X1 내지 Xn)를 포함하는 입력벡터열(Xt: X1 내지 Xn)을 인식망(RN)에 입력한다. 즉, 시간 순서에 따라 정렬된 복수의 입력벡터(X1 내지 Xn)를 인식망(RN)의 대응하는 스테이지에 입력한다. Next, the recognition unit 230 inputs the input vector string (Xt: X1 to Xn) including the plurality of input vectors (X1 to Xn) to the recognition network (RN) in step S230 . That is, a plurality of input vectors X1 to Xn arranged in time order are input to the corresponding stage of the recognition network RN.

그러면, 인식망(RN)은 S240 단계에서 입력벡터열(Xt: X1 내지 Xn), 즉, 복수의 입력벡터(X1 내지 Xn)에 대해 복수의 스테이지(S1 내지 Sn)의 순서대로 가중치가 적용되는 하나 이상의 연산을 수행하여 팝업북(100)의 페이지의 상태를 나타내는 출력벡터(Y)를 산출한다. Then, in step S240, the recognition network (RN) applies weights in the order of the plurality of stages (S1 to Sn) to the input vector sequence (Xt: X1 to Xn), that is, the plurality of input vectors (X1 to Xn). One or more operations are performed to calculate an output vector Y indicating the state of a page of the pop-up book 100 .

도 9의 (A)를 참조하면, 입력벡터열의 복수의 입력벡터(X1 내지 Xn)에 포함된 복수의 프레임이 나타내는 영상이 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐지지 않은 상태(접혀진 상태)를 유지하는 경우, 인식망(RN)은 페이지 접힘 상태를 나타내는 출력벡터(Y)를 산출할 수 있다. 또한, 입력벡터열의 복수의 입력벡터(X1 내지 Xn)에 포함된 복수의 프레임이 나타내는 영상이 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태를 유지하는 경우, 인식망(RN)은 페이지 펼쳐짐 상태를 나타내는 출력벡터(Y)를 산출할 수 있다. 또한, 입력벡터열의 복수의 입력벡터(X1 내지 Xn)에 포함된 복수의 프레임이 나타내는 영상이 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태인 페이지 펼쳐짐 상태에서, 도 9의 (B)에 도시된 바와 같이, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122, 이 예에서는 123)와, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122)와 이웃하는 제3 페이지부(123)가 존재하며, 그 어느 하나의 페이지부(121/122, 이 예에서는 123)와 제3 페이지부(123) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태로 변경된 경우, 인식망(RN)은 페이지 이동 상태를 나타내는 출력벡터(Y)를 산출할 수 있다. Referring to FIG. 9A , there are first and second page portions 121 and 122 in which images represented by a plurality of frames included in a plurality of input vectors X1 to Xn of an input vector column are adjacent to each other, and , when the fold line f of the base part 110 between the first and second page parts 121 and 122 adjacent to each other maintains an unfolded state (folded state), the recognition network RN An output vector (Y) representing the folded state can be calculated. Also, there are first and second page portions 121 and 122 adjacent to each other in which images represented by a plurality of frames included in the plurality of input vectors X1 to Xn of the input vector column are adjacent to each other, and first and second page portions 121 and 122 adjacent to each other exist. When the fold line f of the base part 110 between the two page parts 121 and 122 maintains the unfolded state, the recognition network RN may calculate an output vector Y indicating the page unfolded state. . In addition, there are first and second page portions 121 and 122 adjacent to each other in which images represented by a plurality of frames included in the plurality of input vectors X1 to Xn of the input vector column are adjacent to each other, and first and second adjacent first and second pages exist. In a page unfolded state in which the fold line f of the base portion 110 between the page portions 121 and 122 is unfolded, as shown in FIG. 9B , the first page portion 121 and the second One page portion 121/122 of the second page portion 122 (123 in this example), and one page portion 121/122 of the first page portion 121 and the second page portion 122 and a third page part 123 adjacent to the ) is changed to the unfolded state, the recognition network RN may calculate an output vector Y indicating the page moving state.

이러한 S240 단계에 대해 도 14 및 도 15를 참조하여 보다 구체적으로 설명하면 다음과 같다. 인식망(RN)의 입력층(IL)은 인식망(RN)의 복수의 스테이지(S1 내지 Sn)에 대응하여 시간 순서로 정렬된 복수의 입력벡터(X1 내지 Xn)를 복수의 스테이지(S1 내지 Sn) 별로 입력받는다. 그런 다음, 인식망(RN의 은닉층(HL)의 복수의 은닉셀(HC1 내지 HCn) 각각은 이전 스테이지(St-1)의 상태값(Ht-1)과 현 스테이지(St)의 입력값인 입력벡터(Xt)에 대해 가중치(상태 가중치 및 입력 가중치)가 적용되는 연산을 수행하여 현 스테이지(St)의 상태값(Ht)을 산출한 후, 산출된 상태값(Ht)을 다음 스테이지에 전달한다. 이때, 복수의 은닉셀(HC1 내지 HCn) 중 마지막 은닉셀(HCn)은 산출된 현 스테이지의 상태값(Hn)에 가중치(출력 가중치)를 적용하여 출력벡터(Y)를 산출한다. 이에 따라, 인식부(230)는 인식망(RN)이 산출한 출력벡터(Y)에 따라 팝업북(100)의 페이지의 상태를 증강부(240)에 제공하며, 증강부(240)는 S250 단계에서 페이지의 상태에 대응하는 증강현실화면을 표시부(13)를 통해 출력한다. The step S240 will be described in more detail with reference to FIGS. 14 and 15 as follows. The input layer IL of the recognition network RN applies a plurality of input vectors X1 to Xn arranged in time order corresponding to the plurality of stages S1 to Sn of the recognition network RN to the plurality of stages S1 to Sn. Sn) is input. Then, each of the plurality of hidden cells HC1 to HCn of the recognition network (RN's hidden layer HL) has an input that is the state value Ht-1 of the previous stage St-1 and the input value of the current stage St. After calculating the state value Ht of the current stage St by performing an operation in which a weight (state weight and input weight) is applied to the vector Xt, the calculated state value Ht is transmitted to the next stage At this time, the last hidden cell HCn among the plurality of hidden cells HC1 to HCn calculates an output vector Y by applying a weight (output weight) to the calculated state value Hn of the current stage. , the recognition unit 230 provides the status of the page of the pop-up book 100 to the augmentation unit 240 according to the output vector Y calculated by the recognition network RN, and the augmentation unit 240 provides the page state in step S250. Outputs an augmented reality screen corresponding to the state of the display unit 13 through the.

도 16의 (A)를 참조하면, 베이스부(110)의 제1 페이지부(121) 및 제2 페이지부(122) 사이에 보여지는 면을 제1면(F1), 제1 페이지부(121) 및 제2 페이지부(122) 각각의 보여지는 면을 제2면(F2) 및 제3면(F3)이라고 할 때, 증강부(240)는 도 16의 (B) 및 (C)에 도시된 바와 같이, 카메라부(11)의 제1면(F1)에 대한 촬영 각도 및 거리를 이용하여 카메라부(11) 대한 제1면(F1)의 위치를 인식하고, 제1면(F1)을 기준으로 제2면(F2) 및 제3면(F3)의 상대적인 위치를 산출한다. 그런 다음, 증강부(240)는 각 면(F1, F2, F3)에 대응하는 증강현실화면을 산출된 위치에 따라 표시부(13)를 통해 표시한다. Referring to FIG. 16A , the first surface F1 and the first page portion 121 of the base 110 are shown between the first page portion 121 and the second page portion 122 . ) and a second surface F2 and a third surface F3, respectively, as the visible surfaces of the second page portion 122, the augmentation portion 240 is shown in (B) and (C) of FIG. 16 . As shown, the position of the first surface F1 with respect to the camera unit 11 is recognized using the shooting angle and distance with respect to the first surface F1 of the camera unit 11, and the first surface F1 is As a reference, the relative positions of the second surface F2 and the third surface F3 are calculated. Then, the augmentation unit 240 displays the augmented reality screen corresponding to each of the surfaces F1, F2, and F3 through the display unit 13 according to the calculated position.

이때, 대안적인 실시예에 따르면, 증강부(240)는 제2면(F2) 및 제3면(F3)의 인식률이 기준치 미만으로 낮은 경우에도, 제1면(F1)을 기준으로 가상의 제2면(F2) 및 제3면(F3)을 설정하고, 각 면(F1, F2, F3)에 대응하는 증강현실화면을 표시부(13)를 통해 표시할 수 있다. At this time, according to an alternative embodiment, even when the recognition rate of the second surface F2 and the third surface F3 is lower than the reference value, the augmentation unit 240 provides a virtual second surface based on the first surface F1. The second surface F2 and the third surface F3 may be set, and the augmented reality screen corresponding to each surface F1, F2, and F3 may be displayed through the display unit 13 .

또한, 도 16의 (C)의 객체(OBJ)는 실물의 교구이며, 증강부(240)는 인식률이 높은 객체(OBJ)를 기준으로 제1면(F1), 제2면(F2) 및 제3면(F3)의 위치를 순차로 추정할 수 있다. 그런 다음, 각 면(F1, F2, F3)에 대응하는 증강현실화면을 표시부(13)를 통해 표시할 수 있다. In addition, the object OBJ of FIG. 16C is an actual teaching aid, and the augmentation unit 240 is based on the object OBJ having a high recognition rate, the first surface F1, the second surface F2, and the second surface. The positions of the three surfaces F3 may be sequentially estimated. Then, the augmented reality screen corresponding to each side (F1, F2, F3) can be displayed through the display unit (13).

한편, 전술한 바와 같은 본 발명의 실시예에 따르면, 베이스부(110)는 원형인 것으로 설명하였지만, 다양한 형태로 베이스부(110)를 형성할 수 있다. 도 17 내지 도 19는 본 발명의 다른 실시예에 따른 팝업북의 형태를 도시한 도면이다. Meanwhile, according to the embodiment of the present invention as described above, although the base part 110 has been described as having a circular shape, the base part 110 may be formed in various shapes. 17 to 19 are diagrams illustrating the form of a pop-up book according to another embodiment of the present invention.

도 17의 (A), (B), (C) 및 (D) 각각은 베이스부(110)의 형상이 사각형인 경우, 베이스부(110)가 펼쳐진 상태의 평면도, 사시도, 정면도 및 측면도를 보인다. 17 (A), (B), (C) and (D) each shows a plan view, a perspective view, a front view, and a side view of the base unit 110 in an unfolded state when the shape of the base unit 110 is a rectangle. see.

도 18의 (A), (B), (C) 및 (D) 각각은 베이스부(110)의 형상이 무게중심을 축으로 할 때, 축을 대칭으로 하는 다각형인 경우, 베이스부(110)가 접혀진 상태의 평면도, 사시도, 정면도 및 측면도를 보인다. 18 (A), (B), (C) and (D), each of the shape of the base portion 110 when the center of gravity as an axis, when the axis is a symmetrical polygon, the base portion 110 is Shows a top view, a perspective view, a front view, and a side view in the folded state.

도 19의 (A), (B), (C) 및 (D) 각각은 베이스부(110)의 형상이 무게중심을 축으로 할 때, 축을 대칭으로 하면서 가장자리가 곡선으로 이루어진 도형인 경우, 베이스부(110)가 접혀진 상태의 평면도, 사시도, 정면도 및 측면도를 보인다. 19 (A), (B), (C) and (D) of each of the figures, when the shape of the base portion 110 is the center of gravity as the axis, the axis is symmetrical while the edge is a figure composed of a curve, the base A top view, a perspective view, a front view, and a side view of the unit 110 in a folded state are shown.

이와 같이, 본 발명의 베이스부(110)는 원형 이외의 다양한 형상으로 형성될 수 있다. In this way, the base part 110 of the present invention may be formed in various shapes other than a circular shape.

한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the above-described method according to an embodiment of the present invention may be implemented in the form of a program readable by various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language wires such as those generated by a compiler, but also high-level language wires that can be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made in accordance with the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.

11: 카메라부 12: 입력부
13: 표시부 14: 저장부
15: 제어부 100: 팝업북
110: 베이스부 120: 페이지부
130: 회전심 200: 증강장치
210: 학습부 220: 데이터처리부
230: 인식부 240: 증강부 11: camera unit 12: input unit
13: display unit 14: storage unit
15: control unit 100: pop-up book
110: base part 120: page part
130: rotating core 200: augmentation device
210: learning unit 220: data processing unit
230: recognition unit 240: augmentation unit

Claims (8)

삭제delete 삭제delete 삭제delete 팝업북을 이용한 증강현실을 제공하기 위한 장치에 있어서,
화면 표시를 위한 표시부;
영상 촬영을 위한 카메라부;
상기 카메라부를 통해 상기 팝업북을 촬영한 스트리밍 영상으로부터 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬한 복수의 입력벡터를 포함하는 입력벡터열을 생성하는 데이터처리부; 및
인식망을 통해 상기 복수의 입력벡터에 대한 연산을 수행하여 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 팝업북의 페이지의 상태를 인식하는 인식부; 및
상기 표시부를 통해 상기 인식부가 인식한 페이지의 상태에 대응하는 증강현실화면을 제공하는 증강부;
를 포함하며,
상기 인식망은
복수의 스테이지에 대응하여 시간 순서로 정렬된 복수의 입력벡터를 상기 복수의 스테이지 별로 입력받는 입력층;
이전 스테이지의 상태값과 현 스테이지의 입력값인 입력벡터에 대해 가중치가 적용되는 연산을 수행하여 현 스테이지의 상태값을 산출한 후, 산출된 상태값을 다음 스테이지에 전달하는 복수의 은닉셀을 포함하되,
상기 복수의 은닉셀 중 마지막 은닉셀은 현 스테이지의 상태값을 산출한 후, 산출된 현 스테이지의 상태값에 가중치를 적용하여 상기 팝업북의 페이지의 상태를 나타내는 출력벡터를 산출하는 은닉층; 및
상기 출력벡터를 출력하는 출력층;
을 포함하며,
상기 팝업북은
원판형의 베이스부; 및
상기 베이스부 상에 형성되며 각각이 동일한 크기의 사각판형인 복수의 페이지부;
를 포함하며,
상기 복수의 페이지부는
각각의 어느 하나의 옆면이 상기 베이스부의 원의 중심을 수직으로 관통하는 중심축에서 연결되고
각각의 다른 하나의 옆면이 상기 베이스부의 원의 원주를 따라 동일한 각도만큼 이격되고 배치되고
각각의 밑면이 상기 베이스부의 원의 중심에서 반지름을 따라 상기 베이스부의 상면에 연결되어 형성되며,
상기 베이스부는
상기 베이스부의 원을 동일한 면적을 가지는 짝수의 부채꼴로 분할하면서 반지름 길이를 가지는 복수의 반지름선이 있을 때, 상기 복수의 반지름선 중 어느 하나의 반지름선을 따라 상기 베이스부를 절개하는 하나의 절개선과 상기 베이스부를 상기 하나의 반지름선 이외의 다른 반지름선을 따라 절첩하는 복수의 절첩선을 포함하며,
팝업북이 펼쳐진 상태에서,
상기 복수의 페이지부 각각의 밑면이 상기 절개선 및 상기 복수의 절첩선 중 짝수 번째 절접선에 연결되며,
상기 복수의 페이지부 각각의 어느 하나의 옆면이 상기 베이스부의 원의 중심을 수직으로 관통하는 중심축에서 연결되며,
팝업북이 접혀진 상태에서,
상기 절개선으로부터 시계 방향으로 홀수 번째 절접선이 산을 형성하고,
상기 절개선으로부터 시계 방향으로 짝수 번째 절접선이 골을 형성하며,
상기 팝업북은
상기 베이스부의 상기 중심축에서 상기 베이스부의 하방으로 돌출되는 회전심;
을 더 포함하는 것을 특징으로 하는
팝업북을 이용한 증강현실을 제공하기 위한 장치. In the device for providing augmented reality using a pop-up book,
a display unit for screen display;
a camera unit for taking an image;
Data for extracting a predetermined number of frames at the same time interval from the streaming image of the pop-up book through the camera unit, and generating an input vector sequence including a plurality of input vectors in which the extracted frames are arranged according to the photographing time sequence processing unit; and
a recognition unit for recognizing a page state of a pop-up book that is any one of a page folded state, a page unfolded state, and a page moved state by performing an operation on the plurality of input vectors through a recognition network; and
an augmentation unit providing an augmented reality screen corresponding to the state of the page recognized by the recognition unit through the display unit;
includes,
The recognition network
an input layer receiving a plurality of input vectors arranged in time order corresponding to the plurality of stages for each of the plurality of stages;
It includes a plurality of hidden cells that calculate the state value of the current stage by performing an operation in which weights are applied to the state value of the previous stage and the input vector that is the input value of the current stage, and then transfer the calculated state value to the next stage but,
a hidden layer for calculating a state value of a current stage for the last hidden cell among the plurality of hidden cells, and then calculating an output vector indicating a state of a page of the pop-up book by applying a weight to the calculated state value of the current stage; and
an output layer for outputting the output vector;
includes,
The pop-up book
Disc-shaped base portion; and
a plurality of page portions formed on the base portion and each having a rectangular plate shape of the same size;
includes,
the plurality of pages
Each of the side surfaces is connected at a central axis penetrating vertically through the center of the circle of the base part,
and each other side surface is spaced apart and arranged by the same angle along the circumference of the circle of the base part,
Each bottom surface is formed by being connected to the upper surface of the base part along a radius from the center of the circle of the base part,
the base part
When there are a plurality of radial lines having a radius length while dividing the circle of the base portion into an even number of sectoral shapes having the same area, one cut line for cutting the base portion along any one of the plurality of radial lines and the and a plurality of fold lines for folding the base part along a radius line other than the one radius line,
With the pop-up book open,
a bottom surface of each of the plurality of page parts is connected to the cut line and an even-numbered cut line among the plurality of fold lines,
One side of each of the plurality of page parts is connected at a central axis penetrating the center of the circle of the base part vertically,
When the pop-up book is folded,
An odd-numbered incision in a clockwise direction from the incision forms a mountain,
An even-numbered incision in a clockwise direction from the incision forms a valley,
The pop-up book
a rotating core protruding downward from the central axis of the base part;
characterized in that it further comprises
A device for providing augmented reality using a pop-up book. 삭제delete 제4항에 있어서,
복수의 학습용 입력벡터를 포함하는 학습용 입력벡터열과 상기 학습용 입력벡터열에 대응하는 레이블을 포함하는 학습 데이터를 마련하고,
학습이 이루어지지 않은 가중치를 가지는 인식망이 상기 복수의 학습용 입력벡터에 대한 연산을 수행하여 출력벡터를 산출하고,
손실함수를 통해 상기 출력벡터와 상기 레이블과의 차이인 손실을 산출하고, 상기 손실이 최소가 되도록 상기 인식망의 가중치를 수정하는 최적화를 수행하는
학습부;
를 더 포함하는 것을 특징으로 하는
팝업북을 이용한 증강현실을 제공하기 위한 장치. 5. The method of claim 4,
providing training data including a training input vector sequence including a plurality of training input vectors and a label corresponding to the training input vector sequence,
A recognition network having a weight that has not been trained calculates an output vector by performing an operation on the plurality of input vectors for learning,
Calculating a loss that is a difference between the output vector and the label through a loss function, and performing optimization to modify the weight of the recognition network so that the loss is minimized
study department;
characterized in that it further comprises
A device for providing augmented reality using a pop-up book. 제4항에 있어서,
상기 페이지 접힘 상태는
복수의 페이지부 중 서로 이웃하는 제1 페이지부 및 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부 사이의 베이스부의 절첩선이 접혀진 상태이고,
페이지 펼쳐짐 상태는
상기 제1 페이지부 및 상기 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부의 절첩선이 펼쳐진 상태이고,
페이지 이동 상태는
상기 페이지 펼쳐짐 상태에서,
상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와,
상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 이웃하는 제3 페이지부가 존재하며,
상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 상기 제3 페이지부 사이의 베이스부의 절첩선이 펼쳐진 상태로 변경된 상태인 것을 특징으로 하는
팝업북을 이용한 증강현실을 제공하기 위한 장치. 5. The method of claim 4,
The page folded state is
a first page portion and a second page portion adjacent to each other among the plurality of page portions exist, and a fold line of the base portion between the first page portion and the second page portion is folded;
page unfolded state
The first page part and the second page part exist, and the fold lines of the first page part and the second page part are unfolded;
page move status
In the unfolded state of the page,
any one of the first page part and the second page part;
a third page part adjacent to any one of the first page part and the second page part exists;
wherein the fold line of the base part between any one of the first page part and the second page part and the third page part is changed to an unfolded state
A device for providing augmented reality using a pop-up book. 삭제delete

Images