KR102440412B1 - Pop-up book, apparatus for providing augmented reality using the same, and method therefor - Google Patents
Pop-up book, apparatus for providing augmented reality using the same, and method therefor Download PDFInfo
- Publication number
- KR102440412B1 KR102440412B1 KR1020210158912A KR20210158912A KR102440412B1 KR 102440412 B1 KR102440412 B1 KR 102440412B1 KR 1020210158912 A KR1020210158912 A KR 1020210158912A KR 20210158912 A KR20210158912 A KR 20210158912A KR 102440412 B1 KR102440412 B1 KR 102440412B1
- Authority
- KR
- South Korea
- Prior art keywords
- page
- pop
- book
- state
- input
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
- B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
- B42D1/00—Books or other bound products
- B42D1/003—Books or other bound products characterised by shape or material of the sheets
- B42D1/006—Books or other bound products characterised by shape or material of the sheets with at least one foldable or folded sheet
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
- B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
- B42D15/00—Printed matter of special format or style not otherwise provided for
- B42D15/0073—Printed matter of special format or style not otherwise provided for characterised by shape or material of the sheets
- B42D15/008—Foldable or folded sheets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
Description
본 발명은 팝업북을 이용한 증강현실 제공 기술에 관한 것으로, 보다 상세하게는, 팝업북, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법에 관한 것이다. The present invention relates to a technology for providing augmented reality using a pop-up book, and more particularly, to a pop-up book, an apparatus for providing augmented reality using the same, and a method therefor.
현재 출시되고 있는 AR 팝업북은 기존의 팝업북과 같이 눕혀서 사용하는 형태이다. 예컨대 사용자는 팝업북상 위에 페이지를 펼쳐 팝업이 되게 하고 모바일기기를 팝업북상부에 고정시키거나 손에 드는 방식으로 페이지를 비추어 AR 교재를 사용한다. 종래기술에 따르면 사용자가 페이지를 넘기거나, 페이지 내에서 팝업북을 조작하거나, 모바일 기기 화면을 조작하는 데 있어 번잡하다는 문제점이 있다. The AR pop-up book that is currently being released is a form that can be used lying down like the existing pop-up book. For example, the user spreads the page on the pop-up book to become a pop-up, and uses the AR teaching materials by fixing the mobile device to the top of the pop-up book or illuminating the page in a hand-held way. According to the prior art, there is a problem in that it is complicated for a user to turn a page, manipulate a pop-up book within a page, or manipulate a screen of a mobile device.
정보전달과 영상출력이 주 콘텐츠인 증강현실을 제공하기 위한 용도의 팝업북의 경우, 주로 모바일 기기를 팝업북 앞 팝업북상에 고정시키고 사용하게 된다. 이 방식은 고정한 모바일 기기와 눕혀 펼친 팝업북간의 각도 불일치로 인해 팝업북과 모바일 기기를 번갈아 볼 때 사용자가 쉽게 피로해진다는 문제점이 있다. 화면상의 인터랙션이 주 콘텐츠인 팝업북의 경우, 주로 양 손에 모바일 기기를 가로로 들고 사용하게 된다. 이 방식에 따르면 사용자가 팝업북을 조작하거나, 페이지를 넘길 때 잠시 기기를 내려놓거나 한 손만 사용하여 조작해야 한다. 따라서 번잡한 과정으로 몰입감이 감소하고 사용자 피로도가 증가한다는 문제점이 있다. 따라서 상술한 바와 같은 문제점을 고려한 본 발명의 목적은 손쉽게 조작이 가능한 팝업북과, 이를 이용한 증강현실을 제공하기 위한 장치 및 이를 위한 방법을 제공함에 있다. In the case of a pop-up book for the purpose of providing augmented reality whose main content is information delivery and image output, a mobile device is mainly fixed on the pop-up book in front of the pop-up book and used. This method has a problem in that the user is easily fatigued when viewing the pop-up book and the mobile device alternately due to the mismatch of the angle between the fixed mobile device and the unfolded pop-up book. In the case of a pop-up book whose main content is interaction on the screen, it is mainly used by holding the mobile device horizontally in both hands. According to this method, when the user manipulates the pop-up book, turns the page, puts down the device for a while, or uses only one hand to operate it. Therefore, there is a problem in that the immersion feeling is reduced and user fatigue is increased due to the complicated process. Accordingly, an object of the present invention in consideration of the above-described problems is to provide a pop-up book that can be easily manipulated, an apparatus for providing augmented reality using the pop-up book, and a method therefor.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 팝업북은 원판형의 베이스부와, 상기 베이스부 상에 형성되며 각각이 동일한 크기의 사각판형인 복수의 페이지부를 포함하며, 상기 베이스부는 상기 베이스부의 원을 동일한 면적을 가지는 짝수의 부채꼴로 분할하면서 반지름 길이를 가지는 복수의 반지름선이 있을 때, 상기 복수의 반지름선 중 어느 하나의 반지름선을 따라 상기 베이스부를 절개하는 하나의 절개선과 상기 베이스부를 상기 하나의 반지름선 이외의 다른 반지름선을 따라 절첩하는 복수의 절첩선을 포함한다. A pop-up book according to a preferred embodiment of the present invention for achieving the above object includes a disk-shaped base portion and a plurality of page portions formed on the base portion and each having a square plate shape of the same size, the base When there is a plurality of radial lines having a radius length while dividing the circle of the base portion into an even number of sectoral shapes having the same area, one incision line for cutting the base portion along any one of the plurality of radial lines; and a plurality of fold lines for folding the base portion along a radius line other than the one radius line.
특히, 상기 팝업북은 팝업북이 펼쳐진 상태에서, 상기 복수의 페이지부 각각의 밑면이 상기 절개선 및 상기 복수의 절첩선 중 짝수 번째 절접선에 연결되며, 상기 복수의 페이지부 각각의 어느 하나의 옆면이 상기 베이스부의 원의 중심을 수직으로 관통하는 중심축에서 연결되는 것을 특징으로 한다. In particular, in the pop-up book, in a state in which the pop-up book is opened, the bottom of each of the plurality of page parts is connected to the cut line and an even-numbered fold line among the plurality of fold lines, and any one side of each of the plurality of page parts is It is characterized in that it is connected at a central axis penetrating the center of the circle of the base part vertically.
또한, 상기 팝업북은 팝업북이 접혀지는 상태에서, 상기 절개선으로부터 시계 방향으로 홀수 번째 절접선이 산을 형성하고, 상기 절개선으로부터 시계 방향으로 짝수 번째 절접선이 골을 형성하는 것을 특징으로 한다. In addition, the pop-up book is characterized in that, in a state in which the pop-up book is folded, an odd-numbered notch forms a mountain from the incision clockwise, and an even-numbered notch forms a valley from the incision clockwise.
그리고 상기 팝업북은 상기 베이스부의 상기 중심축에서 상기 베이스부의 하방으로 돌출되는 회전심을 더 포함한다. And the pop-up book further includes a rotating core that protrudes downwardly from the central axis of the base part.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른팝업북을 이용한 증강현실을 제공하기 위한 장치는 화면 표시를 위한 표시부와, 영상 촬영을 위한 카메라부와, 상기 카메라부를 통해 상기 팝업북을 촬영한 스트리밍 영상으로부터 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬한 복수의 입력벡터를 포함하는 입력벡터열을 생성하는 데이터처리부와, 인식망을 통해 상기 복수의 입력벡터에 대한 연산을 수행하여 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 팝업북의 페이지의 상태를 인식하는 인식부와, 상기 표시부를 통해 상기 인식부가 인식한 페이지의 상태에 대응하는 증강현실화면을 제공하는 증강부를 포함한다. A device for providing augmented reality using a pop-up book according to a preferred embodiment of the present invention for achieving the above object is a display unit for displaying a screen, a camera unit for taking an image, and the pop-up book through the camera unit. A data processing unit that extracts a predetermined number of frames at the same time interval from the captured streaming image, and generates an input vector sequence including a plurality of input vectors in which the extracted frames are arranged according to the photographed time sequence, and a recognition network a recognition unit for recognizing a page state of a pop-up book that is any one of a page folded state, a page unfolded state, and a page moving state by performing an operation on the plurality of input vectors; and the state of the page recognized by the recognition unit through the display unit Includes an augmentation unit that provides an augmented reality screen corresponding to the.
상기 인식망은 복수의 스테이지에 대응하여 시간 순서로 정렬된 복수의 입력벡터를 상기 복수의 스테이지 별로 입력받는 입력층과, 이전 스테이지의 상태값과 현 스테이지의 입력값인 입력벡터에 대해 가중치가 적용되는 연산을 수행하여 현 스테이지의 상태값을 산출한 후, 산출된 상태값을 다음 스테이지에 전달하는 복수의 은닉셀을 포함하되, 상기 복수의 은닉셀 중 마지막 은닉셀은 현 스테이지의 상태값을 산출한 후, 산출된 현 스테이지의 상태값에 가중치를 적용하여 상기 팝업북의 페이지의 상태를 나타내는 출력벡터를 산출하는 은닉층과, 상기 출력벡터를 출력하는 출력층을 포함한다. In the recognition network, a weight is applied to an input layer that receives a plurality of input vectors arranged in chronological order corresponding to a plurality of stages for each stage, and an input vector that is an input value of a state value of a previous stage and an input value of a current stage. and a plurality of hidden cells for calculating the state value of the current stage by performing an operation to be performed and then transferring the calculated state value to the next stage, wherein the last hidden cell among the plurality of hidden cells calculates the state value of the current stage and a hidden layer that calculates an output vector representing the state of a page of the pop-up book by applying a weight to the calculated state value of the current stage, and an output layer that outputs the output vector.
상기 장치는 복수의 학습용 입력벡터를 포함하는 학습용 입력벡터열과 상기 학습용 입력벡터열에 대응하는 레이블을 포함하는 학습 데이터를 마련하고, 학습이 이루어지지 않은 가중치를 가지는 인식망이 상기 복수의 학습용 입력벡터에 대한 연산을 수행하여 출력벡터를 산출하고, 손실함수를 통해 상기 출력벡터와 상기 학습용 실측벡터와의 차이인 손실을 산출하고, 상기 손실이 최소가 되도록 상기 인식망의 가중치를 수정하는 최적화를 수행하는 학습부를 더 포함한다. The apparatus provides a training input vector sequence including a plurality of training input vectors and training data including a label corresponding to the training input vector sequence, and a recognition network having a weight that has not been trained is applied to the plurality of training input vectors. Calculating an output vector by performing an operation for , calculating a loss that is a difference between the output vector and the actual measurement vector for training through a loss function, and performing optimization to correct the weight of the recognition network so that the loss is minimized It further includes a study section.
여기서, 상기 페이지 접힘 상태는 복수의 페이지부 중 서로 이웃하는 제1 페이지부 및 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부 사이의 베이스부의 절첩선이 접혀진 상태를 의미한다. 또한, 상기 페이지 펼쳐짐 상태는 상기 제1 페이지부 및 상기 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부의 절첩선이 펼쳐진 상태를 의미한다. 그리고 상기 페이지 이동 상태는 상기 페이지 펼쳐짐 상태에서, 상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와, 상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 이웃하는 제3 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 상기 제3 페이지부 사이의 베이스부의 절첩선이 펼쳐진 상태로 변경된 상태를 의미한다. Here, the page folded state means a state in which a first page part and a second page part adjacent to each other exist among the plurality of page parts, and a fold line of the base part between the first page part and the second page part is folded. . In addition, the page unfolded state means a state in which the first page part and the second page part exist, and fold lines of the first page part and the second page part are unfolded. And, the page movement state may indicate that, in the page unfolded state, any one of the first page part and the second page part is adjacent to any one of the first page part and the second page part. a third page part exists, and the fold line of the base part between any one of the first page part and the second page part and the third page part is changed to an unfolded state.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시에에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법은 데이터처리부가 상기 팝업북을 촬영한 스트리밍 영상으로부터 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬한 복수의 입력벡터를 포함하는 입력벡터열을 생성하는 단계와, 인식부가 인식망을 통해 상기 복수의 입력벡터에 대한 연산을 수행하여 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 팝업북의 페이지의 상태를 인식하는 단계와, 증강부가 상기 인식부가 인식한 페이지의 상태에 대응하는 증강현실화면을 제공하는 단계를 포함한다. In a method for providing augmented reality using a pop-up book according to a preferred embodiment of the present invention for achieving the above object, the data processing unit extracts a predetermined number of frames at the same time interval from the streaming image captured by the pop-up book, , generating an input vector sequence including a plurality of input vectors in which the extracted frames are arranged according to the photographing time sequence, and the recognition unit performs an operation on the plurality of input vectors through a recognition network to form a page folded state; Recognizing the state of a page of the pop-up book that is one of a page unfolding state and a page moving state, and providing an augmented reality screen corresponding to the state of the page recognized by the recognition unit by an augmentation unit.
본 발명에 따르면 사용자는 팝업북을 양손을 이용하지 않아도 손쉬운 동작으로 페이지를 이동시킬 수 있다. 이에 따라, 팝업북을 조작하면서도 동시에 증강장치인 모바일 기기 화면을 손쉽게 조작할 수 있다. According to the present invention, the user can move the page of the pop-up book with an easy operation without using both hands. Accordingly, while manipulating the pop-up book, it is possible to easily manipulate the screen of the mobile device, which is an augmentation device, at the same time.
도 1은 본 발명의 실시예에 따른 팝업북의 베이스부의 평면도이다.
도 2는 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 위에서 바라본 평면도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 팝업북의 페이지부의 전면을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 팝업북의 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 팝업북이 접혀지는 상태의 사시도이다.
도 7은 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 측면에서 바라본 측면도이다.
도 8은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치를 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 페이지 인식 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 구성을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 세부 구성을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 구성을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 단위 동작을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 학습을 통해 인식망을 생성하는 방법을 설명하기 위한 흐름도이다.
도 15는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다.
도 16은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 화면 예이다.
도 17 내지 도 19는 본 발명의 다른 실시예에 따른 팝업북의 형태를 도시한 도면이다. 1 is a plan view of a base portion of a pop-up book according to an embodiment of the present invention.
2 is a plan view of an unfolded pop-up book according to an embodiment of the present invention as viewed from above.
3 and 4 are views showing the front of the page portion of the pop-up book according to an embodiment of the present invention.
5 is a diagram for explaining the operation of a pop-up book according to an embodiment of the present invention.
6 is a perspective view of a state in which a pop-up book according to an embodiment of the present invention is folded.
7 is a side view of an unfolded pop-up book according to an embodiment of the present invention as viewed from the side.
8 is a diagram for explaining an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
9 is a diagram for explaining a page recognition method of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
10 is a diagram for explaining the configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
11 is a diagram for explaining a detailed configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention.
12 is a diagram for explaining the configuration of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention.
13 is a diagram for explaining a unit operation of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention.
14 is a flowchart illustrating a method of generating a recognition network through learning according to an embodiment of the present invention.
15 is a flowchart illustrating a method for providing augmented reality using a pop-up book according to an embodiment of the present invention.
16 is a screen example for explaining a method for providing augmented reality using a pop-up book according to an embodiment of the present invention.
17 to 19 are diagrams illustrating the form of a pop-up book according to another embodiment of the present invention.
본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors should develop their own inventions in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term for explanation. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical ideas of the present invention, so various equivalents that can replace them at the time of the present application It should be understood that there may be water and variations.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In this case, it should be noted that the same components in the accompanying drawings are denoted by the same reference numerals as much as possible. In addition, detailed descriptions of well-known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some components are exaggerated, omitted, or schematically illustrated in the accompanying drawings, and the size of each component does not fully reflect the actual size.
먼저, 본 발명의 실시예에 따른 팝업북에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 팝업북의 베이스부의 평면도이다. 도 2는 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 위에서 바라본 평면도이다. 도 3 및 도 4는 본 발명의 실시예에 따른 팝업북의 페이지부의 전면을 도시한 도면이다. 도 5는 본 발명의 실시예에 따른 팝업북의 동작을 설명하기 위한 도면이다. 도 6은 본 발명의 실시예에 따른 팝업북이 접혀지는 상태의 사시도이다. 도 7은 본 발명의 실시예에 따른 팝업북이 펼쳐진 상태를 측면에서 바라본 측면도이다. First, a pop-up book according to an embodiment of the present invention will be described. 1 is a plan view of a base portion of a pop-up book according to an embodiment of the present invention. 2 is a plan view of an unfolded pop-up book according to an embodiment of the present invention as viewed from above. 3 and 4 are views showing the front of the page portion of the pop-up book according to an embodiment of the present invention. 5 is a diagram for explaining the operation of a pop-up book according to an embodiment of the present invention. 6 is a perspective view of a state in which a pop-up book according to an embodiment of the present invention is folded. 7 is a side view of an unfolded pop-up book according to an embodiment of the present invention as viewed from the side.
도 1 내지 도 7을 참조하면, 본 발명의 실시예에 따른 팝업북(100)은 베이스부(110) 및 복수의 페이지부(120)를 포함한다. 1 to 7 , the pop-up
베이스부(110)는 원판형으로 형성되며, 지면에 수평으로 배치된다. 복수의 페이지부(120)는 각각이 동일한 크기의 사각판형으로 형성되며, 베이스부(110)의 상면에 기립되어 배치된다. The
도 1을 참조하면, 베이스부(110)의 원을 동일한 면적을 가지는 짝수의 부채꼴로 분할하면서, 반지름 길이를 가지는 가상의 선인 복수의 반지름선을 가정한다. 베이스부(110)는 복수의 반지름선 중 어느 하나의 반지름선을 따라 베이스부(110)를 절개하는 하나의 절개선(c)과 베이스부(110)를 상기한 어느 하나의 반지름선 이외의 다른 반지름선을 따라 절첩하는 하나 이상의 절첩선(f)을 가진다. 일례로, 도 1에 도시된 바와 같이, 베이스부(110)의 원을 동일한 면적의 8개의 부채꼴로 분할하는 반지름선을 가정한다. 이러한 경우, 절개선(c)과 7개의 절첩선(f: f1, f2, f3, f4, f5, f6, f7)이 형성될 수 있다. Referring to FIG. 1 , it is assumed that the circle of the
도 1 및 도 2를 참조하면, 팝업북(100)이 펼쳐진 상태에서, 복수의 페이지부(120) 각각의 밑면이 베이스부(110)의 절개선(c) 및 짝수 번째 절접선(f), 예컨대, 제2, 제4, 제6 절첩선(f2, f4, f6)에 연결된다. 또한, 복수의 페이지부(120) 각각의 어느 하나의 옆면이 베이스부(110)의 원의 중심을 수직으로 관통하는 중심축(x)에서 연결된다. 이때, 연결되는 복수의 페이지부(120)는 중심축(x)을 회전축으로 회전 자유롭게 연결된다. 이에 따라, 복수의 페이지부(120) 각각의 다른 하나의 옆면은 베이스부(110)의 원의 원주를 따라 동일한 각도만큼 이격되어 배치된다. 1 and 2 , in a state in which the pop-up
특히, 베이스부(110)의 절개선(c)을 따라 2개로 분리되는 부분 각각에 서로 다른 2개의 페이지부(120)의 밑면이 연결된다. 이때, 절개선(c)에 밑면이 연결되는 2개의 페이지부(120)를 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)라고 칭하기로 한다. 팝업북(100)이 펼쳐질 때, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)가 밀착되어 연결된다. In particular, the bottom surfaces of the two
도 3 및 도 4를 참조하면, 제1 연결 페이지부(120f)에는 끼움부(IS)가 형성되며, 제2 연결 페이지부(120m)에는 체결부(CO)가 형성된다. 도 3에 도시된 바와 같이, 끼움부(IS)는 제1 연결 페이지부(120f)의 어느 일 부위에 사다리꼴의 밑변(S1, 마주보며 서로 평행한 두 변 중 길이가 상대적으로 긴 변)과 평행하지 않은 2개의 변(S2, S3)을 포함하는 3개의 변이 절개되고 윗변(S4, 마주보며 서로 평행한 두 변 중 상대적으로 길이가 짧은 변)이 접혀져 형성된다. 이에 대응하여 도 4에 도시된 바와 같이, 체결부(CO)는 끼움부(IS)에 대향하여 끼움부(IS)의 접혀지는 변(S4)에 대응하는 제2 연결 페이지부(120m)의 부분(C1)이 절개되어 형성된다. 이에 따라, 도 5의 (A)에 도시된 바와 같이, 팝업북(100)이 펼쳐진 상태에서 제1 연결 페이지부(120f)의 끼움부(IS)가 제2 연결 페이지부(120m)의 체결부(CO)에 삽입됨으로써, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)가 밀착되어 연결된다. 3 and 4 , the fitting part IS is formed in the first
도 1, 도 5 및 도 6을 참조하면, 팝업북(100)이 접혀지는 상태에서, 도 5의 (B) 및 도 6에 도시된 바와 같이, 제1 연결 페이지부(120f)의 끼움부(IS)가 제2 연결 페이지부(120m)의 체결부(CO)로부터 추출되고, 베이스부(110)는 절개선(c)을 따라 분리되며, 절개선(c)으로부터 시계 방향으로 홀수 번째 절접선(f)이 산을 형성하고, 절개선(c)으로부터 시계 방향으로 짝수 번째 절접선(f)이 골을 형성한다. 예컨대, 도 1과 같은 반지름선을 가정하면, 베이스부(110)는 절개선(c)을 따라 분리되면서, 제1, 제3, 제5, 제7 절첩선(f1, f3, f5, f7)이 산을 형성하고, 제2, 제4, 제6 절첩선(f2, f4, f6)이 골을 형성하도록 접혀진다. 전술한 바와 같이, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)를 포함하는 복수의 페이지부(120)는 중심축(x)을 회전축으로 회전 자유롭게 연결되기 때문에, 절개선(c)이 절개되어 2개로 분리되는 부분 각각에 페이지부(120), 즉, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)의 밑면이 연결되지만, 제1 연결 페이지부(120f) 및 제2 연결 페이지부(120m)는 상호 이격된다. 게다가, 팝업북(100)이 접혀지는 상태에서도, 복수의 페이지부(120) 각각의 어느 하나의 옆면이 베이스부(110)의 원의 중심을 수직으로 관통하는 중심축(x)을 회전축으로 회전 자유롭게 연결되기 때문에, 여전히, 절개선(c)으로부터 시계 방향으로 짝수 번째 절접선(f), 예컨대, 제2, 제4, 제6 절첩선(f2, f4, f6)에 페이지부(120)의 밑면이 연결된다. 1, 5 and 6 , in a state in which the pop-up
한편, 본 발명의 추가적인 실시예에 따르면, 도 7에 도시된 바와 같이, 베이스부(110)의 하면에 중심축(x)에서 아래로 돌출되는 회전심(130)이 형성될 수 있다. 회전심(130)은 반구형이 될 수 있다. 이러한 회전심(130)에 따라 외력에 의해 팝업북(100)이 중심축(x)을 회전축으로 하는 회전(R)이 용이하게 이루어질 수 있다. Meanwhile, according to an additional embodiment of the present invention, as shown in FIG. 7 , a
다음으로, 본 발명의 실시예에 따른 팝업북(100)을 이용한 증강현실을 제공하기 위한 장치에 대해서 설명하기로 한다. 도 8은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치를 설명하기 위한 도면이다. 도 9는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 페이지 인식 방법을 설명하기 위한 도면이다. Next, an apparatus for providing augmented reality using the pop-up
도 8을 참조하면, 본 발명의 실시예에 따른 팝업북(100)을 이용한 증강현실을 제공하기 위한 장치(200, 이하, '증강장치'로 칭함)는 스마트폰, 테블릿, 패블릿 등을 대표적으로 예시할 수 있다. 증강장치(200)는 팝업북(100)을 촬영하고, 촬영된 영상에서 팝업북(100)의 페이지가 펼쳐진 상태인지 여부 및 페이지 이동 여부를 인식하고, 인식된 바에 따라 해당하는 페이지에 대응하는 증강현실을 제공한다. Referring to FIG. 8 , a device (hereinafter, referred to as an 'augmented device') for providing augmented reality using a pop-up
예컨대, 도 9의 (A)에 도시된 바와 같이, 서로 이웃하는 2개의 페이지부(120)를 제1 및 제2 페이지부(121, 122)라고 할 때, 증강장치(200)는 촬영된 영상에서 서로 이웃하는 제1 및 제2 페이지부(121, 122)와, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)를 하나의 페이지로 인식한다. 앞서, 도 1 내지 도 6을 참조로 하는 설명에서 알 수 있는 바와 같이, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)는 부채꼴이며, 이 부채꼴의 중심각을 이등분하는 절첩선(f)이 존재한다. 증강장치(200)는 촬영된 영상 내에서 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태를 인식하면, 팝업북(100)의 해당 페이지가 펼쳐진 상태로 인식할 수 있다. For example, as shown in FIG. 9A , when two
또한, 팝업북(100)은 펼쳐진 상태에서, 외력, 즉, 사용자의 손, 손가락 등을 통한 외력, 예컨대, 스위핑 동작(SW)에 의해 중심축(x)을 회전축으로 회전(R)할 수 있다. 증강장치(200)는 촬영된 영상에서 도 9의 (A)에 도시된 바와 같이, 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태로부터 도 9의 (B)에 도시된 바와 같이, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122, 이 예에서는 123)와, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122)와 이웃하는 제3 페이지부(123)가 존재하며, 그 어느 하나의 페이지부(121/122, 이 예에서는 123)와 제3 페이지부(123) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태로 변경된 것을 인식하여 페이지가 이동했음을 인식한다. Also, in the unfolded state, the pop-up
다음으로, 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 세부 구성을 설명하기로 한다. 도 10은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 구성을 설명하기 위한 도면이다. 도 11은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 장치의 세부 구성을 설명하기 위한 도면이다. 도 12는 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 구성을 설명하기 위한 도면이다. 도 13은 본 발명의 실시예에 따른 팝업북의 상태를 인식하기 위한 인식망의 단위 동작을 설명하기 위한 도면이다. Next, a detailed configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention will be described. 10 is a diagram for explaining the configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention. 11 is a diagram for explaining a detailed configuration of an apparatus for providing augmented reality using a pop-up book according to an embodiment of the present invention. 12 is a diagram for explaining the configuration of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention. 13 is a diagram for explaining a unit operation of a recognition network for recognizing the state of a pop-up book according to an embodiment of the present invention.
도 10을 참조하면, 증강장치(200)는 카메라부(11), 입력부(12), 표시부(13), 저장부(14) 및 제어부(15)를 포함한다. Referring to FIG. 10 , the
카메라부(11)는 영상을 촬영하기 위한 것이다. 여기서, 영상은 스트리밍 영상이 될 수 있다. 카메라부(12)는 복수의 렌즈 및 복수의 이미지 센서를 포함할 수 있다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(11)는 하나 이상의 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 전기신호를 디지털 수열로 변환하여 제어부(15)로 출력할 수 있다. The
입력부(12)는 증강장치(200)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(15)에 전달할 수 있다. 입력부(12)는 증강장치(200)를 제어하기 위한 각 종 키들을 포함한다. 입력부(12)는 표시부(13)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(13)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(12)는 생략될 수도 있다. The
표시부(13)는 화면 표시를 위한 것으로, 증강장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 표시부(13)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(13)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(13)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 터치된 위치를 나타내는 입력 좌표를 포함하는 감지 신호를 발생시켜 제어부(15)로 전송할 수 있다. The
저장부(14)는 증강장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 저장부(14)는 카메라부(11)가 촬영한 영상 등을 기 설정된 기간 저장하고, 용량이 충분하지 않은 경우 가장 오래된 영상부터 순차로 삭제할 수 있다. 저장부(14)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The
제어부(15)는 증강장치(200)의 전반적인 동작 및 증강장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 또한, 제어부(15)는 기본적으로, 증강장치(200)의 각 종 기능을 제어하는 역할을 수행한다. 제어부(15)는 CPU(central processing unit), GPU(Graphic Processing Unit), DSP(Digital Signal Processor) 등이 될 수 있다. 도 11을 참조하면, 제어모듈(13)은 학습부(210), 데이터처리부(220), 인식부(230) 및 증강부(240)를 포함한다. The
학습부(210)는 학습 데이터를 이용하여 학습을 통해 인식망(RN)을 생성하기 위한 것이다. 본 발명의 실시예에 따른 인식망(RN)은 심층신경망(DNN: Deep Neural Network)이며, 순환신경망으로 형성될 수 있다. 예컨대, 인식망(RN은 RNN(Recurrent Neural Network), LTSM(Long Short-Term Memory Models), GRU(Gated Recurrent Unit) 등을 예시할 수 있다. 본 발명의 실시예에서 인식망(RN)은 RNN(Recurrent Neural Network)으로 형성되는 것으로 설명되지만, 이에 한정되는 것은 아니며, LTSM(Long Short-Term Memory Models), GRU(Gated Recurrent Unit) 등을 비롯한 다른 순환신경망으로 형성될 수도 있다. The
데이터처리부(220)는 도 12를 참조하면, 복수의 입력벡터(X1 내지 Xn)를 생성하기 위한 것이다. 데이터처리부(220)는 카메라부(11)를 통해 촬영되는 스트리밍 영상이 입력되면, 입력되는 스트리밍 영상에서 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬하여 복수의 입력벡터(X1 내지 Xn)를 생성한다. Referring to FIG. 12 , the
예컨대, 인식망(RN)이 300개의 스테이지(S300, n=300)로 이루진 것으로 가정한다. 그러면, 데이터처리부(220)는 스트리밍 영상에서 동일한 간격으로 300개의 프레임을 추출한다. 데이터처리부(220)는 추출된 복수의 프레임을 이용하여 복수의 입력벡터를 생성하고, 생성된 복수의 입력벡터(X1 내지 Xn)를 영상이 촬영된 시간의 순서에 따라 정렬하여 복수의 입력벡터(X1 내지 Xn)를 포함하는 입력벡터열(Xt: X1 내지 Xn)을 생성한다. 그리고 데이터처리부(220)는 생성된 입력벡터열(Xt: X1 내지 Xn)을 인식부(230)에 제공한다. For example, it is assumed that the recognition network RN consists of 300 stages (S300, n=300). Then, the
인식부(230)는 인식망(RN)을 이용하여 페이지의 상태를 인식한다. 여기서, 페이지 상태는 페이지 접힘, 페이지 펼쳐짐 및 페이지 이동을 포함한다. 인식부(230)는 인식망(RN)에 복수의 입력벡터(X1 내지 Xn)를 포함하는 입력벡터열(Xt: X1 내지 Xn)에 입력하고, 인식망(RN)은 입력벡터열(Xt: X1 내지 Xn)에 대해 복수의 스테이지(S1 내지 Sn)의 순서대로 가중치가 적용되는 하나 이상의 연산을 수행하여 페이지 상태를 나타내는 출력벡터(Y)를 산출한다. The
인식망(RN)은 복수의 스테이지(S1 내지 Sn)로 이루어지며, 각 스테이지는 입력층(IL: Input Layer), 은닉층(HL: Hidden Layer) 및 출력층(OL: Output Layer)을 포함한다. 스테이지(S1 내지 Sn)의 길이(n)는 미리 설정된다. The recognition network RN consists of a plurality of stages S1 to Sn, and each stage includes an input layer (IL), a hidden layer (HL), and an output layer (OL). The length n of the stages S1 to Sn is preset.
입력층(IL)은 복수의 입력벡터(X1 내지 Xn) 각각에 대응하는 복수의 입력버퍼를 포함하며, 복수의 입력벡터(X1 내지 Xn)를 은닉층(HL)에 입력한다. 즉, 입력층(IL)에는 시간 순서로 정렬된 복수의 입력벡터(X1 내지 Xn)가 입력된다. The input layer IL includes a plurality of input buffers corresponding to each of the plurality of input vectors X1 to Xn, and inputs the plurality of input vectors X1 to Xn to the hidden layer HL. That is, a plurality of input vectors X1 to Xn arranged in time order are input to the input layer IL.
은닉층(HL)은 스테이지의 개수(n)의 배수에 해당하는 복수의 은닉셀(HC)을 포함한다. 즉, 은닉층(HL)은 1개의 층으로 도시되었지만, 2 이상의 층으로 형성될 수 있다. 복수의 은닉셀(HC)은 복수의 입력벡터(X1 내지 Xn)에 대해 가중치가 적용되는 하나 이상의 연산을 순환 방식으로 수행하여 출력벡터(Y)를 산출한다. The hidden layer HL includes a plurality of hidden cells HC corresponding to a multiple of the number n of the stages. That is, although the hidden layer HL is illustrated as one layer, it may be formed of two or more layers. The plurality of hidden cells HC calculates the output vector Y by performing one or more operations in which weights are applied to the plurality of input vectors X1 to Xn in a cyclic manner.
출력층(OL)은 마지막 스테이지(Sn)의 은닉셀(HCn)에 의해 산출된 출력벡터(Y)를 출력한다. 출력벡터(Y)는 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 페이지의 상태를 나타낸다. The output layer OL outputs the output vector Y calculated by the hidden cell HCn of the last stage Sn. The output vector Y represents a page state that is any one of a page folded state, a page unfolded state, and a page moved state.
한편, 도 12를 참조하면, 은닉셀(HC)은 가중치(Weight, Wx, Wh, Wy)가 적용되는 하나 이상의 연산으로 이루어진다. 여기서, 연산은 활성화함수(Activation Function)를 적용한 연산을 의미한다. 활성화함수는 시그모이드(Sigmoid), 하이퍼볼릭탄젠트(tanh: Hyperbolic tangent), ELU(Exponential Linear Unit), ReLU(Rectified Linear Unit), Leakly ReLU, Maxout, Minout, Softmax 등을 예시할 수 있다. 또한, 하나의 은닉셀(HC)에서 가중치는 입력값인 입력벡터(Xt)에 적용되는 입력 가중치 Wx, 이전 스테이지의 상태값 Ht-1에 대해 적용되는 상태 가중치 Wh 및 출력값 Yt에 대해 적용되는 출력 가중치 Wy를 포함한다. 예컨대, 은닉셀(HC)에 적용되는 가중치가 적용되는 연산은 다음의 수학식 1을 예시할 수 있다. Meanwhile, referring to FIG. 12 , the hidden cell HC consists of one or more operations to which weights (Weight, Wx, Wh, Wy) are applied. Here, the operation means an operation to which an activation function is applied. The activation function may be exemplified by Sigmoid, Hyperbolic tangent (tanh), Exponential Linear Unit (ELU), Rectified Linear Unit (ReLU), Leakly ReLU, Maxout, Minout, Softmax, and the like. In addition, in one hidden cell HC, the weight is the input weight Wx applied to the input vector Xt, which is the input value, the state weight Wh applied to the state value Ht-1 of the previous stage, and the output applied to the output value Yt. Includes weight Wy. For example, an operation to which a weight applied to the hidden cell HC is applied may be exemplified by
여기서, b는 임계치 혹은 바이어스이다. 특히, tanh 함수, ReLU 함수는 다른 활성화함수로 변경될 수 있다. 수학식 1과 도 12를 참조하면, 복수의 은닉셀(HCt) 각각은 이전 스테이지(St-1)의 은닉셀(HCt-1)이 연산한 이전 스테이지(St-1)의 상태값(Ht-1)과 자신의 스테이지(St)의 입력값(Xt)에 대해 가중치(W: Wh, Wx, Wy)가 적용되는 연산을 수행하여 현 스테이지(St)의 상태값(Ht) 및 출력값(Yt)을 산출할 수 있다. Here, b is a threshold or bias. In particular, the tanh function and the ReLU function can be changed to other activation functions. Referring to
인식망(RN)의 입력층(IL)이 시간 순서에 따라 정렬된 복수의 입력벡터(X1 내지 Xn) 각각을 은닉층(HL)의 대응하는 은닉셀, 즉, 제1 내지 제n 은닉셀(HC1 내지 HCn)에 입력한다. 그러면, 은닉층(HL)의 제1 내지 제n 은닉셀(HC1 내지 HCn) 각각은 이전 스테이지(St-1)의 은닉셀(HCt-1)이 연산한 이전 스테이지(St-1)의 상태값(Ht-1)과 자신(HCt)의 스테이지(St)의 입력값(Xt)에 대해 가중치(상태 가중치 및 입력 가중치)가 적용되는 연산을 수행하여 현 스테이지(St)의 상태값(Ht)을 산출한 후, 산출된 상태값(Ht)을 다음 스테이지(St+1)의 은닉셀(HCt+1)로 전달한다. 예컨대, 제1 은닉셀(HC1)은 초기 상태값(H0)에 상태 가중치(Wh)를 적용하고, 제1 입력벡터(X1)에 입력 가중치(Wx)를 적용하여 제1 스테이지(S1)의 상태값(H1)을 산출한다. 제1 은닉셀(HC1)의 경우, 이전 스테이지가 없기 때문에 초기 상태값(H0)을 이용한다. 이어서, 제2 은닉셀(HC2)은 이전 스테이지인 제1 스테이지(S1)의 상태값(H1)에 상태 가중치(Wh)를 적용하고, 제2 입력벡터(X2)에 입력 가중치(Wx)를 적용하여 제2 스테이지(S2)의 상태값(H2)을 산출한다. 그리고 제3 은닉셀(HC3)은 이전 스테이지인 제2 스테이지(S2)의 상태값(H2)에 상태 가중치(Wh)를 적용하고, 제3 입력벡터(X3)에 입력 가중치(Wx)를 적용하여 제3 스테이지(S3)의 상태값(H3)을 산출하는 식이다. 이와 같이, 복수의 은닉셀(HCt)은 이전 스테이지의 상태값(Ht-1)과 현 스테이지의 입력값인 입력벡터(Xt)에 대해 상태 및 입력 가중치(Wh, Wx)가 적용되는 연산을 수행하여 현 스테이지의 상태값(Ht)을 산출하고, 산출된 상태값(Ht)을 다음 스테이지(St+1)로 전달한다. The input layer IL of the recognition network RN assigns each of the plurality of input vectors X1 to Xn arranged in time sequence to the corresponding hidden cell of the hidden layer HL, that is, the first to nth hidden cell HC1. to HCn). Then, each of the first to nth hidden cells HC1 to HCn of the hidden layer HL is the state value ( Ht-1) and an operation in which weights (state weight and input weight) are applied to the input value Xt of the stage St of the self (HCt) are performed to calculate the state value Ht of the current stage St After that, the calculated state value Ht is transferred to the hidden cell HCt+1 of the next stage St+1. For example, the first hidden cell HC1 applies the state weight Wh to the initial state value H0, and applies the input weight Wx to the first input vector X1 to obtain the state of the first stage S1. Calculate the value H1. In the case of the first hidden cell HC1, since there is no previous stage, the initial state value H0 is used. Next, the second hidden cell HC2 applies the state weight Wh to the state value H1 of the first stage S1, which is the previous stage, and applies the input weight Wx to the second input vector X2. Thus, the state value H2 of the second stage S2 is calculated. And the third hidden cell HC3 applies the state weight Wh to the state value H2 of the second stage S2, which is the previous stage, and applies the input weight Wx to the third input vector X3. This is the formula for calculating the state value H3 of the third stage S3. In this way, the plurality of hidden cells HCt perform an operation in which the state and input weights Wh and Wx are applied to the state value Ht-1 of the previous stage and the input vector Xt that is the input value of the current stage. Thus, the state value Ht of the current stage is calculated, and the calculated state value Ht is transferred to the next stage St+1.
이와 같은 연산의 수행 중 마지막 은닉셀인 제n 은닉셀(HCn)은 이전 스테이지인 제n-1 스테이지(Sn-1)의 상태값(Hn-1)에 상태 가중치(Wh)가 적용되고, 현 스테이지(Sn)의 입력값인 입력벡터(Xn)에 대해 입력 가중치(Wx)가 적용되는 연산을 수행하여 현 스테이지인 제n 스테이지(Sn)의 상태값(Hn)을 산출한다. 그런 다음, 제n 은닉셀(HCn)은 현 스테이지인 제n 스테이지(Sn)의 상태값(Hn)에 출력 가중치(Wy)를 적용하는 연산을 수행하여 출력벡터(Y)를 산출한다. The state weight Wh is applied to the state value Hn-1 of the n-1 th stage Sn-1, which is the previous stage, for the n-th hidden cell HCn, which is the last hidden cell during such operation, and the current An operation in which an input weight Wx is applied to an input vector Xn that is an input value of the stage Sn is performed to calculate a state value Hn of an n-th stage Sn that is the current stage. Then, the n-th hidden cell HCn calculates the output vector Y by performing an operation of applying the output weight Wy to the state value Hn of the n-th stage Sn, which is the current stage.
이와 같이, 본 발명의 실시예에 따른 인식망(RN)에서 입력층(IL)은 복수의 스테이지(S1 내지 Sn) 각각에 대응하여 시간 순서로 정렬된 복수의 입력벡터(X1 내지 Xn)를 복수의 스테이지(S1 내지 Sn) 별로 입력받는다. 그러면, 은닉층(HL)의 마지막 은닉셀(HCn)을 제외한 복수의 은닉셀(HC1 내지 HCn-1)은 이전 스테이지(St-1)의 상태값(Ht-1)과 현 스테이지(St)의 입력값인 입력벡터(Xt)에 대해 상태 및 입력 가중치(Wx, Wh)가 적용되는 연산을 수행하여 현 스테이지의 상태값(Ht)을 산출한 후, 산출된 상태값을 다음 스테이지(St+1)에 전달한다. 그러면, 마지막 은닉셀(HCn)은 이전 스테이지(Sn-1)의 상태값(Hn-1)과 현 스테이지(Sn)의 입력값인 제n 입력벡터(Xn)에 대해 상태 및 입력 가중치(Wx, Wh)가 적용되는 연산을 수행하여 현 스테이지(Sn)의 상태값(Hn)을 산출한 후, 산출된 현 스테이지의 상태값(Hn)에 출력 가중치(Wy)를 적용하여 출력벡터(Y)를 산출한다. 출력벡터(Y)는 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 페이지의 상태를 나타내며, 인식망(RN)이 출력벡터(Y)를 산출하면, 인식부(230)는 출력벡터(Y)에 따라 페이지 접힘, 페이지 펼쳐짐 및 페이지 이동 중 어느 하나인 페이지의 상태를 증강부(240)에 제공한다. In this way, in the recognition network RN according to the embodiment of the present invention, the input layer IL includes a plurality of input vectors X1 to Xn arranged in time order corresponding to each of the plurality of stages S1 to Sn. The input is received for each stage (S1 to Sn) of Then, the plurality of hidden cells HC1 to HCn-1 except for the last hidden cell HCn of the hidden layer HL are input to the state value Ht-1 of the previous stage St-1 and the current stage St. After calculating the state value (Ht) of the current stage by performing an operation in which the state and input weights (Wx, Wh) are applied to the input vector (Xt), which is a value, the calculated state value is applied to the next stage (St+1) forward to Then, the last hidden cell HCn has the state and input weights Wx, Wh) is applied to calculate the state value (Hn) of the current stage (Sn), and then apply the output weight (Wy) to the calculated state value (Hn) of the current stage to obtain the output vector (Y) Calculate. The output vector Y indicates a page state that is any one of a page folded state, a page unfolded state, and a page moved state. According to (Y), a page state that is any one of page folding, page unfolding, and page movement is provided to the
증강부(240)는 페이지의 상태에 따라 표시부(13)를 통해 대응하는 증강현실화면을 표시하도록 제어한다. 즉, 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 각각에 대응하는 증강현실화면이 존재하며, 증강부(240)는 이러한 상태에 대응하는 증강현실화면을 제공한다. The
다음으로, 본 발명의 실시예에 따른 학습(deep learning)을 통해 인식망(RN)을 생성하는 방법에 대해서 설명하기로 한다. 도 14는 본 발명의 실시예에 따른 학습(deep learning)을 통해 인식망(RN)을 생성하는 방법을 설명하기 위한 흐름도이다. Next, a method for generating a recognition network (RN) through deep learning according to an embodiment of the present invention will be described. 14 is a flowchart illustrating a method of generating a recognition network (RN) through deep learning according to an embodiment of the present invention.
도 14를 참조하면, 학습부(210)는 S110 단계에서 인식망(RN)을 초기화한다. 이는 인식망(RN)의 가중치, 즉, 입력 가중치 Wx, 상태 가중치 Wh 및 출력 가중치 Wy를 초기화하는 것을 의미한다. Referring to FIG. 14 , the
그런 다음, 학습부(210)는 S120 단계에서 학습 데이터를 마련한다. 학습 데이터는 복수의 학습용 입력벡터(X1 내지 Xn)를 포함하는 학습용 입력벡터열(Xt: X1 내지 Xn) 및 학습용 입력벡터열(Xt: X1 내지 Xn)에 대응하는 레이블을 포함한다. 여기서, 레이블은 페이지의 상태를 나타낸다. 이러한 학습 데이터는 페이지의 상태를 알고 있는 촬영된 스트리밍 영상으로부터 추출된 복수의 프레임을 이용하여 생성된다. Then, the
이어서, 학습부(210)는 S130 단계에서 초기화된, 즉, 학습이 이루어지지 않은 가중치를 포함하는 인식망(RN)에 복수의 학습용 입력벡터를 입력한다. 그러면, 인식망(RN)은 S140 단계에서 복수의 학습용 입력벡터에 대한 연산을 수행하여 출력벡터(Y)를 산출한다. 이때, 인식망(RN)은 학습용 입력벡터열(Xt: X1 내지 Xn)에 대해 복수의 스테이지(S1 내지 Sn)의 순서대로 가중치가 적용되는 하나 이상의 연산을 수행하여 출력벡터(Y)를 산출한다. Next, the
그러면, 학습부(210)는 S150 단계에서 손실함수를 통해 복수의 학습용 입력벡터를 포함하는 학습용 입력벡터열(Xt: X1 내지 Xn)에 대응하는 출력벡터와, 복수의 학습용 입력벡터에 대응하는 레이블, 즉, 알려진 페이지의 상태와의 차이인 손실을 산출하고, 손실이 최소가 되도록 상기 인식망(RN)의 기중치를 수정하는 최적화를 수행한다. Then, the
학습부(210)는 전술한 S120 단계 내지 S150 단계를 손실이 소정의 목표치 미만이 될 때까지 서로 다른 학습 데이터를 이용하여 반복함으로써 인식망(RN)을 생성할 수 있다. The
전술한 바와 같은 절차에 따라 복수의 인식망(RN)이 생성되면, 증강장치(200)는 학습된 인식망(RN)을 이용하여 팝업북(100)의 페이지의 상태를 인식하고, 인식된 팝업북(100)의 페이지의 상태에 따라 증강현실화면을 제공한다. 그러면, 이러한 방법에 대해서 설명하기로 한다. 도 15는 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 흐름도이다. 도 16은 본 발명의 실시예에 따른 팝업북을 이용한 증강현실을 제공하기 위한 방법을 설명하기 위한 화면 예이다. When a plurality of recognition networks (RN) are generated according to the procedure as described above, the
도 15를 참조하면, 데이터처리부(220)는 S210 단계에서 카메라부(11)를 통해 팝업북(100)을 촬영한 스트리밍 영상을 입력받고, S220 단계에서 입력되는 스트리밍 영상에서 동일한 시간 간격으로 소정 수(n)의 프레임을 추출하고, 추출된 프레임이 촬영된 시간 순서에 따라 정렬된 복수의 입력벡터(X1 내지 Xn)를 생성한다. Referring to FIG. 15 , the
다음으로, 인식부(230)는 S230 단계에서 복수의 입력벡터(X1 내지 Xn)를 포함하는 입력벡터열(Xt: X1 내지 Xn)을 인식망(RN)에 입력한다. 즉, 시간 순서에 따라 정렬된 복수의 입력벡터(X1 내지 Xn)를 인식망(RN)의 대응하는 스테이지에 입력한다. Next, the
그러면, 인식망(RN)은 S240 단계에서 입력벡터열(Xt: X1 내지 Xn), 즉, 복수의 입력벡터(X1 내지 Xn)에 대해 복수의 스테이지(S1 내지 Sn)의 순서대로 가중치가 적용되는 하나 이상의 연산을 수행하여 팝업북(100)의 페이지의 상태를 나타내는 출력벡터(Y)를 산출한다. Then, in step S240, the recognition network (RN) applies weights in the order of the plurality of stages (S1 to Sn) to the input vector sequence (Xt: X1 to Xn), that is, the plurality of input vectors (X1 to Xn). One or more operations are performed to calculate an output vector Y indicating the state of a page of the pop-up
도 9의 (A)를 참조하면, 입력벡터열의 복수의 입력벡터(X1 내지 Xn)에 포함된 복수의 프레임이 나타내는 영상이 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐지지 않은 상태(접혀진 상태)를 유지하는 경우, 인식망(RN)은 페이지 접힘 상태를 나타내는 출력벡터(Y)를 산출할 수 있다. 또한, 입력벡터열의 복수의 입력벡터(X1 내지 Xn)에 포함된 복수의 프레임이 나타내는 영상이 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며, 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태를 유지하는 경우, 인식망(RN)은 페이지 펼쳐짐 상태를 나타내는 출력벡터(Y)를 산출할 수 있다. 또한, 입력벡터열의 복수의 입력벡터(X1 내지 Xn)에 포함된 복수의 프레임이 나타내는 영상이 서로 이웃하는 제1 및 제2 페이지부(121, 122)가 존재하며 서로 이웃하는 제1 및 제2 페이지부(121, 122) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태인 페이지 펼쳐짐 상태에서, 도 9의 (B)에 도시된 바와 같이, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122, 이 예에서는 123)와, 제1 페이지부(121) 및 제2 페이지부(122) 중 어느 하나의 페이지부(121/122)와 이웃하는 제3 페이지부(123)가 존재하며, 그 어느 하나의 페이지부(121/122, 이 예에서는 123)와 제3 페이지부(123) 사이의 베이스부(110)의 절첩선(f)이 펼쳐진 상태로 변경된 경우, 인식망(RN)은 페이지 이동 상태를 나타내는 출력벡터(Y)를 산출할 수 있다. Referring to FIG. 9A , there are first and
이러한 S240 단계에 대해 도 14 및 도 15를 참조하여 보다 구체적으로 설명하면 다음과 같다. 인식망(RN)의 입력층(IL)은 인식망(RN)의 복수의 스테이지(S1 내지 Sn)에 대응하여 시간 순서로 정렬된 복수의 입력벡터(X1 내지 Xn)를 복수의 스테이지(S1 내지 Sn) 별로 입력받는다. 그런 다음, 인식망(RN의 은닉층(HL)의 복수의 은닉셀(HC1 내지 HCn) 각각은 이전 스테이지(St-1)의 상태값(Ht-1)과 현 스테이지(St)의 입력값인 입력벡터(Xt)에 대해 가중치(상태 가중치 및 입력 가중치)가 적용되는 연산을 수행하여 현 스테이지(St)의 상태값(Ht)을 산출한 후, 산출된 상태값(Ht)을 다음 스테이지에 전달한다. 이때, 복수의 은닉셀(HC1 내지 HCn) 중 마지막 은닉셀(HCn)은 산출된 현 스테이지의 상태값(Hn)에 가중치(출력 가중치)를 적용하여 출력벡터(Y)를 산출한다. 이에 따라, 인식부(230)는 인식망(RN)이 산출한 출력벡터(Y)에 따라 팝업북(100)의 페이지의 상태를 증강부(240)에 제공하며, 증강부(240)는 S250 단계에서 페이지의 상태에 대응하는 증강현실화면을 표시부(13)를 통해 출력한다. The step S240 will be described in more detail with reference to FIGS. 14 and 15 as follows. The input layer IL of the recognition network RN applies a plurality of input vectors X1 to Xn arranged in time order corresponding to the plurality of stages S1 to Sn of the recognition network RN to the plurality of stages S1 to Sn. Sn) is input. Then, each of the plurality of hidden cells HC1 to HCn of the recognition network (RN's hidden layer HL) has an input that is the state value Ht-1 of the previous stage St-1 and the input value of the current stage St. After calculating the state value Ht of the current stage St by performing an operation in which a weight (state weight and input weight) is applied to the vector Xt, the calculated state value Ht is transmitted to the next stage At this time, the last hidden cell HCn among the plurality of hidden cells HC1 to HCn calculates an output vector Y by applying a weight (output weight) to the calculated state value Hn of the current stage. , the
도 16의 (A)를 참조하면, 베이스부(110)의 제1 페이지부(121) 및 제2 페이지부(122) 사이에 보여지는 면을 제1면(F1), 제1 페이지부(121) 및 제2 페이지부(122) 각각의 보여지는 면을 제2면(F2) 및 제3면(F3)이라고 할 때, 증강부(240)는 도 16의 (B) 및 (C)에 도시된 바와 같이, 카메라부(11)의 제1면(F1)에 대한 촬영 각도 및 거리를 이용하여 카메라부(11) 대한 제1면(F1)의 위치를 인식하고, 제1면(F1)을 기준으로 제2면(F2) 및 제3면(F3)의 상대적인 위치를 산출한다. 그런 다음, 증강부(240)는 각 면(F1, F2, F3)에 대응하는 증강현실화면을 산출된 위치에 따라 표시부(13)를 통해 표시한다. Referring to FIG. 16A , the first surface F1 and the
이때, 대안적인 실시예에 따르면, 증강부(240)는 제2면(F2) 및 제3면(F3)의 인식률이 기준치 미만으로 낮은 경우에도, 제1면(F1)을 기준으로 가상의 제2면(F2) 및 제3면(F3)을 설정하고, 각 면(F1, F2, F3)에 대응하는 증강현실화면을 표시부(13)를 통해 표시할 수 있다. At this time, according to an alternative embodiment, even when the recognition rate of the second surface F2 and the third surface F3 is lower than the reference value, the
또한, 도 16의 (C)의 객체(OBJ)는 실물의 교구이며, 증강부(240)는 인식률이 높은 객체(OBJ)를 기준으로 제1면(F1), 제2면(F2) 및 제3면(F3)의 위치를 순차로 추정할 수 있다. 그런 다음, 각 면(F1, F2, F3)에 대응하는 증강현실화면을 표시부(13)를 통해 표시할 수 있다. In addition, the object OBJ of FIG. 16C is an actual teaching aid, and the
한편, 전술한 바와 같은 본 발명의 실시예에 따르면, 베이스부(110)는 원형인 것으로 설명하였지만, 다양한 형태로 베이스부(110)를 형성할 수 있다. 도 17 내지 도 19는 본 발명의 다른 실시예에 따른 팝업북의 형태를 도시한 도면이다. Meanwhile, according to the embodiment of the present invention as described above, although the
도 17의 (A), (B), (C) 및 (D) 각각은 베이스부(110)의 형상이 사각형인 경우, 베이스부(110)가 펼쳐진 상태의 평면도, 사시도, 정면도 및 측면도를 보인다. 17 (A), (B), (C) and (D) each shows a plan view, a perspective view, a front view, and a side view of the
도 18의 (A), (B), (C) 및 (D) 각각은 베이스부(110)의 형상이 무게중심을 축으로 할 때, 축을 대칭으로 하는 다각형인 경우, 베이스부(110)가 접혀진 상태의 평면도, 사시도, 정면도 및 측면도를 보인다. 18 (A), (B), (C) and (D), each of the shape of the
도 19의 (A), (B), (C) 및 (D) 각각은 베이스부(110)의 형상이 무게중심을 축으로 할 때, 축을 대칭으로 하면서 가장자리가 곡선으로 이루어진 도형인 경우, 베이스부(110)가 접혀진 상태의 평면도, 사시도, 정면도 및 측면도를 보인다. 19 (A), (B), (C) and (D) of each of the figures, when the shape of the
이와 같이, 본 발명의 베이스부(110)는 원형 이외의 다양한 형상으로 형성될 수 있다. In this way, the
한편, 전술한 본 발명의 실시예에 따른 방법은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the above-described method according to an embodiment of the present invention may be implemented in the form of a program readable by various computer means and recorded in a computer readable recording medium. Here, the recording medium may include a program command, a data file, a data structure, etc. alone or in combination. The program instructions recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. For example, the recording medium includes magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks ( magneto-optical media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include not only machine language wires such as those generated by a compiler, but also high-level language wires that can be executed by a computer using an interpreter or the like. Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. Although the present invention has been described above using several preferred embodiments, these examples are illustrative and not restrictive. As such, those of ordinary skill in the art to which the present invention pertains will understand that various changes and modifications can be made in accordance with the doctrine of equivalents without departing from the spirit of the present invention and the scope of rights set forth in the appended claims.
11: 카메라부 12: 입력부
13: 표시부 14: 저장부
15: 제어부 100: 팝업북
110: 베이스부 120: 페이지부
130: 회전심 200: 증강장치
210: 학습부 220: 데이터처리부
230: 인식부 240: 증강부 11: camera unit 12: input unit
13: display unit 14: storage unit
15: control unit 100: pop-up book
110: base part 120: page part
130: rotating core 200: augmentation device
210: learning unit 220: data processing unit
230: recognition unit 240: augmentation unit
Claims (8)
화면 표시를 위한 표시부;
영상 촬영을 위한 카메라부;
상기 카메라부를 통해 상기 팝업북을 촬영한 스트리밍 영상으로부터 동일한 시간 간격으로 소정 수의 프레임을 추출하고, 추출된 프레임을 촬영된 시간 순서에 따라 정렬한 복수의 입력벡터를 포함하는 입력벡터열을 생성하는 데이터처리부; 및
인식망을 통해 상기 복수의 입력벡터에 대한 연산을 수행하여 페이지 접힘 상태, 페이지 펼쳐짐 상태 및 페이지 이동 상태 중 어느 하나인 팝업북의 페이지의 상태를 인식하는 인식부; 및
상기 표시부를 통해 상기 인식부가 인식한 페이지의 상태에 대응하는 증강현실화면을 제공하는 증강부;
를 포함하며,
상기 인식망은
복수의 스테이지에 대응하여 시간 순서로 정렬된 복수의 입력벡터를 상기 복수의 스테이지 별로 입력받는 입력층;
이전 스테이지의 상태값과 현 스테이지의 입력값인 입력벡터에 대해 가중치가 적용되는 연산을 수행하여 현 스테이지의 상태값을 산출한 후, 산출된 상태값을 다음 스테이지에 전달하는 복수의 은닉셀을 포함하되,
상기 복수의 은닉셀 중 마지막 은닉셀은 현 스테이지의 상태값을 산출한 후, 산출된 현 스테이지의 상태값에 가중치를 적용하여 상기 팝업북의 페이지의 상태를 나타내는 출력벡터를 산출하는 은닉층; 및
상기 출력벡터를 출력하는 출력층;
을 포함하며,
상기 팝업북은
원판형의 베이스부; 및
상기 베이스부 상에 형성되며 각각이 동일한 크기의 사각판형인 복수의 페이지부;
를 포함하며,
상기 복수의 페이지부는
각각의 어느 하나의 옆면이 상기 베이스부의 원의 중심을 수직으로 관통하는 중심축에서 연결되고
각각의 다른 하나의 옆면이 상기 베이스부의 원의 원주를 따라 동일한 각도만큼 이격되고 배치되고
각각의 밑면이 상기 베이스부의 원의 중심에서 반지름을 따라 상기 베이스부의 상면에 연결되어 형성되며,
상기 베이스부는
상기 베이스부의 원을 동일한 면적을 가지는 짝수의 부채꼴로 분할하면서 반지름 길이를 가지는 복수의 반지름선이 있을 때, 상기 복수의 반지름선 중 어느 하나의 반지름선을 따라 상기 베이스부를 절개하는 하나의 절개선과 상기 베이스부를 상기 하나의 반지름선 이외의 다른 반지름선을 따라 절첩하는 복수의 절첩선을 포함하며,
팝업북이 펼쳐진 상태에서,
상기 복수의 페이지부 각각의 밑면이 상기 절개선 및 상기 복수의 절첩선 중 짝수 번째 절접선에 연결되며,
상기 복수의 페이지부 각각의 어느 하나의 옆면이 상기 베이스부의 원의 중심을 수직으로 관통하는 중심축에서 연결되며,
팝업북이 접혀진 상태에서,
상기 절개선으로부터 시계 방향으로 홀수 번째 절접선이 산을 형성하고,
상기 절개선으로부터 시계 방향으로 짝수 번째 절접선이 골을 형성하며,
상기 팝업북은
상기 베이스부의 상기 중심축에서 상기 베이스부의 하방으로 돌출되는 회전심;
을 더 포함하는 것을 특징으로 하는
팝업북을 이용한 증강현실을 제공하기 위한 장치. In the device for providing augmented reality using a pop-up book,
a display unit for screen display;
a camera unit for taking an image;
Data for extracting a predetermined number of frames at the same time interval from the streaming image of the pop-up book through the camera unit, and generating an input vector sequence including a plurality of input vectors in which the extracted frames are arranged according to the photographing time sequence processing unit; and
a recognition unit for recognizing a page state of a pop-up book that is any one of a page folded state, a page unfolded state, and a page moved state by performing an operation on the plurality of input vectors through a recognition network; and
an augmentation unit providing an augmented reality screen corresponding to the state of the page recognized by the recognition unit through the display unit;
includes,
The recognition network
an input layer receiving a plurality of input vectors arranged in time order corresponding to the plurality of stages for each of the plurality of stages;
It includes a plurality of hidden cells that calculate the state value of the current stage by performing an operation in which weights are applied to the state value of the previous stage and the input vector that is the input value of the current stage, and then transfer the calculated state value to the next stage but,
a hidden layer for calculating a state value of a current stage for the last hidden cell among the plurality of hidden cells, and then calculating an output vector indicating a state of a page of the pop-up book by applying a weight to the calculated state value of the current stage; and
an output layer for outputting the output vector;
includes,
The pop-up book
Disc-shaped base portion; and
a plurality of page portions formed on the base portion and each having a rectangular plate shape of the same size;
includes,
the plurality of pages
Each of the side surfaces is connected at a central axis penetrating vertically through the center of the circle of the base part,
and each other side surface is spaced apart and arranged by the same angle along the circumference of the circle of the base part,
Each bottom surface is formed by being connected to the upper surface of the base part along a radius from the center of the circle of the base part,
the base part
When there are a plurality of radial lines having a radius length while dividing the circle of the base portion into an even number of sectoral shapes having the same area, one cut line for cutting the base portion along any one of the plurality of radial lines and the and a plurality of fold lines for folding the base part along a radius line other than the one radius line,
With the pop-up book open,
a bottom surface of each of the plurality of page parts is connected to the cut line and an even-numbered cut line among the plurality of fold lines,
One side of each of the plurality of page parts is connected at a central axis penetrating the center of the circle of the base part vertically,
When the pop-up book is folded,
An odd-numbered incision in a clockwise direction from the incision forms a mountain,
An even-numbered incision in a clockwise direction from the incision forms a valley,
The pop-up book
a rotating core protruding downward from the central axis of the base part;
characterized in that it further comprises
A device for providing augmented reality using a pop-up book.
복수의 학습용 입력벡터를 포함하는 학습용 입력벡터열과 상기 학습용 입력벡터열에 대응하는 레이블을 포함하는 학습 데이터를 마련하고,
학습이 이루어지지 않은 가중치를 가지는 인식망이 상기 복수의 학습용 입력벡터에 대한 연산을 수행하여 출력벡터를 산출하고,
손실함수를 통해 상기 출력벡터와 상기 레이블과의 차이인 손실을 산출하고, 상기 손실이 최소가 되도록 상기 인식망의 가중치를 수정하는 최적화를 수행하는
학습부;
를 더 포함하는 것을 특징으로 하는
팝업북을 이용한 증강현실을 제공하기 위한 장치. 5. The method of claim 4,
providing training data including a training input vector sequence including a plurality of training input vectors and a label corresponding to the training input vector sequence,
A recognition network having a weight that has not been trained calculates an output vector by performing an operation on the plurality of input vectors for learning,
Calculating a loss that is a difference between the output vector and the label through a loss function, and performing optimization to modify the weight of the recognition network so that the loss is minimized
study department;
characterized in that it further comprises
A device for providing augmented reality using a pop-up book.
상기 페이지 접힘 상태는
복수의 페이지부 중 서로 이웃하는 제1 페이지부 및 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부 사이의 베이스부의 절첩선이 접혀진 상태이고,
페이지 펼쳐짐 상태는
상기 제1 페이지부 및 상기 제2 페이지부가 존재하며, 상기 제1 페이지부 및 상기 제2 페이지부의 절첩선이 펼쳐진 상태이고,
페이지 이동 상태는
상기 페이지 펼쳐짐 상태에서,
상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와,
상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 이웃하는 제3 페이지부가 존재하며,
상기 제1 페이지부 및 상기 제2 페이지부 중 어느 하나의 페이지부와 상기 제3 페이지부 사이의 베이스부의 절첩선이 펼쳐진 상태로 변경된 상태인 것을 특징으로 하는
팝업북을 이용한 증강현실을 제공하기 위한 장치. 5. The method of claim 4,
The page folded state is
a first page portion and a second page portion adjacent to each other among the plurality of page portions exist, and a fold line of the base portion between the first page portion and the second page portion is folded;
page unfolded state
The first page part and the second page part exist, and the fold lines of the first page part and the second page part are unfolded;
page move status
In the unfolded state of the page,
any one of the first page part and the second page part;
a third page part adjacent to any one of the first page part and the second page part exists;
wherein the fold line of the base part between any one of the first page part and the second page part and the third page part is changed to an unfolded state
A device for providing augmented reality using a pop-up book.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210158912A KR102440412B1 (en) | 2021-11-17 | 2021-11-17 | Pop-up book, apparatus for providing augmented reality using the same, and method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210158912A KR102440412B1 (en) | 2021-11-17 | 2021-11-17 | Pop-up book, apparatus for providing augmented reality using the same, and method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102440412B1 true KR102440412B1 (en) | 2022-09-06 |
Family
ID=83281401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210158912A KR102440412B1 (en) | 2021-11-17 | 2021-11-17 | Pop-up book, apparatus for providing augmented reality using the same, and method therefor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102440412B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD727419S1 (en) * | 2013-03-28 | 2015-04-21 | Mara Grace Lehrman | Doll house pop-up book |
KR20170016704A (en) | 2015-08-04 | 2017-02-14 | 한국전자통신연구원 | Apparatus for displaying image contents based on pop-up book and method thereof |
KR20200010655A (en) * | 2018-06-29 | 2020-01-31 | (주)기술공감 | Method and apparatus for recognizing object on image |
KR20200053914A (en) * | 2018-11-09 | 2020-05-19 | (주)천재교육 | Apparatus and Method for Searching Information using Augmented Reality and Mixed Reality |
-
2021
- 2021-11-17 KR KR1020210158912A patent/KR102440412B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD727419S1 (en) * | 2013-03-28 | 2015-04-21 | Mara Grace Lehrman | Doll house pop-up book |
KR20170016704A (en) | 2015-08-04 | 2017-02-14 | 한국전자통신연구원 | Apparatus for displaying image contents based on pop-up book and method thereof |
KR20200010655A (en) * | 2018-06-29 | 2020-01-31 | (주)기술공감 | Method and apparatus for recognizing object on image |
KR20200053914A (en) * | 2018-11-09 | 2020-05-19 | (주)천재교육 | Apparatus and Method for Searching Information using Augmented Reality and Mixed Reality |
Non-Patent Citations (3)
Title |
---|
USD727419 S1 |
비특허문헌1 * |
비특허문헌2 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gordon et al. | Re $^ 3$: Re al-time recurrent regression networks for visual tracking of generic objects | |
US11804040B2 (en) | Keypoint-based sampling for pose estimation | |
CN104508709B (en) | Animation is carried out to object using human body | |
CN110622169A (en) | Neural network system for motion recognition in video | |
US20190369742A1 (en) | System and method for simulating an interactive immersive reality on an electronic device | |
Symeonidis | Hand gesture recognition using neural networks | |
JP2015531526A (en) | Touchless input | |
CN110730970A (en) | Policy controller using image embedding to optimize robotic agents | |
US11488320B2 (en) | Pose estimation method, pose estimation apparatus, and training method for pose estimation | |
KR20100030404A (en) | User information input method by recognizing a context-aware on screens | |
CN113034652A (en) | Virtual image driving method, device, equipment and storage medium | |
US11854308B1 (en) | Hand initialization for machine learning based gesture recognition | |
US11453121B2 (en) | Mirror loss neural networks | |
US20230214458A1 (en) | Hand Pose Estimation for Machine Learning Based Gesture Recognition | |
WO2021098587A1 (en) | Gesture analysis method, apparatus and device, and computer-readable storage medium | |
Xu et al. | Review of hand gesture recognition study and application | |
Rautaray et al. | Design of gesture recognition system for dynamic user interface | |
US20220351405A1 (en) | Pose determination method and device and non-transitory storage medium | |
Lee et al. | Forecasting hand gestures for human-drone interaction | |
KR102440412B1 (en) | Pop-up book, apparatus for providing augmented reality using the same, and method therefor | |
WO2021098554A1 (en) | Feature extraction method and apparatus, device, and storage medium | |
Albertini et al. | Designing natural gesture interaction for archaeological data in immersive environments | |
Gadhiya et al. | Analysis of deep learning based pose estimation techniques for locating landmarks on human body parts | |
Kopuklu et al. | Talking with your hands: Scaling hand gestures and recognition with cnns | |
Alves et al. | Interactive 180 rear projection public relations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AMND | Amendment | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |