WO2017090857A1 - Method for providing smart learning service using smart pen and mobile device for processing same - Google Patents

Method for providing smart learning service using smart pen and mobile device for processing same Download PDF

Info

Publication number
WO2017090857A1
WO2017090857A1 PCT/KR2016/006461 KR2016006461W WO2017090857A1 WO 2017090857 A1 WO2017090857 A1 WO 2017090857A1 KR 2016006461 W KR2016006461 W KR 2016006461W WO 2017090857 A1 WO2017090857 A1 WO 2017090857A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
smart pen
book
setting information
smart
Prior art date
Application number
PCT/KR2016/006461
Other languages
French (fr)
Korean (ko)
Inventor
박철우
Original Assignee
박철우
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박철우 filed Critical 박철우
Publication of WO2017090857A1 publication Critical patent/WO2017090857A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/06—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers

Definitions

  • the present invention relates to a learning method using a smart pen, and more particularly, when a learner presses or writes a predetermined position of a printed matter with a smart pen while the learner performs learning using a type of printed material and a smart pen, the learner uses the smart pen.
  • the present invention relates to a method for providing a smart learning service that finds and performs a desired function and a mobile device for processing the same.
  • LMS learning management system
  • Such an online learning method greatly reduces the time spent to participate in school or academy classes offline, and has the advantage of objectively collecting the learning history and achievement of each learner.
  • test is conducted by writing the answer by hand using a pen on the test paper. If you only rely on learning using the keyboard and mouse online, you can experience the test in real life with a high degree of realism. There is a gap that can not be done.
  • Smart pen refers to a device that draws or writes letters on paper, reads codes printed on paper using ultrasonic waves, and transfers the movement traces to a computing device such as a smartphone or a tablet computer.
  • Such a smart pen can be understood as an evolved form of a tablet, which is an input means for inputting using a stylus pen, and has the advantage of digitizing and storing and utilizing input values while having a feeling of directly writing with a pen.
  • the utilization of the tablet is also inconsistent with that of conventional tablets, so it is only to be used for the purpose of precisely transferring a hand-drawn picture or text on the screen.
  • an object of the present invention is to provide a smart learning service by automatically performing a function corresponding to a location where a smart pen touches when a user uses a smart pen while learning with a learning content printed on a printed matter.
  • the present invention is to provide a method that can easily upgrade the book setting information defined for the printed matter even after the printed matter distribution to be able to dynamically improve the smart learning service.
  • a mobile device for displaying information; Input means for receiving a user input; Smart pen interlocking means for communicating with the smart pen; Communication means for communicating with a server via an internet network; And a processor for processing information, wherein the processor acquires book identification information, page information, and coordinate information of the printed matter in association with the smart pen as the smart pen recognizes a code printed on the printed matter, If the book setting information corresponding to the book identification information obtained from the smart pen does not exist in the local storage, the book identification information is transmitted to the server through the communication means, and the book setting information is requested.
  • Determining an operation type corresponding to page information and coordinate information obtained from the smart pen with reference to book setting information, context information about the printed matter included in the book setting information, information obtained from the smart pen, and the Parameter by using at least one of user input through the input means Configuration, and has a function corresponding to the determined type of action can be controlled to be performed with the configured parameters.
  • a method of providing a smart learning service using a smart pen wherein the mobile device recognizes a code printed on a printed matter by a paired smart pen, such as book identification information and page of the printed matter from the smart pen.
  • the book setting information may include contextual information related to a printed matter, and operation type information corresponding to an area composed of coordinates or a plurality of coordinates existing in each page included in the printed matter.
  • the operation type defined in each page included in the printed matter and coordinates or regions corresponding thereto are displayed on the screen, and the operation type displayed on the screen or the Providing a user interface to change the corresponding coordinates or area, and changing the book setting information as the user changes the operation type or the corresponding coordinates or area through the user interface; Can be.
  • the book setting information further includes version information
  • the smart learning service providing method using the smart pen may transmit the book setting information of the latest version to the server by sending version information of the book setting information stored in the local storage to the server.
  • the method may further include updating the at least a portion of the book setting information stored in the local repository by using the received request and receiving the book setting information of the latest version.
  • the function is performed locally with the parameter or the server transmits the information about the function and the parameter to the server.
  • Control to perform, and a result of performing the function may be displayed on a display.
  • the learner can easily obtain additional information to help the learning by performing the smart learning function while learning in the conventional manner using the printed matter and the pen without any heterogeneity.
  • the corresponding smart learning function is automatically performed by the user simply operating the smart pen while learning with the learning content printed on the printed matter, the learning effect can be greatly improved.
  • FIG. 1 is a diagram illustrating a connection relationship between a smart pen, a mobile device, and a server.
  • FIG. 2 is a diagram illustrating a hardware configuration of a smart pen.
  • FIG. 3 is a diagram illustrating a hardware configuration of a mobile device.
  • FIG. 4 is a flowchart illustrating a method for providing a smart learning service using a smart pen according to an embodiment of the present invention.
  • FIG. 5 is a reference diagram illustrating a state in which a function corresponding to a position taken by a learner by a smart pen is executed according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating the structure of an action code described in book setting information
  • FIG. 7 is a flowchart illustrating a process of upgrading the book setting information to the latest version according to an embodiment of the present invention.
  • FIG. 8 is a flowchart for describing a process of controlling performance of a function defined in book setting information according to an embodiment of the present invention.
  • the mobile device linked to the smart pen is the learner.
  • the present invention relates to a method for providing a smart learning service that helps learning by performing a function corresponding to the intention of the user.
  • FIG. 1 is a diagram illustrating a connection relationship between a smart pen, a mobile device, and a server
  • FIG. 2 is a diagram illustrating a hardware configuration of a smart pen
  • FIG. 3 is a diagram illustrating a hardware configuration of a mobile device.
  • the learner learns using a printed matter 40 of a type such as a problem book, a textbook, or a blank notebook, and uses a smart pen 20.
  • a printed matter 40 of a type such as a problem book, a textbook, or a blank notebook
  • a plurality of codes that the smart pen 20 can recognize are finely printed.
  • Even a blank notebook is printed in a category of printed matters because a plurality of codes are printed in a fine size that is hard to be identified by the naked eye or by using colors or special pigments that are hard to be identified by the naked eye.
  • codes can be printed evenly across the margins of the paper and contain some information, independent of content such as text or images that the learner can visually recognize.
  • the smart pen 20 has a built-in writing instrument such as a ballpoint pen to actually write or draw on a paper, and when the user selects or writes with a pen on a printed matter, information for reading the coordinates and the like is read to the mobile device 10.
  • the device to transmit.
  • the smart pen 20 may include a pressure sensor 21, a camera 22, and a short range communication module 23.
  • the pressure sensor 21 detects the pressure applied to the pen tip. That is, when the user grabs the smart pen 20 to take notes or draws a picture or taps on the printed matter, the user detects this.
  • the camera 22 photographs the code printed on the printed matter 40.
  • the short range communication module 23 is a means for communication with the mobile device 10, and may be preferably a wireless communication adapter based on a short range wireless communication protocol such as Bluetooth.
  • the mobile device 10 When the mobile device 10 receives information in cooperation with the smart pen 20, the mobile device 10 obtains book identification information, page information, and coordinate information therefrom, and performs a learning function corresponding to the obtained information.
  • the mobile device 10 may include a processor 11, an input unit 15, a display 12, a smart pen interworking unit 13, and a communication unit 14.
  • the processor 11 executes the instructions contained in the computer program, and executes the computer program recorded on the recording medium in order to perform the smart learning service providing method according to the present invention.
  • the input means 15 is a means for receiving a user input, and transmits the input user input to the processor 11 according to a method supported by the mobile device 10.
  • the display 12 may include a touch panel and display information in a visual form. It may be in the form of a known touch screen, a liquid crystal display (LCD), a light emitting diode (LED), or the like.
  • LCD liquid crystal display
  • LED light emitting diode
  • the smart pen interlocking means 13 is a means for communicating with the smart pen 20, preferably a wireless communication adapter according to a known standard such as Bluetooth.
  • the communication means 14 is for communicating with the server 30 through the Internet network, and may be an adapter according to a known wired or wireless communication standard such as an Ethernet adapter or a WiFi adapter.
  • the mobile device 10 may be in the form of a known smartphone, tablet computer, laptop computer, and the like, in addition to the above description, and is not limited to the form or name.
  • the server 30 receives a request for the execution of information or a function from a plurality of mobile devices 10 connected through an internet network or the like, returns the requested information or executes the requested function, and returns the result to the mobile device 10.
  • the learner learns while spreading the printed matter 40, when the pen tip of the smart pen 20 is placed on the printed matter by using the smart pen 20, the smart pen 20 is positioned of the pen tip through the camera 22. Photographed and transmitted to the mobile device 10, the mobile device 10 determines which position on which page of which prints was taken by using the information received from the smart pen 20, and the server 30. By taking action corresponding to this, the learner can automatically provide the desired smart learning function.
  • FIG. 4 is a flowchart for describing a smart learning service providing method using a smart pen according to an embodiment of the present invention.
  • the learner pairs the smart pen 20 to the mobile device 10 prior to learning. Subsequently, while unfolding the printed matter 40, the smart pen 20 recognizes a code through the camera 22 when an arbitrary point on the printed matter is pressed or drawn by a pen tip of the smart pen 20. .
  • the mobile device 10 acquires a book identifier, page information on the printed matter, and coordinate information in cooperation with the smart pen 20 (S42). .
  • the code may be implemented as a combination of a plurality of dots, and represents different information according to the separation distance of each dot. These dots are printed in very fine or visually invisible colors and do not obscure the field of view.
  • a code indicating a book identifier may be printed at regular intervals. Regarding the book identifier, all pages have the same code.
  • a code indicating page information (that is, information indicating how many pages the page is) may be printed on each page at regular intervals. Regarding page information, every page has a different code.
  • Coordinates may be a pair of x and y values expressed in the form of a code.
  • the same code is preferably printed at the same position on all pages.
  • the mobile device 10 checks whether book setting information corresponding to the book identification information is stored in the local storage (S44).
  • the mobile device 10 collectively receives a file including book setting information on printed matters supported when installing an application for a smart learning service from the server 30 and stores it in a local storage, or the smart pen 20
  • the server 30 may request and receive the corresponding book setting information.
  • the mobile device 10 transmits the book identification information to the server 30. Request the required book setting information (S48).
  • the mobile device 10 When receiving the book setting information from the server 30, the mobile device 10 stores the received book setting information in the local storage (S50).
  • Book setting information can be described in Extensible Markup Language (XML), so the type of action for the desired coordinates can be easily retrieved, making it easy to update some content on structured files, or to add new definitions.
  • XML Extensible Markup Language
  • the operation type corresponding to the page information and the coordinate information obtained from the smart pen 20 is determined (S52).
  • the book setting information can be identified by the book identification information of the printable support, and not only the book identification information, but also the context of the printed matter such as the title of the printed matter, subject, subject, lecturer, textbook type, author, publisher, table of contents, and number of pages. May contain information.
  • the book setting information includes a definition for each page of the corresponding printed matter, and the definition for each page includes corresponding operation type information for each coordinate.
  • An action type may be defined to correspond to one coordinate or a plurality of coordinates, an action type does not need to be defined for all coordinates of a page, and the action type is assigned only to coordinates requiring smart learning functions. It is enough. Alternatively, you can define any type of action by default in any location except for a specific location.
  • Each operation type may be described as a command or a function that performs a corresponding function, and a list of required parameters and / or whether a function is performed locally or remotely.
  • the parameter value (s) may include the smart pen input location information including the book identification information, the page information and the coordinate information obtained from the smart pen 20, the context information included in the book setting information, and the input means of the mobile device 10. It may be configured using at least one of the user input detected through.
  • the user input sensed through the input means 15 of the mobile device 10 is separate from the information obtained through the smart pen 20 and may be used in the case of an operation type requiring further selection of the user.
  • the mobile device 10 provides a selection option to the user and determines a parameter value according to the user's selection.
  • the mobile device 10 controls to perform a function corresponding to the operation type with the parameters configured as described above (S56). If an operation type corresponding to the smart pen input location information is not defined, the operation ends without performing another operation.
  • the corresponding action type may be the ability to play the English phrase as audio, and the parameter may be used to identify the English phrase desired by the learner.
  • Pen input location information The mobile device 10 controls to acquire an English phrase using the smart pen input location information and to retrieve and play an audio file for the phrase.
  • Each function may be implemented in the form of an API (Application Program Interface) function provided by the server 30, and may be included as a command for calling a corresponding API in a computer program loaded in the mobile device 10.
  • the instructions executed by the processor 11 may be stored in the form of a computer program and stored locally.
  • FIG. 5 is a diagram illustrating a state in which a function corresponding to a position taken by a learner with a smart pen is executed according to an embodiment of the present invention.
  • a learner places the pen tip of the smart pen 20 at a position of the printed matter 40, a code printed at the position is photographed and information about the code is transmitted to the mobile device 10.
  • the mobile device 10 obtains the smart pen input location information 62 called book identification information book1, page 1, coordinates 10, 200 from the received information.
  • a function called function1 and parameters p1, p2, and p3 correspond to the coordinates 10 and 200 of page 1 (64).
  • Mobile device 10 executes function1 (p1, p2, p3) locally or by requesting a server and as a result presents screen 66 to the user.
  • FIG 6 illustrates the structure of the action code described in the book setting information.
  • a predetermined area on a page may be set, and an action code corresponding to each area may be described.
  • the action code corresponds to an area composed of a specific coordinate or a plurality of coordinates on the page.
  • the function1 function and the parameters corresponding to the coordinates 10 and 200 of page 1 may be described as one action code.
  • the function1 function is executed by the mobile device 10 or the server.
  • the action code may be defined as a predetermined data structure including context information, book identification information, page information, and action type information.
  • the contextual information may represent one or more of information such as a book title, a learning subject name, a lecturer, an author, and the like, and may be described in a code form defined according to a predetermined standard.
  • the contextual information illustrated in FIG. 6 is represented by a code such as "HED2L", which encodes the contextual information according to a predetermined rule.
  • the operation type information may be a code consisting of a combination of a section code and a function code.
  • the section code is used to classify the type of content
  • the function code is used to classify the type of function to be executed by the server or mobile device 10.
  • A may represent a concept description
  • B may solve a problem
  • C may represent a type of content to be provided through the mobile device 10 or the server, such as a fingerprint commentary.
  • the function code may indicate the type of function to be executed, for example, E for sending an email, M for playing a video, or Q for asking a question.
  • action type information is AE, it indicates an action type corresponding to "send e-mail with respect to concept description".
  • the action code "HED2L_0035_005_AE” illustrated in FIG. 6 has a context information "HED2L”, and the user needs to execute the "send e-mail regarding the conceptual description” function corresponding to the "005" page of the print corresponding to "0035”. Has meaning.
  • FIG. 7 is a flowchart illustrating a process of upgrading book setting information to the latest version according to an embodiment of the present invention.
  • version information is retrieved (S461).
  • the drawn version information is transmitted to the server 30 to check whether the latest version (S462). If the book setting information is not the latest version, the server 30 transmits the updated book setting information or the partial information to be updated to the mobile device 10 together with the latest version information (S463 and S464).
  • the mobile device 10 upgrades the book setting information to the latest version by replacing only the portion to be replaced or updated with the book setting information of the local storage with the book setting information (S465).
  • FIG. 8 is a flowchart for describing a process of controlling performance of a function defined in book setting information according to an embodiment of the present invention.
  • the mobile device 10 After determining the operation type corresponding to the smart pen input position, the mobile device 10 determines a subject to perform the corresponding function, which may be defined in the book setting information (S561). In addition, it is possible to define who will perform all the smart learning functions as the setting information of the corresponding application.
  • the application of the mobile device 10 performs the corresponding function (S563).
  • Information to be provided to the learner as a result of the execution will be displayed on the screen (S566).
  • the result of the performance may include audio information as well as video information, in which case the mobile device 10 will play the audio information automatically or upon user request.
  • the book setting information defined for a certain printed matter may be implemented to be changed by a user as well as a printed matter distributor or a learning information provider.
  • the learner can design a smart learning service that is suitable for the user by changing the action type defined in the book setting information to another or changing the execution order of the plurality of action types defined for one location. .
  • the mobile device 10 uses the book setting information to display an operation type defined in each page included in the printout and a corresponding coordinate or area on the screen, and the operation type displayed on the screen or a coordinate or area corresponding thereto. It provides a user interface that allows to change, and changes the book setting information as the user changes the operation type or the corresponding coordinates or area through the user interface.
  • the present invention can be applied to the field of electronic learning technology using a smart pen.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

Disclosed are a method for providing a smart learning service using a smart pen and a mobile device for processing same. According to the present invention, the mobile device: links with the smart pen to obtain book identification information, page information, and coordinates information, when the smart pen recognizes a code printed on a print medium; transmits the book identification information to a server through a communication means to request book settings information, when the book settings information corresponding to the book identification information obtained from the smart pen does not exist in local storage; determines an operation type corresponding to the page information and the coordinates information obtained from the smart pen by referencing the book settings information obtained from the local storage or the server; configures parameters using at least one of information obtained from the smart pen, context information relating to the print medium included in the book settings information, and user input through an input means; and controls so that a function corresponding to the operation type that has been determined is performed according to the configured parameters.

Description

스마트 펜을 이용한 스마트 러닝 서비스 제공 방법 및 이를 처리하는 모바일 디바이스Method of providing smart learning service using smart pen and mobile device processing the same
본 발명은 스마트 펜을 이용한 학습방법에 관한 것으로, 더 구체적으로는 학습자가 유형의 인쇄물과 스마트 펜을 이용하여 학습을 수행하면서 스마트 펜으로 인쇄물의 소정 위치를 누르거나 필기를 하는 경우 모바일 디바이스가 학습자가 원하는 기능을 찾아서 수행해주는 스마트 러닝 서비스의 제공 방법과 이를 처리하는 모바일 디바이스에 관한 것이다.The present invention relates to a learning method using a smart pen, and more particularly, when a learner presses or writes a predetermined position of a printed matter with a smart pen while the learner performs learning using a type of printed material and a smart pen, the learner uses the smart pen. The present invention relates to a method for providing a smart learning service that finds and performs a desired function and a mobile device for processing the same.
인터넷 인프라가 보급되면서 원격지에서 전자적인 수단을 이용하여 학습을 하는 이러닝(E-learning) 기술이 태동하였다.With the spread of the Internet infrastructure, E-learning technology, which uses electronic means of learning from a remote place, has emerged.
초기 이러닝 기술은 LMS(Learning Management System)를 통해 강의 영상을 스트리밍 방식으로 제공받아 학습을 하며, 웹 페이지 상에서 문제를 푸는 등 주로 온라인 상에서 학습자의 학습 수준과 이력을 수집하고 관리하는 방향으로 개발되어 왔다.Early e-learning technology has been developed to collect and manage the learning level and history of learners online, such as learning by receiving lecture videos through a learning management system (LMS) in a streaming manner and solving problems on web pages. .
이러한 온라인 상에서의 학습 방법은 오프라인 상에서 학교나 학원 수업에 참여하기 위해 소모하는 시간을 크게 줄여줄 뿐만 아니라, 각 학습자의 학습 이력과 성취도를 객관적으로 수집할 수 있다는 장점이 있다.Such an online learning method greatly reduces the time spent to participate in school or academy classes offline, and has the advantage of objectively collecting the learning history and achievement of each learner.
그러나, 모니터를 보면서 마우스와 키보드를 이용하여 수행하는 학습의 몰입도와 효율에 대하여 학계에서는 다소간 의문을 제시하는 것도 사실이었다.However, it was also true that the academic community raised some questions about the immersion and efficiency of learning by using a mouse and keyboard while looking at the monitor.
즉, 교과서나 문제집 등의 출판물을 보면서, 펜으로 직접 문제를 풀거나, 줄을 긋거나, 메모를 하는 등의 과정을 통해 온전히 자기것으로 만드는 과정이 필요한데, 온라인 상에서만 이루어지는 학습의 경우에는 무형의 컨텐츠를 소비하는 형태로 학습이 이루어질 뿐이어서 자칫 지식의 체화 과정이 고전적인 학습 방법에 비해 피상적으로만 진행될 개연성이 있다. In other words, while reading a textbook or a collection of problems, it is necessary to completely solve the problem with a pen, draw a line, or take notes. Since learning takes place in the form of consuming content, there is a possibility that the embodying process of knowledge will only be superficial compared to the classical learning method.
뿐만 아니라, 학교 등에서는 시험지에 펜을 이용하여 수기로 답을 기록하는 방식으로 시험이 치뤄지는데, 온라인 상에서 키보드와 마우스를 이용한 학습에만 의존할 경우 실제 현실에서의 시험을 높은 수준의 현실감을 가지고 체험할 수 없게 되는 괴리가 발생하기도 한다.In addition, in schools, the test is conducted by writing the answer by hand using a pen on the test paper.If you only rely on learning using the keyboard and mouse online, you can experience the test in real life with a high degree of realism. There is a gap that can not be done.
한편, 이러한 이러닝 기술분야의 문제점과는 별개로 최근 스마트 디바이스의 하나로 스마트 펜이 주목 받고 있다.Meanwhile, apart from the problems in the field of e-learning technology, smart pens have recently attracted attention as one of smart devices.
스마트 펜이란 종이 위에 그림을 그리거나 글씨를 쓰면, 초음파 등을 이용하여 종이에 미세하게 인쇄된 코드를 읽어 움직임의 궤적을 스마트폰이나 타블렛 컴퓨터와 같은 컴퓨팅 디바이스로 전달하는 장치를 말한다.Smart pen refers to a device that draws or writes letters on paper, reads codes printed on paper using ultrasonic waves, and transfers the movement traces to a computing device such as a smartphone or a tablet computer.
이러한 스마트 펜은 스타일러스 펜을 이용하여 입력하는 입력수단인 타블렛이 진화된 형태로 이해될 수 있는데, 펜으로 직접 필기하는 느낌을 가지면서도 입력값을 디지털화하여 저장 및 활용할 수 있다는 장점을 가진다. 그러나, 그 활용법 또한 기존의 타블렛의 활용법에서 벗어나지 못하고 있어 손으로 직접 그린 그림이나 글씨를 화면상에 정교하게 옮기는 용도로 활용하는 것이 고작이다.Such a smart pen can be understood as an evolved form of a tablet, which is an input means for inputting using a stylus pen, and has the advantage of digitizing and storing and utilizing input values while having a feeling of directly writing with a pen. However, the utilization of the tablet is also inconsistent with that of conventional tablets, so it is only to be used for the purpose of precisely transferring a hand-drawn picture or text on the screen.
이에, 펜을 이용하여 인쇄물에 직접 문제를 풀거나 메모하거나 기록하는 고전적인 학습 방법을 유지하면서도, 동시에 기왕의 전자적 학습 인프라를 충분히 활용하여 학습의 효율성을 높이기 위한 방법의 모색이 필요하다. Thus, there is a need to find a method for improving the learning efficiency by fully utilizing the existing electronic learning infrastructure while maintaining the classic learning method of directly solving a problem, taking notes, or recording a printed matter using a pen.
특히, 서로 연관성 없이 별개로 발전해 온 이러닝 기술과 스마트 펜 기술 분야의 그간의 성과를 활용할 필요성이 있다.In particular, there is a need to take advantage of the achievements of e-learning technology and smart pen technology that have developed independently of each other.
스마트 펜을 학습에 이용하되, 전자적 학습 인프라와 융합함으로써 학습효율을 향상시킬 수 있는 방법론을 제시하고자 한다.Using a smart pen for learning, I would like to propose a methodology to improve learning efficiency by integrating with electronic learning infrastructure.
이에 따른 본 발명의 목적은, 사용자가 인쇄물에 인쇄된 학습 컨텐츠를 가지고 학습하면서 스마트 펜을 이용하면, 스마트 펜이 닿은 위치에 대응하는 기능을 자동으로 수행함으로써 스마트 러닝 서비스를 제공하기 위한 것이다.Accordingly, an object of the present invention is to provide a smart learning service by automatically performing a function corresponding to a location where a smart pen touches when a user uses a smart pen while learning with a learning content printed on a printed matter.
또한, 본 발명은 인쇄물에 대해 정의된 서적 설정 정보를 인쇄물 배포후에도 쉽게 업그레이드할 수 있는 방법을 제공함으로써 스마트 러닝 서비스를 동적으로 개선할 수 있도록 하기 위한 것이다.In addition, the present invention is to provide a method that can easily upgrade the book setting information defined for the printed matter even after the printed matter distribution to be able to dynamically improve the smart learning service.
상기와 같은 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 모바일 디바이스는, 정보를 표시하는 디스플레이; 사용자 입력을 수신하는 입력수단; 스마트 펜과 통신하는 스마트 펜 연동수단; 인터넷 망을 통해 서버와 통신하는 통신수단; 및 정보를 처리하는 프로세서;를 구비하되, 상기 프로세서는, 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜과 연동하여 상기 인쇄물의 서적 식별 정보, 페이지 정보 및 좌표 정보를 획득하며, 상기 스마트 펜으로부터 획득된 서적 식별 정보에 해당하는 서적 설정 정보가 로컬 저장소에 존재하지 않으면 상기 통신수단을 통해 서버로 상기 서적 식별 정보를 전송하여 서적 설정 정보를 요청하고, 로컬 저장소 또는 서버로부터 획득한 서적 설정 정보를 참조하여 상기 스마트 펜으로부터 획득된 페이지 정보 및 좌표 정보에 대응하는 동작 유형을 결정하고, 상기 스마트 펜으로부터 획득된 정보, 상기 서적 설정 정보에 포함된 상기 인쇄물에 대한 맥락 정보, 및 상기 입력수단을 통한 사용자 입력 중 적어도 하나를 이용하여 파라메타를 구성하고, 상기 결정된 동작 유형에 대응하는 기능이 상기 구성된 파라메타를 가지고 수행되도록 제어할 수 있다.In order to achieve the above object, a mobile device according to an embodiment of the present invention, a display for displaying information; Input means for receiving a user input; Smart pen interlocking means for communicating with the smart pen; Communication means for communicating with a server via an internet network; And a processor for processing information, wherein the processor acquires book identification information, page information, and coordinate information of the printed matter in association with the smart pen as the smart pen recognizes a code printed on the printed matter, If the book setting information corresponding to the book identification information obtained from the smart pen does not exist in the local storage, the book identification information is transmitted to the server through the communication means, and the book setting information is requested. Determining an operation type corresponding to page information and coordinate information obtained from the smart pen with reference to book setting information, context information about the printed matter included in the book setting information, information obtained from the smart pen, and the Parameter by using at least one of user input through the input means Configuration, and has a function corresponding to the determined type of action can be controlled to be performed with the configured parameters.
본 발명의 다른 실시예에 따른 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법은, 모바일 디바이스가, 페어링 된 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜으로부터 상기 인쇄물의 서적 식별 정보, 페이지 정보 및 좌표 정보를 획득하는 단계; 상기 스마트 펜으로부터 획득된 서적 식별 정보에 해당하는 서적 설정 정보가 로컬 저장소에 존재하지 않으면 상기 통신수단을 통해 서버로 상기 서적 식별 정보를 전송하여 서적 설정 정보를 요청하는 단계; 로컬 저장소 또는 서버로부터 획득한 서적 설정 정보를 참조하여 상기 스마트 펜으로부터 획득된 페이지 정보 및 좌표 정보에 대응하는 동작 유형을 결정하는 단계; 상기 스마트 펜으로부터 획득된 정보, 상기 서적 설정 정보에 포함된 상기 인쇄물에 대한 맥락 정보, 및 상기 입력수단을 통한 사용자 입력 중 적어도 하나를 이용하여 파라메타를 구성하는 단계; 및 상기 결정된 동작 유형에 대응하는 기능이 상기 구성된 파라메타를 가지고 수행되도록 제어하는 단계;를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of providing a smart learning service using a smart pen, wherein the mobile device recognizes a code printed on a printed matter by a paired smart pen, such as book identification information and page of the printed matter from the smart pen. Obtaining information and coordinate information; Requesting book setting information by transmitting the book identification information to a server through the communication means if book setting information corresponding to book identification information obtained from the smart pen does not exist in the local storage; Determining an operation type corresponding to page information and coordinate information obtained from the smart pen by referring to book setting information obtained from a local storage or a server; Constructing a parameter using at least one of information obtained from the smart pen, contextual information on the printed matter included in the book setting information, and user input through the input means; And controlling a function corresponding to the determined operation type to be performed with the configured parameter.
상기 서적 설정 정보는, 인쇄물에 관련된 맥락 정보와, 인쇄물에 포함된 각 페이지에 존재하는 좌표 또는 복수의 좌표로 구성되는 영역에 대응하는 동작 유형 정보를 포함할 수 있다.The book setting information may include contextual information related to a printed matter, and operation type information corresponding to an area composed of coordinates or a plurality of coordinates existing in each page included in the printed matter.
상기 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법은, 상기 서적 설정 정보를 이용하여 인쇄물에 포함된 각 페이지에 정의된 동작 유형과 그에 대응하는 좌표 또는 영역을 화면에 표시하고, 화면에 표시된 동작 유형이나 그에 대응하는 좌표 또는 영역을 변경할 수 있도록 하는 사용자 인터페이스를 제공하는 단계와, 사용자가 상기 사용자 인터페이스를 통해 동작 유형이나 그에 대응하는 좌표 또는 영역을 변경함에 따라 상기 서적 설정 정보를 변경하는 단계를 더 포함할 수 있다.In the smart learning service providing method using the smart pen, by using the book setting information, the operation type defined in each page included in the printed matter and coordinates or regions corresponding thereto are displayed on the screen, and the operation type displayed on the screen or the Providing a user interface to change the corresponding coordinates or area, and changing the book setting information as the user changes the operation type or the corresponding coordinates or area through the user interface; Can be.
상기 서적 설정 정보는, 버전 정보를 더 포함하며, 상기 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법은, 로컬 저장소에 저장되어 있는 서적 설정 정보의 버전 정보를 서버로 보냄으로써 최신 버전의 서적 설정 정보를 서버에 요청하여 수신하고, 수신된 최신 버전의 서적 설정 정보를 이용하여 로컬 저장소에 저장되어 있는 서적 설정 정보의 적어도 일부를 업데이트하는 단계를 더 포함할 수 있다.The book setting information further includes version information, and the smart learning service providing method using the smart pen may transmit the book setting information of the latest version to the server by sending version information of the book setting information stored in the local storage to the server. The method may further include updating the at least a portion of the book setting information stored in the local repository by using the received request and receiving the book setting information of the latest version.
상기 기능이 수행되도록 제어하는 단계에서, 상기 서적 설정 정보의 동작 유형 정의에 따라, 상기 파라메타를 가지고 상기 기능을 로컬에서 수행하거나, 상기 기능과 파라메타에 대한 정보를 서버로 전송하여 서버가 상기 기능을 수행하도록 제어하고, 상기 기능의 수행 결과를 디스플레이에 표시할 수 있다.In the controlling of the function to be performed, according to the operation type definition of the book setting information, the function is performed locally with the parameter or the server transmits the information about the function and the parameter to the server. Control to perform, and a result of performing the function may be displayed on a display.
이러한 본 발명에 의할 때, 학습자는 아무런 이질감 없이 인쇄물과 펜을 이용하여 종전의 방식대로 학습을 하면서 스마트 러닝 기능을 수행시켜 학습에 도움이 되는 추가 정보를 쉽게 얻을 수 있다.According to the present invention, the learner can easily obtain additional information to help the learning by performing the smart learning function while learning in the conventional manner using the printed matter and the pen without any heterogeneity.
또한, 본 발명에 따르면, 사용자가 인쇄물에 인쇄된 학습 컨텐츠를 가지고 학습하면서 스마트 펜을 조작하기만 하면 대응하는 스마트 러닝 기능이 자동으로 수행되므로 학습 효과를 크게 향상 시킬 수 있다.In addition, according to the present invention, since the corresponding smart learning function is automatically performed by the user simply operating the smart pen while learning with the learning content printed on the printed matter, the learning effect can be greatly improved.
또한, 본 발명에 따르면 인쇄물에 대해 정의된 서적 설정 정보를 인쇄물 배포후에도 쉽게 업그레이드할 수 있는 방법을 제공함으로써 스마트 러닝 서비스를 동적으로 개선할 수 있다.In addition, according to the present invention it is possible to dynamically improve the smart learning service by providing a method that can easily upgrade the book setting information defined for the printed matter after the printed matter distribution.
도 1은 스마트 펜, 모바일 디바이스 및 서버의 연결관계를 설명하는 도면이며,1 is a diagram illustrating a connection relationship between a smart pen, a mobile device, and a server.
도 2는 스마트 펜의 하드웨어 구성을 설명하는 도면이며,2 is a diagram illustrating a hardware configuration of a smart pen.
도 3은 모바일 디바이스의 하드웨어 구성을 설명하는 도면이며,3 is a diagram illustrating a hardware configuration of a mobile device.
도 4는 본 발명의 일 실시예에 따른 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법을 설명하기 위한 플로우차트이며,4 is a flowchart illustrating a method for providing a smart learning service using a smart pen according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따라 학습자가 스마트 펜으로 찍은 위치에 대응하는 기능이 실행되는 모습을 예시하는 참고도이며,5 is a reference diagram illustrating a state in which a function corresponding to a position taken by a learner by a smart pen is executed according to an embodiment of the present invention.
도 6은 서적 설정 정보에 기술된 액션 코드의 구조를 예시하는 도면이며,6 is a diagram illustrating the structure of an action code described in book setting information;
도 7은 본 발명의 일 실시예에 따라 서적 설정 정보를 최신 버전으로 업그레이드 하는 과정을 설명하기 위한 플로우차트이며,7 is a flowchart illustrating a process of upgrading the book setting information to the latest version according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따라 서적 설정 정보에 정의된 기능의 수행을 제어하는 과정을 설명하기 위한 플로우차트이다.8 is a flowchart for describing a process of controlling performance of a function defined in book setting information according to an embodiment of the present invention.
이하에서 기술되는 실시예는, 학습자가 코드가 인쇄된 인쇄물과 스마트 펜을 이용하여 학습을 하는 중에 스마트 펜으로 인쇄물 내 페이지의 소정 위치를 찍거나 필기를 하면, 스마트 펜과 연동된 모바일 디바이스가 학습자의 의도에 부합하는 기능을 수행하여 학습에 도움을 주는 스마트 러닝 서비스를 제공하는 방법에 관한 것이다.According to the embodiment described below, when the learner takes a predetermined position or writes a page in the printed matter with the smart pen while the learner is using the printed material and the smart pen, the mobile device linked to the smart pen is the learner. The present invention relates to a method for providing a smart learning service that helps learning by performing a function corresponding to the intention of the user.
도 1은 스마트 펜, 모바일 디바이스 및 서버의 연결관계를 설명하는 도면이고, 도 2는 스마트 펜의 하드웨어 구성을 설명하는 도면이며, 도 3은 모바일 디바이스의 하드웨어 구성을 설명하는 도면이다.1 is a diagram illustrating a connection relationship between a smart pen, a mobile device, and a server, FIG. 2 is a diagram illustrating a hardware configuration of a smart pen, and FIG. 3 is a diagram illustrating a hardware configuration of a mobile device.
학습자는 문제집이나 교과서 또는 빈 노트와 같은 유형의 인쇄물(40)을 이용하여 학습을 하며, 스마트 펜(20)을 이용한다. 인쇄물(40)에는 스마트 펜(20)이 인식할 수 있는 다수의 코드가 미세하게 인쇄된다. 빈 노트라고 하여도 실제로는 육안으로 식별이 어려운 정도의 미세한 크기로, 또는 육안으로 식별이 어려운 색상이나 특수 안료를 사용하여 다수의 코드가 인쇄되므로 이하 인쇄물의 범주에 포함시켜 설명한다.The learner learns using a printed matter 40 of a type such as a problem book, a textbook, or a blank notebook, and uses a smart pen 20. On the printed matter 40, a plurality of codes that the smart pen 20 can recognize are finely printed. Even a blank notebook is printed in a category of printed matters because a plurality of codes are printed in a fine size that is hard to be identified by the naked eye or by using colors or special pigments that are hard to be identified by the naked eye.
이러한 코드는 학습자가 시각적으로 인지할 수 있는 글이나 이미지 같은 컨텐츠와는 별개로 종이의 여백 전체에 걸쳐서 골고루 인쇄될 수 있으며, 소정의 정보를 포함한다.These codes can be printed evenly across the margins of the paper and contain some information, independent of content such as text or images that the learner can visually recognize.
스마트 펜(20)은, 볼펜과 같은 기성의 필기구가 내장되어 실제로 종이 위에 필기하거나 그릴 수 있으며, 인쇄물 상에서 펜으로 가리켜 선택하거나 필기하는 경우 그 좌표 등을 독출하기 위한 정보를 모바일 디바이스(10)로 전송하는 장치이다.The smart pen 20 has a built-in writing instrument such as a ballpoint pen to actually write or draw on a paper, and when the user selects or writes with a pen on a printed matter, information for reading the coordinates and the like is read to the mobile device 10. The device to transmit.
도 2를 참조하면, 스마트 펜(20)은 압력감지센서(21), 카메라(22) 및 근거리 통신 모듈(23)을 포함할 수 있다.Referring to FIG. 2, the smart pen 20 may include a pressure sensor 21, a camera 22, and a short range communication module 23.
압력감지센서(21)는 펜팁에 가해지는 압력을 감지한다. 즉, 사용자가 스마트 펜(20)을 쥐고서 필기를 하거나 또는 그림을 그리거나, 아니면 인쇄물 위를 살짝 눌러서 선택하는 등의 동작을 할 때 이를 감지한다.The pressure sensor 21 detects the pressure applied to the pen tip. That is, when the user grabs the smart pen 20 to take notes or draws a picture or taps on the printed matter, the user detects this.
카메라(22)는 인쇄물(40)에 인쇄된 코드를 촬영한다.The camera 22 photographs the code printed on the printed matter 40.
근거리 통신 모듈(23)은 모바일 디바이스(10)와의 통신을 위한 수단으로, 바람직하게는 블루투스와 같은 근거리 무선 통신 규약에 의한 무선통신 어댑터일 수 있다.The short range communication module 23 is a means for communication with the mobile device 10, and may be preferably a wireless communication adapter based on a short range wireless communication protocol such as Bluetooth.
모바일 디바이스(10)는, 스마트 펜(20)과 연동하여 정보를 전달받으면, 그로부터 서적 식별 정보, 페이지 정보 및 좌표 정보를 획득하고, 획득된 정보에 대응하는 학습 기능을 수행하는 장치이다.When the mobile device 10 receives information in cooperation with the smart pen 20, the mobile device 10 obtains book identification information, page information, and coordinate information therefrom, and performs a learning function corresponding to the obtained information.
도 3을 참조하면, 모바일 디바이스(10)는 프로세서(11), 입력 수단(15), 디스플레이(12), 스마트펜 연동수단(13) 및 통신수단(14)을 포함할 수 있다.Referring to FIG. 3, the mobile device 10 may include a processor 11, an input unit 15, a display 12, a smart pen interworking unit 13, and a communication unit 14.
프로세서(11)는 컴퓨터 프로그램에 수록된 명령어를 실행하며, 본 발명에 따른 스마트 러닝 서비스 제공 방법을 수행하기 위해 기록매체에 기록된 컴퓨터 프로그램을 실행한다.The processor 11 executes the instructions contained in the computer program, and executes the computer program recorded on the recording medium in order to perform the smart learning service providing method according to the present invention.
입력 수단(15)은 사용자 입력을 수신하기 위한 수단으로, 모바일 디바이스(10)가 지원하는 방법에 따라 입력된 사용자 입력을 프로세서(11)로 전달한다.The input means 15 is a means for receiving a user input, and transmits the input user input to the processor 11 according to a method supported by the mobile device 10.
디스플레이(12)는 터치 패널을 구비할 수 있으며, 시각적 형태로 정보를 표시한다. 공지의 터치스크린이나 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 등의 형태일 수 있다.The display 12 may include a touch panel and display information in a visual form. It may be in the form of a known touch screen, a liquid crystal display (LCD), a light emitting diode (LED), or the like.
스마트 펜 연동수단(13)은 스마트 펜(20)과 통신하기 위한 수단으로서, 바람직하게는 블루투스 등 공지의 규격에 따른 무선 통신 어댑터일 수 있다.The smart pen interlocking means 13 is a means for communicating with the smart pen 20, preferably a wireless communication adapter according to a known standard such as Bluetooth.
통신수단(14)은 인터넷 망을 통해 서버(30)와 통신하기 위한 것으로, 이더넷 어댑터이거나 또는 WiFi 어댑터 등 알려진 유무선 통신규격에 의한 어댑터일 수 있다. The communication means 14 is for communicating with the server 30 through the Internet network, and may be an adapter according to a known wired or wireless communication standard such as an Ethernet adapter or a WiFi adapter.
한편, 모바일 디바이스(10)는 공지의 스마트폰, 타블렛 컴퓨터, 랩탑 컴퓨터 등의 형태일 수 있으며, 이외에도 상기의 설명을 만족하는 것이라면 그 형태나 명칭에 국한되지 아니한다.On the other hand, the mobile device 10 may be in the form of a known smartphone, tablet computer, laptop computer, and the like, in addition to the above description, and is not limited to the form or name.
서버(30)는 인터넷 망 등을 통해 접속한 다수의 모바일 디바이스(10)로부터 정보 또는 기능의 실행에 대한 요청을 받고, 요청된 정보를 리턴하거나 요청된 기능을 실행하고 그 결과를 모바일 디바이스(10)로 전송하기 위한 장치이다. 또한, 사용자들의 계정을 관리하고 사용자별 학습 과목이나 학습 진도 등 학습 정보를 관리한다.The server 30 receives a request for the execution of information or a function from a plurality of mobile devices 10 connected through an internet network or the like, returns the requested information or executes the requested function, and returns the result to the mobile device 10. ) Is a device for transmitting. In addition, it manages users' accounts and manages learning information such as learning subjects and learning progress for each user.
학습자가 인쇄물(40)을 펼친 상태로 학습을 하면서, 스마트 펜(20)을 이용하여 인쇄물에 스마트 펜(20)의 펜팁을 갖다대면, 스마트 펜(20)은 카메라(22)를 통해 펜팁의 위치에 있는 코드를 촬영해서 모바일 디바이스(10)로 전송하고, 모바일 디바이스(10)는 스마트 펜(20)으로부터 수신되는 정보를 이용하여 어떤 인쇄물의 어떤 페이지상의 어떤 위치를 찍었는지 판단하고, 서버(30)와 연동하여 그에 대응하는 액션을 취함으로써 학습자가 원하는 스마트 러닝 기능을 자동으로 제공할 수 있도록 처리한다.While the learner learns while spreading the printed matter 40, when the pen tip of the smart pen 20 is placed on the printed matter by using the smart pen 20, the smart pen 20 is positioned of the pen tip through the camera 22. Photographed and transmitted to the mobile device 10, the mobile device 10 determines which position on which page of which prints was taken by using the information received from the smart pen 20, and the server 30. By taking action corresponding to this, the learner can automatically provide the desired smart learning function.
도 4는 본 발명의 일 실시예에 따른 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법을 설명하기 위한 플로우차트이다.4 is a flowchart for describing a smart learning service providing method using a smart pen according to an embodiment of the present invention.
도 4를 참조하여, 모바일 디바이스(10)가 스마트 펜(20)과 연동하여 스마트 펜(20)을 통한 사용자 입력을 처리하는 과정을 상세히 살펴보면 아래와 같다.Referring to FIG. 4, a process of processing a user input through the smart pen 20 in conjunction with the smart pen 20 will be described in detail as follows.
학습자는 학습에 앞서 스마트 펜(20)을 모바일 디바이스(10)에 페어링 시킨다. 이후, 인쇄물(40)을 펼쳐서 학습을 하다가 인쇄물 상의 임의의 지점을 스마트 펜(20)의 펜팁으로 누르거나, 그리는 등의 동작을 하면 스마트 펜(20)이 카메라(22)를 통해 코드를 인식한다.The learner pairs the smart pen 20 to the mobile device 10 prior to learning. Subsequently, while unfolding the printed matter 40, the smart pen 20 recognizes a code through the camera 22 when an arbitrary point on the printed matter is pressed or drawn by a pen tip of the smart pen 20. .
모바일 디바이스(10)는 스마트 펜(20)이 인쇄물(40)에 인쇄된 코드를 인식함에 따라, 스마트 펜(20)와 연동하여 서적 식별자, 상기 인쇄물 상의 페이지 정보 및 좌표 정보를 획득한다(S42).As the smart pen 20 recognizes the code printed on the printed matter 40, the mobile device 10 acquires a book identifier, page information on the printed matter, and coordinate information in cooperation with the smart pen 20 (S42). .
코드는 다수의 도트의 조합으로 구현될 수 있으며, 각 도트의 이격 거리에 따라서 서로 다른 정보를 표현한다. 이러한 도트들은 매우 미세하거나 또는 육안으로 식별이 어려운 색상으로 인쇄되어 시야를 가리지 않는다.The code may be implemented as a combination of a plurality of dots, and represents different information according to the separation distance of each dot. These dots are printed in very fine or visually invisible colors and do not obscure the field of view.
인쇄물(40)의 모든 페이지에는 서적 식별자를 지시하는 코드가 일정 간격으로 인쇄될 수 있다. 서적 식별자와 관련하여 모든 페이지는 동일한 코드를 갖는다.On every page of the printed matter 40, a code indicating a book identifier may be printed at regular intervals. Regarding the book identifier, all pages have the same code.
또한, 각 페이지에는 페이지 정보(즉, 해당 페이지가 몇 페이지인지를 나타내는 정보)를 지시하는 코드가 일정 간격으로 인쇄될 수 있다. 페이지 정보와 관련하여 모든 페이지는 서로 다른 코드를 갖는다.In addition, a code indicating page information (that is, information indicating how many pages the page is) may be printed on each page at regular intervals. Regarding page information, every page has a different code.
한편, 각 페이지에는 모든 영역에 걸쳐 좌표를 지시하는 코드가 인쇄된다. 좌표는 x, y값의 쌍을 코드의 형태로 표현한 것일 수 있다. 좌표값과 관련하여, 바람직하게는 모든 페이지의 같은 위치에는 동일한 코드가 인쇄된다.On the other hand, a code indicative of coordinates is printed on every page. Coordinates may be a pair of x and y values expressed in the form of a code. Regarding the coordinate value, the same code is preferably printed at the same position on all pages.
다음으로, 모바일 디바이스(10)는 서적 식별 정보에 해당하는 서적 설정 정보가 로컬 저장소에 저장되어 있는지 확인한다(S44).Next, the mobile device 10 checks whether book setting information corresponding to the book identification information is stored in the local storage (S44).
모바일 디바이스(10)는 서버(30)로부터 스마트 러닝 서비스를 위한 애플리케이션을 설치할때 지원하는 인쇄물들에 대한 서적 설정 정보를 포함하는 파일을 일괄적으로 수신하여 로컬 저장소에 저장하거나, 스마트 펜(20)으로부터 인쇄물의 서적 식별 정보를 처음으로 수신할 때 서버(30)로 해당 서적 설정 정보를 요청하여 수신할 수 있다.  The mobile device 10 collectively receives a file including book setting information on printed matters supported when installing an application for a smart learning service from the server 30 and stores it in a local storage, or the smart pen 20 When the book identification information of the printed matter is received from the server for the first time, the server 30 may request and receive the corresponding book setting information.
상기 방식들 중 후자의 방식을 사용하거나, 새로운 인쇄물이 배포됨으로써, 로컬 저장소에 필요한 서적 설정 정보가 존재하지 않는 경우(S46), 모바일 디바이스(10)는 서버(30)로 서적 식별 정보를 전송하여 필요한 서적 설정 정보를 요청한다(S48).When the latter one of the above methods is used or a new printed matter is distributed, and there is no book setting information necessary for local storage (S46), the mobile device 10 transmits the book identification information to the server 30. Request the required book setting information (S48).
서버(30)로부터 서적 설정 정보를 수신하면, 모바일 디바이스(10)는 수신된 서적 설정 정보를 로컬 저장소에 저장한다(S50).When receiving the book setting information from the server 30, the mobile device 10 stores the received book setting information in the local storage (S50).
서적 설정 정보는 XML(Extensible Markup Language)로 기술될 수 있으며, 그에 따라 원하는 좌표에 대한 동작 유형이 쉽게 검색될 수 있으며, 구조화된 파일 상에서 일부 내용을 쉽게 업데이트할 수도 있고 새로운 정의를 추가하기도 쉽다.Book setting information can be described in Extensible Markup Language (XML), so the type of action for the desired coordinates can be easily retrieved, making it easy to update some content on structured files, or to add new definitions.
필요한 서적 설정 정보에의 접근이 가능하면, 스마트 펜(20)으로부터 획득된 페이지 정보 및 좌표 정보에 대응하는 동작 유형을 결정한다(S52).If the necessary book setting information is accessible, the operation type corresponding to the page information and the coordinate information obtained from the smart pen 20 is determined (S52).
서적 설정 정보는 지원 가능한 인쇄물의 서적 식별 정보에 의해 식별 가능하며, 서적 식별 정보 뿐만 아니라 인쇄물의 제목, 학습 과목, 학습 대상자, 강사, 교재 유형, 저자, 출판사, 목차, 페이지 수 등 인쇄물에 대한 맥락 정보를 포함할 수 있다.The book setting information can be identified by the book identification information of the printable support, and not only the book identification information, but also the context of the printed matter such as the title of the printed matter, subject, subject, lecturer, textbook type, author, publisher, table of contents, and number of pages. May contain information.
또한, 서적 설정 정보는, 해당 인쇄물의 각 페이지에 대한 정의를 포함하며, 각 페이지에 대한 정의는 각 좌표별로 대응하는 동작 유형 정보를 포함한다. 하나의 동작 유형은 하나의 좌표 또는 복수의 좌표에 대응되도록 정의될 수 있고, 페이지의 모든 좌표에 대해 동작 유형이 정의될 필요는 없으며, 스마트 러닝 기능이 필요한 좌표들에 대해서만 해당 동작 유형이 할당되면 족하다. 또는 특정 위치를 제외한 나머지 위치에는 디폴트로 임의의 동작 유형을 정의해 둘 수도 있다. In addition, the book setting information includes a definition for each page of the corresponding printed matter, and the definition for each page includes corresponding operation type information for each coordinate. An action type may be defined to correspond to one coordinate or a plurality of coordinates, an action type does not need to be defined for all coordinates of a page, and the action type is assigned only to coordinates requiring smart learning functions. It is enough. Alternatively, you can define any type of action by default in any location except for a specific location.
각 동작 유형은 해당 기능을 수행하는 명령어나 함수로 기술될 수 있으며, 필요한 파라메타의 리스트 및/또는 기능을 로컬에서 수행할 것인지 원격으로 수행할 것인지 여부도 함께 기술될 수 있다.Each operation type may be described as a command or a function that performs a corresponding function, and a list of required parameters and / or whether a function is performed locally or remotely.
수행할 동작 유형이 결정되면 해당 기능에 필요한 파라메타(들)을 구성할 필요가 있다(S54). 파라메타 값(들)은, 스마트 펜(20)으로부터 획득된 서적 식별 정보, 페이지 정보 및 좌표 정보를 포함하는 스마트 펜 입력 위치 정보, 서적 설정 정보에 포함된 맥락 정보 및 모바일 디바이스(10)의 입력 수단을 통해 감지된 사용자 입력 중 적어도 하나를 이용하여 구성될 수 있다. If the type of operation to be performed is determined, it is necessary to configure the parameter (s) necessary for the function (S54). The parameter value (s) may include the smart pen input location information including the book identification information, the page information and the coordinate information obtained from the smart pen 20, the context information included in the book setting information, and the input means of the mobile device 10. It may be configured using at least one of the user input detected through.
모바일 디바이스(10)의 입력 수단(15)을 통해 감지된 사용자 입력은 스마트 펜(20)을 통해 획득된 정보와 별도의 것으로, 사용자의 추가 선택이 필요한 동작 유형의 경우 사용될 수 있다. 이 경우 모바일 디바이스(10)는 사용자에게 선택 옵션을 제공하고 사용자의 선택에 따라 파라메타 값을 결정한다.The user input sensed through the input means 15 of the mobile device 10 is separate from the information obtained through the smart pen 20 and may be used in the case of an operation type requiring further selection of the user. In this case, the mobile device 10 provides a selection option to the user and determines a parameter value according to the user's selection.
모바일 디바이스(10)는 상기와 같이 구성된 파라메타를 가지고 동작 유형에 대응하는 기능을 수행하도록 제어한다(S56). 스마트 펜 입력 위치 정보에 대응하는 동작 유형이 정의되어 있지 않은 경우에는 다른 동작을 하지 않고 종료한다.The mobile device 10 controls to perform a function corresponding to the operation type with the parameters configured as described above (S56). If an operation type corresponding to the smart pen input location information is not defined, the operation ends without performing another operation.
예를 들어, 사용자가 인쇄물에 인쇄된 어떤 영어 문구를 스마트 펜으로 찍었을 때, 대응하는 동작 유형은 영어 문구를 오디오로 재생하는 기능일 수 있고, 파라메타는 학습자가 원하는 영어 문구를 식별하는데 사용될 스마트 펜 입력 위치 정보일 수 있다. 모바일 디바이스(10)는 스마트 펜 입력 위치 정보를 이용하여 영어 문구를 획득하고 해당 문구에 대한 오디오 파일을 인출하여 재생하도록 제어한다.For example, when a user takes a smart pen of an English phrase printed on a printout, the corresponding action type may be the ability to play the English phrase as audio, and the parameter may be used to identify the English phrase desired by the learner. Pen input location information. The mobile device 10 controls to acquire an English phrase using the smart pen input location information and to retrieve and play an audio file for the phrase.
각 기능은 서버(30)에서 제공하는 API(Application Program Interface) 함수 형태로 구현될 수 있으며, 모바일 디바이스(10)에 적재된 컴퓨터 프로그램 내에 해당 API를 호출하는 명령어로 포함될 수 있다. 또한, 프로세서(11)가 실행하는 명령어는 컴퓨터 프로그램의 형태로 수록되어 로컬에 저장될 수도 있다.Each function may be implemented in the form of an API (Application Program Interface) function provided by the server 30, and may be included as a command for calling a corresponding API in a computer program loaded in the mobile device 10. In addition, the instructions executed by the processor 11 may be stored in the form of a computer program and stored locally.
도 5는 본 발명의 일 실시예에 따라 학습자가 스마트 펜으로 찍은 위치에 대응하는 기능이 실행되는 모습을 예시한 도면이다.5 is a diagram illustrating a state in which a function corresponding to a position taken by a learner with a smart pen is executed according to an embodiment of the present invention.
도 5를 참조하면, 학습자가 인쇄물(40)의 한 위치에 스마트 펜(20)의 펜팁을 갖다 대면, 해당 위치에 인쇄된 코드가 촬영되고 그에 대한 정보가 모바일 디바이스(10)로 전송된다. 모바일 디바이스(10)는 수신되는 정보로부터 서적 식별 정보 book1, 페이지 1, 좌표 (10, 200) 라는 스마트 펜 입력 위치 정보(62)를 획득한다.Referring to FIG. 5, when a learner places the pen tip of the smart pen 20 at a position of the printed matter 40, a code printed at the position is photographed and information about the code is transmitted to the mobile device 10. The mobile device 10 obtains the smart pen input location information 62 called book identification information book1, page 1, coordinates 10, 200 from the received information.
book1에 해당하는 서적 설정 정보(60)에는 페이지 1의 좌표(10, 200)에 function1이라는 함수와 파라메타 p1, p2, p3가 대응되는 것으로 정의되어 있다(64). 모바일 디바이스(10)는 로컬에서 또는 서버에 요청하여 function1(p1, p2, p3)를 실행하고 그 결과 화면(66)을 사용자에게 제공한다.In the book setting information 60 corresponding to book1, a function called function1 and parameters p1, p2, and p3 correspond to the coordinates 10 and 200 of page 1 (64). Mobile device 10 executes function1 (p1, p2, p3) locally or by requesting a server and as a result presents screen 66 to the user.
도 6은 서적 설정 정보에 기술된 액션 코드의 구조를 예시한다.6 illustrates the structure of the action code described in the book setting information.
서적 설정 정보에는 페이지 상의 소정의 영역이 설정될 수 있으며, 각 영역에 대응하는 액션 코드가 기술될 수 있다.In the book setting information, a predetermined area on a page may be set, and an action code corresponding to each area may be described.
즉, 액션 코드는 페이지 상의 특정 좌표 또는 복수의 좌표로 구성되는 영역에 대응된다.That is, the action code corresponds to an area composed of a specific coordinate or a plurality of coordinates on the page.
도 5의 예에서 페이지 1의 좌표(10, 200)에 대응되는 function1 함수와 파라메타는 하나의 액션 코드로 기술될 수 있다. 모바일 디바이스(10)에 의해 서적 설정 정보로부터 해당하는 액션 코드가 독출됨에 따라 function1 함수가 모바일 디바이스(10) 또는 서버에 의해 실행된다.In the example of FIG. 5, the function1 function and the parameters corresponding to the coordinates 10 and 200 of page 1 may be described as one action code. As the corresponding action code is read from the book setting information by the mobile device 10, the function1 function is executed by the mobile device 10 or the server.
도 6의 예에서, 액션코드는 맥락 정보와 서적 식별 정보, 페이지 정보 및 동작 유형 정보를 포함하는 소정의 데이터 구조로 정의될 수 있음을 알 수 있다.In the example of FIG. 6, it can be seen that the action code may be defined as a predetermined data structure including context information, book identification information, page information, and action type information.
맥락 정보는 서적의 제목이나 학습 과목명, 강사, 저자 등의 정보 가운데 하나 이상을 나타낼 수 있으며 소정의 규격에 따라 정의된 코드 형태로 기술될 수 있다.The contextual information may represent one or more of information such as a book title, a learning subject name, a lecturer, an author, and the like, and may be described in a code form defined according to a predetermined standard.
도 6에 예시된 맥락 정보는 "HED2L"과 같은 코드로 표시되는데, 이는 맥락 정보를 소정의 규칙에 따라서 코드화한 것이다.The contextual information illustrated in FIG. 6 is represented by a code such as "HED2L", which encodes the contextual information according to a predetermined rule.
동작 유형 정보는 섹션코드와 기능코드의 조합으로 이루어진 코드일 수 있다. 섹션코드는 컨텐츠의 유형을 구분하기 위한 것이며, 기능코드는 서버나 모바일 디바이스(10)가 실행할 기능의 종류를 구분하기 위한 것이다.The operation type information may be a code consisting of a combination of a section code and a function code. The section code is used to classify the type of content, and the function code is used to classify the type of function to be executed by the server or mobile device 10.
예컨대, 섹션코드에서 A는 개념 설명, B는 문제 풀이, C는 지문 해설과 같이 모바일 디바이스(10)나 서버를 통해 제공될 컨텐츠의 유형을 나타낼 수 있다.For example, in the section code, A may represent a concept description, B may solve a problem, and C may represent a type of content to be provided through the mobile device 10 or the server, such as a fingerprint commentary.
기능코드는 예컨대, 이메일 보내기는 E, 동영상 재생은 M, 질문하기는 Q와 같이 실행될 기능의 종류를 표시할 수 있다.The function code may indicate the type of function to be executed, for example, E for sending an email, M for playing a video, or Q for asking a question.
동작 유형 정보가 AE인 경우, "개념 설명과 관련하여 이메일 보내기"에 해당하는 동작 유형을 지시하는 것이다.If the action type information is AE, it indicates an action type corresponding to "send e-mail with respect to concept description".
따라서, 도 6에 예시된 액션코드 "HED2L_0035_005_AE"는, 맥락정보는 "HED2L"이며, "0035"에 해당하는 인쇄물의 "005" 페이지에 해당하는 "개념 설명과 관련하여 이메일 보내기" 기능을 실행하라는 의미를 갖는다.Therefore, the action code "HED2L_0035_005_AE" illustrated in FIG. 6 has a context information "HED2L", and the user needs to execute the "send e-mail regarding the conceptual description" function corresponding to the "005" page of the print corresponding to "0035". Has meaning.
도 7은 본 발명의 일 실시예에 따라 서적 설정 정보를 최신 버전으로 업그레이드 하는 과정을 설명하기 위한 플로우차트이다.7 is a flowchart illustrating a process of upgrading book setting information to the latest version according to an embodiment of the present invention.
도 7을 참조하면, 모바일 디바이스(10)가 로컬에 저장된 서적 설정 정보를 찾으면 버전 정보를 인출한다(S461). 인출된 버전 정보는 최신 버전인지 확인하기 위해 서버(30)로 전송된다(S462). 서버(30)는 서적 설정 정보가 최신 버전이 아닌 경우, 최신 버전 정보와 함께 엡데이트된 서적 설정 정보 전체 또는 업데이트할 부분 정보를 모바일 디바이스(10)로 전송한다(S463, S464).Referring to FIG. 7, when the mobile device 10 finds book setting information stored locally, version information is retrieved (S461). The drawn version information is transmitted to the server 30 to check whether the latest version (S462). If the book setting information is not the latest version, the server 30 transmits the updated book setting information or the partial information to be updated to the mobile device 10 together with the latest version information (S463 and S464).
모바일 디바이스(10)는 수신된 서적 설정 정보를 로컬 저장소의 서적 설정 정보와 교체하거나 업데이트할 부분만을 변경함으로써, 서적 설정 정보를 최신 버전으로 업그레이드 한다(S465).The mobile device 10 upgrades the book setting information to the latest version by replacing only the portion to be replaced or updated with the book setting information of the local storage with the book setting information (S465).
도 8은 본 발명의 일 실시예에 따라 서적 설정 정보에 정의된 기능의 수행을 제어하는 과정을 설명하기 위한 플로우차트이다.8 is a flowchart for describing a process of controlling performance of a function defined in book setting information according to an embodiment of the present invention.
모바일 디바이스(10)는 스마트 펜 입력 위치에 대응하는 동작 유형을 결정한 후 해당 기능을 수행할 주체를 결정하는데, 수행 주체에 대해서는 서적 설정 정보에 정의될 수 있다(S561). 또한, 모든 스마트 러닝 기능을 누가 수행할 것인지에 대해 해당 애플리케이션의 설정 정보로 정의할 수도 있다.After determining the operation type corresponding to the smart pen input position, the mobile device 10 determines a subject to perform the corresponding function, which may be defined in the book setting information (S561). In addition, it is possible to define who will perform all the smart learning functions as the setting information of the corresponding application.
모바일 디바이스(10)가 처리해야 하는 로컬 기능이면(S562), 모바일 디바이스(10)의 애플리케이션에서 해당 기능을 수행한다(S563).If the mobile device 10 has a local function to process (S562), the application of the mobile device 10 performs the corresponding function (S563).
로컬 기능이 아니면(S562), 기능에 대한 정보와 파라메타를 서버(30)로 전송하여 또는 해당 API를 호출하여 수행을 요청하고(S564), 수행의 결과를 서버(30)로부터 수신한다(S565).If it is not a local function (S562), and transmits information and parameters about the function to the server 30 or calls the corresponding API (S564), and receives the result of the execution from the server 30 (S565) .
수행 결과로서 학습자에게 제공해야 할 정보는 화면에 출력될 것이다(S566). 수행의 결과는 비디오 정보뿐만 아니라 오디오 정보도 포함할 수 있으며 이 경우 모바일 디바이스(10)는 자동으로 또는 사용자 요청에 따라 오디오 정보를 재생할 것이다.Information to be provided to the learner as a result of the execution will be displayed on the screen (S566). The result of the performance may include audio information as well as video information, in which case the mobile device 10 will play the audio information automatically or upon user request.
한편, 어떤 인쇄물에 대해 정의된 서적 설정 정보를 인쇄물 배포자나 학습 정보 제공자뿐만 아니라 사용자가 변경하도록 구현할 수 있다. 이 실시예에 따르면, 학습자는 서적 설정 정보에 정의된 동작 유형을 다른 것으로 변경하거나 하나의 위치에 대해 정의된 복수의 동작 유형들의 실행 순서를 변경하는 등 자신에 맞는 스마트 러닝 서비스를 설계할 수 있다. Meanwhile, the book setting information defined for a certain printed matter may be implemented to be changed by a user as well as a printed matter distributor or a learning information provider. According to this embodiment, the learner can design a smart learning service that is suitable for the user by changing the action type defined in the book setting information to another or changing the execution order of the plurality of action types defined for one location. .
이를 위해 모바일 디바이스(10)는 서적 설정 정보를 이용하여 인쇄물에 포함된 각 페이지에 정의된 동작 유형과 그에 대응하는 좌표 또는 영역을 화면에 표시하고, 화면에 표시된 동작 유형이나 그에 대응하는 좌표 또는 영역을 변경할 수 있도록 하는 사용자 인터페이스를 제공하고, 사용자가 상기 사용자 인터페이스를 통해 동작 유형이나 그에 대응하는 좌표 또는 영역을 변경함에 따라 상기 서적 설정 정보를 변경한다.To this end, the mobile device 10 uses the book setting information to display an operation type defined in each page included in the printout and a corresponding coordinate or area on the screen, and the operation type displayed on the screen or a coordinate or area corresponding thereto. It provides a user interface that allows to change, and changes the book setting information as the user changes the operation type or the corresponding coordinates or area through the user interface.
본 발명은 스마트 펜을 이용한 전자적 학습 기술분야에 적용될 수 있다.The present invention can be applied to the field of electronic learning technology using a smart pen.

Claims (7)

  1. 정보를 표시하는 디스플레이;A display for displaying information;
    사용자 입력을 수신하는 입력수단;Input means for receiving a user input;
    스마트 펜과 통신하는 스마트 펜 연동수단;Smart pen interlocking means for communicating with the smart pen;
    인터넷 망을 통해 서버와 통신하는 통신수단; 및Communication means for communicating with a server via an internet network; And
    정보를 처리하는 프로세서;를 구비하되,A processor for processing information;
    상기 프로세서는, 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜과 연동하여 상기 인쇄물의 서적 식별 정보, 페이지 정보 및 좌표 정보를 획득하며,The processor acquires book identification information, page information, and coordinate information of the printed matter in association with the smart pen as the smart pen recognizes a code printed on the printed matter,
    상기 스마트 펜으로부터 획득된 서적 식별 정보에 해당하는 서적 설정 정보가 로컬 저장소에 존재하지 않으면 상기 통신수단을 통해 서버로 상기 서적 식별 정보를 전송하여 서적 설정 정보를 요청하고,If the book setting information corresponding to the book identification information obtained from the smart pen does not exist in the local storage, requesting book setting information by transmitting the book identification information to the server through the communication means,
    로컬 저장소 또는 서버로부터 획득한 서적 설정 정보를 참조하여 상기 스마트 펜으로부터 획득된 페이지 정보 및 좌표 정보에 대응하는 동작 유형을 결정하고,The operation type corresponding to the page information and the coordinate information obtained from the smart pen is determined by referring to the book setting information obtained from the local storage or the server.
    상기 스마트 펜으로부터 획득된 정보, 상기 서적 설정 정보에 포함된 상기 인쇄물에 대한 맥락 정보, 및 상기 입력수단을 통한 사용자 입력 중 적어도 하나를 이용하여 파라메타를 구성하고,Configures a parameter using at least one of information obtained from the smart pen, contextual information on the printed matter included in the book setting information, and user input through the input means,
    상기 결정된 동작 유형에 대응하는 기능이 상기 구성된 파라메타를 가지고 수행되도록 제어하는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법을 처리하는 모바일 디바이스.The mobile device processing the smart learning service providing method using a smart pen, characterized in that the control to perform a function corresponding to the determined operation type with the configured parameter.
  2. 모바일 디바이스가,Mobile devices,
    페어링 된 스마트 펜이 인쇄물에 인쇄된 코드를 인식함에 따라, 상기 스마트 펜으로부터 상기 인쇄물의 서적 식별 정보, 페이지 정보 및 좌표 정보를 획득하는 단계;Acquiring book identification information, page information, and coordinate information of the printed matter from the smart pen as the paired smart pen recognizes the code printed on the printed matter;
    상기 스마트 펜으로부터 획득된 서적 식별 정보에 해당하는 서적 설정 정보가 로컬 저장소에 존재하지 않으면 상기 통신수단을 통해 서버로 상기 서적 식별 정보를 전송하여 서적 설정 정보를 요청하는 단계;Requesting book setting information by transmitting the book identification information to a server through the communication means if book setting information corresponding to book identification information obtained from the smart pen does not exist in the local storage;
    로컬 저장소 또는 서버로부터 획득한 서적 설정 정보를 참조하여 상기 스마트 펜으로부터 획득된 페이지 정보 및 좌표 정보에 대응하는 동작 유형을 결정하는 단계;Determining an operation type corresponding to page information and coordinate information obtained from the smart pen by referring to book setting information obtained from a local storage or a server;
    상기 스마트 펜으로부터 획득된 정보, 상기 서적 설정 정보에 포함된 상기 인쇄물에 대한 맥락 정보, 및 상기 입력수단을 통한 사용자 입력 중 적어도 하나를 이용하여 파라메타를 구성하는 단계; 및Constructing a parameter using at least one of information obtained from the smart pen, contextual information on the printed matter included in the book setting information, and user input through the input means; And
    상기 결정된 동작 유형에 대응하는 기능이 상기 구성된 파라메타를 가지고 수행되도록 제어하는 단계;를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법.And controlling a function corresponding to the determined operation type to be performed with the configured parameter.
  3. 제2항에 있어서,The method of claim 2,
    상기 서적 설정 정보는, 인쇄물에 관련된 맥락 정보와, 인쇄물에 포함된 각 페이지에 존재하는 좌표 또는 복수의 좌표로 구성되는 영역에 대응하는 동작 유형 정보를 포함하는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법.The book setting information may include contextual information related to a printed matter and operation type information corresponding to a region composed of coordinates or a plurality of coordinates existing in each page included in the printed matter. How we deliver the service.
  4. 제3항에 있어서,The method of claim 3,
    상기 동작 유형 정보는 컨텐츠의 유형을 구분하기 위한 섹션코드와 실행할 기능의 종류를 구분하기 위한 기능코드를 포함하며,The operation type information includes a section code for classifying a type of content and a function code for classifying a type of a function to be executed.
    상기 서적 설정 정보는, 동작 유형 정보, 맥락 정보, 서적 식별 정보 또는 페이지 정보를 포함하는 소정의 데이터 구조로 정의된 다수의 액션 코드를 포함하되, 각 액션 코드는 페이지에 존재하는 좌표 또는 복수의 좌표로 구성되는 영역에 대응되는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법.The book setting information includes a plurality of action codes defined in a predetermined data structure including action type information, context information, book identification information, or page information, each action code being a coordinate or a plurality of coordinates existing in a page. Smart learning service providing method using a smart pen, characterized in that corresponding to the region consisting of.
  5. 제3항에 있어서,The method of claim 3,
    상기 서적 설정 정보를 이용하여 인쇄물에 포함된 각 페이지에 정의된 동작 유형과 그에 대응하는 좌표 또는 영역을 화면에 표시하고, 화면에 표시된 동작 유형이나 그에 대응하는 좌표 또는 영역을 변경할 수 있도록 하는 사용자 인터페이스를 제공하는 단계와,A user interface for displaying the operation type defined in each page included in the printed matter and the corresponding coordinates or regions on the screen by using the book setting information, and for changing the operation type displayed on the screen or the corresponding coordinates or region on the screen. Providing a,
    사용자가 상기 사용자 인터페이스를 통해 동작 유형이나 그에 대응하는 좌표 또는 영역을 변경함에 따라 상기 서적 설정 정보를 변경하는 단계를 더 포함하는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법.And changing the book setting information according to a user changing an operation type or a coordinate or an area corresponding to the operation type through the user interface.
  6. 제3항에 있어서,The method of claim 3,
    상기 서적 설정 정보는, 버전 정보를 더 포함하며, The book setting information further includes version information,
    로컬 저장소에 저장되어 있는 서적 설정 정보의 버전 정보를 서버로 보냄으로써 최신 버전의 서적 설정 정보를 서버에 요청하여 수신하고, 수신된 최신 버전의 서적 설정 정보를 이용하여 로컬 저장소에 저장되어 있는 서적 설정 정보의 적어도 일부를 업데이트하는 단계를 더 포함하는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법.Sends the latest version of the book setting information to the server by sending the version information of the book setting information stored in the local repository to the server, and the book setting stored in the local repository using the latest version of the book setting information received. A method of providing a smart learning service using a smart pen further comprising updating at least a part of the information.
  7. 제2항에 있어서,The method of claim 2,
    상기 기능이 수행되도록 제어하는 단계에서,In the step of controlling to perform the function,
    상기 서적 설정 정보의 동작 유형 정의에 따라, 상기 파라메타를 가지고 상기 기능을 로컬에서 수행하거나, 상기 기능과 파라메타에 대한 정보를 서버로 전송하여 서버가 상기 기능을 수행하도록 제어하고, 상기 기능의 수행 결과를 디스플레이에 표시하는 것을 특징으로 하는 스마트 펜을 이용한 스마트 러닝 서비스 제공 방법.According to the operation type definition of the book setting information, the function is performed locally with the parameter or the server transmits information on the function and parameters to the server to control the server to perform the function, and the result of the function is performed. Smart learning service providing method using a smart pen characterized in that the display on the display.
PCT/KR2016/006461 2015-11-26 2016-06-17 Method for providing smart learning service using smart pen and mobile device for processing same WO2017090857A1 (en)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR10-2015-0166403 2015-11-26
KR10-2015-0166424 2015-11-26
KR20150166403 2015-11-26
KR20150166424 2015-11-26
KR20150166423 2015-11-26
KR10-2015-0166423 2015-11-26
KR10-2016-0067505 2016-05-31
KR1020160067505 2016-05-31

Publications (1)

Publication Number Publication Date
WO2017090857A1 true WO2017090857A1 (en) 2017-06-01

Family

ID=58763789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006461 WO2017090857A1 (en) 2015-11-26 2016-06-17 Method for providing smart learning service using smart pen and mobile device for processing same

Country Status (1)

Country Link
WO (1) WO2017090857A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929050A (en) * 2019-12-04 2020-03-27 幸淑妃 Learning control method and device
CN111507330A (en) * 2020-04-15 2020-08-07 腾讯科技（深圳）有限公司 Exercise recognition method and device, electronic equipment and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040096799A (en) * 2004-06-30 2004-11-17 주식회사 연세교육미디어 On/off line integrate education system using interactive publication and embodiment method thereof
US20050021559A1 (en) * 2002-05-24 2005-01-27 Hiroshi Usuda Terminal device, content acquisition method, content providing method, and information input medium
KR20110134664A (en) * 2010-06-09 2011-12-15 주식회사 티스터디 Method and server for publishing on demand
KR20120029026A (en) * 2010-09-15 2012-03-26 이상규 Contents view optical communication system for connecting a pattern code cognition pen and drive method of the same
KR101157630B1 (en) * 2011-09-01 2012-07-09 주식회사 창비 A study book and study kit for audio-visual education
KR20130007000A (en) * 2011-06-28 2013-01-18 한밭대학교 산학협력단 Self-study system by linkage ontology management system and self-study method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050021559A1 (en) * 2002-05-24 2005-01-27 Hiroshi Usuda Terminal device, content acquisition method, content providing method, and information input medium
KR20040096799A (en) * 2004-06-30 2004-11-17 주식회사 연세교육미디어 On/off line integrate education system using interactive publication and embodiment method thereof
KR20110134664A (en) * 2010-06-09 2011-12-15 주식회사 티스터디 Method and server for publishing on demand
KR20120029026A (en) * 2010-09-15 2012-03-26 이상규 Contents view optical communication system for connecting a pattern code cognition pen and drive method of the same
KR20130007000A (en) * 2011-06-28 2013-01-18 한밭대학교 산학협력단 Self-study system by linkage ontology management system and self-study method
KR101157630B1 (en) * 2011-09-01 2012-07-09 주식회사 창비 A study book and study kit for audio-visual education

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929050A (en) * 2019-12-04 2020-03-27 幸淑妃 Learning control method and device
CN111507330A (en) * 2020-04-15 2020-08-07 腾讯科技（深圳）有限公司 Exercise recognition method and device, electronic equipment and storage medium
CN111507330B (en) * 2020-04-15 2023-04-25 腾讯科技（深圳）有限公司 Problem recognition method and device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
JP2013145265A (en) Server, terminal device for learning, and learning content management method
CN107292784A (en) Education Administration Information System based on digit optical dot matrix techniques
CN103957190A (en) Online education interaction method, client-sides, server and system
US10971025B2 (en) Information display apparatus, information display terminal, method of controlling information display apparatus, method of controlling information display terminal, and computer readable recording medium
CN102694939A (en) Image forming apparatus and terminal device each having a touch panel
CN101335810A (en) Image forming apparatus to transmit and receive file information, and information processing method thereof
WO2015064840A1 (en) Server and method for providing student-tailored learning service
WO2020262800A1 (en) System and method for automating natural language understanding (nlu) in skill development
WO2018008822A1 (en) Print data processing method of mobile device and the mobile device
WO2017090857A1 (en) Method for providing smart learning service using smart pen and mobile device for processing same
CN102411852B (en) Paper-free exercise book and teaching work interaction paper-free realization method thereof
JP2017173418A (en) Learning support system, program, information processing method, and information processor
WO2015064839A1 (en) Learning management server and learning management method
WO2017126770A1 (en) Method for adjusting display area of electronic book contents
WO2013115493A1 (en) Method and apparatus for managing an application in a mobile electronic device
WO2023136511A1 (en) Solution-providing device for improving online education participation rate, and solution-providing system comprising same
KR20170135771A (en) Method of providing smart learning service using smart pen and mobile device capable of processing thereof
WO2017090856A1 (en) Method for providing wrong answer feedback note using smart pen and mobile device for processing same
WO2013151286A1 (en) System having electronic notebook function, and method for operating same
WO2023022462A1 (en) Reading management service provision method based on smart pen, and system for implementing same
WO2017090855A1 (en) Method for processing questions using smart pen and mobile device for processing same
WO2013100549A1 (en) Method and device for providing service to plurality of terminals in network- based environment
WO2023090727A1 (en) Method and server device for providing chinese character learning service
Gavine et al. Toward a disability-centric model of user participation in accessibility efforts: lessons from a case study of school children
JP6432191B2 (en) Notification support system, notification support method, information processing apparatus, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16868758

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19/10/18)

122 Ep: pct application non-entry in european phase

Ref document number: 16868758

Country of ref document: EP

Kind code of ref document: A1