KR102427208B1 - Method for providing contents using artificial intelligence toy and system using thereof - Google Patents

Method for providing contents using artificial intelligence toy and system using thereof Download PDF

Info

Publication number
KR102427208B1
KR102427208B1 KR1020200002563A KR20200002563A KR102427208B1 KR 102427208 B1 KR102427208 B1 KR 102427208B1 KR 1020200002563 A KR1020200002563 A KR 1020200002563A KR 20200002563 A KR20200002563 A KR 20200002563A KR 102427208 B1 KR102427208 B1 KR 102427208B1
Authority
KR
South Korea
Prior art keywords
block
content
user
interaction
content providing
Prior art date
Application number
KR1020200002563A
Other languages
Korean (ko)
Other versions
KR20210089416A (en
Inventor
이석
우덕하
안재용
황준호
오준혁
김유식
김동연
임태윤
임나현
변효지
원진섭
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020200002563A priority Critical patent/KR102427208B1/en
Publication of KR20210089416A publication Critical patent/KR20210089416A/en
Application granted granted Critical
Publication of KR102427208B1 publication Critical patent/KR102427208B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/04—Building blocks, strips, or similar building parts
    • A63H33/042—Mechanical, electrical, optical, pneumatic or hydraulic arrangements; Motors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/22—Optical, colour, or shadow toys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Toys (AREA)

Abstract

본 발명은 블록 완구를 통해 콘텐츠를 제공하는 기술에 관한 것으로, 영상 촬영이 가능한 카메라 블록 및 사용자와 상호작용이 가능한 인터랙션(interaction) 블록을 구비하는 콘텐츠 제공 시스템이 콘텐츠를 제공하는 방법은, 콘텐츠를 표시하여 사용자로 하여금 콘텐츠에 따라 인터랙션 블록을 조작하는 행동을 유도하고, 카메라 블록을 통해 인터랙션 블록의 조작 영상을 입력받고, 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식하며, 인식 결과와 콘텐츠가 목표로 하는 수행 결과를 비교하여 사용자의 조작 성과를 판단한다.The present invention relates to a technology for providing content through a block toy, and a method for providing content by a content providing system including a camera block capable of capturing an image and an interaction block capable of interacting with a user, Inducing the user to manipulate the interaction block according to the content by displaying it, receiving the operation image of the interaction block through the camera block, and real-time the arrangement of the block and at least one of the color or text of the block from the input operation image and compares the recognition result with the performance target of the content to judge the user's operation performance.

Description

인공 지능 완구를 이용한 콘텐츠 제공 방법 및 시스템{Method for providing contents using artificial intelligence toy and system using thereof}Method for providing contents using artificial intelligence toy and system using thereof

본 발명은 완구를 통해 콘텐츠를 제공하는 기술에 관한 것으로, 특히 인공 지능을 이용한 영상 기술을 활용하되 블록 완구를 통해 다양한 콘텐츠를 제공하는 방법, 그 방법을 기록한 기록매체 및 그 방법에 따른 콘텐츠 제공 시스템에 관한 것이다.The present invention relates to a technology for providing content through a toy, and in particular, a method for providing various contents through a block toy using an image technology using artificial intelligence, a recording medium recording the method, and a content providing system according to the method is about

유희적, 치료적 측면에서 유아 또는 노인을 위한 다양한 블록 활용 기법이 시도되고 있다. 예를 들어, 유아들은 보고 느낀 점을 분석하고 재조직하며, 새로운 것을 창조하거나 실제 사물을 재현하려는 목적을 가지고 블록과 같은 삼차원의 입체 재료들을 가지고 재현 활동을 한다. 이러한 재현 활동을 통해 유아들은 학습 내용을 생각하고 재확인함으로써 자기 자신을 의식하게 해주며, 학습의 결과를 이루기 위한 자신의 사고 과정의 추진력을 얻게 된다. 특히 유니트 블록 쌓기는 상징적 사고, 개념형성, 복잡한 관계에 대한 이해와 인지적 능력이 수반되는 특징을 지니고 있다. 이하에서 제시되는 선행기술문헌에는 블록을 이용하여 노인의 인지 능력을 강화, 회복하는 기술적 수단을 제안한 바 있다.Various block utilization techniques for infants or the elderly are being tried in terms of play and therapy. For example, children analyze and reorganize what they see and feel, create new things or reproduce real objects with three-dimensional materials such as blocks. Through these representation activities, children become aware of themselves by thinking and reaffirming the learning content, and they gain the driving force of their thinking process to achieve the results of their learning. In particular, unit block stacking is characterized by symbolic thinking, concept formation, understanding of complex relationships, and cognitive abilities. In the prior art literature presented below, a technical means for strengthening and recovering the cognitive ability of the elderly using blocks has been proposed.

인지 발달에 영향을 미치는 블록 놀이의 특징은 자신에 대한 사고 과정에 관한 지식, 자기 통제, 신념과 직관의 직접 통제를 통해 '자신과 타인이 인지하고 아는 것'과 '자신이 인지에 대해 조정하는 것'인 메타 인지의 정의적 특성과 인지 발달에 있어서 공통적인 부분을 지니고 있다. 메타 인지는 문제 해결 과정에 대한 학습자의 신념, 태도, 인내 등을 하위 요소로 포함하고 있으며, 인지적 과제를 수행하는 도중에 과제 수행과 관련하여 발생하는 모든 조율의 개인적 감정(불안, 확신, 포기, 의문 등)과 인지적 갈등 등을 포함한다. 이러한 메타 인지적 행동은 블록 구성물을 완성하는 문제 해결 과정 중 유아가 자신의 생각과 느낌, 경험 등을 반영하고 구조물을 통하여 이미지를 확장시켜 주변 세계에 대한 지식을 넓혀나감으로써 블록 놀이를 진행하는 가운데에서도 자연스럽게 발생된다.The characteristics of block play that affect cognitive development are 'what one and others perceive and know' and 'one who adjusts to one's cognition' through knowledge about the thought process, self-control, and direct control of beliefs and intuition. It has a common part in the affective characteristics of metacognition and cognitive development. Metacognition includes the learner's beliefs, attitudes, and perseverance in the problem-solving process as sub-elements, and all personal emotions (anxiety, confidence, abandonment, questions) and cognitive conflicts. These meta-cognitive behaviors are reflected in the child's thoughts, feelings, and experiences during the problem-solving process of completing the block structure, and expand the image through the structure to expand the knowledge of the surrounding world. also occurs naturally.

한편, 놀이 활동에서의 언어적 단서인 범위 명칭의 부여와 같은 주제 제시는 무계획적이고 우연적, 전형적 문제 해결 상황 속에서 유아들이 어떤 의미도 부여할 수 없고 기억 속에 저장되어지지 않게 되는 지식을 주어진 주제를 수행하고자 다양한 방법을 시도하는 경험을 갖게 함으로써 메타 인지의 신장과 전략을 이끌어 낼 수 있도록 한다. 즉, 많은 연구를 통해 주제 중심 활동이 자유 활동보다 유아의 사회, 정서 지능, 미술 능력의 확장에 보다 효과적임이 밝혀지고 있다. On the other hand, subject presentation, such as the assignment of range names, which is a linguistic cue in play activities, gives children knowledge that cannot be assigned any meaning and cannot be stored in memory in haphazard, accidental, and typical problem-solving situations. By having the experience of trying various methods to perform, it is possible to elicit the growth and strategy of metacognition. That is, through many studies, it is revealed that subject-centered activities are more effective in expanding children's social, emotional intelligence, and artistic abilities than free activities.

한국특허공개공보 제2019-0061710호, 2019.06.05 공개, "치매 환자를 위한 인지 훈련 장치"Korean Patent Application Laid-Open No. 2019-0061710, published on June 5, 2019, "Cognitive training device for dementia patients"

본 발명이 해결하고자 하는 기술적 과제는, 종래의 블록을 이용한 자유 활동에 비해 유아 또는 노인의 인지 능력 향상에 보다 크게 기여하는 응용 기술을 제공하고, 종래의 블록 놀이가 갖는 정적인 콘텐츠 구성의 한계를 극복하고자 한다.The technical problem to be solved by the present invention is to provide an applied technology that significantly contributes to the cognitive ability improvement of infants or the elderly compared to free activities using conventional blocks, and to overcome the limitations of the static content configuration of conventional block play. want to overcome

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 영상 촬영이 가능한 카메라 블록 및 사용자와 상호작용이 가능한 인터랙션(interaction) 블록을 구비하는 콘텐츠 제공 시스템이 콘텐츠를 제공하는 방법은, (a) 상기 콘텐츠 제공 시스템이 콘텐츠를 표시하여 사용자로 하여금 상기 콘텐츠에 따라 상기 인터랙션 블록을 조작하는 행동을 유도하는 단계; (b) 상기 콘텐츠 제공 시스템이 상기 카메라 블록을 통해 상기 인터랙션 블록의 조작 영상을 입력받는 단계; (c) 상기 콘텐츠 제공 시스템이 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식하는 단계; 및 (d) 상기 콘텐츠 제공 시스템이 인식 결과와 상기 콘텐츠가 목표로 하는 수행 결과를 비교하여 상기 사용자의 조작 성과를 판단하는 단계;를 포함한다.In order to solve the above technical problem, a method for providing content by a content providing system including a camera block capable of capturing an image and an interaction block capable of interacting with a user according to an embodiment of the present invention, (a ) inducing a user to manipulate the interaction block according to the content by displaying the content by the content providing system; (b) receiving, by the content providing system, a manipulation image of the interaction block through the camera block; (c) recognizing, by the content providing system, at least one of a color or a character of a block and a block arrangement from the input manipulation image in real time; and (d) determining, by the content providing system, a result of the user's manipulation by comparing the recognition result with the target performance result of the content.

일 실시예에 따른 콘텐츠 제공 방법에서, 콘텐츠를 표시하는 상기 (a) 단계는, 콘텐츠에 내에 포함된 지시에 따라 사용자로 하여금, 상기 인터랙션 블록을 순서대로 나열하거나; 상기 인터랙션 블록을 조립하거나; 또는 상기 인터랙션 블록의 기능 버튼을 작동시키는; 행동을 유도할 수 있다.In the content providing method according to an embodiment, the step (a) of displaying the content may include: according to an instruction included in the content, allowing the user to list the interaction blocks in order; assembling the interaction block; or actuating a function button of the interaction block; can induce action.

일 실시예에 따른 콘텐츠 제공 방법에서, 콘텐츠를 표시하는 상기 (a) 단계는, 상기 사용자의 연령, 지적 능력, 병력 및 난이도 중 적어도 하나를 고려하여 상기 콘텐츠를 표시하는 지속 시간을 결정할 수 있다.In the content providing method according to an embodiment, the step (a) of displaying the content may determine a duration for displaying the content in consideration of at least one of the user's age, intellectual ability, medical history, and difficulty level.

일 실시예에 따른 콘텐츠 제공 방법에서, 블록의 색상을 인식하는 상기 (c) 단계는, 입력된 조작 영상의 프레임을 HSV 색공간으로 변환하고, 색상의 범위를 설정하고, 모폴로지(morphology)를 통해 노이즈를 제거하고, 비트 연산(bitwise operation)을 통해 다중 색상을 추적하며, 추적된 색상을 인식함으로써, 입력된 조작 영상으로부터 블록의 색상을 인식할 수 있다.In the content providing method according to an embodiment, the step (c) of recognizing the color of the block may include converting a frame of an input manipulation image into an HSV color space, setting a range of colors, and using morphology. By removing noise, tracing multiple colors through bitwise operation, and recognizing the tracked colors, it is possible to recognize the color of the block from the input manipulated image.

일 실시예에 따른 콘텐츠 제공 방법에서, 문자를 인식하는 상기 (c) 단계는, 상기 인터랙션을 블록을 이용하여 도출 가능한 글자, 숫자 및 부호를 각각 미리 학습시키고, 미리 학습된 기계 학습(machine learning) 모델을 통해 입력된 조작 영상으로부터 미리 학습된 글자, 숫자 또는 부호가 존재하는지를 판단하되, 개별적으로 발견된 글자, 숫자 또는 부호를 문장 또는 수식 규칙에 부합하도록 병합 또는 분리하여 처리함으로써, 입력된 조작 영상으로부터 문자를 인식할 수 있다.In the content providing method according to an embodiment, the step (c) of recognizing a character includes pre-learning letters, numbers, and signs that can be derived using the interaction block, respectively, and pre-trained machine learning (machine learning) It is determined whether letters, numbers, or signs learned in advance from the manipulation image input through the model exist, but the individually found letters, numbers, or signs are merged or separated to match the sentence or formula rules and processed by merging or separating the input manipulation image. characters can be recognized from

일 실시예에 따른 콘텐츠 제공 방법에서, 사용자의 조작 성과를 판단하는 상기 (d) 단계는, 상기 인터랙션 블록의 나열 상태, 색상 또는 상기 콘텐츠에 포함된 지시에 따른 조작 결과가 인식 결과와 일치하는지; 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록이 조립되었는지; 또는 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록의 기능 버튼이 작동되었는지;를 판단할 수 있다.In the content providing method according to an embodiment, the step (d) of determining the operation result of the user may include: whether the operation result according to the arrangement state, color, or instruction included in the content matches the recognition result; whether the interaction block was assembled according to the instructions contained in the content; Alternatively, it may be determined whether the function button of the interaction block is operated according to an instruction included in the content.

일 실시예에 따른 콘텐츠 제공 방법은, (e) 판단된 상기 조작 성과를 영상 또는 소리 중 적어도 하나를 통해 상기 사용자에게 제공하는 단계;를 더 포함할 수 있다.The content providing method according to an embodiment may further include (e) providing the determined operation result to the user through at least one of an image or a sound.

일 실시예에 따른 콘텐츠 제공 방법은, (f) 판단된 상기 조작 성과에 따라 상기 (a) 단계를 통해 제공되었던 콘텐츠의 주제 또는 난이도를 조절하여 새로운 콘텐츠를 제공하는 단계;를 더 포함할 수 있다.The method for providing content according to an embodiment may further include (f) providing new content by adjusting the subject or difficulty of the content provided in step (a) according to the determined operation result. .

한편, 이하에서는 상기 기재된 콘텐츠 제공 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.On the other hand, below, a computer-readable recording medium in which a program for executing the above-described content providing method on a computer is recorded is provided.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템은, 영상 촬영이 가능한 카메라 블록; 사용자와 상호작용이 가능한 인터랙션(interaction) 블록; 및 상기 카메라 블록 및 상기 인터랙션 블록과 통신하며 사용자에게 콘텐츠를 제공하는 콘텐츠 제공 장치;를 포함하고, 상기 콘텐츠 제공 장치는, 콘텐츠를 표시하여 사용자로 하여금 상기 콘텐츠에 따라 상기 인터랙션 블록을 조작하는 행동을 유도하고, 상기 카메라 블록을 통해 상기 인터랙션 블록의 조작 영상을 입력받고, 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식하며, 인식 결과와 상기 콘텐츠가 목표로 하는 수행 결과를 비교하여 상기 사용자의 조작 성과를 판단한다.In order to solve the above technical problem, the content providing system according to an embodiment of the present invention, a camera block capable of taking an image; an interaction block capable of interacting with the user; and a content providing device that communicates with the camera block and the interaction block and provides content to the user, wherein the content providing device displays the content and causes the user to manipulate the interaction block according to the content. Inducing, receiving the manipulation image of the interaction block through the camera block, recognizing in real time the arrangement of the block and at least one of the color or character of the block from the input manipulation image, the recognition result and the content are The user's operation performance is determined by comparing the performance results.

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 콘텐츠에 내에 포함된 지시에 따라 사용자로 하여금, 상기 인터랙션 블록을 순서대로 나열하거나; 상기 인터랙션 블록을 조립하거나; 또는 상기 인터랙션 블록의 기능 버튼을 작동시키는; 행동을 유도할 수 있다.In the content providing system according to an embodiment, the content providing apparatus may cause the user to list the interaction blocks in order according to an instruction included in the content; assembling the interaction block; or actuating a function button of the interaction block; can induce action.

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 상기 사용자의 연령, 지적 능력, 병력 및 난이도 중 적어도 하나를 고려하여 상기 콘텐츠를 표시하는 지속 시간을 결정할 수 있다.In the content providing system according to an embodiment, the content providing apparatus may determine a duration for displaying the content in consideration of at least one of age, intellectual ability, medical history, and difficulty of the user.

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 입력된 조작 영상의 프레임을 HSV 색공간으로 변환하고, 색상의 범위를 설정하고, 모폴로지(morphology)를 통해 노이즈를 제거하고, 비트 연산(bitwise operation)을 통해 다중 색상을 추적하며, 추적된 색상을 인식함으로써, 입력된 조작 영상으로부터 블록의 색상을 인식할 수 있다.In the content providing system according to an embodiment, the content providing apparatus converts a frame of an input manipulated image into an HSV color space, sets a color range, removes noise through morphology, and performs bit operation By tracing multiple colors through (bitwise operation) and recognizing the tracked colors, the color of the block can be recognized from the input manipulated image.

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 상기 인터랙션을 블록을 이용하여 도출 가능한 글자, 숫자 및 부호를 각각 미리 학습시키고, 미리 학습된 기계 학습(machine learning) 모델을 통해 입력된 조작 영상으로부터 미리 학습된 글자, 숫자 또는 부호가 존재하는지를 판단하되, 개별적으로 발견된 글자, 숫자 또는 부호를 문장 또는 수식 규칙에 부합하도록 병합 또는 분리하여 처리함으로써, 입력된 조작 영상으로부터 문자를 인식할 수 있다.In the content providing system according to an embodiment, the content providing device pre-learns letters, numbers, and signs that can be derived using blocks for the interaction, and is inputted through a pre-trained machine learning model. It is determined whether there are letters, numbers, or signs learned in advance from the manipulation image, but by merging or separating the individually found letters, numbers, or signs to match the sentence or formula rules and processing them, characters can be recognized from the input manipulation image. can

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 상기 인터랙션 블록의 나열 상태, 색상 또는 상기 콘텐츠에 포함된 지시에 따른 조작 결과가 인식 결과와 일치하는지; 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록이 조립되었는지; 또는 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록의 기능 버튼이 작동되었는지;를 판단할 수 있다.In the content providing system according to an embodiment, the content providing apparatus may be configured to: whether an operation result according to an arrangement state, a color, or an instruction included in the content of the interaction block matches a recognition result; whether the interaction block was assembled according to the instructions contained in the content; Alternatively, it may be determined whether the function button of the interaction block is operated according to an instruction included in the content.

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 판단된 상기 조작 성과를 영상 또는 소리 중 적어도 하나를 통해 상기 사용자에게 제공할 수 있다.In the content providing system according to an embodiment, the content providing apparatus may provide the determined operation result to the user through at least one of an image or a sound.

일 실시예에 따른 콘텐츠 제공 시스템에서, 상기 콘텐츠 제공 장치는, 판단된 상기 조작 성과에 따라 기존에 제공되었던 콘텐츠의 주제 또는 난이도를 조절하여 새로운 콘텐츠를 더 제공할 수 있다.In the content providing system according to an embodiment, the content providing apparatus may further provide new content by adjusting the subject or difficulty of previously provided content according to the determined operation result.

본 발명의 실시예들은, 카메라 블록에 기반하여 콘텐츠 제공을 통해 종래의 블록 놀이가 갖는 정적인 콘텐츠 구성의 한계를 넘어 주제 기반의 다양한 인터랙션 블록을 활용한 놀이 활동이 가능하고, 인공 지능 기술을 활용한 색상, 문자 내지 배열 인식을 통해 사용자의 조작 행동으로부터 과제 수행의 완성도를 정확하게 파악할 수 있을 뿐만 아니라, 결과 분석에 기초하여 인지 능력을 향상시킬 수 있도록 난이도 내지 주제가 변화된 추가 콘텐츠를 제공할 수 있다.Embodiments of the present invention, through the provision of content based on camera blocks, it is possible to play activities using various interactive blocks based on themes, beyond the limits of the static content composition of the conventional block play, and utilize artificial intelligence technology. Through recognition of one color, character, or arrangement, it is possible not only to accurately grasp the degree of completion of task performance from the user's manipulation behavior, but also to provide additional content with a changed difficulty level or subject to improve cognitive ability based on the analysis of the results.

도 1은 본 발명의 실시예들에 따른 콘텐츠 제공 시스템에 구비되는 하드웨어 장치와 이들 간의 통신 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 블록 완구를 이용한 콘텐츠 제공 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 콘텐츠 제공 방법에서 색상을 인식하는 과정을 보다 구체적으로 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 콘텐츠 제공 방법에서 문자를 인식하는 과정을 보다 구체적으로 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 콘텐츠 제공 방법을 활용한 주제 중심의 블록 놀이 기법들을 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 블록 완구를 이용한 콘텐츠 제공 시스템을 도시한 블록도이다.1 is a diagram for explaining a hardware device provided in a content providing system according to embodiments of the present invention and a communication method therebetween.
2 is a flowchart illustrating a content providing method using a block toy according to an embodiment of the present invention.
3 is a diagram for explaining in more detail a process of recognizing a color in a content providing method according to an embodiment of the present invention.
4 is a diagram for explaining in more detail a process of recognizing a character in a content providing method according to an embodiment of the present invention.
5 and 6 are diagrams illustrating thematic block play techniques using the content providing method according to an embodiment of the present invention.
7 is a block diagram illustrating a content providing system using a block toy according to an embodiment of the present invention.

본 발명의 실시예들을 설명하기에 앞서, 종래의 기술 수단이 갖는 인지 과학적인 한계와 더불어 이를 해결하기 위해 안출된 본 발명의 실시예들에서 채택하고 있는 기술적 원리를 순차적으로 제시하도록 한다.Prior to describing the embodiments of the present invention, the technical principles adopted in the embodiments of the present invention devised to solve the cognitive and scientific limitations of the prior art means are presented sequentially.

앞서 개괄적으로 살펴본 바와 같이 블록 놀이는 유아 또는 노인의 인지 능력을 향상을 위해 매우 유용한 도구이며, 유희적인 측면뿐만 아니라 치료적인 측면에서도 분명한 효과를 보여주었다. 다만, 최근 인지 과학에 관한 많은 연구들이 블록을 이용한 활동에 있어서 자유 활동에 비해 주제 중심 활동이 갖는 차별적 장점에 주목하게 되었다. 따라서, 이하에서 기술되는 본 발명의 실시예들은 급속도로 발전하고 있는 인공 기능 기술과 영상 인식 기술을 함께 활용하여 블록 완구에 도입함으로써 유아 또는 노인을 위한 주제 중심의 블록 활동을 유도하여 인지 능력의 향상을 극대화하고자 하였다.As outlined above, block play is a very useful tool to improve the cognitive ability of infants or the elderly, and has shown clear effects in terms of treatment as well as play. However, many recent studies on cognitive science have focused on the discriminatory advantages of topic-oriented activities compared to free activities in activities using blocks. Therefore, the embodiments of the present invention described below utilize the rapidly developing artificial function technology and image recognition technology together to introduce them into block toys, thereby inducing topic-oriented block activities for infants or the elderly to improve cognitive ability. was intended to maximize.

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, detailed descriptions of well-known functions or configurations that may obscure the gist of the present invention in the following description and accompanying drawings will be omitted. In addition, throughout the specification, 'including' a certain component does not exclude other components unless otherwise stated, but means that other components may be further included.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "comprises" are intended to designate that the specified feature, number, step, operation, component, part, or combination thereof exists, but is one or more other features or It should be understood that the existence or addition of numbers, steps, operations, components, parts, or combinations thereof does not preclude the possibility of addition.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as meanings consistent with the context of the related art, and unless explicitly defined in the present application, they are not to be interpreted in an ideal or excessively formal meaning. .

도 1은 본 발명의 실시예들에 따른 콘텐츠 제공 시스템에 구비되는 하드웨어 장치와 이들 간의 통신 방법을 설명하기 위한 도면이다.1 is a diagram for explaining a hardware device provided in a content providing system according to embodiments of the present invention and a communication method therebetween.

콘텐츠 제공 시스템은, 블록 완구에 카메라가 마련된 카메라 블록(11)과 사용자와의 상호작용이 가능한 기능 수단이 마련된 인터랙션 블록(13)을 포함한다. 특히, 본 발명의 실시예들은 카메라 블록(11)에 기반한 영상 인식을 필수 구성으로 설계하였으며, 각각의 블록들(11, 13)은 모듈간에 무선 통신이 가능하여 수집한 데이터 및 자신이 처리한 데이터의 교환 및 공유가 가능하다.The content providing system includes a camera block 11 in which a camera is provided in a block toy, and an interaction block 13 in which a functional means capable of interacting with a user is provided. In particular, the embodiments of the present invention designed image recognition based on the camera block 11 as an essential component, and each of the blocks 11 and 13 enables wireless communication between modules to collect data and data processed by them. can be exchanged and shared.

또한, 콘텐츠 제공 장치(20)는 앞서 소개한 주제 기반의 블록 활동이 가능하도록 설계된 콘텐츠를 제공하는 주체로서 도 1에서는 스마트폰으로 예시되었으나, PC나 태블릿과 같이 입력이 용이하고 디스플레이 수단을 통해 출력이 가능한 다양한 디바이스가 활용될 수 있다. 콘텐츠 제공 장치(20)는 카메라 블록(11)을 통해 획득된 영상을 인공 지능 기술에 기반하여 분석, 인식하고 그 결과를 사용자에게 제공할 수 있고, 또한 인터랙션 블록(13)을 통해 사용자와의 상호작용 결과를 주고 받는다. 특히, 콘텐츠 제공 장치(20)는 최초에 제공된 콘텐츠에 대한 사용자의 반응을 통해 보다 적합한 주제의 콘텐츠를 제공할 수 있고, 이를 블록 완구를 통해 수행하도록 유도함으로써 주제 기반의 블록 활동을 통해 인지 능력의 향상을 극대화시킬 수 있다.In addition, the content providing device 20 is a subject that provides content designed to enable block activity based on the topic introduced above, and is illustrated as a smartphone in FIG. 1 , but it is easy to input like a PC or tablet and is output through a display means. Various devices capable of this may be utilized. The content providing device 20 may analyze and recognize the image obtained through the camera block 11 based on artificial intelligence technology and provide the result to the user, and also interact with the user through the interaction block 13 . communicate the results of action. In particular, the content providing device 20 can provide content of a more suitable subject through the user's response to the initially provided content, and induces it to be performed through a block toy, thereby increasing cognitive ability through subject-based block activity. improvement can be maximized.

한편, 이들 모듈들(11, 13, 20) 간의 통신을 위해 블루투스(bluetooth) 내지 와이파이(WiFi)를 예시하였으나, 다양한 무선 통신 수단이 활용될 수 있음을 당연하다.On the other hand, although Bluetooth or Wi-Fi has been exemplified for communication between these modules 11, 13, and 20, it is natural that various wireless communication means may be utilized.

도 2는 본 발명의 일 실시예에 따른 블록 완구를 이용한 콘텐츠 제공 방법을 도시한 흐름도이다. 구현의 관점에서, 이하의 과정들은 영상 촬영이 가능한 카메라 블록 및 사용자와 상호작용이 가능한 인터랙션(interaction) 블록을 구비하는 콘텐츠 제공 시스템을 통해 구현될 수 있다.2 is a flowchart illustrating a content providing method using a block toy according to an embodiment of the present invention. In terms of implementation, the following processes may be implemented through a content providing system including a camera block capable of capturing an image and an interaction block capable of interacting with a user.

S210 단계에서, 콘텐츠 제공 시스템은 콘텐츠를 표시하여 사용자로 하여금 상기 콘텐츠에 따라 상기 인터랙션 블록을 조작하는 행동을 유도한다. 이를 위해, 콘텐츠에 내에 포함된 지시에 따라 사용자로 하여금, 상기 인터랙션 블록을 순서대로 나열하거나, 상기 인터랙션 블록을 조립하거나 또는 상기 인터랙션 블록의 기능 버튼을 작동시키는 행동을 유도할 수 있다. 물론 콘텐츠 제공 시스템에 디스플레이 수단이 구비될 수도 있고, 또는 별도의 디스플레이 장치를 통해 해당 콘텐츠를 표시할 수도 있다.In step S210, the content providing system induces the user to manipulate the interaction block according to the content by displaying the content. To this end, the user may induce an action of arranging the interaction blocks in order, assembling the interaction blocks, or operating a function button of the interaction block according to an instruction included in the content. Of course, a display means may be provided in the content providing system, or the corresponding content may be displayed through a separate display device.

이때, 표시되는 콘텐츠는 사용자의 연령, 지적 능력, 병력 및 난이도 중 적어도 하나를 고려하여 콘텐츠 표시의 지속 시간을 결정할 수 있다. 예를 들어, 기억력을 향상시키기 위한 주제가 설정된 경우, 10초간 블록 나열에 관한 지시를 포함하는 콘텐츠가 표시되고 사라지게 한 다음, 사용자로 하여금 기억한 블록 나열을 재현하도록 유도할 수 있다. 이러한 방식의 지속 시간의 변화는 유아뿐만 아니라 치매 환자와 같은 노인의 인지 능력 개선에도 유용하게 활용될 수 있다.In this case, the displayed content may determine the duration of the content display in consideration of at least one of the user's age, intellectual ability, medical history, and difficulty level. For example, if a topic for improving memory is set, content including instructions for arranging blocks may be displayed for 10 seconds and then disappear, and then induce the user to reproduce the memorized arranging of blocks. The change in duration in this way can be usefully used to improve cognitive ability of not only infants but also elderly people such as dementia patients.

S220 단계에서, 상기 콘텐츠 제공 시스템은 상기 카메라 블록을 통해 상기 인터랙션 블록의 조작 영상을 입력받는다. 카메라 블록은 콘텐츠 제공 시스템과 물리적으로 분리되어 있으며 양자는 무선 통신을 통해 데이터를 교환하는 것이 바람직하다. 사용자는 카메라 블록을 단독으로 활용하거나, 또는 다른 인터랙션 블록 내지 일반 블록과 결합하여 활용할 수 있으며, 이러한 블록 조합을 통해 흥미와 재미를 느낄 수 있다.In step S220, the content providing system receives the manipulation image of the interaction block through the camera block. The camera block is physically separated from the content providing system, and it is desirable for both to exchange data through wireless communication. The user can use the camera block alone or in combination with other interaction blocks or general blocks, and enjoy interest and fun through this block combination.

S230 단계에서, 상기 콘텐츠 제공 시스템은 S220 단계를 통해 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식한다. 이제, 사용자의 행동을 통해 블록을 활용한 활동이 어떠한 행동인지를 파악한다. 이를 위해, 조작 영상으로부터 블록의 색상 또는 문자를 인식하고, 또한 블록의 배치를 식별한다. 카메라를 통해 취득된 영상으로부터 객체를 식별하고 인식하기 위해 미리 학습된 데이터 셋(data-set)이 필요하다. 따라서, 이러한 블록을 통해 구현 가능한 다양한 색상, 문자, 배치의 조합에 따른 식별 항목을 미리 영상으로 입력받고, 기계 학습을 통해 학습된 모델을 생성한다. 이렇게 생성된 기계 학습 모델을 활용하여 S230 단계의 인식을 수행하게 된다. 블록 완구를 활용한 색상 또는 문자 인식의 과정은 이후 도 3 및 도 4를 통해 보다 구체적으로 기술하도록 한다.In step S230, the content providing system recognizes in real time the arrangement of the block and at least one of the color or text of the block from the manipulation image input through the step S220. Now, through the user's actions, we figure out what kind of action the block is used for. To this end, the color or character of the block is recognized from the manipulation image, and also the arrangement of the block is identified. In order to identify and recognize an object from an image acquired through a camera, a pre-learned data-set is required. Accordingly, identification items according to combinations of various colors, characters, and arrangements that can be implemented through these blocks are input as images in advance, and a model learned through machine learning is generated. The recognition of step S230 is performed using the machine learning model generated in this way. The process of color or character recognition using block toys will be described in more detail later with reference to FIGS. 3 and 4 .

S240 단게에서, 상기 콘텐츠 제공 시스템은 S230 단계를 통한 인식 결과와 상기 콘텐츠가 목표로 하는 수행 결과를 비교하여 상기 사용자의 조작 성과를 판단한다. 이 과정에서는 인식 결과 사용자가 최초의 콘텐츠 내에 포함된 지시를 잘 수행하였는지를 계량화한다. 이 과정에서는, 상기 인터랙션 블록의 나열 상태, 색상 또는 상기 콘텐츠에 포함된 지시에 따른 조작 결과가 인식 결과와 일치하는지, 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록이 조립되었는지 또는 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록의 기능 버튼이 작동되었는지를 판단할 수 있다.In step S240, the content providing system determines the operation performance of the user by comparing the recognition result through step S230 with the target performance result of the content. In this process, the recognition result quantifies whether the user performed the instruction included in the original content well. In this process, whether the arrangement state, color, or operation result of the instruction included in the content matches the recognition result, whether the interaction block is assembled according to the instruction included in the content, or whether the interaction block is assembled according to the instruction included in the content It may be determined whether the function button of the interaction block is operated according to the instruction.

만약, 콘텐츠를 통해 최초에 제시된 주제가 간단한 것이라면 단순히 인식 결과의 판독만으로도 조작 성과를 판단할 수 있다. 반면, 콘텐츠를 통해 최초에 제시된 주제가 연산과 같이 다소 복잡한 것이라면 인식된 결과를 재차 연산하여 도출된 결과로부터 조작 성과를 판단해야 할 수도 있을 것이다. 예를 들어, 제시된 주제가 "3+5-2"의 결과를 유도하는 지시를 포함하고 있다면, 사용자가 입력한 "6"이라는 조작에 대해 단순히 인식된 결과와 최초의 지시 "3+5-2"를 비교하는 것이 아니라, 그 주제 및 의미를 파악하여 연산의 결과를 판단해야 함을 의미한다.If the subject initially presented through the content is simple, the operation performance can be determined simply by reading the recognition result. On the other hand, if the subject initially presented through the content is rather complex, such as calculation, it may be necessary to calculate the recognized result again and judge the operation performance from the derived result. For example, if the presented subject contains an instruction leading to a result of "3+5-2", the result simply recognized for the operation "6" input by the user and the initial instruction "3+5-2" It means that the result of the operation should be judged by understanding its subject and meaning rather than comparing them.

한편, 판단된 상기 조작 성과를 영상 또는 소리 중 적어도 하나를 통해 상기 사용자에게 제공할 수 있다. 본 발명의 실시예들이 제안하는 콘텐츠 제공 장치는 디스플레이 수단을 포함하거나 연결되어 있으므로, 이러한 디스플레이 수단을 통해 결과를 표시할 수 있으나, 보다 재미있고 효과적인 상호작용을 위해 소리를 통해 결과를 제공할 수도 있다. 이를 위해 콘텐츠 제공 장치와 통신하는 스피커(speaker) 블록이 더 구비될 수 있다. 뿐만 아니라, 최초의 콘텐츠 제공시에도 별도의 스피커 블록을 통해 소리 콘텐츠를 제공할 수 있다. 예를 들어, 음계를 학습하는 콘텐츠 제공시 음계를 직접 스피커 블록을 통해 제시하거나, 또는 사용자가 조작한 결과를 인식하여 스피커 블록을 통해 소리로 출력할 수도 있을 것이다.Meanwhile, the determined operation result may be provided to the user through at least one of an image or a sound. Since the content providing apparatus proposed by the embodiments of the present invention includes or is connected to the display means, the results may be displayed through the display means, but the results may be provided through sound for more interesting and effective interaction. . To this end, a speaker block communicating with the content providing device may be further provided. In addition, sound content can be provided through a separate speaker block even when the first content is provided. For example, when providing content for learning a scale, the scale may be directly presented through the speaker block, or a result of a user's manipulation may be recognized and output as a sound through the speaker block.

나아가, 판단된 상기 조작 성과에 따라 앞서 S210 단계를 통해 최초에 제공되었던 콘텐츠의 주제 또는 난이도를 조절하여 새로운 콘텐츠를 제공할 수 있다. S240 단계에서 사용자의 조작 성과가 판단되었으므로, 사용자의 인지 능력 향상에 도움이 되는 방향으로 콘텐츠에 변화를 유도할 수 있다.Furthermore, it is possible to provide new content by adjusting the subject or difficulty of the content that was initially provided through step S210 according to the determined operation result. Since the user's manipulation performance is determined in step S240, it is possible to induce a change in the content in a direction conducive to improving the user's cognitive ability.

도 3은 본 발명의 일 실시예에 따른 콘텐츠 제공 방법에서 색상을 인식하는 과정을 보다 구체적으로 설명하기 위한 도면으로서, 다음의 일련의 과정을 수반한다.3 is a diagram for explaining in more detail a process of recognizing a color in a content providing method according to an embodiment of the present invention, and the following series of processes are involved.

S301 단계에서 촬영된 이미지(사용자의 블록 조작 영상)를 입력받아, S302 단계에서 입력된 조작 영상의 프레임을 HSV 색공간으로 변환한다. 이는 코딩의 편의성과 조명의 영향에 상대적으로 덜 민감한 색상(hue)을 사용하기 위해 색공간을 변경하는 것이다. S303 단계에서 프로그램 내의 색상의 범위를 설정하고, S304 단계에서 색상의 최소값 및 최대값을 설정한다. 그런 다음, 모폴로지(morphology)를 통해 노이즈를 제거한다. 구현상의 필요에 따라 침식(erosion) 연산 또는 팽창(dilation) 연산을 활용할 수 있으며, 객체 영역 내의 이미지의 기하학적 형태를 활용하여, 예를 들어 객체에 대한 팽창 연산을 통해 실제의 객체 이외의 노이즈를 제거할 수 있다. 다음으로, S306 단계에서 비트 연산(bitwise operation)을 수행하고, S307 단계를 통해 다중 색상을 추적하며, S308 단계에서 추적된 색상을 인식한다. 이제, S309 단계에서는 인식된 색상을 블루투스와 같은 통신을 통해 카메라 블록으로부터 다른 기능 블록(예를 들어, 블록 나열에 관한 주제에 따른 콘텐츠에서는 LED 블록이 될 수 있다) 또는 콘텐츠 제공 장치로 전송한다. S310 단계에서 전달받은 블록 또는 장치에서는 인식된 색상을 데이터 처리하여 콘텐츠의 조작 결과가 적절한지를 판단하고, S311 단계에서 그 결과를 표시한다(예를 들어, LED 블록에 인식된 결과에 대응하는 색상을 표시할 수 있다). 마지막으로 S312 단계에서는 블록 간에 인공 지능 데이터를 공유함으로써 인식 성능을 개선하기 위한 데이터로 활용할 수 있다.The image taken in step S301 (a user's block manipulation image) is received, and the frame of the manipulation image input in step S302 is converted into an HSV color space. This is to change the color space for convenience of coding and to use hues that are relatively less sensitive to the effects of lighting. In step S303, a range of colors in the program is set, and in step S304, a minimum value and a maximum value of the color are set. Then, the noise is removed through morphology. An erosion operation or a dilation operation can be used according to the needs of the implementation, and the geometric shape of the image within the object area is used to remove noise other than the actual object through, for example, the dilation operation on the object. can do. Next, a bitwise operation is performed in step S306, multiple colors are tracked through step S307, and the tracked color is recognized in step S308. Now, in step S309, the recognized color is transmitted from the camera block to another functional block (for example, it may be an LED block in the content according to the topic related to the block arrangement) or the content providing device through communication such as Bluetooth. The block or device received in step S310 processes the recognized color as data to determine whether the manipulation result of the content is appropriate, and displays the result in step S311 (eg, a color corresponding to the recognized result in the LED block) can be indicated). Finally, in step S312, artificial intelligence data is shared between blocks, so that it can be used as data to improve recognition performance.

도 4는 본 발명의 일 실시예에 따른 콘텐츠 제공 방법에서 문자를 인식하는 과정을 보다 구체적으로 설명하기 위한 도면으로서, 다음의 일련의 과정을 수반한다.4 is a diagram for explaining in more detail a process of recognizing a character in a content providing method according to an embodiment of the present invention, and the following series of processes are involved.

가장 먼저, S401 단계에서는 인터랙션을 블록을 이용하여 도출 가능한 글자, 숫자 및 부호를 각각 미리 학습함으로써 기계 학습 모델을 생성한다. S402 단계를 통해 촬영된 이미지가 입력되며, S403 단계를 통해 저장하고, S404 단계에서 이미지 분석을 수행한다. 이때, 앞서 S401 단계를 통해 미리 학습된 기계 학습(machine learning) 모델을 통해 입력된 조작 영상으로부터 미리 학습된 글자, 숫자 또는 부호가 존재하는지를 판단한다. 특히, 개별적으로 발견된 글자, 숫자 또는 부호를 문장 또는 수식 규칙에 부합하도록 병합 또는 분리하여 처리함으로써, 입력된 조작 영상으로부터 문자를 인식하는 것이 바람직하다. 예를 들어, 한글 학습에 관한 주제에 따른 블록 놀이에서는 'ㄴ', 'ㅏ', 'ㅁ', 'ㅜ'의 연속적인 블록 배치를 각각 개별적인 음소로서 인식하는데 그치지 않고, 이들을 병합하여 '나무'이라는 단어로 인지할 필요가 있다. 그런 다음, S405 단계에서는 숫자 연산 또는 정답 유무와 같은 이미지 분석 결과를 판단하게 된다. 이제, S406 단계를 통해 다른 블록 내지 콘텐츠 제공 장치와 무선 통신하고, S407 단계를 통해 데이터 처리 과정을 거쳐, S408 단계에서 인식된 숫자 내지 연산자 등 그 결과를 표시한다.First, in step S401, a machine learning model is created by pre-learning letters, numbers, and signs that can be derived using blocks for interaction. The image taken through step S402 is input, stored through step S403, and image analysis is performed at step S404. At this time, it is determined whether letters, numbers, or signs learned in advance from the manipulation image input through the machine learning model previously learned through step S401 exist. In particular, it is preferable to recognize characters from an input manipulation image by merging or separating individually found letters, numbers, or signs to match the sentence or formula rules. For example, in block play according to the subject of learning Hangul, the continuous block arrangement of 'ㄴ', 'A', 'ㅁ', and 'TT' is not limited to recognizing each as individual phonemes, but they are merged to form a 'tree'. It needs to be recognized as a word. Then, in step S405, it is determined the image analysis result, such as numeric operation or the presence or absence of a correct answer. Now, through step S406, it wirelessly communicates with another block or content providing device, goes through a data processing process through step S407, and displays the result, such as numbers or operators recognized in step S408.

도 5 및 도 6은 본 발명의 일 실시예에 따른 콘텐츠 제공 방법을 활용한 주제 중심의 블록 놀이 기법들을 예시한 도면이다.5 and 6 are diagrams illustrating thematic block play techniques using the content providing method according to an embodiment of the present invention.

도 5는 색상 기억에 관한 주제에 따른 콘텐츠를 예시하였다. 도 5의 (A)에서 콘텐츠 제공 장치는 3x3 크기의 7가지 색상(빨강/초록/파랑/자홍/노랑/청록/흰색)의 블록 그림을 표시한다. 도 5의 (B)에서는 미리 지정된 시간(예를 들어, 10초) 동안 색상을 보여준 다음 화면에서 블록 그림이 사라지고, 사용자가 기억한 색상 순서대로 블록을 배열한 다음, 그 결과를 카메라 블록을 이용해 촬영하라는 지시가 표시된다. 도 5의 (C)에서 사용자가 수행할 결과를 카메라 블록을 이용해 촬영하면, 도 5의 (D)에서 사용자 조작 영상을 인식, 분석하여 색상 맞추기 결과를 표시한다. 사용자의 수행 결과가 좋을수록 생상의 조합을 다양하게 하는 등의 방법을 통해 난이도를 높임으로써 인지 능력의 향상을 유도할 수 있다. 도 5를 참조하면, 인공 지능 카메라 블록을 활용하여 주제 기반의 블록 놀이를 유도함으로써, 유아의 경우 놀이를 통한 색상 기억력 훈련과 집중력 향상을 도모할 수 있다. 또한, 노인들의 경우 블록 놀이를 통한 기억력 훈련과 치매 예방에 도움을 줄 수 있다.5 exemplifies content according to the subject of color memory. In FIG. 5(A) , the content providing device displays a block picture of 7 colors (red/green/blue/magenta/yellow/cyan/white) having a size of 3x3. In (B) of FIG. 5, the color is displayed for a predetermined time (for example, 10 seconds), then the block picture disappears from the screen, the blocks are arranged in the color sequence that the user remembered, and then the result is displayed using the camera block. Instructions to shoot are displayed. When the result to be performed by the user in FIG. 5C is photographed using the camera block, the user manipulation image is recognized and analyzed in FIG. 5D to display the color matching result. The better the user's performance result, the better the cognitive ability can be induced by increasing the difficulty through a method such as various combinations of raw materials. Referring to FIG. 5 , by inducing topic-based block play by using an artificial intelligence camera block, it is possible to train color memory and improve concentration through play in the case of infants. In addition, in the case of the elderly, it can help memory training and dementia prevention through block play.

도 6은 연산 훈련에 관한 주제에 따른 콘텐츠를 예시하였다. 도 6의 (A)에서 콘텐츠 제공 장치는 임의의 목표 숫자를 제시하고, 숫자 및 연산자의 조합을 통해 제시된 목표 숫자를 완성하라는 지시를 표시한다. 도 6의 (B)에서는 사용자가 활용할 수 있는 숫자 및 연산자를 표시하여 조작을 유도한다. 이때, 숫자가 표시된 블록을 다양하게 조합하여 지시를 수행할 수 있으며, 도 6의 (C)에서 사용자의 조작 결과를 촬영한다. 도 6의 (D)에서는 사용자의 조작 영상을 인식하는데, '4', '4', '+', '5', '5'를 '44+55'로 인지하는 개별 객체의 병합 과정이 함께 수반되는 것이 바람직하다. 이제 인지된 결과를 재차 연산 처리함으로써 최초에 제시된 목표 숫자 '99'와 일치하는 것을 판단하게 된다. 도 6을 참조하면, 인공 지능 카메라 블록을 활용하여 주제 기반의 블록 놀이를 유도함으로써, 유아의 경우 놀이를 통한 수학적 사고력을 향상시킬 수 있으며, 노인들의 경우 간단한 계산을 반복시켜 인지 기능을 유지함으로써 치매 예방에 도움을 줄 수 있다.6 exemplifies content according to a topic related to computational training. In FIG. 6A , the content providing device presents an arbitrary target number, and displays an instruction to complete the presented target number through a combination of numbers and operators. In FIG. 6B , numbers and operators that the user can utilize are displayed to induce manipulation. In this case, the instruction can be performed by various combinations of blocks marked with numbers, and the result of the user's operation is photographed in FIG. 6C . In (D) of FIG. 6, the user's manipulation image is recognized, and the merging process of individual objects recognizing '4', '4', '+', '5', and '5' as '44+55' is performed together. It is preferable to be accompanied. Now, by processing the recognized result again, it is judged that it matches the initially presented target number '99'. Referring to FIG. 6 , by inducing topic-based block play by using an artificial intelligence camera block, in the case of infants, mathematical thinking through play can be improved, and in the case of the elderly, dementia by repeating simple calculations to maintain cognitive function It can help with prevention.

도 7은 본 발명의 일 실시예에 따른 블록 완구를 이용한 콘텐츠 제공 시스템을 도시한 블록도로서, 도 2의 콘텐츠 제공 방법을 하드웨어 구현의 관점에서 재구성한 도면이다. 따라서, 여기서는 설명의 중복을 피하기 위해 구성 요소들을 수행 기능에 집중하여 그 개요만을 약술하도록 한다.7 is a block diagram illustrating a content providing system using a block toy according to an embodiment of the present invention, and is a diagram in which the content providing method of FIG. 2 is reconstructed from the viewpoint of hardware implementation. Therefore, in order to avoid duplication of description, only the outline of the components will be summarized here by concentrating on the functions to be performed.

카메라 블록(11)은 영상 촬영이 가능하도록 카메라를 구비하며, 촬영된 영상을 다른 기기에 전달하기 위한 통신 수단을 포함한다.The camera block 11 includes a camera to enable image capturing, and a communication means for transmitting the captured image to another device.

인터랙션(interaction) 블록(13)은 사용자와 상호작용이 가능하도록 기능 버튼 등의 조작 수단을 구비하며, 역시 사용자 조작 결과를 전달하기 위한 통신 수단을 포함한다.The interaction block 13 includes operation means such as a function button to enable interaction with the user, and also includes communication means for transmitting the user operation result.

그 외 일반적인 블록들이 블록 놀이/활동을 위해 더 활용될 수 있으며, 소리를 통한 상호작용을 위해 스피커 블록이 추가적으로 마련될 수도 있다.Other general blocks may be further utilized for block play/activity, and a speaker block may be additionally provided for interaction through sound.

콘텐츠 제공 장치(20)는, 상기 카메라 블록(11) 및 상기 인터랙션 블록(13)과 통신하며 사용자에게 콘텐츠를 제공하는 구성으로서, 통신 수단(21)을 포함한다. 이러한 콘텐츠 제공 장치(20)는, 디스플레이 수단(27)에 콘텐츠를 표시하여 사용자로 하여금 상기 콘텐츠에 따라 상기 인터랙션 블록을 조작하는 행동을 유도하고, 상기 카메라 블록을 통해 상기 인터랙션 블록의 조작 영상을 입력받고, 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식하며, 인식 결과와 상기 콘텐츠가 목표로 하는 수행 결과를 비교하여 상기 사용자의 조작 성과를 판단한다. 이를 위해 콘텐츠 제공 장치(20)는 이상의 일련의 과정을 수행하는 명령어로 구성된 프로그램으로 구현되어 처리부(23)에 로드(load)되어 각 단계가 구동될 수 있다. The content providing apparatus 20 communicates with the camera block 11 and the interaction block 13 to provide content to a user, and includes a communication means 21 . The content providing device 20 induces the user to manipulate the interaction block according to the content by displaying the content on the display means 27, and inputs the manipulation image of the interaction block through the camera block. Receive and recognize at least one of the color or character of the block and the arrangement of the block in real time from the input manipulation image, and compare the recognition result with the performance result targeted by the content to determine the user's manipulation performance. To this end, the content providing apparatus 20 may be implemented as a program composed of instructions for performing the above series of processes and loaded into the processing unit 23 to drive each step.

콘텐츠 제공 장치(20)는, 콘텐츠에 내에 포함된 지시에 따라 사용자로 하여금, 상기 인터랙션 블록(13)을 순서대로 나열하거나, 상기 인터랙션 블록913)을 조립하거나 또는 상기 인터랙션 블록(13)의 기능 버튼을 작동시키는 행동을 유도할 수 있다. 이러한 콘텐츠 제공 장치(20)는, 상기 사용자의 연령, 지적 능력, 병력 및 난이도 중 적어도 하나를 고려하여 상기 콘텐츠를 표시하는 지속 시간을 결정할 수 있다.The content providing device 20 allows the user to list the interaction blocks 13 in order, assemble the interaction blocks 913, or function buttons of the interaction blocks 13 according to instructions included in the content. can induce behavior that activates The content providing apparatus 20 may determine a duration for displaying the content in consideration of at least one of the user's age, intellectual ability, medical history, and difficulty level.

상기 콘텐츠 제공 장치(20)는, 입력된 조작 영상의 프레임을 HSV 색공간으로 변환하고, 색상의 범위를 설정하고, 모폴로지(morphology)를 통해 노이즈를 제거하고, 비트 연산(bitwise operation)을 통해 다중 색상을 추적하며, 추적된 색상을 인식함으로써, 입력된 조작 영상으로부터 블록의 색상을 인식할 수 있다. 또한, 상기 콘텐츠 제공 장치(20)는, 상기 인터랙션을 블록을 이용하여 도출 가능한 글자, 숫자 및 부호를 각각 미리 학습시키고, 미리 학습된 기계 학습(machine learning) 모델(25)을 통해 입력된 조작 영상으로부터 미리 학습된 글자, 숫자 또는 부호가 존재하는지를 판단하되, 개별적으로 발견된 글자, 숫자 또는 부호를 문장 또는 수식 규칙에 부합하도록 병합 또는 분리하여 처리함으로써, 입력된 조작 영상으로부터 문자를 인식할 수 있다.The content providing apparatus 20 converts a frame of an input manipulated image into an HSV color space, sets a color range, removes noise through morphology, and performs multiple operations through bitwise operation. By tracing the color and recognizing the tracked color, it is possible to recognize the color of the block from the input manipulation image. In addition, the content providing apparatus 20 pre-learns letters, numbers, and signs that can be derived using blocks for the interaction, and the manipulation image input through the pre-trained machine learning model 25 . It is determined whether letters, numbers, or signs learned in advance from .

상기 콘텐츠 제공 장치(20)는, 상기 인터랙션 블록의 나열 상태, 색상 또는 상기 콘텐츠에 포함된 지시에 따른 조작 결과가 인식 결과와 일치하는지, 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록이 조립되었는지 또는 상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록의 기능 버튼이 작동되었는지를 판단할 수 있다. 또한, 상기 콘텐츠 제공 장치(20)는, 판단된 상기 조작 성과를 영상 또는 소리 중 적어도 하나를 통해 상기 사용자에게 제공할 수 있다. 나아가, 상기 콘텐츠 제공 장치(20)는, 판단된 상기 조작 성과에 따라 기존에 제공되었던 콘텐츠의 주제 또는 난이도를 조절하여 새로운 콘텐츠를 더 제공할 수 있다.The content providing device 20 determines whether the sequence state, color, or operation result according to the instruction included in the content of the interaction block matches the recognition result, whether the interaction block is assembled according to the instruction included in the content, or It may be determined whether the function button of the interaction block is operated according to an instruction included in the content. Also, the content providing apparatus 20 may provide the determined operation result to the user through at least one of an image and a sound. Furthermore, the content providing apparatus 20 may further provide new content by adjusting the subject or difficulty of the previously provided content according to the determined operation result.

상기된 본 발명의 실시예들에 따르면, 카메라 블록에 기반하여 콘텐츠 제공을 통해 종래의 블록 놀이가 갖는 정적인 콘텐츠 구성의 한계를 넘어 주제 기반의 다양한 인터랙션 블록을 활용한 놀이 활동이 가능하고, 인공 지능 기술을 활용한 색상, 문자 내지 배열 인식을 통해 사용자의 조작 행동으로부터 과제 수행의 완성도를 정확하게 파악할 수 있을 뿐만 아니라, 결과 분석에 기초하여 인지 능력을 향상시킬 수 있도록 난이도 내지 주제가 변화된 추가 콘텐츠를 제공할 수 있다.According to the embodiments of the present invention described above, by providing content based on the camera block, it is possible to play activities using various interactive blocks based on themes, beyond the limit of the static content composition of the conventional block play, and Through the recognition of colors, characters, and arrangements using intelligent technology, it is possible to accurately grasp the completeness of task performance from the user's manipulation behavior, as well as provide additional content with a changed difficulty level or subject to improve cognitive ability based on the analysis of the results can do.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in a network-connected computer system, and the computer-readable code may be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.In the above, various embodiments of the present invention have been mainly examined. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in modified forms without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

11: 카메라 블록
13: 인터랙션 블록
20: 콘텐츠 제공 장치
21: 콘텐츠 제공 장치의 통신 수단
23: 콘텐츠 제공 장치의 처리부
25: 콘텐츠 제공 장치의 기계 학습 모델
27: 콘텐츠 제공 장치의 디스플레이11: Camera Block
13: Interaction Block
20: content providing device
21: communication means of the content providing device
23: processing unit of the content providing device
25: Machine Learning Models for Content Delivery Devices
27: display of content providing device

Claims (17)

영상 촬영이 가능한 카메라를 포함하는 카메라 블록 및 사용자와 상호작용이 가능한 조작 수단을 포함하는 인터랙션(interaction) 블록을 구비하고, 상기 사용자가 수행할 주제를 제시하는 콘텐츠 제공 시스템이 콘텐츠를 제공하는 방법에 있어서,
(a) 상기 콘텐츠 제공 시스템이 콘텐츠를 표시하여 상기 사용자로 하여금 상기 콘텐츠에 따라 상기 인터랙션 블록을 조작하는 행동을 유도하되, 상기 사용자의 연령, 지적 능력, 병력 및 난이도 중 적어도 하나를 고려하여 설정된 상기 사용자가 수행할 주제에 따라 상기 콘텐츠를 표시하는 지속 시간을 결정하여 상기 콘텐츠를 표시하는 단계;
(b) 상기 콘텐츠 제공 시스템이 상기 카메라 블록을 통해 상기 인터랙션 블록의 조작 영상을 입력받는 단계;
(c) 상기 콘텐츠 제공 시스템이 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식하는 단계; 및
(d) 상기 콘텐츠 제공 시스템이 인식 결과와 상기 콘텐츠가 목표로 하는 수행 결과를 비교하여 상기 사용자의 조작 성과를 판단하되, 상기 콘텐츠의 난이도에 따라, 인식 결과의 판독만으로 조작 성과를 판단하거나, 또는 인식된 개별 객체의 병합 과정을 통해 인식 결과의 의미를 재차 파악하여 도출된 결과로부터 조작 성과를 판단하는 단계;를 포함하고,
상기 카메라 블록은 상기 인터랙션 블록 및 일반 블록들과, 상기 인터랙션 블록은 상기 카메라 블록 및 상기 일반 블록들과 3차원적으로 조합되어 사용되며,
상기 사용자가 수행할 주제는, 상기 콘텐츠 제공 시스템이 상기 인터랙션 블록 및 상기 일반 블록들과 3차원적으로 조합되어 사용되는 상기 카메라 블록의 상기 카메라를 통해 획득된 영상 정보 및 상기 카메라 블록 및 상기 일반 블록들과 3차원적으로 조합되어 사용되는 상기 인터랙션 블록의 상기 조작 수단을 통해 획득한 상기 사용자의 입력 정보를 기반으로 변경되고,
상기 사용자가 수행할 주제는 상기 사용자가 상기 카메라 블록, 상기 인터랙션 블록 및 상기 일반 블록들을 3차원적으로 조합하여 조작하는 행동을 유도하는 내용인 것을 특징으로 하는 콘텐츠 제공 방법.A method for providing content in a content providing system including a camera block including a camera capable of capturing an image, and an interaction block including an operation means capable of interacting with a user, and presenting a topic to be performed by the user in,
(a) the content providing system displays the content to induce the user to operate the interaction block according to the content, but is set in consideration of at least one of age, intellectual ability, medical history, and difficulty of the user displaying the content by determining a duration for displaying the content according to a topic to be performed by the user;
(b) receiving, by the content providing system, a manipulation image of the interaction block through the camera block;
(c) recognizing in real time the arrangement of blocks and at least one of a color or a character of a block from the input manipulation image by the content providing system; and
(d) the content providing system compares the recognition result with the target performance result of the content to determine the user's operation performance, and determines the operation performance only by reading the recognition result according to the difficulty level of the content, or Including; reassessing the meaning of the recognition result through the merging process of recognized individual objects and determining the operation performance from the derived result;
The camera block is used in combination with the interaction block and general blocks, and the interaction block is used in combination with the camera block and the general blocks in three dimensions,
The subject to be performed by the user is image information obtained through the camera of the camera block and the camera block and the general block in which the content providing system is used in combination with the interaction block and the general blocks in three dimensions. is changed based on the user's input information obtained through the manipulation means of the interaction block used in combination with
The content providing method, characterized in that the subject to be performed by the user is a content that induces the user to manipulate the camera block, the interaction block, and the general block in three dimensions. 제 1 항에 있어서,
상기 (a) 단계는,
콘텐츠에 내에 포함된 지시에 따라 사용자로 하여금,
상기 인터랙션 블록을 순서대로 나열하거나;
상기 인터랙션 블록을 조립하거나; 또는
상기 인터랙션 블록의 기능 버튼을 작동시키는; 행동을 유도하는, 콘텐츠 제공 방법.The method of claim 1,
The step (a) is,
In accordance with the instructions contained within the content,
listing the interaction blocks in order;
assembling the interaction block; or
actuating a function button of the interaction block; A content delivery method that drives action. 삭제delete 제 1 항에 있어서,
상기 (c) 단계는,
입력된 조작 영상의 프레임을 HSV 색공간으로 변환하고, 색상의 범위를 설정하고, 모폴로지(morphology)를 통해 노이즈를 제거하고, 비트 연산(bitwise operation)을 통해 다중 색상을 추적하며, 추적된 색상을 인식함으로써, 입력된 조작 영상으로부터 블록의 색상을 인식하는, 콘텐츠 제공 방법.The method of claim 1,
Step (c) is,
Converts the frame of the input manipulated image to HSV color space, sets the color range, removes noise through morphology, tracks multiple colors through bitwise operation, and collects the traced colors. A content providing method for recognizing a color of a block from an input manipulation image by recognizing it. 제 1 항에 있어서,
상기 (c) 단계는,
상기 인터랙션을 블록을 이용하여 도출 가능한 글자, 숫자 및 부호를 각각 미리 학습시키고, 미리 학습된 기계 학습(machine learning) 모델을 통해 입력된 조작 영상으로부터 미리 학습된 글자, 숫자 또는 부호가 존재하는지를 판단하되, 개별적으로 발견된 글자, 숫자 또는 부호를 문장 또는 수식 규칙에 부합하도록 병합 또는 분리하여 처리함으로써, 입력된 조작 영상으로부터 문자를 인식하는, 콘텐츠 제공 방법.The method of claim 1,
Step (c) is,
Each of the letters, numbers, and signs that can be derived using the interaction block are learned in advance, and it is determined whether there are letters, numbers, or signs learned in advance from the manipulation image input through a pre-trained machine learning model. , A content providing method for recognizing characters from an input manipulation image by merging or separating individually found letters, numbers, or signs to match sentences or formula rules. 제 1 항에 있어서,
상기 (d) 단계는,
상기 인터랙션 블록의 나열 상태, 색상 또는 상기 콘텐츠에 포함된 지시에 따른 조작 결과가 인식 결과와 일치하는지;
상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록이 조립되었는지; 또는
상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록의 기능 버튼이 작동되었는지;를 판단하는, 콘텐츠 제공 방법.The method of claim 1,
Step (d) is,
whether the result of manipulation according to the arrangement state, color, or instruction included in the content of the interaction block coincides with the recognition result;
whether the interaction block is assembled according to the instructions contained in the content; or
A content providing method for determining whether a function button of the interaction block is operated according to an instruction included in the content. 제 1 항에 있어서,
(e) 판단된 상기 조작 성과를 영상 또는 소리 중 적어도 하나를 통해 상기 사용자에게 제공하는 단계;를 더 포함하는, 콘텐츠 제공 방법.The method of claim 1,
(e) providing the determined operation result to the user through at least one of an image or a sound; further comprising a content providing method. 제 1 항에 있어서,
(f) 판단된 상기 조작 성과에 따라 상기 (a) 단계를 통해 제공되었던 콘텐츠의 난이도를 조절하여 새로운 콘텐츠를 제공하는 단계;를 더 포함하는, 콘텐츠 제공 방법.The method of claim 1,
(f) providing new content by adjusting the difficulty of the content provided through the step (a) according to the determined operation result; 제 1 항, 제 2 항, 제 4 항 내지 제 8 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for executing the method of any one of claims 1, 2, and 4 to 8 on a computer. 영상 촬영이 가능한 카메라를 포함하는 카메라 블록;
사용자와 상호작용이 가능한 조작 수단을 포함하는 인터랙션(interaction) 블록; 및
상기 카메라 블록 및 상기 인터랙션 블록과 통신하며 사용자에게 상기 사용자가 수행할 주제를 제시하는 콘텐츠를 제공하는 콘텐츠 제공 장치;를 포함하고,
상기 콘텐츠 제공 장치는,
콘텐츠를 표시하여 상기 사용자로 하여금 상기 콘텐츠에 따라 상기 인터랙션 블록을 조작하는 행동을 유도하되, 상기 사용자의 연령, 지적 능력, 병력 및 난이도 중 적어도 하나를 고려하여 설정된 상기 사용자가 수행할 주제에 따라 상기 콘텐츠를 표시하는 지속 시간을 결정하여 상기 콘텐츠를 표시하고, 상기 카메라 블록을 통해 상기 인터랙션 블록의 조작 영상을 입력받고, 입력된 조작 영상으로부터 블록의 색상 또는 문자 중 적어도 하나와 블록의 배치를 실시간으로 인식하며, 인식 결과와 상기 콘텐츠가 목표로 하는 수행 결과를 비교하여 상기 사용자의 조작 성과를 판단하되, 상기 콘텐츠의 난이도에 따라, 인식 결과의 판독만으로 조작 성과를 판단하거나, 또는 인식된 개별 객체의 병합 과정을 통해 인식 결과의 의미를 재차 파악하여 도출된 결과로부터 조작 성과를 판단하고,
상기 카메라 블록은 상기 인터랙션 블록 및 일반 블록들과, 상기 인터랙션 블록은 상기 카메라 블록 및 상기 일반 블록들과 3차원적으로 조합되어 사용되며,
상기 사용자가 수행할 주제는, 상기 콘텐츠 제공 시스템이 상기 인터랙션 블록 및 상기 일반 블록들과 3차원적으로 조합되어 사용되는 상기 카메라 블록의 상기 카메라를 통해 획득된 영상 정보 및 상기 카메라 블록 및 상기 일반 블록들과 3차원적으로 조합되어 사용되는 상기 인터랙션 블록의 상기 조작 수단을 통해 획득한 상기 사용자의 입력 정보를 기반으로 변경되고,
상기 사용자가 수행할 주제는 상기 사용자가 상기 카메라 블록, 상기 인터랙션 블록 및 상기 일반 블록들을 3차원적으로 조합하여 조작하는 행동을 유도하는 내용인 것을 특징으로 하는 콘텐츠 제공 시스템.a camera block including a camera capable of capturing an image;
an interaction block including a manipulation means capable of interacting with the user; and
a content providing device communicating with the camera block and the interaction block and providing a user with content that presents a topic to be performed by the user;
The content providing device,
Inducing the user to operate the interaction block according to the content by displaying the content, but according to the subject to be performed by the user, which is set in consideration of at least one of age, intellectual ability, medical history, and difficulty of the user The content is displayed by determining the duration for displaying the content, the manipulation image of the interaction block is inputted through the camera block, and the arrangement of the block and at least one of the color or text of the block from the input manipulation image is displayed in real time The user's manipulation performance is determined by comparing the recognition result with the target performance result of the content, and depending on the difficulty level of the content, the manipulation performance is determined only by reading the recognition result, or Through the merging process, the meaning of the recognition result is understood again, and the operation performance is judged from the derived result,
The camera block is used in combination with the interaction block and general blocks, and the interaction block is used in combination with the camera block and the general blocks in three dimensions,
The subject to be performed by the user is image information obtained through the camera of the camera block and the camera block and the general block in which the content providing system is used in combination with the interaction block and the general blocks in three dimensions. is changed based on the user's input information obtained through the manipulation means of the interaction block used in combination with
The content providing system, characterized in that the subject to be performed by the user is a content that induces the user to manipulate the camera block, the interaction block, and the general block in three dimensions. 제 10 항에 있어서,
상기 콘텐츠 제공 장치는,
콘텐츠에 내에 포함된 지시에 따라 사용자로 하여금,
상기 인터랙션 블록을 순서대로 나열하거나;
상기 인터랙션 블록을 조립하거나; 또는
상기 인터랙션 블록의 기능 버튼을 작동시키는; 행동을 유도하는, 콘텐츠 제공 시스템.11. The method of claim 10,
The content providing device,
In accordance with the instructions contained within the content,
listing the interaction blocks in order;
assembling the interaction block; or
actuating a function button of the interaction block; A content delivery system that drives action. 삭제delete 제 10 항에 있어서,
상기 콘텐츠 제공 장치는,
입력된 조작 영상의 프레임을 HSV 색공간으로 변환하고, 색상의 범위를 설정하고, 모폴로지(morphology)를 통해 노이즈를 제거하고, 비트 연산(bitwise operation)을 통해 다중 색상을 추적하며, 추적된 색상을 인식함으로써, 입력된 조작 영상으로부터 블록의 색상을 인식하는, 콘텐츠 제공 시스템.11. The method of claim 10,
The content providing device,
Converts the frame of the input manipulated image to HSV color space, sets the color range, removes noise through morphology, tracks multiple colors through bitwise operation, and collects the traced colors. A content providing system that recognizes the color of a block from an input manipulation image by recognizing it. 제 10 항에 있어서,
상기 콘텐츠 제공 장치는,
상기 인터랙션을 블록을 이용하여 도출 가능한 글자, 숫자 및 부호를 각각 미리 학습시키고, 미리 학습된 기계 학습(machine learning) 모델을 통해 입력된 조작 영상으로부터 미리 학습된 글자, 숫자 또는 부호가 존재하는지를 판단하되, 개별적으로 발견된 글자, 숫자 또는 부호를 문장 또는 수식 규칙에 부합하도록 병합 또는 분리하여 처리함으로써, 입력된 조작 영상으로부터 문자를 인식하는, 콘텐츠 제공 시스템.11. The method of claim 10,
The content providing device,
Each of the letters, numbers, and signs that can be derived using the interaction block are learned in advance, and it is determined whether there are letters, numbers, or signs learned in advance from the manipulation image input through a pre-trained machine learning model. , A content providing system that recognizes characters from an input manipulation image by merging or separating individually found letters, numbers, or signs to match sentences or formula rules. 제 10 항에 있어서,
상기 콘텐츠 제공 장치는,
상기 인터랙션 블록의 나열 상태, 색상 또는 상기 콘텐츠에 포함된 지시에 따른 조작 결과가 인식 결과와 일치하는지;
상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록이 조립되었는지; 또는
상기 콘텐츠에 포함된 지시에 따라 상기 인터랙션 블록의 기능 버튼이 작동되었는지;를 판단하는, 콘텐츠 제공 시스템.11. The method of claim 10,
The content providing device,
whether the result of manipulation according to the arrangement state, color, or instruction included in the content of the interaction block coincides with the recognition result;
whether the interaction block is assembled according to the instructions contained in the content; or
A content providing system for determining whether a function button of the interaction block is operated according to an instruction included in the content. 제 10 항에 있어서,
상기 콘텐츠 제공 장치는,
판단된 상기 조작 성과를 영상 또는 소리 중 적어도 하나를 통해 상기 사용자에게 제공하는, 콘텐츠 제공 시스템.11. The method of claim 10,
The content providing device,
A content providing system that provides the determined operation result to the user through at least one of an image or a sound. 제 10 항에 있어서,
상기 콘텐츠 제공 장치는,
판단된 상기 조작 성과에 따라 기존에 제공되었던 콘텐츠의 난이도를 조절하여 새로운 콘텐츠를 더 제공하는, 콘텐츠 제공 시스템.11. The method of claim 10,
The content providing device,
A content providing system that further provides new content by adjusting the difficulty of previously provided content according to the determined operation result.
KR1020200002563A 2020-01-08 2020-01-08 Method for providing contents using artificial intelligence toy and system using thereof KR102427208B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200002563A KR102427208B1 (en) 2020-01-08 2020-01-08 Method for providing contents using artificial intelligence toy and system using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200002563A KR102427208B1 (en) 2020-01-08 2020-01-08 Method for providing contents using artificial intelligence toy and system using thereof

Publications (2)

Publication Number Publication Date
KR20210089416A KR20210089416A (en) 2021-07-16
KR102427208B1 true KR102427208B1 (en) 2022-08-01

Family

ID=77150909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002563A KR102427208B1 (en) 2020-01-08 2020-01-08 Method for providing contents using artificial intelligence toy and system using thereof

Country Status (1)

Country Link
KR (1) KR102427208B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396209B1 (en) 2021-11-25 2022-05-12 (주)펜타유니버스 System for providing contents according to the result of user voice analysis based on artificial intelligence
KR20240065335A (en) 2022-10-31 2024-05-14 주식회사 모몽스튜디오 System for providing intelligent emotional toy service based on artificial intelligence

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046809B1 (en) * 2009-08-03 2011-07-05 한동오 Learning Puzzle
KR20140096595A (en) * 2013-01-28 2014-08-06 경북대학교 산학협력단 Method for image classification
KR101797814B1 (en) * 2015-08-13 2017-12-12 강원대학교산학협력단 Teaching apparatus, method for child based on image comparison algorithm
KR20170073047A (en) * 2015-12-18 2017-06-28 김영아 A block type playing toy
KR20180049841A (en) * 2016-11-03 2018-05-14 최건용 The Prefabricated Toy Set used VR
KR102060063B1 (en) 2017-11-28 2019-12-30 한국과학기술연구원 Cognition training apparatus for dementia patients
KR102061786B1 (en) * 2018-05-31 2020-01-02 김난 Method for Educating Code Using Block Kit

Also Published As

Publication number Publication date
KR20210089416A (en) 2021-07-16

Similar Documents

Publication Publication Date Title
Saunderson et al. How robots influence humans: A survey of nonverbal communication in social human–robot interaction
Hortensius et al. The perception of emotion in artificial agents
Aylett et al. Unscripted narrative for affectively driven characters
US10864453B2 (en) Automatic mobile robot for facilitating activities to improve child development
Rho et al. An experiential learning approach to learning manual communication through a virtual reality environment
Schodde et al. Adapt, explain, engage—a study on how social robots can scaffold second-language learning of children
KR102427208B1 (en) Method for providing contents using artificial intelligence toy and system using thereof
Jain et al. An interactive game for teaching facial expressions to children with autism spectrum disorders
CN109658771A (en) Neurodevelopmental disorder traffic safety training system and method based on VR technology
US20200184843A1 (en) Information processing apparatus, information processing method, and computer program
Champagnat et al. A storytelling model for educational games: Hero's interactive journey
Paiva et al. Towards more humane machines: Creating emotional social robots
Freitas et al. Using a humanoid robot as the promoter of the interaction with children in the context of educational games
Costa et al. A pilot study using imitation and storytelling scenarios as activities for labelling emotions by children with autism using a humanoid robot
LaViers et al. Making Meaning with Machines: Somatic Strategies, Choreographic Technologies, and Notational Abstractions through a Laban/Bartenieff Lens
Chan et al. Designing intelligent socially assistive robots as effective tools in cognitive interventions
Ilić et al. Calibrate my smile: robot learning its facial expressions through interactive play with humans
Karousou et al. Gamification Techniques and Feedback Mechanisms for Educational Robots
Wainer Facilitating collaboration among children with autism through robot-assisted play
Lamm et al. Improving socialization and emotion recognition for children with autism using a Smartphone App
Santos et al. Facial virtual tracking: a system to mirror emotions
Perry An analysis of game-based learning for the design of digital science games
Posada et al. A socio-constructionist environment to create stories using tangible interfaces
Sandoval et al. A prototype of a robot memory game: Exploring the technical limitations of human-robot interaction in a playful context
Mazhari et al. Teaching Iranian sign language via a virtual reality-based game

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant