KR102482841B1 - Artificial intelligence mirroring play bag - Google Patents

Artificial intelligence mirroring play bag Download PDF

Info

Publication number
KR102482841B1
KR102482841B1 KR1020220113166A KR20220113166A KR102482841B1 KR 102482841 B1 KR102482841 B1 KR 102482841B1 KR 1020220113166 A KR1020220113166 A KR 1020220113166A KR 20220113166 A KR20220113166 A KR 20220113166A KR 102482841 B1 KR102482841 B1 KR 102482841B1
Authority
KR
South Korea
Prior art keywords
play
tip
unit
user
finger
Prior art date
Application number
KR1020220113166A
Other languages
Korean (ko)
Inventor
윤정하
장석호
Original Assignee
주식회사 씨팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨팩토리 filed Critical 주식회사 씨팩토리
Priority to KR1020220113166A priority Critical patent/KR102482841B1/en
Application granted granted Critical
Publication of KR102482841B1 publication Critical patent/KR102482841B1/en
Priority to PCT/KR2023/013465 priority patent/WO2024054079A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to an artificial intelligence (AI) mirroring game bag which comprises: a bag body (100) configured to open and close an upper case (110) and a lower case (120); a fixing pin (130) maintaining the upper case and the lower case at predetermined angles; a first photographing unit (140) disposed in an upper part of the upper case when the bag body is opened and configured to be disposed at such an angle to photograph a game board of the lower case; a holding unit (150) disposed in the upper case and configured to hold an electronic device, wherein the electronic device includes a second photographing unit disposed on a front surface, a voice recording unit, and a display showing an application; a receiving unit (160) disposed in the lower case and configured to receive articles including educational tools; a game board (170) interposed detachably between the upper case and the lower case; a control unit configured to generate a signal to control a motion in the AI mirroring game bag; a memory unit configured to store photographed images; and a communication unit capable of communicating the application installed on the electronic device wirelessly to transmit the photographed images wirelessly.

Description

인공지능 미러링 놀이 가방{ARTIFICIAL INTELLIGENCE MIRRORING PLAY BAG}Artificial intelligence mirroring play bag {ARTIFICIAL INTELLIGENCE MIRRORING PLAY BAG}

본 발명은 인공지능 미러링 놀이 가방에 관한 것이다.The present invention relates to an artificial intelligence mirroring play bag.

코로나 팬데믹으로 인해 대면 교육이 불가능해짐에 따라 비대면 교육이 불가피해지면서 가정에서 교육을 받는 기회가 자연스럽게 증가하고 있는 실정이다.As face-to-face education becomes impossible due to the corona pandemic, non-face-to-face education becomes inevitable, and opportunities to receive education at home are naturally increasing.

구체적으로, 유네스코 집계에 따르면, 2020년 6월 기준으로 119개국 10억 명의 학생들(전 세계 62.3%)이 코로나로 인한 휴교령의 영향을 받고 있는 상태이다. 특히, 우리나라도 공교육 사상 처음으로 온라인 개학을 실시했으며, 탄력적으로 수업과 등교수업을 병행하고 있는 실정이다.Specifically, according to UNESCO's tally, as of June 2020, 1 billion students in 119 countries (62.3% worldwide) are affected by the school closure order due to COVID-19. In particular, Korea also implemented online school for the first time in the history of public education, and it is a situation where classes and in-person classes are combined flexibly.

또한, 일시적으로 감염자의 정점을 찍고 사라질 것이라고 예상되었던 코로나와 같은 전염성 질병이 계절성에 따라 다시 재발생이 되고 있는 등, 점차 순수하게 대면 교육만으로 교육을 진행하기는 어려운 상황으로 달려가고 있다.In addition, contagious diseases such as corona, which were expected to disappear after temporarily peaking the number of infected, are reoccurring according to the season, and it is gradually running into a situation where it is difficult to conduct education purely with face-to-face education.

이를 위해, 기존에 B2B 시장에서 좋은 평가를 받고 있는 콘텐츠를 B2C 시장의 니즈에 맞춰 제품 업그레이드하고, 서비스 고도화에 대한 필요성이 대두되고 있는 실정이다. 또한, B2B 시장은 수요 예측이 가능하고 안정적인 공급에 대한 이점이 있으나, 낮은 공급가격과 낮은 마진으로 인해 사업 성장에 한계가 있다.To this end, there is a need to upgrade products that have been well-received in the B2B market to meet the needs of the B2C market and to upgrade services. In addition, the B2B market has the advantage of predictable demand and stable supply, but there are limits to business growth due to low supply prices and low margins.

한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지기술이라 할 수 없다.On the other hand, the above-described background art is technical information that the inventor possessed for derivation of the present invention or acquired during the derivation process of the present invention, and cannot necessarily be referred to as known art to the general public prior to filing the present invention.

한국 등록 실용신안 제20-0431659호Korea Utility Model Registration No. 20-0431659 한국 등록 실용신안 제20-0475050호Korean Utility Model Registration No. 20-0475050

기존의 영유아 자연놀이 교구에 인공지능과 콘텐츠 개발을 통하여 신규 에듀테크 상품 및 서비스 개발이 요구된다.It is required to develop new edutech products and services through artificial intelligence and content development in the existing nature play teaching materials for infants and toddlers.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 인공지능 미러링 놀이가방을 통해 사용자의 놀이에 대한 흥미도 내지 난이도에 관한 정보를 인공지능 기술을 이용하여 추출함으로써 놀이에 대한 피드백을 획득하여 제공하는 데 있다.The present invention is to solve the above problems, and an object of the present invention is to extract information about the level of interest or difficulty of a user's play through an artificial intelligence mirroring play bag using artificial intelligence technology, thereby providing feedback on play. is to obtain and provide.

특히, 본 발명은 단순히 놀이를 제공하는 것이 아니라, 놀이를 관찰하면서 사용자에게 적합한 놀이를 추천하고 제공함으로써 사용자의 놀이 만족도 및 학습도를 높일 수 있는 시스템을 제공하는 것을 목표로 한다.In particular, an object of the present invention is to provide a system that can increase the user's satisfaction with play and learning by recommending and providing a suitable play to the user while observing the play, rather than simply providing play.

본 발명의 및 다른 목적과 이점은 바람직한 실시예를 설명한 하기의 설명으로부터 분명해질 것이다.Other objects and advantages of the present invention will become apparent from the following description of preferred embodiments.

본 발명은 인공지능 미러링 놀이 가방으로서, 상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100); 상부 케이스와 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130); 가방 본체가 열렸을 때 상부 케이스의 상부에 구비되고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140); 상부 케이스 내에 위치되고, 전자 장치를 거치하도록 구성되는 거치부(150) - 전자 장치는 전면에 구비된 제2 촬영부, 음성녹음부, 및 애플리케이션이 표시되는 디스플레이를 포함함 -; 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160); 상부 케이스와 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170); 인공지능 미러링 놀이 가방에서 동작을 제어하도록 신호를 발생시키도록 구성되는 제어부; 촬영된 영상을 저장하도록 구성되는 메모리부; 및 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 촬영된 영상을 무선으로 송신하도록 통신부를 포함할 수 있다.The present invention is an artificial intelligence mirroring play bag, comprising: a bag body 100 configured to open and close an upper case 110 and a lower case 120; A fixing pin 130 for maintaining the upper case and the lower case at a constant angle; a first photographing unit 140 provided on the top of the upper case when the bag body is opened and configured to be disposed at an angle capable of photographing the playboard of the lower case; a holding unit 150 located in the upper case and configured to hold an electronic device, the electronic device including a second photographing unit, a voice recording unit, and a display on which an application is displayed; a storage unit 160 located in the lower case and configured to store items including teaching aids; A play board 170 configured to be attached and detached between the upper case and the lower case; A controller configured to generate a signal to control an operation in the artificial intelligence mirroring play bag; a memory unit configured to store captured images; and a communication unit capable of wirelessly communicating with an application installed in the electronic device and wirelessly transmitting the photographed image.

일 실시예에 따르면, 전자 장치는, 놀이와 관련된 컨텐츠를 제공함과 동시에 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영하고, 제2 촬영부를 통해 촬영된 이미지를 애플리케이션을 통해 사용자의 놀이에 대한 피드백을 분석하며, 놀이판에 배치된 물품을 식별하고, 애플리케이션에서 컨텐츠를 제공하도록 구성되고, 애플리케이션에서 음성녹음부를 통해 사용자에게 컨텐츠를 제공하는 과정에서 사용자의 음성을 통해 피드백을 인터뷰하게끔 녹음하도록 구성될 수 있다.According to an embodiment, the electronic device provides content related to play and simultaneously photographs a user playing a game and an item placed on the playboard through the second photographing unit 210, and captures an image through the second photographing unit. Analyze the feedback on the user's play through the application, identify the items placed on the playboard, configure the application to provide content, and listen to the user's voice in the process of providing content to the user through the voice recorder in the application. It can be configured to be recorded to interview feedback through.

일 실시예에 따르면, 인공지능 미러링 놀이 가방은, 놀이판에 시각화된 컨텐츠를 제공하도록 구성되는 프로젝터를 더 포함할 수 있다.According to one embodiment, the artificial intelligence mirroring play bag may further include a projector configured to provide visualized content to the play board.

일 실시예에 따르면, 전자 장치는 사용자를 분석하기 위한 애플리케이션을 포함하고, 애플리케이션에 의해, 손가락의 초기 위치를 좌표로 인식하고, 핑거 포인팅 방향의 벡터를 검출하고, 3차원을 통해 검출한 벡터를 (x, y, z) 성분으로 분리하여 벡터를 표현하며, 3차원 공간에서 이미지 상에 모든 물체들의 좌표를 검출하여 (x, y, z) 성분으로 검출하고, 손가락의 초기 위치로부터 벡터를 연장한 좌표들이 물체들의 좌표들의 감싸고 있는 물체들의 크기 내에 포함된다면, 손가락이 물체를 포인팅하고 있다고 판단할 수 있다.According to an embodiment, an electronic device includes an application for analyzing a user, recognizes an initial position of a finger as coordinates, detects a vector of a pointing direction of the finger, and detects the vector through a three-dimensional system. Expresses a vector by separating it into (x, y, z) components, detects the coordinates of all objects on the image in the 3D space, detects them as (x, y, z) components, and extends the vector from the initial position of the finger If the coordinates are included in the size of the enclosing objects of the coordinates of the objects, it can be determined that the finger is pointing at the object.

일 실시예에 따르면, 인공지능 미러링 놀이 가방은, 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하도록 더 구성되고, 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하는 것은, 비디오의 제1 프레임에서 손이 검출되는지 여부를 판단하는 것; 비디오의 제1 프레임에서 손이 검출되지 않는다면, 다음 프레임으로 넘기는 것; 비디오의 제1 프레임에서 손이 검출되었다면, 손가락 끝이 엄지손가락 끝인지 검지손가락 끝인지를 판단하는 것; 비디오의 제1 프레임에서 엄지손가락 끝을 노란색으로 표시하고, 검지손가락 끝을 빨간색으로 표시하는 것; 엄지손가락과 검지손가락 끝들 사이의 거리, 수직 축에서 엄지손가락과 검지손가락 끝들 사이의 각도, 및 엄지손가락과 검지손가락 끝들 사이의 도심(centroid)를 계산하는 것; 및 손가락 끝들의 거리, 각도, 및 도심에 따라, 스케일(scale), 각도(angle), 옮김(translation)을 가상 객체에 적용시키는 것을 비디오의 마지막 프레임까지 반복하는 것을 포함하고, 다수개의 프레임으로 구성되는 촬영 영상에서 손가락 끝의 팁이 놀이판(170) 위의 놀이 또는 책으로 향하는 빈도가 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50%를 넘고, 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수에서 사용자의 표정이 웃는 표정이라고 판단되는 경우 비율이 70% 이상인 경우, 사용자가 놀이에 흥미를 느낀다고 판단되고, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50% 미만이고, 그 때의 사용자의 표정이 웃는 표정인 경우의 비율이 일정 값(예컨대 70%) 미만인 경우, 놀이에 흥미가 없다고 판단되며, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 20% 미만인 경우, 놀이의 난이도가 높아서 관심을 두지 않는 것으로 판단되어, 놀이의 난이도를 낮추라는 메시지를 애플리케이션에 의해 사용자의 학부모에게 송신될 수 있다.According to one embodiment, the artificial intelligence mirroring play bag is further configured to analyze a video in which a user playing a game and an item placed on the playboard are simultaneously photographed through the second photographing unit 210, and the second photographing unit 210 Analyzing the video in which the user playing and the items placed on the board are simultaneously photographed through ) determines whether a hand is detected in the first frame of the video; if a hand is not detected in the first frame of the video, skipping to the next frame; if the hand is detected in the first frame of the video, determining whether the fingertip is the tip of the thumb or the tip of the index finger; Marking the tip of the thumb in yellow and the tip of the index finger in red in the first frame of the video; calculating the distance between the tips of the thumb and index finger, the angle between the tips of the thumb and index finger on a vertical axis, and the centroid between the tips of the thumb and index finger; and repeating the application of scale, angle, and translation to the virtual object according to the distance, angle, and centroid of the fingertips until the last frame of the video, consisting of a plurality of frames. In the captured video, the ratio of the number of frames in which the tip of the fingertip points to the game or book on the playboard 170 is a virtual object to which the tip of the fingertip is directed exceeds 50% of the number of frames with the hand, If the user's expression is determined to be a smiling face in the number of frames in which the tip of the tip is a virtual object, if the ratio is 70% or more, it is determined that the user is interested in playing, and the tips of the fingertips among the number of frames with hands If the ratio of the number of frames in the case of the virtual object facing is less than 50% and the ratio of the case in which the user's expression is a smiling expression at that time is less than a certain value (eg 70%), it is determined that the user is not interested in playing, and the hand If the ratio of the number of frames where the tip of the finger is a virtual object is less than 20% of the number of frames with , it is determined that the difficulty of the game is high and you are not interested, and a message to lower the difficulty of the game is sent by the application. It may be sent to the user's parents.

본 발명에 따르면, 놀이가방에 구비된 별도의 촬영부가 교구놀이 및 독서 등이 진행되는 놀이판(사용자의 손동작, 교구/장난감의 동작/독서의 내용)을 촬영함과 동시에, 스마트폰 카메라를 통해 놀이를 하는 사용자(영유아)의 모습(얼굴표정)을 동시에 촬영함으로써, 사용자(영유아)의 놀이에 대한 반응을 감지/분석하고, 이에 대응하여 맞춤형 컨텐츠를 제공할 수 있다.According to the present invention, a separate shooting unit provided in the play bag records the play board (user's hand motion, teaching tool/toy motion/reading content) on which teaching play and reading are conducted, and at the same time, play through the smartphone camera. By simultaneously photographing the appearance (facial expression) of the user (infants) playing, it is possible to sense/analyze the reaction of the user (infants) to play, and provide customized content in response thereto.

또한, 놀이가방에 프로젝트가 구비되는 경우 교구와 놀이판에 영사된 이미지를 통해 놀이 컨텐츠의 효과를 높일 수 있다.In addition, when a project is provided in the play bag, the effect of the play content can be enhanced through the image projected on the teaching tool and the play board.

한편, 인공지능 기술을 통해, 놀이 컨텐츠에 대한 아이의 반응을 지속적으로 학습함으로써, 개별 아이에 맞는 최적화된 분석/놀이를 제안할 수 있다. 예를 들어, 숫자 놀이/도서의 난이도가 사용자에게 높은지, 낮은지, 아이가 숫자에 관심이 많은지, 아니면 영어에 관심이 많은지 등을 분석할 수 있으며, 이를 통해 사용자의 성향, 선호도 등을 분석하고, 이에 맞는 컨텐츠를 제공할 수 있다. 또한, 아이가 숫자와 관련된 놀이를 할 때 표정이 좋지 않거나, 진행이 느리다고 판단되는 경우, 숫자놀이에 대한 난이도를 낮춰줌으로써 아이가 숫자에 대한 거부감을 극복하고 흥미를 유발한 후, 점차적으로 난이도를 맞춤형으로 높여감으로써 놀이/교육의 효과를 높일 수 있다.On the other hand, by continuously learning the child's response to the play content through artificial intelligence technology, it is possible to propose an analysis/play optimized for each child. For example, it is possible to analyze whether the difficulty of number games/books is high or low for the user, whether the child is interested in numbers or English, etc. , content suitable for this can be provided. In addition, if the child's expression is not good or progress is judged to be slow when playing numbers related games, the difficulty level of the number game is lowered so that the child overcomes the resistance to numbers and arouses interest, and then gradually increases the difficulty level. The effect of play/education can be enhanced by customizing it.

다만, 본 발명의 효과들은 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.However, the effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시예에 따른 인공지능 미러링 놀이 가방의 개략도이다.
도 2a는 본 발명의 일 실시예에 따른 핑거미러링 앱을 도시하는 도면이다.
도 2b는 본 발명의 일 실시예에 따른 핑거미러링 앱에서 예시적으로 사용자의 표정을 분류하는 과정을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 핑거 포인팅을 통한 객체 인지 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 촬영부으로부터 핑거 포인팅을 검출하는 방법을 도면이다.
도 5는 본 발명의 일 실시예에 따른 핑거 포인팅을 자세히 분석하는 과정을 설명하는 도면이다.1 is a schematic diagram of an artificial intelligence mirroring play bag according to an embodiment of the present invention.
2A is a diagram illustrating a finger mirroring app according to an embodiment of the present invention.
2B is a diagram illustrating a process of classifying a user's expression exemplarily in a finger mirroring app according to an embodiment of the present invention.
3 is a diagram illustrating an object recognition process through finger pointing according to an embodiment of the present invention.
4 is a diagram illustrating a method of detecting finger pointing from a photographing unit according to an embodiment of the present invention.
5 is a diagram explaining a process of analyzing finger pointing in detail according to an embodiment of the present invention.

이하, 본 발명의 실시예와 도면을 참조하여 본 발명을 상세히 설명한다. 이들 실시예는 오로지 본 발명을 보다 구체적으로 설명하기 위해 예시적으로 제시한 것일 뿐, 본 발명의 범위가 이들 실시예에 의해 제한되지 않는다는 것은 통상의 기술자에 있어서 자명할 것이다.Hereinafter, the present invention will be described in detail with reference to embodiments and drawings of the present invention. These examples are only presented by way of example to more specifically describe the present invention, and it will be apparent to those skilled in the art that the scope of the present invention is not limited by these examples.

또한, 달리 정의하지 않는 한, 본 명세서에서 사용되는 모든 기술적 및 과학적 용어는 본 발명이 속하는 기술 분야의 통상의 기술자에 의해 통상적으로 이해되는 바와 동일한 의미를 가지며, 상충되는 경우에는, 정의를 포함하는 본 명세서의 기재가 우선할 것이다.In addition, unless otherwise defined, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, and in case of conflict, including definitions The description herein will take precedence.

도면에서 제안된 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 그리고, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에서 기술한 "부"란, 특정 기능을 수행하는 하나의 단위 또는 블록을 의미한다.In order to clearly explain the proposed invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification. And, when a certain component is said to "include", this means that it may further include other components without excluding other components unless otherwise stated. Also, a “unit” described in the specification means one unit or block that performs a specific function.

각 단계들에 있어 식별부호(제1, 제2, 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 실시될 수도 있고 실질적으로 동시에 실시될 수도 있으며 반대의 순서대로 실시될 수도 있다.In each step, the identification code (first, second, etc.) is used for convenience of description, and the identification code does not describe the order of each step, and each step does not clearly describe a specific order in context. It may be performed differently from the order specified above. That is, each step may be performed in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

이하, 구체적인 실시예와 비교예를 통하여 본 발명의 구성 및 그에 따른 효과를 보다 상세히 설명하고자 한다. 그러나, 본 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것이며, 본 발명의 범위가 이들 실시예에 한정되는 것은 아니다.Hereinafter, the configuration of the present invention and its effects will be described in more detail through specific examples and comparative examples. However, these examples are for explaining the present invention in more detail, and the scope of the present invention is not limited to these examples.

도 1은 본 발명의 일 실시예에 따른 인공지능 미러링 놀이 가방의 개략도이다.1 is a schematic diagram of an artificial intelligence mirroring play bag according to an embodiment of the present invention.

도 1을 구체적으로 살펴보면, 인공지능 미러링 놀이 가방은, 상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100), 상부 케이스와 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130), 가방 본체가 열렸을 때 상부 케이스의 상부에 구비되고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140), 상부 케이스 내에 위치되고, 전자 장치를 거치하도록 구성되는 거치부(150)를 포함할 수 있다. 또한, 전자 장치는 전면에 구비된 제2 촬영부, 음성녹음부, 및 애플리케이션이 표시되는 디스플레이를 포함할 수 있다. 1, the artificial intelligence mirroring play bag has a bag body 100 configured to open and close the upper case 110 and the lower case 120, and a bag body 100 for maintaining the upper case and the lower case at a constant angle. A fixing pin 130, a first photographing unit 140 provided on the upper part of the upper case when the bag body is opened and configured to be disposed at an angle capable of photographing the playboard of the lower case, located in the upper case, and an electronic device It may include a mounting portion 150 configured to be mounted. In addition, the electronic device may include a second photographing unit, a voice recording unit, and a display on which an application is displayed.

하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140)은 사용자의 핸드가 놀이판을 벗어나는지 여부를 판단할 수 있다.The first photographing unit 140 configured to be disposed at an angle capable of photographing the play board of the lower case may determine whether the user's hand leaves the play board.

본 발명에 일 실시예에 따른 인공지능 미러링 놀이 가방은, 또한 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160), 상부 케이스와 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170), 인공지능 미러링 놀이 가방에서 동작을 제어하도록 신호를 발생시키도록 구성되는 제어부, 촬영된 영상을 저장하도록 구성되는 메모리부, 및 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 촬영된 영상을 무선으로 송신하도록 통신부를 포함할 수 있다.The artificial intelligence mirroring play bag according to an embodiment of the present invention is also located in the lower case, and includes a storage unit 160 configured to store items including teaching aids, and a play board configured to be detachable between the upper case and the lower case. (170), a control unit configured to generate a signal to control an operation in an artificial intelligence mirroring play bag, a memory unit configured to store a captured image, and an application installed in an electronic device to communicate wirelessly, A communication unit may be included to wirelessly transmit an image.

도 2a는 본 발명의 일 실시예에 따른 핑거미러링 앱을 도시하는 도면이다.2A is a diagram illustrating a finger mirroring app according to an embodiment of the present invention.

도 2a는 도 1의 거치부(150)에 거치될 수 있는 여러 전자 기기를 도시한다.FIG. 2A shows several electronic devices that can be mounted on the holder 150 of FIG. 1 .

본 발명의 일 실시예 따르면, 대표적으로 전자 기기는 스마트폰일 수 있다. 2000년초반부터 스마트폰은 카메라(210)의 기능을 필수적으로 탑재하고 있다. 이에 따라, 본원의 일 실시에 따른 핑거미러링 앱은 예컨대 스마트폰의 카메라를 통해 사용자의 놀이가방에 올려진 놀이판(170) 위에서의 놀이 내지 전자기기에 의해 디스플레이되는 컨텐츠에 대한 피드백을 얻을 수 있다.According to an embodiment of the present invention, the electronic device may typically be a smartphone. Since the early 2000s, smartphones have been equipped with the function of the camera 210 as an essential feature. Accordingly, the finger mirroring app according to one embodiment of the present application can obtain feedback on the content displayed by the play or electronic device on the playboard 170 placed on the user's play bag through, for example, the camera of the smartphone.

본원의 일 실시예 따른 피드백은 사용자의 표정을 판단하는 인공지능 알고리즘을 포함할 수 있다.Feedback according to an embodiment of the present application may include an artificial intelligence algorithm for determining a user's facial expression.

먼저, 거치부(150)에 거치될 수 있는 전자기기로서 촬영부(210)를 포함하는 전자기기에 의해, 사용자의 얼굴 영상을 획득할 수 있다.First, an electronic device that can be mounted on the holder 150 and includes the photographing unit 210 can obtain a user's face image.

획득된 사용자의 얼굴 영상 중 각각의 프레임에서 사용자의 눈, 미간, 코끝점, 입, 볼, 귀를 하나 이상의 점으로 인식하여 연결된 점의 형태로 표현할 수 있다(도 2a의 220 참조).In each frame of the acquired user's face image, the user's eyes, glabella, nose tip, mouth, cheeks, and ears may be recognized as one or more dots and expressed in the form of connected dots (see 220 in FIG. 2A).

도 2b는 본 발명의 일 실시예에 따른 핑거미러링 앱에서 예시적으로 사용자의 표정을 분류하는 과정을 도시하는 도면이다.2B is a diagram illustrating a process of classifying a user's expression exemplarily in a finger mirroring app according to an embodiment of the present invention.

놀이를 하고 있는 사용자의 표정을 파악하기 위하여, 주로 컨볼루션 신경망(convolutional neural network; CNN) 알고리즘이 이용하여 표정을 파악할 수 있다. In order to identify the facial expression of the user playing, the facial expression can be identified using a convolutional neural network (CNN) algorithm.

여기서, CNN 알고리즘은, 기존의 데이터에서 지식을 추출하여 학습 과정이 수행되는 기법과 달리, 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조를 갖는 것을 특징으로 한다. 위 CNN은 컨볼루션(convolution) 과정과 풀링(pooling) 과정을 통해 수행될 수 있다. 다시 말해, 위 CNN은 컨볼루션 층과 풀링 층이 복합적으로 구성된 알고리즘을 포함할 수 있다. 여기서, 컨볼루션 층에서는 데이터의 특징을 추출하는 과정(일명, 컨볼루션 과정)이 수행된다. 위 컨볼루션 과정은 데이터에 각 성분의 인접 성분들을 조사해 특징을 파악하고 파악한 특징을 한 장으로 도출하는 과정으로써, 하나의 압축 과정으로써 파라미터의 개수를 효과적으로 줄일 수 있다. Here, the CNN algorithm is characterized by having a structure in which a pattern of features is identified by extracting features of data, unlike conventional techniques in which a learning process is performed by extracting knowledge from data. The above CNN may be performed through a convolution process and a pooling process. In other words, the above CNN may include an algorithm complexly composed of a convolution layer and a pooling layer. Here, in the convolution layer, a process of extracting features of data (aka convolution process) is performed. The above convolution process is a process of examining the adjacent components of each component in the data, identifying characteristics, and deriving the identified characteristics into a single sheet. As a single compression process, the number of parameters can be effectively reduced.

본 발명의 일 실시예에 따르면, 컨볼루션 층에서 데이터의 특징을 추출할 때, 사용자의 놀이 영상의 한 프레임(즉, 사진)에서 눈과 입의 사진 상의 점유하는 픽셀의 위치를 고려하여, 그 표정을 분류해낼 수 있다.According to one embodiment of the present invention, when extracting features of data in the convolution layer, considering the positions of pixels occupied on the picture of the eyes and mouth in one frame (ie, picture) of the user's play video, Facial expressions can be classified.

구체적으로 도 2b는, 5X5의 25 픽셀에서 눈이 위치하는 픽셀과 입술이 점유하는 픽셀들을 2차원적으로 표시하여 표정을 분별해내는 일 실시예를 보여준다. 그러나, 이는 예시적인 것일 뿐, 실제로 앞서 획득한 사용자의 눈, 미간, 코끝점, 입, 볼, 귀에 관한 위치 정보를 바탕으로 동영상을 초당 30프레임이라고 할 때, 30초를 관찰하여, 총 900프레임에서 웃는 표정(해피)이라고 인식된 비율 대비 슬픈 표정이라고 인식하는 비율을 비교함으로써, 웃는 표정(해피)이 더 많은 시간(즉, 프레임)을 점유하고 있다면, 사용자가 만족하고 있는 것으로 판단될 수 있다.Specifically, FIG. 2B shows an embodiment of distinguishing facial expressions by two-dimensionally displaying pixels where eyes are located and pixels occupied by lips in 25 pixels of 5X5. However, this is just an example, and based on the location information of the user's eyes, eyebrows, tip of the nose, mouth, cheeks, and ears previously obtained, when the video is assumed to be 30 frames per second, a total of 900 frames are obtained by observing 30 seconds. By comparing the ratio recognized as a smiley expression (happy) to the ratio recognized as a sad expression in , it can be determined that the user is satisfied if the smiley expression (happy) occupies more time (i.e., frame). .

또한, CNN 알고리즘에서, 풀링 층에서 컨볼루션 과정을 거친 레이어의 사이즈를 줄여주는 과정(일명, 풀링 과정)이 수행된다. 위 풀링 과정은 데이터의 사이즈를 줄이고 노이즈를 상쇄시키고 미세한 부분에서 일관적인 특징을 제공할 수 있다.In addition, in the CNN algorithm, a process of reducing the size of a layer that has undergone a convolution process in a pooling layer (aka, a pooling process) is performed. The above pooling process can reduce the size of data, cancel noise, and provide consistent features in fine parts.

도 3은 본 발명의 일 실시예에 따른 핑거 포인팅을 통한 객체 인지 과정을 설명하는 도면이다. 3 is a diagram illustrating an object recognition process through finger pointing according to an embodiment of the present invention.

본원의 일 실시예에 따르면, 도 3(a)에서 사람은 주로 포인팅을 수행할 때 검지를 이용할 수 있다. 그리고 사람의 팔은 관절 형태로 이루어져 있기 때문에, 팔이 특정한 각도를 이룬 채 구부러진 형태로 있을 수도 있다. 이 때, 본 발명은 포인팅 방향(310)을 검지가 가리키는 방향을 기준으로 하고, 팔목과 어깨까지의 가상의 연장선의 벡터가 검지가 가리키는 방향의 벡터와 오차 범위 내에 있다면, 검지가 가리키는 방향이 사용자가 의도한 방향으로 가리키는 것으로 판단할 수 있다. According to one embodiment of the present application, in FIG. 3( a ), a person may mainly use an index finger when performing pointing. And since the human arm is made up of joints, the arm may be bent at a specific angle. At this time, in the present invention, the pointing direction 310 is based on the direction the index finger points, and if the vector of the virtual extension line from the wrist to the shoulder is within the error range of the vector of the direction the index finger points, the direction the index finger points is the user's can be judged to be pointing in the intended direction.

본원의 일 실시예에 따르면, 도 3(b)에서, 손가락의 검지의 벡터(310-1)가 검출되고, 여러 물체들(320 내지 340) 중에서 손가락의 검지 벡터(310-1)의 연장선에 관한 좌표 방정식이 물체에 대한 물체의 크기를 오차범위로 하는 좌표 정보에 닿는다면, 사용자가 해당 물체를 가리키는 것으로 판단할 수 있다. 예를 들어, 도 3(b)에서 사용자는 카메라(340)을 가리키고 있는 것이라고 판단될 수 있다.According to one embodiment of the present application, in FIG. 3 (b), the vector 310-1 of the index finger of the finger is detected, and among various objects 320 to 340, an extension of the index vector 310-1 of the finger If the coordinate equation for the object reaches coordinate information with the size of the object as an error range, it can be determined that the user points to the object. For example, it may be determined that the user is pointing at the camera 340 in FIG. 3(b).

도 4는 본 발명의 일 실시예에 따른 촬영부으로부터 핑거 포인팅을 검출하는 방법을 도면이다. 이와 같은 방법은 비일시적 판독가능 저장 매체에 저장된 프로그램을 통해 실행 내지 구현될 수 있다.4 is a diagram illustrating a method of detecting finger pointing from a photographing unit according to an embodiment of the present invention. Such a method may be executed or implemented through a program stored in a non-transitory readable storage medium.

S410 단계에서, 핑거 포인팅 방향의 벡터를 검출할 수 있다. 이때, 3차원을 통해 검출한 벡터를 (x, y, z) 성분으로 분리하여 벡터를 표현할 수 있고, 손가락(예컨대, 검지)의 초기 위치 또한 3차원 공간에서 좌표로 획득할 수 있다.In step S410, a vector of the finger pointing direction may be detected. In this case, the vector detected through the 3D can be separated into (x, y, z) components to express the vector, and the initial position of the finger (eg, index finger) can also be obtained as coordinates in the 3D space.

S420 단계에서, 3차원 공간에서 이미지 상에 모든 물체들의 좌표를 검출하여 (x, y, z) 성분으로 검출할 수 있다.In step S420, the coordinates of all objects on the image in the 3D space can be detected and detected as (x, y, z) components.

S430 단계에서, 손가락의 초기 위치로부터 벡터를 연장하여 물체들의 좌표들 중 일치하는 것이 있다면, 손가락이 해당 물체를 포인팅하고 있다고 판단할 수 있다.In step S430, if a vector is extended from the initial position of the finger and coordinates of the objects match, it may be determined that the finger is pointing to the corresponding object.

예를 들어, 아래와 같은 데이터 형식으로 핑거 포인팅이 분석될 수 있다.For example, finger pointing can be analyzed in the following data format.

데이터세트dataset 이미지image 정보Information 엄지, 검지1000thumb, index finger 1000 1000 핸드 이미지1000 hand images 1.핸드 바운딩 박스, 및 엄지 및 검지 손가락팁 위치들
2.해상도 640x4801. Hand bounding box, and thumb and index fingertip locations
2. Resolution 640x480 100DOH(핸드 데이터 세트의 100일)100 DOH (100 days of hand data set) 핸드 및 핸드-물체 상호작용을 포함하는 큰 스케일의 비디오 데이터세트Large-scale video datasets containing hands and hand-object interactions 거의 131일의 매일의 상호작용의 장면을 담은 11개의 카테고리들로부터 27.3K 유튜브 비디오들로 이루어질 수 있음May consist of 27.3K YouTube videos from 11 categories, capturing nearly 131 days of daily interaction. 핸드넷(handnet)handnet 핸드넷 데이터세트는 10명의 참가자의 뎁스 이미지들(depth images)을 포함The handnet dataset contains depth images of 10 participants. RealSense RGB-D 카메라의 정면 앞에서 비강직하게 변형될 수 있는 핸드들. 주석은 마그네틱 주석 기술에 의해 생성될 수 있음Hands that can be deformed nonrigidly in front of the RealSense RGB-D camera. Annotations can be created by magnetic annotation technology

도 5는 본 발명의 일 실시예에 따른 핑거 포인팅을 자세히 분석하는 과정을 설명하는 도면이다.도 5를 살펴보면, 촬영부(예컨대 웹캠)으로부터의 입력 비디오 스트림을 수신할 수 있다.5 is a diagram illustrating a process of analyzing finger pointing in detail according to an embodiment of the present invention. Referring to FIG. 5, an input video stream from a photographing unit (eg, a webcam) can be received.

예를 들어, 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석할 수 있다.For example, a video in which a user playing a game and an item placed on a game board are simultaneously photographed through the photographing unit 210 may be analyzed.

S510 단계에서, 상기 비디오의 제1 프레임에서 손을 검출할 수 있다.In step S510, a hand may be detected in the first frame of the video.

S520 단계에서, 상기 비디오의 제1 프레임에서 손dl 검출되는지 여부를 판단할 수 있다.In step S520, it may be determined whether a hand is detected in the first frame of the video.

여기서, 비디오의 제1 프레임에서 손이 검출되지 않는다면, 손이 검출될 때까지 다음 프레임으로 넘길 수 있다. Here, if the hand is not detected in the first frame of the video, the next frame may be skipped until the hand is detected.

S530 단계에서, 비디오의 제1 프레임에서 손이 검출되었다면, 손가락 끝이 엄지손가락 끝인지 검지손가락 끝인지를 판단할 수 있다.In step S530, if the hand is detected in the first frame of the video, it may be determined whether the fingertip is the tip of the thumb or the tip of the index finger.

여기서, 비디오의 제1 프레임에서 엄지손가락 끝을 노란색으로 표시하고, 검지손가락 끝을 빨간색으로 표시할 수 있다. Here, in the first frame of the video, the tip of the thumb may be displayed in yellow and the tip of the index finger may be displayed in red.

S540 단계에서, 엄지손가락과 상기 검지손가락 끝들 사이의 거리, 수직 축에서 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 각도, 및 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 도심(centroid)를 계산할 수 있다. 여기서 계산은 손이 존재한다고 판단되는 프레임마다 계속 진행될 수 있다.In step S540, the distance between the thumb and the tips of the index finger, the angle between the tip of the thumb and the tip of the index finger on the vertical axis, and the centroid between the tip of the thumb and the tip of the index finger can be calculated. there is. Here, the calculation may continue for each frame in which it is determined that a hand exists.

S550 단계에서, 손가락 끝들의 상기 거리, 상기 각도, 및 상기 도심에 따라, 스케일(scale), 각도(angle), 옮김(translation)을 가상 객체에 적용시킬 수 있다. 이러한 분석 과정은 비디오의 마지막 프레임까지 반복될 수 있다.In step S550, scale, angle, and translation may be applied to the virtual object according to the distance, angle, and centroid of the fingertips. This analysis process may be repeated until the last frame of the video.

본 발명에 따른 인공지능 미러링 놀이가방은, 사용자의 표정과 손가락 끝들이 가리키는 객체의 분석을 통해 놀이에 대한 사용자의 흥미도를 판단할 수 있다.The artificial intelligence mirroring play bag according to the present invention can determine the user's interest in play through the analysis of the user's expression and the object pointed by the fingertips.

본 발명의 일 실시예에 의하면, n개의 프레임으로 구성되는 촬영 영상에서 손가락 끝의 팁이 해당 놀이판(170) 위의 놀이 또는 책으로 향하는 빈도가 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50%를 넘고, 그 때의 사용자의 표정이 해피인 경우의 비율이 일정 값(예컨대 70%) 이상인 경우, 사용자가 흥미를 느낀다고 판단할 수 있다. 만약, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50% 미만이고, 그 때의 사용자의 표정이 해피인 경우의 비율이 일정 값(예컨대 70%) 미만인 경우, 해당 놀이 또는 책에 흥미가 없다고 판단할 수 있다. 특히, 아동의 경우, 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 20% 미만인 경우, 놀이 또는 책이 난이도가 높아서 관심을 두지 않는 것으로 판단되어, 난이도를 낮추라는 메시지를 애플리케이션에 의해 관리자 내지 학부모에게 송신할 수 있다.According to an embodiment of the present invention, the frequency at which the tips of the fingertips point to a game or a book on the corresponding game board 170 in a photographed image consisting of n frames is the number of frames in which the hand is located. When the ratio of the number of frames in the case of an object exceeds 50% and the ratio of the case in which the user's facial expression is happy at that time exceeds a predetermined value (eg, 70%), it can be determined that the user is interested. If, among the number of frames with hands, the ratio of the number of frames in the case where the tip of the finger is a virtual object is less than 50%, and the ratio in the case where the user's facial expression is happy is less than a certain value (eg 70%) In this case, it may be judged that the child is not interested in the game or book. In particular, in the case of children, if the ratio of the number of frames in which the tip of the finger is pointing to a virtual object among the number of frames with hands is less than 20%, it is judged that the game or book is not interested because the difficulty is high, and the difficulty is reduced. A message to lower may be sent to the administrator or parent by the application.

한편, 놀이 시간 동안, 사용자가 집중을 하지 못하고, 하부 케이스의 놀이판을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140)에서 촬영된 영상에서, 놀이 시간 대비 사용자의 핸드가 놀이판을 벗어나는 시간이 50%를 넘는다면, 해당 놀이 또는 책에 더욱 흥미가 없다고 판단될 수 있다.On the other hand, in the image taken by the first photographing unit 140 configured to be disposed at an angle capable of capturing the play board of the lower case without the user concentrating during the play time, the user's hand leaves the play board compared to the play time. If the time exceeds 50%, the game or book may be judged to be less interesting.

추가적으로, 본 발명에 따른 컴퓨터 프로그램은, 컴퓨터와 결합하여, 앞서 상술한 다양한 하드웨어 가속기 제어 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장될 수 있다.Additionally, the computer program according to the present invention, combined with a computer, may be stored in a computer readable recording medium in order to execute the above-described various hardware accelerator control methods.

전술한 프로그램은, 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 위 방법들을 실행시키기 위하여, 컴퓨터의 프로세서(CPU)가 위 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 위 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 위 기능들을 위 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 위 기능들을 위 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 위 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 위 컴퓨터의 프로세서가 위 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 위 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-mentioned program is a computer language such as C, C++, JAVA, machine language, etc. It may include a code coded as . These codes may include functional codes related to functions defining necessary functions for executing the above methods, and include control codes related to execution procedures necessary for the processor of the above computer to execute the above functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related code for additional information or media required to execute the above functions by the processor of the above computer from which location (address address) of the computer's internal or external memory should be referenced. there is. In addition, if the processor of the above computer needs to communicate with any other remote computer or server in order to execute the above functions, the code can use the communication module of the above computer to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand

따라서, 본 문서에 개시된 실시예들은 본 문서에 개시된 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 문서에 개시된 기술 사상의 범위가 한정되는 것은 아니다. 본 문서에 개시된 기술 사상의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 문서의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in this document are not intended to limit the technical idea disclosed in this document, but to explain, and the scope of the technical idea disclosed in this document is not limited by these embodiments. The scope of protection of technical ideas disclosed in this document should be interpreted according to the scope of the following claims, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of this document.

Claims (5)

인공지능 미러링 놀이 가방으로서,
상부 케이스(110) 및 하부 케이스(120)를 열고 닫을 수 있도록 구성되는 가방 본체(100);
상기 상부 케이스와 상기 하부 케이스를 일정한 각도로 유지하기 위한 고정핀(130);
상기 가방 본체가 열렸을 때 상기 상부 케이스의 상부에 구비되고, 상기 하부 케이스의 놀이판(170)을 촬영할 수 있는 각도로 배치되도록 구성되는 제1 촬영부(140);
상기 상부 케이스 내에 위치되고, 전자 장치를 포함하여 상기 전자 장치를 거치하도록 구성되는 거치부(150) - 상기 전자 장치는, 전면에 구비된 제2 촬영부(210), 음성녹음부, 애플리케이션 및 상기 애플리케이션이 표시되는 디스플레이(220)를 포함함 -;
상기 하부 케이스 내에 위치되고, 교구를 포함하는 물품을 수납하도록 구성되는 수납부(160);
상기 상부 케이스와 상기 하부 케이스 사이에서 탈부착되도록 구성되는 놀이판(170);
촬영된 영상을 저장하도록 구성되는 메모리부;
상기 전자 장치에 설치된 애플리케이션과 무선으로 통신이 가능하고, 상기 촬영된 영상을 무선으로 송신하도록 구성되는 통신부; 및
상기 인공지능 미러링 놀이 가방에서 상기 통신부로 하여금 상기 제1 촬영부(140)로부터 촬영된 영상을 상기 전자 장치에 설치된 상기 애플리케이션으로 송신하도록 하는 신호를 발생시키도록 구성되는 제어부
를 포함하고,
상기 전자 장치는,
놀이와 관련된 컨텐츠를 제공함과 동시에 상기 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영하고,
상기 제2 촬영부를 통해 촬영된 이미지를 상기 애플리케이션을 통해 상기 사용자의 놀이에 대한 피드백을 분석하며,
상기 놀이판에 배치된 물품을 식별하고, 상기 애플리케이션에서 컨텐츠를 제공하도록 구성되고,
상기 애플리케이션에서 상기 음성녹음부를 통해 상기 사용자에게 컨텐츠를 제공하는 과정에서 상기 사용자의 음성을 통해 피드백을 인터뷰하게끔 녹음하도록 구성되고,
상기 전자 장치의 상기 애플리케이션에 의해,
손가락의 초기 위치를 좌표로 인식하고,
핑거 포인팅 방향의 벡터를 검출하고,
3차원을 통해 검출한 벡터를 (x, y, z) 성분으로 분리하여 벡터를 표현하며,
3차원 공간에서 이미지 상에 모든 물체들의 좌표를 검출하여 (x, y, z) 성분으로 검출하고,
손가락의 초기 위치로부터 벡터를 연장한 좌표들이 물체들의 좌표들의 감싸고 있는 상기 물체들의 크기 내에 포함된다면, 손가락이 상기 물체를 포인팅하고 있다고 판단하며,
상기 인공지능 미러링 놀이 가방은,
상기 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하도록 더 구성되고,
상기 제2 촬영부(210)를 통해 놀이를 하는 사용자 및 놀이판에 배치된 물품을 동시에 촬영한 비디오를 분석하는 것은,
상기 비디오의 제1 프레임에서 손이 검출되는지 여부를 판단하는 것;
상기 비디오의 제1 프레임에서 손이 검출되지 않는다면, 다음 프레임으로 넘기는 것;
상기 비디오의 제1 프레임에서 손이 검출되었다면, 손가락 끝이 엄지손가락 끝인지 검지손가락 끝인지를 판단하는 것;
상기 비디오의 제1 프레임에서 엄지손가락 끝을 노란색으로 표시하고, 검지손가락 끝을 빨간색으로 표시하는 것;
상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 거리, 수직 축에서 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 각도, 및 상기 엄지손가락 끝과 상기 검지손가락 끝 사이의 도심(centroid)를 계산하는 것; 및
손가락 끝들의 상기 거리, 상기 각도, 및 상기 도심에 따라, 스케일(scale), 각도(angle), 옮김(translation)을 가상 객체에 적용시키는 것
을 상기 비디오의 마지막 프레임까지 반복하는 것을 포함하고,
다수개의 프레임으로 구성되는 촬영 영상에서 손가락 끝의 팁이 상기 놀이판(170) 위의 놀이 또는 책으로 향하는 빈도가 핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50%를 넘고, 상기 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수에서 사용자의 표정이 웃는 표정이라고 판단되는 경우 비율이 70% 이상인 경우, 상기 사용자가 놀이에 흥미를 느낀다고 판단되고,
핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 50% 미만이고, 그 때의 사용자의 표정이 웃는 표정인 경우의 비율이 일정 값(예컨대 70%) 미만인 경우, 상기 놀이에 흥미가 없다고 판단되며,
핸드가 있는 프레임 개수 중 손가락 끝의 팁이 향하는 가상 객체인 경우의 프레임 개수의 비율이 20% 미만인 경우, 놀이의 난이도가 높아서 관심을 두지 않는 것으로 판단되어, 상기 놀이의 난이도를 낮추라는 메시지를 상기 애플리케이션에 의해 상기 사용자의 학부모에게 송신되는, 인공지능 미러링 놀이 가방.
As an artificial intelligence mirroring play bag,
A bag body 100 configured to open and close the upper case 110 and the lower case 120;
A fixing pin 130 for maintaining the upper case and the lower case at a constant angle;
a first photographing unit 140 provided on an upper portion of the upper case when the bag body is opened and configured to be disposed at an angle capable of photographing the playboard 170 of the lower case;
A holding unit 150 located in the upper case and configured to hold the electronic device including an electronic device - The electronic device includes a second photographing unit 210 provided on the front side, a voice recording unit, an application, and the including a display 220 on which applications are displayed;
a storage unit 160 located in the lower case and configured to store items including teaching aids;
A play board 170 configured to be detachable between the upper case and the lower case;
a memory unit configured to store captured images;
a communication unit capable of wirelessly communicating with an application installed in the electronic device and configured to wirelessly transmit the photographed image; and
A control unit configured to generate a signal to cause the communication unit to transmit the image captured by the first photographing unit 140 to the application installed in the electronic device in the artificial intelligence mirroring play bag.
including,
The electronic device,
At the same time as providing content related to play, through the second shooting unit 210, a user playing a game and an item placed on the playboard are simultaneously photographed,
Analyzing feedback on the user's play through the application on the image captured by the second capturing unit;
configured to identify items placed on the playboard and provide content in the application;
In the application, in the process of providing content to the user through the voice recorder, the user's voice is configured to record feedback through an interview,
By the application of the electronic device,
Recognize the initial position of the finger as coordinates,
detecting a vector of the finger pointing direction;
The vector detected through three dimensions is separated into (x, y, z) components to express the vector,
Detect the coordinates of all objects on the image in the 3D space and detect them as (x, y, z) components,
If the coordinates obtained by extending the vector from the initial position of the finger are included within the size of the objects enclosing the coordinates of the objects, it is determined that the finger is pointing at the object;
The artificial intelligence mirroring play bag,
It is further configured to analyze a video of a user playing a game and an item placed on the play board at the same time through the second shooting unit 210,
Analyzing a video of a user playing a game and an item placed on the play board at the same time through the second capture unit 210 is captured,
determining whether a hand is detected in a first frame of the video;
if a hand is not detected in the first frame of the video, skipping to the next frame;
if the hand is detected in the first frame of the video, determining whether the fingertip is the tip of the thumb or the tip of the index finger;
marking the tip of the thumb in yellow and the tip of the index finger in red in the first frame of the video;
calculating the distance between the tip of the thumb and the tip of the index finger, the angle between the tip of the thumb and the tip of the index finger on a vertical axis, and the centroid between the tip of the thumb and the tip of the index finger; and
Applying a scale, an angle, and a translation to the virtual object according to the distance, the angle, and the centroid of the fingertips
Repeating until the last frame of the video,
In a captured image composed of a plurality of frames, the ratio of the number of frames in which the tip of the fingertip points to a game or book on the play board 170 is a virtual object to which the tip of the fingertip is directed among the number of frames with a hand If the ratio exceeds 50% and it is determined that the user's expression is a smiling expression in the number of frames when the tip of the finger is a virtual object, it is determined that the user is interested in play,
If the ratio of the number of frames where the tip of the finger is pointing to a virtual object among the number of frames with the hand is less than 50%, and the ratio of the case where the user's expression is a smiling expression at that time is less than a certain value (e.g. 70%) , It is judged that there is no interest in the above play,
If the ratio of the number of frames where the tip of the finger is a virtual object to the number of frames with the hand is less than 20%, it is determined that the difficulty of the play is high and is not interested, and a message to lower the difficulty of the play is sent. Artificial intelligence mirroring play bag, sent by the application to the parent of the user.
 삭제delete 삭제delete 삭제delete 삭제delete
KR1020220113166A 2022-09-07 2022-09-07 Artificial intelligence mirroring play bag KR102482841B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220113166A KR102482841B1 (en) 2022-09-07 2022-09-07 Artificial intelligence mirroring play bag
PCT/KR2023/013465 WO2024054079A1 (en) 2022-09-07 2023-09-07 Artificial intelligence mirroring play bag

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220113166A KR102482841B1 (en) 2022-09-07 2022-09-07 Artificial intelligence mirroring play bag

Publications (1)

Publication Number Publication Date
KR102482841B1 true KR102482841B1 (en) 2022-12-30

Family

ID=84538910

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220113166A KR102482841B1 (en) 2022-09-07 2022-09-07 Artificial intelligence mirroring play bag

Country Status (2)

Country Link
KR (1) KR102482841B1 (en)
WO (1) WO2024054079A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024054079A1 (en) * 2022-09-07 2024-03-14 주식회사 씨팩토리 Artificial intelligence mirroring play bag

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980066263U (en) * 1997-05-13 1998-12-05 나원복 Study bag
KR200431659Y1 (en) 2006-08-31 2006-11-23 문상진 Portable bag attaching play board
KR200475050Y1 (en) 2013-09-03 2014-11-03 백정란 Play tool for improving intelligence development and learning ability
KR101985367B1 (en) * 2017-07-24 2019-06-25 한동대학교 산학협력단 Educational Game Device Based on Augmented Reality And Operating Method
KR20190093243A (en) * 2018-02-01 2019-08-09 성호준 Block recognition based infant learning device and method
KR20200057196A (en) * 2018-11-16 2020-05-26 주식회사 아토이 Language education method using field scanning technology
KR20200071954A (en) * 2018-12-12 2020-06-22 유준배 Device for coding training
KR20210127104A (en) * 2020-04-13 2021-10-21 주식회사 재미씨 System, apparatus and method for learning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482841B1 (en) * 2022-09-07 2022-12-30 주식회사 씨팩토리 Artificial intelligence mirroring play bag

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980066263U (en) * 1997-05-13 1998-12-05 나원복 Study bag
KR200431659Y1 (en) 2006-08-31 2006-11-23 문상진 Portable bag attaching play board
KR200475050Y1 (en) 2013-09-03 2014-11-03 백정란 Play tool for improving intelligence development and learning ability
KR101985367B1 (en) * 2017-07-24 2019-06-25 한동대학교 산학협력단 Educational Game Device Based on Augmented Reality And Operating Method
KR20190093243A (en) * 2018-02-01 2019-08-09 성호준 Block recognition based infant learning device and method
KR20200057196A (en) * 2018-11-16 2020-05-26 주식회사 아토이 Language education method using field scanning technology
KR20200071954A (en) * 2018-12-12 2020-06-22 유준배 Device for coding training
KR20210127104A (en) * 2020-04-13 2021-10-21 주식회사 재미씨 System, apparatus and method for learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024054079A1 (en) * 2022-09-07 2024-03-14 주식회사 씨팩토리 Artificial intelligence mirroring play bag

Also Published As

Publication number Publication date
WO2024054079A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
US9953216B2 (en) Systems and methods for performing actions in response to user gestures in captured images
CN105005777B (en) Audio and video recommendation method and system based on human face
US9448636B2 (en) Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US20180129870A1 (en) Identifying facial expressions in acquired digital images
JP4481663B2 (en) Motion recognition device, motion recognition method, device control device, and computer program
US10223838B2 (en) Method and system of mobile-device control with a plurality of fixed-gradient focused digital cameras
WO2020082566A1 (en) Physiological sign recognition-based distance learning method, device, apparatus, and storage medium
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
CN112926423B (en) Pinch gesture detection and recognition method, device and system
Wang et al. EGGNOG: A continuous, multi-modal data set of naturally occurring gestures with ground truth labels
CN107924392A (en) Annotation based on posture
US11676362B2 (en) Training system and analysis system
JP2008257381A (en) Information analyzing system, information analyzing device, information analyzing method, information analyzing program, and recording medium
Zaletelj Estimation of students' attention in the classroom from kinect features
JP2018116589A (en) State identification device, program and method using changed image group of object image
KR102482841B1 (en) Artificial intelligence mirroring play bag
CN114967937B (en) Virtual human motion generation method and system
Varona et al. Toward natural interaction through visual recognition of body gestures in real-time
JP6855737B2 (en) Information processing equipment, evaluation systems and programs
KR101775080B1 (en) Drawing image processing apparatus and method based on natural user interface and natural user experience
CN110781734B (en) Child cognitive game system based on paper-pen interaction
Naizhong et al. Hand-free head mouse control based on mouth tracking
CN113807280A (en) Kinect-based virtual ship cabin system and method
KR20100137964A (en) System and method for providing service of child's fortune telling using face recognition technology
CN113703564A (en) Man-machine interaction equipment and system based on facial features

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant