KR20210115465A

KR20210115465A - 인공지능 스마트 탁구 연습 시스템 및 동작 방법

Info

Publication number: KR20210115465A
Application number: KR1020200031299A
Authority: KR
Inventors: 김호동
Original assignee: 김호동
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2021-09-27

Abstract

본 발명은 인공지능 스마트 탁구 연습 시스템 및 동작 방법에 관한 것으로서,
본 발명의 구성은 사용자에게 탁구공을 발사해주는 탁구공 공급 장치; 상기 사용자의 탁구 운동 자세를 촬영한 영상과 탁구공의 위치에 대해 하나 이상의 센서에서 감지되어 측정된 탁구공의 위치 측정값을 유선 혹은 무선 통신으로 스마트 기기로 전송하는 스마트 통합 센서 장치; 상기 스마트 통합 센서 장치에서 전송된 촬영 영상과 위치 측정값을 유선 혹은 무선 통신으로 전달받고, 상기 전달받은 촬영 영상과 탁구공의 위치 측정값을 서버에 전송하며, 상기 촬영 영상을 입력으로 하는 딥 러닝 학습모델로 탁구 자세 유형을 판단하고, 상기 사용자의 탁구 자세 유형 혹은 탁구공의 위치 측정값에 따라 탁구공 공급 장치의 제어 값을 변경시키고, 상기 사용자가 선택하거나 스마트 기기나 서버에서 추천한 캐릭터를 표출 장치에 전달하는 애플리케이션을 포함하는 스마트 기기; 탁구 자세 유형에 대한 기준 영상으로 그 특징을 추출하고 비교하여 탁구 자세 유형을 판정하는 딥 러닝 학습 모델과 상기 사용자의 운동 결과와 이력을 저장하는 기능을 포함하는 서버; 애플리케이션에서 표출되는 캐릭터를 보여주는 표출 장치를; 포함하는 것을 특징으로 한다.

Description

인공지능 스마트 탁구 연습 시스템 및 동작 방법{Artificial intelligence smart table tennis system and operation method}

본 발명은 인공지능 스마트 탁구 연습 시스템 및 동작 방법을 제공하는 것이다.

보다 상세하게는 사용자가 탁구공 공급 장치로 탁구 연습을 하면, 연습 상황에서 발생하는 탁구 운동 자세 영상과 탁구공의 위치를 스마트 통합 센서 장치를 통해 수집하여 스마트 기기에 전달하고, 해당 영상에 대해 딥 러닝(deep learning) 학습모델로 탁구 자세 유형을 분류하여, 탁구공의 위치 측정값과 탁구 자세 유형에 따라 탁구공을 변화시켜 공급하고, 상기 사용자의 연습상황에 맞는 캐릭터를 표출 장치를 통해 표시하는 인공지능 스마트 탁구 연습 시스템 및 동작 방법에 관한 것이다.

일반적으로 탁구 기계로 사용자가 연습하는 방법은 탁구 기계를 제어하는 유선 혹은 무선 리모컨으로 탁구공을 공급하는 공급 장치의 회전방향, 회전수, 속도, 발사빈도, 발사각도 조정에 관한 단순 설정으로 연습한다. 이러한 연습 방식은 넘어오는 공마다 매번 바꿔가면서 탁구 기술을 시도해도 시도된 연습 상황과는 무관하게 탁구공은 일정 패턴으로만 공급된다. 따라서 탁구 기계에 의한 일방적인 탁구공 공급 방식은 연습 실력 향상에 한계가 있다.

아울러 사용자는 설정한 탁구공 배출장치의 공급 패턴을 변경하려면 매번 유선 혹은 무선 리모컨으로 조작을 변경하면서 탁구공을 쳐 볼 수밖에 없으므로, 매우 번거로운 일이 발생하는 것이다.

또한 탁구 기계와의 연습은 때론 지루할 수 있어, 재미를 가지고 지속적으로 연습하기 곤란한 문제가 있었다. 그리고 사용자가 수행한 탁구 연습에 대한 기록도 없으므로, 사용자의 기억에 의해서만 연습을 진행하는 것이다.

위와 같은 단점을 극복하기 위해, 인공지능 딥 러닝 기술을 사용해서 연습 상황에 맞게 자동적으로 상황을 판정하여 탁구공을 공급하고, 혼자서 연습하는 것이 아닌 것처럼 시합이나 게임을 하는 것처럼 느낄 수 있는 상대 선수와 같은 캐릭터를 표출 시켜 보다 현실감 있는 연습이 되게 하고, 그 연습 이력을 보관하는 인공지능 스마트 탁구 연습 시스템 및 동작 방법이 필요하다.

국내등록특허 제10-2071532호 : 딥러닝을 이용한 운동자세 교정 장치 및 방법

최근 해외에서는 다양한 딥 러닝 응용을 시도하고 있다. 그러나 탁구 자세 유형과 탁구공의 위치를 자동으로 인식하고 판정하여 탁구 연습에 적용하고, 추가적으로 변화되는 캐릭터까지 표출해주는 인공지능 스마트 탁구 연습 시스템 및 동작 방법은 비특허 문헌도 찾을 수 가 없었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로,

사용자가 라켓으로 탁구공을 넘기는 운동 동작을 촬영하여, 그 영상으로 탁구 자세 유형을 딥 러닝으로 판단하고, 사용자 넘긴 탁구공의 위치 측정값과 상기 탁구 자세 유형으로 탁구공의 회전방향, 회전수, 속도, 발사빈도, 발사 각도를 변경시켜 다시 발사하도록 하고,

표출 장치에도 사용자의 연습 상황에 맞춰 반응하는 캐릭터를 표시하고, 그 연습 이력을 보관하게 하는 인공지능에 의한 스마트 탁구 연습 시스템 및 동작 방법을 사용자에게 제공하기 위한 것이다.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기한 과제를 해결하기 위하여,

본 발명에 따른 인공지능 스마트 탁구 연습 시스템 및 동작 방법은

사용자에게 탁구공을 발사해주는 탁구공 공급 장치와;

상기 사용자의 탁구 운동 자세를 촬영한 영상과 탁구공의 위치 측정값에 대해 하나 이상의 센서에서 감지되어 측정된 위치 측정값을 유선 혹은 무선 통신으로 스마트 기기로 전송하는 스마트 통합 센서 장치와;

상기 스마트 통합 센서 장치에서 전송된 촬영 영상과 위치 측정값을 유선 혹은 무선 통신으로 전달받고,

상기 전달받은 촬영 영상과 위치 측정값을 서버에 전송하고, 상기 촬영 영상을 입력으로 하는 딥 러닝 학습모델로 탁구 자세 유형을 판단하고, 상기 사용자의 탁구 자세 유형 혹은 탁구공의 위치 측정값에 따라 탁구공 공급 장치에서 발사되는 탁구공의 회전방향, 회전수, 속도, 발사빈도, 발사각도 중 적어도 어느 하나를 포함하여 탁구공 공급 장치의 제어 값을 변경시키고, 상기 사용자가 선택하거나 스마트 기기나 서버에서 추천한 캐릭터의 그 움직임을 표출 장치에 표시하는 애플리케이션이 설치된 스마트 기기와;

상기 탁구 운동 자세에 관한 기준 영상으로 그 특징을 추출하고 비교하여 탁구 자세 유형을 판정하는 딥 러닝 학습 모델을 상기 스마트 기기에 제공하고, 상기 사용자의 운동 결과와 이력을 저장하는 데이터 저장 기능을 포함하는 서버와;

상기 애플리케이션에서 표출되는 캐릭터를 보여주는 표출 장치를; 포함하는 것을 특징으로 한다.

상기 딥 러닝 학습 모델은 사전에 탁구 자세 유형의 분류 기준이 되는 영상을 딥 러닝 CNN(convolutional neural network)으로 학습시키고, 입력 영상이 들어오면 CNN 학습 모델에 의해 학습된 상기 기준 영상들을 비교하여, 그 유사성으로 탁구 자세 유형을 판단한다.

기타 실시 예의 구체적인 사항들은 발명을 실시하기 위한 구체적인 내용 및 도면들에 포함되어 있다.

본 발명의 해결수단에 의하면, 인공지능 스마트 탁구 연습 시스템 및 동작 방법은 카메라로 촬영한 사용자의 운동 동작 영상과 넘어온 탁구공의 위치에 따라 다음 탁구공의 발사가 지능적으로 제어되고, 변경될 수 있으므로, 보다 능률적으로 연습 능력을 증진시킬 수 있다.

또한 표출 장치를 통해 자신의 운동 동작과 라켓으로 넘긴 탁구공에 의해 캐릭터가 변화되면서 표시되므로, 보다 흥미롭게 탁구 연습을 진행할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 실시 예에 따른 인공지능 스마트 탁구 연습 시스템 및 동작 방법의 전체 개요도이다.
도 2는 본 발명의 실시 예에 따른 탁구공 공급 장치의 세부 구성도이다.
도 3은 본 발명의 실시 예에 따른 스마트 통합 센서 장치관리의 세부 구성도이다.
도 4는 본 발명의 실시 예에 따른 스마트 기기 내에 설치되어있는 애플리케이션의 세부 구성도이다.
도 5는 본 발명의 실시 예에 따른 딥 러닝 서버의 세부 구성도이다.
도 6은 본 발명의 실시 예에 따른 관리 서버의 세부 구성도이다.
도 7은 본 발명의 실 시예에 따른 CNN 학습 모델의 기능 흐름을 나타낸 순서도이다.
도 8은 본 발명의 실시 예에 따른 CNN 학습 모델의 구조를 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 탁구공 배출 제어 장치의 구조를 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 탁구공 배출 장치 본체의 구조를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다.

그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 도면에서 동일 부분에 대해서는 동일 부호를 사용한다.

또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

발명의 상세한 설명 또는 특허 청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.

또한 본 발명의 구성 요소를 설명하는 데 있어서, “운동”이란 용어를 사용할 수 있다.

이러한 용어는 사용자가 탁구공을 이용하여, 시합, 경기, 연습, 게임과 같은 어떠한 형태의 활동에도 적용될 수 도 있다고 이해되어야 할 것이다.

또한 본 발명의 구성 요소를 설명하는 데 있어서, “연습”이란 용어를 사용할 수 있다.

이러한 용어는 사용자가 탁구공을 이용하여, 운동하는 모든 동작을 구분하기 위한 것으로

연습으로만 국한하지 않으며, 시합, 경기, 게임과 같은 어떠한 형태에서의 활동에도 적용될 수 도 있다고 이해되어야 할 것이다.

상기 시스템은 탁구 운동 경기에서의 실시 예로써 설명하기로 한다.

그러나 야구, 테니스, 배드민턴, 농구, 배구, 축구 등 공을 이용한 각종 구기 종목에 관련된 어떠한 형태의 운동 경기에도 적용될 수 도 있다고 이해되어야 할 것이다.

또한 본 발명의 구성 요소를 설명하는 데 있어서, 스마트 기기(300)는 사용자 디바이스(310)와 애플리케이션(320)으로 구성되며, 상기 애플리케이션(320)은 모바일 앱이나 웹 사이트와 같은 응용 프로그램이 될 수 있다.

상기 모바일 앱과 웹 사이트는 동일한 기능을 제공하는 것으로, 사용자가 가지고 있는 정보기기 접속매체에 따른 응용 프로그램의 접속 방법일 뿐 어느 한쪽으로만 접속하는 특정방식으로 구현하는 것을 한정하지 않는다.

상기 모바일 앱의 구현은 네이티브 앱(NATIVE APP), 모바일 웹(MOBILE WEB), 모바일 웹앱(MOBILE WEB APP), 하이브리드 앱(HYBRID APP)의 모바일 앱의 일반적인 응용 프로그램 구현방식을 적용할 수 있다. 이는 모바일 앱을 특정방식으로만 구현하는 것을 한정하지 않는다.

또한 상기 모바일 앱은 관리 서버(420)에서 직접 다운로드 경로를 제공하거나, 응용 소프트웨어 다운로드 서비스(예를 들어, 앱 스토어 혹은 플레이 스토어 등)를 통하여 제공하는 것으로, 사용자는 유선통신, 무선통신 또는 이동통신을 통하여 각자의 스마트 기기(300)에 다운받을 수 있다.

또한 상기 웹 사이트는 사전에 모바일 앱과 동일한 기능을 구성하여 웹 서버의 접속 주소를 사용자에게 제공하여 사용하게 할 수 있다.

그러면 선수, 팀 혹은 사용자는 자신의 스마트 기기(300)에서 애플리케이션(320)을 다운로드 받을 지의 여부를 결정하여 다운로드를 받으면 된다.

또한 본 발명의 구성 요소를 설명하는 데 있어서, 딥 러닝 서버(410)와 관리 서버(420)는 논리적인 구분으로 물리적으로는 1개 이상의 서버로 구현할 수 있다.

이하에서는 본 발명에 따른 인공지능 스마트 탁구 연습 시스템 및 동작 방법이 구현된 일예를 첨부된 도면과 특정한 실시 예를 통하여 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 인공지능 스마트 탁구 연습 시스템 및 동작 방법의 전체 개요도이다.

상기 전체 개요도에서 나타낸 것처럼 인공지능 스마트 탁구 연습 시스템 및 동작 방법은

탁구공 공급 장치(100), 스마트 통합 센서 장치(200), 스마트 기기(300), 서버(400), 표출 장치(600)를 포함한다.

상기 사용자는 탁구공 공급 장치(100)에서 일정한 간격을 가지고 혹은 무작위로 튀어나오는 탁구공을 탁구 라켓으로 받아치면서 탁구 연습이 시작된다. 일반적으로 사용자는 탁구대 중앙에 설치된 네트 위로 탁구공을 넘겨 반대편 탁구대에서 그 탁구공이 튀어 올라오게 하는 방식으로 탁구 연습을 수행한다.

도 2에서 도시된 바와 같이, 상기 탁구공 공급 장치(100)는 케이스(130)와 케이스 내부에 마련되어 있는 탁구공 배출 제어장치(110)와 탁구공 배출 장치 본체(120)를 포함한 것으로, 케이스(130)는 직육면체, 원통형, 피라미드형과 같은 다양한 형상으로 제작될 수 있다.

도 9에서 도시된 바와 같이, 상기 탁구공 배출 제어장치(110)는 제어 값에 대한 외부와의 송수신을 담당하는 제어 장치 통신부(111), 회전수 제어부(112), 회전방향 제어부(113), 발사간격 제어부(114), 발사각도 제어부(115), 제어 장치 전원부(117) 그리고 이들 구성품 간의 제어를 담당하는 제어용 회로 기판(116)으로 구성된다. 상기 구성 부품들의 배열은 1열 이상으로 자유롭게 배치될 수 있으며, 다양한 순서로 배치될 수 있다.

도 10에서 도시된 바와 같이, 상기 탁구공 배출 장치 본체(120)는 탁구공의 회전을 생성하는 하나 이상의 모터(121), 여러 개의 탁구공을 연속으로 투입하기위한 탁구공 투입구(122), 투입된 탁구공을 설정된 일정 시간간격 혹은 무작위로 배출하기위한 탁구공 배출구(123), 투입된 탁구공을 배출구로 이동시키기 위한 컨베이어(124) 및 본체 전원부(125)로 구성된다.

또한 상기 탁구공 공급 장치(100)는 같은 기능을 가진 판매 제품이 있는 경우 해당 제품을 스마트 통합 센서 장치(200)와 연결하여 구성될 수도 있다.

도 3에서 각각 도시된 바와 같이, 상기 스마트 통합 센서 장치(200)는 사용자의 탁구 운동 동작을 촬영하는 카메라(220), 탁구공의 위치를 측정하는 ToF(Time of Flight) 센서(230), 그리고 이들 구성품 간의 제어를 위한 제어용 회로 기판(240)과 전원공급을 위한 전원부(250)로 구성되어있다.

따라서 탁구공은 스마트 통합 센서 장치(200)의 ToF 센서(230)를 통해 그 위치가 계속해서 추적된다. 그 위치는 탁구대 안에 들어올 수 도 있고, 탁구대를 벗어날 수도 있다. 바람직한 사용자의 탁구 연습은 탁구공을 네트 반대편으로 넘겨 탁구대를 맞추도록 하는 것이다.

상기 ToF(Time of Flight) 센서(230)는 신호를 이용하여 사물의 거리를 측정하는 기술을 적용한 센서로 근적외선 센서, 초음파 센서, 레이저 센서를 적용할 수 있다. 아울러 스마트 통합 센서 장치내의 ToF 센서(230)는 하나 이상의 센서로 구성된다.

또한 사용자가 탁구공을 넘기기 위해 연습한 공격 혹은 수비의 동작은 스마트 통합 센서 장치(200)의 카메라를 통해서 그 운동 동작이 촬영되어, 해당 영상이 유선 혹은 무선 통신으로 스마트 기기(300)로 전송된다.

상기 사용자가 취하는 운동 동작은 스매시(smash), 포핸드 드라이브(drive), 백핸드 드라이브(drive), 커드(cut), 쇼트(short), 푸쉬(push), 리시브(receive), 서비스(service), 블럭(block), 플릭(flick), 스트로크(stroke)와 같은 일반적으로 탁구 경기나 탁구 훈련에서 사용되는 탁구 자세 유형이 될 수 있다.

이러한 탁구 자세 유형의 분류는 탁구의 운동 경험이 있는 코치, 선수, 혹은 동호회원이 판단하여 쉽게 구분할 수 있으나, 컴퓨터로 구분할 경우에는 수집된 운동 자세의 영상을 이용하여 딥 러닝과 같이 지능적이고 자동적인 방법으로 분류해야한다.

이와 같이 실시간 혹은 일정 간격을 두고 수집한 사용자의 탁구 운동 동작 영상과 탁구공의 위치 정보는 스마트 통합 센서 장치(200)의 통신 모듈부(210)와 애플리케이션(320)의 통신부(321)와의 유선 혹은 무선 통신방식의 링크를 통해 스마트 기기(300)로 전송되고, 전송받은 데이터는 애플리케이션(320)의 전송부(323)를 통해 다시 서버(400)로 전송된다.

상기 무선링크를 형성하는 무선 통신방식은 블루투스, 와이파이, 지그비, NFC 등의 다양한 무선 통신 포맷을 이용하여 구성될 수 있으며, 바람직하게는 블루투스 통신을 이용한다.

상기 애플리케이션(320)은 서버(400)에서 관리하고 있는 딥 러닝 학습 모델을 이용하여, 탁구 자세의 유형을 분류하는 탁구 자세 유형 판단부(324)를 제공한다. 상기 딥 러닝 학습 모델은 탁구공이 라켓과 부딪히는 순간 혹은 그 전후의 운동 동작의 영상으로 자세의 특징을 추출하고 분석하여, 기존에 학습된 유형별 탁구 자세 기준 영상과의 오차를 검출해서 이를 사용자에게 해석된 결과로 제공해준다.

입력 영상과 기준 영상간의 비교에 의한 유사성 판정은 오차 범위로 식별된다. 해당 오차범위는 사용자 혹은 관리자가 임의로 기준을 세워 설정할 수 있다. 예를 들어 5%로 기준 오차를 설정하면, 95%의 유사성을 가져야 동일한 영상으로 판별하는 것이다. 이와 같은 오차는 지속적인 학습과 보정작업을 통해 그 정확도를 향상시킬 수 있다.

판별된 탁구 자세 유형과 떨어진 탁구공의 위치는 그 다음으로 공급되는 탁구공을 변화시킬 수 있다. 이는 애플리케이션(320)의 탁구공 공급 장치 제어부(325)를 통해 탁구공 배출 제어장치(110)의 회전방향, 회전수, 발사 간격, 발사 각도에 관한 제어 값을 변경하여 탁구공의 구질과 세기를 바꾸는 것이다.

예를 들어 사용자 드라이브 형태의 탁구 자세 유형으로 탁구공을 넘긴 경우는 그 다음 탁구공은 쇼트로 수비한 것처럼 탁구공의 구질로 변경되어 공급될 수 있다. 또한 탁구공이 탁구대의 끝으로 올수록 그 공의 세기가 크다고 보고, 그 다음 탁구공의 배급의 속도를 더 빠르게 해서 사용자에게 좀 더 빠른 동작 훈련을 시킬 수 있는 것이다.

상기 애플리케이션(320)에서는 관리 서버(420)에서 보관하고 있는 사용자가 설정한 사용자 설정부(422)의 정보를 가져와서 자신의 현재 캐릭터를 확인할 수 있고, 이 설정된 캐릭터는 표출 장치(500)를 통해 표시된다. 아울러 상기 캐릭터는 사용자 연습 이력(423)에 따라 다양하게 그 모습이나 형태가 변형이 가능하고, 연습 상황에 맞춰 다르게 표현되어 표시된다. 예를 들어 사용자가 공격형으로 탁구 자세를 취하면, 캐릭터는 수비형으로 바꿔서 표시되고, 사용자가 수비형으로 탁구 자세를 취하면 캐릭터는 공격형으로 탁구 자세를 표시하여 사용자의 흥미를 유발하게 할 수 있다. 이와 같은 방법은 사용자와의 캐릭터간의 실제 시합을 시뮬레이션 하는 게임운영으로 활용이 가능하다. 아울러 상기 애플리케이션(320)의 캐릭터 동작 표시부(326)와 연결된 표출 장치(600)를 통하여 다양한 형태의 운동 동작을 취하는 캐릭터로 곧바로 표출이 가능하다.

도 4에서 각각 도시된 바와 같이, 상기 애플리케이션(320)에서는 사용자별로 자신의 연습 결과와 이력을 관리하기위한 사용자 로그인(322) 기능을 구성한다.

도 6에서 도시된 바와 같이, 사용자 로그인(322)의 요청이 일어나면 요청받은 사용자가 정당한 사용자인지는 관리 서버(420)의 사용자 인증부(421)를 통해 제공된다.

상기 애플리케이션(320)에서는 사용자가 개별 연습 결과 저장(327)을 요청하는 경우, 관리 서버(420)의 사용자 연습 이력(423) 기능을 통해 개인별로 연습 결과 데이터를 보관한다.

따라서 사용자는 관리 서버(420)와 연동된 데이터베이스에 저장된 자신의 연습 이력을 언제든지 애플리케이션(320)을 통해 볼 수 있다.

상기 관리 서버(420)의 모바일 앱 제공부(424)와 웹 사이트 제공부(425)에서는 애플리케이션(320)을 통해 연습 유형 분석 및 축적된 데이터 이력을 활용한 다양한 통계 분석을 제공 할 수 있고, 사용자가 원하는 형태로 활용할 수 있는 원시 이력 자료로도 제공할 수 있다.

예를 들면, 사용자의 날짜별 연습 이력이 데이터베이스에 저장되어있으므로, 해당 데이터를 활용하여 연습 유형의 변화 추이를 보여주는 정보제공이 가능하다. 또한 빈번하게 발생하는 탁구공의 낙하 위치를 탁구 자세 유형별로 분류해서 표시하게 하는 것도 가능하다.

상기 딥 러닝 학습 모델을 좀 더 상세하게 살펴보면, 상기 딥 러닝 학습 모델은 CNN 학습 모델(412)을 사용한다.

또한 CNN 학습 모델(412)의 분류를 위한 계산 작업은 스마트 기기(300)내의 애플리케이션(320)에서 수행할 수 도 있고, 서버(400)에서 계산하여 그 결과만 스마트 기기(300)의 애플리케이션(320)으로 전달할 수도 있다.

또한 도 5에서 도시된 바와 같이, 딥 러닝 서버(410)에서는 딥 러닝 학습모델로 사용되는 CNN 학습 모델(412)과 학습 데이터에 대한 관리부(411)가 구성된다. 학습 데이터 관리부(411)는 영상의 판단 기준이 되는 탁구 자세의 기준 영상을 유형별로 이미지 데이터로 보관한다.

상기 보관된 이미지 데이터는 CNN 학습 모델(412)의 학습 데이터로 지속적으로 추가되면서 사용될 수 있으며, 이는 딥 러닝 학습 모델의 정확도를 지속적으로 향상시킬 수 있다.

CNN 학습 모델(412)들은 학습 모델 관리부(413)를 통하여 버전별로 그 생성된 이력을 관리하여, 선수, 팀 혹은 사용자 혹은 관리자에게 가장 적합한 형태의 학습 모델을 학습 모델 제공부(414)를 통해 선택할 수 있게 제공해준다.

또한 CNN 학습 모델(412)은 가장 최근까지 수집된 기준 영상과 소리로 학습된 CNN 모델에 대한 가중치, 노드수, Layer 수, 임계치, 목적 함수, 활성화 함수에 관한 정보들을 저장하고 있다.

또한 도 7에서 도시된 바와 같이, CNN 학습 모델(412)은 영상과 소리에 대해 각각 데이터를 Matrix형태의 수치로 변환되는 입력부, 그 변환된 수치를 통해서 득점과 실점의 특징을 축출하는 부분, 분류하는 부분, 그리고 최종적으로 탁구 운동 동작에 대한 자세 분류를 제공해주는 결과부로 구성되어있다.

도 8은 본 발명의 실시 예에 따른 딥 러닝 CNN 학습 모델(412) 구조의 노드에서부터의 계산 과정을 도시한 모식도이다.

도 8에 도시된 바와 같이, 본 발명의 실시 예에 따른 CNN 학습 모델(412)은 다층 신경망 구조로 합성곱층과 풀링층이 여러 겹 쌓여있는 구조로 되어있다.

또한 최종적으로 추출된 특징을 잘 학습해서 이미지를 알맞은 카테고리로 분류하는 영역은 완전 연결 계층(Fully Connected)으로 모두 연결되어있다. 이는 영상과 소리의 분류에 적합 하게 사용될 수 있다.

이상, 본 발명의 특정 실시를 통하여 본 발명의 기술적 사상을 살펴보았다.

또한 비록 명시적으로 도시되거나 설명되지 아니하였다 하여도 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기재사항으로부터 본 발명에 의한 기술적 사상을 포함하는 다양한 형태의 변형을 할 수 있음은 자명하며, 이는 여전히 본 발명의 권리범위에 속한다.

첨부하는 도면을 참조하여 설명된 상기의 실시 예들은 본 발명을 설명하기 위한 목적으로 기술된 것이며 본 발명의 권리범위는 이러한 실시 예에 국한되지 아니한다.

100 : 탁구공 공급 장치
110 : 탁구공 배출 제어 장치
111 : 제어 장치 통신부
112 : 회전수 제어부
113 : 회전방향 제어부
114 : 발사 간격 제어부
115 : 발사 각도 제어부
116 : 제어용 회로기판
117 : 제어 장치 전원부
120 : 탁구공 배출 장치 본체
121 : 모터
122 : 탁구공 투입구
123 : 탁구공 배출구
124 : 컨베이어
125 : 본체 전원부
130 : 케이스
200 : 스마트 통합 센서 장치
210 : 통신 모듈부
220 : 카메라
230 : ToF 센서
240 : 제어용 회로 기판
250 : 전원부
300 : 스마트 기기
310 : 사용자 디바이스
320 : 애플리케이션
321 : 통신부
322 : 사용자 로그인
323 : 전송부
324 : 탁구 자세 유형 판단부
325 : 탁구공 공급 장치 제어부
326 : 캐릭터 동작 표시부
327 : 연습 결과 저장
400 : 서버
410 : 딥 러닝 서버
411 : 학습 데이터 관리부
412 : CNN 학습 모델
413 : 학습 모델 관리부
414 : 학습 모델 제공부
420 : 관리 서버
421 : 사용자 인증부
422 : 사용자 설정부
423 : 사용자 연습 이력
424 : 모바일 앱 제공부
425 : 웹 사이트 제공부
500 : 표출 장치

Claims

사용자에게 탁구공을 발사해주는 탁구공 공급 장치; 및

상기 사용자의 탁구 운동 자세를 촬영한 영상과 탁구공의 위치에 대해 하나 이상의 센서에서 감지되어 측정된 탁구공의 위치 측정값을 유선 혹은 무선 통신으로 스마트 기기로 전송하는 스마트 통합 센서 장치를 포함하며,

상기 스마트 기기는,
상기 스마트 통합 센서 장치에서 전송된 촬영 영상과 위치 측정값을 유선 혹은 무선 통신으로 전달받고,
상기 전달받은 촬영 영상과 탁구공의 위치 측정값을 서버에 전송하며,
상기 촬영 영상을 입력으로 하는 딥 러닝 학습모델로 탁구 자세 유형을 판단하고,
상기 사용자의 탁구 자세 유형 혹은 탁구공의 위치 측정값에 따라 탁구공 공급 장치의 제어 값을 변경시키고,
상기 사용자가 선택하거나 스마트 기기나 서버에서 추천한 캐릭터를 표출 장치에 전달하는 애플리케이션을 포함하고,

상기 서버는 탁구 자세 유형에 대한 기준 영상으로 그 특징을 추출하고 비교하여 탁구 자세 유형을 판정하는 딥 러닝 학습 모델; 및
상기 사용자의 운동 결과와 이력을 저장하는 기능을 포함하고,

상기 표출 장치는 애플리케이션에서 표출되는 캐릭터를 보여주는 표출 장치를;

포함하는 것을 특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 탁구공 공급 장치는
스마트 기기와 유선 혹은 무선 통신을 하며,
스마트 기기의 애플리케이션에 의해
탁구공의 회전방향, 회전수, 발사빈도, 발사각도 중 적어도 어느 하나를 포함하여 변경시킬 수 있는 제어를 하는 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 스마트 통합 센서 장치는
상기 사용자의 탁구 운동 자세를 촬영한 영상과 탁구공의 위치에 대해 하나 이상의 센서에서 감지되어 측정된 탁구공의 위치 측정값을 유선 혹은 무선 통신으로 스마트 기기로 전송하는 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 스마트 기기는
사용자 디바이스와 애플리케이션으로 구성되며,
상기 사용자 디바이스는 스마트폰, 태블릿, 개인용 컴퓨터, 노트북 중 어느 하나인 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 스마트 기기는
하나 이상으로 구성하는 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 스마트 기기내의 애플리케이션은,
모바일 앱, 웹 사이트와 같은 응용 프로그램으로
상기 스마트 통합 센서 장치에서 전송된 촬영 영상과 위치 측정값을 유선 혹은 무선 통신으로 전달받고,
상기 전달받은 촬영 영상과 탁구공의 위치 측정값을 서버에 전송하며,
상기 촬영 영상을 입력으로 하는 딥 러닝 학습모델로 탁구 자세 유형을 판단하고,
상기 사용자의 탁구 자세 유형 혹은 탁구공의 위치 측정값에 따라 탁구공 공급 장치의 제어 값을 변경시키고,
상기 사용자가 선택하거나 스마트 기기나 서버에서 추천한 캐릭터를 표출 장치에 전달하는 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 서버는
탁구 자세 유형에 대한 기준 영상으로 그 특징을 추출하고 비교하여 탁구 자세 유형을 판정하는 딥 러닝 학습 모델과 상기 사용자의 운동 결과와 이력을 저장하는 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
제1항에 있어서,
상기 표출 장치는
빔 프로젝트, 컴퓨터 모니터, 텔레비전 화면, 디스플레이이 장치 중 어느 하나인 것을
특징으로 하는 인공지능 스마트 탁구 연습 시스템.
사용자에게 탁구공 공급 장치를 통해 탁구공을 발사해주는 제 1 단계;

상기 탁구공을 라켓으로 받아치는 사용자의 탁구 운동 자세를 촬영한 영상과 탁구공의 위치 측정값에 대해 하나 이상의 센서에서 측정하여 유선 혹은 무선 통신으로 스마트 기기로 전송하는 제 2 단계;

상기 스마트 기기를 통하여 상기 탁구 운동 자세를 촬영한 영상과 위치 측정값을 전달받는 제 3 단계;

상기 스마트 기기에서 전달받은 탁구 운동 자세를 촬영한 영상과 위치 측정값을 서버에 전송시키는 제 4 단계;

상기 촬영 영상을 입력으로 하는 딥 러닝 학습모델에 의해 사용자의 탁구 자세를 판정하여 탁구공 공급 장치의 회전방향, 회전수, 속도, 발사빈도, 발사각도 중 적어도 어느 하나를 포함하여 탁구공 공급 장치의 제어 값을 변경시키는 제 5 단계;

상기 스마트 기기에서 전달받은 탁구 운동 자세 촬영 영상으로 그 특징을 추출하고 비교하여 사용자의 탁구 자세를 판정하는 딥 러닝 학습 모델을 제공하고,
상기 사용자의 운동 결과와 이력을 저장하는 제 6 단계를;

상기 애플리케이션에서 표출되는 캐릭터를 보여주는 표시하는 제 7단계를;

더 포함하는 것을 특징으로 동작방법.
제 9 항에 있어서,
상기 인공지능 스마트 탁구 연습 동작방법은,
상기 제 1 단계 이후에,
상기 탁구공을 라켓으로 받아치는 사용자의 탁구 운동 자세를 촬영한 영상과 탁구공의 위치 측정값에 대해 하나 이상의 센서에서 측정하여 유선 혹은 무선 통신으로 스마트 기기로 전송하는 단계를
더 포함하는 것을 특징으로 하는 동작 방법.
제 9 항에 있어서,
상기 스마트 스크린 탁구 연습 동작 방법은,
상기 제 2 단계 이후에,
상기 스마트 기기를 통하여 상기 탁구 운동 자세를 촬영한 영상과 위치 측정값을 전달받는 단계를
더 포함하는 것을 특징으로 하는 동작 방법.
제 9 항에 있어서,
상기 스마트 스크린 탁구 연습 동작 방법은,
상기 제 3 단계 이후에,
상기 스마트 기기에서 전달받은 탁구 운동 자세를 촬영한 영상과 위치 측정값을 서버에 전송시키는 단계를
더 포함하는 것을 특징으로 하는 동작 방법.
제 9 항에 있어서,
상기 스마트 스크린 탁구 연습 동작 방법은,
상기 제 4 단계 이후에,
상기 촬영 영상을 입력으로 하는 딥 러닝 학습모델에 의해 사용자의 탁구 자세를 판정하여 탁구공 공급 장치의 회전방향, 회전수, 속도, 발사빈도, 발사각도 중 적어도 어느 하나를 포함하여 탁구공 공급 장치의 제어 값을 변경시키는 단계를
더 포함하는 것을 특징으로 하는 동작 방법.
제 9 항에 있어서,
상기 스마트 스크린 탁구 연습 동작 방법은,
상기 제 5 단계 이후에,
상기 스마트 기기에서 전달받은 탁구 운동 자세 촬영 영상으로 그 특징을 추출하고 비교하여 사용자의 탁구 자세를 판정하는 딥 러닝 학습 모델을 제공하고,
상기 사용자의 운동 결과와 이력을 저장하는 단계를
더 포함하는 것을 특징으로 하는 동작 방법.
제 9 항에 있어서,
상기 스마트 스크린 탁구 연습 동작 방법은,
상기 제 6 단계 이후에,
상기 애플리케이션에서 표출되는 캐릭터를 보여주는 표시하는 단계를;
더 포함하는 것을 특징으로 하는 동작 방법.