KR20220153777A - 투구 시점 검출 장치 및 투구 시점 검출 방법 - Google Patents

투구 시점 검출 장치 및 투구 시점 검출 방법 Download PDF

Info

Publication number
KR20220153777A
KR20220153777A KR1020210061170A KR20210061170A KR20220153777A KR 20220153777 A KR20220153777 A KR 20220153777A KR 1020210061170 A KR1020210061170 A KR 1020210061170A KR 20210061170 A KR20210061170 A KR 20210061170A KR 20220153777 A KR20220153777 A KR 20220153777A
Authority
KR
South Korea
Prior art keywords
frame
pitching
optical flow
scene
determining
Prior art date
Application number
KR1020210061170A
Other languages
English (en)
Inventor
양철종
이영현
하성종
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020210061170A priority Critical patent/KR20220153777A/ko
Publication of KR20220153777A publication Critical patent/KR20220153777A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일실시예에 따르면, 투구 시점 검출 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하고, 상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하고, 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정한다.

Description

투구 시점 검출 장치 및 투구 시점 검출 방법{DEVICE AND METHOD FOR DETECTING PITCH POINT}
아래의 실시예들은 투구 시점 검출 장치 및 투구 시점 검출 방법에 관한 것이다.
머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다.
머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.
딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 이야기할 수 있다.
일반적으로 장면전환(Scene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면 전환은, 통상 임의의 장면이 점차 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap)과, 단순장면전환 등으로 구분하기도 한다.
본 발명의 실시예에 따르면, 투구 장면에 포함된 프레임에서 광학 흐름의 평균 크기를 기초로 투구 시점을 결정할 수 있는 투구 시점 검출 장치 및 투구 시점 검출 방법을 제공할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 투구 장면에 포함된 프레임에서 투수에 해당하는 사람 검출 영역을 결정할 수 있는 투구 시점 검출 장치 및 투구 시점 검출 방법을 제공할 수 있다.
또한, 본 발명의 또 다른 실시예에 따르면, 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있는 투구 시점 검출 장치 및 투구 시점 검출 방법을 제공할 수 있다.
본 발명의 일실시예에 따르면, 투구 시점 검출 장치에 있어서, 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하고, 상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하고, 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정한다.
또한, 상기 적어도 하나의 프로세서는, 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하고, 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하고, 상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하고, 상기 결정한 프레임 구간을 기초로 투구 시점을 결정할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하고, 상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인할 수 있다.
또한, 상기 적어도 하나의 프로세서는, 상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택할 수 있다.
본 발명의 다른 실시예에 따르면, 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작, 상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작 및 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작을 포함한다.
또한, 상기 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작은, 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하는 동작 및 상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 동작을 포함할 수 있다.
또한, 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작은 상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출하는 동작을 포함할 수 있다.
또한, 상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작은, 상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하는 동작, 상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작 및 상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작을 포함할 수 있다.
또한, 상기 분류한 프레임 구간을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작은, 상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하는 동작 및 상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인하는 동작을 포함할 수 있다.
또한, 상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작은, 상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택하는 동작을 포함할 수 있다.
본 발명의 일실시예에 따르면, 투구 장면에 포함된 프레임에서 광학 흐름의 평균 크기를 기초로 투구 시점을 결정할 수 있는 효과가 있다.
또한, 투구 장면에 포함된 프레임에서 투수에 해당하는 사람 검출 영역을 결정할 수 있는 효과가 있다.
또한, 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있는 효과가 있다.
도 1은 일실시예에 따른 투구 시점 검출 장치의 구성을 나타내는 도면이다.
도 2는 일실시예에 따라 투구 시점 검출 장치가 투구 장면에서 투수에 해당하는 사람 검출 영역을 획득하는 모습을 나타내는 도면이다.
도 3은 일실시예에 따라 투구 시점 검출 장치가 투구 장면에 포함된 프레임에서 획득한 광학 흐름(optical flow)을 디스플레이 하는 모습을 나타내는 도면이다.
도 4는 일실시예에 따라 투구 시점 검출 장치가 광학 흐름(optical flow)의 평균 크기를 기초로 투구 시점을 결정하는 모습을 나타내는 도면이다.
도 5는 일실시예에 따른 투구 시점 검출 방법을 나타내는 플로우 차트이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 일실시예에 따른 투구 시점 검출 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 투구 시점 검출 장치(100)는 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)를 포함한다.
일실시예에 따라, 투구 시점 검출 장치(100)에 포함된 프로세서(110), 입출력 인터페이스 모듈(120) 및 메모리(130)는 상호 연결되어 있으며, 상호 데이터를 전송하는 것이 가능하다.
일실시예에 따라, 프로세서(110)는 메모리(130)에 저장된 프로그램들 또는 명령들을 실행시킬 수 있다. 이때, 메모리(130)에는 투구 시점 검출 장치(100)를 동작시키기 위한 동작프로그램(예컨대, OS)이 저장될 수 있다.
일실시예에 따라, 프로세서(110)는 투구 시점 검출 장치(100)에 대한 정보를 관리하기 위한 프로그램을 실행시킬 수 있다.
일실시예에 따라, 프로세서(110)는 투구 시점 검출 장치(100)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.
일실시예에 따라, 프로세서(110)는 입출력 인터페이스 모듈(120)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.
일실시예에 따라, 프로세서(110)는 입출력 인터페이스 모듈(120)을 통해 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.
일실시예에 따라, 프로세서(110)는 투구 장면에 포함된 프레임 각각을 인식할 수 있다.
일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출할 수 있다. 이때, 딥 뉴럴 네트워크는 학습이 완료된 딥 뉴럴 네트워크 일 수 있다.
일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하기 위한 복수개의 사람 검출 영역(예컨대, 바운딩 박스)을 결정할 수 있다. 이때, 사람 검출 영역의 형태는 사각형일 수 있으나, 사람 검출 영역의 형태가 이에 한정되는 것은 아니다. 이때, 딥 뉴럴 네트워크는 학습이 완료된 딥 뉴럴 네트워크 일 수 있다.
일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수개의 사람 검출 영역(예컨대, 바운딩 박스) 각각을 미리 설정된 역할(예컨대, 투수, 포수, 심판, 타자 등)에 해당하는 사람 검출 영역으로 분류할 수 있다. 이때, 딥 뉴럴 네트워크는 학습이 완료된 딥 뉴럴 네트워크 일 수 있다.
일실시예에 따라, 프로세서(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수개의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.
일실시예에 따라, 프로세서(110)는 미리 설정된 기준을 기초로 투구 장면에 포함된 프레임 각각에서 결정한 복수개의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다. 이때, 미리 설정된 기준은 사람 검출 영역의 크기, 사람 검출 영역의 길이, 사람 검출 영역의 비율 및 사람 검출 영역의 위치 중 적어도 어느 하나일 수 있으나, 미리 설정된 기준이 이에 한정되는 것은 아니다.
일실시예에 따라, 프로세서(110)는 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역을 추적할 수 있다.
다른 실시예에 따라, 프로세서(110)는 제1 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하고, 제2 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 검출한 사람 중에서 투수를 결정할 수 있다.
또 다른 실시예에 따라, 프로세서(110)는 제1 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하기 위한 사람 검출 영역(예컨대, 바운딩 박스)을 결정할 수 있고, 제2 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 결정한 사람 검출 영역 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.
일실시예에 따라, 프로세서(110)는 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역을 추적할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역에 포함된 픽셀들 각각에 대한 움직임 벡터를 획득할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역을 미리 설정된 수의 픽셀이 포함된 복수개의 블록(block)으로 분할할 수 있다.
일실시예에 따라, 프로세서(110)는 분할한 블록(block)들 각각에 대한 움직임 벡터를 획득할 수 있다.
일실시예에 따라, 프로세서(110)는 미리 설정된 수의 블록을 결합하여 새로운 블록(예컨대, 4X4 블록 등)을 생성할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역에 포함된 새로운 블록(예컨대, 4X4 블록 등)들 각각에 대한 움직임 벡터를 획득할 수 있다.
일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다.
일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 크기만 포함된 광학 흐름(optical flow)을 추출할 수 있다.
일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 추출한 크기와 방향이 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.
일실시예에 따라, 프로세서(110)는 획득한 움직임 벡터를 기초로 추출한 크기만 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 기초로 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있다.
일실시예에 따라, 프로세서(110)는 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 기초로 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류할 수 있다.
일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 작은 경우, 프로세서(110)는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 움직임이 없는 프레임으로 분류할 수 있다.
일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 크고, 미리 설정된 제1 크기(예컨대, 2)보다 작은 경우, 프로세서(110)는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 중간 프레임으로 분류할 수 있다.
일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2)보다 큰 경우, 프로세서(110)는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 투구 동작 후보 프레임으로 분류할 수 있다.
일실시예에 따라, 프로세서(110)는 투구 동작 후보 프레임 중에서 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2) 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 프레임 구간에 미리 설정된 제2 크기(예컨대, 10) 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인할 수 있다.
일실시예에 따라, 프로세서(110)는 결정한 프레임 구간이 시작되는 프레임의 이전 프레임 중에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택할 수 있다.
일실시예에 따라, 프로세서(110)는 선택한 투구 시점 프레임을 기초로 투구 장면에서 투구 시점을 결정할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 네트워크를 통하여 적어도 하나의 외부 장치(예컨대, 서버 등)와 통신적으로 연결될 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 네트워크를 통하여 적어도 하나의 외부 장치(예컨대, 서버 등)로 데이터를 전송할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 네트워크를 통하여 적어도 하나의 외부 장치(예컨대, 서버 등)가 전송한 데이터를 수신할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 사용자의 입력을 획득할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 동영상을 디스플레이 할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 프레임 각각을 디스플레이 할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 프로세서(110)가 추출한 광학 흐름을 디스플레이 할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 프로세서(110)가 계산한 투수에 해당하는 사람 검출 영역에서의 광학 흐름의 평균 크기를 디스플레이 할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 투구 시점 검출 장치(100)와 일체형으로 제공될 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 투구 시점 검출 장치(100)에서 분리되어 제공될 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 투구 시점 검출 장치(100)와 통신적으로 연결된 별도의 장치일 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 외부 장치와 연결되기 위한 포트(예컨대, USB 포트)를 포함할 수 있다.
일실시예에 따라, 입출력 인터페이스 모듈(120)은 모니터, 터치스크린, 마우스, 전자펜, 마이크로폰, 키보드, 스피커, 이어폰, 헤드폰 또는 터치패드를 포함할 수 있다.
일실시예에 따라, 메모리(130)는 입출력 인터페이스 모듈(120)이 수신한 데이터를 저장할 수 있다.
일실시예에 따라, 메모리(130)는 입출력 인터페이스 모듈(120)이 전송한 데이터를 저장할 수 있다.
일실시예에 따라, 메모리(130)는 입출력 인터페이스 모듈(120)이 획득한 사용자의 입력을 저장할 수 있다.
여기서 사용된 '모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.
도 2는 일실시예에 따라 투구 시점 검출 장치가 투구 장면에서 투수에 해당하는 사람 검출 영역을 획득하는 모습을 나타내는 도면이다.
도 2를 참조하면, 도 2 (a)는 투구 장면에 포함된 프레임에서 사람을 검출하여 사람 검출 영역을 결정하는 모습을 나타내는 도면이고, 도 2 (b)는 결정한 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 모습을 나타내는 도면이다.
도 2 (a)를 참조하면, 일실시예에 따라, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임 각각을 인식할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임(200)에서 사람을 검출할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(200)에서 사람을 검출하기 위한 복수개의 사람 검출 영역(201, 202, 203, 204)을 결정할 수 있다. 이때, 사람 검출 영역의 형태는 사각형일 수 있으나, 사람 검출 영역의 형태가 이에 한정되는 것은 아니다.
도 2 (b)를 참조하면, 일실시예에 따라, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임(210)에서 결정한 복수개의 사람 검출 영역(211, 212, 213, 214)을 투수에 해당하는 사람 검출 영역(211), 포수에 해당하는 사람 검출 영역(212), 심판에 해당하는 사람 검출 영역(213) 또는 타자에 해당하는 사람 검출 영역(214)으로 분류할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 미리 설정된 기준을 기초로 투구 장면에 포함된 프레임(210)에서 결정한 복수개의 사람 검출 영역(211, 212, 213, 214) 중에서 투수에 해당하는 사람 검출 영역(211)을 결정할 수 있다. 이때, 미리 설정된 기준은 사람 검출 영역의 크기, 사람 검출 영역의 길이, 사람 검출 영역의 비율 및 사람 검출 영역의 위치 중 적어도 어느 하나일 수 있으나, 미리 설정된 기준이 이에 한정되는 것은 아니다.
일실시예에 따라, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임(210)에서 결정한 복수개의 사람 검출 영역(211, 212, 213, 214) 중에서 투수에 해당하는 사람 검출 영역(211)을 결정할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 결정한 투구 장면에 포함된 프레임(210)에서 결정한 투수에 해당하는 사람 검출 영역(211)을 추적할 수 있다.
도 3은 일실시예에 따라 투구 시점 검출 장치가 투구 장면에 포함된 프레임에서 획득한 광학 흐름(optical flow)을 디스플레이 하는 모습을 나타내는 도면이다.
도 3을 참조하면, 도 3 (a)는 크기와 방향이 포함된 광학 흐름(optical flow)을 디스플레이 하는 모습을 나타내는 도면이고, 도 3 (b)는 크기만 포함된 광학 흐름(optical flow) 및 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 평균 크기를 디스플레이 하는 모습을 나타내는 도면이다.
도 3 (a)를 참조하면, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(300)을 인식할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(300)에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임에서 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 추출한 크기와 방향이 포함된 광학 흐름(optical flow)을 디스플레이(310) 할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 디스플레이(310)한 크기와 방향이 포함된 광학 흐름(optical flow)에 투구 장면에 포함된 프레임에서 결정한 투수에 해당하는 사람 검출 영역(311)을 표시할 수 있다.
도 3 (b)를 참조하면, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(320)을 인식할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임(320)에서 투수에 해당하는 사람 검출 영역(321)을 결정할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 투구 장면에 포함된 프레임에서 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 추출한 크기와 방향이 포함된 광학 흐름(optical flow) 중에서 크기만 포함된 광학 흐름(optical flow)을 디스플레이(330) 할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 디스플레이(330)한 크기만 포함된 광학 흐름(optical flow)에 투구 장면에 포함된 프레임에서 결정한 투수에 해당하는 사람 검출 영역(331)을 표시할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 표시한 투수에 해당하는 사람 검출 영역(311)에 해당하는 광학 흐름(optical flow)의 크기를 획득할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 획득한 광학 흐름(optical flow)의 크기의 평균을 계산할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 계산한 투수에 해당하는 사람 검출 영역(311)에 해당하는 광학 흐름(optical flow)의 크기의 평균을 표시(332)할 수 있다.
도 4는 일실시예에 따라 투구 시점 검출 장치가 광학 흐름(optical flow)의 평균 크기를 기초로 투구 시점을 결정하는 모습을 나타내는 도면이다.
도 4를 참조하면, 일실시예에 따라, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)를 획득할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 획득한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)를 기초로 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 또는 투구 동작 후보 프레임으로 분류할 수 있다.
일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)가 기준 크기(410)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 움직임이 없는 프레임(411)으로 분류할 수 있다.
일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)가 기준 크기(410)보다 크고, 미리 설정된 제1 크기(420)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 중간 프레임(421)으로 분류할 수 있다.
일실시예에 따라, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기(400)가 미리 설정된 제1 크기(420)보다 큰 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 투구 동작 후보 프레임(422)으로 분류할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 투구 동작 후보 프레임(422)중에서 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(420) 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간(440)을 결정할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 결정한 프레임 구간에 미리 설정된 제2 크기(430) 이상의 광학 흐름(optical flow)의 평균 크기가 포함(431)되어 있는지를 확인할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 결정한 프레임 구간(440)이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임(450)을 투구 시점 프레임으로 선택할 수 있다.
일실시예에 따라, 투구 시점 검출 장치는 선택한 투구 시점 프레임을 기초로 투구 장면에서 투구 시점을 결정할 수 있다.
도 5는 일실시예에 따른 투구 시점 검출 방법을 나타내는 플로우 차트이다.
도 5를 참조하면, 투구 시점 검출 장치가 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정한다(510).
이때, 투구 시점 검출 장치는 투구 장면을 획득할 수 있다. 이때, 투구 장면은 동영상일 수 있으나, 투구 장면이 이에 한정되는 것은 아니다.
또한, 투구 시점 검출 장치는 투구 장면에 포함된 프레임 각각을 인식할 수 있다.
또한, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 사람을 검출하기 위한 사람 검출 영역(예컨대, 바운딩 박스)을 결정할 수 있다. 이때, 사람 검출 영역의 형태는 사각형일 수 있으나, 사람 검출 영역의 형태가 이에 한정되는 것은 아니다.
또한, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수의 사람 검출 영역(예컨대, 바운딩 박스) 각각을 미리 설정된 역할(예컨대, 투수, 포수, 심판, 타자 등)에 해당하는 사람 검출 영역으로 분류할 수 있다.
또한, 투구 시점 검출 장치는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 결정한 복수의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다.
또한, 투구 시점 검출 장치는 미리 설정된 기준을 기초로 투구 장면에 포함된 프레임 각각에서 결정한 복수의 사람 검출 영역(예컨대, 바운딩 박스) 중에서 투수에 해당하는 사람 검출 영역을 결정할 수 있다. 이때, 미리 설정된 기준은 사람 검출 영역의 크기, 사람 검출 영역의 길이, 사람 검출 영역의 비율 및 사람 검출 영역의 위치 중 적어도 어느 하나일 수 있으나, 미리 설정된 기준이 이에 한정되는 것은 아니다.
또한, 투구 시점 검출 장치는 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역을 추적할 수 있다.
투구 시점 검출 장치가 투구 장면에 포함된 프레임 각각에서 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산한다(510).
이때, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역에 포함된 픽셀들 각각에 대한 움직임 벡터를 획득할 수 있다.
또한, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역을 미리 설정된 수의 픽셀이 포함된 복수개의 블록(block)으로 분할할 수 있다.
또한, 투구 시점 검출 장치는 분할한 블록(block)들 각각에 대한 움직임 벡터를 획득할 수 있다.
또한, 투구 시점 검출 장치는 미리 설정된 수의 블록을 결합하여 새로운 블록(예컨대, 4X4 블록 등)을 생성할 수 있다.
또한, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역에 포함된 새로운 블록(예컨대, 4X4 블록 등)들 각각에 대한 움직임 벡터를 획득할 수 있다.
또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 크기와 방향이 포함된 광학 흐름(optical flow)을 추출할 수 있다.
또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 크기만 포함된 광학 흐름(optical flow)을 추출할 수 있다.
또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 추출한 크기와 방향이 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.
또한, 투구 시점 검출 장치는 획득한 움직임 벡터를 기초로 추출한 크기만 포함된 광학 흐름(optical flow)에서 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 결정할 수 있다.
또한, 투구 시점 검출 장치는 결정한 투수에 해당하는 사람 검출 영역의 광학 흐름(optical flow)의 크기를 기초로 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산할 수 있다.
투구 시점 검출 장치가 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 투구 장면에서 투구 시점을 결정한다(520).
이때, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 기초로 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류할 수 있다.
또한, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 움직임이 없는 프레임으로 분류할 수 있다.
또한, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 기준 크기(예컨대, 1)보다 크고, 미리 설정된 제1 크기(예컨대, 2)보다 작은 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 중간 프레임으로 분류할 수 있다.
또한, 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2)보다 큰 경우, 투구 시점 검출 장치는 투수에 해당하는 사람 검출 영역이 포함된 프레임을 투구 동작 후보 프레임으로 분류할 수 있다.
또한, 투구 시점 검출 장치는 투구 동작 후보 프레임 중에서 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기(예컨대, 2) 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정할 수 있다.
또한, 투구 시점 검출 장치는 결정한 프레임 구간에 미리 설정된 제2 크기(예컨대, 10) 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인할 수 있다.
또한, 투구 시점 검출 장치는 결정한 프레임 구간이 시작되는 프레임의 이전 프레임 중에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택할 수 있다.
또한, 투구 시점 검출 장치는 선택한 투구 시점 프레임을 기초로 투구 장면에서 투구 시점을 결정할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다.
이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 동작들 또는 단계들을 포함한다. 방법 동작들 및/또는 단계들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 동작들 또는 단계들에 대한 특정 순서가 명시되지 않는 한, 특정 동작들 및/또는 단계들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.
본 발명에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 다수의 것들과의 임의의 조합 (예를 들어, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 다른 임의의 순서 화한 것) 을 포함하도록 의도된다.
본 발명에서 이용되는 바와 같이, 용어 "결정하는"는 매우 다양한 동작들을 망라한다. 예를 들어, "결정하는"는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 룩업하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 룩업하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100... 투구 시점 검출 장치

Claims (13)

  1. 투구 시점 검출 장치에 있어서,
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하고,
    상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하고,
    상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 투구 시점 검출 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하고,
    상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 투구 시점 검출 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출하는 투구 시점 검출 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하고,
    상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하고,
    상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 투구 시점 검출 장치.
  5. 제4항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하고,
    상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인하는 투구 시점 검출 장치.
  6. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택하는 투구 시점 검출 장치.
  7. 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작;
    상기 투구 장면에 포함된 프레임 각각에서 상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작; 및
    상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작
    을 포함하는 투구 시점 검출 방법.
  8. 제7항에 있어서,
    상기 투구 장면에 포함된 프레임 각각에서 투수에 해당하는 사람 검출 영역을 결정하는 동작은,
    상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 투구 장면에 포함된 프레임 각각에서 복수개의 사람 검출 영역을 결정하는 동작; 및
    상기 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 결정한 복수개의 사람 검출 영역에서 투수에 해당하는 사람 검출 영역을 결정하는 동작
    을 포함하는 투구 시점 검출 방법.
  9. 제7항에 있어서,
    상기 결정한 투수에 해당하는 사람 검출 영역에서의 광학 흐름(optical flow)의 평균 크기를 계산하는 동작은,
    상기 투구 장면에 포함된 프레임 각각에서 광학 흐름(optical flow)을 추출하는 동작
    을 포함하는 투구 시점 검출 방법.
  10. 제7항에 있어서,
    상기 계산한 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에서 투구 시점을 결정하는 동작은,
    상기 광학 흐름(optical flow)의 평균 크기를 기초로 상기 투구 장면에 포함된 프레임 각각을 움직임이 없는 프레임, 중간 프레임 및 투구 동작 후보 프레임 중 적어도 어느 하나의 프레임으로 분류하는 동작;
    상기 분류한 프레임을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작; 및
    상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작
    을 포함하는 투구 시점 검출 방법.
  11. 제10항에 있어서,
    상기 분류한 프레임 구간을 기초로 투구 동작이 포함된 프레임 구간을 결정하는 동작은,
    상기 투구 동작 후보 프레임 중에서 상기 광학 흐름(optical flow)의 평균 크기가 미리 설정된 제1 크기 이상으로 미리 설정된 시간 동안 지속되는 프레임 구간을 결정하는 동작; 및
    상기 결정한 프레임 구간에 미리 설정된 제2 크기 이상의 광학 흐름(optical flow)의 평균 크기가 포함되어 있는지를 확인하는 동작
    을 포함하는 투구 시점 검출 방법.
  12. 제11항에 있어서,
    상기 결정한 프레임 구간을 기초로 투구 시점을 결정하는 동작은,
    상기 결정한 프레임 구간이 시작되는 프레임에서 가장 가까운 움직임이 없는 프레임으로 분류한 프레임을 투구 시점 프레임으로 선택하는 동작
    을 포함하는 투구 시점 검출 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록 매체.
KR1020210061170A 2021-05-12 2021-05-12 투구 시점 검출 장치 및 투구 시점 검출 방법 KR20220153777A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210061170A KR20220153777A (ko) 2021-05-12 2021-05-12 투구 시점 검출 장치 및 투구 시점 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210061170A KR20220153777A (ko) 2021-05-12 2021-05-12 투구 시점 검출 장치 및 투구 시점 검출 방법

Publications (1)

Publication Number Publication Date
KR20220153777A true KR20220153777A (ko) 2022-11-21

Family

ID=84233709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210061170A KR20220153777A (ko) 2021-05-12 2021-05-12 투구 시점 검출 장치 및 투구 시점 검출 방법

Country Status (1)

Country Link
KR (1) KR20220153777A (ko)

Similar Documents

Publication Publication Date Title
US11106920B2 (en) People flow estimation device, display control device, people flow estimation method, and recording medium
US10129608B2 (en) Detect sports video highlights based on voice recognition
CN103797783B (zh) 评论信息生成装置及评论信息生成方法
US9342785B2 (en) Tracking player role using non-rigid formation priors
CN106028134A (zh) 针对移动计算设备检测体育视频精彩部分
CN105631399A (zh) 用于体育视频识别的快速对象跟踪框架
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
Fan et al. Fall detection via human posture representation and support vector machine
US20130271361A1 (en) Method and apparatus for detecting talking segments in a video sequence using visual cues
US11189035B2 (en) Retrieval device, retrieval method, and computer program product
CN113822254B (zh) 一种模型训练方法及相关装置
Meng et al. A video information driven football recommendation system
KR20160033800A (ko) 카운팅 방법 및 카운팅 장치
CN105095853A (zh) 图像处理装置及图像处理方法
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
Tran et al. Phase segmentation methods for an automatic surgical workflow analysis
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
KR101642200B1 (ko) 객체의 움직임 분석을 이용한 모션 효과 생성 장치 및 방법
JP6653423B2 (ja) プレー区間抽出方法、プレー区間抽出装置
JP7438690B2 (ja) 情報処理装置、画像認識方法及び学習モデル生成方法
KR20220153777A (ko) 투구 시점 검출 장치 및 투구 시점 검출 방법
CN113544700A (zh) 神经网络的训练方法和装置、关联对象的检测方法和装置
KR102493956B1 (ko) 인터페이스 제공 장치 및 인터페이스 제공 방법
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
US20170068841A1 (en) Detecting device, and detecting method

Legal Events

Date Code Title Description
A201 Request for examination