KR20200013145A - 하이라이트 추출 방법 및 하이라이트 추출 장치 - Google Patents

Abstract

본 명세서에서 개시되는 실시예들은 머신 러닝을 활용하여 경기 영상 원본으로부터 하이라이트 영상을 추출해내는 하이라이트 추출 방법 및 하이라이트 추출 장치에 관한 것이다. 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 하이라이트 추출 장치가 수행하는 하이라이트 추출 방법으로서, 경기 영상 원본을 수신하는 단계, 상기 경기 영상 원본에 포함된 이미지를 샘플링하는 단계, 샘플링된 이미지를 장면 단위로 그룹핑하는 단계 및 그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는 단계를 포함하는 하이라이트 추출 방법이 개시된다.

Description

하이라이트 추출 방법 및 하이라이트 추출 장치{APPARATUS OF EXTRACTING HIGHLIGHT AND METHOD THEREOF}

본 명세서에서 개시되는 실시예들은 머신 러닝(Machine Learnig)을 활용하여 경기 영상 원본으로부터 하이라이트 영상을 추출해내는 하이라이트 추출 방법 및 하이라이트 추출 장치에 관한 것이다.

기술의 발달로 영상 콘텐트의 생산량 및 유통량이 범람하고 있다. 이에 따라 영상 콘텐트를 효과적으로 처리하여 활용도를 높이는 기술에 대한 필요성이 대두되고 있다.

가령, 한국 등록특허 제10-1833943호에 따르면, '동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템'을 개시하여, 동영상의 대표 이미지를 추출하는 방법 및 시스템을 개시하고 있다.

그러나 상술한 종래 기술에 의하면, 동영상에서 시각적으로 돌출되는 이미지를 추출함으로써 결과적으로 추출된 대표 이미지는 사용자의 관심이나 흥미와는 무관한 이미지를 추출하게 되어 활용도 측면에서 아쉬움이 있다.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 명세서에서 개시되는 실시예들은, 머신 러닝을 활용하여 경기 영상으로부터 하이라이트 영상을 추출해내는 하이라이트 추출 방법 및 하이라이트 추출 장치를 개시하고자 한다.

또한, 실시예들은, 경기 영상에서 시각적으로 표현되는 내용을 분석함으로써 시청자의 흥미와 관심에 적합한 하이라이트 영상을 추출하는 것을 목적으로 한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 하이라이트 추출 장치가 수행하는 하이라이트 추출 방법으로서, 경기 영상 원본을 수신하는 단계, 상기 경기 영상 원본에 포함된 이미지를 샘플링하는 단계, 샘플링된 이미지를 장면 단위로 그룹핑하는 단계 및 그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는 단계를 포함하는 하이라이트 추출 방법이 개시된다.

또 다른 실시예에 따르면, 하이라이트 추출 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 개시된다. 이때 하이라이트 추출 방법은, 경기 영상 원본을 수신하는 단계, 상기 경기 영상 원본에 포함된 이미지를 샘플링하는 단계, 샘플링된 이미지를 장면 단위로 그룹핑하는 단계 및 그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는 단계를 포함할 수 있다.

또 다른 실시예에 따르면, 작업 관리 장치 수행되며, 하이라이트 추출 방법을 수행하기 위해 매체에 저장된 컴퓨터 프로그램이 개시된다. 이때 하이라이트 추출 방법은, 경기 영상 원본을 수신하는 단계, 상기 경기 영상 원본에 포함된 이미지를 샘플링하는 단계, 샘플링된 이미지를 장면 단위로 그룹핑하는 단계 및 그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는 단계를 포함할 수 있다.

또 다른 실시예에 따르면, 경기 영상 원본을 수신하는 통신부, 수신한 상기 경기 영상 원본을 저장하는 저장부 및, 상기 통신부 및 상기 저장부를 제어하여 하이라이트 영상을 추출하는 제어부를 포함하되, 상기 제어부는, 상기 경기 영상 원본에 포함된 이미지를 샘플링하고, 샘플링된 이미지를 장면 단위로 그룹핑하며, 그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는 하이라이트 추출 장치가 개시된다.

본 명세서에서 개시되는 실시예들은 머신 러닝을 활용하여 경기 영상으로부터 하이라이트 영상을 추출해내는 하이라이트 추출 방법 및 하이라이트 추출 장치를 개시할 수 있다.

또한, 실시예들은, 경기 영상에서 시각적으로 표현되는 내용을 분석함으로써 시청자의 흥미와 관심에 적합한 하이라이트 영상을 추출할 수 있다.

개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 하이라이트 추출 장치의 구성을 도시한 블록도이다.
도 2 내지 도 3은 하이라이트 추출 장치가 수행하는 하이라이트 추출 방법의 일 실시예를 설명하기 위한 예시도이다.
도 4 내지 도 7은 일 실시예에 따른 하이라이트 추출 방법을 설명하기 위한 순서도이다.
도 8은 일 실시예들에 따른 하이라이트 추출 방법을 설명하기 위한 예시도이다.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.

도 1은 일 실시예에 따른 하이라이트 추출 장치(10)의 구성을 도시한 블록도이다.

본 명세서에서 개시되는 일 실시예에 따른 하이라이트 추출 장치(10)는, 머신 러닝(Machine Learning)에 기초하여 경기 영상 원본에서 하이라이트 영상을 추출할 수 있다. 이때, 경기는 야구와 같은 스포츠 경기를 포함할 수 있으며, 경기 영상 원본은 경기 상황이 포함된 동영상을 말한다.

실시예에 따르면, 하이라이트 추출 장치(10)는 하이라이트 영상의 추출을 수행하기 위한 애플리케이션이 설치된 전자단말기로 구현될 수 있다. 또한, 하이라이트 추출 장치(10)는 서버 또는 서버-클라이언트 시스템으로 구현될 수 있다. 실시예에 따라 서버-클라이언트 시스템으로 구현된 하이라이트 추출 장치(10)는, 사용자와의 인터랙션을 위한 클라이언트가 설치된 사용자단말을 포함할 수 있으며, 이때 사용자단말은 전자단말기로 구현될 수 있다.

도 1을 참고하면, 하이라이트 추출 장치(10)는 입출력부(11), 통신부(12), 저장부(13) 및 제어부(14)를 포함할 수 있다.

일 실시예에 따른 입출력부(11)는 사용자로부터 입력을 수신하기 위한 입력부와, 연산의 수행 결과, 예를 들면, 하이라이트 추출 방법의 수행 결과에 대한 정보 등을 표시하기 위한 출력부를 포함할 수 있다.

예를 들어, 입력부는 사용자의 입력을 수신하는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 입력 수신 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널, 스피커 또는 헤드셋 등을 포함할 수 있다. 다만, 입출력부(11)는 상술한 예시에 한정되지 않고 다양한 입출력을 지원하는 구성을 포함할 수 있다.

한편, 통신부(12)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(12)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.

통신부(12)가 지원하는 무선 통신은, 예를 들어 Wi-Fi(Wireless Fidelity), Wi-Fi Direct, 블루투스(Bluetooth), UWB(Ultra-Wide Band) 또는 NFC(Near Field Communication) 등일 수 있다. 또한, 통신부(12)가 지원하는 유선 통신은, 예를 들어 USB 또는 HDMI(High Definition Multimedia Interface) 등일 수 있다.

실시예에 따르면, 통신부(12)는 하이라이트 추출의 대상이 되는 경기 영상 원본을 수신할 수 있으며, 머신 러닝을 수행하기 위한 각종 데이터 셋 등 하이라이트 추출 방법의 수행을 위한 데이터를 송수신할 수 있다.

한편, 저장부(13)는 하이라이트 추출 방법을 수행하기 위한 다양한 종류의 데이터가 설치 및 저장될 수 있다. 일 실시예에 따르면, 저장부(13)는 하이라이트 추출 방법의 수행을 위한 애플리케이션 및/또는 장치 드라이버와 같은 소프트웨어를 저장 및 구동할 수 있다.

예를 들어, 저장부(13)는 경기 영상 원본, 머신 러닝을 위한 데이터 셋 등 하이라이트 추출 방법의 수행을 위한 데이터를 저장할 수 있다.

한편, 제어부(14)는 하이라이트 추출 장치(10)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 실시예에 따르면, 제어부(14)는 하이라이트 추출 방법을 수행하기 위하여 하이라이트 추출 장치(10)에 포함된 입출력부(11), 통신부(12), 저장부(13) 등 다른 구성들을 제어하고, 하이라이트 추출 방법을 수행하기 위하여 각종 데이터를 처리할 수 있다.

다음으로 도 2는, 하이라이트 추출 장치(10)가 수행하는 하이라이트 추출 방법의 일 실시예를 설명하기 위한 예시도이다.

도 2를 참고하면, 제어부(14)는 경기 영상 원본(21)으로부터 이미지(22)를 샘플링할 수 있다. 이때, 샘플링된 이미지(22)는 동영상인 경기 영상 원본(21)에 포함된 정지 영상을 말할 수 있다.

실시예에 따르면, 제어부(14)는 경기 영상 원본(21)에 포함된 GOP(Group of Picture)의 I, P, B 프레임 중 특정 프레임, 예를 들어, I 프레임에 해당되는 이미지(22)를 샘플링할 수 있다. 또한, 제어부(14)는 경기 영상 원본(21)을 이미지로 디코딩한 후, 소정의 재생 시간 간격으로 이미지(22)를 샘플링할 수 있다.

한편, 제어부(14)는 샘플링된 이미지를 장면 단위로 그룹핑할 수 있다.

실시예에 따르면, 제어부(14)는 샘플링된 이미지 중 서로 인접한 이미지의 유사도에 기초하여 샘플링된 이미지를 장면 단위로 그룹핑할 수 있다. 여기서 '인접한 이미지'란, 샘플링된 이미지를 영상이 재생되는 시간 순서대로 나열하였을 때 이웃하는 이미지를 의미할 수 있다.

예를 들면, 제어부(14)는 인접한 이미지에 대하여 피쳐 매칭(Feature Matching)을 수행하여 이미지의 유사도를 연산할 수 있다. 가령, 제어부(14)는 인접한 이미지의 특징점을 대조하여 소정 정도 이상의 유사도를 보이는 이미지를 하나의 장면으로 그룹핑할 수 있다.

또한, 제어부(14)는 그룹핑된 장면에 포함된 이미지 중 선정이미지를 선정하여 점수판 포함 여부를 판단할 수 있다.

여기서 '선정이미지'는 점수판 포함 여부를 판단하기 위하여 선정된 이미지를 특정하기 위한 용어로서, 실시예에 따르면, 제어부(14)는 장면에 포함된 이미지 중 임의의 이미지를 선정이미지로 선정할 수 있으며, 하나 또는 그 이상 선정할 수 있다. 또한, 제어부(14)는 그룹핑된 장면이 하나 이상일 때, 각 장면마다 하나 이상의 선정이미지를 선정할 수 있다.

또한, '점수판'은, 경기 진행의 주요 사항을 시각적으로 전달하기 위한 것으로서 문자, 숫자, 픽토그램 등의 기호를 포함하는 표 형태로 구현될 수 있으며, 경기장에 설치된 점수판을 촬영함으로써 경기 영상에 포함될 수 있고, 컴퓨터 그래픽으로 구현한 점수판을 삽입하여 가공함으로써 경기 영상에 포함될 수도 있다.

실시예에 따르면, 제어부(14)는 선정이미지의 점수판 포함 여부를 판단하되, 점수판이 있는 이미지를 포함하는 트레이닝 데이터 셋과 점수판이 없는 이미지를 포함하는 테스트 데이터 셋을 학습한 점수판 감지 모델에 기초하여 선정이미지의 점수판 포함 여부를 판단할 수 있다.

이를 위해, 제어부(14)는 점수판 감지 모델을 구축할 수 있다. 예를 들어, 제어부(14)는 컨볼루션 레이어(Convolution layer), 렐루 레이어(ReLu layer), 맥스 풀링 레이어(Max pooling layer) 및 풀리 커넥티드 레이어(Fully connected layer)를 포함하는 CNN 딥 러닝 모델(CNN Deep Learning Model)을 구축할 수 있다. 이때, CNN 딥 러닝 모델은 두 개의 컨볼루션 레이어, 렐루 레이어, 맥스 풀링 레이어 및 하나의 풀리 커넥티드 레이어를 포함하도록 설계될 수 있다.

또한, 제어부(14)는 점수판 감지 모델의 학습을 위한 것으로서 점수판이 포함된 샘플 이미지를 하나 이상 포함하는 트레이닝 데이터 셋과 점수판이 포함되지 않은 샘플 이미지를 하나 이상 포함하는 테스트 데이터 셋을 입출력부(11) 또는 통신부(12)를 통해 입력 받을 수 있다. 여기서 데이터 셋에 포함된 샘플 이미지는 다양한 샘플 영상에서 추출된 것일 수 있다.

실시예에 따르면, 제어부(14)는 상기 [표 1]에서 표현된 바와 같이 점수판이 포함된 샘플 이미지를 포함하는 트레이닝 데이터 셋과 점수판이 포함되지 않은 샘플 이미지를 포함하는 테스트 데이터 셋(<image#, 점수판 유무>)을 입력 받을 수 있다.

그리고 제어부(14)는 데이터 셋에 포함된 샘플 이미지에서 점수판이 있을 것으로 예상되는 영역을 추출하고, 추출된 영역의 이미지를 점수판 감지 모델에 입력하여 트레이닝을 수행할 수 있다. 이를 위해, 제어부(14)는 점수판이 있을 것으로 예상되는 영역을 설정 받을 수 있다. 가령, 점수판이 있을 것으로 예상되는 영역으로서 샘플 이미지의 좌상단의 좌표값(예를 들면, (50, 0)부터 (400, 150)까지)을 입력 받고, 입력된 좌표값에 대응하는 영역을 추출하여 트레이닝을 수행할 수 있다.

또한, 제어부(14)는 상술한 바와 같이 학습된 점수판 감지 모델에 선정이미지를 대입하여 선정이미지의 점수판 포함 여부를 판단할 수 있다. 이때, 점수판 감지 모델에 대입되는 선정이미지는, 점수판이 있을 것으로 예상되는 선정이미지의 일부 영역을 의미할 수 있다. 즉, 제어부(14)는 선정이미지에서 점수판이 있을 것으로 예상되는 일부 영역을 추출하여 점수판 감지 모델에 대입함으로써 선정이미지의 점수판 포함 여부를 판단할 수 있다. 예를 들어, 제어부(14)는 선정 이미지에서 점수판이 있을 것으로 예상되는 영역의 좌표를 입력 받거나, 학습에 이용된 데이터 셋에 포함된 이미지에서 추출한 영역의 좌표와 동일한 영역을 선정이미지에서 추출하여 점수판 분석 모델에 대입할 수 있다.

그리고 제어부(14)는 선정이미지에 점수판이 포함되어 있으면, 선정이미지의 점수판의 정보를 분석할 수 있다.

실시예에 따르면, 제어부(14)는 점수판 분석 모델에 기초하여 점수판의 정보를 분석할 수 있다.

이를 위해, 제어부(14)는 점수판 분석 모델을 구축할 수 있다. 예를 들어, 제어부(14)는 컨볼루션 레이어(Convolution layer), 렐루 레이어(ReLu layer), 맥스 풀링 레이어(Max pooling layer) 및 풀리 커넥티드 레이어(Fully connected layer)를 포함하는 CNN 딥 러닝 모델(CNN Deep Learning Model)을 구축할 수 있다. 이때, CNN 딥 러닝 모델은 두 개의 컨볼루션 레이어, 렐루 레이어, 맥스 풀링 레이어 및 하나의 풀리 커넥티드 레이어를 포함하도록 구축될 수 있다.

또한, 제어부(14)는 점수판 분석 모델의 학습을 위한 것으로서, 관심 정보에 매칭되는 점수판이 포함된 샘플 이미지들을 포함하는 데이터 셋을, 입출력부(11) 또는 통신부(12)를 통해 입력 받을 수 있다.

이때, '관심 정보'란, 경기 진행에 있어서 주요한 사항으로서 점수판을 통해 표시되는 사건을 말하며, 가령, 야구 경기의 경우 회차, 득점 상황, 볼 카운트, 진루 상황, 아웃 카운트 등에 대한 정보를 포함할 수 있다. 다시 말해, 각 점수판은, 점수판이 나타내고자 하는 관심 정보를 시각적으로 표현할 수 있다. 따라서, 점수판 분석 모델의 학습을 위한 데이터 셋에 포함된 이미지는, 점수판이 삽입된 것으로서 삽입된 점수판이 나타내는 관심 정보와 매칭되어 데이터 셋을 구성한다.

실시예에 따르면, 제어부(14)는 상기 [표 2]에서 표현된 바와 같이 샘플 이미지와 각 샘플 이미지에서 시각적으로 표현되는 관심 정보를 매칭한 데이터 셋을 입력 받을 수 있다.

그리고 제어부(14)는 데이터 셋에 포함된 샘플 이미지에서 점수판이 있을 것으로 예상되는 영역을 추출하고, 추출된 영역의 이미지를 점수판 분석 모델에 대입하여 트레이닝을 수행할 수 있다. 이때, 제어부(14)는 점수판이 있을 것으로 예상되는 영역을 설정 받을 수 있다. 가령, 점수판이 있을 것으로 예상되는 영역으로서 이미지의 좌상단의 좌표값(예를 들면, (50, 0)부터 (400, 150)까지)을 입력 받고, 입력된 좌표값에 대응하는 영역을 추출하여 트레이닝을 수행할 수 있다.

또한, 제어부(14)는 상술한 바와 같이 학습된 점수판 분석 모델에 선정이미지를 대입하여 점수판의 정보를 분석할 수 있다. 이때, 점수판 분석 모델에 대입되는 선정이미지는, 점수판이 있을 것으로 예상되는 선정이미지의 일부 영역을 의미할 수 있다. 예를 들어, 제어부(14)는 선정 이미지에서 점수판이 있을 것으로 예상되는 영역의 좌표를 입력 받거나, 학습에 이용된 데이터 셋에 포함된 이미지에서 추출한 영역의 좌표와 동일한 영역을 선정이미지에서 추출하여 점수판 분석 모델에 대입할 수 있다.

이때, 제어부(14)가 분석한 점수판의 정보는, 선정이미지가 포함하는 점수판이 나타내는 관심 정보를 포함할 수 있다. 예를 들어, 야구 경기의 경우, 제어부(14)가 분석한 점수판의 정보는 선정이미지 및 선정이미지가 포함된 장면에서의 회차, 득점 상황, 볼 카운트, 진루 상황, 아웃 카운트 등에 대한 정보를 포함할 수 있다.

또한, 제어부(14)는 점수판의 정보를 분석하되, 경기 영상 원본의 출처를 분석하고, 분석된 출처에 매칭되는 데이터 셋을 학습한 점수판 분석 모델에 기초하여 선정이미지의 점수판 정보를 분석할 수 있다.

여기서 '경기 영상 원본의 출처'란, 선정이미지가 포함된 경기 영상 원본을 가공한 제작자를 말하며, 예를 들어, KBS, SBS, MBC 등 각 방송사를 의미할 수 있다. 경기 영상을 가공한 출처마다 경기 영상에 삽입된 점수판의 형식이 상이할 수 있다. 따라서 경기 영상 원본의 출처마다 서로 다른 데이터 셋을 마련하여 학습함으로써 분석의 정확도를 향상시킬 수 있다.

이를 위해, 제어부(14)는 출처 분석 모델을 구축할 수 있다. 예를 들어, 제어부(14)는 컨볼루션 레이어(Convolution layer), 렐루 레이어(ReLu layer), 맥스 풀링 레이어(Max pooling layer) 및 풀리 커넥티드 레이어(Fully connected layer)를 포함하는 CNN 딥 러닝 모델(CNN Deep Learning Model)을 구축할 수 있다. 이때, CNN 딥 러닝 모델은 두 개의 컨볼루션 레이어, 렐루 레이어, 맥스 풀링 레이어 및 하나의 풀리 커넥티드 레이어를 포함하도록 구축될 수 있다.

또한, 제어부(14)는 하나 이상의 출처 각각에 대한 트레이닝 데이터 셋 및 테스트 데이터 셋을 입력 받고 학습할 수 있다.

실시예에 따르면, 제어부(14)는 상기 [표 3]에 표현된 바와 같이 샘플 이미지와 각 샘플 이미지의 출처를 매칭한 데이터 셋(<image#, 출처>)을 입력 받을 수 있다.

그리고 제어부(14)는 데이터 셋에서 출처의 로고가 있을 것으로 예상되는 영역을 추출하고, 추출된 영역의 이미지를 출처 분석 모델에 입력하여 트레이닝을 수행할 수 있다. 이때, 제어부(14)는 출처의 로고가 있을 것으로 예상되는 영역을 설정 받을 수 있다. 가령, 출처의 로고가 있을 것으로 예상되는 영역으로서 이미지의 우상단의 좌표값(예를 들면, (50, 0)부터 (400, 150)까지)을 입력 받고, 입력된 좌표값에 대응하는 영역을 추출하여 트레이닝을 수행할 수 있다.

또한, 제어부(14)는 상술한 바와 같이 학습된 출처 분석 모델에 선정이미지를 대입하여 출처를 분석할 수 있다. 이때, 출처 분석 모델에 대입되는 선정이미지는, 출처의 로고가 있을 것으로 예상되는 선정이미지의 일부 영역을 의미할 수 있다.

또한, 제어부(14)는 점수판 분석 모델에, 출처가 분석된 선정이미지를 대입하여 점수판 정보를 분석할 수 있다.

실시예에 따르면, 제어부(14)는 각 출처에 따른 점수판 분석 모델을 구비할 수 있다. 즉, 제어부(14)는 하나 이상의 점수판 분석 모델을 설계하고, 각 점수판 분석 모델을 통해 서로 다른 출처에 대응하는 데이터 셋을 학습할 수 있다. 이를 위해, 제어부(14)는 각 출처에 대응하는 데이터 셋을 입력 받을 수 있다.

또한, 제어부(14)는 선정이미지의 출처에 대응되는 데이터 셋을 학습한 점수판 분석 모델에 기초하여, 선정이미지의 점수판 정보를 분석할 수 있다.

그리고 제어부(14)는 분석된 점수판의 정보에 기초하여 하이라이트 영상을 추출할 수 있다.

예를 들어, 제어부(14)는 분석된 점수판의 정보에 기초하여 시퀀스 단위의 하이라이트 영상을 추출할 수 있다.

이때, '시퀀스'란, 하나 이상의 장면이 순차적으로 나열되어 내용 상 흐름을 이루는 영상 단위를 말한다. 본 명세서에 개시된 실시예에 따르면, 제어부(14)는 하나 이상의 장면을 그룹핑하여 하나의 시퀀스를 생성할 수 있다.

이를 위해, 제어부(14)는 장면 각각의 종류를 분석할 수 있다.

이때, '장면 종류'란, 각 장면에서 표현되는 상황의 종류를 말한다. 예를 들어, 야구 경기의 경우, 장면 종류는 투구 장면(Pitch View), 공을 받는 상황을 넓게 촬영한 장면(Catch Overview), 공을 받는 상황을 가깝게 촬영한 장면(Catch Close-up), 주자가 이동하는 상황을 넓게 촬영한 장면(Running Overview), 주자가 이동하는 상황을 가깝게 촬영한 장면(Running Close-up), 관중석 장면(Audience View), 베이스를 터치하는 상황을 가깝게 촬영한 장면(Touch base Close-up) 등으로 구분될 수 있다.

실시예에 따르면, 제어부(14)는 장면 종류 분석 모델을 CNN 딥 러닝 모델(CNN Deep Learning Model)로 구축하고, 상술한 데이터 셋을 학습할 수 있다. 이때, CNN 딥 러닝 모델은 두 개의 컨볼루션 레이어, 렐루 레이어, 맥스 풀링 레이어 및 하나의 풀리 커넥티드 레이어를 포함하도록 설계될 수 있다. 또한, 실시예에 따르면, 제어부(14)는 RCNN 기법을 활용하여 CNN에서 산출된 컨볼루션 피쳐 맵(Convolution Feature Maps)의 맵 순서대로 피쳐 시퀀스(Feature Sequence)를 구성한 후, 각 피쳐 시퀀스를 롱 숏 텀 메모리 네트워크(LSTM; Long Short Term Memory networks)에 대입하여 학습할 수 있다.

또한, 제어부(14)는 장면 종류 분석 모델의 학습을 위한 것으로서 장면 종류 각각에 해당되는 샘플 이미지를 포함하는 데이터 셋을 입출력부(11) 또는 통신부(12)를 통해 입력 받을 수 있다.

실시예에 따르면, 제어부(14)는 상기 [표 4]에 표현된 바와 같이 샘플 이미지와 각 샘플 이미지에 대응하는 장면 종류를 매칭한 데이터 셋(<image#, 장면 종류>)을 입력 받아 학습할 수 있다.

그리고 제어부(14)는 상술한 바와 같이 학습된 장면 종류 분석 모델에 각 장면을 대입하여 각 장면의 종류를 판단할 수 있다. 이때, 장면 종류 분석 모델에 대입되는 각 장면은, 각 장면을 구성하는 이미지를 의미할 수 있다. 즉, 제어부(14)는 각 장면을 구성하는 이미지를 하나 또는 그 이상 선정하여 장면 종류 분석 모델에 대입함으로써 각 장면의 종류를 판단할 수 있다.

또한, 제어부(14)는 장면의 종류에 기초하여 시퀀스를 구분할 수 있다. 예를 들어, 특정 종류의 장면부터 특정 종류의 장면까지를 하나의 시퀀스로 분할할 수 있다. 이를 위해, 제어부(14)는 시퀀스를 구분할 장면의 종류를 설정 받을 수 있으며, 대응되는 스포츠에 따라 시퀀스를 구분할 장면의 종류를 서로 다르게 설정 받을 수 있다. 가령, 야구 경기의 경우, 투구 장면부터 다음 투구 장면의 직전 장면까지를 하나의 시퀀스로 설정할 수 있다.

한편, 제어부(14)는 분석된 점수판 정보에 기초하여 시퀀스의 경기 상황을 분석할 수 있다. 예를 들어, 분석된 점수판 정보를 서로 비교하여 경기 상황을 분석할 수 있다. 가령, 시퀀스 내에서의 점수판 정보의 변화에 따라 경기 상황을 분석할 수 있다.

또한, 제어부(14)는 분석된 경기 상황에 따라 하이라이트 영상을 추출할 수 있다. 이때, 제어부(14)는 시퀀스 단위로 하이라이트 영상을 추출할 수 있다. 예를 들어, 제어부(14)는 주요 상황을 설정 받고, 분석된 경기 상황이 설정된 주요 상황에 대응하는 경우, 주요 상황에 대응하는 경기 상황을 포함하는 시퀀스를 포함하는 하이라이트 영상을 생성할 수 있다. 가령, 득점 상황이 주요 상황으로 설정되어 있는 경우, 득점 상황이 포함된 시퀀스를 하이라이트 영상으로 추출할 수 있다. 그 밖에도 주요 상황은, 야구 경기의 경우, 아웃 카운트가 증가하는 아웃 상황, 2루 이상 진루한 장타 상황 등으로 설정될 수 있다.

실시예에 따르면, 제어부(14)는 주요 상황에 대응하는 경기 상황을 포함하는 시퀀스 및 전후의 시퀀스를 포함하여 하이라이트 영상을 생성할 수 있으며, 주요 상황에 대응하는 경기 상황을 포함하는 복수의 시퀀스를 추출하여 하이라이트 영상을 생성할 수도 있다.

여기서 도 3을 참고하면, 도 3은 하이라이트 추출 장치(10)가 수행하는 하이라이트 추출 방법의 일 실시예를 설명하기 위한 예시도이다.

도 3에 따르면, 제어부(14)는 각 장면에 포함된 선정이미지에 기초하여 선정이미지 및 선정이미지에 대응되는 장면의 점수판 정보(31)를 분석할 수 있다. 또한, 제어부(14)는 각 장면의 장면 종류(32)를 분석하고, 분석된 장면 종류에 기초하여 장면을 시퀀스 단위(33)로 분할할 수 있다.

또한, 제어부(14)는 점수판 정보를 서로 비교하여 경기 상황을 분석할 수 있다. 가령, 장면 A에서의 스코어가 0:0이고, 장면 D에서의 스코어는 4:0이면, 두 장면의 점수판 정보를 비교하여 시퀀스 1에서 4점의 득점이 발생했다는 것을 분석할 수 있다. 이때, 분석된 경기 상황, 즉, 득점 상황이 주요 상황으로 설정된 경우, 제어부(14)는 시퀀스 1을 포함하도록 하이라이트 영상을 추출할 수 있다.

또한, 제어부(14)는 추출한 하이라이트 영상의 제목을 생성할 수 있다. 예를 들어, 제어부(14)는 추출한 하이라이트 영상에 대응하는 점수판 정보에 기초하여 영상의 제목을 생성할 수 있다. 가령, 시퀀스 1에서 A팀에 4점의 득점이 발생한 경기 상황을 분석했다면, 제어부(14)는 시퀀스 1을 포함하는 하이라이트 영상의 제목을 'A 팀 만루 홈런 장면'으로 생성할 수 있다.

한편, 제어부(14)는 장면 순서에 기초하여 하이라이트 영상을 추출할 수 있다. 다시 말해, 제어부(14)는 경기 영상 원본에서 추출된 이미지로부터 그룹핑된 장면에 있어서, 연속된 장면 각각의 장면 종류를 분석하고, 분석된 종류에 따른 장면의 순서에 기초하여 하이라이트 영상을 추출할 수 있다. 예를 들어, 야구 경기 영상의 경우, 연속된 네 개의 장면은, 투구 -> 타석 -> 내야 -> 관중석의 장면 순서를 가질 수 있다.

또한, 제어부(14)는 분석한 장면 순서가 기설정된 순서에 대응되면, 기설정된 순서에 대응되는 연속된 장면들을 하이라이트 영상으로 추출할 수 있다.

실시예에 따르면, 제어부(14)는 선정이미지의 점수판 포함 여부를 판단하고, 점수판을 포함하고 있지 않은 경우, 장면 종류의 순서에 기초하여 하이라이트 영상을 추출함으로써 하이라이트 영상의 효율성을 향상시킬 수 있다.

실시예에 따르면, 제어부(14)는 하이라이트 예측 모델에 기초하여 하이라이트로 편집된 영상을 포함하는 트레이닝 데이터 셋과 하이라이트가 아닌 영상을 포함하는 테스트 데이터 셋을 학습할 수 있다. 이때, 하이라이트 예측 모델은 트레이닝 데이터 셋의 하이라이트로 편집한 영상의 장면 순서를 분석하고, 테스트 데이터 셋의 하이라이트가 아닌 영상의 장면 순서를 분석하여 하이라이트 영상과 장면 순서의 관계를 학습할 수 있다.

실시예에 따르면, 제어부(14)는 점수판 정보에 기초하여 추출한 하이라이트 영상을 이용하여 트레이닝 데이터 셋을 생성할 수 있으며, 경기 영상 원본에서 하이라이트 영상을 제외한 영상을 이용하여 테스트 데이터 셋을 생성하고, 이를 학습할 수 있다.

또한, 제어부(14)는 학습한 하이라이트 예측 모델에 기초하여 분석한 장면 순서가 하이라이트 영상인지 여부를 분석하고, 하이라이트 영상으로 분석된 것으로서 기설정된 순서에 대응하는 장면 순서를 갖는 연속된 장면을 하이라이트 영상으로 추출할 수 있다. 이때, 제어부(14)는 하이라이트 영상으로 분석된 연속된 장면을, 연속된 장면의 시작 시간 및 종료 시간으로 특정하여 결과값을 산출할 수 있다.

이하에서는 하이라이트 추출 장치(10)가 수행하는 하이라이트 추출 방법의 실시예에 대해서 도 4 내지 도 7을 참고하여 보다 자세히 서술한다.

도 4 내지 도 7은 하이라이트 추출 장치(10)가 수행하는 하이라이트 추출 방법의 실시예를 설명하기 위한 순서도이다. 도 4 내지 도 7에 도시된 하이라이트 추출 방법은 도 1 내지 도 3에 도시된 하이라이트 추출 장치(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 1 내지 도 3에 도시된 하이라이트 추출 방법에 관하여 이상에서 기술한 내용은 도 4 내지 도 7에 도시된 실시예들에 따른 하이라이트 추출 방법에도 적용될 수 있다.

먼저 도 4를 참고하면, 하이라이트 추출 장치(10)는 경기 영상 원본을 수신하여(S41), 경기 영상 원본에 포함된 이미지를 샘플링하고(S42), 샘플링된 이미지를 장면 단위로 그룹핑할 수 있다(S43). 실시예에 따르면, 하이라이트 추출 장치(10)는 샘플링된 이미지 중 서로 인접한 이미지의 유사도에 기초하여 샘플링된 이미지를 장면 단위로 그룹핑할 수 있다.

그리고 하이라이트 추출 장치(10)는 그룹핑된 장면에 기초하여 하이라이트 영상을 추출할 수 있다(S44).

이때, 도 5를 참고하면, 하이라이트 추출 장치(10)는 장면에 포함된 이미지 중 선정이미지를 선정하여 선정이미지의 점수판 포함 여부를 판단할 수 있다(S51). 실시예에 따르면, 하이라이트 추출 장치(10)는 점수판이 있는 이미지를 포함하는 트레이닝 데이터 셋과 점수판이 없는 이미지를 포함하는 테스트 데이터 셋을 학습한 점수판 감지 모델에 기초하여, 선정이미지의 점수판 포함 여부를 판단할 수 있다.

그리고 하이라이트 추출 장치(10)는 선정이미지에 점수판이 포함되어 있으면, 선정이미지의 점수판 정보를 분석할 수 있다(S52). 실시예에 따르면, 하이라이트 추출 장치(10)는 관심 정보에 매칭되는 점수판이 포함된 이미지들을 포함하는 데이터 셋을 학습한 점수판 분석 모델에 기초하여 선정이미지의 점수판 정보를 분석할 수 있다.

실시예에 따르면, 하이라이트 추출 장치(10)는 점수판 정보 분석의 정확도를 향상시키기 위하여, 경기 영상 원본의 출처를 분석하고, 분석된 출처에 매칭되는 데이터 셋을 학습한 점수판 분석 모델에 기초하여 선정이미지의 점수판 정보를 분석할 수 있다. 이때, 출처에 매칭되는 데이터 셋은, 출처에 매칭되는 이미지로서 관심 정보에 매칭되는 점수판을 포함하는 이미지들을 포함하여 구성될 수 있다.

그리고 하이라이트 추출 장치(10)는 분석된 점수판 정보에 기초하여 하이라이트 영상을 추출할 수 있다(S53).

실시예에 따르면, 하이라이트 추출 장치(10)는 점수판 정보에 기초하여 하이라이트 영상을 추출하되(S53), 점수판 정보에 기초하여 시퀀스의 경기 상황을 분석하고(S61), 분석된 경기 상황에 기초하여 하이라이트 영상을 추출할 수 있다(S61).

이를 위해, 하이라이트 추출 장치(10)는 장면을 시퀀스 단위로 그룹핑할 수 있다. 실시예에 따르면, 하이라이트 추출 장치(10)는 샘플링된 이미지를 장면 단위로 그룹핑하는 단계(S43) 이후에, 장면 각각의 장면 종류를 분석하고, 분석된 장면 종류에 기초하여 장면을 시퀀스 단위로 그룹핑할 수 있다.

한편, 하이라이트 추출 장치(10)는 그룹핑된 장면에 기초하여 하이라이트 영상을 추출함에 있어서(S44), 장면 각각의 종류를 분석하고(S71), 분석된 장면 종류의 순서에 기초하여 하이라이트 영상을 추출할 수 있다(S72). 실시예에 따르면, 하이라이트 추출 장치(10)는 분석된 장면 종류의 순서가 기설정된 순서에 대응되면, 기설정된 순서에 대응하는 하나 이상의 장면을 포함하는 하이라이트 영상을 추출할 수 있다.

이때, 하이라이트 추출 장치(10)는 하이라이트 영상 추출의 효율성을 향상시키기 위하여, 장면 종류를 분석하되(S71), 장면에 포함된 이미지 중 선정이미지를 선정하고, 선정이미지의 점수판이 포함되어 있지 않으면, 장면 각각의 장면 종류를 분석할 수 있다.

즉, 하이라이트 추출 장치(10)는 선정이미지에 점수판이 포함된 경우, 점수판 정보를 분석하고, 점수판 정보에 기초하여 하이라이트 영상을 추출하며, 선정이미지에 점수판이 포함되지 않은 경우, 장면의 순서를 분석하고, 장면 순서에 기초하여 하이라이트 영상을 추출할 수 있다.

한편, 도 8은 하이라이트 추출 장치(10)가 수행하는 하이라이트 추출 방법의 일 실시예를 도시한 도면이다.

도 8에 따르면, 하이라이트 추출 장치(10)는 경기 영상 원본을 수신하고(S81), 경기 영상 원본에 포함된 이미지를 샘플링하여(S82), 샘플링된 이미지를 장면 단위로 그룹핑할 수 있다(S83).

또한, 하이라이트 추출 장치(10)는 선정이미지가 점수판을 포함하는지 여부를 판단하고(S84), 선정이미지가 점수판을 포함하는 경우, 선정이미지의 점수판 정보를 분석할 수 있다(S85). 그리고 하이라이트 추출 장치(10)는 점수판 정보에 기초하여 시퀀스의 경기 상황을 분석하되, 장면 각각의 종류를 분석하여(S86), 시퀀스 단위로 그룹핑하고(S87), 그룹핑된 시퀀스 및 점수판 정보에 기초하여 시퀀스의 경기 상황을 분석할 수 있다(S88). 이때, 하이라이트 추출 장치(10)는 시퀀스의 경기 상황에 기초하여 하이라이트 영상을 추출할 수 있다(S89).

한편, 하이라이트 추출 장치(10)는 선정이미지가 점수판을 포함하지 않는 경우, 장면 각각의 장면 종류를 분석하고(S810), 장면 순서를 분석할 수 있다(S811). 이때, 하이라이트 추출 장치(10)는 장면 순서에 기초하여 하이라이트 영상을 추출할 수 있다(S812).

상술한 바와 같이 하이라이트 추출 장치(10)는 머신 러닝을 활용하여 경기 영상 원본에서 하이라이트 영상을 추출할 수 있으며, 점수판 포함 여부에 따라 효과적으로 정확도를 향상시킨 하이라이트 추출 방법을 수행할 수 있다.

이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.

도 4 내지 도 7을 통해 설명된 실시예들에 따른 하이라이트 추출 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.

또한 도 4 내지 도 7을 통해 설명된 실시예들에 따른 하이라이트 추출 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.

따라서 도 4 내지 도 7을 통해 설명된 실시예들에 따른 하이라이트 추출 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.

상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

10: 하이라이트 추출 장치
11: 입출력부 12: 통신부
13: 저장부 14: 제어부

Claims (23)

1. 하이라이트 추출 장치가 수행하는 하이라이트 추출 방법에 있어서,
   경기 영상 원본을 수신하는 단계;
   상기 경기 영상 원본에 포함된 이미지를 샘플링하는 단계;
   샘플링된 이미지를 장면 단위로 그룹핑하는 단계; 및
   그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는 단계를 포함하는, 하이라이트 추출 방법.
2. 제1항에 있어서,
   상기 샘플링된 이미지를 장면 단위로 그룹핑하는 단계는,
   상기 샘플링된 이미지 중 서로 인접한 이미지의 유사도에 기초하여 상기 샘플링된 이미지를 장면 단위로 그룹핑하는 것을 특징으로 하는, 하이라이트 추출 방법.
3. 제1항에 있어서,
   상기 하이라이트 영상을 추출하는 단계는,
   상기 장면에 포함된 이미지 중 선정이미지를 선정하고, 상기 선정이미지의 점수판 포함 여부를 판단하는 단계;
   상기 선정이미지에 점수판이 포함되어 있으면, 상기 선정이미지의 점수판 정보를 분석하는 단계; 및
   상기 점수판 정보에 기초하여 하이라이트 영상을 추출하는 단계를 포함하는, 하이라이트 추출 방법.
4. 제3항에 있어서,
   상기 샘플링된 이미지를 장면 단위로 그룹핑하는 단계 이후에,
   상기 장면 각각의 장면 종류를 분석하는 단계; 및
   분석된 장면 종류에 기초하여 상기 장면을 시퀀스 단위로 그룹핑하는 단계를 더 포함하고,
   상기 점수판 정보에 기초하여 하이라이트 영상을 추출하는 단계는,
   상기 점수판 정보에 기초하여 상기 시퀀스의 경기 상황을 분석하는 단계; 및
   상기 경기 상황에 기초하여 하이라이트 영상을 추출하는 단계를 포함하는, 하이라이트 추출 방법.
5. 제3항에 있어서,
   상기 점수판 포함 여부를 판단하는 단계는,
   점수판이 있는 이미지를 포함하는 트레이닝 데이터 셋과 점수판이 없는 이미지를 포함하는 테스트 데이터 셋을 학습한 점수판 감지 모델에 기초하여, 상기 선정이미지의 점수판 포함 여부를 판단하는 것을 특징으로 하는, 하이라이트 추출 방법.
6. 제3항에 있어서,
   상기 점수판 정보를 분석하는 단계는,
   관심 정보에 매칭되는 점수판이 포함된 이미지들을 포함하는 데이터 셋을 학습한 점수판 분석 모델에 기초하여, 상기 선정이미지의 점수판 정보를 분석하는 것을 특징으로 하는, 하이라이트 추출 방법.
7. 제3항에 있어서,
   상기 점수판 정보를 분석하는 단계는,
   상기 경기 영상 원본의 출처를 분석하는 단계; 및
   분석된 상기 출처에 매칭되는 데이터 셋을 학습한 점수판 분석 모델에 기초하여, 상기 선정이미지의 점수판 정보를 분석하는 단계를 포함하되,
   상기 출처에 매칭되는 데이터 셋은,
   상기 출처에 매칭되는 이미지로서, 관심 정보에 매칭되는 점수판을 포함하는 이미지들을 포함하는, 하이라이트 추출 방법.
8. 제7항에 있어서,
   상기 경기 영상 원본의 출처를 분석하는 단계는,
   하나 이상의 출처 각각에 대응하는 트레이닝 데이터 셋 및 테스트 데이터 셋을 학습한 출처 분석 모델에 기초하여 상기 경기 영상 원본의 출처를 분석하는 것을 특징으로 하는, 하이라이트 추출 방법.
9. 제1항에 있어서,
   상기 하이라이트 영상을 추출하는 단계는,
   상기 장면 각각의 장면 종류를 분석하는 단계; 및
   분석된 상기 종류에 따른 장면 순서에 기초하여 하이라이트 영상을 추출하는 단계를 포함하는, 하이라이트 추출 방법.
10. 제9항에 있어서,
    상기 장면 종류를 분석하는 단계는,
    상기 장면에 포함된 이미지 중 선정이미지를 선정하고, 상기 선정이미지의 점수판 포함 여부를 판단하는 단계; 및
    상기 선정이미지에 점수판이 포함되어 있지 않으면, 상기 장면 각각의 장면 종류를 분석하는 단계를 포함하고,
    상기 장면 순서에 기초하여 하이라이트 영상을 추출하는 단계는,
    상기 장면 순서가 기설정된 순서에 대응되면, 상기 장면 순서에 대응하는 연속된 장면을 하이라이트 영상으로 추출하는 것을 특징으로 하는, 하이라이트 추출 방법.
11. 제9항에 있어서,
    상기 장면 순서에 기초하여 하이라이트 영상을 추출하는 단계는,
    하이라이트로 편집된 영상을 포함하는 트레이닝 데이터 셋과 하이라이트가 아닌 영상을 포함하는 테스트 데이터 셋을 학습하되, 상기 트레이닝 데이터 셋 및 상기 테스트 데이터 셋의 장면 순서를 분석하여 하이라이트 영상과 장면 순서의 관계를 학습한 하이라이트 예측 모델에 기초하여, 하이라이트 영상을 추출하는 것을 특징으로 하는, 하이라이트 추출 방법.
12. 제1항에 기재된 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
13. 하이라이트 추출 장치에 의해 수행되며, 제1항에 기재된 방법을 수행하기 위해 기록매체에 저장된 컴퓨터 프로그램.
14. 경기 영상 원본을 수신하는 통신부;
    수신한 상기 경기 영상 원본을 저장하는 저장부; 및
    상기 통신부 및 상기 저장부를 제어하여 하이라이트 영상을 추출하는 제어부를 포함하되,
    상기 제어부는,
    상기 경기 영상 원본에 포함된 이미지를 샘플링하고, 샘플링된 이미지를 장면 단위로 그룹핑하며, 그룹핑된 장면에 기초하여 하이라이트 영상을 추출하는, 하이라이트 추출 장치.
15. 제14항에 있어서,
    상기 제어부는,
    상기 샘플링된 이미지 중 서로 인접한 이미지의 유사도에 기초하여 상기 샘플링된 이미지를 장면 단위로 그룹핑하는 것을 특징으로 하는, 하이라이트 추출 장치.
16. 제14항에 있어서,
    상기 제어부는,
    상기 장면에 포함된 이미지 중 선정이미지를 선정하여 점수판 포함 여부를 판단하고, 상기 선정이미지에 점수판이 포함되어 있으면, 상기 선정이미지의 점수판 정보를 분석하며, 상기 점수판 정보에 기초하여 하이라이트 영상을 추출하는, 하이라이트 추출 장치.
17. 제16항에 있어서,
    상기 제어부는,
    상기 장면 각각의 장면 종류를 분석하고, 분석된 장면 종류에 기초하여 상기 장면을 시퀀스 단위로 그룹핑하며, 상기 점수판 정보에 기초하여 상기 시퀀스의 경기 상황을 분석하고, 상기 경기 상황에 기초하여 하이라이트 영상을 추출하는, 하이라이트 추출 장치.
18. 제16항에 있어서,
    상기 제어부는,
    점수판 포함 여부를 판단하되, 점수판이 있는 이미지를 포함하는 트레이닝 데이터 셋과 점수판이 없는 이미지를 포함하는 테스트 데이터 셋을 학습한 점수판 감지 모델에 기초하여, 상기 선정이미지의 점수판 포함 여부를 판단하는, 하이라이트 추출 장치.
19. 제16항에 있어서,
    상기 제어부는,
    점수판 정보를 분석하되, 관심 정보에 매칭되는 점수판이 포함된 이미지들을 포함하는 데이터 셋을 학습한 점수판 분석 모델에 기초하여, 상기 선정이미지의 점수판 정보를 분석하는, 하이라이트 추출 장치.
20. 제16항에 있어서,
    상기 제어부는,
    점수판의 정보를 분석하되, 상기 경기 영상 원본의 출처를 분석하고, 분석된 상기 출처에 매칭되는 데이터 셋을 학습한 점수판 분석 모델에 기초하여, 상기 선정이미지의 점수판 정보를 분석하고,
    상기 출처에 매칭되는 데이터 셋은,
    상기 출처에 매칭되는 이미지로서, 관심 정보에 매칭되는 점수판을 포함하는 이미지들을 포함하는, 하이라이트 추출 장치.
21. 제20항에 있어서,
    상기 제어부는,
    상기 경기 영상 원본의 출처를 분석하되, 하나 이상의 출처 각각에 대응하는 트레이닝 데이터 셋 및 테스트 데이터 셋을 학습한 출처 분석 모델에 기초하여 상기 경기 영상 원본의 출처를 분석하는, 하이라이트 추출 장치.
22. 제14항에 있어서,
    상기 제어부는,
    상기 장면 각각의 장면 종류를 분석하며, 분석된 상기 종류에 따른 장면 순서에 기초하여 하이라이트 영상을 추출하는, 하이라이트 추출 장치.
23. 제22항에 있어서,
    상기 제어부는,
    하이라이트로 편집된 영상을 포함하는 트레이닝 데이터 셋과 하이라이트가 아닌 영상을 포함하는 테스트 데이터 셋을 학습하되, 상기 트레이닝 데이터 셋 및 상기 테스트 데이터 셋의 장면 순서를 분석하여 하이라이트 영상과 장면 순서의 관계를 학습한 하이라이트 예측 모델에 기초하여, 하이라이트 영상을 추출하는 것을 특징으로 하는, 하이라이트 추출 장치.

Images