KR100612862B1 - 스포츠 동영상의 요약 방법 및 장치 - Google Patents

스포츠 동영상의 요약 방법 및 장치 Download PDF

Info

Publication number
KR100612862B1
KR100612862B1 KR1020040079248A KR20040079248A KR100612862B1 KR 100612862 B1 KR100612862 B1 KR 100612862B1 KR 1020040079248 A KR1020040079248 A KR 1020040079248A KR 20040079248 A KR20040079248 A KR 20040079248A KR 100612862 B1 KR100612862 B1 KR 100612862B1
Authority
KR
South Korea
Prior art keywords
score
shot
area
video
information
Prior art date
Application number
KR1020040079248A
Other languages
English (en)
Other versions
KR20060030404A (ko
Inventor
정철곤
김지연
김회율
김상균
김의진
이광국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040079248A priority Critical patent/KR100612862B1/ko
Priority to US11/236,637 priority patent/US20060075454A1/en
Publication of KR20060030404A publication Critical patent/KR20060030404A/ko
Application granted granted Critical
Publication of KR100612862B1 publication Critical patent/KR100612862B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 농구경기 등의 스포츠 경기의 동영상을 스코어(score)를 기반으로 하여 요약하는 방법 및 장치에 관한 것이다. 그 방법은 (a)스포츠 동영상의 샷(shot)별로 경기의 스코어를 나타내는 영역으로부터 스코어(score)정보를 검출하는 단계; (b) 스코어 정보의 변화에 따라 각 샷들의 중요도를 계산하는 단계; 및 (c) 계산된 샷별 중요도를 이용하여 스포츠 동영상을 요약하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 스포츠의 동영상을 요약하는 경우, 일반적으로 스포츠 경기에 대한 중요한 정보들을 가지는 스코어를 기반으로 결정된 샷의 중요도를 이용하여 스포츠 동영상을 요약할 수 있도록 함으로써 스포츠 동영상 요약의 신뢰성을 증대시킬 수 있으며, 동영상 요약을 위한 데이터 계산량을 줄일 수 있다.

Description

스포츠 동영상의 요약 방법 및 장치{Method and apparatus for summarizing sports video}
도 1은 본 발명에 따른 스포츠 동영상 요약 장치의 전체적인 구성을 도시한 블록도이다.
도 2는 도 1의 영역검출부에 대한 실시예를 나타내는 상세 블록도이다.
도 3은 스포츠 동영상으로부터 스코어 영역을 검출하는 방법에 대한 실시예를 나타내는 화면이다.
도 4는 문자 부분으로부터 검출된 에지에 대한 실시예를 나타내는 도면이다.
도 5는 스포츠 동영상으로부터 스코어보드 영역을 검출하는 방법에 대한 실시예를 나타내는 화면이다.
도 6은 검출된 스코어보드 영역으로부터 문자 영역들을 검출하는 방법에 대한 실시예를 나타내는 화면이다.
도 7은 검출된 스코어보드 영역을 흑색과 백색의 두 영역으로 분할하는 방법에 대한 실시예를 설명하기 위한 그래프이다.
도 8은 검출된 문자 영역들 중 스코어 영역을 검출하는 방법에 대한 실시예를 나타내는 화면이다.
도 9는 도 1의 스코어검출부에 대한 실시예를 나타내는 상세 블록도이다.
도 10은 스포츠 동영상을 플레이 샷(play shot)과 논-플레이 샷(non-play shot)으로 분할하는 방법에 대한 실시예를 나타내는 화면이다.
도 11은 스코어를 인식하는 인공 신경망의 학습을 위해 사용되는 글자체에 대한 실시예를 나타내는 화면이다.
도 12는 도 1의 중요도 계산부에 대한 실시예를 나타내는 상세 블록도이다.
도 13은 본 발명에 따른 스포츠 동영상의 요약 방법을 나타내는 흐름도이다.
도 14는 도 13의 스포츠 동영상의 스코어 영역을 검출하는 단계에 대한 실시예를 나타내는 상세 흐름도이다.
도 15는 도 14의 스포츠 동영상으로부터 스코어보드 영역을 검출하는 단계에 대한 실시예를 나타내는 상세 흐름도이다.
도 16은 도 14의 검출된 스코어보드 영역 중 스코어 영역을 검출하는 단계에 대한 실시예를 나타내는 상세 흐름도이다.
도 17은 도 13의 샷별 스코어 정보를 검출하는 단계에 대한 실시예를 나타내는 상세 흐름도이다.
도 18은 도 13의 샷별 중요도를 계산하는 단계에 대한 실시예를 나타내는 상세 흐름도이다.
본 발명은 동영상 요약 방법 및 장치에 관한 것으로서, 특히 농구 등의 스포 츠 동영상을 스코어(score)를 기반으로 하여 요약하는 방법 및 장치에 관한 것이다.
PVR(Personal Video Recorder)와 같은 영상 재생 장치는 일반적으로 저장장치에 저장된 동영상을 디스플레이 장치를 통해 사용자가 볼 수 있도록 재생하는 것이 주된 용도로서 암호화된 영상 데이터를 복호화 하여 출력하는 기능을 가지며, 최근에는 네트워크, 디지털 저장 장치, 영상 압축 및 복원기술의 발달에 따라, 디지털 영상을 저장 장치에 저장한 후 이를 재생하는 장치가 크게 보급되어 가고있다.
한 경기 당 2시간 이상이 소요되는 농구 등과 같은 스포츠 경기를 녹화한 동영상의 경우, 동영상 재생 시 상기 동영상 내에서 사용자에게 흥미 있는 접전 장면, 추격 장면, 역전 장면 등의 부분만을 선택하여 쉽고 빠르게 재생, 편집할 수 있는 기능이 매우 필요하다. 이와 같이 사용자로 하여금 동영상의 내용을 쉽고 빠르게 파악할 수 있도록 하는 기능을 영상 요약이라 한다.
스포츠 동영상을 요약하는 종래의 방법에는, 상기 동영상 데이터로부터 추출한 색상, 움직임, 소리 등의 정보를 이용하여 공격, 속공, 슛 등의 이벤트(event)를 검출하여 상기 검출된 중요 이벤트를 중심으로 동영상을 요약하거나, 스포츠 동영상을 플레이 샷(play shot)과 논-플레이 샷(non-play shot)으로 구분하여 상기 동영상 중 플레이 샷 부분만으로 이루어진 요약 동영상을 생성하는 방법이 있다.
상술된 바와 같이 종래의 요약 방법을 이용해 농구 등의 스포츠 동영상을 요약하는 경우, 스포츠 경기의 흐름 상 중요하지 않은 장면이 요약 동영상에 포함되 어 요약의 신뢰성을 저하시킬 수 있으며, 사용자가 원하는 요약 길이보다 훨씬 긴 요약 동영상을 생성하여 효과적인 스포츠 동영상 요약을 수행할 수 없는 문제가 있었다.
본 발명이 이루고자 하는 기술적 과제는, 스포츠 동영상을 요약함에 있어 상기와 같은 문제점들을 해결하기 위해, 스포츠 동영상으로부터 검출한 스코어 정보를 이용하여 스포츠 동영상을 요약하는 방법 및 장치를 제공하는 것이다.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 스포츠 동영상 요약 방법은, (a) 상기 스포츠 동영상의 샷(shot)별로 경기의 스코어를 나타내는 영역으로부터 스코어(score)정보를 검출하는 단계; (b) 상기 스코어 정보의 변화에 따라 상기 각 샷들의 중요도를 계산하는 단계; 및 (c) 상기 계산된 샷별 중요도를 이용하여 상기 스포츠 동영상을 요약하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 (a) 단계는 (a1) 상기 스포츠 동영상을 샷으로 분할하는 단계; 및 (a2) 상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들의 스코어 정보를 검출하는 단계를 포함한다.
상기 (a2) 단계는 상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들 중 일부 영상들의 스코어 정보를 검출하거나, 상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들의 스코어영역의 데이터를 추출하는 단계; 및 상기 추출된 스코어영역의 데이터를 이용하여, 상기 영상들의 스코어 정보를 검출하는 단계를 포함하는 것이 바람직하다.
또는, 상기 (a2) 단계는 상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들의 스코어영역의 데이터를 추출하는 단계; 및 상기 추출된 스코어영역의 데이터를 이용하여, 상기 영상들의 스코어 정보를 검출하는 단계를 포함하는 것이 바람직하다.
바람직하게는, 상기 스코어 정보를 검출하는 단계는 인공 신경망을 이용하여, 상기 추출된 스코어영역의 데이터로부터 상기 영상에 표시된 스코어를 인식한다.
상기 (b) 단계는 상기 추출된 샷별 스코어 정보들을 이용하여 상기 각 샷에서 발생한 이벤트(event)를 검출하는 단계; 및 상기 검출된 각 샷의 이벤트를 기초로 각 샷의 중요도를 계산하는 단계를 포함하는 것이 바람직하다.
농구 경기의 동영상 요약의 경우, 상기 이벤트는 3점슛, 일방적 리드, 접전, 추격, 역전 중 적어도 하나를 포함하는 것이 바람직하다.
바람직하게는, 상기 샷의 중요도는 상기 샷에서 검출된 이벤트에 설정된 가중치를 이용하여 계산되며, 상기 가중치는 사용자에 의해 각 이벤트 별로 설정될 수 있는 것이 바람직하다.
상기 (c) 단계는 상기 계산된 샷별 중요도를 기초로 하여 상기 스포츠 동영상 중 중요 샷들을 선택하는 단계; 및 상기 선택된 중요 샷들을 이용하여 상기 동영상을 요약하는 단계를 포함하는 것이 바람직하다.
바람직하게는, 상기 중요 샷들은 상기 중요 샷들의 재생 시간의 합이 사용자 가 입력한 요약 시간 이하가 되도록 선택된다.
상기 스포츠 동영상 요약 방법은 상기 스포츠 동영상의 샷 영상들에 대해 경기장을 나타내는 색을 검출하는 단계; 검출된 색이 상기 샷 영상에 포함된 비율에 따라 상기 스포츠 동영상의 샷들을 플레이(play) 샷과 논-플레이(non-play) 샷으로 구분하는 단계; 및 상기 구분된 논플레이 샷들을 상기 동영상 요약에서 제거하는 단계를 더 포함하는 것이 바람직하다.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 스포츠 동영상 요약 방법은, 상기 스포츠 동영상의 스코어영역을 검출하는 단계; 상기 스포츠 동영상을 샷으로 분할하는 단계; 상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들 중 상기 검출된 스코어영역의 데이터들을 이용하여 스코어 정보를 검출하는 단계; 상기 추출된 샷별 스코어 정보의 변화에 따라 상기 각 샷들의 중요도를 계산하는 단계; 및 상기 계산된 샷별 중요도를 이용하여 상기 스포츠 동영상을 요약하는 단계를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 스코어영역을 검출하는 단계는 상기 스포츠 동영상의 영상들로부터 스코어보드(score board)영역을 검출하는 단계; 및 상기 검출된 스코어보드영역 중 스코어에 관한 정보를 가지는 스코어영역을 검출하는 단계를 포함한다.
상기 스코어보드영역을 검출하는 단계는 상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들에 대해 에지정보를 추출하는 단계; 및 상기 추출된 영상 에지정보들의 시간에 따른 변화를 이용하여 상기 동영상의 스코어보드영역을 검출하는 단계를 포함하는 것이 바람직하다.
바람직하게는, 상기 스코어영역을 검출하는 단계는 상기 스포츠 동영상의 영 상들 중 소정의 시간 구간의 영상들에 대해, 상기 검출된 스코어보드영역의 영상 데이터를 추출하는 단계; 및 상기 추출된 영상데이터의 변화를 이용하여 상기 동영상의 스코어영역을 검출하는 단계를 포함한다.
상기 스코어영역을 검출하는 단계는 상기 추출된 영상 데이터들을 비교하여, 상기 영상 데이터가 변화하는 영역을 검출하는 단계; 및 상기 검출된 변화 영역 중 상기 변화의 주기가 일정하지 않은 영역을 검출하는 단계를 포함하는 것이 바람직하다.
바람직하게는, 상기 스코어영역을 검출하는 단계는 상기 추출된 영상 데이터들을 비교하여, 상기 영상 데이터가 변화하는 영역을 검출하는 단계; 상기 소정의 시간 구간의 영상들 각각에 대해, 상기 영상 중 상기 검출된 변화 영역의 데이터를 이용하여 상기 변화 영역에 표시되는 숫자를 인식하는 단계; 및 상기 검출된 변화 영역 중 상기 인식된 숫자가 시간에 따라 증가하는 값을 가지는 영역을 검출하는 단계를 포함한다.
상술한 기술적 과제를 해결하기 위한 본 발명에 의한 스포츠 동영상 요약 장치는, 상기 스포츠 동영상을 입력으로 받아, 상기 동영상의 샷(shot)별로 경기에서 획득한 점수인 스코어(score)정보를 검출하는 스코어검출부; 상기 스코어 정보의 변화에 따라 상기 각 샷들의 중요도를 계산하여 출력하는 중요도계산부; 및 상기 계산된 샷별 중요도를 기초로 하여 상기 스포츠 동영상 중 중요 샷들을 선택하고, 상기 선택된 중요 샷들을 이용하여 동영상을 요약하는 요약부를 포함하는 것을 특징으로 한다.
바람직하게는, 상기 스코어검출부는 상기 스포츠 동영상을 동일 장면 구간으 로 분할하여 상기 샷 분할 정보를 출력하는 샷분할부; 및 상기 샷 분할 정보를 입력으로 받아, 상기 스포츠 동영상 중 각 샷에 속하는 영상들의 스코어 정보를 검출하여 샷별 스코어 정보를 출력하는 샷별스코어검출부를 포함하며, 상기 샷별 스코어 정보는 상기 각 샷에 속하는 영상들 중 일부 영상들의 스코어 정보인 것이 바람직하다.
상기 샷별스코어검출부는 상기 샷 분할 정보를 입력으로 받아, 상기 스포츠 동영상 중 각 샷에 속하는 영상들의 스코어 영역의 데이터를 추출하는 스코어데이터추출부; 및 상기 추출된 스코어영역의 데이터를 이용하여 상기 영상들의 스코어 정보를 인식하는 스코어인식부를 포함하는 것이 바람직하다.
바람직하게는, 상기 스코어인식부는 인공 신경망을 이용하여, 상기 추출된 스코어영역의 데이터로부터 상기 영상에 표시된 스코어를 인식한다.
상기 중요도계산부는 스코어 정보의 변화에 따라 각각 설정된 이벤트를 이용하여 상기 검출된 샷별 스코어 정보가 변화되면 상기 각 샷에서 해당 이벤트를 검출하는 이벤트검출부; 및 상기 검출된 이벤트에 해당하는 중요도를 이용하여 상기 각 샷의 중요도를 계산하는 계산부를 포함하는 것이 바람직하며, 상기 계산부는 상기 검출된 이벤트에 설정된 가중치를 이용하여 상기 각 샷의 중요도를 계산하는 것이 바람직하다.
바람직하게는, 상기 가중치는 사용자에 의해 각 이벤트 별로 설정될 수 있으며, 상기 중요 샷들은 상기 중요 샷들의 재생 시간의 합이 사용자로부터 입력받은 요약 시간 이하가 되도록 선택되는 것이 바람직하다.
상기 스포츠 동영상 요약 장치는 상기 스포츠 동영상을 입력으로 받아, 상기 영상 중 스코어에 관한 정보를 가지는 스코어영역을 검출하는 영역검출부를 더 포함하는 것이 바람직하다.
바람직하게는, 상기 영역검출부는 상기 스포츠 동영상의 영상들로부터 스코어보드영역을 검출하여, 상기 스코어보드영역에 대한 정보를 출력하는 스코어보드영역검출부; 및 상기 스코어보드영역 정보를 입력으로 받아, 상기 영상들의 스코어보드영역 중 스코어에 관한 정보를 가지는 스코어영역을 검출하는 스코어영역검출부를 포함한다.
상기 스코어보드영역검출부는 상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들에 대해 에지정보를 추출하여 출력하는 에지추출부; 및 상기 추출된 영상들의 에지정보를 입력으로 받아, 상기 에지정보의 시간에 따른 변화를 이용하여 상기 동영상의 스코어보드영역을 검출하는 에지변화검출부를 포함하는 것이 바람직하다.
바람직하게는, 상기 스코어영역검출부는 상기 검출된 스코어보드영역 정보를 입력으로 받아, 상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들의 상기 스코어보드영역 영상 데이터를 추출하는 스코어보드데이터추출부; 및 상기 추출된 스코어보드영역 데이터들을 입력으로 받아, 상기 데이터들의 변화를 이용하여 상기 동영상의 스코어영역을 검출하는 변화검출부를 포함한다.
상기 변화검출부는 상기 추출된 스코어보드영역 데이터들을 비교하여 상기 소정의 시간 동안 데이터가 변화하는 영역을 검출하는 변화영역검출부; 및 상기 검출된 변화 영역 중 상기 변화의 주기가 일정하지 않은 영역을 검출하는 비주기영역 검출부를 포함하는 것이 바람직하다.
바람직하게는, 상기 변화검출부는 상기 추출된 스코어보드영역 데이터들을 비교하여 상기 소정의 시간 동안 데이터가 변화하는 영역을 검출하는 변화영역검출부; 및 상기 검출된 변화 영역의 데이터를 이용하여 상기 변화 영역에 표시된 숫자를 인식하는 숫자인식부; 및 상기 검출된 변화 영역 중 상기 인식된 숫자가 시간에 따라 증가하는 값을 가지는 영역을 검출하는 증가영역검출부를 포함한다.
상기 스포츠 동영상 요약 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 스포츠 동영상의 요약 방법 및 장치에 대해 상세히 설명한다.
도 1은 본 발명에 따른 스포츠 동영상 요약 장치의 전체적인 구성을 블록도로 도시한 것이다. 도시된 동영상 요약 장치는 영역검출부(100), 스코어검출부(110), 중요도계산부(120) 및 요약부(130)를 포함하여 이루어진다. 도시된 동영상 요약 장치의 동작을 도 13에 도시된 본 발명에 따른 동영상 요약 방법을 나타내는 흐름도와 결부시켜 설명하기로 한다.
상기 영역검출부(100)는 요약을 원하는 스포츠 동영상을 입력으로 받아, 상기 동영상 중 스코어가 표시된 영역인 스코어영역을 검출하여, 상기 검출된 스코어영역에 관한 정보를 가지는 신호를 출력한다(1300단계). 상기 영역검출부(100)의 출력신호는, 상기 검출된 스코어영역을 사각형으로 하여 상기 사각형 영역의 좌측 하단의 화소 위치와 우측상단의 화소 위치에 대한 정보를 가지는 것이 바람직하다.
상기 스코어검출부(110)는 요약하고자하는 스포츠 동영상과 상기 영역검출부(100)로부터 스코어영역에 대한 정보를 입력으로 받아, 상기 스포츠 동영상을 동일장면 구간인 샷(shot)으로 분할하고(1310단계), 상기 분할된 샷들에 속하는 영상들로부터 상기 스코어영역에 위치하는 경기 스코어들을 검출한다(1320단계). 상기 동영상을 샷으로 분할하는 방법은, 상기 동영상 중 연속한 두 영상의 색 차이가 급격하게 변하는 부분인 컷(cut)을 검출하여, 상기 검출된 컷을 경계로 동영상들을 분할하는 것이 바람직하다. 상기 샷별 스코어들을 검출하는 방법은, 상기 각 샷에 속하는 영상들 중 일부의 영상, 예를 들면 10개의 영상마다 한 개의 영상에 대해서만 스코어를 검출하는 것이 바람직하다.
상기 중요도계산부(120)는 상기 스코어검출부(110)로부터 샷별 스코어 정보를 입력을 받아, 상기 스코어 정보를 이용하여 각 샷의 중요도를 계산한다(1330단계).
상기 요약부(130)는 상기 중요도계산부(120)로부터 각 샷의 중요도를 입력으로 받아, 상기 중요도를 기초로 중요 샷들을 선택하고(1340단계), 상기 선택된 샷들을 이용하여 스포츠 동영상을 요약한다(1350단계). 상기 1340단계에서는, 사용자가 원하는 요약 동영상의 길이를 입력한 경우, 요약 동영상의 재생시간 총합이 상기 입력된 요약 길이를 초과하지 않도록 상기 중요 샷들이 선택되는 것이 바람직하다. 예를 들어, 사용자가 200개의 샷으로 분할되는 농구 동영상을 1분 길이의 동영상으로 요약하기를 원하는 경우, 상기 200개의 샷들 중 중요도가 가장 높은 20개의 샷들의 재생시간의 총합이 58초이고, 상기 200개의 샷들 중 중요도가 가장 높은 21 개의 샷들의 재생시간의 총합이 1분 5초라면, 상기 200개의 샷들 중 중요도가 가장 높은 20개의 샷들을 중요 샷으로 선택한다. 상기 선택된 중요 샷들은 샷의 시간 순서로 결합되어 요약 동영상으로 생성된다.
도 2는 도 1의 영역검출부에 대한 실시예를 블록도로 도시한 것이다. 도시된 영역검출부는 스코어보드영역검출부(200) 및 스코어영역검출부(210)를 포함하여 이루어진다. 도시된 영역검출부의 동작을 도 14에 도시된 흐름도와 결부시켜 설명하기로 한다.
상기 스코어보드영역검출부(200)는 요약하고자하는 스포츠 동영상을 입력받아(1400단계), 상기 동영상 중 스코어, 경기 시간, 팀(team) 정보 등의 문자정보를 가지는 스코어보드영역을 검출한다(1410단계). 상기 스코어영역검출부(210)는 상기 스포츠 동영상과 상기 스코어보드영역검출부(200)로부터 스코어보드영역에 대한 위치정보를 입력으로 받아, 상기 스포츠 동영상의 스코어보드영역 중 스코어에 관한 정보를 가지는 스코어영역을 검출하여 상기 스코어영역의 위치에 관한 정보를 가지는 신호를 출력한다(1420단계).
도 3은 스포츠 동영상으로부터 스코어 영역을 검출하는 방법에 대한 실시예를 나타내는 화면이다. 도 3(a)는 스포츠 영상으로부터 수직 에지(vertical edge)정보를 추출한 것으로, 수직 에지 정보는 다음의 수학식 1과 같이 계산된다.
Figure 112004045208670-pat00001
상기 수학식 1은 영상 중 (x, y) 위치를 중심으로 수평 방향 좌우 각각 t의 길이를 가지는 영역에 대한 에지 정보를 계산하는 수학식이며, 상기 I(x+i, y)는 영상 중 (x+i, y) 위치의 휘도 값을 의미한다. 도 4는 문자 부분으로부터 검출된 에지 정보를 나타내는 화면으로, 문자의 특성 상 문자 영역은 큰 값의 수직 에지를 가짐을 알 수 있다.
도 3(b)는 상기 수학식 1에 의해 영상의 계산된 에지 정보를 이용하여 스코어보드 영역을 검출한 화면이며, 도 3(c)는 상기 검출된 스코어보드 영역 중 스코어 영역을 검출한 화면이다.
도 5는 스포츠 동영상으로부터 스코어보드 영역을 검출하는 방법에 대한 실시예를 나타내는 화면으로, 상기 검출 방법을 도 15에 도시된 흐름도와 결부시켜 설명하기로 한다. 도 5(a)는 스포츠 동영상 중 하나의 영상을 나타내는 화면이며, 도 5(b)는 상기 수학식 1과 같이 계산하여 상기 영상으로부터 수직 에지 정보를 추출한 화면이다. 도 5(c)는 상기 영상을 상위 10% 이내의 에지 값을 가지는 영역과 상기 영역 이외의 영역으로 구분한 것이다. 도 5(d)는 검출된 스코어보드를 나타내는 화면이다.
요약하고자하는 스포츠 동영상 중 t1 의 재생 시간을 가지는 구간을 임의로 선택한다(1500단계). 상기 선택된 구간에 속하는 영상들 각각으로부터 상기 수학식 1을 이용하여 도 5(b)에서 나타난 것과 같은 에지 정보를 추출하고, 상기 각 영상들을 상위 10% 이내의 에지 값을 가지는 영역과 상기 영역 이외의 영역으로 구분한다(1510단계). 상기 상위 10% 이내의 에지 값을 가지는 영역으로 소정의 한계 시간 이상 유지되는 영역이 스코어보드 영역으로 검출된다(1520단계).
도 16은 스코어보드 영역으로부터 스코어 영역을 검출하는 방법을 흐름도로 도시한 것이다. 요약하고자하는 스포츠 동영상 중 t2 의 재생 시간을 가지는 구간을 임의로 선택한다(1600단계). 상기 선택된 구간에 속하는 영상들 각각으로부터 상기 검출된 스코어보드 영역의 영상 데이터들을 추출한다(1610단계). 상기 추출된 스코어보드 영역 영상 데이터들의 시간에 따른 변화를 이용하여, 상기 스코어보드 영역 중 스코어 영역을 검출한다(1620단계). 상기 시간에 따른 영상 데이터의 변화를 이용해 스코어 영역을 검출하는 방법은, 스코어보드 영역 중 스코어는 팀 명칭들과는 달리 시간에 따라 변화가 있으나 경기 시간과 달리 변화가 시간에 대해 일정한 주기를 가지지 않는다는 특징을 이용하여 검출이 가능하다. 구체적인 방법은, 상기 스코어보드 영역 영상 데이터들로부터 문자영역을 검출하고, 상기 검출된 문자 영역 중 시간에 따른 변화의 주기가 일정하지 않은 영역을 스코어 영역으로 검출하거나, 상기 검출된 문자 영역을 인공신경망을 이용하여 숫자로 인식하여 인식된 숫자들 중 비주기성을 가지는 영역을 스코어 영역으로 검출하는 것이 바람직하다.
도 6은 검출된 스코어보드 영역으로부터 문자 영역들을 검출하는 방법에 대 한 실시예를 나타내는 화면이다. 도 6(a)는 스포츠 동영상 중 스코어보드 영역을 그레이 레벨(gray level) 영상으로 변환한 것이다. 도 6(b)는 상기 스코어보드 영역을 문자부분과 배경부분으로 분할한 것이다. 상기 분할하는 방법은, 도 7에 도시된 그래프를 참조하여 설명하면, 상기 스코어보드 영역의 화소들 중 k 이하의 휘도 값을 가지는 화소들의 휘도 값들의 평균값(f0)과 분산(σ2 0)을 계산하고, 상기 스코어보드 영역의 화소들 중 상기 k 이상의 휘도 값을 가지는 화소들의 휘도 값들의 평균값(f1)과 분산(σ2 1)을 계산하여, 상기 계산된 분산 값들(σ 2 0,σ2 1)이 최대가 될 때의 k 값을 구한 후, 상가 스코어보드 영역을 상기 구해진 k 이하의 휘도 값을 가지는 영역과 상기 구해진 k 이상의 휘도 값을 가지는 영역으로 분할한다. 도 6(b)는 상기 방법에 따라 문자영역과 배경영역을 분할한 후, 색을 반전시킨 것이다.
도 6(c)는, 도 6(b)와 같이 스코어보드 영역의 문자들이 동일한 색으로 표시되지 않은 경우, 표시된 문자영역을 검은색으로 반전시키는 방법을 설명하기 위한 화면이다. 상기 스코어보드 영역을 버티칼 프로젝션(vertical projection)하면 도 6(c)에서와 같은 데이터를 추출할 수 있다. 상기 버티칼 프로젝션 결과는 수직방향으로 흰색이 포함된 비율을 표현하는 것으로, 도 6(b)에서와 같이 스코어를 둘러싸고 있는 사각형의 양 쪽 끝에서는 버티칼 프로젝션이 급변하게 된다. 따라서, 상기 버티칼 프로젝션이 급변하는 부분을 기준으로 하여, 검출된 두 기준사이의 영역의 색을 반전시키면 도 6(d)의 화면과 같이 스코어보드 영역 중 문자영역이 모두 검은 색으로 표시되도록 할 수 있다.
도 8은 검출된 문자 영역들 중 스코어 영역을 검출하는 방법에 대한 실시예를 나타내는 화면이다. 도 8(a)는 상기 검출된 문자 영역들을 인공신경망을 이용하여 숫자로 인식한 것이다. 상기 숫자 인식에 사용되는 인공신경망은 도 11에 도시된 것과 같은, 스포츠 동영상의 스코어로 많이 사용되는 숫자 폰트(font)들을 이용하여 학습되는 것이 바람직하다.
도 8(b)는 상기 인식 결과에 따라, 문자 영역들 중 숫자로 인식된 부분들을 검출한 화면이며, 도 8(c)는 상기 검출된 숫자 부분들 중 시간에 대해 비주기성을 가지는 스코어 영역들만을 검출한 화면이다. 도 8(b)에서와 같이, 일반적으로 스코어보드 영역에 표시되는 숫자는 스코어, 시간, 쿼터 수 등이 있는데, 상기 숫자들 중 스코어를 제외하고는 그 변화가 시간에 대해 주기성을 가지므로, 일정 시간 동안 상기와 같은 방법으로 검출된 숫자들의 변화를 저장매체에 저장하여 상기 변화가 시간에 대해 주기적이지 않은 숫자 영역들을 스코어 영역으로 검출하는 것이 바람직하다. 또는, 스코어보드 영역에 숫자로 구성된 부분이 양 팀의 스코어와 경기 시간 밖에 없는 경우에는 상기 인식된 숫자가 시간에 따라 증가하는 영역을 스코어영역으로 검출하는 것이 바람직하다.
도 9는 도 1의 스코어검출부에 대한 실시예를 블록도로 도시한 것이다. 도시된 스코어검출부는 샷분할부(900) 및 샷별스코어검출부(910)를 포함하여 이루어진다. 도시된 스코어검출부의 동작을 도 17에 도시된 흐름도와 결부시켜 설명하기로 한다.
상기 샷분할부(900)는 요약하고자하는 스포츠 동영상을 동일장면 구간인 샷으로 분할한다(1700). 상기 샷별스코어검출부(910)는 상기 스포츠 동영상과 스코어영역에 대한 정보 및 상기 샷분할부(900)로부터 샷 분할 정보를 입력으로 받아, 상기 분할된 샷들 중 첫번째 샷에 속하는 영상들의 스코어영역의 스코어들을 추출한다(1710, 1720단계). 상기 스코어는 숫자를 인식할 수 있도록 학습된 인공신경망을 이용하는 것이 바람직하다. 상기 숫자 인식에 사용되는 인공신경망은 도 11에 도시된 것과 같은, 스포츠 동영상의 스코어로 많이 사용되는 숫자 폰트들을 이용하여 학습되는 것이 바람직하다.
상기 샷별스코어검출부(910)는 상기 추출된 첫번째 샷에 속하는 스코어 정보들을 저장하고(1730단계), 상기 스포츠 동영상의 모든 샷들에 대한 스코어 정보가 저장되었는지 확인하고(1740단계), 모든 샷들에 대한 스코어 정보가 저장될 때까지 상기 1720단계 및 상기 1730단계를 반복한다.
도 10은 스포츠 동영상을 플레이 샷과 논-플레이 샷으로 분할하는 방법에 대한 실시예를 나타내는 화면이다. 도 10(a)는 스포츠 동영상 중 스포츠 선수들의 플레이가 진행 중인 경우의 화면이고, 도 10(b)는 상기 도 10(a)의 영상 중 스포츠 경기가 진행되는 코트(court)의 색을 가지는 영역을 검출한 것이다. 상기 코트의 색은 사용자로부터 직접 입력을 받거나, 일반적으로 각 스포츠 경기에 사용되는 코트 색을 스포츠 별로 미리 설정하여 저장해 놓는 것이 바람직하다.
도 10(c)는 스포츠 동영상 중 스포츠 선수들의 플레이가 진행되고 있지 않은 경우의 화면이고, 도 10(d)는 상기 도 10(c)의 영상 중 코트의 색을 가지는 영 역을 검출한 것이다. 상기 도 10(b)와 도 10(d)를 비교하면, 선수들의 플레이가 진행 중인 플레이 샷에 속하는 영상이 선수들의 플레이가 진행 중이지 아니한 논-플레이 샷에 속하는 영상보다 코트 색을 가지는 영역의 비율이 매우 높은 것을 알 수 있다. 따라서, 스포츠 동영상 중 코트 색의 비율이 미리 설정된 한계 치 이상인 영상들의 연속구간을 플레이 샷으로 구분하고, 상기 스포츠 동영상 중 플레이 샷에 속하는 샷들에 대해서만 상기한 스코어검출 및 검출된 스코어에 따른 중요도를 계산하여 동영상 요약의 대상으로 하는 것이 바람직하다.
도 12는 도 1의 중요도계산부에 대한 실시예를 블록도로 도시한 것이다. 도시된 중요도계산부는 이벤트검출부(1200) 및 계산부(1210)를 포함하여 이루어진다. 도시된 중요도 계산부의 동작을 도 18에 도시된 흐름도와 결부시켜 설명하기로 한다.
상기 이벤트검출부(1200)는 상기 스코어검출부(110)로부터 스포츠 동영상의 각 샷별 스코어정보를 입력으로 받아, 첫번째 샷에서 발생한 이벤트를 검출한다(1800, 1810단계). 상기 이벤트는 각 스포츠 경기의 특성에 따라 미리 설정될 수 있으며, 예를 들어 접전, 일방적 리드, 추격, 역전 등이 일반적인 모든 스포츠에 이벤트로 설정될 수 있으며, 농구 경기의 경우에는 3점슛, 자유투 등의 이벤트가 설정될 수 있다. 또한, 상기 이벤트는 사용자가 직접 원하는 이벤트를 정의할 수 있도록 하는 것이 바람직하다.
농구 경기의 예를 들어, 스코어 정보를 이용하여 이벤트를 검출하는 방법에 대해 구체적으로 설명하면, 일방적 리드의 이벤트는 이기고 있는 팀이 일방적으로 득점하여 점수 차를 벌리는 것을 검출하는 것으로, 스코어를 이기고 있는 팀이 연속적으로 득점하여 스코어가 증가하는 횟수가 3회 이상일 경우에 상기 일방적 리드 이벤트가 발생한 것으로 검출한다.
접전 이벤트는 스코어를 이기고 있는 팀이 연속적으로 바뀌는 것을 검출하는 것으로, 2분 안에 스코어를 이기는 팀의 변화의 횟수를 계산하여 2회 이상 변화가 발생하였을 경우 접전 이벤트가 발생한 것으로 검출한다.
역전 이벤트는 스코어를 이기고 있는 팀이 바뀌는 경우 역전 이벤트가 발생한 것으로 검출한다. 추격 이벤트는 지고 있던 팀이 스코어를 이기고 있는 팀의 점수에 가까워져 가는 상황을 검출하는 것으로, 양 팀의 스코어의 차이를 저장하여 스코어의 차이가 6점 이상에서 2점으로 좁혀진 구간이 있는 경우 추격 이벤트가 발생한 것으로 검출한다.
시간 순으로 인접한 두 영상에서 추출된 어느 한 팀의 두 스코어의 차이가 3점인 경우 3점슛 이벤트가 발생한 것으로 검출하고, 시간 순으로 인접한 두 영상에서 추출된 어느 한 팀의 두 스코어의 차이가 1점인 경우 자유투 이벤트가 발생한 것으로 검출한다.
상기 계산부(1210)는 상기 이벤트검출부(1200)로부터 첫번째 샷에서 발생한 이벤트에 대한 정보를 입력으로 받아, 각 이벤트에 설정된 가중치에 따라 각 샷의 중요도를 계산한다(1820단계). 예를 들어, 첫번째 샷에서 3점슛 이벤트와 접전 이벤트가 검출되었고, 상기 3점슛 이벤트에 설정된 가중치가 2이고 상기 접전 이벤트에 설정된 가중치가 10이라고 하면, 상기 첫번째 샷의 중요도는 12가 된다.
상기 각 이벤트에 설정된 가중치는 각 이벤트의 중요성을 고려하여 미리 설정되거나, 사용자의 특성에 따라 사용자가 직접 각 이벤트에 가중치를 설정하거나 미리 설정된 가중치들을 재 설정할 수 있도록 하는 것이 바람직하다. 예를 들어, 사용자가 농구 동영상 중 3점슛 장면만을 보기를 원하는 경우에는, 3점슛 이벤트를 제외한 나머지 이벤트들의 가중치를 모두 0으로 설정하고 3점슛 이벤트에 대해서만 임의의 가중치를 부여할 수 있다.
상기 계산부(1210)는 스포츠 동영상의 모든 샷들에 대해 중요도가 계산되었는지 여부를 확인한 후(1830단계), 상기 모든 샷들에 대해 중요도가 계산될 때까지 상기 1810단계 및 1820단계를 반복한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.
상술한 바와 같이 본 발명에 따른 스포츠 동영상 요약 방법 및 장치에 의하면, 일반적으로 스포츠 경기에 대한 중요한 정보들을 가지는 스코어를 기반으로 결정된 샷의 중요도를 이용하여 스포츠 동영상을 요약할 수 있도록 함으로써 스포츠 동영상 요약의 신뢰성을 증대시킬 수 있으며, 데이터량이 적은 스코어 정보의 변화를 이용하여 동영상을 요약함으로써 동영상 요약을 위한 데이터 계산량을 줄일 수 있다.

Claims (34)

  1. 스포츠 동영상을 요약하는 방법에 있어서,
    (a) 상기 스포츠 동영상의 샷(shot)별로 경기의 스코어를 나타내는 영역으로부터 스코어(score) 정보를 검출하는 단계;
    (b) 상기 스코어 정보의 변화에 따라 상기 검출된 스코어 정보를 이용하여 상기 각 샷들의 중요도를 계산하는 단계; 및
    (c) 상기 계산된 샷별 중요도를 이용하여 상기 스포츠 동영상을 요약하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  2. 제1항에 있어서, 상기 (a) 단계는
    (a1) 상기 스포츠 동영상을 샷으로 분할하는 단계; 및
    (a2) 상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들의 스코어 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  3. 제2항에 있어서, 상기 (a2) 단계는
    상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들 중 일부 영상들의 스코어 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  4. 제2항에 있어서, 상기 (a2) 단계는
    상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들의 스코어영역의 데이터를 추출하는 단계; 및
    상기 추출된 스코어영역의 데이터를 이용하여, 상기 영상들의 스코어 정보를 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  5. 제4항에 있어서, 상기 스코어 정보를 검출하는 단계는
    인공 신경망을 이용하여, 상기 추출된 스코어영역의 데이터로부터 상기 영상에 표시된 스코어를 인식하는 것을 특징으로 하는 동영상 요약 방법.
  6. 제1항에 있어서, 상기 (b) 단계는
    상기 추출된 샷별 스코어 정보들을 이용하여 상기 각 샷에서 발생한 이벤트(event)를 검출하는 단계; 및
    상기 검출된 각 샷의 이벤트를 기초로 각 샷의 중요도를 계산하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  7. 제6항에 있어서, 상기 이벤트는
    3점슛, 일방적 리드, 접전, 추격, 역전 중 적어도 하나를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  8. 제6항에 있어서, 상기 샷의 중요도는
    상기 샷에서 검출된 이벤트에 설정된 가중치를 이용하여 계산되는 것을 특징으로 하는 동영상 요약 방법.
  9. 제8항에 있어서, 상기 가중치는
    사용자에 의해 각 이벤트 별로 설정될 수 있는 것을 특징으로 하는 동영상 요약 방법.
  10. 제1항에 있어서, 상기 (c) 단계는
    상기 계산된 샷별 중요도를 기초로 하여 상기 스포츠 동영상 중 중요 샷들을 선택하는 단계; 및
    상기 선택된 중요 샷들을 이용하여 상기 동영상을 요약하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  11. 제10항에 있어서, 상기 중요 샷들은
    상기 중요 샷들의 재생 시간의 합이 사용자가 입력한 요약 시간 이하가 되도록 선택되는 것을 특징으로 하는 동영상 요약 방법.
  12. 제11항에 있어서,
    상기 스포츠 동영상의 샷 영상들에 대해 경기장을 나타내는 색을 검출하는 단계;
    검출된 색이 상기 샷 영상에 포함된 비율에 따라 상기 스포츠 동영상의 샷들을 플레이(play) 샷과 논-플레이(non-play) 샷으로 구분하는 단계; 및
    상기 구분된 논-플레이 샷들을 상기 동영상 요약에서 제거하는 단계를 더 포함하는 것을 특징으로 하는 동영상 요약 방법.
  13. 스포츠 동영상을 요약하는 방법에 있어서,
    상기 스포츠 동영상의 스코어영역을 검출하는 단계;
    상기 스포츠 동영상을 샷으로 분할하는 단계;
    상기 분할된 각 샷에 대해, 상기 샷에 속하는 영상들 중 상기 검출된 스코어영역의 데이터들을 이용하여 스코어 정보를 검출하는 단계;
    상기 추출된 샷별 스코어 정보의 변화에 따라 상기 각 샷들의 중요도를 계산하는 단계; 및
    상기 계산된 샷별 중요도를 이용하여 상기 스포츠 동영상을 요약하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  14. 제13항에 있어서, 상기 스코어영역을 검출하는 단계는
    상기 스포츠 동영상의 영상들로부터 스코어보드(score board)영역을 검출하는 단계; 및
    상기 검출된 스코어보드영역 중 스코어에 관한 정보를 가지는 스코어영역을 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  15. 제14항에 있어서, 상기 스코어보드영역을 검출하는 단계는
    상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들에 대해 에지정보를 추출하는 단계; 및
    상기 추출된 영상 에지정보들의 시간에 따른 변화를 이용하여 상기 동영상의 스코어보드영역을 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  16. 제14항에 있어서, 상기 스코어영역을 검출하는 단계는
    상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들에 대해, 상기 검출된 스코어보드영역의 영상 데이터를 추출하는 단계; 및
    상기 추출된 영상데이터들의 변화를 이용하여 상기 동영상의 스코어영역을 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  17. 제16항에 있어서, 상기 스코어영역을 검출하는 단계는
    상기 추출된 영상 데이터들을 비교하여, 상기 영상 데이터가 변화하는 영역을 검출하는 단계; 및
    상기 검출된 변화 영역 중 상기 변화의 주기가 일정하지 않은 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  18. 제16항에 있어서, 상기 스코어영역을 검출하는 단계는
    상기 추출된 영상 데이터들을 비교하여, 상기 영상 데이터가 변화하는 영역을 검출하는 단계;
    상기 소정의 시간 구간의 영상들 각각에 대해, 상기 영상 중 상기 검출된 변화 영역의 데이터를 이용하여 상기 변화 영역에 표시되는 숫자를 인식하는 단계; 및
    상기 검출된 변화 영역 중 상기 인식된 숫자가 시간에 따라 증가하는 값을 가지는 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 동영상 요약 방법.
  19. 스포츠 동영상을 요약하는 장치에 있어서,
    상기 스포츠 동영상을 입력으로 받아, 상기 동영상의 샷(shot)별로 경기의 스코어를 나타내는 영역으로부터 스코어(score)정보를 검출하는 스코어검출부;
    상기 스코어 정보의 변화에 따라 상기 각 샷들의 중요도를 계산하여 출력하는 중요도계산부; 및
    상기 계산된 샷별 중요도를 기초로 하여 상기 스포츠 동영상 중 중요 샷들을 선택하고, 상기 선택된 중요 샷들을 이용하여 동영상을 요약하는 요약부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  20. 제19항에 있어서, 상기 스코어검출부는
    상기 스포츠 동영상을 동일 장면 구간으로 분할하여 상기 샷 분할 정보를 출력하는 샷분할부; 및
    상기 샷 분할 정보를 입력으로 받아, 상기 스포츠 동영상 중 각 샷에 속하는 영상들의 스코어 정보를 검출하여 샷별 스코어 정보를 출력하는 샷별스코어검출부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  21. 제20항에 있어서, 상기 샷별 스코어 정보는
    상기 각 샷에 속하는 영상들 중 일부 영상들의 스코어 정보인 것을 특징으로 하는 동영상 요약 장치.
  22. 제20항에 있어서, 상기 샷별스코어검출부는
    상기 샷 분할 정보를 입력으로 받아, 상기 스포츠 동영상 중 각 샷에 속하는 영상들의 스코어 영역의 데이터를 추출하는 스코어데이터추출부; 및
    상기 추출된 스코어영역의 데이터를 이용하여 상기 영상들의 스코어 정보를 인식하는 스코어인식부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  23. 제22항에 있어서, 상기 스코어인식부는
    인공 신경망을 이용하여, 상기 추출된 스코어영역의 데이터로부터 상기 영상에 표시된 스코어를 인식하는 것을 특징으로 하는 동영상 요약 장치.
  24. 제19항에 있어서, 상기 중요도계산부는
    스코어 정보의 변화에 따라 각각 설정된 이벤트를 이용하여 상기 검출된 샷별 스코어 정보가 변화되면 상기 각 샷에서 해당 이벤트를 검출하는 이벤트검출부; 및
    각 검출된 이벤트에 해당하는 중요도를 이용하여 상기 각 샷의 중요도를 계산하는 계산부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  25. 제24항에 있어서, 상기 계산부는
    상기 검출된 이벤트에 설정된 가중치를 이용하여 상기 각 샷의 중요도를 계산하는 것을 특징으로 하는 동영상 요약 장치.
  26. 제25항에 있어서, 상기 가중치는
    사용자에 의해 각 이벤트 별로 설정될 수 있는 것을 특징으로 하는 동영상 요약 장치.
  27. 제19항에 있어서, 상기 중요 샷들은
    상기 중요 샷들의 재생 시간의 합이 사용자로부터 입력받은 요약 시간 이하가 되도록 선택되는 것을 특징으로 하는 동영상 요약 장치.
  28. 제19항에 있어서,
    상기 스포츠 동영상을 입력으로 받아, 상기 영상 중 스코어에 관한 정보를 가지는 스코어영역을 검출하는 영역검출부를 더 포함하는 것을 특징으로 하는 동영상 요약 장치.
  29. 제28항에 있어서, 상기 영역검출부는
    상기 스포츠 동영상의 영상들로부터 스코어보드영역을 검출하여, 상기 스코어보드영역에 대한 정보를 출력하는 스코어보드영역검출부; 및
    상기 스코어보드영역 정보를 입력으로 받아, 상기 영상들의 스코어보드영역 중 스코어에 관한 정보를 가지는 스코어영역을 검출하는 스코어영역검출부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  30. 제29항에 있어서, 상기 스코어보드영역검출부는
    상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들에 대해 에지정 보를 추출하여 출력하는 에지추출부; 및
    상기 추출된 영상들의 에지정보를 입력으로 받아, 상기 에지정보의 시간에 따른 변화를 이용하여 상기 동영상의 스코어보드영역을 검출하는 에지변화검출부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  31. 제29항에 있어서, 상기 스코어영역검출부는
    상기 검출된 스코어보드영역 정보를 입력으로 받아, 상기 스포츠 동영상의 영상들 중 소정의 시간 구간의 영상들의 상기 스코어보드영역 영상 데이터를 추출하는 스코어보드데이터추출부; 및
    상기 추출된 스코어보드영역 데이터들을 입력으로 받아, 상기 데이터들의 변화를 이용하여 상기 동영상의 스코어영역을 검출하는 변화검출부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  32. 제31항에 있어서, 상기 변화검출부는
    상기 추출된 스코어보드영역 데이터들을 비교하여 상기 소정의 시간 동안 데이터가 변화하는 영역을 검출하는 변화영역검출부; 및
    상기 검출된 변화 영역 중 상기 변화의 주기가 일정하지 않은 영역을 검출하는 비주기영역검출부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  33. 제31항에 있어서, 상기 변화검출부는
    상기 추출된 스코어보드영역 데이터들을 비교하여 상기 소정의 시간 동안 데이터가 변화하는 영역을 검출하는 변화영역검출부; 및
    상기 검출된 변화 영역의 데이터를 이용하여 상기 변화 영역에 표시된 숫자를 인식하는 숫자인식부; 및
    상기 검출된 변화 영역 중 상기 인식된 숫자가 시간에 따라 증가하는 값을 가지는 영역을 검출하는 증가영역검출부를 포함하는 것을 특징으로 하는 동영상 요약 장치.
  34. 제1항 내지 제18항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040079248A 2004-10-05 2004-10-05 스포츠 동영상의 요약 방법 및 장치 KR100612862B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040079248A KR100612862B1 (ko) 2004-10-05 2004-10-05 스포츠 동영상의 요약 방법 및 장치
US11/236,637 US20060075454A1 (en) 2004-10-05 2005-09-28 Method and apparatus for summarizing moving picture of sports game

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040079248A KR100612862B1 (ko) 2004-10-05 2004-10-05 스포츠 동영상의 요약 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060030404A KR20060030404A (ko) 2006-04-10
KR100612862B1 true KR100612862B1 (ko) 2006-08-14

Family

ID=36127201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040079248A KR100612862B1 (ko) 2004-10-05 2004-10-05 스포츠 동영상의 요약 방법 및 장치

Country Status (2)

Country Link
US (1) US20060075454A1 (ko)
KR (1) KR100612862B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100796392B1 (ko) * 2006-06-15 2008-01-22 삼성전자주식회사 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치
US8611723B2 (en) * 2006-09-06 2013-12-17 James Andrew Aman System for relating scoreboard information with event video
CN101517650A (zh) * 2006-09-27 2009-08-26 皇家飞利浦电子股份有限公司 创建概要的方法
JP2010509830A (ja) * 2006-11-14 2010-03-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオデータストリームの要約を生成するための方法及び装置
TWI332640B (en) * 2006-12-01 2010-11-01 Cyberlink Corp Method capable of detecting a scoreboard in a program and related system
US7983442B2 (en) * 2007-08-29 2011-07-19 Cyberlink Corp. Method and apparatus for determining highlight segments of sport video
US8437620B2 (en) * 2010-03-05 2013-05-07 Intel Corporation System, method, and computer program product for custom stream generation
US10091552B2 (en) * 2012-09-19 2018-10-02 Rovi Guides, Inc. Methods and systems for selecting optimized viewing portions
US10356456B2 (en) * 2015-11-05 2019-07-16 Adobe Inc. Generating customized video previews
US10321196B2 (en) * 2015-12-09 2019-06-11 Rovi Guides, Inc. Methods and systems for customizing a media asset with feedback on customization
CN110717071B (zh) * 2018-06-26 2022-10-21 北京深蓝长盛科技有限公司 图像剪辑方法、装置、计算机设备和存储介质
CN109376903B (zh) * 2018-09-10 2021-12-17 浙江工业大学 一种基于博弈神经网络的pm2.5浓度值预测方法
US11087161B2 (en) 2019-01-25 2021-08-10 Gracenote, Inc. Methods and systems for determining accuracy of sport-related information extracted from digital video frames
US11805283B2 (en) 2019-01-25 2023-10-31 Gracenote, Inc. Methods and systems for extracting sport-related information from digital video frames
US11036995B2 (en) * 2019-01-25 2021-06-15 Gracenote, Inc. Methods and systems for scoreboard region detection
US11010627B2 (en) 2019-01-25 2021-05-18 Gracenote, Inc. Methods and systems for scoreboard text region detection
US10997424B2 (en) 2019-01-25 2021-05-04 Gracenote, Inc. Methods and systems for sport data extraction
US10902600B2 (en) * 2019-02-04 2021-01-26 International Business Machines Corporation Segmentation-based invasion sports analysis and control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020066561A (ko) * 2001-02-12 2002-08-19 한국전자통신연구원 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
KR20020078449A (ko) * 2001-04-09 2002-10-18 (주)버추얼미디어 축구 비디오 자동 분석 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8214741B2 (en) * 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020066561A (ko) * 2001-02-12 2002-08-19 한국전자통신연구원 비쥬얼 특징 기반의 스포츠 비디오 요약 생성방법
KR20020078449A (ko) * 2001-04-09 2002-10-18 (주)버추얼미디어 축구 비디오 자동 분석 장치 및 방법

Also Published As

Publication number Publication date
KR20060030404A (ko) 2006-04-10
US20060075454A1 (en) 2006-04-06

Similar Documents

Publication Publication Date Title
KR100612862B1 (ko) 스포츠 동영상의 요약 방법 및 장치
JP2006148932A (ja) スポーツ動映像の要約方法及び装置
JP4424590B2 (ja) スポーツ映像の分類装置
JP6673221B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20080269924A1 (en) Method of summarizing sports video and apparatus thereof
US20080044085A1 (en) Method and apparatus for playing back video, and computer program product
JP4577774B2 (ja) スポーツ映像の分類装置およびログ生成装置
US7519264B2 (en) Broadcast program contents menu creation apparatus and method
JP2008176538A (ja) 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法
JP5370170B2 (ja) 要約映像生成装置および要約映像生成方法
JP2002232840A (ja) 動画要約方法
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
US20100054705A1 (en) Content data processing device, content data processing method, program, and recording/ playing device
US20080298767A1 (en) Method, medium and apparatus summarizing moving pictures of sports games
JP6354229B2 (ja) 抽出プログラム、方法、及び装置
CN102236900A (zh) 信息处理设备、信息处理方法和程序
JP2008283486A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20090079262A (ko) 비디오 데이터 스트림의 서머리를 생성하는 방법 및 장치
JP2015177469A (ja) 抽出プログラム、方法、及び装置
JP4398994B2 (ja) 映像処理装置及び方法
JP4546762B2 (ja) 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム
US10200764B2 (en) Determination method and device
JP2011523291A (ja) オーディオ／ビジュアルデータストリームのサマリを生成するための方法及び装置
JP2011234018A (ja) 情報処理装置および方法、並びにプログラム
JP2010081531A (ja) 映像処理装置及びその方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee