KR100796392B1 - 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치 - Google Patents

스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치 Download PDF

Info

Publication number
KR100796392B1
KR100796392B1 KR1020060053878A KR20060053878A KR100796392B1 KR 100796392 B1 KR100796392 B1 KR 100796392B1 KR 1020060053878 A KR1020060053878 A KR 1020060053878A KR 20060053878 A KR20060053878 A KR 20060053878A KR 100796392 B1 KR100796392 B1 KR 100796392B1
Authority
KR
South Korea
Prior art keywords
navigation
scene
navigation information
game
detecting
Prior art date
Application number
KR1020060053878A
Other languages
English (en)
Other versions
KR20070119347A (ko
Inventor
정진국
정철곤
김지연
문영수
김상균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060053878A priority Critical patent/KR100796392B1/ko
Priority to US11/641,024 priority patent/US20070291986A1/en
Publication of KR20070119347A publication Critical patent/KR20070119347A/ko
Application granted granted Critical
Publication of KR100796392B1 publication Critical patent/KR100796392B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 스포츠 동영상으로부터 비디오 데이터를 분석하여 네비게이션 후보 지점을 검출하는 단계 및 상기 네비게이션 후보 지점으로부터 자막을 분석하고, 자막 분석 결과에 따라 네비게이션 구간을 확정하여 네비게이션 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 네비게이션 정보 생성 방법을 제공한다.
스포츠, 네비게이션, 생성

Description

스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그 장치{Method For Generating Navigation Information Of Sport Moving Picture And Apparatus Thereof}
도 1은 본 발명의 일실시예에 따른 스포츠 동영상에서의 네비게이션 정보 생성 방법의 흐름을 나타내는 도면이다.
도 2는 경기 장면의 일례를 나타내는 도면이다.
도 3은 경기 시작 지점 검출 과정의 흐름을 나타내는 도면이다.
도 4는 온라인 모델 학습 과정의 흐름을 나타내는 도면이다.
도 5는 클로즈업 장면 검출 과정의 흐름을 나타내는 도면이다.
도 6은 공간 윈도우를 이동시키는 일례를 나타내는 도면이다.
도 7은 야구에서의 네비게이션 후보 지점의 일례를 나타내는 도면이다.
도 8은 네비게이션 후보 지점 검출 과정의 흐름을 나타내는 도면이다.
도 9는 중요 자막을 검출하기 위한 입력 프레임의 일례를 나타내는 도면이다.
도 10은 중요 자막 인식 과정의 흐름을 나타내는 도면이다.
도 11은 본 발명의 다른 실시예에 따른 스포츠 동영상에서의 네비게이션 정보 생성 장치의 구성을 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
1100: 네비게이션 정보 생성 장치
1110: 경기 장면 검출부
1120: 네비게이션 후보 지점 검출부
1130: 자막 인식부
1140: 네비게이션 정보 생성부
본 발명은 스포츠 동영상에서의 네비게이션 정보를 생성하는 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 스포츠 동영상에서 네비게이션 후보 지점을 검출하고 검출된 네비게이션 후보 지점에서 자막을 인식하여 보다 신속하게 스포츠 동영상에서의 네비게이션 정보를 생성하는 방법 및 그 장치에 관한 것이다.
최근 동영상 재생 장치는 고속 네비게이션 정보를 생성하여 사용자가 원하는 동영상을 쉽게 검색할 수 있도록 하는 추세로 발달되고 있다.
또한 휴대용 VOD 서비스를 제공하는 장치는 네트워크상에서 네비게이션 맵을 생성하여 모든 스트림을 보지 않고 원하는 부분만을 효율적으로 서비스할 수 있는 추세로 발달되고 있다.
게다가 스포츠 동영상 중 야구에서의 초/말, 테니스에서의 서브 게임, 배구에서의 세트 등과 같이 사용자에게 친숙한 형태의 시간 단위 기반 네비게이션 맵 생성이 요청되어 오고 있는 추세이다.
종래 동영상에서 저수준 정보를 이용하여 네비게이션하는 방법의 일례로 미국 등록특허 US5,708,766호(Method and apparatus for video browsing based on content and structure)로서 색 히스토그램, 에지 정보 등을 이용하여 장면(scene) 변화를 검지하고, 장면 평균 색 히스토그램을 이용하여 유사한 장면들을 클러스터링하고, 유사 장면 집합 중에서 중간 프레임을 선정하여 대표 프레임을 추출한다.
또한, 종래 동영상에서 저수준 정보를 이용하는 네비게이션하는 방법의 다른 일례로 미국등록특허 US5,664,227호(System and method for skimming digital audio/video data)는 샷 변화를 검지한 후 각 샷의 대표 프레임을 선정하여 사용자가 원하는 곳의 대표 프레임을 선택하여 해당 샷부터 볼 수 있도록 하고, 선택된 대표 프레임과 비슷한 속성을 가지는 다른 대표 프레임을 찾아내고, 비슷한 대표 프레임 집합을 사용자에게 보여준다.
이와 같이, 종래 동영상에서 색, 움직임 등과 같은 저수준 정보를 이용하여 네비게이션하는 방법은 사용자에게 친숙한 형태의 네비게이션 정보를 생성하기 어려운 문제점이 있다.
한편, 종래 동영상에서 고수준 정보를 이용하여 네비게이션하는 방법의 일례로 미국공개특허 US2002/0126143호(Article-based news video content summarizing method and browsing system)는 뉴스를 기사 단위로 네비게이션할 수 있도록 하고, 기사 내에서 텍스트를 추출한 후 추출된 텍스트를 이용하여 각 기사의 대용(synthetic) 키 프레임을 생성한다.
또한, 종래 동영상에서 고수준 정보를 이용하여 네비게이션하는 방법의 다른 일례로 한국공개특허 2001-0028735호(멀티미디어 스트림의 세그먼트간 요약/상세 설명 관계 정보 구성 방법과 세그먼트간 요약/상세 설명 관계 정보를 이용한 비디오 브라우징 방법)는 스트림 간에 존재하는 세그먼트 또는 사건 구간, 장면(scene), 샷 등 간의 요약/상세 설명 관계를 정의하고, 요약/상세 설명 관계 정보를 이용하여 원하는 부분만을 상세하게 볼 수 있도록 하는 브라우징 기능을 제공한다.
이와 같이, 종래 동영상에서 고수준 정보를 이용하여 네비게이션하는 방법은 뉴스에서의 기사 단위 네비게이션이 대부분이고, 스포츠에 관한 네비게이션은 거의 연구가 되지 않은 실정이다.
또한, 종래 동영상에서 고수준 정보를 이용하여 네비게이션하는 방법의 또 다른 일례로 Event Detection in Baseball Video Using Superimposed Caption Recognition ACM MM'02는 득점 장면 등의 이벤트 검출을 위하여 자막 검출/인식을 하고, 피칭 장면 검출/클로즈업 장면 검출을 이용하여 이벤트 경계를 검출하고, 이벤트 검출을 위해 시간 단위로(temporal) 샘플링된 프레임들을 사용한다.
이와 같이, 종래 동영상에서 고수준 정보를 이용하여 네비게이션하는 방법은 자막 검출/인식이 시간 복잡성(time complexity)이 높은 작업인데 이러한 작업을 모든 동영상에서 수행하는 경우 네비게이션 정보를 생성하는 속도가 느려지는 문제점이 있다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 스포츠 동영상에서 경기 장면을 검출하는 과정을 통해 후보 지점을 먼저 검출함으로써 자막 검출/인식이 수행되는 프레임 개수를 줄임으로 인해 검출 속도가 향상된 네비게이션 정보를 생성하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 스포츠 동영상에서 사용자에게 익숙한 시간 단위를 네비게이션 정보로 제공하여 사용자가 보다 쉽게 원하는 부분을 검색할 수 있는 네비게이션 정보 생성 방법 및 그 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 스포츠 동영상에서 경기 장면 검출과 자막 인식 과정을 효율적으로 처리함으로써 고속 인덱싱 및 네비게이션이 가능한 네비게이션 정보 생성 방법 및 그 장치를 제공하는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 스포츠 동영상으로부터 비디오 데이터를 분석하여 네비게이션 후보 지점을 검출하는 단계 및 상기 네비게이션 후보 지점으로부터 자막을 분석하고, 자막 분석 결과에 따라 네비게이션 구간을 확정하여 네비게이션 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 네비게이션 정보 생성 방법을 제공한다.
본 발명의 다른 일측에 따르는 스포츠 동영상에서의 네비게이션 정보 생성 장치는, 스포츠 동영상의 비디오 데이터를 분석하여 경기 장면을 검출하는 경기 장면 검출부와, 상기 경기 장면을 분석하여 네비게이션 후보 지점을 검출하는 네비게 이션 후보 지점 검출부와, 상기 네비게이션 후보 지점을 분석하여 중요 자막을 인식하는 자막 인식부 및 상기 중요 자막에 따라 네비게이션 구간을 확정하여 네비게이션 정보를 생성하는 네비게이션 정보 생성부를 포함한다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그 장치를 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 스포츠 동영상에서의 네비게이션 정보 생성 방법의 흐름을 나타내는 도면이다.
도 1을 참조하면, 단계(S110)에서 네비게이션 정보 생성 장치는 스포츠 동영상에서 비디오 데이터를 분석하여 경기 장면(play scene)을 검출한다. 상기 경기 장면은 상기 스포츠 동영상이 일례로 야구, 테니스, 배구와 같은 경기 구조가 있는 형태에서 경기 시작 시점을 포함할 수 있다. 또한, 상기 경기 장면은 상기 스포츠 동영상이 다른 일례로 축구와 같이 계속 경기가 일어나는 경우 심판의 휘슬에 의해 경기가 중단되거나 전반전과 같이 한 시간 단위가 끝나서 경기가 중단되는 구간을 제외한 장면들을 포함할 수 있다.
도 2는 경기 장면의 일례를 나타내는 도면이다.
도 2를 참조하면, 참조부호(210)는 투수의 피칭 장면(pitching scene)으로서 야구에서의 경기 시작 지점을 나타낸다. 참조부호(220)는 클로즈업 장면(close up scene)이 아닌 경우로 예를 들면 롱 뷰 장면(long view scene)으로서 상기 축구에서의 경기 장면을 나타낸다. 참조부호(230)는 테니스 선수의 서브 장면(serve scene)으로 테니스에서의 경기 시작 지점을 나타낸다. 참조부호(240)는 배구 선수 의 서브 장면으로서 상기 배구에서의 경기 시작 지점을 나타낸다.
도 3은 경기 시작 지점 검출 과정의 흐름을 나타내는 도면이다.
도 3을 참조하면, 단계(S310)에서 상기 네비게이션 정보 생성 장치는 스포츠 동영상 스트림의 처리 시간이 임계값보다 큰지를 판단한다.
상기 처리 시간이 상기 임계값보다 크지 않은 경우, 단계(S320)에서 상기 네비게이션 정보 생성 장치는 상기 스포츠 동영상 스트림의 방송 데이터를 SVM(Support Vector Machine)에 의해 미리 모델링된 모델을 이용하여 상기 경기 시작 장면을 검출한다. 상기 네비게이션 정보 생성 장치는 상기 SVM 모델링을 위하여 에지(edge) 분포를 이용할 수 있다.
단계(S330)에서 상기 네비게이션 정보 생성 장치는 상기 SVM에 의해 상기 경기 시작 장면이 검출되는지를 판단한다.
상기 SVM에 의해 상기 경기 시작 장면이 검출된 경우, 단계(S340)에서 상기 네비게이션 정보 생성 장치는 상기 검출된 경기 시작 장면을 이용하여 온라인 모델을 학습한다.
도 4는 온라인 모델 학습 과정의 흐름을 나타내는 도면이다.
도 4를 참조하면, 단계(S410)에서 상기 네비게이션 정보 생성 장치는 상기 SVM에 의해 미리 모델링된 오프라인 모델에 의해 검출된 키 프레임을 이용하여 이전 클러스터들과의 차이값을 계산한다. 상기 네비게이션 정보 생성 장치는 상기 이전 클러스터들과의 차이값을 HSV 히스토그램의 유클리디안 거리를 이용하여 계산할 수 있다.
단계(S420)에서 상기 네비게이션 정보 생성 장치는 계산된 차이값이 임계값보다 작은 클러스터가 존재하는지를 판단한다. 즉, 단계(S420)에서 상기 네비게이션 정보 생성 장치는 상기 분석된 데이터에 대한 이전 클러스터들과의 차이값을 계산하여 할당할 클러스터가 존재하는지를 검사한다.
상기 차이값이 상기 임계값보다 작은 클러스터가 존재하지 않은 경우, 단계(S430)에서 상기 네비게이션 정보 생성 장치는 상기 분석된 데이터를 이용하여 새로운 클러스터를 생성한다. 즉, 상기 분석된 데이터가 이전에 분석된 데이터와 차이가 많이 나서 유사한 데이터가 없는 경우, 단계(S430)에서 상기 네비게이션 정보 생성 장치는 상기 분석된 데이터를 이용하여 새로운 클러스터를 생성한다.
상기 차이값이 상기 임계값보다 작은 클러스터가 존재하는 경우, 단계(S440)에서 상기 네비게이션 정보 생성 장치는 상기 차이값이 상기 임계값보다 작은 클러스터에 분석된 데이터를 추가적으로 할당한다.
단계(S450)에서 상기 네비게이션 정보 생성 장치는 상기 분석된 데이터가 할당된 클러스터 또는 상기 분석된 데이터에 의해 생성된 클러스터 내 데이터의 개수가 가장 큰 클러스터를 선택한다.
단계(S460)에서 상기 네비게이션 정보 생성 장치는 반복성 검사를 통해 선택된 클러스터가 실제 모델 클러스터인지를 판단한다. 상기 실제 모델이 어떤 모델인지에 따라 상기 선택된 클러스터가 상기 실제 모델 클러스터인지를 판단하는 조건이 달라진다. 즉, 상기 네비게이션 정보 생성 장치는 예를 들어 상기 실제 모델이 필드 색인 경우 상기 필드 색의 최대 범위를 이용할 수 있고, 상기 실제 모델이 피칭 장면인 경우 반복성을 이용하여 짧은 시간 내에 반복되는 프레임인지 검사할 수 있다.
상기 온라인 모델이 일례로 피칭 장면 키 프레임 모델인 경우, 상기 네비게이션 정보 생성 장치는 상기 선택된 클러스터에 포함된 데이터의 수가 임계값 이상이면, 상기 피칭 장면 키 프레임 온라인 모델 클러스터가 존재하는 것으로 판단할 수 있다.
상기 온라인 모델이 다른 일례로 그라운드 색 모델인 경우, 상기 네비게이션 정보 생성 장치는 처리한 스트림의 시간이 일정 임계값 이상이면, 상기 그라운드 색 온라인 모델 클러스터가 존재하는 것으로 판단할 수 있다.
상기 선택된 클러스터가 실제 모델 클러스터인 경우, 단계(S470)에서 상기 네비게이션 정보 생성 장치는 상기 선택된 클러스터 내에 존재하는 데이터를 이용하여 온라인 모델을 생성한다. 상기 온라인 모델은 에지 분포와 HSV 히스토그램으로 구성할 수 있다.
상기 네비게이션 정보 생성 장치는 일반적으로 클러스터 내에 존재하는 데이터들이 동종적(homogeneous)이기 때문에 이러한 데이터들에서 추출된 특징(feature)의 대표값 또는 평균, 중앙값(Median) 등을 모델로 이용하여 상기 온라인 모델을 생성할 수 있다.
상기 온라인 모델이 일례로 피칭 장면 키 프레임 모델인 경우, 상기 네비게이션 정보 생성 장치는 클러스터링에 사용된 에지(edge)의 분포와 HSV 히스토그램의 평균값을 이용하여 상기 온라인 모델을 생성할 수 있다.
상기 온라인 모델이 다른 일례로 그라운드 색 모델인 경우, 상기 네비게이션 정보 생성 장치는 모델 클러스터 내 HSV의 평균값을 이용하여 상기 온라인 모델을 생성할 수 있다.
이와 같이, 본 발명에 따른 네비게이션 정보 생성 방법은 스포츠 동영상 중 경기 시작 지점을 검출하기 위해 데이터를 분석하여 보다 적합한 온라인 모델을 생성할 수 있다.
또한, 본 발명에 따른 네비게이션 정보 생성 방법은 상기 온라인 모델 학습 과정을 통해 하나의 데이터가 들어오는 경우에 바로 클러스터링(clustering)을 수행하여 상기 클러스터링의 수행 시간을 단축시킬 수 있다.
단계(S350)에서 상기 네비게이션 정보 생성 장치는 상기 온라인 모델 학습이 이루어진 현재 스포츠 동영상 스트림이 상기 스포츠 동영상 스트림의 끝인지 여부를 판단한다.
상기 온라인 모델 학습이 이루어진 현재 스포츠 동영상 스트림이 상기 스포츠 동영상 스트림의 끝이 아닌 경우, 상기 네비게이션 정보 생성 장치는 단계(S310)부터의 동작을 다시 수행한다.
한편, 상기 스포츠 동영상 스트림의 처리 시간이 임계값보다 큰 경우, 단계(S360)에서 상기 네비게이션 정보 생성 장치는 상기 스포츠 동영상 스트림의 방송 데이터와 온라인 모델과의 차이를 비교하여 경기 시작 장면을 검출한다. 상기 네비게이션 정보 생성 장치는 상기 온라인 모델과의 차이를 상기 에지 분포와 HSV 히스토그램의 가중 유클리디안 거리(Weighted Euclidean Distance)를 이용하여 계산 할 수 있다.
상기 스포츠 동영상이 일례로 야구인 경우, 단계(S360)에서 상기 네비게이션 정보 생성 장치는 상기 스포츠 동영상 스트림의 방송 데이터와 상기 온라인 모델인 도 2에 도시된 참조부호(210)의 피칭 장면을 비교하여 상기 경기 시작 장면을 검출할 수 있다.
상기 스포츠 동영상이 다른 일례로 테니스 또는 배구인 경우, 단계(S360)에서 상기 네비게이션 정보 생성 장치는 상기 스포츠 동영상 스트림의 방송 데이터와 상기 온라인 모델인 도 2에 도시된 참조부호(230, 240)의 서브 장면을 비교하여 상기 경기 시작 장면을 검출할 수 있다.
단계(S370)에서 상기 네비게이션 정보 생성 장치는 상기 경기 시작 장면이 검출된 경우 상기 검출된 경기 시작 장면의 특징(feature) 평균값을 계산하여 상기 온라인 모델을 업데이트한다.
단계(S380)에서 상기 네비게이션 정보 생성 장치는 현재 스포츠 동영상 스트림이 상기 스포츠 동영상 스트림의 끝인지를 판단한다.
상기 스포츠 동영상 스트림의 끝이 아닌 경우, 상기 네비게이션 정보 생성 장치는 상기 온라인 모델에 대한 업데이트 동작이 상기 스포츠 동영상 스트림의 끝까지 수행된 것이 아니므로 단계(S360)부터의 동작을 다시 수행한다.
단계(S350) 또는 단계(S380)에서 상기 현재 스포츠 동영상의 스트림이 상기 스포츠 동영상 스트림의 끝인 경우, 상기 네비게이션 정보 생성 장치는 상기 경기 시작 지점 검출 동작을 종료한다.
이와 같이, 본 발명에 따른 네비게이션 정보 생성 방법은 SVM에 의해 미리 모델링된 모델을 이용하여 처음에 경기 장면을 검출하다가 각 스트림의 특성이 반영된 온라인 모델이 생성된 후에 상기 온라인 모델을 이용하여 상기 경기 장면을 검출할 수 있다.
도 5는 클로즈업 장면 검출 과정의 흐름을 나타내는 도면이다.
도 5를 참조하면, 단계(S510)에서 상기 네비게이션 정보 생성 장치는 스포츠 동영상 장면으로부터 주요한 색(dominant color)을 추출한다.
단계(S520)에서 상기 네비게이션 정보 생성 장치는 추출된 주요한 색의 비율이 임계값보다 높은 색을 추출하여 필드 색 후보로 정의한다.
단계(S530)에서 상기 네비게이션 정보 생성 장치는 상기 필드 색 후보와 미리 모델링된 필드 색을 비교하여 차이값을 계산한다.
단계(S540)에서 상기 네비게이션 정보 생성 장치는 상기 차이값이 제1 임계값보다 작은지를 판단한다.
상기 차이값이 상기 제1 임계값보다 작지 않은 경우, 단계(S550)에서 상기 네비게이션 정보 생성 장치는 상기 스포츠 동영상 장면을 클로즈업 장면으로 검출한다. 일반적인 경기 장면인 경우 필드 색이 상기 스포츠 동영상 장면의 주요한 색이지만 상기 클로즈업 장면인 경우 선수의 유니폼 색과 같이 상기 필드 색 이외의 다른 색이 상기 스포츠 동영상 장면의 주요한 색이 된다. 따라서, 상기 필드 색 후보와 미리 모델링된 필드 색의 차이값이 상기 제1 임계값이 큰 경우, 상기 네비게이션 정보 생성 장치는 상기 스포츠 동영상 장면의 주요한 색이 상기 필드 색 이 아니므로 상기 스포츠 동영상 장면을 클로즈업 장면으로 검출할 수 있다.
상기 차이값이 상기 임계값보다 작은 경우, 단계(S560)에서 상기 네비게이션 정보 생성 장치는 상기 필드 색 후보를 상기 필드 색으로 정의한다.
단계(S570)에서 상기 네비게이션 정보 생성 장치는 도 6에 도시된 것과 같은 스포츠 동영상(600)의 공간 윈도우(610) 내 상기 필드 색의 비율을 계산한다.
단계(S580)에서 상기 네비게이션 정보 생성 장치는 계산된 필드 색의 비율이 제2 임계값보다 작은지 여부를 판단한다.
상기 계산된 필드 색의 비율이 상기 제2 임계값보다 작은 경우, 상기 네비게이션 정보 생성 장치는 단계(S550)와 같이 상기 스포츠 동영상 장면을 상기 클로즈업 장면으로 검출한다.
상기 계산된 필드 색의 비율이 상기 제2 임계값보다 작지 않은 경우, 단계(S590)에서 상기 네비게이션 정보 생성 장치는 도 6에 도시된 것과 같이 스포츠 동영상(600)의 공간 윈도우(610)를 이동시킨다. 공간 윈도우(610)를 이동시킨 후 상기 네비게이션 정보 생성 장치는 단계(S570)부터의 동작을 다시 수행한다.
이와 같이, 본 발명에 따른 네비게이션 정보 생성 방법은 스포츠 동영상이 축구인 경우, 클로즈업 장면을 검출함으로써 검출된 클로즈업 장면을 제외한 나머지 장면을 경기 장면으로 검출할 수 있다.
단계(S120)에서 상기 네비게이션 정보 생성 장치는 검출된 경기 장면을 분석하여 네비게이션 후보 지점을 검출한다.
도 7은 야구에서의 네비게이션 후보 지점의 일례를 나타내는 도면이다.
도 7을 참조하면, 참조부호(710)은 6회초인 경우를 나타내고, 참조부호(720)는 6회말인 경우를 나타내고, 참조부호(730)는 7회초인 경우를 나타내고, 참조부호(740)는 투수 교체인 경우를 나타내고, 참조부호(750)는 7회말인 경우를 나타낸다. 상기 야구에서의 네비게이션 후보 지점은 초/말 또는 투수 교체 장면일 수 있다.
도 8은 본 발명에 따른 네비게이션 후보 지점 검출 과정의 흐름을 나타내는 도면이다.
도 8을 참조하면, 단계(S810)에서 상기 네비게이션 정보 생성 장치는 현재 경기 장면과 이전 경기 장면의 차이를 비교한다.
단계(S820)에서 상기 네비게이션 정보 생성 장치는 상기 차이가 임계값보다 큰지를 판단한다.
상기 차이가 임계값보다 큰 경우, 단계(S830)에서 상기 네비게이션 정보 생성 장치는 상기 현재 경기 장면을 네비게이션 후보 지점으로 결정한다.
이와 같이, 본 발명에 따른 네비게이션 정보 생성 방법은 경기 시작 지점 사이에서의 간격을 이용하여 상기 네비게이션 후보 지점을 검출할 수 있다. 스포츠 동영상에서 경기 시작 지점 사이의 간격이 넓으면 상대적으로 경기 중단 시간이 길다는 것을 의미한다. 상기 경기 중단 시간이 긴 경우는 본 발명에서 타겟으로 삼고 있는 시간 단위(예를 들어 야구인 경우 초/말, 테니스인 경우 서브 게임, 배구인 경우 세트) 이외에도 투수 교체, 선수 부상, 작전 타임 등을 포함할 수 있다.
단계(S130)에서 상기 네비게이션 정보 생성 장치는 검출된 네비게이션 후보 지점에서 자막을 검출하고, 검출된 자막 중 중요 자막을 인식한다. 상기 중요 자 막은 스포츠 경기에서 예를 들어 야구에서의 초/말, 테니스에서의 서브 게임, 배구에서의 세트 등과 같은 각 시간 단위를 표현하는 자막을 말한다. 즉, 상기 네비게이션 정보 생성 장치는 스포츠 동영상 스트림에서 상기 자막이 상기 중요 자막만이 존재하는 것이 아니라 광고 자막 등과 같은 다른 자막도 존재하기 때문에 상기 검출된 자막 중 상기 시간 단위를 표현하는 상기 중요 자막을 인식한다.
도 9는 중요 자막을 검출하기 위한 입력 프레임의 일례를 나타내는 도면이다.
도 9를 참조하면, 참조부호(900)는 스포츠 비디오 스트림을 나타내고, 참조부호(910)는 시간 윈도우(time window)를 나타낸다. 상기 네비게이션 정보 생성 장치는 스포츠 비디오 스트림(900)에서 상기 네비게이션 후보 지점을 기점으로 시간 윈도우(910)상에 존재하는 경기 시작 지점만을 입력 프레임으로 선택한다.
도 10은 중요 자막 인식 과정의 흐름을 나타내는 도면이다.
도 10을 참조하면, 단계(S1010)에서 상기 네비게이션 정보 생성 장치는 상기 네비게이션 후보 지점을 기점으로 시간 윈도우상에 존재하는 경기 시작 지점을 입력 프레임으로 선택한다.
이와 같이, 본 발명에 따른 네비게이션 정보 생성 방법은 전체 스포츠 동영상 스트림에서 자막 영역을 검출하게 되면 계산 복잡도가 너무 크기 때문에 검출된 경기 시작 지점 및 네비게이션 후보 지점을 검출한 후 상기 네비게이션 후보 지점을 기점으로 시간 윈도우 상에 존재하는 상기 경기 시작 지점만을 입력 프레임으로 선택함으로써 입력 프레임의 수를 제한함으로써 검출 속도를 향상시킬 수 있다.
단계(S1020)에서 상기 네비게이션 정보 생성 장치는 선택된 입력 프레임으로부터 자막 영역을 검출한다.
단계(S1030)에서 상기 네비게이션 정보 생성 장치는 상기 자막 영역의 위치 또는 칼라 패턴의 반복성을 체크하여 중요 자막일 가능성이 큰 중요 자막 후보를 검출한다.
단계(S1040)에서 상기 네비게이션 정보 생성 장치는 상기 중요 자막 후보 중 중요 자막 영역을 결정한다. 상기 중요 자막 영역은 예를 들어 야구인 경우, 문자 영역에 이닝 정보, 스트라이크 카운트, 볼 카운트 및 아웃 카운트 정보를 포함한다.
단계(S1050)에서 상기 네비게이션 정보 생성 장치는 결정된 중요 자막 영역내 문자 영역의 변화율 및 패턴을 검사하여 중요 자막을 인식한다. 상기 네비게이션 정보 생성 장치는 예를 들어 상기 스포츠 동영상이 야구인 경우 경기가 진행됨에 따라 스트라이크 카운트, 볼 카운트 또는 아웃 카운트 정보가 변하지만 이닝 정보는 한 이닝이 끝나기 전까지 변하지 아니므로 상기 문자 영역의 변화율 및 패턴을 검사함으로써 상기 이닝 정보를 상기 중요 자막으로 인식할 수 있다. 상기 스트라이크 카운트, 상기 볼 카운트 및 상기 아웃 카운트 정보가 '0'인 경우, 이닝(초/말)의 시작으로 검출할 수 있다.
이와 같이, 본 발명에 따른 네비게이션 정보 생성 방법은 상기 네비게이션 후보 지점을 기점으로 시간 윈도우상에 존재하는 경기 시작 지점을 입력 프레임으로 선택하고, 선택된 입력 프레임으로부터 중요 자막을 검출/인식하여 현재 시간 단위 정보를 출력할 수 있다.
단계(S140)에서 상기 네비게이션 정보 생성 장치는 인식된 중요 자막에 따라 네비게이션 구간을 확정하여 네비게이션 정보를 생성한다. 즉, 단계(S140)에서 상기 네비게이션 정보 생성 장치는 상기 네비게이션 구간에서 상기 인식된 중요 자막에 의해 시간 단위가 바뀐 지점을 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성한다. 따라서, 본 발명에 따른 네비게이션 정보 생성 방법은 상기 인식된 중요 자막에 따라 상기 네비게이션 구간을 상기 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성함에 따라 사용자가 상기 네비게이션 정보를 이용하여 스포츠 동영상으로부터 자신이 원하는 부분을 손쉽게 검색할 수 있다.
스포츠 동영상이 일례로 야구인 경우, 단계(S140)에서 상기 네비게이션 정보 생성 장치는 초/말이 바뀐 지점을 이닝 정보와 아웃 카운트 정보로 파악하고, 상기 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성할 수 있다.
상기 스포츠 동영상이 다른 일례로 테니스인 경우, 단계(S140)에서 상기 네비게이션 정보 생성 장치는 서브 게임이 바뀐 지점을 점수가 리셋되는 것과 각 서브 게임의 인덱스 정보로 파악하고, 상기 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성할 수 있다.
상기 스포츠 동영상이 또 다른 일례로 배구인 경우, 단계(S140)에서 상기 네비게이션 정보 생성 장치는 세트 정보를 중요 자막 영역 내 점수 정보와 세트 인덱스 정보를 이용하여 파악하고, 상기 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성할 수 있다.
이와 같이, 본 발명에 따른 스포츠 동영상에서의 네비게이션 정보 생성 방법은 야구 경기에서의 초/말, 테니스에서의 서브 게임 또는 배구에서의 세트 등과 같이 사용자에게 익숙한 시단 단위 네비게이션 정보를 생성함으로써 사용자가 상기 네비게이션 정보를 이용하여 스포츠 동영상으로부터 보다 쉽게 원하는 부분을 찾아볼 수 있도록 한다.
도 11은 본 발명의 다른 실시예에 따른 스포츠 동영상에서의 네비게이션 정보 생성 장치의 구성을 나타내는 도면이다.
도 11을 참조하면, 네비게이션 정보 생성 장치(1100)는 경기 장면 검출부(1110), 네비게이션 후보 지점 검출부(1120), 자막 인식부(1130) 및 네비게이션 정보 생성부(1140)를 포함한다.
경기 장면 검출부(1110)는 스포츠 동영상의 비디오 데이터를 분석하여 경기 장면을 검출한다. 즉, 경기 장면 검출부(1110)는 상기 스포츠 동영상이 일례로 야구, 테니스 또는 배구와 같이 경기의 구조가 있는 형태인 경우 경기가 시작되는 시점을 상기 경기 장면으로 검출할 수 있다. 또한, 경기 장면 검출부(1110)는 상기 스포츠 동영상이 다른 일례로 축구와 같이 계속 경기가 일어나는 경우 심판의 휘슬에 의해 경기가 중단되거나 전반전과 같이 한 시간 단위로 끝나서 경기가 중단되는 구간을 제외한 장면들을 상기 경기 장면으로 검출할 수 있다.
네비게이션 후보 지점 검출부(1120)는 상기 경기 장면을 분석하여 네비게이션 후보 지점을 검출한다. 즉, 네비게이션 후보 지점 검출부(1120)는 검출된 경기 장면을 분석하여 상기 경기 시작 지점 사이의 간격을 이용하여 상기 네비게이션 후보 지점을 검출한다. 상기 네비게이션 후보 지점은 야구에서의 초/말, 테니스에서의 서브 게임, 배구에서의 세트 등과 같은 시간 단위 이외에도 투수 교체, 선수 부상, 작전 타임 등의 경기 장면을 포함할 수 있다. 따라서, 네비게이션 후보 지점 검출부(1120)는 상기 경기 장면을 분석하여 현재 경기 장면과 이전 장면과의 차이 를 비교하고, 비교 결과 그 차이가 임계값보다 큰 경우, 상기 현재 경기 장면을 상기 네비게이션 후보 지점으로 검출한다.
자막 인식부(1130)는 상기 네비게이션 후보 지점을 분석하여 중요 자막을 인식한다. 즉, 자막 인식부(1130)는 상기 네비게이션 후보 지점을 기점으로 시간 윈도우상에 존재하는 경기 시작 지점만을 입력 프레임으로 선택하고, 선택된 입력 프레임으로부터 자막 영역을 검출하고, 검출된 자막 영역의 위치 또는 색상 패턴의 반복성을 체크하여 상기 중요 자막 후보 영역을 결정하며, 결정된 중요 자막 후보 영역 내 문자 영역의 변화율 및 패턴을 검사하여 상기 중요 자막을 인식한다.
네비게이션 정보 생성부(1140)는 인식된 중요 자막에 따라 네비게이션 구간을 확정하여 네비게이션 정보를 생성한다. 즉, 네비게이션 정보 생성부(1140)는 상기 네비게이션 후보 지점에서 인식된 상기 중요 자막의 시간 단위가 바뀐 지점을 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성한다.
따라서, 본 발명에 따른 네비게이션 정보 생성 장치(1100)는 경기 장면 검출 과정을 통해 네비게이션 후보 지점을 먼저 검출하고, 검출된 네비게이션 후보 지점에서 자막에 대한 검출/인식을 수행하므로 자막 검출 인식에 필요한 프레임 개수를 줄임으로써 검출 속도를 향상시킬 수 있다.
또한, 본 발명에 따른 네비게이션 정보 생성 장치(1100)는 경기 장면 검출 및 자막 검출 인식 과정을 효율적으로 처리함으로써 여러 임베디드(Embedded) 기기에서 실시간 네비게이션 기능을 제공할 수 있다.
또한, 본 발명에 따른 네비게이션 정보 생성 장치(1100)는 야구에서의 초/말, 테니스에서의 서브 게임, 배구에서의 세트 등과 같이 사용자에게 익숙한 시간 단위 네비게이션 정보를 생성함으로써 사용자가 네비게이션 정보를 이용하여 보다 쉽게 원하는 부분을 찾을 수 있도록 한다.
한편, 본 발명에 따른 스포츠 동영상에서의 네비게이션 정보 생성 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 스포츠 동영상에서 경기 장면을 검출하는 과정을 통해 후보 지점을 먼저 검출함으로써 자막을 검출/인식이 수행되는 프레임 개수를 줄임으로 인해 검출 속도가 향상된 네비게이션 정보를 생성하는 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 스포츠 동영상에서 사용자에게 익숙한 시간 단위를 네비게이션 정보를 생성하여 사용자에게 제공함으로써 사용자가 네비게이션 정보를 이용하여 보다 쉽게 원하는 부분을 검색할 수 있는 네비게이션 정보 생성 방법 및 그 장치를 제공할 수 있다.
또한 본 발명에 따르면, 스포츠 동영상에서 경기 장면 검출과 자막 인식 과정을 효율적으로 처리함으로써 고속 인덱싱 및 네비게이션이 가능한 네비게이션 정보 생성 방법 및 그 장치를 제공할 수 있다.

Claims (14)

  1. 스포츠 동영상에서의 네비게이션 정보를 생성하는 방법에 있어서,
    상기 스포츠 동영상으로부터 비디오 데이터를 분석하여 경기 장면을 검출하는 단계;
    상기 검출된 경기 장면으로부터 네비게이션 후보 지점을 검출하는 단계;
    상기 네비게이션 후보 지점에서 자막을 검출하고, 검출된 자막 중 중요 자막을 인식하는 단계; 및
    인식된 중요 자막에 따라 네비게이션 구간을 확정하여 상기 네비게이션 정보를 생성하는 단계
    를 포함하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    검출된 경기 장면으로부터 네비게이션 후보 지점을 검출하는 상기 단계는,
    현재 경기 장면과 이전 경기 장면과의 차이를 비교하는 단계; 및
    비교한 차이가 임계값보다 큰 경우, 상기 현재 경기 장면을 상기 네비게이션 후보 지점으로 검출하는 단계
    를 포함하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  4. 제1항에 있어서,
    상기 스포츠 동영상으로부터 비디오 데이터를 분석하여 경기 장면을 검출하는 상기 단계는,
    상기 스포츠 동영상이 야구 경기인 경우, 상기 스포츠 동영상의 비디오 데이터와 온라인 모델인 피칭 장면을 비교하여 경기 시작 장면을 검출하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  5. 제1항에 있어서,
    상기 스포츠 동영상으로부터 비디오 데이터를 분석하여 경기 장면을 검출하는 상기 단계는,
    상기 스포츠 동영상이 테니스 또는 배구 경기인 경우, 상기 스포츠 동영상의 비디오 데이터와 온라인 모델인 테니스 또는 배구 경기의 서브 장면을 비교하여 경기 시작 장면을 검출하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  6. 제1항에 있어서,
    상기 스포츠 동영상으로부터 비디오 데이터를 분석하여 경기 장면을 검출하는 상기 단계는,
    상기 스포츠 동영상이 축구 경기인 경우, 상기 스포츠 동영상의 공간 윈도우 내 필드 색 비율이 임계값보다 작으면, 상기 스포츠 동영상을 클로즈업 장면으로 검출하고, 상기 클로즈업 장면을 제외한 다른 장면을 상기 경기 장면으로 검출하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 네비게이션 후보 지점에서 자막을 검출하고, 검출된 자막 중 중요 자막을 인식하는 상기 단계는,
    상기 네비게이션 후보 지점에서 경기 시작 지점만을 입력 프레임으로 선택하여 자막 영역을 검출하는 단계; 및
    검출된 자막 영역에서 중요 자막 후보를 검출하고, 상기 중요 자막 후보 내 문자 영역의 변화율 및 패턴을 검사하여 중요 자막을 인식하는 단계
    를 포함하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  9. 제1항에 있어서,
    인식된 중요 자막에 따라 네비게이션 구간을 확정하여 상기 네비게이션 정보를 생성하는 상기 단계는,
    상기 네비게이션 구간에서 상기 인식된 중요 자막에 의해 시간 단위가 바뀐 지점을 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성하는 것을 특징으로 하는 네비게이션 정보 생성 방법.
  10. 제1항, 제3항 내지 제6항, 제8항, 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
  11. 스포츠 동영상의 비디오 데이터를 분석하여 경기 장면을 검출하는 경기 장면 검출부;
    상기 검출된 경기 장면을 분석하여 네비게이션 후보 지점을 검출하는 네비게이션 후보 지점 검출부;
    상기 네비게이션 후보 지점을 분석하여 자막을 검출하고, 상기 검출된 자막 중 중요 자막을 인식하는 자막 인식부; 및
    상기 중요 자막에 따라 네비게이션 구간을 확정하여 네비게이션 정보를 생성하는 네비게이션 정보 생성부
    를 포함하는 것을 특징으로 하는 네비게이션 정보 생성 장치.
  12. 제11항에 있어서,
    상기 네비게이션 후보 지점 검출부는,
    상기 경기 장면을 분석하여 현재 경기 장면과 이전 장면과의 차이를 비교하고, 비교 결과 그 차이가 임계값보다 큰 경우, 상기 현재 경기 장면을 상기 네비게이션 후보 지점으로 검출하는 것을 특징으로 하는 네비게이션 정보 생성 장치.
  13. 제11항에 있어서,
    상기 자막 인식부는,
    상기 네비게이션 후보 지점을 기점으로 시간 윈도우상에 존재하는 경기 시작 지점만을 입력 프레임으로 선택하고, 선택된 입력 프레임으로부터 자막 영역을 검출하고, 검출된 자막 영역의 위치 또는 색상 패턴의 반복성을 체크하여 상기 중요 자막 후보 영역을 결정하며, 결정된 중요 자막 후보 영역 내 문자 영역의 변화율 및 패턴을 검사하여 상기 중요 자막을 인식하는 것을 특징으로 하는 네비게이션 정보 생성 장치.
  14. 제13항에 있어서,
    상기 네비게이션 정보 생성부는,
    상기 네비게이션 후보 지점에서 인식된 상기 중요 자막의 시간 단위가 바뀐 지점을 네비게이션 시작 지점으로 확정하여 상기 네비게이션 정보를 생성하는 것을 특징으로 하는 네비게이션 정보 생성 장치.
KR1020060053878A 2006-06-15 2006-06-15 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치 KR100796392B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060053878A KR100796392B1 (ko) 2006-06-15 2006-06-15 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치
US11/641,024 US20070291986A1 (en) 2006-06-15 2006-12-19 Method, medium, and system generating navigation information of input video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060053878A KR100796392B1 (ko) 2006-06-15 2006-06-15 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치

Publications (2)

Publication Number Publication Date
KR20070119347A KR20070119347A (ko) 2007-12-20
KR100796392B1 true KR100796392B1 (ko) 2008-01-22

Family

ID=38861599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060053878A KR100796392B1 (ko) 2006-06-15 2006-06-15 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치

Country Status (2)

Country Link
US (1) US20070291986A1 (ko)
KR (1) KR100796392B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395462B (zh) * 2021-08-17 2021-12-14 腾讯科技（深圳）有限公司 导航视频生成、采集方法、装置、服务器、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060030404A (ko) * 2004-10-05 2006-04-10 삼성전자주식회사 스포츠 동영상의 요약 방법 및 장치
KR20060056717A (ko) * 2004-11-22 2006-05-25 삼성전자주식회사 스포츠 동영상의 요약 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US5708767A (en) * 1995-02-03 1998-01-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
GB2363019B (en) * 2000-04-07 2004-02-25 Discreet Logic Inc Processing image data
KR100411340B1 (ko) * 2001-03-09 2003-12-18 엘지전자 주식회사 뉴스 비디오 콘텐트의 뉴스 기사 기반 요약 및 브라우징시스템
KR100794797B1 (ko) * 2002-10-14 2008-01-21 삼성전자주식회사 디지털 ａ/ｖ 데이터의 기록/재생 장치 및 그 제어방법
JP2006172583A (ja) * 2004-12-15 2006-06-29 Sony Corp 再生装置、および、再生方法、記録装置、記録媒体、プログラム格納媒体、並びに、プログラム
JP4707713B2 (ja) * 2005-08-11 2011-06-22 三菱電機株式会社 映像記録装置及びシーンチェンジ抽出方法
KR100785076B1 (ko) * 2006-06-15 2007-12-12 삼성전자주식회사 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060030404A (ko) * 2004-10-05 2006-04-10 삼성전자주식회사 스포츠 동영상의 요약 방법 및 장치
KR20060056717A (ko) * 2004-11-22 2006-05-25 삼성전자주식회사 스포츠 동영상의 요약 방법 및 장치

Also Published As

Publication number Publication date
US20070291986A1 (en) 2007-12-20
KR20070119347A (ko) 2007-12-20

Similar Documents

Publication Publication Date Title
Zhu et al. Event tactic analysis based on broadcast sports video
Merler et al. Automatic curation of sports highlights using multimodal excitement features
KR100785076B1 (ko) 스포츠 동영상에서의 실시간 이벤트 검출 방법 및 그 장치
Tjondronegoro et al. Knowledge-discounted event detection in sports video
US20060059120A1 (en) Identifying video highlights using audio-visual objects
CN105183849B (zh) 一种斯诺克比赛视频事件检测与语义标注方法
US20100005485A1 (en) Annotation of video footage and personalised video generation
Huang et al. Joint scene classification and segmentation based on hidden Markov model
KR20080105387A (ko) 스포츠 동영상 요약 방법 및 장치
RU2609071C2 (ru) Навигация по видеопоследовательности через местоположение объекта
US8300894B2 (en) Method for decomposition and rendering of video content and user interface for operating the method thereof
JP4200219B2 (ja) 画像認識装置及び画像認識プログラム
KR100796392B1 (ko) 스포츠 동영상에서의 네비게이션 정보 생성 방법 및 그장치
Wang et al. Offense based temporal segmentation for event detection in soccer video
Mei et al. Structure and event mining in sports video with efficient mosaic
KR100963744B1 (ko) 축구 동영상의 이벤트 학습 및 검출방법
Pandya et al. Frame based approach for automatic event boundary detection of soccer video using optical flow
WO2004013812A1 (ja) 画像認識装置及び画像認識プログラム
Abduraman et al. TV Program Structuring Techniques
Wilson et al. Event-based sports videos classification using HMM framework
Kim et al. A video summarization method for basketball game
Yang et al. A statistical framework for replay detection in soccer video
Bertini et al. Common visual cues for sports highlights modeling
JP2022040665A (ja) 映像処理装置、映像処理方法、及びモデル生成装置
Wang et al. Semantic and structural analysis of TV diving programs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141223

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee