JP7038090B2 - スポーツ競技のハイライト抽出方法および装置 - Google Patents
スポーツ競技のハイライト抽出方法および装置 Download PDFInfo
- Publication number
- JP7038090B2 JP7038090B2 JP2019147008A JP2019147008A JP7038090B2 JP 7038090 B2 JP7038090 B2 JP 7038090B2 JP 2019147008 A JP2019147008 A JP 2019147008A JP 2019147008 A JP2019147008 A JP 2019147008A JP 7038090 B2 JP7038090 B2 JP 7038090B2
- Authority
- JP
- Japan
- Prior art keywords
- highlight
- frame
- video
- telop
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims description 108
- 239000011295 pitch Substances 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 19
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims 1
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/22—Means responsive to presence or absence of recorded information signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
- H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Description
Claims (18)
- スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別するステップと、
前記動画に係る競技情報を前記動画にタギングするステップと、
前記キーワードに対応する少なくとも1つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも1つのフレームを決定するステップと、
前記決定された少なくとも1つのフレームを組み合わせてハイライト動画を生成するステップと、
場面転換を検出し及び一定の基準に応じてディープラーニングに基づく場面認識を行い、ハイライト動画に含まれるノイズに対応する1つ以上のフレームを削除するステップと、を含み、
前記少なくとも1つのフレームは、
前記キーワードに含まれた状況に対応するターゲット投球数-1の開始フレームから前記キーワードに含まれた状況に対応するターゲット投球数の最終のフレームまで含むハイライト抽出方法。 - 前記ハイライト動画を生成するステップは、
前記キーワードが1つである場合、単一のキーワードに対応する1つのハイライト動画を生成し、
前記キーワードが複数である場合、複数のキーワードに対応する少なくとも1つのハイライト動画を組み合わせてハイライト動画を生成する請求項1に記載のハイライト抽出方法。 - 前記動画にタギングするステップは、
テロップが前記動画に表示されている場合、前記テロップに示された競技情報を認識し、前記競技情報を前記動画の対応するフレームにタギングし、
テロップが前記動画に表示されていない場合、前記テロップに対応する前記競技情報が存在しないことを前記動画の対応するフレームにタギングすることを含み、
前記テロップに示された競技情報は、スコア、ボールカウント、イニングを含む請求項1に記載のハイライト抽出方法。 - 前記動画であらかじめ設定した領域に表示された前記テロップから特徴を抽出し、事前に学習されたデータを用いて前記抽出された特徴を分類するステップをさらに含む請求項3に記載のハイライト抽出方法。
- 前記テロップに示された競技情報が走者状況をさらに含む場合、前記走者状況が前記動画の対応するフレームにタギングされ、
前記テロップに示された競技情報が投球数をさらに含む場合、前記投球数が前記動画の対応するフレームにタギングされる請求項3に記載のハイライト抽出方法。 - 前記動画にタギングするステップは、
場面転換を検出して前記動画の対応するフレームにタギングし、
一定の基準に応じて場面認識して前記動画の対応するフレームにタギングすることを含む請求項1に記載のハイライト抽出方法。 - 前記場面転換は、
RGBをHSVに変換し、前記HSVのヒストグラムの差を用いて検出されるが、
前記HSVそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、前記決定したヒストグラムの差とあらかじめ設定した基準を比較して判断される請求項6に記載のハイライト抽出方法。 - 前記場面認識は、
ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームがマッチングする基準に設定される請求項6に記載のハイライト抽出方法。 - 前記ターゲット投球数-1の開始フレームから前記ターゲット投球数の最終のフレームのうち、前記キーワードに対応しないフレームは除外されるステップをさらに含む請求項1に記載のハイライト抽出方法。
- プロセッサーおよびコンピューターで読み取ることができる命令語を含むメモリーを含み、
前記命令語が前記プロセッサーで実行されると、前記プロセッサーは、スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別し、
前記動画に係る競技情報を前記動画にタギングし、
前記キーワードに対応する少なくとも1つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも1つのフレームを決定し、
前記決定された少なくとも1つのフレームを組み合わせてハイライト動画を生成し、
場面転換を検出し及び一定の基準に応じてディープラーニングに基づく場面認識を行い、ハイライト動画に含まれるノイズに対応する1つ以上のフレームを削除し、
前記少なくとも1つのフレームは、
前記キーワードに含まれた状況に対応するターゲット投球数-1の開始フレームから前記キーワードに含まれた状況に対応するターゲット投球数の最終のフレームまで含むハイライト抽出装置。 - 前記プロセッサーは、
前記ハイライト動画を生成するとき、前記キーワードが1つである場合、単一のキーワードに対応する1つのハイライト動画を生成し、前記キーワードが複数である場合、複数のキーワードに対応する少なくとも1つのハイライト動画を組み合わせてハイライト動画を生成する請求項10に記載のハイライト抽出装置。 - 前記プロセッサーは、
前記動画にタギングするとき、テロップが前記動画に表示されている場合、前記テロップに示された競技情報を認識して前記競技情報を前記動画の対応するフレームにタギングし、テロップが前記動画に表示されていない場合、前記テロップに対応する前記競技情報が存在しないことを前記動画の対応するフレームにタギングし、
前記テロップに示された競技情報は、スコア、ボールカウント、イニングを含む請求項10に記載のハイライト抽出装置。 - 前記プロセッサーは、
前記動画であらかじめ設定した領域に表示された前記テロップから特徴を抽出し、事前に学習されたデータを用いて前記抽出された特徴を分類する請求項12に記載のハイライト抽出装置。 - 前記プロセッサーは、
前記テロップに示された競技情報が走者状況をさらに含む場合、前記走者状況を前記動画の対応するフレームにタギングし、前記テロップに示された競技情報が投球数をさらに含む場合、前記投球数を前記動画の対応するフレームにタギングする請求項12に記載のハイライト抽出装置。 - 前記プロセッサーは、
前記動画にタギングするとき、場面転換を検出して前記動画の対応するフレームにタギングし、一定の基準に応じて場面認識して前記動画の対応するフレームにタギングする請求項10に記載のハイライト抽出装置。 - 前記プロセッサーは、
RGBをHSVに変換し、前記HSVのヒストグラムの差を用いて前記場面転換を検出するが、
前記HSVそれぞれのチャンネルごとに、以前のフレームと現在のフレームのヒストグラムの差を決定し、前記決定したヒストグラムの差とあらかじめ設定した基準を比較して前記場面転換の可否を判断する請求項15に記載のハイライト抽出装置。 - 前記場面認識は、
ハイライト抽出装置によって設定した一定の基準のうち、当該のフレームがマッチングする基準に設定される請求項15に記載のハイライト抽出装置。 - 前記プロセッサーは、
前記ターゲット投球数-1の開始フレームから前記ターゲット投球数の最終のフレームのうち、前記キーワードに対応しないフレームを除外する請求項10に記載のハイライト抽出装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0118147 | 2018-10-04 | ||
KR1020180118147A KR102187208B1 (ko) | 2018-10-04 | 2018-10-04 | 스포츠 경기의 하이라이트 추출 방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020061729A JP2020061729A (ja) | 2020-04-16 |
JP7038090B2 true JP7038090B2 (ja) | 2022-03-17 |
Family
ID=67809257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019147008A Active JP7038090B2 (ja) | 2018-10-04 | 2019-08-09 | スポーツ競技のハイライト抽出方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11238288B2 (ja) |
EP (1) | EP3634006A1 (ja) |
JP (1) | JP7038090B2 (ja) |
KR (1) | KR102187208B1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11036995B2 (en) | 2019-01-25 | 2021-06-15 | Gracenote, Inc. | Methods and systems for scoreboard region detection |
US11010627B2 (en) | 2019-01-25 | 2021-05-18 | Gracenote, Inc. | Methods and systems for scoreboard text region detection |
US11087161B2 (en) | 2019-01-25 | 2021-08-10 | Gracenote, Inc. | Methods and systems for determining accuracy of sport-related information extracted from digital video frames |
US11805283B2 (en) | 2019-01-25 | 2023-10-31 | Gracenote, Inc. | Methods and systems for extracting sport-related information from digital video frames |
US10997424B2 (en) | 2019-01-25 | 2021-05-04 | Gracenote, Inc. | Methods and systems for sport data extraction |
CN111726682B (zh) * | 2020-06-30 | 2022-08-16 | 北京百度网讯科技有限公司 | 视频片段生成方法、装置、设备和计算机存储介质 |
CN112653918B (zh) * | 2020-12-15 | 2023-04-07 | 咪咕文化科技有限公司 | 预览视频生成方法、装置、电子设备及存储介质 |
KR102601283B1 (ko) * | 2021-02-02 | 2023-11-10 | 네이버 주식회사 | 경기 영상으로부터 타겟 영상 생성 시 불필요한 영상을 제거하기 위한 컴퓨터 시스템 및 그의 방법 |
KR102352955B1 (ko) * | 2021-08-11 | 2022-01-19 | 주식회사 이노피아테크 | 포즈인식 기술을 활용한 하이라이트 영상기반 편리한 tv 시청 지원 방법 및 장치 |
KR20240077700A (ko) * | 2022-11-25 | 2024-06-03 | 씨제이올리브네트웍스 주식회사 | 영상 편집 지원 방법 및 영상 편집 지원 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176538A (ja) | 2007-01-18 | 2008-07-31 | Toshiba Corp | 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 |
JP2009141797A (ja) | 2007-12-07 | 2009-06-25 | Fujitsu Ltd | データ生成装置、データ生成プログラムおよび情報処理装置 |
JP2017513164A (ja) | 2014-03-17 | 2017-05-25 | クリップキャスト テクノロジーズ リミテッド ライアビリティ カンパニーClipcast Technologies LLC | メディアクリップ作成及び配信システム、装置、及び方法 |
JP2017168057A (ja) | 2016-03-18 | 2017-09-21 | 株式会社Spectee | 画像分類装置、画像分類システム及び画像分類方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8214741B2 (en) | 2002-03-19 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Synchronization of video and data |
KR100721409B1 (ko) * | 2005-12-20 | 2007-05-23 | 엔에이치엔(주) | 동영상 장면 검색 방법 및 이를 이용한 장면 검색 시스템 |
KR101265960B1 (ko) * | 2007-08-21 | 2013-05-22 | 삼성전자주식회사 | 하이라이트 추출 장치 및 그 방법 |
US9786324B2 (en) * | 2014-03-17 | 2017-10-10 | Clipcast Technologies, LLC | Media clip creation and distribution systems, apparatus, and methods |
US10445586B2 (en) * | 2017-12-12 | 2019-10-15 | Microsoft Technology Licensing, Llc | Deep learning on image frames to generate a summary |
-
2018
- 2018-10-04 KR KR1020180118147A patent/KR102187208B1/ko active IP Right Grant
-
2019
- 2019-08-09 JP JP2019147008A patent/JP7038090B2/ja active Active
- 2019-08-09 US US16/536,411 patent/US11238288B2/en active Active
- 2019-08-29 EP EP19194238.2A patent/EP3634006A1/en not_active Ceased
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008176538A (ja) | 2007-01-18 | 2008-07-31 | Toshiba Corp | 映像属性情報出力装置、映像要約装置、プログラムおよび映像属性情報出力方法 |
JP2009141797A (ja) | 2007-12-07 | 2009-06-25 | Fujitsu Ltd | データ生成装置、データ生成プログラムおよび情報処理装置 |
JP2017513164A (ja) | 2014-03-17 | 2017-05-25 | クリップキャスト テクノロジーズ リミテッド ライアビリティ カンパニーClipcast Technologies LLC | メディアクリップ作成及び配信システム、装置、及び方法 |
JP2017168057A (ja) | 2016-03-18 | 2017-09-21 | 株式会社Spectee | 画像分類装置、画像分類システム及び画像分類方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200110941A1 (en) | 2020-04-09 |
EP3634006A1 (en) | 2020-04-08 |
US11238288B2 (en) | 2022-02-01 |
JP2020061729A (ja) | 2020-04-16 |
KR20200038667A (ko) | 2020-04-14 |
KR102187208B1 (ko) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7038090B2 (ja) | スポーツ競技のハイライト抽出方法および装置 | |
KR102248456B1 (ko) | 스포츠 경기의 하이라이트 추출 방법 및 장치 | |
US8195038B2 (en) | Brief and high-interest video summary generation | |
Merler et al. | Automatic curation of sports highlights using multimodal excitement features | |
US7474698B2 (en) | Identification of replay segments | |
Kijak et al. | Audiovisual integration for tennis broadcast structuring | |
US7802188B2 (en) | Method and apparatus for identifying selected portions of a video stream | |
Kijak et al. | HMM based structuring of tennis videos using visual and audio cues | |
Yu et al. | Comprehensive dataset of broadcast soccer videos | |
WO1995010915A1 (en) | Sports event video | |
Hosseini et al. | Fuzzy rule-based reasoning approach for event detection and annotation of broadcast soccer video | |
Wang et al. | Affection arousal based highlight extraction for soccer video | |
Hua et al. | Baseball scene classification using multimedia features | |
RU2609071C2 (ru) | Навигация по видеопоследовательности через местоположение объекта | |
KR20080105387A (ko) | 스포츠 동영상 요약 방법 및 장치 | |
JP2007200249A (ja) | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
US11769327B2 (en) | Automatically and precisely generating highlight videos with artificial intelligence | |
Ghosh et al. | SmartTennisTV: Automatic indexing of tennis videos | |
Wang et al. | Rushes video summarization by object and event understanding | |
Mei et al. | Sports video mining with mosaic | |
US20070124678A1 (en) | Method and apparatus for identifying the high level structure of a program | |
Liu et al. | Brief and high-interest video summary generation: evaluating the AT&T labs rushes summarizations | |
Sanabria et al. | Profiling actions for sport video summarization: An attention signal analysis | |
Bai et al. | Semantic analysis of field sports video using a petri-net of audio-visual concepts | |
Agarwal et al. | Automatic Annotation of Events and Highlights Generation of Cricket Match Videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7038090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |