JP2003143546A - フットボールビデオ処理方法 - Google Patents

フットボールビデオ処理方法

Info

Publication number
JP2003143546A
JP2003143546A JP2002156920A JP2002156920A JP2003143546A JP 2003143546 A JP2003143546 A JP 2003143546A JP 2002156920 A JP2002156920 A JP 2002156920A JP 2002156920 A JP2002156920 A JP 2002156920A JP 2003143546 A JP2003143546 A JP 2003143546A
Authority
JP
Japan
Prior art keywords
video
segments
football
segment
play
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002156920A
Other languages
English (en)
Inventor
Baoxin Li
リ バオクシン
M Ibrahim Sezan
セザン エム．イブラハム
Jeffrey B Sampsell
ビー． サンプセル ジェフリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/933,862 external-priority patent/US7499077B2/en
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2003143546A publication Critical patent/JP2003143546A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/7857—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

(57)【要約】 （修正有） 【課題】フットボールの試合を含むビデオについて、内
容を要約して短時間の内容とし、後で視聴したい原ビデ
オの要約方法を提供する。 【解決手段】フットボール試合のプレーの開始時に現れ
るシーンを解析し、ビデオに表示されるパターンからプ
レー開始を検出し、プレー開始からボールがプレー外に
あると見なされるプレー終了を検出するまでをセグメン
トとして生成し、プレー中ではないシーンやコマーシャ
ルを検出してカットし、複数のセグメントからなるビデ
オの要約を生成する。

Description

【発明の詳細な説明】
【０００１】（発明の背景）本発明はフットボールの試
合を含むビデオ内容の要約に関する。ビデオコンテンツ
の量は常に増大する一方であり、そのうちの幾つかのコ
ンテンツにはスポーツイベントが含まれる。同時に、視
聴者がすべての所望のビデオコンテンツを視聴するのに
費やせる時間は減少している。ビデオコンテンツを視聴
することの出来る時間が減少しビデオコンテンツの量が
増大するに伴い、すべての所望のコンテンツを完全に視
聴することは視聴者にとって益々難しい問題になってく
る。従って、視聴者は、ビデオコンテンツに関し一層選
択的になり、視聴番組を選択する。視聴者の要求に応え
るために完全なビデオを何らかの方法で要約表示するビ
デオの要約提示技法が開発されている。ビデオの要約
は、同様に、ブラウジング、フィルターリング、検索等
を含む追加機能を容易に利用できるようにする。ビデオ
要約を生成する通常の目的は、後で視聴したい原ビデオ
の簡潔な表示を得ることである。
【０００２】２つの主要なビデオ要約方法がある。第１
のビデオ要約法は、キーフレームを検出する方法であ
る。キーフレームの検出は、色分布のようなビデオの低
レベル特性を処理する方法を含んでおり、ビデオの特定
部分を最も良く表現している特定の独立フレームを決定
する。例えば、ビデオのキーフレーム要約は、そのビデ
オ中の最も重要なイベントを強調できる僅かな独立キー
フレームのみを内容とすることができる。かように、そ
のビデオに関する限られた情報が選択されたキーフレー
ムにより推定される。キーフレーム技法は、ビデオコン
テンツの索引には特に有効であるが、スポーツコンテン
ツの要約には特に適していない。第２のビデオ要約法
は、特定のビデオコンテンツにとって重要なイベントを
検出することを目指している。かような技法は、通常、
特定種類のコンテンツにとって特に重要な予測イベント
の定義とモデルを含んでいる。このビデオ要約は、多数
のビデオセグメントより成り、各セグメントは、原ビデ
オ内の１連続部分であり、ビデオからの幾つかの詳細情
報をユーザが時間的に有効な方法で視聴するのを可能に
する。かような技法は、要約のみを閲覧してビデオの内
容を効率よく視聴するのに特に適している。かような方
法は、時には“意味的要約”と云われる。従って、望ま
れているものは、フットボールを含むビデオコンテンツ
に適したビデオ要約技法である。
【０００３】（好適な実施態様の詳細な説明）典型的な
フットボールの試合は約３時間続くが、ボールが動いて
いる時間を含んでいるのは、その内の約１時間に過ぎな
い。ボールが動いている時間は、例えば、キックオフ、
スナップ（ハイク：ｈｉｋｅ）、パスプレー、ランプレ
ー、パントリターン、パント、フィールドゴール等、通
常、その試合において興奮を呼ぶ部分である。そのフッ
トボール試合の残りの時間は、例えば、殆ど終りのない
コマーシャルであったり、選手が攻撃から守備に交代し
たり、選手がフィールドに向かって歩いたり、選手がハ
ドル（集合）したり、コーチがクォータバックの選手に
話しかけたり、ヤードスティクを移動したり、ボールを
スポットに移動させたり、外野席の観客が映されていた
り、解説者が話していたりする時間であり、通常、ビデ
オで見るには退屈な時間である。実質１時間のフットボ
ールの試合を３時間フットボール場に座って楽しむこと
は出来るが、フットボールの試合をビデオで見る視聴者
の多くは、たとえ律儀なフアンであっても試合のすべて
を見るのは難しいと感じる。フットボールビデオのビデ
オ要約は、元のフットボールビデオより短くした試合の
要約を提供するものであり、多くの人達に歓迎される筈
である。ビデオ要約は、また、元の試合と略同じレベル
の興奮（例えば、興味ある内容）を与えるべきである。
【０００４】最初に考慮すべきことは、フットボールは
自動ビデオ要約を試みるのに適した候補ではないことで
あろう。先ず、何らかの方法で考慮する必要のあるプレ
ーが殆ど無数に発生する可能性があるからである。ま
た、同様に何らかの方法で考慮する必要のある、キック
オフ、パント、パス、キックオフリターン、ランプレ
ー、リバースプレー、インターセプト、サック（ボール
の略奪）等のような種々異なるタイプのプレーが多くあ
る。加えて、これらのプレーは、各々、プレー間では一
貫性がなく予測が困難であり追跡が困難な重要な選手の
動きを含んでいる。さらに、１つのプレーの間、ボール
が視野から隠されている時間が多いので、そのボールを
追跡するのは不可能ではないにしても通常困難である。
例えば、次のプレーに備えて、フィールドの周りを歩く
選手の通常のプレー前の動作と興味を引くプレーに関連
する動作を区別することは困難であろう。かような検討
に基づき、フットボールの要約を試みることは不可能で
はないが実際的ではないとこれまで考えられてきた。
【０００５】ビデオの可能性のある関連部分を特定する
ために典型的なフットボールビデオの高度に洗練された
モデルを開発することは多分可能である。しかしなが
ら、かような高度に洗練されたモデルは、その生成が難
しく、通常頑強ではない。さらに、そのモデルの選択性
のために、フットボールビデオの高度に関連する部分の
大半がビデオ要約に含まれる可能性は低くなる。かよう
に、このフットボール試合のビデオ要約は、平均的な視
聴者には不満足なものになる。
【０００６】フットボール試合の要約を生成するための
唯一の基礎としてフットボールビデオの内容を分析する
フットボールビデオの高度に洗練されたモデルを開発す
る難しさを検討し、本発明では、これらのモデルが全て
の所望の内容を検出するのに十分な頑強さを全く欠いて
いるために、この技法は最終的に無効であると判定し
た。さらに、可能性のある望ましい内容のモデルシーケ
ンスの種々多数のタイプを数値化するのも困難である。
特定のモデルシーケンスを検出する試みとは異なり、本
発明では、フットボールの試合の望ましいセグメントを
１つの“プレー”に基づき選択するのがより好ましいと
判定した。１つの“プレー”は、フットボールのルール
により定義されるイベントのシーケンスとして定義でき
る。特に、１つの“プレー”のイベントシーケンスは、
一般にボールがプレーに投入された時間（例えば、ボー
ルのプレー投入に基づく時間）と一般にボールがプレー
から除外された時間（例えば、ボールがプレー外にある
と見なされる時間）により定義できる。通常、“プレ
ー”は、得点をもたらす可能性のある一連の関連する動
作（または、得点を防ぐ可能性のある一連の関連する動
作）を含んでいるか、及び／または、あるチームの得点
につながる（または、あるチームの得点の防止につなが
る）可能性のある一連の関連する動作を含んでいる。
【０００７】得点をもたらす可能性のある動作例は、例
えば、フィールドボールの遠投、フィールドゴールのキ
ック、タッチダウン後の１点キック及びボールを運ぶ走
行を含む。得点を阻止する可能性のある動作例は、例え
ば、ボールのインターセプト、ファンブルのリカバーリ
ング、ファンブルの誘起、ボールドロップ及び、フィー
ルドゴール、パント及び得点の阻止を含む。チームの得
点につながる可能性のある動作例は、例えば、走者への
タックル、ボールのキャッチ及びオンサイドキックを含
む。あるチームの得点の防止につながる可能性のある動
作例は、例えば、走者へのタックル、レシーバへのタッ
クル及びバイオレーションを含む。特定種類の“プレ
ー”の時間的な境界の始点または終点は、プレーの開始
または終了と略一致する時点またはプレーに基づく時間
（例えば、イベント）に少なくとも部分的に基づく時点
と、特定の場合には必ずしも一致しないと理解すべきで
ある。例えば、ボールのスナップから始まる“プレー”
は、センターがボールをスナップする時間と、クォータ
バックがボールを受け取る時間と、ボールが空中に在る
時間と、ボールが発見される時間と、キッカーがボール
をキックする時間及び／またはセンターがボールをスナ
ップする前にボールにタッチする時間とを含んでいる。
ビデオの要約は、複数のビデオセグメントを含むことに
より生成され、その要約は要約した元のビデオよりも少
ないフレームを含んでいる。フットボール試合の複数の
プレーを含む要約は視聴者に短縮したビデオシーケンス
を提供するが、殆どのエキサイティングなビデオ部分
が、好ましくは元のフットボールビデオと同じ時間的な
順序で提供されるので視聴者はその試合を楽しむことが
できる。
【０００８】図１を参照する。フットボールのビデオの
要約手順は、少なくともフットボールの試合の一部分を
含むビデオシーケンス２０を受信することを含んでい
る。ブロック２２はそのビデオの複数フレームより成る
１ビデオセグメントのプレーの開始を検出する。プレー
の開始を検出後、ブロック２４はそのプレーの終りを検
出し、プレーの始まりと終りの間の１ビデオセグメン
ト、即ち、１つのプレーを規定する。ブロック２６は、
ビデオ（または、処理する部分）が終りに達したか否か
をチェックする。ビデオが終りに達していなければ、ブ
ロック２６からブロック２２に戻り次のプレーを検出す
る。ビデオが終りに達していれば、ブロック２６から要
約記述２８に進む。要約記述は、ビデオ要約用関連セグ
メントを含んでいるビデオシーケンス部分２０を規定す
る。要約記述は、ＭＰＥＧ−７の要約記述スキームまた
はＴＶの常時セグメンテーション記述スキームに従う。
図２７に示すような適応メディアブラウザは、入力ビデ
オを変更することなく要約して見るためにこの要約記述
を入力ビデオに適用することができる。これに代わり、
この要約記述を用いて入力ビデオを編集し、独立したビ
デオシーケンスを生成することもできる。要約されたビ
デオシーケンスは、選択されたセグメントより成り、そ
の複数セグメント以外の原ビデオの少なくとも一部は除
外されている。好ましくは、要約されたビデオシーケン
スは、前記複数のセグメント以外の原ビデオの全ての部
分を除外する。
【０００９】本発明は、フットボールビデオからの１つ
の“プレー”を確実に効率良く計算機的にも有効な方法
で検出する方法を考案した。代表的なフットボールの試
合を広範に分析した結果、フットボールの試合は、通
常、フットボールフィールドの周囲の固定位置に設置さ
れた複数のカメラで撮影され、各カメラは、水平旋回
（パン）、上下動及びズームによる撮影ができる。フッ
トボールの試合中の各プレーは、通常、センターが、ボ
ールをクォータバックまたはキッカーにスナップするこ
とから始まる。さらに、センターがまさにボールをパス
しようとする瞬間のパスシーンは、通常、センターの横
側のカメラ位置から撮影される。このカメラアングル
は、（攻撃側、センター、クォータバック、レシーバ、
ランニングバック及び守備側を含む）全員の動きをこの
視点から容易に観察できるので、通常使用されている。
かように、１つのプレーは、図２に示すようなフレーム
で通常始まる。
【００１０】１つのスナップシーンは、センター、クォ
ータバックまたはキッカー及び攻撃側／守備側を適当な
動作と共に検出するために１個又は複数のフレームを複
雑で集中的な計算をして分析することを含んでおり、ス
ナップシーンの検出は大体不確実な結果になる。この限
界を克服するために、本発明では、フットボールビデオ
に用いられるシーンは同じカメラアングルのセットを用
いて撮影されていることを発見した。フットボールの試
合は、通常フィールドの片方のサイド（横側）と両側の
エンドにカメラを配置している。サイドカメラは通常２
５、５０及び２５ヤードライン上のスタジアムに配置さ
れ、２台のエンドカメラがフィールドエンドに配置され
ている。手持ちのカメラのような追加のカメラもある
が、大抵のイベントはサイドカメラとエンドカメラで撮
影される。一般に、プレーは２つの異なる種類、即ち、
プレースキックと（例えばプレースキックではない）レ
ギュラープレーに分類される。一般に、（キックオフ、
エクストラポイントキック及びフィールドゴールキック
を含む）プレースキックは通常フィールドエンド近くの
カメラで撮影され、（ラン、パス及びパントを含む）レ
ギュラープレーは通常サイドカメラで撮影される。尚、
キックオフは通常、エンドカメラで撮影しサイドカメラ
で追跡する。したがって、フットボールビデオの異なる
プレーは、２つの異なる種類、即ち、プレースキックと
レギュラープレーの何れかの範疇に分類できる。
【００１１】レギュラープレーは通常図２に示すような
フレームで始まる。カメラは、ボールを、それが停止し
現在のレギュラープレーが終わる時点まで追跡する。レ
ギュラープレー終了後、通常カメラはブレークし、解説
者またはフアンのような他の動作対象を撮影する。カメ
ラブレークから次のプレーの開始までの間の時間は、通
常興奮を呼ぶものではないので要約には含めるべきでは
ない。
【００１２】プレースキックは通常図３に示すようなフ
レームで始まり、レギュラープレーの場合と同様にカメ
ラブレークで終了する。プレースキックの場合は、通
常、プレー終了までに、例えば、エンドカメラからサイ
ドカメラへの切り替えのような最初のカメラブレークと
プレー終了時の２回目のカメラブレークのように複数回
のカメラブレークを含む。
【００１３】図２及び図３に示すような１つのプレーの
開始を決定するために、本発明では、かようなイベント
を特徴付けるに適した判定基準を検討した。プレーの開
始を判定するこの判定基準は画像の予測される特徴に基
づいており、実際のイベントを決定するビデオコンテン
ツの分析とは異なる。１つのプレーの開始を決定するの
に使用できる１つの判断基準は、フィールドの色であ
る。カメラが図２または図３に示すような通常の開始フ
レームを提示すると仮定すると、フィールドは略緑色を
有することが観察できる。したがって、フレーム内の十
分な空間領域が略緑色であれば、それは、プレー開始の
特徴であり得る。この略緑色の十分な空間領域は、さら
に、略直線なエッジ、略平行なエッジの組み、４面多角
形等のような形状特性を有することにより規定できる。
さらに、この略緑色の十分な空間領域はフレームの中央
に位置するのが好ましい。かように、１プレーの開始
は、中央領域に略緑の優勢色を有するフレームによって
検出できることが先ず明らかになった。上記の色テスト
は、１プレーの開始を検出するのに有効である。しかし
ながら、更なる分析により、中央に位置する略緑の優勢
色は、十分であるが、しかし、頑強なシステムにとって
は不十分であり得ることが確認された。例えば、いくつ
かの具体例において、中央に位置する略緑の優勢色は、
１プレーの開始を決定する上で必要条件であるが十分条
件ではない。
【００１４】例えば、中央の略緑色の領域という色特徴
は、カメラが、１つのプレーに先立つフィールド上のた
だ１人の選手に焦点を当てている時に認められる。加え
て、カメラによって捕捉されている略緑の正確な色は、
フィールドからフィールド、カメラからカメラ、日中か
ら夜間に切り変われば変化する。事実、１つの所与の試
合であっても、午後遅く開始され夕方早くまで続く場
合、照明条件が変化し、ビデオ撮影中の同じフィールド
の略緑色が変化する。さらに、略緑のフィールド色は通
常均一ではなく変化を含んでいる。かように、この略緑
色の特徴を（例えば、緑色でない他の色を除外するよう
に）狭く定義して使用しないほうが良い。つまり、広い
定義で略緑色の特徴を使用するのが好ましい。略緑色の
広い定義を用いれば、より多数の非プレーシーンが特定
される。
【００１５】フィールドの略緑色は定常ではないので、
特定のフットボールビデオについてこの略緑色を調整
し、そのフットボールビデオの異なる部分ごとに略緑色
を再調整するのが望ましい。図４を参照する。この好適
なシステムは、一例としてＨＳＶ色空間中の色相を用い
て、この略緑色を定義する、Ｇｌｏｗ及びＧｈｉｇｈの
ような略緑の色範囲を提供する。Ｇｌｏｗ及び／または
Ｇｈｉｇｈは、各特定のフットボールビデオとビデオの
異なる部分に適応するようにシステムにより自動修正さ
れる。
【００１６】試合中におけるフィールド色の変化につい
て、本発明は、Ｇｌｏｗ及びＧｈｉｇｈにより与えられ
る範囲に加え、略緑色の色ヒストグラムＨｇがフィール
ド色をより正確に特定できることを確認した。このＨｇ
は特定のフットボールビデオ毎に調整することができ
る。また、Ｈｇはそのフットボールビデオの特定部分に
つき調整することができ、Ｈｇを異なる部分ごとに再調
整することができる。フィールドを示す２つのビデオフ
レームがあっても、得られる色ヒストグラムは異なる傾
向がある。かように、フィールドの色ヒストグラムが特
定の試合またはその部分において変化する程度を有効に
算定できる。但し、検出されたフィールドシーンを用い
てヒストグラムを算定するのが好ましい。
【００１７】以下に記述する技法を用いて、Ｇｌｏｗ，
Ｇｈｉｇｈ及びＨｇを算定することができる。図５を参
照する。フィールドを含んでいる全てのフレーム（また
はフレーム部分）について、略緑の全ての画素の位置を
特定する。この最初の計算においては、大きな間隔を含
むように略緑の画素を規定するのが好ましい。間隔は、
Ｇ０＝［Ｇ０ｌｏｗ，Ｇ０ｈｉｇｈ］として規定でき
る。次に、全ての画素の平均色相の緑値Ｇｍｅａｎのよ
うな略緑色の画素の統計的測度を計算する。次にＧｌｏ
ｗとＧｈｉｇｈを設定する。ＧｌｏｗとＧｈｉｇｈを設
定する１つの技法は次の通りである。Ｇｌｏｗ＝Ｇｍｅ
ａｎ−ｇ、Ｇｈｉｇｈ＝Ｇｍｅａｎ＋ｇであり、ここ
で、ｇはＧｈｉｇｈ−Ｇｌｏｗ＜Ｇ０ｈｉｇｈ−Ｇ０ｌ
ｏｗのような定数である。本質的に、この技法は、フッ
トボールビデオからの色による情報に基づく略緑色の範
囲を狭める（即ち、全域を減少させる）。
【００１８】次の技法を用いて、色ヒストグラムＨｇを
算定することができる。図６を参照する。フィールドを
含む全てのフレーム（または、フレーム部分）を選択す
る。これらのフィールドフレーム内のＧｌｏｗ及びＧｈ
ｉｇｈの範囲に含まれる全ての画素（又は部分）を選択
する。略緑色の他の範囲も同様に使用することができ
る。各フレーム内の各画素セット毎に色ヒストグラムＨ
ｉを次に算定する。その後、算定された全ての色ヒスト
グラムＨｉの平均値のような統計的測度としてＨｇを計
算する。特に、Ｈｇの変化を次のように算定する。
【００１９】フィールドを含む任意のフレームにつき、
ＨｉとＨｇ間の誤差を計算する。ｅｉ＝｜｜Ｈｇ―Ｈｉ
｜｜、ここで｜｜・｜｜はＬ1ｎｏｒｍである。このサ
ンプル平均値は次式で計算する。
【００２０】
【式１】
【００２１】全ての誤差のサンプル標準偏差は次式で計
算する。
【００２２】
【式２】
【００２３】式中、Ｎはフレーム数、ｖは色ヒストグラ
ムが平均Ｈｇとどれだけ異なるかを算定するための測度
である。
【００２４】調整されている緑色で、このシステムはフ
レームがプレーの開始であるかどうかを、次の２つの条
件、即ち、（１）フレームはＰ１％より多い略緑色の画
素を有しており、（２）略緑の画素の色ヒストグラムＨ
ｉはＨｇに十分近いかをチェックすることにより調べる
ことができる。第１の条件は、ＧｌｏｗとＧｈｉｇｈの
範囲に含まれる色相値をもつ画素数を計算することによ
り調べることができる。第２の条件は、ＨｉとＨｇの差
が閾値より小さい、即ち、｜｜Ｈｉ−Ｈｇ｜｜＜Ｔｈで
あるかをチェックすることにより調べることができる。
閾値Ｔｈは次式で算定できる。Ｔｈ＝ｍｅ＋ｃ＊ｖ、こ
こで、ｃは通常３または４という値の定数である。
【００２５】両方の条件を満足すれば、可能性のある開
始フレームが検出され、検出の確認が望ましい場合は、
このフレームを他のモジュールでさらにチェックするこ
とができる。しかしながら、このフレームがＰ２％（Ｐ
２＜Ｐ１）よりは多い緑色画素を有しており、第２条件
を満たしている場合、後述するこのフィールドライン検
出モジュールは、１プレーの可能性のある開始を正確に
決定するために信頼度を高めなければならない。
【００２６】フットボールビデオのプレー開始の実際の
フレームを検討し、本発明では、開始フレームがしばし
ばその上方及び下方にフィールドでない領域を含んでお
り、さらに、横側または下側に編集バーを含んでいるこ
とに注目した。これらのファクタは、前述のような閾値
Ｐ１及びＰ２の使用と特別な互換性を有しない。より粗
である閾値Ｐ１及びＰ２の場合、フレームの（例えば、
かようなフィールドでない領域と編集バー内の主要で一
般的な）中央領域だけは、パーセンテージを計算する時
に用いるべきである。図７を参照する。中央領域は、次
のように定義できる。
【００２７】（１）１つのフレームの行毎の走査を第１
行より開始し、優勢な略緑色の画素を有する行が発見さ
れるか、または予定の最大値に達するか、いずれか早い
方が生じるまで続ける。 （２）１つのフレームの行毎の走査を最下行から開始
し、優勢な略緑色の画素を有する行が発見されるか、ま
たは予定の最大値に達するか、いずれか早い方が生じる
まで続ける。 （３）１つのフレームの列毎の走査を右列から開始し、
優勢な略緑色の画素を有する列が発見されるか、または
予定の最大値に達するか、いずれか早い方が生じるまで
続ける。 （４）１つのフレームの列毎の走査を左列から開始し、
優勢な略緑色の画素を有する列が発見されるか、または
予定の最大値に達するか、いずれか早い方が生じるまで
続ける。 （５）走査停止位置（例えば、優勢な略緑色または予定
の最大値が発見された位置）をフレームの中央領域と規
定する。好適な予定最大値は行走査の場合行数の１／４
の定数であり、列走査の場合列数の１／６の定数であ
る。
【００２８】フットボールのビデオをさらに検討し、本
発明では、１つのプレーの開始時にフットボールのビデ
オにより表示されるパターン、即ち、フィールドライン
にも同様に注目した。
【００２９】フィールドラインの存在は、カメラにより
撮影されている対応するフィールドの存在を強調表示す
るものである。フィールドラインはコントラストをなす
背景上の略並行な間隔をおいた複数の略直線を特徴とす
る。別のフィールドラインは、複数の間隔をおいた略白
色の線を特徴とする。さらに、フィールドラインは、主
として略緑色の背景上の複数の線の１つのパターンとし
て特徴付けることもできる。また、フィールドライン
は、フィールドまたは画像のサイズに対し十分な長さを
有するものとしてさらに限定することができる。好適な
システムにおいて、フィールドラインは、上記のうちの
２、３または４つの条件で特徴付ける。長さを考慮する
ことにより、短いラインを除去しフィールドの誤認を避
けることができる。フィールドラインを用いるフィール
ド表示ビデオフレームの特定は、望むならば色調整の基
礎として用いることができる。
【００３０】図８を参照する。好適なシステムは、Ｇ０
＝［Ｇ０ｌｏｗ，Ｇ０ｈｉｇｈ］のような当初の緑色仕
様を用いての候補フレームの選択を含む。これらのフレ
ームは、主要色Ｇ０で特定される。
【００３１】Ｇ０色により規定される位置に“１”を設
定し、他の位置に“０”を設定することにより１つの緑
色マスクが得られる。この緑色マスクは、その後、望む
ならば、緑色領域Ｇ０に隣接する小領域を含むことを許
すように弱くすることができる。フレームにおいてエッ
ジの検出を次に実施し、その後、緑色マスクでのフィル
タ処理を行う。このステップは、略緑色の背景上には存
在しないエッジ画素の除去を目的としている。Ｌｍｉｎ
より長いラインを得るために、ハフ変換のような変換を
用い、フィルタ処理したエッジマップ上でライン検出を
実行する。ライン、特に、略緑色の背景内のラインを特
定するために、任意の適当な技法を用いることができ
る。
【００３２】ライン検出スキームを用いての実験でも、
かようなライン検出は略緑色の背景の場合でも偽物を検
出する結果となる可能性が若干残っている。本発明で
は、単一視点からのフィールド画像がフィールドライン
の並行整列に若干の歪をもたらすことにさらに着目し
た。特に、複数のフィールドラインは明らかにある点に
収束する。全てのフィールドラインは、フィールド上で
互いに平行であるから、同一の消滅点を通過することが
明らかになるのが好ましい。図９に、１枚のサンプルフ
レームを示す。図１０はエッジの検出を示す。図１１
は、縦方向に沿った補助ラインを示し、同一点を通過す
るラインを示している。
【００３３】好適なシステムにおいて、使用条件は、投
影時に略同一点を通過する少なくとも３本のラインを検
出することである。この追加条件は、特に、以前のフィ
ールドラインの決定と組み合わせて使用する場合に、偽
物である尤度をかなり減少させる。同様に、図３に示す
ようなエンド側カメラで撮影したフレームの場合、フィ
ールドラインは、画像のドメイン（定義域）において略
水平で互いに平行であり、これは、フィールドを確定す
るためのテストの場合と同様である。図８に示すよう
に、（フィールドの横側またはエンド側の）いずれの場
合でも、このタスクは、ラインが物理的な世界において
平行であるかをチェックする試験であり、平行性試験と
呼ばれている。平行性試験後、緑色を調整すれば、これ
らの特性に基づいてプレーの開始を確定できる。
【００３４】本発明では、フィールドが略褐色の複数の
粘土領域を含んでいる場合があることに注目した。前述
の色調整技法をこれらのケースの処理に同様に適用し、
システムが略緑色フィールドと、略緑色と略褐色のフィ
ールドと、略褐色のフィールドを取り扱えるようにす
る。他の技法を同様に略褐色または略褐色及び略緑色の
処理に適用することができる。
【００３５】本発明は、プレー開始前に２つのチームが
整列し殆どの動きが止まるケースが多いことに注目し
た。この時点で、カメラモーションは、プレーが開始す
るまで、ズームインして選手達に焦点を当てたままでよ
り良い画像を撮り続ける傾向がある。かように、プレー
開始直前の時点では、画像ドメイン内に有意の動きがな
い（カメラの誘導動作にも選手の動作にも有意の動きが
ない）傾向が見られる。したがって、本発明では、カメ
ラモーションをプレー開始の追加の指標として使用でき
ると判定した。多くの場合、プレーの開始時にはカメラ
のズーム動作が生じ、ズーム動作が止まると有意な動き
のないシーンになる。これは、プレー開始を示すのに利
用できる他の特性である。この技法は偽者を減少させる
他の技法と組み合わせて同様に使用することができる。
【００３６】カメラモーションの評価に使用できる幾つ
かの技法がある。オプチカルフローを評価するような幾
つかの方法は、密な動きフィールドを提供でき、従っ
て、比較的正確な評価結果を提供できる。しかしなが
ら、オプチカルフロー技法および類似の技法は、計算機
的に高価である。計算機的により安価な技法は、ブロッ
クベースの動き補償からカメラモーションを推定する方
法である。さらに、動きの情報は、システムがＭＰＥＧ
のビットストリームのような符号化ビデオの圧縮ストリ
ームで動作する場合は、追加の計算もなく使用できる。
ズーミングは動きベクトルからは正確に推定できない
が、平行移動は動きベクトルから正確に算定できること
も確認された。ズーミングの場合の動きベクトルの不正
確さは、ズーミングの変化速度とズーミングにより生じ
るスケールの変化に基づく。したがって、動き情報は次
のように用いるのが好ましい。カメラモーションが主と
して平行移動でなければ、システムはプレーの開始を確
認するために追加フレームを待つ。もしそうでない場
合、他の条件が満足されればプレーの開始を宣言する。
この待ち時間は、先ず、２重の機能を有する。第１に、
プレー開始前にカメラがズームする際に要約から幾つか
のフレームを除外する。第２に、プレー開始の検出をよ
り多くのフレームを使用して確認するので、プレー開始
の検出を確実にする。
【００３７】図１２は、１プレーの開始後にカメラがス
イッチオンになった時の計算された動きベクトルの一例
を示している。動きベクトルの大部分の方向から、カメ
ラが水平旋回している状況だと簡単に推理される。この
場合、プレー開始が宣言される。図２と図３に示すよう
に、プレー開始フレームにおいて、選手は画像中に散ら
ばった小塊として現れる。小塊は、色及び／またはテク
スチャにより表現され、１選手に対する予測色及び／ま
たはテクスチャのモデルと比較することができる。色及
び／またはテクスチャは、特定チームのユニホームに基
づき変化する。このように、このシステムは特定チーム
用にカスタマイズすることができる。全体的ではなく緑
色の小塊が散らばっている場合、彼らの特徴色を１つの
モデルと比較することができる。さらに、このシステム
は、他の技法を用いて、可能性のあるプレー開始フレー
ムを決定し、選手達の色ヒストグラムを計算するための
基礎としてこれらのフレームを使用することができる。
【００３８】図１３を参照する。フットボールプレーの
開始時点において、各チームは何らかの方式で整列する
傾向がある。選手の配置は１プレーの開始を決定するた
めの特徴として使用することができる。選手の適当なラ
インアップの特徴は、先述の図１４に示した緑色マスク
のような全体的でない緑色の小塊（例えば領域）の略整
列した組を含んでいる。さらに、小塊は、特にフィール
ドのサイズに関し比較的小さいサイズを有している筈で
ある。対照的に、図１５に示した緑色マスクのような全
体的でない緑色の小塊は、恐らく、図１６に示すような
１人の選手のクローズアップを示している。非全体的な
緑の領域の空間的な分布を特徴付けるために、緑色のマ
スクを図１７及び図１８に示すようにｘ方向とｙ方向に
投影する。図１８に示すような投影図中の高くて幅広い
ピークは図１７に示すような全体的に低いピークの組よ
りもプレーの開始を示す可能性は少ない。選手のライン
アップを分析する他の方法は、フィールドラインに平行
な１本の線の両側に沿って整列した２つの区別できる小
塊群を確認する方法である。
【００３９】さらに検討し、本発明では、ボールをスナ
ップするシーン、従って１プレーのセグメントを、唯一
の候補フレームを検出後に特定できれば、システムは偽
者を感知できることを確認した。連続フレーム（または
時間的に関連するフレーム）の組を調べ、証拠を蓄積す
ることにより、システムは偽者の割合を減少させること
ができた。図１９を参照する。次の方法を用いて時間的
な証拠の蓄積を達成することができる。ボールをスナッ
プするシーンを検出する際に幅ｗの滑動ウィンドウを、
（例えば、ｗ枚のフレームを同時に検討するために）使
用する。現ウィンドウ内にｗ枚のフレームの内のｐより
多いフレームが先述のようにボールをスナップするシー
ンの候補であると決定される場合にのみ、１スナップシ
ーンが宣言される。ｐの適当な値は、ｐ／ｗ＝７０％で
あるような値である。ボールをスナップするシーンをよ
り正確に決定するために、フレームの固定数または動的
な数の他の統計的な測度を用いることができる。
【００４０】“略緑色”を定義するために、任意の色空
間を使用することができる。好ましい色空間は、過度の
計算機的な複雑さを生じることなく適用できるＨＳＶ色
空間である。代案として図２０に示すようなＹＵＶ色空
間を使用しても良い。
【００４１】１つの“プレー”の開始はボールをスナッ
プするシーンとして定義できるが、フットボールのルー
ルによる１つのプレーの終了は種々異なる方法で終了す
ることができる。画像分析技法を用いボールをスナップ
するフレームの後のフレームの画像内容を分析し、何が
生じたかを決定することができる。残念ながら、フレー
ム内容の解釈には殆ど終わりのない可能性と困難さを伴
うので、この技法は間違いなく極めて難しく計算量も膨
大である。可能性のあるプレーの順次フレームの内容を
分析する試みとは異なり、本発明では、フットボールの
試合における１プレーの範囲を確定するのに、カメラ動
作によるプレーの終了に基づくのがより効果的であるこ
とを確認した。フットボールのビデオを分析し、本発明
は、１プレーのおよその終了は、通常、別のカメラまた
は別のカメラアングルへの切り替えにより生じたシーン
の変換によりモデル化できることを確認した。別のカメ
ラまたは別のカメラアングルは、現フレーム（またはフ
レームの組）と次のフレーム（またはフレームの組）の
間の変化量を算定することによりモデル化できる。
【００４２】図２１を参照する。１例として１０００フ
レームのビデオフットボールクリップの場合の色ヒスト
グラムの差分技法を用いたフレーム間の変化量のモデル
を示す。ピークは通常シーンカットに対応する。システ
ムは、色ヒストグラムの差を閾値化することによりフレ
ーム６４９の付近でプレーの終了を検出することができ
る。緩やかな移行がフレーム３５０付近で発生してい
る。
【００４３】前述したように、シーンカットは、色ヒス
トグラムの差を閾値化することにより、検出することが
できる。シーンカットを決定するための適当な閾値レベ
ルは、望むならば、１固定閾値に基づき選択することが
できる。この適当な閾値レベルは、フットボールビデオ
毎に、ビデオの１セグメントの処理後かまたはビデオ処
理中に動的に計算することができる。
【００４４】閾値レベルの１つの測度は、フレーム間の
色ヒストグラムの差の全ビデオからの標準偏差σと平均
値ｍに基づくことができる。閾値Ｔｃはｍ＋ｃσ（ｃは
定数）として計算できる。ｃ＝５または６が実際に殆ど
全てのクリーンなシーンカットをカバーしていることが
確認された。確実性を高めるために、１つのクリーンな
シーンカットがフレームｋにおいて検出された後で、シ
ステムはフレームｋ−１とＫ＋１の間の色ヒストグラム
の差をさらに計算することができる。この差は、少なく
ともフレームＫ−１とＫの間の差に匹敵すべきである。
【００４５】差が偽物であるかを決定するために他の比
較を同様に使用してもよい。前述の条件が満たされない
場合、フレームｋでのカットは偽物であり得る。このコ
ンセプトはＫ−Ｃ及びＫ＋Ｃ（Ｃは小さい正の整数：フ
レーム番号）間の色ヒストグラムの差を試験するために
一般化することができる。
【００４６】上述の技法を用いても、真のプレーに該当
しない幾つかの偽物の検出があり得る。また、例えば、
劇的な照明の変動によって、１つのプレーが２つのセグ
メントに分割され（システムがシーンカットと誤認する
ような）状況もあり得る。これらの問題の中の幾つか
は、後処理により解決できる。適当な後処理技法の１例
は、２つのプレーが予定の時間より少ないような十分に
短い時間で分離されているならば、単一のプレーとして
結合させる。２つの検出されたプレー間の時間は、望む
ならば、トータルプレー内に含ませることができる。２
つの検出されたプレーが短い時間で分離されており、シ
ステムが２つのプレーを一緒にし、それらが実際に２つ
の個別のプレーである場合でも、視聴者によっては不愉
快に感じる、１つの要約における頻繁なオーディオ及び
ビデオの断絶が避けられるので、１つの許容できるセグ
メント（または２つのプレー）が得られる。適当な後処
理技法の他の例は、１つのプレーが３秒に満たない十分
に短い時間の場合は、このシステムは、それは多分偽物
であるのでプレーから除去しなければならない。また、
後処理により、隣接するプレー間の接続をビデオとオー
ディオの両方につき円滑化しなければならない。
【００４７】このシステムを“オンライン”の環境で使
用する場合、ビデオ全体の処理は行えない。オンライン
の環境で使用する時は、閾値Ｔｃを現在使用可能なフレ
ーム（またはその一部）に対する平均値ｍと標準偏差σ
に基づき計算することができる。さらに、複雑な計算を
減少させるために、単一プレーのフレーム数に基づき平
均値ｍと標準偏差σを計算することができる。フットボ
ールビデオは、プレーと、解説のような他の活動の間の
緩やかな移行を含む傾向がある。これらの緩やかな移行
は、一般に検出に要する計算が複雑である。しかしなが
ら、フットボールの場合、色ヒストグラムの差に基づく
緩やかな移行の検出は、特に適切であることが確認され
ている。他の技法も同様に使用できる。図２２を参照し
て説明する。好ましい技法は、プレー開始時間（ｔ０）
からの開始と十分に大きいシーンの変化が検出されるか
または時間ｔ０＋ｔｐに達するか、どちらかが先に発生
するまでの待機を含んでいる。ｔｐは、最大予測プレー
継続時間に関連し、したがって、そのプレーに最大継続
時間を自動的に設定する。緩やかな移行の検出処理のた
めのこの時間はＴｃｌｅａｎ＿ｃｕｔで表す。
【００４８】Ｔｃｌｅａｎ＿ｃｕｔ＜ｔｌｏｗであれ
ば、システムは、緩やかなシーンカットを待たず、先に
検出したシーンカットをプレーの終了としてセットす
る。これは、１プレーにつき予測した最小時間に該当
し、ｔｌｏｗを用いてその最小時間を表す。上記の条件
以外の場合、システムは、領域ｔｌｏｗ，Ｔｃｌｅａｎ
＿ｃｕｔ内の最高の色ヒストグラムの差または可能性の
あるシーン変化のような他の測度を探す。このセグメン
ト領域は、最小の時間から次の以前に検出したシーンカ
ットまでの領域である。これは、１つの可能性のあるシ
ーン変化であり得る時間内の最高の色ヒストグラムの差
を特定する。この最高の色ヒストグラムの差の時間はｔ
１と特定される。ｔ１付近、［ｔ１−ｃ１，ｔ２＋ｃ
２］において、色ヒストグラム差の平均値ｍ１及び標準
偏差値σのような統計値の計算を実行する。ｃ１及びｃ
２は、定数または最高の色ヒストグラム差の付近を調べ
るための領域に対する統計的に計算された一時的な値で
ある。平均値のフィルタ処理は、比較的短い時間間隔に
おける比較的大きい差を有する領域を強調する。ｔ１に
おける色ヒストグラムの差がｍ１＋ｃ３＊σ（ｃ３は定
数または他の数）を超え、その周辺（または他の）幾つ
かが十分に大きければ、システムは、時間（フレーム）
ｔ１付近で緩やかな移行が生じたものとみなす。プレー
は、もし存在すれば、先に特定したシーンカットまたは
緩やかな移行のいずれか短い方にセットする。
【００４９】フィールド色の調整を助けるためにフィー
ルドラインを用いる技法の以外に、他の色調整技法があ
る。例えば、この色調整は、オペレータ員が行うか、オ
ペレータ員の支援を得てシステムが実行してもよい。シ
ステムは適切な統計技法を用いて自動的に調整を実行す
ることができる。簡単な技法は次の通りである。１組の
ボールのスナップシーンの候補を得ると、システムは候
補シーンから緑色の色ヒストグラムを算定することがで
きる。候補シーンの殆どが真のボールスナップシーンフ
レームであると仮定し、システムはこの組において統計
的に分離したものを検出する。システムは次に残りの候
補フレームを用いて色の特異性を評価する。調整された
緑色を用い、システムは、プレー開始とプレー終了の両
方の検出をより正確に実行することができる。
【００５０】コマーシャル検出モジュールを使用し、コ
マーシャル内に含まれているセグメントを除去すること
により、可能性のあるプレーセグメントをさらに純化す
ることができる。放送産業において、１つ以上のブラッ
クフレームをプログラム中に挿入して同一コマーシャル
セッション内の異なるコマーシャルを分離している。図
２３は、３５０００ビデオフレーム中のブラックフレー
ムの配分例を示しており、ブラックフレームの位置は黒
線で表わしている。視覚的に、ブラックフレーム群がコ
マーシャルであることは明らかである。ブラックフレー
ム群の検出方法の１つを図２４に示す。このアルゴリズ
ムでは、通常のプログラムのセッションは少なくともＴ
ｍ分間継続すると想定する。例えば、Ｔｍは通常３分よ
り長い。一方、単一のコマーシャルは２分より長く継続
することは先ずない。かように、ブラックフレームがコ
マーシャルセッション内の異なるコマーシャルの分離に
使用される限り、この好適なシステムは正しく動作す
る。Ｔｍを適度に長く（例えば、３分に）設定すること
により、システムは、コマーシャルセッション内のコマ
ーシャルが全部でなくともブラックフレームにより分離
されていればコマーシャルを検出することが出来る。ま
た、適度に長いＴｍは通常、番組がコマーシャルとして
誤って分類される尤度を減少させる。
【００５１】望むならば、スローモーション再生検出モ
ジュールを組み込むことができる。このシステムは、重
要なイベントに通常関連するスローモーションでの再生
が発生したか否かを検出する。システムは、同じ種類の
カメラアングルを使用している場合は、通常の非スロー
モーション再生（全速）と同じ速度でプレーの再生を検
出する。検出されたプレーセグメントは、複数の特性、
即ち、スローモーション再生のみのセグメント、スロー
モーション再生セグメントのないプレーのみの再生セグ
メント及び関連する全速セグメントを含むスローモーシ
ョン再生セグメントにより特定できる。結果として得ら
れる要約は、望むならば、前記オプション中の１つ以上
の異なるセレクションを含むことができる。例えば、要
約は、スローモーションの再生を除去してもよい。これ
らのオプションもまたユーザの選択とすることができ
る。
【００５２】効果的なフットボールの要約は“プレー”
のコンセプトに基づくが、視聴者は最もエキサイティン
グなプレーを含めたより短い要約を好む場合がある。１
つのプレーの興奮度を推定する１つの有力な技法は、セ
グメントについて統計学的な分析を行い、どの時間が最
も高い興奮度を持つ可能性が最も高いかを決定する方法
である。しかしながら、この技法は、多分、十分に正確
な結果を提供し得ない。さらに、興奮度は主観的な測度
の傾向が強く数量化が難しい。さらに検討を重ね、本発
明では、ビデオと共に提供される音声信号がそのプレー
の興奮度のよき指標であることに着目した。例えば、観
衆の及び／または解説者の反応の音量は興奮度を良く示
している。観衆及び／または解説者の声が大きければ大
きい程、興奮度も大きいことが判る。
【００５３】図２５Ａ−２５Ｃを参照する。図２５Ａは
比較的静かな反応の音声信号の例を、図２５Ｂは強い反
応の音声信号の例を、図２５Ｃは極度に強い反応の音声
信号の例を示している。一般的に、よりエキサイティン
グなプレーは、次の音声特徴を有することが確かめられ
ている。第１に、プレーの平均的な音量は大きい。平均
音量は、１プレーの平均音量を次式で定義して計算でき
る。
【００５４】
【式３】
【００５５】式中、Ｓ（ｉ）はｉ番目のサンプルであ
り、Ｎはプレー内の合計サンプル数である。
【００５６】第２に、プレーは中間範囲の大きさを有す
る音声サンプルをより多く含んでいる。この第２の特徴
は、プレー中の中間範囲の大きさのサンプルの割合で表
現され、この割合Ｐは次式で計算される。
【００５７】
【式４】
【００５８】式中、Ｉ（）は定義関数（Ｉ（真）＝１及
びＩ（偽）＝０）であり、ｔ１とｔ２は中間範囲を規定
する２つの閾値である。
【００５９】図２６を参照する。要約の第１層は、プレ
ー検出技法を用いて構成する。第２層と第３層（及びそ
の他の層）は、ビデオセグメントの各々の音声レベルに
少なくとも部分的に基づいて興奮度がより大きくなるよ
うに抽出する。又、この好適な音声技法は時間的なドメ
インを使用するだけなので計算量に関しても効率のよい
技術である点が注目される。さらに、音声レベルは、特
定のプレーセグメントの継続時間を変更する基礎として
使用できる。例えば、ある特定のプレーセグメントが高
い音声レベルを有していれば、そのプレーセグメントの
境界を広げることができる。これにより、興奮度が高い
と思われるセグメントを強調することができる。また、
例えば、ある特定のプレーセグメントが低い音声レベル
を有する場合は、そのプレーセグメントの境界を狭める
ことができる。これにより、興奮度が低いと思われるセ
グメントの強調度を減じることができる。この階層式要
約は望みに応じ他のファクタに基づいてもよい。
【００６０】システム内に組み込むことができる別のモ
ジュールは、ゴールポスト検出モジュールである。ゴー
ルポストは通常黄色で予め決られたＵ字型をしている。
ゴールポストが現れるのは、キックオフの際にフィール
ドエンド側のカメラが図３に示すようなビデオを撮影す
る時にその撮影画像に現れる。ゴールポストの検出はキ
ックオフの検出を助けるのに用いることができ、特に、
カメラが非常に低いアングルで撮影しており、フィール
ド色に基づくモジュールの確実度が低くなっている際に
有効である。
【００６１】システム内に組み込むことができる別のモ
ジュールは、キャプション検出モジュールである。フッ
トボールのビデオには、周期的に、スクリーンの下部ま
たは上部に情報を含むキャプションが挿入されている。
これらのキャプションを検出して分析し、ゴールランの
ような特定のイベントが発生したことを判定することが
できる。さらに、要約のキャプションを分析し、発生し
たイベントの種類を決定することができる。このように
して、要約セグメントをさらに分類し、さらに洗練され
た階層式要約にすることができる。
【００６２】図２に示した代表的なボールスナップシー
ンに見られるように、画像の上部は、観衆の領域に該当
するので通常高いテクスチャを有しており、一方、下部
は比較的スムーズである。本発明では、ボールスナップ
シーンにおいて選手の身体は通常テクスチャ領域になる
ことに注目した。このテクスチャ情報をボールスナップ
シーンの検出に役立てることができる。本システムは、
２値テクスチャマップを次のようにして得ることができ
る。入力フレーム内の画素Ｐ０の場合、システムは、以
下に示すＰ１〜Ｐ４のような隣接画素を考慮する。
【００６３】次に、システムは絶対輝度差ＤＹｉ＝｜Ｙ
０−Ｙｉ｜を計算する。ここで、ｉは１〜４であり、Ｙ
ｉは画素Ｐｉにおける輝度である。４画素ＤＹ中の２画
素より多い画素が閾値を超えていれば、Ｐ０は“テクス
チャ”であるとみなされ、そうでなければ、“非テクス
チャ”であるとみなされる。かように定義されたテクス
チャマップは、安い計算コストで獲得することができ
る。他のテクスチャ計算技法も同様に使用できる。
【００６４】図２７を参照する。ビデオ要約は、ブラウ
ザ／フィルタに基づくＭＰＥＧ−７の部分として含ませ
ることができ、要約はこの規格内に含まれる。メディア
の要約方法は図１に示す。前記のビデオ要約技法で構築
された種々異なるレベルの要約により、システムは、ユ
ーザに、ユーザの要求に応じて異なるレベルの要約を供
給することができる。要約情報をＭＰＥＧ−７許諾のＸ
ＭＬ文書として記述すれば、ユーザは、例えば個人化の
ようなＭＰＥＧ−７の提供機能をすべて利用できる。異
なるレベルの要約を、ＭＰＥＧ−７許諾の方法で記述し
たユーザの好みに基づきユーザに提供することができ
る。ＭＰＥＧ−７によるユーザの好み記述は異なる要約
モードと詳細レベルに関連する好み要素を含む。
【００６５】サーバまたはサービスプロバイダ側で要約
が行われる場合、ユーザは、ＭＥＰＧ−７のフォーマッ
トで符号化された要約記述をダウンロードして受け取
る。代わりに、対話形式ビデオオンデマンド（ＶＯＤ）
アプリケーションの場合、メディア及びその要約記述
は、プロバイダのＶＯＤサーバに常時保管され、ユーザ
（例えば、遠隔端末）はユーザ側のブラウザーインター
フェイスを介して入手する。この場合、要約はサービス
プロバイダにより追加される追加情報で充実させること
ができる。さらに、要約は顧客によっても実施すること
ができる。
【００６６】図２８を参照する。重要なセグメントを自
動的に検出するモジュールの出力は、入力ビデオプログ
ラムの重要部分とプレーを含むセグメントのインデック
スのセットである。ＭＰＥＧ−７またはＴＶ常時許諾記
述のような記述文書は記述生成モジュールにおいて生成
される。要約セグメントは、入力ビデオプログラムを記
述に従って処理する要約セグメント抽出モジュールによ
り後処理モジュールに送られる。後処理モジュールは、
要約セグメント及び／または記述を処理して最終要約ビ
デオと最終記述を生成する。後処理モジュールは、後処
理したセグメントをまとめて最終要約ビデオを形成す
る。後処理モジュールは、得られたビデオを、保管／送
信チャネルの要求に一致させるために、入力ビデオのフ
ォーマットとは異なるフォーマットに変換することがで
きる。最終記述は、又、その記述が当初ＸＭＬのような
テキスト文書として生成されていれば、符号化、例えば
２進符号化することができる。後処理には、当初のオー
ディオトラックへの解説の追加、広告セグメントまたは
メタデータの挿入を含めることができる。プレーの検出
とは異なり、後処理は完全に手動または一部手動で実行
される。後処理は、例えば、ビデオセグメントに関係す
るオーディオトラック中の特徴の自動検出に基づくイベ
ントの自動等級付けとサブセットの選択を含むことがで
きる。この処理は、サーバにおいて実行でき、結果とし
て得られたビデオは通常ネットワークで顧客に送達され
る。これに代わり、得られたビデオをＶＯＤライブラリ
に納め、ＶＯＤサーバからユーザに供給できるようにし
てもよい。
【００６７】図２９を参照する。１プレーの開始の検
出、１プレーの終了の検出及び要約を組み込んだシステ
ムを開発することができる。この検出技法は、単一フレ
ーム、複数のフレームまたはその組み合わせの処理に基
づくことができる。
【００６８】これまでの記述において使用した用語と表
現は、説明を目的としたものであり、制限を目的とした
ものではない。また、かような用語と表現の使用におい
て、図示し記述した特徴及びその部分の同等な用語及び
表現での記述を排除する意図は全く無く、本発明の範囲
は、特許請求範囲によってのみ規定され制限されること
を確認する。
【図面の簡単な説明】
【図１】プレーの検出を説明するフローチャートの１例
を示す図である。
【図２】フットボールにおけるボールをスナップするシ
ーンの１例を示す図である。
【図３】フットボールにおけるキックシーンの１例を示
す図である。
【図４】全体的に緑色の領域の１例を示す図である。
【図５】全体的に緑色の領域を定義する技法の説明図で
ある。
【図６】フィールドフレームのヒストグラムを定義する
技法の説明図である。
【図７】フレーム及び／またはフィールドの中央領域の
定義を示す図である。
【図８】当初の全体的な緑色の選択に基づくフレーム候
補の選択を示す図である。
【図９】フットボールにおけるボールをスナップするシ
ーンの１例を示す図である。
【図１０】図９の画像の場合のエッジ検出を示す図であ
る。
【図１１】図１０のエッジ検出用の補助のラインを示す
図である。
【図１２】フットボールビデオ用の計算された動きベク
トルを示す図である。
【図１３】フットボールの１プレーの開始の１例を示す
図である。
【図１４】図１３の画像用の緑色マスクの１例を示す図
である。
【図１５】フットボール選手の画像用の緑色マスクの１
例を示す図である。
【図１６】フットボールプレーヤーの１例を示す図であ
る。
【図１７】図１４の緑色マスクの投影を示す図である。
【図１８】図１５の緑色マスクの投影を示す図である。
【図１９】時間的な証拠の蓄積を示す図である。
【図２０】Ｕ−Ｖ平面を示す図である。
【図２１】フットボールにおける１プレーの終了を検出
する図である。
【図２２】１プレーの終了を特定するための好適な技法
の説明図である。
【図２３】コマーシャル用ブラックフレームの検出を示
す図である。
【図２４】コマーシャル情報に基づくセグメントの削除
技法の１例を説明する図である。
【図２５】種々のプレーのオーディオセグメントを示す
図である。
【図２６】原ビデオシーケンスの多層要約の形成を示す
図である。
【図２７】メディアブラウザ及び／またはサービスアプ
リケーションの一部としてのビデオ要約モジュールを示
す図である。
【図２８】ビデオ処理システムを示す図である。
【図２９】フットボール要約システムの全体構成を示す
図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 エム．イブラハム セザン アメリカ合衆国，98607 ワシントン州, カマス，2213 エヌダヴリュ フッド ド ライブ (72)発明者 ジェフリー ビー． サンプセル アメリカ合衆国，98682 ワシントン州, バンクーバー，27119 エヌイー ブラッ ドフォード ロード Ｆターム(参考） 5B075 ND12 ND14 ND16 NR02 NR20 NS01 PQ20 PR06 PR08 QM08 QS03 UU35 5C053 FA14 GB05 HA30 5C055 BA05 BA07 CA04 CA16 5L096 AA02 AA06 FA06 FA37 HA02

Claims (17)

    【特許請求の範囲】
  1. 【請求項１】 フットボールを内容とするビデオの処理
    方法において、（ａ）前記ビデオの各セグメントが前記
    ビデオの複数のフレームを含んでおり、１個のボールが
    プレーに投入された時点に基づく開始時間と前記ボール
    がプレー外にあると見なされる時点に基づく終了時間で
    特徴付けられる１つのイベントに基づき、前記ビデオの
    複数のセグメントを特定するステップと、（ｂ）前記複
    数のセグメントを含むことにより、前記ビデオよりも少
    ないフレームを含む前記ビデオの要約を生成するステッ
    プより成るビデオ処理方法。
  2. 【請求項２】 フットボールを内容とするビデオの処理
    方法において、（ａ）少なくとも１つの略緑色の空間領
    域の検出に基づき複数のセグメントの開始を特定し、各
    セグメントは前記ビデオの前記複数のフレームを含んで
    いることを特徴とする前記ビデオの複数のセグメントを
    特定するステップと、（ｂ）前記複数のセグメントを含
    むことにより、前記ビデオよりも少ないフレームを含む
    前記ビデオの要約を生成するステップより成るビデオ処
    理方法。
  3. 【請求項３】 フットボールを内容とするビデオの処理
    方法において、（ａ）少なくとも１つの略褐色の空間領
    域の検出に基づき複数のセグメントの開始を特定し、各
    セグメントは前記ビデオの複数のフレームを含んでいる
    ことを特徴とする前記ビデオの複数のセグメントを特定
    するステップと、（ｂ）前記複数のセグメントを含むこ
    とにより、前記ビデオよりも少ないフレームを含む前記
    ビデオの要約を生成するステップより成るビデオ処理方
    法。
  4. 【請求項４】 フットボールを内容とするビデオの処理
    方法において、（ａ）各セグメントが前記ビデオの複数
    のフレームを含んでおり、複数の前記セグメントの開始
    を複数の略並行で間隔を置いた略直線の検出に基づき特
    定することを特徴とする前記ビデオの複数のセグメント
    を特定するステップと、（ｂ）前記複数のセグメントを
    含むことにより、前記ビデオよりも少ないフレームを含
    む前記ビデオの要約を生成するステップより成るビデオ
    処理方法。
  5. 【請求項５】 フットボールを内容とするビデオの処理
    方法において、（ａ）各セグメントが前記ビデオの複数
    のフレームを含んでおり、複数の前記セグメントの開始
    を前記ビデオのズーミングとそれに続く有意な動きのな
    いビデオの検出に基づき特定することを特徴とする前記
    ビデオの複数のセグメントを特定するステップと、
    （ｂ）前記複数のセグメントを含むことにより、前記ビ
    デオよりも少ないフレームを含む前記ビデオの要約を生
    成するステップより成るビデオ処理方法。
  6. 【請求項６】 フットボールを内容とするビデオの処理
    方法において、（ａ）各セグメントが前記ビデオの複数
    のフレームを含んでおり、複数の前記セグメントの開始
    を前記フットボールビデオの中の選手のユニホームの１
    つのテクスチャと１つの色の少なくとも１つのモデルと
    一致する少なくとも１つの全体的ではない緑色領域の検
    出に基づき特定することを特徴とする前記ビデオの複数
    のセグメントを特定するステップと、（ｂ）前記複数の
    セグメントを含むことにより、前記ビデオよりも少ない
    フレームを含む前記ビデオの要約を生成するステップよ
    り成るビデオ処理方法。
  7. 【請求項７】 フットボールを内容とするビデオの処理
    方法において、（ａ）各セグメントが前記ビデオの複数
    のフレームを含んでおり、複数の前記セグメントの少な
    くとも１つについての特定が前記ビデオの第１の単一フ
    レームの処理に基づく前記セグメントの開始の特定を含
    むことを特徴とする前記ビデオの複数のセグメントを特
    定するステップと、（ｂ）前記第１の単一フレームが前
    記第１の単一フレームに時間的に関連する他の単一フレ
    ームの処理に基づく前記セグメントの適切な開始である
    こと証明するステップと、（ｃ）前記複数のセグメント
    を含むことにより、前記ビデオよりも少ないフレームを
    含む前記ビデオの要約を生成するステップより成るビデ
    オ処理方法。
  8. 【請求項８】 フットボールを内容とするビデオの処理
    方法において、（ａ）複数の前記セグメントの少なくと
    も１つの終了に関する特定が前記ビデオの１つのシーン
    チェンジの検出に基づいており、前記セグメントの各セ
    グメントが前記フットボールビデオの複数のフレームを
    含んでいることを特徴とする前記ビデオの複数のセグメ
    ントを特定するステップと、（ｂ）前記複数のセグメン
    トを含むことにより、前記ビデオよりも少ないフレーム
    を含む前記ビデオの要約を生成するステップより成るビ
    デオ処理方法。
  9. 【請求項９】 フットボールを内容とするビデオの処理
    方法において、（ａ）複数セグメントの少なくとも１つ
    のセグメントの終了に関する特定が複数のシーンチェン
    ジに基づいており、前記セグメントの前記少なくとも１
    つのセグメントの開始の後で検出された第１のシーンチ
    ェンジが前記セグメントの前記少なくとも１つのセグメ
    ントの終了として選択されることがなく、前記セグメン
    トの各セグメントが前記フットボールビデオの複数のフ
    レームを含んでいることを特徴とする前記ビデオの複数
    のセグメントを特定するステップと、（ｂ）前記複数の
    セグメントを含むことにより、前記ビデオよりも少ない
    フレームを含む前記ビデオの要約を生成するステップよ
    り成るビデオ処理方法。
  10. 【請求項１０】 フットボールを内容とするビデオの処
    理方法において、（ａ）複数のセグメントの各セグメン
    トが前記ビデオの複数のフレームを含んでおり、前記ビ
    デオの複数のセグメントを特定するステップと、（ｂ）
    十分に短い時間で時間的に分離されている複数のセグメ
    ントを特定するステップと、（ｃ）ステップ（ｂ）の結
    果である前記特定に基づき前記特定された複数のセグメ
    ントを接続するステップと、（ｄ）前記複数のセグメン
    トを含むことにより、前記ビデオよりも少ないフレーム
    を含む前記ビデオの要約を生成するステップより成るビ
    デオ処理方法。
  11. 【請求項１１】 フットボールを内容とするビデオの処
    理方法において、（ａ）複数のセグメントの開始を全体
    的ではない緑色の領域の２つの略整列した組の特定に基
    づき特定し、前記複数のセグメントの各セグメントが前
    記ビデオの複数のフレームを含んでいることを特徴とす
    る前記ビデオの複数のセグメントを特定するステップ
    と、（ｂ）前記複数のセグメントを含むことにより、前
    記ビデオよりも少ないフレームを含む前記ビデオの要約
    を生成するステップより成るビデオ処理方法。
  12. 【請求項１２】 フットボールを内容とするビデオの処
    理方法において、（ａ）前記セグメントのそれぞれが、
    １つのフットボールのプレイを含んでいる前記ビデオの
    複数のセグメントを特定するステップと、（ｂ）前記ビ
    デオ内のコマーシャルを検出するステップと、（ｃ）前
    記フットボールビデオよりも少ないフレームを含み、前
    記コマーシャルに時間的に十分近い前記ビデオの前記複
    数のセグメントが前記要約に含まれることがない前記複
    数のセグメントを含むことにより前記ビデオの要約を生
    成するステップより成るビデオ処理方法。
  13. 【請求項１３】 フットボールを内容とするビデオの処
    理方法において、（ａ）前記複数セグメントの各セグメ
    ントが１つのフットボールのプレーを含んでおり、前記
    セグメントが全速プレーと該全速プレーのスローモーシ
    ョンプレーを含んでいる前記ビデオの複数のセグメント
    を特定することと、（ｂ）前記フットボールビデオより
    も少ないフレームを含み、（ｉ）全速プレイのみを含む
    要約と（ｉｉ）スローモーションプレーのみを含む要約
    と（ｉｉｉ）全速プレイとスローモーションプレーの両
    方を含む要約とからユーザが選択できる前記ビデオの要
    約を前記複数のセグメントを含むことにより生成するこ
    ととより成るビデオ処理方法。
  14. 【請求項１４】 フットボールを内容とするビデオの処
    理方法において、（ａ）複数のセグメントの各セグメン
    トがフットボールの１プレーを含んでいる前記ビデオの
    複数のセグメントを特定するステップと、（ｂ）前記複
    数のセグメントを含むことにより、前記フットボールビ
    デオよりも少ないフレームを含む前記ビデオの要約を生
    成するステップと、（ｃ）前記セグメントの前記少なく
    とも１つのセグメントに関連するオーディオ情報に少な
    くとも部分的に基づき前記要約から前記セグメントの少
    なくとも１つのセグメントを除去するステップより成る
    ビデオ処理方法。
  15. 【請求項１５】 フットボールを内容とするビデオの処
    理方法において、（ａ）各セグメントがフットボールの
    １つのプレーを含んでいる前記ビデオの複数のセグメン
    トを特定するステップと、（ｂ）前記複数のセグメント
    を含ませることにより、前記フットボールビデオよりも
    少ないフレームを含む前記ビデオの要約を生成するステ
    ップと、（ｃ）前記セグメントの少なくとも１つのセグ
    メントに関連する音声情報に少なくとも部分的に基づい
    て前記要約から前記セグメントの少なくとも１つのセグ
    メントの継続時間を変更するステップとより成るビデオ
    処理方法。
  16. 【請求項１６】 ビデオの処理方法において、（ａ）前
    記ビデオの記述を供給することと、（ｂ）前記記述に基
    づき前記ビデオの複数のセグメントを特定することと、
    （ｃ）前記特定されたセグメントに基づき前記ビデオよ
    りも少ないフレーム数の別のビデオを生成することとよ
    り成るビデオ処理方法。
  17. 【請求項１７】 ビデオの処理方法において、（ａ）ビ
    デオの要約を特定するサービスプロバイダと、（ｂ）前
    記要約の記述を特定するサービスプロバイダと、（ｃ）
    前記要約と前記記述を遠方のユーザに該ユーザからの要
    求に答えて供給するサービスプロバイダとより成るビデ
    オ処理方法。
JP2002156920A 2001-06-04 2002-05-30 フットボールビデオ処理方法 Pending JP2003143546A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US29586801P 2001-06-04 2001-06-04
US60/295868 2001-06-04
US09/933,862 US7499077B2 (en) 2001-06-04 2001-08-20 Summarization of football video content
US09/933862 2001-08-20

Publications (1)

Publication Number Publication Date
JP2003143546A true JP2003143546A (ja) 2003-05-16

Family

ID=26969378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002156920A Pending JP2003143546A (ja) 2001-06-04 2002-05-30 フットボールビデオ処理方法

Country Status (2)

Country Link
EP (1) EP1265154A3 (ja)
JP (1) JP2003143546A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069172A1 (ja) * 2004-01-14 2005-07-28 Mitsubishi Denki Kabushiki Kaisha 要約再生装置および要約再生方法
JP2006251885A (ja) * 2005-03-08 2006-09-21 Kddi Corp スポーツ映像の分類装置およびログ生成装置
WO2015190071A1 (ja) * 2014-06-10 2015-12-17 パナソニック株式会社 映像処理方法、映像処理装置
JP2019501584A (ja) * 2015-12-04 2019-01-17 スリング メディア，インク． 遠隔制御されるメディアスタジオ
JP2021002151A (ja) * 2019-06-20 2021-01-07 株式会社Pfu 画像処理装置、制御方法及び制御プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7624346B2 (en) * 2002-07-26 2009-11-24 National Institute Of Information And Communications Technology Incorporated Administrative Agency Contents summarizing unit and contents summarizing program that produce content summary information summarized from contents regarding sports
CN1543096A (zh) * 2003-04-30 2004-11-03 ���µ�����ҵ��ʽ���� 自动检测电视广告的装置及其方法
EP2428956B1 (de) * 2010-09-14 2019-11-06 teravolt GmbH Verfahren zur Erstellung von Filmsequenzen

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005069172A1 (ja) * 2004-01-14 2005-07-28 Mitsubishi Denki Kabushiki Kaisha 要約再生装置および要約再生方法
JP2006345554A (ja) * 2004-01-14 2006-12-21 Mitsubishi Electric Corp 再生装置
JP2007006509A (ja) * 2004-01-14 2007-01-11 Mitsubishi Electric Corp 再生装置
KR100831531B1 (ko) * 2004-01-14 2008-05-22 미쓰비시덴키 가부시키가이샤 기록 장치, 기록 방법, 기록 매체, 요약 재생 장치, 요약 재생 방법, 멀티미디어 요약 시스템 및 멀티미디어 요약 방법
JP2006251885A (ja) * 2005-03-08 2006-09-21 Kddi Corp スポーツ映像の分類装置およびログ生成装置
JP4577774B2 (ja) * 2005-03-08 2010-11-10 Ｋｄｄｉ株式会社 スポーツ映像の分類装置およびログ生成装置
WO2015190071A1 (ja) * 2014-06-10 2015-12-17 パナソニック株式会社 映像処理方法、映像処理装置
JPWO2015190071A1 (ja) * 2014-06-10 2017-04-20 パナソニック株式会社 映像処理方法、映像処理装置
US9928879B2 (en) 2014-06-10 2018-03-27 Panasonc Corporation Video processing method, and video processing device
JP2019501584A (ja) * 2015-12-04 2019-01-17 スリング メディア，インク． 遠隔制御されるメディアスタジオ
US10715838B2 (en) 2015-12-04 2020-07-14 Sling Media L.L.C. Remote-controlled media studio
US11153613B2 (en) 2015-12-04 2021-10-19 Sling Media L.L.C. Remote-controlled media studio
JP2021002151A (ja) * 2019-06-20 2021-01-07 株式会社Pfu 画像処理装置、制御方法及び制御プログラム
JP7304747B2 (ja) 2019-06-20 2023-07-07 株式会社Pfu 画像処理装置、制御方法及び制御プログラム

Also Published As

Publication number Publication date
EP1265154A3 (en) 2004-08-04
EP1265154A2 (en) 2002-12-11

Similar Documents

Publication Publication Date Title
US7312812B2 (en) Summarization of football video content
US7143354B2 (en) Summarization of baseball video content
US7120873B2 (en) Summarization of sumo video content
US7047157B2 (en) Processing of video content
US7653131B2 (en) Identification of replay segments
US7203620B2 (en) Summarization of video content
US7657836B2 (en) Summarization of soccer video content
US6813313B2 (en) Method and system for high-level structure analysis and event detection in domain specific videos
Li et al. Event detection and summarization in American football broadcast video
US20100104266A1 (en) Information processing apparatus and method of controlling same
JP4577774B2 (ja) スポーツ映像の分類装置およびログ生成装置
Zhu et al. Automatic multi-player detection and tracking in broadcast sports video using support vector machine and particle filter
JP2003143546A (ja) フットボールビデオ処理方法
KR100963744B1 (ko) 축구 동영상의 이벤트 학습 및 검출방법
JP4098551B2 (ja) 複数のフレームを含む圧縮されているビデオを分析する方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050225

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304