JP2010183302A - 映像処理装置、映像処理方法及びプログラム - Google Patents
映像処理装置、映像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2010183302A JP2010183302A JP2009024302A JP2009024302A JP2010183302A JP 2010183302 A JP2010183302 A JP 2010183302A JP 2009024302 A JP2009024302 A JP 2009024302A JP 2009024302 A JP2009024302 A JP 2009024302A JP 2010183302 A JP2010183302 A JP 2010183302A
- Authority
- JP
- Japan
- Prior art keywords
- video
- data
- game
- event
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/002—Training appliances or apparatus for special sports for football
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
- G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
- H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
- H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Studio Circuits (AREA)
Abstract
【解決手段】特定の範囲を撮影して得られた映像データに、その映像データによる映像内の発生事象を示した発生事象データと、その発生事象に関係した被写体を特定する被写体特定データとを付加したものを用意する。その用意された発生事象データと被写体特定データとに基づいて、映像データに対して、所定の効果を加えた映像とする映像処理を行う。
【選択図】図4
Description
また、必要により得点や選手名などの案内映像を重畳するようにして、映像コンテンツ再生時に、それらの案内が表示されるようにしてある。
さらに、例えばサッカーゲームの得点が入ったシュートのシーンなどの、試合中のハイライトとなるシーンについて、そのシーンの直後に再度再生させたり、別のアングルの映像を挿入したりする等の編集を行って、映像コンテンツとして完成させる。或いは、編集者の操作で、映像自体に特殊な効果を入れることも行われている。
そして、その映像蓄積部で蓄積された映像データに付加された発生事象データと被写体特定データとに基づいて、映像蓄積部に蓄積された映像データに対して、所定の効果を加えた映像とする。そして、その効果が加えられた映像データを出力する。
例えば、サッカーゲームの如きスポーツの試合を撮影した映像が得られる場合に、その試合の映像中の得点シーンなどの事象が発生したタイミングと、その事象に関わった選手を、付加データから特定することができる。そして、その特定された選手を拡大したり、特定された選手の動きを示すなどの編集処理が施された映像を表示させることが可能となる。
1.一実施の形態
(1)全体のシステム構成例(図1)
(2)フルスタッツ生成装置の構成例(図2)
(3)スタッツ情報の例(図4)
(4)データ構造の例(図5〜図14)
(5)映像編集処理例(図15,図16)
(6)映像とメタデータの例(図17〜図20)
(7)再生映像の例(図21〜図23)
(8)別の再生映像の例(図24〜図26)
[(1)全体のシステム構成例:図1]
まず、本発明の一実施の形態の例(以下本例と称する)に係るシステムの全体構成例について、図1を参照して説明する。本例においては、サッカースタジアムでサッカーの試合をカメラで撮影して、その撮影して得られた映像などを蓄積させるシステムである。
即ち、例えば図3に示すように、スタジアムのフィールド全体の領域を撮影するように固定されたカメラを用意して、そのカメラが撮影した映像データを得る。なお、図3の例では、左右に並べた2台のカメラで撮影した映像を接続して、スタジアムのフィールド全体を撮影した映像としてある。
入力装置14では、サッカーゲームに出場したチーム名、選手名、審判名などのデータの他に、試合経過の詳細が操作者の操作で入力される。試合経過の詳細としては、ゴールなどの基本的なデータの他に、シュート,ファール,コーナーキックなどの各事象が発生した際の情報が、それぞれに関わった選手名などと共に得られる情報である。また、各選手のフィールド上のおおまかな位置の情報についても、可能であれば入力される。なお、試合経過の情報には、試合の開始時間からの経過時間又は絶対的な時間が付加される。
ここまでが、試合中にリアルタイムで処理される構成である。
フルスタッツ生成装置20には、入力装置21が接続してあり、詳細なスタッツ情報が入力され、入力装置14で入力されたスタッツ情報を完全なスタッツ情報(フルスタッツ情報)とする処理が行われる。また、入力装置14で入力されたスタッツ情報に誤りがある場合には、その誤りの修正についても行われる。入力装置21についても、コンピュータ装置が使用可能である。
入力装置21で入力されるスタッツ情報としては、例えば、フィールド上の各選手や審判の位置のデータ、選手や審判の顔の向きのデータ、ボールの位置のデータなどの、リアルタイムで入力が困難な詳細データである。これらのデータは、作業者が手動で入力するものであるが、スタジアムのフィールド全体を撮影した映像から、自動的に生成させてもよい。
次に、図2を参照して、フルスタッツ生成装置20とその周辺機器の構成例について説明する。
ライブ映像キャプチャ部101は、図1の編集装置13側から伝送された映像データを取り込む処理が行われる。そのライブ映像キャプチャ部101でキャプチャされた映像は、映像処理部102に供給されて、必要によりバッファ103に蓄積される。
映像カット部108では、イベントハンドラ部107からの指示に基づいて、映像処理部102に供給される映像中の特定部分の映像を抽出して拡大するなどの編集処理が行われる。映像処理部102で編集された映像データは、ストレージ部110に蓄積される。
このストレージ部110には、イベントデータ受信機能部106で受信されたイベントデータ(スタッツ情報)についても蓄積される。さらに、このストレージ部110に蓄積された映像データに対して、図1に示した映像処理装置22での処理で編集作業が行われる。なお、図2ではスタッツ情報として、イベントデータの処理だけを示してあるが、各選手の位置情報などのその他のデータについても、同様の処理構成で入力されて処理される。
次に、本例のシステムで映像データに付加されるスタッツ情報の概要を、図4を参照して説明する。
図4に示すように、サッカーゲームの試合開始から終了まで、イベントデータと、各選手や審判やボールについての位置情報データとが付加される。
イベントデータについては、図4に示すように、キックオフ、パス、タッチ、シュートなどの試合中の各事象ごとに、その発生した時刻と、各事象を特定する番号と、どの選手が関係した事象であるかなどの情報が付加される。位置情報データについては、1秒ごとなどの所定タイミングごとに、フィールド内の全選手や審判,ボールの座標位置を示したデータである。このイベントデータと位置データとを統計処理して解析することで、1試合内でのシュート本数、ゴール数などの詳細が解析できる。図4の例では、右足シュート格率と左足シュート確率を算出してある。なお、この図4のデータは一例を示したものであり、後述する詳細データ構造に基づいて、その他の詳細な解析が可能であることは勿論である。
次に、フルスタッツ生成装置20で生成されるスタッツ情報のデータ構造について、図5〜図13を参照して説明する
まず、スタッツ情報のデータ構造の概要を、図5〜図9を参照して説明する。
本例のスタッツ情報の各データは、図5に示したように、ヘッダとボディとトレイラとで構成されるフォーマットであり、ボディ部分に、以下に説明する実際のデータが配置される。
図6〜図9は、このボディ部分の例を示したものである。
図6は、固定ポジションデータを示す。この固定ポジジョンデータは、サッカー試合のフィールド上の各選手の決まっているポジションを示すデータである。即ち、フォワードのセンタなどの各選手に割り当てられたポジションのデータが、1選手に1フレームずつ割り当てられて配置される。この固定ポジションデータは、選手交代がない限りは、基本的に1試合のデータに1回付加されれば十分なデータである。
図10は、ファイルヘッダの例を示した図である。ファイルヘッダには、フォーマットタイプ、フォーマットバージョン、フレームレートなどのデータ構造を示すデータが先頭に配置される。また、試合の大会のID、試合ID、ホームチームID、アウェイチームIDが配置され、フィールドの横及び縦のサイズ(X方向のサイズ及びY方向のサイズ)や、選手数などデータも配置される。
そして図10に示すように、第1ハーフタイムのスタート時間、第1ハーフタイムの終了時間、第2ハーフタイムのスタート時間、第2ハーフタイムの終了時間、延長第1ハーフタイムのスタート時間、・・PKスタート時間などが示される。この例では、絶対的な時間(UTC時刻)で各時間を示してある。図10の右側は、各時間の情報の詳細構造を示した図である。
試合中のボールの位置について、UTC時刻と、映像のフレーム番号と、フィールド中のX方向及びY方向の座標位置と、高さ方向(Z方向)の座標位置が示される。
プレーヤポジションファイルは、各選手についてのフィールド中のX方向及びY方向の座標位置と、高さ方向(Z方向)の座標位置が示される。さらに、その選手の顔の位置についての、フィールド中のX方向及びY方向の座標位置と、高さ方向(Z方向)の座標位置が示される。さらに、その選手の顔の位置についての、フィールド中のX方向及びY方向の座標位置と、高さ方向(Z方向)の座標位置が示される。顔については、顔の正面が向いている方向のデータを付加してもよい。
さらにまた、プレーヤポジションファイルには、選手が足を動かす周期などの選手の動きに関する詳細のデータについても付加してある。
プレーヤイベントファイルは、各選手が試合中に行った事象の詳細のデータが配置される。フレーム番号と、プレーヤIDとチームIDとユニフォーム番号と、イベントデータとしての事象の詳細のデータとが配置される。
図15及び図16は、このようにして得られたスタッツ情報に基づいて、映像の編集を行う場合の処理例を示したフローチャートである。それぞれのフローチャートの処理は、例えば図1の映像処理装置22で全て自動的に行うようにしてもよいが、例えば、スタッツ情報に基づいて編集状態を選択させる表示を編集作業者が見る画面上で行って、操作者が選択して、該当する編集を実行するかどうかを決めるようにしてもよい。なお、両フローチャート中でメタ情報と称しているデータは、上述したスタッツ情報に相当する。
ステップS12で、メタ情報(スタッツ情報のライブイベントデータ)が存在した場合には、そのメタ情報で示される選手やボールの座標位置から、広角映像中でその事象が起こっているエリアを判断する(ステップS13)。また、事象(イベント)の種類に応じて、どのような映像に編集(効果)を施すのかについても判断する。
そして、決定されたエリアと効果を、現在再生中の映像に施す編集を行い(ステップS14)、その編集された映像データを取り出す。その後ステップS11の再生に戻る。具体的な編集例については後述する。
まず、メタデータの分析と編集(効果)の決定が行われると(ステップS21)、その編集(効果)作業が実行されて映像データが作成されたか否か判断する(ステップS22)。該当する映像データが作成されるまで待機する。そして、作成された場合に、フィールド全体を撮影した広角映像と、作成された映像との再生タイミングを同期させる時刻同期処理を行う(ステップS23)。この時刻同期処理が行われることで、その広角映像と編集された映像とが同時に再生される映像コンテンツが作成され(ステップS24)、ステップS21の処理に戻る。
次に、広角映像の映像データとメタデータとの例について、図17〜図20を参照して説明する。
例えば図17に示すように、あるタイミングでポジションA5の選手がシュートしたことがメタデータから示されるとする。
このとき、図18に示すように、該当する選手を広角映像から切り出し、その映像を拡大した編集映像データを作成し、広角映像と並べて配置する。
このとき、図20に示すように、ボールの軌跡の映像を作成して、そのボール軌跡の映像を広角映像に重畳して表示させる映像とする。
なお、ここでの例は、フィールド全体を撮影した広角映像だけがえられた場合であるが、他のアングルの映像が得られる場合には、他のアングルの映像を使用して作成してもよい。
図21〜図23は、より具体的な編集後の映像の例を示した図である。
図21の例は、画面の下部に、フィールド全体を撮影した広角映像を配置し、その上にメタデータに基づいた編集で作成された各映像を配置し、されに得点や選手名の一覧を各部に配置したものである。本例によると、メタデータを使用することで、このような映像が自動的に作成されるようになる。
図24〜図26は、本例のサッカー試合を撮影した映像と、サッカー試合のスタッツ情報とを使って、さらに別の表示形態とした例である。
図24の例では、画面の左上の部分に、フィールド全体を撮影した広角映像の中から、ボールがある位置を中心とした比較的広い範囲の映像を配置する。この映像は、フィールド全体を撮影した広角映像から切り出す他に、別のカメラの映像としてもよい。
画面の右上の部分に、その中の特定の選手を拡大表示する。この拡大表示する選手は、例えば、ユーザ操作で予め指定した選手を拡大するか、或いは、ボールの近くにいる選手を自動的に選んで拡大表示してもよい。或いはまた、ボールの位置が判る場合には、そのボールの位置を中心とした拡大表示を行うようにしてもよい。また、この例では拡大倍率を、ユーザ操作で選択できるようにしてある。拡大倍率を操作するスクロールバー表示を行うようしてある。この図24の例では、拡大率200%を設定してある。この拡大率は、左上の全体映像からの拡大率である。広角映像中には、拡大映像がどの範囲であるのかの枠を示してある。
なお、特定の選手を拡大表示する際に、例えばスタッツ情報で、該当する選手の顔の向きが判り、なおかつ選手を撮影するカメラが複数の方向に配置されている場合には、その選手の顔が写る方向から撮影したカメラの映像を拡大表示するようにしてもよい。
この数字などのデータは、個々の選手ごとのデータとして示す場合と、試合全体としてのデータを示す場合のいずれでもよい。
なお、図24の左端に示すように、フィールドの表示方向をユーザ操作で選択できるようにしてある。例えば、図24に示した真横の表示(ワイド表示)と、ホームチーム側のゴールから見た表示と、アウェイチーム側のゴールから見た表示とを選択できるようにしてある。また、表示させる選手として、ホームチームの選手と相手チーム(アウェイチーム)の選手と、審判とを個別に選定できるようにしてある。図24では全てを表示させてある。
また、上述した実施の形態では、映像データと、試合中に発生した事象のデータと、その事象に関わる映像中の被写体(選手など)を特定するデータとを、映像のフレーム番号でリンクさせるようにしたが、他のデータでリンクさせるようにしてもよい。上述した実施の形態では、絶対的な時刻データであるUTCデータを付加するようにしてあり、そのUTCデータからリンクさせてもよい。また、試合開始時間からの絶対的な経過時間や経過フレーム数から、リンクさせてもよい。
Claims (7)
- 特定の範囲を撮影して得られた映像データと、前記映像データによる映像内の発生事象を示した発生事象データと、その発生事象に関係した被写体を特定する被写体特定データとを蓄積する映像蓄積部と、
前記映像蓄積部で蓄積された映像データに付加された発生事象データと被写体特定データとに基づいて、前記映像蓄積部に蓄積された映像データに対して、所定の効果を加えた映像とする映像処理部と、
前記映像処理部で効果が加えられた映像データを出力する映像出力部とを備えた
映像処理装置。 - 映像蓄積部に蓄積された映像データは、スポーツゲームを収録した映像データであり、
前記被写体特定データは、前記スポーツゲームに参加している選手の登録されたポジションのデータと、前記スポーツゲームの進行中の移動位置のデータを含み、
前記映像処理部で所定の効果を加えた映像は、前記スポーツゲームに参加している特定の選手の位置又は動きが判る映像である
請求項1に記載の映像処理装置。 - 前記スポーツゲームに参加している特定の選手の位置又は動きが判る映像は、ゲームが行われるフィールド内での一部又は全ての選手の位置を、記号又は名前を付加して示した映像である
請求項2に記載の映像処理装置。 - 前記ゲームが行われるフィールド内でのそれぞれの選手の位置を、記号又は名前を付加して示す映像は、前記スポーツゲームを収録した映像とは別の、図形で示す映像である
請求項3に記載の映像処理装置。 - 前記映像処理部で所定の効果を加えた映像は、被写体特定データで示される特定の被写体の映像を、映像蓄積部に蓄積された映像データから抽出して拡大表示する映像である
請求項2に記載の映像処理装置。 - 特定の範囲を撮影して得られた映像データと、前記映像データによる映像内の発生事象を示した発生事象データと、その発生事象に関係した被写体を特定する被写体特定データとを蓄積する映像蓄積処理と、
前記映像蓄積処理で蓄積された映像データに付加された発生事象データと被写体特定データとに基づいて、前記映像蓄積処理に蓄積された映像データに対して、所定の効果を加えた映像とする映像処理とを行う、
映像処理方法。 - 特定の範囲を撮影して得られた映像データと、前記映像データによる映像内の発生事象を示した発生事象データと、その発生事象に関係した被写体を特定する被写体特定データとを蓄積する映像蓄積処理と、
前記映像蓄積処理で蓄積された映像データに付加された発生事象データと被写体特定データとに基づいて、前記映像蓄積処理に蓄積された映像データに対して、所定の効果を加えた映像とする映像処理とを情報処理装置に実行させる
プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009024302A JP4905474B2 (ja) | 2009-02-04 | 2009-02-04 | 映像処理装置、映像処理方法及びプログラム |
US12/657,814 US8358346B2 (en) | 2009-02-04 | 2010-01-28 | Video processing device, video processing method, and program |
CN2010101058228A CN101834999B (zh) | 2009-02-04 | 2010-01-28 | 视频处理装置、视频处理方法以及程序 |
EP10151856A EP2216788A1 (en) | 2009-02-04 | 2010-01-28 | Video processing device, video processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009024302A JP4905474B2 (ja) | 2009-02-04 | 2009-02-04 | 映像処理装置、映像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010183302A true JP2010183302A (ja) | 2010-08-19 |
JP4905474B2 JP4905474B2 (ja) | 2012-03-28 |
Family
ID=42212205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009024302A Expired - Fee Related JP4905474B2 (ja) | 2009-02-04 | 2009-02-04 | 映像処理装置、映像処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8358346B2 (ja) |
EP (1) | EP2216788A1 (ja) |
JP (1) | JP4905474B2 (ja) |
CN (1) | CN101834999B (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014165764A (ja) * | 2013-02-26 | 2014-09-08 | Ricoh Co Ltd | 編集装置、編集方法、及び編集プログラム |
JP2016506150A (ja) * | 2012-12-18 | 2016-02-25 | トムソン ライセンシングThomson Licensing | 時間情報に基づきコンテンツを索引付けする方法、装置及びシステム |
JP2020107196A (ja) * | 2018-12-28 | 2020-07-09 | キヤノン株式会社 | 画像処理装置または画像処理サーバー |
JP2021057798A (ja) * | 2019-09-30 | 2021-04-08 | 健樹 坂田 | 情報処理システム、情報処理方法及び情報処理プログラム |
JPWO2019187493A1 (ja) * | 2018-03-26 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2022517528A (ja) * | 2019-01-22 | 2022-03-09 | テンパス・エクス・マキーナ・インコーポレーテッド | ライブプレイヤー活動を分けるためにビデオフィードを分割するためのシステムおよび方法 |
JP2022060513A (ja) * | 2017-08-30 | 2022-04-14 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8621503B2 (en) * | 2010-06-23 | 2013-12-31 | Uplause Oy | Apparatuses, system, method, and storage medium for crowd game |
WO2012161118A1 (ja) * | 2011-05-20 | 2012-11-29 | 日本放送協会 | 端末連携システム、受信機及び受信方法 |
CN102752529B (zh) * | 2011-09-28 | 2017-09-19 | 新奥特(北京)视频技术有限公司 | 一种比赛现场数据采集的同步输出方法及*** |
CN102752494A (zh) * | 2011-09-28 | 2012-10-24 | 新奥特(北京)视频技术有限公司 | 一种体育赛事直播的方法及*** |
JP5198643B1 (ja) * | 2011-10-28 | 2013-05-15 | 株式会社東芝 | 映像解析情報アップロード装置及び映像視聴システム及び方法 |
EP2775731A1 (en) * | 2013-03-05 | 2014-09-10 | British Telecommunications public limited company | Provision of video data |
EP2775730A1 (en) * | 2013-03-05 | 2014-09-10 | British Telecommunications public limited company | Video data provision |
US20180227501A1 (en) * | 2013-11-05 | 2018-08-09 | LiveStage, Inc. | Multiple vantage point viewing platform and user interface |
CN105245909A (zh) * | 2015-10-10 | 2016-01-13 | 上海慧体网络科技有限公司 | 结合智能硬件、云计算、互联网进行比赛直播的方法 |
EP3187233A1 (en) * | 2015-12-30 | 2017-07-05 | TDS Polska Sp. z o. o. | The video-based verification system for the ball-line events for the referees of the netball matches |
CN106993193A (zh) * | 2016-01-20 | 2017-07-28 | 上海慧体网络科技有限公司 | 一种在移动端进行比赛时间同步的方法 |
CN106791722A (zh) * | 2017-03-07 | 2017-05-31 | 河海大学常州校区 | 基于移动通信技术的竞赛运行监控*** |
JP6996384B2 (ja) * | 2018-03-27 | 2022-01-17 | 富士通株式会社 | 表示プログラム、表示方法および表示装置 |
CN109391849B (zh) * | 2018-09-30 | 2020-11-20 | 联想(北京)有限公司 | 处理方法及***、多媒体输出装置及存储器 |
US10728443B1 (en) | 2019-03-27 | 2020-07-28 | On Time Staffing Inc. | Automatic camera angle switching to create combined audiovisual file |
US10963841B2 (en) | 2019-03-27 | 2021-03-30 | On Time Staffing Inc. | Employment candidate empathy scoring system |
US11127232B2 (en) | 2019-11-26 | 2021-09-21 | On Time Staffing Inc. | Multi-camera, multi-sensor panel data extraction system and method |
US12010403B2 (en) | 2019-12-20 | 2024-06-11 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
US11023735B1 (en) | 2020-04-02 | 2021-06-01 | On Time Staffing, Inc. | Automatic versioning of video presentations |
US11144882B1 (en) | 2020-09-18 | 2021-10-12 | On Time Staffing Inc. | Systems and methods for evaluating actions over a computer network and establishing live network connections |
US11727040B2 (en) | 2021-08-06 | 2023-08-15 | On Time Staffing, Inc. | Monitoring third-party forum contributions to improve searching through time-to-live data assignments |
US11423071B1 (en) | 2021-08-31 | 2022-08-23 | On Time Staffing, Inc. | Candidate data ranking method using previously selected candidate data |
US11907652B2 (en) | 2022-06-02 | 2024-02-20 | On Time Staffing, Inc. | User interface and systems for document creation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003250141A (ja) * | 2002-02-22 | 2003-09-05 | Ricoh Co Ltd | 映像配信サーバ |
JP2003333570A (ja) * | 2002-05-13 | 2003-11-21 | Ricoh Co Ltd | コンテンツ配信システム、そのサーバ、電子機器、コンテンツ配信方法、そのプログラム、及びそのプログラムを記録した記録媒体 |
JP2006060532A (ja) * | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | 中継制御装置及びそのプログラム |
JP2006312088A (ja) * | 1999-01-29 | 2006-11-16 | Scale:Kk | 時系列データ処理装置及び方法 |
JP2008211796A (ja) * | 2007-02-27 | 2008-09-11 | Sony United Kingdom Ltd | ハイライト要約自動生成システム、入力処理装置、イベントロギング処理装置、ハイライト要約自動生成方法 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995010915A1 (en) | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
US6144375A (en) | 1998-08-14 | 2000-11-07 | Praja Inc. | Multi-perspective viewer for content-based interactivity |
US6424789B1 (en) * | 1999-08-17 | 2002-07-23 | Koninklijke Philips Electronics N.V. | System and method for performing fast forward and slow motion speed changes in a video stream based on video content |
EP1287518B1 (en) | 2000-04-07 | 2010-09-15 | Dartfish SA | Automated stroboscoping of video sequences |
US7892974B2 (en) | 2000-04-11 | 2011-02-22 | Cree, Inc. | Method of forming vias in silicon carbide and resulting devices and circuits |
US6475889B1 (en) | 2000-04-11 | 2002-11-05 | Cree, Inc. | Method of forming vias in silicon carbide and resulting devices and circuits |
GB0105421D0 (en) * | 2001-03-06 | 2001-04-25 | Prozone Holdings Ltd | Sport analysis system and method |
US20050005308A1 (en) * | 2002-01-29 | 2005-01-06 | Gotuit Video, Inc. | Methods and apparatus for recording and replaying sports broadcasts |
US20030023974A1 (en) * | 2001-07-25 | 2003-01-30 | Koninklijke Philips Electronics N.V. | Method and apparatus to track objects in sports programs and select an appropriate camera view |
US6773930B2 (en) | 2001-12-31 | 2004-08-10 | Texas Instruments Incorporated | Method of forming an FeRAM capacitor having a bottom electrode diffusion barrier |
US20040068758A1 (en) | 2002-10-02 | 2004-04-08 | Mike Daily | Dynamic video annotation |
JP2004296567A (ja) | 2003-03-26 | 2004-10-21 | Renesas Technology Corp | 半導体装置およびその製造方法 |
JP3741117B2 (ja) * | 2003-09-26 | 2006-02-01 | 住友金属鉱山株式会社 | 白金族元素の相互分離方法 |
US20060072010A1 (en) * | 2004-09-24 | 2006-04-06 | Objectvideo, Inc. | Target property maps for surveillance systems |
US20080068458A1 (en) * | 2004-10-04 | 2008-03-20 | Cine-Tal Systems, Inc. | Video Monitoring System |
US7786592B2 (en) | 2005-06-14 | 2010-08-31 | John Trezza | Chip capacitive coupling |
US7680301B2 (en) | 2005-06-30 | 2010-03-16 | Sportvision, Inc. | Measurements using a single image |
JP4388004B2 (ja) | 2005-10-04 | 2009-12-24 | 株式会社スクウェア・エニックス | 画像生成装置及び方法、プログラム、並びに記録媒体 |
US7563714B2 (en) | 2006-01-13 | 2009-07-21 | International Business Machines Corporation | Low resistance and inductance backside through vias and methods of fabricating same |
JP5117698B2 (ja) | 2006-09-27 | 2013-01-16 | ルネサスエレクトロニクス株式会社 | 半導体装置 |
JP2010182764A (ja) | 2009-02-04 | 2010-08-19 | Sony Corp | 半導体素子とその製造方法、及び電子機器 |
US8062975B2 (en) | 2009-04-16 | 2011-11-22 | Freescale Semiconductor, Inc. | Through substrate vias |
US8304271B2 (en) | 2009-05-20 | 2012-11-06 | Jenn Hwa Huang | Integrated circuit having a bulk acoustic wave device and a transistor |
TWI504002B (zh) | 2009-06-05 | 2015-10-11 | Semiconductor Energy Lab | 光電轉換裝置 |
-
2009
- 2009-02-04 JP JP2009024302A patent/JP4905474B2/ja not_active Expired - Fee Related
-
2010
- 2010-01-28 CN CN2010101058228A patent/CN101834999B/zh not_active Expired - Fee Related
- 2010-01-28 EP EP10151856A patent/EP2216788A1/en not_active Withdrawn
- 2010-01-28 US US12/657,814 patent/US8358346B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006312088A (ja) * | 1999-01-29 | 2006-11-16 | Scale:Kk | 時系列データ処理装置及び方法 |
JP2003250141A (ja) * | 2002-02-22 | 2003-09-05 | Ricoh Co Ltd | 映像配信サーバ |
JP2003333570A (ja) * | 2002-05-13 | 2003-11-21 | Ricoh Co Ltd | コンテンツ配信システム、そのサーバ、電子機器、コンテンツ配信方法、そのプログラム、及びそのプログラムを記録した記録媒体 |
JP2006060532A (ja) * | 2004-08-20 | 2006-03-02 | Seiko Epson Corp | 中継制御装置及びそのプログラム |
JP2008211796A (ja) * | 2007-02-27 | 2008-09-11 | Sony United Kingdom Ltd | ハイライト要約自動生成システム、入力処理装置、イベントロギング処理装置、ハイライト要約自動生成方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016506150A (ja) * | 2012-12-18 | 2016-02-25 | トムソン ライセンシングThomson Licensing | 時間情報に基づきコンテンツを索引付けする方法、装置及びシステム |
US9959298B2 (en) | 2012-12-18 | 2018-05-01 | Thomson Licensing | Method, apparatus and system for indexing content based on time information |
JP2014165764A (ja) * | 2013-02-26 | 2014-09-08 | Ricoh Co Ltd | 編集装置、編集方法、及び編集プログラム |
JP7362806B2 (ja) | 2017-08-30 | 2023-10-17 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
JP2022060513A (ja) * | 2017-08-30 | 2022-04-14 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
JPWO2019187493A1 (ja) * | 2018-03-26 | 2021-04-22 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11749309B2 (en) | 2018-03-26 | 2023-09-05 | Sony Corporation | Information processor, information processing method, and program |
JP7282519B2 (ja) | 2018-12-28 | 2023-05-29 | キヤノン株式会社 | 画像処理装置または画像処理サーバー |
JP2020107196A (ja) * | 2018-12-28 | 2020-07-09 | キヤノン株式会社 | 画像処理装置または画像処理サーバー |
JP2022517528A (ja) * | 2019-01-22 | 2022-03-09 | テンパス・エクス・マキーナ・インコーポレーテッド | ライブプレイヤー活動を分けるためにビデオフィードを分割するためのシステムおよび方法 |
JP7197710B2 (ja) | 2019-01-22 | 2022-12-27 | テンパス・エクス・マキーナ・インコーポレーテッド | ライブプレイヤー活動を分けるためにビデオフィードを分割するためのシステムおよび方法 |
JP7263197B2 (ja) | 2019-09-30 | 2023-04-24 | 健樹 坂田 | 情報処理システム、情報処理方法及び情報処理プログラム |
JP2021057798A (ja) * | 2019-09-30 | 2021-04-08 | 健樹 坂田 | 情報処理システム、情報処理方法及び情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
EP2216788A1 (en) | 2010-08-11 |
CN101834999B (zh) | 2013-10-09 |
US20100194892A1 (en) | 2010-08-05 |
JP4905474B2 (ja) | 2012-03-28 |
CN101834999A (zh) | 2010-09-15 |
US8358346B2 (en) | 2013-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4905474B2 (ja) | 映像処理装置、映像処理方法及びプログラム | |
US8988528B2 (en) | Video processing device, video processing method, and program | |
EP2413287B1 (en) | Image processing method and device for instant replay | |
US9313421B2 (en) | Multiple-input configuration and playback video enhancement | |
JP6307892B2 (ja) | 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム | |
JP6260292B2 (ja) | 情報処理プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム | |
WO2021241430A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2021187193A1 (ja) | 球技映像解析装置、球技映像解析システム、球技映像解析方法、及び、コンピュータプログラム | |
JP3929811B2 (ja) | 画像合成装置及び画像合成方法 | |
KR101164894B1 (ko) | 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체 | |
JP2008005204A (ja) | 映像区間決定装置、方法、プログラム | |
KR101264477B1 (ko) | 경기장 평면상의 선수 위치를 표시하는 경기중계 보조영상 생성 시스템 및 그 방법의 기록매체 | |
JP6303525B2 (ja) | 抽出プログラム、方法、及び装置、並びに野球映像メタ情報作成装置、方法、及びプログラム | |
JP2003141505A (ja) | 画像合成装置およびプログラム | |
JP2020067716A (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2020107991A (ja) | 動画タグ付け装置および動画タグ付け方法 | |
JP7429887B2 (ja) | 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム | |
KR101164895B1 (ko) | 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체 | |
JP2002223375A (ja) | 自動インデックス生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110802 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111028 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20111108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111213 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111226 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |