JP3499729B2 - 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 - Google Patents
複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体Info
- Publication number
- JP3499729B2 JP3499729B2 JP27160097A JP27160097A JP3499729B2 JP 3499729 B2 JP3499729 B2 JP 3499729B2 JP 27160097 A JP27160097 A JP 27160097A JP 27160097 A JP27160097 A JP 27160097A JP 3499729 B2 JP3499729 B2 JP 3499729B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- unit
- management
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
により新たな映像を作成する技術に関するものであっ
て、特に複数映像の時空間統合,管理方法及びその装置
並びにそのプログラムを記録した記録媒体に関するもの
である。
クの大容量化、ビデオカメラの小型化,デジタル化と、
これらの低価格化に伴い、一般家庭へのそれらの機器の
普及が進んでいる。このような高性能コンピュータ及び
大容量ハードディスクの普及、さらには情報の圧縮技術
の確立により、映像のデジタル化が身近なものとなって
きている。映像をデジタル化することにより、汎用パー
ソナルコンピュータでの映像の扱いが可能になると共
に、高解像度のパーソナルコンピュータ用ディスプレイ
への出力も可能となった。このことは、一般に映像は、
TVモニタ(640×480画素)のみの出力に限られ
ていたが、TVモニタの解像度以上の解像度での出力も
可能としている。例えば、パーソナルコンピュータ用デ
ィスプレイ上へは、複数の映像を同時に表示すること等
が可能である。
エンハンスする方法が幾つか報告されている。Mich
al Irani amd Shmuel Peleg
は、文献「“Motion analysis for
image enhancement:Resolu
tion,Occlusion and Transp
arency”,Journal of Visual
communication and image
representation,Vol.4,No.
4,Decembr,pp,324−335,199
3」で、映像中の動き情報を用いて、映像を高解像度に
する方法、被写体などによる背景のいんぺい領域を補間
する方法等を提案している。また、ローラ エイ.テイ
ドシオは、映像から高解像の静止画を作成する方法を報
告している(特開平5−304675号)。最近では、
ORAD社が、映像に新しい付加価値を付けた映像の再
生を実現したシステム“Digital Repla
y”を発表している。システムの機能として例えば、被
写体の強調表現,追跡及び拡大機能,並びに図形及びそ
の線分,距離,及び速度等の情報を映像と共に表示する
機能を有している。
に関する報告もあり、M.Mill他は、文献「“A
Magnifier Tool for Video
Data”,Proceedins of CHI’9
2,pp.93−98(1992)」で、映像のフレー
ムを時間解像度レベルに応じて空間に配置し、粗い時間
解像度から細かい時間解像度へと時間への新しい映像の
見方、アクセススタイルを可能にした報告をしている。
また、E.Elliot and A.W.Davis
は、文献「“Motion Image Proces
sing”,Striking Possibilit
ies,ADVANCED IMAGING,AUGU
ST(1992)」て、映像画像(2次元)+時間(1
次元)の3次元物体として表現し、映像の時間情報の新
しい表現方法と時間情報への直観的なアクセスの実現を
報告している。
になり、表示の形態も自由になる環境においては、複数
の映像を扱いたいという要求が生じる。ここでいう「複
数の映像」とは、例えば、オリンピック等のスポーツ競
技場へ複数設置されたカメラによる複数の映像であると
か、一台のカメラで撮影した映像でも、異なる選手の様
子を各々撮影した映像とかである。また、ここで言う
「扱う」とは、複数の映像を同時に鑑賞したり、比較し
たり、検索,編集したりすることである。
映像に対しては上記従来の報告等では、解決していない
課題が存在する。上記従来の報告では、一つのショット
に対して、エンハンスすることを実現しているが、複数
の映像に対して複数映像間の関係を用いて複数映像をエ
ンハンスすることは不可能である。加えて、複数映像を
時空間的に統合し、統合的に管理しうるものではない。
ここで言う「複数の映像に対してのエンハンスメント」
とは、もとの複数の映像間で関係付けを行うことであ
り、映像コンテンツ情報(映像内に実際に映し出されて
いる対象の情報、すなわち被写体の情報)を自動抽出
し、視覚的に表現することである。また、複数の映像を
関係付け、映像コンテンツ情報が視覚的に表現された一
つ又は複数の映像を作り出すことである。例えば、異な
る選手の様子を撮影した複数の映像から、各選手を共通
空間でオーバーラップさせた一つの映像を作り出すこと
も一つの例である。また、「時空間的に管理する」と
は、映像の時空間構造に基づいて抽出された情報を統一
的に管理することである。例えば、被写体と背景を分離
し、それぞれを管理すると共に、それらの時間空間の関
係情報も管理することである。上記従来の技術の目的に
は、複数の映像を時空間構造を用いて統一的に管理する
ことは、含まれておらず、単純に従来の技術の組み合わ
せでだけでは、複数映像を時空間的に統一的に管理する
ことを実現するのは不可能である。
インタフェースに関しては、映像をただ単に表現し直し
たものであり、映像の持つ情報や複数映像間の関係を積
極的に抽出し、映像をエンハンスしたものではない。映
像のコンテントや複数の映像間の関係に関して何も考慮
されていないために、映像や映像間コンテントに対する
直感的な把握や、映像情報、特に時間に関する情報の新
たなエンハンスを可能にするものではない。また、複数
映像が時空間的に管理されていないために、映像のコン
テンツに踏み込んだインタラクションは不可能である。
ハンスメント、ユーザインタフェース等に関する報告に
は、複数の映像に対して高付加価値を与えるエンハンス
メントできるもの、また時空間的に統一的に管理、表
現、操作を表現しうるものはない。すなわち、上記従来
の技術には問題がある。
の映像に対して、ユーザが興味や目的に応じて各自のス
タイルで映像の情報を効率よく取得するために、複数映
像を時空間的に統合して映像をエンハンスすることがで
き、複数映像を時空間的に統一的に管理、表現、操作す
ることができる複数映像の時空間統合,管理方法及びそ
の装置並びにそのプログラムを記録した記録媒体を提供
することにある。
めに、本発明による複数映像の時空間統合、管理装置
は、複数の映像を時空間統合、管理する装置であって、
映像データを読み込み、データ列として保存する画像デ
ータ列メモリ部と、前記画像データ列メモリ部からデー
タ列を読み出し、カメラオンオフ情報とカメラ操作情報
を含む撮影状態情報を検出する撮影状態検出部と、前記
カメラオンオフ情報に基づいて前記データ列の映像をシ
ョット毎に分割する映像分割部と、前記カメラ操作情報
と物理的な特微量を用いて前記映像のフレーム毎に被写
体と背景を分離する被写体、背景分離部と、前記フレー
ム毎に分離された被写体情報をフレーム間で対応付ける
被写体動き情報抽出部と、前記カメラ操作情報と前記フ
レーム毎に分離された背景から前記映像が撮影された撮
影空間を再合成する撮影空間再合成部と、前記分割され
た複数のショットから前記撮影空間再合成部で各々再合
成された複数の撮影空間の間の空間的なショット間関係
を算出するショット間関係算出部と、前記分離された被
写体の情報、前記対応付けられた被写体の情報、前記撮
影状態情報、前記背景の情報、前記ショット間関係の情
報を管理・蓄積する映像構造情報管理・蓄積部と、を具
備することを特徴とする。
装置において、前記抽出された被写体情報,撮影状態情
報,背景情報,ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信部を、更に具備することを特徴とする。
装置において、予め与えた条件とユーザからの要求のい
ずれか一方又は双方に従って前記映像構造情報管理・蓄
積部に蓄積・管理されている情報を基に一つ又は複数の
撮影空間と一つ又は複数の被写体を再合成する再合成部
と、前記再合成部で再合成された映像を表示する表示部
と、前記表示部で表示されている映像に基づいて再合成
に関する前記ユーザの要求を入力するユーザ入力部と、
を具備するとともに、必要に応じて前記表示部に表示さ
れた映像をデジタル又はアナログ形式で外部装置に出力
する出力部を具備する、ことを特徴とする。
合、管理方法は、複数の映像を時空間統合、管理する方
法であって、映像データを読み込み、データ列として保
存する画像データ列保存過程と、前記画像データ列メモ
リ部からデータ列を読み出し、カメラオンオフ情報とカ
メラ操作情報を含む撮影状態情報を検出する撮影状態検
出過程と、前記カメラオンオフ情報に基づいて前記デー
タ列の映像をショット毎に分割する映像分割過程と、前
記カメラ操作情報と物理的な特徴量を用いて前記映像の
フレーム毎に被写体と背景を分離する被写体、背景分離
過程と、前記フレーム毎に分離された被写体情報をフレ
ーム間で対応付ける被写体動き情報を抽出過程と、前記
カメラ操作情報と前記フレーム毎に分離された背景から
前記映像が撮影された撮影空間を再合成する撮影空間再
合成過程と、前記分割された複数のショットから前記撮
影空間再合成過程で各々再合成された複数の撮影空間の
間の空間的なショット間関係を算出するショット間関係
算出過程と、前記分離された被写体の情報、前記対応付
けられた被写体の情報、前記撮影撮影情報、前記背景の
情報、前記ショット間関係の情報を管理・蓄積する映像
構造情報管理・蓄積過程と、を具備することを特徴とす
る。
方法において、前記抽出された被写体情報,撮影状態情
報,背景情報,ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信過程を、更に具備することを特徴とする。
方法において、前記映像構造情報管理・蓄積過程の後
に、予め与えた条件とユーザからの要求のいずれか一方
又は双方に従って前記蓄積・管理されている情報を基に
一つ又は複数の撮影空間と一つ又は複数の被写体を再合
成する再合成過程と、前記再合成過程で再合成された映
像を表示又は出力する表示又は出力過程と、を具備する
ことを特徴とする。
合、管理プログラムを記録したコンピュータ読み取り可
能な記録媒体は、複数の映像を時空間統合、管理するプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、映像データを読み込み、データ列として保
存する画像データ列保存過程と、前記画像データ列メモ
リ部からデータ列を読み出し、カメラオンオフ情報とカ
メラ操作情報を含む撮影状態情報を検出する撮影状態検
出過程と、前記カメラオンオフ情報に基づいて前記デー
タ列の映像をショット毎に分割する映像分割過程と、前
記カメラ操作情報と物理的な特徴量を用いて前記映像の
フレーム毎に被写体と背景を分離する被写体,背景分離
過程と、前記フレーム毎に分離された被写体情報をフレ
ーム間で対応付ける被写体動き情報抽出過程と、前記カ
メラ操作情報と前記フレーム毎に分離された背景から前
記映像が撮影された撮影空間を再合成する撮影空間合成
過程と、前記分割された複数にショットから前記撮影空
間再合成過程で各々再合成された複数の撮影空間の空間
的なショット間関係を算出するショット間関係算出過程
と、前記分離された被写体の情報、前記対応付けられた
被写体の情報、前記撮影状態情報、前記背景の情報、前
記ショット間関係の情報を管理・蓄積する映像構造情報
管理・蓄積過程と、を具備することを特徴とする。
プログラムを記録したコンピュータ読み取り可能な記録
媒体において、前記抽出された被写体情報,撮影状態情
報,背景情報,ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信過程を、更に具備することを特徴とする。
プログラムを記録したコンピュータ読み取り可能な記録
媒体において、前記映像構造情報管理・蓄積過程の後
に、予め与えた条件とユーザからの要求のいずれか一方
又は双方に従って前記蓄積・管理されている情報を元に
一つ又は複数の撮影空間と一つ又は複数の被写体を再合
成する再合成過程と、前記再合成過程で再合成された映
像を表示又は出力する表示又は出力過程と、を具備する
ことを特徴とする。
された画像データ列を読み出し、カメラオンオフ情報と
カメラ操作情報を含む撮影状態情報を検出し、このカメ
ラオンオフ情報に基づいて映像をショット毎に分割し、
カメラ操作情報と物理的な特徴量を用いてフレーム毎に
被写体と背景を分離し、分離された被写体情報をフレー
ム間で対応付けを行って被写体動き情報を抽出し、カメ
ラ操作情報とフレーム毎の背景から撮影空間を再合成
し、複数のショットから各々再合成された複数の撮影空
間の間の空間的なショット間関係を算出し、以上で得ら
れた情報を管理・蓄積することにより、複数映像の時空
間的なエンハンスメント、時空間的、統一的な管理,表
現,操作を可能とする複数映像の時空間統合を実現す
る。
はその一部を伝送又は受信することにより、ユーザーが
自由に任意の場所でそれらの情報を選択,検索,取り出
し、また任意の場所の任意のユーザーに送ることができ
る。また、任意のユーザーが任意の場所から、それらの
情報を送り込むことができる。
に、予め与えた条件やユーザからの要求に従って、一つ
又は複数の撮影空間と一つ又は複数の被写体を再合成
し、表示又は外部へアナログ、デジタル形式で出力する
ことにより、同じ空間を撮影した複数の映像に対し、従
来は時間的に空間的に同時に情報を取得することが困難
であった課題に対して、ユーザが興味,目的に応じて各
自のスタイルで複数映像の情報を同時に直感的に効率よ
く取得できるようにする。
面を参照して詳細に説明する。
図を示す。以下、構成図に沿って各構成部及び手法を説
明する。
れたビデオ信号は、102の画像データ列メモリ部に一
時的に蓄積される。次に、蓄積されたビデオ信号を10
3の撮影状態検出部において映像処理し、カメラのオン
オフ情報とカメラ操作情報を抽出する。
す。また、図3に撮影状態検出部103の201から2
04までの構成要素による処理の流れを示す。これらの
図面を用いて、以下、各構成素毎の構成と処理の流れを
詳細に説明する。
されたビデオ信号の数フレームは、図3に示す301で
あり、この301を通常、時空間画像と呼んでいる。こ
の時空間画像に対し、201の直線成分算出部におい
て、各フレーム画像毎に水平、垂直直線成分を各々算出
する。垂直方向直線算出は、図3では302であり、水
平方向直線算出は、図3では303である。これらの各
算出で得られた304を垂直方向直線成分時空間画像、
305を水平方向直線成分時空間画像と呼ぶ。
は、画像データ列再配置手段により、次のフィルター処
理に備えて垂直,水平方向直線成分時空間画像304,
305の並び替えを行う。ここでの並び替え処理は、図
3では306に相当し、画面の法線を含む平面で時空間
画像を切断する処理である。フレーム画像のx,y座標
軸と垂直をなす方向を画面の法線方向としている。切断
された時間軸を含む平面を一般に時空間断面画像と呼ん
でいる。この時空間断面画像の一例として、コンピュー
タビジョンの分野で用いられている、カメラの進行方向
と画面の法線を含む平面で、時空間画像を切断した時の
切断面(エピポーラ平面画像(Epipolar Pl
ane Image))がある。この時空間断面画像か
ら被写体の三次元位置を推定している。これは、このエ
ピポーラ平面画像上で、物体の特徴点の軌跡が直線にな
り、この直線の傾きが物体特徴点の動きの大きさになる
ことによっている〔R.C.Bolles,H.Bak
er,and D.H.Marimont,“Epip
olar−plane image analysi
s:An approach to determin
g structurefrom motion”,I
JCV,1,1,pp7−55,june 198
9.〕。時空間画像をx,y座標軸を含むように切断し
た時空間切断画像を特にx−t時空間画像と呼び、同様
にy,t座標軸を含む時空間切断画像をy−t時空間画
像と呼ぶ。任意のyの値から任意のx−t時空間画像が
切り出され、これら複数枚のx−t時空間画像をx−t
時空間画像列と呼ぶ。y−t時空間画像列も同様であ
る。
いて切断された垂直,水平方向直線成分時空間画像の切
断面を、203の映像情報フィルター処理部においてフ
ィルター(第一次微分、第二次微分等)処理を施す。こ
の処理は、線分検出手段により為され、エッジまたは線
を検出することを目的としている。図3では、307に
相当する。フィルター処理部203によりエッジまたは
線の強度が算出される。切断画像において切断面に見ら
れる時間軸に沿った流れ模様は、映像中の動きによって
生じている。この流れの方向が動きの大きさに対応して
いる。上記まで述べたエッジ検出は、流れの方向を表す
エッジまたは直線を検出しており、画像から動き情報の
みを強調していることになる。上記のエッジ検出された
切断画像列を、垂直、水平方向時空間エッジ画像列と呼
ぶ。
分手段により、垂直、水平方向時空間エッジ画像列をエ
ッジ画像の法線方向に加算処理する。図3では、308
に相当し、308aの破線方向に加算処理を行う。この
加算処理は、先のフィルター処理において強調された動
きを、より強調することを目的に行う。即ち、もし物体
の特徴点の動きが、グローバルな動きによる物の場合、
加算処理をすることにより強調しあい、顕著に加算処理
結果に反映される。半面、物体の特徴点の動きが、ロー
カルな動きによるものの場合、加算処理をすることによ
り弱小し、加算処理結果に反映されにくくなる。また、
この加算処理は、差分処理と違いノイズに強い処理であ
り、ノイズを多く含む映像からでも動き情報の抽出が可
能となることを意味している。この加算処理によって得
られる結果の画像を時空間投影画像と呼ぶ。x−t垂直
方向時空間画像列からは、x−t時空間投影画像309
が得られ、y−t水平方向時空間画像からy−t時空間
投影画像310が得られる。x−t時空間投影画像の時
間軸に沿った流れ模様の意味するところは、映像の左右
方向の動きを表現し、y−t時空間画像の模様は上下方
向の動きを表現している。
て、まずカメラオンオフ検出手段により、時間軸と空間
軸とを有する二次元画像として表現された抽出特徴から
時間軸に垂直な直線を検出して、カメラのオンオフ情報
の抽出を行う。具体的には、x−t時空間投影画像をF
(x,t)、y−t時空間投影画像をF(y,t)で表
す。次式で表した評価式から算出される値Cが、予め与
えた閾値以上であれば、その時間tでカメラのオンオフ
が存在したとする。
作情報を図4に示す。カメラ操作は、基本7操作とそれ
らの組み合わせ操作で構成されている。基本操作には、
フィックス(カメラ固定),パン401(カメラを左右
に振る操作)、ズーム402(画角を変化させることに
より被写体を拡大,縮小する操作)、チルト403(カ
メラを上下に振る操作)、トラック404(カメラを左
右に移動する操作)、ブーム405(カメラを上下に移
動する操作)、ドリー406(カメラを前後に移動する
操作)がある。すなわち、フイックスは静止、パン,テ
ィルトは、カメラ投影中心固定の光軸方向の変化、ズー
ムは画角の変化、トラック,ブーム,ドリーはカメラ投
影中心の位置変化を伴う操作である。カメラ投影中心の
位置変化に伴い、トラック,ブーム,ドリーは被写体の
三次元配置情報を映像の動きの中に含む操作である。ト
ラック,ブーム,ドリーによって撮影された映像の動き
は、被写体がカメラに対して相対的に近い場合、速い動
きを示し、逆に速い場合、遅い動きを示す。
画像をF(x,t)で表す。x−t時空間投影画像は、
空間xと時間tの関数である。時間t0のx−t時空間
投影画像の空間分布をF(x,t0)で表し、同様に時
間t1のx−t時空間投影画像の空間分布F(x,t1)
で表す。また、以下で算出するグローバルな動きパラメ
ータをa,b,cで表し、それぞれaはカメラ操作を言
うズームパラメータ、bはパンパラメータ、cはティル
トパラメータを意味する。以下、このカメラ操作パラメ
ータを求める手法を示す。
ローバルな動きが存在していたとすれば、F(x,
t0)とF(x,t1)の間に以下の関係がある。
けを対応付け手段により行う。この様子を図5に示す。
表し、502は時間Tの空間分布F(x,T)、503
は時間T−1の空間分布F(x,T−1)をそれぞれ表
す。504の座標値を図に示すように対応付けを行い、
対応座標505を算出する。この算出方法の他に、微少
な範囲ごとの相関関数を算出し対応付けることも可能で
ある。この対応付けられた504と505は、任意の座
標値を示しており、これら座標間の関係は506に示す
直線になる。この直線の傾きがズームパラメータaを表
しており、切片がパンパラメータbをそれぞれ表してい
る。
より、上記で対応付けられた空間座標値を用いてカメラ
操作パラメータを算出する。具体的には、直線506の
aとbを算出するために、対応付けられた空間座標値を
用いて以下の関係式でパラメータ空間に射影(投票)し
て射影空間の最大値507を抽出し、パラメータa,b
を算出することを行う。この変換は、一般にHough
変換〔P.V.C.Hough,“Method an
d Means for Recognizing C
omplex Patterns”,U.S.Pate
nt No.306954,1962〕と呼ばれている
ものである。対応付けられた任意の座標をx%とxで表
すと、aとbの関係は下記式のようになる。
構成する直線を推定する方法として確立されている。画
像空間の一つの点が(射影空間)Hough空間では一
本の曲線を表し、射影された複数個の曲線の交点507
の座標値が抽出すべき直線の傾きと切片を表している。
大の投票数を示す座標値をもって抽出すべき直線の傾き
と切片を算出している。対応付けられた複数組みの座標
値の各々を射影空間に投票してパラメータを算出してい
る。
パラメータcが算出できる。また、三次元情報を含むよ
うな操作が行われた場合の時空間投影(積分)画像であ
っても、ミクロ的(部分的)には三次元操作を含まない
操作が行われた場合の画像に等しいことから、かかる画
像であっても上記処理を部分的(ブロック的)に施すこ
とにより処理が可能である。以上が撮影状態検出部10
3の構成と処理の流れである。
おいて、撮影状態検出部103で算出したカメラのオン
オフ情報に基づいて映像をショット毎に分割する。この
ようにカメラのオンオフで分割されたショットでは、シ
ョット内の画像は、連続的な同じ空間の情報をもってい
ると考えられる。
て、被写体と背景の分離を行う。被写体,背景分離部1
05の構成を図6に示す。以下、被写体,背景分離部1
05の601から604までの構成要素の構成とそれら
による処理の流れを詳細に説明する。
て、映像フレーム変形手段により、カメラ操作情報に基
づいて、画像データからカメラ操作をキャンセルするこ
とを行う。隣接する画像データ間でカメラ操作により生
じた変化・変位分だけ画像データ間で変化・変位させ
る。隣接する画像データをF(x,y,t)、F(x,
y,t+1)とする。カメラ操作Aは(Aはマトリク
ス)を用いると、隣接する画像データ間では、次の関係
がある。
により、上記でカメラ操作がキャンセルされた隣接する
画像間で比較処理を行う。ここで行う処理は、カメラ操
作をキャンセルした画像どうしの比較処理であり、算出
されるものは画像間の輝度、色等の情報の差分の絶対値
等である。この比較処理により、背景は差し引かれ、被
写体の動きのみの変化分が背景との差分として抽出され
る。
は、隣接する比較画像データ間の比較を行う。ここで行
う処理は、画像間での積や、画像間で比較し小さい方の
値を比較画像の値とする等の比較演算である。これら一
連の処理により、3枚の連続する画像データに基づいて
その真ん中の画像の被写体(移動物体)の領域が強調さ
れる。
強調された被写体領域の2値化処理を2値化処理手段に
より行う。予め与えられた閾値Sを用いて、次の条件で
2値化処理を行う。比較データ画像をf(x,y)と
し、2値化画像をF(x,y)とする。
であり、702が2値化画像である。閾値を9とした場
合を想定している。
像F(x,y)のラベル付けを行う。ラベル付けのアル
ゴリズムを図8に示す。2値化画像F(x,y)をF=
{Fi,j}、ラベル画像をL={li,j}で表す。li,j
は各連結成分のラベルを表す正整数である。また、lは
連結成分番号を表す変数、T(i)はラベル表をそれぞ
れ表す。801の初期設定においてl=1とし、画素
(2,2)からラベル走査を開始する。現在の画素を
(i,j)とし、802において判断する。fi,j=1
ならば803へ、fi,j=0ならli,j=0として807
へ処理を進める。図9に示した走査方法で、現在の画素
x0=(i,j)と、その近傍で操作済みの画素を図1
0に示すように表し、xpのラベル(画像Lの値)をlp
(p=1,2,3,4)とする。803では、{T(l
p),lpが0でない、p=1,2,3,4}中に異なる
正の値がn種類あるとし,それらを小さい値から順にL
1,L2,…,Lnとする。n=0ならば804へ、n=
1ならば805へ、n=2ならば806へ処理を進め、
各処理後、807へ進む、807では全画素について終
了したかどうかを判断し、全画素終了であれば808,
809の処理をしてラベリングを完了する。
リングされた領域に対して物理的な特徴量を算出する。
ここで算出する物理的な特徴は、輝度,色分布,テクス
チャ等である。次いで、照合手段により、予め与えた特
徴量と算出したラベル領域の特徴量とを比較照合し、被
写体領域を決定する。次いで、背景抽出手段により、上
記で抽出した被写体領域をフレーム画像から差し引くこ
とで、背景領域を分離する。
処理の流れである。
報抽出部において、照合手段により、各フレーム画像毎
に抽出された領域で算出した物理的な特徴量を隣接する
フレーム間で比較し、比較量に対して予め与えた条件と
照合し、照合した領域は類似する物理的特徴を持つ領
域、すなわち同一被写体による領域であるとして時間的
な関係付けを行う。この関係付けの情報を被写体の動き
情報とする。
て、空間重ね合わせ手段により、被写体,背景分離部1
05で分離された背景を、撮影状態検出部103で算出
したカメラ操作情報に基づいて画像フレームを変形・変
位させて一つの連続する空間として重ね合わせ、フレー
ムを超える広い撮影空間として再合成しなおす。図11
に再合成の様子を示す。図11(a)において、110
1と1102は時間的に連続するフレーム画像であり、
パンのカメラ操作で撮影された映像である場合、110
2は1101に対して1103(フレームあたりのパン
操作量)分だけシフトして合成する。同様にティルトの
場合1104(フレームあたりのティルト操作量)分だ
けシフトして合成する。ズーム操作の場合、図11
(b)に示すように、ズーム量1105に応じて画像の
サイズを拡大,縮小し合成する。この合成の方法で作ら
れた背景画像は、一般に言うパノラマ空間であり、パノ
ラマ空間が持つ特有の歪みを持つ。この歪みは、画像を
円柱変換した場合に生じる歪みと等価である。
撮影空間変換手段により、再合成された各ショット毎の
撮影空間に対して、撮影空間の間でそれらの大きさと位
置が等しくなるように撮影空間を変換した後、ショット
間関係情報の算出を行う。ここで、算出する情報は、シ
ョットの空間に関する情報である。関係付けを行うショ
ットに記録されているそれぞれの空間の配置関係をショ
ット間関係情報とする。このショット間の関係は、撮影
空間合成部197で再合成したパノラマ空間を比較する
ことで算出する。同じ焦点距離で撮影された映像から作
成したパノラマ空間間では、同じ円柱変換の歪みを有す
る。図12に円柱変換の様子を示す。三次元空間上の線
1201は、円柱変換により円柱1203上の1202
へ変換される。図12中の点Oは、カメラの投影中心で
あり、円柱1203上は、画像面である。円柱の大きさ
は、撮影時の焦点距離fの大きさで一意で決まる。この
ことにより、同じ焦点距離で撮影された映像から作成し
たパノラマ空間間では、同じ円柱変換の歪みを有する。
同じ焦点距離で撮影された映像から作成したパノラマ空
間間の関係は、それらの画像の空間的な平行移動量を算
出することで可能である。一つのパノラマ画像をテンプ
レートとして相互関数計数を用いてマッチングにより算
出可能である。この算出の際、重なり部分の相関関係と
重なり領域から評価関数を新たに定義することで安定に
マッチングが可能である。焦点距離が異なる画像間の関
係付けには、円柱歪みを考慮してマッチングしなければ
なない。一つの画像を基準として焦点距離fを少しづつ
変化させてマッチングすることで関係を算出することが
可能である。カメラ操作が行われずに撮影された映像間
では、画像の大きさを拡大・縮小させてマッチングする
ことで関係を算出することが可能である。
作情報,被写体情報,被写体動き情報,再合成した背景
情報,及びショット間関係情報は、複数の映像に関し、
映像構造情報管理・蓄積部109に時空間的に管理・蓄
積される。従来においては、映像は、ファイルとして又
はRGBの時間変化の信号として蓄積装置の中で管理さ
れてきた。信号レベルでの管理は、機械的な処理や伝
送,蓄積,表示において有効であった。映像が計算機で
扱えるマルチメディア時代においては、映像に対する扱
いは、従来のただ単に信号の処理,蓄積,表示すること
等から、大量に蓄積された映像データベースからの検
索,編集,加工等の高度な映像の扱いになってきてい
る。このような映像の高度な扱いを可能にするために
は、映像を信号レベルからより映像の中身に突っ込んだ
レベルでの情報で管理しなければならない。上述の抽出
した情報はこのレベルの情報であり、この情報で映像を
表現し管理することで、RGBの時間変化信号のみで表
現された映像とは全く異なるより高度な扱いが可能とな
る。映像の中身を反映したこの表現は、単なる信号の時
間変化とは異なり映像の時間,空間に関する意味的な表
現であるとも考えられる。この映像の新たな表現を時空
間的に蓄積・管理することで人間にとって直観的で分か
りやすい高度な映像の扱いが実現可能となる。
対してデータ圧縮して蓄積する。データ圧縮することで
蓄積スペースの効率化や、データのネットワークを介し
た送受信を実現する。映像構造情報の中で時間を変数と
して変化する情報に対しては、ハフマン符号化等の可逆
符号化を用いて圧縮する。空間に関する情報であって画
像に関するもの(例えば、抽出された被写体の画像や再
合成された背景画像等)は、静止画像として非可逆符号
化を用いて圧縮する。非可逆符号化の代表的な手法は、
JPEG符号化である。320×240の画像でカメラ
を360度水平に回して撮影された映像から、本発明を
用いて再合成された画像は、約5メガバイトの情報を有
し、JPEG符号化を用いると10分の1の圧縮効率が
見込まれて約500キロバイトのデータに圧縮可能であ
る。現在のインターネット等を用いる場合、約5メガバ
イトの情報では、そのデータ伝送は時間的な制限から不
可能であるが、約500キロバイトのデータの伝送は実
用的に可能である。また、時間的に変化する被写体の画
像等は、同様に非可逆符号化であるH261やMPEG
等の符号化を用いることで約10分の1から20分の1
程度まで圧縮可能である。インターネット等の細い線
(情報伝送レートの低い線)で構造化された映像を送る
場合、静止画像としてJPEG圧縮された背景画像と、
同じく時間情報を空間に展開した静止画像(例えば、背
景に被写体を展開したストロボ画像等)としてJPEG
圧縮された被写体情報等の、ユーザーの要求に答えるだ
けの最低限の情報を送ることで、ネットワーク使用,時
間の効率化とインタラクションレスポンスの良さを実現
可能としている。
ユーザ入力部からの要求に応じて、もしくは予め与えた
条件に従って、またはユーザの要求と予め与えた条件の
両方に従って、映像構造情報管理・蓄積部109に管理
されている情報の再合成を行う。意味的な映像のフィル
ターリングを行うことも可能である。背景のみ、被写体
のみの映像なども作成可能である。時間と空間の映像情
報から情報情報を空間へ展開し空間のみの情報として表
現した画像も作成可能である。この例として、前述のよ
うなパノラマ展開された空間へ被写体をストロボ的に表
現した映像がある。従来技術では、時間的にサンプリン
グされたストロボ表現しか実現できなかったことに加え
て、空間的にサンプリングされたストロボ表現も可能で
ある。
ボ表現の様子を示す。1301が再合成されたパノラマ
空間である。1302が被写体を表している。1303
が空間的サンプリングされたストロボ表現であり、13
04が時間的にサンプリングされたストロボ表現であ
る。1304は、被写体の配置が被写体の速度も表現し
ており、一方、1303は、被写体の空間における変化
を表現している。ショット間関係情報を用いて、異なる
ショットに存在する複数の被写体を一つの背景に合成す
ることも可能である。例えば、ショットAに撮影されて
いる被写体(選手A)をパノラマ空間上にストロボ表現
し、ショットBに撮影されている被写体(選手B)をス
トロボ表現上へオーバーラップして動画として表示する
ことも可能である。ここでのショットAとショットBは
空間的に共通の空間を有する。この映像のエンハンスメ
ントは、旨い選出、下手な選手とのフォームの違いなど
を視覚で直感的に把握することをユーザに容易にしてい
る。
からのユーザの要求に応じてさまざまな表現が可能とな
る。111の表示部において表示された映像からユーザ
は、112のユーザ入力部を介してユーザの要求に対す
る表現のフィードバックが可能である。また、113の
出力部においては、デジタル,アナログ出力が可能であ
り、デジタル出力は、外部のプリンターやパーソナルコ
ンピュータ等への出力であり、アナログ出力は、モニタ
等への映像信号出力である。なお、出力部113は必要
に応じて設けるようにしても良い。
的に説明したが、本発明は、前記実施形態例に限定され
ることはなく、本発明の要旨を逸脱しない範囲において
種々の変更が可能であることは言うまでもない。
ータを読み込み、保存された画像データ列を読み出し、
カメラオンオフ情報とカメラ操作情報を含む撮影状態情
報を検出し、このカメラオンオフ情報に基づいて映像を
ショット毎に分割し、カメラ操作情報と物理的な特徴量
を用いてフレーム毎に被写体と背景を分離し、分離され
た被写体情報をフレーム間で対応付けを行って被写体動
き情報を抽出し、カメラ操作情報とフレーム毎の背景か
ら撮影空間を再合成し、複数のショットから各々再合成
された複数の撮影空間の間の空間的にショット間関係を
算出し、以上で得られた情報を管理・蓄積するようにし
たので、複数映像の時空間的なエンハンスメント、時空
間的、統一的な管理,表現,操作を可能とする複数映像
の時空間統合が実現可能となる。
に、予め与えた条件やユーザからの要求に従って、一つ
又は複数の撮影空間と一つ又は複数の被写体を再合成
し、表示し又は外部へアナログ、デジタル形式で出力す
るようにしたの、同じ空間を撮影した複数の映像に対し
て、ユーザが興味や目的に応じて各自のスタイルで複数
映像の情報を同時に直感的に効率よく取得することか可
能である。
明する図である。
と処理の流れを説明する図である。
の流れ図である。
する図である。
アルゴリズムを説明する図である。
構成と処理の流れを説明する図である。
図である。
れ図である。
ある。
み画素を示す図である。
撮影空間の再合成方法を説明する図である。
グによるストロボ表現を説明する図である。
Claims (57)
- 【請求項1】 複数の映像を時空間統合、管理する装置
であって、 映像データを読み込み、データ列として保存する画像デ
ータ列メモリ部と、 前記画像データ列メモリ部からデータ列を読み出し、カ
メラオンオフ情報とカメラ操作情報を含む撮影状態情報
を検出する撮影状態検出部と、前記カメラオンオフ情報
に基づいて前記データ列の映像をショット毎に分割する
映像分割部と、 前記カメラ操作情報と物理的な特徴量を用いて前記映像
のフレーム毎に被写体と背景を分離する被写体,背景分
離部と、 前記フレーム毎に分離された被写体情報をフレーム間で
対応付ける被写体動き情報抽出部と、 前記カメラ操作情報と前記フレーム毎に分離された背景
から前記映像が撮影された撮影空間を再合成する撮影空
間再合成部と、 前記分割された複数のショットから前記撮影空間再合成
部で各々再合成された複数の撮影空間の間の空間的なシ
ョット間関係を算出するショット間関係算出部と、前記
分離された被写体の情報、前記対応付けられた被写体の
情報、前記撮影状態情報、前記背景の情報、前記ショッ
ト間関係の情報を管理・蓄積する映像構造情報管理・蓄
積部と、 を具備することを特徴とする複数映像の時空間統合、管
理装置。 - 【請求項2】 前記抽出された被写体情報,撮影状態情
報,背景情報,ショット間関係情報及び映像データのす
べて又はその一部を伝送又は受信する映像構造化情報伝
送受信部を、更に具備することを特徴とする請求項1に
記載の複数映像の時空間統合、管理装置。 - 【請求項3】 予め与えた条件とユーザからの要求のい
ずれか一方又は双方に従って前記映像構造情報管理・蓄
積部に蓄積・管理されている情報を基に一つ又は複数の
撮影空間と一つ又は複数の被写体を再合成する再合成部
と、 前記再合成部で再合成された映像を表示する表示部と、 前記表示部で表示されている映像に基づいて再合成に関
する前記ユーザの要求を入力するユーザ入力部と、具備
するとともに、 必要に応じて前記表示部に表示された映像をデジタル又
はアナログ形式で外部装置に出力する出力部を具備す
る、 ことを特徴とする請求項1又は2に記載の複数映像の時
空間統合、管理装置。 - 【請求項4】 前記撮影状態検出部は、 画像データメモリ部から読み出された画像フレームに対
して水平、垂直方向の直線成分を各々算出する直線成分
算出部と、 前記算出された水平、垂直直線成分を含む画像が有する
時間空間配置の並べ替えを行う画像データ配置並べ替え
部と、 前記並べ替えで得られた画像データにフィルター処理を
施す映像情報フィルター部と、 前記フィルター処理の結果から特徴を抽出する特徴抽出
部と、 前記抽出された特徴を統計的に解析してカメラオンオフ
情報とカメラ操作情報を検出する特徴統計解析部と、 を具備することを特徴とする請求項1、2、又は3に記
載の複数映像の時空間統合、管理装置。 - 【請求項5】 前記画像データ並べ替え部は、画像の法
線と時間軸を含む複数枚の時空間断面画像に画像データ
列を並べ替える画像データ列再配置手段を具備する、こ
とを特徴とする請求項4に記載の複数映像の時空間統
合、管理装置。 - 【請求項6】 前記映像情報フィルター処理部は、前記
並べ替えられた画像データの映像情報のエッジまたは線
を検出する線分検出手段を具備する、ことを特徴とする
請求項4に記載の複数映像の時空間統合、管理装置。 - 【請求項7】 前記特徴抽出部は、前記検出されたエッ
ジまたは線に関する情報を画像の法線方向に加算する積
分手段を具備する、ことを特徴とする請求項6に記載の
複数映像の時空間統合、管理装置。 - 【請求項8】 前記特徴統計解析部は、時間軸と空間軸
とを有する二次元画像に表現された抽出特徴の時間軸に
垂直な直線を検出し、カメラオンオフ情報を算出するカ
メラオンオフ検出手段を具備する、ことを特徴とする請
求項4に記載の複数映像の時空間統合、管理装置。 - 【請求項9】 前記特徴統計解析部は、 時間軸と空間軸とを有する二次元画像に表現された抽出
特徴の任意の2つの時間の空間分布を比較し、空間座標
の対応付けを行う対応付け手段と、 前記対応付けられた空間座標を統計処理してカメラ操作
パラメータを算出するカメラ操作パラメータ算出手段
と、 を具備すると特徴とする請求項4に記載の複数映像の時
空間統合、管理装置。 - 【請求項10】 前記被写体,背景分離部は、 撮影状態検出部で検出されたカメラ操作情報に基づいて
隣接する画像データ間からカメラ操作を相殺するカメラ
操作相殺部と、 前記カメラ操作情報が相殺された画像データ間で比較を
行う画像データ比較部と、 隣接する前記比較画像データ間で比較を行う比較画像デ
ータ比較部と、 前記比較画像データ比較部から算出される比較データか
ら被写体領域を抽出する領域抽出部と、 を具備することを特徴とする請求項1、2、又は3に記
載の複数映像の時空間統合、管理装置。 - 【請求項11】 前記カメラ操作相殺部は、カメラ操作
による変形・変位分を相殺するように前記カメラ操作情
報に基づいて隣接する画像フレームを変形・変位させる
映像フレーム変形手段を具備する、ことを特徴とする請
求項10に記載の複数映像の時空間統合、管理装置。 - 【請求項12】 前記画像データ比較部は、カメラ操作
が相殺された隣接する画像データ間で輝度、色情報の差
分処理を行う差分処理手段を具備する、ことを特徴とす
る請求項10に記載の複数映像の時空間統合、管理装
置。 - 【請求項13】 前記抽出領域部は、 前記比較データに対して、二値化処理を行う二値化処理
手段と、 前記二値化処理された二値化データに対してラベル付け
をするラベル付け手段と、 前記ラベル付けされた領域の物理的な特徴を算出する物
理的特徴算出手段と、 前記算出された物理的な特徴に対して予め与えた条件と
照合して被写体領域を抽出する照合手段と、 を具備することを特徴とする請求項10に記載の複数映
像の時空間統合、管理装置。 - 【請求項14】 前記被写体,背景分離部は、前記領域
抽出部で抽出されたフレーム毎の被写体領域をフレーム
画像から差し引いて背景を抽出する背景抽出手段を具備
する、ことを特徴とする請求項13に記載の複数映像の
時空間統合、管理装置。 - 【請求項15】 前記被写体動き情報抽出部は、前記領
域抽出部で抽出されたフレーム毎の被写体領域の時間的
に隣接する領域の物理的な特徴の比較量に対して予め与
えた条件と照合してフレーム間の被写体情報を対応付け
る照合手段を具備する、ことを特徴とする請求項13に
記載の複数映像の時空間統合、管理装置。 - 【請求項16】 前記撮影空間再合成部は、前記撮影状
態検出部で検出されたカメラ操作情報に基づいて隣接す
る画像フレームを変形・変位させ、一つの連続する撮影
空間として重ね合わせる空間重ね合わせ手段を具備す
る、ことを特徴とする請求項1、2、又は3に記載の複
数映像の時空間統合、管理装置。 - 【請求項17】 前記ショット間関係算出部は、撮影空
間再合成部で作成された各ショット毎の撮影空間に対し
て、撮影空間の間でそれらの大きさと位置が等しくなる
ように撮影空間を変換する撮影空間変換手段を具備す
る、ことを特徴とする請求項1、2、又は3に記載の複
数映像の時空間統合、管理装置。 - 【請求項18】 前記映像構造情報管理・蓄積部は、前
記抽出された被写体情報,撮影状態情報,背景情報,シ
ョット間関係情報,映像データ、並びに撮影状態情報,
背景情報,ショット間関係情報,及び映像データを用い
て再合成された複数映像の撮影空間のすべて又はその一
部をデータ圧縮し、時間空間的に管理・蓄積する手段を
具備することを特徴とする請求項1に記載の複数映像の
時空間統合、管理装置。 - 【請求項19】 前記映像構造情報管理・蓄積部は、前
記抽出された被写体情報を空間に展開し、静止画像とし
てデータ圧縮する手段と、再合成された複数映像の撮影
空間を静止画像としてデータ圧縮する手段と、を具備す
ることを特徴とする請求項18に記載の複数映像の時空
間統合、管理装置。 - 【請求項20】 複数の映像を時空間統合、管理する方
法であって、 映像データを読み込み、データ列として保存する画像デ
ータ列保存過程と、 前記画像データ列メモリ部からデータ列を読み出し、カ
メラオンオフ情報とカメラ操作情報を含む撮影状態情報
を検出する撮影状態検出過程と、 前記カメラオンオフ情報に基づいて前記データ列の映像
をショット毎に分割する映像分割過程と、 前記カメラ操作情報と物理的な特徴量を用いて前記映像
のフレーム毎に被写体と背景を分離する被写体,背景分
離過程と、 前記フレーム毎に分離された被写体情報をフレーム間で
対応付ける被写体動き情報抽出過程と、 前記カメラ操作情報と前記フレーム毎に分離された背景
から前記映像が撮影された撮影空間を再合成する撮影空
間合成過程と、 前記分割された複数にショットから前記撮影空間再合成
過程で各々再合成された複数の撮影空間の空間的なショ
ット間関係を算出するショット間関係算出過程と、 前記分離された被写体の情報、前記対応付けられた被写
体の情報、前記撮影状態情報、前記背景の情報、前記シ
ョット間関係の情報を管理・蓄積する映像構造情報管理
・蓄積過程と、 を具備することを特徴とする複数映像の時空間統合、管
理方法。 - 【請求項21】 前記抽出された被写体情報,撮影状態
情報,背景情報,ショット間関係情報及び映像データの
すべて又はその一部を伝送又は受信する映像構造化情報
伝送受信過程を、更に具備することを特徴とする請求項
20に記載の複数映像の時空間統合、管理方法。 - 【請求項22】 前記映像構造情報管理・蓄積過程の後
に、 予め与えた条件とユーザからの要求のいずれか一方又は
双方に従って前記蓄積・管理されている情報を元に一つ
又は複数の撮影空間と一つ又は複数の被写体を再合成す
る再合成過程と、 前記再合成過程で再合成された映像を表示又は出力する
表示又は出力過程と、 を具備することを特徴とする請求項20又は21に記載
の複数映像の時空間統合、管理方法。 - 【請求項23】 前記撮影状態検出過程は、 画像データ列メモリ過程から読み出された画像フレーム
に対して水平、垂直方向の直線成分を各々算出する直線
成分算出過程と、 前記水平、垂直直線成分を含む画像が有する時間空間配
置の並べ替えを行う画像データ配置並べ替え過程と、 前記並べ替えで得られた画像データにフィルター処理を
施す映像情報フィルター処理過程と、 前記フィルター処理の結果から特徴を抽出する特徴抽出
過程と、 前記抽出された特徴を統計的に解析してカメラオンオフ
操作情報とカメラ操作情報を検出する特徴統計解析過程
と、 を具備することを特徴とする請求項20、21、又は2
2に記載の複数映像の時空間統合、管理方法。 - 【請求項24】 前記画像データ配置並べ替え過程で
は、画像の法線と時間軸を含む複数枚の時空間断面画像
に画像データ列を並べ替えて再配置する、ことを特徴と
する請求項23に記載の複数映像の時空間統合、管理方
法。 - 【請求項25】 前記映像情報フィルター処理過程で
は、前記並べ替えで得られた画像データの映像情報のエ
ッジまたは線を検出する、ことを特徴とする請求項23
に記載の複数映像の時空間統合、管理方法。 - 【請求項26】 前記特徴抽出過程では、前記検出され
たエッジまたは線に関する情報を画像の法線方向に加算
して特徴を抽出する、ことを特徴とする請求項25に記
載の複数映像の時空間統合、管理方法。 - 【請求項27】 前記特徴統計解析過程では、時間軸と
空間軸とを有する二次元画像に表現された抽出特徴の時
間軸に垂直な直線を検出し、カメラオンオフ情報を算出
する、ことを特徴とする請求項23に記載の複数映像の
時空間統合、管理方法。 - 【請求項28】 前記特徴統計解析過程は、 時間軸と空間軸とを有する二次元画像に表現された抽出
特徴の任意の2つの時間の空間分布を比較し、空間座標
の対応付けを行う対応付け過程と、 前記対応付けられた空間座標を統計処理してカメラ操作
パラメータを算出するカメラ操作パラメータ算出過程
と、 を具備することを特徴とする請求項23に記載の複数映
像の時空間統合、管理方法。 - 【請求項29】 前記被写体,背景分離過程は、 撮影状態検出過程で検出されたカメラ操作情報に基づい
て隣接する画像データ間からカメラ操作を相殺するカメ
ラ操作相殺過程と、 前記カメラ操作情報が相殺された画像データ間で比較を
行う画像データ比較過程と、 隣接する前記比較画像データ間で比較を行う比較画像デ
ータ比較過程と、 前記比較画像データ比較過程から算出される比較データ
から被写体領域を抽出する領域抽出過程と、 を具備することを特徴とする請求項20、21、又は2
2に記載の複数映像の時空間統合、管理方法。 - 【請求項30】 前記カメラ操作相殺過程では、カメラ
操作による変形・変位分を相殺するように前記カメラ操
作情報に基づいて隣接する画像フレームを変形・変位さ
せる、ことを特徴とする請求項29に記載の複数映像の
時空間統合、管理方法。 - 【請求項31】 前記画像データ比較過程では、カメラ
操作が相殺された隣接する画像データ間で輝度、色情報
の差分処理を行う、ことを特徴とする請求項29に記載
の複数映像の時空間統合、管理方法。 - 【請求項32】 前記領域抽出過程は、 前記比較データに対して、二値化処理を行う二値化処理
過程と、 前記二値化処理された二値化データに対してラベル付け
をするラベル付け過程と、 前記ラベル付けされた領域の物理的な特徴を算出する物
理的特徴算出過程と、 前記算出された物理的な特徴に対して予め与えた条件と
照合して被写体領域を抽出する照合過程と、 を具備することを特徴とする請求項29に記載の複数映
像の時空間統合、管理方法。 - 【請求項33】 前記被写体,背景分離過程では、前記
領域抽出過程で抽出されたフレーム毎の被写体領域をフ
レーム画像から差し引いて背景を抽出する、ことを特徴
とする請求項32に記載の複数映像の時空間統合、管理
方法。 - 【請求項34】 前記被写体動き情報抽出過程では、前
記領域抽出過程で抽出されたフレーム毎の被写体領域の
時間的に隣接する領域の物理的な特徴の比較量に対して
予め与えた条件と照合してフレーム間の被写体情報を対
応付ける、ことを特徴とする請求項32に記載の複数映
像の時空間統合、管理方法。 - 【請求項35】 前記撮影空間再合成過程では、前記撮
影状態検出過程で検出されたカメラ操作情報に基づいて
隣接する画像フレームを変形・変位させ、一つの連続す
る撮影空間として重ね合わせる、ことを特徴とする請求
項20、21、又は22に記載の複数映像の時空間統
合、管理方法。 - 【請求項36】 前記ショット間関係算出過程では、前
記撮影空間再合成過程で作成された各ショット毎の撮影
空間に対して、撮影空間の間でそれらの大きさと位置が
等しくなるように撮影空間を変換する、ことを特徴とす
る請求項20、21、又は22に記載の複数映像の時空
間統合、管理方法。 - 【請求項37】 前記映像構造情報管理・蓄積過程は、
前記抽出された被写体情報,撮影状態情報,背景情報,
ショット間関係情報,映像データ、並びに撮影状態情
報,背景情報,ショット間関係情報,及び映像データを
用いて再合成された複数映像の撮影空間のすべて又はそ
の一部をデータ圧縮し、時間空間的に管理・蓄積するこ
と特徴とする請求項20に記載の複数映像の時空間統
合、管理方法。 - 【請求項38】 前記映像構造情報管理・蓄積過程は、
前記抽出された被写体情報を空間に展開し、静止画像と
してデータ圧縮し、再合成された複数映像の撮影空間を
静止画像としてデータ圧縮することを特徴とする請求項
37に記載の複数映像の時空間統合、管理方法。 - 【請求項39】 複数の映像を時空間統合、管理するプ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、 映像データを読み込み、データ列として保存する画像デ
ータ列保存過程と、 前記画像データ列メモリ部からデータ列を読み出し、カ
メラオンオフ情報とカメラ操作情報を含む撮影状態情報
を検出する撮影状態検出過程と、 前記カメラオンオフ情報に基づいて前記データ列の映像
をショット毎に分割する映像分割過程と、 前記カメラ操作情報と物理的な特徴量を用いて前記映像
のフレーム毎に被写体と背景を分離する被写体,背景分
離過程と、 前記フレーム毎に分離された被写体情報をフレーム間で
対応付ける被写体動き情報抽出過程と、 前記カメラ操作情報と前記フレーム毎に分離された背景
から前記映像が撮影された撮影空間を再合成する撮影空
間合成過程と、 前記分割された複数にショットから前記撮影空間再合成
過程で各々再合成された複数の撮影空間の空間的なショ
ット間関係を算出するショット間関係算出過程と、 前記分離された被写体の情報、前記対応付けられた被写
体の情報、前記撮影状態情報、前記背景の情報、前記シ
ョット間関係の情報を管理・蓄積する映像構造情報管理
・蓄積過程と、 を具備することを特徴とする複数映像の時空間統合、管
理プログラムを記録したコンピュータ読み取り可能な記
録媒体。 - 【請求項40】 前記抽出された被写体情報,撮影状態
情報,背景情報,ショット間関係情報及び映像データの
すべて又はその一部を伝送又は受信する映像構造化情報
伝送受信過程を、更に具備することを特徴とする請求項
39に記載の複数映像の時空間統合、管理プログラムを
記録したコンピュータ読み取り可能な記録媒体。 - 【請求項41】 前記映像構造情報管理・蓄積過程の後
に、 予め与えた条件とユーザからの要求のいずれか一方又は
双方に従って前記蓄積・管理されている情報を元に一つ
又は複数の撮影空間と一つ又は複数の被写体を再合成す
る再合成過程と、 前記再合成過程で再合成された映像を表示又は出力する
表示又は出力過程と、 を具備することを特徴とする請求項39又は40に記載
の複数映像の時空間統合、管理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項42】 前記撮影状態検出過程は、 画像データ列メモリ過程から読み出された画像フレーム
に対して水平、垂直方向の直線成分を各々算出する直線
成分算出過程と、 前記水平、垂直直線成分を含む画像が有する時間空間配
置の並べ替えを行う画像データ配置並べ替え過程と、 前記並べ替えで得られた画像データにフィルター処理を
施す映像情報フィルター処理過程と、 前記フィルター処理の結果から特徴を抽出する特徴抽出
過程と、 前記抽出された特徴を統計的に解析してカメラオンオフ
操作情報とカメラ操作情報を検出する特徴統計解析過程
と、 を具備することを特徴とする請求項39、40、又は4
1に記載の複数映像の時空間統合、管理プログラムを記
録したコンピュータ読み取り可能な記録媒体。 - 【請求項43】 前記画像データ配置並べ替え過程で
は、画像の法線と時間軸を含む複数枚の時空間断面画像
に画像データ列を並べ替えて再配置する、ことを特徴と
する請求項42に記載の複数映像の時空間統合、管理プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項44】 前記映像情報フィルター処理過程で
は、前記並べ替えで得られた画像データの映像情報のエ
ッジまたは線を検出する、ことを特徴とする請求項42
に記載の複数映像の時空間統合、管理プログラムを記録
したコンピュータ読み取り可能な記録媒体。 - 【請求項45】 前記特徴抽出過程では、前記検出され
たエッジまたは線に関する情報を画像の法線方向に加算
して特徴を抽出する、ことを特徴とする請求項44に記
載の複数映像の時空間統合、管理プログラムを記録した
コンピュータ読み取り可能な記録媒体。 - 【請求項46】 前記特徴統計解析過程では、時間軸と
空間軸とを有する二次元画像に表現された抽出特徴の時
間軸に垂直な直線を検出し、カメラオンオフ情報を算出
する、ことを特徴とする請求項42に記載の複数映像の
時空間統合、管理プログラムを記録したコンピュータ読
み取り可能な記録媒体。 - 【請求項47】 前記特徴統計解析過程は、 時間軸と空間軸とを有する二次元画像に表現された抽出
特徴の任意の2つの時間の空間分布を比較し、空間座標
の対応付けを行う対応付け過程と、 前記対応付けられた空間座標を統計処理してカメラ操作
パラメータを算出するカメラ操作パラメータ算出過程
と、 を具備することを特徴とする請求項42に記載の複数映
像の時空間統合、管理プログラムを記録したコンピュー
タ読み取り可能な記録媒体。 - 【請求項48】 前記被写体,背景分離過程は、 撮影状態検出過程で検出されたカメラ操作情報に基づい
て隣接する画像データ間からカメラ操作を相殺するカメ
ラ操作相殺過程と、 前記カメラ操作情報が相殺された画像データ間で比較を
行う画像データ比較過程と、 隣接する前記比較画像データ間で比較を行う比較画像デ
ータ比較過程と、 前記比較画像データ比較過程から算出される比較データ
から被写体領域を抽出する領域抽出過程と、 を具備することを特徴とする請求項39、40、又は4
1に記載の複数映像の時空間統合、管理プログラムを記
録したコンピュータ読み取り可能な記録媒体。 - 【請求項49】 前記カメラ操作相殺過程では、カメラ
操作による変形・変位分を相殺するように前記カメラ操
作情報に基づいて隣接する画像フレームを変形・変位さ
せる、ことを特徴とする請求項48に記載の複数映像の
時空間統合、管理プログラムを記録したコンピュータ読
み取り可能な記録媒体。 - 【請求項50】 前記画像データ比較過程では、カメラ
操作が相殺された隣接する画像データ間で輝度、色情報
の差分処理を行う、ことを特徴とする請求項48に記載
の複数映像の時空間統合、管理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項51】 前記領域抽出過程は、 前記比較データに対して、二値化処理を行う二値化処理
過程と、 前記二値化処理された二値化データに対してラベル付け
をするラベル付け過程と、 前記ラベル付けされた領域の物理的な特徴を算出する物
理的特徴算出過程と、 前記算出された物理的な特徴に対して予め与えた条件と
照合して被写体領域を抽出する照合過程と、 を具備することを特徴とする請求項48に記載の複数映
像の時空間統合、管理プログラムを記録したコンピュー
タ読み取り可能な記録媒体。 - 【請求項52】 前記被写体,背景分離過程では、前記
領域抽出過程で抽出されたフレーム毎の被写体領域をフ
レーム画像から差し引いて背景を抽出する、ことを特徴
とする請求項51に記載の複数映像の時空間統合、管理
プログラムを記録したコンピュータ読み取り可能な記録
媒体。 - 【請求項53】 前記被写体動き情報抽出過程では、前
記領域抽出過程で抽出されたフレーム毎の被写体領域の
時間的に隣接する領域の物理的な特徴の比較量に対して
予め与えた条件と照合してフレーム間の被写体情報を対
応付ける、ことを特徴とする請求項51に記載の複数映
像の時空間統合、管理プログラムを記録したコンピュー
タ読み取り可能な記録媒体。 - 【請求項54】 前記撮影空間再合成過程では、前記撮
影状態検出過程で検出されたカメラ操作情報に基づいて
隣接する画像フレームを変形・変位させ、一つの連続す
る撮影空間として重ね合わせる、ことを特徴とする請求
項39、40、又は41に記載の複数映像の時空間統
合、管理プログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項55】 前記ショット間関係算出過程では、前
記撮影空間再合成過程で作成された各ショット毎の撮影
空間に対して、撮影空間の間でそれらの大きさと位置が
等しくなるように撮影空間を変換する、ことを特徴とす
る請求項39、40、又は41に記載の複数映像の時空
間統合、管理プログラムを記録したコンピュータ読み取
り可能な記録媒体。 - 【請求項56】 前記映像構造情報管理・蓄積過程は、
前記抽出された被写体情報,撮影状態情報,背景情報,
ショット間関係情報,映像データ、並びに撮影状態情
報,背景情報,ショット間関係情報,及び映像データを
用いて再合成された複数映像の撮影空間のすべて又はそ
の一部をデータ圧縮し、時間空間的に管理・蓄積するこ
と特徴とする請求項39に記載の複数映像の時空間統
合、管理プログラムを記録したコンピュータ読み取り可
能な記録媒体。 - 【請求項57】 前記映像構造情報管理・蓄積過程は、
前記抽出された被写体情報を空間に展開し、静止画像と
してデータ圧縮し、再合成された複数映像の撮影空間を
静止画像としてデータ圧縮することを特徴とする請求項
56に記載の複数映像の時空間統合、管理プログラムを
記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27160097A JP3499729B2 (ja) | 1996-10-04 | 1997-10-03 | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP26398696 | 1996-10-04 | ||
JP8-263986 | 1996-10-04 | ||
JP27160097A JP3499729B2 (ja) | 1996-10-04 | 1997-10-03 | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10164435A JPH10164435A (ja) | 1998-06-19 |
JP3499729B2 true JP3499729B2 (ja) | 2004-02-23 |
Family
ID=26546296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27160097A Expired - Lifetime JP3499729B2 (ja) | 1996-10-04 | 1997-10-03 | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3499729B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4114720B2 (ja) | 2002-10-25 | 2008-07-09 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成方法および画像生成装置 |
JP4626668B2 (ja) | 2008-04-03 | 2011-02-09 | ソニー株式会社 | 画像処理装置、表示制御方法、プログラム及び記録媒体 |
CN112004034A (zh) * | 2020-09-04 | 2020-11-27 | 北京字节跳动网络技术有限公司 | 合拍方法、装置、电子设备及计算机可读存储介质 |
-
1997
- 1997-10-03 JP JP27160097A patent/JP3499729B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10164435A (ja) | 1998-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Aner et al. | Video summaries through mosaic-based shot and scene clustering | |
US6342904B1 (en) | Creating a slide presentation from full motion video | |
US6411339B1 (en) | Method of spatio-temporally integrating/managing a plurality of videos and system for embodying the same, and recording medium for recording a program for the method | |
US6646655B1 (en) | Extracting a time-sequence of slides from video | |
JP5165743B2 (ja) | ビデオデータの同期をとる方法及び装置 | |
JP4907938B2 (ja) | 少なくとも1つの画像及び画像群を表現する方法、画像又は画像群の表現、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、画像又は画像群を表現する装置、画像及び/又は画像群を比較する装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
JP2009539273A (ja) | ビデオクリップからのキーフレーム候補の抽出 | |
JP2006510072A (ja) | 一様なカラーセグメントを検出するための方法及びシステム | |
JPWO2006025272A1 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
US7526725B2 (en) | Context aware video conversion method and playback system | |
JP2011108262A (ja) | 少なくとも1つの画像及び画像群を表現する方法、画像及び/又は画像群を比較する方法、画像又は画像群を符号化する方法、画像又は画像シーケンスを復号する方法、符号化されたデータの使用、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
KR101812103B1 (ko) | 썸네일이미지 설정방법 및 설정프로그램 | |
JP4327827B2 (ja) | 映像記録再生システムおよび映像記録再生方法 | |
JP2012105205A (ja) | キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置 | |
JP4913801B2 (ja) | 遮蔽物映像識別装置及び方法 | |
JP6340675B1 (ja) | オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム | |
JP3499729B2 (ja) | 複数映像の時空間統合、管理方法及びその装置並びにそのプログラムを記録した記録媒体 | |
US6937651B1 (en) | Method and apparatus for compressing image information | |
Fernando et al. | Fade-in and fade-out detection in video sequences using histograms | |
Aner-Wolf et al. | Video summaries and cross-referencing through mosaic-based representation | |
JP4743601B2 (ja) | 動画像処理装置 | |
JP3325823B2 (ja) | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 | |
JP5293422B2 (ja) | 画像特定装置及び画像特定プログラム | |
JP2000182028A (ja) | 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置 | |
WO2003084249A1 (en) | Methods for summarizing video through mosaic-based shot and scene clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081205 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091205 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101205 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |