JP2003179930A - 動オブジェクト抽出方法及び抽出装置 - Google Patents
動オブジェクト抽出方法及び抽出装置Info
- Publication number
- JP2003179930A JP2003179930A JP2001376299A JP2001376299A JP2003179930A JP 2003179930 A JP2003179930 A JP 2003179930A JP 2001376299 A JP2001376299 A JP 2001376299A JP 2001376299 A JP2001376299 A JP 2001376299A JP 2003179930 A JP2003179930 A JP 2003179930A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- video
- moving
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 撮影領域が所望の背景をカバーすることがで
き、かつ、動オブジェクトが映像上で一定の大きさをも
つことが可能となる動オブジェクト抽出方法及び抽出装
置を提供することを目的とする。 【解決手段】 複数の固定背景映像カメラの映像信号か
ら動オブジェクトを抽出し、放送映像カメラの撮影映像
にマッピングして動オブジェクトの抽出を行う動オブジ
ェクト抽出方法であって、前記複数の固定背景映像カメ
ラ間で重複した映像信号の領域から得られた動オブジェ
クトを同定する同定段階と、異なる固定背景映像カメラ
の映像信号から同一の動オブジェクトが抽出された場合
に、前記背景映像カメラの画面の中心と前記動オブジェ
クトの重心との距離が最小となる背景映像から抽出され
た動オブジェクトを選択する選択段階と、前記選択段階
で選択された動オブジェクトの領域を前記放送映像カメ
ラの撮影映像にマッピングすることにより動オブジェク
トの抽出を行う抽出段階とを備えることにより上記課題
を解決する。
き、かつ、動オブジェクトが映像上で一定の大きさをも
つことが可能となる動オブジェクト抽出方法及び抽出装
置を提供することを目的とする。 【解決手段】 複数の固定背景映像カメラの映像信号か
ら動オブジェクトを抽出し、放送映像カメラの撮影映像
にマッピングして動オブジェクトの抽出を行う動オブジ
ェクト抽出方法であって、前記複数の固定背景映像カメ
ラ間で重複した映像信号の領域から得られた動オブジェ
クトを同定する同定段階と、異なる固定背景映像カメラ
の映像信号から同一の動オブジェクトが抽出された場合
に、前記背景映像カメラの画面の中心と前記動オブジェ
クトの重心との距離が最小となる背景映像から抽出され
た動オブジェクトを選択する選択段階と、前記選択段階
で選択された動オブジェクトの領域を前記放送映像カメ
ラの撮影映像にマッピングすることにより動オブジェク
トの抽出を行う抽出段階とを備えることにより上記課題
を解決する。
Description
【０００１】
【発明の属する技術分野】本発明は、動オブジェクト抽
出方法及び抽出装置に係り、特に、オブジェクト画像符
号化やオブジェクト連動型データ放送システムを実現す
るために映像内の動オブジェクトの抽出を行う動オブジ
ェクト抽出方法及び抽出装置に関する。
出方法及び抽出装置に係り、特に、オブジェクト画像符
号化やオブジェクト連動型データ放送システムを実現す
るために映像内の動オブジェクトの抽出を行う動オブジ
ェクト抽出方法及び抽出装置に関する。
【０００２】
【従来の技術】オブジェクトベースの画像符号化やオブ
ジェクトに連動した映像を放送する連動型データ放送シ
ステムを実現するために、映像から意味のある又は動き
のあるオブジェクトを抽出することは必要不可欠な技術
となっている。
ジェクトに連動した映像を放送する連動型データ放送シ
ステムを実現するために、映像から意味のある又は動き
のあるオブジェクトを抽出することは必要不可欠な技術
となっている。
【０００３】従来の動オブジェクト抽出方法は、クロマ
キーにおける背景のように特別の仕掛けを必要とするも
のや、レンジファインダの特別センサを必要とするもの
等がある。
キーにおける背景のように特別の仕掛けを必要とするも
のや、レンジファインダの特別センサを必要とするもの
等がある。
【０００４】一方、通常のカメラ等によって取得された
自然画像からオブジェクトを切り出す技術としては、輝
度・色情報や動きベクトル場に基づいて画像を領域分解
する方法や、人間がおおよその位置・輪郭を与え、その
エッジ情報に基づいてオブジェクトを切り出す方法等が
あるが、その中でも輝度値の時間方向の統計情報を用い
て背景と前景とを分離することによりオブジェクトを抽
出する背景差分オブジェクト抽出法は最も安定してお
り、この目的に適している。
自然画像からオブジェクトを切り出す技術としては、輝
度・色情報や動きベクトル場に基づいて画像を領域分解
する方法や、人間がおおよその位置・輪郭を与え、その
エッジ情報に基づいてオブジェクトを切り出す方法等が
あるが、その中でも輝度値の時間方向の統計情報を用い
て背景と前景とを分離することによりオブジェクトを抽
出する背景差分オブジェクト抽出法は最も安定してお
り、この目的に適している。
【０００５】また、従来の動オブジェクト抽出法の実施
においては、カメラが固定していなければならず、実際
の放送映像の撮影ではパン、チルト、ロール、ズーム、
フォーカス、ドリー等の様々なカメラ操作が行われるた
め、使用に対して制限条件があった。しかしながら、例
えば、本発明者の発明に係る特願２００１−１９６０７
７号出願に記載されているように、撮影時に放送映像カ
メラと別に、１台の固定の背景映像カメラを設置し、背
景映像から動オブジェクトの抽出を行い、更にフレーム
毎に前記放送映像カメラの繰作パラメータ（パン角度、
チルト角度、ロール角度、ズーム比、フォーカス量、ド
リー量）を計測し、計測したパラメータと背景映像から
の抽出結果を用いて放送映像内の動オブジェクトの抽出
を行う方法がある。これにより、放送映像からの動オブ
ジェクトの抽出を、固定カメラで撮影した背景映像から
動オブジェクトを抽出し、前記固定カメラと前記背景映
像カメラとの２カメラ映像間のオブジェクト領域を射影
変換処理ことにより、背景映像からの高精度の動オブジ
ェクトが抽出でき、また、２カメラ映像間の動オブジェ
クト領域の射影変換処理が単純な座標変換処理（マッピ
ング）であるため、放送映像からの動オブジェクトの抽
出を高精度に行うことが可能となる。
においては、カメラが固定していなければならず、実際
の放送映像の撮影ではパン、チルト、ロール、ズーム、
フォーカス、ドリー等の様々なカメラ操作が行われるた
め、使用に対して制限条件があった。しかしながら、例
えば、本発明者の発明に係る特願２００１−１９６０７
７号出願に記載されているように、撮影時に放送映像カ
メラと別に、１台の固定の背景映像カメラを設置し、背
景映像から動オブジェクトの抽出を行い、更にフレーム
毎に前記放送映像カメラの繰作パラメータ（パン角度、
チルト角度、ロール角度、ズーム比、フォーカス量、ド
リー量）を計測し、計測したパラメータと背景映像から
の抽出結果を用いて放送映像内の動オブジェクトの抽出
を行う方法がある。これにより、放送映像からの動オブ
ジェクトの抽出を、固定カメラで撮影した背景映像から
動オブジェクトを抽出し、前記固定カメラと前記背景映
像カメラとの２カメラ映像間のオブジェクト領域を射影
変換処理ことにより、背景映像からの高精度の動オブジ
ェクトが抽出でき、また、２カメラ映像間の動オブジェ
クト領域の射影変換処理が単純な座標変換処理（マッピ
ング）であるため、放送映像からの動オブジェクトの抽
出を高精度に行うことが可能となる。
【０００６】
【発明が解決しようとする課題】しかしながら、放送映
像内の動オブジェクトの輪郭に一定の精度を持たせるた
めには、背景映像内の動オブジェクトが一定の大きさを
有することが必要である。また、１台の背景映像カメラ
では、実際の背景映像カメラの画角や撮影距離に仕様上
もしくは運用上の制限が生じてしまい、広画角で撮影し
なければならないものには対応することができない。こ
れらのことから、１台の背景映像カメラでは所望の背景
をカバーすることができない。また、動オブジェクトの
輪郭について十分な精度を確保できないことがある。
像内の動オブジェクトの輪郭に一定の精度を持たせるた
めには、背景映像内の動オブジェクトが一定の大きさを
有することが必要である。また、１台の背景映像カメラ
では、実際の背景映像カメラの画角や撮影距離に仕様上
もしくは運用上の制限が生じてしまい、広画角で撮影し
なければならないものには対応することができない。こ
れらのことから、１台の背景映像カメラでは所望の背景
をカバーすることができない。また、動オブジェクトの
輪郭について十分な精度を確保できないことがある。
【０００７】本発明は、上述の点に鑑みなされたもので
あり、撮影時に複数の背景映像カメラを設置し、前記複
数の背景映像カメラからの映像を繋ぎ合わせることで所
望の背景をカバーするような構成にし、背景映像カメラ
の撮影領域が所望の背景をカバーしながら動オブジェク
トが映像上で一定の大きさをもつことにより、高精度な
動オブジェクトの抽出を行うことができる動オブジェク
ト抽出方法及び抽出装置を提供することを目的とする。
あり、撮影時に複数の背景映像カメラを設置し、前記複
数の背景映像カメラからの映像を繋ぎ合わせることで所
望の背景をカバーするような構成にし、背景映像カメラ
の撮影領域が所望の背景をカバーしながら動オブジェク
トが映像上で一定の大きさをもつことにより、高精度な
動オブジェクトの抽出を行うことができる動オブジェク
ト抽出方法及び抽出装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】上記課題を解決するため
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。
【０００９】請求項１に記載された発明は、複数の固定
背景映像カメラの映像信号から動オブジェクトを抽出
し、放送映像カメラの撮影映像にマッピングして動オブ
ジェクトの抽出を行う動オブジェクト抽出方法であっ
て、前記複数の固定背景映像カメラ間で重複した映像信
号の領域から得られた動オブジェクトを同定する同定段
階と、異なる固定背景映像カメラの映像信号から同一の
動オブジェクトが抽出された場合に、前記背景映像カメ
ラの画面の中心と前記動オブジェクトの重心との距離が
最小となる背景映像から抽出された動オブジェクトを選
択する選択段階と、前記選択段階で選択された動オブジ
ェクトの領域を前記放送映像カメラの撮影映像にマッピ
ングすることにより動オブジェクトの抽出を行う抽出段
階とを有することを特徴とする。
背景映像カメラの映像信号から動オブジェクトを抽出
し、放送映像カメラの撮影映像にマッピングして動オブ
ジェクトの抽出を行う動オブジェクト抽出方法であっ
て、前記複数の固定背景映像カメラ間で重複した映像信
号の領域から得られた動オブジェクトを同定する同定段
階と、異なる固定背景映像カメラの映像信号から同一の
動オブジェクトが抽出された場合に、前記背景映像カメ
ラの画面の中心と前記動オブジェクトの重心との距離が
最小となる背景映像から抽出された動オブジェクトを選
択する選択段階と、前記選択段階で選択された動オブジ
ェクトの領域を前記放送映像カメラの撮影映像にマッピ
ングすることにより動オブジェクトの抽出を行う抽出段
階とを有することを特徴とする。
【００１０】請求項１記載の発明によれば、複数の固定
背景映像カメラを用いることで、所望の背景をカバーす
ることができる。また、動オブジェクトの重心と画面の
中心の距離が最小となる背景映像を選択し、選択された
背景映像内の動オブジェクトを放送映像にマッピングす
ることにより動オブジェクトが一定の大きさをもつこと
ができ、抽出精度を向上させることができる。
背景映像カメラを用いることで、所望の背景をカバーす
ることができる。また、動オブジェクトの重心と画面の
中心の距離が最小となる背景映像を選択し、選択された
背景映像内の動オブジェクトを放送映像にマッピングす
ることにより動オブジェクトが一定の大きさをもつこと
ができ、抽出精度を向上させることができる。
【００１１】請求項２に記載された発明は、前記同定段
階は、前記複数の固定背景映像カメラから撮影された映
像信号から抽出した動オブジェクトの実空間における重
心間の距離が、異なる背景映像間で所定の閾値以下のも
ので、かつ他の動オブジェクトとの重心間の距離と比較
して最小のものを同一の動オブジェクトとすることを特
徴とする。
階は、前記複数の固定背景映像カメラから撮影された映
像信号から抽出した動オブジェクトの実空間における重
心間の距離が、異なる背景映像間で所定の閾値以下のも
ので、かつ他の動オブジェクトとの重心間の距離と比較
して最小のものを同一の動オブジェクトとすることを特
徴とする。
【００１２】請求項２記載の発明によれば、背景映像の
重複領域に存在する動オブジェクトが同一の動オブジェ
クトであるか否かを容易に認識することができる。
重複領域に存在する動オブジェクトが同一の動オブジェ
クトであるか否かを容易に認識することができる。
【００１３】請求項３に記載された発明は、複数の固定
背景映像カメラの映像信号から動オブジェクトを抽出
し、放送映像カメラの撮影映像にマッピングして動オブ
ジェクトの抽出を行う動オブジェクト抽出装置であっ
て、前記複数の固定背景映像カメラ間で重複した映像信
号の領域から得られた動オブジェクトを同定する同定部
と、異なる固定背景映像カメラの映像信号から同一の動
オブジェクトが抽出された場合に、前記背景映像カメラ
の画面の中心と前記動オブジェクトの重心との距離が最
小となる背景映像から抽出された動オブジェクトを選択
する選択部と、前記選択部で選択された動オブジェクト
の領域を前記放送映像カメラの撮影映像にマッピングす
ることにより動オブジェクトの抽出を行う抽出部とを有
することを特徴とする。
背景映像カメラの映像信号から動オブジェクトを抽出
し、放送映像カメラの撮影映像にマッピングして動オブ
ジェクトの抽出を行う動オブジェクト抽出装置であっ
て、前記複数の固定背景映像カメラ間で重複した映像信
号の領域から得られた動オブジェクトを同定する同定部
と、異なる固定背景映像カメラの映像信号から同一の動
オブジェクトが抽出された場合に、前記背景映像カメラ
の画面の中心と前記動オブジェクトの重心との距離が最
小となる背景映像から抽出された動オブジェクトを選択
する選択部と、前記選択部で選択された動オブジェクト
の領域を前記放送映像カメラの撮影映像にマッピングす
ることにより動オブジェクトの抽出を行う抽出部とを有
することを特徴とする。
【００１４】請求項４に記載された発明は、前記同定部
は、前記複数の固定背景映像カメラから撮影された映像
信号から抽出した動オブジェクトの実空間における重心
間の距離が、異なる背景映像間で所定の閾値以下のもの
で、かつ他の動オブジェクトとの重心間の距離と比較し
て最小のものを同一の動オブジェクトとすることを特徴
とする。
は、前記複数の固定背景映像カメラから撮影された映像
信号から抽出した動オブジェクトの実空間における重心
間の距離が、異なる背景映像間で所定の閾値以下のもの
で、かつ他の動オブジェクトとの重心間の距離と比較し
て最小のものを同一の動オブジェクトとすることを特徴
とする。
【００１５】請求項３から４に記載された発明によれ
ば、請求項１又は２に記載の動オブジェクト抽出方法に
適した抽出装置を提供することができる。
ば、請求項１又は２に記載の動オブジェクト抽出方法に
適した抽出装置を提供することができる。
【００１６】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面に基づいて説明する。
て図面に基づいて説明する。
【００１７】図１は、本発明における動オブジェクト抽
出装置の一実施例の構成図である。図１の動オブジェク
ト抽出装置は、カメラキャリブレーション回路１と、動
オブジェクト抽出・追跡・同定回路２と、自動切換え回
路３と、放送映像動オブジェクト抽出回路４とを備える
よう構成されている。
出装置の一実施例の構成図である。図１の動オブジェク
ト抽出装置は、カメラキャリブレーション回路１と、動
オブジェクト抽出・追跡・同定回路２と、自動切換え回
路３と、放送映像動オブジェクト抽出回路４とを備える
よう構成されている。
【００１８】図１において、カメラキャリブレーション
回路１は、３次元空間で座標位置が明確なターゲット点
と、それに対応した画像上での点の座標とを用いて焦点
距離、光軸と画像面との交点である画像中心位置、及び
レンズの歪曲収差等のカメラ内部パラメータを求める。
また、カメラの位置、姿勢を推定する。
回路１は、３次元空間で座標位置が明確なターゲット点
と、それに対応した画像上での点の座標とを用いて焦点
距離、光軸と画像面との交点である画像中心位置、及び
レンズの歪曲収差等のカメラ内部パラメータを求める。
また、カメラの位置、姿勢を推定する。
【００１９】動オブジェクト抽出・追跡・同定回路２
は、夫々の背景映像から動オブジェクトを抽出・追跡
し、シーン内の同一の動オブジェクトに対応するもの
に、同一の識別番号（ＩＤ）を付与する。
は、夫々の背景映像から動オブジェクトを抽出・追跡
し、シーン内の同一の動オブジェクトに対応するもの
に、同一の識別番号（ＩＤ）を付与する。
【００２０】自動切換え回路３は、抽出した動オブジェ
クト領域を放送映像にマッピングする際に複数の背景映
像から得られる同一の動オブジェクトの中から最適な動
オブジェクトを抽出できるように背景映像を選択する。
クト領域を放送映像にマッピングする際に複数の背景映
像から得られる同一の動オブジェクトの中から最適な動
オブジェクトを抽出できるように背景映像を選択する。
【００２１】また、放送映像動オブジェクト抽出回路４
は、自動切換え回路３に供給される動オブジェクト領域
を放送映像にマッピングする。
は、自動切換え回路３に供給される動オブジェクト領域
を放送映像にマッピングする。
【００２２】上述の内容により、設置した固定カメラ分
の撮影距離を確保することができ、また、背景映像から
高精度な動オブジェクトの抽出が可能となる。
の撮影距離を確保することができ、また、背景映像から
高精度な動オブジェクトの抽出が可能となる。
【００２３】次に、動作について詳細に説明する。
【００２４】図２は、複数の背景映像カメラの撮影範囲
の関係を示す一例の図である。
の関係を示す一例の図である。
【００２５】本実施形態において、図２のように複数の
背景映像カメラから夫々撮影された映像を繋ぎ合わせる
ことで、放送映像カメラの撮影可能な範囲をカバーする
ように適切な位置、方向、画角で背景映像カメラを設置
して固定する。図２では、一例として背景映像カメラの
数ＮをＮ＝３とするが、カメラの台数はこの限りではな
い。また、設置した全てのカメラの動作を同期させて撮
影を行い、映像信号を出力する。
背景映像カメラから夫々撮影された映像を繋ぎ合わせる
ことで、放送映像カメラの撮影可能な範囲をカバーする
ように適切な位置、方向、画角で背景映像カメラを設置
して固定する。図２では、一例として背景映像カメラの
数ＮをＮ＝３とするが、カメラの台数はこの限りではな
い。また、設置した全てのカメラの動作を同期させて撮
影を行い、映像信号を出力する。
【００２６】カメラキャリブレーション回路１は、スポ
ーツ会場に描かれる白線の交点等のような特徴となる点
とその画像座標を用いてカメラの内部パラメータと位
置、姿勢を推定する。
ーツ会場に描かれる白線の交点等のような特徴となる点
とその画像座標を用いてカメラの内部パラメータと位
置、姿勢を推定する。
【００２７】本実施形態では、動オブジェクトが３次元
空間中の１つの平面にあると仮定し、キャリブレーショ
ンに用いる特徴点として前記平面内にあるものを用い
る。この場合、３次元空間中の点と画像上の点とは１対
１の射影関係をもつ。なお、キャリブレーションはカメ
ラ設置後に行う。また、放送映像カメラに対し予めレン
ズの状態毎に内部パラメータを求めてテーブルに保存し
ておく。
空間中の１つの平面にあると仮定し、キャリブレーショ
ンに用いる特徴点として前記平面内にあるものを用い
る。この場合、３次元空間中の点と画像上の点とは１対
１の射影関係をもつ。なお、キャリブレーションはカメ
ラ設置後に行う。また、放送映像カメラに対し予めレン
ズの状態毎に内部パラメータを求めてテーブルに保存し
ておく。
【００２８】なお、前述の推定方法の具体的な内容につ
いては、例えば、本発明者の発明に係る特開２００１−
８６３９２号公報に記載されているように、カメラにカ
メラの位置、姿勢、及びレンズの状態を計測する夫々の
センサを取り付け、撮影を行う際にこれらのカメラ操作
パラメータを映像信号と同期して取得すると共に、カメ
ラのキャリブレーションにより予め求めておいたカメラ
の内部パラメータの供給を受けてカメラの動きに対応し
た動画像の動き推定を行う推定方法等を用いる。
いては、例えば、本発明者の発明に係る特開２００１−
８６３９２号公報に記載されているように、カメラにカ
メラの位置、姿勢、及びレンズの状態を計測する夫々の
センサを取り付け、撮影を行う際にこれらのカメラ操作
パラメータを映像信号と同期して取得すると共に、カメ
ラのキャリブレーションにより予め求めておいたカメラ
の内部パラメータの供給を受けてカメラの動きに対応し
た動画像の動き推定を行う推定方法等を用いる。
【００２９】抽出・追跡・同定回路２では、まず、各背
景映像に対し、背景差分法を用いて動オブジェクトの抽
出を行う。本実施形態においては、背景差分オブジェク
ト抽出法として境田らの手法（境田ら、“背景差分によ
る動オブジェクト抽出手法の検討”、１９９９年電子情
報通信学会総合大会）を用いる。
景映像に対し、背景差分法を用いて動オブジェクトの抽
出を行う。本実施形態においては、背景差分オブジェク
ト抽出法として境田らの手法（境田ら、“背景差分によ
る動オブジェクト抽出手法の検討”、１９９９年電子情
報通信学会総合大会）を用いる。
【００３０】ここで、前記背景差分による動オブジェク
ト抽出手法について、その概要を説明する。
ト抽出手法について、その概要を説明する。
【００３１】まず、画像の各画素に対する時間方向輝度
値ヒストグラムの最頻値として背景画像を得る。次に、
各フレームの画像と背景画像との差分をとり、差分によ
って画像を次の条件により、３種類の領域の画素に分類
する。 （１）差分が、ある閾値Ｔｈを超える画素を動オブジェ
クトとする。 （２）差分が、ある閾値Ｔｌ（Ｔｌ＜Ｔｈ）以下の画素
を背景領域とする。 （３）背景領域、動オブジェクトのどちらにも属さない
画素を未確定領域とする。
値ヒストグラムの最頻値として背景画像を得る。次に、
各フレームの画像と背景画像との差分をとり、差分によ
って画像を次の条件により、３種類の領域の画素に分類
する。 （１）差分が、ある閾値Ｔｈを超える画素を動オブジェ
クトとする。 （２）差分が、ある閾値Ｔｌ（Ｔｌ＜Ｔｈ）以下の画素
を背景領域とする。 （３）背景領域、動オブジェクトのどちらにも属さない
画素を未確定領域とする。
【００３２】なお、前記閾値Ｔｈ及び閾値Ｔｌは差分の
統計情報に基づいて決定される。最後に、未確定領域を
動オブジェクト或いは背景領域に属させるために、マー
カ付きwatershedを施す。また、watershedには、各フレ
ームのエッジ画像を用いるものとする。
統計情報に基づいて決定される。最後に、未確定領域を
動オブジェクト或いは背景領域に属させるために、マー
カ付きwatershedを施す。また、watershedには、各フレ
ームのエッジ画像を用いるものとする。
【００３３】次に、各フレームで抽出した動オブジェク
トについて、前後のフレームの関係から動オブジェクト
の追跡を行い、時間方向の関連付けを行う。なお、追跡
方法としては、例えば、本発明者の発明に係る特願２０
０１−１６６５２５号出願に記載されている手法を用い
ることにより、映像における雑音、オブジェクトの変
形、オブジェクト間の掩蔽、オブジェクトの出現・消滅
が生じ得る映像入力に対してオブジェクトの検出・追跡
を行うことができる。
トについて、前後のフレームの関係から動オブジェクト
の追跡を行い、時間方向の関連付けを行う。なお、追跡
方法としては、例えば、本発明者の発明に係る特願２０
０１−１６６５２５号出願に記載されている手法を用い
ることにより、映像における雑音、オブジェクトの変
形、オブジェクト間の掩蔽、オブジェクトの出現・消滅
が生じ得る映像入力に対してオブジェクトの検出・追跡
を行うことができる。
【００３４】ここで、前述した検出・追跡の方法につい
て、フローチャートを用いて説明する。
て、フローチャートを用いて説明する。
【００３５】図３は、動オブジェクトの検出・追跡方法
を説明するためのフローチャートの一例である。
を説明するためのフローチャートの一例である。
【００３６】特願２００１−１６６５２５号出願に記載
の動（映像）オブジェクトの検出・追跡方法は、まず、
映像信号を前景領域と背景領域とに領域分割を行い、前
景形状信号を生成（Ｓ１）する。次に、前記映像信号と
前記前景形状信号の１以上から少なくとも映像オブジェ
クトを特徴づける情報及び座標情報を含んだ画像特徴量
信号を抽出（Ｓ２）する。
の動（映像）オブジェクトの検出・追跡方法は、まず、
映像信号を前景領域と背景領域とに領域分割を行い、前
景形状信号を生成（Ｓ１）する。次に、前記映像信号と
前記前景形状信号の１以上から少なくとも映像オブジェ
クトを特徴づける情報及び座標情報を含んだ画像特徴量
信号を抽出（Ｓ２）する。
【００３７】次に、映像情報と推定位置・形状情報とか
ら特徴照合領域を絞り込み（Ｓ３）、前記特徴照合領域
と、画像特徴量信号とオブジェクト特徴データベース内
の各映像オブジェクトの位置・形状情報を示すオブジェ
クト存在領域情報と前記オブジェクト存在領域情報の信
頼の度合いを示す信頼度ｈとを生成（Ｓ４）し、前記オ
ブジェクト存在領域情報と前記信頼度ｈとに基づいて、
現時点での映像オブジェクトの位置及び形状を推定し、
推定位置・形状情報を生成（Ｓ５）する。
ら特徴照合領域を絞り込み（Ｓ３）、前記特徴照合領域
と、画像特徴量信号とオブジェクト特徴データベース内
の各映像オブジェクトの位置・形状情報を示すオブジェ
クト存在領域情報と前記オブジェクト存在領域情報の信
頼の度合いを示す信頼度ｈとを生成（Ｓ４）し、前記オ
ブジェクト存在領域情報と前記信頼度ｈとに基づいて、
現時点での映像オブジェクトの位置及び形状を推定し、
推定位置・形状情報を生成（Ｓ５）する。
【００３８】その後、前記推定位置・形状情報の監視
（Ｓ６）を行い、映像オブジェクトのフレームアウト又
は消滅を検出した場合は、オブジェクト特徴データベー
ス内の画像特徴量からフレームアウト又は消滅した映像
オブジェクトの識別番号に対応するレコードを削除（Ｓ
７）する。
（Ｓ６）を行い、映像オブジェクトのフレームアウト又
は消滅を検出した場合は、オブジェクト特徴データベー
ス内の画像特徴量からフレームアウト又は消滅した映像
オブジェクトの識別番号に対応するレコードを削除（Ｓ
７）する。
【００３９】前記識別番号の映像オブジェクトに関する
照合の信頼度ｈを監視（Ｓ８）して、信頼度ｈが予め定
められた数値範囲に至ったことを検出した場合、オブジ
ェクト特徴データベース内の画像特徴量の要素である識
別番号の映像オブジェクトの画像及び領域形状と、映像
オブジェクト内の色ベクトルの平均及び共分散と、映像
オブジェクト外の色ベクトルの平均及び共分散とを再計
算して更新（Ｓ９）する。
照合の信頼度ｈを監視（Ｓ８）して、信頼度ｈが予め定
められた数値範囲に至ったことを検出した場合、オブジ
ェクト特徴データベース内の画像特徴量の要素である識
別番号の映像オブジェクトの画像及び領域形状と、映像
オブジェクト内の色ベクトルの平均及び共分散と、映像
オブジェクト外の色ベクトルの平均及び共分散とを再計
算して更新（Ｓ９）する。
【００４０】上述のＳ３〜Ｓ９までの動作をオブジェク
ト特徴データベースに蓄積されている映像オブジェクト
の数分、繰り返し実行（Ｓ１０）する。
ト特徴データベースに蓄積されている映像オブジェクト
の数分、繰り返し実行（Ｓ１０）する。
【００４１】次に、前記推定位置・形状情報で示される
各映像オブジェクトの存在領域と前景形状信号とを比較
（Ｓ１１）して、新規映像オブジェクトを検出した場合
は、オブジェクト特徴データベース内の画像特徴量に新
たな固有の識別番号をもつ新たなレコードを追加（Ｓ１
２）する。
各映像オブジェクトの存在領域と前景形状信号とを比較
（Ｓ１１）して、新規映像オブジェクトを検出した場合
は、オブジェクト特徴データベース内の画像特徴量に新
たな固有の識別番号をもつ新たなレコードを追加（Ｓ１
２）する。
【００４２】Ｓ１〜Ｓ１２までの動作は、１フレームの
映像オブジェクト検出動作であるため、オブジェクトの
動きを追跡する場合は、Ｓ１〜Ｓ１２までの動作を連続
したフレームの数分、繰り返し実行（Ｓ１３）すること
で、追跡を行うことができる。
映像オブジェクト検出動作であるため、オブジェクトの
動きを追跡する場合は、Ｓ１〜Ｓ１２までの動作を連続
したフレームの数分、繰り返し実行（Ｓ１３）すること
で、追跡を行うことができる。
【００４３】ここで、本発明においては、複数の背景映
像カメラを用いて撮影するため、背景映像カメラの撮影
部分が重なる領域（図２におけるグレー領域）が存在す
る。そのような領域においては、シーン内の同一の動オ
ブジェクト（図２における動オブジェクト２１）が複数
の背景映像に抽出、追跡される。
像カメラを用いて撮影するため、背景映像カメラの撮影
部分が重なる領域（図２におけるグレー領域）が存在す
る。そのような領域においては、シーン内の同一の動オ
ブジェクト（図２における動オブジェクト２１）が複数
の背景映像に抽出、追跡される。
【００４４】前述の問題に対応するため、背景映像間で
動オブジェクトを同定し、シーン内で同一と判断された
動オブジェクトに同一の識別番号を付与する。
動オブジェクトを同定し、シーン内で同一と判断された
動オブジェクトに同一の識別番号を付与する。
【００４５】ここで、ｎ番目の背景映像から抽出したｋ
番目のオブジェクトをＯＢＪｎｋとする。まず、各々の
ＯＢＪｎｋを、上述した本発明者の発明に係る特願２０
０１−１９６０７７号出願に記載されているように、実
空間中の平面内にマッピングし、夫々のオブジェクトを
ＯＢＪｎｋとする。次に、２つのオブジェクトＯＢＪ
ｎ１ｋ１とＯＢＪｎ２ｋ２は以下の条件が満たされれば
シーン内で同一オブジェクトであると判定する。
番目のオブジェクトをＯＢＪｎｋとする。まず、各々の
ＯＢＪｎｋを、上述した本発明者の発明に係る特願２０
０１−１９６０７７号出願に記載されているように、実
空間中の平面内にマッピングし、夫々のオブジェクトを
ＯＢＪｎｋとする。次に、２つのオブジェクトＯＢＪ
ｎ１ｋ１とＯＢＪｎ２ｋ２は以下の条件が満たされれば
シーン内で同一オブジェクトであると判定する。
【００４６】
Ｄ（Ｃ（ＯＢＪｎ１ｋ１），Ｃ（ＯＢＪｎ２ｋ２））≦Ｄｔ ・・・（１）
かつ
Ｄ（Ｃ（ＯＢＪｎ１ｋ１），Ｃ（ＯＢＪｎ２ｋ２））＜Ｄ（Ｃ（ＯＢＪｎ１ｋ １
），Ｃ（ＯＢＪｎ２ｋ）），ｎ１≠ｎ２，ｋ≠ｋ２ ・・・（２）
ここで、Ｃ（Ｘ）はオブジェクトＸの重心、Ｄ（Ｘ，
Ｙ）は点Ｘ、Ｙの間の距離を表す。
Ｙ）は点Ｘ、Ｙの間の距離を表す。
【００４７】条件式（１）はＯＢＪｎ１ｋ１とＯＢＪ
ｎ２ｋ２の重心間の距離が、ある閾値Ｄｔ以下であるこ
とを意味する。本実施例では、一例として、閾値Ｄｔを
オブジェクトの物理的大きさの横方向の長さの２分の１
に設定するが閾値の値はこの限りではない。
ｎ２ｋ２の重心間の距離が、ある閾値Ｄｔ以下であるこ
とを意味する。本実施例では、一例として、閾値Ｄｔを
オブジェクトの物理的大きさの横方向の長さの２分の１
に設定するが閾値の値はこの限りではない。
【００４８】また、条件式（２）は、ｎ２番目の背景映
像に式（１）を満たすオブジェクトが複数存在する場
合、ＯＢＪｎ２ｋ２の重心位置が他のオブジェクトより
もＯＢＪｎ１ｋ１の重心位置に近いことを意味する。
像に式（１）を満たすオブジェクトが複数存在する場
合、ＯＢＪｎ２ｋ２の重心位置が他のオブジェクトより
もＯＢＪｎ１ｋ１の重心位置に近いことを意味する。
【００４９】上述した処理を全てのＯＢＪｎｋに対して
行った後、シーン内の各動オブジェクトに一意の識別番
号を付与する。識別番号を付与することで、複数の背景
映像カメラから撮影された同一の動オブジェクトを認識
することができる。
行った後、シーン内の各動オブジェクトに一意の識別番
号を付与する。識別番号を付与することで、複数の背景
映像カメラから撮影された同一の動オブジェクトを認識
することができる。
【００５０】自動切換え回路３は、シーン内の同一動オ
ブジェクトが複数の背景映像から抽出された場合、放送
映像へマッピングする際にどの背景映像を用いるかを決
める回路である。本実施形態では、複数の背景映像から
抽出された、シーン内の同一のものに対応する動オブジ
ェクトについて、動オブジェクトの重心と、その動オブ
ジェクトを有する複数の背景映像の画面の中心との距離
を計算し、この距離が最小となる背景映像を用いて動オ
ブジェクトを放送映像にマッピングする。このため、放
送映像の同一画面内の複数の動オブジェクトは異なる背
景映像からマッピングされて生成されることもある。
ブジェクトが複数の背景映像から抽出された場合、放送
映像へマッピングする際にどの背景映像を用いるかを決
める回路である。本実施形態では、複数の背景映像から
抽出された、シーン内の同一のものに対応する動オブジ
ェクトについて、動オブジェクトの重心と、その動オブ
ジェクトを有する複数の背景映像の画面の中心との距離
を計算し、この距離が最小となる背景映像を用いて動オ
ブジェクトを放送映像にマッピングする。このため、放
送映像の同一画面内の複数の動オブジェクトは異なる背
景映像からマッピングされて生成されることもある。
【００５１】放送映像動オブジェクト抽出回路４は、自
動切換え回路３で選択された背景映像の動オブジェクト
抽出結果と、カメラキャリブレーション回路１で供給さ
れるカメラ内部パラメータと、放送映像カメラにより供
給されるカメラ操作パラメータを用いて放送映像の動オ
ブジェクト抽出を行う回路部分である。
動切換え回路３で選択された背景映像の動オブジェクト
抽出結果と、カメラキャリブレーション回路１で供給さ
れるカメラ内部パラメータと、放送映像カメラにより供
給されるカメラ操作パラメータを用いて放送映像の動オ
ブジェクト抽出を行う回路部分である。
【００５２】ここでの処理は、上述した本発明者の発明
に係る特願２００１−１９６０７７号出願に記載されて
いるように、カメラ操作パラメータとカメラ内部パラメ
ータを用いて背景映像の動オブジェクトの領域を放送映
像にマッピングすることで、放送映像の動オブジェクト
を一意のＩＤ付きで抽出することができる。
に係る特願２００１−１９６０７７号出願に記載されて
いるように、カメラ操作パラメータとカメラ内部パラメ
ータを用いて背景映像の動オブジェクトの領域を放送映
像にマッピングすることで、放送映像の動オブジェクト
を一意のＩＤ付きで抽出することができる。
【００５３】上述のように本発明は、動オブジェクト抽
出方法において、撮影時に放送映像カメラと複数の背景
映像カメラを設置して、各背景映像からシーン内の動オ
ブジェクトを抽出し、背景映像間で動オブジェクトを同
定して、背景映像を適切に切換えて用いることにより、
動オブジェクトを放送映像へマッピングし、高精度な動
オブジェクトの抽出を行うことができる。
出方法において、撮影時に放送映像カメラと複数の背景
映像カメラを設置して、各背景映像からシーン内の動オ
ブジェクトを抽出し、背景映像間で動オブジェクトを同
定して、背景映像を適切に切換えて用いることにより、
動オブジェクトを放送映像へマッピングし、高精度な動
オブジェクトの抽出を行うことができる。
【００５４】また、複数の背景映像カメラを用いること
でフレームイン、フレームアウトに影響されずに撮影領
域が所望の背景をカバーすることができ、かつ、動オブ
ジェクトが映像上で一定の大きさをもつことが可能とな
る。また、動オブジェクトの輪郭について十分な精度を
確保することができる。
でフレームイン、フレームアウトに影響されずに撮影領
域が所望の背景をカバーすることができ、かつ、動オブ
ジェクトが映像上で一定の大きさをもつことが可能とな
る。また、動オブジェクトの輪郭について十分な精度を
確保することができる。
【００５５】また、オブジェクトベースの画像符号化や
オブジェクトと連動した映像を放送する連動型データ放
送システムを実現することができる。
オブジェクトと連動した映像を放送する連動型データ放
送システムを実現することができる。
【００５６】
【発明の効果】上述の如く、本発明によれば、撮影領域
が所望の背景をカバーすることができ、かつ、動オブジ
ェクトが映像上で一定の大きさをもつことが可能となる
動オブジェクト抽出方法及び抽出装置を提供することが
できる。
が所望の背景をカバーすることができ、かつ、動オブジ
ェクトが映像上で一定の大きさをもつことが可能となる
動オブジェクト抽出方法及び抽出装置を提供することが
できる。
【図１】本発明における動オブジェクト抽出装置の一実
施例の構成図である。
施例の構成図である。
【図２】複数の背景映像カメラの撮影範囲の関係を示す
一例の図である。
一例の図である。
【図３】動オブジェクトの検出・追跡方法を説明するた
めのフローチャートの一例である。
めのフローチャートの一例である。
１ カメラキャリブレーション回路
２ 動オブジェクト抽出・追跡・同定回路
３ 自動切換え回路
４ 放送映像動オブジェクト抽出回路
２１ 動オブジェクト
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 三須 俊彦
東京都世田谷区砧一丁目10番11号 日本放
送協会 放送技術研究所内
Ｆターム(参考） 5C022 AB61 AB62 AB63 AB68
5C059 MB04 MB12 MB21 PP04 PP28
PP29 SS14 UA02 UA05 UA38
5L096 FA02 GA08 HA01 JA11
Claims (4)
- 【請求項１】 複数の固定背景映像カメラの映像信号か
ら動オブジェクトを抽出し、放送映像カメラの撮影映像
にマッピングして動オブジェクトの抽出を行う動オブジ
ェクト抽出方法であって、 前記複数の固定背景映像カメラ間で重複した映像信号の
領域から得られた動オブジェクトを同定する同定段階
と、 異なる固定背景映像カメラの映像信号から同一の動オブ
ジェクトが抽出された場合に、前記背景映像カメラの画
面の中心と前記動オブジェクトの重心との距離が最小と
なる背景映像から抽出された動オブジェクトを選択する
選択段階と、 前記選択段階で選択された動オブジェクトの領域を前記
放送映像カメラの撮影映像にマッピングすることにより
動オブジェクトの抽出を行う抽出段階とを有することを
特徴とする動オブジェクト抽出方法。 - 【請求項２】 前記同定段階は、 前記複数の固定背景映像カメラから撮影された映像信号
から抽出した動オブジェクトの実空間における重心間の
距離が、異なる背景映像間で所定の閾値以下のもので、
かつ他の動オブジェクトとの重心間の距離と比較して最
小のものを同一の動オブジェクトとすることを特徴とす
る請求項１に記載の動オブジェクト抽出方法。 - 【請求項３】 複数の固定背景映像カメラの映像信号か
ら動オブジェクトを抽出し、放送映像カメラの撮影映像
にマッピングして動オブジェクトの抽出を行う動オブジ
ェクト抽出装置であって、 前記複数の固定背景映像カメラ間で重複した映像信号の
領域から得られた動オブジェクトを同定する同定部と、 異なる固定背景映像カメラの映像信号から同一の動オブ
ジェクトが抽出された場合に、前記背景映像カメラの画
面の中心と前記動オブジェクトの重心との距離が最小と
なる背景映像から抽出された動オブジェクトを選択する
選択部と、 前記選択部で選択された動オブジェクトの領域を前記放
送映像カメラの撮影映像にマッピングすることにより動
オブジェクトの抽出を行う抽出部とを有することを特徴
とする動オブジェクト抽出装置。 - 【請求項４】 前記同定部は、 前記複数の固定背景映像カメラから撮影された映像信号
から抽出した動オブジェクトの実空間における重心間の
距離が、異なる背景映像間で所定の閾値以下のもので、
かつ他の動オブジェクトとの重心間の距離と比較して最
小のものを同一の動オブジェクトとすることを特徴とす
る請求項３に記載の動オブジェクト抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376299A JP2003179930A (ja) | 2001-12-10 | 2001-12-10 | 動オブジェクト抽出方法及び抽出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001376299A JP2003179930A (ja) | 2001-12-10 | 2001-12-10 | 動オブジェクト抽出方法及び抽出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003179930A true JP2003179930A (ja) | 2003-06-27 |
Family
ID=19184522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001376299A Pending JP2003179930A (ja) | 2001-12-10 | 2001-12-10 | 動オブジェクト抽出方法及び抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003179930A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319507A (ja) * | 2005-05-11 | 2006-11-24 | Sharp Corp | コンテンツ表示方法、コンテンツ表示装置、及び該方法を実行するプログラム及び記録媒体 |
| JP2009027563A (ja) * | 2007-07-20 | 2009-02-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| US8027534B2 (en) | 2006-05-08 | 2011-09-27 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2013168739A (ja) * | 2012-02-14 | 2013-08-29 | Hitachi Ltd | 画像処理システム、及び、画像処理方法 |
| JP2022102515A (ja) * | 2020-12-25 | 2022-07-07 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置、物体検出方法、およびプログラム |
-
2001
- 2001-12-10 JP JP2001376299A patent/JP2003179930A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319507A (ja) * | 2005-05-11 | 2006-11-24 | Sharp Corp | コンテンツ表示方法、コンテンツ表示装置、及び該方法を実行するプログラム及び記録媒体 |
| JP4587871B2 (ja) * | 2005-05-11 | 2010-11-24 | シャープ株式会社 | コンテンツ表示方法、コンテンツ表示装置、及び該方法を実行するプログラム及び記録媒体 |
| US8027534B2 (en) | 2006-05-08 | 2011-09-27 | Sony Corporation | Image processing apparatus, image processing method, and program |
| KR101342638B1 (ko) | 2006-05-08 | 2013-12-20 | 소니 주식회사 | 화상 처리장치, 화상 처리방법 및 프로그램 |
| JP2009027563A (ja) * | 2007-07-20 | 2009-02-05 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2013168739A (ja) * | 2012-02-14 | 2013-08-29 | Hitachi Ltd | 画像処理システム、及び、画像処理方法 |
| JP2022102515A (ja) * | 2020-12-25 | 2022-07-07 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置、物体検出方法、およびプログラム |
| JP7138157B2 (ja) | 2020-12-25 | 2022-09-15 | エヌ・ティ・ティ・コムウェア株式会社 | 物体検出装置、物体検出方法、およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10339386B2 (en) | Unusual event detection in wide-angle video (based on moving object trajectories) | |
| US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
| US7366359B1 (en) | Image processing of regions in a wide angle video camera | |
| US7583815B2 (en) | Wide-area site-based video surveillance system | |
| US7447380B2 (en) | Efficient method for creating a viewpoint from plurality of images | |
| US20070058717A1 (en) | Enhanced processing for scanning video | |
| JP6935247B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| JP2010504711A (ja) | 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法 | |
| KR20120016479A (ko) | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 | |
| TW200818915A (en) | Automatic extraction of secondary video streams | |
| JP2002064812A (ja) | 移動物体追尾装置 | |
| JP2018124890A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| EP3629570A2 (en) | Image capturing apparatus and image recording method | |
| JP2005309746A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| US9031355B2 (en) | Method of system for image stabilization through image processing, and zoom camera including image stabilization function | |
| JP4913801B2 (ja) | 遮蔽物映像識別装置及び方法 | |
| Hayet et al. | A modular multi-camera framework for team sports tracking | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| JP2003179930A (ja) | 動オブジェクト抽出方法及び抽出装置 | |
| WO2003021967A2 (en) | Image fusion systems | |
| JP2002027449A (ja) | 移動物体識別方法および移動物体識別装置 | |
| Lin et al. | Large-area, multilayered, and high-resolution visual monitoring using a dual-camera system | |
| KR102450466B1 (ko) | 영상 내의 카메라 움직임 제거 시스템 및 방법 | |
| JP2002027480A (ja) | 動画像処理方法および動画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071030 |