JPH1021408A - 画像抽出装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 背景のみの画像と被写体込みの画像を用いて
被写体の形状、画像データ特性によらずに精度が安定し
かつ高速な動画像の自動切り出しを実現する画像抽出装
置および方法を提供する。 【解決手段】 撮像システムは、固定された背景（動く
物体が存在しない背景）中を変形あるいは移動する対象
物の固定位置からの撮影とその動画像の切り出しを行
う。被写体込み画像と背景画像との両者間で撮像モード
を同一（被写体込み画像の撮像モードで統一）にするこ
とにより、２つの画像間において背景パターンの同一領
域での画像データの変動を抑制する。撮影終了後、画像
データ比較部１１では、背景画像と被写体込み画像との
差分データを生成する。画像切り出し部１２は差分デー
タの平滑化処理（メディアンフィルタなど）、閾値処理
（色成分偏差、輝度レベル偏差に基づく）を行うことに
より画像データの変動量に基づいて被写体領域を抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像切り出し機
能を有する画像抽出装置および方法に関する。

【０００２】

【従来の技術】従来、画像切り出し（抽出）を行う一般
的な手法として、特定の色背景を用いるクロマキーや画
像処理（ヒストグラム処理、差分、微分処理、輪郭強
調、輪郭追跡など）によりキー信号を生成するビデオマ
ット（テレビジョン学会技術報告、ｖｏｌ．１２，ｐ
ｐ．２９−３４，１９８８）などの手法が知られてい
る。

【０００３】画像から特定領域を抽出する他の装置とし
て、特公平６−９０６２号公報に開示された手法は、空
間フィルタによって得られる微分値を２値化して境界線
を検出し、境界線で仕切られる連結領域にラベル付けを
行い、同じラベルを有する領域を抽出するものである。

【０００４】また、背景画像との差分に基づいて画像抽
出を行う手法は古典的なものであり、最近では特開平４
−２１６１８１号公報において背景画像と処理対象画像
との差分データにマスク画像（特定処理領域のこと）を
設定して画像中の複数の特定領域における対象物体を抽
出または検出を行う手法が開示されている。

【０００５】さらに、特公平７−１６２５０号公報に
は、抽出対象の色彩モデルを用いて背景を含む現画像の
色彩変換データ、背景画像と現画像との明度の差データ
から抽出対象の存在確立分布を求める手法が開示されて
いる。

【０００６】また、動画像を抽出する手法として、特公
平６−１４３５８号公報には、背景画像との差分に値１
未満の所定係数を乗算して前フレームの背景画像に加算
することにより背景画像を順次更新する手法が示されて
いる。

【０００７】さらに、画像から対象物の外輪郭線を抽出
して特定物体画像を抽出する技術の１つにいわゆる動的
輪郭法（M.Kass et al.,"Snakes: Active Contour Mode
ls,"International Journal of Computer Vision, vol.
1,pp.321-331,1987)が知られている。この手法では一
例として対象物を包囲するように適切に設定された初期
輪郭が移動、変形して最終的に対象物の外形（背景との
境界輪郭線）に収束する。対象物が動く場合、動的輪郭
は各フレーム毎に輪郭線上への移動、変形を行うので、
輪郭線内の画像を切り出し、画像データとして抽出する
ことができる。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来例のうちクロマキー方式は背景の制約が大きく屋外で
使えないこと、色ぬけなどの問題点がある。また、ビデ
オマット方式は輪郭の指定作業は人間が画素単位で正確
に行う必要があり、そのためには労力と熟練を要すると
いう問題点がある。

【０００９】背景画像との差分を利用する方式では、背
景領域と非常に近い画像データを有する背景領域と同じ
位置にある被写体上の画素を背景画像から識別すること
は一般的に不可能である。また、従来例では撮像条件
（カメラパラメータおよび照明などの外的条件）を考慮
していないので、背景画像と抽出すべき被写体込み画像
とを同じ撮像条件、同一固定位置で得なければ差分デー
タからの抽出対象領域の判定誤差が非常に大きくなると
いう問題点があった。

【００１０】特公平７−１６２５０号公報では抽出対象
の色彩モデルを要するという点で未知物体の画像抽出に
不向きである。特公平６−１４３５８号公報では常に背
景データを更新して保持する必要があり、また、切り出
し精度の点で不十分であるという問題があった。

【００１１】また、上述した動的輪郭法は対象の輪郭線
（背景との境界線）が複雑かつ急峻な凹凸構造を有する
場合、それに正確に収束させることが困難であった。ま
た、対象の運動が急速な場合においても輪郭線を正確に
追随させることが困難であった。

【００１２】そこで、本発明は、背景のみの画像と被写
体込みの画像を用いて被写体の形状、画像データ特性に
よらずに精度が安定しかつ高速な動画像の自動切り出し
を実現する画像抽出装置および方法を提供することを第
１の目的とする。

【００１３】また、本発明は、次フレームでの背景およ
び被写体込みの画像中の被写体領域において画像データ
の変動量評価を継続的に行って被写体の運動、変形の程
度を推定し、切り出し処理の閾値を設定する（変動の大
きいところは閾値を大きくするなど）ことにより切り出
し精度の安定化を実現する画像抽出装置および方法を提
供することを第２の目的とする。

【００１４】さらに、本発明は、切り出された被写体の
時系列画像データ（登録画像データ）を用いて切り出し
処理の閾値を可変に設定することにより切り出し精度が
背景パターンによらず一定レベルに保持することができ
る動画像切り出しを実現する画像抽出装置および方法を
提供することを第３の目的とする。例えば、画像データ
の変化の少ない対象領域（被写体が剛体とみなすことが
でき、常に同じ面を向けて運動する場合など）について
は閾値を高くすることにより背景と類似した画像領域を
背景と誤認しないようにすることができる。

【００１５】また、本発明は、切り出された画像（登録
画像）の動きベクトルと画像データの変動量を用いて次
フレームの各点での切り出し処理の閾値を設定すること
により、切り出し精度の安定化と向上をもたらす画像抽
出装置および方法を提供することを第４の目的とする。

【００１６】さらに、本発明は、複眼撮像系を用いて背
景のみの画像（登録画像）との差分により動画像切り出
しを高精度に行う画像抽出装置および方法を提供するこ
とを第５の目的とする。

【００１７】また、本発明は、カメラ操作（パンニング
など）、視点位置の移動を行って得られる動画像から動
被写体の切り出しを高精度に行う画像抽出装置および方
法を提供することを第６の目的とする。

【００１８】さらに、本発明は、背景のみの画像と被写
体込みの画像を用いて被写体の形状、画像データ特性に
よらず安定した動画像の自動切り出しを実現する画像抽
出装置および方法を提供することを第７の目的とする。

【００１９】また、本発明は、動画像切り出し精度の安
定化をもたらす画像抽出装置および方法を提供すること
を第８の目的とする。

【００２０】さらに、本発明は、カメラ操作（パンニン
グなど）、視点位置の移動を行って得られる動画像から
動被写体の切り出しを高精度に行う画像抽出装置および
方法を提供することを第９の目的とする。

【００２１】また、本発明は、背景画像を用意すること
なく安定した被写体動画像（カメラまたは被写体の少な
くとも一方が動く場合、両方が動くときは異なる動きを
する場合）の抽出を行う画像抽出装置および方法を提供
することを第１０の目的とする。

【００２２】さらに、本発明は、切り出し処理の抽出判
定閾値を画像データおよび領域形状（サイズ）の変動量
評価に基づいて設定することにより、被写体の変化の程
度によらず安定した動画像切り出しを行う画像抽出装置
および方法を提供することを第１１の目的とする。

【００２３】また、本発明は、背景画像を用意すること
なく安定した被写体動画像の抽出を行う画像抽出装置お
よび方法を提供することを第１２の目的とする。

【００２４】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に係る画像抽出装置は、抽出すべ
き被写体を含む第１画像および背景のみの第２画像を入
力する入力手段と、該入力した第１画像および第２画像
を比較する比較手段と、該比較手段の比較データに基づ
いて次フレームの抽出処理領域を設定する領域設定手段
と、該設定された抽出処理領域で前記比較データの閾値
処理を行うことにより前記被写体の画像を抽出する画像
切り出し手段と、前記抽出処理領域内の画像データの変
動量に基づいて前記閾値を更新する更新手段と、前記抽
出された被写体の画像を記録する記録手段とを備えたこ
とを特徴とする。

【００２５】請求項２に係る画像抽出装置は、抽出すべ
き被写体を含む動画像を入力する入力手段と、該動画像
中の特定の被写体を抽出する画像切り出し手段と、該抽
出された被写体の領域でマスクデータを作成する作成手
段と、次フレームでのマスクデータを予測する予測手段
と、該予測されたマスクデータおよび前記被写体の画像
データを登録するデータ登録手段と、該登録される画像
データを前記予測手段の出力に基づき更新する更新手段
と、該更新された画像データと次フレームの前記被写体
を含む画像データとの変動量を算出する変動量算出手段
と、該算出された変動量に基づく閾値処理により前記被
写体の動画像を抽出する動画像抽出手段とを備えたこと
を特徴とする。

【００２６】請求項３に係る画像抽出装置では、請求項
２に係る画像抽出装置において前記データ登録手段は、
異なる時刻における前記被写体の画像データを登録し、
前記動画像抽出手段は、前記登録された画像データ間の
各点での変動量に基づき、各点での切り出し処理の閾値
を可変に設定することを特徴とする。

【００２７】請求項４に係る画像抽出装置では、請求項
２に係る画像抽出装置において前記動画像抽出手段は、
前記登録された画像データの動きベクトルを検出する検
出手段と、該検出された動きベクトルおよび各点の画像
データの変動量に基づき、次フレームでの切り出し処理
の閾値を設定する閾値設定手段と、前記変動量に基づく
閾値処理により前記被写体の動画像を抽出する画像切り
出し手段とを備えたことを特徴とする。

【００２８】請求項５に係る画像抽出装置では、請求項
２に係る画像抽出装置において前記入力手段は、異なる
視点位置からの前記被写体または背景の画像を入力し、
前記データ登録手段は、異なる時刻の前記被写体の画像
データを登録し、前記動画像抽出手段は、前記登録され
た画像データの各点での視差値を抽出する視差値抽出手
段と、該抽出された視差値に基づく前記被写体の概略領
域を抽出する概略領域抽出手段と、前記概略領域を中心
とする所定範囲の処理領域を設定する処理領域設定手段
と、該設定された処理領域の各点での画像データの変動
量に基づき、切り出し処理の閾値を設定する閾値設定手
段とを備えたことを特徴とする。

【００２９】請求項６に係る画像抽出装置は、抽出すべ
き被写体を含む第１画像および背景のみの第２画像を入
力する入力手段と、該第１画像を入力する時の撮像パラ
メータまたはカメラ操作データを有する時系列データを
記録するデータ記録手段と、前記第２画像を入力する
時、前記時系列データを再生する再生手段と、前記第１
画像および第２画像を比較する比較手段と、該比較手段
の比較データに基づき、前記被写体の画像を抽出する画
像切り出し手段と、該抽出された被写体の画像を記録す
る記録手段とを備えたことを特徴とする。

【００３０】請求項７に係る画像抽出方法は、抽出すべ
き被写体を含む第１画像および背景のみの第２画像を入
力する入力ステップと、該入力した第１画像および第２
画像を比較する比較ステップと、該比較結果に基づき、
抽出処理領域を設定する領域設定ステップと、該設定さ
れた抽出処理領域で前記被写体の画像を抽出する画像切
り出しステップと、前記抽出処理領域を更新する更新ス
テップと、前記抽出された被写体の画像を記録する記録
ステップとを備えたことを特徴とする。

【００３１】請求項８に係る画像抽出方法は、抽出すべ
き被写体を含む動画像を入力する入力ステップと、処理
領域を設定する設定ステップと、該処理領域中の位置情
報を含む前記画像データを登録する登録ステップと、該
登録された画像データを更新する更新ステップと、前記
登録された画像データと次フレームの前記被写体を含む
動画像との画像データの変動量を算出する算出ステップ
と、該算出された変動量に基づく閾値処理により前記被
写体の動画像を抽出する画像切り出しステップとを備え
たことを特徴とする。

【００３２】請求項９に係る画像抽出方法は、抽出すべ
き被写体を含む第１画像および背景のみの第２画像を入
力する入力ステップと、前記第１画像を入力する時の撮
像パラメータまたはカメラ操作データの時系列データを
記録する記録ステップと、前記第２画像を入力する時、
前記時系列データを再生する再生ステップと、前記第１
画像および前記第２画像を比較する比較ステップと、該
比較ステップの比較データに基づいて前記被写体の画像
を抽出する画像切り出しステップと、該抽出された画像
を記録する記録ステップとを備えたことを特徴とする。

【００３３】請求項１０に係る画像抽出装置は、抽出す
べき被写体を含む動画像を入力する入力手段と、該被写
体の領域でマスクデータを作成する作成手段と、次フレ
ームで抽出する画像データを予測する予測手段と、該マ
スクデータおよび前記被写体の画像データを登録するデ
ータ登録手段と、該登録された画像データに関する動き
ベクトルを抽出する抽出手段と、該抽出された動きベク
トルと前記登録された画像データに基づき、次フレーム
での抽出領域の位置および画像データを予測する予測手
段と、該予測される画像データと次フレームでの対応す
る位置での画像データとの差異を検出する差異検出手段
と、該検出される差異または仮説検定処理に基づき切り
出し判定を行う判定手段とを備えたことを特徴とする。

【００３４】請求項１１に係る画像抽出装置では、請求
項２に係る画像抽出装置において前記変動量算出手段
は、前記登録された画像データに関する第１の変動量を
評価する第１変動量評価手段と、前記マスクデータの形
状およびサイズに関する第２の変動量を評価する第２変
動量評価手段とを備え、前記動画像抽出手段は、前記第
１および第２の変動量評価手段の出力に基づき、切り出
し処理の各点における閾値を設定する閾値更新手段を備
えたことを特徴とする。

【００３５】請求項１２に係る画像抽出方法は、抽出す
べき被写体を含む動画像を入力する入力ステップと、該
動画像の所定フレームの前記被写体の領域でマスクデー
タを作成する作成ステップと、次フレームでのマスクデ
ータを予測する予測ステップと、現フレームのマスクデ
ータおよび抽出された前記被写体の画像データの登録お
よび更新を行う登録更新ステップと、該登録された画像
データに関する動きベクトルを抽出する抽出ステップ
と、該抽出された動きベクトルと前記登録された画像デ
ータに基づき、次フレームでの抽出領域における各点の
位置および画像データを予測する予測ステップと、該予
測された画像データと次フレームでの対応する位置での
画像データとの差異または仮説検定処理に基づき切り出
し判定を行う判定ステップとを備えたことを特徴とす
る。

【００３６】

【発明の実施の形態】本発明の画像抽出装置の実施の形
態について説明する。本実施の形態における画像抽出装
置は撮像システムに適用される。図１は撮像システムの
構成を示すブロック図である。図において、１は画像入
力装置または撮像装置である。２は結像光学系、３はレ
ンズモータ駆動制御部である。４はイメージセンサであ
り、典型的にＣＣＤが用いられる。

【００３７】５は撮像パラメータ計測制御部であり、焦
点距離検出部、合焦状態検出部、シャッタ速度検出制御
部、絞り計測制御部、画像信号特性パラメータ（ガン
マ、ニー、ホワイトバランス補正、ＣＣＤの蓄積時間な
ど）の特徴量検出部を含む。特徴量として例えばガンマ
の場合、補正係数である。

【００３８】６は符号化記録部であり、画像データ、特
に切り出された画像の圧縮符号化および撮像条件、切り
出し画像に関する付帯情報を記録する。７はビューファ
インダ（ＥＶＦ）、８は撮像モード記録部であり、撮像
パラメータ、画像特性パラメータ、ストロボ発光の有
無、スキャニングなどの意図的な運動、手ぶれの有無な
どを含む撮像時の情報、およびカメラ操作データを各画
像フレーム毎に時系列的に記録する。特に、撮像装置１
本体の運動を伴うカメラ操作（スキャン、パンなど）に
ついては撮像装置１に加速度センサを内蔵し、その出力
データなどから判定するようにしてもよい。これらの付
帯情報は画像データと共にデータベース１８に記憶され
る。

【００３９】１０は映像信号処理回路であり、ガンマ、
ニー、ホワイトバランス補正、ＡＦ、ＡＥ、ＡＧＣ処理
回路などを有する。１１は画像データ比較部であり、主
に登録された背景画像と被写体込み画像との差分を各フ
レームで求めて出力する。１２は画像切り出し部であ
り、画像データ比較部１１からの出力に統計的処理を施
し、抽出対象領域を同定し、被写体込み画像からの切り
出し用キー信号（またはマスクデータ）を出力する。

【００４０】１３はデータ通信制御部であり、外部のデ
ータベース１８または端末装置１６などに画像データを
転送したり、あるいは撮像装置１の制御パラメータ、コ
マンドなどを端末装置１６などから入力する。データ通
信制御部１３は撮像装置１に接続可能に外部に独立して
設置してもよい。この場合、内部に画像符号化部を設け
てもよい。

【００４１】１４はストロボ発光部である。１５は撮像
動作制御部であり、外部またはカメラ操作により設定さ
れた制御モード（被写体抽出モード、標準撮影モードな
ど）により撮影モードに応じた制御信号を発生する。特
に、被写体抽出時、処理ステップに応じたタッチパネル
ディスプレイなどへの動作メニューの表示情報を生成す
る。

【００４２】１６は外部の端末装置（図示しないディス
プレイ、指示選択部などを含む）であり、撮像モード制
御、切り出し画像の選択、登録画像の検索、選択などを
行う。１７はディスプレイであり、処理画像の出力やフ
ァインダディスプレイとしての機能を有する。また、タ
ッチパネル仕様の場合、後述する指示選択部２１と共に
使用され画面内の特定対象を指示するために用いられ
る。

【００４３】１８はデータベースであり、過去に撮像さ
れた画像データ、およびそれぞれの付帯情報、例えば登
録画像であるか否かの種別、撮像パラメータ、撮像条件
（屋外または室内の区別、ストロボ投光の有無など）あ
るいはその他の情報（日付、時刻、場所、カメラ操作
者、タイトルなど）を保存する。

【００４４】１９は画像種別設定部であり、他の画像と
の比較に基づき対象を抽出する際の基準画像として登録
するか、または基準画像と比較すべき被写体抽出用画像
であるかの種別を設定するためのスイッチ等を有し、こ
れにより自動的に種別が付帯情報として記録される。

【００４５】２０はカメラパラメータ設定部であり、通
常背景画像と被写体込み画像とは同じ撮像モードで撮影
が行われるが、これは撮像装置１内部の特性を操作者が
任意に設定するためのものである。

【００４６】２１はペンまたはマウスなどの指示選択部
であり、撮像装置１に接続される場合、撮影の現場で記
録後または撮影中の画面内の特定対象の抽出などを指示
するために用いられる。

【００４７】本実施の形態では、固定された背景（動く
物体が存在しない背景）中を変形あるいは移動する対象
物の固定位置からの撮影とその動画像の切り出しを行
う。

【００４８】図２は撮像処理手順を示すフローチャート
である。まず、背景画像または被写体込み画像（撮像条
件および画像データを登録する）の種別を画像種別設定
部１９で設定する（ステップＳ１）。設定された画像種
別を判別し（ステップＳ２）、被写体込み画像が設定さ
れた場合、被写体に最適な撮像条件で撮像を行う。撮像
手順としては抽出すべき被写体の所定背景中の画像（第
１画像）を最初に撮像し（ステップＳ３）、そのときの
カメラパラメータ、カメラ操作データなどの付帯情報を
画像データと共に所定のフォーマットで時系列的に記録
する（ステップＳ４）。

【００４９】背景のみの画像（第２画像、動画像または
静止画像）を撮像する際、被写体込み画像撮像時に時系
列的に記録された付帯情報（撮像条件、撮像パラメー
タ）を読み出し（ステップＳ５）、背景のみの画像を撮
像する（ステップＳ６）。このように、背景画像を撮像
する場合、基本的に同一撮像条件、撮像モードおよびカ
メラ操作（視点位置変化を含む）を再生して撮像が行わ
れる。付帯情報は対応する画像データのアドレスなどと
共に別途ヘッダファイルなどに記録してもよい。

【００５０】切り出し処理として撮像条件を一致させた
第１、第２画像間の比較データ（差分データ）に適応的
閾値処理（後述のステップＳ６１）、抽出領域の予測
（後述のステップＳ６２）などを含む統計的処理を施す
（ステップＳ７）。これにより、被写体画像領域を検出
して被写体のみの画像を抽出し、圧縮符号化処理（ステ
ップＳ８）を行う。

【００５１】環境条件などの変動に対応するためにステ
ップＳ７の処理では、撮像時に撮像モード記録部８で記
録された撮像条件を用いて撮像パラメータ計測制御部５
は同一条件にすべき撮像パラメータを制御する。このよ
うに撮像モードを両者間で同一（被写体込み画像の撮像
モードで統一）にすることにより、２つの画像間におい
て背景パターンの同一領域での画像データの変動を抑制
することができ、後述する切り出し用統計的処理の信頼
性を増すことができる。

【００５２】但し、被写体画像の分光反射率特性等によ
る映像信号処理回路１０の特性（ガンマ、ホワイトバラ
ンスなど）の変動、ノイズの混入、照明条件の変動（外
乱光の入射など）により一般的には同じ撮像モードでも
背景部の画像データは２つの画像間で完全に一致しない
状況が存在する。このようなケースに対応するために画
像データの変換を行い、背景画像のうち被写体込み画像
の背景画像領域に相当する部分の画像データがほぼ同じ
となるように正規化してもよい。

【００５３】撮影終了後、画像データ比較部１１では、
背景画像と被写体込み画像との差分データを生成する。
画像切り出し部１２は差分データの平滑化処理（メディ
アンフィルタなど）、閾値処理（色成分偏差、輝度レベ
ル偏差に基づく）を行うことにより画像データの変動量
に基づいて被写体領域を抽出する。

【００５４】図３は被写体込み画像および背景画像を示
す説明図である。同図（Ａ）の被写体込み画像では被写
体（人物）を優先した撮像モードで画像が入力されてい
る。同図（Ｂ）の背景画像では、同図（Ａ）と同じ倍率
で遠景に画像信号の特性量が合うように撮像されてい
る。両画像間では同じ背景でも画像データの特性（平均
的輝度レベル、色成分）が若干異なることがある。

【００５５】同図（Ａ）の被写体込み画像と、同図
（Ｂ）の背景画像またはその正規化データとの差分の統
計的処理（ステップＳ７の比較処理の結果）により行っ
た切り出し処理結果を同図（Ｃ）に示す。

【００５６】図４は背景画像および被写体込み画像から
被写体を抽出する処理手順を示すフローチャートであ
る。図５は背景画像および被写体込み画像から被写体を
抽出する処理を示す説明図である。まず、画像データ変
換後の背景画像Ｉｂ（図５の（Ａ）右側）、被写体込み
画像Ｉｔ（図５の（Ａ）左側）のＲ、Ｇ、Ｂ成分および
輝度信号から色相Ｈｂ，Ｈｔ、彩度Ｓｂ，Ｓｔ、明度Ｖ
ｂ，Ｖｔ（インデクスｂは背景のみの画像、ｔは対象物
および背景が写った画像を表す）をそれぞれ抽出し、数
式１で示す評価関数Ｆの値を後述する方法で設定される
閾値により２値化して被写体領域と背景領域との識別を
行う（ステップＳ４１）。

【００５７】

【数１】Ｆ（Ｈｂ−Ｈｔ，Ｓｂ−Ｓｔ，Ｖｂ−Ｖｔ）＝
αｈ（Ｈｂ−Ｈｔ）²＋αｓ（Ｓｂ−Ｓｔ）²＋αｖ（Ｖ
ｂ−Ｖｔ）² ここで、αｈ、αｓ、αｖは画像Ｉｂ、Ｉｔの各成分の
Ｓ／Ｎ値または各画像を所定サイズのブロックに分割し
た際の各成分の局所定分散値（例えば８×８のサイズに
分割したブロック領域内の分散値）の関数であり、例え
ばαｈ＝Ｐｈ（Ｉｂ）・Ｐｈ（Ｉｔ）などが用いられ
る。Ｐｈ（Ｉ）は画像データＩの所定領域における色相
成分に関するＳ／Ｎ値の単調増加関数、あるいは分散値
の単調減少関数（逆数など）を表す。同様にしてＰｓ
（Ｉ），Ｐｖ（Ｉ）として彩度、明度に関するパラメー
タが定義される。

【００５８】必要があれば対象物によって背景上に生じ
る陰影の判定除去処理（ステップＳ４２）を行ってもよ
い。陰影判定の例としては色相の変動量が少なく、輝度
の変動量が基準値より大きい場合、かつ輝度の変動量の
空間的分散値が小さい場合などが挙げられる。

【００５９】抽出領域が定まると、切り出し処理とマス
クデータ（抽出画素を値１、他を値０とする）の作成処
理（ステップＳ４３）、および切り出し画像の登録処理
（ステップＳ４４）が行われる。

【００６０】領域中各点の判別用閾値Ｔの初期値は大津
の方法（電子情報通信学会論文誌、ｖｏｌ．Ｊ６３，ｐ
ｐ．３４９−３５６，１９８０）などを評価関数の各
項、即ち、（Ｈｂ−Ｈｔ）²、（Ｓｂ−Ｓｔ）²、（Ｖｂ
−Ｖｔ）²それぞれに適用して求めてもよい。尚、上記
評価関数および各パラメータはそれぞれ上記のものに限
定されるものではない。

【００６１】さらに、次フレームの処理領域（マスク）
を設定する（ステップＳ４５）。具体的には登録された
切り出し画像または被写体込み画像（図５の（Ａ）左
側）全体の各点での動きベクトルを抽出し（図５の
（Ｂ））、次フレームでのマスク上各点の位置を予測し
て求めればよい（図５の（Ｃ））。また、演算時間を短
縮するためにマスク領域の輪郭線上各点についてのみ各
フレーム間の動きベクトルを算出して求めてもよい。
尚、現フレームでのマスク領域を定数倍拡大して得られ
る領域、あるいは次フレームでの推定されるマスク領域
を定数倍拡大した領域を次フレームで処理領域としても
よい。

【００６２】さらに、次フレームでの切り出し処理の閾
値設定（ステップＳ４６）を画像データに基づいて行う
（図２の適応的閾値処理、ステップＳ６１）。切り出し
処理の閾値（以下、判別閾値と称する）は現フレームま
での切り出し画像データの変動量またはマスクデータの
形状などの変動量に基づいて設定される（図５の
（Ｄ））。

【００６３】設定の仕方としては判別閾値を２種類用意
し、登録画像内の画像データまたはマスク形状の変動量
が予め定めた固定閾値以下のときには高い方の判別閾値
を用い、変動量が固定閾値より大きい場合、高い方の判
別閾値を用いる方法でよい。他の方法として変動量評価
を各フレームで行い、固定閾値に対して大（小）となる
毎に判別閾値を所定量だけ増加（減少）させる、または
連続して大（小）となる場合、それに一定値を連続回数
分だけ乗算した値を増加（減少）させる方法でもよい。

【００６４】図６は前フレームでのマスク領域の画像デ
ータと現フレームでのマスク領域の画像データとの間の
変動量を示す説明図である。前フレームでのマスク領域
の画像データ（同図（Ｂ））と現フレームでのマスク領
域の画像データ（同図（Ａ））との間の変動量（同図
（Ｃ））と、それが固定閾値を越えた場合に判別閾値を
低く（そうでない場合は高く）した結果（同図（Ｄ））
を示す。

【００６５】図７はマスク形状およびサイズの変動量評
価を示す説明図である。尚、マスク形状、サイズの変動
量評価は、同図（１）に示すように、現フレームおよび
前フレームのマスク（同図（１）のＡ）、それぞれの重
心を一致させて重ねたとき（同図（１）のＢ）の重なり
合わない部分領域の面積の総和（同図（１）のＣ）を現
フレームでのマスク面積で正規化した値などを評価して
求める方法、あるいは図７の（２）に示すように重心を
中心とする極座標系、図７の（２）のＡにおいて輪郭上
の各点をｒ−θ座標でθの昇順（降順）で表し（同
Ｂ）、対応する点間のｒ値の差分データ（図７の（２）
Ｃ、差分絶対値またはその２乗値など）等の総和を求め
る方法などで変動量評価を行ってもよい。

【００６６】この結果、背景データが被写体上のある部
分と類似した画像データを有する場所に被写体が移動す
ることによって、上記評価関数値が判別閾値の初期値よ
り小さくなる場合でも誤判定（その部分領域の各点を背
景と判定すること）を回避することができる。

【００６７】判別閾値設定後、背景画像との差分データ
の統計的処理により次フレームでの画像切り出しを行
う。このようにして得られる切り出し画像を一時記憶部
に格納した後、圧縮符号化と記録（ステップＳ４７）を
行う。具体的には切り出し画像を含むかまたは外接する
ような矩形領域（切り出し画像以外の点は値０のデー
タ）内の動画像をＭＰＥＧなどの方式に符号化すればよ
い。以下、背景画像データと次フレームでの被写体込み
画像との比較、変動量の算出、切り出し処理、および符
号化記録処理を同様に繰り返すことにより動画像切り出
しが行われる。

【００６８】［第２の実施の形態］第２の実施の形態で
は、静止または動いている被写体の時系列画像を撮像し
ながら、パンニング、ズーミングなどのカメラ操作を行
う場合、被写体の動画像切り出しについて説明する。ま
ず、被写体の画像を撮影する際、カメラ操作、撮像パラ
メータ（フォーカシングモータ位置、露光モード、シャ
ッタ速度、倍率など）を画像と共に時系列的に記録し、
つぎにカメラ操作情報および撮像パラメータを再生しな
がら背景のみの画像を撮像して記録する。

【００６９】撮像装置の姿勢や位置を検知する位置検知
部を有する雲台、または同様の検知部を有するステージ
上に撮像装置を設置し、かつ被写体の撮影時にフォーカ
シング、ズーミングなどの動作を行う場合について示
す。

【００７０】図８は第２の実施の形態における撮像シス
テムの構成を示すブロック図である。前記第１の実施の
形態と同一の構成要素については同一の符号を付してそ
の説明を省略する。撮像装置１を搭載し、位置姿勢制御
部３２を有する雲台が３次元的に可動なステージ３３上
に設置されている場合、外部からのコマンドデータをコ
マンド入力部３７から入力し、位置姿勢制御信号発生部
３４で生成される時系列制御信号に基づき、ステージ３
３および撮像装置１の位置、姿勢および撮像条件の一部
を制御する。これにより、パンニング、ズーミングなど
の操作を行いながら被写体込み動画像を撮像する。

【００７１】撮像条件の制御信号のうちフォーカシン
グ、露光条件などは撮像装置１内部で発生してもよい。
被写体込み画像撮像時の位置、姿勢制御データおよび撮
像条件データ（以下、これらを総称して撮像制御データ
という）と撮像装置１からの映像信号データとは同期部
３９により同期して付帯情報記憶部３６に記録される。

【００７２】つぎに、背景画像を撮像する際の動作につ
いて説明する。コマンド入力部３７からの指示により背
景画像撮像モードが設定されると、既に撮像済の被写体
込み画像の撮像制御データが付帯情報記憶部３６から読
み出され、再生データ抽出記憶部３５に一時的に記憶さ
れる。背景画像は撮像制御データが制御信号発生部３４
から出力されると、被写体込み画像と同一条件で撮像さ
れ、さらに背景動画像記憶部４０に記録される。両画像
データは動画切り出し部３８によって前記第１の実施の
形態と同様に処理され、最終的に被写体の動画像が切り
出される。

【００７３】図９は被写体撮像時の画像記録フォーマッ
トを示す説明図である。画像データのヘッダ部には時刻
またはフレーム番号（経過時間）、フォーカシングモー
タ位置、ズーミングモータ位置、シャッタ速度（電荷蓄
積時間）、映像信号特性パラメータ（ガンマ、ニー、ホ
ワイトバランス等）、絞り径、カメラの姿勢角度（θ
１、θ２、θ３）、カメラ位置（Ｘ、Ｙ、Ｚ）などが記
録される。これらの情報は画像データとは別のヘッダフ
ァイルに記録してもよい。背景のみの画像データ撮像時
には再生データ抽出記憶部３５からヘッダ部情報が読み
出されて各撮像パラメータの時系列制御データに変換さ
れる。

【００７４】図１０は撮像処理手順を示すフローチャー
トである。撮像手順としては抽出すべき被写体の所定背
景中の画像（第１画像）を最初に撮像し（ステップＳ５
１）、そのときの撮像パラメータ、カメラ操作情報を画
像データと共に符号化記録部部６に時系列的に記録し
（ステップＳ５２）、つぎに背景のみの画像（第２画
像、動画像または静止画像）を同じ撮像条件を再生しな
がら撮像する（ステップＳ５３）。

【００７５】撮像条件を一致させ、対応するフレーム番
号の第１、第２画像間の比較データ（差分データ）に対
して、前記第１の実施の形態と同様の統計的処理による
切り出し処理（ステップＳ５４、適応的閾値処理、抽出
領域の予測などを含む）を施すことにより、被写体画像
領域を検出して被写体のみの動画像を抽出し、圧縮符号
化処理（ステップＳ５５）を行う。

【００７６】尚、本実施の形態では、２軸以上のジョイ
ントアーム機構に撮像装置を設置し、撮像装置上または
アーム機構に位置、姿勢検出用センサを搭載し、上述の
説明と同様の撮影動作と処理を行ってもよい。この場
合、アーム機構の結合角度の時系列記録および復帰再生
手段を要することはいうまでもない。

【００７７】［第３の実施の形態］第３の実施の形態に
おける撮像システムについて説明する。図１１は第３の
実施の形態における画像の切り出し処理手順を示すフロ
ーチャートである。まず、被写体込み動画像の第１フレ
ーム画像から被写体の静止画像の切り出し処理を行い
（ステップＳ８１）、抽出領域のマスクデータ作成（ス
テップＳ８２）と切り出し画像の登録（ステップＳ８
３）を行った後、マスク領域近傍での動きベクトルを検
出する（ステップＳ８４）。動きベクトルに基づくマス
ク（処理領域）の設定（ステップＳ８５）、前フレーム
と差分データの適応的閾値処理などによる動画像の切り
出し（ステップＳ８６）と符号化記録（ステップＳ９
１）を行う。

【００７８】本実施の形態では、特に背景のみの画像デ
ータの撮影および活用をせず、切り出し処理により随時
登録される画像データのフレーム間変動量評価（ステッ
プＳ８７）に基づく切り出し処理用閾値の設定と更新
（ステップＳ８８）、動きベクトルと登録画像データに
基づく切り出し判定（ステップＳ８９）、および仮説検
定処理に基づく切り出し（ステップＳ９０）などを行
う。尚、始めの静止画像の切り出し方法は従来方式を用
いるなど特に限定しない。

【００７９】本実施の形態においても前記第１の実施の
形態と同様に登録された（前フレームで切り出された）
被写体画像のフレーム間変動量は、対応する点間の輝
度、色情報の変動およびマスク形状、サイズの変動量の
ことを指し、画像データの変動量が高い（小さい）点で
の前フレーム画像との画像データの変動量の判別閾値を
低く（高く）する。同様に形状の変動量が大きい（小さ
い）場合には全体的に閾値を低く（高く）する。

【００８０】図１２は動きベクトルに基づき予測される
次フレームの対応する位置での画像データを算出する手
順を示す説明図である。現フレーム分の背景を含む画像
データ（図１２のＡ）を保持し、前フレーム画像（図１
２のＢ）を用いて検出される抽出すべき対象上の各点
（または各局所領域）に関する動きベクトル（図１２の
Ｃ）に基づき予測される次フレームの対応する位置（ま
たは局所領域）での画像データ（図１２のＤ）を算出す
る（現画像データの移動および補間処理を行う）。以上
の図中、ｂ１とｂ２はそれぞれ現フレームでの背景と被
写体との境界を表す。この予測データと現フレーム上の
同じ位置（または局所領域）での画像データとの差異を
予測し（図１２のＥ、予測誤差）、実際の差異（図１２
のＦ）とのずれ（図１２のＧ、偏差）を評価してその値
が閾値以下である場合には抽出画像と判定する切り出し
判定処理を行う。

【００８１】また、この偏差が閾値以上である場合、以
下に示すような仮説検定処理（ステップＳ９０）を行
う。即ち、切り出し判定の結果を真と仮定した場合の孤
立点（領域）の生起判定処理、陰影判定処理（前記実施
の形態１で説明）を行い、前フレームに存在しない孤立
点（領域）の生起が判定される場合にはその点（領域）
において偽と判定し、補正（抽出と非抽出の判定を入れ
替える）する。

【００８２】尚、前フレームに存在しない孤立領域と
は、そのサイズが前フレームで抽出された被写体サイズ
と較べて十分に小さく、かつ他の領域と連結していない
領域を意味する。陰影候補と判定される場合、前記第１
の実施の形態と同様の処理を行うか、または予め陰影判
定時に選択可能な処理モード（１：無条件に削除、２：
被写体領域に併合、３：陰影候補領域として表示、ユー
ザによる削除または抽出の指示）を設定しておいてもよ
い。このようにすることにより、被写体の動きに伴って
背景の見え隠れが生じても背景パターンの影響を敏感に
受けずに安定した動画像切り出しを行うことができる。

【００８３】［第４の実施の形態］第４の実施の形態で
は、撮像装置として複眼撮像系を用い、所定の基線長お
よび輻輳角を有する左右カメラにより得られる画像間の
対応する点（または局所領域）の抽出およひそれらの視
差の算出を行う。撮像手順としては前記第１の実施の形
態と同様に被写体込み画像を撮像し、撮像条件などを記
録した後、同一撮像条件で背景画像を撮像する。

【００８４】図１３は第４の実施の形態における被写体
切り出し処理手順を示すフローチャートである。複眼撮
像系による被写体込み動画像の撮影（ステップＳ１０
１）、撮像条件データの記録（ステップＳ１０２）、背
景のみの複眼撮像と記録（ステップＳ１０３）の後、そ
れぞれの複眼画像について左右画像間の対応点および視
差分布抽出（ステップＳ１０４）を行う。尚、以下に示
す視差分布からの切り出し方法によっては被写体込み画
像についてのみ視差分布を求めればよい。

【００８５】まず、視差値の分布に基づいて被写体の概
略形状を抽出する（ステップＳ１０５）。視差分布に基
づく切り出しについては一般的に次のような問題が発生
する。即ち、左右カメラと被写体との幾何学的配置およ
び被写体形状に応じて生じる遮蔽領域（視野が重複して
いる範囲で一方のカメラのみに写っている領域）では視
差値が求まらない。このため、抽出精度、分解能は不十
分であるが、視差分布（撮像装置からの奥行き、立体情
報）を利用して背景から抽出すべき被写体領域を限局す
るために活用する。この目的のために適当な画像抽出方
法の第１の例として被写体込み画像の視差分布と背景画
像の視差分布との間で背景領域に関する対応付け処理を
行う方法が挙げられる。他の方法としては、被写体込み
画像の視差分布から視差値が所定範囲にあり、かつ一定
サイズ以上の連結領域を抽出してもよい。

【００８６】前者の抽出方法は被写体を除く背景の大部
分および被写体によって背景上に投影された影に相当す
る領域の一部を削除することができる。後者では、背景
画像と被写体込み画像との比較だけでは、除去できない
場合（例えば、背景の中に抽出すべき被写体以外の動く
物体が存在する場合など）に視差に基づく大まかな切り
出しを行って抽出すべき被写体のみを含む領域を設定す
ることができ、また、処理領域を限定して切り出し処理
の効率、速度を向上させることができる。

【００８７】次に抽出された領域を中心とする処理範囲
（例えば、抽出領域を中に含む矩形領域など）を設定し
（ステップＳ１０６）、背景画像と被写体込み画像との
間で前記第１の実施の形態と同様に判別閾値に基づく切
り出し処理（ステップＳ１０７）を行う。

【００８８】本実施の形態では切り出し処理の際、視差
情報を活用することにより、抽出処理をすべき領域の限
定に伴い演算効率が向上し、かつ被写体によって背景部
に生じる陰影の切り出し精度に与える影響を抑制するこ
とにより精度の安定化をもたらすことができる。

【００８９】

【発明の効果】本発明の請求項１に係る画像抽出装置に
よれば、入力手段により抽出すべき被写体を含む第１画
像および背景のみの第２画像を入力し、比較手段により
該入力した第１画像および第２画像を比較し、該比較手
段の比較データに基づいて領域設定手段により次フレー
ムの抽出処理領域を設定し、画像切り出し手段により該
設定された抽出処理領域で前記比較データの閾値処理を
行うことにより前記被写体の画像を抽出し、更新手段に
より前記抽出処理領域内の画像データの変動量に基づい
て前記閾値を更新し、記録手段により前記抽出された被
写体の画像を記録するので、被写体の形状、画像データ
の特性によらずに精度が安定し、かつ高速な動画像の自
動切り出しを行うことができる。

【００９０】請求項２に係る画像抽出装置によれば、入
力手段により抽出すべき被写体を含む動画像を入力し、
画像切り出し手段により該動画像中の特定の被写体を抽
出し、作成手段により該抽出された被写体の領域でマス
クデータを作成し、予測手段により次フレームでのマス
クデータを予測し、データ登録手段により該予測された
マスクデータおよび前記被写体の画像データを登録し、
更新手段により該登録される画像データを前記予測手段
の出力に基づき更新し、変動量算出手段により該更新さ
れた画像データと次フレームの前記被写体を含む画像デ
ータとの変動量を算出し、動画像抽出手段により該算出
された変動量に基づく閾値処理により前記被写体の動画
像を抽出するので、被写体の運動、変形の程度を推定し
て切り出し処理の閾値を設定する（変動の大きいところ
は閾値を小さくするなど）ことにより切り出し精度を安
定化できる。

【００９１】請求項３に係る画像抽出装置によれば、前
記データ登録手段は、異なる時刻における前記被写体の
画像データを登録し、前記動画像抽出手段は、前記登録
された画像データ間の各点での変動量に基づき、各点で
の切り出し処理の閾値を可変に設定するので、被写体の
運動、変形の有無またはそれらの程度によらずに安定し
た動画像の切り出しを行うことができる。

【００９２】請求項４に係る画像抽出装置によれば、前
記動画像抽出手段は、前記登録された画像データの動き
ベクトルを検出する検出手段と、該検出された動きベク
トルおよび各点の画像データの変動量に基づき、次フレ
ームでの切り出し処理の閾値を設定する閾値設定手段
と、前記変動量に基づく閾値処理により前記被写体の動
画像を抽出する画像切り出し手段とを備えたので、背景
パターンおよび被写体の運動によらずに動画像の切り出
し精度を安定化できる。

【００９３】請求項５に係る画像抽出装置によれば、前
記入力手段は、異なる視点位置からの前記被写体または
背景の画像を入力し、前記データ登録手段は、異なる時
刻の前記被写体の画像データを登録し、前記動画像抽出
手段は、前記登録された画像データの各点での視差値を
抽出する視差値抽出手段と、該抽出された視差値に基づ
く前記被写体の概略領域を抽出する概略領域抽出手段
と、前記概略領域を中心とする所定範囲の処理領域を設
定する処理領域設定手段と、該設定された処理領域の各
点での画像データの変動量に基づき、切り出し処理の閾
値を設定する閾値設定手段とを備えたので、視差および
画像データの併用により切り出し精度を安定化できる。

【００９４】請求項６に係る画像抽出装置によれば、入
力手段により抽出すべき被写体を含む第１画像および背
景のみの第２画像を入力し、データ記録手段により該第
１画像を入力する時の撮像パラメータまたはカメラ操作
データを有する時系列データを記録し、再生手段により
前記第２画像を入力する時、前記時系列データを再生
し、比較手段により前記第１画像および第２画像を比較
し、画像切り出し手段により該比較手段の比較データに
基づき、前記被写体の画像を抽出し、記録手段により該
抽出された被写体の画像を記録するので、カメラ操作
（パンニングなど）、視点位置の移動を行って得られる
動画像から動被写体の切り出しを高精度に行うことがで
きる。

【００９５】請求項７に係る画像抽出方法によれば、抽
出すべき被写体を含む第１画像および背景のみの第２画
像を入力する入力ステップと、該入力した第１画像およ
び第２画像を比較する比較ステップと、該比較結果に基
づき、抽出処理領域を設定する領域設定ステップと、該
設定された抽出処理領域で前記被写体の画像を抽出する
画像切り出しステップと、前記抽出処理領域を更新する
更新ステップと、前記抽出された被写体の画像を記録す
る記録ステップとを備えたので、被写体の形状、画像デ
ータ特性によらずに安定した動画像の自動切り出しを行
うことができる。

【００９６】請求項８に係る画像抽出方法によれば、抽
出すべき被写体を含む動画像を入力する入力ステップ
と、処理領域を設定する設定ステップと、該処理領域中
の位置情報を含む前記画像データを登録する登録ステッ
プと、該登録された画像データを更新する更新ステップ
と、前記登録された画像データと次フレームの前記被写
体を含む動画像との画像データの変動量を算出する算出
ステップと、該算出された変動量に基づく閾値処理によ
り前記被写体の動画像を抽出する画像切り出しステップ
とを備えたので、動画像切り出し精度の安定化をもたら
すことができる。

【００９７】請求項９に係る画像抽出方法によれば、抽
出すべき被写体を含む第１画像および背景のみの第２画
像を入力する入力ステップと、前記第１画像を入力する
時の撮像パラメータまたはカメラ操作データの時系列デ
ータを記録する記録ステップと、前記第２画像を入力す
る時、前記時系列データを再生する再生ステップと、前
記第１画像および前記第２画像を比較する比較ステップ
と、該比較ステップの比較データに基づいて前記被写体
の画像を抽出する画像切り出しステップと、該抽出され
た画像を記録する記録ステップとを備えたので、カメラ
操作（パンニングなど）、視点位置の移動を行って得ら
れる動画像から動被写体の切り出しを高精度に行うこと
ができる。

【００９８】請求項１０に係る画像抽出装置によれば、
入力手段により抽出すべき被写体を含む動画像を入力
し、作成手段により該被写体の領域でマスクデータを作
成し、予測手段により次フレームで抽出する画像データ
を予測し、データ登録手段により該マスクデータおよび
前記被写体の画像データを登録し、抽出手段により該登
録された画像データに関する動きベクトルを抽出し、予
測手段により該抽出された動きベクトルと前記登録され
た画像データに基づき、次フレームでの抽出領域の位置
および画像データを予測し、差異検出手段により該予測
される画像データと次フレームでの対応する位置での画
像データとの差異を検出し、判定手段により該検出され
る差異または仮説検定処理に基づき切り出し判定を行う
ので、動画像中の所定フレームから抽出された被写体画
像について、それ以降のフレームにおいて被写体の運
動、背景パターンによらず安定した動画像切り出しを行
うことができる。

【００９９】請求項１１に係る画像抽出装置によれば、
前記変動量算出手段は、前記登録された画像データに関
する第１の変動量を評価する第１変動量評価手段と、前
記マスクデータの形状およびサイズに関する第２の変動
量を評価する第２変動量評価手段とを備え、前記動画像
抽出手段は、前記第１および第２の変動量評価手段の出
力に基づき、切り出し処理の各点における閾値を設定す
る閾値更新手段を備えたので、抽出判定の閾値を画像デ
ータの変動量および形状、サイズデータの変動量を用い
た多面的評価に基づいて行うことにより、安定した動画
像切り出しを行うことができる。

【０１００】請求項１２に係る画像抽出方法によれば、
抽出すべき被写体を含む動画像を入力する入力ステップ
と、該動画像の所定フレームの前記被写体の領域でマス
クデータを作成する作成ステップと、次フレームでのマ
スクデータを予測する予測ステップと、現フレームのマ
スクデータおよび抽出された前記被写体の画像データの
登録および更新を行う登録更新ステップと、該登録され
た画像データに関する動きベクトルを抽出する抽出ステ
ップと、該抽出された動きベクトルと前記登録された画
像データに基づき、次フレームでの抽出領域における各
点の位置および画像データを予測する予測ステップと、
該予測された画像データと次フレームでの対応する位置
での画像データとの差異または仮説検定処理に基づき切
り出し判定を行う判定ステップとを備えたので、動画像
中の所定フレームから抽出された被写体画像について、
それ以降のフレームにおいて被写体の運動、背景パター
ンによらず安定した動画像切り出しを行うことができ
る。

【図面の簡単な説明】

【図１】撮像システムの構成を示すブロック図である。

【図２】撮像処理手順を示すフローチャートである。

【図３】被写体込み画像および背景画像を示す説明図で
ある。

【図４】背景画像および被写体込み画像から被写体を抽
出する処理手順を示すフローチャートである。

【図５】背景画像および被写体込み画像から被写体を抽
出する処理を示す説明図である。

【図６】前フレームでのマスク領域の画像データと現フ
レームでのマスク領域の画像データとの間の変動量を示
す説明図である。

【図７】マスク形状およびサイズの変動量評価を示す説
明図である。

【図８】第２の実施の形態における撮像システムの構成
を示すブロック図である。

【図９】被写体撮像時の画像記録フォーマットを示す説
明図である。

【図１０】撮像処理手順を示すフローチャートである。

【図１１】第３の実施の形態における画像の切り出し処
理手順を示すフローチャートである。

【図１２】動きベクトルに基づき予測される次フレーム
の対応する位置での画像データを算出する手順を示す説
明図である。

【図１３】第４の実施の形態における被写体切り出し処
理手順を示すフローチャートである。

【符号の説明】

１ 撮像装置 ５ 撮像パラメータ計測制御部 ６ 符号化記録部 ８ 撮像モード記録部 １１ 画像データ比較部 １２ 画像切り出し部 １８ データベース １９ 画像種別設定部 ２０ カメラパラメータ設定部 ３２ 位置姿勢制御部 ３５ 再生データ抽出記憶部 ３６ 付帯情報記憶部 ３８ 動画像切り出し部 ４０ 背景動画像記憶部

Claims (12)

【特許請求の範囲】
1. 【請求項１】 抽出すべき被写体を含む第１画像および
   背景のみの第２画像を入力する入力手段と、 該入力した第１画像および第２画像を比較する比較手段
   と、 該比較手段の比較データに基づいて次フレームの抽出処
   理領域を設定する領域設定手段と、 該設定された抽出処理領域で前記比較データの閾値処理
   を行うことにより前記被写体の画像を抽出する画像切り
   出し手段と、 前記抽出処理領域内の画像データの変動量に基づいて前
   記閾値を更新する更新手段と、 前記抽出された被写体の画像を記録する記録手段とを備
   えたことを特徴とする画像抽出装置。
2. 【請求項２】 抽出すべき被写体を含む動画像を入力す
   る入力手段と、 該動画像中の特定の被写体を抽出する画像切り出し手段
   と、 該抽出された被写体の領域でマスクデータを作成する作
   成手段と、 次フレームでのマスクデータを予測する予測手段と、 該予測されたマスクデータおよび前記被写体の画像デー
   タを登録するデータ登録手段と、 該登録される画像データを前記予測手段の出力に基づき
   更新する更新手段と、 該更新された画像データと次フレームの前記被写体を含
   む画像データとの変動量を算出する変動量算出手段と、 該算出された変動量に基づく閾値処理により前記被写体
   の動画像を抽出する動画像抽出手段とを備えたことを特
   徴とする画像抽出装置。
3. 【請求項３】 前記データ登録手段は、異なる時刻にお
   ける前記被写体の画像データを登録し、前記動画像抽出
   手段は、前記登録された画像データ間の各点での変動量
   に基づき、各点での切り出し処理の閾値を可変に設定す
   ることを特徴とする請求項２記載の画像抽出装置。
4. 【請求項４】 前記動画像抽出手段は、 前記登録された画像データの動きベクトルを検出する検
   出手段と、 該検出された動きベクトルおよび各点の画像データの変
   動量に基づき、次フレームでの切り出し処理の閾値を設
   定する閾値設定手段と、 前記変動量に基づく閾値処理により前記被写体の動画像
   を抽出する画像切り出し手段とを備えたことを特徴とす
   る請求項２記載の画像抽出装置。
5. 【請求項５】 前記入力手段は、異なる視点位置からの
   前記被写体または背景の画像を入力し、 前記データ登録手段は、異なる時刻の前記被写体の画像
   データを登録し、 前記動画像抽出手段は、前記登録された画像データの各
   点での視差値を抽出する視差値抽出手段と、該抽出され
   た視差値に基づく前記被写体の概略領域を抽出する概略
   領域抽出手段と、前記概略領域を中心とする所定範囲の
   処理領域を設定する処理領域設定手段と、該設定された
   処理領域の各点での画像データの変動量に基づき、切り
   出し処理の閾値を設定する閾値設定手段とを備えたこと
   を特徴とする請求項２記載の画像抽出装置。
6. 【請求項６】 抽出すべき被写体を含む第１画像および
   背景のみの第２画像を入力する入力手段と、 該第１画像を入力する時の撮像パラメータまたはカメラ
   操作データを有する時系列データを記録するデータ記録
   手段と、 前記第２画像を入力する時、前記時系列データを再生す
   る再生手段と、 前記第１画像および第２画像を比較する比較手段と、 該比較手段の比較データに基づき、前記被写体の画像を
   抽出する画像切り出し手段と、 該抽出された被写体の画像を記録する記録手段とを備え
   たことを特徴とする画像抽出装置。
7. 【請求項７】 抽出すべき被写体を含む第１画像および
   背景のみの第２画像を入力する入力ステップと、 該入力した第１画像および第２画像を比較する比較ステ
   ップと、 該比較結果に基づき、抽出処理領域を設定する領域設定
   ステップと、 該設定された抽出処理領域で前記被写体の画像を抽出す
   る画像切り出しステップと、 前記抽出処理領域を更新する更新ステップと、 前記抽出された被写体の画像を記録する記録ステップと
   を備えたことを特徴とする画像抽出方法。
8. 【請求項８】 抽出すべき被写体を含む動画像を入力す
   る入力ステップと、 処理領域を設定する設定ステップと、 該処理領域中の位置情報を含む前記画像データを登録す
   る登録ステップと、 該登録された画像データを更新する更新ステップと、 前記登録された画像データと次フレームの前記被写体を
   含む動画像との画像データの変動量を算出する算出ステ
   ップと、 該算出された変動量に基づく閾値処理により前記被写体
   の動画像を抽出する画像切り出しステップとを備えたこ
   とを特徴とする画像抽出方法。
9. 【請求項９】 抽出すべき被写体を含む第１画像および
   背景のみの第２画像を入力する入力ステップと、 前記第１画像を入力する時の撮像パラメータまたはカメ
   ラ操作データの時系列データを記録する記録ステップ
   と、 前記第２画像を入力する時、前記時系列データを再生す
   る再生ステップと、 前記第１画像および前記第２画像を比較する比較ステッ
   プと、 該比較ステップの比較データに基づいて前記被写体の画
   像を抽出する画像切り出しステップと、 該抽出された画像を記録する記録ステップとを備えたこ
   とを特徴とする画像抽出方法。
10. 【請求項１０】 抽出すべき被写体を含む動画像を入力
    する入力手段と、 該被写体の領域でマスクデータを作成する作成手段と、 次フレームで抽出する画像データを予測する予測手段
    と、 該マスクデータおよび前記被写体の画像データを登録す
    るデータ登録手段と、 該登録された画像データに関する動きベクトルを抽出す
    る抽出手段と、 該抽出された動きベクトルと前記登録された画像データ
    に基づき、次フレームでの抽出領域の位置および画像デ
    ータを予測する予測手段と、 該予測される画像データと次フレームでの対応する位置
    での画像データとの差異を検出する差異検出手段と、 該検出される差異または仮説検定処理に基づき切り出し
    判定を行う判定手段とを備えたことを特徴とする画像抽
    出装置。
11. 【請求項１１】 前記変動量算出手段は、前記登録され
    た画像データに関する第１の変動量を評価する第１変動
    量評価手段と、前記マスクデータの形状およびサイズに
    関する第２の変動量を評価する第２変動量評価手段とを
    備え、 前記動画像抽出手段は、前記第１および第２の変動量評
    価手段の出力に基づき、切り出し処理の各点における閾
    値を設定する閾値更新手段を備えたことを特徴とする請
    求項２記載の画像抽出装置。
12. 【請求項１２】 抽出すべき被写体を含む動画像を入力
    する入力ステップと、 該動画像の所定フレームの前記被写体の領域でマスクデ
    ータを作成する作成ステップと、 次フレームでのマスクデータを予測する予測ステップ
    と、 現フレームのマスクデータおよび抽出された前記被写体
    の画像データの登録および更新を行う登録更新ステップ
    と、 該登録された画像データに関する動きベクトルを抽出す
    る抽出ステップと、 該抽出された動きベクトルと前記登録された画像データ
    に基づき、次フレームでの抽出領域における各点の位置
    および画像データを予測する予測ステップと、 該予測された画像データと次フレームでの対応する位置
    での画像データとの差異または仮説検定処理に基づき切
    り出し判定を行う判定ステップとを備えたことを特徴と
    する画像抽出方法。