JP2004213572A - 物体抽出装置、物体抽出方法、プログラム及び記録媒体 - Google Patents
物体抽出装置、物体抽出方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004213572A JP2004213572A JP2003002629A JP2003002629A JP2004213572A JP 2004213572 A JP2004213572 A JP 2004213572A JP 2003002629 A JP2003002629 A JP 2003002629A JP 2003002629 A JP2003002629 A JP 2003002629A JP 2004213572 A JP2004213572 A JP 2004213572A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- images
- background image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】照明条件や撮影装置の位置が変化する状況下でも、撮影画像中から物体を安定に抽出する。
【解決手段】撮影装置により、様々な照明環境下において撮影された多数の背景画像を蓄積する背景画像蓄積処理手段32、撮影装置により撮影された各時刻における画像(入力画像)を取り込む画像取込手段33、上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する背景画像合成手段34、各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する物体検出手段35を備える。さらに、撮影装置の入出力特性を計測する撮影装置特性計測手段31を備え、規格化された背景画像、入力画像を得る。
【選択図】 図2
【解決手段】撮影装置により、様々な照明環境下において撮影された多数の背景画像を蓄積する背景画像蓄積処理手段32、撮影装置により撮影された各時刻における画像(入力画像)を取り込む画像取込手段33、上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する背景画像合成手段34、各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する物体検出手段35を備える。さらに、撮影装置の入出力特性を計測する撮影装置特性計測手段31を備え、規格化された背景画像、入力画像を得る。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、照明条件や撮影装置の位置が変化する状況において、静止画像、もしくは連続して入力される動画像から背景以外の物体を検出する物体抽出装置及び方法、そのプログラム並びに記録媒体に関する。
【0002】
【従来の技術】
あらかじめ背景以外の物体が写っていない背景画像を装置内に記憶しておき、各時刻における入力画像との差分をとることで、背景以外の物体を検出することができる。ところで、照明変化や撮影装置の移動により画像中の背景が変化する状況においては、あらゆる状況の背景画像をあらかじめ取得し蓄積しておき、蓄積された画像を用いて、各時刻における最適な背景画像を選択、もしくは合成することで、人物やそれ以外の物体等を検出する必要がある。しかし大量の蓄積画像の中からの画像の探索、および画像の合成においては、一般に計算量が膨大となり、実時間処理を要する用途には向かないという問題がある。
【0003】
一方、照明条件が変化した場合の背景画像を合成する手法の一つとして、例えば、照明光源の位置を変化させて撮影した4枚以上の背景画像から基底画像を求め、次に寄与率の高い上位3〜4枚の基底画像のみを用いて任意の位置に光源がある場合の背景画像を合成する手法が提案されている(非特許文献1参照)。しかし、照明光の色が異なる複数の光源により背景が照明されている場合には、正しい背景画像が合成できず、人物、物体の検出精度が低下するという課題を有す。また、背景に鏡面反射、映り込み(2次反射や相互反射ともいう)、影を伴う物体が含まれる場合には正しい背景画像を生成することができず、人物、物体の検出精度が低下するという問題がある。
【0004】
【非特許文献1】
松山隆司、外3名、「照明変化に頑健な背景差分」、電子情報通信学会論文誌、D−II,Vol.J84−D−II,No.10,pp.2201〜2211(2001年10月)
【0005】
【発明が解決しようとする課題】
本発明は、上記従来技術の問題点を解決すべくなされたもので、大量に蓄積された様々な照明条件下での背景画像を用いて、各時刻での背景画像を合成し、照明条件や撮影装置の位置等が変化する状況下でも背景以外の物体検出を安定して行うことができる物体抽出装置及び方法、そのプログラム並びに記録媒体を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、撮影装置により、あらかじめ撮影された、照明条件が異なる多数の背景画像を記録、蓄積する手段と、撮影装置により撮影される各時刻における画像(入力画像)を取り込む手段と、蓄積された背景画像の重み付き線形和により各時刻の背景画像を合成する手段と、合成された背景画像と各時刻における入力画像との差分を基に背景以外の物体の検出を、照明変化に対して頑健に行う手段を備える。なお、背景画像と、各時刻おける画像の取り込みでは、同一もしくは機種が同じ撮影装置を用いる。機種が同じで、複数の撮影装置を用いる場合には、それぞれについて装置の特性を計測しておく。
【0007】
まず、背景画像の記録、蓄積について詳細に説明する。一般に、撮影装置に入力した光の強度と、撮影装置から出力される信号値は、比例関係に無い。そこであらかじめ、撮影装置の特性を計測しておき、その結果を参照して信号値の変換を行い、明るさで規格化された画像を得る。また、光沢や鏡面反射が明るすぎて、一定の露光時間では撮影装置のダイナミックレンジを超えてしまい、画像情報が欠損する場合には、露光時間を変えて取得した複数の画像からダイナミックレンジの広い1枚の画像を合成する。以上の処理を、照明条件、および撮影装置の位置を変えながら繰り返し、多数の背景画像を記憶装置内に蓄積する。これにより、さまざまな照明環境下で観測される、物体表面での鏡面反射や写し込みの様子、また陰影の様子を示す多数の背景画像が蓄積できる。入力画像についても、同様に撮影装置の特性計測した結果を参照して信号の変換を行い、明るさで規格化された画像を得る。一般に非線形型な撮影装置の入出力特性を補正することで、次の複数の背景画像の線形和による合成の際に、背景画像取得時とは異なる照明条件下の背景画像の合成が実現できる。
【0008】
次に、背景画像の合成について詳細に説明する。各時刻における背景画像は、あらかじめ蓄積された照明条件が異なる多数の背景画像の重み付き線形和により合成することで求める。各背景画像の重みを適切に求めることで、背景を構成する物体が、陰影を伴う場合や、拡散反射に加えて鏡面反射や映り込み(2次反射、相互反射ともいう)を伴う場合などでも、背景画像を正しく合成することが可能となる。また、照明光源の形状、個数、配置、照明光の色、明るさ等が変化した場合でも、各時刻の背景画像を正しく合成することが可能となる。
【0009】
いま、蓄積された背景画像の枚数をL枚とし、それぞれには番号がラベル付け(k=1,2,・・・,L)されているとする。時刻tにおける背景画像の推定結果(候補)Htを、k番目の画像Hkとその重み係数γk tを用いて次式のように表わす。
【数1】
【0010】
後述するように、重み係数γk tを変化させて、(1)式の計算をN回繰り返し、時刻tにおけるN枚の背景画像の候補Htを得る。
【0011】
次に、時刻tにおける入力画像Itと各Htの差を計算し、その差を用いた尤度Ψtを得る。尤度Ψtは次式のように表わす。
【数2】
ここで、f(|It−Ht|)は、|It−Ht|に関する単調減少関数(図10の例1)、もしくは単調減少の後に一定値となる連続関数(図10の例2)であり、It=Htのときに尤度Ψtが最大値となる。kbは正規化定数である。なお、尤度Ψtの総和は1である。
【0012】
尤度Ψtが最大となる重み係数γk tの組み合わせを求め、式(1)に代入し、得られた背景画像を時刻tにおける背景画像とする。
【0013】
ここで、時刻t=0においては、以上の処理を、重み係数γk tの値を公知の方法によりランダムに変えながらN回繰り返して、N通りの{γl t…,γL t}の組み合せを得、尤度Ψtが最大となる重み係数γk tの組み合わせγt={γl t…,γL t}を求める。繰り返し回数Nは、処理時間など処理に求められる性能により、事前に決定される。
【0014】
時刻t>0では、次のようにして、照明環境の変化に関する統計的な予測に基づき、時刻t+1におけるN通りの重み係数γk t+1の組み合わせを求める。初めに、時刻tにおけるN通りの重み係数γk t(k=1,2,…,L)の組み合わせN×{γl t…,γL t}個から、それぞれ同じ組み合せのものをΨt・N回ずつ選択し、N個の組み合わせを得る。これにより、尤度Ψtが小さい候補は除外される、次に、得られたN個の組み合わせ全てについて、あらかじめ設定した推移確率に基づきγk tをN通りに変化させ、N通りの{γl t+1…,γL t+1}の組み合わせを生成する。そして、それぞれ式(1)、(2)を適用して、尤度ΨA+1が最大となるHt+1を時刻t+1における背景画像とする。また、生成したNとおりの重み係数γk t+1の組み合せは次の時刻t+2のために保存される。
【0015】
このように、照明環境の統計的な変化予測を行うことで、蓄積された背景画像が大量の場合でも、各画像の重みを効率的に推定することができる。また、背景画像の生成に失敗した場合でも、各背景の重みを自動的に修正し、物体検出処理の再開が実現できる。また、組み合わせの候補数Nの数を調整することにより、トレードオフの関係にある処理速度および物体の検出精度を制御することができる。
【0016】
物体の検出では、各時刻の入力画像と上記合成された背景画像との差分を画像の画素毎に計算し、さらに差分に対し2値化処理を行い、背景差分画像を得る。そして、差があると判定された領域には背景以外の物体が写っている領域とし、その領域に移っているものを物体として検出する。撮影装置により取り込まれる画像は、光沢および鏡面反射成分に関する明るさおよび色の情報が記録されることにより、背景差分による物体抽出の際の、鏡面反射等による誤検出の抑制が実現できる。
【0017】
【発明の実施の形態】
以下、本発明の一実施の形態について図面により説明する。
図1は、本発明の一実施の形態に係る物体抽出システムの概略構成図を示す。デジタルCCDカメラ1には双曲面ミラー2が取り付けられており、360度全方位の情報を全方位画像として記録することができる(図8)。物体抽出装置3は制御用バソコンを構成し、デジタルCCDカメラ1の露光時間および画像取り込みの処理を制御する。また取り込まれた画像は、物体抽出装置3の内部に記録、蓄積される。物体の検出結果は結果表示用モニタ4に表示される。照明光源群5は、照明光制御盤6によりそれぞれの明るさを独立に制御できる。
【0018】
本発明における物体抽出装置3は、図2に示すように、撮影装置特性計測部31、背景画像蓄積処理部32、画像取込部33、背景画像合成部34、物体検出部35などから構成される。
【0019】
図3に物体抽出装置3の全体的処理フロー図を示す。撮影装置特性計測部31では、あらかじめ撮影装置であるデジタルCCDカメラ1の入力、出力の特性を計測しておく(S1001)。複数の撮影装置を用いる場合には、それぞれについて装置の特性を計測しておく。計測結果の撮影装置特性データは背景画像蓄積処理部32及び画像取込部33に送られる。
【0020】
背景画像蓄積処理部32では、デジタルCCDカメラ1において、照明条件及び撮影装置の位置を変えながら繰り返し撮影された多数の背景画像を取り込み、撮影装置特性データを参照して信号値の変換を行い(γ補正処理)、規格化された多数の背景画像を蓄積する(S1002)。画像取込部33では、デジタルCCDカメラ1において撮影された各時刻における検出対象の画像を取り込み、同様に撮影装置特性データを参照して信号値の変換を行い、規格化された入力画像を出力する(S1003)。ここで、デジタルCCDカメラ1により取り込まれる背景画像や入力画像には、光沢および鏡面反射の成分に関する明るさおよび色の情報が記録されているとする。
【0021】
背景画像合成部34では、画像取込部33の各時刻における入力画像に対し、背景画像蓄積処理部32において蓄積された多数の背景画像の重み付き線形和により、各時刻での背景画像を合成する(S1004)。具体的には、背景画像合成部34では、照明環境の変化に関する統計的な予測に基づき、背景画像蓄積処理部32に蓄積された各背景画像の重みを求める。そして、画像取込部33からの入力画像と背景画像蓄積処理部32において蓄積された多数の背景画像を用いて、背景画像の記録時とは異なる照明条件における背景画像を合成する。また、画像中の背景を構成する物体の拡散反射、鏡面反射、写り込み、陰影等を再現する。
【0022】
物体検出部35では、各時刻における画像取込部33からの入力画像と、背景画像合成部34において合成された背景画像(合成背景画像)との差分を計算することで、入力画像中の背景以外の人物やその他の物体を検出する(S1005)。
【0023】
次に、図2に示した物体抽出装置3の各部の構成、動作について説明する。
撮影装置特性計測部31では、例えば、図9に示す方法により、あらかじめデジタルCCDカメラ1の入力、出力の特性を計測する。なお、対象のデジタルCCDカメラ1のホワイトバランス、ゲイン(γ値)等の自動補正機能はOFFにしておく。まず、CRT等の表示装置に明るさが既知である白色を表示し、それをデジタルCCDカメラ1で撮影する。次に、表示した白色の明るさを変化させ、再び画像を撮影する。この作業を数回繰り返し、撮影装置(デジタルCCDカメラ)への入力光の明るさと、出力信号値との関係を計測する。そして、この計測結果を基に、撮影装置からの出力信号値から入力光の明るさを推定する変換式(多項式近似あるいは変換テーブル)を求める。
【0024】
背景画像蓄積処理部32は、図4に示すように、照明制御部321、規格化画像生成部322、背景画像蓄積部323から構成される。照明制御部321では、照明光源群5の明るさをそれぞれ独立に制御する。背景画像撮影部としてのデジタルCCDカメラ1では、照明光源群5のうちどれか一つのみ或いは複数を点灯した状態での背景画像が撮影される。規格化画像生成部322は、デジタルCCDカメラ1で撮影された背景画像を取り込み、先の撮影装置特性計測部31で得られた変換式(撮影装置特性データ)を用いて、該取り込まれた背景画像の規格化を行い、該規格化された背景画像を背景画像蓄積部323に蓄積する。この処理を、照明条件(照明光源の位置、形状、個数、明るさ、照明光色など)、および撮影装置の位置を変えながら繰り返し、多数の背景画像(規格化背景画像)を背景画像蓄積部323に蓄積する。
【0025】
画像取込部33は、図5に示すように、規格化画像生成部331で構成される。画像撮影部としてのデジタルCCDカメラ1では、各時刻における物体抽出対象の画像が撮影される。規格化画像生成部331は、デジタルCDDカメラ1で撮影された画像を一定間隔で取り込み、先の撮影装置特性計測部31で得られた変換式(撮影装置特性データ)に基づいた信号変換を行い、各時刻における規格化された画像(規格化入力画像)を出力する。
【0026】
背景画像合成部34は、図6に示すように、重み係数更新部341、背景画像生成部342から構成される。重み係数更新部324では、先に述べたように、式(1)に示した重み係数γk tを組み合わせ、時刻t=0においては、初期値としてランダムに求め、時刻t>0では、時刻tおける重み係数の組み合せをそれぞれΨtN回ずつ選択して、式(3)に示した尤度Ψtと式(4)に示す推移確率P(γk t+1|lγk t)に基づき更新する。
【0027】
【数3】
【数4】
kbは正規化定数、N(γk t−1,σγ)は平均γk t、標準偏差σγで与えられる正規分布である。なお、式(3)は、先の式(2)として単調減少関数を利用した例(図10の例1)であるが、単調減少の後に一定値となる連続関数(図10の例2)を利用してもよい。
【0028】
背景画像生成部342では、画像取込み部33から出力される規格化入力画像を取り込むとともに、背景画像蓄積部323から各規格化背景画像を繰り返し取り込み、重み係数更新部342で生成された重み係数γk tの組み合わせの中から、式(3)の尤度Ψtが最大となるものを用いて、式(1)に基づき規格化背景画像を合成し、各時刻における背景画像(合成背景画像)を出力する。
【0029】
物体検出部35は、図7に示すように、背景差分画像生成部351と2値化処理部352から構成される。背景差分画像生成部351では、画像取込部33で出力された画像(規格化入力画像)と、背景画像生成部34で出力された背景画像(合成背景画像)の差分を計算し、背景差分画像を出力する。2値化処理部352では、背景差分画像生成部351で出力された背景差分画像の2値化を行い、背景以外の物体を検出する。表示モニタ4には、この2値化された背景差分画像が表示される。
【0030】
以上、本発明の一実施形態を説明したが、図2で示した物体抽出装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図3で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FDやMO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【0031】
【発明の効果】
本発明によれば、入力画像と背景画像との差分による物体の検出を行う際に、照明変化や、それに伴う鏡面反射、写り込み、影による誤検出を抑制することができることから、照明条件が大きく変わる、大きな窓がある部屋や、屋外での物体の検出、追跡が容易になる。このことから本発明の物体抽出は、ロボットや擬人化エージェントによる人物の探索、防犯監視システム等に応用が可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る物体抽出システムの概略構成図である。
【図2】本発明における物体抽出装置の全体構成例を示す図である。
【図3】図2の全体的処理フローを示す図である。
【図4】背景画像蓄積処理部の詳細構成例を示す図である。
【図5】画像取込部の詳細構成例を示す図である。
【図6】背景画像合成部の詳細構成例を示す図である。
【図7】物体検出部の詳細構成例を示す図である。
【図8】全方位カメラの構成例を示す図である。
【図9】撮影装置の入出力特性の計測を説明する図である。
【図10】背景画像の推定結果の尤度をあらわす関数例を示す図である。
【符号の説明】
1 デジタルCCDカメラ
2 双曲面ミラー
3 物体抽出装置
4 モニタ
5 照明光源群
6 照明光制御盤
31 撮影装置特性計測部
32 背景画像値蓄積処理部
33 画像取込部
34 背景画像合成部
35 物体検出部
【発明の属する技術分野】
本発明は、照明条件や撮影装置の位置が変化する状況において、静止画像、もしくは連続して入力される動画像から背景以外の物体を検出する物体抽出装置及び方法、そのプログラム並びに記録媒体に関する。
【0002】
【従来の技術】
あらかじめ背景以外の物体が写っていない背景画像を装置内に記憶しておき、各時刻における入力画像との差分をとることで、背景以外の物体を検出することができる。ところで、照明変化や撮影装置の移動により画像中の背景が変化する状況においては、あらゆる状況の背景画像をあらかじめ取得し蓄積しておき、蓄積された画像を用いて、各時刻における最適な背景画像を選択、もしくは合成することで、人物やそれ以外の物体等を検出する必要がある。しかし大量の蓄積画像の中からの画像の探索、および画像の合成においては、一般に計算量が膨大となり、実時間処理を要する用途には向かないという問題がある。
【0003】
一方、照明条件が変化した場合の背景画像を合成する手法の一つとして、例えば、照明光源の位置を変化させて撮影した4枚以上の背景画像から基底画像を求め、次に寄与率の高い上位3〜4枚の基底画像のみを用いて任意の位置に光源がある場合の背景画像を合成する手法が提案されている(非特許文献1参照)。しかし、照明光の色が異なる複数の光源により背景が照明されている場合には、正しい背景画像が合成できず、人物、物体の検出精度が低下するという課題を有す。また、背景に鏡面反射、映り込み(2次反射や相互反射ともいう)、影を伴う物体が含まれる場合には正しい背景画像を生成することができず、人物、物体の検出精度が低下するという問題がある。
【0004】
【非特許文献1】
松山隆司、外3名、「照明変化に頑健な背景差分」、電子情報通信学会論文誌、D−II,Vol.J84−D−II,No.10,pp.2201〜2211(2001年10月)
【0005】
【発明が解決しようとする課題】
本発明は、上記従来技術の問題点を解決すべくなされたもので、大量に蓄積された様々な照明条件下での背景画像を用いて、各時刻での背景画像を合成し、照明条件や撮影装置の位置等が変化する状況下でも背景以外の物体検出を安定して行うことができる物体抽出装置及び方法、そのプログラム並びに記録媒体を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明は、撮影装置により、あらかじめ撮影された、照明条件が異なる多数の背景画像を記録、蓄積する手段と、撮影装置により撮影される各時刻における画像(入力画像)を取り込む手段と、蓄積された背景画像の重み付き線形和により各時刻の背景画像を合成する手段と、合成された背景画像と各時刻における入力画像との差分を基に背景以外の物体の検出を、照明変化に対して頑健に行う手段を備える。なお、背景画像と、各時刻おける画像の取り込みでは、同一もしくは機種が同じ撮影装置を用いる。機種が同じで、複数の撮影装置を用いる場合には、それぞれについて装置の特性を計測しておく。
【0007】
まず、背景画像の記録、蓄積について詳細に説明する。一般に、撮影装置に入力した光の強度と、撮影装置から出力される信号値は、比例関係に無い。そこであらかじめ、撮影装置の特性を計測しておき、その結果を参照して信号値の変換を行い、明るさで規格化された画像を得る。また、光沢や鏡面反射が明るすぎて、一定の露光時間では撮影装置のダイナミックレンジを超えてしまい、画像情報が欠損する場合には、露光時間を変えて取得した複数の画像からダイナミックレンジの広い1枚の画像を合成する。以上の処理を、照明条件、および撮影装置の位置を変えながら繰り返し、多数の背景画像を記憶装置内に蓄積する。これにより、さまざまな照明環境下で観測される、物体表面での鏡面反射や写し込みの様子、また陰影の様子を示す多数の背景画像が蓄積できる。入力画像についても、同様に撮影装置の特性計測した結果を参照して信号の変換を行い、明るさで規格化された画像を得る。一般に非線形型な撮影装置の入出力特性を補正することで、次の複数の背景画像の線形和による合成の際に、背景画像取得時とは異なる照明条件下の背景画像の合成が実現できる。
【0008】
次に、背景画像の合成について詳細に説明する。各時刻における背景画像は、あらかじめ蓄積された照明条件が異なる多数の背景画像の重み付き線形和により合成することで求める。各背景画像の重みを適切に求めることで、背景を構成する物体が、陰影を伴う場合や、拡散反射に加えて鏡面反射や映り込み(2次反射、相互反射ともいう)を伴う場合などでも、背景画像を正しく合成することが可能となる。また、照明光源の形状、個数、配置、照明光の色、明るさ等が変化した場合でも、各時刻の背景画像を正しく合成することが可能となる。
【0009】
いま、蓄積された背景画像の枚数をL枚とし、それぞれには番号がラベル付け(k=1,2,・・・,L)されているとする。時刻tにおける背景画像の推定結果(候補)Htを、k番目の画像Hkとその重み係数γk tを用いて次式のように表わす。
【数1】
【0010】
後述するように、重み係数γk tを変化させて、(1)式の計算をN回繰り返し、時刻tにおけるN枚の背景画像の候補Htを得る。
【0011】
次に、時刻tにおける入力画像Itと各Htの差を計算し、その差を用いた尤度Ψtを得る。尤度Ψtは次式のように表わす。
【数2】
ここで、f(|It−Ht|)は、|It−Ht|に関する単調減少関数(図10の例1)、もしくは単調減少の後に一定値となる連続関数(図10の例2)であり、It=Htのときに尤度Ψtが最大値となる。kbは正規化定数である。なお、尤度Ψtの総和は1である。
【0012】
尤度Ψtが最大となる重み係数γk tの組み合わせを求め、式(1)に代入し、得られた背景画像を時刻tにおける背景画像とする。
【0013】
ここで、時刻t=0においては、以上の処理を、重み係数γk tの値を公知の方法によりランダムに変えながらN回繰り返して、N通りの{γl t…,γL t}の組み合せを得、尤度Ψtが最大となる重み係数γk tの組み合わせγt={γl t…,γL t}を求める。繰り返し回数Nは、処理時間など処理に求められる性能により、事前に決定される。
【0014】
時刻t>0では、次のようにして、照明環境の変化に関する統計的な予測に基づき、時刻t+1におけるN通りの重み係数γk t+1の組み合わせを求める。初めに、時刻tにおけるN通りの重み係数γk t(k=1,2,…,L)の組み合わせN×{γl t…,γL t}個から、それぞれ同じ組み合せのものをΨt・N回ずつ選択し、N個の組み合わせを得る。これにより、尤度Ψtが小さい候補は除外される、次に、得られたN個の組み合わせ全てについて、あらかじめ設定した推移確率に基づきγk tをN通りに変化させ、N通りの{γl t+1…,γL t+1}の組み合わせを生成する。そして、それぞれ式(1)、(2)を適用して、尤度ΨA+1が最大となるHt+1を時刻t+1における背景画像とする。また、生成したNとおりの重み係数γk t+1の組み合せは次の時刻t+2のために保存される。
【0015】
このように、照明環境の統計的な変化予測を行うことで、蓄積された背景画像が大量の場合でも、各画像の重みを効率的に推定することができる。また、背景画像の生成に失敗した場合でも、各背景の重みを自動的に修正し、物体検出処理の再開が実現できる。また、組み合わせの候補数Nの数を調整することにより、トレードオフの関係にある処理速度および物体の検出精度を制御することができる。
【0016】
物体の検出では、各時刻の入力画像と上記合成された背景画像との差分を画像の画素毎に計算し、さらに差分に対し2値化処理を行い、背景差分画像を得る。そして、差があると判定された領域には背景以外の物体が写っている領域とし、その領域に移っているものを物体として検出する。撮影装置により取り込まれる画像は、光沢および鏡面反射成分に関する明るさおよび色の情報が記録されることにより、背景差分による物体抽出の際の、鏡面反射等による誤検出の抑制が実現できる。
【0017】
【発明の実施の形態】
以下、本発明の一実施の形態について図面により説明する。
図1は、本発明の一実施の形態に係る物体抽出システムの概略構成図を示す。デジタルCCDカメラ1には双曲面ミラー2が取り付けられており、360度全方位の情報を全方位画像として記録することができる(図8)。物体抽出装置3は制御用バソコンを構成し、デジタルCCDカメラ1の露光時間および画像取り込みの処理を制御する。また取り込まれた画像は、物体抽出装置3の内部に記録、蓄積される。物体の検出結果は結果表示用モニタ4に表示される。照明光源群5は、照明光制御盤6によりそれぞれの明るさを独立に制御できる。
【0018】
本発明における物体抽出装置3は、図2に示すように、撮影装置特性計測部31、背景画像蓄積処理部32、画像取込部33、背景画像合成部34、物体検出部35などから構成される。
【0019】
図3に物体抽出装置3の全体的処理フロー図を示す。撮影装置特性計測部31では、あらかじめ撮影装置であるデジタルCCDカメラ1の入力、出力の特性を計測しておく(S1001)。複数の撮影装置を用いる場合には、それぞれについて装置の特性を計測しておく。計測結果の撮影装置特性データは背景画像蓄積処理部32及び画像取込部33に送られる。
【0020】
背景画像蓄積処理部32では、デジタルCCDカメラ1において、照明条件及び撮影装置の位置を変えながら繰り返し撮影された多数の背景画像を取り込み、撮影装置特性データを参照して信号値の変換を行い(γ補正処理)、規格化された多数の背景画像を蓄積する(S1002)。画像取込部33では、デジタルCCDカメラ1において撮影された各時刻における検出対象の画像を取り込み、同様に撮影装置特性データを参照して信号値の変換を行い、規格化された入力画像を出力する(S1003)。ここで、デジタルCCDカメラ1により取り込まれる背景画像や入力画像には、光沢および鏡面反射の成分に関する明るさおよび色の情報が記録されているとする。
【0021】
背景画像合成部34では、画像取込部33の各時刻における入力画像に対し、背景画像蓄積処理部32において蓄積された多数の背景画像の重み付き線形和により、各時刻での背景画像を合成する(S1004)。具体的には、背景画像合成部34では、照明環境の変化に関する統計的な予測に基づき、背景画像蓄積処理部32に蓄積された各背景画像の重みを求める。そして、画像取込部33からの入力画像と背景画像蓄積処理部32において蓄積された多数の背景画像を用いて、背景画像の記録時とは異なる照明条件における背景画像を合成する。また、画像中の背景を構成する物体の拡散反射、鏡面反射、写り込み、陰影等を再現する。
【0022】
物体検出部35では、各時刻における画像取込部33からの入力画像と、背景画像合成部34において合成された背景画像(合成背景画像)との差分を計算することで、入力画像中の背景以外の人物やその他の物体を検出する(S1005)。
【0023】
次に、図2に示した物体抽出装置3の各部の構成、動作について説明する。
撮影装置特性計測部31では、例えば、図9に示す方法により、あらかじめデジタルCCDカメラ1の入力、出力の特性を計測する。なお、対象のデジタルCCDカメラ1のホワイトバランス、ゲイン(γ値)等の自動補正機能はOFFにしておく。まず、CRT等の表示装置に明るさが既知である白色を表示し、それをデジタルCCDカメラ1で撮影する。次に、表示した白色の明るさを変化させ、再び画像を撮影する。この作業を数回繰り返し、撮影装置(デジタルCCDカメラ)への入力光の明るさと、出力信号値との関係を計測する。そして、この計測結果を基に、撮影装置からの出力信号値から入力光の明るさを推定する変換式(多項式近似あるいは変換テーブル)を求める。
【0024】
背景画像蓄積処理部32は、図4に示すように、照明制御部321、規格化画像生成部322、背景画像蓄積部323から構成される。照明制御部321では、照明光源群5の明るさをそれぞれ独立に制御する。背景画像撮影部としてのデジタルCCDカメラ1では、照明光源群5のうちどれか一つのみ或いは複数を点灯した状態での背景画像が撮影される。規格化画像生成部322は、デジタルCCDカメラ1で撮影された背景画像を取り込み、先の撮影装置特性計測部31で得られた変換式(撮影装置特性データ)を用いて、該取り込まれた背景画像の規格化を行い、該規格化された背景画像を背景画像蓄積部323に蓄積する。この処理を、照明条件(照明光源の位置、形状、個数、明るさ、照明光色など)、および撮影装置の位置を変えながら繰り返し、多数の背景画像(規格化背景画像)を背景画像蓄積部323に蓄積する。
【0025】
画像取込部33は、図5に示すように、規格化画像生成部331で構成される。画像撮影部としてのデジタルCCDカメラ1では、各時刻における物体抽出対象の画像が撮影される。規格化画像生成部331は、デジタルCDDカメラ1で撮影された画像を一定間隔で取り込み、先の撮影装置特性計測部31で得られた変換式(撮影装置特性データ)に基づいた信号変換を行い、各時刻における規格化された画像(規格化入力画像)を出力する。
【0026】
背景画像合成部34は、図6に示すように、重み係数更新部341、背景画像生成部342から構成される。重み係数更新部324では、先に述べたように、式(1)に示した重み係数γk tを組み合わせ、時刻t=0においては、初期値としてランダムに求め、時刻t>0では、時刻tおける重み係数の組み合せをそれぞれΨtN回ずつ選択して、式(3)に示した尤度Ψtと式(4)に示す推移確率P(γk t+1|lγk t)に基づき更新する。
【0027】
【数3】
【数4】
kbは正規化定数、N(γk t−1,σγ)は平均γk t、標準偏差σγで与えられる正規分布である。なお、式(3)は、先の式(2)として単調減少関数を利用した例(図10の例1)であるが、単調減少の後に一定値となる連続関数(図10の例2)を利用してもよい。
【0028】
背景画像生成部342では、画像取込み部33から出力される規格化入力画像を取り込むとともに、背景画像蓄積部323から各規格化背景画像を繰り返し取り込み、重み係数更新部342で生成された重み係数γk tの組み合わせの中から、式(3)の尤度Ψtが最大となるものを用いて、式(1)に基づき規格化背景画像を合成し、各時刻における背景画像(合成背景画像)を出力する。
【0029】
物体検出部35は、図7に示すように、背景差分画像生成部351と2値化処理部352から構成される。背景差分画像生成部351では、画像取込部33で出力された画像(規格化入力画像)と、背景画像生成部34で出力された背景画像(合成背景画像)の差分を計算し、背景差分画像を出力する。2値化処理部352では、背景差分画像生成部351で出力された背景差分画像の2値化を行い、背景以外の物体を検出する。表示モニタ4には、この2値化された背景差分画像が表示される。
【0030】
以上、本発明の一実施形態を説明したが、図2で示した物体抽出装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図3で示した処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FDやMO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【0031】
【発明の効果】
本発明によれば、入力画像と背景画像との差分による物体の検出を行う際に、照明変化や、それに伴う鏡面反射、写り込み、影による誤検出を抑制することができることから、照明条件が大きく変わる、大きな窓がある部屋や、屋外での物体の検出、追跡が容易になる。このことから本発明の物体抽出は、ロボットや擬人化エージェントによる人物の探索、防犯監視システム等に応用が可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る物体抽出システムの概略構成図である。
【図2】本発明における物体抽出装置の全体構成例を示す図である。
【図3】図2の全体的処理フローを示す図である。
【図4】背景画像蓄積処理部の詳細構成例を示す図である。
【図5】画像取込部の詳細構成例を示す図である。
【図6】背景画像合成部の詳細構成例を示す図である。
【図7】物体検出部の詳細構成例を示す図である。
【図8】全方位カメラの構成例を示す図である。
【図9】撮影装置の入出力特性の計測を説明する図である。
【図10】背景画像の推定結果の尤度をあらわす関数例を示す図である。
【符号の説明】
1 デジタルCCDカメラ
2 双曲面ミラー
3 物体抽出装置
4 モニタ
5 照明光源群
6 照明光制御盤
31 撮影装置特性計測部
32 背景画像値蓄積処理部
33 画像取込部
34 背景画像合成部
35 物体検出部
Claims (12)
- 撮影装置により、複数の撮影条件下において撮影された複数の背景画像を蓄積する背景画像蓄積手段と、
撮影装置により撮影された各時刻における画像(入力画像)を取り込む画像取込手段と、
上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する背景画像合成手段と、
各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する物体検出手段と、
を備えてなる物体抽出装置。 - 請求項1記載の物体抽出装置において、上記撮影条件とは、照明条件(照明光源の位置、形状、個数、明るさ、照明光色等)であるとし、背景画像の蓄積時とは異なる照明環境下において、背景差分による物体検出をおこなうことを特徴とする物体抽出装置。
- 請求項1記載の物体抽出装置において、撮影装置により取り込まれる画像は、光沢および鏡面反射成分に関する明るさおよび色の情報が記録されていることを特徴とする物体抽出装置。
- 請求項1記載の物体抽出装置において、あらかじめ撮影装置の入力、出力の特性を計測する撮影装置特性計測手段を更に備え、上記背景画像蓄積手段および上記画像取込手段では、計測結果の撮影装置の入出力特性を基に規格化された画像を得ることを特徴とする物体抽出装置。
- 請求項1記載の物体抽出装置において、上記画像合成手段は、照明環境の変化に関する統計的な予測に基づき、上記蓄積された各背景画像の重みを求めることを特徴とする物体抽出装置。
- 請求項1記載の物体抽出装置において、上記背景画像合成手段は、上記蓄積された複数の背景画像を用いて、背景画像の蓄積時とは異なる撮影条件における背景画像を合成することを特徴とする物体抽出装置。
- 請求項1記載の物体抽出装置において、上記背景画像合成手段は、上記蓄積された複数の背景画像を用いて、画像中の背景を構成する物体の拡散反射、鏡面反射、写り込み、陰影を再現することを特徴とする物体抽出装置。
- 撮影画像中から物体を抽出する方法であって、
撮影装置により複数の撮影条件下において撮影された複数の背景画像を蓄積するステップと、
撮影装置により撮影された各時刻における画像(入力画像)を取り込むステップと、
上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成するステップと、
各時刻における入力画像と上記合成されたた背景画像との差分を計算することで、上記入力画像から背景以外の物体を検出するステップと、
を有することを特徴とする物体抽出方法。 - 請求項8記載の物体抽出方法において、
あらかじめ、撮影装置の入力、出力の特性を計測するステップを更に有し、その計測結果に基づいて規格化された背景画像および入力画像を得ることを特徴とする物体抽出方法。 - 請求項8記載の物体抽出方法において、
上記各時刻での背景画像を合成するステップでは、照明環境の変化に関する統計的な予測に基づき、上記蓄積された各背景画像の重みを求めることを特徴する物体抽出方法。 - 請求項8乃至10のいずれか1項に記載の物体抽出方法をコンピュータで実行するためのプログラム。
- 請求項8乃至10のいずれか1項に記載の物体抽出方法をコンピュータで実行するためのプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003002629A JP2004213572A (ja) | 2003-01-08 | 2003-01-08 | 物体抽出装置、物体抽出方法、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003002629A JP2004213572A (ja) | 2003-01-08 | 2003-01-08 | 物体抽出装置、物体抽出方法、プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004213572A true JP2004213572A (ja) | 2004-07-29 |
Family
ID=32820306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003002629A Pending JP2004213572A (ja) | 2003-01-08 | 2003-01-08 | 物体抽出装置、物体抽出方法、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004213572A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007183872A (ja) * | 2006-01-10 | 2007-07-19 | Matsushita Electric Ind Co Ltd | 動的なカメラ色補正装置およびそれを用いた映像検索装置 |
CN100403768C (zh) * | 2005-03-02 | 2008-07-16 | 松下电器产业株式会社 | 图像生成法、物体检测法、物体检测装置及图像生成程序 |
JP2009277630A (ja) * | 2008-05-19 | 2009-11-26 | Panasonic Electric Works Co Ltd | 照明システム |
US8923553B2 (en) | 2010-07-21 | 2014-12-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
-
2003
- 2003-01-08 JP JP2003002629A patent/JP2004213572A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100403768C (zh) * | 2005-03-02 | 2008-07-16 | 松下电器产业株式会社 | 图像生成法、物体检测法、物体检测装置及图像生成程序 |
US7747104B2 (en) | 2005-03-02 | 2010-06-29 | Panasonic Corporation | Image generating method, object detecting method, object detecting equipment, and image generating program |
JP2007183872A (ja) * | 2006-01-10 | 2007-07-19 | Matsushita Electric Ind Co Ltd | 動的なカメラ色補正装置およびそれを用いた映像検索装置 |
JP4708192B2 (ja) * | 2006-01-10 | 2011-06-22 | パナソニック株式会社 | 動的なカメラ色補正装置およびそれを用いた映像検索装置 |
JP2009277630A (ja) * | 2008-05-19 | 2009-11-26 | Panasonic Electric Works Co Ltd | 照明システム |
US8923553B2 (en) | 2010-07-21 | 2014-12-30 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3838243B2 (ja) | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム | |
JP5365823B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP2004357277A (ja) | デジタル画像処理方法 | |
US20030202120A1 (en) | Virtual lighting system | |
WO2014080613A1 (ja) | 色補正装置、色補正方法および色補正用プログラム | |
WO2014010174A1 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
WO2004045219A1 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
JP2012124682A5 (ja) | ||
CN106355195B (zh) | 用于测量图像清晰度值的***及其方法 | |
CN102004918A (zh) | 图像处理设备、图像处理方法、程序以及电子器件 | |
JP2012124682A (ja) | 画像処理装置およびその制御方法 | |
JPWO2019102966A1 (ja) | 脈波検出装置、脈波検出方法、及びプログラム | |
CN112767443A (zh) | 目标跟踪方法、电子设备及相关产品 | |
CN111784693A (zh) | 一种图像质量评估方法、装置、电子设备及存储介质 | |
WO2012063544A1 (ja) | 画像処理装置、画像処理方法及び記録媒体 | |
JP2020042760A (ja) | 情報処理方法、情報処理装置、及びプログラム | |
JP2013243780A (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP2004213572A (ja) | 物体抽出装置、物体抽出方法、プログラム及び記録媒体 | |
Yang et al. | Real‐time illumination adjustment for video deflectometers | |
JP4349568B2 (ja) | 物体認識装置、物体認識方法、プログラム及び記録媒体 | |
JP7279817B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007221624A (ja) | 照度取得装置、照度取得方法および照度取得プログラム | |
JP2011135227A (ja) | 被写体追跡装置及びその制御方法 | |
KR101928501B1 (ko) | 영상을 이용한 피부 산도 측정 방법 | |
JP2021093694A (ja) | 情報処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080206 |