JP2004336172A - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP2004336172A JP2004336172A JP2003125865A JP2003125865A JP2004336172A JP 2004336172 A JP2004336172 A JP 2004336172A JP 2003125865 A JP2003125865 A JP 2003125865A JP 2003125865 A JP2003125865 A JP 2003125865A JP 2004336172 A JP2004336172 A JP 2004336172A
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground
- background
- change
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】本発明の画像処理システム10は、複数の画像を基準画像と比較して各々の画像について変化の有無を判別し、変化有りと判別された画像の変化領域を抽出する画像変化処理部111と、変化有りと判別された時間的に連続する区間の画像群をシーンとして設定するシーン設定部112と、画像系列から背景画像を選択し、シーンを構成する画像である前景画像とを時間軸に関連付けた合成条件(キューシート)を設定するキューシート設定部113と、合成条件に従って前景画像の変化領域と背景画像との合成画像を生成する画像合成部114を備えて構成される。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、時間軸上で系列化された複数の画像からなる画像系列を処理する画像処理システムの技術分野に属し、特に、画像系列のうち変化の有る画像に着目して短時間で確認を行うための構成を備えた画像処理システムの技術分野に属するものである。
【0002】
【従来の技術】
従来から、蓄積された大量の画像の内容を短時間で把握することが要望されている。例えば、所定箇所に設置された監視カメラで長時間にわたって撮影された画像群の中から侵入者等の異常を確認する場合などである。このような監視用途においては、記録された画像を表示させて、「いつ、どこで、どのような現象が、どの順で」発生したかを効率的に確認する必要がある。この場合、監視カメラでは常時撮影を続けることから記録される画像が膨大な量となるため、上述のような確認を明確な画像で短時間内に行うことが求められる。特に、犯罪の発生時に、画像から犯罪の状況を把握するときは、短時間内で画像を確認する作業中に見落としは許されないので、迅速かつ確実に画像の確認を行うことが可能な画像処理システムの導入が望まれる。
【0003】
そこで、従来、長時間にわたる画像の内容確認を短時間で行うための種々の方法が提案されている。特許文献1に記載の方法によれば、一定時間以上にわたって変化のない画像が続く時間区間を高速で再生し、移動物体を含む画像の時間区間を低速で再生することにより映像要約を実現する。また、特許文献2の記載の方法によれば、動画像の全体又は一部に現れる人物等のオブジェクトを抜き出し、2人の人物が会話中であるなどのオブジェクト間の関連情報に基づいて、各オブジェクトを再配置した画像を合成する。また、特許文献3に記載の方法によれば、動画像を符号化する際、動きのない背景部分等を省き、動きのある部分のみを用いるようにして、データ量を削減する。
【0004】
【特許文献1】
特許第3240871号
【特許文献2】
特開2001−142453
【特許文献3】
特開2002−271799
【0005】
【発明が解決しようとする課題】
しかしながら、上記従来の方法を採用したとしても、監視用途等における要望を満たすには不十分である。すなわち、上記特許文献1に記載の方法等では、各々の画像は明確であるものの、人物等の移動体が画像中に頻繁に現れる場合には、要約画像においては、各々の移動体が現れる時間を累積しただけの時間が必要となるため、確認時間を短縮する効果には限界がある。さらに、要約画像に対し単純な早送り再生を行ったとしても、画像中の移動体の動きが速くなりすぎ、人間の動体視力の制約等によって見落としが多くなる危険性がある。また、上記特許文献2に記載の方法等では、画像数は削減できるものの、予め定まったオブジェクトを画像中で単に再配置するだけなので、侵入者等のように、いつどこに何人現れるか予測できない移動体を適切に配置したり、各々の移動体の出現順を考慮して画像を合成することは困難である。さらに、上記特許文献3に記載の方法では、画像中の背景部分を除いた前景部分のみが表示され、前景画像の撮影時刻に応じた背景画像が表示されず、合成した画像で異なる前景画像どうしが重なるなどして、不自然で見にくい画像になってしまう。このように、上記従来のいずれの方法であっても、大量の画像の内容を短時間内で確実に確認することが困難であるという問題がある。
【0006】
【課題を解決するための手段】
上記課題を解決するために、請求項1に記載の画像処理システムは、時間軸上で系列化された複数の画像からなる画像系列から前景画像と背景画像とを設定し、前記前景画像と前記背景画像とを合成する画像処理システムであって、前記複数の画像を基準画像と比較して各々の画像について変化の有無を判別し、変化有りと判別された画像の変化領域を抽出する画像変化処理手段と、変化有りと判別された時間的に連続する区間の画像群をシーンとして設定するシーン設定手段と、前記画像系列から選択された背景画像と、前記シーンを構成する画像である前景画像とを時間軸に関連付けた合成条件を設定する合成条件設定手段と、前記合成条件に従って前記前景画像の変化領域と前記背景画像との合成画像を生成する画像合成手段とを備えることを特徴とする。
【0007】
この発明によれば、画像処理システムにおいて、処理対象の画像系列に対し、各々の画像の変化の有無を判別して変化領域を抽出し、変化のある区間をシーンとして設定し、背景画像と前景画像を用いた合成条件を設定し、その合成条件に従って合成画像を生成する。このとき、各シーンを構成する画像を前景画像として、その変化領域を背景画像に上書きするので、生成された合成画像系列には、各シーン中で変化のある画像部分をそのままの状態で上書きした合成画像が生成され、複数の背景画像を元の画像系列に含まれる画像の個数より少なく選択すれば、全体の合成画像系列の連続表示を短時間で行うことができる。よって、画像系列における変化のある区間に着目して連続表示する際、変化のある画像を明確な画像で表示でき、かつ短時間に確認を完了させることができる。
【0008】
請求項2に記載の画像処理システムは、請求項1に記載の画像処理システムにおいて、前記合成条件設定手段は、前記シーンに含まれる先頭画像の時間軸上の位置に最も近い背景画像に対し、前記先頭画像を前景画像として関連付けることを特徴とする。
【0009】
この発明によれば、請求項1に記載の発明の作用に加えて、合成画像系列中のシーンの先頭画像を本来の時間軸上の位置にほぼ合致させることができるので、画像中に現れる変化の時間的な関係を維持した状態で違和感なく内容確認を行うことができる。
【0010】
請求項3に記載の画像処理システムは、請求項1に記載の画像処理システムにおいて、前記合成条件設定手段は、前記画像系列から所定の時間間隔で複数の背景元画像を選択し、変化有りと判別された前記背景元画像に対して変化無しと判別された補完用画像を関連付けて設定し、前記背景元画像と前記補完用画像に基づいて前記背景画像を選択し、前記画像合成手段は、前記背景元画像の変化領域を前記補完用画像の画像部分で補完して前記背景画像を作成する、ことを特徴とする。
【0011】
この発明によれば、請求項1に記載の発明の作用に加えて、背景元画像の変化領域を補完用画像で補完した背景画像を用いて合成画像を生成するようにしたので、背景元画像の選択は時間的な規則性を持たせる一方、背景画像における不要な変化領域を除外でき、的確な背景画像に前景画像を合成して内容確認の確実性を高めることができる。
【0012】
請求項4に記載の画像処理システムは、請求項3に記載の画像処理システムにおいて、前記合成条件設定手段は、前記変化有りと判別された背景元画像に対し、前記画像系列における過去方向の直近の変化無しと判別された画像を前記補完用画像として関連付けることを特徴とする。
【0013】
この発明によれば、請求項3に記載の発明の作用に加えて、補完用画像として背景元画像の過去直近で変化無しと判別された画像を用いるようにしたので、背景元画像と補完用画像の時間なずれを最小にし、合成画像の違和感を減少させることができる。
【0014】
請求項5に記載の画像処理システムは、請求項1に記載の画像処理システムにおいて、前記画像合成手段は、前記画像系列における時間軸上の所定位置に一の前記前景画像が設定されている場合、当該前景画像を前記合成画像とするとともに、前記画像系列における時間軸上の所定位置に複数の前記前景画像が設定されている場合、一の前景画像を選択して背景画像として用い、他の前景画像の変化領域と前記前景画像との合成画像を生成することを特徴とする。
【0015】
この発明によれば、請求項1に記載の発明の作用に加えて、前景画像が設定されている場合、一の前景画像を背景画像として置き換えて用いることができ、背景画像と前景画像の合成時に変化領域の不完全な抽出に起因するゴーストを防止することができ、視認性を高めることができる。
【0016】
請求項6に記載の画像処理システムは、請求項1に記載の画像処理システムにおいて、前記合成条件設定手段は、前記画像系列における時間軸上の同一位置に設定される前景画像について所定の上限登録数を設定することを特徴とする。
【0017】
この発明によれば、請求項1に記載の発明の作用に加えて、特定の背景画像に上書きされる前景画像の個数が所定の上限登録数に制限されるので、合成画像に多数の移動体が同時に現れて混雑した状態となることを防止し、適度な混雑度の合成画像により見落とし等を防止することができる。
【0018】
請求項7に記載の画像処理システムは、請求項1に記載の画像処理システムにおいて、前記合成条件設定手段は、連続する所定個数の背景画像に対し同一の前記前景画像を関連付けることを特徴とする。
【0019】
この発明によれば、請求項1に記載の発明の作用に加えて、連続する所定個数の背景画像に同一の前景画像が上書きされることになるので、例えば、合成画像系列を高速再生する場合、変化のある部分の速度が早くなり過ぎないように設定でき視認性を高めることができる。
【0020】
請求項8に記載の画像処理システムは、請求項1に記載の画像処理システムにおいて、前記画像変化処理手段は、画像を複数のブロックに分割し、各々のブロック毎に前記変化の有無を判別し、前記画像合成手段は、前記前景画像の変化有りと判別されたブロック群と前記背景画像とを合成するとともに、複数の前景画像の前記ブロック群が重複する場合は、各々の前景画像の重複領域に含まれる各画素を前記背景画像と比較し、最も差分が大きい前景画像の画素と前記背景画像とを合成することを特徴とする。
【0021】
この発明によれば、ブロック分割された画像についての変化の有無の判別をブロックごとに行い、複数の前記画像を背景画像に上書きする際に変化ありのブロック群が重複する場合、その重複領域で差分が大きい画素を選択的に用いるようにしたので、ブロック分割により画像処理を簡素化しつつ、ブロック分割に起因して合成画像が不自然になることを避けることができる。
【0022】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。本実施形態においては、所定箇所に設置された監視カメラにより所定の撮影領域の画像を撮影し、撮影された画像を処理する画像処理システムに対し本発明を適用した場合を説明する。
(第1の実施形態)
以下、本発明の基本的な構成に対応する第1の実施形態について説明する。図1は、第1の実施形態に係る画像処理システムの全体構成を示すブロック図である。図1に示す画像処理システム10は、例えば、パーソナルコンピュータに所定のプログラムを搭載して構築可能なシステムである。図1に示すように、画像処理システム10は、制御部101と、画像記憶部102と、表示部103と、操作部104を備えるとともに、本発明の画像処理プログラム110の機能に対応する構成部として、画像変化処理部111と、シーン設定部112と、キューシート作成部113と、画像合成部114を備えている。また、外部の所定箇所に設置された監視カメラ20によって撮影されたカメラ画像は、画像処理システム10に入力される構成になっている。
【0023】
なお、図1において、画像変化処理部111は本発明の画像変化処理手段として機能し、シーン設定部112は本発明のシーン設定手段として機能し、キューシート作成部113は本発明の合成条件設定手段として機能し、画像合成部114は本発明の画像合成手段として機能する。
【0024】
以上の構成において、制御部101は、CPUやメモリ等から構成され、画像処理システム10全体の動作を制御する。制御部101は、入力されたカメラ画像を画像記憶部102に記憶させるように制御を行うとともに、必要に応じて画像記憶部102からカメラ画像を読み出して、画像処理プログラム110に引き渡して所望の処理を実行制御する。
【0025】
図1において、画像記憶部102としては、大量のカメラ画像を蓄積可能なハードディスク装置等を利用することができる。表示部103は、入力されたカメラ画像や画像処理プログラム110による処理後の画像を表示する手段である。操作部104は、制御部101に対する各種設定情報等を入力するための手段であり、マウスやキーボードからなる。
【0026】
次に、図1に示す画像処理プログラム110は、制御部101により所定のタイミングで実行開始される。ここで、図2は、画像処理プログラム110に基づく一連の画像処理の概略を説明するフローチャートである。図2に示すフローチャートにおいて、処理対象である複数のカメラ画像からなる画像系列が取得される(ステップS11)。
【0027】
そして、画像変化処理部111により画像の変化判別処理(ステップS12)と変化領域の抽出処理(ステップS13)が実行され、シーン設定部112によりシーンの設定処理(ステップS14)が実行され、キューシート作成部113によりキューシート作成処理(ステップS15)が実行され、画像合成部114により画像合成処理(ステップS16)が実行される。最後に、これら一連の画像処理によって得られた合成画像が、操作部104の所定の操作に従って表示部103に表示される(ステップS17)。以下、図2における各ステップの詳しい処理の内容を順次説明する。
【0028】
まず、ステップS11では、所定の監視カメラ20によって処理対象とすべき撮影時間の範囲等を指定することにより、内容確認を行うべき所望の画像系列が処理対象として取得される。図3は、このような画像系列の一例を示す図である。この画像系列は所定の監視カメラ20により、例えば1秒に1コマや2コマ程度の時間間隔で撮影された複数のカメラ画像を、撮影された時間の順番に従って時間軸上で系列化したものである。図3の例では、連続する35個のカメラ画像からなる画像系列を示しており、各々のカメラ画像に対し、撮影された順番を示す画像番号が付与されている。なお、画像番号は、カメラ画像とともに画像記憶部102に記憶される。
【0029】
図3の画像系列は、車両や人間が通過する道路を撮影範囲とする監視カメラ20によって撮影された35個(画像番号0〜34)の連続するカメラ画像を含んでいる。そして、図3に示すように、画像番号10〜14の5個のカメラ画像には、一人の人物が撮影領域の右から左に移動する状態が撮影されている。また、画像番号25〜27までの3個のカメラ画像には、1台の車両(トラック)が撮影領域の右から左に移動する様子が撮影されている。また、画像番号30〜33の4個のカメラ画像には、1台の車両(普通車)が撮影領域の左から右に移動する様子が撮影されている。以下では、図3に示すような画像系列を処理対象として用いる場合の画像処理について説明する。
【0030】
次に、ステップS12の画像の変化判別処理は、上述の画像系列に含まれる各カメラ画像に対して画像中の変化の有無を判別する処理である。すなわち、監視カメラ20により撮影されたカメラ画像は、図3に示すように、撮影領域中に人物や車両などの移動物体が存在する状態と存在しない状態がある。このとき、移動体が存在しない通常時の基準画像を用いて、これを処理対象のカメラ画像と画素ごとに比較することにより画像中の変化の有無を判別することができる。なお、実際には監視カメラ20による撮影領域は時間経過とともに明るさ等の変動の影響を受けるので、画像の変化判別処理で用いる基準画像は固定的ではなく、時間経過に応じて所定の処理により更新している。
【0031】
続いて、ステップS13の変化領域の抽出処理では、ステップS12で変化有りと判別されたカメラ画像についての変化領域を抽出する。すなわち、カメラ画像を基準画像と画素ごとの差分をとって差分2値画像を求めることにより変化領域を抽出することができる。ここで、図4及び図5を参照して、カメラ画像における変化領域の抽出について説明する。
【0032】
図4(a)には、図3に示す画像系列のうち、変化無しに対応する例として画像番号0のカメラ画像を示している。図4(a)のカメラ画像には、撮影領域中に人物や車両が存在しない状態の道路が撮影されており、比較対象である基準画像にほぼ合致するカメラ画像となっている。図4(b)には、図4(a)のカメラ画像を基準画像と画素ごとに比較して求めた差分2値画像を示している。図4(b)の差分2値画像においては、撮影領域中に移動体が存在しないことを反映して、画像全体に変化が無いことを示す白で表されている。この場合、カメラ画像の変化領域は抽出されないことになる。
【0033】
一方、図5(a)には、図3に示す画像系列のうち、変化有りに対応する例として画像番号12のカメラ画像を示している。図5(a)のカメラ画像には、撮影領域中の中央付近に人物が存在する状態で撮影されており、基準画像とは異なるカメラ画像となっている。図5(b)には、図5(a)のカメラ画像を画像系列と画素ごとに比較して求めた差分2値画像を示している。図5(b)の差分2値画像においては、画像系列の白で表される領域に重なって、移動体である人物の部分で変化有りと判別されたことを示す黒で表されている。このように差分2値画像中で黒く示される領域が、ステップS13で抽出される変化領域に対応している。
【0034】
画像変化処理部111は、上記のステップS12、S13における処理結果を画像変化情報テーブルに記録する。図6は、図3の画像系列を用いる場合の画像変化情報テーブルを示す図である。図6に示す画像変化情報テーブルには、画像系列の画像番号と、ステップS12で判別された画像の変化の有無と、ステップS13で求めた差分2値画像を格納したファイルのファイル名が記録されている。
【0035】
例えば、画像番号0のカメラ画像については、変化の有無が「無」と記録され、変化領域が存在しないことがファイル名に「NULL」として記録される。また、画像番号12のカメラ画像については、変化の有無が「有」と記録され、図5(b)に示す変化領域に対応する差分2値画像がファイル名「diff_12.pbm」として記録される。このように、処理対象となる画像系列に含まれる全てのカメラ画像について上述の変化の有無及びファイル名を順次記録することにより、必要な画像変化情報テーブルを得ることができる。
【0036】
次に、ステップS14のシーンの設定処理では、処理対象の画像系列において、変化の有無が「有」となる時間的に連続する区間を判別し、その区間の画像群を「シーン」として設定する。シーン設定部112は、ステップS14の設定内容をシーン情報テーブルに記録する。図7は、図3の画像系列を用いる場合のシーン情報テーブルを示す図である。図7に示すシーン情報テーブルには、ステップS14で設定されたシーンについて、時間順に付与されるシーン番号と、最初に変化有りと判別された先頭のカメラ画像の画像番号を示す開始画像番号と、最後に変化有りと判別された最後のカメラ画像の画像番号を示す終了画像番号が記録されている。
【0037】
例えば、シーン番号0のシーンは、図3の画像系列に示すように、変化有りと判別される最初の区間として、撮影領域を人物が移動する画像番号10〜14の5個の連続するカメラ画像からなる。よって、この区間に対応するシーンに関し、シーン情報テーブルには、シーン番号が0、開始画像番号が10、終了画像番号が14と記録されている。同様に、撮影領域をトラックが移動する区間に対応するシーンに関し、シーン番号が1、開始画像番号が25、終了画像番号が27と記録されている。また、撮影領域を普通車が移動する区間であるシーンに関し、シーン番号が2、開始画像番号が30、終了画像番号が33と記録されている。
【0038】
次に、ステップS15のキューシートの作成処理では、画像合成処理において必要となる合成条件を設定する情報が記録されるキューシートを作成する。以下、図8〜図10を参照して、ステップS15のキューシート作成処理について具体的に説明する。
【0039】
図8は、キューシート作成処理の流れを説明するフローチャートである。また、図9は、キューシート作成処理により作成されるキューシートの一例を示す図であり、図3の画像系列を対象として画像合成を行う場合の例を示している。図8に示すように、まず、操作部104の所定の操作により、キューシート作成処理に必要なパラメータが設定される(ステップS21)。ステップS21で設定されるパラメータとしては、合成画像における背景画像の元として用いる背景元画像を画像系列の中から選択する際の始点Sと間隔Wがある。例えば、図9のキューシートにおいては、始点Sが画像番号0に設定され、間隔Wが5に設定された(カメラ画像5個おき)場合の例を示している(S=0、W=5)。なお、ステップS21においては、画像処理システム10で予め設定済みのパラメータを用いてもよい。
【0040】
次に、キューシートにおいて、合成画像の再生順を示す合成画像番号を付与し(ステップS22)、併せて画像系列中の背景元画像に対応する画像番号である背景元画像番号を決定する(ステップS23)。図9に示すように、合成画像番号は0から順番に付与されるとともに、背景元画像番号は、上述のように設定された例では、始点S=0、間隔W=5により順次決定される。これにより、キューシートの任意の合成画像番号に基づく画像合成を行う際、対応する背景元画像番号を参照すれば、背景元画像とすべきカメラ画像を判別可能となる。
【0041】
次に、キューシートの背景元画像番号で示されるカメラ画像について、図6の画像変化情報テーブルを参照して画像の変化の有無を判別する(ステップS24)。ステップS24は、背景元画像に変化領域が含まれる場合、その変化領域を変化の無い画像部分で補完(置き換え)するための補完用画像を決定するために必要となる。よって、ステップS24において変化無しと判別された背景元画像については、背景元画像に変化領域が存在しないため置き換えが不要であり、背景元画像番号をそのまま補完用画像番号として決定する(ステップS25)。
【0042】
一方、ステップS24において変化有りと判別された背景元画像については、背景元画像に存在する変化領域の置き換えが必要であり、画像系列のうち背景元画像から過去方向の直近の変化無しであるカメラ画像の画像番号を、補完用画像番号として決定する(ステップS26)。
【0043】
図9のキューシートの例では、背景元画像番号10、25、30については、いずれも変化有りのカメラ画像に対応するため、ステップS26に従って補完用画像番号9、24、29が記録されている。それ以外の背景元画像番号は変化無しのカメラ画像番号に対応するため、ステップS25に従って補完用画像番号が背景元画像番号と一致している。図3の画像系列からわかるように、補完用画像番号9、24、29は、いずれも背景元画像の1つ前に位置する変化無しのカメラ画像に対応している。
【0044】
次に、ステップS25又はステップS26に続いて、キューシートの所定の合成画像番号に所定数の前景画像を対応付けた前景画像登録処理を行い(ステップS27)、前景画像登録リストを生成する。前景画像とは、画像合成を行う際に背景画像に上書きする変化領域を含むカメラ画像である。図9に示すように、キューシートの各合成画像番号に対し、任意の個数の画像番号を含む前景画像を登録することができる。例えば、図9のキューシートにおける前景画像登録リストを参照すると、合成画像番号2〜9の範囲では、それぞれ1〜3個の前景画像が登録されるとともに、合成画像番号0、1、10の範囲では、前景画像が登録されていないことがわかる。なお、キューシートにおける前景画像登録リストは、上述のように設定されたシーンに対応付けられたカメラ画像が配列されているが詳細については後述する。
【0045】
次に図10は、ステップS27の前景画像登録処理を具体的に説明するフローチャートである。図10に示す前景画像登録処理では、ステップS14で設定されたシーンを対象としてキューシートに登録する前景画像を決定する。よって、以下の処理は、シーン毎にシーン番号の順で実行することによりキューシートに前景画像登録リストが付加される。なお、図10に示す前景画像登録処理を開始する時点では、キューシートの前景画像登録リストの初期値が全て「空」になっているものとする。
【0046】
図10において、前景画像登録処理が開始されると、シーン番号用のカウンタAの初期値として0をセットする(ステップS31)。そして、シーン情報テーブルを参照し、シーン番号Aのシーン情報として開始画像番号SS及び終了画像番号SEを取得する(ステップS32)。例えば、図7の場合には、最初にシーン番号0について開始画像番号SS=10、終了画像番号SE=14が取得されることになる。
【0047】
次に、画像合成処理の際にシーン番号Aの合成を開始する合成画像番号Cを以下の(1)式に従って算出する(ステップS33)。
【0048】
C = [(SS−S)/W] (1)
SS:シーンAの開始画像番号
S:背景元画像の始点
W:背景元画像の間隔
[ ]:ガウス記号(中の値を越えない整数)
上述したように、図8のステップS21において始点Sと間隔Wが設定され、上記ステップS32において開始画像番号SSが取得されているので、(1)式における合成画像番号Cを一律に決定できる。(1)式は、シーンの先頭位置が背景画像に対して最も時間軸上で近くなる状態で画像合成を行うことを意味している。例えば、S=0、W=5に設定されている場合、図7に示すシーン番号0についてはSS=10となり、(1)式によってC=2と算出される。同様に、シーン番号1についてはC=5と算出され、シーン番号2についてはC=6と算出される。
【0049】
次に、合成画像番号用のカウンタXと画像系列の画像番号用のカウンタYについての初期設定として、それぞれ、X=C、Y=SSを実行する(ステップS34)。この時点で、画像合成処理に必要なパラメータとして、前景画像速度倍数Mが予め設定されているものとする。この前景画像速度倍数Mは、合成画像の系列において1つの前景画像を連続して繰り返し表示させる回数であり、任意の整数値に設定可能である。なお、第1の実施形態においては、M=1に設定された場合を説明するものとする。この場合、合成画像番号が1つ進む度に前景画像登録リストの前景画像の画像番号が1つ進むことになる。
【0050】
そして、キューシートにおいて、合成画像番号XからX+M−1の範囲で、画像番号Yのカメラ画像を前景画像として登録する(ステップS35)。例えば、図9のキューシートにおける図7のシーン番号0に関しては、M=1であるとすると、最初に合成画像番号2に対する前景画像登録リストに画像番号10が記録されることになる。これにより、後述の画像合成処理の際、キューシートに基づき合成画像番号2の前景画像として画像番号10のカメラ画像を用いるべきことを判断可能となる。
【0051】
次に、合成画像番号用のカウンタXにMを加える(ステップS36)。M=1であると仮定すると、X=X+1となる。また、画像系列の画像番号用のカウンタYに1を加える(ステップS37)。図9のキューシートの例では、ステップS36、S37により、最初の時点でのX=2、Y=10の状態からX=3、Y=11に更新されることになる。
【0052】
そして、上述のように更新されたカウンタYが、ステップS32で取得された終了画像番号SEを越えた場合、すなわち、Y>SEを満たすときは(ステップS38;YES)、その時点で処理対象のシーンの登録を終えたことになるので、シーン番号用のカウンタAに1を加える(ステップS39)。例えば、図7において、最初にシーン番号0のシーンが処理対象であった場合、後続のシーン番号1のシーンに移行させることができる。一方、カウンタYが終了画像番号SE以下であって、Y>SEを満たさないときは(ステップS38;NO)、その時点で処理対象のシーンには未登録のカメラ画像が残った状態にあるので、ステップS35に戻って同様の処理を実行する。
【0053】
次に、ステップS39に続いて、画像系列に含まれる全てのシーンについてキューシートへの登録処理が完了したと判断されると(ステップS40;YES)、図10の前景画像登録処理を終える。ステップS40では、シーン番号用のカウンタAが処理すべきシーン数を越えたか否かで判断すればよい。一方、画像系列に含まれるシーンのうち、登録処理が完了していないシーンが残っているときは(テップS40;NO)、残っている後続のシーンの登録処理を行うべく、ステップS32に戻って同様の処理を実行する。
【0054】
上記の図10に示す前景画像登録処理を終了した時点で、図8のキューシート作成処理が終了することになり、前景画像登録リストが付加された状態のキューシートが作成される。図9のキューシートの例では、前景画像登録リストに3つのシーンが含まれる状態であることがわかる。すなわち、合成画像番号2〜6の範囲にはシーン番号0に対応する画像番号10〜14が前景画像として登録されている。同様に、合成画像番号5〜7の範囲にはシーン番号1に対応する画像番号25〜27が、合成画像番号6〜9の範囲にはシーン番号2に対応する画像番号30〜33が、それぞれ前景画像として登録されている。
【0055】
次に、図2に戻って、ステップS16の画像合成処理では、上述のように作成されたキューシートに基づく画像合成処理を実行する。以下、図11及び図12を参照して、ステップS16の画像合成処理について具体的に説明する。
【0056】
図11は、画像合成処理の手順に関し、図9のキューシートの合成画像番号5を対象として画像合成を行う場合を例にとって説明する図である。まず、図9に示すように、キューシートの背景元画像番号及び補完用画像番号を参照して、画像系列の中から必要な背景元画像及び補完用画像を取得する。図9のキューシートの合成画像番号5については、背景元画像番号25及び補完用画像番号24に対応するそれぞれのカメラ画像が取得されることになる。
【0057】
そして、背景元画像に対し、補完用画像を用いた補完処理を行う。具体的には、背景元画像の画像変化情報テーブルを参照して、背景元画像番号に対応する差分2値画像を格納したファイルを読み出して変化領域を判別するとともに、補完用画像における背景元画像の変化領域に相当する画像部分を抽出し、その画像部分を用いて背景元画像の変化領域を上書きすることにより補完する。図11に示すように、補完処理の結果、背景元画像において車両が撮影された変化領域が置き換えられ、変化領域が存在しない背景画像が生成されることになる。
【0058】
なお、かかる補完処理は、変化無しの背景元画像については行うことなく、そのまま背景画像として用いればよい。変化無しの背景元画像の場合は、上述したように背景元画像番号と補完用画像番号が同一になっているので、キューシートを参照することにより判断できる。
【0059】
次に、上述のように得られた背景画像に対し、前景画像を用いた上書き処理を行う。具体的には、キューシートの前景画像登録リストを参照して、所定の合成画像番号に対応する前景画像番号を判別する。そして、画像変化情報テーブルを参照して、前景画像番号に対応する差分2値画像を格納したファイルを読み出して変化領域を抽出し、その変化領域を用いて上述の背景画像に上書きすることにより合成画像が生成される。図11の例では、2つの前景画像番号13、25に対応する2つの変化領域(人物、車両)が背景画像に上書きされ、人物と車両が同時に存在する状態の合成画像(合成画像番号5)が生成されることになる。これら生成された合成画像は、画像記憶部102に順次蓄積される。
【0060】
なお、複数の前景画像を背景画像に上書きする際の順番は、例えば、カメラ画像の撮影日時が古い順に行えばよい。ここで、複数の前景画像における変化領域が互いに重なる場合、最後に上書きされる前景画像の変化領域が合成画像に現れることになる。よって、撮影日時が古い順で上書きを行う場合は、最新のカメラ画像の変化領域が合成画像に現れることになる。
【0061】
キューシートの全ての合成画像番号を対象として、図11に示すような画像合成処理を実行することにより、画像表示に必要な全ての合成画像が時間軸上で系列化された合成画像系列を得ることができる。図12は、図3の画像系列と図9のキューシートとに基づいて得られた合成画像系列の一例を示す図である。図12の例では、全部で11個の合成画像を時間順に系列化して示している。各々の合成画像には合成画像番号を付して示し、図9のキューシートの該当する合成画像番号を参照することにより、合成画像、背景元画像、前景画像の組み合わせを判別できる。
【0062】
図11の合成画像系列と図3の画像系列を比較すればわかるように、撮影領域を移動する人物と2台の車両は、元の画像系列では互いに異なる時間帯に存在しているのに対し、合成画像系列では互いに時間的な重なりを生じて存在する状態となっている。これにより、元の画像系列に含まれる画像は35個であったのに対し、合成画像系列に含まれる合成画像は11個となり、観察に必要な合成画像の個数が少なくて済む。よって、観察すべき各シーンを漏れなく観察できるとともに、合成画像の個数が少なくなった分だけ観察時間を短縮することができる。
【0063】
次に、図2のステップS17の合成画像の表示処理では、ステップS16において得られた合成画像の表示処理を実行する。画像処理システム10は、操作部104により合成画像の表示指令を受けると、画像記憶部102に蓄積された合成画像系列に含まれる各合成画像を合成画像番号の順に読み出し、表示部103に順次切り替えながら連続表示する。
【0064】
このとき、表示部103において合成画像を表示する時間間隔は、通常は撮影時の時間間隔と同様になるが、必要に応じて高速又は低速に可変してもよい。ここで、現実の撮影時間に比べた合成画像の観察時間(合成画像系列の連続表示に要する時間)の短縮倍率は、背景元画像を選択する間隔Wと合成画像を表示する速度により定まる。例えば、合成画像を2倍速で表示すると、観察時間の短縮倍率が2Wとなり、全体の合成画像系列を元の画像系列の撮影時間に対して1/(2W)の時間で観察することができる。
【0065】
以上説明した第1の実施形態により、処理対象の画像系列において、侵入者等の変化領域に着目して異常を確認する場合、上述のように生成された合成画像系列を連続表示することにより、確認時間を大幅に短縮することができる。この場合、背景画像に上書された前景画像には、上述のように設定された全てのシーンを構成する画像群の変化領域が含まれるとももに、シーンが多い場合には時間的に重なって同一の合成画像に表示させ、元の画像系列に含まれる変化領域を見落とすことなく確実かつ迅速に観察可能となる。
【0066】
上述した第1の実施形態は、画像処理システム10の処理対象に応じて適宜に変形して適用することができる。以下、第1の実施形態の変形例に相当する第2〜第5の実施形態について順次説明する。
(第2の実施形態)
第2の実施形態は、第1の実施形態を基本としつつ、合成画像中のゴースト除去性能の向上を図るために画像合成方法に工夫を施したものである。ここで、合成画像を表示する際、図11に示す補完処理に起因して合成画像中にゴーストが現れる可能性がある。すなわち、背景元画像の変化領域の抽出が完全ではない場合、補完用画像で上書きをして得られた背景画像において、変化領域に相当する形状の濃淡変化であるゴーストが生じ、例えば、人物や車両などの外形が合成画像中に浮かび上がって観察されるものである。このようなゴーストを合成画像中に生じないように、第2の実施形態では、画像合成処理の補完処理を行わないようにして、上述したようなゴーストが合成画像中に生じないようにしている。
【0067】
第2の実施形態においては、第1の実施形態におけるキューシート(図9)の構成及び画像合成処理の手順(図11)を変更している。なお、それ以外の構成や処理については、第1の実施形態と共通するので説明を省略する。
【0068】
図13は、第2の実施形態において、図9の場合と同様、図3の画像系列を対象として画像合成を行う場合のキューシートの一例である。図13に示すキューシートは、合成画像番号、背景元画像番号、前景画像登録リストからなり、これらは図9と同様の内容になっている。一方、図13に示すキューシートには、補完用画像番号が含まれておらず、この点で図9の場合と異なっている。
【0069】
そして、図14は、第2の実施形態における画像合成処理の手順に関し、図13のキューシートの合成画像番号1、2、5をそれぞれ対象として画像合成を行う場合を例にとって説明する図である。第2の実施形態では、合成画像番号に対応する前景画像登録リストにおける前景画像の個数に応じて処理が異なっている。まず、図14(a)は、図13のキューシートの合成画像番号1についての画像合成を示している。この場合、前景画像登録リストが「空」となっているので、背景元画像番号5に対応するカメラ画像をそのまま合成画像として用いる。
【0070】
一方、図14(b)は、図13のキューシートの合成画像番号2についての画像合成を示している。この場合、前景画像登録リストには1個の前景画像が登録されているので、その前景画像番号10に対応するカメラ画像をそのまま合成画像として用いる。
【0071】
また、図14(c)は、図13のキューシートの合成画像番号5についての画像合成を示している。この場合、前景画像登録リストには2個の前景画像が登録されているが、図11に示す第1の実施形態とは異なり、補完処理を行うことなく、前景画像番号13に対応するカメラ画像をそのまま背景画像として用いる。そして、前景画像番号25に対応するカメラ画像の変化領域を抽出し、その変化領域を用いて上記の背景画像に上書きする。その結果、2個の前景画像番号13、25の両方の変化領域が存在する状態の合成画像が生成されることになる。
【0072】
上記の図14(c)に示す処理は、2個に限らず複数の前景画像が前景画像リストに登録されている場合に適用される。なお、背景画像として用いる前景画像としては、撮影日時が最も過去の前景画像を選べばよい。また、複数の前景画像を上書きする順についても、撮影日時が古い順とすればよい。
【0073】
このように、第2の実施形態は、画像合成処理において背景元画像と補完用画像を用いた補完処理を省略しているので、補完すべき変化領域が背景元画像と補完用画像で合致しないことによるゴーストの発生を避けることができる。
【0074】
(第3の実施形態)
第3の実施形態は、第1の実施形態を基本としつつ、背景画像に上書きする前景画像の個数を制限することにより、合成画像に多数の人物や車両が同時に現れて観察時に混雑した状態となることを防止し、適度な混雑度の合成画像を得るための処理を行う。
【0075】
第3の実施形態においては、第1の実施形態におけるキューシート(図9)の構成を変更するとともに、第1の実施形態における前景画像登録処理(図10)を部分的に他の処理で置き換えている。なお、それ以外の構成や処理については、第1の実施形態と共通するので説明を省略する。
【0076】
図15は、第3の実施形態において、図9の場合と同様、図3の画像系列を対象として画像合成を行う場合のキューシートの一例である。図15に示すキューシートのうち、合成画像番号、背景元画像番号、補完用画像番号については、図9と同様の内容になっている。一方、図15に示すキューシートにおける前景画像登録リストの内容は、図9の場合とは異なっている。
【0077】
図15に示すように、シーン番号0、1に対応する前景画像は図9と同様の配置になっているが、シーン番号2に対応する画像番号30〜33の前景画像が合成画像番号7〜10に登録され、図9と比べると1個分下にシフトした状態になっている。これにより、図9のキューシートでは合成画像番号6について3個の前景画像が登録されていたのに対し、図15のキューシートではいずれの合成画像についても2個以下の前景画像が登録された状態になっている。
【0078】
上述のようにキューシートにおける各々の合成画像についての前景画像の登録数を制限するため、第3の実施形態では、所望の上限登録数(例えば、2個)を予め設定可能であるものとする。そして、第1の実施形態における前景画像登録処理(図10)の実行時に、ステップS33の処理を図16に示す処理で置き換えることにより、図15のキューシートを作成することができる。
【0079】
図16に示す処理では、図10のステップS31、S32に続いて、画像合成処理の際にシーン番号Aの合成を開始する合成画像番号Cを上述の(1)式に従って算出する(ステップS331)。なお、ステップS331では、第1の実施形態と同様に(1)式を用いればよい。次いで、(1)式で算出した合成画像番号Cについて、作成中のキューシートを参照し、その時点の前景画像登録リストに登録されている前景画像の登録数Rを判別する(ステップS332)。
【0080】
そして、ステップS332で判別した登録数Rと、上述のように設定済みの上限登録数とを比較し、登録数Rが上限登録数に満たないときは(ステップS333;YES)、図16に示す処理を終えて、図10のステップS34に移行する。この場合、合成画像番号Cがシーン番号Aの合成を開始する位置として確定することになる。一方、登録数Rが上限登録数以上となるときは(ステップS333;NO)、ステップS331で算出された合成画像番号Cに1を加え(ステップS334)、再度ステップS332に移行する。この場合、ステップS333で「YES」と判断されるまで合成画像番号Cに順次1ずつ加えられ、シーン番号Aの合成を開始する位置が所定数だけシフトすることになる。
【0081】
例えば、上限登録数2が設定された状態では、シーン番号2に対して図16の処理を実行する際、当初は図9に示すように合成画像番号6が算出される。この時点で合成画像番号6についての前景画像登録リストは登録数2であり(前景画像番号14、26)、ステップS332でR=2と判別される結果、R=上限登録数となる。そのため、最初のステップS333の判断は「NO」となり、ステップS334により合成画像番号7に更新される結果、次回のステップS333の判断が「YES」となり、合成画像番号7がシーン番号Aの合成を開始する位置として確定する。
【0082】
このように、第3の実施形態は、キューシートの前景画像登録リストに関し、前景画像の登録数を制限するようにしたので、シーンの密度が高い場合であっても特定の合成画像に多数の前景画像が合成されることはなく、合成画像の観察時に同時に現れる人物や車両で混雑する状態に起因する見落とし等を防止することができる。
【0083】
(第4の実施形態)
第4の実施形態は、第1の実施形態を基本としつつ、合成画像系列を高速で再生することを前提にする場合、合成画像における前景画像の動きが高速になり過ぎることを防止し十分な視認性を確保するための処理を行う。
【0084】
第4の実施形態においては、第1の実施形態におけるキューシート(図9)の構成を変更するとともに、第1の実施形態で説明した前景画像速度倍数Mを2以上の所定値に設定した状態で図8のキューシート作成処理を実行する。なお、それ以外の構成や処理については、第1の実施形態と共通するので説明を省略する。
【0085】
図17は、第4の実施形態において、図9の場合と同様、図3の画像系列を対象として画像合成を行う場合のキューシートの一例である。図17に示すキューシートのうち、合成画像番号、背景元画像番号、補完用画像番号については、図9と同様の内容になっている。一方、図17に示すキューシートにおける前景画像登録リストの内容は、図9の場合とは異なっている。
【0086】
図17のキューシートにおいては、特定の画像番号の前景画像が2つの連続する合成画像番号の前景画像登録リストに登録されている。この場合、前景画像速度倍数Mが2に設定されているものとする。例えば、シーン番号0の先頭の画像番号10は、合成画像番号2、3の両方の前景画像登録リストに登録されていることがわかる。
【0087】
第4の実施形態では、第1の実施形態と同様、図10に示す前景画像登録処理を実行するが、第1の実施形態では前景画像速度倍数M=1に設定される場合を説明したのに対し、第4の実施形態では前景画像速度倍数Mが2以上に設定されることを前提とする。例えば、M=2に設定されている場合、図10のステップS35で合成画像番号X、X+1に両方について画像番号Yのカメラ画像が前景画像として登録される。その後、ステップS36でXに2が加えられ、後続の合成画像番号X+2、X+3について同様の処理が行われることになる。
【0088】
画像処理システム10において合成画像系列を再生する場合、撮影速度に対して所定倍の再生速度を自在に設定することができる。ここで、撮影速度を再生速度のK倍に設定する場合、背景元画像を選択する上述の間隔をWとして、合成画像系列の再生時間は元の画像系列に比べ、1/(K・W)に短縮される。このとき、第1の実施形態のキューシートでは、前景画像が実際の速度のK倍で動くことになり高速になり過ぎる。一方、第4の実施形態では、前景画像速度倍数Mを用いると、実際の速度のK/M倍で動くことになる。
【0089】
このように、第4の実施形態は、前景画像速度倍数Mを最適に設定することにより、合成画像中の前景画像を観察に適した速度に設定することができる。例えば、K=M=2と設定すれば、合成画像系列の再生時間は、1/(2K)に短縮される一方、前景画像については実際の速度で動くことになるので、見落としを有効に防止し確実な観察を可能とする。
【0090】
(第5の実施形態)
第5の実施形態は、第1の実施形態を基本としつつ、処理対象の画像を複数のブロックに分割し、画像のブロックごとに変化の有無を判別した上で画像合成を行うことにより、画像処理に必要なデータ量の削減を図っている。
【0091】
第5の実施形態においては、第1の実施形態のうち画像変化処理部111及び画像合成部114のそれぞれの処理を、画像のブロック分割に対応して変更している。なお、それ以外の構成や処理については、第1の実施形態と共通するので説明を省略する。
【0092】
図18は、第5の実施形態における画像の変化の判別と変化領域の抽出について説明する図である。図18の各画像中に点線で示すように、処理対象の画像を16個(4×4個)の方形のブロックで等分割し、ブロックごとに設定される基準画像と画素ごとに比較することにより、各ブロックの変化の有無を判別する。そして、図18の右側に示すように、変化有りのブロックを「1」と表し、変化無しのブロックを「0」と表す。
【0093】
なお、画像を分割するブロック数は16個に限らず自在に設定でき、ブロックの形状も方形に限られない。
【0094】
図18(a)には、図3に示す画像系列のうち画像番号0のカメラ画像の例を示している。この場合、画像全体で変化無しであるため16個のブロック全てが「0」となる。一方、図18(b)には、図3に示す画像系列のうち画像番号12のカメラ画像の例を示している。この場合、撮影領域中の中央付近に人物が存在する状態であるため、人物が重なる4個のブロックが「1」となり、それ以外の12個のブロックが「0」となる。
【0095】
図19は、第5の実施形態で得られる画像変化情報テーブルを示す図であり、第1の実施形態の図6に対応する図である。図19に示す画像変化情報テーブルには、画像系列の画像番号と、各画像の変化の有無と、上述のようにブロックごとに判別された変化の有無を表すブロック変化情報が記録されている。
【0096】
図19の画像変化情報テーブルのうち、図18(a)の画像番号0については、変化の有無が「無」と記録され、ブロック変化情報が「0000000000000000」として記録される。また、図19の画像変化情報テーブルのうち、図18(b)の画像番号12については、変化の有無が「有」と記録され、ブロック変化情報が「0000000001100110」として記録される。なお、ブロック変化情報には、16個のブロックに分割された画像に対し、例えば、左上のブロックから右下のブロックに「0」又は「1」を順次記録していけばよい。
【0097】
次に図20は、第5の実施形態における画像合成処理の概念を説明する図である。第5の実施形態における画像合成処理は、第1の実施形態の場合と概ね共通するが、ブロック分割に伴う相違点がある。すなわち、背景元画像に対する補完用画像を用いた補完処理と、補完処理により得られた背景画像に対する前景画像の上書き処理は、いずれもブロック単位で行われる。そして、図20に示す例では、複数の前景画像を用いた上書き処理の際、画像中の変化有りと判別された変化ブロック群に重複領域が存在する場合を示している。
【0098】
図20の例では、背景画像、2つの前景画像A、B、合成画像をそれぞれ示すとともに、説明の便宜上、各画像の16個のブロックと各ブロックの変化の有無(0又は1)を示している。そして、背景画像A、Bの上書き処理の際、各々の変化ブロック群が重ならない領域は、そのまま背景画像に上書きすればよいが、図20に示すように各々の変化ブロック群が重なる重複領域が問題となる。例えば、撮影順などに従って背景画像A、Bの一方の変化ブロック群を用いるとすると、いずれも移動体とその周辺部分を含んでいるので、ブロックの境界が移動体の外形に一致せず不自然な合成画像になる。
【0099】
そこで、第5の実施形態では、複数の前景画像の変化ブロック群が重なる場合、その重複領域において各前景画像を背景画像と画素ごとに比較して差分を計算し、各前景画像の中で最も差分が大きい画素を背景画像に上書きする。かかる処理を重複領域中の全ての画素に対して行って合成画像を生成する。その結果、得られる合成画像の重複領域には、基本的には変化の度合いが大きい前景画像が上書きされるが、画素ごとに異なる前景画像が混在する場合もあり得る。
【0100】
このように、第5の実施形態は、画像をブロックに分割して処理を行うようにしたので、変化領域を抽出したときに差分2値画像に比べデータ量の少ないブロック変化情報を用いることができる。また、画像合成処理においてブロック分割に起因して不自然な合成画像が生成されることを回避することができる。
【0101】
なお、上記の各実施形態における画像処理システム10の構成は、適用対象に応じて適宜に変更することができる。すなわち、図1に示す画像処理システム10においては、画像処理プログラム110による画像処理と表示部103による表示処理の双方を実行する構成であったが、画像処理システム10において画像処理のみを実行し、得られた合成画像を蓄積する構成としてもよい。
【0102】
また、上記の各実施形態では、本発明を監視用途の画像処理システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像処理システムに対し広く本発明を適用することができる。この場合、本実施形態では監視カメラ20で撮影されたカメラ画像を用いる構成を示したが、監視カメラ20以外の各種機器から出力された画像を用いる構成であってもよい。
【0103】
【発明の効果】
以上説明したように本発明によれば、多数の画像からなる画像系列に対し、背景画像や前景画像等を設定する所定の合成条件に従って画像合成を行うことにより、少ない画像数の合成画像系列を生成するとともに、合成画像系列を連続再生したときに画像系列に設定されたシーンを本来の順序で確実に観察することができる。よって、画像系列における変化のある部分に着目して連続表示を行う場合、明確な画像で見落としなく短時間に内容確認を行うことが可能となる。
【図面の簡単な説明】
【図1】本実施形態に係る画像処理システムの全体構成を示すブロック図である。
【図2】画像処理プログラムに基づく一連の画像処理の概略を説明するフローチャートである。
【図3】処理対象となる画像系列の一例を示す図である。
【図4】カメラ画像における変化領域の抽出について変化無しに対応する例を説明する図である。
【図5】カメラ画像における変化領域の抽出について変化有りに対応する例を説明する図である。
【図6】図3の画像系列を用いる場合の画像変化情報テーブルを示す図である。
【図7】図3の画像系列を用いる場合のシーン情報テーブルを示す図である。
【図8】キューシート作成処理の流れを説明するフローチャートである。
【図9】図3の画像系列を対象としてキューシート作成処理により作成されるキューシートの一例を示す図である。
【図10】図8のステップS27の前景画像登録処理を具体的に説明するフローチャートである。
【図11】画像合成処理の手順に関し、図9のキューシートの合成画像番号5を対象として合成を行う場合を例にとって説明する図である。
【図12】図3の画像系列と図9のキューシートとに基づいて得られた合成画像系列の一例を示す図である。
【図13】第2の実施形態において、図3の画像系列を対象として画像合成を行う場合のキューシートの一例を示す図である。
【図14】第2の実施形態における画像合成処理の手順に関し、図13のキューシートの合成画像番号1、2、5をそれぞれ対象として画像合成を行う場合を例にとって説明する図である。
【図15】第3の実施形態において、図3の画像系列を対象として画像合成を行う場合のキューシートの一例を示す図である。
【図16】第3の実施形態において、図1の実施形態における前景画像登録処理の実行時に、ステップS33の処理を置き換える処理である。
【図17】第4の実施形態において、図3の画像系列を対象として画像合成を行う場合のキューシートの一例を示す図である。
【図18】第5の実施形態における画像の変化の判別と変化領域の抽出について説明する図である。
【図19】第5の実施形態で得られる画像変化情報テーブルを示す図であり、第1の実施形態の図6に対応する図である。
【図20】第5の実施形態における画像合成処理の概念を説明する図である。
【符号の説明】
10…画像処理システム
20…監視カメラ
101…制御部
102…画像記憶部
103…表示部
104…操作部
110…画像処理プログラム
111…画像変化処理部
112…シーン設定部
113…キューシート作成部
114…画像合成部
Claims (8)
- 時間軸上で系列化された複数の画像からなる画像系列から前景画像と背景画像とを設定し、前記前景画像と前記背景画像とを合成する画像処理システムであって、
前記複数の画像を基準画像と比較して各々の画像について変化の有無を判別し、変化有りと判別された画像の変化領域を抽出する画像変化処理手段と、
変化有りと判別された時間的に連続する区間の画像群をシーンとして設定するシーン設定手段と、
前記画像系列から選択された背景画像と、前記シーンを構成する画像である前景画像とを時間軸に関連付けた合成条件を設定する合成条件設定手段と、
前記合成条件に従って前記前景画像の変化領域と前記背景画像との合成画像を生成する画像合成手段と、
を備えることを特徴とする画像処理システム。 - 前記合成条件設定手段は、前記シーンに含まれる先頭画像の時間軸上の位置に最も近い背景画像に対し、前記先頭画像を前景画像として関連付けることを特徴とする請求項1に記載の画像処理システム。
- 前記合成条件設定手段は、前記画像系列から所定の時間間隔で複数の背景元画像を選択し、変化有りと判別された前記背景元画像に対して変化無しと判別された補完用画像を関連付けて設定し、前記背景元画像と前記補完用画像に基づいて前記背景画像を選択し、
前記画像合成手段は、前記背景元画像の変化領域を前記補完用画像の画像部分で補完して前記背景画像を作成する、
ことを特徴とする請求項1に記載の画像処理システム。 - 前記合成条件設定手段は、前記変化有りと判別された背景元画像に対し、前記画像系列における過去方向の直近の変化無しと判別された画像を前記補完用画像として関連付けることを特徴とする請求項3に記載の画像処理システム。
- 前記画像合成手段は、前記画像系列における時間軸上の所定位置に一の前記前景画像が設定されている場合、当該前景画像を前記合成画像とするとともに、前記画像系列における時間軸上の所定位置に複数の前記前景画像が設定されている場合、一の前景画像を選択して背景画像として用い、他の前景画像の変化領域と前記背景画像との合成画像を生成することを特徴とする請求項1に記載の画像処理システム。
- 前記合成条件設定手段は、前記画像系列における時間軸上の同一位置に設定される前景画像について所定の上限登録数を設定することを特徴とする請求項1に記載の画像処理システム。
- 前記合成条件設定手段は、連続する所定個数の背景画像に対し同一の前記前景画像を関連付けることを特徴とする請求項1に記載の画像処理システム。
- 前記画像変化処理手段は、画像を複数のブロックに分割し、各々のブロック毎に前記変化の有無を判別し、
前記画像合成手段は、前記前景画像の変化有りと判別されたブロック群と前記背景画像とを合成するとともに、複数の前景画像の前記ブロック群が重複する場合は、各々の前景画像の重複領域に含まれる各画素を前記背景画像と比較し、最も差分が大きい前景画像の画素と前記背景画像を合成することを特徴とする請求項1に記載の画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003125865A JP4344534B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003125865A JP4344534B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004336172A true JP2004336172A (ja) | 2004-11-25 |
JP4344534B2 JP4344534B2 (ja) | 2009-10-14 |
Family
ID=33502997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003125865A Expired - Fee Related JP4344534B2 (ja) | 2003-04-30 | 2003-04-30 | 画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4344534B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011077820A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 画像合成装置、画像合成方法及びプログラム |
US8102406B2 (en) | 2005-11-15 | 2012-01-24 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for producing a video synopsis |
CN101743596B (zh) * | 2007-06-15 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 用于自动生成多媒体文件概要的方法和设备 |
US8311277B2 (en) | 2007-02-01 | 2012-11-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for video indexing and video synopsis |
US8949235B2 (en) | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
JP2017538331A (ja) * | 2014-10-28 | 2017-12-21 | ゼットティーイー コーポレーションZte Corporation | ビデオキャプチャの処理方法、システム及び装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101793164B1 (ko) * | 2016-08-05 | 2017-11-02 | 주식회사 케이티 | 저장 공간을 절감하기 위한 영상 처리 장치, 영상 복원 장치 및 영상 관리 장치 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266422A (ja) * | 1998-03-18 | 1999-09-28 | Toshiba Corp | 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体 |
JP2000333131A (ja) * | 1999-03-16 | 2000-11-30 | Matsushita Electric Ind Co Ltd | 画像処理装置、および画像処理方法 |
JP2000339923A (ja) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | 映像収集装置および映像収集方法 |
JP2002247585A (ja) * | 2001-02-15 | 2002-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 動画像送信方法と、動画像受信方法と、動画像送信処理用プログラム及びそのプログラムの記録媒体と、動画像受信処理用プログラム及びそのプログラムの記録媒体 |
-
2003
- 2003-04-30 JP JP2003125865A patent/JP4344534B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266422A (ja) * | 1998-03-18 | 1999-09-28 | Toshiba Corp | 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体 |
JP2000333131A (ja) * | 1999-03-16 | 2000-11-30 | Matsushita Electric Ind Co Ltd | 画像処理装置、および画像処理方法 |
JP2000339923A (ja) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | 映像収集装置および映像収集方法 |
JP2002247585A (ja) * | 2001-02-15 | 2002-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 動画像送信方法と、動画像受信方法と、動画像送信処理用プログラム及びそのプログラムの記録媒体と、動画像受信処理用プログラム及びそのプログラムの記録媒体 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8102406B2 (en) | 2005-11-15 | 2012-01-24 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for producing a video synopsis |
US8514248B2 (en) | 2005-11-15 | 2013-08-20 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Method and system for producing a video synopsis |
US8949235B2 (en) | 2005-11-15 | 2015-02-03 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Methods and systems for producing a video synopsis using clustering |
US8311277B2 (en) | 2007-02-01 | 2012-11-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for video indexing and video synopsis |
CN101689394B (zh) * | 2007-02-01 | 2014-03-26 | 耶路撒冷希伯来大学伊森姆研究发展有限公司 | 用于视频索引和视频概要的方法和*** |
US8818038B2 (en) | 2007-02-01 | 2014-08-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Method and system for video indexing and video synopsis |
KR101456652B1 (ko) | 2007-02-01 | 2014-11-04 | 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. | 비디오 인덱싱 및 비디오 시놉시스 방법 및 시스템 |
CN101743596B (zh) * | 2007-06-15 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 用于自动生成多媒体文件概要的方法和设备 |
JP2011077820A (ja) * | 2009-09-30 | 2011-04-14 | Casio Computer Co Ltd | 画像合成装置、画像合成方法及びプログラム |
JP2017538331A (ja) * | 2014-10-28 | 2017-12-21 | ゼットティーイー コーポレーションZte Corporation | ビデオキャプチャの処理方法、システム及び装置 |
US10289914B2 (en) | 2014-10-28 | 2019-05-14 | Zte Corporation | Method, system, and device for processing video shooting |
Also Published As
Publication number | Publication date |
---|---|
JP4344534B2 (ja) | 2009-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20040111372A (ko) | 동적 범위 비디오 레코딩과 플레이백 시스템 및 방법 | |
JP2007110193A (ja) | 画像処理装置 | |
JP2009141630A (ja) | 画像処理装置、その制御方法、プログラム | |
JP6520975B2 (ja) | 動画像処理装置、動画像処理方法及びプログラム | |
JP2009123196A (ja) | 画像検索装置 | |
JP2004336172A (ja) | 画像処理システム | |
JP5136245B2 (ja) | 画像合成装置、画像合成プログラム及び画像合成方法 | |
US8760541B2 (en) | Shooting apparatus and mode setting method for controlling a shooting mode of a shooting apparatus | |
JP2005286608A (ja) | サムネイル表示装置 | |
JP4185376B2 (ja) | 画像処理システム | |
JP5479149B2 (ja) | 画像生成装置 | |
CN104135606A (zh) | 成像设备、图像记录处理方法和程序 | |
JP6747603B2 (ja) | 監視支援装置および監視支援システム | |
JP6625598B2 (ja) | 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム | |
JP2006101075A (ja) | 画像圧縮装置 | |
JP2001057659A (ja) | 電子カメラおよび画像再生用プログラムを記録した記録媒体 | |
JP2004234561A (ja) | 画像表示システム | |
JP2001094919A (ja) | 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体 | |
JP2010193026A (ja) | 画像再生装置、画像再生方法およびプログラム | |
JP4911287B2 (ja) | 画像再生装置及びそのプログラム | |
JP2007324663A (ja) | ビデオカメラ | |
JP2003009177A (ja) | 画像合成システム | |
JP2002281382A (ja) | 画像処理装置およびその処理方法 | |
JP4158524B2 (ja) | 電子カメラ | |
JP4209379B2 (ja) | 録画装置、その閲覧装置、並びに、そのプログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060418 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20081104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090623 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4344534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |