JP2004220194A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2004220194A JP2004220194A JP2003004913A JP2003004913A JP2004220194A JP 2004220194 A JP2004220194 A JP 2004220194A JP 2003004913 A JP2003004913 A JP 2003004913A JP 2003004913 A JP2003004913 A JP 2003004913A JP 2004220194 A JP2004220194 A JP 2004220194A
- Authority
- JP
- Japan
- Prior art keywords
- data
- value
- pixel
- sequence
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
【課題】通常に撮影された画像データから、背景の影響を受けないで、軌跡画像が得られるようにするための画像処理装置を提供する。
【解決手段】画像処理装置は、予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、画素位置毎に複数の画素値の数列データを生成する数列データ生成手段を含む。さらに、画素位置毎に、数列データの複数の画素値の最大値、最小値及び平均値の少なくとも１つを統計値として計算し保持する統計値演算手段と、予め決められたルールに従い、統計値に基づいて、数列データ中のいずれかの画素値、又は統計値の１つの値を画素位置毎に選択し、選択した画素値又は値を、フレーム中の画素位置毎の結果データとする結果データ生成手段とを有する。
【選択図】 図３
【解決手段】画像処理装置は、予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、画素位置毎に複数の画素値の数列データを生成する数列データ生成手段を含む。さらに、画素位置毎に、数列データの複数の画素値の最大値、最小値及び平均値の少なくとも１つを統計値として計算し保持する統計値演算手段と、予め決められたルールに従い、統計値に基づいて、数列データ中のいずれかの画素値、又は統計値の１つの値を画素位置毎に選択し、選択した画素値又は値を、フレーム中の画素位置毎の結果データとする結果データ生成手段とを有する。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、動く物体の軌跡を得るための画像処理装置、画像処理方法及びプログラムに関する。
【０００２】
【従来の技術】
時間的に連続した静止画、例えば秒３０フレームの静止画を、連続画像として撮り、動画像は、その静止画を連続的に再生することによって得ることができる。そして、その得られた動画像に基づいて、画像中の動いた物体の軌跡を明確にしたいという要求がある。例えば、スポーツにおいて、動くボールの軌跡を、明確にするために、多重露光したように見せる画像処理がある。
【０００３】
多重露光の方法において、単純な方法としては、１つのフレーム上に、連続画像を順次重ね合わせることによって、動く物体の動きに基づく軌跡が、その１つのフレーム上に残り、物体の動いた後がわかるようにする方法がある。
【０００４】
図１９は、多重露光を説明するための、撮影視野範囲において、物体が動く様子を示す図である。図２０は、多重露光の原理を説明するための図である。図２１は、多重露光の結果得られる画像の例を示す図である。図１９に示すように、視野枠１００内において、ボールがＡの位置から、矢印の方向に動き、Ｂの位置まで動く状況を、ビデオカメラで撮影、あるいは最近のデジタルカメラにおける動画撮影によって、連続撮影したとする。
【０００５】
説明を簡単にするために、このように時間的に連続撮影して得られた画像が１０枚の静止画がからなる場合、図２０に示すように、ボールがＡの位置にある時の静止画Ｆ１からＢの位置にある時の静止画Ｆ１０を、Ｆ１からＦ１０までを１つのフレームＦＢに重ねるように画像処理を行う。フレームＦＢには、Ｆ１からＦ１０のフレームに含まれている１０個のボールが１枚のフレームＦＢに現れるので、動いた物体の軌跡が１枚の画像上に表現される。
【０００６】
しかし、図２０に示すように、単純に１０個のフレームを重ねあわせると、フレーム上で同じ位置の画素において、各画素データは、静止している背景の画素値と動く物体の画素値との和となるので、動く物体の画素部分がクリアにならず、その動く物体の像は薄くなってしまう。例えば、フレームＦＢにおけるボールの画像は、１０個のフレーム中、Ｆ１におけるｆ１のみがボールの画像であるが、それ以外のｆ２からｆ１０の画像は背景画像であるため、ｆ１からｆ１０を単純に重ね合わせると、ｆ１の画像が１／１０（すなわち１０分の１）となって、背景画像の影響を受け、フレームＦＢにおいて重ね合わせた画像では物体の画像がクリアにならない。
【０００７】
このような欠点を無くして物体の画像をクリアにするために、背景画像の影響を受けないようにするストロボ連写技術と、クロマキー技術がある。
【０００８】
ストロボ連写は、背景を暗くした状態で、動く物体に向けてストロボを断続的に発光させながら、撮影することによって、連続画像を得るものである。得られた連続画像を重ね合わせても、背景は暗いすなわち黒なので、背景画像の影響を受けないで、物体の動きが、１つのフレーム上にはっきりした軌跡として表現される。
【０００９】
クロマキー技術は、画像処理によって背景を分離して、動く物体の画像のみを得るものである。例えば、青い背景を用意し、背景画像を画像処理において排除することによって、動く物体のはっきりとした画像を得ることができる。ＴＶ、映画の撮影等でよく利用されている（例えば、特許文献１参照）。
【００１０】
【特許文献１】
特開平６−３０８９３８号公報
【００１１】
【発明が解決しようとする課題】
しかし、ストロボ連写による方法は、撮影に先立って、黒の背景を用意しなければならず、連続撮影をする場所が、その黒の背景の前の場所に限られてしまう。さらに、実際に動く物体に向けて、ストロボを断続的に発光させなければならず、ストロボ発光のための機器も用意しなければならない。
【００１２】
クロマキー方法も同様で、画像処理において背景を分離するために、背景を予め決められた色のものを用意しなければならず、撮影前の準備に手間がかかっていた。
【００１３】
本発明は、通常に撮影された画像データから、背景の影響を受けないで、軌跡画像が得られるようにするための画像処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、前記画素位置毎に複数の画素値の数列データを生成する数列データ生成手段と、前記画素位置毎に、前記数列データの前記複数の画素値の最大値、最小値、中央値及び平均値の少なくとも１つを統計値として計算し保持する統計値演算手段と、予め決められたルールに従い、前記統計値に基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値を前記画素位置毎に選択し、選択した前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとする結果データ生成手段とを有する。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１６】
図１は、本実施の形態に係わる画像処理装置の構成を示す構成図である。
画像処理装置１は、連続画像取込手段２と、統計データ抽出手段３と、合成画像生成手段４と、結果保持手段５を含む。
【００１７】
連続画像取込手段２は、ＤＲＡＭのようなメモリと、演算手段とを含み、予め決められたフレーム数の画像データをストアする。連続画像取込手段２への入力信号は、ラスタスキャンのカラー画像データであり、通常のＲＧＢ信号である。連続画像取込手段２は、連続して入力される画像データを、予め決められた数の複数のフレーム、例えば３０フレームの画像データを保持する。連続画像取込手段２は、そのメモリの容量に応じた予め決められた期間に対応する複数のフレームの画像データがストアされる。
【００１８】
そして、連続画像取込手段２は、合成開始コマンド等の出力コマンドに応じて、全ての画素位置について、各フレームにおける同一画素位置の画素値データを、フレーム数分をまとめて、フレーム数分のＲＧＢの画素値データを含むデータ列Ｓｅｑ（ＲＧＢ）のデータとして出力する。例えば、１つのフレームがｍ×ｎの画素数の場合、各フレームにおける同一画素位置の画素値データを、画素位置毎に、３０フレーム数分をまとめることによって、３０個の画素値データを含むデータ列のデータが、出力される。具体的には、連続画像取込手段２は、ｍ×ｎの画素マトリックスのフレームにおける同一画素位置の画素値データを、（１，１）画素位置から（ｍ，ｎ）画素位置まで順番に出力する。さらに、連続画像取込手段２は、画素位置毎に、時間的に連続した複数の画素値データの数列データを出力する。ある画素位置についての数列データとしては、例えば、３０フレーム分の画素値データを含む、次のようなＲＧＢデータ列Ｓｅｑ（ＲＧＢ）のデータである。
【００１９】
Ｓｅｑ（ＲＧＢ）＝（ＲＧＢＰ１，ＲＧＢＰ２，ＲＧＢＰ３，・・・，ＲＧＢＰ３０）
連続画像取込手段２は、数列データ生成手段ということができる。ここで、各ＲＧＢデータは、Ｒ、Ｇ、Ｂのそれぞれの画素値データを含み、例えば、ＲＧＢＰ１は、第１のフレームのある画素位置における画素のＲ、Ｇ、Ｂの画素値データを示す。また、連続画像取込手段２のメモリへの画像データの取込は、通常は常に連続して行われているものとする。そして、例えば、あるイベントがあると、それ以上の画像の取り込みは中止され、そのイベントが発生した時点から予め決められたフレーム数分だけ前の画像データがそのメモリに保持された状態となる。具体的に言えば、カメラであれば、ＣＣＤ等の撮像素子から出力されている画像データが連続画像取込手段１に連続的に入力され、１つのイベント入力としてのシャッターボタンが押されるということがない限り、リングバッファメモリのように順次上書きされている。しかし、シャッターが押されると、連続画像の取り込みは中止され、そのシャッターを押した時点より前の（すなわち過去の）、予め決められた期間において得られた複数のフレームの画像データが内部のメモリにストアされた状態となる。
【００２０】
図２は、メモリをリングバッファとして利用することを説明するための図である。リングバッファは、例えば３０フレームの画像データをストアするために３０個のサブバッファＳＢ１からＳＢ３０を有する。ＣＣＤ等の撮像素子からのフレーム毎の画像データを、イベント入力が発生するまで、基準位置ＳＢ０から順番にサブバッファへストアしていく。
【００２１】
例えば、最初のフレームの画像データは、サブバッファＳＢ１へストアされ、次のフレームの画像データは、サブバッファＳＢ２へストアされ、その次のフレームの画像データは、サブバッファＳＢ３へストアされる。このようにして、撮像素子からのフレーム毎の画像データが、リングバッファのサブバッファへ順番にストアされていく。そして、３１番目以降のフレームの画像データも、イベント入力がない限り、再度サブバッファＳＢ１から順番にストアされていく。しかし、一旦イベント入力があると、撮像素子からの画像データのリングバッファへの書き込みは中止されるので、連続画像取込手段２のメモリであるリングバッファは、イベント入力が発生する前の３０フレームの画像データがストアされている状態となる。
【００２２】
シャッターが押されたとき、サブバッファＳＢ２まで画像データがストアされていて、シャッターが押されたときを位置ＳＢＳで示すと、シャッター位置ＳＢＳより前の３０フレームの画像データ、すなわち、ＳＢ３、ＳＢ４、・・・ＳＢ３０、ＳＢ１、ＳＢ２の画像データが、連続画像取込手段２のメモリにストアされた状態となっている。
【００２３】
さらに、連続画像取込手段２は、演算手段を含み、画素位置毎のＲＧＢ信号に基づいて画素位置毎の輝度値Ｙを演算する。輝度値Ｙの演算は、各フレームにおける画素毎に行われる。そして、連続画像取込手段２は、出力コマンドに応じて、各フレームにおける同一画素位置の画素の輝度値データを、フレーム数分をまとめて、フレーム数分の輝度値データを含む輝度値データ列Ｓｅｑ（Ｙ）のデータとして出力する。例えば、１つのフレームがｍ×ｎの画素数の場合、各フレームにおける同一画素位置の輝度値データを、３０フレーム数分をまとめることによって、３０個の輝度値データを含む輝度値データ列Ｓｅｑ（Ｙ）のデータが、出力される。具体的には、連続画像取込手段２は、ｍ×ｎの画素マトリックスのフレームにおける同一画素位置の輝度値データを、（１，１）画素位置から（ｍ，ｎ）画素位置まで順番に出力する。さらに、連続画像取込手段２は、画素位置毎に、時間的に連続した複数の輝度値データの数列データを出力する。ある画素位置についての数列データとしては、例えば、３０フレーム分の輝度値データを含む、次のような輝度値データ列Ｓｅｑ（Ｙ）のデータである。
【００２４】
Ｓｅｑ（Ｙ）＝（ＹＰ１，ＹＰ２，ＹＰ３，・・・，ＹＰ３０）
ここで、例えば、ＹＰ１は、第１のフレームのある画素位置における画素の輝度値データを示す。数列データ生成手段として連続画像取込手段２は、画素位置毎のＲＧＢの数列データＳｅｑ（ＲＧＢ）及び輝度値の数列データＳｅｑ（Ｙ）を、統計データ抽出手段３へ出力する前に、出力開始を知らせるために開始信号を出力する。さらに、連続画像取込手段２は、画素位置毎のＲＧＢの数列データＳｅｑ（ＲＧＢ）及び輝度値の数列データＳｅｑ（Ｙ）を統計データ抽出手段３へ出力するときに、出力されている画素値データ及び輝度値データがそれぞれ画素マトリックス中のどの位置のデータを示す、画素位置データＰｉｘｅｌＸ，Ｙを併せて出力する。
【００２５】
統計データ抽出手段３は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により構成され、入力されたＲＧＢの数列データと輝度値の数列データに基づいて、各画素位置における最大値、最小値、平均値及び予め決められた生データを出力する。
【００２６】
最大値データは、輝度値の数列に含まれる予め決められたフレーム数分の輝度値データの中から、最大値の輝度値を有するフレームのＲＧＢデータである。例えば、３０個のフレーム中、（１，１）の画素位置における最大輝度値の画素が、５番目のフレームに存在する場合、５番目のフレームの画素位置（１，１）のＲＧＢデータが、画素位置（１，１）の最大値データとして出力される。同様に、他の画素位置についても、全フレーム中、最大輝度値が存在するフレームのＲＧＢデータを、その画素位置の最大値データとして出力する。
【００２７】
最小値データは、輝度値の数列に含まれる予め決められたフレーム数分の輝度値データの中から、最小値の輝度値を有するフレームのＲＧＢデータである。各画素位置について、全フレーム中、最小輝度値が存在するフレームのＲＧＢデータを、その画素位置の最小値データとして出力する。
【００２８】
平均値データは、輝度値の数列に含まれる予め決められたフレーム数分の輝度値データの平均値のデータと、ＲＧＢの数列データに含まれる予め決められたフレーム数分のＲＧＢデータの平均値のデータである。なお、ＲＧＢデータの平均値は、ＲとＧとＢのそれぞれについての平均値である。
【００２９】
予め決められた生データとは、入力されたＲＧＢの数列データの中から予め決められた規則によって決定される、画素値のＲＧＢデータ及び輝度値である。予め決められた規則とは、ランクフィルタにより並び替えられた数列データ中の中央値を、出力すべき生データとするという規則、予め入力されたランクフィルタにより並び替えられたデータ列の中の、例えば３番目のデータというように予め決められた順位のデータを出力すべき生データとするという規則、等をいう。なお、ランクフィルタは、データを例えば小さい順に並び変え、並び替えられたデータの中から、予め決められた順位のデータを出力するものである。例えば、データが最小値のデータを出力するランクフィルタであれば、並び替えられたデータの中から１番目のデータを出力するものである。
【００３０】
統計データ抽出手段３は、画素マトリックスのｍ×ｎ個の各画素について、（１，１）から（ｍ，ｎ）まで順番に、画素位置毎の最大値、最小値、平均値及び予め決められた生データと共に、画素マトリックスの画素位置データＰｉｘｅｌＸ，Ｙも併せて合成画像生成手段４へ出力する。統計データ抽出手段３の構成は後述する。
【００３１】
合成画像生成手段４は、統計データ抽出手段３と同様にＦＰＧＡで構成され、統計データ抽出手段３からの画素位置毎の最大値、最小値、平均値、予め決められた生データ及び画素位置データが入力され、画素位置毎のＲＧＢの画素値データを結果保持手段５へ出力する。
【００３２】
合成画像生成手段４は、入力された最大値、最小値、平均値及び予め決められた生データに基づいて、画素位置毎に出力すべきＲＧＢの画素値データを決定するための判定論理器とセレクタを含み、画素位置毎に決定されたＲＧＢの画素値データを結果保持手段５へ出力する。後述する判定論理器は、予め決められたルールに従い、入力された最大値、最小値、平均値又は予め決められた生データに基づいて、出力すべきデータを、最大値、最小値、平均値又は予め決められた生データのいずれにするかを決定する。合成画像生成手段４は、決定された出力データを結果保持手段５へ出力する。合成画像生成手段４の構造については後述する。
【００３３】
結果保持手段５は、フレームメモリ等のメモリであり、合成画像生成手段４から供給されたＲＧＢの画素値データを、対応する画素位置毎にストアし、ストアされた画像データを、モニタ、プリンタ等の外部機器へ出力できるようになっている。
【００３４】
上述したような構成において、合成開始等の出力コマンドが与えられると、上述したように、画素位置（１，１）から（ｍ、ｎ）までの画素位置毎の画素値の数列及び輝度値の数列のデータが、連続画像取込手段２から統計データ抽出手段３へ供給される。すなわち、リングバッファ上にストアされた各フレームデータから同じ画素位置の画素値データを数列データとして読み出し、読み出された数列データは、順次統計データ抽出手段３へ入力される。連続画像取込手段２から統計データ抽出手段３へ画素位置毎に数列データを供給されるときに、各画素位置のデータも併せて供給されるので、統計データ抽出手段３は、画素位置に対応して数列データの処理を行うことができる。統計データ抽出手段３は、画素位置毎の、時間的に連続した画素値データについて、最大値、最小値、平均値及び予め決められた生データを抽出する。統計データ抽出手段３は、画素位置毎に抽出した最大値、最小値、平均値及び予め決められた生データを、結果データ生成手段としての合成画像生成手段４に供給する。統計データ抽出手段３から合成画像生成手段４へ画素毎に最大値、最小値、平均値及び予め決められた生データを供給されるときに、各画素位置のデータも併せて供給するので、合成画像生成手段４は、画素位置に対応して数列データの処理を行うことができる。
【００３５】
合成画像生成手段４は、画素位置毎に画像合成処理を実行し、画素位置毎に結果データを生成して、結果保持手段５へ出力する。従って、画素位置毎の数列データが連続画像取込手段２から連続的に出力され、統計データ抽出手段３に入力されて抽出された画素位置毎の最大値、最小値、平均値及び予め決められた生データが合成画像生成手段４に取り込まれると、その画素位置について画像処理が行われ、結果保持手段５に結果データが、対応する画素位置のデータとして書き込まれる。この処理が、画素位置毎に入力される数列データに対して連続的に実行されることによって、後述するように、結果保持手段５は、動く物体の軌跡データをクリアに生成することができる。
【００３６】
図３は、統計データ抽出手段３の構成を示す機能ブロック図である。
【００３７】
統計データ抽出手段３は、数列状態制御器１１と、最大値検出器１２と、最小値検出器１３と、平均値演算器１４と、所定生データ抽出器１５を含む。数列状態制御器１１は、最大値検出器１２、最小値検出器１３、平均値演算器１４及び所定生データ抽出器１５に対して各種制御信号ＣＳを出力することによって、最大値検出器１２等に所定の動作させる。制御信号ＣＳは、各機能ブロック回路への、リセット信号、起動信号、停止信号、結果出力信号等を含む。
【００３８】
統計データ抽出手段３には、画素位置毎に、輝度値のデータ列Ｓｅｑ（Ｙ）及びＲＧＢのデータ列Ｓｅｑ（ＲＧＢ）のデータが入力されるので、統計データ抽出手段３は、入力される輝度値及びＲＧＢの画素値のデータを、画素位置毎の連続した数列データとして、取り扱う。数列状態制御器１１は、その数列データとして入力された画素位置毎のデータを、各回路において所定のタイミングで処理するために制御信号ＣＳ等を出力する。
【００３９】
数列状態制御器１１は、カウンタ１６を含む。カウンタ１６は、画素位置毎に入力された輝度値あるいは画素値の数列におけるデータの数をカウントするものであり、統計データ抽出手段３に入力されるデータが、輝度値あるいは画素値の数列内において何番目のデータであるかをカウントする。例えば、輝度値の数列が３０個の輝度値データを有し、各輝度値データが順々に統計データ抽出手段３に入力されるとき、カウンタ１６は、入力される各輝度値データが、３０個の輝度値データを含む輝度値の数列中の何番目かをカウントして、入力データが何番目の輝度値データかを示すカウント値ＣＮＴを出力する。
【００４０】
また、連続画像取込手段２は、統計データ抽出手段３への画素位置毎の輝度値及び画素値の数列データの出力を開始する直前に、開始信号を出力する。よって、カウンタ１６は、ｍ×ｎのマトリックスにおける各画素位置の輝度値及び画素値の数列の最初のデータが入力される前にリセットさせる。その結果、カウンタ１６のフレームカウント値ＣＮＴは、入力されたデータが、各画素位置における数列データ内において何番目のフレームのものかを示す。
【００４１】
最大値検出器１２は、比較器１７、判定器１８、途中ランク結果レジスタ１９、特定ＲＧＢ等保持レジスタ２０及び結果出力手段２１を含む。画素位置毎の輝度値及び画素値の数列データが入力される直前に、比較器１７等が数列状態制御器１１からの制御信号ＣＳに応じてリセットされるので、最大値検出器１２は、画素位置毎に輝度値の数列データ内の最大輝度値に対応するＲＧＢの画素値データ及び最大輝度値データとその最大輝度値を含むフレームのカウント値のデータを、結果データＯＵＴ１として出力する。
【００４２】
比較器１７へは、マトリックスの（１，１）から（ｍ，ｎ）までの各画素について、画素位置毎の輝度値の数列のデータが順番に入力される。比較器１７には、入力された輝度値データと、途中ランク結果レジスタ１９にストアされている輝度値データとが入力され、入力された輝度値データの値から、途中ランク結果レジスタ１９にストアされている輝度値データの値を差し引く引き算を行う。比較器１７は、引き算した結果の値の符号、すなわちプラスかマイナスかを示す信号が、判定器１８へ供給される。
【００４３】
判定器１８は、入力された信号がプラスの符号を示す時に、途中ランク結果レジスタ１９及び特定ＲＧＢ等保持レジスタ２０に出力信号ＣＯＭを供給する。途中ランク結果レジスタ１９は、出力信号ＣＯＭの供給を受けると、比較器１７に入力された輝度値のデータを保持する。特定ＲＧＢ等保持レジスタ２０は、出力信号ＣＯＭの供給を受けると、比較器１７に入力された輝度値データに対応するＲＧＢの画素値データと、フレームカウント値のデータとを保持する。
【００４４】
なお、各画素位置の輝度値の数列データの１つ目のデータのときは途中ランク結果レジスタ１９には何のデータもストアされていないので、１つ目のデータのときは比較器１７がプラスを示す信号を出力するようにしてもよいし、あるいは、各画素位置の輝度値の数列データの１つ目のデータのときに判定器１８が出力信号ＣＯＭを出力するようにすることによって、１つ目の輝度値データが途中ランク結果レジスタ１９にストアされるように、最大値検出器１２は構成されている。
【００４５】
画素マトリックスの各画素において、輝度値の数列データの全てのデータについて比較及び判定処理が行われると、数列状態制御器１１からの制御信号に応じて、特定ＲＧＢ等保持レジスタ２０にストアされているＲＧＢの画素値データ及びフレームカウント値データが、その画素位置の最大値データとして出力手段２１へ供給される。結果出力手段２１は、数列状態制御器１１からの制御信号に応じて、最大値データを、合成画像生成手段４へ供給する。すなわち、統計データ抽出手段３の最大値検出器１２は、ｍ×ｎのマトリックスの各画素についての、輝度が最大のときのＲＧＢデータとフレームカウント値を合成画像生成手段４へ結果出力手段２１を介して出力する。
【００４６】
最小値検出器１３の構成は、最大値検出器１２の構成と略同じであるので、図３において、この構成は省略されている。最小値検出器１３と最大値検出器１２の構成上の異なる点は、最小値検出器１３の比較器１７が、途中ランク結果レジスタ１９にストアされている輝度値データの値から、入力された輝度値データの値を差し引く引き算を行うようにしている点である。その結果、統計データ抽出手段３の最小値検出器１３は、ｍ×ｎのマトリックスの各画素位置についての、輝度値が最小のときのＲＧＢの画素値データ、最小輝度値とフレームカウント値を、結果データＯＵＴ２として出力手段２１を介して合成画像生成手段４へ出力する。
【００４７】
平均値演算器１４は、輝度値、Ｒ、Ｇ及びＢの画素値のそれぞれ毎に設けられた複数の加算ユニット２２と、割り算を行ってその結果を保持する１／ｋレジスタ２３を含む。各加算ユニット２２は、加算器２４と積算レジスタ２５を含む。
【００４８】
ある画素位置に関する輝度値の数列データのデータが、順々に加算器２４に入力される。各数列データの最初のデータが加算器２４の一つの入力に入力されたときは、他方の入力には何もデータは入力されないで、入力された最初のデータがそのまま積算レジスタ２５にストアされる。２番目のデータが入力されたときは、加算器の他方の入力には、積算レジスタ２５にストアされているデータが入力されるので、加算器は１つ目のデータと２つ目のデータを加算して、その加算した値が、積算レジスタ２５に書き込まれる。このようにして、１つの画素位置の輝度値の数列データの全ての輝度値が加算器２４に入力されると、積算レジスタ２５には、その画素位置の輝度値の積算値が積算レジスタ２５にストアされる。
【００４９】
同様に、Ｒ、Ｇ、Ｂのそれぞれについても、輝度値の数列データについての加算ユニット２２と同様の加算ユニットが設けられる。従って、１つの画素位置のＲＧＢの画素値の数列データのＲ、Ｇ、Ｂの画像値データが、それぞれ対応する加算器２４に入力されると、積算レジスタ２５には、Ｒ、Ｇ、Ｂの色毎の画素値の積算値が積算レジスタ２５にストアされる。
【００５０】
輝度値、Ｒ、Ｇ及びＢのそれぞれの加算ユニット２２からの各積算値データは、１／ｋレジスタ２３へ供給され、データ列に含まれるデータ数ｋ（ｋは整数であり、フレーム数あるいは数列データに含まれるデータ数である。）で割る割り算が行われ、その結果、輝度値、Ｒ、Ｇ及びＢのそれぞれの平均値データが保持される。そして、１／ｋレジスタ２３は、数列状態制御器１１からの制御信号に応じて、画素位置毎の輝度値、Ｒ、Ｇ及びＢのそれぞれの平均値データを、合成画像生成手段４へ供給する。すなわち、平均値演算器１４は、ｍ×ｎのマトリックスの各画素位置についての、輝度値、Ｒ、Ｇ及びＢのそれぞれの平均値データを、１／ｋレジスタ２３を介して結果データＯＵＴ３として合成画像生成手段４へ出力する。
【００５１】
所定生データ抽出器１５は、所定の生の輝度値データ抽出器１５ａと所定の生のＲＧＢの画素値データ抽出器１５ｂを含む。輝度値データ抽出器１５ａは、カウント値判定器２６と、保持レジスタ２７と、出力手段２８とを含む。
【００５２】
カウント値判定器２６には、各輝度値の数列データ内における各データが何番目のデータかを示すカウント値ＣＮＴが入力されている。カウント値判定器２６は、入力されているカウント値ＣＮＴが、予め設定されている値と一致したときに、一致信号を保持レジスタ２７へ出力する。保持レジスタ２７には、画素位置毎の輝度値の数列データが入力され、カウント値判定器２６からの一致信号の入力があると、そのとき入力されている輝度値データを保持する。
【００５３】
保持レジスタ２７は、各画素の輝度値の数列データの入力が終わると、数列状態制御器１１からの制御信号に基づいて、保持している輝度値データを出力手段２８へ出力する。そして、出力手段２８は、数列状態制御器１１からの制御信号ＣＳに基づいて、出力手段２８にストアされている輝度値データを合成画像生成手段４へ結果データＯＵＴ４として出力する。
【００５４】
ＲＧＢデータ抽出器１５ｂは、輝度値データ抽出器１５ａと同様に、カウント値判定器２６と、保持レジスタ２７と、出力手段２８とを含む。従って、保持レジスタ２７には、画素位置毎のＲＧＢの画素値の数列データが入力され、カウント値判定器２６からの一致信号の入力があると、そのとき入力されているＲＧＢデータを保持する。そして、保持レジスタ２７は、各画素のＲＧＢの数列データの入力が終わると、数列状態制御器１１からの制御信号に基づいて、保持しているＲＧＢの画素値データを出力手段２８へ出力する。そして、出力手段２８は、数列状態制御器１１からの制御信号ＣＳに基づいて、出力手段２８にストアされている画素値データを合成画像生成手段４へ結果データＯＵＴ４として出力する。
【００５５】
このように、統計データ抽出手段３は、画素位置毎に数列データの複数の画素値の最大値、最小値、平均値と所定の生データを計算して出力する。
【００５６】
次に、合成画像生成手段４について説明する。図４は、結果データ生成手段としての合成画像生成手段４の構成を示す機能ブロック図である。合成画像生成手段４は、パラメータ設定部３１と、判定論理器３２と、セレクタ３３と、状態レジスタ３４を含み、画素位置毎の結果データを生成する。
【００５７】
パラメータ設定部３１は、判定論理器３２で使用される各種パラメータをストアする。
【００５８】
判定論理器３２は、画素位置毎に予め決められたルールが設定されており、入力された画素位置の最大値、最小値、平均値、所定の生データのいずれを出力するかの判定を行い、どのデータを出力するかの指示をセレクタ３３に与える。判定論理器３２は、複数のルールが予め設定されており、画素位置毎にどのルールが適用されるか、予め決められている。
【００５９】
セレクタ３３は、判定論理器３２からの指示に従って、画素位置毎に、最大値、最小値、平均値及び所定の生データのいずれかのＲＧＢの画素値データか、あるいは予め決められた計算値を、結果出力値ＯＵＴとして出力する。
【００６０】
判定論理器３２における、予め決められたルールの例を次に示す。
【００６１】
例１）結果出力値ＯＵＴは、（Ｍａｘ＋Ｍｉｎ−Ａｖｅ）とする。
【００６２】
例２）（Ｍａｘ−Ａｖｅ）＞（Ｍｉｎ−Ａｖｅ）の場合は、結果出力値ＯＵＴは、Ｍａｘとする。これ以外の場合は、結果出力値ＯＵＴは、Ｍｉｎとする。
【００６３】
例３）（Ｍａｘ−Ａｖｅ）／（−Ｍｉｎ＋Ａｖｅ）が予め決められた値Ｌよりも大きい場合は、結果出力値ＯＵＴは、Ｍａｘとする。（−Ｍｉｎ＋Ａｖｅ）／（Ｍａｘ−Ａｖｅ）が予め決められた値Ｌよりも大きい場合は、結果出力値ＯＵＴは、Ｍｉｎとする。これら以外は、結果出力値ＯＵＴは、５番目に入力された生データとする。
【００６４】
例えば、このようなルールが、画素位置毎に設定されており、統計データ抽出手段３から出力される画素位置に基づいて、合成画像生成手段４は、各画素位置について予め決められているルールに基づく画像処理を実行する。
【００６５】
すなわち、判定論理器３２は、予め決められたルールに従い、計算された統計値に基づいて、数列データ中のいずれかの画素値、又は統計値の１つの値を画素位置毎の結果出力値として決定する。
【００６６】
決定された画素値あるいは統計値を、結果出力値として出力させるために、選択信号が、判定論理器３２からセレクタ３３へ出力される。セレクタ３３は、選択信号に基づいて、決定された画素値又は統計値を、フレーム中の対応する画素位置の結果データとして、結果保持手段５へ出力する。
【００６７】
また、判定論理器３２は、状態データ演算部３５を含む。状態レジスタ３４は、判定論理器３２において予め設定された画像処理のルールあるいは各ルールにおいて用いられるパラメータの値を変更するときに利用される状態データを保持するレジスタである。例えば、対象画像が昼に撮られたものか、夜に撮られたものかによって、画素毎に画像処理ルールを変更したり、あるいは画像処理ルールにおけるパラメータ値を変更したりするときに、昼なのか、夜なのかを示す状態データが、状態レジスタ３３に保持される。状態レジスタ３３にストアされる状態データとしては、過去のデータについて得られたデータを保持するようにしてもよい。
【００６８】
状態レジスタ３４にストアされる状態データは、状態データ演算部３５の演算結果として、状態データ演算部３５の演算結果データが書き込まれる。状態レジスタ３４には、演算結果データは画素位置毎にストアされる。
【００６９】
状態データ演算部３５の演算例を、図を用いて例を説明する。ここでは、例えば、画素位置毎に過去の最大値、最小値等の画素値データの変動の状況に基づいて状態を判定する例を説明する。
【００７０】
図５は、状態レジスタ３４と状態データ演算部３５の構成例を示す図である。上述したように、図５の状態データ演算部３５は、判定論理器３２内に含まれ、判定論理器３２に入力されるデータに基づいて予め決められた状態判定のための演算を行う。
【００７１】
状態判定のための演算例としては、画素位置毎の背景判定がある。例えば、最大値と平均値の差の絶対値が、予め決められた値よりも大きいとき、あるいは最小値と平均値の差の絶対値が予め決められた値よりも大きいときは、背景判定値を１とし、その他の場合は、０とする。
【００７２】
画素位置毎にこのような背景判定値が演算され、その演算された背景判定値１または０のデータが加算器４１の一方に入力される。加算器４１の出力は、１／２乗算器４２に入力されることによって、半分の値にされ、その１／２乗算器４２の出力が、状態レジスタ３４にストアされる。そして、状態レジスタ３４にストアされたデータは、加算器４１の他方の入力として入力される。
【００７３】
この結果、状態レジスタ３４の状態データの値は、０から１の間の値となり、例えば、その値が０．２５以下であれば、背景領域部分の画素であり、０．７５以上であれば、人の画像部分の画素であり、それ以外の０．２５から０．７５の間のときは、物体が通過したような領域であるという判定を行い、その判定結果を画素位置毎の状態データとして、状態レジスタ３４に保持しておく。保持された状態データに応じて、画素位置毎に適用するルールを変更してその出力データを選択するようにする。
【００７４】
このようにすれば、状態データに応じて同じ画素位置において、適用されるルールを変更することができる。
【００７５】
なお、判定論理器３２において、セレクタ３３からの出力信号ＯＵＴを、条件に応じて、統計値又は所定の生データ以外の、予め決められた画素値に変更するような画像処理のルールが実行されるようにしてもよい。例えば、結果保持手段５に保持された画素値データにおいて、その画素値データが予め決められたフレームカウント値の画素値データの場合は、その画素値データを予め決められた別の色の画素値に変更するような処理を行なってもよい。
【００７６】
このようにすれば、フレームカウント値は、時間に対応するので、予め決められたフレームの画素を全く別の色にして強調する等の効果を、軌跡画面上で行うことができる。
【００７７】
さらに、状態レジスタ３４の内容に応じて、ルールを変更するのではなく、ルールにおいて用いられるパラメータ値を変更するようにしてもよい。このようにすれば、状態レジスタ３４の状態データに応じて、ルール自体あるいはルールにおいて用いられるパラメータ値を変更することによって、軌跡画像における画像効果を変更するように制御することができる。
【００７８】
次に以上説明した画像処理装置を用いた画像処理の例を説明する。なお、以下の例では、説明を簡単にするために白黒の画像データの例で説明する。
【００７９】
図６から図９は、撮影視野内において、白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。図６は、２つのボールが最初にある位置を示す図である。２つのボールの位置は、図６に示す位置から矢印に沿って動き始めて、図７に示す位置になり、続いて図８に示す位置になり、最後に図９に示す位置になったとする。このとき、上述した連続画像取込手段２は、図６から図９の状態になるまでの連続する複数フレームの画像データをストアする。
【００８０】
このような状況において、画面上のＰ点の画素（以下、画素Ｐという）に着目すると、２つのボールが図６から図９の位置に変化する間に、画素Ｐにおける例えば輝度値データは、図１０に示すように変化する。図１０は、図６から図９までの連続するフレームにおける画素Ｐの輝度値データの変動の様子を示す図である。画素Ｐでは、最初に黒いボールが通過した後に、白いボールが通過するので、図１０に示すように、輝度値は、背景の輝度値が続いた後に途中で一旦低くなり、再度背景の輝度値に戻る。その後、白いボールが通過するので、背景の輝度値から、急に高くなり、その後また、背景の輝度値に戻る。
【００８１】
また、画面上のＱ点の画素（以下、画素Ｑという）に着目すると、２つのボールが図６から図９の位置に変化する間に、画素Ｑにおける例えば輝度値データは、図１１に示すように変化する。図１１は、図６から図９までの連続するフレームにおける画素Ｑの輝度値データの変動の様子を示す図である。画素Ｑでは、白いボールが通過するので、図１１に示すように、輝度値は、背景の輝度値が続いた後に、白いボールが通過した時に、背景の輝度値から、急に高くなり、その後また、背景の輝度値に戻る。
【００８２】
画面上のＦ点の画素（以下、画素Ｆという）に着目すると、２つのボールが図６から図９の位置に変化する間に、画素Ｆにおける例えば輝度値データは、図１２に示すように変化する。図１２は、図６から図９までの連続するフレームにおける画素Ｆの輝度値データの変動の様子を示す図である。画素Ｆでは、白いボールも黒いボールも通過しないので、図１２に示すように、輝度値は、背景の輝度値が続く。
【００８３】
このような状況で、動く物体の所望の軌跡画像を、背景の影響を受けないで図１３のような軌跡画像を得たいときは、上述した判定論理器において、次のような４つのルールを、判定論理器に組み込み、フレーム中の全ての画素についてこれらの４つのルールを適用した画像処理を実行する。
【００８４】
ルール１）その画素位置の輝度値の数列データの全てのデータが、予め決められた許容幅内Ｄ（＝ＴＨ１−ＴＨ２）であるときは、数列データの平均値を、その画素位置の輝度値とする。これは、図１２に示すような場合である。
【００８５】
ルール２）その画素位置の輝度値の数列データ中に、予め決められた閾値ＴＨ１以上のデータのみがあるときは、数列データ中の最大値を、その画素位置における輝度値とする。これは、図１１に示すような場合である。
【００８６】
ルール３）その画素位置の輝度値の数列データ中に、予め決められた閾値ＴＨ２以下のデータのみがあるときは、数列データ中の最小値を、その画素位置における輝度値とする。これは、図には示していない。
【００８７】
ルール４）その画素位置の輝度値の数列データ中に、予め決められた閾値ＴＨ１以上のデータと、さらに予め決められた閾値ＴＨ２以下のデータがあるときは、数列データ中の最小値を、その画素位置における輝度値とする。これは、図１０に示す場合である。
【００８８】
以上のような４つのルールを、図６から図９までの連続画像の各フレームの各画素位置の数列データに対して適用した画像処理を行うと、図１３に示すような軌跡画像が得られる。
【００８９】
ボールが通らない背景の部分の画素位置は、ルール１に従って、その画素位置の数列データの平均値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となる。白いボールのみが通った部分の画素位置は、ルール２に従って、数列データの最大値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となるので、白いボールの軌跡はクリアになる。同様に、黒いボールのみが通った部分の画素位置は、ルール３に従って、数列データの最小値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となるので、黒いボールの軌跡はクリアになる。
【００９０】
さらに、両方のボールが通った画素位置の部分は、ルール４に従って、数列データの最小値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となるので、図８に示すように、白いボールと黒ボールが重なった部分の画像は、黒いボールの軌跡が示されるようになる。
【００９１】
なお、ルール４において、数列データの最大値を、重ね合わせ画像のフレームにおけるその画素位置の輝度値とすれば、白いボールと黒ボールが重なった部分の画像は、白いボールの軌跡が示されるようになる。従って、画素位置毎に適用されるルールを変更すると、動く物体の軌跡画像の表現を変更することができる。
【００９２】
以上のように、軌跡画像は、背景の影響を受けることなく、クリアに表現される。
【００９３】
次に、上述した実施の形態の変形例について説明する。
本変形例は、上述した実施の形態の構成に数列タイプを判定するための数列タイプ判定手段が追加されている。判定結果である数列タイプのデータが、結果データ生成手段である合成画像生成手段４に入力され、合成画像生成手段４は、数列タイプに応じて、画素位置毎に適用されるルール等の変更を行って、軌跡画像を生成する。
【００９４】
図３に示した構成では、統計値抽出手段３は、画素位置毎に、輝度値の数列データ及びＲＧＢの数列データの中からそれぞれ最大値、最小値、平均値と所定の生データを統計値データとして出力していたが、本変形例では、それに加えて、画素位置毎の輝度値の数列データ及びＲＧＢの数列データを、それぞれ複数のサブシーケンスに分割し、統計値抽出手段３は、分割したサブシーケンス毎にこれらの統計値データを出力するように構成されている。
【００９５】
連続画像取込手段２には、予め決められた期間の複数フレームの画像データがストアされている。その複数フレームの各画素位置における輝度値及びＲＧＢの数列データは、図１４に示すように、等間隔の複数のサブシーケンスＳＳ１、ＳＳ２、・・・に分解される。図１４は、サブシーケンスに分割された全体シーケンスにおける数列データの変動の様子を説明するための図である。そして、統計値抽出手段３は、各サブシーケンス内におけるデータの、最大値、最小値及び平均値を出力する。
【００９６】
統計値抽出手段３がサブシーケンス毎に最大値、最小値及び平均値を出力するようにするために、図３の数列状態制御器１１は、最大値検出器１２、最小値検出器１３及び平均値演算器１４が、各サブシーケンスに対応する部分数列毎に最大値、最小値及び平均値を出力するように、制御信号ＣＳを出力する。
【００９７】
部分数列毎に得られた最大値、最小値及び平均値は、図１５に示すサブシーケンスデータテーブルの最大値（Ｍａｘ）、最小値（Ｍｉｎ）及び平均値（Ａｖｅ）のデータとして、サブシーケンス毎にストアされる。
【００９８】
図１６は、得られた最大値、最小値及び平均値のデータに基づいて、数列タイプを判定して数列タイプデータを生成する数列タイプデータ生成手段の構成を示す構成図である。数列タイプデータ生成手段５１は、統計データ抽出手段３に含まれる。
【００９９】
数列タイプデータ生成手段５１は、各サブシーケンスの最大値、最小値及び平均値のデータに基づいて、後述するようなルールに従って、シーケンス全体の数列及び各サブシーケンスの部分数列のタイプを判定して、数列タイプデータを出力する。出力された部分数列毎の数列タイプのデータは、図１５に示すサブシーケンスデータテーブルの数列タイプ（Ｔｙｐｅ）のデータとして、サブシーケンス毎にストアされる。
【０１００】
なお、図１６に示す数列タイプデータ生成手段５１は、全体シーケンスに対する数列タイプの判定も行うが、全体シーケンスに対する輝度値と、ＲＧＢの色毎の画素値の数列タイプのデータは、それぞれ図示しないテーブルにストアされる。
【０１０１】
数列タイプデータ生成手段５１、例えば、図１７に示すようなＡ、Ｂ、Ｃ、Ｄの４つの数列タイプを、全体シーケンス及び各サブシーケンスの最大値、最小値及び平均値のデータに基づいて、判定する。図１７は、数列タイプの種類の例を説明するための図である。
【０１０２】
図１７のタイプＡは、数列のデータ値に変化が極めて少なかった場合であり、タイプＢは、数列のデータ値が途中で大きくなることのみがあった場合であり、タイプＣは、数列のデータ値が小さくなることのみがあった場合であり、タイプＤは、数列のデータ値が大きくなることと、小さくなることの両方があった場合である。全体シーケンス及び各サブシーケンスの数列データが、図１７のどのタイプかを判定するために、数列タイプデータ生成手段５１は、図１８のようなルールを実行する。図１８は、数列タイプ判定のためのルールを説明するための図である。
【０１０３】
図１８に示すように、タイプＡである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さくて、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さいときであり、この場合は、数列タイプデータ生成手段５１は、タイプＡであると判定する。
【０１０４】
タイプＢである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）以上で、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さいときであり、この場合は、数列タイプデータ生成手段５１は、タイプＢであると判定する。
【０１０５】
タイプＣである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さくて、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）以上のときであり、この場合は、数列タイプデータ生成手段５１は、タイプＣであると判定する。
【０１０６】
タイプＤである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）以上で、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）以上のときであり、この場合は、数列タイプデータ生成手段５１は、タイプＤであると判定する。
【０１０７】
図１８に示すようなルールに基づいてタイプ判定を行うことによって、サブシーケンス毎に数列タイプが判定され、その結果、図１５のサブシーケンスデータテーブルの数列タイプ（Ｔｙｐｅ）のデータがサブシーケンス毎にストアされる。そして、上述したように、全体シーケンスに対しても、図１８に示すようなルールに基づいてタイプ判定を行われる。
【０１０８】
なお、サブシーケンス毎に付与された数列タイプの組み合せ、順番等の数列タイプ構造に応じて、全体シーケンスの数列タイプを生成するようにしてもよい。例えば、１００個の小サブシーケンス毎に数列タイプを付与し、それぞれが５つの小サブシーケンスを含む２０個の中サブシーケンスに分割する。そして、小サブシーケンス毎に付与された数列タイプのデータに基づいて、対応する中サブシーケンス毎に数列タイプを付与する。さらに、２０個の中サブシーケンスを、それぞれが５つの中サブシーケンスを有する大サブシーケンスに分割する。そして、中サブシーケンス毎に付与された数列タイプのデータに基づいて、対応する大サブシーケンス毎に数列タイプを付与する。最後に、大サブシーケンス毎に付与された数列タイプに基づいて、全体シーケンスの数列タイプを付与するようにする。すなわち、サブシーケンスの数列タイプの構造に基づいて、全体シーケンスの数列タイプを決定する。
【０１０９】
このようにして、付与された数列タイプのデータは、合成画像生成手段４に供給され、合成画像生成手段４は、数列タイプに応じて、画素位置毎に適用されるルールあるいはルールに用いられるパラメータの変更等等の変更を行って、軌跡画像を生成することができる。
【０１１０】
なお、上述した例では、画像データが連続画像取込手段２に連続的に入力されているときに、あるイベントが発生すると、それ以上は画像データの入力を中止して、ストアされた複数フレームの画像データに対して統計データ抽出処理と合成画像生成処理を行っていた。しかし、画像データの入力を中止せずに、画像データの入力を連続的に行いながら、統計データ抽出処理と合成画像生成処理を行うようにしてもよい。こうすることによって、動画に対して上述したような効果を生じさせることができる。
【０１１１】
具体的には、図２のリングバッファにおいて、入力される画像データは、フレーム毎にサブバッファに順番にストアされていく一方で、上述した統計データ抽出処理と合成画像生成処理を、予め決められた数の連続した複数のサブバッファの範囲を順番にずらしていきながら、その範囲のサブバッファの画像データに対して行う。例えば、入力される画像データは、フレーム毎にサブバッファＳＢ１からに順番にストアされていく。統計データ抽出処理と合成画像生成処理は、サブバッファＳＢ１からＳＢ５の５つの連続したサブバッファに対して行った後は、サブバッファＳＢ２からＳＢ６の５つの連続したサブバッファに対して行い、その後は、サブバッファＳＢ３からＳＢ７の５つの連続したサブバッファに対して行うようにしていく。
【０１１２】
すなわち、画像データがリングバッファに入力されながら、リングバッファにストアされている複数フレーム中の一部のフレームであって、時間的に連続した複数フレームからなる部分フレームに対して、統計データ抽出処理と合成画像生成処理を実行する。さらに、入力される画像データに同期して、統計データ抽出処理と合成画像生成処理を行う部分フレームの範囲を、リングバッファにストアされた複数フレーム中で、時間的に移動させることによって、結果として、部分フレームは複数回得られる。その得られた部分フレーム毎に、統計データ抽出処理と合成画像生成処理を実行する。
【０１１３】
このように、画像データの入力に同期して、予め決められた範囲のサブバッファの画像データに対して、統計データ抽出処理と合成画像生成処理を行い、この処理を、連続的に入力される画像データの入力に同期して、サブバッファの範囲をずらしながら、統計データ抽出処理と合成画像生成処理を行う。このようにすると、合成画像生成手段から出力される画像は動画像となって、その動画像において上述したような軌跡画像を生じさせることができる。
【０１１４】
なお、フレーム中の全画素について、画素値の数列データを生成するのではなく、フレーム中の予め決められた領域内の画素についてのみ、数列データを生成し、その生成された数列データについてのみ統計値演算処理、結果データ生成処理等を行うようにし、そして、その予め決められた領域以外の画素については、予め決められたフレームの画素値を出力して、軌跡画像を生成するようにしてもよい。すなわち、フレーム中の予め決められた領域内のみ、例えばボールが写っている領域内のみの画素位置の画素値の数列データを生成し、その領域外の画素位置の画素値については複数フレーム中の予め決められたフレーム、例えば第１番目のフレームの画素値データを最終的に生成する軌跡画像のデータとするようにしてもよい。このようにすることによって、例えば、人がボールを蹴るような映像が含まれているような場合、フレーム中の軌跡画像を得たい領域のみ、例えばボールが動いている領域のみ上述したような数列データ生成処理、統計値演算処理、結果データ生成処理等の軌跡画像を得て、人が写っている領域を含むそれ以外の領域については、数列データ生成処理、統計値演算処理、結果データ生成処理等を行わないで、予め決められたフレームの画素値を利用した画像を得るようにすることができる。
【０１１５】
なお、以上説明した処理は、ソフトウエアプログラムによって実行することもできる。すなわち上述した回路の機能をプログラムによって実現することもできる。その場合、そのプログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶装置等に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の画像処理装置を実現することができる。
【０１１６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１１７】
【発明の効果】
以上説明したように、本発明によれば、通常に撮影された画像データから、背景の影響を受けないで、軌跡画像が得られるようにするための画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わる画像処理装置の構成を示す構成図である。
【図２】メモリをリングバッファとして利用することを説明するための図である。
【図３】本発明の実施の形態に係わる統計データ抽出手段の構成を示す機能ブロック図である。
【図４】本発明の実施の形態に係わる結果データ生成手段としての合成画像生成手段の構成を示す機能ブロック図である。
【図５】状態レジスタと状態データ演算部の構成例を示す図である。
【図６】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図７】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図８】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図９】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図１０】図６から図９までの連続するフレームにおける画素Ｐの輝度値データの変動の様子を示す図である。
【図１１】図６から図９までの連続するフレームにおける画素Ｑの輝度値データの変動の様子を示す図である。
【図１２】図６から図９までの連続するフレームにおける画素Ｆの輝度値データの変動の様子を示す図である。
【図１３】図６から図９までの連続画像に基づいて軌跡画像を示す図である。
【図１４】サブシーケンスに分割された全体シーケンスにおける数列データの変動の様子を説明するための図である。
【図１５】本発明の実施の形態に係わるサブシーケンスデータテーブルのデータ構造を説明するための図である。
【図１６】本発明の実施の形態に係わる数列タイプデータ生成手段の構成を示す構成図である。
【図１７】本発明の実施の形態に係わる数列タイプの種類の例を説明するための図である。
【図１８】本発明の実施の形態に係わる数列タイプ判定のためのルールを説明するための図である。
【図１９】多重露光を説明するための、撮影視野範囲において、物体が動く様子を示す図である。
【図２０】多重露光の原理を説明するための図である。
【図２１】多重露光の結果得られる画像の例を示す図である。
【符号の説明】
１・・・画像処理装置、３・・・統計データ抽出手段、４・・・合成画像生成手段、１２・・・最大値検出器、１３・・・最小値検出器、１４・・・平均値演算器、１５・・・所定生データ抽出器、１５ａ・・・輝度値データ抽出器、１５ｂ・・・ＲＧＢの画素値データ抽出器、２２・・・加算ユニット、３５・・・状態データ演算部
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、動く物体の軌跡を得るための画像処理装置、画像処理方法及びプログラムに関する。
【０００２】
【従来の技術】
時間的に連続した静止画、例えば秒３０フレームの静止画を、連続画像として撮り、動画像は、その静止画を連続的に再生することによって得ることができる。そして、その得られた動画像に基づいて、画像中の動いた物体の軌跡を明確にしたいという要求がある。例えば、スポーツにおいて、動くボールの軌跡を、明確にするために、多重露光したように見せる画像処理がある。
【０００３】
多重露光の方法において、単純な方法としては、１つのフレーム上に、連続画像を順次重ね合わせることによって、動く物体の動きに基づく軌跡が、その１つのフレーム上に残り、物体の動いた後がわかるようにする方法がある。
【０００４】
図１９は、多重露光を説明するための、撮影視野範囲において、物体が動く様子を示す図である。図２０は、多重露光の原理を説明するための図である。図２１は、多重露光の結果得られる画像の例を示す図である。図１９に示すように、視野枠１００内において、ボールがＡの位置から、矢印の方向に動き、Ｂの位置まで動く状況を、ビデオカメラで撮影、あるいは最近のデジタルカメラにおける動画撮影によって、連続撮影したとする。
【０００５】
説明を簡単にするために、このように時間的に連続撮影して得られた画像が１０枚の静止画がからなる場合、図２０に示すように、ボールがＡの位置にある時の静止画Ｆ１からＢの位置にある時の静止画Ｆ１０を、Ｆ１からＦ１０までを１つのフレームＦＢに重ねるように画像処理を行う。フレームＦＢには、Ｆ１からＦ１０のフレームに含まれている１０個のボールが１枚のフレームＦＢに現れるので、動いた物体の軌跡が１枚の画像上に表現される。
【０００６】
しかし、図２０に示すように、単純に１０個のフレームを重ねあわせると、フレーム上で同じ位置の画素において、各画素データは、静止している背景の画素値と動く物体の画素値との和となるので、動く物体の画素部分がクリアにならず、その動く物体の像は薄くなってしまう。例えば、フレームＦＢにおけるボールの画像は、１０個のフレーム中、Ｆ１におけるｆ１のみがボールの画像であるが、それ以外のｆ２からｆ１０の画像は背景画像であるため、ｆ１からｆ１０を単純に重ね合わせると、ｆ１の画像が１／１０（すなわち１０分の１）となって、背景画像の影響を受け、フレームＦＢにおいて重ね合わせた画像では物体の画像がクリアにならない。
【０００７】
このような欠点を無くして物体の画像をクリアにするために、背景画像の影響を受けないようにするストロボ連写技術と、クロマキー技術がある。
【０００８】
ストロボ連写は、背景を暗くした状態で、動く物体に向けてストロボを断続的に発光させながら、撮影することによって、連続画像を得るものである。得られた連続画像を重ね合わせても、背景は暗いすなわち黒なので、背景画像の影響を受けないで、物体の動きが、１つのフレーム上にはっきりした軌跡として表現される。
【０００９】
クロマキー技術は、画像処理によって背景を分離して、動く物体の画像のみを得るものである。例えば、青い背景を用意し、背景画像を画像処理において排除することによって、動く物体のはっきりとした画像を得ることができる。ＴＶ、映画の撮影等でよく利用されている（例えば、特許文献１参照）。
【００１０】
【特許文献１】
特開平６−３０８９３８号公報
【００１１】
【発明が解決しようとする課題】
しかし、ストロボ連写による方法は、撮影に先立って、黒の背景を用意しなければならず、連続撮影をする場所が、その黒の背景の前の場所に限られてしまう。さらに、実際に動く物体に向けて、ストロボを断続的に発光させなければならず、ストロボ発光のための機器も用意しなければならない。
【００１２】
クロマキー方法も同様で、画像処理において背景を分離するために、背景を予め決められた色のものを用意しなければならず、撮影前の準備に手間がかかっていた。
【００１３】
本発明は、通常に撮影された画像データから、背景の影響を受けないで、軌跡画像が得られるようにするための画像処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、前記画素位置毎に複数の画素値の数列データを生成する数列データ生成手段と、前記画素位置毎に、前記数列データの前記複数の画素値の最大値、最小値、中央値及び平均値の少なくとも１つを統計値として計算し保持する統計値演算手段と、予め決められたルールに従い、前記統計値に基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値を前記画素位置毎に選択し、選択した前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとする結果データ生成手段とを有する。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００１６】
図１は、本実施の形態に係わる画像処理装置の構成を示す構成図である。
画像処理装置１は、連続画像取込手段２と、統計データ抽出手段３と、合成画像生成手段４と、結果保持手段５を含む。
【００１７】
連続画像取込手段２は、ＤＲＡＭのようなメモリと、演算手段とを含み、予め決められたフレーム数の画像データをストアする。連続画像取込手段２への入力信号は、ラスタスキャンのカラー画像データであり、通常のＲＧＢ信号である。連続画像取込手段２は、連続して入力される画像データを、予め決められた数の複数のフレーム、例えば３０フレームの画像データを保持する。連続画像取込手段２は、そのメモリの容量に応じた予め決められた期間に対応する複数のフレームの画像データがストアされる。
【００１８】
そして、連続画像取込手段２は、合成開始コマンド等の出力コマンドに応じて、全ての画素位置について、各フレームにおける同一画素位置の画素値データを、フレーム数分をまとめて、フレーム数分のＲＧＢの画素値データを含むデータ列Ｓｅｑ（ＲＧＢ）のデータとして出力する。例えば、１つのフレームがｍ×ｎの画素数の場合、各フレームにおける同一画素位置の画素値データを、画素位置毎に、３０フレーム数分をまとめることによって、３０個の画素値データを含むデータ列のデータが、出力される。具体的には、連続画像取込手段２は、ｍ×ｎの画素マトリックスのフレームにおける同一画素位置の画素値データを、（１，１）画素位置から（ｍ，ｎ）画素位置まで順番に出力する。さらに、連続画像取込手段２は、画素位置毎に、時間的に連続した複数の画素値データの数列データを出力する。ある画素位置についての数列データとしては、例えば、３０フレーム分の画素値データを含む、次のようなＲＧＢデータ列Ｓｅｑ（ＲＧＢ）のデータである。
【００１９】
Ｓｅｑ（ＲＧＢ）＝（ＲＧＢＰ１，ＲＧＢＰ２，ＲＧＢＰ３，・・・，ＲＧＢＰ３０）
連続画像取込手段２は、数列データ生成手段ということができる。ここで、各ＲＧＢデータは、Ｒ、Ｇ、Ｂのそれぞれの画素値データを含み、例えば、ＲＧＢＰ１は、第１のフレームのある画素位置における画素のＲ、Ｇ、Ｂの画素値データを示す。また、連続画像取込手段２のメモリへの画像データの取込は、通常は常に連続して行われているものとする。そして、例えば、あるイベントがあると、それ以上の画像の取り込みは中止され、そのイベントが発生した時点から予め決められたフレーム数分だけ前の画像データがそのメモリに保持された状態となる。具体的に言えば、カメラであれば、ＣＣＤ等の撮像素子から出力されている画像データが連続画像取込手段１に連続的に入力され、１つのイベント入力としてのシャッターボタンが押されるということがない限り、リングバッファメモリのように順次上書きされている。しかし、シャッターが押されると、連続画像の取り込みは中止され、そのシャッターを押した時点より前の（すなわち過去の）、予め決められた期間において得られた複数のフレームの画像データが内部のメモリにストアされた状態となる。
【００２０】
図２は、メモリをリングバッファとして利用することを説明するための図である。リングバッファは、例えば３０フレームの画像データをストアするために３０個のサブバッファＳＢ１からＳＢ３０を有する。ＣＣＤ等の撮像素子からのフレーム毎の画像データを、イベント入力が発生するまで、基準位置ＳＢ０から順番にサブバッファへストアしていく。
【００２１】
例えば、最初のフレームの画像データは、サブバッファＳＢ１へストアされ、次のフレームの画像データは、サブバッファＳＢ２へストアされ、その次のフレームの画像データは、サブバッファＳＢ３へストアされる。このようにして、撮像素子からのフレーム毎の画像データが、リングバッファのサブバッファへ順番にストアされていく。そして、３１番目以降のフレームの画像データも、イベント入力がない限り、再度サブバッファＳＢ１から順番にストアされていく。しかし、一旦イベント入力があると、撮像素子からの画像データのリングバッファへの書き込みは中止されるので、連続画像取込手段２のメモリであるリングバッファは、イベント入力が発生する前の３０フレームの画像データがストアされている状態となる。
【００２２】
シャッターが押されたとき、サブバッファＳＢ２まで画像データがストアされていて、シャッターが押されたときを位置ＳＢＳで示すと、シャッター位置ＳＢＳより前の３０フレームの画像データ、すなわち、ＳＢ３、ＳＢ４、・・・ＳＢ３０、ＳＢ１、ＳＢ２の画像データが、連続画像取込手段２のメモリにストアされた状態となっている。
【００２３】
さらに、連続画像取込手段２は、演算手段を含み、画素位置毎のＲＧＢ信号に基づいて画素位置毎の輝度値Ｙを演算する。輝度値Ｙの演算は、各フレームにおける画素毎に行われる。そして、連続画像取込手段２は、出力コマンドに応じて、各フレームにおける同一画素位置の画素の輝度値データを、フレーム数分をまとめて、フレーム数分の輝度値データを含む輝度値データ列Ｓｅｑ（Ｙ）のデータとして出力する。例えば、１つのフレームがｍ×ｎの画素数の場合、各フレームにおける同一画素位置の輝度値データを、３０フレーム数分をまとめることによって、３０個の輝度値データを含む輝度値データ列Ｓｅｑ（Ｙ）のデータが、出力される。具体的には、連続画像取込手段２は、ｍ×ｎの画素マトリックスのフレームにおける同一画素位置の輝度値データを、（１，１）画素位置から（ｍ，ｎ）画素位置まで順番に出力する。さらに、連続画像取込手段２は、画素位置毎に、時間的に連続した複数の輝度値データの数列データを出力する。ある画素位置についての数列データとしては、例えば、３０フレーム分の輝度値データを含む、次のような輝度値データ列Ｓｅｑ（Ｙ）のデータである。
【００２４】
Ｓｅｑ（Ｙ）＝（ＹＰ１，ＹＰ２，ＹＰ３，・・・，ＹＰ３０）
ここで、例えば、ＹＰ１は、第１のフレームのある画素位置における画素の輝度値データを示す。数列データ生成手段として連続画像取込手段２は、画素位置毎のＲＧＢの数列データＳｅｑ（ＲＧＢ）及び輝度値の数列データＳｅｑ（Ｙ）を、統計データ抽出手段３へ出力する前に、出力開始を知らせるために開始信号を出力する。さらに、連続画像取込手段２は、画素位置毎のＲＧＢの数列データＳｅｑ（ＲＧＢ）及び輝度値の数列データＳｅｑ（Ｙ）を統計データ抽出手段３へ出力するときに、出力されている画素値データ及び輝度値データがそれぞれ画素マトリックス中のどの位置のデータを示す、画素位置データＰｉｘｅｌＸ，Ｙを併せて出力する。
【００２５】
統計データ抽出手段３は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）により構成され、入力されたＲＧＢの数列データと輝度値の数列データに基づいて、各画素位置における最大値、最小値、平均値及び予め決められた生データを出力する。
【００２６】
最大値データは、輝度値の数列に含まれる予め決められたフレーム数分の輝度値データの中から、最大値の輝度値を有するフレームのＲＧＢデータである。例えば、３０個のフレーム中、（１，１）の画素位置における最大輝度値の画素が、５番目のフレームに存在する場合、５番目のフレームの画素位置（１，１）のＲＧＢデータが、画素位置（１，１）の最大値データとして出力される。同様に、他の画素位置についても、全フレーム中、最大輝度値が存在するフレームのＲＧＢデータを、その画素位置の最大値データとして出力する。
【００２７】
最小値データは、輝度値の数列に含まれる予め決められたフレーム数分の輝度値データの中から、最小値の輝度値を有するフレームのＲＧＢデータである。各画素位置について、全フレーム中、最小輝度値が存在するフレームのＲＧＢデータを、その画素位置の最小値データとして出力する。
【００２８】
平均値データは、輝度値の数列に含まれる予め決められたフレーム数分の輝度値データの平均値のデータと、ＲＧＢの数列データに含まれる予め決められたフレーム数分のＲＧＢデータの平均値のデータである。なお、ＲＧＢデータの平均値は、ＲとＧとＢのそれぞれについての平均値である。
【００２９】
予め決められた生データとは、入力されたＲＧＢの数列データの中から予め決められた規則によって決定される、画素値のＲＧＢデータ及び輝度値である。予め決められた規則とは、ランクフィルタにより並び替えられた数列データ中の中央値を、出力すべき生データとするという規則、予め入力されたランクフィルタにより並び替えられたデータ列の中の、例えば３番目のデータというように予め決められた順位のデータを出力すべき生データとするという規則、等をいう。なお、ランクフィルタは、データを例えば小さい順に並び変え、並び替えられたデータの中から、予め決められた順位のデータを出力するものである。例えば、データが最小値のデータを出力するランクフィルタであれば、並び替えられたデータの中から１番目のデータを出力するものである。
【００３０】
統計データ抽出手段３は、画素マトリックスのｍ×ｎ個の各画素について、（１，１）から（ｍ，ｎ）まで順番に、画素位置毎の最大値、最小値、平均値及び予め決められた生データと共に、画素マトリックスの画素位置データＰｉｘｅｌＸ，Ｙも併せて合成画像生成手段４へ出力する。統計データ抽出手段３の構成は後述する。
【００３１】
合成画像生成手段４は、統計データ抽出手段３と同様にＦＰＧＡで構成され、統計データ抽出手段３からの画素位置毎の最大値、最小値、平均値、予め決められた生データ及び画素位置データが入力され、画素位置毎のＲＧＢの画素値データを結果保持手段５へ出力する。
【００３２】
合成画像生成手段４は、入力された最大値、最小値、平均値及び予め決められた生データに基づいて、画素位置毎に出力すべきＲＧＢの画素値データを決定するための判定論理器とセレクタを含み、画素位置毎に決定されたＲＧＢの画素値データを結果保持手段５へ出力する。後述する判定論理器は、予め決められたルールに従い、入力された最大値、最小値、平均値又は予め決められた生データに基づいて、出力すべきデータを、最大値、最小値、平均値又は予め決められた生データのいずれにするかを決定する。合成画像生成手段４は、決定された出力データを結果保持手段５へ出力する。合成画像生成手段４の構造については後述する。
【００３３】
結果保持手段５は、フレームメモリ等のメモリであり、合成画像生成手段４から供給されたＲＧＢの画素値データを、対応する画素位置毎にストアし、ストアされた画像データを、モニタ、プリンタ等の外部機器へ出力できるようになっている。
【００３４】
上述したような構成において、合成開始等の出力コマンドが与えられると、上述したように、画素位置（１，１）から（ｍ、ｎ）までの画素位置毎の画素値の数列及び輝度値の数列のデータが、連続画像取込手段２から統計データ抽出手段３へ供給される。すなわち、リングバッファ上にストアされた各フレームデータから同じ画素位置の画素値データを数列データとして読み出し、読み出された数列データは、順次統計データ抽出手段３へ入力される。連続画像取込手段２から統計データ抽出手段３へ画素位置毎に数列データを供給されるときに、各画素位置のデータも併せて供給されるので、統計データ抽出手段３は、画素位置に対応して数列データの処理を行うことができる。統計データ抽出手段３は、画素位置毎の、時間的に連続した画素値データについて、最大値、最小値、平均値及び予め決められた生データを抽出する。統計データ抽出手段３は、画素位置毎に抽出した最大値、最小値、平均値及び予め決められた生データを、結果データ生成手段としての合成画像生成手段４に供給する。統計データ抽出手段３から合成画像生成手段４へ画素毎に最大値、最小値、平均値及び予め決められた生データを供給されるときに、各画素位置のデータも併せて供給するので、合成画像生成手段４は、画素位置に対応して数列データの処理を行うことができる。
【００３５】
合成画像生成手段４は、画素位置毎に画像合成処理を実行し、画素位置毎に結果データを生成して、結果保持手段５へ出力する。従って、画素位置毎の数列データが連続画像取込手段２から連続的に出力され、統計データ抽出手段３に入力されて抽出された画素位置毎の最大値、最小値、平均値及び予め決められた生データが合成画像生成手段４に取り込まれると、その画素位置について画像処理が行われ、結果保持手段５に結果データが、対応する画素位置のデータとして書き込まれる。この処理が、画素位置毎に入力される数列データに対して連続的に実行されることによって、後述するように、結果保持手段５は、動く物体の軌跡データをクリアに生成することができる。
【００３６】
図３は、統計データ抽出手段３の構成を示す機能ブロック図である。
【００３７】
統計データ抽出手段３は、数列状態制御器１１と、最大値検出器１２と、最小値検出器１３と、平均値演算器１４と、所定生データ抽出器１５を含む。数列状態制御器１１は、最大値検出器１２、最小値検出器１３、平均値演算器１４及び所定生データ抽出器１５に対して各種制御信号ＣＳを出力することによって、最大値検出器１２等に所定の動作させる。制御信号ＣＳは、各機能ブロック回路への、リセット信号、起動信号、停止信号、結果出力信号等を含む。
【００３８】
統計データ抽出手段３には、画素位置毎に、輝度値のデータ列Ｓｅｑ（Ｙ）及びＲＧＢのデータ列Ｓｅｑ（ＲＧＢ）のデータが入力されるので、統計データ抽出手段３は、入力される輝度値及びＲＧＢの画素値のデータを、画素位置毎の連続した数列データとして、取り扱う。数列状態制御器１１は、その数列データとして入力された画素位置毎のデータを、各回路において所定のタイミングで処理するために制御信号ＣＳ等を出力する。
【００３９】
数列状態制御器１１は、カウンタ１６を含む。カウンタ１６は、画素位置毎に入力された輝度値あるいは画素値の数列におけるデータの数をカウントするものであり、統計データ抽出手段３に入力されるデータが、輝度値あるいは画素値の数列内において何番目のデータであるかをカウントする。例えば、輝度値の数列が３０個の輝度値データを有し、各輝度値データが順々に統計データ抽出手段３に入力されるとき、カウンタ１６は、入力される各輝度値データが、３０個の輝度値データを含む輝度値の数列中の何番目かをカウントして、入力データが何番目の輝度値データかを示すカウント値ＣＮＴを出力する。
【００４０】
また、連続画像取込手段２は、統計データ抽出手段３への画素位置毎の輝度値及び画素値の数列データの出力を開始する直前に、開始信号を出力する。よって、カウンタ１６は、ｍ×ｎのマトリックスにおける各画素位置の輝度値及び画素値の数列の最初のデータが入力される前にリセットさせる。その結果、カウンタ１６のフレームカウント値ＣＮＴは、入力されたデータが、各画素位置における数列データ内において何番目のフレームのものかを示す。
【００４１】
最大値検出器１２は、比較器１７、判定器１８、途中ランク結果レジスタ１９、特定ＲＧＢ等保持レジスタ２０及び結果出力手段２１を含む。画素位置毎の輝度値及び画素値の数列データが入力される直前に、比較器１７等が数列状態制御器１１からの制御信号ＣＳに応じてリセットされるので、最大値検出器１２は、画素位置毎に輝度値の数列データ内の最大輝度値に対応するＲＧＢの画素値データ及び最大輝度値データとその最大輝度値を含むフレームのカウント値のデータを、結果データＯＵＴ１として出力する。
【００４２】
比較器１７へは、マトリックスの（１，１）から（ｍ，ｎ）までの各画素について、画素位置毎の輝度値の数列のデータが順番に入力される。比較器１７には、入力された輝度値データと、途中ランク結果レジスタ１９にストアされている輝度値データとが入力され、入力された輝度値データの値から、途中ランク結果レジスタ１９にストアされている輝度値データの値を差し引く引き算を行う。比較器１７は、引き算した結果の値の符号、すなわちプラスかマイナスかを示す信号が、判定器１８へ供給される。
【００４３】
判定器１８は、入力された信号がプラスの符号を示す時に、途中ランク結果レジスタ１９及び特定ＲＧＢ等保持レジスタ２０に出力信号ＣＯＭを供給する。途中ランク結果レジスタ１９は、出力信号ＣＯＭの供給を受けると、比較器１７に入力された輝度値のデータを保持する。特定ＲＧＢ等保持レジスタ２０は、出力信号ＣＯＭの供給を受けると、比較器１７に入力された輝度値データに対応するＲＧＢの画素値データと、フレームカウント値のデータとを保持する。
【００４４】
なお、各画素位置の輝度値の数列データの１つ目のデータのときは途中ランク結果レジスタ１９には何のデータもストアされていないので、１つ目のデータのときは比較器１７がプラスを示す信号を出力するようにしてもよいし、あるいは、各画素位置の輝度値の数列データの１つ目のデータのときに判定器１８が出力信号ＣＯＭを出力するようにすることによって、１つ目の輝度値データが途中ランク結果レジスタ１９にストアされるように、最大値検出器１２は構成されている。
【００４５】
画素マトリックスの各画素において、輝度値の数列データの全てのデータについて比較及び判定処理が行われると、数列状態制御器１１からの制御信号に応じて、特定ＲＧＢ等保持レジスタ２０にストアされているＲＧＢの画素値データ及びフレームカウント値データが、その画素位置の最大値データとして出力手段２１へ供給される。結果出力手段２１は、数列状態制御器１１からの制御信号に応じて、最大値データを、合成画像生成手段４へ供給する。すなわち、統計データ抽出手段３の最大値検出器１２は、ｍ×ｎのマトリックスの各画素についての、輝度が最大のときのＲＧＢデータとフレームカウント値を合成画像生成手段４へ結果出力手段２１を介して出力する。
【００４６】
最小値検出器１３の構成は、最大値検出器１２の構成と略同じであるので、図３において、この構成は省略されている。最小値検出器１３と最大値検出器１２の構成上の異なる点は、最小値検出器１３の比較器１７が、途中ランク結果レジスタ１９にストアされている輝度値データの値から、入力された輝度値データの値を差し引く引き算を行うようにしている点である。その結果、統計データ抽出手段３の最小値検出器１３は、ｍ×ｎのマトリックスの各画素位置についての、輝度値が最小のときのＲＧＢの画素値データ、最小輝度値とフレームカウント値を、結果データＯＵＴ２として出力手段２１を介して合成画像生成手段４へ出力する。
【００４７】
平均値演算器１４は、輝度値、Ｒ、Ｇ及びＢの画素値のそれぞれ毎に設けられた複数の加算ユニット２２と、割り算を行ってその結果を保持する１／ｋレジスタ２３を含む。各加算ユニット２２は、加算器２４と積算レジスタ２５を含む。
【００４８】
ある画素位置に関する輝度値の数列データのデータが、順々に加算器２４に入力される。各数列データの最初のデータが加算器２４の一つの入力に入力されたときは、他方の入力には何もデータは入力されないで、入力された最初のデータがそのまま積算レジスタ２５にストアされる。２番目のデータが入力されたときは、加算器の他方の入力には、積算レジスタ２５にストアされているデータが入力されるので、加算器は１つ目のデータと２つ目のデータを加算して、その加算した値が、積算レジスタ２５に書き込まれる。このようにして、１つの画素位置の輝度値の数列データの全ての輝度値が加算器２４に入力されると、積算レジスタ２５には、その画素位置の輝度値の積算値が積算レジスタ２５にストアされる。
【００４９】
同様に、Ｒ、Ｇ、Ｂのそれぞれについても、輝度値の数列データについての加算ユニット２２と同様の加算ユニットが設けられる。従って、１つの画素位置のＲＧＢの画素値の数列データのＲ、Ｇ、Ｂの画像値データが、それぞれ対応する加算器２４に入力されると、積算レジスタ２５には、Ｒ、Ｇ、Ｂの色毎の画素値の積算値が積算レジスタ２５にストアされる。
【００５０】
輝度値、Ｒ、Ｇ及びＢのそれぞれの加算ユニット２２からの各積算値データは、１／ｋレジスタ２３へ供給され、データ列に含まれるデータ数ｋ（ｋは整数であり、フレーム数あるいは数列データに含まれるデータ数である。）で割る割り算が行われ、その結果、輝度値、Ｒ、Ｇ及びＢのそれぞれの平均値データが保持される。そして、１／ｋレジスタ２３は、数列状態制御器１１からの制御信号に応じて、画素位置毎の輝度値、Ｒ、Ｇ及びＢのそれぞれの平均値データを、合成画像生成手段４へ供給する。すなわち、平均値演算器１４は、ｍ×ｎのマトリックスの各画素位置についての、輝度値、Ｒ、Ｇ及びＢのそれぞれの平均値データを、１／ｋレジスタ２３を介して結果データＯＵＴ３として合成画像生成手段４へ出力する。
【００５１】
所定生データ抽出器１５は、所定の生の輝度値データ抽出器１５ａと所定の生のＲＧＢの画素値データ抽出器１５ｂを含む。輝度値データ抽出器１５ａは、カウント値判定器２６と、保持レジスタ２７と、出力手段２８とを含む。
【００５２】
カウント値判定器２６には、各輝度値の数列データ内における各データが何番目のデータかを示すカウント値ＣＮＴが入力されている。カウント値判定器２６は、入力されているカウント値ＣＮＴが、予め設定されている値と一致したときに、一致信号を保持レジスタ２７へ出力する。保持レジスタ２７には、画素位置毎の輝度値の数列データが入力され、カウント値判定器２６からの一致信号の入力があると、そのとき入力されている輝度値データを保持する。
【００５３】
保持レジスタ２７は、各画素の輝度値の数列データの入力が終わると、数列状態制御器１１からの制御信号に基づいて、保持している輝度値データを出力手段２８へ出力する。そして、出力手段２８は、数列状態制御器１１からの制御信号ＣＳに基づいて、出力手段２８にストアされている輝度値データを合成画像生成手段４へ結果データＯＵＴ４として出力する。
【００５４】
ＲＧＢデータ抽出器１５ｂは、輝度値データ抽出器１５ａと同様に、カウント値判定器２６と、保持レジスタ２７と、出力手段２８とを含む。従って、保持レジスタ２７には、画素位置毎のＲＧＢの画素値の数列データが入力され、カウント値判定器２６からの一致信号の入力があると、そのとき入力されているＲＧＢデータを保持する。そして、保持レジスタ２７は、各画素のＲＧＢの数列データの入力が終わると、数列状態制御器１１からの制御信号に基づいて、保持しているＲＧＢの画素値データを出力手段２８へ出力する。そして、出力手段２８は、数列状態制御器１１からの制御信号ＣＳに基づいて、出力手段２８にストアされている画素値データを合成画像生成手段４へ結果データＯＵＴ４として出力する。
【００５５】
このように、統計データ抽出手段３は、画素位置毎に数列データの複数の画素値の最大値、最小値、平均値と所定の生データを計算して出力する。
【００５６】
次に、合成画像生成手段４について説明する。図４は、結果データ生成手段としての合成画像生成手段４の構成を示す機能ブロック図である。合成画像生成手段４は、パラメータ設定部３１と、判定論理器３２と、セレクタ３３と、状態レジスタ３４を含み、画素位置毎の結果データを生成する。
【００５７】
パラメータ設定部３１は、判定論理器３２で使用される各種パラメータをストアする。
【００５８】
判定論理器３２は、画素位置毎に予め決められたルールが設定されており、入力された画素位置の最大値、最小値、平均値、所定の生データのいずれを出力するかの判定を行い、どのデータを出力するかの指示をセレクタ３３に与える。判定論理器３２は、複数のルールが予め設定されており、画素位置毎にどのルールが適用されるか、予め決められている。
【００５９】
セレクタ３３は、判定論理器３２からの指示に従って、画素位置毎に、最大値、最小値、平均値及び所定の生データのいずれかのＲＧＢの画素値データか、あるいは予め決められた計算値を、結果出力値ＯＵＴとして出力する。
【００６０】
判定論理器３２における、予め決められたルールの例を次に示す。
【００６１】
例１）結果出力値ＯＵＴは、（Ｍａｘ＋Ｍｉｎ−Ａｖｅ）とする。
【００６２】
例２）（Ｍａｘ−Ａｖｅ）＞（Ｍｉｎ−Ａｖｅ）の場合は、結果出力値ＯＵＴは、Ｍａｘとする。これ以外の場合は、結果出力値ＯＵＴは、Ｍｉｎとする。
【００６３】
例３）（Ｍａｘ−Ａｖｅ）／（−Ｍｉｎ＋Ａｖｅ）が予め決められた値Ｌよりも大きい場合は、結果出力値ＯＵＴは、Ｍａｘとする。（−Ｍｉｎ＋Ａｖｅ）／（Ｍａｘ−Ａｖｅ）が予め決められた値Ｌよりも大きい場合は、結果出力値ＯＵＴは、Ｍｉｎとする。これら以外は、結果出力値ＯＵＴは、５番目に入力された生データとする。
【００６４】
例えば、このようなルールが、画素位置毎に設定されており、統計データ抽出手段３から出力される画素位置に基づいて、合成画像生成手段４は、各画素位置について予め決められているルールに基づく画像処理を実行する。
【００６５】
すなわち、判定論理器３２は、予め決められたルールに従い、計算された統計値に基づいて、数列データ中のいずれかの画素値、又は統計値の１つの値を画素位置毎の結果出力値として決定する。
【００６６】
決定された画素値あるいは統計値を、結果出力値として出力させるために、選択信号が、判定論理器３２からセレクタ３３へ出力される。セレクタ３３は、選択信号に基づいて、決定された画素値又は統計値を、フレーム中の対応する画素位置の結果データとして、結果保持手段５へ出力する。
【００６７】
また、判定論理器３２は、状態データ演算部３５を含む。状態レジスタ３４は、判定論理器３２において予め設定された画像処理のルールあるいは各ルールにおいて用いられるパラメータの値を変更するときに利用される状態データを保持するレジスタである。例えば、対象画像が昼に撮られたものか、夜に撮られたものかによって、画素毎に画像処理ルールを変更したり、あるいは画像処理ルールにおけるパラメータ値を変更したりするときに、昼なのか、夜なのかを示す状態データが、状態レジスタ３３に保持される。状態レジスタ３３にストアされる状態データとしては、過去のデータについて得られたデータを保持するようにしてもよい。
【００６８】
状態レジスタ３４にストアされる状態データは、状態データ演算部３５の演算結果として、状態データ演算部３５の演算結果データが書き込まれる。状態レジスタ３４には、演算結果データは画素位置毎にストアされる。
【００６９】
状態データ演算部３５の演算例を、図を用いて例を説明する。ここでは、例えば、画素位置毎に過去の最大値、最小値等の画素値データの変動の状況に基づいて状態を判定する例を説明する。
【００７０】
図５は、状態レジスタ３４と状態データ演算部３５の構成例を示す図である。上述したように、図５の状態データ演算部３５は、判定論理器３２内に含まれ、判定論理器３２に入力されるデータに基づいて予め決められた状態判定のための演算を行う。
【００７１】
状態判定のための演算例としては、画素位置毎の背景判定がある。例えば、最大値と平均値の差の絶対値が、予め決められた値よりも大きいとき、あるいは最小値と平均値の差の絶対値が予め決められた値よりも大きいときは、背景判定値を１とし、その他の場合は、０とする。
【００７２】
画素位置毎にこのような背景判定値が演算され、その演算された背景判定値１または０のデータが加算器４１の一方に入力される。加算器４１の出力は、１／２乗算器４２に入力されることによって、半分の値にされ、その１／２乗算器４２の出力が、状態レジスタ３４にストアされる。そして、状態レジスタ３４にストアされたデータは、加算器４１の他方の入力として入力される。
【００７３】
この結果、状態レジスタ３４の状態データの値は、０から１の間の値となり、例えば、その値が０．２５以下であれば、背景領域部分の画素であり、０．７５以上であれば、人の画像部分の画素であり、それ以外の０．２５から０．７５の間のときは、物体が通過したような領域であるという判定を行い、その判定結果を画素位置毎の状態データとして、状態レジスタ３４に保持しておく。保持された状態データに応じて、画素位置毎に適用するルールを変更してその出力データを選択するようにする。
【００７４】
このようにすれば、状態データに応じて同じ画素位置において、適用されるルールを変更することができる。
【００７５】
なお、判定論理器３２において、セレクタ３３からの出力信号ＯＵＴを、条件に応じて、統計値又は所定の生データ以外の、予め決められた画素値に変更するような画像処理のルールが実行されるようにしてもよい。例えば、結果保持手段５に保持された画素値データにおいて、その画素値データが予め決められたフレームカウント値の画素値データの場合は、その画素値データを予め決められた別の色の画素値に変更するような処理を行なってもよい。
【００７６】
このようにすれば、フレームカウント値は、時間に対応するので、予め決められたフレームの画素を全く別の色にして強調する等の効果を、軌跡画面上で行うことができる。
【００７７】
さらに、状態レジスタ３４の内容に応じて、ルールを変更するのではなく、ルールにおいて用いられるパラメータ値を変更するようにしてもよい。このようにすれば、状態レジスタ３４の状態データに応じて、ルール自体あるいはルールにおいて用いられるパラメータ値を変更することによって、軌跡画像における画像効果を変更するように制御することができる。
【００７８】
次に以上説明した画像処理装置を用いた画像処理の例を説明する。なお、以下の例では、説明を簡単にするために白黒の画像データの例で説明する。
【００７９】
図６から図９は、撮影視野内において、白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。図６は、２つのボールが最初にある位置を示す図である。２つのボールの位置は、図６に示す位置から矢印に沿って動き始めて、図７に示す位置になり、続いて図８に示す位置になり、最後に図９に示す位置になったとする。このとき、上述した連続画像取込手段２は、図６から図９の状態になるまでの連続する複数フレームの画像データをストアする。
【００８０】
このような状況において、画面上のＰ点の画素（以下、画素Ｐという）に着目すると、２つのボールが図６から図９の位置に変化する間に、画素Ｐにおける例えば輝度値データは、図１０に示すように変化する。図１０は、図６から図９までの連続するフレームにおける画素Ｐの輝度値データの変動の様子を示す図である。画素Ｐでは、最初に黒いボールが通過した後に、白いボールが通過するので、図１０に示すように、輝度値は、背景の輝度値が続いた後に途中で一旦低くなり、再度背景の輝度値に戻る。その後、白いボールが通過するので、背景の輝度値から、急に高くなり、その後また、背景の輝度値に戻る。
【００８１】
また、画面上のＱ点の画素（以下、画素Ｑという）に着目すると、２つのボールが図６から図９の位置に変化する間に、画素Ｑにおける例えば輝度値データは、図１１に示すように変化する。図１１は、図６から図９までの連続するフレームにおける画素Ｑの輝度値データの変動の様子を示す図である。画素Ｑでは、白いボールが通過するので、図１１に示すように、輝度値は、背景の輝度値が続いた後に、白いボールが通過した時に、背景の輝度値から、急に高くなり、その後また、背景の輝度値に戻る。
【００８２】
画面上のＦ点の画素（以下、画素Ｆという）に着目すると、２つのボールが図６から図９の位置に変化する間に、画素Ｆにおける例えば輝度値データは、図１２に示すように変化する。図１２は、図６から図９までの連続するフレームにおける画素Ｆの輝度値データの変動の様子を示す図である。画素Ｆでは、白いボールも黒いボールも通過しないので、図１２に示すように、輝度値は、背景の輝度値が続く。
【００８３】
このような状況で、動く物体の所望の軌跡画像を、背景の影響を受けないで図１３のような軌跡画像を得たいときは、上述した判定論理器において、次のような４つのルールを、判定論理器に組み込み、フレーム中の全ての画素についてこれらの４つのルールを適用した画像処理を実行する。
【００８４】
ルール１）その画素位置の輝度値の数列データの全てのデータが、予め決められた許容幅内Ｄ（＝ＴＨ１−ＴＨ２）であるときは、数列データの平均値を、その画素位置の輝度値とする。これは、図１２に示すような場合である。
【００８５】
ルール２）その画素位置の輝度値の数列データ中に、予め決められた閾値ＴＨ１以上のデータのみがあるときは、数列データ中の最大値を、その画素位置における輝度値とする。これは、図１１に示すような場合である。
【００８６】
ルール３）その画素位置の輝度値の数列データ中に、予め決められた閾値ＴＨ２以下のデータのみがあるときは、数列データ中の最小値を、その画素位置における輝度値とする。これは、図には示していない。
【００８７】
ルール４）その画素位置の輝度値の数列データ中に、予め決められた閾値ＴＨ１以上のデータと、さらに予め決められた閾値ＴＨ２以下のデータがあるときは、数列データ中の最小値を、その画素位置における輝度値とする。これは、図１０に示す場合である。
【００８８】
以上のような４つのルールを、図６から図９までの連続画像の各フレームの各画素位置の数列データに対して適用した画像処理を行うと、図１３に示すような軌跡画像が得られる。
【００８９】
ボールが通らない背景の部分の画素位置は、ルール１に従って、その画素位置の数列データの平均値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となる。白いボールのみが通った部分の画素位置は、ルール２に従って、数列データの最大値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となるので、白いボールの軌跡はクリアになる。同様に、黒いボールのみが通った部分の画素位置は、ルール３に従って、数列データの最小値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となるので、黒いボールの軌跡はクリアになる。
【００９０】
さらに、両方のボールが通った画素位置の部分は、ルール４に従って、数列データの最小値が、重ね合わせ画像のフレームにおけるその画素位置の輝度値となるので、図８に示すように、白いボールと黒ボールが重なった部分の画像は、黒いボールの軌跡が示されるようになる。
【００９１】
なお、ルール４において、数列データの最大値を、重ね合わせ画像のフレームにおけるその画素位置の輝度値とすれば、白いボールと黒ボールが重なった部分の画像は、白いボールの軌跡が示されるようになる。従って、画素位置毎に適用されるルールを変更すると、動く物体の軌跡画像の表現を変更することができる。
【００９２】
以上のように、軌跡画像は、背景の影響を受けることなく、クリアに表現される。
【００９３】
次に、上述した実施の形態の変形例について説明する。
本変形例は、上述した実施の形態の構成に数列タイプを判定するための数列タイプ判定手段が追加されている。判定結果である数列タイプのデータが、結果データ生成手段である合成画像生成手段４に入力され、合成画像生成手段４は、数列タイプに応じて、画素位置毎に適用されるルール等の変更を行って、軌跡画像を生成する。
【００９４】
図３に示した構成では、統計値抽出手段３は、画素位置毎に、輝度値の数列データ及びＲＧＢの数列データの中からそれぞれ最大値、最小値、平均値と所定の生データを統計値データとして出力していたが、本変形例では、それに加えて、画素位置毎の輝度値の数列データ及びＲＧＢの数列データを、それぞれ複数のサブシーケンスに分割し、統計値抽出手段３は、分割したサブシーケンス毎にこれらの統計値データを出力するように構成されている。
【００９５】
連続画像取込手段２には、予め決められた期間の複数フレームの画像データがストアされている。その複数フレームの各画素位置における輝度値及びＲＧＢの数列データは、図１４に示すように、等間隔の複数のサブシーケンスＳＳ１、ＳＳ２、・・・に分解される。図１４は、サブシーケンスに分割された全体シーケンスにおける数列データの変動の様子を説明するための図である。そして、統計値抽出手段３は、各サブシーケンス内におけるデータの、最大値、最小値及び平均値を出力する。
【００９６】
統計値抽出手段３がサブシーケンス毎に最大値、最小値及び平均値を出力するようにするために、図３の数列状態制御器１１は、最大値検出器１２、最小値検出器１３及び平均値演算器１４が、各サブシーケンスに対応する部分数列毎に最大値、最小値及び平均値を出力するように、制御信号ＣＳを出力する。
【００９７】
部分数列毎に得られた最大値、最小値及び平均値は、図１５に示すサブシーケンスデータテーブルの最大値（Ｍａｘ）、最小値（Ｍｉｎ）及び平均値（Ａｖｅ）のデータとして、サブシーケンス毎にストアされる。
【００９８】
図１６は、得られた最大値、最小値及び平均値のデータに基づいて、数列タイプを判定して数列タイプデータを生成する数列タイプデータ生成手段の構成を示す構成図である。数列タイプデータ生成手段５１は、統計データ抽出手段３に含まれる。
【００９９】
数列タイプデータ生成手段５１は、各サブシーケンスの最大値、最小値及び平均値のデータに基づいて、後述するようなルールに従って、シーケンス全体の数列及び各サブシーケンスの部分数列のタイプを判定して、数列タイプデータを出力する。出力された部分数列毎の数列タイプのデータは、図１５に示すサブシーケンスデータテーブルの数列タイプ（Ｔｙｐｅ）のデータとして、サブシーケンス毎にストアされる。
【０１００】
なお、図１６に示す数列タイプデータ生成手段５１は、全体シーケンスに対する数列タイプの判定も行うが、全体シーケンスに対する輝度値と、ＲＧＢの色毎の画素値の数列タイプのデータは、それぞれ図示しないテーブルにストアされる。
【０１０１】
数列タイプデータ生成手段５１、例えば、図１７に示すようなＡ、Ｂ、Ｃ、Ｄの４つの数列タイプを、全体シーケンス及び各サブシーケンスの最大値、最小値及び平均値のデータに基づいて、判定する。図１７は、数列タイプの種類の例を説明するための図である。
【０１０２】
図１７のタイプＡは、数列のデータ値に変化が極めて少なかった場合であり、タイプＢは、数列のデータ値が途中で大きくなることのみがあった場合であり、タイプＣは、数列のデータ値が小さくなることのみがあった場合であり、タイプＤは、数列のデータ値が大きくなることと、小さくなることの両方があった場合である。全体シーケンス及び各サブシーケンスの数列データが、図１７のどのタイプかを判定するために、数列タイプデータ生成手段５１は、図１８のようなルールを実行する。図１８は、数列タイプ判定のためのルールを説明するための図である。
【０１０３】
図１８に示すように、タイプＡである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さくて、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さいときであり、この場合は、数列タイプデータ生成手段５１は、タイプＡであると判定する。
【０１０４】
タイプＢである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）以上で、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さいときであり、この場合は、数列タイプデータ生成手段５１は、タイプＢであると判定する。
【０１０５】
タイプＣである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）よりも小さくて、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）以上のときであり、この場合は、数列タイプデータ生成手段５１は、タイプＣであると判定する。
【０１０６】
タイプＤである場合は、最大値と平均値の差の絶対値が予め決められた値（Ｋ１）以上で、かつ最小値と平均値の差の絶対値が予め決められた値（Ｋ１）以上のときであり、この場合は、数列タイプデータ生成手段５１は、タイプＤであると判定する。
【０１０７】
図１８に示すようなルールに基づいてタイプ判定を行うことによって、サブシーケンス毎に数列タイプが判定され、その結果、図１５のサブシーケンスデータテーブルの数列タイプ（Ｔｙｐｅ）のデータがサブシーケンス毎にストアされる。そして、上述したように、全体シーケンスに対しても、図１８に示すようなルールに基づいてタイプ判定を行われる。
【０１０８】
なお、サブシーケンス毎に付与された数列タイプの組み合せ、順番等の数列タイプ構造に応じて、全体シーケンスの数列タイプを生成するようにしてもよい。例えば、１００個の小サブシーケンス毎に数列タイプを付与し、それぞれが５つの小サブシーケンスを含む２０個の中サブシーケンスに分割する。そして、小サブシーケンス毎に付与された数列タイプのデータに基づいて、対応する中サブシーケンス毎に数列タイプを付与する。さらに、２０個の中サブシーケンスを、それぞれが５つの中サブシーケンスを有する大サブシーケンスに分割する。そして、中サブシーケンス毎に付与された数列タイプのデータに基づいて、対応する大サブシーケンス毎に数列タイプを付与する。最後に、大サブシーケンス毎に付与された数列タイプに基づいて、全体シーケンスの数列タイプを付与するようにする。すなわち、サブシーケンスの数列タイプの構造に基づいて、全体シーケンスの数列タイプを決定する。
【０１０９】
このようにして、付与された数列タイプのデータは、合成画像生成手段４に供給され、合成画像生成手段４は、数列タイプに応じて、画素位置毎に適用されるルールあるいはルールに用いられるパラメータの変更等等の変更を行って、軌跡画像を生成することができる。
【０１１０】
なお、上述した例では、画像データが連続画像取込手段２に連続的に入力されているときに、あるイベントが発生すると、それ以上は画像データの入力を中止して、ストアされた複数フレームの画像データに対して統計データ抽出処理と合成画像生成処理を行っていた。しかし、画像データの入力を中止せずに、画像データの入力を連続的に行いながら、統計データ抽出処理と合成画像生成処理を行うようにしてもよい。こうすることによって、動画に対して上述したような効果を生じさせることができる。
【０１１１】
具体的には、図２のリングバッファにおいて、入力される画像データは、フレーム毎にサブバッファに順番にストアされていく一方で、上述した統計データ抽出処理と合成画像生成処理を、予め決められた数の連続した複数のサブバッファの範囲を順番にずらしていきながら、その範囲のサブバッファの画像データに対して行う。例えば、入力される画像データは、フレーム毎にサブバッファＳＢ１からに順番にストアされていく。統計データ抽出処理と合成画像生成処理は、サブバッファＳＢ１からＳＢ５の５つの連続したサブバッファに対して行った後は、サブバッファＳＢ２からＳＢ６の５つの連続したサブバッファに対して行い、その後は、サブバッファＳＢ３からＳＢ７の５つの連続したサブバッファに対して行うようにしていく。
【０１１２】
すなわち、画像データがリングバッファに入力されながら、リングバッファにストアされている複数フレーム中の一部のフレームであって、時間的に連続した複数フレームからなる部分フレームに対して、統計データ抽出処理と合成画像生成処理を実行する。さらに、入力される画像データに同期して、統計データ抽出処理と合成画像生成処理を行う部分フレームの範囲を、リングバッファにストアされた複数フレーム中で、時間的に移動させることによって、結果として、部分フレームは複数回得られる。その得られた部分フレーム毎に、統計データ抽出処理と合成画像生成処理を実行する。
【０１１３】
このように、画像データの入力に同期して、予め決められた範囲のサブバッファの画像データに対して、統計データ抽出処理と合成画像生成処理を行い、この処理を、連続的に入力される画像データの入力に同期して、サブバッファの範囲をずらしながら、統計データ抽出処理と合成画像生成処理を行う。このようにすると、合成画像生成手段から出力される画像は動画像となって、その動画像において上述したような軌跡画像を生じさせることができる。
【０１１４】
なお、フレーム中の全画素について、画素値の数列データを生成するのではなく、フレーム中の予め決められた領域内の画素についてのみ、数列データを生成し、その生成された数列データについてのみ統計値演算処理、結果データ生成処理等を行うようにし、そして、その予め決められた領域以外の画素については、予め決められたフレームの画素値を出力して、軌跡画像を生成するようにしてもよい。すなわち、フレーム中の予め決められた領域内のみ、例えばボールが写っている領域内のみの画素位置の画素値の数列データを生成し、その領域外の画素位置の画素値については複数フレーム中の予め決められたフレーム、例えば第１番目のフレームの画素値データを最終的に生成する軌跡画像のデータとするようにしてもよい。このようにすることによって、例えば、人がボールを蹴るような映像が含まれているような場合、フレーム中の軌跡画像を得たい領域のみ、例えばボールが動いている領域のみ上述したような数列データ生成処理、統計値演算処理、結果データ生成処理等の軌跡画像を得て、人が写っている領域を含むそれ以外の領域については、数列データ生成処理、統計値演算処理、結果データ生成処理等を行わないで、予め決められたフレームの画素値を利用した画像を得るようにすることができる。
【０１１５】
なお、以上説明した処理は、ソフトウエアプログラムによって実行することもできる。すなわち上述した回路の機能をプログラムによって実現することもできる。その場合、そのプログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等の可搬媒体や、ハードディスク等の記憶装置等に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本発明の画像処理装置を実現することができる。
【０１１６】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１１７】
【発明の効果】
以上説明したように、本発明によれば、通常に撮影された画像データから、背景の影響を受けないで、軌跡画像が得られるようにするための画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わる画像処理装置の構成を示す構成図である。
【図２】メモリをリングバッファとして利用することを説明するための図である。
【図３】本発明の実施の形態に係わる統計データ抽出手段の構成を示す機能ブロック図である。
【図４】本発明の実施の形態に係わる結果データ生成手段としての合成画像生成手段の構成を示す機能ブロック図である。
【図５】状態レジスタと状態データ演算部の構成例を示す図である。
【図６】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図７】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図８】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図９】白と黒の２つのボールが、それぞれ矢印で示す方向に動く状況を撮影する場合を説明するための図である。
【図１０】図６から図９までの連続するフレームにおける画素Ｐの輝度値データの変動の様子を示す図である。
【図１１】図６から図９までの連続するフレームにおける画素Ｑの輝度値データの変動の様子を示す図である。
【図１２】図６から図９までの連続するフレームにおける画素Ｆの輝度値データの変動の様子を示す図である。
【図１３】図６から図９までの連続画像に基づいて軌跡画像を示す図である。
【図１４】サブシーケンスに分割された全体シーケンスにおける数列データの変動の様子を説明するための図である。
【図１５】本発明の実施の形態に係わるサブシーケンスデータテーブルのデータ構造を説明するための図である。
【図１６】本発明の実施の形態に係わる数列タイプデータ生成手段の構成を示す構成図である。
【図１７】本発明の実施の形態に係わる数列タイプの種類の例を説明するための図である。
【図１８】本発明の実施の形態に係わる数列タイプ判定のためのルールを説明するための図である。
【図１９】多重露光を説明するための、撮影視野範囲において、物体が動く様子を示す図である。
【図２０】多重露光の原理を説明するための図である。
【図２１】多重露光の結果得られる画像の例を示す図である。
【符号の説明】
１・・・画像処理装置、３・・・統計データ抽出手段、４・・・合成画像生成手段、１２・・・最大値検出器、１３・・・最小値検出器、１４・・・平均値演算器、１５・・・所定生データ抽出器、１５ａ・・・輝度値データ抽出器、１５ｂ・・・ＲＧＢの画素値データ抽出器、２２・・・加算ユニット、３５・・・状態データ演算部
Claims (13)
- 予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、前記画素位置毎に複数の画素値の数列データを生成する数列データ生成手段と、
前記画素位置毎に、前記数列データの前記複数の画素値の最大値、最小値、中央値及び平均値の少なくとも１つを統計値として計算し保持する統計値演算手段と、
予め決められたルールに従い、前記統計値に基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値を前記画素位置毎に選択し、選択した前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとする結果データ生成手段とを有することを特徴とする画像処理装置。 - 前記数列データ生成手段は、前記フレームにおける予め決められた領域内の前記画素位置についてのみ前記数列データを生成し、
前記統計値演算手段は、生成された前記数列データについて前記統計値を計算するようにしたことを特徴とする請求項１に記載の画像処理装置。 - 前記数列データ生成手段は、前記予め決められた期間において得られた前記複数フレーム中の一部のフレームについてのみ、前記数列データを生成し、
前記統計値演算手段は、生成された前記数列データについて前記統計値を計算するようにしたことを特徴とする請求項１又は請求項２に記載の画像処理装置。 - 前記一部のフレームは、前記予め決められた期間において得られた前記複数フレーム中の一部のフレームであって、かつ時間的に連続した複数のフレームからなる部分フレームであり、
該部分フレームは、前記予め決められた期間内において得られた前記複数フレーム中を時間的に移動させて、複数回得るようにしたことを特徴とする請求項３に記載の画像処理装置。 - さらに、前記統計値に基いて、前記数列データの画素値の変化の様子を表現する数列タイプデータを生成する数列タイプデータ生成手段とを有し、
前記結果データ生成手段は、前記予め決められたルールに従い、前記数列タイプデータ生成手段によって生成された前記数列タイプデータと前記統計値とに基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値を選択し、選択した前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとすることを特徴とする請求項１に記載の画像処理装置。 - 前記予め決められた期間内において得られた前記複数のフレームは、時間的に分割され、
前記数列データ生成手段は、分割された複数の前記フレーム毎に前記数列データを生成し、
前記統計値演算手段は、その生成された前記数列データに対して前記統計値を計算し、
前記数列タイプデータ生成手段は、分割された複数の前記フレームの前記数列データに基づいて、分割された複数の前記フレーム毎に前記数列タイプデータを生成し、
前記結果データ生成手段は、分割された複数の前記フレーム毎に生成された前記数列タイプデータに基づいて、前記予め決められたルールが変更されることを特徴とする請求項５に記載の画像処理装置。 - 予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、前記画素位置毎に複数の画素値の数列データを生成し、
前記画素位置毎に、前記数列データの前記複数の画素値の最大値、最小値、中央値及び平均値の少なくとも１つを統計値として計算し、
予め決められたルールに従い、前記統計値に基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値を前記画素位置毎に選択し、選択した前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとすることを特徴とする画像処理方法。 - 前記数列データは、前記フレームにおける予め決められた領域内の前記画素位置についてのみ生成され、
前記統計値は、生成された前記数列データについて計算されるようにしたことを特徴とする請求項７に記載の画像処理方法。 - 前記数列データは、前記予め決められた期間において得られた前記複数フレーム中の一部のフレームについてのみ生成され、
前記統計値は、生成された前記数列データについて計算されるようにしたことを特徴とする請求項７又は請求項８に記載の画像処理方法。 - 前記一部のフレームは、前記予め決められた期間において得られた前記複数フレーム中の一部のフレームであって、かつ時間的に連続した複数のフレームからなる部分フレームであり、
該部分フレームは、前記予め決められた期間内において得られた前記複数フレーム中を時間的に移動させて、複数回得るようにしたことを特徴とする請求項９に記載の画像処理方法。 - さらに、前記統計値に基いて、前記数列データの画素値の変化の様子を表現する数列タイプデータを生成し、
前記予め決められたルールに従い、生成された前記数列タイプデータと前記統計値とに基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値が選択され、選択された前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとすることを特徴とする請求項７に記載の画像処理方法。 - 前記予め決められた期間内において得られた前記複数のフレームは、時間的に分割され、
分割された複数の前記フレーム毎に前記数列データを生成し、
その生成された前記数列データに対して前記統計値を計算し、
分割された複数の前記フレームの前記数列データに基づいて、分割された複数の前記フレーム毎に前記数列タイプデータを生成し、
分割された複数の前記フレーム毎に生成された前記数列タイプデータに基づいて、前記予め決められたルールが変更されることを特徴とする請求項１１に記載の画像処理方法。 - 予め決められた期間において得られた複数フレーム中の同一の画素位置における画像データを、時間的に連続した画素値データとして取得して、前記画素位置毎に複数の画素値の数列データを生成する機能と、
前記画素位置毎に、前記数列データの前記複数の画素値の最大値、最小値、中央値及び平均値の少なくとも１つを統計値として計算する機能と、
予め決められたルールに従い、前記統計値に基づいて、前記数列データ中のいずれかの前記画素値、又は前記統計値の１つの値を前記画素位置毎に選択し、選択した前記画素値又は前記値を、前記フレーム中の前記画素位置毎の結果データとする機能とを、
コンピュータに実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004913A JP3650616B2 (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003004913A JP3650616B2 (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004220194A true JP2004220194A (ja) | 2004-08-05 |
| JP3650616B2 JP3650616B2 (ja) | 2005-05-25 |
Family
ID=32895734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003004913A Expired - Fee Related JP3650616B2 (ja) | 2003-01-10 | 2003-01-10 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3650616B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013255180A (ja) * | 2012-06-08 | 2013-12-19 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| JP2015046019A (ja) * | 2013-08-28 | 2015-03-12 | キヤノン株式会社 | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 |
-
2003
- 2003-01-10 JP JP2003004913A patent/JP3650616B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013255180A (ja) * | 2012-06-08 | 2013-12-19 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| JP2015046019A (ja) * | 2013-08-28 | 2015-03-12 | キヤノン株式会社 | 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3650616B2 (ja) | 2005-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8885061B2 (en) | Image processing apparatus, image processing method and program | |
| JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
| CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
| US20140085498A1 (en) | Image processor, image processing method, and digital camera | |
| US10359498B2 (en) | Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium | |
| JP4565504B2 (ja) | 画像合成装置 | |
| US9413922B2 (en) | Photographing apparatus and method for synthesizing images | |
| KR20090088325A (ko) | 화상 처리 장치, 화상 처리 방법 및 촬상 장치 | |
| US20140078338A1 (en) | Image processor, image processing method, and digital camera | |
| US20150156400A1 (en) | Electronic apparatus and method of controlling the same | |
| JP7187154B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2007228099A (ja) | 撮像装置 | |
| JP2020053805A (ja) | 撮像装置及びその制御方法、並びにプログラム | |
| JPH07131708A (ja) | 画像合成装置 | |
| JPH11298784A (ja) | 電子カメラおよびその動作制御方法ならびにアニメーションｇｉｆ生成装置および方法 | |
| JP3650616B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR101733125B1 (ko) | 배경스크린이 필요 없는 크로마키 영상 합성 방법 | |
| CN110033421B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP7476644B2 (ja) | 撮影システム | |
| KR101473648B1 (ko) | 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템 | |
| US9479710B2 (en) | Cinematic image blur in digital cameras based on exposure timing manipulation | |
| KR100225611B1 (ko) | 스포츠 영상 효과장치 | |
| JP2008282077A (ja) | 撮像装置および画像処理方法並びにそのプログラム | |
| JP7476160B2 (ja) | 情報処理装置、情報処理システム、及びプログラム | |
| JP2010062905A (ja) | 撮像装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040831 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040910 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20041228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050218 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110225 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |