JP3603629B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3603629B2 JP3603629B2 JP36582798A JP36582798A JP3603629B2 JP 3603629 B2 JP3603629 B2 JP 3603629B2 JP 36582798 A JP36582798 A JP 36582798A JP 36582798 A JP36582798 A JP 36582798A JP 3603629 B2 JP3603629 B2 JP 3603629B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- trajectory
- subject
- frame
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、１枚の静止画（スチル画）に合成加工して表示出力する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、ＡＶ機器の普及、機能向上が著しい。特に、民生用、業務用を始め様々な場面でビデオカメラや電子スチルカメラ等の高機能化された画像記録機器が利用されるようになっている。これらの機器により撮影された画像は、機器本体に搭載された液晶パネルやケーブル等を介してテレビジョンやパーソナルコンピュータ（以下、パソコンと略称する）のモニタ上に簡易に表示出力することができ、また、プリンタ等を介して直接印刷出力することもできる。
しかしながら、撮影された様々な画像情報のうち、動画情報はその情報量が静止画像に比較して膨大であるうえ、動画の全てを再生表示して初めて被写体の動き等の一連の撮影内容を把握することができるものであるため、画像情報の記憶、再生、出力において、記憶容量を大量に必要とし、撮影内容の確認作業にも長時間を要するという問題、また、静止画像のように任意の画像を簡易に出力することができないという問題等を有している。
【０００３】
一方、画像記録機器の普及や、画像処理技術の向上に伴って、撮影された画像情報の様々な表現方法へのニーズが高まっている。例えば、車両の走行やゴルフのスイングのように、比較的動きの速い被写体の軌跡を静止画として表現することにより、被写体の一連の動きを直感的に把握することができる。
従来、ビデオカメラや電子スチルカメラ等により撮影された動画に限らず、一般的な動画情報（テレビジョン放送の映像情報等を含む）を、静止画像として表現する方法としては、動画情報を構成する複数のフレーム画像の中から特定時刻に表示される１枚のフレーム画像を代表画像として抽出し、表示する方法、あるいは、一定の時間間隔で複数枚のフレーム画像を代表画像として抽出し、これらの代表画像を順次、あるいは、分割画面に一括して、表示する方法等が知られている。
【０００４】
図１７は、動画情報を構成する複数のフレーム画像から１枚を抽出し表示する手法の概念図である。
図１７において、動画データＶＤには、車両が図面左方向から右方向へ走行する画像が含まれているものとする。ここで、動画データＶＤは、時系列的に配列する複数のフレーム画像（静止画）により構成されていると考えることができるため、被写体の動きを表す一連のフレーム画像の中から、例えば特定時刻Ｔ４における１枚のフレーム画像Ｆ１を抽出して表示出力することにより、静止画像に被写体（車両Ｃ１）の動きを盛り込むことができる。
しかし、このような表現方法にあっては、代表として抽出されたフレーム画像Ｆ１が特定時刻Ｔ４の静止画像１枚のみであるため、特定時刻Ｔ４の直前直後の動きを客観的に推測することはできるが、被写体の一連の動きを把握することはできない。すなわち、走行する車両を含む１枚のフレーム画像Ｆ１を静止画として表示しても、車両Ｃ１の動きは的確に表現されず、背景画像や車両の移動速度等の条件によっては、車両Ｃ１が静止しているように認識される。
【０００５】
図１８は、動画情報を構成する複数のフレーム画像から複数枚を抽出して分割画面に一括表示する手法の概念図である。
図１８に示すように、被写体の動きを表す一連のフレーム画像の中から、例えば一定の時間間隔で時刻Ｔ２、Ｔ４、Ｔ６、Ｔ８の４枚のフレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４を抽出して４分割画面に一括表示することにより、静止画像でありながら、４枚のフレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４を時系列順に見渡すことができ、被写体の一連の動き（車両Ｃ１〜Ｃ４の走行状態）を把握することができる。
しかし、このような表現方法においては、代表画像として抽出された複数のフレーム画像を全体にわたって見渡すことにより、見る者がフレーム画像間の関連を推測して車両Ｃ１〜Ｃ４の動きを認識しなければならず、また、４枚のフレーム画像Ｆ１〜Ｆ４のうち、いずれか１枚の静止画像によっては、上述した場合と同様に、被写体の一連の動きを直感的に把握することはできない。すなわち、走行する車両を含む複数のフレーム画像Ｆ１〜Ｆ４を静止画として、順次あるいは一括して表示しても、車両の動きは見る者の推測に委ねられる部分が多分に存在し、正確に認識される訳ではない。
このような問題点は、走行する車両に限らず、ゴルフのスイング等のように、比較的速い動きを有する被写体を撮影した動画情報を静止画像として表現する場合に必ず生じるものである。
【０００６】
【発明が解決しようとする課題】
ところで、動画情報を静止画像として表現する方法としては、映像データから複数のフレーム画像を抽出し、それらを単純に多重合成して１枚の静止画像を作成する方法が、特開平１０−２９０４５０号公報に記載されている。この方法は、映像データから等時間間隔で複数のフレーム画像を選択、抽出し、各フレームにおける同一位置の画素値の平均値を求め、その平均値を多重静止画像の画素値とするものであるが、動きのある部分の画素値が小さくなり、ほとんど見えなくなるという問題があるため、画素値に所定の重み付けを施して動きのある部分のかすれ等が生じないように、さらに改善を加えたものである。
【０００７】
しかしながら、上記公報に記載された方法は、抽出されたフレーム画像の全てについて、画素値のかすれがなく均等に表現されるように補正し、単純に重ね合わせたものにすぎず、例えば図１９に示すように、走行する車両Ｃ１〜Ｃ４に関する異なる時刻Ｔ２、Ｔ４、Ｔ６、Ｔ８におけるフレーム画像Ｆ１〜Ｆ４を、単に一枚の静止画ＦＱに多重合成したものが得られるにすぎない。すなわち、被写体の動作軌跡や軌道を認識することはできるが、動作の特性、例えばスピード感等を的確に表現するものではなく、また、被写体の動きを直感的に把握することができる画像や、特殊効果を有する画像を得られるものではない。
【０００８】
そこで、本発明は、動画データに含まれる被写体の動きに応じた画像表現を実現し、被写体の動きを直感的に把握することができる静止画を簡易に生成、出力することができる画像処理装置及び画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１記載の画像処理装置は、動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを示す特徴量を検出する動き検出手段と、前記動き動作検出手段により検出された前記特徴量のうち、前記被写体の動作速度に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動作速度に対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、を備えたことを特徴とする。
請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記記憶手段に記憶された前記複数のフレーム画像から、画像処理装置の使用者が任意のフレーム画像を選択するための基準画像選択手段を有し、前記基準画像設定手段は、前記基準画像選択手段により選択された前記フレーム画像を前記基準画像として設定することを特徴とする。
【００１０】
請求項３記載の画像処理装置は、動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを示す特徴量を検出する動き検出手段と、画像処理装置の使用者の指示に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動きに対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、を備えたことを特徴とする。
請求項４記載の画像処理装置は、請求項１、２、３記載の画像処理装置において、前記画像合成手段により生成された前記軌跡合成画像を表示出力する画像出力手段を有していることを特徴とする。
【００１１】
また、請求項５記載の画像処理装置は、複数のフレーム画像からなる動画情報を記憶する記憶手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、使用者の指示、あるいは被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段の選択結果に基づいて、前記記憶手段に記憶された前記複数のフレーム画像を用いて、該複数のフレーム画像の各々に含まれる被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする。
【００１２】
そして、請求項６記載の画像処理方法は、ＭＰＵによって実行される画像処理方法であって、動画情報から複数のフレーム画像を抽出して記憶手段に記憶するステップと、前記記憶手段に記憶された前記複数のフレーム画像からフレーム画像を選択し、基準画像として設定するステップと、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出するステップと、使用者の指示、あるいは検出された前記被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択するステップと、選択された軌跡画像生成機能、前記基準画像、及び、検出された前記被写体の動きに基づいて、前記複数のフレーム画像を加工し、前記被写体の動作軌跡を表現する軌跡画像を生成するステップと、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成するステップと、を含むことを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
図１において、１０は動画データ取込部（画像情報取込手段）、２０はフレームメモリ（記憶手段）、３０はＭＰＵ、４０はハードディスク、５０はＬＣＤ等のモニタ（画像出力手段）、６０はプリンタ（画像出力手段）、７０はキースイッチ等の入力部（基準画像選択手段、軌跡画像選択手段）、８０はデータ／命令伝送用のバスである。ここで、ＭＰＵ３０は、動き検出部（動き検出手段）３１と、軌跡画像生成部（軌跡画像生成手段）３２と、中心画像設定部（基準画像設定手段）３３と、画像合成部（画像合成手段）３４の各機能を有して構成されている。
【００１４】
これらの各機能は、概ね以下の通りである。
（１）動画データ取込部１０
動画データ取込部１０は、動画データから複数のフレーム画像を抽出して後述するフレームメモリ２０に記憶するものである。ここで、動画データは、ビデオデータや連続撮影された複数の静止画像により構成されるものであってもよい。要するに、複数のフレーム画像の連続により構成されるものであればよく、また、取り込まれるフレーム画像はアナログ画像であっても、デジタル画像であっても構わない。
動画データ取込部１０の概略構成について、図２を参照して説明する。
図２において、１１はフレーム画像選択部、１２はアナログ−デジタル変換器（以下、Ａ／Ｄと記す。）、１３は画像圧縮部、１４はバスインターフェースである。
【００１５】
フレーム画像選択部１１は、後述するＭＰＵ３０からの命令に従って、動画データから所定の時間間隔でフレーム画像を選択し、選択された各フレーム画像の画像信号を抽出する。ここで、選択されるフレーム画像は、動画データを構成する全てのフレーム画像であってもよいし、特定の時間間隔、例えば１／５ｓｅｃや１／１０ｓｅｃ毎のフレーム画像であってもよいが、動画データに含まれる被写体の動きを把握できる程度の時間間隔を有していることを必須とする。なお、フレーム画像の選択の際に用いる時間間隔は、ＭＰＵ３０により予め設定された基準値を用いる方法や、画像処理装置の利用者（使用者）の意志により入力部７０を介して指示された任意の値を用いる方法等、様々な手法を設定することができる。
Ａ／Ｄ１２は、選択されたフレーム画像がアナログ信号の場合に、アナログの画像信号をデジタル画像信号に変換する。
【００１６】
画像圧縮部１３は、Ａ／Ｄ１２によりデジタル画像信号化された、あるいは、フレーム画像選択部１１においてデジタル画像信号として抽出された各フレーム画像の画像信号を、所定の画像圧縮規格に準拠するように処理する。フレーム画像の圧縮符号化方式としては、ＪＰＥＧ規格等を適用することができる。ここで、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化、等の手法により原画像データを圧縮符号化する規格であり、カラーファクシミリ装置や電子スチルカメラ等に採用されている国際標準規格である。なお、画像情報の圧縮符号化方式としては、一般にＪＰＥＧのほか、ＧＩＦ、ＴＩＦＦ、ＬＨＡ、ＺＩＰ等の様々な形式、規格が利用されているため、実施の形態に応じて適切な方式を採用することができる。
バスインターフェース１４は、圧縮処理されたフレーム画像をバス８０の伝送幅に変換してフレームメモリ２０へ転送する。
【００１７】
（２）フレームメモリ２０
フレームメモリ２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成され、動画データ取込部１０により選択され、圧縮符号化されたフレーム画像に画像識別情報等のヘッダー情報を関係付けて、ＭＰＵ３０により指定された画像データ格納領域に格納するものである。
図３は、フレームメモリ２０の内部領域を示す概念図である。
図３に示すように、フレームメモリ２０の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、画像データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報であるフォーマット情報が格納される。また、情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報、動画データの時系列上での位置（時刻）を示す時刻情報等の画像情報を識別するためのヘッダー情報が格納される。画像データ領域は、圧縮符号化されたフレーム画像（圧縮画像データ）を格納し、オフセット領域は、画像データ領域における圧縮画像データのデータ長を固定長とするためのオフセットデータ（ブランク）を格納する。
このように、各圧縮画像データは、情報テーブル領域に格納されたヘッダー情報に関係付けされて画像データ領域に格納される。
【００１８】
（３）動き検出部３１
動き検出部３１は、フレームメモリ２０に格納された複数のフレーム画像から被写体の動きを示す特徴量を検出するものである。ここで、被写体の動きを示す特徴量とは、被写体の動作軌跡や軌道、動作（移動）速度、動作（移動）方向等を示す情報であって、一般にベクトル情報として表すことができる。
動き検出の手法としては、異なる時刻におけるフレーム画像をそれぞれブロック領域に分割し、同一ブロック領域毎に参照画像上でのブロックマッチング処理を行い、誤差が最小となる座標位置から被写体のフレーム間での動きを検出するブロックマッチング法を適用することができる。なお、ブロックマッチング法は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１で国際標準化が行われたＩＳ１１１７２−２規格などに広く利用されているものである。ブロックマッチング法については後述する。
【００１９】
（４）中心画像設定部３３
中心画像設定部３３は、フレームメモリ２０に格納された複数のフレーム画像の中から特定のフレーム画像を選択、抽出し、後述する画像合成処理における中心画像として設定するものである。ここで、中心画像とは、画像合成の際に基準となる画像であって、一連のフレーム画像の始端や終端に位置する画像であってもよいし、特定時刻におけるフレーム画像であってもよい。要するに、後述する軌跡画像生成部３２により作成される軌跡画像が合成される核（元）となる画像を抽出するものであればよい。
【００２０】
（５）軌跡画像生成部３２
軌跡画像生成部３２は、動き検出部３１により検出された被写体の動きを示す特徴量、及び、中心画像設定部３３により抽出された中心画像に含まれる被写体像に基づいて、フレームメモリ２０に格納された複数のフレーム画像を加工して、被写体の動きに応じた動作軌跡や残像を表現する軌跡画像を生成するものである。
軌跡画像の生成は、動き検出部３１の検出結果に基づいて、フレームメモリ２０に格納された複数のフレーム画像から被写体を判別し、中心画像以外の各フレーム画像から被写体の輪郭成分を抽出して、抽出された輪郭成分を多重合成する処理、あるいは、輪郭成分に基づいて残像領域を生成する処理を施し、さらに、画像の濃淡調整を施して被写体の動きを表現する特有の軌跡画像を作成する。
【００２１】
（６）画像合成部３４
画像合成部３４は、中心画像設定部３３により抽出された中心画像に、軌跡画像生成部３３により作成された軌跡画像を合成処理して、軌跡合成画像として出力するものである。
（７）ＭＰＵ３０、ハードディスク４０
ハードディスク４０は、ＭＰＵ３０が実行するプログラムや動作上必要なデータを記憶する。したがって、ＭＰＵ３０は、ハードディスク４０に記憶されたアプリケーションプログラムを実行することにより、上述した動き検出部３１、軌跡画像生成部３２、中心画像設定部３３、及び、画像合成部３４の各機能をソフトウェア的に実現して、後述する一連の画像処理やメモリ管理、モニタ５０やプリンタ６０への出力制御を行う。
【００２２】
（８）モニタ５０、プリンタ６０
画像合成部３４により合成処理された軌跡合成画像を表示、あるいは、印刷出力するものであって、テレビやパソコンのモニタ、プリンタ等の出力装置である。ここで、図１においては、モニタ５０やプリンタ６０を、バス８０に直接接続された構成として示したが、本発明はこれに限定されるものではなく、バス８０に接続された通信インターフェース等を介して通信回線により接続されるファクシミリ装置や携帯情報端末（ＰＤＡ）、パソコン等であってもよい。なお、本発明の説明においては、モニタ５０への表示出力及びプリンタ６０への印刷出力のほか、軌跡合成画像を静止画像として出力する動作全般を、便宜的に「表示出力」と記載する。
（９）入力部７０
入力部７０は、画像処理装置に設けられた各種キースイッチ類であって、ＭＰＵ３０によるアプリケーションプログラムの実行や画像処理、モニタ５０やプリンタ６０への表示出力等の制御信号を生成する。また、後述する実施形態における基準画像選択手段や軌跡画像選択手段としての機能も有する。画像処理装置に設けられた専用のキースイッチ類はもとより、パソコン等により本発明を実施する場合にはキーボードやマウス、ペンタブレット等の各種入力装置も含まれる。
【００２３】
次に、上述した構成を有する画像処理装置における処理動作について、図面を参照して説明する。
図４は、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。まず、処理動作の概略について上述した構成を参照しつつ説明した後、各ステップについて個別に説明する。
図４に示すように、ステップＳ１０１、Ｓ１０２において、動画データ取込部１０により、入力された動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、ＪＰＥＧ等の規格に準拠するように圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。この際、圧縮されたフレーム画像を識別するヘッダー情報が関係付けられて格納される。
次いで、ステップＳ１０３において、中心画像設定部３３により、フレームメモリ２０に格納された複数のフレーム画像の中から、画像合成における基準となる中心画像を設定し、ステップＳ１０４、Ｓ１０５において、動き検出部３１により、フレームメモリに格納された複数のフレーム画像に含まれる動作を伴う被写体（動体）を検出するとともに、その被写体の動作特性を示す情報を出力する。
【００２４】
次いで、ステップＳ１０６、Ｓ１０７において、軌跡画像生成部３２により、上述した被写体の動作特性、及び、中心画像に基づいて、各フレーム画像に含まれる被写体の輪郭成分を抽出して、それらの輪郭成分を多重合成、あるいは、輪郭成分に基づいて残像領域を生成し、さらに、輪郭成分の濃淡調整をする加工処理を施し、被写体の動きを表現する軌跡画像を作成する。
次いで、ステップＳ１０８、Ｓ１０９において、画像合成部３４により、中心画像と軌跡画像を合成処理して１枚の静止画像とし、得られた静止画像をモニタ５０やプリンタ６０等に表示出力する。
このように、本実施形態における画像処理装置の処理動作は、大別して、動画データ取込ステップ、中心画像設定ステップ、動き検出ステップ、軌跡画像作成ステップ、及び、画像合成ステップから構成されている。
【００２５】
以下、各ステップについて、図面を参照して説明する。
（１）動画データ取込ステップ
図５は、動画データ取込ステップを示す概念図である。以下、被写体として走行する車両を例にして説明する。
ビデオカメラや電子スチルカメラにより撮影された動画データや、テレビジョン放送の映像情報等の動画データは、時系列的に配列された一連のフレーム画像の集合であるため、本ステップにおいては、図５に示すように、一連のフレーム画像から所定の時間間隔毎に、例えば動画データＶＤの時系列上の位置に相当する時刻Ｔ２、Ｔ６、Ｔ１０、…のフレーム画像Ｆａ、Ｆｂ、Ｆｃ、…が、動画データ取込部１０により選択、抽出される。なお、選択、抽出されるフレーム画像は、動画データＶＤを構成する一連のフレーム画像の全てであってもよく、抽出されたフレーム画像によって被写体の動き、すなわち車両の走行状態が把握できるものであれば上述した時間間隔に限定されない。
抽出されたフレーム画像Ｆａ、Ｆｂ、Ｆｃ、…は、後述する画像処理を簡易に実行するためにデジタル画像信号に変換され、さらに、フレームメモリ２０の記憶容量を有効に利用するためにＪＰＥＧ等の所定の圧縮符号化処理が施され、画像識別情報や時刻情報等に関係付けて、画像データ領域に順次格納される。
【００２６】
（２）中心画像設定ステップ
本ステップにおいては、中心画像設定部３３により、フレームメモリ２０に格納された複数のフレーム画像Ｆａ、Ｆｂ、Ｆｃ、…の中から、例えば時刻Ｔ６におけるフレーム画像Ｆｂを選択し、情報テーブル領域に中心画像であることを示すヘッダー情報を付加することにより、中心画像として設定する。この中心画像は、上述したように、画像合成の際に基準となる画像であり、その抽出方法は、取り込んだフレーム画像のうちの始端や終端、あるいは中間の時刻に位置する画像を抽出するように予め設定するものであってもよいし、後述する被写体の動作特性の検出結果に基づいて、例えば走行する車両がフレーム画像の中心位置にあるものを選択するものであってもよい。
【００２７】
（３）動き検出ステップ
本ステップにおいては、動き検出部３１により、フレームメモリ２０に格納された複数のフレーム画像から走行する車両を検出するとともに、その動きの軌道あるいは軌跡を算出する。
以下、画像情報に含まれる被写体の動きを検出する方法について、図面を参照して説明する。
まず、動き検出に適用される手法の一例として、ブロックマッチングについて説明する。
図６は、動き検出ステップに適用されるブロックマッチング法を示す概念図である。
例えば、『テレビジョン学会編、「画像情報圧縮」、オーム社、ｐ．９２、１９９１年』には、連続する複数のフレーム画像により構成される動画データに含まれる被写体の動きを検出するブロックマッチング法について記載されている。
【００２８】
上記文献によれば、図６に示すように、注目するフレーム画像（以下、便宜的に現フレーム画像という。）Ｆｎと、一つ前の時刻におけるフレーム画像（以下、便宜的に前フレーム画像という。）Ｆｍの特定位置のブロック（領域）Ｂｎ、Ｂｍについて、パターンマッチングを行う。パターンマッチングの方法は、例えば、ブロックＢｎ中の画素Ｘｎと、これをｉ画素分ずらしたブロックＢｍ中の画素Ｘｎ−ｉとの差分の絶対値和Ｓを次式▲１▼に従って求め、この絶対値和Ｓ、すなわち評価量を最小にするずれ位置ｉを探索して動き量を検出するものである。
Ｓ＝Σ｜Ｘｎ−Ｘｎ−ｉ｜ …▲１▼
ここで、▲１▼式における総和計算Σは、ブロックＢｎに属する全ての画素Ｘｎについて実行される。
このように、ブロックマッチング法においては、現フレーム画像をブロックに分割し、ブロック単位で前フレーム画像との類似位置をパターンマッチングにより探索して、フレーム画像に含まれる被写体の動作速度や方向等の動きを検出する。
【００２９】
なお、動き検出に適用される手法としては、上述したブロックマッチング法のほかに、フレーム画像中に含まれる被写体領域の特徴成分の変化から動きベクトルを算出する手法を適用することもできる。
この手法は、まず、フレーム画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分を独立した領域（被写体領域）として抽出する。あるいは、フレーム画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて一つの領域として抽出する。そして、抽出された領域の特徴成分、例えば領域の重心位置を検出し、フレーム画像間での変化量を算出することにより、領域全体としての平行移動量を示す動きベクトルとして求められる。したがって、算出された変化量を当該領域の動きパラメータとして出力することにより、被写体領域内の任意の画素位置に対して、動きベクトルの値（移動量、方向）を計算で求めることができる。
また、動き検出のさらに別の手法としては、フレーム画像内の輪郭線成分を多数検出し、検出した多数の輪郭線をグループにまとめ、ニューラルネットワーク処理により画像全体の動きを検出する手法を適用することもできる。
【００３０】
（４）軌跡画像作成ステップ
本ステップにおいては、軌跡画像生成部３２により、フレームメモリ２０に格納された複数のフレーム画像、及び、中心画像に基づいて、車両の走行状態を表現する軌跡画像を生成する。
図７は、軌跡画像作成ステップの第１の例を示す概念図である。
図７に示すように、フレームメモリ２０に格納された複数のフレーム画像Ｆａ、Ｆｂ、Ｆｃから、上述した動き検出ステップにより判明した車両Ｃａ、Ｃｂ、Ｃｃの動き（動作特性）に基づいて、車両の輪郭成分のみを抽出し、時系列的に配列することにより軌跡画像が生成される。ここで生成される軌跡画像は、従来技術において説明したフレーム画像の単なる多重合成とは異なり、輪郭成分のみを合成するものであるので、車両の全体の動きを的確に表現する画像となる。さらに、中心画像設定ステップにおいて、中心画像に設定されたフレーム画像（例えばＦｂ）に含まれる車両Ｃｂの位置に基づいて、軌跡画像の加工処理を施す。
【００３１】
具体的には、中心画像Ｆｂに含まれる車両Ｃｂの画像（被写体像）を構成する輪郭成分（以下、基準輪郭成分という。）の輝度、彩度等を基準値として、軌跡画像を構成する複数の輪郭成分のうち、基準輪郭成分の近傍に位置するものの輝度、彩度を基準値に近似させ、離間するにしたがって、その輝度、彩度を低減させて、いわゆるかすれが生じた状態に調整する。このとき、加工処理は、車両Ｃｂの進行方向の反対側（後方側；図面左側）に位置する軌跡画像を構成する輪郭成分のみを対象とし、進行方向側（前方側；図面右側）に位置する輪郭成分は削除する。すなわち、中心画像よりも過去に属するフレーム画像の輪郭成分を用いて画像加工を行うことにより軌跡画像Ｌａが作成される。以上の軌跡画像の作成処理を「第１の軌跡画像作成処理」と呼ぶものとする。
【００３２】
また、他の手法として、上述した輪郭成分の多重合成処理に加え、被写体の動作方向や動作状態を表現する特有の画像要素、例えば被写体の動作方向に延伸する線成分を生成、配置する処理を加え、図７に示すように、軌跡画像Ｌｂを作成するものであってもよい。以上の軌跡画像の作成処理を「第２の軌跡画像作成処理」と呼ぶものとする。
なお、上述した軌跡画像の加工処理においては、フレーム画像に含まれる被写体の輪郭成分を抽出、多重合成し、さらに中心画像に含まれる被写体の位置に基づいて各輪郭成分の加工処理を施す手法について説明したが、合成又は加工処理された画像を見る者に被写体の動作状態を的確に認識させることができるものであれば、上述した例に限定されるものではない。
【００３３】
次に、軌跡画像作成ステップの第２の例について説明する。
上述した第１の例においては、抽出されたフレーム画像に含まれる車両が固定された背景に対して走行する状態を撮影した動画データであることを前提に説明したが、カメラワーク等によっては、走行する車両をフレーム画像の一定位置に固定した動画データの場合がある。このような場合の軌跡画像の作成処理について説明する。
図８は、軌跡画像作成ステップの第２の例を示す概念図である。
図８に示すように、動画データから抽出され、フレームメモリ２０に格納された複数のフレーム画像Ｆｉ、Ｆｊ、Ｆｋから、上述した動き検出ステップにより判明した背景の動きに基づいて、背景成分Ｇｉ、Ｇｊ、Ｇｋのみを抽出する。この背景成分Ｇｉ、Ｇｊ、Ｇｋは、動き検出ステップにおいて、動きが検出されなかった被写体（車両Ｃｉ、Ｃｊ、Ｃｋ）成分をフレーム画像Ｆｉ、Ｆｊ、Ｆｋから削除することにより容易に生成される。そして、抽出された背景成分Ｇｉ、Ｇｊ、Ｇｋを時系列的に配列して軌跡画像を生成し、さらに、中心画像設定ステップにおいて、中心画像に設定されたフレーム画像（例えばＦｋ）に含まれる背景成分（以下、基準背景成分という。）Ｇｋに基づいて、軌跡画像の加工処理を施す。
【００３４】
具体的には、基準背景成分Ｇｋの輝度、彩度等を最もかすれの度合いが大きい表現となるように加工して、軌跡画像を構成する複数の背景成分のうち、基準背景成分Ｇｋの近傍に位置するものを基準値に近似させてかすれ加工を施し、離間するにしたがって、背景成分本来の輝度、彩度となるように調整することにより軌跡画像Ｌｃが作成される。
なお、軌跡画像の作成処理は、上述した第１の例と同様に、背景成分の合成、加工処理のみならず、背景成分の移動（流れ）状態を表現する線成分等の追加処理を組み合わせて利用するものであってもよい。
【００３５】
（５）画像合成ステップ
本ステップは、画像合成部３４により、中心画像と軌跡画像とを合成処理して、車両の走行状態を表現する静止画を生成し、モニタ５０やプリンタ６０を介して表示出力する。
図９及び図１０は、画像合成ステップの第１の例を示す概念図である。ここで、図９は、上述した第１の軌跡画像作成処理により作成された軌跡画像Ｌａと、中心画像とを合成処理する場合を示す概念図であり、また、図１０は、上述した第２の軌跡画像作成処理により作成された軌跡画像Ｌｂと、中心画像とを合成処理する場合を示す概念図である。
【００３６】
図９及び図１０に示すように、中心画像設定ステップにより中心画像に設定されたフレーム画像Ｆｂと、軌跡画像作成ステップにより作成された軌跡画像Ｌａ、Ｌｂとを合成処理することにより、車両Ｃｂの走行状態を表現した軌跡画像Ｌａ、Ｌｂが合成された静止画像ＥＤ１、ＥＤ２が得られる。すなわち、中心画像Ｆｂは動画データを構成する一連のフレーム画像のうちの特定の一枚にすぎないが、軌跡画像Ｌａ、Ｌｂには中心画像Ｆｂに含まれる車両Ｃｂの位置を基準として輪郭成分や領域の加工処理が施されているため、両者を合成処理することにより車両Ｃｂの走行軌跡が一つのフレーム画像Ｆｂ内で表現されることになる。
そして、合成処理された静止画像ＥＤ１、ＥＤ２は、バス８０を介してモニタ５０やプリンタ６０に転送され表示出力される。
【００３７】
図１１は、画像合成ステップの第２の例を示す概念図であり、図８に示した軌跡画像作成処理により作成した軌跡画像Ｌｃと、車両Ｃｋの画像を合成処理する場合を示している。
図１１に示すように、中心画像設定ステップにより中心画像に設定されたフレーム画像Ｆｋに含まれる車両Ｃｋの画像成分と、軌跡画像作成ステップにより作成された軌跡画像Ｌｃとを多重合成することにより、車両Ｃｋの走行状態を背景の流れで表現した静止画像ＥＤ３が得られる。すなわち、上述した第１の例と同様に、中心画像Ｆｋは動画データを構成する一連のフレーム画像のうちの特定の一枚にすぎないが、軌跡画像Ｌｃには中心画像Ｆｋに含まれる背景成分Ｇｋを基準として輪郭や領域の加工処理が施されているため、両者を合成処理することにより一のフレーム画像Ｆｋ内で車両Ｃｋの走行状態が背景の流れにより表現される。
以上の一連のステップを有する本実施形態によれば、動画データ中の被写体の一連の動きを検出して被写体の位置や動きに応じた軌跡画像を作成し、中心画像と合成処理することにより、被写体の動きが的確に表現された静止画像を作成することができる。したがって、１枚の静止画像で動体の動きを直感的に把握することができるため、動画データのインデックス等に有効に利用することができる。
【００３８】
＜第２の実施形態＞
次に、本発明に係る画像処理装置の第２の実施形態について、図面を参照して説明する。
本実施形態は、上述した第１の実施形態において、動き検出部３１により検出された被写体の動き（動作特性）を分析して、例えば車両の走行速度に応じて軌跡画像の作成方法を変更するようにしたものである。
すなわち、図１に示した画像処理装置において、軌跡画像生成部３２は、動き検出部３１により検出された被写体の動作速度や動作方向等の検出結果を分析して、軌跡画像の作成処理を変更する制御機能を有している。
具体的には、図９に示したように、第１の軌跡画像作成処理により作成された軌跡画像Ｌａを中心画像Ｆｂに合成処理した静止画像ＥＤ１においては、車両Ｃｂの動きが比較的遅く認識されるように表現され、一方、図１０に示したように、第２の軌跡画像作成処理により作成された軌跡画像Ｌｂを中心画像Ｆｂに合成処理した静止画像ＥＤ２においては、車両Ｃｂの動きが比較的速く認識されるように表現される。したがって、このような特徴に基づいて、動き検出部３１により検出された被写体の動作速度を、例えば所定のしきい値との比較により低速動作であるか、あるいは、高速動作であるか判別して第１及び第２の軌跡画像作成処理を適宜切り替える。
【００３９】
ここで、被写体の動作速度と軌跡との関係について説明すると、被写体が低速で動作している場合には、動体の輪郭が比較的はっきりと把握されるという、人間の視覚（網膜）特性に対応させて各フレーム画像に含まれる被写体（動体）の輪郭をぼかすことなくフレーム画像数分、多重合成することにより、低速動作状態を表現することができ、被写体の動きを適切に認識させることができる。なお、本発明においては、このような輪郭成分の多重合成に加え、中心画像に含まれる被写体近傍の輪郭の輝度や彩度を中心画像のものに近似させて線分や色彩をはっきり表示するように処理し、被写体から遠い輪郭では、線分や色彩をかすれさせるように処理して、被写体の動きをよりリアルに表現する加工処理が施される。
これに対して、被写体が高速で動作する場合には、動体の輪郭が極めて曖昧に把握されるという、人間の視覚特性に対応させて各フレーム画像に含まれる被写体の輪郭を相互にぼかすことにより、高速動作状態を表現することができ、被写体の動きを適切に認識させることができる。
【００４０】
以下、本実施形態の処理動作について、図１２のフローチャートを参照して説明する。上述した第１の実施形態と同等のステップについては、その説明を簡略化する。
図１２に示すように、ステップＳ２０１、Ｓ２０２において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ２０３において、フレームメモリ２０に格納された複数のフレーム画像の中から中心画像を設定し、ステップＳ２０４において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体（動体）を検出するとともに、被写体の動作速度や方向等の動作特性を算出する。
そして、ステップＳ２０５〜Ｓ２０７において、算出された動作速度と予め設定されたしきい値速度とを比較し、算出された動作速度がしきい値よりも小さい場合には、被写体を低速の動体であると判断して、上述した第１の軌跡画像作成処理を選択し、軌跡画像を構成する輪郭成分が比較的はっきりと表現するように加工処理を施す。一方、算出された動作速度がしきい値よりも大きい場合には、被写体を高速の動体であると判断して、上述した第２の軌跡画像作成処理を選択し、輪郭成分の多重合成に加え、動作方向等を表現する線成分等を重ね合わせる加工処理を施す。
次いで、ステップＳ２０８、Ｓ２０９において、中心画像と上記軌跡画像を合成処理して１枚の静止画像とし、モニタ５０やプリンタ６０を介して表示出力する。
【００４１】
以上の一連のステップを有する本実施形態によれば、検出された被写体の一連の動き、特に動作速度（移動速度）に基づいて、軌跡画像の作成方法（軌跡画像作成処理を実行する機能；軌跡画像生成機能）を変更して動作速度に対応した軌跡画像を作成する軌跡画像作成処理を実行することができるため、被写体の動きを直感的に認識することができる静止画像を作成することができる。
なお、本実施形態においては、被写体の動作速度に応じて選択される処理方法として、第１及び第２の軌跡画像作成処理を用いる場合を示したが、図８及び図１１に示した背景成分を加工処理する方法に変更するものであっても構わない。要するに、合成処理された静止画像を見る者に、被写体の動作状態を的確に認識させるものであれば上記以外の方法であってもよい。また、被写体の動作速度の判別処理として、予め設定された一つのしきい値との比較処理を行う場合について説明したが、複数のしきい値による多段階の判別であってもよいし、動作速度をそのまま利用して輝度や彩度に重み付けを行うものであってもよい。
【００４２】
＜第３の実施形態＞
次に、本発明に係る画像処理装置の第３の実施形態について、図面を参照して説明する。
本実施形態は、中心画像設定ステップにおける中心画像の選択、設定処理を入力部７０等から入力される命令にしたがって設定変更するようにしたものである。
すなわち、図１に示した画像処理装置において、中心画像設定部３３は、入力部７０から、あるいは、図示を省略した通信回線等を介して入力される中心画像選択命令にしたがって、フレームメモリ２０に格納された複数のフレーム画像の中から任意のフレーム画像を抽出し、中心画像に設定する機能を有している。
具体的には、フレームメモリ２０に格納された複数のフレーム画像をモニタ５０やプリンタ６０を介して表示出力し、中心画像に選択するフレーム画像を特定する命令の入力を画像処理装置の利用者に促す。利用者は、表示出力されたフレーム画像を閲覧し、その中から任意のフレーム画像を選択し、キースイッチやキーボード等の入力部７０を介して中心画像選択命令を入力し、フレームメモリ２０の当該画像の情報テーブル領域に中心画像であることを示すヘッダー情報を付加する。
【００４３】
したがって、利用者は、例えば被写体の動作状態を表現するために最も適当と思われるフレーム画像や、特殊効果を奏するために最も適当と思われるフレーム画像を、入力部７０等から入力して、容易に中心画像として設定することができる。
以下、本実施形態の処理動作について、図１３のフローチャートを参照して説明する。上述した第１又は第２の実施形態と同等のステップについては、その説明を簡略化する。
【００４４】
図１３に示すように、ステップＳ３０１、Ｓ３０２において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ３０３において、フレームメモリ２０に格納された複数のフレーム画像の全て、あるいは一部をモニタ５０やプリンタ６０等を介して表示出力し、利用者に中心画像に設定するフレーム画像の選択及び命令入力を促す。
ここで、モニタ５０やプリンタ６０によるフレーム画像の表示出力方法は、フレーム画像を時系列的に順次出力するものであってもよいし、分割画面に複数のフレーム画像を一括して出力するものであってもよい。また、表示出力されるフレーム画像は、フレームメモリ２０に格納された全てのフレーム画像であってもよいし、一部のフレーム画像であっても構わない。すなわち、図５において抽出したフレーム画像Ｆａ、Ｆｂ、Ｆｃにおいて、これら全てのフレーム画像を表示出力するものであってもよいし、奇数番目に位置する一部のフレーム画像Ｆａ、Ｆｃのみを表示出力するものであってもよい。要するに、画像合成処理において中心画像として利用することができるフレーム画像を表示出力するものであればよい。
【００４５】
次いで、ステップＳ３０４において、利用者により選択、指示されたフレーム画像を中心画像となるようにヘッダー情報を設定する。さらに、ステップＳ３０５において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体（動体）を検出するとともに、被写体の動作状態を出力する。そして、ステップＳ３０６において、被写体の動作状態及び中心画像に基づいて、所定の軌跡画像を生成し、ステップＳ３０７、Ｓ３０８において、中心画像と上記軌跡画像を合成処理して１枚の静止画像とし、モニタ５０やプリンタ６０を介して表示出力する。
以上の一連のステップを有する本実施形態によれば、複数のフレーム画像の中から中心画像を一義的に選択、設定するのではなく、表示出力されたフレーム画像を利用者が閲覧して任意のフレーム画像を指示設定することができるため、被写体の動きを的確に表現しつつ、より多様な画像表現を実現することができる。なお、軌跡画像作成ステップは、第１の実施形態に示した手法に限らず、第２の実施形態に示したように、被写体の動作特性に応じて適宜処理方法を変更するものであってもよい。
【００４６】
＜第４の実施形態＞
次に、本発明に係る画像処理装置の第４の実施形態について、図面を参照して説明する。
本実施形態は、上述した第２の実施形態における軌跡画像作成処理の変更を、被写体の動作特性に基づいて制御するのではなく、画像処理装置の利用者の意志により入力部７０等を介して任意に設定することができるようにしたものである。
すなわち、図１に示した画像処理装置において、軌跡画像生成部３２は、入力部７０から、あるいは、図示を省略した通信回線等を介して入力される軌跡画像作成処理選択命令にしたがって、軌跡画像の作成方法を任意に選択する機能を有している。選択の対象となる軌跡画像の作成処理は、被写体の動作特性に応じた軌跡画像の作成処理、すなわち、上述した第１及び第２の軌跡画像作成処理や、背景成分の加工処理のほかに、中心画像に含まれる被写体を強調したり、特徴付ける特殊な軌跡画像の作成処理を任意に選択することもできる。
【００４７】
ここで、被写体を強調、あるいは、特徴付ける特殊な軌跡画像の作成処理及び合成処理の例について、図面を参照して説明する。
図１４は、特殊な軌跡画像の作成処理の一例を示す概念図であり、図１５は、特殊な軌跡画像と中心画像との合成処理の一例を示す概念図である。
図１４に示すように、フレームメモリ２０に格納された複数のフレーム画像Ｆａ〜Ｆｅから、動き検出ステップにより判明した車両Ｃａ〜Ｃｅの動きに基づいて、車両の輪郭成分のみを抽出し時系列的に配列（多重合成）することにより、車両の全体の動きを表現する軌跡画像が生成される。そして、中心画像に設定されたフレーム画像（例えばＦｃ）に含まれる車両Ｃｃの位置及び輪郭成分に基づいて、車両Ｃｃの前方及び後方に位置する輪郭成分について、車両Ｃｃから離間するにしたがってかすれが生じるように加工処理することにより軌跡画像ＬＱが作成される。
【００４８】
次に、図１５に示すように、中心画像に設定されたフレーム画像Ｆｃと特殊な軌跡画像ＬＱとを合成処理することにより、車両Ｃａ〜Ｃｅの全体の動作軌跡の中で車両Ｃｃを強調した特殊な静止画像ＥＤＱが得られる。
したがって、利用者は、キースイッチやキーボード等の入力部７０を介して、例えば特殊効果を奏するために最も適当と思われる軌跡画像の作成方法を入力設定することにより、容易に所望の静止画像を作成することができる。
以下、本実施形態の処理動作について、図１６のフローチャートを参照して説明する。上述した第１乃至第３の実施形態と同等のステップについては、その説明を簡略化する。
【００４９】
図１６に示すように、ステップＳ４０１、Ｓ４０２において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ４０３において、フレームメモリ２０に格納された複数のフレーム画像の中から中心画像を設定し、ステップＳ４０４において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体（動体）を検出するとともに、被写体の動作状態を出力する。
そして、ステップＳ４０５、Ｓ４０６において、利用者により選択設定された軌道画像作成方法に基づいて、所定の軌跡画像を生成し、ステップＳ４０７、Ｓ４０８において、中心画像と上記軌跡画像を合成処理して１枚の静止画像とし、モニタ５０やプリンタ６０を介して表示出力する。
以上の一連のステップを有する本実施形態によれば、利用者の意志により軌跡画像の作成方法を任意に選択設定することができるため、被写体の動作軌跡を利用して作成される特殊な軌跡画像を中心画像に合成処理することにより、特殊効果を奏する静止画像を容易に作成することができる。
なお、本発明の画像処理装置は、上述したビデオカメラや電子スチルカメラ、パソコンのほか、ビデオプレーヤーやファクシミリ装置、プリンタ等の画像処理機器に良好に適用することができるものであることはいうまでもない。
【００５０】
【発明の効果】
請求項１、３、５又は６記載の発明によれば、基準画像に設定されたフレーム画像に含まれる被写体を中心とし、かつ、被写体の動きに応じた軌跡画像が生成されるため、動画情報として撮影された被写体の動きを直感的に認識することができる静止画像を容易に作成、出力することができる。特に、異なる複数の軌跡画像の生成方法（軌跡画像生成機能）から、少なくとも被写体の動きに基づいて、実行する軌跡画像の生成方法を選択して、被写体の輪郭成分を多重合成し、さらに、基準画像の被写体近傍の輪郭成分を明確に表示し、被写体から離間するほどぼかしやかすれが生じるように加工処理することにより、被写体の動作状態を的確に反映した静止画像（軌跡合成画像）を作成することができる。
そして、請求項４記載の発明に係る画像出力手段を有していることにより、上記静止画像をテレビモニタやパソコンのモニタ等に表示出力、あるいは、プリンタ等により印刷出力することができる。したがって、動画情報を簡易な手法で、かつ、多彩な表現形式により静止画像として表現することができるとともに、動画情報のインデックス情報等の用途に有効に利用することができる。
【００５１】
特に、請求項１記載の発明によれば、動画情報から抽出されたフレーム画像に含まれる被写体の動作速度を検出し、その検出結果に応じて軌跡画像の生成方法（軌跡画像生成機能）を変更することにより、被写体の動作速度に対応した軌跡画像を生成することができる。したがって、被写体の動作速度によって軌跡画像により表現されるスピード感が異なるため、作成された静止画像を見るだけで、被写体の全体の動きとともに、その動作速度を直感的に把握することができる。
また、請求項２記載の発明によれば、基準画像となるフレーム画像を、画像処理装置の利用者（使用者）の意志により、任意に選択、設定することができ、その基準画像に含まれる被写体を中心とし、かつ、被写体の動きに応じた軌跡画像が生成されるため、任意の位置に配置された被写体を強調した静止画像を容易に作成することができ、より多彩な表現形式により、被写体の動きを的確に把握することができる。
さらに、請求項３記載の発明によれば、軌跡画像の生成方法を画像処理装置の利用者（使用者）の意志により、任意に選択、設定することができるため、より多彩な表現形式を実現することができるとともに、特殊効果を有する静止画像を容易に作成することができる。特に、軌跡画像の生成方法として輪郭成分のぼかし加工や、グラデーション処理、速さを表現する特定画像の付加等を備えることにより、使用者が所望する軌跡画像を生成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
【図２】動画データ取込部の概略構成を示すブロック図である。
【図３】フレームメモリの内部領域を示す概念図である。
【図４】第１の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図５】動画データ取込ステップを示す概念図である。
【図６】動き検出ステップに適用されるブロックマッチング法を示す概念図である。
【図７】軌跡画像作成ステップの第１の例を示す概念図である。
【図８】軌跡画像作成ステップの第２の例を示す概念図である。
【図９】第１の軌跡画像作成処理により作成された軌跡画像と、中心画像とを合成する場合を示す概念図である。
【図１０】第２の軌跡画像作成処理により作成された軌跡画像と、中心画像とを合成する場合を示す概念図である。
【図１１】画像合成ステップの第２の例を示す概念図である。
【図１２】第２の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図１３】第３の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図１４】第４の実施形態に適用される特殊な軌跡画像の作成処理の一例を示す概念図である。
【図１５】第４の実施形態に適用される特殊な軌跡画像と中心画像との合成処理の一例を示す概念図である。
【図１６】第４の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図１７】動画情報を構成する複数のフレーム画像から１枚を抽出し表示する手法の概念を示す図である。
【図１８】動画情報を構成する複数のフレーム画像から複数枚を抽出して分割画面に一括表示する手法の概念を示す図である。
【図１９】動画情報を静止画像として表現する従来の手法を示す概念図である。
【符号の説明】
１０ 動画データ取込部（画像情報取込手段）
２０ フレームメモリ（記憶手段）
３０ ＭＰＵ
３１ 動き検出部（動き検出手段）
３２ 軌跡画像生成部（軌跡画像生成手段）
３３ 中心画像設定部（基準画像設定手段）
３４ 画像合成部（画像合成手段）
４０ ハードディスク
５０ モニタ（画像出力手段）
６０ プリンタ（画像出力手段）
７０ 入力部（基準画像選択手段、軌跡画像選択手段）
８０ バス
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、１枚の静止画（スチル画）に合成加工して表示出力する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、ＡＶ機器の普及、機能向上が著しい。特に、民生用、業務用を始め様々な場面でビデオカメラや電子スチルカメラ等の高機能化された画像記録機器が利用されるようになっている。これらの機器により撮影された画像は、機器本体に搭載された液晶パネルやケーブル等を介してテレビジョンやパーソナルコンピュータ（以下、パソコンと略称する）のモニタ上に簡易に表示出力することができ、また、プリンタ等を介して直接印刷出力することもできる。
しかしながら、撮影された様々な画像情報のうち、動画情報はその情報量が静止画像に比較して膨大であるうえ、動画の全てを再生表示して初めて被写体の動き等の一連の撮影内容を把握することができるものであるため、画像情報の記憶、再生、出力において、記憶容量を大量に必要とし、撮影内容の確認作業にも長時間を要するという問題、また、静止画像のように任意の画像を簡易に出力することができないという問題等を有している。
【０００３】
一方、画像記録機器の普及や、画像処理技術の向上に伴って、撮影された画像情報の様々な表現方法へのニーズが高まっている。例えば、車両の走行やゴルフのスイングのように、比較的動きの速い被写体の軌跡を静止画として表現することにより、被写体の一連の動きを直感的に把握することができる。
従来、ビデオカメラや電子スチルカメラ等により撮影された動画に限らず、一般的な動画情報（テレビジョン放送の映像情報等を含む）を、静止画像として表現する方法としては、動画情報を構成する複数のフレーム画像の中から特定時刻に表示される１枚のフレーム画像を代表画像として抽出し、表示する方法、あるいは、一定の時間間隔で複数枚のフレーム画像を代表画像として抽出し、これらの代表画像を順次、あるいは、分割画面に一括して、表示する方法等が知られている。
【０００４】
図１７は、動画情報を構成する複数のフレーム画像から１枚を抽出し表示する手法の概念図である。
図１７において、動画データＶＤには、車両が図面左方向から右方向へ走行する画像が含まれているものとする。ここで、動画データＶＤは、時系列的に配列する複数のフレーム画像（静止画）により構成されていると考えることができるため、被写体の動きを表す一連のフレーム画像の中から、例えば特定時刻Ｔ４における１枚のフレーム画像Ｆ１を抽出して表示出力することにより、静止画像に被写体（車両Ｃ１）の動きを盛り込むことができる。
しかし、このような表現方法にあっては、代表として抽出されたフレーム画像Ｆ１が特定時刻Ｔ４の静止画像１枚のみであるため、特定時刻Ｔ４の直前直後の動きを客観的に推測することはできるが、被写体の一連の動きを把握することはできない。すなわち、走行する車両を含む１枚のフレーム画像Ｆ１を静止画として表示しても、車両Ｃ１の動きは的確に表現されず、背景画像や車両の移動速度等の条件によっては、車両Ｃ１が静止しているように認識される。
【０００５】
図１８は、動画情報を構成する複数のフレーム画像から複数枚を抽出して分割画面に一括表示する手法の概念図である。
図１８に示すように、被写体の動きを表す一連のフレーム画像の中から、例えば一定の時間間隔で時刻Ｔ２、Ｔ４、Ｔ６、Ｔ８の４枚のフレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４を抽出して４分割画面に一括表示することにより、静止画像でありながら、４枚のフレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４を時系列順に見渡すことができ、被写体の一連の動き（車両Ｃ１〜Ｃ４の走行状態）を把握することができる。
しかし、このような表現方法においては、代表画像として抽出された複数のフレーム画像を全体にわたって見渡すことにより、見る者がフレーム画像間の関連を推測して車両Ｃ１〜Ｃ４の動きを認識しなければならず、また、４枚のフレーム画像Ｆ１〜Ｆ４のうち、いずれか１枚の静止画像によっては、上述した場合と同様に、被写体の一連の動きを直感的に把握することはできない。すなわち、走行する車両を含む複数のフレーム画像Ｆ１〜Ｆ４を静止画として、順次あるいは一括して表示しても、車両の動きは見る者の推測に委ねられる部分が多分に存在し、正確に認識される訳ではない。
このような問題点は、走行する車両に限らず、ゴルフのスイング等のように、比較的速い動きを有する被写体を撮影した動画情報を静止画像として表現する場合に必ず生じるものである。
【０００６】
【発明が解決しようとする課題】
ところで、動画情報を静止画像として表現する方法としては、映像データから複数のフレーム画像を抽出し、それらを単純に多重合成して１枚の静止画像を作成する方法が、特開平１０−２９０４５０号公報に記載されている。この方法は、映像データから等時間間隔で複数のフレーム画像を選択、抽出し、各フレームにおける同一位置の画素値の平均値を求め、その平均値を多重静止画像の画素値とするものであるが、動きのある部分の画素値が小さくなり、ほとんど見えなくなるという問題があるため、画素値に所定の重み付けを施して動きのある部分のかすれ等が生じないように、さらに改善を加えたものである。
【０００７】
しかしながら、上記公報に記載された方法は、抽出されたフレーム画像の全てについて、画素値のかすれがなく均等に表現されるように補正し、単純に重ね合わせたものにすぎず、例えば図１９に示すように、走行する車両Ｃ１〜Ｃ４に関する異なる時刻Ｔ２、Ｔ４、Ｔ６、Ｔ８におけるフレーム画像Ｆ１〜Ｆ４を、単に一枚の静止画ＦＱに多重合成したものが得られるにすぎない。すなわち、被写体の動作軌跡や軌道を認識することはできるが、動作の特性、例えばスピード感等を的確に表現するものではなく、また、被写体の動きを直感的に把握することができる画像や、特殊効果を有する画像を得られるものではない。
【０００８】
そこで、本発明は、動画データに含まれる被写体の動きに応じた画像表現を実現し、被写体の動きを直感的に把握することができる静止画を簡易に生成、出力することができる画像処理装置及び画像処理方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１記載の画像処理装置は、動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを示す特徴量を検出する動き検出手段と、前記動き動作検出手段により検出された前記特徴量のうち、前記被写体の動作速度に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動作速度に対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、を備えたことを特徴とする。
請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記記憶手段に記憶された前記複数のフレーム画像から、画像処理装置の使用者が任意のフレーム画像を選択するための基準画像選択手段を有し、前記基準画像設定手段は、前記基準画像選択手段により選択された前記フレーム画像を前記基準画像として設定することを特徴とする。
【００１０】
請求項３記載の画像処理装置は、動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを示す特徴量を検出する動き検出手段と、画像処理装置の使用者の指示に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動きに対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、を備えたことを特徴とする。
請求項４記載の画像処理装置は、請求項１、２、３記載の画像処理装置において、前記画像合成手段により生成された前記軌跡合成画像を表示出力する画像出力手段を有していることを特徴とする。
【００１１】
また、請求項５記載の画像処理装置は、複数のフレーム画像からなる動画情報を記憶する記憶手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、使用者の指示、あるいは被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段の選択結果に基づいて、前記記憶手段に記憶された前記複数のフレーム画像を用いて、該複数のフレーム画像の各々に含まれる被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする。
【００１２】
そして、請求項６記載の画像処理方法は、ＭＰＵによって実行される画像処理方法であって、動画情報から複数のフレーム画像を抽出して記憶手段に記憶するステップと、前記記憶手段に記憶された前記複数のフレーム画像からフレーム画像を選択し、基準画像として設定するステップと、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出するステップと、使用者の指示、あるいは検出された前記被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択するステップと、選択された軌跡画像生成機能、前記基準画像、及び、検出された前記被写体の動きに基づいて、前記複数のフレーム画像を加工し、前記被写体の動作軌跡を表現する軌跡画像を生成するステップと、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成するステップと、を含むことを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
図１において、１０は動画データ取込部（画像情報取込手段）、２０はフレームメモリ（記憶手段）、３０はＭＰＵ、４０はハードディスク、５０はＬＣＤ等のモニタ（画像出力手段）、６０はプリンタ（画像出力手段）、７０はキースイッチ等の入力部（基準画像選択手段、軌跡画像選択手段）、８０はデータ／命令伝送用のバスである。ここで、ＭＰＵ３０は、動き検出部（動き検出手段）３１と、軌跡画像生成部（軌跡画像生成手段）３２と、中心画像設定部（基準画像設定手段）３３と、画像合成部（画像合成手段）３４の各機能を有して構成されている。
【００１４】
これらの各機能は、概ね以下の通りである。
（１）動画データ取込部１０
動画データ取込部１０は、動画データから複数のフレーム画像を抽出して後述するフレームメモリ２０に記憶するものである。ここで、動画データは、ビデオデータや連続撮影された複数の静止画像により構成されるものであってもよい。要するに、複数のフレーム画像の連続により構成されるものであればよく、また、取り込まれるフレーム画像はアナログ画像であっても、デジタル画像であっても構わない。
動画データ取込部１０の概略構成について、図２を参照して説明する。
図２において、１１はフレーム画像選択部、１２はアナログ−デジタル変換器（以下、Ａ／Ｄと記す。）、１３は画像圧縮部、１４はバスインターフェースである。
【００１５】
フレーム画像選択部１１は、後述するＭＰＵ３０からの命令に従って、動画データから所定の時間間隔でフレーム画像を選択し、選択された各フレーム画像の画像信号を抽出する。ここで、選択されるフレーム画像は、動画データを構成する全てのフレーム画像であってもよいし、特定の時間間隔、例えば１／５ｓｅｃや１／１０ｓｅｃ毎のフレーム画像であってもよいが、動画データに含まれる被写体の動きを把握できる程度の時間間隔を有していることを必須とする。なお、フレーム画像の選択の際に用いる時間間隔は、ＭＰＵ３０により予め設定された基準値を用いる方法や、画像処理装置の利用者（使用者）の意志により入力部７０を介して指示された任意の値を用いる方法等、様々な手法を設定することができる。
Ａ／Ｄ１２は、選択されたフレーム画像がアナログ信号の場合に、アナログの画像信号をデジタル画像信号に変換する。
【００１６】
画像圧縮部１３は、Ａ／Ｄ１２によりデジタル画像信号化された、あるいは、フレーム画像選択部１１においてデジタル画像信号として抽出された各フレーム画像の画像信号を、所定の画像圧縮規格に準拠するように処理する。フレーム画像の圧縮符号化方式としては、ＪＰＥＧ規格等を適用することができる。ここで、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とは、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化、等の手法により原画像データを圧縮符号化する規格であり、カラーファクシミリ装置や電子スチルカメラ等に採用されている国際標準規格である。なお、画像情報の圧縮符号化方式としては、一般にＪＰＥＧのほか、ＧＩＦ、ＴＩＦＦ、ＬＨＡ、ＺＩＰ等の様々な形式、規格が利用されているため、実施の形態に応じて適切な方式を採用することができる。
バスインターフェース１４は、圧縮処理されたフレーム画像をバス８０の伝送幅に変換してフレームメモリ２０へ転送する。
【００１７】
（２）フレームメモリ２０
フレームメモリ２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成され、動画データ取込部１０により選択され、圧縮符号化されたフレーム画像に画像識別情報等のヘッダー情報を関係付けて、ＭＰＵ３０により指定された画像データ格納領域に格納するものである。
図３は、フレームメモリ２０の内部領域を示す概念図である。
図３に示すように、フレームメモリ２０の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、画像データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報であるフォーマット情報が格納される。また、情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報、動画データの時系列上での位置（時刻）を示す時刻情報等の画像情報を識別するためのヘッダー情報が格納される。画像データ領域は、圧縮符号化されたフレーム画像（圧縮画像データ）を格納し、オフセット領域は、画像データ領域における圧縮画像データのデータ長を固定長とするためのオフセットデータ（ブランク）を格納する。
このように、各圧縮画像データは、情報テーブル領域に格納されたヘッダー情報に関係付けされて画像データ領域に格納される。
【００１８】
（３）動き検出部３１
動き検出部３１は、フレームメモリ２０に格納された複数のフレーム画像から被写体の動きを示す特徴量を検出するものである。ここで、被写体の動きを示す特徴量とは、被写体の動作軌跡や軌道、動作（移動）速度、動作（移動）方向等を示す情報であって、一般にベクトル情報として表すことができる。
動き検出の手法としては、異なる時刻におけるフレーム画像をそれぞれブロック領域に分割し、同一ブロック領域毎に参照画像上でのブロックマッチング処理を行い、誤差が最小となる座標位置から被写体のフレーム間での動きを検出するブロックマッチング法を適用することができる。なお、ブロックマッチング法は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１で国際標準化が行われたＩＳ１１１７２−２規格などに広く利用されているものである。ブロックマッチング法については後述する。
【００１９】
（４）中心画像設定部３３
中心画像設定部３３は、フレームメモリ２０に格納された複数のフレーム画像の中から特定のフレーム画像を選択、抽出し、後述する画像合成処理における中心画像として設定するものである。ここで、中心画像とは、画像合成の際に基準となる画像であって、一連のフレーム画像の始端や終端に位置する画像であってもよいし、特定時刻におけるフレーム画像であってもよい。要するに、後述する軌跡画像生成部３２により作成される軌跡画像が合成される核（元）となる画像を抽出するものであればよい。
【００２０】
（５）軌跡画像生成部３２
軌跡画像生成部３２は、動き検出部３１により検出された被写体の動きを示す特徴量、及び、中心画像設定部３３により抽出された中心画像に含まれる被写体像に基づいて、フレームメモリ２０に格納された複数のフレーム画像を加工して、被写体の動きに応じた動作軌跡や残像を表現する軌跡画像を生成するものである。
軌跡画像の生成は、動き検出部３１の検出結果に基づいて、フレームメモリ２０に格納された複数のフレーム画像から被写体を判別し、中心画像以外の各フレーム画像から被写体の輪郭成分を抽出して、抽出された輪郭成分を多重合成する処理、あるいは、輪郭成分に基づいて残像領域を生成する処理を施し、さらに、画像の濃淡調整を施して被写体の動きを表現する特有の軌跡画像を作成する。
【００２１】
（６）画像合成部３４
画像合成部３４は、中心画像設定部３３により抽出された中心画像に、軌跡画像生成部３３により作成された軌跡画像を合成処理して、軌跡合成画像として出力するものである。
（７）ＭＰＵ３０、ハードディスク４０
ハードディスク４０は、ＭＰＵ３０が実行するプログラムや動作上必要なデータを記憶する。したがって、ＭＰＵ３０は、ハードディスク４０に記憶されたアプリケーションプログラムを実行することにより、上述した動き検出部３１、軌跡画像生成部３２、中心画像設定部３３、及び、画像合成部３４の各機能をソフトウェア的に実現して、後述する一連の画像処理やメモリ管理、モニタ５０やプリンタ６０への出力制御を行う。
【００２２】
（８）モニタ５０、プリンタ６０
画像合成部３４により合成処理された軌跡合成画像を表示、あるいは、印刷出力するものであって、テレビやパソコンのモニタ、プリンタ等の出力装置である。ここで、図１においては、モニタ５０やプリンタ６０を、バス８０に直接接続された構成として示したが、本発明はこれに限定されるものではなく、バス８０に接続された通信インターフェース等を介して通信回線により接続されるファクシミリ装置や携帯情報端末（ＰＤＡ）、パソコン等であってもよい。なお、本発明の説明においては、モニタ５０への表示出力及びプリンタ６０への印刷出力のほか、軌跡合成画像を静止画像として出力する動作全般を、便宜的に「表示出力」と記載する。
（９）入力部７０
入力部７０は、画像処理装置に設けられた各種キースイッチ類であって、ＭＰＵ３０によるアプリケーションプログラムの実行や画像処理、モニタ５０やプリンタ６０への表示出力等の制御信号を生成する。また、後述する実施形態における基準画像選択手段や軌跡画像選択手段としての機能も有する。画像処理装置に設けられた専用のキースイッチ類はもとより、パソコン等により本発明を実施する場合にはキーボードやマウス、ペンタブレット等の各種入力装置も含まれる。
【００２３】
次に、上述した構成を有する画像処理装置における処理動作について、図面を参照して説明する。
図４は、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。まず、処理動作の概略について上述した構成を参照しつつ説明した後、各ステップについて個別に説明する。
図４に示すように、ステップＳ１０１、Ｓ１０２において、動画データ取込部１０により、入力された動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、ＪＰＥＧ等の規格に準拠するように圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。この際、圧縮されたフレーム画像を識別するヘッダー情報が関係付けられて格納される。
次いで、ステップＳ１０３において、中心画像設定部３３により、フレームメモリ２０に格納された複数のフレーム画像の中から、画像合成における基準となる中心画像を設定し、ステップＳ１０４、Ｓ１０５において、動き検出部３１により、フレームメモリに格納された複数のフレーム画像に含まれる動作を伴う被写体（動体）を検出するとともに、その被写体の動作特性を示す情報を出力する。
【００２４】
次いで、ステップＳ１０６、Ｓ１０７において、軌跡画像生成部３２により、上述した被写体の動作特性、及び、中心画像に基づいて、各フレーム画像に含まれる被写体の輪郭成分を抽出して、それらの輪郭成分を多重合成、あるいは、輪郭成分に基づいて残像領域を生成し、さらに、輪郭成分の濃淡調整をする加工処理を施し、被写体の動きを表現する軌跡画像を作成する。
次いで、ステップＳ１０８、Ｓ１０９において、画像合成部３４により、中心画像と軌跡画像を合成処理して１枚の静止画像とし、得られた静止画像をモニタ５０やプリンタ６０等に表示出力する。
このように、本実施形態における画像処理装置の処理動作は、大別して、動画データ取込ステップ、中心画像設定ステップ、動き検出ステップ、軌跡画像作成ステップ、及び、画像合成ステップから構成されている。
【００２５】
以下、各ステップについて、図面を参照して説明する。
（１）動画データ取込ステップ
図５は、動画データ取込ステップを示す概念図である。以下、被写体として走行する車両を例にして説明する。
ビデオカメラや電子スチルカメラにより撮影された動画データや、テレビジョン放送の映像情報等の動画データは、時系列的に配列された一連のフレーム画像の集合であるため、本ステップにおいては、図５に示すように、一連のフレーム画像から所定の時間間隔毎に、例えば動画データＶＤの時系列上の位置に相当する時刻Ｔ２、Ｔ６、Ｔ１０、…のフレーム画像Ｆａ、Ｆｂ、Ｆｃ、…が、動画データ取込部１０により選択、抽出される。なお、選択、抽出されるフレーム画像は、動画データＶＤを構成する一連のフレーム画像の全てであってもよく、抽出されたフレーム画像によって被写体の動き、すなわち車両の走行状態が把握できるものであれば上述した時間間隔に限定されない。
抽出されたフレーム画像Ｆａ、Ｆｂ、Ｆｃ、…は、後述する画像処理を簡易に実行するためにデジタル画像信号に変換され、さらに、フレームメモリ２０の記憶容量を有効に利用するためにＪＰＥＧ等の所定の圧縮符号化処理が施され、画像識別情報や時刻情報等に関係付けて、画像データ領域に順次格納される。
【００２６】
（２）中心画像設定ステップ
本ステップにおいては、中心画像設定部３３により、フレームメモリ２０に格納された複数のフレーム画像Ｆａ、Ｆｂ、Ｆｃ、…の中から、例えば時刻Ｔ６におけるフレーム画像Ｆｂを選択し、情報テーブル領域に中心画像であることを示すヘッダー情報を付加することにより、中心画像として設定する。この中心画像は、上述したように、画像合成の際に基準となる画像であり、その抽出方法は、取り込んだフレーム画像のうちの始端や終端、あるいは中間の時刻に位置する画像を抽出するように予め設定するものであってもよいし、後述する被写体の動作特性の検出結果に基づいて、例えば走行する車両がフレーム画像の中心位置にあるものを選択するものであってもよい。
【００２７】
（３）動き検出ステップ
本ステップにおいては、動き検出部３１により、フレームメモリ２０に格納された複数のフレーム画像から走行する車両を検出するとともに、その動きの軌道あるいは軌跡を算出する。
以下、画像情報に含まれる被写体の動きを検出する方法について、図面を参照して説明する。
まず、動き検出に適用される手法の一例として、ブロックマッチングについて説明する。
図６は、動き検出ステップに適用されるブロックマッチング法を示す概念図である。
例えば、『テレビジョン学会編、「画像情報圧縮」、オーム社、ｐ．９２、１９９１年』には、連続する複数のフレーム画像により構成される動画データに含まれる被写体の動きを検出するブロックマッチング法について記載されている。
【００２８】
上記文献によれば、図６に示すように、注目するフレーム画像（以下、便宜的に現フレーム画像という。）Ｆｎと、一つ前の時刻におけるフレーム画像（以下、便宜的に前フレーム画像という。）Ｆｍの特定位置のブロック（領域）Ｂｎ、Ｂｍについて、パターンマッチングを行う。パターンマッチングの方法は、例えば、ブロックＢｎ中の画素Ｘｎと、これをｉ画素分ずらしたブロックＢｍ中の画素Ｘｎ−ｉとの差分の絶対値和Ｓを次式▲１▼に従って求め、この絶対値和Ｓ、すなわち評価量を最小にするずれ位置ｉを探索して動き量を検出するものである。
Ｓ＝Σ｜Ｘｎ−Ｘｎ−ｉ｜ …▲１▼
ここで、▲１▼式における総和計算Σは、ブロックＢｎに属する全ての画素Ｘｎについて実行される。
このように、ブロックマッチング法においては、現フレーム画像をブロックに分割し、ブロック単位で前フレーム画像との類似位置をパターンマッチングにより探索して、フレーム画像に含まれる被写体の動作速度や方向等の動きを検出する。
【００２９】
なお、動き検出に適用される手法としては、上述したブロックマッチング法のほかに、フレーム画像中に含まれる被写体領域の特徴成分の変化から動きベクトルを算出する手法を適用することもできる。
この手法は、まず、フレーム画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分を独立した領域（被写体領域）として抽出する。あるいは、フレーム画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて一つの領域として抽出する。そして、抽出された領域の特徴成分、例えば領域の重心位置を検出し、フレーム画像間での変化量を算出することにより、領域全体としての平行移動量を示す動きベクトルとして求められる。したがって、算出された変化量を当該領域の動きパラメータとして出力することにより、被写体領域内の任意の画素位置に対して、動きベクトルの値（移動量、方向）を計算で求めることができる。
また、動き検出のさらに別の手法としては、フレーム画像内の輪郭線成分を多数検出し、検出した多数の輪郭線をグループにまとめ、ニューラルネットワーク処理により画像全体の動きを検出する手法を適用することもできる。
【００３０】
（４）軌跡画像作成ステップ
本ステップにおいては、軌跡画像生成部３２により、フレームメモリ２０に格納された複数のフレーム画像、及び、中心画像に基づいて、車両の走行状態を表現する軌跡画像を生成する。
図７は、軌跡画像作成ステップの第１の例を示す概念図である。
図７に示すように、フレームメモリ２０に格納された複数のフレーム画像Ｆａ、Ｆｂ、Ｆｃから、上述した動き検出ステップにより判明した車両Ｃａ、Ｃｂ、Ｃｃの動き（動作特性）に基づいて、車両の輪郭成分のみを抽出し、時系列的に配列することにより軌跡画像が生成される。ここで生成される軌跡画像は、従来技術において説明したフレーム画像の単なる多重合成とは異なり、輪郭成分のみを合成するものであるので、車両の全体の動きを的確に表現する画像となる。さらに、中心画像設定ステップにおいて、中心画像に設定されたフレーム画像（例えばＦｂ）に含まれる車両Ｃｂの位置に基づいて、軌跡画像の加工処理を施す。
【００３１】
具体的には、中心画像Ｆｂに含まれる車両Ｃｂの画像（被写体像）を構成する輪郭成分（以下、基準輪郭成分という。）の輝度、彩度等を基準値として、軌跡画像を構成する複数の輪郭成分のうち、基準輪郭成分の近傍に位置するものの輝度、彩度を基準値に近似させ、離間するにしたがって、その輝度、彩度を低減させて、いわゆるかすれが生じた状態に調整する。このとき、加工処理は、車両Ｃｂの進行方向の反対側（後方側；図面左側）に位置する軌跡画像を構成する輪郭成分のみを対象とし、進行方向側（前方側；図面右側）に位置する輪郭成分は削除する。すなわち、中心画像よりも過去に属するフレーム画像の輪郭成分を用いて画像加工を行うことにより軌跡画像Ｌａが作成される。以上の軌跡画像の作成処理を「第１の軌跡画像作成処理」と呼ぶものとする。
【００３２】
また、他の手法として、上述した輪郭成分の多重合成処理に加え、被写体の動作方向や動作状態を表現する特有の画像要素、例えば被写体の動作方向に延伸する線成分を生成、配置する処理を加え、図７に示すように、軌跡画像Ｌｂを作成するものであってもよい。以上の軌跡画像の作成処理を「第２の軌跡画像作成処理」と呼ぶものとする。
なお、上述した軌跡画像の加工処理においては、フレーム画像に含まれる被写体の輪郭成分を抽出、多重合成し、さらに中心画像に含まれる被写体の位置に基づいて各輪郭成分の加工処理を施す手法について説明したが、合成又は加工処理された画像を見る者に被写体の動作状態を的確に認識させることができるものであれば、上述した例に限定されるものではない。
【００３３】
次に、軌跡画像作成ステップの第２の例について説明する。
上述した第１の例においては、抽出されたフレーム画像に含まれる車両が固定された背景に対して走行する状態を撮影した動画データであることを前提に説明したが、カメラワーク等によっては、走行する車両をフレーム画像の一定位置に固定した動画データの場合がある。このような場合の軌跡画像の作成処理について説明する。
図８は、軌跡画像作成ステップの第２の例を示す概念図である。
図８に示すように、動画データから抽出され、フレームメモリ２０に格納された複数のフレーム画像Ｆｉ、Ｆｊ、Ｆｋから、上述した動き検出ステップにより判明した背景の動きに基づいて、背景成分Ｇｉ、Ｇｊ、Ｇｋのみを抽出する。この背景成分Ｇｉ、Ｇｊ、Ｇｋは、動き検出ステップにおいて、動きが検出されなかった被写体（車両Ｃｉ、Ｃｊ、Ｃｋ）成分をフレーム画像Ｆｉ、Ｆｊ、Ｆｋから削除することにより容易に生成される。そして、抽出された背景成分Ｇｉ、Ｇｊ、Ｇｋを時系列的に配列して軌跡画像を生成し、さらに、中心画像設定ステップにおいて、中心画像に設定されたフレーム画像（例えばＦｋ）に含まれる背景成分（以下、基準背景成分という。）Ｇｋに基づいて、軌跡画像の加工処理を施す。
【００３４】
具体的には、基準背景成分Ｇｋの輝度、彩度等を最もかすれの度合いが大きい表現となるように加工して、軌跡画像を構成する複数の背景成分のうち、基準背景成分Ｇｋの近傍に位置するものを基準値に近似させてかすれ加工を施し、離間するにしたがって、背景成分本来の輝度、彩度となるように調整することにより軌跡画像Ｌｃが作成される。
なお、軌跡画像の作成処理は、上述した第１の例と同様に、背景成分の合成、加工処理のみならず、背景成分の移動（流れ）状態を表現する線成分等の追加処理を組み合わせて利用するものであってもよい。
【００３５】
（５）画像合成ステップ
本ステップは、画像合成部３４により、中心画像と軌跡画像とを合成処理して、車両の走行状態を表現する静止画を生成し、モニタ５０やプリンタ６０を介して表示出力する。
図９及び図１０は、画像合成ステップの第１の例を示す概念図である。ここで、図９は、上述した第１の軌跡画像作成処理により作成された軌跡画像Ｌａと、中心画像とを合成処理する場合を示す概念図であり、また、図１０は、上述した第２の軌跡画像作成処理により作成された軌跡画像Ｌｂと、中心画像とを合成処理する場合を示す概念図である。
【００３６】
図９及び図１０に示すように、中心画像設定ステップにより中心画像に設定されたフレーム画像Ｆｂと、軌跡画像作成ステップにより作成された軌跡画像Ｌａ、Ｌｂとを合成処理することにより、車両Ｃｂの走行状態を表現した軌跡画像Ｌａ、Ｌｂが合成された静止画像ＥＤ１、ＥＤ２が得られる。すなわち、中心画像Ｆｂは動画データを構成する一連のフレーム画像のうちの特定の一枚にすぎないが、軌跡画像Ｌａ、Ｌｂには中心画像Ｆｂに含まれる車両Ｃｂの位置を基準として輪郭成分や領域の加工処理が施されているため、両者を合成処理することにより車両Ｃｂの走行軌跡が一つのフレーム画像Ｆｂ内で表現されることになる。
そして、合成処理された静止画像ＥＤ１、ＥＤ２は、バス８０を介してモニタ５０やプリンタ６０に転送され表示出力される。
【００３７】
図１１は、画像合成ステップの第２の例を示す概念図であり、図８に示した軌跡画像作成処理により作成した軌跡画像Ｌｃと、車両Ｃｋの画像を合成処理する場合を示している。
図１１に示すように、中心画像設定ステップにより中心画像に設定されたフレーム画像Ｆｋに含まれる車両Ｃｋの画像成分と、軌跡画像作成ステップにより作成された軌跡画像Ｌｃとを多重合成することにより、車両Ｃｋの走行状態を背景の流れで表現した静止画像ＥＤ３が得られる。すなわち、上述した第１の例と同様に、中心画像Ｆｋは動画データを構成する一連のフレーム画像のうちの特定の一枚にすぎないが、軌跡画像Ｌｃには中心画像Ｆｋに含まれる背景成分Ｇｋを基準として輪郭や領域の加工処理が施されているため、両者を合成処理することにより一のフレーム画像Ｆｋ内で車両Ｃｋの走行状態が背景の流れにより表現される。
以上の一連のステップを有する本実施形態によれば、動画データ中の被写体の一連の動きを検出して被写体の位置や動きに応じた軌跡画像を作成し、中心画像と合成処理することにより、被写体の動きが的確に表現された静止画像を作成することができる。したがって、１枚の静止画像で動体の動きを直感的に把握することができるため、動画データのインデックス等に有効に利用することができる。
【００３８】
＜第２の実施形態＞
次に、本発明に係る画像処理装置の第２の実施形態について、図面を参照して説明する。
本実施形態は、上述した第１の実施形態において、動き検出部３１により検出された被写体の動き（動作特性）を分析して、例えば車両の走行速度に応じて軌跡画像の作成方法を変更するようにしたものである。
すなわち、図１に示した画像処理装置において、軌跡画像生成部３２は、動き検出部３１により検出された被写体の動作速度や動作方向等の検出結果を分析して、軌跡画像の作成処理を変更する制御機能を有している。
具体的には、図９に示したように、第１の軌跡画像作成処理により作成された軌跡画像Ｌａを中心画像Ｆｂに合成処理した静止画像ＥＤ１においては、車両Ｃｂの動きが比較的遅く認識されるように表現され、一方、図１０に示したように、第２の軌跡画像作成処理により作成された軌跡画像Ｌｂを中心画像Ｆｂに合成処理した静止画像ＥＤ２においては、車両Ｃｂの動きが比較的速く認識されるように表現される。したがって、このような特徴に基づいて、動き検出部３１により検出された被写体の動作速度を、例えば所定のしきい値との比較により低速動作であるか、あるいは、高速動作であるか判別して第１及び第２の軌跡画像作成処理を適宜切り替える。
【００３９】
ここで、被写体の動作速度と軌跡との関係について説明すると、被写体が低速で動作している場合には、動体の輪郭が比較的はっきりと把握されるという、人間の視覚（網膜）特性に対応させて各フレーム画像に含まれる被写体（動体）の輪郭をぼかすことなくフレーム画像数分、多重合成することにより、低速動作状態を表現することができ、被写体の動きを適切に認識させることができる。なお、本発明においては、このような輪郭成分の多重合成に加え、中心画像に含まれる被写体近傍の輪郭の輝度や彩度を中心画像のものに近似させて線分や色彩をはっきり表示するように処理し、被写体から遠い輪郭では、線分や色彩をかすれさせるように処理して、被写体の動きをよりリアルに表現する加工処理が施される。
これに対して、被写体が高速で動作する場合には、動体の輪郭が極めて曖昧に把握されるという、人間の視覚特性に対応させて各フレーム画像に含まれる被写体の輪郭を相互にぼかすことにより、高速動作状態を表現することができ、被写体の動きを適切に認識させることができる。
【００４０】
以下、本実施形態の処理動作について、図１２のフローチャートを参照して説明する。上述した第１の実施形態と同等のステップについては、その説明を簡略化する。
図１２に示すように、ステップＳ２０１、Ｓ２０２において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ２０３において、フレームメモリ２０に格納された複数のフレーム画像の中から中心画像を設定し、ステップＳ２０４において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体（動体）を検出するとともに、被写体の動作速度や方向等の動作特性を算出する。
そして、ステップＳ２０５〜Ｓ２０７において、算出された動作速度と予め設定されたしきい値速度とを比較し、算出された動作速度がしきい値よりも小さい場合には、被写体を低速の動体であると判断して、上述した第１の軌跡画像作成処理を選択し、軌跡画像を構成する輪郭成分が比較的はっきりと表現するように加工処理を施す。一方、算出された動作速度がしきい値よりも大きい場合には、被写体を高速の動体であると判断して、上述した第２の軌跡画像作成処理を選択し、輪郭成分の多重合成に加え、動作方向等を表現する線成分等を重ね合わせる加工処理を施す。
次いで、ステップＳ２０８、Ｓ２０９において、中心画像と上記軌跡画像を合成処理して１枚の静止画像とし、モニタ５０やプリンタ６０を介して表示出力する。
【００４１】
以上の一連のステップを有する本実施形態によれば、検出された被写体の一連の動き、特に動作速度（移動速度）に基づいて、軌跡画像の作成方法（軌跡画像作成処理を実行する機能；軌跡画像生成機能）を変更して動作速度に対応した軌跡画像を作成する軌跡画像作成処理を実行することができるため、被写体の動きを直感的に認識することができる静止画像を作成することができる。
なお、本実施形態においては、被写体の動作速度に応じて選択される処理方法として、第１及び第２の軌跡画像作成処理を用いる場合を示したが、図８及び図１１に示した背景成分を加工処理する方法に変更するものであっても構わない。要するに、合成処理された静止画像を見る者に、被写体の動作状態を的確に認識させるものであれば上記以外の方法であってもよい。また、被写体の動作速度の判別処理として、予め設定された一つのしきい値との比較処理を行う場合について説明したが、複数のしきい値による多段階の判別であってもよいし、動作速度をそのまま利用して輝度や彩度に重み付けを行うものであってもよい。
【００４２】
＜第３の実施形態＞
次に、本発明に係る画像処理装置の第３の実施形態について、図面を参照して説明する。
本実施形態は、中心画像設定ステップにおける中心画像の選択、設定処理を入力部７０等から入力される命令にしたがって設定変更するようにしたものである。
すなわち、図１に示した画像処理装置において、中心画像設定部３３は、入力部７０から、あるいは、図示を省略した通信回線等を介して入力される中心画像選択命令にしたがって、フレームメモリ２０に格納された複数のフレーム画像の中から任意のフレーム画像を抽出し、中心画像に設定する機能を有している。
具体的には、フレームメモリ２０に格納された複数のフレーム画像をモニタ５０やプリンタ６０を介して表示出力し、中心画像に選択するフレーム画像を特定する命令の入力を画像処理装置の利用者に促す。利用者は、表示出力されたフレーム画像を閲覧し、その中から任意のフレーム画像を選択し、キースイッチやキーボード等の入力部７０を介して中心画像選択命令を入力し、フレームメモリ２０の当該画像の情報テーブル領域に中心画像であることを示すヘッダー情報を付加する。
【００４３】
したがって、利用者は、例えば被写体の動作状態を表現するために最も適当と思われるフレーム画像や、特殊効果を奏するために最も適当と思われるフレーム画像を、入力部７０等から入力して、容易に中心画像として設定することができる。
以下、本実施形態の処理動作について、図１３のフローチャートを参照して説明する。上述した第１又は第２の実施形態と同等のステップについては、その説明を簡略化する。
【００４４】
図１３に示すように、ステップＳ３０１、Ｓ３０２において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ３０３において、フレームメモリ２０に格納された複数のフレーム画像の全て、あるいは一部をモニタ５０やプリンタ６０等を介して表示出力し、利用者に中心画像に設定するフレーム画像の選択及び命令入力を促す。
ここで、モニタ５０やプリンタ６０によるフレーム画像の表示出力方法は、フレーム画像を時系列的に順次出力するものであってもよいし、分割画面に複数のフレーム画像を一括して出力するものであってもよい。また、表示出力されるフレーム画像は、フレームメモリ２０に格納された全てのフレーム画像であってもよいし、一部のフレーム画像であっても構わない。すなわち、図５において抽出したフレーム画像Ｆａ、Ｆｂ、Ｆｃにおいて、これら全てのフレーム画像を表示出力するものであってもよいし、奇数番目に位置する一部のフレーム画像Ｆａ、Ｆｃのみを表示出力するものであってもよい。要するに、画像合成処理において中心画像として利用することができるフレーム画像を表示出力するものであればよい。
【００４５】
次いで、ステップＳ３０４において、利用者により選択、指示されたフレーム画像を中心画像となるようにヘッダー情報を設定する。さらに、ステップＳ３０５において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体（動体）を検出するとともに、被写体の動作状態を出力する。そして、ステップＳ３０６において、被写体の動作状態及び中心画像に基づいて、所定の軌跡画像を生成し、ステップＳ３０７、Ｓ３０８において、中心画像と上記軌跡画像を合成処理して１枚の静止画像とし、モニタ５０やプリンタ６０を介して表示出力する。
以上の一連のステップを有する本実施形態によれば、複数のフレーム画像の中から中心画像を一義的に選択、設定するのではなく、表示出力されたフレーム画像を利用者が閲覧して任意のフレーム画像を指示設定することができるため、被写体の動きを的確に表現しつつ、より多様な画像表現を実現することができる。なお、軌跡画像作成ステップは、第１の実施形態に示した手法に限らず、第２の実施形態に示したように、被写体の動作特性に応じて適宜処理方法を変更するものであってもよい。
【００４６】
＜第４の実施形態＞
次に、本発明に係る画像処理装置の第４の実施形態について、図面を参照して説明する。
本実施形態は、上述した第２の実施形態における軌跡画像作成処理の変更を、被写体の動作特性に基づいて制御するのではなく、画像処理装置の利用者の意志により入力部７０等を介して任意に設定することができるようにしたものである。
すなわち、図１に示した画像処理装置において、軌跡画像生成部３２は、入力部７０から、あるいは、図示を省略した通信回線等を介して入力される軌跡画像作成処理選択命令にしたがって、軌跡画像の作成方法を任意に選択する機能を有している。選択の対象となる軌跡画像の作成処理は、被写体の動作特性に応じた軌跡画像の作成処理、すなわち、上述した第１及び第２の軌跡画像作成処理や、背景成分の加工処理のほかに、中心画像に含まれる被写体を強調したり、特徴付ける特殊な軌跡画像の作成処理を任意に選択することもできる。
【００４７】
ここで、被写体を強調、あるいは、特徴付ける特殊な軌跡画像の作成処理及び合成処理の例について、図面を参照して説明する。
図１４は、特殊な軌跡画像の作成処理の一例を示す概念図であり、図１５は、特殊な軌跡画像と中心画像との合成処理の一例を示す概念図である。
図１４に示すように、フレームメモリ２０に格納された複数のフレーム画像Ｆａ〜Ｆｅから、動き検出ステップにより判明した車両Ｃａ〜Ｃｅの動きに基づいて、車両の輪郭成分のみを抽出し時系列的に配列（多重合成）することにより、車両の全体の動きを表現する軌跡画像が生成される。そして、中心画像に設定されたフレーム画像（例えばＦｃ）に含まれる車両Ｃｃの位置及び輪郭成分に基づいて、車両Ｃｃの前方及び後方に位置する輪郭成分について、車両Ｃｃから離間するにしたがってかすれが生じるように加工処理することにより軌跡画像ＬＱが作成される。
【００４８】
次に、図１５に示すように、中心画像に設定されたフレーム画像Ｆｃと特殊な軌跡画像ＬＱとを合成処理することにより、車両Ｃａ〜Ｃｅの全体の動作軌跡の中で車両Ｃｃを強調した特殊な静止画像ＥＤＱが得られる。
したがって、利用者は、キースイッチやキーボード等の入力部７０を介して、例えば特殊効果を奏するために最も適当と思われる軌跡画像の作成方法を入力設定することにより、容易に所望の静止画像を作成することができる。
以下、本実施形態の処理動作について、図１６のフローチャートを参照して説明する。上述した第１乃至第３の実施形態と同等のステップについては、その説明を簡略化する。
【００４９】
図１６に示すように、ステップＳ４０１、Ｓ４０２において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ２０の所定の格納領域に格納する。次いで、ステップＳ４０３において、フレームメモリ２０に格納された複数のフレーム画像の中から中心画像を設定し、ステップＳ４０４において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体（動体）を検出するとともに、被写体の動作状態を出力する。
そして、ステップＳ４０５、Ｓ４０６において、利用者により選択設定された軌道画像作成方法に基づいて、所定の軌跡画像を生成し、ステップＳ４０７、Ｓ４０８において、中心画像と上記軌跡画像を合成処理して１枚の静止画像とし、モニタ５０やプリンタ６０を介して表示出力する。
以上の一連のステップを有する本実施形態によれば、利用者の意志により軌跡画像の作成方法を任意に選択設定することができるため、被写体の動作軌跡を利用して作成される特殊な軌跡画像を中心画像に合成処理することにより、特殊効果を奏する静止画像を容易に作成することができる。
なお、本発明の画像処理装置は、上述したビデオカメラや電子スチルカメラ、パソコンのほか、ビデオプレーヤーやファクシミリ装置、プリンタ等の画像処理機器に良好に適用することができるものであることはいうまでもない。
【００５０】
【発明の効果】
請求項１、３、５又は６記載の発明によれば、基準画像に設定されたフレーム画像に含まれる被写体を中心とし、かつ、被写体の動きに応じた軌跡画像が生成されるため、動画情報として撮影された被写体の動きを直感的に認識することができる静止画像を容易に作成、出力することができる。特に、異なる複数の軌跡画像の生成方法（軌跡画像生成機能）から、少なくとも被写体の動きに基づいて、実行する軌跡画像の生成方法を選択して、被写体の輪郭成分を多重合成し、さらに、基準画像の被写体近傍の輪郭成分を明確に表示し、被写体から離間するほどぼかしやかすれが生じるように加工処理することにより、被写体の動作状態を的確に反映した静止画像（軌跡合成画像）を作成することができる。
そして、請求項４記載の発明に係る画像出力手段を有していることにより、上記静止画像をテレビモニタやパソコンのモニタ等に表示出力、あるいは、プリンタ等により印刷出力することができる。したがって、動画情報を簡易な手法で、かつ、多彩な表現形式により静止画像として表現することができるとともに、動画情報のインデックス情報等の用途に有効に利用することができる。
【００５１】
特に、請求項１記載の発明によれば、動画情報から抽出されたフレーム画像に含まれる被写体の動作速度を検出し、その検出結果に応じて軌跡画像の生成方法（軌跡画像生成機能）を変更することにより、被写体の動作速度に対応した軌跡画像を生成することができる。したがって、被写体の動作速度によって軌跡画像により表現されるスピード感が異なるため、作成された静止画像を見るだけで、被写体の全体の動きとともに、その動作速度を直感的に把握することができる。
また、請求項２記載の発明によれば、基準画像となるフレーム画像を、画像処理装置の利用者（使用者）の意志により、任意に選択、設定することができ、その基準画像に含まれる被写体を中心とし、かつ、被写体の動きに応じた軌跡画像が生成されるため、任意の位置に配置された被写体を強調した静止画像を容易に作成することができ、より多彩な表現形式により、被写体の動きを的確に把握することができる。
さらに、請求項３記載の発明によれば、軌跡画像の生成方法を画像処理装置の利用者（使用者）の意志により、任意に選択、設定することができるため、より多彩な表現形式を実現することができるとともに、特殊効果を有する静止画像を容易に作成することができる。特に、軌跡画像の生成方法として輪郭成分のぼかし加工や、グラデーション処理、速さを表現する特定画像の付加等を備えることにより、使用者が所望する軌跡画像を生成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の第１の実施形態を示すブロック図である。
【図２】動画データ取込部の概略構成を示すブロック図である。
【図３】フレームメモリの内部領域を示す概念図である。
【図４】第１の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図５】動画データ取込ステップを示す概念図である。
【図６】動き検出ステップに適用されるブロックマッチング法を示す概念図である。
【図７】軌跡画像作成ステップの第１の例を示す概念図である。
【図８】軌跡画像作成ステップの第２の例を示す概念図である。
【図９】第１の軌跡画像作成処理により作成された軌跡画像と、中心画像とを合成する場合を示す概念図である。
【図１０】第２の軌跡画像作成処理により作成された軌跡画像と、中心画像とを合成する場合を示す概念図である。
【図１１】画像合成ステップの第２の例を示す概念図である。
【図１２】第２の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図１３】第３の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図１４】第４の実施形態に適用される特殊な軌跡画像の作成処理の一例を示す概念図である。
【図１５】第４の実施形態に適用される特殊な軌跡画像と中心画像との合成処理の一例を示す概念図である。
【図１６】第４の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図１７】動画情報を構成する複数のフレーム画像から１枚を抽出し表示する手法の概念を示す図である。
【図１８】動画情報を構成する複数のフレーム画像から複数枚を抽出して分割画面に一括表示する手法の概念を示す図である。
【図１９】動画情報を静止画像として表現する従来の手法を示す概念図である。
【符号の説明】
１０ 動画データ取込部（画像情報取込手段）
２０ フレームメモリ（記憶手段）
３０ ＭＰＵ
３１ 動き検出部（動き検出手段）
３２ 軌跡画像生成部（軌跡画像生成手段）
３３ 中心画像設定部（基準画像設定手段）
３４ 画像合成部（画像合成手段）
４０ ハードディスク
５０ モニタ（画像出力手段）
６０ プリンタ（画像出力手段）
７０ 入力部（基準画像選択手段、軌跡画像選択手段）
８０ バス
Claims (6)
- 動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、
前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、
前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出する動き検出手段と、
前記動き動作検出手段により検出された前記被写体の動作速度に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、
前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動作速度に対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。 - 前記記憶手段に記憶された前記複数のフレーム画像から、画像処理装置の使用者が任意のフレーム画像を選択するための基準画像選択手段を有し、前記基準画像設定手段は、前記基準画像選択手段により選択された前記フレーム画像を前記基準画像として設定することを特徴とする請求項１記載の画像処理装置。
- 動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、
前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、
前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出する動き検出手段と、
画像処理装置の使用者の指示に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、
前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動きに対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。 - 前記画像合成手段により生成された前記軌跡合成画像を表示出力する画像出力手段を有していることを特徴とする請求項１、２、３記載の画像処理装置。
- 複数のフレーム画像からなる動画情報を記憶する記憶手段と、
前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、
使用者の指示、あるいは被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、
前記軌跡画像生成機能選択手段の選択結果に基づいて、前記記憶手段に記憶された前記複数のフレーム画像を用いて、該複数のフレーム画像の各々に含まれる被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。 - ＭＰＵによって実行される画像処理方法であって、
動画情報から複数のフレーム画像を抽出して記憶手段に記憶するステップと、
前記記憶手段に記憶された前記複数のフレーム画像からフレーム画像を選択し、基準画像として設定するステップと、
前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出するステップと、
使用者の指示、あるいは検出された前記被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択するステップと、
選択された軌跡画像生成機能、前記基準画像、及び、検出された前記被写体の動きに基づいて、前記複数のフレーム画像を加工し、前記被写体の動作軌跡を表現する軌跡画像を生成するステップと、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成するステップと、
を含むことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36582798A JP3603629B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36582798A JP3603629B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000187478A JP2000187478A (ja) | 2000-07-04 |
| JP3603629B2 true JP3603629B2 (ja) | 2004-12-22 |
Family
ID=18485217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36582798A Expired - Fee Related JP3603629B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3603629B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4596227B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| JP2003018578A (ja) * | 2001-06-27 | 2003-01-17 | Sony Corp | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| JP2005316300A (ja) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット |
| JP5003063B2 (ja) * | 2006-08-30 | 2012-08-15 | セイコーエプソン株式会社 | 動画像表示装置および動画像表示方法。 |
| JP2008167220A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
| JP2008182312A (ja) * | 2007-01-23 | 2008-08-07 | Xanavi Informatics Corp | 撮像画像表示装置 |
| JPWO2010035752A1 (ja) | 2008-09-24 | 2012-02-23 | 株式会社ニコン | 画像生成装置、撮像装置、画像再生装置、画像再生プログラム |
| JP5483535B2 (ja) | 2009-08-04 | 2014-05-07 | アイシン精機株式会社 | 車両周辺認知支援装置 |
| JP5293587B2 (ja) | 2009-12-16 | 2013-09-18 | ソニー株式会社 | 表示制御装置、表示制御方法、プログラム |
| JP2011176456A (ja) * | 2010-02-23 | 2011-09-08 | Nikon Corp | カメラ、および画像再生装置 |
| JP5581728B2 (ja) * | 2010-02-24 | 2014-09-03 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| JP5983737B2 (ja) * | 2012-04-03 | 2016-09-06 | ソニー株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
| JP6318547B2 (ja) * | 2013-10-28 | 2018-05-09 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
| EP3023987B1 (en) | 2014-11-20 | 2017-03-22 | Axis AB | Method and apparatus for visualizing information of a digital video stream |
| CN114968044B (zh) * | 2022-07-26 | 2023-01-24 | 安徽淘云科技股份有限公司 | 图片展示方法、装置、电子设备和存储介质 |
-
1998
- 1998-12-24 JP JP36582798A patent/JP3603629B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000187478A (ja) | 2000-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3603629B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3569800B2 (ja) | 画像処理装置及び画像処理方法 | |
| US8627206B2 (en) | Image processing device and image processing method for displaying images in a spiral form | |
| US8559798B2 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
| US8768103B2 (en) | Video processing apparatus and video display apparatus | |
| JP4843753B2 (ja) | 三次元画像生成方法及び装置 | |
| US7535497B2 (en) | Generation of static image data from multiple image data | |
| US20040233327A1 (en) | Method and apparatus of adaptive de-interlacing of dynamic image | |
| CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
| WO2023035882A9 (zh) | 视频处理方法、设备、存储介质和程序产品 | |
| CN114881921A (zh) | 基于事件及视频融合的去遮挡成像方法及装置 | |
| US8249425B2 (en) | Method and apparatus for controlling image display | |
| JP4240098B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2021079592A1 (ja) | 情報処理装置、３ｄデータの生成方法及びプログラム | |
| US20140146086A1 (en) | Image output apparatus, image output method, and program | |
| JP3882824B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4189575B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
| JP4656199B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
| JP4881045B2 (ja) | 動画生成装置、動画生成方法、及びプログラム | |
| JP6842194B2 (ja) | 表示制御装置、表示制御方法及び表示制御プログラム | |
| JPH11225310A (ja) | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 | |
| WO2020121844A1 (en) | Image processing device, image processing method, and program | |
| KR100225611B1 (ko) | 스포츠 영상 효과장치 | |
| KR20040095831A (ko) | 디지털 이미지의 고유객체 속성 차별화 장치 및 방법 | |
| JP2007095010A (ja) | 動画生成装置、動画生成方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |