JP3603629B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3603629B2 JP3603629B2 JP36582798A JP36582798A JP3603629B2 JP 3603629 B2 JP3603629 B2 JP 3603629B2 JP 36582798 A JP36582798 A JP 36582798A JP 36582798 A JP36582798 A JP 36582798A JP 3603629 B2 JP3603629 B2 JP 3603629B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- trajectory
- subject
- frame
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関し、特に、ビデオカメラや電子スチルカメラ等により撮影された動画情報を、1枚の静止画(スチル画)に合成加工して表示出力する画像処理装置及び画像処理方法に関する。
【0002】
【従来の技術】
近年、AV機器の普及、機能向上が著しい。特に、民生用、業務用を始め様々な場面でビデオカメラや電子スチルカメラ等の高機能化された画像記録機器が利用されるようになっている。これらの機器により撮影された画像は、機器本体に搭載された液晶パネルやケーブル等を介してテレビジョンやパーソナルコンピュータ(以下、パソコンと略称する)のモニタ上に簡易に表示出力することができ、また、プリンタ等を介して直接印刷出力することもできる。
しかしながら、撮影された様々な画像情報のうち、動画情報はその情報量が静止画像に比較して膨大であるうえ、動画の全てを再生表示して初めて被写体の動き等の一連の撮影内容を把握することができるものであるため、画像情報の記憶、再生、出力において、記憶容量を大量に必要とし、撮影内容の確認作業にも長時間を要するという問題、また、静止画像のように任意の画像を簡易に出力することができないという問題等を有している。
【0003】
一方、画像記録機器の普及や、画像処理技術の向上に伴って、撮影された画像情報の様々な表現方法へのニーズが高まっている。例えば、車両の走行やゴルフのスイングのように、比較的動きの速い被写体の軌跡を静止画として表現することにより、被写体の一連の動きを直感的に把握することができる。
従来、ビデオカメラや電子スチルカメラ等により撮影された動画に限らず、一般的な動画情報(テレビジョン放送の映像情報等を含む)を、静止画像として表現する方法としては、動画情報を構成する複数のフレーム画像の中から特定時刻に表示される1枚のフレーム画像を代表画像として抽出し、表示する方法、あるいは、一定の時間間隔で複数枚のフレーム画像を代表画像として抽出し、これらの代表画像を順次、あるいは、分割画面に一括して、表示する方法等が知られている。
【0004】
図17は、動画情報を構成する複数のフレーム画像から1枚を抽出し表示する手法の概念図である。
図17において、動画データVDには、車両が図面左方向から右方向へ走行する画像が含まれているものとする。ここで、動画データVDは、時系列的に配列する複数のフレーム画像(静止画)により構成されていると考えることができるため、被写体の動きを表す一連のフレーム画像の中から、例えば特定時刻T4における1枚のフレーム画像F1を抽出して表示出力することにより、静止画像に被写体(車両C1)の動きを盛り込むことができる。
しかし、このような表現方法にあっては、代表として抽出されたフレーム画像F1が特定時刻T4の静止画像1枚のみであるため、特定時刻T4の直前直後の動きを客観的に推測することはできるが、被写体の一連の動きを把握することはできない。すなわち、走行する車両を含む1枚のフレーム画像F1を静止画として表示しても、車両C1の動きは的確に表現されず、背景画像や車両の移動速度等の条件によっては、車両C1が静止しているように認識される。
【0005】
図18は、動画情報を構成する複数のフレーム画像から複数枚を抽出して分割画面に一括表示する手法の概念図である。
図18に示すように、被写体の動きを表す一連のフレーム画像の中から、例えば一定の時間間隔で時刻T2、T4、T6、T8の4枚のフレーム画像F1、F2、F3、F4を抽出して4分割画面に一括表示することにより、静止画像でありながら、4枚のフレーム画像F1、F2、F3、F4を時系列順に見渡すことができ、被写体の一連の動き(車両C1〜C4の走行状態)を把握することができる。
しかし、このような表現方法においては、代表画像として抽出された複数のフレーム画像を全体にわたって見渡すことにより、見る者がフレーム画像間の関連を推測して車両C1〜C4の動きを認識しなければならず、また、4枚のフレーム画像F1〜F4のうち、いずれか1枚の静止画像によっては、上述した場合と同様に、被写体の一連の動きを直感的に把握することはできない。すなわち、走行する車両を含む複数のフレーム画像F1〜F4を静止画として、順次あるいは一括して表示しても、車両の動きは見る者の推測に委ねられる部分が多分に存在し、正確に認識される訳ではない。
このような問題点は、走行する車両に限らず、ゴルフのスイング等のように、比較的速い動きを有する被写体を撮影した動画情報を静止画像として表現する場合に必ず生じるものである。
【0006】
【発明が解決しようとする課題】
ところで、動画情報を静止画像として表現する方法としては、映像データから複数のフレーム画像を抽出し、それらを単純に多重合成して1枚の静止画像を作成する方法が、特開平10−290450号公報に記載されている。この方法は、映像データから等時間間隔で複数のフレーム画像を選択、抽出し、各フレームにおける同一位置の画素値の平均値を求め、その平均値を多重静止画像の画素値とするものであるが、動きのある部分の画素値が小さくなり、ほとんど見えなくなるという問題があるため、画素値に所定の重み付けを施して動きのある部分のかすれ等が生じないように、さらに改善を加えたものである。
【0007】
しかしながら、上記公報に記載された方法は、抽出されたフレーム画像の全てについて、画素値のかすれがなく均等に表現されるように補正し、単純に重ね合わせたものにすぎず、例えば図19に示すように、走行する車両C1〜C4に関する異なる時刻T2、T4、T6、T8におけるフレーム画像F1〜F4を、単に一枚の静止画FQに多重合成したものが得られるにすぎない。すなわち、被写体の動作軌跡や軌道を認識することはできるが、動作の特性、例えばスピード感等を的確に表現するものではなく、また、被写体の動きを直感的に把握することができる画像や、特殊効果を有する画像を得られるものではない。
【0008】
そこで、本発明は、動画データに含まれる被写体の動きに応じた画像表現を実現し、被写体の動きを直感的に把握することができる静止画を簡易に生成、出力することができる画像処理装置及び画像処理方法を提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1記載の画像処理装置は、動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを示す特徴量を検出する動き検出手段と、前記動き動作検出手段により検出された前記特徴量のうち、前記被写体の動作速度に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動作速度に対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、を備えたことを特徴とする。
請求項2記載の画像処理装置は、請求項1記載の画像処理装置において、前記記憶手段に記憶された前記複数のフレーム画像から、画像処理装置の使用者が任意のフレーム画像を選択するための基準画像選択手段を有し、前記基準画像設定手段は、前記基準画像選択手段により選択された前記フレーム画像を前記基準画像として設定することを特徴とする。
【0010】
請求項3記載の画像処理装置は、動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを示す特徴量を検出する動き検出手段と、画像処理装置の使用者の指示に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動きに対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、を備えたことを特徴とする。
請求項4記載の画像処理装置は、請求項1、2、3記載の画像処理装置において、前記画像合成手段により生成された前記軌跡合成画像を表示出力する画像出力手段を有していることを特徴とする。
【0011】
また、請求項5記載の画像処理装置は、複数のフレーム画像からなる動画情報を記憶する記憶手段と、前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、使用者の指示、あるいは被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、前記軌跡画像生成機能選択手段の選択結果に基づいて、前記記憶手段に記憶された前記複数のフレーム画像を用いて、該複数のフレーム画像の各々に含まれる被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする。
【0012】
そして、請求項6記載の画像処理方法は、MPUによって実行される画像処理方法であって、動画情報から複数のフレーム画像を抽出して記憶手段に記憶するステップと、前記記憶手段に記憶された前記複数のフレーム画像からフレーム画像を選択し、基準画像として設定するステップと、前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出するステップと、使用者の指示、あるいは検出された前記被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択するステップと、選択された軌跡画像生成機能、前記基準画像、及び、検出された前記被写体の動きに基づいて、前記複数のフレーム画像を加工し、前記被写体の動作軌跡を表現する軌跡画像を生成するステップと、前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成するステップと、を含むことを特徴とする。
【0013】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
<第1の実施形態>
図1は、本発明に係る画像処理装置の第1の実施形態を示すブロック図である。
図1において、10は動画データ取込部(画像情報取込手段)、20はフレームメモリ(記憶手段)、30はMPU、40はハードディスク、50はLCD等のモニタ(画像出力手段)、60はプリンタ(画像出力手段)、70はキースイッチ等の入力部(基準画像選択手段、軌跡画像選択手段)、80はデータ/命令伝送用のバスである。ここで、MPU30は、動き検出部(動き検出手段)31と、軌跡画像生成部(軌跡画像生成手段)32と、中心画像設定部(基準画像設定手段)33と、画像合成部(画像合成手段)34の各機能を有して構成されている。
【0014】
これらの各機能は、概ね以下の通りである。
(1)動画データ取込部10
動画データ取込部10は、動画データから複数のフレーム画像を抽出して後述するフレームメモリ20に記憶するものである。ここで、動画データは、ビデオデータや連続撮影された複数の静止画像により構成されるものであってもよい。要するに、複数のフレーム画像の連続により構成されるものであればよく、また、取り込まれるフレーム画像はアナログ画像であっても、デジタル画像であっても構わない。
動画データ取込部10の概略構成について、図2を参照して説明する。
図2において、11はフレーム画像選択部、12はアナログ−デジタル変換器(以下、A/Dと記す。)、13は画像圧縮部、14はバスインターフェースである。
【0015】
フレーム画像選択部11は、後述するMPU30からの命令に従って、動画データから所定の時間間隔でフレーム画像を選択し、選択された各フレーム画像の画像信号を抽出する。ここで、選択されるフレーム画像は、動画データを構成する全てのフレーム画像であってもよいし、特定の時間間隔、例えば1/5secや1/10sec毎のフレーム画像であってもよいが、動画データに含まれる被写体の動きを把握できる程度の時間間隔を有していることを必須とする。なお、フレーム画像の選択の際に用いる時間間隔は、MPU30により予め設定された基準値を用いる方法や、画像処理装置の利用者(使用者)の意志により入力部70を介して指示された任意の値を用いる方法等、様々な手法を設定することができる。
A/D12は、選択されたフレーム画像がアナログ信号の場合に、アナログの画像信号をデジタル画像信号に変換する。
【0016】
画像圧縮部13は、A/D12によりデジタル画像信号化された、あるいは、フレーム画像選択部11においてデジタル画像信号として抽出された各フレーム画像の画像信号を、所定の画像圧縮規格に準拠するように処理する。フレーム画像の圧縮符号化方式としては、JPEG規格等を適用することができる。ここで、JPEG(Joint Photographic Coding Experts Group)とは、DCT(離散コサイン変換)、量子化、可変長符号化、等の手法により原画像データを圧縮符号化する規格であり、カラーファクシミリ装置や電子スチルカメラ等に採用されている国際標準規格である。なお、画像情報の圧縮符号化方式としては、一般にJPEGのほか、GIF、TIFF、LHA、ZIP等の様々な形式、規格が利用されているため、実施の形態に応じて適切な方式を採用することができる。
バスインターフェース14は、圧縮処理されたフレーム画像をバス80の伝送幅に変換してフレームメモリ20へ転送する。
【0017】
(2)フレームメモリ20
フレームメモリ20は、DRAM(Dynamic Random Access Memory)等により構成され、動画データ取込部10により選択され、圧縮符号化されたフレーム画像に画像識別情報等のヘッダー情報を関係付けて、MPU30により指定された画像データ格納領域に格納するものである。
図3は、フレームメモリ20の内部領域を示す概念図である。
図3に示すように、フレームメモリ20の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、画像データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報であるフォーマット情報が格納される。また、情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報、動画データの時系列上での位置(時刻)を示す時刻情報等の画像情報を識別するためのヘッダー情報が格納される。画像データ領域は、圧縮符号化されたフレーム画像(圧縮画像データ)を格納し、オフセット領域は、画像データ領域における圧縮画像データのデータ長を固定長とするためのオフセットデータ(ブランク)を格納する。
このように、各圧縮画像データは、情報テーブル領域に格納されたヘッダー情報に関係付けされて画像データ領域に格納される。
【0018】
(3)動き検出部31
動き検出部31は、フレームメモリ20に格納された複数のフレーム画像から被写体の動きを示す特徴量を検出するものである。ここで、被写体の動きを示す特徴量とは、被写体の動作軌跡や軌道、動作(移動)速度、動作(移動)方向等を示す情報であって、一般にベクトル情報として表すことができる。
動き検出の手法としては、異なる時刻におけるフレーム画像をそれぞれブロック領域に分割し、同一ブロック領域毎に参照画像上でのブロックマッチング処理を行い、誤差が最小となる座標位置から被写体のフレーム間での動きを検出するブロックマッチング法を適用することができる。なお、ブロックマッチング法は、ISO/IECJTC1/SC29/WG11で国際標準化が行われたIS11172−2規格などに広く利用されているものである。ブロックマッチング法については後述する。
【0019】
(4)中心画像設定部33
中心画像設定部33は、フレームメモリ20に格納された複数のフレーム画像の中から特定のフレーム画像を選択、抽出し、後述する画像合成処理における中心画像として設定するものである。ここで、中心画像とは、画像合成の際に基準となる画像であって、一連のフレーム画像の始端や終端に位置する画像であってもよいし、特定時刻におけるフレーム画像であってもよい。要するに、後述する軌跡画像生成部32により作成される軌跡画像が合成される核(元)となる画像を抽出するものであればよい。
【0020】
(5)軌跡画像生成部32
軌跡画像生成部32は、動き検出部31により検出された被写体の動きを示す特徴量、及び、中心画像設定部33により抽出された中心画像に含まれる被写体像に基づいて、フレームメモリ20に格納された複数のフレーム画像を加工して、被写体の動きに応じた動作軌跡や残像を表現する軌跡画像を生成するものである。
軌跡画像の生成は、動き検出部31の検出結果に基づいて、フレームメモリ20に格納された複数のフレーム画像から被写体を判別し、中心画像以外の各フレーム画像から被写体の輪郭成分を抽出して、抽出された輪郭成分を多重合成する処理、あるいは、輪郭成分に基づいて残像領域を生成する処理を施し、さらに、画像の濃淡調整を施して被写体の動きを表現する特有の軌跡画像を作成する。
【0021】
(6)画像合成部34
画像合成部34は、中心画像設定部33により抽出された中心画像に、軌跡画像生成部33により作成された軌跡画像を合成処理して、軌跡合成画像として出力するものである。
(7)MPU30、ハードディスク40
ハードディスク40は、MPU30が実行するプログラムや動作上必要なデータを記憶する。したがって、MPU30は、ハードディスク40に記憶されたアプリケーションプログラムを実行することにより、上述した動き検出部31、軌跡画像生成部32、中心画像設定部33、及び、画像合成部34の各機能をソフトウェア的に実現して、後述する一連の画像処理やメモリ管理、モニタ50やプリンタ60への出力制御を行う。
【0022】
(8)モニタ50、プリンタ60
画像合成部34により合成処理された軌跡合成画像を表示、あるいは、印刷出力するものであって、テレビやパソコンのモニタ、プリンタ等の出力装置である。ここで、図1においては、モニタ50やプリンタ60を、バス80に直接接続された構成として示したが、本発明はこれに限定されるものではなく、バス80に接続された通信インターフェース等を介して通信回線により接続されるファクシミリ装置や携帯情報端末(PDA)、パソコン等であってもよい。なお、本発明の説明においては、モニタ50への表示出力及びプリンタ60への印刷出力のほか、軌跡合成画像を静止画像として出力する動作全般を、便宜的に「表示出力」と記載する。
(9)入力部70
入力部70は、画像処理装置に設けられた各種キースイッチ類であって、MPU30によるアプリケーションプログラムの実行や画像処理、モニタ50やプリンタ60への表示出力等の制御信号を生成する。また、後述する実施形態における基準画像選択手段や軌跡画像選択手段としての機能も有する。画像処理装置に設けられた専用のキースイッチ類はもとより、パソコン等により本発明を実施する場合にはキーボードやマウス、ペンタブレット等の各種入力装置も含まれる。
【0023】
次に、上述した構成を有する画像処理装置における処理動作について、図面を参照して説明する。
図4は、本実施形態に係る画像処理装置の処理動作を示すフローチャートである。まず、処理動作の概略について上述した構成を参照しつつ説明した後、各ステップについて個別に説明する。
図4に示すように、ステップS101、S102において、動画データ取込部10により、入力された動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、JPEG等の規格に準拠するように圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。この際、圧縮されたフレーム画像を識別するヘッダー情報が関係付けられて格納される。
次いで、ステップS103において、中心画像設定部33により、フレームメモリ20に格納された複数のフレーム画像の中から、画像合成における基準となる中心画像を設定し、ステップS104、S105において、動き検出部31により、フレームメモリに格納された複数のフレーム画像に含まれる動作を伴う被写体(動体)を検出するとともに、その被写体の動作特性を示す情報を出力する。
【0024】
次いで、ステップS106、S107において、軌跡画像生成部32により、上述した被写体の動作特性、及び、中心画像に基づいて、各フレーム画像に含まれる被写体の輪郭成分を抽出して、それらの輪郭成分を多重合成、あるいは、輪郭成分に基づいて残像領域を生成し、さらに、輪郭成分の濃淡調整をする加工処理を施し、被写体の動きを表現する軌跡画像を作成する。
次いで、ステップS108、S109において、画像合成部34により、中心画像と軌跡画像を合成処理して1枚の静止画像とし、得られた静止画像をモニタ50やプリンタ60等に表示出力する。
このように、本実施形態における画像処理装置の処理動作は、大別して、動画データ取込ステップ、中心画像設定ステップ、動き検出ステップ、軌跡画像作成ステップ、及び、画像合成ステップから構成されている。
【0025】
以下、各ステップについて、図面を参照して説明する。
(1)動画データ取込ステップ
図5は、動画データ取込ステップを示す概念図である。以下、被写体として走行する車両を例にして説明する。
ビデオカメラや電子スチルカメラにより撮影された動画データや、テレビジョン放送の映像情報等の動画データは、時系列的に配列された一連のフレーム画像の集合であるため、本ステップにおいては、図5に示すように、一連のフレーム画像から所定の時間間隔毎に、例えば動画データVDの時系列上の位置に相当する時刻T2、T6、T10、…のフレーム画像Fa、Fb、Fc、…が、動画データ取込部10により選択、抽出される。なお、選択、抽出されるフレーム画像は、動画データVDを構成する一連のフレーム画像の全てであってもよく、抽出されたフレーム画像によって被写体の動き、すなわち車両の走行状態が把握できるものであれば上述した時間間隔に限定されない。
抽出されたフレーム画像Fa、Fb、Fc、…は、後述する画像処理を簡易に実行するためにデジタル画像信号に変換され、さらに、フレームメモリ20の記憶容量を有効に利用するためにJPEG等の所定の圧縮符号化処理が施され、画像識別情報や時刻情報等に関係付けて、画像データ領域に順次格納される。
【0026】
(2)中心画像設定ステップ
本ステップにおいては、中心画像設定部33により、フレームメモリ20に格納された複数のフレーム画像Fa、Fb、Fc、…の中から、例えば時刻T6におけるフレーム画像Fbを選択し、情報テーブル領域に中心画像であることを示すヘッダー情報を付加することにより、中心画像として設定する。この中心画像は、上述したように、画像合成の際に基準となる画像であり、その抽出方法は、取り込んだフレーム画像のうちの始端や終端、あるいは中間の時刻に位置する画像を抽出するように予め設定するものであってもよいし、後述する被写体の動作特性の検出結果に基づいて、例えば走行する車両がフレーム画像の中心位置にあるものを選択するものであってもよい。
【0027】
(3)動き検出ステップ
本ステップにおいては、動き検出部31により、フレームメモリ20に格納された複数のフレーム画像から走行する車両を検出するとともに、その動きの軌道あるいは軌跡を算出する。
以下、画像情報に含まれる被写体の動きを検出する方法について、図面を参照して説明する。
まず、動き検出に適用される手法の一例として、ブロックマッチングについて説明する。
図6は、動き検出ステップに適用されるブロックマッチング法を示す概念図である。
例えば、『テレビジョン学会編、「画像情報圧縮」、オーム社、p.92、1991年』には、連続する複数のフレーム画像により構成される動画データに含まれる被写体の動きを検出するブロックマッチング法について記載されている。
【0028】
上記文献によれば、図6に示すように、注目するフレーム画像(以下、便宜的に現フレーム画像という。)Fnと、一つ前の時刻におけるフレーム画像(以下、便宜的に前フレーム画像という。)Fmの特定位置のブロック(領域)Bn、Bmについて、パターンマッチングを行う。パターンマッチングの方法は、例えば、ブロックBn中の画素Xnと、これをi画素分ずらしたブロックBm中の画素Xn−iとの差分の絶対値和Sを次式▲1▼に従って求め、この絶対値和S、すなわち評価量を最小にするずれ位置iを探索して動き量を検出するものである。
S=Σ|Xn−Xn−i| …▲1▼
ここで、▲1▼式における総和計算Σは、ブロックBnに属する全ての画素Xnについて実行される。
このように、ブロックマッチング法においては、現フレーム画像をブロックに分割し、ブロック単位で前フレーム画像との類似位置をパターンマッチングにより探索して、フレーム画像に含まれる被写体の動作速度や方向等の動きを検出する。
【0029】
なお、動き検出に適用される手法としては、上述したブロックマッチング法のほかに、フレーム画像中に含まれる被写体領域の特徴成分の変化から動きベクトルを算出する手法を適用することもできる。
この手法は、まず、フレーム画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分を独立した領域(被写体領域)として抽出する。あるいは、フレーム画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて一つの領域として抽出する。そして、抽出された領域の特徴成分、例えば領域の重心位置を検出し、フレーム画像間での変化量を算出することにより、領域全体としての平行移動量を示す動きベクトルとして求められる。したがって、算出された変化量を当該領域の動きパラメータとして出力することにより、被写体領域内の任意の画素位置に対して、動きベクトルの値(移動量、方向)を計算で求めることができる。
また、動き検出のさらに別の手法としては、フレーム画像内の輪郭線成分を多数検出し、検出した多数の輪郭線をグループにまとめ、ニューラルネットワーク処理により画像全体の動きを検出する手法を適用することもできる。
【0030】
(4)軌跡画像作成ステップ
本ステップにおいては、軌跡画像生成部32により、フレームメモリ20に格納された複数のフレーム画像、及び、中心画像に基づいて、車両の走行状態を表現する軌跡画像を生成する。
図7は、軌跡画像作成ステップの第1の例を示す概念図である。
図7に示すように、フレームメモリ20に格納された複数のフレーム画像Fa、Fb、Fcから、上述した動き検出ステップにより判明した車両Ca、Cb、Ccの動き(動作特性)に基づいて、車両の輪郭成分のみを抽出し、時系列的に配列することにより軌跡画像が生成される。ここで生成される軌跡画像は、従来技術において説明したフレーム画像の単なる多重合成とは異なり、輪郭成分のみを合成するものであるので、車両の全体の動きを的確に表現する画像となる。さらに、中心画像設定ステップにおいて、中心画像に設定されたフレーム画像(例えばFb)に含まれる車両Cbの位置に基づいて、軌跡画像の加工処理を施す。
【0031】
具体的には、中心画像Fbに含まれる車両Cbの画像(被写体像)を構成する輪郭成分(以下、基準輪郭成分という。)の輝度、彩度等を基準値として、軌跡画像を構成する複数の輪郭成分のうち、基準輪郭成分の近傍に位置するものの輝度、彩度を基準値に近似させ、離間するにしたがって、その輝度、彩度を低減させて、いわゆるかすれが生じた状態に調整する。このとき、加工処理は、車両Cbの進行方向の反対側(後方側;図面左側)に位置する軌跡画像を構成する輪郭成分のみを対象とし、進行方向側(前方側;図面右側)に位置する輪郭成分は削除する。すなわち、中心画像よりも過去に属するフレーム画像の輪郭成分を用いて画像加工を行うことにより軌跡画像Laが作成される。以上の軌跡画像の作成処理を「第1の軌跡画像作成処理」と呼ぶものとする。
【0032】
また、他の手法として、上述した輪郭成分の多重合成処理に加え、被写体の動作方向や動作状態を表現する特有の画像要素、例えば被写体の動作方向に延伸する線成分を生成、配置する処理を加え、図7に示すように、軌跡画像Lbを作成するものであってもよい。以上の軌跡画像の作成処理を「第2の軌跡画像作成処理」と呼ぶものとする。
なお、上述した軌跡画像の加工処理においては、フレーム画像に含まれる被写体の輪郭成分を抽出、多重合成し、さらに中心画像に含まれる被写体の位置に基づいて各輪郭成分の加工処理を施す手法について説明したが、合成又は加工処理された画像を見る者に被写体の動作状態を的確に認識させることができるものであれば、上述した例に限定されるものではない。
【0033】
次に、軌跡画像作成ステップの第2の例について説明する。
上述した第1の例においては、抽出されたフレーム画像に含まれる車両が固定された背景に対して走行する状態を撮影した動画データであることを前提に説明したが、カメラワーク等によっては、走行する車両をフレーム画像の一定位置に固定した動画データの場合がある。このような場合の軌跡画像の作成処理について説明する。
図8は、軌跡画像作成ステップの第2の例を示す概念図である。
図8に示すように、動画データから抽出され、フレームメモリ20に格納された複数のフレーム画像Fi、Fj、Fkから、上述した動き検出ステップにより判明した背景の動きに基づいて、背景成分Gi、Gj、Gkのみを抽出する。この背景成分Gi、Gj、Gkは、動き検出ステップにおいて、動きが検出されなかった被写体(車両Ci、Cj、Ck)成分をフレーム画像Fi、Fj、Fkから削除することにより容易に生成される。そして、抽出された背景成分Gi、Gj、Gkを時系列的に配列して軌跡画像を生成し、さらに、中心画像設定ステップにおいて、中心画像に設定されたフレーム画像(例えばFk)に含まれる背景成分(以下、基準背景成分という。)Gkに基づいて、軌跡画像の加工処理を施す。
【0034】
具体的には、基準背景成分Gkの輝度、彩度等を最もかすれの度合いが大きい表現となるように加工して、軌跡画像を構成する複数の背景成分のうち、基準背景成分Gkの近傍に位置するものを基準値に近似させてかすれ加工を施し、離間するにしたがって、背景成分本来の輝度、彩度となるように調整することにより軌跡画像Lcが作成される。
なお、軌跡画像の作成処理は、上述した第1の例と同様に、背景成分の合成、加工処理のみならず、背景成分の移動(流れ)状態を表現する線成分等の追加処理を組み合わせて利用するものであってもよい。
【0035】
(5)画像合成ステップ
本ステップは、画像合成部34により、中心画像と軌跡画像とを合成処理して、車両の走行状態を表現する静止画を生成し、モニタ50やプリンタ60を介して表示出力する。
図9及び図10は、画像合成ステップの第1の例を示す概念図である。ここで、図9は、上述した第1の軌跡画像作成処理により作成された軌跡画像Laと、中心画像とを合成処理する場合を示す概念図であり、また、図10は、上述した第2の軌跡画像作成処理により作成された軌跡画像Lbと、中心画像とを合成処理する場合を示す概念図である。
【0036】
図9及び図10に示すように、中心画像設定ステップにより中心画像に設定されたフレーム画像Fbと、軌跡画像作成ステップにより作成された軌跡画像La、Lbとを合成処理することにより、車両Cbの走行状態を表現した軌跡画像La、Lbが合成された静止画像ED1、ED2が得られる。すなわち、中心画像Fbは動画データを構成する一連のフレーム画像のうちの特定の一枚にすぎないが、軌跡画像La、Lbには中心画像Fbに含まれる車両Cbの位置を基準として輪郭成分や領域の加工処理が施されているため、両者を合成処理することにより車両Cbの走行軌跡が一つのフレーム画像Fb内で表現されることになる。
そして、合成処理された静止画像ED1、ED2は、バス80を介してモニタ50やプリンタ60に転送され表示出力される。
【0037】
図11は、画像合成ステップの第2の例を示す概念図であり、図8に示した軌跡画像作成処理により作成した軌跡画像Lcと、車両Ckの画像を合成処理する場合を示している。
図11に示すように、中心画像設定ステップにより中心画像に設定されたフレーム画像Fkに含まれる車両Ckの画像成分と、軌跡画像作成ステップにより作成された軌跡画像Lcとを多重合成することにより、車両Ckの走行状態を背景の流れで表現した静止画像ED3が得られる。すなわち、上述した第1の例と同様に、中心画像Fkは動画データを構成する一連のフレーム画像のうちの特定の一枚にすぎないが、軌跡画像Lcには中心画像Fkに含まれる背景成分Gkを基準として輪郭や領域の加工処理が施されているため、両者を合成処理することにより一のフレーム画像Fk内で車両Ckの走行状態が背景の流れにより表現される。
以上の一連のステップを有する本実施形態によれば、動画データ中の被写体の一連の動きを検出して被写体の位置や動きに応じた軌跡画像を作成し、中心画像と合成処理することにより、被写体の動きが的確に表現された静止画像を作成することができる。したがって、1枚の静止画像で動体の動きを直感的に把握することができるため、動画データのインデックス等に有効に利用することができる。
【0038】
<第2の実施形態>
次に、本発明に係る画像処理装置の第2の実施形態について、図面を参照して説明する。
本実施形態は、上述した第1の実施形態において、動き検出部31により検出された被写体の動き(動作特性)を分析して、例えば車両の走行速度に応じて軌跡画像の作成方法を変更するようにしたものである。
すなわち、図1に示した画像処理装置において、軌跡画像生成部32は、動き検出部31により検出された被写体の動作速度や動作方向等の検出結果を分析して、軌跡画像の作成処理を変更する制御機能を有している。
具体的には、図9に示したように、第1の軌跡画像作成処理により作成された軌跡画像Laを中心画像Fbに合成処理した静止画像ED1においては、車両Cbの動きが比較的遅く認識されるように表現され、一方、図10に示したように、第2の軌跡画像作成処理により作成された軌跡画像Lbを中心画像Fbに合成処理した静止画像ED2においては、車両Cbの動きが比較的速く認識されるように表現される。したがって、このような特徴に基づいて、動き検出部31により検出された被写体の動作速度を、例えば所定のしきい値との比較により低速動作であるか、あるいは、高速動作であるか判別して第1及び第2の軌跡画像作成処理を適宜切り替える。
【0039】
ここで、被写体の動作速度と軌跡との関係について説明すると、被写体が低速で動作している場合には、動体の輪郭が比較的はっきりと把握されるという、人間の視覚(網膜)特性に対応させて各フレーム画像に含まれる被写体(動体)の輪郭をぼかすことなくフレーム画像数分、多重合成することにより、低速動作状態を表現することができ、被写体の動きを適切に認識させることができる。なお、本発明においては、このような輪郭成分の多重合成に加え、中心画像に含まれる被写体近傍の輪郭の輝度や彩度を中心画像のものに近似させて線分や色彩をはっきり表示するように処理し、被写体から遠い輪郭では、線分や色彩をかすれさせるように処理して、被写体の動きをよりリアルに表現する加工処理が施される。
これに対して、被写体が高速で動作する場合には、動体の輪郭が極めて曖昧に把握されるという、人間の視覚特性に対応させて各フレーム画像に含まれる被写体の輪郭を相互にぼかすことにより、高速動作状態を表現することができ、被写体の動きを適切に認識させることができる。
【0040】
以下、本実施形態の処理動作について、図12のフローチャートを参照して説明する。上述した第1の実施形態と同等のステップについては、その説明を簡略化する。
図12に示すように、ステップS201、S202において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。次いで、ステップS203において、フレームメモリ20に格納された複数のフレーム画像の中から中心画像を設定し、ステップS204において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体(動体)を検出するとともに、被写体の動作速度や方向等の動作特性を算出する。
そして、ステップS205〜S207において、算出された動作速度と予め設定されたしきい値速度とを比較し、算出された動作速度がしきい値よりも小さい場合には、被写体を低速の動体であると判断して、上述した第1の軌跡画像作成処理を選択し、軌跡画像を構成する輪郭成分が比較的はっきりと表現するように加工処理を施す。一方、算出された動作速度がしきい値よりも大きい場合には、被写体を高速の動体であると判断して、上述した第2の軌跡画像作成処理を選択し、輪郭成分の多重合成に加え、動作方向等を表現する線成分等を重ね合わせる加工処理を施す。
次いで、ステップS208、S209において、中心画像と上記軌跡画像を合成処理して1枚の静止画像とし、モニタ50やプリンタ60を介して表示出力する。
【0041】
以上の一連のステップを有する本実施形態によれば、検出された被写体の一連の動き、特に動作速度(移動速度)に基づいて、軌跡画像の作成方法(軌跡画像作成処理を実行する機能;軌跡画像生成機能)を変更して動作速度に対応した軌跡画像を作成する軌跡画像作成処理を実行することができるため、被写体の動きを直感的に認識することができる静止画像を作成することができる。
なお、本実施形態においては、被写体の動作速度に応じて選択される処理方法として、第1及び第2の軌跡画像作成処理を用いる場合を示したが、図8及び図11に示した背景成分を加工処理する方法に変更するものであっても構わない。要するに、合成処理された静止画像を見る者に、被写体の動作状態を的確に認識させるものであれば上記以外の方法であってもよい。また、被写体の動作速度の判別処理として、予め設定された一つのしきい値との比較処理を行う場合について説明したが、複数のしきい値による多段階の判別であってもよいし、動作速度をそのまま利用して輝度や彩度に重み付けを行うものであってもよい。
【0042】
<第3の実施形態>
次に、本発明に係る画像処理装置の第3の実施形態について、図面を参照して説明する。
本実施形態は、中心画像設定ステップにおける中心画像の選択、設定処理を入力部70等から入力される命令にしたがって設定変更するようにしたものである。
すなわち、図1に示した画像処理装置において、中心画像設定部33は、入力部70から、あるいは、図示を省略した通信回線等を介して入力される中心画像選択命令にしたがって、フレームメモリ20に格納された複数のフレーム画像の中から任意のフレーム画像を抽出し、中心画像に設定する機能を有している。
具体的には、フレームメモリ20に格納された複数のフレーム画像をモニタ50やプリンタ60を介して表示出力し、中心画像に選択するフレーム画像を特定する命令の入力を画像処理装置の利用者に促す。利用者は、表示出力されたフレーム画像を閲覧し、その中から任意のフレーム画像を選択し、キースイッチやキーボード等の入力部70を介して中心画像選択命令を入力し、フレームメモリ20の当該画像の情報テーブル領域に中心画像であることを示すヘッダー情報を付加する。
【0043】
したがって、利用者は、例えば被写体の動作状態を表現するために最も適当と思われるフレーム画像や、特殊効果を奏するために最も適当と思われるフレーム画像を、入力部70等から入力して、容易に中心画像として設定することができる。
以下、本実施形態の処理動作について、図13のフローチャートを参照して説明する。上述した第1又は第2の実施形態と同等のステップについては、その説明を簡略化する。
【0044】
図13に示すように、ステップS301、S302において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。次いで、ステップS303において、フレームメモリ20に格納された複数のフレーム画像の全て、あるいは一部をモニタ50やプリンタ60等を介して表示出力し、利用者に中心画像に設定するフレーム画像の選択及び命令入力を促す。
ここで、モニタ50やプリンタ60によるフレーム画像の表示出力方法は、フレーム画像を時系列的に順次出力するものであってもよいし、分割画面に複数のフレーム画像を一括して出力するものであってもよい。また、表示出力されるフレーム画像は、フレームメモリ20に格納された全てのフレーム画像であってもよいし、一部のフレーム画像であっても構わない。すなわち、図5において抽出したフレーム画像Fa、Fb、Fcにおいて、これら全てのフレーム画像を表示出力するものであってもよいし、奇数番目に位置する一部のフレーム画像Fa、Fcのみを表示出力するものであってもよい。要するに、画像合成処理において中心画像として利用することができるフレーム画像を表示出力するものであればよい。
【0045】
次いで、ステップS304において、利用者により選択、指示されたフレーム画像を中心画像となるようにヘッダー情報を設定する。さらに、ステップS305において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体(動体)を検出するとともに、被写体の動作状態を出力する。そして、ステップS306において、被写体の動作状態及び中心画像に基づいて、所定の軌跡画像を生成し、ステップS307、S308において、中心画像と上記軌跡画像を合成処理して1枚の静止画像とし、モニタ50やプリンタ60を介して表示出力する。
以上の一連のステップを有する本実施形態によれば、複数のフレーム画像の中から中心画像を一義的に選択、設定するのではなく、表示出力されたフレーム画像を利用者が閲覧して任意のフレーム画像を指示設定することができるため、被写体の動きを的確に表現しつつ、より多様な画像表現を実現することができる。なお、軌跡画像作成ステップは、第1の実施形態に示した手法に限らず、第2の実施形態に示したように、被写体の動作特性に応じて適宜処理方法を変更するものであってもよい。
【0046】
<第4の実施形態>
次に、本発明に係る画像処理装置の第4の実施形態について、図面を参照して説明する。
本実施形態は、上述した第2の実施形態における軌跡画像作成処理の変更を、被写体の動作特性に基づいて制御するのではなく、画像処理装置の利用者の意志により入力部70等を介して任意に設定することができるようにしたものである。
すなわち、図1に示した画像処理装置において、軌跡画像生成部32は、入力部70から、あるいは、図示を省略した通信回線等を介して入力される軌跡画像作成処理選択命令にしたがって、軌跡画像の作成方法を任意に選択する機能を有している。選択の対象となる軌跡画像の作成処理は、被写体の動作特性に応じた軌跡画像の作成処理、すなわち、上述した第1及び第2の軌跡画像作成処理や、背景成分の加工処理のほかに、中心画像に含まれる被写体を強調したり、特徴付ける特殊な軌跡画像の作成処理を任意に選択することもできる。
【0047】
ここで、被写体を強調、あるいは、特徴付ける特殊な軌跡画像の作成処理及び合成処理の例について、図面を参照して説明する。
図14は、特殊な軌跡画像の作成処理の一例を示す概念図であり、図15は、特殊な軌跡画像と中心画像との合成処理の一例を示す概念図である。
図14に示すように、フレームメモリ20に格納された複数のフレーム画像Fa〜Feから、動き検出ステップにより判明した車両Ca〜Ceの動きに基づいて、車両の輪郭成分のみを抽出し時系列的に配列(多重合成)することにより、車両の全体の動きを表現する軌跡画像が生成される。そして、中心画像に設定されたフレーム画像(例えばFc)に含まれる車両Ccの位置及び輪郭成分に基づいて、車両Ccの前方及び後方に位置する輪郭成分について、車両Ccから離間するにしたがってかすれが生じるように加工処理することにより軌跡画像LQが作成される。
【0048】
次に、図15に示すように、中心画像に設定されたフレーム画像Fcと特殊な軌跡画像LQとを合成処理することにより、車両Ca〜Ceの全体の動作軌跡の中で車両Ccを強調した特殊な静止画像EDQが得られる。
したがって、利用者は、キースイッチやキーボード等の入力部70を介して、例えば特殊効果を奏するために最も適当と思われる軌跡画像の作成方法を入力設定することにより、容易に所望の静止画像を作成することができる。
以下、本実施形態の処理動作について、図16のフローチャートを参照して説明する。上述した第1乃至第3の実施形態と同等のステップについては、その説明を簡略化する。
【0049】
図16に示すように、ステップS401、S402において、動画データから所定の時間間隔で複数のフレーム画像を選択、抽出し、圧縮符号化処理を施してフレームメモリ20の所定の格納領域に格納する。次いで、ステップS403において、フレームメモリ20に格納された複数のフレーム画像の中から中心画像を設定し、ステップS404において、上述したブロックマッチング法等を適用して、複数のフレーム画像に含まれる被写体(動体)を検出するとともに、被写体の動作状態を出力する。
そして、ステップS405、S406において、利用者により選択設定された軌道画像作成方法に基づいて、所定の軌跡画像を生成し、ステップS407、S408において、中心画像と上記軌跡画像を合成処理して1枚の静止画像とし、モニタ50やプリンタ60を介して表示出力する。
以上の一連のステップを有する本実施形態によれば、利用者の意志により軌跡画像の作成方法を任意に選択設定することができるため、被写体の動作軌跡を利用して作成される特殊な軌跡画像を中心画像に合成処理することにより、特殊効果を奏する静止画像を容易に作成することができる。
なお、本発明の画像処理装置は、上述したビデオカメラや電子スチルカメラ、パソコンのほか、ビデオプレーヤーやファクシミリ装置、プリンタ等の画像処理機器に良好に適用することができるものであることはいうまでもない。
【0050】
【発明の効果】
請求項1、3、5又は6記載の発明によれば、基準画像に設定されたフレーム画像に含まれる被写体を中心とし、かつ、被写体の動きに応じた軌跡画像が生成されるため、動画情報として撮影された被写体の動きを直感的に認識することができる静止画像を容易に作成、出力することができる。特に、異なる複数の軌跡画像の生成方法(軌跡画像生成機能)から、少なくとも被写体の動きに基づいて、実行する軌跡画像の生成方法を選択して、被写体の輪郭成分を多重合成し、さらに、基準画像の被写体近傍の輪郭成分を明確に表示し、被写体から離間するほどぼかしやかすれが生じるように加工処理することにより、被写体の動作状態を的確に反映した静止画像(軌跡合成画像)を作成することができる。
そして、請求項4記載の発明に係る画像出力手段を有していることにより、上記静止画像をテレビモニタやパソコンのモニタ等に表示出力、あるいは、プリンタ等により印刷出力することができる。したがって、動画情報を簡易な手法で、かつ、多彩な表現形式により静止画像として表現することができるとともに、動画情報のインデックス情報等の用途に有効に利用することができる。
【0051】
特に、請求項1記載の発明によれば、動画情報から抽出されたフレーム画像に含まれる被写体の動作速度を検出し、その検出結果に応じて軌跡画像の生成方法(軌跡画像生成機能)を変更することにより、被写体の動作速度に対応した軌跡画像を生成することができる。したがって、被写体の動作速度によって軌跡画像により表現されるスピード感が異なるため、作成された静止画像を見るだけで、被写体の全体の動きとともに、その動作速度を直感的に把握することができる。
また、請求項2記載の発明によれば、基準画像となるフレーム画像を、画像処理装置の利用者(使用者)の意志により、任意に選択、設定することができ、その基準画像に含まれる被写体を中心とし、かつ、被写体の動きに応じた軌跡画像が生成されるため、任意の位置に配置された被写体を強調した静止画像を容易に作成することができ、より多彩な表現形式により、被写体の動きを的確に把握することができる。
さらに、請求項3記載の発明によれば、軌跡画像の生成方法を画像処理装置の利用者(使用者)の意志により、任意に選択、設定することができるため、より多彩な表現形式を実現することができるとともに、特殊効果を有する静止画像を容易に作成することができる。特に、軌跡画像の生成方法として輪郭成分のぼかし加工や、グラデーション処理、速さを表現する特定画像の付加等を備えることにより、使用者が所望する軌跡画像を生成することができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の第1の実施形態を示すブロック図である。
【図2】動画データ取込部の概略構成を示すブロック図である。
【図3】フレームメモリの内部領域を示す概念図である。
【図4】第1の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図5】動画データ取込ステップを示す概念図である。
【図6】動き検出ステップに適用されるブロックマッチング法を示す概念図である。
【図7】軌跡画像作成ステップの第1の例を示す概念図である。
【図8】軌跡画像作成ステップの第2の例を示す概念図である。
【図9】第1の軌跡画像作成処理により作成された軌跡画像と、中心画像とを合成する場合を示す概念図である。
【図10】第2の軌跡画像作成処理により作成された軌跡画像と、中心画像とを合成する場合を示す概念図である。
【図11】画像合成ステップの第2の例を示す概念図である。
【図12】第2の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図13】第3の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図14】第4の実施形態に適用される特殊な軌跡画像の作成処理の一例を示す概念図である。
【図15】第4の実施形態に適用される特殊な軌跡画像と中心画像との合成処理の一例を示す概念図である。
【図16】第4の実施形態に係る画像処理装置の処理動作を示すフローチャートである。
【図17】動画情報を構成する複数のフレーム画像から1枚を抽出し表示する手法の概念を示す図である。
【図18】動画情報を構成する複数のフレーム画像から複数枚を抽出して分割画面に一括表示する手法の概念を示す図である。
【図19】動画情報を静止画像として表現する従来の手法を示す概念図である。
【符号の説明】
10 動画データ取込部(画像情報取込手段)
20 フレームメモリ(記憶手段)
30 MPU
31 動き検出部(動き検出手段)
32 軌跡画像生成部(軌跡画像生成手段)
33 中心画像設定部(基準画像設定手段)
34 画像合成部(画像合成手段)
40 ハードディスク
50 モニタ(画像出力手段)
60 プリンタ(画像出力手段)
70 入力部(基準画像選択手段、軌跡画像選択手段)
80 バス
Claims (6)
- 動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、
前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、
前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出する動き検出手段と、
前記動き動作検出手段により検出された前記被写体の動作速度に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、
前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動作速度に対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。 - 前記記憶手段に記憶された前記複数のフレーム画像から、画像処理装置の使用者が任意のフレーム画像を選択するための基準画像選択手段を有し、前記基準画像設定手段は、前記基準画像選択手段により選択された前記フレーム画像を前記基準画像として設定することを特徴とする請求項1記載の画像処理装置。
- 動画情報から複数のフレーム画像を抽出し、記憶手段に記憶する画像情報取込手段と、
前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、
前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出する動き検出手段と、
画像処理装置の使用者の指示に基づいて、異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、
前記軌跡画像生成機能選択手段により選択された前記軌跡画像生成機能を実行して、前記動き検出手段により検出された前記被写体の動きに対応した、前記被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。 - 前記画像合成手段により生成された前記軌跡合成画像を表示出力する画像出力手段を有していることを特徴とする請求項1、2、3記載の画像処理装置。
- 複数のフレーム画像からなる動画情報を記憶する記憶手段と、
前記記憶手段に記憶された前記複数のフレーム画像から特定のフレーム画像を選択し、基準画像として設定する基準画像設定手段と、
使用者の指示、あるいは被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択する軌跡画像生成機能選択手段と、
前記軌跡画像生成機能選択手段の選択結果に基づいて、前記記憶手段に記憶された前記複数のフレーム画像を用いて、該複数のフレーム画像の各々に含まれる被写体の動作軌跡を表現する軌跡画像を生成する軌跡画像生成手段と、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。 - MPUによって実行される画像処理方法であって、
動画情報から複数のフレーム画像を抽出して記憶手段に記憶するステップと、
前記記憶手段に記憶された前記複数のフレーム画像からフレーム画像を選択し、基準画像として設定するステップと、
前記記憶手段に記憶された前記複数のフレーム画像の各々に含まれる被写体の動きを検出するステップと、
使用者の指示、あるいは検出された前記被写体の動作速度に基づいて異なる複数の軌跡画像生成機能から実行する軌跡画像生成機能を選択するステップと、
選択された軌跡画像生成機能、前記基準画像、及び、検出された前記被写体の動きに基づいて、前記複数のフレーム画像を加工し、前記被写体の動作軌跡を表現する軌跡画像を生成するステップと、
前記基準画像と前記軌跡画像とを合成して、軌跡合成画像を生成するステップと、
を含むことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36582798A JP3603629B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36582798A JP3603629B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000187478A JP2000187478A (ja) | 2000-07-04 |
JP3603629B2 true JP3603629B2 (ja) | 2004-12-22 |
Family
ID=18485217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36582798A Expired - Fee Related JP3603629B2 (ja) | 1998-12-24 | 1998-12-24 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3603629B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4596227B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
JP2003018578A (ja) * | 2001-06-27 | 2003-01-17 | Sony Corp | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
JP2005316300A (ja) * | 2004-04-30 | 2005-11-10 | Kyushu Institute Of Technology | 楽音生成機能を備えた半導体装置およびこれを用いた携帯型電子機器、携帯電話装置、眼鏡器具並びに眼鏡器具セット |
JP5003063B2 (ja) * | 2006-08-30 | 2012-08-15 | セイコーエプソン株式会社 | 動画像表示装置および動画像表示方法。 |
JP2008167220A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
JP2008182312A (ja) * | 2007-01-23 | 2008-08-07 | Xanavi Informatics Corp | 撮像画像表示装置 |
JPWO2010035752A1 (ja) | 2008-09-24 | 2012-02-23 | 株式会社ニコン | 画像生成装置、撮像装置、画像再生装置、画像再生プログラム |
JP5483535B2 (ja) | 2009-08-04 | 2014-05-07 | アイシン精機株式会社 | 車両周辺認知支援装置 |
JP5293587B2 (ja) | 2009-12-16 | 2013-09-18 | ソニー株式会社 | 表示制御装置、表示制御方法、プログラム |
JP2011176456A (ja) * | 2010-02-23 | 2011-09-08 | Nikon Corp | カメラ、および画像再生装置 |
JP5581728B2 (ja) * | 2010-02-24 | 2014-09-03 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
JP5983737B2 (ja) * | 2012-04-03 | 2016-09-06 | ソニー株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP6318547B2 (ja) * | 2013-10-28 | 2018-05-09 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
EP3023987B1 (en) | 2014-11-20 | 2017-03-22 | Axis AB | Method and apparatus for visualizing information of a digital video stream |
CN114968044B (zh) * | 2022-07-26 | 2023-01-24 | 安徽淘云科技股份有限公司 | 图片展示方法、装置、电子设备和存储介质 |
-
1998
- 1998-12-24 JP JP36582798A patent/JP3603629B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000187478A (ja) | 2000-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3603629B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3569800B2 (ja) | 画像処理装置及び画像処理方法 | |
US8627206B2 (en) | Image processing device and image processing method for displaying images in a spiral form | |
US8559798B2 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
US8768103B2 (en) | Video processing apparatus and video display apparatus | |
JP4843753B2 (ja) | 三次元画像生成方法及び装置 | |
US7535497B2 (en) | Generation of static image data from multiple image data | |
US20040233327A1 (en) | Method and apparatus of adaptive de-interlacing of dynamic image | |
CN114339030B (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
WO2023035882A9 (zh) | 视频处理方法、设备、存储介质和程序产品 | |
CN114881921A (zh) | 基于事件及视频融合的去遮挡成像方法及装置 | |
US8249425B2 (en) | Method and apparatus for controlling image display | |
JP4240098B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2021079592A1 (ja) | 情報処理装置、3dデータの生成方法及びプログラム | |
US20140146086A1 (en) | Image output apparatus, image output method, and program | |
JP3882824B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4189575B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
JP4656199B2 (ja) | 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム | |
JP4881045B2 (ja) | 動画生成装置、動画生成方法、及びプログラム | |
JP6842194B2 (ja) | 表示制御装置、表示制御方法及び表示制御プログラム | |
JPH11225310A (ja) | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 | |
WO2020121844A1 (en) | Image processing device, image processing method, and program | |
KR100225611B1 (ko) | 스포츠 영상 효과장치 | |
KR20040095831A (ko) | 디지털 이미지의 고유객체 속성 차별화 장치 및 방법 | |
JP2007095010A (ja) | 動画生成装置、動画生成方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040920 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |