JP4185376B2 - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP4185376B2 JP4185376B2 JP2003025088A JP2003025088A JP4185376B2 JP 4185376 B2 JP4185376 B2 JP 4185376B2 JP 2003025088 A JP2003025088 A JP 2003025088A JP 2003025088 A JP2003025088 A JP 2003025088A JP 4185376 B2 JP4185376 B2 JP 4185376B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- change
- search
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像検索や画像表示を目的として画像を処理する画像処理システムの技術分野に属し、特に、処理対象の画像を複数の領域に分割し、各々の領域毎に基準画像と比較して変化の有無を判別する処理を行う画像処理システムの技術分野に属するものである。
【０００２】
【従来の技術】
従来から、大量の画像データを蓄積し、所定の画像を選択して表示させる画像処理システムが広く利用されている。画像処理システムの一形態として、防犯等を目的として、監視カメラにより所定の時間間隔で撮影された多数の画像を記録し、所望の画像を検索する機能を備えた監視システムが知られている。このような監視システムでは、時系列に沿って存在する多数の画像の中から、異常が生じたと判断される画像を探し出して参照することが要望されている。そのため、得られた画像を基準画像と比較して、変化の有無を判別する方法（画像の動き判定）が知られている。かかる方法は、例えば、撮影範囲に人物等の移動物体が存在する場合、画像に変化有りと判別されるため、異常が生じた画像を判断するために利用することができる。
【０００３】
一方、監視システムの場合は、多数の画像が存在することから、画像の全体に着目して検索を行うことは、ユーザにとって負担が大きくなる場合もある。そのため、画像の撮影範囲のうち、一部の箇所に着目して異常が生じた画像を検索することが要望されている。例えば、店舗等に設置された監視カメラによる撮影画像のうち、特定箇所の人物の動きに着目するようなケースである。そして、このような場合の画像検索として、画像を複数の領域に分割し、各々の領域毎に変化の有無を判別する方法も提案されている。（例えば、特許文献１参照）。かかる方法によれば、検索すべき画像の領域をユーザに指定させ、指定された領域のみを対象として変化の有無を判別すればよいので、ユーザにとって検索の負担が軽減される。
【０００４】
【特許文献１】
特開２０００−１３２６６９
【０００５】
【発明が解決しようとする課題】
しかし、上記の方法を採用した従来の画像処理システムにおいては、ユーザが着目する画像の領域が指定された際、その領域に対し一連の画像処理を行って変化の有無を判別する必要があるため、検索結果が得られるまでに時間を要することになる。特に監視システムのように多数の画像を扱う場合は、所望の画像を探し出すまでに相当の時間を要し、作業効率の低下を招くことが問題であった。
【０００６】
そこで、本発明はこのような問題に鑑みなされたものであり、処理対象の画像に対し予め領域毎の変化の有無を記録する変化テーブルを生成することにより、ユーザが所望の画像を速やかに探し出し、処理に要する時間を短縮することが可能な画像処理システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像処理システムは、複数の画像の中から選択された時間的に連続する画像を表示する画像処理システムであって、処理対象の画像を複数の領域に分割し、領域毎に基準画像と比較して変化の有無を判別する変化判別手段と、前記変化判別手段によって判別された変化の有無を領域毎に前記処理対象の画像および撮影時刻と関連付けて記録する変化テーブルを生成する変化テーブル生成手段と、
前記画像と前記変化テーブルを記憶する記憶部と、操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、副画像を表示するための副画像表示部、前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、前記領域指定部にて指定された領域における前記変化の有無を参照する検索条件を作成し、前記変化テーブルを参照して前記検索条件に合致する画像を検索する検索実行部と、前記領域指定部から新たに領域指定がなされるたびに、前記検索実行部にて検索された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が前記検索実行部にて検索された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより、前記検索実行部にて検索された画像を前記副画像表示部に表示させ、操作者が前記副画像を指定することにより、該指定された副画像を含む画像を前記主画像表示部に表示させる表示制御部と、を具備したことを特徴とする。
【０００８】
この発明によれば、画像処理システムにおいて画像を処理する際、画像を複数の領域に分割し、各領域を基準画像と比較して変化の有無を判別し、その判別結果を画像と関連付けて記録した変化テーブルを生成する。そして、生成された変化テーブルは記憶手段に記憶させることにより、例えば画像検索など必要に応じて適宜に変化テーブルを画像とともに参照させることができる。よって、画像の特定領域に着目して検索をする際など、その時点で特定領域について変化の有無の判別処理を改めて行う必要はなく、予め用意された変化テーブルを参照するだけで済む。従って、画像の検索結果が得られるまでの時間を短縮することができ、利便性を向上させることができる。
【０００９】
請求項２に記載の画像表示システムは、請求項１に記載の画像表示システムにおいて、前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させることを特徴とする。
【００１０】
請求項２に記載の発明によれば、画像処理システムでは、領域指定部において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。
【００１１】
本願の画像処理システムにおいて、前記変化テーブルには、前記処理対象の画像について変化有りと判別された領域数が記録されることを特徴とする。
【００１２】
この発明によれば、画像処理システムでは、変化テーブルにより画像の変化有りと判別された領域数を参照できるので、画像の変化の大きさに着目して所望の画像を探し出すことができる。
【００１３】
本願発明の画像処理システムにおいて、所定の入力操作に従って前記記憶手段に記憶された画像に対する検索条件を生成し、前記変化テーブルを参照して前記検索条件に合致する画像を検索する画像検索手段と、前記画像検索手段により検索された画像を表示画面上に表示する画像表示手段と、を更に備えることを特徴とする。
【００１４】
この発明によれば、画像処理システムにおいて、記憶手段に記憶された画像の検索を行う入力操作がなされた際に検索条件が生成され、その検索条件に合致する画像が変化テーブルを参照して検索され、その画像が表示画面上に表示される。よって、画像検索を指示して変化テーブルに基づく検索を実行し、検索された画像を表示する一連の作業を迅速に行うことができ、作業効率を向上させることができる。
【００１５】
本願発明の画像処理システムにおいて、前記画像検索手段は、前記検索条件に合致した時間的に連続する画像をそれぞれ画像群として設定するとともに、所定以上連続する前記画像群を再生対象の画像群として設定し、前記画像表示手段は、前記再生対象の画像群を前記表示画面上に表示することを特徴とする。
【００１６】
この発明によれば、画像検索の際、検索条件に合致する画像群が設定され、そのうち所定の連続数に満たない画像群を排除した上で、それ以外の画像群を表示画面上で表示することができる。よって、例えば、画像の撮影範囲において移動物体が一瞬横切ること等に起因して画像に変化が生じるようなケースは表示を行わないので、検索効率を一層向上させることができる。
【００１７】
本願発明の画像処理システムにおいて、前記変化テーブルを参照する際の画像の領域を前記検索条件として指定する領域指定手段を更に備え、前記領域指定手段は、前記画像表示手段により前記表示画面上に配置された画像表示に対する選択操作に従って領域を指定することを特徴とする。
【００１８】
この発明によれば、画像検索の際、表示画面上に配置された画像表示のうち所定の領域を指定する選択操作によって画像の領域が指定され、それを検索条件として変化テーブルが参照される。よって、ユーザが画像の特定領域に着目した場合、簡単な操作で迅速かつ確実に着目した領域を指定して検索を実行でき、使い勝手を高めることができる。
【００１９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下では、監視カメラにより監視対象の画像を撮影し、撮影された画像をインターネットを経由して伝送可能な監視システムに対し、本発明に係る画像処理システムを適用した場合を説明する。
【００２０】
図１は、本実施形態の監視システムの全体構成を示すブロック図である。図１に示す監視システムには、本監視システムを管理する管理センタ１と、監視対象の施設に設置されている複数の監視カメラ２を含み、インターネット３を介して各監視カメラ２から画像データが管理センタ1に伝送されるようなシステム構成を有している。この管理センタ１には、画像記録サーバ１１と、画像表示端末１２が設けられ、それぞれＬＡＮを経由してルータ１３に接続され、インターネット３を介した情報の送受信を行うことができるように構成されている。また、画像表示端末１２と同様の機能を持つ画像表示端末１４を、管理センタ１の外部にてインターネット３に直接接続して用いることができる。
【００２１】
複数の監視カメラ２は、店舗等の各種施設内における所定の撮影範囲を撮影し得る箇所にそれぞれ設置されており、所定のタイミングで各々の撮影範囲を撮影し、対応する画像データを出力する。これらの監視カメラ２は、いわゆるＷｅｂカメラであり、インターネット３にアクセスし、管理センタ１に向けて画像データを伝送する機能を備えている。なお、監視カメラ２により伝送される画像データには、撮影を行った監視カメラ２自体や各々の画像データを識別するための識別情報や、画像が撮影された日時を示す日時情報などの画像関連情報を含むヘッダ情報が付加されており、管理センタ１の側で適宜にヘッダ情報を参照可能となっている。
【００２２】
管理センタ１では、監視カメラ２からインターネット３を介して受信された画像データがルータ１３とＬＡＮを介して画像記録サーバ１１に伝送される。画像記録サーバ１１は、本発明の変化判別手段、変化テーブル生成手段、記憶手段として機能し、伝送された画像データを所定の画像関連情報とともに順次記録する。画像表示端末１２は、本発明の画像検索手段及び画像表示手段として機能し、所定の操作によりＬＡＮを介して画像記録サーバ１１に記録されている画像データを検索し、所望の画像を表示する。
【００２３】
図２は、画像記録サーバ１１の構成を示すブロック図である。図２に示すように、画像記録サーバ１１は、制御部１０１と、インターフェース１０２と、記憶部１０３と、画像処理部１０４と、変化テーブル生成部１０５を含んで構成されている。
【００２４】
以上の構成において、制御部１０１はＣＰＵ等から構成され、画像記録サーバ１１全体の動作を制御する。インターフェース１０２は、監視カメラ２から伝送される画像データを制御部１０１に入力する。そして、制御部１０１では、インターフェース１０２を介して入力された画像データを、監視カメラ２の番号や撮影日時といった画像関連情報と関連付けて記憶部１０３に記憶させるように制御を行う。
【００２５】
画像処理部１０４は、制御部１０１の指示の下、インターフェース１０２を介して入力された画像データ、又は、記憶部１０３から読み出された画像データを対象とする画像処理を行い、画像を複数の領域に分割して各々の領域毎に変化の有無を判別する。
【００２６】
具体的には、図３（ａ）に示すように、画像全体を１６個の方形の領域に分割し、監視カメラ２の撮影範囲に移動物体が存在しない状態における基準画像と処理対象の画像を、各々の領域毎に比較することにより変化の有無を判別することができる。変化の有無の判別方法としては、例えば、各々の領域において、基準画像と比較したときに異なる画素数を求め、所定の閾値を超えた場合には変化有りと判別し、所定の閾値以下である場合には変化無しと判別すればよい。図３（ａ）の例では、基準画像には存在しない移動物体が重なっている領域９、１０、１３、１４、１５において、変化有りと判別されることになる。
【００２７】
なお、本実施形態では、画像全体を１６個の領域に分割する場合を説明するが、実際には画像全体を更に多数の領域に分割し、同様の判別方法を適用することも可能である。
【００２８】
変化テーブル生成部１０５は、画像処理部１０４による判別結果に基づいて、処理対象となる全ての画像に関し、各々の領域に対して判別された変化の有無を一体的に示す変化テーブルを生成する。図３（ｂ）は、変化テーブル生成部１０５にて生成される変化テーブルの一例を示す図である。図３（ｂ）に示す変化テーブルには、画像データを識別するための画像番号と、この画像番号によって示される画像を構成する各々の領域について変化の有無の判別結果と、少なくとも１以上の領域についての変化の有無と、画像中の変化有りと判別された領域数と、画像の撮影日時とを含んでいる。
【００２９】
図３（ｂ）に示される画像番号は、複数の監視カメラ２を識別するためのカメラ番号と、特定の監視カメラ２により撮影された画像に対し撮影順に従って付与される番号とからなる。例えば、画像番号１−２は、第１の監視カメラ２より撮影された２番目の画像であることを表している。また、画像の各領域に対しては、図３（ａ）に示すように、１〜１６の領域番号を付与して区別している。そして、図３（ｂ）では、各領域の領域番号とともに変化の有無の判別結果を「有」又は「無」として示している。なお、図３（ｂ）の例では、図３（ａ）の画像に対応する変化テーブルを示しているので、領域番号９、１０、１３、１４、１５の各領域が変化有りと判別され、それ以外の領域が変化無しと判別されている。
【００３０】
図３（ｂ）の右上部には、１以上の領域に変化があるか否か、すなわち、画像の全領域のいずれかに変化があるか否かを「変化の有無」として示している。また、その下部には、画像中の変化有りと判別された領域数を「変化領域数」として示している。図３（ｂ）の例では、上述したように５つの領域が変化ありと判別されているので、「変化の有無」は「有」となり、「変化領域数」は５となっている。さらに、画像番号１−２の画像について、撮影されたと年月日と時刻を「撮影日時」として示している。
【００３１】
このように生成された変化テーブルは、制御部１０１を介して記憶部１０３にて順次保存され、画像データと関連付けて管理される。そして、後述の画像検索に際し、必要に応じて所望の変化テーブルが記憶部１０３から読み出されて参照されることになる。
【００３２】
次に図４は、画像表示端末１２の構成を示すブロック図である。なお、図１のインターネット３に直接接続された画像表示端末１４についても同様の構成となっている。図４に示すように、画像表示端末１２は、制御部２０１と、インターフェース２０２と、操作部２０３と、検索指示部２０４と、テーブル管理部２０５と、検索実行部２０６と、画像群判別部２０７と、サムネイル生成部２０８と、表示制御部２０９と、表示部２１０とを含んで構成されている。
【００３３】
以上の構成において、制御部２０１はＣＰＵ等から構成され、画像表示端末１２全体の動作を制御し、所定のプログラムに基づいて画像記録サーバ１１で保持されている画像データ及び変化テーブルを対象として、画像検索処理及び画像表示処理を実行する。なお、上述の検索指示部２０４、テーブル管理部２０５、検索実行部２０６、画像群判別部２０７、サムネイル生成部２０８は、いずれも制御部２０１により上記所定のプログラムに基づいて実行制御される機能要素に対応する。
【００３４】
インターフェース２０２は、画像検索端末１２の起動時や所定の入力操作時など所定のタイミングで、監視カメラ２から伝送される画像データや変化テーブルを制御部２０１に入力する。
【００３５】
操作部２０３は、画像表示端末１２のユーザが所定の動作を実行しようとする際、各種情報や設定条件を入力する手段であり、マウスやキーボードからなる。
【００３６】
検索指示部２０４は、操作部２０３の入力操作に基づき、画像の検索条件を指示するための検索条件テーブルを生成する。図５は、検索指示部２０４で生成される検索条件テーブルの一例を示す図である。図５に示す検索条件テーブルは、図３（ａ）に付した領域番号毎に、検索対象の領域として指定するか否かが設定されている。検索条件テーブルに基づく画像検索を行う場合、検索領域指定が［有］に設定されている領域については、検索時に変化の有無の判別結果が参照されるのに対し、検索領域指定が「無」に設定されている領域については、検索時に変化の有無の判別結果が参照されることはない。
【００３７】
テーブル管理部２０５は、画像検索の際に必要な各種テーブルを管理保存する。テーブル管理部２０５では、検索対象の画像に対応する全ての変化テーブルを画像記録サーバ１１から順次受信し、この変化テーブルに基づいて後述の検索テーブルを生成する。変化テーブルの受信は、画像表示端末１２の起動時、及び、操作部２０３により監視カメラ２の選択や撮影日時などが切り替えられる度に行われる。また、検索テーブルと照合するために必要な上述の検索条件テーブルが取得され、テーブル管理部２０５で管理される。
【００３８】
検索実行部２０６は、テーブル管理部２０５で管理される検索条件テーブル及び検索テーブルを用いて検索を実行する。すなわち、検索実行部２０６は、検索条件テーブルに基づき検索条件を判断し、検索テーブルを参照して各々の画像に検索条件に合致する変化の有無が存在するか否かを判別する。そして、検索対象の全ての画像についての検索結果を検索テーブルに記録して、テーブル管理部２０５の検索テーブルを更新する。
【００３９】
ここで、図６は、テーブル管理部２０５で管理される検索テーブルの一例を示す図である。図６に示す検索テーブルは、図３（ｂ）に示す変化テーブルが集合して構成されるとともに、検索実行部２０６による検索結果が付加されている。図６の例では、検索テーブルの先頭に画像番号１を付与し、時系列に沿って順番に画像番号を付与している。また、図５の検索条件テーブルでは、領域９と領域１２が指定されているので、この検索条件に従って図６に示す検索テーブルのうち領域９及び領域１２が変化の有無の判別対象となる。
【００４０】
この場合、複数の領域についての検索条件は、ＡＮＤ条件とＯＲ条件のいずれにしてもよく、不図示の切り換え手段により切り換え可能であるが、図６では、ＯＲ条件とする例を示している。すなわち、検索テーブルにおける領域９と領域１２のうち、少なくとも一方が「有」である画像は検索結果として「変化あり」が書き込まれ、それ以外の画像は検索結果として「変化なし」が書き込まれる。
【００４１】
また、上述の検索テーブル生成時、検索実行部２０６は全ての領域に対しＯＲ条件にて検索を実行する。すなわち、少なくとも１つ以上の領域に変化のある画像を検索して検索テーブルに検索結果を書き込む。このとき、テーブル管理部２０５が順次受信する変化テーブルを参照することで、変化テーブルから「変化の有無」及び「変化領域数」を得て、検索処理を迅速に行うことができる。
【００４２】
画像群判別部２０７は、検索実行部２０６の検索の際、検索結果が「変化あり」とされた時間的に連続する画像を判別し、それぞれ画像群として設定する。図７は、画像群判別部２０７による判別結果に基づき生成される画像群テーブルの一例を示す図である。図７（ａ）に示す画像群テーブルにおいては、図６の検索テーブルのうち、変化有りとなっている上述の画像群を、「シーン」として定義する。そして、それぞれのシーンに対し表示番号を付与し、検索テーブルに基づいて開始画像番号と終了画像番号を記録する。また、各シーンに含まれる画像数をシーン長として記録するとともに、後述のように各シーンに対し定められる代表画像の画像番号を記録する。
【００４３】
例えば、図７（ａ）において、画像番号２、３の２つの画像は、シーン長２のシーンを構成する。同様に、画像番号６の１つの画像は、シーン長１のシーンを構成し、画像番号８〜１０の画像群は、シーン長３のシーンを構成する。なお、これらの各シーンは、所定の操作により表示画面上で動画像として表示させることができるが、詳しくは後述する。
【００４４】
一方、図７（ｂ）は、図７（ａ）に示す画像群テーブルの中からシーン長が１であるものを排除した状態の画像群テーブルである。本実施形態では、シーンを再生する際のノイズとなる必要性の低い画像を除去するため、後述の表示画面上の「一瞬の変化排除設定部」が設定操作されたとき、シーン長が所定長以下のシーンを排除するようにしている。図７（ｂ）の例では、シーン長１のシーンを排除しているが、実際には所定のシーン長以下のシーンを排除するようにしてもよい。
【００４５】
サムネイル生成部２０８は、表示対象の画像の縮小イメージであるサムネイルを生成する。本実施形態では、画像群判別部２０７により設定されたシーンに対し、代表画像としてサムネイルを対応付けて検索時に利用する。すなわち、１つのシーンに複数の画像が含まれる場合、そのシーンを代表する画像についてのサムネイルを生成し、それをシーンの代表画像として表示画面上に表示することにより、検索処理の利便性を高めるものである。
【００４６】
ここで、各々のシーンに対する代表画像の決定方法としては、例えば、図６の検索テーブルにおける特定のシーン中で、変化領域数が最も多い画像を選択すればよい。このとき、各画像の変化領域数が同じものが複数選択される場合は、そのうち撮影時刻が先行する画像を選択すればよい。なお、一瞬の変化を排除しない場合において、単一の画像からなるシーン長１のシーンについては、その画像が自動的に代表画像として決定されることになる。
【００４７】
次に、表示制御部２０９は、制御部２０１にて生成された表示画面を表示するための制御を行い、表示部２１０に所定のタイミングで所定の表示データを送出し表示画面を表示させる。そして、表示部２１０に表示される表示画面には、後述するように、ユーザが見るための画像やユーザが所定の操作や設定を行うための各種表示対象が所定のレイアウトで配置されている。なお、表示部２０１としては、例えばＣＲＴディスプレイ、液晶ディスプレイ等を用いることができる。
【００４８】
以下、図８〜図１１を参照しながら、表示部２１０に表示される表示画面と、この表示画面を参照するユーザが画像検索を行う際の操作について具体的に説明する。図８は、表示部２０１に表示される表示画面の全体を説明する図である。図８に示すように、本実施形態における表示画面は、主画像表示部３０１と、時間軸表示部３０２と、サムネイル表示部３０３と、カメラ選択部３０４と、カレンダ表示部３０５と、領域指定部３０６と、一瞬の変化排除設定部３０７と、時刻表示部３０８と、再生操作部３０９が配置された構成となっている。
【００４９】
なお、図９〜図１１には、図８に示す表示画面のうち所定部分を詳細に説明するための拡大図を示している。それぞれ、図９は時間軸表示部３０２であり、図１０はサムネイル表示部３０３であり、図１１は領域指定部３０６である。
【００５０】
図８に示すように、表示画面上の中央付近に配置されている主画像表示部３０１には、後述の入力操作に従って表示対象として選択されている特定の画像（主画像）が表示される。すなわち、複数の監視カメラ２の中から選択された監視カメラ２によって所定の時刻に撮影された所定の撮影範囲の画像が表示されるので、その画像をユーザが視認して後続の操作を判断することができる。
【００５１】
時間軸表示部３０２には、主画像表示部３０１の下部に配置され、図９に示すように、表示対象の画像と撮影日時の関係を表す２種の時間軸が表示される。主時間軸３０２ａは、所定の日付における０時から２４時までの時間範囲を画像の状態と関連付けて示している。副時間軸３０２ｂは、主時間軸３０２ａの２４時間の範囲における任意の時間範囲を拡大して示している。副時間軸３０２ｂに対する時間範囲の設定は、所定の操作により１０分〜２時間の範囲で切り替えることができる。図９の例では、副時間軸３０２ｂの時間範囲が1時間に設定されている場合を示している。
【００５２】
通常、副時間軸３０２ｂにおいては、主時間軸３０２ａの時間範囲のうち主画像表示部３０１に表示されている画像の撮影時刻を中心とした時間範囲に設定される。一方、主時間軸３０２ａ上部のスライダ３０２ｃを左右に移動操作することにより、主時間軸３０２ａに対する副時間軸３０２ｂの時間的な位置関係を調整することができる。
【００５３】
なお、主時間軸３０２ａ及び副時間軸３０２ｂにおいては、検索処理の結果得られた画像の状態を識別させるため、画像の状態に対応させて特定の時間帯を異なる色で表示させることができる。図９の例では、主時間軸３０２ａ及び副時間軸３０２ｂの時間帯Ａ、Ｂ、Ｃは、それぞれ、変化有りと判別された画像群、すなわち、図７の画像群テーブルでシーンとして設定された部分に対応している。これにより、ユーザはシーンが設定されている時間帯を容易に識別することができる。
【００５４】
また、監視カメラ２は、実際には常時撮影を継続するわけではなく、時間帯によっては画像記録サーバ１１に画像データが記録されないことになる。よって、主時間軸３０２ａ及び副時間軸３０２ｂにおいて対象となる画像が存在しない時間帯は、さらに異なる色で表示してもよい。
【００５５】
なお、主時間軸３０２ａと副時間軸３０２ｂのそれぞれの時間範囲は上述の例に限られず、適宜に設定してもよい。例えば、主時間軸３０２ａに対し２４時間より更に長い時間範囲、例えば、表示可能な画像の全ての撮影時刻を含む時間範囲を設定してもよい。また、主時間軸３０２ａに対し、主画像表示部３０１に表示される画像の撮影時刻を中心とする所定の時間範囲を設定してもよい。
【００５６】
サムネイル表示部３０３は、時間軸表示部３０２の下部に配置され、本発明の副画像表示部としての役割を担う。図１０に示すように、サムネイル表示部３０３には、副時間軸３０２ｂの中央位置の画像を略中心とし、その前後の所定個数（図１０の場合は６個）のサムネイル（副画像）が時系列の順で表示される。 これらのサムネイルは、前述したように各々のシーンの代表画像として対応付けられたものであり、各シーンに含まれる画像のうち最も変化が大きい画像となっている。これにより、ユーザは画像の変化に着目して、所定のシーンに対応するサムネイルを容易に選択することができる。そして、ユーザがサムネイル表示部３０３における所定のサムネイルをマウスで選択操作すると、主画像表示部３０１には選択されたサムネイルに対応する画像が拡大表示される。
【００５７】
カメラ選択部３０４には、現在選択されている監視カメラ２の設置箇所が表示されるとともに、右側のプルダウンメニューにより表示対象として特定の監視カメラ２を適宜に選択入力することができる。ユーザが現在選択されている監視カメラ２を切り替えたい場合、マウスを操作してプルダウンメニューを押下すると、表示可能な全ての監視カメラ２の設置箇所が表示されるので、その中から所望の監視カメラ２を選択すればよい。
【００５８】
カレンダ表示部３０５には、画像の撮影日を指定するための１ヶ月分のカレンダが表示される。ユーザは、カレンダ表示部３０５の中から所定日をマウスで選択操作すると、カメラ選択部３０４に示される監視カメラ２の画像のうち、選択されている所定日に撮影された画像が表示対象として設定される。また、カレンダ表示部３０５の上部の「前月」又は「次月」を押下することにより、所望の年月に移行させることができる。
【００５９】
領域指定部３０６は、制御部２０１及び操作部２０３と相俟って本発明の領域指定手段として機能する。図１１に示すように領域指定部３０６は、図３（ａ）と同様の形状で１６個の領域に分割された画像に対し、検索対象とすべき領域を指定するための表示である。領域指定部３０６には、その背景に主画像表示部３０１に表示される画像（又は過去の所定日時の画像）に対応するサムネイルが表示され、ユーザがマウスで所定の領域を選択操作することにより、その領域を検索対象として指定することができる。選択された監視カメラ２による撮影範囲のうち、例えば、出入口等が存在する一部の領域に着目して画像を検索したい際など、領域指定部３０６により領域を指定することが望ましい。
【００６０】
なお、領域指定部３０６において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。また、領域指定部３０６で一旦指定された領域は、その状態で再度選択操作することにより、指定を解除することができる。
【００６１】
このように領域指定部３０６により領域が指定されると、その結果が検索指示部２０４によって検索条件テーブルに反映される。例えば、図５に示すように、領域番号９、１２を検索対象として指定するには、領域指定部３０６において該当する２つの領域を順次選択操作すればよい。さらに、上述の領域指定部３０６における指定の結果は、検索実行部２０５によって検索テーブルに反映されるため、表示画面における主画像表示部３０１及び時間軸表示部３０２やサムネイル表示部３０３の表示対象が変更されることになる。
【００６２】
一瞬の変化排除設定部３０７は、上述したような画像群テーブルに含まれる各シーンのうち、シーン長１のシーンを排除するときに入力設定するための表示である。ユーザが、一瞬の変化排除設定部３０７の左側にあるチェックボックスをマウスでチェックすると、図７（ｂ）に示すような画像群テーブルに対応するシーンが設定されることになる。
【００６３】
時刻表示部３０８には、主画像表示部３０１に表示されている画像が撮影された年月日及び日時が表示される。また、時刻表示部３０８においては、表示されている年月日及び日時についての各入力項目に対し、プルダウンメニューにより設定値を選択入力することができる。
【００６４】
再生操作部３０９は、前述のように設定された各シーンを主画像表示部３０１に順次表示させて動画像として再生する際、ユーザに所望の操作をさせるための表示である。再生操作部３０９の上部には、その時点のシーンを基準にして、１つ先行するシーンに移行するボタンと、１つ後続のシーンに移行するためのボタンが配置されている。再生操作部３０９の中央には、各シーンの再生時にビデオ再生機と同様の再生機能を実現させるための停止ボタン、再生ボタン、倍速再生ボタンが配置されている。また、再生操作部３０９の下部には、ボタン操作に代わってダイヤル操作を用いて同様の再生機能を実現させるためのダイヤル操作部が配置されている。
【００６５】
本実施形態では、監視カメラ２は比較的緩やかな速度、例えば、１秒に１コマ程度で撮影を行う。この場合、再生ボタンの押下時には、同様に１秒に１コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。これに対し、倍速再生ボタンの押下時は、１秒に２コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。
【００６６】
以上説明したように、本実施形態において画像処理を行うことにより、伝送された画像データを画像記録サーバ１１で保存するとともに、図３（ｂ）に示すような変化テーブルを生成し、画像データとともに画像記録サーバ１１で保存する。その後、ユーザが画像表示端末１２の表示画面を参照しつつ、画像検索を指示した場合、画像記録サーバ１１から変化テーブルを取得して検索テーブルを生成するので、検索時には変化の有無の判別を別途行う必要がない。よって、監視カメラ２で撮影された画像が多数存在する状況で、特定領域に着目した画像検索が指示された場合、検索結果が得られるまでの時間は短くて済む。このように、本実施形態によれば、画像検索時に良好な操作性及び視認性を保ちつつ、画像検索に要する時間短縮を図り作業効率を向上させることができる。
【００６７】
なお、本実施形態の画像処理システムとしての監視システムの構成は、適用対象に応じて適宜に変更することができる。例えば、図１に示す監視システムの構成においては、画像記録サーバ１１と画像表示端末１２を別体で構成した場合を示したが、これらを一体に構成してもよい。この場合、画像記録サーバ１１と画像表示端末１２の機能を併せ持つ装置（図２及び図４の各構成要素を備える装置）を管理センタ１に設置して、監視システムを構成すればよい。
【００６８】
以上の実施形態では、本発明を監視システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像処理システムに対し広く本発明を適用することができる。この場合、本実施形態では複数の監視カメラ２から画像データを伝送する構成を示したが、監視カメラ２以外の各種機器、例えば、ＶＴＲ等から画像データを出力する構成であってもよい。
【００６９】
【発明の効果】
以上説明したように本発明によれば、処理対象の画像に対し予め領域毎の変化の有無を記録する変化テーブルを生成し、この変化テーブルを処理対象の画像と関連付けて記憶させ参照できるようにしたので、ユーザが特定領域の変化に着目した場合であっても所望の画像を探し出す時間を短縮することが可能となり、画像検索等の作業効率を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態の監視システムの全体構成を示すブロック図である。
【図２】画像記録サーバの構成を示すブロック図である。
【図３】本実施形態において、画像の分割の概念と各領域毎の変化の有無の判別に関し、図３（ａ）は、画像全体を１６個の方形の領域に分割する例であり、図３（ｂ）は、画像の各々の領域についての変化の有無の判別結果を含む変化テーブルの一例である。
【図４】画像表示端末の構成を示すブロック図である。
【図５】画像表示端末の検索指示部で生成される検索条件テーブルの一例を示す図である。
【図６】画像表示端末のテーブル管理部で管理される検索テーブルの一例を示す図である。
【図７】画像表示端末の画像群判別部による判別結果に基づき生成される画像群テーブルの一例を示す図である。
【図８】画像表示端末の表示部に表示される表示画面の全体を説明する図である。
【図９】図８に示す表示画面のうち時間軸表示部の拡大図である。
【図１０】図８に示す表示画面のうちサムネイル表示部の拡大図である。
【図１１】図８に示す表示画面のうち領域指定部の拡大図である。
【符号の説明】
１…管理センタ
２…監視カメラ
３…インターネット
１１…画像記録サーバ
１２…画像表示端末
１３…ルータ
１４…画像表示端末
１０１…制御部
１０２…インターフェース
１０３…記憶部
１０４…画像処理部
１０５…変化テーブル生成部
２０１…制御部
２０２…インターフェース
２０３…操作部
２０４…検索指示部
２０５…テーブル管理部
２０６…検索実行部
２０７…画像群判別部
２０８…サムネイル生成部
２０９…表示制御部
２１０…表示部
３０１…主画像表示部
３０２…時間軸表示部
３０３…サムネイル表示部
３０４…カメラ選択部
３０５…カレンダ表示部
３０６…領域指定部
３０７…一瞬の変化排除設定部
３０８…時刻表示部
３０９…再生操作部
【発明の属する技術分野】
本発明は、画像検索や画像表示を目的として画像を処理する画像処理システムの技術分野に属し、特に、処理対象の画像を複数の領域に分割し、各々の領域毎に基準画像と比較して変化の有無を判別する処理を行う画像処理システムの技術分野に属するものである。
【０００２】
【従来の技術】
従来から、大量の画像データを蓄積し、所定の画像を選択して表示させる画像処理システムが広く利用されている。画像処理システムの一形態として、防犯等を目的として、監視カメラにより所定の時間間隔で撮影された多数の画像を記録し、所望の画像を検索する機能を備えた監視システムが知られている。このような監視システムでは、時系列に沿って存在する多数の画像の中から、異常が生じたと判断される画像を探し出して参照することが要望されている。そのため、得られた画像を基準画像と比較して、変化の有無を判別する方法（画像の動き判定）が知られている。かかる方法は、例えば、撮影範囲に人物等の移動物体が存在する場合、画像に変化有りと判別されるため、異常が生じた画像を判断するために利用することができる。
【０００３】
一方、監視システムの場合は、多数の画像が存在することから、画像の全体に着目して検索を行うことは、ユーザにとって負担が大きくなる場合もある。そのため、画像の撮影範囲のうち、一部の箇所に着目して異常が生じた画像を検索することが要望されている。例えば、店舗等に設置された監視カメラによる撮影画像のうち、特定箇所の人物の動きに着目するようなケースである。そして、このような場合の画像検索として、画像を複数の領域に分割し、各々の領域毎に変化の有無を判別する方法も提案されている。（例えば、特許文献１参照）。かかる方法によれば、検索すべき画像の領域をユーザに指定させ、指定された領域のみを対象として変化の有無を判別すればよいので、ユーザにとって検索の負担が軽減される。
【０００４】
【特許文献１】
特開２０００−１３２６６９
【０００５】
【発明が解決しようとする課題】
しかし、上記の方法を採用した従来の画像処理システムにおいては、ユーザが着目する画像の領域が指定された際、その領域に対し一連の画像処理を行って変化の有無を判別する必要があるため、検索結果が得られるまでに時間を要することになる。特に監視システムのように多数の画像を扱う場合は、所望の画像を探し出すまでに相当の時間を要し、作業効率の低下を招くことが問題であった。
【０００６】
そこで、本発明はこのような問題に鑑みなされたものであり、処理対象の画像に対し予め領域毎の変化の有無を記録する変化テーブルを生成することにより、ユーザが所望の画像を速やかに探し出し、処理に要する時間を短縮することが可能な画像処理システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像処理システムは、複数の画像の中から選択された時間的に連続する画像を表示する画像処理システムであって、処理対象の画像を複数の領域に分割し、領域毎に基準画像と比較して変化の有無を判別する変化判別手段と、前記変化判別手段によって判別された変化の有無を領域毎に前記処理対象の画像および撮影時刻と関連付けて記録する変化テーブルを生成する変化テーブル生成手段と、
前記画像と前記変化テーブルを記憶する記憶部と、操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、副画像を表示するための副画像表示部、前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、前記領域指定部にて指定された領域における前記変化の有無を参照する検索条件を作成し、前記変化テーブルを参照して前記検索条件に合致する画像を検索する検索実行部と、前記領域指定部から新たに領域指定がなされるたびに、前記検索実行部にて検索された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が前記検索実行部にて検索された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより、前記検索実行部にて検索された画像を前記副画像表示部に表示させ、操作者が前記副画像を指定することにより、該指定された副画像を含む画像を前記主画像表示部に表示させる表示制御部と、を具備したことを特徴とする。
【０００８】
この発明によれば、画像処理システムにおいて画像を処理する際、画像を複数の領域に分割し、各領域を基準画像と比較して変化の有無を判別し、その判別結果を画像と関連付けて記録した変化テーブルを生成する。そして、生成された変化テーブルは記憶手段に記憶させることにより、例えば画像検索など必要に応じて適宜に変化テーブルを画像とともに参照させることができる。よって、画像の特定領域に着目して検索をする際など、その時点で特定領域について変化の有無の判別処理を改めて行う必要はなく、予め用意された変化テーブルを参照するだけで済む。従って、画像の検索結果が得られるまでの時間を短縮することができ、利便性を向上させることができる。
【０００９】
請求項２に記載の画像表示システムは、請求項１に記載の画像表示システムにおいて、前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させることを特徴とする。
【００１０】
請求項２に記載の発明によれば、画像処理システムでは、領域指定部において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。
【００１１】
本願の画像処理システムにおいて、前記変化テーブルには、前記処理対象の画像について変化有りと判別された領域数が記録されることを特徴とする。
【００１２】
この発明によれば、画像処理システムでは、変化テーブルにより画像の変化有りと判別された領域数を参照できるので、画像の変化の大きさに着目して所望の画像を探し出すことができる。
【００１３】
本願発明の画像処理システムにおいて、所定の入力操作に従って前記記憶手段に記憶された画像に対する検索条件を生成し、前記変化テーブルを参照して前記検索条件に合致する画像を検索する画像検索手段と、前記画像検索手段により検索された画像を表示画面上に表示する画像表示手段と、を更に備えることを特徴とする。
【００１４】
この発明によれば、画像処理システムにおいて、記憶手段に記憶された画像の検索を行う入力操作がなされた際に検索条件が生成され、その検索条件に合致する画像が変化テーブルを参照して検索され、その画像が表示画面上に表示される。よって、画像検索を指示して変化テーブルに基づく検索を実行し、検索された画像を表示する一連の作業を迅速に行うことができ、作業効率を向上させることができる。
【００１５】
本願発明の画像処理システムにおいて、前記画像検索手段は、前記検索条件に合致した時間的に連続する画像をそれぞれ画像群として設定するとともに、所定以上連続する前記画像群を再生対象の画像群として設定し、前記画像表示手段は、前記再生対象の画像群を前記表示画面上に表示することを特徴とする。
【００１６】
この発明によれば、画像検索の際、検索条件に合致する画像群が設定され、そのうち所定の連続数に満たない画像群を排除した上で、それ以外の画像群を表示画面上で表示することができる。よって、例えば、画像の撮影範囲において移動物体が一瞬横切ること等に起因して画像に変化が生じるようなケースは表示を行わないので、検索効率を一層向上させることができる。
【００１７】
本願発明の画像処理システムにおいて、前記変化テーブルを参照する際の画像の領域を前記検索条件として指定する領域指定手段を更に備え、前記領域指定手段は、前記画像表示手段により前記表示画面上に配置された画像表示に対する選択操作に従って領域を指定することを特徴とする。
【００１８】
この発明によれば、画像検索の際、表示画面上に配置された画像表示のうち所定の領域を指定する選択操作によって画像の領域が指定され、それを検索条件として変化テーブルが参照される。よって、ユーザが画像の特定領域に着目した場合、簡単な操作で迅速かつ確実に着目した領域を指定して検索を実行でき、使い勝手を高めることができる。
【００１９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下では、監視カメラにより監視対象の画像を撮影し、撮影された画像をインターネットを経由して伝送可能な監視システムに対し、本発明に係る画像処理システムを適用した場合を説明する。
【００２０】
図１は、本実施形態の監視システムの全体構成を示すブロック図である。図１に示す監視システムには、本監視システムを管理する管理センタ１と、監視対象の施設に設置されている複数の監視カメラ２を含み、インターネット３を介して各監視カメラ２から画像データが管理センタ1に伝送されるようなシステム構成を有している。この管理センタ１には、画像記録サーバ１１と、画像表示端末１２が設けられ、それぞれＬＡＮを経由してルータ１３に接続され、インターネット３を介した情報の送受信を行うことができるように構成されている。また、画像表示端末１２と同様の機能を持つ画像表示端末１４を、管理センタ１の外部にてインターネット３に直接接続して用いることができる。
【００２１】
複数の監視カメラ２は、店舗等の各種施設内における所定の撮影範囲を撮影し得る箇所にそれぞれ設置されており、所定のタイミングで各々の撮影範囲を撮影し、対応する画像データを出力する。これらの監視カメラ２は、いわゆるＷｅｂカメラであり、インターネット３にアクセスし、管理センタ１に向けて画像データを伝送する機能を備えている。なお、監視カメラ２により伝送される画像データには、撮影を行った監視カメラ２自体や各々の画像データを識別するための識別情報や、画像が撮影された日時を示す日時情報などの画像関連情報を含むヘッダ情報が付加されており、管理センタ１の側で適宜にヘッダ情報を参照可能となっている。
【００２２】
管理センタ１では、監視カメラ２からインターネット３を介して受信された画像データがルータ１３とＬＡＮを介して画像記録サーバ１１に伝送される。画像記録サーバ１１は、本発明の変化判別手段、変化テーブル生成手段、記憶手段として機能し、伝送された画像データを所定の画像関連情報とともに順次記録する。画像表示端末１２は、本発明の画像検索手段及び画像表示手段として機能し、所定の操作によりＬＡＮを介して画像記録サーバ１１に記録されている画像データを検索し、所望の画像を表示する。
【００２３】
図２は、画像記録サーバ１１の構成を示すブロック図である。図２に示すように、画像記録サーバ１１は、制御部１０１と、インターフェース１０２と、記憶部１０３と、画像処理部１０４と、変化テーブル生成部１０５を含んで構成されている。
【００２４】
以上の構成において、制御部１０１はＣＰＵ等から構成され、画像記録サーバ１１全体の動作を制御する。インターフェース１０２は、監視カメラ２から伝送される画像データを制御部１０１に入力する。そして、制御部１０１では、インターフェース１０２を介して入力された画像データを、監視カメラ２の番号や撮影日時といった画像関連情報と関連付けて記憶部１０３に記憶させるように制御を行う。
【００２５】
画像処理部１０４は、制御部１０１の指示の下、インターフェース１０２を介して入力された画像データ、又は、記憶部１０３から読み出された画像データを対象とする画像処理を行い、画像を複数の領域に分割して各々の領域毎に変化の有無を判別する。
【００２６】
具体的には、図３（ａ）に示すように、画像全体を１６個の方形の領域に分割し、監視カメラ２の撮影範囲に移動物体が存在しない状態における基準画像と処理対象の画像を、各々の領域毎に比較することにより変化の有無を判別することができる。変化の有無の判別方法としては、例えば、各々の領域において、基準画像と比較したときに異なる画素数を求め、所定の閾値を超えた場合には変化有りと判別し、所定の閾値以下である場合には変化無しと判別すればよい。図３（ａ）の例では、基準画像には存在しない移動物体が重なっている領域９、１０、１３、１４、１５において、変化有りと判別されることになる。
【００２７】
なお、本実施形態では、画像全体を１６個の領域に分割する場合を説明するが、実際には画像全体を更に多数の領域に分割し、同様の判別方法を適用することも可能である。
【００２８】
変化テーブル生成部１０５は、画像処理部１０４による判別結果に基づいて、処理対象となる全ての画像に関し、各々の領域に対して判別された変化の有無を一体的に示す変化テーブルを生成する。図３（ｂ）は、変化テーブル生成部１０５にて生成される変化テーブルの一例を示す図である。図３（ｂ）に示す変化テーブルには、画像データを識別するための画像番号と、この画像番号によって示される画像を構成する各々の領域について変化の有無の判別結果と、少なくとも１以上の領域についての変化の有無と、画像中の変化有りと判別された領域数と、画像の撮影日時とを含んでいる。
【００２９】
図３（ｂ）に示される画像番号は、複数の監視カメラ２を識別するためのカメラ番号と、特定の監視カメラ２により撮影された画像に対し撮影順に従って付与される番号とからなる。例えば、画像番号１−２は、第１の監視カメラ２より撮影された２番目の画像であることを表している。また、画像の各領域に対しては、図３（ａ）に示すように、１〜１６の領域番号を付与して区別している。そして、図３（ｂ）では、各領域の領域番号とともに変化の有無の判別結果を「有」又は「無」として示している。なお、図３（ｂ）の例では、図３（ａ）の画像に対応する変化テーブルを示しているので、領域番号９、１０、１３、１４、１５の各領域が変化有りと判別され、それ以外の領域が変化無しと判別されている。
【００３０】
図３（ｂ）の右上部には、１以上の領域に変化があるか否か、すなわち、画像の全領域のいずれかに変化があるか否かを「変化の有無」として示している。また、その下部には、画像中の変化有りと判別された領域数を「変化領域数」として示している。図３（ｂ）の例では、上述したように５つの領域が変化ありと判別されているので、「変化の有無」は「有」となり、「変化領域数」は５となっている。さらに、画像番号１−２の画像について、撮影されたと年月日と時刻を「撮影日時」として示している。
【００３１】
このように生成された変化テーブルは、制御部１０１を介して記憶部１０３にて順次保存され、画像データと関連付けて管理される。そして、後述の画像検索に際し、必要に応じて所望の変化テーブルが記憶部１０３から読み出されて参照されることになる。
【００３２】
次に図４は、画像表示端末１２の構成を示すブロック図である。なお、図１のインターネット３に直接接続された画像表示端末１４についても同様の構成となっている。図４に示すように、画像表示端末１２は、制御部２０１と、インターフェース２０２と、操作部２０３と、検索指示部２０４と、テーブル管理部２０５と、検索実行部２０６と、画像群判別部２０７と、サムネイル生成部２０８と、表示制御部２０９と、表示部２１０とを含んで構成されている。
【００３３】
以上の構成において、制御部２０１はＣＰＵ等から構成され、画像表示端末１２全体の動作を制御し、所定のプログラムに基づいて画像記録サーバ１１で保持されている画像データ及び変化テーブルを対象として、画像検索処理及び画像表示処理を実行する。なお、上述の検索指示部２０４、テーブル管理部２０５、検索実行部２０６、画像群判別部２０７、サムネイル生成部２０８は、いずれも制御部２０１により上記所定のプログラムに基づいて実行制御される機能要素に対応する。
【００３４】
インターフェース２０２は、画像検索端末１２の起動時や所定の入力操作時など所定のタイミングで、監視カメラ２から伝送される画像データや変化テーブルを制御部２０１に入力する。
【００３５】
操作部２０３は、画像表示端末１２のユーザが所定の動作を実行しようとする際、各種情報や設定条件を入力する手段であり、マウスやキーボードからなる。
【００３６】
検索指示部２０４は、操作部２０３の入力操作に基づき、画像の検索条件を指示するための検索条件テーブルを生成する。図５は、検索指示部２０４で生成される検索条件テーブルの一例を示す図である。図５に示す検索条件テーブルは、図３（ａ）に付した領域番号毎に、検索対象の領域として指定するか否かが設定されている。検索条件テーブルに基づく画像検索を行う場合、検索領域指定が［有］に設定されている領域については、検索時に変化の有無の判別結果が参照されるのに対し、検索領域指定が「無」に設定されている領域については、検索時に変化の有無の判別結果が参照されることはない。
【００３７】
テーブル管理部２０５は、画像検索の際に必要な各種テーブルを管理保存する。テーブル管理部２０５では、検索対象の画像に対応する全ての変化テーブルを画像記録サーバ１１から順次受信し、この変化テーブルに基づいて後述の検索テーブルを生成する。変化テーブルの受信は、画像表示端末１２の起動時、及び、操作部２０３により監視カメラ２の選択や撮影日時などが切り替えられる度に行われる。また、検索テーブルと照合するために必要な上述の検索条件テーブルが取得され、テーブル管理部２０５で管理される。
【００３８】
検索実行部２０６は、テーブル管理部２０５で管理される検索条件テーブル及び検索テーブルを用いて検索を実行する。すなわち、検索実行部２０６は、検索条件テーブルに基づき検索条件を判断し、検索テーブルを参照して各々の画像に検索条件に合致する変化の有無が存在するか否かを判別する。そして、検索対象の全ての画像についての検索結果を検索テーブルに記録して、テーブル管理部２０５の検索テーブルを更新する。
【００３９】
ここで、図６は、テーブル管理部２０５で管理される検索テーブルの一例を示す図である。図６に示す検索テーブルは、図３（ｂ）に示す変化テーブルが集合して構成されるとともに、検索実行部２０６による検索結果が付加されている。図６の例では、検索テーブルの先頭に画像番号１を付与し、時系列に沿って順番に画像番号を付与している。また、図５の検索条件テーブルでは、領域９と領域１２が指定されているので、この検索条件に従って図６に示す検索テーブルのうち領域９及び領域１２が変化の有無の判別対象となる。
【００４０】
この場合、複数の領域についての検索条件は、ＡＮＤ条件とＯＲ条件のいずれにしてもよく、不図示の切り換え手段により切り換え可能であるが、図６では、ＯＲ条件とする例を示している。すなわち、検索テーブルにおける領域９と領域１２のうち、少なくとも一方が「有」である画像は検索結果として「変化あり」が書き込まれ、それ以外の画像は検索結果として「変化なし」が書き込まれる。
【００４１】
また、上述の検索テーブル生成時、検索実行部２０６は全ての領域に対しＯＲ条件にて検索を実行する。すなわち、少なくとも１つ以上の領域に変化のある画像を検索して検索テーブルに検索結果を書き込む。このとき、テーブル管理部２０５が順次受信する変化テーブルを参照することで、変化テーブルから「変化の有無」及び「変化領域数」を得て、検索処理を迅速に行うことができる。
【００４２】
画像群判別部２０７は、検索実行部２０６の検索の際、検索結果が「変化あり」とされた時間的に連続する画像を判別し、それぞれ画像群として設定する。図７は、画像群判別部２０７による判別結果に基づき生成される画像群テーブルの一例を示す図である。図７（ａ）に示す画像群テーブルにおいては、図６の検索テーブルのうち、変化有りとなっている上述の画像群を、「シーン」として定義する。そして、それぞれのシーンに対し表示番号を付与し、検索テーブルに基づいて開始画像番号と終了画像番号を記録する。また、各シーンに含まれる画像数をシーン長として記録するとともに、後述のように各シーンに対し定められる代表画像の画像番号を記録する。
【００４３】
例えば、図７（ａ）において、画像番号２、３の２つの画像は、シーン長２のシーンを構成する。同様に、画像番号６の１つの画像は、シーン長１のシーンを構成し、画像番号８〜１０の画像群は、シーン長３のシーンを構成する。なお、これらの各シーンは、所定の操作により表示画面上で動画像として表示させることができるが、詳しくは後述する。
【００４４】
一方、図７（ｂ）は、図７（ａ）に示す画像群テーブルの中からシーン長が１であるものを排除した状態の画像群テーブルである。本実施形態では、シーンを再生する際のノイズとなる必要性の低い画像を除去するため、後述の表示画面上の「一瞬の変化排除設定部」が設定操作されたとき、シーン長が所定長以下のシーンを排除するようにしている。図７（ｂ）の例では、シーン長１のシーンを排除しているが、実際には所定のシーン長以下のシーンを排除するようにしてもよい。
【００４５】
サムネイル生成部２０８は、表示対象の画像の縮小イメージであるサムネイルを生成する。本実施形態では、画像群判別部２０７により設定されたシーンに対し、代表画像としてサムネイルを対応付けて検索時に利用する。すなわち、１つのシーンに複数の画像が含まれる場合、そのシーンを代表する画像についてのサムネイルを生成し、それをシーンの代表画像として表示画面上に表示することにより、検索処理の利便性を高めるものである。
【００４６】
ここで、各々のシーンに対する代表画像の決定方法としては、例えば、図６の検索テーブルにおける特定のシーン中で、変化領域数が最も多い画像を選択すればよい。このとき、各画像の変化領域数が同じものが複数選択される場合は、そのうち撮影時刻が先行する画像を選択すればよい。なお、一瞬の変化を排除しない場合において、単一の画像からなるシーン長１のシーンについては、その画像が自動的に代表画像として決定されることになる。
【００４７】
次に、表示制御部２０９は、制御部２０１にて生成された表示画面を表示するための制御を行い、表示部２１０に所定のタイミングで所定の表示データを送出し表示画面を表示させる。そして、表示部２１０に表示される表示画面には、後述するように、ユーザが見るための画像やユーザが所定の操作や設定を行うための各種表示対象が所定のレイアウトで配置されている。なお、表示部２０１としては、例えばＣＲＴディスプレイ、液晶ディスプレイ等を用いることができる。
【００４８】
以下、図８〜図１１を参照しながら、表示部２１０に表示される表示画面と、この表示画面を参照するユーザが画像検索を行う際の操作について具体的に説明する。図８は、表示部２０１に表示される表示画面の全体を説明する図である。図８に示すように、本実施形態における表示画面は、主画像表示部３０１と、時間軸表示部３０２と、サムネイル表示部３０３と、カメラ選択部３０４と、カレンダ表示部３０５と、領域指定部３０６と、一瞬の変化排除設定部３０７と、時刻表示部３０８と、再生操作部３０９が配置された構成となっている。
【００４９】
なお、図９〜図１１には、図８に示す表示画面のうち所定部分を詳細に説明するための拡大図を示している。それぞれ、図９は時間軸表示部３０２であり、図１０はサムネイル表示部３０３であり、図１１は領域指定部３０６である。
【００５０】
図８に示すように、表示画面上の中央付近に配置されている主画像表示部３０１には、後述の入力操作に従って表示対象として選択されている特定の画像（主画像）が表示される。すなわち、複数の監視カメラ２の中から選択された監視カメラ２によって所定の時刻に撮影された所定の撮影範囲の画像が表示されるので、その画像をユーザが視認して後続の操作を判断することができる。
【００５１】
時間軸表示部３０２には、主画像表示部３０１の下部に配置され、図９に示すように、表示対象の画像と撮影日時の関係を表す２種の時間軸が表示される。主時間軸３０２ａは、所定の日付における０時から２４時までの時間範囲を画像の状態と関連付けて示している。副時間軸３０２ｂは、主時間軸３０２ａの２４時間の範囲における任意の時間範囲を拡大して示している。副時間軸３０２ｂに対する時間範囲の設定は、所定の操作により１０分〜２時間の範囲で切り替えることができる。図９の例では、副時間軸３０２ｂの時間範囲が1時間に設定されている場合を示している。
【００５２】
通常、副時間軸３０２ｂにおいては、主時間軸３０２ａの時間範囲のうち主画像表示部３０１に表示されている画像の撮影時刻を中心とした時間範囲に設定される。一方、主時間軸３０２ａ上部のスライダ３０２ｃを左右に移動操作することにより、主時間軸３０２ａに対する副時間軸３０２ｂの時間的な位置関係を調整することができる。
【００５３】
なお、主時間軸３０２ａ及び副時間軸３０２ｂにおいては、検索処理の結果得られた画像の状態を識別させるため、画像の状態に対応させて特定の時間帯を異なる色で表示させることができる。図９の例では、主時間軸３０２ａ及び副時間軸３０２ｂの時間帯Ａ、Ｂ、Ｃは、それぞれ、変化有りと判別された画像群、すなわち、図７の画像群テーブルでシーンとして設定された部分に対応している。これにより、ユーザはシーンが設定されている時間帯を容易に識別することができる。
【００５４】
また、監視カメラ２は、実際には常時撮影を継続するわけではなく、時間帯によっては画像記録サーバ１１に画像データが記録されないことになる。よって、主時間軸３０２ａ及び副時間軸３０２ｂにおいて対象となる画像が存在しない時間帯は、さらに異なる色で表示してもよい。
【００５５】
なお、主時間軸３０２ａと副時間軸３０２ｂのそれぞれの時間範囲は上述の例に限られず、適宜に設定してもよい。例えば、主時間軸３０２ａに対し２４時間より更に長い時間範囲、例えば、表示可能な画像の全ての撮影時刻を含む時間範囲を設定してもよい。また、主時間軸３０２ａに対し、主画像表示部３０１に表示される画像の撮影時刻を中心とする所定の時間範囲を設定してもよい。
【００５６】
サムネイル表示部３０３は、時間軸表示部３０２の下部に配置され、本発明の副画像表示部としての役割を担う。図１０に示すように、サムネイル表示部３０３には、副時間軸３０２ｂの中央位置の画像を略中心とし、その前後の所定個数（図１０の場合は６個）のサムネイル（副画像）が時系列の順で表示される。 これらのサムネイルは、前述したように各々のシーンの代表画像として対応付けられたものであり、各シーンに含まれる画像のうち最も変化が大きい画像となっている。これにより、ユーザは画像の変化に着目して、所定のシーンに対応するサムネイルを容易に選択することができる。そして、ユーザがサムネイル表示部３０３における所定のサムネイルをマウスで選択操作すると、主画像表示部３０１には選択されたサムネイルに対応する画像が拡大表示される。
【００５７】
カメラ選択部３０４には、現在選択されている監視カメラ２の設置箇所が表示されるとともに、右側のプルダウンメニューにより表示対象として特定の監視カメラ２を適宜に選択入力することができる。ユーザが現在選択されている監視カメラ２を切り替えたい場合、マウスを操作してプルダウンメニューを押下すると、表示可能な全ての監視カメラ２の設置箇所が表示されるので、その中から所望の監視カメラ２を選択すればよい。
【００５８】
カレンダ表示部３０５には、画像の撮影日を指定するための１ヶ月分のカレンダが表示される。ユーザは、カレンダ表示部３０５の中から所定日をマウスで選択操作すると、カメラ選択部３０４に示される監視カメラ２の画像のうち、選択されている所定日に撮影された画像が表示対象として設定される。また、カレンダ表示部３０５の上部の「前月」又は「次月」を押下することにより、所望の年月に移行させることができる。
【００５９】
領域指定部３０６は、制御部２０１及び操作部２０３と相俟って本発明の領域指定手段として機能する。図１１に示すように領域指定部３０６は、図３（ａ）と同様の形状で１６個の領域に分割された画像に対し、検索対象とすべき領域を指定するための表示である。領域指定部３０６には、その背景に主画像表示部３０１に表示される画像（又は過去の所定日時の画像）に対応するサムネイルが表示され、ユーザがマウスで所定の領域を選択操作することにより、その領域を検索対象として指定することができる。選択された監視カメラ２による撮影範囲のうち、例えば、出入口等が存在する一部の領域に着目して画像を検索したい際など、領域指定部３０６により領域を指定することが望ましい。
【００６０】
なお、領域指定部３０６において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。また、領域指定部３０６で一旦指定された領域は、その状態で再度選択操作することにより、指定を解除することができる。
【００６１】
このように領域指定部３０６により領域が指定されると、その結果が検索指示部２０４によって検索条件テーブルに反映される。例えば、図５に示すように、領域番号９、１２を検索対象として指定するには、領域指定部３０６において該当する２つの領域を順次選択操作すればよい。さらに、上述の領域指定部３０６における指定の結果は、検索実行部２０５によって検索テーブルに反映されるため、表示画面における主画像表示部３０１及び時間軸表示部３０２やサムネイル表示部３０３の表示対象が変更されることになる。
【００６２】
一瞬の変化排除設定部３０７は、上述したような画像群テーブルに含まれる各シーンのうち、シーン長１のシーンを排除するときに入力設定するための表示である。ユーザが、一瞬の変化排除設定部３０７の左側にあるチェックボックスをマウスでチェックすると、図７（ｂ）に示すような画像群テーブルに対応するシーンが設定されることになる。
【００６３】
時刻表示部３０８には、主画像表示部３０１に表示されている画像が撮影された年月日及び日時が表示される。また、時刻表示部３０８においては、表示されている年月日及び日時についての各入力項目に対し、プルダウンメニューにより設定値を選択入力することができる。
【００６４】
再生操作部３０９は、前述のように設定された各シーンを主画像表示部３０１に順次表示させて動画像として再生する際、ユーザに所望の操作をさせるための表示である。再生操作部３０９の上部には、その時点のシーンを基準にして、１つ先行するシーンに移行するボタンと、１つ後続のシーンに移行するためのボタンが配置されている。再生操作部３０９の中央には、各シーンの再生時にビデオ再生機と同様の再生機能を実現させるための停止ボタン、再生ボタン、倍速再生ボタンが配置されている。また、再生操作部３０９の下部には、ボタン操作に代わってダイヤル操作を用いて同様の再生機能を実現させるためのダイヤル操作部が配置されている。
【００６５】
本実施形態では、監視カメラ２は比較的緩やかな速度、例えば、１秒に１コマ程度で撮影を行う。この場合、再生ボタンの押下時には、同様に１秒に１コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。これに対し、倍速再生ボタンの押下時は、１秒に２コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。
【００６６】
以上説明したように、本実施形態において画像処理を行うことにより、伝送された画像データを画像記録サーバ１１で保存するとともに、図３（ｂ）に示すような変化テーブルを生成し、画像データとともに画像記録サーバ１１で保存する。その後、ユーザが画像表示端末１２の表示画面を参照しつつ、画像検索を指示した場合、画像記録サーバ１１から変化テーブルを取得して検索テーブルを生成するので、検索時には変化の有無の判別を別途行う必要がない。よって、監視カメラ２で撮影された画像が多数存在する状況で、特定領域に着目した画像検索が指示された場合、検索結果が得られるまでの時間は短くて済む。このように、本実施形態によれば、画像検索時に良好な操作性及び視認性を保ちつつ、画像検索に要する時間短縮を図り作業効率を向上させることができる。
【００６７】
なお、本実施形態の画像処理システムとしての監視システムの構成は、適用対象に応じて適宜に変更することができる。例えば、図１に示す監視システムの構成においては、画像記録サーバ１１と画像表示端末１２を別体で構成した場合を示したが、これらを一体に構成してもよい。この場合、画像記録サーバ１１と画像表示端末１２の機能を併せ持つ装置（図２及び図４の各構成要素を備える装置）を管理センタ１に設置して、監視システムを構成すればよい。
【００６８】
以上の実施形態では、本発明を監視システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像処理システムに対し広く本発明を適用することができる。この場合、本実施形態では複数の監視カメラ２から画像データを伝送する構成を示したが、監視カメラ２以外の各種機器、例えば、ＶＴＲ等から画像データを出力する構成であってもよい。
【００６９】
【発明の効果】
以上説明したように本発明によれば、処理対象の画像に対し予め領域毎の変化の有無を記録する変化テーブルを生成し、この変化テーブルを処理対象の画像と関連付けて記憶させ参照できるようにしたので、ユーザが特定領域の変化に着目した場合であっても所望の画像を探し出す時間を短縮することが可能となり、画像検索等の作業効率を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態の監視システムの全体構成を示すブロック図である。
【図２】画像記録サーバの構成を示すブロック図である。
【図３】本実施形態において、画像の分割の概念と各領域毎の変化の有無の判別に関し、図３（ａ）は、画像全体を１６個の方形の領域に分割する例であり、図３（ｂ）は、画像の各々の領域についての変化の有無の判別結果を含む変化テーブルの一例である。
【図４】画像表示端末の構成を示すブロック図である。
【図５】画像表示端末の検索指示部で生成される検索条件テーブルの一例を示す図である。
【図６】画像表示端末のテーブル管理部で管理される検索テーブルの一例を示す図である。
【図７】画像表示端末の画像群判別部による判別結果に基づき生成される画像群テーブルの一例を示す図である。
【図８】画像表示端末の表示部に表示される表示画面の全体を説明する図である。
【図９】図８に示す表示画面のうち時間軸表示部の拡大図である。
【図１０】図８に示す表示画面のうちサムネイル表示部の拡大図である。
【図１１】図８に示す表示画面のうち領域指定部の拡大図である。
【符号の説明】
１…管理センタ
２…監視カメラ
３…インターネット
１１…画像記録サーバ
１２…画像表示端末
１３…ルータ
１４…画像表示端末
１０１…制御部
１０２…インターフェース
１０３…記憶部
１０４…画像処理部
１０５…変化テーブル生成部
２０１…制御部
２０２…インターフェース
２０３…操作部
２０４…検索指示部
２０５…テーブル管理部
２０６…検索実行部
２０７…画像群判別部
２０８…サムネイル生成部
２０９…表示制御部
２１０…表示部
３０１…主画像表示部
３０２…時間軸表示部
３０３…サムネイル表示部
３０４…カメラ選択部
３０５…カレンダ表示部
３０６…領域指定部
３０７…一瞬の変化排除設定部
３０８…時刻表示部
３０９…再生操作部
Claims (2)
- 複数の画像の中から選択された時間的に連続する画像を表示する画像処理システムであって、
処理対象の画像を複数の領域に分割し、領域毎に基準画像と比較して変化の有無を判別する変化判別手段と、
前記変化判別手段によって判別された変化の有無を領域毎に前記処理対象の画像および撮影時刻と関連付けて記録する変化テーブルを生成する変化テーブル生成手段と、
前記画像と前記変化テーブルを記憶する記憶部と、
操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、副画像を表示するための副画像表示部、前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、
前記領域指定部にて指定された領域における前記変化の有無を参照する検索条件を作成し、前記変化テーブルを参照して前記検索条件に合致する画像を検索する検索実行部と、
前記領域指定部から新たに領域指定がなされるたびに、前記検索実行部にて検索された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が前記検索実行部にて検索された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより、前記検索実行部にて検索された画像を前記副画像表示部に表示させ、操作者が前記副画像を指定することにより、該指定された副画像を含む画像を前記主画像表示部に表示させる表示制御部と、
を具備したことを特徴とする画像処理システム。 - 前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させる請求項１に記載の画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025088A JP4185376B2 (ja) | 2003-01-31 | 2003-01-31 | 画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025088A JP4185376B2 (ja) | 2003-01-31 | 2003-01-31 | 画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004236211A JP2004236211A (ja) | 2004-08-19 |
| JP4185376B2 true JP4185376B2 (ja) | 2008-11-26 |
Family
ID=32953450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003025088A Expired - Fee Related JP4185376B2 (ja) | 2003-01-31 | 2003-01-31 | 画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4185376B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006345929A (ja) * | 2005-06-13 | 2006-12-28 | Olympus Medical Systems Corp | 画像表示装置 |
| US10650608B2 (en) * | 2008-10-08 | 2020-05-12 | Strider Labs, Inc. | System and method for constructing a 3D scene model from an image |
| JP5416421B2 (ja) * | 2009-01-22 | 2014-02-12 | 株式会社日立国際電気 | 監視映像検索装置、監視映像検索プログラム及び監視映像検索方法 |
| JP5139480B2 (ja) * | 2010-07-15 | 2013-02-06 | 富士通テン株式会社 | 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法 |
| JP5008100B2 (ja) * | 2010-07-15 | 2012-08-22 | 富士通テン株式会社 | 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法 |
| JP5085693B2 (ja) * | 2010-07-15 | 2012-11-28 | 富士通テン株式会社 | 運転支援装置および運転支援方法 |
| JP2013251588A (ja) * | 2012-05-30 | 2013-12-12 | Mitsubishi Electric Corp | ネットワークカメラシステム |
-
2003
- 2003-01-31 JP JP2003025088A patent/JP4185376B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004236211A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100691531B1 (ko) | 화상표시방법 및 화상표시장치 | |
| EP3185539B1 (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
| US7774704B2 (en) | Image processing apparatus | |
| US8174571B2 (en) | Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images | |
| US20010016108A1 (en) | Video apparatus and method | |
| RU2691057C1 (ru) | Устройство помощи в слежении, система помощи в слежении и способ помощи в слежении | |
| JP5404023B2 (ja) | 動画・静止画再生装置、その制御方法、プログラム及び記憶媒体 | |
| US20020186958A1 (en) | Image reproduction apparatus | |
| JP2008263538A (ja) | 撮影装置、方法およびプログラム | |
| JP4185376B2 (ja) | 画像処理システム | |
| JP2003324678A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP2003299028A (ja) | 画像表示装置及び画像管理プログラム | |
| JP2002152721A (ja) | 録画再生装置の映像表示方法および装置 | |
| JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
| JP4175622B2 (ja) | 画像表示システム | |
| JP2001211418A (ja) | 電子カメラ | |
| JP5066878B2 (ja) | カメラ及び表示システム | |
| JP2017158021A (ja) | 情報端末装置、撮像装置、画像情報処理システム及び画像情報処理方法 | |
| JP2002185841A (ja) | 画像再生装置及び電子カメラ装置並びに画像再生方法 | |
| JP6847168B2 (ja) | 動画再生装置及び動画再生方法 | |
| JP2006311430A (ja) | 画像表示装置及び画像表示システム | |
| JP2001094919A (ja) | 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体 | |
| JP2001211354A (ja) | 電子カメラ | |
| JP4513491B2 (ja) | 電子カメラ | |
| JP4209379B2 (ja) | 録画装置、その閲覧装置、並びに、そのプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080905 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4185376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |