JP4175622B2 - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP4175622B2 JP4175622B2 JP2003025087A JP2003025087A JP4175622B2 JP 4175622 B2 JP4175622 B2 JP 4175622B2 JP 2003025087 A JP2003025087 A JP 2003025087A JP 2003025087 A JP2003025087 A JP 2003025087A JP 4175622 B2 JP4175622 B2 JP 4175622B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- area
- time axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像の中から所望の画像を選択し、表示画面に表示させる画像表示システムの技術分野に属し、さらには、監視カメラから伝送された画像データを記憶手段に順次記憶させ、記憶手段を検索して所望の画像を選択し、選択された画像を表示画面に表示させる構成を備えた監視システムの技術分野に属するものである。
【０００２】
【従来の技術】
従来から、大量の画像データを蓄積し、所定の画像を選択して表示させる画像表示システムが広く利用されている。このような画像表示システムでは、ユーザが多くの画像の中から表示させたい画像を速やかに検索し、所望の画像を表示画面に表示させるため、表示画面の適切な配置や良好な操作性が求められる。従来の画像表示システムにおいて、選択された画像を拡大表示することに加えて、画像の縮小イメージとしてのサムネイルを表示させる方法が知られている。これにより、表示画面上で複数のサムネイルを参照することにより、表示対象とすべき画像の検索が容易となる。
【０００３】
また、上述のように表示画面に表示されるサムネイルとともに、画像に関する時刻情報等の属性情報を表示させれば、画像の検索を効率的に行うことができる。この場合、画像の属性情報をグラフ化して表示し、画像の選択性を向上させる方法も提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−１３４５７８
【０００５】
【発明が解決しようとする課題】
しかし、上記従来の画像表示システムでは、複数のサムネイルを配置した表示画面をユーザが参照したとしても、その中からユーザが所望の画像を選択することは必ずしも容易ではなかった。特に、時系列に沿って多数の画像が存在し、その中から特徴的な画像を検索する場合には、それら全てをサムネイルで確認することは困難であり、所望の画像を探し出すことが難しい場合もあった。例えば、画像表示システムを監視システムに適用することを想定すると、監視カメラにより所定の時間間隔で撮影された多数の画像の中から、防犯上の観点から特定の画像を判別する際などは検索が容易ではなかった。
【０００６】
また、上記特許文献１に開示された方法のように属性情報をグラフ化した表示を用いる場合であっても、多数の画像のそれぞれの属性情報を把握することは困難であり、ユーザにとって使い勝手は良くなかった。
【０００７】
そこで、本発明はこのような問題に鑑みなされたものであり、多数の画像の中から選択された所望の画像を表示する場合、ユーザが表示画面を参照しつつ良好な操作性により、表示対象とすべき画像を容易に選択することが可能な画像表示システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像表示システムは、複数の画像の中から選択された画像を表示する画像表示システムであって、前記画像を複数領域に分割した領域ごとに、それぞれ時間的な変化の有無を判別した結果と撮影時刻を当該画像とともに記憶する記憶部と、操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、前記領域指定部から領域指定がなされると、前記記憶部の画像から当該指定された領域にて基準画像との相違が所定の閾値を超えた場合に変化ありと判別された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が変化ありと判別された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより前記主画像表示部に指定された画像を表示させる表示制御部と、を具備したことを特徴とする。
【０００９】
この発明によれば、画像表示システムにおいて所望の画像を表示させる際、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面が構成される。ユーザは、時間軸表示部により複数の画像が対応する時系列を識別でき、副画像表示部により所定の代表画像を縮小表示（サムネイル）で識別できる。そして、時間軸表示部又は副画像表示部に対して所定の操作をしたとき、主画像表示部により選択された画像を参照可能となる。よって、表示対象として多数の画像が存在する場合であっても、表示画面を一見して所定の操作を行うことにより所望の画像を識別した上で容易に選択でき、画像表示システムにおける操作性と視認性を向上させることができる。
【００１０】
請求項２に記載の画像表示システムは、請求項１に記載の画像表示システムにおいて、前記表示部は、画像を縮小した代表画面を表示させる副画像表示部を更に有し、前記表示制御部は、前記領域指定部にて領域指定がされると、前記記憶部の画像から当該指定された領域にて変化有りと判別された画像を選択し、当該画像を縮小して前記副表示部に代表画像として表示させることを特徴とする。
【００１１】
この発明によれば、画像表示システムでは、各々の画像について基準画像と比較したときの変化の有無が判別され、検索指示を受けたときに変化の有無の判別結果を反映して表示画面上の表示対象が変更される。よって、変化の有無に着目して表示対象を変えることにより所望の画像の選択性を高めることができ、視認性を一層向上させることができる。
【００１２】
請求項３に記載の画像表示システムは、請求項１または２のいずれかに記載の画像表示システムにおいて、前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させることを特徴とする。
【００１３】
この発明によれば、画像処理手段の判別結果に基づき画像群が設定され、副画像表示部における代表画像としては、画像群の中で変化が最も大きい画像が設定される。よって、画像の変化の度合が特に大きい副画像を参照しつつ所望の画像を選択できるので、画像の変化に着目した場合の選択性を高めることができる。
【００１４】
この発明の画像表示システムにおいて、前記画像処理手段は、画像を複数の領域に分割し、各々の領域毎に前記変化の有無を判別し、前記表示画面には、前記変化の有無を判別する領域を所定の操作に従って指定するための領域指定部が配置されることを特徴とする。
【００１５】
この発明によれば、画像処理手段による変化の有無の判別は、複数の領域に分割された画像に対し各々の領域毎に行われ、ユーザは表示画面上の領域指定部により、判別すべき画像の領域を指定することができる。よって、画像の一部の領域に着目して所望の画像を選択することができ、画像に生じた変化をきめ細かく識別することができる。
【００１６】
この発明の画像表示システムにおいて、前記時間軸表示部は、各々の画像に設定される時刻情報に対応する所定の時間範囲を示す主時間軸と、前記主時間軸の時間範囲のうち一部の時間範囲を拡大して示す副時間軸とを表示することを特徴とする。
【００１７】
この発明によれば、表示画面上の時間軸表示部には主時間軸と副時間軸が表示され、所定の時間範囲が主時間軸で示される一方、その一部の時間範囲が副時間軸で示される。よって、多数の画像が広い時間範囲にわたって存在する場合、ユーザが主時間軸と副時間軸を使い分けることができ、画像と時系列の関係を良好な視認性で把握することができる。
【００１８】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下では、監視カメラにより監視対象の画像を撮影し、撮影された画像をインターネットを経由して伝送可能な監視システムに対し、本発明に係る画像表示システムを適用した場合を説明する。
【００１９】
図１は、本実施形態の監視システムの全体構成を示すブロック図である。図１に示す監視システムには、本監視システムを管理する管理センタ１と、監視対象の施設に設置されている複数の監視カメラ２を含み、インターネット３を介して各監視カメラ２から画像データが管理センタ1に伝送されるようなシステム構成を有している。この管理センタ１には、画像記録サーバ１１と、画像表示端末１２が設けられ、それぞれＬＡＮを経由してルータ１３に接続され、インターネット３を介した情報の送受信を行うことができるように構成されている。また、画像表示端末１２と同様の機能を持つ画像表示端末１４を、管理センタ１の外部にてインターネット３に直接接続して用いることができる。
【００２０】
複数の監視カメラ２は、店舗等の各種施設内における所定の撮影範囲を撮影し得る箇所にそれぞれ設置されており、所定のタイミングで各々の撮影範囲を撮影し、対応する画像データを出力する。これらの監視カメラ２は、いわゆるＷｅｂカメラであり、インターネット３にアクセスし、管理センタ１に向けて画像データを伝送する機能を備えている。なお、監視カメラ２により伝送される画像データには、撮影を行った監視カメラ２自体や各々の画像データを識別するための識別情報や、画像が撮影された日時を示す日時情報などの画像関連情報を含むヘッダ情報が付加されており、管理センタ１の側で適宜にヘッダ情報を参照可能となっている。
【００２１】
管理センタ１では、監視カメラ２からインターネット３を介して受信された画像データがルータ１３とＬＡＮを介して画像記録サーバ１１に伝送される。画像記録サーバ１１は、伝送された画像データを所定の画像関連情報とともに順次記録する。画像表示端末１２は、所定の操作によりＬＡＮを介して画像記録サーバ１１に記録されている画像データを検索し、所望の画像を表示する。
【００２２】
図２は、画像記録サーバ１１の構成を示すブロック図である。図２に示すように、画像記録サーバ１１は、制御部１０１と、インターフェース１０２と、記憶部１０３と、画像処理部１０４と、変化テーブル生成部１０５を含んで構成されている。
【００２３】
以上の構成において、制御部１０１はＣＰＵ等から構成され、画像記録サーバ１１全体の動作を制御する。インターフェース１０２は、監視カメラ２から伝送される画像データを制御部１０１に入力する。そして、制御部１０１では、インターフェース１０２を介して入力された画像データを、監視カメラ２の番号や撮影日時といった画像関連情報と関連付けて記憶部１０３に記憶させるように制御を行う。
【００２４】
画像処理部１０４は、制御部１０１の指示の下、インターフェース１０２を介して入力された画像データ、又は、記憶部１０３から読み出された画像データを対象とする画像処理を行い、画像を複数の領域に分割して各々の領域毎に変化の有無を判別する。この画像処理部１０４は、他の構成要素と相俟って本発明の画像処理手段として機能する。
【００２５】
具体的には、図３（ａ）に示すように、画像全体を１６個の方形の領域に分割し、監視カメラ２の撮影範囲に移動物体が存在しない状態における基準画像と処理対象の画像を、各々の領域毎に比較することにより変化の有無を判別することができる。変化の有無の判別方法としては、例えば、各々の領域において、基準画像と比較したときに異なる画素数を求め、所定の閾値を超えた場合には変化有りと判別し、所定の閾値以下である場合には変化無しと判別すればよい。図３（ａ）の例では、基準画像には存在しない移動物体が重なっている領域９、１０、１３、１４、１５において、変化有りと判別されることになる。
【００２６】
なお、本実施形態では、画像全体を１６個の領域に分割する場合を説明するが、実際には画像全体を更に多数の領域に分割し、同様の判別方法を適用することも可能である。
【００２７】
変化テーブル生成部１０５は、画像処理部１０４による判別結果に基づいて、処理対象となる全ての画像に関し、各々の領域に対して判別された変化の有無を一体的に示す変化テーブルを生成する。図３（ｂ）は、変化テーブル生成部１０５にて生成される変化テーブルの一例を示す図である。図３（ｂ）に示す変化テーブルには、画像データを識別するための画像番号と、この画像番号によって示される画像を構成する各々の領域について変化の有無の判別結果と、少なくとも１以上の領域についての変化の有無と、画像中の変化有りと判別された領域数と、画像の撮影日時とを含んでいる。
【００２８】
図３（ｂ）に示される画像番号は、複数の監視カメラ２を識別するためのカメラ番号と、特定の監視カメラ２により撮影された画像に対し撮影順に従って付与される番号とからなる。例えば、画像番号１−２は、第１の監視カメラ２より撮影された２番目の画像であることを表している。また、画像の各領域に対しては、図３（ａ）に示すように、１〜１６の領域番号を付与して区別している。そして、図３（ｂ）では、各領域の領域番号とともに変化の有無の判別結果を「有」又は「無」として示している。なお、図３（ｂ）の例では、図３（ａ）の画像に対応する変化テーブルを示しているので、領域番号９、１０、１３、１４、１５の各領域が変化有りと判別され、それ以外の領域が変化無しと判別されている。
【００２９】
図３（ｂ）の右上部には、１以上の領域に変化があるか否か、すなわち、画像の全領域のいずれかに変化があるか否かを「変化の有無」として示している。また、その下部には、画像中の変化有りと判別された領域数を「変化領域数」として示している。図３（ｂ）の例では、上述したように５つの領域が変化ありと判別されているので、「変化の有無」は「有」となり、「変化領域数」は５となっている。さらに、画像番号１−２の画像について、撮影されたと年月日と時刻を「撮影日時」として示している。
【００３０】
このように生成された変化テーブルは、制御部１０１を介して記憶部１０３にて順次保存され、画像データと関連付けて管理される。そして、後述の画像検索に際し、必要に応じて所望の変化テーブルが記憶部１０３から読み出されて参照されることになる。
【００３１】
次に図４は、画像表示端末１２の構成を示すブロック図である。なお、図１のインターネット３に直接接続された画像表示端末１４についても同様の構成となっている。図４に示すように、画像表示端末１２は、制御部２０１と、インターフェース２０２と、操作部２０３と、検索指示部２０４と、テーブル管理部２０５と、検索実行部２０６と、画像群判別部２０７と、サムネイル生成部２０８と、表示制御部２０９と、表示部２１０とを含んで構成されている。
【００３２】
以上の構成において、制御部２０１はＣＰＵ等から構成され、画像表示端末１２全体の動作を制御し、所定のプログラムに基づいて画像記録サーバ１１で保持されている画像データ及び変化テーブルを対象として、画像検索処理及び画像表示処理を実行する。なお、上述の検索指示部２０４、テーブル管理部２０５、検索実行部２０６、画像群判別部２０７、サムネイル生成部２０８は、いずれも制御部２０１により上記所定のプログラムに基づいて実行制御される機能要素に対応する。
【００３３】
インターフェース２０２は、画像検索端末１２の起動時や所定の入力操作時など所定のタイミングで、監視カメラ２から伝送される画像データや変化テーブルを制御部２０１に入力する。
【００３４】
操作部２０３は、画像表示端末１２のユーザが所定の動作を実行しようとする際、各種情報や設定条件を入力する手段であり、マウスやキーボードからなる。
【００３５】
検索指示部２０４は、操作部２０３の入力操作に基づき、画像の検索条件を指示するための検索条件テーブルを生成する。図５は、検索指示部２０４で生成される検索条件テーブルの一例を示す図である。図５に示す検索条件テーブルは、図３（ａ）に付した領域番号毎に、検索対象の領域として指定するか否かが設定されている。検索条件テーブルに基づく画像検索を行う場合、検索領域指定が［有］に設定されている領域については、検索時に変化の有無の判別結果が参照されるのに対し、検索領域指定が「無」に設定されている領域については、検索時に変化の有無の判別結果が参照されることはない。
【００３６】
テーブル管理部２０５は、画像検索の際に必要な各種テーブルを管理保存する。テーブル管理部２０５では、検索対象の画像に対応する全ての変化テーブルを画像記録サーバ１１から順次受信し、この変化テーブルに基づいて後述の検索テーブルを生成する。変化テーブルの受信は、画像表示端末１２の起動時、及び、操作部２０３により監視カメラ２の選択や撮影日時などが切り替えられる度に行われる。また、検索テーブルと照合するために必要な上述の検索条件テーブルが取得され、テーブル管理部２０５で管理される。
【００３７】
検索実行部２０６は、テーブル管理部２０５で管理される検索条件テーブル及び検索テーブルを用いて検索を実行する。すなわち、検索実行部２０６は、検索条件テーブルに基づき検索条件を判断し、検索テーブルを参照して各々の画像に検索条件に合致する変化の有無が存在するか否かを判別する。そして、検索対象の全ての画像についての検索結果を検索テーブルに記録して、テーブル管理部２０５の検索テーブルを更新する。
【００３８】
ここで、図６は、テーブル管理部２０５で管理される検索テーブルの一例を示す図である。図６に示す検索テーブルは、図３（ｂ）に示す変化テーブルが集合して構成されるとともに、検索実行部２０６による検索結果が付加されている。図６の例では、検索テーブルの先頭に画像番号１を付与し、時系列に沿って順番に画像番号を付与している。また、図５の検索条件テーブルでは、領域９と領域１２が指定されているので、この検索条件に従って図６に示す検索テーブルのうち領域９及び領域１２が変化の有無の判別対象となる。
【００３９】
この場合、複数の領域についての検索条件は、ＡＮＤ条件とＯＲ条件のいずれにしてもよく、不図示の切り換え手段により切り換え可能であるが、図６では、ＯＲ条件とする例を示している。すなわち、検索テーブルにおける領域９と領域１２のうち、少なくとも一方が「有」である画像は検索結果として「変化あり」が書き込まれ、それ以外の画像は検索結果として「変化なし」が書き込まれる。
【００４０】
また、上述の検索テーブル生成時、検索実行部２０６は全ての領域に対しＯＲ条件にて検索を実行する。すなわち、少なくとも１つ以上の領域に変化のある画像を検索して検索テーブルに検索結果を書き込む。このとき、テーブル管理部２０５が順次受信する変化テーブルを参照することで、変化テーブルから「変化の有無」及び「変化領域数」を得て、検索処理を迅速に行うことができる。
【００４１】
画像群判別部２０７は、検索実行部２０６の検索の際、検索結果が「変化あり」とされた時間的に連続する画像を判別し、それぞれ画像群として設定する。図７は、画像群判別部２０７による判別結果に基づき生成される画像群テーブルの一例を示す図である。図７（ａ）に示す画像群テーブルにおいては、図６の検索テーブルのうち、変化有りとなっている上述の画像群を、「シーン」として定義する。そして、それぞれのシーンに対し表示番号を付与し、検索テーブルに基づいて開始画像番号と終了画像番号を記録する。また、各シーンに含まれる画像数をシーン長として記録するとともに、後述のように各シーンに対し定められる代表画像の画像番号を記録する。
【００４２】
例えば、図７（ａ）において、画像番号２、３の２つの画像は、シーン長２のシーンを構成する。同様に、画像番号６の１つの画像は、シーン長１のシーンを構成し、画像番号８〜１０の画像群は、シーン長３のシーンを構成する。なお、これらの各シーンは、所定の操作により表示画面上で動画像として表示させることができるが、詳しくは後述する。
【００４３】
一方、図７（ｂ）は、図７（ａ）に示す画像群テーブルの中からシーン長が１であるものを排除した状態の画像群テーブルである。本実施形態では、シーンを再生する際のノイズとなる必要性の低い画像を除去するため、後述の表示画面上の「一瞬の変化排除設定部」が設定操作されたとき、シーン長が所定長以下のシーンを排除するようにしている。図７（ｂ）の例では、シーン長１のシーンを排除しているが、実際には所定のシーン長以下のシーンを排除するようにしてもよい。
【００４４】
サムネイル生成部２０８は、表示対象の画像の縮小イメージであるサムネイルを生成する。本実施形態では、画像群判別部２０７により設定されたシーンに対し、代表画像としてサムネイルを対応付けて検索時に利用する。すなわち、１つのシーンに複数の画像が含まれる場合、そのシーンを代表する画像についてのサムネイルを生成し、それをシーンの代表画像として表示画面上に表示することにより、検索処理の利便性を高めるものである。
【００４５】
ここで、各々のシーンに対する代表画像の決定方法としては、例えば、図６の検索テーブルにおける特定のシーン中で、変化領域数が最も多い画像を選択すればよい。このとき、各画像の変化領域数が同じものが複数選択される場合は、そのうち撮影時刻が先行する画像を選択すればよい。なお、一瞬の変化を排除しない場合において、単一の画像からなるシーン長１のシーンについては、その画像が自動的に代表画像として決定されることになる。
【００４６】
次に、表示制御部２０９は、制御部２０１にて生成された表示画面を表示するための制御を行い、表示部２１０に所定のタイミングで所定の表示データを送出し表示画面を表示させる。そして、表示部２１０に表示される表示画面には、後述するように、ユーザが見るための画像やユーザが所定の操作や設定を行うための各種表示対象が所定のレイアウトで配置されている。なお、表示部２１０としては、例えばＣＲＴディスプレイ、液晶ディスプレイ等を用いることができる。
【００４７】
以下、図８〜図１１を参照しながら、表示部２１０に表示される表示画面と、この表示画面を参照するユーザが画像検索を行う際の操作について具体的に説明する。図8は、表示部２１ 0に表示される表示画面の全体を説明する図である。図8に示すように、本実施形態における表示画面は、主画像表示部３０１と、時間軸表示部３０２と、サムネイル表示部３０３と、カメラ選択部３０４と、カレンダ表示部３０５と、領域指定部３０６と、一瞬の変化排除設定部３０７と、時刻表示部３０８と、再生操作部３０９が配置された構成となっている。
【００４８】
なお、図９〜図１１には、図８に示す表示画面のうち所定部分を詳細に説明するための拡大図を示している。それぞれ、図９は時間軸表示部３０２であり、図１０はサムネイル表示部３０３であり、図１１は領域指定部３０６である。
【００４９】
図８に示すように、表示画面上の中央付近に配置されている主画像表示部３０１には、後述の入力操作に従って表示対象として選択されている特定の画像（主画像）が表示される。すなわち、複数の監視カメラ２の中から選択された監視カメラ２によって所定の時刻に撮影された所定の撮影範囲の画像が表示されるので、その画像をユーザが視認して後続の操作を判断することができる。
【００５０】
時間軸表示部３０２には、主画像表示部３０１の下部に配置され、図９に示すように、表示対象の画像と撮影日時の関係を表す２種の時間軸が表示される。主時間軸３０２ａは、所定の日付における０時から２４時までの時間範囲を画像の状態と関連付けて示している。副時間軸３０２ｂは、主時間軸３０２ａの２４時間の範囲における任意の時間範囲を拡大して示している。副時間軸３０２ｂに対する時間範囲の設定は、所定の操作により１０分〜２時間の範囲で切り替えることができる。図９の例では、副時間軸３０２ｂの時間範囲が1時間に設定されている場合を示している。
【００５１】
通常、副時間軸３０２ｂにおいては、主時間軸３０２ａの時間範囲のうち主画像表示部３０１に表示されている画像の撮影時刻を中心とした時間範囲に設定される。一方、主時間軸３０２ａ上部のスライダ３０２ｃを左右に移動操作することにより、主時間軸３０２ａに対する副時間軸３０２ｂの時間的な位置関係を調整することができる。
【００５２】
なお、主時間軸３０２ａ及び副時間軸３０２ｂにおいては、検索処理の結果得られた画像の状態を識別させるため、画像の状態に対応させて特定の時間帯を異なる色で表示させることができる。図９の例では、主時間軸３０２ａ及び副時間軸３０２ｂの時間帯Ａ、Ｂ、Ｃは、それぞれ、変化有りと判別された画像群、すなわち、図７の画像群テーブルでシーンとして設定された部分に対応している。これにより、ユーザはシーンが設定されている時間帯を容易に識別することができる。
【００５３】
また、監視カメラ２は、実際には常時撮影を継続するわけではなく、時間帯によっては画像記録サーバ１１に画像データが記録されないことになる。よって、主時間軸３０２ａ及び副時間軸３０２ｂにおいて対象となる画像が存在しない時間帯は、さらに異なる色で表示してもよい。
【００５４】
そして、主時間軸３０２ａ又は副時間軸３０２ｂ上のシーンが設定されている時間帯をマウスで選択操作すると、主画像表示部３０１には、選択されたシーンに対応する画像が拡大表示される。
【００５５】
なお、主時間軸３０２ａと副時間軸３０２ｂのそれぞれの時間範囲は上述の例に限られず、適宜に設定してもよい。例えば、主時間軸３０２ａに対し２４時間より更に長い時間範囲、例えば、表示可能な画像の全ての撮影時刻を含む時間範囲を設定してもよい。また、主時間軸３０２ａに対し、主画像表示部３０１に表示される画像の撮影時刻を中心とする所定の時間範囲を設定してもよい。
【００５６】
サムネイル表示部３０３は、時間軸表示部３０２の下部に配置され、本発明の副画像表示部としての役割を担う。図１０に示すように、サムネイル表示部３０３には、副時間軸３０２ｂの中央位置の画像を略中心とし、その前後の所定個数（図１０の場合は６個）のサムネイル（副画像）が時系列の順で表示される。 これらのサムネイルは、前述したように各々のシーンの代表画像として対応付けられたものであり、各シーンに含まれる画像のうち最も変化が大きい画像となっている。これにより、ユーザは画像の変化に着目して、所定のシーンに対応するサムネイルを容易に選択することができる。そして、ユーザがサムネイル表示部３０３における所定のサムネイルをマウスで選択操作すると、主画像表示部３０１には選択されたサムネイルに対応する画像が拡大表示される。
【００５７】
カメラ選択部３０４には、現在選択されている監視カメラ２の設置箇所が表示されるとともに、右側のプルダウンメニューにより表示対象として特定の監視カメラ２を適宜に選択入力することができる。ユーザが現在選択されている監視カメラ２を切り替えたい場合、マウスを操作してプルダウンメニューを押下すると、表示可能な全ての監視カメラ２の設置箇所が表示されるので、その中から所望の監視カメラ２を選択すればよい。
【００５８】
カレンダ表示部３０５には、画像の撮影日を指定するための１ヶ月分のカレンダが表示される。ユーザは、カレンダ表示部３０５の中から所定日をマウスで選択操作すると、カメラ選択部３０４に示される監視カメラ２の画像のうち、選択されている所定日に撮影された画像が表示対象として設定される。また、カレンダ表示部３０５の上部の「前月」又は「次月」を押下することにより、所望の年月に移行させることができる。
【００５９】
領域指定部３０６は、図１１に示すように、図３（ａ）と同様の形状で１６個の領域に分割された画像に対し、検索対象とすべき領域を指定するための表示である。領域指定部３０６には、その背景に主画像表示部３０１に表示される画像（又は過去の所定日時の画像）に対応するサムネイルが表示され、ユーザがマウスで所定の領域を選択操作することにより、その領域を検索対象として指定することができる。選択された監視カメラ２による撮影範囲のうち、例えば、出入口等が存在する一部の領域に着目して画像を検索したい際など、領域指定部３０６により領域を指定することが望ましい。
【００６０】
なお、領域指定部３０６において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。また、領域指定部３０６で一旦指定された領域は、その状態で再度選択操作することにより、指定を解除することができる。
【００６１】
このように領域指定部３０６により領域が指定されると、その結果が検索指示部２０４によって検索条件テーブルに反映される。例えば、図５に示すように、領域番号９、１２を検索対象として指定するには、領域指定部３０６において該当する２つの領域を順次選択操作すればよい。さらに、上述の領域指定部３０６における指定の結果は、検索実行部２０５によって検索テーブルに反映されるため、表示画面における主画像表示部３０１及び時間軸表示部３０２やサムネイル表示部３０３の表示対象が変更されることになる。
【００６２】
一瞬の変化排除設定部３０７は、上述したような画像群テーブルに含まれる各シーンのうち、シーン長１のシーンを排除するときに入力設定するための表示である。ユーザが、一瞬の変化排除設定部３０７の左側にあるチェックボックスをマウスでチェックすると、図７（ｂ）に示すような画像群テーブルに対応するシーンが設定されることになる。
【００６３】
時刻表示部３０８には、主画像表示部３０１に表示されている画像が撮影された年月日及び日時が表示される。また、時刻表示部３０８においては、表示されている年月日及び日時についての各入力項目に対し、プルダウンメニューにより設定値を選択入力することができる。
【００６４】
再生操作部３０９は、前述のように設定された各シーンを主画像表示部３０１に順次表示させて動画像として再生する際、ユーザに所望の操作をさせるための表示である。再生操作部３０９の上部には、その時点のシーンを基準にして、１つ先行するシーンに移行するボタンと、１つ後続のシーンに移行するためのボタンが配置されている。再生操作部３０９の中央には、各シーンの再生時にビデオ再生機と同様の再生機能を実現させるための停止ボタン、再生ボタン、倍速再生ボタンが配置されている。また、再生操作部３０９の下部には、ボタン操作に代わってダイヤル操作を用いて同様の再生機能を実現させるためのダイヤル操作部が配置されている。
【００６５】
本実施形態では、監視カメラ２は比較的緩やかな速度、例えば、１秒に１コマ程度で撮影を行う。この場合、再生ボタンの押下時には、同様に１秒に１コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。これに対し、倍速再生ボタンの押下時は、１秒に２コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。
【００６６】
以上説明したように、本実施形態の監視システムにおいて、画像の検索処理及び表示処理を行うことにより、ユーザは画像表示端末１２の表示画面を参照しながら多様な操作を行うことができる。特に、表示画面には主画像表示部３０１と、時間軸表示部３０２と、サムネイル表示部３０３が一体的に表示されているため、多数の画像が存在する場合であっても時系列の対応関係を的確に把握して、容易に所望の画像を検索することができる。また、領域指定部３０６により変化の有無を判別すべき領域を限定できるので、画像の選択性を一層高めることができる。
【００６７】
なお、上記の監視システムの構成は、適用対象に応じて適宜に変更することができる。例えば、図１に示す監視システムの構成においては、画像記録サーバ１１と画像表示端末１２を別体で構成した場合を示したが、これらを一体に構成してもよい。この場合、画像記録サーバ１１と画像表示端末１２の機能を併せ持つ装置（図２及び図４の各構成要素を備える装置）を管理センタ１に設置して、監視システムを構成すればよい。
【００６８】
以上の実施形態では、本発明を監視システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像表示システムに対し広く本発明を適用することができる。この場合、本実施形態では複数の監視カメラ２から画像データを伝送する構成を示したが、監視カメラ２以外の各種機器、例えば、ＶＴＲ等から画像データを出力する構成であってもよい。
【００６９】
【発明の効果】
以上説明したように本発明によれば、多数の画像の中から選択された所望の画像を表示する場合、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面をユーザが参照し、簡易な操作により画像表示システムにおける画像の選択性と視認性を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態の監視システムの全体構成を示すブロック図である。
【図２】画像記録サーバの構成を示すブロック図である。
【図３】本実施形態において、画像の分割の概念と各領域毎の変化の有無の判別に関し、図３（ａ）は、画像全体を１６個の方形の領域に分割する例であり、図３（ｂ）は、画像の各々の領域についての変化の有無の判別結果を含む変化テーブルの一例である。
【図４】画像表示端末の構成を示すブロック図である。
【図５】画像表示端末の検索指示部で生成される検索条件テーブルの一例を示す図である。
【図６】画像表示端末のテーブル管理部で管理される検索テーブルの一例を示す図である。
【図７】画像表示端末の画像群判別部による判別結果に基づき生成される画像群テーブルの一例を示す図である。
【図８】画像表示端末の表示部に表示される表示画面の全体を説明する図である。
【図９】図８に示す表示画面のうち時間軸表示部の拡大図である。
【図１０】図８に示す表示画面のうちサムネイル表示部の拡大図である。
【図１１】図８に示す表示画面のうち領域指定部の拡大図である。
【符号の説明】
１…管理センタ
２…監視カメラ
３…インターネット
１１…画像記録サーバ
１２…画像表示端末
１３…ルータ
１４…画像表示端末
１０１…制御部
１０２…インターフェース
１０３…記憶部
１０４…画像処理部
１０５…変化テーブル生成部
２０１…制御部
２０２…インターフェース
２０３…操作部
２０４…検索指示部
２０５…テーブル管理部
２０６…検索実行部
２０７…画像群判別部
２０８…サムネイル生成部
２０９…表示制御部
２１０…表示部
３０１…主画像表示部
３０２…時間軸表示部
３０３…サムネイル表示部
３０４…カメラ選択部
３０５…カレンダ表示部
３０６…領域指定部
３０７…一瞬の変化排除設定部
３０８…時刻表示部
３０９…再生操作部
【発明の属する技術分野】
本発明は、複数の画像の中から所望の画像を選択し、表示画面に表示させる画像表示システムの技術分野に属し、さらには、監視カメラから伝送された画像データを記憶手段に順次記憶させ、記憶手段を検索して所望の画像を選択し、選択された画像を表示画面に表示させる構成を備えた監視システムの技術分野に属するものである。
【０００２】
【従来の技術】
従来から、大量の画像データを蓄積し、所定の画像を選択して表示させる画像表示システムが広く利用されている。このような画像表示システムでは、ユーザが多くの画像の中から表示させたい画像を速やかに検索し、所望の画像を表示画面に表示させるため、表示画面の適切な配置や良好な操作性が求められる。従来の画像表示システムにおいて、選択された画像を拡大表示することに加えて、画像の縮小イメージとしてのサムネイルを表示させる方法が知られている。これにより、表示画面上で複数のサムネイルを参照することにより、表示対象とすべき画像の検索が容易となる。
【０００３】
また、上述のように表示画面に表示されるサムネイルとともに、画像に関する時刻情報等の属性情報を表示させれば、画像の検索を効率的に行うことができる。この場合、画像の属性情報をグラフ化して表示し、画像の選択性を向上させる方法も提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−１３４５７８
【０００５】
【発明が解決しようとする課題】
しかし、上記従来の画像表示システムでは、複数のサムネイルを配置した表示画面をユーザが参照したとしても、その中からユーザが所望の画像を選択することは必ずしも容易ではなかった。特に、時系列に沿って多数の画像が存在し、その中から特徴的な画像を検索する場合には、それら全てをサムネイルで確認することは困難であり、所望の画像を探し出すことが難しい場合もあった。例えば、画像表示システムを監視システムに適用することを想定すると、監視カメラにより所定の時間間隔で撮影された多数の画像の中から、防犯上の観点から特定の画像を判別する際などは検索が容易ではなかった。
【０００６】
また、上記特許文献１に開示された方法のように属性情報をグラフ化した表示を用いる場合であっても、多数の画像のそれぞれの属性情報を把握することは困難であり、ユーザにとって使い勝手は良くなかった。
【０００７】
そこで、本発明はこのような問題に鑑みなされたものであり、多数の画像の中から選択された所望の画像を表示する場合、ユーザが表示画面を参照しつつ良好な操作性により、表示対象とすべき画像を容易に選択することが可能な画像表示システムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の画像表示システムは、複数の画像の中から選択された画像を表示する画像表示システムであって、前記画像を複数領域に分割した領域ごとに、それぞれ時間的な変化の有無を判別した結果と撮影時刻を当該画像とともに記憶する記憶部と、操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、前記領域指定部から領域指定がなされると、前記記憶部の画像から当該指定された領域にて基準画像との相違が所定の閾値を超えた場合に変化ありと判別された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が変化ありと判別された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより前記主画像表示部に指定された画像を表示させる表示制御部と、を具備したことを特徴とする。
【０００９】
この発明によれば、画像表示システムにおいて所望の画像を表示させる際、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面が構成される。ユーザは、時間軸表示部により複数の画像が対応する時系列を識別でき、副画像表示部により所定の代表画像を縮小表示（サムネイル）で識別できる。そして、時間軸表示部又は副画像表示部に対して所定の操作をしたとき、主画像表示部により選択された画像を参照可能となる。よって、表示対象として多数の画像が存在する場合であっても、表示画面を一見して所定の操作を行うことにより所望の画像を識別した上で容易に選択でき、画像表示システムにおける操作性と視認性を向上させることができる。
【００１０】
請求項２に記載の画像表示システムは、請求項１に記載の画像表示システムにおいて、前記表示部は、画像を縮小した代表画面を表示させる副画像表示部を更に有し、前記表示制御部は、前記領域指定部にて領域指定がされると、前記記憶部の画像から当該指定された領域にて変化有りと判別された画像を選択し、当該画像を縮小して前記副表示部に代表画像として表示させることを特徴とする。
【００１１】
この発明によれば、画像表示システムでは、各々の画像について基準画像と比較したときの変化の有無が判別され、検索指示を受けたときに変化の有無の判別結果を反映して表示画面上の表示対象が変更される。よって、変化の有無に着目して表示対象を変えることにより所望の画像の選択性を高めることができ、視認性を一層向上させることができる。
【００１２】
請求項３に記載の画像表示システムは、請求項１または２のいずれかに記載の画像表示システムにおいて、前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させることを特徴とする。
【００１３】
この発明によれば、画像処理手段の判別結果に基づき画像群が設定され、副画像表示部における代表画像としては、画像群の中で変化が最も大きい画像が設定される。よって、画像の変化の度合が特に大きい副画像を参照しつつ所望の画像を選択できるので、画像の変化に着目した場合の選択性を高めることができる。
【００１４】
この発明の画像表示システムにおいて、前記画像処理手段は、画像を複数の領域に分割し、各々の領域毎に前記変化の有無を判別し、前記表示画面には、前記変化の有無を判別する領域を所定の操作に従って指定するための領域指定部が配置されることを特徴とする。
【００１５】
この発明によれば、画像処理手段による変化の有無の判別は、複数の領域に分割された画像に対し各々の領域毎に行われ、ユーザは表示画面上の領域指定部により、判別すべき画像の領域を指定することができる。よって、画像の一部の領域に着目して所望の画像を選択することができ、画像に生じた変化をきめ細かく識別することができる。
【００１６】
この発明の画像表示システムにおいて、前記時間軸表示部は、各々の画像に設定される時刻情報に対応する所定の時間範囲を示す主時間軸と、前記主時間軸の時間範囲のうち一部の時間範囲を拡大して示す副時間軸とを表示することを特徴とする。
【００１７】
この発明によれば、表示画面上の時間軸表示部には主時間軸と副時間軸が表示され、所定の時間範囲が主時間軸で示される一方、その一部の時間範囲が副時間軸で示される。よって、多数の画像が広い時間範囲にわたって存在する場合、ユーザが主時間軸と副時間軸を使い分けることができ、画像と時系列の関係を良好な視認性で把握することができる。
【００１８】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図面に基づいて説明する。以下では、監視カメラにより監視対象の画像を撮影し、撮影された画像をインターネットを経由して伝送可能な監視システムに対し、本発明に係る画像表示システムを適用した場合を説明する。
【００１９】
図１は、本実施形態の監視システムの全体構成を示すブロック図である。図１に示す監視システムには、本監視システムを管理する管理センタ１と、監視対象の施設に設置されている複数の監視カメラ２を含み、インターネット３を介して各監視カメラ２から画像データが管理センタ1に伝送されるようなシステム構成を有している。この管理センタ１には、画像記録サーバ１１と、画像表示端末１２が設けられ、それぞれＬＡＮを経由してルータ１３に接続され、インターネット３を介した情報の送受信を行うことができるように構成されている。また、画像表示端末１２と同様の機能を持つ画像表示端末１４を、管理センタ１の外部にてインターネット３に直接接続して用いることができる。
【００２０】
複数の監視カメラ２は、店舗等の各種施設内における所定の撮影範囲を撮影し得る箇所にそれぞれ設置されており、所定のタイミングで各々の撮影範囲を撮影し、対応する画像データを出力する。これらの監視カメラ２は、いわゆるＷｅｂカメラであり、インターネット３にアクセスし、管理センタ１に向けて画像データを伝送する機能を備えている。なお、監視カメラ２により伝送される画像データには、撮影を行った監視カメラ２自体や各々の画像データを識別するための識別情報や、画像が撮影された日時を示す日時情報などの画像関連情報を含むヘッダ情報が付加されており、管理センタ１の側で適宜にヘッダ情報を参照可能となっている。
【００２１】
管理センタ１では、監視カメラ２からインターネット３を介して受信された画像データがルータ１３とＬＡＮを介して画像記録サーバ１１に伝送される。画像記録サーバ１１は、伝送された画像データを所定の画像関連情報とともに順次記録する。画像表示端末１２は、所定の操作によりＬＡＮを介して画像記録サーバ１１に記録されている画像データを検索し、所望の画像を表示する。
【００２２】
図２は、画像記録サーバ１１の構成を示すブロック図である。図２に示すように、画像記録サーバ１１は、制御部１０１と、インターフェース１０２と、記憶部１０３と、画像処理部１０４と、変化テーブル生成部１０５を含んで構成されている。
【００２３】
以上の構成において、制御部１０１はＣＰＵ等から構成され、画像記録サーバ１１全体の動作を制御する。インターフェース１０２は、監視カメラ２から伝送される画像データを制御部１０１に入力する。そして、制御部１０１では、インターフェース１０２を介して入力された画像データを、監視カメラ２の番号や撮影日時といった画像関連情報と関連付けて記憶部１０３に記憶させるように制御を行う。
【００２４】
画像処理部１０４は、制御部１０１の指示の下、インターフェース１０２を介して入力された画像データ、又は、記憶部１０３から読み出された画像データを対象とする画像処理を行い、画像を複数の領域に分割して各々の領域毎に変化の有無を判別する。この画像処理部１０４は、他の構成要素と相俟って本発明の画像処理手段として機能する。
【００２５】
具体的には、図３（ａ）に示すように、画像全体を１６個の方形の領域に分割し、監視カメラ２の撮影範囲に移動物体が存在しない状態における基準画像と処理対象の画像を、各々の領域毎に比較することにより変化の有無を判別することができる。変化の有無の判別方法としては、例えば、各々の領域において、基準画像と比較したときに異なる画素数を求め、所定の閾値を超えた場合には変化有りと判別し、所定の閾値以下である場合には変化無しと判別すればよい。図３（ａ）の例では、基準画像には存在しない移動物体が重なっている領域９、１０、１３、１４、１５において、変化有りと判別されることになる。
【００２６】
なお、本実施形態では、画像全体を１６個の領域に分割する場合を説明するが、実際には画像全体を更に多数の領域に分割し、同様の判別方法を適用することも可能である。
【００２７】
変化テーブル生成部１０５は、画像処理部１０４による判別結果に基づいて、処理対象となる全ての画像に関し、各々の領域に対して判別された変化の有無を一体的に示す変化テーブルを生成する。図３（ｂ）は、変化テーブル生成部１０５にて生成される変化テーブルの一例を示す図である。図３（ｂ）に示す変化テーブルには、画像データを識別するための画像番号と、この画像番号によって示される画像を構成する各々の領域について変化の有無の判別結果と、少なくとも１以上の領域についての変化の有無と、画像中の変化有りと判別された領域数と、画像の撮影日時とを含んでいる。
【００２８】
図３（ｂ）に示される画像番号は、複数の監視カメラ２を識別するためのカメラ番号と、特定の監視カメラ２により撮影された画像に対し撮影順に従って付与される番号とからなる。例えば、画像番号１−２は、第１の監視カメラ２より撮影された２番目の画像であることを表している。また、画像の各領域に対しては、図３（ａ）に示すように、１〜１６の領域番号を付与して区別している。そして、図３（ｂ）では、各領域の領域番号とともに変化の有無の判別結果を「有」又は「無」として示している。なお、図３（ｂ）の例では、図３（ａ）の画像に対応する変化テーブルを示しているので、領域番号９、１０、１３、１４、１５の各領域が変化有りと判別され、それ以外の領域が変化無しと判別されている。
【００２９】
図３（ｂ）の右上部には、１以上の領域に変化があるか否か、すなわち、画像の全領域のいずれかに変化があるか否かを「変化の有無」として示している。また、その下部には、画像中の変化有りと判別された領域数を「変化領域数」として示している。図３（ｂ）の例では、上述したように５つの領域が変化ありと判別されているので、「変化の有無」は「有」となり、「変化領域数」は５となっている。さらに、画像番号１−２の画像について、撮影されたと年月日と時刻を「撮影日時」として示している。
【００３０】
このように生成された変化テーブルは、制御部１０１を介して記憶部１０３にて順次保存され、画像データと関連付けて管理される。そして、後述の画像検索に際し、必要に応じて所望の変化テーブルが記憶部１０３から読み出されて参照されることになる。
【００３１】
次に図４は、画像表示端末１２の構成を示すブロック図である。なお、図１のインターネット３に直接接続された画像表示端末１４についても同様の構成となっている。図４に示すように、画像表示端末１２は、制御部２０１と、インターフェース２０２と、操作部２０３と、検索指示部２０４と、テーブル管理部２０５と、検索実行部２０６と、画像群判別部２０７と、サムネイル生成部２０８と、表示制御部２０９と、表示部２１０とを含んで構成されている。
【００３２】
以上の構成において、制御部２０１はＣＰＵ等から構成され、画像表示端末１２全体の動作を制御し、所定のプログラムに基づいて画像記録サーバ１１で保持されている画像データ及び変化テーブルを対象として、画像検索処理及び画像表示処理を実行する。なお、上述の検索指示部２０４、テーブル管理部２０５、検索実行部２０６、画像群判別部２０７、サムネイル生成部２０８は、いずれも制御部２０１により上記所定のプログラムに基づいて実行制御される機能要素に対応する。
【００３３】
インターフェース２０２は、画像検索端末１２の起動時や所定の入力操作時など所定のタイミングで、監視カメラ２から伝送される画像データや変化テーブルを制御部２０１に入力する。
【００３４】
操作部２０３は、画像表示端末１２のユーザが所定の動作を実行しようとする際、各種情報や設定条件を入力する手段であり、マウスやキーボードからなる。
【００３５】
検索指示部２０４は、操作部２０３の入力操作に基づき、画像の検索条件を指示するための検索条件テーブルを生成する。図５は、検索指示部２０４で生成される検索条件テーブルの一例を示す図である。図５に示す検索条件テーブルは、図３（ａ）に付した領域番号毎に、検索対象の領域として指定するか否かが設定されている。検索条件テーブルに基づく画像検索を行う場合、検索領域指定が［有］に設定されている領域については、検索時に変化の有無の判別結果が参照されるのに対し、検索領域指定が「無」に設定されている領域については、検索時に変化の有無の判別結果が参照されることはない。
【００３６】
テーブル管理部２０５は、画像検索の際に必要な各種テーブルを管理保存する。テーブル管理部２０５では、検索対象の画像に対応する全ての変化テーブルを画像記録サーバ１１から順次受信し、この変化テーブルに基づいて後述の検索テーブルを生成する。変化テーブルの受信は、画像表示端末１２の起動時、及び、操作部２０３により監視カメラ２の選択や撮影日時などが切り替えられる度に行われる。また、検索テーブルと照合するために必要な上述の検索条件テーブルが取得され、テーブル管理部２０５で管理される。
【００３７】
検索実行部２０６は、テーブル管理部２０５で管理される検索条件テーブル及び検索テーブルを用いて検索を実行する。すなわち、検索実行部２０６は、検索条件テーブルに基づき検索条件を判断し、検索テーブルを参照して各々の画像に検索条件に合致する変化の有無が存在するか否かを判別する。そして、検索対象の全ての画像についての検索結果を検索テーブルに記録して、テーブル管理部２０５の検索テーブルを更新する。
【００３８】
ここで、図６は、テーブル管理部２０５で管理される検索テーブルの一例を示す図である。図６に示す検索テーブルは、図３（ｂ）に示す変化テーブルが集合して構成されるとともに、検索実行部２０６による検索結果が付加されている。図６の例では、検索テーブルの先頭に画像番号１を付与し、時系列に沿って順番に画像番号を付与している。また、図５の検索条件テーブルでは、領域９と領域１２が指定されているので、この検索条件に従って図６に示す検索テーブルのうち領域９及び領域１２が変化の有無の判別対象となる。
【００３９】
この場合、複数の領域についての検索条件は、ＡＮＤ条件とＯＲ条件のいずれにしてもよく、不図示の切り換え手段により切り換え可能であるが、図６では、ＯＲ条件とする例を示している。すなわち、検索テーブルにおける領域９と領域１２のうち、少なくとも一方が「有」である画像は検索結果として「変化あり」が書き込まれ、それ以外の画像は検索結果として「変化なし」が書き込まれる。
【００４０】
また、上述の検索テーブル生成時、検索実行部２０６は全ての領域に対しＯＲ条件にて検索を実行する。すなわち、少なくとも１つ以上の領域に変化のある画像を検索して検索テーブルに検索結果を書き込む。このとき、テーブル管理部２０５が順次受信する変化テーブルを参照することで、変化テーブルから「変化の有無」及び「変化領域数」を得て、検索処理を迅速に行うことができる。
【００４１】
画像群判別部２０７は、検索実行部２０６の検索の際、検索結果が「変化あり」とされた時間的に連続する画像を判別し、それぞれ画像群として設定する。図７は、画像群判別部２０７による判別結果に基づき生成される画像群テーブルの一例を示す図である。図７（ａ）に示す画像群テーブルにおいては、図６の検索テーブルのうち、変化有りとなっている上述の画像群を、「シーン」として定義する。そして、それぞれのシーンに対し表示番号を付与し、検索テーブルに基づいて開始画像番号と終了画像番号を記録する。また、各シーンに含まれる画像数をシーン長として記録するとともに、後述のように各シーンに対し定められる代表画像の画像番号を記録する。
【００４２】
例えば、図７（ａ）において、画像番号２、３の２つの画像は、シーン長２のシーンを構成する。同様に、画像番号６の１つの画像は、シーン長１のシーンを構成し、画像番号８〜１０の画像群は、シーン長３のシーンを構成する。なお、これらの各シーンは、所定の操作により表示画面上で動画像として表示させることができるが、詳しくは後述する。
【００４３】
一方、図７（ｂ）は、図７（ａ）に示す画像群テーブルの中からシーン長が１であるものを排除した状態の画像群テーブルである。本実施形態では、シーンを再生する際のノイズとなる必要性の低い画像を除去するため、後述の表示画面上の「一瞬の変化排除設定部」が設定操作されたとき、シーン長が所定長以下のシーンを排除するようにしている。図７（ｂ）の例では、シーン長１のシーンを排除しているが、実際には所定のシーン長以下のシーンを排除するようにしてもよい。
【００４４】
サムネイル生成部２０８は、表示対象の画像の縮小イメージであるサムネイルを生成する。本実施形態では、画像群判別部２０７により設定されたシーンに対し、代表画像としてサムネイルを対応付けて検索時に利用する。すなわち、１つのシーンに複数の画像が含まれる場合、そのシーンを代表する画像についてのサムネイルを生成し、それをシーンの代表画像として表示画面上に表示することにより、検索処理の利便性を高めるものである。
【００４５】
ここで、各々のシーンに対する代表画像の決定方法としては、例えば、図６の検索テーブルにおける特定のシーン中で、変化領域数が最も多い画像を選択すればよい。このとき、各画像の変化領域数が同じものが複数選択される場合は、そのうち撮影時刻が先行する画像を選択すればよい。なお、一瞬の変化を排除しない場合において、単一の画像からなるシーン長１のシーンについては、その画像が自動的に代表画像として決定されることになる。
【００４６】
次に、表示制御部２０９は、制御部２０１にて生成された表示画面を表示するための制御を行い、表示部２１０に所定のタイミングで所定の表示データを送出し表示画面を表示させる。そして、表示部２１０に表示される表示画面には、後述するように、ユーザが見るための画像やユーザが所定の操作や設定を行うための各種表示対象が所定のレイアウトで配置されている。なお、表示部２１０としては、例えばＣＲＴディスプレイ、液晶ディスプレイ等を用いることができる。
【００４７】
以下、図８〜図１１を参照しながら、表示部２１０に表示される表示画面と、この表示画面を参照するユーザが画像検索を行う際の操作について具体的に説明する。図8は、表示部２１ 0に表示される表示画面の全体を説明する図である。図8に示すように、本実施形態における表示画面は、主画像表示部３０１と、時間軸表示部３０２と、サムネイル表示部３０３と、カメラ選択部３０４と、カレンダ表示部３０５と、領域指定部３０６と、一瞬の変化排除設定部３０７と、時刻表示部３０８と、再生操作部３０９が配置された構成となっている。
【００４８】
なお、図９〜図１１には、図８に示す表示画面のうち所定部分を詳細に説明するための拡大図を示している。それぞれ、図９は時間軸表示部３０２であり、図１０はサムネイル表示部３０３であり、図１１は領域指定部３０６である。
【００４９】
図８に示すように、表示画面上の中央付近に配置されている主画像表示部３０１には、後述の入力操作に従って表示対象として選択されている特定の画像（主画像）が表示される。すなわち、複数の監視カメラ２の中から選択された監視カメラ２によって所定の時刻に撮影された所定の撮影範囲の画像が表示されるので、その画像をユーザが視認して後続の操作を判断することができる。
【００５０】
時間軸表示部３０２には、主画像表示部３０１の下部に配置され、図９に示すように、表示対象の画像と撮影日時の関係を表す２種の時間軸が表示される。主時間軸３０２ａは、所定の日付における０時から２４時までの時間範囲を画像の状態と関連付けて示している。副時間軸３０２ｂは、主時間軸３０２ａの２４時間の範囲における任意の時間範囲を拡大して示している。副時間軸３０２ｂに対する時間範囲の設定は、所定の操作により１０分〜２時間の範囲で切り替えることができる。図９の例では、副時間軸３０２ｂの時間範囲が1時間に設定されている場合を示している。
【００５１】
通常、副時間軸３０２ｂにおいては、主時間軸３０２ａの時間範囲のうち主画像表示部３０１に表示されている画像の撮影時刻を中心とした時間範囲に設定される。一方、主時間軸３０２ａ上部のスライダ３０２ｃを左右に移動操作することにより、主時間軸３０２ａに対する副時間軸３０２ｂの時間的な位置関係を調整することができる。
【００５２】
なお、主時間軸３０２ａ及び副時間軸３０２ｂにおいては、検索処理の結果得られた画像の状態を識別させるため、画像の状態に対応させて特定の時間帯を異なる色で表示させることができる。図９の例では、主時間軸３０２ａ及び副時間軸３０２ｂの時間帯Ａ、Ｂ、Ｃは、それぞれ、変化有りと判別された画像群、すなわち、図７の画像群テーブルでシーンとして設定された部分に対応している。これにより、ユーザはシーンが設定されている時間帯を容易に識別することができる。
【００５３】
また、監視カメラ２は、実際には常時撮影を継続するわけではなく、時間帯によっては画像記録サーバ１１に画像データが記録されないことになる。よって、主時間軸３０２ａ及び副時間軸３０２ｂにおいて対象となる画像が存在しない時間帯は、さらに異なる色で表示してもよい。
【００５４】
そして、主時間軸３０２ａ又は副時間軸３０２ｂ上のシーンが設定されている時間帯をマウスで選択操作すると、主画像表示部３０１には、選択されたシーンに対応する画像が拡大表示される。
【００５５】
なお、主時間軸３０２ａと副時間軸３０２ｂのそれぞれの時間範囲は上述の例に限られず、適宜に設定してもよい。例えば、主時間軸３０２ａに対し２４時間より更に長い時間範囲、例えば、表示可能な画像の全ての撮影時刻を含む時間範囲を設定してもよい。また、主時間軸３０２ａに対し、主画像表示部３０１に表示される画像の撮影時刻を中心とする所定の時間範囲を設定してもよい。
【００５６】
サムネイル表示部３０３は、時間軸表示部３０２の下部に配置され、本発明の副画像表示部としての役割を担う。図１０に示すように、サムネイル表示部３０３には、副時間軸３０２ｂの中央位置の画像を略中心とし、その前後の所定個数（図１０の場合は６個）のサムネイル（副画像）が時系列の順で表示される。 これらのサムネイルは、前述したように各々のシーンの代表画像として対応付けられたものであり、各シーンに含まれる画像のうち最も変化が大きい画像となっている。これにより、ユーザは画像の変化に着目して、所定のシーンに対応するサムネイルを容易に選択することができる。そして、ユーザがサムネイル表示部３０３における所定のサムネイルをマウスで選択操作すると、主画像表示部３０１には選択されたサムネイルに対応する画像が拡大表示される。
【００５７】
カメラ選択部３０４には、現在選択されている監視カメラ２の設置箇所が表示されるとともに、右側のプルダウンメニューにより表示対象として特定の監視カメラ２を適宜に選択入力することができる。ユーザが現在選択されている監視カメラ２を切り替えたい場合、マウスを操作してプルダウンメニューを押下すると、表示可能な全ての監視カメラ２の設置箇所が表示されるので、その中から所望の監視カメラ２を選択すればよい。
【００５８】
カレンダ表示部３０５には、画像の撮影日を指定するための１ヶ月分のカレンダが表示される。ユーザは、カレンダ表示部３０５の中から所定日をマウスで選択操作すると、カメラ選択部３０４に示される監視カメラ２の画像のうち、選択されている所定日に撮影された画像が表示対象として設定される。また、カレンダ表示部３０５の上部の「前月」又は「次月」を押下することにより、所望の年月に移行させることができる。
【００５９】
領域指定部３０６は、図１１に示すように、図３（ａ）と同様の形状で１６個の領域に分割された画像に対し、検索対象とすべき領域を指定するための表示である。領域指定部３０６には、その背景に主画像表示部３０１に表示される画像（又は過去の所定日時の画像）に対応するサムネイルが表示され、ユーザがマウスで所定の領域を選択操作することにより、その領域を検索対象として指定することができる。選択された監視カメラ２による撮影範囲のうち、例えば、出入口等が存在する一部の領域に着目して画像を検索したい際など、領域指定部３０６により領域を指定することが望ましい。
【００６０】
なお、領域指定部３０６において指定された領域を異なる色で表示させることにより、ユーザは各領域の指定の有無を視覚的に判断できる。また、領域指定部３０６で一旦指定された領域は、その状態で再度選択操作することにより、指定を解除することができる。
【００６１】
このように領域指定部３０６により領域が指定されると、その結果が検索指示部２０４によって検索条件テーブルに反映される。例えば、図５に示すように、領域番号９、１２を検索対象として指定するには、領域指定部３０６において該当する２つの領域を順次選択操作すればよい。さらに、上述の領域指定部３０６における指定の結果は、検索実行部２０５によって検索テーブルに反映されるため、表示画面における主画像表示部３０１及び時間軸表示部３０２やサムネイル表示部３０３の表示対象が変更されることになる。
【００６２】
一瞬の変化排除設定部３０７は、上述したような画像群テーブルに含まれる各シーンのうち、シーン長１のシーンを排除するときに入力設定するための表示である。ユーザが、一瞬の変化排除設定部３０７の左側にあるチェックボックスをマウスでチェックすると、図７（ｂ）に示すような画像群テーブルに対応するシーンが設定されることになる。
【００６３】
時刻表示部３０８には、主画像表示部３０１に表示されている画像が撮影された年月日及び日時が表示される。また、時刻表示部３０８においては、表示されている年月日及び日時についての各入力項目に対し、プルダウンメニューにより設定値を選択入力することができる。
【００６４】
再生操作部３０９は、前述のように設定された各シーンを主画像表示部３０１に順次表示させて動画像として再生する際、ユーザに所望の操作をさせるための表示である。再生操作部３０９の上部には、その時点のシーンを基準にして、１つ先行するシーンに移行するボタンと、１つ後続のシーンに移行するためのボタンが配置されている。再生操作部３０９の中央には、各シーンの再生時にビデオ再生機と同様の再生機能を実現させるための停止ボタン、再生ボタン、倍速再生ボタンが配置されている。また、再生操作部３０９の下部には、ボタン操作に代わってダイヤル操作を用いて同様の再生機能を実現させるためのダイヤル操作部が配置されている。
【００６５】
本実施形態では、監視カメラ２は比較的緩やかな速度、例えば、１秒に１コマ程度で撮影を行う。この場合、再生ボタンの押下時には、同様に１秒に１コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。これに対し、倍速再生ボタンの押下時は、１秒に２コマの表示タイミングで主画像表示部３０１の表示画像が切り替わることになる。
【００６６】
以上説明したように、本実施形態の監視システムにおいて、画像の検索処理及び表示処理を行うことにより、ユーザは画像表示端末１２の表示画面を参照しながら多様な操作を行うことができる。特に、表示画面には主画像表示部３０１と、時間軸表示部３０２と、サムネイル表示部３０３が一体的に表示されているため、多数の画像が存在する場合であっても時系列の対応関係を的確に把握して、容易に所望の画像を検索することができる。また、領域指定部３０６により変化の有無を判別すべき領域を限定できるので、画像の選択性を一層高めることができる。
【００６７】
なお、上記の監視システムの構成は、適用対象に応じて適宜に変更することができる。例えば、図１に示す監視システムの構成においては、画像記録サーバ１１と画像表示端末１２を別体で構成した場合を示したが、これらを一体に構成してもよい。この場合、画像記録サーバ１１と画像表示端末１２の機能を併せ持つ装置（図２及び図４の各構成要素を備える装置）を管理センタ１に設置して、監視システムを構成すればよい。
【００６８】
以上の実施形態では、本発明を監視システムに適用する場合について説明したが、これに限られることなく、様々な用途を持つ画像表示システムに対し広く本発明を適用することができる。この場合、本実施形態では複数の監視カメラ２から画像データを伝送する構成を示したが、監視カメラ２以外の各種機器、例えば、ＶＴＲ等から画像データを出力する構成であってもよい。
【００６９】
【発明の効果】
以上説明したように本発明によれば、多数の画像の中から選択された所望の画像を表示する場合、時間軸表示部と副画像表示部と主画像表示部が配置された表示画面をユーザが参照し、簡易な操作により画像表示システムにおける画像の選択性と視認性を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態の監視システムの全体構成を示すブロック図である。
【図２】画像記録サーバの構成を示すブロック図である。
【図３】本実施形態において、画像の分割の概念と各領域毎の変化の有無の判別に関し、図３（ａ）は、画像全体を１６個の方形の領域に分割する例であり、図３（ｂ）は、画像の各々の領域についての変化の有無の判別結果を含む変化テーブルの一例である。
【図４】画像表示端末の構成を示すブロック図である。
【図５】画像表示端末の検索指示部で生成される検索条件テーブルの一例を示す図である。
【図６】画像表示端末のテーブル管理部で管理される検索テーブルの一例を示す図である。
【図７】画像表示端末の画像群判別部による判別結果に基づき生成される画像群テーブルの一例を示す図である。
【図８】画像表示端末の表示部に表示される表示画面の全体を説明する図である。
【図９】図８に示す表示画面のうち時間軸表示部の拡大図である。
【図１０】図８に示す表示画面のうちサムネイル表示部の拡大図である。
【図１１】図８に示す表示画面のうち領域指定部の拡大図である。
【符号の説明】
１…管理センタ
２…監視カメラ
３…インターネット
１１…画像記録サーバ
１２…画像表示端末
１３…ルータ
１４…画像表示端末
１０１…制御部
１０２…インターフェース
１０３…記憶部
１０４…画像処理部
１０５…変化テーブル生成部
２０１…制御部
２０２…インターフェース
２０３…操作部
２０４…検索指示部
２０５…テーブル管理部
２０６…検索実行部
２０７…画像群判別部
２０８…サムネイル生成部
２０９…表示制御部
２１０…表示部
３０１…主画像表示部
３０２…時間軸表示部
３０３…サムネイル表示部
３０４…カメラ選択部
３０５…カレンダ表示部
３０６…領域指定部
３０７…一瞬の変化排除設定部
３０８…時刻表示部
３０９…再生操作部
Claims (3)
- 複数の画像の中から選択された画像を表示する画像表示システムであって、
前記画像を複数領域に分割した領域ごとに、それぞれ時間的な変化の有無を判別した結果と撮影時刻を当該画像とともに記憶する記憶部と、
操作者が前記複数領域から着目したい領域を任意に指定するための領域指定部、主画像を表示するための主画像表示部、
前記記憶部の画像の撮影時刻全体を示す時間軸を表示するための時間軸表示部を少なくとも同一画面に表示する表示部と、
前記領域指定部から領域指定がなされると、前記記憶部の画像から当該指定された領域にて基準画像との相違が所定の閾値を超えた場合に変化ありと判別された画像が存在する時間帯を前記時間軸表示部の時間軸へ識別可能に表示させるとともに、操作者が変化ありと判別された画像が存在する時間帯に対応する前記時間軸の一部を指定することにより前記主画像表示部に指定された画像を表示させる表示制御部と、
を具備したことを特徴とする画像表示システム。 - 前記表示部は、画像を縮小した代表画面を表示させる副画像表示部を更に有し、
前記表示制御部は、前記領域指定部にて領域指定がされると、前記記憶部の画像から当該指定された領域にて変化有りと判別された画像を選択し、当該画像を縮小して前記副表示部に代表画像として表示させる請求項１に記載の画像表示システム。 - 前記表示制御部は、前記領域指定部における領域指定の有無を視覚的に判断可能に前記領域指定部に表示させる請求項１または２のいずれかに記載の画像表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025087A JP4175622B2 (ja) | 2003-01-31 | 2003-01-31 | 画像表示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003025087A JP4175622B2 (ja) | 2003-01-31 | 2003-01-31 | 画像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004234561A JP2004234561A (ja) | 2004-08-19 |
| JP4175622B2 true JP4175622B2 (ja) | 2008-11-05 |
Family
ID=32953449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003025087A Expired - Fee Related JP4175622B2 (ja) | 2003-01-31 | 2003-01-31 | 画像表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4175622B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100442823C (zh) * | 2004-10-13 | 2008-12-10 | 奥林巴斯株式会社 | 照相机及其显示方法 |
| KR101906947B1 (ko) * | 2012-11-29 | 2018-10-11 | 한화테크윈 주식회사 | 다채널 멀티 재생 시스템 및 방법 |
| CN103902575B (zh) * | 2012-12-27 | 2018-02-27 | 腾讯科技（深圳）有限公司 | 一种图片信息加载方法及相关装置 |
| JP6171374B2 (ja) * | 2013-02-06 | 2017-08-02 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及び情報処理システム |
| JP6137102B2 (ja) * | 2014-06-30 | 2017-05-31 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
| JP7258580B2 (ja) * | 2019-01-30 | 2023-04-17 | シャープ株式会社 | 監視装置及び監視方法 |
-
2003
- 2003-01-31 JP JP2003025087A patent/JP4175622B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004234561A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7774704B2 (en) | Image processing apparatus | |
| JP4727117B2 (ja) | 知的特徴選択およびパンズーム制御 | |
| US6256419B1 (en) | Method and apparatus for detecting a point of change in a moving image | |
| EP3185539B1 (en) | Information processing apparatus, imaging apparatus, image display control method and computer program | |
| US8009961B2 (en) | Electronic apparatus, playback management method, display control apparatus, and display control method | |
| KR100883066B1 (ko) | 텍스트를 이용한 피사체 이동 경로 표시장치 및 방법 | |
| US20080240672A1 (en) | Image reproduction apparatus | |
| RU2691057C1 (ru) | Устройство помощи в слежении, система помощи в слежении и способ помощи в слежении | |
| KR20050061352A (ko) | 화상표시방법 및 화상표시장치 | |
| JPH1175150A (ja) | 動画像編集方法及び動画像編集装置並びに動画像編集動作を実行するためのプログラムを記録した記録媒体 | |
| JP5701017B2 (ja) | 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体 | |
| JP5506324B2 (ja) | 類似画像検索システム、および、類似画像検索方法 | |
| JP2000350156A (ja) | 動画像情報の記憶方法及びこれを記録した記録媒体 | |
| JP2003324678A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP4185376B2 (ja) | 画像処理システム | |
| JP4175622B2 (ja) | 画像表示システム | |
| JP2002152721A (ja) | 録画再生装置の映像表示方法および装置 | |
| JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
| JP2004266623A (ja) | 監視カメラ管理システム | |
| JP6576704B2 (ja) | 動画再生装置及び動画再生方法 | |
| JP6847168B2 (ja) | 動画再生装置及び動画再生方法 | |
| JP2006311430A (ja) | 画像表示装置及び画像表示システム | |
| JPH10224735A (ja) | 画像処理装置 | |
| JP4209379B2 (ja) | 録画装置、その閲覧装置、並びに、そのプログラムおよび記録媒体 | |
| JP4513491B2 (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080617 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080813 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4175622 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |