JP3962607B2 - 画像処理装置及び方法及びプログラム及び記憶媒体 - Google Patents
画像処理装置及び方法及びプログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP3962607B2 JP3962607B2 JP2002054656A JP2002054656A JP3962607B2 JP 3962607 B2 JP3962607 B2 JP 3962607B2 JP 2002054656 A JP2002054656 A JP 2002054656A JP 2002054656 A JP2002054656 A JP 2002054656A JP 3962607 B2 JP3962607 B2 JP 3962607B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- image
- images
- image processing
- weighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像の類似性を判定する技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルカメラやデジタルビデオなどのように、画像を電子的データとして扱う機器が普及してきている。
【０００３】
また、WebViewに代表されるように、動画像を遠隔地からコントロールしたり、自動制御したりする雲台付きカメラも使われている。
【０００４】
これらにともない、今まで一般に扱われていた日付、時間、シャッタースピード、露出情報や、制御可能なカメラの場合はパン角度、チルト角度、画角などの情報を画像に属性として付帯させるだけにとどまらず、様々な制御情報や、画像を補足する情報（例えば気温、天気）などを画像の属性として付帯する場合も出てきている。
【０００５】
また、このようなカメラを用いた監視システムも利用されており、撮影した画像を蓄積して利用するようにもなっている。
【０００６】
ただし、一般には撮影した画像は、特に監視システムにおいて膨大な数に登り、撮影日時などからの検索が利用されているが、必ずしも検索された画像がユーザが求めるべき画像とは限らなかった。
【０００７】
一方で、特開２０００−２３５６３７号公報、特開２０００−２３５６３８号公報に開示されているように、画像データそのものの類似度をもとに画像の検索を行なうような場合も出てきた。
【０００８】
画像の類似度を利用すると、例えば求める画像に似た画像を捜し出したり、あるいは、変化した点を求めてテレビ番組のシーンチェンジを検出する、と言ったことが可能である。
【０００９】
【発明が解決しようとする課題】
しかしながら、画像データそのものの類似度を用いた検索は、必ずしもユーザが求めるべき画像と一致するとは限らない。
【００１０】
なぜなら、画像データそのものの類似度を求めるアルゴリズムだけでは、撮影の全ての状況を把握した上での類似度を求めることが難しいためである。
【００１１】
また監視のために画像データが蓄積される場合は、その検索対象が膨大な数となり、必要とされる対象画像を絞り込むことが重要になってきている。
【００１２】
さらに、特に可動式のカメラによる撮影では、その制御によって異なる画像が撮像されることから、撮影対象が違う場合であっても、色が似ていたり形が似ていたりと、たまたま類似する画像が撮影される場合がある。
【００１３】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影された多数の画像の中から所望の画像を容易に検索できるようにすることである。
【００１４】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、予め設定された複数の撮影方向に自動制御されるカメラにより撮影された複数の画像を処理する画像処理装置において、指定された画像と前記複数の画像の類似度を判定する類似度判定手段と、前記指定された画像の撮影方向と前記複数の画像の撮影方向とを比較する撮影方向比較手段と、前記撮影方向比較手段による比較の結果として前記撮影方向が同じではない場合に、前記類似度判定手段による類似度の値を低くする重み付けをする重み付け手段とを具備することを特徴としている。
【００１７】
また、この発明に係わる画像処理装置において、前記撮像方向は、前記カメラのパン及びチルトにより決まる方向であることを特徴としている。
【００１８】
また、この発明に係わる画像処理装置において、前記重み付け手段は、前記複数の画像の撮影時において前記撮影方向が移動中であった場合、前記類似度判定手段による類似度の値を低くする重み付けをすることを特徴としている。
【００１９】
また、この発明に係わる画像処理装置において、前記重み付け手段は、前記複数の画像の撮影時においてオートフォーカスの焦点が合致していなかった場合、前記類似度判定手段による類似度の値を低くする重み付けをすることを特徴としている。
【００２０】
また、本発明に係わる画像処理方法は、予め設定された複数の撮影方向に自動制御されるカメラにより撮影された複数の画像を処理する画像処理方法において、類似度判定手段が、指定された画像と前記複数の画像の類似度を判定する類似度判定工程と、撮影方向比較手段が、前記指定された画像の撮影方向と前記複数の画像の撮影方向とを比較する撮影方向比較工程と、重み付け手段が、前記撮影方向比較工程における比較結果として前記撮影方向が同じではない場合に、前記類似度判定工程における類似度の値を低くする重み付けをする重み付け工程とを具備することを特徴としている。
【００２３】
また、この発明に係わる画像処理方法において、前記撮像方向は、前記カメラのパン及びチルトにより決まる方向であることを特徴としている。
【００２４】
また、この発明に係わる画像処理方法において、前記重み付け工程は、前記複数の画像の撮影時において前記撮影方向が移動中であった場合、前記類似度判定工程における類似度の値を低くする重み付けをすることを特徴としている。
【００２５】
また、この発明に係わる画像処理方法において、前記重み付け工程は、前記複数の画像の撮影時においてオートフォーカスの焦点が合致していなかった場合、前記類似度判定工程における類似度の値を低くする重み付けをすることを特徴としている。
【００２６】
また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴としている。
【００２７】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴としている。
【００２８】
【発明の実施の形態】
以下、本発明の好適な実施形態について、添付図面を参照して説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像処理装置のシステム構成図である。
【００３０】
図１において、画像処理装置１００は、システムを立ち上げるのに必要なプログラムやデータが記憶されるメモリ１０１、演算や処理の制御を行なうところの中央処理装置（ＣＰＵ）１０２、文字、記号、画等情報を表示するディスプレイ表示装置１０３、データや情報を保存する、補助記憶装置（ＨＤＤ）１０４、文字等を入力するキーボード装置１０５、表示された文字や画像等をカーソルあるいはマウスなどで指示するポインティングデバイス１０６等がバス１０９を介して接続されて構成されている。
【００３１】
なお、メモリ１０１には、画像表示プログラム１１０、類似度判定プログラム１２０が、格納されている。また、ＨＤＤ１０４には、画像データ１５0〜１５nが、格納される。
【００３２】
次に、本実施形態の画像処理装置の動作について説明する。
【００３３】
まず、画像表示プログラム１１０の画像表示動作を示すフローチャートを図２に示す。ステップＳ２０１において、ＨＤＤ１０４から画像データ１５0〜１５nを読み込む。画像データは例えば従来のjpeg画像データやExif規格データなどで、データのヘッダ部分には画像の属性値が含まれている。ここで、属性値には例えば撮像日時、露出、シャッタースピード、パン角度、チルト角度、画角が含まれているとする。
【００３４】
ステップＳ２０２において、図３に示すように、例えば撮影日時順にソートされて画像データ名がディスプレイ表示装置１０３に表示される。なお、画像データ名の代わりとして、もしくはこれらの表示に加えて、画像自体を表示しても良い。
【００３５】
ステップＳ２０３においてイベントを待つ。
【００３６】
イベントが入力されると、ステップＳ２０４に進み、図３の属性項目３０１が表示される。例えば画面上でシャッタースピードなどの属性項目が不図示のマウスによってクリック（選択）するイベントである場合、シャッタースピードの項目の値でソートされて再表示（ステップＳ２０５）される。
【００３７】
ステップＳ２０６において、ステップＳ２０３のイベントが、図３の画像データ名３０２を不図示のマウスによってクリック（選択）するイベントである場合、画像が指定される（ステップＳ２０７）。
【００３８】
ステップＳ２０８において、例えば図３のタブ３０３をクリックすると、メニュー３０４が表示され、そこに表示される類似度判定タブ３０４がさらに選択されると、ステップＳ２０９に進み、画像が指定されているか確認の上、ステップＳ２１０で指定された画像とその他の全ての画像（比較画像群）との類似度を判定する類似度判定プログラム１２０が実行される。
【００３９】
ステップＳ２１１において、例えばメニュー３０３の終了３０５が選択されると、画像表示プログラムは終了する。
【００４０】
以下、類似度判定プログラム１２０の動作の例を図４に示す。
【００４１】
ステップＳ４０１で、ステップＳ２０７で指定された指定画像と、その他の全ての画像（比較画像群）との画像間類似度計算が行われる。
【００４２】
画像間類似度計算は、特開２０００−２３５６３７号公報、２０００−２３５６３８号公報でフレーム間類似度計算として開示されているような、公知の画像データ間の類似性距離計算を行なう。とくにこの計算アルゴリズムは限定されない。最も簡単な例を、以下に挙げる。
【００４３】
指定画像と比較画像に対して、夫々の画像を図５に示すように縦横に複数のブロックに分割し、それぞれのブロックに関してＲ（赤）、Ｇ（緑）、Ｂ（青）の平均値を算出しておく。この指定画像と比較画像の対応するブロック同士のＲ、Ｇ、Ｂ各チャンネルの差の二乗和を求めこれを類似の度合いを表す画像間類似性距離とする。これが小さいほど類似しており、大きいほど類似していないことになる。この場合は、簡単に言うと「色のレイアウトが似ているかどうか」を示すことになる。
【００４４】
その計算式の一例を以下に示す。
【００４５】
【数１】
但し、
i：処理中のブロック番号
K：分割ブロック数
Ｐ1iR：指定画像のｉ番目のブロックのＲチャンネルの平均値
Ｐ1iG：指定画像のｉ番目のブロックのＧチャンネルの平均値
Ｐ1iB：指定画像のｉ番目のブロックのＢチャンネルの平均値
Ｐ2iR：比較画像のｉ番目のブロックのＲチャンネルの平均値
Ｐ2iG：比較画像のｉ番目のブロックのＧチャンネルの平均値
Ｐ2iB：比較画像のｉ番目のブロックのＢチャンネルの平均値
である。
【００４６】
この画像間類似度計算結果に基づき、度合いを表す類似度（または距離）の情報をＤとする。Ｒ、Ｇ、Ｂ各値が例えば０〜２５５であれば、情報Ｄは０〜２５５2×３×ｋ（１９５０７５ｋ）の間に分布する。
【００４７】
正規化した比較画像の類似度Ｓは例えば以下のように０〜１００に定められる。
【００４８】
Ｓ＝（１９５０７５ｋ−Ｄ）／１９５０７５ｋ×１００ …（式２）
この場合、指定画像のＳが１００以内で、値が大きいほど類似していることになる。
【００４９】
この画像間類似度計算結果に基づき、類似度Ｓを記憶する。この処理を比較対象の画像として行い、指定画像と全ての比較対象の画像との類似度を求める。
【００５０】
すべての比較対象画像との類似度の算出が終了すると、ステップＳ４０２に進み、図６に示すような類似度一覧表６０１で類似度の演算結果を表示する。
【００５１】
なお、類似度一覧表６０１は類似度順に（降順に）ソートして表示される。
【００５２】
すべての類似度を計算し、表示した後に類似度判定プログラム１２０は終了する。なお、挙げた計算式（１）は一例にしか過ぎず、これに限る物ではない。
【００５３】
次に本実施の形態の特徴とするステップＳ４０１の類似度計算の処理を説明する。本実施の形態では、処理対象の画像が撮像方向およびズーム倍率を制御可能なカメラから得られる画像であり、属性情報としてパン角度、チルト角度、ズーム倍率を有することを想定している。指定画像の属性が、パン角度Ｐx、チルト角度Ｔx、画角Ｚx とした場合で、比較画像の属性が、パン角度Ｐy、チルト角度Ｔy、画角Ｚy とした場合、ＰＴＺ（パン、チルト、ズーム）が一致しない画像の類似度Ｓの重みを小さくする処理を行っている。たとえばＰＴＺが一致した場合は式（２）において演算される類似度Ｓをそのまま用い、いずれかが一致しない場合はその半分の値 Ｓ／２ を用いて類似度Ｓ'とするする重み付け演算を行なう。
【００５４】
このような類似度の演算は、撮像方向を自動的に予め設定された方向に自動的に旋回させるカメラにおいて一定間隔で撮影された画像などの類似度を見る場合において、効果がある。なぜなら、このようなカメラの自動制御では撮像方向が複数の方向に設定され、シーケンシャルにカメラをそれらの撮像方向に旋回させている。そのため単純に画像間類似度計算の結果のみで比較するよりも、カメラのパン，チルト，ズームの特性を考慮に入れた方がより一層類似度の判定が正確になる。
【００５５】
重み付け演算の変形例として、ある０〜１の係数Ａを用いて、ＰＴＺが一致する場合フラグptz=０、そうでなければptz=１として、
Ｓ"＝Ｓ−（Ｓ×Ａ×ptz） …（式３）
というように、ptzを利用して重み付けを変えた類似度Ｓ"を用いても良い。
【００５６】
更なる変形例として、画像の属性情報としてカメラの撮像方向が移動しているときに撮影された画像であるか否かの属性情報を付加した場合を説明する。
【００５７】
カメラの撮像方向が移動移動しているときに撮影される画像は像ブレを起こす可能性がある。そのため、画像間類似度計算で類似度が大きいと算出されても、実際は類似度が高いと（人間に）認識されない場合が多々ある。本実施の形態では、このような不具合を考慮し、たとえば移動中は「移動中」属性フラグＦ値を１とし、移動中でなければ属性フラグＦ値を０とする。、たとえば５０というような、ある係数Ｂ（０＜Ｂ＜１００）を用いて、
Ｓ"'＝Ｓ−Ｂ×Ｆ …（式４）
というように、さらに移動中フラグによって信頼性の高い情報か否かの重み付けを変えた類似度Ｓ"'を演算することによりさらに精度が向上することになる。
【００５８】
なお、「移動中」属性フラグの代わりとして、例えばオートフォーカスの焦点が合致したか否かをフラグにすることで、ピンぼけかどうかの信頼性を重み付け演算として考慮してもよい。
【００５９】
以上説明したように、従来の画像間類似度計算だけでは、撮像の状況を反映した人間の感性に一致するような類似度が必ずしも計算できていなかったが、上記の本実施形態のように画像の属性を用いることで確度の高い類似度を算出することができる。このような本実施形態の構成により、特に、監視のために膨大な画像データが蓄積される場合に、類似する対象画像を、絞り込むことができる。
【００６０】
さらに、カメラの自動制御中の撮影などで、ＰＴＺ値が様々に変化し、それによって異なる画像が撮像されることから、ＰＴＺの属性を類似度に適用することで、撮像対象が同じ可能性の高い画像の類似度を大きくし、類似度の確度を上げることができる。また、カメラに特有の「移動中」属性フラグを画像に付加することにより、より確度の高い類似度を求めることができる。
【００６１】
（第２の実施形態）
本実施形態では、画像を指定する際に必ず注目する矩形まで指定させる手順を踏むことで、類似度の確度を上げる形態である。本実施形態のシステム構成は、図１の類似度判定プログラム１２０が類似度判定プログラムに変更された構成であるためその説明は省略する。
【００６２】
本実施形態の動作について説明する。
【００６３】
次に、類似度判定プログラム１２１の動作処理フローチャートを図７に示す。
【００６４】
ステップＳ７０１において、画像間類似度計算で用いる画像範囲を指定するための矩形枠を重畳した指定画像を表示する（図８）。この矩形枠はユーザの指定によって移動可能である。なお、画像範囲が指定されるまで、比較開始ボタン８０１はグレーアウトなどしてDisable状態にされている。
【００６５】
ステップＳ７０３において、比較開始ボタン８０１がクリック（選択）されると、ユーザが指定した画像と、その他の全ての画像（比較画像群）との画像間類似度計算が行われる（ステップＳ７０４）。第１の実施の形態とは、（式１）においてｉがステップＳ７０２で指定された画像範囲のみに適用される点が類似度判定プログラム１２０のステップＳ４０１の動作と異なる。
【００６６】
そして、ステップＳ７０５において、図６と同様に類似度の演算結果を表示する。そして、すべての類似度を計算し、表示した後に類似度判定プログラム１２１は終了する。
【００６７】
以上のように、ステップＳ７０２で必ず着目するブロックを指定させることで、不必要な部分からの類似度算出への影響を省き、より確度の高い類似度判定を行なうことができる。なお、ステップＳ７０４において、第１の実施の形態と同様に、ＰＴＺの属性およびカメラ「移動中」の属性を用いて類似度の重み付けを行ってもよい。
【００６８】
【他の実施形態】
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、以下のような効果が得られる。
（１）類似度の判定においてより確度の高い判定を行なうことができる。
（２）特に、膨大な画像から絞り込みを行なう場合に、より確度の高い類似度判定を行なうことができる。
（３）特に制御可能な可動式のカメラによるような画像データの場合、その属性値を用いることでより確度の高い類似度判定を行なうことができる。
（４）特に属性値としてパン角度、チルト角度、画角を用いることでより確度の高い類似度判定を行なうことができる。
（５）着目すべき画像の一部分を必ず指定させることで、より確度の高い類似度判定を行なうことができる。
【図面の簡単な説明】
【図１】第１の実施形態の画像処理装置の構成図である。
【図２】第１の実施形態の画像表示プログラムの流れを説明するフローチャートである。
【図３】第１の実施形態の画像表示例を示す図である。
【図４】第１の実施形態の類似度判定プログラムの流れを説明するフローチャートである。
【図５】第１の実施形態の画像間類似度計算の、画像を縦横に複数にブロック分割する例を示す図である。
【図６】第１の実施形態の類似度の表示例を示す図である。
【図７】第２の実施形態の類似度判定プログラムの流れを説明するフローチャートである。
【図８】第２の実施形態のブロック指定の例を示す図である。
【符号の説明】
１０１ メモリ
１０２ 中央処理装置
１０３ ディスプレイ表示装置
１０４ 補助記憶装置（ＨＤＤ）
１０５ キーボード装置
１０６ ポインティングデバイス
１０９ バス
１１０ 画像表示プログラム
１２０ 類似度判定プログラム
１５0〜１５n 画像データ
【発明の属する技術分野】
本発明は、複数の画像の類似性を判定する技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルカメラやデジタルビデオなどのように、画像を電子的データとして扱う機器が普及してきている。
【０００３】
また、WebViewに代表されるように、動画像を遠隔地からコントロールしたり、自動制御したりする雲台付きカメラも使われている。
【０００４】
これらにともない、今まで一般に扱われていた日付、時間、シャッタースピード、露出情報や、制御可能なカメラの場合はパン角度、チルト角度、画角などの情報を画像に属性として付帯させるだけにとどまらず、様々な制御情報や、画像を補足する情報（例えば気温、天気）などを画像の属性として付帯する場合も出てきている。
【０００５】
また、このようなカメラを用いた監視システムも利用されており、撮影した画像を蓄積して利用するようにもなっている。
【０００６】
ただし、一般には撮影した画像は、特に監視システムにおいて膨大な数に登り、撮影日時などからの検索が利用されているが、必ずしも検索された画像がユーザが求めるべき画像とは限らなかった。
【０００７】
一方で、特開２０００−２３５６３７号公報、特開２０００−２３５６３８号公報に開示されているように、画像データそのものの類似度をもとに画像の検索を行なうような場合も出てきた。
【０００８】
画像の類似度を利用すると、例えば求める画像に似た画像を捜し出したり、あるいは、変化した点を求めてテレビ番組のシーンチェンジを検出する、と言ったことが可能である。
【０００９】
【発明が解決しようとする課題】
しかしながら、画像データそのものの類似度を用いた検索は、必ずしもユーザが求めるべき画像と一致するとは限らない。
【００１０】
なぜなら、画像データそのものの類似度を求めるアルゴリズムだけでは、撮影の全ての状況を把握した上での類似度を求めることが難しいためである。
【００１１】
また監視のために画像データが蓄積される場合は、その検索対象が膨大な数となり、必要とされる対象画像を絞り込むことが重要になってきている。
【００１２】
さらに、特に可動式のカメラによる撮影では、その制御によって異なる画像が撮像されることから、撮影対象が違う場合であっても、色が似ていたり形が似ていたりと、たまたま類似する画像が撮影される場合がある。
【００１３】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影された多数の画像の中から所望の画像を容易に検索できるようにすることである。
【００１４】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、予め設定された複数の撮影方向に自動制御されるカメラにより撮影された複数の画像を処理する画像処理装置において、指定された画像と前記複数の画像の類似度を判定する類似度判定手段と、前記指定された画像の撮影方向と前記複数の画像の撮影方向とを比較する撮影方向比較手段と、前記撮影方向比較手段による比較の結果として前記撮影方向が同じではない場合に、前記類似度判定手段による類似度の値を低くする重み付けをする重み付け手段とを具備することを特徴としている。
【００１７】
また、この発明に係わる画像処理装置において、前記撮像方向は、前記カメラのパン及びチルトにより決まる方向であることを特徴としている。
【００１８】
また、この発明に係わる画像処理装置において、前記重み付け手段は、前記複数の画像の撮影時において前記撮影方向が移動中であった場合、前記類似度判定手段による類似度の値を低くする重み付けをすることを特徴としている。
【００１９】
また、この発明に係わる画像処理装置において、前記重み付け手段は、前記複数の画像の撮影時においてオートフォーカスの焦点が合致していなかった場合、前記類似度判定手段による類似度の値を低くする重み付けをすることを特徴としている。
【００２０】
また、本発明に係わる画像処理方法は、予め設定された複数の撮影方向に自動制御されるカメラにより撮影された複数の画像を処理する画像処理方法において、類似度判定手段が、指定された画像と前記複数の画像の類似度を判定する類似度判定工程と、撮影方向比較手段が、前記指定された画像の撮影方向と前記複数の画像の撮影方向とを比較する撮影方向比較工程と、重み付け手段が、前記撮影方向比較工程における比較結果として前記撮影方向が同じではない場合に、前記類似度判定工程における類似度の値を低くする重み付けをする重み付け工程とを具備することを特徴としている。
【００２３】
また、この発明に係わる画像処理方法において、前記撮像方向は、前記カメラのパン及びチルトにより決まる方向であることを特徴としている。
【００２４】
また、この発明に係わる画像処理方法において、前記重み付け工程は、前記複数の画像の撮影時において前記撮影方向が移動中であった場合、前記類似度判定工程における類似度の値を低くする重み付けをすることを特徴としている。
【００２５】
また、この発明に係わる画像処理方法において、前記重み付け工程は、前記複数の画像の撮影時においてオートフォーカスの焦点が合致していなかった場合、前記類似度判定工程における類似度の値を低くする重み付けをすることを特徴としている。
【００２６】
また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴としている。
【００２７】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴としている。
【００２８】
【発明の実施の形態】
以下、本発明の好適な実施形態について、添付図面を参照して説明する。
【００２９】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる画像処理装置のシステム構成図である。
【００３０】
図１において、画像処理装置１００は、システムを立ち上げるのに必要なプログラムやデータが記憶されるメモリ１０１、演算や処理の制御を行なうところの中央処理装置（ＣＰＵ）１０２、文字、記号、画等情報を表示するディスプレイ表示装置１０３、データや情報を保存する、補助記憶装置（ＨＤＤ）１０４、文字等を入力するキーボード装置１０５、表示された文字や画像等をカーソルあるいはマウスなどで指示するポインティングデバイス１０６等がバス１０９を介して接続されて構成されている。
【００３１】
なお、メモリ１０１には、画像表示プログラム１１０、類似度判定プログラム１２０が、格納されている。また、ＨＤＤ１０４には、画像データ１５0〜１５nが、格納される。
【００３２】
次に、本実施形態の画像処理装置の動作について説明する。
【００３３】
まず、画像表示プログラム１１０の画像表示動作を示すフローチャートを図２に示す。ステップＳ２０１において、ＨＤＤ１０４から画像データ１５0〜１５nを読み込む。画像データは例えば従来のjpeg画像データやExif規格データなどで、データのヘッダ部分には画像の属性値が含まれている。ここで、属性値には例えば撮像日時、露出、シャッタースピード、パン角度、チルト角度、画角が含まれているとする。
【００３４】
ステップＳ２０２において、図３に示すように、例えば撮影日時順にソートされて画像データ名がディスプレイ表示装置１０３に表示される。なお、画像データ名の代わりとして、もしくはこれらの表示に加えて、画像自体を表示しても良い。
【００３５】
ステップＳ２０３においてイベントを待つ。
【００３６】
イベントが入力されると、ステップＳ２０４に進み、図３の属性項目３０１が表示される。例えば画面上でシャッタースピードなどの属性項目が不図示のマウスによってクリック（選択）するイベントである場合、シャッタースピードの項目の値でソートされて再表示（ステップＳ２０５）される。
【００３７】
ステップＳ２０６において、ステップＳ２０３のイベントが、図３の画像データ名３０２を不図示のマウスによってクリック（選択）するイベントである場合、画像が指定される（ステップＳ２０７）。
【００３８】
ステップＳ２０８において、例えば図３のタブ３０３をクリックすると、メニュー３０４が表示され、そこに表示される類似度判定タブ３０４がさらに選択されると、ステップＳ２０９に進み、画像が指定されているか確認の上、ステップＳ２１０で指定された画像とその他の全ての画像（比較画像群）との類似度を判定する類似度判定プログラム１２０が実行される。
【００３９】
ステップＳ２１１において、例えばメニュー３０３の終了３０５が選択されると、画像表示プログラムは終了する。
【００４０】
以下、類似度判定プログラム１２０の動作の例を図４に示す。
【００４１】
ステップＳ４０１で、ステップＳ２０７で指定された指定画像と、その他の全ての画像（比較画像群）との画像間類似度計算が行われる。
【００４２】
画像間類似度計算は、特開２０００−２３５６３７号公報、２０００−２３５６３８号公報でフレーム間類似度計算として開示されているような、公知の画像データ間の類似性距離計算を行なう。とくにこの計算アルゴリズムは限定されない。最も簡単な例を、以下に挙げる。
【００４３】
指定画像と比較画像に対して、夫々の画像を図５に示すように縦横に複数のブロックに分割し、それぞれのブロックに関してＲ（赤）、Ｇ（緑）、Ｂ（青）の平均値を算出しておく。この指定画像と比較画像の対応するブロック同士のＲ、Ｇ、Ｂ各チャンネルの差の二乗和を求めこれを類似の度合いを表す画像間類似性距離とする。これが小さいほど類似しており、大きいほど類似していないことになる。この場合は、簡単に言うと「色のレイアウトが似ているかどうか」を示すことになる。
【００４４】
その計算式の一例を以下に示す。
【００４５】
【数１】
i：処理中のブロック番号
K：分割ブロック数
Ｐ1iR：指定画像のｉ番目のブロックのＲチャンネルの平均値
Ｐ1iG：指定画像のｉ番目のブロックのＧチャンネルの平均値
Ｐ1iB：指定画像のｉ番目のブロックのＢチャンネルの平均値
Ｐ2iR：比較画像のｉ番目のブロックのＲチャンネルの平均値
Ｐ2iG：比較画像のｉ番目のブロックのＧチャンネルの平均値
Ｐ2iB：比較画像のｉ番目のブロックのＢチャンネルの平均値
である。
【００４６】
この画像間類似度計算結果に基づき、度合いを表す類似度（または距離）の情報をＤとする。Ｒ、Ｇ、Ｂ各値が例えば０〜２５５であれば、情報Ｄは０〜２５５2×３×ｋ（１９５０７５ｋ）の間に分布する。
【００４７】
正規化した比較画像の類似度Ｓは例えば以下のように０〜１００に定められる。
【００４８】
Ｓ＝（１９５０７５ｋ−Ｄ）／１９５０７５ｋ×１００ …（式２）
この場合、指定画像のＳが１００以内で、値が大きいほど類似していることになる。
【００４９】
この画像間類似度計算結果に基づき、類似度Ｓを記憶する。この処理を比較対象の画像として行い、指定画像と全ての比較対象の画像との類似度を求める。
【００５０】
すべての比較対象画像との類似度の算出が終了すると、ステップＳ４０２に進み、図６に示すような類似度一覧表６０１で類似度の演算結果を表示する。
【００５１】
なお、類似度一覧表６０１は類似度順に（降順に）ソートして表示される。
【００５２】
すべての類似度を計算し、表示した後に類似度判定プログラム１２０は終了する。なお、挙げた計算式（１）は一例にしか過ぎず、これに限る物ではない。
【００５３】
次に本実施の形態の特徴とするステップＳ４０１の類似度計算の処理を説明する。本実施の形態では、処理対象の画像が撮像方向およびズーム倍率を制御可能なカメラから得られる画像であり、属性情報としてパン角度、チルト角度、ズーム倍率を有することを想定している。指定画像の属性が、パン角度Ｐx、チルト角度Ｔx、画角Ｚx とした場合で、比較画像の属性が、パン角度Ｐy、チルト角度Ｔy、画角Ｚy とした場合、ＰＴＺ（パン、チルト、ズーム）が一致しない画像の類似度Ｓの重みを小さくする処理を行っている。たとえばＰＴＺが一致した場合は式（２）において演算される類似度Ｓをそのまま用い、いずれかが一致しない場合はその半分の値 Ｓ／２ を用いて類似度Ｓ'とするする重み付け演算を行なう。
【００５４】
このような類似度の演算は、撮像方向を自動的に予め設定された方向に自動的に旋回させるカメラにおいて一定間隔で撮影された画像などの類似度を見る場合において、効果がある。なぜなら、このようなカメラの自動制御では撮像方向が複数の方向に設定され、シーケンシャルにカメラをそれらの撮像方向に旋回させている。そのため単純に画像間類似度計算の結果のみで比較するよりも、カメラのパン，チルト，ズームの特性を考慮に入れた方がより一層類似度の判定が正確になる。
【００５５】
重み付け演算の変形例として、ある０〜１の係数Ａを用いて、ＰＴＺが一致する場合フラグptz=０、そうでなければptz=１として、
Ｓ"＝Ｓ−（Ｓ×Ａ×ptz） …（式３）
というように、ptzを利用して重み付けを変えた類似度Ｓ"を用いても良い。
【００５６】
更なる変形例として、画像の属性情報としてカメラの撮像方向が移動しているときに撮影された画像であるか否かの属性情報を付加した場合を説明する。
【００５７】
カメラの撮像方向が移動移動しているときに撮影される画像は像ブレを起こす可能性がある。そのため、画像間類似度計算で類似度が大きいと算出されても、実際は類似度が高いと（人間に）認識されない場合が多々ある。本実施の形態では、このような不具合を考慮し、たとえば移動中は「移動中」属性フラグＦ値を１とし、移動中でなければ属性フラグＦ値を０とする。、たとえば５０というような、ある係数Ｂ（０＜Ｂ＜１００）を用いて、
Ｓ"'＝Ｓ−Ｂ×Ｆ …（式４）
というように、さらに移動中フラグによって信頼性の高い情報か否かの重み付けを変えた類似度Ｓ"'を演算することによりさらに精度が向上することになる。
【００５８】
なお、「移動中」属性フラグの代わりとして、例えばオートフォーカスの焦点が合致したか否かをフラグにすることで、ピンぼけかどうかの信頼性を重み付け演算として考慮してもよい。
【００５９】
以上説明したように、従来の画像間類似度計算だけでは、撮像の状況を反映した人間の感性に一致するような類似度が必ずしも計算できていなかったが、上記の本実施形態のように画像の属性を用いることで確度の高い類似度を算出することができる。このような本実施形態の構成により、特に、監視のために膨大な画像データが蓄積される場合に、類似する対象画像を、絞り込むことができる。
【００６０】
さらに、カメラの自動制御中の撮影などで、ＰＴＺ値が様々に変化し、それによって異なる画像が撮像されることから、ＰＴＺの属性を類似度に適用することで、撮像対象が同じ可能性の高い画像の類似度を大きくし、類似度の確度を上げることができる。また、カメラに特有の「移動中」属性フラグを画像に付加することにより、より確度の高い類似度を求めることができる。
【００６１】
（第２の実施形態）
本実施形態では、画像を指定する際に必ず注目する矩形まで指定させる手順を踏むことで、類似度の確度を上げる形態である。本実施形態のシステム構成は、図１の類似度判定プログラム１２０が類似度判定プログラムに変更された構成であるためその説明は省略する。
【００６２】
本実施形態の動作について説明する。
【００６３】
次に、類似度判定プログラム１２１の動作処理フローチャートを図７に示す。
【００６４】
ステップＳ７０１において、画像間類似度計算で用いる画像範囲を指定するための矩形枠を重畳した指定画像を表示する（図８）。この矩形枠はユーザの指定によって移動可能である。なお、画像範囲が指定されるまで、比較開始ボタン８０１はグレーアウトなどしてDisable状態にされている。
【００６５】
ステップＳ７０３において、比較開始ボタン８０１がクリック（選択）されると、ユーザが指定した画像と、その他の全ての画像（比較画像群）との画像間類似度計算が行われる（ステップＳ７０４）。第１の実施の形態とは、（式１）においてｉがステップＳ７０２で指定された画像範囲のみに適用される点が類似度判定プログラム１２０のステップＳ４０１の動作と異なる。
【００６６】
そして、ステップＳ７０５において、図６と同様に類似度の演算結果を表示する。そして、すべての類似度を計算し、表示した後に類似度判定プログラム１２１は終了する。
【００６７】
以上のように、ステップＳ７０２で必ず着目するブロックを指定させることで、不必要な部分からの類似度算出への影響を省き、より確度の高い類似度判定を行なうことができる。なお、ステップＳ７０４において、第１の実施の形態と同様に、ＰＴＺの属性およびカメラ「移動中」の属性を用いて類似度の重み付けを行ってもよい。
【００６８】
【他の実施形態】
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（OS）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【００７１】
【発明の効果】
以上説明したように、本発明によれば、以下のような効果が得られる。
（１）類似度の判定においてより確度の高い判定を行なうことができる。
（２）特に、膨大な画像から絞り込みを行なう場合に、より確度の高い類似度判定を行なうことができる。
（３）特に制御可能な可動式のカメラによるような画像データの場合、その属性値を用いることでより確度の高い類似度判定を行なうことができる。
（４）特に属性値としてパン角度、チルト角度、画角を用いることでより確度の高い類似度判定を行なうことができる。
（５）着目すべき画像の一部分を必ず指定させることで、より確度の高い類似度判定を行なうことができる。
【図面の簡単な説明】
【図１】第１の実施形態の画像処理装置の構成図である。
【図２】第１の実施形態の画像表示プログラムの流れを説明するフローチャートである。
【図３】第１の実施形態の画像表示例を示す図である。
【図４】第１の実施形態の類似度判定プログラムの流れを説明するフローチャートである。
【図５】第１の実施形態の画像間類似度計算の、画像を縦横に複数にブロック分割する例を示す図である。
【図６】第１の実施形態の類似度の表示例を示す図である。
【図７】第２の実施形態の類似度判定プログラムの流れを説明するフローチャートである。
【図８】第２の実施形態のブロック指定の例を示す図である。
【符号の説明】
１０１ メモリ
１０２ 中央処理装置
１０３ ディスプレイ表示装置
１０４ 補助記憶装置（ＨＤＤ）
１０５ キーボード装置
１０６ ポインティングデバイス
１０９ バス
１１０ 画像表示プログラム
１２０ 類似度判定プログラム
１５0〜１５n 画像データ
Claims (10)
- 予め設定された複数の撮影方向に自動制御されるカメラにより撮影された複数の画像を処理する画像処理装置において、
指定された画像と前記複数の画像の類似度を判定する類似度判定手段と、
前記指定された画像の撮影方向と前記複数の画像の撮影方向とを比較する撮影方向比較手段と、
前記撮影方向比較手段による比較の結果として前記撮影方向が同じではない場合に、前記類似度判定手段による類似度の値を低くする重み付けをする重み付け手段とを具備することを特徴とする画像処理装置。 - 前記撮像方向は、前記カメラのパン及びチルトにより決まる方向であることを特徴とする請求項１に記載の画像処理装置。
- 前記重み付け手段は、前記複数の画像の撮影時において前記撮影方向が移動中であった場合、前記類似度判定手段による類似度の値を低くする重み付けをすることを特徴とする請求項１又は２に記載の画像処理装置。
- 前記重み付け手段は、前記複数の画像の撮影時においてオートフォーカスの焦点が合致していなかった場合、前記類似度判定手段による類似度の値を低くする重み付けをすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
- 予め設定された複数の撮影方向に自動制御されるカメラにより撮影された複数の画像を処理する画像処理方法において、
類似度判定手段が、指定された画像と前記複数の画像の類似度を判定する類似度判定工程と、
撮影方向比較手段が、前記指定された画像の撮影方向と前記複数の画像の撮影方向とを比較する撮影方向比較工程と、
重み付け手段が、前記撮影方向比較工程における比較結果として前記撮影方向が同じではない場合に、前記類似度判定工程における類似度の値を低くする重み付けをする重み付け工程とを具備することを特徴とする画像処理方法。 - 前記撮像方向は、前記カメラのパン及びチルトにより決まる方向であることを特徴とする請求項５に記載の画像処理方法。
- 前記重み付け工程は、前記複数の画像の撮影時において前記撮影方向が移動中であった場合、前記類似度判定工程における類似度の値を低くする重み付けをすることを特徴とする請求項５又は６に記載の画像処理方法。
- 前記重み付け工程は、前記複数の画像の撮影時においてオートフォーカスの焦点が合致していなかった場合、前記類似度判定工程における類似度の値を低くする重み付けをすることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理方法。
- 請求項５乃至８のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002054656A JP3962607B2 (ja) | 2002-02-28 | 2002-02-28 | 画像処理装置及び方法及びプログラム及び記憶媒体 |
| US10/376,489 US7099394B2 (en) | 2002-02-28 | 2003-02-28 | Image processing method and apparatus, program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002054656A JP3962607B2 (ja) | 2002-02-28 | 2002-02-28 | 画像処理装置及び方法及びプログラム及び記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003256838A JP2003256838A (ja) | 2003-09-12 |
| JP2003256838A5 JP2003256838A5 (ja) | 2006-12-28 |
| JP3962607B2 true JP3962607B2 (ja) | 2007-08-22 |
Family
ID=27750977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002054656A Expired - Fee Related JP3962607B2 (ja) | 2002-02-28 | 2002-02-28 | 画像処理装置及び方法及びプログラム及び記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7099394B2 (ja) |
| JP (1) | JP3962607B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8139262B2 (en) | 2003-09-25 | 2012-03-20 | Dai Nippon Printing Co., Ltd. | Image output apparatus and image output method for printing out the photographed image which is captured by a digital camera |
| GB0323284D0 (en) * | 2003-10-04 | 2003-11-05 | Koninkl Philips Electronics Nv | Method and apparatus for processing image data |
| JP4692773B2 (ja) * | 2004-03-03 | 2011-06-01 | 日本電気株式会社 | 物体の姿勢推定及び照合システム、物体の姿勢推定及び照合方法、並びにそのためのプログラム |
| US8086620B2 (en) | 2007-09-12 | 2011-12-27 | Ebay Inc. | Inference of query relationships |
| JP2013038454A (ja) * | 2011-08-03 | 2013-02-21 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US11017240B2 (en) * | 2019-02-20 | 2021-05-25 | Vigilands Inc | System and method for image analysis based security system |
| US11367271B2 (en) * | 2020-06-19 | 2022-06-21 | Adobe Inc. | Similarity propagation for one-shot and few-shot image segmentation |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994029670A1 (fr) * | 1993-06-10 | 1994-12-22 | Kabushiki Kaisha Oh - Yoh Keisoku Kenkyusho | Appareil pour mesurer la position d'un objet en mouvement |
| US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
| JPH1051755A (ja) * | 1996-05-30 | 1998-02-20 | Fujitsu Ltd | テレビ会議端末の画面表示制御装置 |
| EP0878965A3 (en) * | 1997-05-14 | 2000-01-12 | Hitachi Denshi Kabushiki Kaisha | Method for tracking entering object and apparatus for tracking and monitoring entering object |
| JP4323601B2 (ja) | 1999-02-15 | 2009-09-02 | キヤノン株式会社 | 画像処理システム及び画像処理方法 |
| JP2000235637A (ja) | 1999-02-15 | 2000-08-29 | Canon Inc | 画像処理システム及び画像処理方法 |
| US6404925B1 (en) * | 1999-03-11 | 2002-06-11 | Fuji Xerox Co., Ltd. | Methods and apparatuses for segmenting an audio-visual recording using image similarity searching and audio speaker recognition |
-
2002
- 2002-02-28 JP JP2002054656A patent/JP3962607B2/ja not_active Expired - Fee Related
-
2003
- 2003-02-28 US US10/376,489 patent/US7099394B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030161535A1 (en) | 2003-08-28 |
| JP2003256838A (ja) | 2003-09-12 |
| US7099394B2 (en) | 2006-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10410677B2 (en) | Content management system, management content generating method, management content play back method, and recording medium | |
| JP5358083B2 (ja) | 人物画像検索装置及び画像検索装置 | |
| EP1737216B1 (en) | Object determination device, imaging device and monitor | |
| JP4735995B2 (ja) | 画像処理装置、画像表示方法および画像表示プログラム | |
| JP2007041964A (ja) | 画像処理装置 | |
| JP6544996B2 (ja) | 制御装置及び制御方法 | |
| JP3962607B2 (ja) | 画像処理装置及び方法及びプログラム及び記憶媒体 | |
| US10880478B2 (en) | Camera, system and method of selecting camera settings | |
| JP2003288601A (ja) | 画像撮像装置、画像処理装置、画像処理方法及び画像情報分類サービス方法 | |
| JP5024116B2 (ja) | 被写体追跡プログラム、および被写体追跡装置 | |
| JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US8872954B2 (en) | Image processing apparatus having feature extraction and stored image selection capability, method of controlling the apparatus, program thereof, and storage medium | |
| JP6948787B2 (ja) | 情報処理装置、方法およびプログラム | |
| CN112188108A (zh) | 拍摄方法、终端和计算机可读存储介质 | |
| KR20180075506A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| US7440595B2 (en) | Method and apparatus for processing images | |
| JP2009267773A (ja) | 映像編集装置、撮影装置および映像編集方法 | |
| CN115205921A (zh) | 电子设备以及控制方法 | |
| US20220283698A1 (en) | Method for operating an electronic device in order to browse through photos | |
| JP2023065024A (ja) | 検索処理装置、検索処理方法及びプログラム | |
| JP5582924B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2005057623A (ja) | 画像データ処理装置 | |
| JP6679784B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004242288A (ja) | 映像再生装置および映像記録再生装置 | |
| JP4958803B2 (ja) | 情報処理装置、その制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070521 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100525 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130525 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140525 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |