JPWO2006030509A1 - 画像検索装置、画像検索方法、画像作成装置、画像作成方法、プログラム - Google Patents

Abstract

画像検索装置に入力される画像データに、予めステガノグラフィとして当該画像データに固有の画像識別情報を埋め込んでおき、画像検索装置の側では、検索対象の画像データ内のステガノグラフィをデコードして画像識別情報を検出し、検出された画像識別情報と、外部から指示された検索条件とを照合して、両者が一致した画像データを検索結果として出力する。

Description

本発明は、画像検索技術、画像作成技術、プログラムに関し、特に、ビデオ、パーソナルコンピュータ、映像サーバなどの記録装置における映像の検索技術等に適用して有効な技術に関する。

コンピュータを利用した情報化社会の進展に伴い、電子データ化された映像情報の蓄積量は膨大となっており、目的の映像の迅速な検索技術が望まれている。
映像検索では、第１の検索方法として、記録する一連の映像の経過時間、または、経過時間に対応するシーン名の変換表を作成し、経過時間やシーン名で検索を行うことが考えられる。

また、他の第２の検索方法としては、特許文献１に開示された技術がある。すなわち、この特許文献１では、記録する一連の映像の先頭もしくは一連の映像を代表する場面の静止画像をインデックス画像として作成保持し、このインデックス画像を複数個表示して検索対象の映像の検索を行っていた。さらに、一連の映像に含まれる複数の場面を検索するため、映像中の複数場面（たとえば映像情報の時間的な長さをｎ等分した各時間毎の映像）の静止画像をインデックス画像（サムネール画面）として作成し、このインデックス画像を用いた検索を行っていた。

上述の従来の第１の検索方法の場合、経過時間が検索キーとなるので、映像の一部を差し替えるなどの編集や改竄が行われた場合、検索対象のシーンを特定することができない、という技術的課題があった。

また、上述の従来の第２の索方法の場合、検索対象の映像が多くなると、ユーザは多数のインデックス画像からの目視検索を行う必要があり、検索に多くの時間を必要とした。
さらに、ディスプレイ上のサムネール画面の参照による検索では、一般の書籍や印刷物における、いわゆる手めくりによる画像検索とは操作感が大きく異なるため、操作性が劣る、という技術的課題もある。
特開２００１−７６４６０号公報

本発明の目的は、画像情報の編集や改竄等に影響されることなく、目的の画像情報を確実に検索することが可能な画像検索技術を提供することにある。
本発明の他の目的は、画像情報のデータ量に関係なく、目的の画像情報を迅速に検索することが可能な画像検索技術を提供することにある。

本発明の他の目的は、一般の書籍や印刷物を取り扱うのと同様な良好な操作性にて迅速に、コンピュータ上の画像情報の検索を行うことが可能な画像検索技術を提供することにある。

本発明の第１の観点は、識別情報が秘匿情報として埋め込まれた画像情報から前記識別情報を抽出する識別情報検出手段と、
前記画像情報の検索条件を入力する検索条件入力手段と、
前記識別情報と、前記検索条件とに基づいて前記画像情報の検索を行う検索判定手段と、
を含む画像検索装置を提供する。

本発明の第２の観点は、画像情報を入力する画像情報入力手段と、
前記画像情報の検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を入力する検索条件検出手段と、
前記検索条件に基づいて前記画像情報の検索を行う検索判定手段と、
を含む画像検索装置を提供する。

本発明の第３の観点は、識別情報が秘匿情報として埋め込まれた画像情報から前記識別情報を抽出する識別情報検出手段と、
前記画像情報における前記識別情報に基づいて前記画像情報の改竄の有無を判定する識別情報判定手段と、
を含む画像検索装置を提供する。

本発明の第４の観点は、識別情報が秘匿情報として埋め込まれた画像情報を画像媒体から入力するステップと、
前記画像情報から前記識別情報を抽出するステップと、
前記画像情報の検索条件を入力するステップと、
前記識別情報と、前記検索条件とに基づいて前記画像情報の検索を行うステップと、
を含む画像検索方法を提供する。

本発明の第５の観点は、識別情報がステガノグラフィとして埋め込まれた画像情報を画像媒体から入力するステップと、
前記画像情報から前記識別情報を抽出するステップと、
前記識別情報に基づいて前記画像情報における改竄の有無を判別するステップと、
を含む画像検索方法を提供する。

本発明の第６の観点は、画像情報を入力するステップと、
前記画像情報の検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を入力するステップと、
前記検索条件に基づいて前記画像情報の検索を行うステップと、
を含む画像検索方法を提供する。

本発明の第７の観点は、画像情報を入力する入力手段と、
前記画像情報の検索に使用される識別情報を、前記画像情報のアナログ化によっても失われないステガノグラフィとして当該画像情報に埋め込むステガノグラフィ埋め込み手段と、
前記ステガノグラフィが埋め込まれた前記画像情報を画像媒体に出力する画像出力手段と、
を含む画像作成装置を提供する。

本発明の第８の観点は、画像情報を入力するステップと、
前記画像情報の検索に使用される識別情報を、前記画像情報のアナログ化によっても失われないステガノグラフィとして当該画像情報に埋め込むステップと、
前記ステガノグラフィが埋め込まれた画像情報を画像媒体に出力するステップと、
を含む画像作成方法を提供する。

本発明の第９の観点は、画像検索装置を構成するコンピュータに、
識別情報が秘匿情報として埋め込まれた画像情報を画像媒体から入力するステップと、
前記画像情報から前記識別情報を抽出するステップと、
前記画像情報の検索条件を入力するステップと、
前記識別情報と、前記検索条件とに基づいて前記画像情報を検索するステップと、
を実行させるプログラムを提供する。

本発明の第１０の観点は、画像作成装置を制御するコンピュータに、
画像情報を入力するステップと、
前記画像情報の検索に使用される識別情報を、前記画像情報のアナログ化によっても失われないステガノグラフィとして当該画像情報に埋め込むステップと、
前記ステガノグラフィが埋め込まれた画像情報を画像媒体に出力するステップと、を実行させるプログラムを提供する。

上述のように、本発明では、映像等の画像情報の記録時にステガノグラフィ等の秘匿情報として識別情報を埋め込み、この埋め込まれた識別情報を検索キーにして画像情報の検索を行う。映像に直接識別情報を埋め込むので、映像の編集や改竄にも対応した検索が可能である。さらに、画像情報に埋め込まれたステガノグラフィを当該画像情報の識別情報として用いるため、画像情報をアナログ信号に変換しても識別情報が消えない。このため、検索対象の画像情報を保持する記録装置としては、ＨＤＤ（Hard Disk Drive）、ＤＶＤ(Digital Versatile Disk)、ＣＤ(Compact Disk)、などのデジタル系の記録装置だけでなく、ビテオテープ等を記録媒体として用いるアナログ系の記録装置を用いることができる。

また、ステガノグラフィで画像情報に識別情報を埋め込み、この識別情報を検索するので、画像情報の編集や改竄等に影響されることなく、画像情報の検索を行うことができる。

また、必要に応じて、記録時に識別情報に対応する場面名等の名称情報も併せて記憶し、検索時には場面名を検索キーに映像を検索することで、簡単に検索対象の映像を検索指示できる。

この場合、検索時も、音声で検索指示できれば、作業性が向上する。そこで、必要に応じて、映像撮影時には、撮影時に音声入力と音声認識により識別情報と場面名を同時に記録する。検索時には、音声入力と音声認識により場面名を特定して検索を行うことで操作性の良好な検索を行うことができる。

また、識別情報がステガノグラフィとして埋め込まれた画像情報をカードやシート等の印刷媒体に印刷し、検索時に、本や雑誌のように、カードやシートをパラパラめくって目的の画像が印刷されたカードを選択し、このカードを検索装置に装填して識別情報を読み取らせ、この識別情報にて画像情報を検索させることにより、検索時間を短縮することができるとともに、本や雑誌を取り扱う感覚で、画像検索が可能となり、操作性が向上する。

検索対象の映像情報が、たとえば、証拠として使用される可能性のある監視画像などの場合、原本性（改竄なし）を証明する必要がある。本発明の場合には、ステガノグラフィにて画像情報に埋め込まれた識別情報の有無にて原本性を確認できるので、画像情報の検索のみならず、画像情報の改竄の有無の判別にも利用可能となる。

本発明の一実施の形態である画像検索方法を実施する画像検索装置の作用の一例を示す概念図である。 本発明の一実施の形態である画像検索方法を実施する実施の形態の画像検索装置の構成の一例を示すブロック図である。 本発明の一実施の形態である画像検索装置の内部構成の一例を示すブロック図である。 本発明の一実施の形態である画像検索装置を実現するために用いられるコンピュータシステムの構成の一例を示す概念図である。 本発明の一実施の形態である画像検索装置の変形例を示す概念図である。 本発明の一実施の形態である画像作成装置および画像検索装置の作用の一例を示す概念図である。 本発明の一実施の形態である画像検索装置の作用の一例を示すフローチャートである。 本発明の一実施の形態である画像検索装置の変形例を示す概念図である。 本発明の他の実施の形態である画像検索方法を実施する画像検索装置の作用の一例を示す概念図である。 本発明の一実施の形態である画像検索装置の構成の一例を示すブロック図である。 本発明のさらに他に実施の形態である画像検索装置の構成の一例を示すブロック図である。 本発明のさらに他の実施の形態である画像作成装置の構成の一例を示す概念図である。 本発明の一実施の形態である画像作成装置の作用の一例を示すフローチャートである。 本発明の一実施の形態である画像作成装置の作用の一例を示すフローチャートである。

以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
また、以下の説明では、各図および各実施の形態、変形例等で共通する構成要素には共通の符号を付して重複した説明は割愛する。

以下の説明において、「画像媒体」は、紙等の印刷媒体、情報通信回線等の通信媒体、半導体メモリ、光記憶媒体、磁気記憶媒体、等の任意の記憶媒体からなる蓄積媒体を包含する概念である。

図１は、本発明の一実施の形態である画像検索方法を実施する画像検索装置の作用の一例を示す概念図、図２は、本発明の一実施の形態である画像検索方法を実施する実施の形態の画像検索装置の構成の一例を示すブロック図、図３は、本実施の形態の画像検索装置の内部構成の一例を示すブロック図、図４は、本実施の形態の画像検索装置を実現するために用いられるコンピュータシステムの構成の一例を示す概念図、図５は、本実施の形態の画像検索装置の変形例を示す概念図、図６は、本実施の形態の画像作成装置および画像検索装置の作用の一例を示す概念図、図７は、本実施の形態の画像検索装置の作用の一例を示すフローチャートである。

図１に例示されるように、本実施の形態の検索技術では、映像データサーバ等の画像媒体３０に保持された検索対象の画像データ３１には、後述のステガノグラフィＳにて画像ＩＤ３２が秘匿情報として埋め込まれている。また、画像データ３１の作成時には、必要に応じて、画像ＩＤ３２と、場面名等の映像名７２とが対応付けられて記録される映像名−ＩＤ変換表７１も作成される。

すなわち、本実施の形態の場合、検索対象となる画像媒体３０の画像データ３１には、画像データ３１の画質を劣化させることなく、しかも画像データ１１を介して画像データ３１を閲覧する人間の肉眼では判別できない状態にて、予め、当該画像データ３１に固有に割り当てられた識別情報（画像ＩＤ３２）が、秘匿情報であるステガノグラフィＳとして混在して記録されている。本実施の形態のステガノグラフィＳは、後述のように、対象物の色や大きさによって感度が違うという人間の目の視覚特性を利用して、画像データ３１に秘匿状態で任意の情報を埋め込む技術である。

すなわち、本実施の形態の場合、ステガノグラフィＳは、画像データ３１を複数のブロックに分割し、個々のブロックおよび/またはブロック間の特徴情報を、たとえば、人間の視覚ではほとんど判別できない範囲で、操作することで画像ＩＤ３２をコード化して画像データ３１に埋め込むものである。

ブロックまたは当該ブロックをさらに細分化したサブブロックの特徴情報としては、個々のブロック間の位置関係、明暗、画像の粒状性、彩度、濃度重心、分散など、画像データ３１から求めることのできる値であれば、どの値であっても使用することができる。

図２に例示されるように、画像媒体３０から画像情報の検索を行う本実施の形態の画像検索装置２０は、画像媒体３０から入力される、アナログの画像データ３１をデジタルデータに変換する画像構成部２１、画像データ３１からステガノグラフィＳとして記録された画像ＩＤ３２を抽出するステガノグラフィＩＤ検出部２２、検索判定部２３、外部から画像ＩＤ２５を入力するための検索条件入力部２４を備えている。

検索判定部２３は、画像データ３１からステガノグラフィＩＤ検出部２２にて抽出された画像ＩＤ３２と、検索条件入力部２４にて入力された画像ＩＤ２５とを比較して、両者が一致した時に、当該画像ＩＤ３２が埋め込まれた画像データ３１を検索結果３３として、図示しない任意の画像媒体や画像表示装置等に出力する動作を行う。

図３に例示されるように、ステガノグラフィＩＤ検出部２２は、ステガノグラフィＳが埋め込まれた画像データ３１を複数の画像ブロック３１ａに分解して所定の規則で選択して取り出すブロック分解部２２ａおよびブロック抽出部２２ｂ、個々の画像ブロック３１ａの、たとえば明るさのレベルを正規化する平均化部２２ｃ、正規化された画像ブロック３１ａを左右のサブブロックに二分割し、左右のサブブロックのどちらが明るいかによって、０または１を割り当てるコード化（図６参照）を行うコード生成部２２ｄ、個々の画像ブロック３１ａのコード化の結果に所定の演算を施して、画像ＩＤ３２として出力する、コード変換部２２ｅを備えている。

このような構成の画像検索装置２０は、たとえば、図４に例示されるコンピュータシステム４０、およびこのコンピュータシステム４０にて実行される検索制御プログラム６０にて実現することができる。

すなわち、本実施の形態のコンピュータシステム４０は、全体を制御するマイクロプロセッサ４１、このマイクロプロセッサ４１で実行されるプログラムやデータ等の情報が格納される主記憶４２、当該プログラムやデータ等の情報が持久的に保持される不揮発性記憶装置４３、任意の画像媒体３０から画像データ３１を入力するための画像情報入力部４４、任意の画像媒体３０に画像データ３１を出力するための画像情報出力部４５、画像データ３１等の情報を可視化して表示するディスプレイ４６、ユーザによる情報入力に用いられるキーボード４７、ユーザによる音声入力に用いられる音声入力装置４９、さらには、これらの各部を接続する情報伝送路としてのバス４８、を備えている。

不揮発性記憶装置４３には、画像検索装置２０の各部の機能を実現するための検索制御プログラム６０が格納されている。そして、この検索制御プログラム６０を、主記憶４２にロードしてマイクロプロセッサ４１が実行することにより、画像検索装置２０の各部の機能が実現される。検索結果３３は、ディスプレイ４６に表示出力してもよいし、必要に応じて、画像情報出力部４５を介して任意の画像媒体３０に格納してもよい。

すなわち、図２に例示される画像検索装置２０を、図４に例示されるコンピュータシステム４０にて実現する場合、画像構成部２１は画像情報入力部４４に対応し、検索条件入力部２４はキーボード４７に対応し、その他の機能は検索制御プログラム６０にて実現される。

以下、図７のフローチャート等を参照しながら、本実施の形態の画像検索装置２０の作用の一例について説明する。
まず、画像検索装置２０では、ユーザからキー入力等の方法で画像ＩＤ２５の情報が検索条件入力部２４に設定される（ステップ１０１）。

その後、画像媒体３０から、たえばアナログ状態の画像データ３１が画像構成部２１を介してデジタル化された後にステガノグラフィＩＤ検出部２２に入力され（ステップ１０２）、ステガノグラフィＩＤ検出部２２では、画像データ３１に含まれているステガノグラフィＳから画像ＩＤ３２を検出する（ステップ１０３）。

その後、ステガノグラフィＩＤ検出部２２にて検出された画像ＩＤ３２と、検索条件入力部２４にて設定された画像ＩＤ２５とを照合し（ステップ１０４）、両者が一致した場合には、検索対象の画像データ３１が見つかったと判定して当該画像ＩＤ３２を含む画像データ３１を、ディスプレイ４６や、所望の画像媒体に出力する（ステップ１０５）。ステップ１０４の判定でＩＤが不一致の場合には、なにもしない。

そして、画像データ３１の終端に到達したか、すなわち検索終了か判別し（ステップ１０６）、未完の場合には、上述のステップ１０２以降を反復する。
このように、本実施の形態では、映像記録時にステガノグラフィＳで画像ＩＤ３２を画像データ３１に埋め込んで、映像データサーバ等の画像媒体３０に登録する。そして、画像データ３１に埋め込まれた画像ＩＤ３２を検索キーに検索を行う。

このように、画像データ３１に直接的に、画像ＩＤ３２を埋め込んであるので、画像データ３１の編集や改竄に影響されることなく、的確な検索が可能である。さらに、ステガノグラフィＳを画像ＩＤ３２の埋め込みに用いることで、画像媒体３０に記録されている画像データ３１をアナログ信号に変換しても画像ＩＤ３２が消えないので、画像媒体３０や記録装置としては、ＨＤＤ、ＤＶＤ、ＣＤなどのデジタル系の画像媒体３０だけでなく、アナログ方式のビデオテープなどのアナログ系の画像媒体３０に格納された画像データ３１を検索対象にすることができる。

上述の例では、検索条件入力部２４に画像ＩＤ２５を直接に入力しているが、数字や記号等の画像ＩＤ２５を検索キーにした場合、画像データ３１の順序を入れ換える等の編集等を行った場合には、検索対象の画像データ３１を直接探すことが難しい場合がある。

そこで、本実施の形態の変形例として、画像データ３１の記録時に画像ＩＤ３２に対応する場面名等の映像名７２も合せて記憶して、検索時に検索キーとして利用する方法を以下に示す。

すなわち、この変形例の場合には、図１に例示されるように、画像データ３１の記録時に、当該画像データ３１にステガノグラフィＳとして埋め込まれる画像ＩＤ３２と対応する映像名７２を映像名−ＩＤ変換表７１に記録する。

また、画像検索装置２０の検索条件入力部２４には、映像名−ＩＤ変換部７０を設ける。この映像名−ＩＤ変換部７０は、画像データ３１が格納された画像媒体３０から、上述の画像データ３１の記録時に生成された映像名−ＩＤ変換表７１を読み出して用いることで、図５に例示されるように、外部から入力される映像名７２を、対応する画像ＩＤ３２に変換して、検索判定部２３に入力する動作を行う。

これにより、検索時には利用者にとって分かりやすい場面名等の映像名７２を検索キーとして画像データ３１を検索することで、簡単に検索対象の映像を検索することができ、検索時の操作性が向上する。

さらに、画像ＩＤ３２や映像名７２の情報を音声入力にて画像検索装置２０に指示できれば、操作性はさらに向上する。
そこで、本実施の形態のさらなる変形例として、図８に例示されるように、画像検索装置２０に、音声変換部８０と映像名−ＩＤ変換部７０を備えた検索条件入力部２４−１を設けた例を説明する。この場合、画像データ３１の撮影時には、必要に応じて、音声入力と音声認識により画像ＩＤ３２と場面名等の映像名７２を同時に記録してもよい。

そして、画像検索装置２０における画像データ３１の検索時には、検索条件入力部２４−１の音声変換部８０に対して、ユーザが音声入力８１により、目的の場面名等の映像名７２を入力し、音声変換部８０では音声認識により音声入力８１を映像名７２に変換し、さらに、映像名−ＩＤ変換部７０において映像名７２から画像ＩＤ３２を特定して検索判定部２３に入力して検索を行う。このように、音声入力にて画像データ３１の検索を実行することができるので、検索作業における作業性が向上する。

図９は、本発明の他の実施の形態である画像検索方法を実施する画像検索装置の作用の一例を示す概念図であり、図１０は、本実施の形態の画像検索装置の構成の一例を示すブロック図である。

この実施の形態の画像検索装置２０Ａは、検索条件入力部２４の代わりに、ステガノグラフィＩＤ検出部２４ａを含む検索条件入力部２４−２を備えた点が、上述の画像検索装置２０と異なっている。

すなわち、本実施の形態では、検索カード１０に、検索対象の特定の画像データ３１に関連する画像データ１１を印刷するとともに、この画像データ１１には、前記画像データ３１に埋め込まれている画像ＩＤ３２に対応する画像ＩＤ１２がステガノグラフィＳ１にて埋め込まれている。

そして、画像データ３１の検索に際しては、ユーザは、検索カード１０の画像データ１１を目印に、目的の検索カード１０を選び出して画像検索装置２０Ａの検索条件入力部２４−２にセットし、ステガノグラフィＩＤ検出部２４ａにて画像データ１１内のステガノグラフィＳ１（画像ＩＤ１２）を検出して、検索キーとして検索判定部２３に入力する。

そして、図９に例示されるように、検索判定部２３では、画像データ３１内の画像ＩＤ３２と、検索カード１０から入力された画像ＩＤ１２とを照合して、画像データ３１の検索を実行する。

従来のように、画面上でのサムネールの一覧による検索は場面の数が増えると表示時間から検索時間を多く必要とするが、本実施の形態の場合には、本や雑誌のような印刷物をパラパラめくって検索するのと同様な感覚にて、複数の検索カード１０の中から目的の画像データ１１が印刷された検索カード１０を選びだし、この検索カード１０を画像検索装置２０Ａに読み込ませるだけで、画像媒体３０から入力される画像データ３１の検索を行うことができ、検索時間を短縮できるとともに、操作性も大幅に向上する。

図１１は、本発明のさらに他に実施の形態である画像検索装置の構成の一例を示すブロック図である。
この実施の形態の画像検索装置２０Ｂでは、画像媒体３０から入力される、アナログの画像データ３１をデジタルデータに変換する画像構成部２１、画像データ３１からステガノグラフィＳとして記録された画像ＩＤ３２を抽出するステガノグラフィＩＤ検出部２２、ステガノグラフィＩＤ検出部２２でのステガノグラフィＳによる画像ＩＤ３２の検出の有無に基づいて、改竄検出結果３３ａを出力する改竄判定部２３−１を備えている。

すなわち、この画像検索装置２０Ｂでは、画像データ３１における画像ＩＤ３２の埋め込みの有無に基づいて、当該画像データ３１における改竄の有無を確実に判別する。
検索対象の画像データ３１が、特定の被写体の監視などの証拠として使用される場合、当該画像データ３１の原本性、すなわち改竄がないこと、を証明する必要がある。

本実施の形態によれば、保存対象の画像データ３１は、画像媒体３０に対する映像記録時にステガノグラフィＳで画像ＩＤ３２を埋め込むことにより、改竄判定部２３−１で画像データ３１の画像ＩＤ３２の有無を検出することで、画像データ３１における改竄の有無を確実に検出することができる。

図１２は、本発明のさらに他の実施の形態である画像作成装置の構成の一例を示す概念図である。この実施の形態の画像作成装置５０は、上述の各実施の形態の検索や改竄検出等のために、予め、画像データ３１に、画像ＩＤ３２をステガノグラフィＳとして混在させて任意の画像媒体３０に出力する動作を行う。

本実施の形態の画像作成装置５０は、画像検索装置２０と同様に、上述の図６に例示されるコード化の原理にてステガノグラフィＳを画像データ３１に埋め込む。
本実施の形態の画像作成装置５０は、画像媒体３０から画像データ３１を入力するための画像入力部５１、画像データ３１に当該画像データ３１に固有に設定された画像ＩＤ３２をステガノグラフィＳして埋め込むためのステガノグラフィ埋込部５２、ステガノグラフィＳが埋め込まれた画像データ３１を元の画像媒体３０、あるいは別の画像媒体３０に出力するための画像出力部５３、を備えている。

ステガノグラフィ埋込部５２は、ブロック分解部５２ａ、ブロック抽出部５２ｂ、ブロック加工部５２ｃ、画像構成部５２ｄ、平均化部５２ｅ、コード生成部５２ｆ、画像加工情報生成部５２ｇ、コード入力部５２ｈ、を備えている。

コード入力部５２ｈには、外部から、当該画像データ３１にステガノグラフィＳとして埋め込むべき画像ＩＤ３２等の情報が設定あるいは入力される。
ブロック分解部５２ａおよびブロック抽出部５２ｂは、画像入力部５１でデジタル化された画像データ３１を複数のブロックに分割して所定の規則で個別に取り出して、平均化部５２ｅおよびブロック加工部５２ｃに送出する。

平均化部５２ｅは、個々の画像ブロック３１ａの、たとえば明るさのレベルを正規化する。コード生成部５２ｆは、平均化部５２ｅで正規化された画像ブロック３１ａを左右のサブブロックに二分割し、左右のサブブロックのどちらが明るいかによって、０または１を割り当てるコード化を行い、画像加工情報生成部５２ｇに出力する。

画像加工情報生成部５２ｇは、コード入力部５２ｈに設定されている画像ＩＤ３２が最終的にステガノグラフィＳに反映されるように、画像ブロック３１ａの左右のサブブロックの明るさを、そのまま使用するか、画像ＩＤ３２に対応させるために逆転させるかを判別し、判別結果をブロック加工部５２ｃに指示する。

ブロック加工部５２ｃは、画像加工情報生成部５２ｇから指示に基づいて、ブロック抽出部５２ｂから到来する画像ブロック３１ａに対して、左右のサブブロックの明るさを、そのまま維持するか、または画像ＩＤ３２に対応させるために逆転させる処理を行うことで、コード入力部５２ｈに設定された画像ＩＤ３２を表現するステガノグラフィＳを画像データ３１に埋め込む処理を行う。

すなわち、一例として人間の肉眼の観察で明るさの変化の感度が低いとされる黄色の明るさ成分を左右のサブブロックで変化させても、肉眼では認識できず、これにより、観察者に気づかれることなく、すなわち、画像データ３１の画質を劣化させることなく、画像ＩＤ３２をステガノグラフィＳとして画像データ３１に埋め込むことができる。画像ブロック３１ａを単位として取り扱うため、印刷やディスプレイへのアナログ出力にてもステガノグラフィＳに用いられる特徴情報の変動が少なく、安定なコード化を実現できる。

また、必要に応じて複数個の同一の画像ＩＤ３２を冗長にステガノグラフィＳとして画像データ３１に埋め込み、検出時には、画像データ３１から検出された複数の画像ＩＤ３２の多数決によって、最終的に一つの画像ＩＤ３２に決定するようにしてもよい。

画像構成部５２ｄは、複数の画像ブロック３１ａを配列して元の画像データ３１を構成し、必要に応じてアナログ変換して、画像出力部５３を介して任意の画像媒体３０に出力する。

こうして、画像作成装置５０等にて画像データ３１に埋め込まれたステガノグラフィＳは、上述した画像検索装置２０等のステガノグラフィＩＤ検出部２２にてデコードされ、画像ＩＤ３２が検出される。

なお、画像作成装置５０は、上述した図３のコンピュータシステム４０およびこのコンピュータシステム４０に実装され、マイクロプロセッサ４１にて実行される画像データ作成プログラム６１にて実現することができる。

すなわち、画像入力部５１は画像情報入力部４４に対応し、画像出力部５３は画像情報出力部４５に対応し、ステガノグラフィ埋込部５２は画像データ作成プログラム６１に対応する。

なお、上述したステガノグラフィＳの埋め込みおよび検出の原理は、一例であり、さらに詳細には、たとえば、特開２００４−９４５５１号公報に開示される技術を用いることができる。

以下、図１３のフローチャート等を参照しながら、本実施の形態の画像作成装置５０の作用の一例について説明する。
まず、ステガノグラフィ埋込部５２のコード入力部５２ｈには、作成（撮影）対象の画像データ３１の画像ＩＤ３２が初期設定される（ステップ１１１）。なお、この画像ＩＤ３２は、画像データ３１の入力に同期して経時的に変化させることができ、画像ＩＤ３２としては、たとえば、タイムスタンプ、画像データ３１の入力に同期してインクリメントされるシリアル番号、等を用いることができる。また、必要に応じて、音声入力にて、場面名等の映像名７２を入力し、映像名−ＩＤ変換表７１に画像ＩＤ３２とともに記録してもよい。

その後、画像データ３１の入力（撮影）が開始され（ステップ１１２）、入力された画像データ３１に画像ＩＤ３２をステガノグラフィＳとして埋め込んで所望の画像媒体に出力し（ステップ１１３）、次に、画像ＩＤ３２の設定状態に変化があるか調べ（ステップ１１４）、変化がある場合には、ステップ１１１の画像ＩＤ３２の設定ステップに戻って画像ＩＤ３２の設定を行うとともに、画像データ３１の入力を継続する。

ステップ１１４で画像ＩＤ３２に変化がないと判定された場合には、画像データ３１の入力完了か否かを判定し（ステップ１１５）、未完の場合には、ステップ１１２に戻って画像データ３１の入力を継続し、完了の場合には、画像データ３１の作成（撮影）を完了する。

次に、画像作成装置５０の作用の変形例として、画像データ３１の作成時に、検索カード１０を製作する場合の動作を図１４のフローチャートを参照して説明する。
この図１４のフローチャートでは、上述の図１３のフローチャートにおけるステップ１１３とステップ１１４との間に、検索カード１０の印刷出力のためのステップ１２１およびステップ１２２の工程が付加されている点が、当該図１３と異なっている。

すなわち、ステップ１２１では、画像データ３１を作成しているユーザからの、検索用の画像（画像データ１１）の出力指示、すなわち検索カード１０への印刷出力の指示の有無を判別し、出力指示があった場合には、ステップ１２２にて、たとえば画像データ３１の一場面等の画像データ１１に、当該画像データ３１に対応した画像ＩＤ３２と等しい画像ＩＤ１２をステガノグラフィＳ１として埋め込んだ後に、検索カード１０に印刷する。

こうして印刷された検索カード１０は、上述のように、図１０の画像検索装置２０Ａにおける画像データ３１の検索に用いられる。
以上説明したように、本実施の形態の画像検索技術によれば、画像データ３１の編集や改竄に影響されることなく、的確な検索が可能で、ユーザに負担の少ない映像検索を提供できる。

すなわち、画像データ３１に直接に画像ＩＤ３２をステガノグラフィＳとして埋め込むので、画像データ３１の編集や改竄の影響を受けない的確な検索が可能となる。さらに、ステガノグラフィＳとして画像ＩＤ３２を画像データ３１に埋め込むので、画像データ３１をアナログ信号に変換しても画像ＩＤ３２が失われることがなく、画像データ３１の改竄防止にも効果がある。

さらに、画像データ３１のデータ量が比較的多い場合でも、画像データ３１のデータ量に比例した多数のサムネール画像を検索のために逐次閲覧する必要がなくなり、画像データ３１のデータ量の関係なく、目的の画像データ３１を迅速に検索できる。

また、検索カード１０やシートに、検索の目印となる画像データ１１と、当該画像データ１１にステガノグラフィＳ１で埋め込まれた画像ＩＤ１２を印刷し、この検索カード１０をユーザに選択させることで、検索キー情報として用いることができ、ユーザの検索時間の短縮、操作性の向上を実現できる。

なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明によれば、画像情報の編集や改竄等に影響されることなく、目的の画像情報を確実に検索することが可能な画像検索技術を提供することができる。
また、画像情報のデータ量に関係なく、目的の画像情報を迅速に検索することが可能な画像検索技術を提供することができる。

また、一般の書籍や印刷物を取り扱うのと同様な良好な操作性にて迅速に、コンピュータ上の画像情報の検索を行うことが可能となる。

Claims (26)

1. 識別情報が秘匿情報として埋め込まれた画像情報から前記識別情報を抽出する識別情報検出手段と、
   前記画像情報の検索条件を入力する検索条件入力手段と、
   前記識別情報と、前記検索条件とに基づいて前記画像情報の検索を行う検索判定手段と、
   を含むことを特徴とする画像検索装置。
2. 請求項１記載の画像検索装置において、前記秘匿情報は、前記画像情報を複数のブロックに分割し、前記ブロックおよび/またはブロック間の特徴情報を操作することで前記識別情報をコード化して前記画像情報に埋め込むステガノグラフィであることを特徴とする画像検索装置。
3. 請求項１記載の画像検索装置において、検索条件入力手段は、前記識別情報と画像名称とが対応付けて格納される変換テーブルを備え、外部から入力される前記画像名称を前記識別情報に変換して前記検索判定手段に入力することを特徴とする画像検索装置。
4. 請求項１記載の画像検索装置において、検索条件入力手段は、音声認識手段を備え、外部から入力される音声情報を前記音声認識手段にて前記識別情報に変換して前記検索判定手段に入力することを特徴とする画像検索装置。
5. 請求項１記載の画像検索装置において、検索条件入力手段は、前記検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を抽出する検索条件検出手段を備え、前記印刷媒体から得られた前記検索条件を前記検索判定手段に入力することを特徴とする画像検索装置。
6. 画像情報を入力する画像情報入力手段と、
   前記画像情報の検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を入力する検索条件検出手段と、
   前記検索条件に基づいて前記画像情報の検索を行う検索判定手段と、
   を含むことを特徴とする画像検索装置。
7. 識別情報が秘匿情報として埋め込まれた画像情報から前記識別情報を抽出する識別情報検出手段と、
   前記画像情報における前記識別情報に基づいて前記画像情報の改竄の有無を判定する識別情報判定手段と、
   を含むことを特徴とする画像検索装置。
8. 識別情報が秘匿情報として埋め込まれた画像情報を画像媒体から入力するステップと、
   前記画像情報から前記識別情報を抽出するステップと、
   前記画像情報の検索条件を入力するステップと、
   前記識別情報と、前記検索条件とに基づいて前記画像情報の検索を行うステップと、
   を含むことを特徴とする画像検索方法。
9. 請求項８記載の画像検索方法において、前記秘匿情報は、前記画像情報を複数のブロックに分割し、前記ブロックおよび/またはブロック間の特徴情報を操作することで前記識別情報をコード化して前記画像情報に埋め込むステガノグラフィであることを特徴とする画像検索方法。
10. 請求項８記載の画像検索方法において、前記画像媒体は、前記画像情報が目視可能に印刷される印刷媒体、前記画像情報が記憶される記憶媒体、前記画像情報を伝送する通信媒体の少なくとも一つからなることを特徴とする画像検索方法。
11. 請求項８記載の画像検索方法において、前記検索条件の入力を音声認識にて行うことを特徴とする画像検索方法。
12. 請求項８記載の画像検索方法において、前記識別情報と画像名称とをテーブルに対応付けて記憶しておき、外部から前記検索条件として指定される前記画像名称を前記識別情報に変換して前記画像情報の検索を行うことを特徴とする画像検索方法。
13. 請求項８記載の画像検索方法において、前記検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を抽出して前記画像情報の検索に用いることを特徴とする画像検索方法。
14. 識別情報がステガノグラフィとして埋め込まれた画像情報を画像媒体から入力するステップと、
    前記画像情報から前記識別情報を抽出するステップと、
    前記識別情報に基づいて前記画像情報における改竄の有無を判別するステップと、
    を含むことを特徴とする画像検索方法。
15. 画像情報を入力するステップと、
    前記画像情報の検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を入力するステップと、
    前記検索条件に基づいて前記画像情報の検索を行うステップと、
    を含むことを特徴とする画像検索方法。
16. 画像情報を入力する入力手段と、
    前記画像情報の検索に使用される識別情報を、前記画像情報のアナログ化によっても失われないステガノグラフィとして当該画像情報に埋め込むステガノグラフィ埋め込み手段と、
    前記ステガノグラフィが埋め込まれた前記画像情報を画像媒体に出力する画像出力手段と、
    を含むことを特徴とする画像作成装置。
17. 請求項１６記載の画像作成装置において、前記画像媒体は、前記画像情報が目視可能に印刷される印刷媒体、前記画像情報が記憶された記憶媒体、前記画像情報を伝送する通信媒体の少なくとも一つからなることを特徴とする画像作成装置。
18. 画像情報を入力するステップと、
    前記画像情報の検索に使用される識別情報を、前記画像情報のアナログ化によっても失われないステガノグラフィとして当該画像情報に埋め込むステップと、
    前記ステガノグラフィが埋め込まれた画像情報を画像媒体に出力するステップと、
    を含むことを特徴とする画像作成方法。
19. 請求項１８記載の画像作成方法において、前記画像媒体は、前記画像情報が目視可能に印刷される印刷媒体、前記画像情報が記憶された記憶媒体、前記画像情報を伝送する通信媒体の少なくとも一つからなることを特徴とする画像作成方法。
20. 画像検索装置を構成するコンピュータに、
    識別情報が秘匿情報として埋め込まれた画像情報を画像媒体から入力するステップと、
    前記画像情報から前記識別情報を抽出するステップと、
    前記画像情報の検索条件を入力するステップと、
    前記識別情報と、前記検索条件とに基づいて前記画像情報を検索するステップと、
    を実行させることを特徴とするプログラム。
21. 請求項２０記載のプログラムにおいて、前記秘匿情報は、前記画像情報を複数のブロックに分割し、前記ブロックおよび/またはブロック間の特徴情報を操作することで前記識別情報をコード化して前記画像情報に埋め込むステガノグラフィであることを特徴とするプログラム。
22. 請求項２０記載のプログラムにおいて、前記画像媒体は、前記画像情報が目視可能に印刷される印刷媒体、前記画像情報が記憶された記憶媒体、前記画像情報を伝送する通信媒体の少なくとも一つからなることを特徴とするプログラム。
23. 請求項２０記載のプログラムにおいて、前記検索条件の入力を音声認識にて行うことを特徴とするプログラム。
24. 請求項２０記載のプログラムにおいて、前記検索条件がステガノグラフィとして埋め込まれた検索画像情報が印刷された印刷媒体から前記検索条件を入力することを特徴とするプログラム。
25. 画像作成装置を制御するコンピュータに、
    画像情報を入力するステップと、
    前記画像情報の検索に使用される識別情報を、前記画像情報のアナログ化によっても失われないステガノグラフィとして当該画像情報に埋め込むステップと、
    前記ステガノグラフィが埋め込まれた画像情報を画像媒体に出力するステップと、
    を実行させることを特徴とするプログラム。
26. 請求項２５記載のプログラムにおいて、前記画像媒体は、前記画像情報が目視可能に印刷される印刷媒体、前記画像情報が記憶された記憶媒体、前記画像情報を伝送する通信媒体の少なくとも一つからなることを特徴とするプログラム。

Images