JP4073156B2 - 画像検索装置 - Google Patents
画像検索装置 Download PDFInfo
- Publication number
- JP4073156B2 JP4073156B2 JP2000214885A JP2000214885A JP4073156B2 JP 4073156 B2 JP4073156 B2 JP 4073156B2 JP 2000214885 A JP2000214885 A JP 2000214885A JP 2000214885 A JP2000214885 A JP 2000214885A JP 4073156 B2 JP4073156 B2 JP 4073156B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- specific
- search
- attached
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像検索装置に関し、より具体的には、画像中から抽出されたシンプルな図形や人物、物体等の被写体などの特定の情報や画像に付随する音声情報や文字やマークなどのメッセージ情報などの特定の情報を、画像の付属情報としてデータベースに記憶しておいて、それに基づいて画像を検索する画像検索装置に関する。
【０００２】
【従来の技術】
例えば、人物写真を鑑賞する際に最も注目される部位は、人物の顔である。そのため、フィルムなどに記録された原画像を印画紙などの複写材料に焼き付ける場合には、人物の顔が適正な色や濃度に再現されるように、焼付露光量を決定する必要がある。
【０００３】
このため、人物写真では、例えば、特開平４−３４６３３２号公報に開示されているような方法により、カラー原画像を多数の画素に分割し、各画素毎にＲ，Ｇ，Ｂの３色に分解して測光し、この結果に基づいて、色相および彩度についてのヒストグラムを求めて、求めたヒストグラムのうち人物の顔に相当する色相および彩度を有する画素が存在する領域を、人物の顔に相当する領域として切り出し、この領域の測光データから露光量を決定している。
【０００４】
また、特開平６−１６０９９３号公報には、人物の顔に相当する領域を抽出する確度を向上させるために、画像の外縁に接している領域を背景領域と判断して除去したり、抽出した領域を線図形化し、抽出した領域の周辺に位置している近傍領域の形状および抽出した領域の形状に基づいて、抽出した領域が人物の顔に相当する領域であるか否かを判断する技術が示されている。
【０００５】
しかしながら、これらの技術では、原画像中に、例えば、地面や樹木などの肌色に近い色相および彩度の領域が存在している場合には、この領域を人物の顔に相当する領域と誤判定する可能性がある。また、これらの領域が人物の顔に相当する領域と隣接している場合、両者を適正に分離することができず、原画像を適正な範囲の領域に分割できない可能性がある。
【０００６】
【発明が解決しようとする課題】
上述のように、人物の顔以外の領域を人物の顔に相当する領域と誤判定した場合や、または、人物の顔に相当する領域に隣接する同様な色相および彩度を有する領域を分離できない場合には、本来の人物の顔が適正に焼付けるための露光量が得られなくなるという問題があった。
【０００７】
このような問題に対しては、注目する部位の色（色相や彩度）のみでなく、その部位の形状に関する情報をも利用することが有効と考えられる。すなわち、人物の顔に相当する領域であれば、概ね、楕円形ないし卵型の形状を有すると考えられるので、色に関する情報に加えて、このような特別な形状を有することを、抽出する際の条件とすればよい。
【０００８】
このように、原画像中の被写体の形状に関する情報は、画像検出ないしは画像検索において極めて重要な意味を持っている。なお、これに関しては、本出願人の出願に係る特開平９−１３８４７１号公報に開示された技術を参考にすることができる。この技術は、画像のエッジを検出して人物に相当する領域の輪郭を抽出し、人物（特に、顔）に相当する領域について、好ましい色再現を行うことを目的とするものである。
【０００９】
この他にも、検索者に対象とする画を描かせることなく、また、手元にあるいは一覧できる枚数内に、検索者が望んでいる画像に近い画像がなくとも、検索者が抽出したいと思っている画像を検索可能とするための、画像検索システムを提供するものとして、例えば、特開平７−２１１９８号公報、特開平８−２４９３５２号公報の記載を参考にすることができる。
【００１０】
本発明は、上述の従来技術における、原画像中の特定の形状をキーとして領域検出を行うという思想をさらに発展させたもので、その第１の目的とするところは、原画像中の人物や物体等の被写体の形状や原画像に付随する音声情報やメッセージ情報などの特定の情報をキーとして、画像検出ないしは画像検索（以下、これらをまとめて画像検索という）を効率的に行う画像検索装置を提供するところにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る第１の画像検索装置は、入力される画像に対してこの画像に存在または付随する、もしくは存在するとともに付随する特定の情報を抽出または認識する抽出部と、得られた特定の情報をそのまま、もしくは前記特定の情報の関連情報を、前記画像の画像データに付属させて付属情報としてデータベースに記憶させる付属情報設定部と、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された前記記憶画像データに付属している前記付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置であって、
前記画像に存在する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形であり、前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の幾何学図形を抽出する処理を適用し、抽出の結果得られたＮ（Ｎは０以上）個の特定の幾何学図形に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の幾何学図形のＬ種類（Ｌは１〜Ｍ）について、前記特定の幾何学図形の存在の有無または前記位置、大きさおよび向きならびに色の少なくとも一つの概略が指定されるものであることを特徴とする。
【００１２】
また、本発明に係る第２の画像検索装置は、入力される画像に対してこの画像に存在または付随する、もしくは存在するとともに付随する特定の情報を抽出または認識する抽出部と、得られた特定の情報をそのまま、もしくは前記特定の情報の関連情報を、前記画像の画像データに付属させて付属情報としてデータベースに記憶させる付属情報設定部と、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された前記記憶画像データに付属している前記付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置であって、
前記画像に存在する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形により規定される被写体であり、前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の被写体を抽出する処理を適用し、抽出の結果得られた、Ｎ（Ｎは０以上）個の特定の被写体に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の被写体のＬ種類（Ｌは１〜Ｍ）について、前記特定の被写体の存在の有無または前記位置、大きさ、向きおよび色の少なくとも一つの概略が指定されるものであることを特徴とする。
【００１４】
また、本発明に係る画像検索方法は、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記画像に対して予め定められた特定の幾何学図形を抽出する処理を適用し、抽出された任意の幾何学図形についてのフレーム間における位置の比較に基づき、前記任意の幾何学図形に対応する画像の移動方向を求め、前記幾何学図形の情報と該幾何学図形に対応する画像の移動方向からなる付属情報を、該当する画像のデータに付属させて記憶し、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、幾何学図形とその動きベクトルの方向の概略を指定し、前記記憶させた画像のデータに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１５】
また、本発明に係る画像検索方法は、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、予め定められた特定の幾何学図形により規定される被写体を抽出する処理を適用し、抽出された被写体についてのフレーム間における位置の比較に基づき、前記被写体に対応する画像の移動方向を求め、前記被写体の情報と該被写体に対応する画像の移動方向からなる付属情報を、該当する画像のデータに付属させて記憶し、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、被写体とその動きベクトルの方向の概略を指定し、前記記憶させた画像のデータに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１６】
また、本発明に係る画像検索方法は、音声情報を有する画像に対して、音声情報を認識し、認識した音声情報を、該当する画像のデータに付属させて記憶し、音声情報を有する画像に対して、音声情報の概略を指定し、前記記憶させた画像のデータに付属している音声認識情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１７】
本発明に係る画像検索方法においては、前記音声情報に加えて、特定の幾何学図形に対応する位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含む付属情報を付属させることができ、前記検索条件として特定の幾何学図形の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つを指定することができる。また、前記音声情報に加えて、特定の被写体に対応する位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含む付属情報を付属させることができ、前記検索条件として特定の被写体の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つを指定することができる。
【００１８】
また、本発明に係る画像検索方法は、予め特定の人物Ａ人（Ａは１以上）の顔画像と人物名からなる人物情報を登録しておき、画像記憶時に、人物抽出および前記人物情報を用いた人物同定処理により、特定人物の位置と大きさまたは位置と大きさと向き、または必要に応じてさらに色を含み、あるいは人物の有無のみのいずれかからなる付属情報を、該当する画像のデータに付属させて記憶し、検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の位置、大きさ、向きおよび色の少なくとも一つ、あるいは人物の有無のみのいずれかを指定し、各記憶画像の付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１９】
また、本発明に係る画像検索方法においては、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記人物情報を用いた人物同定処理により、特定人物の位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含み、あるいは人物の有無のみのいずれかからなる付属情報を、該当する画像のデータに付属させて記憶し、時間的に連続性を有する画像に対する検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つおよびその動きベクトルの方向の概略を指定し、各記憶画像の付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００２０】
また、本発明に係る画像検索方法は、音声情報を有する画像に対して、前記人物情報を用いた人物同定処理により、特定人物の位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含み、あるいは人物の有無のみのいずれかからなる付属情報を、認識した音声情報とともに該当する画像のデータに付属させて記憶し、音声情報を有する画像に対する検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つおよび音声情報の概略を指定し、各記憶画像の付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００２１】
また、本発明に係る画像検索方法は、メッセージ情報を有する画像に対して、前記メッセージ情報を認識し、認識した前記メッセージ情報を、該当する画像のデータに付属させて記憶し、前記メッセージ情報を有する画像に対して、メッセージ情報の概略を指定し、前記記憶させた画像のデータに付属しているメッセージ認識情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
ここで、前記メッセージ情報は、テキストデータまたは付随画像データであるのが好ましい。
【００２２】
また、本発明に係る画像検索方法は、コンピュータグラフィックス画像に対して、このコンピュータグラフィックス画像を作成する際に用いた編集データを、当該コンピュータグラフィックス画像の画像データに付属させて記憶し、前記コンピュータグラフィックス画像に対して、特定の幾何学図形、特定の物体および特定の色の少なくとも一つの存在の有無、またはその位置、大きさおよび向きの少なくとも一つにより前記コンピュータグラフィックス画像のシーンを指定し、指定されたシーン指定データをコンピュータグラフィックスコマンドに変換して、変換されたコンピュータグラフィックスコマンドと選び出された前記記憶画像データに付属している前記編集データとの一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００２３】
ここで、前記コンピュータグラフィックス画像は、時間的に連続性を有するコンピュータグラフィックス画像であり、
前記付属情報は、前記編集データに加え、前記時間的に連続性を有するコンピュータグラフィックス画像に対して、所定の時間またはフレーム数の間隔で、前記特定の幾何学図形および前記特定の物体の少なくとも一つについてのフレーム間における位置の比較に基づき、前記特定の幾何学図形および前記特定の物体の少なくとも一つに対応する画像の移動方向を求めることによって得られた、前記特定の幾何学図形および前記特定の物体の少なくとも一つおよびその画像の移動方向であり、
前記検索条件として、前記時間的に連続性を有するコンピュータグラフィックス画像に対して、所定の時間またはフレーム数の間隔で、特定の幾何学図形および特定の物体の少なくとも一つの存在の有無、またはその位置、大きさおよび色の少なくとも一つとその動きベクトルの方向の概略を指定するのが好ましい。
【００２４】
また、本発明に係る画像検索方法において、前記指定工程は、記号、言語および音声の少なくとも一つによって指定する工程と、指定された記号、言語および音声の少なくとも一つを前記特定の情報またはその付属情報に自動変換する工程とを有するのが好ましい。
【００２５】
なお、本発明に係る画像検索方法においては、画像データ中の検索条件に合致するエリアを、時間的に優先して表示するようにすることが好ましい。また、画像データ中の検索条件に合致するエリアを、それ以外のエリアとは異なる画像処理により強調表示するようにすることも好ましい。
【００２６】
さらに、本発明に係る画像検索方法においては、表示端末の表示能力に応じて画像データの加工を行うことが好ましい。また、検索した画像エリアをエリア単位で管理し、アクセス頻度に応じて、検索時参照優先順位を設定するようにすることが好ましい。また、検索した画像エリアをエリア単位で管理し、アクセス頻度に応じて、データ記憶時の解像度を設定するようにすることが好ましい。
【００３０】
【発明の実施の形態】
本発明に係る画像検索装置を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００３１】
図１〜図３は、それぞれ本発明の一実施例に係る画像検索方法を説明するための図である。図１は画像データ源から供給され、図示しないデータベース等の記憶手段にその画像データが記憶される原画像１０を示している。図２は、この原画像１０を検索する際に、ユーザが、図示しない画像指定装置によって指定された、例えば、タブレット上でペンなどを用いて手書きで入力した、もしくは画像入力装置や画像表示装置にマウスやキーボード等を使って入力または表示・入力された検索用指定パターン２０を示している。また、図３は、本実施例に係る画像検索方法のプログラムが、パターンマッチングなどの手法により、図１に示した原画像１０中から予め定められた特定の幾何学的図形（円，楕円，３角形，４角形などの図形、以下、特定図形という）を抽出した結果３０を示している。
なお、前述の特開平９−１３８４７１号公報に開示されているエッジ追跡手法などを用いて、各種の特定形状を検出することも可能である。
【００３２】
図１に示す原画像１０中において、１１は３角形状の山を、１２および１３はそれぞれ人物の顔および胴体を、１４はビルディングを示している。また、図２に示す検索用指定パターン２０では、ユーザが、図１に示す原画像１０を検索する目的で、山を象徴する３角形２１と、人物を象徴する２つの楕円（すなわち、顔と胴体）２２，２３と、ビルディングを示す縦型の４角形２４とを、それぞれが存在すると思われる位置対応に配置した状況を示している。
【００３３】
なお、図３では、図１に示した原画像１０中から、本実施例に係る画像検索方法のプログラムが抽出した図形を、実線で示す原画像１０に重ねて点線で示している（しかし、分かり易くするために部分的に点線をずらして示している）。ここで、３１は原画像１０中の３角形状の山１１に対応するもの、３２および３３はそれぞれ同人物の顔と胴体１２および１３に対応するもの、３４は同ビルディング１４に対応するものである。また、図３の右端のビルディングの窓部分にかかる４角形３５と、その下方の楕円形３６は、プログラムが誤検出したものである。
【００３４】
ここで、本発明の画像検索方法の対象となる原画像１０は、画像データとして供給されるものであれば、特に限定的ではなく、例えば、画像入力装置や画像取得装置などによって入力または取得された画像、あるいは画像供給源から供給された画像、すなわち、従来型カメラによってネガフィルムやポジフィルム等の写真フィルムに撮影された画像や写真プリントや印刷画像などのようにスキャナ等の画像読取装置によって読み取られる画像、デジタルスチルカメラやビデオカメラなどによって撮影された画像、Ｘ線撮影装置やＣＲ装置やＣＴ装置やＭＲＩ装置などのような医療用診断画像撮影装置で撮影された画像、コンピュータグラフィックス画像（以下、ＣＧ画像という）などのようなコンピュータ等で作成された画像などを挙げることができる。また、後述するように、従来型カメラやデジタルスチルカメラなどで連続撮影（連写）された時間的に連続性を有する画像（以下、動画像という）、ビデオカメラなどで撮影された動画像（以下、ビデオ画像という）、テレビジョン放送の動画像（以下、テレビ画像という）、このようなビデオ画像やテレビ画像やＣＧ画像等のような音声情報を有する画像、さらには文字、マーク、顔画像、キャラクタ画像等のメッセージ情報を付した画像などであっても良い。
【００３５】
なお、図２に示す検索用指定パターン２０としては、異なる特定図形の組み合わせ、あるいは同じ特定図形の大きさを変えた組み合わせなどを用いることができる。また、ユーザが画像表示装置にマウスやキーボードを用いて描画し、または、タブレットなどの画像指定装置を用いて具体的な形状で直接検索用指定パターン２０を指定する以外にも、文字や記号やマークなどのキーワードで指定したり、音声で入力し、入力された音声を認識して具体的な形状に自動変換して指定するなど、間接的に指定する方法も利用できる。
例えば、図２において、特定図形で入力する代わりに、ユーザが概略位置をタブレットや画像表示装置上で概略位置を囲み、この囲みの中に文字や記号やマークを入力する。例えば、「山」と文字入力すれば、「山」を三角形探索に自動変換して処理する。同様に、「ビル」および「人」と文字入力すれば、それぞれ四角形探索、および顔や人物探索に変換して処理する。なお、記号やマークで指定する場合には、ラボなどのように大量の付属情報付画像のデータベースを保有するサイトやセンタ（データベース機関）およびそのデータベースを利用するユーザが記号やマークを設定できるようにしておくのが好ましい。こうして、ユーザによる記号指定やマーク指定を特定図形や後述する特定の主要被写体や人物や物体などに自動変換する処理を行うことができる。
【００３６】
ここで、検索用指定パターン２０として用いられる特定図形は、画像中に存在する特定の情報に相当するものであれば良く、上述したように、円，楕円，３角形，４角形などのようなシンプルな図形が検索が容易である点から好ましいが、本発明では、これに限定されず、その他の、すなわち五角形以上の多角形、星形や星型（☆）のようなキャラクタ、異形や、直線や曲線およびその組み合わせな等の多様な図形など、画像中に存在する図形であればどのようなものでも良い。なお、検索用指定パターン２０は、特定の図形そのものを指定するものに限定されず、その図形の中心位置、大きさ、向き、頂点、色などの少なくとも一つであっても良い。
また、本発明に用いられる特定の情報は、上述した特定図形に限定されず、例えば、後述するように、画像中に存在する特定の被写体、画像中に存在する特定の人物の顔画像と画像に付随する特定の人物名からなる人物情報、画像に付随する音声情報、文字やサイン等の手書き文字等のテキストデータやマークや撮影画像やＣＧ画像等の参照用画像等の画像データからなるメッセージ情報、特定の図形や特定の色や特定の物体を描画するＣＧコマンドなどのＣＧ画像を作成する時に用いた編集データ等であっても良い。
【００３７】
以下、本実施例に係る画像検索方法における準備動作としての、図１に示す原画像１０中から予め定められた特定図形を抽出する動作の一実施例の概要を、図４に示す動作フロー図の一例に従って説明する。
【００３８】
図４に示すように、まず、始めに、ステップ４０１で原画像１０が図示しない画像データ供給源から画像データとして読み込まれると、次に、ステップ４０２で予定められている特定の幾何学的図形（特定図形）に類似した形状を有する領域が上述したパターンマッチングやエッジ追跡手法などを用いて抽出される。続いて、ステップ４０３で、抽出領域を関連情報として数値化し、後述するようなそれらの領域の特性値が算出されて、ステップ４０４で、得られた特性値が付属情報として図示されていないデータベースなどの記憶手段内に記憶される。ここで、ステップ４０２〜４０４においては、原画像１０中の特定図形の中心位置、サイズ（大きさ）、向きなどの各種特性値が認識され、順次、付属情報としてデータベースに記憶される。
【００３９】
付属情報として用いられる各種特性値としては、例えば、円の場合は中心位置の他サイズとしての直径が、楕円であれば中心位置の他サイズとしての長径，短径が、３角形であれば３つの頂点の座標が、また、４角形であれば中心位置の他Ｘ軸幅，Ｙ軸幅などが、それぞれ採用される。もちろん、本発明の画像検索方法においては、上述の各種特性値の取り方自体は何等限定されるものではない。なお、原画像１０がカラー画像である場合には、付属情報として特定図形の色等の関連情報を用いても良い。
さらに、本発明において用いられる付属情報としては、特定図形の中心位置，サイズ（大きさ）、向きなどの各種特性値や色等の関連情報に限定されず、後述するように、特定の被写体や特定の人物の位置、サイズ、向き、色等の関連情報であっても良いし、動画像中の特定図形、特定の被写体、特定の人物の情報および動画像の複数のフレーム間における特定図形、特定の被写体、特定の人物の移動方向、音声情報自体、メッセージ情報自体、ＣＧコマンドなどのＣＧ画像作成用編集データ自体であっても良い。
【００４０】
表１に、図１に示した原画像１０から、上述の特定図形を抽出した結果の一例を示す。表１は、本実施例に係る画像検索方法のプログラムが、パターンマッチングなどの手法により、原画像１０中から、楕円の領域を３個、３角形の領域を１個、４角形の領域を２個抽出したことを示している。なお、前述のように、楕円の領域の１個、４角形の領域の１個は、誤検出結果である。
【００４１】
【表１】
【００４２】
次に、本発明の画像検索方法に従って、上述の記憶されているデータに基づいて画像を検索する動作の流れを、図５に基づいて説明する。
まず、始めに、ステップ５０１で検索条件として、検索用指定パターン２０を読み込む。次のステップ５０２において、読み込まれた検索用指定パターン２０を前述と同様にして数値化し、特性値に変換して、テーブル化する。この手順では、特定図形の位置、サイズ、向き等の特性値や色などを直接入力してもよい。次に、ステップ５０３で、原画像データベース（ＤＢ）から検索対象として原画像を読み込む。続いて、ステップ５０４でテーブル化した検索用指定パターン２０と比較照合する。
【００４３】
この照合は、検索用指定パターンテーブルの各列，各行を順次行う。例えば、検索用指定パターンの複数の特性値等がテーブルの１行に並べられている場合、まず、ステップ５０４で，テーブルの第１行の各列に配列されている第１の指定パターンの各特性値をデータベースから読み出された原画像に付属情報として付属している特性値を比較照合して、ステップ５０５で一致不一致の判断を行い、一致するものがあればステップ５０６で検索結果として取り出す。
【００４４】
一方、ステップ５０５での判断が不一致であれば、ステップ５０６をバイパスして、ステップ５０７に進み、次の行に移る。次に、ステップ５０８で検索用指定パターンテーブルに次の行があるかどうか判断し、次の行が存在していれば、ステップ５０４に戻り、次の行の比較照合を行い、ステップ５０４〜ステップ５０８を繰り返す。ステップ５０８の判断で次の行が存在していなければ、検索対象の一つの原画像の照合を終了し、ステップ５０９に進み、次の検索対象となる原画像に移る。次に、ステップ５１０で次の原画像があるかどうか判断し、次の原画像が存在していれば、ステップ５０３に戻り、次の原画像について検索を行う。ステップ５０８の判断で次の原画像が存在していなければ、検索対象の全ての原画像の検索を終了する。
このようにして、本発明の検索方法は実施される。
【００４５】
ここで、検索用指定パターンの複数の特性値などがテーブルの１列に並べられている場合、上記照合は、列単位で行われ、一つの検索用指定パターンがある行と列との塊を単位として配列されている場合には、その一塊を単位として行われる。
なお、ここでは、簡単に「ステップ５０５で一致するものがあれば、ステップ５０６で取り出す」と説明しているが、実際には、完全に一致することは少ないので、後述するように一致度を定義して、ステップ５０４で一致度を算出し、ステップ５０５で、算出した一致度が、所定の閾値を超えたものを、一致したものとするのがよい。
【００４６】
なお、ユーザが入力・指定した検索用指定パターン２０は、例えば、表２に示すような形で、テーブル化されたデータとして、図示されていない記憶部に記憶される。また、ここでは、楕円だけについて例示したが、他の図形についても同様なデータが作成される。そして、このデータを基にして、上述のように、この検索用指定パターンに適合する原画像の検索が行われる。
【００４７】
【表２】
【００４８】
以下に、上述の、一致度の計算式の一例として、楕円の場合を示す。
【数１】
ここで、Ｆ｛Ｘ｝値は入力値Ｘが小であるほど大となる特性とする。
【００４９】
ここで、Ｉは１〜付属情報に存在する個数Ｉmax 、Ｊは１〜検索時のパターン個数Ｊmax 、ｋ１〜ｋ３は係数である。
また、検索パターンの番号Ｊに関する点数：
Ｐ（Ｊ）＝max （Ｄ（Ｉ，Ｊ) ）
全画面に置ける点数：
Ｐtotal （Ａ：楕円）＝Σ（Ｐ（Ｊ））
Ｊ＝１〜Ｊmax
である。
【００５０】
上記説明では、一例として、楕円形の場合について説明したが、この他の図形についても、ステップ５０４で同様の一致度計算を行う。
例えば、楕円に関する一致度をＰtotal （Ａ）、３角形に関する一致度をＰtotal （Ｂ）、４角形に関する一致度をＰtotal （Ｃ）と表わすとすると、図２のケースでは、コマの一致度：Ｐtotal （ＡＬＬ）＝Ｐtotal （Ａ）＋Ｐtotal （Ｂ）＋Ｐtotal （Ｃ）となる。
【００５１】
なお、本発明にいう特定図形は、上記幾何学図形に限定されるものではなく、上述したように、その他の多角形，星型（☆）のようなキャラクタ，直線，曲線およびその組み合わせなど、多様な図形を用いることを含むものである。
また、計算結果を基に、一致度のポイント順に、検索された画像をサムネイル表示するようにしてもよい。
【００５２】
検索時の指定パターンには、ＡＮＤ条件モードとＯＲ条件のモードを設定することが可能である。例えば、以下のようにする。
（１）ＡＮＤ条件モード時：関数Ｆ｛Ｘ｝は、入力Ｘが所定値以下の場合、負の値となる特性を持たせる。
例えば、検索指定パターンの位置に指定した図形が存在すれば正の値、存在しない場合は負の値となる。外れた場合、全体の一致度点数は低下する。
【００５３】
（２）ＯＲ条件モード時：関数Ｆ｛Ｘ｝は、０以上、または、正の値となる特性を持たせる。
例えば、検索指定パターンの位置に指定した図形が存在すれば正の値、存在しない場合は０となる。外れた場合でも、全体の一致度点数は低下しない。
【００５４】
なお、上述した例では、全ての検索用指定パターン２０の中心位置等の位置、サイズ、向き等の複数の特性値を検索条件として、読み出された原画像の付属情報と比較照合しているが、本発明はこれに限定されず、検索用指定パターン自体の存在の有無のみを検索条件にしても良いし、特性値の内の位置、サイズ、向きおよび色の少なくとも一つの要素や項目を検索条件としても良いし、特性値の他指定パターンの色（色味）を検索条件としても良いし、複数の検索用指定パターンの少なくとも一つを用いても良い。
【００５５】
ただし、検索条件として検索用指定パターン自体の有無が指定される場合や指定される要素や項目や指定パターンが少ない場合には、検索に要する時間は短くなり、ヒットして取り出される原画像の数は増加し、その中に目的とする原画像が含まれている可能性は高いが、検索の精度は低下する。一方、指定される要素や項目や指定パターンが多ければ多いほど検索の精度は向上し、目的の原画像のみがヒットして取り出される可能性があるが、検索時間が長くかかり、要素や項目や指定パターンが正確でないと、ヒットする原画像がないという結果になる虞もある。このため、本発明の検索においては、検索の確実性および精度を考慮して、指定する要素や項目や指定パターンの数を適宜選択すれば良い。
【００５６】
この時、検索指示のユーザインターフェースとして、特定図形などの特定の情報の存在の有無のチェックのみか、または、さらにその位置、大きさ、向き等の特性値や色などをそれぞれ利用するか、また、これらの特性値や色などの種々の項目や要素の関連付けとして、これらの項目や要素をそれぞれ単独で使うか、２つ以上組み合わせて使うかというモードの設定をユーザが指定できるようにしておくのが好ましい。
例えば、上述した数１に示す数式において、係数ｋ１およびｋ２を０として、一致度計算から除外するようにしても良い。
【００５７】
本実施例に示した画像検索方法によれば、タブレットに大まかな図形を描くとか、キーボードから図形の名称や記号を入力するとか、これらを音声入力するといった簡単な指示方法により、指示に適合する画像を検索することが可能になるという効果が得られる。本発明においては、簡単な指示方法により指示された図形や名称（言語）や記号や音声による指定は、特定図形に自動変換され、所要の特性値に数値化され、色味など変えられる。
【００５８】
次に、本発明の他の実施例を説明する。
前述の実施例では、特定の情報として特定図形を用いて検索対象となる特定図形の位置や大きさや向きや色等を付属情報としたが、本実施例では、特定の情報として特定の主要被写体（以下、特定被写体という、ここでは、人物を例に挙げる）とし、その位置や大きさや向きや色などを付属情報として検索を行う点を特徴とするものである。
【００５９】
図６に、検索時の特定被写体指定例６０を示す。ここでは、被写体を人物と設定した後、例えば、楕円形などの単純な図形６１を用いて、その存在の有無、またはその位置や大きさや向きや色の少なくとも一つを指定する。
図７に、上述の指定に対応する検索結果の一例を示す。この例では、人物の位置や大きさのみに基づいて、検索が行われた結果、目的とする画像７０が検索された例を示している。
【００６０】
本実施例に示した画像検索方法によれば、検索対象が人物である場合に、その人物自体、またはその位置や大きさや向きの少なくとも一つを、タブレットで大まかに示すとか、キーボードから人物自体の有無、または人物の位置や大きさや向きの少なくとも一つを入力するといった簡単な指示により、指示に適合する画像を検索することが可能になるという効果が得られる。
【００６１】
なお、人物の位置や大きさに加えて、この人物の服装を色で表現した情報を付加することにより、人物の胴体部分を検索する際に、その色味をチェックするようにすれば、検索の効率が大幅に向上する可能性がある。また、複数の人物の特徴を組み合わせてもよい。
【００６２】
応用分野によっては、特定図形または特定被写体について、位置がほぼ固定的である場合があるが、そのような場合には、大きさまたは大きさと向き、さらには色を付属情報として記録すればよい。
また、特定図形または特定被写体について、大きさがほぼ固定的である場合には、位置または位置と向き、さらには色を付属情報として記録すればよい。
【００６３】
本発明のさらに他の実施例を説明する。
前述の各実施例では、静止画像を検索対象としていたが、本実施例では、動画像を検索対象として、特定図形または特定被写体（人物）の当初の位置や移動方向を付属情報とし、これらを指定して検索を行う点を特徴とするものである。
【００６４】
図８に、検索時の特定被写体指定例８０を示す。ここでは、特定被写体を人物と設定した後、その特定被写体８１の移動方向（ベクトル）８２を矢印で指定する。
図９に、上述の指定に対応する検索結果の一例を示す。この例では、人物の当初の位置や大きさのみに基づいて、検索が行われた結果、目的とする動画像９０ａ，９０ｂが検索された例を示している。
【００６５】
本実施例においては、付属情報の登録を行う際に、動画像のフレーム内で抽出した指定図形（特定図形）または指定被写体（特定被写体）が、所定フレーム後にどのように移動しているかの追跡を行い、そのベクトル情報を付属情報に含めて記憶するようにする。検索を行う際には、指定の図形およびその動きベクトル（大きさおよび方向の少なくとも一方）に基づいて、付属情報とのマッチングを行う。
【００６６】
他の方法としては、付属情報をフレーム単位で作成する方法が可能である。すなわち、検索を行う際には、フレーム単位で指定図形（特定図形）または被写体を検出した場合、そのフレームから所定時間後（あるいは、その中間フレーム）のフレームに該当する位置（この位置は、指定した動きベクトルから求める）に指定図形が存在するか否かを、付属情報とのマッチングによりチェックするという方法である。
【００６７】
本実施例に係る方法においては、プログラムは入力のシーンの指定情報を、シンプルな形状とその動きに解読し、データベース内の各画像の付属情報との一致度を計算する。計算結果は、ポイント順に、該当する動画像のコマ表示により出力（サムネイル表示）する。
【００６８】
上記実施例に示した画像検索方法によれば、検索対象が動画像中の人物である場合に、その当初の位置や移動方向を、タブレットで大まかに示すとか、キーボードから入力するとか、音声入力するといった簡単な指示により、指示に適合する動画像を検索することが可能になるという効果が得られ、例えば、ビデオ編集における大まかなシーン記述での画像検索が容易になる。
【００６９】
本発明のさらに他の実施例を説明する。
前述の各実施例では、音声情報を含まない画像を検索対象としていたが、本実施例では、動画像などの音声情報を含む画像を検索対象として、音声情報の概略を付属情報に含めるようにして、検索を行う際には、音声情報の概略を指定して検索を行うというものである。
【００７０】
例えば、人物を被写体とする動画像において、動きの情報に加えて音声情報を取り込み、音声変換により、その内容をデータベースに記憶する。これにより、検索時のキーワードとして、例えば、被写体：人物、音声情報：学校と指定することにより、シーンとして、人物が存在し、かつ、学校という単語に関連するシーンが検索される。なお、動画像に限らず、静止画像に音声情報を付加したものを検索対象としても良い。
【００７１】
本実施例に示す画像検索方法によれば、検索対象が音声情報を有する場合に、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られ、被写体の動きのみならず、その発言内容などからの検索が可能になり、ビデオ編集の際などに有効である。なお、もちろん、これ（音声情報）に加えて、特定図形または特定の主要被写体（人物）の各種の情報を追加指定するようにしても良い。
【００７２】
本発明のさらに他の実施例を説明する。
本実施例においては、画像中の特定の人物を人物同定処理を用いて同定することを特徴とするものである。すなわち、予め、特定の人物の顔画像と人物名を付属情報として登録しておき、検索を行う際には、上述の登録されている人物の内から必要な人物を顔画像または人物名により指定して、検索を行うというものである。
【００７３】
具体的には、顧客が予め名前と顔画像を組み合わせて、Ｎ人分の情報を登録する。ここで、画像中の特定の人物を人物同定処理を用いて同定する際には、例えば、電子情報通信学会論文誌Ｖol．Ｊ80−Ｄ-II Ｎo.8,pp.2218-2224小杉等による「粗密濃淡モザイク特徴をキーとした類似顔画像の検索」、同 pp.2225-2231 相馬等による「取得過程の極端に異なる顔画像の照合」等に記載されている技術が適用可能である。
【００７４】
ラボに持ち込まれた画像に対して、上記処理により、顔抽出および人物同定を行い、付属情報を作成する。すなわち、各コマに誰が写っているかを表わす付属情報を、画像データに付加して記憶する。もちろん、ここで、人物の位置や大きさの情報を含めてもよい。顧客が、人物名を指定して検索を依頼したときには、付属情報から該当する人物が写っている画像コマを取り出す。
【００７５】
本実施例に示した画像検索方法によれば、検索対象となる人物の顔画像と人物名が対応付けられて付属情報化されるので、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られ、例えば、家族の名前で、思い出のある写真を容易に検索することが可能になる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができる。
【００７６】
また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
さらに、上述のラボと顧客のパソコン（パーソナルコンピュータ）を通信回線で接続しておけば、上述の処理を、オンラインにより、より迅速に行うことが可能になる。
【００７７】
本発明のさらに他の実施例を説明する。
前述の各実施例では、撮影画像などを検索対象としていたが、本実施例では、パーソナルコンピュータ（ＰＣ）などで作成されたコンピュータグラフィックス（ＣＧ）画像を検索対象とし、単純な図形や大まかな色や特定の物体によりシーンを指定して、ＣＧ画像の作成・編集データを用いて検索を行う点を特徴とするものである。
【００７８】
本実施例においては、このＣＧ画像を作成した時の編集データを特定の情報とするとともに付属情報として当該ＣＧ画像に付属させてデータベースに記憶させる。すなわち、データベース機関では、ＣＧ画像と編集データをセットで蓄積しておく。ここで、編集データは、ＣＧ画像中の単純な図形や大まかな色や人物や動物や自動車や建物などの特定の物体を作成した時のそれらの図形や色や物体を表すＣＧコマンドであるのが好ましい。
本実施例における検索においては、ユーザ（顧客）が、単純な図形や大まかな色や人物や動物や自動車や建物などの特定の物体によりシーンを指定する。この指定は、手書き、描画ソフトウェアやＣＧソフトウェア等によって指定するのが良い。
【００７９】
次に、データベース機関では、データベース処理装置において、ユーザからのシーン指定データをＣＧコマンドに変換する。ここで、ユーザがシーン指定した図形の形状や、位置、サイズ、向き等の特性値や、色などを所定パターンに分類しておくのが好ましい。
続いて、変換したＣＧコマンドと、データベース内のＣＧ画像に付属情報として付随しているＣＧ編集データとの間で、一致度や類似度を計算し、付属情報とのマッチングを行う。なお、計算結果は、ポイント順に、該当するＣＧ画像のコマ表示により出力（サムネイル表示）するようにしても良い。
【００８０】
本実施例に示す画像検索方法によれば、検索対象となるＣＧ画像の作成・編集データを付属情報として用いることにより、ＣＧ画像検索処理での演算量を低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ精度良く検索することが可能になるという効果が得られる。なお、対象ＣＧ画像は、静止画像だけでなく、動画像も対象とすることができる。ＣＧ動画像を検索対象とする場合には、前述と同様に、特定の図形や物体と、その移動ベクトル（その大きさおよび方向の少なくとも一つ）を指定するのが良い。また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
【００８１】
本発明のさらに他の実施例を説明する。
本実施例では、メッセージ情報を備える画像を検索対象とし、画像検索用に画像に付随するメッセージ情報をチェックし、検索を行う。
本実施例においては、前述した音声情報を持つ画像を検索する場合と同様に、画像に付随するメッセージ情報を特定の情報とするとともに付属情報として当該画像に付属させてデータベースに記憶させる。
【００８２】
ここで、画像に付属する付属情報としては、メッセージ情報として画像に合成したテキストデータ、またはマークや撮影画像やＣＧ画像等の画像データを用いるのが好ましいが、前述した音声情報のように、画像中ではなく画像に付随させたテキストデータや画像データ、例えば、プリント画像の裏面側に、白縁のあるプリント画像ではその白縁の部分に記録（合成）したテキストデータや画像データを用いても良い。
例えば、テキストデータとしては、ワードプロセッサ等の印刷文字データやサイン等の手書き文字データなどを用いることもできるし、画像から文字抽出を行って得られた文字データを用いることもできる。
【００８３】
本実施例における検索においては、ユーザ（顧客）が、メッセージ情報を、文字自体、その内容、筆跡の形状（サイン等の場合）などで指定したり、メッセージ情報として登録されている参照用画像を選択することにより、指定し、マッチング処理を行う。
例えば、文字自体を検索するモードでは、前述の特定図形を用いた検索での特定図形の特性値や色等の指定と同様に、文字自体の有無、文字の位置、サイズ、向き、色等の少なくとも一つを用いて指定し、一致度を計算して一致した画像を選び出すマッチング処理を行えばよい。また、文字検索モードでも、文字の内容を指定する場合には、指定された漢字などの文字の内容を解釈して、マッチング処理を行えば良い。また、サイン等の手書き文字の場合には、筆跡の形状を指定して、マッチング処理を行えば良い。
【００８４】
さらに、参照用画像を用いて検索する場合には、ユーザが、メッセージ情報として登録されたマークや撮影画像やＣＧ画像等の複数の参照用画像の中から参照用画像のエリアを指定したり、予め用意された図柄パターンを選択する等によって、一つ以上の参照用画像を選択して指定し、画像マッチングを行えば良い。
なお、マッチング処理における一致度の計算結果は、ポイント順に、該当する画像のコマ表示により出力（サムネイル表示）するようにしても良い。
【００８５】
本実施例に示す画像検索方法によれば、検索対象となる画像に付随するメッセージ情報として、文字などのテキストデータや参照用の画像データを用い、文字自体の特性値や色、または、その内容や筆跡の形状などの指定するなどの簡単な指定方法により、予め登録されている参照用画像をエリア指定や図柄パターンの選択等による指定などの簡単な指定方法により、指定に適合する画像を検索することが可能になるという効果が得られる。
【００８６】
上記各実施例において、検索結果の画像を表示する際には、例えば、背景などの動きのない部分を除いて、検索条件指定に合致するエリアを優先して表示するようにするとよい。あるいは、検索条件指定に合致するエリアを他のエリアとは異なる、例えば、輝度強調，ブリンク（点滅）などの特別な画像処理結果の強調表示により表示することも有効である。
【００８７】
上述のような表示方法を採用すれば、検索した画像を、モニタなどに転送する際の転送データ容量を大幅に削減できるので、表示の応答速度が向上し、使い勝手がよくなるという効果がある。また、表示画面内の目的とする画像の見やすさが向上し、やはり使い勝手がよくなる効果がある。
【００８８】
また、表示を行う際に、表示装置の表示能力をチェックして、その能力に応じた画像データに加工して表示させるようにすることも好ましいことである。またさらに、データベース上で、検索したエリアをエリア単位で管理するようにしておき、アクセス頻度に応じて、検索時の参照優先順位を設定することや、データ記憶時の解像度を設定することも有効である。
【００８９】
この方法では、例えば、顧客が携帯用端末からデータベースのあるセンタ（データベース機関）にアクセスしたような場合に、顧客の携帯用端末の表示能力に関する情報をＩＤと共に転送するようにして、センタからのデータ転送の際に、必要に応じて、画像圧縮や２値化、線画化、トリミング（主要被写体のみの切り出し）などの画像データ加工を行う。
【００９０】
上述のような画像表示時の処理を効率的の行うことにより、データ通信量の低減が可能になると共に、携帯用端末における画像表示までの時間が短縮され、さらに、表示画像の見やすさが向上するなどの効果が得られる。
【００９１】
上述の、各種の付属情報を具備した画像データの管理を行う場合には、画像を被写体毎に領域分割して、各分割エリア毎にラベルを付けて登録することが好ましい。そして、ラベルを付けた部分のみを切り出してファイル化するようにすれば、データ容量の削減に大きな効果があるばかりでなく、検索の際の速度の向上にも、大きな効果がある。また、例えば、上述のラベルを付けた部分の画像のみを、高解像度で記憶し、その他の領域は画像圧縮して記憶するなどの方法を用いることも可能である。
【００９２】
各領域の付属情報としては、画像ファイル名，位置（中心，輪郭画素），色などの特性、および、通算アクセス回数／ヒット回数などが挙げられる。これらを用いて、例えば、アクセス頻度に応じて、記憶手段内での記憶階層の制御を行うようにすれば、検索の際の速度の向上にさらに大きな効果がある。また、利用頻度の高いデータは、個別に保存するようにして、より利用しやすくすることも可能である。
【００９３】
以下、上述のような、本発明に係る画像検索方法を応用した、画像処理方法を説明する。第１の方法は、ラボにおける最初のプリント処理（いわゆる、同時プリント）や先の再プリント処理（これらを代表して先のプリントという）時に、プリント画像中の特定図形または被写体等の特定の情報を抽出して、抽出された特定情報やその関連情報（特性値や色）を付属情報として、プリントのための画像データおよび画像処理のパラメータと共にデータベース等の記憶手段に記憶させておくというものである。
【００９４】
この画像が含まれるフィルムの再プリントまたは後の再プリント（これらを代表して後のプリントという）の依頼があった場合には、顧客が指定した画像コマから特定図形または被写体等の特定の情報を抽出して、先に記憶させた付属情報との一致度の大きいもの（所定の閾値を超えるもの）の画像の先のプリント処理時の画像処理条件（処理パラメータ）により、後のプリントの処理を行うようにする。
【００９５】
この画像処理方法によれば、後のプリント時に顧客が持参したフィルム中の画像から、先のプリント時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れたプリントを行うことが可能になるという効果が得られる。なお、上記処理は、写真フィルムだけではなく、ＤＳＣ（デジタルスチルカメラ）などの撮影画像記録媒体などのようにプリント用画像データが記録されたスマートメディアやＭＯやフォトＣＤ等の画像記録媒体でも、同様に適用できる。
【００９６】
また、顧客が、再プリントの注文時に、写真フィルムまたは撮影画像記録媒体の撮影画像データではなく、同時プリント時の写真プリントのみを持ち込んだ場合には、そのプリントをスキャナで読み取り、画像検索用の特定図形等の特定の情報の抽出処理を実行して、抽出された特定の情報やその関連情報を検索条件として、データベース内の同時プリント時に記録した写真フィルムからの読取画像データを検索して類似度の計算（マッチング処理）を行い、該当するコマを取り出し、プリント処理においては、該当コマに対応する同時プリント時の読取画像データと処理パラメータとを読み出し、これらを用いて、プリント処理を行ってもよい。
【００９７】
第２の方法は、１本のフィルムストリップ（いわゆる、１件の写真フィルム）内、または１枚の撮影画像記録媒体内、もしくはユーザ（顧客）が一時に注文した１本または複数の写真フィルムまたは１枚または複数の撮影画像記録媒体（いわゆる、１回の注文）内での焼き付けのバラツキ（変動）を防止可能とするための方法である。すなわち、１件または１回の注文（これらを代表して１注文という）の写真フィルムや撮影記録媒体内で、特定図形または被写体等の特定の情報が類似した構図（各図形の配置やサイズや向きや色）である場合は、１注文に属するこれらのコマ間で、仕上がりの色調，濃度などを揃えるように画像処理を調整するのが良い。
【００９８】
本実施例によれば、画像の構図に基づいて類似画像を判別するので、色や濃度の影響を受けにくくなり、これにより、１注文の写真フィルムや撮影画像記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。
【００９９】
以上のような本発明に係る画像検索方法および画像処理方法は、それぞれ図１０に示すような画像検索装置およびこれを用いるプリントシステムによって実施することができる。
同図に示すプリントシステム１００は、上述した本発明の画像検索方法を実施する画像検索装置（以下、単に検索装置という）１０２と、検索装置１０２に接続され、検索装置１０２と共に、本発明の画像処理方法を実施するフォトプリンタ１０４と、検索装置１０２にインターネット等の通信網によってオンライン接続され、本発明に係る画像検索方法および画像処理方法の実施およびプリント出力の依頼を行うことができるユーザ端末１０６とを有する。
【０１００】
まず、画像検索装置１０２は、画像の画像データと共に、画像に存在およびまたは付随する特定情報自体または特定情報の関連情報などを画像データの付属情報として蓄積記憶する画像データベース（以下、単にデータベースまたはＤＢという）１０８と、データベース１０８に記憶するために特定情報自体または特定情報の関連情報を付属データとして取得する付属情報取得部（以下、単に取得部という）１１０と、検索条件として付属情報の少なくとも一部を指定する付属情報指定部（以下、単に指定部という）１１２と、この指定部１１２によって指定された検索条件に基づいてデータベース１０８を検索して、選び出された画像データに付属している付属条件と、検索条件として用いた付属情報の少なくとも一部との一致度を求めて、所定値以上の一致度を持つ画像を読み出す画像検索部（以下、単に検索部という）１１４と、検索部１１４による検索結果や読み出された画像を表示する表示部１１６とを有する。
【０１０１】
また、フォトプリンタ１０４は、ネガやリバーサルなどのフィルムＦからフィルム画像の画像データを読み取る、あるいはデジタルカメラによる撮影画像の画像データ記録媒体Ｒから画像データを読み取る、もしくはＣＧ画像作成装置１１７などの画像データ供給源から画像データを受け取る画像入力部１１８と、画像入力部１１８から受け取った画像データを分析して良質のプリント作成のために画像データを処理する画像処理条件を設定し、設定された画像処理条件または検索装置１０２から受け取った画像処理条件に従って、画像入力部１１８または検索装置１０２から受け取った画像データを画像処理する画像処理部１２０と、画像処理部１２０によって画像処理された画像データを用いて写真感光材料などの記録材料に画像を記録（潜像焼付、現像定着）してプリントＰとして出力するプリント出力部１２２とを有する。なお、図示例では、画像処理部１２０は、画像データを取得部１１０に転送し、取得部１１０で得られた付属情報を受け取り、画像データに付属させてＤＢ１０８に転送し、蓄積記憶させる機能も有する。
【０１０２】
ユーザ端末１０６は、画像を表示可能な表示部１２４と、検索条件や画像や記号や言語やプリントの注文情報などを入力する入力部１２６と、画像や検索条件や注文情報を検索装置１０２に転送するインターフェース（Ｉ／Ｆ）１２８とを有する。なお、検索装置１０２の検索部１１４には、ユーザ端末１０６のＩ／Ｆ１２８から画像や種々の情報を受信するＩ／Ｆ１１５を有する。
【０１０３】
検索装置１０２においては、取得部１１０は、特定の幾何学図形、特定の被写体、メッセージ情報、特定の人物の顔画像からなる人物情報などの特定情報の概略をフリーハンドで入力するタブレット１３０と、特定の幾何学図形、特定の被写体、メッセージ情報、特定の人物の顔画像と人物名とからなる人物情報、ＣＧ画像の編集データなどの特定情報の概略や音声情報からなる特定情報の意味などをキーボードやマウスによるＧＵＩ（グラフィカルユーザインターフェース）を使って入力し、必要に応じてメッセージ情報などではその意味を認識して入力する入力部１３２、画像に付随する音声情報または画像に存在する特定情報の音声情報を入力し、その意味を認識して文字認識された特定情報に変換する音声認識部１３４と、これらのタブレット１３０や入力部１３２や音声認識部１３４から入力された特定情報の概略を用いて、フォトプリンタ１０４の画像処理部１２０から受け取った画像の画像データから特定情報を抽出する抽出部１３６と、抽出部１３６で抽出された特定情報から特定情報自体やその関連情報、例えば認識されたメッセージ情報および音声情報等の特定情報、特定の幾何学図形、特定の被写体、特定の人物の顔画像と人物名とからなる人物情報等の特定情報の位置、大きさ、向き、色、存在の有無、動画像の場合の特定情報の移動方向（移動ベクトルの方向）等の関連情報、ＣＧ画像の編集データ等の特定情報自体などや、音声認識部１３４や入力部で認識されたメッセージ情報および音声情報等の特定情報自体を、ＤＢ１０８に蓄積すべき付属情報として設定し、設定した付属情報を画像データに関係付け（て画像処理部１２０に転送す）る付属情報設定部（以下、単に設定部という）１３８とを有する。
【０１０４】
従って、フォトプリンタ１０４の画像処理部１２０は、取得部１１０の設定部１３８から伝送された付属情報を画像の画像データに付属させて、ＤＢ１０８に転送し、その状態で蓄積記憶させる。ここで、画像処理部１２０から抽出部１３６および／またはＤＢ１０８に転送される画像データは、画像処理前のものでも良いし、画像処理後のものでも良いし、両画像データは、同じでも異なっていても良い。なお、画像処理前の画像データであれば、画像入力部１２０から転送しても良い。
なお、ＣＧ画像の場合には、画像データに付属情報として付属させる編集データをＣＧ画像作成装置１１７から直接設定部１３８に転送しても良いし、画像データおよびこれに付属する編集データを直接ＣＧ画像作成装置１１７からＤＢ１０８に転送しても良い。
さらに、フォトプリンタ１０４からではなく、別のフォトプリンタや、画像読取装置（スキャナ）や、画像処理装置や、画像データ記録媒体のドライバなどの別の画像データ供給源から取得部１１０で付属情報を取得するための画像データやＤＢ１０８に蓄積するための画像データを受け取っても良い。また、同じ画像の画像データであれば、これらの２種の画像データの一方をフォトプリンタ１０４から、他方を別の画像データ供給源から受け取っても良い。
【０１０５】
検索装置１０２の指定部１１２は、取得部１１０で用いるタブレット１３０や入力部１３２や音声認識部１３４などやＣＧ作成装置１１７などを用いて、検索条件として付属情報の少なくとも一部、例えば、上記音声情報やメッセージ情報等の特定情報自体の概略、特定情報の存在の有無、位置、大きさ、向き、または移動ベクトルの方向、色等の関連情報の少なくとも１つを指定するものである。なお、指定部１１２で用いるタブレット１３０や入力部１３２や音声認識部１３４やＣＧ作成装置１１７などは、取得部１１０などで用いるものと同じであっても良いし、異なるものであっても良いし、さらには、取得部１１０と、指定部１１２を個別に設けるのではなく、共用し、１つで画像データの付属情報の取得と検索条件として付属情報の少なくとも１つの指定とを行っても良い。
【０１０６】
検索部１１４による検索の結果、ＤＢ１０８から読み出された画像データは、画像として表示部１１６に表示されるが、表示画像は、選び出された画像の確認ができれば良いので、特に高精細である必要はなく、ＤＢ１０８から読み出された画像データをそのまま表示しても良いのはもちろんであるが、高精細な画像が表示可能な表示部１１６であれば、フォトプリンタ１０４の画像処理部１２０で処理した後の高精細な画像を表示するようにしても良い。すなわち、表示部１１６を検索装置１０２とフォトプリンタ１０４とで共用しても良い。さらに、検索部１１４で選び出された画像データを確認するために、これを直接フォトプリンタ１０４のプリント出力部１２２に転送して、プリント出力するようにしてもよいし、別のプリンタや簡易型プリンタに転送して出力するようにしても良い。
【０１０７】
ところで、本発明の画像処理方法においては、フィルムＦや画像データ記録媒体Ｒがなくても、プリント（ハードコピー画像）Ｐがあれば、再注文プリントが可能である。このプリントＰから読み取られる画像データは、特定図形や特定被写体などの特定情報が、検索に必要な程度の画素密度（解像度）有していれば良いので、フォトプリンタ１０４の画像入力部１１８に備えられている反射原稿用スキャナで読み取っても良いし、全く別のスキャナや、簡便なスキャナでよみとって、得られた画像データを取得部１１０の抽出部１３６に直接転送しても良い。この時には、抽出部１３６で抽出された特定情報および／またはその関連情報をそのまままたは設定部１３８で付属情報に変換して、直接検索部１１４に転送しても良い。なお、この場合には、ＤＢ１０８から読み出された画像データに対しても、特定情報の抽出処理が行われるので、検索部１１４にＤＢ１０８から読み出された画像データを直接取得部１１０の抽出部１３６に転送しても良い。
さらに、１注文内の複数の画像中の特定図形や特定被写体等の特定情報の一致度を検索部１１４で算出する場合にも抽出部１３６による特定情報の抽出結果を直接検索部１１４に転送するのが良い。
【０１０８】
なお、上記各実施例はいずれも本発明の一例を示したものであり、本発明はこれらに限定されるべきものではなく、本発明の要旨を逸脱しない範囲において、改良や設計の変更をしても良いことは言うまでもない。
【０１０９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、原画像中に存在する被写体（人物や物体）の形状（特定の幾何学図形など）や特定の被写体自体等や原画像に合成されたまたは付随するメッセージ情報や音声情報などをキーとして、画像検索を効率的に行う画像検索装置を実現することが可能である。
【０１１０】
より具体的には、本発明に係る画像検索方法によれば、第１に、タブレットや画像表示装置に大まかな図形を描くとか、キーボードから図形の名称や記号を入力するとか、これらを音声入力するといった簡単な指示方法により、指示に適合する画像を検索することが可能になるという効果が得られる。なお、検索対象が人物である場合にも、同様に、その人物自体、またはその位置や大きさや向きの少なくとも一つを、タブレットや画像表示装置で大まかに示すとか、キーボードから人物自体の有無、または人物の位置や大きさや向きの少なくとも一つを入力するといった簡単な指示により、指示に適合する画像を検索することが可能になるという効果が得られる。
【０１１１】
第２には、検索対象が動画像中の人物である場合に、その当初の位置や移動方向を、タブレットなどで大まかに示すとか、キーボードから入力するとか、音声入力するといった簡単な指示により、指示に適合する動画像を検索することが可能になるという効果が得られ、例えば、ビデオ編集における大まかなシーン記述での画像検索が容易になる。
【０１１２】
第３には、検索対象が音声情報を有する場合に、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができ、被写体の動きのみならず、その発言内容などからの検索が可能になり、ビデオ編集の際などに有効である。
【０１１３】
第４には、検索対象となる人物の顔画像と人物名が対応付けられて付属情報化して、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られる。例えば、家族の名前で、思い出のある写真を容易に検索することが可能になる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができるし、音声情報を有する画像も対象とすることができる。
【０１１４】
また、第５には、検索対象が音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。なお、この場合にも、対象画像は、静止画像だけでなく、動画像も対象とすることができる。
【０１１５】
また、第６には、検索対象となるＣＧ画像の作成・編集データを付属情報として用いることにより、ＣＧ画像検索処理での演算量を低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ精度良く検索することが可能になるという効果が得られる。なお、対象ＣＧ画像は、静止画像だけでなく、動画像も対象とすることができる。ＣＧ動画像を検索対象とする場合には、前述と同様に、特定の図形や物体と、その移動ベクトル（その大きさおよび方向の少なくとも一つ）を指定するのが良い。また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
【０１１６】
また、第７には、検索対象となる画像に付随するメッセージ情報として、文字などのテキストデータや参照用の画像データを用い、文字自体の特性値や色、その内容や筆跡の形状などの指定するなどの簡単な指定方法により、予め登録されている参照用画像をエリア指定や図柄パターンの選択等による指定などの簡単な指定方法により、指定に適合する画像を検索することが可能になるという効果が得られる。
【０１１７】
なお、検索結果の画像を表示する際には、例えば、背景などの動きのない部分を除いて、検索条件指定に合致するエリアを優先して表示するようにしたり、あるいは、検索条件指定に合致するエリアを他のエリアとは異なる、例えば、輝度強調，ブリンク（点滅）などの特別な画像処理結果の強調表示により表示することも有効である。
【０１１８】
また、表示を行う際に、表示装置の表示能力をチェックして、その能力に応じた画像データに加工して表示させるようにすることも好ましいことである。またさらに、データベース上で、検索したエリアをエリア単位で管理するようにしておき、アクセス頻度に応じて、検索時の参照優先順位を設定することや、データ記憶時の解像度を設定することも有効である。
【０１１９】
上記画像検索方法を応用すれば、後のプリント時に顧客が持参した写真フィルムや撮影記録媒体中の画像から、先のプリント時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れたプリントを行うことが可能になるという効果が得られる。
【０１２０】
また、上記画像検索方法を応用すれば、画像の構図に基づいて類似画像を判別することができるので、色や濃度の影響を受けにくくなり、これにより、１注文の写真フィルムや撮影記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る画像検索方法を説明するための図で、原画像を示す図である。
【図２】 同、図１に示す原画像を検索する際に、ユーザが入力した検索用指定パターンを示す図である。
【図３】 同、図１に示した原画像中から抽出した特定図形を原画像に重ねて示す図である。
【図４】 同、準備動作としての、図１に示した原画像中から予め定められた特定図形を抽出する動作の概要を示す動作フロー図である。
【図５】 同、記憶手段に記憶されているデータに基づいて画像を検索する動作の流れを示す動作フロー図である。
【図６】 本発明の他の実施例に係る画像検索方法を説明するための図で、被写体指定例を示す図である。
【図７】 同、図６に示した指定に対応する被写体検索結果の一例を示す図である。
【図８】 本発明のさらに他の実施例に係る画像検索方法を説明するための図で、動画像検索時の被写体指定例を示す図である。
【図９】 同、図８に示した指定に対応する動画像検索結果の一例を示す図である。
【図１０】 本発明の画像検索方法および画像処理方法をそれぞれ実施する画像検索装置およびこれを用いるプリントシステムの一実施例のブロック図である。
【符号の説明】
１０ 原画像
１１ ３角形状の山
１２ 人物の顔
１３ 人物の胴体
１４ ビルディング
２０ 検索用指定パターン
２１ 山を象徴する３角形
２２，２３ 人物を象徴する２つの楕円
２４ ビルディングを示す縦型の４角形
３０ 原画像からの図形抽出結果
３１ 山１１に対応する図形
３２，３３ 人物１２，１３に対応する図形
３４ ビルディング１４に対応する図形
３５，３６ 誤検出図形
６０ 被写体指定例
６１ 人物指定図形
７０ 原画像からの図形抽出結果
８０ 被写体指定例
８１ 被写体
８２ 被写体移動方向
９０ａ，９０ｂ 動画像抽出結果
１００ プリントシステム
１０２ 画像検索装置
１０４ フォトプリンタ
１０６ ユーザ端末
１０８ 画像データベース（ＤＢ）
１１０ 付属情報取得部
１１２ 付属情報指定部
１１４ 画像検索部
１１５、１２８ インターフェース（Ｉ／Ｆ）
１１６、１２４ 表示部
１１７ コンピュータグラフィックス（ＣＧ）画像作成装置
１１８ 画像入力部
１２０ 画像処理部
１２２ プリント出力部
１２６、１３２ 入力部
１３０ タブレット
１３４ 音声認識部
１３６ 抽出部
１３８ 付属情報設定部
【発明の属する技術分野】
本発明は、画像検索装置に関し、より具体的には、画像中から抽出されたシンプルな図形や人物、物体等の被写体などの特定の情報や画像に付随する音声情報や文字やマークなどのメッセージ情報などの特定の情報を、画像の付属情報としてデータベースに記憶しておいて、それに基づいて画像を検索する画像検索装置に関する。
【０００２】
【従来の技術】
例えば、人物写真を鑑賞する際に最も注目される部位は、人物の顔である。そのため、フィルムなどに記録された原画像を印画紙などの複写材料に焼き付ける場合には、人物の顔が適正な色や濃度に再現されるように、焼付露光量を決定する必要がある。
【０００３】
このため、人物写真では、例えば、特開平４−３４６３３２号公報に開示されているような方法により、カラー原画像を多数の画素に分割し、各画素毎にＲ，Ｇ，Ｂの３色に分解して測光し、この結果に基づいて、色相および彩度についてのヒストグラムを求めて、求めたヒストグラムのうち人物の顔に相当する色相および彩度を有する画素が存在する領域を、人物の顔に相当する領域として切り出し、この領域の測光データから露光量を決定している。
【０００４】
また、特開平６−１６０９９３号公報には、人物の顔に相当する領域を抽出する確度を向上させるために、画像の外縁に接している領域を背景領域と判断して除去したり、抽出した領域を線図形化し、抽出した領域の周辺に位置している近傍領域の形状および抽出した領域の形状に基づいて、抽出した領域が人物の顔に相当する領域であるか否かを判断する技術が示されている。
【０００５】
しかしながら、これらの技術では、原画像中に、例えば、地面や樹木などの肌色に近い色相および彩度の領域が存在している場合には、この領域を人物の顔に相当する領域と誤判定する可能性がある。また、これらの領域が人物の顔に相当する領域と隣接している場合、両者を適正に分離することができず、原画像を適正な範囲の領域に分割できない可能性がある。
【０００６】
【発明が解決しようとする課題】
上述のように、人物の顔以外の領域を人物の顔に相当する領域と誤判定した場合や、または、人物の顔に相当する領域に隣接する同様な色相および彩度を有する領域を分離できない場合には、本来の人物の顔が適正に焼付けるための露光量が得られなくなるという問題があった。
【０００７】
このような問題に対しては、注目する部位の色（色相や彩度）のみでなく、その部位の形状に関する情報をも利用することが有効と考えられる。すなわち、人物の顔に相当する領域であれば、概ね、楕円形ないし卵型の形状を有すると考えられるので、色に関する情報に加えて、このような特別な形状を有することを、抽出する際の条件とすればよい。
【０００８】
このように、原画像中の被写体の形状に関する情報は、画像検出ないしは画像検索において極めて重要な意味を持っている。なお、これに関しては、本出願人の出願に係る特開平９−１３８４７１号公報に開示された技術を参考にすることができる。この技術は、画像のエッジを検出して人物に相当する領域の輪郭を抽出し、人物（特に、顔）に相当する領域について、好ましい色再現を行うことを目的とするものである。
【０００９】
この他にも、検索者に対象とする画を描かせることなく、また、手元にあるいは一覧できる枚数内に、検索者が望んでいる画像に近い画像がなくとも、検索者が抽出したいと思っている画像を検索可能とするための、画像検索システムを提供するものとして、例えば、特開平７−２１１９８号公報、特開平８−２４９３５２号公報の記載を参考にすることができる。
【００１０】
本発明は、上述の従来技術における、原画像中の特定の形状をキーとして領域検出を行うという思想をさらに発展させたもので、その第１の目的とするところは、原画像中の人物や物体等の被写体の形状や原画像に付随する音声情報やメッセージ情報などの特定の情報をキーとして、画像検出ないしは画像検索（以下、これらをまとめて画像検索という）を効率的に行う画像検索装置を提供するところにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る第１の画像検索装置は、入力される画像に対してこの画像に存在または付随する、もしくは存在するとともに付随する特定の情報を抽出または認識する抽出部と、得られた特定の情報をそのまま、もしくは前記特定の情報の関連情報を、前記画像の画像データに付属させて付属情報としてデータベースに記憶させる付属情報設定部と、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された前記記憶画像データに付属している前記付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置であって、
前記画像に存在する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形であり、前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の幾何学図形を抽出する処理を適用し、抽出の結果得られたＮ（Ｎは０以上）個の特定の幾何学図形に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の幾何学図形のＬ種類（Ｌは１〜Ｍ）について、前記特定の幾何学図形の存在の有無または前記位置、大きさおよび向きならびに色の少なくとも一つの概略が指定されるものであることを特徴とする。
【００１２】
また、本発明に係る第２の画像検索装置は、入力される画像に対してこの画像に存在または付随する、もしくは存在するとともに付随する特定の情報を抽出または認識する抽出部と、得られた特定の情報をそのまま、もしくは前記特定の情報の関連情報を、前記画像の画像データに付属させて付属情報としてデータベースに記憶させる付属情報設定部と、検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された前記記憶画像データに付属している前記付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索部と、読み出された画像を表示する表示部とを有する画像検索装置であって、
前記画像に存在する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形により規定される被写体であり、前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の被写体を抽出する処理を適用し、抽出の結果得られた、Ｎ（Ｎは０以上）個の特定の被写体に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の被写体のＬ種類（Ｌは１〜Ｍ）について、前記特定の被写体の存在の有無または前記位置、大きさ、向きおよび色の少なくとも一つの概略が指定されるものであることを特徴とする。
【００１４】
また、本発明に係る画像検索方法は、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記画像に対して予め定められた特定の幾何学図形を抽出する処理を適用し、抽出された任意の幾何学図形についてのフレーム間における位置の比較に基づき、前記任意の幾何学図形に対応する画像の移動方向を求め、前記幾何学図形の情報と該幾何学図形に対応する画像の移動方向からなる付属情報を、該当する画像のデータに付属させて記憶し、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、幾何学図形とその動きベクトルの方向の概略を指定し、前記記憶させた画像のデータに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１５】
また、本発明に係る画像検索方法は、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、予め定められた特定の幾何学図形により規定される被写体を抽出する処理を適用し、抽出された被写体についてのフレーム間における位置の比較に基づき、前記被写体に対応する画像の移動方向を求め、前記被写体の情報と該被写体に対応する画像の移動方向からなる付属情報を、該当する画像のデータに付属させて記憶し、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、被写体とその動きベクトルの方向の概略を指定し、前記記憶させた画像のデータに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１６】
また、本発明に係る画像検索方法は、音声情報を有する画像に対して、音声情報を認識し、認識した音声情報を、該当する画像のデータに付属させて記憶し、音声情報を有する画像に対して、音声情報の概略を指定し、前記記憶させた画像のデータに付属している音声認識情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１７】
本発明に係る画像検索方法においては、前記音声情報に加えて、特定の幾何学図形に対応する位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含む付属情報を付属させることができ、前記検索条件として特定の幾何学図形の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つを指定することができる。また、前記音声情報に加えて、特定の被写体に対応する位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含む付属情報を付属させることができ、前記検索条件として特定の被写体の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つを指定することができる。
【００１８】
また、本発明に係る画像検索方法は、予め特定の人物Ａ人（Ａは１以上）の顔画像と人物名からなる人物情報を登録しておき、画像記憶時に、人物抽出および前記人物情報を用いた人物同定処理により、特定人物の位置と大きさまたは位置と大きさと向き、または必要に応じてさらに色を含み、あるいは人物の有無のみのいずれかからなる付属情報を、該当する画像のデータに付属させて記憶し、検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の位置、大きさ、向きおよび色の少なくとも一つ、あるいは人物の有無のみのいずれかを指定し、各記憶画像の付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００１９】
また、本発明に係る画像検索方法においては、時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記人物情報を用いた人物同定処理により、特定人物の位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含み、あるいは人物の有無のみのいずれかからなる付属情報を、該当する画像のデータに付属させて記憶し、時間的に連続性を有する画像に対する検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つおよびその動きベクトルの方向の概略を指定し、各記憶画像の付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００２０】
また、本発明に係る画像検索方法は、音声情報を有する画像に対して、前記人物情報を用いた人物同定処理により、特定人物の位置と大きさ、または位置と大きさと向き、または必要に応じてさらに色を含み、あるいは人物の有無のみのいずれかからなる付属情報を、認識した音声情報とともに該当する画像のデータに付属させて記憶し、音声情報を有する画像に対する検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無、または位置、大きさ、向きおよび色の少なくとも一つおよび音声情報の概略を指定し、各記憶画像の付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００２１】
また、本発明に係る画像検索方法は、メッセージ情報を有する画像に対して、前記メッセージ情報を認識し、認識した前記メッセージ情報を、該当する画像のデータに付属させて記憶し、前記メッセージ情報を有する画像に対して、メッセージ情報の概略を指定し、前記記憶させた画像のデータに付属しているメッセージ認識情報との一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
ここで、前記メッセージ情報は、テキストデータまたは付随画像データであるのが好ましい。
【００２２】
また、本発明に係る画像検索方法は、コンピュータグラフィックス画像に対して、このコンピュータグラフィックス画像を作成する際に用いた編集データを、当該コンピュータグラフィックス画像の画像データに付属させて記憶し、前記コンピュータグラフィックス画像に対して、特定の幾何学図形、特定の物体および特定の色の少なくとも一つの存在の有無、またはその位置、大きさおよび向きの少なくとも一つにより前記コンピュータグラフィックス画像のシーンを指定し、指定されたシーン指定データをコンピュータグラフィックスコマンドに変換して、変換されたコンピュータグラフィックスコマンドと選び出された前記記憶画像データに付属している前記編集データとの一致度を求め、所定値以上の一致度を持つ画像を読み出すことを特徴とする。
【００２３】
ここで、前記コンピュータグラフィックス画像は、時間的に連続性を有するコンピュータグラフィックス画像であり、
前記付属情報は、前記編集データに加え、前記時間的に連続性を有するコンピュータグラフィックス画像に対して、所定の時間またはフレーム数の間隔で、前記特定の幾何学図形および前記特定の物体の少なくとも一つについてのフレーム間における位置の比較に基づき、前記特定の幾何学図形および前記特定の物体の少なくとも一つに対応する画像の移動方向を求めることによって得られた、前記特定の幾何学図形および前記特定の物体の少なくとも一つおよびその画像の移動方向であり、
前記検索条件として、前記時間的に連続性を有するコンピュータグラフィックス画像に対して、所定の時間またはフレーム数の間隔で、特定の幾何学図形および特定の物体の少なくとも一つの存在の有無、またはその位置、大きさおよび色の少なくとも一つとその動きベクトルの方向の概略を指定するのが好ましい。
【００２４】
また、本発明に係る画像検索方法において、前記指定工程は、記号、言語および音声の少なくとも一つによって指定する工程と、指定された記号、言語および音声の少なくとも一つを前記特定の情報またはその付属情報に自動変換する工程とを有するのが好ましい。
【００２５】
なお、本発明に係る画像検索方法においては、画像データ中の検索条件に合致するエリアを、時間的に優先して表示するようにすることが好ましい。また、画像データ中の検索条件に合致するエリアを、それ以外のエリアとは異なる画像処理により強調表示するようにすることも好ましい。
【００２６】
さらに、本発明に係る画像検索方法においては、表示端末の表示能力に応じて画像データの加工を行うことが好ましい。また、検索した画像エリアをエリア単位で管理し、アクセス頻度に応じて、検索時参照優先順位を設定するようにすることが好ましい。また、検索した画像エリアをエリア単位で管理し、アクセス頻度に応じて、データ記憶時の解像度を設定するようにすることが好ましい。
【００３０】
【発明の実施の形態】
本発明に係る画像検索装置を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
【００３１】
図１〜図３は、それぞれ本発明の一実施例に係る画像検索方法を説明するための図である。図１は画像データ源から供給され、図示しないデータベース等の記憶手段にその画像データが記憶される原画像１０を示している。図２は、この原画像１０を検索する際に、ユーザが、図示しない画像指定装置によって指定された、例えば、タブレット上でペンなどを用いて手書きで入力した、もしくは画像入力装置や画像表示装置にマウスやキーボード等を使って入力または表示・入力された検索用指定パターン２０を示している。また、図３は、本実施例に係る画像検索方法のプログラムが、パターンマッチングなどの手法により、図１に示した原画像１０中から予め定められた特定の幾何学的図形（円，楕円，３角形，４角形などの図形、以下、特定図形という）を抽出した結果３０を示している。
なお、前述の特開平９−１３８４７１号公報に開示されているエッジ追跡手法などを用いて、各種の特定形状を検出することも可能である。
【００３２】
図１に示す原画像１０中において、１１は３角形状の山を、１２および１３はそれぞれ人物の顔および胴体を、１４はビルディングを示している。また、図２に示す検索用指定パターン２０では、ユーザが、図１に示す原画像１０を検索する目的で、山を象徴する３角形２１と、人物を象徴する２つの楕円（すなわち、顔と胴体）２２，２３と、ビルディングを示す縦型の４角形２４とを、それぞれが存在すると思われる位置対応に配置した状況を示している。
【００３３】
なお、図３では、図１に示した原画像１０中から、本実施例に係る画像検索方法のプログラムが抽出した図形を、実線で示す原画像１０に重ねて点線で示している（しかし、分かり易くするために部分的に点線をずらして示している）。ここで、３１は原画像１０中の３角形状の山１１に対応するもの、３２および３３はそれぞれ同人物の顔と胴体１２および１３に対応するもの、３４は同ビルディング１４に対応するものである。また、図３の右端のビルディングの窓部分にかかる４角形３５と、その下方の楕円形３６は、プログラムが誤検出したものである。
【００３４】
ここで、本発明の画像検索方法の対象となる原画像１０は、画像データとして供給されるものであれば、特に限定的ではなく、例えば、画像入力装置や画像取得装置などによって入力または取得された画像、あるいは画像供給源から供給された画像、すなわち、従来型カメラによってネガフィルムやポジフィルム等の写真フィルムに撮影された画像や写真プリントや印刷画像などのようにスキャナ等の画像読取装置によって読み取られる画像、デジタルスチルカメラやビデオカメラなどによって撮影された画像、Ｘ線撮影装置やＣＲ装置やＣＴ装置やＭＲＩ装置などのような医療用診断画像撮影装置で撮影された画像、コンピュータグラフィックス画像（以下、ＣＧ画像という）などのようなコンピュータ等で作成された画像などを挙げることができる。また、後述するように、従来型カメラやデジタルスチルカメラなどで連続撮影（連写）された時間的に連続性を有する画像（以下、動画像という）、ビデオカメラなどで撮影された動画像（以下、ビデオ画像という）、テレビジョン放送の動画像（以下、テレビ画像という）、このようなビデオ画像やテレビ画像やＣＧ画像等のような音声情報を有する画像、さらには文字、マーク、顔画像、キャラクタ画像等のメッセージ情報を付した画像などであっても良い。
【００３５】
なお、図２に示す検索用指定パターン２０としては、異なる特定図形の組み合わせ、あるいは同じ特定図形の大きさを変えた組み合わせなどを用いることができる。また、ユーザが画像表示装置にマウスやキーボードを用いて描画し、または、タブレットなどの画像指定装置を用いて具体的な形状で直接検索用指定パターン２０を指定する以外にも、文字や記号やマークなどのキーワードで指定したり、音声で入力し、入力された音声を認識して具体的な形状に自動変換して指定するなど、間接的に指定する方法も利用できる。
例えば、図２において、特定図形で入力する代わりに、ユーザが概略位置をタブレットや画像表示装置上で概略位置を囲み、この囲みの中に文字や記号やマークを入力する。例えば、「山」と文字入力すれば、「山」を三角形探索に自動変換して処理する。同様に、「ビル」および「人」と文字入力すれば、それぞれ四角形探索、および顔や人物探索に変換して処理する。なお、記号やマークで指定する場合には、ラボなどのように大量の付属情報付画像のデータベースを保有するサイトやセンタ（データベース機関）およびそのデータベースを利用するユーザが記号やマークを設定できるようにしておくのが好ましい。こうして、ユーザによる記号指定やマーク指定を特定図形や後述する特定の主要被写体や人物や物体などに自動変換する処理を行うことができる。
【００３６】
ここで、検索用指定パターン２０として用いられる特定図形は、画像中に存在する特定の情報に相当するものであれば良く、上述したように、円，楕円，３角形，４角形などのようなシンプルな図形が検索が容易である点から好ましいが、本発明では、これに限定されず、その他の、すなわち五角形以上の多角形、星形や星型（☆）のようなキャラクタ、異形や、直線や曲線およびその組み合わせな等の多様な図形など、画像中に存在する図形であればどのようなものでも良い。なお、検索用指定パターン２０は、特定の図形そのものを指定するものに限定されず、その図形の中心位置、大きさ、向き、頂点、色などの少なくとも一つであっても良い。
また、本発明に用いられる特定の情報は、上述した特定図形に限定されず、例えば、後述するように、画像中に存在する特定の被写体、画像中に存在する特定の人物の顔画像と画像に付随する特定の人物名からなる人物情報、画像に付随する音声情報、文字やサイン等の手書き文字等のテキストデータやマークや撮影画像やＣＧ画像等の参照用画像等の画像データからなるメッセージ情報、特定の図形や特定の色や特定の物体を描画するＣＧコマンドなどのＣＧ画像を作成する時に用いた編集データ等であっても良い。
【００３７】
以下、本実施例に係る画像検索方法における準備動作としての、図１に示す原画像１０中から予め定められた特定図形を抽出する動作の一実施例の概要を、図４に示す動作フロー図の一例に従って説明する。
【００３８】
図４に示すように、まず、始めに、ステップ４０１で原画像１０が図示しない画像データ供給源から画像データとして読み込まれると、次に、ステップ４０２で予定められている特定の幾何学的図形（特定図形）に類似した形状を有する領域が上述したパターンマッチングやエッジ追跡手法などを用いて抽出される。続いて、ステップ４０３で、抽出領域を関連情報として数値化し、後述するようなそれらの領域の特性値が算出されて、ステップ４０４で、得られた特性値が付属情報として図示されていないデータベースなどの記憶手段内に記憶される。ここで、ステップ４０２〜４０４においては、原画像１０中の特定図形の中心位置、サイズ（大きさ）、向きなどの各種特性値が認識され、順次、付属情報としてデータベースに記憶される。
【００３９】
付属情報として用いられる各種特性値としては、例えば、円の場合は中心位置の他サイズとしての直径が、楕円であれば中心位置の他サイズとしての長径，短径が、３角形であれば３つの頂点の座標が、また、４角形であれば中心位置の他Ｘ軸幅，Ｙ軸幅などが、それぞれ採用される。もちろん、本発明の画像検索方法においては、上述の各種特性値の取り方自体は何等限定されるものではない。なお、原画像１０がカラー画像である場合には、付属情報として特定図形の色等の関連情報を用いても良い。
さらに、本発明において用いられる付属情報としては、特定図形の中心位置，サイズ（大きさ）、向きなどの各種特性値や色等の関連情報に限定されず、後述するように、特定の被写体や特定の人物の位置、サイズ、向き、色等の関連情報であっても良いし、動画像中の特定図形、特定の被写体、特定の人物の情報および動画像の複数のフレーム間における特定図形、特定の被写体、特定の人物の移動方向、音声情報自体、メッセージ情報自体、ＣＧコマンドなどのＣＧ画像作成用編集データ自体であっても良い。
【００４０】
表１に、図１に示した原画像１０から、上述の特定図形を抽出した結果の一例を示す。表１は、本実施例に係る画像検索方法のプログラムが、パターンマッチングなどの手法により、原画像１０中から、楕円の領域を３個、３角形の領域を１個、４角形の領域を２個抽出したことを示している。なお、前述のように、楕円の領域の１個、４角形の領域の１個は、誤検出結果である。
【００４１】
【表１】
次に、本発明の画像検索方法に従って、上述の記憶されているデータに基づいて画像を検索する動作の流れを、図５に基づいて説明する。
まず、始めに、ステップ５０１で検索条件として、検索用指定パターン２０を読み込む。次のステップ５０２において、読み込まれた検索用指定パターン２０を前述と同様にして数値化し、特性値に変換して、テーブル化する。この手順では、特定図形の位置、サイズ、向き等の特性値や色などを直接入力してもよい。次に、ステップ５０３で、原画像データベース（ＤＢ）から検索対象として原画像を読み込む。続いて、ステップ５０４でテーブル化した検索用指定パターン２０と比較照合する。
【００４３】
この照合は、検索用指定パターンテーブルの各列，各行を順次行う。例えば、検索用指定パターンの複数の特性値等がテーブルの１行に並べられている場合、まず、ステップ５０４で，テーブルの第１行の各列に配列されている第１の指定パターンの各特性値をデータベースから読み出された原画像に付属情報として付属している特性値を比較照合して、ステップ５０５で一致不一致の判断を行い、一致するものがあればステップ５０６で検索結果として取り出す。
【００４４】
一方、ステップ５０５での判断が不一致であれば、ステップ５０６をバイパスして、ステップ５０７に進み、次の行に移る。次に、ステップ５０８で検索用指定パターンテーブルに次の行があるかどうか判断し、次の行が存在していれば、ステップ５０４に戻り、次の行の比較照合を行い、ステップ５０４〜ステップ５０８を繰り返す。ステップ５０８の判断で次の行が存在していなければ、検索対象の一つの原画像の照合を終了し、ステップ５０９に進み、次の検索対象となる原画像に移る。次に、ステップ５１０で次の原画像があるかどうか判断し、次の原画像が存在していれば、ステップ５０３に戻り、次の原画像について検索を行う。ステップ５０８の判断で次の原画像が存在していなければ、検索対象の全ての原画像の検索を終了する。
このようにして、本発明の検索方法は実施される。
【００４５】
ここで、検索用指定パターンの複数の特性値などがテーブルの１列に並べられている場合、上記照合は、列単位で行われ、一つの検索用指定パターンがある行と列との塊を単位として配列されている場合には、その一塊を単位として行われる。
なお、ここでは、簡単に「ステップ５０５で一致するものがあれば、ステップ５０６で取り出す」と説明しているが、実際には、完全に一致することは少ないので、後述するように一致度を定義して、ステップ５０４で一致度を算出し、ステップ５０５で、算出した一致度が、所定の閾値を超えたものを、一致したものとするのがよい。
【００４６】
なお、ユーザが入力・指定した検索用指定パターン２０は、例えば、表２に示すような形で、テーブル化されたデータとして、図示されていない記憶部に記憶される。また、ここでは、楕円だけについて例示したが、他の図形についても同様なデータが作成される。そして、このデータを基にして、上述のように、この検索用指定パターンに適合する原画像の検索が行われる。
【００４７】
【表２】
以下に、上述の、一致度の計算式の一例として、楕円の場合を示す。
【数１】
【００４９】
ここで、Ｉは１〜付属情報に存在する個数Ｉmax 、Ｊは１〜検索時のパターン個数Ｊmax 、ｋ１〜ｋ３は係数である。
また、検索パターンの番号Ｊに関する点数：
Ｐ（Ｊ）＝max （Ｄ（Ｉ，Ｊ) ）
全画面に置ける点数：
Ｐtotal （Ａ：楕円）＝Σ（Ｐ（Ｊ））
Ｊ＝１〜Ｊmax
である。
【００５０】
上記説明では、一例として、楕円形の場合について説明したが、この他の図形についても、ステップ５０４で同様の一致度計算を行う。
例えば、楕円に関する一致度をＰtotal （Ａ）、３角形に関する一致度をＰtotal （Ｂ）、４角形に関する一致度をＰtotal （Ｃ）と表わすとすると、図２のケースでは、コマの一致度：Ｐtotal （ＡＬＬ）＝Ｐtotal （Ａ）＋Ｐtotal （Ｂ）＋Ｐtotal （Ｃ）となる。
【００５１】
なお、本発明にいう特定図形は、上記幾何学図形に限定されるものではなく、上述したように、その他の多角形，星型（☆）のようなキャラクタ，直線，曲線およびその組み合わせなど、多様な図形を用いることを含むものである。
また、計算結果を基に、一致度のポイント順に、検索された画像をサムネイル表示するようにしてもよい。
【００５２】
検索時の指定パターンには、ＡＮＤ条件モードとＯＲ条件のモードを設定することが可能である。例えば、以下のようにする。
（１）ＡＮＤ条件モード時：関数Ｆ｛Ｘ｝は、入力Ｘが所定値以下の場合、負の値となる特性を持たせる。
例えば、検索指定パターンの位置に指定した図形が存在すれば正の値、存在しない場合は負の値となる。外れた場合、全体の一致度点数は低下する。
【００５３】
（２）ＯＲ条件モード時：関数Ｆ｛Ｘ｝は、０以上、または、正の値となる特性を持たせる。
例えば、検索指定パターンの位置に指定した図形が存在すれば正の値、存在しない場合は０となる。外れた場合でも、全体の一致度点数は低下しない。
【００５４】
なお、上述した例では、全ての検索用指定パターン２０の中心位置等の位置、サイズ、向き等の複数の特性値を検索条件として、読み出された原画像の付属情報と比較照合しているが、本発明はこれに限定されず、検索用指定パターン自体の存在の有無のみを検索条件にしても良いし、特性値の内の位置、サイズ、向きおよび色の少なくとも一つの要素や項目を検索条件としても良いし、特性値の他指定パターンの色（色味）を検索条件としても良いし、複数の検索用指定パターンの少なくとも一つを用いても良い。
【００５５】
ただし、検索条件として検索用指定パターン自体の有無が指定される場合や指定される要素や項目や指定パターンが少ない場合には、検索に要する時間は短くなり、ヒットして取り出される原画像の数は増加し、その中に目的とする原画像が含まれている可能性は高いが、検索の精度は低下する。一方、指定される要素や項目や指定パターンが多ければ多いほど検索の精度は向上し、目的の原画像のみがヒットして取り出される可能性があるが、検索時間が長くかかり、要素や項目や指定パターンが正確でないと、ヒットする原画像がないという結果になる虞もある。このため、本発明の検索においては、検索の確実性および精度を考慮して、指定する要素や項目や指定パターンの数を適宜選択すれば良い。
【００５６】
この時、検索指示のユーザインターフェースとして、特定図形などの特定の情報の存在の有無のチェックのみか、または、さらにその位置、大きさ、向き等の特性値や色などをそれぞれ利用するか、また、これらの特性値や色などの種々の項目や要素の関連付けとして、これらの項目や要素をそれぞれ単独で使うか、２つ以上組み合わせて使うかというモードの設定をユーザが指定できるようにしておくのが好ましい。
例えば、上述した数１に示す数式において、係数ｋ１およびｋ２を０として、一致度計算から除外するようにしても良い。
【００５７】
本実施例に示した画像検索方法によれば、タブレットに大まかな図形を描くとか、キーボードから図形の名称や記号を入力するとか、これらを音声入力するといった簡単な指示方法により、指示に適合する画像を検索することが可能になるという効果が得られる。本発明においては、簡単な指示方法により指示された図形や名称（言語）や記号や音声による指定は、特定図形に自動変換され、所要の特性値に数値化され、色味など変えられる。
【００５８】
次に、本発明の他の実施例を説明する。
前述の実施例では、特定の情報として特定図形を用いて検索対象となる特定図形の位置や大きさや向きや色等を付属情報としたが、本実施例では、特定の情報として特定の主要被写体（以下、特定被写体という、ここでは、人物を例に挙げる）とし、その位置や大きさや向きや色などを付属情報として検索を行う点を特徴とするものである。
【００５９】
図６に、検索時の特定被写体指定例６０を示す。ここでは、被写体を人物と設定した後、例えば、楕円形などの単純な図形６１を用いて、その存在の有無、またはその位置や大きさや向きや色の少なくとも一つを指定する。
図７に、上述の指定に対応する検索結果の一例を示す。この例では、人物の位置や大きさのみに基づいて、検索が行われた結果、目的とする画像７０が検索された例を示している。
【００６０】
本実施例に示した画像検索方法によれば、検索対象が人物である場合に、その人物自体、またはその位置や大きさや向きの少なくとも一つを、タブレットで大まかに示すとか、キーボードから人物自体の有無、または人物の位置や大きさや向きの少なくとも一つを入力するといった簡単な指示により、指示に適合する画像を検索することが可能になるという効果が得られる。
【００６１】
なお、人物の位置や大きさに加えて、この人物の服装を色で表現した情報を付加することにより、人物の胴体部分を検索する際に、その色味をチェックするようにすれば、検索の効率が大幅に向上する可能性がある。また、複数の人物の特徴を組み合わせてもよい。
【００６２】
応用分野によっては、特定図形または特定被写体について、位置がほぼ固定的である場合があるが、そのような場合には、大きさまたは大きさと向き、さらには色を付属情報として記録すればよい。
また、特定図形または特定被写体について、大きさがほぼ固定的である場合には、位置または位置と向き、さらには色を付属情報として記録すればよい。
【００６３】
本発明のさらに他の実施例を説明する。
前述の各実施例では、静止画像を検索対象としていたが、本実施例では、動画像を検索対象として、特定図形または特定被写体（人物）の当初の位置や移動方向を付属情報とし、これらを指定して検索を行う点を特徴とするものである。
【００６４】
図８に、検索時の特定被写体指定例８０を示す。ここでは、特定被写体を人物と設定した後、その特定被写体８１の移動方向（ベクトル）８２を矢印で指定する。
図９に、上述の指定に対応する検索結果の一例を示す。この例では、人物の当初の位置や大きさのみに基づいて、検索が行われた結果、目的とする動画像９０ａ，９０ｂが検索された例を示している。
【００６５】
本実施例においては、付属情報の登録を行う際に、動画像のフレーム内で抽出した指定図形（特定図形）または指定被写体（特定被写体）が、所定フレーム後にどのように移動しているかの追跡を行い、そのベクトル情報を付属情報に含めて記憶するようにする。検索を行う際には、指定の図形およびその動きベクトル（大きさおよび方向の少なくとも一方）に基づいて、付属情報とのマッチングを行う。
【００６６】
他の方法としては、付属情報をフレーム単位で作成する方法が可能である。すなわち、検索を行う際には、フレーム単位で指定図形（特定図形）または被写体を検出した場合、そのフレームから所定時間後（あるいは、その中間フレーム）のフレームに該当する位置（この位置は、指定した動きベクトルから求める）に指定図形が存在するか否かを、付属情報とのマッチングによりチェックするという方法である。
【００６７】
本実施例に係る方法においては、プログラムは入力のシーンの指定情報を、シンプルな形状とその動きに解読し、データベース内の各画像の付属情報との一致度を計算する。計算結果は、ポイント順に、該当する動画像のコマ表示により出力（サムネイル表示）する。
【００６８】
上記実施例に示した画像検索方法によれば、検索対象が動画像中の人物である場合に、その当初の位置や移動方向を、タブレットで大まかに示すとか、キーボードから入力するとか、音声入力するといった簡単な指示により、指示に適合する動画像を検索することが可能になるという効果が得られ、例えば、ビデオ編集における大まかなシーン記述での画像検索が容易になる。
【００６９】
本発明のさらに他の実施例を説明する。
前述の各実施例では、音声情報を含まない画像を検索対象としていたが、本実施例では、動画像などの音声情報を含む画像を検索対象として、音声情報の概略を付属情報に含めるようにして、検索を行う際には、音声情報の概略を指定して検索を行うというものである。
【００７０】
例えば、人物を被写体とする動画像において、動きの情報に加えて音声情報を取り込み、音声変換により、その内容をデータベースに記憶する。これにより、検索時のキーワードとして、例えば、被写体：人物、音声情報：学校と指定することにより、シーンとして、人物が存在し、かつ、学校という単語に関連するシーンが検索される。なお、動画像に限らず、静止画像に音声情報を付加したものを検索対象としても良い。
【００７１】
本実施例に示す画像検索方法によれば、検索対象が音声情報を有する場合に、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られ、被写体の動きのみならず、その発言内容などからの検索が可能になり、ビデオ編集の際などに有効である。なお、もちろん、これ（音声情報）に加えて、特定図形または特定の主要被写体（人物）の各種の情報を追加指定するようにしても良い。
【００７２】
本発明のさらに他の実施例を説明する。
本実施例においては、画像中の特定の人物を人物同定処理を用いて同定することを特徴とするものである。すなわち、予め、特定の人物の顔画像と人物名を付属情報として登録しておき、検索を行う際には、上述の登録されている人物の内から必要な人物を顔画像または人物名により指定して、検索を行うというものである。
【００７３】
具体的には、顧客が予め名前と顔画像を組み合わせて、Ｎ人分の情報を登録する。ここで、画像中の特定の人物を人物同定処理を用いて同定する際には、例えば、電子情報通信学会論文誌Ｖol．Ｊ80−Ｄ-II Ｎo.8,pp.2218-2224小杉等による「粗密濃淡モザイク特徴をキーとした類似顔画像の検索」、同 pp.2225-2231 相馬等による「取得過程の極端に異なる顔画像の照合」等に記載されている技術が適用可能である。
【００７４】
ラボに持ち込まれた画像に対して、上記処理により、顔抽出および人物同定を行い、付属情報を作成する。すなわち、各コマに誰が写っているかを表わす付属情報を、画像データに付加して記憶する。もちろん、ここで、人物の位置や大きさの情報を含めてもよい。顧客が、人物名を指定して検索を依頼したときには、付属情報から該当する人物が写っている画像コマを取り出す。
【００７５】
本実施例に示した画像検索方法によれば、検索対象となる人物の顔画像と人物名が対応付けられて付属情報化されるので、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られ、例えば、家族の名前で、思い出のある写真を容易に検索することが可能になる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができる。
【００７６】
また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
さらに、上述のラボと顧客のパソコン（パーソナルコンピュータ）を通信回線で接続しておけば、上述の処理を、オンラインにより、より迅速に行うことが可能になる。
【００７７】
本発明のさらに他の実施例を説明する。
前述の各実施例では、撮影画像などを検索対象としていたが、本実施例では、パーソナルコンピュータ（ＰＣ）などで作成されたコンピュータグラフィックス（ＣＧ）画像を検索対象とし、単純な図形や大まかな色や特定の物体によりシーンを指定して、ＣＧ画像の作成・編集データを用いて検索を行う点を特徴とするものである。
【００７８】
本実施例においては、このＣＧ画像を作成した時の編集データを特定の情報とするとともに付属情報として当該ＣＧ画像に付属させてデータベースに記憶させる。すなわち、データベース機関では、ＣＧ画像と編集データをセットで蓄積しておく。ここで、編集データは、ＣＧ画像中の単純な図形や大まかな色や人物や動物や自動車や建物などの特定の物体を作成した時のそれらの図形や色や物体を表すＣＧコマンドであるのが好ましい。
本実施例における検索においては、ユーザ（顧客）が、単純な図形や大まかな色や人物や動物や自動車や建物などの特定の物体によりシーンを指定する。この指定は、手書き、描画ソフトウェアやＣＧソフトウェア等によって指定するのが良い。
【００７９】
次に、データベース機関では、データベース処理装置において、ユーザからのシーン指定データをＣＧコマンドに変換する。ここで、ユーザがシーン指定した図形の形状や、位置、サイズ、向き等の特性値や、色などを所定パターンに分類しておくのが好ましい。
続いて、変換したＣＧコマンドと、データベース内のＣＧ画像に付属情報として付随しているＣＧ編集データとの間で、一致度や類似度を計算し、付属情報とのマッチングを行う。なお、計算結果は、ポイント順に、該当するＣＧ画像のコマ表示により出力（サムネイル表示）するようにしても良い。
【００８０】
本実施例に示す画像検索方法によれば、検索対象となるＣＧ画像の作成・編集データを付属情報として用いることにより、ＣＧ画像検索処理での演算量を低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ精度良く検索することが可能になるという効果が得られる。なお、対象ＣＧ画像は、静止画像だけでなく、動画像も対象とすることができる。ＣＧ動画像を検索対象とする場合には、前述と同様に、特定の図形や物体と、その移動ベクトル（その大きさおよび方向の少なくとも一つ）を指定するのが良い。また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
【００８１】
本発明のさらに他の実施例を説明する。
本実施例では、メッセージ情報を備える画像を検索対象とし、画像検索用に画像に付随するメッセージ情報をチェックし、検索を行う。
本実施例においては、前述した音声情報を持つ画像を検索する場合と同様に、画像に付随するメッセージ情報を特定の情報とするとともに付属情報として当該画像に付属させてデータベースに記憶させる。
【００８２】
ここで、画像に付属する付属情報としては、メッセージ情報として画像に合成したテキストデータ、またはマークや撮影画像やＣＧ画像等の画像データを用いるのが好ましいが、前述した音声情報のように、画像中ではなく画像に付随させたテキストデータや画像データ、例えば、プリント画像の裏面側に、白縁のあるプリント画像ではその白縁の部分に記録（合成）したテキストデータや画像データを用いても良い。
例えば、テキストデータとしては、ワードプロセッサ等の印刷文字データやサイン等の手書き文字データなどを用いることもできるし、画像から文字抽出を行って得られた文字データを用いることもできる。
【００８３】
本実施例における検索においては、ユーザ（顧客）が、メッセージ情報を、文字自体、その内容、筆跡の形状（サイン等の場合）などで指定したり、メッセージ情報として登録されている参照用画像を選択することにより、指定し、マッチング処理を行う。
例えば、文字自体を検索するモードでは、前述の特定図形を用いた検索での特定図形の特性値や色等の指定と同様に、文字自体の有無、文字の位置、サイズ、向き、色等の少なくとも一つを用いて指定し、一致度を計算して一致した画像を選び出すマッチング処理を行えばよい。また、文字検索モードでも、文字の内容を指定する場合には、指定された漢字などの文字の内容を解釈して、マッチング処理を行えば良い。また、サイン等の手書き文字の場合には、筆跡の形状を指定して、マッチング処理を行えば良い。
【００８４】
さらに、参照用画像を用いて検索する場合には、ユーザが、メッセージ情報として登録されたマークや撮影画像やＣＧ画像等の複数の参照用画像の中から参照用画像のエリアを指定したり、予め用意された図柄パターンを選択する等によって、一つ以上の参照用画像を選択して指定し、画像マッチングを行えば良い。
なお、マッチング処理における一致度の計算結果は、ポイント順に、該当する画像のコマ表示により出力（サムネイル表示）するようにしても良い。
【００８５】
本実施例に示す画像検索方法によれば、検索対象となる画像に付随するメッセージ情報として、文字などのテキストデータや参照用の画像データを用い、文字自体の特性値や色、または、その内容や筆跡の形状などの指定するなどの簡単な指定方法により、予め登録されている参照用画像をエリア指定や図柄パターンの選択等による指定などの簡単な指定方法により、指定に適合する画像を検索することが可能になるという効果が得られる。
【００８６】
上記各実施例において、検索結果の画像を表示する際には、例えば、背景などの動きのない部分を除いて、検索条件指定に合致するエリアを優先して表示するようにするとよい。あるいは、検索条件指定に合致するエリアを他のエリアとは異なる、例えば、輝度強調，ブリンク（点滅）などの特別な画像処理結果の強調表示により表示することも有効である。
【００８７】
上述のような表示方法を採用すれば、検索した画像を、モニタなどに転送する際の転送データ容量を大幅に削減できるので、表示の応答速度が向上し、使い勝手がよくなるという効果がある。また、表示画面内の目的とする画像の見やすさが向上し、やはり使い勝手がよくなる効果がある。
【００８８】
また、表示を行う際に、表示装置の表示能力をチェックして、その能力に応じた画像データに加工して表示させるようにすることも好ましいことである。またさらに、データベース上で、検索したエリアをエリア単位で管理するようにしておき、アクセス頻度に応じて、検索時の参照優先順位を設定することや、データ記憶時の解像度を設定することも有効である。
【００８９】
この方法では、例えば、顧客が携帯用端末からデータベースのあるセンタ（データベース機関）にアクセスしたような場合に、顧客の携帯用端末の表示能力に関する情報をＩＤと共に転送するようにして、センタからのデータ転送の際に、必要に応じて、画像圧縮や２値化、線画化、トリミング（主要被写体のみの切り出し）などの画像データ加工を行う。
【００９０】
上述のような画像表示時の処理を効率的の行うことにより、データ通信量の低減が可能になると共に、携帯用端末における画像表示までの時間が短縮され、さらに、表示画像の見やすさが向上するなどの効果が得られる。
【００９１】
上述の、各種の付属情報を具備した画像データの管理を行う場合には、画像を被写体毎に領域分割して、各分割エリア毎にラベルを付けて登録することが好ましい。そして、ラベルを付けた部分のみを切り出してファイル化するようにすれば、データ容量の削減に大きな効果があるばかりでなく、検索の際の速度の向上にも、大きな効果がある。また、例えば、上述のラベルを付けた部分の画像のみを、高解像度で記憶し、その他の領域は画像圧縮して記憶するなどの方法を用いることも可能である。
【００９２】
各領域の付属情報としては、画像ファイル名，位置（中心，輪郭画素），色などの特性、および、通算アクセス回数／ヒット回数などが挙げられる。これらを用いて、例えば、アクセス頻度に応じて、記憶手段内での記憶階層の制御を行うようにすれば、検索の際の速度の向上にさらに大きな効果がある。また、利用頻度の高いデータは、個別に保存するようにして、より利用しやすくすることも可能である。
【００９３】
以下、上述のような、本発明に係る画像検索方法を応用した、画像処理方法を説明する。第１の方法は、ラボにおける最初のプリント処理（いわゆる、同時プリント）や先の再プリント処理（これらを代表して先のプリントという）時に、プリント画像中の特定図形または被写体等の特定の情報を抽出して、抽出された特定情報やその関連情報（特性値や色）を付属情報として、プリントのための画像データおよび画像処理のパラメータと共にデータベース等の記憶手段に記憶させておくというものである。
【００９４】
この画像が含まれるフィルムの再プリントまたは後の再プリント（これらを代表して後のプリントという）の依頼があった場合には、顧客が指定した画像コマから特定図形または被写体等の特定の情報を抽出して、先に記憶させた付属情報との一致度の大きいもの（所定の閾値を超えるもの）の画像の先のプリント処理時の画像処理条件（処理パラメータ）により、後のプリントの処理を行うようにする。
【００９５】
この画像処理方法によれば、後のプリント時に顧客が持参したフィルム中の画像から、先のプリント時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れたプリントを行うことが可能になるという効果が得られる。なお、上記処理は、写真フィルムだけではなく、ＤＳＣ（デジタルスチルカメラ）などの撮影画像記録媒体などのようにプリント用画像データが記録されたスマートメディアやＭＯやフォトＣＤ等の画像記録媒体でも、同様に適用できる。
【００９６】
また、顧客が、再プリントの注文時に、写真フィルムまたは撮影画像記録媒体の撮影画像データではなく、同時プリント時の写真プリントのみを持ち込んだ場合には、そのプリントをスキャナで読み取り、画像検索用の特定図形等の特定の情報の抽出処理を実行して、抽出された特定の情報やその関連情報を検索条件として、データベース内の同時プリント時に記録した写真フィルムからの読取画像データを検索して類似度の計算（マッチング処理）を行い、該当するコマを取り出し、プリント処理においては、該当コマに対応する同時プリント時の読取画像データと処理パラメータとを読み出し、これらを用いて、プリント処理を行ってもよい。
【００９７】
第２の方法は、１本のフィルムストリップ（いわゆる、１件の写真フィルム）内、または１枚の撮影画像記録媒体内、もしくはユーザ（顧客）が一時に注文した１本または複数の写真フィルムまたは１枚または複数の撮影画像記録媒体（いわゆる、１回の注文）内での焼き付けのバラツキ（変動）を防止可能とするための方法である。すなわち、１件または１回の注文（これらを代表して１注文という）の写真フィルムや撮影記録媒体内で、特定図形または被写体等の特定の情報が類似した構図（各図形の配置やサイズや向きや色）である場合は、１注文に属するこれらのコマ間で、仕上がりの色調，濃度などを揃えるように画像処理を調整するのが良い。
【００９８】
本実施例によれば、画像の構図に基づいて類似画像を判別するので、色や濃度の影響を受けにくくなり、これにより、１注文の写真フィルムや撮影画像記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。
【００９９】
以上のような本発明に係る画像検索方法および画像処理方法は、それぞれ図１０に示すような画像検索装置およびこれを用いるプリントシステムによって実施することができる。
同図に示すプリントシステム１００は、上述した本発明の画像検索方法を実施する画像検索装置（以下、単に検索装置という）１０２と、検索装置１０２に接続され、検索装置１０２と共に、本発明の画像処理方法を実施するフォトプリンタ１０４と、検索装置１０２にインターネット等の通信網によってオンライン接続され、本発明に係る画像検索方法および画像処理方法の実施およびプリント出力の依頼を行うことができるユーザ端末１０６とを有する。
【０１００】
まず、画像検索装置１０２は、画像の画像データと共に、画像に存在およびまたは付随する特定情報自体または特定情報の関連情報などを画像データの付属情報として蓄積記憶する画像データベース（以下、単にデータベースまたはＤＢという）１０８と、データベース１０８に記憶するために特定情報自体または特定情報の関連情報を付属データとして取得する付属情報取得部（以下、単に取得部という）１１０と、検索条件として付属情報の少なくとも一部を指定する付属情報指定部（以下、単に指定部という）１１２と、この指定部１１２によって指定された検索条件に基づいてデータベース１０８を検索して、選び出された画像データに付属している付属条件と、検索条件として用いた付属情報の少なくとも一部との一致度を求めて、所定値以上の一致度を持つ画像を読み出す画像検索部（以下、単に検索部という）１１４と、検索部１１４による検索結果や読み出された画像を表示する表示部１１６とを有する。
【０１０１】
また、フォトプリンタ１０４は、ネガやリバーサルなどのフィルムＦからフィルム画像の画像データを読み取る、あるいはデジタルカメラによる撮影画像の画像データ記録媒体Ｒから画像データを読み取る、もしくはＣＧ画像作成装置１１７などの画像データ供給源から画像データを受け取る画像入力部１１８と、画像入力部１１８から受け取った画像データを分析して良質のプリント作成のために画像データを処理する画像処理条件を設定し、設定された画像処理条件または検索装置１０２から受け取った画像処理条件に従って、画像入力部１１８または検索装置１０２から受け取った画像データを画像処理する画像処理部１２０と、画像処理部１２０によって画像処理された画像データを用いて写真感光材料などの記録材料に画像を記録（潜像焼付、現像定着）してプリントＰとして出力するプリント出力部１２２とを有する。なお、図示例では、画像処理部１２０は、画像データを取得部１１０に転送し、取得部１１０で得られた付属情報を受け取り、画像データに付属させてＤＢ１０８に転送し、蓄積記憶させる機能も有する。
【０１０２】
ユーザ端末１０６は、画像を表示可能な表示部１２４と、検索条件や画像や記号や言語やプリントの注文情報などを入力する入力部１２６と、画像や検索条件や注文情報を検索装置１０２に転送するインターフェース（Ｉ／Ｆ）１２８とを有する。なお、検索装置１０２の検索部１１４には、ユーザ端末１０６のＩ／Ｆ１２８から画像や種々の情報を受信するＩ／Ｆ１１５を有する。
【０１０３】
検索装置１０２においては、取得部１１０は、特定の幾何学図形、特定の被写体、メッセージ情報、特定の人物の顔画像からなる人物情報などの特定情報の概略をフリーハンドで入力するタブレット１３０と、特定の幾何学図形、特定の被写体、メッセージ情報、特定の人物の顔画像と人物名とからなる人物情報、ＣＧ画像の編集データなどの特定情報の概略や音声情報からなる特定情報の意味などをキーボードやマウスによるＧＵＩ（グラフィカルユーザインターフェース）を使って入力し、必要に応じてメッセージ情報などではその意味を認識して入力する入力部１３２、画像に付随する音声情報または画像に存在する特定情報の音声情報を入力し、その意味を認識して文字認識された特定情報に変換する音声認識部１３４と、これらのタブレット１３０や入力部１３２や音声認識部１３４から入力された特定情報の概略を用いて、フォトプリンタ１０４の画像処理部１２０から受け取った画像の画像データから特定情報を抽出する抽出部１３６と、抽出部１３６で抽出された特定情報から特定情報自体やその関連情報、例えば認識されたメッセージ情報および音声情報等の特定情報、特定の幾何学図形、特定の被写体、特定の人物の顔画像と人物名とからなる人物情報等の特定情報の位置、大きさ、向き、色、存在の有無、動画像の場合の特定情報の移動方向（移動ベクトルの方向）等の関連情報、ＣＧ画像の編集データ等の特定情報自体などや、音声認識部１３４や入力部で認識されたメッセージ情報および音声情報等の特定情報自体を、ＤＢ１０８に蓄積すべき付属情報として設定し、設定した付属情報を画像データに関係付け（て画像処理部１２０に転送す）る付属情報設定部（以下、単に設定部という）１３８とを有する。
【０１０４】
従って、フォトプリンタ１０４の画像処理部１２０は、取得部１１０の設定部１３８から伝送された付属情報を画像の画像データに付属させて、ＤＢ１０８に転送し、その状態で蓄積記憶させる。ここで、画像処理部１２０から抽出部１３６および／またはＤＢ１０８に転送される画像データは、画像処理前のものでも良いし、画像処理後のものでも良いし、両画像データは、同じでも異なっていても良い。なお、画像処理前の画像データであれば、画像入力部１２０から転送しても良い。
なお、ＣＧ画像の場合には、画像データに付属情報として付属させる編集データをＣＧ画像作成装置１１７から直接設定部１３８に転送しても良いし、画像データおよびこれに付属する編集データを直接ＣＧ画像作成装置１１７からＤＢ１０８に転送しても良い。
さらに、フォトプリンタ１０４からではなく、別のフォトプリンタや、画像読取装置（スキャナ）や、画像処理装置や、画像データ記録媒体のドライバなどの別の画像データ供給源から取得部１１０で付属情報を取得するための画像データやＤＢ１０８に蓄積するための画像データを受け取っても良い。また、同じ画像の画像データであれば、これらの２種の画像データの一方をフォトプリンタ１０４から、他方を別の画像データ供給源から受け取っても良い。
【０１０５】
検索装置１０２の指定部１１２は、取得部１１０で用いるタブレット１３０や入力部１３２や音声認識部１３４などやＣＧ作成装置１１７などを用いて、検索条件として付属情報の少なくとも一部、例えば、上記音声情報やメッセージ情報等の特定情報自体の概略、特定情報の存在の有無、位置、大きさ、向き、または移動ベクトルの方向、色等の関連情報の少なくとも１つを指定するものである。なお、指定部１１２で用いるタブレット１３０や入力部１３２や音声認識部１３４やＣＧ作成装置１１７などは、取得部１１０などで用いるものと同じであっても良いし、異なるものであっても良いし、さらには、取得部１１０と、指定部１１２を個別に設けるのではなく、共用し、１つで画像データの付属情報の取得と検索条件として付属情報の少なくとも１つの指定とを行っても良い。
【０１０６】
検索部１１４による検索の結果、ＤＢ１０８から読み出された画像データは、画像として表示部１１６に表示されるが、表示画像は、選び出された画像の確認ができれば良いので、特に高精細である必要はなく、ＤＢ１０８から読み出された画像データをそのまま表示しても良いのはもちろんであるが、高精細な画像が表示可能な表示部１１６であれば、フォトプリンタ１０４の画像処理部１２０で処理した後の高精細な画像を表示するようにしても良い。すなわち、表示部１１６を検索装置１０２とフォトプリンタ１０４とで共用しても良い。さらに、検索部１１４で選び出された画像データを確認するために、これを直接フォトプリンタ１０４のプリント出力部１２２に転送して、プリント出力するようにしてもよいし、別のプリンタや簡易型プリンタに転送して出力するようにしても良い。
【０１０７】
ところで、本発明の画像処理方法においては、フィルムＦや画像データ記録媒体Ｒがなくても、プリント（ハードコピー画像）Ｐがあれば、再注文プリントが可能である。このプリントＰから読み取られる画像データは、特定図形や特定被写体などの特定情報が、検索に必要な程度の画素密度（解像度）有していれば良いので、フォトプリンタ１０４の画像入力部１１８に備えられている反射原稿用スキャナで読み取っても良いし、全く別のスキャナや、簡便なスキャナでよみとって、得られた画像データを取得部１１０の抽出部１３６に直接転送しても良い。この時には、抽出部１３６で抽出された特定情報および／またはその関連情報をそのまままたは設定部１３８で付属情報に変換して、直接検索部１１４に転送しても良い。なお、この場合には、ＤＢ１０８から読み出された画像データに対しても、特定情報の抽出処理が行われるので、検索部１１４にＤＢ１０８から読み出された画像データを直接取得部１１０の抽出部１３６に転送しても良い。
さらに、１注文内の複数の画像中の特定図形や特定被写体等の特定情報の一致度を検索部１１４で算出する場合にも抽出部１３６による特定情報の抽出結果を直接検索部１１４に転送するのが良い。
【０１０８】
なお、上記各実施例はいずれも本発明の一例を示したものであり、本発明はこれらに限定されるべきものではなく、本発明の要旨を逸脱しない範囲において、改良や設計の変更をしても良いことは言うまでもない。
【０１０９】
【発明の効果】
以上、詳細に説明したように、本発明によれば、原画像中に存在する被写体（人物や物体）の形状（特定の幾何学図形など）や特定の被写体自体等や原画像に合成されたまたは付随するメッセージ情報や音声情報などをキーとして、画像検索を効率的に行う画像検索装置を実現することが可能である。
【０１１０】
より具体的には、本発明に係る画像検索方法によれば、第１に、タブレットや画像表示装置に大まかな図形を描くとか、キーボードから図形の名称や記号を入力するとか、これらを音声入力するといった簡単な指示方法により、指示に適合する画像を検索することが可能になるという効果が得られる。なお、検索対象が人物である場合にも、同様に、その人物自体、またはその位置や大きさや向きの少なくとも一つを、タブレットや画像表示装置で大まかに示すとか、キーボードから人物自体の有無、または人物の位置や大きさや向きの少なくとも一つを入力するといった簡単な指示により、指示に適合する画像を検索することが可能になるという効果が得られる。
【０１１１】
第２には、検索対象が動画像中の人物である場合に、その当初の位置や移動方向を、タブレットなどで大まかに示すとか、キーボードから入力するとか、音声入力するといった簡単な指示により、指示に適合する動画像を検索することが可能になるという効果が得られ、例えば、ビデオ編集における大まかなシーン記述での画像検索が容易になる。
【０１１２】
第３には、検索対象が音声情報を有する場合に、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができ、被写体の動きのみならず、その発言内容などからの検索が可能になり、ビデオ編集の際などに有効である。
【０１１３】
第４には、検索対象となる人物の顔画像と人物名が対応付けられて付属情報化して、その情報を利用することにより、指示に適合する画像を検索することが可能になるという効果が得られる。例えば、家族の名前で、思い出のある写真を容易に検索することが可能になる。なお、対象画像は、静止画像だけでなく、動画像も対象とすることができるし、音声情報を有する画像も対象とすることができる。
【０１１４】
また、第５には、検索対象が音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。なお、この場合にも、対象画像は、静止画像だけでなく、動画像も対象とすることができる。
【０１１５】
また、第６には、検索対象となるＣＧ画像の作成・編集データを付属情報として用いることにより、ＣＧ画像検索処理での演算量を低減でき、ユーザの指示に適合するＣＧ画像を迅速かつ精度良く検索することが可能になるという効果が得られる。なお、対象ＣＧ画像は、静止画像だけでなく、動画像も対象とすることができる。ＣＧ動画像を検索対象とする場合には、前述と同様に、特定の図形や物体と、その移動ベクトル（その大きさおよび方向の少なくとも一つ）を指定するのが良い。また、音声情報を有する画像の場合には、検索時に、これらの情報を組み合わせて用いることも可能である。
【０１１６】
また、第７には、検索対象となる画像に付随するメッセージ情報として、文字などのテキストデータや参照用の画像データを用い、文字自体の特性値や色、その内容や筆跡の形状などの指定するなどの簡単な指定方法により、予め登録されている参照用画像をエリア指定や図柄パターンの選択等による指定などの簡単な指定方法により、指定に適合する画像を検索することが可能になるという効果が得られる。
【０１１７】
なお、検索結果の画像を表示する際には、例えば、背景などの動きのない部分を除いて、検索条件指定に合致するエリアを優先して表示するようにしたり、あるいは、検索条件指定に合致するエリアを他のエリアとは異なる、例えば、輝度強調，ブリンク（点滅）などの特別な画像処理結果の強調表示により表示することも有効である。
【０１１８】
また、表示を行う際に、表示装置の表示能力をチェックして、その能力に応じた画像データに加工して表示させるようにすることも好ましいことである。またさらに、データベース上で、検索したエリアをエリア単位で管理するようにしておき、アクセス頻度に応じて、検索時の参照優先順位を設定することや、データ記憶時の解像度を設定することも有効である。
【０１１９】
上記画像検索方法を応用すれば、後のプリント時に顧客が持参した写真フィルムや撮影記録媒体中の画像から、先のプリント時の画像処理条件を検索することが可能になり、顧客に満足を与えられるような、再現性に優れたプリントを行うことが可能になるという効果が得られる。
【０１２０】
また、上記画像検索方法を応用すれば、画像の構図に基づいて類似画像を判別することができるので、色や濃度の影響を受けにくくなり、これにより、１注文の写真フィルムや撮影記録媒体内で極端に色調，濃度などが異なるプリントを作製することがなくなり、顧客に不満を持たせることがなくなるという効果が得られる。
【図面の簡単な説明】
【図１】 本発明の一実施例に係る画像検索方法を説明するための図で、原画像を示す図である。
【図２】 同、図１に示す原画像を検索する際に、ユーザが入力した検索用指定パターンを示す図である。
【図３】 同、図１に示した原画像中から抽出した特定図形を原画像に重ねて示す図である。
【図４】 同、準備動作としての、図１に示した原画像中から予め定められた特定図形を抽出する動作の概要を示す動作フロー図である。
【図５】 同、記憶手段に記憶されているデータに基づいて画像を検索する動作の流れを示す動作フロー図である。
【図６】 本発明の他の実施例に係る画像検索方法を説明するための図で、被写体指定例を示す図である。
【図７】 同、図６に示した指定に対応する被写体検索結果の一例を示す図である。
【図８】 本発明のさらに他の実施例に係る画像検索方法を説明するための図で、動画像検索時の被写体指定例を示す図である。
【図９】 同、図８に示した指定に対応する動画像検索結果の一例を示す図である。
【図１０】 本発明の画像検索方法および画像処理方法をそれぞれ実施する画像検索装置およびこれを用いるプリントシステムの一実施例のブロック図である。
【符号の説明】
１０ 原画像
１１ ３角形状の山
１２ 人物の顔
１３ 人物の胴体
１４ ビルディング
２０ 検索用指定パターン
２１ 山を象徴する３角形
２２，２３ 人物を象徴する２つの楕円
２４ ビルディングを示す縦型の４角形
３０ 原画像からの図形抽出結果
３１ 山１１に対応する図形
３２，３３ 人物１２，１３に対応する図形
３４ ビルディング１４に対応する図形
３５，３６ 誤検出図形
６０ 被写体指定例
６１ 人物指定図形
７０ 原画像からの図形抽出結果
８０ 被写体指定例
８１ 被写体
８２ 被写体移動方向
９０ａ，９０ｂ 動画像抽出結果
１００ プリントシステム
１０２ 画像検索装置
１０４ フォトプリンタ
１０６ ユーザ端末
１０８ 画像データベース（ＤＢ）
１１０ 付属情報取得部
１１２ 付属情報指定部
１１４ 画像検索部
１１５、１２８ インターフェース（Ｉ／Ｆ）
１１６、１２４ 表示部
１１７ コンピュータグラフィックス（ＣＧ）画像作成装置
１１８ 画像入力部
１２０ 画像処理部
１２２ プリント出力部
１２６、１３２ 入力部
１３０ タブレット
１３４ 音声認識部
１３６ 抽出部
１３８ 付属情報設定部
Claims (20)
- 入力される画像に対してこの画像に存在または付随する、もしくは存在するとともに付随する特定の情報を抽出または認識する抽出部と、
得られた特定の情報をそのまま、もしくは前記特定の情報の関連情報を、前記画像の画像データに付属させて付属情報としてデータベースに記憶させる付属情報設定部と、
検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された前記記憶画像データに付属している前記付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索部と、
読み出された画像を表示する表示部とを有する画像検索装置であって、
前記画像に存在する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形であり、
前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の幾何学図形を抽出する処理を適用し、抽出の結果得られたＮ（Ｎは０以上）個の特定の幾何学図形に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の幾何学図形のＬ種類（Ｌは１〜Ｍ）について、前記特定の幾何学図形の存在の有無または前記位置、大きさおよび向きならびに色の少なくとも一つの概略が指定されるものであることを特徴とする画像検索装置。 - 入力される画像に対してこの画像に存在または付随する、もしくは存在するとともに付随する特定の情報を抽出または認識する抽出部と、
得られた特定の情報をそのまま、もしくは前記特定の情報の関連情報を、前記画像の画像データに付属させて付属情報としてデータベースに記憶させる付属情報設定部と、
検索条件として、前記付属情報の少なくとも一部が指定された際に、前記指定された検索条件で前記データベースを検索し、選び出された前記記憶画像データに付属している前記付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索部と、
読み出された画像を表示する表示部とを有する画像検索装置であって、
前記画像に存在する特定の情報は、前記画像に対してＭ（Ｍは１以上）種類の予め定められた特定の幾何学図形により規定される被写体であり、
前記付属情報として記憶される前記関連情報は、前記画像に対して前記Ｍ種類の前記特定の被写体を抽出する処理を適用し、抽出の結果得られた、Ｎ（Ｎは０以上）個の特定の被写体に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つであり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程においては、前記特定の被写体のＬ種類（Ｌは１〜Ｍ）について、前記特定の被写体の存在の有無または前記位置、大きさ、向きおよび色の少なくとも一つの概略が指定されるものであることを特徴とする画像検索装置。 - 前記画像は、時間的に連続性を有する画像であり、
前記画像に存在する特定の情報は、前記画像に対して予め定められた特定の幾何学図形であり、
前記付属情報として記憶される前記関連情報は、前記時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記画像に対して前記特定の幾何学図形を抽出する処理を適用し、抽出された前記幾何学図形についてのフレーム間における位置の比較に基づき、前記幾何学図形に対応する画像の移動方向を求めることによって得られた、前記幾何学図形の情報および該幾何学図形に対応する画像の移動方向であり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、幾何学図形とその動きベクトルの方向の概略を指定することである請求項１に記載の画像検索装置。 - 前記画像は、時間的に連続性を有する画像であり、
前記画像に存在する特定の情報は、前記画像に対して予め定められた特定の幾何学図形により規定される被写体であり、
前記付属情報として記憶される前記関連情報は、前記時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記特定の被写体を抽出する処理を適用し、抽出された前記被写体についてのフレーム間における位置の比較に基づき、前記被写体に対応する画像の移動方向を求めることによって得られた、前記被写体の情報および該被写体に対応する画像の移動方向であり、
前記検索条件として前記付属情報の少なくとも一部は、前記時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、被写体とその動きベクトルの方向の概略を指定することである請求項２に記載の画像検索装置。 - 前記画像は、音声情報を有する画像であり、
前記画像に付随する特定の情報は、前記音声情報であり、
前記付属情報は、前記音声情報を有する画像に対して認識された前記音声情報であり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記音声情報を有する画像に対して、音声情報の概略を指定することであり、
前記一致度は、前記記憶させた画像のデータに付属している音声認識情報との一致度である請求項１または２に記載の画像検索装置。 - 前記付属情報として、前記音声情報に加え、特定の幾何学図形に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色、または位置と大きさと向きと色のいずれか一つの前記関連情報を付属させ、
前記検索条件は、前記音声情報に加え、特定の幾何学図形の存在の有無、または前記特定の幾何学図形に対応する位置、大きさおよび向きならびに色の少なくとも一つである請求項５に記載の画像検索装置。 - 前記付属情報として、前記音声情報に加え、特定の被写体に対応する位置と大きさ、位置と大きさと向き、位置と大きさと色および位置と大きさと向きと色のいずれか一つの前記関連情報を付属させ、
前記検索条件は、前記音声情報に加え、特定の被写体の存在の有無、または前記特定の被写体に対応する位置、大きさおよび向きならびに色の少なくとも一つである請求項５に記載の画像検索装置。 - 前記画像に存在するとともに付随する特定の情報は、特定の人物の顔画像と人物名からなる人物情報であり、
前記付属情報として記憶される前記関連情報は、予め前記特定の人物Ａ人（Ａは１以上）の顔画像と人物名からなる人物情報を登録しておき、前記画像の記憶時に、人物抽出および前記人物情報を用いた人物同定処理により得られる、前記特定の人物の存在の有無、または前記特定の人物の位置と大きさ、位置と大きさと向き、位置と大きさと色および位置と大きさと向きと色のいずれか一つであり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記検索条件として、特定の人物Ｂ人（Ｂは１〜Ａ）の存在の有無またはその特定の人物の位置、大きさおよび向きの少なくとも一つを指定することであり、
前記一致度は、各記憶画像の付属情報との一致度である請求項１または２に記載の画像検索装置。 - 前記画像は、時間的に連続性を有する画像であり、
前記付属情報として記憶される前記関連情報は、前記時間的に連続性を有する画像に対して、所定の時間またはフレーム数の間隔で、前記人物情報を用いた前記人物同定処理により得られるものであり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記検索条件として、前記特定の人物の存在の有無、またはその特定の人物の位置、大きさおよび色の少なくとも一つおよびその動きベクトルの方向を指定することである請求項８に記載の画像検索装置。 - 前記画像は、音声情報を有する画像であり、
前記付属情報は、前記音声情報を有する画像に対して、前記人物情報を用いた人物同定処理により得られた前記関連情報および認識された音声情報であり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記音声情報を有する画像に対する前記検索条件として、前記関連情報である前記特定の人物の存在の有無、またはその特定の人物の位置、大きさ、向きおよび色の少なくとも一つ、または前記音声情報の概略を指定することである請求項８に記載の画像検索装置。 - 前記画像は、メッセージ情報を有する画像であり、
前記画像に付随する特定の情報は、前記メッセージ情報であり、
前記付属情報は、前記メッセージ情報を有する画像に対して認識された前記メッセージ情報であり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、前記メッセージ情報を有する画像に対して、メッセージ情報の概略を指定することであり、
前記一致度は、前記記憶させた画像のデータに付属しているメッセージ認識情報との一致度である請求項１または２に記載の画像検索装置。 - 前記メッセージ情報は、画像中に合成されたテキストデータまたは付随画像データである請求項１１に記載の画像検索装置。
- 前記画像は、コンピュータグラフィックス画像であり、
前記画像に付随する特定の情報は、前記画像を作成する際に用いた編集データであり、
前記付属情報は、前記編集データであり、
前記検索条件として前記付属情報の少なくとも一部を指定する工程は、特定の幾何学図形、特定の物体および特定の色の少なくとも一つの存在の有無、またはその位置、大きさおよび向きの少なくとも一つにより前記コンピュータグラフィックス画像のシーンを指定する工程と、指定されたシーン指定データをコンピュータグラフィックスコマンドに変換する工程とを有し、
前記一致度を求める工程は、変換されたコンピュータグラフィックスコマンドと選び出された前記記憶画像データに付属している前記編集データとの一致度を求める工程である請求項１または２に記載の画像検索装置。 - 前記コンピュータグラフィックス画像は、時間的に連続性を有するコンピュータグラフィックス画像であり、
前記付属情報は、前記編集データに加え、前記時間的に連続性を有するコンピュータグラフィックス画像に対して、所定の時間またはフレーム数の間隔で、前記特定の幾何学図形および前記特定の物体の少なくとも一つについてのフレーム間における位置の比較に基づき、前記特定の幾何学図形および前記特定の物体の少なくとも一つに対応する画像の移動方向を求めることによって得られた、前記特定の幾何学図形および前記特定の物体の少なくとも一つおよびその画像の移動方向であり、
前記検索条件として、前記時間的に連続性を有するコンピュータグラフィックス画像に対して、所定の時間またはフレーム数の間隔で、特定の幾何学図形および特定の物体の少なくとも一つの存在の有無、またはその位置、大きさおよび色の少なくとも一つとその動きベクトルの方向の概略を指定する請求項１３に記載の画像検索装置。 - 前記指定工程は、記号、言語および音声の少なくとも一つによって指定する工程と、指定された記号、言語および音声の少なくとも一つを前記特定の情報またはその付属情報に自動変換する工程とを有する請求項１〜１４のいずれか１項に記載の画像検索装置。
- 前記画像データ中の前記検索条件に合致するエリアを、時間的に優先して表示する請求項１〜１５のいずれか１項に記載の画像検索装置。
- 前記画像データ中の前記検索条件に合致するエリアを、それ以外のエリアとは異なる画像処理により強調表示する請求項１〜１５のいずれか１項に記載の画像検索装置。
- 表示端末の表示能力に応じて前記画像データの加工を行う請求項１〜１７のいずれか１項に記載の画像検索装置。
- 検索した画像エリアをエリア単位で管理し、アクセス頻度に応じて、検索時参照優先順位を設定する請求項１〜１８のいずれか１項に記載の画像検索装置。
- 検索した画像エリアをエリア単位で管理し、アクセス頻度に応じて、データ記憶時の解像度を設定する請求項１〜１８のいずれか１項に記載の画像検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000214885A JP4073156B2 (ja) | 1999-07-14 | 2000-07-14 | 画像検索装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-200572 | 1999-07-14 | ||
| JP20057299 | 1999-07-14 | ||
| JP2000214885A JP4073156B2 (ja) | 1999-07-14 | 2000-07-14 | 画像検索装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007323077A Division JP2008159049A (ja) | 1999-07-14 | 2007-12-14 | 画像記録システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001084274A JP2001084274A (ja) | 2001-03-30 |
| JP2001084274A5 JP2001084274A5 (ja) | 2005-10-27 |
| JP4073156B2 true JP4073156B2 (ja) | 2008-04-09 |
Family
ID=26512273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000214885A Expired - Fee Related JP4073156B2 (ja) | 1999-07-14 | 2000-07-14 | 画像検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4073156B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060113353A (ko) * | 2003-08-21 | 2006-11-02 | 마이크로소프트 코포레이션 | 하드웨어/소프트웨어 인터페이스 시스템에 의해 관리가능한 정보 단위들을 조직하기 위한 디지털 이미지스키마의 구현을 위한 시스템 및 방법 |
| JP4569471B2 (ja) * | 2003-09-26 | 2010-10-27 | 株式会社ニコン | 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム |
| JP4586457B2 (ja) * | 2004-08-23 | 2010-11-24 | ノーリツ鋼機株式会社 | 画像処理装置 |
| JP2006072614A (ja) * | 2004-09-01 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像ファイルの保存方法およびその関連技術 |
| JP4973188B2 (ja) * | 2004-09-01 | 2012-07-11 | 日本電気株式会社 | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム |
| JP2007052626A (ja) * | 2005-08-18 | 2007-03-01 | Matsushita Electric Ind Co Ltd | メタデータ入力装置およびコンテンツ処理装置 |
| JP4768358B2 (ja) * | 2005-08-22 | 2011-09-07 | 株式会社日立ソリューションズ | 画像検索方法 |
| JP2007080184A (ja) * | 2005-09-16 | 2007-03-29 | Canon Inc | 画像処理装置及び方法 |
| JP4542013B2 (ja) * | 2005-09-29 | 2010-09-08 | 富士フイルム株式会社 | プリント注文システム、プログラム、プログラム記憶媒体、およびプリント注文サーバ |
| JP4869978B2 (ja) * | 2006-03-28 | 2012-02-08 | 富士フイルム株式会社 | 画像記録装置、画像記録方法、および画像記録プログラム |
| JP2007334696A (ja) * | 2006-06-15 | 2007-12-27 | Softbank Mobile Corp | データ共有システム、通信端末及びサーバ |
| US7860320B2 (en) * | 2006-06-26 | 2010-12-28 | Eastman Kodak Company | Classifying image regions based on picture location |
| JP5055939B2 (ja) * | 2006-10-12 | 2012-10-24 | 株式会社ニコン | デジタルカメラ |
| JP2008225887A (ja) * | 2007-03-13 | 2008-09-25 | Toshiba Corp | 画像検索システム |
| JP4773998B2 (ja) * | 2007-03-15 | 2011-09-14 | 富士フイルム株式会社 | 監視カメラ・システム，動画検索装置および顔画像データベース更新装置ならびにそれらの動作制御方法 |
| JP4928346B2 (ja) | 2007-05-08 | 2012-05-09 | キヤノン株式会社 | 画像検索装置および画像検索方法ならびにそのプログラムおよび記憶媒体 |
| JP5019228B2 (ja) * | 2008-03-17 | 2012-09-05 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 画像撮影装置及びプログラム |
| JP5198151B2 (ja) * | 2008-05-30 | 2013-05-15 | 株式会社日立製作所 | 映像検索装置及び映像検索方法 |
| JP2010238181A (ja) * | 2009-03-31 | 2010-10-21 | Sogo Keibi Hosho Co Ltd | 顔認証装置および顔認証方法 |
| JP5356289B2 (ja) * | 2010-03-18 | 2013-12-04 | 株式会社日立製作所 | 画像検索システム |
| WO2012017599A1 (ja) | 2010-08-03 | 2012-02-09 | パナソニック株式会社 | 情報処理装置、処理方法、コンピュータプログラム及び集積回路 |
| JP5716479B2 (ja) * | 2011-03-25 | 2015-05-13 | カシオ計算機株式会社 | 電子機器及びプログラム |
| JPWO2013018515A1 (ja) * | 2011-07-29 | 2015-03-05 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
| WO2014041851A1 (ja) * | 2012-09-13 | 2014-03-20 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
| US9528847B2 (en) * | 2012-10-15 | 2016-12-27 | Microsoft Technology Licensing, Llc | Pictures from sketches |
| JP5958582B2 (ja) * | 2015-03-06 | 2016-08-02 | カシオ計算機株式会社 | 電子機器及びプログラム |
| JP6776532B2 (ja) * | 2015-12-24 | 2020-10-28 | 株式会社ニコン | 画像処理装置、撮像装置、電子機器及び画像処理プログラム |
| WO2019078164A1 (ja) * | 2017-10-16 | 2019-04-25 | 日本電気株式会社 | 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム |
| CN115497108B (zh) * | 2022-11-16 | 2023-03-14 | 南京信息工程大学 | 一种基于椭圆离心率的汉字骨架角点检测方法 |
-
2000
- 2000-07-14 JP JP2000214885A patent/JP4073156B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001084274A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4073156B2 (ja) | 画像検索装置 | |
| US6813395B1 (en) | Image searching method and image processing method | |
| US10346677B2 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
| US6549681B1 (en) | Image synthesization method | |
| US7639877B2 (en) | Apparatus and program for selecting photographic images | |
| JP4350414B2 (ja) | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム | |
| US8537409B2 (en) | Image summarization by a learning approach | |
| US8345118B2 (en) | Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium | |
| US7486807B2 (en) | Image retrieving device, method for adding keywords in image retrieving device, and computer program therefor | |
| US10055640B2 (en) | Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof | |
| US8270682B2 (en) | Hair segmentation | |
| JP2011525017A (ja) | ハードコピーに基づく撮影日時の特定 | |
| JP2004334334A (ja) | 文書検索装置、文書検索方法及び記憶媒体 | |
| US20030193582A1 (en) | Method for storing an image, method and system for retrieving a registered image and method for performing image processing on a registered image | |
| JP2005115672A (ja) | 画像処理装置 | |
| JP4090926B2 (ja) | 画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラム | |
| US20060120686A1 (en) | Method, apparatus and system for storage and retrieval of images | |
| JP3673615B2 (ja) | 画像処理装置及びその制御方法 | |
| JP2008159049A (ja) | 画像記録システム | |
| JPH10124655A (ja) | デジタルアルバムの作成装置及びデジタルアルバム装置 | |
| JP2004289706A (ja) | 画像処理方法および画像処理装置ならびにプログラム | |
| JP3305367B2 (ja) | データベースへのデータ入力装置 | |
| JP3786221B2 (ja) | 画像データ管理装置 | |
| JP3897460B2 (ja) | データ検索方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050902 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080122 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4073156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120201 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120201 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130201 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140201 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |