JP4300098B2 - オブジェクト識別方法とその装置、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像内にどのようなオブジェクトが写っているかを識別する画像識別技術を利用した産業応用システム例えば景観中文字認識システムに関するものである。

従来の景観に写った文字を認識する技術は、大きく分けて２つに分類される。

１つの方法は、景観の中から文字が写った領域を切り出し、その領域を２値化し、従来の文字認識技術により判別するという技術（以下、文字切り出し方式と称する）である。この方法には特許公報１（特開平６−１３１４９２号公報）に開示されたナンバープレート認識方法がある。

もう一つは、文字の変形テンプレートを用意し、画像全面をスキャニングするという技術（以下、テンプレートマッチング方式と称する）である。この方法には特許公報２（特開２００１−３０７０２１号公報）に「パターン列抽出方法及びナンバープレート認識方法」がある。
特開平６−１３１４９２号公報 特開２００１−３０７０２１号公報

しかしながら、前記文字切り出し方式においては、背景が複雑なテクスチャーを有する場合や文字同士がくっ付いている場合に、文字領域を切り出すこと自体が非常に難しい。また、文字領域に陰影が存在する場合には、２値化に失敗し易いという問題がある。そのため、文字切り出し方式は、適用できる景観画像に大きな制約があった。

テンプレートマッチング方式においては、マッチングの計算自体に多大な時間を要するため、実用的なシステムを構築するには、判別するカテゴリ数が限られるという問題がある。また、景観中文字のようにフォント等の幾何学的形状が非常に多様な場合は、事前に万全なテンプレートを用意することは困難であり、実用的ではないという問題がある。さらに、例えば看板の端を「１」として識別してしまうような、本来は文字ではないところを文字として識別してしまうという問題がある。

本発明は、かかる事情に鑑みなされたもので、その目的は、景観中文字の識別能力を高めたオブジェクト識別方法とその装置、プログラム及び記録媒体の提供にある。

そこで、本発明のオブジェクト識別方法とその装置は、入力画像のある領域に対して特徴ベクトルを求め、辞書との照合により照合度を算出し、この照合度の分布傾向を利用して候補の絞り込みを行うことで、識別の高速化、誤抽出の削減を実現している。

すなわち、本発明のオブジェクト識別方法とその装置は、オブジェクトを識別する段階において、（１）対象画像において注目する位置（注目位置）及び大きさ（注目サイズ）を変更しながら注目する画像（注目領域画像）を切り出し、この切り出し画像から特徴（対象特徴ベクトル）を抽出し、下記繰り返しの回数に応じて特徴ベクトルを圧縮し（対象圧縮特徴ベクトル）した後に、予め入力された部分空間（認識辞書）を用いて対象圧縮特徴ベクトルを部分空間に投影した際の距離（照合度）を算出し、注目する位置が隣り合う２つの照合度が閾値以下であれば連結と判定し、（２）前記連結領域内での最大のピークを検出し、（３）この検出されたピークを候補として登録し、そして、（１）〜（３）の工程を指定された回数繰り返し実行している。

前記特徴抽出の過程では、各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを算出し、次いで、各画像の定められた領域内の各画素の微分方向を定められた段階に量子化し、次いで、微分の強さを段階毎に累積加算した微分方向ヒストグラム作成し、微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化している。

辞書との照合度は、注目位置同上が近ければ急激には変化せず、滑らかに変化する。本発明は、注目位置同上が近いものの中で、そのピークを検出し、後段で詳細な辞書と比較するため、辞書とは似ているのだが、より良い候補が近辺にある候補を削減することができ、識別処理の高速化を実現できる。

また、辞書との照合度を算出してその空間的な連結惟を判定し連結領域内でピークを検出するため、文字領域以外での誤検出を抑制することができる。例えば、看板の端を「１」と誤検出してしまう誤りは看板の端全体に出現するが、本ピーク検出によりその誤り候補位置を１点に絞り込むことができる。また、粗探索においてピーク検出を行うことによって多くの候補を削除できるので、識別処理を高速化できる。

さらに、圧縮率の高いベクトルにおいては、識別率が低い反面、投影距離を高速に求めることができ、多くの候補を高速に除外できる。圧縮率の低いベクトルにおいては、識別率が高い反面、投影距離の計算にコストがかかる。本発明によると、複数の圧縮率により、精度が悪い高速処理と、精度を重視した低速処理を組み合わせることが可能となる。これにより全体の処理を高速且つ高精度に実現できる。

また、正規化した微分方向ヒストグラムは、２値化を必要としないため、陰影の混入に強い。さらに、文字のフォントの多様な形状変動に対して、正規化した微分方向ヒストグラムは大きく変動しないため、代表的なフォントを用いて事前に万全な認識辞一書を作成することが可能である。

尚、本発明のオブジェクト識別方法とその装置はコンピュータにその手順及び手段を実行するためのプログラムによっても実現でき、さらには、このプログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。記録媒体としては、フレキシブルディスクや、ＨＤＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が例示される。

本発明によれば、辞書との照合度を算出してその空間的な連結性を判定し連結領域内でピークを検出するので、文字領域以外での誤検出を抑制することができる。また、粗探索においてピーク検出を行うことによって多くの候補を削除できるので、識別処理を高速化することができる。

さらに、圧縮率の高いベクトルにおいては、識別率が低い反面、投影距離を高速に求めることができるので、多くの候補を高速に除外できる。圧縮率の低いベクトルにおいては、識別率が高い反面、投影距離の計算にコストがかかるが、本発明によれば、精度を保ったまま、画像中に存在する多数オブジェクトの抽出及び識別を高速化できる。

また、本発明によって正規化した微分方向ヒストグラムは、２値化を必要としないので、陰影の混入に強い。さらに、文字のフォントの多様な形状変動に対して、正規化した微分方向ヒストグラムは大きく変動しないので、代表的なフォントを用いて事前に万全な辞書を作成することが可能である。

本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明を景観中文字認識翻訳システムの概略構成図である。

本システムにより、ユーザは撮影した文字の画像を基にその文字の翻訳情報をみることができる。但し、文字の翻訳辞書を有していることが前提となる。システムは、本発明の認識装置及び翻訳情報蓄積検索装置から構成される。

本発明に係る識別装置１は、ユーザ２によって入力された画像と認識辞書（図１においては辞書３と表記）を利用し、画像に撮影された文字を識別する。

翻訳装置４は、文字列と翻訳情報を蓄積しておき、文字列から翻訳情報を検索する手段であり、一般のデータベースにより構築できるため、本実施形態例ではその詳細な説明は省略する。

以下の実施形態例では、「電」、「信」、「話」の３種類の文字を識別する事例について説明する。但し、本実施形態例は、オブジェクトを３種類に限定するものではなく、何種類にでも拡張可能である。

図２は、請求項１に係る発明の実施形態例を示した概略構成図であって、特に識別装置１の構成を説明したものである。

識別装置１は、入力手段１０と全カテゴリ登録手段１１と繰り返し制御手段１２と切り出す画像切り出し手段１３と特徴抽出手段１４と照合度算出手段１５連結領域内ピーク検出手段１６と連結領域内ピーク検出手段１６と候補カテゴリ更新手段１７とを備える。

入力手段１０は、識別したい対象画像を入力する。

全カテゴリ登録手段１１は、定められた位置及びその大きさに対して全カテゴリを候補カテゴリとして登録する。

繰り返し制御手段１２は、入力された数（Ｉ）分の後述の画像切り出し手段１３、特徴抽出手段１４、照合度算出手段１５、連結領域内ピーク検出手段１６、候補カテゴリ更新手段１５の処理を繰り返し実行制御する。

画像切り出し手段１３は、対象画像において注目する位置（注目位置）及び大きさ（注目サイズ）を変更しながら注目する阿像（切り出し画像）を切り出す。

特徴抽出手段１４は、切り出し画像から特徴（対象特徴ベクトル）を抽出する。

照合度算出手段１５は、予め作成してある繰り返しの回数（ｉ）に応じた各オブジェクトの認識辞書（辞書３）と対象特徴ベクトルを比較して、その照合度合いを表す照合度を算出する。

連結領域内ピーク検出手段１６は、各オブジェクトの照合度の空間的な連結性を判定し、連結領域内での照合度の最大ピークを検出する。

候補カテゴリ更新手段１７は、検出されたピークを候補として登録する。

全カテゴリ登録手段１１によるカテゴリの登録例について説明する。

図８は対象画像の一例である。図９は、対象画像中の注目点（画像中の灰色の画素）を示した図であって、「定められた位置」の一例を示すものである。注目点を中心として、定められた大きさの矩形画像を定義されている。図１０は、「定められた大きさ」の例であって、サイズＡとサイズＢが示されている。

初期の候補カテゴリは、以下のフォーマットで登録される。

「画像中の注目位置（ｘ）、画像中の注目位置（ｙ）、注目サイズ、候補カテゴリ１、候補カテゴリ２ … 候補カテゴリＱ」
本例では、３つのカテゴリがあるため、候補カテゴリは以下のようになる。

「注目位置ｘ、注目位置ｙ、各注目サイズ、電、信、話」。つまり、各画素、各注目サイズを切り出した矩形画像の文字カテゴリの候補は「電」、「信」、「話」であることを意味する。

次に、照合度算出手段１５に入力される認識辞書について説明する。

繰り返しの回数（ｉ）に応じた各オブジェクトの認識辞書は、例えば、次のように作成する。各オブジェクトの複数画像から、解像度の異なる特徴ベクトルや圧縮度合いを変えた特徴ベクトルを生成し、特徴ベクトル群を主成分分析することによって作成する。繰り返しの回数ｉ＝１には、解像度の低い認識辞書を対応させ、繰り返しの回数ｉ＝Ｉには、解像度の高い認識辞書を対応させる。この方法の一例として、以下のオブジェクト認識方法がある。

この方法は、オブジェクトを含む複数画像を用いて複数のオブジェクトを登録し、画像中に１個以上存在する登録されたオブジェクトを識別するものであって、前記複数のオブジェクトを登録する過程は、複数画像から特徴ベクトルを抽出する特徴抽出過程と、前記抽出した全ての特徴ベクトルに対して主成分分析を行う主成分分析過程と、計算された特徴ベクトルから圧縮した圧縮主成分ベクトルを出力する圧縮主成分出力過程と、各特徴ベクトルを入力された異なる圧縮率により圧縮して出力する圧縮過程と、前記圧縮された各オブジェクトの圧縮特徴ベクトルの部分空間を求めて出力する部分空間生成過程と、指定された複数圧縮率の個数分だけ前記圧縮過程と部分空間生成過程を複数回繰り返す制御過程とを有している。

前記圧縮過程としては、全オブジェクトの特徴ベクトルを全て入力する全特徴入力過程と、入力された圧縮率から圧縮する特徴ベクトルの次元数（Ｎ）を求めて上位Ｎ個の主成分ベクトルと特徴ベクトルの内積を計算し、各内積値をベクトルとみなした圧縮特徴ベクトルを出力する圧縮特徴出力過程とを有するものがある。

前記部分空間生成過程としては、各オブジェクトの圧縮特徴ベクトルを入力する各オブジェクト圧縮特徴入力過程と、前記圧縮特徴ベクトルに対して主成分分析を行う主成分分析過程と、前記分析した部分空間主成分を出力する部分空間主成分出力過程とを有するものがある。

オブジェクトを識別する過程としては、識別したい対象画像を入力する入力過程と、対象画像において注目する位置及びそのサイズを変更しながら注目する領域画像を切り出す注目領域画像切り出し過程と、領域画像から対象特徴ベクトルを抽出する特徴抽出過程と、全カテゴリを候補カテゴリとして登録する全カテゴリ登録過程と、指定された複数の圧縮率により候補を絞り込む候補識別過程と、入力された複数圧縮率の個数分だけ前記候補識別過程の処理を繰り返す制御過程とを有するものがある。

前記候補識別過程としては、入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の前記主成分と対象特徴ベクトルの内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトルを算出する対象圧縮特徴ベクトル算出過程と、各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する投影距離算出過程と、入力された閾値以下の各候補の投影距離の上位Ｋ個を新しい候補とする候補カテゴリ更新過程と、入力された閾値以下の候補を識別結果として出力する識別結果出力過程と、を有するものがある。

図３は、請求項２及び３に係る発明の実施形態例を示した概略構成図であって、特に照合度算出手段１５の概略構成を示している。

照合度算出手段１５は、圧縮手段１５１と投影距離算出手段１５２と順位算出手段１５３と順位カット手段１５４とを備える。

圧縮手段１５１は、繰り返しの回数（ｉ）に応じた入力された圧縮率（例えば対応する辞書と同じ圧縮率）により特徴ベクトルを圧縮した対象圧縮特徴ベクトルを算出する。

投影距離算出手段１５２は、各候補カテゴリの該当する圧縮率に対するあらかじめ入力された部分空間（認識辞書）を用いて対象圧縮特徴ベクトルを部分空間に投影した際の距離（投影距離）を算出する。

順位算出手段１５３は、各候補カテゴリの投影距離による順位を求める。

順位カット手段１５４は、指定された順位以下の候補カテゴリの投影距離を大きくする。

照合度は、矩形画像とカテゴリとの類似性を表すものであり、各サイズの各注目位置毎に算出する。

図１１は、照合度算出手段１５による算出結果の一例を示したものである。

サイズＡでの「電」の照合度、サイズＢでの照合度の例が示されている。図において、黒い画素ほど照合度合いが高い（投影距離である照合度からみると小さい）ことを意味する。この時点で、ある位置の照合度の値が閾値以上であるか、識別順位が決められた順位以下である場合は、その位置は候補として削除される。

圧縮には、予め特徴ベクトル群を主成分分析して求めた上位Ｋ個の主成分を用いて、特徴変換することにより圧縮する。Ｋを変更することにより圧縮率を変更できる。主成分分析は、既知のものを採用すればよく、例えば、大津展之ほか著の「パターン認識」（朝倉書店発行，ｐｐ．３５）に開示されたものを用いるとよい。また、部分空間は、予め圧縮した特徴ベクトル群に対して再び主成分分析を行い、その主成分の上位Ｌ個により部分空間を構成する。Ｌは繰り返しの回数ｉにより変化するパラメータである。

投影距離は、以下の方法により算出すればよい。この方法は各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する。

先ず、入力された圧縮率から次元数（Ｎ）を求めて上位Ｎ個の主成分と対象特徴ベクトル（ＩＦ）の内積を計算し、各内積値をベクトルとみなした対象圧縮特徴ベクトル（ＡＩＦ）を算出する。次いで、各候補カテゴリの該当する圧縮率に対する部分空間主成分を用いて対象圧縮特徴ベクトルを部分空間に投影した際の距離（投影距離）を算出する。各カテゴリの投影距離Ｌ（ｃ）は数１式により算出される。この式において、第ｒ部分空間主成分をＢＡＦ（ｃ，ｒ）と表し、ＢＡＦ（ｃ，ｒ）はＮ次元のベクトルで表現される（ただし、ｒ＝１〜Ｎ）。また、各圧縮率に対応したＲは事前に入力された定数である。

図４は、請求項４に係る発明の実施形態例における特徴抽出手段の概略構成図である。

特徴抽出手段１４は、入力手段１４１と微分強度方向計算手段１４２と微分方向ヒストグラム化手段１４３と微分ヒストグラム正規化手段１４４とを備える。

入力手段１４１は、複数画像を入力する。

微分強度方向計算手段１４２は、各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを算出する。

微分方向ヒストグラム化手段１４３は、各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する。

微分ヒストグラム正規化手段１４４は、前記作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する。

図５は微分強度方向計算手段１４２の動作例を説明したものである。

原画像Ｉの横をｘ軸、縦をｙ軸と考える。画像は横Ｘピクセル×縦Ｙピクセルであり、画像サイズはＸ×Ｙとなる。先ず、原画像に対し、ソーベルオペレータを作用させ、ｘ方向の微分を計算したｘ方向微分画像Ｄｘとｙ方向の微分を計算したｙ方向微分画像Ｄｙを生成する。但し、ソーベルオペレータを用いるのは一例であって、その他の方法であってもよい。次に、微分強度画像Ｄｉと微分方向画像Ｄｄの各画素を以下の数２式で算出する。

微分方向ヒストグラム化手段の動作例を図６に示す。

各画素において、まず、角度を量子化する。次に、その画素の強度を、その画素が所属する領域の、該当する角度のヒストグラムに、加算する。以上により、微分方向ヒストグラムが作成される。例では、画像を４（ｎ）分割した領域内で方向を５（ｍ）段階に量子化してヒストグラムを作成しており、特徴は、２０（ｎ×ｍ）次元のベクトルＧで表現される。

微分方向ヒストグラムは、以下の数３式計算により正規化し、特徴ベクトル（Ｆ）とする。但し、ベクトルＧのｋ次元目のスカラー値をＧ（ｋ）と表す。

図７は、請求項５に係る発明の実施形態例における連結領域内ピーク検出手段の概略構成図である。

連結領域内ピーク検出手段１６は、繰り返し制御手段Ａ１６１と繰り返し制御手段Ｂ１６２と右横連結性判定手段１６３と下連結性判定手段１６４と領域抽出手段１６５とピーク点出力手段１６６とを備える。

繰り返し制御手段Ａ１６１は、全ての注目位置・注目サイズにおいて後述の繰り返し制御手段Ｂ１６２の処理の繰り返しを実行制御する。

繰り返し制御手段Ｂ１６２は、注目位置及び注目サイズに候補として登録されたカテゴリに対して後述の右横連結性判定手段１６３と下連結性判定手段１６４による処理の繰り返しを実行制御する。

右横連結性判定手段１６３は、注目位置及びその右横の位置の照合度が閾値ＴＨ以下の場合に連結と判定する。

下連結性判定手段１６４は、注目位置及びその下の位置の照合度が定められた閾値ＴＨ以下の場合に連結と判定する。

領域抽出手段１６５は、連結された注目位置群を１つの領域として抽出する。

ピーク点出力手段１６６は、各領域内においての照合度の値（投影距離）が最小である位置及び大きさを求めて出力する。

また、請求項６に係る発明の実施形態例として、連結領域内ピーク検出手段１６において前連結性判定手段を備えてもよい。

図７に示された連結領域内ピーク検出手段１６において、繰り返し制御手段Ａ１６１は、全ての注目位置・注目サイズにおいて繰り返し制御手段Ｂ１６２の処理を繰り返す。次いで、繰り返し制御手段Ｂ１６２は、注目位置及び注目サイズに候補として登録されたカテゴリに対して右横連結性判定手段と下連結性判定手摩の処理を繰り返す。次いで、右横連結性判定手段１６３は、注目位置及びその右横の位置の照合度が閾値ＴＨ以下の場合に連結と判定する。次いで、下連結性判定手段１６４は、注目位置及びその下の位置の照合度が定められた閾値ＴＨ以下の場合に連結と判定する。

ここで、図示省略された前連結性判定手段は、注目位置及びその注目サイズの１段階上のサイズの同位置の照合度が定められた閾値以下の場合に連結と判定する。

次いで、領域抽出手段１６５は連結された注目位置群を１つの領域として抽出する。そして、ピーク点出力手段１６６が、各領域内においての照合度の値（投影距離）が最小である位置及び大きさを求めて出力する。

図１２は、Ｐ点における連結判定の一例を示したものであって、本例の場合、Ｐ点の右横及び下及び１段階上のサイズＢの同位置が連結と判定される。

図１３は、全点における連結判定の一例であって、本例の場合、Ｐ点の左横、右横並びに上下及び１段階上のサイズＢの同位置（Ｑ点）が連結と判定される。また、Ｑ点においても、左様、右横並びに上下及び１段階下のサイズＡの同位置（Ｐ点）が連結と判定される。

図１４は、領域抽出の結果の一例を示すものであって、連結されている領域を１領域とみなして抽出し、各々に対してラベルを付けた結果を示している。Ｐ点及びＱ点が含まれる領域の画素は、領域１とラベリングされ、Ｒ点及びＳ点が含まれる領域の画素は、領域２とラベリングされている。

図１５は、ピーク点出力の結果の一例を示すものであって、領域１内での投影距離が最小であるＰ点と、領域２内での投影距離が最小であるＲ点がピーク点として出力されている。

図１６は、請求項７に係るオブジェクト認識装置における候補カテゴリ更新手段の概略構成図である。

図示された候補カテゴリ更新手段１７は、周辺領域計算手段１７１と周辺領域登録手段１７２とを備える。周辺領域計算手段１７１は、求められたピーク点の周辺領域を計算する。周辺領域登録手段１７２は、ピーク点及びその周辺領域を候補として登録する。

図１７は、周辺領域計算手段１７１の結果の一例を示すもので、本例では、ピーク点の上下左右及びサイズの一段階上を周辺領域として定義している。但し、本例はあくまで一例であって、その他の多面体等の定義であってもよい。

以上説明したオブジェクト認識装置の構成要素の動作例を示す。

図１８は、識別装置１の動作例を示したフローチャートである。

ステップ１） 対象画像の入力
ステップ２） 全カテゴリの登録
ステップ３） 注目点の数Ｖ×想定する大きさの数Ｗ分繰り返し［１］
ステップ４） 注目領域の切り出し
ステップ５） 特徴の抽出
ステップ６） 繰り返し［１］終了
ステップ７） 入力された数Ｉ分繰り返し［２］
ステップ８） 照合度の算出
ステップ９） ピークの検出
ステップ１０） 候補カテゴリの更新
ステップ１１） 繰り返し［２］終了
ステップ１２） 識別結果の出力
図１９は、特徴抽出手段１４の動作例を示したフローチャートである。

ステップ１） 画像のピクセル数Ｐ分繰り返し［１］
ステップ２） 微分強度の計算
ステップ３） 繰り返し［１］終了
ステップ４） 分割数ｎ分繰り返し［２］
ステップ５） 微分方向ヒストグラムの計算
ステップ６） 繰り返し［２］終了
ステップ７） 微分ヒストグラムの正規化
図２０は、照合度算出手段１５の動作例を示したフローチャートである。

ステップ１） 圧縮
ステップ２） カテゴリ数Ｃ分繰り返し［１］
ステップ３） 投影距離算出
ステップ４） 繰り返し［１］終了
ステップ５） カテゴリ数Ｃ分繰り返し［１］
ステップ６） 順位算出
ステップ７） 繰り返し［１］終了
ステップ８） 順位カット
図２１は、連結領域内ピーク検出手段１６の動作例を示したフローチャートである。

ステップ１） 候補数Ｊ分繰り返し［１］
ステップ２） 右横連結性判定
ステップ３） 下連結性判定
ステップ４） 前連結性判定
ステップ５） 繰り返し［１］終了
ステップ６） 領域抽出（ラベリング）
ステップ７） 領域数分繰り返し［２］
ステップ８） ピーク点出力
ステップ９） 繰り返し［２］終了
図２２は、候補カテゴリ更新手段１７の動作例を示したフローチャートである。

ステップ１） ｉがＩであるかどうか。 Ｙｅｓであれば終了
ステップ２） 周辺領域計算
ステップ３） 周辺領域登録
以上のフローチャートに従うと、図８の例の対象画像に対して、以下のような識別結果の出力例を得ることができる。

［５，５，１０，電，１０００．］
［１０，５，１０，信，９００］
［１５，５，１０，電，８２０］
［２０，５，１０、話、１２００］
尚、これまでの実施形態例で述べたオブジェクト識別方法は、図１〜図２２で示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク、ＨＤＤ等に記録して、保存したり、配布したりすることが可能である。また、このプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。

そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。

本発明を景観中文字認識翻訳システムの概略構成図。 請求項１に係る発明の実施形態例を示した概略構成図。 請求項２及び３に係る発明の実施形態例で、特に照合度算出手段１５の概略構成図。 請求項４に係る発明の実施形態例における特徴抽出手段の概略構成図。 微分強度方向計算手段の動作例の説明図。 微分方向ヒストグラム化手段の動作例の説明図。 請求項５に係る発明の実施形態例における連結領域内ピーク検出手段の概略構成図。 対象画像の一例。 対象画像中の注目点を示した図。 「定められた大きさ」の一例。 照合度算出手段による算出結果の一例。 Ｐ点における連結判定の一例。 Ｐ点における連結判定の一例。 領域抽出の結果の一例。 ピーク点出力の結果の一例。 請求項７に係るオブジェクト認識装置における候補カテゴリ更新手段の概略構成図。 周辺領域計算手段の結果の一例。 識別装置の動作例を示したフローチャート。 特徴抽出手段の動作例を示したフローチャート。 照合度算出手段の動作例を示したフローチャート。 連結領域内ピーク検出手段の動作例を示したフローチャート。 候補カテゴリ更新手段の動作例を示したフローチャート。

符号の説明

１…識別装置、２…ユーザ、３…辞書、４…翻訳装置
１０…入力手段、１１…全カテゴリ登録手段、１２…繰り返し制御手段、１３…画像切り出し手段、１４…特徴抽出手段、１５…照合度算出手段、１６…連結領域内ピーク検出手段、１７…候補カテゴリ更新手段
１５１…圧縮手段、１５２…投影距離算出手段、１５３…順位算出手段、１５４…順位カット手段
１４１…入力手段、１４２…微分強度方向計算手段、１４３…微分方向ヒストグラム化手段、１４４…微分ヒストグラム正規化手段
１６１…繰り返し制御手段Ａ、１６２…繰り返し制御手段Ｂ、１６３…右横連結性判定手段、１６４…下連結性判定手段、１６５…領域抽出手段、１６６…ピーク点出力手段

Claims (16)

1. 画像中の複数のオブジェクトを識別するオブジェクト識別装置であって、
   識別対象画像が入力され、この画像中の定められた位置とその大きさに対して全カテゴリを候補カテゴリとして登録する全カテゴリ登録手段と、
   以下の手段による処理を繰り返し実行する制御手段と、
   前記対象画像において注目する位置とその大きさを変更しながら注目する画像を切り出す画像切り出し手段と、
   この切り出した画像から対象特徴ベクトルを抽出する特徴抽出手段と、
   予め作成してある前記繰り返しの回数に応じた各オブジェクトの認識辞書と前記対象特徴ベクトルを比較して、その照合度合いを表す照合度であり、値が小さいほどに照合度合いが高くなる照合度を算出する照合度算出手段と、
   注目する位置が隣り合う前記算出された２つの照合度が閾値以下であれば連結と判定し、連結領域内での照合度の最大ピークを検出する連結領域内ピーク検出手段と、
   検出されたピークを候補として登録する候補カテゴリ更新手段と
   を備えることを特徴とするオブジェクト識別装置。
2. 前記照合度算出手段は、
   前記繰り返しの回数に応じた入力された圧縮率により特徴ベクトルを圧縮した対象圧縮特徴ベクトルを算出する圧縮手段と、
   各候補カテゴリの該当する圧縮率に対する予め入力された部分空間を用いて対象圧縮特徴ベクトルを部分空間に投影した際の距離を算出する投影距離算出手段と
   を備えることを特徴とする請求項１に記載のオブジェクト識別装置。
3. 前記照合度算出手段は、
   前記繰り返しの回数に応じた入力された圧縮率により特徴ベクトルを圧縮した対象圧縮特徴ベクトルを算出する圧縮手段と、
   各候補カテゴリの該当する圧縮率に対する予め入力された部分空間を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する投影距離算出手段と、
   各候補カテゴリの投影距離による順位を求める順位算出手段と、
   指定された順位以下の候補カテゴリの投影距離を大きくする順位カット手段と
   を備えることを特徴とする請求項１に記載のオブジェクト識別装置。
4. 前記特徴抽出手段は、
   各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを計算する微分強度方向計算手段と、
   各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する微分方向ヒストグラム化手段と、
   作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する正規化手段と
   を備えたことを特徴とする請求項１から３のいずれか１項に記載のオブジェクト識別装置。
5. 前記連結領域内ピーク検出手段は、
   前記注目した位置及びその右横の位置の照合度が定められた閾値以下の場合に連結と判定する右横連結性判定手段と、
   前記注目した位置及びその下の位置の照合度が定められた閾値以下の場合に連結と判定する下連結性判定手段と、
   連結された注目した位置の群を１つの領域として抽出する領域抽出手段と、
   各領域内においての照合度が最小である位置及び大きさを求めて出力するピーク点出力手段と、
   前記注目した位置及びその大きさに候補として登録されたカテゴリに対して右横連結性判定手段と下連結性判定手段とによる処理を繰り返し実行させる工程と、全ての注目した位置とその大きさにおいて前記工程の処理を繰り返し実行させる工程とを制御する制御手段と
   を備えることを特徴とする請求項１から４のいずれか１項に記載のオブジェクト識別装置。
6. 前記連結領域内ピーク検出手段は、
   前記注目した位置及びその右横の位置の照合度が定められた閾値以下の場合に連結と判定する右横連結性判定手段と、
   前記注目した位置及びその下の位置の照合度が定められた閾値以下の場合に連結と判定する下連結性判定手段と、
   前記注目した位置及びその大きさの１段階上の大きさの同位置の照合度が定められた閾値以下の場合に連結と判定する前連結性判定手段と、
   連結された注目位置群を１つの領域として抽出する領域抽出手段と、
   各領域内においての照合度が最小である位置及び大きさを求めて出力する候補点出力手段と、
   前記注目した位置及びその大きさに候補として登録されたカテゴリに対して右横連結性判定手段と下連結性判定手段と前連結性判定手段とによる処理を繰り返し実行する工程と、全ての注目した位置及びその大きさにおいて前記工程の処理を繰り返し実行する工程とを制御する制御手段と
   を備えることを特徴とする請求項１から５のいずれか１項に記載のオブジェクト識別装置。
7. 前記候補カテゴリ更新手段は、
   求められたピーク点の周辺領域を計算する周辺領域計算手段と、
   前記ピーク点及びその周辺領域を候補として登録する周辺領域登録手段と
   を備えることを特徴とする請求項１から６のいずれか１項に記載のオブジェクト識別装置。
8. 画像中の複数のオブジェクトを識別するオブジェクト識別方法であって、
   全カテゴリ登録手段と、画像切り出し手段と、特徴抽出手段と、照合度算出手段と、連結領域内ピーク検出手段と、これらの手段を制御する制御手段とを有し、
   全カテゴリ登録手段が、入力された識別対象画像中の定められた位置とその大きさに対して全カテゴリを候補カテゴリとして登録する工程と、
   制御手段が、以下の手段による処理を繰り返し実行する工程と、
   画像切り出し手段が、前記対象画像において注目する位置とその大きさを変更しながら注目する画像を切り出す工程と、
   特徴抽出手段が、この切り出し画像から対象特徴ベクトルを抽出する工程と、
   照合度算出手段が、予め作成してある前記繰り返しの回数に応じた各オブジェクトの認識辞書と対象特徴ベクトルを比較して、その照合度合いを表す照合度であり、値が小さいほどに照合度合いが高くなる照合度を算出する工程と、
   連結領域内ピーク検出手段が、注目する位置が隣り合う前記算出された２つの照合度が閾値以下であれば連結と判定し、連結領域内での照合度の最大ピークを検出する工程と、
   候補カテゴリ更新手段が、前記検出されたピークを候補として登録する工程と
   を有することを特徴とするオブジェクト識別方法。
9. 前記照合度算出手段が照合度を算出する工程においては、
   前記繰り返しの回数に応じた入力された圧縮率により特徴ベクトルを圧縮した対象圧縮特徴ベクトルを算出する工程と、
   各候補カテゴリの該当する圧縮率に対する予め入力された部分空間を用いて対象圧縮特徴ベクトルを部分空間に投影した際の距離を算出する工程と
   を有することを特徴とする請求項８に記載のオブジェクト識別方法。
10. 前記照合度算出手段が照合度を算出する工程においては、
    前記繰り返しの回数に応じた入力された圧縮率により特徴ベクトルを圧縮した対象圧縮特徴ベクトルを算出する工程と、
    各候補カテゴリの該当する圧縮率に対する予め入力された部分空間を用いて対象圧縮特徴ベクトルを部分空間に投影した際の投影距離を算出する工程と、
    各候補カテゴリの投影距離による順位を算出する工程と、
    指定された順位以下の候補カテゴリの投影距離を大きくする工程と
    を有することを特徴とする請求項８に記載のオブジェクト識別方法。
11. 前記特徴抽出手段が対象特徴ベクトルを抽出する工程においては、
    各画像の横方向の微分と縦方向の微分成分を計算して微分の方向と強さを算出する工程と、
    各画像に対し、定められた領域内の各画素の微分方向を定められた段階に量子化し、微分の強さを段階毎に累積加算した微分方向ヒストグラムを作成する工程と、
    作成された微分方向ヒストグラムをベクトルとみなしてその大きさを定められた値に正規化する工程と
    を有することを特徴とする請求項８から１０のいずれか１項に記載のオブジェクト識別方法。
12. 前記連結領域内ピーク検出手段が照合度の最大ピークを検出する工程においては、
    右横連結性判定手段が前記注目した位置及びその右横の位置の照合度が定められた閾値以下の場合に連結と判定する工程と、
    下連結性判定手段が前記注目した位置及びその下の位置の照合度が定められた閾値以下の場合に連結と判定する工程と、
    領域抽出手段が連結された注目した位置の群を１つの領域として抽出する工程と、
    ピーク点出力手段が各領域内においての照合度が最小である位置及び大きさを求めて出力する工程と
    前記注目した位置及びその大きさに候補として登録されたカテゴリに対して右横連結性判定手段と下連結性判定手段とによる処理を繰り返し実行させる工程と、
    全ての注目した位置とその大きさにおいて前記工程の処理を繰り返し実行させる工程とを有することを特徴とする請求項８から１１のいずれか１項に記載のオブジェクト識別方法。
13. 前記連結領域内ピーク検出手段が照合度の最大ピークを検出する工程においては、
    右横連結性判定手段が前記注目した位置及びその右横の位置の照合度が定められた閾値以下の場合に連結と判定する工程と、
    下連結性判定手段が前記注目した位置及びその下の位置の照合度が定められた閾値以下の場合に連結と判定する工程と、
    前連結性判定手段が前記注目した位置及びその大きさの１段階上の大きさの同位置の照合度が定められた閾値以下の場合に連結と判定する工程と、
    領域抽出手段が連結された注目位置群を１つの領域として抽出する工程と、
    各領域内においての照合度が最小である位置及び大きさを求めて出力する工程と、
    前記注目した位置及びその大きさに候補として登録されたカテゴリに対して右横連結性判定手段と下連結性判定手段と前連結性判定手段とによる処理を繰り返し実行する工程と、
    全ての注目した位置及びその大きさにおいて前記工程の処理を繰り返し実行する工程とを有するとを特徴とする請求項８から１２のいずれか１項に記載のオブジェクト識別方法。
14. 前記候補カテゴリ更新手段の実行する工程においては、
    求められたピーク点の周辺領域を計算する工程と、
    前記ピーク点及びその周辺領域を候補として登録する工程と
    を有することを特徴とする請求項８から１３のいずれか１項に記載のオブジェクト識別方法。
15. 請求項８から１４のいずれか１項に記載のオブジェクト識別方法をコンピュータに実行させるためのプログラム。
16. 請求項８から１４のいずれか１項に記載のオブジェクト識別方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
    

Images