JP4063706B2 - Visual device and its application - Google Patents
Visual device and its application Download PDFInfo
- Publication number
- JP4063706B2 JP4063706B2 JP2003122945A JP2003122945A JP4063706B2 JP 4063706 B2 JP4063706 B2 JP 4063706B2 JP 2003122945 A JP2003122945 A JP 2003122945A JP 2003122945 A JP2003122945 A JP 2003122945A JP 4063706 B2 JP4063706 B2 JP 4063706B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- graphic
- band pixel
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術の分野】
本発明は、画像中の複数の文字又は図形を抽出する視覚装置に関し、詳しくは、ビデオカメラ及びスキャナなどの撮影装置で撮影された二値画像、濃淡画像、三原色波長、可視光波長、赤外線波長、紫外線波長、その他全ての電磁波のうち任意の帯域から構成される画像などの静止画像中の複数の文字又は図形と、それらの輪郭の色から多色画像を生成し、各々の色の画像に対して文字又は図形を抽出するものに関する。
【０００２】
【従来の技術】
これまで本発明者のうちの一人により、視覚装置が開発されてきた（例えば、特許文献１、２及び３参照。）。この視覚装置はデジタル技術によって人間の視覚機能を具現化したものであり、例えば顕微鏡によって撮影された画像中の微生物の数を数えたり、また、移動カメラのパン、チルト、ロール及びズームの機構を制御することにより、複数の物体を探索し、これらの物体に対して画像処理を行うことができる。この視覚装置が行うこの画像処理の大半が局所処理であり、しかもこれらの局所処理は二次元格子状に配列された複数の配列演算ユニットによって並列に実行される。この視覚装置は、パーソナルコンピュータのようなコンピュータシステム、複数のプロセッサを搭載した並列計算機及びこれらを１個のＬＳＩ（大規模集積回路）に搭載したシステムＬＳＩなどによって実現され得るが、さらに複数の仮想配列演算ユニットから構成される専用回路が用いられるならば、この視覚装置はこれらの局所並列画像処理を高速に実行することができる（特許文献２、３及び非特許文献１参照。）。
【０００３】
一方で、これまでに多くの研究者が画像中の文字を抽出する方法を開発してきた（例えば、非特許文献２、３、４、５及び６参照。）。これらの方法の多くが濃淡画像を対象としたものである。また、これらの方法がカラー画像を処理できる場合でも、これらの方法は、３個の濃淡画像に分解した後に各々の濃淡画像に対して文字を抽出するので、これらの方法は基本的に濃淡画像に対する文字抽出法である（例えば、非特許文献２参照。）。加えて、これらの方法の多くがフーリエ変換、ハフ変換及びヒストグラムの計算を行う（例えば、非特許文献３、４及び６参照。）。したがって、例え処理領域を区切ったとしても、これらの方法はこの処理領域の中で大域処理を行わなければならないので、基本的に並列性が低くなり、結果として処理速度が遅くなる。
【０００４】
ところで、局所並列画像処理はこのような問題を解決することができる。例えば、８近傍しか参照しない位置及び大きさ検出アルゴリズム（以下、位置／大きさ検出アルゴリズムと略記する。例えば、特許文献１参照。）が出力する重複情報が一定の範囲内にある場合、この重複情報が文字の位置のヒントになる。そこで、８個以下の画素を参照する関数のみから構成される局所並列画像処理アルゴリズムでも情景画像から文字を抽出することができ、しかも比較的高い抽出率を達成することができる。しかしながら、このアルゴリズムには以下のような３つの問題がある。第一に、このアルゴリズムはカラー画像を黒文字画像と白文字画像にしか変換しないので、他の色を処理することが極めて困難である。そのため、このアルゴリズムは、このカラー画像の赤帯域だけにバイアスを加えることにより、赤色を黒色か白色のいずれかとして際立たせている。第二に、例えこの重複情報がこの一定の範囲内にあるとしても、この重複情報は必ずしも文字の位置を指し示すとは限らない。多くの場合、塗り潰された領域の中にも同様の重複情報が生成されるため、予めこの塗り潰された領域に含まれる重複情報が除去された後に、このアルゴリズムは残りの重複情報を用いて文字の判定を行わなければならない。第三に、このアルゴリズムは８近傍以下の処理のみを用いているので、この情景画像が大きくなればなるほど計算量も増加する。特にこの塗り潰された領域を除外する場合、このアルゴリズムは８近傍処理を多数回繰り返さなければならない。
【０００５】
ここで、人間の視覚について調べると、補色関係を有効に利用していることが判る（例えば、非特許文献７参照。）。この補色関係は、人間の視覚において見られる特徴であり、色相環において向い合う色の組み合せである。例えば、赤色と緑色は補色関係にあり、同じ画素において同時に見えることはない。同様に黄色と青色も補色関係にある。但し、人間の視覚では、黄色と青色の影響力は白色、黒色、赤色及び緑色に比べて弱く、例えば白地に黄色の文字や黒地に青色の文字は大変見辛い。したがって、黄色は白色に、青色は黒色に近いと見做すことができるが、このことは、心理学のみならず網膜の構造からも裏付けられている。
【０００６】
加えて、上述の白色及び黒色自体も相対的な明るさを表し、ある画素が同じ明るさであっても、その周辺が暗ければこの画素は白色に見え、その周辺が明るければこの画素は黒色に見える。つまり灰色というどの色にも属さない周辺の明るさを基準とした相対的な明るさが人間にとっての白色及び黒色となる。何故なら、太陽光の下など明るさが常時変化する環境において人間が生活する場合、このような相対的な明るさを利用することは大変便利であるからである。但し、神経生理学の分野において、この灰色を決定する具体的な網膜の仕組みは未だ解明されていないばかりか、網膜から神経節細胞を介して一次視覚野に送信する画像データを圧縮するのに、この灰色が重要な役割を果たしていることに、多くの研究者は気付いていない（例えば、非特許文献８参照。）。また、網膜には多くの種類のアマクリン細胞があり、これらのアマクリン細胞は双極細胞及び神経節細胞と複雑なネットワークを形成しているにも係わらず、これらのアマクリン細胞に対しては、ＬＳＩの分野においても動き検出にのみ注目が集まっている（例えば、非特許文献９及び１０参照。）。
【０００７】
実は人間が文字又は図形を書く場合、これらの文字及び図形を見易くするために、無意識にこの補色関係を利用している。そこで第一の問題に対しては、この補色関係を有効に用いれば、これらの文字及び図形の位置を容易に見付けることができるばかりか、少ない情報量でこれらの文字及び図形の色を的確に表すこともできる。しかも塗り潰された領域は色の変化がないために灰色と見做され得る。そこで上述の情景画像からこの灰色の部分を除くことにより、この補色関係は第二の問題に対しても有効である。
【０００８】
さて、第三の問題に対しては、位置／大きさ検出アルゴリズムを使う代りに任意の近傍を直接参照して総和を求める関数を用いる。特に、文字及び図形が一般に線分、円弧及び自由曲線を含む少なくとも１個の線によって構成されているので、この近傍に対する近傍長はこれらの線の最大幅を越える必要はない。したがって、総和を求めるこの関数も局所関数になる。これにより、視覚装置は計算量を大幅に削減することができる。なお、以下では、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。
【０００９】
これらのことを考慮すると、視覚装置が入力画像を少なくとも白色、黒色、赤色、緑色及び灰色の５色に分類し、各々の色毎に、総和を求める局所関数を用いて文字又は図形を選択することにより、この視覚装置はこれらの文字及び図形を抽出することができるばかりか、これらの文字及び図形の色を的確に表すことができると期待される。しかも多くの関数が８近傍以下を参照する関数であるので、この視覚装置は少ないハードウェア量と計算量でこれらの文字及び図形を抽出することができると期待される。
【００１０】
【特許文献１】
国際公開番号ＷＯ００／１６２５９号パンフレット
【特許文献２】
国際公開番号ＷＯ０１／４１４４８号パンフレット
【特許文献３】
国際公開番号ＷＯ０２／７３５３８号パンフレット
【非特許文献１】
福田静人，味岡義明，天野英晴，「位置／大きさ検出装置のＦＰＧＡへの実装」，第１０回エフピージーエー／ピーエルディー・デザイン・コンファレンス(FPGA/PLD Design Conference)論文集，エレクトロニック・デザイン・アンド・ソリューション・フェア(Electronic Design and Solution Fair)２００３，２００３年１月３０日，ｐ．１１５−１２２
【非特許文献２】
顧力栩，田中直樹，金子豊久，Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，「表紙画像からの文字領域抽出方式」，電子情報通信学会論文誌，１９９７年１０月，第Ｊ８０−Ｄ−ＩＩ巻，第１０号，ｐ．２６９６−２７０４
【非特許文献３】
劉詠梅，山村毅，大西昇，杉江昇，「シーン内の文字列領域の抽出について」，電子情報通信学会論文誌，１９９８年４月，第Ｊ８１−Ｄ−ＩＩ巻，第４号，ｐ．６４１−６５０
【非特許文献４】
後藤英昭，平山理継，阿曽弘具，「局所多値しきい値処理による濃淡文書画像からの文字パターンの抽出」，電子情報通信学会論文誌，１９９９年１１月，第Ｊ８２−Ｄ−ＩＩ巻，第１１号，ｐ．２１８８−２１９２
【非特許文献５】
金大祐，高橋裕樹，中嶋正之，「情景画像からのハングル文字列領域抽出と字素識別」，電子情報通信学会技術報告，２００２年５月，第ＰＲＭＵ−２００２−１８号，第ＭＩ２００２−３４号，ｐ．６５−７０
【非特許文献６】
松尾賢一，上田勝彦，梅田三千雄，「局所対象領域の２値化による情景画像からの文字列領域抽出」，電気学会論文誌，２００２年２月，第１２２−Ｃ巻，第２号，ｐ．２３２−２４１
【非特許文献７】
池田光男著，「眼はなにをみているか−視覚系の情報処理」，第１版，平凡社，１９８８年８月２２日，ｐ．１８３−２７６
【非特許文献８】
ヘルガ・コルブ(Helga Kolb)，エドアルド・フェルナンデス(Eduardo Fernandez)，ラルフ・ネルソン(Ralph Nelson)編，「ウェブビジョン (WEBVISION)」，（米国），[online]，２００３年，ジョン・Ａ・モラン・アイ・センター(John A. Moran Eye Center)，ユタ大学 (University of Utah)，［２００３年４月１４日検索］，インターネット＜URL:http://webvision.med.utah.edu＞
【非特許文献９】
Ｋ．ボアヘン(K.Boahen)，「レチノモルフィック・チップ・ザット・シー・クアドラプル・イメージ(Retinomorphic Chips that see Quadruple Images)，（米国），第７回ニューラル，ファジーとバイオインスパイアード・システムのためのマイクロエレクトロニクスに関する国際会議予稿集(Proceedings of the Seventh International Conference on Microelectronics for Neural, Fuzzy, and Bio- Inspired Systems)，アイトリプルイー(IEEE)，１９９９年，ｐ．１２−２０
【非特許文献１０】
山田仁，宮下貴重，大谷真弘，米津宏雄，「内網膜機能に学んだ動き情報の生成とその電子回路化」，デンソーテクニカルレビュー，株式会社デンソー，２０００年，第５巻，第２号，ｐ．１０１−１０６
【００１１】
【発明が解決しようとする課題】
そこで、請求項記載の本発明は、色の補色関係を用いて、画像から少なくとも１個の文字及び図形を抽出することにより、少ないハードウェア量及び計算量でこれらの文字及び図形の位置又は色を同時に抽出することを目的とする。
【００１２】
【課題を解決するための手段及び発明の効果】
請求項１の発明は、少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、を特徴とし、前記データ処理装置が、補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段を備えることにより、前記デジタル画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置である。本発明において、前記多色分類手段は二次元格子状に配列された複数の配列演算ユニットによって実現される。したがって、前記視覚装置が行う画像処理は局所並列画像処理である。前記多色分類手段では、前記デジタル画像の各画素の複数の前記帯域画素値で表される色を、白色、黒色及び色相環において向い合う少なくとも１対の色を含む少なくとも４色に分類する手段（又はステップ）と、前記白色と前記黒色の差分を計算する手段（又はステップ）と、向い合う少なくとも前記１対の色から差分を計算する手段（又はステップ）と、前記白色と前記黒色の前記差分と、向い合う少なくとも前記１対の色の前記差分と、から灰色を分類する手段（又はステップ）と、を用いて、少なくとも前記５色を含む前記多色画像に変換することが好ましい。なお、前記デジタル画像がカラー画像である場合、向い合う少なくとも１対の色として、一般に赤色及び緑色が用いられることが好ましい。また、特に断りがない限り、黄色及び青色はそれぞれ前記白色及び前記黒色と見做される。そこでこれら５色を表すためには少なくとも３ビットあれば良いので、前記視覚装置は、前記デジタル画像を、少なくとも３ビットの前記帯域画素値から構成される画像に圧縮することができる。しかも圧縮された前記帯域画素値の多くが前記灰色となるので、これらの前記帯域画素値に対する圧縮も容易である。本発明は、前記デジタル画像を圧縮することができるので、前記デジタル画像の圧縮に関する諸問題が好適に解決される。
【００１３】
請求項２の発明は、少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、を特徴とし、前記データ処理装置が、補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段と、前記多色画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを選択することにより、前記多色画像を粗文字／図形画像に変換する文字／図形選択手段と、前記粗文字／図形画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを除去することにより、前記粗文字／図形画像を文字／図形画像に変換するテクスチャ除去手段と、を備えることにより、前記文字／図形画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記文字／図形画像を生成する。本発明において、全ての手段は二次元格子状に配列された複数の配列演算ユニットによって実現される。したがって、前記視覚装置が行う画像処理は局所並列画像処理である。前記多色分類手段では、前記デジタル画像の各画素の複数の前記帯域画素値で表される色を、白色、黒色及び色相環において向い合う少なくとも１対の色を含む少なくとも４色に分類する手段（又はステップ）と、前記白色と前記黒色の差分を計算する手段（又はステップ）と、向い合う少なくとも前記１対の色から差分を計算する手段（又はステップ）と、前記白色と前記黒色の前記差分と、向い合う少なくとも前記１対の色の前記差分と、から灰色を分類する手段（又はステップ）と、を用いて、少なくとも前記５色を含む前記多色画像に変換することが好ましい。なお、前記デジタル画像がカラー画像である場合、向い合う少なくとも１対の色として、一般に赤色及び緑色が用いられる。また、特に断りがない限り、黄色及び青色はそれぞれ前記白色及び前記黒色と見做される。そこでこれら５色を表すためには少なくとも３ビットあれば良いので、前記視覚装置は、前記デジタル画像を、少なくとも３ビットの前記帯域画素値から構成される画像に圧縮することができる。しかも圧縮された前記帯域画素値の多くが前記灰色となるので、これらの前記帯域画素値に対する圧縮も容易である。前記文字／図形選択手段では、前記多色画像の各画素の少なくとも１色に対して、前記所定の近傍内にある前記所定の帯域画素値を集める手段（又はステップ）と、集まった前記帯域画素値の個数が前記所定の範囲内にある前記画素だけを選択する手段（又はステップ）と、を用いて、前記多色画像を粗文字／図形画像に変換する。もし前記所定の帯域画素値の前記個数が前記所定の範囲内にあれば、前記多色画像の前記画素の前記色の帯域画素値を前記文字／図形と見做し、前記粗文字／図形画像の帯域画素値とする。もし前記所定の帯域画素値の前記個数が前記所定の範囲内になければ、前記帯域画素値を前記灰色と見做し、前記粗文字／図形画像の帯域画素値とする。前記テクスチャ除去手段では、前記粗文字／図形画像の各画素の少なくとも１色に対して、エッジ情報に対応する帯域画素値を生成する手段（又はステップ）と、所定の近傍内にある所定の帯域画素値を集める手段（又はステップ）と、集まった前記帯域画素値の個数が所定の範囲内にある画素だけを除去する手段（又はステップ）と、を用いて、前記粗文字／図形画像を文字／図形画像に変換することが好ましい。もし前記所定の帯域画素値の前記個数が前記所定の範囲内になければ、前記粗文字／図形画像の前記画素の前記色の帯域画素値をテクスチャではないと見做し、前記文字／図形画像の帯域画素値とする。もし前記エッジ情報の数が前記所定の範囲内にあれば、前記粗文字／図形画像の前記帯域画素値を前記灰色と見做し、前記文字／図形画像の帯域画素値とする。本発明は、前記デジタル画像中の前記文字／図形の色を的確に表したまま、前記デジタル画像中の前記文字／図形を抽出することができるので、前記文字／図形の抽出に関する諸問題が好適に解決される。
【００１４】
請求項３の発明は、請求項２記載の視覚装置において、前記データ処理装置が精細化手段を備え、前記精細化手段が、前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記文字／図形を表す場合、精細文字／図形画像において対応する前記帯域画素値の各々を前記デジタル画像において対応する前記帯域画素値に設定する手段（又はステップ）と、前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記灰色を表す場合、前記精細文字／図形画像において対応する前記帯域画素値の各々を所定の灰色を表す前記帯域画素値に設定する手段（又はステップ）と、を用いることを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記精細文字／図形画像を生成する。本発明において、全ての手段は二次元格子状に配列された複数の配列演算ユニットによって実現される。したがって、前記視覚装置が行う画像処理は局所並列画像処理である。前記精細化手段は、前記デジタル画像のうち、前記文字／図形画像中の前記灰色の前記画素、つまり前記文字及び前記図形に含まれない前記画素に対応する前記画素を所定の前記灰色に置き換え、それ以外の画素をそのまま維持する。これにより、前記精細文字／図形画像中の前記文字及び前記図形の色は正確になる。しかも多数の画素が前記灰色になるので、これらの前記画素の帯域画素値に対する圧縮も容易である。本発明は、前記デジタル画像中の前記文字及び前記図形の色を正確に表したまま、前記デジタル画像中の前記文字及び前記図形を抽出することができるので、前記文字及び前記図形の抽出に関する諸問題が好適に解決される。
【００１５】
請求項４の発明は、二次元格子状に配列された複数の配列演算ユニットから構成される少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、を特徴とし、各々の前記配列演算ユニットにおいて、前記配列演算ユニットを初期化する手段と、入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、前記多色画像の各々の前記帯域画素値を出力する手段と、を備えたことを特徴とする視覚装置である。本発明は前記配列演算ユニットが提供する機能をデジタル技術によって実現するためのアルゴリズムの実装形態である。前記デジタル画像がカラー画像の場合、前記多色画像は、少なくとも白色、黒色、赤色、緑色及び灰色の５色を含むことができる。前記配列演算ユニットを前記二次元格子状に配列し、前記配列演算ユニットを近傍同士相互に結合し、前記配列演算ユニットの各パラメータの初期値を設定した後に、前記デジタル画像を画素単位で適宜入力し、平滑化から前記多色画像の出力までを順次行い、前記デジタル画像が入力されなくなるまで繰り返す。本発明は前記配列演算ユニットを並列に動作させることができるので、複数の前記文字及び前記図形の抽出に関する諸問題が好適に解決される。
【００１６】
請求項５の発明は、二次元格子状に配列された複数の配列演算ユニットから構成される少なくとも１個のデータ処理装置を含む視覚装置であって、前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、を特徴とし、各々の前記配列演算ユニットにおいて、前記配列演算ユニットを初期化する手段と、入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、前記多色画像から文字及び図形を選択するために、前記多色画像の複数の前記帯域画素値を粗文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、前記粗文字／図形画像からテクスチャを除去するために、前記粗文字／図形画像の複数の前記帯域画素値を文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、前記文字／図形画像の各々の前記帯域画素値を出力する手段と、を備えたことを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記文字／図形画像を生成する。つまり、本発明は前記配列演算ユニットが提供する機能をデジタル技術によって実現するためのアルゴリズムの実装形態である。前記デジタル画像がカラー画像の場合、前記多色画像は、少なくとも白色、黒色、赤色、緑色及び灰色の５色を含むことができる。前記配列演算ユニットを前記二次元格子状に配列し、前記配列演算ユニットを近傍同士相互に結合し、前記配列演算ユニットの各パラメータの初期値を設定した後に、前記デジタル画像を画素単位で適宜入力し、平滑化から前記文字／図形画像の出力までを順次行い、前記デジタル画像が入力されなくなるまで繰り返す。本発明は前記配列演算ユニットを並列に動作させることができるので、複数の前記文字／図形の抽出に関する諸問題が好適に解決される。
【００１７】
請求項６の発明は、請求項５記載の視覚装置において、前記デジタル画像を用いて前記文字／図形画像を精細化し、精細文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、前記文字／図形画像の各々の前記帯域画素値の代りに、前記精細文字／図形画像の各々の前記帯域画素値を出力する手段と、備えたことを特徴とする視覚装置である。本発明において、文字とは所定の線幅以下の線のみから構成されたものを指し、図形とは所定の線幅を越える線若しくは領域を少なくとも１個含むものを指すものとする。そこで本発明では、前記デジタル画像中のこれらの文字及び／又は図形（以下、文字／図形と略記する。）を抽出し、前記精細文字／図形画像を生成する。つまり、本発明は前記配列演算ユニットが提供する機能をデジタル技術によって実現するためのアルゴリズムの実装形態である。前記デジタル画像がカラー画像の場合、前記多色画像は、少なくとも白色、黒色、赤色、緑色及び灰色の５色を含むことができる。前記配列演算ユニットを前記二次元格子状に配列し、前記配列演算ユニットを近傍同士相互に結合し、前記配列演算ユニットの各パラメータの初期値を設定した後に、前記デジタル画像を画素単位で適宜入力し、平滑化から前記精細文字／図形画像の出力までを順次行い、前記デジタル画像が入力されなくなるまで繰り返す。本発明は前記配列演算ユニットを並列に動作させることができるので、複数の前記文字／図形の抽出に関する諸問題が好適に解決される。
【００１８】
請求項７の発明は、請求項１〜５のうちのいずれか１項に記載の視覚装置と、前記デジタル画像を撮影する撮影装置又は前記デジタル画像を描画する描画装置と、画像圧縮手段及び画像通信手段を含む通信装置と、を含む通信システムであって、前記視覚装置が出力した、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に対して、前記画像圧縮手段が、複数の前記灰色の前記帯域画素値を一纏めに圧縮して圧縮画像データを生成することと、前記画像通信手段が、前記圧縮画像データを通信ネットワークに送信することと、を特徴とする通信システムである。前記撮影装置は、カメラ及びスキャナなど、前記デジタル画像を撮影できるものである。また、前記描画装置は、マウス、タブレット及びタッチパネルなど、前記デジタル画像を描画できるものであることが好ましい。前記通信ネットワークは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（ＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術から構成される。また前記画像圧縮手段は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ ＥｘｐｅｒｔｓＧｒｏｕｐ）などの画像圧縮技術を用いて、前記多色画像、前記文字／図形画像及び前記精細文字／図形画像のうち少なくとも１個を圧縮することができることが好ましい。このとき、前記画像圧縮手段がＧＩＦ（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）及びＦｌａｓｈのようなアニメーションに適した圧縮形式を用いるならば、前記画像圧縮手段はこれらの画像を高い圧縮率で圧縮することができる。本発明は、前記視覚装置が出力するこれらの画像を高速に通信することができるので、前記文字／図形の通信に関する諸問題が好適に解決される。
【００１９】
請求項８の発明は、請求項７記載の通信システムと、データベースを含む少なくとも１個のコンピュータシステムと、前記通信システムと前記コンピュータシステムを接続する通信ネットワークと、を含む文字／図形探索システムであって、前記コンピュータシステムの各々が、前記通信システムから前記圧縮画像データを受信する画像受信手段と、受信した前記圧縮画像データを前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に伸張する画像伸張手段と、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から少なくとも１個の前記文字／図形を含む領域を検出する文字／図形領域検出手段と、前記領域から前記データベースのキー画像を生成するキー画像生成手段と、前記キー画像を、前記データベースに蓄えられた記録画像データと比較する画像検出手段と、を含むことにより、前記領域に対する検出結果を生成することを特徴とする文字／図形探索システムである。前記画像受信手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術を用いて、前記通信ネットワークから前記圧縮画像データを受信する。前記画像伸張手段は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの画像伸張技術を用いて、前記圧縮画像データを前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に伸張することができることが好ましい。前記文字／図形領域検出手段は、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像が多数の前記灰色を含むことを利用して、水平方向と垂直方向のヒストグラムを計算することにより、少なくとも１個の前記文字／図形を含む前記領域の位置及び大きさを検出することが好ましい。また、前記視覚装置の位置／大きさ検出アルゴリズムを用いることにより、前記文字／図形領域検出手段は、多数の前記領域の前記位置及び前記大きさを高速に検出することができる。前記キー画像生成手段は、前記位置及び前記大きさを用いて、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から前記領域を切り出し、前記キー画像を生成する。前記画像検出手段は、前記データベースに組み込まれた画像検索技術（例えばｉｍｇＳｅｅｋなど）及びニューラルネットワークなどの画像処理技術を用いて、前記キー画像に対応する前記データを前記データベースの中から検出することが好ましい。前記データベースにはＳＱＬ（Ｓｔｒｕｃｔｕｒｅ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）のようなデータベース記述言語を備えたリレーショナルデータベース及びオブジェクト指向データベースなどが用いられることが好ましい。ここに、前記文字／図形に関する前記記録画像データが蓄えられ、前記記録画像データには画像ＩＤが割り当てられることが好ましい。前記コンピュータシステムは、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から前記灰色の前記帯域画素値を除去した後、残りの前記帯域画素値が指し示す前記文字／図形の前記領域を切り出し、前記記録画像データと比較する。これにより、前記コンピュータシステムが、背景など、前記文字／図形以外の部分と、前記記録画像データを比較する必要がない。一般に、前記領域に対する前記検出結果は前記記録画像データであるが、前記記録画像データの代りに前記画像ＩＤが用いられても良い。本発明は、前記データベースの前記データの量を少なくすることができると共に、前記コンピュータシステムにおいて所定の前記文字／図形を高速に検出することができるので、前記文字／図形の探索に関する諸問題が好適に解決される。
【００２０】
請求項９の発明は、請求項８記載の文字／図形探索システムにおいて、少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記領域に対する前記検出結果又は前記領域の位置情報を前記通信装置に送信することと、前記通信装置がディスプレイ又はスピーカを含むことと、により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果又は前記位置情報を出力することを特徴とする文字／図形探索システムである。前記画像送信手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術を用いて、前記通信ネットワークに前記検索結果又は前記位置情報を送信することが好ましい。前記位置情報は、前記デジタル画像における前記文字／図形の二次元座標若しくは前記デジタル画像の中心からの相対的な方向、例えば上、下、左及び右などを表す。前記通信装置は前記ディスプレイに前記二次元座標の位置を表示するか、若しくは前記スピーカを用いて上、下、左及び右などの音声データを出力する。前記撮影装置の利用者は、前記ディスプレイ上の前記位置又は前記音声データの指示に従い、前記撮影装置又は撮影物の向きを変えることにより、所定の前記文字／図形を容易に見付けることができる。本発明は、前記通信ネットワークの通信容量が少なくても、前記文字／図形を探索することができるので、前記文字／図形の探索に関する諸問題が好適に解決される。
【００２１】
請求項１０の発明は、請求項８記載の文字／図形探索システムにおいて、少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記記録画像データに関連付けられた検索結果文字列又は検索結果画像を前記通信装置に送信することと、前記通信装置がディスプレイ又はスピーカを含むことと、により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果文字列又は前記検索結果画像を出力することを特徴とする文字／図形探索システムである。前記画像送信手段は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、イーサーネット、ＩＳＤＮ（総合デジタル通信網）、ｘＤＳＬ（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）及びフレームリレーなどの有線技術、赤外線、無線ＬＡＮ、ＩＭＴ−２０００（ＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなど）及びＢｌｕｅｔｏｏｔｈなどの無線技術を用いて、前記検索結果画像又は前記検索結果文字列を前記通信ネットワークに送信する。前記検索結果文字列は任意の文字列であり、前記検索結果画像も任意の画像であることが好ましい。前記検索結果文字列及び前記検索結果画像は前記記録画像データに関連付けられた状態で前記データベースに記録される。したがって、前記キー画像によって前記記録画像データが検索された場合、前記データベースは、前記記録画像データを用いることにより、前記検索結果文字列又は前記検索結果画像を参照することができる。前記通信装置は前記ディスプレイに前記検索結果文字列又は前記検索結果画像を表示するか、若しくは前記スピーカを用いて前記検索結果文字列の音声データを出力する。前記撮影装置の利用者は、前記検索結果文字列又は前記検索結果画像を得るまで適当に前記撮影装置又は撮影物の向きを変えることにより、所定の前記文字／図形を容易に見付けることができる。本発明は、前記通信ネットワークの通信容量が少なくても、前記文字／図形を探索することができるので、前記文字／図形の探索に関する諸問題が好適に解決される。
【００２２】
【発明の実施の形態】
以下、本発明の配列演算ユニット(ARRAY OPERATION UNIT)１００を利用した視覚装置(VISUAL DEVICE)２の実施形態を挙げ、図面を参照して説明する。
【００２３】
まず、図１に示すように、視覚装置２は少なくとも１個のデータ処理装置１１０を含む。このデータ処理装置１１０は、少なくとも１個のプロセッサ１０１を含み、このプロセッサ１０１が、局所関数によって記述される局所並列画像処理アルゴリズムに従った、少なくとも１個の手段を実現すると共に、少なくとも１個の入力画像を入力した後でこの局所並列画像処理を実行し、必要に応じて少なくとも１個の出力画像を出力する。なお、上述の手段が複数ある場合、この視覚装置２は、図１に示すように１個のデータ処理装置１１０を用いてこれらの手段を実現することもできるし、図２に示すように複数（ここでは４個）のデータ処理装置１１０を用いてこれらの手段を実現することもできる。そこで以下では、説明を簡単にするために、この視覚装置２は１個のデータ処理装置１１０を用いるものとする。
【００２４】
次に、図３に示すように、このデータ処理装置１１０は、格子状に配列された複数の配列演算ユニット１００から構成される。これらの配列演算ユニット１００の各々は、このプロセッサ１０１のプログラムとして記述される。しかしながら、このプロセッサ１０１の数が１個の場合、これらの配列演算ユニット１００のプログラムは順番に実行されるため、このデータ処理装置１１０は局所並列画像処理の並列性を生かすことができない。そこで以下では、この並列性を生かしたデータ処理装置１１０の専用回路について説明する。
【００２５】
図３のように、これらの配列演算ユニット１００はデータ処理装置１１０中で格子状に配列され、さらにこれらの配列演算ユニット１００の各々はデータ処理装置１１０中の隣接する配列演算ユニット１００だけと相互に通信できるように配線される。つまり４近傍同士が直接配線されることになる。これにより８近傍同士を配線する場合に比べて、少ない電子部品と配線量で、同程度に高速に動作し、しかも将来近傍サイズを拡張する場合にも簡単に拡張性を有することができる。
【００２６】
さらにこれらの配列演算ユニット１００の各々は、図１０に示す通り、画像処理における数式を計算するためのプロセッサ１０１と、数式で使われる全てのパラメータ、定数、関数及びオペレータを記憶するための一組のメモリ１０２と、近傍の配列演算ユニット１００と通信するための少なくとも１個のコントローラ１０３から構成される。なお、このプロセッサ１０１及びこのコントローラ１０３は、それぞれクロック信号を入力する同期回路である。このプロセッサ１０１は、アドレスバス５１で指定したアドレスによりこれらのメモリ１０２及びコントローラ１０３の任意のメモリ素子及びレジスタを選択することができる。またこのプロセッサ１０１はデータバス５２を介してこれらのメモリ１０２及びコントローラ１０３と双方向に通信可能に接続され、このアドレスバス５１で指定された任意のメモリ素子及びレジスタのデータにアクセスすることができる。この配列演算ユニット１００が１つ以上の入力画素から構成される前入力データ群を入力すると、このコントローラ１０３は前入力データ群をこのメモリ１０２に記憶させる。またこのコントローラ１０３は、関数により作成された、このメモリ１０２中の計算データを隣接する配列演算ユニット１００に送信すると共に、この隣接する配列演算ユニット１００から受信した計算データをこのメモリ１０２に記憶させ、さらに必要ならば、入力した以外の配列演算ユニット１００に転送する。最終的にこのコントローラ１０３は、出力画像の画像データを結果データとして出力する。勿論、この配列演算ユニット１００は複数のコントローラ１０３を備えても良い。なお、この配列演算ユニット１００及びこれを改良した仮想配列演算ユニットの詳細な回路図については、特許文献３を参照のこと。
【００２７】
さてここまでは、視覚装置２を構成するデータ処理装置１１０について説明してきた。このデータ処理装置１１０は、少なくとも１個のプロセッサ１０１を備えることにより、局所並列画像処理に従った少なくとも１個の手段を実現することができる。そこで以下では、本発明で用いるこれらの手段について説明する。
【００２８】
図４に示すように、請求項１記載の発明に対応する視覚装置２の実施形態は、データ処理装置１１０上に実装された多色分類手段１１から構成される。この多色分類手段１１は、デジタル画像１１１を入力して、少なくとも５色を含む多色画像１１２を生成する。以下では説明を簡単にするために、デジタル画像１１１は一般的なカラー画像であるものとし、この多色分類手段１１は、このデジタル画像１１１の各画素を白色、黒色、赤色、緑色及び灰色の５色に分類し、この多色画像１１２として各々の色毎に二値画像を生成するものとする。但し、灰色は残りの４色以外を意味するので、実際には白色、黒色、赤色及び緑色の４色があれば十分である。したがって多色画像１１２は、それぞれ白色、黒色、赤色及び緑色の二値画像に対応した、多色画像（白）１１２ａ、多色画像（黒）１１２ｂ、多色画像（赤）１１２ｃ及び多色画像（緑）１１２ｄから構成されるものとする。なお、このデジタル画像１１１を白色、黒色、赤色、緑色及び灰色の５色に分類した場合、一般に黄色は白色に、青色は黒色に分類されるが、赤みがかった黄色及び緑がかった青色は、それぞれ赤色及び緑色に分類される。
【００２９】
さて、この多色分類手段１１は、補色関係に基づいてデジタル画像１１１の各画素を白色、黒色、赤色、緑色及び灰色の５色に分類し、多色画像１１２を生成する。この補色関係は、人間の視覚において見られる特徴であり、色相環において向い合う色の組み合せである。例えば赤色と緑色は補色関係にあり、１画素においてこれらの赤色と緑色が同時に見えることはなく、しかもお互いにコントラストを強調する。また、黄色と青色（実際には紫色）も補色関係にある。さらに、白色と黒色は相対的な明るさを表し、ある画素が同じ明るさであっても、その周辺が暗ければこの画素は白色に見え、その周辺が明るければこの画素は黒色に見える。つまり灰色というどの色にも属さない周辺の明るさを基準とした相対的な明るさが人間にとっての白色及び黒色である。したがって、１画素において白色と黒色も同時に見えることはない。そこでデジタル画像１１１の各画素において、赤帯域の画素値と緑帯域の画素値の差をそれぞれの色の強さとし、さらに周辺の画素の明るさを基準とした各画素の明るさを白色及び黒色の強さとする。ここで重要なのは、両方の組とも色の強さに差がない場合、この画素を灰色、つまり４色以外の色とすることである。これにより、このデジタル画像１１１のうち色の変化が僅かな画素は全て灰色となり、一方で文字及び図形など複数の色が複雑に入り組んだ画素は灰色以外の色になる。実際に人間が文字及び図形を書く場合、これらの文字及び図形を見易くするために、無意識にコントラストを強調する色の組み合せを選んでいる。したがって、この多色分類手段１１は、この補色関係を利用することにより、これらの文字及び図形の色を損なうことなく、このデジタル画像１１１から、これらの文字及び図形と、それらの輪郭と、を除いた背景を灰色で塗り潰すことができる。このとき、この多色画像１１２は丁度マンガの描写に似た画像となる。
【００３０】
なお、ここでは多色画像１１２として４個の二値画像を用いたが、勿論この多色画像１１２の各画素を３ビットで表しても良い。また、この多色分類手段１１は、補色関係に基づいて、白色、黒色、赤色、緑色、青色、黄色及び灰色の７色に分類しても良い。勿論この場合も、この多色画像１１２の各画素を３ビットで表すことができる。さらに、デジタル画像１１１として、赤外線及び紫外線など、可視光以外の帯域を少なくとも１個含んでも良い。この場合、これらの帯域を赤色、緑色、青色及び黄色のいずれかに割り当てることができる。勿論、これら以外の新たな色に割り当てても良い。
【００３１】
ところで、所定の線幅以下で書かれた文字がデジタル画像１１１中にある場合、このデジタル画像１１１から生成された多色画像１１２中にもこの文字とほぼ同じ文字が現れる。また、この線幅を越える線及び領域を含む図形がこのデジタル画像１１１中にある場合、この多色画像１１２中にもこの図形とほぼ同じ図形及びその輪郭が現れる。そこで以下では、この多色画像１１２から、これらの文字及び／又は図形（以下、単に文字／図形と略記する。）を抽出する視覚装置２について説明する。
【００３２】
図５に示すように、請求項２記載の発明に対応する視覚装置２の実施形態は、データ処理装置１１０上に実装された文字／図形抽出手段２１によって実現され、さらにこの文字／図形抽出手段２１は、多色分類手段１１、文字／図形選択手段１２及びテクスチャ除去手段１３から構成される。なお、図５において、この多色分類手段１１は、デジタル画像１１１を白色、黒色、赤色、緑色及び灰色の５色に分類する。したがって、視覚装置２が出力する文字／図形画像１１３は、文字／図形画像（白）１１３ａ、文字／図形画像（黒）１１３ｂ、文字／図形画像（赤）１１３ｃ及び文字／図形画像（緑）１１３ｄから構成されるものとする。この文字／図形選択手段１２は、この多色分類手段１１が生成した多色画像１１２を入力して、この多色画像１１２の各帯域画素値に対して、色毎に所定の近傍の帯域画素値の総和を求め、この総和が所定の範囲内にあるか判定する。このとき、この総和がこの範囲内にあれば、この文字／図形選択手段１２は、この多色画像１１２の帯域画素値が文字／図形に含まれると判断して、粗文字／図形画像の対応する色の帯域画素値にする。さもなくば、この帯域画素値を灰色にする。これにより、この文字／図形選択手段１２は、背景に関係なく、この多色画像１１２中の文字／図形に含まれる画素を色毎に選択することができる。さらに、このテクスチャ除去手段１３は、この粗文字／図形画像を入力して色毎にエッジ情報を生成し、このエッジ情報に対して、色毎に所定の近傍の帯域画素値の総和を求め、この総和が所定の範囲内にあるか判定する。このとき、この総和がこの範囲内になければ、このテクスチャ除去手段１３は、この粗文字／図形画像の帯域画素値がテクスチャに含まれないと判断して、文字／図形画像１１３の対応する色の帯域画素値にする。さもなくば、この帯域画素値を灰色にする。これにより、このテクスチャ除去手段１３は、文字／図形の大きさ又は形に関係なく、この粗文字／図形画像中のテクスチャに含まれる画素を色毎に除去することができる。
【００３３】
なお、ここでは文字／図形画像１１３として４個の二値画像を用いたが、勿論この文字／図形画像１１３の各画素を３ビットで表しても良い。また、この多色分類手段１１は、補色関係に基づいて、白色、黒色、赤色、緑色、青色、黄色及び灰色の７色に分類しても良い。勿論この場合も、この文字／図形画像１１３の各画素を３ビットで表すことができる。さらに、デジタル画像１１１として、赤外線及び紫外線など、可視光以外の帯域を少なくとも１個含んでも良い。この場合、これらの帯域を赤色、緑色、青色及び黄色のいずれかに割り当てることができる。勿論、これら以外の新たな色に割り当てても良い。
【００３４】
さて、ここで図６に示すように、請求項３記載の発明に対応する視覚装置２の実施形態は、精細文字／図形抽出手段２２によって実現され、この精細文字／図形抽出手段２２は、上述の文字／図形抽出手段２１に対して精細化手段１４を加えたものである。この精細化手段１４は、文字／図形画像１１３を用いることにより、デジタル画像１１１から文字／図形の帯域画素値を抜き出して、精細文字／図形画像１１４の対応する帯域画素値にし、それ以外を所定の灰色にする。これにより、本発明は、文字／図形画像１１３では正確に表すことができなかったこの文字／図形の色を正確に表すことができる。さらに、この文字／図形以外の画素を灰色にすることにより、本発明は、精細文字／図形画像１１４の情報量を少なくすると共に、圧縮プログラムによってこの精細文字／図形画像１１４の更なる圧縮を可能にすることができる。
【００３５】
さて、視覚装置２で用いられている多色分類手段１１、文字／図形抽出手段２１及び精細化手段１４は、幾つかの配列演算ユニット１００から構成されるデータ処理装置１１０を用いることにより実装することができる。そこで以下では、配列演算ユニット１００を利用したデータ処理装置１１０の実施形態を挙げ、この視覚装置２を図面を参照して説明する。
【００３６】
まず配列演算ユニット１００は、入力画像の１つの画素とその近傍画素を用いることにより、出力画像の１つの画素を生成する。そこで図３に示したように、配列演算ユニット１００を入力画像のサイズに合わせて格子状に配列したデータ処理装置１１０を用いることにより、データ処理装置１１０は入力画像から出力画像を生成することができる。なお図３において、配列演算ユニット１００をＡＯＵと略記する。また図３では、配列演算ユニット１００は正方格子状に配列されているが、勿論実装面積を最小にするために、配列演算ユニット１００を六角格子状、つまり最密充填構造に配置しても良い。この場合、配列演算ユニット１００間の複数の信号線の一部はジグザグに配線される。次に配列演算ユニット１００は専用ハードウェアによって実装されても良いし、汎用コンピュータ上でソフトウェアによって実装することもできる。つまり入力画像から出力画像を生成することができれば、実装手段は制限されない。したがって配列演算ユニット１００のアルゴリズムを示すことにより、データ処理装置１１０の画像処理を示すことができる。そこで配列演算ユニット１００のアルゴリズムを示すために、図４、５及び６で示された多色分類手段１１、文字／図形抽出手段２１、テクスチャ除去手段１３及び精細化手段１４で用いる数式について説明する。
【００３７】
幅ｗ、高さｈ、帯域数ｂの任意の２ｎ階調画像をｘ及びｙとすると、これらの画像ｘ及びｙは各々位置ｐ（ｉ，ｊ，ｋ）の帯域画素値ｘｉｊｋ及びｙｉｊｋを用いて数式１及び２のように表される。なおアンダーラインが付された文字はベクトルを示す。またｎは非負の整数、ｗ、ｈ、ｂ、ｉ、ｊ、ｋは自然数である。
【００３８】
【数１】
【数２】
まず前記画像の各帯域画素値に対する点処理に関する関数について以下で説明する。
【００４１】
画像ｘを二値画像に変換する場合、数式３に従って帯域画素値を二値化する。
【００４２】
【数３】
画像ｘを下限ａと上限ｂで飽和させる場合、数式４に従って帯域画素値を飽和させる。
【００４４】
【数４】
画像ｘから下限ｃと上限ｄに対応するウィンドウを生成する場合、数式５に従って帯域画素値を生成する。
【００４６】
【数５】
画像ｘを帯域最大値画像に変換する場合、数式６に従ってｉ行ｊ列の画素の各帯域の値のうち最大値を選択する。なお前記帯域最大値画像は単帯域画像となるので、便宜上帯域数１の前記画像として取り扱うことにする。したがって第３添字は１となっている。
【００４８】
【数６】
さて、画像の位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍の位置の集合Ｐｉｊｋ（ｑ）は数式７によって表される。ただしｑは４、８、２４、４８、８０、１２０、（２ｒ＋１）２−１と続く数列であり、ｒは自然数である。なお画像サイズをはみ出した位置が集合Ｐｉｊｋ（ｑ）に含まれる場合には、特に指定がない限り位置ｐ（ｉ，ｊ，ｋ）を代用するものとする。またこれ以外のときは、指定に従い、画素値が０に相当し、しかも画像に含まれない架空の位置を代用する。これにより辺縁処理は自動的に行われる。したがって集合Ｐｉｊｋ（ｑ）の要素の数は常にｑとなる。
【００５０】
【数７】
そこで次に画像の各帯域画素値に対する最大８近傍の近傍処理に関する関数及びオペレータについて以下で説明する。
【００５２】
画像ｘの位置ｐ（ｉ，ｊ，ｋ）における平滑化は数式８に従って行われる。ただしｉｎｔ（ｖ）は実数ｖの小数点以下切り捨てを意味するものとする。もし画像ｘの帯域画素値が整数値であるならば、ハードウェアの実装時にｑ＝４のときｘｌｍｋの総和に対して右シフト命令を２回、ｑ＝８のときｘｌｍｋの総和に対して右シフト命令を３回実行するような回路に変更することにより、除算を実行する回路を省くことができる。
【００５３】
【数８】
ラプラシアンの計算は、数式９に示すように単なる２階差分オペレータである。８近傍の方がノイズの微妙な変化を捉えてゼロ点およびゼロ交差が多くなり、本発明には向いている。ただしｑが４か８であるので、ハードウェアの実装時にｑ＝４のときｘｉｊｋに対して左シフト命令を２回、ｑ＝８のときｘｉｊｋに対して左シフト命令を３回実行するような回路に変更することにより、乗算を実行する回路を省くことができる。
【００５５】
【数９】
画像ｘが任意の二値画像であるとして、この画像ｘのうち孤立点ないし孤立孔を除去する場合には、数式１０に従い計算する。なお４近傍の場合にはその性質上対角線を検知することができないので、極力８近傍にした方がよい。
【００５７】
【数１０】
次に画像の各帯域画素値に対する近傍処理に関する関数及びオペレータについて以下で説明する。
【００５９】
２つの画像ｘ、ｙがある場合、これらの画像の差分は数式１１に従って計算される。
【００６０】
【数１１】
ここで数式９によるラプラシアンと数式１１による差分を用いると、数式１２に従い画像ｘの鮮鋭化を簡単に記述することができる。
【００６２】
【数１２】
２つの画像ｘ、ｙがあり、画像ｙが単帯域二値画像である場合、数式１３に従い、この画像ｙの帯域画素値を用いてこの画像ｘの各帯域画素値を抜き出すことができる。
【００６４】
【数１３】
さらに、２つの画像ｘ、ｙがあり、画像ｙが単帯域二値画像である場合、数式１４に従い、画像ｙの帯域画素値を用いてこの画像ｘの各帯域画素値を抜き出すと共に、残りの帯域画素値を任意の値ｇに設定することができる。なお、数式１３は、数式１４においてｇ＝０と同等である。
【００６６】
【数１４】
画像ｘの位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍の総和は数式１５に従って行われる。
【００６８】
【数１５】
画像ｘがカラー画像のような多帯域画像である場合、その２つの帯域、例えば第一帯域である赤色と第二帯域である緑色を用いて、この画像ｘ中の文字／図形及びこの輪郭から白色、黒色、赤色、緑色及び灰色を抽出するものとする。このとき画像ｘの位置ｐ（ｉ，ｊ，ｋ）における多色抽出は、そのｑ近傍を用いて、それぞれ数式１６〜１９に従って行われる。なお、数式１６〜１９の右辺は本来ｑによって割られる必要があるが、これらの帯域画素値は互いに大小を比較するためだけに用いられるので、ここでは右辺にｑを掛けることにより除算が省略されている。また、灰色は、白色、黒色、赤色及び緑色の中間色であり、これらの色以外を指すものとする。
【００７０】
【数１６】
【数１７】
【数１８】
【数１９】
次に、この画像から抽出された複数の色の中から１色を選択するものとする。このとき４帯域画像ｘの位置ｐ（ｉ，ｊ，ｋ）における多色選択は、所定の値ｆを用いて、それぞれ数式２０〜２３に従って行われる。このとき、この４帯域画像ｘの各画素に対して、ｆは適切に微調整されることが望ましい。なお、これらの数式が白色、黒色、赤色及び緑色のいずれも選択しない場合、これらの数式が指し示す画素を灰色とする。
【００７５】
【数２０】
【数２１】
【数２２】
【数２３】
ここで数式１６〜１９による多色抽出と数式２０〜２３による多色選択を用いると、数式２４に従い画像ｘの多色分類を簡単に記述することができる。
【００８０】
【数２４】
画像ｘの位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍に対して、数式３の二値化、数式１５の総和、数式５のウィンドウ及び数式１３のマスクを用いると、数式２５に従いこの画像ｘの帯域毎の文字／図形選択を簡単に記述することができる。
【００８２】
【数２５】
二値画像ｘの位置ｐ（ｉ，ｊ，ｋ）におけるｑ近傍に対して、数式９によるラプラシアン、数式３による二値化、数式１５による総和、数式５によるウィンドウ及び数式１３によるマスクを用いると、数式２５に従いこの二値画像ｘの帯域毎のテクスチャ除去を簡単に記述することができる。
【００８４】
【数２６】
２つの画像ｘ及びｙがあり、この画像ｙが任意の帯域数の二値画像である場合、数式６による最大値選択及び数式１４によるマスクを用いると、数式２７に従いこの二値画像ｙの精細化を簡単に記述することができる。
【００８６】
【数２７】
そこで数式１から数式２７までを用いることにより、図４、５及び６で示された多色分類手段１１、文字／図形抽出手段２１及び精細文字／図形抽出手段２２を実装するデータ処理装置１１０の全ての配列演算ユニット１００のアルゴリズムを記述することができる。以下では、データ処理装置１１０中の任意の配列演算ユニット１００のアルゴリズムを用いて、多色分類手段１１、文字／図形抽出手段２１及び精細文字／図形抽出手段２２を順番に説明する。
【００８８】
図４に示すように、データ処理装置１１０によって実現される多色分類手段１１がデジタル画像１１１から多色画像１１２を生成するために、格子状に配列された配列演算ユニット１００は同期して並列に動作する。格子上ｉ行ｊ列に配置された配列演算ユニット１００をＡＯＵｉｊとすると、多色分類手段１１に対するＡＯＵｉｊのアルゴリズムは図７のようになる。
【００８９】
ステップ１１０１で、ＡＯＵｉｊを格子上のｉ行ｊ列に配置する。これは論理的であれ物理的であれ、ＡＯＵｉｊの近傍を決定するために必要である。
【００９０】
ステップ１１０２で、ＡＯＵｉｊの近傍や変数の初期値を設定する。近傍の設定においては、前記各関数で使う近傍サイズｑを個別に決めても良いし、全部を統一しても良い。本発明のデータ処理装置１１０が生成した文字／図形画像１１３の正確さを上げるためには近傍サイズｑを全て大きな値に設定することが望ましい。しかしながら計算時間の制約や、入力されるデジタル画像１１１のサイズなどにより、文字／図形抽出手段２１は必要に応じて適宜近傍サイズを変えることで対処することができる。
【００９１】
ステップ１１０３で、デジタル画像１１１が終了したかどうか判断する。もしデジタル画像１１１が無ければ（ステップ１１０３：ＹＥＳ）、アルゴリズムを終了する。もしデジタル画像１１１があれば（ステップ１１０３：ＮＯ）、ステップ１１０４に移行する。ただし特定の帯域数と画像サイズに対して配列演算ユニット１００を実装する場合には、無限ループにしても良い。
【００９２】
ステップ１１０４で、デジタル画像１１１のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して処理するためである。このためＡＯＵｉｊは少なくとも帯域数分の画像データを記憶するメモリ１０２を必要とする。
【００９３】
ステップ１１０５で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、入力したデジタル画像１１１の各帯域画素値に対して関数Ｓｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画素値は平滑画像の帯域画素値として扱われる。ここで関数Ｓｉｊｋ（ｘ）は必要に応じて数回繰り返しても良い。一般的な多帯域画像の場合、この回数は２回で十分である。なお、この平滑化の後、必要に応じて、この平滑画像を対数変換しても良い。
【００９４】
ステップ１１０６で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、平滑画像の各帯域画素値に対して関数Ｅｉｊｋ（ｘ）に従い鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭画像の帯域画素値として扱われる。
【００９５】
ステップ１１０７で、鮮鋭画像の各帯域画素値に対して関数Ｍｑ ｉｊｋ（ｘ）に従い多色に分類する。分類された帯域画素値は色分類画像の帯域画素値として扱われる。
【００９６】
ステップ１１０８で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、色分類画像の帯域画素値に対して関数Ａｉｊｋ（ｘ）に従い孤立点および孤立孔を除去する。孤立点および孤立孔を除去された帯域画素値は多色画像１１２の帯域画素値として扱われる。
【００９７】
ステップ１１０９で、多色画像１１２の帯域画素値を出力する。その後ステップ１１０３に戻る。
【００９８】
これにより、配列演算ユニット１００から構成されるデータ処理装置１１０を用いて、多色分類手段１１はデジタル画像１１１から多色画像１１２を生成することができる。
【００９９】
図５に示すように、データ処理装置１１０によって実現される文字／図形抽出手段２１がデジタル画像１１１から文字／図形画像１１３を生成するために、格子状に配列された配列演算ユニット１００は同期して並列に動作する。格子上ｉ行ｊ列に配置された配列演算ユニット１００をＡＯＵｉｊとすると、文字／図形抽出手段２１に対するＡＯＵｉｊのアルゴリズムは図８のようになる。
【０１００】
ステップ２１０１で、ＡＯＵｉｊを格子上のｉ行ｊ列に配置する。これは論理的であれ物理的であれ、ＡＯＵｉｊの近傍を決定するために必要である。
【０１０１】
ステップ２１０２で、ＡＯＵｉｊの近傍や変数の初期値を設定する。近傍の設定においては、前記各関数で使う近傍サイズｑを個別に決めても良いし、全部を統一しても良い。本発明のデータ処理装置１１０が生成した文字／図形画像１１３の正確さを上げるためには近傍サイズｑを全て大きな値に設定することが望ましい。しかしながら計算時間の制約や、入力されるデジタル画像１１１のサイズなどにより、文字／図形抽出手段２１は必要に応じて適宜近傍サイズを変えることで対処することができる。
【０１０２】
ステップ２１０３で、デジタル画像１１１が終了したかどうか判断する。もしデジタル画像１１１が無ければ（ステップ２１０３：ＹＥＳ）、アルゴリズムを終了する。もしデジタル画像１１１があれば（ステップ２１０３：ＮＯ）、ステップ２１０４に移行する。ただし特定の帯域数と画像サイズに対して配列演算ユニット１００を実装する場合には、無限ループにしても良い。
【０１０３】
ステップ２１０４で、デジタル画像１１１のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して処理するためである。このためＡＯＵｉｊは少なくとも帯域数分の画像データを記憶するメモリ１０２を必要とする。
【０１０４】
ステップ２１０５で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、入力したデジタル画像１１１の各帯域画素値に対して関数Ｓｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画素値は平滑画像の帯域画素値として扱われる。ここで関数Ｓｉｊｋ（ｘ）は必要に応じて数回繰り返しても良い。一般的な多帯域画像の場合、この回数は２回で十分である。なお、この平滑化の後、必要に応じて、この平滑画像を対数変換しても良い。
【０１０５】
ステップ２１０６で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、平滑画像の各帯域画素値に対して関数Ｅｉｊｋ（ｘ）に従い鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭画像の帯域画素値として扱われる。
【０１０６】
ステップ２１０７で、鮮鋭画像の各帯域画素値に対して関数Ｍｑ ｉｊｋ（ｘ）に従い多色に分類する。分類された帯域画素値は色分類画像の帯域画素値として扱われる。
【０１０７】
ステップ２１０８で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、色分類画像の帯域画素値に対して関数Ａｉｊｋ（ｘ）に従い孤立点および孤立孔を除去する。孤立点および孤立孔を除去された帯域画素値は多色画像１１２の帯域画素値として扱われる。
【０１０８】
ステップ２１０９で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、多色画像の各帯域画素値に対して関数Ｕｑ ｉｊｋ（ｘ）に従い文字／図形を選択する。選択された帯域画素値は粗文字／図形画像の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１０９】
ステップ２１１０で、粗文字／図形画像の各帯域画素値に対して関数Ｔｑ ｉｊｋ（ｘ）に従いテクスチャを除去する。テクスチャを除去された帯域画素値は文字／図形画像１１３の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１１０】
ステップ２１１１で、文字／図形画像１１３の帯域画素値を出力する。その後ステップ２１０３に戻る。
【０１１１】
これにより、配列演算ユニット１００から構成されるデータ処理装置１１０を用いて、文字／図形抽出手段２１はデジタル画像１１１から文字／図形画像１１３を生成することができる。
【０１１２】
図６に示すように、データ処理装置１１０によって実現される精細文字／図形抽出手段２２がデジタル画像１１１から精細文字／図形画像１１４を生成するために、格子状に配列された配列演算ユニット１００は同期して並列に動作する。格子上ｉ行ｊ列に配置された配列演算ユニット１００をＡＯＵｉｊとすると、精細文字／図形抽出手段２２に対するＡＯＵｉｊのアルゴリズムは図９のようになる。
【０１１３】
ステップ２２０１で、ＡＯＵｉｊを格子上のｉ行ｊ列に配置する。これは論理的であれ物理的であれ、ＡＯＵｉｊの近傍を決定するために必要である。
【０１１４】
ステップ２２０２で、ＡＯＵｉｊの近傍や変数の初期値を設定する。近傍の設定においては、前記各関数で使う近傍サイズｑを個別に決めても良いし、全部を統一しても良い。本発明のデータ処理装置１１０が生成した精細文字／図形画像１１４の正確さを上げるためには近傍サイズｑを全て大きな値に設定することが望ましい。しかしながら計算時間の制約や、入力されるデジタル画像１１１のサイズなどにより、精細文字／図形抽出手段２２は必要に応じて適宜近傍サイズを変えることで対処することができる。
【０１１５】
ステップ２２０３で、デジタル画像１１１が終了したかどうか判断する。もしデジタル画像１１１が無ければ（ステップ２２０３：ＹＥＳ）、アルゴリズムを終了する。もしデジタル画像１１１があれば（ステップ２２０３：ＮＯ）、ステップ２２０４に移行する。ただし特定の帯域数と画像サイズに対して配列演算ユニット１００を実装する場合には、無限ループにしても良い。
【０１１６】
ステップ２２０４で、デジタル画像１１１のｉ行ｊ列の画素を帯域数分入力する。これは、ＡＯＵｉｊがデジタル画像１１１のｉ行ｊ列の画素を一括して処理するためである。このためＡＯＵｉｊは少なくとも帯域数分の画像データを記憶するメモリ１０２を必要とする。
【０１１７】
ステップ２２０５で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、入力したデジタル画像１１１の各帯域画素値に対して関数Ｓｉｊｋ（ｘ）に従い平滑化を行う。平滑化された帯域画素値は平滑画像の帯域画素値として扱われる。ここで関数Ｓｉｊｋ（ｘ）は必要に応じて数回繰り返しても良い。一般的な多帯域画像の場合、この回数は２回で十分である。なお、この平滑化の後、必要に応じて、この平滑画像を対数変換しても良い。
【０１１８】
ステップ２２０６で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、平滑画像の各帯域画素値に対して関数Ｅｉｊｋ（ｘ）に従い鮮鋭化を行う。鮮鋭化された帯域画素値は鮮鋭画像の帯域画素値として扱われる。
【０１１９】
ステップ２２０７で、鮮鋭画像の各帯域画素値に対して関数Ｍｑ ｉｊｋ（ｘ）に従い多色に分類する。分類された帯域画素値は色分類画像の帯域画素値として扱われる。
【０１２０】
ステップ２２０８で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、色分類画像の帯域画素値に対して関数Ａｉｊｋ（ｘ）に従い孤立点および孤立孔を除去する。孤立点および孤立孔を除去された帯域画素値は多色画像１１２の帯域画素値として扱われる。
【０１２１】
ステップ２２０９で、ＡＯＵｉｊが近傍の配列演算ユニット１００と通信することにより、多色画像の各帯域画素値に対して関数Ｕｑ ｉｊｋ（ｘ）に従い文字／図形を選択する。選択された帯域画素値は粗文字／図形画像の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１２２】
ステップ２２１０で、粗文字／図形画像の各帯域画素値に対して関数Ｔｑ ｉｊ ｋ（ｘ）に従いテクスチャを除去する。テクスチャを除去された帯域画素値は文字／図形画像１１３の帯域画素値として扱われる。なお、必要に応じて、この関数を数回繰り返しても良い。
【０１２３】
ステップ２２１１で、文字／図形画像１１３の各帯域画素値に対して関数Ｆｉｊｋ（ｘ，ｙ）に従い精細化する。精細化された帯域画素値は精細文字／図形画像１１４の帯域画素値として扱われる。
【０１２４】
ステップ２２１２で、精細文字／図形画像１１４の帯域画素値を出力する。その後ステップ２２０３に戻る。
【０１２５】
これにより、配列演算ユニット１００から構成されるデータ処理装置１１０を用いて、精細文字／図形抽出手段２２はデジタル画像１１１から精細文字／図形画像１１４を生成することができる。
【０１２６】
なお、ここで多色画像１１２及び文字／図形画像１１３は４帯域画像として扱われているが、視覚装置２は出力手段でこれらの画像の各画素を３ビットの帯域画素値に変換しても良い。これにより、これらの画像のデータ量は、入力されたデジタル画像１１１に比べて大幅に圧縮される。しかもこれらの画像の殆んどの画素が灰色となるため、圧縮プログラムを用いれば、これらの画像はさらに圧縮され得る。加えて、ここではデジタル画像１１１の赤帯域と緑帯域を用いた場合について説明したが、勿論青帯域を用いることにより、同様の方法で白色、黒色、赤色、緑色、青色、黄色及び灰色の７色に変換することもできる。この場合も、視覚装置２は出力手段で多色画像１１２及び文字／図形画像１１３の各画素を３ビットの帯域画素値に変換することができる。
【０１２７】
さてここまでは、文字／図形を抽出する視覚装置２について説明してきた。この視覚装置２はデジタル画像１１１の各画素を少なくとも３ビットに圧縮することができ、しかも多くの画素を灰色にすることができるので、この視覚装置２はこのデジタル画像１１１の高速通信に適している。そこで以下では、この通信装置７及び通信ネットワーク８を中心に通信システムの実施形態について説明する。
【０１２８】
まず、図１１に示すように、請求項７記載の発明に対応する通信システムの実施形態は、視覚装置２、カメラ９及び通信装置７から構成される。なお、図１１では、撮影装置としてこのカメラ９を用いているが、このカメラ９の代りに、スキャナを用いることもできる。また、このカメラ９の代りに、マウス、タブレット及びタッチパネルなどの描画装置を用いることもできる。この通信装置７は画像圧縮手段７０１及び画像通信手段７０２を有する。この画像圧縮手段７０１は、このカメラ９が撮影したデジタル画像１１１からこの視覚装置２によって生成された多色画像１１２、文字／図形画像１１３及び精細文字／図形画像１１４を入力し、ＭＰＥＧなどの動画像圧縮技術及びＪＰＥＧなどの静止画像圧縮技術を用いて動画像及びフレーム画像を圧縮し、画像通信手段７０２に出力する。このとき、これらの入力画像の多くの画素が灰色であり、他の色の数も限られているので、これらの色を効率よく圧縮できるＧＩＦ及びＦｌａｓｈのようなアニメーションに適した圧縮形式を組み合せることにより、この画像圧縮手段７０１は高い圧縮率を達成することができる。
【０１２９】
次に、画像通信手段７０２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような通信ネットワーク８を介して、傍にあるコンピュータシステム８００にＭＰＥＧ画像及びＪＰＥＧ画像などを送信することができる。さらにこの画像通信手段７０２は、ＴＣＰ／ＩＰなどの通信プロトコルを実装することにより、インターネットなどの通信ネットワーク８を介して遠隔地のコンピュータシステム８００にこれらのＭＰＥＧ画像及びＪＰＥＧ画像などを送信することができる。さらにこの画像通信手段７０２としてＤＳ−ＣＤＭＡ及びＭＣ−ＣＤＭＡなどの高帯域無線技術を用いることにより、この通信装置７は、このカメラ９が撮影した動画像を安価に、しかも場所と時間を選ばずに送信することができる。勿論、電子メールを利用することにより、この通信装置７は、このコンピュータシステム８００と通信できるときだけ、これらのＭＰＥＧ画像及びＪＰＥＧ画像などを送信することができる。そこで、請求項８記載の発明に対応する文字／図形探索システムの実施形態では、この通信ネットワーク８に少なくとも１個のコンピュータシステム８００を接続することにより、このコンピュータシステム８００は、この通信ネットワーク８からこれらの圧縮画像を高速に受信することができる。
【０１３０】
ここで、図１３に示すように、このコンピュータシステム８００は、画像受信手段８０１、画像伸張手段８０２、文字／図形領域検出手段８０３、キー画像生成手段８０４及び画像検出手段８０５を備えるものとする。この画像受信手段８０１は、画像通信手段７０２と同様の技術を用いて、通信ネットワーク８から圧縮画像データを受信する。この画像伸張手段８０２は、ＭＰＥＧなどの動画伸張技術及びＪＰＥＧなどの静止画像伸張技術を用いて、これらの圧縮画像データを、視覚装置２によって生成された多色画像１１２、文字／図形画像１１３及び精細文字／図形画像１１４に伸張する。このとき、これらの画像中の多くの画素は灰色であるので、この文字／図形領域検出手段８０３は、灰色以外の画素に対して水平方向及び垂直方向のヒストグラムを計算することにより、これらの画像に含まれる少なくとも１個の文字／図形を含む領域の位置及び大きさも容易に決定することができる。また、所定の色を１とし、残りの色を０とする二値画像に対して視覚装置２の位置／大きさ検出アルゴリズムを用いることにより、この文字／図形領域検出手段８０３は、この領域の位置及び大きさを高速に検出できる。さらに、この位置／大きさ検出アルゴリズムの代りに、位置、大きさ及び傾き検出アルゴリズム（以下、位置／大きさ／傾き検出アルゴリズムと略記する。）を用いることにより、この領域の傾きも高速に検出することができる。そこでこのキー画像生成手段８０４は、この領域の位置及び大きさを用いて、これらの画像からこの領域を切り出すことにより、データベースのキー画像を生成することができる。
【０１３１】
一方で、図１４に示すように、このデータベースは、記録画像の識別番号である画像ＩＤ５０１、この記録画像の説明である画像説明５０２及びこの記録画像のデータである記録画像データ５０３を含む画像レコードを多数記録している。そこで、この画像検出手段８０５は、ｉｍｇＳｅｅｋのような画像検索ソフトウェア、ＳＱＬ（Ｓｔｒｕｃｔｕｒｅ Ｑｕｅｒｙ Ｌａｎｇｕａｇｅ）のようなデータベース記述言語を備えたリレーショナルデータベース及びオブジェクト指向データベース、さらにはパーセプトロンのようなニューラルネットワークなどを用いることにより、このキーから、色情報を含めて、高い精度で所定の文字／図形を検出することができる。
【０１３２】
さて、図１２に示すように、請求項９記載の発明に対応する文字／図形探索システムの実施形態は、携帯電話２１１のような通信装置７がディスプレイ２２２及びスピーカ２２４を備えることにより、デジタル画像１１１の撮影者に対して情報を伝達することができる。そこで、このコンピュータシステム８００が、画像通信手段７０２と同様の画像送信手段を備え、さらに、少なくとも１個の所定の文字／図形を含む領域を用いてこの画像検出手段８０５が検出した検出結果又は位置情報を、通信ネットワーク８を介して通信装置７に送信することにより、この通信装置７は、この撮影者に対してこの領域の位置を教えることができる。例えば、この位置情報は、このデジタル画像１１１の二次元座標で表されるものとする。この場合、この位置情報が指し示す位置をこのディスプレイ２２２に表示することにより、この撮影者は、この文字／図形にこのカメラ９を向けることができる。さらにこの撮影者が、この位置を常にこのデジタル画像１１１の中心と一致させながら前進することにより、この撮影者はこの文字／図形がある場所に辿り着くことができる。また、この位置情報は、このデジタル画像１１１の中心からの相対的な方向、例えば上、下、左及び右などを表しても良い。この場合、このスピーカ２２４が、音声合成装置を介してこれらの方向を音声データとして出力することにより、この撮影者は、このディスプレイ２２２を見なくても、この文字／図形がある場所に辿り着くことができる。特にこのような音声機能は、視覚障害者及び高齢者など、このディスプレイ２２２を見ることが困難な人及び作業中の作業員のように、このディスプレイ２２２を常時見続けることが困難な人にとって役に立つ。
【０１３３】
ところで、このデータベースが図１４に示すように、記録画像の識別番号である画像ＩＤ５０１、この記録画像の説明である画像説明５０２及びこの記録画像のデータである記録画像データ５０３を含む画像レコードを多数記録しており、さらにこの画像レコードが、図１５に示すように、この記録画像に対する検索結果文字列５０４及び検索結果画像である別の記録画像を指し示す検索結果画像ＩＤ５０５のうち少なくとも１個を含むものとする。このとき、請求項１０記載の発明に対応する文字／図形探索システムの実施形態は、データベースの機能を利用することにより、撮影されたデジタル画像１１１中の文字／図形自体ではなく、この文字／図形に関連付けられた検索結果文字列５０４又は検索結果画像をこのデジタル画像１１１の撮影者に対して伝達することができる。つまり、このコンピュータシステム８００が、この検索結果文字列５０４又はこの検索結果画像を通信ネットワーク８を介して通信装置７に送信することにより、この通信装置７は、この撮影者に対してこの検索結果文字列５０４又はこの検索結果画像を提示することができる。例えば、撮影された単語が「世界一高い山」であれば、このコンピュータシステム８００は「エベレスト」という単語若しくはこのエベレストの画像をこの通信装置７に送信することができる。本発明はこの単語を表す画像をこのデータベースのキーとして用いているので、日本語、英語、フランス語及びドイツ語など、使用される言語に関係なく、このデータベースを検索することができる。しかも、視覚装置２がこのデジタル画像１１１からこの単語を抽出し、さらに圧縮するので、本発明は、この通信ネットワーク８の通信負荷を大幅に軽減することができる。したがって、携帯電話２１１のように通信帯域が制限される通信ネットワーク８にとって特に有用である。さらに、この検索結果文字列５０４をホームページアドレスにすることにより、この撮影者は、ｉ−ｍｏｄｅのようなインターネット接続機能を利用して、撮影した文字／図形からホームページを直接呼び出すこともできる。勿論、この撮影者は、この検索結果文字列５０４をこのホームページへの文字入力にも利用することができる。
【０１３４】
なお、ここではこの記録画像データ５０３として一般的な文字／図形の画像を用いる場合について説明したが、勿論、このデータベースは、この文字／図形を含む画像だけでなく、この画像に関連付けられた多色画像１１２、文字／図形画像１１３及び精細文字／図形画像１１４のいずれかをこの記録画像データ５０３として用いることができる。この場合、このデータベースは、この文字／図形の画像の画像ＩＤ５０１をこの検索結果画像ＩＤ５０５として用いることができる。これにより、このデータベースはこの文字／図形の画像を高速に検索することができる。
【０１３５】
請求項１及び４記載の発明の実施形態によれば、全ての手段が局所処理によって実現され得る。したがってイメージセンサの製造者は、二次元格子状に配列された複数の配列演算ユニット１００から構成されるデータ処理装置１１０を実現するＬＳＩ（大規模集積回路）を製造し、このＬＳＩを必要な数だけ積層することにより、デジタル画像１１１を簡単に、しかも高速に減色するイメージセンサを実現することができる。そこで、このイメージセンサをパーソナルコンピュータ、ゲーム機、テレビ及びビデオデッキなどの電子機器に組み込むことにより、これらの電子機器は、利用者のプライバシに配慮しながら、この利用者のジェスチャを取り込むことができる。特にこのイメージセンサは、高齢者の安否を確認したり、この高齢者の徘徊を監視するのに適している。また、本実施形態は、このデジタル画像１１１の各画素を３ビットの帯域画素値に圧縮して、カラーマンガのような画像を生成することができる。そこで、本実施形態をビデオデッキに組み込むことにより、このビデオデッキは、録画した動画像の各シーンに対して的確なラベルを付けすることができる。したがって、このビデオデッキの利用者は、タッチパネルなどを使って、見たいシーンのスケッチを描くことにより、このビデオデッキは、このシーンの頭出しを素早く行うことができる。さらに、本実施形態を携帯電話２１１のような通信機器に組み込むことにより、例えこのデジタル画像１１１の画素数が多くても、この通信機器はこのデジタル画像１１１を効率よく圧縮することができる。なお、本実施形態は人間の脳の視覚機能に極めて類似しているので、本実施形態は人間の脳の視覚機能の解明に大いに有用である。例えば、クロマニョン人のような古代人が洞窟に壁画を描いたり、我々の祖先が原始的な象形文字を利用していたが、これらの多くは抽象的な線画であった。この理由は、彼らの脳及び手の表現力が未熟だったからであると考えられているが、本実施形態は、彼らが脳の視覚機能に従って忠実に、つまり「見たまま」に動物及び物体を表現していたことを暗示している。さらに我々自身もマンガの中の登場人物及び風景を容易に認識することができるが、本実施形態を用いれば、この理由も容易に理解することができる。したがって、本実施形態は、利用者にとって理解しやすいユーザインターフェースの開発に役に立つ。
【０１３６】
請求項２及び５記載の発明の実施形態によれば、全ての手段が局所処理によって実現され得る。したがってイメージセンサの製造者は、二次元格子状に配列された複数の配列演算ユニット１００から構成されるデータ処理装置１１０を実現するＬＳＩ（大規模集積回路）を製造し、このＬＳＩを必要な数だけ積層することにより、デジタル画像１１１中の文字／図形を簡単に、しかも高速に抽出するイメージセンサを実現することができる。そこで、このイメージセンサをパーソナルコンピュータ、ゲーム機、テレビ及びビデオデッキなどの電子機器に組み込むことにより、これらの電子機器は、利用者のプライバシに配慮しながら、この利用者のジェスチャを取り込むことができる。特にこのイメージセンサは、高齢者の安否を確認したり、この高齢者の徘徊を監視するのに適している。また、本実施形態は、この文字／図形の色及び形状を損なうことなく、このデジタル画像１１１を圧縮して、カラーマンガのような画像を生成することができる。そこで、本実施形態をビデオデッキに組み込むことにより、このビデオデッキは、録画した動画像の各シーンに対して的確なラベルを付けすることができる。したがって、このビデオデッキの利用者は、タッチパネルなどを使って、見たいシーンのスケッチを描くことにより、このビデオデッキは、このシーンの頭出しを素早く行うことができる。さらに、本実施形態を携帯電話２１１のような通信機器に組み込むことにより、例えこのデジタル画像１１１の画素数が多くても、この通信機器はこのデジタル画像１１１を効率よく圧縮することができ、しかもこの通信機器の利用者は、プライバシーに配慮しながらこの文字／図形を的確に識別することができる。特に、視覚障害者及び高齢者に対して、サポータが遠隔から代読及び歩行などを支援をするのに適している。
【０１３７】
請求項３及び６記載の発明の実施形態によれば、全ての手段が局所処理によって実現され得る。したがってイメージセンサの製造者は、二次元格子状に配列された複数の配列演算ユニット１００から構成されるデータ処理装置１１０を実現するＬＳＩ（大規模集積回路）を製造し、このＬＳＩを必要な数だけ積層することにより、デジタル画像１１１中の文字／図形を簡単に、しかも高速に抽出するイメージセンサを実現することができる。そこで、このイメージセンサをパーソナルコンピュータ、ゲーム機、テレビ及びビデオデッキなどの電子機器に組み込むことにより、これらの電子機器は、利用者のプライバシに配慮しながら、この利用者のジェスチャを取り込むことができる。特にこのイメージセンサは、高齢者の安否を確認したり、この高齢者の徘徊を監視するのに適している。また、本実施形態は、この文字／図形の色及び形状を正確に保持しながら、このデジタル画像１１１を圧縮して、カラーマンガのような画像を生成することができる。そこで、本実施形態をビデオデッキに組み込むことにより、このビデオデッキは、録画した動画像の各シーンに対して的確なラベルを付けすることができる。したがって、このビデオデッキの利用者は、タッチパネルなどを使って、見たいシーンのスケッチを描くことにより、このビデオデッキは、このシーンの頭出しを素早く行うことができる。さらに、本実施形態を携帯電話２１１ような通信機器に組み込むことにより、例えこのデジタル画像１１１の画素数が多くても、この通信機器はこのデジタル画像１１１を効率よく圧縮することができ、しかもこの通信機器の利用者は、プライバシーに配慮しながらこの文字／図形を正確に識別することができる。特に、視覚障害者及び高齢者に対して、サポータが遠隔から代読及び歩行などを支援をするのに適している。
【０１３８】
請求項７及び８記載の発明の実施形態によれば、通信ネットワーク８を介して、視覚装置２を搭載した通信システムと接続されたコンピュータシステム８００は、カメラ９が撮影したデジタル画像１１１から文字／図形を容易に選択することができ、しかもこの文字／図形の色を的確に識別することができる。そこで、このコンピュータシステム８００にこの文字／図形を認識する機能を持たせることにより、このコンピュータシステム８００の利用者は、このカメラ９を持っている遠隔地の撮影者の周囲の状況を容易に把握することができる。
【０１３９】
請求項９記載の発明の実施形態によれば、通信ネットワーク８を介して、視覚装置２を搭載した通信システムと接続されたコンピュータシステム８００は、カメラ９が撮影したデジタル画像１１１から文字／図形を容易に選択することができ、しかもこの文字／図形の色を的確に識別することができる。そこで、このコンピュータシステム８００にこの文字／図形を認識する機能を持たせることにより、このコンピュータシステム８００の利用者は、このカメラ９を持っている遠隔地の撮影者の周囲の状況を容易に把握することができる。例えば、このコンピュータシステム８００にハンバーガーチェーンのロゴを認識する機能を持たせることにより、このコンピュータシステム８００は、この撮影者の周囲にこのハンバーガーチェーンの店舗があるかどうか判断することができる。しかも、もしあれば、このコンピュータシステム８００がこの撮影者に対してこのカメラ９をこのロゴの方向に向けさせることにより、このコンピュータシステム８００は、この店舗の入り口までこの撮影者を誘導することができる。勿論、このコンピュータシステム８００にこの店舗までの途中にある看板及びランドマークを認識する機能を持たせることにより、このコンピュータシステム８００は、この店舗までこの撮影者を誘導することもできる。したがって、この撮影者は初めての場所でも簡単にこの店舗を見付けることができる。さらに、このコンピュータシステム８００にトイレマークを認識する機能を持たせることにより、このコンピュータシステム８００は無線誘導装置など高価な社会基盤を整備することなく、普段使用している看板及びチラシなどをそのまま用いることにより、この撮影者をこの店舗のトイレまで誘導することができる。このような通信システムを、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）と組み合せることにより、この通信システムは高い精度と有用性を達成することができ、特に視覚障害者及び高齢者などが外出する際に便利である。この他に、このコンピュータシステム８００に道路上の複数の車線及びマークを認識する機能を持たせることにより、このコンピュータシステム８００は、これらの車線の位置を検出することができるばかりか、安全地帯の位置及び制限速度を警告することができる。
【０１４０】
請求項１０記載の発明の実施形態によれば、通信ネットワーク８を介して、視覚装置２を搭載した通信システムと接続されたコンピュータシステム８００は、カメラ９が撮影したデジタル画像１１１から文字／図形を容易に選択することができ、しかもこの文字／図形の色を的確に識別することができるばかりか、このカメラ９を持っている遠隔地の撮影者に、この文字／図形に対応した情報を提供することができる。そこで、このコンピュータシステム８００に特定のキーワード及びマークを認識する機能を持たせることにより、この撮影者は、周囲に隠されたこれらのキーワード及びマークを見付け出すことができる。例えば、このコンピュータシステム８００がデータベースを用いて日時、場所、これらのキーワード及びマークを組み合せることにより、この通信システムは、これらのキーワード及びマークを順番に探していく宝探しゲームを、この通信ネットワーク８を介して広範囲で実現することができる。したがって、このようなゲームを上述のハンバーガーチェーンの店舗への誘導と組み合わせることにより、この通信システムはこのハンバーガーチェーンの営業活動を促進することができる。また、このコンピュータシステム８００にテレビの番組表に記載された番組名、時刻及びマークを認識する機能を持たせることにより、この撮影者は、撮影した番組の情報を得られるばかりか、この通信装置７をテレビ及びビデオのリモコンとして利用することもできる。この番組表の文字は一般に小さいので、特に視覚障害者及び高齢者などがテレビ及びビデオを利用する際に便利である。さらに、この撮影者が携帯電話２１１のような通信装置７を用いてチラシ及びホームページなどに書かれた商品コードを撮影した場合、このコンピュータシステム８００は、この携帯電話２１１に商品の説明、広告及び発注案内を送信することもできる。したがって、通信販売会社がこのコンピュータシステム８００を利用することにより、この会社はカタログにバーコードなどを利用しなくても、顧客からの注文を自動化することができる。しかもこの商品コードが小さくても、この撮影者がこのカタログを接写することにより、このコンピュータシステム８００はこの商品コードを識別できるので、特に視覚障害者及び高齢者などが通信販売を利用する際に便利である。勿論、この撮影者がテレビ番組中の女優が着ている服及び友人の家で見付けたアクセサリを撮影して、これらの服及びアクセサリを即座に注文することもできる。この他に、このコンピュータシステム８００に道路標識を認識する機能を持たせることにより、このコンピュータシステム８００は、カーナビゲーションに登録されていない臨時の工事に対しても、通行止めを警告したり、この撮影者の車を回り道に誘導することができる。
【０１４１】
以上、本実施形態を説明したが、本発明は上述の実施形態には限定されることはなく、当業者であれば種々なる態様を実施可能であり、本発明の技術的思想を逸脱しない範囲において本発明の構成を適宜改変できることは当然であり、このような改変も、本発明の技術的範囲に属するものである。
【図面の簡単な説明】
【図１】本実施形態のデータ処理装置を１個含む視覚装置のブロック図である。
【図２】本実施形態のデータ処理装置を４個含む視覚装置のブロック図である。
【図３】本実施形態の格子状に配置された配列演算ユニットのブロック図である。
【図４】本実施形態のデジタル画像の各画素を５色に分類する場合の説明図である。
【図５】本実施形態のデジタル画像から文字及び図形を抽出する場合の説明図である。
【図６】本実施形態のデジタル画像から抽出した文字及び図形の色を正確に表す場合の説明図である。
【図７】本実施形態の多色分類手段のアルゴリズムを示すフローチャートである。
【図８】本実施形態の文字／図形抽出手段のアルゴリズムを示すフローチャートである。
【図９】本実施形態の精細文字／図形抽出手段のアルゴリズムを示すフローチャートである。
【図１０】本実施形態の配列演算ユニットの内部構造のブロック図である。
【図１１】本実施形態のカメラ、視覚装置及び通信装置から構成される通信システムのブロック図である。
【図１２】本実施形態のカメラ、ディスプレイ及びスピーカを搭載した携帯電話の説明図である。
【図１３】本実施形態の圧縮画像データを用いてデータベースを検索するコンピュータシステムの説明図である。
【図１４】本実施形態の記録画像を記録するデータベース中の画像レコードの説明図である。
【図１５】本実施形態の検索結果画像ＩＤと検索結果文字列を記録するデータベース中の画像レコードの説明図である。
【符号の説明】
２ 視覚装置
７ 通信装置
８ 通信ネットワーク
９ カメラ
１１ 多色分類手段
１２ 文字／図形選択手段
１３ テクスチャ除去手段
１４ 精細化手段
２１ 文字／図形抽出手段
２２ 精細文字／図形抽出手段
５１ アドレスバス
５２ データバス
１００ 配列演算ユニット
１０１ プロセッサ
１０２ メモリ
１０３ コントローラ
１１０ データ処理装置
１１１ デジタル画像
１１２ 多色画像
１１２ａ 多色画像（白）
１１２ｂ 多色画像（黒）
１１２ｃ 多色画像（赤）
１１２ｄ 多色画像（緑）
１１３ 文字／図形画像
１１３ａ 文字／図形画像（白）
１１３ｂ 文字／図形画像（黒）
１１３ｃ 文字／図形画像（赤）
１１３ｄ 文字／図形画像（緑）
１１４ 精細文字／図形画像
２１１ 携帯電話
２２２ ディスプレイ
２２４ スピーカ
５０１ 画像ＩＤ
５０２ 画像説明
５０３ 記録画像データ
５０４ 検索結果文字列
５０５ 検索結果画像ＩＤ
７０１ 画像圧縮手段
７０２ 画像通信手段
８００ コンピュータシステム
８０１ 画像受信手段
８０２ 画像伸張手段
８０３ 文字／図形領域検出手段
８０４ キー画像生成手段
８０５ 画像検出手段[0001]
[Field of the Invention]
The present invention relates to a visual device that extracts a plurality of characters or figures in an image, and more specifically, a binary image, grayscale image, three primary color wavelengths, visible light wavelength, infrared wavelength photographed by a photographing device such as a video camera and a scanner. A multicolor image is generated from a plurality of characters or figures in a still image such as an image composed of an arbitrary band of ultraviolet wavelengths, all other electromagnetic waves, and the color of their outlines. On the other hand, the present invention relates to one that extracts characters or figures.
[0002]
[Prior art]
Until now, a visual device has been developed by one of the inventors of the present invention (see, for example,
[0003]
On the other hand, many researchers have developed a method for extracting characters in an image so far (see, for example, Non-Patent
[0004]
By the way, local parallel image processing can solve such a problem. For example, when the overlapping information output by the position and size detection algorithm (hereinafter referred to as position / size detection algorithm, which is referred to as the position / size detection algorithm that refers only to the vicinity of 8) is within a certain range, this overlap is used. The information is a hint of the character position. Therefore, even with a local parallel image processing algorithm composed only of functions that refer to eight or fewer pixels, characters can be extracted from a scene image, and a relatively high extraction rate can be achieved. However, this algorithm has the following three problems. First, since this algorithm only converts color images into black and white character images, it is extremely difficult to process other colors. Therefore, this algorithm makes red stand out as either black or white by applying a bias only to the red band of this color image. Second, even if this duplicate information is within this certain range, this duplicate information does not necessarily indicate the position of the character. In many cases, the same duplication information is also generated in the filled area. Therefore, after the duplication information included in the filled area is removed in advance, the algorithm uses the remaining duplication information to generate characters. Judgment must be made. Thirdly, since this algorithm uses only processing of 8 neighborhoods or less, the amount of calculation increases as the scene image becomes larger. The algorithm has to repeat the 8-neighbor process many times, especially when excluding this filled area.
[0005]
Here, when human vision is examined, it can be seen that the complementary color relationship is effectively used (see, for example, Non-Patent Document 7). This complementary color relationship is a characteristic seen in human vision and is a combination of colors facing each other in the hue circle. For example, red and green have a complementary color relationship and do not appear simultaneously in the same pixel. Similarly, yellow and blue have a complementary color relationship. However, in human vision, the influence of yellow and blue is weaker than that of white, black, red, and green. For example, yellow characters on a white background and blue characters on a black background are very difficult to see. Therefore, it can be assumed that yellow is white and blue is close to black, which is supported not only by psychology but also by the structure of the retina.
[0006]
In addition, the above white and black themselves also represent relative brightness. Even if a certain pixel has the same brightness, this pixel appears white if its periphery is dark, and if this periphery is bright, this pixel is Looks black. That is, the relative brightness based on the brightness of surroundings that does not belong to any color of gray is white and black for humans. This is because it is very convenient to use such relative brightness when a human lives in an environment where the brightness constantly changes, such as under sunlight. However, in the field of neurophysiology, the specific mechanism of the retina that determines this gray is not yet elucidated, but to compress the image data transmitted from the retina to the primary visual cortex via ganglion cells, Many researchers are unaware that this gray plays an important role (see, for example, Non-Patent Document 8). There are many types of amacrine cells in the retina, and these amacrine cells form a complex network with bipolar cells and ganglion cells. Also in the field, attention is focused only on motion detection (see, for example,
[0007]
Actually, when a human writes a character or a figure, this complementary color relationship is used unconsciously in order to make these characters and figures easy to see. Therefore, for the first problem, if this complementary color relationship is used effectively, the positions of these characters and figures can be easily found, and the colors of these characters and figures can be accurately determined with a small amount of information. It can also be expressed. Moreover, the filled area can be regarded as gray because there is no color change. Therefore, by removing this gray portion from the above-mentioned scene image, this complementary color relationship is also effective for the second problem.
[0008]
Now, for the third problem, instead of using the position / size detection algorithm, a function for directly referring to an arbitrary neighborhood and calculating the sum is used. In particular, since characters and graphics are generally composed of at least one line including a line segment, an arc, and a free curve, the neighborhood length for this neighborhood need not exceed the maximum width of these lines. Therefore, this function for calculating the sum is also a local function. As a result, the visual device can greatly reduce the amount of calculation. In the following, a character refers to a character composed only of a line having a predetermined line width or less, and a graphic refers to a character including at least one line or region exceeding a predetermined line width.
[0009]
Considering these things, the visual device classifies the input image into at least five colors of white, black, red, green and gray, and selects a character or a figure for each color by using a local function for calculating the sum. Thus, the visual device is expected not only to extract these characters and graphics, but also to accurately represent the colors of these characters and graphics. In addition, since many functions are functions that refer to the vicinity of 8 or less, it is expected that this visual apparatus can extract these characters and figures with a small amount of hardware and calculation.
[0010]
[Patent Document 1]
International Publication Number WO00 / 16259 pamphlet
[Patent Document 2]
International Publication Number WO01 / 41448 Pamphlet
[Patent Document 3]
International Publication Number WO02 / 73538
[Non-Patent Document 1]
Shizuto Fukuda, Yoshiaki Amioka, Hideharu Amano, “Implementation of position / size detector on FPGA”, 10th FPGA / PLD Design Conference (FPGA / PLD Design Conference), Electronic Design Electronic Design and Solution Fair 2003, January 30, 2003, p. 115-122
[Non-Patent Document 2]
Kaoru Tsuji, Naoki Tanaka, Toyohisa Kaneko, R.D. M.M. Haralick, “Character region extraction method from cover image”, IEICE Transactions, October 1997, J80-D-II, No. 10, p. 2696-2704
[Non-Patent Document 3]
Liu Xiaomei, Satoshi Yamamura, Noboru Onishi, Noboru Sugie, “About extraction of character string region in scene”, IEICE Transactions, April 1998, J81-D-II, No. 4, p. 641-650
[Non-Patent Document 4]
Hideaki Goto, Ritsuka Hirayama, Hiroki Aki, “Extracting Character Patterns from Gray and Gray Document Images Using Local Multilevel Threshold Processing”, IEICE Transactions, November 1999, Vol. J82-D-II , No. 11, p. 2188-2192
[Non-Patent Document 5]
Daisuke Kin, Hiroki Takahashi, Masayuki Nakajima, “Hangul Character String Region Extraction and Scene Element Recognition from Scene Images”, IEICE Technical Report, May 2002, PRMU-2002-18, MI2002-34 , P. 65-70
[Non-Patent Document 6]
Kenichi Matsuo, Katsuhiko Ueda, Michio Umeda, “Character string region extraction from scene image by binarization of local target region”, IEEJ Transactions, February 2002, Vol. 122-C, No. 2, p. 232-241
[Non-Patent Document 7]
Ikeda Mitsuo, “What does the eye see?-Information processing in the visual system,” first edition, Heibonsha, August 22, 1988, p. 183-276
[Non-Patent Document 8]
Edited by Helga Kolb, Eduardo Fernandez, Ralph Nelson, "Webvision", (USA), [online], 2003, John A. Moran. John A. Moran Eye Center, University of Utah, [Retrieved 14 April 2003], Internet <URL: http://webvision.med.utah.edu>
[Non-patent document 9]
K. K. Boahen, “Retinomorphic Chips that see Quadruple Images (USA), 7th Neural, Micro for Fuzzy and Bio-Inspired Systems Proceedings of the Seventh International Conference on Microelectronics for Neural, Fuzzy, and Bio-Inspired Systems, I. Triple E (IEEE), 1999, p. 12-20
[Non-Patent Document 10]
Hitoshi Yamada, Rare Miyashita, Masahiro Otani, Hiroo Yonezu, "Generation of Motion Information Learned from the Inner Retina Function and Its Electronic Circuit", Denso Technical Review, Denso Corporation, 2000, Vol. 5, No. 2, p . 101-106
[0011]
[Problems to be solved by the invention]
Therefore, the present invention described in
[0012]
[Means for Solving the Problems and Effects of the Invention]
The invention of
[0013]
The invention of
[0014]
According to a third aspect of the present invention, in the visual device according to the second aspect, the data processing device includes a refining unit, and the refining unit includes a plurality of the band pixel values constituting each pixel of the character / graphic image. Represents the characters / graphics, means (or step) for setting each of the corresponding band pixel values in the fine character / graphic image to the corresponding band pixel values in the digital image; and When the plurality of band pixel values constituting each pixel represent the gray, means (or step) for setting each band pixel value corresponding to the fine character / graphic image to the band pixel value representing a predetermined gray ), And a visual device characterized by using. In the present invention, a character refers to a character composed of only a line having a predetermined line width or less, and a graphic refers to a character including at least one line or region exceeding a predetermined line width. Therefore, in the present invention, these characters and / or graphics (hereinafter abbreviated as characters / graphics) in the digital image are extracted to generate the fine character / graphic images. In the present invention, all the means are realized by a plurality of array operation units arranged in a two-dimensional lattice pattern. Therefore, the image processing performed by the visual device is local parallel image processing. The refining means replaces the gray pixel in the character / graphic image in the digital image, that is, the pixel corresponding to the pixel not included in the character and the graphic, with the predetermined gray color, The other pixels are maintained as they are. Thereby, the color of the character and the figure in the fine character / graphic image becomes accurate. In addition, since a large number of pixels become gray, it is easy to compress the band pixel values of these pixels. The present invention can extract the character and the graphic in the digital image while accurately representing the color of the character and the graphic in the digital image. The problem is preferably solved.
[0015]
The invention of
[0016]
The invention according to
[0017]
The invention of
[0018]
A seventh aspect of the present invention is the visual device according to any one of the first to fifth aspects, a photographing device for photographing the digital image or a drawing device for rendering the digital image, an image compressing unit, and an image. A communication device including communication means, wherein the image compression means for the multicolor image, the character / graphic image or the fine character / graphic image output from the visual device, A communication system comprising: compressing a plurality of gray band pixel values together to generate compressed image data; and transmitting the compressed image data to a communication network. is there. The photographing apparatus can photograph the digital image such as a camera and a scanner. Moreover, it is preferable that the drawing device is capable of drawing the digital image, such as a mouse, a tablet, and a touch panel. The communication network includes USB (Universal Serial Bus), Ethernet, ISDN (Integrated Digital Communication Network), xDSL (Digital Subscriber Line), ATM (Asynchronous Transfer Mode) and frame relay and other wire technologies, infrared, wireless LAN, IMT, etc. It is composed of wireless technologies such as 2000 (DS-CDMA and MC-CDMA, etc.) and Bluetooth. The image compression means uses the image compression technology such as MPEG (Moving Picture Experts Group) and JPEG (Joint Photographic Coding Experts Group), among the multicolor image, the character / graphic image, and the fine character / graphic image. Preferably at least one can be compressed. At this time, if the image compression means uses a compression format suitable for animation such as GIF (Graphic Interchange Format) and Flash, the image compression means can compress these images at a high compression rate. According to the present invention, since these images output from the visual device can be communicated at high speed, various problems relating to the communication of the characters / graphics are preferably solved.
[0019]
The invention of
[0020]
According to a ninth aspect of the present invention, in the character / graphics search system according to the eighth aspect, at least one of the computer systems uses the image transmission means to transmit the detection result or the position information of the area to the communication. Transmitting to the device; and wherein the communication device includes a display or a speaker, so that the communication device outputs the search result or the position information using the display or the speaker. It is a graphic search system. The image transmission means includes USB (Universal Serial Bus), Ethernet, ISDN (Integrated Digital Communication Network), xDSL (Digital Subscriber Line), ATM (Asynchronous Transfer Mode), and wire relay technology such as infrared relay, wireless LAN, and the like. It is preferable to transmit the search result or the position information to the communication network using a wireless technology such as IMT-2000 (DS-CDMA and MC-CDMA, etc.) and Bluetooth. The position information represents a two-dimensional coordinate of the character / graphic in the digital image or a relative direction from the center of the digital image, for example, up, down, left and right. The communication device displays the position of the two-dimensional coordinates on the display, or outputs audio data such as up, down, left, and right using the speaker. The user of the photographing apparatus can easily find the predetermined character / graphic by changing the direction of the photographing apparatus or the photographed object in accordance with the position on the display or the instruction of the audio data. According to the present invention, even if the communication network has a small communication capacity, the character / graphic can be searched, so that various problems relating to the search for the character / graphic are solved preferably.
[0021]
A tenth aspect of the present invention is the character / graphics search system according to the eighth aspect, wherein at least one of the computer systems uses the image transmission means to retrieve a search result character string or a search result associated with the recorded image data. The communication device outputs the search result character string or the search result image using the display or the speaker by transmitting an image to the communication device and the communication device includes a display or a speaker. This is a character / graphic search system. The image transmission means includes USB (Universal Serial Bus), Ethernet, ISDN (Integrated Digital Communication Network), xDSL (Digital Subscriber Line), ATM (Asynchronous Transfer Mode), and wire relay technology such as infrared relay, wireless LAN, and the like. The search result image or the search result character string is transmitted to the communication network using a wireless technology such as IMT-2000 (DS-CDMA, MC-CDMA, etc.) and Bluetooth. Preferably, the search result character string is an arbitrary character string, and the search result image is also an arbitrary image. The search result character string and the search result image are recorded in the database in a state associated with the recorded image data. Therefore, when the recorded image data is searched by the key image, the database can refer to the search result character string or the search result image by using the recorded image data. The communication device displays the search result character string or the search result image on the display, or outputs voice data of the search result character string using the speaker. The user of the photographing device can easily find the predetermined character / graphic by appropriately changing the direction of the photographing device or the photographed object until obtaining the search result character string or the search result image. According to the present invention, even if the communication network has a small communication capacity, the character / graphic can be searched, so that various problems relating to the search for the character / graphic are solved preferably.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of a visual device (VISUAL DEVICE) 2 using an array operation unit (ARRAY OPERATION UNIT) 100 of the present invention will be described with reference to the drawings.
[0023]
First, as shown in FIG. 1, the
[0024]
Next, as shown in FIG. 3, the
[0025]
As shown in FIG. 3, these
[0026]
Further, as shown in FIG. 10, each of these
[0027]
Up to this point, the
[0028]
As shown in FIG. 4, the embodiment of the
[0029]
The
[0030]
Here, four binary images are used as the multicolor image 112, but each pixel of the multicolor image 112 may of course be represented by 3 bits. Further, the
[0031]
By the way, when a character written with a predetermined line width or less is present in the
[0032]
As shown in FIG. 5, the embodiment of the
[0033]
In this example, four binary images are used as the character / graphic image 113. Of course, each pixel of the character / graphic image 113 may be represented by 3 bits. Further, the
[0034]
Now, as shown in FIG. 6, the embodiment of the
[0035]
Now, the multi-color classification means 11, the character / graphic extraction means 21 and the refinement means 14 used in the
[0036]
First, the
[0037]
[0038]
[Expression 1]
[Expression 2]
First, a function related to point processing for each band pixel value of the image will be described below.
[0041]
imagexIs converted into a binary image, the band pixel value is binarized according to
[0042]
[Equation 3]
imagexIs saturated at the lower limit a and the upper limit b, the band pixel value is saturated according to
[0044]
[Expression 4]
imagexWhen the window corresponding to the lower limit c and the upper limit d is generated, the band pixel value is generated according to
[0046]
[Equation 5]
imagexIs converted into a band maximum value image, the maximum value is selected from the values of the respective bands of the pixels in i rows and j columns according to
[0048]
[Formula 6]
Now, a set P of positions in the vicinity of q at the position p (i, j, k) of the image.ijk(Q) is expressed by
[0050]
[Expression 7]
Therefore, a function and an operator relating to neighborhood processing of up to 8 neighborhoods for each band pixel value of the image will be described below.
[0052]
imagexThe smoothing at the position p (i, j, k) is performed according to
[0053]
[Equation 8]
The Laplacian calculation is simply a second-order difference operator as shown in
[0055]
[Equation 9]
imagexThis image as is any binary imagexIn order to remove isolated points or holes, the calculation is performed according to Equation 10. In the case of 4 neighborhoods, a diagonal line cannot be detected due to its nature, so it is better to use 8 neighborhoods as much as possible.
[0057]
[Expression 10]
Next, functions and operators related to the neighborhood processing for each band pixel value of the image will be described below.
[0059]
2 imagesx,yIf there is, the difference between these images is calculated according to
[0060]
## EQU11 ##
Here, using the Laplacian according to
[0062]
[Expression 12]
2 imagesx,yThere is an imageyIs a single-band binary image, this image according to Equation 13yThis image using the band pixel value ofxEach band pixel value can be extracted.
[0064]
[Formula 13]
In addition, two imagesx,yThere is an imageyIs a single-band binary image, the image according to Equation 14yThis image using the band pixel value ofxIn addition, the band pixel values can be extracted and the remaining band pixel values can be set to an arbitrary value g. Note that
[0066]
[Expression 14]
imagexThe summation of the vicinity of q at the position p (i, j, k) is performed according to Equation 15.
[0068]
[Expression 15]
imagexIs a multi-band image such as a color image, the two bands, for example, the first band red and the second band greenxIt is assumed that white, black, red, green and gray are extracted from the characters / graphics in the middle and the outline. Image at this timexThe multicolor extraction at the position p (i, j, k) is performed according to Equations 16 to 19 using the q neighborhood. Note that the right side of Equations 16 to 19 originally needs to be divided by q. However, since these band pixel values are used only for comparing the magnitudes of each other, the right side is multiplied by q so that the division is omitted. ing. In addition, gray is an intermediate color of white, black, red, and green, and refers to colors other than these colors.
[0070]
[Expression 16]
[Expression 17]
[Formula 18]
[Equation 19]
Next, it is assumed that one color is selected from a plurality of colors extracted from the image. 4-band image at this timexThe multi-color selection at the position p (i, j, k) is performed according to the equations 20 to 23 using a predetermined value f. At this time, this 4-band imagexFor each pixel, f is desirably finely adjusted appropriately. When none of white, black, red, and green is selected in these mathematical formulas, the pixel indicated by these mathematical formulas is gray.
[0075]
[Expression 20]
[Expression 21]
[Expression 22]
[Expression 23]
Here, when multicolor extraction according to Equations 16-19 and multicolor selection according to Equations 20-23 are used, an image is obtained according to Equation 24.xMulti-color classification can be described easily.
[0080]
[Expression 24]
imagexWhen the binarization of
[0082]
[Expression 25]
Binary imagexWhen a Laplacian according to
[0084]
[Equation 26]
2 imagesxas well asyThere is this pictureyIs a binary image having an arbitrary number of bands, and using the maximum value selection according to
[0086]
[Expression 27]
Therefore, by using
[0088]
As shown in FIG. 4, in order for the multi-color classification means 11 realized by the
[0089]
In step 1101, AOUijAre arranged in i rows and j columns on the lattice. This can be logical or physical, AOUijIs necessary to determine the neighborhood of.
[0090]
In step 1102, AOUijSet the initial value of the neighborhood and variables. In the neighborhood setting, the neighborhood size q used in each function may be determined individually or all of them may be unified. In order to increase the accuracy of the character / graphic image 113 generated by the
[0091]
In step 1103, it is determined whether the
[0092]
In step 1104, pixels of i rows and j columns of the
[0093]
In step 1105, AOUijCommunicates with the neighboring
[0094]
In step 1106, AOUijCommunicates with the neighboring
[0095]
In step 1107, the function M is applied to each band pixel value of the sharp image.q ijk(x) And classify into multiple colors. The classified band pixel value is treated as the band pixel value of the color classified image.
[0096]
In step 1108, AOUijCommunicates with the neighboring
[0097]
In step 1109, the band pixel value of the multicolor image 112 is output. Thereafter, the process returns to step 1103.
[0098]
Accordingly, the
[0099]
As shown in FIG. 5, in order for the character / graphic extraction means 21 realized by the
[0100]
In step 2101, AOUijAre arranged in i rows and j columns on the lattice. This can be logical or physical, AOUijIs necessary to determine the neighborhood of.
[0101]
In step 2102, AOUijSet the initial value of the neighborhood and variables. In the neighborhood setting, the neighborhood size q used in each function may be determined individually or all of them may be unified. In order to increase the accuracy of the character / graphic image 113 generated by the
[0102]
In step 2103, it is determined whether the
[0103]
In step 2104, the pixels of i rows and j columns of the
[0104]
In step 2105, AOUijCommunicates with the neighboring
[0105]
In step 2106, AOUijCommunicates with the neighboring
[0106]
In step 2107, the function M is applied to each band pixel value of the sharp image.q ijk(x) And classify into multiple colors. The classified band pixel value is treated as the band pixel value of the color classified image.
[0107]
In step 2108, AOUijCommunicates with the neighboring
[0108]
In step 2109, AOUijCommunicates with the neighboring
[0109]
In step 2110, the function T is applied to each band pixel value of the rough character / graphic image.q ijk(x) To remove the texture. The band pixel value from which the texture is removed is treated as the band pixel value of the character / graphic image 113. Note that this function may be repeated several times as necessary.
[0110]
In step 2111, the band pixel value of the character / graphic image 113 is output. Thereafter, the process returns to step 2103.
[0111]
Thereby, the character / graphic extraction means 21 can generate the character / graphic image 113 from the
[0112]
As shown in FIG. 6, in order for the fine character / graphic extraction means 22 realized by the
[0113]
In step 2201, AOUijAre arranged in i rows and j columns on the lattice. This can be logical or physical, AOUijIs necessary to determine the neighborhood of.
[0114]
In step 2202, AOUijSet the initial value of the neighborhood and variables. In the neighborhood setting, the neighborhood size q used in each function may be determined individually or all of them may be unified. In order to increase the accuracy of the fine character /
[0115]
In step 2203, it is determined whether the
[0116]
In step 2204, the pixels of i rows and j columns of the
[0117]
In step 2205, AOUijCommunicates with the neighboring
[0118]
In step 2206, AOUijCommunicates with the neighboring
[0119]
In step 2207, the function M is applied to each band pixel value of the sharp image.q ijk(x) And classify into multiple colors. The classified band pixel value is treated as the band pixel value of the color classified image.
[0120]
In step 2208, AOUijCommunicates with the neighboring
[0121]
In step 2209, AOUijCommunicates with the neighboring
[0122]
In step 2210, the function T is applied to each band pixel value of the rough character / graphic image.q ij k(x) To remove the texture. The band pixel value from which the texture is removed is treated as the band pixel value of the character / graphic image 113. Note that this function may be repeated several times as necessary.
[0123]
In step 2211, the function F is applied to each band pixel value of the character / graphic image 113.ijk(x,y). The refined band pixel value is treated as the band pixel value of the fine character /
[0124]
In step 2212, the band pixel value of the fine character /
[0125]
As a result, the fine character / graphic extraction means 22 can generate the fine character /
[0126]
Here, the multicolor image 112 and the character / graphic image 113 are handled as four-band images, but the
[0127]
So far, the
[0128]
First, as shown in FIG. 11, an embodiment of a communication system corresponding to the invention described in
[0129]
Next, the
[0130]
Here, as shown in FIG. 13, the
[0131]
On the other hand, as shown in FIG. 14, the database includes an image record including an
[0132]
As shown in FIG. 12, the embodiment of the character / graphics search system corresponding to the invention described in
[0133]
By the way, as shown in FIG. 14, the database includes a large number of image records including an
[0134]
Although the case where a general character / graphic image is used as the recorded
[0135]
According to the embodiments of the invention described in
[0136]
According to the embodiments of the invention described in
[0137]
According to the embodiments of the third and sixth aspects of the invention, all means can be realized by local processing. Accordingly, an image sensor manufacturer manufactures an LSI (Large Scale Integrated Circuit) that implements a
[0138]
According to the embodiments of the invention described in
[0139]
According to the embodiment of the invention as set forth in
[0140]
According to the embodiment of the invention as set forth in claim 10, the
[0141]
Although the present embodiment has been described above, the present invention is not limited to the above-described embodiment, and various modes can be implemented by those skilled in the art without departing from the technical idea of the present invention. Of course, the configuration of the present invention can be modified as appropriate, and such modifications are also within the technical scope of the present invention.
[Brief description of the drawings]
FIG. 1 is a block diagram of a visual device including one data processing device of the present embodiment.
FIG. 2 is a block diagram of a visual device including four data processing devices of the present embodiment.
FIG. 3 is a block diagram of an array operation unit arranged in a grid pattern according to the present embodiment.
FIG. 4 is an explanatory diagram when each pixel of a digital image according to the present embodiment is classified into five colors.
FIG. 5 is an explanatory diagram when characters and figures are extracted from the digital image of the present embodiment.
FIG. 6 is an explanatory diagram in a case where characters and figures extracted from a digital image according to the present embodiment are accurately expressed.
FIG. 7 is a flowchart showing an algorithm of the multi-color classification unit of the present embodiment.
FIG. 8 is a flowchart showing an algorithm of a character / graphic extraction unit of the present embodiment.
FIG. 9 is a flowchart showing an algorithm of a fine character / graphic extracting unit of the present embodiment.
FIG. 10 is a block diagram of an internal structure of the array operation unit according to the present embodiment.
FIG. 11 is a block diagram of a communication system including a camera, a visual device, and a communication device according to the present embodiment.
FIG. 12 is an explanatory diagram of a mobile phone equipped with a camera, a display, and a speaker according to the present embodiment.
FIG. 13 is an explanatory diagram of a computer system that searches a database using compressed image data according to the present embodiment.
FIG. 14 is an explanatory diagram of an image record in a database for recording a recorded image according to the present embodiment.
FIG. 15 is an explanatory diagram of an image record in a database that records a search result image ID and a search result character string according to the present embodiment;
[Explanation of symbols]
2 Visual equipment
7 Communication equipment
8 Communication network
9 Camera
11 Multi-color classification means
12 Character / graphic selection means
13 Texture removal means
14 Refinement means
21 Character / figure extraction means
22 Fine character / graphic extraction means
51 Address bus
52 Data bus
100 array operation unit
101 processor
102 memory
103 controller
110 Data processing device
111 digital images
112 Multicolor image
112a Multicolor image (white)
112b Multicolor image (black)
112c Multicolor image (red)
112d Multicolor image (green)
113 character / graphic images
113a Character / graphic image (white)
113b Character / graphic image (black)
113c Character / graphic image (red)
113d Character / graphic image (green)
114 Fine character / graphic image
211 Mobile phone
222 display
224 speaker
501 Image ID
502 Description of images
503 Recorded image data
504 Search result string
505 Search result image ID
701 Image compression means
702 Image communication means
800 computer system
801 Image receiving means
802 Image expansion means
803 Character / graphic region detection means
804 key image generation means
805 Image detection means
Claims (10)
前記データ処理装置が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
を特徴とし、
前記データ処理装置が、補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段を備えることにより、前記デジタル画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置。A visual device comprising at least one data processing device,
The data processing device includes at least one processor and at least one set of memory;
The memory stores at least one band pixel value that is one element of a vector representing one image;
Features
The data processing device classifies each pixel of the input digital image into at least five colors including gray based on the complementary color relationship, thereby generating a multicolor image represented by at least the five colors from the digital image. A visual device, comprising: a multicolor classification means for compressing each pixel of the digital image to a band pixel value of at least 3 bits.
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
を特徴とし、
前記データ処理装置が、
補色関係に基づいて、入力したデジタル画像の各画素を灰色を含む少なくとも５色に分類することにより、前記デジタル画像から少なくとも前記５色で表される多色画像を生成する多色分類手段と、
前記多色画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを選択することにより、前記多色画像を粗文字／図形画像に変換する文字／図形選択手段と、
前記粗文字／図形画像の各画素の少なくとも１色に対して、所定の近傍内にある所定の帯域画素値の個数が所定の範囲内にある画素だけを除去することにより、前記粗文字／図形画像を文字／図形画像に変換するテクスチャ除去手段と、
を備えることにより、前記文字／図形画像の各画素を少なくとも３ビットの帯域画素値に圧縮することを特徴とする視覚装置。A visual device including at least one data processing device, the data processing device including at least one processor and at least one set of memory;
The memory stores at least one band pixel value that is one element of a vector representing one image;
Features
The data processing device is
Multicolor classification means for generating a multicolor image represented by at least the five colors from the digital image by classifying each pixel of the input digital image into at least five colors including gray based on the complementary color relationship;
For at least one color of each pixel of the multicolor image, only the pixels having a predetermined number of band pixel values within a predetermined vicinity are within a predetermined range, thereby selecting the multicolor image as a rough character. / Character / graphic selection means to convert to graphic image;
By removing only pixels in which the number of predetermined band pixel values within a predetermined neighborhood is within a predetermined range for at least one color of each pixel of the rough character / graphic image, the rough character / graphic is removed. Texture removal means for converting an image into a character / graphic image;
A visual device, wherein each pixel of the character / graphic image is compressed to a band pixel value of at least 3 bits.
前記データ処理装置が精細化手段を備え、
前記精細化手段が、
前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記文字／図形を表す場合、精細文字／図形画像において対応する前記帯域画素値の各々を前記デジタル画像において対応する前記帯域画素値に設定するステップと、
前記文字／図形画像の各画素を構成する複数の前記帯域画素値が前記灰色を表す場合、前記精細文字／図形画像において対応する前記帯域画素値の各々を所定の灰色を表す前記帯域画素値に設定するステップと、
を用いることを特徴とする視覚装置。The visual device of claim 2, wherein
The data processing device comprises a refining means;
The refining means is
When a plurality of band pixel values constituting each pixel of the character / graphic image represent the character / graphic, the band pixel value corresponding to the fine character / graphic image corresponds to the band pixel corresponding to the digital image. A step to set the value,
When a plurality of the band pixel values constituting each pixel of the character / graphic image represent the gray, each of the band pixel values corresponding to the fine character / graphic image is changed to the band pixel value representing a predetermined gray. Steps to set,
A visual device characterized by using the above.
前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、
を特徴とし、
各々の前記配列演算ユニットにおいて、
前記配列演算ユニットを初期化する手段と、
入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、
前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、
前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、
前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、
前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、
前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、
前記多色画像の各々の前記帯域画素値を出力する手段と、
を備えたことを特徴とする視覚装置。A visual device including at least one data processing device composed of a plurality of array operation units arranged in a two-dimensional grid,
Each of the data processing devices includes at least one processor and at least one set of memory;
The memory stores at least one band pixel value that is one element of a vector representing one image;
Each of the array operation units processes at least one of the band pixel values using at least one of the processors;
Features
In each of the array operation units,
Means for initializing the array operation unit;
Means for terminating the processing if there is no band pixel value of the digital image to be input;
Means for inputting at least one band pixel value of the digital image;
Means for converting the plurality of band pixel values of the digital image into at least one band pixel value of the smooth image to smooth each pixel of the digital image;
Means for converting a plurality of band pixel values of the smoothed image into at least one band pixel value of the enhanced image to enhance each pixel of the smoothed image;
Means for generating at least one band pixel value of the color classification image from at least one band pixel value of the enhancement image to classify each pixel of the enhancement image into at least five colors;
Means for converting a plurality of band pixel values of the color classification image into at least one band pixel value of a multicolor image to remove isolated points and holes from each pixel of the color classification image;
Means for outputting the banded pixel values of each of the multicolor images;
A visual device comprising:
前記データ処理装置の各々が、少なくとも１個のプロセッサ及び少なくとも１組のメモリを含むことと、
前記メモリが、１個の画像を表すベクトルの１個の要素である帯域画素値を少なくとも１個蓄えることと、
各々の前記配列演算ユニットが、少なくとも１個の前記プロセッサを用いて、少なくとも１個の前記帯域画素値を処理することと、
を特徴とし、
各々の前記配列演算ユニットにおいて、
前記配列演算ユニットを初期化する手段と、
入力すべきデジタル画像の帯域画素値がなければ処理を終了する手段と、
前記デジタル画像の少なくとも１個の前記帯域画素値を入力する手段と、
前記デジタル画像の各画素を平滑するために、前記デジタル画像の複数の前記帯域画素値を平滑画像の少なくとも１個の帯域画素値に変換する手段と、
前記平滑画像の各画素を強調するために、前記平滑画像の複数の前記帯域画素値を強調画像の少なくとも１個の帯域画素値に変換する手段と、
前記強調画像の各画素を少なくとも５色に分類するために、前記強調画像の少なくとも１個の前記帯域画素値から色分類画像の少なくとも１個の帯域画素値を生成する手段と、
前記色分類画像の各画素から孤立点及び孤立孔を除去するために、前記色分類画像の複数の前記帯域画素値を多色画像の少なくとも１個の帯域画素値に変換する手段と、
前記多色画像から文字及び図形を選択するために、前記多色画像の複数の前記帯域画素値を粗文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、
前記粗文字／図形画像からテクスチャを除去するために、前記粗文字／図形画像の複数の前記帯域画素値を文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、
前記文字／図形画像の各々の前記帯域画素値を出力する手段と、
を備えたことを特徴とする視覚装置。A visual device including at least one data processing device composed of a plurality of array operation units arranged in a two-dimensional grid,
Each of the data processing devices includes at least one processor and at least one set of memory;
The memory stores at least one band pixel value that is one element of a vector representing one image;
Each of the array operation units processes at least one of the band pixel values using at least one of the processors;
Features
In each of the array operation units,
Means for initializing the array operation unit;
Means for terminating the processing if there is no band pixel value of the digital image to be input;
Means for inputting at least one band pixel value of the digital image;
Means for converting the plurality of band pixel values of the digital image into at least one band pixel value of the smooth image to smooth each pixel of the digital image;
Means for converting a plurality of band pixel values of the smoothed image into at least one band pixel value of the enhanced image to enhance each pixel of the smoothed image;
Means for generating at least one band pixel value of the color classification image from at least one band pixel value of the enhancement image to classify each pixel of the enhancement image into at least five colors;
Means for converting a plurality of band pixel values of the color classification image into at least one band pixel value of a multicolor image to remove isolated points and holes from each pixel of the color classification image;
Means for converting a plurality of band pixel values of the multicolor image into at least one band pixel value of a coarse character / graphic image to select characters and figures from the multicolor image;
Means for converting a plurality of band pixel values of the rough character / graphic image into at least one band pixel value of the character / graphic image to remove texture from the rough character / graphic image;
Means for outputting the band pixel value of each of the character / graphic images;
A visual device comprising:
前記デジタル画像を用いて前記文字／図形画像を精細化し、精細文字／図形画像の少なくとも１個の帯域画素値に変換する手段と、
前記文字／図形画像の各々の前記帯域画素値の代りに、前記精細文字／図形画像の各々の前記帯域画素値を出力する手段と、
備えたことを特徴とする視覚装置。The visual device of claim 5, wherein
Means for refining the character / graphic image using the digital image and converting it into at least one band pixel value of the fine character / graphic image;
Means for outputting the band pixel value of each of the fine character / graphic image instead of the band pixel value of each of the character / graphic image;
A visual device characterized by comprising.
前記デジタル画像を撮影する撮影装置又は前記デジタル画像を描画する描画装置と、
画像圧縮手段及び画像通信手段を含む通信装置と、
を含む通信システムであって、
前記視覚装置が出力した、前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に対して、
前記画像圧縮手段が、複数の前記灰色の前記帯域画素値を一纏めに圧縮して圧縮画像データを生成することと、
前記画像通信手段が、前記圧縮画像データを通信ネットワークに送信することと、
を特徴とする通信システム。The visual device according to any one of claims 1 to 5,
A photographing device for photographing the digital image or a drawing device for drawing the digital image;
A communication device including image compression means and image communication means;
A communication system comprising:
For the multicolor image, the character / graphic image or the fine character / graphic image output by the visual device,
The image compression means collectively compresses a plurality of the gray band pixel values to generate compressed image data;
The image communication means transmits the compressed image data to a communication network;
A communication system characterized by the above.
データベースを含む少なくとも１個のコンピュータシステムと、
前記通信システムと前記コンピュータシステムを接続する通信ネットワークと、
を含む文字／図形探索システムであって、
前記コンピュータシステムの各々が、
前記通信システムから前記圧縮画像データを受信する画像受信手段と、
受信した前記圧縮画像データを前記多色画像、前記文字／図形画像又は前記精細文字／図形画像に伸張する画像伸張手段と、
前記多色画像、前記文字／図形画像又は前記精細文字／図形画像から少なくとも１個の前記文字／図形を含む領域を検出する文字／図形領域検出手段と、
前記領域から前記データベースのキー画像を生成するキー画像生成手段と、
前記キー画像を、前記データベースに蓄えられた記録画像データと比較する画像検出手段と、
を含むことにより、前記領域に対する検出結果を生成することを特徴とする文字／図形探索システム。A communication system according to claim 7;
At least one computer system including a database;
A communication network connecting the communication system and the computer system;
A character / graphic search system including
Each of the computer systems
Image receiving means for receiving the compressed image data from the communication system;
Image expansion means for expanding the received compressed image data into the multicolor image, the character / graphic image, or the fine character / graphic image;
Character / graphic region detection means for detecting an area including at least one character / graphic from the multicolor image, the character / graphic image, or the fine character / graphic image;
Key image generation means for generating a key image of the database from the area;
Image detecting means for comparing the key image with recorded image data stored in the database;
A character / figure search system characterized in that a detection result for the region is generated.
少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記領域に対する前記検出結果又は前記領域の位置情報を前記通信装置に送信することと、
前記通信装置がディスプレイ又はスピーカを含むことと、
により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果又は前記位置情報を出力することを特徴とする文字／図形探索システム。The character / graphic search system according to claim 8.
At least one of the computer systems using image transmission means to transmit the detection result for the area or the position information of the area to the communication device;
The communication device includes a display or speaker;
Thus, the communication device outputs the search result or the position information using the display or the speaker.
少なくとも１個の前記コンピュータシステムが、画像送信手段を用いて、前記記録画像データに関連付けられた検索結果文字列又は検索結果画像を前記通信装置に送信することと、
前記通信装置がディスプレイ又はスピーカを含むことと、
により、前記通信装置が前記ディスプレイ又は前記スピーカを用いて前記検索結果文字列又は前記検索結果画像を出力することを特徴とする文字／図形探索システム。The character / graphic search system according to claim 8.
At least one of the computer systems using an image transmission means to transmit a search result character string or a search result image associated with the recorded image data to the communication device;
The communication device includes a display or speaker;
Thus, the communication device outputs the search result character string or the search result image using the display or the speaker.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122945A JP4063706B2 (en) | 2003-04-25 | 2003-04-25 | Visual device and its application |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003122945A JP4063706B2 (en) | 2003-04-25 | 2003-04-25 | Visual device and its application |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004328549A JP2004328549A (en) | 2004-11-18 |
| JP4063706B2 true JP4063706B2 (en) | 2008-03-19 |
Family
ID=33500970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003122945A Expired - Lifetime JP4063706B2 (en) | 2003-04-25 | 2003-04-25 | Visual device and its application |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4063706B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100724939B1 (en) | 2005-06-20 | 2007-06-04 | 삼성전자주식회사 | Method for implementing user interface using camera module and mobile communication terminal therefor |
| JP5423696B2 (en) * | 2011-02-09 | 2014-02-19 | 株式会社デンソー | Sign recognition device |
-
2003
- 2003-04-25 JP JP2003122945A patent/JP4063706B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004328549A (en) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nataraj et al. | Detecting GAN generated fake images using co-occurrence matrices | |
| JP6956252B2 (en) | Facial expression synthesis methods, devices, electronic devices and computer programs | |
| Mäenpää et al. | Classification with color and texture: jointly or separately? | |
| CN110516575A (en) | GAN based on residual error domain richness model generates picture detection method and system | |
| US20110305397A1 (en) | Systems and methods for retargeting an image utilizing a saliency map | |
| KR20010085779A (en) | Visual device | |
| Berezhnoy et al. | Computer analysis of van Gogh’s complementary colours | |
| CN108319894A (en) | Fruit recognition methods based on deep learning and device | |
| JPH0877334A (en) | Automatic feature point extracting method for face image | |
| KR20150112535A (en) | Representative image managing apparatus and method | |
| CN107622504A (en) | Method and apparatus for handling picture | |
| CN112085094A (en) | Document image reproduction detection method and device, computer equipment and storage medium | |
| JP4063706B2 (en) | Visual device and its application | |
| CN113435514A (en) | Construction waste fine classification method and device based on meta-deep learning | |
| JP6338234B2 (en) | Region dividing method, region dividing program and image processing system | |
| CN111199199B (en) | Action recognition method based on self-adaptive context area selection | |
| KR20220073242A (en) | Apparatus for constructing learning data for machine learning of power facilities and metho thereof | |
| CN108109125A (en) | Information extracting method and device based on remote sensing images | |
| Sun et al. | Unsupervised object extraction by contour delineation and texture discrimination based on oriented edge features | |
| CN114155584A (en) | Face data analysis display system based on digital human face recognition interface | |
| JP2004242068A (en) | Method, apparatus, and program for image processing | |
| CN108133459B (en) | Depth map enhancement method and depth map enhancement device | |
| CN112633287A (en) | Text recognition method and device for mine multi-source heterogeneous image-text information | |
| JP2004258752A (en) | Image dividing method and device | |
| CN112714304B (en) | Large-screen display method and device based on augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071225 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4063706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |