JP4199535B2 - 画像情報処理装置、画像情報処理プログラム、および、プログラム記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像から文字等を認識して認識結果を出力する画像情報処理装置,画像情報処理プログラムおよびプログラム記録媒体に関する。
【０００２】
【従来の技術】
デジタルカメラの画質向上に伴ってカメラ画像を入力とする認識装置が実用化されている。例えば、文字認識機能を有するデジタルカメラとして、特許文献１に記載されているようなものがある。また、特許文献２に開示されている電子カメラは、名刺読み取り機能を有しており、名刺全体の画像を取り込んで、全画像から文字領域を探す画像処理を行ない、画像中の総ての文字を読み取って名刺の項目毎に分類し、編集モードで誤認識等をユーザが修正して確定し、出力するという処理を順次行なっている。
【０００３】
上述のように、１画像を入力し、認識し、修正する処理を順次行う方法の場合には、スキャナとは異なって、携帯カメラのごとくぼけや影や手ぶれ等の撮影条件のゆれが大きい入力装置においては、高品質の画像を１度で撮影することが難しく、撮影条件の悪い画像によって入力画像が固定されるため、ユーザに修正まで行なわせるには負担が大きいという欠点がある。また、シャッターキーを押し下げ操作して画像記録処理を実行する場合に、枠イメージに名刺の像をぴったりと収めるには、名刺の任意コーナーを上記枠イメージのコーナーに合わせるように構図調整を行う必要がある。
【０００４】
そのために、特許文献３に開示されているパーソナルコンピュータに搭載される文字認識装置では、ユーザが認識させたい文字領域を指定する機能を有している。さらに、ユーザによって文字領域が指定されない場合には、所定の範囲を文字領域として抽出する機能も有している。また、連続的に文字認識を実行する機能を有しており、文字が認識されたと判定された場合には、文字が検出された領域の範囲を示す枠が開示されるようになっている。文字が認識されていない場合には、上記枠に従って撮像処理を繰り返し実行するのである。そして、確定入力がなされない場合には、確定入力がなされるまで、撮像処理を繰り返して実行可能になっている。
【０００５】
また、認識履歴表示部に文字認識結果の履歴が表示されるようになっており、トラックポイント等を操作することによって、上記認識履歴表示部に表示された文字認識結果の中から適当な文字を選択して最終の認識結果を決定するようにしている。
【０００６】
【特許文献１】
特開平９‐２８９６２４号公報
【特許文献２】
特開２００１‐８０７２号公報
【特許文献３】
特開２０００‐２０７４８７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来のデジタルカメラ,電子カメラあるいはパーソナルコンピュータ等に搭載されて、文字認識等を行う認識装置においては、以下のような問題がある。
【０００８】
すなわち、近年、文字認識装置等の認識装置は、上記特許文献３に開示されているように、パーソナルコンピュータのような大型表示装置を有しているとは限らなくなっている。例えば、携帯電話に装着されたカメラから画像を取り込み、認識処理を行ない、認識結果を携帯電話の表示画面に出力するような小型認識装置の開発が行なわれている。
【０００９】
上記特許文献３に開示された文字認識方法では、ユーザが認識させたい文字領域を指定する認識対象領域手動設定時以外において、認識処理移行前に、ユーザに認識対象領域を提示する工夫が全くなされてはいない。したがって、カメラから取り込まれた画像の何れの部分について文字認識が行なわれるのかが、認識結果が出力されるまでユーザーには全く分らないのである。また、入力された画像全体から上記認識対象領域を抽出する場合には画像全体分の画像データをメモリに確保しなければならないため、携帯電話のような小型装置のＣＰＵ(中央演算処理装置)の場合には、文字認識される画像データ量が非常に多くなり、処理が遅くなるという問題がある。
【００１０】
また、文字が認識されない場合には確定入力がなされるまで撮像処理を繰り返して実行するようになっている。ところが、カメラが撮像を繰り返す間、撮像された全ての画像に関して無条件に文字認識が行なわれるために、撮影条件の悪い画像に対しても文字認識が行われることになり、無意味な認識結果が多く出力されてしまうという問題もある。さらに、無意味な認識結果が出力される結果、確定入力をする時に選択対象となる候補が多くなってしまう。これは、装置が小型化し、表示画面が小さくなった場合には、全認識結果を表示しきれないという不都合が生ずるのである。さらに、カメラが撮像を繰り返す過程において、文字認識処理に移行したタイミングをユーザに視覚的に知らせることができないということもある。
【００１１】
また、小型装置に対して上記特許文献３に開示された従来の文字認識装置を適用した場合には、以下のような問題が生ずる。
【００１２】
すなわち、小型装置において認識結果を蓄積し、蓄積結果を表示し、その中からユーザが選択するという処理を行なう場合、狭い画面を２分割しなければならない。あるいは、狭い画面で認識結果を表示しきれないので、画像取り込み画面と認識結果表示画面との２画面に切り換えて表示しなくてはならない。さらに、小型装置には、パーソナルコンピュータのトラックポイントのような認識結果を選択する際の簡便な選択手段がない。
【００１３】
また、従来の文字認識方法では、操作が煩雑で、認識処理を行い、認識候補を表示し、その中から正しい認識候補をユーザが選択するという操作を、片手で行うことが難しいという問題もある。
【００１４】
また、小型装置においては、繰り返し認識して得られた認識結果を多数蓄積するとメモリが足りなくなってしまう。
【００１５】
また、特に、上記特許文献２に開示された電子カメラにおいては、画像記録処理を、枠イメージに名刺の像をぴったりと収めてシャッターキーを押し下げ操作して実行するために、名刺の任意コーナーを枠イメージのコーナーに合わせるように構図調整を行う必要がある。したがって、名刺のうちのユーザが必要とする１行のみや数文字のみの文字認識を行うことができないのである。
【００１６】
そこで、この発明の目的は、携帯電話のような小型装置において、認識対象領域をユーザーに提示しながら認識処理を行なうことが可能な画像情報処理装置,画像情報処理プログラムおよびこの画像情報処理プログラムが記録されたプログラム記録媒体を提供することにある。
【００１７】
【課題を解決するための手段】
上記目的を達成するため、この発明の画像情報処理装置は、
被写体を撮像する撮像手段と、
上記撮像手段によって撮像された画像を認識する認識手段と、
上記認識手段による認識結果が撮像期間中２以上蓄積される認識結果蓄積手段と、
上記画像を含む表示情報を表示する表示手段と、
上記撮像手段によって撮像された画像における上記認識手段による認識の対象となる領域を特定する画像領域特定手段と、
上記画像領域特定手段によって特定された領域を示す情報を、上記表示手段に表示させる画像表示制御手段と、
上記画像領域特定手段で特定された領域内の画像に対する上記認識手段による認識処理への移行が可能であるか否かを判断する認識移行可否判断手段
を備えて、
上記認識手段は、上記認識移行可否判断手段による判断結果が可である場合に上記領域内の画像を認識するようになっており、
上記画像領域特定手段は、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定するようになっており、
上記画像表示制御手段は、上記指定位置情報を上記表示手段に表示させるようになっている
画像情報処理装置において、
上記画像領域特定手段によって特定される領域は枠で規定されており、
上記画像領域特定手段によって設定される指定位置情報は上記枠内に在る判別線であり、
上記認識移行可否判断手段は、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するようになっている
ことを特徴とする。
【００１８】
上記構成によれば、上記認識移行可否判断手段によって認識が可能であると判断された上記特定された領域内の画像に対して、上記認識手段によって認識が行われる。したがって、撮像画像における認識の対象となる領域のみが認識されるため、認識処理量が軽減されて認識速度が速くなる。さらに、認識対象とはならない撮像条件の悪い領域に対する無意味な認識が排除され、上記認識結果蓄積手段の記憶容量が削減される。
【００１９】
さらに、上記画像領域特定手段を、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定するようにし、上記画像表示制御手段を、上記指定位置情報を上記表示手段に表示させるようにしている。したがって、ユーザは、上記表示手段に表示された認識対象画像と指定位置情報との位置関係から、上記認識対象画像が正しく上記特定された領域内に在ることを目視することが可能になる。
【００２０】
さらに、上記画像領域特定手段によって特定される領域を枠で規定し、上記画像領域特定手段によって設定される指定位置情報を上記枠内に在る判別線とし、上記認識移行可否 判断手段を、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するようにしている。したがって、上記枠内の線状の指定位置情報に基づいて、上記特定される領域を規定する枠内に在る認識対象画像の認識処理への移行が可であることが、正しく判断される。
【００２１】
また、この発明の画像情報処理装置は、
被写体を撮像する撮像手段と、
上記撮像手段によって撮像された画像を認識する認識手段と、
上記認識手段による認識結果が撮像期間中２以上蓄積される認識結果蓄積手段と、
上記認識結果蓄積手段に蓄積された認識結果に基づいて最適認識候補を判定する認識結果判定手段と、
上記画像を含む表示情報を表示する表示手段と、
上記撮像手段によって撮像された画像における上記認識手段による認識の対象となる領域を特定する画像領域特定手段と、
上記画像領域特定手段で特定された領域内の画像に対する上記認識手段による認識処理への移行が可能であるか否かを判断する認識移行可否判断手段
を備えて、
上記認識手段は、上記認識移行可否判断手段による判断結果が可である場合に上記領域内の画像を認識するようになっており、
ユーザによって操作されて、上記撮像手段による撮像の開始および終了を指示する指示手段を備えて、
上記画像領域特定手段は、上記特定された領域を示す情報を上記表示手段に表示させる画像表示制御手段を有し、
上記撮像手段 , 画像領域特定手段 , 認識移行可否判断手段 , 画像表示制御手段 , 認識手段および認識結果判定手段は、上記指示手段によって撮像の開始が指示されてから撮像の終了が指示されるまで繰り返して動作するようになっており、
上記画像領域特定手段は、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定するようになっており、
上記画像表示制御手段は、上記指定位置情報を上記表示手段に表示させるようになっている
画像情報処理装置において、
上記画像領域特定手段によって特定される領域は枠で規定されており、
上記画像領域特定手段によって設定される指定位置情報は上記枠内に在る判別線であり、
上記認識移行可否判断手段は、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するようになっている。
【００２２】
上記構成によれば、撮像画像における認識の対象となる領域のみが認識されるため、認識処理量が軽減されて認識速度が速くなる。また、認識対象とはならない撮像条件の悪い領域に対する無意味な認識が排除されて、上記認識結果蓄積手段の記憶容量が削減される。
【００２３】
さらに、上記認識結果判定手段によって、上記認識結果蓄積手段に蓄積された２以上の認識結果に基づいて最適認識候補が判定される。したがって、上記表示手段は、同一認識対象画像に関する多数の認識結果を表示する必要がなくなる。そのため、上記撮像画像と認識結果とを同一画面に表示することが可能になる。
【００２４】
すなわち、携帯電話等の小型装置に搭載するのに最適な画像情報処理装置が提供される。
【００２５】
さらに、上記指示手段によって撮像の開始が指示されてから撮像の終了が指示されるまで、上記特定された領域を示す情報が表示される。したがって、ユーザは、表示される撮像画像および上記情報を見ながら本画像情報処理装置を上下左右前後に移動させることによって、撮像画像における認識対象領域を的確に上記特定された領域内に入れることが可能になる。
【００２６】
さらに、逐次得られる最適認識候補を例えば表示手段によって監視し、所望の認識候補が得られた場合に上記指示手段によって撮像の終了を指示することによって、多くの認識候補の中から所望の認識候補を選択することなく最終認識結果が得られる。
【００２７】
そのため、パーソナルコンピュータのトラックポイントのような選択手段がない携帯電話等の小型装置に搭載した場合でも、片手によって最終認識結果の決定を行うことが可能になる。
【００２８】
さらに、上記画像領域特定手段を、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定するようにし、上記画像表示制御手段を、上記指定位置情報を上記表示手段に表示させるようにしている。したがって、ユーザは、上記表示手段に表示された認識対象画像と指定位置情報との位置関係から、上記認識対象画像が正しく上記特定された領域内に在ることを目視することが可能になる。
【００２９】
さらに、上記画像領域特定手段によって特定される領域を枠で規定し、上記画像領域特定手段によって設定される指定位置情報を上記枠内に在る判別線とし、上記認識移行可否判断手段を、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するようにしている。したがって、上記枠内の線状の指定位置情報に基づいて、上記特定される領域を規定する枠内に在る認識対象画像の認識処理への移行が可であることが、正しく判断される。
【００３０】
また、１実施例の画像情報処理装置では、上記認識結果判定手段を、上記認識手段によって認識結果が得られる毎に、上記認識結果蓄積手段に蓄積されている認識結果に基づいて、出現回数が最大である認識結果を上記最適認識候補であると判定するようにしている。
【００３１】
この実施例によれば、同一認識対象画像に関する複数の認識結果に紛れ込んだ手ぶれ等による誤認識結果が的確に排除され、正しい認識結果が上記最適認識候補であると判定される。
【００３２】
また、１実施例の画像情報処理装置では、上記認識手段を,認識の際に認識の信頼度を求めるようにし、上記認識結果蓄積手段には認識結果と共に上記信頼度が蓄積されるようにし、上記認識結果判定手段を,上記認識手段によって認識結果が得られる毎に,上記認識結果蓄積手段に蓄積されている認識結果および上記信頼度に基づいて,最大連続出現回数が所定回数以上であり且つ上記信頼度が所定値以上である認識結果を上記最適認識候補であると判定するようにしている。
【００３３】
この実施例によれば、同一認識対象画像に関する複数の認識結果に紛れ込んだ手ぶれ等による誤認識結果が的確に排除され、正しい認識結果が上記最適認識候補であると判定される。
【００３４】
また、１実施例の画像情報処理装置では、上記画像表示制御手段を、上記認識移行可否判断手段による判断結果が可である場合に、上記認識手段による認識に移行する前に、上記判断結果が可であると判断された撮像画像を所定時間だけ継続して上記表示手段に表示させるようにしている。
【００３５】
この実施例によれば、ユーザは、上記枠内の認識対象画像が認識可能であると判定されて認識処理へ移行するタイミングを、時差なく視覚的に知ることが可能になる。
【００３６】
また、１実施例の画像情報処理装置では、上記表示手段を,縮小された撮像画像を表示する第１の表示領域と原寸の撮像画像を表示する第２の表示領域とに分割された表示画面を有するようにし、上記画像表示制御手段を,上記撮像手段で撮像された画像の縮小画像を上記表示手段における第１の表示領域に表示させる一方,原寸画像を上記第２の表示領域に表示させるようにしている。
【００３７】
この実施例によれば、上記表示手段に上記撮像画像の縮小画像と原寸画像とが表示されるため、上記原寸画像によって、上記撮像画像の細かいチェックが可能になる。
【００３８】
また、１実施例の画像情報処理装置では、上記画像表示制御手段を、上記認識移行可否判断手段による判断結果が可である場合に、上記認識手段による認識に移行する前に、上記判断結果が可であると判断された撮像画像に関する縮小画像および原寸画像の何れか一方のみを所定時間だけ継続して上記表示手段に表示させるようにしている。
【００３９】
この実施例によれば、ユーザは、上記枠内の認識対象画像が認識可能であると判定されて認識処理へ移行するタイミングを、時差なく視覚的に知ることが可能になる。
【００４０】
また、１実施例の画像情報処理装置では、上記撮像手段を、上記認識移行可否判断手段による判断結果が否である場合には次の撮像を行うようにしている。
【００４１】
この実施例によれば、上記認識対象画像が認識できない場合における無意味な認識処理への移行を無くして、認識可能な画像のみの認識が行われる。
【００４２】
また、１実施例の画像情報処理装置では、上記画像領域特定手段を、上記撮像画像における上記認識の対象となる領域を変更可能にしている。
【００４３】
この実施例によれば、上記認識対象画像が文章画像である場合に、撮像画像における認識対象領域が、例えば１行の文字列やそのうちの数文字等に変更することが可能になる。
【００４４】
また、１実施例の画像情報処理装置では、上記認識結果判定手段によって最終的に判定された最適認識候補を最終認識結果として他の装置に送信する送信手段を備えている。
【００４５】
この実施例によれば、上記送信手段によって、最終認識結果を他の装置に送信することが可能になる。
【００４６】
また、この発明の画像情報処理プログラムは、コンピュータを、上記画像情報処理装置における撮像手段,画像領域特定手段,画像表示制御手段,認識移行可否判断手段,認識手段, 認識結果蓄積手段 , 表示手段 ,認識結果判定手段および指示手段として機能させる。
【００４７】
また、この発明のプログラム記録媒体は、上記画像情報処理プログラムが記録されている。
【００４８】
上記各構成によれば、上記画像情報処理装置の場合と同様に、上記撮像画像における認識の対象となる領域のみが認識されるため、認識による処理量が軽減されて認識速度が速くなる。さらに、認識対象とはならない撮像条件の悪い領域に対する無意味な認識が排除されて、上記認識結果蓄積手段の記憶容量が削減される。さらに、上記認識結果蓄積手段に蓄積された認識結果に基づいて最適認識候補が判定されため、同一認識対象画像に関する多数の認識結果を表示する必要がなくなる。したがって、上記撮像画像と認識結果とを同一画面に表示することが可能になる。
【００４９】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。図１は、本実施の形態の画像情報処理装置におけるブロック図である。以下においては、本画像情報処理装置によって文字認識を行う場合を例に説明するが、本画像情報処理装置は、文字認識に限らず、顔認識,指紋認識,物体認識等の認識にも適応できる。
【００５０】
図１において、撮像手段１は、ＣＣＤ(電荷結合素子)カメラ等で構成され、撮影対象物を撮影してデジタル画像データに変換する。表示手段２は、液晶ディスプレイ等で構成され、撮像手段１から送出されてくる画像データを表示する。さらに、ユーザとのインタフェースとして、認識結果を表示したり、操作方法を表示したりする。
【００５１】
メモリ３は、ＲＡＭ(ランダム・アクセス・メモリ)で構成され、ハードディスク(ＨＤＤ)４から転送されてくるプログラム等を一時蓄積する。さらに、認識結果等を一時蓄積する各種のバッファの領域が確保されている。
【００５２】
画像領域特定手段５は、上記撮像手段１から取り込まれたデジタル画像データに基づく画像のある領域を特定し、この特定された画像領域を示す情報を線等のグラフィックイメージで撮像画像と共に表示手段２に表示させてユーザに提示する。この画像領域特定処理は、メモリ３に一時蓄積された描画プログラムに従って実行される。
【００５３】
認識移行可否判断手段６は、上記画像領域特定手段５によって特定された画像領域に対する認識処理の可否を判断する。この判断処理は、メモリ３に一時蓄積された認識移行可否判断用のプログラムに従って実行される。認識手段７は、認識移行可否判断手段６によって認識処理への移行が可能であると判断された画像領域に対して文字認識処理を行なう。この文字認識処理は、メモリ３に一時蓄積された文字認識用のプログラムに従って実行される。尚、認識手段７は、メモリ３に、顔認識,指紋認識または物体認識等用のプログラムを一時蓄積すれば、対応した認識処理を実行することになる。
【００５４】
認識結果判定手段８は、上記メモリ３に確保された上記認識結果蓄積手段としての蓄積バッファ１２の内容(複数の認識結果)と入力バッファ１１の内容(１つの認識結果)とを比較し、この比較結果に応じてメモリ３に確保された最適文字列バッファ１３に最適認識候補を書き込む。そして、最終的に得られた最適認識候補が最終認識結果となるのである。この認識結果判定処理は、メモリ３に一時蓄積された認識結果判定処理用のプログラムに従って実行される。認識結果出力手段９は、メモリ３に確保された最適文字列バッファ１３の内容(最終認識結果の文字列データ)を表示手段２等に出力する。この認識結果出力処理は、メモリ３に一時蓄積された認識結果出力用のプログラムに従って実行される。送信手段１０は、メモリ３に確保された最適文字列バッファ１３の内容を送信する。この送信処理は、メモリ３に一時蓄積された送信処理用のプログラムに従って実行される。
【００５５】
すなわち、上記メモリ３に確保されている入力バッファ１１には、認識手段７によって認識された１つの認識結果が一時蓄積される。また、蓄積バッファ１２には、複数の認識結果が一時蓄積される。また、最適文字列バッファ１３には、認識結果判定手段８によって判定された１つの認識結果(最終認識結果)が一時蓄積されるのである。
【００５６】
さらに、上記メモリ３に確保されている表示用画像蓄積バッファ１４には、表示手段２に表示させるイメージの内容(画像データ)が蓄積される。また、撮像画像蓄積バッファ１５には、撮像手段１によって撮像されたイメージの内容(画像データ)が蓄積される。また、縮小画像蓄積バッファ１６には、撮像手段１によって撮像されたイメージを縮小した内容(画像データ)が蓄積される。また、表示設定情報バッファ１７には、画像領域特定手段５によって特定された画像領域の表示設定情報が蓄積される。尚、この表示設定情報は、表示する線分の座標,長さ,色,太さと、原寸画像の表示位置と、原寸画像の表示可否と、縮小画像の表示位置と、縮小画像の表示可否等である。
【００５７】
そして、上記画像領域特定手段５における画面表示コントローラ１８は、メモリ３に確保された表示設定情報バッファ１７に蓄積されている表示設定情報に基づいて、表示手段２を制御して上記特定された画像領域を示すグラフィックイメージを撮像画像と共に表示させる。
【００５８】
指示手段１９は、撮像の開始や停止を指示するためのボタン等のスイッチである。これは、上記ＣＣＤカメラのシャッタで構成しても良いし、シャッタとは別のスイッチで構成してもよい。その際に、上記スイッチ(シャッタ)を押し続けた場合には撮像を繰り返す設計であっても、押すと撮像を開始して再度押すと撮像を停止する設計であっても構わない。
【００５９】
送信スイッチ２０は、上記送信手段１０に対して送信処理の実行を指示するためのボタン等のスイッチである。
【００６０】
ここで、上記画像領域特定手段５,認識移行可否判断手段６,認識手段７,認識結果判定手段８,認識結果出力手段９および送信手段１０の具体的構成はＣＰＵであり、ＨＤＤ４からメモリ３に転送されて一時格納された専用のプログラムや描画プログラム等のプログラムに従って、指示手段１９や送信スイッチ２０や操作ボタン(図示せず)等の操作によって入力されたユーザからの指示に応じて、撮像手段１,表示手段２およびメモリ３等を制御して夫々の処理を実行する。尚、上記ＣＰＵは、上記画像領域特定手段５,認識移行可否判断手段６,認識手段７,認識結果判定手段８,認識結果出力手段９および送信手段１０による処理以外にも、撮像処理や拡大処理や表示処理や演算処理や判断処理等の種々の処理を実行する。
【００６１】
図２は本画像情報処理装置の外観図である。尚、図２(a)および図２(c)は正面図であり、図２(b)は背面図である。
【００６２】
２１は、上記表示手段２の一例としての小型液晶画面である。また、２２は、撮像手段１の一例としてのカメラ部である。尚、図２(b)ではレンズの外観で代表して示されているが、実際にはＣＣＤやシャッタ機構等をも含んだ構成を有している。また、２３は、撮像の開始・停止を指示する指示手段１９の一例としてのボタンである。
【００６３】
上記カメラ部２２によって撮像された画像が小型液晶画面２１に表示されている。また、上記小型液晶画面２１には、画像領域特定手段５によって特定された画像領域を示す枠２４が、撮像画像と共に表示されている。ユーザは、本画像情報処理装置を上下・左右・前後に動かすことによって、物体２５の認識させたい部分(文字列「ＵＲＬは http://www.a.htm です。」)をカメラ部２２から画像として取り込んで、認識させたい文字列「http://www.a.htm」を小型液晶画面２１の枠２４内に表示させることができるのである。尚、この枠２４は、ユーザが上記画像領域を特定し易いように、図２(c)に示すように、撮像画面２１とは異なる液晶画面２７に上記特定された画像領域と共に表示するようにしても差し支えない。
【００６４】
図３は、上記ＣＰＵの制御の下に実行される文字認識処理動作のフローチャートである。以下、図３に従って文字認識動作を例に本画像情報処理装置の動作を説明する。例えば、指示手段(ボタン２３)１９が操作されると文字認識処理動作がスタートする。
【００６５】
ステップＳ1で、上記メモリ３における最適文字列バッファ１３に最終認識結果が格納されているか否かが判別される。その結果、格納されていればステップＳ2に進む一方、格納されていなければステップＳ3に進む。ステップＳ2で、認識結果出力手段９によって、最適文字列バッファ１３に格納されている文字列が表示手段(小型液晶画面２１)２に表示される。ステップＳ3で、指示手段１９が操作され続けているか否かを判別するによって、撮像を終了するか否かが判別される。その結果、撮像を終了する場合には文字認識処理動作を終了する。一方、撮像を続行する場合にはステップＳ4に進む。
【００６６】
ステップＳ4で、上記撮像手段(カメラ部２２)１からの画像データが取り込まれて、撮像画像蓄積バッファ１５に格納される。さらに、撮像画像データに縮小処理が施されて、縮小画像蓄積バッファ１６に格納される。こうして、撮像処理が実行される。ステップＳ5で、画像領域特定手段５によって、上記操作ボタンの操作によって入力されたユーザからの指示に応じて、縮小画像蓄積バッファ１６に格納された縮小画像に対して上記画像領域特定処理が実行される。そして、特定された画像領域の表示設定情報によって、表示設定情報バッファ１７の内容が更新される。尚、ユーザからの指示が無ければ表示設定情報バッファ１７の格納内容が維持される。ステップＳ6で、画像領域特定手段５の画面表示コントローラ１８によって、後に詳述するように、縮小画像蓄積バッファ１６の内容を表示手段２に表示する画像表示処理が実行される。その際に、表示設定情報バッファ１７に格納されている表示設定情報に基づいて、画像領域を示す枠２４が同時に表示される。
【００６７】
ステップＳ7で、上記認識移行可否判断手段６によって、後に詳述するようにして、画像領域特定手段５によって特定された画像領域に対する認識処理への移行の可否が判別される。その結果、認識移行が可能であればステップＳ8に進む一方、そうでなければ、上記ステップＳ1に戻って上述のステップＳ1〜ステップＳ7の処理が繰り返される。
【００６８】
ステップＳ8で、上記認識手段７によって、文字認識処理が実行されて、認識結果が入力バッファ１１に格納される。ステップＳ9で、認識結果判定手段８によって、後に詳述するようにして、入力バッファ１１に格納された認識結果と蓄積バッファ１２に格納されている複数の認識結果との比較結果に応じて、最適文字列バッファ１３に最適認識候補が書き込まれる。こうして、上記文字認識結果に対する認識結果判定処理が実行される。そうした後、上記ステップＳ1に戻って、最適文字列バッファ１３に格納された最適認識候補の表示に移行する。そして、上記ステップＳ3において、撮像を終了すると判別されると文字認識処理動作を終了するのである。
【００６９】
図４は、図３に示す文字認識処理動作の上記ステップＳ6において、上記表示手段２に表示される撮像画像と上記画像領域を示す枠２４との具体例を示す。ここで、ユーザが認識させたいのは「http://www.a.htm」なる１行の文字列(以下、ターゲット行と言う)である。
【００７０】
図４(a)に示す表示例の場合には、上記ターゲット行が枠２４からはみ出している。このように、画像領域特定手段５によって描画された枠２４に基づいて、被写体が近すぎるとユーザは判断することができる。また、図４(b)に示す表示例の場合には、上記ターゲット行以外の行が枠２４内に入っており、被写体が遠すぎると判断することができる。また、図４(c)に示す表示例の場合には、上記ターゲット行が枠２４の線に平行になっておらず、被写体が傾いていると判断することができるのである。また、図４(d)に示す表示例の場合には、上記設定された画像領域を示す情報として枠２４の中心線２６も表示されている。この場合には、上記ターゲット行が枠２４の中心線２６に接触しておらず、被写体中のターゲット行が特定されていないと判断することができるのである。
【００７１】
こうすることによって、認識処理移行前に、ユーザに認識対象領域(画像領域)を提示することができ、ユーザは、所望するターゲット行が認識対象となっていることを確認することができる。また、ユーザは撮像画像の全体からターゲット行を抽出する必要が無いため、メモリの節約と認識処理の迅速化を図ることができるのである。
【００７２】
図５は、図３に示す文字認識処理動作の上記ステップＳ6において、画面表示コントローラ１８によって実行される上記画像表示処理動作のフローチャートである。上記文字認識処理動作のステップＳ5において、画像領域特定手段５による画像領域特定処理が終了すると画像表示処理動作がスタートする。
【００７３】
ステップＳ11で、上記撮像画像蓄積バッファ１５に撮像手段１から取り込まれた画像データが格納されているか否かが判別される。その結果、格納されている場合にはステップＳ12に進む。一方、格納されていない場合には表示すべき撮像画像が無いので画像表示処理動作を終了して、上記文字認識処理動作のステップＳ7にリターンする。
【００７４】
ステップＳ12で、上記表示設定情報バッファ１７から、予め上記文字認識処理動作のステップＳ5において画像領域特定手段５によって生成された表示設定情報が取得される。ステップＳ13で、上記取得された表示設定情報に基づいて、上記特定された画像領域を示すグラフィックイメージと、縮小画像蓄積バッファ１６から読み出された撮像画像の縮小画像データとが合成されて、表示用画像蓄積バッファ１４に格納される。
【００７５】
ステップＳ14で、上記表示用画像蓄積バッファ１４に格納された画像データに基づいて、表示手段２に枠２４と撮像画像とが表示される。そうした後、画像表示処理動作を終了して、上記文字認識処理動作のステップＳ7にリターンする。
【００７６】
尚、本実施の形態においては、図２に示すような小型の携帯情報機器の場合を想定しており、小型液晶画面２１に原寸大の撮像画像を表示することは困難である。そのために、縮小画像データに基づく縮小撮像画像を表示するようにしている。したがって、表示手段２が原寸大の撮像画像を表示することが可能な表示画面を有している場合には、原寸大の撮像画像を表示しても一向に構わない。
【００７７】
図６は、上記表示設定情報バッファ１７に格納された上記表示設定情報の一例を示す概念図である。図６において、「Lenx」は線分の横の長さ、「Leny」は線分の縦の長さ、「Color」は線分の色、「Th」は線分の太さ、「(lx,ly)」は枠２４の左隅座標、「(sx,sy)」は原寸画像(通常の表示画像(縮小画像)に対しては拡大画像)の表示位置、「(ix,iy)」は縮小画像の表示位置である。また、「(SSwitch)」は原寸撮像画像表示のオン・オフを指定するスイッチであり、このスイッチ(SSwitch)がオフであれば原寸撮像画像表示は行われない。また、「(ISwitch)」は縮小画像表示のオン・オフを指定するスイッチであり、このスイッチ(ISwitch)がオフであれば縮小画像表示は行われないのである。
【００７８】
以下、図３に示す文字認識処理動作の上記ステップＳ7において、認識移行可否判断手段６によって実行される認識移行可否判断処理について説明する。図７は、認識移行可否判断処理動作のフローチャートである。上記文字認識処理動作のステップＳ6において、画像領域特定手段５による画像表示処理が終了すると認識移行可否判断処理動作がスタートする。
【００７９】
ステップＳ21で、上記画面表示コントローラ１８による画像合成結果に基づいて、画像領域特定手段５によって特定された画像領域内の画像データ(枠内画像)が取得される。ステップＳ22で、取得された枠内画像が２値化される。ステップＳ23で、２値化画像から外接矩形が抽出される。ここで、上記外接矩形とは、例えば、図８に示すように、黒画素の連結成分に外接する矩形３１のことである。
【００８０】
ステップＳ24で、図８に示すような線分で表せる指定位置３２に接触する矩形数の全矩形数に対する割合が閾値を越えているか否かが判別される。その結果、閾値を越えている場合には、撮像画像中のターゲット行が特定されるため上記特定されたターゲット行に対する認識移行が可であると判定されて、ステップＳ25に進む。一方、閾値以下である場合には、撮像画像中のターゲット行が特定されないため認識移行が否であると判定されて、ステップＳ26に進む。ここで、指定位置３２は枠２４の中にある線分であり、図４(d)における中心線２６もこの指定位置３２に相当する。この指定位置は線分ではなく他の図形や枠２４内の特定位置で設定してもよい。また、図８のごとくユーザに分るように表示せずに、上記プログラム内に保持していても差し支えない。
【００８１】
ステップＳ25で、上記特定されたターゲット行に対する認識移行が「可」であることを表す情報「ＯＫ」が出力される。そうした後、認識移行可否判断処理動作を終了して、上記文字認識処理動作のステップＳ8にリターンする。ステップＳ26で、上記特定されたターゲット行に対する認識移行が「否」であることを表す情報「ＮＧ」が出力される。そうした後、認識移行可否判断処理動作を終了して、上記文字認識処理動作のステップＳ1にリターンする。
【００８２】
図８は、上記枠２４内に表示されたターゲット行と指定位置３２との関係を示す。以下、図８に従って、上記認識移行可否判断処理動作におけるステップＳ24において行われる指定位置３２に接触する矩形数の割合算出および認識移行の可否判定について説明する。尚、図８においては、指定位置３２を上記判別線の一例としての直線で構成しているが、波線等の他の線で構成しても差し支えない。
【００８３】
図８(a)において、上記枠２４の左上角の座標は(０,０)であり、右下角の座標は(４８０,１００)である。また、指定位置３２は座標(１０,７０)と座標(４７０,７０)を結ぶ線分である。そして、上記可否判定の閾値は「０.１２」であるとする。この閾値が高いほど認識処理への移行の判定基準が厳しくなり、閾値が低いほど容易に認識処理に移行できるようになる。
【００８４】
図８(a)の場合には、全矩形数は１９であり、限定位置３２に接触する矩形数は０である。したがって、指定位置３２に接触する矩形数の全矩形数に対する割合は０(＝０/１９)であり、閾値「０.１２」よりも小さいため認識移行可否判断処理結果として「ＮＧ」が出力される。これに対して、図８(b)の場合には、全矩形数は１６であり、指定位置３２に接触する矩形数は２である。したがって、指定位置３２に接触する矩形数の全矩形数に対する割合は０.１２５(＝２/１６)であり、閾値「０.１２」よりも大きいため認識移行可否判断処理結果として「ＯＫ」を出力するのである。
【００８５】
次に、図３に示す文字認識処理動作の上記ステップＳ9において、上記認識結果判定手段８によって実行される認識結果判定処理について説明する。図９は、認識結果判定処理動作のフローチャートである。上記文字認識処理動作のステップＳ8において、認識手段７による認識処理が終了すると認識結果判定処理動作がスタートする。
【００８６】
ステップＳ31で、上記認識手段７による文字認識結果が取得されて入力バッファ１１に格納される。ステップＳ32で、最適文字列バッファ１３に文字列が格納されているか否かが判別される。その結果、格納されていればステップＳ33に進み、格納されていなければステップＳ39に進む。ステップＳ33で、蓄積バッファ１２に空きがあるか否かが判別される。その結果、空きがあればステップＳ35に進み、空きがなければステップＳ34に進む。
【００８７】
ステップＳ34で、上記蓄積バッファ１２内の古い文字列(認識結果)が削除される。ステップＳ35で、蓄積バッファ１２に入力バッファ１１に格納されている文字認識結果がコピーされる。ステップＳ36で、蓄積バッファ１２内の文字列と入力バッファ１１内の文字列とが比較され、蓄積バッファ１２内に存在する入力バッファ１１内の文字列と同じ文字列と、その文字列の蓄積バッファ１２内での出現回数とが得られる。ステップＳ37で、上記得られた出現回数が最適文字列バッファ１３内に格納されている出現回数より多いか否かが判別される。その結果、最適文字列バッファ１３内の出現回数より多い場合にはステップＳ38に進む。一方、最適文字列バッファ１３内の出現回数以下である場合には、認識結果判定処理動作を終了して、上記文字認識処理動作のステップＳ1にリターンする。
【００８８】
ステップＳ38で、上記ステップＳ36において得られた文字列とその出現回数とで最適文字列バッファ１３の内容が更新される。そうした後、認識結果判定処理動作を終了して、上記文字認識処理動作のステップＳ1にリターンする。ステップＳ39で、最適文字列バッファ１３には初期文字列が無いので、入力バッファ１１の内容がコピーされる。その場合には、出現回数「１」が設定される。そうした後、認識結果判定処理動作を終了して、上記文字認識処理動作のステップＳ1にリターンする。
【００８９】
図１０は、上記入力バッファ１１,蓄積バッファ１２および最適文字列バッファ１３の内容の一例を示す概念図である。但し、図１０(a)は蓄積バッファ１２の内容であり、図１０(b)は最適文字列バッファ１３の内容であり、図１０(c)は入力バッファ１１の内容である。以下、図１０に従って、上記認識結果判定処理動作において行われる蓄積バッファ１２と入力バッファ１１との比較および最適文字列バッファ１３の更新について説明する。
【００９０】
先ず、上記入力バッファ１１の内容(文字列「http://www.a.htm」)と蓄積バッファ１２の内容を比較すると、蓄積バッファ１２内には、入力バッファ１１の文字列「http://www.a.htm」と同じ文字列は「６」回出現する。この出現回数「６」は、最適文字列バッファ１３の内容である文字列「http://www.Ｏ.htm」の出現回数「５」よりも大きい。その場合には、最適文字列バッファ１３の内容を、新たに得られた文字列(つまり、入力バッファ１１の文字列)「http://www.a.htm」とその出現回数「６」とで更新するのである。
【００９１】
この処理を繰り返すことによって、撮像文字列「http://www.a.htm」の誤認識結果である文字列「http://www.Ｏ.htm」や「http://www.o.htm」を排除して、撮影条件の悪い画像に対する無意味な誤認識結果を出力しないようにできる。したがって、全認識結果を表示しきれない不都合やユーザによる認識結果の選択が煩雑になる不都合を解消することができるのである。
【００９２】
次に、上記認識結果判定手段８によって実行される認識結果判定処理の他の例について説明する。図１１は、本例における認識結果判定処理動作のフローチャートである。上記文字認識処理動作のステップＳ8において、認識手段７による認識処理が終了すると本認識結果判定処理動作がスタートする。
【００９３】
ステップＳ41〜ステップＳ45で、図９に示す認識結果判定処理動作における上記ステップＳ31〜ステップＳ35の場合と同様にして、文字認識結果の入力バッファ１１への格納、最適文字列バッファ１３内における文字列存在の判別、蓄積バッファ１２内における空きの判別、蓄積バッファ１２内の古い文字列(認識結果)の削除、蓄積バッファ１２への入力バッファ１１内の文字認識結果のコピーが行われる。但し、本例においては、入力バッファ１１,蓄積バッファ１２および最適文字列バッファ１３に格納される認識結果の文字列には、上記認識処理時に得られる信頼度が付加されている。
【００９４】
ステップＳ46で、上記蓄積バッファ１２内の文字列と入力バッファ１１内の文字列とが比較される。ステップＳ47で、上記比較の結果、入力バッファ１１と同じ文字列の連続認識回数が閾値以上であり、且つ、その文字列の信頼度が所定値以上であるか否かが判別される。その結果、連続認識回数が閾値以上で且つ信頼度が所定値以上である場合にはステップＳ48に進み、そうでなければ認識結果判定処理動作を終了して上記文字認識処理動作のステップＳ1にリターンする。
【００９５】
ステップＳ48およびステップＳ49で、図９に示す認識結果判定処理動作における上記ステップＳ38およびステップＳ39の場合と同様にして、上記比較の対象の文字列(入力バッファ１１の文字列)による最適文字列バッファ１３の更新、最適文字列バッファ１３への入力バッファ１１内容のコピーが行われる。そして、認識結果判定処理動作を終了して、上記文字認識処理動作のステップＳ1にリターンする。
【００９６】
その場合における上記文字列の信頼度は、マッチング辞書との距離値等を用いる。尚、マッチング辞書とは統計的手法によって構築された標準パターンのことであり、文字認識処理の際に入力パターンと比較される。また、上記マッチング辞書のメンバー(標準パターン)と入力パターンとの距離計算方法は、「認識工学」(1993年 コロナ社 鳥脇純一郎著)等に記載されている計算方法を用いればよい。
【００９７】
図１２は、上記入力バッファ１１(図１２(c)),蓄積バッファ１２(図１２(a))および最適文字列バッファ１３(図１２(b))の内容の一例を示す概念図である。入力バッファ１１の内容(文字列「http://www.a.htm」)と蓄積バッファ１２の内容とを比較すると、蓄積バッファ１２内に、入力バッファ１１と同じ文字列「http://www.a.htm」が連続して閾値「３」以上存在する。そして、図１２では明示してはいないが、その文字列「http://www.a.htm」の信頼度は所定値以上であるとする。その場合には、この閾値「３」以上連続して認識された文字列「http://www.a.htm」で、最適文字列バッファ１３の内容を更新するのである。
【００９８】
この処理を繰り返すことによって、撮像文字列「http://www.a.htm」の誤認識結果である文字列「http://www.Ｏ.htm」や「http://www.o.htm」を排除して、撮影条件の悪い画像に対する無意味な誤認識結果を出力しないようにできるのである。
【００９９】
本実施の形態における画像情報処理装置は、撮像手段１から連続して画像を取り込むので、図８(b)に示すようにターゲット行が特定され、本画像情報処理装置が静止され、ピントが合っている場合には、連続して認識手段７から正解認識結果が出力される可能性が高い。また、その際に、手ぶれ等によって一時的に正解認識結果中に誤認識結果が紛れ込んでも、手ぶれによる誤認識は連続して出現することはない。したがって、図１０や図１２で説明したように、手ぶれ等の撮影条件の悪い画像に対する無意味な誤認識結果を振るい落とすことができるのである。
【０１００】
このように、本実施の形態によれば、上記認識結果判定手段８を有することによって、手ぶれに強く、正解文字列を判定し易い画像情報処理装置を構築することができるのである。
【０１０１】
図１３に、本実施の形態の画像情報処理装置における上記表示手段２への表示例を示す。以下、図１３に従って本画像情報処理装置の操作方法について簡単に述べる。
【０１０２】
上記表示手段２には、第１の表示領域２aと第２の表示領域２bとが設けられており、第１の表示領域２aには撮像手段１から取り込まれた画像「ＵＲＬは http://www.a.htm です」および枠２４と指定位置３２が表示され、同時に、第２の表示領域２bには、指定位置３２に接触して特定された文字列の最適認識候補「http://www.a.htm」が表示されている。ユーザは、第２の表示領域２bに所望の認識結果が表示された時点で確定ボタン３６を押圧することによって、最終認識結果を取得することができるのである。尚、確定ボタン３６は、指示手段１９と別体に設けても良いし、指示手段１９と兼ねても良い。後者の場合には、図３の文字認識処理動作に示すように、指示手段１９(つまり確定ボタン３６)を押圧すると撮像を開始し、押し続けている間撮像処理,画像領域特定処理,画像表示処理,認識移行可否判断処理,認識処理および認識結果判定処理を繰り返して逐次最適認識候補を第２の表示領域２bに表示し、所望の認識結果が表示された時点で指示手段１９を離すことによって、最終認識結果が取得されることになる。
【０１０３】
このように、本実施の形態における画像情報処理装置においては、上記表示手段２の第２の表示領域２bに逐次表示される最適認識候補をユーザーが目視判断して撮像の終了を決定することができる。したがって、上記従来の認識装置における複数の認識候補から正解候補を選択する処理と同様の選択処理を行うことができる。しかも、図１３に示すように、画面を切り換えることなく１つの画面で認識処理と認識結果の決定処理とを行うことが可能となっている。したがって、本実施の形態の方法によれば、片手で最終認識結果を決定することができるのである。
【０１０４】
図１４は、上記特許文献３に開示された従来のパーソナルコンピュータにおける表示部への表示例を示す。対象画像表示部３７にはＣＣＤビデオカメラからの取り込み画像が表示され、認識履歴表示部３８には認識結果文字列履歴が表示されている。この場合、ユーザは、認識結果文字列履歴からペン３９やマウス等の指定手段によって所望の文字列を選択して最終認識結果を得る。
【０１０５】
上記認識履歴表示部３８に表示されている認識結果文字列履歴中、４０はノイズを読んだ結果の認識文字列である。また、４１はピントが合っていない場合や画像が傾いている場合等の悪撮影状況下で撮影された結果の認識率の低い認識文字列である。このように、従来の画像情報処理装置での表示においては、認識結果文字列履歴を表示するために大画面でないと実現は不可能なのである。また、ピントが合っていないことや画像が傾いていることは、認識履歴表示部３８に認識結果が表示されるまでは分らないのである。
【０１０６】
図１５は、上記特許文献３に開示された従来のパーソナルコンピュータにおける表示部への表示方法を小型装置に適用した場合における表示例を示す。
【０１０７】
この場合、表示画面４２の面積が狭いので総ての認識結果を表示しきれない。そこで、ユーザは、画像取り込み画面と認識結果表示画面とに切り換えて表示する必要がある。図１５(a)は、画像取り込みおよび文字認識を行なう場合の画像取り込み画面である。また、図１５(b)は、認識結果文字列履歴の中から最適結果を選択決定する場合の認識結果表示画面である。このように、表示画面４２の表示内容を切り換えて、認識結果文字列履歴を表示させ、認識結果文字列履歴の中からカーソル操作等によって所望の結果を選択・決定すると言う煩雑な動作が必要なのである。
【０１０８】
図１６は、上記画像領域特定手段５によって設定され描画された上記画像領域を示す情報の他の例を示す。表示手段２の第１の表示領域２aには、上記画像領域を示す情報としての枠線４３が表示されている。枠線４３で囲まれた面積は図１３における枠２４よりも小さくなっており、広い枠２４と狭い枠線４３に切り換え可能になっている。こうすることによって、長い文字列の１文字だけを認識することが可能になる。あるいは、通常よりも長い文字列を認識することが可能になる。
【０１０９】
尚、上記枠２４と枠線４３との切り換えは、例えば、画像領域特定手段５によって、図６に示す表示設定情報バッファ１７の内容を変更することによって可能である。また、枠２４と枠線４３とに関する表示設定情報バッファ１７の内容設定は、本画像情報処理装置の起動時にモード設定してもよいし、撮像処理開始後にユーザの指定によって設定するようにしてもよい。
【０１１０】
図１７は、上記表示手段２に対する原寸画像(通常の表示画像に対しては拡大画像)の表示例を示す。この場合、表示手段２は、第１の表示領域２aと第２の表示領域２bとに分割されると共に、さらに第１の表示領域２aが縮小表示領域２a1と原寸表示領域２a2とに分割されている。そして、縮小表示領域２a1には縮小画像が枠２４および指定位置３２と共に表示され、原寸表示領域２a2には指定位置３２で特定されたターゲット行の原寸画像が表示され、表示領域２bには最適認識候補が表示されている。図１３に示す表示例では縮小画像と認識結果とを表示するのに対して、図１７に示す表示例では原寸画像も同時に表示して、入力画像の細かいチェックを可能にしているのである。尚、原寸画像の表示は、画像領域特定手段５の画面表示コントローラ１８によって、表示設定情報バッファ１７の原寸画像の表示位置(sx,sy)および原寸撮像画像表示のスイッチ(SSwitch)の内容と、撮像画像蓄積バッファ１５の内容とに基づいて行われる。
【０１１１】
図１８は、本画像情報処理装置が、赤外線通信またはBlootooth等の無線通信によって、パーソナルコンピュータ等の他の情報処理機器４４に最終認識結果を送信している様子を示す。尚、無線通信ではなく、有線通信で送信してもよい。この送信処理は、送信手段１０によって、例えば最終認識結果が確定された後のユーザによる送信スイッチ２０の操作に従って実行される。
【０１１２】
図１９は、本画像情報処理装置における図３とは異なる文字認識処理動作のフローチャートである。尚、本文字認識処理動作を実現する画像情報処理装置の構成は、図１に示す構成と同じである。
【０１１３】
ステップＳ51〜ステップＳ57で、図３に示す文字認識処理動作における上記ステップＳ1〜ステップＳ7の場合と同様にして、最適文字列バッファ１３内における最終認識結果存在の判別、最適文字列バッファ１３の内容の表示、撮像終了か否かの判別、撮像処理の実行、画像領域特定処理の実行、画像表示処理の実行、認識移行の可否判断、認識移行が否の場合の上記ステップＳ51へのリターンが行われる。
【０１１４】
ステップＳ58で、上記認識移行が可能であるので、認識処理へ移行する前に、画像領域特定手段５の画面表示コントローラ１８によって、表示用画像蓄積バッファ１４の内容を表示手段２に所定時間継続して表示する画像表示処理が実行される。つまり、ターゲット行の認識処理が可能であると判断された場合には、再度撮像画像を表示するのである。その場合、一定時間だけ画像の取り込みが中止されることになる。
【０１１５】
ステップＳ59,ステップＳ60で、図３に示す文字認識処理動作における上記ステップＳ8,ステップＳ9の場合と同様にして、文字認識処理の実行、認識結果判定処理の実行が行われる。そうした後、上記ステップＳ51に戻って、最適文字列バッファ１３に格納された最終認識結果の表示に移行する。そして、ステップＳ53において、撮像を終了すると判別されると文字認識処理動作を終了するのである。
【０１１６】
このように、上記認識移行可否判断手段６によって上記特定された画像領域に対する認識処理への移行が可能であると判断された場合には、認識処理へ移行する前に再度撮像画像を表示することによって、認識移行可否判断処理によって認識移行が可能と判定されたことを視覚的にユーザに通知することができるのである。
【０１１７】
その場合、例えば、画像を白黒にしたり、彩度を変化させたり、画像領域を示す枠２４を点滅させたりして、画質を変化させることによって、ユーザに２度目の表示であることを一目で分るようにすることも可能である。
【０１１８】
尚、上述の場合には、上記ステップＳ58において再度撮像画像を表示するに際して、全画像を再度表示するようにしている。しかしながら、この発明はこれに限定されるものではない。例えば、表示手段２の第１の表示領域２aにおける縮小表示領域２a1に縮小画像を表示すると共に、原寸表示領域２a2に原寸画像を表示する場合において、上記ステップＳ58において原寸画像のみを所定時間継続して表示する一方、縮小画像に関しては上記ステップＳ58をスキップして、逐次撮像画像を表示するようにしても差し支えない。
【０１１９】
また、この発明は、上記実施の形態における上記画像領域特定手段５,認識移行可否判断手段６,認識手段７,認識結果判定手段８,認識結果出力手段９および送信手段１０の総てを備えている必要はない。例えば、認識結果判定手段８や送信手段１０が無い場合でも、枠２４内の認識対象領域のみを認識することによって、認識処理量を軽減して認識速度を速くし、無意味な認識を排除して蓄積バッファ１２の記憶容量を削減すると言う従来に無い効果を奏することができるのである。
【０１２０】
ところで、上記実施の形態における画像領域特定手段５,認識移行可否判断手段６,認識手段７,認識結果判定手段８,認識結果出力手段９および送信手段１０としての機能は、プログラム記録媒体に記録された画像情報処理プログラムによって実現される。上記実施の形態における上記プログラム記録媒体は、ＲＡＭでなるメモリ３とは別体に設けられたＨＤＤ４としてのＲＯＭ(リード・オンリ・メモリ)でなるプログラムメディアである。あるいは、外部補助記憶装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから画像情報処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、上記メモリ３に設けられたプログラム記憶エリア(図示せず)にダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアからメモリ３の上記プログラム記憶エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。
【０１２１】
ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フロッピーディスク,ハードディスク等の磁気ディスクやＣＤ(コンパクトディスク)‐ＲＯＭ,ＭＯ(光磁気)ディスク,ＭＤ(ミニディスク),ＤＶＤ(ディジタル多用途ディスク)等の光ディスクのディスク系、ＩＣ(集積回路)カードや光カード等のカード系、マスクＲＯＭ,ＥＰＲＯＭ（紫外線消去型ＲＯＭ),ＥＥＰＲＯＭ(電気的消去型ＲＯＭ),フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。
【０１２２】
また、上記実施の形態における画像情報処理装置は、インターネットを含む通信ネットワークと通信Ｉ/Ｆを介して接続可能な構成を有している場合には、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
【０１２３】
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。
【０１２４】
【発明の効果】
以上より明らかなように、この発明の画像情報処理装置は、画像領域特定手段によって撮像画像における認識の対象となる領域を特定し、この特定された領域内の画像に対する認識処理への移行の可否を認識移行可否判断手段によって判断し、認識手段は、上記認識移行可否判断手段による判断結果が可である場合に上記領域内の画像を認識するので、上記撮像画像の認識対象領域のみを認識すればよく、認識による処理量を軽減して認識速度を速くすることができる。また、認識対象とはならない領域(撮影条件の悪い場合が多い)に対する無意味な認識を排除することでき、認識結果蓄積手段の記憶容量を削減することができる。
【０１２５】
さらに、上記画像領域特定手段によって特定された領域を示す情報を画像表示制御手段によって表示手段に表示させるので、ユーザは、表示される撮像画像および上記情報を見ながら本画像情報処理装置を上下左右前後に移動させて、被写体の認識対象領域を的確に上記領域内に入れることができる。したがって、精度の高い認識を行うことができる。
【０１２６】
さらに、上記画像領域特定手段は、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定し、上記画像表示制御手段は、上記指定位置情報を上記表示手段に表示させるので、ユーザは、上記表示手段に表示された認識対象画像と指定位置情報との位置関係から、上記認識対象画像が正しく上記特定された領域内に在ることを目視することが可能になる。
【０１２７】
さらに、上記画像領域特定手段によって特定される領域を枠で規定し、上記画像領域特定手段によって設定される指定位置情報を上記枠内に在る判別線とし、上記認識移行可否判断手段は、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するので、上記枠内の線状の指定位置情報に基づいて、上記特定される領域を規定する枠内に在る認識対象画像の認識処理への移行が可であることを、正しく判断することができる。
【０１２８】
また、この発明の画像情報処理装置は、画像領域特定手段によって撮像画像における認識の対象となる領域を特定し、この特定された領域内の画像に対する認識処理への移行の可否を認識移行可否判断手段によって判断し、認識手段は、上記認識移行可否判断手段による判断結果が可である場合に上記領域内の画像を認識するので、認識による処理量を軽減して認識速度を速くできる。また、無意味な認識を排除して認識結果蓄積手段の記憶容量を削減できる。
【０１２９】
さらに、認識結果判定手段によって、上記認識結果蓄積手段に蓄積された２以上の認識結果に基づいて最適認識候補を判定するので、表示手段に、同一認識対象画像に関する多数の認識結果を表示させる必要がない。そのために、上記撮像画像と最適認識候補とを同一画面に表示することができる。
【０１３０】
すなわち、この発明によれば、携帯電話のような小型装置において、認識対象領域をユーザーに提示しながら認識処理を行なうことができるのである。
【０１３１】
さらに、指示手段によって撮像の開始が指示されてから撮像の終了が指示されるまで、撮像手段,画像領域特定手段,認識移行可否判断手段,画像表示制御手段,認識手段および認識結果判定手段による処理を繰り返して行うので、ユーザは、逐次得られる最適認識候補を上記表示手段等によって監視し、所望の認識候補が得られた場合に上記指示手段で撮像の終了を指示することによって、表示された多数の認識候補の中から所望の認識候補を選択することなく最終認識結果を得ることができる。したがって、片手によって最終認識結果の決定を行うことができる。
【０１３２】
さらに、上記画像領域特定手段は、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定し、上記画像表示制御手段は、上記指定位置情報を上記表示手段に表示させるので、ユーザは、上記表示手段に表示された認識対象画像と指定位置情報との位置関係から、上記認識対象画像が正しく上記特定された領域内に在ることを目視することが可能になる。
【０１３３】
さらに、上記画像領域特定手段によって特定される領域を枠で規定し、上記画像領域特定手段によって設定される指定位置情報を上記枠内に在る判別線とし、上記認識移行可否判断手段は、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するので、上記枠内の線状の指定位置情報に基づいて、上記特定される領域を規定する枠内に在る認識対象画像の認識処理への移行が可であることを、正しく判断することができる。
【０１３４】
また、上記画像表示制御手段によって、上記認識移行可否判断手段による判断結果が可である場合に、上記認識手段による認識に移行する前に、上記判断結果が可であると判断された撮像画像を所定時間だけ継続して上記表示手段に表示させるようにすれば、ユーザは、上記枠内の認識対象画像に対する認識処理への移行のタイミングを、時差なく視覚的に知ることができる。
【０１３５】
また、この発明の画像情報処理プログラムは、コンピュータを、上記画像情報処理装置における撮像手段,画像領域特定手段,画像表示制御手段,認識移行可否判断手段,認識手段, 認識結果蓄積手段 , 表示手段 ,認識結果判定手段および指示手段として機能させるので、上記画像情報処理装置の場合と同様に、認識の処理量を軽減して認識速度を速くすることができる。さらに、認識対象ではない領域に対する無意味な認識を排除して認識結果蓄積手段の記憶容量を削減することができる。さらに、同一認識対象画像に関する多数の認識結果を表示する必要がなく、撮像画像と認識結果とを同一画面に表示することができる。
【０１３６】
また、この発明のプログラム記録媒体は、上記画像情報処理プログラムが記録されているので、コンピュータで読み出して実行することによって、上記画像情報処理装置の場合と同様に、認識の処理量を軽減して認識速度を速くすることができる。さらに、認識対象ではない領域に対する無意味な認識を排除して認識結果蓄積手段の記憶容量を削減することができる。さらに、同一認識対象画像に関する多数の認識結果を表示する必要がなく、撮像画像と認識結果とを同一画面に表示することができる。
【図面の簡単な説明】
【図１】 この発明の画像情報処理装置におけるブロック図である。
【図２】 図１に示す画像情報処理装置の外観図である。
【図３】 図１に示す画像情報処理装置による文字認識処理動作のフローチャートである。
【図４】 図１における表示手段に表示される撮像画像と枠との具体例を示す図である。
【図５】 図３に示す文字認識処理動作中において実行される画像表示処理動作のフローチャートである。
【図６】 図１における表示設定情報バッファに格納された表示設定情報の一例を示す概念図である。
【図７】 図３に示す文字認識処理動作中において実行される認識移行可否判断処理動作のフローチャートである。
【図８】 枠内に表示されたターゲット行と指定位置との関係を示す図である。
【図９】 図３に示す文字認識処理動作中において実行される認識結果判定処理動作のフローチャートである。
【図１０】 図９に示す認識結果判定処理動作中における入力バッファ,蓄積バッファおよび最適文字列バッファの内容の一例を示す概念図である。
【図１１】 図９とはことなる認識結果判定処理動作のフローチャートである。
【図１２】 図１１に示す認識結果判定処理動作中における入力バッファ,蓄積バッファおよび最適文字列バッファの内容の一例を示す概念図である。
【図１３】 図１における表示手段への表示例を示す図である。
【図１４】 従来のパーソナルコンピュータにおける表示部への表示例を示す図である。
【図１５】 従来のパーソナルコンピュータにおける表示部への表示方法を小型装置に適用した場合における表示例を示す図である。
【図１６】 画像領域を示す情報の他の例を示す図である。
【図１７】 図１における表示手段に対する拡大画像の表示例を示す図である。
【図１８】 図１に示す画像情報処理装置が他の情報処理機器に最終認識結果を送信している様子を示す図である。
【図１９】 図３とは異なる文字認識処理動作のフローチャートである。
【符号の説明】
１…撮像手段、
２…表示手段、
３…メモリ、
４…ＨＤＤ、
５…画像領域特定手段、
６…認識移行可否判断手段、
７…認識手段、
８…認識結果判定手段、
９…認識結果出力手段、
１０…送信手段、
１１…入力バッファ、
１２…蓄積バッファ、
１３…最適文字列バッファ、
１４…表示用画像蓄積バッファ、
１５…撮像画像蓄積バッファ、
１６…縮小画像蓄積バッファ、
１７…表示設定情報バッファ、
１８…画面表示コントローラ、
１９…指示手段、
２０…送信スイッチ、
２４…枠、
３２…指定位置、
３６…確定ボタン。

Claims (12)

1. 被写体を撮像する撮像手段と、
   上記撮像手段によって撮像された画像を認識する認識手段と、
   上記認識手段による認識結果が撮像期間中２以上蓄積される認識結果蓄積手段と、
   上記画像を含む表示情報を表示する表示手段と、
   上記撮像手段によって撮像された画像における上記認識手段による認識の対象となる領域を特定する画像領域特定手段と、
   上記画像領域特定手段によって特定された領域を示す情報を、上記表示手段に表示させる画像表示制御手段と、
   上記画像領域特定手段で特定された領域内の画像に対する上記認識手段による認識処理への移行が可能であるか否かを判断する認識移行可否判断手段
   を備えて、
   上記認識手段は、上記認識移行可否判断手段による判断結果が可である場合に上記領域内の画像を認識するようになっており、
   上記画像領域特定手段は、認識対象画像が上記特定された領域内に在ることを特定するための指定位置情報を上記領域の中に設定するようになっており、
   上記画像表示制御手段は、上記指定位置情報を上記表示手段に表示させるようになっている
   画像情報処理装置において、
   上記画像領域特定手段によって特定される領域は枠で規定されており、
   上記画像領域特定手段によって設定される指定位置情報は上記枠内に在る判別線であり、
   上記認識移行可否判断手段は、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するようになっている
   ことを特徴とする画像情報処理装置。
2. 被写体を撮像する撮像手段と、
   上記撮像手段によって撮像された画像を認識する認識手段と、
   上記認識手段による認識結果が撮像期間中２以上蓄積される認識結果蓄積手段と、
   上記認識結果蓄積手段に蓄積された認識結果に基づいて最適認識候補を判定する認識結果判定手段と、
   上記画像を含む表示情報を表示する表示手段と、
   上記撮像手段によって撮像された画像における上記認識手段による認識の対象となる領域を特定する画像領域特定手段と、
   上記画像領域特定手段で特定された領域内の画像に対する上記認識手段による認識処理への移行が可能であるか否かを判断する認識移行可否判断手段
   を備えて、
   上記認識手段は、上記認識移行可否判断手段による判断結果が可である場合に上記領域内の画像を認識するようになっており、
   ユーザによって操作されて、上記撮像手段による撮像の開始および終了を指示する指示手段を備えて、
   上記画像領域特定手段は、上記特定された領域を示す情報を上記表示手段に表示させる画像表示制御手段を有し、
   上記撮像手段 , 画像領域特定手段 , 認識移行可否判断手段 , 画像表示制御手段 , 認識手段および認識結果判定手段は、上記指示手段によって撮像の開始が指示されてから撮像の終了が指示されるまで繰り返して動作するようになっており、
   上記画像領域特定手段は、認識対象画像が上記特定された領域内に在ることを特定する ための指定位置情報を上記領域の中に設定するようになっており、
   上記画像表示制御手段は、上記指定位置情報を上記表示手段に表示させるようになっている
   画像情報処理装置において、
   上記画像領域特定手段によって特定される領域は枠で規定されており、
   上記画像領域特定手段によって設定される指定位置情報は上記枠内に在る判別線であり、
   上記認識移行可否判断手段は、上記枠内の画像における黒画素の連結を取り囲む領域が上記判別線に掛る数の度合に基づいて、上記枠内の画像に対する認識への移行の可否を判断するようになっている
   ことを特徴とする画像情報処理装置。
3. 請求項２に記載の画像情報処理装置において、
   上記認識結果判定手段は、
   上記認識手段によって認識結果が得られる毎に、上記認識結果蓄積手段に蓄積されている認識結果に基づいて、出現回数が最大である認識結果を上記最適認識候補であると判定する
   ようになっていることを特徴とする画像情報処理装置。
4. 請求項２に記載の画像情報処理装置において、
   上記認識手段は、認識の際に認識の信頼度を求めるようになっており、
   上記認識結果蓄積手段には、認識結果と共に上記信頼度が蓄積されるようになっており、
   上記認識結果判定手段は、上記認識手段によって認識結果が得られる毎に、上記認識結果蓄積手段に蓄積されている認識結果および上記信頼度に基づいて、最大連続出現回数が所定回数以上であり且つ上記信頼度が所定値以上である認識結果を上記最適認識候補であると判定するようになっている
   ことを特徴とする画像情報処理装置。
5. 請求項１あるいは請求項２に記載の画像情報処理装置において、
   上記画像表示制御手段は、
   上記認識移行可否判断手段による判断結果が可である場合に、上記認識手段による認識に移行する前に、上記判断結果が可であると判断された撮像画像を所定時間だけ継続して上記表示手段に表示させるようになっている
   ことを特徴とする画像情報処理装置。
6. 請求項１あるいは請求項２に記載の画像情報処理装置において、
   上記表示手段は、縮小された撮像画像を表示する第１の表示領域と原寸の撮像画像を表示する第２の表示領域とに分割された表示画面を有しており、
   上記画像表示制御手段は、上記撮像手段で撮像された画像の縮小画像を上記表示手段における第１の表示領域に表示させる一方、原寸画像を上記第２の表示領域に表示させるようになっている
   ことを特徴とする画像情報処理装置。
7. 請求項６に記載の画像情報処理装置において、
   上記画像表示制御手段は、
   上記認識移行可否判断手段による判断結果が可である場合に、上記認識手段による認識に移行する前に、上記判断結果が可であると判断された撮像画像に関する縮小画像および原寸画像の何れか一方のみを所定時間だけ継続して上記表示手段に表示させるようになっている
   ことを特徴とする画像情報処理装置。
8. 請求項１あるいは請求項２に記載の画像情報処理装置において、
   上記撮像手段は、上記認識移行可否判断手段による判断結果が否である場合に次の撮像を行うようになっていることを特徴とする画像情報処理装置。
9. 請求項１あるいは請求項２に記載の画像情報処理装置において、
   上記画像領域特定手段は、上記撮像画像における上記認識の対象となる領域を変更可能になっていることを特徴とする画像情報処理装置。
10. 請求項２に記載の画像情報処理装置において、
    上記認識結果判定手段によって最終的に判定された最適認識候補を最終認識結果として他の装置に送信する送信手段を備えたことを特徴とする画像情報処理装置。
11. コンピュータを、
    請求項２における撮像手段, 画像領域特定手段 , 画像表示制御手段 ,認識移行可否判断手段, 認識手段 , 認識結果蓄積手段 , 表示手段 , 認識結果判定手段および指示手段
    として機能させることを特徴とする画像情報処理プログラム。
12. 請求項１１に記載の画像情報処理プログラムが記録されたことを特徴とするコンピュータ読出し可能なプログラム記録媒体。

Images