JP2020173494A

JP2020173494A - 手書き文字認識装置および手書き文字認識方法

Info

Publication number: JP2020173494A
Application number: JP2019073312A
Authority: JP
Inventors: 正信平峰; Masanobu Hiramine
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-04-08
Filing date: 2019-04-08
Publication date: 2020-10-22
Anticipated expiration: 2039-04-08
Also published as: JP6698908B1

Abstract

【課題】入力者が自然で容易な文字入力を行うことが可能な手書き文字認識装置を得ること。【解決手段】既知の座標位置に描画された複数のマーカーを有する文字入力補助パネルと、赤外線を発光する発光部、反射された赤外線を受光する複数のセンサを有した受光部、複数のセンサから形成される画素に対応する距離で構成された距離画像を生成する距離画像取得部および距離画像の各画素に輝度を割り当てた輝度画像を生成する輝度画像取得部を備えた撮像部と、複数のマーカーまでの距離と座標位置とから平面座標系を計算する平面座標計算部、被写体と文字入力補助パネルとの接触を判定する接触判定部および接触時の被写体の軌跡を筆跡パターンとして記憶する筆跡記憶部を備えた筆跡取得部と、文字の形状を格納する文字パターン記憶部および筆跡パターンと文字パターンを照合して最も近い文字パターンの文字を出力する文字パターン照合部を備えた文字判定部を設けた。【選択図】図１

Description

本願は、手書き文字認識装置および手書き文字認識方法に関するものである。

近年、特定のパターンもしくは文字等の入力を利用する電子機器が増加している。カーナビゲーションシステムでは目的地の設定入力、インターネットの検索システムではキーワード入力、ゲーム機器ではジェスチャー入力などがある。これらの入力の多くには、機器構成において複雑な入力装置もしくは入力コントローラが必要とされる。そのため、カメラ等の撮像デバイスを用いた空間における手、指のジェスチャーを直接取り込む入力装置が提案されている。

手、指のジェスチャーを取り込むユーザインタフェース装置としては、撮像デバイスが手もしくは指の動きを軌跡として連続的に抽出し、個々の文字を連続するストロークのパターンとして認識する装置が提案されている。連続的なストロークを抽出するため、本装置で不連続なストロークで構成されるパターンを正確に認識するためには、撮像された軌跡からパターンを構成するストロークを分離して認識することが必要となる。

また、空間における手書き入力を取得する他の装置として、入力者は、文字を構成するセグメントに対しては往復書きを行うこととし、この往復書きされたストロークのみ文字を構成するパターンとして抽出する装置が提案されている。また、空間領域内における文字入力のための他の方法として、入力オブジェクトの移動軌跡の記録は予め指定された空間領域内に手もしくは指等の入力オブジェクトがある場合に記録され、この空間領域を撮像デバイスからの最小距離と最大距離で指定する方法が開示されている（例えば、特許文献１参照）。新しい文字入力の開始はこの空間領域に入ったことを検出した時点とし、文字入力終了は空間領域から外に出た時点としている。領域を表す最小距離、最長距離は、入力オブジェクトの静止状態を検出した時点の距離、あるいは特定のジェスチャーを検出した時点の距離に基づいて算出される。

特表２０１６−５２５２３５号公報

個々の文字を連続するストロークのパターンとして認識する装置においては、連続するパターンまたは一筆書きが可能な文字については、良好な認識結果を得ることができる。しかしながら、複数の不連続なセグメントからなる文字のようなパターンについては、不連続部分を識別する方法がないため文字の認識率の低下が避けられないという課題があった。

往復書きされたストロークのみ、文字を構成するパターンとして抽出する装置においては、文字を構成するセグメントに対しては往復するストロークとして入力することで、不連続なセグメントで構成される文字パターンを識別できる。しかしながら、入力者に対して往復書きを要求することは、利便性が大きく低下するという課題があった。

上記特許文献１においては、手もしくは指等の入力オブジェクトが距離センサから一定距離の空間にある場合のストロークを、文字を構成するセグメントとして認識するため、往復書きの必要はない。しかしながら、一定距離の空間はストローク前の入力者による一定のジェスチャー位置によって定めるものであるため、入力者はストローク毎に文字入力可能な空間への入力オブジェクトの出し入れを考慮しながら文字入力する必要があるが、入力感覚のない環境において空間イメージを捉えることは容易ではなく意図した文字パターンの入力が難しいという課題があった。

本願は前記のような課題を解決するためになされたものであり、文字の認識率を低下させずに、入力者が自然で容易な文字入力を行うことが可能な手書き文字認識装置および手書き文字認識方法を得ることを目的としている。

本願に開示される手書き文字認識装置は、既知の座標位置に描画された複数のマーカーを有する文字入力補助パネルと、被写体に向けて赤外線を発光する発光部、被写体で反射された赤外線を受光する複数のセンサを有した受光部、複数のセンサから形成される画素に対応して発光部から被写体までの距離で構成された距離画像を、赤外線の発光から受光までの伝搬時間から生成する距離画像取得部、および距離画像の各画素の距離に応じた輝度を各画素に割り当てた輝度画像を生成する輝度画像取得部を備えた撮像部と、距離画像から得られた複数のマーカーまでの距離と座標位置とから、文字入力補助パネルの撮像部に対する平面座標系を計算する平面座標計算部、被写体のうち手書き文字を入力する入力部位を輝度画像から認識し、入力部位と文字入力補助パネルとの接触を判定する接触判定部、および接触判定部の接触の判定に基づいて入力部位と文字入力補助パネルとが接触している時の入力部位の軌跡を取得し、軌跡に基づいて筆跡パターンとして確定し、筆跡パターンを記憶する筆跡記憶部を備えた筆跡取得部と、文字の形状を文字パターンとして格納する文字パターン記憶部、および筆跡パターンと文字パターンとを照合して最も近い文字パターンの文字を出力する文字パターン照合部を備えた文字判定部とを設けたものである。

本願に開示される手書き文字認識装置および手書き文字認識方法によれば、文字の認識率を低下させずに、入力者は自然で容易な文字入力を行うことができる。

実施の形態１に係る手書き文字認識装置の構成概要を示すブロック図である。実施の形態１に係る手書き文字認識装置の文字入力補助パネルの概要を示す模式図である。実施の形態１に係る手書き文字認識装置の撮像部における被写体までの距離の計算を説明する図である。実施の形態１に係る手書き文字認識装置の輝度画像取得部における輝度の割り当てを表すグラフの例を示す図である。実施の形態１に係る手書き文字認識装置における輝度画像の例を示す図である。実施の形態１に係る手書き文字認識装置の平面座標計算部における平面座標系の計算について説明する図である。実施の形態１に係る手書き文字認識装置の接触判定部における接触判定を説明する図である。実施の形態１に係る手書き文字認識装置の接触判定部における接触判定の様子の例を説明する図である。実施の形態１に係る手書き文字認識装置の接触判定部における接触判定の様子の別の例を説明する図である。実施の形態１に係る手書き文字認識装置における平面パネル部の別の例を示す図である。実施の形態１に係る手書き文字認識装置の筆跡記憶部が取得する筆跡パターンの例を示す図である。実施の形態１に係る手書き文字認識装置の文字入力補助パネルの概要を示す別の模式図である。実施の形態１に係る手書き文字認識装置の手書き文字の入力開始から入力終了までの処理フローを示す図である。実施の形態１に係る手書き文字認識装置の筆跡取得部における接触判定の処理フローを示す図である。実施の形態２に係る手書き文字認識装置の筆跡記憶部が補正する筆跡パターンの例を示す図である。実施の形態２に係る手書き文字認識装置の手書き文字の入力開始から入力終了までの処理フローを示す図である。

以下、本願の実施の形態による手書き文字認識装置および手書き文字認識方法を図に基づいて説明する。各図において同一、または相当部材、部位については同一符号を付して説明する。

実施の形態１．
図１は実施の形態１に係る手書き文字認識装置１００の構成概要を示すブロック図、図２は手書き文字認識装置１００の文字入力補助パネル２の概要を示す模式図である。手書き文字認識装置１００は、装置本体１０１と文字入力補助パネル２とを備える。装置本体１０１は、撮像部１と筆跡取得部３と文字判定部４とを備える。文字入力補助パネル２は、撮像部１に向けて、例えば入力者が保持する。手書き文字認識装置１００は、被写体として手書き文字を入力する入力部位を含む入力者の一部を発光部１０と受光部１１を備えた撮像部１で撮像し、文字入力補助パネル２に入力部位が描いた手書き文字の軌跡である筆跡パターンを認識し、入力者の描いた文字を照合して出力する装置である。

手書き文字認識装置１００を構成する各部について説明する。文字入力補助パネル２は、図２に示すように、既知の座標位置に描画された複数のマーカー２０を備え、装置本体１０１に対して手書き文字の入力を補助する機能を備える。文字入力補助パネル２は、例えば樹脂材料で作製された長方形の透明な平板である。文字入力補助パネル２は例えば入力者が撮像部１と対向するように片手で持って使用するが、設置治具で支持して固定してもよい。文字入力補助パネル２は、入力者が文字を描く際に撓まないように数ｍｍから１０ｍｍ程度の厚みを有する。複数のマーカー２０は相互に重ならない位置で文字入力補助パネル２の既知の座標に描画される。図２では、文字入力補助パネル２の四隅に星形のマーカー２０ａからマーカー２０ｄが描画されている。星形は文字を入力する入力部位と容易に識別可能な図形なためここでは星形を用いたが、識別可能であれば他の図形でも構わない。マーカー２０の個数はこれに限るものではなく、文字入力補助パネル２の位置を決定するために少なくとも３個あればよい。入力者の文字入力補助パネル２の持ち方によってはマーカー２０の１つが入力者の手で隠れることがあるため、ここでは４個のマーカー２０を設けている。入力部位が入力者の指先である場合、入力者は文字入力補助パネル２に指先を接触させて文字を書くことができるため、入力者は装置本体１０１に自然で容易な文字入力を行うことができる。

撮像部１は、図１に示すように、発光部１０、受光部１１、距離画像取得部１２および輝度画像取得部１３を備え、発光部１０と受光部１１で被写体を撮像し、距離画像取得部１２と輝度画像取得部１３がそれぞれ距離画像と輝度画像を生成する機能を有する。被写体は入力部位を含む入力者の一部（図示せず）およびマーカー２０である。発光部１０は、被写体に向けて赤外線１０ａを発光する、例えばＬＥＤである。赤外線１０ａを利用することで、可視光の反射を撮像する受光部では撮像が困難な夜間、および明暗の変化が激しい環境においても安定して被写体を撮像することができる。さらに、赤外線１０ａを連続光ではなく予め定めた時間間隔で発光させることにより、外乱光から確実に識別できる。受光部１１は、被写体で反射された赤外線１０ｂを受光する微小な距離センサを平面上に敷き詰めて備える。各距離センサから画素が形成される。赤外線１０ａの光の波の位相は、伝搬時間に比例して進む。距離センサは、発光部１０が発光する赤外線１０ａの位相と距離センサが受光する反射された赤外線１０ｂの位相の差を電気信号に変換し、各画素において伝搬時間を取得する。距離画像取得部１２は、各画素に対応して受光部１１から被写体までの距離で構成された距離画像を赤外線１０ａの発光から受光までの伝搬時間から生成する。距離は受光部１１が取得する各画素の伝搬時間と光速の値とから往復距離を求め、往復距離を２で割ることで算出される。輝度画像取得部１３は、距離画像の各画素の距離に応じた輝度を各画素に割り当てた輝度画像を生成する。輝度画像を画像解析することにより、被写体の形状が認識され、入力部位が認識される。

筆跡取得部３は、平面座標計算部３０、接触判定部３１および筆跡記憶部３２を備え、入力部位が描いた手書き文字を筆跡パターンとして記憶する機能を有する。平面座標計算部３０は、距離画像から得られた各マーカー２０までの距離と各マーカー２０の座標位置とから、文字入力補助パネル２の撮像部１に対する平面座標系を計算する。接触判定部３１は、被写体のうち手書き文字を入力する入力部位を輝度画像から認識し、入力部位と文字入力補助パネル２との接触を判定する。入力部位は、例えば入力者の指先である。筆跡記憶部３２は、接触判定部３１の接触の判定に基づいて入力部位と文字入力補助パネル２とが接触している時の入力部位の軌跡を取得し、軌跡に基づいて筆跡パターンとして確定し、この筆跡パターンを記憶する。

文字判定部４は、文字パターン照合部４０および文字パターン記憶部４１を備え、筆跡パターンから文字を判定して出力する機能を有する。文字パターン記憶部４１は、文字の形状を文字パターンとして格納する。文字パターン照合部４０は、筆跡パターンと文字パターンとを照合して最も近い文字パターンの文字を出力する。

手書き文字認識装置１００を構成する各部の動作の詳細について説明する。まず、受光部１１から被写体までの距離の計算について説明する。図３は、実施の形態１に係る手書き文字認識装置１００の撮像部１における被写体までの距離の計算を説明する図である。被写体をマーカー２０として説明する。文字入力補助パネル２には、４つのマーカー２０ａ〜マーカー２０ｄが描画されている。発光部１０から赤外線１０ａが照射され、受光部１１はマーカー２０ａ〜２０ｄで反射された赤外線１０ｂを受光する。撮像部１は生成された輝度画像からマーカー２０の形状を認識し、マーカー２０の位置を抽出する。図３ではマーカー２０の形状を星形としているが、例えば、マーカー２０の中心点をマーカーの位置とする。マーカー２０ａの位置に対応する距離画像の画素値が、受光部１１からマーカー２０ａまでの距離Ｄａを表すものである。なお、距離Ｄａは、赤外線１０ａが照射された時刻とマーカー２０ａの位置で反射された赤外線１０ｂが受光部１１で受光された時刻の時間差から算出される。同様に、他のマーカー２０ｂ〜マーカー２０ｄまでの距離Ｄｂ〜距離Ｄｄも算出される。

輝度画像を生成する際の輝度の各画素への割り当てについて説明する。図４は、実施の形態１に係る手書き文字認識装置１００の輝度画像取得部１３における輝度の割り当てを表すグラフの例を示す図である。ここでは図４（ａ）と図４（ｂ）の２つの例を示す。図４（ａ）の場合、距離が近いほど明るい輝度が割り当てられ、グレースケールの輝度画像が生成される。図４（ｂ）の場合、一定の距離の間にある被写体のみを明るくし、その他は暗くする２値化した輝度画像が生成される。図５は、図４（ｂ）を利用した際の輝度画像の例を示す図である。図５は、被写体として入力者の手の部分が２値化され抽出された例であり、入力者の手が認識される。さらに画像解析を行うことで、入力部位である入力者の指先が認識される。

文字入力補助パネル２の撮像部１に対する距離、傾き、回転などの位置関係を表す平面座標系の計算について説明する。図６は、実施の形態１に係る手書き文字認識装置１００の平面座標計算部３０における平面座標系の計算について説明する図である。文字入力補助パネル２には、マーカー２０ａ〜２０ｄが文字入力補助パネル２の既知の座標に描画されている。距離画像取得部１２は、撮像された文字入力補助パネル２の撮像方向を法線とする距離画像５を生成する。平面座標計算部３０は、距離画像５から少なくとも３つのマーカー２０の距離を取得することで、文字入力補助パネル２の平面座標系を計算する。文字入力補助パネル２の平面座標系により、距離画像５の任意の点Ｐ１’に対応する文字入力補助パネル２上の位置Ｐ１についての受光部１１から位置Ｐ１までの距離が計算できる。なお、文字入力補助パネル２の位置が変更された場合および入力者の指先の位置を認識する都度、平面座標系を再計算して平面座標系を更新することで、文字入力補助パネル２上の任意の点Ｐ１までの距離を正確に計算することが可能となる。

接触判定部３１における入力者の指先と文字入力補助パネル２との接触の判定について説明する。接触判定部３１は、受光部１１から入力者の指先までの距離と、受光部１１から入力者の指先が指し示す文字入力補助パネル２までの距離との差が予め定めた閾値以下にある場合、入力者の指先と文字入力補助パネル２とが接触していると判定する。以下、図７を用いて判定の詳細を説明する。図７は、実施の形態１に係る手書き文字認識装置１００の接触判定部３１における接触判定を説明する図である。図７では装置本体１０１と文字入力補助パネル２と入力者の指２００とを側面から示している。Ｐ０は文字入力補助パネル２に入力者が指先をかざした場合の指先位置、Ｐ１は指先が指し示す文字入力補助パネル２上の位置座標を示す。接触判定部３１は輝度画像からＰ０を抽出し、距離画像を用いて受光部１１から位置Ｐ０までの距離Ｄ０を抽出する。接触判定部３１は、距離画像のＰ０に対応する文字入力補助パネル２上の位置Ｐ１について、受光部１１から位置Ｐ１までの距離Ｄ１を文字入力補助パネル２の平面座標系より計算する。距離Ｄ０と距離Ｄ１の差が一定の閾値Ｌ以下（｜Ｄ１−Ｄ０｜≦Ｌ）である場合、入力者の指先と文字入力補助パネル２とが接触していると判定する。

接触判定の具体例について、図８、図９を用いて説明する。図８は、実施の形態１に係る手書き文字認識装置１００の接触判定部３１における接触判定の様子の例を説明する図である。文字入力補助パネル２は透明な平板で構成される。文字入力補助パネル２は、撮像部１と入力者の指先との間に設けられる。撮像部１は、文字入力補助パネル２越しに入力者の指先Ｐ０を撮像し、距離画像と輝度画像を生成する。接触判定部３１は生成された距離画像と輝度画像とから受光部１１から指先Ｐ０までの距離Ｄ０を抽出する。また、接触判定部３１は図７で説明した指先が指し示す文字入力補助パネル２上の位置座標Ｐ１に対し、平面座標系を用いて、受光部１１から位置Ｐ１までの距離Ｄ１を計算によって求める。この距離Ｄ０と距離Ｄ１の差が一定の閾値Ｌ以下の場合、指先が文字入力補助パネル２に接触していると判定する。

図９は、実施の形態１に係る手書き文字認識装置１００の接触判定部３１における接触判定の様子の別の例を説明する図である。文字入力補助パネル２は不透明な平板で構成される。文字入力補助パネル２は、入力者の指先に対して、撮像部１と反対の側に設けられる。撮像部１は、文字入力補助パネル２の前面にある入力者の指先Ｐ０を撮像し、距離画像と輝度画像を生成する。接触判定部３１は生成された距離画像と輝度画像とから受光部１１から指先Ｐ０までの距離Ｄ０を抽出する。また、接触判定部３１は指先が指し示す文字入力補助パネル２上の位置座標Ｐ１に対し、平面座標系を用いて、受光部１１から位置Ｐ１までの距離Ｄ１を計算によって求める。この距離Ｄ０と距離Ｄ１の差が一定の閾値Ｌ以下の場合、指先が文字入力補助パネル２に接触していると判定する。

なお、図１０に示すように文字入力補助パネル２がタッチパッド２１を備えている場合、接触判定部３１は、入力者の指先とタッチパッド２１との接触時にタッチパッド２１に表示される接触マーカー２２を検出して、入力者の指先と文字入力補助パネル２とが接触していると判定してもよい。このとき、閾値を用いた接触判定は不要となる。図１０の文字入力補助パネル２はタッチパッド２１を駆動するための電源として例えば小型の電池を備えることになるが、接触判定のみを行うため簡単な回路構成で文字入力補助パネル２を実現できる。

筆跡記憶部３２における筆跡パターンの取得について説明する。図１１は、実施の形態１に係る手書き文字認識装置１００の筆跡記憶部３２が取得する筆跡パターンの例を示す図である。ここでは異なる書き順で英文字のＹを手書きした、図１１（ａ）と図１１（ｂ）の２つの例を示す。文字の書き順は入力者の任意とし、制限を与えないことで入力者の負担を軽減しているため、同一の文字が異なる書き順で描かれることがある。図１１（ａ）と図１１（ｂ）のどちらの場合もＰ１→Ｐ２→Ｐ３→Ｐ４→Ｐ５の順で描かれており、Ｐ３からＰ４のストローク（Ｐ３→Ｐ４）は文字Ｙを構成するセグメントではなく、文字入力補助パネル２に接触していない指先の移動を示している。筆跡記憶部３２は、指先が文字入力補助パネル２に接触している場合のみ、有効なストロークとして記憶する。筆跡記憶部３２は、接触していない指の動きは記憶されないため、図１１の右図にように文字Ｙを構成するセグメントに対応するストロークのみが書き順とは関係なく記憶される。文字入力補助パネル２を用いず、自由空間上において文字を入力する場合、Ｐ３からＰ４のストロークのように文字にないストロークを分離することは難しく、すべてのストロークが筆跡パターンとして記憶される。また、書き順の違いによって筆跡パターンが異なるため、文字パターン照合部４０における文字パターンとの照合は困難となる。また、入力者に対して文字を構成するセグメントを識別するように特別な指先の移動もしくはジェスチャー等の特別な要求をすることなく、自然な手書き文字の入力を可能としている。

なお、手書き文字を入力する入力部位を入力者の指先として説明したがこれに限るものではなく、図１２に示すように、文字入力補助パネル２に例えばゴム紐２３で連結されたタッチペン２４で入力するものであっても構わない。例えば樹脂で作製されたタッチペン２４と文字入力補助パネル２とを接触させることで、入力者の指先が文字入力補助パネル２に直接触れるときと比較して、文字入力補助パネル２の表面の汚れを抑制することができる。

次に、手書き文字認識装置１００の処理フローについて説明する。図１３は、実施の形態１に係る手書き文字認識装置１００の手書き文字の入力開始から入力終了までの処理フローを示す図である。撮像部１は手書き文字を入力する入力部位である入力者の指先を含む入力者の一部を被写体として撮像し、距離画像取得部１２は撮像部１から被写体までの距離で構成された距離画像を生成し、輝度画像取得部１３は距離画像の各画素の距離に応じた輝度を各画素に割り当てた輝度画像を生成する（第１ステップＳ１）。平面座標計算部３０は輝度画像から文字入力補助パネル２が備えるマーカー２０を抽出し、距離画像から得られた少なくとも３つのマーカー２０までの距離とマーカー２０の座標位置とから、文字入力補助パネル２の撮像部１に対する平面座標系を計算する（第２ステップＳ２）。接触判定部３１は、被写体のうち手書き文字を入力する入力者の指先を輝度画像から認識し、入力者の指先と文字入力補助パネル２との接触を判定する（第３ステップＳ３）。接触していないと判定した場合は、ステップＳ１に戻って、ステップＳ１の処理から繰り返して実行する。接触していると判定した場合、接触している時の入力者の指先の軌跡を取得し、軌跡に基づいて筆跡パターンとして確定し、この筆跡パターンを記憶する（第４ステップＳ４）。接触時のみの筆跡パターンが記憶されるため、文字とは関係のない非接触時の指先のストロークは記憶されない。文字パターン照合部４０は、筆跡パターンと文字パターン記憶部４１が格納する文字パターンとを照合する（第５ステップＳ５）。文字パターン照合部４０は、筆跡パターンと文字パターンとを照合して最も近い文字パターンの文字を出力する（第６ステップＳ６）。文字パターン照合部４０は、一致した文字を手書き文字認識装置１００の外部へ出力し、筆跡記憶部３２に記憶された筆跡パターンをクリアする（第７ステップＳ７）。このステップで文字入力の処理は終了する。ステップＳ６で一致する文字パターンが存在しない場合、文字パターン照合部４０は、予め定めた処理時間の上限をオーバーしたか否かを判断する（第８ステップＳ８）。処理時間をオーバーしていない場合、ステップＳ１へ戻って、ステップＳ１の処理から繰り返して実行する。処理時間をオーバーした場合、文字パターン照合部４０は処理エラーと判断し、筆跡記憶部３２に記憶された筆跡パターンをクリアして処理を終了する（第９ステップＳ９）。

ステップＳ３における接触判定の処理フローの詳細について説明する。図１４は、実施の形態１に係る手書き文字認識装置１００の筆跡取得部３における接触判定の処理フローを示す図である。ステップＳ１で生成した輝度画像に対し、接触判定部３１は画像処理を行って入力者の指先を認識する処理を行う（ステップＳ３−１）。接触判定部３１は、指先を認識できたか否かを判断する（ステップＳ３−２）。指先を認識できなかった場合、指先の接触判定結果をＮｏとして処理を終了する。指先を認識できた場合、Ｓ１で生成した距離画像から、例えば図８に示すように、受光部１１から指先の位置Ｐ０までの距離Ｄ０を抽出する（ステップＳ３−３）。受光部１１から指先が指し示す文字入力補助パネル２上の位置座標Ｐ１までの距離Ｄ１をステップＳ２で求めた平面座標系から計算する（ステップＳ３−４）。距離Ｄ０と距離Ｄ１との差が予め定めた一定の閾値Ｌ以下であるか否かを判定する（ステップＳ３−５）。閾値Ｌ以下であれば指先が文字入力補助パネル２に接しているとしてＹｅｓと判定し、閾値Ｌを超える場合は指先が文字入力補助パネル２に接していないとしてＮｏと判定して処理を終了する。なお、閾値Ｌは指先の厚さなどを考慮して、例えば０〜１０ｍｍ程度に設定される。

以上のように、この手書き文字認識装置１００は文字入力補助パネル２で構成された文字入力補助パネル２を設けており、入力者は文字入力補助パネル２に手書き文字を描いて文字入力を行うため、文字の認識率を低下させずに入力者が自然で容易な文字入力を行うことができる。また、文字入力補助パネル２は文字入力補助パネル２の既知の座標位置に描画されたマーカー２０を設けており、平面座標計算部３０は平面座標系を計算できるため、接触判定部３１は平面座標系を用いて指先が指し示す文字入力補助パネル２上の位置座標を容易に計算することができ、文字入力補助パネル２の位置が変化した際にも平面座標系を容易に再計算することができる。また、被写体を撮像する発光部１０は予め定めた時間間隔で赤外線を発光するため、暗所もしくは明暗が変化する環境においても、受光部１１は手書き文字の軌跡を随時、安定して取得することができる。また、マーカー２０は文字を入力する入力部位で反射された赤外線と識別可能な図形で少なくとも３つ描画されているため、平面座標計算部３０は確実にマーカー２０を抽出して平面座標系を計算することができる。また、接触判定部３１は、受光部１１から入力部位までの距離と、受光部１１から入力部位が指し示す文字入力補助パネル２までの距離との差から入力部位と文字入力補助パネル２との接触を判定するため、接触判定の精度は向上し、接触時のみの筆跡パターンを記憶することができる。接触時のみの筆跡パターンが記憶されるため、文字判定の精度を向上させることができる。また、文字入力補助パネル２がタッチパッド２１を備えることにより接触マーカー２２で入力部位と文字入力補助パネル２との接触を判定できるため、入力部位の接触判定が容易となり、接触判定の精度を向上させることができる。また、平面座標計算部３０は、入力者の指先の位置を認識する都度、平面座標系を再計算して平面座標系を更新するため、文字入力中に文字入力補助パネル２の位置に変化があった場合においても、位置変化に追従させて文字判定の精度を向上させることができる。

実施の形態２．
実施の形態２に係る手書き文字認識装置１００について説明する。図１５は手書き文字認識装置１００の筆跡記憶部３２が補正する筆跡パターンの例を示す図である。実施の形態２に係る手書き文字認識装置１００は、実施の形態１で示した手書き文字認識装置１００の筆跡記憶部３２における処理に筆跡パターンの補正を加えた構成になっている。

筆跡記憶部３２における筆跡パターンの補正について説明する。筆跡記憶部３２は、平面座標計算部３０で計算された平面座標系に基づいて撮像部１の撮像方向と文字入力補助パネル２の法線方向を一致させ、かつ文字入力補助パネル２の長手方向の辺が水平となる状態に写像した軌跡に基づいて筆跡パターンとして確定する。文字入力補助パネル２は、その法線方向が撮像部１の撮像方向に対し、回転および角度を持っている場合がある。この場合、図１５の左図に示すように文字Ｙの筆跡パターンは撮像部１の撮像方向に対して変形した形状で筆跡記憶部３２に記憶されるため、文字パターン照合部４０における文字パターンとの照合は困難となる。筆跡記憶部３２が補正を行うことで、文字入力補助パネル２上の筆跡パターンは、図１５の右図のように変形のない筆跡パターンにて記憶することが可能になり、文字入力補助パネル２に入力した筆跡パターンの文字判定部４による文字認識の精度は向上する。

次に、手書き文字認識装置１００の処理フローについて説明する。図１６は実施の形態２に係る手書き文字認識装置の手書き文字の入力開始から入力終了までの処理フローを示す図である。実施の形態１で示した処理と異なるステップＳ４の処理のみを説明する。ステップＳ３において入力者の指先と文字入力補助パネル２とが接触していると判定された場合、筆跡記憶部３２は接触している時の入力者の指先の軌跡を筆跡パターンとして取得し、撮像部１と文字入力補助パネル２の法線方向を一致させ、かつ文字入力補助パネル２の長手方向の辺が水平となる状態に写像した軌跡に基づいて筆跡パターンとして確定し、この筆跡パターンを記憶する（第４ステップＳ４）。補正して筆跡パターンを確定するため、文字入力補助パネル２の傾きおよび回転による歪みのない筆跡パターンが記憶される。

筆跡記憶部３２は平面座標系に基づいて撮像部１の撮像方向と文字入力補助パネル２の法線方向を一致させ、かつ文字入力補助パネル２の長手方向の辺が水平となる状態に写像した補正後の筆跡パターンを記憶するため、文字入力補助パネル２を常に正面からみた形状で筆跡パターンを記憶でき、文字入力補助パネル２のレイアウトの自由度が増し、文字判定の精度を向上させることができる。

また本願は、様々な例示的な実施の形態及び実施例が記載されているが、１つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも１つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。

１撮像部、２文字入力補助パネル、３筆跡取得部、４文字判定部、５距離画像、１０発光部、１０ａ赤外線、１０ｂ反射された赤外線、１１受光部、１２距離画像取得部、１３輝度画像取得部、２０マーカー、２１タッチパッド、２２接触マーカー、２３ゴム紐、２４タッチペン、３０平面座標計算部、３１接触判定部、３２筆跡記憶部、４０文字パターン照合部、４１文字パターン記憶部、１００手書き文字認識装置、１０１装置本体、２００入力者の指

Claims

手書き文字を認識する手書き文字認識装置であって、
既知の座標位置に描画された複数のマーカーを有する文字入力補助パネルと、
被写体に向けて赤外線を発光する発光部、前記被写体で反射された赤外線を受光する複数のセンサを有した受光部、前記複数のセンサから形成される画素に対応して前記発光部から前記被写体までの距離で構成された距離画像を、前記赤外線の発光から受光までの伝搬時間から生成する距離画像取得部、および前記距離画像の各画素の前記距離に応じた輝度を各画素に割り当てた輝度画像を生成する輝度画像取得部を備えた撮像部と、
前記距離画像から得られた前記複数のマーカーまでの距離と前記座標位置とから、前記文字入力補助パネルの前記撮像部に対する平面座標系を計算する平面座標計算部、前記被写体のうち手書き文字を入力する入力部位を前記輝度画像から認識し、前記入力部位と前記文字入力補助パネルとの接触を判定する接触判定部、および前記接触判定部の接触の判定に基づいて前記入力部位と前記文字入力補助パネルとが接触している時の前記入力部位の軌跡を取得し、前記軌跡に基づいて筆跡パターンとして確定し、前記筆跡パターンを記憶する筆跡記憶部を備えた筆跡取得部と、
文字の形状を文字パターンとして格納する文字パターン記憶部、および前記筆跡パターンと前記文字パターンとを照合して最も近い前記文字パターンの文字を出力する文字パターン照合部を備えた文字判定部と、
を設けたことを特徴とする手書き文字認識装置。
前記赤外線は予め定めた時間間隔で発光されることを特徴とする請求項１に記載の手書き文字認識装置。
前記複数のマーカーは、文字を入力する前記被写体で反射された赤外線と識別可能な図形で、少なくとも３つ描画されていることを特徴とする請求項１に記載の手書き文字認識装置。
前記接触判定部は、前記受光部から前記入力部位までの距離と、前記受光部から前記入力部位が指し示す前記文字入力補助パネルまでの距離との差が予め定めた閾値以下にある場合、前記入力部位と前記文字入力補助パネルとが接触していると判定することを特徴とする請求項１に記載の手書き文字認識装置。
前記文字入力補助パネルはタッチパッドを備え、
前記接触判定部は、前記入力部位と前記タッチパッドとの接触時に前記タッチパッドに表示される接触マーカーを検出した場合、前記入力部位と前記文字入力補助パネルとが接触していると判定することを特徴とする請求項１に記載の手書き文字認識装置。
前記筆跡記憶部は、
前記平面座標計算部で計算された前記平面座標系に基づいて、前記撮像部の撮像方向と前記文字入力補助パネルの法線方向を一致させ、かつ前記文字入力補助パネルの長手方向の辺が水平となる状態に写像した軌跡に基づいて前記筆跡パターンとして確定することを特徴とする請求項１に記載の手書き文字認識装置。
前記平面座標計算部は、
前記入力部位の位置を認識する都度、前記平面座標系を計算して前記平面座標系を更新することを特徴とする請求項１に記載の手書き文字認識装置。
既知の座標位置に描画された複数のマーカーを有する文字入力補助パネルと、
被写体を撮像する撮像部と、
文字の形状を文字パターンとして格納する文字パターン記憶部と、を備えた手書き文字認識装置における手書き文字認識方法であって、
前記撮像部で前記被写体を撮像して前記被写体までの距離で構成された距離画像と、前記距離画像の各画素の前記距離に応じた輝度を各画素に割り当てた輝度画像を生成する第１ステップと、
前記距離画像から得られた前記複数のマーカーまでの距離と前記座標位置とから、前記文字入力補助パネルの前記撮像部に対する平面座標系を計算する第２ステップと、
前記被写体のうち手書き文字を入力する入力部位を前記輝度画像から認識し、前記入力部位と前記文字入力補助パネルとの接触を判定する第３ステップと、
接触している場合、接触している時の前記入力部位の軌跡を取得し、前記軌跡に基づいて筆跡パターンとして確定し、前記筆跡パターンを記憶する第４ステップと、
前記筆跡パターンと前記文字パターンとを照合する第５ステップと、
前記筆跡パターンと前記文字パターンとを照合して最も近い前記文字パターンの文字を出力する第６ステップと、
を備えたことを特徴とする手書き文字認識方法。
前記第４ステップにおいて、
前記軌跡を、前記撮像部と前記文字入力補助パネルの法線方向を一致させ、かつ前記文字入力補助パネルの長手方向の辺が水平となる状態に写像した軌跡に基づいて前記筆跡パターンとして確定することを特徴とする請求項８に記載の手書き文字認識方法。