JP2013214187A - 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体 - Google Patents

文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体 Download PDF

Info

Publication number
JP2013214187A
JP2013214187A JP2012083824A JP2012083824A JP2013214187A JP 2013214187 A JP2013214187 A JP 2013214187A JP 2012083824 A JP2012083824 A JP 2012083824A JP 2012083824 A JP2012083824 A JP 2012083824A JP 2013214187 A JP2013214187 A JP 2013214187A
Authority
JP
Japan
Prior art keywords
character
candidate
hint information
input
characters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012083824A
Other languages
English (en)
Inventor
Hiroaki Zaima
博昭 財満
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012083824A priority Critical patent/JP2013214187A/ja
Publication of JP2013214187A publication Critical patent/JP2013214187A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】手書き入力により文字コードを入力する際に、操作量を大きく減らす。
【解決手段】文字入力装置100Aは、手書き入力されたヒント情報c4を認識するヒント情報認識部128と、手書き文字を認識した認識文字からの候補文字の抽出を、上記ヒント情報c4に基づいて行う候補制御部124を備える。
【選択図】図1

Description

本発明は手書き入力による手書き文字認識と変換の操作を、手間をかけずに行える文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体に関する。
従来、タッチパネルのディスプレイを搭載したスマートフォン端末やタブレット端末において文字を入力する方法として、いくつかの方法がある。例えば、ペン型デバイスまたは指を入力手段としてタッチパネル上に触れた状態で動かすと、その軌跡から文字を認識して、変換候補の文字(漢字、ひらがな、かな、英数字など)を提示し、ユーザはその候補から入力手段により選択することで、文字または文章の入力を行う方法がある。また、指やペンでなぞった軌跡を図形(ベクトルデータ等)または画像としてそのまま保存する方法もある。また、タッチパネル上にソフトキーボードを表示して、前記入力手段によってキーを選択することで、文字または文章を入力する方法もある。
なお、特許文献1には、オペレータが文字の認識結果を気にかけることなく、手書きによる文字の入力を自然な形で円滑に行える文字認識装置が記載されている。詳細には、上記文字認識装置は、誤認識判断手段によって誤りと判断された文字と同じ場所に、入力イメージメモリに保存されている文字イメージを読み出し、表示させる。
また、特許文献2には、手書き文字認識部が誤認識しそうな場合に、その文字を手書き文字のイメージのまま印字でき、出力結果に誤りを生じさせない手書き文字清書装置が記載されている。詳細には、上記手書き文字清書装置は、手書き文字認識手段による文字認識の信用率が所定値以上である手書き文字については、その手書き文字をコードデータに変換し、上記手書き文字認識手段による文字認識の信用率が所定値より低い手書き文字については、その手書き文字を表すデータとして、読取手段で読み取られた読み取りデータを割り当てる。
特開平05−108871号公報(1993年4月30日公開) 特開平06−096268号公報(1994年4月8日公開)
しかしながら、上記従来の構成では、以下のような問題がある。
まず、ディスプレイ上を指またはペンでなぞった軌跡から文字認識を行い、提示された文字候補から入力する文字を選択する方法では、文字が誤認識されて正しい入力ができずに、何度も書き直して再認識させないと変換できないことがある。また、1文字単位で入力し、文字認識させて、変換候補から意図する文字を選択し、確定する操作が必要で、入力文字数だけこの操作を繰り返す必要がある。すなわち、1文字単位での入力操作は操作量を増大させるという問題がある。さらに、変換候補が多数ある場合には、正しい候補を選択するのに時間がかかるという問題もある。
また、指やペンでなぞった軌跡を図形(ベクトルデータ等)または画像としてそのまま保存するという方法は、直感的ではあるが、長い文章を入力するには向いていないという問題がある。また、文字コードになっていない図形または画像データは文字検索や再利用が難しいという問題がある。
また、タッチパネル上にソフトキーボードを表示する方法については、入力する文字種(かな、数字、英語など)によってソフトキーボードを切り替えて入力するものが多く、文字種が途中で変わるような文章を入力する際は非常に煩雑な操作を要求される。また、ハードのキーボードと異なりタッチタイピングなどは行えないので、ソフトキーボードを見ながらの入力は直感的ではなく、隣のキーを誤って押すなどにより、操作効率が低下しやすいという問題もある。また、長い文字列であれば、変換する文字列長を変更することで正しい変換候補が提示されることもあるが、操作が非常に煩雑で多くの時間を要するという問題がある。
本発明は、上記の問題点を解決するためになされたもので、その目的は、手書き入力により文字コードを入力する際に、操作量を大きく減らすことができる文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体を提供することにある。
上記の課題を解決するために、本発明に係る文字入力装置は、手書き文字を認識することにより文字入力を行う文字入力装置であって、手書き文字を認識して複数の認識文字を生成する文字認識手段と、上記文字認識手段が生成した認識文字から候補文字を抽出する候補文字抽出手段と、上記候補文字抽出手段が抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字を上記手書き文字に対応する確定文字として特定する文字確定手段と、手書き入力されたヒント情報を認識するヒント情報認識手段とを備え、上記候補文字抽出手段は、上記ヒント情報認識手段が認識したヒント情報に基づいて、上記認識文字からの上記候補文字の抽出を行うことを特徴としている。
また、本発明に係る文字入力装置の制御方法は、手書き文字を認識することにより文字入力を行う文字入力装置の制御方法であって、手書き文字を認識して複数の認識文字を生成する文字認識ステップと、手書き入力されたヒント情報を認識するヒント情報認識ステップと、上記ヒント情報認識ステップにて認識したヒント情報に基づいて、上記文字認識ステップにて生成した認識文字から候補文字を抽出する候補文字抽出ステップと、上記候補文字抽出ステップにて抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字を上記手書き文字に対応する確定文字として特定する文字確定ステップとを含むことを特徴としている。
上記の構成および方法により、手書き文字に対応する確定文字をユーザに選択させるために提示する候補文字を、手書き文字を認識して生成した複数の認識文字から抽出する際に、手書き入力されたヒント情報に基づいて候補文字を抽出することができる。ここで、ヒント情報としては、例えば、手書き文字が漢字である場合、その漢字の「読み」や「部首」等が利用できる。なお、ヒント情報の入力は、手書き文字の入力前でもよいし、手書き文字の誤認識を確認した後でもよい。
このように、候補文字の抽出にヒント情報を用いることにより、手書き文字が文字認識が困難な形状で入力されたために、認識の確からしさを示す認識確度が低くなった認識文字であっても、ヒント情報に基づく絞り込みを行って優先的にユーザに提示することができる。それゆえ、従来のように、文字が誤認識されて正しく入力できないため、書き直して再認識させる必要がない。
また、従来のように、入力する文字種(かな、数字、アルファベットなど)に応じてキーボードの設定を切り替える必要がなく、余計な操作を必要としない。
よって、手書き文字があいまいであっても正しい認識文字を提示することが可能となるため、認識率を改善できる。また、そのための操作もヒント情報を手書き入力するというものであるため、手書き文字の入力と操作の連続性を保つことが可能となり、操作にかかる手間を大きく減らすことができる。
さらに、本発明に係る文字入力装置は、上記文字確定手段は、連続して入力された複数の手書き文字に対応する複数の候補文字を一組にして提示することを特徴としている。
上記の構成により、さらに、連続して入力された複数の手書き文字に対応する複数の候補文字を一組にして提示するため、手書き文字に対応する確定文字の選択を、複数の候補文字を一組にした文字列単位で行うことができる。なお、複数の候補文字を一組にまとめる手法としては、例えば、形態素解析が利用できる。
よって、手書き文字を高精度で認識でき、誤認識を修正する場合でも、正しい認識文字に効率よく修正することが可能となる。
さらに、本発明に係る文字入力装置は、上記ヒント情報認識手段は、上記ヒント情報とともに、当該ヒント情報の種類を示すヒント情報種類情報を取得し、当該ヒント情報種類情報に基づいて当該ヒント情報を認識することを特徴としている。
上記の構成により、さらに、手書き入力されたヒント情報の認識を、ヒント情報種類情報が示す当該ヒント情報の種類に基づいて行うことができる。例えば、手書き文字が漢字であり、ヒント情報としてその漢字の部首を手書き入力するとき、ヒント情報種類情報として「部首」を指定する。これにより、ヒント情報として入力された手書き入力を「部首」として認識することができるので、ヒント情報を正しく認識できる確率が高くなる。
よって、手書き文字を高精度で認識でき、誤認識を修正する場合でも、正しい認識文字に効率よく修正することが可能となる。
さらに、本発明に係る文字入力装置は、上記ヒント情報種類情報は、漢字の読み、漢字の部首、文字種、および文字の大小の少なくともいずれか1つであることが好ましい。
なお、上記文字入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
以上のように、本発明に係る文字入力装置は、手書き文字を認識して複数の認識文字を生成する文字認識手段と、上記文字認識手段が生成した認識文字から候補文字を抽出する候補文字抽出手段と、上記候補文字抽出手段が抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字を上記手書き文字に対応する確定文字として特定する文字確定手段と、手書き入力されたヒント情報を認識するヒント情報認識手段とを備え、上記候補文字抽出手段は、上記ヒント情報認識手段が認識したヒント情報に基づいて、上記認識文字からの上記候補文字の抽出を行う構成である。
また、本発明に係る文字入力装置の制御方法は、手書き文字を認識して複数の認識文字を生成する文字認識ステップと、手書き入力されたヒント情報を認識するヒント情報認識ステップと、上記ヒント情報認識ステップにて認識したヒント情報に基づいて、上記文字認識ステップにて生成した認識文字から候補文字を抽出する候補文字抽出ステップと、上記候補文字抽出ステップにて抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字を上記手書き文字に対応する確定文字として特定する文字確定ステップとを含む方法である。
それゆえ、手書き文字があいまいであっても正しい認識文字を提示することが可能となるため、認識率を改善できるという効果を奏する。また、そのための操作もヒント情報を手書き入力するというものであるため、手書き文字の入力と操作の連続性を保つことが可能となり、操作にかかる手間を大きく減らすことができるという効果を奏する。
本発明の実施形態に係る文字入力装置の一構成例の要部を示す機能ブロック図である。を示すブロック図である。 本発明の実施形態に係る文字入力装置の外観例を表した正面図である。 図1に示した文字入力装置における手書き入力処理の流れの一例を示すフローチャートである。 図1に示した文字入力装置における手書き入力処理の際に表示する画面の遷移図であり、(a)は手書き文字を認識し、第一候補文字を表示した画面例を示し、(b)は第一候補文字から指定された誤認識文字に対して次候補文字を表示した画面例を示し、(c)は入力されたヒント情報に基づいて次候補文字を更新した画面例を示し、(d)は認識文字を確定したときの画面例を示す。 本発明の実施形態に係る文字入力装置の他の構成例の要部を示す機能ブロック図である。 図5に示した文字入力装置における手書き入力処理の際に表示する画面例であり、入力されたヒント情報およびヒント情報種類情報に基づいて次候補文字を更新した画面例を示す。 本発明の実施形態に係る文字入力装置のさらに他の構成例の要部を示す機能ブロック図である。 図7に示した文字入力装置における手書き入力処理の際に表示する画面の遷移図であり、(a)は手書き文字を認識し、第一候補文字および形態素解析結果を表示した画面例を示し、(b)は形態素解析結果から誤認識文字(列)が指定されたとき、品詞別細分類選択領域を表示した画面例を示し、(c)は形態素解析結果から指定された誤認識文字(列)に対して次候補文字列を表示した画面例を示す。 上記文字入力装置に手書き文字をデータで入力する場合の処理の説明図であり、(a)はデータに手書き文字と文字コードに変換済みの文字が含まれる場合の画面例を示し、(b)はデータに活字文字と手書き文字が含まれる場合の画面例を示す。
図1〜図9に基づいて、本発明の実施の形態について詳細に説明する。
〔文字入力装置の概要〕
まず、図2を参照して、本実施の形態に係る文字入力装置100の外観を説明する。図2は、文字入力装置100の外観例を表した正面図である。
文字入力装置100は、手書き文字c1を認識することにより文字入力を行う装置である。そのため、文字入力装置100は、入力部110に対する操作に基づいて、文字の入力が可能である。図2に示すように、文字入力装置100は、ユーザの操作を検知可能な入力部110と、ユーザが入力する領域やボタン、ユーザが入力した文字、認識候補等を表示可能な表示部130とを備える。例えば、入力部110をタッチパネルで、表示部130を液晶ディスプレイで実現する場合、図2に示すように、両者は一体として構成できる。本実施の形態では、この一体として構成された入力部110および表示部130をまとめて、表示入力部DIと記す。
図2に示すように、表示入力部DIは、画面上に、手書き入力領域A111とヒント情報入力領域A113とを含む。手書き入力領域A111は、ユーザが所望の文字を入力するために、認識させる手書き文字c1を入力する領域である。ヒント情報入力領域A113は、手書き入力領域A111に入力された手書き文字c1の認識のため、あるいは、認識結果である次候補文字(候補文字)c3の選択のためのヒント情報c4を、ユーザが入力する領域である。
文字入力装置100は、手書き入力領域A111から入力されたオブジェクト(図形)を、文字単位で認識し、認識結果である1つの第一候補文字(候補文字)c2を提示する。ユーザは提示された第一候補文字c2が意図したものでない場合は、文字単位で第二候補以下の1または複数の別の次候補文字c3を表示させて選択することで、文字単位で文字を入力できる。または、個別に入力し直して再度文字認識させて文字を変更することもできる。
手書き入力領域A111には、手書き文字c1の下に、文字単位で文字認識候補(第一候補文字c2、次候補文字c3)を1または複数提示する。文字認識候補が複数ある場合、ユーザはその中から1つを選択できる。文字認識候補は、辞書データベースや操作履歴(例えば文字の使用頻度など)を参照して、認識された文字列から変換するのに最適な文字コード列を優先度に従って提示することができる。いわゆる予測変換や通常変換等により変換候補を提示することができる。なお、第二候補以下の次候補文字c3の表示は必須ではない。再度その文字を入力させて認識し直させるようにしてもよい。
また、文字入力装置100は、ヒント情報入力領域A113から入力されたオブジェクトを、文字単位で認識し、手書き入力領域A111に入力された手書き文字c1の認識や次候補文字c3の選択のためのヒント情報c4とする。
例えば、手書き入力領域A111から漢字まじりで手書き入力し、ヒント情報入力領域A113から分からない漢字の読みをヒント情報c4としてひらがなで手書き入力することにより、ひらがなを漢字に変換して、手書き入力した全体を漢字で入力することができる。また、手書き入力領域A111から入力した漢字等の読みから認識された認識文字から、ヒント情報入力領域A113からヒント情報c4として漢字の一部を入力し、それに基づいて選択した候補文字を提示することができる。また、手書き入力領域A111から英単語を手書き入力し、ヒント情報入力領域A113からヒント情報c4として日本語訳を手書き入力することにより、日本語訳から和英辞書を参照して、英単語を正しいスペルで入力することができる。
ヒント情報入力領域A113の下には、ヒント情報種類選択領域A116を表示する。ヒント情報種類選択領域A116は、ヒント情報入力領域A113から入力されたヒント情報c4であるオブジェクトの種類をユーザが指定する領域である。例えば、ヒント情報入力領域A113にヒント情報c4として漢字の読みを入力する場合、ヒント情報種類選択領域A116から「読み」を入力する。また、ヒント情報入力領域A113にヒント情報c4として漢字の一部を入力する場合、ヒント情報種類選択領域A116から「部首」を入力する。また、ヒント情報入力領域A113にヒント情報c4として日本語訳を入力する場合、ヒント情報種類選択領域A116から「日本語訳」を入力する。
上記のように、手書き入力領域A111から入力した手書き文字c1を文字認識した結果、文字単位に少なくとも第一候補である第一候補文字c2を各々表示する。また、上記のように第二候補以下の次候補文字c3についても同時に表示するようにしてもよいし、ユーザによるタップ(ダウン、アップ)やロングタップ(ダウンしたまま)等の操作をトリガーに表示するようにしてもよい。また、次候補文字c3と共に文字単位で変換しない(オブジェクトのままにする)ボタンを表示するようにしてもよい。これは、例えば、一部の文字だけ外字が含まれるようなときに有効である。そして、ユーザが第二候補以下をタップ等の操作で選択することで、選択した文字を第一候補として表示する。
さらに、文字認識した結果の第一候補文字c2(次候補文字c3から第一候補として選択された文字を含む)で文字コードを確定する文字認識確定ボタンA115を設けてもよい。また、文字コードへの変換を確定は、画面上の特定の場所や何もオブジェクトが表示されてない場所でタップやダブルタップ等の特定の操作で実行してもよいし、特定のジェスチャを入力することで実行してもよい。また、所定の時間、第一候補文字c2として表示されたものを自動的に確定するようにしてもよい。さらには、所定の文字数書き進めた時に、最も過去に認識したものから順次確定させるようにしてもよい。また、ヒント情報入力領域A113への入力に応じて、第一候補文字c2が変更された状態で、手書き入力領域A111からの入力を開始した際に、第一候補文字c2で文字コードを確定してもよい。
また、文字入力装置100は、入力した手書き文字c1(オブジェクト)を文字コードに変換したくない場合は、未変換で確定させて、未変換のオブジェクト情報(形状と位置)として記憶部140(図1等)に記憶してもよい。さらに、変換後の文字コード列に、変換済みのオブジェクト情報を紐づけて記憶しておいてもよい。
なお、図2では、手書き入力領域A111とヒント情報入力領域A113とを、一つの表示入力部DIに表示したが、それぞれ別個に表示してもよい。また、例えば、文字コード変換結果の表示に重畳する形で手書き文字c1を表示してもよい。また、手書き文字c1を変換・未変換の結果を表示する領域と重畳表示してもよいし、領域を分けてもよい。
また、手書き入力領域A111およびヒント情報入力領域A113への手書き入力以外の入力、例えば、ヒント情報種類選択領域A116等への入力は、各オブジェクトに数字を併記しておき、ハードまたはソフトによる数字キーを介して選択できるようにしてもよい。
以下、本実施の形態に係る文字入力装置100の具体的な構成例を説明する。
〔構成例1〕
図1、図3、図4を参照して、構成例1に係る文字入力装置100Aについて詳細に説明する。なお、以下の説明中、本構成例に特有の部材には、「入力部110A」のように「A」を付す。なお、他の構成例の部材と共通する事項については、「A」を省略して、「入力部110」のように総称することがある。
(文字入力装置の構成)
まず、図1を参照して、文字入力装置100Aの構成について詳細に説明する。図1は、文字入力装置100Aの要部構成を示す機能ブロック図である。なお、本構成例に直接関係のない部分(例えば、入力文字のドラッグなどを実現する部分)は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、文字入力装置100Aが当該省略した構成を含んでもよい。
図1に示すように、文字入力装置100Aは、入力部110A、制御部120A、表示部130、および記憶部140を備えている。
入力部110Aは、ユーザが文字入力装置100Aを操作するための入力を行うものである。詳細には、入力部110Aは、手書き文字入力部111、文字指定部112、ヒント情報入力部113、候補選択部114、および全体確定部115を備えている。なお、入力部110Aの各機能ブロックに対応する領域や文字等の表示部130への表示は、当該機能ブロックあるいは当該機能ブロックに対応する機能ブロック(図示せず)が行うものとする。
手書き文字入力部111は、手書き入力領域A111にユーザが手書き入力した軌跡を、オブジェクト(図形)である手書き文字c1として取得する。手書き文字c1は、オブジェクトの形状や書き順などの情報を含んでいてもよい。
文字指定部112は、手書き文字c1の認識結果の第一候補である第一候補文字c2が誤認識である場合、ユーザが当該文字の表示をタップする等により、ユーザに再認識の対象として選択させる。
ヒント情報入力部113は、ヒント情報入力領域A113にユーザが手書き入力した軌跡を、オブジェクト(図形)であるヒント情報c4として取得する。ヒント情報c4は、再認識候補である次候補文字c3の絞り込みを行うために使用される。ヒント情報c4は、例えば、漢字の訓読みや音読み、漢字の部首、文字種、文字の大小などを表す。
候補選択部114は、誤認識文字であるため、再認識の対象としてユーザに選択された第一候補文字c2の下に表示された認識結果の第二候補以下の次候補文字c3から、ユーザが当該文字の表示をタップする等により、ユーザに適切に認識された文字を選択させる。
全体確定部115は、画面上に表示されている文字認識確定ボタンA115をユーザがタップ等することで、現在の第一候補文字c2の文字(コード)によって、手書き文字c1から認識した文字(コード)を確定することを制御部120Aに指示する。
制御部120Aは、文字入力装置100Aにおける各種制御を実行するものである。そのため、制御部120Aは、入力文字認識部(文字認識手段)121、文字認識部122、認識文字メモリ123、候補制御部(候補文字抽出手段)124、文字入力表示設定部(文字確定手段)125、表示制御部126、文字編集表示設定部127、およびヒント情報認識部(ヒント情報認識手段)128Aを備えている。
入力文字認識部121は、手書き文字c1を認識して1または複数の認識文字を生成する。詳細には、入力文字認識部121は、手書き文字入力部111から入力された手書き文字c1を取得し、文字認識部122によって認識した結果の文字コードを、認識文字メモリ123に格納する。また、入力文字認識部121は、表示制御部126を介して手書き文字c1をオブジェクトとして表示部130に表示する。
文字認識部122は、入力文字認識部121より手書き文字c1をオブジェクトとして取得し、文字単位で認識した結果を文字コードとして返す。また、ヒント情報認識部128Aよりヒント情報c4をオブジェクトとして取得し、文字単位で認識した結果を返す。
認識文字メモリ123は、手書き文字c1から切り出された文字単位で、各文字の認識結果である1または複数の認識文字(文字コード)を保持する。
候補制御部124は、認識文字メモリ123に記憶されている認識文字を管理する。特に、候補制御部124は、ヒント情報認識部128が認識したヒント情報c4に基づいて、入力文字認識部121が生成した認識文字から候補文字(第一候補文字c2、次候補文字c3)を抽出する。具体的には、候補制御部124は、各手書き文字毎に認識文字を認識の確からしさを示す認識確度の順に整列したリストを保持する。そして、認識確度順に第一候補文字c2および次候補文字c3を抽出し、文字入力表示設定部125または文字編集表示設定部127からの要求に応じて返す。また、文字編集表示設定部127から与えられた条件に従って認識確度を修正して、第一候補文字c2および次候補文字c3の抽出をやり直す。なお、従来の文字認識では、認識の確からしさを示す認識確度(信頼度)が所定値より低い場合は候補文字から除外されるが、候補制御部124は、ヒント情報が入力された場合には、認識確度が所定値よりも低くても候補文字の絞り込みの対象とする。
文字入力表示設定部125は、表示制御部126を介して表示部130に表示する表示形態を設定し、表示制御部126に指示する。また、文字入力表示設定部125は、候補制御部124が抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字(第一候補文字c2)を手書き文字c1に対応する確定文字c5として特定する。
表示制御部126は、表示部130に表示する内容の指示を受け取り、表示部130への表示を行う。
文字編集表示設定部127は、文字指定部112から文字(ユーザが第一候補文字c2から誤認識した文字であると指定した文字)の指定を取得し、当該指定文字に対応する第二候補以降の次候補文字c3を取得し、その表示を表示制御部126に指示する。ここで、特に、文字編集表示設定部127は、ヒント情報認識部128Aが取得したヒント情報c4に基づいて、認識文字メモリ123に保持されている複数の認識文字から、次候補文字c3への絞り込みを、候補制御部124に指示する。
ヒント情報認識部128Aは、手書き入力されたヒント情報c4を認識する。詳細には、ヒント情報認識部128Aは、ヒント情報入力部113から入力されたヒント情報c4を取得し、文字認識部122によって認識を行い、手書き文字c1から認識された認識文字の絞り込みを行うための情報を生成し、文字編集表示設定部127に送る。ヒント情報認識部128Aは、ヒント情報c4を認識する際、ヒント情報c4の種類の判断を行ってもよい。
表示部130は、文字入力装置100Aが扱う情報を表示するものである。入力部110Aをタッチパネルで、表示部130を液晶ディスプレイで実現する場合、両者は一体として構成できる。
記憶部140は、制御部120Aの処理に必要なデータを記憶するものである。例えば、手書き文字c1を認識するときに参照する辞書DB141などを格納する。
(文字入力の詳細)
図3、図4を参照しながら、文字入力装置100Aにおける手書き入力処理の流れを説明する。
図3は、文字入力装置100Aにおける手書き入力処理の流れの一例を示すフローチャートである。図4は、文字入力装置100Aにおける手書き入力処理の際に表示する画面の遷移図であり、(a)は手書き文字c1を認識し、第一候補文字c2を表示した画面例を示し、(b)は第一候補文字c2から指定された誤認識文字に対して次候補文字c3を表示した画面例を示し、(c)は入力されたヒント情報c4に基づいて次候補文字c3を更新した画面例を示し、(d)は認識文字を確定したときの画面例を示す。
まず、手書き文字入力部111が手書き入力領域A111から手書き文字c1を取得する(S11)。
次に、入力文字認識部121が入力された手書き文字c1を取得し、文字認識部122によって文字認識を行う(S12;文字認識ステップ)。入力文字認識部121は、この認識の結果得られた認識文字(文字コード)を、手書き文字c1の文字毎に、認識確度と対応付けて認識文字メモリ123に記憶する。
次に、文字入力表示設定部125が、候補制御部124を介して、認識文字メモリ123から、手書き文字c1の文字毎に第一候補である第一候補文字c2を取得し、表示制御部126へ送る。そして、表示制御部126は、入力文字認識部121から送られた手書き文字c1と共に、第一候補文字c2を表示部130に表示させる(S13、図4(a))。
図4(a)の例では、「京都にいく」と手書き入力され、その認識結果の第一候補文字c2である「京」「部」「に」「行」「く」の各文字が、手書き文字c1の一文字ずつ対応付けて表示されている。
次に、文字編集表示設定部127が、表示した第一候補文字c2から誤認識文字としてユーザにより文字指定部112を介して選択された文字があるか否かを判断する(S14)。そして、誤認識文字が指定された場合(S14においてYES)、文字編集表示設定部127が、指定された誤認識文字(第一候補文字c2)に対応する次候補文字c3を、候補制御部124を介して、認識文字メモリ123から取得する。このとき、候補制御部124は、文字編集表示設定部127の要求に対して、指定された第一候補文字c2が認識されたオブジェクト(手書き文字c1に含まれる1文字分)に対応付けられた認識文字から、認識確度の順に所定の個数を抽出して、次候補文字c3として返す。そして、文字編集表示設定部127は、表示制御部126を介して、指定された誤認識文字(第一候補文字c2)に対応付けて、次候補文字c3を表示部130に表示させる(S15、図4(b))。
図4(a)の例では、手書き文字c1の「都」から認識された、第一候補文字c2の「部」が誤認識文字である。そして、図4(b)の例では、この「部」をユーザがタップ等で指定したとき、指定された第一候補文字c2の「部」が認識された手書き文字c1の「都」から認識された「邪」「却」が次候補文字c3として、第一候補文字c2である「部」の下に表示されている。なお、図4(b)には次候補文字c3を2つ表示しているが、表示する個数は限定されない。
次に、文字編集表示設定部127が、表示した次候補文字c3から正しい認識文字としてユーザにより候補選択部114を介して指定された候補文字があるか否かを判断する(S16)。そして、候補文字が指定されなかった場合(S16においてNO)、ヒント情報入力部113がヒント情報入力領域A113からヒント情報c4を取得する。そして、ヒント情報認識部128Aが、ヒント情報c4を文字認識部22によって文字認識して得た結果を、文字編集表示設定部127へ送る(S17;ヒント情報認識ステップ)。
次に、表示編集表示設定部127が、文字認識して得た結果に基づいて、認識文字から候補文字を抽出するための条件を設定し、候補制御部124に候補文字の抽出を指示する。この指示を受けて、候補制御部124は、設定された条件に従って、誤認識文字として指定された第一候補文字c2が認識されたオブジェクト(手書き文字c1に含まれる1文字分)に対応付けられた認識文字から、認識確度の順に所定の個数の候補文字を抽出する。そして、認識確度が最も高い候補文字を第一候補文字c2とし、次いで認識確度が高い所定個数の候補文字を次候補文字c3として返す。その後、文字編集表示設定部127は、候補制御部124より取得した第一候補文字c2および次候補文字c3を、誤認識文字として指定された第一候補文字c2および該第一候補文字c2に対応して表示されていた次候補文字c3の代わりに表示するように、表示制御部126を介して、表示画面を更新する(S18;候補文字抽出ステップ)。
図4(c)の例では、ヒント情報c4として、手書き文字c1の「都」の読み仮名が音読みで「ト」と入力されている。これは「キョウト」の「ト」を示しているが、訓読みで「みやこ」と入力してもよい。また、音読みか訓読みかをカタカナとひらがなで区別して入力するようにしてもよいし、区別しなくてもよい。
そして、手書き文字c1の「都」から認識された認識文字から、音読みが「ト」である認識文字を抽出し、認識確度が最も高い「都」を第一候補文字c2とし、次いで認識確度が高い「賭」「堵」を次候補文字c3として表示している。このように、ヒント情報c4に基づいて候補文字を更新するとき、第一候補文字c2および次候補文字c3の両方を更新する。
次に、文字編集表示設定部127が、更新表示した次候補文字c3から正しい認識文字としてユーザにより候補選択部114を介して指定された候補文字があるか否かを判断する(S19)。そして、ステップS19において、表示した次候補文字c3からユーザにより候補文字が指定された場合(S19においてYES)、文字編集表示設定部127は、指定された次候補文字c3を新しい第一候補文字c2とし、古い第一候補文字c2の代わりに表示するように、表示制御部126を介して、表示画面を更新する(S20)。また同様に、ステップS16において、表示した次候補文字c3からユーザにより候補文字が指定された場合も(S16においてYES)、指定された次候補文字c3を新しい第一候補文字c2として、表示画面を更新する(S20)。
そして、ステップS20において表示画面を更新した場合、および、ステップS19において、表示した次候補文字c3からユーザにより候補文字が指定されなかった場合(S19においてNO)、第一候補文字c2からユーザにより誤認識文字の指定を取得する処理に戻る(S14)。なお、上記のように、ヒント情報c4に基づいて候補文字を更新するとき、第一候補文字c2が更新されるので、第一候補文字c2が正しい認識結果である場合は、ユーザが候補文字を指定する操作は不要である。
次に、ステップS14に戻り、文字編集表示設定部127が、第一候補文字c2から誤認識文字としてユーザにより選択された文字があるか否かを判断し、誤認識文字が指定された場合(S14においてYES)、上述した処理(S15〜S20)を繰り返す。すなわち、ユーザは、上述した処理(S15〜S20)を繰り返すことにより、別の第一候補文字c2(例えば、図4(a)の「京」や「行」)を変更することができる。
そして、ステップS14において、誤認識文字が指定されなかった場合(S14においてNO)、すなわち、全体確定部115がユーザによる文字認識確定ボタンA115の操作を検出したとき、文字入力表示設定部125は、これまで準備してきたすべての第一候補文字c2によって、手書き文字c1の認識結果を確定させる(S21;文字確定ステップ)。そして、文字入力表示設定部125は、手書き文字c1、第一候補文字c2、次候補文字c3の代わりに、確定した確定文字c5を所定の文字フォントで表示する(図4(d))。
なお、ステップS13において第一候補文字c2を表示した後、当該第一候補文字c2が誤認識文字として選択されないまま、所定時間が経過した時点または所定文字数の第一候補文字c2を追加して表示した時点で、文字編集表示設定部127が、誤認識文字が指定されなかったと判断し(S14においてNO)、文字入力表示設定部125は、当該第一候補文字c2によって認識結果を確定させてもよい。同様に、ステップS15およびS18において次候補文字c3を表示した後、当該次候補文字c3が選択されないまま、所定時間が経過した時点または手書き文字c1の入力が行われた時点で、文字編集表示設定部127が、次候補文字c3が選択されなかったと判断し(S16またはS19においてNO)、文字入力表示設定部125は、その時点での第一候補文字c2によって認識結果を確定させてもよい。なお、待機する所定時間や第一候補文字c2の表示する所定文字数は、ユーザの操作履歴から決定してもよい。
(まとめ)
以上のように、本構成例によれば、誤認識した認識結果を編集するとき、タップや手書き入力のみによって認識文字の絞り込みを行う。これにより、手間のかからない入力方法によって、正しい認識文字を提示できる可能性を高くすることができる。また、候補文字の抽出にヒント情報を用いることにより、手書き文字が文字認識が困難な形状で入力されたために、認識の確からしさを示す認識確度が低くなった認識文字であっても、ヒント情報に基づく絞り込みを行って優先的にユーザに提示することができる。
〔構成例2〕
次に、図5、図6および図3を参照して、構成例2に係る文字入力装置100Bについて詳細に説明する。なお、以下の説明中、本構成例に特有の部材には、「入力部110B」のように「B」を付す。なお、他の構成例の部材と共通する事項については、「B」を省略して、「入力部110」のように総称することがある。また、説明の便宜上、前記の構成例1において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
(文字入力装置の構成)
まず、図5を参照して、文字入力装置100Bの構成について詳細に説明する。図5は、文字入力装置100Bの要部構成を示す機能ブロック図である。なお、本構成例に直接関係のない部分(例えば、入力文字のドラッグなどを実現する部分)は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、文字入力装置100Bが当該省略した構成を含んでもよい。
図5に示すように、文字入力装置100Bは、入力部110B、制御部120B、表示部130、および記憶部140を備えている。なお、表示部130、記憶部140は、それぞれ、構成例1の表示部130、記憶部140と同一の機能を有するので、その説明を省略する。
入力部110Bは、ユーザが文字入力装置100Bを操作するための入力を行うものである。詳細には、入力部110Bは、手書き文字入力部111、文字指定部112、ヒント情報入力部113、候補選択部114、全体確定部115に加えて、ヒント情報種類選択部116を備えている。なお、入力部110Bの各機能ブロックに対応する領域や文字等の表示部130への表示は、当該機能ブロックあるいは当該機能ブロックに対応する機能ブロック(図示せず)が行うものとする。
ヒント情報種類選択部116は、画面上、ヒント情報入力領域A113の近傍に設けられたヒント情報種類選択領域A116(図6)より入力されるヒント情報c4の種類を指定するヒント情報種類情報c6を取得する。
なお、ヒント情報種類選択部116以外の、手書き文字入力部111、文字指定部112、ヒント情報入力部113、候補選択部114、全体確定部115は、それぞれ、構成例1と同一の機能を有するので、その説明を省略する。
制御部120Bは、文字入力装置100Bにおける各種制御を実行するものである。そのため、制御部120Bは、入力文字認識部121、文字認識部122、認識文字メモリ123、候補制御部124、文字入力表示設定部125、表示制御部126、文字編集表示設定部127、およびヒント情報認識部(ヒント情報認識手段)128Bを備えている。すなわち、制御部120Bは、構成例1の制御部120A(図1)と比較して、ヒント情報認識部128Aの代わりに、ヒント情報認識部128Bを備える構成である。
ヒント情報認識部128Bは、手書き入力されたヒント情報c4を認識する。特に、ヒント情報認識部128Bは、ヒント情報c4とともに、当該ヒント情報c4の種類を示すヒント情報種類情報c6を取得し、当該ヒント情報種類情報c6に基づいて当該ヒント情報c4を認識する。詳細には、ヒント情報認識部128Bは、ヒント情報入力部113から入力されたヒント情報c4と、ヒント情報種類選択部116から入力されたヒント情報種類情報c6とを取得し、文字認識部122によって認識を行い、手書き文字c1から認識された認識文字の絞り込みを行うための情報を生成し、文字編集表示設定部127に送る。ヒント情報認識部128Bは、ヒント情報c4を認識する際、ヒント情報種類情報c6を用いる。なお、構成例1では、ヒント情報c4の種類の判断は、ヒント情報認識部128Aにおいて行われていた。
なお、ヒント情報認識部128B以外の、入力文字認識部121、文字認識部122、認識文字メモリ123、候補制御部124、文字入力表示設定部125、表示制御部126、文字編集表示設定部127は、それぞれ、構成例1と同一の機能を有するので、その説明を省略する。
(文字入力の詳細)
図3、図6を参照しながら、文字入力装置100Bにおける手書き入力処理の流れを説明する。図6は、文字入力装置100Bにおける手書き入力処理の際に表示する画面例であり、入力されたヒント情報c4およびヒント情報種類情報c6に基づいて次候補文字c3を更新した画面例を示す。
構成例1の処理とは、図3のステップS17における処理が異なるのみであるので、他のステップについてはその説明を省略する。
図3に示すように、ステップS16において、表示した次候補文字c3から正しい認識文字としてユーザにより候補文字が指定されなかった場合(S16においてNO)、ヒント情報入力部113がヒント情報入力領域A113からヒント情報c4を取得する。このとき、文字入力装置100Bでは、ヒント情報種類選択部116が、ヒント情報入力領域A113とともに画面に表示されるヒント情報種類選択領域A116からヒント情報種類情報c6を取得する(図6)。そして、ヒント情報認識部128Bが、文字認識部122によって、ヒント情報入力部113から入力されたヒント情報c4を、ヒント情報種類選択部116から入力されたヒント情報種類情報c6が示す種類を考慮して認識を行い、文字編集表示設定部127に送る(S17;ヒント情報認識ステップ)。そして、表示編集表示設定部127が、ヒント情報種類情報c6を用いて文字認識して得た結果に基づいて、認識文字から候補文字を抽出するための条件を設定し、候補制御部124に候補文字の抽出を指示する。それ以後の処理については、構成例1と同様である。
図6の例では、ヒント情報種類情報c6として「部首」を選択した後、ヒント情報c4として「おおざと」の部分のみを入力することで、候補文字の絞り込みを行い、「都」が抽出される確率を高くしている。
ここで、図6では、ヒント情報種類情報c6としては、「漢字の読み(仮名)」「漢字の部首」「文字種」「文字の大小」を挙げている。しかし、ヒント情報種類情報c6は、これらに限定されず、ヒント情報c4の種類として特定できるものであれば、任意の情報を利用できる。
そして、「文字種」としては、例えば、「かな漢字」「アルファベット」「数字」「顔文字」「絵文字」が挙げられる。しかし、その他、「ひらがな」「カタカナ」「漢字」「数字」「記号」や、さらには「ラテン文字」「ロシア文字」などの諸外国で使用されている文字など、文字の種別として特定できるものであれば、任意のものを利用できる。
また、「文字種」の場合、ヒント情報種類選択領域A116に最初は「文字種」を表示しておき、「文字種」が選択されたとき、「かな漢字」「アルファベット」「数字」「顔文字」「絵文字」等を表示して、ユーザに文字種を選択させてもよい。また、「かな漢字」「アルファベット」「数字」「顔文字」「絵文字」等からあらかじめ文字種を選択しておき、選択した文字種を最初からヒント情報種類選択領域A116に表示するようにしてもよい。なお、「顔文字」とは「(^^)」など文字の組み合わせによって表現した擬似画像であり、絵文字は画像(アニメーションするものも含む)を文字コードに対応させたものである。
例えば、手書き入力の前に、「文字種」として「かな漢字」を選択した場合、「し」を手書き入力したときに、アルファベットの「l」(Lの小文字)や数字の「1」もが候補としてあがってしまうことを防ぐことができる。逆に、手書き入力した後で「文字種」を選択する場合、選択前は全ての文字種の文字を候補文字として表示し、選択後は選択した文字種で候補文字の絞り込みを行うようにしてもよい。
また、「大小」の場合は、「や」と「ゃ」、「Y」と「y」などの大小のペアを成す文字について、大小いずれであるかを指定した絞り込みを、手書き入力前または手書き入力後に実行することができる。
そして、「大小」の場合も、「文字種」の場合と同様に、ヒント情報種類選択領域A116に最初は「大小」を表示しておき、「大小」が選択されたとき、「大」「小」を表示して、ユーザに大小の区別を選択させてもよい。また、「大」「小」の一方をあらかじめ選択しておき、選択した大小の区別を最初からヒント情報種類選択領域A116に表示するようにしてもよい。
さらに、「文字種」と「大小」については、他の種類と競合することがないため、「読み」「部首」と共に選択することが可能である。また、「読み」であるか「部首」であるかは、ユーザによる選択で行ってもよいし、どちらを入力しているかを文字入力装置100Bが判断してもよい。
なお、「文字種」と「大小」については、手書き文字入力部111から手書き入力を行う前に設定しておいて、当初の文字認識での絞り込みに使用してもよい。
(まとめ)
以上のように、本構成例によれば、手書き入力されたヒント情報の認識を、ヒント情報種類情報が示す当該ヒント情報の種類に基づいて行うことができる。これにより、ヒント情報を正しく認識できる確率が高くなる。
〔構成例3〕
次に、図7、図8を参照して、構成例3に係る文字入力装置100Cについて詳細に説明する。なお、以下の説明中、本構成例に特有の部材には、「入力部110C」のように「B」を付す。なお、他の構成例の部材と共通する事項については、「C」を省略して、「入力部110」のように総称することがある。また、説明の便宜上、前記の構成例1、2において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
(文字入力装置の構成)
まず、図7を参照して、文字入力装置100Cの構成について詳細に説明する。図7は、文字入力装置100Cの要部構成を示す機能ブロック図である。なお、本構成例に直接関係のない部分(例えば、入力文字のドラッグなどを実現する部分)は、記載の簡潔性を担保する観点から、構成の説明およびブロック図から省略した。ただし、実施の実情に則して、文字入力装置100Cが当該省略した構成を含んでもよい。
図7に示すように、文字入力装置100Cは、入力部110C、制御部120C、表示部130、および記憶部140を備えている。なお、表示部130、記憶部140は、それぞれ、構成例1、2の表示部130、記憶部140と同一の機能を有するので、その説明を省略する。
入力部110Cは、ユーザが文字入力装置100Cを操作するための入力を行うものである。詳細には、入力部110Cは、手書き文字入力部111、文字指定部112C、ヒント情報入力部113、ヒント情報種類選択部116、候補選択部114、全体確定部115を備えている。すなわち、すなわち、構成例2の入力部110B(図5)と比較して、文字指定部112の代わりに、文字指定部112Cを備える構成である。なお、入力部110Cの各機能ブロックに対応する領域や文字等の表示部130への表示は、当該機能ブロックあるいは当該機能ブロックに対応する機能ブロック(図示せず)が行うものとする。
文字指定部112Cは、手書き文字c1の認識結果の第一候補である第一候補文字c2、または、第一候補文字c2を形態素解析して得られた形態素解析結果(候補文字)c7が誤認識である場合、ユーザが当該文字または文字列の表示をタップする等により、ユーザに再認識の対象として選択させる。また、文字指定部112Cは、形態素解析結果c7が誤認識である場合、選択された形態素解析結果c7の文字列の品詞に応じた内容の品詞別細分類選択領域A117を表示し、細分類の選択を取得する。
なお、文字指定部112C以外の、手書き文字入力部111、ヒント情報入力部113、ヒント情報種類選択部116、候補選択部114、全体確定部115は、それぞれ、構成例1、2と同一の機能を有するので、その説明を省略する。
制御部120Cは、文字入力装置100Cにおける各種制御を実行するものである。そのため、制御部120Cは、入力文字認識部(文字認識手段)121C、文字認識部122、認識文字メモリ123C、候補制御部124、文字入力表示設定部125、表示制御部126、文字編集表示設定部127C、ヒント情報認識部128B、品詞認識部129を備えている。すなわち、制御部120Cは、構成例2の制御部120B(図5)と比較して、入力文字認識部121、認識文字メモリ123、文字編集表示設定部127の代わりに、入力文字認識部121C、認識文字メモリ123C、文字編集表示設定部127Cを備え、さらに、品詞認識部129を備える構成である。
入力文字認識部121Cは、構成例1の入力文字認識部121と同様に、手書き文字入力部111から入力された手書き文字c1を取得し、文字認識部122によって認識した結果の文字コードを、認識文字メモリ123Cに格納する。また、入力文字認識部121は、表示制御部126を介して手書き文字c1をオブジェクトとして表示部130に表示する。
品詞認識部129は、手書き文字c1の認識結果の第一候補である第一候補文字c2を形態素解析して得られた形態素解析結果c7(文字列)の文字コードを返す。なお、形態素解析するときに参照する辞書等のデータは、記憶部140において、辞書DB141等に格納してもよい。
そして、入力文字認識部121Cは、特に、手書き文字c1の認識結果の第一候補である第一候補文字c2を、品詞認識部129によって形態素解析した結果の文字列の文字コードを、認識文字メモリ123Cに格納する。
認識文字メモリ123Cは、手書き文字c1から切り出された文字単位および形態素解析で得られた文字列単位で、各文字または文字列の認識結果である1または複数の認識文字(文字コード)を保持する。
ここで、認識結果の文字列を形態素解析することで、手書き認識で得られた文字列を、名詞・動詞・形容詞・助詞・助動詞等の文字列に分解できる。例えば、図8に示す例の場合、「に」は助詞と判定されているので、形態素解析結果c7の「に」をタップしたとき、「を」「は」「には」等の他の助詞の優先度を上げて候補文字列として表示する。このとき、例えば、読みが同じ漢字の名詞は優先度を下げて候補文字列として表示してもよいし、助詞以外の文字列は表示しないようにしてもよい。すなわち、形態素解析によって判定された品詞を優先させて、候補文字列を表示する。
ただし、形態素解析は、文章の途中から入力した場合や本来漢字で書ける名詞の一部をひらがなで書いた場合(「京都」を「京と」とするような)などは、特に間違えてしまうことがある。そのため、品詞別細分類選択領域A117の「その他」(図8(b))から品詞を変更したり、文節の切れ目の間違いを前または後ろの文字とくっつけて訂正する等の指定ができるようにしてもよい。また、「知識」と書いたつもりが、「識」が「織」と誤認識された場合、1文字であればどちらも同じ程度に正しいが、形態素解析の結果から、前の文字の「知」と結合して1つの名詞を構成することが分かれば、「識」の確度が高いことが分かる。これにより、候補文字列の優先順位を適切に変更できる。
文字編集表示設定部127Cは、文字編集表示設定部127と同様に、文字指定部112Cから文字(ユーザが第一候補文字c2から誤認識した文字であると指定した文字)の指定を取得し、当該指定文字に対応する第二候補以降の次候補文字c3を取得し、その表示を表示制御部126に指示する。また、文字編集表示設定部127Cは、ヒント情報認識部128Bが取得したヒント情報c4に基づいて、認識文字メモリ123Cに保持されている複数の認識文字から、次候補文字c3への絞り込みを、候補制御部124に指示する。そして、候補制御部124は、ヒント情報認識部128が認識したヒント情報c4に基づいて、入力文字認識部121が生成した認識文字から候補文字(第一候補文字c2、次候補文字c3)を抽出する。
さらに、文字編集表示設定部127Cは、特に、文字指定部112Cから文字列(ユーザが形態素解析結果c7から誤認識した文字列であると指定した文字列)の指定を取得したとき、品詞別細分類選択領域A117の表示を表示制御部126に指示し、上記指定された文字列の品詞に応じた細分類をユーザに選択させる。また、文字編集表示設定部127Cは、上記選択された細分類に合致するように生成された、上記指定された文字列に対応する候補文字列(第一候補、第二候補以降の次候補文字列(候補文字)c8)を取得し、その表示を表示制御部126に指示する。また、文字編集表示設定部127Cは、ヒント情報認識部128Bが取得したヒント情報c4に基づいて、上記選択された細分類に合致するように生成された複数の認識文字列から候補文字列への絞り込みを、候補制御部124に指示する。そして、候補制御部124は、ヒント情報認識部128が認識したヒント情報c4に基づいて、入力文字認識部121が生成した認識文字列から候補文字列(形態素解析結果c7、次候補文字列c8)を抽出する。
このように、文字編集表示設定部127Cは、連続して入力された複数の手書き文字c1に対応する複数の候補文字(次候補文字列c8)を一組にして提示することができる。同様に、文字編集表示設定部125は、連続して入力された複数の手書き文字c1に対応する複数の候補文字(形態素解析結果c7)を一組にして提示することができる。
なお、入力文字認識部121C、認識文字メモリ123C、文字編集表示設定部127C、品詞認識部129以外の、文字認識部122、候補制御部124、文字入力表示設定部125、表示制御部126、ヒント情報認識部128Bは、それぞれ、構成例1、2と同一の機能を有するので、その説明を省略する。
(文字入力の詳細)
図3、図8を参照しながら、文字入力装置100Cにおける手書き入力処理の流れを説明する。図8は、文字入力装置100Cにおける手書き入力処理の際に表示する画面の遷移図であり、(a)は手書き文字c1を認識し、第一候補文字c2および形態素解析結果c7を表示した画面例を示し、(b)は形態素解析結果c7から誤認識文字(列)が指定されたとき、品詞別細分類選択領域A117を表示した画面例を示し、(c)は形態素解析結果c7から指定された誤認識文字(列)に対して次候補文字列c8を表示した画面例を示す。
なお、図3のステップのうち、構成例1と同内容の処理のステップについてはその説明を省略する。
文字入力装置100Cでは、手書き文字c1を取得したとき、入力文字認識部121Cが入力された手書き文字c1を取得し、文字認識部122によって文字認識を行う(文字認識ステップ)とともに、品詞認識部129によって形態素解析を行う(形態素解析ステップ)(S12)。入力文字認識部121Cは、文字認識の結果得られた認識文字(文字コード)を、手書き文字c1の文字毎に、認識確度と対応付けて認識文字メモリ123に記憶するとともに、形態素解析の結果得られた認識文字列(文字コード)(形態素解析結果c7)を、手書き文字c1の文字と対応付けて認識文字メモリ123に記憶する。
次に、文字入力表示設定部125が、候補制御部124を介して、認識文字メモリ123から、手書き文字c1の文字毎に第一候補である第一候補文字c2を取得し、表示制御部126へ送る。これと同時に、文字入力表示設定部125は、候補制御部124を介して、認識文字メモリ123から、手書き文字c1の文字に対応する形態素解析結果c7を取得し、表示制御部126へ送る。そして、表示制御部126は、入力文字認識部121から送られた手書き文字c1と共に、第一候補文字c2および形態素解析結果c7を表示部130に表示させる(S13、図8(a))。
図8(a)の例では、「京都にいく」と手書き入力され、その認識結果の第一候補文字c2である「京」「部」「に」「行」「く」の各文字が、手書き文字c1の一文字ずつ対応付けて表示されている。これとともに、形態素解析結果c7である「京部」「に」「行く」の各文字列が、手書き文字c1に対応付けて表示されている。
図8(a)に示すように、形態素解析結果c7は、品詞認識部129によって行われた形態素解析の結果として、名詞、動詞、形容詞、助詞、助動詞、副詞などでグループ化した文字列として表示される。なお、形態素解析結果c7は、品詞によって色を変更したり、品詞名を横に表示する等して、ユーザが品詞を判断できるように提示してもよい。
次に、文字編集表示設定部127が、ユーザにより文字指定部112を介して、表示した第一候補文字c2から誤認識文字の選択を取得する(S14)。これと同時に、文字編集表示設定部127が、ユーザにより文字指定部112を介して、表示した形態素解析結果c7から誤認識文字列の選択を取得する(S14)。そして、形態素解析結果c7からの誤認識文字列の選択を取得した場合(S14においてYES)、選択された形態素解析結果c7の文字列の品詞に応じた細分類をユーザに選択させるための品詞別細分類選択領域A117を表示する(図8(b))。なお、図8(b)では、品詞別細分類選択領域A117をヒント情報入力領域A113の下(ヒント情報種類選択領域A116の位置)に表示しているが、例えば、選択された形態素解析結果c7の文字列に近接して表示してもよい。
図8(b)の例では、形態素解析結果c7である「京部」がユーザによってタップされた結果、「京部」が名詞と判定されているので、名詞の細分類として「地名」「人名(姓と名)」「人名(姓のみ)」「人名(名のみ)」「顔文字」「その他」が表示されている。なお、細分類として表示する項目は、各品詞の細分類として特定可能なものであれば、内容および数を任意に選択できる。
次に、文字編集表示設定部127が、ユーザにより文字指定部112を介して、品詞別細分類選択領域A117から細分類の選択を取得すると、指定された誤認識文字列(形態素解析結果c7)に対応する候補文字列を、候補制御部124を介して、認識文字メモリ123から取得する。このとき、候補制御部124は、文字編集表示設定部127の要求に対して、指定された形態素解析結果c7に含まれる認識文字が認識されたオブジェクト(手書き文字c1に含まれる1文字分)に対応付けられた認識文字を、選択された細分類に合致するように組み合わせて得られた文字列から、認識確度の順に所定の個数を抽出して返す。そして、文字編集表示設定部127は、抽出された第一候補の文字列を誤認識文字列(形態素解析結果c7)の代わりに、また、抽出された第二候補以降の文字列を次候補文字列c8として誤認識文字列に対応付けて、表示制御部126を介して、表示部130に表示させる(S15、図8(c))。
このとき、文字入力装置100Cでは、ヒント情報入力領域A113およびヒント情報種類選択領域A116が画面に表示され、候補文字列の絞り込みのためのヒント情報c4およびヒント情報種類情報c6の入力が可能となる。
図8(c)の例では、ユーザが誤認識文字列として形態素解析結果c7である「京部」を指定し、さらに、品詞の細分類として「地名」を選択した結果、第一候補として「京都」が表示され、次候補文字列c8として「東都」「東邦」「東京都」が表示されている。
ここで、候補文字列として、文字認識の結果である認識文字の組み合わせ(図8(c)の例では、「京都」「東都」「東邦」)だけでなく、「東京都」のように、認識した文字(列)を所定の辞書(予測辞書)に基づいて変換した文字列を一緒に提示してもよい。なお、このような変換としては、かな漢字変換や、日英翻訳のように日本語から英語への変換も利用できる。また、認識文字列が確定した時、その確定の過程でユーザが選択した品詞の細分類を特定する情報(細分類名など)を付加して、認識文字列をユーザ登録辞書(辞書DB141)に登録してもよい。例えば、「人名(姓)」が品詞の細分類として選択された後で選択された認識文字列には、「人名(姓)」を付加情報として付加して辞書登録する。また、認識文字列を辞書登録する際には、今後の認識において優先的に提示できるように優先度を高めるように学習してもよい。例えば、認識確度を補正できるようにしておいてもよい。
次に、図3に示すように、ステップS16において、表示した次候補文字列c8から正しい認識文字としてユーザにより候補文字列が指定されなかった場合(S16においてNO)、ヒント情報入力部113が、ヒント情報種類選択領域A116からヒント情報種類情報c6を、ヒント情報入力領域A113からヒント情報c4をそれぞれ取得する。そして、表示編集表示設定部127が、ヒント情報種類情報c6を用いて文字認識して得た結果に基づいて、候補文字列を抽出するための条件を設定し、候補制御部124に候補文字列の抽出を指示する(S17;ヒント情報認識ステップ)。それ以後の処理については、構成例1と同様である。
なお、形態素解析結果c7の候補文字列を絞り込むためのヒント情報c4は、一文字の候補文字を絞り込むためのヒント情報c4と基本的には同じである。ただし、候補文字列の場合、文字が複数であるため、次のようにしてもよい。(1)「部首」の指定は、候補文字列の先頭文字から順に入力することにしてもよい。この場合、どの文字の部首を入力中であるかが分かるように、形態素解析結果c7の文字とヒント情報入力領域A113への入力とを対応付けて表示色を変えるなど、表示形態を変えることが好ましい。もちろん、このような表示は、1文字の場合にも同様に行ってもよい。(2)また、候補文字列のうち正しく認識された文字については、ヒント情報c4の入力をスキップできるようなボタン等をヒント情報入力領域A113の該当文字の欄に表示したり、スキップ操作を割り当てたジェスチャなどを用意してもよい。
(まとめ)
以上のように、本構成例によれば、入力した手書き文字を認識するとき、文字単位での文字認識と形態素解析を行う。これにより、文脈や単語の意味を反映させて認識させることができる。
〔変形例〕
上述のように、文字入力装置100は、タッチパネル上に描かれた手書き文字c1を文字認識することにより、文字を入力する装置である。しかし、手書き文字c1の入力方法は、タッチパネルからに限定されない。例えば、あらかじめ保存されている手書き文字c1の画像データを、記憶媒体から手書き文字入力部111が読み込んでもよい。
手書き文字c1の画像データは、例えば、文字が手書きされた紙をスキャンして読み取ったものでもよい。なお、画像データの場合、書き順や入力スピードなどのデータが取得できない。したがって、タッチパネルからリアルタイムに取得する方が、取得できる情報量が多いため、精度の高い文字認識結果を提示できる可能性が高い。
また、手書き文字c1をデータファイルから入力する場合、一部の文字が文字コードに変換済みである場合がある(図9(a))。この場合、文字入力装置100は、文字コードに変換されていない部分のみを手書き文字c1として、それを上述した処理によって文字コード(第一候補文字c2)に変換することができる。また、文字コードに変換済みの部分c11についても、手書き文字の画像データが利用できる場合には、文字コードに変換済みの部分を画像データに戻し、文字コードに変換されていない部分を含めて全体を文字c1として、それを上述した処理によって文字コードに変換することができる。これにより、例えば、本来2文字なのに、間違って1文字として文字コードに変換した場合や、その逆の場合に、文字コードへの変換をやり直すことができる。その際、手書き状態で1文字の範囲を指定できることが好ましい。
また、画像データに活字文字と手書き文字が含まれる場合、例えば、活字の文字が書かれた紙に、文字を手書きして、スキャンした画像データの場合、文字入力装置100は、活字文字c12についてはOCR(optical character reader)の手法を用いて文字コードc2′に変換し、手書き文字c1については上述した処理によって文字コード(第一候補文字c2)に変換することができる(図9(b))。
さらに、読み込んだ画像データや手書き文字に対しての再認識だけでなく、その上から手書きした手書き文字を認識し、その認識結果を上記読み込んだ画像データや手書き文字と置き換えてもよい。
〔実施の形態に含まれる構成(技術的手段)の組み合わせについて〕
上述した実施の形態に含まれる構成は、適宜組み合わせられることに注意する。すなわち、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
〔ソフトウェアによる実現例〕
最後に、文字入力装置100の各ブロック、特に文字入力部110、制御部120の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
後者の場合、文字入力装置100は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである文字入力装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、文字入力装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、文字入力装置100を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
このように、本明細書においては、手段とは必ずしも物理的手段を意味せず、各手段の機能がソフトウェアによって実現される場合も含む。また、1つの手段の機能が2つ以上の物理的手段により実現されてもよいし、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
本発明は、手書き文字を認識することにより文字入力を行う装置、例えば、タッチパネルのディスプレイを搭載したスマートフォン端末やタブレット端末に広く適用可能である。
100(100A、100B、100C) 文字入力装置
121(121C) 入力文字認識部(文字認識手段)
124 候補制御部(候補文字抽出手段)
125 文字入力表示設定部(文字確定手段)
128(128A、128B) ヒント情報認識部(ヒント情報認識手段)
c1 手書き文字
c2 第一候補文字(候補文字)
c3 次候補文字(候補文字)
c4 ヒント情報
c5 確定文字
c6 ヒント情報種類情報
c7 形態素解析結果(候補文字)
c8 次候補文字列(候補文字)
S12 文字認識ステップ
S17 ヒント情報認識ステップ
S18 候補文字抽出ステップ
S21 文字確定ステップ

Claims (7)

  1. 手書き文字を認識することにより文字入力を行う文字入力装置であって、
    手書き文字を認識して複数の認識文字を生成する文字認識手段と、
    上記文字認識手段が生成した認識文字から候補文字を抽出する候補文字抽出手段と、
    上記候補文字抽出手段が抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字を上記手書き文字に対応する確定文字として特定する文字確定手段と、
    手書き入力されたヒント情報を認識するヒント情報認識手段とを備え、
    上記候補文字抽出手段は、上記ヒント情報認識手段が認識したヒント情報に基づいて、上記認識文字からの上記候補文字の抽出を行うことを特徴とする文字入力装置。
  2. 上記文字確定手段は、連続して入力された複数の手書き文字に対応する複数の候補文字を一組にして提示することを特徴とする請求項1に記載の文字入力装置。
  3. 上記ヒント情報認識手段は、上記ヒント情報とともに、当該ヒント情報の種類を示すヒント情報種類情報を取得し、当該ヒント情報種類情報に基づいて当該ヒント情報を認識することを特徴とする請求項1または2に記載の文字入力装置。
  4. 上記ヒント情報種類情報は、漢字の読み、漢字の部首、文字種、および文字の大小の少なくともいずれか1つであることを特徴とする請求項3に記載の文字入力装置。
  5. 手書き文字を認識することにより文字入力を行う文字入力装置の制御方法であって、
    手書き文字を認識して複数の認識文字を生成する文字認識ステップと、
    手書き入力されたヒント情報を認識するヒント情報認識ステップと、
    上記ヒント情報認識ステップにて認識したヒント情報に基づいて、上記文字認識ステップにて生成した認識文字から候補文字を抽出する候補文字抽出ステップと、
    上記候補文字抽出ステップにて抽出した候補文字をユーザに提示し、ユーザによって選択された候補文字を上記手書き文字に対応する確定文字として特定する文字確定ステップとを含むことを特徴とする文字入力装置の制御方法。
  6. 請求項1から4のいずれか1項に記載の文字入力装置を動作させるための制御プログラムであって、コンピュータを前記各手段として機能させるための制御プログラム。
  7. 請求項6に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012083824A 2012-04-02 2012-04-02 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体 Pending JP2013214187A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012083824A JP2013214187A (ja) 2012-04-02 2012-04-02 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012083824A JP2013214187A (ja) 2012-04-02 2012-04-02 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
JP2013214187A true JP2013214187A (ja) 2013-10-17

Family

ID=49587469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012083824A Pending JP2013214187A (ja) 2012-04-02 2012-04-02 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP2013214187A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063176A (zh) * 2014-06-25 2014-09-24 哈尔滨工业大学深圳研究生院 手写序列可编辑的连续手写输入方法与***
JP2018530051A (ja) * 2015-08-25 2018-10-11 マイスクリプト 手書き入力をガイドするシステムおよび方法
US20230266875A1 (en) * 2020-08-31 2023-08-24 Kiyoshi Kasatani Display apparatus, input method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063176A (zh) * 2014-06-25 2014-09-24 哈尔滨工业大学深圳研究生院 手写序列可编辑的连续手写输入方法与***
JP2018530051A (ja) * 2015-08-25 2018-10-11 マイスクリプト 手書き入力をガイドするシステムおよび方法
US20230266875A1 (en) * 2020-08-31 2023-08-24 Kiyoshi Kasatani Display apparatus, input method, and program

Similar Documents

Publication Publication Date Title
US20210406578A1 (en) Handwriting-based predictive population of partial virtual keyboards
JP4749468B2 (ja) 電子デバイスにおける手書き文字認識
JP4095050B2 (ja) 文字認識装置及び方法
JP4413868B2 (ja) 文字入力装置、該文字入力装置を備えた複写機、文字入力方法、制御プログラム、および、記録媒体
JP5947887B2 (ja) 表示制御装置、制御プログラム、および表示装置の制御方法
TW200538969A (en) Handwriting and voice input with automatic correction
JP2003162687A (ja) 手書き文字入力装置、手書き文字認識プログラム
JP2005508031A (ja) 部首に基づいた、適合化可能な画の書き順システム
US20190196712A1 (en) Systems and Methods for Facilitating Data Entry into Small Screen Electronic Devices
WO2006115825A2 (en) Abbreviated handwritten ideographic entry phrase by partial entry
JP4890551B2 (ja) 文字変換装置、文字変換装置の制御方法
JP4661924B2 (ja) 辞書機能を備えた電子機器およびプログラム
JP2013214187A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体
JP2008090624A (ja) 入力文字編集装置、入力文字編集方法、入力文字編集プログラム、および記録媒体
US20130073572A1 (en) Method of learning character segments from received text, and associated handheld electronic device
KR100506231B1 (ko) 터치 스크린을 구비한 단말기에서 문자 입력 장치 및 방법
JP2007213615A (ja) タッチ式キー入力装置、タッチ式キー入力方法およびプログラム
JP4646512B2 (ja) 電子機器および電子辞書装置
JP5141130B2 (ja) 辞書機能を有する電子機器及びプログラム
CN111966267A (zh) 应用评论方法、装置和电子设备
WO2017098869A1 (ja) 個人辞書作成プログラム、個人辞書作成方法及び個人辞書作成装置
JPH07302306A (ja) 文字入力装置
CA2658586C (en) Learning character segments from received text
CA2653823C (en) Method of learning a context of a segment of text, and associated handheld electronic device
JP2003308484A (ja) 手書き文字認識装置及び方法