JP6040970B2

JP6040970B2 - 文字入力システム、文字入力方法、情報処理装置、携帯端末装置及び文字入力プログラム

Info

Publication number: JP6040970B2
Application number: JP2014169947A
Authority: JP
Inventors: 征平市山; 洋一来正
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2014-08-22
Filing date: 2014-08-22
Publication date: 2016-12-07
Anticipated expiration: 2034-08-22
Also published as: CN105391892B; CN105391892A; US20160057297A1; JP2016045745A; US9398180B2

Description

この発明は、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置であるＭＦＰ（Multi Function Peripherals）やパーソナルコンピュータ等の情報処理装置と、スマートフォンやタブレット端末等の携帯端末装置とを備えた文字入力システム、同システムで実行される文字入方法、情報処理装置、携帯端末装置及び文字入力プログラムに関する。

上述したような画像処理装置等の情報処理装置として、タッチパネルを備えた表示部に文字入力エリアを有する画面を表示し、ユーザーが文字入力エリアに文字列を入力して実行キーを押すことにより、所定の処理が実行されるものが知られている。例えば、装置の使用時にユーザー名やパスワードの入力画面にユーザー名等の文字を入力してログインする場合や、文字列を入力して検索する場合などである。

このような文字入力エリアへの文字入力は、従来では次のような方法で行われていた。

即ち、図１２の上図に示すように、情報処理装置３００の表示部３１０に表示された画面Ｄ６において、文字入力エリア３２１ａ、３２１ｂまたはキーボード表示キー３２２を押下（タッチ）すると、図１２の下図に示すように、装置に固有に実装された文字入力ツールとしてのソフトウェアキーボード３２３が文字入力エリア３２１ａ、３２１ｂと共に表示された画面Ｄ７に遷移し、このキーボード３２３の文字キーをタッチすることで、文字入力エリアに文字を入力していた。

しかし、この方法では、表示された文字入力ツール３２３がユーザーが使い慣れた文字入力ツールとは異なり、情報処理装置３００のメーカー独自の文字入力ツールであることから、使い勝手がよくないという問題がある。

そこで、装置固有の文字入力ツール３２３を使用しなくてもよい文字入力方法として、ユーザーが普段使用しているスマートフォンやタブレット端末等の携帯端末装置上で文字入力を行うことで、情報処理装置の文字入力エリアに文字を入力する第１の技術が知られている。

より詳細に説明すると、図１２の下図と同様にして、情報処理装置３００の表示部３１０に、文字入力エリア３２１ａ、３２１ｂと装置独自の文字入力ツールであるキーボード３２３を有する画面を表示させた状態で、情報処理装置と携帯端末装置とを無線等により接続する。そして、画面内に表示された携帯端末装置用の文字入力補助ソフトウェア（ＩＭＥ：Input Method Editor）の起動キー（図示せず）を押下すると、携帯端末装置の表示部には、ユーザーが使い慣れたＩＭＥに基づく文字入力ツールが表示される。情報処理装置の表示画面には、携帯端末装置でＩＭＥが起動されていることが表示される。

ユーザーは携帯端末装置に表示された使い慣れた文字入力ツールを使用して文字を入力したのち、入力文字を確定すると、確定された文字列が情報処理装置に送信される。情報処理装置は、携帯端末装置から受信した確定文字列を文字入力エリアに入力する、というものである。

また、情報処理装置側からの操作により携帯端末装置側の宛先データを情報処理装置に送信し、情報処理装置で表示可能なデータに変換した後、情報処理装置の表示部の任意のエリアに表示する第２の技術も知られている。ここでいう宛先データとは、携帯端末装置に記憶してある宛先名やメールアドレス等の情報である。

また、特許文献１には、リモート端末から送信される画面情報をオブジェクト単位で扱うことができる情報処理システムとして、複数のオブジェクトが描画された画面イメージと、前記複数のオブジェクトそれぞれが描画される前記画面イメージ上の領域を示す描画領域情報とを送信する一つ以上のリモート装置と、前記一つ以上のリモート装置とネットワークを介して接続され、前記一つ以上のリモート装置から、前記画面イメージと前記描画領域情報とを受信し、受信した描画領域情報に基づき、受信した画面イメージから前記複数のオブジェクトそれぞれに対応する画像を切り出し、前記切り出した複数のオブジェクトの画像を表示画面上に表示するローカル端末とを具備することを特徴とする情報処理システムが提案されている。

特開２０１０−１４６５０４号公報

しかしながら、上述した第１の技術では、情報処理装置からの操作で携帯端末装置の表示部に携帯端末装置側の文字入力ツールを表示させたのち、この文字入力ツールを用いて携帯端末装置上で文字を入力し、入力後は情報処理装置に文字が入力されているかを確認する必要があるため、情報処理装置と携帯端末装置間で頻繁な目線の移動が発生し、使い勝手が良くないという問題がある。さらには、情報処理装置から携帯端末装置に対するＩＭＥ起動操作と携帯端末装置側での文字入力操作が必要であり、操作が煩雑になるという問題もある。

また、情報処理装置からの操作により携帯端末装置側の宛先データを情報処理装置に送信し、情報処理装置で表示可能なデータに変換した後、情報処理装置の表示部の任意のエリアに表示する上述した第２の技術では、携帯端末装置側の宛先データの選択操作やフリッグ操作が情報処理装置上で一貫してできるようになることが考えられるが、携帯端末装置側のＩＭＥに基づく文字入力ツールを情報処理装置で表示できないため、普段使い慣れた文字入力ツールを情報処理装置の画面上に表示させることはできないという問題がある。

また、特許文献１に記載の技術では、携帯端末装置側のオブジェクトを情報処理装置側で表示させるだけの機能であり、携帯端末装置側の機能を利用することができないという問題がある。

この発明は、このような技術的背景に鑑みてなされたものであって、情報処理装置側での一貫した文字入力操作により情報処理装置と携帯端末装置との間の頻繁な視線の移動がなく、しかもユーザーが使い慣れている携帯端末装置の文字入力ツールを使用して文字入力を行うことができる使い勝手の良い文字入力システム、文字入力方法、情報処理装置及び携帯端末装置を提供し、さらには情報処理装置及び携帯端末装置に文字入力処理を実行させるための文字入力プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）相互に接続可能な情報処理装置と携帯端末装置とを備えた文字入力システムであって、前記情報処理装置は、タッチパネルを有し、少なくとも文字を入力するための文字入力エリアを表示する表示手段と、前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求手段と、前記携帯端末装置から前記文字入力ツールの画像を受信する受信手段と、前記受信手段により受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、自装置に搭載された前記文字入力ツールの画像を取得する画像取得手段と、前記画像取得手段により取得された文字入力ツールの画像を、前記情報処理装置に送信する送信手段と、前記情報処理装置から前記タッチキー情報を受信する受信手段と、前記受信手段により受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定手段と、を備え、前記携帯端末装置の前記画像取得手段は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信手段は、取得された画像を前記情報処理装置に送信するとともに、前記文字特定手段により文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信し、前記情報処理装置の表示制御手段は、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに入力表示することを特徴とする文字入力システム。
（２）前記携帯端末装置の送信手段は、前記文字情報を前記文字入力ツールの画像と同時に前記情報処理装置に送信する前項１に記載の文字入力システム。
（３）前記携帯端末装置は前記文字入力ツールの画像を圧縮する圧縮手段を備え、前記送信手段は、前記圧縮前の文字入力ツールの画像のサイズと圧縮された文字入力ツールの画像を前記情報処理装置に送信し、前記情報処理装置の表示制御手段は、前記圧縮された文字入力ツールの画像を伸張するとともに、前記表示手段の画面サイズに適した大きさに拡大して表示する前項１または２に記載の文字入力システム。
（４）前記情報処理装置は、前記タッチキー情報を前記文字入力ツールの画像の拡大比率に応じて補正するとともに、前記送信手段は補正後のタッチキー情報を前記携帯端末装置に送信する前項３に記載の文字入力システム。
（５）前記携帯端末装置は、文字入力ツールの画面状態が変化したときに変化した領域を特定する領域特定手段と、前記特定された領域のみを前記文字入力ツールの画像から切り出す切り出し手段を備え、前記送信手段は、前記切り出された領域の画像を該領域を示す領域情報とともに情報処理装置に送信し、前記情報処理装置の表示制御手段は、前記携帯端末装置から受信した前記切り出された領域の画像を、現在表示されている文字入力ツールの画像の前記領域情報で示される領域に合成して表示する前項１〜４のいずれかに記載の文字入力システム。
（６）前記携帯端末装置は、前記文字入力ツールに対応可能か否かを前記情報処理装置に問い合わせる問い合わせ手段を備え、前記情報処理装置は、前記携帯端末装置からの問い合わせに応じて、文字入力ツールに対応可能か否かを判定する判定手段を備え、前記携帯端末装置は、前記情報処理装置の判定手段により、文字入力ツールに対応不可能と判定された場合に、自装置に搭載されている文字入力ツールの中から、情報処理装置での対応が可能となる文字入力ツールに切り替えて、その文字入力ツールの画像を前記情報処理装置に送信する前項１〜５のいずれかに記載の文字入力システム。
（７）前記携帯端末装置は、前記文字特定手段により特定された文字キーがタッチされたときの入力音を抑制する抑制手段を備え、前記情報処理装置は、前記文字情報で示される文字に対応するキーに応じた反応音を発生させる音発生手段を備えている前項１〜６のいずれかに記載の文字入力システム。
（８）前記携帯端末装置は、使用される文字入力ツールの種類を前記情報処理装置に通知し、前記情報処理装置の表示制御手段は、前記携帯端末装置との接続が切断された場合に、前記通知された文字入力ツールの種類に対応する自装置の文字入力ツールを表示する前項１〜７のいずれかに記載の文字入力システム。
（９）相互に接続可能な情報処理装置と携帯端末装置とを備えた文字入力システムで実行される文字入力方法であって、前記情報処理装置は、少なくとも文字を入力するための文字入力エリアをタッチパネルを有する表示手段に表示するステップと、前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求ステップと、前記携帯端末装置から前記文字入力ツールの画像を受信する受信ステップと、前記受信ステップにより受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御ステップと、前記表示手段に表示された前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信ステップと、を実行し、前記携帯端末装置は、自装置に搭載された前記文字入力ツールの画像を取得する画像取得ステップと、前記画像取得ステップにより取得された文字入力ツールの画像を、前記情報処理装置に送信する送信ステップと、前記情報処理装置から前記タッチキー情報を受信する受信ステップと、前記受信ステップにより受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定ステップと、を実行し、前記携帯端末装置の前記画像取得ステップでは、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信ステップでは、取得された画像を前記情報処理装置に送信するとともに、前記文字特定ステップにより文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信し、前記情報処理装置の表示制御ステップでは、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに入力表示することを特徴とする文字入力方法。
（１０）携帯端末装置と接続するための接続手段と、タッチパネルを有し、少なくとも文字を入力するための文字入力エリアを表示する表示手段と、前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求手段と、前記携帯端末装置から前記文字入力ツールの画像を受信する受信手段と、前記受信手段により受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信手段と、を備え、前記受信手段は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに前記携帯端末装置により取得された前記文字入力ツールの画像を、前記携帯端末装置から受信するとともに、前記携帯端末装置により前記タッチキー情報に基づいて特定された、タッチされた文字キーに対応する文字を示す文字情報を、前記携帯端末装置から受信し、前記表示制御手段は、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに入力表示することを特徴とする情報処理装置。
（１１）前記受信手段は、圧縮前の文字入力ツールの画像のサイズと圧縮された文字入力ツールの画像を、前記携帯端末装置から受信し、前記表示制御手段は、前記圧縮された文字入力ツールの画像を伸張するとともに、前記表示手段の画面サイズに適した大きさに拡大して表示する前項１０に記載の情報処理装置。
（１２）前記タッチキー情報を前記文字入力ツールの画像の拡大比率に応じて補正するとともに、前記送信手段は補正後のタッチキー情報を前記携帯端末装置に送信する前項１０または１１に記載の情報処理装置。
（１３）前記受信手段は、前記携帯端末装置により前記文字入力ツールの画像から切り出された、文字入力ツールの画面状態が変化した領域の画像を該領域を示す領域情報とともに受信し、前記表示制御手段は、前記受信した前記切り出された領域の画像を、現在表示されている文字入力ツールの画像の前記領域情報で示される領域に合成して表示する前項１０〜１２のいずれかに記載の情報処理装置。
（１４）前記携帯端末装置からの問い合わせに応じて、文字入力ツールに対応可能か否かを判定する判定手段を備え、前記送信手段は、前記判定手段による判定結果を前記携帯端末装置に送信する前項１０〜１３のいずれかに記載の情報処理装置。
（１５）前記携帯端末装置における文字キーがタッチされたときは、前記文字情報で示される文字に対応するキーに応じた反応音を発生させる音発生手段を備えている前項１０〜１４のいずれかに記載の情報処理装置。
（１６）前記携帯端末装置との接続が切断された場合、前記表示制御手段は、前記携帯端末装置から通知され携帯端末装置で使用される文字入力ツールの種類に対応する情報処理装置の文字入力ツールを表示する前項１０〜１５のいずれかに記載の情報処理装置。
（１７）情報処理装置と接続するための接続手段と、前記情報処理装置と接続された状態で、前記情報処理装置からの要求に基づいて、自装置に搭載された複数の文字キーを有する文字入力ツールの画像を取得する画像取得手段と、前記画像取得手段により取得された文字入力ツールの画像を前記情報処理装置に送信する送信手段と、前記送信手段により前記情報処理装置に送信され、文字入力エリアと共に情報処理装置の表示手段に表示された前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたときに情報処理装置から送信されるタッチキー情報を受信する受信手段と、前記受信手段により受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定手段と、を備え、前記画像取得手段は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信手段は、取得された文字入力ツールの画像を前記情報処理装置に送信するとともに、前記文字特定手段により文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信することを特徴とする携帯端末装置。
（１８）前記送信手段は、前記文字情報を前記文字入力ツールの画像と同時に前記情報処理装置に送信する前項１７に記載の携帯端末装置。
（１９）前記文字入力ツールの画像を圧縮する圧縮手段を備え、前記送信手段は、前記圧縮手段による圧縮前の文字入力ツールの画像のサイズと圧縮された文字入力ツールの画像を前記情報処理装置に送信する前項１７または１８に記載の携帯端末装置。
（２０）文字入力ツールの画面状態が変化したときに変化した領域を特定する領域特定手段と、前記特定された領域のみを前記文字入力ツールの画像から切り出す切り出し手段を備え、前記送信手段は、前記切り出された領域の画像を該領域を示す領域情報とともに情報処理装置に送信する前項１７〜１９のいずれかに記載の携帯端末装置。
（２１）前記文字入力ツールに対応可能か否かを前記情報処理装置に問い合わせる問い合わせ手段を備え、前記問い合わせ手段による問い合わせに応じて、前記情報処理装置により文字入力ツールに対応不可能と判定された場合に、自装置に搭載されている文字入力ツールの中から、情報処理装置での対応が可能となる文字入力ツールに切り替えて、その文字入力ツールの画像を前記情報処理装置に送信する前項１７〜２０のいずれかに記載の携帯端末装置。
（２２）前記文字特定手段により特定された文字キーがタッチされたときの入力音を抑制する抑制手段を備えている前項１７〜２１のいずれかに記載の携帯端末装置。
（２３）使用される文字入力ツールの種類を前記情報処理装置に通知する前項１７〜２２のいずれかに記載の携帯端末装置。
（２４）携帯端末装置と接続する接続ステップと、少なくとも文字を入力するための文字入力エリアを、タッチパネルを有する表示手段に表示するステップと、前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求ステップと、前記携帯端末装置から前記文字入力ツールの画像を受信する受信ステップと、前記受信ステップにより受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御ステップと、前記表示手段に表示された前記文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信ステップと、を情報処理装置のコンピュータに実行させ、前記受信ステップでは、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに前記携帯端末装置により取得された文字入力ツールの画像を、前記携帯端末装置から受信するとともに、前記携帯端末装置により前記タッチキー情報に基づいて特定された、タッチされた文字キーに対応する文字を示す文字情報を、前記携帯端末装置から受信し、前記表示制御ステップでは、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに表示する処理を、前記コンピュータに実行させるための文字入力プログラム。
（２５）情報処理装置と接続するための接続ステップと、前記情報処理装置と接続された状態で、前記情報処理装置からの要求に基づいて、自装置に搭載された複数の文字キーを有する文字入力ツールの画像を取得する画像取得ステップと、前記画像取得ステップにより取得された文字入力ツールの画像を前記情報処理装置に送信する送信ステップと、前記送信ステップにより前記情報処理装置に送信され、文字入力エリアと共に情報処理装置の表示手段に表示された前記文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときに情報処理装置から送信されるタッチキー情報を受信する受信ステップと、前記受信ステップにより受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定ステップと、を携帯端末装置のコンピュータに実行させ、前記画像取得ステップでは、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信ステップでは、取得された文字入力ツールの画像を前記情報処理装置に送信するとともに、前記文字特定ステップにより文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信する処理を、前記コンピュータに実行させるための文字入力プログラム。

前項（１）に記載の発明によれば、携帯端末装置は、情報処理装置からの要求に基づいて、自装置に搭載されている複数の文字キー有する文字入力ツールの画像を情報処理装置に送信すると、この文字入力ツールの画像を受信した情報処理装置は、画像を文字入力エリアと共に表示手段に表示する。情報処理装置の表示手段に表示された文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報が携帯端末装置に送信される。携帯端末装置は受信したタッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する。

また、携帯端末装置は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、文字入力ツールの画像を取得して情報処理装置に送信する。また、文字特定手段により文字が特定されたときは、該文字を示す文字情報を情報処理装置に送信する。情報処理装置は、携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、携帯端末装置から文字情報を受信したときは、文字情報で示される文字を文字入力エリアに入力表示する。

このように、情報処理装置の表示手段に携帯端末装置側の文字入力ツールの画像が表示された状態で、ユーザーが文字キーをタッチすることにより、情報処理装置側の文字入力エリアに文字が入力される。このため、ユーザーは携帯端末装置での文字入力操作を必要とすることなく、情報処理装置の文字入力操作のみで文字入力エリアに文字を入力できるから、携帯端末装置と情報処理装置間で視線の移動を生じることがない。しかも、情報処理装置の表示手段に表示される文字入力ツールの画像は、ユーザーが使い慣れた携帯端末装置に搭載された文字入力ツールの画像であるから、携帯端末装置の文字入力ツールを使用して文字入力を行うことができことになり、極めて使い勝手の良い文字入力システムとなる。

前項（２）に記載の発明によれば、特定された文字を示す文字情報は、文字入力ツールの画像と同時に携帯端末装置から情報処理装置に送信されるから、文字情報と文字入力ツールの画像とを効率よく情報処理装置に送信することができる。

前項（３）に記載の発明によれば、文字入力ツールの圧縮前の画像のサイズと圧縮された画像を情報処理装置に送信し、情報処理装置は、圧縮されたキャプチャ画像を伸張し、さらに表示手段の画面サイズに適した大きさに拡大して表示するから、文字入力ツールの画像の通信量を抑制しながら、適正サイズの画像を情報処理装置に表示することができる。

前項（４）に記載の発明によれば、情報処理装置はタッチキー情報を文字入力ツールの画像の拡大比率に応じて補正するとともに、補正後のタッチキー情報を携帯端末装置に送信するから、適正なタッチ情報が携帯端末装置に送られる。

前項（５）に記載の発明によれば、文字入力ツールの画面状態が変化したときに、変化した領域のみの画像と該領域を示す領域情報が情報処理装置に送信され、情報処理装置では、携帯端末装置から受信した前記画像を、現在表示されている文字入力ツールの画像の前記領域情報で示される領域に合成して表示するから、変化しない領域を含む文字入力ツールの全体の画像を送信する場合に較べて、通信量を抑制することができ通信時間も短くてすむ。

前項（６）に記載の発明によれば、情報処理装置が携帯端末装置の文字入力ツールに対応できない場合は、携帯端末装置に搭載されている文字入力ツールの中から、情報処理装置で対応可能な文字入力ツールに切り替えて、その画像が情報処理装置に送信されるから、情報処理装置での文字入力を確実に行うことができる文字入力ツールを用いることができる。

前項（７）に記載の発明によれば、情報処理装置に表示された文字入力ツールの文字キーがタッチされたとき、携帯端末装置で入力音が発生するのを抑制し、情報処理装置でタッチされた文字キーに対応する反応音を発生させることにより、あたかも情報処理装置に搭載された文字入力ツールを使用しているかのような操作感をユーザーに感じさせることができ、ますます使い勝手の良いものとなる。

前項（８）に記載の発明によれば、携帯端末装置は、使用される文字入力ツールの種類を情報処理装置に通知し、情報処理装置は携帯端末装置との接続が切断された場合に、前記通知された文字入力ツールの種類に対応する自装置搭載の文字入力ツールを表示するから、携帯端末装置との接続切断後もユーザーはスムーズな文字入力操作を継続することができる。

前項（９）に記載の発明によれば、ユーザーは携帯端末装置での文字入力操作を必要とすることなく、情報処理装置の文字入力操作のみで文字入力エリアに文字を入力できるから、携帯端末装置と情報処理装置間で視線の移動を生じることがないうえ、情報処理装置の表示手段に表示される文字入力ツールの画像は、ユーザーが使い慣れた携帯端末装置に搭載された文字入力ツールの画像であるから、携帯端末装置の文字入力ツールを使用して文字入力を行うことができ、使い勝手を向上することができる。

前項（１０）に記載の発明によれば、情報処理装置の文字入力操作のみで文字入力エリアに文字を入力でき、しかも携帯端末装置の文字入力ツールを使用して情報処理装置への文字入力を行うことができる文字入力システムに好適な情報処理装置となる。

前項（１７）に記載の発明によれば、情報処理装置の文字入力操作のみで文字入力エリアに文字を入力でき、しかも携帯端末装置の文字入力ツールを使用して情報処理装置への文字入力を行うことができる文字入力システムに好適な携帯端末装置となる。

前項（２４）に記載の発明によれば、携帯端末装置の文字入力ツールを使用して情報処理装置への文字入力が行えるようにするための処理を、情報処理装置のコンピュータに実行させることができる。

前項（２５）に記載の発明によれば、携帯端末装置の文字入力ツールを使用して情報処理装置への文字入力が行えるようにするための処理を、携帯端末装置のコンピュータに実行させることができる。

この発明の一実施形態に係る文字入力システムの構成図である。情報処理装置の要部のブロック図である。携帯端末装置の構成を示すブロック図である。図１に示した文字入力システムにおいて、情報処理装置と携帯端末装置との間のデータのやりとりを示す図である。情報処理装置の動作を説明するための図である。携帯端末装置の動作を説明するための図である。携帯端末装置の文字入力ツールの画像を示す図である。図７の文字入力ツールの画像を情報処理装置の表示部に表示したときの画面を示す図である。携帯端末装置の文字入力ツールの画像が変化することを説明するための図である。情報処理装置の動作を示すフローチャートである。携帯端末装置の動作を示すフローチャートである。従来の文字入力方法を説明するための図である。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る文字入力システムの構成図である。

この文字入力システムは、情報処理装置としての画像処理装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２とを備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２とは近距離無線通信により直接に接続される構成であってもよい。符号５はネットワーク４に接続されたパーソナルコンピュータである。

この実施形態では、情報処理装置として画像処理装置１が用いられているが、パーソナルコンピュータやその他の情報処理装置であっても良い。

また、この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末または単に端末とも記す。

図２はＭＦＰ１の要部を示すブロック図である。図２に示すように、ＭＦＰ１はＭＦＰ本体システム制御部１００、パネルＣＰＵ１１０、ＲＯＭ１２０、ＲＡＭ１３０、ＬＣＤ制御部１４０、ＶＲＡＭ１５０、ＬＣＤパネル部１６０、ハードキー操作部１７０、入出力制御部１８０及び接続部１９０を備えている。

ＭＦＰ本体システム制御部１００はＭＦＰ１の全体を統括制御するものであり、メインＣＰＵ（図示せず）を備え、ユーザ操作に基づいて、コピー機能、プリント機能、ファクシミリ機能、スキャン機能等の各種機能を実行する。

パネルＣＰＵ１１０は、ＭＦＰ本体システム制御部１００と通信を行いながら、操作系全体の制御を行うものである。ＲＯＭ１２０は、パネルＣＰＵ１１０が実行する動作プログラムや、ＬＣＤパネル部１６０に表示される画面データを含む表示画像データ等を記憶している。また、ＲＡＭ１３０は、パネルＣＰＵ１１０がＲＯＭ１２０に格納されている動作プログラムに従って動作する際の作業領域を提供する。

ＬＣＤ制御部１４０は、ＶＲＡＭ１５０のリードライト制御を行い、ＬＣＤパネル部１６０の表示制御を行っている。具体的には、ＲＯＭ１２０に記憶された画像データを、パネルＣＰＵ１１０の指示に基づいてＶＲＡＭ１５０に記憶させた後、それを読み出してＬＣＤパネル部１６０に出力し表示させる。

ＬＣＤパネル部１６０は、液晶（ＬＣＤ）タッチパネルからなる表示装置であり、各種の画面やメッセージ等を表示する。特にこの実施形態では、ログイン時にユーザー名やパスワード等の文字を入力するための文字入力エリアや、検索のための文字入力エリア等を表示する。

ハードキー操作部１７０は、スタートキー、テンキー、パネルリセットキー等で構成される複数のハードキーや、ＭＦＰ１の状態を示すＬＥＤや、ハードキーまたはＬＣＤパネル部１６０で入出力が行われた旨をユーザに通知するためのブザー等から構成されている。

入出力制御部１８０は、ＬＣＤパネル部１６０をユーザが直接タッチしたときに、タッチされたことを検出してそのタッチ位置を判断し、画面に表示された機能項目のうちどの機能項目が選択されたか等をパネルＣＰＵ１１０に通知し、機能設定等の入出力制御を行う。また、入出力制御部１８０はハードキー操作部１７０を制御し、必要に応じてパネルＣＰＵ１１０を介してＭＦＰ本体システム制御部１００との通信を行う。

なお、ＭＦＰ１においては、ハードキー操作部１７０内のスタートキーが押下されると、その旨が入出力制御部１８０、パネルＣＰＵ１１０を介してＭＦＰ本体システム制御部１００に送信され、一連の複写動作が開始される。

接続部１９０は、携帯端末２との接続を行うためのインターフェースである。携帯端末２との接続により双方向のデータ通信が可能となる。

図３は、前記携帯端末２の構成を示すブロック図である。

携帯端末２は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、記憶部２４と、表示部２５と、タッチパネル２６と、通信インターフェース（通信ＩＦ）２７と、カメラ２８等を備えている。

前記ＣＰＵ２１は、オペレーティングシステム（単にＯＳともいう）、ＭＦＰ１と接続するためのアプリケーション（単にアプリともいう）、文字入力補助ソフトウェア（ＩＭＥ）、その他各種のアプリ等に基づいて、携帯端末２の全体を統括的に制御するが、具体的な制御内容については後述する。

前記ＲＯＭ２２は、前記ＣＰＵ２１の動作プログラム等が格納されているメモリであり、ＲＡＭ２３は、前記ＣＰＵ２１が動作プログラムを実行する際の作業領域を提供するメモリである。

前記記憶部２４は、前記ＯＳ、ＭＦＰ１との接続用アプリ、ＩＭＥその他のデータを保存するメモリである。

表示部２５は、ウェブページの画像またはカメラ撮影画像等の各種の画像、ユーザーに対する操作画面、メッセージ、文字を入力するためのＩＭＥに基づくソフトウェアキーボード等の文字入力ツール等を表示したり、ユーザー操作に使用されるものであり、液晶等の表示デバイスにより構成されている。また、タッチパネル２６は表示部２５の画面上に設けられ、ユーザーのジェスチャ操作を含むタッチ操作を検出して、タッチされた座標等を特定するものである。

前記通信インターフェース２７は、電話回線を通じて通話を行ったり、アクセスポイントを介して無線通信によりＭＦＰ１等とデータの送受を行うためのものである。前記カメラ２８は、各種の被写体を撮影するものである。

次に、図１に示した文字入力システムの動作の概要を、ＭＦＰ１と携帯端末２との間のデータのやりとりを示す図４を参照して説明する。

まず、ＭＦＰ１と携帯端末２との通信を確立した後（丸数字１）、ＭＦＰ１から携帯端末２へ文字入力ツールを要求する（丸数字２）。携帯端末２は、要求を受けて自装置に搭載されているＩＭＥを起動し該ＩＭＥに基づく文字入力ツールの画面をキャプチャ（スナップショット）し、得られた文字入力ツールの画像をＭＦＰ３に送信する（丸数字３）。この文字入力ツールは、携帯端末２においてユーザーが使い慣れたツールである。

ＭＦＰ１は携帯端末２から文字入力ツールの画像を受信すると、これをＬＣＤパネル部１６０に表示する。ユーザーがＬＣＤパネル部１６０に表示された文字入力ツール上の文字キーをタッチ（押下）すると、タッチされたキーの座標等を示すタッチキー情報が携帯端末２に送信される（丸数字４）。

携帯端末２はＭＦＰ１からのタッチキー情報を解析し、タッチされた文字キーに対応する文字を特定し、その文字を示す文字情報（文字コード）をＭＦＰ１に送信する（丸数字５）。ＭＦＰ１は受信した文字情報で示される文字を文字入力エリアに入力表示する。

また、携帯端末２側の文字入力ツールにおける文字キーがタッチされると、文字入力ツールの画面状態が変化するが、ＭＦＰ１に表示される文字入力ツールの画像においてもこれを実現させるため、携帯端末２はＭＦＰ１からキータッチ情報を受信するたびに、あるいは文字入力ツールの画面状態が変化するたびに、文字入力ツールのキャプチャ画像を取得してＭＦＰ１へ送信する（丸数字６）。ＭＦＰ１は文字入力ツールの画像を受信するたびに、ＬＣＤパネル部１６０における文字入力ツールの表示を更新する。

このようにして、ＭＦＰ１側での一貫した文字入力操作でありながら、ユーザーが使い慣れた携帯端末２側の文字入力ツールを用いて、文字入力を行うことができる。

次に、ＭＦＰ１及び携帯端末２のそれぞれの動作について説明する。

まず、図５上図に示すように、ＭＦＰ１のＬＣＤパネル部１６０に文字入力エリアを有する入力画面を表示する。図５の例では、ユーザー名の入力エリア１６１ａとパスワードの入力エリア１６１ｂを有する入力画面Ｄ１が表示されている。

次いで、ユーザーは携帯端末２のＭＦＰ接続アプリを起動し、ＭＦＰ１と携帯端末２とを接続する。接続は図６上図に示すように、接続用情報の入力エリア２５１を有する携帯端末２との接続画面Ｄ３において、ＭＦＰ１のＩＰアドレスと識別番号等を入力し、「ＯＫ」ボタンを押すことにより行う。

次に、ユーザーは、図５に示したＭＦＰ１の入力画面Ｄ１において、例えば文字入力エリア１６１ａまたはその横のアイコン１６２をタッチすると、図５下図に示すように、文字入力エリア１６１ａ、１６１ｂが画面上部に表示され、その下方にソフトウェアキーボードからなる文字入力ツール１６３が表示された画面Ｄ２に遷移する。表示された文字入力ツール１６３はＭＦＰ１に搭載されたＭＦＰ独自のＩＭＥに基づく文字入力ツールであり、ユーザーにとって使い慣れていないものである。また、文字入力ツール１６３の下部領域に重なって、携帯端末用ＩＭＥ起動キー１６４と、文字入力を中止するための中止キー１６５と、入力文字確定用のＯＫキー１６６が表示されている。

携帯端末用ＩＭＥ起動キー１６４は、携帯端末２に搭載されたＩＭＥを起動し、該ＩＭＥに基づく文字入力ツールの画像のＭＦＰ１への送信を、携帯端末２に要求するためのキーである。ユーザーが図５の画面Ｄ２において、携帯端末用ＩＭＥ起動キー１６４をタッチすると、上記要求がＭＦＰ１から携帯端末２へ送信される。

この要求を受信した携帯端末２は、ＭＦＰ接続用アプリに基づいて、自装置に搭載されているＩＭＥが起動するとともに、携帯端末２の表示部２５に、ＩＭＥに基づく文字入力ツール２５２を含む画面Ｄ４が表示される。図６の例では、表示されている文字入力ツール２５２が複数の文字キー有する日本語ソフトウェアキーボードである場合を示しているが、文字入力ツールは手書き入力用ツール、テンキー等であっても良い。

そして、携帯端末２は、現在表示されている文字入力ツール２５２のキャプチャ画像を取得し、ＭＦＰ１に送信する。文字入力ツールのキャプチャ画像の取得は、具体的には次のようにして行う。

即ち、携帯端末２は、表示部２５の画面をキャプチャした後、文字入力ツール２５２の領域のみを図７に示すように切り出す。そして、この切り出した文字入力ツール２５２の画像を、望ましくは通信量の抑制のために圧縮してＭＦＰ１に送信する。なお、キャプチャされる文字入力ツール２５２は、表示部２５に表示されている文字入力ツールとしたが、表示されなくても文字入力ツール２５２の画像を取得できる場合は、必ずしも画面表示される必要はない。

携帯端末２から文字入力ツール２５２の画像を受信したＭＦＰ１は、画像が圧縮されている場合はこれを伸張して、ＬＣＤパネル部１６０における元の文字入力ツール１６３の表示位置に表示する。この際、ＬＣＤパネル部１６０に文字入力ツール２５２がＬＣＤパネル部１６０に適正な大きさで表示されるように、伸張したキャプチャ画像をＬＣＤパネル部１６０の画面サイズに合わせて拡大して表示するのが良い。また、ＭＦＰ１が文字入力ツール２５２の拡大率を把握できるように、携帯端末２は文字入力ツール２５２の圧縮画像とともに、文字入力ツール２５２の圧縮前のサイズ情報も併せてＭＦＰ１に送信しておく。

ＭＦＰ１のＬＣＤパネル部１６０に、携帯端末２側の文字入力ツール２５２を表示した状態を図８に示す。この状態では、ユーザー名、パスワードの文字入力エリア１６１ａ、１６１ｂの下方に、携帯端末２の文字入力ツール２５２が表示され、さらに文字入力ツール２５２の下部領域に重なって、携帯端末用ＩＭＥ起動キー１６４、中止キー１６５、ＯＫキー１６６が表示されている。

ユーザーは、ＭＦＰ１に表示された携帯端末２側の文字入力ツール２５２を用いて文字入力を行う。文字入力ツール２５２上の文字キーがタッチされると、前述したように、タッチキー情報が携帯端末２に送信される。文字入力ツール２５２が拡大して表示されている場合は、ＭＦＰ１は拡大率に基づいてタッチキー情報を補正した上で携帯端末２に送信する。これにより、携帯端末装置２はタッチキー情報を補正することなく使用して、タッチキー情報に対応するタッチされた文字を正確に特定することができる。なお、ＭＦＰ１側でタッチキー情報を補正するのではなく、携帯端末２側で補正を行っても良い。

携帯端末２はタッチキー情報を受信すると、携帯端末２で文字キーがタッチ操作されたのと同様の処理が行われる。即ち、タッチキー情報を解析して対応する文字を特定する。そして、特定した文字を示す文字情報（文字コード）をＭＦＰ１に返信する。ＭＦＰ１は、この文字情報で示される文字を文字入力エリアに入力表示する。

なお、文字入力エリアへの文字入力は、この例のように、文字キーがタッチされる毎につまり一文字ずつ行われる構成としても良いし、複数の文字をユーザーの確定操作により一括して入力表示する構成であっても良い。

ＭＦＰ１に表示された文字入力ツール２５２において、文字キーがタッチされると、携帯端末２に表示されている文字入力ツール２５２も対応するキーがタッチされた状態となる。この場合、文字入力ツールの画面状態が変化することがある。例えば図９に示すように、日本語キーボードからアルファベットキーボードに表示を変更し、矢印で示すようにユーザーが「Ｉ」の文字キーをタッチすると、「Ｉ」についての複数の入力変換文字候補を有する表示部２５２ａが表示される場合がある。また、タッチされたことを示すため、タッチされたキーの色が変化する場合もある。

そこで、この実施形態では、このような文字入力ツール２５２の画面状態の変化が、ＭＦＰ１に表示されている文字入力ツール２５２にも反映されるようになっている。

具体的には、ユーザーがＭＦＰ１に表示された文字入力ツールの文字キーをタッチするたびに、換言すれば携帯端末２がタッチキー情報を受信するたびに、携帯端末１は対応する文字キーがタッチされたときの画面状態変化後の文字入力ツール２５２の画面をキャプチャし、文字入力ツール２５２の部分の画像を切り出してＭＦＰ１に送信する。なお、携帯端末２が文字入力ツール２５２の画面状態が変化したかどうかを判定し、変化したと判定したときに文字入力ツール２５２の画像をＭＦＰ１に送信しても良い。

ＭＦＰ１は、新たな文字入力ツール２５２の画像を受信するたびに、ＬＥＤ表示部１６０における文字入力ツール２５２の表示を更新する。

なお、携帯端末２は、文字入力ツール２５２の更新用の画像として、文字入力ツール２５２の全体の画像を送信するのではなく、変化部分のみ例えば図９の表示部２５２ａのみの画像を切り出して送信しても良い。これにより、通信量のさらなる低減を図ることができる。この際、携帯端末２は変化部分である表示部２５２ａの領域を特定するとともに、該領域を示す領域情報を併せて送信する。

ＭＦＰ１は、変化部分の画像と領域情報を受信すると、ＬＣＤ表示部１６０に現在表示されている文字入力ツール２５２における前記領域情報で示される領域に、変化部分の画像を合成して表示する。

また、携帯端末２に表示されている文字入力ツール２５２の文字キーにタッチした時に音が発生する場合は、これをＭＦＰ１側で実現しても良い。つまり、携帯端末２はＭＦＰ１からタッチキー情報を受信したときに、対応するキーがタッチされたときに発生する音を抑制する一方、ＭＦＰ１は文字情報を受信したときに、自装置の文字入力ツールにおいて対応する文字キーがタッチされたときの音と同じ反応音を発生させる構成としてもよい。

図１０は、ＭＦＰ１の動作を示すフローチャートである。この動作は、ＭＦＰ１のＭＦＰ本体システム制御部１００におけるメインＣＰＵやパネルＣＰＵ１１０が、ＲＯＭ１２０等に格納された動作プログラムに従って動作することにより実行される。

ステップＳ１０１では、携帯端末２との接続を確立したのち、ユーザーにより携帯端末用ＩＭＥ起動キー１６４がタッチされると、ステップＳ１０２で文字入力ツールを携帯端末２に要求する。

次に、ステップＳ１０３で、画像送信予定の文字入力ツールに対応可能か否かの携帯端末２からの問い合わせを待ち（ステップＳ１０３でＮＯ）、問い合わせがあると（ステップＳ１０３でＹＥＳ）、ステップＳ１０４で、対応可能か否かを判定する。例えば、ユーザーが外国語文字入力方式の文字入力ツールを携帯端末２に表示していた場合、その外国語文字に対応可能か否かを判定する。そして、ステップＳ１０５で、対応可能か否かの判定結果を携帯端末２に回答する。なお、対応不可であった場合は、自装置が対応可能な文字入力方式を携帯端末２に通知し、携帯端末２はＭＦＰ１が対応可能な他の文字入力ツールを使用する。

このように、ＭＦＰ１が携帯端末２の文字入力ツールに対応できない場合は、携帯端末２に搭載されている文字入力ツールの中から、ＭＦＰ１で対応可能な文字入力ツールに切り替えられるから、ＭＦＰ１での文字入力を確実に行うことができる文字入力ツールを使用することができる。

次に、ステップＳ１０６で、携帯端末２から、文字入力ツールの種類を受信した後、ステップＳ１０７で、文字入力ツールの画像が携帯端末２から送られてくるのを待つ（ステップＳ１０７でＮＯ）。文字入力ツールの画像を受信すると（ステップＳ１０７でＹＥＳ）、文字入力ツールの画像が圧縮されている場合は、ステップＳ１０８でこれを伸張したのち、ステップＳ１０９でＬＣＤパネル部１６０の表示画面サイズに応じて拡大し、ステップＳ１１０で、拡大した文字入力ツールをＬＣＤパネル部１６０に表示する。

次に、ステップＳ１１１で、文字入力ツールの文字キーがユーザーによりタッチされたかどうかを判断する。タッチされると（ステップＳ１１１でＹＥＳ）、ステップＳ１１２で、タッチ座標等のタッチキー情報を文字入力ツールの拡大率に基づいて補正したのち携帯端末２に送信し、ステップＳ１１３で、携帯端末２から文字情報を受信するのを待つ（ステップＳ１１３でＮＯ）。受信すると（ステップＳ１１３でＹＥＳ）、ステップＳ１１４で、文字情報で示される文字が自装置の文字入力ツールで押されたときに発生する音と同じ反応音を発生させた後、ステップＳ１１５で、文字情報で示される文字を文字入力エリアに入力表示する。次いでステップＳ１１６に進む。なお、ステップＳ１１１で、文字キーがタッチされていない場合も（ステップＳ１１１でＮＯ）、ステップＳ１１６に進む。

ステップＳ１１６では、文字入力ツールの新たな画像を受信したかどうかを調べ、受信した場合は（ステップＳ１１６でＹＥＳ）、ステップＳ１１７で、ＬＣＤパネル部１６０における文字入力ツール２５２の表示を更新した後、ステップＳ１１８に進む。ステップＳ１１６で、文字入力ツールの新たな画像を受信していない場合は（ステップＳ１１６でＮＯ）、そのままステップＳ１１８に進む。

ステップＳ１１８では、携帯端末２との通信が切断されたかどうかを判断する。切断されていなければ（ステップＳ１１８でＮＯ）、ステップＳ１２２で、ＯＫキー１６６がタッチされたかどうかを判断し、タッチされなければ（ステップＳ１２２でＮＯ）、ステップＳ１１１に戻る。ＯＫキー１６６がタッチされると（ステップＳ１２２でＹＥＳ）、ステップＳ１２３で文字入力エリアに入力された文字を確定し、文字入力を終了する。

ステップＳ１１８で、通信が切断されていれば（ステップＳ１１８でＹＥＳ）、ステップＳ１１９で、文字入力ツールを自装置の文字入力ツールに切り替えて表示する。この際、ＭＦＰ１は、ステップＳ１０６で携帯端末２から通知された文字入力ツールの種類に対応する文字入力ツールに切り替える。例えば、接続切断前に表示されていた文字入力ツールが日本語キーボードである場合は、切断後に、ＭＦＰ１に搭載されている日本語キーボードに切り替える。これにより、携帯端末２との接続切断後もユーザーはスムーズな文字入力操作を継続することができる。

次いで、ステップＳ１２０では、表示切替後の文字入力ツールにより従来の方法と同様にして文字入力処理が行われる。

ステップＳ１２１では、ＯＫキー１６６がタッチされたかどうかを判断し、タッチされなければ（ステップＳ１２１でＮＯ）、ステップＳ１２０に戻る。ＯＫキー１６６がタッチされると（ステップＳ１２１でＹＥＳ）、ステップＳ１２３で文字入力エリアに入力された文字を確定し、文字入力を終了する。

図１１は、携帯端末２の動作を示すフローチャートである。この動作は、携帯端末２のＣＰＵ２１が、ＲＯＭ２２等に格納された動作プログラムに従って動作することにより実行される。

ステップＳ２０１では、ＭＦＰ１との接続を確立した後、ステップＳ２０２で、ＭＦＰ１から文字入力ツールの要求がくるのを待ち（ステップＳ２０２でＮＯ）、要求がくると（ステップＳ２０２でＹＥＳ）、ステップＳ２０３で、自装置のＩＭＥを起動し、該ＩＭＥに基づくユーザーが使い慣れた文字入力ツール２５２を表示部２５に表示する。

次いでステップＳ２０４で、ＭＦＰ１へ文字入力ツールに対応可能かどうかの問い合わせを行う。ステップＳ２０５で、ＭＦＰ１から対応可能の回答があれば（ステップＳ２０５でＹＥＳ）、ステップＳ２０７に進む。ＭＦＰ１から対応不可の回答があった場合は（ステップＳ２０５でＮＯ）、ステップＳ２０６で、ＭＦＰ１から通知された文字入力方式を参照して、自装置に搭載されている他の文字入力ツールの中から、ＭＦＰ１が対応可能なものに変更し、表示部２５に表示したのち、ステップＳ２０７に進む。

ステップＳ２０７では、文字入力ツールの種類をＭＦＰ１に通知した後、ステップＳ２０８で、文字入力ツール２５２の表示画面をキャプチャし、ステップＳ２０９で、文字入力ツール２５２の部分のみを切り取り、ステップＳ２１０で画像を圧縮し、ステップＳ２１１でＭＦＰ１へ送信する。

次に、ステップＳ２１２で、ＭＦＰ１からタッチキー情報を受信したかどうかを判断し、受信していなければ（ステップＳ２１２でＮＯ）、受信するまで待つ。受信すると（ステップＳ２１２でＹＥＳ）、ステップＳ２１３で、タッチキー情報に基づいてタッチされた文字を特定した後、ステップＳ２１４で、特定した文字のキーが押されたときに音が発生する場合は、その音が発生しないように抑制する。

次に、ステップＳ２１５で、文字入力ツール２５２の画像を、ステップＳ２０８及びステップＳ２０９と同様にして生成した後、ステップＳ２１６で、生成した文字入力ツールの画像を圧縮し、前記特定した文字を示す文字情報と同時にＭＦＰ１へ送信する。このように、文字入力ツールの画像と文字情報とを同時にＭＦＰ１へ送信するから、これらを効率よくＭＦＰ１へ送信することができる。

次いで、ステップＳ２１７で、ＭＦＰ１との接続が終了したかどうかを判断し、終了していなければ（ステップＳ２１７でＮＯ）、ステップＳ２１２に戻る。終了すると（ステップＳ２１７でＹＥＳ）、処理を終了する。

このように、この実施形態では、ＭＦＰ１のＬＣＤパネル部１６０に携帯端末２側の文字入力ツール２５２の画像が表示された状態で、ユーザーが文字入力ツール２５２の文字キーをタッチすることにより、ＭＦＰ１側の文字入力エリアに文字が入力される。このため、ユーザーは携帯端末２での文字入力操作を必要とすることなく、ＭＦＰ１の文字入力操作のみで文字入力エリアに文字を入力できるから、携帯端末２とＭＦＰ１間で視線の移動を生じることがない。しかも、ＭＦＰ１のＬＣＤパネル部１６０に表示される文字入力ツール２５２の画像は、ユーザーが使い慣れた携帯端末２に搭載された文字入力ツール２５２の画像であるから、携帯端末２の文字入力ツール２５２を使用して文字入力を行うことができ、極めて使い勝手の良い文字入力システムとなる。

１画像処理装置
１００ＭＦＰ本体システム制御部
１１０パネルＣＰＵ
１６０ＬＣＤパネル部
１９０接続部
２携帯端末装置
２１ＣＰＵ
２２ＲＯＭ
２３ＲＡＭ
２５表示部
２７通信インターフェース

Claims

相互に接続可能な情報処理装置と携帯端末装置とを備えた文字入力システムであって、
前記情報処理装置は、
タッチパネルを有し、少なくとも文字を入力するための文字入力エリアを表示する表示手段と、
前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求手段と、
前記携帯端末装置から前記文字入力ツールの画像を受信する受信手段と、
前記受信手段により受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御手段と、
前記表示手段に表示された前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
自装置に搭載された前記文字入力ツールの画像を取得する画像取得手段と、
前記画像取得手段により取得された文字入力ツールの画像を、前記情報処理装置に送信する送信手段と、
前記情報処理装置から前記タッチキー情報を受信する受信手段と、
前記受信手段により受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定手段と、
を備え、
前記携帯端末装置の前記画像取得手段は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信手段は、取得された画像を前記情報処理装置に送信するとともに、前記文字特定手段により文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信し、
前記情報処理装置の表示制御手段は、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに入力表示することを特徴とする文字入力システム。
前記携帯端末装置の送信手段は、前記文字情報を前記文字入力ツールの画像と同時に前記情報処理装置に送信する請求項１に記載の文字入力システム。
前記携帯端末装置は前記文字入力ツールの画像を圧縮する圧縮手段を備え、前記送信手段は、前記圧縮前の文字入力ツールの画像のサイズと圧縮された文字入力ツールの画像を前記情報処理装置に送信し、
前記情報処理装置の表示制御手段は、前記圧縮された文字入力ツールの画像を伸張するとともに、前記表示手段の画面サイズに適した大きさに拡大して表示する請求項１または２に記載の文字入力システム。
前記情報処理装置は、前記タッチキー情報を前記文字入力ツールの画像の拡大比率に応じて補正するとともに、前記送信手段は補正後のタッチキー情報を前記携帯端末装置に送信する請求項３に記載の文字入力システム。
前記携帯端末装置は、文字入力ツールの画面状態が変化したときに変化した領域を特定する領域特定手段と、前記特定された領域のみを前記文字入力ツールの画像から切り出す切り出し手段を備え、前記送信手段は、前記切り出された領域の画像を該領域を示す領域情報とともに情報処理装置に送信し、
前記情報処理装置の表示制御手段は、前記携帯端末装置から受信した前記切り出された領域の画像を、現在表示されている文字入力ツールの画像の前記領域情報で示される領域に合成して表示する請求項１〜４のいずれかに記載の文字入力システム。
前記携帯端末装置は、前記文字入力ツールに対応可能か否かを前記情報処理装置に問い合わせる問い合わせ手段を備え、
前記情報処理装置は、前記携帯端末装置からの問い合わせに応じて、文字入力ツールに対応可能か否かを判定する判定手段を備え、
前記携帯端末装置は、前記情報処理装置の判定手段により、文字入力ツールに対応不可能と判定された場合に、自装置に搭載されている文字入力ツールの中から、情報処理装置での対応が可能となる文字入力ツールに切り替えて、その文字入力ツールの画像を前記情報処理装置に送信する請求項１〜５のいずれかに記載の文字入力システム。
前記携帯端末装置は、前記文字特定手段により特定された文字キーがタッチされたときの入力音を抑制する抑制手段を備え、前記情報処理装置は、前記文字情報で示される文字に対応するキーに応じた反応音を発生させる音発生手段を備えている請求項１〜６のいずれかに記載の文字入力システム。
前記携帯端末装置は、使用される文字入力ツールの種類を前記情報処理装置に通知し、前記情報処理装置の表示制御手段は、前記携帯端末装置との接続が切断された場合に、前記通知された文字入力ツールの種類に対応する自装置の文字入力ツールを表示する請求項１〜７のいずれかに記載の文字入力システム。
相互に接続可能な情報処理装置と携帯端末装置とを備えた文字入力システムで実行される文字入力方法であって、
前記情報処理装置は、
少なくとも文字を入力するための文字入力エリアをタッチパネルを有する表示手段に表示するステップと、
前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求ステップと、
前記携帯端末装置から前記文字入力ツールの画像を受信する受信ステップと、
前記受信ステップにより受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御ステップと、
前記表示手段に表示された前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信ステップと、
を実行し、
前記携帯端末装置は、
自装置に搭載された前記文字入力ツールの画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された文字入力ツールの画像を、前記情報処理装置に送信する送信ステップと、
前記情報処理装置から前記タッチキー情報を受信する受信ステップと、
前記受信ステップにより受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定ステップと、
を実行し、
前記携帯端末装置の前記画像取得ステップでは、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信ステップでは、取得された画像を前記情報処理装置に送信するとともに、前記文字特定ステップにより文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信し、
前記情報処理装置の表示制御ステップでは、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに入力表示することを特徴とする文字入力方法。
携帯端末装置と接続するための接続手段と、
タッチパネルを有し、少なくとも文字を入力するための文字入力エリアを表示する表示手段と、
前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求手段と、
前記携帯端末装置から前記文字入力ツールの画像を受信する受信手段と、
前記受信手段により受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御手段と、
前記表示手段に表示された前記文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信手段と、
を備え、
前記受信手段は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに前記携帯端末装置により取得された前記文字入力ツールの画像を、前記携帯端末装置から受信するとともに、前記携帯端末装置により前記タッチキー情報に基づいて特定された、タッチされた文字キーに対応する文字を示す文字情報を、前記携帯端末装置から受信し、
前記表示制御手段は、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに入力表示することを特徴とする情報処理装置。
前記受信手段は、圧縮前の文字入力ツールの画像のサイズと圧縮された文字入力ツールの画像を、前記携帯端末装置から受信し、
前記表示制御手段は、前記圧縮された文字入力ツールの画像を伸張するとともに、前記表示手段の画面サイズに適した大きさに拡大して表示する請求項１０に記載の情報処理装置。
前記タッチキー情報を前記文字入力ツールの画像の拡大比率に応じて補正するとともに、前記送信手段は補正後のタッチキー情報を前記携帯端末装置に送信する請求項１０または１１に記載の情報処理装置。
前記受信手段は、前記携帯端末装置により前記文字入力ツールの画像から切り出された、文字入力ツールの画面状態が変化した領域の画像を該領域を示す領域情報とともに受信し、
前記表示制御手段は、前記受信した前記切り出された領域の画像を、現在表示されている文字入力ツールの画像の前記領域情報で示される領域に合成して表示する請求項１０〜１２のいずれかに記載の情報処理装置。
前記携帯端末装置からの問い合わせに応じて、文字入力ツールに対応可能か否かを判定する判定手段を備え、前記送信手段は、前記判定手段による判定結果を前記携帯端末装置に送信する請求項１０〜１３のいずれかに記載の情報処理装置。
前記携帯端末装置における文字キーがタッチされたときは、前記文字情報で示される文字に対応するキーに応じた反応音を発生させる音発生手段を備えている請求項１０〜１４のいずれかに記載の情報処理装置。
前記携帯端末装置との接続が切断された場合、前記表示制御手段は、前記携帯端末装置から通知され携帯端末装置で使用される文字入力ツールの種類に対応する情報処理装置の文字入力ツールを表示する請求項１０〜１５のいずれかに記載の情報処理装置。
情報処理装置と接続するための接続手段と、
前記情報処理装置と接続された状態で、前記情報処理装置からの要求に基づいて、自装置に搭載された複数の文字キーを有する文字入力ツールの画像を取得する画像取得手段と、
前記画像取得手段により取得された文字入力ツールの画像を前記情報処理装置に送信する送信手段と、
前記送信手段により前記情報処理装置に送信され、文字入力エリアと共に情報処理装置の表示手段に表示された前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたときに情報処理装置から送信されるタッチキー情報を受信する受信手段と、
前記受信手段により受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定手段と、
を備え、
前記画像取得手段は、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信手段は、取得された文字入力ツールの画像を前記情報処理装置に送信するとともに、前記文字特定手段により文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信することを特徴とする携帯端末装置。
前記送信手段は、前記文字情報を前記文字入力ツールの画像と同時に前記情報処理装置に送信する請求項１７に記載の携帯端末装置。
前記文字入力ツールの画像を圧縮する圧縮手段を備え、前記送信手段は、前記圧縮手段による圧縮前の文字入力ツールの画像のサイズと圧縮された文字入力ツールの画像を前記情報処理装置に送信する請求項１７または１８に記載の携帯端末装置。
文字入力ツールの画面状態が変化したときに変化した領域を特定する領域特定手段と、前記特定された領域のみを前記文字入力ツールの画像から切り出す切り出し手段を備え、前記送信手段は、前記切り出された領域の画像を該領域を示す領域情報とともに情報処理装置に送信する請求項１７〜１９のいずれかに記載の携帯端末装置。
前記文字入力ツールに対応可能か否かを前記情報処理装置に問い合わせる問い合わせ手段を備え、
前記問い合わせ手段による問い合わせに応じて、前記情報処理装置により文字入力ツールに対応不可能と判定された場合に、自装置に搭載されている文字入力ツールの中から、情報処理装置での対応が可能となる文字入力ツールに切り替えて、その文字入力ツールの画像を前記情報処理装置に送信する請求項１７〜２０のいずれかに記載の携帯端末装置。
前記文字特定手段により特定された文字キーがタッチされたときの入力音を抑制する抑制手段を備えている請求項１７〜２１のいずれかに記載の携帯端末装置。
使用される文字入力ツールの種類を前記情報処理装置に通知する請求項１７〜２２のいずれかに記載の携帯端末装置。
携帯端末装置と接続する接続ステップと、
少なくとも文字を入力するための文字入力エリアを、タッチパネルを有する表示手段に表示するステップと、
前記携帯端末装置と接続された状態で、携帯端末装置に搭載された複数の文字キー有する文字入力ツールの画像を前記携帯端末装置に要求する要求ステップと、
前記携帯端末装置から前記文字入力ツールの画像を受信する受信ステップと、
前記受信ステップにより受信した前記文字入力ツールの画像を、前記文字入力エリアと共に前記表示手段に表示させる表示制御ステップと、
前記表示手段に表示された前記文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときは、タッチキー情報を前記携帯端末装置に送信する送信ステップと、
を情報処理装置のコンピュータに実行させ、
前記受信ステップでは、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに前記携帯端末装置により取得された文字入力ツールの画像を、前記携帯端末装置から受信するとともに、前記携帯端末装置により前記タッチキー情報に基づいて特定された、タッチされた文字キーに対応する文字を示す文字情報を、前記携帯端末装置から受信し、
前記表示制御ステップでは、前記携帯端末装置から文字入力ツールの新たな画像を受信したときは、文字入力ツールの画像を更新して表示し、前記携帯端末装置から前記文字情報を受信したときは、前記文字情報で示される文字を前記文字入力エリアに表示する処理を、前記コンピュータに実行させるための文字入力プログラム。
情報処理装置と接続するための接続ステップと、
前記情報処理装置と接続された状態で、前記情報処理装置からの要求に基づいて、自装置に搭載された複数の文字キーを有する文字入力ツールの画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された文字入力ツールの画像を前記情報処理装置に送信する送信ステップと、
前記送信ステップにより前記情報処理装置に送信され、文字入力エリアと共に情報処理装置の表示手段に表示された前記文字入力ツールの画像の文字キーが、ユーザーによりタッチ操作されたときに情報処理装置から送信されるタッチキー情報を受信する受信ステップと、
前記受信ステップにより受信された前記タッチキー情報に基づいて、タッチされた文字キーに対応する文字を特定する文字特定ステップと、
を携帯端末装置のコンピュータに実行させ、
前記画像取得ステップでは、文字入力ツールの画面状態が変化するたびにまたは前記タッチキー情報を受信するたびに、前記文字入力ツールの画像を取得し、前記送信ステップでは、取得された文字入力ツールの画像を前記情報処理装置に送信するとともに、前記文字特定ステップにより文字が特定されたときは、該文字を示す文字情報を前記情報処理装置に送信する処理を、前記コンピュータに実行させるための文字入力プログラム。