JP2011138343A - 電子機器及びプログラム - Google Patents

電子機器及びプログラム Download PDF

Info

Publication number
JP2011138343A
JP2011138343A JP2009298380A JP2009298380A JP2011138343A JP 2011138343 A JP2011138343 A JP 2011138343A JP 2009298380 A JP2009298380 A JP 2009298380A JP 2009298380 A JP2009298380 A JP 2009298380A JP 2011138343 A JP2011138343 A JP 2011138343A
Authority
JP
Japan
Prior art keywords
pictogram
sentence
received
pictograms
target sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009298380A
Other languages
English (en)
Other versions
JP5267450B2 (ja
Inventor
Yuki Fujisawa
友紀 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009298380A priority Critical patent/JP5267450B2/ja
Publication of JP2011138343A publication Critical patent/JP2011138343A/ja
Application granted granted Critical
Publication of JP5267450B2 publication Critical patent/JP5267450B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

【課題】文章内でユーザが絵文字配置箇所を選択する過程での操作性を向上させること。
【解決手段】電子機器は、ユーザインタフェースを通じて一文が入力される度、入力文の構造を解析する(S330)。そして、この解析結果に従い、絵文字追加位置の候補である追加候補位置を決定し(S350)、決定した追加候補位置を示した位置選択画面を表示する(S360)。位置選択画面は、追加候補位置をカーソル操作により選択可能な画面である。位置選択画面では、カーソルをまず、使用確率の高い絵文字の配置パターンに対応した追加候補位置に合わせる(S390)。また、カーソル移動によって、カーソルが合わせられた追加候補位置に対しては、追加候補位置に追加する絵文字候補を配列してなる絵文字選択画面を表示する。絵文字選択画面には、絵文字群を、過去の使用事例に近い絵文字から順に配列する。
【選択図】図8

Description

本発明は、絵文字を使用可能な電子機器及び当該機器に用いるプログラムに関する。
従来、絵文字を使用可能な電子機器としては、電子メールの送受信機能を有した携帯端末装置が知られている。この携帯端末装置によれば、ユーザは、メール本文の入力時に絵文字を配置したい場所で、絵文字が登録された辞書を呼び出すことで、辞書から任意の絵文字を選択し、この絵文字を入力することができる。
また、従来装置としては、受信メールを解析して受信メールの内容に対応した感情を推定し、電子メールの受信通知を行う際に感情アイコンを表示する携帯端末装置(例えば特許文献1参照)や、ユーザからの入力音声に基づき電子メールを作成する装置であって、ユーザからの入力音声に基づきメール本文を作成する際に、入力音声から発声者の感情を推定して、当該感情に対応した絵文字をメール本文に付加する装置が知られている(例えば特許文献2,3参照)。
この他、電子メール作成装置としては、ユーザが入力した読みに対応する文字列を、使用頻度に応じた優先順位で変換候補として提示したり、受信メールで使用された文字列を優先的に変換候補として提示したりすることで、文字入力に係る操作性を向上させたものが知られている(例えば、特許文献4参照)。
特開2007−148939号公報 特開2007−004281号公報 特開2006−277567号公報 特開2006−344039号公報
ところで、絵文字入力に係る操作性を向上させるための技術としては、上述したようにユーザの感情を推定して当該感情に対応した絵文字を固定位置(具体的にはメール本文末端)に自動入力するものや、使用頻度の高い絵文字を優先的に提示する技術が知られている程度である。
即ち、文章内で絵文字を追加する箇所を選択する過程においてユーザの操作性を向上させることが可能な技術については、従来知られていない。
本発明は、こうした問題に鑑みなされたものであり、文章内でユーザが絵文字を追加する箇所を選択する過程において、ユーザの操作性を向上させることが可能な技術を提供することを目的とする。
上記目的を達成するためになされた第一の発明に係る電子機器(請求項1)は、絵文字追加対象文を取得する文取得手段と、位置候補決定手段と、第一表示制御手段と、第二表示制御手段と、絵文字追加手段と、を備えるものである。
位置候補決定手段は、文取得手段により取得された絵文字追加対象文の文構造を解析して、絵文字追加対象文における絵文字追加位置の候補である追加候補位置の一群を決定する。一方、第一表示制御手段は、絵文字追加対象文における追加候補位置の一群を示した位置選択画面(追加候補位置の選択画面)を表示装置に表示させ、第二表示制御手段は、位置選択画面に示された追加候補位置の一群からユーザインタフェースを通じて一つの追加候補位置が選択されると、選択された追加候補位置に追加する絵文字の候補である絵文字群を配列してなる絵文字選択画面を表示装置に表示させる。尚、ここで言う絵文字は、画像データで表現されるものの他、書体データ(フォント)に含まれる括弧等の記号の組合せ(顔文字等)及び書体データに含まれる音符マーク「♪」や星マーク「★」等の単一記号で表現されるものなどを含む。
絵文字追加手段は、ユーザインタフェースを通じて絵文字選択画面に配列された絵文字の一つが選択されると、選択された絵文字を、絵文字追加対象文における上記選択された追加候補位置に追加することにより、絵文字追加対象文を編集する。
この電子機器によれば、文構造の解析により、絵文字追加対象文における絵文字追加位置の候補である追加候補位置を決定し、決定した追加候補位置のいずれかを選択可能な位置選択画面を表示装置に表示させ、ユーザによるユーザインタフェースを通じた追加候補位置の選択操作を促す。
従って、この電子機器によれば、ユーザによる絵文字追加位置の選択に係る操作性が向上し、文章内に絵文字を追加する際の利便性が向上する。特に、本発明は、操作性に乏しいユーザインタフェースを使用する環境において有効である。
尚、位置選択画面は、例えば、ユーザインタフェースを通じたカーソル操作により追加候補位置を選択可能な画面とすることができる。この他、位置選択画面は、追加候補位置の夫々に音声操作用の語彙を表示した画面とすることができる。この画面によれば、選択する追加候補位置の音声操作用語彙をユーザに発声させることで、ユーザインタフェースとしてのマイクロフォンを通じて追加候補位置のいずれかをユーザに選択させることができる。
この他、位置候補決定手段は、例えば、絵文字追加対象文の文節末や、絵文字追加対象文の文末や、絵文字追加対象文における各文節の自立語末等を、追加候補位置に決定する構成にすることができる(請求項20,請求項21)。この他、位置候補決定手段は、絵文字追加対象文における絵文字に置換されうる自立語が存在する位置である置換可能位置を、追加候補位置に決定する構成にされてもよい(請求項22)。置換可能位置に絵文字を追加する場合には、置換可能位置に存在する自立語を削除し、この自立語に代えて絵文字を追加することになる。
また、上記位置候補決定手段は、文構造上異なる複数種類の位置を追加候補位置に決定する構成にすることができる(請求項2)。この構成によれば、絵文字の追加位置の選択自由度を高めることができて、ユーザにとって利便性の高い電子機器を提供することができる。例えば、上記複数種類の位置としては、文節末の位置、文末の位置、自立語末の位置及び自立語の位置の二以上を挙げることができる。
この他、複数種類の位置を追加候補位置に決定するように位置候補決定手段を構成する場合、電子機器には、絵文字追加手段による絵文字の追加動作に対応して、上記種類毎に、追加候補位置への絵文字の追加頻度を、記録媒体に記録する頻度記録手段を設けるとよい。
更に、当該電子機器には、ユーザインタフェースを通じたカーソル操作に従って、位置選択画面に示された追加候補位置のいずれかに対応する位置にカーソルを移動させる手段であって、記録媒体に記録された上記種類毎の追加頻度に基づき、追加頻度の最も高い種類の追加候補位置にカーソルを初期配置するカーソル位置制御手段を設けるとよい。
この場合、第二表示制御手段は、カーソルを通じて位置選択画面で選択された追加候補位置についての上記絵文字選択画面を表示装置に表示させる構成にすることができる(請求項3)。
この電子機器によれば、位置選択画面において、絵文字が追加される頻度の高い位置に、カーソルが初期配置されるので、統計的に言えば、ユーザは、少ないカーソル操作により、文章内の所望の位置に絵文字を追加することができる。
更に言えば、カーソル位置制御手段は、ユーザインタフェースを通じたカーソル操作に従って、追加頻度の高い種類の追加候補位置から追加頻度の低い種類の追加候補位置へと順にカーソルを移動させる構成にされるとよい(請求項4)。
この構成によれば、位置選択画面における追加候補位置の選択カーソルが、絵文字が追加される頻度の高い順に移動するので、絵文字追加位置の選択操作について利便性の高い電子機器を提供することができる。
ところで、近年の電子機器(例えば、携帯電話装置)には、多数の絵文字が登録される。このため、登録された全ての絵文字を絵文字選択画面に表示する方法では、絵文字の選択操作に係る操作性が損なわれる。従って、絵文字選択画面には、登録された絵文字群の一部に絞って、絵文字を表示するとよい。
第二の発明(請求項5)は、第一の発明に係る電子機器に対して、更に、追加候補位置毎に、当該追加候補位置に対応した絵文字追加対象文内の単語をキーワードに設定するキーワード設定手段と、追加候補位置毎に、キーワード設定手段により設定されたキーワードに基づき、予め登録された絵文字群の中から、当該追加候補位置に追加する絵文字の候補(追加絵文字候補)とする絵文字群を決定する絵文字候補決定手段と、を設けたものである。この電子機器における第二表示制御手段は、ユーザインタフェースを通じて追加候補位置の一つが選択されると、上記絵文字選択画面として、当該ユーザインタフェースを通じて選択された追加候補位置に対する上記追加絵文字候補の絵文字群を配列してなる絵文字選択画面を表示装置に表示させる。
この電子機器によれば、ユーザにより選択される可能性の高い絵文字に絞って、絵文字選択画面に絵文字を配列することができる。従って、ユーザにとって必要な絵文字を見易く表示することができ、絵文字の選択操作に係る操作性が向上する。
また、絵文字選択画面に適切な絵文字を配列するためには、電子機器に学習機能を設けるとよい。例えば、電子機器には、絵文字追加対象文の属性を特定する対象文属性特定手段を設ける。更には、絵文字追加手段により絵文字追加対象文に追加された絵文字の識別情報を、「当該絵文字が追加された位置に対応する追加候補位置に対しキーワード設定手段が設定したキーワードを表す情報」及び「対象文属性特定手段が特定した絵文字追加対象文の属性を表す情報」と関連付けて、絵文字の使用事例に関する絵文字事例データとして絵文字事例データベースに登録する事例データ登録手段を設ける。
更に、絵文字候補決定手段については、追加候補位置毎に、当該追加候補位置に対しキーワード設定手段が設定したキーワード及び対象文属性特定手段により特定された絵文字追加対象文の属性の組合せと、絵文字事例データベースに登録された各絵文字事例データが示すキーワード及び属性の組合せとの関連度を評価し、この評価値に基づき、関連度が所定条件より高い絵文字事例データが示す絵文字を、優先的に追加絵文字候補に決定するように構成する(請求項6)。関連度が所定条件より高い絵文字事例データが示す絵文字を、関連度が所定条件より低い絵文字事例データが示す絵文字に対して、優先的に追加絵文字候補に決定するのである。
絵文字候補決定手段は、例えば、関連度(評価値)が閾値より高い絵文字事例データが示す絵文字を優先的に追加絵文字候補に決定する構成や、当該評価値が上位所定個以内にある絵文字事例データが示す絵文字を優先的に追加絵文字候補に決定する構成にすることができる。
この電子機器によれば、過去の使用状況と似ている絵文字を優先的に絵文字選択画面に表示することができて、絵文字の選択操作に係る操作性が向上する。尚、対象文属性特定手段は、上記属性として、絵文字追加対象文の読み手を特定する構成や、絵文字追加対象文の文体を特定する構成にすることができる(請求項11,請求項12)。
この他、事例データ登録手段は、絵文字追加手段により絵文字追加対象文に追加された絵文字の識別情報を、「絵文字が追加された位置の種類を表す情報」及び「絵文字が追加された位置に対応する追加候補位置に対してキーワード設定手段が設定したキーワードを表す情報」及び「対象文属性特定手段により特定された絵文字追加対象文の属性を表す情報」と関連付けて、上記絵文字事例データとして絵文字事例データベースに登録する構成にされると一層好ましい。
この場合、絵文字候補決定手段は、追加候補位置毎に、当該追加候補位置の種類及び当該追加候補位置に対してキーワード設定手段が設定したキーワード及び対象文属性特定手段により特定された属性の組合せと、絵文字事例データベースに登録された各絵文字事例データが示す「絵文字が追加された位置の種類及びキーワード及び属性」の組合せとの関連度を評価し、この評価値に基づき、関連度が所定条件より高い絵文字事例データが示す絵文字を優先的に追加絵文字候補に決定する構成にすることができる(請求項7)。
このように文章内の絵文字位置も考慮して関連度を評価すれば、ユーザの絵文字入力の好みを学習し、追加候補位置に合わせて、適切な絵文字を絵文字選択画面に配列することができる。
また、上記第二表示制御手段は、絵文字を関連度の高い順に配列してなる絵文字選択画面を表示装置に表示させる構成にされるとよい(請求項8)。このように絵文字を配列して絵文字選択画面を表示装置に表示させれば、ユーザの使用状況に適合した適切な順序で絵文字を配列して絵文字選択画面を表示装置に表示させることができて、絵文字の選択操作に係る利便性が向上する。
また、外部からの受信文に対する応答文を絵文字追加対象文とする電子機器に対しては、受信文に基づいて絵文字選択画面に配列する絵文字を決定するように電子機器を構成するとよい。
具体的に、電子機器には、絵文字追加対象文に対応する受信文に使用された絵文字を特定する受信絵文字特定手段と、関連度を評価する絵文字事例データが示す絵文字毎に、共起データベースから当該絵文字と受信絵文字特定手段により特定された各絵文字との共起頻度を表す情報を取得し、取得した共起頻度を表す情報に基づき、当該絵文字についての絵文字候補決定手段による関連度の評価値を補正する補正手段と、を設けることができる。尚、共起データベースは、絵文字の組合せ毎に当該絵文字間の共起頻度を表す情報を記憶するデータベースである。
そして、絵文字候補決定手段は、補正手段による補正後の評価値に基づき、関連度が所定条件より高い絵文字事例データが示す絵文字を優先的に追加絵文字候補に決定する構成にすることができる(請求項9)。
このような構成の電子機器によれば、例えば受信メールで使用された絵文字に対応する絵文字が返信メールにて使用されるような環境下において、受信文に使用された絵文字に基づき、絵文字選択画面に適切な絵文字を配列することができ、電子機器の利便性が向上する。
この他、補正手段は、追加絵文字候補に決定された絵文字毎に、共起データベースから当該絵文字と受信絵文字特定手段により特定された各絵文字との共起頻度を表す情報を取得して、取得した共起頻度を表す情報に基づき、当該絵文字についての絵文字候補決定手段による関連度の評価値を補正し、第二表示制御手段は、補正後の評価値に基づき、追加絵文字候補に決定された絵文字を関連度の高い順に配列してなる絵文字選択画面を表示装置に表示させる構成にされてもよい(請求項10)。
このように電子機器を構成すれば、受信文に使用された絵文字に基づき、ユーザにとって使い易い順序で絵文字選択画面に絵文字を配列することができて、電子機器の利便性が向上する。
また、外部からの受信文に対する応答文を絵文字追加対象文とする電子機器には、受信文に基づく絵文字事例データを、絵文字事例データベースに登録する機能を設けるとよい。即ち、電子機器には、受信絵文字特定手段と、受信文の属性を特定する受信文属性特定手段と、受信文に使用された絵文字毎に、受信文における当該絵文字に対応する単語をキーワードに設定する副キーワード設定手段と、受信文に使用された絵文字毎に、当該絵文字の識別情報を、「当該絵文字が使用された受信文の属性を表す情報」及び「当該絵文字に対して副キーワード設定手段が設定したキーワードの情報」と関連付けて、絵文字事例データとして絵文字事例データベースに登録する副事例データ登録手段と、を設けるとよい(請求項13)。
このように電子機器を構成すれば、関連度の評価により、受信文における絵文字の使用状況に応じた絵文字群を絵文字選択画面に表示することができる。尚、受信文属性特定手段は、上記属性として、受信文の書き手や受信文の文体を特定する構成にすることができる(請求項15,請求項16)。
この他、上記受信絵文字特定手段は、受信文に使用された絵文字を特定すると共に、受信文に使用された絵文字毎に、受信文における当該絵文字の位置の種類を特定する構成にされるとよい。絵文字の位置の種類としては、例えば、文節末、文末、自立語末等を挙げることができる。
そして、上記受信事例データ登録手段は、受信絵文字特定手段により特定された絵文字毎に、当該絵文字の識別情報を、「受信絵文字特定手段により特定された当該絵文字の位置の種類を表す情報」及び「受信文属性特定手段により特定された当該絵文字が使用された受信文の属性を表す情報」及び「当該絵文字に対して副キーワード設定手段が設定したキーワードの情報」と関連付けて、絵文字事例データとして絵文字事例データベースに登録する構成にされるとよい(請求項14)。
このように電子機器を構成すれば、受信文における絵文字位置を加味して、受信文における絵文字の使用状況に応じた絵文字群を絵文字選択画面に表示することができる。
この他、第三の発明(請求項17)は、第一の発明に係る電子機器に対して、対象文属性特定手段及びキーワード設定手段及び事例データ登録手段を設けると共に、追加候補位置毎に、この追加候補位置に対しキーワード設定手段が設定したキーワード及び対象文属性特定手段が特定した絵文字追加対象文の属性の組合せと、絵文字事例データベースに登録された各絵文字事例データが示すキーワード及び属性の組合せとの関連度を評価する関連度評価手段を設け、更に、第二表示制御手段を次のように構成したものである。
即ち、ユーザインタフェースを通じて選択された追加候補位置についての関連度評価手段の評価結果に基づき、関連度の高い絵文字事例データが示す絵文字に優先的に若い配列順位を割り当るようにして、絵文字選択画面に配列する各絵文字に対して配列順位を割り当て、若い配列順位が割り当てられた絵文字から順に絵文字群を配列してなる絵文字選択画面を表示装置に表示させるように、第二表示制御手段を構成したものである(請求項17)。
このように電子機器を構成すれば、絵文字選択画面において過去の絵文字の使用状況に応じた順序で絵文字を配列することができ、絵文字の選択操作に係る利便性が向上する。
また、第四の発明(請求項18)は、電子機器が外部からの受信文に対する応答文を絵文字追加対象文とする電子機器であることを前提として、第一の発明に係る電子機器に対して、絵文字追加対象文に対応する受信文に使用された絵文字を特定する受信絵文字特定手段を設け、更に、第二表示制御手段を次のように構成したものである。
即ち、絵文字選択画面に配列する絵文字毎に、共起データベースから、当該絵文字と受信絵文字特定手段により特定された各絵文字との共起頻度を表す情報を取得し、これらの共起頻度を表す情報に基づき、絵文字選択画面に配列する絵文字に対して共起頻度の高いものから優先的に若い配列順位を割り当てて、若い配列順位が割り当てられた絵文字から順に絵文字群を配列してなる絵文字選択画面を表示装置に表示させるように第二表示制御手段を構成にしたものである(請求項18)。
この電子機器によれば、受信文における絵文字の使用状況に応じた順序で絵文字群を配列して絵文字選択画面に表示することができるので、絵文字の選択操作に係る操作性が向上する。
尚、この電子機器には、絵文字追加手段による絵文字の追加動作に対応して、絵文字追加対象文に追加された絵文字と、対応する受信文で使用された絵文字と、の共起頻度を表す情報を、共起データベースにおいて更新する共起頻度更新手段を設けるとよい(請求項19)。
このように電子機器を構成すれば、ユーザによる絵文字の使用態様を学習して、受信文における絵文字の使用状況に応じた一層適切な順序で絵文字群を配列して絵文字選択画面に表示することができる。
この他、上述した電子機器が備える各手段としての機能は、プログラムにより、コンピュータに実現させることができる(請求項23)。上記各手段としての機能をコンピュータに実現させるためのプログラムは、記録媒体(CD−ROMやDVD)に格納して提供することも可能であるし、電気通信回線を通じて提供することも可能である。
電子機器1の構成を表すブロック図である。 制御部10が実行するプログラム及び記憶部70が記憶するデータの種類を示した図である。 制御部10が実行する受信データ解析処理を表すフローチャートである。 絵文字配置パターンに対応したキーワード設定手法に関する説明図である。 絵文字辞書の構成を表す図である。 特徴ベクトル及び絵文字事例データの構成を表す図である。 パターン統計データの構成を表す図である。 制御部10が実行する入力変換処理を表すフローチャートである。 制御部10が実行する位置選択カーソル制御処理を表すフローチャートである。 位置選択カーソルの移動態様に関する説明図である。 制御部10が実行する絵文字選択画面表示制御処理を表すフローチャートである。 絵文字選択画面の構成を表す図である。 制御部10が実行する関連度補正処理を表すフローチャートである。 共起DBの構成を表す図である。 制御部10が実行する共起学習処理を表すフローチャートである。 第二実施例の絵文字選択画面表示制御処理を表すフローチャートである。 第三実施例の絵文字選択画面表示制御処理を表すフローチャートである。 制御部10が実行する配列順決定処理を表すフローチャートである。
以下に本発明の実施例について、図面と共に説明する。
第一実施例の電子機器1は、図1に示すように、CPU11及びROM12及びRAM13等で構成される制御部10と、外部ネットワークと無線通信可能な無線通信部20と、液晶ディスプレイ等で構成される表示部30と、ユーザが操作可能なカーソルキー等の操作キーを備える操作部40と、スピーカ等で構成される音声出力部50と、マイクロフォン等で構成される音声入力部60と、ハードディスク装置やフラッシュメモリ等で構成される各種データ記憶用の記憶部70とを備える。
この電子機器1としては、例えば、カーナビゲーション装置などの車載装置や携帯電話装置を挙げることができる。以下では、電子機器1が音声入力部60を通じて音声操作が可能な装置であるものとして話を進める。
この電子機器1における制御部10は、ROM12に記録されたプログラムをCPU11にて実行することにより、電子機器1として果たすべき機能を実現する。具体的に、ROM12には、電子メールを作成・送受信可能なプログラムであるメールソフト(以下、「アプリA」と表現する。)や、外部のブログサーバに登録されたブログ記事を閲覧可能でブログ記事のコメント欄にコメント文を投稿可能なプログラムであるブラウザ(以下、「アプリB」と表現する。)等のアプリケーションプログラムが記憶されている。尚、電子メールの送受信及びブログサーバへのアクセスは、外部ネットワークに接続された無線通信部20を介して実現される。
また、ROM12には、アプリA,Bにおける文字入力時に使用されるかな漢字変換機能を有した入力変換プログラムや、アプリAが受信した電子メール及びアプリBが受信したブログ記事を解析するための受信データ解析プログラムが記憶されている。
この他、記憶部70には、図2に示すように、かな漢字変換辞書、感情推定用辞書、絵文字辞書、絵文字の使用事例を表す絵文字事例データ群からなる絵文字事例DB(データベース)、共起する絵文字の組合せを示す共起データ群からなる共起DB(データベース)、ユーザDB(データベース)、及び、パターン統計データが記憶されている。
尚、感情推定用辞書、絵文字辞書、絵文字事例DB、共起DB、ユーザDB、及び、パターン統計データの詳細については適切な箇所で適宜説明することにし、まず、受信データ解析プログラムに従って制御部10が実行する受信データ解析処理を説明する。制御部10は、電子機器1の動作中に繰返し図3に示す受信データ解析処理を実行する。
受信データ解析処理を開始すると、制御部10は、監視対象のアプリケーションプログラムであるアプリA,Bのタスクが外部から受信した文章データを逐次取得する。具体的には、監視対象のアプリケーションプログラムであるアプリAのタスクが無線通信部20を通じて外部のメールサーバから受信した電子メールを逐次取得し、アプリBのタスクが外部のブログサーバから受信したブログ記事のデータを逐次取得する(S100)。そして、取得データにおいて文末を検出する度(S110でYes)、検出した文末までの一文を、処理対象文に設定してS120以降の処理を実行する。
S120では、処理対象文の属性を特定する。具体的には、属性として、処理対象文の文体及び書き手を特定する。文体については、処理対象文の文体が「メール」文体であるのか、それとも「ブログ」文体であるのかを、処理対象文取得元から特定する。即ち、処理対象文がアプリAから取得したものである場合には、文体が「メール」文体であると特定し、処理対象文がアプリBから取得したものである場合には、文体が「ブログ」文体であると特定する。
また、書き手の特定については、処理対象文の書き手を、処理対象文取得元のアプリAのタスク又はアプリBのタスクに問い合わせて、書き手の識別情報を問い合わせ元から取得することにより実現する。アプリAのタスクから得られる書き手の識別情報は、処理対象文送信元のメールアドレスであり、アプリBのタスクから得られる書き手の識別情報は、ブログ記事投稿者のユーザ名である。
S120に続くS130では、処理対象文の構文解析を行う。具体的には、処理対象文を品詞解析し、文節及び文節内の自立語を検出する。例えば、処理対象文が「今日は雨だよ」との文章である場合には、「今日」「は」「雨」「だ」「よ」の各品詞を特定し、自立語「今日」及び付属語「は」からなる文節「今日は」と、自立語「雨」及び付属語「だ」「よ」とかなる文節「雨だよ」を検出する。尚、処理対象文には絵文字が含まれる場合があるが、処理対象文に含まれる絵文字については無視して構文解析を行う。但し、付属語に挟まれる絵文字については、この絵文字を自立語と見做して文節を検出する。
S130に続くS140では、処理対象文の書き手の感情推定を行う。感情推定の手法としては各種手法が周知であるので、ここでは詳細な説明を省略するが、本実施例では、例えば、キーワードと感情を表す単語である感情ワードとの対応関係が定められた上記感情推定用辞書を参照し、処理対象文を構成する単語をキーワードとする感情ワードを特定することにより感情推定を実現する。感情ワードとしては「うれしい」「かなしい」「楽しい」「不快(怒り)」等を挙げることができる。
S140に続くS145では、処理対象文に絵文字が存在するか否かを判断し、絵文字が存在する場合には(S145でYes)、S150に移行し、絵文字が存在しない場合には(S145でNo)、S220に移行する。
S150に移行すると、制御部10は、処理対象文に含まれる処理対象絵文字として未選択の絵文字の一つを、当該処理対象絵文字に選択してS160以降の処理を実行する。
S160では、処理対象文における処理対象絵文字の配置パターンを特定する。具体的には、処理対象絵文字の配置パターンが、「置換」「単語末配置」「文節末配置」「文末配置」のいずれのパターンであるかを判断することにより、処理対象絵文字の処理対象文における配置パターンを特定する。
例えば、処理対象絵文字が文末に配置されている場合には、配置パターンが「文末配置」であると判断する。一方、処理対象絵文字が文末以外の文節末に配置されている場合には、配置パターンが「文節末配置」であると判断する。また、処理対象絵文字が文末及び文節末以外の自立語末に配置されている場合には、配置パターンが「単語末配置」であると判断する。この他、処理対象絵文字が付属語に挟まれて配置されている場合には、配置パターンが「置換」であると判断する。
S160に続くS170では、特定した配置パターンに対応するキーワードを処理対象絵文字に対して設定する。例えば、配置パターンが「単語末配置」である場合には、図4(a)に示すように、処理対象文における処理対象絵文字の直前の自立語をキーワードに設定する。一方、配置パターンが「文節末配置」であるときには、図4(b)に示すように、処理対象文における処理対象絵文字が配置された文節内の自立語をキーワードに設定する。
また、配置パターンが「置換」である場合には、絵文字辞書を参照して処理対象絵文字の代表単語を特定し、図4(c)に示すように、この代表単語をキーワードに設定する。図4(c)の例では、傘マークの代表単語として「雨」を特定し、これをキーワードに設定する。尚、絵文字辞書は、図5に示すように、電子機器1に搭載された絵文字毎に、絵文字本体としての画像データと、絵文字の識別IDと、絵文字に対応した代表単語及び関連単語からなるキーワード群とを記憶するものである。代表単語は、絵文字の代表的な意味に対応した単語であり、関連単語は、絵文字から連想される単語である。例えば、絵文字が図4(c)に示す傘マークである場合には、代表単語として「雨」が絵文字辞書に登録され、関連単語として「傘」「かなしい」等の絵文字から連想される単語が登録される。
この他、配置パターンが「文末配置」である場合には、図4(d)に示すように、処理対象文内の全自立語をキーワードに設定すると共に、S140で推定した感情ワードをキーワードに設定する。
また、S170に続くS180では、S170で処理対象絵文字に設定したキーワード群並びにS120で特定した文体及び書き手並びにS160で特定した処理対象絵文字の配置パターンに基づき、処理対象絵文字の特徴をベクトル表現してなる特徴ベクトルを生成する。尚、特徴ベクトルは、図6に示すように、予め定められたキーワード毎の要素と、文体を表す要素群と、絵文字の配置パターンを表す要素群と、絵文字に関連するユーザを表す要素群とからなる多次元ベクトルである。但し、各要素の値は、二値表現されて0又は1を採る。
図6に示す例によれば、特徴ベクトルにおいて、文体の特徴量は3つの要素で表され、「メール」文体は「001」で表現され、「ブログ」文体は「010」で表される。また、配置パターンの特徴量は4つの要素で表され、「置換」は「0001」で表現され、「単語末配置」は「0010」で表現され、「文節末配置」は「0100」で表現され、「文末配置」は「1000」で表現される。
この他、絵文字に関連するユーザの特徴量は6つの要素を用いて6桁のユーザコードで表現される。例えば、ユーザUaは「000001」で表現され、ユーザUbは「000010」で表現され、ユーザUcは「000100」で表現され、ユーザUdは「001000」で表現され、ユーザUeは「010000」で表現され、その他多数のユーザは「100000」で表現される。
特徴ベクトルの生成方法について詳述すると、処理対象文が図4(d)に示す文章である場合には、特徴ベクトルにおけるS170で設定したキーワード「今日」「雨」「かなしい」の夫々に対応する要素の値を1に設定し、他のキーワードの要素をゼロに設定する。更に、当該特徴ベクトルにおける文体を表す要素群を処理対象文の文体に対応する値(例えば「001」)に設定し、配置パターンを表す要素群を、「文末配置」に対応する「1000」に設定する。また、絵文字に関連するユーザを表す要素群に対し、S120で特定した書き手に対応する上記6桁のユーザコードを設定する。
尚、記憶部70には、ユーザのメールアドレス又はユーザ名と、ユーザコードとの対応関係を示すユーザDB(図2参照)が登録されており、S180では、S120で特定した書き手のメールアドレス又はユーザ名がユーザDBに登録されている場合には、当該メールアドレス又はユーザ名に割り当てられたユーザコードを、特徴ベクトルの対応要素に設定する。一方、S120で特定した書き手のメールアドレス又はユーザ名がユーザDBに登録されていない場合には、ユーザコードとして、その他多数のユーザを表す「100000」を、特徴ベクトルの対応要素に設定する。
このようにして、S180では、処理対象絵文字に対応する特徴ベクトルを生成する。
特徴ベクトルの生成後には、S190に移行して、生成した特徴ベクトルと処理対象絵文字の識別IDとを関連付けてなる絵文字事例データを生成し(図6参照)、これを記憶部70の絵文字事例DBに登録する(S200)。尚、絵文字事例DBは、このような構成の絵文字事例データの一群からなるものであり、電子機器1の使用によって絵文字事例データが登録されることで更新される。
S200の処理後には、処理対象文に含まれる全絵文字について、これを処理対象絵文字に選択し、S150〜S200の処理を実行したか否かを判断し(S210)、実行していない場合には(S210でNo)、S150に移行して、未処理の絵文字を新たに処理対象絵文字に選択してS160以降の処理を実行する。
このような処理によって図4(e)に示すように処理対象文に複数の絵文字がある場合には、絵文字毎に、配置パターンの特定動作、配置パターンに対応したキーワードの設定動作、特徴ベクトルの生成動作、絵文字事例データの生成・登録動作が行われる。そして、処理対象文に含まれる全ての絵文字についてS150〜S200の処理を実行した場合には、S210で肯定判断して、S220に移行する。
S220では、処理対象文に存在する絵文字の配置パターンに従って、記憶部70が記憶するパターン統計データ(図7参照)の値Y1,Y2,Y3,Y4,Y5を更新する。
パターン統計データは、図7に示すように、配置パターンの分類「置換」「単語末配置」「文節末配置」「文末配置」「絵文字なし」に対応した値Y1,Y2,Y3,Y4,Y5を有する。パターン統計データが保持する値Y1は、配置パターンが「置換」である絵文字を有する文章の出現確率P1に対応する値を示し、パターン統計データが保持する値Y2は、配置パターンが「単語末配置」である絵文字を有する文章の出現確率P2に対応する値を示し、パターン統計データが保持する値Y3は、配置パターンが「文節末配置」である絵文字を有する文章の出現確率P3に対応する値を示し、パターン統計データが保持する値Y4は、配置パターンが「文末配置」である絵文字を有する文章の出現確率P4に対応する値を示し、パターン統計データが保持する値Y5は、絵文字がない文章の出現確率P5に対応した値を示すものである。
S220では、値Y1,Y2,Y3,Y4,Y5の内、処理対象文に存在する絵文字の配置パターンに対応する値Y1,Y2,Y3,Y4,Y5に固定値Xを加算してパターン統計データを更新する。但し、処理対象文に複数の絵文字が異なる配置パターンで存在する場合には、処理対象文に存在する配置パターンの種類数Mで固定値Xを割り、除算後の値X/Mを、処理対象文に存在する絵文字の配置パターンに対応する値Y1,Y2,Y3,Y4,Y5に加算することで、パターン統計データを更新する。
例えば、図4(a)に示す処理対象文に基づいては、「単語末配置」の値Y2に固定値Xを加算し、他の値Y1,Y3,Y4,Y5を変更しないようにして、パターン統計データを更新する(S220)。一方、処理対象文に絵文字が一切ない場合には、「絵文字なし」の値Y5に固定値Xを加算し、他の値Y1,Y2,Y3,Y4については変更しないようにして、パターン統計データを更新する。
この他、処理対象文に、例えば「単語末配置」された絵文字と「文末配置」された絵文字とが混在する場合には、配置パターンの種類数M=2で固定値Xを割り、除算後の値X/2を、値Y2及び値Y4に加算する。
Y2←Y2+X/2
Y4←Y2+X/2
一方、他の値Y1,Y3,Y5については変更しないようにして、パターン統計データを更新する。尚、値Y5については、文章内に全く絵文字が存在しない限り値を更新しないものとする。また、図4(e)に示す例のように、処理対象文に複数の絵文字が存在しても、これらの絵文字の配置パターンが同一である場合には、配置パターンの種類数M=1と取り扱って、上述したようにパターン統計データを更新する。
ちなみに、本実施例では、複数種類の配置パターンが混在する場合には、値X/Mを用いて、パターン統計データを更新するため、固定値Xについては、Mが採りうる値のいずれでも割り切れる値に設定する。例えば、本実施例によれば、X=12に設定することができる。
制御部10は、受信データ解析処理として、上述したS100〜S220の処理を繰返し実行し、絵文字事例DB及びパターン統計データを更新する。
続いて、入力変換プログラムに従って制御部10が実行する入力変換処理を説明する。制御部10は、文字入力を伴うアプリA,Bの動作中に繰返し図8に示す入力変換処理を実行する。
入力変換処理を開始すると、制御部10は、ユーザインタフェースによる文字入力を、文字入力元のアプリケーションプログラムであるアプリA又はアプリBを介して受け付け(S300)、入力された文字をかな漢字変換する(S305)。文字入力結果及びかな漢字変換結果は、アプリA,Bとの連携によりアプリA,Bの表示画面における文字入力位置に表示される。
尚、ここでのユーザインタフェースは、操作部40又は音声入力部60である。本実施例の電子機器1には、音声入力部60に音声認識機能が内蔵されており、音声による文字入力時にはマイクロフォンを通じて入力された音声が音声認識機能により文字(かな)に変換され、入力変換処理に渡される。
この入力変換処理では、文末を検出すると(S310でYes)、文末が検出されるまでに文字入力された一文を、処理対象文に設定してS320以降の処理を実行する。但し、本実施例では、電子メール作成時にアプリAにより提供される題及びメール本文の入力フィードに文字入力位置が設定されている場合、及び、ブログ記事に対するコメント文の入力時にアプリBにより提供されるコメント文の入力フィードに文字入力位置が設定されている場合に限って、S320に移行し、その他の場合は、通常の入力変換プログラムと同様に文字入力に合わせてかな漢字変換する処理を繰り返す(S300〜S305)。
S320に移行すると、制御部10は、まず処理対象文の属性を特定する。具体的には、処理対象文の文体及び読み手を特定する。文字入力対象がアプリAである場合には、処理対象文の文体が「メール」文体であると判断し、文字入力対象がアプリBである場合、処理対象文の文体が「ブログ」文体であると判断する。
また、読み手については、文字入力対象のアプリA又はアプリBから読み手の識別情報を取得して特定する。アプリAから取得可能な読み手の識別情報は、電子メール送信先のメールアドレスであり、アプリBから取得可能な読み手の識別情報は、コメント文に対応するブログ記事の投稿者を表すユーザ名である。
S320に続くS330では、S130での処理と同様、処理対象文の構文解析を行う。尚、本実施例では絵文字入力を入力変換処理で管理するのでS330の実行時点では、処理対象文に絵文字は含まれない。
また、S330に続くS340では、S140での処理と同様にして処理対象文の書き手の感情推定を行う。但し、音声入力による文字入力が行われる場合には、入力音声に基づき感情推定を行ってもよい。
S340で感情推定を行うと、制御部10は、S350に移行して、構文解析により判明した処理対象文の文節末に対応する位置、各文節の自立語末に対応する位置、絵文字に置換されうる自立語に対応する位置、及び、文末に対応する位置を、絵文字追加位置の候補である追加候補位置に設定する。
そして、この追加候補位置の設定結果に従って、表示部30における文字入力位置に対応した処理対象文の表示領域に、上記追加候補位置のいずれかをカーソル操作により選択可能な画面である位置選択画面を表示する(S360)。例えば、位置選択画面は、図8に示す構成で表示される。
図8に示す位置選択画面は、処理対象文を表示すると共に、処理対象文における絵文字を配置可能な各追加候補位置に、カーソルを移動可能であることを表す点線状の枠である点線枠(図8点線に対応)を表示し、更に各点線枠に対して音声による選択操作用のアルファベットを表示してなるものである。カーソルは、初回のカーソル操作時に、位置選択画面における点線枠の一つに合わせられて実線状の枠で表示される(図10参照)。以下では、このカーソルを「位置選択カーソル」と称する。
この位置選択画面の表示後、制御部10は、ユーザインタフェースを通じて予め定められた複数操作のいずれかがなされるまで待機し(S370)、操作がなされた場合には、S380以降に移行して、なされた操作に対応する処理を実行する。
例えば、位置選択カーソルの移動操作がなされると(S380でYes)、制御部10は、S390に移行して、図9に示す位置選択カーソル制御処理を実行する。これによって、位置選択画面における位置選択カーソルを、位置選択カーソルの移動操作に合わせて移動させる処理を行う。その後、S370に移行し、次の操作がなされるまで待機する。
S390で位置選択カーソル制御処理を開始すると、制御部10は、なされた位置選択カーソルの移動操作が音声による操作であるか否かを判断する(S610)。ここでは、位置選択画面において各点線枠に付した上記アルファベットの一つがユーザにより音声入力された場合、肯定判断する(S610でYes)。そして、音声入力されたアルファベットに対応する位置選択画面の点線枠に位置選択カーソルを移動させる処理を行う(S620)。その後、S720に移行する。
一方、位置選択カーソルの移動操作が音声による操作ではない場合には(S610でNo)、なされた位置選択カーソルの移動操作が位置選択画面の表示後初回の操作であるか否かを判断する(S630)。そして、初回の操作であると判断すると(S630でYes)、パターン統計データの値Y1〜Y5を参照して、出現確率P1〜P5が一番高い配置パターンでの絵文字配置が行われる追加候補位置であって、処理対象文の文頭に最も近い追加候補位置の点線枠に位置選択カーソルを表示(初期配置)する(S640)。その後、S720に移行する。但し、位置選択カーソル制御処理では、「絵文字なし」の配置パターンについては無視してS640以降の処理を行う。
この他、なされた位置選択カーソルの移動操作が二回目以降の操作である場合には(S630でNo)、当該位置選択カーソルの移動操作が「正」方向への移動操作であるか「負」方向への移動操作であるか否かを判断する(S650)。
そして、「正」方向への移動操作であると判断すると(S650)、位置選択カーソルの現在位置よりも処理対象文の文末方向に、位置選択カーソルの現在位置に対応する追加候補位置と同一配置パターンで絵文字が配置される追加候補位置が存在するか否かを判断する(S660)。
そして、該当する追加候補位置が存在すると判断すると(S660でYes)、位置選択カーソルの現在位置に対応する追加候補位置と同一配置パターンで絵文字が配置される「位置選択カーソルの現在位置よりも処理対象文の文末方向に存在する追加候補位置」であって、現在位置に最も近い追加候補位置の点線枠に、位置選択カーソルを移動させる処理を行う(S670)。その後、S720に移行する。
一方、該当する追加候補位置が存在しないと判断すると(S660でNo)、位置選択カーソルの現在位置に対応する絵文字の配置パターンよりも一つ出現確率の低い配置パターンに該当する追加候補位置であって、最も文頭に近い位置に存在する追加候補位置の点線枠に、位置選択カーソルを移動させる処理を行う(S680)。その後、S720に移行する。
この他、なされた位置選択カーソルの移動操作が「負」方向への移動操作であると判断すると、制御部10は、S690に移行して、位置選択カーソルの現在位置よりも処理対象文の文頭方向に、位置選択カーソルの現在位置に対応する追加候補位置と同一配置パターンで絵文字が配置される追加候補位置が存在するか否かを判断する。
そして、該当する追加候補位置が存在すると判断すると(S690でYes)、位置選択カーソルの現在位置に対応する追加候補位置と同一配置パターンで絵文字が配置される「位置選択カーソルの現在位置よりも処理対象文の文頭方向に存在する追加候補位置」であって、現在位置に最も近い追加候補位置の点線枠に、位置選択カーソルを移動させる処理を行う(S700)。その後、S720に移行する。
一方、該当する追加候補位置が存在しないと判断すると(S690でNo)、位置選択カーソルの現在位置に対応する絵文字の配置パターンよりも一つ出現確率の高い配置パターンに該当する追加候補位置であって、最も文末に近い位置に存在する追加候補位置の点線枠に、位置選択カーソルを移動させる処理を行う(S710)。その後、S720に移行する。
また、S720では、図11に示す絵文字選択画面表示制御処理を実行して、位置選択カーソルが合わせられた追加候補位置に対応した絵文字群を配列してなる絵文字選択画面を位置選択カーソルが合わせられた追加候補位置の周囲に表示する。その後、位置選択カーソル制御処理を終了する。
ここで、図10を用いて、位置選択カーソルの移動態様について説明する。ここでは、各配置パターン「置換」「単語末配置」「文節末配置」「文末配置」の出現確率P1〜P4の大小関係が、「文末配置」の出現確率P4>「単語末配置」の出現確率P2>「置換」の出現確率P1>「文節末配置」の出現確率P3であるときの位置選択カーソルの移動態様について説明する。但し、位置選択カーソルの移動操作については、常に「正」方向への移動操作がなされるものとする。
この場合には、位置選択カーソルの移動操作がなされる度に、点線枠F、点線枠B、点線枠E、点線枠A、点線枠D、点線枠Cの順に位置選択カーソルが移動する。本実施例では、このように位置選択カーソルを出現確率の高い順に移動させることで、ユーザが少ない位置選択カーソルの移動操作で、所望の位置に位置選択カーソルを合わせることができるようにしている。
続いて、S720で制御部10が実行する絵文字選択画面制御処理について図11を用いて説明する。絵文字選択画面制御処理を開始すると、制御部10は、位置選択カーソルが合わせられた追加候補位置に対してキーワードを設定する。
キーワードの設定方法は、S170での処理と同様である。即ち、追加候補位置にて配置される絵文字の配置パターンが「単語末配置」である場合には、処理対象文における当該追加候補位置直前の自立語を、この追加候補位置のキーワードに設定する。また、配置パターンが「文節末配置」であるときには、追加候補位置に対応する文節内の自立語を、この追加候補位置のキーワードに設定する。
また、配置パターンが「置換」である場合には、この追加候補位置に存在する自立語をキーワードに設定し、配置パターンが「文末配置」である場合には、処理対象文の全自立語及びS340で推定した感情ワードを、この追加候補位置のキーワードに設定する。
S810での処理を終えた後には、S810で設定したキーワード群、並びに、S320で特定した文体及び読み手、並びに、位置選択カーソルが合わせられた追加候補位置における絵文字の配置パターンに基づき、当該追加候補位置の特徴をベクトル表現してなる特徴ベクトルを生成する。尚、特徴ベクトルの生成方法は、S180での処理と同様であり、特徴ベクトルの構成については図6に示す通りである。但し、S820では、特徴ベクトルのユーザを表す要素群に対し、S320で特定した読み手に対応する6桁のユーザコードを設定する。
このようにして位置選択カーソルが合わせられた追加候補位置の特徴ベクトルVaを生成すると、制御部10は、当該特徴ベクトルVaと、絵文字事例DBに登録された各絵文字事例データが示す特徴ベクトルVbとのコサイン距離(Va・Vb/|Va|・|Vb|)を算出して、特徴ベクトルVaと特徴ベクトルVbとの類似度を評価する(S830)。
即ち、本実施例では、特徴ベクトルVaと特徴ベクトルVbとの類似度を評価することにより、相互の関連度を評価するが、この際、特徴ベクトルVa,Vbのコサイン距離を算出する。以下、このコサイン距離で表現される評価値Dを、単に関連度Dと称する。
また、S830に続くS840では、絵文字事例DBに登録された絵文字事例データ毎に算出した関連度Dに基づき、関連度Dが閾値TH以上の絵文字事例データが示す絵文字を、絵文字選択画面に表示する対象の絵文字(以下、「表示対象絵文字」と称する。)に設定する。尚、閾値THについては、予め設計者が定めることができる。
そして、S840に続くS850では、表示対象絵文字に設定された絵文字が予め定められたJ個以上あるか否かを判断し、J個以上である場合には(S850でYes)、S860をスキップしてS870に移行し、J個未満である場合には(S850でNo)、S860の処理を実行した後、S870に移行する。
尚、S860では、絵文字辞書内で、位置選択カーソルが合わせられた追加候補位置に設定されたキーワードの少なくとも一つ以上を、代表単語及び関連単語を表すキーワード群に有する絵文字を抽出し、抽出した各絵文字を、追加的に、表示対象絵文字に設定する。更に、追加的に表示対象絵文字に設定した各絵文字に対しては、関連度Dとして、上記閾値THよりも所定量小さい値D0を付与する。但し、S860では、S840で設定した表示対象絵文字と同じ絵文字についての重複設定を回避するようにして、絵文字辞書から抽出した上記各絵文字を、追加的に表示対象絵文字に設定する。
また、S870に移行すると、制御部10は、図13に示す関連度補正処理を実行して、S830及びS860で表示対象絵文字に対して算出(又は付与)された関連度Dを補正する。その後、補正後の関連度Dに基づき、関連度Dの高い順に表示対象絵文字を配列してなる絵文字選択画面を、位置選択カーソルが合わせられた追加候補位置周辺に表示する(S880)。その後、当該絵文字選択画面表示制御処理を終了する。
図12は、絵文字選択画面の構成を表す説明図であり、図12(a)は、位置選択カーソルが点線枠Dに合わせられた状態での絵文字選択画面の表示態様を表す図であり、図12(b)は、位置選択カーソルが点線枠Fに合わせられた状態での絵文字選択画面の表示態様を表す図である。
絵文字選択画面は、図12に示すように、複数の絵文字が一列に配置されてなるものであり、カーソル操作により絵文字の一つをユーザが選択可能な構成にされたものである。絵文字選択画面内のカーソル(以下、「絵文字選択カーソル」と表現する。)は、初期状態で最も左に表示される絵文字に合わせられて配置され、ユーザによるカーソル操作によって、絵文字の配列方向に順に移動する。絵文字選択画面が、このようなグラフィカルユーザインタフェースとして構成されている関係上、表示対象絵文字は、絵文字選択画面において、関連度Dの高い順に左から右へと配列される。
この他、絵文字選択画面に表示される各絵文字には、音声による選択操作用の数字が割り当てられる。音声による絵文字選択は、絵文字に割り当てられた数字の発話により実現される。
また、上記絵文字選択画面は、絵文字の配列方向にスクロール可能な構成にすることができる。一度に表示できない絵文字については、ユーザによるユーザインタフェースを通じたスクロール操作によって絵文字選択画面に絵文字を表示するといった具合である。
続いて、制御部10がS870で実行する関連度補正処理を、図13を用いて説明する。関連度補正処理を開始すると、制御部10は、処理対象文が返信メールを構成する文章(即ち、受信メールに対する返信文)であるか否かを判断し(S910)、処理対象文が返信メールを構成する文章である場合には(S910でYes)、返信メールに対応する受信メールで使用されている絵文字の全てを受信メールから抽出する(S920)。その後、S950に移行する。
一方、処理対象文が返信メールを構成する文章ではない場合(S910でNo)、制御部10は、処理対象文がブログ記事に対するコメント文を構成する文章であるか否かを判断する(S930)。そして、コメント文を構成する文章ではないと判断すると(S930でNo)、関連度補正処理を終了し、コメント文を構成する文章であると判断すると(S930でYes)、コメント文に対応するブログ記事にて使用されている絵文字の全てを、該当ブログ記事から抽出する(S940)。その後、S950に移行する。
S950に移行すると、制御部10は、S840及びS860で表示対象絵文字に設定した絵文字の一つを処理対象絵文字に設定し、S920又はS940で抽出した絵文字群の内、処理対象絵文字と共起する絵文字として共起DBに登録された絵文字の全てを参照絵文字として抽出する(S960)。尚、共起DBは、図14に示すように、共起する絵文字の組合せ毎に、共起する絵文字の組合せを表す情報と補正係数kの情報と共起回数qの情報とからなる共起データを有するものである。共起DBを構成する各共起データの補正係数k(≧1)は、共起頻度が高い(換言すると共起する確率の高い)絵文字の組合せ程、高い値を示す。
また、S960に続くS970では、参照絵文字及び処理対象絵文字の組合せに対して設定された補正係数kを、共起DBから、参照絵文字及び処理対象絵文字の組合せ毎に読み出す。その後、S830で求めた関連度Dであって、処理対象絵文字に関連付けられた絵文字事例データの特徴ベクトルVbと追加候補位置の特徴ベクトルVaとの関連度Dを、上記読み出した補正係数kに基づいて補正する(S980)。具体的には、処理対象絵文字に対応する関連度Dに対し、読み出した参照絵文字毎の補正係数kの内、最大の値を示す補正係数kを作用させて、S830で求めた関連度Dを、D←k・Dに補正する。
また、S980に続くS990では、S960で抽出した参照絵文字を、この処理対象絵文字に対する共起学習用データとしてRAM13に一時記憶する(S990)。
その後、表示対象絵文字の全てを処理対象絵文字に選択したか否かを判断し(S995)、選択していなければ(S995でNo)、S950に移行して未選択の表示対象絵文字を新たな処理対象絵文字に選択してS960に移行する。
このようにして、S950〜S990では、表示対象絵文字毎に、当該表示対象絵文字についてS830で求めた関連度Dを補正し、更には、この表示対象絵文字と共起する関係にある参照絵文字を共起学習データとして一時記憶する。
そして、表示対象絵文字の全てを処理対象絵文字に選択してS960以降の処理を実行した場合には、関連度補正処理を終了して、S880に移行する。
このようにして、S870での関連度補正は行われる。この補正後の関連度Dを用いてS880で絵文字選択画面における絵文字の配列順を決定すると、返信メールの作成時やブログコメント作成時に表示される絵文字選択画面には、受信メールやコメントするブログ記事にて使用された絵文字と共起関係にある絵文字が、初期状態でのカーソル位置に近い場所に配列される。従って、本実施例によれば、返信メールやコメント文作成時の絵文字の入力が簡単になるといった利点がある。
話をS390に戻す。図8に示すS390では、このようにしてユーザの使用環境に合わせて位置選択画面のカーソル移動を制御し、更には、移動先のカーソル位置に対応した絵文字選択画面を、表示部30に表示する。
そして、絵文字選択画面が表示された状態で絵文字選択カーソルの移動操作がなされると(S400でYes)、制御部10は、この操作に合わせて絵文字選択画面内で絵文字選択カーソルを移動させる(S410)。尚、音声入力によりカーソル位置の移動操作が行われた場合には、発声された数字に対応する絵文字にカーソルを移動させる。
また、ユーザインタフェースを通じて絵文字選択画面を閉じる操作がなされた場合には(S420でYes)、表示中の絵文字選択画面を閉じる処理を行う(S430)。
この他、絵文字選択画面において絵文字選択カーソル位置の絵文字を、処理対象文に配置する旨の確定操作がなされた場合には(S440でYes)、絵文字選択画面を閉じると共に(S450)、絵文字選択カーソル位置の絵文字を、位置選択画面において位置選択カーソルが合わせられた処理対象文内の追加候補位置に配置する(S460)。尚、追加候補位置における絵文字の配置パターンが「置換」に該当する場合には、位置選択カーソルが合わせられた位置にある処理対象文内の自立語を削除して、当該自立語に対応する位置に、選択された絵文字を配置するようにして位置選択画面を更新する。このようにして本実施例では、処理対象文をユーザからの指示に従って絵文字を配置するように編集する。
また、S460の処理後には、今回処理対象文内に配置された絵文字と、当該絵文字が配置された追加候補位置に対してS820で生成した特徴ベクトルとを用いて、この絵文字の識別IDと特徴ベクトルとを関連付けてなる絵文字事例データを作成し(S470)、作成した絵文字事例データを、絵文字事例DBに登録する(S480)。その後、今回処理対象文に配置された絵文字についての共起学習処理を実行する(S490)。
S490で共起学習処理を開始すると、制御部10は、図15に示すように、まず、今回処理対象文に配置された絵文字に対応する共起学習用データがRAM13に記憶されているか否かを判断する(S1010)。尚、今回処理対象文に配置された絵文字に対応する共起学習用データとは、関連度補正処理(図13参照)において、今回処理対象文に配置された絵文字を、処理対象絵文字として、この絵文字と共起する参照絵文字を抽出したときにS990で作成される共起学習用データのことである。
共起学習用データが存在する場合、この共起学習用データに対応する参照絵文字は、今回処理対象文に配置された絵文字と共起関係にある絵文字と取り扱うことができる。
従って、該当する共起学習用データが存在する場合には(S1010でYes)、S1020以降の処理に移行して、今回処理対象文に配置された絵文字と共起学習用データが示す参照絵文字との組合せに対応した共起データが示す共起回数を更新する。
具体的に、S1020に移行すると、制御部10は、今回処理対象文に配置された絵文字に対応する共起学習用データとして登録された絵文字(参照絵文字)の一つを、共起学習対象絵文字に選択し、続くS1030において、今回処理対象文に配置された絵文字と当該共起学習対象絵文字との組合せに対応する共起データが示す共起回数qを、共起DBにおいて、1加算した値に更新する(q←q+1)。
そして、更新後の共起回数qが、補正係数kの更新条件を満足する値になったか否かを判断する(S1040)。例えば、共起回数qが10又は20又は50又は100又は200に一致するときに補正係数kを更新する条件が設定されている場合には、共起回数qが10又は20又は50又は100又は200に一致するとき、S1040では肯定判断する。但し、ここで提示した更新条件の設定方法はあくまで一例である。
そして、共起回数qが補正係数kの更新条件を満足する値になったと判断すると(S1040でYes)、S1050に移行して、当該更新条件を満足したときに加算すべき値Δkを、現在の補正係数kに加算して、共起DBが記憶する補正係数kを更新する(k←k+Δk)。勿論、ここで更新する対象は、S1030で共起回数qを更新した共起データにおける補正係数kである。その後、S1060に移行する。
一方、共起回数qが補正係数kの更新条件を満足しない場合には(S1040でNo)、S1050の処理をスキップしてS1060に移行する。
また、S1060では、今回処理対象文に配置された絵文字に対応する共起学習用データとして登録された全ての絵文字(参照絵文字)について、これを共起学習対象絵文字として選択してS1030以降の処理を実行したか否かを判断し、実行していない場合には(S1060でNo)、S1020に移行して、共起学習用データとして登録された絵文字の内、共起学習対象絵文字として未選択の絵文字を新たな共起学習対象絵文字に設定して、S1030以降の処理を実行する。
そして、今回処理対象文に配置された絵文字に対応する共起学習用データとして登録された全ての絵文字(参照絵文字)についてS1030以降の処理を実行した場合には(S1060でYes)、RAM13に記憶されている全ての共起学習用データを削除して、当該共起学習処理を終了する。
また、このようにしてS490での共起学習処理を終了すると、制御部10は、位置選択画面を閉じる操作がなされたか否かを判断し(S500)、位置選択画面を閉じる操作がなされていない場合には、S370に移行して、上記位置選択カーソルの移動操作、絵文字選択カーソルの移動操作、絵文字選択画面を閉じる操作、絵文字選択画面において処理対象文に配置する絵文字を確定する操作、及び、位置選択画面を閉じる操作のいずれかがなされるまで待機し、なされた場合には、当該なされた操作に対応する処理を実行する。
そして、位置選択画面を閉じる操作がなされた場合には(S500でYes)、位置選択画面を閉じると共に、アプリA,Bの表示画面における処理対象文の表示領域に、位置選択画面を通じて編集された処理対象文を表示して、処理対象文の絵文字入力操作の受付を完了する(S510)。最後に、記憶部70が記憶するパターン統計データを更新して(S520)、当該入力変換処理を一旦終了する。そして、再び、S300から入力変換処理を開始する。
尚、S520では、絵文字入力操作が完了した処理対象文における絵文字の配置パターンに従って、S220での処理と同様に、パターン統計データが保持する値Y1,Y2,Y3,Y4,Y5に対して、合計が固定値Xとなる値を加算する。
以上、本実施例の電子機器1について説明したが、本実施例によれば、文構造を解析して、絵文字の配置位置を選択可能な位置選択画面を表示し、カーソル操作により簡単に絵文字の配置位置を選択できるようにしているので、文章内でユーザが絵文字を追加する箇所を選択する過程における電子機器1の操作性を向上させることができる。尚、本実施例の電子機器1に係る構成は、操作部40の操作性が乏しい携帯用の電子機器や車載用の電子機器に採用されると特に有効である。
また、本実施例によれば、絵文字の使用状況を、パターン統計データ、絵文字事例データ及び共起DBに反映させて学習し、ユーザの使用状況に合わせて位置選択画面における位置選択カーソルの初期位置及び移動順、並びに絵文字選択画面における絵文字の配列順を切り替えるようにしているので、ユーザによる絵文字の入力操作が非常に簡単である。
尚、「特許請求の範囲」記載の文取得手段は、本実施例においてS300の処理に対応し、位置候補決定手段は、S330,S350の処理に対応し、第一表示制御手段は、S360の処理に対応し、第二表示制御手段は、S880の処理に対応し、絵文字追加手段は、S460の処理に対応する。
この他、頻度記録手段は、S520の処理に対応し、カーソル位置制御手段は、位置選択カーソル制御処理に対応する。また、キーワード設定手段は、S810の処理に対応し、絵文字候補決定手段は、S820〜S860の処理に対応し、対象文属性特定手段は、S320の処理に対応し、事例データ登録手段は、S470,S480に対応する。
また、受信絵文字特定手段は、S920,S940,S150,S160の処理に対応し、補正手段は、S950〜S980の処理に対応し、受信文属性特定手段は、S120の処理に対応し、副キーワード設定手段は、S170の処理に対応し、副事例データ登録手段は、S180〜S200の処理に対応し、関連度評価手段は、S820,S830の処理に対応する。
続いて、第二実施例について説明する。第二実施例の電子機器1は、共起DBが示す補正係数kによる補正後の関連度Dに基づき、絵文字選択画面に表示する絵文字を選択するようにしたものであり、上述した実施例に対して、絵文字選択画面表示制御処理の内容が異なる程度である。従って、以下では、第二実施例の電子機器1が実行する絵文字選択画面表示制御処理の内容を、図16を用いて説明する程度にとどめ、第二実施例の電子機器1が有する上述した実施例と同一構成部位の説明を省略する。尚、図16に示すフローチャートにおいては、上述した第一実施例と同一処理を行うステップに同一ステップ番号を付す。
第二実施例の電子機器1における制御部10は、S720において絵文字選択画面表示制御処理を開始すると、上述した実施例と同様に、まず、位置選択カーソルが合わせられた追加候補位置に対してキーワードを設定し(S810)、ここで設定したキーワード群、並びに、処理対象文の文体及び読み手、並びに、当該追加候補位置における絵文字の配置パターンに基づき、当該追加候補位置に対応した特徴ベクトルVaを生成する(S820)。更に、この特徴ベクトルVaと、絵文字事例DBに登録された各絵文字事例データが示す特徴ベクトルVbとのコサイン距離を算出して、特徴ベクトルVaと特徴ベクトルVbとの関連度を評価する(S830)。
また、S830に続くS1140では、S830で絵文字事例データ毎に算出した関連度Dに基づき、関連度Dが予め定められた第一の閾値TH1以上の絵文字事例データが示す絵文字を、絵文字選択画面への表示対象絵文字に仮設定する。尚、S1140による表示対象絵文字の設定動作は、仮設定動作であるため、第一の閾値TH1については、上述した実施例の閾値THよりも低く設定すればよい。
また、S1140に続くS1150では、図13に示す関連度補正処理を実行して、S1140で仮設定した各表示対象絵文字についてS830で算出した関連度Dを補正する。具体的には、上述した実施例のように補正係数kを用いることにより、受信メール又はブログ記事に使用された絵文字に関連する表示対象絵文字の関連度Dを上げる方向に補正する。
そして、S1150での関連度補正処理が終了すると、制御部10は、S1160に移行して、現在仮設定されている表示対象絵文字の内、補正後の関連度Dが第二の閾値TH2以上の表示対象絵文字のみを、表示対象絵文字に本設定し、補正後の関連度Dが第二の閾値TH2未満の表示対象絵文字については、これを本設定の対象から外す。尚、第二の閾値TH2は、第一の閾値TH1よりも大きな値に設定される。尚、第一の閾値TH1及び第二の閾値TH2については、第一の閾値TH1に等しい関連度Dに補正係数kを作用させて、当該関連度Dを補正したときに、当該関連度Dが第二の閾値TH2を超えうる範囲で、設計者が任意に定めることができる。
そして、S1160に続くS1170では、本設定された表示対象絵文字が予め定められたJ個以上あるか否かを判断し、J個以上である場合には(S1170でYes)、S1180の処理をスキップしてS1190に移行し、J個未満である場合には(S1170でNo)、S1180の処理を実行した後、S1190に移行する。
尚、S1180では、絵文字辞書内で、位置選択カーソルが合わせられた追加候補位置に設定されたキーワードの少なくとも一つ以上を、代表単語及び関連単語を表すキーワード群に有する絵文字を抽出し、抽出した各絵文字を、追加的に、表示対象絵文字に設定する。更に、追加的に表示対象絵文字に設定した各絵文字に対しては、関連度Dとして、上記第二の閾値TH2よりも所定量小さい値D0を付与する。
そして、S1190では、このようにして設定された表示対象絵文字を、補正後の関連度Dの高い順に配列してなる絵文字選択画面を、位置選択カーソルが合わせられた追加候補位置周辺に表示する(S1190)。
以上、第二実施例について説明したが、第二実施例によれば、補正後の関連度Dに基づき、絵文字選択画面に配列する絵文字である表示対象絵文字を決定するので、受信メールにおける絵文字の使用状況及びブログ記事における絵文字の使用状況に対応した絵文字を適切に表示対象絵文字に配列することができる。従って、ユーザにとって必要な絵文字が絵文字選択画面に表示されない現象が発生する確率を低く抑えるこができて、利便性の高い電子機器1をユーザに提供することができる。
尚、「特許請求の範囲」における請求項9記載の補正手段は、本実施例におけるS1150の処理に対応し、絵文字候補決定手段は、S1160,S1180の処理に対応する。
続いて、第三実施例について図17及び図18を用いて説明する。第三実施例の電子機器1は、共起DBが示す共起回数qに基づいて、絵文字選択画面に表示する絵文字の配列順を決定するものであり、絵文字選択画面表示制御処理の一部が、第一実施例と異なる程度である。従って、以下では、図17及び図18を用いて絵文字選択画面表示制御処理及びこの処理のサブルーチンである配列順決定処理を選択的に説明する。尚、図17及び図18に示すフローチャートにおいては、上述した第一実施例と同一処理を行うステップに同一ステップ番号を付す。
第三実施例の電子機器1において制御部10が実行する絵文字選択画面表示制御処理は、図17に示すように、第一実施例の絵文字選択画面表示制御処理におけるS870及びS880が以下に説明するS1270及びS1280の処理に変更になった程度のものである。
そして、S1270では、図18に示す配列順決定処理を実行して、共起DBが示す共起回数qに基づき絵文字選択画面に表示する絵文字の配列順を決定し、S1280では、S1270で決定された配列順で絵文字を配列してなる絵文字選択画面を構成して、これを表示部30に表示する。
具体的に、配列順決定処理では、処理対象文が返信メールを構成する文章であるか否か(S910)、及び、処理対象文がブログ記事に対するコメント文を構成する文章であるか否か(S930)を判断し、処理対象文が返信メールを構成する文章及びブログ記事に対するコメント文を構成する文章のいずれでもない場合には(S930でNo)、S840及びS860で設定された表示対象絵文字の一群に対し、関連度Dの高い順に配列順位を割り当てる(S1410)。詳述すれば、S830で算出された関連度D及びS860で付与された関連度D=D0の情報に基づき、関連度Dの高いもの程配列順位が若くなるように、配列順位を割り当てる。その後、配列順決定処理を終了しS1280の処理を実行することにより、絵文字選択画面には、関連度Dの高い順に絵文字が配列されるようにする。
これに対し、処理対象文が返信メールを構成する文章である場合には(S910でYes)、返信メールに対応する受信メールで使用されている絵文字の全てを受信メールから抽出し(S920)、処理対象文がブログ記事に対するコメント文を構成する文章である場合には(S930でYes)、コメント文に対応するブログ記事にて使用されている絵文字の全てを、ブログ記事から抽出する(S940)。
S920又はS940の処理後、制御部10は、S950に移行し、S840及びS860で表示対象絵文字に設定した絵文字の一つを処理対象絵文字に設定する。そして、S920又はS940で抽出した絵文字群の内、処理対象絵文字と共起する絵文字として共起DBに登録された絵文字の全てを参照絵文字として抽出する(S960)。
また、S960の処理後には、S1370に移行し、参照絵文字及び処理対象絵文字の組合せに対応する共起データが示す共起回数qを、共起DBから、参照絵文字及び処理対象絵文字の組合せ毎に読み出す。その後、読み出した組合せ毎の共起回数qの合計値を配列順評価値Qとして算出する(S1380)。更には、S960で抽出した参照絵文字を、この処理対象絵文字に対する共起学習用データとしてRAM13に一時記憶する(S1390)。
また、この処理を終えると、表示対象絵文字の全てを処理対象絵文字に選択したか否かを判断し(S1395)、選択していなければ(S1395でNo)、S950に移行して未選択の表示対象絵文字を新たな処理対象絵文字に選択してS960以降の処理を実行する。この動作によって、表示対象絵文字毎に、配列順評価値Qを算出すると共に、共起学習用データをRAM13に登録する。
また、表示対象絵文字の全てを処理対象絵文字に選択した場合には(S1395でYes)、S1400に移行し、表示対象絵文字の一群に対して、配列順評価値Qの高い順に配列順位を割り当てる。即ち、配列順評価値Qの高いもの程配列順位が若くなるように、配列順位を割り当てる。但し、配列順評価値Qが同一である表示対象絵文字に対しては、関連度Dの高い順に配列順位を割り当てる。その後、配列順決定処理を終了しS1280の処理を実行する。これにより、絵文字選択画面には、共起回数の高い順で絵文字が配列される。
以上、第三実施例の電子機器1について説明したが、本実施例によれば、絵文字選択画面には、共起回数の高い順で絵文字が配列されるので、電子メールの返信文を作成する際やブログコメント文を作成する際に、受信メールやブログ記事に対応した絵文字の選択操作が簡単である。
尚、「特許請求の範囲」における請求項18記載の第二表示制御手段は、本実施例におけるS1270,S1280の処理に対応する。また、共起頻度更新手段は、共起学習処理にて共起回数qを更新する動作に対応する(図15参照)。
[その他の実施形態]
以上、本発明の実施例として、第一実施例から第三実施例までを説明したが、本発明は、上記実施例に限定されるものではなく、種々の態様を採ることができる。
例えば、位置選択画面における初回カーソル操作時には、パターン統計データに基づき、出現確率P1〜P5が一番高い配置パターンでの絵文字配置が行われる追加候補位置であって、処理対象文の文頭に最も近い追加候補位置の点線枠に位置選択カーソルを表示し(S640)、二回目以降のカーソル操作時には、図9S650〜S710に示すようなカーソル移動を行わず、隣接する追加候補位置の点線枠に順にカーソルを移動させる一般的なカーソル処理を行うように電子機器1を構成してもよい。
この他、S840では、関連度Dが閾値TH以上の絵文字を表示対象絵文字に設定するようにしたが、S840では、例えば、関連度Dの高い絵文字から所定個の絵文字を表示対象絵文字に設定するようにしてもよい。
また、上記実施例では、処理対象文が「メール」文体であるのか「ブログ」文体であるのかを特定するようにしたが、電子機器1は、処理対象文が「です・ます」調であるか否かによって当該処理対象文の文体を特定する構成にされてもよい。
また、上記実施例では、画像データで表現される絵文字を使用したが、絵文字は、これに限ったものではない。例えば、上記絵文字としては、書体データに含まれる音符マーク「♪」や星マーク「★」などの単一記号や、括弧などの複数記号で表現される顔文字や、一つ以上の記号及び画像データで表現される絵文字の組合せなどを用いることができる。
また、S830では、上記関連度Dを、特徴ベクトルVaと特徴ベクトルVbとのコサイン距離で評価したが、関連度Dの評価は、これに限ったものではない。例えば、関連度Dの評価は、サポートベクタマシン(SVM)、決定木などの他の機械学習手法を用いて行うことができる。具体的には、事例DBを用いて決定木などのモデル学習を行い、特徴ベクトルVaを入力とした時の評価値をS830の関連度Dとするといった具合である。
この他、S180では、ユーザ毎に6桁のユーザコードを与えたが、ユーザグループ毎にコードを与えるようにしてもよい。
1…電子機器、10…制御部、11…CPU、12…ROM、13…RAM、20…無線通信部、30…表示部、40…操作部、50…音声出力部、60…音声入力部、70…記憶部

Claims (23)

  1. 絵文字を追加する対象の文章である絵文字追加対象文を取得する文取得手段と、
    前記文取得手段により取得された前記絵文字追加対象文の文構造を解析して、前記絵文字追加対象文における絵文字追加位置の候補である追加候補位置の一群を決定する位置候補決定手段と、
    前記絵文字追加対象文における前記追加候補位置の一群を示した位置選択画面を表示装置に表示させる第一表示制御手段と、
    前記位置選択画面に示された前記追加候補位置の一群からユーザインタフェースを通じて一つの前記追加候補位置が選択されると、選択された前記追加候補位置に追加する絵文字の候補である絵文字群を配列してなる絵文字選択画面を前記表示装置に表示させる第二表示制御手段と、
    前記ユーザインタフェースを通じて前記絵文字選択画面に配列された絵文字の一つが選択されると、選択された前記絵文字を、前記絵文字追加対象文における前記選択された追加候補位置に追加することにより、前記絵文字追加対象文を編集する絵文字追加手段と、
    を備えることを特徴とする電子機器。
  2. 前記位置候補決定手段は、予め定められた文構造上異なる複数種類の位置を前記追加候補位置に決定することを特徴とする請求項1記載の電子機器。
  3. 前記電子機器は、
    前記絵文字追加手段による絵文字の追加動作に対応して、前記種類毎に前記追加候補位置への絵文字の追加頻度を、記録媒体に記録する頻度記録手段と、
    前記ユーザインタフェースを通じたカーソル操作に従って、前記位置選択画面に示された前記追加候補位置のいずれかに対応する位置にカーソルを移動させる手段であって、前記記録媒体に記録された前記種類毎の追加頻度に基づき、前記追加頻度の最も高い前記種類の追加候補位置にカーソルを初期配置するカーソル位置制御手段と、
    を備え、
    前記第二表示制御手段は、前記カーソルを通じて前記位置選択画面で選択された前記追加候補位置についての前記絵文字選択画面を前記表示装置に表示させること
    を特徴とする請求項2記載の電子機器。
  4. 前記カーソル位置制御手段は、前記ユーザインタフェースを通じたカーソル操作に従って、前記追加頻度の高い前記種類の追加候補位置から前記追加頻度の低い前記種類の追加候補位置へと順に前記カーソルを移動させること
    を特徴とする請求項3記載の電子機器。
  5. 前記電子機器は、
    前記位置候補決定手段により決定された前記追加候補位置毎に、当該追加候補位置に対応した前記絵文字追加対象文内の単語を、キーワードに設定するキーワード設定手段と、
    前記追加候補位置毎に、前記キーワード設定手段により設定されたキーワードに基づき、予め登録された絵文字群の中から、当該追加候補位置に追加する絵文字の候補である追加絵文字候補としての絵文字群を決定する絵文字候補決定手段と、
    を備え、
    前記第二表示制御手段は、前記追加候補位置の一群からユーザインタフェースを通じて前記一つの追加候補位置が選択されると、選択された前記追加候補位置の前記追加絵文字候補として決定された絵文字群を配列してなる前記絵文字選択画面を前記表示装置に表示させること
    を特徴とする請求項1〜請求項4のいずれか一項に記載の電子機器。
  6. 前記絵文字追加対象文の属性を特定する対象文属性特定手段と、
    前記絵文字追加手段により前記絵文字追加対象文に追加された絵文字の識別情報を、当該絵文字が追加された位置に対応する前記追加候補位置に対し前記キーワード設定手段が設定した前記キーワードを表す情報及び前記対象文属性特定手段が特定した前記絵文字追加対象文の属性を表す情報と関連付け、絵文字の使用事例に関する絵文字事例データとして、絵文字事例データベースに登録する事例データ登録手段と、
    を備え、
    前記絵文字候補決定手段は、前記追加候補位置毎に、
    当該追加候補位置に対し前記キーワード設定手段が設定したキーワード及び前記対象文属性特定手段により特定された前記属性の組合せと、前記絵文字事例データベースに登録された各絵文字事例データが示す前記キーワード及び前記属性の組合せとの関連度を評価し、この評価値に基づき、関連度が所定条件より高い前記絵文字事例データが示す絵文字を優先的に前記追加絵文字候補に決定すること
    を特徴とする請求項5記載の電子機器。
  7. 前記事例データ登録手段は、前記絵文字追加手段により前記絵文字追加対象文に追加された絵文字の識別情報を、当該絵文字が追加された位置の種類を表す情報及び当該絵文字が追加された位置に対応する前記追加候補位置に対して前記キーワード設定手段が設定した前記キーワードを表す情報及び前記対象文属性特定手段により特定された前記絵文字追加対象文の属性を表す情報と関連付け、前記絵文字事例データとして前記絵文字事例データベースに登録し、
    前記絵文字候補決定手段は、前記追加候補位置毎に、
    当該追加候補位置の種類及び当該追加候補位置に対して前記キーワード設定手段が設定したキーワード及び前記対象文属性特定手段により特定された前記属性の組合せと、前記絵文字事例データベースに登録された各絵文字事例データが示す前記絵文字が追加された位置の種類及び前記キーワード及び前記属性の組合せとの関連度を評価し、この評価値に基づき、関連度が所定条件より高い前記絵文字事例データが示す絵文字を優先的に前記追加絵文字候補に決定すること
    を特徴とする請求項6記載の電子機器。
  8. 前記第二表示制御手段は、前記追加絵文字候補に決定された絵文字を前記関連度の高い順に配列してなる前記絵文字選択画面を前記表示装置に表示させること
    を特徴とする請求項6又は請求項7記載の電子機器。
  9. 前記文取得手段は、前記絵文字追加対象文として、外部からの受信文に対する応答文を取得するものであり、
    前記電子機器は、
    前記絵文字追加対象文に対応する受信文に使用された絵文字を特定する受信絵文字特定手段と、
    絵文字の組合せ毎に当該絵文字間の共起頻度を表す情報を記憶するデータベースである共起データベースから、前記絵文字候補決定手段が前記関連度を評価する前記絵文字事例データが示す絵文字毎に、当該絵文字と前記受信絵文字特定手段により特定された各絵文字との前記共起頻度を表す情報を取得し、前記関連度を評価する前記絵文字事例データが示す絵文字毎に、前記取得した共起頻度を表す情報に基づいて、当該絵文字についての前記絵文字候補決定手段による前記関連度の評価値を補正する補正手段と、
    を備え、
    前記絵文字候補決定手段は、前記補正手段による補正後の評価値に基づき、関連度が所定条件より高い前記絵文字事例データが示す絵文字を優先的に前記追加絵文字候補に決定すること
    を特徴とする請求項6〜請求項8のいずれか一項に記載の電子機器。
  10. 前記文取得手段は、前記絵文字追加対象文として、外部からの受信文に対する応答文を取得するものであり、
    前記電子機器は、
    前記絵文字追加対象文に対応する受信文に使用された絵文字を特定する受信絵文字特定手段と、
    絵文字の組合せ毎に当該絵文字間の共起頻度を表す情報を記憶するデータベースである共起データベースから、前記追加絵文字候補に決定された絵文字毎に、当該絵文字と前記受信絵文字特定手段により特定された各絵文字との前記共起頻度を表す情報を取得し、前記追加絵文字候補に決定された絵文字毎に、前記取得した前記共起頻度を表す情報に基づいて、当該絵文字についての前記絵文字候補決定手段による前記関連度の評価値を補正する補正手段と、
    を備え、
    前記第二表示制御手段は、前記補正手段による補正後の評価値に基づき、前記追加絵文字候補に決定された絵文字を前記関連度の高い順に配列してなる前記絵文字選択画面を前記表示装置に表示させること
    を特徴とする請求項8記載の電子機器。
  11. 前記対象文属性特定手段は、前記属性として、前記絵文字追加対象文の読み手を特定することを特徴とする請求項6〜請求項10のいずれか一項に記載の電子機器。
  12. 前記対象文属性特定手段は、前記属性として、前記絵文字追加対象文の文体を特定することを特徴とする請求項6〜請求項11のいずれか一項に記載の電子機器。
  13. 前記文取得手段は、前記絵文字追加対象文として、外部からの受信文に対する応答文を取得するものであり、
    前記電子機器は、
    前記受信文に使用された絵文字を特定する受信絵文字特定手段と、
    前記受信文の属性を特定する受信文属性特定手段と、
    前記受信絵文字特定手段により特定される絵文字毎に、当該絵文字が使用された前記受信文における当該絵文字に対応する単語を、キーワードに設定する副キーワード設定手段と、
    前記受信絵文字特定手段により特定された絵文字毎に、当該絵文字の識別情報を、前記受信文属性特定手段により特定された当該絵文字が使用された前記受信文の属性を表す情報及び当該絵文字に対して前記副キーワード設定手段が設定したキーワードの情報と関連付けて、前記絵文字事例データとして前記絵文字事例データベースに登録する副事例データ登録手段と、
    を備えることを特徴とする請求項6〜請求項8のいずれか一項に記載の電子機器。
  14. 前記受信絵文字特定手段は、前記受信文に使用された絵文字を特定すると共に、前記受信文に使用された絵文字毎に、前記受信文における当該絵文字の位置の種類を特定し、
    前記受信事例データ登録手段は、前記受信絵文字特定手段により特定された絵文字毎に、当該絵文字の識別情報を、前記受信絵文字特定手段により特定された前記受信文における当該絵文字の位置の種類を表す情報及び前記受信文属性特定手段により特定された当該絵文字が使用された前記受信文の属性を表す情報及び当該絵文字に対して前記副キーワード設定手段が設定したキーワードの情報と関連付けて、前記絵文字事例データとして前記絵文字事例データベースに登録すること
    を特徴とする請求項13記載の電子機器。
  15. 前記受信文属性特定手段は、前記属性として、前記受信文の書き手を特定すること
    を特徴とする請求項13又は請求項14記載の電子機器。
  16. 前記受信文属性特定手段は、前記属性として、前記受信文の文体を特定すること
    を特徴とする請求項13〜請求項15のいずれか一項に記載の電子機器。
  17. 前記絵文字追加対象文の属性を特定する対象文属性特定手段と、
    前記追加候補位置毎に、当該追加候補位置に対応した前記絵文字追加対象文内の単語を、キーワードに設定するキーワード設定手段と、
    前記絵文字追加手段により前記絵文字追加対象文に追加された絵文字の識別情報を、当該絵文字が追加された位置に対応する前記追加候補位置に対し前記キーワード設定手段が設定した前記キーワードを表す情報及び前記対象文属性特定手段が特定した前記絵文字追加対象文の属性を表す情報と関連付け、絵文字の使用事例に関する絵文字事例データとして、絵文字事例データベースに登録する事例データ登録手段と、
    前記追加候補位置毎に、当該追加候補位置に対し前記キーワード設定手段が設定したキーワード及び前記対象文属性特定手段により特定された前記属性の組合せと、前記絵文字事例データベースに登録された各絵文字事例データが示す前記キーワード及び前記属性の組合せとの関連度を評価する関連度評価手段と、
    を備え、
    前記第二表示制御手段は、前記選択された追加候補位置についての前記関連度評価手段の評価結果に基づき、前記関連度の高い前記絵文字事例データが示す絵文字に優先的に若い配列順位を割り当るようにして、前記選択された追加候補位置に対応する前記絵文字選択画面に配列する各絵文字に対して配列順位を割り当て、若い配列順位が割り当てられた絵文字から順に絵文字群を配列してなる絵文字選択画面を前記表示装置に表示させること
    を特徴とする請求項1〜請求項3のいずれか一項に記載の電子機器。
  18. 前記文取得手段は、前記絵文字追加対象文として、外部からの受信文に対する応答文を取得するものであり、
    前記電子機器は、前記絵文字追加対象文に対応する受信文に使用された絵文字を特定する受信絵文字特定手段を備え、
    前記第二表示制御手段は、絵文字の組合せ毎に当該絵文字間の共起頻度を表す情報を記憶するデータベースである共起データベースから、前記絵文字選択画面に配列する絵文字毎に、当該絵文字と前記受信絵文字特定手段により特定された各絵文字との前記共起頻度を表す情報を取得し、これらの共起頻度を表す情報に基づき、前記絵文字選択画面に配列する絵文字に対して前記共起頻度の高いものから優先的に若い配列順位を割り当てて、前記若い配列順位が割り当てられた絵文字から順に前記絵文字群を配列してなる絵文字選択画面を前記表示装置に表示させること
    を特徴とする請求項1〜請求項3のいずれか一項に記載の電子機器。
  19. 前記絵文字追加手段による絵文字の追加動作に対応して、前記絵文字追加対象文に追加された絵文字と、対応する前記受信文で使用された絵文字と、の前記共起頻度を表す情報を、前記共起データベースにおいて更新する共起頻度更新手段
    を備えることを特徴とする請求項18記載の電子機器。
  20. 前記位置候補決定手段は、前記絵文字追加対象文における各文節末を、前記追加候補位置に決定すること
    を特徴とする請求項1〜請求項19のいずれか一項に記載の電子機器。
  21. 前記位置候補決定手段は、前記絵文字追加対象文における各文節の自立語末を、前記追加候補位置に決定すること
    を特徴とする請求項1〜請求項20のいずれか一項に記載の電子機器。
  22. 前記位置候補決定手段は、前記絵文字追加対象文における絵文字に置換されうる自立語が存在する位置である置換可能位置を、前記追加候補位置に決定し、
    前記絵文字追加手段は、前記置換可能位置に前記選択された絵文字を追加する際には、前記置換可能位置に存在する自立語を削除し、当該自立語に代えて前記選択された絵文字を追加すること
    を特徴とする請求項1〜請求項21のいずれか一項に記載の電子機器。
  23. 請求項1記載の電子機器が備える各手段としての機能を、コンピュータに実現させるためのプログラム。
JP2009298380A 2009-12-28 2009-12-28 電子機器及びプログラム Expired - Fee Related JP5267450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009298380A JP5267450B2 (ja) 2009-12-28 2009-12-28 電子機器及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009298380A JP5267450B2 (ja) 2009-12-28 2009-12-28 電子機器及びプログラム

Publications (2)

Publication Number Publication Date
JP2011138343A true JP2011138343A (ja) 2011-07-14
JP5267450B2 JP5267450B2 (ja) 2013-08-21

Family

ID=44349711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009298380A Expired - Fee Related JP5267450B2 (ja) 2009-12-28 2009-12-28 電子機器及びプログラム

Country Status (1)

Country Link
JP (1) JP5267450B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248538A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 記号入力支援装置、記号入力支援方法、及びプログラム
JP2013029925A (ja) * 2011-07-27 2013-02-07 Kyocera Corp 電子機器、文章編集方法及び制御プログラム
JP2015507791A (ja) * 2011-12-19 2015-03-12 マシーン・ゾーン・インコーポレイテッドMachine Zone, Inc. エモティコンを識別および提案するためのシステムおよび方法
WO2015059976A1 (ja) * 2013-10-24 2015-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016002251A1 (ja) * 2014-06-30 2016-01-07 クラリオン株式会社 情報処理システム、及び、車載装置
JP2016522482A (ja) * 2013-07-29 2016-07-28 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 候補単語を提供する方法、装置、コンピューター記憶媒体及びデバイス
KR20160118316A (ko) * 2014-02-05 2016-10-11 페이스북, 인크. 감정 분석에 기반한 이디어그램
US9690767B2 (en) 2014-07-07 2017-06-27 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
JP2017522626A (ja) * 2014-07-02 2017-08-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 情報送信方法及び送信装置
US10013601B2 (en) 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
US10089975B2 (en) 2014-04-23 2018-10-02 Kabushiki Kaisha Toshiba Transliteration work support device, transliteration work support method, and computer program product
JP2019050049A (ja) * 2018-12-12 2019-03-28 株式会社コロプラ 感情テキスト表示プログラム、方法およびシステム
US10261988B2 (en) 2015-01-07 2019-04-16 Tencent Technology (Shenzhen) Company Limited Method, apparatus and terminal for matching expression image
JP2019153338A (ja) * 2019-05-13 2019-09-12 エム・ゼット・アイ・ピィ・ホールディングス・リミテッド・ライアビリティ・カンパニーMz Ip Holdings, Llc エモティコンを識別および提案するためのシステムおよび方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318649A (ja) * 2001-04-19 2002-10-31 Masanobu Kujirada 顔文字入力のためのシステム、方法、プログラム
JP2005346252A (ja) * 2004-06-01 2005-12-15 Nec Corp 情報伝達システムおよび情報伝達方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318649A (ja) * 2001-04-19 2002-10-31 Masanobu Kujirada 顔文字入力のためのシステム、方法、プログラム
JP2005346252A (ja) * 2004-06-01 2005-12-15 Nec Corp 情報伝達システムおよび情報伝達方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNG200401700010; 吉野 孝 外1名: '絵文字を用いたチャット支援システム' 情報処理学会研究報告 第2003巻第52号, 20030523, p.63-68, 社団法人情報処理学会 *
CSNG200501102003; 宗森 純 外5名: '異文化コラボレーションへのマルチメディア電子会議システムの適用とその効果' 情報処理学会論文誌 第46巻第1号, 20050115, p.26-37, 社団法人情報処理学会 *
JPN6013015995; 吉野 孝 外1名: '絵文字を用いたチャット支援システム' 情報処理学会研究報告 第2003巻第52号, 20030523, p.63-68, 社団法人情報処理学会 *
JPN6013015996; 宗森 純 外5名: '異文化コラボレーションへのマルチメディア電子会議システムの適用とその効果' 情報処理学会論文誌 第46巻第1号, 20050115, p.26-37, 社団法人情報処理学会 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011248538A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> 記号入力支援装置、記号入力支援方法、及びプログラム
JP2013029925A (ja) * 2011-07-27 2013-02-07 Kyocera Corp 電子機器、文章編集方法及び制御プログラム
JP2018077861A (ja) * 2011-12-19 2018-05-17 マシーン・ゾーン・インコーポレイテッドMachine Zone, Inc. エモティコンを識別および提案するためのシステムおよび方法
JP2015507791A (ja) * 2011-12-19 2015-03-12 マシーン・ゾーン・インコーポレイテッドMachine Zone, Inc. エモティコンを識別および提案するためのシステムおよび方法
JP2019207726A (ja) * 2011-12-19 2019-12-05 エム・ゼット・アイ・ピィ・ホールディングス・リミテッド・ライアビリティ・カンパニーMz Ip Holdings, Llc エモティコンを識別および提案するためのシステムおよび方法
US10254917B2 (en) 2011-12-19 2019-04-09 Mz Ip Holdings, Llc Systems and methods for identifying and suggesting emoticons
JP2016522482A (ja) * 2013-07-29 2016-07-28 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 候補単語を提供する方法、装置、コンピューター記憶媒体及びデバイス
WO2015059976A1 (ja) * 2013-10-24 2015-04-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2015059976A1 (ja) * 2013-10-24 2017-03-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101961710B1 (ko) 2014-02-05 2019-03-25 페이스북, 인크. 감정 분석에 기반한 이디어그램
US10013601B2 (en) 2014-02-05 2018-07-03 Facebook, Inc. Ideograms for captured expressions
KR20160118316A (ko) * 2014-02-05 2016-10-11 페이스북, 인크. 감정 분석에 기반한 이디어그램
JP2017514194A (ja) * 2014-02-05 2017-06-01 フェイスブック,インク. 感情解析に基づくイデオグラム
US10050926B2 (en) 2014-02-05 2018-08-14 Facebook, Inc. Ideograms based on sentiment analysis
US10089975B2 (en) 2014-04-23 2018-10-02 Kabushiki Kaisha Toshiba Transliteration work support device, transliteration work support method, and computer program product
CN106462513A (zh) * 2014-06-30 2017-02-22 歌乐株式会社 信息处理***及车载装置
US10008204B2 (en) 2014-06-30 2018-06-26 Clarion Co., Ltd. Information processing system, and vehicle-mounted device
JPWO2016002251A1 (ja) * 2014-06-30 2017-05-25 クラリオン株式会社 情報処理システム、及び、車載装置
WO2016002251A1 (ja) * 2014-06-30 2016-01-07 クラリオン株式会社 情報処理システム、及び、車載装置
JP2017522626A (ja) * 2014-07-02 2017-08-10 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 情報送信方法及び送信装置
US10387717B2 (en) 2014-07-02 2019-08-20 Huawei Technologies Co., Ltd. Information transmission method and transmission apparatus
US9690767B2 (en) 2014-07-07 2017-06-27 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US10311139B2 (en) 2014-07-07 2019-06-04 Mz Ip Holdings, Llc Systems and methods for identifying and suggesting emoticons
US10579717B2 (en) 2014-07-07 2020-03-03 Mz Ip Holdings, Llc Systems and methods for identifying and inserting emoticons
US10261988B2 (en) 2015-01-07 2019-04-16 Tencent Technology (Shenzhen) Company Limited Method, apparatus and terminal for matching expression image
JP2019050049A (ja) * 2018-12-12 2019-03-28 株式会社コロプラ 感情テキスト表示プログラム、方法およびシステム
JP2019153338A (ja) * 2019-05-13 2019-09-12 エム・ゼット・アイ・ピィ・ホールディングス・リミテッド・ライアビリティ・カンパニーMz Ip Holdings, Llc エモティコンを識別および提案するためのシステムおよび方法

Also Published As

Publication number Publication date
JP5267450B2 (ja) 2013-08-21

Similar Documents

Publication Publication Date Title
JP5267450B2 (ja) 電子機器及びプログラム
US10056095B2 (en) Emotion detection in voicemail
KR101641572B1 (ko) 상황 및 선호도 기반 대화 스티커 순위 결정 방법 및 컴퓨터 프로그램
CN107330120B (zh) 询问应答方法、询问应答装置及计算机可读存储介质
KR101522156B1 (ko) 텍스트 예측 방법 및 시스템
AU2010346493B2 (en) Speech correction for typed input
US9105268B2 (en) Method and apparatus for predicting intent in IVR using natural language queries
KR101183340B1 (ko) 컴퓨팅 장치에 입력을 제공하기 위한 효율적인 멀티모달방법
JP2011254553A (ja) 小型キーパッド用日本語入力メカニズム
CN104471639A (zh) 语音和手势识别增强
WO2002073331A2 (en) Natural language context-sensitive and knowledge-based interaction environment for dynamic and flexible product, service and information search and presentation applications
JP4872323B2 (ja) Htmlメール生成システム、通信装置、htmlメール生成方法、及び記録媒体
CN107155121B (zh) 语音控制文本的显示方法及装置
US20230103313A1 (en) User assistance system
CN101405693A (zh) 多模式输入的个人协作过滤
CN112927695A (zh) 语音识别方法、装置、设备及存储介质
JP2007304793A (ja) 文書検索装置
JP3927800B2 (ja) 音声認識装置及び方法、プログラム、並びに記憶媒体
JP2003030187A (ja) 自動通訳システム、会話学習装置、自動通訳装置及びその方法並びにそのプログラム
JP2005128711A (ja) 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置
JP5181502B2 (ja) 文字処理装置、文字処理方法及びプログラム
CN114546326A (zh) 一种虚拟人手语生成方法和***
CN113761111A (zh) 一种智能对话方法和装置
JP5398638B2 (ja) 記号入力支援装置、記号入力支援方法、及びプログラム
JP4622861B2 (ja) 音声入力システム、音声入力方法、および、音声入力用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R151 Written notification of patent or utility model registration

Ref document number: 5267450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees