JP4643054B2 - Device for inputting text consisting of letters and emoticons - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、パソコン、携帯電話、携帯情報端末などを使用しての電子メール、チャット、インスタントメッセージなどにおける文章の入力時に使用される、文章を入力する装置に関する。
【０００２】
【従来の技術】
従来より、パソコン、携帯電話、携帯情報端末などによる電子メール、チャット、インスタントメッセージなどにおいては、「顔文字」がしばしば利用されている。「顔文字」は、複数の記号（テキストデータとしての記号）を組み合わせて作成される簡単な図形やイラストである。この顔文字は、例えば、「にこっ」などの顔の表情を表すためのもので、文の中又は前後に挿入されるものである。このような顔文字は、電子メールなどの文章の中で、文章では汲み取り難い「行間に隠された心情や気持ち」を表すことができるので、文章の表現力アップを図り「遊び心」を満たすものとして、利用されている。また、従来の顔文字は、テキストデータとしての記号の組み合わせなので、狭帯域の回線でも使用できるように送信データ量を抑えることができるというメリットもある。
【０００３】
図３（ａ）は、特開平１１−３０５９８７号公報の図１７を引用したものである。この公報は、その００９５の中で、顔文字について次のように述べている。「絵文字（顔文字）とは、人間の顔や動物などを文字のグリフの連なりで表現したものである。例えば、”：−）”、”（＾．＾）”、”（＾＾）”、などはいずれも人間の顔を表現しており、多くの場合、”（笑い）”とか”（冗談）”と記した場合と同様の意味を持つ。絵文字は、顔文字、スマイリー（ｓｍｉｌｙ）、アスキーアートなどと呼ばれることもある。」図３（ａ）では、文の末尾に挿入された”（＾＾）”のマークは、”（笑い）”の意味を、また、文の末尾に挿入された”（−０−）”のマークは、”（すみません）”の意味を有している。また、この公報では、その０１１２の中で、「入力されたテキストから、絵文字（顔文字）を抽出する絵文字抽出装置」のアイデアをも開示している。
【０００４】
また、図３（ｂ）は、特開２０００−２７０１１５公報の図４を引用したものである。この公報では、携帯電話による顔文字の入力作業を効率化するために、図３（ｂ）に示すように、顔文字を複数のグループに分類して、各グループをテンキーの一つに対応させてＲＡＭに記録するようにしている。そして、この公報では、希望する顔文字を画面に読み出す場合は、まずテンキーでグループを指定し、指定したグループ内の顔文字を同一数字キーの押し下げ回数により選択するようにしている。
【０００５】
【発明が解決しようとする課題】
従来の顔文字の入力は、ユーザーがいちいちキーボードで記号を入力していく方法、前記特開平１１−３０５９８７号公報のようにユーザーがテキストデータを入力してそれに対応する顔文字を抽出する方法、前記特開２０００−２７０１１５公報のようにテンキー操作を繰り返すことにより呼び出す方法などが開発されている。しかしながら、これらの方法は、いずれも、十分に効率的な方法とは言い難い。特に、キーの数が少ない携帯電話などでは、ユーザーは顔文字を選択するためにキーを何回も押し下げる必要があり、大変不便であった。
本発明はこのような従来技術の問題点に着目したものであって、ユーザーが文章を入力しているとき、所定の顔文字をその文章の中へ入力することを、極めて容易に且つ効率的に行うことができる、文字及び顔文字から成る文章を入力する装置、を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
（用語説明） 本明細書において、「顔文字」とは、「従来において代表的な、テキストデータとしての記号を複数個組み合わせ作成するもの（テキストデータ）」だけでなく、「ユーザーの顔画像データに基づいて生成する画像データ（ユーザーの顔の画像データを加工して得られる、線図データ又はドットデータ（点データ）から成る画像データなど）、例えば、ユーザーの顔画像データを加工して生成する線図データのみから成る顔文字、ユーザーの顔画像データを加工して生成するドットデータ（点データ）のみから成る顔文字、などをも含むものである。
すなわち、本願明細書における「ユーザーが入力している文章を構成する、文字とほぼ同じ大きさの顔文字」は、「ユーザーの顔画像データを加工して得られる線図データやドットデータなどから成るもの」であってもよい。
【０００７】
（本発明の内容）
第１ 本願の特許請求の範囲に記載された発明は次のとおりである。
１ ユーザーの顔を撮像する撮像手段と、前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、を備えたことを特徴とする、文字及び顔文字から成る文章を入力する装置。
２ ユーザーの顔を撮像する撮像手段と、前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、を備えており、前記顔文字選択等手段は、（ａ）「複数の顔文字を、『複数の互いに異なる表情を有する顔画像又は前記各顔画像の特徴を示すデータ』と互いに関連付けて記録している顔文字データベース」から、前記撮像手段により取得されたユーザーの顔画像又はこのユーザーの顔画像の特徴を示すデータに基づいて、前記顔文字を抽出もしくは選択する、又は、（ｂ）前記撮像手段により取得されたユーザーの顔画像に基づいて、前記顔文字を生成する、ものである、ことを特徴とする、文字及び顔文字から成る文章を入力する装置。

第２ 「本願の特許請求の範囲に記載された発明」そのものではないが、本明細書においては次のような発明も開示・提案している。
１ 予め複数種類の顔文字を、「複数の互いに異なる表情を有する顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）」とそれぞれ関連付けて記録しておくための顔文字データベースと、ユーザーの顔を撮像するための映像取得手段と、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を前記映像取得手段により撮像するための撮像制御手段と、ユーザーが顔文字の入力を指示したとき、前記映像取得手段からのユーザーの顔画像又はこれに関するデータ（例えば、そのユーザーの顔画像の特徴を示すデータ）に基づいて、前記顔文字データベースから、前記映像取得手段からのユーザーの顔画像データに対応する顔文字を選択するための顔文字選択手段と、前記顔文字選択手段により選択された顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するための顔文字入力手段と、を備えたことを特徴とする顔文字入力システム。
２ ユーザーの顔を撮像するための映像取得手段と、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を前記映像取得手段により撮像するための撮像制御手段と、ユーザーが顔文字の入力を指示したとき、前記映像取得手段からのユーザーの顔画像データに基づいて、「ユーザーが入力している文を構成する文字とほぼ同じ大きさの顔文字」を生成するための顔文字生成手段と、前記顔文字生成手段により生成された顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するための顔文字入力手段と、を備えたことを特徴とする顔文字入力システム。
３ 予め複数種類の顔文字を、「複数の互いに異なる表情を有する顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）」とそれぞれ関連付けて記録しておくための顔文字データベースを備えておき、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像するステップと、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像又はこれに関するデータ（例えば、そのユーザーの顔画像の特徴を示すデータ）に基づいて、前記顔文字データベースから、前記の撮像したユーザーの顔画像データに対応する顔文字を選択するステップと、前記の選択した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するステップと、を備えたことを特徴とする顔文字入力方法。
４ ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像するステップと、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像データに基づいて、「ユーザーが入力している文を構成する文字とほぼ同じ大きさの顔文字」を生成するステップと、前記の生成した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力するステップと、を備えたことを特徴とする顔文字入力方法。
５ 予め複数種類の顔文字を、「複数の互いに異なる表情を有する顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）」とそれぞれ関連付けて記録しておくための顔文字データベースを備えたシステムで使用されるコンピュータプログラムであって、ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像する機能と、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像又はこれに関するデータ（例えば、そのユーザーの顔画像の特徴を示すデータ）に基づいて、前記顔文字データベースから、前記の撮像したユーザーの顔画像データに対応する顔文字を選択する機能と、前記の選択した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力する機能と、を実現するための顔文字入力用コンピュータプログラム。
６ ユーザーが顔文字の入力を指示したとき、その指示したときのユーザーの顔を撮像する機能と、ユーザーが顔文字の入力を指示したとき、前記の撮像したユーザーの顔画像データに基づいて、「ユーザーが入力している文を構成する文字とほぼ同じ大きさの顔文字」を生成する機能と、前記の生成した顔文字を、ユーザーが入力している文の先頭、中間、又は末尾であってユーザーが指定した位置に入力する機能と、を実現するための顔文字入力用コンピュータプログラム。

なお、以上の本発明においては、本明細書の特許請求の範囲の中に記載されているシステム（装置）のアイデアは、全て、「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）のアイデア」としても捉えることができる。すなわち、本発明においては、本明細書の特許請求の範囲の中において「システム（装置）」の形で記載された発明の内容は、全て、「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）」の形でも記載することができ、「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）」の形でも実現することができる。すなわち、本発明においては、本明細書の特許請求の範囲の中において、末尾に「システム（装置）」という文字が記載された発明は、その全てが、末尾に「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）」という文字で把握・記載される発明とすることができる。すなわち、本明細書の特許請求の範囲の内容は、その全てが「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）の発明」としても構成することができ、そのように「方法又はプログラム（記録媒体に記録されたプログラムと、記録媒体に記録されていない状態にあるプログラムとを含む）の発明」として構成される発明も、本発明の範囲内である。
なお、本発明によるプログラムは、例えば、コンピュータのハードディスクなどの記録媒体に記録されてＣＰＵにより実行されるものであり、また、ＡＳＰ（アプリケーションサービスプロバイダ）によりインターネットなどのネットワーク経由でユーザー側の情報端末に送信（譲渡・貸与）されるものである。
【０００８】
【発明の実施の形態】
実施形態１．
図１は本発明の実施形態１を示すブロック図である。図１において、１は複数の顔文字と、各顔文字毎の識別データ（ＩＤ）と、実際の人（この「人」は、情報機器を保有しているユーザーが望ましいが、ユーザー以外でもよい）の顔の画像であって、前記各顔文字と対応する複数の表情を有している顔画像又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）と、を互いに関連付けて記録しておくための顔文字データベースである。また、図１において、２はユーザーの顔を撮像するためのカメラ（パソコンや携帯電話に備えられているものが望ましい）である。また、３は情報処理部（ＣＰＵなどで構成される）であって、前記カメラ２などを含む情報機器全体の動作を制御するためのものである。
【０００９】
また、４は文字入力用キーボードであって、ユーザーが希望する文字のデータ（漢字などを示すデータ）を前記情報処理部３に入力するためのものである。また、５は日本語辞書データベースであって、前記キーボード４から入力されたデータに基づいて、対応する日本語の熟語や漢字を表示してユーザーに選択を促して、日本語を入力させるためのものである。６は入力位置指示部で、ユーザーが文字又は顔文字を入力すべき位置（ユーザーが入力している文の中間又は前後の位置）を指定するためのもので、例えば、マウスやカーソル・キーなどにより構成されている。例えば、ユーザーが前記キーボード４を使用して「とうきょうと」と入力すると、情報処理部３は、この入力内容から前記日本語辞書データベース５を検索して「東京都」という漢字を選択し、それをユーザー側に画面で提示して、ユーザーが「これでよい」という意味の選択キーを押すと、この「東京都」という漢字を、前記入力位置指示部６によりユーザーが指示した入力位置に入力（挿入・追加）する。
【００１０】
また、図１において、７はユーザーが顔文字を入力することを前記情報処理部３に指示するための顔文字入力指示部で、例えば、通常の文字ではない顔文字を入力することを指示するための特別のキー（例えば、携帯電話なら、”＃”キーや”＊”キーなど）で構成される。また、８は、前記カメラ２からのユーザーの顔の撮像データ（顔画像データ）と前記顔文字データベース１からの顔画像（予め複数の顔文字とそれぞれ対応付けて記録されている複数の顔画像）とを比較・照合することにより（例えば、前記顔文字データベース１に記録された複数の顔画像の中から、前記カメラ２からのユーザーの顔画像と最も類似した顔画像を抽出することにより）、前記カメラ２からのユーザーの顔画像（ユーザーが、入力を希望する顔文字の種類に対応する表情を持つように自分の顔を変形させたときの、ユーザーの顔画像）又はこれから得られたデータ（例えば、各顔画像の特徴を示すデータ）に対応する顔文字を選択するための顔文字選択部である（なお、この顔文字選択部８は、実際には、前記情報処理部３を構成するＣＰＵにより構成されていてもよい）。また、図１において、９は前記情報処理部３からのデータを画面に表示するためのディスプレイ、１０は前記情報処理部８からのデータを紙に出力するためのプリンタである。
【００１１】
次に、本実施形態１の動作を説明する。本実施形態１では、ユーザーが、前記顔文字入力指示部７から、顔文字を入力するための指示データを前記情報処理部３に入力する（例えば、所定のボタン又はキーを押したり、所定のアイコンをマウスでクリックする）と、情報処理部３は、カメラ２を制御して、そのときにおけるユーザーの顔（ユーザーが、入力を希望する顔文字の種類に相当する表情を自分の顔が持つように、自分の顔を変形させたときのユーザーの顔）を撮像させる。そして、前記情報処理部３は、カメラ２を制御して、前記の撮像したユーザーの顔画像データを、前記顔文字選択部８に向けて送信させる。すなわち、本実施形態１では、前記のカメラ２によりユーザーの顔を撮像するとき、ユーザーは、自分が入力したい顔文字の種類（例えば、「笑っている顔文字」）に対応する表情（例えば、「笑っている表情」）に、自分の顔の表情を変えて、その表情を持つ自分の顔を前記カメラ２に撮像してもらうようにする。
【００１２】
顔文字選択部８は、前記カメラ２からのユーザーの顔画像データ（ユーザーが顔文字の入力を指示したときの、ユーザーの顔の表情が示された画像データ）又はこれに関するデータ（例えば、ユーザーの前記顔画像の特徴を示すデータ）と、前記顔文字データベース１に記録されている複数の顔画像（前記の複数の各顔文字とそれぞれ対応している顔画像）又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）とを比較照合し、前記ユーザーの顔画像の表情（例えば、「笑っている表情」）と最も類似した表情を持つ前記顔文字データベース１中の顔画像（例えば、「笑っている顔の画像」）又はこれらに関するデータ（例えば、各顔画像の特徴を示すデータ）を、特定する。そして、前記顔文字選択部８は、この特定した顔画像データに対応する顔文字（例えば、「笑っている顔文字」）を、前記顔文字データベース１から抽出・選択し、この選択した顔文字のデータを情報処理部３に送る。情報処理部３は、この顔文字選択部８からの顔文字データを、前記入力位置指示部６により指示された位置（ユーザーが入力中の文の冒頭、末尾、又は中間の位置）に入力（挿入・追加）する。
【００１３】
以上のように、本実施形態１によれば、ユーザーは、顔文字の入力を情報処理部３に指示すると共に、入力したい顔文字に相当する表情をする（ユーザーが自分の顔をそのような表情に変形させる）だけで、それ以外はユーザーが特別な操作をすることなく、カメラ２と顔文字選択部８と情報処理部３とにより、自動的に、ユーザーが希望する顔文字が選択されて、それが文中の所定の入力位置に入力されるので、顔文字の入力が大変に効率化されるようになる。
【００１４】
実施形態２．
次に、本発明の実施形態２を図２に基づいて説明する。図２において、図１と共通する部分には、同一の符号を付して説明を省略する。図２のシステムにおいては、図１のような顔文字データベースは備えていない。その代わり、この図２のシステムでは、前記カメラ２からのユーザーの顔画像データ（ユーザーが、入力を希望する顔文字の種類に対応する表情となるように自分の顔の表情を変えたときの、ユーザーの顔の撮像データ）に基づいて、所定の顔文字を生成するための顔文字生成（加工）部１１を備えている。前記顔文字生成部１１は、例えば、前記カメラ２からの顔画像データを加工して、「線図データのみから成るユーザーの顔のイラスト図形により構成される顔文字」を生成するものである。あるいは、前記顔文字生成部１１は、例えば、前記カメラ２からの顔画像データを加工して、「前記顔画像データよりもドット数が大幅に間引きされた（減少された）ドットデータから成るユーザーの顔画像データにより構成される顔文字」を生成するものである。このように、本実施形態２では、実施形態１のような顔文字データベース１は備えていないが、前記顔文字生成部１１によりユーザーの顔画像から顔文字を自動的に生成するようにしている。
【００１５】
したがって、本実施形態２によれば、実施形態１と同様に、ユーザーは、顔文字の入力を情報処理部３に指示すると共に、入力したい顔文字に相当する表情をする（ユーザーが自分の顔をそのような表情に変形させる）だけで、それ以外はユーザーが特別な操作をすることなく、カメラ２と顔文字生成部１１と情報処理部３とにより、自動的に、自分の顔画像から顔文字が加工・生成されて、文中の所定の入力位置に入力されるので、顔文字の入力が大変に効率化されるようになる。
【００１６】
【発明の効果】
以上のように、本発明によれば、ユーザーは、文章を入力しているとき、自分の顔の表情を撮像させることにより（例えば自分の顔の表情を自分が希望する顔文字に対応させることにより）、所定の顔文字（例えばそのときの自分の顔の表情に適合した顔文字）を、自分が入力している文章の中に「その文章の一部」（その文章の構成要素）として入力することが可能になるので、所定の顔文字をその文章の中へ入力することが、極めて容易に且つ効率的に行えるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態１を示すブロック図。
【図２】本発明の実施形態２を示すブロック図。
【図３】顔文字を説明するための図。[0001]
[Industrial application fields]
The present invention relates to an apparatus for inputting a sentence, which is used when inputting a sentence in e-mail, chat, instant message or the like using a personal computer, a mobile phone, a portable information terminal, or the like.
[0002]
[Prior art]
Conventionally, “emoticons” are often used in e-mail, chat, instant message, and the like by a personal computer, a mobile phone, a portable information terminal, and the like. The “emoticon” is a simple figure or illustration created by combining a plurality of symbols (symbols as text data). This emoticon is used to represent a facial expression such as “Niko”, and is inserted in or before or after the sentence. Such emoticons can express “feelings and feelings hidden between lines” that are difficult to capture in sentences such as e-mails, so that the expression power of the sentences is improved and “playfulness” is satisfied. It is used as. Further, since the conventional emoticon is a combination of symbols as text data, there is also an advantage that the amount of transmission data can be suppressed so that it can be used even on a narrowband line.
[0003]
FIG. 3A is a citation of FIG. 17 of JP-A-11-305987. This gazette describes the emoticon in 0095 as follows. “Emoji (emoticon) is a representation of a human face or animal in a sequence of glyphs of characters. For example,“ :-) ”,“ (^. ^) ”,“ (^^) ” , Etc. represent human faces, and in many cases have the same meaning as when “(laughter)” or “(joke).” Emojis are emoticons, smileys. , Sometimes referred to as ASCII art, etc. "In Fig. 3 (a), the" (^^) "mark inserted at the end of the sentence inserts the meaning of" (laugh) "and at the end of the sentence. The mark “(−0−)” has a meaning of “(sorry)”. In this publication, the idea of “a pictogram extracting device that extracts pictograms (emoticons) from input text” is also disclosed in 0112.
[0004]
FIG. 3B is a quotation of FIG. 4 of Japanese Patent Laid-Open No. 2000-270115. In this publication, in order to improve the efficiency of emoticon input using a mobile phone, as shown in FIG. 3B, the emoticons are classified into a plurality of groups, and each group corresponds to one of the numeric keys. Are recorded in the RAM. In this publication, when a desired emoticon is read out on the screen, a group is first designated with the numeric keypad, and emoticons within the designated group are selected by the number of times the same numeric key is pressed.
[0005]
[Problems to be solved by the invention]
Conventional emoticon input is a method in which the user inputs symbols one by one with the keyboard, a method in which the user inputs text data and extracts the corresponding emoticon as described in JP-A-11-305987, As described in Japanese Patent Laid-Open No. 2000-270115, a method of calling by repeating a numeric keypad operation has been developed. However, none of these methods are sufficiently efficient methods. In particular, in a mobile phone having a small number of keys, the user needs to press the key many times to select an emoticon, which is very inconvenient.
The present invention focuses on such problems of the prior art, and when a user is inputting a sentence, it is extremely easy and efficient to input a predetermined emoticon into the sentence. It is an object of the present invention to provide an apparatus for inputting a sentence composed of characters and emoticons that can be performed in the same manner .
[0006]
[Means for Solving the Problems]
(Glossary of terms) In this specification, “emoticon” is not only “typically created in the past by combining a plurality of symbols as text data (text data)”, but also “user face image data” Generated based on image data (image data obtained by processing user face image data, such as image data consisting of diagram data or dot data (point data)), for example, processing user face image data And emoticons composed only of dot data (point data) generated by processing user face image data.
That is, in the present specification, “an emoticon that is almost the same size as a character that constitutes a sentence input by the user” is “from diagram data or dot data obtained by processing user face image data”. It may be “consisting of” .
[0007]
(Content of the present invention)
The invention described in the claims of the first application is as follows.
1 Based on the imaging means for imaging the user's face and the user's face image acquired by the imaging means, “like a character, it becomes a component of the sentence that the user is inputting and a part of the sentence Is selected, extracted or generated by the emoticon selecting means for selecting, extracting or generating the emoticon consisting of text data or image data, and the emoticon selecting means. Enter a text composed of characters and emoticons, characterized in that it includes emoticon input means for inputting the emoticons as "part of the text" in the text entered by the user. apparatus.
2. Based on the imaging means for imaging the user's face and the user's face image acquired by the imaging means, “as in the case of characters, Is selected, extracted or generated by the emoticon selecting means for selecting, extracting or generating the emoticon consisting of text data or image data, and the emoticon selecting means. Emoticon input means for inputting an emoticon as “a part of the sentence” in a sentence entered by the user, and the emoticon selection means includes (a) “a plurality of emoticons”. Acquired by the imaging means from the “emoticon database in which emoticons are recorded in association with“ a plurality of facial images having different facial expressions or data indicating the characteristics of each facial image ”” The face character is extracted or selected based on the user's face image or data indicating the feature of the user's face image, or (b) the face is based on the user's face image acquired by the imaging means An apparatus for inputting a sentence composed of characters and emoticons, characterized by generating characters.

Although it is not the second “invention described in the claims of the present application” itself, the present invention also discloses and proposes the following invention.
1. An emoticon database for recording a plurality of types of emoticons in advance in association with “a plurality of face images having different expressions or data related thereto (for example, data indicating the characteristics of each face image)” A video acquisition unit for imaging the user's face, an imaging control unit for imaging the user's face when instructed by the video acquisition unit, When an input of emoticons is instructed, the image acquisition from the emoticon database based on the user's face image from the image acquisition means or data related thereto (for example, data indicating the characteristics of the user's face image) Emoticon selection means for selecting an emoticon corresponding to the user's face image data from the means, and selected by the emoticon selection means Emoticon input means for inputting the emoticon at a position specified by the user at the beginning, middle, or end of the sentence entered by the user system.
2. Image acquisition means for imaging a user's face, imaging control means for imaging the user's face at the time of the instruction by the image acquisition means when the user has instructed to input a face character, When instructed to input an emoticon, based on the user's face image data from the video acquisition means, a “emoticon of approximately the same size as the character constituting the sentence that the user is inputting” is generated. Emoticon generating means and emoticon input means for inputting the emoticon generated by the emoticon generating means at the position designated by the user at the beginning, middle, or end of the sentence being input by the user And an emoticon input system.
3. An emoticon database for storing a plurality of types of emoticons in advance in association with “a plurality of face images having different expressions or data related thereto (for example, data indicating the characteristics of each face image)” When the user instructs the emoticon input, the step of imaging the user's face when instructed, and when the user instructs the emoticon input, Selecting the emoticon corresponding to the captured user's face image data from the emoticon database based on data related to the user (for example, data indicating the characteristics of the user's face image), and the selected Entering the emoticon at the position specified by the user at the beginning, middle, or end of the sentence entered by the user; An emoticon input method characterized by comprising.
4 When the user instructs the input of the emoticon, the step of imaging the user's face when instructed, and when the user instructs the input of the emoticon, based on the captured user's face image data, The step of generating “an emoticon of approximately the same size as the characters constituting the sentence entered by the user” and the generated emoticon at the beginning, middle or end of the sentence entered by the user And a step of inputting at a position designated by the user.
5. An emoticon database for storing a plurality of types of emoticons in advance in association with “a plurality of face images having different expressions or data related thereto (for example, data indicating the characteristics of each face image)” A computer program used in a system provided with a function for imaging a user's face when the user instructs input of an emoticon, and when the user instructs input of an emoticon, Based on the user's captured face image or data related thereto (for example, data indicating the characteristics of the user's face image), the emoticon corresponding to the captured user's face image data is retrieved from the emoticon database. The function to select and the selected emoticon at the beginning, middle or end of the sentence entered by the user Is a computer program for emoticon input to realize a function of inputting at a specified position.
6 When the user instructs the input of the emoticon, based on the function of imaging the user's face when instructed, and when the user instructs the input of the emoticon, based on the captured user's face image data, A function that generates “emoticons that are approximately the same size as the characters that make up the sentence that the user is inputting” and the generated emoticons at the beginning, middle, or end of the sentence that the user is inputting A computer program for emoticon input for realizing a function to input at a position specified by the user.

In the present invention described above, the idea of the system (apparatus) described in the claims of this specification is all “method or program (program recorded on recording medium and recording medium (Including programs that are not recorded in the above). That is, in the present invention, the contents of the invention described in the form of “system (apparatus)” in the scope of claims of this specification are all “method or program (program recorded on a recording medium and , Including a program that is not recorded on a recording medium) ”and“ a method or program (a program recorded on a recording medium and a program that is not recorded on a recording medium ”). It can also be realized in the form of “including a program”. That is, in the present invention, in the claims of the present specification, all of the inventions in which the letters “system (device)” are described at the end are “methods or programs (recording medium)”. Including the recorded program and the program that is not recorded on the recording medium) can be used. That is, the contents of the claims of the present specification are all “the invention of a method or program (including a program recorded on a recording medium and a program not recorded on the recording medium)”. The invention configured as “invention of a method or a program (including a program recorded on a recording medium and a program not recorded on the recording medium)” is also included in the present invention. Within the scope of the invention.
The program according to the present invention is recorded on a recording medium such as a hard disk of a computer and executed by the CPU, and an information terminal on the user side via a network such as the Internet by an ASP (Application Service Provider). Is sent (transferred or loaned).
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1. FIG.
FIG. 1 is a block diagram showing Embodiment 1 of the present invention. In FIG. 1, reference numeral 1 denotes a plurality of emoticons, identification data (ID) for each emoticon, and an actual person (this “person” is preferably a user who has an information device, but may be other than a user. ) Face images having a plurality of facial expressions corresponding to each of the emoticons or data related thereto (for example, data indicating the characteristics of each face image) in association with each other. This is an emoticon database to keep. In FIG. 1, reference numeral 2 denotes a camera (preferably provided in a personal computer or a mobile phone) for imaging a user's face. Reference numeral 3 denotes an information processing unit (configured by a CPU or the like) for controlling the operation of the entire information device including the camera 2 and the like.
[0009]
Reference numeral 4 denotes a character input keyboard for inputting character data desired by the user (data indicating kanji or the like) to the information processing unit 3. Reference numeral 5 denotes a Japanese dictionary database for displaying the corresponding Japanese idioms and kanji characters based on the data input from the keyboard 4 to prompt the user to select and input Japanese. Is. Reference numeral 6 denotes an input position indicating unit for designating a position where the user should input a character or emoticon (position in the middle or front and back of the sentence being input by the user), for example, a mouse or a cursor key. It is comprised by. For example, when the user inputs “Tokyo” using the keyboard 4, the information processing unit 3 searches the Japanese dictionary database 5 from the input content and selects the kanji “Tokyo”. Is displayed on the screen to the user, and when the user presses the selection key meaning “this is OK”, the Chinese character “Tokyo” is input to the input position indicated by the user by the input position indicating unit 6. (Insert / Add).
[0010]
In FIG. 1, reference numeral 7 denotes an emoticon input instructing unit for instructing the information processing unit 3 to input an emoticon by the user, for example, instructing to input an emoticon that is not a normal character. For example (in the case of a mobile phone, “#” key, “*” key, etc.). Reference numeral 8 denotes a user's face imaging data (face image data) from the camera 2 and a face image from the face character database 1 (a plurality of face images previously recorded in association with a plurality of face characters, respectively). (For example, by extracting a facial image most similar to the facial image of the user from the camera 2 from a plurality of facial images recorded in the emoticon database 1) The user's face image from the camera 2 (the user's face image when the user deforms his / her face so as to have an expression corresponding to the type of emoticon desired to be input) or obtained therefrom This is an emoticon selection unit for selecting an emoticon corresponding to data (for example, data indicating the characteristics of each face image) (note that the emoticon selection unit 8 actually uses the information processing unit 3 It may be configured by the CPU formed). In FIG. 1, 9 is a display for displaying data from the information processing unit 3 on a screen, and 10 is a printer for outputting data from the information processing unit 8 on paper.
[0011]
Next, the operation of the first embodiment will be described. In the first embodiment, the user inputs instruction data for inputting an emoticon from the emoticon input instruction unit 7 to the information processing unit 3 (for example, pressing a predetermined button or key, When the icon is clicked with the mouse, the information processing unit 3 controls the camera 2 so that the user's face at that time (the user's face has a facial expression corresponding to the type of emoticon that the user wants to input) Thus, the user's face when his / her face is deformed is imaged. Then, the information processing unit 3 controls the camera 2 to transmit the captured face image data of the user to the emoticon selection unit 8. In other words, in the first embodiment, when the user's face is imaged by the camera 2, the user has a facial expression (for example, “laughing emoticon”) corresponding to the type of emoticon that he / she wants to input (for example, The expression of the person's face is changed to “a smiling expression”) so that the camera 2 captures his / her face with that expression.
[0012]
The emoticon selection unit 8 is the user's face image data from the camera 2 (image data indicating the facial expression of the user when the user instructs to input the emoticon) or data related thereto (for example, the user Data indicating the characteristics of the face image), a plurality of face images (face images respectively corresponding to the plurality of face characters) recorded in the face character database 1, or data related thereto (for example, The face image in the emoticon database 1 having the most similar expression to the expression of the user's face image (for example, “laughing expression”) (for example, data indicating the characteristics of each face image) , “Image of a smiling face”) or data related thereto (for example, data indicating the characteristics of each face image). Then, the emoticon selection unit 8 extracts and selects an emoticon (for example, “laughing emoticon”) corresponding to the identified emoticon data from the emoticon database 1, and selects the selected emoticon. Is sent to the information processing section 3. The information processing unit 3 inputs the emoticon data from the emoticon selection unit 8 at the position indicated by the input position instruction unit 6 (at the beginning, end, or middle position of the sentence being input by the user) ( Insert / add).
[0013]
As described above, according to the first embodiment, the user instructs the information processing unit 3 to input the emoticon and makes a facial expression corresponding to the emoticon that the user wants to input. The user can automatically select the emoticon desired by the camera 2, the emoticon selection unit 8, and the information processing unit 3 without any special operation by the user. Since it is input at a predetermined input position in the sentence, the input of the emoticon becomes very efficient.
[0014]
Embodiment 2. FIG.
Next, Embodiment 2 of the present invention will be described with reference to FIG. In FIG. 2, parts common to FIG. The system shown in FIG. 2 does not include the emoticon database as shown in FIG. Instead, in the system of FIG. 2, the user's facial image data from the camera 2 (when the facial expression of the user is changed so that the facial expression corresponds to the type of emoticon desired to be input). And a face character generation (processing) unit 11 for generating a predetermined face character based on the image data of the user's face). For example, the emoticon generation unit 11 processes the face image data from the camera 2 to generate “an emoticon composed of an illustration of a user's face made only of diagram data”. Alternatively, the emoticon generation unit 11 processes the face image data from the camera 2, for example, “a user consisting of dot data in which the number of dots is significantly thinned out (decreased) than the face image data”. The “face character composed of the face image data” is generated. As described above, the present embodiment 2 does not include the emoticon database 1 as in the first embodiment, but the emoticon generating unit 11 automatically generates emoticons from the user's face image. .
[0015]
Therefore, according to the second embodiment, as in the first embodiment, the user instructs the information processing unit 3 to input the emoticon and expresses an expression corresponding to the emoticon that the user wants to input (the user has his / her face). The camera 2, the emoticon generator 11, and the information processing unit 3 automatically change the facial image from its own face image without any special operation by the user. Since the emoticon is processed and generated and input at a predetermined input position in the sentence, the input of the emoticon becomes very efficient.
[0016]
【The invention's effect】
As described above, according to the present invention, when a user is inputting a sentence , the user captures the facial expression of his / her face (for example, the facial expression of his / her face corresponds to the emoticon he / she desires). ), A given emoticon (for example, an emoticon that matches the facial expression at that time) as “part of the sentence” (component of the sentence) Since it becomes possible to input, it becomes very easy and efficient to input a predetermined emoticon into the sentence .
[Brief description of the drawings]
FIG. 1 is a block diagram showing Embodiment 1 of the present invention.
FIG. 2 is a block diagram showing Embodiment 2 of the present invention.
FIG. 3 is a diagram for explaining emoticons;

Claims (3)

ユーザーの顔を撮像する撮像手段と、
前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、
前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、
を備えたことを特徴とする、文字及び顔文字から成る文章を入力する装置。Imaging means for imaging a user's face;
Based on the face image of the user acquired by the imaging means, “similar to a character, it is a face character that becomes a constituent element of the sentence that the user is inputting and becomes a part of the sentence, and includes text data or Means for selecting, extracting, or generating an “emoticon consisting of image data”;
Emoticon input means for inputting the emoticon selected, extracted, or generated by the emoticon selecting means as a “part of the sentence” in the sentence that the user is inputting,
A device for inputting a sentence composed of characters and emoticons. ユーザーの顔を撮像する撮像手段と、
前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、
前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、
を備えており、
前記顔文字選択等手段は、（ａ）「複数の顔文字を、『複数の互いに異なる表情を有する顔画像又は前記各顔画像の特徴を示すデータ』と互いに関連付けて記録している顔文字データベース」から、前記撮像手段により取得されたユーザーの顔画像又はこのユーザーの顔画像の特徴を示すデータに基づいて前記顔文字を抽出もしくは選択する、又は、（ｂ）前記撮像手段により取得されたユーザーの顔画像に基づいて前記顔文字を生成する、ものである、
ことを特徴とする、文字及び顔文字から成る文章を入力する装置。Imaging means for imaging a user's face;
Based on the face image of the user acquired by the imaging means, “similar to a character, it is a face character that becomes a constituent element of the sentence that the user is inputting and becomes a part of the sentence, and includes text data or Means for selecting, extracting, or generating an “emoticon consisting of image data”;
Emoticon input means for inputting the emoticon selected, extracted, or generated by the emoticon selecting means as a “part of the sentence” in the sentence that the user is inputting,
With
The emoticon selection means, for example, (a) “a plurality of emoticons are recorded in association with“ a plurality of face images having different facial expressions or data indicating the characteristics of each face image ”. ”To extract or select the emoticon based on the user's facial image acquired by the imaging unit or data indicating the characteristics of the user's facial image, or (b) the user acquired by the imaging unit Generating the emoticon based on the face image of
A device for inputting a sentence composed of characters and emoticons. ユーザーの顔を撮像する撮像手段と、
前記撮像手段により取得されたユーザーの顔画像に基づいて、「文字と同じように、ユーザーが入力している文章の構成要素となりその文章の一部となる、顔文字であって、テキストデータもしくは画像データから成る顔文字」を選択、抽出、もしくは生成するための顔文字選択等手段と、
前記顔文字選択等手段により選択、抽出、もしくは生成された顔文字を、ユーザーが入力している文章の中に、「その文章の一部」として入力する顔文字入力手段と、
を備えたことを特徴とする、文字及び顔文字から成る文章を入力する装置。Imaging means for imaging a user's face;
Based on the face image of the user acquired by the imaging means, “similar to a character, it is a face character that becomes a constituent element of the sentence that the user is inputting and becomes a part of the sentence, and includes text data or Means for selecting, extracting, or generating an “emoticon consisting of image data”;
Emoticon input means for inputting the emoticon selected, extracted, or generated by the emoticon selecting means as a “part of the sentence” in the sentence that the user is inputting,
A device for inputting a sentence composed of characters and emoticons.

Images