JP2004088335A

JP2004088335A - メールサーバ、そのメールサーバを実現するためのプログラム及び携帯端末

Info

Publication number: JP2004088335A
Application number: JP2002245419A
Authority: JP
Inventors: Haru Andou; 安藤　ハル; Junichi Matsuda; 松田　純一
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-08-26
Filing date: 2002-08-26
Publication date: 2004-03-18
Anticipated expiration: 2022-08-26
Also published as: EP1395025B1; DE60325535D1; US7308479B2; US20040038670A1; JP3968277B2; EP1395025A1

Abstract

【課題】テキスト情報をアニメーションによる動作情報やオブジェクト情報、及び背景情報に変換し、変換された情報をメールとして送受信する。
【解決手段】ユーザにより入力或いは選択された情報を解析し、解析された情報を用いてアニメーション動作を生成するとともに、解析された情報を用いてオブジェクトや背景を選択する。生成或いは選択されたアニメーション動作情報とオブジェクト情報及び背景情報をメールとして送受信し、送り手と受け手があたかも対話しているように画面表示する。
【選択図】　図１１

Description

【０００１】
【発明の属する技術分野】
本発明は、アニメーションを生成し、生成したアニメーションをメール情報として送受信する携帯端末及びメールサーバに関する。
【０００２】
【従来の技術】
近年、携帯電話やインターネットの普及により、場所や時間を問わずに情報の送受信を行うことが可能になってきた。しかしながら、携帯電話や携帯端末の画面領域は小さいため、高齢者等視力に衰えのあるユーザにはテキストが読みにくいなどの問題点があった。この場合、文字のポイントを大きくする手段によって視認性を上げる対策がなされているが、文字ポイントを大きくすると、一方で一画面中に表示される内容が少量になるため、受信内容の全体像を捉えることが困難になることが多い。また、携帯電話でのメール機能によって聴覚障害者の間でも電子メールの利用が浸透しつつあるが、聴覚障害者どうしの対話においては通常手話が用いられているため、健聴者が音声言語でメールを書くような自然さは得られていない。
【０００３】
【発明が解決しようとする課題】
送受信する情報に関してテキストに頼らずとも直感的に理解することができるようになれば、高齢者など視覚に衰えがあるユーザも携帯電話や携帯端末等モバイル機器を用いて簡便かつスピーディに情報の送受信が可能となると考えられる。したがって従来送受信に使われていたテキスト情報に加えてテキスト以外のメディアを用いることにより、送受信情報を視覚的に分かりやすく表現する手段が必要となる。さらには、従来のテキスト情報では感情情報が伝わりにくく、送り手受け手の間に誤解を生じることがあり、顔の表情を記号をもって表したフェースマーク等で対処していた。しかしながらフェースマークは送り手受け手双方が理解しているマークでなければ利用価値がなかった。したがって、フェースマークではなく、より直感的に感情情報が送受信できる手段が必要となる。さらに、聴覚障害者、特に通常の会話において手話を利用しているユーザにとってはテキスト情報では伝わりにくい情報も多い。したがって手話では表現されているが同手話表現をテキストに変換した場合に欠落してしまう情報を補い、さらに直感的に理解できる方式で表現する手段が必要となる。
【０００４】
本発明は、このような要請に応えるメールシステムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明者らは、前記目的を達成すべく、ユーザが入力したテキスト情報の内容や感情情報を、ユーザが選択したキャラクタによるアニメーション、オブジェクト、及び背景によって表現し、かつ表現された情報を指定された送信先に送信することによって、送信先である受信者がテキスト情報を全て読まずとも直感的に送信された情報を理解することを可能にする対話型アニメーションメールシステムを開発した。
【０００６】
本発明によるメールサーバは、ネットワークを介して携帯端末に接続され、制御部と記憶部を有し、記憶部は単語と単語の表示情報を対応づけて単語イメージ対応辞書として記憶し、制御部は、携帯端末から端末のＩＤコード、キャラクタ情報、テキスト情報及び選択された表情情報を受け取り、テキストを単語単位に分割し、単語に対応する表示情報と表情情報を用いて、キャラクタの動画像を合成して端末へ出力する処理を制御することを特徴とする。
【０００７】
記憶部は、更に定型文と定型文の動作パターンを対応づけて記憶し、制御部は、携帯端末に定型文を表示させて、定型文中の空欄に入れるテキスト情報を受け取り、上記単語に対応する表示情報と表情情報に加えて定型文の動作パターン情報を用いてキャラクタの動画像を合成するようにしてもよい。記憶部はキャラクタ情報と端末のＩＤコードを対応づけて記録し、制御部はキャラクタ情報を受け取るかわりに、受け取ったＩＤコードに対応づけられたキャラクタ情報を記憶部から読み出す処理を制御するようにしてもよい。
【０００８】
記憶部は複数の単語をカテゴリー分けして記憶した単語辞書と、位置と場所表示情報を対応づけて記憶した位置情報対応辞書を記憶し、上記単語が単語辞書中の場所のカテゴリーに属するものである場合には、携帯端末から取得した位置情報を用いて位置情報対応辞書から場所表示情報を抽出し、抽出した場所表示情報を出力する処理を制御するのが好ましい。
【０００９】
制御部は、単語イメージ対応辞書に単語がない場合に、ネットワークを介してその単語に対応づけられるオブジェクトを検索する処理を更に制御することが望ましい。制御部は、複数のキャラクタ候補を携帯端末に表示させ何れかを選択させる処理を上記処理に先駆けて制御するようにしてもよい。
【００１０】
メールサーバはメールの宛先端末から返信要求を受け取った場合に、受信メールのテキスト中の挿入箇所の指定情報を受け、返信メールについて入力されたテキスト情報を用いてキャラクタ動画像作成を行い、作成した動画像データを上記挿入箇所に挿入して送信端末に出力させることができる。
【００１１】
制御手段と表示手段と記憶手段とネットワークインターフェイスを有する携帯端末にメール作成処理を実行させるための本発明によるプログラムは、テキスト入力を受けつけるステップと、複数の感情情報を上記表示手段に表示させ、上記テキストに対応する感情情報を選択させるステップと、感情情報とテキスト情報とを携帯端末のＩＤコードとともにネットワークインターフェイスを介してサーバに出力するステップと、出力した情報とサーバに携帯端末ＩＤに対応づけられて記録されるキャラクタ情報とから作成された動画情報を取得するステップと、該動画情報を上記表示手段に表示させるステップとを有するメール作成処理を実行する。
【００１２】
ネットワークに接続される本発明による携帯端末は、キャラクタ情報を記録する記録手段と、表示手段と、テキスト入力手段と、テキスト入力手段を介して入力されたテキストを複数の単語に分割する手段と、単語に対応づけられるオブジェクトを検索する手段と、オブジェクトを用いて記録手段に記録されるオブジェクトの動画を合成する手段と、合成した動画を指定された宛先へネットワークを介して送信する手段とを有することを特徴とする。記録手段は複数の感情を表現するための情報を記録し、感情情報のうち、入力手段を介して選択された感情の情報を動画合成に用いることができる。
【００１３】
本発明の一態様によれば、少なくともテキスト等の情報を入力可能にする情報入力手段と、ユーザがポインティングデバイスやボタン等でデータの選択を行うことを可能にするデータ選択手段と、テキスト等の入力情報やアニメーション情報やオブジェクト情報及び背景情報等を格納する情報格納手段と、それらのテキスト情報やアニメーション情報、オブジェクト情報、背景情報を表示する情報表示手段と、データを電話回線等を用いて送受信するデータ通信手段を有する情報処理装置において、まず、キャラクタ選択画面において、自分のキャラクタを設定する。キャラクタ選択画面には複数のキャラクタが表示されており、そのキャラクタ群の中からユーザがひとつのキャラクタを選択し、設定する。
【００１４】
次に、アニメーション生成画面において、ユーザがテキスト情報を任意入力するか、或いは表示されている定型文群から一定型文を選択し、選択した定型文中のスロット個所に対してテキスト情報を入力するかスロット毎に与えられている選択肢から該当する内容を選択すると、入力テキスト情報が確定する。さらに、各文毎に感情情報を表現する位置に感情表現シンボルを設定すると、感情情報が確定する。
【００１５】
次に、入力情報が任意テキスト情報である場合には、そのテキストは形態素解析され、形態素解析によって抽出された単語情報及び感情情報によってそれらの情報に対応する既に設定されたキャラクタの動作アニメーション情報、オブジェクト情報、背景情報が検索される。一方、定型文を利用してテキストを入力する場合には、選択した定型文と入力或いは選択したスロット内テキスト情報及び感情情報によって既に設定されたキャラクタの動作アニメーション情報、オブジェクト情報、及び背景情報が選択される。最終的にそれらの動作アニメーション情報、オブジェクト情報、及び背景情報を統合してメールファイルを作成する。
【００１６】
次に、作成されたメールファイルを指定した送信先に送信すると、受信側にメールファイルが送られ表示される。既に返信等でメール中に送信者と受信者の発言両方が記述されている場合には、送り手のキャラクタによる動作と受け手のキャラクタによる動作が発言の順序にしたがって動作表示される。
【００１７】
本発明によると、アニメーションによる動作情報やオブジェクト情報及び背景情報によってテキストの情報を表現することにより、より直感的に受信情報を理解することができ、スピーディな情報の送受信及び記憶に残りやすい情報の送受信が可能になる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。本システムは、アニメーションによる動作やオブジェクト情報及び背景情報等を主に取り扱うシステムであり、ユーザが入力したテキストをキャラクタによる動作アニメーション、オブジェクト、さらに背景情報といった情報に意味変換し、さらにこれらの情報をメール情報として再構成すると共に、再構成された情報を電子メールシステム上で送受信するシステムである。
【００１９】
図１は、本発明のシステム構成例を示す図である。このシステムは、アニメーションメールを生成したり、生成したアニメーションメールを送受信するメールサーバ１０１、ユーザが入力したデータの送受信やアニメーションデータ等の送受信を行うインターネット等の通信網１０２、メール送信用の携帯電話或いは携帯端末（以下、総称して携帯端末という）１０３、及びメール受信用の携帯端末１０４を含んで構成される。携帯端末１０３及び１０４には、携帯端末の現在位置を検知するためのＰＨＳ機能やＧＰＳ機能といった位置情報検出機能が搭載されている。
【００２０】
ユーザがデータ送信用携帯端末１０３に対してデータ入力を行うと、ユーザによって入力されたデータ及び位置情報検出機能によって検知された位置情報データが、インターネット等の通信網１０２を介してメールサーバ１０１に送信され、次にメールサーバ１０１において入力データを解析した結果得られる入力データに対応したアニメーションの生成、及び入力データに対応したオブジェクトデータや背景データの検索が行われる。次に、生成されたアニメーション、検索されたオブジェクトデータ及び背景データは同期合成され、例えば動画ファイルとして送信用携帯端末１０３に、インターネット等の通信網１０２を介して送信される。
【００２１】
携帯端末１０３のユーザは、送信された動画情報を確認し、送信先を指定する。例えば送信先として携帯端末１０４を指定して送信を行うと、動画データは指定された携帯端末にインターネット網１０２を介して送信され、最終的には送信先のユーザが携帯端末１０４上で受信した動画データを表示し確認する。この場合、アニメーション生成機能やオブジェクトデータ及び背景データの検索機能は、メールサーバ１０１上にあってもよいし、携帯端末１０３，１０４上にあってもよい。また、同期合成機能についても、メールサーバ１０１上にあっても携帯端末１０３，１０４上にあってもよい。ここでは、アニメーション生成機能やオブジェクトデータ及び背景データの検索機能及び同期合成機能がメールサーバ１０１上にあるものとして説明を行う。
【００２２】
次に、メールサーバ１０１に関して図２に示す構成例を参照しながら説明する。メールサーバは、起動されたプログラムに応じて処理を行なうＣＰＵ２０１、データ等を記憶するハードディスク２０２、及び起動したプログラム等を格納するメモリ２０３を備える。アクセスするデータは、必要に応じてメモリ２０３上に読み込まれ、ＣＰＵ２０１によって本発明に基づくデータ処理がなされる。ハードディスク２０２には、ユーザが好みのキャラクタを選択するためのキャラクタデータであるアニメーションキャラクタデータ２０２０１、ユーザがメールを作成時に利用する定型文データ２０２０２、単語のカテゴリー毎に単語が記述されている単語辞書データ２０２０３、任意文が入力された場合にその解析に用いられるテキスト解析用データ２０２０４、アニメーションで表現される動作が各動作毎に記述されているアニメーション動作データ２０２０５、クリップアート等に代表される対象物描写データであるオブジェクトデータ２０２０６、アニメーションの背景となる背景データ２０２０７、及び単語とその単語の表示情報（表示情報はアニメーションであってもよい）との対応が記述されている単語−イメージ対応辞書データ２０２０８、経度緯度で表現される位置情報とオブジェクト情報や背景情報との対応が記述されている位置情報対応辞書データ２０２０９が格納されている。
【００２３】
また、メモリ２０３には、メールサーバが起動されることにより、システム全体を制御するシステムプログラム２０３０１、ユーザが入力したデータをアニメーションに変換する入力データ／アニメーション変換プログラム２０３０２、ユーザが入力したデータに対応したオブジェクト情報や背景情報を検索するオブジェクトデータ／背景データ検索プログラム２０３０３、ユーザが入力したデータに対応する感情表現情報を生成するＦｅｅｌｉｎｇ表現生成プログラム２０３０４、アニメーションメールを生成するためのデータ入力やメール送受信等のユーザインタフェースプログラムであり、ユーザが初めてアニメーションメールを利用する場合にダウンロードして用いるアニメーションメール用ユーザインタフェースプログラム２０３０５、携帯端末１０３の現在位置に対応したデータを生成するために用いる位置情報対応データ生成プログラム２０３０６、ユーザが自分の好みのキャラクタを選択する機能を持つキャラクタ選択用プログラム２０３０７、及び動画ファイル生成プログラム２０３０８が格納される。
以下に本発明のメールサーバ及び携帯端末における処理について、図１６から図２１に示す処理フローチャートを用いて説明する。
【００２４】
まず、メールサーバ１０１を、例えばメールサーバ管理者が起動する。メールサーバ１０１は常に稼動していることを前提とする。
次に、携帯端末１０３を所持しているユーザが携帯端末の主電源をＯＮとし、さらにインターネット網に接続する。ユーザはインターネット網を介してアニメーションメール用ユーザインタフェースプログラム２０３０５をダウンロードする。ダウンロードしたプログラムを起動すると（Ｓ１６０１）、ユーザがキャラクタに関し未設定の場合には、キャラクタ選択用プログラム２０３０７が起動され（Ｓ１６０２）、インターネット網１０２を介してメールサーバ１０１のキャラクタ設定用ｗｅｂページに自動接続し、図３に例示するようなｗｅｂページのキャラクタ表示画面３０１に表示されている複数のキャラクタ中から好みのキャラクタを選択する。この場合、複数のキャラクタを選択し、選択したキャラクタデータを携帯端末にダウンロードしておくことも可能である。
【００２５】
本実施例では、キャラクタを１体選択したという前提で説明を行う。例えばユーザが表示されているキャラクタＣを選択する場合、キャラクタ選択用スクロールバー３０２によって複数のキャラクタを表示し（Ｓ１７０１）、結果としてキャラクタＣをポインティングデバイスや指で選択すると（Ｓ１７０２）、「選択したキャラクタ名」の枠３０３内に選択した「キャラクタＣ」が表示される。この段階でキャラクタを決定する場合には、「選択完了」ボタン３０４を押すと（Ｓ１７０３）キャラクタ設定が完了し、選択したキャラクタ識別番号とユーザアドレスあるいはＩＤコードがメールサーバ１０１に送信され（Ｓ１７０４）、さらに図４に例示するようなアニメーションメール送受信用画面に移行する。
【００２６】
図４に例示するアニメーションメール送受信用画面は、上部にメニュー４０１が表示されるとともに、右側が送信側の画面、左側が受信側の画面になっている。受信側画面は、受信側キャラクタ表示画面４０２、アニメーション対応テキスト表示画面４０３、受信側の話者名表示欄４０４、メールリスト表示画面４０５からなり、送信側画面は、送信側キャラクタ表示画面４０６、アニメーション対応テキスト表示画面４０７、送信側の話者名表示欄４０８、メールテキスト表示画面４０９からなる。受信側キャラクタ表示画面４０２には受信したアニメーションが表示され、アニメーション対応テキスト表示画面４０３には、そのアニメーションに対応するテキストが表示される。受信側の話者名表示欄４０４には、そのアニメーションメールを送信してきた人の名前やニックネーム等の情報が表示される。メールリスト表示画面４０５には受信メールのタイトルがリスト表示される。一方、送信側キャラクタ表示画面４０６には作成中のアニメーションが、アニメーション対応テキスト表示画面４０７にはそのアニメーションに対応するテキストが、送信側の話者名表示欄４０８には自分の名前やニックネーム等の識別情報が表示される。メールテキスト表示画面４０９には送信メールの全文が表示される。アニメーション対応テキスト表示画面４０７には、メールテキスト表示画面４０９に表示されているメールテキストのうち、現在画面４０６にアニメーション表示されている部分のテキストが表示される。
【００２７】
送信されたキャラクタ識別番号によってそのキャラクタの静止画が送信側携帯端末１０３に送られ、アニメーションメール送信側キャラクタ表示画面４０６には、選択したキャラクタが表示される。また、キャラクタは、設定時に該当データを携帯端末にダウンロードしてしまうこともできるし、選択されたキャラクタ情報をメールサーバ側で携帯端末のＩＤとともに管理して、以後メールサーバに接続すると携帯端末のＩＤに対応づけられたキャラクタを自動的に携帯端末に表示させることも可能である。キャラクタが既に設定されている場合には、メール作成／送信画面に遷移する（Ｓ１６０３）。
【００２８】
次に、メールを新規作成する場合について述べる。メールを新規作成する場合には、図４に示す表示画面中に表示されているメニュー４０１から「新規作成」メニューをポインティングデバイスや指によって選択する。「新規作成」が選択されると、ユーザが任意文入力にするのか定型文入力にするのかを選択する画面が表示され（Ｓ１８０１）、任意文入力を選択した場合には、図５のような任意文を入力するための画面が表示され（Ｓ１８０２）、定型文入力を選択した場合には、図６に示すような定型文入力画面が表示される（Ｓ１８０３）。
【００２９】
まず始めに、任意文を入力する場合について説明する。図５に示すように、ユーザは１文単位でテキストを入力する。例えばテキスト入力個所５０１に「新宿でラーメンを食べよう」と入力し、「決定」ボタン５０２を押す。「決定」ボタン５０２を押すと、まず入力されたテキスト情報がｔｅｘｔ［　ｉ　］　（ｉ（０−ｍ）　＝　テキスト番号）に入力された順に格納される。本例ではｔｅｘｔ［　０　］　＝　”新宿でラーメンを食べよう”となる。
【００３０】
「決定」ボタン５０２を押すと、次に図７に示すような感情表現マークの選択画面が表示される。ユーザは表示されている感情表現マークに対応している感情表現ボタン７０１から所望のマークをポインティングデバイス或いは指によって選択し、「決定」ボタン７０２を押す（Ｓ１８０４）。「決定」ボタン７０２を押すと、各感情表現マーク毎に付与されているマーク番号がＭａｒｋ［　ｉ　］　（ｉ　＝　テキストの番号）に格納され、また図５の任意テキスト入力画面に戻る。複数文を入力する場合は１文毎にテキスト入力個所５０１に入力し、決定ボタン５０２を押し、さらに感情表現マークを指定するといった一連の操作を繰り返す。
【００３１】
全てのテキスト及び感情表現マークを入力した段階でテキスト入力終了ボタン５０３を押すと（Ｓ１８０５）、図８に示すようなアニメモード選択画面が表示される。ここでは一般的な動作を示すアニメーションを表示するのか、手話動作を表示するのかを選択する。「一般アニメモード」８０１を選択すると、メモリにアニメモード識別子”ａｎｉ　＝　０”が格納される。「手話アニメモード」８０２を選択すると”ａｎｉ　＝　１”が格納される。ここでは「一般モード」である”ａｎｉ　＝　０”が送られることにする。ここで「決定」ボタン８０３を押すと、メールサーバ１０１にテキスト配列情報ｔｅｘｔ［　ｉ　］、感情表現マーク情報Ｍａｒｋ［　ｉ　］、アニメモード情報Ａｎｉが送信される。さらに、決定ボタンを押した時の現在位置が携帯端末に搭載されている位置検出機能によって検出され、現在位置である緯度及び経度情報を表す（ｘ，ｙ）座標がｇｅｏ［　ｐ　］［　ｑ　］（ｐ：ｘ座標、ｑ：ｙ座標）に格納され、メールサーバ１０１に送信される（Ｓ１８０６）。
【００３２】
次にメールサーバ１０１上において、入力データ／アニメーション変換プログラム２０３０２によりテキスト解析が行われ、アニメーションが生成される（Ｓ１８０７）。この時の対象テキストは、ユーザが入力したテキストｔｅｘｔ［　ｉ　］はもちろんのこと、件名として入力したテキスト情報も対象となり得、件名のテキスト情報を解析して動画データを導くことも可能である。本例では、ユーザが本文として入力したテキスト情報を対象として説明を行う。テキスト配列情報ｔｅｘｔ［　ｉ　］、感情表現マーク情報Ｍａｒｋ［　ｉ　］、アニメモード情報Ａｎｉ、及び現在位置情報ｇｅｏが送信されると、まず始めにテキスト配列情報ｔｅｘｔ［　ｉ　］に対してテキスト解析が行われる。
【００３３】
テキスト解析では、例えば、形態素解析システム「ＡＮＩＭＡ」（櫻井博文、久光徹，　形態素解析プログラム　ＡＮＩＭＡ　の設計と評価，　情報処理学会第５４回全国大会論文集（１９９７年３月２−５７に示されているような形態素解析方法により、入力されたテキストを単語に分割し、単語の品詞や活用形等の情報を単語情報構造体ａｎｉ＿ｔｘｔ　［ｉ］［ｊ］（ｉ　＝　単語出現順番号、ｊ　＝　情報の種類（１　＝　単語表記、２　＝　終止形表記、３　＝　品詞））として格納する。本例では、「新宿でラーメンを食べよう」から単語表記として「新宿」「で」「ラーメン」「を」「食べよう」が切り出され、さらにそれぞれの単語に対する終止形表記として「新宿」「で」「ラーメン」「を」「食べる」が抽出される。さらに品詞として「名詞」「助詞」「名詞」「助詞」「動詞」が抽出され、Ａｎｉ＿ｔｘｔ配列に格納される（Ｓ２００１）。次に、Ａｎｉ＿ｔｘｔ情報中の「名詞」「動詞」「形容動詞」といった自立語である単語を選択し、その単語終止形表記とハードディスク２０２に格納されている単語辞書データ２０２０３の単語との照合を行う（Ｓ２００２）。
【００３４】
単語辞書データの構造は、例えば図９に示すように、単語番号とカテゴリー名で構成されている。本例では、照合の結果、「新宿」「ラーメン」「食べる」が抽出され、ｈｉｔ＿ｔａｎｇｏ［ｓ］（ｓ　＝　単語番号）に出現順に格納される。ここで単語辞書データ中にヒットする単語が存在しなかった場合には、インターネット網を介してその単語或いはその単語の原型表記と同一名であるイメージファイルを検索し、ヒットした場合には、そのイメージファイルをオブジェクトデータや背景データとして扱うことができる（Ｓ２００３）。本検索を行っても適切なデータが得られなかった場合には、ユーザにデータが得られなかった旨を示し、背景データやオブジェクトデータを選択させることもできる。次に、単語−イメージ対応辞書データ２０２０８とｈｉｔ＿ｔａｎｇｏとの照合を行う（Ｓ２００４）。単語−イメージ対応辞書には各単語への対応データとしてキャラクタ動作ファイル名、オブジェクトファイル名、背景ファイル名が記述されている。特にキャラクタ動作ファイルは、動作ファイルの編集が可能なデータ形式になっており、例えば特開平８−３１５１８５号公報に開示されるデータ形式を用いることができる。
【００３５】
ここで、オブジェクトデータ／背景データ検索プログラム２０３０３が起動される。図１０に例示する単語−イメージ対応辞書データの「単語名」に、「仕事」（１００１）や「工事」「畑」「机」（１００２）といったように単語名が複数記述されている場合には、まず最初に記述されている単語１００１の検索を行い、次に２番目に記述されている単語１００２の検索を行う。複数記述されている単語全てがヒットした場合に該当する動作、オブジェクト或いは背景が抽出される。照合の結果、本例では、「Ａｎｉ　＝　０」「食べる」「ラーメン」に対応したアニメーション動作として「Ｅａｔ＿Ｌａｕｍｅｎ」、オブジェクトとして「Ｌａｕｍｅｎ」、背景として「Ｂａｃｋ＿Ｓｈｉｎｊｙｕｋｕ」が選択される。”Ａｎｉ　＝　１”であった場合には、手話動作アニメーションデータである「Ｅａｔ＿Ｌａｕｍｅｎ＿ｈａｎｄ」が選択され、そのデータによって手話動作が生成される。
【００３６】
次に、送信されている感情情報データであるＭａｒｋデータに関し、Ｆｅｅｌｉｎｇ表現生成プログラム２０３０４を用いてアニメーション動作データである「Ｅａｔ＿Ｌａｕｍｅｎ」の編集を行う。Ｍａｒｋデータが送信されるとＦｅｅｌｉｎｇ表現生成プログラムは、アニメーション動作データ中に格納されている「Ｅａｔ＿Ｌａｕｍｅｎ」動作データを取り込む。次にＭａｒｋデータに対応する表情データを作成し、そのデータをＭａｒｋデータが付与された「Ｅａｔ＿Ｌａｕｍｅｎ」動作データとして格納する（Ｓ２００７）。この編集には、例えば手話編集ソフト「ＭｉｍｅｈａｎｄＩＩ」などのアニメーション編集機能が持つＦｅｅｌｉｎｇ表現生成プログラムを用いることができる。
【００３７】
次に、動画ファイル生成プログラム２０３０８が起動され、選択されたアニメーション動作、オブジェクト、及び背景に対応したデータをアニメーション動作データ、オブジェクトデータ、背景データから検索し、検索されたデータを重畳した動画ファイルを生成する（Ｓ２００８）。例えば、背景を最背面レイアとし、背景の上にオブジェクトレイアを作成し、さらにオブジェクトレイアの上にアニメーション動作レイアを置き、これら全てのレイアを統合してひとつの動画ファイル、例えばＧＩＦフォーマット等のファイルＦｉｌｅ＿１に変換する。変換されたファイルは送信元である携帯端末１０３に送信される（Ｓ１８０８）。
【００３８】
送信されたデータＦｉｌｅ＿１は、携帯端末１０３に受信されると同時に、図１１に示すようにＣＧ表示画面４０６において再生され（Ｓ１８０９）、入力されたテキスト情報もメールテキスト表示画面４０９に表示される。動画を再生することにより、ユーザは生成されたアニメーションメールを確認し、次にメニュー４０１から「送信先の選択」を選ぶと、アドレスブックが表示され、アドレスブックから送信先を指定し、さらにメールタイトルを入力し、確認ボタンを押すと、図１１の画面に戻る（Ｓ１８１０）。メールタイトルは、Ｆｉｌｅ＿１送信時に同時に送信される。
【００３９】
さらに図１１において、メニュー４０１の「送信」ボタンを押すと（Ｓ１８１１）、生成したアニメーションメールＦｉｌｅ＿１は、送信先である受信用携帯端末１０４に送信され、受信用携帯端末には既にアニメーションメール用ユーザインタフェースプログラムがダウンロードされかつセットアップされている前提において、新しいメールが受信されると、メールリスト表示部分にメールタイトルが追加され、メールタイトルを選択すると、送信されたアニメーションメールＦｉｌｅ＿１が再生される。なお、上記アニメーション確認のステップは省略することも可能である。
【００４０】
上記のようにアニメーションデータを作成する方法だけではなく、テキスト解析の結果によってキャラクタの静止画を検索し、検索された結果をキャラクタデータとすることも可能である。この場合、キャラクタ静止画ファイル群が各ファイルを識別するタグに対応付けられてハードディスクに格納されており、各々のキャラクタ静止画には、様々なポーズをとったキャラクタが表示されている。さらに日本語自立語単語とタグ名が対応付けられている静止画−単語対応データが格納されている。テキスト解析された結果として得られた自立語単語を用いて静止画−単語対応データから対応する静止画を検索し、検索結果として得られた静止画を、上記アニメーションデータと同様に、背景データやオブジェクトデータと重畳して動画データを生成する。
【００４１】
また入力文が、例えば「ここで待っています。」であった場合には、まず上記の方法によって形態素解析処理を行い、その結果として、自立語「ここ」「待つ」が得られる。次に、単語辞書データ２０２０３と照合すると、「ここ」はカテゴリー「場所（リアルタイム）」に対応付けられる。単語がカテゴリー「場所（リアルタイム）」に対応づけられた場合には、図１２に示すような位置情報対応辞書データ２０２０９中の位置情報と現在位置情報ｇｅｏが照合され、場所名を特定する（Ｓ２００５）。次に、照合によって特定した場所名と単語−イメージ対応辞書との照合を行い、その場所名に対応づけられたオブジェクト情報や背景情報を抽出し（Ｓ２００６）、上記の方法によりアニメーションを生成し、アニメーション情報、オブジェクト情報、背景情報を重畳して動画ファイルを生成し、生成した動画ファイルを送信先として指定した携帯端末１０４に送信すると、携帯端末１０４上で受信した動画ファイルを図１１と同様の画面上で再生表示する。
【００４２】
次に、入力文が定型文である場合について説明する。定型文を用いて入力を行う場合には、図６の左側の図に示すような定型文群が画面表示される（Ｓ１８０３）。ユーザが定型文番号６０１をボタンやポインティングデバイス或いは指によって選択し、さらに定型文群の中のスロット個所を選択すると、図６の右側の図に示すように、そのスロット個所に対応するスロット用単語メニュー６０２が表示され、その中から所望の単語を選ぶか選択したスロット内に文字入力を行うかした後に「決定」ボタン６０３を押す（Ｓ１８１２）。本例では、定型文番号「２」を選択し、スロット箇所に入れる単語として「○○カフェ」をメニューから選択、或いは「○○カフェ」をユーザがボタン或いはポインティングデバイスによって文字入力したとする。「決定」ボタン６０３を押すと、任意文入力の場合と同様に感情表現マーク指定画面に遷移する。ここで所望の感情表現マークを選択し、決定ボタンを押すと定型文テキスト入力画面に戻る（Ｓ１８１３）。複数文を選択する場合には、定型文選択及びスロット内情報入力及び感情表現マーク選択の操作を繰り返す。
【００４３】
必要な定型文情報の入力が終了した時点で「入力終了」ボタン６０４を押すと（Ｓ１８１４）、アニメモード選択画面に遷移する。ここでは一般モードを選択することとする。一般モードを選択すると、選択された定型文番号ｔｅｍｐ［　ｉ　］と選択或いは入力したスロット内単語ｓｌｏｔ＿ｗｏｒｄ［ｉ］［ｊ］（ｉ：定型文番号、ｊ　＝　スロット番号）、感情表現マークＭａｒｋ［ｉ］、及びアニメモード”Ａｎｉ　＝　０”がメールサーバ１０１に送信される。さらに、決定ボタンを押した時の現在位置が携帯端末に搭載されている位置検出機能によって検出され、現在位置である緯度及び経度情報を表す（ｘ，ｙ）座標がｇｅｏ［　ｐ　］［　ｑ　］（ｐ：ｘ座標、ｑ：ｙ座標）に格納され、メールサーバ１０１に送信される。本例では、定型文番号としてＴｅｍｐ　＝　２、スロット内単語としては「○○カフェ」、感情表現マークＭａｒｋ［　０　］　＝「６」、アニメモード”Ａｎｉ　＝　０”及び現在位置情報ｇｅｏ［ｐ］［ｑ］が送信される（Ｓ１８１５）。
【００４４】
次に、送信されたデータを用いて任意文の場合と同様に動画ファイルを作成する（Ｓ１８１６）。送信された情報を受信したメールサーバ１０１では、入力データ／アニメーション変換プログラム２０３０２が起動され、受信した各種データと図１３に示すような定型文データとの照合を行う。まず、入力された定型文番号と定型文データの「番号」との照合を行う（Ｓ２１０１）。本例では、「番号」＝　２が検索され、照合済み番号としてメモリ領域ｔｅｍｐ＿ｎｕｍにｔｅｍｐ＿ｎｕｍ　＝　２が格納され、定型文データ中の番号２に対応する定型文動作パタンが抽出され、その動作パタンに対応した動作が既に選択されているキャラクタを用いて、任意文によるアニメーション動作作成の場合と同様に生成され、キャラクタ動作ファイルとして格納される。さらにスロット内単語については、単語イメージ対応辞書との照合を行い、「○○カフェ」がヒットするとオブジェクト名Ｃｕｐ＿１と背景名Ｂａｃｋ＿○○カフェが選択される（Ｓ２１０２）。入力されたスロット単語と同一の単語が単語イメージ対応辞書内に無い場合には、任意文の場合と同様にインターネット網を介して同単語と同一名のイメージファイルを検索し、ヒットした場合には同ファイルをオブジェクトデータや背景データとして扱う（Ｓ２１０３）。選択している定型文データに対応する定型文動作パターンデータと、単語−イメージ辞書にヒットしたスロット内単語に対応するオブジェクトデータ及び動作データから動作ＣＧを生成する（Ｓ２１０４）。
【００４５】
次に、選択されたオブジェクトと背景及び生成されたキャラクタ動作ファイルを、前述した任意文の場合と同様の方法で重畳し、ひとつの動画ファイル、例えばＧＩＦフォーマット等のファイルＦｉｌｅ＿１に変換する（Ｓ２１０７）。変換されたファイルは送信元である携帯端末１０３に送信される（Ｓ１８０８）。その後のステップ１８１９からステップ１８１１までの処理は、前記と同じである。
【００４６】
また、スロット内単語については、単語辞書との照合を行う。場所（リアルタイム）カテゴリーがヒットした場合には、送信された現在位置情報を位置情報対応辞書と照合し、場所名を特定する（Ｓ２１０５）。さらに、特定した場所名と単語−イメージ対応辞書との照合を行って、ヒットした場合には、同辞書内で対応づけられているオブジェクトデータや背景データを抽出する（Ｓ２１０６）。
【００４７】
一方、定型文データ中のスロットに対してユーザがメニューからスロット用単語を選択した場合には、定型文データ中のｔｅｍｐ＿ｎｕｍと同列に記述されているデータである「メニュー」情報からスロット番号ｉに対応するスロット単語メニュー中の可変部（ｉ）に記述されている単語と照合し、「○○カフェ」がヒットした場合には上記文字入力の場合と同様の過程を辿ってメールサーバに定型文番号としてＴｅｍｐ　＝　２、スロット内単語としては「○○カフェ」、感情表現マークＭａｒｋ［　０　］　＝「６」、アニメモード”Ａｎｉ　＝　０”が送信される。メールサーバでは文字入力の場合と同様の処理が行われ、携帯端末に対して生成された動画ファイルが送信され、ユーザが動画ファイルの確認を行い、送信先を指定してメール送信を行うと指定した送信先アドレスに同動画ファイルが送信されることになる。
【００４８】
次に、送信されたメールに対して返信を行う場合について説明する（Ｓ１６０４）。図１１の画面上に受信メールが表示されている（Ｓ１９０１）。「メールテキスト表示画面」４０９において返信挿入位置を指示し（Ｓ１９０２）、さらに画面上部のメニュー４０１から「返信／テキスト入力」を選択すると（Ｓ１９０３）、「新規作成」メニューを選択した場合と同様に、任意文入力にするのか定型文入力にするのかを選択する画面が表示され、任意文入力を選択した場合には、図５のような任意文を入力するための画面が表示され、定型文入力を選択した場合には、図６に示すような定型文入力画面が表示される（Ｓ１９０４）。その後の処理は「新規作成」の場合と同様に、ユーザがテキスト情報、例えば「７時に新宿で待っています」や、感情情報を入力或いは選択し、それらの情報をメールサーバに送信して、メールサーバ上で動画ファイルが生成されると、作成された動画ファイルは携帯端末１０４に送られる（Ｓ１９０５）。
【００４９】
動画ファイルが送信元である携帯端末１０４に送信されると、図１４に示すように、送信された動画ファイルは受信側キャラクタ表示画面４０２上に表示され、動画ファイルが再生される。入力したテキスト情報もメールテキスト表示画面に表示される。さらにメールを追加したい場合には、返信挿入個所を「メールテキスト表示画面」上で指定し、「返信／テキスト入力」を押してテキスト情報や感情情報を入力する操作を繰り返す。また、再生が終了した後にメールテキスト表示画面からテキストを選択せずに「アニメ再生／停止」メニューボタンを押すと、携帯端末１０３から既に送られている動画ファイルと携帯端末１０４上で作成した動画ファイルとが、対応するテキストの表示順にしたがって動画再生する。ここでユーザが送信先を指定してメール送信を行うと、指定した送信先アドレス、例えば携帯端末１０３に動画ファイルが送信されることになる。送信先である携帯端末１０３上では、メールを受信すると図１４と同様の表示画面において動画再生が行われる。３体以上のキャラクタが表示される場合には、キャラクタ表示画面をキャラクタの数分表示することも可能である。一方、図１５（ａ）、図１５（ｂ）に示すように、テキストの出現順に対応した動画ファイルをキャラクタ表示画面を１画面として再生することも可能である。上記の実施例によってアニメーションメールの送受信が行われる。
【００５０】
【発明の効果】
本発明によると、ユーザがテキスト情報や感情シンボル情報を入力すると、テキスト情報を動作情報やオブジェクト情報、背景情報による表現形式に変換することが可能になり、その表現形式によって表現された情報により、ユーザは小さなフォントで表示されたテキストを全て読まずとも送信された情報を理解できるようになる。また、動作情報は手話動作に対応させることも可能であり、手話利用者は動作モードを切り換えることにより手話アニメーションによる情報確認を行うことができるようになる。また作成するメールが相手方から送信されたメールに対する返信メールである場合、引用個所に関しては、引用された個所のアニメーション、オブジェクト、背景データが再生され、新規に作成した個所と出現順にしたがって表示することが可能になり、メールの送受信者同士があたかも対話しているような画面表示を行うことができる。
【図面の簡単な説明】
【図１】本発明によるアニメーションメールシステムの構成例を示す図。
【図２】メールサーバの構成例を示す図。
【図３】本発明におけるキャラクタ選択画面の一例を示す図。
【図４】本発明における表示画面の一例を示す図。
【図５】任意テキスト入力画面の一例を示す図。
【図６】定型文テキスト入力画面の一例を示す図。
【図７】感情表現マークの指定方法の一例を示す図。
【図８】アニメモードの選択方法の一例を示す図。
【図９】単語辞書データのデータ構造の一例を示す図。
【図１０】単語−イメージ対応辞書データの一例を示す図。
【図１１】本発明における表示画面の一例を示す図。
【図１２】位置情報対応辞書データの一例を示す図。
【図１３】本発明における定型文データ構造の一例を示す図。
【図１４】本発明における表示画面の一例を示す図。
【図１５】本発明における表示画面の一例を示す図。
【図１６】本発明のシステム動作全体フローの一例を示す図。
【図１７】本発明の処理フローの一例を示す図。
【図１８】本発明の処理フローの一例を示す図。
【図１９】本発明の処理フローの一例を示す図。
【図２０】本発明の処理フローの一例を示す図。
【図２１】本発明の処理フローの一例を示す図。
【符号の説明】
１０１：メールサーバ　、１０２：インターネット網　、１０３：データ送信側携帯端末、１０４：データ受信側携帯端末、２０２：ハードディスク、２０３メモリ、４０１：メニュー、４０２：受信側キャラクタ表示画面、４０３：アニメーション対応テキスト表示画面、４０４：受信側の話者名表示欄、４０５：メールリスト表示画面、４０６：送信側キャラクタ表示画面、４０７：アニメーション対応テキスト表示画面、４０８：送信側の話者名表示欄、４０９：メールテキスト表示画面

Claims

ネットワークを介して携帯端末に接続されるメールサーバであって、
制御部と記憶部を有し、
上記記憶部は単語と単語の表示情報を対応づけて単語イメージ対応辞書として記憶し、
上記制御部は、上記携帯端末から該端末のＩＤコード、キャラクタ情報、テキスト情報及び選択された表情情報を受け取り、上記テキストを単語単位に分割し、上記単語に対応する上記表示情報と上記表情情報を用いて、上記キャラクタの動画像を合成して上記端末へ出力する処理を制御することを特徴とするメールサーバ。
上記記憶部は、更に定型文と定型文の動作パターンを対応づけて記憶し、
上記制御部は、上記携帯端末に上記定型文を表示させて、該定型文中の空欄に入れるテキスト情報を受け取り、上記単語に対応する上記表示情報と上記表情情報に加えて上記定型文の動作パターン情報を用いて上記キャラクタの動画像を合成することを特徴とする請求項１記載のメールサーバ。
上記記憶部は上記キャラクタ情報と該端末のＩＤコードを対応づけて記録し、上記制御部は上記キャラクタ情報を受け取るかわりに、上記受け取ったＩＤコードに対応づけられたキャラクタ情報を上記記憶部から読み出す処理を制御することを特徴とする請求項１又は２記載のメールサーバ。
上記記憶部は複数の単語をカテゴリー分けして記憶した単語辞書と、位置と場所表示情報を対応づけて記憶した位置情報対応辞書を記憶し、上記単語が上記単語辞書中の場所のカテゴリーに属するものである場合には、上記携帯端末から取得した位置情報を用いて上記位置情報対応辞書から場所表示情報を抽出し、抽出した場所表示情報を出力する処理を制御することを特徴とする請求項１又は２記載のメールサーバ。
上記制御部は、上記単語イメージ対応辞書に上記単語がない場合に、上記ネットワークを介して上記単語に対応づけられるオブジェクトを検索する処理を更に制御することを特徴とする請求項１，２又は３記載のメールサーバ。
上記制御部は、複数のキャラクタ候補を上記携帯端末に表示させ何れかを選択させる処理を上記処理に先駆けて制御することを特徴とする請求項１〜４のいずれか１項記載のメールサーバ。
上記メールサーバは上記メールの宛先端末から返信要求を受け取った場合に、上記受信メールのテキスト中の挿入箇所の指定情報を受け、上記返信メールについて入力されたテキスト情報を用いて上記キャラクタ動画像作成を行い、上記作成した動画像データを上記挿入箇所に挿入して上記送信端末に出力させることを特徴とする請求項１〜６のいずれか１項記載のメールサーバ。
制御手段と表示手段と記憶手段とネットワークインターフェイスを有する携帯端末にメール作成処理を実行させるためのプログラムであって、上記メール作成処理は、
テキスト入力を受けつけるステップと、
複数の感情情報を上記表示手段に表示させ、上記テキストに対応する感情情報を選択させるステップと、
上記感情情報とテキスト情報とを該携帯端末のＩＤコードとともに上記ネットワークインターフェイスを介してサーバに出力するステップと、
上記出力した情報と上記サーバに上記携帯端末ＩＤに対応づけられて記録されるキャラクタ情報とから作成された動画情報を取得するステップと、
該動画情報を上記表示手段に表示させるステップとを有することを特徴とするプログラム。
ネットワークに接続される携帯端末であって、
キャラクタ情報を記録する記録手段と、
表示手段と、
テキスト入力手段と、
上記テキスト入力手段を介して入力されたテキストを複数の単語に分割する手段と、
上記単語に対応づけられるオブジェクトを検索する手段と、
上記オブジェクトを用いて上記記録手段に記録されるオブジェクトの動画を合成する手段と、
上記合成した動画を指定された宛先へ上記ネットワークを介して送信する手段とを有することを特徴とする携帯端末。
上記記録手段は複数の感情を表現するための情報を記録し、上記感情情報のうち、上記入力手段を介して選択された感情の情報を上記動画合成に用いることを特徴とする請求項９記載の携帯端末。