JP2005078427A - 携帯端末及びコンピュータ・ソフトウエア - Google Patents

Abstract

【課題】 ユーザの負担が軽減され、簡単にメールを作成可能な使い勝手の良い携帯端末の提供する。
【解決手段】 通信部１と、メモリ部２と、入力部３と、出力部４と、他の端末とで送受信するメールの内容や設定に関する情報を取得する設定情報取得部５とを備え、設定情報取得部５により取得された情報に基づいて３次元のキャラクターを用いた３Ｄアバターメールを作成する３Ｄアバターメール作成部６と、設定情報取得部５により取得された情報に基づいて３Ｄアバターメールを再生する３Ｄアバターメール再生部６のいずれか、または両方を有する。
【選択図】 図１

Description

本発明は、携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの携帯端末において、特に、ユーザが３Ｄ空間、３Ｄアバターを用いたメールを作成し、他ユーザと送受信する際の技術に関する。

従来、画像を合成することにより２Ｄアバターのアニメーションや画像を作成し、メールでやり取りする携帯端末が提案されている。（例えば特許文献１，２参照）

また、ＰＣ上で３Ｄ空間内を３Ｄのアバター（３次元のキャラクター）をキー操作により動かし、近くにいる３Ｄアバターとテキストにより会話することが出来る３Ｄアバターチャットも一般に知られている。
特開２００３−８７８５７号公報 特開２００３―１４３２５７号公報

上記従来技術において提案されている手法により、背景と２Ｄアバターの合成、２Ｄアバターの部分的な合成等により、様々なパターンの２Ｄアバター画像によるメール作成を可能にしている。

しかしながら、従来の技術においては、１コマごとの画像を予め用意し、部分的な合成を行わなければ成らず、表現に乏しい。更に、長いアニメーション、動画を作成した場合、合成に使用する画像を全て送信するため容量は膨大となる。

そこで、３Ｄを利用した３Ｄアバターチャットもあるが、複雑な動きや表現を行おうとすると、設定等が多く、ユーザ負担が大きくなる。また、従来のテキストによるメールは、簡単にメールを作成することが可能であるが、単純に３Ｄアバターチャットを３Ｄアバターメールに適用しても、同等の効果や機能を利用することは難しい。

そこで本発明は、上記従来技術の有する未解決の課題に注目してなされたものであって、表現豊かに高い娯楽性を備え、使い勝手の良い３Ｄアバターメールの作成を可能とした携帯端末の提供を目的としている。

上記目的を達成するために、本発明では、携帯端末に設定情報取得部と３Ｄアバターメール作成部、３Ｄアバターメール再生部とを持たせ、設定情報取得部は、位置情報や時刻、メール内容などの３Ｄアバターメールの設定を決定する情報を取得し、３Ｄアバターメール作成部や再生部は、取得された設定情報よりメール内容を自動的に設定し、作成、再生することにより、ユーザの負担を軽減した３Ｄアバターメールを作成、再生可能な携帯端末とする。

その他、３Ｄオブジェクトに操作等をリンクする機能や、メール内容に音声やテキストを利用できる機能、３Ｄアバター素材を携帯端末或いはサーバーに保持する機能、再編集機能、認識機能を持たせる。また、従来のメール返信時の受信メール文引用機能や定型文利用、署名付加機能、割り込み処理機能等を３Ｄアバターメールにおいても利用できるようにし、使い勝手の良い携帯端末とする。

これらにより、ユーザの負担が軽減され、簡単にメールを作成可能な使い勝手の良い携帯端末の提供する。

本発明によれば、使い勝手の良い３Ｄアバターメールの作成を可能とした携帯端末の提供が可能となる。

本発明を実施するための最良の形態を説明する。
まず、３Ｄアバターとは、３Ｄのキャラクターのことであり、自分の分身としての役割を果たすものである。また、３Ｄアバターメールとは、３Ｄ空間にこの３Ｄアバターを配置し、３Ｄアバターが音声及びテキストを出力し、動きを交えながら、メールの内容を伝えるメールであり、ユーザはこれを作成し、送受信しあうものである。

以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明の一実施例である携帯端末の構成要素を示したものである。携帯端末１００は、他端末や端末外部の装置等と通信可能な通信部１、端末内部に画像や音声、メール等のデータを保持するメモリ部２、音や操作等の入力を行う入力部３、情報の表示や音の出力を行う出力部４、３Ｄアバターメールの内容や設定を決定するための情報を取得する設定情報取得部５と、３Ｄアバターメールを作成する３Ｄアバターメール作成部６と３Ｄアバターメールを再生する３Ｄアバターメール再生部７のいずれか、または両方からなる制御部１０から構成されている。

ここで、それぞれの手段の具体的な実現方法を説明する。入力部３は、マイク、カメラ、端末のキ−やボタンにより実現可能である。出力部４は、ディスプレイやスピーカーにより実現する。メモリ部２はメモリ、ＩＣ等により、制御部１０はＣＰＵ等で実現可能である。

まず、図１、２、３を用いて本実施例の携帯端末１００の動作概要を説明し、次に個々の機能について詳細に説明する。３Ｄアバターメール作成、送信時、ユーザは、まず、３Ｄアバターメールの設定やメール内容を携帯端末１００の入力部３より入力し（ステップＳ２０１）、制御部１０の設定情報取得部５は、３Ｄアバターメールの内容を決定するための設定情報を取得する（ステップＳ２０２）。取得された設定情報より、３Ｄアバターメール作成部６は３Ｄアバターメールを作成し（ステップＳ２０３）、通信部１より送信する（ステップＳ２０４）。逆に３Ｄアバターメールを受け取った受信者は、携帯端末１００の通信部１より、３Ｄアバターメールを受信し（ステップＳ３０１）、制御部１０の設定情報取得部５は、３Ｄアバターメールの再生の内容を決定する設定情報を取得する（ステップＳ２０２）。取得された設定情報より、３Ｄアバターメール再生部７は３Ｄアバターメールを、出力部４を通し、ユーザに対して再生する（ステップＳ３０３）。この時、ユーザ間でやり取りされる３Ｄアバターメールの画面の一例を図４に示す。このような画面と共に、メール内容が音声等で出力される。以上が概要である。

次に、個々の機能についての詳細を以下に記述する。まず、携帯端末１００の制御部１０における設定情報取得部５は、入力部３からのユーザによるどのような３Ｄアバターメールを作成するかや、３Ｄアバターメールをどのように再生するか等の設定の他に、メール作成時、送信時、受信時、再生時の時刻や日時、インターネットや端末外部より入手した情報、ＧＰＳ等による自端末の位置情報、或いは、サーバー等を介しＧＰＳ等により入手された他端末の位置情報、自端末に保持しているスケジュールの情報、自端末に保持している電話番号やメールアドレス等のアドレス帳の情報、自端末の使用履歴や使用状況、光センサを使った自端末の周囲の明るさ、３Ｄアバターメールの伝える内容のいずれか１つ以上の情報を取得する。

上記取得情報を個々に詳細に説明する。入力部３からのユーザによるどのような３Ｄアバターメールを作成するかや、３Ｄアバターメールをどのように再生するか等の設定の情報とは、ユーザがキー操作により入力する３Ｄアバターメールに使用する３Ｄアバターの種類や大きさの設定や、入力部３のマイクよりユーザの音声により入力される３Ｄアバターが話す内容、或いはキー操作によるテキストのメール内容などの基本的な設定の情報である。メール作成時、送信時、受信時、再生時の時刻や日時の情報とは、日にちや時間の他に、シーズンや朝昼夜、平日か休日か等の情報を含む。インターネットや端末外部より入手する情報とは、天気情報、好きな球団の勝敗等のスポーツ情報、ニュース、好きな芸能人の情報、地域の情報、路線案内、イベント情報等のテキスト情報や画像情報である。ＧＰＳによる自端末の位置情報、或いはサーバー等を介しＧＰＳ等により入手された他端末の位置情報とは、自端末の位置情報、或いは、受信端末の位置情報、或いは、第３者の携帯端末１００の位置情報も含んで良い。自端末に保持しているスケジュール情報とは、自端末にユーザが記憶している当日の予定、過去、未来等の日付単位のスケジュール、時間単位のスケジュールや、カレンダー情報である。自端末に保持しているアドレス帳の情報とは、アドレス帳内の名前、電話番号、メールアドレス、住所、ホームページアドレス、誕生日、趣味、星座、血液型、写真等の送信候補者に関する情報である。自端末の使用履歴や使用状況とは、自端末の通信履歴や通信料金、着信履歴、発信履歴、送信者別の通信時間やメール送受信回数等である。自端末の周囲の明るさとは、光センサー等による周囲の明るさに関しての情報である。

また、これらの情報を単独ではなく、複数の組み合わせで使用しても良い。例えば、スケジュール帳と時刻より、その時刻におけるスケジュールの情報や、位置情報とニュース情報によるその地域におけるニュース情報である。その他に、アドレス帳からの送信者の誕生日情報と今日の日にちより、誕生日の人の情報の取得、アドレス帳の好きな芸能人の情報とインターネットからのその芸能人の画像の情報などである。

これらの設定情報の取得は、ユーザのキー操作によるどのような３Ｄアバターメールを作成、再生するかの設定の情報の取得や、カメラによる使用画像の取得、マイクからの３Ｄアバターの話す音声の取得等のように使用する設定を直接入力され、取得されるだけではなく、取得内容を更に認識技術を用いて認識を行い、その認識結果を設定情報として取得しても良い。例えば、ユーザがメール内容を話している姿をカメラより取得し、顔画像認識により、鼻、目などの特徴点を抽出、その動きを対応する３Ｄアバターの特徴点に反映させるという設定情報を取得してもよい。カメラより取得した顔が笑っていれば、３Ｄアバターも笑わせるという設定である。表情だけでなく、顔の傾きや、体の姿勢、動きなどを反映させてもよい。或いは音声から特徴量を抽出し、データベースと比較をする等の音声より感情抽出を行う技術等や音声の抑揚や大きさより、感情を抽出したり、テキストの文脈やキーワードを抽出し取得して、３Ｄアバターの動きや表情に反映させる設定情報を取得しても良い。

次に３Ｄアバターメール作成部６、３Ｄアバターメール再生部７について詳細に説明する。３Ｄアバターや３Ｄ空間の作成方法としては、オブジェクトに、３次元の位置座標をもつ骨格とそれに貼り付けるテクスチャの情報を持たせ、その情報より視線の方向や視点の位置による、大きさや見え方を計算し表示することにより実現可能である。アバターを動かす際には、骨格の位置座標を変えることで形を変え、影をつけるには、テクスチャを変更することにより可能である。以上のようにして、３Ｄ空間、３Ｄアバターの表示を可能とする。

３Ｄアバターメール作成部６、３Ｄアバターメール再生部７は、設定情報取得部５において３Ｄアバターメール作成、再生のために取得された情報を用いて、３Ｄアバターメールに使用する音の設定、或いは、３Ｄアバターメール再生、作成に使用する端末のバイブレーション機能やランプ点灯機能等の設定、３Ｄアバターメールに使用する画像、３Ｄアバターメールにおける３Ｄ空間の環境設定や演出効果の設定、使用する３Ｄアバターに関する設定、３Ｄアバターメールに使用する音声に与える効果の設定、３Ｄアバターメールのメール内容や表示、出力の設定、のいずれか１つ以上を決定し、３Ｄアバターメールに、決定したデータを付加し、又は付加した情報を再生して、作成或いは再生する。

また、作成のために決定された設定に応じて第２以降の設定が決められ、更に作成に使用されても良い。つまり、取得された情報に対応して、効果音が決定され、更に、バイブレーションのタイミングが決まるなどである。

次に、上記取得情報により設定される内容について個々に詳細に説明すると共に、作成、再生される３Ｄアバターメールについて、例を挙げて説明する。

３Ｄアバターメールに使用する音とは、メロディや歌、音声といった効果音やＢＧＭである。例えば、取得された３Ｄアバターに使用する音声に合わせて、音声のある部分はＢＧＭの大きさを小さく、ない部分は大きく、３Ｄアバターが使用する表情に合わせて効果音を挿入したり、インターネットよりとってきた天気予報が雨であれば雨の音を挿入した３Ｄアバターメールを自動的に作成、再生する。その他に、３Ｄアバターや３Ｄアバター以外の３Ｄ空間に配置する３Ｄの部品である３Ｄオブジェクトの動きに合わせて音楽を挿入したり、適用された設定内容、例えば、３Ｄ空間内に使用されている画像に合わせた音楽を挿入したり、位置情報にあったその位置ならではの音楽を挿入したり、日時に合わせてその日に関係する音楽を挿入したりなどである。

端末のバイブレーション機能やランプ点灯機能等の設定とは、端末自体が振動するバイブレーション機能や、端末に付属しているランプの点灯、或いは色の決定、ディスプレイのバックライト等の設定である。例えば、３Ｄアバターに使用する効果音に同期してランプの点灯を行ったり、３Ｄ空間が夜であれば、ディスプレイのバックライトを暗めに、自端末の周囲の明るさが夜と判断されればバックライトを明るめにする機能をもった３Ｄアバターメールを自動的に作成、再生する。その他に、３Ｄアバターの動きや使用されている音楽、音声の有無、３Ｄアバターの表現する感情に合わせてバイブレーション機能やランプ点灯、バックライト点灯を機能させるなどである。

３Ｄアバターメールに使用する画像とは、３Ｄアバターや３Ｄオブジェクトに使用するテクスチャ画像や、３Ｄ空間の床や壁、天井に使用するテクスチャ画像である。例えば、シーズンが春であり、端末の位置情報が公園であった場合には、３Ｄ空間の背景を桜の画像にしたり、アドレス帳より取得した送信相手の好きな球団の今日のゲームのハイライト写真をインターネット上より取得し、背景画像や３Ｄオブジェクトとしてのテレビ画面に映す、或いはスケジュール帳にある今日のスケジュールを背景画像に使用した３Ｄアバターメールを自動的に作成、再生する。使用されるテクスチャ画像は、写真や動画等の画像以外に、テキストでもよい。その他に、位置情報、日時、時刻、３Ｄアバターの表現する感情や動き、３Ｄオブジェクトに関連する機能、効果音、スケジュール、アドレス帳より取得した送信相手のプロフィール、インターネットより取得した天気情報、ニュース、テレビ番組等の情報に合わせた画像を使用しても良い。また、画像は、自端末のカメラ等により取得してもよいし、サーバーやインターネットから取得したり、或いは他端末より受信したメールに使用されていた画像等を使用しても良い。

３Ｄ空間の環境設定とは、３Ｄ空間における３Ｄアバターに対する視点の位置や視野の広さ、照明の位置や種類、影のつけ方などであり、演出効果の設定とは、雨を降らせる、桜を散らせる、風が吹く、霧により視界を曇らせる等の３Ｄオブジェクト等による演出や画像の加工の設定である。例えば、ＧＰＳによる位置情報とインターネットより取得した天気情報より、現在地の天気情報を取得し、雨であれば３Ｄ空間に雨の演出を行ったり、時刻が夕方であれば夕焼けのような赤い光源を３Ｄ空間内に配置し、背景の画像や３Ｄアバターに赤い光による影を付けたりした３Ｄアバターメールを自動的に作成、再生する。或いは、再生中、ユーザにより、背景画像や３Ｄオブジェクトを見るために、視点を変更したり、３Ｄアバターの表示を停止したり出来る。その他には、位置情報、日時、時刻、効果音や音声、３Ｄアバターの表情や動き、３Ｄオブジェクトに関連する機能、３Ｄアバターや３Ｄオブジェクトや背景等間の位置関係、使用されている画像等、に合わせて、視点の位置や視野の広さ、照明の位置や種類、影のつけ方、或いは、３Ｄオブジェクト等による演出や画像の加工の設定をしたり、変更するなどである。また、３Ｄオブジェクトによる演出のため、例えば、桜の花びらを散らせる際には、３Ｄアバターの手前にも奥側にも花びらは散り、手前の花びらは大きく、奥側の花びらは小さく表示され、また、霧に関しては手前にあるオブジェクトは鮮明に、奥に配置されているオブジェクトほど、霧に霞んで不鮮明に表示されるなど、３Ｄならではの立体的な表現を可能とする。

使用する３Ｄアバターに関する設定とは、どのような３Ｄアバターを使用するか、３Ｄアバターの大きさ、３Ｄアバターの動き、３Ｄアバターのアイテム、例えば、３Ｄアバターの洋服等の設定である。例えば、３Ｄアバターの表情を徐々に怒っているように変化させる設定であったら、単純に表情を変えるだけではなく、３Ｄアバターの顔を猫であったものを、徐々にライオンに変えたり、音声の大きさに合わせて３Ｄアバターの大きさを変更したり、メールの送信回数によって自動的に３Ｄアバターを変更したり、効果音に合わせて３Ｄアバターの動きを変更した３Ｄアバターメールを自動的に作成、再生する。３Ｄアバターを徐々に変える際には、３Ｄアバターの特徴点を徐々に次の３Ｄアバターの特徴点の位置にずらしながら、２つの３Ｄ画像の色データを合成比率を変えながら合成していくことによるモーフィング等で実現しても良い。その他、アドレス帳より取得した送信相手のプロフィールや使用されている効果音、メール内容、日時、時刻、メールの長さ、３Ｄアバターメールに使用されている設定、天気情報等により設定を変更しても良い。

使用する音声に与える効果の設定とは、ボイスチェンジに使用するボイスチェンジの種類、パラメータの設定である。例えば、作成者が女性であり、女性の声で入力を行ったが、使用する３Ｄアバターが男性であった場合には男性の声に加工したり、位置情報より現在、山の上にいる場合には、エコーをかけて山びこのような演出をしたり、背景画像に使用されている画像がお風呂の画像であれば、お風呂場にいるような音響効果を与えた３Ｄアバターメールを自動的に作成、再生する。

メール内容や表示、出力の設定とは、メール内容の表示の大きさや音出力の大きさや高低等の設定である。例えば、だんだん喜んでいく表情を３Ｄアバターに使用する場合には使用する音声の大きさをだんだん大きくしたり、テキスト表示を大きくした３Ｄアバターメールを自動的に作成、再生する。その他には、位置情報や周囲の明るさ、日時や時刻、メール内容等により、設定を変更してもよい。

例を挙げた他にも、取得した設定情報に対して、設定する内容は全ての組み合わせが可能である。

次に、その他にユーザが設定可能な３Ｄアバターメールの機能について説明する。３Ｄアバターメール作成部６は、３Ｄアバターメールの背景やテレビ、ポスター、電話、パソコン等の３Ｄオブジェクトを３Ｄアバターメールの３Ｄ空間に配置し、そのオブジェクトにＵＲＬ、電話番号、名前、画像、メールアドレスとそれに関する特定の操作等をリンクして作成することを可能とする。３Ｄアバターメール再生部７は、リンクされた３Ｄオブジェクトに対して何らかの操作を適用することによって、リンクしている操作を自動的に行う。例えば、３Ｄ空間に３Ｄアバターと特定の電話番号に電話をかけるという操作がリンクされた３Ｄオブジェクトとしての電話が配置された３Ｄアバターメールをユーザが受信し、再生中に電話をクリックしたり、３Ｄアバターを動かして、電話をとらせる操作をした場合に、自動的にリンクされた電話番号に電話がかかるなどである。その他に、リンク内容が名前であれば、その人のプロフィールが表示されたり、ＵＲＬであればインターネットに接続してＵＲＬのホームページを表示したり、画像であれば、その画像の情報が表示されたり、メールアドレスであれば、そのアドレスへのメール作成画面が現れるなどである。

また、設定情報取得部５は電話番号やＵＲＬ、携帯端末１００に保持しているアドレス帳やスケジュール帳の内容、画像等を携帯端末内より取得し、３Ｄアバターメールの内容として使用することを可能とし、更に、３Ｄアバターメールの音声の間にテキストや画像を挿入することを可能とする。例えば、アバターが「私の電話番号は、」と話した後に、テキストによって「０９０−〇〇〇〇−××××」と電話番号を表示したり、アバターが「昨日撮った写真です」と話した後に、画像を表示するといった機能である。

３Ｄアバターメールのメール内容はテキストでの入力、音声での入力、共に可能とし、３Ｄアバターメール内にテキスト状態のメール内容、音声状態のメール内容の両方を保持することを可能とする。３Ｄアバターメール再生部７或いは３Ｄアバターメール作成部６は、３Ｄアバターメール再生者の設定、作成者の設定により、メール内容を音声、テキストのどちらで再生、作成するか選択し、再生及び作成を行う。また、再生時には、３Ｄアバターメール再生部７は、３Ｄアバターメール再生者の設定、作成者の設定、或いは、携帯端末１００における音声出力機能の有無やテキスト表示機能の有無等により、メール内容を音声、テキストのどちらで再生するか選択する（ステップＳ５０１）。音声で出力する場合には、音声のメール内容が存在するかどうかを判定し（ステップＳ５０２）、メール内容を音声で保持している場合には、そのメール内容を使用して音声で出力し（ステップＳ５０４）、テキストでしか保持していない場合には、テキストを１語ずつ音声データベースより取得してつなげることで音声にするなどの音声合成技術等を使用し音声に変換し（ステップＳ５０３）、出力する（ステップＳ５０４）。逆に、テキストで出力する場合は、テキストのメール内容が存在するかを判定し（ステップＳ５０５）、メール内容をテキストで保持している場合には、そのメール内容を使用してテキストで出力し（ステップＳ５０７）、保持していない場合には、音声の音響分析を行い抽出された音データとデータベースにある音データの照合を行い、何と発話したのかを認識するなどの音声認識技術を使用し、テキストに変換し（ステップＳ５０６）、出力する（ステップＳ５０７）ことを可能とする。

３Ｄアバターメール再生部７、及び３Ｄアバターメール作成部６ は、テキスト表示する場合には、３Ｄアバターの口の動きやしぐさとテキストの出力のタイミングを合わせて同期させて表示することを可能とする。テキストが「あ」であれば、テキストに合わせて口の動きを「あ」に合わせたり、「バイバイ」であれば、３Ｄアバターの動きもタイミングを合わせて手を振るなどである。更に、携帯端末１００の画面は小さいので、テキスト表示はメール内容を一度には表示せずに、１語ずつ、或いは単語ずつ、１行ずつなどで表示する。また、３Ｄアバターの話す言葉に合わせてその語や単語の色を変えたり、大きさを変えたりすることで、３Ｄアバターの口の動きとテキスト表示が同期していることを分かりやすく表示する。或いは、３Ｄアバターメール再生部７は、音声出力を止め、テキストで表示する場合には、音声出力を止めた事をユーザに知らせるために、３Ｄアバターの動きなどの関連して設定されていた機能を停止することも可能とする。

これらの３Ｄアバターメールに使用する３Ｄアバターや画像などの素材、或いはどのような３Ｄアバターメールを再生、及び作成するかの設定やメール内容や情報等は、３Ｄアバターメール受信者の携帯端末内、或いは、３Ｄアバターメール送信者の携帯端末内、或いはサーバーなどの外部記憶装置のいずれに保持されていても良い。送信者が３Ｄアバターメールを受信者に対して初めて送信する際には、送信者携帯端末内、或いは外部記憶装置に保持している３Ｄアバターメールに使用する素材や設定を、全て送信し、２度目以降の送信時には過去に送信していない素材や設定のみを送信しても良い。その場合、受信者は１度３Ｄアバターメールを受信したら、受信者携帯端末内に保持し、２度目以降のその送信者からの３Ｄアバターメール受信時に、保持している素材等を使用してもよい。または、送信側が過去に送信したことのある素材や設定を送信した場合でも、受信端末側は、過去に受信していないメール内容や新しい設定等のみを受信し、再生時に保持している素材等を使用してもよい。或いは、受信者は、１度以上３Ｄアバターメールを受信したら、過去に受信した３Ｄアバターメールより、特徴的な３Ｄアバターの動きや癖を抽出、保持し、以降の受信時に適用して再生してもよい。

携帯端末１００は、メールを作成する際に、定型署名、定型設定を設定可能とする。例えば、メール作成時に必ず、最後に３Ｄアバターが「バイバイ、〇〇でした」というような定型の言葉を発し、定型の動きを行うような設定が出来てもよい。また、３Ｄアバターメール受信者は、受信した３Ｄアバターメールに対して、３Ｄアバターメールを返信する際には、３Ｄアバターメールの内容や、３Ｄアバター、背景等の３Ｄアバターメールの設定、素材を返信３Ｄアバターメール内で引用し、使用することを可能とし、例えば、受信した３Ｄアバターメールの３Ｄアバターの動きに合わせて、付加した３Ｄアバターがうなずいたり、話したり、コミュニケーションをとっている３Ｄアバターメールを作成などを可能とする。図６は、３Ｄアバターメールを受信し、返信に受信時の３Ｄアバターを利用し、返信の３Ｄアバターメールを作成した画面の一例である。

また、これらの３Ｄアバターメールを携帯端末１００の制御部１０において、３Ｄアバターメール作成部６は、３Ｄアバターメール作成者、受信者が、作成、或いは受信した３Ｄアバターメールを自端末内で再生し、キー操作等により、設定を変更したり、メール内容を変更するなど、再編集することが可能とする。

３Ｄアバターメール再生部７は、３Ｄアバターメール再生中に、電話の着信や他のメール受信など、割り込み処理が起きた場合には、再生中の３Ｄアバターを利用し、その旨を、通知することを可能とする。例えば、３Ｄアバターが再生中に、メール受信の割りこみ処理が起きた際に、その３Ｄアバターが、「〇〇サンからメールを受信しましたが、表示しますか？それともこのまま再生を続けますか？」と話し掛けてきたり、電話着信の割り込み処理おきた際には、３Ｄアバターの後ろに配置されていた３Ｄの電話オブジェクトが鳴り出すなどである。

また、３Ｄアバターの表情や音声等の設定を、メール作成者の顔や音声をカメラにより入力し、認識して設定する際に、認識率が悪かったり、認識不可能であった場合には、音声の有無のみにより、３Ｄアバターを動かしたり、設定を行うことも可能とする。音声があるか、ないかのみで、３Ｄアバターの口を開閉するなどである。或いは、音声やテキストの文脈や内容、キーワードによって動きなどの設定を行っても良い。例えば、「こんにちは」のキーワードが入っているところでお辞儀をするなどである。或いは、前回成功した認識結果を続けても良い。例えば、前回の認識結果の表情は「笑う」であり、現在の認識が出来なかった場合、そのまま３Ｄアバターが笑いつづける表情を設定するなどである。

３Ｄアバターを利用したメール機能は、従来の２Ｄ画像やテキストによるメールとは異なり、奥行き次元への表現や、平面的でないアバターの動き等、３Ｄ空間という大きなキャンパスによって表現方法は多彩で、メール内容の本来の意味や表現、感情を３Ｄアバターに反映することで、相手に、より伝えやすくなり、表現豊かなメールが可能となる。また、表現多彩でありながらも、１度３Ｄアバター等の３Ｄ画像を送ってしまえば、動きなどは命令の記述のみの送信により実現可能であるため、動画等によるメールよりも容量が少なくてすむ利点もある。

しかしながら、表現が多彩になると言うことは、ユーザが設定しなければならない機能が増えることを意味しており、膨大な機能を１つずつ選択し設定していかなくてはならず、ユーザの負担は大きくなってしまう。また、単純に従来のテキストメールを３Ｄアバターメールに変更して送るのみでは、従来のテキストのメールでの機能が適用出来ず、不便になることも予想される。

しかし、本実施形態により、携帯端末１００に設定情報取得部５を持たせることで、設定情報取得部５により取得された情報群より、３Ｄアバターメール作成部６、再生部が自動的に設定を行い、ユーザの負担を軽減することが出来る。

また、従来のメール返信時の受信メール文引用機能や定型文利用、署名付加機能等を３Ｄアバターメールにおいても利用でき、かつ、３Ｄアバターメールならでは３Ｄアバター等を利用したの使い方を可能にしたことで、ユーザは直感的に利用でき、また、娯楽性をもった表現豊かなメールが実現可能となる。

その他、３Ｄオブジェクトに操作等をリンクする機能や、メール内容に音声やテキストを利用できる機能、３Ｄアバター素材を携帯端末或いはサーバーに保持する機能、再編集機能、認識機能を持たせることでユーザは簡単に娯楽性に富んだ３Ｄアバターメールを作成可能となる。

以上のように、ユーザは簡単に表現豊かな３Ｄアバターメールを作成、再生することを簡単に出来、使い勝手のよい携帯端末の提供が行われる。

なお、本実施形態において、メール内容を音声、テキスト、いずれで再生又は作成するかを選択する選択部を備え、ユーザの手動により又は再生時等の条件により自動的に選択する再生などとすることも可能である。

また、以上の実施例を携帯端末で説明したが、これらの機能をコンピュータに実現させるプログラムからなるコンピュータ・ソフトウエアを使用することにより、従来の携帯電話等を本願発明の携帯端末とすることができる。

実施例を示す携帯端末の一構成の説明図。 実施例における３Ｄアバターメール作成時の動作手順のフローチャートの一例の説明図。 実施例における３Ｄアバターメール再生時の動作手順のフローチャートの一例の説明図。 実施例における３Ｄアバターメールの表示画面の一例の説明図。 実施例におけるテキストと音声の出力機能の動作手順のフローチャートの一例の説明図。 実施例における３Ｄアバターメール返信時の表示画面の一例の説明図。

符号の説明

１ 通信部
２ メモリ部
３ 入力部
４ 出力部
５ 設定情報取得部
６ ３Ｄアバターメール作成部
７ ３Ｄアバターメール再生部
１０ 制御部
１００ 携帯端末

Claims (24)

1. 通信回線と接続可能な通信部と、自端末内にデータを保持するメモリ部と、音や操作の入力を行う入力部と、情報の表示や音を出力する出力部と、他の端末とで送受信するメールの内容や設定に関する情報を取得する設定情報取得部とを備え、
   更に、該設定情報取得部により取得された情報に基づいて３次元のキャラクターを用いた３Ｄアバターメールを作成する３Ｄアバターメール作成部と、前記設定情報取得部により取得された情報に基づいて３Ｄアバターメールを再生する３Ｄアバターメール再生部のいずれか、または両方を有することを特徴とする携帯端末。
2. 請求項１記載の携帯端末において、
   上記設定情報取得部は、３Ｄアバターメールの設定を決定するための情報として、メールの作成時、送信時、受信時、再生時、いずれかの日時や時刻、インターネットや端末外部より入手した天気予報、ニュース、ＷＥＢ上のテキスト、３Ｄアバターメール送信端末或いは受信端末の位置情報、自端末内に保持しているスケジュール、端末内に保持しているアドレス帳内容、通信相手の情報、自端末の使用状況、使用履歴、自端末の周囲の明るさ、３Ｄアバターメールの内容、３Ｄアバターメール作成時の設定、３Ｄアバターメール再生時の設定のいずれか１つ以上の情報を取得することを特徴とする携帯端末。
3. 請求項１又は２に記載の携帯端末において、
   上記３Ｄアバターメール作成部は、設定情報取得部により取得された情報を用いて、３Ｄアバターメールに使用する音の設定、３Ｄアバターメールに使用する端末のバイブレーション機能やランプ点灯機能、ディスプレイのバックライト機能の設定、３Ｄアバターメールに使用する画像、３Ｄアバターメールの３Ｄ空間の環境設定や演出効果の設定、使用する３Ｄアバターに関する設定、３Ｄアバターメールに使用する音声に与える効果の設定、３Ｄアバターメールのメール内容や表示、出力の設定のいずれか１つ以上の３Ｄアバターメールを作成するために必要な設定を決定し作成することを特徴とする携帯端末。
4. 請求項１又は２に記載の携帯端末において、
   上記３Ｄアバターメール再生部は、設定情報取得部により取得された情報を用いて、３Ｄアバターメールに使用する音の設定、３Ｄアバターメールに使用する端末のバイブレーション機能やランプ点灯機能、ディスプレイのバックライト機能の設定、３Ｄアバターメールに使用する画像、３Ｄアバターメールの３Ｄ空間の環境設定や演出効果の設定、使用する３Ｄアバターに関する設定、３Ｄアバターメールに使用する音声に与える効果の設定、３Ｄアバターメールのメール内容や表示、出力の設定のいずれか１つ以上の３Ｄアバターメールを作成するために必要な設定を決定し再生することを特徴とする携帯端末。
5. 請求項１から４のいずれか１項に記載の携帯端末において、
   上記３Ｄアバターメール作成部は、３Ｄアバターメール作成者が入力したＵＲＬや電話番号、名前、画像、メールアドレスと関連した操作を３Ｄアバターメールの背景や背景の一部、３Ｄオブジェクトとして配置することを可能とし、３Ｄアバターメール再生部は、３Ｄアバターメール受信者が、再生時に背景や背景の一部、３Ｄオブジェクトに対して操作を行う事により、リンクしている所定の操作に移行することを特徴とする携帯端末。
6. 請求項１から４のいずれか１項に記載の携帯端末において、
   上記３Ｄアバターメール作成部は、３Ｄアバターメール作成者がメール内容を音声によって入力する際に、携帯端末内より設定情報取得部が取得した携帯端末に保持されているＵＲＬやアドレス帳内容、画像を、音声のタイミングに合わせてテキストや画像として挿入した３Ｄアバターメールを作成可能であることを特徴とする携帯端末。
7. 請求項１から４記載のいずれか１項に記載の携帯端末において、
   上記３Ｄアバターメール再生部は、３Ｄアバターメール再生者の設定により、設定情報取得部より取得した３Ｄアバターメールのメール内容を、３Ｄアバターがメール内容を音声で再生するか、３Ｄアバターと共にテキストで表示し、再生するかを選択し再生することを特徴とする携帯端末。
8. 請求項１から４のいずれか１項に記載の携帯端末は、上記メール内容を音声、テキスト、いずれで再生するかを選択する選択部を備え、テキストでの出力が選択された際に、上記３Ｄアバタメール再生部は、テキストデータでメール内容を保持している場合にはテキストで出力し、音声データでメール内容を保持している場合には音声データを認識しテキストに変換してテキストで出力し、逆に、音声で出力する際に、音声データでメール内容を保持している場合には音声で出力し、テキストデータでメール内容を保持している場合にはテキストデータを認識し音声に変換して出力する機能、のいずれか、または両方の機能を有することを特徴とする携帯端末。
9. 請求項１から４のいずれか１項に記載の携帯端末は、メール内容を音声、テキスト、いずれで再生するかを選択し、テキストの作成が選択された際に、テキストデータでメール内容を保持している場合にテキストで作成し、音声データでメール内容を保持している場合に音声データを認識しテキストに変換して、テキストで作成し、逆に、音声で作成する際に、音声データでメール内容を保持している場合に音声で作成し、テキストデータでメール内容を保持している場合にテキストデータを認識し音声に変換して作成する機能、のいずれか、または両方の機能を有することを特徴とする携帯端末。
10. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部は、３Ｄアバターメールのメール内容として設定情報取得部より取得した音声、テキストの両方を保持する３Ｄアバターメールを作成することが可能であることを特徴とする携帯端末。
11. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール再生部は、３Ｄアバターの動きとメール内容のテキスト表示を同期させて表示することが可能であることを特徴とする携帯端末。
12. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部は、３Ｄアバターの動きとメール内容のテキスト表示を同期させて表示する３Ｄアバターメールを作成することが可能であることを特徴とする携帯端末。
13. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール再生部は、３Ｄアバターメール再生者による設定、或いは音声出力機能の有無により、音声の出力を行わない場合には、音声に関連して設定された３Ｄアバターメール内の設定に基づく動作を停止させることを特徴とした携帯端末。
14. 請求項１から４のいずれか１項に記載の携帯端末において、
    ３Ｄアバターメールに使用する素材、或いは設定を、３Ｄアバターメール受信者の携帯端末内に受信前に保持し、あるいは、３Ｄアバターメール送信者の携帯端末又はサーバー等の外部記憶装置から受信して一時的に保持することを特徴とする携帯端末。
15. 請求項１から４のいずれか１項に記載の携帯端末において、
    ３Ｄアバターメール送信者が３Ｄアバターメール受信者に対して初めて３Ｄアバターメールを送信する際には、３Ｄアバターメールに使用する素材、或いは設定を全て送信し、２度目以降、メールを送信する際には、過去に送信していない３Ｄアバターメールに使用する素材、或いは設定のみを送信し、３Ｄアバターメール受信端末は１度３Ｄアバターメールを受信したら、その３Ｄアバターメールに使用されていた素材、或いは設定を受信者端末内に保持し、２度目以降に３Ｄアバターメールを受信し再生する際には保持している素材や設定を使用することを特徴とする携帯端末。
16. 請求項１から４のいずれか１項に記載の携帯端末において、
    ３Ｄアバターメール受信者は１度以上、３Ｄアバターメールを受信したら、過去に受信した３Ｄアバターメールに使用されていた素材、或いは設定から、送信者の癖や頻繁に使う動き、送信者独自の設定を抽出し、受信者端末内に保持し、以降に３Ｄアバターメールを受信し再生する際に使用することを特徴とする携帯端末。
17. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部は、３Ｄアバターメールに毎回使用する定型素材、或いは定型設定を３Ｄアバターメール送信者により設定可能であることを特徴とする携帯端末。
18. 請求項１から４のいずれか１項に記載の携帯端末において、
    ３Ｄアバターメール受信者は、３Ｄアバターメール受信後、送信者に対して、３Ｄアバターメールを返信する際に、３Ｄアバターメールの内容や設定、素材を返信メール内で、引用、使用することが可能であることを特徴とする携帯端末。
19. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部は、３Ｄアバターメール作成者、或いは受信者が、３Ｄアバターメールを作成後、或いは受信後、携帯端末において再編集を行うことが可能であることを特徴とする携帯端末。
20. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール再生部は、３Ｄアバターメール再生中に自携帯端末において割り込み処理が起こった際には、再生中の３Ｄアバターメールの３Ｄアバターや３Ｄオブジェクトにより、その旨を出力することが可能であることを特徴とする携帯端末。
21. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部、及び、３Ｄアバターメール再生部は、設定情報取得部が取得した送信者の撮影画像や音声から表情や心情、動作を認識し、認識結果より、３Ｄアバターの表情や動作や３Ｄアバターメール内容の設定を行う際に、認識率が低かったり、認識が不可能であった場合は、認識を行わず、送信者の音声の有無のみによって、設定を行うことが可能であることを特徴とする携帯端末。
22. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部、及び、３Ｄアバターメール再生部は、設定情報取得部が取得した送信者の撮影画像や音声から表情や心情、動作を認識し、認識結果より、３Ｄアバターの表情や動作や３Ｄアバターメール内容の設定を行う際に、認識率が低かったり、認識が不可能であった場合は、認識を行わず、送信者の音声やテキストによるメール内容やキーワードによって、設定を行うことを特徴とする携帯端末。
23. 請求項１から４のいずれか１項に記載の携帯端末において、
    上記３Ｄアバターメール作成部、及び、３Ｄアバターメール再生部は、設定情報取得部が取得した送信者の撮影画像や音声から表情や心情、動作を認識し、認識結果より、３Ｄアバターの表情や動作や３Ｄアバターメール内容の設定を行う際に、認識率が低かったり、認識が不可能であった場合は、その時点の認識結果を使用せず、一つ前に認識された認識結果より、設定された設定内容を継続する設定を行うことを特徴とする携帯端末。
24. 通信回線と接続可能な通信部と、自端末内にデータを保持するメモリ部と、音や操作の入力を行う入力部と、情報の表示や音を出力する出力部と、自端末の制御を行う制御部とを備える携帯端末に使用するコンピュータ・ソフトウエアであって、
    ３次元のキャラクターを用いた３Ｄアバターメールを他の端末とで送受信するためにメールの内容や設定を決定するための情報を取得する設定情報取得機能と、該設定情報取得機能により取得された情報に基づいて３Ｄアバターメールを作成する３Ｄアバターメール作成機能及び前記設定情報取得機能により取得された情報に基づいて３Ｄアバターメールを再生する３Ｄアバターメール再生機能のいずれか、または両方をコンピュータに実現するプログラムからなるコンピュータ・ソフトウエア。

Images