JP6580905B2 - 携帯通信端末及び携帯通信端末用プログラム - Google Patents

Description

本発明は、ユーザ間でメッセージを送受信可能な携帯通信端末、及び、携帯通信端末用プログラムに関する。

従来、携帯電話、スマートフォン等の着信時には、呼び出し音に加え、バイブレータの振動機能が利用されている。このような振動機能は、外部に大きな呼び出し音を放音することなく、携帯電話、スマートフォンを身に付けているユーザに対し、振動で着信を知らせることができる。特許文献１には、受信した電話番号に対応する振動パターンでバイブレータを駆動することで、振動パターンから発信元を特定することのできる技術が開示されている。

特開２００２−２５２６７６号公報

ところで、現在、従来の携帯電話、スマートフォンのような携帯通信端末の進化形として、ユーザが身に付けることのできるウェアラブル端末が開発、製品化されている。このようなウェアラブル端末は、腕時計型の他、眼鏡型等、各種形態のものがある。このようなウェアラブル端末は、ユーザが装着して使用するため、特許文献１に開示されるような振動による通知は、外部に音を漏らすことがなく、装着したユーザにのみ通知できるため、特に有効である。しかし、特許文献１の技術では、電話番号に対応する振動パターンでバイブレータを駆動して、受信者側に相手先が誰かを知らせることはできても、発信者側が任意の振動パターンを指定することはできなかった。

本発明は、ウェアラブル端末、スマートフォン等を含む携帯通信端末において、描画と振動が同期した新たなメッセージサービスを提供することを目的としている。

そのため、本発明に係る携帯通信端末は、以下の構成を採用することとしている。
ディスプレイと、タッチパネルと、振動部を有する携帯通信端末であって、
メッセージ形成処理と、送信処理と、受信処理と、を実行可能とし、
メッセージ形成処理は、携帯通信端末のタッチパネルの予め定められた描画領域に対するタッチ操作のタッチ位置に基づいてディスプレイに描画情報を表示するとともに、当該タッチ操作のタッチ状態に基づいて振動情報を形成し、
送信処理は、メッセージ形成処理で表示された描画情報と、形成された振動情報を含むメッセージ情報を、指定された送信先に送信し、
受信処理は、メッセージ情報を受信した場合、当該メッセージ情報に含まれる描画情報をディスプレイに表示させ、振動情報に基づき振動部を振動させることを特徴とする。

さらに本発明に係る携帯通信端末において、
メッセージ形成処理は、タッチ操作におけるタッチ状態を使用して、ディスプレイに描画情報を表示することを特徴とする。

さらに本発明に係る携帯通信端末において、
タッチ操作におけるタッチ状態は、タッチ継続時間もしくはタッチ強度の何れか一方を含むことを特徴とする。

さらに本発明に係る携帯通信端末は、
携帯通信端末の外部状況を取得するセンサを備え、
センサで取得した外部状況に基づいて、表示する描画情報を変更することを特徴とする。

さらに本発明に係る携帯通信端末において、
センサで取得する外部状況は、携帯通信端末の位置、外気温、湿度、気圧、外部輝度、携帯通信端末を装着するユーザの体温、脈拍の少なくとも何れか１つであることを特徴とする。

また本発明に係る携帯通信端末用プログラムは、
ディスプレイと、タッチパネルと、振動部を有する携帯通信端末に実行させる携帯通信端末用プログラムであって、
メッセージ形成処理と、送信処理と、受信処理と、を実行可能とし、
メッセージ形成処理は、携帯通信端末のタッチパネルの予め定められた描画領域に対するタッチ操作のタッチ位置に基づいて、ディスプレイに描画情報を表示するとともに、当該タッチ操作のタッチ状態に基づいて振動情報を形成し、
送信処理は、メッセージ形成処理で表示された描画情報と、形成された振動情報を含むメッセージ情報を、指定された送信先に送信し、
受信処理は、メッセージ情報を受信した場合、当該メッセージ情報に含まれる描画情報をディスプレイに表示させ、振動情報に基づき振動部を振動させることを特徴とする。

本発明に係る携帯通信端末または携帯通信用端末用プログラムによれば、タッチパネルに対するタッチ操作のタッチ位置に基づいて形成された描画情報と、当該タッチ操作のタッチ状態に基づいて形成された振動情報を含むメッセージ情報を形成することで、宛先にとなるユーザに対して、描画情報に基づく描画と、振動情報に基づく振動が同期する新たな感覚のメッセージを通知することが可能となる。

ウェアラブル端末の使用環境を説明するための図 ウェアラブル端末の外観図、及び、構成を示すブロック図 スマートフォンの構成を示すブロック図 ウェアラブル端末で実行するメッセージ送信処理を示すフロー図 メッセージ送信処理における送信先選択画面を示す図 メッセージ送信処理（スタンプモード選択時）における画面遷移を示す図 メッセージ形成時（スタンプモード時）における表示状態、振動状態を説明するための図 メッセージ送信処理（線画モード選択時）における画面遷移を示す図 メッセージ形成時（線画モード時）における表示状態、振動状態を説明するための図 ウェアラブル端末で実行するメッセージ受信処理を示すフロー図 メッセージ受信時（スタンプモード時）における表示状態、振動状態を説明するための図 メッセージ受信時（線画モード時）における表示状態、振動状態を説明するための図 他の形態（変形例１）について、表示状態、振動状態を説明するための図 他の形態（変形例２）について、表示状態、振動状態を説明するための図 他の形態（変形例３）について、表示状態、振動状態を説明するための図

図１には、本実施形態のウェアラブル端末の使用環境を説明する図が示されている。この図では２人のユーザが使用している状況を示しており、各ユーザ（ユーザＡ、ユーザＢ）は、スマートフォン３Ａ、３Ｂとウェアラブル端末１Ａ、１Ｂ（本発明の「携帯通信端末」に相当）を所持して、メッセージのやり取りを行う。各ユーザが所持するウェアラブル端末１Ａ、１Ｂは、当該ユーザが所持するスマートフォン３Ａ、３Ｂと、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を使用して対応付けられ、相互に無線通信を行うことが可能となっている。スマートフォン３Ａ、３Ｂは、近隣の無線基地局４Ａ、４Ｂと通信を行い、ゲートウェイ４２Ａ、４２Ｂを介してインターネットに接続される。インターネット上には、本実施形態のメッセージサービスを行う業者によってメッセージ管理サーバ装置５が設置されており、ユーザ間でのメッセージのやり取りを管理している。

本実施形態のメッセージサービスは、インターフェイスとしてウェアラブル端末１Ａ、１Ｂを使用することで行われる。ウェアラブル端末１Ａ、１Ｂを操作して形成されたメッセージ情報は、スマートフォン３Ａ、３Ｂによってインターネット上のメッセージ管理サーバ装置５に送信される。メッセージ情報を受信したメッセージ管理サーバ装置５は、宛先に指定されたスマートフォン３Ｂ、３Ａに対して、メッセージ情報を送信する。メッセージ情報を受信したスマートフォン３Ｂ、３Ａは、対応付けられているウェアラブル端末１Ｂ、１Ａに受信したメッセージ情報を送信することで、ユーザに対してメッセージを通知する。本実施形態のウェアラブル端末１Ａ、１Ｂは、携帯通信網に通信接続可能な機能（無線基地局４１Ａ、４１Ｂと無線通信可能な機能）を備えていないため、スマートフォン３Ａ、３Ｂを介してインターネットに接続しているが、ウェアラブル端末１Ａ、１Ｂが携帯通信網に通信接続可能であってもよい。その場合、スマートフォン３Ａ、３Ｂを介して通信する必要は無く、ウェアラブル端末１Ａ、１Ｂは、直接、無線基地局４１Ａ、４１Ｂと無線通信することで、インターネットに接続することができる。

図２は、本実施形態で使用するウェアラブル端末１（本発明の「携帯通信端末」に相当）の外観図、及び、構成を示すブロック図である。図２（Ａ）は、本実施形態のウェアラブル端末１の外観図である。本実施形態のウェアラブル端末１は、腕時計型の携帯通信端末であって、筐体１０ｂとリストバンド１０ａを有して構成されている。筐体１０ｂの正面には、ユーザに対して情報を表示するとともに、ユーザのタッチ操作を受け付け可能なタッチパネル表示部１８を有する。また、筐体１０ｂの側面にはユーザの操作を受け付け可能な入力スイッチ２０を有する。ユーザは、従来の腕時計同様、ウェアラブル端末１を手首に装着し、各種情報の送受信を行うことが可能である。

図２（Ｂ）は、ウェアラブル端末１の構成を示すブロック図である。本実施形態のウェアラブル端末１は、ＣＰＵ１１、ＲＡＭ１２、記憶部１３、画像処理部１４、音響処理部１６を含んで構成された制御手段を有する。記憶部１３には、ＮＡＮＤ型フラッシュメモリ等の不揮発性の記憶手段が使用される。

ＣＰＵ１１は、ウェアラブル端末１全体を統括して制御する手段であり、記憶部１３に記憶された各種プログラム、データに基づいて各種制御を実行する。ＲＡＭ１２には、ＣＰＵ１１の制御によって生成されたデータを一時的に格納する。

音響処理部１６は、ウェアラブル端末１の音響関係の入出力を行う手段である。ＣＰＵ１１の制御によりスピーカ１７ａに放音させる手段である。また、音響処理部１６は、マイクロホン１７ｂと接続され、マイクロホン１７ｂから周囲の音声を取り込むことが可能である。

タッチパネル表示部１８は、画像を表示する表示部１８ｂとその表面あるいは裏面に配設されるタッチパネル１８ａを有して構成されている。タッチパネル１８ａには、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。ＣＰＵ１１は、表示部１８ｂに表示を行うとともに、タッチパネル１８ａからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。なお、タッチパネル１８ａには、タッチ位置のみならずタッチの強さを検出可能なタイプを採用することも可能である。検出したタッチの強さに応じて各種制御を行うことが可能となる。

画像処理部１４は、ウェアラブル端末１の画像関係の入出力を行う手段である。画像処理部１４は、ＣＰＵ１１で形成された画像を表示部１８ｂに表示出力する。

本実施形態において、ウェアラブル端末１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格による通信部１９を使用してスマートフォン３と通信を行う。スマートフォン３は、携帯通信網を介してインターネットに接続されるため、ウェアラブル端末１は、スマートフォン３を介してインターネットと通信を行うことが可能となっている。

生体センサ２１は、装着したユーザの各種生体情報を検出可能なセンサである。本実施形態では、生体センサ２１として、装着したユーザの体温を検出可能な体温センサ２１ａと、装着したユーザの脈拍数を検出可能な脈拍センサ２１ｂを備えている。本実施形態では、この生体センサ２１を使用することで、ユーザの体調、あるいは、ユーザがウェアラブル端末１を装着しているか、否かを検出することが可能である。

振動部２２は、ウェアラブル端末１を装着したユーザに対して、振動による通知を行うことが可能である。従来の携帯電話、スマートフォン等で使用される振動部には、回転軸にウェイトを偏心させて取り付けたモータを使用するバイブレータを使用することが多かった。本実施形態の振動部２２は、リニアアクチュエータを震動源として使用し、ウェアラブル端末１を装着したユーザの手首を軽く叩くような衝撃を与えるタイプを使用している。

図３は、本実施形態で使用するスマートフォン３の構成を示すブロック図である。本実施形態では、スマートフォン３の携帯無線通信機能を使用することで、ウェアラブル端末１をインターネットに接続可能としているが、ウェアラブル端末１をインターネットに接続するには、スマートフォン３に代え、携帯無線通信機能を有するタブレット端末、携帯電話、無線ルータ等を採用してもよい。

本実施形態のスマートフォン３は、ＣＰＵ３１、ＲＡＭ３２、記憶部３３、画像処理部３４、音響処理部３６を含んで構成された制御手段を有している。記憶部３３には、ＮＡＮＤ型フラッシュメモリ等の不揮発性の記憶手段が使用される。

ＣＰＵ３１は、スマートフォン３全体を統括して制御する手段であり、記憶部３３に記憶された各種プログラム、データに基づいて各種制御を実行する。ＲＡＭ３２には、ＣＰＵ３１の制御によって生成されたデータを一時的に格納する。

音響処理部３６は、スマートフォン３の音響関係の入出力を行う手段である。ＣＰＵ３１の制御によりスピーカ３７ａに放音させる手段である。また、音響処理部３６は、マイクロホン３７ｂと接続され、マイクロホン３７ｂから歌唱音声など、周囲の音声を取り込み可能としている。

タッチパネル表示部３８は、画像を表示する表示部３８ｂとその表面あるいは裏面に配設されるタッチパネル３８ａを有して構成されている。タッチパネル３８ａには、静電容量方式などユーザのタッチ位置を認識可能とする各種タイプを採用することが可能である。ＣＰＵ３１は、表示部３８ｂに表示を行うとともに、タッチパネル３８ａからのタッチ入力にて、表示させている画像中のどの部分にタッチ入力されたかを判定することが可能である。

画像処理部３４は、スマートフォン３の画像関係の入出力を行う手段である。画像処理部３４は、ＣＰＵ１１で形成された画像を表示部１８ｂに表示出力する。そして、スマートフォン３の前面（タッチパネル表示部１８側）に配置されたフロントカメラ３５Ｆ、もしくは、スマートフォン３の背面に配置されたリアカメラ３５Ｒから画像を取り込む機能を有する。

通信部３９は、スマートフォン３を外部と通信させるための手段であって、本実施形態では、Ｂｌｕｅｔｏｏｔｈ（登録商標）による近距離無線通信を行うための第１通信部３９ａと、携帯無線通信網に接続するための第２通信部３９ｂを有している。本実施形態では、第１通信部３９ａを使用してウェアラブル端末１と通信することが可能であり、また、第２通信部３９ｂを使用して、無線基地局４１Ａ、４１Ｂと通信し、インターネットに通信接続することが可能である。

本実施形態のスマートフォン３は、入力手段としてタッチパネル３８ａ以外に入力スイッチ４０を備えて構成されている。この入力スイッチ４０には、電源スイッチ、音量調整スイッチ、プログラムに応じて入力用途が変更されるスイッチなど、各種スイッチを設けることが可能である。

以上、説明したウェアラブル端末１、スマートフォン３を使用し、ウェアラブル端末１で形成したメッセージをやり取りする本実施形態のメッセージサービスを実行することが可能である。メッセージサービスは、メッセージを送る側が、ウェアラブル端末１を使用してメッセージを作成、送信するメッセージ送信処理と、メッセージを受けた側がウェアラブル端末１を使用してメッセージを確認するメッセージ受信処理を含んで構成される。

図４は、ウェアラブル端末１で実行するメッセージ送信処理を示すフロー図である。メッセージ送信処理は、ウェアラブル端末１において、メッセージサービス用のアプリケーションを起動することで実行される処理である。なお、メッセージサービス用のアプリケーションは、受信のため、ウェアラブル端末１において常時起動した状態であってもよい。また、本実施形態のウェアラブル端末１は、スマートフォン３と通信接続されているため、メッセージサービス用のアプリケーションの動作の一部をスマートフォン３側で行う形態としてもよい。

本実施形態のメッセージ送信処理は、まずメッセージの送信先を選択する（Ｓ１０１）。メッセージの送信先を示すアドレスとしては、本実施形態のメッセージサービスにおいて、ユーザを識別するためのユーザＩＤが使用される。なお、ユーザＩＤに代え、メールアドレスや携帯電話番号を使用することとしてもよい。

図５は、ウェアラブル端末１のタッチパネル表示部１８に表示される画面であって、メッセージの送信先を選択するための送信先選択画面である。この送信先選択画面には、ユーザの友人等、事前に登録したユーザに関する情報が表示される。登録した個々のユーザについてユーザ関連情報６１ｂ〜６１ｅが表示される。

ユーザ関連情報６１ｂ〜６１ｅには、ユーザを示す情報として、ユーザの写真あるいはユーザが選択したキャラクタ等を表示するためのユーザアイコン６２ａ、ユーザ名６２ｂが表示される。また、作成するメッセージ形態を選択するため、スタンプモード選択アイコン６３、線画モード選択アイコン６４が用意されている。ユーザは、スタンプモード選択アイコン６３を選択することで、ユーザ関連情報６１ｂ〜６１ｅに対して、予め用意されたスタンプを使用した形態でメッセージを作成することが可能である。一方、線画モード選択アイコン６４を選択することで、ユーザ関連情報６１ｂ〜６１ｅに対して、タッチパネル表示部１８のタッチ操作による線画による形態でメッセージを作成することが可能である。

さらに本実施形態のユーザ関連情報６１ｂ〜６１ｅには、交友度６５が表示されている。交友度６５は、ユーザ関連情報６１ｂ〜６１ｅに該当するユーザとのメッセージの送受信頻度に基づいて表示される情報であり、例えば、過去３日間、メッセージの送受信が無い場合には、ユーザ関連情報６１ｂのように交友度６５は×印となる。一方、過去３日間の期間内に、メッセージの送受信を行ったユーザ（例えば、ユーザ関連情報６１ｃのユーザ）の交友度６５は丸印となる。なお、交友度６５は、メッセージの送受信ではなく、メッセージの送信、もしくは、受信の一方で判断されることとしてもよい。

図５の送信先選択画面において、送信先となるユーザ、及び、メッセージ形態が選択された（Ｓ１０１）後、選択したメッセージ形態が判断される（Ｓ１０２）。まず、メッセージ形態としてスタンプモードが選択された場合（Ｓ１０２：スタンプ）について、図６に示す画面遷移図を用いて説明する。スタンプモードが選択されると、タッチパネル表示部１８には、図６（Ａ）の画面が表示され、メッセージに使用するスタンプをユーザに選択させる（Ｓ１０３）。図６（Ａ）の画面には、送信先となるユーザのユーザアイコン６２ａと、ユーザ名６２ｂが表示される。また、複数のスタンプ（図６（Ａ）の例では９個）が配列されたスタンプ候補表示欄６６が表示され、ユーザはこの中から、メッセージに使用したいスタンプを選択する。

図６（Ａ）の画面でスタンプが選択されると、メッセージ作成期間のカウントが開始される（Ｓ１０４）。本実施形態のメッセージは、ユーザの操作による描画（スタンプもしくは線画）を時系列的に記憶し、受信側で描画作成の様子を再現することとしている。メッセージ作成期間に時間制限を設けることで、メッセージが長時間となることを抑制している。スタンプが選択された後、図６（Ｂ）の画面に遷移し、スタンプを使用したメッセージ形成処理（Ｓ１０５）が開始する。図６（Ｂ）は、スタンプメッセージ作成画面を示した図である。スタンプメッセージ作成画面は、中断アイコン６７、ユーザアイコン６２a、送信アイコン６８、残り時間表示バー６９、押印領域７０を有して構成されている。

中断アイコン６７は、メッセージの作成を中断するためのアイコンである。メッセージ作成中、送信を中止したい、あるいは、メッセージを作成し直したい場合等、ユーザはこの中断アイコン６７を操作することで、メッセージの作成が中断される。ユーザアイコン６２ａは、図５の送信先選択画面で選択した送信先となるユーザを示すアイコンである。送信アイコン６８は、メッセージ作成を終了したユーザが操作することで、作成したメッセージを送信先に送信するアイコンである。残り時間表示バー６９は、時間の経過とともに黒色のバーの長さが短くなることで、メッセージを作成する残り時間を示す。メッセージは、メッセージを作成する残り時間が無くなることで自動送信してもよい。あるいは、メッセージを作成する残り時間が無くなることで、メッセージ作成の受付（スタンプモードでは、スタンプの押印）を中断し、送信アイコン６８の操作によって送信することとしてもよい。また、メッセージを作成する残り時間が無くなった場合でも、メッセージの作成自体は受付可能としてもよい。この場合、受信したユーザ側のウェアラブル端末１でのメッセージ再生時、描画情報と振動情報との同期は、入力制限時間までとし、入力制限時間以降は、描画の再生のみとする。これにより、描画の途中で入力制限時間が到来した場合でも、中途半端な描画が送信されることが無いため、メッセージを受信したユーザに、メッセージを送信したユーザの意図が伝わらないということを防止することができる。また、再生側で冗長な振動が継続しないため、受信したユーザにとって煩わしさを抑制することが可能である。

押印領域７０には、スタンプ候補表示欄６６で選択したスタンプが、ユーザがタッチした箇所に配置される。図６（Ｂ）は、１回目のタッチ操作によりスタンプＳ１が配置された状態を示している。タッチ操作を重ねることで、図６（Ｃ）のように複数のスタンプが押印されたメッセージが形成される。本実施形態では、スタンプの押印を時系列的に記憶したメッセージ情報が形成される。メッセージ情報を受信したユーザ側のウェアラブル端末１では、メッセージ情報に基づき、メッセージ作成の様子が再現される。

さらに本実施形態では、スタンプによる視覚的なメッセージに加え、ウェアラブル端末１を装着する相手に対し、スタンプの描画に同期した振動を伝えることを可能としている。本実施形態では、メッセージ作成時においてもウェアラブル端末１を振動させることで、相手にどのような振動が伝わるかを、送信側においても確認することが可能となっている。図７は、メッセージ作成時（スタンプモード時）における表示状態、振動状態を説明するための図である。本実施形態では、スタンプの押印形態にタイプＡとタイプＢを有している。図７の例は、タイプＡに続けてタイプＢの押印を行った例である。

タイプＡは、ユーザが押印領域７０をポンと１回、タッチ操作した場合の押印形態である。このように押印領域７０を単発的に操作することで、タッチ箇所には標準サイズのスタンプＳ１が表示される。また、タッチ操作に同期して振動部２２を振動させる。本実施形態の振動部２２は、リニアアクチュエータを使用したタイプであって、タイプＡの場合の振動は、衝撃を１回与える形態で振動する。このように、タイプＡの押印形態は、短い期間のタッチ操作による場合であって、押印領域７０には標準サイズのスタンプが表示され、タッチ操作に対応して衝撃が１回与えられる。

タイプＢは、ユーザが押印領域７０を持続的にタッチ操作した場合の押印形態である。本実施形態では、押印領域７０を持続的にタッチして操作した場合、まず、タッチ箇所に標準サイズのスタンプＳ２を表示し、タッチ継続時間に応じて表示したスタンプＳ２を拡大していく。また、タイプＢについてもタッチ操作に応じて、振動部２２を振動させることになるが、タッチ継続時間中、振動部２２を繰り返し振動させる。本実施形態のようにリニアアクチュエータを使用した場合、タッチ継続時間中、所定の時間間隔で振動部２２を振動させる。

このように本実施形態では、押印領域７０に対するタッチ操作に対応し、スタンプによる描画と、振動部２２による振動を含んだメッセージを形成することが可能である。したがって、メッセージを受信する側では、スタンプによる描画と振動が同期したメッセージを受信することが可能である。スタンプモードにおけるスタンプの配置、振動は、その作成の過程を時系列に記憶したメッセージ情報として記憶され、宛先となるウェアラブル端末１に送信される。メッセージ情報を受信したウェアラブル端末１は、メッセージ情報に従って、スタンプの配置、振動を再現することで、宛先となるユーザにメッセージを伝える。

次に、図５の送信先選択画面において、線画モード選択アイコン６４が選択された場合（Ｓ１０２：線画）について、図８に示す画面遷移図を用いて説明する。スタンプモードが選択されると、タッチパネル表示部１８には、図８（Ａ）が表示され、ユーザに線画によるメッセージを形成させる。この画面には、図６で説明したスタンプモードと同様、中断アイコン６７、宛先となるユーザを示すユーザアイコン６２ａ、送信アイコン６８、残り時間表示バー６９が表示されている。また、線画モードでは、線画によるメッセージを作成するため線画領域７１が設けられている。ユーザはこの線画領域７１をタッチしてなぞることで、線画によるメッセージを作成することが可能である。図８（Ａ）は、初回にタッチして線画領域をなぞり、線画Ｌ１を書いた状態が示されている。ユーザはタッチを繰り返すことで、線画による図形を描画することが可能である。図８（Ｂ）の状態は、タッチを４回繰り返し、線画Ｌ１〜Ｌ４を描画した状態である。

この線画モードにおいても、線画の描画に同期して同期するメッセージを形成することが可能である。また、このメッセージを受信したウェアラブル端末１側では、線画の形成の様子を再現するとともに、線画の形成に伴う振動をユーザに体感させることが可能である。

図９は、線画モードによるメッセージ形成時の振動状態を説明するための図である。線画モード時には、描画と振動の同期はタイプＣのようになる。ここでは、１本の線画Ｌを描画する例について説明する。ユーザが線画領域７１をタッチしてなぞると、なぞった部分に線画Ｌが描画される。線画領域７１をなぞる場合、ユーザは線画領域７１にタッチした状態が継続することになる。振動部２２による振動発生は、タッチ状態が継続している間継続する。本実施形態では、図７のスタンプモードで説明したタイプＢと同様、所定の時間間隔で振動部２２を振動させている。線画モードにおける線画の描画、それに同期した振動は、その作成の過程を時系列に記憶したメッセージ情報として記憶され、宛先となるウェアラブル端末１に送信される。メッセージ情報を受信したウェアラブル端末１は、メッセージ情報に従って、線画の描画、振動を再現することで、宛先となるユーザにメッセージを伝える。

スタンプモードあるいは線画モードによる描画を終えたユーザは、送信アイコン６８を操作する（Ｓ１０６：Ｙｅｓ）ことでメッセージ情報を送信する（Ｓ１０８）。一方、残り時間表示バー６９が計時する残り時間が経過した場合（Ｓ１０７：Ｙｅｓ）も、同様にメッセージ情報をスマートフォン３に送信する（Ｓ１０８）。メッセージ情報を受信したスマートフォン３は、携帯無線通信網を介し、インターネット上のメッセージ管理サーバ装置５にメッセージ情報を送信する。メッセージ管理サーバ装置５は、メッセージ情報内の宛先に対応するウェアラブル端末１にメッセージ情報を送信する。

図１０は、ウェアラブル端末１で実行するメッセージ受信処理を示すフロー図である。このメッセージ受信処理は、ウェアラブル端末１が自己宛のメッセージ情報を確認したことで開始される処理である。メッセージ受信処理が開始されると、ウェアラブル端末１はメッセージ情報を受信し、ＲＡＭ１２等に記憶する（Ｓ２０１）。本実施形態では、ユーザがウェアラブル端末１を装着していることを条件として、メッセージ情報に基づく振動を実行することとしている。ウェアラブル端末１の装着判断（Ｓ２０２）は、ウェアラブル端末１の生体センサ２１を使用して行うことが可能である。例えば、体温センサ２１ａを使用する場合は、所定範囲内の体温を計測している状態を装着状態と判定する。あるいは、脈拍センサ２１ｂを使用する場合は、所定範囲内の脈拍数を計測している状態を装着状態と判定する。装着判断は、複数のセンサの組み合わせで行うことで、その判断精度を向上させることが可能である。生体センサ２１を使用することに代え、例えば、リストバンド１０ａの固定状態をセンサで判定し、判定結果に基づいて装着判断を行うことも可能である。

ウェアラブル端末１が装着中であると判定された場合（Ｓ２０２：Ｙｅｓ）、メッセージ情報に基づき表示、振動によるメッセージ通知を実行する（Ｓ２０３）。一方、ウェアラブル端末１が装着中で無いと判定された場合（Ｓ２０２：Ｎｏ）。振動によるメッセージ通知は行わない。本実施形態のウェアラブル端末１は、装着中で無い場合、表示によるメッセージ通知を行う第１モード、メッセージ通知自体を行わない第２モードを選択することが可能である。第１モード、第２モードの設定は、ユーザによって任意に設定することが可能である。第１モードが設定されている場合（Ｓ２０４：第１）、受信したメッセージ情報に基づき、描画（スタンプあるいは線画）による通知のみを実行する。一方、第２モードが設定されている場合、メッセージ情報に基づく通知は行わず、メッセージを保留状態とする。この場合、ウェアラブル端末１が装着状態となったときにメッセージ通知する、あるいは、ユーザの操作に基づいてメッセージ通知することとなる。なお、装着状態となったときに、メッセージ通知のみを実行するか、振動によるメッセージ通知を実行するかは、ユーザによって任意に設定されてもよい。

次に、メッセージ受信時における通知形態について説明する。メッセージを作成したときの描画の様子、及び、振動状態が再現される。図１１は、スタンプモードにおける表示状態、振動状態を説明するための図である。図１１は、図７のメッセージ形成に対応した受信時の様子である。受信時には、時間経過に同期してスタンプによる描画、振動が再現される。図１１の例では、スタンプＳ１が押印された後、スタンプＳ２が押印された場合を示している。スタンプＳ１は、単発的な操作で押印されているため、標準サイズで表示される。一方、スタンプＳ２は、タッチ状態を継続する操作で押印されたため、標準状態で押印後、その大きさを時間経過とともに拡大していく表示形態を有する。

また、振動に関しては、スタンプＳ１の表示時は、スタンプＳ１の表示と同期して、振動部２２による衝撃が１回与えられる。そして、スタンプＳ２の表示時は、スタンプＳ２の表示開始から拡大終了までの期間中、所定の時間間隔で振動部２２が振動される。このように、スタンプモードで形成されたメッセージ情報を受信した場合、スタンプによる描画と、振動が同期したメッセージをユーザに伝えることが可能である。

図１２は、線画モードにおける表示状態、振動状態を説明するための図である。図１２は、図９のメッセージ形成に対応した受信時の様子である。受信時には、時間経過に同期して線画による描画、振動が再現される。図１２の例では、一本の線画Ｌを描画した場合の例であり、線画Ｌの描画開始に伴って、振動部２２による振動が開始し、線画Ｌの描画期間中、振動が継続する。このように線画モードで形成されたメッセージ情報の場合においても、線画による描画と振動が同期したメッセージをユーザに伝えることが可能である。

以上、本実施形態のメッセージサービスについて、スタンプを使用した描画、線画による描画を説明したが、どちらの場合も描画と、描画に同期したメッセージを相手に伝えることが可能である。本実施形態では、メッセージ作成時においても振動部２２を振動させることとしているが、これは相手にどのような振動が体感されるかを伝えるためである。メッセージ作成時の振動は行わない形態とすることも可能である。また、以上説明した実施形態以外に、以下に説明する他の形態（変形例）を採用することも可能である。

（変形例１）
図１３は、メッセージ形成時の表示状態、振動状態について他の形態（変形例１）を説明するための図である。本実施形態では、タッチパネル表示部１８はタッチ操作の押圧強度を判定することが可能である。また、振動部２２は、ユーザに与える衝撃（振動）の強さを変化させることが可能である。このような場合、タッチ操作の押圧強度に応じて、スタンプの大きさを変化させる、あるいは、振動の強度の少なくとも一方を変化させることが可能である。この変形例１は、タッチ操作の強度に応じて、スタンプの大きさ及び振動の強度の両方を変化させた実施形態となっている。

図１３は、図７の場合と同様、メッセージ形成時の様子を示した図であって、２回のタッチ操作を行ったときの様子を示している。１回目のタッチ操作の形態（タイプＤ）と、２回目のタッチ操作の形態（タイプＥ）は、どちらも、押印領域７０をポンと１回、単発的に操作した場合の押圧形態であるが、その押圧強度において異なっている。１回目のタイプＤの場合に比較して２回目のタイプＥの場合の方が、押圧強度が大きくなっている。この変形例１では、タッチ操作の押圧強度に応じて、押印するスタンプの大きさを変化させている。具体的には２回目の押圧強度は、１回目の押圧強度よりも大きいため、２回目に押印するスタンプＳ２の大きさは、１回目に押印するスタンプＳ１の大きさよりも大きく描画される。このように本実施形態では、押印領域７０に対する押圧強度に応じて、描画するスタンプの形態（大きさ）を変化させている。この変形例１では、描画するスタンプの大きさを変化させることとしたが、描画形態としては、このような形態以外に、押圧強度に応じてスタンプの種別を変化させる、あるいは、スタンプの色、スタンプに対する効果を変化させる等、各種形態を採用することが可能である。

また、変形例１では、タッチパネル表示部１８で検出した押圧強度に応じて、振動部２２の振動状態も変化させている。本実施形態では、押圧強度が大きいほど、振動を大きく制御している。２回目の押圧強度は、１回目の押圧強度よりも大きいため、２回目の振動状態の大きさは、１回目の振動状態の大きさよりも大きく振動させている。このように本実施形態では、タッチ操作の押圧強度に応じた振動形態としている。また、描画形態についても押圧強度に応じて制御しているため、ユーザの押圧強度に応じた描画形態と振動形態を有するメッセージを形成することが可能である。この図１３では、メッセージ作成時の様子を説明したが、ここで作成した描画と振動によるメッセージは、受信側のウェアラブル端末１でその作成時過程が再現されるため、メッセージの受信側では、描画と振動が同期し、振動の大きさも変化するメッセージを受け取ることが可能となる。

（変形例２）
図１４は、他の形態（変形例２）について、表示状態、振動状態を説明するための図である。図２（Ｂ）で説明した実施形態では、振動部２２は、リニアアクチュエータを使用したタイプであったが、振動部２２には他のタイプを使用することも可能である。図１４は、リニアアクチュエータとバイブレータ（回転軸にウェイトを偏心させて取り付けたモータを使用する）を両方備えたタイプの振動部２２を使用した場合の例である。変形例２では、タッチ状態に応じて振動形態を異ならせている。図１４のタッチ状態は、図７の場合と同様、１回目がポンと１回、タッチ操作した場合の押印形態（タイプＡ’）であり、２回目が押印領域７０を持続的にタッチ操作した場合の押印形態（タイプＢ’）である。また、スタンプを使用した描画形態は、図７の場合と同様である。

本実施形態では、タイプＡ’のように単発的に１回、タッチ操作した場合、リニアアクチュエータによる振動を与えることとしている。また、タイプＢ’のように持続的なタッチ操作の場合、最初にリニアアクチュエータによる振動を与えた後に、バイブレータにより、タッチ操作期間中、継続して振動を与えることとしている。このように変形例２では、複数形態の振動を発生可能な振動部２２を使用し、タッチ操作の形態に応じて、振動形態を異ならせることで、多様な振動形態によるメッセージを形成し、送信相手に伝えることが可能である。このように、ユーザの接触操作が、所定未満の接触時間の場合、リニアアクチュエータにより振動を与え、所定以上の接触時間の場合は、バイブレータにより振動を与える実施形態に代え、ユーザの接触操作から、所定以上の強度を検出した場合、リニアアクチュエータにより振動を与え、所定未満の強度情報の場合は、バイブレータにより振動を与えてもよい。

（変形例３）
図１５は、他の形態（変形例３）について、表示状態、振動状態を説明するための図である。図７、図１４の実施形態では、リニアアクチュエータを使用して振動を発生させる形態を説明したが、振動部２２にはバイブレータ（回転軸にウェイトを偏心させて取り付けたモータを使用する）のみを使用する形態を採用してもよい。この変形例３では、タッチパネル表示部１８にタッチしている期間中、バイブレータによる振動させることとしている。バイブレータを使用した振動部２２は、スマートフォンやタブレット端末で使用されている。このようなバイブレータを使用しても本発明のメッセージサービスは実演可能である。言い換えると、ウェアラブル端末１のみならず、タッチパネル表示部と振動部を備えたスマートフォン、タブレット端末を使用して、本発明のメッセージ作成、メッセージ受信を行うことも可能である。

（変形例４）
本実施形態のウェアラブル端末１は、生体センサ２１を使用して、装着するユーザの生体情報を検出可能としている。メッセージ作成時には、外部状況として生体センサ２１で検出したユーザの状態を使用してメッセージを形成することとしてもよい。図６（Ａ）で説明したスタンプ候補表示欄６６では、予め定められたスタンプの中から選択することとしているが、生体センサ２１を使用することで、生体センサ２１で検出したユーザの状態に基づいて、スタンプ候補表示欄６６に表示するスタンプ候補を変更してもよい。例えば、生体センサ２１で検出した結果、ユーザが運動中、あるいは、運動直後と推定される場合には、運動に関するスタンプの種類を表示する、あるいは、ユーザが風邪を引いて発熱中と推定される場合には、病気に関するスタンプの種類を表示すること等が考えられる。この場合、スタンプはスタンプ候補表示欄６６に表示させた中から選択させることに代え、生体センサ２１で検出したユーザの状態を使用して、１のスタンプを選択することとしてもよい。このように、生体センサ２１を使用することで、ユーザの状態あるいは体調に応じたスタンプを使用することが可能である。

なお、変形例４では、ユーザの状態に応じて、スタンプの種類を変更する形態としているが、スタンプの種類に代え、スタンプの色を変更する、あるいは、線画モードの場合、描画する線画の太さ、色を変更することとしてもよい。また、ウェアラブル端末１の外部状況としては、生体センサ２１で検出したユーザの状態以外に、ＧＰＳ機能により検出した位置情報を使用することも考えられる。ＧＰＳ機能は、ウェアラブル端末１、あるいは、スマートフォン３に搭載することで、ウェアラブル端末１の位置情報を検出することが可能である。このように位置情報に基づいて、使用できるスタンプの種類を変更する等、描画に関して変更を行うことで、ご当地ならではの描画を行うことも可能となる。この他、ウェアラブル端末１の外部状況としては、ウェアラブル端末１で計測した、外気温、湿度、気圧を使用して、描画に関する変更を行うことが考えられる。

また、ウェアラブル端末１、あるいは、スマートフォン３で外部輝度を検出して、これを使用することも考えられる。外部輝度は、例えば、スマートフォン３に搭載されているフロントカメラ３５Ｆあるいはリアカメラ３５Ｒからの映像で判定することが考えられる。ウェアラブル端末１にカメラが設けられている場合には、このカメラの映像で判定しても良い。あるいは、ウェアラブル端末１もしくはスマートフォン３に輝度センサを設け、輝度センサの出力に基づいて外部輝度を検出してもよい。外部輝度を使用する形態としては、例えば、外気温や湿度が高い場合、スタンプに含まれるキャラクタが汗をかく、あるいは、サングラスを付ける等、キャラクタを変更することが考えられる。あるいは、外部輝度が高い場合、スタンプに含まれるキャラクタの色が明るめの色になってもよい。あるいは、外部輝度が高いということは昼間であると推測されるため、太陽のスタンプ等、昼間に関係するスタンプの数を選択候補に加える、あるいは、変更する制御をしてもよい。

また、メッセージを送信するウェアラブル端末１Ａで検出した外部状況と、メッセージを受信するウェアラブル端末１Ｂで検出した外部状況との差分に応じてスタンプを変更することとしてもよい。例えば、ウェアラブル端末１Ａの脈拍センサ２１ｂで検出したユーザの脈拍が１５０で、ウェアラブル端末１Ｂの脈拍センサ２１ｂで検出したユーザの脈拍が９０の場合、ウェアラブル端末１Ａのユーザが興奮しているのに対し、ウェアラブル端末１Ｂのユーザが冷めていると推測される。この場合、相手方の興奮度が相対的に高いことが分かるように、ウェアラブル端末１Ｂが受信したスタンプに設定された大きさに、所定の値をかけて、スタンプを拡大して表示することとしてもよい。なお、外部状況の差分を取得するためには、メッセージに外部状況を含ませて送信することが必要である。

以上、本実施形態のウェアラブル端末１（携帯通信端末）によれば、スタンプや線画等、視覚的な通知と、振動部２２で発生させる振動による通知とが同期した新しいメッセージを形成し、友人や知人等を宛先として通知することが可能である。なお、本発明で使用する携帯通信端末としては、各種実施形態として説明した腕時計型のウェアラブル端末１以外に、前段落で説明したスマートフォン、タブレット端末を使用することも可能である。なお、これらの携帯通信端末において、メッセージの形成、送信、受信といった各種処理を実行する携帯通信端末用プログラムについても、本発明の範疇に属するものである。

１（１Ａ、１Ｂ）：ウェアラブル端末 ３５Ｆ：フロントカメラ
３（３Ａ、３Ｂ）：スマートフォン ３５Ｒ：リアカメラ
４Ａ、４Ｂ：無線基地局 ３６：音響処理部
５：メッセージ管理サーバ装置 ３７ａ：スピーカ
１０ａ：リストバンド ３７ｂ：マイクロホン
１０ｂ：筐体 ３８：タッチパネル表示部
１１：ＣＰＵ ３８ａ：タッチパネル
１２：ＲＡＭ ３８ｂ：表示部
１３：記憶部 ３９：通信部
１４：画像処理部 ３９ａ：第１通信部
１６：音響処理部 ３９ｂ：第２通信部
１７ａ：スピーカ ４０：入力スイッチ
１７ｂ：マイクロホン ４１Ａ、４１Ｂ：無線基地局
１８：タッチパネル表示部 ４２Ａ、４２Ｂ：ゲートウェイ
１８ａ：タッチパネル ６１ｂ〜６１ｅ：ユーザ関連情報
１８ｂ：表示部 ６２ａ：ユーザアイコン
１９：通信部 ６２ｂ：ユーザ名
２０：入力スイッチ ６３：スタンプモード選択アイコン
２１：生体センサ ６４：線画モード選択アイコン
２１ａ：体温センサ ６５：交友度
２１ｂ：脈拍センサ ６６：スタンプ候補表示欄
２２：振動部 ６７：中断アイコン
３１：ＣＰＵ ６８：送信アイコン
３２：ＲＡＭ ６９：時間表示バー
３３：記憶部 ７０：押印領域
３４：画像処理部 ７１：線画領域

Claims (6)

1. ディスプレイと、タッチパネルと、振動部を有する携帯通信端末であって、
   メッセージ形成処理と、送信処理と、受信処理と、を実行可能とし、
   メッセージ形成処理は、携帯通信端末のタッチパネルの予め定められた描画領域に対するタッチ操作のタッチ位置に基づいてディスプレイに描画情報を表示するとともに、当該タッチ操作のタッチ状態に基づいて振動情報を形成し、
   送信処理は、メッセージ形成処理で表示された描画情報と、形成された振動情報を含むメッセージ情報を、指定された送信先に送信し、
   受信処理は、メッセージ情報を受信した場合、当該メッセージ情報に含まれる描画情報をディスプレイに表示させ、振動情報に基づき振動部を振動させることを特徴とする
   携帯通信端末。
2. メッセージ形成処理は、タッチ操作におけるタッチ状態を使用して、ディスプレイに描画情報を表示することを特徴とする
   請求項１に記載の携帯通信端末。
3. タッチ操作におけるタッチ状態は、タッチ継続時間もしくはタッチ強度の何れか一方を含むことを特徴とする
   請求項１または請求項２に記載の携帯通信端末。
4. 携帯通信端末は、携帯通信端末の外部状況を取得するセンサを備え、
   センサで取得した外部状況に基づいて、表示する描画情報を変更することを特徴とする
   請求項１から請求項３の何れか１項に記載の携帯通信端末。
5. センサで取得する外部状況は、携帯通信端末の位置、外気温、湿度、気圧、外部輝度、携帯通信端末を装着するユーザの体温、脈拍の少なくとも何れか１つであることを特徴とする
   請求項４に記載の携帯通信端末。
6. ディスプレイと、タッチパネルと、振動部を有する携帯通信端末に実行させる携帯通信端末用プログラムであって、
   メッセージ形成処理と、送信処理と、受信処理と、を実行可能とし、
   メッセージ形成処理は、携帯通信端末のタッチパネルの予め定められた描画領域に対するタッチ操作のタッチ位置に基づいて、ディスプレイに描画情報を表示するとともに、当該タッチ操作のタッチ状態に基づいて振動情報を形成し、
   送信処理は、メッセージ形成処理で表示された描画情報と、形成された振動情報を含むメッセージ情報を、指定された送信先に送信し、
   受信処理は、メッセージ情報を受信した場合、当該メッセージ情報に含まれる描画情報をディスプレイに表示させ、振動情報に基づき振動部を振動させることを特徴とする
   携帯通信端末用プログラム。