JP4241484B2 - 携帯端末装置、着信応答メッセージ送信方法およびサーバ装置 - Google Patents

Description

本発明は、携帯電話機等の携帯端末装置および携帯端末装置における着信応答メッセージ送信方法に関し、特に、着信時に発呼端末装置に対してメッセージを送信する携帯端末装置、着信応答メッセージ送信方法、および携帯端末装置の着信時に発呼端末装置に対してメッセージを送信するサーバ装置に関する。

携帯電話機には、電車内等の多数の人が集まっている環境において着信音や着信メロディを鳴動させないように、マナーモード（サイレントモード）と呼ばれるモードが備えられている。マナーモードに設定されている場合に着信があったときには、携帯電話機は、一般に、振動モータ等を用いたバイブレータを作動させて、ユーザに着信があったことを知らせる。通常、マナーモードに設定されている環境は、発話も控えるべき環境である。従って、ユーザは、マナーモードに設定されている場合に着信があったときには、小声で応答したり、着信を無視したり、保留状態にしたりする。また、自動応答設定がなされている場合には、携帯電話機が、固定的な音声メッセージを発呼端末装置に対して送信する。

しかし、マナーモードに設定されている環境において小声で応答しても近傍の他人に不快感を与えてしまう。また、保留状態にしても、短時間で保留状態を解除できる保証はなく、発呼端末装置の操作者に迷惑がかかる。また、着信を無視したり、自動応答設定にもとづく固定的な音声メッセージを送信したりするのでは、どのような理由で応答できないのかを発呼端末装置の操作者に知らせることができない。その結果、発呼端末装置の操作者は、マナーモードに設定されている携帯電話機に対して繰り返し発呼したり、マナーモードに設定されている携帯電話機のユーザに対して不審感を抱いたりするという問題がある。

そのような問題を解消するために、複数種類の音声メッセージを記憶し、携帯電話機のユーザが着信に対して応答できないときに、キー操作等で選択された音声メッセージを着信応答メッセージとして送信するように構成された携帯電話機が提案されている（例えば、特許文献１参照。）。また、着信応答メッセージとして、音声メッセージに限らず、文字や画像を着信応答メッセージとして送信する携帯電話機も提案されている（例えば、特許文献２参照。）。

特開２００３−２７４４５９号公報（段落００３７−００４４、図３９） 特開２００２−３５４１２８号公報（段落０００７，０００９）

しかし、特許文献１に記載されたシステムでは、携帯電話機のユーザが着信に対して応答できないときに、ユーザは、携帯電話機の操作部におけるファンクションキーを押下することが求められる。そのようなユーザインタフェースを用いる場合には、着信応答メッセージとファンクションキーとの対応付けをユーザが記憶している必要がある。特許文献１には、そのようなユーザの負担を軽減するための方策として、ユーザが、状況に合わせた一の着信応答メッセージを事前に設定しておく例が記載されている（特許文献１の段落００６４−００６６参照。）。しかし、ファンクションキーに関する事前設定をユーザに強いることになり、ユーザに負担をかけることに変わりはない。

また、特許文献２に記載されたシステムでも、ユーザが置かれている状況に応じた着信応答メッセージを携帯電話機に送信させたい場合には、ユーザが、着信応答メッセージの事前設定または設定変更を行う必要がある。すなわち、ユーザに事前設定を強いることになり、ユーザに負担をかけることになる。

そこで、本発明は、通話機能を備えた携帯端末装置のユーザが着信に応答できない状況において、簡便に、着信に応答できない旨、および応答できない状況を、発呼者に伝えることができる携帯端末装置、着信応答メッセージ送信方法およびサーバ装置を提供することを目的とする。

本発明による携帯端末装置は、複数種類のメッセージ情報を形状情報（物の特徴的な形状または複数の物（例えば顔と手）の関係を示す情報、例えば人体または人体の一部によるポーズやジェスチャ）に対応付けて記憶するメッセージ情報記憶手段と、着信時に、撮影手段によって撮影された画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報をメッセージ情報記憶手段から選択するメッセージ情報選択手段と、メッセージ情報選択手段が選択したメッセージ情報を発信元に送信するメッセージ情報送信手段とを備え、メッセージ情報記憶手段が、利用者が着信に対して応答することが困難になる場所における特徴的な箇所の画像を、形状情報を含む画像として記憶することを特徴とする。

形状情報を含む画像は、１枚の静止画像でもよいし、複数枚の静止画像からなる動画像であってもよい。

携帯端末装置は、文字列情報を時間情報に対応付けて記憶する文字列情報記憶手段（例えばスケジュール情報を記憶する手段）と、文字列情報記憶手段に記憶されている文字列情報（例えばスケジュール情報）から、場所または状況（ユーザが存在する場所や、会議中とか電車の中とかのユーザが置かれている状況、さらには、その状況が継続する時間帯）を表す情報を抽出する情報抽出手段とを備え、メッセージ情報送信手段が、情報抽出手段が抽出した情報を、メッセージ情報選択手段が選択したメッセージに付加して送信するように構成されていてもよい。情報抽出手段は、特に、文字列情報記憶手段に記憶されている文字列情報から、着信時の時刻に対応する情報を抽出するように構成されていることが好ましい。

メッセージ情報送信手段は、メッセージ情報をテキスト情報として送信するように構成されていてもよいし、メッセージを音声信号として送信するように構成されていてもよい。さらに、撮影手段によって撮影された画像をメッセージに付加して送信するように構成されていてもよい。

携帯端末装置は、表示手段と、ユーザが入力操作を行うための操作手段と、発信元に送信されるメッセージ情報を、メッセージ情報送信手段が送信する前に表示手段に表示させる表示制御手段とを備え、メッセージ情報送信手段が、操作手段に確認操作入力（ユーザがそのメッセージが妥当なものであることを確認したことを示す操作）がなされたときに、メッセージ情報を発信元に送信するように構成されていてもよい。

携帯端末装置は、携帯端末装置が存在する位置を示す位置情報を出力する位置情報出力手段（例えばＧＰＳ受受信部）と、撮影手段によって撮影された画像が入力されると、その画像の画像データを送信する画像データ送信手段と、画像データ送信手段が画像を送信するときに、位置情報出力手段が出力した位置情報に対応したメッセージを送信する位置メッセージ送信手段とを備えていてもよい。

本発明による別の態様の携帯端末装置は、複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段と、通信相手の携帯端末装置から受信した画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報をメッセージ情報記憶手段から選択するメッセージ情報選択手段と、メッセージ情報選択手段が選択したメッセージ情報を出力するメッセージ出力手段とを備えたことを特徴とする。

本発明による着信応答メッセージ送信方法は、利用者が着信に対して応答することが困難になる場所における特徴的な箇所の画像を、形状情報を含む画像として記憶するとともに、複数種類のメッセージ情報を形状情報に対応付けてあらかじめ記憶し、着信時に、携帯端末装置が有する撮像手段によって撮影を行い、撮影された画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報を選択し、選択したメッセージ情報を発信元に送信することを特徴とする。そのような着信応答メッセージ送信方法を、着信音の出力を禁止する状態（例えばマナーモード）に設定されているときに実行することが好ましい。

本発明によるサーバ装置は、複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段と、発信元から着信を受けた携帯端末装置が送信した画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報をメッセージ情報記憶手段から選択するメッセージ情報選択手段と、メッセージ情報選択手段が選択したメッセージ情報を発信元に送信するメッセージ情報送信手段とを備え、メッセージ情報記憶手段が、利用者が着信に対して応答することが困難になる場所における特徴的な箇所の画像を、形状情報を含む画像として記憶することを特徴とする。

本発明によれば、携帯端末装置のユーザが着信に応答できない状況において、簡便に、着信に応答できない旨、および応答できない状況を、発呼者に伝えることができる効果がある。また、画像入力によって携帯端末装置に対して動作指令を与えることができ、ユーザインタフェースを簡略化することができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、本発明を適用可能な携帯端末装置の一例である携帯電話機の外観を示す正面図（図１（Ａ））および背面図（図１（Ｂ））である。なお、ここでは、携帯端末装置として携帯電話機を例示するが、本発明は、撮像機能と無線通信による通話機能を備えているものであれば、携帯電話機に限らず、ＰＤＡその他の携帯端末に適用可能である。

図１には、上部筐体１００Ａと下部筐体１００Ｂとがヒンジ部１００Ｃを介して開閉可能に結合された折り畳み型の携帯電話機１００が示されている。また、図１（Ａ）に示すように、携帯電話機１００の上部筐体１００Ａの内面側には、２つのカメラ部からなり、三次元画像を撮像するためのステレオカメラ部１０２、通話時に通話相手の音声を出力する受話スピーカ１０７、および画像やテキストメッセージ等を表示する主表示部１１０が設けられている。下部筐体１００Ｂの内面側には、各種設定を行うときや記憶情報を主表示部１１０に表示させるときなどに用いられるスクロールキーや決定キーを含む決定ボタン部１０４Ａ、テンキーを含むテンキーボタン部１０４Ｂ、および通話時にユーザの音声を入力する送話マイクロフォン１０８が設けられている。ユーザが主表示部１１０を見ているときにユーザの顔を撮影可能な位置にステレオカメラ部１０２が設けられているので、携帯電話機１００は、テレビ電話機能を実現するアプリケーションを搭載したものであってもよい。

携帯電話機１００の下部筐体１００Ｂの側部には、携帯電話機１００が折り畳まれた状態でも操作可能な副操作部（サイドボタン部）１０５が設けられている。

図１（Ｂ）に示すように、上部筐体１００Ａの外面側には、アンテナ部１１６、二次元画像を撮像するためのカメラ部１０３、カメラ部１０３の使用の際に点灯するライト部１１５、画像や発呼元電話番号などの情報を表示する副表示部１１１、および着信時の着信メロディなどの楽音を出力するスピーカ１０９が設けられている。

なお、図１には、三次元画像を生成するためのステレオカメラ部１０２を有する携帯電話機１００が例示されているが、三次元画像を生成するための撮影手段は、本発明を適用するために必須のものではなく、本発明が適用される携帯端末装置は、何らかの撮像機能を有していればよい。また、２つのカメラ部１０２，１０３を有する携帯電話機１００が例示されているが、カメラ部が２つあることは必須のことではなく、本発明が適用される携帯端末装置には、少なくとも１つの撮像手段が設けられていればよい。さらに、図１には折り畳み型の携帯電話機が例示されているが、本発明は、折り畳み型に限らず、一体型の携帯電話機にも適用できる。また、ＧＰＳ（Global Positioning System ）受信部１１７は、下記の位置検出を行う実施の形態以外の実施の形態では、なくてもよい。また、カメラ部１０２，１０３は、カラー撮影が可能な撮像素子を有する。

図２は、携帯電話機１００の構成例を示すブロック図である。図２に示す構成では、音声信号およびデータ信号などに関する変復調や周波数変換処理等を行う無線部１０１がアンテナ部１１６を介して無線信号を受信するとともに、アンテナ部１１６を介して無線信号を送信する。なお、無線信号は、アンテナ部１１６を介して、基地局（図示せず）との間で送受信される。また、携帯電話機１００には、ＧＰＳ衛星から電波を受信して、携帯電話機１００の存在位置（例えば、緯度および経度）を算出するＧＰＳ受信部１１７が設けられている。

制御部１１４は、例えば、記憶部１１３に記憶されているプログラムに従って動作するＣＰＵ（Central Processing Unit ）およびＤＳＰ（Digital Signal Processor）等で実現される。制御部１１４は、ＧＰＳ受信部１１７から、携帯電話機１００の存在位置を示す位置情報を入力する。また、制御部１１４は、ユーザが、決定ボタン部１０４Ａおよびテンキーボタン部１０４Ｂを含む主操作部１０４、または副操作部１０５に対して行った操作に応じて、ステレオカメラ部１０２またはカメラ部１０３を駆動し、ステレオカメラ部１０２またはカメラ部１０３が撮像して生成した画像を入力する。なお、制御部１１４は、カメラ部１０３を駆動するときに、ライト部（ストロボ）１１５を点灯させる。さらに、制御部１１４は、上部筐体１００Ａと下部筐体１００Ｂとが開放状態にあるのか折り畳まれた状態にあるのかを検出する開閉検出器（センサ）からの検出信号を入力する。

制御部１１４は、ユーザが主操作部１０４に対して行った入力操作や着信に応じて、入力操作に応じた情報や記憶部１１３に記憶されている情報を主表示部１１０に表示させる。また、ユーザが副操作部１０５に対して行った入力操作や着信に応じて、入力操作に応じた情報や記憶部１１３に記憶されている情報を副表示部１１１に表示させる。また、着信時や、主操作部１０４または副操作部１０５に対して楽音出力を生じさせるためのユーザの操作がなされたときには、あらかじめ記憶部１１３に記憶されている楽音データをスピーカ１０９に出力して、スピーカ１０９に楽音を出力させる。

送受話部１０６は、通話時における無線部１０１から出力された音声データ、または記憶部１１３に記憶されている音声データを、アナログ信号に変換して受話スピーカ１０７に主力する。受話スピーカ１０７は、送受話部１０６からの音声信号にもとづいて音声出力を行う。また、送受話部１０６は、送話マイクロフォン１０８に入力された音声信号をディジタル信号（音声データ）に変換して、無線部１０１または記憶部１１３に出力する。記憶部１１３は、入力された音声データを記憶する。

図３は制御部１１４が実現する機能例を示す機能ブロック図である。図３に示す例では、制御部１１４は、ユーザの発呼操作に応じて無線部１０１に発呼動作を行わせ、着呼があったことが無線部１０１から通知されると無線部１０１に応答信号を送信させる等の処理を含む発着呼制御１１４１を実行する。また、呼が確立したら無線部１０１で受信された音声データを送受話部１０６に出力させるとともに、送話マイクロフォン１０８から入力された音声信号にもとづく音声データを送受話部１０６から無線部１０１に出力させる通話制御１１４２を実行する。

さらに、制御部１１４は、無線部１０１で受信された電子メールを記憶部１１３に格納したり、主表示部１１０に電子メール作成用の画面を表示させたり、ユーザが入力して送信要求した電子メールを無線部１０１に送信させたりする電子メール制御１１４３を実行する。また、ユーザによる撮像操作に応じてステレオカメラ部１０２またはカメラ部１０３を駆動して撮像させ、撮像された画像の画像データを記憶部１１３に保存したり、主表示部１１０または副表示部１１１に表示させる撮像制御１１４４を実行する。なお、ステレオカメラ部１０２およびカメラ部１０３は、動画を撮影することもできる。

また、制御部１１４は、記憶部１１３に記憶されている画像データから所定の画像を認識する画像認識制御１１４５を実行する。また、記憶部１１３に記憶されているテキストデータに応じた音声信号を発生する音声合成制御１１４６を実行する。さらに、記憶部１１３に記憶されるユーザのスケジュール情報を生成したり更新したりするスケジュール管理１１４７を実行する。なお、図３に示された各機能は例示であって、制御部１１４は、さらに他の機能を実現するように構成可能である。また、図３に例示された各機能は、制御部１１４が、記憶部１１３に記憶されているアプリケーションプログラムに従って処理を行うことによって実現される。

図４は、記憶部１１３に記憶されるデータの一例を示す説明図である。記憶部１１３はフラッシュメモリ等で構成され、記憶部１１３には、制御部１１４が実行するプログラム１１３１の他に、ユーザが登録した相手先電話番号や相手先名などの情報を含む電話帳情報１１３２、受信された電子メールのデータと送信済みまたは未送信の電子メールのデータとを含む電子メール情報１１３３、過去の発信先電話番号や相手先名および過去の着信電話番号や相手先名等の情報を含む発着信履歴情報１１３４、携帯電話機１００の各種設定状況を示すパラメータ情報１１３５、楽音データ１１３６、画像データ１１３７、ユーザ入力による音声データまたはあらかじめメーカによって設定されている音声データ１１３８、ユーザ入力による文字メッセージデータまたはあらかじめメーカによって設定されている文字メッセージデータ１１３９、ならびにスケジュール情報１１４０が記憶される。なお、図４に示された各情報は例示であって、記憶部１１３は、さらに多くの情報を記憶することができる。また、記憶部１１３は、フラッシュメモリ等の内部メモリの他に、メモリカードなどの外部メモリを含んでいてもよい。

実施の形態１．
（マナーモードが設定され、かつ、着信応答の設定がなされている場合に、ユーザのジェスチャまたはポーズに応じたメッセージを発呼端末に送信する形態）
次に、本発明の第１の実施の形態を説明する。図５は、モデル画像とメッセージとの関係の一例を示す説明図である。モデル画像とメッセージとは、対応付けられて記憶部１１３に記憶されている。モデル画像とは、あらかじめ決められているジェスチャまたはポーズを伴う顔画像であって、あらかじめ記憶部１１３に設定されている画像である。モデル画像とメッセージとは、例えば、携帯電話機メーカによる製造時に記憶部１１３に設定される。その場合には、携帯電話機メーカは、モデル画像として、ＣＧ（Computer Graphics）等によって作成した任意の顔画像を記憶部１１３に設定する。なお、その場合には、モデル画像の顔画像は、携帯電話機のユーザの顔画像とは異なる。

モデル画像は、携帯電話機の販売時に、販売店において記憶部１１３に設定されてもよい。その場合には、販売店員等が、ディジタルスチルカメラ等で購入者のジェスチャまたはポーズを伴う顔画像を撮像し、撮像した顔画像を、所定のインタフェースを用いて、携帯電話機の記憶部１１３に転送する。また、モデル画像は、ユーザが携帯電話機を購入した後に、ユーザ自身によって記憶部１１３に設定可能であるようにしてもよい。その場合には、携帯電話機には、モデル画像入力用のアプリケーションプログラムが組み込まれる。アプリケーションプログラムに従って処理を行う携帯電話機の制御部１１４は、ユーザの主操作部１０４への操作に応じて、主表示部１１０に、どのようなジェスチャまたはポーズで撮影を行えばよいのかを示す指示を表示し、指示に応じてユーザが撮像した画像を、メッセージに対応させて記憶部１１３に記憶させる。

なお、図５には、１本の指を唇に当てるポーズを伴う顔画像に対して、電話に出られない状況にある旨を示すメッセージが対応し、２本の指を立てた手を顔の横に当てるポーズを伴う顔画像に対して、後で電話を掛け直す旨を示すメッセージが対応し、１本の指を横向きにしたポーズを伴う顔画像に対して、電車に乗車中である旨を示すメッセージが対応しているが、それらのモデル画像、メッセージ、およびモデル画像とメッセージとの対応関係は一例である。他のジェスチャまたはポーズを伴うモデル画像、他のメッセージ、および他の対応関係を用いたり、追加したりしてよい。なお、記憶部１１３には、モデル画像とメッセージとが対応していることを示す情報も記憶されている。以下、その情報を、画像変換テーブルという。また、モデル画像に対応付けられるメッセージは、例えば、記憶部１１３に、文字メッセージデータ１１３９として記憶されている。

次に、図６を参照して動作について説明する。図６は、携帯電話機の第１の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。携帯電話機１００において、制御部１１４は、無線部１０１から着信があったことが通知されると（ステップＳ１０１）、携帯電話機１００がマナーモードに設定されているか否か確認する（ステップＳ１０２）。ユーザは、例えば、会議に入るときや電車に乗る前に、定められている操作方法に従って主操作部１０４に対してマナーモードに設定するための操作を行う。そして、制御部１１４は、ユーザの操作に応じて、記憶部１１３におけるパラメータ情報１１３５にマナーモードである旨の設定を行う。

マナーモードに設定されている場合には、制御部１１４は、着信応答の設定がなされているか否か確認する（ステップＳ１０３）。ユーザは、例えば、着信に対して応答できない状況に入ることが予想される場合に、定められている操作方法に従って主操作部１０４に対して着信応答設定の操作を行う。そして、制御部１１４は、ユーザの操作に応じて、記憶部１１３におけるパラメータ情報１１３５に着信応答が設定されている旨の設定を行う。

なお、マナーモードに設定されていない場合、または着信応答に設定されていない場合には、通常の着信処理に移行する（ステップＳ１０５）。通常の着信処理では、制御部１１４は、ユーザによるオフフック操作がなされるまで、着信音を鳴動させる。そして、オフフック操作がなされると、制御部１１４は、通話制御を開始する。

この実施の形態では、ユーザが上部筐体１００Ａと下部筐体１００Ｂとが折り畳まれている状態から開かれた状態にし開閉検出器１１２が開状態を検出したとき、または、主操作部１０４もしくは副操作部１０５に対して、ユーザがあらかじめ決められている着信応答モードへの移行操作を行うと、以下に説明する着信応答モードに移行する（ステップＳ１０４）。着信応答モードへの移行操作は、例えば、主操作部１０４または副操作部１０５におけるあらかじめ決められているボタンの押下である。なお、着信中（オフフックするまで）には、制御部１１４は、着信信号に含まれている発信元電話番号とともに、着信中である旨を、主表示部１１０または副表示部１１１に表示させる。電話帳情報１１３２に、発信元電話番号に対応する相手先名などの情報が登録されている場合には、発信元電話番号に代えて相手先名などの情報を主表示部１１０または副表示部１１１に表示させる。なお、制御部１１４は、開閉検出器１１２が開状態を検出しているときには、それらの情報を主表示部１１０に表示させ、開閉検出器１１２が閉状態を検出しているときには、それらの情報を副表示部１１１に表示させる。

制御部１１４は、開閉検出器１１２が閉状態から開状態になったことを検出すると、または、開閉検出器１１２の検出状態がいずれであっても主操作部１０４もしくは副操作部１０５に対する操作がなされると、オフフック状態にするとともに着信を保留させる（ステップＳ１０６）。すなわち、制御部１１４は、無線部１０１に着信応答信号を送信させるとともに、記憶部１１３に記憶されている保留音データを無線部１０１に出力し、無線部１１４に保留音を送信させる。さらに、制御部１１４は、ステレオカメラ部１０１またはカメラ部１０３を起動して撮影可能状態にする（ステップＳ１０７）。なお、制御部１１４は、開閉検出器１１２が開状態を検出しているときには、ステレオカメラ部１０１を起動し、開閉検出器１１２が閉状態を検出しているときには、カメラ部１０３を起動する。また、制御部１１４は、開閉検出器１１２の検出状態に関わらず、常に、ステレオカメラ部１０１とカメラ部１０３とのうちで、あらかじめ決められているいずれか一方を起動するようにしてもよい。また、ステレオカメラ部１０１を起動する場合には、ステレオカメラ部１０１におけるいずれか一方のカメラを起動するようにしてもよい。

そして、制御部１１４は、あらかじめ決められている時間（例えば５秒）が経過すると、自動的に、ステレオカメラ部１０１またはカメラ部１０３に撮影を行わせる（ステップＳ１０８）。その間に、ユーザは、自身が置かれている状況に対応したポーズまたはジェスチャをとって、ステレオカメラ部１０１またはカメラ部１０３を自身に向ける。ステレオカメラ部１０１またはカメラ部１０３は、撮影した画像の画像データを記憶部１１３に格納する。制御部１１４は、記憶部１１３に格納された画像が、図５に例示されたモデル画像のいずれかに合致するか否か判定する画像認識処理を実行する（ステップＳ１０９）。

制御部１１４は、記憶部１１３に記憶されているプログラムのうちの画像認識プログラムに従って画像認識処理を行うのであるが、例えば、まず、肌色部分を認識することによって、顔の輪郭を認識する。次いで、肌色領域中の異色領域を認識して、目および口の位置を認識する。さらに、口の位置において、唇の色と異なる所定の面積以上の部分が存在する場合には、その画像が、図５の上段に示されたモデル画像と合致すると判定する。

また、顔の輪郭の外左側（画像面を眺めた場合に視認される左側）の近傍において、所定の面積以上の肌色部分が存在する場合には、その画像が、図５の中段に示されたモデル画像と合致すると判定する。また、顔の輪郭の外下側の近傍において、所定の面積以上の肌色部分が存在する場合には、その画像が、図５の下段に示されたモデル画像と合致すると判定する。なお、ここで用いている顔の認識方法の詳細は、例えば特開平７−３１１８３３号公報に記載されている。また、その公報に記載されている技術では、目および口の位置を基準にしているので、モデル画像における顔の面積とステレオカメラ部１０１またはカメラ部１０３が撮影した画像における顔の面積が異なる場合でも、合致しているか否か判定することができる。目および口の位置を基準にしているので、さらに、画像において顔が傾いている場合でも、顔の輪郭を抽出できる。

また、ここで説明した画像認識方法は一例であって、顔の輪郭または唇の位置およびそれを基準にした所定の面積以上の領域を検出できれば、認識方法として他の方法を用いることも可能である。さらに、ここでは、顔の輪郭に対する手指の位置を検出するようにしているが、より詳細に、指等によって形作られている形状をも検出するようにしてもよい。指等によって形作られている形状をも検出する場合には、モデル画像における所定の位置（顔等の位置を基準としてあらかじめ決められている位置）にある指等の形状と、ステレオカメラ部１０１またはカメラ部１０３が撮影した画像における所定の位置またはその近傍位置に存在する例えば肌色領域との間でパターンマッチングを行えばよい。

次いで、制御部１１４は、画像変換テーブルを参照して、撮影された画像に合致すると判定されたモデル画像に対応するメッセージを把握し（図５参照）、そのメッセージを記憶部１１３から抽出する（ステップＳ１１０）。そして、抽出したメッセージを、主表示部１１０または副表示部１１１に表示させる（ステップＳ１２１）。図５に示された例では、ユーザは、電車に乗っていて着信に応答できない場合には、図５の下段に示されているモデル画像に相当するポーズをとる。また、会議中で着信に応答できない場合には、図５の上段に示されているモデル画像に相当するポーズをとる。例えば、応答できない理由を相手に通知する必要がない場合には、図５の中段に示されているモデル画像に相当するポーズをとる。制御部１１４による画像認識処理において正しく画像認識が行われた場合には、主表示部１１０または副表示部１１１には、とったポーズに対応したメッセージが表示されるはずである。

ユーザは、とったポーズに対応したメッセージが主表示部１１０または副表示部１１１に表示されなかった場合には、主操作部１０４または副操作部１０５に、再撮影を行う旨の操作入力を行う。操作入力は、例えば、主操作部１０４または副操作部１０５におけるあらかじめ決められているボタンの押下である。制御部１１４は、その操作に応じて、ステップＳ１０８の処理を実行する状態に戻る（ステップＳ１２２）。そして、あらためて、ユーザがとったポーズの撮影が行われる。

ユーザは、とったポーズに対応したメッセージが主表示部１１０または副表示部１１１に表示されたことを確認した場合には、主操作部１０４または副操作部１０５に、そのメッセージが妥当であることを示す操作入力を行う。操作入力は、例えば、主操作部１０４または副操作部１０５におけるあらかじめ決められているボタンの押下である。制御部１１４は、その操作に応じて、メッセージを記憶部１１３から読み出し、メッセージの音声発音に応じた音声データを生成して無線部１０１に出力する。無線部１０１は、音声データに応じた音声信号を送信する（ステップＳ１２３）。なお、記憶部１１３に、あらかじめ、メッセージに対応した音声データが記憶され、制御部１１４は、その音声データを読み出すようにしてもよい。そのように構成されている場合には、音声データを生成する処理は不要になる。

そして、記憶部１１３におけるパラメータ情報１１３５に要件録音の設定（伝言設定）がなされている場合には（ステップＳ１２４）、制御部１１４は、無線部１０１が受信した相手からの音声データを記憶部１１３の要件録音用として確保されている領域に格納することによって、要件録音を行う（ステップＳ１２５）。その後、オンフック処理を行う（ステップＳ１２６）。例えば、切断要求信号を無線部１０１に送信させる。伝言設定がなされていない場合には、直ちに、オンフック処理を行う。なお、ステップＳ１２４，Ｓ１２５の処理はなくてもよい。

以上に説明したように、この実施の形態では、ユーザが、ポーズまたはジェスチャを画像として携帯電話機１００に入力することによって、ポーズまたはジェスチャに対応したメッセージを、発信元の端末に伝達することができる。図５に例示されているように、メッセージには、着信に応答できない理由も含まれているので、発信元のユーザは、携帯電話機１００のユーザが電話に出られない理由を認識することができ、相手の状況を確認できないというストレスから開放される。その結果、携帯電話機１００のユーザと発信元のユーザとの円滑なコミュニケーションを確保することができる。携帯電話機１００のユーザは、音声応答が困難な状況（例えば、会議中や電車の中）において着信があったときに、ポーズまたはジェスチャで状況を相手に伝えることができ、周囲にいる他人に迷惑をかけることはない。

さらに、ポーズまたはジェスチャを介して相手にメッセージを伝えることができることから、メッセージの選択が容易である。すなわち、ユーザが、直感的にメッセージを認識しやすいポーズまたはジェスチャをとればよいように、モデル画像を定義できる。図５に示された例では、手指を耳に当てるようなポーズが「後で掛け直す」旨のメッセージに対応しているので、ユーザは、「後で掛け直す」旨のメッセージを送信したいときに、容易に、手指を耳に当てるようなポーズを思い浮かべることができる。このように、この実施の形態では、着信応答メッセージを送信させる際のユーザインタフェースが改善されている。

なお、この実施の形態では、メッセージを音声として送信するようにしたが、テキスト情報として送信するようにしてもよい。例えば、記憶部１１３における電話帳情報１１３２に、発信元電話番号に対応する電子メールアドレスが登録されている場合に、制御部１１４は、その電子メールアドレスに対して、メッセージを電子メールとして送信してもよい。そして、電子メールに、ステップＳ１０８で撮影した画像の画像データを添付してもよい。画像データを添付するように構成されている場合には、発信元の端末のユーザは、携帯電話機１００のユーザが着信に応答できない状況にあることを、より容易に認識することができる。また、電子メールによって、ステップＳ１０８で撮影した画像の画像データのみを送信するようにしてもよい。その場合でも、発信元の端末のユーザは、携帯電話機１００のユーザが着信に応答できない状況にあることを容易に認識することができる。

また、この実施の形態では、マナーモードに設定されていることを条件として着信応答モードに移行するようにしたが（ステップＳ１０２参照）、マナーモードに設定されていなくても、着信応答に設定されていれば（ステップＳ１０３）、着信応答モードに移行するようにしてもよい。

また、この実施の形態では、記憶手段（この例では記憶部１１３）に形状情報を記憶する場合に、形状情報を含むモデル画像を記憶しておいて、撮影された画像から形状情報を認識する方法として、撮影された画像とモデル画像とを比較し、比較結果にもとづいて、撮影された画像に形状情報が含まれているか否か判定した。しかし、撮影された画像から形状情報を認識する方法は、そのような方法に限られない。例えば、形状情報として、形状の特徴を数値化したもの（例えば、所定のポーズを示す指の形の特徴点の相対座標値）を使用し、撮影された画像中に、形状の特徴を表す数値に合致する部分があるか否か、または、合致する程度が所定のしきい値を越えたか否かによって、撮影された画像中に形状情報が含まれるか否か判定することもできる。

そして、この実施の形態において、動作指示情報（例えばいずれのメッセージを選択するのかを示す情報）を形状情報（例えばポーズやジェスチャ）に対応付けて記憶する動作指示情報記憶手段は、モデル画像、メッセージおよび画像変換テーブルを記憶する記憶部１１３で実現され、撮影手段によって撮影された画像から形状情報を認識し、認識した形状情報に対応する動作指示情報を動作指示情報記憶手段から選択する動作指示情報選択手段と、動作指示情報選択手段が選択した動作指示情報に従って携帯端末装置を制御する制御手段とは、プログラムに従って制御を実行する制御部１１４で実現されている。また、送信指示情報（例えばいずれのメッセージを送信するのかを示す情報）を形状情報（例えばポーズやジェスチャ）に対応付けて記憶する送信指示情報記憶手段は、モデル画像、メッセージおよび画像変換テーブルを記憶する記憶部１１３で実現され、着信時に撮影手段によって撮影された画像から形状情報を認識し、認識した形状情報に対応する送信指示情報を送信指示情報記憶手段から選択する送信指示情報選択手段は、プログラムに従って制御を実行する制御部１１４で実現され、送信指示情報選択手段が選択した送信指示情報に従って、所定の情報を発信元に対して送信する制御手段は、制御部１１４および無線部１０１で実現されている。さらに、複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段は、モデル画像、メッセージおよび画像変換テーブルを記憶する記憶部１１３で実現され、着信時に撮影手段によって撮影された画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報をメッセージ情報記憶手段から選択するメッセージ情報選択手段は、プログラムに従って制御を実行する制御部１１４で実現され、メッセージ情報選択手段が選択したメッセージ情報を発信元に送信するメッセージ情報送信手段は、制御部１１４および無線部１０１で実現されている。

実施の形態２．
（マナーモードが設定されていれば、ユーザのジェスチャまたはポーズに応じたメッセージを発呼端末に送信する形態）
次に、本発明の第２の実施の形態の動作を図７を参照して説明する。図７は、携帯電話機の第２の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第２の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

この実施の形態では、制御部１１４は、無線部１０１から着信があったことが通知されると（ステップＳ１０１）、携帯電話機１００がマナーモードに設定されていることを確認したら（ステップＳ１０２）、直ちにステップＳ１０４の処理に移行する。すなわち、マナーモードに設定されていれば、着信応答設定がなされていなくても、開閉検出器１１２が開状態を検出したとき、または、主操作部１０４もしくは副操作部１０５に対して着信応答モードへの移行操作が行われると、ステップＳ１０５以降の着信応答モードに移行する。その他の制御は、第１の実施の形態の場合と同じである。

従って、この実施の形態では、ユーザは、携帯電話機１００をあらかじめ着信応答設定にしておかなくても着信応答モードに移行させることができる。従って、着信応答設定にしておくとを忘れがちなユーザにとって便利になる。

実施の形態３．
（第１の実施の形態においてメッセージが適切でない場合に自動的に次候補を表示する形態）
次に、本発明の第３の実施の形態の動作を図８を参照して説明する。図８は、携帯電話機の第３の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第３の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

ステップＳ１０１〜Ｓ１２１までの処理は、図６に示された第１の実施の形態の場合の処理と同じである。この実施の形態では、ステップＳ１２２において、とったポーズに対応したメッセージが主表示部１１０または副表示部１１１に表示されなかった場合には、ユーザは、主操作部１０４または副操作部１０５に、メッセージが適切でない旨の操作入力を行う。制御部１１４は、その操作に応じて、メッセージの次候補を主表示部１１０または副表示部１１１に表示させる。

この実施の形態では、制御部１１４は、ステップＳ１０９の画像認識処理において、ステレオカメラ部１０１またはカメラ部１０３によって撮影された画像の画像データに対して、各モデル画像との類似度をスコアとして算出する。図５に例示されたモデル画像を参照すると、撮影された画像の画像データにおいて、顔の輪郭の外左側の近傍において、肌色部分が存在するがその領域のサイズ（面積）がモデル画像におけるサイズと異なる場合に、サイズの一致の程度を類似度を示すスコアとする。同様に、口の位置において唇の色と異なる色部分が存在するがモデル画像におけるサイズと異なる場合に、サイズの一致の程度をスコアとする。なお、モデル画像における顔の大きさとステレオカメラ部１０１またはカメラ部１０３によって撮影された画像における顔の大きさとが異なる場合には、制御部１１４は、まず、ステレオカメラ部１０１またはカメラ部１０３によって撮影された画像における顔の大きさを、モデル画像における顔の大きさに合わせる正規化処理を行う。そして、その後に、モデル画像とステレオカメラ部１０１またはカメラ部１０３によって撮影された画像との間で、上記の肌色部分や唇の色と異なる色部分の面積比較を行う。

また、正規化処理後の比較において、顔の輪郭の外下側の近傍において肌色部分が存在するがモデル画像におけるサイズと異なる場合に、サイズの一致の程度をスコアとする。なお、このような類似度およびスコアの算出方法は一例であって、顔の輪郭または唇の位置およびそれを基準にした所定の領域を検出できれば、他の方法を用いてもよい。

例えば、図５の上段に示されたモデル画像をモデル画像Ａ、図５の中段に示されたモデル画像をモデル画像Ｂ、図５の下段に示されたモデル画像をモデル画像Ｃとする。そして、撮影された画像のモデル画像Ａに対する類似度をスコアＡ、撮影された画像のモデル画像Ｂに対する類似度をスコアＢ、撮影された画像のモデル画像Ｃに対する類似度をスコアＣとする。

ステップＳ１２１において、制御部１１４は、最も高いスコアに応じたモデル画像に対応するメッセージを主表示部１１０または副表示部１１１に表示させる。そして、ステップＳ１２２において、メッセージが適切でない旨の操作入力がなされた場合には、０（全く合致しないことを示す）でないスコアに応じたモデル画像に対応する未表示のメッセージがあるときには（ステップＳ１３１）、次に高いスコアに応じたモデル画像に対応するメッセージを、主表示部１１０または副表示部１１１に表示させる（ステップＳ１３２）。ステップＳ１２２，Ｓ１３１，Ｓ１３２の処理を、ステップＳ１２２においてユーザがメッセージが適切である旨の操作入力を行うまで、または、０（全く合致しないことを示す）でないスコアに応じたモデル画像に対応する未表示のメッセージがなくなる（ステップＳ１３１）まで繰り返す。

メッセージが適切である旨の操作入力がなされた場合には、第１の実施の形態の場合と同様に、制御部１１４は無線部１０１にメッセージを送信させ（ステップＳ１２３）、その後、ステップＳ１２４〜Ｓ１２６の処理を実行する。また、ステップＳ１３１において、未表示のメッセージがなくなったことを確認した場合には、制御部１１４は、あらかじめ決められている固定メッセージを無線部１０１に送信させる。あらかじめ決められている固定メッセージは、例えば、図５の中段に示されているようなメッセージである。その後、ステップＳ１２４に移行する。

この実施の形態では、第１および第２の実施の形態とは異なり、ユーザは、主表示部１１０または副表示部１１１に表示されたメッセージが適切でない場合に再度撮影のための操作を行うことは求められない。従って、着信応答メッセージを送信する際にユーザの負担を軽くすることができる。

なお、この実施の形態では、第１の実施の形態に対してステップＳ１３１〜Ｓ１３２の処理を追加するようにしたが、第２の実施の形態に対してステップＳ１３１〜Ｓ１３２の処理を追加するようにしてもよい。
実施の形態４．
（第１の実施の形態に対して、さらにスケジュール情報の利用を追加した形態）
図９は、第４の実施の形態を説明するための説明図である。図９に例示するようなスケジュール情報が記憶１１３に格納され、例えば１０時〜１２時までの間に携帯電話機１００に着信があった場合に、スケジュール情報に含まれる応答不能の理由（図９に示す例では会議および時間帯）を付加した着信応答メッセージが携帯電話機１００から発信元の端末に送信される。

次に、図１０のフローチャートを参照して動作について説明する。図１０は、携帯電話機の第４の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第４の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

図１０に示すステップＳ１０１〜Ｓ１１０の処理は、第１の実施の形態における処理と同じである。この実施の形態では、ステップＳ１１０においてメッセージを抽出した後、制御部１１４は、スケジュール設定があるか否か、すなわち記憶１１３にスケジュール情報が格納されているか否か確認する（ステップＳ１４１）。また、スケジュール設定がある場合には、スケジュール情報において、そのときの時刻を含む情報が存在するか否か確認する。スケジュール設定がない場合、およびスケジュール設定があってもそのときの時刻を含む情報が存在しない場合には、制御部１１４は、第１の実施の形態の場合と同様の処理を行う。すなわちステップＳ１１０で抽出したメッセージを主表示部１１０または副表示部１１１に表示させ（ステップＳ１２１）、その後、第１の実施の形態の場合と同様に、ステップＳ１２２〜Ｓ１２６の処理を行う。

スケジュール情報において、そのときの時刻を含む情報が存在していた場合には、制御部１１４は、その情報（スケジュール）をスケジュール情報から抽出し（ステップＳ１４２）、抽出した情報を含むメッセージを作成する。このメッセージをスケジュール付きメッセージと呼ぶ。そして、スケジュール付きメッセージを主表示部１１０または副表示部１１１に表示させる（ステップＳ１４３）。その後、ステップＳ１２２に移行する。

着信があった時刻が１０時〜１２時の間であるとする。また、ステップＳ１０９において、図５の上段に示されたモデル画像が、撮影された画像に合致するものとして判定されたとする。図９には、スケジュール情報において、１０時〜１２時の間に会議という情報が設定されている例が示されている。そこで、制御部１１４は、その情報にもとづいて、例えば「１０時から１２時まで会議のため、電話に出られません。」というメッセージを生成する。なお、「のため、電話に出られません。」の部分は、固定部であり、あらかじめ記憶部１１３に、図５の上段に示されたモデル画像に対応する固定メッセージとして格納されている。制御部１１４は、そのような固定メッセージに対してスケジュール情報から抽出した情報を付加して、スケジュール付きメッセージを作成する。

この実施の形態では、音声応答が困難な状況において、その理由（例えば、会議中や電車の中）をスケジュール情報から抽出してメッセージに付加することができる。さらに、スケジュール情報から抽出した時間帯、すなわち音声応答が困難な状況にある時間帯を、メッセージに付加することができる。従って、発信元のユーザは、携帯電話機１００のユーザがいつまで応答できないかということまで認識することができる。すなわち、スケジュール情報を利用して、音声応答が困難な状況をより詳しく発信元のユーザに伝えることができる。従って、発信元のユーザが携帯電話機１００に対して再三電話かけたりする必要がなくなるという効果が得られるとともに、携帯電話機１００のユーザからの連絡待ちのストレスから開放されるという効果が得られる。

なお、ここで説明した例では、図５の上段に示されたモデル画像に対応するメッセージには、既に「会議」という情報が含まれているので、モデル画像に対応するメッセージとスケジュール情報とにおいて、「会議」という情報は重複している。しかし、「時間帯」に関する情報は、スケジュール情報からしか抽出できない。従って、スケジュール情報を利用することによって、より詳細な情報を発信元の端末に伝達できるようになる。また、例えば、図５の上段に示されたモデル画像に対応するメッセージ中に「会議」という情報が含まれていない場合（例えば、そのメッセージが「ただいま、電話に出られません。」のみである場合）には、スケジュール情報を利用することによって初めて、携帯電話機１００のユーザが音声応答が困難な状況にあることの理由を抽出できることになる。

また、ここでは、第１の実施の形態に対して、スケジュール情報の利用を追加した場合について説明したが、第２の実施の形態に対して、ステップＳ１４１〜Ｓ１４３のスケジュール情報の利用形態を追加するようにしてもよい。

実施の形態５．
（第３の実施の形態に対して、さらにスケジュール情報の利用を追加した形態）
次に、本発明の第５の実施の形態の動作を図１１を参照して説明する。図１１は、携帯電話機の第５の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第５の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

図８に示された第３の実施の形態の動作と比較すると、図１１に示す第５の実施の形態の動作では、ステップＳ１４１〜Ｓ１４３の処理が追加されている。ステップＳ１４１〜Ｓ１４３の処理は、図１０に示された第４の実施の形態における処理と同じである。

従って、この実施の形態では、ユーザは、主表示部１１０または副表示部１１１に表示されたメッセージが適切でない場合に再度撮影のための操作を行うことは求められないので、着信応答メッセージを送信する際にユーザの負担を軽くすることができ、さらに、スケジュール情報を利用して、音声応答が困難な状況をより詳しく発信元のユーザに伝えることができるという効果が得られる。

実施の形態６．
（動くポーズまたはジェスチャに対応したメッセージを送信する形態）
第１〜第５の実施の形態では、モデル画像は静止画像であったが、動画像をモデル画像とすることもできる。その場合には、ユーザは、ポーズまたはジェスチャを画像として携帯電話機１００に入力する際に、ステレオカメラ部１０１またはカメラ部１０３によって、動きのあるポーズまたはジェスチャを撮影する。例えば、図１２（Ａ）に示すように、１本の指を左から右に動かす状態をステレオカメラ部１０１またはカメラ部１０３で撮影する。

この実施の形態では、記憶部１１３には、例えば図５に示されたモデル画像とともに、動画像によるモデル画像として複数フレームの画像が格納されている。図１２（Ａ）に示す例では３フレーム分の画像が格納される。また、動画像によるモデル画像に対応したメッセージが記憶部１１３に格納され、画像変換テーブルには、そのメッセージと動画像によるモデル画像とが対応していることを示す情報も設定されている。制御部１１４は、画像認識を行う際に（ステップＳ１０９）、ステレオカメラ部１０１またはカメラ部１０３が撮影した複数フレームのそれぞれについて、モデル画像の複数フレームのそれぞれと比較する。そして、顔の輪郭の左下に肌色部分がある画像（Ａ画像とする。図１２（Ａ）における左側の画像に対応。）、顔の輪郭の中央下部に肌色部分がある画像（Ｂ画像とする。図１２（Ａ）における中央の画像に対応。）、および顔の輪郭の右下に肌色部分がある画像（Ｃ画像とする。図１２（Ａ）における右側の画像に対応。）が、ステレオカメラ部１０１またはカメラ部１０３が撮影した複数フレーム中に存在し、かつ、Ａ〜Ｃ画像が複数フレーム中で、Ａ画像が最旧フレームにおける画像であってＣ画像が最新フレームにおける画像であるように時系列的に存在していた場合に、動画像によるモデル画像に合致する画像入力が行われたと認識する。

なお、このような認識方法は一例であって、あらかじめ決められている形状のものの移動を検出できるのであれば、他の認識方法によって、動くポーズまたはジェスチャを認識するようにしてもよい。例えば、モデル画像として、図１２に示されたＡ画像のみを記憶部１１３に格納しておいて、制御部１１４は、ステレオカメラ部１０１またはカメラ部１０３が撮影した複数フレーム中に、Ａ画像すなわち顔の輪郭の左下に肌色部分がある画像があるか否か判定する。そのような肌色部分がある場合には、その画像において、肌色部分の重心の位置を算出する。また、Ａ画像が現れたフレームよりも新しい各フレームにおいて、顔の輪郭の下方に肌色領域があるか否か判定し、あれば肌色領域の重心の位置を算出する。そして、複数フレームに渡って重心が一方向に移動していることを確認したら、動画像によるモデル画像に合致する画像入力が行われたと認識する。あるいは、記憶部１１３に、顔画像を除く所定物の形状のみ（図１２に示す例では指を立てているような手の形状）を格納しておいて、制御部１１４は、ステレオカメラ部１０１またはカメラ部１０３が撮影した複数フレーム中に、その形状に合致する部分があるか否か判定する。合致する部分がある場合には、その画像において、形状の重心の位置を算出する。また、Ａ画像が現れたフレームよりも新しい各フレームにおいて、その形状があるか否か判定し、あれば形状の重心の位置を算出する。そして、複数フレームに渡って重心が一方向に移動していることを確認したら、動画像によるモデル画像（この例では、は指を立てているような手の形状の画像）に合致する画像入力が行われたと認識する。

また、制御部１１４は、ステップＳ１０９において、撮影された画像が図５に示されたモデル画像と合致するか否かの判定も行う。

動画像によるモデル画像に対応したメッセージが記憶部１１３に記憶され、かつ、動画像によるモデル画像に合致する画像入力が行われたと認識したときに、制御部１１４は、無線部１０１に動画像によるモデル画像に対応したメッセージを送信させる。

実施の形態７．
（動くポーズまたはジェスチャによって着信応答モードに移行させる形態）
次に、本発明の第７の実施の形態の動作を図１３を参照して説明する。図１３は、携帯電話機の第７の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第７の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

この実施の形態では、制御部１１４は、無線部１０１から着信があったことが通知されると（ステップＳ１０１）、ステレオカメラ部１０１またはカメラ部１０３を起動し、ユーザが所定時間（例えば５秒）内にあらかじめ決められているポーズまたはジェスチャをとったか否かを、ステレオカメラ部１０１またはカメラ部１０３が撮影した動画像にもとづいて判定する（ステップ１０２Ａ）。すなわち、所定時間が経過したら、ステレオカメラ部１０１またはカメラ部１０３に、所定の短い時間（例えば１秒）の動画を撮影させ、ステレオカメラ部１０１またはカメラ部１０３が撮影した数フレーム分の画像にもとづいて判定を行う。なお、ステレオカメラ部１０１またはカメラ部１０３による撮影は、１秒間に３〜５フレームのような擬似的な動画撮影でよい。また、あらかじめ決められているポーズまたはジェスチャは、一例として、図１２（Ａ）に示すような１本の指を左から右に動かすような動きである。また、第６の実施の形態では動画像をメッセージに対応するものとして利用し、この実施の形態では、動画像を着信応答モード起動用のものとして利用するという違いはあるが、ユーザが所定の動きのあるポーズまたはジェスチャをとったか否かの判定方法は、第６の実施の形態における判定方法と同じでよい。

制御部１１４は、所定時間内に、ユーザがあらかじめ決められているポーズまたはジェスチャをとったと判定した場合には、第１の実施の形態の場合と同様に、オフフック状態にするとともに着信を保留させ（ステップＳ１０６）、その後、ステップＳ１０７以降の処理を実行する。なお、ステレオカメラ部１０１またはカメラ部１０３は既に起動されているので、ステップＳ１０７の処理はなくてもよい。

この実施の形態では、ユーザが所定の動きをステレオカメラ部１０１またはカメラ部１０３で撮影するだけで、携帯電話機１００を着信応答モードに移行させることができる。従って、着信応答モードに移行させるためのユーザインタフェースをより簡略化することができる。なお、ここでは、第１の実施の形態に対して、動くポーズまたはジェスチャによって着信応答モードに移行させる処理を追加した例を示したが、図８に示された第３の実施の形態（表示されたメッセージが適切でない場合に自動的に次候補を表示する形態）や図１０に示された第４の実施の形態（スケジュール情報の利用を追加した形態）に対して動くポーズまたはジェスチャによって着信応答モードに移行させる処理を追加してもよい。

なお、図１３のフローチャートでは、着信があると、直ちにステップＳ１０２Ａの処理が開始されるようになっているが、実際には、あらかじめユーザが、携帯電話機１００に対して、ステップＳ１０２Ａの処理を実行させることを示す所定の設定（例えばマナーモードの設定）を行っていたときにステップＳ１０２Ａの処理を実行し、そのような設定がなされていない場合には、第１〜第６の実施の形態の場合と同様に動作することが好ましい。

実施の形態８．
（静止画としてのポーズまたはジェスチャによって着信応答モードに移行させる形態）
次に、本発明の第８の実施の形態の動作を図１４を参照して説明する。図１４は、携帯電話機の第８の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第８の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

第７の実施の形態では動きのあるポーズまたはジェスチャを着信応答モードに移行させるためのものとして利用したが、着信応答モードに移行させるためのものは動かないポーズまたはジェスチャであってもよい。例えば、図１２（Ｂ）に示すように、２本の指を立てようなポーズを着信応答モードに移行させるためのポーズまたはジェスチャとすることができる。なお、図１２（Ｂ）は、２本の指を立てようなポーズを有するモデル画像を示す説明図である。

この実施の形態では、制御部１１４は、無線部１０１から着信があったことが通知されると（ステップＳ１０１）、ステレオカメラ部１０１またはカメラ部１０３を起動し、ユーザが所定時間（例えば５秒）内にあらかじめ決められているポーズまたはジェスチャをとったか否かを、ステレオカメラ部１０１またはカメラ部１０３が撮影した画像にもとづいて判定する（ステップ１０２Ｂ）。すなわち、所定時間が経過すると、自動的に、ステレオカメラ部１０１またはカメラ部１０３に撮影を行わせ、ステレオカメラ部１０１またはカメラ部１０３が撮影した画像にもとづいて判定を行う。

図１２（Ｂ）に例示されたようなモデル画像を用いる場合には、制御部１１４は、例えば、顔の輪郭の右下部において、２つの突出部を有する肌色領域が存在するか否かによって、ステレオカメラ部１０１またはカメラ部１０３が撮影した画像がモデル画像に合致するか否か判定する。なお、このような判定方法は一例であって、他の判定方法を用いてもよい。

制御部１１４は、所定時間内に、ユーザがあらかじめ決められているポーズまたはジェスチャをとったと判定した場合には、第１の実施の形態の場合と同様に、オフフック状態にするとともに着信を保留させ（ステップＳ１０６）、その後、ステップＳ１０７以降の処理を実行する。なお、ステレオカメラ部１０１またはカメラ部１０３は既に起動されているので、ステップＳ１０７の処理はなくてもよい。

この実施の形態では、ユーザが所定のポーズまたはジェスチャをステレオカメラ部１０１またはカメラ部１０３で撮影するだけで、携帯電話機１００を着信応答モードに移行させることができる。従って、着信応答モードに移行させるためのユーザインタフェースをより簡略化することができる。なお、ここでは、第１の実施の形態に対して、所定のポーズまたはジェスチャによって着信応答モードに移行させる処理を追加した例を示したが、図８に示された第３の実施の形態（表示されたメッセージが適切でない場合に自動的に次候補を表示する形態）や図１０に示された第４の実施の形態（スケジュール情報の利用を追加した形態）に対して所定のポーズまたはジェスチャによって着信応答モードに移行させる処理を追加してもよい。

なた、ここでは、メッセージに対応したモデル画像（図５に例示されているモデル画像）とは異なるモデル画像を着信応答モードに移行させるものとして用いたが、メッセージに対応したモデル画像のいずれかを着信応答モードに移行させるものとして用いてもよい。さらに、図１４に示された処理において、ステップＳ１０７〜Ｓ１０９の処理をなくし、ステップＳ１０２Ｂの判定において用いられた画像にもとづいてメッセージを抽出するように構成してもよい。そのように構成されている場合には、ユーザは、着信があったときに、送信したいメッセージに応じたポーズまたはジェスチャをとって自身を撮影するだけで、携帯電話機１００を着信応答モードに移行させるとともに、着信応答メッセージを送信させることができる。

なお、図１４のフローチャートでは、着信があると、直ちにステップＳ１０２Ｂの処理が開始されるようになっているが、実際には、あらかじめユーザが、携帯電話機１００に対して、ステップＳ１０２Ｂの処理を実行させることを示す所定の設定（例えばマナーモードの設定）を行っていたときにステップＳ１０２Ｂの処理を実行し、そのような設定がなされていない場合には、第１〜第６の実施の形態の場合と同様に動作することが好ましい。

また、実施の形態７，８において、着信応答モードに移行させるためのポーズまたはジェスチャは、動作指示情報に対応する形状情報に相当する。そして、記憶部１１３には、着信応答動作モードに移行させるための特定のポーズやジェスチャによる形状情報と、着信応答動作モードとを対応付ける情報も記憶されている。

実施の形態９．
（スケジュール設定があることにもとづいて着信応答モードに移行させる形態）
次に、本発明の第９の実施の形態の動作を図１５を参照して説明する。図１５は、携帯電話機の第９の実施の形態における着信応答メッセージを送信する処理を示すフローチャートである。なお、携帯電話機の第９の実施の形態の構成は、図２に示された第１の実施の形態の構成と同じである。

この実施の形態では、制御部１１４は、無線部１０１から着信があったことが通知され（ステップＳ１０１）、マナーモードに設定されていることを確認すると（ステップＳ１０２）、スケジュール設定があるか否か確認する（ステップ１０３Ａ）。スケジュール設定がある場合には、第１の実施の形態の場合と同様に、開閉検出器１１２が開状態を検出したとき、または、主操作部１０４もしくは副操作部１０５に対して、ユーザがあらかじめ決められている着信応答モードへの移行操作を行うと、ステップＳ１０６以降の着信応答モードに移行する（ステップＳ１０４）。なお、スケジュール設定がある場合とは、記憶１１３にスケジュール情報が格納されているだけでなく、さらに、スケジュール情報において、そのときの時刻を含む情報が存在する場合である。

また、着信応答モードに移行させることを意味するマークや単語などのキーを定義し、着信時に、制御部１１４が、そのときの時刻がスケジュール情報中においてそのようなキーが付されている時間帯に入っていることを確認した場合に、着信応答モードに移行するようにしてもよい。その場合には、ユーザは、スケジュール情報を作成する際に、着信に応答できないと予想される時間帯にキーを付しておく。

この実施の形態では、マナーモードに設定されている場合に、携帯電話機１００が、自動的に、スケジュール設定にもとづいて着信応答モードに移行するので、着信応答モードに移行させるためのユーザインタフェースをより簡略化することができる。なお、ここでは、第１の実施の形態に対して、スケジュール設定にもとづいて着信応答モードに移行させる処理を追加した例を示したが、図８に示された第３の実施の形態（表示されたメッセージが適切でない場合に自動的に次候補を表示する形態）や図１０に示された第４の実施の形態（スケジュール情報の利用を追加した形態）に対してスケジュール設定にもとづいて着信応答モードに移行させる処理を追加してもよい。さらに、図１５に示された動作において、ステップＳ１０２の処理をなくして、スケジュール設定がある場合には、直ちにステップＳ１０４の処理を開始するようにしてもよい。また、ステップＳ１０４とステップＳ１０３Ａの処理順を逆にして、制御部１１４は、開閉検出器１１２が開状態を検出したら、スケジュール設定がなされているか否か確認し、スケジュール設定がなされていることを確認したら着信応答モードに移行するように構成されていてもよい。

実施の形態１０．
（モデル画像の変更）
上記の各実施の形態では、携帯電話機メーカによる製造時に記憶部１１３に設定されるなど、ユーザに販売されるときまでに、携帯電話機１００にモデル画像が設定されていることを想定したが、ユーザが、モデル画像を変更できるようにしてもよい。図１６は、ユーザがモデル画像を変更するための処理の一例を示すフローチャートである。

制御部１１４は、ユーザによる主操作部１０４へのモデル画像変更のための操作入力に応じて、メッセージの一覧を、主表示部１１０に表示させる（ステップＳ２０１）。そして、例えばステレオカメラ部１０２を起動する（ステップＳ２０２）。ユーザが、メッセージの一覧から１つのメッセージを選択し（ステップＳ２０３）、かつ、ステレオカメラ部１０２によって撮影を行うと、制御部１１４は、ステレオカメラ部１０２が撮影して出力した画像データを記憶部１１３に格納するとともに、主表示部１１０に表示させる。なお、ユーザは、撮影のときに、選択したメッセージに対応させたいポーズまたはジェスチャをしている。

そして、ユーザは、主表示部１１０に表示された画像が所望の画像（自身が望んでいるポーズまたはジェスチャが含まれている画像）であるならば、主操作部１０４に対して、その画像でよい旨の操作入力を行う。制御部１１４は、操作入力に応じて、ステップＳ２０４において撮影された画像の画像データで、ステップＳ２０３で選択されたメッセージに対応したモデル画像を更新する（ステップＳ２０５，Ｓ２０６）。ユーザが、画像は適切でない旨の操作入力を行った場合には、ステップＳ２０４に戻る。

このように、モデル画像を入れ替えるアプリケーションを携帯電話機１００に搭載すれば、携帯電話機１００のユーザに適合したモデル画像を設定することができる。その結果、制御部１１４による画像認識処理（ステップＳ１０９）の精度が向上する。

実施の形態１１．
（モデル画像に対応するメッセージの変更）
上記の各実施の形態では、モデル画像に対応するメッセージは、携帯電話機メーカによる製造時に記憶部１１３に設定されるなど、ユーザに販売されるときまでに、携帯電話機１００に設定されていることを想定したが、ユーザが、メッセージを変更できるようにしてもよい。図１７は、ユーザがメッセージを変更するための処理を示すフローチャートである。

制御部１１４は、ユーザによる主操作部１０４へのメッセージ変更のための操作入力に応じて、モデル画像の一覧を、主表示部１１０に表示させる（ステップＳ２１１）。そして、ユーザが、モデル画像の一覧から１つのモデル画像を選択し（ステップＳ２１２）、かつ、主操作部１０４のボタンを用いてメッセージを入力すると（ステップＳ２１３）、制御部１１４は、入力されたメッセージで、モデル画像に対応したメッセージを更新する（ステップＳ２１４）。

このように、メッセージを入れ替えるアプリケーションを携帯電話機１００に搭載すれば、携帯電話機１００のユーザが好むメッセージを設定することができる。

また、第１０の実施の形態と第１１の実施の形態との組み合わせによって、ユーザは、任意のモデル画像と任意のメッセージとを対応付けることもできる。例えば、ユーザが、着信に対して応答することが困難になる場所に入る場合に、その場所の特徴的な箇所を撮影しモデル画像として携帯電話機１００に登録するとともに、そのモデル画像に、例えば「電話に出られない」等の所定のメッセージを対応付ける。実際に着信があった場合には、ステップＳ１０８においてユーザは特徴的な箇所を撮影することによって、所定のメッセージを発信元の端末に送信させることができる。なお、着信に対して応答することが困難になる場所として、例えば、騒音のある場所（特定の遊技店など）がある。そして、特徴的な箇所として、例えば、遊技店に設置されているスロットマシンの正面がある。また、着信に対して応答することが困難になると想定される場所に関するいくつかのモデル画像を、携帯電話機メーカによる製造時に記憶部１１３に設定するようにしてもよい。

実施の形態１２．
上記の各実施の形態では、１つのモデル画像に１つのメッセージが対応付けられていたが（図５参照）、図１８（Ａ）に例示するように、１つのモデル画像に対して複数のメッセージを対応させて、複数のメッセージを使い分けるようにしてもよい。

例えば、図１８（Ｂ）に例示するように、電話帳情報においてグループ分けがなされている場合に、グループとメッセージとを対応付ける。図１８に示す例では、着信時に、グループＡに分類されている電話番号と同じ発信元電話番号が着信信号に含まれていた場合には、制御部１１４は、ステップＳ１１０において、図１８（Ａ）における「Ａ」として分類されているメッセージを記憶部１１３から抽出する。また、グループＢに分類されている電話番号と同じ発信元電話番号が着信信号に含まれていた場合には、制御部１１４は、ステップＳ１１０において、図１８（Ａ）における「Ｂ」として分類されているメッセージを記憶部１１３から抽出する。なお、図１８に示す例では、「Ａ」として分類されているメッセージは丁寧語によるメッセージであり、一般に、ユーザの上司や親類に対して送信されるものである。また、「Ｂ」として分類されているメッセージはくだけた表現によるメッセージであり、一般に、友人に対して送信されるものである。

しかし、図１８に示す例は一例であって、グループの分け方は任意であり、グループ数も任意である。また、１つのモデル画像に対して複数のメッセージが対応している場合に、電話帳情報のグループにもとづいて使い分けることも一例であって、他の使い分け方をしてもよい。例えば、着信があった時刻や季節によって使い分けるなど、任意の使い分け方をすることができる。

なお、上記の各実施の形態では、ステップＳ１０８で撮影を行う場合に、画像に写る顔の位置を設定するための操作は、ユーザの携帯電話機１００の位置設定操作ということになるが、制御部１１４は、図１９に示すように、ステップＳ１０８で撮影を行うときに、ステレオカメラ部１０１またはカメラ部１０３のファインダの役割を果たす主表示部１１０または副表示部１１１に、顔画像認識範囲に応じた枠３０１を表示させるようにしてもよい。なお、図１９には、主表示部１１０に枠３０１が表示される例が示されている。ユーザは枠内に顔が収まるように撮影することができる。すなわち、制御部１１４による顔画像認識範囲内に顔が収まるように撮影することができる。従って、制御部１１４は、顔の輪郭を抽出するための判定範囲を規定することができ、画像認識処理（ステップＳ１０９）の高速化と高精度化を図ることができる。

また、上記の各実施の形態において、制御部１１４が、ステップＳ１０８で撮影された画像がいずれのモデル画像とも合致しないと判定した場合に、ユーザにその旨を知らせるようにしてもよい。例えば、バイブレータを作動させて、ユーザにその旨を知らせたり、主表示部１１０または副表示部１１１にその旨を表示するようにしてもよい。

また、上記の実施の形態では、携帯電話機１００に搭載された画像認識機能を、着信応答メッセージの選択に利用したが、他の用途に利用してもよい。例えば、通信によって発信元の端末パラメータを遠隔制御できるのであれば、制御部１１４は、所定の画像が撮影されたことを確認したら、携帯電話機１００への発信を一時停止するように発信元の端末パラメータを制御するためのコマンドを無線部１０１に送信させるようにしてもよい。

また、発呼側の携帯電話機等の端末装置から着信を受けた携帯電話機１００が、ユーザによって入力された画像に応じた着信応答メッセージを送信するのではなく、電子メール等によって画像データをそのまま送信するようにしてもよい。その場合、発呼側の端末装置は、上述したようなモデル画像と応答メッセージとが記憶部に対応付けられて格納されているものとして構成される。さらに、発呼側の端末装置における制御部は、上述したような画像認識機能と、認識した画像にもとづいて応答メッセージを特定する機能とが実装される。そして、発呼側の端末装置における制御部は、携帯電話機１００から受信した画像データによる画像について画像認識を行うとともに、認識した画像に対応するメッセージを自端末装置における音声出力手段から出力する。そのように構成されている場合でも、発呼側のユーザは、携帯電話機１００ユーザが電話に出られない旨とその理由とを認識することができる。なお、認識した画像に対応するメッセージを音声出力手段から音声出力するのではなく自端末装置における表示手段に表示するようにしてもよいし、音声出力手段から音声出力するとともに表示手段に表示するようにしてもよい。

すなわち、携帯電話機を、複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段と、通信相手の携帯端末装置１００から受信した画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報をメッセージ情報記憶手段から選択するメッセージ情報選択手段と、メッセージ情報選択手段が選択したメッセージ情報を出力するメッセージ出力手段（この例では音声出力手段または表示手段）とを備えた構成にしてもよい。

また、図２に例示したように、携帯電話機１００はＧＰＳ受信部１１７を搭載し、位置検出機能を備えているので、認識画像に応じたメッセージ送信機能と位置検出機能とを組み合わせたアプリケーションを携帯電話機１００に搭載してもよい。例えば、ステレオカメラ部１０１またはカメラ部１０３によって風景画像を撮影し、撮影した画像の画像データを送信する場合に、制御部１１４は、ＧＰＳ受信部１１７から位置情報を入力し、例えば位置情報を表すメッセージに対して「に来てます。」といった固定メッセージを付加したメッセージを画像データとともに送信するようにしてもよい。さらに、携帯電話機１００が地図情報を内蔵している場合には、位置情報にもとづいて地名を地図情報から抽出し、地名（例えば、東京タワーとか皇居）を表すメッセージに対して「に来てます。」といった固定メッセージを付加したメッセージを画像データとともに送信するようにしてもよい。その際に、例えば、第７の実施の形態や第８の実施の形態で用いたような、特定のポーズやジェスチャを含む画像を撮影することによって、携帯電話機１００を、画像に位置情報を含むメッセージを付加する動作モードにするようにしてもよい。その場合には、記憶部１１３に、その動作モードに移行させるための特定のポーズやジェスチャによる形状情報と、その動作モードとを対応付ける情報も記憶されている。なお、制御部１１４は、ステレオカメラ部１０１またはカメラ部１０３によって撮影された画像に対して地名を表すメッセージを付加するのではなく、ステレオカメラ部１０１またはカメラ部１０３から画像データが入力されたときに、地名を表すメッセージのみを音声またはテキスト情報で送信するようにしてもよい。

また、上記の各実施の形態では、認識される形状情報を含む画像は、主として、顔画像の近傍における手指による特定のポーズまたはジェスチャを含む画像であったが、認識される形状情報を含む画像はそのような画像に限られない。例えば、第１１の実施の形態で例示したような着信に対して応答することが困難になる場所における形状情報としての特定箇所を含む画像でもよいし、それ以外の画像であってもよい。

実施の形態１３．
上記の各実施の形態では、携帯電話機１００が、画像の認識処理、認識した画像に対応するメッセージの選択処理、および選択したメッセージの送信処理の全てを実行したが、そのうちの一部の処理を、他の装置にさせるようにしてもよい。例えば、図２０のシステム構成図に示すように、携帯電話機１００が、基地局４００、ゲートウェイ４０２、およびインターネットなどの通信ネットワーク４００を介してサーバ５００をアクセス可能であって、サーバ５００に、モデル画像とメッセージとが対応付けられて格納されている場合には、携帯電話機１００が、ステップＳ１０８で撮影した画像の画像データを、発信元の端末装置を特定するための電話番号や電子メールアドレスなどの情報とともにサーバ５００に送信するようにしてもよい。そして、サーバ５００は、携帯電話機１００から受信した画像データに合致するモデル画像をデータベース５０１において検索し、合致するモデル画像に対応するメッセージを、発信元の端末に送信するようにしてもよい。

サーバ５００は、上記の各実施の形態におけるモデル画像とメッセージとを対応付けて記憶する記憶部１１３と同様の記憶手段を備え、プログラムに従って動作するサーバ５００の制御手段（ＣＰＵ）は、携帯電話機１００から受信した画像データによる画像について画像認識を行うとともに、認識した画像に対応するメッセージを、例えば電子メールで発信元の端末装置に対して送信する。すなわち、サーバ５００は、複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段を備え、制御手段は、発信元から着信を受けた携帯端末装置が送信した画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報をメッセージ情報記憶手段から選択し、選択したメッセージ情報を発信元に送信するプログラムに従って制御を行う。

そのように構成されている場合に、データベース５０１に各ユーザ別の領域を設け、ユーザが、あらかじめステレオカメラ部１０１またはカメラ部１０３によって撮影した画像の画像データをサーバ５００に送信し、データベース５０１における自身の領域にモデル画像として格納させるようにしてもよい。

本発明は、携帯電話機などの無線による通話機能を備え、かつ、撮像機能を備えた携帯端末装置に適用することができる。

携帯電話機の外観を示す正面図および背面図である。 携帯電話機の構成例を示すブロック図である。 制御部が実現する機能例を示す機能ブロック図である。 記憶部に記憶されるデータの一例を示す説明図である。 モデル画像とメッセージとの関係の一例を示す説明図である。 第１の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 第２の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 第３の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 スケジュール情報とそれに対応するメッセージとの一例を示す説明図である。 第４の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 第５の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 動画像および着信応答モード起動用画像の一例を示す説明図である。 第７の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 第８の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 第９の実施の形態の着信応答メッセージを送信する処理を示すフローチャートである。 第１０の実施の形態の動作を示すフローチャートである。 第１１の実施の形態の動作を示すフローチャートである。 モデル画像に対応する複数のメッセージの使い分け方を説明するための説明図である。 ファインダに表示される枠の一例を示す説明図である。 サーバを含むシステムの構成例を示すシステム構成図である。

符号の説明

１００ 携帯電話機
１００Ａ 上部筐体
１００Ｂ 下部筐体
１００Ｃ ヒンジ部
１０１ 無線部
１０２ ステレオカメラ部
１０３ カメラ部
１０４ 主操作部
１０４Ａ 決定ボタン部
１０４Ｂ テンキーボタン部
１０５ 副操作部
１０６ 送受話部
１０７ 受話スピーカ
１０８ 送話マイクロフォン
１０９ スピーカ
１１０ 主表示部
１１１ 副表示部
１１２ 開閉検出器
１１３ 記憶部
１１４ 制御部
１１５ ライト部
１１６ アンテナ部
４００ 通信ネットワーク
５００ サーバ

Claims (14)

1. 撮影手段と無線通信手段とを備えた携帯端末装置において、
   複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段と、
   着信時に、前記撮影手段によって撮影された画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報を前記メッセージ情報記憶手段から選択するメッセージ情報選択手段と、
   前記メッセージ情報選択手段が選択したメッセージ情報を発信元に送信するメッセージ情報送信手段とを備え、
   前記メッセージ情報記憶手段は、利用者が着信に対して応答することが困難になる場所における特徴的な箇所の画像を、形状情報を含む画像として記憶する
   ことを特徴とする携帯端末装置。
2. メッセージ情報記憶手段は、形状情報を含む画像として静止画像を記憶する
   請求項１記載の携帯端末装置。
3. メッセージ情報記憶手段は、形状情報を含む画像として動画像を記憶する
   請求項１携帯端末装置。
4. 文字列情報を時間情報に対応付けて記憶する文字列情報記憶手段と、
   前記文字列情報記憶手段に記憶されている文字列情報から、場所または状況を表す情報を抽出する情報抽出手段とを備え、
   メッセージ情報送信手段は、前記情報抽出手段が抽出した情報を、メッセージ情報選択手段が選択したメッセージに付加して送信する
   請求項１から請求項３のうちのいずれか１項に記載の携帯端末装置。
5. 情報抽出手段は、文字列情報記憶手段に記憶されている文字列情報から、着信時の時刻に対応する情報を抽出する
   請求項４項記載の携帯端末装置。
6. メッセージ情報送信手段は、メッセージ情報をテキスト情報として送信する
   請求項１から請求項５のうちのいずれか１項に記載の携帯端末装置。
7. メッセージ情報送信手段は、メッセージに応じた音声を生成する音声生成手段を含み、メッセージを音声信号として送信する
   請求項１から請求項５のうちのいずれか１項に記載の携帯端末装置。
8. メッセージ情報送信手段は、撮影手段によって撮影された画像をメッセージに付加して送信する
   請求項１から請求項６のうちのいずれか１項に記載の携帯端末装置。
9. 表示手段と、
   利用者が入力操作を行うための操作手段と、
   発信元に送信されるメッセージ情報を、前記メッセージ情報送信手段が送信する前に前記表示手段に表示させる表示制御手段とを備え、
   前記メッセージ情報送信手段は、前記操作手段に確認操作入力がなされたときに、前記メッセージ情報を前記発信元に送信する
   請求項１から請求項８のうちのいずれか１項に記載の携帯端末装置。
10. 携帯端末装置が存在する位置を示す位置情報を出力する位置情報出力手段と、
    撮影手段によって撮影された画像が入力されると、その画像の画像データを送信する画像データ送信手段と、
    前記画像データ送信手段が画像を送信するときに、前記位置情報出力手段が出力した位置情報に対応したメッセージを送信する位置メッセージ送信手段とを備えた
    請求項１から請求項９のうちのいずれか１項に記載の携帯端末装置。
11. 無線通信手段を備えた携帯端末装置において、
    複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段と、
    通信相手の携帯端末装置から受信した画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報を前記メッセージ情報記憶手段から選択するメッセージ情報選択手段と、
    前記メッセージ情報選択手段が選択したメッセージ情報を出力するメッセージ出力手段とを備えた
    ことを特徴とする携帯端末装置。
12. 撮影手段と無線通信手段とを備えた携帯端末装置における着信応答メッセージ送信方法であって、
    利用者が着信に対して応答することが困難になる場所における特徴的な箇所の画像を、形状情報を含む画像として記憶するとともに、複数種類のメッセージ情報を前記形状情報に対応付けてあらかじめ記憶し、
    着信時に、携帯端末装置が有する撮像手段によって撮影を行い、
    撮影された画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報を選択し、
    選択したメッセージ情報を発信元に送信する
    ことを特徴とする着信応答メッセージ送信方法。
13. 着信音の出力を禁止する状態に設定されている場合に、請求項１２に記載された方法を実行する着信応答メッセージ送信方法。
14. 携帯端末装置と通信ネットワークを介して通信可能なサーバ装置であって、
    複数種類のメッセージ情報を形状情報に対応付けて記憶するメッセージ情報記憶手段と、
    発信元から着信を受けた携帯端末装置が送信した画像から形状情報を認識し、認識した形状情報に対応するメッセージ情報を前記メッセージ情報記憶手段から選択するメッセージ情報選択手段と、
    前記メッセージ情報選択手段が選択したメッセージ情報を前記発信元に送信するメッセージ情報送信手段とを備え、
    前記メッセージ情報記憶手段は、利用者が着信に対して応答することが困難になる場所における特徴的な箇所の画像を、形状情報を含む画像として記憶する
    ことを特徴とするサーバ装置。

Images