JP5011497B2 - 入力処理装置、入力処理方法、入力処理プログラム、及び携帯端末装置 - Google Patents

Description

本発明は、例えば携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、或いはノート型やデスクトップ型のパーソナルコンピュータ装置等の文字情報と画像情報を取り扱う機器に適用して好適な表示制御装置、表示制御方法、表示制御プログラム、及び携帯端末装置に関し、特に、電子メールの作成時やスケジュール帳或いはメモ帳等に対する文字入力時に、入力された文字に応じて表示される各変換候補に関連する画像情報を自動的に検索して表示するようにした入力処理装置、入力処理方法、入力処理プログラム、及び携帯端末装置に関する。

特開２００４−３２５９３７号の公開特許公報（特許文献１）に、複数の静止画像を１枚ずつ表示する順次表示中に、該静止画像の表示時間を変更可能とした画像表示制御装置が開示されている。

この画像表示制御装置の場合、静止画像の順次表示中にリモートコントローラの第１のボタンを押圧操作すると、順次表示する静止画像の表示切替の間隔を短くして、該静止画像の高速表示切り替えを行う。また、静止画像の順次表示中にリモートコントローラの第２のボタンを押圧操作すると、順次表示する静止画像の表示切替の間隔を長くして、該静止画像の低速表示切り替えを行う。これにより、順次表示中であっても、各静止画像の表示時間をユーザが任意に変更可能となっている。

ここで、機器内に記憶されている情報は、例えば電子メールの情報は電子メールの情報として、また、画像情報は画像情報として管理される等のように、各情報の種類毎に別々に管理されるようになっている。このため、メモリに記憶されている多数の画像情報の中から所望の画像情報を検索する場合、ユーザが頭で記憶している撮像日時を頼りに該所望の画像情報を検索するか、各画像情報のサムネイル画像を一覧表示し、このサムネイル画像の一覧を見ながら所望の画像を検索するか、或いは上述の特許文献１の画像表示制御装置のように、多数の画像情報を１枚ずつ表示しながら検索していた。

特開２００４−３２５９３７号公報（第５頁〜第６頁：図４）

しかし、検索できなかった画像情報や、撮像したことが忘れられた画像情報は、表示等の活用の機会が失われることとなるため、せっかく撮像したにもかかわらず、有効に活用されない問題があった。

本発明は上述の課題に鑑みてなされたものであり、文字情報と画像情報を関連づけて取り扱い、文字情報の入力時に、当該入力する文字情報に関連する画像情報のサムネイル画像を自動的に表示することで、メモリに記憶されている画像情報を有効に活用することができるような入力処理装置、入力処理方法、入力処理プログラム、及び携帯端末装置の提供を目的とする。

本発明に係る入力処理装置は、上述の課題を解決するための手段として、
入力された文字に対応する変換候補の表示が指定された際に、複数の変換候補となる文字が登録されている変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示部と、
所定の付加情報が付加されて記憶部に記憶されている画像情報の中から、上記変換候補表示部により表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示部と、
いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示部と、
上記サムネイル画像表示部で表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示部と
を有する。

本発明に係る入力処理方法は、上述の課題を解決するための手段として、
変換候補表示部が、入力された文字に対応する変換候補の表示が指定された際に、複数の変換候補となる文字が登録されている変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示ステップと、
画像存在情報表示部が、所定の付加情報が付加されて記憶部に記憶されている画像情報の中から、上記変換候補表示ステップで表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示ステップと、
上記画像存在情報表示ステップで表示された画像存在情報のうち、いずれかの上記画像存在情報が選択操作された際に、サムネイル画像表示部が、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示ステップと、
上記サムネイル画像表示ステップで表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、選択画像表示部が、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示ステップと
を有する。

本発明に係る入力処理プログラムは、上述の課題を解決するために、
入力された文字に対応する変換候補の表示が指定された際に、複数の変換候補となる文字が登録されている変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示部としてコンピュータを機能させ、
所定の付加情報が付加されて記憶部に記憶されている画像情報の中から、上記コンピュータを上記変換候補表示部として機能させることで表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示部として上記コンピュータを機能させ、
上記コンピュータを上記画像存在情報表示部として機能させることで表示された上記画像存在情報のうち、いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示部として上記コンピュータを機能させ、
上記コンピュータを上記サムネイル画像表示部として機能させることで表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示部として上記コンピュータを機能させる。

本発明に係る携帯端末装置は、上述の課題を解決するための手段として、
複数の変換候補となる文字が登録されている変換辞書と、
入力された文字に対応する変換候補の表示が指定された際に、該入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示部と、
所定の付加情報が付加された画像情報が記憶された記憶部と、
上記記憶部に記憶されている画像情報の中から、上記変換候補表示部により表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示部と、
いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示部と、
上記サムネイル画像表示部で表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示部と
を有する。

このような本発明は、記憶部に記憶されている各画像情報毎に所定の付加情報が付加されており、入力された文字に対応する通常変換処理、或いは予測変換処理を行った際に、各変換候補に対応する付加情報が付加されている画像情報を上記記憶部から検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する。そして、いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示する。また、上記サムネイル画像表示部で表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する。

これにより、文字情報と画像情報を関連づけて取り扱うことができ、表示する変換候補に対応する画像存在情報を表示し、いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に自動的に表示することができるため、一度に多くのサムネイル画像を表示することができ、記憶部に記憶されている画像情報を有効に活用可能とすることができる。

本発明は、変換候補と画像情報とを関連づけて取り扱うことができ、変換候補の表示時に、当該表示する変換候補に関連する画像情報の画像存在情報を表示し、いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に自動的に表示することで、一度に多くのサムネイル画像を表示することができ、記憶部に記憶されている画像情報を有効に活用可能とすることができる。

また、表示されている各変換候補に関連する画像情報の存在を、ユーザに対して自動的に知らせることができる。このため、ユーザが忘れていたり、見つけられなかった画像情報が表示される機会を増やすことができ、ユーザの想い出の想起等を図ることができる。

本発明は、携帯電話機に適用することができる。

［携帯電話機の構成］
この本発明の実施の形態となる携帯電話機は、図１に示すように基地局との間で無線通信を行うアンテナ１及び通信回路２と、着信音や受話音声等の音響出力を得るためのスピーカ部３と、送話音声を集音するマイクロホン部４と、画像（動画像、静止画像等）や文字等を表示するための表示部５と、文字等の入力操作や所望のメニューの選択操作等を行うための操作部６と、発着信等を光で知らせるための発光部７（LED：Light Emitting Diode）と、所望の被写体の静止画像或いは動画像を撮像するためのカメラ部８と、当該携帯電話機の筐体を振動させて発着信等をユーザに知らせるためのバイブレーションユニット９と、現在時刻をカウントするタイマ１０と、当該携帯電話機の現在位置を検出するためのＧＰＳアンテナ１１及びＧＰＳユニット１２（GPS：Global Positioning System）とを有している。

また、この携帯電話機は、基地局を介した無線通信処理を行うための通信処理プログラム（コミュニケーションプログラム）の他、各種アプリケーションプログラムや、これら各アプリケーションプログラムで取り扱われる各種データ（コンテンツ）等が記憶されたメモリ１３と、当該携帯電話機全体を制御する制御部１４とを有している。

メモリ１３には、カメラ部８の撮像制御や、カメラ部８で撮像され、或いはネットワークや入力端子を介して取り込まれた動画像、静止画像のビューワ機能を有するカメラ制御プログラムと、電子メールの作成や送受信を制御するための電子メール管理プログラムと、ユーザのスケジュールが登録されたスケジュール帳の管理を行うためのスケジュール帳管理プログラムと、インターネット等の所定のネットワーク上のＷｅｂサイトの閲覧等を行うためのＷｅｂブラウジングプログラムと、電話帳の管理を行うための電話帳管理プログラムと、音楽コンテンツの再生を行うための音楽プレーヤプログラムとが記憶されている。

また、メモリ１３には、ユーザの所望のスケジュールが登録されるスケジュール帳と、ユーザの知人や友人等の静止画像、電話番号、電子メールアドレス、誕生年月日等が登録された電話帳と、音楽プレーヤプログラムに基づいて再生される音楽コンテンツと、カメラ制御プログラムのビューワ機能に基づいて再生される静止画像コンテンツ及び動画像コンテンツと、送受信された電子メールコンテンツと、電話及び電子メールの発着信履歴等が記憶されている。

また、メモリ１３には、電子メール、スケジュール、メモ帳等のに対して文字の入力を行う際に、当該入力された文字から変換が予測される文字である変換候補を一つ或いは複数表示するための変換辞書と、各変換候補に関連する付加情報が付加された画像情報（静止画像コンテンツや動画像コンテンツ）を検索し、この検索した画像情報のサムネイル画像（或いは変換候補に関連する画像情報が存在することを示す画像存在情報）を表示するための入力処理プログラムが記憶されている。

［静止画像コンテンツの付加情報］
メモリ１３に記憶される「静止画像コンテンツ」に対しては、各静止画像コンテンツの記憶時に、撮影時刻／保存時刻情報、管理用タイトル（＝表題）、ファイル種別情報、ファイルサイズ情報、取得元情報、及び撮像位置情報等の各付加情報が付加されて該メモリ１３に記憶されるようになっている。

撮影時刻情報は、カメラ部８で撮像を行った静止画像をメモリ１３に保存する際に、制御部１４がタイマ１０で計時されている時刻情報を取り込んで静止画像コンテンツに付加した情報である。

なお、所定のＷｅｂサイトからダウンロード等を行った静止画像の場合、撮影時刻情報が付加されていないものもある。この場合、制御部１４は、メモリ１３に静止画像コンテンツを保存する際に、タイマ１０から時刻情報（＝保存時刻）を取り込み、これをダウンロード等を行った静止画像に対して付加するようになっている。

管理用タイトルは、静止画像コンテンツのタイトル名を示すデータである。この管理用タイトルとしては、カメラ部８で撮像した静止画像コンテンツをメモリ１３に保存する際に、制御部１４が、タイマ１０から取り込んだ現在時刻情報に対応する撮影年月日及び撮影時刻を上記静止画像コンテンツに対して自動的に付加するようになっている。すなわち、カメラ部８で撮像された静止画像コンテンツの管理用タイトルとしては、最初は、撮影年月日及び撮影時刻が自動的に付加される。

この管理用タイトルは、静止画像コンテンツをメモリ１３に保存した後に編集が可能となっている。管理用タイトルの編集を行う場合、ユーザは、所望のタイミングで管理用タイトルの編集画面を表示させ、操作部６を操作して所望の管理用タイトルを入力する。制御部１４は、このユーザにより入力された管理用タイトルを、その静止画像コンテンツに付加されている上記自動的に付加された撮影年月日及び撮影時刻に上書きする。これにより、その静止画像コンテンツの管理用タイトルが所望の管理用タイトルに変更されることとなる。

なお、制御部１４は、所定のＷｅｂサイトからダウンロード等を行った静止画像コンテンツのうち、既に管理用タイトルが付加されている静止画像コンテンツは、その付加されている管理用タイトルをそのまま取り扱い、管理用タイトルが付加されていない静止画像コンテンツは、ダウンロードを行った年月日及び時刻を管理用タイトルとして、その静止画像コンテンツに自動的に付加する。この自動的に付加された管理用タイトルも、前述の管理用タイトルの編集画面においてユーザが任意に変更可能となっている。

ファイル種別情報は、その静止画像コンテンツの画像形式を示す情報であり、例えばＪＰＥＧ（JPEG：Joint Photographic Experts Group）、ＧＩＦ（GIF：Graphic Interchange Format）、ＳＷＦ形式（SWF：Shockwave Flash、登録商標）等の各種画像形式を示す情報が付加される。

ファイルサイズ情報は、静止画像コンテンツのファイルサイズを示す情報であり、例えば４５ｋｂｙｔｅ、２Ｍｂｙｔｅ等のファイルサイズを示す数値が付加される。

取得元情報ンは、その静止画像コンテンツの取得元を示す情報であり、例えばカメラ部８で撮像された静止画像コンテンツの場合、取得元がカメラ部８であることを示す情報が付加され、所定のＷｅｂサイトからダウンロードした静止画像コンテンツの場合、取得元が上記Ｗｅｂサイトであることを示す情報が付加される。

撮像位置情報は、カメラ部８で静止画像コンテンツの撮像が行われた際に、制御部１４が、ＧＰＳアンテナ１１及びＧＰＳユニット１２で検出された現在位置情報を取り込み、これを撮像位置情報として付加する情報である。

なお、制御部１４は、所定のＷｅｂサイトからダウンロード等を行った静止画像コンテンツのうち、既に撮像位置情報が付加されている静止画像コンテンツは、その付加されている撮像位置情報をそのまま取り扱い、撮像位置情報が付加されていない静止画像コンテンツは、ダウンロードを行った際にＧＰＳアンテナ１１及びＧＰＳユニット１２で検出された現在位置情報を撮像位置情報として付加する。

［入力された文字の変換候補に関連する画像情報の表示動作］
この実施の形態の携帯電話機は、電子メール、スケジュール、メモ帳等の文字入力を行う際に、入力された文字に対応する変換候補の表示が指定されたタイミングで、複数の変換候補となる文字が登録されているメモリ１３の変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部５に表示する「通常変換機能」を有している。また、この携帯電話機は、電子メール、スケジュール、メモ帳等の文字入力を行う際に、入力された文字、又は先に入力決定された文字及び入力された文字から予測される複数の変換候補を上記変換辞書から読み出して順に表示手段に表示する「予測変換機能」を有している。

この文字入力時に、上記「通常変換機能」を用いるか、或いは上記「予測変換機能」を用いるかは、ユーザが予め選択的に設定するようになっている。以下、このユーザの設定により「予測変換機能」が選択設定されている場合を例として説明を進める。なお、ユーザの設定により「通常変換機能」が選択設定されている場合も同様の動作となるため、以下の説明を参照されたい。

制御部１４は、予測変換機能においてユーザにより入力された文字、又は先に入力決定された文字及び入力された文字から予測される複数の変換候補を表示する場合、メモリ１３に記憶されている変換辞書に基づいて、ユーザによる選択が時間的に新しい変換候補を優先的に表示制御する。これにより、前回、入力された文字に対応してユーザにより選択された変換候補は、一覧表示される各変換候補の先頭（或いは上位）に表示され、続いて上記時間的に新しい変換候補が順に表示されることとなる。このため、ユーザは入力を希望する文字に対応する変換候補を即座に見つけることができ、この見つけた変換候補を選択することで、所望の文字を少ない操作で迅速に入力することができる。

ここで、当該実施の形態の携帯電話機は、このようにユーザにより入力された文字に対応する変換候補を表示した際に、各変換候補に関連する付加情報を有する静止画像コンテンツをメモリ１３から検出し、この検出した静止画像コンテンツのサムネイル画像を、該各変換候補と共に表示するようになっている。この変換候補に関連する静止画像コンテンツの表示動作の流れを、図２のフローチャートに示す。この図２のフローチャートは、制御部１４が、電子メール、スケジュール帳、メモ帳等の文字入力時に、メモリ１３に記憶されている入力処理プログラムに基づいて、処理をスタートさせる。

ステップＳ１では、制御部１４が、ユーザにより入力された文字に対応する変換候補を、メモリ１３に記憶されている変換辞書から検出して、処理をステップＳ２に進める。ステップＳ２では、制御部１４が、上記ステップＳ１において検出した各変換候補に関連する付加情報を有する静止画像コンテンツをメモリ１３から検出し、この検出した静止画像コンテンツのサムネイル画像を形成して、処理をステップＳ３に進める。ステップＳ３では、制御部１４が、上記ステップＳ１で検出した各変換候補を、表示部５上の変換候補表示領域に表示制御し、上記ステップＳ２で形成した各変換候補に関連する静止画像コンテンツのサムネイル画像を、該表示部５上のサムネイル画像表示領域に表示制御して、処理をステップＳ４に進める。

具体的には、表示部５は、図３（ａ）に示すようにユーザにより入力された文字を表示するための入力文字表示領域と、ユーザにより入力された文字に対応する変換候補を表示するための変換候補表示領域と、各変換候補に関連する静止画像コンテンツのサムネイル画像を表示するためのサムネイル画像表示領域とを有している。

この図３（ａ）からわかるように、例えばユーザにより「ゆう」との文字が入力された場合、制御部１４は、この「ゆう」との文字を含む「遊園地（ゆうえんち）」、「夕日（ゆうひ）」、「優勝（ゆうしょう）」、「有効（ゆうこう）」、「有料（ゆうりょう）」、「有志（ゆうし）」、「ユウ」・・・等の変換候補をメモリ１３の変換辞書から検出し、これら各変換候補を表示部５の変換候補表示領域に一覧的に表示制御する。

また、制御部１４は、このように検出した各変換候補に関連する静止画像コンテンツをメモリ１３から検出する。例えば、上記「遊園地」との変換候補を検出した場合、制御部１４は、この「遊園地」との管理用タイトルが付加されている静止画像コンテンツをメモリ１３から検出する。また、制御部１４は、この「遊園地」との変換候補に関連する、例えば「○○ランド」や「○○動物園」等の固有名称が管理用タイトルが付加されている静止画像コンテンツをメモリ１３から検出する。

さらに、固有名称が付されている遊園地や建物等は、現存する場所の位置情報も周知となっているため、制御部１４は、この検出された固有名称に対応する位置情報を、メモリ１３内に記憶された位置データベースから検出し、或いは所定のネットワーク上の位置情報提供サーバ装置等にアクセスして、上記検出された固有名称が付されている遊園地や建物等の位置情報を得、この位置情報を付加情報として有する静止画像コンテンツをメモリ１３から検出する。

同様に、ユーザにより、例えば「さく」との文字入力がなされた場合、制御部１４は、この「さく」との文字から入力が予測される「昨日（さくじつ）」、「桜（さくら）」、「策（さく）」・・・等の変換候補を上記変換辞書から検出し、これら各変換候補を表示部５の変換候補表示領域に一覧的に表示制御するのであるが、この際、「昨日（さくじつ）」との変換候補が検出されたため、制御部１４は、この文字入力を行っている日付の前日に相当する撮影時刻／保存時刻情報が付加されている静止画像コンテンツをメモリ１３から検出する。

このように、制御部１４は、単に上記変換候補に一致する管理用タイトルが付加されて静止画像コンテンツを検出するのみならず、上記変換候補に対して位置的や時間的等に関連する付加情報を有する静止画像コンテンツをメモリ１３から検出する。そして、この検出した各静止画像コンテンツのサムネイル画像を形成し、これらを図３（ａ）に示すように表示部５上のサムネイル画像表示領域に一覧表示する。

これにより、文字情報（変換候補）と静止画像コンテンツを関連づけて取り扱うことができ、変換候補の表示時に、当該表示する変換候補に関連する静止画像コンテンツのサムネイル画像を自動的に表示することで、メモリ１３に記憶されている静止画像コンテンツを有効に活用可能とすることができる。

また、表示されている変換候補に関連する静止画像コンテンツの存在を、ユーザに対して自動的に知らせることができる。このため、ユーザが忘れていたり、見つけられなかった静止画像コンテンツが表示される機会を増やすことができ、ユーザの想い出の想起等を図ることができる。

次に、当該実施の形態の携帯電話機では、表示部５のサムネイル画像表示領域に一覧表示された各サムネイル画像から所望のサムネイル画像が選択されると、その選択されたサムネイル画像に対応する静止画像コンテンツを表示部５に大きく表示するようになっている。図２のフローチャートのステップＳ４では、制御部１４が、このサムネイル画像の選択操作の有無を監視しており、該サムネイル画像の選択操作を検出したタイミングで処理をステップＳ５に進める。そして、制御部１４は、このユーザにより選択されたサムネイル画像に対応する静止画像コンテンツをメモリ１３から読み出し、これを図３（ｂ）に示すように表示部５に表示する。これにより、ユーザにより選択されたサムネイル画像に対応する静止画像コンテンツを、表示部５にが大きく表示することができる。

次に、当該実施の形態の携帯電話機では、上述のサムネイル画像に対応する静止画像コンテンツを表示部５に表示した際に、この静止画像コンテンツの貼り付けを指定すると、電子メールの添付ファイルとして添付処理し、或いは電子メールの本文中にこの静止画像コンテンツのサムネイル画像を貼り付け処理するようになっている。

すなわち、この場合、送信する電子メールの作成中に、ユーザは、入力文字の各変換候補に対応して表示されるサムネイル画像の中から所望のサムネイル画像を選択する。これにより、図３（ｂ）に示したように、上記選択したサムネイル画像に対応する静止画像コンテンツが表示部５に大きく表示されるのであるが、この状態で、ユーザは操作部６を操作して当該静止画像コンテンツの貼り付け処理（或いは添付処理）を指定する。

図２のフローチャートのステップＳ６では、制御部１４が、このような貼り付け処理（或いは添付処理）の指定操作の有無を監視しており、当該貼り付け処理（或いは添付処理）の指定操作を検出したタイミングで処理をステップＳ７に進める。そして、ステップＳ７において、制御部１４は、作成している電子メールがＨＴＭＬメールの場合、現在、表示部５に表示している静止画像コンテンツのサムネイル画像を、例えば図３（ｃ）に示すように、電子メールの本文中に貼り付け処理する。或いは作成している電子メールが通常の電子メールの場合、現在、表示部５に表示している静止画像コンテンツを添付ファイルとして、当該作成中の電子メールに添付処理して、この図２のフローチャートに示す処理を終了する。

なお、この例では、一覧表示されたサムネイル画像の中から所望のサムネイル画像が選択された際に、当該選択されたサムネイル画像に対応する静止画像コンテンツを表示することとしたが、一覧表示されたサムネイル画像の中から所望のサムネイル画像が選択された際に、この選択されたサムネイル画像に対応する静止画像コンテンツに対して、いわゆるブックマークを付加し、後に閲覧可能としてもよいし、一覧表示されたサムネイル画像に対応する各静止画像コンテンツを、まとめて所望のフォルダに移動やコピー可能としてもよい。

［実施の形態の効果］
以上の説明から明らかなように、この実施の形態の携帯電話機は、メモリ１３に記憶されている各静止画像コンテンツ毎に、管理用タイトル、撮像年月日、撮像場所等の所定の付加情報が付加されており、電子メール、スケジュール、メモ帳等の文字入力の際に、この入力文字に対応する各変換候補を検出して表示すると共に、当該各変換候補に関連する付加情報が付加されている静止画像コンテンツを検出し、この検出した静止画像コンテンツのサムネイル画像を一覧表示する。

これにより、文字情報（変換候補）と静止画像コンテンツを関連づけて取り扱うことができ、各変換候補と共に、該各変換候補に関連する画像情報のサムネイル画像を自動的に表示することで、メモリ１３に記憶されている静止画像コンテンツを有効に活用可能とすることができる。

また、表示されている変換候補に関連する静止画像コンテンツの存在を、ユーザに対して自動的に知らせることができるため、ユーザが忘れていたり、見つけられなかった静止画像コンテンツが表示される機会を増やすことができ、ユーザの想い出の想起等を図ることができる。

［変形例］
上述の実施の形態の説明では、図３（ａ）に示したように各変換候補に関連するサムネイル画像を一覧表示することとしたが、これは、図４（ａ）に示すように、例えば「→写（或いはメッセージでもよい。）」等の、その変換候補に関連する静止画像コンテンツが存在することを示す画像存在アイコンを、各変換候補に隣接させて表示してもよい。この場合、制御部１４は、各画像存在アイコンから所望の画像存在アイコンが選択操作されると、この選択された画像存在アイコンに対応する変換候補に関連する静止画像コンテンツをメモリ１３から検出し、この検出した静止画像コンテンツのサムネイル画像を、図４（ｂ）に示すように一覧表示する。

図３（ａ）に示したように、各静止画像コンテンツのサムネイル画像を、サムネイル画像表示領域に一覧表示すると、一度に多くのサムネイル画像を表示することは困難なのであるが、このように所望の画像存在アイコンが選択操作された際に、別画面として各サムネイル画像を一覧表示することで、一度に多くのサムネイル画像を表示可能とすることができる。

なお、この別画面として一覧表示した各サムネイル画像から所望のサムネイル画像が選択操作された場合、制御部１４は、選択されたサムネイル画像に対応する静止画像コンテンツを、さらに別画面で大きく表示し（図３（ｂ）参照）、この大きく表示した静止画像コンテンツの貼り付け処理や添付処理が指定された場合には、当該静止画像コンテンツのサムネイル画像を電子メールの本文中に貼り付け処理し、或いは電子メールの添付ファイルとして添付処理することは上述のとおりである（図３（ｃ）参照）。

また、上記画像存在アイコンの代わりに、図３（ａ）に点線の枠で示すように各変換候補に隣接させてサムネイル画像を表示するようにしてもよい。この場合、制御部１４は、一つの変換候補に対して複数の静止画像コンテンツが検出された場合、時間的に新しい方等の代表的な静止画像コンテンツのサムネイル画像を、上記変換候補に隣接させて表示する。そして、制御部１４は、各変換候補に隣接させて表示した各サムネイル画像の中から所望のサムネイル画像が選択された場合、選択されたサムネイル画像に対応する静止画像コンテンツを別画面で大きく表示し（図３（ｂ）参照）、この大きく表示した静止画像コンテンツの貼り付け処理や添付処理が指定された場合には、当該静止画像コンテンツのサムネイル画像を電子メールの本文中に貼り付け処理し、或いは当該静止画像コンテンツを電子メールの添付ファイルとして添付処理することは上述のとおりである（図３（ｃ）参照）。

最後に、上述の実施の形態の説明では、本発明を携帯電話機に適用することとしたが、本発明は、この携帯電話機以外であっても、ＰＨＳ電話機（PHS：Personal Handyphone System）やＰＤＡ装置（PDA：Personal Digital Assistant）、或いはノート型、デスクトップ型のパーソナルコンピュータ装置や携帯ゲーム機等、文字入力処理が可能で画像情報を取り扱う機器であれば、どのような機器に適用しても上述と同じ効果を得ることができる。

この他、本発明は、本発明の一例として開示したに過ぎない上述の実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。

本発明を適用した実施の形態となる携帯電話機のブロック図である。 実施の形態の携帯電話機における、入力文字に対応する変換候補を表示すると共に、各変換候補に関連する静止画像コンテンツのサムネイル画像を表示する動作を説明するためのフローチャートである。 実施の形態となる携帯電話機における、入力文字に対応する変換候補の表示動作、及び各変換候補に関連する静止画像コンテンツのサムネイル画像の表示動作を説明するための図である。 実施の形態の携帯電話機における、入力文字の変換候補に関連する静止画像コンテンツの存在を示す画像存在アイコンの表示例を説明するための図である。

符号の説明

１ アンテナ、２ 通信回路、３ スピーカ部、４ マイクロホン部、５ 表示部、６ 操作部、７ 発光部（ＬＥＤ）、８ カメラ部、９ バイブレーションユニット、１０ タイマ、１１ ＧＰＳアンテナ、１２ ＧＰＳユニット、１３ メモリ、１４ 制御部

Claims (8)

1. 入力された文字に対応する変換候補の表示が指定された際に、複数の変換候補となる文字が登録されている変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示部と、
   所定の付加情報が付加されて記憶部に記憶されている画像情報の中から、上記変換候補表示部により表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示部と、
   いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示部と、
   上記サムネイル画像表示部で表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示部と
   を有する入力処理装置。
2. 上記選択画像表示部により表示された上記画像情報を電子メールに貼り付ける貼り付け処理が指定された場合、上記表示部に表示している画像情報のサムネイル画像を、上記電子メールの本文中に貼り付け処理し、或いは上記画像情報を電子メールに添付する添付処理が指定された場合、上記表示部に表示している画像情報を、上記電子メールの添付ファイルとする添付処理を実行する画像添付処理部を有する
   請求項１に記載の入力処理装置。
3. 変換候補表示部が、入力された文字に対応する変換候補の表示が指定された際に、複数の変換候補となる文字が登録されている変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示ステップと、
   画像存在情報表示部が、所定の付加情報が付加されて記憶部に記憶されている画像情報の中から、上記変換候補表示ステップで表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示ステップと、
   上記画像存在情報表示ステップで表示された画像存在情報のうち、いずれかの上記画像存在情報が選択操作された際に、サムネイル画像表示部が、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示ステップと、
   上記サムネイル画像表示ステップで表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、選択画像表示部が、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示ステップと
   を有する入力処理方法。
4. 上記選択画像表示ステップで表示された上記画像情報を電子メールに貼り付ける貼り付け処理が指定された場合、画像添付処理部が、上記表示部に表示している画像情報のサムネイル画像を、上記電子メールの本文中に貼り付け処理し、或いは上記画像情報を電子メールに添付する添付処理が指定された場合、画像添付処理部が、上記表示部に表示している画像情報を、上記電子メールの添付ファイルとする添付処理を実行する画像添付処理ステップを有する
   請求項３に記載の入力処理方法。
5. 入力された文字に対応する変換候補の表示が指定された際に、複数の変換候補となる文字が登録されている変換辞書から、該入力された文字に対応する複数の変換候補を読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示部としてコンピュータを機能させ、
   所定の付加情報が付加されて記憶部に記憶されている画像情報の中から、上記コンピュータを上記変換候補表示部として機能させることで表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示部として上記コンピュータを機能させ、
   上記コンピュータを上記画像存在情報表示部として機能させることで表示された上記画像存在情報のうち、いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示部として上記コンピュータを機能させ、
   上記コンピュータを上記サムネイル画像表示部として機能させることで表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示部として上記コンピュータを機能させるための
   入力処理プログラム。
6. 上記コンピュータを上記選択画像表示部として機能させることで表示した上記画像情報を電子メールに貼り付ける貼り付け処理が指定された場合、上記表示部に表示している画像情報のサムネイル画像を、上記電子メールの本文中に貼り付け処理し、或いは上記画像情報を電子メールに添付する添付処理が指定された場合、上記表示部に表示している画像情報を、上記電子メールの添付ファイルとする添付処理を実行する画像添付処理部として上記コンピュータを機能させるための
   請求項５に記載の入力処理プログラム。
7. 複数の変換候補となる文字が登録されている変換辞書と、
   入力された文字に対応する変換候補の表示が指定された際に、該入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する通常変換処理、或いは入力された文字、又は先に入力決定された文字及び入力された文字に対応する複数の変換候補を上記変換辞書から読み出して順に表示部に表示する予測変換処理を行う変換候補表示部と、
   所定の付加情報が付加された画像情報が記憶された記憶部と、
   上記記憶部に記憶されている画像情報の中から、上記変換候補表示部により表示された各変換候補に対応する付加情報が付加されている画像情報を検出し、上記表示された各変換候補に対応する付加情報が付加されている画像情報を検出した場合に、該画像情報が存在することを示す画像存在情報を、その画像存在情報に対応する変換候補に隣接させて上記表示部に表示する画像存在情報表示部と、
   いずれかの上記画像存在情報が選択操作された際に、この選択操作された画像存在情報に対応する上記変換候補に関連する上記画像情報を上記記憶部から検出し、この検出した画像情報のサムネイル画像の一覧を、別画面として上記表示部に表示するサムネイル画像表示部と、
   上記サムネイル画像表示部で表示された上記各サムネイル画像のうち、いずれかのサムネイル画像が選択操作された際に、該選択操作されたサムネイル画像に対応する画像情報を上記記憶部から読み出し、別画面として上記表示部に表示する選択画像表示部と
   を有する携帯端末装置。
8. 上記選択画像表示部により表示された上記画像情報を電子メールに貼り付ける貼り付け処理が指定された場合、上記表示部に表示している画像情報のサムネイル画像を、上記電子メールの本文中に貼り付け処理し、或いは上記画像情報を電子メールに添付する添付処理が指定された場合、上記表示部に表示している画像情報を、上記電子メールの添付ファイルとする添付処理を実行する画像添付処理部を有する
   請求項７に記載の携帯端末装置。

Images