JP5606901B2 - 携帯電子機器 - Google Patents

Description

本発明は、スクリーンや壁面に画像を投影する画像投影部を有する携帯電子機器に関する。

近年、携帯電話機等の携帯電子機器の高機能化と高性能化が進み、従来はパソコン等の据え置き型の電子機器でなければ実行できなかった処理を携帯電子機器で実行することが可能になってきている。例えば、ワープロや表計算等のデータを携帯電子機器へ送信し、携帯電子機器でデータを編集することも可能になっている（例えば、特許文献１）。

特開２００６−８１２１３号公報

ところで、携帯電子機器は、据え置き型の電子機器と比較して、データを表示するための表示部の面積が狭いことが多い。このため、携帯電子機器でデータを編集する場合、編集箇所以外の部分を参照しながら情報の変更や追加を行うことができないため、利用者が編集を行い難いことがあった。

本発明は、利用者がデータの編集を容易に行うことができる携帯電子機器を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、画像を投影する投影部と、画像を表示する表示部と、操作を受け付ける操作部と、前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像の少なくとも一部を第２の画像として表示させ、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分を編集するための編集操作を前記操作部から受け付ける処理部とを備えることを特徴とする。

ここで、前記携帯電子機器は、当該携帯電子機器の姿勢又は位置の少なくとも一方の変化を検出する検出部をさらに備え、前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像のうち前記第２の画像として前記表示部に表示される部分の位置又は範囲の少なくとも一方を変化させることが好ましい。

例えば、前記処理部は、当該携帯電子機器の位置が前記投影部によって画像が投影される投影面に近づいたことが前記検出部によって検出された場合に、前記表示部に表示される前記第２の画像が拡大されるように、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分の範囲を狭めることとしてもよい。

また、例えば、前記処理部は、当該携帯電子機器の位置が前記投影面から遠ざかったことが前記検出部によって検出された場合に、前記表示部に表示される前記第２の画像が縮小されるように、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分の範囲を拡げることとしてもよい。

また、例えば、前記処理部は、当該携帯電子機器の位置が前記投影面と平行方向に移動したことが前記検出部によって検出された場合に、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分の範囲を、当該携帯電子機器の移動方向に応じて移動させることとしてもよい。

また、前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することが好ましい。

また、前記処理部は、前記操作部で受け付けられた操作に基づいて、前記第１の画像のうち前記第２の画像として前記表示部に表示される部分の位置又は範囲の少なくとも一方を変化させることが好ましい。

また、前記処理部は、前記第１の画像のうち前記第２の画像として前記表示部に表示される部分の位置及び範囲を前記第１の画像中に示すことが好ましい。

また、前記処理部は、前記操作部で前記編集操作が受け付けられた場合に、当該編集操作に基づく変更を前記第１の画像に反映させることなく前記第２の画像に反映させ、前記操作部で所定の保存操作が受け付けられた後に、前記編集操作に基づく変更を前記第１の画像に反映させることが好ましい。

また、前記処理部は、前記データが他の装置と共有されている場合に、前記他の装置から送信された編集内容に基づく変更を前記第１の画像及び前記第２の画像に反映させることが好ましい。

本発明は、利用者がデータの編集を容易に行うことができるという効果を奏する。

図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図である。 図２は、図１に示す携帯電子機器の側面図である。 図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。 図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。 図５は、携帯電子機器の画像出力動作の一例を示すフロー図である。 図６は、携帯電子機器のデータ編集動作の一例を示すフロー図である。 図７は、携帯電子機器の動作を説明するための説明図である。 図８は、携帯電子機器の動作を説明するための説明図である。 図９は、携帯電子機器の動作を説明するための説明図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。

図１は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図２は、図１に示す携帯電子機器の側面図である。図１、図２に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。

第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。

第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ１６が設けられる。

第１筐体１ＣＡのディスプレイ２と反対側には、画像投影部であるプロジェクタ３４、プロジェクタ３４の光出射部（対物レンズ）から画像投影対象までの距離を測定する距離測定手段である距離センサ３６、及び、画像が投影される面の画像を撮影（取得）するカメラ４０が設けられる。このような構成により、プロジェクタ３４によって画像を投影対象物に投影したり、プロジェクタ３４の出射面と投影対象物との距離を距離センサ３６で測定して、プロジェクタ３４が投影する画像の焦点を自動的に合わせたりすることができる。なお、プロジェクタ３４の光出射部、カメラ４０の撮影窓は、第１筐体１ＣＡの外部に露出している。

第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー１３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー１３Ｂが設けられる。操作キー１３Ａ及び方向及び決定キー１３Ｂは、携帯電子機器１の操作部１３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク１５が設けられる。操作部１３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。なお、操作部１３は、上述のキー構成に代えて、表示部上に配置されたタッチセンサであってもよい。

図３は、図１、図２に示す携帯電子機器の機能の概略構成を示すブロック図である。図３に示すように、携帯電子機器１は、処理部２２と、記憶部２４と、送受信部２６と、操作部１３と、音声処理部３０と、表示部３２と、プロジェクタ３４と、距離センサ３６と、動き検出手段である加速度センサ３８と、カメラ４０と、を有する。処理部２２は、携帯電子機器１の全体的な動作を統括的に制御する機能を有する。すなわち、処理部２２は、携帯電子機器１の各種の処理が、操作部１３の操作や携帯電子機器１の記憶部２４に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部２６や、音声処理部３０や、表示部３２等の動作を制御する。

携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧等がある。また、送受信部２６、音声処理部３０、表示部３２等の動作としては、例えば、送受信部２６による信号の送受信、音声処理部３０による音声の入出力、表示部３２による画像の表示等がある。

処理部２２は、記憶部２４に記憶されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。処理部２２は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processing Unit）で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器１の各種の処理を実行する。すなわち、処理部２２は、記憶部２４に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。

処理部２２は、複数のアプリケーションプログラムを実行する機能を有する。処理部２２が実行するアプリケーションプログラムとしては、例えば、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムや、各種の画像ファイル（画像情報）を記憶部２４から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部３２に表示させたりプロジェクタ３４に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。

本実施形態において、処理部２２は、プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆ、データ編集部２２ｇを有する。

プロジェクタ制御部２２ａは、プロジェクタ３４を制御して画像を画像投影対象に投影させる。画像処理部２２ｂは、記憶部２４に記憶されているデータや送受信部２６によって受信されたデータをデコードして、プロジェクタ３４によって投影される画像や表示部３２に表示される画像を生成する。また、画像処理部２２ｂは、利用者に情報を提供したり、利用者から情報の入力を受け付けたりするための各種画面として表示又は投影される画像を生成する。画像処理部２２ｂは、画像に対して拡大、縮小、変形等の加工を施す処理も実行する。

条件判定部２２ｃは、プロジェクタ制御部２２ａによる画像の投影に影響する条件が変化したか否かを判定する。ここで、プロジェクタ制御部２２ａによる画像の投影に影響する条件とは、例えば、携帯電子機器１の姿勢の変化や画像投影対象との距離の変化である。姿勢・位置演算部２２ｄは、距離センサ３６や加速度センサ３８の検出結果等に基づいて、携帯電子機器１の姿勢及び位置を算出する。

投影補正部２２ｅは、画像投影対象の一定の位置に一定の大きさで画像が投影されるように補正処理を行う。具体的には、投影補正部２２ｅは、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、プロジェクタ制御部２２ａによるプロジェクタ３４の制御内容や、画像処理部２２ｂによる画像処理の内容を変化させることにより、投影画像の位置と大きさとを一定に保たせる。

連係出力制御部２２ｆは、第１の画像をプロジェクタ３４から投影させるとともに、第１の画像の少なくとも一部を第２の画像として表示部３２に表示させる。そして、連係出力制御部２２ｆは、第１の画像を変化させずに投影させつつ、姿勢・位置演算部２２ｄによって算出される携帯電子機器１の姿勢及び位置の変化に応じて、表示部３２に表示される第２の画像の内容を変化させる。

例えば、連係出力制御部２２ｆは、初期状態において、あるデータに基づく画像全体を第１の画像としてプロジェクタ３４から投影させ、その画像の中央部分の所定の範囲を第２の画像として表示部３２に表示させる。そして、連係出力制御部２２ｆは、携帯電子機器１が画像投影対象上の投影面との距離を保ったままで投影面と平行方向に上下左右へ移動した場合、第１の画像のうち第２の画像として表示部３２に表示される部分を移動方向と移動距離とに応じて上下左右へスクロールさせる。また、連係出力制御部２２ｆは、携帯電子機器１の姿勢が変化した場合、第１の画像のうち第２の画像として表示部３２に表示される部分を姿勢の変化方向と変化量とに応じて上下左右へスクロールさせる。

また、連係出力制御部２２ｆは、携帯電子機器１が画像投影対象に近づいた場合、第２の画像として表示部３２に表示される部分が拡大されるように、第１の画像のうち第２の画像として表示部３２に表示される部分の範囲を移動距離に応じて狭める。また、連係出力制御部２２ｆは、携帯電子機器１が画像投影対象から遠ざかった場合、第２の画像として表示部３２に表示される部分が縮小されるように、第１の画像のうち第２の画像として表示部３２に表示される部分の範囲を移動距離に応じて拡げる。

データ編集部２２ｇは、第１の画像に対応するデータのうち、第２の画像として表示部３２に表示されている部分を編集するための編集操作を操作部１３等から受け付け、受け付けた編集操作に応じた編集処理を実行する。また、データ編集部２２ｇは、第１の画像に対応するデータのうち、第２の画像として表示部３２に表示されている部分を編集するためのメニューやポップアップ画面等を必要に応じて表示部３２に表示させる。すなわち、データ編集部２２ｇは、第１の画像に対応するデータのうち、第２の画像として表示部３２に表示されている部分を編集する機能を利用者に提供する。ここでいう編集とは、データへの情報の追加、データに含まれる情報の変更、データに含まれる情報の削除等を意味する。

プロジェクタ制御部２２ａ、画像処理部２２ｂ、条件判定部２２ｃ、姿勢・位置演算部２２ｄ、投影補正部２２ｅ、連係出力制御部２２ｆ、データ編集部２２ｇがそれぞれ有する機能は、処理部２２及び記憶部２４で構成されるハードウェア資源が、処理部２２の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。

記憶部２４には、処理部２２での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ３４や距離センサ３６の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部２４には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部２４に対する制御に処理部２２が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。

なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部２２によって記憶部２４に割り当てられた作業領域へ一時的に記憶される。記憶部２４は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。

送受信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部１３は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー１３Ａと、方向及び決定キー１３Ｂとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部２２へ入力される。

音声処理部３０は、マイク１５に入力される音声信号やレシーバ１６やスピーカ１７から出力される音声信号の処理を実行する。すなわち、音声処理部３０は、マイク１５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部２２へ出力する。また、処理部２２から送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ１６やスピーカ１７へ出力する。ここで、スピーカ１７は、携帯電子機器１の筐体１Ｃ内に配置されており、着信音やメールの送信音等を出力する。

加速度センサ３８は、携帯電子機器１に印加される加速度の方向及び大きさを検出する。加速度センサ３８の検出結果は、携帯電子機器１の姿勢変化や移動の有無を判定したり、姿勢の変化量や移動距離を算出したりするために用いられる。なお、携帯電子機器１の姿勢変化の有無を判定したり、姿勢の変化量を算出したりするために、携帯電子機器１に方位センサを設けることとしてもよい。

表示部３２は、上述したディスプレイ２を有しており、処理部２２から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ２は、例えば、液晶ディスプレイ（ＬＣＤ、Liquid Crystal Display）や、有機ＥＬ（Organic Electro−Luminescence）パネルなどで構成された表示パネルで構成される。なお、表示部３２は、ディスプレイ２に加え、サブディスプレイを有していてもよい。

プロジェクタ３４は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ３４は、光源である可視光照射装置（可視光照射手段）３１と、光学系である描画装置３５と、焦点調整装置３９とを含んで構成される。可視光照射装置３１は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が３６０ｎｍから４００ｎｍ以上、長波長側が７６０ｎｍから８３０ｎｍ以下の光であり、本実施形態において、可視光照射装置３１は、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。

描画装置３５は、可視光照射装置３１から照射される３色の光を合成するとともに、画像投影対象に照射する。描画装置３５は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置３５は、ミラーによって可視光照射装置３１から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。

前記ミラーとしては、例えば、ＭＥＭＳ（Micro Electro Mechanical System）ミラーが用いられる。ＭＥＭＳミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置３１から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ３４は、スキャン方式のプロジェクタである。なお、プロジェクタ３４の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ３４は、ハロゲンライトや、ＬＥＤ光源、ＬＤ光源を光源とし、ＬＣＤや、ＤＭＤ（Digital Micro-mirror Device）を光学系に備える構成のプロジェクタを用いてもよい。

焦点調整装置３９は、プロジェクタ制御部２２ａからの指令により、描画装置３５から投影される可視画像が画像投影対象上で結像させる機能（焦点調整機能）を有する。焦点調整装置３９は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置３９は、プロジェクタ３４が投影する画像のデータに対して画像処理部２２ｂによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置３９は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。距離センサ３６は、プロジェクタ３４の光出射部と画像投影対象との距離を計測する。なお、距離センサ３６の代わりに、焦点調整装置３９の、プロジェクタ３４から投影された画像の焦点を調整する機能を利用して、プロジェクタ３４の光出射部と画像投影対象との距離を計測してもよい。

図４は、図１に示す携帯電子機器のプロジェクタが画像を投影している状態を示す説明図である。上述したように、プロジェクタ３４は、画像を投影する画像投影部であり、画像投影面が携帯電子機器１の筐体１Ｃの外部に露出している。携帯電子機器１は、プロジェクタ３４から画像を投影することで、図４に示すように、プロジェクタ３４の画像投影面と対向する位置の画像投影対象（例えば、壁面やスクリーン等）のうち、所定の領域（投影領域）ＰＡに画像Ｐを投影させることができる。なお、プロジェクタ３４は、処理部２２により動作が制御され、処理部２２から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域ＰＡに表示させる。

カメラ４０は、上述したようにプロジェクタ３４の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ４０は、プロジェクタ３４が光を射出する方向の画像を取得する。なお、カメラ４０は、プロジェクタ３４により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ３４により画像が投影される投影領域よりも広い領域の画像を撮影することができる。

処理部２２は、こうしてカメラ４０によって撮影される画像等に基づいて、携帯電子機器１の姿勢や位置が所定の許容範囲内で変化しても、画像Ｐが投影領域ＰＡに一定の大きさで投影されるようにプロジェクタ３４等を制御する。例えば、携帯電子機器１が許容範囲内で右方向へ移動した場合でも、処理部２２は、プロジェクタ３４の投影方向を変更させる等して、画像Ｐを投影領域ＰＡに投影させる。

このように、処理部２２は、携帯電子機器１の姿勢や位置が変化しても画像Ｐを投影領域ＰＡに一定の大きさで投影させる一方で、表示部３２に表示させる内容を、携帯電子機器１の姿勢や位置の変化に応じて変更する。例えば、処理部２２は、携帯電子機器１が投影領域ＰＡのほぼ正面に位置している場合には、投影領域ＰＡに投影されている画像Ｐの中央に描画されている「Ｅ」の文字を表示部３２に表示させる。また、処理部２２は、携帯電子機器１が右方向に移動した場合には、画像Ｐの右横に描画されている「Ｆ」の文字を表示部３２に表示させる。

次に、図５を用いて携帯電子機器のプロジェクタの画像出力動作を説明する。ここで、図５は、携帯電子機器の画像出力動作の一例を示すフロー図である。まず、携帯電子機器１の処理部２２は、ステップＳ１０１として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４が使用中であるか否かを判定する。処理部２２は、ステップＳ１０１でプロジェクタ動作中ではない（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４は使用中でないと判定したら、本制御を終了する。

また、処理部２２は、ステップＳ１０１でプロジェクタが動作中である（Ｙｅｓ）、すなわち、条件判定部２２ｃがプロジェクタ３４は使用中であると判定したら、ステップＳ１０２として姿勢変化又は移動があったかを判定する。つまり、処理部２２は、ステップＳ１０２として、条件判定部２２ｃにより、携帯電子機器１が搭載するプロジェクタ３４に動きがあったか、すなわち、プロジェクタ３４（携帯電子機器１）の姿勢変化又は移動があったか否かを判定する。ここで、条件判定部２２ｃは、カメラ４０で撮影した画像、及び、オートフォーカス機能で算出した焦点距離に基づいて、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。また、条件判定部２２ｃは、距離センサ３６や加速度センサ３８の検出結果を用いることでも、プロジェクタ３４の姿勢変化又は移動があったかを判定することができる。なお、本実施形態では、投影面とプロジェクタ３４との相対的な移動も、プロジェクタ３４の移動と判定する。つまり、条件判定部２２ｃは、投影面とプロジェクタ３４との間の距離が変化したら、移動したと判定する。あるいは、投影方向（つまり、投影方向に沿って投影面）に向かって進む動きや、退く動きを検出したら、移動したと判定してもよい。処理部２２は、ステップＳ１０２で変化及び移動なし（Ｎｏ）、すなわち、条件判定部２２ｃでプロジェクタ３４に動きはなかったと判定したら、本制御は終了する。

また、処理部２２は、ステップＳ１０２で、プロジェクタ３４の姿勢変化又は移動があった（Ｙｅｓ）、つまり、条件判定部２２ｃがプロジェクタ３４に動きがあったと判定したら、ステップＳ１０３として、姿勢・位置演算部２２ｄにより、プロジェクタ３４（携帯電子機器１）の動きに基づいて、姿勢の変化量及び移動距離を算出する。つまり、プロジェクタ３４と画像が投影される投影面との角度及び距離の変化を算出する。具体的には、処理部２２は、カメラ４０又は加速度センサ３８の検出結果に基づいて、プロジェクタ３４の姿勢を検出し、基準姿勢又は前回の姿勢と比較することで、姿勢の変化量を算出する。また、処理部２２は、カメラ４０又は距離センサ３６及び加速度センサ３８の検出結果に基づいて、投影面とプロジェクタ３４との間の距離を検出し、基準距離又は前回の距離と比較することで、移動距離、移動方向を算出する。

処理部２２は、ステップＳ１０３で姿勢の変化量及び移動距離を算出したら、ステップＳ１０４として、投影補正部２２ｅにより、ステップＳ１０３で算出された姿勢の変化量及び移動距離に応じてプロジェクタ３４の投影方向及び投影角度を変更させて、姿勢変化又は移動の前と同じ位置に同じ大きさで画像を投影させる。さらに、処理部２２は、ステップＳ１０５として、算出された姿勢の変化量及び移動距離に応じて、プロジェクタ３４から投影されている画像のうち、表示部３２に表示される部分を変更させる。処理部２２は、ステップＳ１０５の処理を終了したら、本制御を終了する。処理部２２は、プロジェクタ３４による画像の投影中は、上記処理を繰り返す。

なお、プロジェクタ３４の投影方向の変更（投影画像の位置の調整）は、例えば、プロジェクタ３４を可動式にしてプロジェクタ３４自体の方向を変更することで実現してもよいし、描画装置３５を構成するミラーの走査範囲（回動する範囲）を変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズの方向を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の位置を変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。

また、プロジェクタ３４の投影角度の変更（投影画像の大きさの調整）は、例えば、描画装置３５を構成するミラーの振り角（回動する角度）の大きさを変更することで実現してもよい。また、プロジェクタ３４の光射出部に可動式のレンズを配置し、そのレンズと光源との距離を変化させることによって実現してもよい。また、画像処理部２２ｂが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の大きさを変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。

次に、図６を用いて携帯電子機器が投影されている画像に対応するデータを編集する動作について説明する。ここで、図６は、携帯電子機器のデータ編集動作の一例を示すフロー図である。なお、図６に示すデータ編集動作は、図５に示した画像出力動作と並行して繰り返し実行される。まず、処理部２２のデータ編集部２２ｇは、ステップＳ２０１として、操作部１３において編集操作が検出されたかを判定する。編集操作とは、投影されている画像に対応するデータを編集するために利用者が行う操作である。

データ編集部２２ｇは、ステップＳ２０１で編集操作が検出された（Ｙｅｓ）と判定したら、ステップＳ２０２として、検出された編集操作に応じて表示部３２の表示内容を更新する。例えば、検出された編集操作がデータに情報を追加するものであった場合、データ編集部２２ｇは、表示部３２の表示内容を、データにその情報が追加された状態に更新する。また、検出された編集操作がデータ内の情報を変更するものであった場合、データ編集部２２ｇは、表示部３２の表示内容を、データ内のその情報が変更された状態に更新する。また、検出された編集操作がデータ内の情報を削除するものであった場合、データ編集部２２ｇは、表示部３２の表示内容を、データ内のその情報が削除された状態に更新する。

表示部３２の表示内容を更新した後、データ編集部２２ｇは、ステップＳ２０３として、処理部２２が有するメモリ等の記憶領域に編集内容を保持させる。そして、データ編集部２２ｇは、本制御を終了する。

データ編集部２２ｇは、ステップＳ２０１で編集操作が検出されていない（Ｎｏ）と判定したら、ステップＳ２０４として、操作部１３において保存操作が検出されたかを判定する。保存操作とは、それまでに行った編集操作の結果をデータに反映させて、データを保存するために利用者が行う操作である。データ編集部２２ｇは、ステップＳ２０４で保存操作が検出さていない（Ｎｏ）と判定したら、本制御を終了する。

データ編集部２２ｇは、ステップＳ２０４で保存操作が検出された（Ｙｅｓ）と判定したら、ステップＳ２０５として、メモリ等に保持しておいた編集内容を、投影されている画像に対応するデータに反映される。ここでは、編集内容に応じて、情報の追加、変更、削除を行うことによってデータそのものが書き換えられる。そして、データ編集部２２ｇは、ステップＳ２０６として、更新後のデータの内容が反映されるように、プロジェクタ３４から投影される画像を更新させる。そして、データ編集部２２ｇは、本制御を終了する。

なお、図６では、保存操作が検出された後に編集内容をデータに反映することとしたが、編集操作が行われた場合に、編集内容を直ちにデータに反映することとしてもよい。編集内容を直ちにデータに反映するか否かは、編集対象のデータの種類によって決めてもよいし、利用者が予め設定した設定情報に基づいて決めてもよい。

次に、具体例を用いて、携帯電子機器１についてより詳細に説明する。ここで、図７から図９は、それぞれ、携帯電子機器の動作を説明するための説明図である。なお、図７から図９は、携帯電子機器１の形状を模式的に図示している。

図７に示すステップＳ１１では、携帯電子機器１は、第１の画像Ｐ１として、複数の人物が描かれた画像データをプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１に含まれる人物の１人を第２の画像Ｐ２としてディスプレイ２に表示させている。そして、携帯電子機器１は、第１の画像Ｐ１における第２の画像Ｐ２の位置及び範囲を表すために、フレームＦを第１の画像Ｐ１中に示している。

この状態から、利用者が携帯電子機器１の姿勢又は位置を変更すると、携帯電子機器１は、それを検出し、検出結果に応じて第２の画像Ｐ２としてディスプレイ２に表示させる内容を変更する。例えば、携帯電子機器１は、画像投影対象に対して位置が左方向に移動したことを検出すると、検出した移動量に応じて、第２の画像Ｐ２としてディスプレイ２に表示させる部分を左方向にスクロールさせる。また、携帯電子機器１は、姿勢が下向きに変化したことを検出すると、検出した角度の変化量に応じて、第２の画像Ｐ２としてディスプレイ２に表示させる部分を下方向にスクロールさせる。

また、携帯電子機器１は、位置が画像投影対象に近づいたことを検出すると、検出した移動量に応じて、第２の画像Ｐ２を拡大させる。また、携帯電子機器１は、位置が画像投影対象から遠ざかったことを検出すると、検出した移動量に応じて、第２の画像Ｐ２を縮小させる。携帯電子機器１は、第２の画像Ｐ２としてディスプレイ２に表示させる部分を変化させた場合、変化後の第２の画像Ｐ２の位置及び範囲に対応するように、フレームＦを第１の画像Ｐ１上で移動させる。

また、この状態において、携帯電子機器１は、第２の画像Ｐ２としてディスプレイ２に表示されている部分を利用者が編集することを可能にする。例えば、利用者は、操作部１３等に対して編集操作を行って、ステップＳ１２のように、ディスプレイ２に表示されている人物を帽子をかぶった人物へ変更することができる。この段階では、編集内容はメモリ等に保持され、第２の画像Ｐ２には反映されるが、画像データに反映されない。このため、利用者は編集内容を破棄して、変更が画像データに反映されないようにすることができる。

利用者が、編集操作を行った後に、さらに操作部１３等に対して保存操作を行うと、携帯電子機器１は、保持していた編集内容を画像データに反映させ、さらに、ステップＳ１３のように、画像データの変更を第１の画像Ｐ１にも反映させる。

また、ステップＳ１１の状態において、利用者が携帯電子機器１を右方向へ移動させると、携帯電子機器１は、第２の画像Ｐ２としてディスプレイ２に表示させる部分を右方向にスクロールさせるとともに、フレームＦを右方向に移動させる。そして、スクロールして無地部分が第２の画像Ｐ２としてディスプレイ２に表示されている状態で、利用者は、操作部１３等に対して編集操作を行って、ステップＳ１４のように、新たな人物を書き足すことができる。この段階では、編集内容はメモリ上に保持され、第２の画像Ｐ２には反映されるが、画像データに反映されない。その後、利用者が保存操作を行うと、携帯電子機器１は、保持していた編集内容を画像データに反映させ、さらに、ステップＳ１５のように、画像データへの人物の追加を第１の画像Ｐ１にも反映させる。

このように、携帯電子機器１は、データに対応する画像をプロジェクタ３４から投影させつつ、その画像の少なくとも一部をディスプレイ２に表示させ、ディスプレイ２に表示されている部分の編集を利用者に行わせる。すなわち、携帯電子機器１は、データに対応する画像を大きく投影させて全体像を確認しつつ、ディスプレイ２を参照しながら詳細部分を編集することを可能にする。

プロジェクタ３４は、画像を大きく投影することができるが、詳細部分を編集するのに十分な解像度がない場合がある。一方、ディスプレイ２は、解像度が比較的高いため、詳細部分を編集するのに適しているが、面積が狭いため、全体像と詳細部分とを同時に表示することが難しい。プロジェクタ３４とディスプレイ２とを組み合わせて利用することにより、両者の長所を活かすことができる。

また、ディスプレイ２に表示されている部分を対象として編集操作を受け付けることとすれば、編集内容が操作部１３の近くに表示されるため、プロジェクタ３４によって離れた位置に投影されている画像を編集対象とする場合よりも、利用者が編集操作を行い易い。

図７に示したように、プロジェクタ３４とディスプレイ２とを組み合わせてデータを編集する方式は、例えば、ポスター等の大きな画像を作成する場合に有用である。この方式によれば、利用者は、編集中の画像全体を実際のサイズで投影して仕上がりイメージを確認しつつ、詳細部分をディスプレイ２上で編集していくことができる。

続いて、図８について説明する。図７では、画像データを編集する例を示したが、図８では、文書データを編集する例を示す。また、図９では、編集内容を直ちにデータに反映する例を示す。

図８に示すステップＳ２１では、携帯電子機器１は、第１の画像Ｐ１として、表計算プログラムの文書データをプロジェクタ３４から投影させている。また、携帯電子機器１は、第１の画像Ｐ１の全体を第２の画像Ｐ２としてディスプレイ２に表示させている。

この状態から、利用者が携帯電子機器１を画像投影対象に近づけつつ、左上方向に移動させると、携帯電子機器１は、ステップＳ２２のように、第１の画像Ｐ１の左上寄りの部分を拡大して、第２の画像Ｐ２としてディスプレイ２に表示させる。また、携帯電子機器１は、拡大後の第２の画像Ｐ２の位置及び範囲に対応するように、フレームＦを第１の画像Ｐ１上に表示させる。

また、この状態において、携帯電子機器１は、第２の画像Ｐ２としてディスプレイ２に表示されている部分を利用者が編集することを可能にする。例えば、利用者は、操作部１３等に対して編集操作を行って、ステップＳ２３のように、あるセルの内容を書き換えることができる。編集操作が行われると、携帯電子機器１は、編集内容を第２の画像Ｐ２に反映するとともに、第１の画像Ｐ１に対応する文書データに反映させる。その結果、第１の画像Ｐ１にも、セルの内容の変更が反映される。

図８に示すように、プロジェクタ３４とディスプレイ２とを組み合わせてデータを編集する方式は、文書データの編集にも有用である。この方式によれば、利用者は、文書データを大きく投影して編集部分以外を参照しつつ、編集部分をディスプレイ２上で編集することができる。

続いて、図９について説明する。図８では、１人の利用者がデータを編集する例を示したが、図９では、複数の利用者がデータを編集する例を示す。なお、図９に示す携帯電子機器１ａ及び１ｂは、携帯電子機器１と同様の構成を有する装置であり、同一のデータを共有するように設定されているものとする。

図９に示すステップＳ３１では、携帯電子機器１ａは、第１の画像Ｐ１ａとして、表計算プログラムの文書データをプロジェクタ３４から投影させている。また、携帯電子機器１ａは、第１の画像Ｐ１ａの全体を第２の画像Ｐ２ａとしてディスプレイ２に表示させている。

また、ステップＳ４１のように、同時に他の場所において、携帯電子機器１ｂは、第１の画像Ｐ１ｂとして、携帯電子機器１ａと共有されている文書データをプロジェクタ３４から投影させている。また、携帯電子機器１ｂは、第１の画像Ｐ１ｂの全体を第２の画像Ｐ２ｂとしてディスプレイ２に表示させている。

この状態から、携帯電子機器１ａの利用者が携帯電子機器１ａを画像投影対象に近づけつつ、左上方向に移動させると、携帯電子機器１ａは、ステップＳ３２のように、第１の画像Ｐ１ａの左上寄りの部分を拡大して、第２の画像Ｐ２ａとしてディスプレイ２に表示させる。また、携帯電子機器１ａは、拡大後の第２の画像Ｐ２ａの位置及び範囲に対応するように、フレームＦを第１の画像Ｐ１ａ上に表示させる。この段階において、携帯電子機器１ｂは、ステップＳ４２のように、ステップＳ４１と同様の状態を保っている。

また、この状態において、携帯電子機器１ａは、第２の画像Ｐ２ａとしてディスプレイ２に表示されている部分を利用者が編集することを可能にする。例えば、携帯電子機器１ａの利用者は、操作部１３等に対して編集操作を行って、ステップＳ３３のように、あるセルの内容を書き換えることができる。編集操作が行われると、携帯電子機器１ａは、編集内容を第２の画像Ｐ２ａに反映するとともに、第１の画像Ｐ１ａに対応する文書データに反映させる。その結果、第１の画像Ｐ１ａにも、セルの内容の変更が反映される。

また、携帯電子機器１ａは、編集内容を第１の画像Ｐ１ａに対応する文書データに反映させると、その文書データを共有している携帯電子機器１ｂへ更新後の文書データを送信して、携帯電子機器１ｂが保持している文書データと置き換えさせる。その結果、携帯電子機器１ｂは、ステップＳ４３のように、置き換えられた文書データの内容を、プロジェクタ３４から投影される第１の画像Ｐ１ｂと、ディスプレイ２に表示される第２の画像Ｐ２ｂとに反映させる。

なお、ここでは、携帯電子機器１ａでの編集内容を携帯電子機器１ｂの出力に反映させる例を示したが、同様にして、携帯電子機器１ｂでの編集内容を携帯電子機器１ａの出力に反映させることもできる。また、ここでは、データそのものを送信することで遠隔の電子機器に編集内容を反映させることとしたが、編集内容又は差分データを送信することで遠隔の電子機器に編集内容を反映させてもよい。

また、共有されるデータをサーバ装置等の第３の装置に保持させることとしてもよい。この場合、例えば、携帯電子機器１ａ及び１ｂは、受け付けた編集内容を第３の装置へ送信し、第３の装置は、受信した編集内容をデータに反映させる。そして、携帯電子機器１ａ及び１ｂは、第３の装置から最新のデータを定期的に取得し、取得したデータの内容をプロジェクタ３４から投影する画像と、表示部３２に表示する画像とに反映させる。

図９に示すように、プロジェクタ３４とディスプレイ２とを組み合わせてデータを編集する方式は、共有されたデータの編集にも有用である。この方式によれば、例えば、電話会議のように異なるサイト間で会議を行う場合に、共有されているデータに対応する画像をそれぞれのサイトで投影して閲覧しつつ、一方のサイトでの編集内容を他方のサイトの投影内容に反映させることができる。

なお、上記の実施形態で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、プロジェクタ３４が、ディスプレイ２の反対側以外の面から画像を投影することとしてもよい。

また、上記の実施形態では、編集対象のデータの例として、画像データ及び文書データを示したが、本発明の編集対象のデータはこれに限定されない。本発明は、例えば、動画データ、音声データ、拡張現実（Augmented Reality）空間のタグデータ等の多様なデータを編集対象とすることができる。拡張現実空間とは、現実の世界に重畳して電子的に構築された空間である。

また、上記の実施形態では、操作部１３が、操作キー１３Ａ及び方向及び決定キー１３Ｂによって構成される例を示したが、操作部１３は、ディスプレイ２に重畳されたタッチパネルを含んでもよい。すなわち、表示部３２が操作部１３の機能を兼ねることとし、利用者が、ディスプレイ２に表示される画像を参照しつつ、ディスプレイ２に重畳されたタッチパネルに指等で触れることで編集操作を行うことができるようにしてもよい。

また、上記の実施形態では、携帯電子機器１が、姿勢や位置の変化に応じてディスプレイ２に表示する第２の画像をスクロールさせたり、拡大／縮小させたりする例を示したが、携帯電子機器１が、操作部１３において検出された操作に応じて第２の画像のスクロール等を行うこととしてもよい。

１ 携帯電子機器
１Ｃ 筐体
２ ディスプレイ
１３ 操作部
１３Ａ 操作キー
１３Ｂ 方向及び決定キー
２２ 処理部
２２ａ プロジェクタ制御部
２２ｂ 画像処理部
２２ｃ 条件判定部
２２ｄ 姿勢・位置演算部
２２ｅ 投影補正部
２２ｆ 連係出力制御部
２２ｇ データ編集部
２４ 記憶部
３０ 音声処理部
３１ 可視光照射装置
３２ 表示部
３４ プロジェクタ
３５ 描画装置
３６ 距離センサ
３８ 加速度センサ
３９ 焦点調整装置
４０ カメラ

Claims (8)

1. 画像を投影する投影部と、
   画像を表示する表示部と、
   操作を受け付ける操作部と、
   前記投影部に第１の画像を投影させるとともに、前記表示部に前記第１の画像の少なくとも一部を第２の画像として表示させ、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分を編集するための編集操作を前記操作部から受け付ける処理部と、
   携帯電子機器の姿勢又は位置の少なくとも一方の変化を検出する検出部と
   を備え、
   前記処理部は、
   前記検出部の検出結果に基づいて、前記第１の画像のうち前記第２の画像として前記表示部に表示される部分の位置又は範囲の少なくとも一方を変化させ、
   当該携帯電子機器の位置が前記投影部によって画像が投影される投影面に近づいたことが前記検出部によって検出された場合に、前記表示部に表示される前記第２の画像が拡大されるように、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分の範囲を狭めることを特徴とする携帯電子機器。
2. 前記処理部は、当該携帯電子機器の位置が前記投影面から遠ざかったことが前記検出部によって検出された場合に、前記表示部に表示される前記第２の画像が縮小されるように、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分の範囲を拡げることを特徴とする請求項１に記載の携帯電子機器。
3. 前記処理部は、当該携帯電子機器の位置が前記投影面と平行方向に移動したことが前記検出部によって検出された場合に、前記第１の画像に対応するデータのうち、前記第２の画像として表示されている部分の範囲を、当該携帯電子機器の移動方向に応じて移動させることを特徴とする請求項１又は２に記載の携帯電子機器。
4. 前記処理部は、前記検出部の検出結果に基づいて、前記第１の画像が投影対象の一定の範囲に一定の大きさで投影されるように前記投影部を制御することを特徴とする請求項１から３のいずれか１項に記載の携帯電子機器。
5. 前記処理部は、前記操作部で受け付けられた操作に基づいて、前記第１の画像のうち前記第２の画像として前記表示部に表示される部分の位置又は範囲の少なくとも一方を変化させることを特徴とする請求項１から４のいずれか１項に記載の携帯電子機器。
6. 前記処理部は、前記第１の画像のうち前記第２の画像として前記表示部に表示される部分の位置及び範囲を前記第１の画像中に示すことを特徴とする請求項１から５のいずれか１項に記載の携帯電子機器。
7. 前記処理部は、前記操作部で前記編集操作が受け付けられた場合に、当該編集操作に基づく変更を前記第１の画像に反映させることなく前記第２の画像に反映させ、前記操作部で所定の保存操作が受け付けられた後に、前記編集操作に基づく変更を前記第１の画像に反映させることを特徴とする請求項１から６のいずれか１項に記載の携帯電子機器。
8. 前記処理部は、前記データが他の装置と共有されている場合に、前記他の装置から送信された編集内容に基づく変更を前記第１の画像及び前記第２の画像に反映させることを特徴とする請求項１から７のいずれか１項に記載の携帯電子機器。

Images