以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
第1筐体1CAのヒンジ機構8とは反対側には、画像投影部であるプロジェクタ34、及び、画像が投影される面の画像を撮影(取得)するカメラ40が設けられる。なお、プロジェクタ34の光出射部、カメラ40の撮影窓は、第1筐体1CAの外部に露出している。このような構成により、プロジェクタ34によって画像を投影対象物に投影することができる。また、カメラ40により画像を投影する画像との距離を取得することで、プロジェクタ34が投影する画像の焦点を自動的に合わせたりすることができる。なお、カメラ40により画像を投影する領域の画像を取得することで、投影する画像の大きさ、焦点距離を調整することもできる。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、外部記憶部25と、送受信部26と、操作部13と、音声処理部30と、表示部32と、プロジェクタ34と、近距離通信部36と、カメラ40と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32、近距離通信部36等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムや、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させたりプロジェクタ34に投影させたりするアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、プロジェクタ34の動作を制御するプロジェクタ制御部22a、プロジェクタ34に表示させる画像を生成する画像処理部22b、カメラ40で取得した画像や、操作部13からの入力に基づいて投影領域の条件を判定する条件判定部22c、投影面に対する筐体1Cの姿勢、位置を演算して算出する姿勢・位置演算部22d、複数の画像データからプロジェクタ34に投影させる画像を決定する投影画像決定部22e、カメラ40の動作を制御するカメラ制御部22f、プロジェクタ34による画像投影時に、カメラ40で取得した情報に基づいて認証処理を行い、画像が投影可能であるかを判定する認証処理部22gを有する。プロジェクタ制御部22a、画像処理部22b、条件判定部22c、姿勢・位置演算部22d、投影画像決定部22e、カメラ制御部22f、認証処理部22gがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、プロジェクタ34やカメラ40の駆動を制御するアプリケーションプログラムを作動させるタスクや、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
外部記憶部25は、外部メモリと、接続端子で構成され、外部メモリが筐体1Cに対して着脱可能な記憶装置である。外部メモリには、記憶部24と同様に各種ソフトウェアやデータが記憶されている。外部記憶部25は、接続端子を介して外部メモリと処理部22とを接続させることで、記憶部24と同様に、外部メモリに対して、情報の書き込み、読み取りを行う。なお、外部記憶部25は、外部メモリが着脱可能であるため、処理部22に接続する外部メモリを交換することができる。なお、外部メモリとしては、SDカード(登録商標)、メモリースティック(登録商標)、スマートメディア、USBメモリ等の各種記憶媒体を用いることができる。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Monitor)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
プロジェクタ34は、光源と、画像データに基づいて前記光源から射出された光を投影するか否かを切り換える光学系とで構成されている。本実施形態において、プロジェクタ34は、光源である可視光照射装置(可視光照射手段)31と、光学系である描画装置35と、焦点調整装置39とを含んで構成される。可視光照射装置31は、可視光のレーザー光を照射する。可視光領域の光は、短波長側が360nm以上400nm以下、長波長側が760nm以上830nm以下の光であり、本実施形態において、可視光照射装置31は、R(Red)、G(Green)、B(Blue)の3色の光を照射する。
描画装置35は、可視光照射装置31から照射される3色の光を合成するとともに、画像投影対象に照射する。描画装置35は、光源から射出された光を透過させるか否かを切り換える切り換え素子、及び当該切り換え素子を通過した光をラスター走査させるミラーを含んで構成される。そして、描画装置35は、ミラーによって可視光照射装置31から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
前記ミラーとしては、例えば、MEMS(Micro Electro Mechanical System)ミラーが用いられる。MEMSミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置31から照射される可視光を走査し、可視画像や不可視画像を生成する。この場合は、ミラーによって光源から照射された光の角度を変えて、画像投影対象の全面に光源から照射された光を走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。このように、プロジェクタ34は、スキャン方式のプロジェクタである。なお、プロジェクタ34の構成は、上述したレーザーを光源とするものに限定されるものではない。例えば、プロジェクタ34は、ハロゲンライトや、LED光源、LD光源を光源とし、LCD(Liquid Crystal Display)や、DMD(Digital Micro-mirror Device)を光学系に備える構成のプロジェクタを用いてもよい。
焦点調整装置39は、プロジェクタ制御部22aからの指令により、描画装置35から投影される可視画像が画像投影対象上で結像させる機能(焦点調整機能)を有する。焦点調整装置39は、例えば、可動するレンズ等で構成される焦点調整機構を備えており、レンズを動かすことで前記焦点調整機能を実現する。また、焦点調整装置39は、プロジェクタ34が投影する画像のデータに対して画像処理部22bによって所定の画像処理を施すことにより、前記焦点調整機能を実現するものであってもよい。さらに、焦点調整装置39は、焦点調整機能及び画像処理によって前記焦点調整機能を実現するものであってもよい。
図4は、図1に示す携帯電子機器のプロジェクタで画像を表示させている状態を示す説明図である。上述したように、プロジェクタ34は、画像を投影する画像投影部であり、画像投影面が携帯電子機器1の筐体1Cの外部に露出している。携帯電子機器1は、プロジェクタ34から画像を投影することで、図4に示すように、プロジェクタ34の画像投影面と対向する位置の画像投影対象(例えば、壁面やスクリーン等)のうち、所定の領域(投影領域)PAに画像Pを投影させることができる。なお、プロジェクタ34は、処理部22により動作が制御され、処理部22から送られる種々の映像、例えば動画やプレゼンテーション資料等を投影し、投影領域PAに表示させる。
次に、近距離通信部36は、近距離無線通信技術を用いて、他の通信装置と通信を行う通信部である。なお、近距離無線通信技術としては、赤外線通信(IrDA(登録商標)、IrMC(登録商標)、IrSimple(登録商標))や、可視光通信や、Bluetooth(登録商標)や、磁界通信(RFID、Radio Frequency Identification)技術を用いることができる。例えば、近距離通信部36は、磁界通信を用いる場合、自身を特定するICタグと、他の通信装置が有するICタグを読み取る読取部とを有する。
カメラ40は、上述したようにプロジェクタ34の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する撮像機構である。つまり、カメラ40は、プロジェクタ34が光を射出する方向の画像を取得する。なお、カメラ40は、プロジェクタ34により投射される画像の投射画角よりも広い画角で画像を撮影する撮影機構であり、プロジェクタ34により画像が投影される投影領域よりも広い領域の画像を撮影することができる。携帯電子機器1は、基本的に以上のような構成である。
次に、図5を用いて携帯電子機器のプロジェクタの画像投影動作を説明する。ここで、図5は、携帯電子機器の動作の一例を示すフロー図である。なお、図5に示す動作は、プロジェクタ34が起動されたら常に行うようにしても、図5に示す動作を行うモードの実行指示が入力されたら実行するようにしてもよい。なお、図5に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理しても、外部記憶部25に記憶されたアプリケーションを実行して処理してもよい。つまり、図5に示す動作を実行させるプログラムは、いずれの領域に記憶されていてもよい。またプログラムは、外部からダウンロードして取得することができ、外部記憶部25から読み取ることで取得することもできる。なお、図5に示すフロー図では、携帯電子機器1のプロジェクタ34の画像の投影領域に特定の印刷物が配置されている。
まず、携帯電子機器1の処理部22は、プロジェクタ34の起動指示が入力されたら、ステップS12として、カメラ40及びプロジェクタ34を起動させる。なお、起動指示の入力時に、カメラ40とプロジェクタ34が起動されている場合は、そのまま、ステップS14に進む。また、プロジェクタ34の起動処理は、プロジェクタ制御部22aで行うことができ、カメラ40の起動処理は、カメラ制御部22fで行うことができる。
処理部22は、ステップS12でカメラ40及びプロジェクタ34を起動させたら、ステップS14として、カメラ制御部22fによりカメラ40の動作を制御し、投影領域の画像(投影面に表示されている画像)を取得する。処理部22は、ステップS14で投影領域の画像を取得したら、ステップS16として、条件判定部22cにより投影領域の条件を判定する。具体的には、処理部22は、画像処理部22bにより、撮影した投影領域の画像を解析し、投影領域に表示されている画像の構成を検出する。その後、処理部22は、画像処理部22bでの処理により検出した投影領域の表示画像の構成に基づいて、投影領域の条件を判定する。
処理部22は、ステップS16で投影領域の条件を判定したら、ステップS18として、投影画像決定部22eにより投影する画像(画像データ)を決定する。具体的には、処理部22は、投影画像決定部22eにより、ステップS16で判定した投影領域の条件(識別情報)に基づいて、投影領域に載置されている印刷物等を特定し、特定した印刷物等に対応する画像データを抽出し、投影する画像として決定する。なお、画像データは、記憶部24または外部記憶部25に記憶されており、特定した印刷物に対応する画像データには、印刷物の情報が関連付けて記憶されている。したがって、投影画像決定部22eは、印刷物の情報をキーとして、記憶部24または外部記憶部25に記憶されている画像データを検索することで、対応する画像データを抽出することができる。なお、処理部22は、投影を決定した画像データに付帯する(紐付けされた)情報がある場合は、その付帯する情報も画像データとともに抽出する。
処理部22は、ステップS18で投影する画像を決定したら、ステップS20として、処理部22の認証処理部22gにより、認証要求があるかを判定する。認証処理部22gは、認証要求があるか否かを、読み取った投影領域の画像、または、取得した画像データに付帯した(紐付けされた)情報に基づいて判定する。例えば、投影領域の画像に所定の形状の識別情報(コード、文字、記号)が含まれている場合は、認証要求があると判定する。また、画像データに付帯した(紐付けされた)情報に、認証要求があることを示すデータが含まれている場合は、認証要求があると判定する。処理部22は、ステップS20で認証要求なし(ステップS20でNo)と判定したら、ステップS28に進む。
また、処理部22は、ステップS20で認証要求あり(ステップS20でYes)と判定したら、ステップS22として、認証処理部22gにより、認証処理を行う。ここで、認証処理は、予め設定されている条件に基づいて、各種処理を行い、画像を投影できる条件を満足しているか、投影許可状態であるかを判定する。
ここで、投影許可であるか否かの判定の基準としては、認証処理として、認証対象情報(例えば、読み取った画像に含まれる認証対象情報)を、送受信部26を介して外部の通信機器に出力するなどの所定の動作を実行したか、認証対象情報(例えば、読み取った画像に含まれる認証対象情報)が予め設定されている認証対象情報と一致したか、送受信部26を介して外部の通信機器から投影許可の指示を取得したか等である。なお、認証対象情報とは、識別処理で特定される情報であり、識別情報と同じ画像(情報)を含む種々の情報を用いることができる。また、認証対象情報には、携帯電子機器1の端末情報等の読み取った画像が取得することができる情報以外の携帯電子機器1の情報も含めることができる。また、認証処理部22gは、投影許可であるか否かを判定する基準を、読み取った投影領域の画像、または、取得した画像データに付帯した(紐付けされた)情報に基づいて決定する。
処理部22は、ステップS22で認証処理を行ったら、ステップS24として、投影許可であるか、つまり、ステップS22で行った認証処理により、ステップS18で投影する画像データとして決定した画像をプロジェクタ34から投影できる状態となったか否かを判定する。
処理部22は、ステップS24で投影許可ではない(ステップS24でNo)、つまり、投影が不許可であると判定したら、ステップS26として、プロジェクタ制御部22aにより、プロジェクタ34から投影が不可である、つまり、対応する画像が投影できないことを示すメッセージを投影させる。その後、処理部22は、対応する画像が投影できないことを示すメッセージを投影した後、一定時間が経過したら、または、操作者によりプロジェクタ34の投影機能を停止する指示が入力されたら、ステップS34に進む。
処理部22は、ステップS20で認証要求なし(ステップS20でNo)と判定したら、または、ステップS24で投影許可(ステップS24でYes)と判定したら、ステップS28として、プロジェクタ制御部22aによりプロジェクタ34の動作を制御し、プロジェクタ34から、ステップS18で決定した画像を投影する。
処理部22は、ステップS20で画像を投影したら、ステップS30として投影領域の画像の切り替えがあったか、つまり、投影領域に配置されている印刷物が切り替わったかを判定する。なおこの判定は、例えば、カメラ40により画像を取得し、その画像と前の画像とを比較することで行うことができる。処理部22は、ステップS30で画像の切り替えあり(ステップS30でYes)、つまり、ステップS14で取得した際に投影領域に配置されていた画像(印刷物)とは異なる画像(印刷物)が投影領域にあると判定したら、ステップS14に進み、上記ステップS14以降の処理を行い、投影領域にある画像に合わせて、プロジェクタ34から投影する画像を切り替える。
また、処理部22は、ステップS30で画像の切り替えなし(ステップS30でNo)と判定したら、ステップS32として投影終了の指示があるかを判定する。処理部22は、ステップS24で終了指示なし(ステップS32でNo)と判定したら、ステップS30に進み、ステップS30の処理を行う。また、処理部22は、ステップS32で投影終了(ステップS32でYes)と判定したら、また、ステップS26の処理が完了したら、ステップS34として、カメラ40及びプロジェクタ34を停止させて、本処理を終了する。なお、カメラ40及びプロジェクタ34は、それぞれカメラ制御部22f及びプロジェクタ制御部22aの制御により停止させることができる。
次に、具体例を用いて、携帯電子機器1についてより詳細に説明する。ここで、図6−1及び図6−2は、それぞれ、携帯電子機器の動作の他の例を説明するための説明図である。図7−1及び図7−2は、それぞれ、携帯電子機器の動作の一例を説明するための説明図である。なお、図6−1から図7−2では、携帯電子機器1を簡単な箱形状として示す。まず、図6−1に示す例は、投影領域に印刷物100が配置されている。ここで、印刷物100は、絵本の一場面の画像が印刷されている。具体的には、印刷物100には、背景となる家、木、雲の画像、及び、内容の文章が印刷されている。
携帯電子機器1は、図5に示す処理により、投影領域に印刷物100があること、つまり絵本等の一場面、所定のページであることを検出したら、印刷物100に対応する画像データを取得する。その後、携帯電子機器1は、認証処理を行い、投影許可ありを判定する。携帯電子機器1は、認証処理において、上述したように、取得した識別情報及び投影する画像データに対応付けられている情報の少なくとも一方に基づいて、認証処理を行い、認証処理で投影許可となったら(設定した条件を満たしていると判定したら)、図6−2に示すように、プロジェクタ34から投影領域に人物102の画像を投影する。なお、これにより、印刷物100上には、印刷された各構成に加え、人物102の画像が表示された状態とすることができる。なお、本実施形態では、人物の画像を投影したが、物や、風景を投影するようにしてもよい。
また、携帯電子機器1は、認証処理において設定した条件を満たしていないと判定したら、対応する画像ではなく、図6−3に示すように、画像が投影できないこと(投影不可)を示すメッセージ104を投影する。なお、図6−3に示すメッセージ104は、「この機器では、投影できません」という文章で構成されている。
次に、図7−1に示す例では、投影領域に印刷物110が配置されている。ここで、印刷物110は、新聞の一紙面である。具体的には、印刷物110には、新聞の名称、見出し、各ニュースの内容の文章が印刷されている。また、印刷物110には、枠111が印刷されており、枠111の中は空白となっている。
携帯電子機器1は、図5に示す処理により、投影領域に印刷物110があること、つまり、どの新聞のいつの、どのページであるかを検出したら、印刷物110に対応する画像データを取得する。その後、携帯電子機器1は、認証処理を行い、投影許可ありかを判定する。携帯電子機器1は、認証処理において、上述したように、取得した識別情報及び投影する画像データに対応付けられている情報の少なくとも一方に基づいて、認証処理を行い、認証処理で投影許可となったら(設定した条件を満たしていると判定したら)、図7−2に示すように、プロジェクタ34から投影領域のうち印刷物110の枠111に対応する領域に画像112を投影する。これにより、印刷物110上には、印刷された各構成に加え、枠111内に画像112が表示された状態とすることができる。また、携帯電子機器1は、認証処理において、設定した条件を満たしていないと判定したら、上述と同様に画像が投影できないことを示すメッセージを投影する。
このように、携帯電子機器1は、投影領域の画像に対応する画像をプロジェクタ34から投影することで、つまり、投影領域の画像にプロジェクタ34から投影した画像を重ねて1つの画像を作成することで、簡単に有効性の高い画像を作成することができる。
ここで、印刷物のみで画像を構成する場合、印刷した後は更新することができず、画像を動かすことができない。また、プロジェクタのみで画像を投影する場合は、鮮明な画像を表示することが困難である。また、細かい文字まで読みやすい画像を投影するためには、高価で高い性能のプロジェクタを搭載させる必要があり、装置が大型化し、構成も複雑になり、装置コストも高くなる。これに対して、携帯電子機器1は、投影領域にある印刷物の画像に合わせて、必要な画像を投影しているため、印刷物とプロジェクタの両方の利点を併せ持つことができる。例えば、印刷物で高解像度な画像を表示させることができ、プロジェクタにより一部の画像を動かす、つまり動画とすることができる。また、携帯電子機器1のプロジェクタ34により投影する画像も投影領域の一部となるため、画像処理の負荷を低減することができ、消費電力を少なくすることができる。
また、携帯電子機器1は、認証処理を行うことで、適切な状態である場合のみ画像を投影させることが可能となる。例えば、印刷物と投影画像のデータが取得されても、認証処理の条件を満たさない携帯電子機器では投影できないようにすることができる。これにより、印刷物に投影画像を投影して完成する画像が不特定の第三者に閲覧されることを抑制することができる。
また、認証処理の条件を、印刷物及び投影する画像の作成元のサーバーに携帯電子機器1の端末情報を送信したら、投影を許可するという条件とすることで、作成元は、画像を投影した携帯電子機器1の端末情報を取得することができる。これにより、例えば画像データを外部記憶部に記憶している場合でも、印刷物及び投影する画像がこれらの投影許可を得た端末で、投影されているかを判定することができる。これにより、印刷物及び投影データが不適切な状態、例えば違法コピーなどにより閲覧されることを抑制することができる。また、登録されていない携帯電子機器1の端末情報を取得したら、当該携帯電子機器1に対して課金処理を行うこともできる。
また、上述したように、細かい文字、画像は、印刷物に予め印刷することができるため、プロジェクタの性能を高くしなくても、投影領域に表示される画像を鮮明で高解像度の画像とすることができる。
また、携帯電子機器1は、印刷物と投影された画像とを組み合わせた1つの表示物として完成するコンテンツを形成させることができる。また、印刷物と画像データとを1つの商品、パッケージとして流通させることができる。例えば、印刷物と、画像データを記憶した外部メモリとをパッケージとして流通させることで、利用者は、携帯電子機器1の外部記憶部25に外部メモリを連結させて、画像データを取得し、投影領域に印刷物を配置することで、撮影領域にある印刷物上に外部メモリに記憶されている画像を投影することができる。
また、印刷物、画像データの一方のみでは、画像として完成しないため、画像データ、印刷物の一方を管理することで画像が許可なく複製されたり、売買されたりすることを抑制することができる。例えば、1つの印刷物に対する画像データの取得回数や、取得可能端末数を制限しておいたり、画像データの取得時に、画像データの提供者に通知が送信される設定としたりすることで、画像データの利用を制限することができる。これにより、完成された画像は、特定の利用者のみが閲覧可能とすることができる。
ここで、携帯電子機器1がカメラ40で取得した画像から、表示領域に配置された画像(例えば、印刷物)を特定する方法としては、種々の画像処理方法を用いることができる。例えば、携帯電子機器1は、印刷物、描画された絵、記入された文字等の投影領域の画像から、特定の文字、記号等の識別情報を抽出することで、投影領域の画像を特定することができる。また、携帯電子機器1は、四辺のエッジ検出等を行うことで、投影領域内の画像を特定することができる。以下、図8を用いて、一例を説明する。ここで、図8は、携帯電子機器の動作を説明するための説明図である。なお、図8では、携帯電子機器1を簡単な箱形状として示す。図8に示す例では、投影領域に印刷物120が配置されている。印刷物120は、新聞の一紙面であり、新聞の名称が記載された文字列122、見出し、各ニュースの内容の文章が印刷されている。また、印刷物120には、2次元バーコード124が印刷されている。
携帯電子機器1は、カメラ40で取得した画像から、文字列122を抽出することで、投影領域にある印刷物が新聞であることを特定することができる。なお、携帯電子機器1は、投影領域の全体における、文字列122の位置の情報等も加味することで、つまりレイアウト情報を加味することで、印刷物をより適切に特定することができる。また、この場合、携帯電子機器1は、さらに画像から、発行日、ページ数の情報を取得することで、印刷物を特定することができる。また、携帯電子機器1は、カメラ40で取得した画像から、2次元バーコード124を抽出することでも、印刷物を特定することができる。2次元バーコード124を用いる場合は、2次元バーコードに印刷物が新聞であること、発行日、ページ数の情報を含めることができる。これにより、携帯電子機器1は、2次元バーコード124を読み取るのみで、印刷物を特定することができる。
携帯電子機器1は、以上のようにして、投影領域の画像を特定し、特定した画像に対応する画像を取得し、投影領域に投影することで、投影領域に、予め配置されている画像に投影画像を重ねた画像を表示させることができる。
なお、携帯電子機器1は、投影させる画像を記憶部24または外部記憶部25に記憶されている画像データの中から特定したが、本発明はこれに限定されない。携帯電子機器1は、投影させる画像を、送受信部26を介した通信で、外部のサーバー等から取得してもよい。例えば、投影領域にある画像として印刷物を特定したら、その印刷物を発行している出版社のデータベースにアクセスし、投影する画像のデータを取得してもよい。また、2次元バーコードを用いる場合は、2次元バーコードの情報にURLを含めるようにしてもよい。また、印刷物の一部に、投影する画像のデータが保存されているURLを印刷しておいてもよい。
また、投影する画像を外部のサーバー(投影する画像の作成者等)に保存させておき、携帯電子機器1は、投影時に、毎回外部のサーバーから画像データを取得する設定としてもよい。これにより、作成者は、投影する画像を更新し、最新の画像データを供給することができる。これにより、画像データの誤植の訂正や、データの更新が簡単に行うことができる。
また、携帯電子機器1は、近距離通信部36を介して情報の送受信を行ったが、近距離通信部36を介して、投影する画像データを取得したり、認証処理の条件の取得、認証対象情報の送受信を行ったりしてもよい。
また、投影領域の画像は、識別情報以外は、何も記載されてない画像としてもよい。例えば、投影領域に識別情報のみが記載された白紙を載置した状態としても、携帯電子機器は、識別情報に基づいて、認証処理を行い、特定の画像を投影領域(白紙上)に投影することができる。
ここで、図9−1は、携帯電子機器の動作の一例を説明するための説明図であり、図9−2は、携帯電子機器の動作の一例を説明するための説明図である。図9−1に示す例では、投影領域に印刷物130が配置されている。ここで、印刷物130は、基本的に白紙である。具体的には、印刷物130には、2次元バーコード132が印刷されている以外は、文字、文章は記載されていない。
携帯電子機器1は、図5に示す処理により、投影領域の画像にある印刷物130の2次元バーコード132を検出したら、2次元バーコード132に基づいて印刷物130に対応する画像データを取得する。その後、携帯電子機器1は、認証処理を行い、投影許可ありと判定かを判定する。携帯電子機器1は、認証処理において、上述したように、取得した識別情報及び投影する画像データに対応付けられている情報の少なくとも一方に基づいて条件を設定し、設定した条件を満たしていると判定したら、図9−2に示すように、プロジェクタ34から投影領域のうち印刷物130に画像134を投影する。これにより、印刷物130上には、画像134が表示された状態とすることができる。なお、画像134は、企画書であり、社外秘の機密文書である。
このように、携帯電子機器1は、識別情報以外は記載されていない印刷物に対して画像を投影することができる。また、このように社外秘の機密文書は、投影させないようにすることで、印刷物を紛失したり、盗難された場合も、認証されない携帯電子機器には画像が投影されたりしないため、機密情報、秘密情報に対するセキュリティを高くできる。また、認証処理の条件を、特定の携帯電子機器に対してのみ投影可能とする条件とすることで、許可をしていない携帯電子機器では、閲覧できないようにすることができる。条件の設定方法として、例えば、最初に認証処理を行った携帯電子機器の端末情報を取得しておけばよい。これにより、次回以降は、端末情報が一致するかで判定することができる。また、許可する携帯電子機器を複数とすることもできる。また、認証処理時に端末情報を管理しているサーバーに送り、サーバーで一致するかを判定するようにしてもよい。尚、端末情報としては、たとえば端末ごとに付与された製造番号やSIMカード(Subscriber Identity Module Card)等のユーザーID情報が採用可能である。要は、投影する端末が特定できればどのような情報でもよい。
また、携帯電子機器1は、さらに、投影領域にある画像の中から記入された署名を検出し、認証処理で、その署名を処理するようにしてもよい。図10−1は、携帯電子機器の動作の他の例を説明するための説明図であり、図10−2は、携帯電子機器の動作の他の例を説明するための説明図であり、図10−3は、携帯電子機器の動作の他の例を説明するための説明図である。
図10−1に示す例では、投影領域に印刷物140が配置されている。ここで、印刷物140も、基本的に白紙である。具体的には、印刷物140には、2次元バーコード142と、署名の記入欄144が印刷されている以外は、文字、文章が記載されていない。
携帯電子機器1は、図5に示す処理により、投影領域の画像にある印刷物140の2次元バーコード142を検出したら、2次元バーコード142に基づいて印刷物140に対応する画像データを取得する。その後、携帯電子機器1は、認証処理を行い、投影許可ありかを判定する。ここで、本実施形態の携帯電子機器1は、認証処理において、署名欄144に設定した署名が記入されているかを判断する。携帯電子機器1は、図10−2に示すように、署名の記入欄144に、条件を満たす署名146が記入されている場合は、プロジェクタ34から投影領域のうち印刷物140に画像148を投影する。これにより、印刷物140上には、画像148が表示された状態とすることができる。なお、画像148も、企画書であり、社外秘の機密文書である。なお、図10−2には、署名146として、「A野B助」という名前が記入されている。
また、携帯電子機器1は、認証処理において、図10−3に示すように、署名の記入欄144に、条件を満たさない署名144が記入されている場合は、設定した条件を満たしていないと判定し、対応する画像ではなく、図10−3に示すように、画像が投影できないこと(投影不可)を示すメッセージ152を投影する。なお、図10−3に示すメッセージ152は、「画像は投影できません」という文章で構成されている。なお、図10−3には、署名150として、「C山D助」という名前が記入されている。
ここで、携帯電子機器1は、検出した署名の文字が、設定されている署名の情報と一致したら条件を満たすとしてもよいが、筆跡が一致するかまで判定するようにしてもよい。また、検出した署名の氏名と、端末情報として記憶されている氏名が一致したら、条件を満たすという設定にしてもよい。
また、署名の記入欄に署名が記入されていることを検出したら、条件を満たすという設定にしてもよい。このように署名が記入されているのみで、投影許可とした場合でも、署名の情報を所定のサーバーで管理することで、その画像の投影を要求した人物の署名の記録を残すことができる。
また、本実施形態のように署名を認証処理に用いることで、投影領域に載置する印刷物は、インターネット等を介して取得した画像データで2次元バーコードと署名欄を印刷した印刷物を用いた場合であっても、特定の署名を入力できる利用者のみが、対象の画像を閲覧できるようにすることができる。
なお、認証処理は、毎回行うことが好ましいが、最初の一回のみ認証処理を行い、一度投影許可と設定されたら、次回以降は、認証処理を行わない設定としてもよい。また、投影領域に対応して投影する画像データ(印刷物に対応して投影する画像データ)は、設定された領域以外では、保存できないようにすることが好ましい。また、携帯電子機器1は、画像の投影が終了したら、投影した画像のデータは、所定の記憶領域以外、例えばメモリ、キャッシュから削除することが好ましい。これにより、投影する画像のデータが不当にコピーされたり、閲覧されたりすることを抑制することができる。
また、携帯電子機器1は、投影領域の画像に対応して投影する画像を加工してもよい。また、投影領域の画像に対応付けられた画像として、携帯電子機器1で加工をした画像や、作成した画像を用いてもよい。また、投影領域の画像に対応付けて予め設定されている画像を変更できるようにしてもよい。なお、対応付ける画像を変更する場合は、変更した画像に、投影領域の画像の識別情報の紐付けデータを加えた形で、記憶部24または外部記憶部25に記憶させればよい。
また、携帯電子機器1は、カメラ40で取得した画像データから投影領域(投影面)までの距離、及び投影領域の画像との位置関係を算出し、プロジェクタ34から投影する画像の投影領域内における位置、大きさを調整するようにしてもよい。また、携帯電子機器1は、プロジェクタ34で画像を投影した状態の投影領域の画像を取得し、その取得結果に基づいて、プロジェクタ34から投影する画像の投影領域内における位置、大きさを調整するようにしてもよい。このように、投影する画像の投影領域内における位置、大きさを調整することで、より適正な画像を投影領域内に表示させることができる。
また、携帯電子機器1は、カメラ40で取得した画像と、投影する画像とを組み合わせた画像、つまり投影領域に表示される画像(投影された状態の予測画像)を表示部32に表示させるようにしてもよい。これにより、投影領域に投影される画像を表示部32で確認することができる。なお、携帯電子機器1は、投影許可操作が入力されてから、プロジェクタ34から画像を投影するようにしてもよい。
また、上記実施形態では、投影領域に対して、携帯電子機器1を移動自在な状態としたが、本発明はこれに限定されず、投影領域となる専用スクリーンを設け、専用スクリーンに対して、携帯電子機器1を特定の位置に固定するユニットとしてもよい。ここで、図11−1は、画像投影ユニットの概略構成を説明するための斜視図であり、図11−2は、画像投影ユニットの携帯電子機器の概略構成を説明するための説明図である。図12−1は、専用スクリーン及び支持台の概略構成を説明するための斜視図であり、図12−2は、専用スクリーン及び支持台の概略構成を説明するための上面図である。なお、図12−1及び図12−2は、共に専用スクリーンに印刷物を載置した状態を示す。図11−1に示す画像投影ユニット200は、携帯電子機器201と、支持台202と、専用スクリーン204とを有する。
携帯電子機器201は、図11−2に示すように、直方体形状の筐体201Cを有する。また、筐体201Cの一面には、支持台202と連結するための連結機構220が設けられている、また、筐体201Cの長手方向の端面には、プロジェクタ234の光射出部とカメラ240の撮影窓とが設けられている。なお、携帯電子機器201は、これらの点を除いて、他の構成は、基本的に携帯電子機器1と同様であるので、説明は省略する。
図12−1及び図12−2に示すように、支持台202は、携帯電子機器201を所定位置に固定する支持機構であり、筐体201Cの連結機構220と連結する連結機構222が設けられている。例えば、連結機構220がねじ穴である場合、支持台202の連結機構222は、ねじである。また、支持台202は、専用スクリーン204に固定されている。
図12−1及び図12−2に示すように、専用スクリーン204は、板状部材であり、表面が携帯電子機器201の固定位置と対面している。専用スクリーン204は、図11−1に示すように、表面に、支持台202に固定された携帯電子機器201のプロジェクタ234から出力された画像が投影される。つまり、プロジェクタ234の投影領域205が専用スクリーン204の表面の所定の領域となる。
また、専用スクリーン204は、表面に印刷物206を設置する設置領域が設けられている。さらに、専用スクリーン204は、表面に案内表示210が形成されている。ここで、案内表示210は、専用スクリーン204の表面に載置する印刷物206の載置位置の基準を示している。案内表示210が表示されている位置が、一方向の中心となるように印刷物206を載置することで、投影領域205と印刷物206との関係が一定となる。
画像投影ユニット200は、以上の構成であり、携帯電子機器201を支持台202に固定し、かつ、印刷物206を専用スクリーン204の所定の位置に載置することで、投影領域205にある印刷物206にプロジェクタ234から印刷物206に対応する画像を投影することができる。
ここで、画像投影ユニット200は、投影領域と、印刷物206の位置(撮影領域の画像の位置)との位置関係が一義に決まる。これにより、相対的な位置調整をすることなく、投影領域に適切な画像を表示させることができる。また、投影領域の画像と、投影する画像との位置ずれの発生も低減することができる。
また、専用スクリーン204と支持台202とが一体であるため、携帯電子機器201のプロジェクタ234から投影される光が専用スクリーン204上以外の領域を照射する恐れを低減することができる。これにより、プロジェクタ234をより安全に利用することができる。
また、携帯電子機器201は、上述した認証処理で、カメラ240で撮影した投影領域の画像に基づいて、専用スクリーン204が投影領域であるかを判定し、専用スクリーン204が投影領域であると判定したら、投影許可とするようにしてもよい。なお、専用スクリーンであるか否かの判定の基準は、専用スクリーンに識別情報として2次元コード、バーコード等を形成しておき、投影領域の画像に当該識別情報があるかを基準とすることができる。また、上述した案内表示210を識別情報とすることもできる。また、投影領域の画像から、投影面との距離、形状等の情報を取得し、その条件が設定されている条件と一致するかを判定の基準としてもよい。
なお、上記実施形態では、投影領域の画像が絵本等の一場面の画像である場合、投影する画像が人物である例と、投影領域の画像が新聞、投影する画像が枠に表示させる画像(写真)である例として説明したが、投影領域の画像、つまり、印刷物等の投影領域に予め形成、配置されている画像と、投影する画像、つまりプロジェクタから投影する画像との組み合わせは、種々の組み合わせとすることができる。また、いずれの例においても、認証処理により、閲覧できる対象を管理することで、適切な状態で画像を投影することができる。
まず、投影領域の画像(印刷物等)が新聞の画像である場合、投影する画像を、新聞の空欄の枠に動きのある、つまり動画の4コマ漫画としてもよい。また、投影する画像を広告とすることもできる。なお、広告を投影することで、地域や、配布場所、契約者によって投影する広告の内容を変更することができる。また、この場合、日付と対象項目とを識別情報として取得し、その日付に対応する対象項目のデータを投影することもできる。また、印刷物に年齢やジャンルを書き込む領域を設け、その入力結果を読み取ることで、入力結果に対応する小説、記事を投影することもできる。
また、投影領域の画像が漫画の画像である場合、投影する画像を台詞としてもよい。つまり、投影領域にある漫画の吹出しに、台詞を投影するようにしてもよい。これにより、印刷物は、台詞のない状態となり、印刷物だけを見ても全ての内容が把握できない状態とすることができる。これにより、購買意欲を促進することができる。また、操作部への入力等により、利用者が台詞を作製できるようにしてもよい。また、入力された台詞を吹出しに対応付けて記憶することで、繰り返し表示させることができる。また、漫画に種々の台詞を当てはめることができる。
また、投影領域の画像が紙芝居の画像である場合、投影する画像を人物、特定の物としてもよい。なお、投影領域の画像が紙芝居の場合は、背景の画像に基づいてページ数、つまりどの画像であるかを判定することができる。また、投影領域の画像に識別情報のみを表示させるようにしてもよい。この場合も表面の白紙と、裏面に表示されている文字を対応付けしつつ、表示領域に適切な画像を表示させることができる。
また、投影領域の画像が文庫本の画像である場合、投影する画像をあらすじや挿絵としてもよい。なお、この場合、識別情報としては、文章、ページ番号を用いることができる。
また、投影領域の画像が雑誌である場合、識別情報を応募IDとし、投影する画像を当選結果とすることもできる。これにより応募時点で結果を知ることができる。また、識別情報をパズルの問題、ヒントとし、投影する画像をパズルの回答とすることもできる。つまり、雑誌のパズルの問題、ヒントの領域を投影領域に載置することで、パズルの回答を表示させることができる。また、雑誌の順位や枠のみが表示された領域に、ランキングの結果を表示させることもできる。また、投影領域の画像が雑誌である場合、識別情報を商品の記載とし、その表示領域に商品の在庫状況を表示させることもできる。
また、投影領域の画像が参考書、テスト、教科書等の問題である場合、投影する画像を問題の正解や、解説、ヒントとすることもできる。なお、この場合は、問題の番号等が識別情報となる。また、この場合は、投影領域に問題が配置されたら、正解等を表示させてもよいが、時間が経過する毎、また制限時間を経過したら、ヒントや、正解、解説を表示させるようにしてもよい。また、解答が記入された問題が投影領域に配置されたら、その解答をカメラで取得した画像で解析し、点数や、ランクの画像を投影させてもよい。
また、投影領域の画像が地図である場合、投影する画像を目的情報(選択した情報)としてもよい。これにより、必要な情報のみを投影することができ、地図を見やすく利用することができる。また、新しくできた道や、渋滞情報、工事情報等を表示させるようにしてもよい。このような場合も、更新情報の取得を契約している対象者だけが、各種最新の情報を閲覧できるようにすることができる。
また、投影領域の画像が時刻表である場合、投影する画像を車両情報(各時刻に到着する車両の詳細情報、編成、形式)としてもよい。また、投影する画像を、現在の時刻周辺の時刻表、遅延情報、変更情報、次発の発車時刻としてもよい。また、これらの情報の上に、色の画像(例えば、赤、青)の画像を表示させ、対象の電車をわかりやすくするようにすることもできる。
また、投影領域の画像がガイド本の画像である場合、投影する画像を観光地情報、お土産情報、口コミ情報、店舗情報、他言語の翻訳文章としてもよい。なお、観光地情報は、地図に対応して表示させ、お土産情報は、店舗情報に対応して表示させ、口コミ情報は、観光地の画像に対応して表示させ、店舗情報は、地図の画像に対応して表示させ、他言語の翻訳文章は、任意の言語の文章に対応して表示させることが好ましい。
また、投影領域の画像が料理本の画像である場合、投影する画像を説明動画、手順、調理履歴としてもよい。なお、説明動画は、説明文に対応して表示させ、手順は、料理の画像や空欄の枠内に対応して表示させ、履歴は、レシピに対応して表示させることが好ましい。なお、履歴は、そのレシピを閲覧した日時を記憶しておくことで投影することができる。また、利用者が各種項目(調理した日、かかった時間、感想)を入力し、それを履歴として投影してもよい。
また、投影領域の画像が楽譜の画像である場合、投影する画像を履歴や、演奏時間、音符としてもよい。例えば、印刷物として五線譜のみを表示させ、音符を投影することで、許可を得た携帯電子機器だけが、印刷物を楽譜として使用することができる。
また、投影領域の画像が手帳のカレンダーの画像である場合、投影する画像をスケジュールとしてもよい。また、投影領域の画像が手帳の予定の表題の画像である場合、投影する画像をその予定の内容、例えば、打ち合わせの場合、打ち合わせの内容としてもよい。これにより、手帳の印刷物の中身をみられても、個人情報が漏洩することを抑制できる。また、情報をサーバー等で管理している場合でも、許可を得ていない他の携帯電子機器では閲覧できないようにすることができる。
また、投影領域の画像が写真集、写真の画像である場合、投影する画像を撮影日時や、場所の情報、また、画像に対応付けられたテキストデータとしてもよい。また、投影領域の画像が専門書籍の画像である場合、専門用語に対応付けて、投影する画像として、説明文を投影してもよい。また、専門用語に対応付けて、改定内容の画像を投影するようにしてもよい。
また、投影領域の画像が看板である場合、投影する画像を広告画像としてもよい。なお、広告画像は、携帯電子機器毎に、また時間毎に、異なる画像を表示させることが可能となる。また、投影領域の画像が道路看板である場合、投影する画像を工事情報、渋滞情報としてもよい。
また、投影領域の画像がノート、ホワイトボード等の記入領域である場合、投影する画像を記入された文字に対応する記号、図等としてもよい。また、特定のページを示す認識情報が記入されている場合、その識別情報に対応する画像(絵、文章)を投影してもよい。
また、投影領域の画像が表札である場合、投影する画像を名前としてもよい。また、投影領域の画像がラベルである場合、投影する画像を価格情報、割引情報、在庫情報、産地情報等としてもよい。これにより、ラベルに印刷する情報量を少なくすることができる。また、割引情報、在庫情報等を表示させる場合は、変化する情報を表示させることができる。
また、投影領域の画像が伝票に記載されたID、商品コードである場合、投影する画像を商品画像としてもよい。ID、商品コードからどのような商品を購入したかを視覚で簡単に理解することができる。また、投影領域の画像が保証書である場合、投影する画像を保証期限としてもよい。また、投影領域の画像がカードである場合、投影する画像をカードに溜まっているポイントとしてもよい。
また、投影領域の画像が処方箋である場合、投影する画像を使用履歴、使用方法としてもよい。これにより、使用頻度等を確認することができる。また、投影領域の画像が病院の任意の場所、例えば、各科の前である場合、投影する画像をその場所の混雑状況、待ち時間としてもよい。また、投影領域の画像が診察券である場合、投影する画像をその診察場所の混雑状況、待ち時間としてもよい。
また、投影領域の画像が手書きをする書類である場合、投影する画像を手書きの補助となる画像としてもよい。例えば、はがきの宛名欄に宛名を表示させるようにしてもよい。また、文字の記入欄にラインを表示させるようにしてもよい。また、レイアウトを表示させてもよい。このように補助の画面を投影させつつ、手書きを行うことで、簡単に文字や絵を書くことができる。
また、投影領域の画像が塗り絵の元画像である場合、投影する画像を各領域の色の画像としてもよい。これにより、利用者は、色を選択することで、塗り絵を楽しむことができる。また、実際には、色を塗っていないので、何度も楽しむことができる。なお、この場合、携帯電子機器は、対応する画像として、塗り絵の元画像に対応する領域情報を取得し、利用者が携帯電子機器を制御して選択した色情報を上書きすることで、投影する画像のデータを更新し、色の付いた画像を投影する。
また、投影領域の画像が電子ペーパー等の表示ディスプレイに表示された文字である場合、投影する画像を動画としてもよい。これにより、例えば文字のみを表示させる表示ディスプレイ上に動画を表示させることができる。また、表示ディスプレイ側の端末に負荷をかけることなく、動画を表示させることができる。なお、この場合、携帯電子機器は、表示ディスプレイ側の端末と通信により各種情報を交換してもよい。これにより、投影する動画の領域、表示させる文字の領域等を簡単に調整することができる。
また、投影領域の画像が携帯通信端末の表示ディスプレイに表示された動画である場合、投影する画像を字幕の画像としてもよい。また、投影領域の画像が携帯通信端末の表示ディスプレイに表示されたテレビ電話画像である場合、投影する画像を通話時間、通話料金としてもよい。また、投影領域の画像が携帯通信端末の表示ディスプレイに表示されたテレビ画像である場合、投影する画像を受信したメールの内容としてもよい。また投影する画像は、表示ディスプレイの枠外(縁)に表示させることが好ましい。これにより、表示ディスプレイに表示させている画像を小さくすることなく、各種情報を表示させることができる。なお、携帯電子機器の筐体を2つのセパレートタイプとし、一方の筐体に表示ディスプレイを設け、他方の筐体にプロジェクタ部を設ける構成とすることで、1つの携帯電子機器で、上記処理を行うことができる。
また、投影領域の画像が電光掲示板である場合、投影する画像をその掲示板の表示している内容に対応する画像としてもよい。具体的には、駅、停留所の電光掲示板である場合、到着すると表示されている電車の車内の画像、また、各駅、停留所の混雑状況を表示させてもよい。また、道路に設置された渋滞や工事の有無を通知する電光掲示板である場合、渋滞箇所、工事箇所の動画を表示させてもよい。また、施設の案内の電光掲示板である場合、避難経路の画像を表示させてもよい。