以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handyphone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
まず、図1を参照しながら、実施例1に係るデータ編集システムの構成について説明する。図1は、実施例1に係るデータ編集システムの構成を示す図である。図1に示すように、実施例1に係るデータ編集システムは、携帯電子機器1aと、携帯電子機器1bと、データ管理部50を備えるデータ管理装置とを含む。携帯電子機器1a及び携帯電子機器1bは、無線通信によってデータ管理部50と接続される。
携帯電子機器1aは、プロジェクタ機能を有する携帯電話機である。すなわち、携帯電子機器1aは、任意の画像を投影画像P1として壁面やスクリーン等の画像投影対象に拡大して投影する。また、携帯電子機器1aは、液晶ディスプレイ(LCD、Liquid Crystal Display)や有機EL(Organic Electro−Luminescence)パネル等で構成されたディスプレイ2を有し、投影画像P1の少なくとも一部を部分画像P2としてディスプレイ2に表示する。投影画像P1のうち部分画像P2としてディスプレイ2に表示される部分は、利用者の操作に応じて位置と範囲の少なくとも一方が変化する。
一般に、プロジェクタは、画像を大きく拡大することができる反面で、解像度が比較的低く細部を鮮明に表すことができない。一方、携帯電子機器が備える液晶ディスプレイ等のディスプレイは、解像度が比較的高く、細部を鮮明に表示することができる反面で、表示面積が狭い。携帯電子機器1aは、画像を投影画像P1として拡大して表示させるとともに、その一部を部分画像P2としてディスプレイ2に表示することにより、画像を拡大して表示できるというプロジェクタの利点と、細部を鮮明に表示することができるというディスプレイパネルの利点とを両立させる。
携帯電子機器1bは、液晶ディスプレイや有機ELパネル等で構成されたディスプレイ2を有し、投影画像P1の少なくとも一部を部分画像P3としてディスプレイ2に表示する。投影画像P1のうち部分画像P3としてディスプレイ2に表示される部分は、利用者の操作に応じて位置と範囲の少なくとも一方が変化する。なお、携帯電子機器1bは、部分画像P2として携帯電子機器1aのディスプレイ2に表示されている部分とは別の部分を、部分画像P3として自身のディスプレイ2に表示することができる。
また、携帯電子機器1a及び携帯電子機器1bは、それぞれ、利用者の操作に基づいて、ディスプレイ2に表示している部分画像P2及び部分画像P3に対して編集処理を行う機能を有する。ここでいう編集処理の内容は、投影画像P1として投影されている画像がどのようなデータに基づいて生成されているかによって異なる。例えば、投影画像P1として投影されている画像が画像データに基づいて生成されたものである場合、編集処理は、その画像データのうち、ディスプレイ2に表示している部分の画素の値を変更する処理等である。また、投影画像P1として投影されている画像が文書データに基づいて生成されたものである場合、編集処理は、その文書データのうち、ディスプレイ2に表示している部分のテキストや字体等を変更する処理等である。
データ管理装置のデータ管理部50は、投影画像P1の元となるデータを記憶する記憶部52を有し、記憶部52に記憶しているデータを、無線通信を介して携帯電子機器1a及び携帯電子機器1bに提供する。また、データ管理部50は、携帯電子機器1a及び携帯電子機器1bによる編集処理の結果を受信し、受信した編集結果に基づいて記憶部52に記憶しているデータを更新する。そして、データ管理部50は、更新後のデータを携帯電子機器1a及び携帯電子機器1bへ送信し、投影画像P1、部分画像P2及び部分画像P3を更新させる。
図1に示すデータ編集システムを用いてデータを編集する場合の大まかな手順は、例えば、以下の通りである。まず、携帯電子機器1aが、利用者の指示に従って編集対象のデータをデータ管理部50から取得する。そして、携帯電子機器1aは、取得したデータに基づいて投影画像P1を生成して画像投影対象に投影するとともに、投影画像P1の一部を部分画像P2としてディスプレイ2に表示させる。
一方、携帯電子機器1bは、利用者の指示に従って同一のデータをデータ管理部50から取得する。そして、携帯電子機器1bは、取得したデータに基づいて投影画像P1と同一の画像を生成し、その画像の一部をディスプレイ2に部分画像P3として表示させる。なお、携帯電子機器1bが取得するデータは、携帯電子機器1aがデータ管理部50に対して行った指定に基づいて、データ管理部50が携帯電子機器1bに指定することとしてもよい。
続いて、携帯電子機器1a及び携帯電子機器1bは、それぞれの利用者の操作に従って、取得したデータのうちディスプレイ2に表示している部分の編集処理を実行し、編集結果をデータ管理部50へ送信する。データ管理部50は、送信された編集結果をデータに反映させ、更新後のデータを携帯電子機器1aの処理部及び携帯電子機器1bの処理部へ送信する。携帯電子機器1aは、送信されたデータに基づいて投影画像P1及び部分画像P2を更新する。また、携帯電子機器1bは、送信されたデータに基づいて部分画像P3を更新する。
以降、利用者が編集を終えるまで、携帯電子機器1aの処理部及び携帯電子機器1bの処理部からデータ管理部50への編集結果の送信と、データ管理部50から携帯電子機器1aの処理部及び携帯電子機器1bの処理部への更新後のデータの送信が繰り返し実行される。
このように、実施例1に係るデータ編集システムでは、データ管理部50が、自身が管理しているデータを携帯電子機器1aの処理部及び携帯電子機器1bの処理部へ送信し、携帯電子機器1aが、そのデータに基づく画像を投影画像P1として投影する。また、携帯電子機器1a及び携帯電子機器1bが、それぞれ、投影画像P1の一部を部分画像P2及び部分画像P3としてディスプレイ2に表示する。また、携帯電子機器1aの処理部及び携帯電子機器1bの処理部が、それぞれ、部分画像P2及び部分画像P3に対して編集処理を行い、その結果が、データ管理部50によって管理されているデータに反映される。
このため、実施例1に係るデータ編集システムでは、複数の利用者が、データ管理部50によって管理されているデータの全体像を投影画像P1によって確認しつつ、その細部を携帯電子機器1a及び携帯電子機器1bを操作して編集することができる。すなわち、実施例1に係るデータ編集システムでは、1つのデータを複数の利用者で編集する作業を容易に実行することができる。
なお、図1では、データ編集システムが、携帯電子機器1a、携帯電子機器1b及びデータ管理部50を備えるデータ管理装置を1台ずつ含む例を示したが、データ編集システムが含む装置の数はこれに限定されない。例えば、携帯電子機器1bを増やすことで、データを編集する利用者を増やすことができる。また、携帯電子機器1aを増やすことで、複数のデータを同時に編集することができる。
次に、図2から図5を参照しながら、図1に示した携帯電子機器1aについてさらに詳しく説明する。図2は、携帯電子機器1aの正面図である。図3は、携帯電子機器1aの側面図である。図4は、携帯電子機器1aの機能的な構成を示すブロック図である。図5は、携帯電子機器1aが画像を投影している状態を示す説明図である。
図2及び図3に示すように、携帯電子機器1aの筐体1Cは、開閉可能に構成された第1筐体1CAと第2筐体1CBとを備える。すなわち、携帯電子機器1aは、折り畳み式の筐体を有する。なお、携帯電子機器1aの筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1aの筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して2つの筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図3の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1aが開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1aが閉じて、折り畳まれた状態となる(図3の点線で示す状態)。
第1筐体1CAには、表示部として、ディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1aが受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1aの操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1aの通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第1筐体1CAのディスプレイ2と反対側には、画像投影部であるプロジェクタ34と、プロジェクタ34の光出射部(対物レンズ)から画像投影対象までの距離を測定する距離測定手段である距離センサ36と、画像が投影される面の画像を撮影(取得)するカメラ40とが設けられる。このような構成により、プロジェクタ34によって画像を画像投影対象に投影したり、プロジェクタ34の出射面と画像投影対象との距離を距離センサ36で測定して、プロジェクタ34が投影する画像の焦点を自動的に合わせたりすることができる。なお、プロジェクタ34の光出射部、カメラ40の撮影窓は、第1筐体1CAの外部に露出している。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1aの操作部13を構成する。また、第2筐体1CBには、携帯電子機器1aの通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図3に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1aの背面1PBである。なお、操作部13は、上述のキー構成に代えて、表示部上に配置されたタッチセンサであってもよい。
続いて、携帯電子機器1aの機能的な構成について説明する。図4に示すように、携帯電子機器1aは、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、プロジェクタ34と、距離センサ36と、動き検出手段である加速度センサ38と、カメラ40とを有する。処理部22は、携帯電子機器1aの全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1aの各種の処理が、操作部13の操作や携帯電子機器1aの記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
携帯電子機器1aの各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWebサイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。具体的には、処理部22は、CPU(Central Processing Unit)等の演算装置と、演算データ等を一時的に記憶するメモリとを有し、プログラムに含まれる命令コードを読み込んで演算装置に命令コードを実行させることによって各種の処理を実現する。
本実施例において、処理部22は、プロジェクタ制御部22aと、画像処理部22bと、条件判定部22cと、姿勢・位置演算部22dと、投影補正部22eと、連係出力制御部22fと、データ編集部22gとを有する。これらの機能部は、処理部22が所定の制御プログラムを実行することによって実現される。
プロジェクタ制御部22aは、プロジェクタ34を制御して画像を画像投影対象に投影させる。画像処理部22bは、記憶部24に記憶されているデータや送受信部26によって受信されたデータに基づいて、プロジェクタ34によって投影される画像や表示部32に表示される画像を生成する。また、画像処理部22bは、利用者に情報を提供したり、利用者から情報の入力を受け付けたりするためのメニュー画面やポップアップ画面等として表示又は投影される画像を生成する。画像処理部22bは、画像に対して拡大、縮小、変形等の加工を施す処理も実行する。
条件判定部22cは、プロジェクタ制御部22aによる画像の投影に影響する条件が変化したか否かを判定する。ここで、プロジェクタ制御部22aによる画像の投影に影響する条件とは、例えば、携帯電子機器1aの姿勢の変化や画像投影対象との距離の変化である。姿勢・位置演算部22dは、カメラ40によって撮影される画像、距離センサ36の検出結果、加速度センサ38の検出結果等に基づいて、携帯電子機器1aの姿勢及び位置を算出する。
投影補正部22eは、画像投影対象の一定の位置に一定の大きさで画像が投影されるように補正処理を行う。具体的には、投影補正部22eは、姿勢・位置演算部22dによって算出される携帯電子機器1aの姿勢及び位置の変化に応じて、プロジェクタ制御部22aによるプロジェクタ34の制御や、画像処理部22bによる画像処理を変化させることにより、投影画像の位置と大きさとを一定に保たせる。
連係出力制御部22fは、第1の画像をプロジェクタ34から投影させるとともに、第1の画像の少なくとも一部を第2の画像として表示部32に表示させる。そして、連係出力制御部22fは、第1の画像を投影する状態を維持しつつ、姿勢・位置演算部22dによって算出される携帯電子機器1aの姿勢及び位置の変化に応じて、第1の画像のうち表示部32に表示される部分の位置及び範囲を変化させる。
例えば、連係出力制御部22fは、初期状態において、あるデータに基づく画像全体を第1の画像としてプロジェクタ34から投影させ、その画像の中央部分の所定の範囲を第2の画像として表示部32に表示させる。そして、連係出力制御部22fは、携帯電子機器1aが画像投影対象上の投影面との距離を保ったままで投影面と平行方向に上下左右へ移動した場合、第1の画像のうち第2の画像として表示部32に表示される部分を移動方向と移動距離とに応じて上下左右へスクロールさせる。また、連係出力制御部22fは、携帯電子機器1aの姿勢が変化した場合、第1の画像のうち第2の画像として表示部32に表示される部分を姿勢の変化方向と変化量とに応じて上下左右へスクロールさせる。
また、連係出力制御部22fは、携帯電子機器1aが画像投影対象に近づいた場合、第2の画像として表示部32に表示される部分が拡大されるように、第1の画像のうち第2の画像として表示部32に表示される部分の範囲を移動距離に応じて狭める。また、連係出力制御部22fは、携帯電子機器1aが画像投影対象から遠ざかった場合、第2の画像として表示部32に表示される部分が縮小されるように、第1の画像のうち第2の画像として表示部32に表示される部分の範囲を移動距離に応じて拡げる。
データ編集部22gは、第1の画像に対応するデータのうち、第2の画像として表示部32に表示されている部分を編集するための編集操作を操作部13から受け付け、受け付けた編集操作に応じた編集処理を実行する。また、データ編集部22gは、第1の画像に対応するデータのうち、第2の画像として表示部32に表示されている部分を編集するためのメニュー画面やポップアップ画面等を必要に応じて表示部32に表示させる。
すなわち、データ編集部22gは、第1の画像に対応するデータのうち、第2の画像として表示部32に表示されている部分を編集する機能を利用者に提供する。ここでいう編集とは、データへの情報の追加、データに含まれる情報の変更、データに含まれる情報の削除等を意味する。第1の画像に対応するデータは、例えば、データ管理部50から無線通信によって送信されたデータである。
記憶部24は、処理部22での処理に利用されるソフトウェアやデータを記憶する。記憶部24は、例えば、プロジェクタ制御部22a等を実現するためのプログラムや、データ管理部50から送信されたデータを記憶する。また、記憶部24は、処理部22による処理の実行過程において、プログラムの命令コードや演算結果等を一時的に記憶する作業領域としても利用される。記憶部24は、例えば、フラッシュメモリ、SRAM(Static Random Access Memory)等の半導体記憶装置や、磁気ディスク等の磁気記憶装置等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局を通じて他の装置との間で電話通信及び情報通信を行う。送受信部26は、データ管理部50との間でデータやメッセージ等をやりとりするためにも利用される。
操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、操作部13は、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1aの筐体1C内に配置されており、着信音やメールの送信音等を出力する。
加速度センサ38は、携帯電子機器1aに印加される加速度の方向及び大きさを検出する。加速度センサ38の検出結果は、携帯電子機器1aの姿勢変化や移動の有無を判定したり、姿勢の変化量や移動距離を算出したりするために用いられる。なお、携帯電子機器1aの姿勢変化の有無を判定したり、姿勢の変化量を算出したりするために、携帯電子機器1aに方位センサ等の他のセンサを設けることとしてもよい。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像信号に応じた画像をディスプレイ2に表示させる。ディスプレイ2は、例えば、液晶ディスプレイや、有機ELパネルなどで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
プロジェクタ34は、可視光照射装置(可視光照射手段)31と、描画装置35と、焦点調整装置39とを含む。可視光照射装置31は、画像を投影するための光源であり、可視光のレーザー光を照射する。可視光領域の光は、短波長側が360nmから400nm以上、長波長側が760nmから830nm以下の光である。本実施例において、可視光照射装置31は、R(Red)、G(Green)、B(Blue)の3色の光を照射する。
描画装置35及び焦点調整装置39は、光源から射出された光を投影するか否かを切り換える光学系である。描画装置35は、可視光照射装置31から照射される3色の光を合成するとともに、画像投影対象に照射する。描画装置35は、光源から射出された光を透過させるか否かを切り換える切り換え素子と、切り換え素子を通過した光をラスター走査させるミラーとを含む。そして、描画装置35は、ミラーによって可視光照射装置31から射出されたレーザー光の角度を変えて、画像投影対象にレーザー光を走査させることで、画像投影対象に画像を投影させる。
描画装置35は、ミラーとして、例えば、MEMS(Micro Electro Mechanical System)ミラーを備える。MEMSミラーは、圧電素子を利用してミラーを駆動して、可視光照射装置31から照射される可視光を走査し、可視画像や不可視画像を生成する。ミラーとしてMEMSミラーを備える場合、光源から照射された光の角度をミラーによって変えて、光源から照射された光を画像投影対象の全面に走査させることで、画像投影対象に可視画像や不可視画像を投影させることができる。
なお、プロジェクタ34の構成は、上記の構成に限定されるものではない。例えば、プロジェクタ34は、ハロゲンライト、LED光源又はLD光源を光源としてもよい。また、プロジェクタ34は、LCD又はDMD(Digital Micro-mirror Device)を光学系として備えていてもよい。
焦点調整装置39は、プロジェクタ制御部22aからの指令により、描画装置35から投影される可視画像を画像投影対象上で結像させる機能(焦点調整機能)を有する。焦点調整装置39は、例えば、可動するレンズ等で構成される焦点調整機構を備え、レンズを動かすことで焦点調整機能を実現する。焦点調整装置39は、プロジェクタ34が投影する画像のデータに対して画像処理部22bによって所定の画像処理を施すことにより、焦点調整機能を実現してもよい。また、焦点調整装置39は、焦点調整機構と画像処理とを組み合わせて焦点調整機能を実現してもよい。
距離センサ36は、プロジェクタ34の光出射部と画像投影対象との距離を計測する。なお、距離センサ36の代わりに、焦点調整装置39の、プロジェクタ34から投影された画像の焦点を調整する機能を利用して、プロジェクタ34の光出射部と画像投影対象との距離を計測してもよい。
続いて、携帯電子機器1aによる画像の投影及び表示について説明する。携帯電子機器1aは、プロジェクタ34から画像を投影することで、図5に示すように、プロジェクタ34の画像投影面と対向する位置の画像投影対象のうち、所定の領域(投影領域)PAに画像Pを投影させる。プロジェクタ34は、処理部22により動作が制御され、例えば、データ管理部50から送信されたデータに基づいて生成された画像Pを投影領域PAに表示させる。
カメラ40は、上述したようにプロジェクタ34の光射出部の近くに設けられ、投影領域を含む領域の画像を取得する。つまり、カメラ40は、プロジェクタ34が光を射出する方向の画像を取得する。カメラ40は、プロジェクタ34により投射される画像の投射画角よりも広い画角で画像を撮影し、投影領域PAよりも広い領域の画像を撮影することができる。
処理部22は、こうしてカメラ40によって撮影される画像等に基づいて、携帯電子機器1aの姿勢や位置が所定の許容範囲内で変化しても、画像Pが投影領域PAに一定の大きさで投影されるようにプロジェクタ34等を制御する。例えば、携帯電子機器1aが許容範囲内で右方向へ移動した場合でも、処理部22は、プロジェクタ34の投影方向を変更させる等して、画像Pを投影領域PAに投影させる。
処理部22は、画像Pを投影領域PAに一定の大きさで投影させる一方で、画像Pのうち表示部32に表示させる部分を、携帯電子機器1aの姿勢や位置の変化に応じて変化させる。例えば、処理部22は、携帯電子機器1aが投影領域PAのほぼ正面に位置している場合には、投影領域PAに投影されている画像Pのうち、中央に描画されている「E」の文字の部分を表示部32に表示させる。そして、処理部22は、携帯電子機器1aが右方向に移動した場合には、画像Pのうち、「E」の文字の右側に描画されている「F」の文字の部分を表示部32に表示させる。
次に、図6及び図7を参照しながら、図1に示した携帯電子機器1bについてさらに詳しく説明する。図6は、携帯電子機器1bの正面図である。図7は、携帯電子機器1bの機能的な構成を示すブロック図である。
図6及び図7に示すように、携帯電子機器1bは、プロジェクタ34を備えない点において、携帯電子機器1aと相違する。また、図7に示すように、携帯電子機器1bの処理部22は、条件判定部22c、投影補正部22e及び連係出力制御部22fを有さず、部分画像表示部22hを有する点において、携帯電子機器1aの処理部22と相違する。その他の点において、携帯電子機器1bは、携帯電子機器1aと同様の装置である。
部分画像表示部22hは、携帯電子機器1aがプロジェクタ34から投影している投影画像の一部を表示部32に表示させる。そして、部分画像表示部22hは、姿勢・位置演算部22dによって算出される携帯電子機器1bの姿勢及び位置の変化に応じて、投影画像のうち表示部32に表示される部分の位置及び範囲を変化させる。
例えば、部分画像表示部22hは、初期状態において、プロジェクタ34から投影されている第1の画像の中央部分の所定の範囲を第2の画像として表示部32に表示させる。そして、部分画像表示部22hは、携帯電子機器1bが上下左右へ移動した場合、第1の画像のうち第2の画像として表示部32に表示される部分を移動方向と移動距離とに応じて上下左右へスクロールさせる。また、部分画像表示部22hは、携帯電子機器1bの姿勢が変化した場合、第1の画像のうち第2の画像として表示部32に表示される部分を姿勢の変化方向と変化量とに応じて上下左右へスクロールさせる。
また、部分画像表示部22hは、携帯電子機器1bが利用者から遠ざかった場合、第2の画像として表示部32に表示される部分が拡大されるように、第1の画像のうち第2の画像として表示部32に表示される部分の範囲を移動距離に応じて狭める。また、部分画像表示部22hは、携帯電子機器1bが利用者に近づいた場合、第2の画像として表示部32に表示される部分が縮小されるように、第1の画像のうち第2の画像として表示部32に表示される部分の範囲を移動距離に応じて拡げる。
ここで、携帯電子機器1bの移動方向は、利用者が所在していると想定される位置、すなわち、ディスプレイ2が向いている先の位置を基準として判定される。ディスプレイ2に第2の画像が表示されている場合、利用者は、携帯電子機器1aによって投影される第1の画像にほぼ正対して、体の正面に携帯電子機器1bを保持していると想定される。このため、携帯電子機器1bの姿勢及び位置の変化に応じて表示部32の位置及び範囲を上記のように制御することにより、利用者が、第2の画像として表示される部分の位置及び範囲を直感的に調整することができる。
なお、部分画像表示部22hが投影画像の一部を表示部32に表示させる場合、携帯電子機器1a及び携帯電子機器1bには、データ管理部50から同一のデータが送信される。そして、携帯電子機器1aでは、画像処理部22bが、送信されたデータに基づいて画像を生成し、連係出力制御部22fが、生成された画像をプロジェクタ34から投影するとともに、その画像の一部をディスプレイ2に表示させる。また、携帯電子機器1bでは、画像処理部22bが、送信されたデータに基づいて、プロジェクタ34から投影される画像と同一の画像を生成し、部分画像表示部22hが、生成された画像の一部をディスプレイ2に表示させる。
次に、図8を参照しながら、図1に示したデータ管理部50を備えるデータ管理装置についてさらに詳しく説明する。図8は、データ管理部50の機能的な構成を示すブロック図である。データ管理部50は、携帯電子機器1a及び携帯電子機器1bによって共有されるデータを管理する装置であり、送受信部51と、記憶部52と、処理部53とを有する。
送受信部51は、アンテナ51aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式などによる無線信号回線を確立し、基地局を通じて他の装置との間で電話通信及び情報通信を行う。送受信部51は、携帯電子機器1aの処理部22及び携帯電子機器1bの処理部22との間でデータやメッセージ等をやりとりするために利用される。
なお、ここではデータ管理部50が携帯電話会社の通信網を介して携帯電子機器1aの処理部22及び携帯電子機器1bの処理部22と通信することとしているが、通信の方式はこれに限定されない。データ管理部50は、例えば、無線LANやBluetooth(登録商標)のような電波による無線通信や、可視光通信や赤外線通信のような光による無線通信によって携帯電子機器1aの処理部22及び携帯電子機器1bの処理部22と通信してもよい。
記憶部52は、半導体記憶装置や磁気記憶装置等の記憶装置を有し、処理部53での処理に利用されるソフトウェアやデータを記憶する。記憶部52が記憶するデータには、共有データ52aと、アクセス権情報52bと、アクセス状況管理情報52cと、編集領域管理情報52dとが含まれる。
共有データ52aは、携帯電子機器1a及び携帯電子機器1bによって共有されるデータである。なお、共有データ52aは、携帯電子機器1a及び携帯電子機器1bが表示や編集等の処理を行うことができるデータであれば、どのような種類のデータであってもよい。記憶部52は、複数の共有データ52aを記憶することができる。
アクセス権情報52bは、携帯電子機器1a及び携帯電子機器1bの利用者が共有データ52aについて有している権限に関する情報を保持する。アクセス権情報52bは、例えば、共有データ52aを参照できるかを示す値と、共有データ52aを編集できるかを示す値とを利用者毎かつ共有データ52a毎に保持する。アクセス権情報52bは、共有データ52aを構成する部分毎に利用者の権限に関する値を保持してもよい。部分毎に利用者の権限に関する値を保持することにより、例えば、表計算データの特定のセルの値を特定の利用者のみに編集させることができる。
なお、携帯電子機器1a及び携帯電子機器1bの利用者は、携帯電子機器1a及び携帯電子機器1bに割り当てられているネットワークアドレスや、データ管理部50と通信を開始する際に用いられる認証情報等に基づいて識別される。
アクセス状況管理情報52cは、どの共有データ52aをどの利用者が利用中であるかを示す情報を保持する。アクセス状況管理情報52cは、例えば、携帯電子機器1a等の端末が投影又は表示している共有データ52aを識別するための値と、その端末を識別するための値とを対応づけて保持する。
編集領域管理情報52dは、どの共有データ52aのどの部分をどの利用者が編集中であるかを示す情報を保持する。編集領域管理情報52dは、例えば、携帯電子機器1a等の端末による編集処理の対象となっている共有データ52aを識別するための値と、編集領域を識別するための値と、その端末を識別するための値とを対応づけて保持する。
なお、記憶部52に記憶されていることとしたプログラムやデータは、データ管理部50とネットワーク接続された他のサーバ装置に記憶されていてもよい。この場合、データ管理部50は、必要に応じてサーバ装置にアクセスしてプログラムやデータをダウンロードする。
処理部53は、記憶部52に記憶されているプログラムに基づいて処理を実行する。具体的には、処理部53は、CPU等の演算装置と、演算データ等を一時的に記憶するメモリとを有し、プログラムに含まれる命令コードを読み込んで演算装置に命令コードを実行させることによって各種の処理を実現する。本実施例において、処理部53は、共有データ提供部53aと、編集領域管理部53bと、編集結果保存部53cとを有する。これらの機能部は、処理部53が所定の制御プログラムを実行することによって実現される。
共有データ提供部53aは、携帯電子機器1a等の端末からの要求に応じて、要求された共有データ52aを要求元へ送信する。共有データ提供部53aは、どの端末からどの共有データ52aを要求されたかをアクセス状況管理情報52cに記録し、端末から共有データ52aが不要である旨が通知されるまで、共有データ52aが更新される度に共有データ52aを要求元へ再送信する。このように、更新される度に共有データ52aを要求元へ再送信することにより、携帯電子機器1a等は、最新の共有データ52aを投影又は表示することができる。
また、共有データ提供部53aは、編集処理の対象となっている部分である編集領域に関する情報を編集領域管理情報52dから取得し、その編集領域を含む共有データ52aを要求した要求元へ送信する。このように制御することにより、携帯電子機器1a等の端末が、共有データ52aのどの部分が編集処理の対象となっているかを判断することができる。
編集領域管理部53bは、携帯電子機器1a等の端末からの要求に応じて、共有データ52aのうちの指定された編集領域を要求元が編集することができるかをアクセス状況管理情報52cに基づいて判定し、判定結果を応答する。編集領域管理部53bは、編集することができると判定した場合、端末が編集処理を行おうとしている編集領域を要求元と対応づけて編集領域管理情報52dに記録する。また、編集領域管理部53bは、要求した編集領域の編集が完了した旨が端末から通知された場合、要求元と対応づけて記録されているその編集領域を編集領域管理情報52dから削除する。
なお、編集することができるかを判定するに際して、編集領域管理部53bが編集領域管理情報52dを参照することとしてもよい。すなわち、端末が編集処理を行おうとしている共有データ52a又はその編集領域が既に他の端末の編集処理の対象となっている場合に、編集不可であると判定することとしてもよい。このように制御することにより、共有データ52aをデータ単位又は編集領域単位で排他的に編集させることが可能になる。
編集結果保存部53cは、携帯電子機器1a等の端末から編集処理の結果が送信された場合に、送信された編集結果を対応する共有データ52aに反映させる。なお、編集結果の送信は、編集後の共有データ52a全体を送信することによって実現されてもよいし、共有データ52aの編集前後の差分データを送信することによって実現されてもよい。また、編集操作の履歴を送信することによって実現されてもよい。
次に、図9から図12を参照しながら、携帯電子機器1a、携帯電子機器1b及びデータ管理部50の動作について説明する。図9は、データ管理部50の動作を示すフロー図である。図9に示す動作は、携帯電子機器1a等の端末から何らかのメッセージが受信されるたびに実行される。
図9に示すように、ステップS101として、端末からのメッセージが受信されると、データ管理部50の処理部53は、ステップS102として、受信されたメッセージがデータ送信要求であるかを判定する。データ送信要求とは、共有データ52aの送信を要求するメッセージであり、送信を要求する共有データ52aを指定する情報を含む。
受信したメッセージがデータ送信要求である場合(ステップS102,Yes)、処理部53は、ステップS103として、アクセス権情報52bを参照して、要求された共有データ52aへのアクセス権を要求元が有しているかを判定する。要求元がアクセス権を有していない場合(ステップS103,No)、処理部53は、特に処理を行わない。
要求元がアクセス権を有している場合(ステップS103,Yes)、処理部53は、ステップS104として、要求された共有データ52aと、編集領域管理情報52dに保持されているその共有データ52aの編集領域に関する情報とを要求元へ送信する。そして、処理部53は、ステップS105として、要求された共有データ52aと対応付けて、要求元を識別するための情報をアクセス状況管理情報52cに記録する。なお、図9では図示していないが、アクセス状況管理情報52cに記録された情報は、例えば、要求元の端末から共有データ52aが不要である旨が通知された場合に削除される。
受信したメッセージがデータ送信要求でない場合(ステップS102,No)、処理部53は、ステップS106として、受信されたメッセージが編集可否判定要求であるかを判定する。編集可否判定要求とは、共有データ52aに対する編集処理を開始する際に送信されるメッセージであり、編集処理の対象の共有データ52a及び編集領域を指定する情報を含む。
受信したメッセージが編集可否判定要求である場合(ステップS106,Yes)、処理部53は、ステップS107として、指定された領域を要求元が編集してよいかを判定する。ここでは、例えば、アクセス権情報52bを参照して、要求された共有データ52aへのアクセス権を要求元が有していない場合に、指定された領域を要求元が編集してはならないと判定される。また、例えば、編集領域管理情報52dを参照して、指定された領域を他の端末が編集中である場合に、指定された領域を要求元が編集してはならないと判定される。指定された領域を要求元が編集してはならない場合(ステップS108,No)、処理部53は、ステップS109として、編集不可である旨を要求元へ応答させる。
指定された領域を要求元が編集してよい場合(ステップS108,Yes)、処理部53は、ステップS110として、指定された編集領域を要求元と対応付けて編集領域管理情報52dに記録する。そして、処理部53は、ステップS111として、編集可能である旨を要求元へ応答させる。また、処理部53は、ステップS112として、アクセス状況管理情報52cを参照して指定された共有データ52aにアクセスしている端末を特定し、共有データ52aにアクセスしている各端末に、指定された編集領域を通知する。
受信したメッセージが編集可否判定要求でない場合(ステップS106,No)、処理部53は、ステップS113として、受信されたメッセージが編集結果保存要求であるかを判定する。編集結果保存要求とは、編集処理の編集結果を共有データ52aに反映させることを求めるメッセージであり、編集処理の対象の共有データ52a及び編集領域を指定する情報と編集処理の編集結果とを含む。
受信したメッセージが編集結果保存要求である場合(ステップS113,Yes)、処理部53は、ステップS114として、編集結果を保存してよいかを判定する。ここでは、例えば、アクセス権情報52bを参照して、要求された共有データ52aへのアクセス権を要求元が有していない場合に、編集結果を保存してはならないと判定される。編集結果を保存してはならない場合(ステップS114,No)、処理部53は、特に処理を行わない。
編集結果を保存してよい場合(ステップS114,Yes)、処理部53は、ステップS115として、指定された共有データ52aに編集結果を反映させる。そして、処理部53は、ステップS116として、アクセス状況管理情報52cを参照して指定された共有データ52aにアクセスしている端末を特定し、共有データ52aにアクセスしている各端末に、更新後の共有データ52aを送信する。
受信したメッセージが編集結果保存要求でない場合(ステップS113,No)、処理部53は、ステップS117として、受信されたメッセージが編集状態解除要求であるかを判定する。編集状態解除要求とは、編集処理が終了した後に送信されるメッセージであり、編集処理の対象であった共有データ52a及び編集領域を指定する情報を含む。
受信したメッセージが編集状態解除要求である場合(ステップS117,Yes)、処理部53は、ステップS118として、編集領域管理情報52dを参照して、指定された編集領域を要求元が編集中であるかを判定する。指定された編集領域を要求元が編集中の場合(ステップS118,Yes)、処理部53は、ステップS119として、指定された編集領域に関する情報のうち要求元と対応付けられている情報を編集領域管理情報52dから削除する。そして、処理部53は、ステップS120として、アクセス状況管理情報52cを参照して指定された共有データ52aにアクセスしている端末を特定し、共有データ52aにアクセスしている各端末に、指定された編集領域が解除された旨を通知する。
受信したメッセージが編集状態解除要求でない場合(ステップS117,No)、又は、指定された編集領域を要求元が編集中でない場合(ステップS118,No)、処理部53は、特に処理を行わない。
図10は、携帯電子機器1aの画像出力動作を示すフロー図である。図10に示す動作は、携帯電子機器1aが、利用者の操作等にしたがってデータ管理部50にデータ送信要求を送信し、指定した共有データ52aが応答された後、利用者の操作等によって画像の投影の終了が指示されるまで繰り返して実行される。
図10に示すように、携帯電子機器1aの処理部22は、ステップS201として、プロジェクタ34が使用中であるか否かを判定する。プロジェクタ34が動作中ではない場合(ステップS201,No)、処理部22は、特に処理を行わない。
プロジェクタ34が動作中の場合(ステップS201,Yes)、処理部22は、ステップS202として、共有データ52aから送信された最新の共有データ52aとその編集領域とに基づいて画像を生成する。ここで、編集領域は、編集領域を枠で囲む等して、編集領域を他の領域と区別できるようにするために用いられる。そして、処理部22は、ステップS203として、生成された画像をプロジェクタ34から投影させ、ステップS204として、その画像の一部を表示部32に表示させる。
続いて、処理部22は、ステップS205として、携帯電子機器1aの姿勢変化又は移動があったかを判定する。携帯電子機器1aの姿勢変化又は移動がない場合(ステップS205,No)、処理部22は、そのまま画像の投影及び表示を継続する。
ここで、処理部22は、例えば、カメラ40で撮影した画像又はオートフォーカス機能で算出した焦点距離に基づいて、携帯電子機器1aの姿勢変化又は移動があったかを判定することができる。また、処理部22は、距離センサ36又は加速度センサ38の検出結果に基づいて、携帯電子機器1aの姿勢変化又は移動があったかを判定することもできる。
なお、処理部22は、プロジェクタ34が投影面との距離が相対的に変化した場合にも、携帯電子機器1aが移動したと判定してもよい。また、処理部22は、投影方向に向かって進む動きや退く動きが加速度センサ38によって検出された場合にも、携帯電子機器1aが移動したと判定してもよい。
携帯電子機器1aの姿勢変化又は移動があった場合(ステップS205,Yes)、処理部22は、ステップS206として、携帯電子機器1aの姿勢の変化量、移動方向及び移動距離を算出する。例えば、処理部22は、カメラ40又は加速度センサ38の検出結果に基づいて、携帯電子機器1aの現在の姿勢を算出し、基準姿勢又は前回の姿勢と比較することで、姿勢の変化量を算出する。また、処理部22は、カメラ40、距離センサ36又は加速度センサ38の検出結果に基づいて、投影面とプロジェクタ34との間の距離を算出し、基準距離又は前回の距離と比較することで、移動方向及び移動距離を算出する。
続いて、処理部22は、ステップS207として、算出された姿勢の変化量、移動方向及び移動距離に基づいて、画像が一定の範囲に一定の大きさで投影されるようにプロジェクタ34の投影方向及び投影角度を変更させる。さらに、処理部22は、ステップS208として、算出された姿勢の変化量、移動方向及び移動距離に応じて、プロジェクタ34から投影されている画像のうち、表示部32に表示させる部分を変更する。
なお、プロジェクタ34の投影方向の変更(投影画像の位置の調整)は、例えば、プロジェクタ34を可動式にしてプロジェクタ34自体の方向を変更することで実現してもよいし、描画装置35が有するミラーの走査範囲(回動する範囲)を変更することで実現してもよい。また、プロジェクタ34の光射出部に可動式のレンズを配置し、そのレンズの方向を変化させることによって実現してもよい。また、画像処理部22bが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の位置を変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。
また、プロジェクタ34の投影角度の変更(投影画像の大きさの調整)は、例えば、描画装置35が有するミラーの振り角(回動する角度)の大きさを変更することで実現してもよい。また、プロジェクタ34の光射出部に可動式のレンズを配置し、そのレンズと光源との距離を変化させることによって実現してもよい。また、画像処理部22bが透明なレイヤの上に投影対象の画像を合成した画像を生成することとし、透明なレイヤ上での投影対象の画像の大きさを変更することによって実現してもよい。また、これらの方式を組み合わせてもよい。
また、編集処理の実行中は、図10に示したステップS208を実行せずに、ステップS202で生成された画像のうち、表示部32に表示させる部分を固定してもよい。このように制御することにより、利用者が意図している部分が表示された状態が維持され、編集作業を容易に行うことができる。
図11は、携帯電子機器1bの画像表示動作を示すフロー図である。図11に示す動作は、携帯電子機器1bが、利用者の操作等にしたがってデータ管理部50にデータ送信要求を送信し、指定した共有データ52aが応答された後、利用者の操作等によって画像の投影の終了が指示されるまで繰り返して実行される。
図11に示すように、携帯電子機器1bの処理部22は、ステップS301として、共有データ52aから送信された最新の共有データ52aとその編集領域とに基づいて画像を生成する。ここで、編集領域は、編集領域を枠で囲む等して、編集領域を他の領域と区別できるようにするために用いられる。そして、処理部22は、ステップS302として、生成された画像の一部を表示部32に表示させる。
続いて、処理部22は、ステップS303として、携帯電子機器1aの処理部22と同様にして、携帯電子機器1bの姿勢変化又は移動があったかを判定する。携帯電子機器1bの姿勢変化又は移動がない場合(ステップS303,No)、処理部22は、そのまま画像の一部の表示を継続する。
携帯電子機器1bの姿勢変化又は移動があった場合(ステップS303,Yes)、処理部22は、ステップS304として、携帯電子機器1aの処理部22と同様にして、携帯電子機器1bの姿勢の変化量、移動方向及び移動距離を算出する。そして、処理部22は、ステップS305として、算出された姿勢の変化量、移動方向及び移動距離に応じて、ステップS301で生成した画像のうち、表示部32に表示させる部分を変更する。
なお、携帯電子機器1bは、利用者が、携帯電子機器1aによって投影される画像と、携帯電子機器1bが表示部32に表示する画像とを参照できる状態で利用されることが想定されている。より具体的には、携帯電子機器1bは、利用者が、携帯電子機器1aによって投影される画像の方を向き、携帯電子機器1bの表示部32を自分の方へ向けた状態で利用されることが想定されている。このため、処理部22は、携帯電子機器1aによって投影される画像をカメラ40で撮影し、携帯電子機器1aによって投影される画像のうち、撮影された画像の中心に写っている所定の範囲を表示部32に表示させてもよい。このように制御することにより、利用者が意図している部分を表示部32に表示させることができる。
あるいは、携帯電子機器1bは、初期状態ではステップS301で生成した画像の中心の所定の範囲を表示部32に無条件で表示させ、携帯電子機器1bの姿勢の変化量、移動方向及び移動距離に応じて、表示部32に表示させる部分の位置と範囲を変化させてもよい。このように制御することにより、制御を簡単にすることができる。
また、編集処理の実行中は、図11に示したステップS305を実行せずに、ステップS301で生成された画像のうち、表示部32に表示させる部分を固定してもよい。このように制御することにより、利用者が意図している部分が表示された状態が維持され、編集作業を容易に行うことができる。
図12は、携帯電子機器1a及び携帯電子機器1bのデータ編集動作を示すフロー図である。図12に示す動作は、共有データ52aに基づく画像の投影又は表示中に操作部13への操作が検出されるたびに実行される。
図12に示すように、操作部13への操作が検出されると、処理部22は、ステップS401として、検出された操作が編集開始操作であるかを判定する。編集開始操作とは、編集処理を開始させるために利用者が行う所定の操作である。検出された操作が編集開始操作である場合(ステップS401,Yes)、処理部22は、ステップS402として、編集領域を特定する。編集領域は、共有データ52aに基づく画像のうち表示部32に表示されている部分を基準として特定される。
続いて、処理部22は、ステップS403として、データ管理部50へ編集可否判定要求を送信する。そして、編集可能である旨が応答された場合(ステップS404,Yes)、処理部22は、ステップS405として、編集領域を編集するための編集画面を表示部32に表示させる。編集可能でない旨が応答された場合(ステップS404,No)、処理部22は、ステップS406として、音声や表示部32へのメッセージ表示によって、編集ができない旨を利用者に通知する。
検出された操作が編集開始操作でない場合(ステップS401,No)、処理部22は、ステップS407として、検出された操作が編集終了操作であるかを判定する。編集終了操作とは、編集処理を終了させるために利用者が行う所定の操作である。検出された操作が編集終了操作である場合(ステップS407,Yes)、処理部22は、ステップS408として、編集画面を閉じ、ステップS409として、データ管理部50へ編集状態解除要求を送信する。
検出された操作が編集終了操作でない場合(ステップS407,No)、処理部22は、ステップS410として、検出された操作が編集操作であるかを判定する。編集操作とは、編集処理において共有データ52aを編集するために利用者が行う所定の操作である。検出された操作が編集操作である場合(ステップS410,Yes)、処理部22は、ステップS411として、編集操作に応じて表示部32の表示内容を更新し、ステップS412として、編集内容をメモリ上に保持する。
検出された操作が編集操作でない場合(ステップS410,No)、処理部22は、ステップS413として、検出された操作が保存操作であるかを判定する。編集操作とは、編集処理の結果を共有データ52aに反映させるために利用者が行う所定の操作である。検出された操作が保存操作である場合(ステップS413,Yes)、処理部22は、ステップS414として、メモリ上の編集内容を含む編集結果保存要求をデータ管理部50へ送信し、ステップS415として、メモリ上の編集内容をクリアする。検出された操作が保存操作でない場合(ステップS413,No)、処理部22は、特に処理を行わない。
なお、図12では、保存操作が検出された後に編集内容を共有データ52aに反映することとしたが、編集操作が行われた場合に、編集内容を直ちに共有データ52aに反映することとしてもよい。編集内容を直ちに共有データ52aに反映するか否かは、共有データ52aの種類によって決めてもよいし、利用者が予め設定した設定情報に基づいて決めてもよい。
次に、図13及び図14を参照しながら、携帯電子機器1a及び携帯電子機器1bの動作の具体例を説明する。図13及び図14は、携帯電子機器1a及び携帯電子機器1bの動作を説明するための説明図である。なお、図13及び図14は、携帯電子機器1a及び携帯電子機器1bの形状を模式的に図示している。
図13に示すステップS11では、携帯電子機器1aは、複数の人物が描かれた画像データに基づく画像P1をプロジェクタ34から投影させている。また、携帯電子機器1aは、画像P1に含まれる人物の1人を画像P2としてディスプレイ2に表示させ、画像データのうち、画像P2に対応する部分に対して編集処理を実行している。そのため、画像データに基づく画像P1では、携帯電子機器1aによる編集領域を示す枠F1が描かれている。
また、ステップS11では、携帯電子機器1bは、画像P1の背景部分を画像P3としてディスプレイ2に表示させている。この段階では、携帯電子機器1bは、編集処理を開始していない。この状態から、利用者が携帯電子機器1bの姿勢又は位置を変更すると、携帯電子機器1bは、それを検出し、検出結果に応じて画像P3としてディスプレイ2に表示させる内容を変更する。
例えば、携帯電子機器1bは、画像投影対象に対して位置が左方向に移動したことを検出すると、検出した移動量に応じて、画像P3としてディスプレイ2に表示させる部分を左方向にスクロールさせる。また、携帯電子機器1bは、姿勢が下向きに変化したことを検出すると、検出した角度の変化量に応じて、画像P3としてディスプレイ2に表示させる部分を下方向にスクロールさせる。また、携帯電子機器1bは、位置が画像投影対象に近づいたことを検出すると、検出した移動量に応じて、画像P3を拡大させる。また、携帯電子機器1bは、位置が画像投影対象から遠ざかったことを検出すると、検出した移動量に応じて、画像P3を縮小させる。
ステップS12では、携帯電子機器1aは、画像P2としてディスプレイ2に表示されている部分を利用者に編集させている。具体的には、携帯電子機器1aの利用者は、操作部13等に対して編集操作を行って、ディスプレイ2に表示されている人物を、帽子をかぶった人物へ変更している。また、ステップS12では、携帯電子機器1bも、編集処理を開始し、携帯電子機器1bの利用者は、画像P1の背景部分に人物を追加している。その結果、携帯電子機器1bの編集範囲がデータ管理部50から携帯電子機器1aに通知され、画像P1に携帯電子機器1bの編集領域を示す枠F2が追加されている。
この段階では、編集内容は各端末のメモリ上に保持され、表示部32に表示される画像には反映されるが、共有データ52aと、携帯電子機器1aが投影する画像P1とには反映されない。このため、利用者は編集内容を破棄して、変更が共有データ52aに反映されないようにすることができる。
ステップS13では、携帯電子機器1a及び携帯電子機器1bの利用者が、保存操作を行うことで編集内容を共有データ52aに反映させ、編集終了操作を行うことで編集処理を終了させている。その結果、編集内容が、携帯電子機器1aが投影する画像P1にも反映されている。
ここで、ステップS11の状態から、ステップS14のように、携帯電子機器1aの編集領域と重複する部分に対して携帯電子機器1bが編集処理を開始したものとする。また、重複する領域の編集が禁止されているものとする。
この場合、携帯電子機器1bは、編集可否判定要求に対して編集不可である旨の応答を受信した段階でステップS15のように編集不可である旨のメッセージMをディスプレイ2に表示し、編集処理を終了させる。あるいは、この場合、携帯電子機器1bは、データ管理部50から通知される編集領域に基づいて領域の重複を検出し、編集可否判定要求を送信することなく編集処理を終了させてもよい。
このように、同一の領域を複数の利用者が編集することを禁止することにより、共有データ52aに矛盾が生じたり、共有データ52aが破損したりすることを防止できる。なお、矛盾の発生等のおそれがない種類の共有データ52aについては、同一の領域を複数の利用者が編集することを可能にしてもよい。また、図13のステップS14及びステップS15では、説明の便宜のために枠F2を画像P1内に表示しているが、編集処理がデータ管理部50によって許可されない場合、枠F2は画像P1内に表示されない。
続いて、図14について説明する。図13では、画像データを編集する例を示したが、図14では、文書データを編集する例を示す。また、図14では、編集内容を直ちにデータに反映する例を示す。
図14に示すステップS21では、携帯電子機器1aは、表計算プログラムの文書データに基づく画像P1をプロジェクタ34から投影させている。また、携帯電子機器1aは、画像P1の全体を画像P2としてディスプレイ2に表示させている。同様に、携帯電子機器1bは、画像P1の全体を画像P3としてディスプレイ2に表示させている。
この状態から、利用者が携帯電子機器1aを画像投影対象に近づけつつ、左上方向に移動させると、携帯電子機器1aは、ステップS22のように、画像P1の左上の部分を拡大して、画像P2としてディスプレイ2に表示させる。そして、利用者が編集開始操作を行うと、画像P1のうち画像P2に相当する部分に枠F1が表示される。
また、利用者が携帯電子機器1bを画像投影対象に近づけつつ、左下方向に移動させると、携帯電子機器1bは、ステップS22のように、画像P1の左下の部分を拡大して、画像P3としてディスプレイ2に表示させる。そして、利用者が編集開始操作を行うと、画像P1のうち画像P3に相当する部分に枠F2が表示される。
編集処理が開始された後、携帯電子機器1aの利用者は、操作部13に対して編集操作を行って、ステップS23のように、あるセルの内容を書き換えることができる。編集操作が行われると、携帯電子機器1aは、編集結果をデータ管理部50に直ちに送信し、データ管理部50は、編集結果を反映した文書データを携帯電子機器1a及び携帯電子機器1bに送信する。
その結果、携帯電子機器1aでの編集結果がほぼリアルタイムで画像P1に反映される。このとき、携帯電子機器1bが枠F1の内部をディスプレイ2に画像P3として表示させていれば、携帯電子機器1aでの編集結果は、画像P3にもほぼリアルタイムで反映される。
同様に、編集処理が開始された後、携帯電子機器1bの利用者は、操作部13に対して編集操作を行って、ステップS23のように、あるセルの内容を書き換えることができる。編集操作が行われると、携帯電子機器1bは、編集結果をデータ管理部50に直ちに送信し、データ管理部50は、編集結果を反映した文書データを携帯電子機器1a及び携帯電子機器1bに送信する。
その結果、携帯電子機器1bでの編集結果がほぼリアルタイムで画像P1に反映される。このとき、携帯電子機器1aが枠F2の内部をディスプレイ2に画像P2として表示させていれば、携帯電子機器1bでの編集結果は、画像P2にもほぼリアルタイムで反映される。
上述してきたように、実施例1では、データの全体をプロジェクタによって投影するとともに、その細部を複数の携帯電子機器の表示部に表示させることとしたので、複数の利用者が、データの全体を確認しつつ、携帯電子機器を操作してデータを容易に編集することができる。
実施例1では、共有データの編集処理を携帯電子機器が実行することとしたが、編集処理をデータ管理装置が実行することとしてもよい。そこで、実施例2では、編集処理をデータ管理装置が実行する例について説明する。
まず、図15を参照しながら、実施例2に係るデータ編集システムの構成について説明する。図15は、実施例2に係るデータ編集システムの構成を示す図である。図15に示すように、実施例2に係るデータ編集システムは、携帯電子機器1cと、携帯電子機器1dと、データ管理部60を備えるデータ管理装置とを含む。携帯電子機器1c及び携帯電子機器1dは、無線通信によってデータ管理部60と接続される。
携帯電子機器1cは、プロジェクタ機能を有する携帯電話機である。すなわち、携帯電子機器1cは、任意の画像を投影画像P1として壁面やスクリーン等の画像投影対象に拡大して投影する。また、携帯電子機器1cは、ディスプレイ2を有し、投影画像P1の少なくとも一部を部分画像P2としてディスプレイ2に表示する。投影画像P1のうち部分画像P2としてディスプレイ2に表示される部分は、利用者の操作に応じて位置と範囲の少なくとも一方が変化する。
携帯電子機器1dは、ディスプレイ2を有し、投影画像P1の少なくとも一部を部分画像P3としてディスプレイ2に表示する。投影画像P1のうち部分画像P3としてディスプレイ2に表示される部分は、利用者の操作に応じて位置と範囲も少なくとも一方が変化する。なお、携帯電子機器1dは、部分画像P2として携帯電子機器1cのディスプレイ2に表示されている部分とは別の部分を、部分画像P3として自身のディスプレイ2に表示することができる。
また、携帯電子機器1c及び携帯電子機器1dは、利用者の操作情報をデータ管理部60へ転送する機能を有する。例えば、携帯電子機器1c及び携帯電子機器1dは、操作キー13Aを操作して入力された文字をデータ管理部60に送信する。また、携帯電子機器1c及び携帯電子機器1dは、その他の操作が行われた場合には、行われた操作を識別するための情報をデータ管理部60へ送信する。
データ管理部60は、投影画像P1の元となるデータを記憶する記憶部52を有し、記憶部52に記憶しているデータを、無線通信を介して携帯電子機器1c及び携帯電子機器1dに提供する。また、データ管理部60は、携帯電子機器1dから転送された操作情報に基づいて、記憶部52に記憶しているデータに対して編集処理を実行する。そして、データ管理部60は、更新後のデータを携帯電子機器1cの処理部及び携帯電子機器1dの処理部へ送信し、投影画像P1、部分画像P2及び部分画像P3を更新させる。
このように、実施例2に係るデータ編集システムでは、データ管理部60が、自身が管理しているデータを携帯電子機器1cの処理部及び携帯電子機器1dの処理部へ送信し、携帯電子機器1cが、そのデータに基づく画像を投影画像P1として投影する。また、携帯電子機器1c及び携帯電子機器1dが、それぞれ、投影画像P1の一部を部分画像P2及び部分画像P3としてディスプレイ2に表示する。また、データ管理部60が、携帯電子機器1cの処理部及び携帯電子機器1dの処理部から転送された操作情報に基づいて編集処理を実行し、編集結果を投影画像P1、部分画像P2及び部分画像P3に反映させる。
このため、実施例2に係るデータ編集システムでは、複数の利用者が、データ管理部60によって管理されているデータの全体像を投影画像P1によって確認しつつ、その細部を携帯電子機器1c及び携帯電子機器1dを操作してデータ管理部60に編集させることができる。すなわち、実施例2に係るデータ編集システムでは、1つのデータを複数の利用者で編集する作業を容易に実行することができる。
なお、図15では、データ編集システムが、携帯電子機器1c、携帯電子機器1d及びデータ管理部60を備えるデータ管理装置を1台ずつ含む例を示したが、データ編集システムが含む装置の数はこれに限定されない。例えば、携帯電子機器1dを増やすことで、データを編集する利用者を増やすことができる。また、携帯電子機器1cを増やすことで、複数のデータを同時に編集することができる。
次に、図16及び図17を参照しながら、携帯電子機器1c及び携帯電子機器1dの構成について説明する。図16は、携帯電子機器1cの機能的な構成を示すブロック図である。図17は、携帯電子機器1dの機能的な構成を示すブロック図である。
携帯電子機器1cは、図2に示した携帯電子機器1aと同様の外観を有する。また、携帯電子機器1dは、図6に示した携帯電子機器1bと同様の外観を有する。図16に示すように、機能的に見ると、携帯電子機器1cは、データ編集部22gに代えて操作転送部22iを有する点を除いて図4に示した携帯電子機器1aと同様の構成を有する。また、図17に示すように、機能的に見ると、携帯電子機器1dは、データ編集部22gに代えて操作転送部22iを有する点を除いて図7に示した携帯電子機器1bと同様の構成を有する。
操作転送部22iは、データ管理部60から送信されたデータに基づく画像の一部を表示部32に表示している間に操作部13に対して行われた操作をデータ管理部60へ送信する。具体的には、操作転送部22iは、操作部13を操作することによって文字が入力された場合には、入力された文字をデータ管理部60へ送信し、その他の操作が行われた場合には、行われた操作を識別するための情報をデータ管理部60へ送信する。
なお、データ管理部60から送信されたデータに基づく画像の一部を表示部32に表示している間であっても、画像の一部を表示部32に表示することを終了させるための操作等の特定の操作は、データ管理部60へ転送することなく、携帯電子機器1c又は携帯電子機器1dによって処理されてもよい。
次に、図18を参照しながら、データ管理部60を備えるデータ管理装置の構成について説明する。図18は、データ管理部60の機能的な構成を示すブロック図である。データ管理部60は、携帯電子機器1c及び携帯電子機器1dによって共有されるデータを管理するとともに、データの編集を行う装置であり、送受信部51と、記憶部52と、処理部63とを有する。記憶部52が記憶するデータには、共有データ52aと、アクセス権情報52bと、アクセス状況管理情報52cとが含まれる。
処理部63は、記憶部52に記憶されているプログラムに基づいて処理を実行する。具体的には、処理部63は、CPU等の演算装置と、演算データ等を一時的に記憶するメモリとを有し、プログラムに含まれる命令コードを読み込んで演算装置に命令コードを実行させることによって各種の処理を実現する。本実施例において、処理部63は、共有データ提供部63aと、操作変換部63bと、データ編集部63cとを有する。これらの機能部は、処理部63が所定の制御プログラムを実行することによって実現される。
共有データ提供部63aは、携帯電子機器1c等の端末からの要求に応じて、要求された共有データ52aに基づいて生成した画像データを要求元へ送信する。ここで、共有データ52aに基づいて生成される画像データには、データ編集部63cでの編集処理の状況が反映される。例えば、データ編集部63cがポップアップメニューを表示するための処理を実行した場合、共有データ52aに基づいて生成される画像データには、データ編集部63cによって指定された位置にポップアップメニューが含められる。また、データ編集部63cがデータの一部を選択状態にするための処理を実行した場合、共有データ52aに基づいて生成される画像データでは、その部分が反転表示等の通常とは異なる態様で表示される。
操作変換部63bは、携帯電子機器1c等の端末から転送された操作をデータ管理部60において行われた操作に変換する。例えば、操作変換部63bは、入力された文字が転送された場合、データ管理部60がキーボードを有していたらキーボードからその文字が入力された場合に発生するイベントを発生させる。また、操作変換部63bは、データの特定の位置を選択する操作に関する情報が転送された場合、データ管理部60がマウス等のポインティングデバイスを有していたらポインティングデバイスがその位置を選択した場合に発生するイベントを発生させる。
すなわち、操作変換部63bは、携帯電子機器1c等の端末から転送された操作を、データ管理部60が有するキーボードやポインティングデバイスに対して行われた操作であるかのように見せかける。このため、データ編集部63cは、パソコン等で通常用いられるプログラムを用いて共有データ52aを編集することができる。
データ編集部63cは、操作変換部63bによって変換された操作に応じて、共有データ52aを編集し、更新する。なお、編集結果が共有データ52aに反映されるタイミングは、データの種類やデータを編集するためにデータ編集部63cが用いるプログラムによって異なり、ある場合は、保存操作が行われたタイミングで編集結果が共有データ52aに反映され、ある場合は、編集結果が共有データ52aに即時に反映される。
次に、図19および図20を参照しながら、携帯電子機器1c、携帯電子機器1d及びデータ管理部60の動作について説明する。図19は、データ管理部60の動作を示すフロー図である。図19に示す動作は、携帯電子機器1c等の端末から何らかのメッセージが受信されるたびに実行される。
図19に示すように、ステップS501として、端末からのメッセージが受信されると、データ管理部60の処理部63は、ステップS502として、受信されたメッセージがデータ送信要求であるかを判定する。受信したメッセージがデータ送信要求である場合(ステップS502,Yes)、処理部63は、ステップS503として、アクセス権情報52bを参照して、要求された共有データ52aへのアクセス権を要求元が有しているかを判定する。要求元がアクセス権を有していない場合(ステップS503,No)、処理部63は、特に処理を行わない。
要求元がアクセス権を有している場合(ステップS503,Yes)、処理部63は、ステップS504として、要求された共有データ52aの編集画像を要求元へ送信する。編集画像とは、要求された共有データ52aに基づいて生成され、データ編集部63cでの編集状況が反映された画像である。より具体的には、編集画像は、データ管理部60に表示部が設けられている場合に、データ編集部63cによる編集処理中に表示部に表示される画像である。
そして、処理部63は、ステップS505として、要求された共有データ52aと対応付けて、要求元を識別するための情報をアクセス状況管理情報52cに記録する。なお、図19では図示していないが、アクセス状況管理情報52cに記録された情報は、例えば、要求元の端末から共有データ52aが不要である旨が通知された場合に削除される。
受信したメッセージがデータ送信要求でない場合(ステップS502,No)、処理部63は、ステップS506として、受信されたメッセージが編集通知であるかを判定する。編集通知とは、端末で行われた編集操作を転送するためのメッセージであり、共有データ52aを指定するための情報と、操作によって入力された文字や操作を識別するための情報を含む。
受信したメッセージが編集通知である場合(ステップS506,Yes)、処理部63は、ステップS507として、編集通知が示す編集操作に応じて、指定された共有データ52aの編集処理を実行する。続いて、処理部63は、ステップS508として、編集処理の結果に基づいて編集画像を更新する。そして、処理部63は、ステップS509として、アクセス状況管理情報52cを参照して指定された共有データ52aにアクセスしている端末を特定し、共有データ52aにアクセスしている各端末に編集画像を送信する。
受信したメッセージが編集通知でない場合(ステップS506,No)、処理部63は、特に処理を行わない。
図20は、操作部13への操作が検出された場合の携帯電子機器1c及び携帯電子機器1dの動作を示すフロー図である。図20に示す動作は、編集部への操作が検出されるたびに実行される。
図20に示すように、ステップS601として、操作部13への操作が検出された場合、処理部22は、ステップS602として、データ管理部60と連係中であるかを判定する。ここで、データ管理部60と連係中とは、データ管理部60から送信されたデータに基づく画像の一部を表示部32に表示している状態であることを意味する。
データ管理部60と連係中である場合(ステップS602,Yes)、処理部22は、ステップS603として、検出された操作をデータ管理部60へ転送させる。データ管理部60と連係中でない場合(ステップS602,No)、処理部22は、ステップS604として、検出された操作に対応する通常の処理を実行する。
次に、図21を参照しながら、携帯電子機器1c及び携帯電子機器1dの動作の具体例を説明する。図21は、携帯電子機器1c及び携帯電子機器1dの動作を説明するための説明図である。なお、図21は、携帯電子機器1c及び携帯電子機器1dの形状を模式的に図示している。
図21に示すステップS31では、携帯電子機器1cは、表計算プログラムの文書データに基づく画像P1をプロジェクタ34から投影させている。また、携帯電子機器1cは、画像P1の一部を画像P2としてディスプレイ2に表示させている。同様に、携帯電子機器1dは、画像P1の一部を画像P3としてディスプレイ2に表示させている。
この状態において、携帯電子機器1dの利用者が、操作部13を操作して、あるセルの値をクリップボードにコピーするコピー操作を行ったものとする。コピー操作は、例えば、方向キーを何度か押下してカレントキーを対象のセルに移動させた後、所定の機能キーを押下してポップアップメニューを表示させ、ポップアップメニューから「コピー」の項目を選択することによって実現される。ここで、携帯電子機器1dの操作部13に対して利用者が行った操作は、データ管理部60へ逐次送信され、ポップアップメニューの表示等として、データ管理部60から携帯電子機器1c及び携帯電子機器1dへ送信される編集画像に反映される。
続いて、ステップS32に示すように、携帯電子機器1dの利用者が、操作部13を操作して、カレントセルを移動する操作を行ったものとする。カレントセルを移動する操作は、例えば、方向キーを何度か押下することによって実現される。ここで、携帯電子機器1dの操作部13に対して利用者が行った操作は、データ管理部60へ逐次送信され、カレントセルを示す枠の位置の変化等として、データ管理部60から携帯電子機器1cの処理部22及び携帯電子機器1dの処理部22へ送信される編集画像に反映される。
続いて、ステップS33に示すように、携帯電子機器1dの利用者が、操作部13を操作して、セルの値をクリップボードにコピーされていた値に置き換えるペースト操作を行ったものとする。ペースト操作は、例えば、所定の機能キーを押下してポップアップメニューを表示させ、ポップアップメニューから「ペースト」の項目を選択することによって実現される。ここで、携帯電子機器1dの操作部13に対して利用者が行った操作は、データ管理部60へ逐次送信され、ポップアップメニューの表示等として、データ管理部60から携帯電子機器1cの処理部22及び携帯電子機器1dの処理部22へ送信される編集画像に反映される。
このように、本実施例では、携帯電子機器1d等の端末が操作部13に対して行われた操作をデータ管理部60へ転送することにより、端末の利用者が、データ管理部60に記憶されている共有データ52aに対してコピー&ペースト等の編集操作を遠隔実行することができる。なお、図21では、携帯電子機器1dの利用者が編集操作を遠隔実行する例を示したが、同様に携帯電子機器1cの利用者が編集操作を遠隔実行することもできる。また、遠隔実行することができる編集操作は、コピー&ペーストに限定されず、利用者は、文字入力、ドラッグ&ドロップ等の各種操作を遠隔実行することができる。
上述してきたように、実施例2では、複数の携帯電子機器から転送された操作に基づいてデータ管理部60が編集処理を共有データに対して行うとともに、編集処理の状況を携帯電子機器の表示部に表示させることとしたので、複数の利用者が、携帯電子機器を操作してデータを効率よく編集することができる。
なお、上記の各実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。また、上記の各実施例で示した各種の構成は、任意に組み合わせることができる。
例えば、プロジェクタ34が、ディスプレイ2の反対側以外の面から画像を投影することとしてもよい。また、データ管理装置のデータ管理部50,60を、携帯電子機器1a,1c或いは携帯電子機器1b,1dの中の処理部22内に配置してもよい。例えば、携帯電子機器1a,1c内にデータ管理部を配置した場合、上記実施例における携帯電子機器1a,1cとデータ管理部との情報や各種信号の送受信は、携帯電子機器1a,1cの処理部22の中のデータ管理部と処理部22の中の他の各部との情報や各種信号の送受信等で行える。この場合、データ管理部を含む携帯電子機器1a,1cと、携帯電子機器1b,1dとからなるシステムとなる。このため、携帯電子機器1a,1cや携帯電子機器1b,1dが外部に設けたデータ管理装置との通信アクセスができない環境下でも、当該発明を実施できるメリットがある。すなわち、携帯電子機器1a,1cと携帯電子機器1b,1dとが通信可能であれば、携帯電子機器1a,1c内にてデータ管理部と処理部22の他の各部とのデータ送受信を有線或いは近距離無線で行えばよく、外部の通信環境(特に基地局を用いた通信環境)に影響されにくくできる。
一方、上記実施例のように、携帯電子機器1a,1cと、携帯電子機器1b,1dと、データ管理装置に設けたデータ管理部50,60とからなるシステムの場合は、高い処理能力や大きな記憶領域を有する外部のサーバ機能を利用することも可能になり、例えば、携帯電子機器内部のCPUへの処理速度の依存や、電池使用量・記憶容量等の制限が起こりにくい。
また、上記の各実施例では、編集対象のデータの例として、画像データ及び文書データを示したが、本発明の編集対象のデータはこれに限定されない。本発明は、例えば、動画データ、音声データ、拡張現実(Augmented Reality)空間のタグデータ等の多様なデータを編集対象とすることができる。拡張現実空間とは、現実の世界に重畳して電子的に構築された空間である。
また、上記の各実施例では、操作部13が、操作キー13A及び方向及び決定キー13Bによって構成される例を示したが、操作部13は、ディスプレイ2に重畳されたタッチセンサを含んでもよい。すなわち、表示部32が操作部13の機能を兼ねることとし、利用者が、ディスプレイ2に表示される画像を参照しつつ、ディスプレイ2に重畳されたタッチセンサに指等で触れることで編集操作を行うことができるようにしてもよい。この場合、データ編集部63cで用いられるプログラムがタッチセンサでの操作に対応していれば、操作変換部63bは、携帯電子機器1c等から転送されたタッチセンサへの操作をそのままデータ編集部63cへ引き渡す。一方、データ編集部63cで用いられるプログラムがタッチセンサでの操作に対応していなければ、操作変換部63bは、携帯電子機器1c等から転送されたタッチセンサへの操作をキーボードやポインティングデバイスへの操作に変換してデータ編集部63cへ引き渡す。
また、上記の各実施例では、携帯電子機器1a等が、姿勢や位置の変化に応じてディスプレイ2に表示する画像をスクロールさせたり、拡大/縮小させたりする例を示したが、操作部13において検出された操作に応じて画像のスクロール等を行うこととしてもよい。
また、上記の各実施例では、データに基づく画像全体を投影する携帯電子機器が1台のみの例を示したが、データに基づく画像全体を投影する携帯電子機器が複数あってもよい。また、上記の各実施例では、複数の利用者がデータに基づく画像全体を閲覧できるように画像を投影することとしたが、画像全体を液晶ディスプレイ等の表示装置に表示することとしてもよい。図22を参照しながら、さらに詳しく説明する。図22は、遠隔のサイトのそれぞれでデータを編集する例を示す図である。
図22に示す例では、サイトAに携帯電子機器1cの利用者と携帯電子機器1dの利用者とがおり、サイトAの遠隔地であるサイトBにデータ表示装置70が設置され、携帯電子機器1dの利用者がいる。携帯電子機器1c、携帯電子機器1dおよびデータ表示装置70は、データ管理部60と無線通信によって接続されている。
この例において、サイトAでは、実施例2で説明したとおりに、携帯電子機器1cおよび携帯電子機器1dの利用者は、投影される画像P1を参照しつつ、遠隔操作によってデータ管理部60に記憶されている共有データ52aを編集することができる。また、サイトBでは、データ表示装置70が、データ管理部60から送信されるデータに基づく画像P1の全体を、液晶ディスプレイ等からなる表示部71に表示させる。そして、携帯電子機器1dの利用者は、表示部71に表示される画像P1を参照しつつ、遠隔操作によってデータ管理部60に記憶されている共有データ52aを編集することができる。
このように、本発明は、遠隔地のそれぞれでデータの編集を行う場合にも適用することができる。例えば、離れた複数の場所で会議を行う場合に、議事内容の編集に本発明を適用することにより、それぞれの場所で議事内容を編集しつつ、編集結果を投影又は表示して複数の参加者に閲覧させることができる。また、このように、本発明は、データに基づく画像P1の全体を表示装置に表示する場合にも適用できる。なお、実施例1で示したデータ編集システムを、図22に示したような構成で利用することもできる。