本発明に係る情報処理装置の実施の形態について、添付図面を参照して説明する。
図1は、本発明に係る情報処理装置の第1実施形態を示す概略的な全体構成図である。なお、本発明は、カメラなどの撮像装置を利用してプロジェクタの投影画像を自動調整可能に構成された情報処理装置に適用することができる。また、本発明に係る情報処理装置は、特に、プロジェクタが持ち運ばれるなどしてプロジェクタと画面とが様々な位置関係となる利用形態に好適である。以下の説明では、本発明に係る情報処理装置として、カメラを利用してプロジェクタの投影画像を自動調整可能に構成された携帯電話機を用いる場合の一例について示す。
図1(a)には携帯電話機が開いている状態における正面からみた外観図を、図1(b)には右側面から見た外観図を、(c)には背面から見た外観図を、それぞれ示した。なお、図1には、携帯電話機10が撮像装置としての撮像部30およびプロジェクタとしての機能を実現するプロジェクタ部40を備える場合の例について示した。
携帯電話機10は、コンピュータ本体11および表示装置としてのディスプレイユニット12を備える。
コンピュータ本体11は、薄い箱形の筐体を有し、この筐体上面の表面上には、操作部13およびマイクロフォン14が設けられる。また、ディスプレイユニット12は、薄い箱形の筐体を有し、この筐体正面の表面上には、表示部15およびスピーカ16が設けられる。ディスプレイユニット12の表示部15の背面側には、撮像部30の撮像用のレンズ(以下、撮像用レンズという)17およびプロジェクタ部40の画像投影用のレンズ(以下、投影用レンズという)18が設けられる(図1(c)参照)。ディスプレイユニット12は、コンピュータ本体11に対し開閉自在に支持する連結部19(ヒンジ)を介して連結される。
操作部13は、たとえばキーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を出力する。
表示部15は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Device)ディスプレイなどの一般的な表示出力装置により構成され、ユーザが撮像部30で撮影したりネットワークからダウンロードしたりすることにより取得した各種画像および映像のほか、表示部15の背景画像(壁紙)、壁紙に重畳表示される電池残量や電波強度を概略的に示す画像などの各種アイコンなどを表示する。
スピーカ16は、受話音声をはじめとした各種の情報に対応した音声を出力する。また、マイクロフォン14は、ユーザによって入力された音声をディジタル音声信号に変換する。
図2は、スクリーンなどの画面23に対してプロジェクタ部40により投影された画像(投影画像)を含む領域を撮像部30が撮影する様子の一例を示す説明図である。図2には、壁22の表面の一部を画面23とし、この画面23に対してプロジェクタ部40が画像を投影する場合の一例について示した。
図2に示すように、撮像部30は、プロジェクタ部40により画面23に投影される投影画像を含む領域を撮影可能に構成される。なお、図2に示すように撮像部30の撮像用レンズ17とプロジェクタの投影用レンズ18とが互いに近接するように配設される場合、撮像部30(撮像用レンズ17を含む)およびプロジェクタ部40(投影用レンズ18を含む)は、撮像部30ができるだけ広範なワーキングディスタンス(撮像用レンズ17から被写体(たとえば画面23)までの距離)で画面23に投影された投影画像を含む領域を撮影可能となるように、撮像部30の画角がプロジェクタ部40の画像投影角度よりも大きくなるとともに、プロジェクタの投影光軸方向と撮像部30の撮影光軸方向とがほぼ並行となるように設けられるとよい。撮像部30により撮影された画像(撮影画像)は、携帯電話機10によりプロジェクタ部40の光量およびピントを自動調整する処理のために利用される。
以下の説明では、撮像部30の撮像用レンズ17とプロジェクタの投影用レンズ18とが互いに近接するように配設され、撮像部30の画角がプロジェクタ部40の画像投影角度よりも大きくなるとともに、プロジェクタの投影光軸方向と撮像部30の撮影光軸方向とがほぼ並行となるように設けられる場合の例について示す。この場合、ワーキングディスタンス(撮像用レンズ17から被写体(たとえば画面23)までの距離)と投影距離(投影用レンズ18から画面23までの距離)とはほぼ等しくなる。
撮像用レンズ17を含む撮像部30は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどにより構成され、携帯電話機10の周辺の映像を取り込んで映像信号を生成して制御部55に与える。制御部55は、撮像部30から受けた映像信号にもとづく画像を生成して表示部15に表示することができる。以下の説明では、撮像部30から取得した映像信号にもとづく画像を「撮影画像」というものとする。撮像部30が生成する映像信号には撮影画像の画素値の情報が含まれる。制御部55は、この映像信号から撮影画像を構成する各画素の画素値の情報(少なくとも明度(または輝度、濃度)の情報を含む)を得ることができる。
撮像部30は、いわゆるオートフォーカス機能を有し、被写体までの距離(撮影距離(撮像素子から被写体までの距離)またはワーキングディスタンス)を検出する測距部31を備える。撮像部30の測距部31は従来各種のものが知られており、これらのうち任意のものを使用することが可能である。たとえば、測距部31は、赤外線や超音波などを出射して被写体からの反射波を取得することで被写体までの距離を得るもの(アクティブ方式)であってもよいし、撮影画像にもとづいて被写体までの距離を得るもの(パッシブ方式)であってもよい。
以下の説明では、測距部31がパッシブ方式で被写体までの距離を得るものであって、測距部31が、設定距離範囲内で撮影距離(またはワーキングディスタンス)を走査して複数の撮影距離で画像を撮影する走査撮影部32と、複数の撮影距離で撮影された撮影画像のそれぞれについて撮影画像の鮮鋭度を表す指標値を算出する指標値算出部33と、を少なくとも有する場合の一例について示す。この場合、撮像部30は、測距部31により撮影距離と鮮鋭度を表す指標値との関係を取得することができる。
撮像部30は、指標値算出部33が算出した指標値が最大値を与える撮影距離を被写体までの距離として取得し、この距離の情報の情報を制御部55に与える。なお、設定距離範囲の情報は、初期設定値が用いられてもよいし、制御部55から撮像部30の測距部31に対して与えられてもよいし、ユーザにより操作部13を介して設定されて与えられてもよい。
なお、指標値算出部33は、撮影画像の鮮鋭度を表す指標値として、撮影画像に対してフーリエ変換(高速フーリエ変換などを含む)または離散コサイン変換などを行うことにより得た画像周波数成分のうち所定の周波数以上の成分が占める割合を用いてもよいし、いわゆるアクティビティ値を用いてもよい。アクティビティ値は、たとえば画素値の分散から求めることができる。アクティビティ値は、周波数成分との相関が高く、高周波成分を多く含む画像領域ではアクティビティ値が大きくなる傾向がある。また、撮影画像のデータサイズにも周波数成分との相関があり、高周波成分を多く含む鮮鋭な画像であるほどデータサイズが大きくなる傾向がある。このため、撮影画像の鮮鋭度を表す指標値として撮影画像のデータサイズを用いてもよい。
投影用レンズ18を含むプロジェクタ部40は、液晶プロジェクタ、DLP(Digital Light Processing、登録商標)プロジェクタなどにより構成され、画面23に画像を投影する。以下の説明では、プロジェクタ部40により画面23に投影された画像を「投影画像」というものとする。制御部55は、プロジェクタ部40を制御し、撮影画像にもとづいて投影画像の光量およびピントを調整する。プロジェクタ部40は、光量調整パラメータに応じた光量で投影画像を投影するとともに、ピント調整パラメータに応じた投影距離(投影用レンズ18からの距離)の位置にピントが合うよう投影画像を投影する。なお、光量調整パラメータおよびピント調整パラメータは、初期設定値が用いられてもよいし、制御部55からプロジェクタ部40に対して与えられてもよいし、ユーザにより操作部13を介して設定されて与えられてもよい。自動調整が行われる場合は、制御部55からプロジェクタ部40に各パラメータが与えられる。手動調整が行われる場合は、ユーザにより操作部13を介してプロジェクタ部40に各パラメータの設定に必要な情報が与えられる。
コンピュータ本体11の筐体側面には、プロジェクタ起動ボタン20および自動調整ボタン21が設けられる(図1(b)参照)。
ここで、プロジェクタ起動ボタン20は、ユーザがプロジェクタ部40の起動を指示するために利用されるキーである。携帯電話機10は、プロジェクタ起動ボタン20が押下されると、プロジェクタ部40に対してプロジェクタ機能を起動するよう指示する。一方、自動調整ボタン21は、撮像部30を利用してプロジェクタ部40の光量およびピントを自動調整するようユーザが携帯電話機10に指示するために利用されるキーである。携帯電話機10は、自動調整ボタン21が押下されると、撮像部30およびプロジェクタ部40を制御し、撮像部30を利用してプロジェクタ部40の光量およびピントを自動調整する処理を実行する。
なお、プロジェクタ起動ボタン20および自動調整ボタン21は、ハードキーであってもよいし、ソフトキーであってもよい。プロジェクタ起動ボタン20および自動調整ボタン21の少なくとも一つをソフトキーとする場合、このソフトキーは、キーに対するユーザの接触操作に応じた信号を出力する機能を実現可能に構成されていればよく、たとえば静電容量方式のタッチセンサにより構成することができる。また、表示部15がタッチパネルを有する場合、このソフトキーはコンピュータ本体11の筐体側面に設けられず表示部15に表示されるソフトキーであってもよい。
また、プロジェクタ起動ボタン20および自動調整ボタン21のそれぞれに割り当てられた機能は、同一のキーに割り当てられてもよい。この場合、たとえば一つのキーの短押しおよび長押しの入力操作種別ごとにそれぞれの機能を割り当てておくとよい。
図3は、携帯電話機10の内部構成例を概略的に示すブロック図である。
携帯電話機10は、操作部13、マイクロフォン14、表示部15、スピーカ16、プロジェクタ起動ボタン20、自動調整ボタン21、撮像部30およびプロジェクタ部40のほか、基地局用アンテナ51、基地局用送受信部52、外部機器接続部53、記憶部54および制御部55を有する。
基地局用アンテナ51は、図示しない無線基地局との間で通信電波の送受信(無線通信)を行う。
基地局用送受信部52は、無線基地局との間で無線通信用の信号を送受信するための無線回路であり、制御部55から出力される通信データを変調し、基地局用アンテナ51を介して送信する。また、基地局用アンテナ51を介して受信した通信データを復調し、制御部55へ出力する。通信データには、少なくとも通話のための音声データが含まれる。
外部機器接続部53は、外部機器との接続形態に応じた種々の情報通信用プロトコルを実装し、この各種プロトコルに従って携帯電話機10と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線/有線LAN(Local Area Network)やインターネット網のほか、BLUETOOTH(登録商標)、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
たとえば、撮像部30およびプロジェクタ部40の少なくとも一方を外部機器とし、外部機器接続部53を介して携帯電話機10とデータ送受信可能に相互接続して利用する場合、この相互接続および通信は無線信号により実現されてもよく、この場合、無線LANやBLUETOOTH(登録商標)規格の無線信号を利用してもよいし、2.4GHz帯(ISM帯)のIEEE802.11b規格や5GHz帯のIEEE802.a規格に規定されている無線インタフェースや、赤外線無線インタフェースであるIrDA(InfraredDataAssociation)規格の他、独自の無線信号形式を実装することとしてもよい。また、有線ケーブルや接続コネクタで実現する場合、独自の信号形式に基づくインタフェース条件や、標準化されたUSB(Universal Serial Bus)1.0/2.0規格や、UART(Universal Asynchronous Receiver Transmitter)シリアル通信などのいずれを用いてもよい。
図4は、プロジェクタ部40を外部機器とし、プロジェクタ部40を含む筐体24がディスプレイユニット12の上部に突出するように付設される場合の一例を示す説明図である。図4(a)にはプロジェクタ部40を外部機器とした場合の携帯電話機10が開いている状態における正面からみた外観図を、図4(b)にはこの場合における右側面から見た外観図を、(c)にはこの場合における背面から見た外観図を、それぞれ示した。
図4に示すようにプロジェクタ部40を外部機器とする場合、携帯電話機10は撮像部30のみを有し、プロジェクタ部40と携帯電話機10とは、たとえばBLUETOOTH(登録商標)規格の無線信号により互いにデータ送受信可能に無線接続される。なお、この場合でも、撮像部30ができるだけ広範な撮影距離でプロジェクタ部40によって画面23に投影された投影画像を含む領域を撮影可能となるように、あらかじめ撮像部30の画角とプロジェクタ部40の画像投影角度との関係、および、プロジェクタの投影光軸方向と撮像部30の撮影光軸方向との関係を調整しておくとよい。
記憶部54は、データの書き換えが可能な不揮発性のメモリであり、たとえば撮像部30による撮影画像データや電子メールデータなどの各種データを記憶している。
また、記憶部54は、自動調整時にプロジェクタ部40が投影するための画像(以下、調整用画像という)を記憶しておくとよい。この調整用画像は、たとえば撮影画像中の投影画像領域が把握しやすいように外枠を強調した画像であると好ましい。また、高周波成分を意図的に強調した縦縞や横縞を含む画像であると投影画像の自動ピント調整が行いやすいためさらに好ましい。
さらに、記憶部54は、投影画像の領域を除く撮影画像の領域の平均コントラストに対する投影画像領域の平均コントラストの比の目標値をあらかじめ記憶しておく。このコントラスト比の目標値は、制御部55により光量調整時に用いられる。
また、記憶部54は、撮像部30の測距部31の走査撮影部32が最初に走査する初期設定距離範囲の情報を記憶しておくとよい。
さらに、記憶部54は、鮮鋭度を表す指標値の閾値をあらかじめ記憶しておく。この閾値としては、撮影画像の指標値が閾値を越えると撮影画像のピントが被写体に合っていることを意味する値が設定され、制御部55により投影画像のピント調整時に用いられる。ある撮影画像の指標値が閾値を越える場合、この撮影画像の撮影距離が被写体までの距離であるとしてよい。特に、撮像部30とプロジェクタ部40が近接して配設されている場合は、ワーキングディスタンスと投影距離はほぼ同じとみなすことができるため、この撮影距離にもとづいて算出されたピント調整パラメータに従って投影された投影画像は、画面23においてピントがあった画像となることが期待できる。
制御部55は、CPU、RAMおよびROMをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って、携帯電話機10の処理動作を制御する。
制御部55のCPUは、ROMをはじめとする記憶媒体に記憶された自動調整プログラムおよびこのプログラムの実行のために必要なデータをRAMへロードし、このプログラムに従って、撮像部30を利用してプロジェクタ部40の光量およびピントを自動調整する処理を実行する。
制御部55のRAMは、CPUが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。
制御部55のROMをはじめとする記憶媒体は、携帯電話機10の起動プログラム、自動調整プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。
なお、ROMをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、CPUにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
図5は、制御部55のCPUによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、CPUを用いることなく回路などのハードウエアロジックによって構成してもよい。
図5に示すように、制御部55のCPUは、自動調整プログラムによって、少なくともプロジェクタ起動指示部61、自動調整判定部62、カメラ起動指示部63、自動光量調整部64および自動ピント調整部65として機能する。この各部61〜65は、RAMの所要のワークエリアを、データの一時的な格納場所として利用する。
プロジェクタ起動指示部61は、プロジェクタ起動ボタン20が押下されることによりプロジェクタ部40を起動すべき旨の指示を受け、プロジェクタ部40に対してプロジェクタの機能を実現するために必要なハードウエアおよびソフトウエアを起動する(以下、プロジェクタを起動するという)よう指示する。
自動調整判定部62は、ユーザにより自動調整ボタン21が押下されてプロジェクタ部40を自動調整するよう指示されたか否かを判定する。
カメラ起動指示部63は、撮像部30に対して撮像装置としての機能を実現するために必要なハードウエアおよびソフトウエアを起動する(以下、カメラを起動するという)よう指示する。
自動光量調整部64は、撮像部30から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部40に与えることにより投影画像の光量を自動調整する処理を実行する。この自動光量調整部64は、少なくとも投影範囲取得部71、コントラスト比算出部72、差分算出部73および光量調整パラメータ算出部74を有する。
投影範囲取得部71は、プロジェクタ部40が画面23に投影した投影画像を含む領域を撮像部30が撮影した撮影画像を撮像部30から取得し、撮影画像に含まれる投影画像の領域の情報を取得してコントラスト比算出部72に与える。たとえば、投影画像が調整用画像である場合は、投影範囲取得部71は、記憶部54から調整用画像の情報を取得し、撮影画像を解析して撮影画像中の調整用画像の位置を判別し、この位置情報をコントラスト比算出部72に与える。また、撮像部30の撮像用レンズ17とプロジェクタ部40の投影用レンズ18との位置関係および撮像部30の画角とプロジェクタ部40の投影角度との関係から、撮影画像中の投影画像領域があらかじめ一意に定まる場合には、この投影画像領域の情報をあらかじめ取得しておきコントラスト比算出部72に与える。
コントラスト比算出部72は、投影画像の領域を除く撮影画像の領域の平均コントラストに対する投影画像領域の平均コントラストの比の値を算出する。平均コントラストとしては、注目する領域に所属する全ての画素について、たとえば各画素の画素値の明度(濃度)の最大値と最小値の差の平均値や最大値と最小値の比率の平均値を用いることができる。
差分算出部73は、コントラスト比の値とあらかじめ記憶部54に記憶されたコントラスト比の目標値との差を算出し、この差の情報を光量調整パラメータ算出部74に与える。
光量調整パラメータ算出部74は、コントラスト比の値と目標値との差に応じて光量調整パラメータを算出し、プロジェクタ部40に与える。より具体的には、光量調整パラメータ算出部74は、コントラスト比の値と目標値との差の絶対値が大きいほどプロジェクタの光量の変化が大きくなるように、かつ、あらたな光量で投影された投影画像におけるコントラスト比の値と目標値との差の絶対値がゼロに近づくように、光量調整パラメータを算出し、プロジェクタ部40に与える。
自動ピント調整部65は、撮像部30の測距部31から取得した情報を利用してピント調整パラメータを決定してプロジェクタ部40に与えることにより投影画像のピントを自動調整する処理を実行する。この自動ピント調整部65は、少なくともピント判定部81、ピント設定値決定部82およびピント調整パラメータ算出部83を有する。
ピント判定部81は、撮像部30から受けた撮影距離と鮮鋭度を表す指標値との関係にもとづいて、指標値の最大値があらかじめ記憶部54に記憶された閾値以上か否かを判定する。
ピント設定値決定部82は、ピント設定値決定部82は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて適切な撮影距離を決定する。この適切な撮影距離としては、たとえば指標値の最大値を与える撮影距離や、指標値の半値全幅(FWHM)の中心を与える撮影距離などを用いるとよい。FWHMとしては、たとえば指標値の最小値と最大値との差をピーク値とし、このピーク値に対するFWHMを用いてもよい。以下の説明では、ピント設定値決定部82が、撮影距離と鮮鋭度を表す指標値との関係にもとづいて指標値の最大値を与える撮影距離を適切な撮影距離として決定する場合の例について示す。
また、ピント設定値決定部82は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて、適切な設定距離範囲を決定する。この適切な設定距離範囲としては、たとえば指標値の最大値を与える撮影距離の前後の所定の距離などを用いるとよい。
ピント調整パラメータ算出部83は、ピント設定値決定部82から受けた適切な撮影距離の情報に従ってピント調整パラメータを算出し、プロジェクタに与える。
次に、本実施形態に係る携帯電話機10の動作の一例について説明する。
図6は、図1に示す携帯電話機10の制御部55により、撮像部30を利用して投影画像の光量およびピントを自動調整する処理を実行する際の手順を示すフローチャートである。図6において、Sに数字を付した符号は、フローチャートの各ステップを示す。
この手順は、プロジェクタ起動ボタン20が押下されて制御部55がプロジェクタ部40を起動すべき旨の指示を受けた時点でスタートとなる。
まず、ステップS1において、プロジェクタ起動指示部61は、プロジェクタ部40に対してプロジェクタを起動するよう指示する。
次に、ステップS2において、プロジェクタ部40は、プロジェクタ部40の内部の図示しない記憶媒体または記憶部54に記憶された設定値を読み出し、この設定値に従って、所定の画像を画面23に投影する。
なお、この設定値は、光量調整パラメータおよびピント調整パラメータを少なくとも含み、あらかじめ記憶部54に記憶された初期設定値であってもよいし、ユーザにより設定された設定値であってもよいし、プロジェクタ部40の前回終了時の設定値であってもよい。
また、所定の画像は、あらかじめ記憶部54に記憶された自動調整に適した画像(調整用画像)であってもよいし、ユーザにより設定された画像であってもよいし、前回プロジェクタ部40の前回終了時に投影していた画像であってもよい。
次に、ステップS3において、自動調整判定部62は、ユーザにより自動調整ボタン21が押下されてプロジェクタ部40を自動調整するよう指示されたか否かを判定する。自動調整ボタン21が押下されてプロジェクタ部40を自動調整するよう指示された場合、ステップS4に進む。一方、プロジェクタ部40を自動調整するよう指示されていない場合は、ユーザによる手動調整が行われる場合などの自動調整の必要がない場合であるため、一連の手順は終了となる。
次に、ステップS4において、カメラ起動指示部63は、撮像部30に対してカメラを起動するよう指示する。
次に、ステップS5において、自動光量調整部64は、撮像部30から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部40に与えることにより投影画像の光量を自動調整する処理を実行する。
次に、ステップS6において、撮像部30の測距部31および自動ピント調整部65は、撮影画像を利用してピント調整パラメータを決定してプロジェクタ部40に与えることにより投影画像のピントを自動調整する処理を実行する。
以上の手順により、撮像部30を利用して投影画像の光量およびピントを自動調整することができる。
なお、ステップS5およびステップS6は、ステップS6の次にステップS5が行われてもよい。図6に示すようにステップS5の後にステップS6が行われる場合、すなわち先に光量調整を行う場合、実際の投影距離が光量調整パラメータの初期値が想定する投影距離と大きく離れている場合にも正確に投影画像のピント調整を行うことができる。たとえば、実際の投影距離が30cmであり光量調整パラメータの初期値が想定する投影距離が5mである場合、投影画像の光量が大きすぎて投影画像を含む撮影画像の多くの領域が白トビしてしまうため、撮像部30の測距部31がパッシブ方式の場合は撮影距離を検出することが難しくなる。この場合でも投影画像のピント調整を行う前に光量調整を行っておけば、正確に投影画像のピント調整を行うことができる。
続いて、撮像部30から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部40に与えることにより投影画像の光量を自動調整する際の手順を説明する。
図7は、図6のステップS5で自動光量調整部64により実行される自動光量調整処理のサブルーチンフローチャートである。図7において、Sに数字を付した符号は、フローチャートの各ステップを示す。また、図8は、撮影画像と投影画像との関係の一例を示す説明図である。
ステップS51において、投影範囲取得部71は、撮像部30から、プロジェクタ部40が画面23に投影した投影画像を含む領域を撮像部30が撮影した撮影画像(図8参照)を取得し、撮影画像に含まれる投影画像の領域の情報を取得してコントラスト比算出部72に与える。たとえば、図6のステップS2においてプロジェクタ部40があらかじめ記憶部54に記憶された調整用画像を投影した場合、投影範囲取得部71は、記憶部54から調整用画像の情報を取得し、撮影画像を解析して撮影画像中の調整用画像の位置を判別し、この位置情報をコントラスト比算出部72に与える。
次に、ステップS52において、コントラスト比算出部72は、投影画像の領域を除く撮影画像の領域(図8の斜線部)の平均コントラストに対する投影画像領域の平均コントラストの比の値を算出する。
次に、ステップS53において、差分算出部73は、コントラスト比の値と目標値との差を算出する。
次に、ステップS54において、光量調整パラメータ算出部74は、差分算出部73から受けたコントラスト比の値と目標値との差に従って光量調整パラメータを算出し、プロジェクタ部40に与える。たとえば、光量調整パラメータ算出部74は、コントラスト比の値が目標値より小さければ小さいほど光量を増すことによりコントラスト比の値が目標値に近づくよう、光量調整パラメータを決定する。この結果、プロジェクタ部40は、光量調整パラメータ算出部74から受けた光量調整パラメータに従って新たに投影画像の光量を決定するため、コントラスト比の値は目標値に近づくことになる。
以上の手順により、撮像部30から取得した撮影画像を利用して光量調整パラメータを決定してプロジェクタ部40に与えることにより投影画像の光量を自動調整することができる。
続いて、撮影画像を利用してピント調整パラメータを決定してプロジェクタ部40に与えることにより投影画像のピントを自動調整する際の手順を説明する。
図9は、図6のステップS6で撮像部30の測距部31および自動ピント調整部65により実行される自動ピント調整処理のサブルーチンフローチャートである。図9において、Sに数字を付した符号は、フローチャートの各ステップを示す。また、図10は、撮影画像、投影画像、およびパッシブ方式により撮影画像の鮮鋭度を表す指標値を算出する範囲(以下、指標値測定範囲という)の関係の一例を示す説明図である。
ステップS61において、撮像部30の測距部31の走査撮影部32は、設定距離範囲内で撮影距離(またはワーキングディスタンス)を走査して複数の撮影距離で画像を撮影する。ステップS61を初めて実行する場合は、この設定距離範囲は、あらかじめ記憶部54に記憶された初期設定距離範囲であってもよいし、ユーザにより設定された設定値であってもよいし、前回の自動ピント調整処理の終了時の設定値であってもよい。ステップS61が2回目以降に実行される場合は、ピント設定値決定部82から受けた設定距離範囲を用いるとよい。たとえば、初期設定距離範囲を用い、この範囲が0.3mから8mである場合は、走査撮影部32は、0.3mから8mの範囲で所定の距離(たとえば0.1m)ごとに撮影を行い複数の撮影画像を取得する。
次に、ステップS62において、撮像部30の測距部31の指標値算出部33は、複数の撮影距離で撮影された撮影画像のそれぞれについて、撮影画像の鮮鋭度を表す指標値を算出する。
図11は、撮影距離と鮮鋭度を表す指標値との関係の一例を示す説明図である。ステップS62を実行することにより、撮像部30は、図11に示した撮影距離と鮮鋭度を表す指標値との関係を得ることができる。
次に、ステップS63において、ピント判定部81は、撮像部30から受けた撮影距離と鮮鋭度を表す指標値との関係にもとづいて、指標値の最大値が閾値以上か否かを判定する。指標値の最大値が閾値以上である場合は、現在のピント調整パラメータの値で十分に投影画像のピントが画面23にあっているといえるため、一連の手順は終了となる。一方、指標値の最大値が閾値より小さい場合は、ステップS64に進む。
図11の一番上には、図9に示したこの手順のステップS62を最初に実行した際の撮影距離と鮮鋭度を表す指標値との関係の一例を示した。図11の一番上に示したように、図9に示したこの手順のステップS62を最初に実行する際には、まだ投影画像のピントが画面23には合っておらず鮮鋭度を表す指標値の最大値が閾値よりも小さいことが多い。
次に、ステップS64において、ピント設定値決定部82は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて、指標値の最大値を与える撮影距離(適切な撮影距離)を決定する。
また、ピント設定値決定部82は、撮影距離と鮮鋭度を表す指標値との関係にもとづいて、適切な設定距離範囲を決定し、撮像部30に与える。撮像部30の測距部31の走査撮影部32は、次回ステップS61を実行する際には、この設定距離範囲内で撮影距離を走査して複数の撮影距離で画像を撮影することにより、走査時間を短縮することができる。
この設定距離範囲この適切な設定距離範囲としては、たとえば指標値の最大値を与える撮影距離の前後の所定の距離などを用いるとよい。この所定の距離は、スキャン回数(ステップS61からステップS65を繰り返す回数)に応じて狭めていってもよい。以下の説明では、指標値の最大値からみて、最大値を与える撮影距離の前後の距離範囲のうち、指標値が初めて最小値と最大値の差の90%まで下落する範囲を算出し、この最大値を与える撮影距離の前後の範囲のうち広いほうの範囲を一方の範囲にも適用した範囲を設定距離範囲とする場合の例について示す。
たとえば、図11の一番上に示したように最大値を与える撮影距離が3.5mであり、この3.5mの前後の距離範囲のうち指標値が初めて最小値と最大値の差の90%まで下落する範囲が2mから4mである場合、3,5mの前側範囲(2m〜3.5m)の1.5mを後側範囲にも適用し、2m〜5mを設定距離範囲とする。なお、指標値の最大値を与える撮影距離が設定距離範囲の始端(または終端)である場合は、前側範囲(または後側範囲)が0mであるとすればよい。
次に、ステップS65において、ピント調整パラメータ算出部83は、ピント設定値決定部82から受けた適切な撮影距離の情報に従ってピント調整パラメータを算出し、プロジェクタに与える。
以上の手順により、撮影画像を利用してピント調整パラメータを決定してプロジェクタ部40に与えることにより投影画像のピントを自動調整することができる。
なお、ステップS61からステップS65を繰り返す回数の上限をあらかじめ定めておいてもよい。また、ユーザが投影画像のピントに不満を持つなどして自動ピント調整をやり直すべき指示がなされた場合は、閾値の値を所定の割合だけ高くして図9に示す手順を再度繰り返すようにしてもよい。この場合も、ステップS61からステップS65を繰り返す回数の上限を定めておいてもよい。
本実施形態に係る携帯電話機10は、撮像部30を利用してプロジェクタ部40の光量およびピントを自動調整する。このため、特にプロジェクタが持ち運ばれるなど、プロジェクタと画面23との位置関係が常時固定されてはいない利用形態においても、プロジェクタと画面23との位置関係に対して臨機応変に容易に投影画像の光量およびピントを自動調整することができる。
また、本実施形態に係る携帯電話機10は、他の情報処理装置に比べて操作部13の操作性が多少悪くとも、ユーザが手動で投影画像を調整する必要がない。このため、この携帯電話機10は利便性が高く、その産業的価値は非常に高い。
さらに、本実施形態に係る携帯電話機10は、投影画像の領域を除く撮影画像の領域の平均コントラストに対する投影画像領域の平均コントラストの比が、目標値に近づくように自動光量調整を行う。このため、投影距離が短い場合や周囲が暗い場合など、投影画像のコントラストが十分に得られる場合には光量を落とすことができる。したがって、本実施形態に係る携帯電話機10は、無駄にコントラストを上げすぎることが無く、画像投影に掛かる消費電力を削減することができる。
従来の携帯電話機10では、たとえば携帯電話機10の記憶部54にあらかじめ記憶された画像や動画を大きな画像で楽しむためには、テレビジョン受像装置やパーソナルコンピュータなどに対して有線通信または無線通信によってデータ送受信可能に接続してからこれらのデータを転送する必要があった。一方、本実施形態に係る携帯電話機10は、上述したように、ユーザが所望の様々な場所へ持ち運んで容易に画像投影を行うことができため、ユーザは、これらの画像や動画を非常に手軽に大きな画像で楽しむことができる。
次に、本発明に係る携帯電話機10の第2実施形態について説明する。
この第2実施形態に示す携帯電話機10Aは、揺れ検出部91を備え、携帯電話機10Aが本体の揺れを検知すると図6に示す手順を中止する点で第1実施形態に示す携帯電話機10と異なる。他の構成および作用については図1に示す携帯電話機10と実質的に異ならないため、同じ構成には同一符号を付して説明を省略する。
図12は第2実施形態に係る携帯電話機10Aの内部構成の一例を概略的に示すブロック図であり、図13は第2実施形態に係る携帯電話機10Aの内部構成の他の例を概略的に示すブロック図である。
図12に示すように、第2実施形態に係る携帯電話機10Aの撮像部30は、揺れ検出部91を有する。この揺れ検出部91は、撮像部30の手ぶれ補正機構の一部により構成することができる。手ぶれ補正機構は従来電子式および光学式の各種のものが知られており、これらのうち任意のものを使用することが可能である。また、図13に示すように、携帯電話機10Aが、撮像部30を除く構成の一部として、たとえば3軸の加速度センサを揺れ検出部91として備えてもよい。
図14は、第2実施形態に係る制御部55のCPUによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、CPUを用いることなく回路などのハードウエアロジックによって構成してもよい。
図14に示すように、本実施形態に係る制御部55のCPUは、自動調整プログラムによって、第1実施形態に示した各部61〜65に加え、少なくとも揺れ判定部92および機能停止部93として機能する。
揺れ判定部92は、揺れ検出部91から受けた情報にもとづいて、本体の揺れが生じたか否かを判定する。たとえば揺れ検出部91が加速度センサである場合、加速度センサから加速度に応じた信号を受け、加速度の変化量にもとづいて携帯電話機10Aに揺れがあったか否かを判定し、揺れがあったと判定した場合はその旨の情報を機能停止部93に与える。より具体的には、揺れ判定部92は、たとえば加速度の変化量があらかじめ設定された閾値(たとえば0.1gなど(ただしgは重力加速度を表す))を越えた場合に揺れがあったと判定する。
機能停止部93は、揺れ判定部92により本体に揺れが生じたと判定されると、図6に示す手順のうち、特に投影画像の自動調整処理を中止する。具体的には、機能停止部93は、自動光量調整処理を停止するために、少なくとも自動光量調整部64の機能を停止する。また、機能停止部93は、自動ピント調整処理を停止するために、少なくとも撮像部30の測距部31および自動ピント調整部65の機能を停止する。
本実施形態に係る携帯電話機10Aによっても、第1実施形態に係る携帯電話機10と同様の作用効果を奏する。また、本実施形態に係る携帯電話機10Aによれば、携帯電話機10Aが移動中などに自動調整処理を中止することができるため、無駄な電力を消費することがない。
なお、機能停止部93により投影画像の自動調整処理が停止された後、再度図6に示す手順を実行させる場合には、ユーザにより手動で再び自動調整ボタン21が押されてもよいし、自動調整処理の停止後所定の時間経過後に自動的に再度揺れ検出を行い、揺れ判定部92により本体に揺れがないと判定されると自動調整処理を再開するようにしてもよい。
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
たとえば、本発明は、上記実施形態で説明した携帯電話機のほかにも、様々な情報処理装置に適用可能であり、特に、PDA(Personal Digital Assistant)、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機などの携帯型の情報処理装置に適用することが可能である。
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。