JP2008067080A - 携帯撮像表示装置 - Google Patents

Abstract

【課題】 機器が携帯可能となることに伴って生じる使用状況の広範化に対応し、機器自体の撮像機能によって表示画像が投影される下地面の状況を検出し、この状況に合わせた表示画像の画像補整を行って色再現性の良い画像表示を行うことができる携帯撮像表示装置を提供すること
【解決手段】 初期画像と、投影表示部で投影した前記初期画像を撮像部で撮像して得た撮像画像とを比較して、その色差の補色を用いた補正信号を生成し、表示画像に前記補正信号を重畳して投影表示する。
【選択図】 図１

Description

本発明は、携帯型で画像の撮像と投影表示の両方の機能を備えた撮像表示装置に関するものである。

近年のデジタル技術の進展に伴い、画像撮影機能を備えた携帯機器が一層の普及を見せ、その高画質化と機器全体の小型化が進んでいる。デジタルスチルカメラやデジタルビデオカメラ、さらには携帯電話などとして商品化されているこのような機器においては、その機器サイズの小型化の要請がある一方で、小型化に伴って撮像画像を表示するディスプレイが小型化したため、これを多人数で同時に鑑賞できないという問題があった。この相反する課題を解決するために、撮像機能を備えた携帯機器に、表示画像の投影機能を併せ持たせたものが提案されている。

例えば、図１２に内部構造のブロック図を示すビデオカメラ３１では、撮像部３７とマイクロフォン３４によって得られた音声付きの撮像画像を、プロジェクタ部３８とスピーカ３５によって、手近なスクリーンに投影しながら鑑賞することが可能になっている。また、これら一連の動作を制御する制御部３６は、アンテナ３３に接続された通信部３２をも制御することにより、ＴＶ会議システムとして利用することもできる。このような、携帯撮像表示装置では、撮像部で撮像した画像を一つの機器で投影表示することにより、手軽に場所を選ばず撮像画像を多人数で鑑賞することができるという長所がある（特許文献１）。

また、携帯型のものではないが、撮像した画像を撮像と同時に被写体に投影表示するものとして、図１３に示すような、撮像表示装置が提案されている。この装置では、被写体４０を、レンズ４３とフィルタ４１を通してカメラ４５の撮像面４６で撮像し、この撮像画像を画像処理器４７によってモニタ４８等でその確認しながら画像処理する。処理された画像は、液晶コントローラ５０を介して投影のための液晶表示装置４９に送られ、投影用光源５１からの光によってレンズ４４を介して投射される。このとき、投影画像は、ハーフミラー（もしくはダイクロイックミラー）４２によって、撮像画像と同じ光路をたどることとなるので、被撮像物に画像処理した画像をそのまま重ね合わせることができる。このような利点からこの撮像表示装置は、例えば家屋の壁面に、その内部構造を重ねて表示するなどの使い方ができる（特許文献２）。
特開２００１−２４９２６号公報 特開２００５−３１１８３７号公報

上記のような撮像表示装置では、撮像画像を直ちに他人数で確認することが可能であり、また、撮像画像に一定の処理を加えて被写体にそのまま投影することができるなどの利点を持っており、これらの利点はこの撮像表示装置を携帯できるようにすることでさらに効果的なものとなる。ここで、機器を携帯型とするための小型化技術の進展にともない、これらの機能を備えた携帯撮像表示装置そのものは実現できるようになってきているが、画像を投影表示するにふさわしい表示面をなかなか得ることができないという課題がある。

すなわち、据え置き型のプロジェクタの例を出すまでもなく、投影画像は通常その画像サイズに応じて提供される、白色のスクリーンに投影表示される際に最も高い画像特性を得ることができる。しかしながら、機器自体を携帯性とすることによりその使用場所の制約が少なくなることで、このような白色スクリーンやもしくはそれに準じた淡色かつ一定以上の面積を持つ投影面を確保することが困難となる。例えば、ビデオカメラの場合には一般家庭や旅先で撮像画像を鑑賞するのであり、投影場所としての壁面が白色である可能性は乏しく、壁面の色合いとしての淡色性や、柱や桟などがあるために画像投影範囲においての同色性（単一色性）を要求することすら困難である。

このように、画像を投影する投影面自体に着色があると、投影画像の色再現が正確でなくなってしまい本当の撮像画像の再現とはならない。また、撮像被写体に所定の画像を重複投影する場合においても、投影面の下地の一部に色の異なる部分があると、これが画像処理によって生じたものかそれとも下地なのかの判断をすることが困難となる。

本発明は、上記従来技術における課題を解決し、機器が携帯可能となることに伴って生じる使用状況の広範化に対応し、機器自体の撮像機能によって表示画像が投影される下地面の状況を検出して、この状況に合わせた表示画像の画像補整を行って色再現性の良い画像表示を行うことができる携帯撮像表示装置を提供することを目的とする。

上記課題を解決するために、本発明の携帯撮像表示装置は、初期画像と、投影表示部で投影した前記初期画像を撮像部で撮像して得た撮像画像とを比較して、その色差の補色を用いた補正信号を生成し、表示画像に前記補正信号を重畳して投影表示することを特徴とする。

このようにすることで、本発明の携帯型撮像表示装置では、画像を投影する下地の状況に応じて表示画像を補正する補正信号を得ることができ、様々な状況の投影面に対して撮像画像の表示を良好に行うことができる。

上記した本発明の携帯撮像表示装置では、前記補正信号の生成が、前記撮像画像の全体情報に基づいて行われ、表示画像の全体を一様に補正する前記補正信号を得るものであること、または、前記補正信号の生成が、前記撮像画像の各画素それぞれの情報に基づいて行われ、前記表示画像の各画素に対応する前記補正信号を得るものであることが好ましい。さらにまた、前記補正信号の生成において、前記色差の検出を前記撮像画像の一部の画素について行い、その後必要に応じて前記一部の画素以外の画素について順次前記色差の検出を行うことが好ましい。このようにすることで、表示する画像や投影面の状況に応じて効率良く補正信号が得られ、良好な投影画像を容易に得ることができる。

さらに、本発明の携帯撮像表示装置においては、前記初期画像が上下および左右の座標がともに異なる２点以上の位置あわせポイントを含み、前記撮像画像に含まれる前記位置あわせポイントの位置情報に基づいて、前記表示部によって前記初期画像の投影領域を変更して、前記撮像画像の撮像領域と一致させること、または、前記初期画像が上下および左右の座標がともに異なる２点以上の位置あわせポイントを含み、前記撮像画像に含まれる前記位置あわせポイントの位置情報に基づいて、前記撮像部によって前記撮像画像の撮像領域を変更して、前記初期画像の投影領域と一致させることが好ましい。このようにすることで、投影画像と撮像画像との対応性を確実にすることができ、投影画面全体にわたって、より高度な補正信号を得ることができる。

さらに、前記撮像画像から前記初期画像の投影領域での照度を検出し、その検出結果に基づいて前記表示画像の彩度を調整すること、または、前記投影表示部の光源の輝度を調整することが好ましい。このようにすることで、投影環境に応じた鮮やかさや明るさを有する投影画像を得ることができ、投影画像品質の向上と、投影に関するパワーセーブなどを行うことができる。

さらに、前記補正信号を前記初期画像に重畳した補正後初期画像を前記投影表示部から投影表示するとともに、前記補正後初期画像の投影領域内に被写体をおいて前記撮像部で被写体画像を撮像し、前記補正後初期画像と前記被写体画像との間で各画素での色差を検出することで前記被写体の画像情報を算出し、この算出結果に基づいて前記被写体を前記表示画像とオーバーレイ表示をさせることが好ましい。このようにすることで、撮像画像を投影表示しているその場で取り込んだ画像を、オーバーレイ表示することができる。

以下、本発明の携帯撮像表示装置について、図面を参照しながら説明する。

（実施の形態１）
図１は、第１の実施形態に係る本発明の携帯撮像表示装置の具体的な構成を示すブロック図である。本実施形態に係る携帯撮像表示装置では、撮像レンズ３と、ＣＣＤセンサ等の撮像素子４、および、撮像信号処理部８にて構成される撮像部によって、ハーフミラー２を通して撮像対象である投影面１の画像が撮像される。なお、この投影面１とは、いわゆるプロジェクタによる画像投影用の物理的なスクリーンに限られるものではなく、本発明の携帯撮像表示装置が表示画像を表示するための領域を示す概念である。次に、投影表示部は、投影レンズ５と、液晶（ＬＣＤ）パネルやＤＭＤ等の表示デバイス６と、光源７、および、表示信号処理部１４から構成されている。また、光源７の輝度を調整するための光源輝度制御部１５を有している。投影表示部から投影された表示画像は、ハーフミラー２によって、前記した撮像の際と同じ光路を経由して投影面１に投影される。また、投影表示部で初期画像を投影してこれを撮像部で撮像することで撮像画像を得、スクリーン撮像判別部９でこの初期画像と撮像画像とを比較して両者の色差を検出する。そして、検出された色差から補正信号としてその補色データを生成する補色データ生成部１１、さらにこの補色データを保管する補色データ記憶部１２とを有している。また、投影面１に投影されたときに表示画像が正しい色合いとなるよう、表示画像と補正信号とが補正画像演算部１３で重畳され、投影表示部の表示信号処理部に表示データとして送られる。なお、表示画像を記憶したり、撮像情報を記憶したりするためのメモリ部１０が付加されている。このメモリ部１０は、ＨＤＤなど本発明の携帯型撮像表示装置に内蔵されているものでも、また、ＳＤカードなどの外部記録媒体でも、いずれでもあってもかまわない。

次に、図２と図３を用いて、本実施形態における表示画像信号の補正を具体的に説明する。図２は、本実施形態において、投影表示部によって画像を投影された投影領域と撮像部による撮像領域とを一致させる仕組みを示すための、投影領域と撮像領域とを示すイメージ図である。また、図３は、本実施形態において、表示画像が投影される投影面１として白色ではなく朱色がかった壁を使用する場合に、投影画像を白色のスクリーンに投影した場合と同じ色合いとなるように補正する、補正信号を生成するステップを示すイメージ図である。

ここで、本実施形態では、表示画像に対する補正信号をそれぞれの画素ごとに生成して、より正確な色合い補正をする場合を考えることとする。この場合に重要なのは、補正信号を生成するために投影表示部で投影する初期画像と、撮像部で撮像する撮像画像とが、少なくとも補正信号を重畳する画像の部分において一致していることである。そこで、まず、この投影領域と撮像領域とを一致させる手段について説明する。

図２上側に示す図が、本実施形態において用いられる初期画像Ｇ１を示している。この初期画像Ｇ１には、図に示すようにその右上コーナー部分近傍に、“＋”形状の第１の位置合わせポイントＧ２を有し、さらに、表示画像の左下コーナー部近傍に、同じく“＋”形状の第２の位置合わせポイントＧ３が含まれている。なお、これら２つの位置あわせポイントは、初期画像Ｇ１上において上下および左右の座標がいずれも異なっている。

このような初期画像Ｇ１を投影表示部で投影して、これを撮像部で撮像した撮像画像を示すのが、図２下側のＧ４である。図に示すとおり、撮像画像Ｇ４では第１の位置合わせポイントＧ２がＧ６として、また、第２の位置合わせポイントＧ３がＧ７として現れており、初期画像Ｇ１が撮影画像Ｇ４の中心寄りに、図中四角で外枠を示したＧ５として現れている。このことから、撮像画像は、投影表示部で投影している領域よりもかなり広くその周辺にまで広がっていることがわかる。ここで、この両者を一致させるためには、投影表示部の投影レンズ５を調整して投影画像を大きくする方法と、撮像部の撮像レンズ３を調整して撮像領域を狭くする方法の、いずれの方法によっても可能である。この撮像領域と投影領域の一致作業は、上記例のようにして得られた位置あわせポイントの位置情報を用いて、一度に処理しても良いし、何度かのステップに分けてより精度の高いものにしていっても良い。

また、上記例では、初期画像における位置あわせポイントとして、初期画像の右上コーナー部近傍の第１の位置あわせポイントＧ２と、左下コーナー部近傍の第２の位置あわせポイントＧ３との２つを用いる場合について説明したが、もちろんこれに限られるものではなく、さらに第３第４の位置あわせポイントを設けても良い。位置あわせポイントの場所としても上記の例に限られず、例えば左上コーナー部近傍と右下コーナー部近傍とに設けても良い。ただし、初期画像の各画素と撮像画像の各画素とを画面全域で精度良く一致させるためには、位置あわせポイントとして少なくとも２つ必要であり、また、これら２つの位置あわせポイントの相互が、上下および左右の座標がそれぞれ異なっているものであることが重要である。

さらに、位置あわせポイントの形状としても、上記の例で示した“＋”形状のものに限られず、“Ｘ”形状や“△”形状等の他の形とすることができる。なお、位置あわせポイントの形状としては、小円のような垂直水平の方向性を持っていない形状よりも、上記に例示したように、位置あわせポイント自体が垂直方向と水平方向との成分を明確に有している形状とすることが好ましい。

ここで、撮像画像と投影画像とで画素数が異なる場合であっても、これらを平均化することで対応することが可能である。例えば、撮像画素数が（Ｍ１、Ｎ１）、投影画素数が（Ｍ２、Ｎ２）であったとすると、１つの撮像画素Ｓ（ｘ、ｙ）は、投影画素Ｄ（ｘ、ｙ）＝（Ｍ２×ｘ／Ｍ１、Ｎ２×ｙ／Ｎ１）として換算して計算することとなる。また、初期画像における位置あわせポイントの位置は、上記例のようにコーナー部近傍に限られるものではなく、スクリーン１として使用する投影領域が、全体としてほぼ同じような色合いである場合であって、特に周辺部においての補正精度を求めないのであれば、画面中央寄りに位置あわせポイントを設けてもよい。さらに、撮像画像と投影画像とで画素毎の厳密な色彩補正が必要ない場合は、例えば中央の１点の位置あわせポイントにおいて補正信号を算出して、これを全画面に適用することで、補正処理のステップを簡素化することができる。

次に表示画像が投影される投影面１が、一般家庭の壁にあるようなやや朱色がかった色である場合を例として、表示画像を補整して通常の白色のスクリーンに投影されたものと同じような色合いとするステップについて、図３を用いて説明する。

まず、初期画像として、白色の初期画像Ｇ９を朱色の壁Ｇ８に投影する。このとき、図に示すように、先に説明した位置あわせポイントも合わせて投影することで、投影された初期画像と撮像画像から、投影領域と撮像領域を一致させることができる。

次に、撮像部により白色の初期画像Ｇ９が投影された投影面Ｇ１８を撮像画像Ｇ１１として取り込み、図１に示した撮像信号処理部８において、位置あわせポイントの範囲内についてそれぞれの画素毎の色情報データが得られる。このデータをもとに、スクリーン撮像判別部９において、本来の投影色、この場合は白色との色差を検出し、その後、補色データ生成部１１にてこの色差情報からそれぞれの補色を算出、これを投影画像の補正信号として各画素に対応した補色データＧ１２を作成するとともに、後に変更の指示があるまで補色データ記憶部１２で記憶しておく。なお、本実施形態の場合は、投影面１としての壁面の色が朱色であるから、その補色としての補正信号は、薄い青色となる。

このようにして、補正信号が得られた後は、この補正信号Ｇ１２と本来の投影表示すべき画像として例えばメモリ部１０に記憶されていた表示画像Ｇ１３と、画像と補整演算部１３にて画素毎のデータとして重畳した投影信号Ｇ１４を得て、これを表示信号処理部１４に送り、投影表示部により朱色がかった壁面であるスクリーン１に投影する。このとき、スクリーン１上の画像Ｇ１５は、壁面が朱色であることによる表示画像への影響をあらかじめ補正されているので、白色のスクリーン面に投影したものと同じ色合いで鑑賞することができる。

次に、上記した補色の作成とそれによる補正信号の生成について、詳細に説明する。

まず、撮像部で撮像された画素数が水平Ｍ画素、垂直Ｎ画素であったとする。このうちのある任意の撮像画素Ｓ（ｘ、ｙ）の色は、ＲＧＢ３原色の８ビット表示のとき、例えば橙色は（Ｒ、Ｇ、Ｂ）＝（２２４、１４６、４７）と表現される。なお画素位置は０≦ｘ≦Ｍ、０≦ｙ≦Ｎである。またＲＧＢはそれぞれ、２の８乗で表記される０〜２５５までの値をとる。ちなみに（Ｒ、Ｇ、Ｂ）＝（０、０、０）が完全な黒色、（２５５、２５５、２５５）が完全な白色である。本実施形態においては、初期画像が白色として認識されれば投影面１の色の影響が現れていないと考えることができるので、ＲＧＢそれぞれについて（２５０〜２５４、２５０〜２５４、２５０〜２５４）の範囲にある場合は、白色に相当するとして補正は行なわないこととしている。

一般的にＲＧＢ各８ｂｉｔのとき、背景色（Ｒ、Ｇ、Ｂ）＝（Ｒ１、Ｇ１、Ｂ１）の撮像値に対して投影値は（２の８乗）−１である２５５の差分値（２５５−Ｒ１、２５５−Ｇ１、２５５−Ｂ１）を付加する。つまり撮像画素Ｓ（ｘ、ｙ）が（Ｒ、Ｇ、Ｂ）＝（２２４、１４６、４７）であれば、 投影画素Ｄ（ｘ、ｙ）＝（２５５−２２４、２５５−１４６、２５５−４７）＝（２１、１０９、２０８）を投影データに付加して投影する。この投影後、再撮像値が（２５０〜２５４、２５０〜２５４、２５０〜２５４）の範囲に入れば補色補正が完了する。 なお上記範囲に入らないときは再度上記範囲に入るまで上記撮像と補色表示を繰り返す。

次に投影表示部で投影される画素数も、撮像画像の画素数と同じく水平Ｍ画素、垂直Ｎ画素であるとする。投影画素Ｄ（ｘ、ｙ）の色もＲＧＢ３原色の８ビット表示で表される。ここで、上記したように今回の場合は、投影される初期画像が白色であるので、投影される画像の各画素の色情報は、（Ｒ、Ｇ、Ｂ）＝（２５５、２５５、２５５）となる。

次に、図４を用いて、投影面１として用いられる投影領域が、均一な色ではない場合、例えば投影領域として使用する壁やふすまなどに柱や桟が入るときの補正信号の生成について説明する。なお、補正信号の生成における基本的な内容は、図３を用いて説明した、朱色がかった壁に投影する場合のステップと同じであるため、適宜説明を省略する。

今回の場合は、図のように十文字に柱が入った壁に投影するケースで説明するが、このとき、位置あわせポイントを用いて、撮像画素と投影表示画素とを一致させることが大変重要となる。このため、この投影領域と撮像領域とを一致させる作業を念入りに行っておく必要がある。

上記と同様、白色の初期画像Ｇ１７を柱のある壁面Ｇ１６に投影し、撮像部により投影面Ｇ１８を撮像画像Ｇ１９として取り込むが、この時点では柱又は桟のある部分が本来の色である茶色として取り込まれる。なお、ここでは、柱以外の部分は実質的に白色と認識できる色で、補正する必要はないものとする。その後、上記と同様に画素毎に補色（茶色の柱や桟の部分は青色）を算出して、補正信号として各画素に対応した補色データＧ２０を作成、記憶する。

このようにして、補正信号が得られた後は、この補正信号Ｇ２０と本来の投影表示すべき表示画像Ｇ２１とを重畳して得られた投影表示信号Ｇ２２を得て、これを表示投影部により十文字の柱が入った投影面１に投影する。このとき、投影面１上の画像Ｇ２３は、壁面の柱の影響をあらかじめ補正された信号を投影するものであるため、白色のスクリーン面に投影したものと同じ色合いで鑑賞することができる。

次に、この場合の信号処理をもう少し詳細に説明する。

まず投影面１となる投影領域の茶色の柱（Ａ部とする）が入っている白い壁（Ｂ部とする）を撮像するが、白壁（Ｂ部とする）の部分は画素ごとに多少のばらつきがあるものの撮像画素Ｓ（白壁Ｂ部）（Ｒ、Ｇ、Ｂ）＝（２５０〜２５５、２５０〜２５５、２５０〜２５５）であるので、白色の初期画像が投影された投影面１上の色彩は、撮像画素Ｐ（白壁Ｂ部）（Ｒ、Ｇ、Ｂ）＝（２５５、２５５、２５５）となる。

一方、柱Ａ部分は撮像画像において茶色としてのデータを得ることとなり、この部分は撮像画素Ｓ（茶色の柱）（Ｒ、Ｇ、Ｂ）＝（１５４、１２３、８５）となる。ここで、ＲＧＢそれぞれについて、初期画像と撮像画像との差異である色差を算出すると、画素Ｄ（茶色の柱Ａ部）（Ｒ、Ｇ、Ｂ）＝（２５５−１５４＝１０１、２５５−１２３＝１３２、２５５−８５＝１７０）となる。このようにして得られた補正信号では、茶色の柱Ａの部分は（Ｒ、Ｇ、Ｂ）＝（１０１、１３２、１７０）となっていて、これを投影すると、この柱Ａ部は光の加法混色により（１５４＋１０１＝２５５、１２３＋１３２＝２５５、８５＋１７０＝２５５）となり、茶色の柱Ａ部分が他の白壁Ｂ部分と同じく白色として把握できるようになる。

次に、図５は、例えば夕暮れ時などで窓から外光が入射して、投影面１の色合いが変化する場合の補正ステップについて示した図である。

図５は、既に初期状態の補正信号作成処理を行い、補正信号を表示信号に重畳して画像表示を行っていることを前提としている。なお、区別のためにこの状態での補正信号を補正信号０とし、後に順次作成されていく補正信号を、それぞれ補正信号１，補正信号２と呼ぶこととする。

図５の左端部に示す時間タイミングにおいて、投影領域の色調に変化が現れて表示画像の色合いが大きく変化してしまい、補正信号の更新を行うことが必要となったと過程して以下説明する。このとき、図５に示すように、初期画像としては上記で説明したような白色ではなく、白色の初期画像にそれまで用いていた補正信号を付加した画像データＧ２４を投影し、これを撮像部で撮像して撮像画像Ｇ２５を得る。そして、この撮像画像Ｇ２５と、投影している画像Ｇ２４との間で、上記したステップにより補色を生成して補正信号１（Ｇ２６）を得る。このようにすることで、外光の変化に起因しない、投影領域の下地が持っていた色調を補正する補正情報を含んだ形で、新たな補正信号を生成できる。

この後しばらくの期間は、補正信号１（Ｇ２６）を重畳した表示画像を投影画像Ｇ２７として画像の投影表示を行う。その後、また、時間経過とともに、投影領域の色合いが変化した場合は、同じように、それまでの投影画像に対する補正信号１（Ｇ２６）を白色の本来の初期画像に加えた状態の画像データＧ２８で投影し、これを撮像した撮影画像Ｇ２９から新たな補正信号２（Ｇ３０）を得る。その後は、この補正信号２（Ｇ３０）を重畳した表示画像を新たな投影画像Ｇ３１として、画像表示を続けることができる。以後、必要に応じて、このステップを繰り返し、投影領域の色変化に対応していくのである。

なお、この投影領域の色変化に対する補正信号の更新について、現実に投影領域の色合いが変化する場合にのみ補正信号を更新するのではなく、一定時間毎に自動的に補正信号の更新を行うようにし、常に一定の誤差範囲で画像の投影を行うようにしても良い。

次に、本実施形態における、投影画像と撮像画像との各画素に対する補正信号の作成手順のバリエーションについて説明する。

上記した本実施形態では、投影画像と撮像画像のすべての画素について、順次色差を求めて補正信号を生成していたが、補正信号の生成をまず一部の画素についてのみ行い、その後必要に応じて補正信号を得る対象としての画素を、最初に選んだもの以外の画素に広げていくこともできる。

具体的には、例えば水平Ｍ画素、垂直Ｎ画素の全画素の中から、あらかじめ設定した水平ｏ個の画素と垂直ｐ個の画素を代表してＲＧＢで表示する。そして、水平ｏ個の画素と垂直ｐ個のすべてが（２５０〜２５５、２５０〜２５５、２５０〜２５５）に入っているときは、水平Ｍ画素、垂直Ｎ画素の全画素もすべて（２５０〜２５５、２５０〜２５５、２５０〜２５５）に入っているものとみなして、上記のような補正信号の生成を行わない。

一方選んだ画素のうち、（Ｏｘ、Ｐｙ）の画素が（２５０〜２５５、２５０〜２５５、２５０〜２５５）の範囲ではなく、その部分において投影領域が白色ではないと判断できるときは、画素（Ｏｘ＋１、Ｐｙ）、画素（Ｏｘ＋２、Ｐｙ）・・、画素（Ｏｘ−１、Ｐｙ）、画素（Ｏｘ−２、Ｐｙ）・・、画素（Ｏｘ、Ｐｙ＋１）、画素（Ｏｘ、Ｐｙ＋２）・・、
画素（Ｏｘ、Ｐｙ−１）、画素（Ｏｘ、Ｐｙ−２）・・というように、この「白色ではない」と認識された画素に隣接する画素について、順次補正信号を得るようにしていくのである。この様にすることで、当初補正信号を生成すべき画素を適切に選ぶことで、全画素すべてについて補正信号を得ていく処理を行う場合と比較して、より短時間に効果的な補正信号の生成処理ができる。なお、上記の説明において、各サンプル点（Ｏｘ、Ｐｙ）は１画素として説明したが、その周囲の例えば横ｍ縦ｎ画素の加算平均を平均画素（Ｏｘ、Ｐｙ）として処理をすすめてもよい。

また、上記説明においては、補正信号の生成をそれぞれの画素毎に行うことを前提として説明したが、スクリーン１として使用する投影領域の色彩に一定以上の均一性がある場合や、投影画像における色再現にそれほどの厳密性が必要でない場合には、補正信号の生成を投影領域の全体平均によってえる様にしても良い。具体的には、撮像画像の中で、データを採取する画素を適宜選出し、これらのデータを平均化して色差の検出と補色である補正信号の生成を一括して行い、表示画像の全部の画素にこの補正信号を重畳するのである。このようにすることで、補正信号の作成のために必要な時間を短縮することができる。

（実施の形態２）
次に、本発明の携帯画像撮像装置の第２の実施形態について、図面を用いて説明する。この、第２の実施形態は、上記した第１の実施形態に係る携帯撮像表示装置に加えて、投影領域の照度を検出することにより、投影面１での明るさに応じて投影画像をよりクリアな映像として鑑賞できるように補正するものである。

図６は、本実施形態に係る携帯撮像表示装置の構成を示すブロック図、図７は、本実施形態における投影画像の彩度補正のステップを示す図である。ここで、本実施の形態にかかる携帯撮像表示装置では、図６に示すように、図１として示した第１の実施形態のものと比べて、スクリーン照度計測部１６と彩度演算部１７が付加されている点が異なるが、他の部分は第１の実施形態と同じである。

本実施形態の携帯撮像表示装置では、撮像部で撮像された投影面１の各画素における照度情報から、スクリーン照度計測部１６において、全画素の照度データの平均値を算出し、彩度演算部１７において、メモリ部１０に記録されていた表示画像のデータに対して、投影面１の照度条件を考慮して、より好ましい画像として鑑賞できるように投影表示部に送られる投影画像のデータを補正するのである。

具体的には、図７に示すように、まず、白色の初期画像Ｇ３３を、例えば朱色がかった壁Ｇ３２に投影した投影面Ｇ３４を撮像画像Ｇ３５として取り込む。そして、補色により補正画像Ｇ３６を生成し、この補正画像Ｇ３６と本来投影表示すべき表示画像Ｇ３７とを重畳する際に、さらに彩度を適切化する補正を行った画像Ｇ３８を得て、これを投影面１上に投影画像Ｇ３９として投影するのである。

ここで、彩度の調整は、例えばスクリーン照度計測部１６で得たデータが、投影面の照度が例えば２０ルックスの場合、４０ルックスの場合、６０ルックスの場合、などとある程度ステップ化しておき、あらかじめそのような照度の投影面上に画像を投影する場合に、どの程度の彩度の補正が必要かを求め、これを彩度演算部１７で計算して投影画像情報を彩度の面で修正するのである。当然ながら、投影面１の照度が高くなるにつれて、画像の色が薄れて見えるようになるため、投影画像の彩度をより高いものに変更する。このようにすることにより、明るい周辺環境において投影画像の視認性が低下するのを改善することができる。

次に、本実施形態の展開例として、投影面１の照度が高い場合に、投影表示部の光源７の輝度をあげて、投影画像としてより視認性の高いものを得る場合について説明する。

図８は、本実施形態の展開例における携帯撮像表示装置の構成を示すブロック図、図９は、本実施形態の展開例における投影表示部の光源７の輝度補正のステップを示す図である。ここで、本実施形態の展開例にかかる携帯撮像表示装置では、図８に示すように、図１として示した第１の実施形態のものと比べて、スクリーン照度計測部１８と輝度演算部１９が付加されている点が異なるが、他の部分は第１の実施形態と同じである。

本実施形態の展開例では、撮像部で撮像された投影面１の各画素における照度情報から、スクリーン照度計測部１６において、全画素の照度データの平均値を算出するところまでは、図６、図７に示した投影画像の彩度を補正するものと同じである。この展開例では、この照度データに基づいて、投影画像の明るさを調節するために、投影表示部の光源７の輝度を変更する。

具体的な信号の処理としては、図９に示すように、白色の初期画像Ｇ４１を、例えば朱色がかった壁Ｇ４０に投影して投影面Ｇ４２を撮像画像Ｇ４３として取り込む。そして、補色により補正画像Ｇ４４を生成し、この補正画像Ｇ４４と本来投影表示すべき表示画像Ｇ４５とを重畳するところまでは、上記と同じである。ここでは、画像Ｇ４６の画像信号自体は変化しないが、これを投影する投影表示部の光源７の輝度を調整して投影することにより、投影面１上の投影画像Ｇ４７の視認性を高くすることができるのである。

ここで、実際の輝度の調整は、上記彩度の調整と同じく、投影面の照度が例えば２０ルックスの場合、４０ルックスの場合、６０ルックスの場合、などとある程度ステップ化しておき、あらかじめそのような照度の投影面上に画像を投影する場合に、どの程度の明るさの画像を投影するのが好ましいかを算出して、これに応じてメモリ部１０に記憶してあった、投影すべき表示画像に色の補正を行い、得られた投影画像を投影表示部で投影する際に、光源輝度制御部１５によって投影表示のための光源７の光量を変更するのである。

このような投影画像の明るさ補正を行うことで、投影画像の明るさを適切な値に保持することができ、明るい環境において投影画像の視認性が悪化するのを改善することができる。

なお、上記した本実施形態とその展開例を組み合わせて、投影面の照度情報に基づいて投影画像自体の彩度を補正し、あわせて光源７を調整して投影画像の明るさを調整することで、投影面上の投影画像をより一層視認性の高いものとすることができる。

また、本発明のような携帯型の機器では、その消費電力を極力抑えてバッテリーを長持ちさせることが重要な課題となる。このため、ややもすると投影表示部の電力削減のために、光源７の輝度を控えめなものに設計することが多くなるが、本実施形態のようにスクリーンの照度を検出し、これに最適な投影画像となるような光源７の輝度補正を施すことで、通常使用時の消費電力を低減し、周囲環境に合わせて必要なときだけ投影画像を明るくするというような画像表示が可能となる。

（実施の形態３）
以下、本発明の携帯撮像表示装置の第３の実施の形態について、図面を参照しながら説明する。この、第３の実施形態は、本発明の携帯撮像表示装置において、取り込んだ画像をその場で記録されていた画像と重ね合わせるオーバーレイ機能を持つところに特徴を有する。

図１０は、本実施形態に係る携帯撮像表示装置の構成を示すブロック図、図１１は、本実施形態における投影画像にオーバーレイ表示を行う際のステップを示すイメージ図である。ここで、本実施の形態にかかる携帯撮像表示装置では、図１０示すように、図１として示した第１の実施形態のものと比べて、スクリーン撮像判別部９のデータから、オーバーレイ表示として使用する画像を切り出す被写体切り出し部２０と、投影画像としてメモリ部１０に記憶されていた画像に、オーバーレイ表示として使用する画像を重ね合わせるオーバーレイ部２１とが設けられている点が異なる。

次に、本実施形態の特徴であるオーバーレイ画像の切り出しについて、具体的に説明する。図１１に示すように、まず第１の実施の形態で示したように、スクリーン１として使用される投影領域についての色補正を行う。ここでは、投影面が朱色の壁Ｇ４８であるとして、これに白色の初期画像Ｇ４９を投影する。この投影画像Ｇ５０を撮像した撮像画像Ｇ５１から色差データを求め、壁の色を補正する補正画像Ｇ５２を得る。この補正画像Ｇ５２を投影すると、色の補正がされて投影面Ｇ５３は白色となる。ここで、この投影面Ｇ５３にオーバーレイさせたい被写体（図では太陽のマーク）を入れて、その状態でもう一度撮像部にて被写体撮像画像Ｇ５４を撮像する。ここで、被写体撮像画像Ｇ５４の各画素情報では、オーバーレイされた被写体は白色以外の色で撮像されているから、被写体撮像画像Ｇ５４から白色の情報を除去し（Ｇ５５）、オーバーレイする被写体以外は透過領域となるオーバーレイ画像Ｇ５６を得る。このオーバーレイ画像Ｇ５６に、メモリ部１０に記憶されていたオーバーレイされる表示画像Ｇ５７を合成してスクリーン１に投影することで、表示画像Ｇ５７に被写体がオーバーレイされた状態の画像Ｇ５８を投影表示させることができる。なお、当然ながらこの、画像Ｇ５８は、スクリーン１として用いられる投影領域の朱色の状態を補正した、正しい色彩の画像となる。

ここで、オーバーレイ画像の切り出しについて、さらに詳細を補足する。

上記したように、まず、オーバーレイする被写体を入れないで、投影面の色合いについての補正を行う。例えば任意のＣ画素（Ｒ、Ｇ、Ｂ）＝（Ｒｃ、Ｇｃ、Ｂｃ）に対して、８ビット処理の例において（Ｒ、Ｇ、Ｂ）＝（２５５−Ｒｃ、２５５−Ｇｃ、２５５−Ｂｃ）を加算し、（Ｒ、Ｇ、Ｂ）＝（２５０〜２５５、２５０〜２５５、２５０〜２５５）になるまで補正する。したがって、この時の投影画面は、水平Ｍ画素、垂直Ｎ画素の全部の画素において（Ｒ、Ｇ、Ｂ）＝（２５０〜２５５、２５０〜２５５、２５０〜２５５）となる。ここで、オーバーレイする被写体Ｓ画素（Ｒｓ、Ｇｓ、Ｂｓ）を投影領域に入れて撮像するが、新たに入った被写体Ｓの部分にも、投影面に対する色補正信号が重畳されているので、被写体Ｓの画素部分は（Ｒ、Ｇ、Ｂ）＝（Ｒｓ＋２５５−Ｒｃ、Ｇｓ＋２５５−Ｇｃ、Ｂｓ＋２５５−Ｂｃ）となり白（２５０〜２５５、２５０〜２５５、２５０〜２５５）にならない。この状態を撮像部で撮像することで、白色ではない部分は新しく追加された被写体と判断するのである。つまり（Ｒ、Ｇ、Ｂ）＝（２５０〜２５５、２５０〜２５５、２５０〜２５５）に入る部分は背景と判断し、それ以外の部分は被写体Ｓと判断する。そして、撮像した被写体Ｓ自体の情報を得る際には、撮像画像の画素データから投影面に対する色補正の成分を除去する。つまり（Ｒ、Ｇ、Ｂ）＝（Ｒｓ＋２５５−Ｒｃ−２５５＋Ｒｃ、Ｇｓ＋２５５−Ｇｃ−２５５＋Ｇｃ、Ｂｓ＋２５５−Ｂｃ−２５５＋Ｂｃ）＝（Ｒｓ、Ｇｓ、Ｂｓ）として、これを被写体の情報として記録する。後は、上述したように、本来投影すべき表示画像の情報と、スクリーンの色合いを補正する補正信号と、オーバーレイする被写体の画素情報とを重畳することで、求める画像を得ることができる。

このようにして、本発明では、従来は青色背景環境で別個に撮像して、これをＰＣ等で処理して得ていたオーバーレイ画像を、背景となるスクリーン１の色合いを選ぶことなく、しかも本発明に係る携帯撮像表示装置のみで簡易に得ることができる。このため、本発明の携帯撮像表示装置では、デジタルスチルカメラやデジタルビデオカメラで撮像した画像にその場の画像をオーバーレイ表示するという、新たな楽しみを使用者に与えることができる。

なお、上記各実施の形態では、投影画像や撮像画像について、特に詳細な説明をしなかったが、この画像が静止画であっても動画であっても良いことは言うまでもない。

また、上記各実施の形態では、投影領域の下地色の補正において、白色のスクリーンに投影した場合との色合いを合わせるために、色補正の基準として投影する初期画像として白色のものを投影したが、必ずしもこれに限られるわけではない。初期画像として選択された投影する画像の色合いと、現実にスクリーンに投影された状態での色合いとを一致させる作業を行うことで、投影領域の下地色の投影画像に与える影響をキャンセルして、鑑賞者に違和感を与えることのない投影画像を得ることができる。

本発明は、今後ますます普及が進むと考えられる携帯型撮像表示装置において、投影画像の違和感を無くし、どこでも表示できるように改善することにより、より広い用途に使用することができるものである。また、合わせて、携帯型撮像表示装置の消費電力を削減することができ、さらに、簡易にオーバーレイ表示を行うことができるなどのより一層の楽しみをも使用者に与えるものである。

本発明の実施の形態１に係る携帯撮像表示装置の構成を示すブロック図 本発明の実施の形態１に係る携帯撮像表示装置の表示領域と撮像領域とを示すイメージ図 本発明の実施の形態１に係る携帯撮像表示装置における補正信号を生成するステップを示すイメージ図 本発明の実施の形態１に係る携帯撮像表示装置における補正信号を生成する異なるステップを示すイメージ図 本発明の実施の形態１に係る携帯撮像表示装置において補正信号を更新する場合のステップを示す図 本発明の実施の形態２に係る携帯撮像表示装置の構成を示すブロック図 本発明の実施の形態２に係る携帯撮像表示装置における彩度補正を施す場合を示すイメージ図 本発明の実施の形態２の展開例に係る携帯撮像表示装置の構成を示すブロック図 本発明の実施の形態２の展開例に係る携帯撮像表示装置において画像の明るさを変える場合を示すイメージ図 本発明の実施の形態３に係る携帯撮像表示装置の構成を示すブロック図 本発明の実施の形態３に係る携帯撮像表示装置のオーバーレイ表示を行う際の信号処理を示すイメージ図 従来の携帯撮像表示装置の構成を示すブロック図 従来の撮像表示装置の構成を示すブロック図

符号の説明

１ 投影面
２ ハーフミラー
３ 撮像レンズ
４ 撮像素子
５ 投影レンズ
６ 表示デバイス
７ 光源
８ 撮像信号処理部
９ スクリーン撮像判別部
１０ メモリ部
１１ 補色データ生成部
１２ 補色データ記憶部
１３ 補正画像演算部
１４ 表示信号処理部
１５ 光源輝度制御部
１６ スクリーン照度計測部
１７ 彩度演算部
１８ スクリーン照度計測部
１９ 輝度演算部
２０ 被写体切り出し部
２１ オーバーレイ部
３１ ビデオカメラ
３２ 通信部
３３ アンテナ
３４ マイクロフォン
３５ スピーカ
３６ 制御部
３７ 撮像部
３８ プロジェクタ部
４０ 被写体
４１ フィルタ
４２ ハーフミラー
４３ レンズ
４４ レンズ
４５ カメラ
４６ 撮像面
４７ 画像処理器
４８ モニタ画面
４９ 液晶表示装置
５０ 液晶コントローラ
５１ 投影用光源

Claims (9)

1. 初期画像と、投影表示部で投影した前記初期画像を撮像部で撮像して得た撮像画像とを比較して、その色差の補色を用いた補正信号を生成し、表示画像に前記補正信号を重畳して投影表示することを特徴とする携帯撮像表示装置。
2. 前記補正信号の生成が、前記撮像画像の全体情報に基づいて行われ、前記表示画像の全体を一様に補正する前記補正信号を得る請求項１に記載の携帯撮像表示装置。
3. 前記補正信号の生成が、前記撮像画像の各画素それぞれの情報に基づいて行われ、前記表示画像の各画素に対応する前記補正信号を得る請求項１に記載の携帯撮像表示装置。
4. 前記補正信号の生成において、前記色差の検出を前記撮像画像の一部の画素について行い、その後必要に応じて前記一部の画素以外の画素について順次前記色差の検出を行う請求項１に記載の携帯撮像表示装置。
5. 前記初期画像が上下および左右の座標がともに異なる２点以上の位置あわせポイントを含み、前記撮像画像に含まれる前記位置あわせポイントの位置情報に基づいて、前記投影表示部によって前記初期画像の投影領域を変更して、前記撮像画像の撮像領域と一致させる請求項１から４のいずれか１項に記載の携帯撮像表示装置。
6. 前記初期画像が上下および左右の座標がともに異なる２点以上の位置あわせポイントを含み、前記撮像画像に含まれる前記位置あわせポイントの位置情報に基づいて、前記撮像部によって前記撮像画像の撮像領域を変更して、前記初期画像の投影領域と一致させる請求項１から４のいずれか１項に記載の携帯撮像表示装置。
7. 前記撮像画像から前記初期画像の投影領域での照度を検出し、その検出結果に基づいて前記表示画像の彩度を調整する請求項１から６のいずれか１項に記載の携帯撮像表示装置。
8. 前記撮像画像から前記初期画像の投影領域での照度を検出し、その検出結果に基づいて前記投影表示部の光源の輝度を調整する請求項１から６のいずれか１項に記載の携帯撮像表示装置。
9. 前記補正信号を前記初期画像に重畳した補正後初期画像を前記投影表示部から投影表示するとともに、前記補正後初期画像の投影領域内に被写体をおいて前記撮像部で被写体画像を撮像し、前記補正後初期画像と前記被写体画像との間で各画素の色差を検出することで前記被写体の画像情報を算出し、この算出結果に基づいて前記被写体を前記表示画像とオーバーレイ表示をさせる請求項３に記載の携帯撮像表示装置。

Images