JP2007279445A - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP2007279445A JP2007279445A JP2006106596A JP2006106596A JP2007279445A JP 2007279445 A JP2007279445 A JP 2007279445A JP 2006106596 A JP2006106596 A JP 2006106596A JP 2006106596 A JP2006106596 A JP 2006106596A JP 2007279445 A JP2007279445 A JP 2007279445A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- subject
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Liquid Crystal (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせて表示可能な画像表示装置に関する。 The present invention relates to an image display device capable of displaying a reflection image of a half mirror and an image displayed on a display unit in an overlapping manner.
ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせて表示可能な画像表示装置に関する提案として、例えば特許文献1においては、前面から入射した光を前方に反射し、背面から入射した光を前方に透過させるような特性を持つハーフミラーの背面に、プラズマディスプレイパネル(PDP)や液晶ディスプレイ(LCD)等の画像表示部を配置することで、ハーフミラーの前に存在するユーザの眼にハーフミラーからの反射像と表示部に表示された画像とを重ね合わせた画像を見せることができる技術が提案されている。
ここで、特許文献1の手法では、ハーフミラーの反射像と表示部に表示されている画像とが重なる部分において両画像が共にハーフミラー上に映ることになる。この場合、重ね合わせ後の画像が不自然なものとなり易い。
Here, in the method of
本発明は、上記の事情に鑑みてなされたもので、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならない画像表示装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image display device in which a result of superimposing a reflected image of a half mirror and an image displayed on a display unit is not unnatural. To do.
上記の目的を達成するために、本発明の第1の態様による画像表示装置は、表示部の表示面側に反射率可変のハーフミラーを設け、該ハーフミラーによる反射像と前記表示部の表示画像とを重ね合わせて表示する画像表示装置であって、前記表示部に表示される表示画像に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部を具備することを特徴とする。 In order to achieve the above object, the image display device according to the first aspect of the present invention is provided with a half mirror with variable reflectivity on the display surface side of the display unit, and the reflected image by the half mirror and the display of the display unit An image display device that displays an image in a superimposed manner, comprising a reflectance control unit that controls the reflectance of the half mirror at a portion corresponding to a display image displayed on the display unit. .
また、上記の目的を達成するために、本発明の第2の態様による画像表示装置は、表示部の表示面側に反射率可変のハーフミラーを設け、該ハーフミラーによる反射像と前記表示部の表示画像とを重ね合わせて表示する画像表示装置であって、前記ハーフミラーに映っている被写体を認識する被写体認識部と、前記被写体認識部により認識された被写体から、前記ハーフミラーの反射率制御範囲を算出する反射率制御範囲算出部と、前記反射率制御範囲算出部により算出された反射率制御範囲に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部とを具備することを特徴とする。 In order to achieve the above object, the image display device according to the second aspect of the present invention is provided with a half mirror with a variable reflectance on the display surface side of the display unit, and the reflected image by the half mirror and the display unit An image display device that superimposes and displays a display image of the subject, a subject recognition unit that recognizes a subject reflected in the half mirror, and a reflectance of the half mirror from the subject recognized by the subject recognition unit A reflectance control range calculation unit that calculates a control range; and a reflectance control unit that controls the reflectance of the half mirror in a portion corresponding to the reflectance control range calculated by the reflectance control range calculation unit. It is characterized by that.
これら第1及び第2の態様によれば、表示画像に対応する部分のハーフミラーの反射率を制御することにより、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならないように重ね合わせ表示を行うことが可能である。 According to these first and second aspects, the result of superimposing the reflected image of the half mirror and the image displayed on the display unit by controlling the reflectance of the half mirror of the portion corresponding to the display image It is possible to perform a superposition display so that is not unnatural.
本発明によれば、ハーフミラーの反射像と表示部に表示されている画像とを重ね合わせた結果が不自然とならない画像表示装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the image display apparatus by which the result of superimposing the reflected image of a half mirror and the image currently displayed on the display part does not become unnatural can be provided.
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る画像表示装置の要部構成を示すブロック図である。図1に示す画像表示装置は、表示制御部1と、表示部2と、ハーフミラー3と、反射率制御部4とから構成されている。また、表示制御部1には表示画像データが入力される。この表示画像データは、例えば人物像やキャラクター像等の画像データであり、その表示内容は特に限定されるものではない。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a main configuration of an image display apparatus according to the first embodiment of the present invention. The image display apparatus shown in FIG. 1 includes a
図1において、表示制御部1は、表示画像データを表示部2に表示させる際の表示制御等を行う。表示部2は、一般的な画像表示装置を用いれば良く、例えばPDP、LCD、CRTディスプレイ、有機ELディスプレイなどを用いることができる。
In FIG. 1, a
ハーフミラー3は、表示部2の表示面の前面に配置されており、当該ハーフミラー3の前面から入射した光を前方に反射し、背面から入射した光を前方に透過させる特性を有しているものである。反射率制御部4は、ハーフミラー3の反射率を制御する。
The
ここで、第1の実施形態のハーフミラー3の前面には、例えば図示しない液晶層が配置されている。このような構成において、液晶層に印加する電圧を反射率制御部4により変化させることにより、ハーフミラー3に入射する光の量を制御することができる。これにより、ハーフミラー3の反射率を制御することができる。なお、ハーフミラー3の反射率制御の手法は、ハーフミラー3の前面に液晶層を配置する手法に限るものではない。例えば、液晶層の代わりに偏光板を配置し、この偏光板の角度を調整することでハーフミラー3の反射率を制御しても良いし、ハーフミラー3への光の入射角を制御することでハーフミラー3の反射率を制御しても良い。
Here, for example, a liquid crystal layer (not shown) is disposed on the front surface of the
以下、図1の構成の画像表示装置の動作について説明する。図2は、図1の画像表示装置による画像表示がなされるときの例を示す図である。図1の画像表示装置は、通常時は図2(a)のように、ハーフミラー3の前面に存在する被写体101の像102を映す画像表示装置として機能する。これに対し、重ね合わせ表示時には、被写体101の像102ではなく、図2(b)のようにハーフミラー3の背面に配置された表示部2に表示される表示画像103を映す画像表示装置として機能する。この際、ハーフミラー3はハーフミラーであるため、実際には、ハーフミラー3上には被写体101の像102と表示画像103とが重ね合わされた画像が映ることになるが、第1の実施形態では、以下のような処理を行うことにより、重ね合わせ後の画像が不自然にならないようにする。
The operation of the image display apparatus having the configuration shown in FIG. 1 will be described below. FIG. 2 is a diagram showing an example when image display is performed by the image display device of FIG. The image display apparatus of FIG. 1 functions as an image display apparatus that projects an
図3は、第1の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。ここでは、図4に示す、反射像102と表示画像103とを重ね合わせる例について説明する。
FIG. 3 is a flowchart showing processing related to the overlay display in the first embodiment. Here, an example in which the
まず、表示制御部1において表示画像データが取得されると(ステップS1)、取得された表示画像データに対して例えば2値化処理等が施されて表示画像データの表示画像範囲103aが抽出される。この表示画像範囲103aの情報は反射率制御部4に送られる(ステップS2)。その後、反射率制御部4において表示制御部1から送られた表示画像範囲103aの情報に基づき、ハーフミラー3の反射率が制御される(ステップS3)。具体的には、表示画像範囲103aに対応する部分のハーフミラー3の反射率を低下させるような制御がなされる。ハーフミラー3の反射率制御がなされた後、ステップS1において表示制御部1に入力された表示画像103が表示部2に表示される(ステップS4)。
First, when display image data is acquired in the display control unit 1 (step S1), for example, a binarization process is performed on the acquired display image data, and a
このような第1の実施形態の処理により、図5に示すように、表示画像103の表示画像範囲103aに対応する部分の像102のみがハーフミラー3から反射しないため、画像の重ね合わせの際に、ユーザに余り不自然さを感じさせない。なお、第1の実施形態の場合、表示画像103の表示画像範囲外において像102が映ることになるが、この部分の処理については後の実施形態で説明する。
By such processing of the first embodiment, as shown in FIG. 5, only the portion of the
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。図6は、第2の実施形態に係る画像表示装置の要部の構成を示すブロック図である。ここで、図1と同様の構成については図1と同様の参照符号を付すことで説明を省略する。図6に示す画像表示装置は、図1に示す構成に加えて、撮像部5と、被写体認識部6と、反射率制御範囲算出部7とが設けられている。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. FIG. 6 is a block diagram illustrating a configuration of a main part of the image display apparatus according to the second embodiment. Here, about the structure similar to FIG. 1, the description is abbreviate | omitted by attaching | subjecting the same referential mark as FIG. The image display apparatus shown in FIG. 6 includes an
図6において、撮像部5は、被写体101を撮像して画像データを生成する。被写体認識部6は、撮像部5において生成された画像データから、被写体101に相当する部分を認識する。反射率制御範囲算出部7は、被写体認識部6において認識された被写体範囲から、ハーフミラー3の反射率制御範囲を算出し、算出した範囲を反射率制御部4に出力する。
In FIG. 6, the
図7は、第2の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。ここでは、図8に示す、被写体101の像102と表示画像103とを重ね合わせる例について説明する。
FIG. 7 is a flowchart illustrating processing related to overlay display according to the second embodiment. Here, an example in which the
まず、撮像部5により被写体101が撮像されて画像データ(ここでは背景の画像データも含む)が生成され、この画像データが被写体認識部6に入力される(ステップS11)。次に、撮像部5から入力された画像データにおける被写体101の認識が行われ、この認識結果が反射率制御範囲算出部7に送られる(ステップS12)。なお、ステップS12における被写体認識は、例えばパターンマッチングや輪郭検出等の周知の手法により行われる。
First, the
その後に、被写体認識部6の認識結果に基づいて被写体範囲102aが抽出される(ステップS13)。そして、被写体範囲102aから、ハーフミラー3の反射率低下範囲が算出され、算出された反射率低下範囲が反射率制御部4に入力される(ステップS14)。ここで、反射率低下範囲は、例えば被写体範囲102aと一致している。
Thereafter, the
その後に、反射率制御部4により、反射率制御範囲算出部7から入力された反射率制御範囲に対応する部分のハーフミラー3の反射が制御される(ステップS15)。つまり、被写体範囲102aに対応する部分のハーフミラー3の反射率を低下させるように制御される。
After that, the
ハーフミラー3の反射率制御がなされた後、表示制御部1において表示画像データが取得される(ステップS16)。そして、表示制御部1の制御の下、表示画像103が表示部2に表示される(ステップS17)。
After the reflectance control of the
このような第2の実施形態の処理により、図9に示すように、被写体範囲102aに対応する部分において被写体101の像102がハーフミラー3から反射しないため、画像の重ね合わせの際に、ユーザに余り不自然さを感じさせない。なお、図9では、被写体範囲102aの範囲外103bの部分においては、反射率制御が行われない。この部分の処理については後の実施形態で説明する。
As a result of the processing of the second embodiment, the
[第3の実施形態]
次に、本発明の第3の実施形態について説明する。図10は、第3の実施形態に係る画像表示装置の要部の構成を示すブロック図である。ここで、図1又は図6と同様の構成については同様の参照符号を付すことで説明を省略する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described. FIG. 10 is a block diagram illustrating a configuration of a main part of an image display apparatus according to the third embodiment. Here, about the structure similar to FIG. 1 or FIG. 6, the description is abbreviate | omitted by attaching | subjecting the same referential mark.
図10に示す画像表示装置は、制御部8と、データベース(図ではDBと記している)10と、表示画像データ生成部9と、表示部2と、ハーフミラー3と、被写体検出部5aと、被写体認識部6と、反射率制御範囲算出部7と、表示画像範囲選択部11と、表示画像データ選択部12とから構成されている。なお、図1及び図6と同様の構成については同様の参照符号を付している。
The image display device shown in FIG. 10 includes a
制御部8は、図1及び図6の表示制御部1と反射率制御部4の機能を有し、図10の画像表示装置の処理を統括的に制御する。
The
データベース10は、表示画像データが記録されている画像記録部である。なお、データベース10を構成するための記録媒体は特に限定されるものではない。また、データベース10は、画像表示装置とは別途に設けられた記録媒体を利用して構成するようにしても良い。表示画像データ生成部9は、データベース10に記録された表示画像データを取得して所定の背景画像を合成する等の各種のデータ加工処理を行う。
The
被写体検出部5aは、ハーフミラー3の前面に存在する被写体を検出するためのセンサ部である。この被写体検出部5aには、例えば図6で説明した撮像部5を用いることができる。この他にも、距離センサや温度センサ等の、少なくとも被写体の輪郭情報が得られるようなセンサであれば被写体検出部5aとして用いることが可能である。
The
表示画像範囲選択部11は、表示画像の表示画像範囲を選択するために設けられている。これにより例えば、表示画像が人物像である場合、その一部(例えば顔の部分)のみを選択して表示させることも可能である。表示画像データ選択部12は、データベース10に複数の表示画像データが記録されている場合に、表示部2に表示させる表示画像データを選択するために設けられている。
The display image
なお、表示画像範囲選択部11及び表示画像データ選択部12における選択は、例えば所定の操作部材を設けておき、使用者による操作部材の操作を受けて実行するようにすれば良い。ここで、使用者とは被写体となっている人物だけでなく、この画像表示装置の表示部2を見ている第3者でも良い。あるいは、種々の条件に応じて自動的に選択が行われるようにしても良い。例えば、ハーフミラー3の前面に存在する被写体が人物の場合には、この人物に対応する表示画像データを1つ又は複数選択して表示させるようにしても良い。
The selection in the display image
図11は、第3の実施形態における重ね合わせ表示における処理の流れについて説明するための図である。ここでは、被写体101の像102と表示画像103とを重ね合わせる例について説明する。
FIG. 11 is a diagram for explaining the flow of processing in superimposed display according to the third embodiment. Here, an example in which the
まず、被写体検出部5aにおいて、被写体101の検出に必要な、画像の撮像、距離検出、温度検出等の何れかの処理が行われ、その結果が被写体認識部6に入力される。被写体認識部6では、被写体検出部5aからの情報に基づいて被写体101の認識が行われ、その認識結果が反射率制御範囲算出部7に入力される。反射率制御範囲算出部7では、被写体認識の結果を2値化する等して被写体範囲102aが抽出される。そして、この被写体範囲102aの情報が制御部8に入力される。
First, in the
また、表示画像データ生成部9では、表示画像範囲選択部11及び表示画像データ選択部12における選択に従って制御部8から指示された表示画像データが取得される。この取得された表示画像データは制御部8に入力される。ここで、表示画像データ生成部9における表示画像データの取得タイミングは特に限定されるものではない。例えば、表示画像データ生成部9にタイマを内蔵しておき、所定時間経過毎に表示画像データの取得を行うようにしても良い。
Further, the display image
制御部8は、反射率制御範囲算出部7において算出された反射率制御範囲(=被写体範囲102a)と、表示画像データの表示画像範囲103aとを比較してその差分を求め、その差分に応じてハーフミラー3の反射率制御及び表示画像の表示制御を行う。
The
ここで、被写体範囲102aをA、表示画像範囲103aをBとすると、(A−B)=0で、AもBも0でない部分においては反射率を低下させる。この部分は、被写体101の像102と表示画像103とが重なる部分である。
Here, assuming that the
また、(A−B)<0の部分においては反射率を低下させる。この部分は、被写体範囲102aの範囲外の部分であり、第2の実施形態の図9において参照符号103bで示した部分に相当する。この部分については反射率を低下させることにより、この部分の表示画像が適正に映るようにする。
Further, the reflectance is reduced in the portion where (A−B) <0. This portion is a portion outside the range of the
また、(A−B)>0の部分、又はAとBとが共に0の部分においてはハーフミラー3の反射率を低下させ、かつ表示画像データ生成部9において(A−B)>0の部分に背景画像104を合成する。これにより、第1の実施形態の図5において参照符号102で示した部分が背景画像104に隠れて見えなくなる。
Further, in the portion where (A−B)> 0, or in the portion where both A and B are 0, the reflectance of the
第1の実施形態及び第2の実施形態では(A−B)>0の部分にAの画像が表示されてしまっていたが、第3の実施形態の処理により、被写体101の像102の形状と表示画像103の形状とが異なっていても重ね合わせ後の画像が不自然とならない。
In the first embodiment and the second embodiment, the image of A is displayed in the part where (A−B)> 0. However, the shape of the
以下、第3の実施形態の変形例について説明する。上述した第3の実施形態においては被写体の範囲102aと表示画像の表示画像範囲103aとがほぼ同じ大きさの例について説明しているが、被写体範囲102aと表示画像範囲103aとが明らかに異なる場合(つまり、AとBとの差が0でない部分が多い場合)には、図12に示すようにして被写体範囲102aと表示画像範囲103aとをほぼ同じ大きさにしてから、上述した被写体範囲102aと表示画像範囲103aとの比較を行うようにしても良い。
Hereinafter, modifications of the third embodiment will be described. In the third embodiment described above, an example in which the
また、上述した第1〜第3の実施形態においては、被写体範囲102a或いは表示画像範囲103aと反射率制御範囲とを一致させていたが、必ずしもこれらを一致させる必要はない。例えば、図13(a)に示すように、被写体101の像102が映る部分のハーフミラー3の反射率を高くし、それ以外の部分の反射率を低下させるようにしても良い。このような制御を行うことにより、被写体101の像102と表示画像103とを同時にハーフミラー3上に鮮明に映すことが可能となる。
In the first to third embodiments described above, the
また、上述した各実施形態においては、被写体の像102と表示画像103とが重なる部分において表示画像103の部分のハーフミラーの反射率を低下させ、図13(b)に示すように表示画像103のほうが表示されるような制御を行っている。これに対し、図13(c)に示すように、被写体101の像102がハーフミラー3上に映るように制御しても良い。この場合には、対応する部分において表示画像103を表示させないような制御を制御部8において行えば良い。
Further, in each of the above-described embodiments, the reflectance of the half mirror of the
[第4の実施形態]
次に、本発明の第4の実施形態について説明する。図14は、第4の実施形態に係る画像表示装置の要部の構成を示すブロック図である。第4の実施形態は、基本的には第2及び第3の実施形態の構成に類似しているが、表情認識部13が設けられている点が異なる。ここで、データベース10に記録されている表示画像データは、人物像等の顔を有する画像であるとする。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described. FIG. 14 is a block diagram illustrating a configuration of a main part of an image display device according to the fourth embodiment. The fourth embodiment is basically similar to the configurations of the second and third embodiments, except that a facial
第4の実施形態において、表情認識部13は、撮像部5で生成された画像データから、被写体101の表情を認識し、その認識結果を、表示制御部1を介して表示画像データ生成部9に入力する。表示画像データ生成部9は、データベース10から表示画像データを読み出し、読み出した表示画像データにおける人物像等の表情を表情認識部13の認識結果に対応した表情に加工する。その後に表示制御部1は、加工後の画像を表示部2に表示させる。或いは、表情に応じた複数種類の表示画像データを記録しておき、表情認識部13の認識結果に対応した表情の表示画像データを選択して表示するようにしても良い。
In the fourth embodiment, the facial
これにより、例えば、ハーフミラー3の前面の被写体101の表情が怒っている表情であり、データベース10に記録されている表示画像103における人物等の表情が笑っている場合等、ハーフミラー3の像102における表情と表示画像103における表情とが異なっている場合に両者を一致させることが可能である。
Thereby, for example, when the expression of the subject 101 in front of the
なお、第4の実施形態においては、被写体101の表情を認識するようにしているが、被写体101の視線や、顔の向き、目の位置等を認識し、それに応じて表示画像データの加工を行っても良い。また、被写体101の視線の変化を検出し、その変化に応じて表示画像103の表示位置を移動させたりするようにしても良い。
In the fourth embodiment, the facial expression of the subject 101 is recognized. However, the line of sight of the subject 101, the orientation of the face, the position of the eyes, etc. are recognized, and the display image data is processed accordingly. You can go. Further, a change in the line of sight of the subject 101 may be detected, and the display position of the
更には、被写体101の表情ではなく、被写体101の姿勢を検出するようにし、姿勢の検出結果に応じて表示画像データの加工を行うようにしても良い。 Furthermore, not the facial expression of the subject 101 but the posture of the subject 101 may be detected, and the display image data may be processed according to the detection result of the posture.
[第5の実施形態]
次に、本発明の第5の実施形態について説明する。図15は、第5の実施形態に係る画像表示装置の要部の構成を示すブロック図である。図15に示す画像表示装置は、データベース(図ではDBと記している)10と、表示画像データ生成部9と、表示部2と、ハーフミラー3と、撮像部5と、被写体検出部5aと、被写体・背景認識部6aと、反射率制御範囲算出部7と、反射率制御部4と、マイク14と、音声入力部15と、音声データ生成部17と、音声制御部18と、音声出力部19と、スピーカー20と、通信部21とから構成されている。そして、この画像表示装置には、通信部22を介してデータベース10及びデータベース23が接続されている。
[Fifth Embodiment]
Next, a fifth embodiment of the present invention will be described. FIG. 15 is a block diagram illustrating a configuration of a main part of an image display device according to the fifth embodiment. The image display apparatus shown in FIG. 15 includes a database (indicated as DB in the figure) 10, a display image
以下、上述した各実施形態と同様の構成については同様の参照符号を付すことで説明を省略する。
図15において、被写体・背景認識部6aは、撮像部5で撮像された画像データの中に複数の被写体が存在する場合に、被写体検出部5aの結果に基づき、主被写体と背景被写体とを認識する。
Hereinafter, the same reference numerals are assigned to configurations similar to those of the above-described embodiments, and description thereof is omitted.
In FIG. 15, the subject /
マイク14は、被写体101から入力された音声を電気信号に変換する。音声入力部15はマイク14からの音声信号をデジタル化して音声認識部16に入力する。音声認識部16は、音声入力部15からの音声信号の認識を行い、その認識結果を音声データ生成部17に入力する。音声データ生成部17は、データベース23から音声データを取得し、この取得した音声データと音声認識部16における認識結果とから再生用の音声データを生成する。音声制御部18は、音声データ生成部17において生成された音声データに対し、再生のための各種処理を行う。音声出力部19は、音声制御部18で処理された音声データをアナログ化してスピーカー20に出力する。スピーカー20は、音声出力部19からの出力に基づいて音声を再生する。
The
通信部21は通信部22に接続され、図15の画像表示装置と、データベース10及びデータベース23との間でデータ通信を行うためのインターフェースである。なお、この際の通信方式については特に限定されるものではない。
The
図16(a)は第5の実施形態における重ね合わせ表示に係る処理について示すフローチャートである。まず、撮像部5により被写体が撮像されて画像データ(ここでは背景の画像データも含む)が生成される。この生成された画像データは被写体・背景認識部6aに入力される。次に、被写体検出部5aにより上述したような主被写体検出のための処理が行われ、その結果が被写体・背景認識部6aに入力される。被写体・背景認識部6aでは、被写体検出部5aの結果に基づき、撮像部5からの画像データにおける主被写体101及び背景被写体の認識が行われ、この認識結果が反射率制御範囲算出部7及び表示画像データ生成部9に入力される(ステップS21)。ここで、ステップS21の主被写体101と背景被写体の認識においては、被写体検出部5aが撮像部である場合には、例えば撮像して得られた画像データにおいて肌色の最も広い被写体を主被写体であると認識するようにすれば良い。また、被写体検出部5aが距離センサである場合には最近の被写体を主被写体であると認識し、被写体検出部5aが温度センサである場合には最も温度が高い被写体を主被写体であると認識するようにすれば良い。また、被写体の検出は、被写体に持たせた電波発振器からの電波を受信して、認識された被写体を主被写体として認識し、その主被写体に対応する画像データをデータベース10から取得して表示しても良い。勿論この他の手法によって主被写体の認識を行うようにしても良い。
FIG. 16A is a flowchart illustrating processing related to overlay display in the fifth embodiment. First, a subject is imaged by the
次に、反射率制御範囲算出部7において、被写体・背景認識部6aの認識結果に基づいて被写体範囲102aが抽出される(ステップS22)。また、表示画像データ生成部9では、被写体・背景認識部6aにおいて認識された主被写体101に対応する表示画像データが選択され(ステップS23)、この選択された表示画像データが通信部21、通信部22を介してデータベース10から取得される(ステップS24)。そして、取得された表示画像データが反射率制御範囲算出部7に出力される。
Next, the reflectance control
以上の処理の後、反射率制御範囲算出部7において、被写体範囲102aと表示画像103の表示画像範囲103aとに基づいてハーフミラー3の反射率低下範囲が算出され、この算出された反射率低下範囲は反射率制御部4に出力される(ステップS25)。そして、反射率制御部4において、反射率制御範囲算出部7から出力された反射率制御範囲に対応する部分のハーフミラー3の反射率が制御される(ステップS26)。
After the above processing, the reflectance control
図16(b)は第5の実施形態における音声出力処理について示すフローチャートである。図16(b)において、音声入力部15においてマイク14からの音声信号がデジタル化されて音声認識部16に入力される。次に、音声認識部16において、音声入力部15からの音声信号の認識が行われ、その認識結果が音声データ生成部17に入力される(ステップS31)。また、音声データ生成部17において、データベース23から音声データが取得される(ステップS32)。
FIG. 16B is a flowchart showing audio output processing in the fifth embodiment. In FIG. 16B, the voice signal from the
そして、音声データ生成部17において、データベース23から取得した音声データと音声認識部16における認識結果とから再生用の音声データが生成され、生成された再生用の音声データが音声制御部18に入力される(ステップS33)。この際の処理としては、データベース23から取得した音声データと音声認識部16により認識された音声データとを合成したり、音声認識部16により認識された音声データをキャンセルし、データベース23から取得した音声データを再生用の音声データとして用いる等の種々の処理が考えられる。
Then, in the audio
次に、音声制御部18においては、音声データ生成部17から入力された生成された音声データに対し、再生のための各種処理(例えば、ノイズ除去のためのフィルタ処理等)が行われ、処理後の音声データが音声出力部19に入力される。そして、音声出力部19において、入力された音声データがアナログ化されてスピーカー20を介して外部に音声として出力される(ステップS34)。
Next, in the
このような第5の態様によれば、重ね合わせ表示と共に音声再生を行うことも可能である。 According to the fifth aspect, it is possible to perform audio reproduction together with the superimposed display.
[第6の実施形態]
次に、本発明の第6の実施形態について説明する。図17は、第6の実施形態に係る画像表示装置の要部の構成を示すブロック図である。この第6の実施形態の画像表示装置においては、被写体撮像部5c及び重畳画像撮像部5bの2つの撮像部が設けられている。更に、第6の実施形態の画像表示装置には、照度検出部24と、データ記録部25と、出力部26とが更に設けられている。
[Sixth Embodiment]
Next, a sixth embodiment of the present invention will be described. FIG. 17 is a block diagram illustrating a configuration of a main part of an image display device according to the sixth embodiment. In the image display apparatus according to the sixth embodiment, two imaging units, a subject imaging unit 5c and a superimposed
被写体撮像部5cは上述した撮像部5と同様の機能を有しており、被写体101を撮像して画像データを取得する。重畳画像撮像部5bはハーフミラー3上に重ね合わされた画像を撮像して画像データを取得する。
The subject imaging unit 5c has the same function as the
また、照度検出部24は、被写体101の周辺の照度(明るさ)を検出する。データ記録部25は、重ね合わせ表示がなされた状態の画像データを記録する。出力部26は、重ね合わせ表示がなされた状態の画像を印刷や通信等の手法により外部に出力する。
Further, the
図18は、照度検出部24における照度検出の結果を利用した重ね合わせ表示について示したフローチャートである。図18において、まず、照度検出部24により、被写体101の周辺の照度が検出され、この照度の情報が表示制御部1に入力される(ステップS41)。また、表示画像データ生成部9において表示画像データが取得され、取得された表示画像データが表示制御部1に入力される。照度の情報と表示画像データが表示制御部1に入力されると、表示制御部1において照度の比較が行われる(ステップS42)。そして、この比較の結果に基づいて重ね合わせ表示時の照度が決定される(ステップS43)。その後に、この照度に基づいて表示画像の表示が行われる(ステップS44)。
FIG. 18 is a flowchart illustrating overlay display using the result of illuminance detection in the
例えば、被写体撮像部5cから取り込んだ画像全体が図19(a)のように暗く、表示画像103が図19(b)のように明るい場合には、表示画像103の照度を低くした後で表示画像103の表示が行われる。これにより、図19(c)のように両者の照度が等しくなり、重ね合わせ後の画像が不自然にならない。
For example, when the entire image captured from the subject imaging unit 5c is dark as shown in FIG. 19A and the
なお、ここでは表示画像103の照度を被写体の像102の照度に合わせる場合について説明したが、表示画像103の照度を被写体の像102及び背景の像104の照度に合わせても良い。
Although the case where the illuminance of the
また、被写体の像102の照度と表示画像103の照度とを一致させる手法としては、表示画像103の照度を被写体の像102の照度に合わせるだけでなく、ハーフミラー3の反射率を制御することで被写体の像102の照度を表示画像103の照度に合わせるようにしても良い。また、表示画像103の照度を被写体の像102及び背景の像104の照度に合わせるようにハーフミラー3の反射率を制御しても良い。
Further, as a method of matching the illuminance of the
次に、重ね合わせ後の画像の出力処理について説明する。つまり、上述した各実施形態における重ね合わせ後にハーフミラー3に映る像を記録したり印刷したりするためには、ハーフミラー3に映る像をデータ化する必要がある。このための手法を図20(a)及び図20(b)を参照して説明する。
Next, output processing of the image after superimposition will be described. That is, in order to record or print an image reflected on the
まず、図20(a)について説明する。図20(a)において、まず、被写体撮像部5cにおいて被写体の撮像が行われ、この結果に基づき被写体・背景認識部6aにおいて主被写体と背景被写体とがそれぞれ認識される(ステップS51)。主被写体の情報は、反射率制御範囲算出部7に入力される。また、背景被写体の画像データは、表示制御部1の図示しない記憶部に保存される(ステップS52)。そして、この背景被写体の画像データに対して印刷や記録のための種々の画像処理が施される(ステップS53)。その後に、この背景被写体の画像データと表示画像データとが合成される(ステップS54)。つまり、この画像データは、図19(c)に示すような重ね合わせ後にハーフミラー3に映る画像に相当する。
First, FIG. 20A will be described. In FIG. 20A, first, a subject is imaged by the subject imaging unit 5c, and based on this result, the subject /
画像の合成がなされた後、この画像データがデータ記録部25又は出力部26に送られ、記録又は印刷等の出力処理がなされる(ステップS55)。
After the images are combined, the image data is sent to the
次に、図20(b)について説明する。図20(b)において、まず、上述した各実施形態で説明したような重ね合わせ表示が行われる(ステップS61)。その後に重畳画像撮像部5bによりハーフミラー3に映っている像の撮像が行われる(ステップS62)。そして、この画像データに対して印刷や記録のための種々の画像処理が施される(ステップS63)。その後に、この画像データがデータ記録部25又は出力部26に送られ、記録又は印刷等の出力処理がなされる(ステップS64)。
Next, FIG. 20B will be described. In FIG. 20B, first, overlay display as described in the above-described embodiments is performed (step S61). Thereafter, the superimposed
以上説明したような図20(a)及び図20(b)のような手法により、重ね合わせ後の画像を印刷したり記録したりすることが可能となる。 20A and 20B as described above can be used to print or record the superimposed image.
なお、第1の実施形態から第2の実施形態の画像表示装置は、表示する画像が静止画像の場合においても、また動画像の場合においても適用可能である。 Note that the image display apparatuses according to the first to second embodiments can be applied to a case where an image to be displayed is a still image or a moving image.
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。 Although the present invention has been described based on the above embodiments, the present invention is not limited to the above-described embodiments, and various modifications and applications are naturally possible within the scope of the gist of the present invention.
更に、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。 Further, the above-described embodiments include various stages of the invention, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some configuration requirements are deleted from all the configuration requirements shown in the embodiment, the above-described problem can be solved, and this configuration requirement is deleted when the above-described effects can be obtained. The configuration can also be extracted as an invention.
1…表示制御部、2…表示部、3…ハーフミラー、4…反射率制御部、5…撮像部、5a…被写体検出部、5b…重畳画像撮像部、5c…被写体撮像部、6…被写体認識部、6a…被写体・背景認識部、7…反射率制御範囲算出部、8…制御部、9…表示画像データ生成部、10,23…データベース、11…表示画像範囲選択部、12…表示画像データ選択部、13…表情認識部、14…マイク、15…音声入力部、16…音声認識部、17…音声データ生成部、18…音声制御部、19…音声出力部、20…スピーカー、21,22…通信部、24…照度検出部、25…データ記録部、26…出力部
DESCRIPTION OF
Claims (38)
前記表示部に表示される表示画像に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部を具備することを特徴とする画像表示装置。 An image display device provided with a half mirror with variable reflectivity on the display surface side of the display unit, and displaying the image reflected by the half mirror and the display image of the display unit,
An image display device comprising: a reflectance control unit that controls the reflectance of the half mirror at a portion corresponding to a display image displayed on the display unit.
前記ハーフミラーに映っている被写体を認識する被写体認識部と、
前記被写体認識部により認識された被写体から、前記ハーフミラーの反射率制御範囲を算出する反射率制御範囲算出部と、
前記反射率制御範囲算出部により算出された反射率制御範囲に対応する部分の前記ハーフミラーの反射率を制御する反射率制御部と、
を具備することを特徴とする画像表示装置。 An image display device provided with a half mirror with variable reflectivity on the display surface side of the display unit, and displaying the image reflected by the half mirror and the display image of the display unit,
A subject recognition unit for recognizing a subject reflected in the half mirror;
A reflectance control range calculation unit that calculates a reflectance control range of the half mirror from the subject recognized by the subject recognition unit;
A reflectance control unit that controls the reflectance of the half mirror in a portion corresponding to the reflectance control range calculated by the reflectance control range calculation unit;
An image display device comprising:
前記表示部は、前記表示データ選択部により選択された表示画像を表示することを特徴とする請求項1又は2に記載の画像表示装置。 A display data selection unit for selecting a display image to be displayed on the display unit;
The image display device according to claim 1, wherein the display unit displays a display image selected by the display data selection unit.
前記表示部は、前記時間検出部によって検出された時間に基づいて前記表示画像を表示することを特徴とする請求項1又は2に記載の画像表示装置。 It further comprises a time detection unit for detecting time,
The image display device according to claim 1, wherein the display unit displays the display image based on a time detected by the time detection unit.
前記被写体形状検出部により検出された被写体の形状に近づけるように前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項2に記載の画像表示装置。 A subject shape detection unit for detecting the shape of the subject;
The image display apparatus according to claim 2, wherein the display image is displayed after the display image is processed so as to approach the shape of the subject detected by the subject shape detection unit.
前記表示部は、前記視線検出部により検出された視線の情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項2に記載の画像表示装置。 A line-of-sight detector that detects the line of sight of the subject;
The image display apparatus according to claim 2, wherein the display unit displays the display image after processing the display image using information on the line of sight detected by the line-of-sight detection unit.
前記顔方向検出部により検出された顔の向きの情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項1又は2に記載の画像表示装置。 A face direction detector for detecting the orientation of the subject's face;
The image display apparatus according to claim 1, wherein the display image is displayed after the display image is processed using information on a face orientation detected by the face direction detection unit.
前記目位置検出部により検出された目の位置の情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項1又は2に記載の画像表示装置。 An eye position detector for detecting the eye position of the subject;
The image display apparatus according to claim 1, wherein the display image is displayed after processing the display image using information on an eye position detected by the eye position detection unit.
前記表情認識部により認識された表情の情報を用いて前記表示画像を処理してから前記表示画像を表示することを特徴とする請求項1又は2に記載の画像表示装置。 A facial expression recognition unit for recognizing the facial expression of the subject,
The image display apparatus according to claim 1, wherein the display image is displayed after processing the display image using facial expression information recognized by the facial expression recognition unit.
前記音声入力部により入力された音声を認識する音声認識部と、
音声データを生成する音声データ生成部と、
前記音声データ生成部により生成された音声データを前記音声認識部により認識された音声を用いて加工する音声データ加工部と、
前記音声データ加工部により加工された音声データを出力する音声出力部と、
を更に具備することを特徴とする請求項1又は2に記載の画像表示装置。 A voice input unit for inputting voice;
A speech recognition unit for recognizing speech input by the speech input unit;
An audio data generation unit for generating audio data;
A voice data processing unit that processes the voice data generated by the voice data generation unit using the voice recognized by the voice recognition unit;
An audio output unit for outputting audio data processed by the audio data processing unit;
The image display device according to claim 1, further comprising:
前記音声データ加工部は、前記音声データ記録部に記録された音声データを加工することを特徴とする請求項27に記載の画像表示装置。 An audio data recording unit that records the audio data;
28. The image display apparatus according to claim 27, wherein the voice data processing unit processes voice data recorded in the voice data recording unit.
前記音声データ加工部は、前記音声データ取得部により取得された音声データを用いて前記音声データ生成部により生成された音声データを加工することを特徴とする請求項29に記載の画像表示装置。 An audio data acquisition unit that selects and acquires audio data recorded in the audio data recording unit;
30. The image display device according to claim 29, wherein the audio data processing unit processes the audio data generated by the audio data generation unit using the audio data acquired by the audio data acquisition unit.
前記表示部は、前記撮像部により撮像された画像における被写体の照度と前記表示画像の照度とを比較し、前記表示画像の照度を、前記被写体の照度に近づけるように処理してから表示することを特徴とする請求項2に記載の画像表示装置。 An image pickup unit for picking up an image of the subject;
The display unit compares the illuminance of the subject in the image captured by the imaging unit with the illuminance of the display image, and displays the illuminance of the display image after processing the illuminance of the display image to be close to the illuminance of the subject. The image display device according to claim 2.
前記表示部は、前記撮像部により撮像された画像における被写体の周辺照度と前記表示画像の照度とを比較し、前記表示画像の照度を、前記被写体の周辺照度に近づけるように処理してから表示することを特徴とする請求項2に記載の画像表示装置。 An image pickup unit for picking up an image of the subject;
The display unit compares the ambient illuminance of the subject in the image captured by the imaging unit with the illuminance of the display image, and processes the illuminance of the display image so as to be close to the peripheral illuminance of the subject before display. The image display device according to claim 2.
前記反射率制御部は、前記撮像部により撮像された画像における被写体の照度と前記表示画像の照度とを比較し、前記表示画像の照度を前記被写体の照度に近づけるように、前記ハーフミラーの反射率を変更することを特徴とする請求項2に記載の画像表示装置。 An image pickup unit for picking up an image of the subject;
The reflectance control unit compares the illuminance of the subject in the image captured by the imaging unit with the illuminance of the display image, and reflects the reflection of the half mirror so that the illuminance of the display image approaches the illuminance of the subject. The image display device according to claim 2, wherein the rate is changed.
前記反射率制御部は、前記撮像部により撮像された画像における被写体の周辺照度と前記表示画像の照度とを比較し、前記表示画像の照度を前記被写体の周辺照度に近づけるように、前記ハーフミラーの反射率を変更することを特徴とする請求項2に記載の画像表示装置。 An image pickup unit for picking up an image of the subject;
The reflectance control unit compares the illuminance of the subject in the image captured by the imaging unit with the illuminance of the display image, so that the illuminance of the display image approaches the ambient illuminance of the subject. The image display device according to claim 2, wherein the reflectance of the image display device is changed.
前記表示部は、前記撮像部により撮像された画像における被写体及び背景の照度と前記表示画像の照度とを比較し、前記表示画像の照度を、前記被写体及び背景の照度に近づけるように処理してから表示することを特徴とする請求項2に記載の画像表示装置。 An image pickup unit for picking up an image of the subject;
The display unit compares the illuminance of the subject and background in the image captured by the imaging unit with the illuminance of the display image, and processes the illuminance of the display image so as to approach the illuminance of the subject and background. The image display device according to claim 2, wherein the image display device is displayed.
前記反射率制御部は、前記撮像部により撮像された画像における被写体及び背景の照度と前記表示画像の照度とを比較し、前記表示画像の照度を前記被写体及び背景の照度に近づけるように、前記ハーフミラーの反射率を変更することを特徴とする請求項2に記載の画像表示装置。 An image pickup unit for picking up an image of the subject;
The reflectance control unit compares the illuminance of the subject and background in the image captured by the imaging unit with the illuminance of the display image, and brings the illuminance of the display image closer to the illuminance of the subject and background. The image display device according to claim 2, wherein the reflectance of the half mirror is changed.
前記撮像部により撮像された画像を記録する画像記録部と、
を更に具備することを特徴とする請求項2に記載の画像表示装置。 An imaging unit that captures an image in which the display image and the reflected image of the half mirror are superimposed;
An image recording unit for recording an image captured by the imaging unit;
The image display apparatus according to claim 2, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006106596A JP2007279445A (en) | 2006-04-07 | 2006-04-07 | Image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006106596A JP2007279445A (en) | 2006-04-07 | 2006-04-07 | Image display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007279445A true JP2007279445A (en) | 2007-10-25 |
Family
ID=38680949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006106596A Withdrawn JP2007279445A (en) | 2006-04-07 | 2006-04-07 | Image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007279445A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009169109A (en) * | 2008-01-16 | 2009-07-30 | Panasonic Electric Works Co Ltd | Mirror system |
JP2010015127A (en) * | 2007-12-25 | 2010-01-21 | Panasonic Electric Works Co Ltd | Information display apparatus |
EP2372432A1 (en) | 2010-02-24 | 2011-10-05 | Fujifilm Corporation | Three-dimensional image display apparatus and method of adjusting displayed image |
JP2014238434A (en) * | 2013-06-06 | 2014-12-18 | 株式会社アイ・オー・データ機器 | Display device, display program and display method |
JP2016118620A (en) * | 2014-12-19 | 2016-06-30 | 株式会社豊田中央研究所 | Display device and display method |
JP2018032914A (en) * | 2016-08-23 | 2018-03-01 | 旭硝子株式会社 | Video display method and video display system |
CN111307422A (en) * | 2019-12-25 | 2020-06-19 | 福建富兰光学有限公司 | Method for rapidly detecting reflectivity of half-reflecting mirror |
JP2020108169A (en) * | 2016-08-23 | 2020-07-09 | Agc株式会社 | Video display method and video display system |
-
2006
- 2006-04-07 JP JP2006106596A patent/JP2007279445A/en not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010015127A (en) * | 2007-12-25 | 2010-01-21 | Panasonic Electric Works Co Ltd | Information display apparatus |
JP2009169109A (en) * | 2008-01-16 | 2009-07-30 | Panasonic Electric Works Co Ltd | Mirror system |
EP2372432A1 (en) | 2010-02-24 | 2011-10-05 | Fujifilm Corporation | Three-dimensional image display apparatus and method of adjusting displayed image |
JP2014238434A (en) * | 2013-06-06 | 2014-12-18 | 株式会社アイ・オー・データ機器 | Display device, display program and display method |
JP2016118620A (en) * | 2014-12-19 | 2016-06-30 | 株式会社豊田中央研究所 | Display device and display method |
JP2018032914A (en) * | 2016-08-23 | 2018-03-01 | 旭硝子株式会社 | Video display method and video display system |
JP2020108169A (en) * | 2016-08-23 | 2020-07-09 | Agc株式会社 | Video display method and video display system |
CN111307422A (en) * | 2019-12-25 | 2020-06-19 | 福建富兰光学有限公司 | Method for rapidly detecting reflectivity of half-reflecting mirror |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007279445A (en) | Image display device | |
US10270972B2 (en) | Portable video communication system | |
CN101272457B (en) | Iamge process apparatus and method | |
JP4853320B2 (en) | Image processing apparatus and image processing method | |
US20070195012A1 (en) | Image display apparatus and method for displaying image | |
US9838597B2 (en) | Imaging device, imaging method, and program | |
US10719704B2 (en) | Information processing device, information processing method, and computer-readable storage medium storing a program that extracts and corrects facial features in an image | |
US7216982B2 (en) | Eye image taking device | |
US9852339B2 (en) | Method for recognizing iris and electronic device thereof | |
JP4849988B2 (en) | Imaging apparatus and output image generation method | |
JP4970716B2 (en) | Electronic camera | |
JP2004021931A (en) | Work guidance system | |
GB2324428A (en) | Image tracking; observer tracking stereoscopic display | |
JPWO2014171142A1 (en) | Image processing method and image processing apparatus | |
KR100778318B1 (en) | Stereo camera system for moving lens horizontally | |
JP2008011457A (en) | Camera | |
JP2001154794A (en) | Pointing device with click function by blink | |
JP3310325B2 (en) | Head mounted display device and system using the same | |
JPH11234640A (en) | Communication control system | |
JP2018124457A (en) | Face image processing device | |
KR20130119759A (en) | Method and apparatus for recognizing three dimensional object | |
JP4515005B2 (en) | Electronic camera | |
JP2005252735A (en) | Head-mounted display having danger prevention function | |
JP2005117106A (en) | Mobile telephone with imaging function and control method thereof, and control program | |
JPH08149393A (en) | Video display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090707 |