JP5053603B2

JP5053603B2 - 画像処理装置

Info

Publication number: JP5053603B2
Application number: JP2006255261A
Authority: JP
Inventors: 博之中西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-09-21
Filing date: 2006-09-21
Publication date: 2012-10-17
Anticipated expiration: 2026-09-21
Also published as: JP2008078959A

Description

本発明は、撮像により得られた画像とコンピュータグラフィックス（ＣＧ）等により生成された画像とを合成する画像処理装置、及びこれを備えたヘッドマウントタイプ又はハントヘルドタイプの画像表示装置に関する。

観察者の眼に対応する位置にて撮像した画像とＣＧ画像との合成画像を表示素子に表示して観察者に観察させる、いわゆるビデオシースルータイプのヘッドマウントディスプレイやハンドヘルドディスプレイ等の画像表示装置が種々提案されている（特許文献１参照）。

このようなビデオシースルータイプの画像表示装置では、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子を用いて生成した撮像画像をパーソナルコンピュータ等の処理装置に出力する。処理装置では、ＣＧ等により製作された画像（以下、ＣＧ画像という）を撮像画像に合成して再び画像表示装置に出力する。画像表示装置では、入力された合成画像に対して、解像度変換やフレーム周波数変換処理等を行った後、さらに観察される画像のモアレを低減するために、ローパスフィルタ処理を行う。
特開２００６−１７１６３７号公報

しかしながら、従来のビデオシースルータイプの画像表示装置においては、合成画像に対するローパスフィルタ処理のカットオフ周波数を、画面全体で一様にしていた。

この場合において、カットオフ周波数を高めに設定すると、一般に画面の多くの部分を占める撮像画像の領域でモアレが発生してしまうことが多い。また、カットオフ周波数を低めに設定すると、高精細に描画したＣＧ画像や文字等のエッジ部がぼけて、見づらい画像となってしまうという問題がある。

本発明は、撮像画像と撮像画像以外の画像（ＣＧ画像等）との合成画像を表示する場合において、モアレの発生を効果的に抑制し、かつＣＧ画像等も鮮明に表示できるようにした画像処理装置及び撮像型画像表示装置を提供することを目的としている。

本発明の一側面としての画像処理装置は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像が合成された合成画像と、第１の画像と、を比較することにより、合成画像における第１の画像の領域と第２の画像の領域とを判別する判別手段と、判別手段により判別された合成画像における第１の画像の領域と第２の画像の領域に対して、互いに異なるカットオフ周波数のローパスフィルタ処理を行う処理手段とを有することを特徴とする。

また、本発明の他の側面としての画像処理装置は、撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像と、第１の画像と、を比較することにより、合成画像における第１の画像の領域と第２の画像の領域とを判別する判別手段と、判別手段により判別された前記合成画像のうち第１の画像の領域に対してローパスフィルタ処理を行い、かつ前記第２の画像の領域に対してはローパスフィルタ処理を行わない処理手段とを有することを特徴とする。

本発明によれば、合成画像のうち撮像画像の領域とＣＧ等で生成された画像の領域とのそれぞれに又は撮像画像の領域のみに最適なローパスフィルタ処理のカットオフ周波数を設定することができる。したがって、撮像画像領域でのモアレの発生を抑制することができるとともに、ＣＧ画像等の領域を鮮明に表示することが可能となる。

以下、本発明の実施例について図面を参照しながら説明する。

図５には、本発明の実施例１であるビデオシースルータイプのヘッドマウントディスプレイ本体（以下、ＨＭＤ本体という）１０００の構成を示している。

図５において、１１０はＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子である。６１１は撮像プリズムであり、撮像素子１１０の位置を観察者の眼球６２２の位置に可能な限り近づけるよう外界（被写体）からの光束６１０を複数回の反射を利用して折り畳み、コンパクトでありながらも必要な光路長を確保している。６１２は撮像プリズム６１１からの光束を撮像素子１１０上に結像させるための結像レンズである。撮像プリズム及び結像レンズ６１２により撮像光学系が構成され、さらに該撮像光学系と撮像素子１１０により撮像部（撮像系）が構成される。

１２５はＬＣＤやＣＲＴ，ＥＬ素子等により構成される表示素子である。６２０は表示素子１２５から射出された光束６２１を拡大しつつ観察者の眼球６２２に導くため観察プリズム（表示光学系）である。観察者は、観察プリズム６２０を覗くことにより、表示素子１２５に表示された映像の虚像を観察することが可能となる。表示素子１２５及び観察プリズム６２０により、表示部が構成される。

本実施例のＨＭＤ本体１０００は、上記撮像部と表示部とを内蔵した撮像表示ユニットを左右一対有する。これにより、観察者は、左右の眼で左右の撮像ユニットにより取得された撮像画像（及び後述する合成画像）を左右の表示ユニットを介して観察することができる。

図６には、本実施例のＨＭＤ本体１００及びこれに接続される制御ユニット（画像処理装置）の外観を示している。図６において、７０１は観察者の頭部である。１０１Ｌ，１０１Ｒは左右の撮像表示ユニットである。これら撮像表示ユニット１０１Ｌ，１０１Ｒは、頭部装着装置１０３に固定されており、頭部装着装置１０３を観察者の頭部７０１に装着することで、撮像表示ユニット１０１Ｌ，１０１Ｒを観察者の眼前に配置することができる。これにより、観察者が実際に眼で見るのとほぼ一致する映像を観察することが可能となる。ただし、本実施例では、撮像映像に、ＣＧ映像や文字映像等の撮像以外の方法で生成された映像が合成された合成映像を観察する。

また、１００はＨＭＤ本体１０００を制御する制御ユニットであり、１０２はＨＭＤ本体１０００と制御ユニット１００を接続するためのケーブルである。ＨＭＤ本体１０００と制御ユニット１００とは使用上一体不可分の関係にあり、本発明にいう画像表示装置とは、ＨＭＤ本体１０００と制御ユニット１００を含む意味である。

２００は制御ユニット１００にケーブルや無線等を介して接続されたパーソナルコンピュータやワークステーション等のコンピュータである。コンピュータ２００は、ＣＧ映像の作成が可能であるとともに、後述するように制御ユニット１００から入力された撮像映像とＣＧ映像とを合成した合成映像も作成する。作成された合成映像は、制御ユニット１００に出力される。

図１には、本実施例のＨＭＤ本体１０００及び制御ユニット１００の電気回路の構成を示す。なお、図１において、各符号（数字）の後に付けられたＲ，Ｌの文字は、右眼用，左眼用を意味している。ただし、右眼用と左眼用の回路構成は共通であるので、以下の説明では、Ｒ，Ｌを省く。また、図１において、図５及び図６に示した構成要素と同じものには、同符号を付している。

図１において、１１１は撮像素子１１０から出力されたアナログ信号に対してＡＧＣ（自動利得制御）、ＣＤＳ（相関２重サンプリング）及びＡＤＣ（アナログ−ディジタル変換）等を行うアナログ画像処理部である。

１１２はアナログ画像処理部１１１から出力されたデジタル信号に対してγ（ガンマ）補正、色相補正、輪郭補正、撮像光学系に対する歪補正等の画像処理を行うデジタル画像処理部である。

１１３はデジタル画像処理部１１２で画像処理された信号を、所定のビデオフォーマットに変換して出力するＩＥＥＥ１３９４インタフェース等の映像出力部である。映像出力部１１３から出力された撮像映像は、前述したコンピュータ２００に入力される。

１１４はデジタル画像処理部１１２で画像処理された撮像映像を所定の複数フレーム画像ずつ蓄積する撮像映像用フレームメモリである。

１２０はコンピュータ２００で作成された、撮像映像と撮像映像以外の映像であるＣＧ映像との合成映像を取り込むＤＶＩ（ディジタル・ビデオ・インタフェース）レシーバ等の映像入力部である。

１２１は映像入力部１２０から入力された合成映像と撮像映像用フレームメモリ１１４に蓄積されたフレーム画像を比較して、撮像画像とＣＧ画像とを分離する映像分離部である。

１２２は映像分離部１２１で分離された撮像画像とＣＧ画像の各々に対して、解像度やフレーム周波数を表示素子１２５に合わせて変換し、さらに表示光学系に対する歪の補正処理を行う映像変換部である。この映像変換部１２２では、さらにモアレ除去等を目的とするローパスフィルタ処理を行う。このローパスフィルタ処理については、後に詳しく説明する。

１２３は映像変換部１２２で各処理が行われた撮像画像とＣＧ画像とを再び合成する映像再合成部である。

１２４は映像再合成部１２３から再合成映像の入力を受けて、表示素子１２５を駆動する表示素子駆動部である。これにより、映像再合成部１２３で再合成された映像（合成画像）が表示素子１２５に表示され、観察者は合成映像を観察することができる。

１３０は制御ユニット１００及びＨＭＤ本体１０００の動作の制御を司るＣＰＵ等の制御部である。

１３１は撮像光学系に対する歪み補正データを記憶した歪補正テーブル部、１３２は表示光学系に対する歪補正データを記憶した歪補正テーブル部である。なお、光学系で発生する画像の歪は、光学部品の個体差や組立公差等の影響により異なる。したがって、撮像光学系に対する歪補正テーブル部１３１および表示光学系に対する歪補正テーブル部１３２は、個々のＨＭＤ本体における撮像部及び表示部ごとに歪データを測定して、それぞれの補正データを書き込む。

図２Ａには、撮像映像（撮像フレーム画像）を示している。また、図２Ｂには、コンピュータ２００から入力された撮像映像とＣＧ映像（ＣＧフレーム画像）との合成映像（合成フレーム画像）を示す。さらに、図２Ｃ及び図２Ｄにはそれぞれ、合成映像から分離された撮像フレーム画像領域とＣＧフレーム画像領域を示す。

前述したように、ＨＭＤ本体１０００の撮像部にて撮像され、制御ユニット１００内で各種画像処理が施された撮像映像（図２Ａ）は、コンピュータ２００に送られる。コンピュータ２００では、入力された撮像映像に対して、図２Ｄに示すＣＧ映像を重畳（合成）した合成映像（図２Ｂ）を生成する。生成された合成映像は、コンピュータ２００の標準映像出力端子からＤＶＩ等の所定のフォーマットで出力される。コンピュータ２００からの合成映像は、制御ユニット１００の映像入力部１２０においてＤＶＩレシーバ等で受信され、その後段の処理回路で使用可能なデジタルビデオ信号へと変換される。

映像分離部１２１では、映像入力部１２０からの合成映像（合成フレーム画像）と、撮像映像用フレームメモリ１１４に合成処理時間分だけ前に蓄積された撮像映像（撮像フレーム画像）とを比較する。これにより、合成フレーム画像内での撮像フレーム画像領域（図２Ｃ）とＣＧフレーム画像領域（図２Ｄ）とを判別する。

ここで、合成処理時間とは、制御ユニット１００において撮像フレーム画像が生成されてから、コンピュータ２００に送られ、ＣＧ画像と合成されて合成画像として制御ユニット１００に再入力されるまでの時間である。このため、合成フレーム画像と比較する撮像フレーム画像（フレームメモリ１１４に蓄積された画像）は、該合成フレーム画像の生成に用いられた撮像フレーム画像に一致する。これにより、合成フレーム画像内での撮像フレーム画像領域とＣＧフレーム画像領域とを正確に特定することができる。

映像分離部１２１では、合成フレーム画像から撮像フレーム画像領域とＣＧフレーム画像領域とを分離する。そして、撮像フレーム画像領域のみの画像である分離撮像フレーム画像とＣＧフレーム画像領域のみの画像である分離ＣＧフレーム画像とを映像変換部１２２に入力する。

映像変換部１２２では、分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対して、表示素子１２５に合わせた解像度変換やフレーム周波数変換を行う。また、表示光学系に対応する歪補正テーブル部１３２に格納されたデータに基づいて、表示光学系で発生する画像の歪とは逆方向の歪みを表示画像に与える処理が行われる。

さらに、映像変換部１２２では、これらの画像処理が行われた分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対してローパスフィルタ処理を行う。このとき、分離撮像フレーム画像に対しては、例えば通常、撮像映像でのモアレ除去用に設定される第１のカットオフ周波数でローパスフィルタ処理を行う。一方、分離ＣＧフレーム画像に対しては、第１のカットオフ周波数よりも高く設定された第２のカットオフ周波数でローパスフィルタ処理を行う。すなわち、分離撮像フレーム画像と分離ＣＧフレーム画像のそれぞれに対して、互いに異なるカットオフ周波数でローパスフィルタ処理を行っている。

これにより、映像再合成部１２３にて再合成された合成映像が表示素子１２５に表示されたときに、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。

ローパスフィルタ処理を含む各種画像処理が施された分離撮像フレーム画像と分離ＣＧフレーム画像は、映像再合成部１２３に送られ、ここで合成されて再び１つの合成フレーム画像が生成される。合成フレーム画像は順次、表示素子駆動部１２４において表示素子１２５を駆動するのに適した信号に加工され、表示素子１２５に出力される。これにより、合成映像が表示され、観察者による観察が可能となる。

図３Ａ，３Ｂ及び図４Ａ，４Ｂには、上述した合成処理時間が分からなかったり、変動したりするような場合における映像分離部１２１での画像分離の方法について示している。

図３Ａ及び図３Ｂには、撮像フレーム画像の画像データ列にフレーム番号データを書き込む場合の例を示している。図３Ａには、デジタル画像処理部１１２において、画像処理を施された撮像フレーム画像の画像データ列を示している。ここでは、分かり易いように、画像データ列の先頭部のみを示している。

図３Ｂには、図３Ａに示した画像データ列の先頭部を、フレーム番号データ（Ｆ．Ｎｏ）に置き換えた例を示している。

また、図４Ａ及び図４Ｂには、合成フレーム画像の画像データ列にフレーム番号データを書き込む場合の例を示している。図４Ａには、コンピュータ２００から入力される合成フレーム画像の画像データ列を示している。ここでは、分かり易いように、画像データ列の先頭部のみを示している。

図４Ｂは、図４Ａに示した映像データ列からフレーム番号データを除去した状態の画像データ列を示している。

図３Ａ，３Ｂ及び図４Ａ，４Ｂに示すフレーム番号データを用いる場合における実施例１との動作上の違いについて説明する。

まず、撮像映像の生成に関しては、デジタル画像処理部１１２までの動作は実施例１と同じである。デジタル画像処理部１１２において画像処理を施された図３Ａで示される撮像フレーム画像の画像データ列に対して、映像出力部１１３において以下の処理を行う。まず、図３Ｂで示したように、画像データ列の先頭部である最初の１バイトのデータ、すなわち、図３Ａにおいては「Ｕ_０．５」データをフレーム番号データ（Ｆ．Ｎｏ）に書き換える。なお、撮像映像用フレームメモリ１１４には、図３Ａで示される撮像フレーム画像（画像データ列）を蓄積し、フレーム番号データに対応付けて管理する。

次に、映像出力部１１３から出力された図３Ｂで示されるフレーム番号データ付きの撮像フレーム画像（画像データ列）は、コンピュータ２００に送られる。コンピュータ２００は、フレーム番号データを取り除いた状態で画像データ列をＲＧＢデータに変換し、ＣＧフレーム画像と合成する。

合成フレーム画像を生成した後、コンピュータ２００は、図４Ａに示したように、合成フレーム画像におけるＲ（レッド）データの最初の１バイトのデータ、すなわち「Ｒ_０」を先に取り除いたフレーム番号データに書き換える。そして、このフレーム番号データ付きの合成フレーム画像を制御ユニット１００の映像入力部１２０に送る。

コンピュータ２００から映像入力部１２０に入力された図４Ａに示すフレーム番号データ付きの合成フレーム画像は、映像分離部１２１に送られる。映像分離部１２１は、Ｒデータの最初の１バイトに書き込まれているフレーム番号データを読み出し、撮像映像用フレームメモリ１１４に蓄積された複数の撮像フレーム画像のうち、読み出したフレーム番号データに対応する撮像フレーム画像を読み出す。そして、読み出した撮像フレーム画像と合成フレーム画像とを比較して、撮像フレーム画像領域とＣＧフレーム画像領域とを分離する。

この際、Ｒデータの最初の１バイト目を「Ｒ_０」データに戻す処理を行い、図４Ｂに示した合成フレーム画像（画像データ列）に変換する。

この変換方法は、以下の通りである。まず、撮像映像用フレームメモリ１１４に蓄積されている、フレーム番号データに対応する撮像フレーム画像における画像データ列のうち、最初の２画素のデータを算出する。すなわち、図３Ａ中の「Ｕ_０．５」，「Ｙ_０」，「Ｖ_０．５」，「Ｙ_１」から「Ｒ_０」，「Ｒ_１」，「Ｇ_０」，「Ｇ_１」，「Ｂ_０」，「Ｂ_１」を算出する。

次に、算出した最初の２画素のデータのうち、「Ｒ_０」を除いた他の５色のデータ値と、コンピュータ２００から入力された合成フレーム画像の画像データ列のうち、「Ｒ_０」を除いた他の５色のデータ値とを比較する。これら５色のデータ値の全てが等しい（又は差が所定範囲内に収まっている）場合は、１画素目は撮像フレーム画像のデータであると判断し、上記算出した「Ｒ_０」値をそのまま本来の「Ｒ_０」の位置に書き込まれている「Ｆ．Ｎｏ」と置き換える。

一方、上記５色のデータ値のうち少なくとも１つが等しくない場合は、１画素目はＣＧフレーム画像のデータであると判断し、コンピュータ２００から入力された画像データ列の「Ｒ_１」値を本来の「Ｒ_０」位置に書き込まれている「Ｆ．Ｎｏ」と置き換える。なお、映像分離部１２１以降は、実施例１と同じ動作を行う。

すなわち本実施例では、少なくとも１つの撮像フレーム画像（第１の画像）を記憶するメモリと、撮像フレーム画像にフレーム番号データを書き込む手段とを有する。さらに、合成フレーム画像を生成するときに該合成フレーム画像に該フレーム番号データを書き込む手段を有する。そして、合成フレーム画像に書き込まれたフレーム番号データに基づいて、メモリから該合成フレーム画像と比較する撮像フレーム画像を選択する。

また、本実施例では、合成フレーム画像へのフレーム番号データの書き込みにより消去された該合成フレーム画像の画像データに対し、該画像データが撮像フレーム画像の画像データか合成フレーム画像の画像データかを判断する手段を有する。撮像フレーム画像の画像データと判断した場合は、上記選択された撮像フレーム画像に基づいて、該消去された画像データを生成する。また、合成フレーム画像の画像データと判断した場合は、該画像データが消去された画素に隣接する画素の画像データを該消去された画像データに代えて用いる。

なお、本実施例では、フレーム番号データを画像データ列の１バイト目又はＲデータの最初の１バイト目に書き込む場合について説明したが、必ずしもこれに限るものでない。例えば、最後の１バイトや途中の１バイト、或いはＧ（グリーン）データやＢ（ブルー）データ中にフレーム番号データを書き込んでもよい。

また、本実施例では、撮像フレーム画像をＹＵＶ４２２データとして、また合成フレーム画像をＲＧＢパラレルデータとして説明しているが、必ずしもこれに限るものではなく、他の画像データフォーマットでもよい。

また、本実施例では、「Ｒ_０」のデータ再生の際に、５色のデータの全てで比較する場合について説明したが、必ずしもこれに限るものでなく、例えば、「Ｇ_０」，「Ｂ_０」の２色やそれ以外の色数で比較してもよい。

さらに、上記実施例１，２では、コンピュータ２００への映像出力信号をＩＥＥＥ１３９４により、またコンピュータ２００からの映像入力信号をＤＶＩにより行う場合について説明したが、必ずしもこれに限るものではない。例えば、デジタルインタフェースであるＵＳＢや、他の信号でもよい。

また、上記実施例１，２では、右眼用の撮像表示ユニット及び左眼用の撮像表示ユニットを備えた両眼用のＨＭＤについて説明したが、本発明は、片眼用のＨＭＤやハンドヘルドタイプの画像表示装置にも適用することができる。

図７には、本発明の実施例３の制御ユニット１００′の一部を示す。上記実施例１，２では、制御ユニット１００から撮像映像は一旦コンピュータ２００に送られ、コンピュータ２００で撮像映像とＣＧ映像とが合成され、該合成画像が制御ユニット１００に入力される場合について説明した。

これに対し、本実施例は、コンピュータ２００からＣＧ映像のみが制御ユニット１００′に入力される場合の例である。この場合、制御ユニット１００′は、撮像映像をコンピュータ２００に出力する必要はなく、撮像フレーム画像をそのまま撮像映像用フレームメモリ１１４に蓄積する。また、本実施例では、実施例１，２で説明した映像分離部１２１も不要である。

コンピュータ２００から映像入力部１２０に入力されたＣＧ映像（ＣＧフレーム画像）と、撮像映像用フレームメモリ１１４に蓄積された撮像フレーム画像には、映像変換部１２２で、表示素子１２５に合わせた解像度変換やフレーム周波数変換が行われる。また、実施例１と同様に、表示光学系に対応する歪補正テーブル部１３２に格納されたデータに基づいて、表示光学系で発生する画像の歪とは逆方向の歪みを表示画像に与える処理が行われる。

さらに、映像変換部１２２では、これらの画像処理が行われた撮像フレーム画像とＣＧフレーム画像のそれぞれに対してローパスフィルタ処理を行う。これら各フレーム画像に対するローパスフィルタ処理でのカットオフ周波数は、実施例１と同じである。

ローパスフィルタ処理を含む各種画像処理が施された撮像フレーム画像とＣＧフレーム画像は、映像合成部１４３に送られ、ここで合成されて合成フレーム画像が生成される。合成フレーム画像は順次、図１に示す表示素子駆動部１２４において表示素子１２５を駆動するのに適した信号に加工され、表示素子１２５に出力される。これにより、合成映像が表示され、観察者による観察が可能となる。

本実施例においても、映像合成部１４３にて合成された合成映像が表示素子１２５に表示されたときに、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。

実施例１〜３では、撮像フレーム画像に対して第１のカットオフ周波数でローパスフィルタ処理を行うとともに、ＣＧフレーム画像に対しても、第１のカットオフ周波数より高い第２のカットオフ周波数でローパスフィルタ処理を行う場合について説明した。しかし、ＣＧフレーム画像に対しては、ローパスフィルタ処理を行わなくてもよい。

この場合の制御ユニット１００の構成は、実施例１（図１）と同じであるので、図１を用いて本実施例を説明する。

本実施例では、映像分離部１２１で分離された分離撮像フレーム画像と分離ＣＧフレーム画像は映像変換部１２２に入力される。

さらに、映像変換部１２２では、これらの画像処理が行われた分離撮像フレーム画像と分離ＣＧフレーム画像のうち分離撮像フレーム画像に対しては、実施例１で説明した第１のカットオフ周波数でローパスフィルタ処理を行う。そして、ローパスフィルタ処理後の分離撮像フレーム画像は、映像再合成部１２３に出力される。一方、分離ＣＧフレーム画像には、ローパスフィルタ処理が行われずに、映像再合成部１２３に出力される。

映像再合成部１２３では、ローパスフィルタ処理が行われてモアレの発生が抑えられた分離撮像フレーム画像と、ローパスフィルタ処理が行われずに鮮明なままの分離ＣＧフレーム画像とが再合成され、該合成画像が表示素子１２５に表示される。

本実施例でも、撮像映像の領域において現れることが多いモアレの発生を抑制することができるとともに、ＣＧ映像の領域を鮮明に表示することができる。

実施例３で説明したように、コンピュータからＣＧ映像のみが制御ユニットに入力される場合でも、実施例４で説明したように、撮像映像に対してはローパスフィルタ処理を行い、ＣＧ映像に対してはローパスフィルタ処理を行わないとすることもできる。

この場合の制御ユニット１００′の構成は、実施例３（図７）と同じであるので、図７を用いて本実施例を説明する。

さらに、映像変換部１２２では、撮像フレーム画像のみに対してローパスフィルタ処理を行う。すなわち、ＣＧフレーム画像に対してはローパスフィルタ処理を行わない。

そして、ローパスフィルタ処理を含む各種画像処理が施された撮像フレーム画像と、ローパスフィルタ処理を除いた各種画像処理が施されたＣＧフレーム画像は、映像合成部１４３に送られ、ここで合成されて合成フレーム画像が生成される。

合成フレーム画像は順次、図１に示す表示素子駆動部１２４において表示素子１２５を駆動するのに適した信号に加工され、表示素子１２５に出力される。これにより、合成映像が表示され、観察者による観察が可能となる。

本発明の実施例１（及び実施例４）であるＨＭＤ及び制御ユニットの電気的構成を示すブロック図。実施例１における撮像画像の例を示す図。実施例１における合成画像の例を示す図。実施例１における合成画像のうち撮像映像の領域を示す図。実施例１における合成画像のうちＣＧ映像の領域を示す図。本発明の実施例２における撮像フレーム画像の画像データ列を示す図。図３Ａの画像データ列にフレーム番号データが書き込まれた様子を示す図。実施例２における合成フレーム画像の画像データ列にフレーム番号データが書き込まれた様子を示す図。図４Ａの画像データ列のフレーム番号データが、画像データに書き替えられた様子を示す図。実施例１のＨＭＤ本体の構成を示す断面図。実施例１のＨＭＤ本体及び制御ユニットの外観を示す図。本発明の実施例３（及び実施例５）である制御ユニットの電気的構成の一部を示すブロック図。

符号の説明

１００制御ユニット
１０００ＨＭＤ本体
１０１Ｒ右眼用撮像表示ユニット
１０１Ｌ左眼用撮像表示ユニット
１１０Ｒ，１１０Ｌ撮像素子
１１１Ｒ，１１１Ｌアナログ画像処理部
１１２Ｒ，１１２Ｌデジタル画像処理部
１１３Ｒ，１１３Ｌ映像出力部
１１４Ｒ，１１４Ｌ撮像映像用フレームメモリ
１２０Ｒ，１２０Ｌ映像入力部
１２１Ｒ，１２１Ｌ映像分離部
１２２Ｒ，１２２Ｌ映像変換部
１２３Ｒ，１２３Ｌ映像再合成部
１２４Ｒ，１２４Ｌ表示素子駆動部
１２５Ｒ，１２５Ｌ表示素子
１３０制御部
１３１Ｒ，１３１Ｌ，１３２Ｒ、１３２Ｌ歪補正テーブル部
１４３Ｌ映像合成部

Claims

撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像と、前記第１の画像と、を比較することにより、前記合成画像における前記第１の画像の領域と前記第２の画像の領域とを判別する判別手段と、
前記判別手段により判別された前記合成画像における前記第１の画像の領域と前記第２の画像の領域に対して、互いに異なるカットオフ周波数のローパスフィルタ処理を行う処理手段とを有することを特徴とする画像処理装置。
前記第１の画像を生成するための撮像を行う撮像系により発生する画像の歪を補正するために、予め保持している補正データに基づいて、前記第１の画像を補正する第１の補正手段を備えた画像処理部を有し、
前記処理手段は、前記処理手段により処理された画像を表示する表示系により発生する画像の歪を補正するために、予め保持している補正データに基づいて、前記第１の画像および前記第２の画像を補正する第２の補正手段を備えることを特徴とする請求項１に記載の画像処理装置。
前記判別手段により判別された前記第１の画像の領域と前記第２の画像の領域とを分離する分離手段と、
前記処理手段により処理された前記１の画像の領域と前記第２の画像の領域とを再合成する再合成手段とを有し、
前記処理手段は、前記分離された前記第１の画像の領域と前記第２の画像の領域それぞれに、互いに異なるカットオフ周波数のローパスフィルタ処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
前記処理手段は、前記第１の画像の領域に対するローパスフィルタ処理のカットオフ周波数を第１のカットオフ周波数に設定し、前記第２の画像の領域に対するカットオフ周波数を、前記第１のカットオフ周波数よりも高い第２のカットオフ周波数に設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
撮像により生成された第１の画像と撮像以外の方法で生成された第２の画像とが合成された合成画像と、前記第１の画像と、を比較することにより、前記合成画像における前記第１の画像の領域と前記第２の画像の領域とを判別する判別手段と、
前記判別手段により判別された前記合成画像のうち前記第１の画像の領域に対してローパスフィルタ処理を行い、かつ前記第２の画像の領域に対してはローパスフィルタ処理を行わない処理手段とを有することを特徴とする画像処理装置。
前記判別手段は、
前記第１の画像のフレームにフレーム番号データを書き込む第１の書き込み手段と、
フレーム番号データが書き込まれた前記第１の画像と前記第２の画像とが合成された合成画像にフレーム番号データを書き込む第２の書き込み手段と、
前記第１の画像に書き込まれたフレーム番号データと、前記合成画像に書き込まれたフレーム番号データとに基づいて、前記合成画像と比較する第１の画像を選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。