JP3999510B2

JP3999510B2 - Display system

Info

Publication number: JP3999510B2
Application number: JP2001379360A
Authority: JP
Inventors: 正幸菅原; 美穂白川
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-12-13
Filing date: 2001-12-13
Publication date: 2007-10-31
Anticipated expiration: 2021-12-13
Also published as: JP2003179940A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置を用いた表示システムに関し、特に、入射光の色を時系列的に変え、単一の撮像素子を用いて撮影される複数の映像からカラー映像を得る、いわゆるフィールドシーケンシャルカラー撮像装置に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来のフィールドシーケンシャルカラー撮像装置は、１枚（１個）の撮像素子を備える構成となっており、この撮像素子に入射する光（入射光）の色をフィルタによりフィールド毎に切り替える、あるいは照明光の色をフィールド毎に切り替えることにより撮影した複数枚のフィールドからカラー映像を得る構成となっていた。
【０００３】
このフィールドシーケンシャルカラー撮像装置は、従来の３板式と称される撮像装置と比較して、単一の撮像素子でカラー映像を得ることが可能となるので、比較的簡易な装置構成で撮像装置を形成できるという特徴があった。その結果として、安価に撮像装置を形成できるという特徴もあった。
【０００４】
単一の撮像素子を用いた撮像装置すなわち単板式の撮像装置としては、撮像素子の前面にカラーフィルタアレイを搭載した、いわゆる色フィルタアレイを用いた撮像装置があった。この撮像装置では、撮像素子の１つの画素に１つの色を割り当てる構成となっていたので、フィールドシーケンシャルカラー撮像装置や３板式のカラー撮像装置に比較して、解像度が低いことが知られていた。
【０００５】
【発明が解決しようとする課題】
本発明者は、前記従来技術を検討した結果、以下の問題点を見いだした。
【０００６】
ハイビジョン放送や高精細モニタの普及に伴い、近年、撮像装置に対する高画質化への要求が増大している。
特に、フィールドシーケンシャルカラー撮像装置や３板式のカラー撮像装置の解像度は、撮像素子の画素数で決定されることとなるので、１枚の撮像素子に多数の画素を形成した撮像素子が開発されるに至っている。
【０００７】
しかしながら、従来と同じ画素サイズで画素数を増やした場合、撮像素子のサイズすなわちチップサイズが大きくなってしまうので、撮像素子が非常に高価なものになってしまうという問題があった。一方、画素の集積度を上げて画素のサイズを小さくし、撮像素子のチップサイズの増大を抑える方法もあるが、光電変換の感度は画素サイズに大きく影響されることとなるので、撮像素子の感度が低下してしまうという問題があった。
【０００８】
これらの問題を解決する方法として、例えば特開平６−２２５３１７号公報に開示されるように、光学像か色フィルタアレイが配置された撮像素子かの何れかを移動させつつ撮影し、この移動画像からカラー画像を生成するいわゆる画素ずらしと称される方法があった。しかしながら、特開平６−２２５３１７号公報に開示の方法は、色フィルタアレイを用いた撮像装置に最適化された方法であり、色フィルタアレイを用いることによる画素数の減少を補って単一素子並とするものであり、単一素子以上の画素数を得られるものではなかった。
【０００９】
本発明の目的は、フィールドシーケンシャルカラー撮像装置における高画質化が可能な技術を提供することにある。
本発明の他の目的は、フィールドシーケンシャルカラー撮像装置に画素ずらしを適用することが可能な技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１０】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【００１１】
（１）入射光の色を時系列的に変化させると共に、前記単一色映像の撮影毎に結像位置を画素ピッチ以下の所定量ずらす画素ずらしを行う第１のフィルタと、複数の画素を有し前記第１のフィルタを透過した単一色映像を撮影する撮影手段と、前記撮像手段から出力された映像信号および同期信号に応じて複数枚の単一色映像を前記撮像手段の入射面で結像される結像画像と同様に順次表示する表示手段と、前記第１のフィルタと同期して、前記表示手段から照射される投影光の色を時系列的に変化させると共に、前記単一色映像の投影毎に前記表示手段に表示されるシフトされた画像をスクリーン上で一致させるように画素ずらしを行う第２のフィルタと、を備えた表示システム。
【００１２】
（２）前記（１）の表示システムにおいて、前記第２のフィルタが前記表示手段から照射される投影光の色を時系列的に変化させる代わりに、前記表示手段を照明する光源の色を時系列的に変化させることにより前記表示手段から照射される投影光の色を時系列的に変化させ、前記第２のフィルタは画素ずらしのみを行う表示システム。
【００１３】
単一の撮影手段を用いて入射光を時系列に変えて撮影して得られる複数の映像からカラー映像を得るフィールドシーケンシャル方式の撮像装置において、単一色映像の撮影毎に結像位置を画素ピッチ以下の所定量ずらす画素ずらし手段を備えることによって、単一色映像毎に画素ピッチ以下で撮像位置をずらした映像を得ることができる。
【００１４】
従って、映像手段が画素をずらして撮像された単一色映像からカラー映像を得る場合、一の単一色映像の各画素毎の画素信号は他の単一色映像の２つの画素からの画素信号に対応することとなるので、複数の単一色映像から生成するカラー映像の輝度信号を簡易な構成で高解像度化すなわち高画質化することができる。
【００１５】
ここで、結像位置を画素ピッチ以下の所定量ずらす手段を、フィルタの厚さを調整する手段及び／又は該フィルタに入射される入射光の傾斜角を調整する手段で構成することによって、フィルタに所望の傾斜角を持たせるのみで画素ずらしが実現できるので、より簡易な構成でカラー映像の高解像度化すなわち高画質化ができる。ただし、フィルタと該フィルタに入射される入射光との傾斜角及びフィルタの厚さ並びにフィルタ材料で決定される屈折率の差により結像位置を調整する方法については、後述する原理の項に示す。
【００１６】
前述した（２）の手段によれば、第１のフィルタにより入射光の色を時系列的に変化させると共に、単一色映像の撮影毎に結像位置を画素ピッチ以下の所定量ずらした単一色映像を撮影手段により撮影し、この撮影された単一色映像を表示手段に順次表示させ、この表示手段から照射される投影光の色を第２のフィルタが時系列的に変化させると共に、補正手段が単一色映像の投影毎に画素ピッチ以下のずらし量を補正するので、撮影手段から表示手段に送出する信号データ量を増大させることなく、画像表示を高解像度化できるという効果を得ることができる。
【００１７】
このとき、単一色映像の撮影毎に結像位置をずらす手段及び補正手段を、フィルタの厚さを調整する手段及び／又は該フィルタに入射される入射光の傾斜角を調整する手段で構成することによって、フィルタに所望の傾斜角を持たせるのみで画素ずらしが実現できるので、より簡易な構成でカラー映像の高解像度化すなわち高画質化ができる。ただし、フィルタと該フィルタに入射される入射光もしくは投影光との傾斜角及びフィルタの厚さ並びにフィルタ材料で決定される屈折率の差により結像位置を調整する方法については、後述する原理の項に示す。
【００１８】
（原理）
図６は画像のシフト量を説明するための図である。ただし、図６において、６０１はフィルタ、６０２は入射光、６０３は法線、６０４は出射光を示す。
【００１９】
以下、図６に基づいて、空気中に配置されたカラーフィルタを通過する入射光と、カラーフィルタに入射される入射光の傾斜角及びフィルタの厚さ並びにフィルタ材料で決定される屈折率による光路のずれ量との関係について説明する。
【００２０】
図６に示すように、フィルタ６０１の一方の面（入射側の面）と入射光６０２とが交差する位置における入射光の入射角（入射光６０２と法線６０３とがなす角度）をθ、その屈折角（屈折後の入射光６０２と法線６０３とがなす角度）をθ’、空気の屈折率をｎ、色フィルタの屈折率をｎ’とした場合、スネルの法則から入射角の正弦と屈折角の正弦との比は媒質（フィルタ材料）の屈折率の比に等しくなり、下記の式１が成り立つ。
【００２１】
【数１】
ｎ’×ｓｉｎθ’＝ｎ×ｓｉｎθ ・・・・・（式１）
一方、フィルタ６０１の厚さがＬの場合、一方の面から入射した入射光６０２は、式１に従ってフィルタ６０１の内部を透過した後に、一方の面に対向する他方の面（出射側の面）から出射することとなる。このとき、図６に示すように、フィルタ６０１に入射した入射光６０２はフィルタ６０１で屈折することとなるので、このフィルタ６０１を透過した光の光路にずれが生じることとなる。ここで、この光路のずれ量すなわち光路差をｄとした場合、下記の式２となる。
【００２２】
【数２】
ｄ＝Ｌ×ｓｉｎ（θ−θ’）／ｃｏｓθ’ ・・・・（式２）
従って、フィルタ６０１の材質（屈折率）及びその厚さ並びに入射光６０２と当該フィルタ６０１とのなす角度をそれぞれ適宜選択することによって、フィルタ６０１毎に所望の光路差ｄで撮像素子の入力面像に入射光を結像させることが可能となる。
【００２３】
その結果、フィールドシーケンシャルカラー撮像装置の有するカラーフィルタの各色のフィルタ６０１を適宜選択して、例えば撮像素子の画素ピッチの１／２に設定することによって、各フィルタ６０１毎に異なる画素ずれ量及びずれ方向の画像を得ることが可能となる。
【００２４】
【発明の実施の形態】
以下、本発明について、発明の実施の形態（実施例）とともに図面を参照して詳細に説明する。
なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００２５】
（実施の形態１）
図１は本発明の実施の形態１のフィールドシーケンシャルカラー撮像装置の概略構成を説明するための図である。
【００２６】
図１において、１０１は撮影レンズ、１０２はカラーフィルタ、１０３は撮像素子、１０４はカラー信号処理部、１０５は駆動手段、１０６は制御手段を示す。
【００２７】
図１に示すように、実施の形態１のフィールドシーケンシャルカラー撮像装置は、矢印で示す入射光を撮像素子１０３の入射面側に結像させる撮影レンズ１０１と、この撮影レンズ１０１と撮像素子１０３との間に配置され撮像素子１０３に結像する入射光の色調整を行うカラーフィルタ１０２と、撮像素子１０３で撮像された画像（映像）の信号（画像信号）からカラー画像（カラー映像）を生成し出力するカラー信号処理部１０４と、カラーフィルタ１０２の中心位置を回転中心として回転駆動する駆動手段１０５と、全体の動作及びタイミングを制御する制御手段１０６とから構成される。
【００２８】
このとき、実施の形態１のフィールドシーケンシャルカラー撮像装置では、カラーフィルタ１０３を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の各色フィルタは、前述する原理の項に示す予め設定された傾斜角が設けて配置される構成となっている。その結果、撮像素子１０３の入射面に結像する画像位置が、各色フィルタ毎に傾斜角及び厚さ並びに屈折率に応じた画素分で移動される構成となっている。すなわち、駆動手段１０５によるカラーフィルタ１０２の回転駆動に伴い、撮影レンズ１０１から撮像素子１０３に至る光路内に配置される色フィルタが順次変更されると共に、各色フィルタの傾斜角に応じた光路で入射光が撮像素子１０３に結像される。なお、カラーフィルタ１０２を各色フィルタに応じた画像位置の移動の詳細については、後述する。
【００２９】
図２は実施の形態１のカラーフィルタの概略構成を説明するための図であり、特に、図２の（ａ）は緑色のフィルタと光路との位置関係を説明するための図であり、図２の（ｂ）は青色及び赤色のフィルタと光路との位置関係を説明するための図である。ただし、図２において、２０１は緑色のフィルタ、２０２は青色もしくは赤色のフィルタ、２０３，２０４は光路を示す。
【００３０】
図２の（ａ）に示すように、実施の形態１では、緑色のフィルタ２０１は撮影レンズ１０１の図示しない光軸（入射光の光路）に直交するように配置される構成となっている。すなわち、カラーフィルタ１０２の図示しない回転中心軸と撮影レンズ１０１の光軸とが平行に配置される場合には、緑色のフィルタ２０１はカラーフィルタ１０２の回転面と平行をなすように、配置される。このような配置とすることによって、入射光は図中に矢印で示す光路２０３に沿って緑色のフィルタ２０１に垂直に入射し、この緑色のフィルタ２０１を透過した後に、垂直に出射されて撮像素子１０３に入射される。
【００３１】
一方、図２の（ｂ）に示すように、青色及び赤色のフィルタ２０２は撮影レンズ１０１の図示しない光軸に対して、所定の傾斜角をなすように配置される構成となっている。すなわち、カラーフィルタ１０２の図示しない回転中心軸と撮影レンズ１０１の光軸とが所定の傾斜角となるように配置される場合には、青色及び赤色のフィルタ２０２はカラーフィルタ１０２の回転面と所定の傾斜角をなすように配置される。
【００３２】
このような配置とすることによって、前述する原理の項にも示すように、入射光は図中に矢印で示す光路２０４に沿って青色もしくは赤色のフィルタ２０２に斜めに入射し、その入射角と屈折率に応じた角度でフィルタ２０２の内部を進行した後に、その出射角と屈折率に応じた角度でフィルタ２０２から出射され、撮像素子１０３に到達される。このとき、図２の（ｂ）に示すように、入射光の光路２０４は青色もしくは赤色のフィルタ２０２で変化することとなるので、撮像素子１０３の入射面に結像される画像位置は光路２０４の変化量に応じた分だけ移動（シフト）されることとなる。例えば、撮像素子１０３として画素ピッチが５μｍのＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を用いた場合、１／２画素分映像をずらすためのシフト量ｄは２．５μｍとなる。また、空気と青色及び赤色のフィルタ２０２との屈折率の比ｎ’／ｎが１．３３３となる材料で各フィルタ２０２を形成すると共に、フィルタ２０２の傾斜角θを１゜で形成した場合、原理の項に示す式２よりθ’は０．７５゜となる。従って、式１よりフィルタ２０２の厚さを０．５７５ｍｍで形成することにより、所望のシフト量ｄ＝２．５μｍが実現できる。
【００３３】
すなわち、実施の形態１では、青色及び赤色のフィルタ２０２の光軸に対する傾斜角及びフィルタ２０２の厚さ並びにフィルタ２０２の材料が同じとなるように構成されているので、青色及び赤色のフィルタを透過した入射光の光路は同じとなり、図中に示す矢印２０５で示す一次元方向に対する画素ずらしが可能となり、その結果としてこの矢印２０５で示す一次元方向の解像度を向上させることが可能となる。
【００３４】
次に、図１及び図２に基づいて、実施の形態１のフィールドシーケンシャルカラー撮像装置における撮影動作について説明する。ただし、以下の説明では、撮像素子１０３の水平方向すなわち走査線方向に光路２０４が変化するように、青色及び赤色のフィルタ２０２が配置される場合について説明する。なお、光路２０４の変化方向は水平方向に限定されることはなく、垂直方向や斜め方向でもよいことはいうまでもない。さらには、以下の説明では、光路２０４の変化量が撮像素子１０３の１画素分の半分、すなわち撮像素子１０３で結像される画像のシフト量が１／２画素の場合について説明するが、画像のシフト量が１画素分未満であればよいことはいうまでもない。
【００３５】
カラーフィルタ１０２が駆動手段１０５により、図示しない回転中心軸を回転軸として反時計回りに回転駆動されている場合、撮影レンズ１０１を通過した入射光はカラーフィルタ１０２の回転に伴い、Ｇ（緑），Ｂ（青），Ｒ（赤）の何れかのフィルタ２０１，２０２を通過した後に、撮像素子１０３の入射面に結像される。
【００３６】
このとき、実施の形態１のフィールドシーケンシャルカラー撮像装置では、制御手段１０６からの制御に基づいて、カラーフィルタ１０２の回転と撮像素子１０３での画像の取り込みとが同期して動作する構成となっている。すなわち、撮像素子１０３の１フィールド期間と、カラーフィルタ１０２の各色のフィルタ２０１，２０２の何れかが光路内に配置される期間とが一致するように制御される構成となっている。このように、１フィールド期間を周期として各色のフィルタが順次光路内に配置されるようにすることによって、Ｇ，Ｂ，Ｒの各色で色分解された入射光の画像を撮像する。
【００３７】
従って、緑色のフィルタ２０１が光路内に配置される期間では、撮影レンズ１０１を透過した入射光は、緑色のフィルタ２０１を介して撮像素子１０３の入射され、緑色成分の画像が撮像される。この緑色成分の画像に対応する出力信号は、撮像素子１０３からカラー信号処理部１０４に出力され、格納される。このとき、実施の形態１では、緑色のフィルタ２０１はカラーフィルタ１０２の回転面に対して平行に配置される。すなわち、撮影レンズ１０１の光軸に対して直交配置されているので、図２の（ａ）に示すように、撮影レンズ１０１から入射した入射光は、カラーフィルタ１０２で光路２０３が変化されることなく、撮像素子１０３に入射される。
【００３８】
次の期間となる青色のフィルタ２０２が光路内に配置される期間では、撮影レンズ１０１を通過した入射光は、カラーフィルタ１０２を構成するフィルタの内で青色のフィルタ２０２を介して撮像素子１０３に入射され、青色成分の画像が撮像される。この青色成分の画像に対応する出力信号は、撮像素子１０３からカラー信号処理部１０４に出力され、格納される。このとき、実施の形態１では、青色のフィルタ２０２は撮影レンズ１０１の光軸に対して傾斜角を有するように形成され、この青色のフィルタ２０２を透過する入射光の屈折による光路差は緑色のフィルタ２０１を介した画像に対するシフト量が１／２画素分となるように形成されている。その結果、図２の（ｂ）に示すように、撮影レンズ１０１から入射した入射光は、カラーフィルタ１０２で光路２０４が変化された後に、撮像素子１０３に入射される。すなわち、緑色のフィルタ２０１を介した画像に対して、青色のフィルタ２０２を介した画像は１／２画素分だけシフトした画像として撮像素子１０３に撮像される。
【００３９】
次の期間となる赤色のフィルタ２０２が光路内に配置される期間では、撮影レンズ１０１を通過した入射光は、カラーフィルタ１０２を構成するフィルタの内で赤色のフィルタ２０２を介して撮像素子１０３に入射され、赤色成分の画像が撮像される。この赤色成分の画像に対応する出力信号は、撮像素子１０３からカラー信号処理部１０４に出力され、格納される。このとき、実施の形態１では、赤色のフィルタ２０２は撮影レンズ１０１の光軸に対して傾斜角を有するように形成され、この赤色のフィルタ２０２を透過した入射光の屈折による光路差は緑色のフィルタ２０１を介した画像に対するシフト量が１／２画素分となるように形成されると共に、青色のフィルタ２０２と同じ方向にシフトされるように形成されている。その結果、図２の（ｂ）に示すように、撮影レンズ１０１から入射した入射光は、カラーフィルタ１０２で光路２０４が変化された後に、撮像素子１０３に入射される。すなわち、緑色のフィルタ２０１を介した画像に対して、赤色のフィルタ２０２を介した画像は、１／２画素分だけ青色のフィルタ２０２を介した画像と同じ方向にシフトした画像として撮像素子１０３に撮像される。
【００４０】
以上に説明した撮影動作を繰り返すことによって、Ｇ，Ｂ，Ｒの各フィルタで３原色に分解された各画像が時間差をもって撮像されると共に、緑色の画像に対して１／２画素分だけ同じ方向にシフトされた青色及び赤色の画像が順次撮像される。すなわち、１フィールド期間を周期として各色のフィルタが順次光路内に配置されて、Ｇ，Ｂ，Ｒの各色で色分解された入射光の画像を撮像すると共に、その画像を撮像素子１０３の１／２画素分水平方向にシフトさせた画像が撮像される。
【００４１】
カラー信号処理部１０４に入力された３原色に分解された緑色，青色，赤色の各画像は、カラー信号処理部１０４により合成されて１枚のカラー画像として出力される。このとき、実施の形態１では、緑色の画像に対して青色及び赤色の画像は水平方向に１／２画素分ずれた画像となるので、緑色の画像を撮像した際の任意の１つの画素に対応する映像信号（画素信号）は、青色及び赤色の画像を撮像した際の水平方向の２つの画素からの映像信号（画素信号）に対応する。
【００４２】
その結果、緑色の画像と青色及び赤色の画像との合計標本点は、水平方向に対して２倍となるので、緑色並びに青色及び赤色の各画像から合成される輝度信号は２倍に高解像度化されることとなる。
【００４３】
以上説明したように、実施の形態１のフィールドシーケンシャルカラー撮像装置では、撮像素子１０３の画像の取り込みに同期して切り替わるカラーフィルタの内で、緑色のフィルタ２０１とその他の色である青色及び赤色のフィルタ２０２とをそれぞれ通過する際の入射光の光路差が、入射光が各色のフィルタを通過する際の屈折量（光路のずれ量）の差により撮像素子１０３の１／２画素分となるように、緑色のフィルタ２０１と青色及び赤色のフィルタ２０２とをそれぞれ傾斜させて配置する構成となっているので、緑色，青色，赤色の各画像から生成するカラー画像の輝度信号を簡易な構成で高解像度化すなわち高画質化することができる。ただし、緑色のフィルタ２０１と青色及び赤色のフィルタ２０２とをそれぞれ傾斜することによる屈折量（光路のずれ量）は、前述する原理の項に示すように、その厚さや傾斜角や材料を適宜選択することにより、１／２画素分に設定されるものである。
【００４４】
すなわち、実施の形態１では、フィールドシーケンシャルカラー撮像装置が有するカラーフィルタ１０２に入射光の光路差を１／２画素分移動させる機能を一体化した構成となっているので、従来の装置構成と同じ簡易な構成で高解像度化すなわち高画質化することができる。
【００４５】
（実施の形態２）
図３は本発明の実施の形態２のフィールドシーケンシャルカラー撮像装置の概略構成を説明するための図である。ただし、実施の形態２では、カラーフィルタ３０１を除く他の構成は実施の形態１と同様となるので、以下の説明では、構成が異なるカラーフィルタ３０１について詳細に説明する。
【００４６】
図３に示すように、実施の形態２のフィールドシーケンシャルカラー撮像装置では、カラーフィルタ３０１は第１の緑色のフィルタ（Ｇ１で示す）と、青色のフィルタ（Ｂで示す）と、第２の緑色のフィルタ（Ｇ２で示す）と、赤色のフィルタ（Ｒで示す）との４個の異なるフィルタで構成される。
【００４７】
また、Ｇ１，Ｂ，Ｇ２，Ｒの各フィルタは、撮影レンズ１０１の光軸に対してそれぞれが異なる所望の角度となるように取り付けられている。ただし、実施の形態２では、実施の形態１と異なり、各フィルタで屈折された光路が２次元に移動するようにカラーフィルタ３０１が形成される構成となっている。このときの光路の移動量（光路のずれ量）は、前述した実施の形態１と同様に、２次元の何れの方向に対しても撮像素子１０３の１／２画素分となる。
【００４８】
図４は各フィルタの光軸に対する取り付け角度を説明するための図であり、以下、図４に基づいて、実施の形態２における画像の画素ずらしについて説明する。ただし、図４の（ａ）は第１の方向として光路が撮像素子１０３の撮影画素の水平方向に対して移動する各フィルタの傾斜角を説明するための図であり、図４の（ｂ）は第１の方向と直交する第２の方向として、光路が撮像素子１０３の撮影画素の垂直方向に対して移動する各フィルタの傾斜角を説明するための図であり、図４の（ｃ）は各フィルタを通過した入射光の移動方向を説明するための図である。
【００４９】
図４の（ａ）から明らかなように、第１の緑色のフィルタ４０１と青色のフィルタ４０３とが水平方向に対して同じ傾斜角で形成され、第２の緑色のフィルタ４０２と赤色のフィルタ４０４とが水平方向に対して同じ傾斜角で形成される。このような構成とすることによって、水平方向に対する第１の緑色のフィルタ４０１及び青色のフィルタ４０３による光路のずれ方向が同じとなり、第２の緑色のフィルタ４０２及び赤色のフィルタ４０４による光路のずれ方向が同じとなる。
【００５０】
また、実施の形態２では、図４の（ｂ）から明らかなように、第１の緑色のフィルタ４０１と赤色のフィルタ４０４とが垂直方向に対して同じ傾斜角で形成され、第２の緑色のフィルタ４０２と青色のフィルタ４０３とが垂直方向に対して同じ傾斜角で形成される。このような構成とすることによって、垂直方向に対する第１の緑色のフィルタ４０１及び赤色のフィルタ４０４による光路のずれ方向が同じとなり、第２の緑色のフィルタ４０２及び青色のフィルタ４０３による光路のずれ方向が同じとなる。
【００５１】
その結果、図４の（ｃ）に示すように、カラーフィルタ３０１を通過した後に撮像素子１０３に入射される入射光（結像画像）は、第１の緑色のフィルタ４０１を通過した入射光の場合には、水平方向の左側寄りかつ垂直方向の上側寄りに移動した位置に入射（結像）される。また、赤色のフィルタ４０４を通過した入射光の場合には、撮像素子１０３に入射される入射光（結像画像）は、水平方向の右側寄りかつ垂直方向の上側寄りに移動した位置に入射（結像）される。青色のフィルタ４０３を通過した入射光の場合には、撮像素子１０３に入射される入射光（結像画像）は、水平方向の左側寄りかつ垂直方向の下側寄りに移動した位置に入射（結像）される。さらには、第２の緑色のフィルタ４０２を通過した入射光の場合には、撮像素子１０３に入射される入射光（結像画像）は、水平方向の右側寄りかつ垂直方向の下側寄りに移動した位置に入射（結像）される。
【００５２】
このとき、実施の形態２のフィールドシーケンシャルカラー撮像装置では、制御手段１０６が各色のフィルタ４０１〜４０４の何れかが光路内に配置される期間と、撮像素子１０３の１フィールド期間とが一致するように制御される構成となっている。その結果、１フィールド期間を周期として各色のフィルタが順次光路内に配置され、第１のＧ，第２のＧ，Ｂ，Ｒの各色で色分解された入射光の画像が撮像される。
【００５３】
また、図４の（ｃ）から明らかなように、高解像度が必要な輝度信号の主成分となる緑色（第１及び第２）が市松状に配列され、残りの部分に比較的解像度が低くてもよい二つの色成分である青色及び赤色が市松状に配列される。このように、カラー色フィルタを用いた単板方式で一般的に用いられるように、輝度信号に最も影響を与える緑の画素を斜め方向に配置することにより、水平及び垂直方向を効率的に高解像度化できる。
【００５４】
従って、カラー信号処理部１０４により合成され出力されるカラー画像は、水平方向及び垂直方向それぞれ１／２画素分ずれた４枚の画像から合成されることとなり、第１及び第２の緑色の画像と青色及び赤色の画像との合計標本点は、水平方向及び垂直方向に対してそれぞれ２倍となるので、緑色並びに青色及び赤色の各画像から合成される輝度信号は水平方向及び垂直方向にそれぞれ２倍に高解像度化されることとなる。このとき、第１の緑色と第２の緑色とが斜め方向に配置されるので、前述するように、水平方向及び垂直方向の高解像度化を効率的に行うことができるようになる。
【００５５】
（実施の形態３）
図５は本発明の実施の形態３の表示システムの概略構成を説明するための図である。ただし、図５において、５０１は表示素子、５０２は光源、５０３は第２のカラーフィルタ、５０４は投影レンズ、５０５はスクリーンを示す。
【００５６】
図５から明らかなように、実施の形態３の表示システムは、実施の形態１のフィールドシーケンシャルカラー撮像装置、及びフィールドシーケンシャルカラー撮像装置の撮像素子１０３から出力される出力信号に応じた表示を行う反射形の表示素子５０１と、この表示素子に投影光を照射する光源５０２と、表示素子５０１で反射された投影光をスクリーン５０５に結像させる投影レンズ５０４と、表示素子５０１と投影レンズ５０４との間の光路上に配置されるカラーフィルタ５０３と、投影像が映像されるスクリーン５０５とから構成される表示装置からなる。なお、表示素子５０１としては、例えば液晶表示デバイスのように透過形の表示素子でもよいことはいうまでもない。
【００５７】
すなわち、実施の形態３の表示システムでは、撮像素子１０３から出力される画像信号は表示素子５０１に入力される構成となっており、撮像素子１０３で撮像された画像が反射形の表示素子５０１に表示される構成となっている。従って、実施の形態３の表示素子５０１には、撮像素子１０３の入射面で結像される結像画像と同様に、フィールド信号に同期して緑色，青色，赤色の３原色に色分解された結像画像が表示されることとなる。このとき、カラーフィルタ１０２を構成する緑色，青色，赤色の各フィルタ２０１，２０２の内で、青色，赤色の各フィルタ２０２は撮影レンズ１０１の光軸に対して所定の傾斜角が形成されているので、表示素子５０１に表示される画像も緑色画像に対して１／２画素分シフトした画像となる。
【００５８】
ここで、光源５０２で照射された表示素子５０１に表示される画像は、第２のカラーフィルタ５０３を透過した後に投影レンズ５０４によりスクリーン５０５に投影されることとなる。このとき、実施の形態３では、図示しない表示装置の制御手段により第２のカラーフィルタ５０３を回転駆動する回転駆動手段が制御される構成となっており、フィールドシーケンシャルカラー撮像装置のカラーフィルタ１０２の回転と同期して動作する構成となっている。さらには、第２のカラーフィルタ５０３を構成する各フィルタの内で、青色及び赤色のフィルタは投影レンズ５０４の光軸に対して、表示素子５０１の表示される１／２画素分シフトされた画像をスクリーン５０５上で一致させるためのずれ量に相当する傾斜角及びフィルタ厚さ並びにフィルタ材料となっている。
【００５９】
その結果、表示素子５０１で表示された画像は、撮影時と同じ色のフィルタを透過した後に投影レンズ５０４を透過し、撮影時の画素ずれが補正されスクリーン５０５上に映像されることとなる。
【００６０】
以上説明したように、実施の形態３の表示システムでは、フィールドシーケンシャルカラー撮像装置で撮像した映像及びその同期信号を表示装置に送信する構成となっている。また、表示装置ではフィールドシーケンシャルカラー撮像装置での撮影時と同様にして、表示素子５０１に表示された画像が画素ずらしを補正するように形成された第２のカラーフィルタ５０３を介してスクリーン５０５に表示させる構成となっているので、撮像装置であるフィールドシーケンシャルカラー撮像装置から表示装置に送出する信号データ量を増大させることなく、画像表示の高解像度化が実現できるという格別の効果を得ることができる。
【００６１】
ただし、実施の形態３では、表示画像のカラー化を第２のカラーフィルタ５０３を用いる構成としたが、これに限定されることはなく、例えば光源５０２の色を順次変化させる構成とすることによって、第２のカラーフィルタ５０３は光路をシフトさせる（表示画像をシフトさせる）機能のみを有する透明板を使用するのみで、前述した効果を得られることはいうまでもない。
【００６２】
また、実施の形態３では、実施の形態１のフィールドシーケンシャルカラー撮像装置を用いた表示システムについて説明したが、撮像装置は実施の形態１のフィールドシーケンシャルカラー撮像装置に限定されるものではない。例えば、実施の形態２のフィールドシーケンシャルカラー撮像装置を用いる場合には、第１の緑色のフィルタと、青色のフィルタと、第２の緑色のフィルタと、赤色のフィルタとの４個の異なるフィルタで第２のカラーフィルタ５０３を構成する。この第２のカラーフィルタを形成する各フィルタを、表示素子５０１の表示される１／２画素分シフトされた画像をスクリーン５０５上で一致させるためのずれ量に相当する傾斜角及びフィルタ厚さ並びにフィルタ材料で構成する。このような構成とすることによって、実施の形態２のフィールドシーケンシャルカラー撮像装置で撮像した映像を表示させる表示システムを構成できる。このように、本願発明の表示システムでは、フィールドシーケンシャルカラー撮像装置と同じフィルタ配置となる第２のカラーフィルタ５０３を用いることによって、他のフィールドシーケンシャルカラー撮像装置を用いた表示システムを構成できる。
【００６３】
なお、実施の形態１〜３では、カラーフィルタ１０２としてＲＧＢの原色フィルタを用いた場合について説明したが、これに限定されることはなく、ＹＭＣＧの補色フィルタを用いてもよいことはいうまでもない。
【００６４】
また、実施の形態１〜３では、カラーフィルタ１０２，３０１，５０３を構成する各フィルタに傾斜角を付け、このフィルタを入射光が透過する際の屈折によって光路差を生じさせて画素ずらしを行う構成としたが、これに限定されることはなく、カラーフィルタ１０２，３０１，５０３を光軸に直交して形成し、カラーフィルタ１０２，３０１と撮像素子１０３との間、あるいはカラーフィルタ５０３と表示素子５０１との間に屈折用の透過板を配置する構成としてもよいことはいうまでもない。ただし、このような構成とした場合には、撮像素子１０３あるいは表示素子５０１のフィールド周期に同期して透過板の傾斜を制御する手段が必要であることはいうまでもない。
【００６５】
以上、本発明者によってなされた発明を、前記発明の実施の形態に基づき具体的に説明したが、本発明は、前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００６６】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００６７】
（１）カラーフィルタを構成する各フィルタに傾斜角を持たせ、このフィルタを透過する際の屈折により入射光に光路差を生じさせることによって画像ずらしするので、フィールドシーケンシャルカラー撮像装置における高画質化が可能となる。
（２）入射光の光路中に配置したフィルタ等の透過板を入射光が透過する際の屈折により入射光に光路差を生じさせる構成となっているので、フィールドシーケンシャルカラー撮像装置で画素ずらしを容易に実現できる。
（３）カラーフィルタを構成する各フィルタに傾斜角を持たせ、このフィルタを透過する際の屈折により入射光に光路差を生じさせることによって画像ずらしを実現するので、簡易な構成で画素ずらしを実現することができる。
（４）フィールドシーケンシャルカラー撮像装置の撮像素子からの信号データに基づいて表示装置に画像を表示させることができるので、フィールドシーケンシャルカラー撮像装置から表示装置に送出する信号データ量を増大させることなく、画像表示を高解像度化できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１のフィールドシーケンシャルカラー撮像装置の概略構成を説明するための図である。
【図２】実施の形態１のカラーフィルタの概略構成を説明するための図である。
【図３】本発明の実施の形態２のフィールドシーケンシャルカラー撮像装置の概略構成を説明するための図である。
【図４】実施の形態２のカラーフィルタを構成する各フィルタの光軸に対する取り付け角度を説明するための図である。
【図５】本発明の実施の形態３の表示システムの概略構成を説明するための図である。
【図６】本願発明の画像のシフト量を説明するための図である。
【符号の説明】
１０１…撮影レンズ１０２…カラーフィルタ
１０３…撮像素子１０４…カラー信号処理部
１０５…駆動手段１０６…制御手段
２０１…緑色のフィルタ２０２…青色，赤色のフィルタ
２０３，２０４…光路
３０１…カラーフィルタ
４０１…第１の緑色のフィルタ４０２…第２の緑色のフィルタ
４０３…青色のフィルタ４０４…赤色のフィルタ
５０１…表示素子５０２…光源
５０３…第２のカラーフィルタ５０４…投影レンズ
５０５…スクリーン
６０１…フィルタ６０２…入射光
６０３…法線６０４…出射光[0001]
BACKGROUND OF THE INVENTION
  The present invention provides an imaging device.PlaceThe display system used is particularly effective when applied to a so-called field sequential color imaging device that changes the color of incident light in a time series and obtains a color image from a plurality of images captured using a single image sensor. Technology.
[0002]
[Prior art]
A conventional field sequential color imaging device has a configuration including one (one) imaging device, and switches the color of light (incident light) incident on the imaging device for each field using a filter, or illumination light. The color image is obtained from a plurality of fields photographed by switching the color of each field.
[0003]
Since this field sequential color image pickup device can obtain a color image with a single image pickup device as compared with a conventional three-plate type image pickup device, the image pickup device can be configured with a relatively simple device configuration. There was a feature that it could be formed. As a result, there was also a feature that an imaging device can be formed at low cost.
[0004]
As an image pickup apparatus using a single image pickup element, that is, a single plate type image pickup apparatus, there is an image pickup apparatus using a so-called color filter array in which a color filter array is mounted in front of the image pickup element. In this imaging apparatus, since one color is assigned to one pixel of the imaging element, it has been known that the resolution is lower than that of a field sequential color imaging apparatus or a three-plate type color imaging apparatus. .
[0005]
[Problems to be solved by the invention]
As a result of examining the prior art, the present inventor has found the following problems.
[0006]
With the widespread use of high-definition broadcasting and high-definition monitors, in recent years there has been an increasing demand for higher image quality for imaging devices.
In particular, since the resolution of a field sequential color image pickup device or a three-plate type color image pickup device is determined by the number of pixels of the image pickup device, an image pickup device in which a large number of pixels are formed on one image pickup device is developed. Has reached.
[0007]
However, when the number of pixels is increased with the same pixel size as in the prior art, the size of the image sensor, that is, the chip size increases, so that there is a problem that the image sensor becomes very expensive. On the other hand, there is a method of increasing the degree of integration of the pixels to reduce the size of the pixels and suppressing the increase in the chip size of the image sensor, but the sensitivity of photoelectric conversion is greatly influenced by the pixel size. There was a problem that sensitivity was lowered.
[0008]
As a method for solving these problems, for example, as disclosed in Japanese Patent Application Laid-Open No. 6-225317, an image is taken while moving either an optical image or an image sensor on which a color filter array is arranged. There has been a so-called pixel shift method for generating a color image from the above. However, the method disclosed in Japanese Patent Laid-Open No. 6-225317 is a method optimized for an image pickup apparatus using a color filter array, and compensates for the reduction in the number of pixels due to the use of the color filter array. The number of pixels more than a single element could not be obtained.
[0009]
An object of the present invention is to provide a technique capable of improving image quality in a field sequential color imaging apparatus.
Another object of the present invention is to provide a technique capable of applying pixel shifting to a field sequential color imaging device.
The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
[0010]
[Means for Solving the Problems]
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
[0011]
  (1)A first filter that changes the color of incident light in a time series and shifts the imaging position by a predetermined amount equal to or less than a pixel pitch for each shooting of the single color image; and a plurality of pixels. An imaging unit that captures a single color image that has passed through one filter, and a plurality of single color images that are formed on the incident surface of the imaging unit in accordance with the video signal and the synchronization signal output from the imaging unit. In the same manner as the image image, display means for sequentially displaying, and in synchronization with the first filter, the color of the projection light emitted from the display means is changed in time series, and for each projection of the single color video And a second filter that shifts pixels so that the shifted images displayed on the display unit coincide on the screen.
[0012]
  (2)In the display system of (1), instead of changing the color of the projection light emitted from the display unit in time series, the second filter changes the color of the light source that illuminates the display unit in time series. A display system that changes the color of the projection light emitted from the display means in a time-series manner by changing, and the second filter only shifts pixels.
[0013]
singleIn a field-sequential imaging device that obtains a color image from a plurality of images obtained by changing the incident light in time series using a single imaging means, the imaging position is less than the pixel pitch for each imaging of a single color image By providing the pixel shifting means for shifting the predetermined amount, it is possible to obtain an image in which the imaging position is shifted at a pixel pitch or less for each single color image.
[0014]
Therefore, when the image means obtains a color image from a single color image picked up by shifting pixels, the pixel signal for each pixel of one single color image corresponds to the pixel signal from two pixels of the other single color image Therefore, the luminance signal of a color video generated from a plurality of single color videos can be increased in resolution, that is, improved in image quality with a simple configuration.
[0015]
Here, the means for shifting the imaging position by a predetermined amount equal to or less than the pixel pitch is constituted by means for adjusting the thickness of the filter and / or means for adjusting the inclination angle of incident light incident on the filter, thereby providing a filter. Since the pixel shift can be realized only by giving a desired inclination angle to the color image, it is possible to increase the resolution of the color image, that is, to improve the image quality with a simpler configuration. However, a method for adjusting the imaging position based on the difference between the inclination angle between the filter and the incident light incident on the filter, the thickness of the filter, and the refractive index determined by the filter material is described in the principle section described later. .
[0016]
According to the above-mentioned means (2), the color of the incident light is changed in time series by the first filter, and the image forming position is shifted by a predetermined amount equal to or less than the pixel pitch every time a single color image is taken. The image is photographed by the photographing means, the photographed single color image is sequentially displayed on the display means, and the color of the projection light emitted from the display means is changed in time series by the second filter, and the correcting means However, since the shift amount equal to or less than the pixel pitch is corrected for each projection of a single color video, it is possible to obtain an effect that the resolution of the image display can be increased without increasing the amount of signal data transmitted from the photographing means to the display means. .
[0017]
At this time, the means for shifting the imaging position and the correcting means for each photographing of a single color image are constituted by means for adjusting the thickness of the filter and / or means for adjusting the inclination angle of incident light incident on the filter. As a result, the pixel shift can be realized only by giving the filter a desired tilt angle, so that the resolution of the color image, that is, the image quality can be improved with a simpler configuration. However, the method of adjusting the imaging position based on the difference between the inclination angle of the filter and the incident light or projection light incident on the filter, the thickness of the filter, and the refractive index determined by the filter material is based on the principle described later. It is shown in the section.
[0018]
(principle)
FIG. 6 is a diagram for explaining the shift amount of the image. In FIG. 6, 601 indicates a filter, 602 indicates incident light, 603 indicates a normal line, and 604 indicates outgoing light.
[0019]
Hereinafter, based on FIG. 6, the incident light passing through the color filter disposed in the air, the inclination angle of the incident light incident on the color filter, the thickness of the filter, and the optical path by the refractive index determined by the filter material The relationship with the amount of deviation will be described.
[0020]
As shown in FIG. 6, the incident angle of the incident light (angle formed by the incident light 602 and the normal 603) at a position where one surface (incident side surface) of the filter 601 and the incident light 602 intersect is θ, When the refraction angle (the angle formed by the incident light 602 after refraction and the normal 603) is θ ′, the refractive index of air is n, and the refractive index of the color filter is n ′, the sine of the incident angle from Snell's law. And the sine of the refraction angle are equal to the ratio of the refractive index of the medium (filter material), and the following formula 1 is established.
[0021]
[Expression 1]
n ′ × sin θ ′ = n × sin θ (Equation 1)
On the other hand, when the thickness of the filter 601 is L, the incident light 602 that has entered from one surface passes through the inside of the filter 601 according to Equation 1, and then the other surface (surface on the emission side) that faces one surface. It will be emitted from. At this time, as shown in FIG. 6, since the incident light 602 incident on the filter 601 is refracted by the filter 601, a deviation occurs in the optical path of the light transmitted through the filter 601. Here, when the deviation amount of the optical path, that is, the optical path difference is d, the following Expression 2 is obtained.
[0022]
[Expression 2]
d = L × sin (θ−θ ′) / cos θ ′ (2)
Accordingly, by appropriately selecting the material (refractive index) and thickness of the filter 601 and the angle formed between the incident light 602 and the filter 601, the input surface image of the image sensor with a desired optical path difference d for each filter 601. The incident light can be imaged on the surface.
[0023]
As a result, by appropriately selecting each color filter 601 of the color filter of the field sequential color imaging device and setting it to, for example, 1/2 of the pixel pitch of the imaging device, a different pixel shift amount and shift for each filter 601. It is possible to obtain an image of a direction.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings together with embodiments (examples) of the invention.
Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiments, and the repetitive description thereof is omitted.
[0025]
(Embodiment 1)
FIG. 1 is a diagram for explaining a schematic configuration of a field sequential color imaging apparatus according to Embodiment 1 of the present invention.
[0026]
In FIG. 1, 101 denotes a photographing lens, 102 denotes a color filter, 103 denotes an image sensor, 104 denotes a color signal processing unit, 105 denotes a driving unit, and 106 denotes a control unit.
[0027]
As shown in FIG. 1, the field sequential color imaging apparatus of Embodiment 1 includes a photographing lens 101 that forms an incident light indicated by an arrow on the incident surface side of the imaging element 103, and the photographing lens 101 and the imaging element 103. A color filter 102 that adjusts the color of incident light that forms an image on the image sensor 103 and a signal (image signal) of an image (video) imaged by the image sensor 103 to generate a color image (color video) The color signal processing unit 104 that outputs the signal, the driving unit 105 that rotationally drives the central position of the color filter 102 as the rotation center, and the control unit 106 that controls the overall operation and timing.
[0028]
At this time, in the field sequential color imaging device of the first embodiment, the R (red), G (green), and B (blue) color filters constituting the color filter 103 are set in advance as described in the principle section above. It is the structure which arrange | positions and provided the inclination angle. As a result, the image position formed on the incident surface of the image sensor 103 is moved by the pixel corresponding to the inclination angle, thickness, and refractive index for each color filter. That is, as the color filter 102 is driven to rotate by the driving means 105, the color filters arranged in the optical path from the photographing lens 101 to the image sensor 103 are sequentially changed and incident on the optical path according to the inclination angle of each color filter. Light is imaged on the image sensor 103. Details of the movement of the image position corresponding to each color filter in the color filter 102 will be described later.
[0029]
FIG. 2 is a diagram for explaining a schematic configuration of the color filter according to the first embodiment. In particular, FIG. 2A is a diagram for explaining the positional relationship between the green filter and the optical path. 2B is a diagram for explaining the positional relationship between the blue and red filters and the optical path. In FIG. 2, 201 indicates a green filter, 202 indicates a blue or red filter, and 203 and 204 indicate optical paths.
[0030]
As shown in FIG. 2A, in the first embodiment, the green filter 201 is arranged so as to be orthogonal to an optical axis (optical path of incident light) (not shown) of the photographing lens 101. That is, when the rotation center axis (not shown) of the color filter 102 and the optical axis of the photographing lens 101 are arranged in parallel, the green filter 201 is arranged so as to be parallel to the rotation surface of the color filter 102. . With this arrangement, incident light enters the green filter 201 vertically along an optical path 203 indicated by an arrow in the figure, passes through the green filter 201, and then exits vertically to be imaged. 103 is incident.
[0031]
On the other hand, as shown in FIG. 2B, the blue and red filters 202 are arranged so as to form a predetermined inclination angle with respect to an optical axis (not shown) of the photographing lens 101. That is, when the rotation center axis (not shown) of the color filter 102 and the optical axis of the photographic lens 101 are arranged at a predetermined inclination angle, the blue and red filters 202 are in contact with the rotation surface of the color filter 102. It arrange | positions so that the inclination-angle of this may be made.
[0032]
With such an arrangement, as shown in the principle section above, incident light is incident on the blue or red filter 202 obliquely along the optical path 204 indicated by an arrow in the figure, and the incident angle and After traveling through the inside of the filter 202 at an angle corresponding to the refractive index, the light is emitted from the filter 202 at an angle according to the emission angle and the refractive index, and reaches the image sensor 103. At this time, as shown in FIG. 2B, the optical path 204 of the incident light is changed by the blue or red filter 202, so the image position formed on the incident surface of the image sensor 103 is the optical path 204. It is moved (shifted) by an amount corresponding to the amount of change. For example, when a CCD (Charge Coupled Device) having a pixel pitch of 5 μm is used as the image sensor 103, the shift amount d for shifting the image by ½ pixel is 2.5 μm. In addition, when each filter 202 is formed of a material in which the refractive index ratio n ′ / n between air and the blue and red filters 202 is 1.333, and the inclination angle θ of the filter 202 is 1 °, From Equation 2 shown in the principle section, θ ′ is 0.75 °. Therefore, the desired shift amount d = 2.5 μm can be realized by forming the filter 202 with a thickness of 0.575 mm according to Equation 1.
[0033]
That is, in the first embodiment, the inclination angle with respect to the optical axis of the blue and red filters 202, the thickness of the filter 202, and the material of the filter 202 are configured to be the same, so that the blue and red filters are transmitted. The optical paths of the incident light are the same, and it is possible to shift the pixels with respect to the one-dimensional direction indicated by the arrow 205 shown in the figure. As a result, the resolution in the one-dimensional direction indicated by the arrow 205 can be improved.
[0034]
Next, based on FIG.1 and FIG.2, the imaging | photography operation | movement in the field sequential color imaging device of Embodiment 1 is demonstrated. However, in the following description, a case where the blue and red filters 202 are arranged so that the optical path 204 changes in the horizontal direction of the image sensor 103, that is, in the scanning line direction will be described. Needless to say, the changing direction of the optical path 204 is not limited to the horizontal direction, and may be a vertical direction or an oblique direction. Furthermore, in the following description, the case where the change amount of the optical path 204 is half of one pixel of the image sensor 103, that is, the shift amount of the image formed by the image sensor 103 is 1/2 pixel, Needless to say, the amount of shift is less than one pixel.
[0035]
When the color filter 102 is driven to rotate counterclockwise by a driving unit 105 with a rotation center axis (not shown) as a rotation axis, incident light that has passed through the photographing lens 101 becomes G (green) as the color filter 102 rotates. , B (blue), and R (red) after passing through one of the filters 201 and 202, an image is formed on the incident surface of the image sensor 103.
[0036]
At this time, in the field sequential color imaging apparatus of the first embodiment, the rotation of the color filter 102 and the image capturing by the imaging element 103 operate in synchronization based on the control from the control means 106. Yes. That is, the control is performed so that one field period of the image sensor 103 and the period in which any one of the filters 201 and 202 of each color of the color filter 102 is arranged in the optical path. In this way, the filters of the respective colors are sequentially arranged in the optical path with a period of one field period, thereby picking up an image of incident light that is color-separated with each color of G, B, and R.
[0037]
Accordingly, during the period in which the green filter 201 is disposed in the optical path, the incident light transmitted through the photographing lens 101 is incident on the image sensor 103 through the green filter 201 and a green component image is captured. The output signal corresponding to the green component image is output from the image sensor 103 to the color signal processing unit 104 and stored. At this time, in the first embodiment, the green filter 201 is arranged in parallel to the rotation surface of the color filter 102. That is, since it is arranged orthogonal to the optical axis of the photographic lens 101, as shown in FIG. 2A, the incident light incident from the photographic lens 101 has its optical path 203 changed by the color filter 102. Without being incident on the image sensor 103.
[0038]
In the period in which the blue filter 202 that is the next period is arranged in the optical path, the incident light that has passed through the photographing lens 101 passes through the blue filter 202 among the filters constituting the color filter 102 to the image sensor 103. Incident light and a blue component image are captured. An output signal corresponding to the blue component image is output from the image sensor 103 to the color signal processing unit 104 and stored. At this time, in the first embodiment, the blue filter 202 is formed to have an inclination angle with respect to the optical axis of the photographic lens 101, and the optical path difference due to the refraction of incident light transmitted through the blue filter 202 is green. The shift amount with respect to the image through the filter 201 is formed to be ½ pixel. As a result, as shown in FIG. 2B, incident light incident from the photographing lens 101 is incident on the image sensor 103 after the optical path 204 is changed by the color filter 102. That is, the image through the blue filter 202 is captured by the image sensor 103 as an image shifted by ½ pixel with respect to the image through the green filter 201.
[0039]
In the period in which the red filter 202 that is the next period is arranged in the optical path, the incident light that has passed through the photographing lens 101 passes through the red filter 202 among the filters constituting the color filter 102 and enters the image sensor 103. Incident light and a red component image are captured. An output signal corresponding to the red component image is output from the image sensor 103 to the color signal processing unit 104 and stored. At this time, in the first embodiment, the red filter 202 is formed to have an inclination angle with respect to the optical axis of the photographing lens 101, and the optical path difference due to refraction of incident light transmitted through the red filter 202 is green. It is formed so that the shift amount with respect to the image through the filter 201 is ½ pixel and is shifted in the same direction as the blue filter 202. As a result, as shown in FIG. 2B, incident light incident from the photographing lens 101 is incident on the image sensor 103 after the optical path 204 is changed by the color filter 102. That is, with respect to the image through the green filter 201, the image through the red filter 202 is transferred to the image sensor 103 as an image shifted in the same direction as the image through the blue filter 202 by ½ pixel. Imaged.
[0040]
By repeating the photographing operation described above, the images separated into the three primary colors by the G, B, and R filters are picked up with a time difference, and the same direction by 1/2 pixel with respect to the green image. The blue and red images that are shifted to are sequentially captured. That is, filters of each color are sequentially arranged in the optical path with a period of one field period, and an image of incident light that has been color-separated by each color of G, B, and R is picked up. An image shifted in the horizontal direction by two pixels is taken.
[0041]
The green, blue, and red images separated into the three primary colors input to the color signal processing unit 104 are combined by the color signal processing unit 104 and output as a single color image. At this time, in the first embodiment, the blue and red images are shifted by ½ pixel in the horizontal direction with respect to the green image, so that any one pixel when the green image is captured is displayed. Corresponding video signals (pixel signals) correspond to video signals (pixel signals) from two horizontal pixels when blue and red images are captured.
[0042]
As a result, the total sample points of the green image and the blue and red images are doubled in the horizontal direction, so that the luminance signal synthesized from each of the green and blue and red images is twice as high in resolution. Will be converted.
[0043]
As described above, in the field sequential color imaging device of the first embodiment, among the color filters that are switched in synchronization with the image capturing of the image sensor 103, the green filter 201 and other colors of blue and red are used. The optical path difference of the incident light when passing through each of the filters 202 is equal to 1/2 pixel of the image sensor 103 due to the difference in the amount of refraction (the amount of deviation of the optical path) when the incident light passes through each color filter In addition, since the green filter 201 and the blue and red filters 202 are inclined and arranged, the luminance signal of the color image generated from each of the green, blue, and red images can be increased with a simple configuration. The resolution can be increased, that is, the image quality can be improved. However, as shown in the principle section above, the thickness, tilt angle, and material of the refraction amount (shift amount of the optical path) by tilting the green filter 201 and the blue and red filters 202 are appropriately selected. By doing so, it is set to 1/2 pixel.
[0044]
That is, in the first embodiment, the color filter 102 included in the field sequential color imaging device has a configuration in which the function of moving the optical path difference of the incident light by ½ pixel is integrated. High resolution, that is, high image quality can be achieved with a simple configuration.
[0045]
(Embodiment 2)
FIG. 3 is a diagram for explaining a schematic configuration of the field sequential color imaging apparatus according to the second embodiment of the present invention. However, in the second embodiment, the configuration other than the color filter 301 is the same as that of the first embodiment. Therefore, in the following description, the color filter 301 having a different configuration will be described in detail.
[0046]
As shown in FIG. 3, in the field sequential color imaging device of the second embodiment, the color filter 301 includes a first green filter (indicated by G1), a blue filter (indicated by B), and a second green color. 4 filters (indicated by G2) and red filters (indicated by R).
[0047]
The filters G1, B, G2, and R are attached so as to have different desired angles with respect to the optical axis of the photographing lens 101. However, in the second embodiment, unlike the first embodiment, the color filter 301 is formed so that the optical path refracted by each filter moves two-dimensionally. The amount of movement of the optical path (the amount of deviation of the optical path) at this time is ½ pixel of the image sensor 103 in any two-dimensional direction, as in the first embodiment.
[0048]
FIG. 4 is a diagram for explaining the mounting angle of each filter with respect to the optical axis. Hereinafter, the pixel shift of the image according to the second embodiment will be described with reference to FIG. However, FIG. 4A is a diagram for explaining the inclination angle of each filter in which the optical path moves with respect to the horizontal direction of the imaging pixel of the image sensor 103 as the first direction, and FIG. FIG. 4C is a diagram for explaining the inclination angle of each filter in which the optical path moves with respect to the vertical direction of the imaging pixel of the image sensor 103 as a second direction orthogonal to the first direction. FIG. 4 is a diagram for explaining a moving direction of incident light that has passed through each filter.
[0049]
As is clear from FIG. 4A, the first green filter 401 and the blue filter 403 are formed at the same inclination angle with respect to the horizontal direction, and the second green filter 402 and the red filter 404 are formed. Are formed at the same inclination angle with respect to the horizontal direction. By adopting such a configuration, the optical path deviation directions by the first green filter 401 and the blue filter 403 with respect to the horizontal direction are the same, and the optical path deviation directions by the second green filter 402 and the red filter 404 are the same. Are the same.
[0050]
Further, in the second embodiment, as is apparent from FIG. 4B, the first green filter 401 and the red filter 404 are formed at the same inclination angle with respect to the vertical direction, and the second green color The filter 402 and the blue filter 403 are formed at the same inclination angle with respect to the vertical direction. With such a configuration, the optical path shift directions by the first green filter 401 and the red filter 404 with respect to the vertical direction are the same, and the optical path shift directions by the second green filter 402 and the blue filter 403 are the same. Are the same.
[0051]
As a result, as shown in FIG. 4C, the incident light (imaging image) incident on the image sensor 103 after passing through the color filter 301 is the incident light that has passed through the first green filter 401. In this case, the light is incident (imaged) at a position moved to the left side in the horizontal direction and to the upper side in the vertical direction. In the case of incident light that has passed through the red filter 404, incident light (image formation image) incident on the image sensor 103 is incident on a position that has moved to the right side in the horizontal direction and the upper side in the vertical direction ( Imaged). In the case of incident light that has passed through the blue filter 403, incident light (image formation image) incident on the image sensor 103 is incident (concatenated) at a position that has moved to the left side in the horizontal direction and to the lower side in the vertical direction. Image). Furthermore, in the case of incident light that has passed through the second green filter 402, incident light (imaged image) incident on the image sensor 103 moves to the right in the horizontal direction and to the lower side in the vertical direction. It is incident (imaged) at the position.
[0052]
At this time, in the field sequential color imaging apparatus according to the second embodiment, the control unit 106 causes the period during which any one of the filters 401 to 404 for each color is arranged in the optical path to match one field period of the image sensor 103. It is the structure controlled by. As a result, filters of each color are sequentially arranged in the optical path with a period of one field period, and an image of incident light that is color-separated by each of the first G, second G, B, and R colors is taken.
[0053]
Further, as apparent from FIG. 4C, green (first and second), which are main components of a luminance signal that requires high resolution, are arranged in a checkered pattern, and the remaining portion has a relatively low resolution. Two possible color components, blue and red, are arranged in a checkered pattern. In this way, as generally used in a single-plate method using a color filter, the horizontal and vertical directions can be efficiently increased by arranging the green pixels that most affect the luminance signal in an oblique direction. Resolution can be achieved.
[0054]
Therefore, the color image synthesized and output by the color signal processing unit 104 is synthesized from four images that are shifted by 1/2 pixel in the horizontal direction and the vertical direction, respectively, and the first and second green images. Since the total sample points of the image and the blue and red images are doubled in the horizontal and vertical directions, the luminance signals synthesized from the green and blue and red images are respectively in the horizontal and vertical directions. The resolution will be doubled. At this time, since the first green color and the second green color are arranged in an oblique direction, it is possible to efficiently increase the resolution in the horizontal direction and the vertical direction as described above.
[0055]
(Embodiment 3)
FIG. 5 is a diagram for explaining a schematic configuration of a display system according to Embodiment 3 of the present invention. In FIG. 5, reference numeral 501 denotes a display element, 502 denotes a light source, 503 denotes a second color filter, 504 denotes a projection lens, and 505 denotes a screen.
[0056]
As is apparent from FIG. 5, the display system according to the third embodiment performs display in accordance with the field sequential color imaging device according to the first embodiment and the output signal output from the image sensor 103 of the field sequential color imaging device. A reflective display element 501, a light source 502 that irradiates the display element with projection light, a projection lens 504 that forms an image of the projection light reflected by the display element 501 on the screen 505, and the display element 501 and the projection lens 504 The display device is composed of a color filter 503 arranged on the optical path between and a screen 505 on which a projected image is imaged. Needless to say, the display element 501 may be a transmissive display element such as a liquid crystal display device.
[0057]
That is, in the display system of Embodiment 3, an image signal output from the image sensor 103 is input to the display element 501, and an image captured by the image sensor 103 is input to the reflective display element 501. The configuration is displayed. Therefore, the display element 501 of Embodiment 3 is color-separated into three primary colors of green, blue, and red in synchronization with the field signal, similarly to the image formed on the incident surface of the image sensor 103. A formed image is displayed. At this time, among the green, blue and red filters 201 and 202 constituting the color filter 102, the blue and red filters 202 are formed with a predetermined inclination angle with respect to the optical axis of the photographing lens 101. Therefore, the image displayed on the display element 501 is also an image shifted by ½ pixel with respect to the green image.
[0058]
Here, the image displayed on the display element 501 irradiated by the light source 502 is projected on the screen 505 by the projection lens 504 after passing through the second color filter 503. At this time, in the third embodiment, the rotation driving means for rotating the second color filter 503 is controlled by the control means of the display device (not shown), and the color filter 102 of the field sequential color imaging device is controlled. It is configured to operate in synchronization with the rotation. Further, among the filters constituting the second color filter 503, the blue and red filters are images that are shifted by ½ pixel displayed on the display element 501 with respect to the optical axis of the projection lens 504. Are the inclination angle and the filter thickness corresponding to the amount of deviation for matching them on the screen 505, and the filter material.
[0059]
As a result, the image displayed on the display element 501 is transmitted through the projection lens 504 after passing through the filter of the same color as that at the time of shooting, and the pixel shift at the time of shooting is corrected and displayed on the screen 505.
[0060]
  As described above, the display system according to the third embodiment is configured to transmit the video captured by the field sequential color imaging device and its synchronization signal to the display device. Further, in the display device, the image displayed on the display element 501 is applied to the screen 505 via the second color filter 503 formed so as to correct the pixel shift in the same manner as when photographing with the field sequential color imaging device. Since it is configured to display, the resolution of image display can be increased without increasing the amount of signal data sent from the field sequential color imaging device, which is an imaging device, to the display device.RealizedA special effect of being able to do so can be obtained.
[0061]
However, in Embodiment 3, the display image is colored using the second color filter 503. However, the present invention is not limited to this. For example, the color of the light source 502 is changed sequentially. Needless to say, the second color filter 503 uses only a transparent plate having a function of shifting the optical path (shifting the display image), and the above-described effects can be obtained.
[0062]
In the third embodiment, the display system using the field sequential color imaging device of the first embodiment has been described. However, the imaging device is not limited to the field sequential color imaging device of the first embodiment. For example, when the field sequential color imaging device of the second embodiment is used, four different filters including a first green filter, a blue filter, a second green filter, and a red filter are used. A second color filter 503 is configured. Each filter forming the second color filter has an inclination angle and a filter thickness corresponding to a shift amount for matching an image shifted by ½ pixel displayed on the display element 501 on the screen 505, and Consists of filter material. With such a configuration, it is possible to configure a display system that displays an image captured by the field sequential color imaging device of the second embodiment. Thus, in the display system of the present invention, a display system using another field sequential color imaging device can be configured by using the second color filter 503 having the same filter arrangement as the field sequential color imaging device.
[0063]
In the first to third embodiments, the case where an RGB primary color filter is used as the color filter 102 has been described. However, the present invention is not limited to this, and a YMCG complementary color filter may be used. Absent.
[0064]
In the first to third embodiments, each filter constituting the color filters 102, 301, and 503 is provided with an inclination angle, and an optical path difference is generated by refraction when incident light passes through the filter, thereby performing pixel shift. However, the present invention is not limited to this, and the color filters 102, 301, and 503 are formed orthogonal to the optical axis, and are displayed between the color filters 102 and 301 and the image sensor 103 or the color filter 503. It goes without saying that a refractive transmission plate may be disposed between the element 501 and the element 501. However, in such a configuration, it goes without saying that means for controlling the inclination of the transmission plate in synchronization with the field period of the image sensor 103 or the display element 501 is necessary.
[0065]
The invention made by the present inventor has been specifically described based on the embodiment of the invention, but the invention is not limited to the embodiment of the invention and does not depart from the gist of the invention. Of course, various changes can be made.
[0066]
【The invention's effect】
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
[0067]
(1) Since each image constituting the color filter has an inclination angle and the image is shifted by causing an optical path difference in incident light by refraction when passing through the filter, the image quality is improved in the field sequential color imaging device. Is possible.
(2) Since the optical path difference is generated in the incident light by refraction when the incident light is transmitted through the transmission plate such as a filter disposed in the optical path of the incident light, the pixel shift is performed by the field sequential color imaging device. It can be easily realized.
(3) Since each filter constituting the color filter has an inclination angle, and image shift is realized by causing an optical path difference in incident light by refraction when passing through the filter, pixel shifting is performed with a simple configuration. Can be realized.
(4) Since an image can be displayed on the display device based on the signal data from the image sensor of the field sequential color imaging device, without increasing the amount of signal data sent from the field sequential color imaging device to the display device, High resolution image display.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a schematic configuration of a field sequential color imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining a schematic configuration of a color filter according to the first embodiment.
FIG. 3 is a diagram for explaining a schematic configuration of a field sequential color imaging apparatus according to a second embodiment of the present invention.
4 is a diagram for explaining an attachment angle with respect to an optical axis of each filter constituting the color filter of Embodiment 2. FIG.
FIG. 5 is a diagram for explaining a schematic configuration of a display system according to a third embodiment of the present invention.
FIG. 6 is a diagram for explaining an image shift amount according to the present invention;
[Explanation of symbols]
101 ... Photography lens 102 ... Color filter
103 ... Image sensor 104 ... Color signal processing unit
105 ... Driving means 106 ... Control means
201: Green filter 202 ... Blue, red filter
203, 204 ... optical path
301 ... Color filter
401 ... first green filter 402 ... second green filter
403 ... Blue filter 404 ... Red filter
501 ... Display element 502 ... Light source
503: Second color filter 504: Projection lens
505 ... Screen
601: Filter 602: Incident light
603 ... Normal 604 ... Outgoing light

Claims

入射光の色を時系列的に変化させると共に、前記単一色映像の撮影毎に結像位置を画素ピッチ以下の所定量ずらす画素ずらしを行う第１のフィルタと、
複数の画素を有し前記第１のフィルタを透過した単一色映像を撮影する撮影手段と、
前記撮像手段から出力された映像信号および同期信号に応じて複数枚の単一色映像を前記撮像手段の入射面で結像される結像画像と同様に順次表示する表示手段と、
前記第１のフィルタと同期して、前記表示手段から照射される投影光の色を時系列的に変化させると共に、前記単一色映像の投影毎に前記表示手段に表示されるシフトされた画像をスクリーン上で一致させるように画素ずらしを行う第２のフィルタと、
を備えたことを特徴とする表示システム。A first filter that changes the color of incident light in time series and performs pixel shift for shifting the imaging position by a predetermined amount equal to or less than a pixel pitch every time the single color image is captured;
Imaging means for imaging a single color image having a plurality of pixels and passing through the first filter;
Display means for sequentially displaying a plurality of single color images in the same manner as the image formed on the incident surface of the imaging means according to the video signal and the synchronization signal output from the imaging means ;
Synchronously with the first filter, the color of the projection light emitted from the display means is changed in time series, and a shifted image displayed on the display means for each projection of the single color video is displayed. a second filter for pixel shift to match on the screen,
A display system characterized by comprising:

請求項１に記載の表示システムにおいて、The display system according to claim 1,
前記第２のフィルタが前記表示手段から照射される投影光の色を時系列的に変化させる代わりに、前記表示手段を照明する光源の色を時系列的に変化させることにより前記表示手段から照射される投影光の色を時系列的に変化させ、前記第２のフィルタは画素ずらしのみを行うことを特徴とする表示システム。Instead of changing the color of the projection light emitted from the display unit in time series by the second filter, irradiation from the display unit is performed by changing the color of the light source that illuminates the display unit in time series. The display system is characterized in that the color of the projected light is changed in time series, and the second filter performs only pixel shifting.