JP4729058B2 - 映像信号の再現帯域変更装置 - Google Patents

Description

この発明は，再現帯域変更装置に関する。

カラーの単板ＣＣＤでは，フォトダイオード上にＲ，ＧまたはＢのそれぞれの色成分を透過する特性をもつ色フィルタが形成されている。色フィルタはＲおよびＢとＧとでは配列が異なっている。このために，カラー単板ＣＣＤから出力されるＲ，ＧまたはＢの色信号の再現帯域は色信号ごとに異なる。たとえば，Ｇの色信号の再現帯域は，ＲおよびＢの色信号の再現帯域に比べて広い。

画像の解像度を向上させるためには再現帯域を広げれば良い。しかしながら，再現帯域は色信号ごとに決まっており，決まっている再現帯域以上に常に再現帯域を広げると偽信号が発生し，画質が劣化してしまう。偽信号を除去するためには色信号ことに帯域制限処理を行えばよいが，光学的ＬＰＦ（ロウ・パス・フィルタ）では色信号ごとの帯域制限処理はできない。

また，ノイズ量は再現帯域に比例して増加するので，白黒の映像信号であっても解像度を向上させるために再現帯域を広げると画質が劣化してしまうことがある。このために，従来は再現帯域を変えることは考えられていない。

この発明は，映像信号の再現帯域を変えることを目的とする。

この発明による映像信号の再現帯域変更装置は，固体電子撮像素子から出力される映像信号を入力し，入力する映像信号の再現帯域を，与えられる変更条件にしたがって変更して出力することを特徴とする。

この発明によると，固体電子撮像素子から出力される映像信号は，再現帯域変更装置に入力する。再現帯域変更装置には変更条件が与えられ，この変更条件にしたがって，入力した映像信号の再現帯域が変更される。

変更条件が与えられるにしたがって，入力する映像信号の再現帯域が変更されるので，再現帯域を変更しても，映像信号によって表される画像の画質が劣化しない場合など任意のときに再現帯域を変更することができる。画質が劣化してしまう場合などには再現帯域の変更をさせないようにすることもできる。

上記固体電子撮像素子は，たとえば，光電変換素子上に色フィルタが形成されており，カラー映像信号を出力する単板のものである。この場合には，上記固体電子撮像素子から出力されるカラー映像信号から複数の色信号（複数の輝度信号を含む）を生成する色信号生成手段をさらに備える。また，上記色信号生成手段によって生成された複数の色信号のそれぞれの再現帯域を変更するものとなろう。そして，それぞれの色再現帯域に変更された複数の色信号を上記固体電子撮像素子から出力されるカラー映像信号によって表されるカラー画像に含まれる色の割合に応じて合成して出力する合成手段がさらに備えられることとなろう。

色の割合に応じて複数の色信号の合成の程度が変わる。色の割合に応じた最適な色再現域をもつ合成映像信号が得られることとなる。

上記固体電子撮像素子から出力される映像信号に含まれるノイズ量，上記固体電子撮像素子の画素数または入力する映像信号が間引き処理後のものかどうかに応じて，入力する映像信号の再現帯域を変更して出力することが好ましい。

再現帯域が狭くなるように変更することによりノイズを抑えることができる。また，画素数が多くなると，高周波数成分の識別は難しくなるために，再現帯域が狭くなるように変更することにより偽信号やノイズの除去を行った方が有効と考えられる。さらに，間引き処理を行うと折り返し歪みが発生することがあるが，再現帯域が狭くなるように変更することにより折り返し歪みの発生を未然に防止できるためである。もちろん，再現帯域が広くなるように変更できるのはいうまでもない。

図１は，この発明の実施例を示すもので，ＣＣＤ１の受光面上の構造の一部を示している。

ＣＣＤ１には，多数のフォトダイオード２が水平方向（列方向）および垂直方向（行方向）に多数配置されている。これらのフォトダイオード２は，奇数列については奇数行に配置され，偶数列には偶数行に配置されている（いわゆるハニカム配列）。もっとも奇数列については偶数行に配置し，偶数列については奇数行に配置するようにしてもよい。

フォトダイオード２の受光面上には赤色の光成分を透過する特性をもつＲ色フィルタ，青色の光成分を透過する特性をもつＢ色フィルタまたは緑色の光成分を透過する特性をもつＧ色フィルタが形成されている。Ｒ色フィルタが形成されているフォトダイオード２に「Ｒ」の文字が付され，Ｂ色フィルタが形成されているフォトダイオード２に「Ｂ」の文字が付され，Ｇ色フィルタが形成されているフォトダイオード２に「Ｇ」の文字が付されている。奇数行のフォトダイオード２には，Ｇ色フィルタが形成されており，偶数行のフォトダイオード２には，Ｒ色フィルタとＢ色フィルタとが同一列上において交互に形成されている。フォトダイオード２は平面から見て四角形の形状が図示されているが，六角形などそのほかの形状でもよいのはいうまでもない。

すべてのフォトダイオード２のうち互いに隣接する４つのフォトダイオード２を抽出すると，菱形の形状６となる。また，Ｇ色フィルタが形成されているフォトダイオード２を考え，互いに隣接する４つのフォトダイオード２を抽出すると四角形の形状７となる。さらに，Ｒ色フィルタまたはＢ色フィルタが形成されているフォトダイオード２を考え，互いに隣接する４つのフォトダイオード２を抽出するとすべてのフォトダイオードのうち互いに隣接する４つのフォトダイオード２を抽出して得られた菱形の形状６よりも一回り大きい菱形の形状８となる。このような配置となっていることから後述のように再現帯域が変わることとなる。

フォトダイオード２の各列の右側（左側でもよい）には垂直転送路３が形成されている。垂直転送路４に転送パルスが与えられることにより，フォトダイオード２に蓄積された信号電荷が垂直方向に転送されていく。

ＣＣＤ１の最下段には与えられる水平転送パルスに応じて，信号電荷を水平方向（の逆方向）に転送するための水平転送路４が設けられている。垂直転送路４内を転送させられた信号電荷が水平転送路４に与えられると，水平方向に信号電荷が転送させられ，増幅回路５を介して外部に映像信号として出力される。

図２から図４は，映像信号の再現帯域を示している。

図２は，図１に示すＣＣＤ１を用いてグレイの色の被写体を撮像したときにＣＣＤ１から出力される映像信号の再現帯域を示すものである。

被写体がグレイの場合には，そのグレイの被写体を表す画像を再現するためにフォトダイオード２のすべてに蓄積された信号電荷にもとづいて得られる映像信号を用いることができる。このために，再現帯域（ゾーン１）は，ＣＣＤ１のフォトダイオード２の配列に対応するものとなり，菱形の形状（上述した菱形の形状６に対応する）となる。再現帯域は，空間周波数ｆｓの１／２（＝ナイキスト周波数ｆｎ）および負の空間周波数−ｆｓ／２の各点を結んだものとなる。

図３は，図１に示すＣＣＤ１を用いて被写体を撮像したときに得られる映像信号のうちＧ色フィルタが形成されているフォトダイオード２に蓄積された信号電荷にもとづいて得られる映像信号の再現帯域を示している。

Ｇ色フィルタが形成されているフォトダイオード２に蓄積された信号電荷にもとづいて得られる映像信号の再現帯域（ゾーン２）は，Ｇ色フィルタが形成されているフォトダイオード２の配列に対応している。再現帯域は，四角形の形状（上述した四角形の形状７に対応する）である。ナイキスト周波数の半分の周波数の各点を四角形に結んだものとなる。

図４は，図１に示すＣＣＤ１を用いて被写体を撮像したときに得られる映像信号のうちＢ色フィルタまたはＲ色フィルタが形成されているフォトダイオード２に蓄積された信号電荷にもとづいて得られる映像信号の再現帯域を示している。

Ｂ色フィルタまたはＲ色フィルタが形成されているフォトダイオード２に蓄積された信号電荷にもとづいて得られる映像信号の再現帯域（ゾーン３）は，Ｂ色フィルタまたはＲ色フィルタが形成されているフォトダイオード２の配列に対応している。再現帯域は，菱形の形状（上述した菱形の形状８に対応する）である。ナイキスト周波数ｆｎの半分の周波数の各点を菱形に結んだものとなる。

図５は，図２から図４に示す再現帯域を重ね合わせて示している。

図５から分かるように，図１に示すＣＣＤ１を用いてグレイの色の被写体を撮像したときにＣＣＤ１から出力される映像信号の再現帯域（ゾーン１）がもっとも再現帯域が広い。そして，Ｇ色フィルタが形成されているフォトダイオード２に蓄積された信号電荷にもとづいて得られる映像信号の再現帯域（ゾーン２）が次に再現帯域が広い。最後にＢ色フィルタまたはＲ色フィルタが形成されているフォトダイオード２に蓄積された信号電荷にもとづいて得られる映像信号の再現帯域（ゾーン３）となる。

図２は，ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。

図１に示すＣＣＤ１が固体電子撮像素子として用いられている。ＣＣＤ１によて被写体が撮像されると，被写体像を表す映像信号が出力される。映像信号は，輝度信号生成回路11および色差信号生成回路13に入力する。

輝度信号生成回路11は，入力する映像信号から２つの輝度信号Ｙ１およびＹ３を生成するものである。輝度信号Ｙ１は，図２に示すゾーン１の再現帯域をもつものである。輝度信号Ｙ３は，図４に示すゾーン３の再現帯域をもつものである。ゾーン１の再現帯域をもつ輝度信号Ｙ１およびゾーン３をもつ輝度信号Ｙ３は，それぞれゾーン１の再現帯域特性およびゾーン３の再現帯域特性をもつ２つのフィルタを用いて生成することができる。もちろん，ゾーン１の再現帯域特性およびゾーン３の再現帯域特性の両方の特性を切り換え可能にもつ１つのフィルタを用いて生成するようにしてもよい。生成された輝度信号Ｙ１およびＹ３は，重み付け加算回路12に入力する。

重み付け加算回路12は，後述するように与えられる重み付け信号（変更条件）Ｃｄの大きさにもとづいて輝度信号Ｙ１とＹ３との割合を変えて，重み付け処理後の輝度信号ＹＨを生成して出力するものである。

色差信号生成回路13において，入力した映像信号からＣｒおよびＣｂの色差信号がそれぞれ生成される。生成された色差信号ＣｒおよびＣｂは絶対値加算回路14および解像度変換回路15に入力する。

絶対値加算回路14において，それぞれの色差信号の絶対値｜Ｃｒ｜と｜Ｃｂ｜とが加算され，重み付け信号Ｃｄが生成される。すなわち，式１にしたがって重み付け信号Ｃｄが生成される。この重み付け信号ＣｄはＣＣＤ１から出力された映像信号に含まれる赤色成分および青色成分の量を示している。

Ｃｄ＝｜Ｃｒ｜＋｜Ｃｂ｜・・・式１

重み付け加算回路12においては，絶対値加算回路14から出力される重み付け信号Ｃｄの値に応じて式２にしたがって重み付け処理後の輝度信号ＹＨが生成される。

ＹＨ＝｛Ｃｄ×Ｙ３＋（Ｔｈ−Ｃｄ）×Ｙ１｝／Ｔｈ・・・式２
ただし，Ｔｈは，しきい値である。

図７は，重み付け信号Ｃｄの値と輝度信号Ｙ１およびＹ３との関係を示している。

重み付け信号Ｃｄが０のときには，輝度信号Ｙ１の割合が 100％であり，輝度信号Ｙ３の割合は０である。重み付け信号Ｃｄが０から徐々に大きくなるにつれて輝度信号Ｙ１の割合が少なくなり，逆に輝度信号Ｙ３の割合は大きくなる。重み付け信号Ｃｄがしきい値Ｔｈを超えると輝度信号Ｙ１の割合は０となり，輝度信号Ｙ３の割合は 100％となる。このような輝度信号Ｙ１とＹ３との割合をもつ輝度信号ＹＨが重み付け加算回路12において生成される。生成された輝度信号ＹＨは，図６に示す解像度変換回路15に入力する。

解像度変換回路15は，入力する輝度信号ＹＨならびに色差信号ＣｒおよびＣｂによって表される画像の解像度（画素数）を変換するものである。モード・スイッチ（図示略）によって設定されたモードに応じて解像度が決定される。

解像度変換回路15から出力された輝度信号は輪郭補正回路16に，色差信号は色補正回路17にそれぞれ入力する。

輪郭補正回路16において，入力した輝度信号によって表される画像の輪郭補正処理が行われる。また，色補正回路17において，入力した色差信号によって表される画像の輪郭補正処理が行われる。

輪郭補正回路16から出力された輝度信号および色補正回路17から出力された色差信号が表示装置に与えられることにより，撮像された画像が表示されるようになる。

ＣＣＤ１から出力された映像信号に含まれる赤色成分および青色成分の量が多いほど，図４で示したように赤色成分および青色成分に対応した再現帯域が支配的となる輝度信号Ｙ３の割合が多くなる。被写体の色に応じた再現特性をもつ輝度信号が得られるようになるので，偽信号，ノイズ等の発生を未然に防止でき解像度の高い画像が得られる。

上述した実施例は，図１に示すようにカラーの映像信号を出力するＣＣＤ１を用いたものであるが，この発明による実施例は，白黒の映像信号を出力するＣＣＤを用いることもできる。

図８は，白黒用のＣＣＤ１Ａを撮像素子に用いたディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。

ＣＣＤ１Ａからは，輝度信号が出力され，再現帯域変更回路21に入力する。

再現帯域変更回路21は，重み付け加算回路12と同様にゾーン１の再現帯域特性をもつフィルタとゾーン３の再現帯域特性をもつフィルタとを含むものである。再現帯域変更回路21において，上述した輝度信号Ｙ１とＹ３とが生成される。

生成された輝度信号Ｙ１およびＹ３は，重み付け加算回路22に入力する。

重み付け加算回路22は，与えられる重み付け係数にしたがって，入力する輝度信号Ｙ１とＹ３との割合を変えて出力するものである。

この実施例においては重み付け係数には，ＣＣＤ１から出力される輝度信号に含まれるノイズ量，ＣＣＤ１Ａの画素数などがある。ＣＣＤ１Ａから出力された映像信号を間引き処理する場合には，間引き率を重み付け係数に含ませても良い。

ノイズ量は，再現帯域に比例して増加する。このためにノイズ量が多い画像や，ノイズの低減を優先する場合には，再現帯域が狭くなるようにする。すなわち，輝度信号Ｙ１よりも輝度信号Ｙ３の割合が多くなるようにする。

また，画素数が多いと画像の高周波数成分の識別ができなくなるので高周波数成分の必要性は少なくなる。このために画素数が多いときには，再現帯域が狭くなるようにする。これにより，偽信号やノイズをカットすることができるようになる。

さらに，間引き処理されるときには，間引き処理での折り返し歪みによる偽信号を未然に防止するために再現帯域が狭くなるようにする。たとえば，間引きが１／２（面積比１／４）となるような間引き率の場合には，輝度信号Ｙ３が用いられるようになろう。

上述した実施例においては，ゾーン１およびゾーン３の再現帯域をもつ輝度信号を合成しているが，ゾーン２の再現帯域をもつ輝度信号も生成し，合成するようにしてもよい。

ＣＣＤの受光面上の構造の一部を示している。 再現帯域を示している。 再現帯域を示している。 再現帯域を示している。 再現帯域を示している。 ディジタル・スチル・カメラの電気的構成の一部を示している。 重み付け信号と輝度信号の合成の割合を示している。 ディジタル・スチル・カメラの電気的構成の一部を示している。

符号の説明

１，１Ａ ＣＣＤ
２ フォトダイオード
11 輝度信号生成回路
12，22 重み付け加算回路
21 再現帯域変更回路

Claims (2)

1. 固体電子撮像素子から出力される映像信号を入力し，入力する映像信号の再現帯域を，与えられる変更条件にしたがって変更して出力する映像信号の再現帯域変更装置であって，
   上記固体電子撮像素子が，光電変換素子上に色フィルタが形成されており，カラー映像信号を出力する単板のものであり，
   上記固体電子撮像素子から出力されるカラー映像信号から異なる再現帯域をもつ複数の輝度信号を生成する輝度信号生成手段をさらに備え，
   上記輝度信号生成手段によって生成された再現帯域の異なる複数の輝度信号を上記固体電子撮像素子から出力されるカラー映像信号によって表されるカラー画像に含まれる色の割合に応じて合成して出力する合成手段，
   を備えた再現帯域変更装置。
2. 上記光電変換素子は，奇数列については奇数行に配置され，偶数列には偶数行に配置されている，あるいは奇数列については偶数行に配置され，偶数列については奇数行に配置されており，
   奇数行の上記光電変換素子には緑色の光成分を透過する特性をもつＧ色フィルタが形成され，偶数行の上記光電変換素子には赤色の光成分を透過する特性をもつＲ色フィルタと青色の光成分を透過する特性をもつＢ色フィルタとが同一列上に交互に形成されており，
   上記輝度信号生成手段は，上記光電変換素子の配列に対応する再現帯域をもつ第１の輝度信号と，上記Ｂ色フィルタまたは上記Ｒ色フィルタが形成されている上記光電変換素子の配列に対応する再現帯域をもつ第２の輝度信号と，を生成するものであり，
   上記合成手段は，｛Ｃｄ×（第２の輝度信号）＋（しきい値−Ｃｄ）×（第１の輝度信号）｝／しきい値，（但しＣｄ＝｜Ｃｒ｜＋｜Ｃｂ｜）を出力するものである，
   請求項１に記載の再現帯域変更装置。

Images