JP2016015692A - 撮像装置およびフリッカー除去プログラム - Google Patents

Abstract

【課題】画面内（フレーム内）の部分的なフリッカーを除去することができる。
【解決手段】２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子３と、撮像素子３が出力したデジタル信号から映像信号を生成する映像信号生成回路６と、を備え、前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されている。
【選択図】図１

Description

本発明は、撮像装置およびフリッカー除去プログラムに関し、特に、フルスペックスーパーハイビジョン（フルスペックＳＨＶ）で１２０ｆｐｓ（frames per second）での撮影・表示を行う際に問題となる電源周波数に起因する照明光の輝度変化の影響を取り除く技術に関する。

フレーム周波数が３０Ｈｚや６０Ｈｚ（順次走査）の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー）を内蔵するカメラを用いて撮影する場合に、５０Ｈｚの電源周波数に起因する照明光の輝度変化がフリッカーとして画面を乱すことがある。この場合、１／１００秒のシャッターを掛けることでフリッカーを回避することができる。

一方、フルスペックＳＨＶ用のフレーム周波数が１２０Ｈｚ（順次走査）の撮像素子が開発されている（非特許文献１参照）。この場合、１フレームの露光時間が１／１２０秒となるので、それよりも長い１／１００秒のシャッターを掛けることが物理的にできない。

このことについて、図１０および図１１を参照して説明する。図１０（ａ）に示すように、５０Ｈｚの電源周波数に起因する照明光の輝度は、１／１００秒単位で周期的に変動する（１／１００秒毎に明るさが最大になる）。そして、ローリングシャッター方式のＣＭＯＳイメージセンサーを内蔵するフルスペックＳＨＶ用のカメラで撮影を行う場合、各行の露光時間（１／１２０秒）が照明光の輝度の周期（１／１００秒）と異なると共に、各行ごとに露光開始のタイミングが変わってくるので、露光時間中の輝度の総量が各行で異なることになる。

例えば、図１０（ｂ）に示すように、Ｎ行目とＮ＋６行目の露光時間中の輝度の総量を比較すると、Ｎ＋６行目の輝度の総量（ドット部分）に比べてＮ行目の輝度の総量（斜線部分）の方が少ない。その為、このカメラで撮影した映像を表示装置（図示せず）で表示した場合に、Ｎ＋６行目に比べてＮ行目が暗くなる。つまり、濃淡が画面上下方向に移動するように見えるフリッカーが発生する。

蛍光灯などの照明を撮影した時に生じるフリッカーのイメージを図１１（ｂ）に示す。実際には、縞模様の間隔はもっと大きいが、映像として見ると明滅を繰り返しながら上下方向に移動しているように見える。なお、図１１（ａ）は、肉眼で見た場合の見え方を示している。

ここで、フリッカーを除去する撮像装置として、「光源のフリッカーの時間波形を検出する検出手段と、前記検出手段による検出結果に基づいて、撮像手段により撮像された画像フレームの撮像時の光源の輝度を推定する推定手段」を具備するものが知られている（特許文献１参照）。この撮像装置は、フレーム単位でフリッカーを逆補正するものであり、フリッカーを除去することが可能である。

特許第４８１４３８０号公報

渡部俊久、「スーパーハイビジョン用１２０Ｈｚイメージセンサー」、ＮＨＫ技研Ｒ＆Ｄ、日本放送協会 放送技術研究所、2012年7月15日、Ｎｏ．１３４、p.4- p.11

しかしながら、特許文献１に記載された技術では、画面内全体（フレーム全体）にフリッカーを逆補正するため、画面内の一部がフリッカーの影響を受ける場合にフリッカーの影響を受けない部分にも逆補正が掛かってしまう。画面内の一部にのみフリッカーの影響がある場合とは、例えば、夕方の屋外から蛍光灯を点灯した家屋を撮影するときや、夜間に照明が点灯している競技場を撮影するときである。つまり、特許文献１に記載された技術では、家屋の蛍光灯の光や競技場の照明の光が当たっておらずフリッカーを生じていない部分にまで逆補正を掛けるので、不自然な輝度変化を持つ映像となってしまう。

本発明はかかる点に鑑みてなされたものであって、画面内（フレーム内）の部分的なフリッカーを除去することができる、撮像装置およびフリッカー除去プログラムを提供することを課題とする。

前記課題を解決するために本発明の一態様による撮像装置は、ローリングシャッター方式で画像を撮像する撮像装置であって、行および列からなる２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備える。

ここで、前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されている。

また、前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、前記フリッカー除去回路は、フーリエ変換部と、光源輝度波形解析部と、画素輝度値算出部と、補正係数算出部とを有する。
フーリエ変換部は、前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求める。
光源輝度波形解析部は、フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める。

画素輝度値算出部は、前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める。
補正係数算出部は、前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する。

このような構成を備える撮像装置は、通常画素に代えて予め定めた画素間隔で配置された検出用画素が、通常画素よりも短い露光時間で駆動する。そして、撮像装置は、この検出用画素の輝度値を用いて輝度変化の波形を求め、通常画素の露光時間単位で積分を行うことで、検出用画素における通常画素の露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置は、画素輝度値変化の波形から検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測することができる。

本発明によれば、検出用画素の周辺に配置される通常画素でのフリッカーの影響を予測できるので、フリッカーの影響がある通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いてデジタル信号（通常画素出力信号）を補正する。その為、画面内（フレーム内）の部分的なフリッカーを除去することができる。

本実施形態に係る撮像素子を用いた撮像装置の概略構成図である。 本実施形態に係る撮像素子の概略構成図である。 本実施形態に係る画素アレイの概略構成図である。 本実施形態に係る画素アレイを構成する通常画素Ｐ_Ａおよび検出用画素Ｐ_Ｂの露光時間を説明するための図である。 本実施形態に係る映像信号生成回路の概略構成図である。 本実施形態に係る映像信号生成回路の切り替えＳＷの機能を説明するための図である。 本実施形態に係るフリッカー除去回路に格納される検出用画素出力信号のイメージ図である。 本実施形態に係るフリッカー除去回路のフローチャートである。 本実施形態に係るフリッカー除去回路の処理を説明するための図である。 従来のＣＭＯＳイメージセンサーを説明するための図であり、図１０（ａ）はローリングシャッター（ライン露光）方式による各行の露光開始のタイミングを説明するための図であり、図１０（ｂ）は各行の露光時間中の輝度の総量が異なることを説明するための図である。 従来のＣＭＯＳイメージセンサーを備えるカメラを用いて照明の撮影を行った場合の見え方の違いを説明するための図であり、図１１（ａ）は肉眼で見た場合の見え方を示し、図１１（ｂ）はＣＭＯＳイメージセンサーを備えるカメラを用いて撮影を行った場合の見え方を示す。

以下、本発明の実施形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面における寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

≪実施形態に係る撮像装置の構成≫
図１に示す撮像装置１は、フルスペックＳＨＶでの撮影を行うものであり、例えば、テレビ放送用のカメラである。撮像装置１は、レンズ２と、フリッカー除去用撮像素子３と、駆動回路４と、電源回路５と、映像信号生成回路６とを備えている。以下、撮像装置１の構成について説明する。

＜レンズ＞
レンズ２は、光を屈折させる光学素子であり、ここでは、光を屈折させてフリッカー除去用撮像素子３に撮影対象物の光学像を結像する。レンズ２は、単レンズや複数のレンズを組み合わせて使用されてもよい。この撮影対象物の中には、フリッカーの原因となる輝度変化が含まれる可能性がある。本実施形態に係る撮像装置１は、画面内のある一部分にフリッカーの原因となる輝度変化が含まれる場合に、部分的に画素の輝度値を補正してフリッカーの影響を除去する。

＜フリッカー除去用撮像素子＞
フリッカー除去用撮像素子３（以下、単に「撮像素子３」と呼ぶ）は、レンズ２から入ってきた光を電気信号に変換する電子部品である。撮像素子３は、ローリングシャッター（ライン露光）方式のものであればよく、例えば、ＣＭＯＳイメージセンサーを用いることができる。撮像素子３のスペックは、特に限定されず、画素数や階調などを任意に決定することができる。以下で説明する撮像素子３のスペックに関する数値についても、例示である。撮像素子３は、ＸＹアドレス方式によるスイッチ動作で画素を選択し、電気信号（通常画素出力信号Ｇ_Ａ、検出用画素出力信号Ｇ_Ｂ）を映像信号生成回路６に出力する。

図２に示すように、撮像素子３は、画素アレイ３１と、通常画素用垂直走査回路３２ａ，３２ｂと、検出用画素用垂直走査回路３３と、通常画素用信号処理回路３４ａ，３４ｂと、検出用画素用信号処理回路３５ａ，３５ｂと、信号出力回路３６ａ，３６ｂと、を備えて構成されている。通常画素用垂直走査回路３２ａ，３２ｂと、検出用画素用垂直走査回路３３と、通常画素用信号処理回路３４ａ，３４ｂと、検出用画素用信号処理回路３５ａ，３５ｂと、信号出力回路３６ａ，３６ｂとをまとめて周辺回路と呼ぶ場合がある。

（画素アレイ）
画素アレイ３１は、複数の画素Ｐ（図３参照）を基板上に２次元マトリクス状に配列したものである。ここでは説明を簡便にするために記載を簡略化しているが、例えば、垂直方向（列）に４３２０個の画素が並び、水平方向（行）に７６８０個の画素が並ぶことで、合計約３３００万個の画素が規則正しく配置されている。画素アレイ３１に配置される画素Ｐは、機能の違いによって通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとの２種類が存在する。

通常画素Ｐ_Ａは、フルスペックＳＨＶの映像信号を作成するためのものであり、１／１２０秒の露光時間で駆動する。通常画素Ｐ_Ａは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード（受光部）と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の１行分の通常画素Ｐ_Ａには、それぞれ１本の行選択信号線（以下、「通常用行選択信号線」）が接続されており、また、垂直方向の１列分の通常画素Ｐ_Ａには、それぞれ１本の列選択信号線（以下、「通常用列選択信号線」）が接続されている。

検出用画素Ｐ_Ｂは、フリッカーを検出するためのものであり、通常画素Ｐ_Ａよりも短い露光時間（例えば、１／２００秒）で駆動する。検出用画素Ｐ_Ｂは、露光時間が異なる以外は、通常画素Ｐ_Ａと同様の構成であってよい。つまり、検出用画素Ｐ_Ｂは、例えば、入射した光を光電変換して電荷として蓄積するフォトダイオード（受光部）と、蓄積した電荷を電圧に変換、増幅する増幅器とを備えて構成されている。
水平方向の１行分の検出用画素Ｐ_Ｂには、それぞれ１本の行選択信号線（以下、「検出用行選択信号線」）が接続されており、また、垂直方向の１列分の検出用画素Ｐ_Ｂには、それぞれ１本の列選択信号線（以下、「検出用列選択信号線」）が接続されている。

図３を参照して、通常画素Ｐ_Ａ、検出用画素Ｐ_Ｂの配置の仕方について説明する。検出用画素Ｐ_Ｂは、通常画素Ｐ_Ａに代えて予め定めた画素間隔（例えば、数１０〜数１００画素おきの等間隔）に配置されている。検出用画素Ｐ_Ｂの周囲には、フリッカー判定領域３１ａが仮想的に設定されている。このフリッカー判定領域３１ａは、検出用画素Ｐ_Ｂがフリッカーを検出した際に補正を行う通常画素Ｐ_Ａの範囲を示すものである。フリッカー判定領域３１ａは、隣り合うものと重ならないように、および隣り合うものとの間に隙間がないように、画素アレイ３１の全体に事前（例えば、製造時）に設定される。

フリッカー判定領域３１ａの形状は、画素Ｐの形状に合わせるのがよい。ここでは、画素Ｐの形状として正方形を想定しているので、フリッカー判定領域３１ａは正方形になっている。しかしながら、これに限定されるものではなく、画素Ｐの形状とは関係なく他の形状（例えば、三角形）にすることも可能である。

図４を参照して、通常画素Ｐ_Ａおよび検出用画素Ｐ_Ｂの露光時間の関係について説明する。検出用画素Ｐ_Ｂは、通常画素Ｐ_Ａよりも短い露光時間（例えば、１／２００秒）で駆動する。このように、通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとでは露光時間が異なるので、検出用画素Ｐ_Ｂの輝度値を映像信号の作成に用いることは難しい。本実施形態においては、検出用画素Ｐ_Ｂの輝度値を映像信号の作成に用いずに、検出用画素Ｐ_Ｂの周囲の通常画素Ｐ_Ａを用いて検出用画素Ｐ_Ｂの情報を補完する。この補完は、公知技術を用いることが可能であり、例えば、周囲の通常画素Ｐ_Ａから取得した情報に重みづけを行った後に足し合わせることにより行う。この補完処理を行うタイミングは、後記するフリッカー除去回路７０の処理の前後のどちらでもよく、例えば、並べ替え・デモザイキング処理部６１や映像処理部６３で行えばよい。

（通常画素用垂直走査回路）
図２に示す、通常画素用垂直走査回路３２ａ，３２ｂは、１行分の通常画素Ｐ_Ａを選択し、通常画素Ｐ_Ａが変換した電圧（アナログ信号）をフレーム周波数１２０Ｈｚで通常画素用信号処理回路３４ａ，３４ｂに出力するものである。通常画素用垂直走査回路３２ａ，３２ｂは、いずれかの通常用行選択信号線に行選択信号を出力することによって、１行分の通常画素Ｐ_Ａを選択する。通常画素用垂直走査回路３２ａは、奇数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して通常画素Ｐ_Ａが変換した電圧（アナログ信号）を通常画素用信号処理回路３４ａに出力する。一方、通常画素用垂直走査回路３２ｂは、偶数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して通常画素Ｐ_Ａが変換した電圧（アナログ信号）を通常画素用信号処理回路３４ｂに出力する。

（検出用画素用垂直走査回路）
図２に示す、検出用画素用垂直走査回路３３は、１行分の検出用画素Ｐ_Ｂを選択し、検出用画素Ｐ_Ｂが変換した電圧（アナログ信号）をフレーム周波数２００Ｈｚで検出用画素用信号処理回路３５ａ，３５ｂに出力するものである。検出用画素用垂直走査回路３３は、いずれかの検出用行選択信号線に行選択信号を出力することによって、１行分の検出用画素Ｐ_Ｂを選択する。検出用画素用垂直走査回路３３は、検出用列選択信号線を介して奇数列の検出用画素Ｐ_Ｂが変換した電圧（アナログ信号）を検出用画素用信号処理回路３５ａに出力し、一方、検出用列選択信号線を介して偶数列の検出用画素Ｐ_Ｂが変換した電圧（アナログ信号）を検出用画素用信号処理回路３５ｂに出力する。なお、ここでは、検出用画素Ｐ_Ｂの総数が通常画素Ｐ_Ａの総数に比べてそれ程多くないので、一つの検出用画素用垂直走査回路３３で処理を行っているが、処理のスピードが遅くなるようであれば、通常画素用垂直走査回路３２ａ，３２ｂのように、奇数列と偶数列とで処理を分担してもよい。

（通常画素用信号処理回路）
通常画素用信号処理回路３４ａ，３４ｂは、サンプリング回路とＡ／Ｄ変換回路とを含んで構成され、通常画素Ｐ_Ａから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、Ａ／Ｄ変換回路で１２ビットのデジタル信号に変換する。通常画素用信号処理回路３４ａは、奇数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路３６ａに出力する。一方、通常画素用信号処理回路３４ｂは、偶数列の通常画素Ｐ_Ａの処理を担当し、通常用列選択信号線を介して変換したデジタル信号を信号出力回路３６ｂに出力する。

（検出用画素用信号処理回路）
検出用画素用信号処理回路３５ａ，３５ｂは、サンプリング回路とＡ／Ｄ変換回路とを含んで構成され、検出用画素Ｐ_Ｂから出力されたアナログ信号のノイズをサンプリング回路で除去した後に、Ａ／Ｄ変換回路で１２ビットのデジタル信号に変換する。検出用画素用信号処理回路３５ａは、奇数列の検出用画素Ｐ_Ｂの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路３６ａに出力する。一方、検出用画素用信号処理回路３５ｂは、偶数列の検出用画素Ｐ_Ｂの処理を担当し、検出用列選択信号線を介して変換したデジタル信号を信号出力回路３６ｂに出力する。

（信号出力回路）
信号出力回路３６ａ，３６ｂは、それぞれの通常用列選択信号線に出力されたデジタル信号を順に選択して、通常画素出力信号として映像信号生成回路６（図１参照）に出力する。また、信号出力回路３６ａ，３６ｂは、それぞれの検出用列選択信号線に出力されたデジタル信号を順に選択して、検出用画素出力信号として映像信号生成回路６（図１参照）に出力する。信号出力回路３６ａは、奇数列の通常画素Ｐ_Ａや検出用画素Ｐ_Ｂの処理を担当し、信号出力回路３６ｂは、偶数列の通常画素Ｐ_Ａや検出用画素Ｐ_Ｂの処理を担当する。

このように、撮像素子３は、行・列の指定に基づいた順次走査（ＸＹアドレス方式によるスイッチ（ＳＷ）動作）により画素Ｐ（通常画素Ｐ_Ａ，検出用画素Ｐ_Ｂ）を選択し、通常画素Ｐ_Ａから出力されるアナログ信号をデジタル信号に変換後に通常画素出力信号として映像信号生成回路６に出力し、一方、検出用画素Ｐ_Ｂから出力されるアナログ信号をデジタル信号に変換後に検出用画素出力信号として映像信号生成回路６に出力する。

＜駆動回路＞
図１に戻って、撮像装置１の構成について説明する。駆動回路４は、撮像素子３を駆動させるための駆動用のドライバである。駆動回路４は、例えば、通常画素Ｐ_Ａの出力タイミングに合わせて通常画素用垂直走査回路３２ａ，３２ｂおよび通常画素用信号処理回路３４ａ，３４ｂを駆動させるための通常用の回路と、検出用画素Ｐ_Ｂの出力タイミングに合わせて検出用画素用垂直走査回路３３および検出用画素用信号処理回路３５ａ，３５ｂを駆動させるための検出用の回路とを備えている。

＜電源回路＞
電源回路５は、撮像装置１内に共通の電源電圧を供給するためのものである。電源回路５は、例えば、供給配線を介して電源電圧を供給する。

＜映像信号生成回路＞
映像信号生成回路６は、フルスペックＳＨＶに対応する放送用の映像信号を生成するものである。映像信号生成回路６は、映像処理回路６０と、フリッカー除去回路７０とを備えて構成されている。映像信号生成回路６は、例えば、ＦＰＧＡ（Field Programmable Gate Array：プログラミング可能な集積回路）である。

（映像処理回路）
映像処理回路６０は、通常画素出力信号に対して各種の映像処理を行い、映像信号を生成するものである。映像処理回路６０の概略構成図を図５に示す。
映像処理回路６０は、並べ替え・デモザイキング処理部６１と、切り替えＳＷ６２と、映像処理部６３と、を備えて構成されている。

並べ替え・デモザイキング処理部６１には、撮像素子３の信号出力回路３６ａから奇数列の通常画素Ｐ_Ａの出力に基づく通常画素出力信号Ｇ_Ａが入力され、また、信号出力回路３６ｂから偶数列の通常画素Ｐ_Ａの出力に基づく通常画素出力信号Ｇ_Ａが入力される。
並べ替え・デモザイキング処理部６１は、画面内の位置と時間（フレーム番号）とが整合するように通常画素出力信号の並べ替えを行った後に、デモザイキング処理を行う。デモザイキング処理は、各画素で撮像されない色の輝度値（画素値）を、周辺画素において撮像された当該色の輝度値に基づいて生成することにより、各画素で三色の輝度値を得るものである。この処理は、撮像素子３として、例えば、ベイヤ（Ｂａｙｅｒ）配列の色フィルタを有する場合に必要である。そして、並べ替え・デモザイキング処理部６１は、切り替えＳＷ６２に、処理後の通常画素出力信号Ｇ_Ａを出力する。

切り替えＳＷ６２には、並べ替え・デモザイキング処理部６１からデモザイキング処理後の通常画素出力信号Ｇ_Ａが入力される。
切り替えＳＷ６２は、フリッカー除去回路７０を任意に切り離すためのものである。切り替えＳＷ６２は、例えば、撮像装置１が備える図示しない操作部に連動しており、撮影者による操作部の操作によって切り替えＳＷ６２のＯＦＦ／ＯＮが変更する。図６に切り替えＳＷ６２のＯＦＦ／ＯＮの状態を示す。切り替えＳＷ６２がＯＦＦの場合には、図６（ａ）に示すように、フリッカー除去回路７０（図５参照）を切り離し、並べ替え・デモザイキング処理部６１と映像処理部６３とを接続する。一方、切り替えＳＷ６２がＯＮの場合には、図６（ｂ）に示すように、フリッカー除去回路７０（図５参照）を切り離さず、並べ替え・デモザイキング処理部６１と演算回路７２とを接続する。

映像処理部６３には、切り替えＳＷ６２を介して、並べ替え・デモザイキング処理部６１または後記するフリッカー除去回路７０の演算回路７２から通常画素出力信号Ｇ_Ａが入力される。
映像処理部６３は、入力された通常画素出力信号Ｇ_Ａに対して、欠陥補正処理、ホワイト・バランス処理、補間処理、色補正処理、輪郭補正処理などの画像補正処理やガンマ補正処理を行い、映像信号Ｇを生成する。ここでの映像信号Ｇは、フルスペックＳＨＶに対応する放送用の映像信号である。映像処理部６３は、生成した映像信号Ｇを撮像装置１の外部に出力する。

（フリッカー除去回路）
フリッカー除去回路７０は、画面内（フレーム内）の部分的なフリッカーを通常画素出力信号から除去するものである。フリッカー除去回路７０の概略構成図を図５に示す。
フリッカー除去回路７０は、メモリー７１と、演算回路７２とを備えて構成されている。

メモリー７１には、撮像素子３の信号出力回路３６ａ，３６ｂ（図２参照）から検出用画素出力信号Ｇ_Ｂが入力され、画面内の位置と時間（フレーム番号）とが整合するように並べ替えを行った後に格納される。
メモリー７１は、例えば、ある程度のフレーム数分（例えば、数十フレーム）だけの検出用画素出力信号Ｇ_Ｂを格納することが可能である。図７に、メモリー７１に格納される検出用画素出力信号Ｇ_Ｂのイメージを示す。新しいフレームが入力されると、最も古いフレームがメモリー７１から削除される。

図５に示すように、演算回路７２は、フーリエ変換部７３と、光源輝度波形解析部７４と、画素輝度値算出部７５と、補正係数算出部７６とからなる。演算回路７２には、並べ替え・デモザイキング処理部６１から通常画素出力信号Ｇ_Ａが入力される。また、演算回路７２には、メモリー７１に格納される検出用画素出力信号Ｇ_Ｂが入力される。ここでは、処理の概要のみを説明し、その詳細は「撮像装置の動作」で説明する。

フーリエ変換部７３は、メモリー７１から所定フレーム分の検出用画素出力信号Ｇ_Ｂを取得する。取得するフレーム数は、高速フーリエ変換を行うことが可能なように、２^ｎ個であることが望ましい。フーリエ変換部７３は、所定フレーム分の過去の検出用画素Ｐ_Ｂの輝度値（例えば、１２階調）を検出用画素Ｐ_Ｂ単位で離散フーリエ変換することで、時間経過に伴う輝度変化の周期を検出用画素Ｐ_Ｂ単位で求める（図７参照）。そして、フーリエ変換部７３は、輝度変化の周期にフリッカーの原因となる成分（ここでは、１００Ｈｚ）が含まれている場合に、当該フリッカー判定領域３１ａにフリッカーがあると判定する。この判定は、例えば、輝度変化の周期にフリッカーの原因となる成分が少しでも含まれている場合にフリッカーがあると判定してもよいし、閾値を設定してその値を超えた場合にフリッカーがあると判定してもよい。

光源輝度波形解析部７４は、フーリエ変換部７３が求めた輝度変化の周期にフリッカーの原因となる成分（ここでは、１００Ｈｚ）が含まれている場合に、図７に示す所定フレーム分の過去の検出用画素Ｐ_Ｂの輝度値（１２階調）から時間経過に伴う過去の輝度変化の波形を求める（図９の符号８０１参照）。

画素輝度値算出部７５は、光源輝度波形解析部７４が求めた輝度変化の波形を、通常画素Ｐ_Ａの露光時間（１／１２０秒）単位で積分を行うことで、検出用画素Ｐ_Ｂにおける通常画素Ｐ_Ａの露光時間単位での画素輝度値変化の波形を求める（図９の符号８０２参照）。この符号８０２で示す画素輝度値変化の波形は、フリッカーにより画面上に現れる明暗のパターンに対応する。

補正係数算出部７６は、画素輝度値算出部７５が求めた画素輝度値変化の波形から、検出用画素Ｐ_Ｂの周辺に配置される通常画素Ｐ_Ａでの影響を予測し、フリッカーが影響する通常画素Ｐ_Ａを探索する。このフリッカーが影響する通常画素Ｐ_Ａの探索は、例えば、求めた画素輝度値変化の波形と、各々の通常画素Ｐ_Ａの輝度変化（輝度値の変化）とを比較し、その一致具合に基づいてフリッカー影響下にあるか否かを判定する。
また、補正係数算出部７６は、フリッカーの影響がある通常画素Ｐ_Ａについてフリッカーを打ち消す増幅率（補正係数）を求め、映像処理回路６０から入力された通常画素出力信号Ｇ_Ａの該当する通常画素Ｐ_Ａの輝度値に求めた増幅率を乗じることによって、フリッカーの影響を除去する（補正する）。この増幅率（補正係数）は、図９の符号８０２に示す画素輝度値変化の最低値、最高値および平均値の何れかに近づく様に決定するのがよい。画素輝度値変化の最低値、最高値または平均値は、画素輝度値変化の波形の周期、位相から計算で求めることができる。

画素輝度値変化（図９の符号８０２参照）の最低値に通常画素Ｐ_Ａの輝度値を揃える場合を例に挙げて、増幅率（補正係数）を乗じる処理を説明する。ｍ番目のフレームにおけるＮ行目の画素輝度値をＶ（Ｎ，ｍ）とし、Ｖ（Ｎ，ｍ）の最低値をαとした場合に、補正係数Ｃ（Ｎ，ｍ）は、「Ｃ（Ｎ，ｍ）＝α／Ｖ（Ｎ，ｍ）」で表すことができる。ここで、補正係数Ｃ（Ｎ，ｍ）が行とフレームを引数にしているのは、フリッカーの輝度変化が列とは関係なく行のみに関係するためである。補正係数算出部７６は、この式を用いて補正係数Ｃ（Ｎ，ｍ）をフリッカーの影響がある通常画素Ｐ_Ａについて算出し、算出した補正係数Ｃ（Ｎ，ｍ）を実際の通常画素Ｐ_Ａの輝度値に乗じる。これにより、フリッカーの影響を除去した輝度値を得ることができる。

例えば、あるフリッカー判定領域３１ａに１行１列目から９行９列目までの合計で８０個の通常画素Ｐ_Ａが配置されており（５行５列目には検出用画素Ｐ_Ｂが配置されている）、ｍフレームにおける２行１列目〜２行８列目、３行１列目〜３行５列目に配置された通常画素Ｐ_Ａにフリッカーの影響がある場合を想定する。
補正係数算出部７６は、前述した式を用いて補正係数Ｃ（２，ｍ）を算出し、通常画素出力信号Ｇ_Ａのｍフレーム目の２行１列目〜２行８列目の通常画素Ｐ_Ａに対応する輝度値にＣ（２，ｍ）を乗じる。また、補正係数算出部７６は、補正係数Ｃ（３，ｍ）を算出し、通常画素出力信号Ｇ_Ａのｍフレーム目の３行１列目〜３行５列目の通常画素Ｐ_Ａに対応する輝度値にＣ（３，ｍ）を乗じる。
このように、一つのフリッカー判定領域３１ａでは、フリッカーの影響がある通常画素Ｐ_Ａ行分の補正係数Ｃ（Ｎ，ｍ）の算出が必要であり、その算出量は、最大でその領域に含まれる行数分になる。なお、あるフリッカー判定領域３１ａで算出した補正係数Ｃ（Ｎ，ｍ）を、他のフリッカー判定領域３１ａで利用することもできる。

≪実施形態に係る撮像装置の動作≫
図８（適宜、図５を参照）を参照して、フリッカー除去回路７０の処理について説明する。図８は、フリッカー除去回路７０のフローチャートである。図８に示す処理は、検出用画素Ｐ_Ｂの単位に、すべての検出用画素Ｐ_Ｂについて行われる。

最初に、フーリエ変換部７３は、特定の検出用画素Ｐ_Ｂのある程度まとまったフレーム分（ここでは、２００フレーム分）の過去の輝度値（１２階調）に対して離散フーリエ変換を掛ける（図７参照）ことで輝度変化（輝度値の変化）の周期を求める（ステップＳ１０）。

続いて、フーリエ変換部７３は、ステップＳ１０で求めた輝度変化の周期に１００Ｈｚの成分があるか否かを判定する（ステップＳ２０）。フーリエ変換部７３は、輝度変化の周期に１００Ｈｚの成分がない（ステップＳ２０で“Ｎｏ”）場合に、「フリッカーなし」と判定する（ステップＳ３０）。そして、当該検出用画素Ｐ_Ｂの処理を終了し、次の検出用画素Ｐ_Ｂの処理に移行する。一方、フーリエ変換部７３は、輝度変化の周期に１００Ｈｚの成分がある（ステップＳ２０で“Ｙｅｓ”）場合に、「フリッカーあり」と判定する（ステップＳ４０）。そして、処理はステップＳ５０に進む。

続いて、光源輝度波形解析部７４は、所定フレーム分の過去の検出用画素Ｐ_Ｂの輝度値（１２階調）から時間経過に伴う過去の輝度変化の波形（図９の符号８０１）を求める（ステップＳ５０）。

続いて、画素輝度値算出部７５は、ステップＳ５０で求めた過去の輝度変化の波形を通常画素Ｐ_Ａの露光時間単位（１／１２０秒単位）で積分することで、検出用画素Ｐ_Ｂにおける画素輝度値変化の波形（図９の符号８０２）を求める（ステップＳ６０）。

続いて、補正係数算出部７６は、当該検出用画素Ｐ_Ｂが担当するフリッカー判定領域３１ａ（図３参照）に配置される通常画素Ｐ_Ａ（周辺画素）での影響を予測し、フリッカーが影響する通常画素Ｐ_Ａを探索する（ステップＳ７０）。

続いて、補正係数算出部７６は、フリッカーの影響を受ける通常画素Ｐ_Ａについてフリッカーを打ち消す補正係数を求め、求めた補正係数を用いて通常画素出力信号Ｇ_Ａ（通常画素Ｐ_Ａの輝度値）を補正する（ステップＳ８０）。そして、当該検出用画素Ｐ_Ｂの処理を終了し、次の検出用画素Ｐ_Ｂの処理に移行する。

以上のように、本実施形態に係る撮像装置１は、通常画素Ｐ_Ａに代えて予め定めた画素間隔で配置された検出用画素Ｐ_Ｂが、通常画素Ｐ_Ａよりも短い露光時間で駆動する。そして、撮像装置１は、この検出用画素Ｐ_Ｂの輝度値を用いて輝度変化の波形を求め、通常画素Ｐ_Ａの露光時間単位で積分を行うことで、検出用画素Ｐ_Ｂにおける通常画素Ｐ_Ａの露光時間単位での画素輝度値変化の波形を求める。その為、撮像装置１は、画素輝度値変化の波形から検出用画素Ｐ_Ｂの周辺に配置される通常画素Ｐ_Ａでのフリッカーの影響を予測することができ、画面内（フレーム内）の部分的なフリッカーを除去することが可能になる。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。

実施形態に係る撮像装置１では、フーリエ変換部７１が輝度変化の周期に１００Ｈｚの成分があった場合に、「フリッカーあり」と判定していたが、フリッカーある・なしの判定はこれに限定されるものではない。例えば、フリッカーは、数値的にはそれ程大きな変動でなくても実際に画面で見ると影響が大きい場合もある。その為、フリッカーの検出のための閾値は、適宜選択するのがよい。

また、実施形態に係る撮像装置１では、撮像素子３として通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとが同一の基板上に配置されている場合（一体方式のもの）を想定していたが、これに限定されるものではない。例えば、通常画素Ｐ_Ａと検出用画素Ｐ_Ｂとを別々の基板に配置しておき、レンズ２から入った光を分けて、検出用画素Ｐ_Ｂが分けた光で処理を行うことも可能である。また、レンズ２から入った光を分けて、検出用画素Ｐ_Ｂを分けた光の空間にマッピングしてもよい。

１ 撮像装置
２ レンズ
３ フリッカー除去用撮像素子（撮像素子）
４ 駆動回路
５ 電源回路
６ 映像信号生成回路
３１ 画素アレイ
３１ａ フリッカー判定領域
３２ａ，３２ｂ 通常画素用垂直走査回路（周辺回路）
３３ 検出用画素用垂直走査回路（周辺回路）
３４ａ，３４ｂ 通常画素用信号処理回路（周辺回路）
３５ａ，３５ｂ 検出用画素用信号処理回路（周辺回路）
３６ａ，３６ｂ 信号出力回路（周辺回路）
６０ 映像処理回路
６１ 並べ替え・デモザイキング処理部
６２ 切り替えＳＷ
６３ 映像処理部
７０ フリッカー除去回路
７１ メモリー
７２ 演算回路
７３ フーリエ変換部
７４ 光源輝度波形解析部
７５ 画素輝度値算出部
７６ 補正係数算出部
Ｐ 画素
Ｐ_Ａ 通常画素
Ｐ_Ｂ 検出用画素
Ｇ 映像信号
Ｇ_Ａ 通常画素出力信号
Ｇ_Ｂ 検出用画素出力信号

Claims (2)

1. ローリングシャッター方式で画像を撮像する撮像装置であって、
   行および列からなる２次元マトリクス状に複数の画素が配列された画素アレイ、および前記画素を行、列の指定に基づいて順次走査し、前記画素の輝度値をデジタル信号として出力する周辺回路を備える撮像素子と、
   前記撮像素子が出力したデジタル信号から映像信号を生成する映像信号生成回路と、を備え、
   前記画素は、前記映像信号を作成するための通常画素と、フリッカーを検出するための画素であり、前記通常画素よりも短い露光時間で駆動する検出用画素とがあり、
   前記画素アレイは、前記通常画素に代えて予め定めた画素間隔で前記検出用画素が配置されており、
   前記映像信号生成回路は、映像処理回路とフリッカー除去回路とを備え、
   前記フリッカー除去回路は、
   前記検出用画素の所定フレーム分の過去の輝度値を離散フーリエ変換することで、前記検出用画素毎に輝度変化の周期を求めるフーリエ変換部と、
   フーリエ変換部が求めた前記輝度変化の周期にフリッカーの原因となる成分が含まれている場合に、所定フレーム分の過去の輝度変化の波形を求める光源輝度波形解析部と、
   前記光源輝度波形解析部が求めた前記輝度変化の波形を、前記通常画素の露光時間単位で積分を行うことで前記通常画素の露光時間単位での画素輝度値変化の波形を求める画素輝度値算出部と、
   前記画素輝度値算出部が求めた前記画素輝度値変化の波形から前記検出用画素の周辺に配置される前記通常画素でのフリッカーの影響を予測し、フリッカーの影響がある前記通常画素についてフリッカーを打ち消す補正係数を求め、この補正係数を用いて前記デジタル信号を補正する補正係数算出部と、を有する、
   ことを特徴とする撮像装置。
2. コンピュータを、請求項１に記載の撮像装置として機能させるためのフリッカー除去プログラム。
   

Images