JP7039720B2 - 撮像装置、映像処理方法、およびプログラム - Google Patents

Description

本発明は、撮像装置、映像処理方法、およびプログラムに関する。

近年のＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子の性能向上 により、従来ＣＣＤ（Charge Coupled Device）撮像素子の採用が主流であった放送カ メラ等の業務用撮像装置においてもＣＭＯＳ撮像素子が採用されることが多くなっている 。

ＣＭＯＳ撮像素子では、主走査方向の走査ライン（以下、「ライン」という。）毎に順 次に電荷蓄積（以下、露光という）を開始し、ライン毎に映像信号を順次読み出してフレ ームを出力するローリングシャッタ方式のものが多い。
このローリングシャッタ方式では、ライン毎に露光を開始する時間が異なるため、フレ ームの途中で被写体にフラッシュが焚かれた場合、読み出されたフレーム内の映像信号に 帯状の信号レベルの段差（フラッシュバンド）が生じることがある。

このフラッシュバンドを検出する技術はいくつか提案されている。

例えば、特許文献１には、１フレーム内においてライン間の信号レベルを算出し、１フ レーム内でレベル変化があった場合、その変化値が所定値以上であればフラッシュバンド が発生したと検出する方法が開示されている。

また、特許文献２には、１フレーム目の画面下部と２フレーム目の画面上部に画素の信 号レベルが増加した領域が存在し、さらに、１フレーム目でレベルが増加した領域が、２ フレーム目で信号レベルが減少していた場合にフラッシュバンドが発生したと検出する方 法が開示されている。

また、発生したフラッシュバンドを補正する技術もいくつか提案されている。

例えば、特許文献１には、フラッシュバンドが発生したフレームを除去し、フラッシュ バンドが発生していない前フレームに置き換える方法や、フラッシュバンドが発生した複 数フレームの中で、同じ信号レベルのラインの映像同士を繋ぎ合わせた映像を生成して置 き換える方法が開示されている。

また、特許文献２には、フラッシュバンドが発生したフレームを除去し、フラッシュバ ンドが発生していない前後のフレームの映像を合成して置き換える方法が開示されている 。

さらに、特許文献３には、フラッシュバンドが発生したフレームを除去し、フラッシュ バンドが発生する前のフレームの映像を用いて、擬似的に画面全体にフラッシュの影響を 受けた映像を生成して置き換える方法が開示されている。

特開２０１５－１２６４２５号公報 特開２００７－３０６２２５号公報 特開２０１４－１８７６７３号公報

しかしながら、１フレーム内のライン間の信号レベルの変化によってフラッシュバンド を検出する方法では、上下方向に信号レベルがくっきりと分かれる被写体を撮像した場合 にフラッシュバンドと誤って検出してしまう不具合がある。

また、多くの会見者が集まる記者会見などでは、特に注目される場面（被会見者がポー ズをとる場面や頭を下げる場面など）で、多くのフラッシュが連続して照射されることが 多い。この場合、数フレームにわたってフラッシュバンドが発生し続けるため、フレーム 間で信号レベルを比較してフラッシュバンドを検出する方法では正確な検出を行うことが 難しい。

さらに、数フレームにわたって連続してフラッシュバンドが発生した場合、フレームを 置き換える補正方法では、数フレームにわたって映像が静止してしまう。

また、同一フレーム内において、複数のフラッシュが重畳して照射された場合には、信 号レベルの異なる複数のフラッシュバンドが発生する。また、フラッシュの発光期間が長 くなると、数十ラインから数百ラインにもわたって緩やかに信号レベルが変化するフラッ シュバンドが発生する。このようなケースにおいて、フラッシュバンドによる信号レベル の緩やかな変化を正確に検出・補正することは困難であった。

そこで、本発明は、フラッシュバンドを適切に検出・補正する技術を提供することを目 的とする。

上記課題を解決するために、代表的な本発明の撮像装置の一つは、被写体像の光を分光 する光学系と、光学系により分光された各被写体像をそれぞれローリングシャッタ方式で 撮像する複数の撮像素子と、複数の撮像素子の間においてローリングシャッタ方式の先幕 ／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらす撮像部と、複 数の撮像素子が出力する映像信号を互いに比較して、映像信号の間に生じるライン単位の レベル相違を求める比較部と、レベル相違に基づいてフラッシュバンドによる映像信号の 影響を補正する補正部とを備える。

本発明によれば、フラッシュバンドを適切に検出・補正することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる 。

実施例１の構成例を示すブロック図である。 撮像素子のローリングシャッタ動作を説明する図である。 ローリングシャッタ動作を時間軸に表した説明図である。 フラッシュバンドの検出・補正を説明する図である。 フラッシュバンドの検出・補正を説明する図である。 ローリングシャッタ動作を時間軸に表した説明図である。 フラッシュバンドの検出・補正を説明する図である。 ローリングシャッタ動作を時間軸に表した説明図である。 フラッシュバンドの検出・補正を説明する図である。 撮像素子の空間ラインずらしを説明する図である。 実施例３の構成例を示すブロック図である。

以下、図面に基づいて、発明の実施形態を説明する。

＜実施例１の構成説明＞
図１は、実施例１の構成例を示すブロック図である。
図１において、撮像装置１は、レンズ２ａおよび分光プリズム２ｂを備える光学系、撮 像素子Ａ、撮像素子Ｂ、駆動部３、映像信号処理部４、映像信号出力部５、およびＣＰＵ （Central Processing Unit）部７を備える。

レンズ２ａは、被写体からの入射光を被写体像に結像する。分光プリズム２ｂは被写体 像の結像光を分光する。

撮像素子Ａ，Ｂは、同一仕様のモノクロまたはカラーモザイクフィルタの撮像素子であ る。撮像素子Ａ，Ｂの撮像領域は、分光プリズム２ｂに対して分光された各被写体像を同 画素位置で受光する位置に配置される。また、同一仕様のローリングシャッタ形式により ライン単位に電荷蓄積および読み出しがなされる。

駆動部３は、駆動信号生成部３１および駆動遅延部３２を備える。駆動信号生成部３１ は、撮像素子Ａ，Ｂの駆動信号（例えば、水平同期信号や垂直同期信号など）を生成する 。駆動遅延部３２は、撮像素子Ａの駆動信号に対して、撮像素子Ｂの駆動信号を所定時間 だけ遅延させる。

映像信号処理部４は、信号遅延部４１、比較部４２、補正部４３、映像合成部４４、ガ ンマ補正部４５などを備える。

信号遅延部４１は、撮像素子Ａから出力される映像信号ａを所定時間だけ遅延させるこ とにより、露光開始の遅れた撮像素子Ｂの映像信号ｂに対して、映像信号ａの映像位相を 合わせる。

比較部４２は、映像位相を合わせた映像信号ａ，ｂについて、ライン単位に信号レベル を比較して、ゲイン差などのレベル相違を求める。このような比較は、輝度成分について 行ってもよいし、またカラーモザイクの色成分（例えばベイヤー配列のＲＧＢ色成分）別 に行ってもよい。また、１ラインの平均レベルを比較してもよいし、１ラインの画素単位 に比較してもよい。

補正部４３は、映像位相を合わせた映像信号ａ，ｂそれぞれを内部のラインメモリに順 次に保持する。補正部４３は、比較部４２で求めたライン単位のレベル相違に基づいて、 後述するルールに従って映像信号ａ，ｂをライン単位に利得補正し、フラッシュバンドの 影響を低減する。

映像合成部４４は、フラッシュバンドの影響を低減した映像信号ａ，ｂを１つの映像信 号（輝度色差信号など）に合成する。ここで、撮像素子Ａ，Ｂが画素ずらし配列されてい る場合は、解像度を高める処理が行われる。
ガンマ補正部４５は、合成された映像信号に対して利得補正、ガンマ補正、ニー補正、 輪郭補正、色補正などの各種映像信号処理を施す。

映像信号出力部５は、映像信号処理部４から出力される映像信号を、ＨＤ－ＳＤＩ（Hi gh Definition Serial Digital Interface）信号などの所定の映像信号形式に変換し 、外部に出力する。
ＣＰＵ部７は、駆動部３の制御や、映像信号処理部４の制御などを実行する。
次に、実施例１の各種動作について順番に説明する。

＜ローリングシャッタ動作の説明＞
図２は、撮像素子Ａ，Ｂのローリングシャッタ動作を説明する図である。
同図において、電子先幕は、撮像素子Ａ，Ｂの撮像領域の蓄積電荷を１ライン分排出し てリセットする動作である。このリセットされたラインは、その瞬間から受光量に応じた 電荷蓄積を開始する。

一方、電子後幕は、撮像素子Ａ，Ｂの蓄積電荷による電圧（映像信号）を１ライン分読 み出す動作である。
この電子先幕と電子後幕との間に挟まれる画素領域は、電荷蓄積を継続中（つまり露光 中）の領域であり、ローリングシャッタにおけるシャッタ幕間のスリット範囲に該当する 。以下、これをスリット範囲という。

このスリット範囲は、撮像装置１が設定する露出時間（シャッタ速度）により決まるス リット幅（ライン数）を保ちながら、副走査方向に所定の副走査速度で移動する。
図２に示すように、撮像素子Ｂのスリット範囲は、撮像素子Ａのスリット範囲に対して 副走査方向に少なくとも１ライン分（１ラインの短尺方向の幅）だけ遅れた状態を保って 移動（走査）する。

このスリット範囲の遅れは、駆動部３において、撮像素子Ｂの駆動信号を撮像素子Ａの駆動信号に対して所定時間だけ遅延させ、撮像素子Ａ，Ｂの露光開始タイミングをずらすことにより実現する。この場合の所定時間は、次式を目安に決定できる。
露光開始を遅延させる所定時間＝ずれ幅のライン数×映像信号の１ライン期間
以下、説明を簡略化するために、スリット範囲のずれ幅を１ライン分とするが、必要に応じて、少なくとも複数ｎライン分（１ラインの短尺幅のｎ倍）としてもよい。

なお、このローリングシャッタ動作では、撮像素子Ａが撮像した映像と、撮像素子Ｂが 撮像した映像は、露光開始を遅延させた所定時間だけ同期がずれることになる。そのため 、厳密には、同じ瞬間の被写体の映像ではない。しかし、例えばフルＨＤ（例えば、フレ ームレート６０Ｈｚで総ライン数１１２５本のプログレッシブスキャン）の撮像素子では 、映像信号の１ライン期間は約１５マイクロ秒という一瞬であり、超高速被写体の撮影で ない限り、撮像素子Ａと撮像素子Ｂは、同じ瞬間の被写体の映像を撮像したものと見なす ことができる。 ＜画面上部および画面下部に発生するフラッシュバンドの検出・補正＞
続いて、図３～図５を参照して、画面上部および画面下部に発生するフラッシュバンド の検出・補正について説明する。

図３は、ローリングシャッタ動作を時間軸に表した説明図である。
同図において、２フレーム目の撮像領域の下部から３フレーム目の撮像領域の上部にス リット範囲が跨がったタイミングで、被写体に第三者のフラッシュが照射されている。そ のため、撮像映像において、２フレーム目の画面下部、および３フレーム目の画面上部に 、フラッシュバンドが発生する。

図４は、この２フレーム目におけるフラッシュバンドの検出・補正を説明する図である 。
同図において、撮像素子ＡがＸライン目の電荷蓄積を完了した後で、かつ露光開始を１ ライン分遅らせた撮像素子ＢがＸラインの電荷蓄積をまだ行っているタイミングで、フラ ッシュが照射される。

この場合、撮像素子ＡのＸライン目は、電荷蓄積を完了しているため、フラッシュバン ドは発生しない。一方、撮像素子ＢのＸライン目は、電荷蓄積中のため、フラッシュバン ドが発生する。
比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘライン目に発生したレベル相違を検出し、補正部４３に出力する。

補正部４３は、図４に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを下回るラインを、フラッシュバンドの開始 ラインと判定する。

補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えることで、誤った補正を防止する。

補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
例えば、図４に示すＸライン目では、レベル相違：－６ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢ となる。

図４に示す撮像素子Ｂの（Ｘ＋１）ライン以降では、レベル相違：０ｄＢに対して、１ ライン前の補正値ｇｂ：－６ｄＢを合成することにより、補正値ｇｂは－６ｄＢを継続す る。

補正部４３は、求めた補正値ｇｂにより映像信号ｂをレベル補正する。このレベル補正 により、撮像素子Ｂの映像信号ｂに発生した画面下部のフラッシュバンドは暗く補正され て目立たなくなる。

また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれて発生した画面下部のフラッシュバンドは暗く 補正されて目立たなくなる。

図５は、図３に示した３フレーム目のフラッシュバンドの検出・補正を説明する図であ る。
同図において、撮像素子ＡがＸライン目の電荷リセットを完了して電荷蓄積を開始した 後で、かつ撮像素子Ｂが電荷蓄積を開始する前のタイミングで、フラッシュが照射される 。

この場合、撮像素子ＡのＸライン目には、電荷蓄積を開始した直後のため、フラッシュ バンドが発生する。一方、撮像素子ＢのＸライン目は、電荷蓄積を開始する前のため、フ ラッシュバンドは発生しない。

比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘライン目に発生したレベル相違を検出し、補正部４３に出力する。

補正部４３は、図５に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを上回るラインを、フラッシュバンドの終了 ラインと判定する。

補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えて、誤った補正を防止する。

補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
例えば、図５に示すＸライン目では、レベル相違：＋６ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは＋６ｄＢ となる。

図５に示す（Ｘ＋１）ライン以降では、レベル相違：０ｄＢに対して、１ライン前の補 正値ｇｂ：＋６ｄＢを合成することにより、補正値ｇｂは＋６ｄＢを継続する。

補正部４３は、この補正値ｇｂにより映像信号ｂのＸライン目以降をレベル補正する。 このレベル補正により、撮像素子Ｂの画面上部のフラッシュバンドに信号レベルを合わせ るように、画面下部が補正される。その結果、フラッシュバンドの境目は低減されて目立 たなくなり、画面全体が一様にフラッシュを受けた状態に補正される。

また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれて発生した画面下部のフラッシュバンドの境目 を低減されて目立たなくなり、画面全体が一様にフラッシュを受けた状態に補正される。 この補正は、フラッシュが焚かれた事実を映像として残しつつ、フラッシュバンドの見づ らさを除去する補正となる。

＜段階的に変化するフラッシュバンドの検出・補正＞
続いて、図６～図７を参照して、段階的に変化するフラッシュバンドの検出・補正につ いて説明する。

図６は、ローリングシャッタ動作を時間軸に表した説明図である。
同図において、発光期間の長いフラッシュが発生している。このようなフラッシュは、 高速シンクロ撮影のためのＦＰ発光や、複数回のフラッシュが重畳することにより発生す る。
この長い発光期間にわたって、スリット範囲（図２参照）が移動することにより、フラ ッシュバンドの境界域は、段階的に明るさが変化する。

図７は、この段階的に変化するフラッシュバンドの検出・補正を説明する図である。
同図において、撮像素子Ｂの映像信号ｂには、Ｘラインから（Ｘ＋１）ラインにかけて フラッシュバンドの明るさが段階的に増加する。

比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘラインから始まったレベル相違を、補正部４３に出力する。

補正部４３は、図７に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを下回るラインを、フラッシュバンドの開始 ラインと判定する。
補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えて、誤った補正を防止する。

補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して、現ラインの撮像素子Ｂの補正値ｇｂとする。
例えば、図７に示すＸライン目では、レベル相違：－３ｄＢに対して、（Ｘ－１）ライン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは－３ｄＢとなる。

図７に示す（Ｘ＋１）ライン目では、レベル相違：－３ｄＢに対して、Ｘライン目の撮像素子Ｂの補正値ｇｂ：－３ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢとなる。
図７に示す撮像素子Ｂの（Ｘ＋２）ライン以降では、レベル相違：０ｄＢに対して、１ライン前の補正値ｇｂ：－６ｄＢを合成することにより、補正値ｇｂは－６ｄＢを維持し続ける。

補正部４３は、求めた補正値ｇｂにより映像信号ｂをレベル補正する。このレベル補正 により、撮像素子Ｂの映像信号ｂに発生した画面下部のフラッシュバンドは暗く補正され て目立たなくなる。

また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれで発生した画面下部のフラッシュバンドは暗く 補正されて目立たなくなる。

＜フレーム内のフラッシュバンドの検出・補正＞
続いて、図８～図９を参照して、フレーム内に発生するフラッシュバンドの検出・補正 について説明する。

図８は、ローリングシャッタ動作を時間軸に表した説明図である。
同図において、ローリングシャッタの露光時間は短く設定される。そのため、スリット 範囲の幅（図２参照）は短い。この状態でフラッシュが焚かれると、フレーム内に狭い幅 のフラッシュバンドが発生する。

図９は、このフラッシュバンドの検出・補正を説明する図である。
同図において、撮像素子Ｂの映像信号ｂには、Ｘラインから（Ｘ＋１）ラインまでの２ ライン幅でフラッシュバンドが発生する。一方、撮像素子Ａの映像信号ａには、（Ｘ＋１ ）ラインから（Ｘ＋２）ラインまでの２ライン幅でフラッシュバンドが発生する。

比較部４２は、信号遅延部４１により映像位相を合わせた映像信号ａ，ｂを比較するこ とにより、Ｘラインから始まったレベル相違を、補正部４３に出力する。

補正部４３は、図９に示すＸラインのように、露光開始の早い撮像素子Ａの信号レベル が、露光開始の遅い撮像素子Ｂの信号レベルを下回るラインを、フラッシュバンドの開始 ラインと判定する。

また、補正部４３は、図９に示すＸ＋２ラインのように、露光開始の早い撮像素子Ａの 信号レベルが、露光開始の遅い撮像素子Ｂの信号レベルを上回るラインを、フラッシュバ ンドの終了ラインと判定する。

補正部４３は、有意なレベル相違でない場合（絶対値が閾値未満のレベル相違など）、 レベル相違を「０ｄＢ」に置き換えて、誤った補正を防止する。

補正部４３は、レベル相違の値と、１ライン前の撮像素子Ｂの補正値ｇｂとを合成して 、現ラインの撮像素子Ｂの補正値ｇｂとする。
例えば、図４に示すＸライン目では、レベル相違：－６ｄＢに対して、（Ｘ－１）ライ ン目の撮像素子Ｂの補正値ｇｂ：０ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢ となる。

図４に示す（Ｘ＋１）ライン目では、レベル相違：０ｄＢに対して、Ｘライン目の撮像 素子Ｂの補正値ｇｂ：－６ｄＢを合成して、Ｘライン目の補正値ｇｂは－６ｄＢとなる。
図４に示す（Ｘ＋２）ライン目では、レベル相違：＋６ｄＢに対して、（Ｘ＋１）ライ ン目の撮像素子Ｂの補正値ｇｂ：－６ｄＢを合成して、Ｘライン目の補正値ｇｂは０ｄＢ となる。

補正部４３は、求めた補正値ｇｂにより映像信号ｂをレベル補正する。このレベル補正 により、撮像素子Ｂの映像信号ｂに発生した狭いフラッシュバンドは暗く補正されて目立 たなくなる。
また、補正部４３は、１ライン前の補正値ｇｂを、撮像素子Ａの補正値ｇａとする。補 正部４３は、この補正値ｇａにより映像信号ａをレベル補正する。このレベル補正により 、撮像素子Ａの映像信号ａに１ラインずれで発生した狭いフラッシュバンドは暗く補正さ れて目立たなくなる。

＜実施例１の効果＞

（１）実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一箇所かつ 同一時刻と見なせるライン同士を比較する。この比較結果に基づけば、フラッシュバンド の発生を正確に検出することができる。

（２）特許文献１の従来技術では、１フレーム内において隣接ライン間の輝度差を算出し 、その変化が所定値以上であればフラッシュバンドが発生したと検出する。この場合、隣 接ライン間に明暗差のある絵柄を撮像すると、フラッシュバンドと誤って検出してしまう 。
一方、実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一箇所と 見なせるライン同士を比較するため、被写体の絵柄（明暗差の絵柄）に殆ど影響されない 。したがって、フラッシュバンドの誤検出は少ない。

（３）また例えば、特許文献２の従来技術では、隣接フレーム間の輝度差を算出し、その 変化が所定値以上であればフラッシュバンドが発生したと検出する。この場合、暗い室内 から明るい屋外に出るなど時間的に明暗変化が生じると、フレーム間に輝度差が生じてフ ラッシュバンドと誤って検出してしまう。
一方、実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一時刻と 見なせるライン同士を比較するため、被写体の時間的な明暗変化に殆ど影響されない。し たがって、フラッシュバンドの誤検出は少ない。

（４）特に、実施例１では、撮像素子Ａ，Ｂの映像信号ａ，ｂについて、被写体の同一箇 所かつ同一時刻と見なせるライン同士を比較する。この比較により、フラッシュバンドに より生じるライン単位のレベル相違を高い精度で求めることができる。したがって、フラ ッシュバンドの補正を高い精度で行うことが可能になる。

（５）実施例１では、被写体の同一箇所かつ同一時刻と見なせるライン同士を比較するた め、小さなレベル相違も見逃さずに検出することができる。したがって、少しずつレベル 変化するフラッシュバンドであっても適切に検出して補正することが可能になる。

（６）実施例１では、複数のフラッシュが重畳して照射され、複雑にレベル変化するフラ ッシュバンドについても、被写体の同一箇所かつ同一時刻と見なせるライン同士を比較す ることにより、見逃さずに検出することができる。したがって、複雑にレベル変化するフ ラッシュバンドであっても適切に検出して補正することが可能になる。

（７）実施例１では、フレーム内補正により補正する。そのため、数フレームにわたって 連続してフラッシュバンドが発生した場合も、特許文献３のようにフレーム入れ替えを行 う必要がなく、映像が数フレームにわたって静止するなどの弊害は生じない。

（８）実施例１では、撮像素子Ａ，ＢのＸライン目の補正値ｇａ，ｇｂを次の漸化式アルゴリズムにより簡易な演算で決定することができる。
・撮像素子ＡのＸライン目の補正値ｇａ（Ｘ）
＝撮像素子Ｂの（Ｘ－１）ライン目の補正値ｇｂ（Ｘ－１） …［１］
・撮像素子ＢのＸライン目の補正値ｇｂ（Ｘ）
＝「撮像素子Ｂの（Ｘ－１）ライン目の補正値ｇｂ（Ｘ－１）」と「撮像素子Ａ，ＢのＸライン目のレベル相違」との合成補正値 …［２］

（９）なお、撮像素子Ｂの最初ラインに対して１ライン前の補正値ｇｂ（０）は存在しな い。そのため、上記の漸化式アルゴリズムの実質的な初期値は、［１］式に基づいて、撮 像素子Ａの１ライン目の補正値ｇａ（１）となる。
この補正値ｇａ（１）を初期値０ｄＢとすると、撮像素子Ａの１ライン目は常に補正さ れないことになる。
以降、アルゴリズムの［２］式と［１］式が繰り返されることにより、撮像素子Ａ，Ｂ の補正値ｇａ，ｇｂは、撮像素子Ａの１ライン目との信号相違を打ち消すように順次に決 定される。これは、撮像素子Ａの１ライン目がそのフレームの信号レベルの基準となるこ とを意味する。
そのため、１フレーム目の画面下部からフラッシュバンドが開始し、２フレーム目の画 面上部でフラッシュバンドが消えた場合、補正された映像では、１フレーム目は画面全体 にフラッシュの影響を低減した映像となり、２フレーム目は画面全体にフラッシュの影響 を受けた映像となる。
特に２フレーム目をこのように補正することにより、瞬間的にフラッシュが焚かれたと いう事実を残しつつ、グローバルシャッタ撮影に似た自然なフラッシュ映像を得ることが できる。

（１０）また、実施例１では、漸化式アルゴリズムの初期値として、撮像素子Ｂの最初ラインの１ライン前の補正値ｇｂ（０）を、撮像素子Ｂの１フレーム前の最終ラインの補正値とすることもできる。この場合、前フレームから次フレームへフラッシュバンドの補正が継続することになる。
そのため、１フレーム目の画面下部からフラッシュバンドが開始し、２フレーム目の画面上部でフラッシュバンドが消えた場合、補正された映像では、１フレーム目および２フレーム共に画面全体にフラッシュバンドを除去した映像となる。
このように補正することにより、フラッシュが焚かれなかったかのような自然な映像を得ることができる。

（１１）さらに、実施例１では、レベル相違の大きさが閾値より小さい場合は、レベル相 違を０ｄＢに置き換える。そのため、１ラインのレベル相違が誤差に過ぎない場合に後続 ラインに誤差である補正値が誤って波及してしまう虞が少ない。

（１２）また、実施例１では、撮像素子Ａ，Ｂ間のライン単位のレベル相違をカラーモザ イクの色成分（例えばベイヤー配列のＲＧＢ色成分）別に求めてもよい。この色成分別に レベル相違を上記の漸化式アルゴリズムに代入することにより、フラッシュバンドの影響 を低減する補正値を、色成分別（ＲＧＢ別）に求めることができる。その結果、有色光の フラッシュバンドであっても影響を低減することが可能になる。

（１３）特に、実施例１は、露光開始タイミングをずらすことで、スリット範囲のずらし を実現する。そのため、従来の多板式撮像装置においても、ファームウェア（プログラム ）により露光開始タイミングをずらすことで、スリット範囲のずらしを行い、フラッシュ バンドの検出・補正の機能を後から実現することができる。
例えば、駆動部３、映像信号処理部４およびＣＰＵ部７をファームウェア（プログラム ）で制御することにより、フラッシュバンドの検出・補正の機能を実現することができる 。

実施例２として、撮像素子の空間ラインずらしによるフラッシュバンドの検出・補正を 説明する。

図１０は、撮像素子Ａ，Ｂの空間ラインずらしを説明する図である。
同図において、撮像素子Ａ，Ｂの撮像領域を副走査方向に少なくとも１ライン分ずらし て位置決めする。この撮像素子Ａ，Ｂは、露光開始のタイミングを一致させてローリング シャッタ動作を行う。その結果、撮像素子Ａ，Ｂのスリット範囲は、空間ずらしを反映し て、副走査方向に少なくとも１ライン分のずれが生じる。

なお、撮像素子Ａ，Ｂの互いにはみ出した撮像領域は、フラッシュバンドの検出ができ ないため、有効撮像領域から外しておくことが好ましい。

また、撮像素子Ａ，Ｂの撮像領域は、空間ずらしのため、被写体の映像が少なくとも１ ラインずれる。そこで、被写体像に対してスリット範囲が先に通過する撮像素子の映像信 号を遅延させて、撮像素子Ａ，Ｂが出力する映像の位相を合わせる。

なお、その他の構成、動作、および効果については、実施例１と重複するため、ここで の説明を省略する。

実施例３として、デュアルグリーン多板式の撮像装置について説明する。
図１１は、この撮像装置１ａの構成例を示すブロック図である。
同図において、撮像装置１ａの色分解分光プリズム２ｃは、レンズ２ａの結像光束を赤 色光、青色光および緑色光に分光し、さらに緑色光を２つに分光する。分光された各色成 分の被写体像は、撮像素子Ｒ、撮像素子Ｂ、撮像素子Ｇａおよび撮像素子Ｇｂによって色 成分ごとの映像信号に変換される。これら多板の撮像素子は、同一性能のローリングシャ ッタ方式のモノクロ撮像素子であり、同一画素空間に位置決めして配置される。

駆動部３の駆動信号生成部３１は、撮像素子Ｇａ、撮像素子Ｒ、撮像素子Ｂに対して同 一タイミングの駆動信号を供給する。一方、撮像素子Ｇｂには、駆動遅延部３２を介して 所定時間だけ遅延した駆動信号が供給される。その結果、撮像素子Ｇｂは、撮像素子Ｇａ に比べて露光開始のタイミングが所定時間だけ遅れる。

映像信号処理部４の信号遅延部４１は、撮像素子Ｒ、撮像素子Ｂおよび撮像素子Ｇａの 映像信号をそれぞれ遅延させることで、これらの映像信号と撮像素子Ｇｂの映像信号との 映像位相を一致させる。

次に、比較部４２は撮像素子Ｇａと撮像素子Ｇｂの映像信号の信号レベルを比較し、ラ イン単位のレベル相違を求める。

補正部４３は、ライン単位のレベル相違と、色相調整部４６とに基づいて、後述する漸 化式アルゴリズムを実行し、撮像素子Ｒ、撮像素子Ｂ、撮像素子Ｇａおよび撮像素子Ｇｂ それぞれの映像信号に対して、フラッシュバンドの影響を低減するためのレベル補正を実 行する。

レベル補正後の各色成分の映像信号は、映像合成部４４において１つのカラー映像信号 に合成された後、ガンマ補正部４５においてガンマ補正などの映像処理が施され、映像信 号出力部５を介して外部に出力される。

ＣＰＵ部７は、駆動部３の制御や、映像信号処理部４の制御などを実行する。

＜実施例３の動作＞
撮像素子Ｇａと撮像素子Ｇｂの映像信号において、フラッシュバンドを検出・補正する 動作は、実施例１で説明した撮像素子Ａと撮像素子Ｂにおける検出・補正の動作と同様で あるため、ここでの重複説明を省略する。

一方、撮像素子Ｒおよび撮像素子Ｂは、撮像素子Ｇａと同じタイミングで撮像を行って いる。そのため、フラッシュが焚かれた場合、撮像素子Ｒおよび撮像素子Ｂの映像には、 撮像素子Ｇａの映像と同様にフラッシュの影響が現れる。よって、撮像素子Ｇａの映像と 同様に、撮像素子Ｇｂの１ライン前の補正値を用いて補正することができる。

ただし、この補正値は、撮像素子Ｇａと撮像素子Ｇｂの信号レベルの差分から算出した 緑色光の補正値である。そのため、色相調整部４６には、緑色光に対する赤色光の割合の 補正係数と、緑色光に対する青色光の割合の補正係数をあらかじめ設定しておく。補正部 ４３は、撮像素子Ｒおよび撮像素子Ｂの映像には、それぞれの補正係数を乗じた補正値に よって補正を行う。

色相調整部４６に設定する赤色光および青色光の補正係数は、あらかじめ想定したフラ ッシュ光の色バランスによるものであり、ユーザーが任意の値に調整設定できるようにし てもよい。また、フラッシュの影響を受けた映像の色バランスからその都度自動的に算出 しても良い。

この補正値の算出を漸化式アルゴリズムにまとめると、各撮像素子のＸライン目の信号 レベルの補正値は以下のようになる。 ・撮像素子ＧａのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正 値） ・撮像素子ＧｂのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正 値）＋｛（撮像素子ＧａのＸライン目の信号レベル）－（撮像素子ＧｂのＸライン目の信 号レベル）｝ ・撮像素子ＲのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正値 ）＋（緑色光に対する赤色光の補正係数） ・撮像素子ＢのＸライン目の補正値［ｄＢ］＝（撮像素子ＧｂのＸ－１ライン目の補正値 ）＋（緑色光に対する青色光の補正係数）

＜実施例３の効果＞
実施例３は、実施例１～２の効果の他に、次の効果も奏する。

（１）実施例２は、デュアルグリーン多板式の緑色光の映像信号に基づいて、フラッシュバンドの補正値を計算する。この緑色光は、人間の視覚感度が高いため、フラッシュバンドが目立ちやすい色成分である。この緑色の映像信号についてフラッシュバンドを検出・補正することにより、フラッシュバンドを目立たなくすることができる。

（２）実施例２では、赤色光および青色光の映像信号については、緑色光の補正値を色調 補正した補正値を用いて補正する。したがって、色再現性よく補正することが可能になり 、フラッシュバンドを適切に目立たなくすることができる。

実施例４として、画素配列の位相をずらすケースについて説明する。

実施例１，２における撮像装置１（図１）の場合、分光プリズム２ｂにより分光された 各被写体像の像位置を基準にして、撮像素子Ａ，Ｂは水平および垂直方向に位相（例えば １／２画素ピッチ）をずらして位置決めされる。

実施例３における撮像装置１ａ（図１１）の場合、色分解分光プリズム２ｃにより分光 された緑色光の各被写体像の像位置を基準にして、撮像素子Ｇａ，Ｇｂは水平および垂直 方向に位相（例えば１／２画素ピッチ）をずらして位置決めされる。

映像合成部４４では、画素配列の位相をずらして空間サンプリングされた映像信号に基 づいて水平および垂直方向の高域成分を求めることにより、解像度を向上させる。
実施例４においても、フラッシュバンドを検出・補正する方法は、実施例１～３で述べ た方法と同様である。

ただし、画素配列の位相ずらしを行っているため、比較部４２でライン単位に比較する 被写体の絵柄に微少なズレ（高域成分）が生じる場合がある。そのため、比較部４２で比 較する前または後に、ローパスフィルタや平均値フィルタをかけることで、絵柄の微少な ズレ（高域成分）を鈍らせることが好ましい。

＜実施例４の効果＞
実施例４は、実施例１～３の効果の他に、次の効果も奏する。
フラッシュバンドを適切に除去しつつ、解像度の優れた映像を得ることができる。

＜実施形態の補足事項＞

（１）上述した実施形態では、複数の撮像素子間において、ローリングシャッタ方式の先 幕／後幕の間であるスリット範囲を副走査方向に１ライン分ずらして走査するケースにつ いて説明した。

しかしながら、本発明はこれに限定されない。スリット範囲を副走査方向に複数ｎライ ン以上ずらして走査してもよい。この場合、フラッシュベルトによるライン単位のレベル 相違は、フレーム内にｎライン連続して発生する。

このようにｎライン分の幅広のレベル相違が発生することにより、フラッシュベルトの 検出精度を高めることが可能になる。

また、ｎライン分の幅広のレベル相違を平均化することにより、レベル相違に含まれる ノイズを抑圧し、レベル相違のＳ／Ｎを高めることができる。その結果、レベル相違を正 確に求めることが可能になり、フラッシュベルトの補正を高い精度で行うことができるよ うになる。

さらに、ｎライン分の幅広のレベル相違では、画素配列の位相ずらし（１／２画素ピッ チなど）の影響が相対的に小さくなるため、実施例４との併用は好適である。

（２）また、実施形態では、補正部４３は利得補正（ｄＢ）により映像信号を補正する。 一般に、フラッシュが焚かれた場合の入射光量は，（被写体の反射率）×（フラッシュ光 量と環境光量）である。そのため、フラッシュバンドの映像信号に対して環境光量／（フ ラッシュ光量と環境光量）を乗算（利得補正）することにより、フラッシュ光量の影響を 低減することができる。なお、この利得補正は、ガンマ補正前の線形とみなせる映像信号 に対して施すことが好ましい。

しかしながら、本発明はこれに限定されない。例えば、撮像装置のレンズ画角内でフラ ッシュが焚かれた場合の入射光量は、（被写体光＋フラッシュ光）の光量となる。また、 撮像装置のレンズ画角のすぐ外側でフラッシュが焚かれた場合の入射光量は、（被写体光 ＋フラッシュ原因のレンズフレア光）の光量となる。このようなケースにおいては、補正 部４３は、レベル相違分を映像信号のフラッシュバンドの領域から減算（オフセット補正 や黒レベル補正）してもよい。

（３）さらに、実施形態では、フラッシュバンドの検出・補正を撮像装置で実施する。し かしながら、本発明はこれに限定されない。上述した比較部４２、補正部４３、信号遅延 部４１、および色相調整部４６の機能の一部または全部を、撮像装置に付随するコンピュ ータや、外部コンピュータや、ネットワーク上のサーバコンピュータにおいてプログラム により実現してもよい。

以上、本発明をその好適な実施形態に基づいて詳述したが、本発明はこれら特定の実施 形態に限られるものではなく、上述の実施形態の一部を適宜組み合わせても良い。

本発明は、業務用撮像装置、放送カメラなどの撮像装置、撮像装置における映像処理方法、撮像装置に用いるプログラムなどに利用可能である。この出願は、２０１８年９月１８日に出願された日本出願特願２０１８－１７４１３１を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

ａ，ｂ…映像信号、Ａ，Ｂ…撮像素子、１…撮像装置、１ａ…撮像装置、２ａ…レンズ、 ２ｂ…分光プリズム、２ｃ…色分解分光プリズム、３…駆動部、４…映像信号処理部、５ …映像信号出力部、７…ＣＰＵ部、３１…駆動信号生成部、３２…駆動遅延部、４１…信 号遅延部、４２…比較部、４３…補正部、４４…映像合成部、４５…ガンマ補正部、４６ …色相調整部

Claims (9)

1. 被写体像の光を分光する光学系と、
   前記光学系により分光された各被写体像をそれぞれローリングシャッタ方式で撮像する複数の撮像素子と、
   前記複数の撮像素子の間において、前記ローリングシャッタ方式の先幕／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらす撮像部と、
   前記複数の撮像素子が出力する映像信号を互いに比較して、前記映像信号の間に生じるライン単位のレベル相違を求める比較部と、
   前記レベル相違に基づいてフラッシュバンドによる前記映像信号の影響を補正する補正部と
   を備えた撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部は、
   前記複数の撮像素子間において、露光開始のタイミングを所定時間ずらす
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記複数の撮像素子は、
   分光された前記各被写体像の像位置を基準にして、撮像領域を前記副走査方向に少なくとも１ライン分ずらして配置される
   ことを特徴とする撮像装置。
4. 請求項１～３のいずれか１項に記載の撮像装置において、
   前記各被写体像に対して前記スリット範囲が先に通過する撮像素子の映像信号を遅延させて、前記複数の撮像素子が出力する映像のラインずれを低減する信号遅延部を備え、
   前記比較部は、
   前記信号遅延部を介して複数の映像信号を比較して、前記映像信号の間に生じるライン単位のレベル相違を求める
   ことを特徴とする撮像装置。
5. 請求項１～４のいずれか１項に記載の撮像装置において、
   前記比較部は、
   前記スリット範囲が先に通過する撮像素子Ａの信号レベルＬａと、前記スリット範囲が後に通過する撮像素子Ｂの信号レベルＬｂとのライン単位のレベル相違を求め、
   前記補正部は、
   前記レベル相違と、１ライン前の撮像素子Ｂの補正値Ｇｂとを合成して、撮像素子Ｂの補正値Ｇｂとし、撮像素子Ｂの映像信号をライン単位に補正し、
   １ライン前の補正ゲインＧｂを、撮像素子Ａの補正値Ｇａとし、撮像素子Ａの映像信号をライン単位に補正する
   ことを特徴とする撮像装置。
6. 請求項１～５のいずれか１項に記載の撮像装置において、
   前記複数の撮像素子は、
   分光された前記各被写体像の像位置を基準にして、画素配列の位相をずらして配置される
   ことを特徴とする撮像装置。
7. 請求項１～６のいずれか１項に記載の撮像装置において、
   前記光学系は、
   被写体像を、赤成分、青成分、および２つの緑成分に分光し、
   前記撮像部は、
   ２つの緑成分をそれぞれ受光する２つの撮像素子間において、前記スリット範囲を副走査方向に所定ライン数分ずらして走査し、
   前記比較部は、
   前記２つの緑成分の映像信号の信号レベルを比較し、ライン単位のレベル相違を求め、
   前記補正部は、
   前記２つの緑成分の前記レベル相違に応じて前記フラッシュバンドの緑成分を補正し、前記レベル相違を赤成分に色相調整したレベル相違に応じて前記フラッシュバンドの赤成分を補正し、前記レベル相違を青成分に色相調整したレベル相違に応じて前記フラッシュバンドの青成分を補正する
   ことを特徴とする撮像装置。
8. 被写体像の光を分光する光学系と、
   前記光学系により分光された各被写体像をそれぞれローリングシャッタ方式で撮像する複数の撮像素子と、
   前記複数の撮像素子間において、前記ローリングシャッタ方式の先幕／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらして走査する撮像部と
   を備えた撮像装置の映像信号を処理する方法であって、
   前記複数の撮像素子が出力する映像信号を互いに比較して、前記映像信号の間に生じるライン単位のレベル相違を求める比較ステップと、
   前記レベル相違に基づいてフラッシュバンドによる前記映像信号の影響を補正する補正ステップと
   を備えた映像処理方法。
9. 被写体像の光を分光する光学系と、
   前記光学系により分光された各被写体像をそれぞれローリングシャッタ方式で撮像する複数の撮像素子と、
   前記複数の撮像素子間において、前記ローリングシャッタ方式の先幕／後幕の間であるスリット範囲を副走査方向に少なくとも１ライン分ずらして走査する撮像部と
   を備えた撮像装置の映像信号をコンピュータに処理させるためのプログラムであって、
   コンピュータに、
   前記複数の撮像素子が出力する映像信号を互いに比較して、前記映像信号の間に生じるライン単位のレベル相違を求める比較ステップと、
   前記レベル相違に基づいてフラッシュバンドによる前記映像信号の影響を補正する補正ステップと
   を実行させるためのプログラム。

Images