JP2007053659A - 計測用撮像装置 - Google Patents

Abstract

【課題】 高精度なスミア補正を行う。
【解決手段】 撮像センサ２の構成画素がマスクされてなる光学的遮光領域としてのＯＢ部２５（遮光部）と、ＯＢ部２５の画素出力情報に基づき作成されたスミア補正時のリファレンスデータとして用いるスミアリファレンスと、ＯＢ部２５における欠陥画素情報及び各構成画素の暗時出力特性情報とを記憶する画像メモリ９と、画像メモリ９に記憶されている欠陥画素情報及び暗時出力特性情報に基づいて、欠陥画素及び暗時出力特性によるスミアリファレンスに対する影響を該スミアリファレンスから除外するスミアリファレンス補正を行う画像処理部５とを備える。
【選択図】 図１

Description

本発明は、ディスプレイやバックライト等の平面光源や所定の点光源が平面状に集合したものを測定対象とした、２次元の輝度及び色彩の計測を行う計測用撮像装置に関し、特に、撮像に際して発生したスミアに対するスミア補正が可能な計測用撮像装置に関する。

従来、より高画質なデジタル画像撮影を行うための撮像素子としてＣＣＤイメージセンサを搭載し、ディスプレイ（ＦＰＤ；Flat Panel Display）やバックライト等の平面光源や所定の点光源が平面状に集合してなるものを測定対象とした、２次元の輝度及び色彩の計測を行う計測用撮像装置がある。一般的に、ＣＣＤイメージセンサを用いた撮像において、画像ノイズの一種であるスミア（Smear）が発生するという問題が古くから知られている。

上記スミアとは、例えば図１３における符号７１０の図（ハイライト画像）に示すように、撮像エリア７０１にライト等の高輝度な被写体７０２が存在した場合、この被写体７０２の存在位置における縦方向（垂直方向）に光の筋（スミア７０３）が現れる現象であり、ＣＣＤに強い光が入射したとき、ＣＣＤの垂直転送部に光が漏れ込み、この光が光電変換されて不要な電荷が発生することによって起こる。当該スミアが発生した場合、符号７２０の図（撮像面上の状態及びスミアの出力波形を示す図）に示すように、例えば或る水平方向のＣＣＤ画素ライン７０４には、スミア７０３に対応する箇所が高い出力値となる急峻な山形状の出力波形を有する出力信号７０５が現れる。なお、符号７１０に示すハイライト画像におけるハイライト部７０６は、ブルーミングといい、強い光が入射するとそこで発生した余剰電荷がその画素の周辺の画素に溢れ出るために発生する現象で、周囲に光が滲み出たような画像となっている。
特公昭５６−３５０６７号公報

ところで、上記計測用撮像装置の測定対象として、具体的には、例えば液晶ディスプレイの表示画像（例えば単色又は複数色のカラー画像）或いは自動車等のインパネの表示部（例えばＬＥＤからなるインジケータ部）が挙げられるが、いずれも設計値どおりの輝度や色彩が得られているか等の評価が目的であるため、厳密な精度が要求される（通常のデジタルカメラによる撮影画像のように単に綺麗な画像を得るということとは目的が異なる）。このことからも、計測用撮像装置を用いた撮影においてスミアが発生した場合、撮影画像に対する当該スミアの補正をより高い精度で行う必要がある。

なお、特許文献１には、スミア成分を検出してこれを減算することでスミア補正を行うという基本概念が開示されている。また、スミア補正の手法については、これまで種々の方法が提案されてきた。しかしながら、従来の方法は、計測用途の要求精度に見合う補正技術ではなかった。

本発明は、上記事情に鑑みてなされたもので、高精度なスミア補正を行うことができ、ひいては高精度（高画質）な計測用画像を得ることが可能な計測用撮像装置を提供することを目的とする。

本発明の請求項１に係る計測用撮像装置は、ＣＣＤを用いて所定の計測対象を撮影する撮像センサを備え、該撮像センサによる撮影画像に発生したスミアの補正が可能に構成された計測用撮像装置であって、前記撮像センサの構成画素がマスクされてなる光学的遮光領域としての遮光部と、前記遮光部の画素出力情報に基づき作成されたスミア補正時のリファレンスデータとして用いるスミアリファレンスと、前記遮光部における欠陥画素情報及び各構成画素の暗時出力特性情報とを記憶する記憶部と、前記記憶部に記憶されている欠陥画素情報及び暗時出力特性情報に基づいて、欠陥画素及び暗時出力特性による前記スミアリファレンスに対する影響を該スミアリファレンスから除外するスミアリファレンス補正を行う画像処理部とを備えることを特徴とする。

上記構成によれば、遮光部は撮像センサの構成画素がマスクされてなる光学的遮光領域とされ、遮光部の画素出力情報に基づき作成されたスミア補正時のリファレンスデータとして用いるスミアリファレンスと、遮光部における欠陥画素情報及び各構成画素の暗時出力特性情報とが記憶部に記憶される。そして、画像処理部によって、記憶部に記憶されている欠陥画素情報及び暗時出力特性情報に基づいて、欠陥画素及び暗時出力特性によるスミアリファレンスに対する影響を該スミアリファレンスから除外するスミアリファレンス補正が行われる。

請求項２に係る計測用撮像装置は、請求項１において、前記画像処理部が、前記スミアリファレンス補正として、前記スミアリファレンスにおける前記暗時出力特性のバラツキを補正することを特徴とする。この構成によれば、画像処理部によって、スミアリファレンス補正として、スミアリファレンスにおける暗時出力特性のバラツキが補正される。

請求項３に係る計測用撮像装置は、請求項１又は２において、前記欠陥画素情報は、欠陥画素のアドレス情報を含んだものであって、前記画像処理部は、前記欠陥画素のアドレス情報を基に、欠陥画素の画素値を該欠陥画素の周辺画素の画素値を用いて補間することにより前記欠陥画素による影響をスミアリファレンスから除外するスミアリファレンス補正を行うことを特徴とする。この構成によれば、画像処理部によって、欠陥画素のアドレス情報を基に、欠陥画素の画素値を該欠陥画素の周辺画素の画素値を用いて補間することにより欠陥画素による影響をスミアリファレンスから除外するスミアリファレンス補正が行われる。

請求項４に係る計測用撮像装置は、請求項１〜３のいずれかにおいて、前記遮光部は、撮像センサにおける垂直転送ＣＣＤ部と垂直な所定数の画素ラインからなり、前記画像処理部は、スミアリファレンスとしての前記画素ラインの出力データに対する前記暗時出力特性のバラツキを減算する処理及び欠陥画素の画素値を補間する処理によって前記スミアリファレンス補正を行い、該スミアリファレンス補正によって得られた画素ラインの出力データを、撮像センサの撮像有効領域における前記画素ラインと平行な各有効画素ラインの出力データから減算することで撮影画像に対するスミア補正を行うことを特徴とする。

この構成によれば、遮光部が、撮像センサにおける垂直転送ＣＣＤ部と垂直な所定数の画素ラインからなり、画像処理部によって、スミアリファレンスとしての画素ラインの出力データに対する暗時出力特性のバラツキを減算する処理及び欠陥画素の画素値を補間する処理によりスミアリファレンス補正が行われ、該スミアリファレンス補正によって得られた画素ラインの出力データが、撮像センサの撮像有効領域における上記遮光部の画素ラインと平行な各有効画素ラインの出力データから減算されることで撮影画像に対するスミア補正が行われる。

請求項５に係る計測用撮像装置は、請求項１〜４のいずれかにおいて、前記計測用撮像装置は、２次元の色彩及び輝度を測定する２次元色彩輝度計であることを特徴とする。この構成によれば、計測用撮像装置が、２次元の色彩及び輝度を測定する２次元色彩輝度計とされる。

請求項１に係る計測用撮像装置によれば、欠陥画素及び暗時出力特性によるスミアリファレンスに対する影響をスミアリファレンスから除外するスミアリファレンス補正が行われるので、スミアリファレンス自体の精度を高めることができ、これを用いたスミア補正も高精度なものとすることができ、ひいては高精度（高画質）な計測用画像を得ることができる。

請求項２に係る計測用撮像装置によれば、スミアリファレンス補正として、スミアリファレンスにおける暗時出力特性のバラツキが補正されるので、遮光部における画素ラインの出力データ（スミアリファレンス）が通常有している各画素間の出力バラツキの影響が取り除かれたスミアリファレンスを得ることができ、精度の高いスミアリファレンスとすることができる。

請求項３に係る計測用撮像装置によれば、欠陥画素の画素値が該欠陥画素の周辺画素の画素値を用いて補間されるので、例えばこの周辺画素の画素値を平均して欠陥画素の画素値を補間するなど、容易な方法（演算）によって、スミアリファレンスに対する欠陥画素の影響を除外することができる。

請求項４に係る計測用撮像装置によれば、遮光部における画素ラインの出力データ（スミアリファレンス）に対して暗時出力特性のバラツキを減算する処理及び欠陥画素の画素値を補間する処理がなされるので、スミアリファレンス自体の精度を高めることができ、また、この補正により精度が高められた画素ラインの出力データを撮像有効領域の各有効画素ラインから減算することでスミア補正が行われるので、スミア補正を高精度なものとすることができる。

請求項５に係る計測用撮像装置によれば、計測用撮像装置が２次元色彩輝度計とされるので、彩度及び輝度の計測において得られる計測用画像（撮影画像）に対するスミア補正を高精度で行うことができる。

図１は、本実施形態に係る計測用撮像装置１の一例を示す概略的なブロック構成図である。図１示すように、計測用撮像装置１は、撮像センサ２、Ａ／Ｄ変換部３、タイミング生成部４、画像処理部５、制御部６、モニタ部７、操作部８、画像メモリ９及び外部インタフェース部１０を備えている。

撮像センサ２は、被写体光（被写体輝度）を撮像する固体撮像素子、すなわち入射された被写体光を、光量に応じた画像信号に光電変換して出力するものであり、ここでは、フォトダイオード（ＰＤ）等の光電変換素子がマトリクス状に配置されてなる所謂２次元センサとしてのＣＣＤイメージセンサである。撮像センサ２の前方には、被写体光を結像するための光学レンズ系（図略）と、複数の色フィルタ（例えば、Ｒ、Ｇ、Ｂ）を配置した回転ディスク（図略）が設置されている。回転ディスクを回転して色フィルタを選択し、被写体光をそれぞれの色フィルタを通して、撮像センサ２に結像することで、各色の画像信号が得られる。なお、ＣＣＤイメージセンサとしては、上記２次元配置されたＣＣＤの表面に、ＲＧＢ各色のカラーフィルタが市松模様状に貼り付けられた、所謂ベイヤー方式のカラーエリアセンサでもよい。この場合、色フィルタを配置した回転ディスクは不要となる。

撮像センサ２は、具体的には例えば図２に示すように、フォトダイオードアレイからなる光電変換部２１（受光部）と、光電変換部２１により光電変換され、読み出し転送された信号電荷を垂直転送する垂直転送部２２（垂直転送路、垂直ＣＣＤ）と、垂直転送部２２により転送されてきた信号電荷を、後段に配置された図略の信号出力部（電荷の検出を行うアンプ部）へ水平転送する水平転送部２３（水平転送路、水平ＣＣＤ）とを備えている。ここでの撮像センサ２は、上記光電変換部２１のＰＤ２１２と垂直転送部２２の垂直ＣＣＤとを一列毎に交互に配置し、垂直ＣＣＤの各端部を水平ＣＣＤの各素子に接続して全体として櫛形に配置された構造の所謂インタライントランスファ型のＣＣＤイメージセンサである。

上記信号電荷の各転送を行うＣＣＤは、具体的には、シリコン基板表面の酸化膜上に多数の電極を設け、各電極に隣同士で異なる電圧を与えることによりポテンシャルウェル（量子井戸；電位の井戸）を作り出し、これを利用して電荷を保持できるようにしたものである。各電極に加える電圧を適切に制御することにより各素子の電荷が隣の素子に一斉に転送される。これにより各素子が保持する画素２４毎の電荷をバケツリレー式に順次取り出すことができる。

撮像センサ２は、ＯＢ（オプティカルブラック）部２５を備えている。ＯＢ部２５は、撮像センサ２の撮像センサ面２０における、アルミニウム（Ａｌ）等の金属の薄膜からなる遮光膜によって覆う（マスクする）ことで光電変換が行われないように光学的に遮光された領域である。換言すれば、ＯＢ部２５は光が当たらないようにした構造を有するＣＣＤであるとも言える。なお、遮光膜は金属の薄膜に限らず、例えばフィルム状の遮光部材を用いて、或いは、該遮光部材と金属薄膜とを併用して遮光してもよい。画像データの出力に際して、このＯＢ部２５の画像データを基準として光電変換部２１のデータを出力することで、暗電流等のノイズ成分を除去するといったことが可能となる。このＯＢ部２５は、撮像センサ面２０における水平転送方向となる一端辺部に設けられている（図３参照）。具体的には、撮像センサ面２０における水平転送部２３に沿った端辺部に、光電変換部２１及び垂直転送部２２の一端部（ＰＤ２１２や垂直転送部２２１）を上から覆う状態に帯状に設けられている（図２参照）。また、各転送用ＣＣＤすなわち垂直転送部２２及び水平転送部２３にも、ＯＢ部２５と同様、光電変換が行われないようにアルミニウム等の金属の薄膜からなる遮光膜による遮光がなされている。ただし、実際には完全に遮光されるものでなく、スミア現象等が生じることがあるが、この遮光やスミア現象等については後で詳述する。

撮像センサ面２０のＯＢ部２５以外の部分は、撮像有効領域２６（撮像エリア）となっている。ここで、撮像有効領域２６における上記画素２４に相当する画素のことを有効画素２６１、一方、ＯＢ部２５における上記画素２４に相当する画素のことをＯＢ画素２５１という。また、ＯＢ部２５における上記水平転送方向（垂直転送部２２と垂直な方向）に配列されてなる各画素ラインのことをＯＢラインという。これによれば、図３では、例えば符号２１０に示す領域に対する符号２２０に示す拡大図に示すように、ＯＢ部２５が符号２２１の各矢印で示す４本のＯＢラインからなり、図２では、符号２２２の各矢印で示す２本のＯＢラインから構成されるように示されているが、いずれも概念を説明するものであって、これに限定されず、各計測用撮像装置１に応じた好適なＯＢライン数からなるＯＢ部２５が設定される。また、ＯＢ部２５の配設位置は、図３中の下端辺側でなくともよく例えば上端辺側であってもよい。

Ａ／Ｄ変換部３は、撮像センサ２から出力されるアナログ画像信号を、例えば１２ビットのデジタル画像信号（デジタル画像データ）に変換するものである。このＡ／Ｄ変換部３は、後述のタイミング生成部４から入力されるＡ／Ｄ変換用のクロック信号に基づいて、アナログ画像信号をデジタル画像信号に変換する。

タイミング生成部（タイミングジェネレータ）４は、所定のタイミングパルス（タイミング信号）を発生するものであり、このタイミングパルスによって、撮像センサ２による撮影動作やＡ／Ｄ変換部３の処理動作を制御する。タイミング生成部４は、例えば、制御部６からの撮影制御信号に基づいて、画素駆動信号、垂直・水平同期信号等のタイミングパルスを生成して撮像センサ２に出力し、撮像センサ２の露光動作に連動して電荷を蓄積させ（被写体光を画像信号に光電変換させ）、撮像センサ２から画像データを取り込む。また、Ａ／Ｄ変換部３に対してＡ／Ｄ変換用のクロック（タイミングパルス）を生成して出力し、取り込んだ画像データを、順次、Ａ／Ｄ変換部３を経て画像処理部５へ出力させる。

制御部６は、各制御プログラム等を記憶するＲＯＭ、一時的に各種データを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する中央演算処理装置（ＣＰＵ）等からなり、計測用撮像装置１全体の動作制御を司るものである。制御部６は、撮像センサ２や操作部８等の装置各部からの各種信号に基づき、装置各部が必要とする制御パラメータ等を算出し、これを送信することで各部の動作を制御する。

モニタ部７は、撮像センサ２による撮影画像、すなわち画像処理部５で処理された画像或いは画像メモリ９に保存されている画像（例えばスミア補正された画像）等を表示するものであり、例えばカラー液晶表示素子からなる液晶表示器（ＬＣＤ）である。操作部８は、計測用撮像装置１に対するユーザによる操作指示入力を行うものであり、例えば電源スイッチ、撮像スイッチ、各撮像モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種操作スイッチ（操作ボタン）からなる。

外部インタフェース部１０は、ＰＣ等の外部装置１００とのデータの送受信を行うものであり、例えばＵＳＢ（Universal Serial Bus）、ＩｒＤＡ（Infrared Data Association ）等の有線（ＬＡＮ等のネットワーク）又は無線の各通信規格によるデータ送受信装置である。なお、図１の各機能ブロック間における二重線で示す矢印は、画像データが伝送される経路を示し、単線で示す矢印は、制御信号が伝送される経路を示している。

画像処理部５は、撮像センサ２から送出され、Ａ／Ｄ変換部３によるＡ／Ｄ変換処理によって得られたデジタル画像信号に対する各種画像処理（デジタル信号処理）を行うものであり、例えば後述するスミア補正処理及びスミアリファレンス補正処理を行う。画像処理部５は、具体的には、例えばプログラムによって演算ロジックを自由に組み合わせることができ、高速演算処理が可能なデバイスであるＦＰＧＡ（Field-Programmable Gate Array）からなる。ただし、画像データの演算処理が可能なものであれば、ＦＰＧＡに限定されず、例えば後述のＣＰＵのような演算処理装置であってもよい。

ここで、インタライントランスファ型のＣＣＤイメージセンサに発生するスミアについて及びスミアが発生した場合の補正方法について詳述する。まず、図６に示す撮像面の一部分を拡大した模式図を用いて、スミアが発生する主な要因（メカニズム）について説明する。スミアは、上述したように、垂直転送部に漏れ込んだ光が光電変換されて不要な電荷が発生することで生じるが、この不要な発生電荷としては主に以下の（１）〜（３）が挙げられる。

（１）：転送部遮光膜の透過光による発生電荷
この場合、垂直転送部２２（垂直ＣＣＤ；ここではＶＣＣＤと表現する）の遮光膜２２３を透過した光線２２４がＶＣＣＤ内で光電変換されることで電荷が発生する。これは、遮光膜２２３は金属からなると言えどもその厚みが薄いため（Ａｌ薄膜であるため）、強い光は透過してしまうことによる。なお、ＶＣＣＤも光電変換素子の一種であるため、光が当たると光電変換されて電荷が発生する。なお、この（１）の場合がスミア発生の最大要因となる。
（２）：転送部遮光膜の縁部からの回り込み光による発生電荷
この場合、ＶＣＣＤの遮光膜２２３の外側から斜めに入射した光線２２５が、ＶＣＣＤに到達してＶＣＣＤ内で光電変換されることで電荷が発生する。
（３）：正規の光電変換領域のＰＤ部以外の場所、例えば符号２２６１に示すエネルギー的な量子移動の障壁部（不感領域）での発生電荷
この場合、光線２２６の入射角度にも依るが、ハイライト照射部において、ＶＣＣＤの遮光膜２２３の外側に位置する量子井戸外での発生電荷が多くなり、この発生電荷（不正電荷）がＶＣＣＤに迷い込むことで生じる。

ただし、上記（２）及び（３）による影響は、例えば図７に示すような、正規の光電変換部（ＰＤ部）以外が全て遮光膜２２７で遮光されたＣＣＤ構造を有するものに対しては殆ど無視することができる。この図７においては、遮光膜２２７に形成された各ＰＤ上方の開口部２２８にマイクロレンズ２２９が配設され、このマイクロレンズ２２９によって効率良く集光する構成とすることで、開口部２２８を狭めて遮光領域がより大きくなるようにされている。なお、図６はＣＣＤにおける画素及び転送部を模式的に示したものであって、実際には、電位分布によってエネルギー的に区画が構成されたものとなっている。

上記各要因により発生した電荷は、ＰＤからＶＣＣＤに移送された有効電荷（上記正規の光電変換部にて得られた電荷；撮影画像データ）がＶＣＣＤ内を垂直転送される際に、ハイライト照射部のＶＣＣＤにおいて当該有効電荷に重畳される（ハイライト照射部を通過するときに重畳される）。この有効電荷に重畳される不要な電荷つまりスミア成分量は、ハイライト照射部の光強度と、垂直転送中の有効電荷がハイライトにさらされる被ばく時間とに比例する。被ばく時間は、垂直転送速度（クロックレート）とハイライト照射部の面積（ハイライト照射部のＶＣＣＤ方向の長さ）とで決定される。このように、スミアは、上記（１）〜（３）の場合を要因として、被写体の中の輝度が高い部分において発生する電荷が、正規の光電変換部で既に光電変換が完了してＶＣＣＤで転送されている信号電荷に混入することで発生する。

上述のようにスミアが発生した場合、画像処理部５によってこのスミアの補正処理を行う。ここでは、このスミア補正に際して、スミア出現時のＯＢ部２５の画像情報を利用する。すなわち、撮像センサ２によって或るスミア出現時の撮影画像が得られたとすると、この撮影画像は、撮像センサ面２０における撮像有効領域２６の画像とＯＢ部２５の画像とからなり、スミア成分は、これら撮像有効領域２６及びＯＢ部２５に同じように含まれている。スミア補正によって求めたい画像は、スミア成分が差し引かれた撮像有効領域２６の画像であるが、撮像有効領域２６から差し引くためのスミア成分を有する画像として、被写体の画像情報が含まれていないＯＢ部２５の画像を利用する。なお、スミア補正に際しての（上記スミア成分を差し引くための）リファレンスとなるデータ、ここではＯＢ部２５の出力データ（後述のＯＢライン出力３１１）のことを、以降、適宜、スミアリファレンスという。

図４は、スミアが発生した場合のＯＢ部２５の出力特性について説明するグラフ図である。同図における符号３１０に示すグラフは、スミア出現時に得られる実際のデータとしてのＯＢラインの出力特性（ＯＢライン出力３１１）であり、符号３２０、３３０に示すグラフは、説明上、上記ＯＢライン出力３１１をそれぞれスミア成分（スミア成分３２１）とＯＢラインの暗時出力特性（ＯＢライン暗時出力３３１）とに分離したものである。各グラフの横軸はＯＢライン方向における画素水平アドレスを、縦軸は出力電荷を示している。なお、各グラフは一例を示すものであり、これに限定されない。

上記ＯＢライン出力３１１は、ＯＢ部２５における１ライン分の出力、つまりＯＢ部２５を構成する複数のＯＢライン、例えば図３に示すＯＢ部２５の４つのＯＢラインのうちの或る１つのＯＢライン（このＯＢラインを構成する各ＯＢ画素）の出力を示しており、上記スミアリファレンスとしての出力データである。上記スミア成分３２１は、ＯＢライン出力３１１に含まれるスミア成分（１画素ライン分のデータ）である。なお、このスミア成分３２１のピーク位置はこれに限らず、スミアが発生する箇所（画素水平アドレス）に対応する位置となる。また、スミア成分３２１のピーク３２１１の個数（波形）もこれに限らず、複数箇所でスミアが発生した場合にはそれに対応するものとなる。

上記ＯＢライン暗時出力３３１は、スミアが発生していない場合のＯＢ部２５の出力を示している。実際には、ＯＢ部２５の各ＯＢ画素の出力特性にはバラツキ（画素間バラツキ）があるため、例えばバラツキ特性３３２に示す出力となる。また、各ＯＢ画素には欠陥画素が存在することもあり、これによって上記バラツキの範囲に収まらない大きな値又は小さな値となる出力、具体的には例えば所謂「白飛び」といった異常に出力の高い（階調の無い真っ白な画像となる）欠陥画素出力３３３や、所謂「黒抜け」（又は黒つぶれ）といった出力の無い（暗出力ですら無い例えばゼロ出力の）欠陥画素出力３３４が出力されることがある。上記黒抜けは、ＯＢ画素のゲートが壊れている、或いはＰＤ上に埃が付着している等の理由によって生じる。なお、欠陥画素出力３３３、３３４はそれぞれ複数個存在する場合もあるし、一方のみが存在することもある。また、欠陥画素出力３３３、３３４が存在しない場合もある。

スミア補正を行う際、理想的には、撮影画像つまり上記撮像有効領域２６の画像から上記スミア成分３２１だけを取り除くようにすればよいが、ＯＢ部２５には、実際には、スミア成分３２１とＯＢライン暗時出力３３１とが合成（重畳）されてなるＯＢライン出力３１１が出力されることから、この理想のスミア成分３２１に近づけるべく、実際のＯＢライン出力３１１から上記バラツキ特性３３２や欠陥画素出力３３３、３３４といった誤差成分（ＯＢライン暗時出力３３１）を差し引いたデータを用いて撮影画像に対するスミア補正を行えばよい。逆に、スミア補正にＯＢライン出力３１１をそのまま使用して、撮像有効領域２６の画像からスミア成分を除外する演算を行おうとすると、撮像有効領域２６の画像に上記誤差成分の影響を与えてしまうことになる。

上述のことから、画像処理部５は、ＯＢライン出力３１１からＯＢライン暗時出力３３１を除去（除外）する演算処理（減算処理）を行うことでスミアリファレンスの補正を行う。このスミアリファレンス補正は、具体的には、ＯＢライン出力３１１からバラツキ特性３３２を減算する処理であり、また欠陥画素出力３３３、３３４に対する補間（欠陥画素出力３３３、３３４が妥当な値となるような補正）を行う処理である。このＯＢライン出力３１１からＯＢライン暗時出力３３１（上記誤差成分）を除去する演算処理のことを、誤差成分除去処理という。

上記欠陥画素の補間方法としては、例えば、図５に示すように画素２Ｂが欠陥画素であるとすると、この画素２Ｂに隣接する実在の画素（隣接画素）の画素値を用い、以下の例えば（Ａ）〜（Ｃ）に示す平均演算等の補間式に基づき画素２Ｂの画素値を算出する。ただし、式中の各記号は、該当する画素の画素値を示す。記号「／」は除算を示す。
（Ａ）２Ｂ＝（２Ａ＋２Ｃ）／２
（Ｂ）２Ｂ＝（１Ｂ＋２Ａ＋２Ｃ＋３Ｂ）／４
（Ｃ）２Ｂ＝（１Ａ＋１Ｂ＋１Ｃ＋２Ａ＋２Ｃ＋３Ａ＋３Ｂ＋３Ｃ）／８

画像処理部５は、補正データ用メモリ９３に記憶されている上記画素２Ｂに対応するＯＢ部２５の欠陥画素アドレス情報に基づいて上記画素補間処理を行い、この補間処理により得られた欠陥画素の画素値を、後述のリファレンス用メモリ９２における当該欠陥画素アドレスに格納する。また、バラツキの補正に関しても同様に、後述の補正データ用メモリ９３に記憶されているＯＢ暗時データ（バラツキ特性３３２）に基づいて画素間のバラツキを除外する演算処理を行い、この演算処理により得られた画像データをリファレンス用メモリ９２に格納する。

また、画像処理部５は、本実施形態に示すようにＯＢ部２５が複数のＯＢラインから構成される場合、これら複数のＯＢラインに対して所定の平均処理を行うことで、平均化された１ライン分のデータ（平均ＯＢラインデータ）を算出し、このデータを、ＯＢ部２５つまり複数のＯＢラインを代表するスミアリファレンスデータ（代表スミアリファレンスという）として再定義して後述のリファレンス用メモリ９２に格納する。なお、この平均処理は、相加平均或いは相乗平均であってもよい。また、複数のＯＢラインから代表のＯＢラインを求める演算処理は上記平均処理でなくともよく、任意の演算処理が採用可能である。画像処理部５は、代表スミアリファレンスを算出した後、撮像有効領域２６の画像データから、ライン毎に、すなわち例えば図２の水平転送部２３と平行な水平画素ライン毎に代表スミアリファレンスデータを減算する演算を行うことでスミア補正を行う。

画像メモリ９は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部５にて画像処理される前のＲＡＷ画像データ、或いは画像処理部５や制御部６での各種処理時又は処理後の画像データ等を保存する所謂バッファである。画像メモリ９は、フレームメモリ９１、リファレンス用メモリ９２及び補正データ用メモリ９３を備えている。フレームメモリ９１は、撮像センサ２により得られた撮影画像（フレーム画像）つまり撮像有効領域２６の画像データ（有効画素データという）及びＯＢ部２５の画像データ（ＯＢ画素データ）からなる全画素データを格納する。また、フレームメモリ９１は、スミア補正が施された撮影画像も格納する。

リファレンス用メモリ９２は、スミア補正用のリファレンスデータ（上記スミアリファレンス）を格納するものである。ただし、このスミアリファレンスは、フレームメモリ９１に格納された全画素データにおけるＯＢ部２５の画像（各ＯＢライン出力３１１）に対して、上記誤差成分除去処理が施されてなるＯＢライン出力データ（補正ＯＢライン出力という）、或いは、複数の補正ＯＢライン出力が例えば平均化処理されてなる上記代表スミアリファレンスデータである。

補正データ用メモリ９３は、スミアリファレンスを補正するためのデータ（補正データ）を格納するものである。この補正データは、ここでは上述した欠陥画素のアドレス情報、及びＯＢ部２５を構成する各画素の暗時出力データ（ＯＢ暗時データという）である。このＯＢ暗時データは具体的には上記バラツキ特性３３２に相当する。欠陥画素のアドレス情報やＯＢ暗時データは既定値として与えられている。この既定値は、例えば、予め撮像センサ２毎（各画素毎）に遮光した状態（スミアの影響が全くない状態）で測定して得られた出力データとして与えられる。この欠陥画素のアドレス情報やＯＢ暗時データは、ＯＢライン暗時出力３３１に示す１ライン分のデータに対してでなく、ＯＢ部２５の全画素データ（全ＯＢライン）に対するものとなっている。なお、欠陥画素のアドレス情報は、ＯＢ部２５に対するもののみではなく、全画素データに対する画素アドレス情報であってもよい。

なお、上記フレームメモリ９１には、撮影画像の全画素データが格納される構成となっているが、例えば、スミアリファレンスとして用いるＯＢ部２５の画像データを全画素データから分離して、残りの撮像有効領域２６の画像データのみをフレームメモリ９１に格納し、このＯＢ部２５の画像データは、リファレンス用メモリ９２に格納する構成としてもよい（このような構成においても、上述と同様にＯＢ部２５の画像データに対するスミアリファレンス補正処理或いは以降のスミア補正処理等が行われる）。この場合、撮像センサ２から画像データを読み出す際に、画素アドレスに基づいてＯＢ部２５の画像データと、撮像有効領域２６の画像データとを分離しつつ、それぞれをフレームメモリ９１とリファレンス用メモリ９２とに格納してもよい。またこの場合、リファレンス用メモリ９２内に当該ＯＢ部２５の画像データ用のメモリを別途設ける構成としてもよい。なお、上記各メモリ９１〜９３は、所定のＢＵＳ（画像ＢＵＳ）を介して接続されている。

図８は、本実施形態に係る計測用撮像装置１におけるスミア補正に関する動作の一例を示すフローチャートである。先ず、撮像センサ２によって撮影画像（フレーム画像）が取得される（この撮影画像にはスミアが発生しているものとする）。具体的には、ＰＤでの光電変換による電荷蓄積が開始され（例えば蓄積開始時点で、それ以前の蓄積電荷のリセット動作が行われる）（ステップＳ１）、その後、ＰＤの蓄積電荷が垂直転送部２２へ転送されるなどして撮像動作が終了され（ステップＳ２）、垂直転送部２２での該電荷の垂直転送と水平転送部２３での水平転送とが交互に行われてシリアルに撮像センサ２から全画素データ（撮影画像）が読み出され、Ａ／Ｄ変換部３によるＡ／Ｄ変換処理が施された後、フレームメモリ９１に格納される（ステップＳ３）。そして、このフレームメモリ９１に格納された撮影画像のＯＢ部２５の画像に基づいて、スミアリファレンスの補正が行われ（ステップＳ４）、当該補正後のスミアリファレンス（代表スミアリファレンス）に基づいて、スミアの補正が行われる（ステップＳ５）。なお、当該スミア補正により得られた画像（スミア補正画像という）は、外部装置１００で所定の処理を施すべく、制御部６によって、外部インタフェース部１０を経由して外部装置１００に転送（外部出力）されてもよい（ステップＳ６）。

図９は、上記ステップＳ４におけるスミアリファレンス補正に関する動作の一例を示すフローチャートである。ステップＳ４において、画像処理部５によって、ＯＢ部２５の各ＯＢライン出力３１１からＯＢライン暗時出力３３１が除去される処理が行われる。すわなち、各ＯＢライン出力３１１から該各ＯＢライン出力３１１に対応するバラツキ特性３３２（ＯＢ暗時データ）が減算されてＯＢ暗時補正処理が行われる（ステップＳ４１）とともに、ＯＢ部２５（各ＯＢライン出力３１１）における欠陥画素の補間処理が行われる（ステップＳ４２）。そして、ＯＢ暗時補正及び欠陥画素補間の誤差成分除去処理が施された複数の補正ＯＢライン出力が例えば平均化処理されることで代表スミアリファレンスが作成され（ステップＳ４３）、この代表スミアリファレンスデータがリファレンス用メモリ９２に格納される（ステップＳ４４）。

図１０は、上記ステップＳ４１におけるＯＢ暗時補正に関する動作の一例を示すフローチャートである。ステップＳ４１において、画像処理部５によって、フレームメモリ９１からＯＢ部２５の画像データ（ＯＢ画像データ；各ＯＢライン出力）が、補正データ用メモリ９３から各ＯＢラインに対応するバラツキ特性（ＯＢ暗時データ）が読み出され（ステップＳ４１１）、各ＯＢライン出力からそれぞれに対応するバラツキ特性が減算される（ステップＳ４１２）。そして、バラツキ特性が減算された各ＯＢライン出力（補正ＯＢライン出力）が、スミアリファレンスすなわちフレームメモリ９１から読み出されたＯＢ部２５の各ＯＢラインのデータをスミアリファレンスとすると、これに対する誤差成分除去処理が施されて修正された修正スミアリファレンスを構成するデータとして、リファレンス用メモリ９２に格納される（ステップＳ４１３）。

図１１は、上記ステップＳ４２におけるＯＢ部欠陥画素補間に関する動作の一例を示すフローチャートである。ステップＳ４２において、画像処理部５によって、フレームメモリ９１からＯＢ部２５の画像データ（各ＯＢライン出力）が、また、補正データ用メモリ９３からＯＢ部２５における欠陥画素のアドレス情報が読み出され（ステップＳ４２１）、欠陥画素アドレス情報に基づいて該欠陥画素アドレスの画素の画素値が、隣接画素の画素値から平均演算等によって補間される（ステップＳ４２２）。そして、この補間によって得られた欠陥画素の画素値（或いは補正ＯＢライン出力）が、上記修正スミアリファレンスを構成するデータとしてリファレンス用メモリ９２に格納される（ステップＳ４２３）。

図１２は、上記ステップＳ５におけるスミア補正に関する動作の一例を示すフローチャートである。ステップＳ５において、画像処理部５によって、フレームメモリ９１に格納されている撮像有効領域２６の画像データが１画素ライン（１有効画素ライン）分ずつ読み出され（ステップＳ５１）、当該読み出された１画素ライン分の画像データから、上記ステップＳ４において作成された代表スミアリファレンスが減算された後（ステップＳ５２）、当該代表スミアリファレンス減算後の１画素ライン分の画像データがフレームメモリ９１に格納される（ステップＳ５３）。そして、画像処理部５によって、有効画素の全画素ライン分の減算処理が終了したと判別された場合には（ステップＳ５４のＹＥＳ）、フロー終了となり、有効画素の全ライン分の減算処理が終了していないと判別された場合には（ステップＳ５４のＮＯ）、ステップＳ５１に戻り、全ライン終了まで繰り返される。なお、スミア補正の実行タイミングとしては、上記フローに示すものに限定されず、例えばフレームメモリ９１から外部装置１００への画像転送時に、１画素ライン単位で転送しながら当該スミア補正（代表スミアリファレンスの減算処理）を行うタイミングであってもよい。

なお、図１２のフローチャートに示すように、本実施形態では、撮像有効領域２６の有効画素データからスミアリファレンス（代表スミアリファレンス）を減算することで、有効画素データのスミア補正を行うようにしているが、これに関し、厳密にはＣＣＤの暗時出力特性は、画素毎に若干のバラツキがあり、撮像有効領域２６の各画素の暗時出力特性を、ＯＢ部２５の画素の暗時出力で規定することはできないが、近似値として用いることはできる。そのため、スミア補正としてＯＢ部２５の画像データから得たスミアリファレンス（代表スミアリファレンス）を適用することで撮像有効領域２６の暗時補正も同時に行うことができる。

以上のように、本実施形態の計測用撮像装置１によれば、ＯＢ部２５が、撮像センサ２の構成画素がマスクされてなる光学的遮光領域とされ、ＯＢ部２５の画素出力情報に基づき作成されたスミア補正時のリファレンスデータとして用いるスミアリファレンスと、ＯＢ部２５における欠陥画素情報及び各構成画素の暗時出力特性情報とが画像メモリ９に記憶される。そして、画像処理部５によって、画像メモリ９に記憶されている欠陥画素情報及び暗時出力特性情報に基づいて、欠陥画素及び暗時出力特性によるスミアリファレンスに対する影響を該スミアリファレンスから除外するスミアリファレンス補正が行われる。これによれば、欠陥画素及び暗時出力特性によるスミアリファレンスに対する影響をスミアリファレンスから除外するスミアリファレンス補正が行われるので、スミアリファレンス自体の精度を高めることができ、これを用いたスミア補正も高精度なものとすることができ、ひいては高精度（高画質）な計測用画像を得ることができる。

また、画像処理部５によって、スミアリファレンス補正として、スミアリファレンスにおける暗時出力特性のバラツキが補正されるので、ＯＢ部２５におけるＯＢライン（画素ライン）の出力データ（スミアリファレンス）が通常有している各画素間の出力バラツキ（バラツキ特性３３２）の影響が取り除かれたスミアリファレンスを得ることができ、精度の高いスミアリファレンスとすることができる。

また、画像処理部５によって、欠陥画素のアドレス情報を基に、欠陥画素の画素値を該欠陥画素の周辺画素（隣接画素）の画素値を用いて補間することにより欠陥画素による影響をスミアリファレンスから除外するスミアリファレンス補正が行われるので、例えばこの周辺画素の画素値を平均して欠陥画素の画素値を補間するなど、容易な方法（演算）によって、スミアリファレンスに対する欠陥画素の影響を除外することができる。

また、ＯＢ部２５が、撮像センサ２における垂直転送部２２と垂直な所定数のＯＢラインからなり、画像処理部５によって、スミアリファレンスとしてのＯＢラインの出力データに対する暗時出力特性のバラツキを減算する処理及び欠陥画素の画素値を補間する処理によりスミアリファレンス補正が行われ、該スミアリファレンス補正によって得られたＯＢラインの出力データが、撮像センサ２の撮像有効領域２６における上記ＯＢ部２５のＯＢラインと平行な各有効画素ラインの出力データから減算されることで撮影画像に対するスミア補正が行われる。このように、ＯＢ部２５におけるＯＢラインの出力データ（スミアリファレンス）に対して暗時出力特性のバラツキを減算する処理及び欠陥画素の画素値を補間する処理がなされるので、スミアリファレンス自体の精度を高めることができ、また、この補正により精度が高められたＯＢラインの出力データを撮像有効領域２６の各有効画素ラインから減算することでスミア補正が行われるので、スミア補正を高精度なものとすることができる。

さらに、計測用撮像装置１は、２次元の色彩及び輝度を測定する２次元色彩輝度計とされるので、彩度及び輝度の計測において得られる計測用画像（撮影画像）に対するスミア補正を高精度で行うことができる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記実施形態においては、撮影画像に対するスミアリファレンス補正処理やスミア補正処理を、計測用撮像装置１内（画像処理部５や制御部６）で行う構成としているが、これに限らず、計測用撮像装置１外の所定の処理部において実行する構成としてもよい。具体的には、ＯＢ部２５の画像データを含めた全撮影画像データを撮像センサ２から読み出した後、この画像データを画像メモリ９にバッファせずに、外部インタフェース部１０を経由して外部装置１００（図１参照）へ転送し、この外部装置１００において例えば所定のソフトウェアを用いて演算処理することで上記実施形態と同様の各種補正処理を行う構成としてもよい。

（Ｂ）上記実施形態においては、例えば図１２のフローチャートに示すように、ライン毎に補正している、すなわち、１つの有効画素ラインから１つの代表スミアリファレンス（ＯＢライン）を減算する演算方法としているが、このようなライン同士の演算ではなく、面と面との演算、すなわち例えば、撮像有効領域２６における全有効画素ラインに対応するライン数分の繰り返し並べられた代表スミアリファレンスからなる合成画像を作成し、この全有効画素ラインからなる画像（面）データから、代表スミアリファレンスが繰り返し並んだ画像（面）データを一度に減算するような演算方法であってもよい。

（Ｃ）上記図４に示すバラツキ特性３３２の代わりに、このバラツキ特性３３２と正負が逆特性を有するバラツキ特性を補正データ用メモリ９３等に格納しておき、スミアリファレンスに対する当該バラツキの補正時には、この逆特性のバラツキ特性をＯＢライン出力３１１に対して加算或いは乗算する構成としてもよい。

本実施形態に係る計測用撮像装置の一例を示す概略的なブロック構成図である。 上記計測用撮像装置に用いられる撮像センサの受光面の一構成例を説明する拡大図である。 上記撮像センサの受光面の全体構成の一例を説明する模式図である。 スミアが発生した場合のＯＢ部の出力特性について説明するグラフ図である。 スミアリファレンスの欠陥画素の補間処理について説明する模式図である。 スミアが発生する主な要因（メカニズム）について説明する斜視図である。 正規の光電変換部（ＰＤ部）以外が全て遮光膜で遮光されたＣＣＤ構造を説明する斜視図である。 本実施形態に係る計測用撮像装置におけるスミア補正に関する動作の一例を示すフローチャートである。 図８に示すフローチャートのステップＳ４におけるスミアリファレンス補正に関する動作の一例を示すフローチャートである。 図９に示すフローチャートのステップＳ４１におけるＯＢ暗時補正に関する動作の一例を示すフローチャートである。 図９に示すフローチャートのステップＳ４２におけるＯＢ部欠陥画素補間に関する動作の一例を示すフローチャートである。 図８に示すフローチャートのステップＳ５におけるスミア補正に関する動作の一例を示すフローチャートである。 従来におけるスミアの発生について説明する模式図である。

符号の説明

１ 計測用撮像装置
２ 撮像センサ
５ 画像処理部
９ 画像メモリ（記憶部）
９１ フレームメモリ
９２ リファレンス用メモリ
９３ 補正データ用メモリ
２２ 垂直転送部（垂直転送ＣＣＤ部）
２２３、２２７ 遮光膜
２５ ＯＢ部（遮光部）
２６ 撮像有効領域
３１１ ＯＢライン出力
３２１ スミア成分
３３２ バラツキ特性（バラツキ）
３３３、３３４ 欠陥画素出力（欠陥画素情報）

Claims (5)

1. ＣＣＤを用いて所定の計測対象を撮影する撮像センサを備え、該撮像センサによる撮影画像に発生したスミアの補正が可能に構成された計測用撮像装置であって、
   前記撮像センサの構成画素がマスクされてなる光学的遮光領域としての遮光部と、
   前記遮光部の画素出力情報に基づき作成されたスミア補正時のリファレンスデータとして用いるスミアリファレンスと、前記遮光部における欠陥画素情報及び各構成画素の暗時出力特性情報とを記憶する記憶部と、
   前記記憶部に記憶されている欠陥画素情報及び暗時出力特性情報に基づいて、欠陥画素及び暗時出力特性による前記スミアリファレンスに対する影響を該スミアリファレンスから除外するスミアリファレンス補正を行う画像処理部とを備えることを特徴とする計測用撮像装置。
2. 前記画像処理部は、前記スミアリファレンス補正として、前記スミアリファレンスにおける前記暗時出力特性のバラツキを補正することを特徴とする請求項１記載の計測用撮像装置。
3. 前記欠陥画素情報は、欠陥画素のアドレス情報を含んだものであって、
   前記画像処理部は、前記欠陥画素のアドレス情報を基に、欠陥画素の画素値を該欠陥画素の周辺画素の画素値を用いて補間することにより前記欠陥画素による影響をスミアリファレンスから除外するスミアリファレンス補正を行うことを特徴とする請求項１又は２記載の計測用撮像装置。
4. 前記遮光部は、撮像センサにおける垂直転送ＣＣＤ部と垂直な所定数の画素ラインからなり、
   前記画像処理部は、スミアリファレンスとしての前記画素ラインの出力データに対する前記暗時出力特性のバラツキを減算する処理及び欠陥画素の画素値を補間する処理によって前記スミアリファレンス補正を行い、該スミアリファレンス補正によって得られた画素ラインの出力データを、撮像センサの撮像有効領域における前記画素ラインと平行な各有効画素ラインの出力データから減算することで撮影画像に対するスミア補正を行うことを特徴とする請求項１〜３のいずれかに記載の計測用撮像装置。
5. 前記計測用撮像装置は、２次元の色彩及び輝度を測定する２次元色彩輝度計であることを特徴とする請求項１〜４のいずれかに記載の計測用撮像装置。

Images