JP4556993B2 - 状態検査システム - Google Patents

Description

本発明は、１つの撮像素子において、標準露光時間に対応するフレームレートでの撮像と、これより高速なフレームレートでの撮像とを並列に行うのに好適な撮像装置を備えた状態検査システムに関する。

人件費の高騰、単純作業の長時間労働に対する人道的な観点、などの課題を踏まえ、生産や検査工程にカメラの導入が進んでいる。カメラを用いた検査や、組み立て部品の選別などは、対象物の形状を瞬時に測定、認識する。また、形状認識と平行して、対象物の色合いなどを計測する。例えば、農産物やその加工品などの形状と色合いを同時に検査、選別する。このような検査装置としては、例えば、特許文献１及び特許文献２に記載の農産物の外観検査装置などがある。これらは、ＣＣＤ（Charge Coupled Device）カメラにより農産物の形状と色合いの双方を計測し、両者に基づき判定処理を行う。このような検査装置では、今後、効率化のための更なる高速化、低価格化が望まれる。

上記検査装置などにおいて用いられる産業用カメラには、主としてＣＣＤカメラが利用されている。ＣＭＯＳカメラも娯楽や写真用途を中心に普及し、ＣＣＤに比して安価になり、かつ画質も向上してきたが、未だＣＣＤカメラが主流である、これは、ＣＣＤが持つ一括電子シャッタという機能が理由の一つである。
ＣＭＯＳ（Complementary Mental-Oxide Semiconductor）センサ（ＣＭＯＳ型の撮像素子）は、その構造上、ローリングシャッタ方式による露光及び信号の読み出しが基本である。ローリングシャッタ方式は、撮像素子の受光エリアで信号の取り込みタイミングが、ライン（画素列）毎に異なる。そのため、動く被写体を撮像したときに、撮像画像が歪んでしまう現象が起こる。この現象は、特に被写体が高速に移動する場合に顕著である。

図６（ｂ）は、従来のローリングシャッタ方式による各ラインの露光及び各ラインからの画素信号の読み出しのタイミングを示す図である。図６（ｂ）において、縦軸は撮像素子を構成するラインの番号、横軸は時間である。ライン数は説明のためＬ１〜Ｌ８の８ラインとする。ローリングシャッタ方式においては、Ｌ１、Ｌ２、Ｌ３、、、Ｌ８の順で順次走査が行われ、図Ｘ中の矢印（↑）のタイミングにて走査されたラインに対する読み出しとリセットが行われる。そのため、図６（ｂ）に示すように、各ラインの露光及び読み出しのタイミングに他のラインとの時間差が発生する。例えばＬ１とＬ８では、約１フレーム分の時間差が発生する。この時間差によって、移動する被写体（以下、移動体と称す）を撮像したときに画像歪が発生する。画像歪により被写体の形状が変わるので、形状認識における欠点となる。なお、ＣＣＤカメラにおいても、被写体が移動すると、画像ブレという現象が起こるので、被写体の移動速度などに応じて形状認識の精度は落ちる。

移動体を画像歪やブレを抑圧した状態で撮像し、形状認識を行うためには、フレームレートを速くする必要がある。ＣＭＯＳセンサは、ＣＣＤセンサと比して、回路を撮像素子上に組み込める、配線の自由度が高い、などの理由で、フレームレートの高速化が可能である。参考までに、産業用途として、例えば、１８０[fps]などの高速フレームレートのイメージセンサが開発されている。１８０[fps]の撮像では、波形ひずみがほとんど無い、という報告もある。ただし、フレームレートを高速化すると、露光時間が短くなり、画素からの信号出力レベルが小さくなって、結果として画質（Ｓ／Ｎ）が劣化する、という欠点を有す。

ここで、露光量について記述する。産業用カメラを含む生産設備や検査装置では、照明環境とカメラの露出制御の両者により、露光量を調整し、認識精度を向上させている。すなわち、カメラのフレームレート（３０[fps]＝標準露光時間のレート）で、良質な画像が取得できるように（被写体の暗部にて十分な信号レベルが出力されるように）、また明部にて信号が飽和しないように（飽和部が存在すると、形状認識ができなくなってしまう）、絞りや照明の光量等を最適に調整している（これは、様々な環境下での利用を想定した写真目的とは大きく異なる）。
特開２００５−６２００８号公報 特開平９−３１８５４７号公報

高速なフレームレート（フレームレートを標準のｎ倍）で高画質を得るために、照明の照度をｎ倍にする、撮像素子の画素面積をｎ倍にする、などの方法があるが、前者はシステムの運用費（ランニングコスト）が高くなる、環境に優しくないなどの課題があり、後者はカメラのコストアップという課題がある。
また、ＣＭＯＳセンサの画像歪を解決する方法として、ＣＣＤの如く一括電子シャッタの機構を撮像素子上に設ける方法がある。この場合、画素の構造が複雑になる為、画素性能を落とす、撮像素子の価格が高くなる、という欠点を有す。

また、高画質と高速性とを両立させるために、２つのカメラを用い、一方を動きや形状の検出用高速カメラ、もう一方を色合いなどの質感を検出する通常のカメラとして使い分ける方法があるが、２つのカメラを使い分ける方法では、コストや消費電力が高くなるといった問題が生じる。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、移動する被写体の形状や動きを正確に検出可能な高フレームレートの画像と、被写体の色合いや質感などを正確に検出できる高画質な画像とを比較的低コストで撮像するのに好適な撮像装置を備えた状態検査システムを提供することを目的としている。

〔形態１〕 上記目的を達成するために、形態１の撮像素子は、受光した光を電荷に変換して蓄積する複数の光電変換素子が２次元マトリクス状に配設された構成の光電変換部を有する撮像素子であって、標準露光時間に対応するフレームレートの各フレーム期間を第１〜第Ｎ（Ｎは２以上の自然数）の順にＮ個の期間に分割してなる、第１〜第Ｎサブフレーム期間における前記第１サブフレーム期間において、前記光電変換部の各光電変換素子に蓄積された電荷を空にする処理であるリセット処理を行うリセット処理手段と、前記第１サブフレーム期間から第Ｎサブフレーム期間において、前記各光電変換素子に蓄積される電荷量に応じた電気信号からなる画素信号を、各サブフレーム期間において非破壊で読み出す画素信号読出手段と、を備える。

このような構成であれば、第１サブフレーム期間において、各光電変換素子に蓄積されていた電荷がリセット処理によって空になり、画素信号読出手段によって、リセット処理後の各光電変換素子から、各サブフレーム期間において、蓄積電荷量に応じた画素信号が非破壊で順次読み出される。
つまり、第１〜第Ｎサブフレーム期間の各サブフレーム期間において、非破壊で画素信号を読み出すことができるので、標準露光時間に対応した１フレームの期間において、第１〜第Ｎサブフレーム期間において累積して蓄積される電荷量に応じた画素信号（標準露光時間の画素信号）と、第１〜第Ｎ−１サブフレーム期間にそれぞれ対応する画素信号（標準露光時間よりも速いレート（短い露光時間）の画素信号）とを同時に得ることができるという効果が得られる。

例えば、高速で移動する被写体を撮像したときに、標準露光時間の画素信号から構成される撮像画像から、被写体の色合いや質感などを正確に把握することができる。更に、標準露光時間よりも高速なフレームレートの画素信号から構成される撮像画像から、被写体の動きや形状を正確に把握することができる。
ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した撮像素子としては、例えば、閾値変調型撮像素子（ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。

また、上記非破壊で読み出すとは、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、それぞれ異なる露光時間に対して何度でも電荷の読み出しを行うことができる。

〔形態２〕 更に、形態３の撮像素子は、形態１又は２に記載の撮像素子において、前記画素信号読出手段は、前記各光電変換素子からリセット処理直後の画素信号を読み出す。
このような構成であれば、リセット処理によって蓄積電荷の空になった直後の画素信号を読み出すことができるので、蓄積電荷の殆ど無い状態の画素信号を得ることができる。この画素信号には、固定パターンノイズ成分が含まれるので、第１〜第Ｎサブフレーム期間の各サブフレーム期間で読み出された画素信号との差分をとることで、これらのサブフレーム期間の画素信号から固定パターンノイズ成分を除去することができるという効果が得られる。

ここで、「固定パターンノイズ」には、例えば、長時間露光時において問題になる暗電流シェーディングや、画素ごとの閾値ばらつきやセンサ感度の違いによって発生するものなどがある。

〔形態３〕 一方、上記目的を達成するために、形態３の撮像装置は、形態１又は２に記載の撮像素子と、該撮像素子の各光電変換素子の露光量を制御する機能とを備えた撮像装置であって、
前記画素信号読出手段によって前記リセット処理の直前に読み出した、前記標準露光時間の蓄積電荷量に対応する画素信号が飽和レベルに到達しないように前記各光電変換素子の露光量を制御する。

このような構成であれば、標準露光時間で蓄積された電荷量に対応する画素信号のレベルが飽和レベルに到達しないように露光量が制御されるので、標準露光時間の撮像画像において白とびなどが発生しなくなる。これにより、全てのサブフレームが未飽和になり、被写体の質感や物体の動きなどをより正確に検出できる撮像画像を得ることができるという効果が得られる。なお、露光量の制御法としては、絞り量や照明光量などを制御する方法がある。

〔形態４〕 また、上記目的を達成するために、形態５の撮像装置は、形態１に記載の撮像素子と、該撮像素子の各光電変換素子の露光量を制御する機能とを備えた撮像装置であって、
前記撮像素子において、前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第Ｎサブフレーム期間において蓄積される電荷量に応じた画素信号に基づき、前記第１サブフレーム期間から第Ｎサブフレーム期間にそれぞれ対応する高速撮像画像データを生成する高速撮像画像データ生成手段と、
前記撮像素子において、前記画素信号読出手段で読み出された、前記第１サブフレーム期間において蓄積される電荷量に応じた画素信号データと、前記第１サブフレーム期間から第Ｎサブフレーム期間において蓄積された電荷量に応じた画素信号とに基づき、前記標準露光時間に対応する撮像画像データである標準撮像画像データを生成する標準撮像画像データ生成手段と、を備える。

このような構成であれば、上記形態１に記載の撮像素子によって得られた第１サブフレーム期間から第Ｎサブフレーム期間において蓄積される電荷量に応じた画素信号に基づき、第１〜第Ｎサブフレーム期間に対応する高速撮像画像データが生成される。更に、第１サブフレーム期間において蓄積される電荷量に応じた画素信号データと、第１サブフレーム期間から第Ｎサブフレーム期間において蓄積された電荷量に応じた画素信号とに基づき、標準撮像画像データが生成される。

これにより、上記形態１に記載の撮像素子と同様の効果が得られる。
更に、標準のフレームレートで撮像された被写体の標準撮像画像データと、これより高速なフレームレートで撮像された被写体の高速撮像画像データとを並行して生成することができるので、例えば、ベルトコンベアなどに乗せて商品を移動させながら該商品の状態（外観）を検査するシステムに適用することで、標準撮像画像データから被写体（商品）の色合いや質感などを検出し、高速撮像画像データから被写体の形状や動きを検出することで、精度の高い検査を行うことができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態４に記載の撮像装置において、前記画素信号読出手段は、前記各光電変換素子からリセット処理直後の画素信号を読み出すようになっており、前記高速撮像画像データ生成手段は、前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第ｎ（ｎは、２≦ｎ≦Ｎ）の自然数）サブフレーム期間において蓄積された電荷量に応じた画素信号の輝度値と、前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第ｎ−１サブフレーム期間において蓄積された電荷量に応じた画素信号の輝度値又は前記リセット処理直後の画素信号の輝度値との差分値に基づき、第１〜第Ｎサブフレーム期間にそれぞれ対応する前記高速撮像画像データを生成し、前記標準撮像画像データ生成手段は、前記画素信号読出手段で読み出された、前記第１サブフレーム期間において蓄積された電荷量に応じた画素信号の輝度値と、前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第Ｎサブフレーム期間において蓄積された蓄積電荷量に対応する画素信号の輝度値との差分値に基づき、前記標準撮像画像データを生成する。

このような構成であれば、高速撮像画像データ及び標準撮像画像データから固定パターンノイズ成分を除去することができるので、これら撮像画像データの画質を向上することができるという効果が得られる。

〔形態６〕 更に、形態６の撮像装置は、形態４又は５に記載の撮像装置において、
前記画素信号読出手段によって前記リセット処理の直前に読み出した、前記標準露光時間の蓄積電荷量に対応する画素信号が飽和レベルに到達しないように前記各光電変換素子の露光量を制御する。

このような構成であれば、標準露光時間で蓄積された電荷量に対応する画素信号のレベルが飽和レベルに到達しないように露光量が制御されるので、標準露光時間の撮像画像において白とびなどが発生しなくなる。これにより、全てのサブフレームが未飽和になり、被写体の質感や物体の動きなどをより正確に検出できる撮像画像を得ることができるという効果が得られる。なお、露光量の制御法としては、絞り量や照明光量などを制御する方法がある。

〔形態７〕 また、上記目的を達成するために、形態７の状態検査システムは、検査領域内を移動する検査対象の状態を検査する状態検査システムであって、形態４乃至６のいずれか１に記載の撮像装置と、前記検査対象を照明する照明装置と、前記撮像装置で前記検査対象を撮像して得られる標準撮像画像データに基づき、前記照明装置の光量を制御する光量制御手段と、前記標準撮像画像データに基づき、前記検査対象の質感に係る情報を検出する第１検出手段と、前記高速撮像画像データに基づき、前記検査対象の形状及び動きのうち少なくとも一方に係る情報を検出する第２検出手段と、を備える。

このような構成であれば、例えば、初期化工程において、形態４乃至６のいずれか１の撮像装置で検査対象が撮像され、標準撮像画像データが生成されると、光量制御手段によって、この標準撮像画像データに基づき、検査対象を照明している照明装置の光量が制御される。これにより光量が適量に制御されると、検査工程が開始され、検査領域内を移動する検査対象が形態４乃至６のいずれか１の撮像装置によって撮像され、高速撮像画像データ及び標準撮像画像データが生成される。これら撮像画像データが生成されると、第１検出手段によって、標準撮像画像データに基づき、例えば、検査対象の色合いなどの質感が検出され、第２検出手段によって、高速撮像画像データに基づき検査対象の形状や動きなどが検出される。

つまり、移動する検査対象に対して、標準のフレームレートで得られた標準撮像画像データから、色合いなどの質感を検出し、標準のフレームレートよりも高速なフレームレートで得られた高速撮像画像データから、形状や動きなどを検出するようにしたので、検査対象の質感や形状などに異常が有るか否かなどの検査精度を、標準又は高速のフレームレートの撮像画像のみで行うことと比較して向上することができるという効果が得られる。
また、照明装置の照明光の光量を最適化するようにしたので、検査精度をより向上させることができるという効果が得られる。

〔形態８〕 更に、形態８の状態検査システムは、形態７に記載の状態検査システムにおいて、前記撮像装置で前記検査対象を撮像して得られる標準撮像画像データに基づき、輝度情報のヒストグラムを生成するヒストグラム生成手段を備え、前記ヒストグラム生成手段で生成したヒストグラムに基づき、前記第Ｎサブフレーム期間において読み出される画素信号のレベルが飽和レベルに到達しないように、前記照明装置の光量を制御する。

このような構成であれば、初期化工程において、形態４乃至６のいずれか１の撮像装置で検査対象が撮像され、標準撮像画像データが生成されると、ヒストグラム生成手段によって、標準撮像画像データに基づき輝度情報のヒストグラムが生成される。ヒストグラムが生成されると、光量制御手段によって、例えば、ヒストグラムが理想的なものとなるように、照明装置の光量が制御される。

これにより、より適切な画質を有する標準撮像画像データを得ることができるので、検査精度をより向上させることができるという効果が得られる。

以下、本発明に係る撮像素子、撮像装置及び撮像システムの実施の形態を、図面に基づき説明する。図１〜図１２は、本発明に係る撮像素子、撮像装置及び状態検査システムの実施の形態を示す図である。
まず、図１に基づき、本発明に係る状態検査システム１の概略構成を説明する。ここで、図１は、本発明に係る状態検査システム１の概略構成を示すブロック図である。

状態検査システム１は、図１に示すように、標準露光時間に対応するフレームレートのフレームでの撮像と、該フレームよりも速いフレームレート（Ｎ（Ｎは２以上の自然数）倍速のフレームレート）のフレーム（以下、第１〜第Ｎサブフレームと称す）での撮像とを並行して行うことが可能な撮像装置１００と、検査対象物を照明する照明装置２００と、照明装置２００及びベルトコンベア５００の動作を制御する制御装置３００と、撮像装置１００の動作を制御する情報処理装置４００と、検査対象物を搬送するベルトコンベア５００とを含んで構成される。

なお、撮像装置１００及び情報処理装置４００は、データ伝送路を介して互いにデータ通信可能に接続されている。更に、照明装置２００、情報処理装置４００及びべルトコンベア５００は、データ伝送路を介してそれぞれ制御装置３００と互いにデータ通信可能に接続されている。
撮像装置１００は、標準のフレームレートに対してＮ倍速のフレームレートによる画素信号の読み出しを行う機能を有しており、標準の１フレームの期間において、同一被写体に対して、Ｎ回の画素信号の読み出し処理を行う。そして、標準露光時間に対応する撮像画像データ（以下、標準撮像画像データと称す）と、Ｎ回の高速読み出しに対応する撮像画像データ（以下、高速撮像画像データと称す）とを生成する。

照明装置２００は、ベルトコンベア５００の上方に配設され、ベルトコンベア５００のベルト上に載置された検査対象物を照明する。更に、制御装置３００からの制御コマンドに従って、照明光量を変更することが可能である。
制御装置３００は、情報処理装置４００からのコマンドに応じて、照明装置２００の照明光量の制御、ベルトコンベア５００の動作の開始や停止の制御、ベルトの速度制御（搬送速度の制御）など、照明装置２００及びベルトコンベア５００の動作を制御する。

情報処理装置４００は、撮像装置１００によって検査対象物を撮像して得られた標準撮像画像データ及び高速撮像画像データに基づき、照明装置２００の照明光量を制御するコマンドを生成したり、ベルトコンベア５００の動作を制御するコマンドを生成したり、検査対象物の状態を検出したりするなど、状態検査システム１の動作を統括制御する。
具体的に、システムの初期化動作時における、照明光量の制御においては、撮像装置１００で撮像して得られた検査対象物の標準撮像画像データに基づき輝度情報のヒストグラムを生成し、該ヒストグラムが適切な輝度分布のヒストグラムとなるように照明装置２００の照明光量を制御するコマンドを生成する。

また、検査対象物の状態の検出処理においては、標準撮像画像データに基づき検査対象物の色合いや質感などを検出し、高速撮像画像データに基づき検査対象物の形状を検出する。
また、例えば、照明装置２００の照明光量の調整だけでは検査対象物の色合いや質感又は形状を正確に検出できる撮像画像が得られないときなどに、標準撮像画像データ及び高速撮像画像データに基づき、ベルトコンベア５００のベルトの速度を制御するコマンドを生成する。例えば、搬送速度が速すぎて、適切な撮像画像が得られないようなときは、ベルトの速度を下げるコマンドを生成する。

なお、上記生成されたコマンドは制御装置３００に送信され、該制御装置３００がコマンドに基づき照明装置２００及びベルトコンベア５００の動作を制御する。
ここで、情報処理装置４００は、上記各機能をソフトウェアを用いて実現するため、および上記各機能の実現に必要なハードウェアを制御するソフトウェアを実行するためのコンピュータシステムを備えている。このコンピュータシステムのハードウェア構成は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有し、これらの間をＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス等からなる各種内外バスで接続した構成となっている。

さらに、バスには、ＩＥＥＥ１３９４、ＵＳＢ、パラレルポート等の入出力インターフェース（Ｉ／Ｆ）を介して、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶装置、ＣＲＴまたはＬＣＤモニタ等の表示装置、操作パネル、マウス、キーボード等の入力装置、ネットワーク（データ伝送路）上の外部装置と通信するためのネットワークカードなどが接続されている。

そして、電源を投入すると、ＲＯＭ等に記憶されたＢＩＯＳ等のシステムプログラムが、ＨＤＤ等に予め記憶された上記各部の機能を実現するための各種専用のコンピュータプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムに記述された命令に従ってＣＰＵが各種リソースを駆使して所定の制御および演算処理を行うことで前述したような各機能をソフトウェア上で実現するようになっている。

ベルトコンベア５００は、照明装置２００の照明光が反射しにくくなるように、反射率の低い黒色の部材から構成されている。更に、制御装置３００からの制御コマンドに従って、動作を開始したり停止したり、ベルトの速度を変更したりすることが可能である。

次に、図２に基づき、撮像装置１００の内部構成を説明する。
ここで、図２は、撮像装置１００の内部構成を示すブロック図である。
撮像装置１００は、図２に示すように、ＣＭＯＳ型のセンサセルアレイ（撮像素子）から構成される撮像処理系１０と、センサセルアレイから読み出された画素信号に基づき撮像画像データを生成する映像処理系１２と、映像処理系１２で生成された撮像画像データを情報処理装置４００に送信したり、情報処理装置４００からの指令を受けて撮像処理系１０及び映像処理系１２の動作を制御したりするシステムコントローラ１４と、撮像画像データの送信処理に用いる伝送用フレームメモリ１６とを含んで構成される。

次に、図３〜図４に基づき、撮像処理系１０の内部構成を説明する。
ここで、図３は、撮像処理系１０の内部構成を示すブロック図であり、図４は、走査ラインスキャナ５４の内部構成を示すブロック図である。
撮像処理系１０は、図３に示すように、基準タイミング発生器５０と、走査ラインスキャナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。

基準タイミング発生器５０は、映像処理系１２から受信した、標準のピクセルクロックのＮ倍速のピクセルクロック（以下、Ｎ倍速ピクセルクロック）、標準の水平同期信号（以下、標準水平同期信号と称す）及び標準の垂直同期信号（以下、標準垂直同期信号と称す）に基づき、標準水平同期信号のＮ倍速（周波数がＮ倍）の水平同期信号であるサブサンプル水平同期信号及び標準垂直同期信号のＮ倍速（周波数がＮ倍）の垂直同期信号であるサブフレーム垂直同期信号を生成し、これらを走査ラインスキャナ５４及び水平転送部５８にそれぞれ出力する。

ここで、標準の１フレームの期間（例えば、フレームレートが３０[ｆｐｓ]）において、Ｎ倍速（標準のレートが３０[ｆｐｓ]であれば、Ｎ×３０[ｆｐｓ]）でＮ回行われる画素信号の非破壊による読み出し動作を、サブサンプリングと称す。また、Ｎ回のサブサンプリングが行われる各期間を、その順番に第１〜第Ｎサブフレーム期間と称す。
走査ラインスキャナ５４は、基準タイミング発生器５０及び映像処理系１２からの各種信号に基づき、リセット処理を行うラインを有効にするリセットライン選択信号を生成する。そして、該生成したリセットライン選択信号をセンサセルアレイ５６に出力する。

更に、走査ラインスキャナ５４は、画素信号の読み出しを行うラインを有効にする読出しライン選択信号を順次生成する。そして、該生成した読出ライン選択信号をセンサセルアレイ５６に順次出力する。
センサセルアレイ５６は、ＣＭＯＳ技術を用いて構成された、受光素子（フォトダイオードなど）及び増幅器を含む複数のセンサセル（画素）が２次元マトリクス状に配設された構成の受光領域を備え、各画素のライン（本実施の形態では走査方向と直交するライン）に対して、アドレス線、リセット線及び読出し線が共通に接続された構成を有している。

そして、前記３つの制御線を介して各種駆動信号（選択信号）が各ラインを構成するセンサセルに送信され、アドレス線及び読出し線が有効になると、信号線を介して蓄積電荷（画素信号）を水平転送部５８に転送（出力）する。
ここで、撮像処理系１０は、撮像レンズ（不図示）を備えており、被写体からの光を撮像レンズでセンサセルアレイ５６に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる構成となっている。

このような構成によって、センサセルアレイ５６は、走査ラインスキャナ５４から供給される選択信号に基づき、アドレス線により、リセット動作又は読出し動作を行わせる画素のラインを有効に（選択）する。そして、当該選択信号で選択したラインの各画素に対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。また、センサセルアレイ５６は、各画素の蓄積電荷（画素信号）を破壊することなく（保持した状態で）画素信号の転送（非破壊読み出し）を行うことができる。

以上より、選択信号によって選択された各画素おいては、リセット動作を指示する信号が入力されたときはリセット動作が行われ、蓄積電荷の転送を指示する信号が入力されたときは、信号線を介して水平転送部５８への蓄積電荷の非破壊による転送が行われる。
水平転送部５８は、ノイズ除去用の画像データとそれ以外の画像データとをそれぞれ独立に転送する２系統のチャンネルを有しており、センサセルアレイ５６の各画素から読み出された露光時間の異なるＮ種類の画素信号（アナログ信号）のデータ（以下、画素信号データと称す）をＡ／Ｄ変換し、該変換後のデジタルのデータ（以下、画素データと称す）を、映像処理系１２へとシリアルで順次出力する。なお、詳細な構成は後述する。

次に、図４に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図４に示すように、サブフレームカウンタ５４ａと、走査用ラインカウンタ５４ｂと、リセット制御部５４ｃと、リセット走査アドレスデコーダ５４ｄと、アドレスデコーダ５４ｅとを含んで構成される。
サブフレームカウンタ５４ａは、基準タイミング発生器５０からの標準垂直同期信号及びサブフレーム垂直同期信号に基づきカウントアップ動作を繰り返し、そのカウント値をリセット制御部５４ｃに出力する。具体的に、標準垂直同期信号に同期してカウント値をリセットし、サブフレーム垂直同期信号に同期してカウントアップする。

走査用ラインカウンタ５４ｂは、基準タイミング発生器５０からのサブフレーム垂直同期信号及びサブサンプル水平同期信号に基づきカウントアップ動作を繰り返し、そのカウント値をリセット制御部５４ｃ及びアドレスデコーダ５４ｅにそれぞれ出力する。具体的に、サブフレーム垂直同期信号に同期してカウント値をリセットし、サブサンプル水平同期信号に同期してカウントアップする。

なお、走査用ラインカウンタ５４ｂのカウント値は、センサセルアレイ５６の各画素のライン番号に対応している。
リセット制御部５４ｃは、サブフレームカウンタ５４ａのカウント値が初期値（例えば、「１」）のときだけ、走査用ラインカウンタ５４ｂのカウント値をリセット走査アドレスデコーダ５４ｄに出力し、それ以外のときは、選択するラインの無いことを示す値（例えば「０」）をリセット走査アドレスデコーダ５４ｄに出力する。具体的に、サブフレームカウンタ５４ａのカウント値が第１サブフレーム期間に対応する値であるときに、走査用ラインカウンタ５４ｂのカウント値をリセット走査アドレスデコーダ５４ｄに出力する。

リセット走査アドレスデコーダ５４ｄは、リセット制御部５４ｃから入力されるカウント値に基づき、該カウント値に対応するライン番号のラインを、「リセットライン」として選択且つ有効とするためのリセットライン選択信号を生成し、これをセンサセルアレイ５６に出力する。これにより、選択ラインのみが有効となり、それ以外のラインが無効となる。

アドレスデコーダ５４ｅは、走査用ラインカウンタ５４ｂのカウント値に基づき、該カウント値に対応するライン番号のラインを、「読み出しライン」として選択且つ有効とするための読み出しライン選択信号を生成し、これをセンサセルアレイ５６に出力する。これにより、選択ラインのみが有効となり、それ以外のラインが無効となる。
更に、図５〜図６に基づき、撮像処理系１０のセンサセルアレイ５６からの画素信号の読み出し方法についてより具体的に説明する。

ここで、図５は、各ラインの画素信号の読み出しタイミングの一例及び水平転送部５８の詳細な構成を示す図であり、図６（ａ）は、本発明の露光・読み出し方式による各サブフレーム期間に対する各ラインの読み出しタイミングを示す図であり、（ｂ）は、従来の露光・読み出し方式による画素信号の各ラインの読み出しタイミングを示す図である。
まず、図５に基づき、水平転送部５８の詳細な構成を説明する。

水平転送部５８は、図５に示すように、ノイズ用水平転送部５８ａ（ＣＨ０）と、画素信号用水平転送部５８ｂ（ＣＨ１）とを含んで構成される。
ノイズ用水平転送部５８ａは、リセット処理直後において各画素から読み出された画素信号データをライン単位で記憶するノイズ信号格納ラインメモリ５８ｃと、該ノイズ信号格納ラインメモリ５８ｃに記憶された画素信号データに対して、ライン単位に信号レベルの調整などの画素信号処理を行う画素信号処理部５８ｄと、画素信号処理後の画素信号データに対してＡ／Ｄ変換を行うＡ／Ｄ変換器５８ｅとを含んで構成される。

画素信号用水平転送部５８ｂは、第１〜第Ｎサブフレーム期間の各期間において各画素から読み出された、蓄積電荷量に応じた画素信号データをライン単位で記憶する画素信号格納ラインメモリ５８ｆと、該画素信号格納ラインメモリ５８ｆに記憶された画素信号データに対して信号レベルの調整などの画素信号処理を行う画素信号処理部５８ｇと、画素信号処理後の画素信号データに対してＡ／Ｄ変換を行うＡ／Ｄ変換器５８ｈとを含んで構成される。

次に、各サブフレーム期間におけるリセット処理及び画素信号の読み出し処理を説明する。
まず、第１サブフレーム期間において、走査ラインスキャナ５４から、読み出しライン選択信号が順に入力され、図５に示すように、この選択信号に対応するラインが読み出しラインとして順に有効にされる。そして、有効にされたラインから１つ前のフレームにおける標準露光時間に対応した画素信号が非破壊で読み出される。この読み出しの直後に、走査ラインスキャナ５４から順に入力されるリセットライン選択信号に基づき、各選択信号に対応するラインをリセットラインとして順に有効にし、該有効にしたラインに対してリセット処理を実行する。

更に、本実施の形態においては、リセット処理直後の各ラインの画素から画素信号（ノイズ信号）を読み出す。リセット処理直後において読み出される画素信号は、露光が殆ど行われていない状態の信号となるので、大部分が固定パターンノイズ成分に支配された信号となる。
第１サブフレーム期間において、各読み出しラインから読み出された標準露光時間に対応する画素信号データは、画素信号用水平転送部５８ｂにおいてデジタルの画素データに変換されて映像処理系１２へと転送される。

一方、リセット処理直後において、各ラインから読み出された画素信号データは、ノイズ用水平転送部５８ａにおいてデジタルの画素データに変換されて映像処理系１２へと転送される。
引き続き、第２〜第Ｎサブフレーム期間においては、走査ラインスキャナ５４から、読み出しライン選択信号が順に入力され、この選択信号に対応するラインが読み出しラインとして順に有効にされる。そして、有効にされたラインから画素信号が非破壊で読み出される。

第２〜第Ｎサブフレーム期間において、各読み出しラインから読み出されたリセット処理直後の画素信号データは、画素信号用水平転送部５８ｂにおいてデジタルの画素データに変換されて映像処理系１２へと転送される。
なお、リセット処理直後の各ラインの画素データをノイズ画像データと称し、第１〜第Ｎサブフレーム期間に対応する各ラインの画素データを第１〜第Ｎサブサンプル画像データと称す。

次に、図６（ａ）に基づき、各サブフレーム期間における画素信号の読み出しタイミング及び各画像データの出力タイミングについて具体例をあげて説明する。図６（ａ）の例では、フレームレートの倍速数Ｎを４とし、ライン数を８（図中のＬ１〜Ｌ８が対応）としている。
図６（ａ）に示すように、標準垂直同期信号に同期して標準のフレーム期間が開始されると共に、サブフレーム垂直同期信号に同期して第１サブフレーム期間が開始される。第１サブフレーム期間では、その開始タイミング（第４サブフレームの終了タイミング）において１つ前のフレームにおける標準露光時間に対応する画素信号を非破壊で読み出し且つその直後にリセット処理を行うことになる。そのため、第１サブフレーム期間においては、１つ前のフレームにおける標準露光時間の画素信号データが、画素信号用水平転送部５８ｂでデジタルデータに変換されて第４サブサンプル画像データとして映像処理系１２へと出力される。

更に、１つ前のフレームの画素信号の読み出しが行われたラインに対してリセット処理が順次実行され、該リセット処理直後の画素信号が各画素から読み出される。このリセット処理直後の画素信号は、ノイズ用水平転送部５８ａでデジタルデータに変換されてノイズ画像データとして映像処理系１２へと出力される。
一方、リセット処理が行われると、第１サブフレームのサブフレーム垂直同期信号（以下、第１サブフレーム垂直同期信号と称す）の立ち下がりエッジから第２サブフレーム垂直同期信号の立ち下がりエッジまでの期間（仮想的な露光期間）を経て、各ラインから蓄積電荷に応じた画素信号が非破壊で順次読み出される。具体的に、第２サブフレーム期間の開始タイミングで画素信号が読み出される。この画素信号データは、画素信号用水平転送部５８ｂでデジタルデータに変換されて第１サブサンプル画像データとして映像処理系１２へと出力される。

第２サブフレーム期間が開始されると、第２サブフレーム垂直同期信号の立ち下がりエッジから第３サブフレーム垂直同期信号の立ち下がりエッジまでの期間を経て、各ラインから蓄積電荷に応じた画素信号が非破壊で順次読み出される。具体的に、第３サブフレーム期間の開始タイミングで画素信号が読み出される。この画素信号データは、画素信号用水平転送部５８ｂでデジタルデータに変換されて第２サブサンプル画像データとして映像処理系１２へと出力される。

第３サブフレーム期間が開始されると、第２サブフレーム期間のときと同様に、第３サブフレーム垂直同期信号の立ち下がりエッジから第４サブフレーム垂直同期信号の立ち下がりエッジまでの期間を経て、第４サブフレームの開始タイミングにおいて、各ラインから蓄積電荷に応じた画素信号が読み出される。この画素信号データは、画素信号用水平転送部５８ｂでデジタルデータに変換されて第３サブサンプル画像データとして映像処理系１２へと出力される。

第４サブフレーム期間が開始されると、第４サブフレーム垂直同期信号の立ち下がりエッジから次のフレームの第１サブフレーム垂直同期信号の立ち下がりエッジまでの期間を経て、次のフレームの第１サブフレームの開始タイミングにおいて、各ラインから蓄積電荷に応じた画素信号が読み出される。この画素信号データは、画素信号用水平転送部５８ｂでデジタルデータに変換されて第４サブサンプル画像データとして映像処理系１２へと出力される。

以降は、上記同様にリセット処理、ノイズ画像データの読み出し処理、第１〜第４サブサンプル画像データの読み出し処理が順次行われる。
これにより、標準の１フレームの期間において、該標準の４倍速のフレームレートで４回の画素信号の読み出し処理を行うことができる。
従って、図６（ｂ）に示す、従来の方式による読み出しタイミングによる時間ずれと比較して、各サブフレーム期間におけるタイミングのずれは１／４となる。つまり、Ｎ倍速のフレームレートで読み出しを行った場合は、時間のずれを１／Ｎとすることができる。

更に、画素信号の読み出しを非破壊で行っているため、各読み出しタイミングに対応する４種類の蓄積電荷量（露光時間）に対応した画素信号を読み出すことができる。図６（ａ）の例であれば、標準露光時間を含む４種類の露光時間に対応した画素信号を読み出すことができる。

次に、図７に基づき、映像処理系１２の内部構成を説明する。
ここで、図７は、映像処理系１２の内部構成を示すブロック図である。
映像処理系１２は、図７に示すように、通信器・撮像制御部１２ａと、タイミング制御器１２ｂと、高速撮像画像データ生成部１２ｃと、高速画像処理部１２ｄと、標準撮像画像データ生成部１２ｅと、標準画像処理部１２ｆと、メモリアクセス調停器１２ｇと、フレームメモリ１２ｈとを含んで構成される。

通信器・撮像制御部１２ａは、システムコントローラ２０からのコマンドを受信し、該受信したコマンドに応じて駆動制御信号を生成し、該駆動制御信号を撮像処理系１０及び映像処理系１２に送信してこれらの動作を制御する。具体的に、撮像の開始、撮像のストップ、リセット、ホールドなどの各種動作の制御を行う。
タイミング制御器１２ｂは、不図示の水晶振動子やセラミック発振子等から構成されたクロック発振器からのクロック信号に基づき、標準のピクセルクロックのＮ倍速に相当するＮ倍速ピクセルクロック、標準のフレームレートに対応する、標準水平同期信号、標準垂直同期信号を生成して、撮像処理系１０に送信する。また、撮像処理系１０から、サブサンプル水平同期信号、サブフレーム垂直同期信号を受信して、内部処理のための各種同期信号、制御信号を生成する。

高速撮像画像データ生成部１２ｃは、撮像処理系１０から受信した第１〜第Ｎサブサンプル画像データ及びノイズ画像データを、メモリアクセス調停器１２ｇを介してフレームメモリ１２ｈに記憶する機能と、第１〜第Ｎサブサンプル画像データに基づき、高速撮像画像データ（ＲＡＷ画像データ）を生成する機能とを有している。
フレームメモリ１２ｈへのサブサンプル画像データの記憶処理は、具体的に、タイミング制御器１２ｂからのサブフレーム垂直同期信号及びサブサンプル水平同期信号に基づき、第１〜第Ｎサブサンプル画像データ及びノイズ画像データの各画素データのアドレスを生成し、該生成したアドレスと各画素データとを組にして書き込み命令と共に、メモリアクセス調停器１２ｇに出力する処理となる。

次に、図８に基づき、高速撮像画像データ生成部１２ｃにおける、高速撮像画像データの生成処理について説明する。ここで、図８は、画素における蓄積電荷量の推移の一例を示す図である。
図８に示すように、センサセルアレイ５６の各画素からは、リセット処理直後から次のリセット処理までの間に、図８中の（１）〜（４）のタイミングで、非破壊で画素信号が読み出される。更に、（４）のタイミングでの非破壊読み出しの直後にリセット処理が行われる。そのため、時間の経過に伴い各画素には電荷が蓄積されていき蓄積電荷量が、図８中の信号出力値の傾斜に示すように増加していき、リセット処理が実行されると、図８中の点線で示すリセット後の信号レベルまで下がる。つまり、リセット処理のタイミングによって露光時間が決定される。

従って、各サブフレーム期間の露光による各画素に蓄積された電荷成分は、各サブフレーム期間における蓄積電荷量とその１つ前のサブフレームにおける蓄積電荷量との差分によって検出することができる。
このことから本実施の形態の高速撮像画像データ生成部１２ｃは、内部の減算器（不図示）を用いて、隣り合うサブフレームにそれぞれ対応するサブサンプル画像データ同士の減算処理を行い、該減算結果に基づき、各サブフレーム期間に対応する第１〜第Ｎ高速撮像画像データを生成する。

図７に戻って、高速画像処理部１２ｄは、高速撮像画像データ生成部１２ｃで生成された、第１〜第Ｎ高速撮像画像データに対して、例えば、色補間、色変換、ノイズ除去、ディテール処理、γ補正などの画像処理を行い、最終的な出力データとなるカラー高速撮像画像データを生成する。更に、該生成したカラー高速撮像画像データを、各種同期信号（水平同期信号、垂直同期信号、ピクセルクロック）と共に、システムコントローラ１４に出力する。

標準撮像画像データ生成部１２ｅは、内部の減算器（不図示）を用いて、第４サブサンプル画像データとノイズ画像データとの減算処理を行い、該減算結果に基づき標準撮像画像データを生成する。
標準画像処理部１２ｆは、標準撮像画像データ生成部１２ｅで生成された、標準撮像画像データに対して、例えば、色補間、色変換、ノイズ除去、ディテール処理、γ補正などの画像処理を行い、最終的な出力データとなるカラー標準撮像画像データを生成する。更に、該生成したカラー標準撮像画像データを、各種同期信号（水平同期信号、垂直同期信号、ピクセルクロック）と共に、システムコントローラ１４に出力する。

メモリアクセス調停器１２ｇは、高速撮像画像データ生成部１２ｃからのフレームメモリ１２ｈに対する読み込み・書き込み命令に応じて、フレームメモリ１２ｈに対してアクセスを行う。
具体的に、高速撮像画像データ生成部１２ｃから画素データの書き込み命令が入力されたときには、指定アドレスへの画素データの書き込み要求をフレームメモリ１２ｈに出力し、一方、画素データの読み込み命令が入力されたときは、指定アドレスからの画素データの読み出し要求をフレームメモリ１２ｈに出力する。

フレームメモリ１２ｈは、書き換え可能なメモリから構成されており、メモリアクセス調停器１２ｇから読み出し要求があると、その要求が示すアドレスの領域に格納されたサブサンプル画像データを読み出して、該画像データをメモリアクセス調停器１２ｇに渡す。一方、メモリアクセス調停器１２ｇから書き込み要求があると、その書き込み要求が示すアドレスの領域に、メモリアクセス調停器１２ｇから入力されたサブサンプル画像データを書き込む。

次に、図９に基づき、高速撮像画像データ生成部１２ｃ及び標準撮像画像データ生成部１２ｅにおける各撮像画像データの具体的な生成処理方法について説明する。ここで、図９は、各サブフレーム期間における撮像画像データの生成タイミングを示す図である。
高速撮像画像データ生成部１２ｃは、図９に示すように、第１サブフレーム期間において、撮像処理系１０から第４サブサンプル画像データを受信し、フレームメモリ１２ｈから第３サブサンプル画像データを読み出す。そして、受信した第４サブサンプル画像データと読み出した第３サブサンプル画像データとにおける、同じ画素位置の各画素値同士の減算処理を行い、この減算結果から第４高速撮像画像データを生成し、該生成した第４高速撮像画像データを高速画像処理部１２ｄに出力する。つまり、第１サブフレーム期間においては、１つ前のフレームに対する第４高速撮像画像データを生成することになる。

これと並行して、標準撮像画像データ生成部１２ｅは、第１サブフレーム期間において、撮像処理系１０から受信した、第４サブサンプル画像データとノイズ画像データとにおける、同じ画素位置の各画素同士の減算処理を行い、この減算結果から標準撮像画像データを生成し、該生成した標準撮像画像データを標準画像処理部１２ｆに出力する。つまり、第１サブフレーム期間においては、１つ前のフレームに対する標準撮像画像データを生成することになる。

引き続き、高速撮像画像データ生成部１２ｃは、第２サブフレーム期間において、撮像処理系１０から第１サブサンプル画像データを受信し、フレームメモリ１２ｈからノイズ画像データを読み出し、読み出したノイズ画像データと受信した第１サブサンプル画像データとにおける同じ画素位置の各画素値（輝度値）同士の減算処理を行い、この減算結果から第１高速撮像画像データを生成する。そして、生成した第１高速撮像画像データを高速画像処理部１２ｄに出力する。

更に、高速撮像画像データ生成部１２ｃは、第３サブフレーム期間において、撮像処理系１０から第２サブサンプル画像データを受信し、フレームメモリ１２ｈから第１サブサンプル画像データを読み出し、受信した第２サブサンプル画像データと読み出した第１サブサンプル画像データとにおける同じ画素位置の画素値同士の減算処理を行い、この減算結果から第２高速撮像画像データを生成し、該生成した第２高速撮像画像データを高速画像処理部１２ｄに出力する。同様に、第４サブフレーム期間においては、撮像処理系１０から第３サブサンプル画像データを受信し、フレームメモリ１２ｈから第２サブサンプル画像データを読み出し、受信した第２サブサンプル画像データと読み出した第１サブサンプル画像データとにおける同じ画素位置の画素値同士の減算処理を行い、この減算結果から第３高速撮像画像データを生成し、該生成した第３高速撮像画像データを高速画像処理部１２ｄに出力する。以降は、次のフレームの第１サブフレーム期間へと継続し、上記同様の処理が行われる。この処理は、撮像が行われている間は繰り返し行われることになる。

図２に戻って、システムコントローラ１４は、情報処理装置４００から伝送路（有線又は無線）を介して各種指示（コマンド）を受信し、該指示に応じて、撮像処理系１０及び映像処理系１２に対してコマンドを発行し、これらの動作を制御する。
また、映像処理系１２から標準撮像画像データ及び高速撮像画像データを受信し、該受信した撮像画像データを伝送用フレームメモリ１６に蓄積し、伝送路のプロトコルに準じて、蓄積した撮像画像データを情報処理装置４００に向けて送信する。

伝送用フレームメモリ１６は、書き換え可能なメモリから構成されており、システムコントローラ１４から読み出し要求があると、その要求が示すアドレスの領域に格納された標準又は高速撮像画像データを読み出して、該読み出した撮像画像データをシステムコントローラ１４に渡す。一方、システムコントローラ１４から書き込み要求があると、その書き込み要求が示すアドレスの領域に、システムコントローラ１４から入力された標準又は高速撮像画像データを書き込む。

次に、図１０〜図１２に基づき、本発明に係る状態検査システム１を農産物の状態検査に適用した場合の実際の動作を説明する。
ここで、図１０は、状態検査システム１を農産物（果物や野菜など）の状態検査に適用した一例を示す図である。また、図１１は、状態検査システム１の検査開始までの処理の流れを示すフローチャートである。また、図１２は、標準撮像画像データの輝度情報のヒストグラムの一例を示す図である。

ここでは、フレームレートの倍速数Ｎを４として動作を説明する。
農産物の状態検査に適用した場合に、本実施の形態の状態検査システム１は、図１０に示すように、ベルトコンベア５００のベルト上に農産物が載置されて移動する構成となる。更に、ベルトの上方には、ベルトに乗って移動する農産物が撮像領域内に入ったときにその全体が撮像可能なように撮像装置１００が配設される。更に、撮像装置１００の撮像領域内を移動する農産物の全体を照明できるように照明装置２００が配設される。

照明装置２００、情報処理装置４００及びベルトコンベア５００は、ＬＡＮケーブル、無線ＬＡＮなどのデータ伝送路を介してそれぞれ制御装置３００とデータ通信可能に接続され、撮像装置１００と情報処理装置４００とは、データ伝送路を介して互いにデータ通信可能に接続されている。
以下、図１１及び図１２に基づき、状態検査システム１による農産物の状態検査処理の動作を説明する。

状態検査システム１を構成する各構成部に電源が投入されると、状態検査システム１は、まず、初期化動作を実行する（ステップＳ１００）。
初期化動作は、農産物の状態検査に先立って行われる処理で、まず、照明装置２００の照明光量の制御を行う。具体的に、ベルトコンベア５００のベルト上に農産物を載置し、ベルトコンベア５００を動作させて、撮像すべき検査対象物（農産物）の全体を撮像領域内に入れてベルトコンベア５００の動作を停止させる。この状態で、撮像装置１００によって撮像領域内の農産物を撮像し、標準撮像画像データ及び高速撮像画像データを生成する。撮像装置１００は、初期化動作時においては、標準撮像画像データのみをデータ伝送路を介して情報処理装置４００に送信する。

情報処理装置４００は、撮像装置１００から検査対象物の標準撮像画像データを受信すると、該標準撮像画像データに基づき、輝度情報のヒストグラムを生成する（ステップＳ１０２）。そして、この輝度情報のヒストグラムに基づき、該ヒストグラムの輝度分布が適切か否かを判定する（ステップＳ１０４）。
具体的に、上記生成したヒストグラムの輝度分布が、例えば、図１２に示すヒストグラムのように適切な輝度分布である場合（ステップＳ１０４の「Ｙｅｓ」の分岐）は、照明設定を終了し、状態検査を開始すべく一連の処理を終了して、状態検査処理へと移行する。

一方、上記生成したヒストグラムの輝度分布が適切ではない場合（ステップＳ１０４の「Ｎｏ」の分岐）は、照明装置２００の照明光量を変更するコマンドを生成し、該生成したコマンドを制御装置３００に送信する（ステップＳ１０８）。これにより、制御装置３００を介して照明装置２００に照明光量を変更するコマンドが送信され照明光量が変更される。

情報処理装置４００は、例えば、飽和レベルに達している画素数が多い場合は、照明光量を低減させるコマンドを生成し、逆に、輝度の低い画素数が多い場合は、飽和レベルに達しない範囲で照明光量を増加させるコマンドを生成する。
そして、照明装置２００の照明光量を変更した場合は、変更するごとに撮像装置１００で検査対象物を撮像し、該撮像により得られた標準撮像画像データからヒストグラムを生成し（ステップＳ１０２）、該生成したヒストグラムの輝度分布が適切か否かを判定する（ステップＳ１０４）。

なお、実際は、ベルトコンベア５００によって移動中の検査対象物を撮像するので、移動する検査対象物を撮像して、照明光量の調整等を行うようにしても良い。
また、情報処理装置４００は、移動中の検査対象物を撮像して得られた高速撮像画像データに基づき、検査対象物の形状の検出を正確に行うことができるか否かを判定し、形状の検出を正確に行えないような場合は、例えば、ベルトコンベア５００のベルトの速度を制御するコマンドを生成し、該生成したコマンドを制御装置３００に送信する。これにより、ベルトコンベア５００のベルトの速度を変更することが可能である。

例えば、ベルトの速度が速すぎて形状の認識が正確に行えないようであれば、ベルトの速度を低減させるコマンドを生成する。但し、検査の効率を考慮するとベルトの速度（農産物の搬送速度）は速いほうが良いので、画質と速さとのトレードオフにより最適な速さへと制御することが好ましい。
上記初期化動作が完了すると、ベルトコンベア５００に対して動作の開始コマンドが送信され、ベルトコンベア５００が動作を開始する。これにより、ベルト上に載置された検査対象物が移動を開始し、検査対象物の状態検査が開始される。

状態検査が開始されると、撮像装置１００において撮像領域内を通過する検査対象物が撮像され、該撮像により得られた標準撮像画像データと、第１〜第４高速撮像画像データとが、データ伝送路を介して、情報処理装置４００に送信される。
情報処理装置４００は、撮像装置１００から受信した標準撮像画像データに基づき、検査対象物の色合いや質感を検出する。例えば、色情報も考慮したパターンマッチングを行って色合いや質感を検出する。例えば、検査対象物が「りんご」である場合に、りんごの色艶や陰影の状態などに基づき色味（質感）の範囲を設定しておき、標準撮像画像データの色味が設定された色味の範囲内か否かによって、検査対象のりんごの質感を判定（検出）する。

このように、適切なヒストグラムとなるように調整された標準撮像画像データに基づき、検査対象物の質感を判定することで、検査対象物の状態を精度良く判定することができる。
また、情報処理装置４００は、撮像装置１００から標準撮像画像データを受信するごとに、その輝度情報のヒストグラムを生成し、ヒストグラムに異変があるかどうかを監視する。異変があった場合は、そのことをユーザに通知すると共に、状態検査処理を中断して、ヒストグラムが適切な輝度分布となるように、照明光量を調整する。

情報処理装置４００は、更に、撮像装置１００から受信した第１〜第４高速撮像画像データに基づき、検査対象物の形状を検出する。例えば、予め設定された閾値によって、第１〜第４高速撮像画像データを２値化し、該２値化データに基づき、エッジ検出、面積算出、パターンマッチングなどを行い、検査対象物の形状を判定（検出）する。
このように、４倍速のフレームレートの撮像によって得られた第１〜第４高速撮像画像データに基づき、検査対象物の形状を判定するようにしたので、標準撮像画像データによって形状を判定する従来の方法と比較して、ベルトの速度を高速化することができる。

情報処理装置４００は、更に、上記質感の判定結果及び形状の判定結果に基づき、検査対象物の品質に応じた選別情報を生成し、該生成した選別情報を、不図示の選別装置に送信する。
選別装置は、情報処理装置４００からの選別情報に基づき、該当の検査対象物を選別する。

以上、本発明に係る状態検査システム１は、標準露光時間に対応する１フレームの期間毎に各画素に対してリセット処理を行うことが可能であり、標準の１フレームの期間において、該標準のフレームレートのＮ倍速のフレームレートでセンサセルアレイ５６の各画素から、画素信号を非破壊で読み出すことが可能である。
これにより、標準の１フレームの期間において、各画素の電荷の蓄積状態を維持したままで、Ｎ回の画素信号の読み出しを行うことができる。

また、標準露光時間となるタイミングと、これよりも短い露光時間のタイミングとにおいて画素信号を読み出すようにすることで、標準露光時間のタイミングで読み出した画素信号から標準撮像画像データを生成することが可能である。更に、標準の１フレームの期間をＮ個の期間に分割してなる、第１〜第Ｎサブフレーム期間において、時間的に連続する２つのサブフレーム期間において読み出された画素信号の差分処理によって、各サブフレーム期間における露光で蓄積された電荷量に応じた画素信号からなる第１〜第Ｎ高速撮像画像データを生成することが可能である。

つまり、標準の１フレームの期間において、標準露光時間に対応する撮像画像データと、標準露光時間よりも短い露光時間に対応する撮像画像データとを同時に得ることができる。
更に、本発明に係る状態検査システム１は、標準撮像画像データに基づき検査対象物の質感を検出することが可能であり、第１〜第Ｎ高速撮像画像データに基づき検査対象物の形状や動きを検出することが可能である。

これにより、検査対象物の質感を正確に検出することができると共に、移動する検査対象物の形状や動きをより正確に検出することができる。
更に、本発明に係る状態検査システム１は、標準撮像画像データに基づき輝度情報のヒストグラムを生成し、該生成したヒストグラムの輝度分布が適切な分布となるように照明装置の照明光量を調整することが可能である。

これにより、各画素の露光量を適切な量に調整することができるので、より画質の良い標準撮像画像を得ることができる。
更に、リセット処理直後の画素信号を読み出して、該画素信号からノイズ画像データを生成することができ、且つ該ノイズ画像データを用いて標準露光時間に対応する画素データから固定パターンノイズ成分を除去することが可能である。

これにより、より画質の良い標準撮像画像データを得ることができる。
上記実施の形態において、撮像処理系１０は、形態１又は２に記載の撮像素子に対応し、撮像装置１００は、形態４又は５に記載の撮像装置に対応し、状態検査システム１は、形態７又は８に記載の状態検査システムに対応する。
また、上記実施の形態において、撮像処理系１０におけるセンサセルアレイ５６の各画素に対して、第１サブフレームの期間においてリセット処理を行う機能は、形態１に記載のリセット処理手段に対応し、走査ラインスキャナ５４及びセンサセルアレイ５６における第１〜第Ｎサブフレーム期間において標準のＮ倍速のフレームレートでＮ回の画素信号の読み出しを行う機能は、形態１、２、４、５及び６のいずれか１に記載の画素信号読出手段に対応し、高速撮像画像データ生成部１２ｃ及び高速画像処理部１２ｄは、形態４又は５に記載の高速撮像画像データ生成手段に対応し、標準撮像画像データ生成部１２ｅ及び標準画像処理部１２ｆは、形態４又は５に記載の標準撮像画像データ生成手段に対応する。

また、上記実施の形態において、照明装置２００は、形態７又は８に記載の照明装置に対応し、制御装置３００及び情報処理装置４００による照明装置２００の照明光量の制御機能は、形態７又は８に記載の光量制御手段に対応し、情報処理装置４００における検査対象物の質感を検出する機能は、形態７に記載の第１検出手段に対応し、情報処理装置４００における検査対象物の形状を検出する機能は、形態７に記載の第２検出手段に対応し、情報処理装置４００におけるヒストグラムの生成機能は、形態８に記載のヒストグラム生成手段に対応する。

なお、上記実施の形態においては、リセット処理直後の画素信号データを、ノイズ用水平転送部５８ａを用いて他の画素信号データとは別のチャンネルによって映像処理系１２に転送する構成としたが、これに限らず、ノイズ画像データは光入力に依存せず、通常は固定値となることを利用して、予め取得したノイズ画像データをフレームメモリ１２ｈに記憶しておき、そのデータを用いる構成とすることで、ノイズ用水平転送部５８ａを設けることなく同様の処理を実現することが可能である。

また、上記実施の形態においては、画素信号の読み出し時における標準のフレームレートに対する倍速数Ｎを、例えば、「Ｎ＝４」などに固定的に設定する構成を説明したが、これに限らず、任意の倍速数に設定できる又は可変にできる構成としてもよい。この構成であれば、例えば、現状の倍速数において得られる高速撮像画像データから検査対象物の形状や動きなどの検出がうまくできない場合などに、適切な高速撮像画像データが得られるように倍速数Ｎを制御することができる。

また、上記実施の形態においては、情報処理装置４００が、標準撮像画像データの輝度情報のヒストグラムを生成し、該生成したヒストグラムに基づき、照明装置２００の照明光量を制御する構成としたが、これに限らず、検査をするユーザが、モニタに表示された検査対象物を目視で確認しながら指示を出して光量を制御する構成としてもよい。この場合に、情報処理装置４００は、検査動作中に、ヒストグラムに予期しない変動があったと判断した場合に、そのことをユーザに通知すると共に、状態検査システムの稼動状況のチェックを促すような構成としてもよい。

また、上記実施の形態においては、情報処理装置４００が、高速撮像画像データを２値化して、該２値化データに基づき検査対象物の形状を検出する構成としたが、これに限らず、２値化する処理を撮像装置１００において行わせる構成としてもよい。
また、上記実施の形態においては、状態検査システム１を、農産物の状態検査（外観検査）に適用したが、これに限らず、機械部品などの非生物や、常に動きのある物体など他の種類の検査対象物に適用してもよいし、外観検査に限らず、高速撮像画像データから検査対象物の動きを検出して、検査対象物を動作時の動作検証などに用いてもよい。

また、上記実施の形態においては、照明装置２００の照明光量を調整することで、撮像装置１００の露光量の調整を行うようにしたが、これに限らず、例えば、撮像装置１００のメカ的な絞り機構の絞り量を調整するなど撮像装置１００に備えられた機能によって露光量を調整するようにしてもよい。
この場合に、撮像装置１００は、形態３又は６に記載の撮像装置に対応する。

本発明に係る状態検査システム１の概略構成を示すブロック図である。 撮像装置１００の内部構成を示すブロック図である。 撮像処理系１０の内部構成を示すブロックである。 走査ラインスキャナ５４の内部構成を示すブロック図である。 各ラインの画素信号の読み出しタイミングの一例及び水平転送部５８の詳細な構成を示す図である。 （ａ）及び（ｂ）は、本発明及び従来の露光・読み出し方式による各ラインからの画素信号の読み出しタイミングを示す図である。 映像処理系１２の内部構成を示すブロック図である。 画素における蓄積電荷量の推移の一例を示す図である。 各サブフレーム期間における撮像画像データの生成タイミングを示す図である。 状態検査システム１を農産物の状態検査に適用した一例を示す図である。 状態検査システム１の検査開始までの処理の流れを示すフローチャートである。 標準撮像画像データの輝度情報のヒストグラムの一例を示す図である。

符号の説明

１は状態検査システム、１００は撮像装置、２００は照明装置、３００は制御装置、４００は情報処理装置、５００はベルトコンベア、１０は撮像処理系、１２は映像処理系、１４はシステムコントローラ、１６は伝送用フレームメモリ、５０は基準タイミング発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は水平転送部、５４ａはサブフレームカウンタ、５４ｂは走査用ラインカウンタ、５４ｃは、リセット制御部、５４ｄはリセット走査アドレスデコーダ、５４ｅはアドレスでコーダ、１２ａは通信器・撮像制御部、１２ｂはタイミング制御器、１２ｃは高速撮像画像データ生成部、１２ｄは高速画像処理部、１２ｅは標準撮像画像データ生成部、１２ｆは標準画像処理部、１２ｇはメモリアクセス調停器、１２ｈはフレームメモリ

Claims (1)

1. ベルトコンベアに載置されて検査領域内を移動する検査対象の状態を検査する状態検査システムであって、
   前記検査対象を撮像する撮像装置と、前記検査対象を照明する照明装置と、情報処理装置と、制御装置とを備え、
   前記撮像装置は、
   受光した光を電荷に変換して蓄積する複数の光電変換素子が２次元マトリクス状に配設された構成の光電変換部と、標準露光時間に対応するフレームレートの各フレーム期間を第１〜第Ｎ（Ｎは２以上の自然数）の順にＮ個の期間に分割してなる、第１〜第Ｎサブフレーム期間における前記第１サブフレーム期間において、前記光電変換部の各光電変換素子に蓄積された電荷を空にする処理であるリセット処理を行うリセット処理手段と、前記第１サブフレーム期間から第Ｎサブフレーム期間において、前記各光電変換素子に蓄積される電荷量に応じた電気信号からなる画素信号を、各サブフレーム期間において非破壊で読み出す画素信号読出手段と、を備え、前記画素信号読出手段は、前記各光電変換素子からリセット処理直後の画素信号を読み出すようになっている撮像素子と、
   前記画素信号読出手段によって前記リセット処理の直前に読み出した、前記標準露光時間の蓄積電荷量に対応する画素信号が飽和レベルに到達しないように前記各光電変換素子の露光量を制御する露光量制御手段と、
   前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第ｎ（ｎは、２≦ｎ≦Ｎ）の自然数）サブフレーム期間において蓄積された電荷量に応じた画素信号の輝度値と、前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第（ｎ−１）サブフレーム期間において蓄積された電荷量に応じた画素信号の輝度値又は前記リセット処理直後の画素信号の輝度値との差分値に基づき、前記第１サブフレーム期間から第Ｎサブフレーム期間にそれぞれ対応する高速撮像画像データを生成する高速撮像画像データ生成手段と、
   前記画素信号読出手段で読み出された、前記第１サブフレーム期間において蓄積された電荷量に応じた画素信号の輝度値と、前記画素信号読出手段で読み出された、前記第１サブフレーム期間から第Ｎサブフレーム期間において蓄積された蓄積電荷量に対応する画素信号の輝度値との差分値に基づき、標準露光時間に対応する撮像画像データである標準撮像画像データを生成する標準撮像画像データ生成手段と、を備え、
   前記情報処理装置は、
   前記撮像装置で前記検査対象を撮像して得られる標準撮像画像データに基づき、輝度情報のヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラム生成手段で生成したヒストグラムに基づき、飽和レベルに達している画素が所定数以上あるときは光量を低減し、比較的輝度の低い画素が所定数以上あるときは光量を増加するように前記照明装置の光量を制御する光量制御指示を前記制御装置に送信する光量制御指示送信手段と、
   前記標準撮像画像データに基づき、前記検査対象の質感に係る情報を検出する第１検出手段と、
   前記高速撮像画像データに基づき、前記検査対象の形状及び動きのうち少なくとも一方に係る情報を検出する第２検出手段と、
   前記第２検出手段の検出結果に基づき、前記検査対象の形状及び動きのうち少なくとも一方に係る情報の検出を正確に行うことができるか否かを判定する判定手段と、
   前記判定手段で前記形状及び動きのうち少なくとも一方に係る情報の検出を正確に行えないと判定されたときに、前記撮像素子の前記フレーム期間の分割数Ｎを前記検出をより正確に行える分割数に変更する分割数変更指示を前記撮像装置に送信する分割数変更指示送信手段と、
   前記判定手段で前記形状及び動きのうち少なくとも一方に係る情報の検出を正確に行えないと判定されたときに、前記ベルトコンベアのベルトの速度を前記検出をより正確に行える速度に変更する速度変更指示を前記制御装置に送信する分割数変更指示送信手段と、を備え、
   前記制御装置は、
   前記情報処理装置から受信した前記光量制御指示に応じて、前記照明装置の光量を制御する光量制御手段と、
   前記情報処理装置から受信した前記速度変更指示に応じて、前記ベルトコンベアのベルトの速度を変更する速度変更手段と、を備え、
   前記撮像装置は、
   更に前記情報処理装置から受信した前記分割数変更指示に応じて、前記撮像素子の前記フレーム期間の分割数Ｎを変更する分割数変更手段を備えることを特徴とする状態検査システム。

Images