JP5100489B2 - 撮像装置及び当該装置における信号処理方法 - Google Patents

Description

本発明は、撮像素子から並列に出力される複数の画素信号を並行して処理する技術に関するものである。

近年、デジタルスチルカメラで撮影される画像の解像度が急速に高まり、これに伴って撮像素子（イメージセンサ）から画素データの高速な読み出しが求められている。このような高速の画素データの読み出しに対処できるセンサとして、複数のアナログデータを並行して出力できる撮像素子が使用されている。

また、このアナログデータをＡ／Ｄ変換したデジタルデータの転送方法として、パラレルシリアル変換によりデータをシリアル化して高速に伝送する方法が知られている。このようなデータ転送方法を採用して、上述の撮像素子から出力される複数のアナログデータのそれぞれをＡ／Ｄ変換し、そのデジタルデータをパラレルシリアル変換して複数のシリアルデータとして伝送することが考えられる。その場合、複数のシリアルデータが並行して送信されるとため、各シリアルデータ毎の同期を取ることが重要となる。

この同期に関する方法が特許文献１に記載されている。この文献１によれば、パラレルシリアル変換器から出力されるシリアルデータに同期コードを付加して転送する。受信側では、その同期コードを検出し、異なる系統間で検出した同期コードの検出タイミングを基に、各シリアルデータの同期を取っている。
特開平１０−１１２７０６号公報

上述した従来の方法は、パラレルシリアル変換器で変換されたシリアルデータを一旦バッファに蓄え、これを２系統の間で同期を取って読み出して伝送している。しかしながら、パラレルシリアル変換器では、シリアルクロックの周波数を安定化させるためＰＬＬ回路を用い、各系統のパラレルシリアル変換器で使用されるシリアルクロックの周波数が同じになるようにしている。そのため、複数のパラレルシリアル変換器を使用する場合にはPLL回路が異なるため各シリアルクロックは周波数が同じでも、その同期関係がなくなる。また時間軸でみると、局所的にはＰＬＬ回路のジッタの影響により、全く同一の周波数でない可能性がある。また、複数のパラレルシリアル変換器で１つのPLLを共有する構成にした場合は、ＰＬＬ回路の出力クロックの周波数が高くなると複数のパラレルシリアル変換器が物理的に異なるチップの場合にクロック信号のタイミング制約を満たすのが困難となり、基板上の複数チップの配置等の制約が厳しくなる。

本発明の目的は、このような従来の問題点を解決することにある。

本願発明の一態様に係る撮像装置よれば、複数のパラレルシリアル変換器の各出力を受け取ってシリアルパラレル変換した多値データの同期を確実に取ることができる技術を提供できる。

上記目的を達成するために本発明の一態様に係る撮像装置は以下のような構成を備える。即ち、
基準クロックを発生する発振器と、
前記基準クロックに同期して水平及び垂直同期信号を発生する同期信号発生手段と、
前記基準クロック及び前記水平及び垂直同期信号に同期して第１のクロック信号と、駆動信号を含むタイミング信号とを発生するタイミング信号発生手段と、
前記駆動信号により駆動され、撮像した画像を表す画像信号を複数の第１のパラレル画素信号として出力する撮像素子と、
前記複数の第１のパラレル画素信号のそれぞれに、前記水平同期信号に同期した同期コードを付加する同期コード付加手段と、
前記同期コード付加手段により前記同期コードが付加された前記複数の第１のパラレル画素信号のそれぞれに対応して設けられ、前記第１のクロック信号に同期して前記複数の第１のパラレル画素信号のそれぞれをシリアル画素信号に変換する複数のパラレルシリアル変換手段と、
前記複数のパラレルシリアル変換手段のそれぞれから出力される前記シリアル画素信号から前記同期コードを検出したタイミングを通知する複数の検出手段と、
前記複数のパラレルシリアル変換手段のそれぞれに対応して設けられ、前記複数のパラレルシリアル変換手段のそれぞれから出力される前記シリアル画素信号を第２のパラレル画素信号に変換する複数のシリアルパラレル変換手段と、
前記複数のシリアルパラレル変換手段から出力される複数の前記第２のパラレル画素信号について、それぞれに対応する前記検出手段が前記同期コードを検出したタイミングに基づいて当該複数の第２のパラレル画素信号の同期を調整して、前記画像信号に対応する多値画像データを出力する調整手段と、を有することを特徴とする。

上記目的を達成するために本発明の一態様に係る撮像装置における信号処理方法は以下のような工程を備える。即ち、
基準クロックを発生する発振器と、前記基準クロックに同期して水平及び垂直同期信号を発生する同期信号発生器と、前記基準クロック及び前記水平及び垂直同期信号に同期して第１のクロック信号と、駆動信号を含むタイミング信号とを発生するタイミング信号発生器と、前記駆動信号により駆動され、撮像した画像を表す画像信号を複数の第１のパラレル画素信号として出力する撮像素子とを具備する撮像装置における信号処理方法であって、
同期コード付加器が、前記複数の第１のパラレル画素信号のそれぞれに、前記水平同期信号に同期した同期コードを付加する同期コード付加工程と、
前記同期コード付加工程において前記同期コードが付加された前記複数の第１のパラレル画素信号のそれぞれに対応して設けられた複数のパラレルシリアル変換器が、前記第１のクロック信号に同期して前記複数の第１のパラレル画素信号のそれぞれをシリアル画素信号に変換するパラレルシリアル変換工程と、
複数の検出器が、前記複数のパラレルシリアル変換器のそれぞれから出力される前記シリアルの画素信号から前記同期コードを検出したタイミングを通知する検出工程と、
前記複数のパラレルシリアル変換器のそれぞれに対応して設けられた複数のシリアルパラレル変換器が、前記複数のパラレルシリアル変換器のそれぞれから出力される前記シリアル画素信号を第２のパラレル画素信号に変換するシリアルパラレル変換工程と、
調整手段が、前記複数のシリアルパラレル変換器から出力される複数の前記第２のパラレル画素信号について、それぞれに対応する前記検出器が前記同期コードを検出したタイミングに基づいて当該複数の第２のパラレル画素信号の同期を調整して、前記画像信号に対応する多値画像データを出力する調整工程と、
を有することを特徴とする。

本発明によれば、複数のパラレルシリアル変換器の各出力を受け取ってシリアルパラレル変換した多値データの同期を確実に取ることができるという効果がある。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［実施の形態１］
図１は、本発明の実施の形態に係る撮像装置において、撮像センサから出力される画像データの同期を取って転送するデータ転送回路の構成を説明するブロック図である。

図１において、発振器１０１は、動作の基準となる基準クロックを出力する。この発振器１０１から出力される基準クロックに基づいて、後述する各部が動作する。同期信号発生器（ＳＳＧ）１０８は、基準クロックに同期して水平同期信号ＨＤ及び垂直同期信号ＶＤを出力する。タイミング信号発生器（ＴＧ）１０２は、ＳＳＧ１０８から供給される同期信号ＨＤ，ＶＤに基づいて、センサ（撮像素子）１０３を駆動するための駆動パルス信号を発生する。またＴＧ１０２は、Ａ／Ｄ変換器（ＡＤＣ）１０４，１０５、同期コード付加器１０６，１０７、パラレルシリアル変換器１０９，１１０が動作するためのクロック信号（第１のクロック信号）を出力する。このクロック信号は、発振器１０１から出力される基準クロックを遅延させたクロックである。この遅延は、センサ１０３の出力をＡ／Ｄ変換器１０４，１０５でデジタル信号に変換する際に良好なサンプリング・タイミングを得るために行われる。

センサ１０３は、例えばＣＣＤやＣＭＯＳから構成される撮像素子である。このセンサ１０３は、その内部に、光電変換を行うフォトダイオード等の受光素子と、この受光素子で得られた画素信号をＴＧ１０２から供給される駆動パルス（駆動信号）に従って順次出力する転送路と、画素信号を増幅するアンプ等を有している。

本実施の形態に係るセンサ１０３は、撮像した画像情報をアナログ信号で出力する複数の系統を備えたセンサで、図１では、２つのアナログ信号を出力しているが、このアナログ信号を出力する系統の数は、２つに限定されるものではない。

Ａ／Ｄ変換器１０４，１０５はそれぞれ、ＴＧ１０２から供給されるサンプルホールドタイミング信号に従って、センサ１０３から出力されるアナログ信号をサンプリングし、それをデジタル信号に変換して出力する。ここでＡ／Ｄ変換器１０４、１０５はそれぞれ１４ビットのデジタル信号に変換する。

同期コード付加器１０６，１０７はそれぞれ、各対応するＡ／Ｄ変換器１０４，１０５から出力されるデジタル信号に同期コードを付加する。この同期コードの付加は、水平同期信号ＨＤが出力される度に行う。パラレルシリアル変換器１０９，１１０はそれぞれ、各対応する同期コード付加器１０６，１０７から出力されるパラレルデータをシリアルデータに変換する。これらパラレルシリアル変換器１０９，１１０の各出力は、基板やケーブルを経由して同期コード検出器１１１，１１３、及びシリアルパラレル変換器１１２，１１４に供給される。ここではパラレルシリアル変換器１０９から出力されるシリアルデータは同期コード検出器１１１とシリアルパラレル変換器１１２に供給される。また、パラレルシリアル変換器１１０から出力されるシリアルデータは同期コード検出器１１３とシリアルパラレル変換器１１４に供給される。

同期コード検出器１１１，１１３はそれぞれ、入力されるシリアルデータに含まれる同期コードを検出する。そして同期コードを検出すると、各対応するシリアルパラレル変換器１１２，１１４に対して、シリアルパラレル変換したパラレルデータを出力するタイミングを知らせるタイミング信号を出力する。シリアルパラレル変換器１１２，１１４はそれぞれ、シリアルデータを入力して内部のシフトレジスタに蓄える。こうして蓄えられたシリアルデータは、各対応する同期コード検出器１１１，１１３から供給されるタイミング信号に従って、予め決められた語長毎に、パラレルデータとして出力する。こうしてシリアルパラレル変換器１１２から出力されるデータをデータＡ、シリアルパラレル変換器１１４から出力されるデータをデータＢで示している。またこのとき、同期コードに該当する部分のデータを出力する際には、その出力データが同期コードであることを示す同期フラグ（同期フラグＡ，Ｂ）も出力する。更に、シリアルデータから復元したクロック（クロックＡ，Ｂ）も出力する。

クロック乗り換え器１１５は、シリアルパラレル変換器１１４から出力されるデータＢ及び同期フラグＢを、シリアルパラレル変換器１１２から出力されるクロックＡに乗り換えて、それぞれデータＣ及び同期フラグＣとして出力する。ここでは、クロック乗り換え器１１５は、クロックＡを基準にしているが本発明はこれに限らない。例えば２つよりも多くの信号系統がある場合には、その中の所定のクロックを基準にしても良い。遅延調整器１１６は、シリアルパラレル変換器１１２から出力される同期フラグＡと、クロック乗り換え器１１５から出力される同期フラグＣとを基に２系統のデータ間で、クロック単位で位相を調整する。こうして遅延調整器１１６により２系統のデータＡ，Ｃの位相が調整されて同時化されたデータＤ（多値画像データ）として同期フラグＤとともにトリミング回路１１７に出力される。トリミング回路１１７は、ＳＳＧ１０８から出力される水平同期信号ＶＤと同期フラグＤを入力し、水平同期信号ＨＤ，垂直同期信号ＶＤに対するデータの位置を特定する。そして後段の画像信号処理部（不図示）に必要な画像領域を取り出してデータＥと、その有効領域を示す有効フラグとを出力する。

以上説明した図１の構成に基づいて、１フレームの画像データを取得する際の動作を説明する。

センサ１０３から出力される２系統のアナログ信号は、それぞれＡ／Ｄ変換器１０４，１０５でデジタル信号に変換される。次に、同期コード付加器１０６，１０７により、このデジタル信号に対して、水平同期信号ＨＤ毎に同期コードを付加する。パラレルシリアル変換器１０９，１１０は、こうして同期コードが付加されたデータをパラレルシリアル変換して出力する。同期コード検出器１１１，１１３は、各対応するパラレルシリアル変換器１０９，１１０から出力されるシリアルデータに含まれる同期コード検出してシリアルパラレル変換するタイミング信号を発生する。これによりシリアルパラレル変換器１１２，１１４は、各対応するパラレルシリアル変換器１０９，１１０から出力されたシリアルデータを受取ってシリアルパラレル変換するとともに、その同期フラグ及びシリアルデータから復元したクロックを出力する。クロック乗り換え器１１５は、シリアルパラレル変換器１１４から出力されるシリアルデータをシリアルパラレル変換器１１２の出力クロックに乗せ換えたデータＣとして遅延調整器１１６に出力する。これにより、遅延調整器１１６の入力信号は単一のクロックに同期した信号となる。遅延調整器１１６は、２系統間の同期フラグのずれを基に、出力データの遅延量を調整する。こうして遅延調整器１１６から出力されるデータＤでは、Ａ／Ｄ変換器１０４，１０５から出力されたデジタルデータにおける同期関係が復元されている。トリミング回路１１７は、垂直同期信号ＶＤと、遅延調整器１１６から出力される同期フラグとをもとに、水平及び垂直同期信号ＨＤ，ＶＤに対するデータの位置関係を復元し、後段での処理に必要な部分に有効フラグを付して出力する。

以上の動作により、ＳＳＧ１０８から出力される水平及び垂直同期信号ＨＤ，ＶＤに同期した１フレームの画像データを取り出すことができる。

次に本実施の形態に特有の各部の動作の詳細を説明する。

［同期コード付加器１０６，１０７］
図２は、本実施の形態に係る同期コード付加器における同期コードの付与タイミングを説明する図である。図２において、クロックはＡ／Ｄ変換器１０４，１０５のサンプリングタイミングを規定するクロック信号である。

図２（Ａ）は、ＳＳＧ１０８から出力される水平同期信号ＨＤが立下りエッジで水平同期タイミングを示している場合の同期コードの付加例を示す。ＨＤ信号の立下りを検出すると同期コードの付加を開始し、それ以外のタイミングでは入力データを１サイクル遅延して出力データとして出力する。ここで同期コードは、同期コード１〜３で構成されている。これについては詳しく後述する。

図２（Ｂ）は、ＨＤ同期信号の立下りタイミングで有効な映像信号（図２（Ｂ）ではＸｃ）が出力されている場合での図２（Ａ）とは異なるタイミングでの同期コードの付加例を示す。この図２（Ｂ）では、ＨＤ同期信号の立下りから１サイクル遅れて同期コードの付加を開始している。尚、それ以外のタイミングで、入力データを１サイクル遅延して出力データとして出力している点は図２（Ａ）と同じである。尚、図２（Ｂ）における遅延量は、有効な映像信号（Ｘｃ）と同期コードとが重ならないように複数サイクル分であってもよい。

ここで重要なことは、水平同期信号ＨＤの立下りと、同期コードを付加するタイミングとの間に固定した遅延関係があることである。同期コードを付加するタイミングでは映像信号を送ることができない。このため同期コードの付加は水平ブランキング期間等で映像信号が有効でない期間に付加されるように、適時ＨＤ同期信号の立下りから固定期間遅延したタイミング行なう。

また図２において、同期コードは３つのサイクルで付与されるものとした。これは同期コードによって、シリアルパラレル変換時のデータの位相を検出できるようにするためである。

次に、同期コードについて説明する。

例えば、１６ビットのパラレルデータをパラレルシリアル変換する場合、有効画像信号領域では、データ「0x0000」「0xFFFF」を禁止にする。「0x0000」は１６進コードで全て「０」の１６ビットデータを示し、「0xFFFF」は１６進コードで、全て「１」の１６ビットデータを示している。そして｛同期コード１、同期コード２、同期コード３｝を、｛0x0000，0x0000，0xFFFF｝といったデータの並びからなるコードとする。これにより有効画像信号領域では、「0x0000，0x0000」のように３２ビット「０」が連続することはないので「0x0000，0x0000」によって同期コードが検出できる。またこれに引き続く「0xFFFF」によって、シリアルデータにおける同期コードの位相を検出できる。

また、Ａ／Ｄ変換器１０４，１０５が、１２ビットのデジタルデータを発生する場合、同期コード付加器１０６，１０７は、１２ビットのデジタルデータに４ビットのデータを付加してシリアルパラレル変換を行う１６ビットの語長に拡張する。

図３（Ａ）〜図３（Ｃ）は、シリアルパラレル変換されたデータに含まれる有効データ部分の配置を説明する図である。

図３（Ａ）は、シリアルパラレル変換を行う語長が１６ビットの場合に、Ａ／Ｄ変換器１０４，１０５から１２ビットのデータが出力される場合の例を示す。図３（Ａ）では、下位の４ビットに「０」が付加されている。

図３（Ｂ）は、シリアルパラレル変換を行う語長が１６ビットで、Ａ／Ｄ変換器１０４，１０５から出力されるデータの語長が１４ビットの場合を示している。この場合には、下位の２ビットに「０」が付加されている。

また図３（Ｃ）は、シリアルパラレル変換を行う語長が１６ビットで、Ａ／Ｄ変換器１０４，１０５から出力されるデータの語長が１０ビットの場合を示している。この場合には、下位の６ビットに「０」が付加されている。

このようにして、シリアルパラレル変換する際、Ａ／Ｄ変換器から入力するデータのビット長と、シリアルパラレル変換するビット長とが異なる場合でも、それらの差分を調整することができる。

［パラレルシリアル変換器１０９，１１０］
本実施の形態に係るパラレルシリアル変換器１０９，１１０は、例えば１６ビットのパラレルデータを入力し、シリアルデータに変換して出力する。

図４は、実施の形態に係るパラレルシリアル変換器１０９，１１０によるパラレルシリアル変換のタイミングを説明するタイミング図である。

ここでシリアルクロックは、パラレルデータの１クロック（パラレルクロック）の周期Ｐの１／１６倍の周期を有している。即ち、シリアルクロックは、パラレルクロックの１６倍の周波数を有している。ここでは１６ビットのパラレルデータＸを入力した後、次のパラレルデータＹを入力する周期Ｐで、そのパラレルデータＸを１６ビットのシリアルデータ（X[0]，X[1]，...，X[14]，X[15]）に変換して出力している。

パラレルシリアル変換器１０９，１１０のそれぞれに含まれるＰＬＬ（Phase Locked Loop）回路は、このパラレルクロックを入力し、それを１６逓倍して、このシリアルクロックを生成している。ここで２つの異なるＰＬＬ回路によってシリアルクロックが生成されている。従って、パラレルシリアル変換器１０９とパラレルシリアル変換器１１０のパラレルシリアル変換で使用されるシリアルクロックは周波数が同じであるが、その同期関係がなくなる。また時間軸でみると、局所的にはＰＬＬ回路のジッタの影響により、全く同一の周波数でない可能性がある。そこでパラレルシリアル変換器１０９，１１０は、シリアルデータと、そのシリアルクロックとを対にして出力する。

［同期コード検出器１１１，１１３］
同期コード検出器１１１，１１３はそれぞれ、各対応するパラレルシリアル変換器１０９，１１０から出力されるシリアルクロックを基に動作して、前述の同期コードの検出を行う。ここで検出する同期コードは、例えば｛同期コード１、同期コード２、同期コード３｝＝｛0x0000，0x0000，0xFFFF｝といったデータの並びである。よって「0x0000，0x0000」というように３２ビット「０」が連続することを検出し、これに引き続いて「0xFFFF」を確認すると、シリアルデータに含まれる同期コードとその位相を検出できる。こうして同期コードを検出すると、同期コード検出器１１１，１１３はそれぞれ、各対応するシリアルパラレル変換器１１２，１１４に通知する。

［シリアルパラレル変換器１１２，１１４］
シリアルパラレル変換器１１２，１１４はそれぞれ、各対応するパラレルシリアル変換器１０９，１１０から出力されるシリアルクロックとシリアルデータを入力する。そして、そのシリアルデータを、各シリアルパラレル変換器１１２，１１４のシフトレジスタ（不図示）に格納する。そして対応する同期コード検出器１１１，１１３が同期コードを検出したことを通知したタイミングに応じて、シフトレジスタからパラレルデータを取り出す位相を決定する。このパラレルデータの取り出しは、シリアルクロックの１６周期毎に行われる。このためシリアルクロックを１６分周したクロックをパラレルデータのクロック（パラレルクロック）として利用でき、シリアルパラレル変換したパラレルデータをこのパラレルクロックでラッチして出力する。

これらシリアルパラレル変換器１１２，１１４が出力する語長は有効な語長である。例えば１６ビットのデータの中に１２ビットの有効な画像データが含まれている場合は、この１２ビットの部分のみを出力する。即ち、前述の図３（Ａ）の場合には、下位４ビットの「０」を除く処理を行う。また図３（Ｂ）の場合には下位２ビットを除くといった処理を実行する。

また、シリアルパラレル変換器１１２，１１４は、各対応する同期コード検出器１１１，１１３が同期コードを検出したことを通知した後、最初に出力するパラレルデータに同期して同期フラグとして「１」を出力する。それ以外の場合は、同期フラグとして「０」を出力する。シリアルパラレル変換器１１２の出力データをデータＡ、同期フラグを同期フラグＡ、出力パラレルクロックをクロックＡとして図１に示す。またシリアルパラレル変換器１１４の出力パラレルデータをデータＢ、出力同期フラグを同期フラグＢ、出力パラレルクロックをクロックＢとして図１に示す。

［クロック乗り換え器１１５］
シリアルパラレル変換器１１２，１１４から出力されるクロックＡ、クロックＢはそれぞれ、各対応するパラレルシリアル変換器１０９，１１０から入力したシリアルクロックの１６周期に相当するパラレルクロックである。前述したように、各パラレルシリアル変換器１０９，１１０は、それぞれのＰＬＬ回路でシリアルクロックを生成している。このためクロックＡ、クロックＢはともに周波数が同じであるが同期が取れていない。また時間軸でみると局所的には、ＰＬＬ回路のジッタの影響により全く同一の周波数でない可能性がある。従って、このクロック乗り換え器１１５により、これら２つのパラレルクロックのずれを吸収している。

このクロック乗り換え器１１５の構成は、例えば書き込みクロックと読み出しクロックが別々に入力されるＦＩＦＯで構成され、特開２００１−２２２４０７号公報の図２に開示されているようにデュアルポートメモリを使用して構成することが可能である。よって、このクロック乗り換え器１１５は、データＢ及び同期フラグＢをクロックＢに同期して入力し、シリアルパラレル変換器１１２から入力されるクロックＡに同期してデータＣ、同期フラグＣとして出力する。

尚、クロック乗り換え器１１５に入力される、或はそこから出力されるデータは、データと同期フラグとで示しているが、これら両者を区別することなく連結したデータとして入出力する。つまり本実施の形態では、データ１６ビットに同期フラグの１ビットが追加された１７ビットのデータとして扱っている。

［遅延調整器１１６］
本実施の形態に係る遅延調整器１１６に入力されるデータ（データＡ、同期フラグＡ、データＣ、同期フラグＣ）は全てクロックＡに同期して入力される。

図５は、本実施の形態に係る遅延調整器１１６の構造を示すブロック図である。

図５において、５０１〜５０４は入力データＡを遅延するための遅延素子である。また５０５〜５０８は、入力した同期フラグＡを遅延するための遅延素子である。５０９〜５１６は、入力したデータＣを遅延するための遅延素子である。また５１７〜５２４は、同期フラグＣを遅延するための遅延素子である。ここでこれら遅延素子は、フリップフロップで構成されており、それぞれパラレルクロックに同期して、入力したデータを右（出力）方向にシフトする。

デコーダ５２５は、遅延素子５１７〜５２４の各出力入力してデコードする。ロード付きＤＦＦ（Ｄタイプのフリップフロップ）５２６は、デコーダ５２５の出力（３ビットデータ）を遅延素子５０８の出力がハイレベルになったときにラッチする。セレクタ５２７は、ロード付きＤＦＦ５２６から出力される３ビットデータに応じて、遅延素子５０９〜５１６の何れかの出力を選択する。こうしてセレクタ５２７から出力されるデータＣと、遅延素子５０４から出力されるデータＡとが連結されて３２ビットのデータＤとなり、遅延素子５０８の出力が同期フラグＤの出力となる。

図６は、本実施の形態に係るデコーダ５２５によるデコード例を説明する図である。

図６において、dlyF1からdlyF8は、それぞれ遅延素子５１７から遅延素子５２４の出力を示している。このデコード条件は、パラレルクロックの８サイクルの間に２回、同期フラグを検出しないことを前提にしている。実際は、図２を参照して説明したように、同期フラグは水平同期信号ＨＤ毎に付加されるので、撮像センサ１０３の画素数を考えた場合に十分成り立つ条件である。

このデコード条件は、言い換えると同期フラグＣが有効、つまり「１」の同期フラグと同時に入力されたデータＣを保持している遅延素子５０９〜５１６のいずれかの出力をセレクタ５２７により選択するものである。図６において、「−」は、意味のないデータであることを示している。

遅延調整器１１６の動作例として、有効な同期フラグＡに遅れて、パラレルクロックの３クロック後に有効な同期フラグＣが入力された場合を考える。この場合は、遅延素子５０８に有効フラグがシフトされて格納されると、ロード付きＤＦＦ５２６はデコーダ５２５の出力をラッチする。このときデコーダ５２５の出力は、遅延素子５１７の出力（dlyF1）がハイレベル「１」であるため、図６の論理表から、その出力（dec-dly）は「０」となる。これによりセレクタ５２７は、データＣを遅延した遅延素子５０９にラッチされているデータを選択する。こうして選択されてセレクタ５２７から出力される１６ビットデータと、遅延素子５０４から出力される１６ビットデータとを連結し、データＤとして出力する。

［トリミング回路１１７］
図７は、本実施の形態に係るトリミング回路１１７の内部構成を示すブロック図である。尚、有効画像領域を示す領域情報ＲＥＧ＿ＲＨ，ＲＥＧ＿ＳＨ，ＲＥＧ＿ＲＶ，ＲＥＧ＿ＳＶは、レジスタ或はメモリなどに記憶されているものとする。

このトリミング回路１１７は、Ｈカウンタ７０１、Ｖカウンタ７０２を有し、これらカウンタ７０１，７０２の出力をデコードすることによって図８に示す領域を有効画像領域８０１として取り出す。この有効画像領域８０１の取り出しは、データに有効フラグをつけることによって行われる。

Ｈカウンタ７０１の出力のデコードは、比較器７０３，７０４と、リセット優先セット／リセットＤＦＦ７０７で行われる。またＶカウンタ７０２の出力のデコードは、比較器７０５，７０６とリセット優先セット／リセットＤＦＦ７０８で行われる。

このＨカウンタ７０１の出力のデコード結果と、Ｖカウンタ７０２の出力のデコード結果をＡＮＤゲート７０９で論理積をとったものが有効フラグである。尚、図７の領域情報ＲＥＧ＿ＲＨ，ＲＥＧ＿ＳＨ，ＲＥＧ＿ＲＶ，ＲＥＧ＿ＳＶと有効画像領域８０１との関係は図８に示すとおりである。

図８は、画像内の有効画像領域を説明する図である。

図において、ＲＥＧ＿ＳＨは有効画像領域８０１の左端、ＲＥＧ＿ＲＨは有効画像領域８０１の右端に相当するＨカウンタ７０１の値を示す。またＲＥＧ＿ＳＶは、有効画像領域８０１の上端に相当するＶカウンタ７０２の値を示し、ＲＥＧ＿ＲＶは、有効画像領域８０１の下端に相当するＶカウンタ７０２の値を示している。

Ｈカウンタ７０１は、クロックＡを入力する度にカウントアップし、同期フラグＤが「１」で入力される度に「０」にリセットされる。またＶカウンタ７０２は、クロックＡで駆動され、同期フラグＤが「１」のサイクルでカウントアップする。そして、垂直同期信号ＶＤの立下りに同期フラグＤが「１」になると「０」にリセットされる。ここで垂直同期信号ＶＤは、クロックＡとは非同期である。このため２段のクロックＡのＤＦＦが連なった同期化器７１０を通り、同期化器７１０の出力の立下りエッジ検出回路７１１の出力パルスでリセット優先セット／リセットＤＦＦ７１２をセットする。そして、このＤＦＦ７１２の出力と同期フラグＤとをＡＮＤゲート７１３で論理積を取った信号によってＶカウンタ７０２を「０」にリセットする。またＡＮＤゲート７１３の出力でＤＦＦ７１２をクリアする。

このような動作により図９に示すように、Ｖカウンタ７０２は、垂直同期信号ＶＤの立下りに同期して、水平同期信号ＨＤが入力される度に１だけ増加する。

図９は、本実施の形態に係るＶカウンタの動作を説明するタイミング図である。

上記説明はセンサ１０３の出力が２系統のアナログ信号である場合で説明したが、３つ以上の出力系統を有する撮像センサの場合にも同様に対応できる。

以上説明したように本実施の形態１によれば、撮像センサから出力される複数系統の画像信号の同期を確実に取ることができる。

また撮像センサから出力される複数系統の画像信号をそれぞれをシリアルデータとして出力する場合でも、複数系統の画像信号の同期を確立することができる撮像装置を提供できる。

［実施の形態２］
図１０は、本発明の実施の形態２に係る撮像装置の信号処理回路を示したブロック図で、前述の図１と共通する部分は同じ記号で示し，それらの説明を省略する。

この実施の形態２においては、シリアルパラレル変換器１１２と遅延調整器１１６の間にクロック乗り換え器９０１を設け、また発振器９０２及びクロック選択回路９０３を設ける点が前述の実施の形態１の構成（図１）と異なっている。

クロック選択回路９０３は、クロックＡ、クロックＢ、発振器９０２から出力されるクロックの何れかのクロックを選択する。クロック選択回路９０３でクロックＡが選択された場合は、クロック乗り換え器９０１はクロックＡからクロックＡへの乗り換えを行い、クロック乗り換え器１１５はクロックＢからクロックＡへの乗り換えを行う。従って、前述の実施の形態１と全く同様の動作が行われる。

次にクロック選択回路９０３でクロックＢが選択された場合は、クロック乗り換え器９０１はクロックＡからクロックＢへの乗り換えを行い、クロック乗り換え器１１５はクロックＢからクロックＢへの乗り換えを行う。従って、前述の実施の形態１において、上下の信号系を入れ替えたに過ぎない。即ち、Ａ／Ｄ変換器１０４からシリアルパラレル変換器１１２に至る系と、Ａ／Ｄ変換器１０５からシリアルパラレル変換器１１４に至る系とを入れ替えたに過ぎない、よって、この場合も、前述の実施の形態１と同様の動作が行われる。

次にクロック選択回路９０３で発振器（クロック発生器）９０２のクロック信号（第２のクロック信号）が選択された場合は、クロック乗り換え器９０１、クロック乗り換え器１１５は、発振器９０２の出力クロックへの乗り換えを行う。よって、これ以降の回路である遅延調整器１１６、トリミング回路１１７及びトリミング回路１１７の出力を受けて動作する信号処理回路は、発振器９０２の出力クロックに同期して動作する。従って、発振器９０２の周波数を、基準クロックの周波数の２倍以上の周波数にすることにより、トリミング回路１１７以降で、２つの画素が同時に入力される画像データを１サイクルで一つの画素に直列化して信号処理を行うことが可能となる。

以上説明したように、２つのクロック乗り換え器９０１，１１５を設けることによって、トリミング回路１１７以降で処理するクロックの周波数を任意の周波数に設定できる。そして、その任意の周波数を例えば、基準クロックの周波数の整数倍の周波数とすることにより、それら整数倍の画素データを１サイクルで処理できるようになるため、その回路規模を削減することができる。

また本実施の形態２によれば、複数のパラレルシリアル変換器の間のクロックのスキューやジッタによるずれを吸収できるので、複数のパラレルシリアル変換器間でＰＬＬを共有する必要がなくなり、パラレルシリアル変換器の数を容易に増やすことができる。

また本実施の形態２によれば、遅延調整器の以降の処理回路のクロック周波数を任意の周波数に設定できる。これにより、例えば、撮像センサから出力される信号の系統が２つある場合、その任意の周波数を、それまでの基準クロックの周波数の２倍の周波数にすることによって、その任意の周波数の１サイクルで２つの画素データを処理できることになる。これにより、１系統の信号処理系統で複数の画素データを並行して多値データとして出力できるため、その回路規模を削減できる。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態に係る信号処理方法を実現するソフトウェアのプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを読み出して実行することによっても達成され得る。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明のクレームでは、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、様々なものが使用できる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページからハードディスク等の記録媒体にダウンロードすることによっても供給できる。その場合、ダウンロードされるのは、本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明のクレームに含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する形態としても良い。その場合、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムが実行可能な形式でコンピュータにインストールされるようにする。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される形態以外の形態でも実現可能である。例えば、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれるようにしてもよい。この場合、その後で、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

本発明の実施の形態に係る撮像装置において、撮像センサから出力される画像データの同期を取って転送するデータ転送回路の構成を説明するブロック図である。 本実施の形態に係る同期コード付加器における同期コードの付与タイミングを説明する図である。 シリアルパラレル変換されたデータに含まれる有効データ部分の配置を説明する図である。 実施の形態に係るパラレルシリアル変換器によるパラレルシリアル変換のタイミングを説明するタイミング図である。 本実施の形態に係る遅延調整器の構造を示すブロック図である。 本実施の形態に係るデコーダによるデコード例を説明する図である。 本実施の形態に係るトリミング回路の内部構成を示すブロック図である。 画像内の有効領域を説明する図である。 本実施の形態に係るＶカウンタの動作を説明するタイミング図である。 本発明の実施の形態２に係る撮像装置の信号処理回路を示したブロック図である。

Claims (10)

1. 基準クロックを発生する発振器と、
   前記基準クロックに同期して水平及び垂直同期信号を発生する同期信号発生手段と、
   前記基準クロック及び前記水平及び垂直同期信号に同期して第１のクロック信号と、駆動信号を含むタイミング信号とを発生するタイミング信号発生手段と、
   前記駆動信号により駆動され、撮像した画像を表す画像信号を複数の第１のパラレル画素信号として出力する撮像素子と、
   前記複数の第１のパラレル画素信号のそれぞれに、前記水平同期信号に同期した同期コードを付加する同期コード付加手段と、
   前記同期コード付加手段により前記同期コードが付加された前記複数の第１のパラレル画素信号のそれぞれに対応して設けられ、前記第１のクロック信号に同期して前記複数の第１のパラレル画素信号のそれぞれをシリアル画素信号に変換する複数のパラレルシリアル変換手段と、
   前記複数のパラレルシリアル変換手段のそれぞれから出力される前記シリアル画素信号から前記同期コードを検出したタイミングを通知する複数の検出手段と、
   前記複数のパラレルシリアル変換手段のそれぞれに対応して設けられ、前記複数のパラレルシリアル変換手段のそれぞれから出力される前記シリアル画素信号を第２のパラレル画素信号に変換する複数のシリアルパラレル変換手段と、
   前記複数のシリアルパラレル変換手段から出力される複数の前記第２のパラレル画素信号について、それぞれに対応する前記検出手段が前記同期コードを検出したタイミングに基づいて当該複数の第２のパラレル画素信号の同期を調整して、前記画像信号に対応する多値画像データを出力する調整手段と、を有することを特徴とする撮像装置。
2. 前記撮像素子から出力される前記複数の第１のパラレル画素信号のそれぞれはアナログ信号であり、
   前記複数の画素信号のそれぞれに対応して設けられ、前記タイミング信号に同期して前記第１のパラレル画素信号をデジタル信号に変換する複数のＡ／Ｄ変換手段を更に有し、
   前記同期コード付加手段は、前記複数のＡ／Ｄ変換手段でデジタル信号に変換された複数の前記第１のパラレル画素信号のそれぞれに前記同期コードを付加することを特徴とする請求項１に記載の撮像装置。
3. 前記複数のシリアルパラレル変換手段のそれぞれは、対応する前記検出手段が前記同期コードを検出した後の最初の前記第２のパラレル画素信号に同期して同期フラグを出力し、
   前記調整手段は、前記複数のシリアルパラレル変換手段のうちの所定のシリアルパラレル変換手段から出力される前記同期フラグのタイミングに合わせて、前記複数の第２のパラレル画素信号の同期を取ることを特徴とする請求項１又は２に記載の撮像装置。
4. 有効画像領域を示す領域情報を記憶する記憶手段と、
   前記記憶手段に記憶された前記領域情報に応じて、前記調整手段から出力される前記多値画像データから有効画像領域のデータを切り出すトリミング手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記基準クロックの周波数よりも高い周波数の第２のクロック信号を発生するクロック発生器を更に有し、
   前記調整手段は、前記第２のクロック信号に同期して前記複数の第２のパラレル画素信号の同期を調整し、前記多値画像データを出力することを特徴とする請求項１に記載の撮像装置。
6. 基準クロックを発生する発振器と、前記基準クロックに同期して水平及び垂直同期信号を発生する同期信号発生器と、前記基準クロック及び前記水平及び垂直同期信号に同期して第１のクロック信号と、駆動信号を含むタイミング信号とを発生するタイミング信号発生器と、前記駆動信号により駆動され、撮像した画像を表す画像信号を複数の第１のパラレル画素信号として出力する撮像素子とを具備する撮像装置における信号処理方法であって、
   同期コード付加器が、前記複数の第１のパラレル画素信号のそれぞれに、前記水平同期信号に同期した同期コードを付加する同期コード付加工程と、
   前記同期コード付加工程において前記同期コードが付加された前記複数の第１のパラレル画素信号のそれぞれに対応して設けられた複数のパラレルシリアル変換器が、前記第１のクロック信号に同期して前記複数の第１のパラレル画素信号のそれぞれをシリアル画素信号に変換するパラレルシリアル変換工程と、
   複数の検出器が、前記複数のパラレルシリアル変換器のそれぞれから出力される前記シリアル画素信号から前記同期コードを検出したタイミングを通知する検出工程と、
   前記複数のパラレルシリアル変換器のそれぞれに対応して設けられた複数のシリアルパラレル変換器が、前記複数のパラレルシリアル変換器のそれぞれから出力される前記シリアル画素信号を第２のパラレル画素信号に変換するシリアルパラレル変換工程と、
   調整手段が、前記複数のシリアルパラレル変換器から出力される複数の前記第２のパラレル画素信号について、それぞれに対応する前記検出器が前記同期コードを検出したタイミングに基づいて当該複数の第２のパラレル画素信号の同期を調整して、前記画像信号に対応する多値画像データを出力する調整工程と、
   を有することを特徴とする撮像装置における信号処理方法。
7. 前記撮像素子から出力される前記複数の第１のパラレル画素信号のそれぞれはアナログ信号であり、
   前記複数の画素信号のそれぞれに対応して設けられた複数のＡ／Ｄ変換器のそれぞれが、前記タイミング信号に同期して前記第１のパラレル画素信号をデジタル信号に変換するＡ／Ｄ変換工程を更に有し、
   前記同期コード付加工程において前記同期コード付加器は、前記複数のＡ／Ｄ変換器でデジタル信号に変換された複数の前記第１のパラレル画素信号のそれぞれに前記同期コードを付加することを特徴とする請求項６に記載の撮像装置における信号処理方法。
8. 前記複数のシリアルパラレル変換器のそれぞれは、対応する前記検出器が前記同期コードを検出した後の最初の前記第２のパラレル画素信号に同期して同期フラグを出力し、
   前記調整工程は、前記複数のシリアルパラレル変換器のうちの所定のシリアルパラレル変換器から出力される前記同期フラグのタイミングに合わせて、前記複数の第２のパラレル画素信号の同期を取ることを特徴とする請求項６又は７に記載の撮像装置における信号処理方法。
9. トリミング手段が、有効画像領域を示す領域情報に応じて、前記調整工程で出力される前記多値画像データから有効画像領域のデータを切り出すトリミング工程を更に有することを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置における信号処理方法。
10. 前記撮像装置は前記基準クロックの周波数よりも高い周波数の第２のクロック信号を発生するクロック発生器を更に有し、
    前記調整工程において前記調整手段は、前記第２のクロック信号に同期して前記複数の第２のパラレル画素信号の同期を調整し、前記多値画像データを出力することを特徴とする請求項６に記載の撮像装置における信号処理方法。

Images