JP6729080B2

JP6729080B2 - 信号処理装置

Info

Publication number: JP6729080B2
Application number: JP2016130436A
Authority: JP
Inventors: 吉孝木村; 寺内　正和; 正和寺内
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2016-06-30
Filing date: 2016-06-30
Publication date: 2020-07-22
Anticipated expiration: 2036-06-30
Also published as: JP2018006971A

Description

本発明は、前段処理回路および後段処理回路を通して信号処理を行う信号処理装置に関する。

撮像素子からの画像データに対して前段処理部で前処理を施し、その後、後段処理部に転送して後処理を行うデジタルカメラが知られている。また、後段処理部であるバックエンジンだけでも画像処理を行える最小限のカメラシステムを構成し、バックエンジンでは受信できないような高ピクセルレートの画像データを扱う場合に、前段処理部であるフロントエンジンを追加的に利用可能とすることでスケーラブルとする構成も知られている（特許文献１参照）。

特開２０１３−１７５８２４号公報

しかし、前段処理部が複数のセンサからの入力を処理する場合、後段処理部へのデータ転送のために複数の出力用の高速センサインターフェースが用いられ、前段処理部の回路構成が複雑化かつ大型化する。

本発明は、複数のセンサからの信号を受信し、各センサからのデータを簡略な構成で効率的に後段処理部へと転送可能な信号処理装置を提供することを目的としている。

本発明の信号処理装置は、データを入力する複数の入力部と、データを相対的に高速で出力可能な第１インターフェースと、第１インターフェースよりも相対的に低速な第２インターフェースと、複数の入力部からのデータの出力に第１インターフェースを切り替えて使用するための出力切替手段とを備え、複数の入力部からのデータを第１インターフェースおよび第２インターフェースを通して同時並行に出力可能であることを特徴としている。

複数の入力部の中の異なる入力部から入力されたデータを、それぞれ第１インターフェースおよび第２インターフェースを通して同時並行に出力すること可能であり、第２インターフェースから出力されるデータは圧縮されたデータである。複数の入力部からのデータの出力タイミングが重なるとき、一方のデータを圧縮し、第１インターフェースからの出力と並行して第２インターフェースから出力する。入力データのうち、データ量が多い方を第１インターフェースから出力する。信号処理装置は、制御装置からの制御信号に基づき制御され、第２インターフェースは、この制御信号の通信に使用されるインターフェースである。

第１インターフェースからの出力に並行して、少なくとも１つのセンサのデータに対して圧縮処理を行いその結果を蓄積する。複数の入力部に入力されるデータに画像データが含まれ、第１インターフェースは画像データの出力に優先して使用される。信号処理装置では、画像データに対してノイズリダクション処理が行われる。

また本発明の撮像装置は、上記信号処理装置を搭載することを特徴としている。

本発明によれば、複数のセンサからの信号を受信し、各センサからのデータを簡略な構成で効率的に後段処理部へと転送可能な信号処理装置を提供することができる。

本発明の一実施形態であるカメラの構成を示すブロック図である。フロントエンドプロセッサを中心とする電気的な構成を示すブロック図である。バックエンドプロセッサの制御の下、フロントエンドプロセッサにおいて実行されるＡＥデータ取り込み処理のフローチャートである。バックエンドプロセッサの制御の下、フロントエンドプロセッサにおいて実行される撮像素子（ＣＩＳ）のデータ取り込み処理のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である信号処理装置が搭載されたカメラの構成を示すブロックである。

カメラ１０は、例えばＣＭＯＳ撮像素子（ＣＩＳ）１２を搭載する一眼レフのデジタルカメラであり、レンズ１４と撮像素子１２の間にはアップ／ダウンが可能なミラー１６が配置される（なお図１にはミラーダウン状態が示される）。被写体像の撮影は、ミラーアップ状態で行われ、レンズ１４を通して形成された被写体像は、撮像素子１２に結像され画像信号として取得される。撮像素子１２で検出された画像信号は、特定用途向け集積回路（ＡＳＩＣ）等を用いたフロントエンドプロセッサ（信号処理装置）１８に送られ、ノイズリダクション（ＮＲ）などの所定の信号処理が行われた後、ＤＳＰ等を用いたバックエンドプロセッサ２０へと送られる。

一方、ミラーダウン状態でレンズ１４に入射した光は、ミラー１６の主ミラー１６Ｍに反射されスクリーン２２に結像される。スクリーン２２に形成された被写体像は、ペンタプリズム２４等を介して接眼レンズ２６へと導かれ、ユーザは接眼レンズ２６を通してこの被写体像を観察可能である。また、ペンタプリズム２４を通した光はＡＥセンサ２８にも導かれ、自動露出制御に用いられる。更に、ミラー１６は副ミラー１６Ｓを備え、ミラーダウン状態において、主ミラー１６Ｍを透過した一部の光は副ミラー１６Ｓで反射されてＡＦセンサ３０で検知され、オートフォーカス制御に用いられる。なお、ＡＥセンサ２８、ＡＦセンサ３０で検出されるセンサデータは、例えばフロントエンドプロセッサ１８に送られた後、バックエンドプロセッサ２０へと送られるが、バックエンドプロセッサ２０へ直接送られるものが存在してもよい。

図２は、本実施形態のフロントエンドプロセッサ１８を中心とする電気的な構成を示すブロック図である。

図２に示されるように、フロントエンドプロセッサ１８は、ノイズリダクション（ＮＲ）回路３２を備え、撮像素子１２からの画像データは、入力用のセンサＩ／Ｆ（センサインターフェース）３４を通して入力されＮＲ回路３２へと入力される。ＮＲ回路３２からの信号は、セレクタ３６を介して出力用の高速センサＩ／Ｆ３８からバックエンドプロセッサ２０へと送信可能である。一方、ＡＥセンサ２８やＡＦセンサ３０からのセンサデータは、入力用センサＩ／Ｆ４０を介してフロントエンドプロセッサ１８へと入力される（図２ではＡＥセンサ２８からの入力を例示）。入力されたセンサデータは、セレクタ３６と検波回路４２へ並列に出力され、例えば検波による圧縮データは結果レジスタ４４に記憶される（なお、圧縮方法は、データを間引くことによる圧縮、データの平均、加算による圧縮、その他の圧縮方法も含み、データサイズを縮小することを目的とするものであれば検波に限定されない）。結果レジスタ４４は、割り込み（ＩＮＴ）ポート４５を通してバックエンドプロセッサ２０へのトリガ信号を発することが可能であり、バックエンドプロセッサ２０はトリガ信号に応じて、結果レジスタ４４に記憶される検波結果を、通信ポート４６を通して取得可能である。

通信ポート４６は、例えばＳＰＩやＩ２Ｃなどであり、通常はフロントエンドプロセッサ１８がバックエンドプロセッサ２０からの制御信号を受けるポートであり、出力用の高速センサＩ／Ｆ３８の通信速度に比べて低速である。通信ポート４６を介してバックエンドプロセッサ２０から受け取った制御信号は、レジスタ４８に蓄えられ、フロントエンドプロセッサ１８では、レジスタ４８の制御信号に基づき順次各種設定を行う。また、バックエンドプロセッサ２０との間には、通信制御のためのハンドシェイクポート５０や、リセットのためのリセット（ＲＳＴ）ポート５２、クロック信号を生成するためのＰＬＬポート５４を備えてもよく、更に撮像素子１２等のセンサとの同期をとるためのタイミング信号を出力するＴＧポート５６を備えてもよいが、これらの構成は省略されてもよい。

セレクタ３６の切り替えは、バックエンドプロセッサ２０からの制御信号に基づきフロントエンドプロセッサ１８で行われる。セレクタ３６は、例えば撮像素子１２からの画像データ、あるいはＡＥセンサ２８やＡＦセンサ３０からのセンサデータを同時にバックエンドプロセッサ２０に転送する必要がない場合、セレクタ３６を随時切り替えて、画像データあるいはセンサデータの一方を出力用高速センサＩ／Ｆ３８からバックエンドプロセッサ２０へと出力する。一方、画像データとセンサデータを同時並行してバックエンドプロセッサ２０へと転送する必要がある場合などには、高速な出力用高速センサＩ／Ｆ３８からは撮像素子１２の画像データを出力し、センサデータは圧縮処理（検波処理）を施した後、低速な通信Ｉ／Ｆを通してバックエンドプロセッサ２０へと出力する。

図３は、バックエンドプロセッサ２０の制御の下、フロントエンドプロセッサ１８において実行されるＡＥデータ取り込み処理のフローチャートである。

フロントエンドプロセッサ１８は、入力用センサＩ／Ｆ４０においてＡＥセンサ２８やＡＦセンサ３０からセンサデータを受信すると、ステップＳ１００において出力用高速センサＩ／Ｆ３８が画像（ＣＩＳ）データの出力に使用されているか否かが判定される。出力用高速センサＩ／Ｆ３８が使用されていないと判定されると、ステップＳ１１０において、セレクタ３６をＡＥデータ（ＡＦデータ）に切り替え、ステップＳ１１２においてＡＥデータを出力用高速センサＩ／Ｆ３８から出力して、本処理を終了する。

一方、ステップＳ１００において、出力用高速センサＩ／Ｆ３８が画像（ＣＩＳ）データの出力に使用されていると判定されると、ステップＳ１０２において、検波回路４２によるＡＥデータの検波処理を行い、処理結果の結果レジスタ４４への転送を開始する。ステップＳ１０４では、結果レジスタ４４への検波処理結果の転送が完了したか否かが判定され、転送が完了するまでステップＳ１０４の処理が繰り返される。

ステップＳ１０４において結果レジスタ４４へのデータ転送が完了したと判定されると、ステップＳ１０６において、ＩＮＴポート（ＩＮＴ端子）から割り込み信号がバックエンドプロセッサ２０へと出力される。そして、ステップＳ１０８において通信ポート（Ｉ／Ｆ）４６からＡＥデータの検波データ（圧縮データ）がバックエンドプロセッサ２０へと出力され、本処理は終了する。

図４は、バックエンドプロセッサ２０の制御の下、フロントエンドプロセッサ１８において実行される撮像素子（ＣＩＳ）のデータ取り込み処理のフローチャートである。

フロントエンドプロセッサ１８は、入力用センサＩ／Ｆ３４において撮像素子（ＣＩＳ）１２から画像データを受信すると、ステップＳ２００において出力用高速センサＩ／Ｆ３８が、例えばＡＥセンサ２８からのセンサデータの出力に使用されているか否かが判定される。出力用高速センサＩ／Ｆ３８がＡＥセンサ２８のデータ転送に使用されていないと判断されると、ステップＳ２０６において、セレクタ３６の選択を撮像素子（ＣＩＳ）１２、すなわちノイズリダクション回路３２に切り替え、ステップＳ２０８において画像データ（ＣＩＳデータ）を出力用高速センサＩ／Ｆ３８からバックエンドプロセッサ２０へと出力し、本処理を終了する。

一方、ステップＳ２００において、出力用高速センサＩ／Ｆ３８がＡＥセンサ２８のデータ転送に使用されていると判断されると、ステップＳ２０２において、画像データ（ＣＩＳデータ）の出力開始タイミングがＡＥデータの出力完了タイミングよりも後か否かが判定される。画像データ（ＣＩＳデータ）の出力開始タイミングがＡＥデータの出力完了タイミングよりも後であれば、ステップＳ２０４において、出力用高速センサＩ／Ｆ３８を用いたＡＥデータの転送が完了したか否かが判定され、転送が完了するまでステップＳ２０４の処理が繰り返される。

出力用高速センサＩ／Ｆ３８を用いたＡＥデータの転送が完了すると、ステップＳ２０６において、セレクタ３６の選択を撮像素子（ＣＩＳ）１２、すなわちノイズリダクション回路３２に切り替え、ステップＳ２０８において画像データ（ＣＩＳデータ）を出力用高速センサＩ／Ｆ３８からバックエンドプロセッサ２０へと出力し、本処理を終了する。

ステップＳ２０２において、画像データ（ＣＩＳデータ）の出力開始タイミングが出力用高速センサＩ／Ｆ３８を用いたＡＥデータの出力完了タイミングよりも後でないと判定されると、処理はステップＳ２１０に進み、セレクタ３６の選択が撮像素子（ＣＩＳ）１２、すなわちノイズリダクション回路３２に切り替えられ、ステップＳ２１２において画像データ（ＣＩＳデータ）の出力用高速センサＩ／Ｆ３８からの出力が開始される。

ステップＳ２１４では、検波回路４２におけるＡＥ検波データの結果レジスタ４４への転送が完了したか否かが判定され、ＡＥ検波データの結果レジスタ４４への転送が完了するまで同処理が繰り返される。ＡＥ検波データの結果レジスタ４４への転送が完了すると、ステップＳ２１６において、割り込みポート（ＩＮＴ端子）４５からバックエンドプロセッサ２０へ割り込み信号（トリガ信号）が出力される。ステップＳ２１８においてバックエンドプロセッサ２０は同トリガ信号を受けて、通信ポート（Ｉ／Ｆ）４６を用いたデータ通信を開始する。すなわちフロントエンドプロセッサ１８は、出力用高速センサＩ／Ｆ３８を介した画像データ（ＣＩＳデータ）の転送に並行して、結果レジスタ４４に蓄積されたＡＥ検波データを通信ポート（Ｉ／Ｆ）４６を介してバックエンドプロセッサ２０へと転送し、本処理は終了する。

以上のように、本実施形態によれば、撮像素子の画像データの転送に用いられる出力用高速センサＩ／Ｆが、撮像素子の画像データの転送に使用されていないときには、他のセンサ（ＡＥ、ＡＦセンサ等）からのデータの転送に使用可能とするとともに、センサデータを常に並行して検波しその結果をレジスタに蓄積することで、出力用高速センサＩ／Ｆを使用したセンサデータ転送中に画像データの転送が必要となったときには、出力用高速センサＩ／Ｆを撮像素子の画像データの転送に切り替え、他のセンサデータは、バックエンドプロセッサからの制御信号の通信に用いられる低速な通信ポートを通して検波データとして転送することができる。

これにより、フロントエンドプロセッサに複数センサからの入力がある場合においても、出力用の高速センサＩ／Ｆを複数設けることなく、画像データおよびその他のセンサデータを効率的にバックエンドプロセッサへと転送することができる。

なお、本実施形態ではＣＭＯＳの撮像素子を例に説明を行なったが、撮像素子はＣＣＤなど他の形式の撮像素子でもよい。また、入力データは画像データ以外のものでも良い。また本実施形態では、一眼レフのデジタルカメラを例に説明を行なったが、本実施形態はミラーレスのデジタルカメラやコンパクトカメラ、あるいはカメラ機能を備えたその他の電子機器に適用することもできる。また、本実施形態では、フロントエンドプロセッサでは画像データに対してノイズリダクション処理を行ったが、その他の処理であってもよく、またセンサデータに関する処理に関しても、データを圧縮できる処理であれば検波処理に限定されるものではない。さらに、フロントエンドプロセッサに一時記憶領域を用意して優先度の高いデータを高速Ｉ／Ｆからバックエンドプロセッサに転送して、優先度の低いデータを一時記憶領域へ圧縮し溜めるとともに、先の優先度の高いデータの転送と並行して低速Ｉ／Ｆから転送する実施形態も考えられる。

また、本実施形態では入力Ｉ／Ｆの数が２で出力Ｉ／Ｆの数が１の例を示したが、Ｉ／Ｆの数はこれに限定されない。また、低速Ｉ／Ｆとして通信ポートを使用する実施形態を示したが、別途専用の低速Ｉ／Ｆを有していてもよい（高速Ｉ／Ｆ回路規模に比較して低速Ｉ／Ｆは回路規模を縮小できる）。例えば、通信ポートを頻繁に使用するような装置では通信ポートを使用することができない可能性もあるため、そのような場合には、別途専用の低速ＩＦを設けることが好ましい。

本実施形態では、撮像素子からの画像データと、他のセンサからのデータの出力との間で高速センサＩ／Ｆの使用を切り替えたが、画像データ以外の大容量データとの間で、出力を切り替える構成とすることもできる。

１０カメラ
１２撮像素子
１４レンズ
１６ミラー
１８フロントエンドプロセッサ（信号処理装置）
２０バックエンドプロセッサ
３８出力用高速センサＩ／Ｆ
４２検波回路
４４結果レジスタ
４６通信ポート（Ｉ／Ｆ）

Claims

データを入力する複数の入力部と、
データを相対的に高速で出力可能な第１インターフェースと、
前記第１インターフェースよりも相対的に低速な第２インターフェースと、
前記複数の入力部からのデータの出力に前記第１インターフェースを切り替えて使用するための出力切替手段とを備え、
複数の入力部からのデータを前記第１インターフェースおよび前記第２インターフェースを通して同時並行に出力可能である
ことを特徴とする信号処理装置。
前記複数の入力部の中の異なる入力部から入力されたデータを、それぞれ前記第１インターフェースおよび前記第２インターフェースを通して同時並行に出力することが可能であり、前記第２インターフェースから出力されるデータは圧縮されたデータであることを特徴とする請求項１に記載の信号処理装置。
前記複数の入力部からのデータの出力タイミングが重なるとき、一方のデータを圧縮し、前記第１インターフェースからの出力と並行して前記第２インターフェースから出力することを特徴とする請求項１に記載の信号処理装置。
入力データのうち、データ量が多い方を前記第１インターフェースから出力することを特徴とする請求項１〜３の何れか一項に記載の信号処理装置。
前記信号処理装置は、制御装置からの制御信号に基づき制御され、前記第２インターフェースは、前記制御信号の通信に使用されるインターフェースであることを特徴とする請求項１〜４の何れか一項に記載の信号処理装置。
前記第１インターフェースからの出力に並行して、少なくとも１つの入力データに対して圧縮処理を行いその結果を蓄積することを特徴とする請求項１〜５の何れか一項に記載の信号処理装置。
前記複数の入力部に入力されるデータに画像データが含まれ、前記第１インターフェースが前記画像データの出力に優先して使用されることを特徴とする請求項１〜６の何れか一項に記載の信号処理装置。
前記画像データに対してノイズリダクション処理が行われることを特徴とする請求項７に記載の信号処理装置。
請求項１〜８の何れか一項に記載の信号処理装置を搭載することを特徴とする撮像装置。