JP6815926B2 - 撮像装置、撮像システム、移動体、チップ - Google Patents

Description

本発明は、撮像装置、撮像システム、移動体、チップに関する。

撮像素子が出力する画像信号を処理する画像処理装置が知られている。複数の画像処理装置を直列に接続した構成が、特許文献１に記載されている。

特許文献１には、直列接続された複数の画像処理装置において、一方の画像処理装置が処理した画像信号を他方の画像処理装置を処理する動作が記載されている。また、特許文献１には、一方の画像処理装置がある期間に撮影された画像信号を処理している間、他方の画像処理装置が別の期間に撮影された画像信号を処理する動作が記載されている。

特開２０００−１８４２２９号公報

近年、撮像素子と画像処理装置とを有する撮像装置において、監視カメラ等のように、全体画像と、全体画像の一部（例えば、人物、車両等）を抽出した部分画像と生成するニーズが高まっている。

特許文献１に記載の画像処理装置では、互いに異なる画像処理を行う複数の画像処理部を備える構成に関する検討が充分ではない。特に、一方の画像処理部が処理する信号の範囲（撮影領域、撮影時間、色情報）の一部を、他方の画像処理部が処理する場合における、複数の画像処理部の構成に関する検討が充分ではない。

本発明の一の態様は、画像信号を出力する撮像部と、第１画像処理部と、第２画像処理部とを有する撮像装置であって、前記第１画像処理部は、前記画像信号が入力される第１入力部と、前記第１入力部に入力された前記画像信号から第１画像信号と、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影領域に対応する信号を有する第２画像信号とをそれぞれ生成する第１信号処理部と、前記第１画像信号を前記第１画像処理部の外部に出力する第１出力部と、前記第２画像信号を前記第１画像処理部の外部に出力する第２出力部とを有し、前記第２画像処理部は、前記第１出力部から前記第１画像信号が入力される第２入力部と、前記第２入力部に入力された前記第１画像信号から、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、前記第１撮影領域の一部のみの領域である第２撮影領域に対応する第３画像信号を生成する第２信号処理部と、前記第３画像信号を前記第２画像処理部の外部に出力する第３出力部とを有することを特徴とする撮像装置である。

互いに異なる画像処理を行う複数の画像処理部を備える構成を提供する。

撮像装置の構成を示す図 撮像装置の動作を示す図 比較例の画像処理を示す図 実施例の画像処理を示す図 撮像装置の構成を示す図 撮像装置の構成を示す図 実施例の画像処理を示す図 撮像装置のレイアウトを示す図 撮像システムの構成を示す図 移動体の構成を示す図

以下、図面を参照しながら、各実施例の撮像装置を説明する。

（実施例１）
図１は、本実施例の撮像装置の構成を示した模式図である。

図１の撮像装置は、撮像部１０２は、複数の画素を有する。本実施例では、撮像部１０２は、水平１２０００画素、垂直９０００画素であって、総画素数が１２Ｋ９Ｋの約１億画素であるＣＭＯＳセンサとする。撮像部１０２は、１２Ｋ９Ｋの画素数を持つ画像信号を、画像処理部１０３Ａに出力する。

画像処理部１０３Ｂは画像処理部１０３Ａに対し、直列に接続されている。画像処理部１０３Ａは第１チップに形成されている。また、画像処理部１０３Ｂは、第１チップとは別の第２チップに形成されている。画像処理部１０３Ａと画像処理部１０３Ｂは同じ構成を備えている。換言すれば、本実施例の撮像装置は、画像処理部１０３Ａが形成されたチップが複数設けられ、その複数のチップが直列に接続されていると言える。

画像処理部１０３Ａ、１０３Ｂの構成を説明する。上述したように、画像処理部１０３Ａと画像処理部１０３Ｂは同じ構成を備えている。よって、以下では、まず画像処理部１０３Ａの構成を説明する。画像処理部１０３Ｂについては、画像処理部１０３Ａと異なる部分を説明する。なお、図１では、画像処理部Ａが有する部材については、「１」の枝番を末尾に有する符号を付している。また、画像処理部Ｂが有する部材については、「２」の枝番を末尾に有する符号を付している。

画像処理部１０３Ａは、画像信号が撮像部１０２から入力される第１入力部である第１入力端子１０４−１を有する。また、画像処理部１０３Ａは、信号処理部１３０−１を有する。信号処理部１３０−１は、入出力バッファ部１１９−１、遅延付加部１０８−１、フォーマット変換部１０６−１を有する。入出力バッファ部１１９−１は、第１入力端子１０４−１に入力された画像信号をバッファリングして、第１出力部である第１出力端子１０５−１に出力する。第１出力端子１０５−１が画像処理部１０３Ａの外部に出力する画像信号である第１画像信号は、撮像部１０２が出力する画像信号がバッファリングされたものである。第１出力端子１０５−１が出力する第１画像信号の画素数は、撮像部１０２が出力する画像信号の画素数である１２Ｋ９Ｋと等しい。すなわち、第１画像信号が含む信号数は約１億である。

また、入出力バッファ部１１９−１は、遅延付加部１０８−１に画像信号を出力する。遅延付加部１０８−１は、入出力バッファ部１１９−１から出力される画像信号を遅延させた画像信号を、フォーマット変換部１０６−１に出力する。遅延付加部１０８−１が出力する画像信号もまた、撮像部１０２の全画素に対応する画素数である１２Ｋ９Ｋの画素数を備える信号である。

フォーマット変換部１０６は、遅延付加部１０８−１から出力される画像信号の解像度を低下させる処理を行うことで、第２画像信号を生成する。この解像度を低下させる処理は、複数の画素の信号の加算、平均、間引きのいずれかの処理、あるいはこれらを複数組み合わせた処理によって行われる。このフォーマット変換部１０６−１の処理によって生成される第２画像信号の解像度は、第１出力端子１０５−１が出力する第１画像信号よりも解像度の低い信号である。解像度は、撮像部１０２において、光が入射する受光面の単位面積あたりの信号の個数として扱うことができる。つまり、「解像度を低下させる」ということは、受光面の単位面積あたりの信号の個数を減らす、ということである。本実施例では１２Ｋ９Ｋの画像信号から、水平方向を１／６、垂直方向を１／４にそれぞれ解像度を低下させる。これにより、フォーマット変換部１０６は、１２Ｋ９Ｋの画像信号のデータ量の約１／２４にデータ量を低減した、ＨＤフォーマット（２Ｋ１Ｋ画素）の画像信号を生成する。よって、第２画像信号が含む信号数は、約２００万である。したがって、第１画像信号が含む第１信号数である約１億よりも、第２画像信号が含む第２信号数の２００万は少ない値となる。

第２出力端子１０７−１は、フォーマット変換部１０６−１が出力する第２画像信号を、画像処理部１０３Ａの外部に出力する第２出力部である。

次に、画像処理部１０３Ｂについて説明する。

第１入力端子１０４−２には、画像処理部１０３Ａの入出力バッファ部１１９−１から１２Ｋ９Ｋの画素数の画像信号が入力される。フォーマット変換部１０６−２には、遅延付加部１０８−２によって遅延された画像信号が入力される。

フォーマット変換部１０６−２は、１２Ｋ９Ｋの画素数の画像信号のうち、横方向を１／６、縦方向を１／４の部分領域を切り出す。これにより、フォーマット変換部１０６−２は、入力された画像信号のデータ量の約１／２４にデータ量を低減したＨＤフォーマット（２Ｋ１Ｋ）の部分画像である第３画像信号を生成する。第３画像信号は、第１画像信号の部分画像であるため、第３画像信号の解像度は、第１画像信号の解像度と等しい。ただし、第３画像信号が含む信号数は、第２画像信号が含む信号数と同じ約２００万である。

第２出力端子１０７−２は、フォーマット変換部１０６−２が出力する第３画像信号を、画像処理部１０３Ｂの外部に出力する第３出力部である。

次に、画像処理部１０３Ａが備える識別番号保持部１０９−１、遅延付加部１０８−１と、画像処理部１０３Ｂが備える識別番号保持部１０９−２、遅延付加部１０８−２について説明する。

識別番号保持部１０９−１は、複数の画像処理部のうち、画像処理部１０３Ａを特定する識別番号を保持している。また、識別番号保持部１０９−２は、複数の画像処理部のうち、画像処理部１０３Ｂを特定する識別番号を保持している。

識別番号保持部１０９−１が保持している識別番号は、端子１１２−１を介して、タイミング制御部１１４に出力される。識別番号保持部１０９−２が保持している識別番号は、端子１１２−２を介して、タイミング制御部１１４に出力される。

タイミング制御部１１４は、識別番号保持部１０９−１、識別番号保持部１０９−２のそれぞれから入力された識別番号に対応した遅延設定情報を、端子１１１−１、端子１１１−２を介して、遅延付加部１０８−１、１０８−２に出力する。

これにより、遅延付加部１０８−１と遅延付加部１０８−２とには、互いに異なる遅延量が設定される。本実施例では、遅延付加部１０８−２の遅延量が、遅延付加部１０８−１の遅延量よりも大きくなるように、遅延設定情報が設定されている。

さらに撮像装置は、第１画像認識部１１５、第２画像認識部１１６を備える。第１画像認識部１１５には、第２出力端子１０７−１から出力される第２画像信号が入力される。第１画像認識部１１５は、複数フレームの第２画像信号を用いて、撮影シーンにおける動体の検出（動き検出）を行う。

第２画像認識部１１６には、第２出力端子１０７−２から出力される第３画像信号が入力される。第２画像認識部１１６は、複数フレームの第３画像信号を用いて、撮影シーンにおける物体認識（例えば、人間の顔の検出、特定の条件に合致する物体の検出等）を行う。

撮像装置は、第１画像表示部１１７、第２画像表示部１１８を有する。第１画像表示部１１７は、第１画像認識部１１５が出力する、動き検出済みの画像信号を表示する。第２画像表示部１１８は、第２画像認識部１１６が出力する、物体認識済みの画像信号を表示する。

図２は、図１に示した撮像装置の動作を示したタイミング図である。

図２において、ＶＤは垂直同期信号を示している。この垂直同期信号ＶＤの信号レベルがアクティブレベルになることによって、撮像部１０２の画素の垂直走査が行われる。これにより、撮像部１０２から、画像信号が画像処理部１０３Ａに出力される。１フレーム期間は、垂直同期信号ＶＤがアクティブとなってから、次にアクティブとなるまでの期間である。

第１出力端子１０５−１が出力する画像信号は、入力端子１０４−１に入力される画像信号に対し、遅延量が実質的にない（０フレーム分）信号である。厳密に言えば、入出力バッファ部１１９−１のバッファ動作による信号遅延が存在するが、ここでは、信号遅延を実質的に０とみなすことができる。

タイミング制御部１１４は、遅延付加部１０８−１の遅延量を０に設定している。

フォーマット変換部１０６−１の信号処理によって１フレーム分の信号遅延が生じる。したがって、第２出力端子１０７−１が出力する画像信号は、入力端子１０４−１に入力される画像信号に対し、１フレーム分の信号遅延が存在する。

第１画像認識部１１５は、第２出力端子１０７−１から出力された第２画像信号を取得した画像情報から約１フレーム分の画像処理時間をかけて動き検出を行う。よって、第１画像表示部１１７が表示する画像信号は、第１入力端子１０４−１に入力される画像信号に対して、２フレーム分の信号遅延が存在する。

タイミング制御部１１４は、遅延付加部１０８−２の遅延量を２フレーム分に設定している。

比較例として、遅延付加部１０８−２が画像信号を遅延させない場合における、画像信号のフレームを、図２の「１０６−２入力」について括弧を付して示した。

ここで、第１画像認識部１１５の動き検出結果を、フォーマット変換部１０６−２の部分画像生成の処理に反映させる場合について考える。

比較例では、Ｎフレームの画像信号に対する第１画像認識部１１５の動き検出結果（図２に示した１１５出力）を、第２画像認識部１１６の処理に反映できるのは、図２の１１６入力として示しているように、Ｎ＋２フレームとなる。

一方、本実施例では、Ｎフレームの画像信号に対する第１画像認識部１１５の動き検出結果（図２に示した１１５出力）を、フォーマット変換部１０６−２の処理に反映できるのは、図２の１０６−２入力として示しているように、同じＮフレームとなる。

図３、図４を用いて、さらに説明する。

図３は図２で示した比較例、実施例のうちの比較例の場合を示している。一方、図４は、図２で示した比較例、実施例のうちの実施例を示している。

図３（ａ）および図４（ａ）の画像３０１は、第１画像認識部１１５に入力している画像信号を模式的に示している。図３（ａ）、図４（ａ）の画像３０１は、第２画像信号に対応する撮影領域を示している。また、本実施例では、第１画像信号をトリミングせずに第２画像信号を生成しているため、第２画像信号に対応する撮影領域は、第１画像信号に対応する撮影シーンと同じである。図３（ｂ）および図４（ｂ）の画像３０２は、第２画像認識部１１６に入力している第３画像信号を模式的に示している。第１画像認識部１１５、第２画像認識部１１６に入力されている実際の画像信号は、図３、図４に示したような画像ではないが、ここでは説明を分かりやすくするために画像として模式的に示している。

図３（ａ）および図４（ａ）において、物体３０４ａ、物体３０４ｂは空を撮像しているときに被写体として写りこんだドローンなどの飛行物体である。この物体はＮフレーム目には３０４ａ（Ｎ）の位置にあり、Ｎ＋２フレーム目には３０４ａ（Ｎ＋２）の位置にあるとする。ここで、画像認識部１１５は、動き検出をしてＮフレーム目のタイミングで３０４ａ（Ｎ）の位置に動いている物体３０４ａを検出すると、領域３０３ａの範囲において動きを検出したという処理結果信号をフォーマット制御部１１３に出力する。この領域３０３ａは、第２画像信号が対応する撮影領域の一部のみの領域である。フォーマット制御部１１３は、フォーマット変換部１０６−２が部分画像として切り出す領域を領域３０３ａと設定する。

フォーマット変換部１０６−２は、領域３０３ａに対応する部分画像を生成する。これによって、領域３０３ａに対応する、２Ｋ１Ｋの画素数の画像信号を生成する。つまり、フォーマット変換部１０６−２は、全体画像から、領域３０３ａをデジタルズームした画像信号を取得する。３０３ｂは、フォーマット変換部に入力する画像のうち、このＨＤフォーマットの部分切出し領域の画像データを表している。

フォーマット変換部１０６−２は、第１画像認識部１１５で認識に用いた画像信号と同じタイミングでフォーマット変換部１０６−２に入力されている画像信号に対し、部分画像を生成する処理を行う。

比較例では、図２において「１０６−２入力」において括弧を付して示したように、第１画像認識部１１５で認識に用いた画像信号から、２フレーム経過したＮ＋２フレームの画像信号が入力されている。フォーマット変換部１０６−２は、Ｎ＋２フレームの画像信号に対し、領域３０３ａの部分画像を生成する処理を行う。しかし、物体３０４ａは、Ｎ＋２フレームの時には、３０４ａ（Ｎ＋２）の位置にあるから、領域３０３ａを切り出した画像信号には、物体３０４ａの大部分が写っていない。よって、第２画像認識部１１６は、画像３０２を用いた物体認識を行っても、物体３０４ａを認識できない。

一方、本実施例の場合には、遅延付加部１０８−２が、２フレーム分、画像信号を遅延させている。これにより、第１画像認識部１１５による動き検出結果を、同じＮフレームの画像信号の部分画像生成に反映することができる。よって、図４（ｂ）に示すように、物体３０４ａが写った部分画像を生成することができる。これにより、第２部分画像認識部１１６は、物体３０４ａを認識することができる。

このように、本実施例の画像処理部１０３は、フォーマット変換部１０６の前段に遅延付加部１０５を設けている。遅延付加部１０５が、画像処理部ごと遅延付加量を変える構成とする。これにより、所定のフレームの画像信号に対して前段の画像処理部１０３の出力する画像信号を用いた画像認識結果の反映を、後段の画像処理部１０３の当該所定のフレームの画像信号の画像処理（例えば部分画像生成）に反映することができる。

なお、本実施例では、遅延付加部１０５−２は２フレーム分の遅延を行うこととした。これは単なる一例に過ぎず、フォーマット変換部１０６−１、第１画像認識部１１５の処理速度に応じて、適宜、遅延量を設定するようにしてもよい。また、この遅延量の設定は、フォーマット変換部１０６−１、第１画像認識部１１５の、撮像装置の設定モードに応じた処理速度の違いに応じて変更するようにしてもよい。例えば、フォーマット変換部１０６−１が加算する信号数の違いに応じて、遅延付加部１０５−２の遅延量を変更するようにしてもよい。

また、撮像部１０２の画像信号の出力のフレームレートの変更に応じて、遅延付加部１０５−２の遅延量を変更するようにしてもよい。

また、フォーマット変換部１０６−１、第１画像認識部１１５の処理速度を、実撮影に先立ってモニタリングし、そのモニタリングの結果に基づいて、遅延付加部１０５−２の遅延量を設定するようにしてもよい。また、フォーマット変換部１０６−１、第１画像認識部１１５の処理速度を、実撮影中にモニタリングし、そのモニタリングの結果に基づいて、遅延付加部１０５−２の遅延量を設定するようにしてもよい。

また、本実施例では、複数の画像処理部１０３Ａ、１０３Ｂのうち、後段に位置する画像処理部１０３Ｂの遅延付加部１０８−２の遅延量が、前段に位置する画像処理部１０３Ａの遅延付加部１０８−１の遅延量よりも大きい例を説明した。必ずしもこの例に限定されるものでは無く、第１画像認識部１１５、第２画像認識部１１６が担当する機能に応じて、複数の画像処理部１０３の各々の遅延付加部１０８の遅延量を設定するようにしてもよい。

また、画像信号のデータ量の削減は、１２Ｋ９Ｋの画素数から、加算、平均、間引き、切出しなどの変換に限られるものでは無い。例えば、撮影時間の一部を抜き出す方法が有る。例えば、データ量の削減は、撮像画像の動画フレームの一定期間のみの取り込み、あるいはフレームの一定周期での間引き、加算、平均等のフレームの削減で行ってもよい。具体的には、１０００フレーム／ｓの高フレームレートな画像を出力する撮像部から、フレームを間引いて６０フレーム／ｓに変換するフレームレート変換がある。また、別の例では、１０００フレーム／ｓで出力する６秒の画像をメモリに書き込みながら、６０フレームの１００秒のスローモーション画像をメモリから出力することで得られるスローモーション画像への変換による。時間軸で画像データ量を削減するフォーマット変換を行う場合などが挙げられる。また、このフレームレート変換とフォーマット変換とを組み合わせるようにしてもよい。例えば、１つの画像処理部１０３が、上述したフレームレート変換を行う。そして、他の１つの画像処理部１０３が、上述したフォーマット変換を行うようにしてもよい。この場合には、画像処理部１０３Ａは、第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影時間に対応する信号を有する第２画像信号を生成する第１信号処理部を備える。また、画像処理部１０３Ｂは、第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影時間の一部のみの時間である第２撮影時間に対応する第３画像信号を生成する第２信号処理部を有する。

また、画像信号のデータ量の削減は、画像信号に含まれる色に対応する画素情報の取捨選択で行うようにしてもよい。例えば、色情報の一部を抜き出す方向が有る。具体的には、画素の色情報が、通常のベイヤー配列の赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素に加えて、赤外（ＩＲ）画素を有した撮像部である場合を考える。この場合に、１つの画像処理部１０３では、赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素と赤外（ＩＲ）画素のうち、赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素のみ用いてカラー画像を作り出すフォーマット変換を行う。また、別の画像処理部１０３では赤（Ｒ）画素、緑（Ｇ）画素、青（Ｂ）画素と赤外（ＩＲ）画素のうち、少なくとも赤外（ＩＲ）画素を用いて赤外画像を作り出すフォーマット変換を行う。この別の画像処理部１０３が生成する第３画像信号が含む色情報は、１つの画像処理部が生成する第２画像信号が含む色情報に対して、少なくとも一種類異なるようにすればよい。この場合には、画像処理部１０３Ａは、第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１画像信号の一部のみの色情報に対応する第２画像信号を生成する第１信号処理部を備える。また、画像処理部１０３Ｂは、第１画像信号が含む信号数よりも少ない信号数を有するとともに、第２画像信号が対応する色情報と少なくとも一種類の色情報が異なる第３画像信号を生成する第２信号処理部を有する。

また、本実施例では、画像処理部１０３Ａが配されたチップと、画像処理部１０３Ｂが配されたチップは同一構成のチップであるとして説明したが、この例に限定されるものでは無い。例えば、それぞれのチップのフォーマット変換部は、担当する機能に応じて、回路を異ならせるようにしてもよいし、画像処理部１０３Ｂの出力端子１０５−２を省略してもよい。

また、本実施例で説明した構成では、全体画像を生成する画像処理部１０３Ａの後段に部分画像を生成する画像処理部１０３Ｂが設けられていた。この例に限定されるものでは無く、部分画像を生成する画像処理部１０３Ｂの後段に、全体画像を生成する画像処理部１０３Ａが設けられていてもよい。この場合には、第２画像処理部である画像処理部１０３Ｂは、撮像部から画像信号が入力される第２入力部を備える。また、画像処理部１０３Ｂは、第２入力部に入力された画像信号から第１画像信号を生成する第２信号処理部を備える。この第２信号処理部は、第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影領域の一部のみの領域である第２撮影領域に対応する第３画像信号をさらに生成する。また、画像処理部１０３Ｂは、第１画像信号を第２画像処理部の外部に出力する第３出力部と、第３画像信号を画像処理部１０３Ｂの外部に出力する第４出力部を備える。また、第１画像処理部である画像処理部１０３Ａは、第３出力部から前記第１画像信号が入力される第１入力部を備える。さらに画像処理部１０３Ａは、第１入力部に入力された第１画像信号から、第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影領域に対応する第２画像信号を生成する第１信号処理部を有する。さらに画像処理部１０３Ａは、第２画像信号を第１画像処理部の外部に出力する第２出力部を有する。

また、本実施例では、一例として、撮像装置が２つの画像処理部１０３を有する例を示した。撮像装置は、さらに多くの画像処理部１０３を直列に有していてもよい。この場合には、複数の画像処理部１０３のそれぞれの遅延付加部１０５は、互いに異なる遅延量が設定されることが好ましい。より好ましい例としては、複数の画像処理部１０３において、遅延付加部１０５の遅延量は、後段の画像処理部１０３に進むにつれて大きくなるようにすると良い。

本実施例において、撮像装置は、複数の画像処理部１０３の各々が、第１出力端子からは第１信号数の画像信号を出力し、第２出力端子から、第１信号数よりも少ない信号数の第２信号数の画像信号を出力する。これにより、複数の画像処理部１０３が直列に接続された構成において、後段の画像処理部１０３に撮像部１０２が出力した信号が伝送可能であるとともに、画像処理に適した信号数に減じられた画素信号を出力することができる構成を備える。これにより、直列に接続された複数の画像処理部１０３の各々に、異なる画像処理を並行して行わせることができる。

（実施例２）
本実施例の撮像装置について、実施例１と異なる点を中心に説明する。

図５は本実施例の撮像装置の構成を示した図である。図１に示した部材と同じ機能を有する部材には、図１で付した符号と同じ符号が図５でも付されている。ここでは、画像処理部５０３Ａ，５０３Ｂのそれぞれが、入力部５０１−１、５０１−２、出力部５０２−１、５０２−２を備える点で、実施例１と異なる。

入力部５０１−１は、入力端子１０４−１に入力された撮像部１０２からのシリアライズされた全画素の画像データをパラレルデータにデシリアライズする。入力部５０１が出力する画像信号は、フォーマット変換部１０６−１に入力される。フォーマット変換部１０６−１の動作は実施例１に同じである。

また、入力部５０１−１の出力する画像信号は、遅延付加部５０８を経由した後に出力部５０２−１において、再度シリアライズされて出力端子１０５−１から出力される。

本実施例において、遅延付加部５０８、フォーマット変換部１０６、第１画像認識部１１５、第２画像認識部１１６、第１画像表示部１１７、第２画像表示部１１８のそれぞれの動作は、実施例１の図２で説明した動作と同じとすることができる。

本実施例の撮像装置においても、実施例１の撮像装置と同じ効果を得ることができる。

（実施例３）
本実施例の撮像装置について、実施例１と異なる点を中心に説明する。

実施例１の撮像装置では、第１画像認識部１１５の動き検出に用いた画像信号のフレームと、画像処理部１０３Ｂのフォーマット変換部１０６−２に入力する画像信号のフレームとを合わせている。その結果、図２に「１１７入力」、「１１８入力」として示したように、画像表示部１１８に入力される画像信号は、遅延付加部１０８−２による２フレームの遅延分、画像表示部１１７に入力される画像信号に対して遅延した信号となっている。画像表示部１１７、１１８の表示を同時に行っている場合に、人の目に違和感が生じることとなる。特に、フレームごとに物体の形状が異なるような場合（例えば、球技や陸上競技などのスポーツシーン）、この違和感は顕著なものとなる。

本実施例の撮像装置では、この違和感を低減するよう、複数の画像表示部の表示を同期する。

図６は本実施例の撮像装置の構成を示した図である。図１に示した部材と同じ機能を有する部材には、図１で付した符号と同じ符号が図６でも付されている。

図６の撮像装置は、画像処理部７０３Ａ、７０３Ｂを有する。画像処理部７０３Ａ、７０３Ｂは、実施例１の遅延付加部１０８−１、１０８−２に対応する、第１遅延付加部１０８−１、１０８−２を有する。さらに、画像処理部７０３Ａ、７０３Ｂは、フォーマット変換部１０６−１、１０６−２のそれぞれの後段に、第２遅延付加部７１９−１、７１９−２を有する。さらに、画像処理部７０３Ａ、７０３Ｂは、第２遅延付加部７１９−１、７１９−２を制御する制御端子７２０−１、７２０−２と、第２遅延付加部７１９−１、７１９−２からの画像信号を出力する出力端子７２１−１、出力端子７２１−２とを有する。出力端子７２１−１は、第２画像信号を出力する第４出力部である。

第２遅延付加部７１９−１、７１９−２は、フォーマット変換部１０６−１、１０６−２から出力される画像信号に対して遅延を付加する。本実施例では、第２遅延付加部７１９−１の遅延量を２フレーム分とし、第２遅延付加部７１９−２の遅延量を０とする。

この第２遅延付加部７１９−１、第２遅延付加部７１９−２により、画像表示部７１７、画像表示部７１８に表示される画像信号を同じフレームの信号とすることができる。これにより、実施例１の撮像装置において生じていた、表示画像の違和感を軽減することができる。

画像表示部７１７、７１８の具体例を説明する。

一例として、図７のように、画像表示部７１７、７１８が１つのディスプレイ９０１に設けられている例を説明する。ディスプレイ９０１は複数の画像入力端子を有しており、一部の領域が画像表示部７１７、他の一部の領域が画像表示部７１８として機能する。よって、ディスプレイ９０１は、複数の画像を１画面に表示することができる。本実施例では、横３８４０画素、縦１０８０画素（４Ｋ１Ｋ）のディスプレイであり、左半分の領域１の横１０９６画素、縦１０８０画素（２Ｋ１Ｋ）が画像表示部７１７として機能する。

一方、右半分の領域２の横１０９６画素、縦１０８０画素（２Ｋ１Ｋ）が、画像表示部７１８として機能する。

図７は、本実施例の動作における画像を表示している。実施例１では、２フレーム分の遅延により、複数の画像表示部の間で表示される画像のフレームが異なっていた。本実施例では、画像表示部７１７、７１８が表示する画像のフレームは同一のものである。これにより、実施例１の撮像装置で生じていた、表示画像の違和感を軽減することができる。

（実施例４）
本実施例では、複数の画像処理部の好ましいレイアウトの一例を説明する。

半導体チップを積層する手法が知られている。半導体チップを積層することにより、配線数、配線長を、半導体チップを平面配置した場合よりも低減することが可能である。これにより、回路基板あるいはシステムを小型化することができる。

本実施例では、実施例１〜３で説明した、１つの画像処理部が形成された半導体チップの複数と、撮像部が形成された半導体チップとを積層した、積層型の画像処理集積回路を説明する。

図８（ａ）は、その物理的な構成を模式的に示した図である。パッケージ１００１は３つの半導体チップを積層させた画像処理集積回路を収容するパッケージである。図８（ａ）では、パッケージの封止や、光が入射するガラス、外部に引き出す電極は省略している。ワイヤーボンディングパッド１０３２は不図示の外部電極に電気的に接続する。また、半導体チップ１００２は、ＣＣＤセンサあるいはＣＭＯＳセンサとして知られる、画素部や画素信号のＡＤ変換部などを備えた撮像部が形成されたチップである。また、半導体チップ１００３Ａ、半導体チップ１００３Ｂのそれぞれは、実施例１〜３のいずれかの画像処理部が形成された、画像処理チップである。半導体チップ１００２，１００３Ａ，１００３Ｂのそれぞれは、積層されたチップ間を接続するための貫通型の電極を有する。撮像部の半導体チップ１００２には、撮像部が設けられた上面と反対側の下面側に、画像処理用の半導体チップ１００３Ａと接続するための貫通電極１０３１が設けられている。

また、半導体チップ１００２、１００３Ａ、１００３Ｂのそれぞれは、各半導体チップからパッケージに電気信号を取り出すワイヤーボンディングを接続するための電極を有する。半導体チップ１００３Ａには、パッケージに電気信号を取り出すワイヤーボンディングが接続される電極１００５と、電極１００５が形成された面とは反対の面に、半導体チップ１００３Ｂと接続する貫通電極１００４が設けられている。この構造は、半導体チップ１００３Ｂも同じである。

図８（ｂ）は、半導体チップ１００３Ａと半導体チップ１００３Ｂの平面視におけるレイアウトを示した図である。上面にあるワイヤーボンディング用の電極１００５と、下面にある貫通電極１００４は、模式的に示すため透視図で位置関係を示している。画像処理チップを積層させるため、ワイヤーボンディング用の電極１００５と、下面にある貫通電極１００４は、積層後にワイヤーボンディングを電極１００５に対して接続するために、オフセットされて設けられている。

以上述べたように、複数の画像処理部と撮像部とを積層した画像処理集積回路を実現することができる。

なお、本実施例では、半導体チップ１００２、半導体チップ１００３Ａ、半導体チップ１００３Ｂが積層された例を示した。本実施例は、この例に限定されるものでは無い。たとえば、半導体チップ１００３Ａと半導体チップ１００３Ｂとが平面配置される。その平面配置された２つの半導体チップ１００３Ａ、１００３Ｂに対し、半導体チップ１００２が積層されている形態であってもよい。

（実施例５）
図９は、本実施例による撮像システム５００の構成を示すブロック図である。本実施例の撮像システム５００は、上述の各実施例で述べた撮像装置のいずれかの構成を適用した固体撮像装置２００を含む。撮像システム５００の具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図９に、上述の各実施例のいずれかの撮像装置を固体撮像装置２００として適用したデジタルスチルカメラの構成例を示す。

図９に例示した撮像システム５００は、固体撮像装置２００、被写体の光学像を固体撮像装置２００に結像させるレンズ５０２０、レンズ５０２０を通過する光量を可変にするための絞り５０４、レンズ５０２０の保護のためのバリア５０６を有する。レンズ５０２０及び絞り５０４は、固体撮像装置２００に光を集光する光学系である。

撮像システム５００は、また、固体撮像装置２００から出力される出力信号の処理を行う信号処理部５０８０を有する。信号処理部５０８０は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。信号処理部５０８０は、固体撮像装置２００より出力される出力信号に対してＡＤ変換処理を実施する機能を備えていてもよい。この場合、固体撮像装置２００の内部には、必ずしもＡＤ変換回路を有する必要はない。

撮像システム５００は、更に、画像データを一時的に記憶するためのバッファメモリ部５１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）５１２を有する。更に撮像システム５００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体５１４、記録媒体５１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）５１６を有する。なお、記録媒体５１４は、撮像システム５００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム５００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部５１８、固体撮像装置２００と信号処理部５０８０に各種タイミング信号を出力するタイミング発生部５２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム５００は、少なくとも固体撮像装置２００と、固体撮像装置２００から出力された出力信号を処理する信号処理部５０８０とを有すればよい。全体制御・演算部５１８及びタイミング発生部５２０は、固体撮像装置２００の制御機能の一部又は全部を実施するように構成してもよい。

固体撮像装置２００は、画像用信号を信号処理部５０８０に出力する。信号処理部５０８０は、固体撮像装置２００から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部５０８０は、画像用信号を用いて、画像を生成する。

上述した各実施例の撮像装置による固体撮像装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。

（実施例６）
図１０（ａ）及び図１０（ｂ）は、本実施例による撮像システム１０００及び移動体の構成を示す図である。図１０（ａ）は、車戴カメラに関する撮像システム１０００の一例を示したものである。撮像システム１０００は、撮像装置１０１０を有する。撮像装置１０１０は、上述の各実施例に記載の撮像装置のいずれかである。撮像システム１０００は、撮像装置１０１０により取得された複数の画像データに対し、画像処理を行う画像処理部１０３０と、撮像システム１０００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部１０４０を有する。また、撮像システム１０００は、算出された視差に基づいて対象物までの距離を算出する距離取得部１０５０と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部１０６０と、を有する。ここで、視差取得部１０４０や距離取得部１０５０は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部１０６０はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム１０００は、車両情報取得装置１３１０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム１０００には、衝突判定部１０６０での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ１４１０が接続されている。すなわち、制御ＥＣＵ１４１０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム１０００は、衝突判定部１０６０での判定結果に基づいて、ドライバーへ警報を発する警報装置１４２０とも接続されている。例えば、衝突判定部１０６０の判定結果として衝突可能性が高い場合、制御ＥＣＵ１４１０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置１４２０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施例では、車両の周囲、例えば前方又は後方を撮像システム１０００で撮像する。図１０（ｂ）に、車両前方（撮像範囲１５１０）を撮像する場合の撮像システム１０００を示した。車両情報取得装置１３１０は、撮像システム１０００を動作させ撮像を実行させるように指示を送る。上述の各実施例の撮像装置を撮像装置１０１０として用いることにより、本実施例の撮像システム１０００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施例］
上述の実施例は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらの例示によって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な態様で実施することができる。また、これまで述べた各実施例を種々組み合わせて実施することができる。

１０３Ａ、１０３Ｂ 画像処理部
１０６−１、１０６−２ フォーマット変換部
１３０−１、１３０−２ 信号処理部

Claims (14)

1. 画像信号を出力する撮像部と、
   第１画像処理部と、
   第２画像処理部とを有する撮像装置であって、
   前記第１画像処理部は、
   前記画像信号が入力される第１入力部と、
   前記第１入力部に入力された前記画像信号から第１画像信号と、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影領域に対応する信号を有する第２画像信号とをそれぞれ生成する第１信号処理部と、
   前記第１画像信号を前記第１画像処理部の外部に出力する第１出力部と、
   前記第２画像信号を前記第１画像処理部の外部に出力する第２出力部とを有し、
   前記第２画像処理部は、
   前記第１出力部から前記第１画像信号が入力される第２入力部と、
   前記第２入力部に入力された前記第１画像信号から、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、前記第１撮影領域の一部のみの領域である第２撮影領域に対応する第３画像信号を生成する第２信号処理部と、
   前記第３画像信号を前記第２画像処理部の外部に出力する第３出力部とを有することを特徴とする撮像装置。
2. 前記第２画像処理部は、前記第２入力部に入力される前記第１画像信号を遅延させて前記第２信号処理部に出力する遅延付加部を有することを特徴とする請求項１に記載の撮像装置。
3. 前記第１画像処理部は、前記第２画像信号を表示部に出力する第４出力部を有し、
   所定のフレームに対応する前記第２画像信号の出力は、前記第２出力部の後に前記第４出力部が行うことを特徴とする請求項２に記載の撮像装置。
4. 前記所定のフレームの前記第２画像信号を前記第４出力部が出力している期間に、前記所定のフレームの前記第３画像信号を前記第３出力部が出力することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像装置は、前記第２出力部から前記第２画像信号が入力される画像認識部をさらに有し、
   前記撮像部は、複数フレームの前記画像信号を前記第１入力部に出力し、
   前記画像認識部は、前記複数フレームのうちの一のフレームの前記画像信号を処理することにより、処理結果信号を出力し、
   前記第２信号処理部は、前記処理結果信号に基づいて、前記一のフレームに対応する前記第３画像信号の生成を行うことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記画像認識部が前記一のフレームの前記処理結果信号を出力してから、前記一のフレームに続くフレームの前記処理結果信号の出力を行うまでの期間に、前記第２信号処理部が、前記一のフレームに対応する前記第３画像信号の生成を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記処理結果信号は、前記画像信号として撮影された撮影シーンに含まれる動体の位置を示す信号であり、
   前記第２信号処理部は、前記第１画像信号のうち、前記動体の位置に対応する領域とは別の領域の信号を除くことによって前記第３画像信号を生成することを特徴とする請求項５または６に記載の撮像装置。
8. 画像信号を出力する撮像部と、
   第１画像処理部と、
   第２画像処理部とを有する撮像装置であって、
   前記第２画像処理部は、
   前記画像信号が入力される第２入力部と、
   前記第２入力部に入力された前記画像信号から第１画像信号と、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影領域の一部のみの領域である第２撮影領域に対応する第３画像信号をそれぞれ生成する第２信号処理部と、
   前記第１画像信号を前記第２画像処理部の外部に出力する第３出力部と、
   前記第３画像信号を前記第２画像処理部の外部に出力する第４出力部とを有し、
   前記第１画像処理部は、
   前記第３出力部から前記第１画像信号が入力される第１入力部と、
   前記第１入力部に入力された前記第１画像信号から、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、前記第１撮影領域に対応する第２画像信号を生成する第１信号処理部と、
   前記第２画像信号を前記第１画像処理部の外部に出力する第２出力部とを有することを特徴とする撮像装置。
9. 画像信号を出力する撮像部と、
   第１画像処理部と、
   第２画像処理部とを有する撮像装置であって、
   前記第１画像処理部は、
   前記画像信号が入力される第１入力部と、
   前記第１入力部に入力された前記画像信号から第１画像信号と、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１撮影時間に対応する信号を有する第２画像信号とをそれぞれ生成する第１信号処理部と、
   前記第１画像信号を前記第１画像処理部の外部に出力する第１出力部と、
   前記第２画像信号を前記第１画像処理部の外部に出力する第２出力部とを有し、
   前記第２画像処理部は、
   前記第１出力部から前記第１画像信号が入力される第２入力部と、
   前記第２入力部に入力された前記第１画像信号から、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、前記第１撮影時間の一部のみの時間である第２撮影時間に対応する第３画像信号を生成する第２信号処理部と、
   前記第３画像信号を前記第２画像処理部の外部に出力する第３出力部とを有することを特徴とする撮像装置。
10. 画像信号を出力する撮像部と、
    第１画像処理部と、
    第２画像処理部とを有する撮像装置であって、
    前記第１画像処理部は、
    前記画像信号が入力される第１入力部と、
    前記第１入力部に入力された前記画像信号から第１画像信号と、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、第１画像信号の一部のみの色情報に対応する第２画像信号とをそれぞれ生成する第１信号処理部と、
    前記第１画像信号を前記第１画像処理部の外部に出力する第１出力部と、
    前記第２画像信号を前記第１画像処理部の外部に出力する第２出力部とを有し、
    前記第２画像処理部は、
    前記第１出力部から前記第１画像信号が入力される第２入力部と、
    前記第２入力部に入力された前記第１画像信号から、前記第１画像信号が含む信号数よりも少ない信号数を有するとともに、前記第２画像信号に含まれる色情報と少なくとも一種類の色情報が異なる第３画像信号を生成する第２信号処理部と、
    前記第３画像信号を前記第２画像処理部の外部に出力する第３出力部とを有することを特徴とする撮像装置。
11. 前記第１画像処理部が第１チップに形成され、
    前記第２画像処理部が第２チップに形成され、
    前記撮像部が第３チップに形成され、
    前記第１チップ、前記第２チップ、前記第３チップが積層されていることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記第１画像処理部が第１チップに形成され、
    前記第２画像処理部が第２チップに形成され、
    前記撮像部が第３チップに形成され、
    前記第１チップ、前記第２チップが配された基板に対して、前記第３チップが積層されていることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
13. 請求項１〜１２のいずれか１項に記載の撮像装置と、
    前記撮像装置に光を集める光学系とを有することを特徴とする撮像システム。
14. 請求項１〜１２のいずれか１項に記載の撮像装置と、
    前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、を有する移動体であって、
    前記距離情報に基づいて前記移動体を制御する移動体制御手段をさらに有することを特徴とする移動体。

Images