JP2020145633A

JP2020145633A - 画像処理装置

Info

Publication number: JP2020145633A
Application number: JP2019042304A
Authority: JP
Inventors: 山田　裕; Yutaka Yamada; 裕山田
Original assignee: Toshiba Corp; Toshiba Electronic Devices and Storage Corp
Current assignee: Toshiba Corp; Toshiba Electronic Devices and Storage Corp
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2020-09-10
Anticipated expiration: 2039-03-08
Also published as: US20200285860A1; US11574479B2; JP7118911B2

Abstract

【課題】複数のVCを有する構成であっても、常時診断を実施することができる画像処理装置を提供する。【解決手段】実施形態の画像処理装置は、複数の転送部と、データ保持部と、画像処理プロセッサと、テスト回路と、を有する。複数の転送部は、撮像された複数の画像データのそれぞれが割り当てられ、割り当てられた画像データを転送する。データ保持部は、複数の転送部によって転送された複数の画像データを保持する。画像処理プロセッサは、データ保持部に保持された複数の画像データを画像処理する。テスト回路は、データ保持部から画像処理プロセッサに対して画像データが入力されていない期間に画像処理プロセッサのテストを実施する。【選択図】図２

Description

本発明の実施形態は、画像処理装置に関する。

近年、車載用のカメラにより撮影された画像データに対して画像処理を行うISP（Image Signal Processor）を備えた画像処理装置が一般的に知られている。車載用のカメラにより撮影された画像データに対して画像処理を行うISPは、高い信頼性が求められるため、ISPが故障していないか、常時診断を実施する必要があった。

従来では、カメラから出力された画像データを単一のバーチャルチャネル（以下、VCという）を介してISPに送信していた。VCが単一の場合、画像データの垂直ブランキング期間（以下、Vブランク期間と呼ぶ）にテストパターンや自己診断テスト（BIST）により常時診断を実施している。

一方、複数のカメラからの出力された複数の画像データを複数のVCにそれぞれ割り当ててISPに送信し、単一のISPで複数の画像データを処理する構成の画像処理装置が知られている。

しかしながら、複数のカメラからの出力された複数の画像データを複数のVCにそれぞれ割り当ててISPに送信する場合、複数の画像データのVブランク期間がばらばらでISPに入力されるため、Vブランク期間の確保が困難になり、常時診断を実施することができないという問題があった。

特開２０１８−１９１２４８号公報

そこで、実施形態は、複数のVCを有する構成であっても、常時診断を実施することができる画像処理装置を提供することを目的とする。

実施形態の画像処理装置は、複数の転送部と、データ保持部と、画像処理プロセッサと、テスト回路と、を有する。複数の転送部は、撮像された複数の画像データのそれぞれが割り当てられ、割り当てられた画像データを転送する。データ保持部は、複数の転送部によって転送された複数の画像データを保持する。画像処理プロセッサは、データ保持部に保持された複数の画像データを画像処理する。テスト回路は、データ保持部から画像処理プロセッサに対して画像データが入力されていない期間に画像処理プロセッサのテストを実施する。

第１の実施形態に係る画像処理装置を搭載した車両の一例を示す図である。第１の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。比較例のISPに入力される画像データの一例を示すタイミングチャートである。第１の実施形態のISPに入力される画像データの一例を示すタイミングチャートである。変形例１に係る画像処理装置の詳細な構成を示すブロック図である。変形例２に係る画像処理装置の詳細な構成を示すブロック図である。第２の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。第２の実施形態のISPに入力される画像データ及びテストパターンの一例を示すタイミングチャートである。

以下、図面を参照して実施形態について詳細に説明する。
（第１の実施形態）
まず、図１及び図２に基づき、第１の実施形態に係る画像処理装置の構成を説明する。
図１は、第１の実施形態に係る画像処理装置を搭載した車両の一例を示す図であり、図２は、第１の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。

図１に示すように、画像処理装置１は、例えば自動車等の車両Ｘに搭載されている。車両Ｘには、車両Ｘの周囲の画像を撮影するための車載用の４つのカメラC１、C２、C３及びC４が搭載されている。

なお、以下の説明では、車両Ｘの運転席に運転者が座った際の前側を前方向、後側を後方向、左側を左方向、右側を右方向とする。

カメラC１は、車両Ｘの前側に取り付けられ、車両Ｘの前方向の画像データを取得する。カメラC２は、車両Ｘの後側に取り付けられ、車両Ｘの後方向の画像データを取得する。カメラC３は、車両Ｘの左側に取り付けられ、車両Ｘの左方向の画像データを取得する。カメラC４は、車両Ｘの右側に取り付けられ、車両Ｘの右方向の画像データを取得する。カメラC１、C２、C３及びC４によって取得された画像データは、画像処理装置１に入力される。

画像処理装置１は、車両Ｘに搭載された４つのカメラC１、C２、C３及びC４によって取得された画像データを処理するための半導体装置である。

図２に示すように、画像処理装置１は、MIPI I/F１１ａ〜１１ｄ、CRC ENC１２ａ〜１２ｄ、MIPI CTRL１３ａ〜１３ｄ、VC１４ａ〜１４ｄ、Data Type Select１５ａ〜１５ｄ、unpack１６ａ〜１６ｄ、CRC CHK１７、Buffer１８、ISP１９、CRC CHK２０、DMAC２１、BIST回路２２、及び、制御回路２３を有して構成されている。

MIPI I/F１１ａ〜１１ｄは、撮像部としてのカメラＣ１〜Ｃ４によって撮影された撮像データ（RAWデータ）を受信し、CRC ENC１２ａ〜１２ｄに出力する。符号部を構成するCRC ENC１２ａ〜１２ｄは、データの転送の際に生じる誤りを検出するための方式の１種であるCRC（Cyclic Redundancy Check）符号を入力されたRAWデータに対して付加してMIPI CTRL１３ａ〜１３ｄに出力する。CRC ENC１２ａ〜１２ｄは、例えばライン毎にCRC符号を付加する。

なお、本実施形態では、CRC符号を入力されたRAWデータに対して付加するが、これに限定されるものではない。例えば、画像処理装置１は、データの転送の際に生じる誤りを検出、及び、検出した誤りを訂正することができるECC（Error Correcting Code）符号を入力されたRAWデータに対して付加するECC回路を有する構成であってもよい。この場合、ECC回路は、数画素単位毎にECC符号を付加する。

MIPI CTRL１３ａ〜１３ｄは、CRC ENC１２ａ〜１２ｄから入力されたRAWデータのそれぞれを複数の転送部を構成するVC１４ａ〜１４ｄに割り当てる。VC１４ａ〜１４ｄは、RAWデータをData Type Select１５ａ〜１５ｄに転送する。なお、本実施形態の画像処理装置１は、物理チャネルを４つ有する構成であるため、VC１４ａ〜１４ｄを有していない構成であってもよい。

Data Type Select１５ａ〜１５ｄは、入力されたRAWデータのデータタイプ（ヘッダー情報、画像データ等）を選択し、unpack１６ａ〜１６ｄ及びCRC CHK２０に出力する。Data Type Select１５ａ〜１５ｄは、画像データをunpack１６ａ〜１６ｄに出力し、ヘッダー情報をCRC CHK２０に出力する。

unpack１６ａ〜１６ｄは、Data Type Select１５ａ〜１５ｄから入力された画像データをデコードし、デコードした画像データをCRC CHK１７に出力する。また、unpack１６ｂ〜１６ｄは、デコードした画像データをCRC CHK２０に出力する。具体的には、unpack１６ａ〜１６ｄは、入力された画像データに対してデータの並び替えを行い、データの並び替えを行った画像データをCRC CHK１７及びCRC CHK２０に出力する。

復号部を構成するCRC CHK１７は、unpack１６ａ〜１６ｄから入力された画像データに対して付加されたCRC符号を復号し、画像データに誤りがないかをチェックする。CRC CHK１７は、画像データに誤りを検出した場合、エラー信号を例えば制御回路２３に出力する。

MIPI CTRL１３ａ、VC１４ａ、及び、Data Type Select１５ａの経路では、データを選択するのみであり、データ値は変更されない。また、unpack１６ａは、入力された画像データの順序を変更するだけであり、データ値は変更されない。そのため、MIPI CTRL１３ａ〜unpack１６ａの経路では、データ値は変更されない。なお、MIPI CTRL１３ｂ〜unpack１６ｂ、MIPI CTRL１３ｃ〜unpack１６ｃ、及び、MIPI CTRL１３ｄ〜unpack１６ｄの経路も同様であり、データ値は変更されない。本実施形態では、データ値が変更されない経路は、CRC符号によって故障（エラー）がないかを診断している。

データ保持部を構成するBuffer１８は、例えば１００ラインあるいは１００ライン以上の画像データを保持するラインバッファであり、unpack１６ａ〜１６ｄから入力された画像データを保持する。Buffer１８は、制御回路２３の制御に基づいて、VC１４ａ〜１４ｄによって転送された画像データの位相を合わせてVブランク期間を確保し、ISP１９に出力する。なお、制御回路２３は、Buffer１８の制御のみを行うものではなく、画像処理装置１内の各回路の制御を行うことができる。

後述するように、本実施形態では、各画像データの位相を合わせることで確保したVブランク期間にBISTを実施する。そのため、ラインバッファを構成するBuffer１８によって入力された各画像データの位相を合わせるように構成されている。なお、カメラC１、C２、C３及びC４を制御し、カメラC１、C２、C３及びC４から出力される画像データの位相を合わせる構成の場合、固体撮像装置１は、各画像データの位相を合わせるためのBuffer１８を有していなくてもよい。

ISP１９は、入力された画像データに対して画像処理を施し、RAWデータをRGBデータに変換し、バス３１を介して画像処理部３２に出力する。画像処理部３２は、ISP１９によってRGBデータに変換された画像データに対して、パターンマッチング等を行い、人物や標識等を識別することができる。

復号部を構成するCRC CHK２０は、Data Type Select１５ａ〜１５ｄから入力された画像データに対して付加されたCRC符号、及び、unpack１６ｂ〜１６ｄから入力されたヘッダー情報に対して付加されたCRC符号を復号し、データに誤りがないかをチェックする。CRC CHK２０は、データに誤りを検出した場合、エラー信号を例えば制御回路２３に出力する。

DMAC２１は、バス３１を介して画像データ及びヘッダー情報を外部のRAM３３に出力し、RAM３３に画像データ及びヘッダー情報を保持させることができる。なお、DMAC２１には、ISP１９において処理が行われないデータ、ISP１９において処理が実行されたRGBデータ、YUVデータ、及び、埋め込みデータ等が入力されるように構成されている。

テスト回路を構成するBIST回路２２は、Buffer１８によって確保されたVブランク期間にISP１９の自己診断テスト（BIST）を実施し、ISP１９に故障がないかを診断する。

次に、このように構成された画像処理装置１の動作について説明する。
図３は、比較例のISPに入力される画像データの一例を示すタイミングチャートであり、図４は、第１の実施形態のISPに入力される画像データの一例を示すタイミングチャートである。

車載用のカメラC１、C２、C３及びC４からの画像データを処理するISP１９は、一般的に高い信頼性が求められるため、例えばBIST等により常時診断を実施する必要がある。

比較例では、カメラC１、C２、C３及びC４によって取得された画像データは、VC１４ａ、１４ｂ、１４ｃ、及び、１４ｄに割り当てられ、ISP１９に入力されていた。そのため、比較例では、図３に示すように、VC１４ａ、１４ｂ、１４ｃ、１４ｄ毎にＶブランク期間がばらばらでISP１９に入力されていた。

この場合、全VC１４ａ〜１４ｄから画像データの入力がないVブランク期間が確保できない。あるいは、全VC１４ａ〜１４ｄから画像データの入力がないVブランク期間が確保できたとしても、そのVブランク期間が非常に短い期間となり、BISTを実行することができない。

これに対して、本実施形態では、Buffer１８がVC１４ａ〜１４ｄからの画像データを保持する。Buffer１８は、制御回路２３の制御に基づいて、VC１４ａ〜１４ｄからの画像データの位相を合わせた後、VC１４ａ〜１４ｄからの画像データをISP１９に出力する。

この結果、図４に示すように、全VC１４ａ〜１４ｄから画像データの入力がないVブランク期間を確保することができる。BIST回路２２は、全VC１４ａ〜１４ｄから画像データの入力がないVブランク期間に、ISP１９のBISTを実行する。

このように、VC１４ａ〜１４ｄからの画像データは、Buffer１８によって一時的に保持され、位相が合わされた後にISP１９に出力される。これにより、ISP１９は、VC１４ａ〜１４ｄからの画像データのVブランク期間を確保することができる。BIST回路２２は、確保されたVブランク期間にBISTを実行することで異常がないかを検出することができる。

よって、本実施形態の画像処理装置によれば、複数のVCを有する構成であっても、常時診断を実施することができる。

また、Vブランク期間が確保することができない部分（MIPI CTRL１３ａ〜unpack１６ａの経路、MIPI CTRL１３ｂ〜unpack１６ｂの経路、MIPI CTRL１３ｃ〜unpack１６ｃの経路、及び、MIPI CTRL１３ｄ〜unpack１６ｄの経路）については、データの入口でCRC符号を付加し、データの出口でCRC符号をチェックすることで、データが変化していないことを確認する。

この結果、画像処理装置１は、MIPI CTRL１３ａ〜unpack１６ａの経路、MIPI CTRL１３ｂ〜unpack１６ｂの経路、MIPI CTRL１３ｃ〜unpack１６ｃの経路、及び、MIPI CTRL１３ｄ〜unpack１６ｄの経路に異常がないことを検出することができる。

（変形例１）
次に、第１の実施形態の変形例１について説明する。

第１の実施形態では、４個のカメラC１〜C４から画像データが入力される画像処理装置について説明したが、カメラの個数は４個に限定されるものではない。例えば、カメラの個数は、１個、２個、３個、あるいは、５個以上であってもよい。変形例１では、１つのカメラ（ここでは、カメラC１とする）から画像データが入力される画像処理装置について説明する。

図５は、変形例１に係る画像処理装置の詳細な構成を示すブロック図である。なお、図５において、図２と同様の構成については、同一の符号を付して説明を省略する。

変形例１の画像処理装置１Ａには、カメラC１によって撮像された画像データが入力される。このカメラC１は、HDR（High Dynamic Range）対応のセンサであり、１つの画像を輝度（明るさ）を変更して複数撮像し、輝度を変更した複数の画像データを出力する。すなわち、複数の画像データは、１つのカメラC１により撮像された１つの画像について輝度を変更したものである。

画像処理装置１Ａは、図２のMIPI I/F１１ａ〜１１ｄ、CRC ENC１２ａ〜１２ｄ、及び、MIPI CTRL１３ａ〜１３ｄに代わり、MIPI I/F１１、CRC ENC１２、及び、MIPI CTRL１３を用いて構成されている。カメラC１によって輝度が変更されて撮影された４つの画像データは、MIPI I/F１１に送信される。

MIPI I/F１１は、カメラC１によって撮影された４つの画像データを受信し、CRC ENC１２に出力する。CRC ENC１２は、データの転送の際に生じる誤りを検出するための方式の１種であるCRC符号を入力された４つの画像データに対して付加してMIPI CTRL１３に出力する。

MIPI CTRL１３は、入力された４つの画像データのそれぞれをVC１４ａ〜１４ｄに割り当てる。MIPI CTRL１３は、４つの画像データに付加されているヘッダー情報を解析することで、４つの画像データのそれぞれをVC１４ａ〜１４ｄに割り当てる。

その他の構成及び動作については、第１の実施形態と同様である。画像処理部３２は、輝度を変更して撮影された４つの画像をHDR合成し、１枚の画像を生成することができる。

本変形例１においても、Buffer１８において輝度の異なる複数の画像データの位相を合わせてISP１９に出力する。この結果、画像処理装置１Ａは、VC１４ａ〜１４ｄから画像データの入力がないVブランク期間を確保することができる。BIST回路２２は、全VC１４ａ〜１４ｄから画像データの入力がないVブランク期間に、ISP１９の自己診断テスト（BIST）を実行する。

よって、変形例１の画像処理装置によれば、第１の実施形態と同様に、複数のVCを有する構成であっても、Vブランク期間に常時診断を実施することができる。

（変形例２）
次に、第１の実施形態の変形例２について説明する。

第１の実施形態では、Buffer１８おいて複数の画像データの位相を合わせてから出力するため、Buffer１８の容量が大容量となる虞がある。そこで、変形例２では、Buffer１８の容量を小さくすることができる画像処理装置について説明する。

図６は、変形例２に係る画像処理装置の詳細な構成を示すブロック図である。なお、図６において、図２と同様の構成については、同一の符号を付して説明を省略する。

画像処理装置１Ｂは、図２のBuffer１８に代わり、Buffer１８ａを用いて構成されている。Buffer１８ａは、数ライン分のみの画像データを保持するラインバッファである。

CRC CHK２０には、Data Type Select１５ａ〜１５ｄ及びunpack１６ａ〜１６ｄからの画像データが入力される。CRC CHK２０は、Data Type Select１５ａ〜１５ｄ及びunpack１６ａ〜１６ｄから入力された画像データに対して付加されたCRC符号を復号し、画像データに誤りがないかをチェックする。CRC CHK２０は、データに誤りを検出した場合、エラー信号を例えば制御回路２３に出力する。

DMAC２１は、バス３１を介して画像データを外部のRAM３３に出力する。RAM３３は、画像データを格納するバッファを構成する。DMAC２１は、RAM３３に格納された画像データの位相を合わせてから読み出し、Buffer１８ａに出力する。Buffer１８ａは、DMAC２１からの画像データを一時的に保持した後、ISP１９に出力する。その他の構成及び動作は、第１の実施形態と同様である。

このように、外部のRAM３３に画像データを記憶し、位相を合わせるバッファとして構成することにより、Buffer１８ａは、数ライン分のみの画像データを保持するラインバッファとして構成することができる。そのため、変形例２のBuffer１８ａは、第１の実施形態のBuffer１８よりも容量を小さくすることができる。

すなわち、第１の実施形態のBuffer１８は、１００ラインあるいは１００ライン以上のラインバッファとして構成されていたが、変形例２のBuffer１８ａは、数ラインのラインバッファとして構成することができる。そのため、変形例２のBuffer１８ａは、第１の実施形態のBuffer１８に比べて、容量を小さくすることができる。

この結果、変形例２の画像処理装置１Ｂは、第１の実施形態の画像処理装置１よりも回路規模を小さくすることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。

図７は、第２の実施形態に係る画像処理装置の詳細な構成を示すブロック図である。なお、図７において、図２及び図６と同様の構成については、同一の符号を付して説明を省略する。

図７に示すように、画像処理装置１Ｃは、図２の画像処理装置１からBIST回路２２が削除されるとともに、テスト回路としてのTEST Gen４１、バス４２、及び、TEST Checker４３が追加されて構成されている。また、画像処理装置１Ｃは、図２のBuffer１８に代わり、Buffer１８ａを用いて構成されている。Buffer１８ａは、上述した第１の実施形態の変形例２と同様に、数ライン分のみの画像データを保持するラインバッファである。

テストパターン生成回路を構成するTEST Gen４１は、ISP１９をテストするためのテストパターンを生成し、生成したテストパターンをバス４２を介してISP１９に入力する。TEST Gen４１は、Buffer１８ａから画像データがISP１９に入力されていない期間にテストパターンをISP１９に入力する。TEST Checker４３は、ISP１９から出力されたデータを期待値と比較し、ISP１９に故障がないかを診断する。その他の構成は、第１の実施形態と同様である。

図８は、第２の実施形態のISPに入力される画像データ及びテストパターンの一例を示すタイミングチャートである。

VC１４ａ〜１４ｄから画像データが入力されていない期間にTEST Gen４１からテストパターンをISP１９に入力する。TEST Checker４３は、ISP１９から出力されたデータを期待値と比較し、ISP１９に故障がないかを診断する。

本実施形態では、VC１４ａ〜１４ｄからの画像データの位相を合わせてVブランク期間を確保する必要がないため、Buffer１８ａの容量は上述した第１の実施形態の変形例２と同様に、小さい容量でよい。

以上のように、本実施形態の画像処理装置１Ｃは、第１の実施形態と同様に、複数のVCを有する構成であっても常時診断を実施することができる。

さらに、本実施形態の画像処理装置１Ｃは、VC１４ａ〜１４ｄからの画像データの位相を合わせて必要がないため、Buffer１８ａの容量を第１の実施形態のBuffer１８の容量よりも小さくすることができる。この結果、本実施形態の画像処理装置１Ｃは、第１の実施形態の画像処理装置１よりも回路規模を小さくすることができる。

なお、第２の実施形態においても、カメラの個数は４個に限定されるものではなく、例えば、カメラの個数は、１個、２個、３個、あるいは、５個以上であってもよい。

発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１Ａ，１Ｂ，１Ｃ…画像処理装置、１１，１１ａ〜１１ｄ…MIPI I/F、１２，１２ａ〜１２ｄ…CRC ENC、１３，１３ａ〜１３ｄ…MIPI CTRL、１４ａ〜１４ｄ…VC、１５ａ〜１５ｄ…Data Type Select、１６ａ〜１６ｄ…unpack、１７…CRC CHK、１８…Buffer、１９…ISP、２０…CRC CHK、２１…DMAC、２２…BIST回路、２３…制御回路、３１…バス、３２…画像処理部、３３…RAM、４１…TEST Gen、４２…バス、４３…TEST Checker。

Claims

撮像された複数の画像データのそれぞれが割り当てられ、割り当てられた画像データを転送する複数の転送部と、
前記複数の転送部によって転送された前記複数の画像データを保持するデータ保持部と、
前記データ保持部に保持された前記複数の画像データを画像処理する画像処理プロセッサと、
前記データ保持部から前記画像処理プロセッサに対して画像データが入力されていない期間に前記画像処理プロセッサのテストを実施するテスト回路と、
を有することを特徴とする画像処理装置。
前記データ保持部に保持された前記複数の画像データの位相を合わせて出力するように制御する制御回路を更に有し、
前記テスト回路は、位相が合わされた前記複数の画像データの垂直ブランキング期間に前記画像処理プロセッサの自己診断テストを実施するBIST回路であることを特徴とする請求項１に記載の画像処理装置。
前記テスト回路は、前記画像処理プロセッサをテストするためのテストパターンを生成し、前記画像データが入力されていない期間に、前記テストパターンを前記画像処理プロセッサに入力するテストパターン生成回路であることを特徴とする請求項１に記載の画像処理装置。
前記複数の画像データに誤り訂正符号を付加する符号部と、前記複数の画像データに付加された前記誤り訂正符号を復号する復号部と、を更に有することを特徴とする請求項１から請求項３のいずれか１つに記載の画像処理装置。
前記誤り訂正符号は、データの転送の際に生じる誤りを検出するためのCRC符号、又は、データの転送の際に生じる誤りを検出し、検出した誤りを訂正することができるECC符号であることを特徴とする請求項４に記載の画像処理装置。
前記符号部は、前記複数の画像データのライン毎に前記CRC符号を付加する、又は、数画素単位毎に前記ECC符号を付加することを特徴とする請求項５に記載の画像処理装置。
前記画像処理プロセッサは、前記複数の画像データに対して画像処理を施し、RAWデータをRGBデータに変換することを特徴とする請求項１から請求項６のいずれか１つに記載の画像処理装置。
前記複数の画像データは、複数のカメラにより撮像されたデータであることを特徴とする請求項１から請求項７のいずれか１つに記載の画像処理装置。
前記複数の画像データは、１つのカメラにより撮像された１つの画像について輝度を変更することで、複数の画像データとすることを特徴とする請求項１から請求項７のいずれか１つに記載の画像処理装置。