JP2018045560A - 半導体装置 - Google Patents
半導体装置 Download PDFInfo
- Publication number
- JP2018045560A JP2018045560A JP2016181441A JP2016181441A JP2018045560A JP 2018045560 A JP2018045560 A JP 2018045560A JP 2016181441 A JP2016181441 A JP 2016181441A JP 2016181441 A JP2016181441 A JP 2016181441A JP 2018045560 A JP2018045560 A JP 2018045560A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- processing circuit
- data
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
第1実施形態の画像処理装置を含む半導体装置について説明する。
図1は、第1実施形態の画像処理装置を含む半導体装置の構成を示すブロック図である。図示するように、半導体装置10は、画像処理装置11、メモリ12、及びCPU(central processing unit)(または、制御回路)13を備えている。また、半導体装置10の外部に、画像処理装置11に画像データを供給する撮像装置、例えばカメラ14が配置されている。
前述したように、画像処理回路111は、画像処理の機能が回路素子等のハードウェアによって実現されている。画像処理回路111は、カメラ14から受け取った画像データに対してハードウェア処理を行い、ハードウェア処理後の画像データ(第1処理データ)をメモリ12及び比較部113に出力する。画像処理としては、例えば以下のような処理がある。デモザイク、ガンマ補正、色空間変換、スケーリング、ホワイトバランス調整、HDR(High Dynamic Range)圧縮・伸長、ブライトネス・コントラスト調整、及びエッジ強調などである。
図3は、第1実施形態におけるソフトウェア画像処理部112の構成を示すブロック図である。ソフトウェア画像処理部112は、CPU301、ROM302、RAM303、及びRAM304、及びこれらを接続するバス305を有する。
Cb=−0.148R−0.291G+0.439B+128
Cr=0.439R−0.368G−0.071B+128
この時、マトリックス変換処理の各パラメータは以下のようになる。
K00=0.257,K01=0.504,K02=0.098,
K10=−0.148,K11=−0.291,K12=0.439,K20=0.439,K21=−0.368,K22=−0.071
O_OFFSET0=16,O_OFFSET1=128,O_OFFSET2=128
各出力OUT0、OUT1、OUT2は以下の式で表せる。
OUT1=K10×(IN0+I_OFFSET0)+K11*(IN1+I_OFFSET1)+K12*(IN2+I_OFFSET2)+O_OFFSET1
OUT2=K20×(IN0+I_OFFSET0)+K21*(IN1+I_OFFSET1)+K22*(IN2+I_OFFSET2)+O_OFFSET2
画像処理回路111では、図5に示すマトリックス変換処理が回路素子にて構成された、例えば画像処理回路(C)にて実行される。一方、ソフトウェア画像処理部112では、図5に示すマトリックス変換処理がCPU301により演算にて実行される。
第1実施形態の画像処理装置11を含む半導体装置10の動作について説明する。
第1実施形態の画像処理装置を含む半導体装置によれば、画像データを処理する画像処理回路の故障を検出でき、回路規模、消費電力及び故障率を低減することができる。
第2実施形態の画像処理装置を含む半導体装置について説明する。第2実施形態では、1フレーム(画像データ)のうちの一部のデータを比較し、画像処理回路111が故障しているか否かを判定する。画像処理装置11の構成は第1実施形態と同様である。以下、第2実施形態では第1実施形態と異なる点について主に説明する。
図8は、第2実施形態の画像処理装置の動作を示すタイミングチャートである。
第2実施形態では、カメラ14から出力され、メモリ114に保持されたフレームN(画像データ)のうちの一部のデータをソフトウェア画像処理部112により画像処理する。比較部113は、ソフトウェア画像処理部112により画像処理した前記一部のデータと、画像処理回路111にて画像処理したフレームNの一部のデータとを比較する。比較部113で比較される2つの一部のデータは、フレームNのうちの互いに対応する部分のデータである。CPU13は、比較部113による比較結果に応じて画像処理回路111が故障しているか否かを判定する。
第3実施形態の画像処理装置を含む半導体装置について説明する。第3実施形態では、画像処理回路が備える画像処理を行う複数の回路からいくつかの回路を選択し、選択した回路が故障しているか否かを判定する。以下、第3実施形態では第1実施形態と異なる点について主に説明する。
図9は、第3実施形態の画像処理装置を含む半導体装置の構成を示すブロック図である。図示するように、半導体装置20は、画像処理装置21、メモリ12、及びCPU13を備えている。また、半導体装置20の外部に、画像処理装置21に画像データを供給するカメラ14が配置されている。
前述したように、画像処理回路211は、カメラ14から受け取った画像データに対してハードウェア処理を行い、ハードウェア処理後の画像データのうちセレクタにより選択した画像データをメモリ214及び比較部213に出力する。なお、セレクタの選択によっては、画像処理前の画像データがメモリ214に出力される場合もある。画像処理としては、前述したように、例えば、デモザイク、ガンマ補正、色空間変換、スケーリング、ホワイトバランス調整、HDR圧縮・伸長、ブライトネス・コントラスト調整、及びエッジ強調などの処理がある。
第3実施形態におけるソフトウェア画像処理部212の構成は、図3に示した構成と同様である。
第3実施形態の画像処理装置21を含む半導体装置20の動作を説明する。図12は第3実施形態の半導体装置の動作を示すタイミングチャートである。画像処理回路211内の画像処理回路(A)201の故障を検出する場合を例として述べる。
第3実施形態では、画像処理回路211の全体に故障があるか否かではなく、画像処理回路211内の個々の画像処理回路(A)、(B)、(C)から故障検出対象の回路を選択して、故障の検出を行うことができる。画像処理回路211内で、故障検出対象の画像処理回路を選択することができるため、故障検出対象の画像処理回路だけを効率良く検査することができる。これにより、故障検出に要する時間を低減することができる。
第4実施形態の画像処理装置を含む半導体装置について説明する。第4実施形態では、1フレーム(画像データ)のうちの一部のデータを比較し、画像処理回路211が故障しているか否かを判定する。画像処理装置21の構成は第3実施形態と同様である。以下、第4実施形態では第3実施形態と異なる点について主に説明する。
図13は、第4実施形態の画像処理装置の動作を示すタイミングチャートである。画像処理回路211内の画像処理回路(A)201の故障を検出する場合を例として述べる。
第4実施形態では、メモリ214に保持されたフレームN(画像データ)のうちの一部のデータをソフトウェア画像処理部212により画像処理する。比較部213は、ソフトウェア画像処理部212により画像処理した前記一部のデータと、画像処理回路211にて画像処理したフレームNの一部のデータとを比較する。比較部213で比較される2つの一部のデータは、フレームNのうちの互いに対応する部分のデータである。CPU13は、比較部213による比較結果に応じて画像処理回路211が故障しているか否かを判定する。
前述した実施形態の半導体装置は、画像データを処理する画像処理装置を備えた様々な種類のカメラ搭載製品に搭載可能である。例えば、デジタルカメラ、デジタルビデオカメラ、スマートフォン用カメラ、車載カメラ、及び監視カメラなどに搭載される。
Claims (11)
- 回路素子によって実現された画像処理の機能を有し、画像データに対して前記画像処理を実行して第1画像データを出力する画像処理回路と、
プログラムに従った演算処理によって前記画像処理を実現し、前記画像データに対して前記画像処理を実行して第2画像データを出力するプロセッサと、
前記第1画像データと前記第2画像データとを比較し、前記第1画像データと前記第2画像データとが一致するか否かを示す検出信号を出力する比較部と、
を具備する半導体装置。 - 前記画像処理回路及び前記比較部を制御する制御回路をさらに具備し、
前記制御回路は、前記プロセッサが行う前記画像処理を実行する請求項1に記載の半導体装置。 - 前記制御回路は、前記比較部における前記第1画像データと前記第2画像データとの比較をプログラムに従って実行する請求項2に記載の半導体装置。
- 前記プログラムを保持した第1メモリと、
前記プログラムに従って演算処理された前記第2画像データを記憶する第2メモリと、
をさらに具備する請求項1乃至3のいずれかに記載の半導体装置。 - 前記画像処理回路は、画像処理の機能を持つ第1処理回路及び第2処理回路を有し、前記第1処理回路の出力は前記第2処理回路に供給され、
前記第1処理回路の入力部の第1ノードと、及び前記第1処理回路と前記第2処理回路間の第2ノードのいずれかのノードを選択し、選択したノードを前記プロセッサに接続する第1セレクタと、
前記第2ノードと、前記第2処理回路の出力部の第3ノードのいずれかのノードを選択し、選択したノードを前記比較部に接続する第2セレクタと、
をさらに具備する請求項1乃至4のいずれかに記載の半導体装置。 - 前記画像処理回路は、画像処理の機能を持つ第1処理回路及び第2処理回路を有し、前記第1処理回路から出力されたデータは前記第2処理回路に供給され、
前記第1処理回路に供給されるデータと、前記第1処理回路から出力されたデータのいずれかを選択し、選択したデータを前記プロセッサに供給する第1セレクタと、
前記第1処理回路から出力されたデータと、前記第2処理回路から出力されたデータのいずれかを選択し、選択したデータを前記比較部に供給する第2セレクタと、
をさらに具備し、
前記第1セレクタが前記第1処理回路に供給されるデータを前記プロセッサに供給したとき、前記第2セレクタは前記第1処理回路から出力されたデータまたは前記第2処理回路から出力されたデータのいずれかを前記比較部に供給し、
前記第1セレクタが前記第1処理回路から出力されたデータを前記プロセッサに供給したとき、前記第2セレクタは前記第2処理回路から出力されたデータを前記比較部に供給する請求項1乃至4のいずれかに記載の半導体装置。 - 前記プロセッサは、前記画像データの一部分に対して前記画像処理を実行して前記第2画像データの第1部分を出力し、
前記比較部は、前記プロセッサから出力された前記第2画像データの前記第1部分と、前記画像処理回路から出力された前記第1画像データの、前記第1部分に対応する第2部分とを比較する請求項1乃至6のいずれかに記載の半導体装置。 - 前記プロセッサは、前記前記第1処理回路に供給されるデータ、前記第1処理回路から出力されたデータのいずれかのデータの一部分に対して前記画像処理を実行して前記第2画像データの第1部分を出力し、
前記比較部は、前記プロセッサから出力された前記第2画像データの前記第1部分と、前記第1処理回路から出力されたデータまたは前記第2処理回路から出力されたデータのいずれかのデータの、前記第1部分に対応する第2部分とを比較する請求項6に記載の半導体装置。 - 前記第1画像データ及び前記第2画像データはフレームまたはフレーム内のラインのいずれかである請求項1乃至8のいずれかに記載の半導体装置。
- 前記第1部分及び前記第2部分はフレーム内のラインである請求項7または8に記載の半導体装置。
- 前記比較部は、前記第1画像データと前記第2画像データとを比較する機能を回路素子により実現する請求項1乃至10のいずれかに記載の半導体装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016181441A JP2018045560A (ja) | 2016-09-16 | 2016-09-16 | 半導体装置 |
US15/447,120 US20180082138A1 (en) | 2016-09-16 | 2017-03-02 | Semiconductor device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016181441A JP2018045560A (ja) | 2016-09-16 | 2016-09-16 | 半導体装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018045560A true JP2018045560A (ja) | 2018-03-22 |
JP2018045560A5 JP2018045560A5 (ja) | 2018-11-01 |
Family
ID=61617990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016181441A Pending JP2018045560A (ja) | 2016-09-16 | 2016-09-16 | 半導体装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180082138A1 (ja) |
JP (1) | JP2018045560A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10848754B2 (en) | 2018-02-16 | 2020-11-24 | Kabushiki Kaisha Toshiba | Camera input interface and semiconductor device |
WO2020250702A1 (ja) * | 2019-06-13 | 2020-12-17 | 株式会社デンソー | 画像処理装置 |
JP7488085B2 (ja) | 2020-03-31 | 2024-05-21 | ラピスセミコンダクタ株式会社 | 画像歪補正回路及び表示装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009157477A (ja) * | 2007-12-25 | 2009-07-16 | Fuji Xerox Co Ltd | 不具合検出装置および画像形成装置 |
JP2011254381A (ja) * | 2010-06-03 | 2011-12-15 | Olympus Corp | 画像処理装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6219467B1 (en) * | 1997-07-15 | 2001-04-17 | Fuji Photo Film Co. Ltd. | Image processing device |
US20060171593A1 (en) * | 2005-02-01 | 2006-08-03 | Hitachi High-Technologies Corporation | Inspection apparatus for inspecting patterns of a substrate |
JP4218723B2 (ja) * | 2006-10-19 | 2009-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
JP4534172B2 (ja) * | 2008-04-03 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2016
- 2016-09-16 JP JP2016181441A patent/JP2018045560A/ja active Pending
-
2017
- 2017-03-02 US US15/447,120 patent/US20180082138A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009157477A (ja) * | 2007-12-25 | 2009-07-16 | Fuji Xerox Co Ltd | 不具合検出装置および画像形成装置 |
JP2011254381A (ja) * | 2010-06-03 | 2011-12-15 | Olympus Corp | 画像処理装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10848754B2 (en) | 2018-02-16 | 2020-11-24 | Kabushiki Kaisha Toshiba | Camera input interface and semiconductor device |
WO2020250702A1 (ja) * | 2019-06-13 | 2020-12-17 | 株式会社デンソー | 画像処理装置 |
JP2020201875A (ja) * | 2019-06-13 | 2020-12-17 | 株式会社デンソー | 画像処理装置 |
JP7392297B2 (ja) | 2019-06-13 | 2023-12-06 | 株式会社デンソー | 画像処理装置 |
JP7488085B2 (ja) | 2020-03-31 | 2024-05-21 | ラピスセミコンダクタ株式会社 | 画像歪補正回路及び表示装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180082138A1 (en) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018045560A (ja) | 半導体装置 | |
US20080111896A1 (en) | Automatic white balance system and automatic white balance control method | |
JP6156686B2 (ja) | 画像処理装置 | |
US20110279702A1 (en) | Method and System for Providing a Programmable and Flexible Image Sensor Pipeline for Multiple Input Patterns | |
JP2019049884A (ja) | 画像処理装置、および故障診断制御方法 | |
US10848754B2 (en) | Camera input interface and semiconductor device | |
JP5147219B2 (ja) | 映像自動調整システム | |
US8553974B2 (en) | Method and circuit for correcting signals and image correcting method and circuit using the same | |
US20160093066A1 (en) | Saturation compensation method | |
JP6060663B2 (ja) | 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法 | |
JP6063728B2 (ja) | 欠陥画素検出装置、欠陥画素検出方法及びプログラム | |
US20230266811A1 (en) | Information processing apparatus and information processing method | |
US20170078600A1 (en) | Image capturing apparatus and control method for the same | |
KR20110017274A (ko) | 이미지 보정 방법 | |
US10701328B2 (en) | Image processing device, image processing method, and image processing program | |
JP2010015438A (ja) | メモリコントローラ | |
TWI528818B (zh) | 圖像處理裝置以及缺陷像素之校正方法 | |
JP5468668B2 (ja) | メモリコントローラ | |
JP2005341020A (ja) | 画素欠陥検出装置および画素欠陥補正装置 | |
JP2019186818A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2009017301A (ja) | 信号処理装置 | |
JP2014099780A (ja) | 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法 | |
US10922781B1 (en) | System for processing images from multiple image sensors | |
JP2020156016A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20230393897A1 (en) | Signal processing device, signal processing method, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170911 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190924 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191126 |