JP2006113751A - 幾何変換回路 - Google Patents

幾何変換回路 Download PDF

Info

Publication number
JP2006113751A
JP2006113751A JP2004299308A JP2004299308A JP2006113751A JP 2006113751 A JP2006113751 A JP 2006113751A JP 2004299308 A JP2004299308 A JP 2004299308A JP 2004299308 A JP2004299308 A JP 2004299308A JP 2006113751 A JP2006113751 A JP 2006113751A
Authority
JP
Japan
Prior art keywords
image data
data
pixel
pixel data
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004299308A
Other languages
English (en)
Other versions
JP4490230B2 (ja
Inventor
Hideo Igai
英雄 猪飼
Sukeyuki Usami
祐之 宇佐美
Michihiko Ota
充彦 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2004299308A priority Critical patent/JP4490230B2/ja
Publication of JP2006113751A publication Critical patent/JP2006113751A/ja
Application granted granted Critical
Publication of JP4490230B2 publication Critical patent/JP4490230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像処理部の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させる。
【解決手段】撮像手段100から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部200に出力する幾何変換回路1に、画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段3と、画像データを幾何変換し、変換画像データを生成する幾何変換手段4と、各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段5と、変換画像データと、各変換画素データに対応するエラー判定結果と、を合わせて格納する第二格納手段6と、を具備した。
【選択図】図1

Description

本発明は、カメラ等の撮像手段により取得された画像データを幾何変換する幾何変換回路に関する。
従来、CPU(Central Processing Unit;中央処理装置)の処理能力が限られた条件下でリアルタイムの(高速の)画像処理を行う方法として、画像処理機能の一部をCPUと別体の回路に持たせ、カメラ等の撮像手段が取得した画像データを該回路に入力し、該回路にて所定の画像処理を行った後でCPUに出力することにより、CPUのデータ処理の負担を軽減する技術が知られている。このような「CPUと別体の回路」の代表的な例としては、撮像手段により取得された画像データを幾何変換するための幾何変換回路が挙げられる。例えば、特許文献1や特許文献2に記載の如くである。
特開平10−307925号公報 特開平10−283495号公報
幾何変換は幾何補正とも呼ばれ、一般的にはカメラ等の撮像手段により取得された画像データが内包する幾何学的な歪みを補正する画像処理を指す。
ここで、画像データが内包する幾何学的な歪みとしては、(1)撮像手段に起因する内部歪みと、(2)プラットフォーム(撮像手段を保持する部分)や撮像の対象物に起因する外部歪み、が含まれる。内部歪みの代表的な例としては、撮像手段たるカメラのレンズ周縁部にて撮像された画像の歪みが挙げられる。
近年、カメラ等の撮像手段により取得した路面の画像データに基づいて走行車線や路上の障害物を認識し、該認識結果に基づいて自動車の自動運転や運転支援を行う技術が検討されている。
このような自動車の自動運転や運転支援に係る画像処理においては、部品点数の削減等の観点から、従来から自動車に搭載されているECU(Electric Control Unit)の中央処理装置(CPU)に画像処理機能を付加するという実施形態が一般的である。
しかし、当該画像処理をリアルタイムで行うためにはCPUに大きな処理能力が求められるにも関わらず、当該画像処理のために割くことができる処理能力が限られるという問題がある。
そこで、ECUに上記の如きCPUと別体の幾何変換回路を具備することが検討されている。
通常、CCDカメラやCMOSカメラは、固体撮像素子が取得したアナログ信号のノイズ成分の除去、利得制御、ニー補正、プリガンマ補正等の種々の処理を施すアナログ信号処理部と、該アナログ信号処理部により補正が施されたアナログ信号をデジタル信号に変換するアナログ/デジタル変換回路と、該変換されたデジタル信号にガンマ補正、白/黒レベルバランス処理、シェーディング補正、画素欠陥補正等の種々の処理を施すデジタル信号処理部と、を具備している。
従って、幾何変換回路が撮像手段たるCCDカメラやCMOSカメラから取得する画像データは、通常は、上記アナログ信号処理部、アナログ/デジタル変換回路、デジタル信号処理部により種々の処理が施された後の各画素に係るデジタル信号の集合体を指す。
上記デジタル信号処理部にて施される処理のうち、画素欠陥補正は、画素欠陥に対応する画素の画素データを補正する処理である。画素欠陥補正の具体例としては、画素欠陥に対応する画素に隣接する複数の画素に係る画素データに基づいて画素欠陥に対応する画素の画素データ(色の濃淡等)を決定する方法が挙げられる。
ここで、画素欠陥とは、CCDカメラやCMOSカメラの固体撮像素子に起因する画素単位の欠陥を指し、画素欠陥の例としては白欠陥、黒欠陥等が挙げられる。
このような画素欠陥補正は、画像データを表示画面に画像として表示した際の美観という観点からは必要不可欠なものであるが、当該補正後の画像データに基づいて自動車の自動運転や運転支援を行う場合には問題がある。
すなわち、「画素欠陥補正により補正された画素データ」は、厳密に言えば固体撮像素子により取得された「真の」画素データではないため、これに基づいて自動車の自動運転や運転支援に係る判断を行うことは場合によっては不適切と考えられる。
従って、自動車の自動運転や運転支援に係る判断を行う場合には、該画像データを構成する各画素データのうち、「画素欠陥補正により補正された画素データ」を除いた残りの画素データに基づいて判断することが、画像処理後のデータに基づく判断の信頼性の向上という観点から見て望ましい。
同様に、カメラ等の撮像手段と幾何変換回路との間の接続配線等に何らかのトラブル(ノイズ、配線不良等)が生じ、幾何変換回路が画素データの一部を適正に取得することができなかった場合にも、当該適正に画素データが取得できなかった部分を除いた残りの画素データに基づいて判断することが、画像処理後のデータに基づく判断の信頼性の向上という観点から見て望ましい。
しかし、従来の幾何変換回路から出力された画像データには、該画像データを構成する各画素データについて、「画素欠陥補正により補正された画素データであるか否か」あるいは、「適正に取得された画素データであるか否か」という情報は付加されておらず、そのままでは、画像処理部(CPU)にて「画素欠陥補正により補正された画素データ」および「適正に取得されなかった画素データ」を除いた残りの画素データに基づいて判断することが不可能である。
また、撮像手段から各画素データについて、画素欠陥補正により補正された画素データであるか否かという情報、および、撮像手段から適正に取得された画素データであるか否かという情報、を取得する方法も考えられるが、画像処理部(CPU)が取得する画像データは幾何変換回路により幾何変換された後の画像データであるため、幾何変換後の画像データを構成する各画素データと、画素欠陥補正により補正された画素データであるか否かという情報および撮像手段から適正に取得された画素データであるか否かという情報と、を対応させる処理を行う必要が新たに生じ、画像処理部(CPU)の処理の負担を軽減するという本来の目的に反する結果となる。
本発明は以上の如き状況に鑑み、幾何変換後の画像データを構成する各画素データを、(1)画素欠陥に係る画素データであるか否か、および、撮像手段から適正に取得された画素データであるか否か、を容易に識別可能な可能な状態、または、(2)画素欠陥に係る画素データおよび不適正に取得された画素データが含まれる画像データのラインまたは列を容易に識別可能な状態、で画像処理部に出力し、画像処理部の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることを可能とする幾何変換回路を提供するものである。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、請求項1においては、
撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
変換画像データと、各変換画素データに対応するエラー判定結果と、を合わせて格納する第二格納手段と、
を具備するものである。
請求項2においては、
撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
エラー判定手段によりエラーが有ると判定された変換画素データを含む変換画像データのラインまたは列のいずれか一方または両方を識別するためのエラー判定データを格納する第二格納手段と、
を具備するものである。
請求項3においては、画素欠陥の発生の有無、撮像手段から幾何変換回路への不適正な画像データの出力、スミアの発生の有無、のうち少なくとも一つが前記エラー情報に含まれるものである。
本発明の効果として、以下に示すような効果を奏する。
請求項1においては、画像処理部の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
請求項2においては、画像処理部の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
請求項3においては、画像処理部の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
以下では、図1を用いて本発明の幾何変換回路の実施の一形態である幾何変換回路1を説明する。
幾何変換回路1は、撮像手段100から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部200に出力するものである。
撮像手段100は、画像データを幾何変換回路1に出力するものであり、本実施例ではCCDカメラからなる。該画像データを構成する複数の画素データは、それぞれ8ビットのデジタル信号であり、当該画素の輝度値を示すものである。
ここで、「画像データ」は、撮像手段100が具備する複数の固体撮像素子により取得されたアナログ信号に種々の処理を施して生成したデジタル信号たる画素データの集合体である。
なお、撮像手段100が幾何変換手段1に出力する画像データを構成する複数の画素データは、8ビットのデジタル信号に限定されず、16ビットのデジタル信号や他のデジタル信号でも良い。
撮像手段100は、幾何変換回路1に複数の画素データからなる画像データに加えて、該画像データを構成する各画素データに対応するエラー情報も出力する。
ここで、「エラー情報」とは、各画素データの信頼性(画像処理部200が行う判断に供することの妥当性)に関する情報であり、本実施例の場合、(A)画素欠陥の発生の有無(各画素データが画素欠陥に係るものであるか否か)に関する情報、(B)適正に取得された画素データであるか否かに関する情報、(C)スミアの発生の有無(各画素データがスミアに係るものであるか否か)に関する情報、が含まれる。
ここで、「スミア」とは、CCDカメラにおいて、逆光等で高輝度のスポット光が入った場合に、画像の縦(列)方向に生じる白い帯状のノイズ(ゴースト)を指す。
以後、(A)および(B)に係る情報を合わせて「画素エラー情報」、(C)に係る情報を「スミアエラー情報」という。
撮像手段100は本実施例の如くCCDカメラに限定されるものではなく、画像を取得可能であれば他の実施形態でも良い。撮像手段100の他の実施形態の例としてはCMOSカメラやその他のカメラが挙げられる。
画像処理部200は、幾何変換回路1から変換画像データを取得し、該変換画像データに種々の画像処理を施し、場合によっては該画像処理が施された変換画像データに基づいて種々の判断を行うものである。画像処理部200の実施形態の例としてはCPUが挙げられる。本実施例の場合、画像処理部200は自動車のECUのCPUであり、幾何変換回路1から取得した変換画像データに基づいて路面の車線や障害物を認識し、その検出結果情報を車両制御ECUへ伝達する。
図2に示す如く、幾何変換回路1は、主に画素エラー検出手段2、第一格納手段3、幾何変換手段4、エラー判定手段5、第二格納手段6等で構成される。
画素エラー検出手段2は、撮像手段100から入力されるエラー情報のうち、画素エラー情報を取得し、該情報に基づいて画素エラー信号(当該画素に画素エラーが発生していることを示す信号)を出力するものである。
なお、撮像手段100から画素エラー信号を直接出力可能な場合には、画素エラー検出手段2を省略することも可能である。
第一格納手段3は、撮像手段100から入力された画像データを構成する複数の画素データと、各画素データに対応するエラー情報(画素エラー検出手段2から取得される画素エラー信号および撮像手段100から取得されるスミア信号(スミアが発生していることを示す信号))と、を合わせて格納するものである。
ここで「合わせて格納する」とは、画素データと、各画素データに対応するエラー情報との1対1の対応関係を保持しつつ、一時的に記憶することを意味する。
本実施例における第一格納手段3に格納される画素データとエラー情報の実施形態は、図2に示す如く、8ビットの画素データと、2ビットのエラー情報とを順に配列したものである。2ビットのエラー情報の内訳は、画素エラー情報で1ビット、スミアエラー情報で1ビットである。
第一格納手段3に格納された画素データおよび各画素データに対応するエラー情報は、後述の幾何変換手段4に出力された後、順次消去される。従って、第一格納手段3の記憶容量を極端に大きくせずとも良く、製造コストを抑えることが可能である。
本実施例は、第一格納手段3としてFIFOメモリを用いている。これは、FIFOメモリに入力される順序をアドレス(画素データの画像データ上の位置)と対応させることにより、第一格納手段3の記憶容量を必要最小限に抑えることが可能であるためである。
なお、FIFOメモリよりも相対的に記憶容量を要するが、第一格納手段3として、DRAMやFRAM等のメモリやその他の記憶媒体等を用いることも可能である。
幾何変換手段4は第一格納手段3から取得した画像データを幾何変換し、変換画像データを生成するものである。
より具体的には、幾何変換手段4は第一格納手段3から取得した画像データを構成する複数の画素データを幾何変換し、変換画像データを構成する複数の変換画素データを生成する。
ここで、「幾何変換」とは、幾何補正とも呼ばれ、一般的にはカメラ等の撮像手段により取得された画像データが内包する幾何学的な歪みを補正する画像処理を指す。
幾何変換(補正)は、より具体的には、(a)幾何補正関数の未知係数の決定、(b)画素の再配列、という過程を経て行われる。
幾何補正関数の具体例としては高次多項式変換に代表される非系統的補正等が挙げられるが、幾何変換回路1の用途に応じて適宜選択することが望ましい。
また、画素の再配列方法としては、最近隣(Nearest Neighbor)法、共一次(Bi−Linear)法、三次畳み込み(Cubic Convolution)法、等が挙げられる。
最近隣法は、近傍の4点の格子点のうち、最もEuclid距離が短い(最も近い)格子点の画素の輝度値(画素データ)で置き換える方法である。
共一次法は、近傍の4点の格子点の画素の輝度値から比例計算により非格子点画素の輝度値を推定する方法である。
三次畳み込み法は近傍の16点の格子点の画素の輝度値から、畳み込みにより非格子点画素の輝度値を推定する方法である。
本実施例は共一次法により幾何変換後の画素データたる変換画素データを生成しているが、幾何変換回路1の用途に応じて画素の再配列方法を適宜選択することが望ましい。
エラー判定手段5は、第一格納手段3から取得した各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するものである。
ここで、「変換画素データのエラー」は、幾何変換後の各画素について、当該画素に対応する変換画素データを画像処理部200が行う判断に供することの妥当性を示すものであり、ちょうど、幾何変換前の各画素の画素データに対応するエラー情報に相当するものである。
本実施例における幾何変換後の各画素の輝度値たる変換画素データは、前述の如く共一次法により再配列されて生成されるため、当該変換画素データの変換画素データのエラーの有無についても近傍の4点の格子点に対応する幾何変換前の画素データに対応するエラー情報に基づいて判定される。
すなわち、本実施例のエラー判定手段5は、近傍の4点の格子点に対応する幾何変換前の画素データに対応するエラー情報のうち、画素欠陥の発生が2点以上で起こっている場合には、当該画素に対応する変換画素データのエラーが有ると判定する。
また、エラー判定手段5は、近傍の4点の格子点に対応する幾何変換前の画素データに対応するエラー情報のうち、スミアの発生が2点以上で起こっている場合には、当該画素に対応する変換画素データのエラーが有ると判定する。
さらに、エラー判定手段5は、近傍の4点の格子点に対応する幾何変換前の画素データに対応するエラー情報のうち、画素欠陥の発生が1点で起こっている場合でも、スミアの発生が1点で起こっていれば、当該画素に対応する変換画素データのエラーが有ると判定する。
第二格納手段6は、エラー判定手段5から取得した変換画像データと、該変換画像データを構成する各変換画素データに対応する判定結果と、を合わせて格納するものである。
ここで、「各変換画素データに対応する判定結果」とは、エラー判定手段5により判定された各変換画素データのエラーの有無に関する情報を指す。
また、「合わせて格納する」とは、変換画素データと、各変換画素データに対応する判定結果との1対1の対応関係を保持しつつ、一時的に記憶することを意味する。
第二格納手段6に格納された変換画素データおよび各変換画素データに対応する判定結果は、画像処理部200に出力された後、順次消去される。従って、第一格納手段3の記憶容量を極端に大きくせずとも良く、製造コストを抑えることが可能である。
本実施例では、第二格納手段6から画像処理部200に変換画像データおよびエラー判定結果またはエラー判定データを出力するメインの配線の他に、予備の配線(図1中の点線で示す)が設けられている。該予備の配線は、変換画像データにエラーが有る場合に、第二格納手段6が変換画像データおよびエラー判定結果またはエラー判定データを格納した時点で第二格納手段6から画像処理部200に信号を出力する。
このように構成することにより、画像処理部200は、第二格納手段6から出力されて来る変換画像データについて、予めエラーの有無を認識することが可能である。
なお、本実施例では、第二変換手段6が変換画像データをエラー判定手段5から取得する構成としたが、第二変換手段6が変換画像データを幾何変換手段4から取得する構成としても良い。
また、本実施例では幾何変換手段4、エラー判定手段5および第二格納手段6と略同様の機能を同一の半導体チップ(例えば、小型のCPU)上に形成する構成としたが、別体の半導体チップ上に形成しても良い。
以上の如く、本発明の幾何変換回路の実施の一形態である幾何変換回路1は、
撮像手段100から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路であって、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段3と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段4と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段5と、
変換画像データと、各変換画素データに対応する判定結果と、を合わせて格納する第二格納手段6と、
を具備するものである。
このように構成することにより、幾何変換後の画像データたる変換画像データと、該変換画像データを構成する各変換画素データに対応する判定結果(画像処理部200が行う判断に供することの妥当性)に係る情報と、を合わせた状態で画像処理部に出力することが可能であり、画像処理部200の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
また、画像処理部200は変換画像データと各変換画素データに対応する判定結果とを合わせたものを幾何変換回路1から直接取得するため、リアルタイム性が確保される。
以下では、本発明に係る幾何変換回路の別実施例たる幾何変換回路21について説明する。
図11に示す如く、幾何変換回路21は、主に画素エラー検出手段22、第一格納手段23、幾何変換手段24、エラー判定手段25、第二格納手段26等で構成される。
このうち、画素エラー検出手段22、第一格納手段23、幾何変換手段24、エラー判定手段25については、前述の幾何変換回路1における画素エラー検出手段2、第一格納手段3、幾何変換手段4、エラー判定手段5と略同じ構成である。
幾何変換回路21が幾何変換回路1と異なる点は、第二格納手段26の構成である。すなわち、第二格納手段26は、エラー判定手段25によりエラーが有ると判定された変換画素データを含む変換画像データの行または列のいずれか一方または両方を識別するためのエラー判定データを格納するものである。
図3に示す如く、本実施例のエラー判定データは、行エラー判定データ31と、列エラー判定データ32の二つからなる。
行エラー判定データ31は、変換画像データに基づいて生成された画像において、エラー判定手段25によりエラーが有ると判定された変換画素データを含む行を識別するものである。図4に示す如く、行エラー判定データ31は、変換画像データに基づいて生成された画像の一行を構成する画素数と同数のビット数(本実施例の場合、640ビット)からなるデジタル情報として、変換画像データとともに画像処理部200に出力される。
列エラー判定データ32は、変換画像データに基づいて生成された画像において、エラー判定手段25によりエラーが有ると判定された変換画素データを含む列を識別するものである。図4に示す如く、列エラー判定データ32は、変換画像データに基づいて生成された画像の一列を構成する画素数と同数のビット数(本実施例の場合、240ビット)からなるデジタル情報として、変換画像データとともに画像処理部200に出力される。
このように構成することは、以下の如き利点を有する。
すなわち、変換画素データに基づいて生成された画像における画素エラー(画素欠陥または不適正な画素データの取得)の発生箇所は、変換画像データに基づいて生成された画像の行に沿って帯状に発生し易い傾向がある。
そして、ある画素に係る変換画素データに画素エラーが発生している旨の画素エラー情報が付加されている場合には、幾何変換回路1における画像処理部200は、当該画素と同じ行に含まれる画素の変換画素データを全て除外した上で画像処理を行い、該画像処理後の画像データに基づいて自動運転や運転支援に係る判断を行う。
従って、幾何変換回路21(より厳密には、第二格納手段26)から画像処理部200に出力される変換画像データに、当該変換画像データに基づいて生成される画像の行のいずれかの画素に画素エラーが発生していることを示す情報、すなわち行エラー判定データ31を付加することにより、画像処理部200は該行エラー判定データ31に基づいて、画素エラーが発生している旨の画素エラー情報が付加されている画素と同じ行に含まれる画素の変換画素データを全て除外するという画像処理を容易に行うことが可能である。
しかも、各変換画素データにエラー判定結果を付加する場合よりも、幾何変換回路21(より厳密には、第二格納手段26)から画像処理部200に出力されるデータの容量を更に小さくすることができ、画像処理部200の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
同様に、変換画素データに基づいて生成された画像におけるスミアの発生箇所は、変換画像データに基づいて生成された画像の列に沿って帯状に発生する傾向がある。
そして、ある画素に係る変換画素データにスミアが発生している旨のスミアエラー情報が付加されている場合には、幾何変換回路1における画像処理部200は、当該画素と同じ列に含まれる画素の変換画素データを全て除外した上で画像処理を行い、該画像処理後の画像データに基づいて自動運転や運転支援に係る情報を車両制御ECUへ伝達する。
従って、幾何変換回路21(より厳密には、第二格納手段26)から画像処理部200に出力される変換画像データに、当該変換画像データに基づいて生成される画像の列のいずれかの画素にスミアエラーが発生していることを示す情報、すなわち列エラー判定データ32を付加することにより、画像処理部200は該列エラー判定データ32に基づいて、スミアが発生している旨のスミアエラー情報が付加されている画素と同じ列に含まれる画素の変換画素データを全て除外するという画像処理を容易に行うことが可能である。
しかも、各変換画素データにエラー判定結果を付加する場合よりも、幾何変換回路21(より厳密には、第二格納手段26)から画像処理部200に出力されるデータの容量を更に小さくすることができ、画像処理部200の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
また、画像処理部200は変換画像データとエラー判定データとを合わせたものを幾何変換回路21から直接取得するため、リアルタイム性が確保される。
本発明の幾何変換回路の実施の一形態を示す図。 第一格納手段に格納される画素データとエラー情報の配列を示す図。 画像エリアとエラー判定データとの関係を示す図。 画像処理部に出力される変換画像データおよびエラー判定データの配列例を示す図。
符号の説明
1 幾何変換回路
3 第一格納手段
4 幾何変換手段
5 エラー判定手段
6 第二格納手段

Claims (3)

  1. 撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
    画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
    画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
    各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
    変換画像データと、各変換画素データに対応するエラー判定結果と、を合わせて格納する第二格納手段と、
    を具備することを特徴とする幾何変換回路。
  2. 撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
    画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
    画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
    各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
    エラー判定手段によりエラーが有ると判定された変換画素データを含む変換画像データのラインまたは列のいずれか一方または両方を識別するためのエラー判定データを格納する第二格納手段と、
    を具備することを特徴とする幾何変換回路。
  3. 画素欠陥の発生の有無、撮像手段から幾何変換回路への不適正な画像データの出力、スミアの発生の有無、のうち少なくとも一つが前記エラー情報に含まれることを特徴とする請求項1または請求項2に記載の幾何変換回路。
JP2004299308A 2004-10-13 2004-10-13 幾何変換回路 Active JP4490230B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004299308A JP4490230B2 (ja) 2004-10-13 2004-10-13 幾何変換回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004299308A JP4490230B2 (ja) 2004-10-13 2004-10-13 幾何変換回路

Publications (2)

Publication Number Publication Date
JP2006113751A true JP2006113751A (ja) 2006-04-27
JP4490230B2 JP4490230B2 (ja) 2010-06-23

Family

ID=36382232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004299308A Active JP4490230B2 (ja) 2004-10-13 2004-10-13 幾何変換回路

Country Status (1)

Country Link
JP (1) JP4490230B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020074502A (ja) * 2018-08-24 2020-05-14 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC カメラを用いた画像データ取得のための自動運転車両の画像データ取得ロジック

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS635666A (ja) * 1986-06-26 1988-01-11 Fuji Photo Film Co Ltd 固体撮像装置の欠陥補正装置
JPH03205978A (ja) * 1990-01-08 1991-09-09 Hitachi Ltd 固体撮像素子
JPH0918790A (ja) * 1995-06-29 1997-01-17 Sharp Corp カメラ装置
JPH09247540A (ja) * 1996-03-01 1997-09-19 Olympus Optical Co Ltd 画素欠陥補正装置
JPH10283495A (ja) * 1997-04-04 1998-10-23 Sega Enterp Ltd 画像処理装置
JPH10307925A (ja) * 1997-05-07 1998-11-17 Sega Enterp Ltd 画像処理装置及び画像処理方法
JP2000287134A (ja) * 1999-03-30 2000-10-13 Fuji Film Microdevices Co Ltd 画像処理装置及び処理方法
JP2001186417A (ja) * 1999-12-22 2001-07-06 Mitsubishi Electric Corp 欠陥画素検出装置
JP2002016842A (ja) * 2000-06-30 2002-01-18 Mitsubishi Electric Corp 欠陥画素検出装置及び欠陥画素検出プログラムが記録された記録媒体
JP2002526993A (ja) * 1998-09-30 2002-08-20 インフィネオン テクノロジース アクチエンゲゼルシャフト イメージセンサの欠陥画素の補正のための方法及び装置
JP2003259221A (ja) * 2002-03-04 2003-09-12 Olympus Optical Co Ltd 欠陥画素検出補正回路
JP2003319232A (ja) * 2002-04-09 2003-11-07 Neucore Technol Inc 電子撮像装置およびレンズシステム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS635666A (ja) * 1986-06-26 1988-01-11 Fuji Photo Film Co Ltd 固体撮像装置の欠陥補正装置
JPH03205978A (ja) * 1990-01-08 1991-09-09 Hitachi Ltd 固体撮像素子
JPH0918790A (ja) * 1995-06-29 1997-01-17 Sharp Corp カメラ装置
JPH09247540A (ja) * 1996-03-01 1997-09-19 Olympus Optical Co Ltd 画素欠陥補正装置
JPH10283495A (ja) * 1997-04-04 1998-10-23 Sega Enterp Ltd 画像処理装置
JPH10307925A (ja) * 1997-05-07 1998-11-17 Sega Enterp Ltd 画像処理装置及び画像処理方法
JP2002526993A (ja) * 1998-09-30 2002-08-20 インフィネオン テクノロジース アクチエンゲゼルシャフト イメージセンサの欠陥画素の補正のための方法及び装置
JP2000287134A (ja) * 1999-03-30 2000-10-13 Fuji Film Microdevices Co Ltd 画像処理装置及び処理方法
JP2001186417A (ja) * 1999-12-22 2001-07-06 Mitsubishi Electric Corp 欠陥画素検出装置
JP2002016842A (ja) * 2000-06-30 2002-01-18 Mitsubishi Electric Corp 欠陥画素検出装置及び欠陥画素検出プログラムが記録された記録媒体
JP2003259221A (ja) * 2002-03-04 2003-09-12 Olympus Optical Co Ltd 欠陥画素検出補正回路
JP2003319232A (ja) * 2002-04-09 2003-11-07 Neucore Technol Inc 電子撮像装置およびレンズシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020074502A (ja) * 2018-08-24 2020-05-14 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニーBaidu USA LLC カメラを用いた画像データ取得のための自動運転車両の画像データ取得ロジック
JP6998342B2 (ja) 2018-08-24 2022-01-18 バイドゥ・ユーエスエイ・リミテッド・ライアビリティ・カンパニー カメラを用いた画像データ取得のための自動運転車両の画像データ取得ロジック

Also Published As

Publication number Publication date
JP4490230B2 (ja) 2010-06-23

Similar Documents

Publication Publication Date Title
US8253828B2 (en) Image capture device including edge direction determination unit, and image processing method for the same
US7777791B2 (en) Defective pixel correction device
TWI462577B (zh) 影像處理裝置及車載相機裝置
JP5060535B2 (ja) 画像処理装置
JP5867806B2 (ja) 撮像装置及びこれを用いた物体識別装置
JP2009177703A (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP2007201530A (ja) 画素欠陥補正装置
US9092845B2 (en) Image processing device with defect correcting circuit and image processing method
JPWO2007023817A1 (ja) 画像処理システムおよび画像処理プログラム
US20080273102A1 (en) Detection device for defective pixel in photographic device
JP2019106576A (ja) 撮像装置及び撮像システム
EP2103979B1 (en) Method for correcting chromatic aberration
JP2010021858A (ja) 画素欠陥補正装置
JP2020108061A (ja) 撮像装置及び撮像システム
US11159754B2 (en) Imaging device and signal processing device
JP4490230B2 (ja) 幾何変換回路
JP2010068329A (ja) 撮像装置
JP3696069B2 (ja) 固体撮像素子の欠陥画素検出方法および装置
CN114902659B (zh) 图像处理装置和图像处理方法
JP2010010760A (ja) 撮像装置および方法
JP3805421B2 (ja) 画素欠陥補正装置
JP4807075B2 (ja) 撮像装置およびその欠陥画素補正方法
JP2009290653A (ja) 欠陥画素補正装置、撮像装置、欠陥画素補正方法、およびプログラム
JP2005175909A (ja) 信号処理方法および画像取得装置
US20220408036A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, transport apparatus, and signal processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100401

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250