JP2006113751A

JP2006113751A - Geometric conversion circuit

Info

Publication number: JP2006113751A
Application number: JP2004299308A
Authority: JP
Inventors: Hideo Igai; 英雄猪飼; Sukeyuki Usami; 祐之宇佐美; Michihiko Ota; 充彦太田
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2004-10-13
Filing date: 2004-10-13
Publication date: 2006-04-27
Anticipated expiration: 2024-10-13
Also published as: JP4490230B2

Abstract

<P>PROBLEM TO BE SOLVED: To improve reliability for determination, based on data after performing an image processing, while relieving burden on an image processing part. <P>SOLUTION: A geometric conversion circuit 1 geometrically converts image data input from an imaging means 100 and outputs the geometrically converted image data to the image processing part 200. The circuit 1 comprises a first storage means 3 for collectively storing multiple kinds of pixel data constituting the image data together with error information corresponding to each pixel data; a geometric conversion means 4 for geometrically converting the image data and generating conversion image data; an error determining means 5 for determining existence of an error in each piece of conversion pixel data, based on error information of each piece of image data corresponding to each piece of conversion image data; and a second storage means 6 for collectively storing the conversion image data together with an error determination result corresponding to each piece of conversion pixel data. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、カメラ等の撮像手段により取得された画像データを幾何変換する幾何変換回路に関する。 The present invention relates to a geometric transformation circuit that geometrically transforms image data acquired by an imaging unit such as a camera.

従来、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ；中央処理装置）の処理能力が限られた条件下でリアルタイムの（高速の）画像処理を行う方法として、画像処理機能の一部をＣＰＵと別体の回路に持たせ、カメラ等の撮像手段が取得した画像データを該回路に入力し、該回路にて所定の画像処理を行った後でＣＰＵに出力することにより、ＣＰＵのデータ処理の負担を軽減する技術が知られている。このような「ＣＰＵと別体の回路」の代表的な例としては、撮像手段により取得された画像データを幾何変換するための幾何変換回路が挙げられる。例えば、特許文献１や特許文献２に記載の如くである。
特開平１０−３０７９２５号公報特開平１０−２８３４９５号公報 Conventionally, as a method of performing real-time (high-speed) image processing under a condition where the processing capability of a CPU (Central Processing Unit) is limited, a part of the image processing function is provided in a circuit separate from the CPU. A technique for reducing the burden of CPU data processing by inputting image data acquired by an imaging unit such as a camera into the circuit, performing predetermined image processing in the circuit, and outputting the image data to the CPU. Are known. A typical example of such a “circuit separate from the CPU” is a geometric conversion circuit for performing geometric conversion on image data acquired by the imaging means. For example, it is as described in Patent Document 1 and Patent Document 2.
Japanese Patent Laid-Open No. 10-307925 JP-A-10-283495

幾何変換は幾何補正とも呼ばれ、一般的にはカメラ等の撮像手段により取得された画像データが内包する幾何学的な歪みを補正する画像処理を指す。
ここで、画像データが内包する幾何学的な歪みとしては、（１）撮像手段に起因する内部歪みと、（２）プラットフォーム（撮像手段を保持する部分）や撮像の対象物に起因する外部歪み、が含まれる。内部歪みの代表的な例としては、撮像手段たるカメラのレンズ周縁部にて撮像された画像の歪みが挙げられる。 Geometric transformation is also called geometric correction, and generally refers to image processing for correcting geometric distortion included in image data acquired by an imaging means such as a camera.
Here, the geometric distortion included in the image data includes (1) internal distortion caused by the imaging means, and (2) external distortion caused by the platform (portion holding the imaging means) and the object to be imaged. , Is included. As a typical example of the internal distortion, there is distortion of an image picked up at the lens periphery of a camera as an image pickup means.

近年、カメラ等の撮像手段により取得した路面の画像データに基づいて走行車線や路上の障害物を認識し、該認識結果に基づいて自動車の自動運転や運転支援を行う技術が検討されている。
このような自動車の自動運転や運転支援に係る画像処理においては、部品点数の削減等の観点から、従来から自動車に搭載されているＥＣＵ（ＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＵｎｉｔ）の中央処理装置（ＣＰＵ）に画像処理機能を付加するという実施形態が一般的である。
しかし、当該画像処理をリアルタイムで行うためにはＣＰＵに大きな処理能力が求められるにも関わらず、当該画像処理のために割くことができる処理能力が限られるという問題がある。
そこで、ＥＣＵに上記の如きＣＰＵと別体の幾何変換回路を具備することが検討されている。 In recent years, a technique for recognizing a traveling lane or an obstacle on the road based on road surface image data acquired by an imaging unit such as a camera, and performing automatic driving or driving assistance based on the recognition result has been studied.
In such image processing related to automatic driving and driving assistance of an automobile, image processing is performed by a central processing unit (CPU) of an ECU (Electric Control Unit) conventionally mounted on the automobile from the viewpoint of reducing the number of parts. An embodiment in which a function is added is common.
However, in order to perform the image processing in real time, there is a problem that the processing capability that can be allocated for the image processing is limited, although the CPU is required to have a large processing capability.
Therefore, it has been studied to provide the ECU with a geometric conversion circuit that is separate from the CPU as described above.

通常、ＣＣＤカメラやＣＭＯＳカメラは、固体撮像素子が取得したアナログ信号のノイズ成分の除去、利得制御、ニー補正、プリガンマ補正等の種々の処理を施すアナログ信号処理部と、該アナログ信号処理部により補正が施されたアナログ信号をデジタル信号に変換するアナログ／デジタル変換回路と、該変換されたデジタル信号にガンマ補正、白／黒レベルバランス処理、シェーディング補正、画素欠陥補正等の種々の処理を施すデジタル信号処理部と、を具備している。
従って、幾何変換回路が撮像手段たるＣＣＤカメラやＣＭＯＳカメラから取得する画像データは、通常は、上記アナログ信号処理部、アナログ／デジタル変換回路、デジタル信号処理部により種々の処理が施された後の各画素に係るデジタル信号の集合体を指す。 In general, a CCD camera or a CMOS camera includes an analog signal processing unit that performs various processes such as noise component removal, gain control, knee correction, and pre-gamma correction of an analog signal acquired by a solid-state imaging device, and the analog signal processing unit. An analog / digital conversion circuit that converts the corrected analog signal into a digital signal, and performs various processes such as gamma correction, white / black level balance processing, shading correction, and pixel defect correction on the converted digital signal. And a digital signal processing unit.
Therefore, the image data acquired from the CCD camera or CMOS camera, which is the imaging means by the geometric conversion circuit, is usually subjected to various processing by the analog signal processing unit, analog / digital conversion circuit, and digital signal processing unit. A collection of digital signals related to each pixel.

上記デジタル信号処理部にて施される処理のうち、画素欠陥補正は、画素欠陥に対応する画素の画素データを補正する処理である。画素欠陥補正の具体例としては、画素欠陥に対応する画素に隣接する複数の画素に係る画素データに基づいて画素欠陥に対応する画素の画素データ（色の濃淡等）を決定する方法が挙げられる。
ここで、画素欠陥とは、ＣＣＤカメラやＣＭＯＳカメラの固体撮像素子に起因する画素単位の欠陥を指し、画素欠陥の例としては白欠陥、黒欠陥等が挙げられる。 Among the processes performed by the digital signal processing unit, pixel defect correction is a process of correcting pixel data of pixels corresponding to pixel defects. As a specific example of pixel defect correction, there is a method of determining pixel data (color shading or the like) of a pixel corresponding to a pixel defect based on pixel data relating to a plurality of pixels adjacent to the pixel corresponding to the pixel defect. .
Here, the pixel defect means a pixel unit defect caused by a solid-state imaging device of a CCD camera or a CMOS camera, and examples of the pixel defect include a white defect and a black defect.

このような画素欠陥補正は、画像データを表示画面に画像として表示した際の美観という観点からは必要不可欠なものであるが、当該補正後の画像データに基づいて自動車の自動運転や運転支援を行う場合には問題がある。
すなわち、「画素欠陥補正により補正された画素データ」は、厳密に言えば固体撮像素子により取得された「真の」画素データではないため、これに基づいて自動車の自動運転や運転支援に係る判断を行うことは場合によっては不適切と考えられる。
従って、自動車の自動運転や運転支援に係る判断を行う場合には、該画像データを構成する各画素データのうち、「画素欠陥補正により補正された画素データ」を除いた残りの画素データに基づいて判断することが、画像処理後のデータに基づく判断の信頼性の向上という観点から見て望ましい。
同様に、カメラ等の撮像手段と幾何変換回路との間の接続配線等に何らかのトラブル（ノイズ、配線不良等）が生じ、幾何変換回路が画素データの一部を適正に取得することができなかった場合にも、当該適正に画素データが取得できなかった部分を除いた残りの画素データに基づいて判断することが、画像処理後のデータに基づく判断の信頼性の向上という観点から見て望ましい。 Such pixel defect correction is indispensable from the viewpoint of aesthetics when image data is displayed as an image on a display screen. However, automatic driving and driving assistance of a vehicle are performed based on the corrected image data. There is a problem if you do.
In other words, “pixel data corrected by pixel defect correction” is not strictly “true” pixel data acquired by a solid-state imaging device, and therefore, determinations relating to automatic driving and driving assistance of a car are based on this. It is considered inappropriate in some cases.
Therefore, when making a determination relating to automatic driving or driving assistance of a car, based on the remaining pixel data excluding “pixel data corrected by pixel defect correction” among the pixel data constituting the image data. This determination is desirable from the viewpoint of improving the reliability of the determination based on the data after image processing.
Similarly, some trouble (noise, poor wiring, etc.) occurs in the connection wiring between the imaging means such as a camera and the geometric conversion circuit, and the geometric conversion circuit cannot properly acquire part of the pixel data. In this case, it is desirable from the viewpoint of improving the reliability of the determination based on the data after the image processing to determine based on the remaining pixel data excluding the portion where the pixel data could not be properly acquired. .

しかし、従来の幾何変換回路から出力された画像データには、該画像データを構成する各画素データについて、「画素欠陥補正により補正された画素データであるか否か」あるいは、「適正に取得された画素データであるか否か」という情報は付加されておらず、そのままでは、画像処理部（ＣＰＵ）にて「画素欠陥補正により補正された画素データ」および「適正に取得されなかった画素データ」を除いた残りの画素データに基づいて判断することが不可能である。 However, the image data output from the conventional geometric transformation circuit includes “whether or not the pixel data is corrected by pixel defect correction” or “appropriately acquired” for each pixel data constituting the image data. The information “whether or not it is pixel data” is not added, and as it is, “pixel data corrected by pixel defect correction” and “pixel data not properly acquired” by the image processing unit (CPU). It is impossible to make a determination based on the remaining pixel data excluding “”.

また、撮像手段から各画素データについて、画素欠陥補正により補正された画素データであるか否かという情報、および、撮像手段から適正に取得された画素データであるか否かという情報、を取得する方法も考えられるが、画像処理部（ＣＰＵ）が取得する画像データは幾何変換回路により幾何変換された後の画像データであるため、幾何変換後の画像データを構成する各画素データと、画素欠陥補正により補正された画素データであるか否かという情報および撮像手段から適正に取得された画素データであるか否かという情報と、を対応させる処理を行う必要が新たに生じ、画像処理部（ＣＰＵ）の処理の負担を軽減するという本来の目的に反する結果となる。 Further, information about whether or not each pixel data is pixel data corrected by pixel defect correction and information about whether or not the pixel data is properly acquired from the imaging unit is acquired from the imaging unit. Although a method is also conceivable, since the image data acquired by the image processing unit (CPU) is image data after geometric transformation by the geometric transformation circuit, each pixel data constituting the image data after geometric transformation, and pixel defects It is necessary to newly perform processing for associating the information on whether or not the pixel data is corrected by the correction with the information on whether or not the pixel data is properly acquired from the imaging unit, and the image processing unit ( The result is contrary to the original purpose of reducing the processing load on the CPU.

本発明は以上の如き状況に鑑み、幾何変換後の画像データを構成する各画素データを、（１）画素欠陥に係る画素データであるか否か、および、撮像手段から適正に取得された画素データであるか否か、を容易に識別可能な可能な状態、または、（２）画素欠陥に係る画素データおよび不適正に取得された画素データが含まれる画像データのラインまたは列を容易に識別可能な状態、で画像処理部に出力し、画像処理部の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることを可能とする幾何変換回路を提供するものである。 In view of the circumstances as described above, the present invention considers whether each pixel data constituting the image data after geometric transformation is (1) pixel data relating to a pixel defect, and a pixel appropriately acquired from the imaging means A state in which it is possible to easily identify whether or not it is data, or (2) a line or column of image data including pixel data relating to a pixel defect and improperly acquired pixel data is easily identified Provided is a geometric transformation circuit that can output to an image processing unit in a possible state and improve the reliability of judgment based on data after image processing while reducing the burden on the image processing unit. .

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。 The problem to be solved by the present invention is as described above. Next, means for solving the problem will be described.

即ち、請求項１においては、
撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
変換画像データと、各変換画素データに対応するエラー判定結果と、を合わせて格納する第二格納手段と、
を具備するものである。 That is, in claim 1,
In the geometric transformation circuit that geometrically transforms the image data input from the imaging means and outputs the image data after geometric transformation to the image processing unit,
First storage means for storing a plurality of pixel data constituting image data and error information corresponding to each pixel data;
Geometric transformation means for geometrically transforming image data and generating transformed image data;
Based on error information of each pixel data corresponding to each conversion pixel data, an error determination means for determining the presence or absence of an error in each conversion pixel data;
Second storage means for storing the converted image data and the error determination result corresponding to each converted pixel data;
It comprises.

請求項２においては、
撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
エラー判定手段によりエラーが有ると判定された変換画素データを含む変換画像データのラインまたは列のいずれか一方または両方を識別するためのエラー判定データを格納する第二格納手段と、
を具備するものである。 In claim 2,
In the geometric transformation circuit that geometrically transforms the image data input from the imaging means and outputs the image data after geometric transformation to the image processing unit,
First storage means for storing a plurality of pixel data constituting image data and error information corresponding to each pixel data;
Geometric transformation means for geometrically transforming image data and generating transformed image data;
Based on error information of each pixel data corresponding to each conversion pixel data, an error determination means for determining the presence or absence of an error in each conversion pixel data;
Second storage means for storing error determination data for identifying either or both of a line or a column of converted image data including converted pixel data determined to have an error by the error determination means;
It comprises.

請求項３においては、画素欠陥の発生の有無、撮像手段から幾何変換回路への不適正な画像データの出力、スミアの発生の有無、のうち少なくとも一つが前記エラー情報に含まれるものである。 According to a third aspect of the present invention, at least one of presence / absence of occurrence of a pixel defect, output of inappropriate image data from the imaging means to the geometric conversion circuit, and presence / absence of smear is included in the error information.

本発明の効果として、以下に示すような効果を奏する。 As effects of the present invention, the following effects can be obtained.

請求項１においては、画像処理部の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。 According to the first aspect, it is possible to improve the reliability of the determination based on the data after the image processing while reducing the image processing load of the image processing unit.

請求項２においては、画像処理部の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。 According to the second aspect, it is possible to improve the reliability of the determination based on the data after the image processing while reducing the image processing load of the image processing unit.

請求項３においては、画像処理部の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。 According to the third aspect, it is possible to improve the reliability of the determination based on the data after the image processing while reducing the image processing load of the image processing unit.

以下では、図１を用いて本発明の幾何変換回路の実施の一形態である幾何変換回路１を説明する。
幾何変換回路１は、撮像手段１００から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部２００に出力するものである。 Below, the geometric transformation circuit 1 which is one Embodiment of the geometric transformation circuit of this invention is demonstrated using FIG.
The geometric conversion circuit 1 performs geometric conversion on the image data input from the imaging unit 100 and outputs the image data after geometric conversion to the image processing unit 200.

撮像手段１００は、画像データを幾何変換回路１に出力するものであり、本実施例ではＣＣＤカメラからなる。該画像データを構成する複数の画素データは、それぞれ８ビットのデジタル信号であり、当該画素の輝度値を示すものである。
ここで、「画像データ」は、撮像手段１００が具備する複数の固体撮像素子により取得されたアナログ信号に種々の処理を施して生成したデジタル信号たる画素データの集合体である。
なお、撮像手段１００が幾何変換手段１に出力する画像データを構成する複数の画素データは、８ビットのデジタル信号に限定されず、１６ビットのデジタル信号や他のデジタル信号でも良い。 The imaging means 100 outputs image data to the geometric conversion circuit 1, and is composed of a CCD camera in this embodiment. Each of the plurality of pixel data constituting the image data is an 8-bit digital signal and indicates the luminance value of the pixel.
Here, “image data” is a collection of pixel data as digital signals generated by performing various processes on analog signals acquired by a plurality of solid-state imaging elements included in the imaging unit 100.
The plurality of pixel data constituting the image data output from the imaging unit 100 to the geometric conversion unit 1 is not limited to an 8-bit digital signal, and may be a 16-bit digital signal or another digital signal.

撮像手段１００は、幾何変換回路１に複数の画素データからなる画像データに加えて、該画像データを構成する各画素データに対応するエラー情報も出力する。
ここで、「エラー情報」とは、各画素データの信頼性（画像処理部２００が行う判断に供することの妥当性）に関する情報であり、本実施例の場合、（Ａ）画素欠陥の発生の有無（各画素データが画素欠陥に係るものであるか否か）に関する情報、（Ｂ）適正に取得された画素データであるか否かに関する情報、（Ｃ）スミアの発生の有無（各画素データがスミアに係るものであるか否か）に関する情報、が含まれる。
ここで、「スミア」とは、ＣＣＤカメラにおいて、逆光等で高輝度のスポット光が入った場合に、画像の縦（列）方向に生じる白い帯状のノイズ（ゴースト）を指す。
以後、（Ａ）および（Ｂ）に係る情報を合わせて「画素エラー情報」、（Ｃ）に係る情報を「スミアエラー情報」という。 In addition to image data composed of a plurality of pixel data, the imaging means 100 also outputs error information corresponding to each pixel data constituting the image data to the geometric conversion circuit 1.
Here, the “error information” is information relating to the reliability of each pixel data (relevance to be used for the determination performed by the image processing unit 200). In the case of this embodiment, (A) occurrence of a pixel defect. Information on presence / absence (whether each pixel data is related to a pixel defect), (B) Information on whether the pixel data is properly acquired, (C) Presence / absence of smear (each pixel data Information regarding whether or not the smear is related to smear.
Here, “smear” refers to white band-like noise (ghost) that occurs in the vertical (column) direction of an image when a high-brightness spotlight enters due to backlight or the like in a CCD camera.
Hereinafter, the information related to (A) and (B) is collectively referred to as “pixel error information”, and the information related to (C) is referred to as “smear error information”.

撮像手段１００は本実施例の如くＣＣＤカメラに限定されるものではなく、画像を取得可能であれば他の実施形態でも良い。撮像手段１００の他の実施形態の例としてはＣＭＯＳカメラやその他のカメラが挙げられる。 The imaging means 100 is not limited to a CCD camera as in this embodiment, and may be another embodiment as long as an image can be acquired. Examples of other embodiments of the imaging unit 100 include a CMOS camera and other cameras.

画像処理部２００は、幾何変換回路１から変換画像データを取得し、該変換画像データに種々の画像処理を施し、場合によっては該画像処理が施された変換画像データに基づいて種々の判断を行うものである。画像処理部２００の実施形態の例としてはＣＰＵが挙げられる。本実施例の場合、画像処理部２００は自動車のＥＣＵのＣＰＵであり、幾何変換回路１から取得した変換画像データに基づいて路面の車線や障害物を認識し、その検出結果情報を車両制御ＥＣＵへ伝達する。 The image processing unit 200 acquires the converted image data from the geometric conversion circuit 1, performs various image processing on the converted image data, and in some cases, makes various determinations based on the converted image data that has been subjected to the image processing. Is what you do. An example of an embodiment of the image processing unit 200 is a CPU. In this embodiment, the image processing unit 200 is a CPU of an automobile ECU, recognizes road lanes and obstacles based on converted image data acquired from the geometric conversion circuit 1, and uses the detection result information as a vehicle control ECU. To communicate.

図２に示す如く、幾何変換回路１は、主に画素エラー検出手段２、第一格納手段３、幾何変換手段４、エラー判定手段５、第二格納手段６等で構成される。 As shown in FIG. 2, the geometric conversion circuit 1 mainly includes a pixel error detection unit 2, a first storage unit 3, a geometric conversion unit 4, an error determination unit 5, a second storage unit 6, and the like.

画素エラー検出手段２は、撮像手段１００から入力されるエラー情報のうち、画素エラー情報を取得し、該情報に基づいて画素エラー信号（当該画素に画素エラーが発生していることを示す信号）を出力するものである。
なお、撮像手段１００から画素エラー信号を直接出力可能な場合には、画素エラー検出手段２を省略することも可能である。 The pixel error detection unit 2 acquires pixel error information from the error information input from the imaging unit 100, and based on the information, a pixel error signal (a signal indicating that a pixel error has occurred in the pixel) Is output.
If the pixel error signal can be directly output from the imaging unit 100, the pixel error detection unit 2 can be omitted.

第一格納手段３は、撮像手段１００から入力された画像データを構成する複数の画素データと、各画素データに対応するエラー情報（画素エラー検出手段２から取得される画素エラー信号および撮像手段１００から取得されるスミア信号（スミアが発生していることを示す信号））と、を合わせて格納するものである。
ここで「合わせて格納する」とは、画素データと、各画素データに対応するエラー情報との１対１の対応関係を保持しつつ、一時的に記憶することを意味する。
本実施例における第一格納手段３に格納される画素データとエラー情報の実施形態は、図２に示す如く、８ビットの画素データと、２ビットのエラー情報とを順に配列したものである。２ビットのエラー情報の内訳は、画素エラー情報で１ビット、スミアエラー情報で１ビットである。
第一格納手段３に格納された画素データおよび各画素データに対応するエラー情報は、後述の幾何変換手段４に出力された後、順次消去される。従って、第一格納手段３の記憶容量を極端に大きくせずとも良く、製造コストを抑えることが可能である。 The first storage unit 3 includes a plurality of pixel data constituting the image data input from the imaging unit 100, and error information corresponding to each pixel data (pixel error signal acquired from the pixel error detection unit 2 and the imaging unit 100). And a smear signal (a signal indicating that smear has occurred)) acquired from the above.
Here, “store together” means that the pixel data is temporarily stored while maintaining a one-to-one correspondence between the pixel data and error information corresponding to each pixel data.
In the embodiment of the pixel data and error information stored in the first storage means 3 in this embodiment, as shown in FIG. 2, 8-bit pixel data and 2-bit error information are arranged in order. The breakdown of 2-bit error information is 1 bit for pixel error information and 1 bit for smear error information.
The pixel data stored in the first storage means 3 and the error information corresponding to each pixel data are output to the geometric conversion means 4 described later, and then are sequentially deleted. Therefore, the storage capacity of the first storage means 3 does not need to be extremely increased, and the manufacturing cost can be reduced.

本実施例は、第一格納手段３としてＦＩＦＯメモリを用いている。これは、ＦＩＦＯメモリに入力される順序をアドレス（画素データの画像データ上の位置）と対応させることにより、第一格納手段３の記憶容量を必要最小限に抑えることが可能であるためである。
なお、ＦＩＦＯメモリよりも相対的に記憶容量を要するが、第一格納手段３として、ＤＲＡＭやＦＲＡＭ等のメモリやその他の記憶媒体等を用いることも可能である。 In this embodiment, a FIFO memory is used as the first storage means 3. This is because the storage capacity of the first storage means 3 can be minimized by associating the order of input to the FIFO memory with addresses (positions of pixel data on the image data). .
Although the storage capacity is relatively larger than that of the FIFO memory, a memory such as a DRAM or FRAM, other storage media, or the like can be used as the first storage unit 3.

幾何変換手段４は第一格納手段３から取得した画像データを幾何変換し、変換画像データを生成するものである。
より具体的には、幾何変換手段４は第一格納手段３から取得した画像データを構成する複数の画素データを幾何変換し、変換画像データを構成する複数の変換画素データを生成する。
ここで、「幾何変換」とは、幾何補正とも呼ばれ、一般的にはカメラ等の撮像手段により取得された画像データが内包する幾何学的な歪みを補正する画像処理を指す。
幾何変換（補正）は、より具体的には、（ａ）幾何補正関数の未知係数の決定、（ｂ）画素の再配列、という過程を経て行われる。 The geometric conversion unit 4 performs geometric conversion on the image data acquired from the first storage unit 3 to generate converted image data.
More specifically, the geometric transformation means 4 geometrically transforms a plurality of pixel data constituting the image data acquired from the first storage means 3, and generates a plurality of transformed pixel data constituting the transformed image data.
Here, “geometric transformation” is also called geometric correction, and generally refers to image processing for correcting geometric distortion included in image data acquired by an imaging means such as a camera.
More specifically, the geometric transformation (correction) is performed through a process of (a) determination of an unknown coefficient of a geometric correction function and (b) rearrangement of pixels.

幾何補正関数の具体例としては高次多項式変換に代表される非系統的補正等が挙げられるが、幾何変換回路１の用途に応じて適宜選択することが望ましい。 Specific examples of the geometric correction function include non-systematic correction typified by high-order polynomial transformation, and it is desirable to select appropriately according to the application of the geometric transformation circuit 1.

また、画素の再配列方法としては、最近隣（ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ）法、共一次（Ｂｉ−Ｌｉｎｅａｒ）法、三次畳み込み（ＣｕｂｉｃＣｏｎｖｏｌｕｔｉｏｎ）法、等が挙げられる。
最近隣法は、近傍の４点の格子点のうち、最もＥｕｃｌｉｄ距離が短い（最も近い）格子点の画素の輝度値（画素データ）で置き換える方法である。
共一次法は、近傍の４点の格子点の画素の輝度値から比例計算により非格子点画素の輝度値を推定する方法である。
三次畳み込み法は近傍の１６点の格子点の画素の輝度値から、畳み込みにより非格子点画素の輝度値を推定する方法である。
本実施例は共一次法により幾何変換後の画素データたる変換画素データを生成しているが、幾何変換回路１の用途に応じて画素の再配列方法を適宜選択することが望ましい。 Examples of the pixel rearrangement method include a nearest neighbor method, a bi-linear method, a cubic convolution method, and the like.
The nearest neighbor method is a method of replacing the luminance value (pixel data) of the pixel of the grid point with the shortest (closest) Euclid distance among the four neighboring grid points.
The bilinear method is a method for estimating the luminance value of a non-grid pixel by proportional calculation from the luminance values of pixels at four neighboring grid points.
The cubic convolution method is a method of estimating luminance values of non-grid pixels by convolution from luminance values of pixels at 16 neighboring grid points.
In this embodiment, converted pixel data, which is pixel data after geometric transformation, is generated by a bilinear method, but it is desirable to appropriately select a pixel rearrangement method according to the application of the geometric transformation circuit 1.

エラー判定手段５は、第一格納手段３から取得した各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するものである。
ここで、「変換画素データのエラー」は、幾何変換後の各画素について、当該画素に対応する変換画素データを画像処理部２００が行う判断に供することの妥当性を示すものであり、ちょうど、幾何変換前の各画素の画素データに対応するエラー情報に相当するものである。 The error determination unit 5 determines whether or not there is an error in each conversion pixel data based on error information of each pixel data corresponding to each conversion pixel data acquired from the first storage unit 3.
Here, “error of converted pixel data” indicates the validity of the image processing unit 200 using the converted pixel data corresponding to the pixel for each pixel after geometric transformation, This corresponds to error information corresponding to pixel data of each pixel before geometric transformation.

本実施例における幾何変換後の各画素の輝度値たる変換画素データは、前述の如く共一次法により再配列されて生成されるため、当該変換画素データの変換画素データのエラーの有無についても近傍の４点の格子点に対応する幾何変換前の画素データに対応するエラー情報に基づいて判定される。 Since the converted pixel data, which is the luminance value of each pixel after the geometric conversion in this embodiment, is generated by being rearranged by the bilinear method as described above, whether there is an error in the converted pixel data of the converted pixel data is also close. It is determined based on error information corresponding to pixel data before geometric transformation corresponding to the four grid points.

すなわち、本実施例のエラー判定手段５は、近傍の４点の格子点に対応する幾何変換前の画素データに対応するエラー情報のうち、画素欠陥の発生が２点以上で起こっている場合には、当該画素に対応する変換画素データのエラーが有ると判定する。
また、エラー判定手段５は、近傍の４点の格子点に対応する幾何変換前の画素データに対応するエラー情報のうち、スミアの発生が２点以上で起こっている場合には、当該画素に対応する変換画素データのエラーが有ると判定する。
さらに、エラー判定手段５は、近傍の４点の格子点に対応する幾何変換前の画素データに対応するエラー情報のうち、画素欠陥の発生が１点で起こっている場合でも、スミアの発生が１点で起こっていれば、当該画素に対応する変換画素データのエラーが有ると判定する。 That is, the error determination means 5 of the present embodiment performs the case where pixel defects occur at two or more points out of error information corresponding to pixel data before geometric transformation corresponding to four neighboring grid points. Determines that there is an error in the converted pixel data corresponding to the pixel.
In addition, the error determination unit 5 determines that, when the smear occurs at two or more points out of the error information corresponding to the pixel data before geometric transformation corresponding to the four neighboring grid points, It is determined that there is an error in the corresponding converted pixel data.
Further, the error determination unit 5 generates smear even when pixel defect occurs at one point among error information corresponding to pixel data before geometric transformation corresponding to four neighboring grid points. If it occurs at one point, it is determined that there is an error in the converted pixel data corresponding to the pixel.

第二格納手段６は、エラー判定手段５から取得した変換画像データと、該変換画像データを構成する各変換画素データに対応する判定結果と、を合わせて格納するものである。
ここで、「各変換画素データに対応する判定結果」とは、エラー判定手段５により判定された各変換画素データのエラーの有無に関する情報を指す。
また、「合わせて格納する」とは、変換画素データと、各変換画素データに対応する判定結果との１対１の対応関係を保持しつつ、一時的に記憶することを意味する。
第二格納手段６に格納された変換画素データおよび各変換画素データに対応する判定結果は、画像処理部２００に出力された後、順次消去される。従って、第一格納手段３の記憶容量を極端に大きくせずとも良く、製造コストを抑えることが可能である。 The second storage unit 6 stores the converted image data acquired from the error determination unit 5 and the determination results corresponding to the converted pixel data constituting the converted image data.
Here, the “determination result corresponding to each conversion pixel data” refers to information regarding the presence or absence of an error in each conversion pixel data determined by the error determination means 5.
Further, “store together” means that the converted pixel data is temporarily stored while maintaining a one-to-one correspondence between the converted pixel data and the determination result corresponding to each converted pixel data.
The converted pixel data stored in the second storage means 6 and the determination result corresponding to each converted pixel data are output to the image processing unit 200 and then sequentially deleted. Therefore, the storage capacity of the first storage means 3 does not need to be extremely increased, and the manufacturing cost can be reduced.

本実施例では、第二格納手段６から画像処理部２００に変換画像データおよびエラー判定結果またはエラー判定データを出力するメインの配線の他に、予備の配線（図１中の点線で示す）が設けられている。該予備の配線は、変換画像データにエラーが有る場合に、第二格納手段６が変換画像データおよびエラー判定結果またはエラー判定データを格納した時点で第二格納手段６から画像処理部２００に信号を出力する。
このように構成することにより、画像処理部２００は、第二格納手段６から出力されて来る変換画像データについて、予めエラーの有無を認識することが可能である。 In this embodiment, in addition to the main wiring for outputting the converted image data and the error determination result or the error determination data from the second storage unit 6 to the image processing unit 200, a spare wiring (indicated by a dotted line in FIG. 1) is provided. Is provided. The spare wiring is signaled from the second storage means 6 to the image processing unit 200 when the second storage means 6 stores the converted image data and the error determination result or error determination data when there is an error in the converted image data. Is output.
With this configuration, the image processing unit 200 can recognize in advance whether or not there is an error in the converted image data output from the second storage unit 6.

なお、本実施例では、第二変換手段６が変換画像データをエラー判定手段５から取得する構成としたが、第二変換手段６が変換画像データを幾何変換手段４から取得する構成としても良い。
また、本実施例では幾何変換手段４、エラー判定手段５および第二格納手段６と略同様の機能を同一の半導体チップ（例えば、小型のＣＰＵ）上に形成する構成としたが、別体の半導体チップ上に形成しても良い。 In the present embodiment, the second conversion unit 6 acquires the converted image data from the error determination unit 5. However, the second conversion unit 6 may acquire the converted image data from the geometric conversion unit 4. .
In the present embodiment, the same function as that of the geometric conversion unit 4, the error determination unit 5, and the second storage unit 6 is formed on the same semiconductor chip (for example, a small CPU). It may be formed on a semiconductor chip.

以上の如く、本発明の幾何変換回路の実施の一形態である幾何変換回路１は、
撮像手段１００から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路であって、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段３と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段４と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段５と、
変換画像データと、各変換画素データに対応する判定結果と、を合わせて格納する第二格納手段６と、
を具備するものである。 As described above, the geometric transformation circuit 1 which is an embodiment of the geometric transformation circuit of the present invention is:
A geometric transformation circuit that geometrically transforms image data input from the imaging unit 100 and outputs the image data after geometric transformation to an image processing unit,
First storage means 3 for storing together a plurality of pixel data constituting image data and error information corresponding to each pixel data;
Geometric transformation means 4 for geometrically transforming image data and generating transformed image data;
Based on error information of each pixel data corresponding to each conversion pixel data, error determination means 5 for determining the presence or absence of an error in each conversion pixel data;
Second storage means 6 for storing the converted image data and the determination result corresponding to each converted pixel data together;
It comprises.

このように構成することにより、幾何変換後の画像データたる変換画像データと、該変換画像データを構成する各変換画素データに対応する判定結果（画像処理部２００が行う判断に供することの妥当性）に係る情報と、を合わせた状態で画像処理部に出力することが可能であり、画像処理部２００の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。
また、画像処理部２００は変換画像データと各変換画素データに対応する判定結果とを合わせたものを幾何変換回路１から直接取得するため、リアルタイム性が確保される。 With this configuration, the converted image data that is the image data after the geometric conversion and the determination result corresponding to each converted pixel data that constitutes the converted image data (the validity of the determination performed by the image processing unit 200) ) Can be output to the image processing unit in a combined state, and the reliability of the determination based on the data after the image processing is improved while reducing the image processing load of the image processing unit 200 It is possible to make it.
In addition, since the image processing unit 200 directly acquires the combination of the converted image data and the determination result corresponding to each converted pixel data from the geometric conversion circuit 1, real-time characteristics are ensured.

以下では、本発明に係る幾何変換回路の別実施例たる幾何変換回路２１について説明する。
図１１に示す如く、幾何変換回路２１は、主に画素エラー検出手段２２、第一格納手段２３、幾何変換手段２４、エラー判定手段２５、第二格納手段２６等で構成される。
このうち、画素エラー検出手段２２、第一格納手段２３、幾何変換手段２４、エラー判定手段２５については、前述の幾何変換回路１における画素エラー検出手段２、第一格納手段３、幾何変換手段４、エラー判定手段５と略同じ構成である。 Hereinafter, a geometric conversion circuit 21 as another embodiment of the geometric conversion circuit according to the present invention will be described.
As shown in FIG. 11, the geometric conversion circuit 21 is mainly composed of a pixel error detection unit 22, a first storage unit 23, a geometric conversion unit 24, an error determination unit 25, a second storage unit 26, and the like.
Among these, the pixel error detection unit 22, the first storage unit 23, the geometric conversion unit 24, and the error determination unit 25 are the pixel error detection unit 2, the first storage unit 3, and the geometric conversion unit 4 in the geometric conversion circuit 1 described above. The configuration is substantially the same as that of the error determination means 5.

幾何変換回路２１が幾何変換回路１と異なる点は、第二格納手段２６の構成である。すなわち、第二格納手段２６は、エラー判定手段２５によりエラーが有ると判定された変換画素データを含む変換画像データの行または列のいずれか一方または両方を識別するためのエラー判定データを格納するものである。
図３に示す如く、本実施例のエラー判定データは、行エラー判定データ３１と、列エラー判定データ３２の二つからなる。
行エラー判定データ３１は、変換画像データに基づいて生成された画像において、エラー判定手段２５によりエラーが有ると判定された変換画素データを含む行を識別するものである。図４に示す如く、行エラー判定データ３１は、変換画像データに基づいて生成された画像の一行を構成する画素数と同数のビット数（本実施例の場合、６４０ビット）からなるデジタル情報として、変換画像データとともに画像処理部２００に出力される。
列エラー判定データ３２は、変換画像データに基づいて生成された画像において、エラー判定手段２５によりエラーが有ると判定された変換画素データを含む列を識別するものである。図４に示す如く、列エラー判定データ３２は、変換画像データに基づいて生成された画像の一列を構成する画素数と同数のビット数（本実施例の場合、２４０ビット）からなるデジタル情報として、変換画像データとともに画像処理部２００に出力される。 The difference between the geometric transformation circuit 21 and the geometric transformation circuit 1 is the configuration of the second storage means 26. That is, the second storage unit 26 stores error determination data for identifying either or both of the row and / or column of the converted image data including the converted pixel data determined to have an error by the error determination unit 25. Is.
As shown in FIG. 3, the error determination data of the present embodiment is composed of two, row error determination data 31 and column error determination data 32.
The row error determination data 31 is for identifying a row including converted pixel data determined to have an error by the error determination means 25 in an image generated based on the converted image data. As shown in FIG. 4, the row error determination data 31 is digital information consisting of the same number of bits (640 bits in this embodiment) as the number of pixels constituting one row of an image generated based on the converted image data. The image data is output to the image processing unit 200 together with the converted image data.
The column error determination data 32 is for identifying a column including converted pixel data determined to have an error by the error determination means 25 in an image generated based on the converted image data. As shown in FIG. 4, the column error determination data 32 is digital information composed of the same number of bits (240 bits in this embodiment) as the number of pixels constituting one column of an image generated based on the converted image data. The image data is output to the image processing unit 200 together with the converted image data.

このように構成することは、以下の如き利点を有する。 Such a configuration has the following advantages.

すなわち、変換画素データに基づいて生成された画像における画素エラー（画素欠陥または不適正な画素データの取得）の発生箇所は、変換画像データに基づいて生成された画像の行に沿って帯状に発生し易い傾向がある。
そして、ある画素に係る変換画素データに画素エラーが発生している旨の画素エラー情報が付加されている場合には、幾何変換回路１における画像処理部２００は、当該画素と同じ行に含まれる画素の変換画素データを全て除外した上で画像処理を行い、該画像処理後の画像データに基づいて自動運転や運転支援に係る判断を行う。
従って、幾何変換回路２１（より厳密には、第二格納手段２６）から画像処理部２００に出力される変換画像データに、当該変換画像データに基づいて生成される画像の行のいずれかの画素に画素エラーが発生していることを示す情報、すなわち行エラー判定データ３１を付加することにより、画像処理部２００は該行エラー判定データ３１に基づいて、画素エラーが発生している旨の画素エラー情報が付加されている画素と同じ行に含まれる画素の変換画素データを全て除外するという画像処理を容易に行うことが可能である。
しかも、各変換画素データにエラー判定結果を付加する場合よりも、幾何変換回路２１（より厳密には、第二格納手段２６）から画像処理部２００に出力されるデータの容量を更に小さくすることができ、画像処理部２００の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。 That is, the occurrence of pixel errors (acquisition of pixel defects or inappropriate pixel data) in the image generated based on the converted pixel data occurs in a band shape along the rows of the image generated based on the converted image data. It tends to be easy to do.
When pixel error information indicating that a pixel error has occurred is added to the converted pixel data relating to a certain pixel, the image processing unit 200 in the geometric conversion circuit 1 is included in the same row as the pixel. Image processing is performed after removing all the converted pixel data of the pixels, and determinations regarding automatic driving and driving support are performed based on the image data after the image processing.
Therefore, any pixel in the row of the image generated based on the converted image data is converted into the converted image data output from the geometric conversion circuit 21 (more precisely, the second storage unit 26) to the image processing unit 200. By adding information indicating that a pixel error has occurred, that is, row error determination data 31, the image processing unit 200 uses the row error determination data 31 to indicate that a pixel error has occurred. It is possible to easily perform image processing that excludes all converted pixel data of pixels included in the same row as the pixel to which error information is added.
In addition, the capacity of data output from the geometric conversion circuit 21 (more precisely, the second storage unit 26) to the image processing unit 200 is further reduced than when an error determination result is added to each conversion pixel data. It is possible to improve the reliability of the determination based on the data after the image processing while reducing the burden of the image processing of the image processing unit 200.

同様に、変換画素データに基づいて生成された画像におけるスミアの発生箇所は、変換画像データに基づいて生成された画像の列に沿って帯状に発生する傾向がある。
そして、ある画素に係る変換画素データにスミアが発生している旨のスミアエラー情報が付加されている場合には、幾何変換回路１における画像処理部２００は、当該画素と同じ列に含まれる画素の変換画素データを全て除外した上で画像処理を行い、該画像処理後の画像データに基づいて自動運転や運転支援に係る情報を車両制御ＥＣＵへ伝達する。
従って、幾何変換回路２１（より厳密には、第二格納手段２６）から画像処理部２００に出力される変換画像データに、当該変換画像データに基づいて生成される画像の列のいずれかの画素にスミアエラーが発生していることを示す情報、すなわち列エラー判定データ３２を付加することにより、画像処理部２００は該列エラー判定データ３２に基づいて、スミアが発生している旨のスミアエラー情報が付加されている画素と同じ列に含まれる画素の変換画素データを全て除外するという画像処理を容易に行うことが可能である。
しかも、各変換画素データにエラー判定結果を付加する場合よりも、幾何変換回路２１（より厳密には、第二格納手段２６）から画像処理部２００に出力されるデータの容量を更に小さくすることができ、画像処理部２００の画像処理の負担を軽減しつつ、画像処理後のデータに基づく判断の信頼性を向上させることが可能である。 Similarly, smear occurrence portions in an image generated based on the converted pixel data tend to occur in a band shape along the row of images generated based on the converted image data.
When smear error information indicating that smear has occurred is added to the converted pixel data relating to a pixel, the image processing unit 200 in the geometric conversion circuit 1 causes the pixel included in the same column as the pixel to be included. Image processing is performed after removing all the converted pixel data, and information related to automatic driving and driving support is transmitted to the vehicle control ECU based on the image data after the image processing.
Therefore, any pixel in a column of an image generated based on the converted image data is added to the converted image data output from the geometric conversion circuit 21 (more precisely, the second storage unit 26) to the image processing unit 200. By adding information indicating that a smear error has occurred, that is, column error determination data 32, the image processing unit 200 can obtain smear error information indicating that a smear has occurred based on the column error determination data 32. It is possible to easily perform image processing of excluding all converted pixel data of pixels included in the same column as the added pixel.
In addition, the capacity of data output from the geometric conversion circuit 21 (more precisely, the second storage unit 26) to the image processing unit 200 is further reduced than when an error determination result is added to each conversion pixel data. It is possible to improve the reliability of the determination based on the data after the image processing while reducing the burden of the image processing of the image processing unit 200.

また、画像処理部２００は変換画像データとエラー判定データとを合わせたものを幾何変換回路２１から直接取得するため、リアルタイム性が確保される。 In addition, since the image processing unit 200 directly acquires the combination of the converted image data and the error determination data from the geometric conversion circuit 21, real time performance is ensured.

本発明の幾何変換回路の実施の一形態を示す図。The figure which shows one Embodiment of the geometric transformation circuit of this invention. 第一格納手段に格納される画素データとエラー情報の配列を示す図。The figure which shows the arrangement | sequence of the pixel data and error information stored in a 1st storage means. 画像エリアとエラー判定データとの関係を示す図。The figure which shows the relationship between an image area and error determination data. 画像処理部に出力される変換画像データおよびエラー判定データの配列例を示す図。The figure which shows the example of an arrangement | sequence of the conversion image data output to an image process part, and error determination data.

符号の説明Explanation of symbols

１幾何変換回路
３第一格納手段
４幾何変換手段
５エラー判定手段
６第二格納手段 DESCRIPTION OF SYMBOLS 1 Geometric transformation circuit 3 First storage means 4 Geometric transformation means 5 Error determination means 6 Second storage means

Claims

撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
変換画像データと、各変換画素データに対応するエラー判定結果と、を合わせて格納する第二格納手段と、
を具備することを特徴とする幾何変換回路。 In the geometric transformation circuit that geometrically transforms the image data input from the imaging means and outputs the image data after geometric transformation to the image processing unit,
First storage means for storing a plurality of pixel data constituting image data and error information corresponding to each pixel data;
Geometric transformation means for geometrically transforming image data and generating transformed image data;
Based on error information of each pixel data corresponding to each conversion pixel data, an error determination means for determining the presence or absence of an error in each conversion pixel data;
Second storage means for storing the converted image data and the error determination result corresponding to each converted pixel data;
A geometric conversion circuit comprising:

撮像手段から入力された画像データを幾何変換し、幾何変換後の画像データを画像処理部に出力する幾何変換回路において、
画像データを構成する複数の画素データと、各画素データに対応するエラー情報と、を合わせて格納する第一格納手段と、
画像データを幾何変換し、変換画像データを生成する幾何変換手段と、
各変換画素データに対応する各画素データのエラー情報をもとに、各変換画素データのエラーの有無を判定するエラー判定手段と、
エラー判定手段によりエラーが有ると判定された変換画素データを含む変換画像データのラインまたは列のいずれか一方または両方を識別するためのエラー判定データを格納する第二格納手段と、
を具備することを特徴とする幾何変換回路。 In the geometric transformation circuit that geometrically transforms the image data input from the imaging means and outputs the image data after geometric transformation to the image processing unit,
First storage means for storing a plurality of pixel data constituting image data and error information corresponding to each pixel data;
Geometric transformation means for geometrically transforming image data and generating transformed image data;
Based on error information of each pixel data corresponding to each conversion pixel data, an error determination means for determining the presence or absence of an error in each conversion pixel data;
Second storage means for storing error determination data for identifying either or both of a line or a column of converted image data including converted pixel data determined to have an error by the error determination means;
A geometric conversion circuit comprising:

画素欠陥の発生の有無、撮像手段から幾何変換回路への不適正な画像データの出力、スミアの発生の有無、のうち少なくとも一つが前記エラー情報に含まれることを特徴とする請求項１または請求項２に記載の幾何変換回路。 The error information includes at least one of presence / absence of occurrence of a pixel defect, output of improper image data from the imaging means to the geometric conversion circuit, and presence / absence of smear. Item 3. The geometric conversion circuit according to Item 2.