JP2021141435A - Reading device and feature amount detection method - Google Patents

Abstract

To attain stable edge detection between a script and a background without regard to the type of a document in a transmissive reading device.SOLUTION: A reading device comprises: an illumination part for irradiating a subject with visible light and invisible light; an imaging part which receives the visible light and the invisible light reflected by the subject and captures a visible image and an invisible image; and an image processing part which detects the feature amount of the subject from at least one of the visible image and the invisible image.SELECTED DRAWING: Figure 8

Description

本発明は、読取装置および特徴量検出方法に関する。 The present invention relates to a reading device and a feature amount detecting method.

従来、画像から原稿・背景間のエッジを検出し、検出した原稿・背景間のエッジを基に、原稿の傾きと位置を補正する画像処理技術が既に知られている。 Conventionally, an image processing technique for detecting an edge between a document and a background from an image and correcting the inclination and position of the document based on the detected edge between the document and the background is already known.

特許文献１には、原稿・背景間のエッジを抽出するために、背景に赤外光低反射部を設け、取得した赤外画像を基に原稿と背景のエッジ検出を行う技術が開示されている。 Patent Document 1 discloses a technique in which an infrared light low reflection portion is provided in the background and edge detection between the document and the background is performed based on the acquired infrared image in order to extract an edge between the document and the background. There is.

しかしながら、従来技術によれば、背景に赤外光低反射部を設け、取得した赤外画像を基に原稿と背景のエッジ検出を行っているが、原稿色によってはエッジ検出ができないという問題があった。また、従来技術によれば、被写体の裏側に配置された照明からの光をセンサにて受光して読み取る装置には対応していない、という問題があった。 However, according to the prior art, an infrared light low reflection portion is provided in the background, and the edge of the original and the background is detected based on the acquired infrared image, but there is a problem that the edge cannot be detected depending on the original color. there were. Further, according to the prior art, there is a problem that it is not compatible with a device that receives and reads light from an illumination arranged on the back side of a subject with a sensor.

本発明は、上記に鑑みてなされたものであって、透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出を可能とすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to enable stable edge detection between a document and a background in a transmissive reader regardless of the type of the document.

上述した課題を解決し、目的を達成するために、本発明は、被写体に可視光と不可視光とを照射する照明部と、前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する画像処理部と、を備えることを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the present invention receives an illuminating unit that irradiates a subject with visible light and invisible light, and receives visible light and invisible light transmitted by the subject to receive a visible image. It is characterized by including an imaging unit that captures the invisible image and an image processing unit that detects the feature amount of the subject from at least one of the visible image and the invisible image.

本発明によれば、透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出を行うことができる、という効果を奏する。 According to the present invention, in a transmissive reader, it is possible to perform stable edge detection between a document and a background regardless of the type of the document.

図１は、第１の実施の形態にかかる画像読取装置を構成する各部の電気的接続を示すブロック図である。FIG. 1 is a block diagram showing an electrical connection of each part constituting the image reading device according to the first embodiment. 図２は、画像処理部の機能構成を示すブロック図である。FIG. 2 is a block diagram showing a functional configuration of the image processing unit. 図３は、紙種による可視画像と不可視画像の分光透過特性差の違いを示す図である。FIG. 3 is a diagram showing a difference in spectral transmission characteristic difference between a visible image and an invisible image depending on the paper type. 図４は、被写体のエッジから得られる情報を示す図である。FIG. 4 is a diagram showing information obtained from the edge of the subject. 図５は、エッジ検出の手法を例示的に示す図である。FIG. 5 is a diagram illustrating an example of an edge detection method. 図６は、エッジを利用した特徴量の例を示す図である。FIG. 6 is a diagram showing an example of a feature amount using an edge. 図７は、回帰直線式における直線式の選択を示す図である。FIG. 7 is a diagram showing selection of a linear equation in a regression linear equation. 図８は、サイズ検知（横方向）の例を示す図である。FIG. 8 is a diagram showing an example of size detection (horizontal direction). 図９は、第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。FIG. 9 is a block diagram showing a functional configuration of the image processing unit according to the second embodiment. 図１０は、エッジのＯＲ処理について説明する図である。FIG. 10 is a diagram illustrating OR processing of edges. 図１１は、エッジの正常検出の判定例を示す図である。FIG. 11 is a diagram showing a determination example of normal edge detection. 図１２は、エッジのＯＲ処理の失敗例を示す図である。FIG. 12 is a diagram showing an example of failure of OR processing of the edge. 図１３は、複数の特性が混じったような被写体の一例を示す図である。FIG. 13 is a diagram showing an example of a subject in which a plurality of characteristics are mixed. 図１４は、第３の実施の形態にかかる画像処理部の機能構成を示すブロック図である。FIG. 14 is a block diagram showing a functional configuration of the image processing unit according to the third embodiment. 図１５は、画像処理部における処理の流れを示すフローチャートである。FIG. 15 is a flowchart showing a processing flow in the image processing unit. 図１６は、被写体の傾きと位置の補正の例を示す図である。FIG. 16 is a diagram showing an example of correcting the inclination and position of the subject. 図１７は、不可視画像の用途を示す図である。FIG. 17 is a diagram showing the use of an invisible image. 図１８は、被写体の傾きと位置の補正および切り出し例を示す図である。FIG. 18 is a diagram showing an example of correcting and cutting out the inclination and position of the subject. 図１９は、傾き補正の一例を示す図である。FIG. 19 is a diagram showing an example of tilt correction. 図２０は、右端エッジ点の探索を示す図である。FIG. 20 is a diagram showing a search for the rightmost edge point. 図２１は、画像読取装置の変形例を示す図である。FIG. 21 is a diagram showing a modified example of the image reading device.

以下に添付図面を参照して、読取装置および特徴量検出方法の実施の形態を詳細に説明する。 Hereinafter, embodiments of the reader and the feature amount detection method will be described in detail with reference to the accompanying drawings.

（第１の実施の形態）
図１は、第１の実施の形態にかかる画像読取装置１００を構成する各部の電気的接続を示すブロック図である。図１に示すように、本実施形態の画像読取装置１００は、読取装置として機能するものであって、画像取得部１０と、画像処理部２０と、を備えている。 (First Embodiment)
FIG. 1 is a block diagram showing an electrical connection of each part constituting the image reading device 100 according to the first embodiment. As shown in FIG. 1, the image reading device 100 of the present embodiment functions as a reading device, and includes an image acquisition unit 10 and an image processing unit 20.

画像取得部１０は、光源２と、撮像部２２と、を備えている。光源２は、可視用／不可視用で構成される。ここで、不可視光とは、波長が３８０ｎｍ以下、あるいは７５０ｎｍ以上の光のことを指す。すなわち、光源２は、被写体に対して可視光と不可視光（例えば、近赤外（ＮＩＲ）光）とを照射する照明部である。 The image acquisition unit 10 includes a light source 2 and an image pickup unit 22. The light source 2 is composed of visible / invisible light sources. Here, the invisible light refers to light having a wavelength of 380 nm or less or 750 nm or more. That is, the light source 2 is an illumination unit that irradiates the subject with visible light and invisible light (for example, near infrared (NIR) light).

撮像部２２は、例えば、縮小光学系用センサであり、例えばＣＭＯＳイメージセンサなどである。撮像部２２は、被写体を介して光源２に対向する位置に設けられる。撮像部２２は、被写体の裏側に配置された光源２から照射された光であって、被写体を透過した光を受光する。撮像部２２は、画素部２２１、信号処理部２２２などを備える。 The image pickup unit 22 is, for example, a sensor for a reduction optical system, for example, a CMOS image sensor or the like. The imaging unit 22 is provided at a position facing the light source 2 via the subject. The imaging unit 22 receives light emitted from a light source 2 arranged on the back side of the subject and transmitted through the subject. The imaging unit 22 includes a pixel unit 221 and a signal processing unit 222.

撮像部２２は、可視、不可視の波長域を撮像可能である。撮像部２２には、入射光量を電気信号に変換する画素が配置されている。画素は行列状に配置され、各画素から得られる電気信号は、一定時間毎に所定の順序で、後段の信号処理部２２２へと転送される（画素読出し信号）。各画素上には特定の波長の光のみを透過するカラーフィルタが配置されている。本実施の形態の撮像部２２では、同一のカラーフィルタが配置された画素群から得られる各信号をチャンネルと称する。なお、本実施形態では可視光を照射して撮像部２２によって撮像された画像を可視画像、近赤外光などの不可視光を照射して撮像部２２によって撮像された画像を不可視画像と呼ぶ。 The imaging unit 22 can image visible and invisible wavelength ranges. Pixels that convert the amount of incident light into an electric signal are arranged in the imaging unit 22. The pixels are arranged in a matrix, and the electric signals obtained from each pixel are transferred to the signal processing unit 222 in the subsequent stage in a predetermined order at regular time intervals (pixel read signal). A color filter that transmits only light of a specific wavelength is arranged on each pixel. In the imaging unit 22 of the present embodiment, each signal obtained from the pixel group in which the same color filter is arranged is referred to as a channel. In the present embodiment, an image captured by the imaging unit 22 by irradiating visible light is referred to as a visible image, and an image captured by the imaging unit 22 by irradiating invisible light such as near-infrared light is referred to as an invisible image.

なお、本実施形態では４ライン構成での撮像部２２を例にして説明するが、４ラインに限定されるものではない。また、画素部２２１より後段の回路構成に関しても、図示する構成に限定されるものではない。 In this embodiment, the imaging unit 22 having a 4-line configuration will be described as an example, but the present embodiment is not limited to 4 lines. Further, the circuit configuration after the pixel unit 221 is not limited to the configuration shown in the figure.

画素部２２１は、画素を構成する画素回路を行列状に複数配置した４ラインの画素群を有する。信号処理部２２２は、画素部２２１から出力された信号を必要に応じて処理を施し、後段に配置される画像処理部２０へと転送する。 The pixel unit 221 has a 4-line pixel group in which a plurality of pixel circuits constituting the pixels are arranged in a matrix. The signal processing unit 222 processes the signal output from the pixel unit 221 as necessary, and transfers the signal to the image processing unit 20 arranged in the subsequent stage.

画像処理部２０は、画像データの使用目的に合わせた各種の画像処理を実行する。 The image processing unit 20 executes various image processing according to the purpose of use of the image data.

ここで、図２は画像処理部２０の機能構成を示すブロック図である。図２に示すように、画像処理部２０は、特徴量検出部２０１を備える。 Here, FIG. 2 is a block diagram showing a functional configuration of the image processing unit 20. As shown in FIG. 2, the image processing unit 20 includes a feature amount detecting unit 201.

特徴量検出部２０１は、撮像部２２で得られた可視画像ないし不可視画像に対して、被写体の特徴量を検出する。また、特徴量検出部２０１は、被写体の種類に応じて、検出対象の画像を可視と不可視のいずれかから事前に設定しておく。こうすることにより、特徴量検出部２０１は、狙いの特徴量を取り易くすることができる。 The feature amount detection unit 201 detects the feature amount of the subject with respect to the visible image or the invisible image obtained by the imaging unit 22. Further, the feature amount detection unit 201 sets the image to be detected in advance from either visible or invisible according to the type of the subject. By doing so, the feature amount detection unit 201 can easily obtain the target feature amount.

ここで、図３は紙種による可視画像と不可視画像の分光透過特性差の違いを示す図である。例えば、図３に示す例によれば、紙種Ａは、可視画像と不可視画像とを比較すると、可視画像より不可視画像の方が低透過であることがわかる。そのため、特徴量検出部２０１は、紙種Ａの場合、特徴量検出対象を不可視画像と設定しておくことができる。一方、紙種Ｂは、可視画像と不可視画像とを比較すると、不可視画像より可視画像の方が低透過であることがわかる。そのため、特徴量検出部２０１は、紙種Ｂの場合、特徴量検出対象を可視画像と設定しておくことができる。 Here, FIG. 3 is a diagram showing the difference in spectral transmission characteristic difference between the visible image and the invisible image depending on the paper type. For example, according to the example shown in FIG. 3, when comparing the visible image and the invisible image, it can be seen that the invisible image has lower transparency than the visible image. Therefore, in the case of the paper type A, the feature amount detection unit 201 can set the feature amount detection target as an invisible image. On the other hand, when comparing the visible image and the invisible image of the paper type B, it can be seen that the visible image has lower transparency than the invisible image. Therefore, in the case of the paper type B, the feature amount detection unit 201 can set the feature amount detection target as a visible image.

続いて、特徴量検出部２０１が、被写体のエッジを特徴量として抽出する場合について説明する。 Next, a case where the feature amount detection unit 201 extracts the edge of the subject as the feature amount will be described.

ここで、図４は被写体のエッジから得られる情報を示す図である。図４に示すように、エッジとは被写体と背景の境界のことを指す。このようなエッジを検出することで、図４に示すように、被写体の位置や傾き、サイズ等を認識することができる。そして、被写体の位置や傾きからは、被写体の位置・傾きに応じた画像補正を後段の処理で行うこともできる。 Here, FIG. 4 is a diagram showing information obtained from the edge of the subject. As shown in FIG. 4, the edge refers to the boundary between the subject and the background. By detecting such an edge, as shown in FIG. 4, the position, inclination, size, and the like of the subject can be recognized. Then, from the position and inclination of the subject, image correction according to the position and inclination of the subject can be performed in the subsequent processing.

図５は、エッジ検出の手法を例示的に示す図である。エッジの検出方法としては、図５（ａ）に示すように、例えば画像全体に一次微分フィルタをかけて、各画素に対して所定の閾値を超えているかどうかで二値化して得る方法が挙げられる。その際、閾値によっては横方向のエッジは縦に数画素連続して出る（逆もまた同様である）。これは主に光学系のＭＴＦ特性により、エッジがぼけるからである。そこで、図５（ｂ）に示すように、後述の回帰直線式の算出やサイズ検知などのために代表エッジ画素をとるため、例えば連続した画素の中央を選出するような方法がある（図５（ｂ）に示すａ部分）。 FIG. 5 is a diagram illustrating an example of an edge detection method. As an edge detection method, as shown in FIG. 5A, for example, a method of applying a first-order differential filter to the entire image and binarizing each pixel based on whether or not it exceeds a predetermined threshold value can be mentioned. Be done. At that time, depending on the threshold value, the horizontal edge appears several pixels vertically (and vice versa). This is because the edges are blurred mainly due to the MTF characteristics of the optical system. Therefore, as shown in FIG. 5B, in order to take representative edge pixels for calculation of the regression line equation and size detection described later, for example, there is a method of selecting the center of continuous pixels (FIG. 5). Part a shown in (b)).

図６は、エッジを利用した特徴量の例を示す図である。特徴量としては、画像から抽出したエッジそのものでなく、エッジを利用したものであってもよい。例としては、図６に示すように、抽出したエッジ点群から最小二乗法などを用いて計算した回帰直線式や、エッジ内部の領域（位置の集合）が挙げられる。回帰直線式については、各辺について全エッジ情報から１つの直線式を出す方法もあるが、複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する方法もある。その場合に最終的な直線式を導出する方法としては、傾きが中央値である直線や、各直線式の平均値として得る方法が挙げられる。 FIG. 6 is a diagram showing an example of a feature amount using an edge. As the feature amount, not the edge itself extracted from the image but the edge may be used. Examples include a regression line equation calculated from a group of extracted edge points using the least squares method, and a region (set of positions) inside the edge, as shown in FIG. As for the regression linear equation, there is a method of obtaining one linear equation from all edge information for each side, but there is also a method of dividing into a plurality of regions, calculating the linear equation, and selecting or integrating typical ones. In that case, as a method of deriving the final linear equation, there are a straight line having a median slope and a method of obtaining the average value of each linear equation.

図７は、回帰直線式における直線式の選択を示す図である。複数の領域に分けて直線式を算出して代表的なものを選択あるいは統合する処理によって、図７に示すように、被写体の端が欠損しているなどダメージがある場合でも、正しく被写体の傾きを認識することができる。 FIG. 7 is a diagram showing selection of a linear equation in a regression linear equation. By dividing into a plurality of areas, calculating a linear formula, and selecting or integrating typical ones, as shown in FIG. 7, even if there is damage such as a missing edge of the subject, the tilt of the subject is correct. Can be recognized.

以上の処理のように、特徴量検出部２０１が、被写体のエッジを特徴量として抽出することで、被写体の領域を検出することができる。 As described above, the feature amount detection unit 201 can detect the region of the subject by extracting the edge of the subject as the feature amount.

次に、被写体のサイズ検知について説明する。 Next, the size detection of the subject will be described.

ここで、図８はサイズ検知（横方向）の例を示す図である。図８に示すように、画像の縦方向の代表位置について、被写体の左辺エッジと右辺エッジの距離を求め、それらの中央値と別途算出した傾き角度から横方向のサイズを算出できる。また、同様にして縦方向のサイズも算出できる。 Here, FIG. 8 is a diagram showing an example of size detection (horizontal direction). As shown in FIG. 8, the distance between the left side edge and the right side edge of the subject can be obtained for the representative position in the vertical direction of the image, and the size in the horizontal direction can be calculated from the median value thereof and the inclination angle calculated separately. In addition, the size in the vertical direction can be calculated in the same manner.

このようにして検知したサイズ情報は、エラー検知や後述の画像補正処理などに活用することができる。エラー検知については、例えば複合機でスキャンする場合、事前にユーザから設定された原稿サイズと異なるサイズが検知されたら、正しいサイズの原稿をセットすることを知らせる、などが挙げられる。 The size information detected in this way can be used for error detection, image correction processing described later, and the like. Regarding error detection, for example, when scanning with a multifunction device, if a size different from the original size set by the user is detected, the user is notified that the correct size of the original is set.

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体の特徴量を検出することにより、可視画像から取れない情報を、不可視画像からも取ることができることにより、透過型の読取装置において、原稿の種類によらず、原稿・背景間での安定したエッジ検出が可能となる。 As described above, according to the present embodiment, by detecting the feature amount of the subject from at least one of the visible image and the invisible image, information that cannot be obtained from the visible image can be obtained from the invisible image as well. In the reading device of the above, stable edge detection between the original and the background is possible regardless of the type of the original.

また、撮像部２２は、被写体を透過した可視光及び不可視光を受光し、可視画像と不可視画像とを撮像することにより、簡素な構成で画像読み取りを行うことができる。 Further, the imaging unit 22 receives visible light and invisible light transmitted through the subject and captures the visible image and the invisible image, so that the image can be read with a simple configuration.

また、不可視光および不可視画像は、赤外光および赤外画像であることにより、簡素な構成で画像を読み取ることができる。 Further, since the invisible light and the invisible image are infrared light and an infrared image, the image can be read with a simple structure.

（第２の実施の形態）
次に、第２の実施の形態について説明する。 (Second Embodiment)
Next, the second embodiment will be described.

第２の実施の形態は、可視画像・不可視画像の両方から特徴量を抽出しておき、それらを自動的に選択または統合するようにする点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。 The second embodiment is different from the first embodiment in that the feature amounts are extracted from both the visible image and the invisible image, and they are automatically selected or integrated. Hereinafter, in the description of the second embodiment, the description of the same part as that of the first embodiment will be omitted, and the parts different from the first embodiment will be described.

ここで、図９は第２の実施の形態にかかる画像処理部の機能構成を示すブロック図である。図９に示すように、画像処理部２０は、特徴量検出部２０１に加えて、特徴量選択・統合部２０２を備える。 Here, FIG. 9 is a block diagram showing a functional configuration of the image processing unit according to the second embodiment. As shown in FIG. 9, the image processing unit 20 includes a feature amount selection / integration unit 202 in addition to the feature amount detection unit 201.

特徴量検出部２０１は、前述したように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量を検出する。 As described above, the feature amount detection unit 201 detects the feature amount of the subject detected from at least one of the visible image and the invisible image with respect to the visible image or the invisible image obtained by the imaging unit 22.

特徴量選択・統合部２０２は、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する。 The feature amount selection / integration unit 202 selects or integrates the feature amount detected from each image based on the feature amount of the subject detected from at least one of the visible image and the invisible image by the feature amount detection unit 201.

より詳細には、特徴量選択・統合部２０２は、図３で説明した選択処理を自動的に行う。これにより、可視画像または不可視画像単体では狙いの特徴量が抽出できなかった被写体に対しても、それらを組み合わせて利用することで、狙いとする特徴量を得ることが可能になる。 More specifically, the feature amount selection / integration unit 202 automatically performs the selection process described with reference to FIG. As a result, even for a subject for which the target feature amount could not be extracted by the visible image or the invisible image alone, the target feature amount can be obtained by using them in combination.

次に、特徴量選択・統合部２０２が、被写体のエッジを特徴量として抽出する際に、エッジのＯＲ処理を実行する場合について説明する。図１０は、エッジのＯＲ処理について説明する図である。 Next, a case where the feature amount selection / integration unit 202 executes the OR processing of the edge when extracting the edge of the subject as the feature amount will be described. FIG. 10 is a diagram illustrating OR processing of edges.

不可視画像と可視画像において抽出した各エッジに対してＯＲをとることで、一方の画像でエッジがとれない箇所を、もう一方の画像で補完することができる。例えば、図１０に示すように、グラデーション原稿の場合、可視画像では原稿の黒領域のエッジが取りやすく白領域のエッジが取りづらいが、不可視画像では逆になっている。 By taking an OR for each edge extracted in the invisible image and the visible image, the portion where the edge cannot be taken in one image can be complemented by the other image. For example, as shown in FIG. 10, in the case of a gradation original, the edge of the black region of the original is easy to be taken in the visible image and the edge of the white region is difficult to be taken in the invisible image, but the opposite is true in the invisible image.

そこで、特徴量選択・統合部２０２は、可視画像における黒領域のエッジと不可視画像の白領域のエッジを組み合わせることにより、一方の画像だけでは得られなかった原稿全体のエッジを抽出する。 Therefore, the feature amount selection / integration unit 202 extracts the edge of the entire document that cannot be obtained by only one image by combining the edge of the black region in the visible image and the edge of the white region in the invisible image.

このように、特徴量選択・統合部２０２が、不可視画像のエッジと可視画像のエッジのＯＲ処理によりエッジの統合を行うことにより、可視画像と不可視画像のいずれかでエッジ検出できる箇所があるため、より多くの箇所で被写体と背景間のエッジを検出することができる。 In this way, the feature amount selection / integration unit 202 integrates the edges by OR processing the edges of the invisible image and the edges of the visible image, so that there is a portion where the edge can be detected in either the visible image or the invisible image. , The edge between the subject and the background can be detected in more places.

ここで、図１１はエッジの正常検出の判定例を示す図である。「正常に検出」の判断基準としては、図１１に示すように、例えば得られたエッジ点群を直線で回帰した場合に、最小二乗法による誤差が閾値以内であること、直線の傾き角度が閾値以内であること、などで判定する方法が挙げられる。また、前述の複数の直線式から選択・統合する場合は、正常判定された直線式が閾値以上の個数存在すること、が挙げられる。 Here, FIG. 11 is a diagram showing a determination example of normal edge detection. As a criterion for "normal detection", as shown in FIG. 11, for example, when the obtained edge point group is regressed with a straight line, the error by the least squares method is within the threshold value, and the inclination angle of the straight line is determined. A method of determining that the value is within the threshold value can be mentioned. Further, in the case of selecting / integrating from the plurality of linear equations described above, it can be mentioned that the number of linear equations determined to be normal is equal to or larger than the threshold value.

次に、可視画像および不可視画像のいずれでも、正常にエッジが検出できなかった場合について説明する。 Next, the case where the edge cannot be detected normally in both the visible image and the invisible image will be described.

図１２は、エッジのＯＲ処理の失敗例を示す図である。可視画像と不可視画像に対してＯＲ処理をすると、狙いでないエッジを抽出してしまう可能性がある。例えば、図１２に示すように、不可視画像ではエッジが正常に検出できたが可視画像ではできなかった場合、原稿の傾きの計算などに影響が出てしまう。しかしながら、前述のようにＯＲ処理によりエッジ検出箇所が多くなるメリットもあるため、特徴量選択・統合部２０２は、可視画像でも不可視画像でも正常にエッジ検出ができなかった場合に限り、ＯＲ処理を行う。 FIG. 12 is a diagram showing an example of failure of OR processing of the edge. When OR processing is performed on visible and invisible images, there is a possibility that untargeted edges will be extracted. For example, as shown in FIG. 12, if the edge can be normally detected in the invisible image but not in the visible image, the calculation of the inclination of the original is affected. However, as described above, there is an advantage that the number of edge detection points is increased by the OR processing, so the feature amount selection / integration unit 202 performs the OR processing only when the edge cannot be detected normally in both the visible image and the invisible image. conduct.

このように特徴量選択・統合部２０２は、不可視画像のエッジも可視画像のエッジも正常に検出できなかった場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする。 In this way, the feature amount selection / integration unit 202 performs OR processing of the edge of the invisible image and the edge of the visible image when neither the edge of the invisible image nor the edge of the visible image can be detected normally.

ここで、図１３は複数の特性が混じったような被写体の一例を示す図である。図１３に示すように、例えば複数の特性が混じったような被写体では、被写体の下部を可視画像から抽出し、被写体の上部を不可視画像から抽出することができる。 Here, FIG. 13 is a diagram showing an example of a subject in which a plurality of characteristics are mixed. As shown in FIG. 13, for a subject in which a plurality of characteristics are mixed, for example, the lower part of the subject can be extracted from the visible image and the upper part of the subject can be extracted from the invisible image.

このように本実施形態によれば、可視画像及び不可視画像において、少なくとも一方から被写体の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する。これにより、可視画像／不可視画像の一方から自動的に特徴量を選択、あるいは両方の特徴量を統合することができる。 As described above, according to the present embodiment, the feature amount of the subject is detected from at least one of the visible image and the invisible image, and the feature amount detected from each image is selected or integrated. As a result, the feature amount can be automatically selected from one of the visible image and the invisible image, or both feature amounts can be integrated.

（第３の実施の形態）
次に、第３の実施の形態について説明する。 (Third Embodiment)
Next, a third embodiment will be described.

第３の実施の形態は、被写体の画像補正を行う画像補正部を備える点が、第１の実施の形態および第２の実施形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態および第２の実施形態と同一部分の説明については省略し、第１の実施の形態および第２の実施形態と異なる箇所について説明する。 The third embodiment is different from the first embodiment and the second embodiment in that it includes an image correction unit that corrects an image of the subject. Hereinafter, in the description of the third embodiment, the description of the same parts as those of the first embodiment and the second embodiment will be omitted, and the parts different from those of the first embodiment and the second embodiment will be described. explain.

ここで、図１４は第３の実施の形態にかかる画像処理部の機能構成を示すブロック図、図１５は画像処理部における処理の流れを示すフローチャートである。図１４に示すように、画像処理部２０は、特徴量検出部２０１および特徴量選択・統合部２０２に加えて、画像補正部２０３を備える。 Here, FIG. 14 is a block diagram showing a functional configuration of the image processing unit according to the third embodiment, and FIG. 15 is a flowchart showing a processing flow in the image processing unit. As shown in FIG. 14, the image processing unit 20 includes an image correction unit 203 in addition to the feature amount detection unit 201 and the feature amount selection / integration unit 202.

特徴量検出部２０１は、図１５に示すように、前述したように、撮像部２２で得られた可視画像ないし不可視画像に対して、可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量を検出する（ステップＳ１）。 As shown in FIG. 15, the feature amount detection unit 201 detects the feature amount of the subject detected from at least one of the visible image and the invisible image with respect to the visible image or the invisible image obtained by the imaging unit 22 as described above. Is detected (step S1).

特徴量選択・統合部２０２は、図１５に示すように、特徴量検出部２０１によって可視画像及び不可視画像の少なくとも一方から検出した被写体の特徴量に基づき、各画像から検出された特徴量を選択ないし統合する（ステップＳ２）。 As shown in FIG. 15, the feature amount selection / integration unit 202 selects the feature amount detected from each image based on the feature amount of the subject detected from at least one of the visible image and the invisible image by the feature amount detection unit 201. Or integrate (step S2).

画像補正部２０３は、図１５に示すように、特徴量選択・統合部２０２における統合結果を用いて、可視画像および不可視画像それぞれに対して画像補正を行う（ステップＳ３）。画像補正の例は、後述する。 As shown in FIG. 15, the image correction unit 203 corrects an image for each of the visible image and the invisible image by using the integration result in the feature amount selection / integration unit 202 (step S3). An example of image correction will be described later.

ここで、図１６は被写体の傾きと位置の補正の例を示す図である。図１６に示す例は、画像補正部２０３が、特徴量選択・統合部２０２で検出した特徴量によって、被写体の傾きと位置を補正するものである。 Here, FIG. 16 is a diagram showing an example of correcting the inclination and position of the subject. In the example shown in FIG. 16, the image correction unit 203 corrects the inclination and position of the subject according to the feature amount detected by the feature amount selection / integration unit 202.

被写体の傾きの補正については、画像補正部２０３は、前述したように、被写体の各辺から抽出したエッジ点群を直線で回帰した場合の傾きを求め、それを基に画像全体を回転させる方法を用いる。 Regarding the correction of the inclination of the subject, as described above, the image correction unit 203 obtains the inclination when the edge point group extracted from each side of the subject is returned in a straight line, and the entire image is rotated based on the inclination. Is used.

被写体の位置の補正については、画像補正部２０３は、被写体の上辺と左辺のエッジ点群の回帰直線の交点位置を求め、その点を原点へ移動する方法を用いる。 Regarding the correction of the position of the subject, the image correction unit 203 uses a method of obtaining the intersection position of the regression line of the edge points group on the upper side and the left side of the subject and moving the point to the origin.

ここで、図１７は不可視画像の用途を示す図である。特徴量選択・統合部２０２における統合結果に基づいて画像を補正することで、被写体の見やすさ向上などの効果が得られる。また、不可視成分は、可視成分と透過率が異なるため画像から異物や欠陥が発見できる可能性がある。図１７に示すように、不可視画像も補正しておくことで、パターンマッチング処理などによる異物や欠陥の認識精度向上につながるメリットがある。 Here, FIG. 17 is a diagram showing the use of the invisible image. By correcting the image based on the integration result in the feature amount selection / integration unit 202, effects such as improving the visibility of the subject can be obtained. In addition, since the invisible component has a different transmittance from the visible component, foreign matter and defects may be found in the image. As shown in FIG. 17, correcting the invisible image also has an advantage of improving the recognition accuracy of foreign matter and defects by pattern matching processing and the like.

ここで、図１８は被写体の傾きと位置の補正および切り出し例を示す図である。画像補正部２０３は、前述の傾きと位置の補正を組み合わせることにより、図１８に示すように、ジャストサイズで被写体の領域の切り出しを行う。なお、仮に特徴量がうまく検出できず、傾きや位置の補正ができない場合であっても、ジャストサイズにはならないが切り出し自体は可能である。 Here, FIG. 18 is a diagram showing an example of correcting and cutting out the inclination and position of the subject. The image correction unit 203 cuts out the area of the subject in just the size as shown in FIG. 18 by combining the above-mentioned inclination and position correction. Even if the feature amount cannot be detected well and the inclination or position cannot be corrected, the size cannot be adjusted, but the cutting itself is possible.

ここで、図１９は傾き補正の一例を示す図である。傾きの補正ができない例として、画像処理をハードウェアで行う場合、図１９に示すように、処理速度の都合で画像中の連続画素を最小幅以上でまとめて置き換える必要がある。しかしながら、傾きが大きすぎると補正困難となる、という課題がある。その際は、傾き補正はできないが、可能な限り背景の領域を削除したいということがある。 Here, FIG. 19 is a diagram showing an example of tilt correction. As an example in which the tilt cannot be corrected, when image processing is performed by hardware, as shown in FIG. 19, it is necessary to replace continuous pixels in the image together with a minimum width or more for the convenience of processing speed. However, there is a problem that correction becomes difficult if the inclination is too large. In that case, it is not possible to correct the tilt, but there are times when you want to delete the background area as much as possible.

この場合、画像補正部２０３は、例えば、最も右端にあるエッジ点がわかれば、その右側領域は被写体の領域外なので画像から削ってしまう、などの処理を行うようにしても良い。 In this case, the image correction unit 203 may perform processing such as, for example, if the rightmost edge point is known, the area on the right side thereof is outside the area of the subject and is removed from the image.

図２０は、右端エッジ点の探索を示す図である。もしメモリ量の都合で画像の一部領域からのみしかエッジ抽出できない場合でも、縦方向のサイズ情報が原稿搬送時のセンサ情報など他の手段でわかればよい。この場合、図２０に示すように、画像補正部２０３は、当該領域中のエッジ画素から傾き情報も用いて右端エッジ点を予測する。なお、右端に限らず、上端・左端・下端についても同様である。 FIG. 20 is a diagram showing a search for the rightmost edge point. Even if the edge can be extracted only from a part of the image due to the amount of memory, the vertical size information may be known by other means such as sensor information at the time of document transport. In this case, as shown in FIG. 20, the image correction unit 203 predicts the rightmost edge point from the edge pixels in the region by using the inclination information as well. The same applies not only to the right end but also to the upper end, the left end, and the lower end.

画像補正部２０３は、被写体の領域の切り出しを行うことで、不要な背景の領域を削除できる。その結果、例えば複合機においては、ユーザの被写体のサイズ入力の手間の削減、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。 The image correction unit 203 can delete an unnecessary background area by cutting out the area of the subject. As a result, for example, in a multifunction device, the labor of inputting the size of the subject of the user is reduced, the appearance of the image is improved, the storage area of the image storage destination is reduced, the size of the recording paper when copying the image is reduced, and the ink is used. -Effects such as reduction of toner consumption can be obtained.

このようにエッジを基に画像から自動で被写体のサイズを検知して切り出すことで、ユーザが原稿サイズ（特に不定形サイズ）を入力する手間を省くことができる。また、画像の見た目の良化、画像保存先のストレージ領域の削減、画像をコピーする際の記録紙の小サイズ化やインク・トナー消費量削減などの効果が得られる。 By automatically detecting and cutting out the size of the subject from the image based on the edge in this way, it is possible to save the user the trouble of inputting the original size (particularly the irregular size). In addition, effects such as improving the appearance of the image, reducing the storage area of the image storage destination, reducing the size of the recording paper when copying the image, and reducing the consumption of ink and toner can be obtained.

このように本実施形態によれば、画像補正部２０３は、可視画像及び不可視画像のうち少なくとも一方を補正することにより、画像の見やすさ向上などを図ることができる。 As described above, according to the present embodiment, the image correction unit 203 can improve the visibility of the image by correcting at least one of the visible image and the invisible image.

なお、上記実施の形態で説明した画像読取装置１００は、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置であればいずれにも適用することができる。 The image reading device 100 described in the above embodiment is an image of a multifunction device, a copying machine, a printer, a scanner device, a facsimile device, or the like having at least two functions of a copy function, a printer function, a scanner function, and a facsimile function. It can be applied to any forming device.

なお、読取装置の定義としては、画像として読み取らなくても、上述した図２１（ａ）に示す等倍光学系（密着光学系：ＣＩＳ方式）のラインセンサのように、読み取りレベルが取得できる装置であればよい。図２１（ａ）に示す装置は、紙面裏側に配置された照明からの光をラインセンサにて受光して読み取るものである。 The definition of the reading device is a device that can acquire the reading level like the line sensor of the same magnification optical system (adhesive optical system: CIS method) shown in FIG. 21 (a) described above without reading as an image. It should be. The device shown in FIG. 21A receives light from the illumination arranged on the back side of the paper surface by a line sensor and reads it.

さらに読取装置としては、図２１（ｂ）に示すシート材の検査装置などにも適用することができる。図２１（ｂ）に示す検査装置の被写体はシート材である。シート材の検査装置で検出された特徴量は、得られた画像自体の補正処理や搬送方向の補正などに用いられる。 Further, the reading device can be applied to the sheet material inspection device shown in FIG. 21 (b). The subject of the inspection device shown in FIG. 21B is a sheet material. The feature amount detected by the sheet material inspection device is used for correction processing of the obtained image itself, correction of the transport direction, and the like.

２ 照明部
３ 撮像部
２０ 画像処理部
１００ 読取装置 2 Lighting unit 3 Imaging unit 20 Image processing unit 100 Reader

特開２０１４−０５３７３９号公報Japanese Unexamined Patent Publication No. 2014-053739

Claims (11)

被写体に可視光と不可視光とを照射する照明部と、
前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する画像処理部と、
を備えることを特徴とする読取装置。 An illumination unit that irradiates the subject with visible and invisible light,
An imaging unit that receives visible light and invisible light transmitted by the subject and captures a visible image and an invisible image.
An image processing unit that detects a feature amount of the subject from at least one of the visible image and the invisible image, and an image processing unit.
A reading device comprising. 前記照明部は、前記不可視光として赤外光を照射し、
前記撮像部は、前記不可視画像として赤外画像を撮像する、
ことを特徴とする請求項１に記載の読取装置。 The illumination unit irradiates infrared light as the invisible light.
The imaging unit captures an infrared image as the invisible image.
The reading device according to claim 1. 前記画像処理部は、前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出し、各画像から検出された特徴量を選択ないし統合する、
ことを特徴とする請求項１または２に記載の読取装置。 The image processing unit detects the feature amount of the subject from at least one of the visible image and the invisible image, and selects or integrates the feature amount detected from each image.
The reading device according to claim 1 or 2. 前記画像処理部は、前記可視画像ないし前記不可視画像の特徴量として、被写体のエッジを検出する、
ことを特徴とする請求項３に記載の読取装置。 The image processing unit detects the edge of the subject as a feature amount of the visible image or the invisible image.
The reading device according to claim 3. 前記画像処理部は、前記エッジの統合を、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
ことを特徴とする請求項４に記載の読取装置。 The image processing unit integrates the edges into OR processing of the edges of the invisible image and the edges of the visible image.
The reading device according to claim 4. 前記画像処理部は、前記エッジの統合を、不可視画像のエッジも可視画像のエッジも正常に検出できなかった場合に、不可視画像のエッジと可視画像のエッジのＯＲ処理とする、
ことを特徴とする請求項４に記載の読取装置。 The image processing unit performs OR processing of the edge of the invisible image and the edge of the visible image when the edge of the invisible image and the edge of the visible image cannot be detected normally.
The reading device according to claim 4. 前記画像処理部は、前記エッジから被写体のサイズを検知する、
ことを特徴とする請求項４ないし６の何れか一項に記載の読取装置。 The image processing unit detects the size of the subject from the edge.
The reading device according to any one of claims 4 to 6, wherein the reader is characterized by the above. 前記画像処理部は、前記エッジを基に、被写体の傾き及び位置を補正する、
ことを特徴とする請求項４ないし７の何れか一項に記載の読取装置。 The image processing unit corrects the inclination and position of the subject based on the edge.
The reading device according to any one of claims 4 to 7, wherein the reader is characterized by the above. 前記画像処理部は、前記エッジを基に、被写体の切り出しを行う、
ことを特徴とする請求項４ないし８の何れか一項に記載の読取装置。 The image processing unit cuts out a subject based on the edge.
The reading device according to any one of claims 4 to 8. 前記画像処理部は、前記可視画像及び前記不可視画像のうち少なくとも一方を補正する、
ことを特徴とする請求項１ないし９の何れか一項に記載の読取装置。 The image processing unit corrects at least one of the visible image and the invisible image.
The reading device according to any one of claims 1 to 9, wherein the reader is characterized by the above. 被写体に可視光と不可視光とを照射する照明部と、
前記被写体により透過された可視光及び不可視光を受光し、可視画像と不可視画像とを撮像する撮像部と、
を備える読取装置における特徴量検出方法であって、
前記可視画像及び前記不可視画像において、少なくとも一方から前記被写体の特徴量を検出する工程を含む、
ことを特徴とする特徴量検出方法。 An illumination unit that irradiates the subject with visible and invisible light,
An imaging unit that receives visible light and invisible light transmitted by the subject and captures a visible image and an invisible image.
It is a feature amount detection method in a reading device provided with
A step of detecting a feature amount of the subject from at least one of the visible image and the invisible image is included.
A feature quantity detection method characterized by this.

Images