JP2006285385A - Image processor - Google Patents
Image processor Download PDFInfo
- Publication number
- JP2006285385A JP2006285385A JP2005101273A JP2005101273A JP2006285385A JP 2006285385 A JP2006285385 A JP 2006285385A JP 2005101273 A JP2005101273 A JP 2005101273A JP 2005101273 A JP2005101273 A JP 2005101273A JP 2006285385 A JP2006285385 A JP 2006285385A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing program
- images
- optical flow
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置に係り、特に、画像中から特定対象を抽出可能な画像処理装置に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus capable of extracting a specific target from an image.
近年、ＴＶカメラやＣＣＤ（Charge Coupled Device）カメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置や画像処理方法の研究が盛んに行われている（例えば、特許文献１〜５等参照）。
In recent years, a subject or a landscape is imaged by an image input unit such as a TV camera or a CCD (Charge Coupled Device) camera, and the obtained moving image is subjected to image processing. Researches on image processing apparatuses and image processing methods for extracting an object moving in the interior, its motion, and the like have been actively conducted (see, for example,
このような画像処理装置は、例えば、自動車等の分野においては、車両に取り付けたＣＣＤカメラ等で前方風景を撮像し、その動画像から歩行者や他の車両を抽出して、それらとの衝突等の事故回避に応用されたり（特許文献１〜３参照）、或いは、人工知能型ロボット等の分野では、ロボットが、搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりすることに用いられる（特許文献４参照）など、種々の分野で研究や実用化が図られている。 Such an image processing apparatus, for example, in the field of automobiles or the like, captures a front landscape with a CCD camera or the like attached to the vehicle, extracts pedestrians and other vehicles from the moving image, and collides with them. In the field of artificial intelligence robots, etc., robots discover and measure other moving objects while observing the environment with a built-in camera. Research and practical application are being made in various fields, such as determining the behavior of a robot in response thereto (see Patent Document 4).
動画像中から特定の対象を抽出するために、このような画像処理装置では、例えば、水平方向に離間した２台のＣＣＤカメラ等により得られた入力画像に画像処理を施して特定対象の輪郭部分を抽出したり、入力画像からオプティカルフローを算出して特定の対象を抽出したり、或いはパターンマッチング処理によりデータベースに登録されているモデルと照合して特定対象を推定する等の画像処理方法が採られている。 In order to extract a specific target from a moving image, in such an image processing apparatus, for example, an input image obtained by two CCD cameras or the like separated in the horizontal direction is subjected to image processing and the contour of the specific target Image processing methods such as extracting a part, calculating an optical flow from an input image and extracting a specific target, or collating with a model registered in a database by pattern matching processing and estimating a specific target It is taken.
しかし、これらの方法は、通常、処理プログラムの構築に非常に手間がかかるうえ、目的とする特定対象ごとに処理プログラムを構築しなければならなかった。そのため、従来から、処理プログラムを容易に構築可能であり、汎用性の高い処理プログラムを得ることができる画像処理方法や画像処理装置が望まれていた。 However, these methods usually require a lot of work to construct a processing program, and a processing program must be constructed for each specific target object. Therefore, there has been a demand for an image processing method and an image processing apparatus that can easily construct a processing program and can obtain a highly versatile processing program.
一方、静止画像に対する画像処理の分野では、近年、各種画像フィルタを図３２に示すような木構造状に組み合わせた処理プログラムに基づいて入力画像に画像処理を施して特定の対象を抽出する画像処理技術が提案されている（非特許文献１参照）。 On the other hand, in the field of image processing on still images, in recent years, image processing for extracting a specific target by performing image processing on an input image based on a processing program in which various image filters are combined in a tree structure as shown in FIG. Technology has been proposed (see Non-Patent Document 1).
この画像処理技術は、具体的には、例えば、印刷文字とその行間に書かれた手書きの文字とよりなる１枚の入力画像を図３２に示したように木構造状の処理プログラムに複数回入力して画像処理を施し、印刷文字のみを抽出した出力画像を出力させたり、複数の角膜内皮細胞が連なった状態が撮影された１枚の顕微鏡画像を同様の木構造状の処理プログラムに入力して細胞同士の境界部分の網目模様のみを抽出した出力画像を得る等の画像処理を行う画像処理技術である。 More specifically, this image processing technique, for example, converts a single input image composed of printed characters and handwritten characters written between the lines into a tree-structured processing program as shown in FIG. Input and apply image processing to output an output image that extracts only printed characters, or input a single microscope image of a state in which multiple corneal endothelial cells are linked to a similar tree-structured processing program This is an image processing technique for performing image processing such as obtaining an output image obtained by extracting only the mesh pattern at the boundary between cells.
非特許文献１では、さらに、この各種画像フィルタを木構造状に組み合わせた処理プログラムを自動的に最適化するために遺伝的プログラミングの技法を取り入れた画像変換の自動構築法が提案されている。なお、同文献にあわせて、以下、この画像変換の自動構築法をＡＣＴＩＴ（Automatic Construction of Tree-structural Image Transformations）という。
このように、ＡＣＴＩＴの手法は、画像中から特定の対象を抽出することができる木構造状の処理プログラムを遺伝的プログラミングの手法を用いて自動的に構築し、最適化することができるため、前述した動画像中から特定の対象を抽出するような課題に有効に応用し得ると予想される。 In this way, the ACTIT method can automatically construct and optimize a tree-structured processing program that can extract a specific object from an image using a genetic programming method. It is expected that the present invention can be effectively applied to the problem of extracting a specific target from the moving image described above.
しかしながら、ＡＣＴＩＴの手法は、前述したように、もともと静止画像に対して画像処理を行うようにできている。具体的に言えば、図３２に示した処理プログラムの「入力画像」には同一の静止画像が繰り返し入力されることが前提とされており、画像が１フレームごとに変わる動画像に適用できるとは限らない。そのため、ＡＣＴＩＴの手法を動画像にも適用できるように修正しなければならない。 However, as described above, the ACTIT method originally performs image processing on still images. More specifically, it is assumed that the same still image is repeatedly input to the “input image” of the processing program shown in FIG. 32, and can be applied to a moving image in which the image changes every frame. Is not limited. Therefore, the ACTIT method must be corrected so that it can be applied to moving images.
また、ＡＣＴＩＴの手法に、画像中から移動物体上の各点の移動方向や移動距離を抽出できるオプティカルフローの手法を組み込むことができれば、特に動画像中から画像中を移動する物体を抽出するような場合には、オプティカルフローの手法が効果的に作用することが予想され、抽出の精度が向上することが期待される。 In addition, if an ACTIT technique can incorporate an optical flow technique that can extract the movement direction and movement distance of each point on a moving object from an image, an object that moves in the image is extracted. In such a case, the optical flow technique is expected to work effectively, and the extraction accuracy is expected to improve.
そこで、本発明の目的は、各種画像フィルタを木構造状に組み合わせた処理プログラムを遺伝的プログラミングにより自動的に最適化できるＡＣＴＩＴの手法を動画像中からの特定対象の抽出に拡張するとともに、オプティカルフローの手法を取り入れて動画像中から移動物体を精度良く抽出可能な画像処理装置を提供することである。本発明は、このような処理プログラムを容易に得ることができる汎用性の高い画像処理装置を提供することをも目的とする。 Accordingly, an object of the present invention is to extend the ACTIT method that can automatically optimize a processing program in which various image filters are combined in a tree structure by genetic programming to extraction of a specific object from a moving image, and to optically It is an object of the present invention to provide an image processing apparatus that can accurately extract a moving object from a moving image by adopting a flow technique. Another object of the present invention is to provide a highly versatile image processing apparatus capable of easily obtaining such a processing program.
前記の問題を解決するために、第１の発明は、
撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、
画像フィルタを木構造状に組み合わせた処理プログラムに従って、前記撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備えることを特徴とする。
In order to solve the above problem, the first invention provides:
In an image processing device that performs image processing on an image captured by an imaging device and extracts a specific target from the image,
In accordance with a processing program in which image filters are combined in a tree structure, a plurality of images constituting a moving image captured by the imaging device and an optical flow image generated from the images are subjected to image processing, and the specific target And an image processing unit for forming an output image from which is extracted.
第１の発明によれば、画像処理装置には画像処理部が設けられ、画像処理部では、撮像装置から送信されてくる一連の動画像を構成する複数の画像から画像中の各点の時間的なフローを示すフローベクトルを算出してオプティカルフロー画像が生成され、このオプティカルフロー画像と前記複数の画像を各種画像フィルタを木構造状に組み合わせた処理プログラムに入力して画像処理を行い、特定の対象が抽出された出力画像が形成される。出力画像は、例えば、表示部のモニタ等に表示されたり、他の制御装置に送信されて制御のための情報として用いられたりする。 According to the first invention, the image processing device is provided with an image processing unit, and the image processing unit is configured to time each point in the image from a plurality of images constituting a series of moving images transmitted from the imaging device. An optical flow image is generated by calculating a flow vector indicating a typical flow, and the optical flow image and the plurality of images are input to a processing program combining various image filters in a tree structure to perform image processing and specify An output image from which the target is extracted is formed. The output image is displayed on, for example, a monitor of the display unit, or transmitted to another control device and used as information for control.
第２の発明は、第１の発明において、前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数の画像、オプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより最適化された処理プログラムを出力するように構成されていることを特徴とする。 A second invention includes a processing program forming unit for forming the processing program according to the first invention, and the processing program forming unit uses the plurality of images, the optical flow image, the target image, and the weight image. And a processing program optimized by genetic programming is output.
第２の発明によれば、第１の発明の画像処理装置に処理プログラム形成部が設けられ、処理プログラム形成部に動画像を構成する複数の画像やこれらの複数の画像から生成したオプティカルフロー画像、最適化された処理プログラムが出力すべき画像としての目標画像、出力画像と目標画像との距離を画素ごとに重み付けするための重みが画素ごとに定義された重み画像が入力されると、遺伝的プログラミングの手法により親選択や交叉、突然変異等の進化過程を経て最適化された処理プログラムが自動的に形成され出力される。 According to the second invention, the image processing apparatus of the first invention is provided with a processing program forming unit, and the processing program forming unit includes a plurality of images constituting a moving image and an optical flow image generated from the plurality of images. When a weighted image in which a weight for weighting a pixel for weighting the distance between the output image and the target image is defined for each pixel is input as an image to be output by the optimized processing program An optimized processing program is automatically formed and output through evolutionary processes such as parent selection, crossover, mutation, etc., by means of dynamic programming.
第３の発明は、第１の発明又は第２の発明において、前記画像処理部は、前記撮像装置により撮像された前記複数の画像を擬似的に上空から見た状態の画像にそれぞれ変換するように構成されていることを特徴とする。 In a third aspect based on the first aspect or the second aspect, the image processing unit respectively converts the plurality of images captured by the imaging device into images in a state of being viewed from the sky in a pseudo manner. It is comprised by these.
第３の発明によれば、画像処理装置の画像処理部は、撮像装置から送信されてきた前方の風景を撮像した画像を演算により擬似的に上空から見た状態の画像に変換し、その変換された画像を処理プログラムに入力して画像処理を行う。 According to the third invention, the image processing unit of the image processing device converts an image obtained by capturing a forward landscape transmitted from the image capturing device into an image in a state viewed from the sky in a pseudo manner by calculation, and the conversion The processed image is input to a processing program to perform image processing.
第４の発明は、第３の発明において、前記画像処理部は、前記変換した複数の画像および前記変換した複数の画像に基づいて生成したオプティカルフロー画像を前記処理プログラムに入力するように構成されていることを特徴とする。 In a fourth aspect based on the third aspect, the image processing unit is configured to input the plurality of converted images and an optical flow image generated based on the plurality of converted images to the processing program. It is characterized by.
第４の発明は、第３の発明において、撮像装置により撮像された複数の画像が擬似的に上空から見た状態の複数の画像に変換され、これらの画像からオプティカルフロー画像が生成される。そして、変換された画像とこれらの画像から生成されたオプティカルフロー画像が処理プログラムに入力されて画像処理が行われる。 In a fourth aspect based on the third aspect, a plurality of images picked up by the image pickup device are converted into a plurality of images viewed in a pseudo manner from above, and an optical flow image is generated from these images. Then, the converted image and the optical flow image generated from these images are input to the processing program and image processing is performed.
第５の発明は、第３又は第４の発明において、前記処理プログラム形成部は、前記変換された複数の画像、前記変換された複数の画像に基づいて生成されたオプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより学習を行い、最適化された処理プログラムを出力するように構成されていることを特徴とする。 According to a fifth invention, in the third or fourth invention, the processing program forming unit includes the plurality of converted images, an optical flow image generated based on the converted plurality of images, a target image, and Learning is performed by genetic programming using a weight image, and an optimized processing program is output.
第５の発明によれば、画像処理装置の処理プログラム形成部には擬似的に上空から見た状態の画像に変換された画像やこれらの画像から生成したオプティカルフロー画像、目標画像、重み画像が入力され、それらに基づいて遺伝的プログラミングの手法による進化過程を経て最適化された処理プログラムが自動的に形成され出力される。 According to the fifth aspect of the invention, the processing program forming unit of the image processing apparatus includes an image converted into an image viewed from the sky in an artificial manner, an optical flow image generated from these images, a target image, and a weight image. Based on the input, an optimized processing program is automatically formed and output through an evolution process based on a genetic programming technique.
第６の発明は、第１から第５のいずれかに記載の画像処理装置において、前記オプティカルフロー画像は、算出したフローの大きさの情報を階調値に表した画像であることを特徴とする。 According to a sixth aspect of the present invention, in the image processing device according to any one of the first to fifth aspects, the optical flow image is an image in which information of the calculated flow size is represented by a gradation value. To do.
第６の発明によれば、画像処理装置の画像処理部は、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その大きさの情報を階調値に表したオプティカルフロー画像を生成する。 According to the sixth invention, the image processing unit of the image processing device calculates a flow from a plurality of images captured by the imaging device or a plurality of images obtained by artificially converting the images into a state viewed from above. An optical flow image in which the size information is represented by gradation values is generated.
第７の発明は、第１の発明から第６の発明のいずれかの画処理装置において、前記オプティカルフロー画像は、算出したフローの向きの情報を階調値に表した画像であることを特徴とする。 According to a seventh aspect of the present invention, in the image processing device according to any one of the first to sixth aspects, the optical flow image is an image in which information on the calculated flow direction is represented by a gradation value. And
第７の発明によれば、画像処理装置の画像処理部は、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その向きの情報を階調値に表したオプティカルフロー画像を生成する。 According to the seventh invention, the image processing unit of the image processing device calculates a flow from a plurality of images captured by the imaging device or a plurality of images obtained by converting the images into a state viewed from the sky in a pseudo manner, An optical flow image in which the direction information is represented by gradation values is generated.
第８の発明は、第６の発明または第７の発明の画像処理装置において、前記オプティカルフロー画像における前記フローは、前記撮像装置の移動状態に基づいて換算された前記撮像装置の移動平面に対するフローであることを特徴とする。 An eighth invention is the image processing device according to the sixth or seventh invention, wherein the flow in the optical flow image is a flow with respect to a moving plane of the imaging device converted based on a moving state of the imaging device. It is characterized by being.
第８の発明によれば、画像処理装置の画像処理部は、画像処理装置やそれが搭載された装置の移動速度やヨーレート等の撮像装置の移動状態についての情報に基づいて撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを撮像装置の移動平面に対するフローに換算し、その換算されたフローの大きさや向きの情報を階調値に表したオプティカルフロー画像を生成する。 According to the eighth aspect, the image processing unit of the image processing device picks up an image from the image processing device based on information about the moving state of the image processing device such as the moving speed and yaw rate of the image processing device and the device on which the image processing device is mounted. The flow is converted into a flow with respect to the moving plane of the imaging device from a plurality of images or a plurality of images converted into a state seen from the sky in a pseudo manner, and information on the size and direction of the converted flow is converted to gradation. An optical flow image expressed as a value is generated.
第９の発明は、第１の発明から第７の発明のいずれかの画像処理装置において、前記オプティカルフロー画像は、算出したフローの信頼性が低い画素部分の階調値が０とされていることを特徴とする。 According to a ninth invention, in the image processing device according to any one of the first to seventh inventions, in the optical flow image, a gradation value of a pixel portion having a low calculated flow reliability is set to 0. It is characterized by that.
第９の発明によれば、画像処理装置の画像処理部は、輝度値の差が少なく特徴に乏しい建物の壁や道路表面等が撮像されている画素部分については算出されたフローの信頼性が低いとしてその画素部分の階調値を０としてオプティカルフロー画像を形成する。 According to the ninth aspect, the image processing unit of the image processing apparatus has a reliability of the calculated flow for a pixel portion in which a wall of a building or a road surface having a low characteristic difference and a poor feature is imaged. If it is low, the gradation value of the pixel portion is set to 0, and an optical flow image is formed.
第１０の発明は、第１の発明又は第２の発明において、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成されていることを特徴とする。 In a tenth aspect based on the first aspect or the second aspect, the respective images are converted into a state in which a viewpoint position is moved upward with respect to the plurality of images captured by the imaging device. It is configured.
第１０の発明によれば、画像処理装置の画像処理部は、撮像装置から送信されてきた前方の風景を撮像した画像を演算により視点位置を上方に移動させた状態にそれぞれの画像を変換し、その変換された画像を処理プログラムに入力して画像処理を行う。 According to the tenth aspect, the image processing unit of the image processing device converts each image into a state in which the viewpoint position is moved upward by the calculation of the image obtained by capturing the forward landscape transmitted from the imaging device. Then, the converted image is input to a processing program to perform image processing.
第１の発明によれば、画像処理装置に、各種画像フィルタを木構造状に組み合わせた処理プログラムに従って、撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、特定の対象が抽出された出力画像を形成するための画像処理部を備えた。 According to the first invention, according to a processing program in which various image filters are combined in a tree structure in an image processing apparatus, a plurality of images constituting a moving image captured by the imaging apparatus and an optical flow generated from these images An image processing unit is provided for performing image processing on the image and forming an output image from which a specific target is extracted.
このように構成すると、同一の静止画像を木構造状の処理プログラムに入力して画像中から特定の対象を効果的に抽出することができる前記ＡＣＴＩＴの手法を、画像中の全体的な構成はほぼ同様であるが被写体の位置関係がフレームごとに若干異なる複数の画像と、それらの複数の画像から生成されるオプティカルフロー画像とを木構造状の処理プログラムに入力して動画像を構成する画像中から特定の対象を抽出するように拡張することが可能となる。 With this configuration, the ACTIT method that can effectively extract a specific object from an image by inputting the same still image into a tree-structured processing program is as follows. An image that forms a moving image by inputting a plurality of images that are substantially the same but having a slightly different subject positional relationship for each frame and an optical flow image generated from the images into a tree-structured processing program It is possible to expand to extract a specific target from the inside.
特に、処理プログラムに入力される画像として、動画像を構成する複数の画像から生成したオプティカルフロー画像を入力するように構成したことで、動画像中で特異なフローを示す移動対象に対応する画像上の領域を処理プログラムに明確に指摘することができるようになる。そのため、本発明の画像処理装置は、動画像中から抽出する特定対象が移動物体である場合に特に的確に精度良く移動対象を抽出することが可能となる。 In particular, as an image to be input to the processing program, an optical flow image generated from a plurality of images constituting the moving image is input, so that an image corresponding to a moving object showing a unique flow in the moving image The above areas can be clearly pointed out to the processing program. Therefore, the image processing apparatus of the present invention can extract the moving target particularly accurately and accurately when the specific target extracted from the moving image is a moving object.
第２の発明によれば、画像処理装置には処理プログラム形成部が設けられ、処理プログラム形成部に動画像を構成する複数の画像やオプティカルフロー画像、目標画像、重み画像が入力されると、遺伝的プログラミングの手法により最適化された処理プログラムが自動的に形成され出力されるようにした。そのため、前記第１の発明の効果に加え、目標画像に示された出力すべき画像と同一の画像或いはそれに近似する画像を出力する最適化された処理プログラムを容易に得ることが可能となる。 According to the second invention, the image processing apparatus is provided with a processing program forming unit, and when a plurality of images constituting the moving image, an optical flow image, a target image, and a weight image are input to the processing program forming unit, A processing program optimized by the method of genetic programming is automatically generated and output. Therefore, in addition to the effect of the first invention, it is possible to easily obtain an optimized processing program that outputs the same image as the image to be output shown in the target image or an image similar thereto.
また、処理プログラム形成部における遺伝的プログラミングに用いる目標画像や重み画像を変更することにより、処理プログラムが動画像を構成する画像中から抽出すべき特定対象を容易に変更することが可能となる。すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築する必要がなく、目標画像と重み画像とを変更して処理プログラム形成部に入力するだけで、遺伝的プログラミングを用いて同じ手順で自動的に変更された特定対象を抽出する処理プログラムを構築することができる。そのため、処理プログラムの構築が容易になると同時に、画像処理装置が非常に汎用性が高い装置となる。 In addition, by changing the target image and weight image used for genetic programming in the processing program forming unit, it is possible to easily change the specific target that the processing program should extract from the images constituting the moving image. In other words, it is not necessary to manually construct a processing program for extraction each time a specific object is changed as in the prior art, and only the target image and weight image are changed and input to the processing program forming unit. Using genetic programming, it is possible to construct a processing program that extracts a specific object that has been automatically changed in the same procedure. Therefore, it becomes easy to construct a processing program, and at the same time, the image processing apparatus becomes a highly versatile apparatus.
第３の発明によれば、画像処理装置の画像処理部は、撮像装置から送信されてきた前方の風景を撮像した画像を演算により擬似的に上空から見た状態の画像に変換し、その変換された画像を処理プログラムに入力して画像処理を行うように構成した。また、逆変換により擬似的に上空から見た状態の画像を元の前方風景を撮像した画像に変換することができる。 According to the third invention, the image processing unit of the image processing device converts an image obtained by capturing a forward landscape transmitted from the image capturing device into an image in a state viewed from the sky in a pseudo manner by calculation, and the conversion The processed image is input to a processing program to perform image processing. In addition, an image viewed in a pseudo manner from the sky can be converted into an image obtained by capturing the original forward scenery by inverse conversion.
このように構成すれば、前方の風景を撮像した画像と比較して、擬似的に上空から見た状態の画像を用いることで、処理プログラムの画像処理において撮像装置前方の空間内を移動する物体の動きが把握され易くなる。そのため、特に動画像中から移動物体を抽出するという課題に対して前記各発明の効果をより効果的にかつ精度良く発揮することが可能となる。 According to this configuration, an object moving in the space in front of the imaging device in the image processing of the processing program is used by using an image in a state seen from the sky in a pseudo manner as compared with an image obtained by capturing the landscape in front. It becomes easy to grasp the movement. Therefore, the effect of each of the inventions can be exhibited more effectively and accurately, particularly for the problem of extracting a moving object from a moving image.
第４の発明によれば、第３の発明の画像処理装置は、画像処理部で、撮像装置により撮像された複数の画像を擬似的に上空から見た状態の複数の画像に変換し、これらの画像からオプティカルフロー画像を生成し、変換された画像とこれらの画像から生成されたオプティカルフロー画像を処理プログラムに入力して画像処理を行うように構成した。 According to the fourth invention, in the image processing device of the third invention, the image processing unit converts the plurality of images picked up by the image pickup device into a plurality of images in a pseudo-viewed state, and these An optical flow image is generated from these images, and the converted image and the optical flow image generated from these images are input to a processing program to perform image processing.
このように構成することで、前方の風景を撮像した画像から生成されるオプティカルフロー画像と比較して、擬似的に上空から見た状態の画像から生成されるオプティカルフロー画像では撮像装置や画像処理装置の移動状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとの区別が明確になり、オプティカルフロー画像における移動物体の切り出しが明確に行われるようになる。そのため、特に動画像中から移動物体を抽出するという課題に対して前記各発明の効果をより効果的にかつ精度良く発揮することが可能となる。 With this configuration, an optical flow image generated from an image viewed from the sky in an artificial manner is compared with an optical flow image generated from an image obtained by capturing an image of a front landscape. The distinction between the flow caused by the movement state of the apparatus and the flow caused by the movement of the object moving in the space in front of the imaging apparatus becomes clear, and the moving object is clearly cut out in the optical flow image. Therefore, the effect of each of the inventions can be exhibited more effectively and accurately, particularly for the problem of extracting a moving object from a moving image.
第５の発明によれば、画像処理装置の処理プログラム形成部に、擬似的に上空から見た状態の画像に変換された画像やこれらの画像から生成したオプティカルフロー画像、目標画像、重み画像が入力され、それらに基づいて遺伝的プログラミングの手法による進化過程を経て最適化された処理プログラムが自動的に形成され出力されるように構成した。 According to the fifth aspect of the invention, the processing program forming unit of the image processing apparatus includes an image converted into an image viewed in a pseudo manner from the sky, an optical flow image generated from these images, a target image, and a weight image. Based on the input, the processing program optimized through the evolution process by the method of genetic programming was automatically formed and output.
このように構成することで、擬似的に上空から見た状態の画像中から特定の対象を抽出する最適化された処理プログラムを、第２の発明と同様に容易に構築することが可能となり、また、目標画像や重み画像を変更することにより抽出する特定の対象を容易に変更できるため、画像処理装置が非常に汎用性が高い装置となる。 By configuring in this way, it becomes possible to easily construct an optimized processing program for extracting a specific target from an image in a state seen from the sky in the same manner as in the second invention, In addition, since the specific target to be extracted can be easily changed by changing the target image or the weight image, the image processing apparatus becomes a highly versatile apparatus.
第６の発明によれば、画像処理装置の画像処理部は、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その大きさの情報を階調値に表したオプティカルフロー画像を生成するように構成される。 According to the sixth invention, the image processing unit of the image processing device calculates a flow from a plurality of images captured by the imaging device or a plurality of images obtained by artificially converting the images into a state viewed from above. An optical flow image in which the size information is represented by gradation values is generated.
このように構成すれば、フローの向き等を考慮せずに比較的少ない情報量のオプティカルフロー画像を用いて前方風景を撮像した画像あるいはそれらの画像を擬似的に上空から見た状態に変換した画像の中で大きく位置を移動させている移動物体を効率良く見出すことが可能となる。そのため、前記各発明の効果に加え、処理プログラムにおける処理の負担が軽減され、処理速度を迅速化させることができる。 With this configuration, an image obtained by capturing a front scene using an optical flow image having a relatively small amount of information without considering the flow direction or the like, or a state in which these images are pseudo-viewed from above is converted. It is possible to efficiently find a moving object whose position is greatly moved in the image. Therefore, in addition to the effects of the above inventions, the processing load on the processing program is reduced, and the processing speed can be increased.
第７の発明によれば、画像処理装置の画像処理部を、撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを算出し、その向きの情報を階調値に表したオプティカルフロー画像を生成するように構成した。このように構成することで、撮像装置や画像処理装置の移動状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとの区別が明確になり、オプティカルフロー画像における移動物体の切り出しが明確に行われるようになる。 According to the seventh invention, the image processing unit of the image processing device calculates a flow from a plurality of images captured by the imaging device or a plurality of images obtained by pseudo-converting these images from the sky, An optical flow image in which the direction information is represented by gradation values is generated. By configuring in this way, the distinction between the flow caused by the moving state of the imaging device or the image processing device and the flow caused by the movement of the object moving in the space in front of the imaging device is clarified. The moving object is clearly cut out.
例えば、前方風景を撮像した画像から生成したオプティカルフロー画像では、撮像装置が左旋回している状態ではオプティカルフロー画像の全域に一様に右向きのフローが現れ、また擬似的に上空から見た状態に変換した画像から生成したオプティカルフロー画像では、撮像装置が前進している場合にはオプティカルフロー画像の全域にほぼ一様な大きさのフローが現れるが、その中で特異なフローを示す画素領域が見出され易くなり、移動物体の切り出しが明確になる。このように、第７の発明によれば、前記各発明の効果に加え、特に動画像中から移動物体を抽出するという課題に対して効果的にかつ精度良く抽出を行うことが可能となる。 For example, in an optical flow image generated from an image obtained by capturing a forward landscape, a rightward flow appears uniformly throughout the optical flow image when the imaging device is turning counterclockwise, and the image is viewed in a pseudo manner from above. In the optical flow image generated from the converted image, when the imaging device is moving forward, a flow with a substantially uniform size appears in the entire area of the optical flow image. It is easy to find out and the moving object is clearly cut out. As described above, according to the seventh invention, in addition to the effects of the above-described inventions, it is possible to effectively and accurately extract a moving object from a moving image.
第８の発明によれば、画像処理装置の画像処理部は、画像処理装置やそれが搭載された装置の移動速度やヨーレート等の撮像装置の移動状態についての情報に基づいて撮像装置が撮像した複数の画像あるいはそれらの画像を擬似的に上空から見た状態に変換した複数の画像からフローを撮像装置の移動平面に対するフローに換算し、その換算されたフローの大きさや向きの情報を階調値に表したオプティカルフロー画像を生成するように構成される。 According to the eighth aspect, the image processing unit of the image processing device picks up an image from the image processing device based on information about the moving state of the image processing device such as the moving speed and yaw rate of the image processing device and the device on which the image processing device is mounted. The flow is converted into a flow with respect to the moving plane of the imaging device from a plurality of images or a plurality of images converted into a state seen from the sky in a pseudo manner, and information on the size and direction of the converted flow is converted to gradation. An optical flow image represented in the value is generated.
このように構成することで、前記第６の発明や第７の発明に記載されたオプティカルフロー画像のフローの情報を撮像装置の移動平面に対するフローの大きさや向きに修正することができ、撮像装置と移動物体との相対的なフローではなく撮像装置の移動の基準となっている平面に対するいわば絶対的なフローについての情報を有するオプティカルフロー画像とすることができる。そのため、前記各発明の効果に加え、特に動画像中から移動物体を抽出するという課題に対して画像中の移動物体と前記平面を含む静止物体とをより明確に区別することが可能となり、動画像中からの移動物体の抽出をより効果的にかつ精度良く行うことが可能となる。 With this configuration, the flow information of the optical flow image described in the sixth invention or the seventh invention can be corrected to the size and direction of the flow with respect to the moving plane of the imaging device. It is possible to obtain an optical flow image having information on the absolute flow with respect to the plane that is the reference for the movement of the imaging apparatus, not the relative flow between the moving object and the moving object. Therefore, in addition to the effects of the above inventions, it is possible to more clearly distinguish a moving object in an image from a stationary object including the plane, particularly for the problem of extracting a moving object from a moving image. It is possible to extract a moving object from an image more effectively and accurately.
第９の発明によれば、画像処理装置の画像処理部は、輝度値の差が少なく特徴に乏しい建物の壁や道路表面等が撮像されている画素部分については算出されたフローの信頼性が低いとしてその画素部分の階調値を０としてオプティカルフロー画像を形成するように構成される。 According to the ninth aspect, the image processing unit of the image processing apparatus has a reliability of the calculated flow for a pixel portion in which a wall of a building or a road surface having a low characteristic difference and a poor feature is imaged. The optical flow image is formed by setting the gradation value of the pixel portion to 0 when the pixel value is low.
このように構成することで、フロー算出のために行うマッチングにおいて誤ったマッチングを行う可能性があるものを排除し、算出されたフローの信頼性を高め、オプティカルフロー画像の有効性を高めることができる。そのため、より信頼性の高いオプティカルフロー画像に基づいて画像処理を行い、処理プログラムを構築することが可能となり、前記各発明の効果をより精度良く発揮させることが可能となる。 By configuring in this way, it is possible to eliminate the possibility of erroneous matching in matching performed for flow calculation, increase the reliability of the calculated flow, and increase the effectiveness of the optical flow image. it can. Therefore, it is possible to perform image processing based on a more reliable optical flow image and construct a processing program, and to exhibit the effects of the above inventions with higher accuracy.
第１０の発明は、第１の発明又は第２の発明において、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成される。 In a tenth aspect based on the first aspect or the second aspect, the respective images are converted into a state in which a viewpoint position is moved upward with respect to the plurality of images captured by the imaging device. Composed.
このように構成すれば、前方の風景を撮像した画像と比較して、擬似的に上空から見た状態の画像を用いることで、処理プログラムの画像処理において撮像装置前方の空間内を移動する物体の動きが把握され易くなる。そのため、特に動画像中から移動物体を抽出するという課題に対して前記各発明の効果をより効果的にかつ精度良く発揮することが可能となる According to this configuration, an object moving in the space in front of the imaging device in the image processing of the processing program is used by using an image in a state seen from the sky in a pseudo manner as compared with an image obtained by capturing the landscape in front. It becomes easy to grasp the movement. For this reason, the effects of the inventions described above can be exhibited more effectively and accurately, particularly for the problem of extracting moving objects from moving images.
以下、本発明の画像処理装置に係る実施の形態について、図面を参照して説明する。なお、第１および第２の実施形態では、自動車車両に搭載され、車両前方の風景画像の中から対向車両を抽出する画像処理装置について述べるが、本発明はそれらに限定されない。 Hereinafter, embodiments of the image processing apparatus of the present invention will be described with reference to the drawings. In the first and second embodiments, an image processing apparatus that is mounted on an automobile and extracts an oncoming vehicle from a landscape image in front of the vehicle will be described, but the present invention is not limited to these.
［第１の実施の形態］
図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１は、画像入力部２と、画像処理部３と、メモリ４と、処理プログラム形成部５と、表示部６と、入力部７とを備えている。本実施形態では、画像処理装置１としては、ＣＰＵやＲＡＭ、ＲＯＭ、入出力インターフェース等から構成されたコンピュータを用いることができる。
[First Embodiment]
FIG. 1 is a block diagram illustrating the configuration of the image processing apparatus according to the first embodiment. The
画像入力部２は、撮像した画像を電気信号に変換可能な撮像装置２１を備えており、撮像装置２１としては、例えば、電荷結合素子等の固体撮像素子を用いたＣＣＤカメラが用いられる。本実施形態では、画像入力部２の撮像装置２１は、図示しない自動車車両のルームミラー付近のフロントガラス内側に前方を撮像可能な状態に取り付けられている。
The
撮像装置２１は、例えば、通常のテレビ画像と同様に１／３０秒ごとに車両前方を撮像して動画像を形成し、前記動画像を構成する画像が画像処理部３に１フレームずつ送信されるようになっている。すなわち、画像処理部３には、画像入力部２から１秒間に３０フレームの画像が送信されるようになっている。
For example, the
撮像装置２１から出力された画像信号は、通常のコンピュータ画像処理と同様に、図示しないＡ／ＤコンバータにおけるＡ／Ｄ変換により例えば２５６階調のデジタルの階調値に変換され、輝度補正やノイズ除去、アフィン変換等の幾何学的な補正等の処理が施されるようになっている。
The image signal output from the
画像処理部３は、撮像装置２１により撮像されて順次送信されてくる図２に示すような画像に画像処理を施して、特定の対象、例えば、本実施形態では図２中右側に撮像されているトラックのような対向車両が抽出された出力画像を形成するようになっている。
The
すなわち、画像処理部３は、画像処理部３に接続されているメモリ４から処理プログラム形成部５で形成されメモリ４に記憶されている各種画像フィルタを木構造状に組み合わせた処理プログラムを読み出してＲＡＭに展開し、図２に示されたような現在の時刻の入力画像とそれ以前に撮像された入力画像からオプティカルフロー画像を生成し、それらの画像を処理プログラムに入力して画像処理を行い、対向車両が抽出された出力画像を形成するように構成されている。
That is, the
また、画像処理部３は、前記画像処理を行うと同時に、画像入力部２から送信されてきた前記複数の画像をメモリ４に送信し順次記憶させるようになっている。さらに、本実施形態では、画像処理部３には、モニタ等を備えた表示部６やキーボードやマウス等を備えた入力部７が接続されている。
In addition, the
ここで、処理プログラムの構造について説明する。処理プログラムは、図３に例示されるように、各種画像フィルタを木構造状に組み合わせたプログラムであり、動画像を構成する複数のフレームの画像ｔ、ｔ−１、…、ｔ−ｋ（ｋは１以上の整数）およびこれらの画像から生成されたオプティカルフロー画像に対して順次各画像フィルタによる画像処理を施し、出力画像を形成するように構成されている。 Here, the structure of the processing program will be described. As illustrated in FIG. 3, the processing program is a program in which various image filters are combined in a tree structure, and images t, t−1,..., T−k (k Is an integer greater than or equal to 1) and an optical flow image generated from these images is sequentially subjected to image processing by each image filter to form an output image.
画像フィルタは、本実施形態では、図４および図５に例示されている単数または２個の画像データを入力する画像フィルタの中から選択されて用いられるようになっている。なお、図４に示す単数の画像を入力する画像フィルタを１入力画像フィルタ、図５に示す２個の画像を入力する画像フィルタを２入力画像フィルタという。 In the present embodiment, the image filter is selected and used from among image filters that input one or two image data illustrated in FIGS. 4 and 5. Note that the image filter for inputting a single image shown in FIG. 4 is called a one-input image filter, and the image filter for inputting two images shown in FIG. 5 is called a two-input image filter.
本実施形態の処理プログラムにおいては、入力画像ｔ、ｔ−１、…、ｔ−ｋとして、現在の時刻ｔの入力画像ｔおよびそれ以前のＭフレームごとの入力画像ｔ−１、…、ｔ−ｋが処理プログラムに入力されるようになっており、ｋおよびＭの値は、あらかじめ任意に指定されるようになっている。 In the processing program of the present embodiment, as the input images t, t−1,..., T−k, the input image t at the current time t and the input images t−1 for each M frame before the input image t,. k is input to the processing program, and the values of k and M are arbitrarily specified in advance.
本実施形態では、ｋ＝２、Ｍ＝１に設定されており、処理プログラムには、図６（Ａ）に示すように出力画像が要求された現在の時刻ｔの入力画像ｔと、その直前の連続する２フレーム分の入力画像ｔ−１、ｔ−２とを処理プログラムに順次入力するようになっている。なお、例えば、ｋおよびＭの値をｋ＝３、Ｍ＝３と設定すれば、図６（Ｂ）に示すように、現在の時刻ｔの入力画像ｔおよびそれ以前の３フレームごとの入力画像ｔ−１、ｔ−２、ｔ−３の計４枚の画像が処理プログラムに入力されるようになる。 In this embodiment, k = 2 and M = 1 are set, and as shown in FIG. 6A, the processing program includes an input image t at the current time t at which the output image is requested and immediately before it. The input images t-1 and t-2 for two consecutive frames are sequentially input to the processing program. For example, if the values of k and M are set as k = 3 and M = 3, as shown in FIG. 6B, the input image t at the current time t and the input image every three frames before that time A total of four images, t-1, t-2, and t-3, are input to the processing program.
なお、他の選択方法により相異なる複数の入力画像を選択して処理プログラムに入力するように構成することも可能である。また、本実施形態の処理プログラムには、計算速度を向上させるために、図４や図５に示したような一般的な画像フィルタが用いられるが、目的に応じて機能が特化された画像フィルタを追加することも可能である。 It should be noted that a plurality of different input images can be selected and input to the processing program by other selection methods. The processing program of this embodiment uses a general image filter as shown in FIG. 4 or FIG. 5 in order to improve the calculation speed, but an image whose function is specialized according to the purpose. It is also possible to add filters.
画像処理部３は、前述した複数の入力画像のほかに、これらの複数の画像からオプティカルフロー画像を生成してそのオプティカルフロー画像も処理プログラムに入力するようになっている。本実施形態では、画像処理部３は、入力画像ｔおよび入力画像ｔ−１からブロックマッチング処理によりオプティカルフロー画像を生成するようになっている。
In addition to the plurality of input images described above, the
ブロックマッチング処理では、基準となる現在の時刻ｔの入力画像ｔを、例えば４×４画素の画素ブロックに分割し、各画素ブロックについて入力画像ｔ−１とのマッチング処理が行われる。マッチング処理の方法としては、ＳＡＤ法、ＳＳＤ法、正規化相関法等の種々の方法が知られており、いずれの方法を採ることも可能である。 In the block matching process, the input image t at the current time t serving as a reference is divided into pixel blocks of, for example, 4 × 4 pixels, and the matching process with the input image t−1 is performed for each pixel block. Various methods such as an SAD method, an SSD method, and a normalized correlation method are known as matching processing methods, and any of these methods can be adopted.
本実施形態で採用されているＳＡＤ法について簡単に説明すれば、図７に示すように、入力画像ｔ上の画素ブロックにおける左上端の画素を原点とし、横方向にｉ軸、縦方向にｊ軸をとると、画素ブロック内の画素ｐi,jの座標はそれぞれ（０，０）、（１，０）、…、（３，３）と表される。ここで、この入力画像ｔ上の画素ｐi,jの輝度値をＡt i,jのように表す。 Briefly describing the SAD method employed in the present embodiment, as shown in FIG. 7, the upper left pixel in the pixel block on the input image t is set as the origin, the i axis in the horizontal direction, and the j axis in the vertical direction. Taking the axis, the coordinates of the pixels p i, j in the pixel block are expressed as (0, 0), (1, 0),..., (3, 3), respectively. Here, the luminance value of the pixel p i, j on the input image t is expressed as A t i, j .
また、マッチング処理の対象とされる入力画像ｔ−１上に座標（ｋ，ｌ）を原点とする４×４画素のブロックをとり、前記と同様にｉおよびｊをとると、そのブロック上の画素の座標は（ｋ＋ｉ，ｌ＋ｊ）と表される。 Also, if a block of 4 × 4 pixels with the coordinates (k, l) as the origin is taken on the input image t−1 to be subjected to the matching process, and i and j are taken in the same manner as described above, The coordinates of the pixel are expressed as (k + i, l + j).
このように定義した場合、入力画像ｔ上の画素ブロック内の画素の輝度値Ａt i,jと、入力画像ｔ−１上のブロック内の対応する画素の輝度値Ａt-1 k+i,l+jとの差の絶対値の総和、すなわちシティブロック距離Ｃk,lは下記（１）式で表される。 When defined in this way, the luminance value A t i, j of the pixel in the pixel block on the input image t and the luminance value A t−1 k + i of the corresponding pixel in the block on the input image t−1. , l + j , the sum of absolute values of differences, that is, the city block distance C k, l is expressed by the following equation (1).
ＳＡＤ法では、１画素ずつずらしながら入力画像ｔ−１上をラスタ走査し、シティブロック距離Ｃk,lが最小となるブロックを入力画像ｔ上の画素ブロックに対応するブロックとする。そして、それらの画素ブロックおよびブロックを同一画像上に置いた場合の入力画像ｔ−１上のブロックから入力画像ｔ上の画素ブロックへのフローベクトルＦを、その入力画像ｔ上の画素ブロックにおけるオプティカルフローと定めるようになっている。以上の作業を入力画像ｔのすべての画素ブロックについて行うことで、画素ブロックごとにオプティカルフローが算出されたオプティカルフロー画像が生成される。 In the SAD method, raster scanning is performed on the input image t−1 while shifting one pixel at a time, and a block having the minimum city block distance C k, l is determined as a block corresponding to the pixel block on the input image t. Then, the flow vector F from the block on the input image t-1 to the pixel block on the input image t when these pixel blocks and blocks are placed on the same image is expressed as an optical in the pixel block on the input image t. It is set as a flow. By performing the above operation for all the pixel blocks of the input image t, an optical flow image in which the optical flow is calculated for each pixel block is generated.
なお、本実施形態では、シティブロック距離Ｃk,lの演算時間を短縮するため、前記ラスタ走査を入力画像ｔ−１の全域に亘って行う代わりに入力画像ｔ−１上に投影された入力画像ｔ上の画素ブロックを含む一定範囲の領域についてのみ行うように構成されている。 In the present embodiment, in order to shorten the calculation time of the city block distance C k, l , the input projected onto the input image t−1 instead of performing the raster scanning over the entire area of the input image t−1. It is configured so as to be performed only for a certain range of region including the pixel block on the image t.
また、入力画像ｔ上の画素ブロックが、建物の壁や道路表面等が撮像されていて１６個の画素間に輝度値の差が少なく特徴に乏しい画素ブロックである場合には、入力画像ｔ−１上に似たような輝度特性を有するブロックが多数存在するため、前記（１）式に従って対応するブロックが見出されたとしてもマッチングを誤っている可能性が残る。 In addition, when the pixel block on the input image t is a pixel block in which a wall of a building, a road surface, or the like is imaged and the luminance value difference between the 16 pixels is small and the feature is poor, the input image t− Since there are many blocks having similar luminance characteristics on 1, even if a corresponding block is found according to the equation (1), there is a possibility that the matching is wrong.
そこで、本実施形態では、下記の２条件を満たす場合のみ前記マッチング処理で算出されたフローベクトルＦに信頼性があり、そのフローベクトルＦを入力画像ｔ上の画素ブロックに対応するオプティカルフローとする。また、２条件のいずれかを満たさない場合はフローの信頼性が低いとしてその画素ブロックのオプティカルフローを０とするようになっている。 Therefore, in the present embodiment, only when the following two conditions are satisfied, the flow vector F calculated by the matching process is reliable, and the flow vector F is an optical flow corresponding to the pixel block on the input image t. . Further, when either of the two conditions is not satisfied, the optical flow of the pixel block is set to 0 because the flow reliability is low.
（条件１）その画素ブロックの前記シティブロック値Ｃk,lの最小値Ｃminがあらかじめ設定された閾値Ｃa以下である。
（条件２）その画素ブロックを構成する１６個の画素の最大輝度値と最小輝度値との差があらかじめ設定された閾値Ａt以上である。
(Condition 1) The minimum value C min of the city block value C k, l of the pixel block is not more than a preset threshold value Ca.
(Condition 2) the difference between the maximum luminance value and minimum luminance values of 16 pixels constituting the pixel block is preset threshold A t least.
従って、本実施形態では、画像処理部３は、まず、入力画像ｔを画素ブロックに分割した後、画素ブロックが条件２を満たすか否かを判断して、条件を満たさない場合にはその画素ブロックに関してはマッチング処理を行わず、その画素ブロックに大きさ０のオプティカルフローを割り当てる。また、画像処理部３は、条件２を満たす画素ブロックであっても、条件１を満たさない場合、すなわちシティブロック距離Ｃk,lが閾値Ｃaより大きいである場合にはマッチングを誤っている可能性が高く信頼性が低いからその画素ブロックに大きさ０のオプティカルフローを割り当てるようになっている。
Therefore, in this embodiment, the
本実施形態では、オプティカルフロー画像は、このようにして画素ブロックごとに算出されたオプティカルフローの大きさ、すなわちフローベクトルＦの長さを各画素ブロックの階調値に変換した画像として生成されるようになっている。前述した大きさ０のオプティカルフローが割り当てられている画素ブロックは階調値が０である。
In the present embodiment, the optical flow image is generated as an image obtained by converting the size of the optical flow calculated for each pixel block in this way, that is, the length of the flow vector F into the gradation value of each pixel block. It is like that. The pixel block to which the optical flow of
図８は、図２に示した入力画像ｔおよび図示を省略した入力画像ｔ−１に基づいて生成されたオプティカルフロー画像を示す図である。図８における斜線部分は階調値が０の画素ブロック部分であり、白抜き部分は０でない階調値を有する画素ブロック部分である。なお、白抜き部分は画素ブロックごとにオプティカルフローの大きさに対応する階調値を有しており、実際のオプティカルフロー画像では濃淡が色分けされている。 FIG. 8 is a diagram showing an optical flow image generated based on the input image t shown in FIG. 2 and the input image t-1 not shown. The hatched portion in FIG. 8 is a pixel block portion having a gradation value of 0, and the white portion is a pixel block portion having a gradation value other than 0. Note that the white portion has a gradation value corresponding to the size of the optical flow for each pixel block, and the light and shade are color-coded in the actual optical flow image.
図８を図２と比較して分かるように、図中Ａで示された部分は対向車両のトラックの先頭部分に対応し、図中Ｂで示された部分は樹木の葉の部分に対応している。また、図中Ｃで示される部分は、主に道路表面であり、画素ブロックの階調値が０とされている。 As can be seen by comparing FIG. 8 with FIG. 2, the part indicated by A in the figure corresponds to the head part of the truck of the oncoming vehicle, and the part indicated by B in the figure corresponds to the leaf part of the tree. Yes. In addition, the portion indicated by C in the figure is mainly the road surface, and the gradation value of the pixel block is 0.
前述したように、画像処理部３は、このようにして生成したオプティカルフロー画像と入力画像ｔ、ｔ−１、ｔ−２とを処理プログラムに入力して出力画像を形成するようになっている。なお、処理プログラムへの入力の際、入力画像とオプティカルフロー画像との解像度をあわせるために、オプティカルフロー画像の１つの画素ブロックを同一の階調値を有する１６個の画素として処理するようにしてもよいが、本実施形態では、処理プログラムにおける演算速度を向上させるために入力画像ｔ、ｔ−１、ｔ−２をそれぞれオプティカルフロー画像の解像度にあわせるように圧縮処理した画像を用いて処理を行うようになっている。
As described above, the
画像処理部３における処理プログラムによる画像処理の結果、図９に示すような出力画像が形成される。なお、図９の出力画像においては、白抜きで表示されている画素部分が対向車両として検出された部分であり、０でない階調値を有する画素として示されている。また、斜線部分は対向車両が検出されない部分として輝度値０で表示されている。
As a result of image processing by the processing program in the
また、本実施形態では、図１０に示すように、前記出力画像が表示部６のモニタに表示されている入力画像ｔに重ね合わせて表示されるようになっている。その際、図９の白抜きで示された検出部分が赤色（図中では斜線で示す）に着色されて表示されるようになっている。
Further, in the present embodiment, as shown in FIG. 10, the output image is displayed so as to be superimposed on the input image t displayed on the monitor of the
なお、入力画像ｔと出力画像との重ね合わせ表示の際、処理プログラムの出力画像に対して、図１１に示すようなマスクフィルタによる画像処理を行うように構成することも可能であり、例えば、図１０の車両フロント部の着色部分や画像上方の木の着色部分は不必要な着色部分であるから、マスクフィルタを用いて画像処理を行い、それらの部分の着色を表示しないように構成することも可能である。 In addition, when the input image t and the output image are superimposed and displayed, the output image of the processing program can be configured to perform image processing using a mask filter as shown in FIG. Since the colored portion of the vehicle front portion and the colored portion of the tree above the image in FIG. 10 are unnecessary colored portions, image processing is performed using a mask filter, and the coloring of those portions is not displayed. Is also possible.
また、得られた出力画像の情報を、表示部６のモニタ等に表示するとともにあるいは表示する代わりに自車両を制御する制御装置等に送信して、危険回避のための自動制御等に用いるように構成することも可能である。
In addition, the information of the obtained output image is displayed on the monitor of the
次に、本実施形態の画像処理装置１の処理プログラム形成部５について説明する。処理プログラムは、人為的に構築されて画像処理部３における画像処理に用いられることも可能である。図３に示したような木構造状の処理プログラムにおいて、例えば、図４や図５に示したような１入力或いは２入力の画像フィルタを最大４０個の範囲で任意に組み合わせ、それに入力画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像を任意の位置で入力する木構造状の処理プログラムについて全探索により、すなわち人為的にすべての組み合わせを生成して最善の結果が得られる処理プログラムを構築することも可能である。
Next, the processing
本実施形態では、画像処理部３に接続された処理プログラム形成部５において、遺伝的プログラミングの手法により処理プログラムが自動的に形成されるようになっている。なお、本実施形態では、処理プログラムは、撮像装置２１による撮像と同時並行的に画像処理部３で行われる画像処理に先行して、あらかじめ処理プログラム形成部５で形成し、メモリ４に記憶させておくようになっている。
In the present embodiment, a processing program is automatically formed by a genetic programming technique in the processing
図１２は、処理プログラム形成部の構成を示すブロック図であり、処理プログラム形成部５は、初期個体生成手段５１と、適応度評価手段５２、５６と、親選択手段５３と、交叉手段５４と、突然変異手段５５と、終了判定手段５７とを備えている。
FIG. 12 is a block diagram showing a configuration of the processing program forming unit. The processing
初期個体生成手段５１は、入力部７からの処理プログラム形成指示に応じて、図３に示したような木構造状の処理プログラムを、設定された前記ｋおよびＭの値の範囲内でランダムに一定数生成させるように構成されている。本実施形態では、初期個体として処理プログラムを１００個体生成させるようになっている。
In response to a processing program formation instruction from the
処理プログラムをランダムに生成する規則として、本実施形態では、初期個体のみならず最適化された処理プログラムが得られるまでの進化過程において木構造状の処理プログラムを構成するノードのうち画像フィルタ、すなわち非終端記号の数が最大でも４０を超えないように設定されている。なお、画像フィルタは、図４や図５に示した画像フィルタの中からランダムに選択されるようになっている。また、選択される画像フィルタには、図４や図５に示した各種画像フィルタのほか、図１１に示したようなマスクフィルタを含めることも可能である。 As a rule for randomly generating a processing program, in this embodiment, in the evolution process until an optimized processing program is obtained as well as an initial individual, an image filter, that is, an image filter among nodes constituting a tree-structured processing program, that is, The number of non-terminal symbols is set so as not to exceed 40 at the maximum. Note that the image filter is randomly selected from the image filters shown in FIGS. In addition to the various image filters shown in FIGS. 4 and 5, the selected image filter may include a mask filter as shown in FIG. 11.
また、前述したように、本実施形態では、ｋ＝２、Ｍ＝１と設定されており、一定の時刻ｔからさかのぼって１／３０秒の時間間隔をおいて撮像された連続する３フレーム分の入力画像ｔ、ｔ−１、ｔ−２の中から処理プログラムに入力すべき入力画像が任意に選択されるようになっている。すなわち、入力画像ｔ、ｔ−１、ｔ−２の３種類を処理プログラムの入力画像としてすべて用いる必要はなく、初期個体の中には、例えば、入力画像ｔと入力画像ｔ−２の２種類、或いは入力画像ｔ−１だけしか用いないような処理プログラムが含まれることも許容される。 Further, as described above, in this embodiment, k = 2 and M = 1 are set, and three consecutive frames imaged at a time interval of 1/30 seconds from a certain time t are traced back. The input image to be input to the processing program is arbitrarily selected from the input images t, t-1, and t-2. That is, it is not necessary to use all three types of input images t, t-1, and t-2 as input images of the processing program. For example, there are two types of input images t and input images t-2 in the initial individual. Alternatively, it is allowed to include a processing program that uses only the input image t-1.
なお、本実施形態では、終端記号、すなわち木構造状の処理プログラムに入力される画像のうちの少なくとも１つはオプティカルフロー画像であるという制限が設けられている。 In the present embodiment, there is a restriction that at least one of terminal symbols, that is, images input to the tree-structured processing program is an optical flow image.
初期個体生成手段５１には、適応度評価手段５２が接続されており、初期個体生成手段５１で生成された各処理プログラムの初期個体が適応度評価手段５２に送信されるようになっている。 An fitness evaluation means 52 is connected to the initial individual generation means 51 so that the initial individual of each processing program generated by the initial individual generation means 51 is transmitted to the fitness evaluation means 52.
適応度評価手段５２では、前述したようにランダムに生成された１００個体の各処理プログラムに対して入力画像ｔ、ｔ−１、ｔ−２及びオプティカルフロー画像を入力して出力画像を形成するシミュレーションがそれぞれ実行され、シミュレーションにより得られた出力画像と目標画像とが比較されて各処理プログラムの適応度Ｅが下記（２）式に基づいてそれぞれ算出されるようになっている。 In the fitness evaluation means 52, a simulation for forming an output image by inputting the input images t, t-1, t-2 and the optical flow image to each of the 100 processing programs randomly generated as described above. Are executed, the output image obtained by the simulation and the target image are compared, and the fitness E of each processing program is calculated based on the following equation (2).
ここで、入力画像ｔ、ｔ−１、ｔ−２にはあらかじめシミュレーション用に撮像された図２に示したような入力画像が用いられ、オプティカルフロー画像には、前述した要領で入力画像ｔおよび入力画像ｔ−１から形成されたオプティカルフロー画像が用いられる。 Here, as the input images t, t-1, and t-2, the input images as shown in FIG. 2 that have been captured in advance for the simulation are used, and the optical flow image has the input images t and t as described above. An optical flow image formed from the input image t-1 is used.
また、目標画像とは、最適化された処理プログラムが出力すべき画像をいい、入力画像ｔに基づいて人為的に形成される。本実施形態では、処理プログラムの目的が自車両前方の風景画像の中からの対向車両の抽出であるから、例えば、図２に示した入力画像ｔの中から対向車両であるトラックに相当する画素のみを輝度値２５５の白抜きにして抽出領域とし、それ以外の画素を輝度値０の非抽出領域とした図１３に示すような画像が目標画像として形成され、シミュレーションに先立ってあらかじめ適応度評価手段５２に入力される。
The target image is an image to be output by the optimized processing program, and is artificially formed based on the input image t. In the present embodiment, since the purpose of the processing program is to extract the oncoming vehicle from the landscape image in front of the host vehicle, for example, the pixel corresponding to the truck that is the oncoming vehicle from the input image t shown in FIG. An image as shown in FIG. 13 is formed as a target image in which only the brightness value 255 is whitened and used as an extraction region, and other pixels are non-extraction regions with a
また、重み画像とは、出力画像（Ｏ）と目標画像（Ｔ）との距離｜Ｏ−Ｔ｜を画素ごとに重み付けするための重みが画素ごとに定義された画像をいい、画素ごとの重みは、構築すべき処理プログラムの目的により適宜決められる。通常、出力画像が目標画像と一致することが強く求められる画素領域では大きな値が設定され、出力画像と目標画像との一致が強く要求されない画素領域では小さな値が設定される。 The weighted image is an image in which the weight for weighting the distance | OT−T | between the output image (O) and the target image (T) for each pixel is defined for each pixel. Is appropriately determined according to the purpose of the processing program to be constructed. Normally, a large value is set in a pixel area where the output image is strongly required to match the target image, and a small value is set in a pixel area where the match between the output image and the target image is not strongly required.
本実施形態では、対向車両を抽出し、その他のものは抽出しないようにすることが目的であるため、出力画像は、目標画像の抽出領域においても非抽出領域においてもともに目標画像との一致が強く要求される。しかし、重みを全画像において同じ値に設定すると、出力画像における対向車両が占める画素領域、すなわち抽出領域の面積割合がその他の画素領域、すなわち非抽出領域の面積割合よりも小さいため、適応度評価における非抽出領域での一致度の寄与が大きくなりすぎる可能性がある。 In this embodiment, the purpose is to extract the oncoming vehicle and not to extract the other vehicles, so the output image matches the target image in both the target image extraction region and the non-extraction region. Strongly required. However, if the weight is set to the same value in all images, the pixel area occupied by the oncoming vehicle in the output image, that is, the area ratio of the extraction area is smaller than the area ratio of the other pixel areas, that is, the non-extraction area. There is a possibility that the contribution of the degree of coincidence in the non-extracted region becomes too large.
そのため、本実施形態では、図１４に示すように、重み画像を図１３に示した目標画像と同様の画像とし、抽出領域の重みと非抽出領域の重みの比がそれぞれの面積比の逆数の比、すなわち、それぞれの面積比が３２：２５６であるから重みの比が１／３２：１／２５６になるように重みＷが設定されている。重み画像は、通常、目標画像の形成にあわせて形成され、目標画像とともにシミュレーションに先立ってあらかじめ適応度評価手段５２に入力される。 Therefore, in this embodiment, as shown in FIG. 14, the weight image is the same as the target image shown in FIG. 13, and the ratio of the weight of the extraction region to the weight of the non-extraction region is the reciprocal of the respective area ratio. The weight W is set so that the weight ratio is 1/32: 1/256 because the ratio, that is, the respective area ratios are 32: 256. The weight image is normally formed in accordance with the formation of the target image, and is input to the fitness evaluation means 52 in advance together with the target image prior to the simulation.
なお、抽出領域や非抽出領域においてさらに細かく重みをするなど、本実施形態の方法以外の方法で重み画像を形成することも可能である。 Note that it is also possible to form a weighted image by a method other than the method of the present embodiment, such as more finely weighting in the extraction region and the non-extraction region.
また、学習セットとは、入力画像、オプティカルフロー画像、目標画像および重み画像を組み合わせて構成されるセットのことであり、本実施形態では、この学習セットを１セットだけでなく複数セット用いて処理プログラムのシミュレーションを行うように構成されている。 A learning set is a set configured by combining an input image, an optical flow image, a target image, and a weight image. In this embodiment, processing is performed using not only one set but also a plurality of sets. It is configured to simulate the program.
すなわち、例えば、図１５に示すように、時刻ｔにおける複数種類の入力画像ｔ、ｔ−１、ｔ−２とそれに対応するオプティカルフロー画像、目標画像および重み画像よりなる第１学習セットとともに、時刻ｔ以前の時刻ｔａにおける入力画像ｔａ等の同様の第２学習セット、および時刻ｔ以降の時刻ｔｂにおける入力画像ｔｂ等の同様の第３学習セットの計３セット（この場合は（２）式でＮ＝３）が前記と同様にしてシミュレーションに先立ってあらかじめ形成され適応度評価手段５２に入力される。そして、適応度評価手段５２では、１００個体生成された各処理プログラムごとに１セットずつ計３回のシミュレーションが行われ、それらの結果を（２）式に代入して適応度Ｅが算出されるようになっている。 That is, for example, as shown in FIG. 15, together with a first learning set consisting of a plurality of types of input images t, t−1, t−2 and corresponding optical flow images, target images, and weight images at time t, A total of three sets of the same second learning set such as the input image ta at the time ta before the time t and the same third learning set such as the input image tb at the time tb after the time t (in this case, the expression (2)) N = 3) is formed in advance prior to the simulation in the same manner as described above, and is input to the fitness evaluation means 52. Then, the fitness evaluation means 52 performs a total of three simulations, one set for each processing program generated for 100 individuals, and calculates the fitness E by substituting those results into equation (2). It is like that.
適応度評価手段５２には、親選択手段５３が接続されており、適応度評価手段５２で適応度Ｅが計算された各処理プログラムがそれぞれの適応度Ｅに対応付けられて親選択手段５３に送信されるようになっている。 A parent selection means 53 is connected to the fitness evaluation means 52, and each processing program whose fitness E is calculated by the fitness evaluation means 52 is associated with each fitness E and is sent to the parent selection means 53. It is supposed to be sent.
親選択手段５３では、まず、送信されてきた１００個体の処理プログラムのうち、適応度Ｅが最大の処理プログラムのエリート保存を行うようになっている。親選択手段５３は、エリートとした処理プログラムのコピーを処理プログラムの集団に残すと同時に、処理プログラムをＲＡＭ等に保存して、以下の親選択や交叉、突然変異から隔離するようになっている。 The parent selection means 53 first performs elite storage of the processing program having the maximum fitness E among the 100 individual processing programs transmitted. The parent selection means 53 keeps a copy of the elite processing program in the group of processing programs, and at the same time stores the processing program in a RAM or the like to isolate it from the following parent selection, crossover, and mutation. .
親選択手段５３は、エリートのコピーを含む１００個体の各処理プログラムに対して適応度Ｅに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき１００個体の処理プログラムの選択および増殖を行うように構成されている。また、本実施形態では、トーナメント選択により１００個体を選択するようになっている。 Based on the fitness E, the parent selection means 53 uses the roulette selection, the expected value selection, the ranking selection, the tournament selection, and the like for each of the 100 individual processing programs including the elite copy. The processing program is selected and expanded. In the present embodiment, 100 individuals are selected by tournament selection.
親選択手段５３で選択、増殖された１００個体の処理プログラムは、次の交叉手段５４に送信されるようになっている。 The processing program for 100 individuals selected and expanded by the parent selection means 53 is transmitted to the next crossing means 54.
交叉手段５４では、図１６に示すように、親選択手段５３から送られてきた処理プログラムを２個体ずつ対にして、対とされた親プログラム１、２ごとにランダムに選ばれた交叉部分を所定の頻度で互いに交叉させて、子プログラム１、２が生成されるように構成されている。
In the crossover means 54, as shown in FIG. 16, two processing programs sent from the parent selection means 53 are paired, and a crossover portion randomly selected for each of the paired
その際、２つの子プログラムの中に非終端記号の数が４０を超えるものが生成される場合には、その交叉は取り消され、再度、元の親プログラム１、２で交叉部分がランダムに選ばれて交叉が所定の頻度で行われるようになっている。また、生成された子プログラム１、２の一方の終端記号にオプティカルフロー画像が含まれなくなる場合にもその交叉が取り消され、再度同じ親プログラム１、２で交叉が所定の頻度で行われるようになっている。
At that time, if the number of non-terminal symbols exceeding 40 is generated in two child programs, the crossover is canceled and the crossover part is selected at random in the
本実施形態では、交叉手段５４においては、図１６に示したような１点交叉が行われるように構成されているが、この他にも、例えば、多点交叉や一様交叉等の方法で交叉させるように構成することも可能である。 In the present embodiment, the crossover means 54 is configured to perform one-point crossover as shown in FIG. 16, but in addition to this, for example, a multipoint crossover or a uniform crossover is used. It is also possible to configure it to cross.
交叉手段５４で生成された１００個体の子プログラムである処理プログラムは、次の突然変異手段５５に送られるようになっている。 A processing program that is a child program of 100 individuals generated by the crossover means 54 is sent to the next mutation means 55.
突然変異手段５５では、処理プログラムごとに所定の割合でノードの変異、挿入、欠失等を発生させるように構成されている。その際、ノードの挿入により処理プログラム中の非終端記号の数が４０を超える場合には、その挿入は行われず、また、入力画像ｔ等の終端記号と画像フィルタである非終端記号との変異は禁止されている。 The mutation means 55 is configured to generate node mutations, insertions, deletions, and the like at a predetermined rate for each processing program. At that time, if the number of non-terminal symbols in the processing program exceeds 40 due to the insertion of a node, the insertion is not performed, and the variation between the terminal symbol such as the input image t and the non-terminal symbol as an image filter is prohibited. Has been.
さらに、終端記号の変異によりオプティカルフロー画像が入力画像等に変異して処理プトグラムの終端記号にオプティカルフロー画像が含まれなくなる場合にもその変異が禁止されるようになっている。この他にも、例えば、転座や重複等の突然変異を行うように構成することも可能であり、その際、適宜適切な制限が加えられる。 Further, even when the optical flow image is changed to an input image or the like due to the change of the terminal symbol and the optical flow image is not included in the terminal symbol of the processing ptogram, the change is prohibited. In addition to this, for example, it is possible to perform a mutation such as translocation or duplication, and appropriate restrictions are added accordingly.
突然変異手段５５には、適応度評価手段５６が接続されており、突然変異手段５５で生成された１００個体の処理プログラムは適応度評価手段５６に送られるようになっている。 A fitness evaluation means 56 is connected to the mutation means 55, and the processing program for 100 individuals generated by the mutation means 55 is sent to the fitness evaluation means 56.
適応度評価手段５６では、突然変異手段５５から送信されてきた１００個体の処理プログラムに対して前述した適応度評価手段５２と同様の処理が行われるようになっている。すなわち、適応度評価手段５２で用いたものと同じ第１〜第３学習セットが用いられて各処理プログラムについてシミュレーションが行われ、前記（２）式に基づいてそれぞれ適応度Ｅが計算されるように構成されている。 The fitness evaluation means 56 performs the same processing as the fitness evaluation means 52 described above on the processing program of 100 individuals transmitted from the mutation means 55. That is, the same first to third learning sets as those used in the fitness evaluation means 52 are used to simulate each processing program, and the fitness E is calculated based on the equation (2). It is configured.
適応度評価手段５６には、終了判定手段５７が接続されており、適応度評価手段５６で適応度Ｅが計算された各処理プログラムと前記親選択手段５３でエリート保存された前世代の適応度Ｅが最大の処理プログラムとの計１０１個の処理プログラムが終了判定手段５７に送られて、処理プログラム形成部５における処理プログラム形成を終了するか否かの判定を受けるようになっている。
The fitness evaluation means 56 is connected to an end determination means 57, and each processing program whose fitness E is calculated by the fitness evaluation means 56 and the fitness of the previous generation elite-stored by the parent selection means 53. A total of 101 processing programs, including the processing program with the maximum E, are sent to the end determination means 57 to receive a determination as to whether or not to end the processing program formation in the processing
本実施形態では、終了判定手段５７は、進化過程の世代数があらかじめ設定された終了世代数Ｇｅに達したかどうかを判定し、終了世代数Ｇｅに到達したと判定した場合にはその時点で適応度Ｅが最大の処理プログラムを解として画像処理部３に出力して、プログラム形成を終了させるように構成されている。
In this embodiment, the end determination means 57 determines whether or not the number of generations in the evolution process has reached a preset end generation number Ge, and if it is determined that the end generation number Ge has been reached, at that time A processing program having the maximum fitness E is output to the
また、終了判定手段５７は、世代数が終了世代数Ｇｅに到達していない場合には、各処理プログラムを前記親選択手段５３に送り、前述した処理手順を繰り返すようになっている。なお、この場合、前記親選択手段５３には、１０１個体の処理プログラムが送信されるが、親選択手段５３では、エリート保存が行われた後、１０１個体の処理プログラムに対して選択、増殖を行い、１００個体の処理プログラムを選択するようになっている。 Further, when the number of generations has not reached the number of end generations Ge, the end determination means 57 sends each processing program to the parent selection means 53 and repeats the above-described processing procedure. In this case, the processing program for 101 individuals is transmitted to the parent selection means 53, but the parent selection means 53 selects and proliferates the processing program for 101 individuals after the elite storage is performed. The processing program for 100 individuals is selected.
終了判定手段５７では、この他にも、例えば、あらかじめ一定の目標適応度Ｅｑを設定しておき、各処理プログラムの中に適応度Ｅが目標適応度Ｅｑに達した処理プログラムがあるか否かを判定し、目標適応度Ｅｑに達した処理プログラムがあればその処理プログラムを解として画像処理部３に出力するように構成されてもよい。また、終了判定手段５７が各処理プログラムの適応度の最大値を記憶するように構成し、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合にはその世代で前記手順を終了し、その最大の適応度を有する処理プログラムを解として画像処理部３に出力するように構成することも可能である。
In addition to this, in the end determination means 57, for example, a predetermined target fitness Eq is set in advance, and whether or not there is a processing program in which the fitness E reaches the target fitness Eq in each processing program. If there is a processing program that has reached the target fitness Eq, the processing program may be output to the
また、前述した処理プログラム形成部５における最適化された処理プログラムの進化過程はごく一般的なものであり、この他の進化過程を採用することも可能である。近年、遺伝的プログラミングの基礎となる遺伝的アルゴリズムにおける世代交代モデルとして種々のモデルが提案されており、それらについては、例えば、佐藤浩、外２名、「遺伝的アルゴリズムにおける世代交代モデルの提案と評価」、人工知能学会誌、社団法人人工知能学会、１９９７年、第１２巻、第５号、ｐ．７３４〜７４４等にまとめられている。また、本論文で提案されているＭＧＧ（procedure Minimal Generation Gap）の手法を本発明に応用することも可能である。
Further, the evolution process of the optimized process program in the process
処理プログラム形成部５では、以上の進化過程に基づいて最適化された処理プログラムが形成されるが、得られた処理プログラムには、いわゆる過学習と呼ばれる現象が見られることがある。つまり、本実施形態の場合で言えば、対向車両一般を抽出する代わりに、例えば、白色系統の車両は抽出せずに濃い色の車両のみを抽出してしまうようなより抽出対象が限定された処理プログラムが得られてしまう場合がある。
In the processing
このような過学習の発生を避けるため、本実施形態では、前記適応度評価手段５２、５６での適応度評価において、前記（２）式で算出された適応度Ｅからさらに下記（３）式に基づいて過学習制限を考慮した適応度Ｅ´を算出するように構成されている。従って、本実施形態では、親選択手段５３や終了判定手段５７においては、この過学習制限を考慮した適応度Ｅ´が比較され、参照される。 In order to avoid the occurrence of such overlearning, in this embodiment, in the fitness evaluation by the fitness evaluation means 52 and 56, the following formula (3) is further calculated from the fitness E calculated by the formula (2). Based on the above, the fitness E ′ in consideration of overlearning restriction is calculated. Therefore, in the present embodiment, the parent selection means 53 and the end determination means 57 compare and refer to the fitness level E ′ considering this overlearning restriction.
ここで、係数ａ、ｂはともに正の値をとる。（３）式によれば、過学習制限を考慮した適応度Ｅ´は、処理プログラムにおけるノード数ｎ（Node）が大きいほど小さい値をとるように算出され、また、２入力画像フィルタのノード数ｍ（2input-node）が大きいほど大きな値をとるように算出される。 Here, the coefficients a and b both take positive values. According to the equation (3), the fitness E ′ considering the overlearning limitation is calculated so as to take a smaller value as the number of nodes n (Node) in the processing program is larger, and the number of nodes of the two-input image filter is calculated. The larger the value of m (2input-node) is, the larger the value is calculated.
過学習制限を考慮した適応度Ｅ´が前記（３）式のように構成される理由は、処理プログラムの木構造のノード数が大きいほど抽出する対象がより限定されて過学習の状態になり易く、ノード数が小さいほどより一般的な対象（本実施形態では歩行者全般）を抽出できるようになり、汎用性が向上するためである。 The reason why the fitness E ′ considering the overlearning restriction is configured as in the above equation (3) is that the larger the number of nodes in the tree structure of the processing program, the more the target to be extracted becomes more overlearned. This is because, as the number of nodes is smaller, more general objects (in general, pedestrians in this embodiment) can be extracted, and versatility is improved.
また、このようにノード数が大きいほど適応度Ｅ´が小さくなるように構成されると、今度は、処理プログラムの木構造における２入力画像フィルタの割合が小さくなり、例えば、本実施形態のように入力画像として３種類の入力画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像の入力を許しても、実際にはより少ない種類の入力画像しか入力しない処理プログラムが得られる傾向が強くなるため、２入力画像フィルタのノード数が大きいほど適応度Ｅ´が大きな値をとるように構成されている。 Further, when the fitness E ′ is reduced as the number of nodes is increased, the ratio of the two-input image filter in the tree structure of the processing program is reduced. For example, as in the present embodiment, Even if input of three types of input images t, t-1, t-2 and an optical flow image is allowed as input images, there is a strong tendency to obtain a processing program that actually inputs fewer types of input images. Therefore, the fitness E ′ is configured to take a larger value as the number of nodes of the two-input image filter is larger.
なお、係数ａ、ｂはそれぞれノード数の適応度Ｅ´に対する割合および２入力画像フィルタのノード数の適応度Ｅ´に対する割合を表すが、この係数ａ、ｂを前記処理プログラム形成部５における遺伝的プログラミングの進化過程の世代数に応じて変化するように構成することも可能である。
The coefficients a and b represent the ratio of the number of nodes to the fitness level E ′ and the ratio of the number of nodes of the two-input image filter to the fitness level E ′. The coefficients a and b are inherited in the processing
例えば、世代数が小さい段階では係数ａ、ｂがともに大きな値をとり世代とともに小さな値をとるようにすれば、ノード数が大きな処理プログラムが淘汰され易くなり（ａの効果）、２入力画像フィルタを多く含む処理プログラムが生き残る可能性が高くなる（ｂの効果）。また、逆に、係数ａ、ｂを世代とともに大きくするようにすれば、進化初期に得られた学習セットに特化した処理を進化の後半でよりシンプルな形にしていくことが可能となる。さらに、進化が進んで適応度の最大値の停滞が生じたときに、人為的に係数ａ、ｂの値を変化させることで、より最適化された処理プログラムが得られる可能性が高くなる。 For example, if the coefficients a and b both take a large value and take a small value with the generation when the number of generations is small, a processing program with a large number of nodes can be easily deceived (effect of a). There is a high possibility that a processing program containing a large amount of will survive (effect of b). Conversely, if the coefficients a and b are increased with the generation, the processing specialized for the learning set obtained in the early stage of evolution can be made simpler in the latter half of the evolution. Furthermore, when evolution progresses and the stagnation of the maximum value of fitness occurs, it is highly likely that a more optimized processing program can be obtained by artificially changing the values of the coefficients a and b.
処理プログラム形成部５で形成された最適化された処理プログラムは、画像処理部３に送信され、メモリ４に記憶されるようになっている。また、処理プログラム形成部５で形成された処理プログラムの一例を図１７に示す。この場合、非終端記号、すなわち、画像フィルタの数は４０、終端記号のうち入力画像の数は１１、オプティカルフロー画像の数は３、出力画像の数は１になっている。なお、図中、ＯＦはオプティカルフロー画像、ｔ、ｔ−１、ｔ−２はそれぞれ入力画像ｔ、ｔ−１、ｔ−２を表す。
The optimized processing program formed by the processing
次に、本実施形態の画像処理装置の作用について説明する。 Next, the operation of the image processing apparatus of this embodiment will be described.
画像処理装置１では、まず、処理プログラムの形成が行われる。処理プログラムの形成段階においては、処理プログラム形成の基礎となる自車両前方の風景画像を撮像装置２１で動画像、すなわち、１／３０秒ごとに撮像した複数のフレームとして撮像し、画像処理部３を介してメモリ４に記憶させる。本実施形態では、抽出対象が対向車両であるから、対向車両が撮像された動画像を記憶させておく。
In the
続いて、処理プログラムに入力する入力画像の数とフレーム間隔、すなわち前記ｋおよびＭを設定する。そして、本実施形態のようにｋ＝２、Ｍ＝１と設定した場合には、メモリ４に記憶された各フレームの中から図６（Ａ）に示したように入力画像ｔ、ｔ−１、ｔ−２となるべき対向車両が撮像されている適当な３つの連続するフレームを選択し、入力画像ｔ、ｔ−１、ｔ−２として処理プログラム形成部５に入力する。
Subsequently, the number of input images to be input to the processing program and the frame interval, that is, the k and M are set. When k = 2 and M = 1 are set as in this embodiment, the input images t, t−1 are selected from the frames stored in the memory 4 as shown in FIG. , T-3, appropriate three consecutive frames in which the oncoming vehicle to be imaged is selected, and input to the processing
また、図２に示したような選択した入力画像ｔに基づいて、図１３および図１４に示したような目標画像および重み画像を作成して処理プログラム形成部５に入力する。本実施形態では、目標画像およぶ重み画像の作成は、表示部６のモニタ等に入力画像ｔを表示させ、入力部７のキーボードやマウス等を操作して手動で行う。また、画像処理部３に入力画像ｔ、ｔ−１を入力して図８に示したようなオプティカルフロー画像を生成させ、処理プログラム形成部５に入力する。オプティカルフロー画像を手動で生成してもよい。
Further, based on the selected input image t as shown in FIG. 2, a target image and a weight image as shown in FIGS. 13 and 14 are created and input to the processing
また、本実施形態では、前述したように複数の学習セットを用いて最適化された処理プログラムを生成するようになっているから、図１５に示したように前記入力画像ｔに対応する時刻ｔ以前の時刻ｔａにおける入力画像ｔａ等の同様の第２学習セット、および時刻ｔ以降の時刻ｔｂにおける入力画像ｔｂ等の同様の第３学習セットを形成して処理プログラム形成部５に入力する。
Further, in the present embodiment, as described above, a processing program optimized using a plurality of learning sets is generated, so that the time t corresponding to the input image t as shown in FIG. A similar second learning set such as the input image ta at the previous time ta and a similar third learning set such as the input image tb at the time tb after the time t are formed and input to the processing
そして、処理プログラム形成部５に初期個体生成手段５１における初期個体数の設定値および終了判定手段５７における終了世代数を入力する。処理プログラム形成部５は、図４や図５に示した各種画像フィルタを用いて処理プログラムの初期個体を生成し、前述した遺伝的プログラミングにおける進化過程で親選択や交叉、突然変異等を生じさせ、適応度評価を行う。このようにして図１７に示したような最適化された処理プログラムが形成される。処理プログラム形成部５は、このようにして形成した最適化された処理プログラムを画像処理部３を介してメモリ４に記憶させる。
Then, the set value of the initial number of individuals in the initial
処理プログラムを用いた画像処理の実行段階では、画像処理部３は、まず、メモリ４から処理プログラムを読み出してＲＡＭに展開する。画像処理部３は、撮像装置２１からの入力画像ｔを受信すると、入力画像ｔと入力画像ｔ−１とからオプティカルフロー画像を生成し、オプティカルフロー画像と入力画像ｔ、ｔ−１、ｔ−２とを処理プログラムに入力する。
In the image processing execution stage using the processing program, the
画像処理部３は、同時に、入力画像ｔを表示部６に送信してモニタ等に表示させるとともに、入力画像ｔをメモリ４に一時保存させる。処理プログラムが演算を終了し出力画像を出力すると、画像処理部３は、その結果を表示部６に送信し、図１０に示したように、表示部６のモニタに白黒画像として表示されている入力画像ｔに赤色に着色した出力画像を重ね合わせて表示させる。
At the same time, the
以上のように、本実施形態の画像処理装置によれば、画像フィルタを木構造状に組み合わせた処理プログラムに時間間隔をおいて撮像された動画像中の複数の入力画像ｔ、ｔ−１、…、ｔ−ｋを入力することで、木構造状の処理プログラムを構成する差分フィルタ等の各種画像フィルタの機能が有効に発揮され、動画像中から特定の対象を効果的に抽出することができる。 As described above, according to the image processing apparatus of the present embodiment, a plurality of input images t, t−1 in a moving image captured at time intervals in a processing program in which image filters are combined in a tree structure. ..., by inputting tk, the functions of various image filters such as a difference filter constituting a tree-structured processing program are effectively exhibited, and a specific target can be effectively extracted from a moving image. it can.
このように、従来同一の静止画像を入力するように構成されてきた木構造状の処理プログラムを用いたＡＣＴＩＴの手法が、動画像を用いた場合にも適用可能であることが本発明により判明され、ＡＣＴＩＴの手法を動画像からの特定対象の抽出にも拡張することが可能となった。 As described above, the present invention proves that the ACTIT method using the tree-structured processing program that is conventionally configured to input the same still image can be applied to the case of using a moving image. Thus, it has become possible to extend the ACTIT method to extraction of a specific object from a moving image.
また、入力画像として、撮像装置により撮像された複数の風景画像のほかに、それらの画像から生成したオプティカルフロー画像を入力するように構成することで、動画像中で特異なフローを示す移動対象に対応する画像上の領域をより明確化した状態で処理プログラムに与えることができる。そのため、動画像中から抽出する特定対象が移動物体である場合に特に的確に精度良く特定対象を抽出する処理プログラムを形成することが可能となる。 In addition to a plurality of landscape images captured by an imaging device as an input image, an optical flow image generated from these images is input, so that a moving object that exhibits a unique flow in a moving image Can be given to the processing program in a state in which the region on the image corresponding to is more clearly defined. Therefore, when the specific target extracted from the moving image is a moving object, it is possible to form a processing program that extracts the specific target with particularly high accuracy.
図１８に、車両前方風景を撮像した未学習の動画像に本実施形態で学習した最適化された処理プログラムを適用した結果を示す。このように、本実施形態の画像処理装置によれば、処理プログラムの形成に用いられなかった未学習の動画像中からも移動物体を的確に抽出することが可能となる。 FIG. 18 shows a result of applying the optimized processing program learned in the present embodiment to an unlearned moving image obtained by capturing a landscape in front of the vehicle. As described above, according to the image processing apparatus of the present embodiment, it is possible to accurately extract a moving object from an unlearned moving image that has not been used for forming a processing program.
さらに、処理プログラム形成部において遺伝的プログラミングにより処理プログラムを自動形成させるように構成すれば、処理プログラムを容易に得ることができる。また、目標画像および重み画像を変更することにより、抽出すべき特定対象を容易に変更することができる。 Furthermore, if the processing program forming unit is configured to automatically form the processing program by genetic programming, the processing program can be easily obtained. Moreover, the specific object which should be extracted can be changed easily by changing a target image and a weight image.
すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築する必要がなく、目標画像と重み画像とを変更して処理プログラム形成部に入力し、オプティカルフロー画像を生成して入力するだけで、前述した遺伝的プログラミングを用いた方法をそのまま使って同じ手順で処理プログラムを構築することができる。そのため、処理プログラムを容易に得ることができると同時に非常に汎用性が高い画像処理装置となる。 That is, it is not necessary to manually construct a processing program for extracting each time a specific object is changed as in the prior art, and the target image and the weight image are changed and input to the processing program forming unit, and the optical By simply generating and inputting a flow image, a processing program can be constructed in the same procedure using the above-described method using genetic programming as it is. Therefore, a processing program can be easily obtained, and at the same time, the image processing apparatus is very versatile.
また、処理プログラムの入力画像としてオプティカルフロー画像を入力するように構築することで、図１９に示すように、入力画像としてオプティカルフロー画像を用いない場合、すなわち入力画像ｔ、ｔ−１、…、ｔ−ｋのみを入力する場合と比較して、遺伝的プログラミングにおける処理プログラムの適応度がより迅速に向上するという副次的な効果があることが確認された。これも、前述したように動画像中で特異なフローを示す移動対象に対応する領域をより明確化したオプティカルフロー画像を処理プログラムに入力することで、処理プログラムが抽出領域を有する目標画像に近似した出力画像を形成し易くなるためと考えられる。 Further, by constructing to input an optical flow image as an input image of a processing program, as shown in FIG. 19, when an optical flow image is not used as an input image, that is, input images t, t−1,. Compared to the case where only tk is input, it was confirmed that there is a secondary effect that the fitness of the processing program in genetic programming is improved more quickly. As described above, the processing program approximates the target image having the extraction region by inputting an optical flow image in which the region corresponding to the moving target showing a specific flow in the moving image is clarified to the processing program. This is considered to facilitate the formation of the output image.
なお、例えば、図２０に示すように、本実施形態で得られた処理プログラムを複数組み合わせて大規模な処理プログラムとすることにより、本実施形態の効果をさらに効果的に発揮させることが可能となる。本実施形態では、実際には、同一の入力画像ｔ、ｔ−１、ｔ−２、オプティカルフロー画像、目標画像および重み画像から別個に３つの最適化された処理プログラムを形成し、それらの出力画像をそれぞれ入力画像ｔに重ね合わせて表示することで抽出の確度を高めるように構成されている。 For example, as shown in FIG. 20, by combining a plurality of processing programs obtained in the present embodiment into a large-scale processing program, the effects of the present embodiment can be more effectively exhibited. Become. In the present embodiment, in practice, three optimized processing programs are separately formed from the same input images t, t−1, t−2, optical flow image, target image and weight image, and their outputs. Each image is displayed so as to be superimposed on the input image t, thereby improving the extraction accuracy.
また、本実施形態のように動画像中から対向車両を抽出する処理プログラムと、例えば先行車両を抽出する処理プログラムや歩行者を抽出する処理プログラム等の他の目的を処理するために形成された処理プログラムとを組み合わせることで、より広範な目的を達成できる大規模な処理プログラムを得ることができる。 Further, as in the present embodiment, the processing program for extracting the oncoming vehicle from the moving image, and the processing program for extracting the preceding vehicle and the processing program for extracting the pedestrian, for example, are formed to process other purposes. By combining the processing program, a large-scale processing program that can achieve a wider range of purposes can be obtained.
さらに、例えば、図１１（Ａ）および図１１（Ｂ）に示したマスクフィルタと組み合わせて図２１に示すような大規模な処理プログラムを構成することもできる。このように構成すれば、出力画像の下半分および上半分に処理プログラム１および処理プログラム２による画像処理の結果を表示して１つの出力画像とすることが可能となる。
Furthermore, for example, a large-scale processing program as shown in FIG. 21 can be configured in combination with the mask filter shown in FIGS. 11 (A) and 11 (B). If comprised in this way, it will become possible to display the result of the image processing by the
また、例えば、本実施形態の画像処理装置と距離測定装置とを組み合わせることにより、本実施形態の画像処理装置で対向車両を特定し、距離測定装置で自車両と対向車両との距離を測定することにより、異常接近の際に自動警報を発したり、走行制御によって衝突を回避したりすることが可能となる。また、距離測定装置についても車両前方全域の対象物との距離を測定する必要がなくなり負担が軽減される。 Further, for example, by combining the image processing device of the present embodiment and the distance measuring device, the oncoming vehicle is specified by the image processing device of the present embodiment, and the distance between the host vehicle and the oncoming vehicle is measured by the distance measuring device. As a result, it is possible to issue an automatic alarm when an abnormal approach occurs or to avoid a collision by running control. Further, the distance measuring device does not need to measure the distance to the object in the entire front area of the vehicle, and the burden is reduced.
本実施形態の画像処理装置は、車両に搭載するだけでなく、例えば、人工知能型ロボットや監視装置等に搭載することも可能であり、例えば、ロボットが搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりするために用いることができる。また、監視装置が移動物体を発見して監視したり、警報を発したりするように構成することも可能となる。 The image processing apparatus according to the present embodiment can be mounted not only on a vehicle but also on, for example, an artificial intelligence robot or a monitoring apparatus. For example, while observing the environment with a camera mounted on the robot, Can be used to find, measure, and determine the robot's behavior for it. It is also possible to configure the monitoring device to detect and monitor a moving object and to issue an alarm.
［第２の実施の形態］
第２の実施形態では、処理プログラムに入力する入力画像ｔ、ｔ−１、…、ｔ−ｋとして、前記第１の実施形態で述べたように撮像装置２１で撮像した自車両の前方風景の撮像画像をそのままあるいは圧縮処理した画像を入力する代わりに、変換処理を行った後の画像を入力するように構成されている点で第１の実施形態と異なる。
[Second Embodiment]
In the second embodiment, as the input images t, t−1,..., T−k input to the processing program, as described in the first embodiment, the front landscape of the host vehicle captured by the
そのため、本実施形態では、オプティカルフロー画像も変換処理後の入力画像ｔ、ｔ−１に基づいて生成され、処理プログラムに入力されるようになる。また、処理プログラム形成部５で遺伝的プログラミングの手法を用いて最適化された処理プログラムを形成する際に用いられる目標画像および重み画像も変換処理後の入力画像に対応した画像が用いられる。
Therefore, in this embodiment, the optical flow image is also generated based on the input images t and t−1 after the conversion process, and is input to the processing program. In addition, the target image and the weight image used when the processing
なお、本実施形態では、変換処理後の入力画像を変換画像という。また、本実施形態に係る画像処理装置１や処理プログラム形成部５、木構造状の処理プログラムの構成は図１や図１２、図３に示した第１の実施形態における構成と同様であり、画像処理装置１における処理内容および処理プログラム形成部５における遺伝的プログラミングの処理内容も同様であるので説明を省略し、記号や符号についても第１の実施形態と同一のものを用いて説明する。
In the present embodiment, the input image after the conversion process is referred to as a converted image. In addition, the configuration of the
また、本実施形態においても、主にｋ＝２、Ｍ＝１の場合、すなわち、図６（Ａ）に示したように現在の時刻ｔの入力画像ｔとその直前の連続する２フレーム分の入力画像ｔ−１、ｔ−２とを変換画像ｔ、ｔ−１、ｔ−２として処理プログラムに入力する場合について述べる。 Also in the present embodiment, mainly when k = 2 and M = 1, that is, as shown in FIG. 6A, the input image t at the current time t and the two consecutive frames immediately before it. A case where input images t-1, t-2 are input to the processing program as converted images t, t-1, t-2 will be described.
本実施形態では、画像処理装置１の画像処理部３は、撮像装置２１から送信されてきた入力画像ｔ、ｔ−１、ｔ−２を擬似的に上空から見た状態の画像にそれぞれ変換するよう、すなわち、視点位置を上方に設定するよう画像変換を行うよう構成されている。以下、変換の原理について説明する。
In the present embodiment, the
図２２は、撮像装置における画像の撮像原理について説明する図である。図２に示したような入力画像ｔは、図２２に示す撮像原理に基づいて撮像される。すなわち、撮像装置２１の焦点距離をｆ、撮像装置２１の取付高さをＨとし、水平な道路面上の点Ｒまでの距離をＤとする。また、入力画像ｔにおける消失点のｊ座標をＳ、入力画像ｔに撮像された前記点Ｒのｊ座標をＹとする。ｇは画素間の距離と実際の距離との換算比である。
FIG. 22 is a diagram for explaining the imaging principle of an image in the imaging apparatus. The input image t as illustrated in FIG. 2 is captured based on the imaging principle illustrated in FIG. That is, the focal length of the
このとき、下記（４）式が成り立つ。
Ｈ／Ｄ＝ｇ（Ｙ−Ｓ）／ｆ …（４）
また、（４）式を変形すると、
Ｄ＝Ｈｆ／ｇ（Ｙ−Ｓ） …（５）
が得られる。
At this time, the following equation (4) holds.
H / D = g (Y-S) / f (4)
Moreover, when the equation (4) is transformed,
D = Hf / g (Y−S) (5)
Is obtained.
つまり、入力画像ｔを変換の基礎画像として、入力画像ｔにおける点Ｒのｊ座標Ｙから前記（５）式に基づいてＤを求めることにより、実際の道路面上の点Ｒまでの距離Ｄを求めることができる。また、距離Ｄ方向、すなわち自車両から見た場合の前後方向の距離Ｄのみならず、自車両から見た場合の左右方向の距離（以下、距離ｄという。）についても同様に変換することができる。 That is, by using the input image t as a basic image for conversion and obtaining D from the j coordinate Y of the point R in the input image t based on the above equation (5), the distance D to the point R on the actual road surface is obtained. Can be sought. Further, not only the distance D direction, that is, the distance D in the front-rear direction when viewed from the host vehicle, but also the distance in the left-right direction when viewed from the host vehicle (hereinafter referred to as distance d) can be similarly converted. it can.
そして、入力画像ｔにおける点Ｒを表す画素の階調値を、左上端を原点とし横軸を左右方向の距離ｄ、縦軸を前後方向の距離Ｄとした変換後のｄ−Ｄ平面上に表すことにより、擬似的に上空から見た状態に各画素に階調値を有する変換画像ｔを得ることができる。 The gradation value of the pixel representing the point R in the input image t is on the converted dD plane with the upper left corner as the origin, the horizontal axis as the distance d in the horizontal direction, and the vertical axis as the distance D in the front-rear direction. By representing, it is possible to obtain a converted image t having a gradation value in each pixel as seen from the sky in a pseudo manner.
なお、この場合の変換は、道路面が水平であり、かつ、入力画像ｔに映っている画像は実際には高さを有するものであるがすべて道路面上にあると仮定して行われる。このように変換にはかなり粗い仮定が含まれており、本発明ではその意味で「擬似的」という表現を用いている。 Note that the conversion in this case is performed on the assumption that the road surface is horizontal and all the images shown in the input image t actually have a height but are on the road surface. Thus, the conversion includes a rather rough assumption, and the present invention uses the expression “pseudo” in that sense.
しかし、このような擬似的に上空から見た状態の変換画像を処理した結果を、前記（５）式の逆変換である
Ｙ＝Ｓ＋Ｈｆ／ｇＤ …（６）
の関係に従って変換し直すことで、図２に示した入力画像のように自車両の前方を撮像した状態に完全に復元することができる。
However, the result of processing such a converted image as seen from the sky is the inverse transformation of the above equation (5). Y = S + Hf / gD (6)
By converting again according to the relationship, it is possible to completely restore the state in which the front of the host vehicle is imaged as in the input image shown in FIG.
図２３は、図２の入力画像ｔを擬似的に上空から見た状態に変換されて形成された変換画像ｔを示す図である。図２と比較して分かるように、変換画像ｔは、道路を上空から見たような画像になる。しかし、前述したように高さのある物体も道路面上に張り付いているものとして変換するため、図２３右側の対向車両のトラックや同図左側の自転車や人物、家屋等が長く引き伸ばされたような画像になっている。なお、図２３の右下隅および左下隅の部分は入力画像ｔから変換されない部分である。 FIG. 23 is a diagram illustrating a converted image t formed by converting the input image t in FIG. 2 into a state in which the input image t is viewed from the sky in a pseudo manner. As can be seen in comparison with FIG. 2, the converted image t is an image as if the road was viewed from the sky. However, as described above, because the object with height is also converted to be stuck on the road surface, the truck of the oncoming vehicle on the right side of FIG. 23, the bicycle, the person, the house, etc. on the left side of FIG. It looks like this. Note that the lower right corner and the lower left corner of FIG. 23 are portions that are not converted from the input image t.
このような変換画像ｔと図示しない変換画像ｔ−１とから第１の実施形態と同様にしてオプティカルフロー画像を生成すると、オプティカルフロー画像は図２４に示すような画像になる。なお、図８におけるオプティカルフロー画像と同様に、図２４に示したオプティカルフロー画像においても白抜きで示された０でない階調値を有する画素ブロック部分は、実際にはオプティカルフローの大きさに対応する階調値で濃淡に色分けされている。 When an optical flow image is generated from such a converted image t and a converted image t-1 (not shown) in the same manner as in the first embodiment, the optical flow image becomes an image as shown in FIG. Similar to the optical flow image in FIG. 8, in the optical flow image shown in FIG. 24, the pixel block portion having a non-zero gradation value shown in white actually corresponds to the size of the optical flow. The color values are shaded according to the gradation value.
画像処理部３における処理プログラムの実行段階では、画像処理部３は、撮像装置２１から送信されてきた入力画像ｔを変換画像ｔに変換し、変換画像ｔとすでに変換されている変換画像ｔ−１とからオプティカルフロー画像を生成し、変換画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像を処理プログラムに入力する。
In the execution stage of the processing program in the
そして、処理プログラムからの出力画像に対して前記（５）式の逆変換、すなわち、前記（４）式を変形した
Ｙ＝Ｓ＋Ｈｆ／ｇＤ …（６）
により変換することで、図２に示した元の入力画像ｔに対応した出力画像を形成するようになっている。図２５は、このようにして得られた出力画像を示す図であり、図２６は、この出力画像と元の入力画像とを重ね合わせて表示したモニタ上の画像を示す図である。
Then, the inverse transformation of the equation (5) is performed on the output image from the processing program, that is, the equation (4) is modified. Y = S + Hf / gD (6)
Is converted to form an output image corresponding to the original input image t shown in FIG. FIG. 25 is a diagram showing an output image obtained in this way, and FIG. 26 is a diagram showing an image on a monitor in which the output image and the original input image are superimposed and displayed.
また、処理プログラムの形成段階においては、図２３に示した変換画像ｔを基礎に図２７のような目標画像および図２８のような重み画像が作成され、処理プログラム形成部５に入力される。また同時に変換画像ｔ、ｔ−１、ｔ−２およびオプティカルフロー画像が入力される。そして、第１の実施形態と同様に遺伝的プログラミングにより最適化された処理プログラムが形成される。
In the process program formation stage, a target image as shown in FIG. 27 and a weight image as shown in FIG. 28 are created based on the converted image t shown in FIG. 23 and input to the process
このようにして形成された最適化された処理プログラムによる処理の結果は図２５および図２６に示したとおりであり、車両前方風景を撮像した未学習の動画像に対して適用すると、図２９に示すような結果が得られる。また、処理プログラム形成部５での処理プログラムの進化過程における適応度の変化は図３０に示すような推移をたどる。
The result of the processing by the optimized processing program formed in this way is as shown in FIG. 25 and FIG. 26, and when applied to an unlearned moving image obtained by imaging the front landscape of the vehicle, FIG. The result as shown is obtained. Further, the change in fitness in the process program evolution process in the process
以上のように、本実施形態の画像処理装置１によれば、前記第１の実施形態と同様の効果を得ることができる。
As described above, according to the
また、図３０に示したように、本実施形態に係る画像処理装置１の処理プログラム形成部５における遺伝的プログラミングでは、処理プログラムの適応度が第１の実施形態の場合やオプティカルフロー画像を用いない場合と比較して非常に速やかに向上する。そのため、本実施形態や第１の実施形態のように、処理プログラム形成部５での遺伝的プログラミングを、終了世代数を指定して行う代わりに目標適応度を設定して行うように構成した場合には、より迅速に目標適応度に達するようになり、最適化された処理プログラムの形成をより短時間で行うことが可能となる。
Further, as shown in FIG. 30, in the genetic programming in the processing
さらに、第１の実施形態で形成された最適化された処理プログラムを未学習の動画像に適用して得られた図１８と、本実施形態の未学習の動画像への適用結果である図２９とを比較して分かるように、本実施形態で形成された最適化された処理プログラムでは、対向車両以外を抽出するいわゆる誤抽出が減り、良好な抽出結果が得られている。 Further, FIG. 18 obtained by applying the optimized processing program formed in the first embodiment to an unlearned moving image, and a diagram showing an application result to the unlearned moving image of the present embodiment. 29, the optimized processing program formed in the present embodiment reduces so-called erroneous extraction that extracts other than the oncoming vehicle, and provides a good extraction result.
これは、処理プログラムにおける対向車両の抽出において、擬似的に上空から見た状態に変換された変換画像ｔ、ｔ−１、ｔ−２および変換画像に基づくオプティカルフロー画像が用いられているため、オプティカルフロー画像におけるフローベクトルによる移動物体の動きの切り出しが非常に明確に行われているためであると考えられる。 This is because, in the extraction of the oncoming vehicle in the processing program, optical images based on the converted images t, t−1, t−2 and the converted image converted into a state seen from the sky are used, This is considered to be because the movement of the moving object by the flow vector in the optical flow image is cut out very clearly.
すなわち、第１の実施形態のように前方の風景を撮像した入力画像ｔ、ｔ−１から生成されるオプティカルフロー画像と比較して、本実施形態のように擬似的に上空から見た状態の変換画像ｔ、ｔ−１から生成されるオプティカルフロー画像では、自車両の走行状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとを明確に区別でき、オプティカルフロー画像における移動物体の切り出しが明確に行われるようになる。そのため、本実施形態は、特に動画像中から移動物体を抽出するという課題に対して有効かつ精度良く抽出を行うことが可能となる。 That is, as compared with the optical flow image generated from the input images t and t-1 obtained by capturing the front landscape as in the first embodiment, the state viewed in a pseudo manner from the sky as in the present embodiment. In the optical flow image generated from the converted images t and t-1, the flow caused by the traveling state of the host vehicle and the flow caused by the movement of the object moving in the space in front of the imaging device can be clearly distinguished. The moving object is clearly cut out in the flow image. For this reason, the present embodiment can extract the moving object from the moving image effectively and accurately with respect to the problem of extracting the moving object.
そこで、本実施形態の変形例として、オプティカルフロー画像における移動物体と静止物体とのフローの差をより明確にするために、オプティカルフロー画像生成において形成される各画素ブロックについて算出されたフローベクトルＦ（図７参照）を、さらに撮像装置２１の移動平面、すなわち本実施形態では道路面に対するフローに換算してオプティカルフロー画像を生成することも可能である。
Therefore, as a modification of the present embodiment, the flow vector F calculated for each pixel block formed in the optical flow image generation in order to clarify the flow difference between the moving object and the stationary object in the optical flow image. It is also possible to generate an optical flow image by converting (see FIG. 7) into a flow with respect to the moving plane of the
具体的に言えば、本実施形態では、入力画像を前述したように擬似的に上空から見た状態の変換画像に変換する。その際、変換画像から生成されたオプティカルフロー画像の各画素ブロックのフローベクトルＦには、撮像装置２１の移動状態、すなわち本実施形態では撮像装置２１が搭載された自車両の走行状態に基づく道路面に対するフローが加算されている。
Specifically, in the present embodiment, as described above, the input image is converted into a converted image in a state viewed from the sky in a pseudo manner. At that time, the flow vector F of each pixel block of the optical flow image generated from the converted image includes a road based on the moving state of the
例えば、自車両が前進している状態で前方風景が撮像されれば、オプティカルフロー画像にはほぼ一様な大きさの下向きのフローが加算された状態でフローベクトルＦが算出されている。また、例えば、自車両が左旋回している状態で撮像されれば、オプティカルフロー画像には右向きのフローが加算された状態でフローベクトルＦが算出されている。 For example, if a forward landscape is imaged while the host vehicle is moving forward, the flow vector F is calculated in a state where a downward flow having a substantially uniform size is added to the optical flow image. Also, for example, if the image is taken while the host vehicle is turning left, the flow vector F is calculated in a state where a rightward flow is added to the optical flow image.
従って、車速センサやヨーレートセンサ等で自車両の速度やヨーレートを測定して、その測定値に基づいて自車両の走行状態に基づくフローを算出し、図３１に示すように、すでに算出されたフローベクトルＦから自車両の走行状態に基づくフローを減じることでオプティカルフロー画像の各画素ブロックのフローベクトルＦを移動平面に対するフローベクトルＦｃに換算することができる。 Accordingly, the speed and yaw rate of the host vehicle are measured by a vehicle speed sensor, a yaw rate sensor, etc., and a flow based on the running state of the host vehicle is calculated based on the measured value. As shown in FIG. By subtracting the flow based on the traveling state of the host vehicle from the vector F, the flow vector F of each pixel block of the optical flow image can be converted into a flow vector Fc for the movement plane.
このようにして各画素ブロックについてすでに算出されたフローベクトルＦをフローベクトルＦｃに換算することで、移動物体と静止物体とを明確に区別することが可能となり、修正したオプティカルフロー画像が移動物体を的確に認識可能な画像となる。そのため、このようなオプティカルフロー画像を用いることで、動画像中からの移動物体の抽出をより精度良く行うことが可能となる。 Thus, by converting the flow vector F already calculated for each pixel block into the flow vector Fc, it becomes possible to clearly distinguish the moving object and the stationary object, and the corrected optical flow image shows the moving object. The image can be accurately recognized. Therefore, by using such an optical flow image, it is possible to extract a moving object from a moving image with higher accuracy.
また、本実施形態のさらなる変形例として、本実施形態のように算出したフローベクトルＦあるいは換算したフローベクトルＦｃの大きさに対応する階調値で各画素ブロックを濃淡で色分けしてオプティカルフロー画像を生成する代わりに、算出したフローベクトルＦあるいは換算したフローベクトルＦｃの向きの情報に対応してオプティカルフロー画像を生成することも可能である。 Further, as a further modification of the present embodiment, an optical flow image is obtained by color-coding each pixel block with a gradation value corresponding to the magnitude of the calculated flow vector F or the converted flow vector Fc as in the present embodiment. It is also possible to generate an optical flow image corresponding to information on the direction of the calculated flow vector F or the converted flow vector Fc.
例えば、変換画像ｔ、ｔ−１から算出されたフローベクトルＦまたは換算されたフローベクトルＦｃのｊ成分、すなわちオプティカルフロー画像における縦方向成分に着目し、ｊ成分が０以下である場合、すなわち自車両から遠ざかる向きである場合にはその画素ブロックの階調値を０とし、ｊ成分が正の値である場合、すなわち自車両に向かう向きである場合にはそのｊ成分に対応した階調値を画素ブロックに割り当てることにより、対向車両を抽出することに適したオプティカルフロー画像を得ることができる。 For example, paying attention to the j component of the flow vector F calculated from the converted images t and t−1 or the converted flow vector Fc, that is, the vertical component in the optical flow image, if the j component is 0 or less, When the direction is away from the vehicle, the gradation value of the pixel block is 0, and when the j component is a positive value, that is, when the direction is toward the host vehicle, the gradation value corresponding to the j component By assigning to the pixel block, an optical flow image suitable for extracting the oncoming vehicle can be obtained.
特に、前述した道路面に対するフローに換算したフローベクトルＦｃのｊ成分に着目すれば、より明確に対向車両を抽出できるようになる。 In particular, if the j component of the flow vector Fc converted into the flow for the road surface described above is noted, the oncoming vehicle can be extracted more clearly.
また、例えば、オプティカルフロー画像が、換算したフローベクトルＦｃのｊ成分が負の値である場合にのみ階調値を有するようにすれば、先行車両等の抽出に適したものとなる。また、フローベクトルＦ、Ｆｃのｉ成分、すなわちオプティカルフロー画像における横方向成分に着目してオプティカルフロー画像を生成すれば、道路を横断する歩行者等の抽出に適したオプティカルフロー画像を得ることが可能となる。 For example, if the optical flow image has a gradation value only when the j component of the converted flow vector Fc is a negative value, the optical flow image is suitable for extraction of the preceding vehicle and the like. Further, if an optical flow image is generated by paying attention to i components of the flow vectors F and Fc, that is, a horizontal direction component in the optical flow image, an optical flow image suitable for extraction of a pedestrian crossing a road can be obtained. It becomes possible.
なお、これらの変形例を第１の実施形態に係る画像処理装置１に適用することも可能である。
Note that these modifications can also be applied to the
１ 画像処理装置
２１ 撮像装置
３ 画像処理部
５ 処理プログラム形成部
DESCRIPTION OF
Claims (10)
画像フィルタを木構造状に組み合わせた処理プログラムに従って、前記撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備えることを特徴とする画像処理装置。 In an image processing device that performs image processing on an image captured by an imaging device and extracts a specific target from the image,
In accordance with a processing program in which image filters are combined in a tree structure, a plurality of images constituting a moving image captured by the imaging device and an optical flow image generated from the images are subjected to image processing, and the specific target An image processing apparatus comprising: an image processing unit for forming an output image from which an image is extracted.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005101273A JP4376199B2 (en) | 2005-03-31 | 2005-03-31 | Image processing device |
| EP05820128A EP1830320A4 (en) | 2004-12-24 | 2005-12-22 | Image processor |
| US11/658,135 US20080069399A1 (en) | 2004-12-24 | 2005-12-22 | Image Processor |
| PCT/JP2005/023595 WO2006068223A1 (en) | 2004-12-24 | 2005-12-22 | Image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005101273A JP4376199B2 (en) | 2005-03-31 | 2005-03-31 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006285385A true JP2006285385A (en) | 2006-10-19 |
| JP4376199B2 JP4376199B2 (en) | 2009-12-02 |
Family
ID=37407282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005101273A Expired - Fee Related JP4376199B2 (en) | 2004-12-24 | 2005-03-31 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4376199B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009254533A (en) * | 2008-04-15 | 2009-11-05 | Konan Medical Inc | Analysis method of corneal endothelial cell and analysis apparatus of corneal endothelial cell |
| WO2009139161A1 (en) * | 2008-05-15 | 2009-11-19 | 株式会社ニコン | Image processing device, image processing method, processing device, processing method, and program |
| JP2010145102A (en) * | 2008-12-16 | 2010-07-01 | Shimadzu Corp | X-ray inspection device |
| US10303447B2 (en) | 2014-06-19 | 2019-05-28 | Fujitsu Limited | Program generating apparatus and method therefor |
-
2005
- 2005-03-31 JP JP2005101273A patent/JP4376199B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009254533A (en) * | 2008-04-15 | 2009-11-05 | Konan Medical Inc | Analysis method of corneal endothelial cell and analysis apparatus of corneal endothelial cell |
| WO2009139161A1 (en) * | 2008-05-15 | 2009-11-19 | 株式会社ニコン | Image processing device, image processing method, processing device, processing method, and program |
| JP5408128B2 (en) * | 2008-05-15 | 2014-02-05 | 株式会社ニコン | Image processing apparatus, image processing method, processing apparatus, and program |
| US8761496B2 (en) | 2008-05-15 | 2014-06-24 | Nikon Corporation | Image processing apparatus for calculating a degree of similarity between images, method of image processing, processing apparatus for calculating a degree of approximation between data sets, method of processing, computer program product, and computer readable medium |
| JP2010145102A (en) * | 2008-12-16 | 2010-07-01 | Shimadzu Corp | X-ray inspection device |
| US10303447B2 (en) | 2014-06-19 | 2019-05-28 | Fujitsu Limited | Program generating apparatus and method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4376199B2 (en) | 2009-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2006068223A1 (en) | Image processor | |
| JP6088792B2 (en) | Image detection apparatus, control program, and image detection method | |
| CN103294991B (en) | Exterior environment recognition device | |
| JP4429298B2 (en) | Object number detection device and object number detection method | |
| GB2553782A (en) | Predicting depth from image data using a statistical model | |
| JP6561512B2 (en) | Parallax value deriving device, moving body, robot, parallax value deriving method, parallax value producing method, and program | |
| JP6240016B2 (en) | Tracking device and tracking system | |
| JP2019139420A (en) | Three-dimensional object recognition device, imaging device, and vehicle | |
| JP4376199B2 (en) | Image processing device | |
| JP2006178857A (en) | Image processor | |
| JP5388059B2 (en) | Object detection method and object detection apparatus based on background image estimation | |
| CN113569896A (en) | Computer-implemented method for 3D positioning of objects based on image and depth data | |
| JP6991700B2 (en) | Information processing equipment, information processing method, program | |
| KR101394473B1 (en) | Method for detecting moving object and surveillance system thereof | |
| JP2007249386A (en) | Image processor | |
| JP4740038B2 (en) | Image processing device | |
| JP2011090708A (en) | Apparatus and method for detecting the number of objects | |
| JP2009289185A (en) | Image processing apparatus | |
| JP2010117946A (en) | Object tracking method and image processing apparatus | |
| JP7292178B2 (en) | Region dividing device, region dividing method and region dividing program | |
| JP4674920B2 (en) | Object number detection device and object number detection method | |
| JP7074723B2 (en) | Learning equipment and programs | |
| JP3763279B2 (en) | Object extraction system, object extraction method, and object extraction program | |
| CN112364693A (en) | Barrier identification method, device and equipment based on binocular vision and storage medium | |
| JP5152144B2 (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090908 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4376199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |