JP6620607B2 - Image analysis program, image analysis apparatus, and image analysis method - Google Patents

Image analysis program, image analysis apparatus, and image analysis method Download PDF

Info

Publication number
JP6620607B2
JP6620607B2 JP2016044951A JP2016044951A JP6620607B2 JP 6620607 B2 JP6620607 B2 JP 6620607B2 JP 2016044951 A JP2016044951 A JP 2016044951A JP 2016044951 A JP2016044951 A JP 2016044951A JP 6620607 B2 JP6620607 B2 JP 6620607B2
Authority
JP
Japan
Prior art keywords
image
line segment
edge line
boundary
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016044951A
Other languages
Japanese (ja)
Other versions
JP2017162125A (en
Inventor
純 金武
純 金武
中山　收文
收文 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016044951A priority Critical patent/JP6620607B2/en
Publication of JP2017162125A publication Critical patent/JP2017162125A/en
Application granted granted Critical
Publication of JP6620607B2 publication Critical patent/JP6620607B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像解析プログラム、画像解析装置、及び画像解析方法に関する。   The present invention relates to an image analysis program, an image analysis apparatus, and an image analysis method.

車両のような移動体に外界を撮影するカメラを設置して、カメラにより撮影した映像から物体を検出する方法として、輪郭線の端点のオプティカルフローに基づく物体検出方法が知られている。この検出方法では、映像に含まれる時系列の複数の画像から輪郭線を抽出し、画像間で輪郭線の端点を対応付け、端点の位置ずれ量が計算される。この位置ずれ量は、フロー量と呼ばれる。   An object detection method based on an optical flow at an end point of a contour line is known as a method of detecting an object from an image captured by a camera by installing a camera that captures the outside world on a moving body such as a vehicle. In this detection method, contour lines are extracted from a plurality of time-series images included in a video, end points of the contour lines are associated between the images, and a positional deviation amount of the end points is calculated. This displacement amount is called a flow amount.

図１は、画像間における物体の対応付けの例を示している。図１（ａ）は、物体の輪郭線上の端点以外の点を対応付ける場合を示している。時刻１における画像１０１に物体１１１が写っており、移動体の移動に伴って、物体１１１は矢印１１３が示す方向に移動している。そして、時刻１よりも後の時刻２における画像１０２に物体１１２が写っている。   FIG. 1 shows an example of association of objects between images. FIG. 1A shows a case where points other than the end points on the contour line of the object are associated. An object 111 is shown in the image 101 at time 1, and the object 111 moves in the direction indicated by the arrow 113 as the moving body moves. Then, the object 112 is shown in the image 102 at time 2 after time 1.

画像１０１内の物体１１１と画像１０２内の物体１１２が同じ物体であると仮定すると、物体１１１の輪郭線上の点１２１は、物体１１２の輪郭線上の点１２２の位置に移動する。しかし、点１２１は輪郭線の端点ではないため、点１２１と物体１１２の輪郭線上の点との対応関係が一意に定まらない。   Assuming that the object 111 in the image 101 and the object 112 in the image 102 are the same object, the point 121 on the contour line of the object 111 moves to the position of the point 122 on the contour line of the object 112. However, since the point 121 is not an end point of the contour line, the correspondence between the point 121 and the point on the contour line of the object 112 is not uniquely determined.

図１（ｂ）は、物体の輪郭線の端点を対応付ける場合を示している。画像１０１内の物体１１１の輪郭線の端点１３１及び端点１３２は、画像１０２内の物体１１２の輪郭線の端点１３３及び端点１３４の位置に移動する。この場合、移動体の移動方向及び輪郭線の形状に影響されることなく、端点１３１及び端点１３２と、端点１３３及び端点１３４との対応関係が一意に定まる。   FIG. 1B shows a case where the end points of the contour line of the object are associated with each other. The end points 131 and 132 of the contour line of the object 111 in the image 101 move to the positions of the end points 133 and 134 of the contour line of the object 112 in the image 102. In this case, the correspondence between the end point 131 and the end point 132 and the end point 133 and the end point 134 is uniquely determined without being affected by the moving direction of the moving body and the shape of the contour line.

図２は、車載カメラが撮影する路面上の模様及び立体物の例を示している。路面２０１上には立体物２０３が静止しており、カメラ２０６を搭載した車両２０５が路面２０１上を矢印２１１が示す方向に移動している。時刻１においてカメラ２０６により撮影された画像内では、立体物２０３上の着目点２０４と、路面２０１上の模様２０２に含まれる点２０７とが重なって写る。   FIG. 2 shows an example of a pattern and a three-dimensional object on the road surface taken by the in-vehicle camera. The three-dimensional object 203 is stationary on the road surface 201, and the vehicle 205 on which the camera 206 is mounted is moving on the road surface 201 in the direction indicated by the arrow 211. In the image taken by the camera 206 at time 1, the point of interest 204 on the three-dimensional object 203 and the point 207 included in the pattern 202 on the road surface 201 overlap each other.

このとき、時刻１におけるカメラ２０６の位置と着目点２０４とを結ぶ方向２１２と、時刻２におけるカメラ２０６の位置と着目点２０４とを結ぶ方向２１３との差分が、立体物２０３の視差として現れる。一方、時刻１におけるカメラ２０６の位置と点２０７とを結ぶ方向２１２と、時刻２におけるカメラ２０６の位置と点２０７とを結ぶ方向２１４との差分が、模様２０２の視差として現れる。この場合、立体物２０３の視差は、模様２０２の視差よりも大きいことが分かる。   At this time, the difference between the direction 212 connecting the position of the camera 206 and the point of interest 204 at time 1 and the direction 213 connecting the position of the camera 206 and the point of interest 204 at time 2 appears as the parallax of the three-dimensional object 203. On the other hand, the difference between the direction 212 connecting the position of the camera 206 and the point 207 at time 1 and the direction 214 connecting the position of the camera 206 and the point 207 at time 2 appears as the parallax of the pattern 202. In this case, it can be seen that the parallax of the three-dimensional object 203 is larger than the parallax of the pattern 202.

このような立体物２０３と模様２０２の視差の違いにより、時刻１における画像と時刻２における画像との間で、立体物２０３上の点のフロー量と、模様２０２に含まれる点のフロー量とを比較すると、立体物２０３上の点のフロー量の方が大きくなる。この性質を用いて、画像内の点のフロー量が閾値以上であれば、その点は立体物２０３上の点であると判定し、フロー量が閾値未満であれば、その点は模様２０２に含まれる点であると判定することができる。フロー量に対する閾値は、画像内の点の位置及び車両２０５の移動量から求めることができる。   Due to the difference in parallax between the three-dimensional object 203 and the pattern 202, the flow amount of points on the three-dimensional object 203 and the flow amount of points included in the pattern 202 between the image at time 1 and the image at time 2 are as follows. Are compared, the flow amount of points on the three-dimensional object 203 becomes larger. Using this property, if the flow amount of a point in the image is greater than or equal to the threshold value, the point is determined to be a point on the three-dimensional object 203. If the flow amount is less than the threshold value, the point becomes a pattern 202. It can be determined that the point is included. The threshold for the flow amount can be obtained from the position of the point in the image and the movement amount of the vehicle 205.

立体物のフロー量の計算では、画像の垂直方向に対する角度が所定値以内の輪郭線が用いられる。その理由は、画像内において立体物の高さ方向の輪郭線の角度は垂直に近くなることが多く、垂直方向に近い輪郭線が支配的となり、画像間における輪郭線同士の対応関係が一意に定まりやすいためである。   In the calculation of the flow amount of the three-dimensional object, a contour line whose angle with respect to the vertical direction of the image is within a predetermined value is used. The reason is that in the image, the angle of the contour line in the height direction of the three-dimensional object is often close to the vertical, the contour line close to the vertical direction is dominant, and the correspondence between the contour lines between the images is unique. It is because it is easy to settle.

車両から撮影した画像内の輪郭線に基づいて、進路に飛び出す危険性が高い歩行者を判定する技術も知られている（例えば、特許文献１を参照）。車両から撮影した画像と車両の移動量とから、周囲の物体の３次元位置を計算する技術も知られている（例えば、特許文献２を参照）。   There is also known a technique for determining a pedestrian who has a high risk of jumping into a course based on a contour line in an image photographed from a vehicle (see, for example, Patent Document 1). A technique for calculating a three-dimensional position of a surrounding object from an image taken from a vehicle and a moving amount of the vehicle is also known (see, for example, Patent Document 2).

特開２０１２−２０３８８４号公報JP 2012-203484 A 特開２０１４−２４０７５３号公報JP 2014-240753 A

従来のオプティカルフローに基づく物体検出方法では、路面上の模様に含まれる輪郭線と立体物の輪郭線とが繋がった画像において、立体物の領域を誤検出する場合がある。   In a conventional object detection method based on an optical flow, there is a case where a solid object region is erroneously detected in an image in which a contour line included in a pattern on a road surface and a contour line of a solid object are connected.

なお、かかる問題は、路面上の模様に含まれる輪郭線と立体物の輪郭線とが繋がった画像に限らず、面上の特定領域と立体物の領域とが接する他の画像においても生ずるものである。   Such a problem is not limited to the image in which the contour line included in the pattern on the road surface and the contour line of the three-dimensional object are connected, but also occurs in other images where the specific region on the surface and the three-dimensional object region are in contact with each other. It is.

１つの側面において、本発明は、面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出することを目的とする。   In one aspect, an object of the present invention is to detect a three-dimensional object region with high accuracy from an image in which a specific region on a surface and a three-dimensional object region are in contact with each other.

１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、撮像装置によって第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する。
（２）コンピュータは、第１領域の画像特徴に基づいて、第１領域に含まれる面上の特定領域と面上に存在する立体物との境界の候補となる第１位置を求める。
（３）コンピュータは、第１時刻と第２時刻との間における移動体の移動量に基づいて、第１位置に対応する第２領域内の境界の候補となる第２位置を求める。
（４）コンピュータは、第１位置を第１領域内の境界として用いた場合の第１領域の画像特徴と、第２位置を第２領域内の境界として用いた場合の第２領域の画像特徴との特徴類似度に基づいて、第１位置を第１領域内の境界に決定する。
（５）コンピュータは、決定した境界に基づいて、第１領域内の立体物の領域を特定する。 In one plan, the image processing program causes the computer to execute the following processing.
(1) The computer extracts the image feature of the first region from the first image captured at the first time by the imaging device installed on the moving body moving on the surface, and the first time is defined by the imaging device. Image features of the second region are extracted from second images taken at different second times.
(2) The computer obtains a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface based on the image feature of the first area.
(3) The computer obtains a second position that is a candidate for a boundary in the second region corresponding to the first position, based on the moving amount of the moving body between the first time and the second time.
(4) The computer uses an image feature of the first area when the first position is used as a boundary in the first area, and an image feature of the second area when the second position is used as a boundary in the second area. The first position is determined as a boundary in the first region based on the feature similarity.
(5) The computer specifies the region of the three-dimensional object in the first region based on the determined boundary.

１つの実施形態によれば、面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出することができる。   According to one embodiment, the region of the three-dimensional object can be detected with high accuracy from the image in which the specific region on the surface is in contact with the region of the three-dimensional object.

画像間における物体の対応付けを示す図である。It is a figure which shows matching of the object between images. 路面上の模様及び立体物を示す図である。It is a figure which shows the pattern and three-dimensional object on a road surface. ２つの物体の輪郭線が繋がった画像を示す図である。It is a figure which shows the image which the outline of two objects connected. 分割点に対する評価値の計算方法を示す図である。It is a figure which shows the calculation method of the evaluation value with respect to a division | segmentation point. 個別処理による失敗例を示す図である。It is a figure which shows the example of failure by an individual process. 局所処理による失敗例を示す図である。It is a figure which shows the example of failure by local processing. 画像解析装置の構成図である。It is a block diagram of an image analysis apparatus. 画像解析処理のフローチャートである。It is a flowchart of an image analysis process. 画像解析処理を示す図である。It is a figure which shows an image analysis process. 画像解析装置の具体例を示す構成図である。It is a block diagram which shows the specific example of an image analyzer. 画像解析処理の具体例を示すフローチャートである。It is a flowchart which shows the specific example of an image analysis process. 輪郭線抽出処理のフローチャートである。It is a flowchart of an outline extraction process. エッジ点Ａに隣接する３画素を示す図である。3 is a diagram illustrating three pixels adjacent to an edge point A. FIG. エッジ点Ｂと接続可能なエッジ点Ｃを示す図である。It is a figure which shows the edge point C which can be connected with the edge point B. FIG. 輪郭線情報を示す図である。It is a figure which shows outline information. 輪郭線照合処理のフローチャートである。It is a flowchart of an outline collation process. 相違度計算処理のフローチャートである。It is a flowchart of a difference degree calculation process. 重複部分を示す図である。It is a figure which shows an overlap part. ２つの重複部分の重ね合わせを示す図である。It is a figure which shows the superimposition of two overlapping parts. 候補リスト生成処理のフローチャートである。It is a flowchart of a candidate list generation process. 候補リスト生成処理を示す図である。It is a figure which shows a candidate list production | generation process. 分割スコア計算処理のフローチャートである。It is a flowchart of a division | segmentation score calculation process. 特徴類似度計算処理のフローチャートである。It is a flowchart of a feature similarity calculation process. 分割点決定処理のフローチャートである。It is a flowchart of a dividing point determination process. 分割点決定処理を示す図である。It is a figure which shows a dividing point determination process. 立体物検出処理のフローチャートである。It is a flowchart of a solid object detection process. 情報処理装置の構成図である。It is a block diagram of information processing apparatus.

以下、図面を参照しながら、実施形態を詳細に説明する。
図３は、２つの物体の輪郭線が繋がった画像の例を示している。画像３０１に路面上の模様３１１と立体物３１２とが写っており、模様３１１の輪郭線と立体物３１２の輪郭線とが繋がって１本の輪郭線３２１が抽出された場合、輪郭線３２１の上側の端点３２２は、模様３１１の一部であるため、路面上に位置する。また、輪郭線３２１の下側の端点３２３も、立体物３１２の下端に対応するため、路面上に位置する。したがって、輪郭線３２１は、路面上の模様の輪郭線であると判定され、立体物３１２の検出に失敗する。 Hereinafter, embodiments will be described in detail with reference to the drawings.
FIG. 3 shows an example of an image in which the contour lines of two objects are connected. When the pattern 311 on the road surface and the three-dimensional object 312 are shown in the image 301 and the contour line of the pattern 311 and the contour line of the three-dimensional object 312 are connected and one contour line 321 is extracted, Since the upper end point 322 is a part of the pattern 311, it is located on the road surface. Also, the lower end point 323 of the contour line 321 corresponds to the lower end of the three-dimensional object 312, and thus is located on the road surface. Therefore, the contour line 321 is determined to be the contour line of the pattern on the road surface, and detection of the three-dimensional object 312 fails.

このような画像３０１から立体物３１２を検出するために、輪郭線３２１を２本に分割することが考えられる。画像内で２つの物体の領域が接する場合は、それらの領域の境界付近で、画素値及び形状が変化することが多い。そこで、輪郭線上の各点について、画素値及び形状の変化に基づく評価値を計算し、計算した評価値の閾値判定を行うことで、物体間の境界を示す分割点を決定することができる。   In order to detect the three-dimensional object 312 from such an image 301, it is conceivable to divide the outline 321 into two. When two regions of an object touch each other in an image, the pixel value and the shape often change near the boundary between the regions. Thus, for each point on the contour line, an evaluation value based on a change in pixel value and shape is calculated, and a threshold value of the calculated evaluation value is determined, whereby a division point indicating a boundary between objects can be determined.

図４は、分割点に対する評価値の計算方法の例を示している。分割対象の輪郭線上における分割点の候補となる点４０１によって、その輪郭線が上側の部分輪郭線４０２と下側の部分輪郭線４０３とに分割される場合、点４０１に対する評価値として、例えば、次式の分割スコアＳを用いることができる。   FIG. 4 shows an example of an evaluation value calculation method for the division points. When the outline 401 is divided into an upper partial outline 402 and a lower partial outline 403 by a point 401 that is a candidate for a division point on the outline to be divided, as an evaluation value for the point 401, for example, A division score S of the following formula can be used.

Ｓ＝Ｓ１＋Ｓ２ （１）
Ｓ１＝｜Ｉ（Ａ１）−Ｉ（Ａ２）｜ （２）
Ｓ２＝｜θ｜ （３） S = S1 + S2 (1)
S1 = | I (A1) −I (A2) | (2)
S2 = | θ | (3)

Ｉ（Ａ１）は、部分輪郭線４０２上の局所領域Ａ１の画素値を表し、Ｉ（Ａ２）は、部分輪郭線４０３上の局所領域Ａ２の画素値を表す。θは、部分輪郭線４０２と部分輪郭線４０３との間の角度を表す。   I (A1) represents the pixel value of the local region A1 on the partial contour 402, and I (A2) represents the pixel value of the local region A2 on the partial contour 403. θ represents an angle between the partial outline 402 and the partial outline 403.

図３の輪郭線３２１上の各点について、式（１）の分割スコアＳを計算することで、分割スコアＳが最大となる分割点３２４で、輪郭線３２１を輪郭線３２５と輪郭線３２６とに分割することができる。そして、輪郭線３２６に基づいて、立体物３１２が検出される。このように、輪郭線が所定の分割条件を満たす場合に、その輪郭線を２本の輪郭線に分割することで、立体物の検出失敗が抑制される。   For each point on the contour line 321 in FIG. 3, by calculating the division score S of Expression (1), the contour line 321 is the contour line 325 and the contour line 326 at the division point 324 where the division score S is maximum. Can be divided into Based on the contour line 326, the three-dimensional object 312 is detected. Thus, when the contour line satisfies a predetermined division condition, the three-dimensional object detection failure is suppressed by dividing the contour line into two contour lines.

しかし、分割スコアＳに基づいて輪郭線を２本の輪郭線に分割しても、分割点が正しい境界からずれて、立体物の検出に失敗することがある。その原因として、画像毎の個別処理と、画像内における局所処理とが考えられる。   However, even if the contour line is divided into two contour lines based on the division score S, the division point may deviate from the correct boundary and the detection of the three-dimensional object may fail. The cause is considered to be individual processing for each image and local processing in the image.

図５は、個別処理による失敗例を示している。時刻１における画像内の領域５０１において、輪郭線上の分割点５０２が決定され、時刻２における画像内の領域５０３において、輪郭線上の分割点５０４が決定される。このように、映像に含まれる各時刻の画像毎に独立して分割点が決定される場合、２時刻間における拘束が課されることなく、自由に分割点が決定される。このため、時刻１における分割点５０２と、時刻２における分割点５０４との間に整合性がない。   FIG. 5 shows an example of failure due to individual processing. In a region 501 in the image at time 1, a dividing point 502 on the contour line is determined, and in a region 503 in the image at time 2, a dividing point 504 on the contour line is determined. In this way, when the dividing point is determined independently for each image at each time included in the video, the dividing point is freely determined without imposing a constraint between two times. For this reason, there is no consistency between the dividing point 502 at time 1 and the dividing point 504 at time 2.

図６は、局所処理による失敗例を示している。式（２）のＳ１は、局所領域間における画素値の変化に基づいて計算されるため、局所的に変化の大きな点が分割点になりやすい。図６の画像では、領域６０１内における点６０２が正しい境界であるにもかかわらず、局所的な画素値の変化に引っ張られて、点６０３が分割点に決定される。   FIG. 6 shows an example of failure due to local processing. Since S1 in Expression (2) is calculated based on a change in the pixel value between the local regions, a point having a large local change is likely to be a division point. In the image of FIG. 6, although the point 602 in the region 601 is a correct boundary, the point 603 is determined as a division point by being pulled by a local change in pixel value.

これらの原因によって、２時刻における２個の分割点の位置がずれて、整合性のない組み合わせになると、正しいフロー量とは異なるフロー量が計算され、立体物の検出に失敗する。   For these reasons, if the positions of the two division points at two times are shifted and the combination is inconsistent, a flow amount different from the correct flow amount is calculated, and detection of the three-dimensional object fails.

図７は、実施形態の画像解析装置の構成例を示している。画像解析装置７０１は、抽出部７１１、決定部７１２、及び特定部７１３を含む。抽出部７１１は、面上を移動する移動体に設置された撮像装置によって撮影された画像から、領域の画像特徴を抽出する。決定部７１２は、抽出部７１１が抽出した画像特徴に基づいて、面上の特定領域と面上に存在する立体物との境界を決定し、特定部７１３は、決定部７１２が決定した境界に基づいて、画像内の立体物の領域を特定する。   FIG. 7 shows a configuration example of the image analysis apparatus of the embodiment. The image analysis device 701 includes an extraction unit 711, a determination unit 712, and a specification unit 713. The extraction unit 711 extracts an image feature of a region from an image captured by an imaging device installed on a moving body that moves on the surface. The determination unit 712 determines the boundary between the specific region on the surface and the three-dimensional object existing on the surface based on the image feature extracted by the extraction unit 711, and the specification unit 713 determines the boundary determined by the determination unit 712. Based on this, the region of the three-dimensional object in the image is specified.

図８は、図７の画像解析装置７０１が行う画像解析処理の例を示すフローチャートである。まず、抽出部７１１は、第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する（ステップ８０１）。   FIG. 8 is a flowchart illustrating an example of image analysis processing performed by the image analysis apparatus 701 in FIG. First, the extraction unit 711 extracts the image feature of the first area from the first image photographed at the first time, and extracts the second area from the second image photographed at the second time different from the first time. Are extracted (step 801).

次に、決定部７１２は、第１領域の画像特徴に基づいて、第１領域に含まれる特定領域と立体物との境界の候補となる第１位置を求める（ステップ８０２）。そして、決定部７１２は、第１時刻と第２時刻との間における移動体の移動量に基づいて、第１位置に対応する第２領域内の境界の候補となる第２位置を求める（ステップ８０３）。   Next, the determination unit 712 obtains a first position that is a candidate for a boundary between the specific region and the three-dimensional object included in the first region based on the image feature of the first region (step 802). Then, the determination unit 712 obtains a second position that is a candidate for a boundary in the second region corresponding to the first position, based on the moving amount of the moving body between the first time and the second time (step) 803).

次に、決定部７１２は、第１位置を第１領域内の境界として用いた場合の第１領域の画像特徴と、第２位置を第２領域内の境界として用いた場合の第２領域の画像特徴との特徴類似度に基づいて、第１位置を第１領域内の境界に決定する（ステップ８０４）。   Next, the determination unit 712 uses the first area as the boundary in the first area and the second area using the second position as the boundary in the second area. Based on the feature similarity with the image feature, the first position is determined as the boundary in the first region (step 804).

そして、特定部７１３は、決定部７１２が決定した境界に基づいて、第１領域内の立体物の領域を特定する（ステップ８０５）。   Then, the specifying unit 713 specifies the region of the three-dimensional object in the first region based on the boundary determined by the determining unit 712 (Step 805).

図７の画像解析装置７０１によれば、面上の特定領域と立体物の領域とが接する画像から、立体物の領域を高精度に検出することができる。   According to the image analysis apparatus 701 in FIG. 7, the three-dimensional object region can be detected with high accuracy from the image in which the specific region on the surface is in contact with the three-dimensional object region.

図９は、画像解析装置７０１が行う画像解析処理の例を示している。この画像解析処理では、画像から抽出される各領域の画像特徴としてエッジ線分が用いられ、２時刻間における拘束と、分割点に対するグローバル評価とが採用される。   FIG. 9 shows an example of image analysis processing performed by the image analysis apparatus 701. In this image analysis process, an edge line segment is used as an image feature of each region extracted from an image, and a constraint between two times and a global evaluation for a division point are adopted.

画像から抽出されるエッジ線分は、画像から検出されたエッジ点を接続することで生成されるエッジ点連結部分に対応し、始点及び終点を有する有限長の曲線部分又は直線部分である。エッジ線分は物体の輪郭線を表すことが多いため、以下では、エッジ線分を輪郭線と記すことがある。   The edge line segment extracted from the image corresponds to the edge point connection portion generated by connecting the edge points detected from the image, and is a finite-length curve portion or straight line portion having a start point and an end point. Since the edge line segment often represents the contour line of the object, the edge line segment is hereinafter sometimes referred to as a contour line.

２時刻間における拘束を採用することで、３次元の物体モデルから物理的に可能性のある分割点の候補が求められる。例えば、時刻１における画像内の輪郭線がＮ個（Ｎは１以上の整数）の点からなる場合、それらの点が分割点候補Ｐ１〜分割点候補ＰＮとして用いられる。この場合、仮想的な３次元の物体モデルを輪郭線に当てはめることで、時刻１における輪郭線上の分割点候補Ｐｉ（ｉ＝１〜Ｎ）に対応する、時刻２における輪郭線上の分割点候補Ｑｉの位置が計算される。これにより、２時刻間で整合性の取れた分割点候補の組み合わせ９０１−ｉを求めることができる。   By adopting constraints between two times, candidates for physically possible division points are obtained from a three-dimensional object model. For example, when the contour line in the image at time 1 is composed of N (N is an integer of 1 or more) points, these points are used as the division point candidates P1 to P1. In this case, by applying a virtual three-dimensional object model to the contour line, the division point candidate Qi on the contour line at time 2 corresponding to the division point candidate Pi (i = 1 to N) on the contour line at time 1. The position of is calculated. As a result, it is possible to obtain a combination 901-i of division point candidates that is consistent between two times.

また、分割点に対するグローバル評価を採用することで、輪郭線全体の評価値に基づき、局所的な画素値の変化の影響を受けることなく、分割点候補のＮ個の組み合わせ９０１−１〜９０１−Ｎの中から最適な組み合わせが求められる。この場合、時刻１における輪郭線全体の特徴と、時刻２における輪郭線全体の特徴とを用いて、分割点候補Ｐｉと分割点候補Ｑｉの組み合わせ９０１−ｉに対する評価値が計算される。   Further, by adopting global evaluation for the dividing points, N combinations 901-1 to 901-of the dividing point candidates are not affected by local pixel value changes based on the evaluation values of the entire contour line. An optimum combination is required from N. In this case, the evaluation value for the combination 901-i of the dividing point candidate Pi and the dividing point candidate Qi is calculated using the characteristics of the entire contour line at time 1 and the characteristics of the entire contour line at time 2.

具体的には、Ｐｉの上側の部分輪郭線９０２全体の特徴と、Ｐｉの下側の部分輪郭線９０３全体の特徴と、Ｑｉの上側の部分輪郭線９０４全体の特徴と、Ｑｉの下側の部分輪郭線９０５全体の特徴とを用いて、組み合わせ９０１−ｉに対する評価値が計算される。この評価値は、例えば、２時刻間における部分輪郭線同士の類似度と、同時刻における部分輪郭線同士の相違度とに基づいて計算される。   Specifically, the characteristics of the entire partial contour line 902 on the upper side of Pi, the characteristics of the entire partial contour line 903 on the lower side of Pi, the characteristics of the entire partial contour line 904 on the upper side of Pi, and the lower side of Qi An evaluation value for the combination 901-i is calculated using the characteristics of the entire partial contour 905. This evaluation value is calculated based on, for example, the degree of similarity between partial contour lines between two times and the degree of difference between partial contour lines at the same time.

図１０は、図７の画像解析装置７０１の具体例を示している。図１０の画像解析装置７０１は、抽出部７１１、決定部７１２、特定部７１３、映像入力部１０１１、出力部１０１２、及び記憶部１０１３を含む。抽出部７１１は、特徴点抽出部１０２１及び輪郭線抽出部１０２２を含み、決定部７１２は、照合部１０３１、生成部１０３２、相違度計算部１０３３、類似度計算部１０３４、及び分割点決定部１０３５を含む。   FIG. 10 shows a specific example of the image analysis apparatus 701 in FIG. 10 includes an extraction unit 711, a determination unit 712, a specification unit 713, a video input unit 1011, an output unit 1012, and a storage unit 1013. The extraction unit 711 includes a feature point extraction unit 1021 and a contour line extraction unit 1022, and the determination unit 712 includes a matching unit 1031, a generation unit 1032, a dissimilarity calculation unit 1033, a similarity calculation unit 1034, and a division point determination unit 1035. including.

例えば、駐車場で車両が発車する直前に、接触する可能性のある周囲の車両、歩行者等の静止物体を車載カメラの画像から検出し、物体の存在をドライバに通知する安全支援システムにおいて、画像解析装置７０１を用いることができる。この場合、撮像装置１００１は、車両に搭載された１台の単眼カメラであってもよい。車両の正面と背面のように、複数箇所に撮像装置１００１を設置することも可能である。   For example, in a safety support system that detects a stationary object such as a pedestrian, a surrounding vehicle that may come into contact immediately before the vehicle departs from a parking lot, and notifies the driver of the presence of the object, An image analysis device 701 can be used. In this case, the imaging device 1001 may be a single monocular camera mounted on a vehicle. It is also possible to install the imaging devices 1001 at a plurality of locations such as the front and back of the vehicle.

画像解析装置７０１は、例えば、ハードウェア回路として実装することができる。この場合、画像解析装置７０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。   The image analysis device 701 can be implemented as a hardware circuit, for example. In this case, each component of the image analysis device 701 may be mounted as an individual circuit or may be mounted as one integrated circuit.

図１１は、図１０の画像解析装置７０１が行う画像解析処理の具体例を示すフローチャートである。図１１の画像解析処理において、撮像装置１００１は、路面上を移動する車両に搭載され、撮像装置１００１が撮影した画像から抽出される各領域の画像特徴として、各領域の輪郭を表す輪郭線が用いられる。   FIG. 11 is a flowchart illustrating a specific example of image analysis processing performed by the image analysis apparatus 701 in FIG. In the image analysis processing of FIG. 11, the imaging device 1001 is mounted on a vehicle moving on a road surface, and an outline representing the contour of each region is provided as an image feature of each region extracted from an image captured by the imaging device 1001. Used.

特定領域は、例えば、路面上の模様の領域であり、路面上の立体物は、例えば、他の車両、歩行者等である。特定領域と立体物との境界としては、特定領域の輪郭線と立体物の領域の輪郭線との境界が用いられる。   The specific area is, for example, a pattern area on the road surface, and the three-dimensional object on the road surface is, for example, another vehicle or a pedestrian. As the boundary between the specific region and the three-dimensional object, the boundary between the contour line of the specific region and the contour line of the three-dimensional object region is used.

まず、映像入力部１０１１は、車両に搭載された撮像装置１００１が撮影した映像から、現在時刻の画像１０４１を取得し、取得した画像１０４１を記憶部１０１３に格納する（ステップ１１０１）。   First, the video input unit 1011 acquires the image 1041 at the current time from the video captured by the imaging device 1001 mounted on the vehicle, and stores the acquired image 1041 in the storage unit 1013 (step 1101).

撮像装置１００１が出力する映像がアナログ映像である場合、映像入力部１０１１は、各時刻のアナログ画像をデジタル画像に変換し、変換後のデジタル画像を画像１０４１として格納する。撮像装置１００１が出力する映像がカラー映像である場合、映像入力部１０１１は、各時刻のカラー画像をモノクロ画像に変換し、変換後のモノクロ画像を画像１０４１として格納してもよい。複数の撮像装置１００１が設置されている場合、それぞれの撮像装置１００１が撮影した映像から画像１０４１が取得される。   When the video output from the imaging apparatus 1001 is an analog video, the video input unit 1011 converts an analog image at each time into a digital image, and stores the converted digital image as an image 1041. When the video output from the imaging apparatus 1001 is a color video, the video input unit 1011 may convert a color image at each time into a monochrome image and store the converted monochrome image as an image 1041. When a plurality of imaging devices 1001 are installed, the image 1041 is acquired from the video captured by each imaging device 1001.

次に、特徴点抽出部１０２１は、画像１０４１からエッジを検出し、検出したエッジから特徴点画像１０４２を生成して、記憶部１０１３に格納する（ステップ１１０２）。このとき、特徴点抽出部１０２１は、例えば、Sobelフィルタのような微分オペレータを画像１０４１に作用させて、微分処理によって各画素のエッジ強度を求める。次に、特徴点抽出部１０２１は、求めたエッジ強度と閾値とを比較し、閾値以上のエッジ強度を有する領域をエッジとして検出する。   Next, the feature point extraction unit 1021 detects an edge from the image 1041, generates a feature point image 1042 from the detected edge, and stores it in the storage unit 1013 (step 1102). At this time, the feature point extraction unit 1021 applies, for example, a differential operator such as a Sobel filter to the image 1041, and obtains the edge strength of each pixel by differential processing. Next, the feature point extraction unit 1021 compares the obtained edge strength with a threshold value, and detects a region having an edge strength equal to or higher than the threshold value as an edge.

そして、特徴点抽出部１０２１は、検出したエッジの細線化処理を行ってエッジ点を決定し、決定したエッジ点を含む特徴点画像１０４２を生成する。細線化処理では、例えば、各画素のエッジ強度が水平方向に隣接する２画素のエッジ強度と比較され、中央のエッジ強度がピーク値であれば、その画素がエッジ点に決定される。   Then, the feature point extraction unit 1021 performs thinning processing on the detected edges to determine edge points, and generates a feature point image 1042 including the determined edge points. In the thinning process, for example, the edge strength of each pixel is compared with the edge strength of two pixels adjacent in the horizontal direction, and if the central edge strength is a peak value, that pixel is determined as an edge point.

輪郭線抽出部１０２２は、特徴点画像１０４２から、特徴点画像１０４２の垂直方向に対する角度が所定値以内の輪郭線を抽出し、抽出した輪郭線を表す輪郭線情報１０４３を記憶部１０１３に格納する（ステップ１１０３）。輪郭線情報１０４３は、映像の開始時刻から現在時刻までの複数時刻それぞれにおける、複数の特徴点画像１０４２内の輪郭線の情報を含む。   The contour line extraction unit 1022 extracts a contour line whose angle with respect to the vertical direction of the feature point image 1042 is within a predetermined value from the feature point image 1042, and stores the contour line information 1043 representing the extracted contour line in the storage unit 1013. (Step 1103). The contour line information 1043 includes information on contour lines in the plurality of feature point images 1042 at each of a plurality of times from the start time of the video to the current time.

次に、照合部１０３１は、２時刻間における拘束を用いて、現在時刻における輪郭線と、輪郭線情報１０４３に含まれる過去の輪郭線とを照合し、２本の輪郭線が同じ物体の輪郭線であるか否かを判定する（ステップ１１０４）。そして、照合部１０３１は、同じ物体の輪郭線であると判定した２本の輪郭線を対応付ける情報を、輪郭線情報１０４３に設定する。   Next, the collation unit 1031 collates the contour line at the current time with the past contour line included in the contour line information 1043 using the constraint between two times, and the contours of the same object with the two contour lines It is determined whether or not the line is a line (step 1104). Then, the collation unit 1031 sets, in the contour line information 1043, information that associates two contour lines that are determined to be the contour line of the same object.

次に、生成部１０３２は、輪郭線情報１０４３内で対応付けられている２本の輪郭線のうち、過去の輪郭線上の境界の候補となる分割点候補の位置から、現在の輪郭線上の境界の候補となる分割点候補の位置を予測する（ステップ１１０５）。そして、生成部１０３２は、過去の分割点候補と現在の分割点候補との組み合わせを複数個含む候補リスト１０４４を生成し、生成した候補リスト１０４４を記憶部１０１３に格納する。   Next, the generation unit 1032 determines the boundary on the current contour from the position of the candidate for the dividing point that is a candidate for the boundary on the past contour among the two contours associated in the contour information 1043. The position of the candidate for the dividing point that is a candidate for is predicted (step 1105). Then, the generation unit 1032 generates a candidate list 1044 including a plurality of combinations of past division point candidates and current division point candidates, and stores the generated candidate list 1044 in the storage unit 1013.

次に、相違度計算部１０３３は、候補リスト１０４４に含まれる各組み合わせについて、過去の輪郭線上における分割点候補の両側の部分輪郭線の相違度と、現在の輪郭線上における分割点候補の両側の部分輪郭線の相違度とを計算する（ステップ１１０６）。そして、相違度計算部１０３３は、２つの相違度から分割スコア１０４５を計算し、計算した分割スコア１０４５を記憶部１０１３に格納する。   Next, for each combination included in the candidate list 1044, the dissimilarity calculation unit 1033 calculates the dissimilarity between the partial contour lines on both sides of the division point candidate on the past contour line and the both sides of the division point candidate on the current contour line. The difference between the partial contour lines is calculated (step 1106). Then, the dissimilarity calculation unit 1033 calculates a division score 1045 from the two dissimilarities, and stores the calculated division score 1045 in the storage unit 1013.

次に、類似度計算部１０３４は、候補リスト１０４４に含まれる各組み合わせについて、過去の輪郭線上における分割点候補の両側の部分輪郭線と、現在の輪郭線上における分割点候補の両側の部分輪郭線との特徴類似度１０４６を計算する（ステップ１１０７）。そして、類似度計算部１０３４は、計算した特徴類似度１０４６を記憶部１０１３に格納する。   Next, the similarity calculation unit 1034, for each combination included in the candidate list 1044, the partial contour lines on both sides of the division point candidate on the past contour line and the partial contour lines on both sides of the division point candidate on the current contour line. The feature similarity 1046 is calculated (step 1107). Then, the similarity calculation unit 1034 stores the calculated feature similarity 1046 in the storage unit 1013.

次に、分割点決定部１０３５は、分割スコア１０４５及び特徴類似度１０４６に基づいて、分割点に対するグローバル評価を行い、候補リスト１０４４に含まれる組み合わせの中から最適な組み合わせを求める（ステップ１１０８）。そして、分割点決定部１０３５は、その組み合わせが表す過去の分割点候補の位置を過去の輪郭線上の分割点に決定し、現在の分割点候補の位置を現在の輪郭線上の分割点に決定する。   Next, the division point determination unit 1035 performs global evaluation on the division point based on the division score 1045 and the feature similarity 1046, and obtains an optimal combination from the combinations included in the candidate list 1044 (step 1108). Then, the dividing point determination unit 1035 determines the position of the past dividing point candidate represented by the combination as the dividing point on the past outline, and determines the position of the current dividing point candidate as the dividing point on the current outline. .

次に、特定部７１３は、分割点決定部１０３５が決定した分割点の位置で過去及び現在の輪郭線をそれぞれ分割し、対応する画像１０４１内の立体物の領域を特定する（ステップ１１０９）。そして、特定部７１３は、特定した領域を含む検出結果１０４７を記憶部１０１３に格納し、出力部１０１２は、検出結果１０４７を出力する。   Next, the specifying unit 713 divides the past and current contour lines at the position of the division point determined by the division point determination unit 1035, and specifies the region of the three-dimensional object in the corresponding image 1041 (step 1109). The specifying unit 713 stores the detection result 1047 including the specified region in the storage unit 1013, and the output unit 1012 outputs the detection result 1047.

次に、映像入力部１０１１は、撮像装置１００１から続けて映像が入力されているか否かをチェックし（ステップ１１１０）、映像が入力されている場合（ステップ１１１０，ＹＥＳ）、次の時刻の画像について、ステップ１１０１以降の処理を繰り返す。そして、映像の入力が停止した場合（ステップ１１１０，ＮＯ）、画像解析装置７０１は、処理を終了する。   Next, the video input unit 1011 checks whether or not video is continuously input from the imaging device 1001 (step 1110). If video is input (YES in step 1110), the image at the next time is checked. The processing from step 1101 onward is repeated. Then, when the video input is stopped (step 1110, NO), the image analysis device 701 ends the process.

このような画像解析処理によれば、路面上の模様に含まれる輪郭線と立体物の輪郭線とが画像内で繋がっている場合であっても、模様と立体物との境界が正しく識別されるため、立体物の領域を高精度に検出することができる。   According to such image analysis processing, even when the contour line included in the pattern on the road surface and the contour line of the three-dimensional object are connected in the image, the boundary between the pattern and the three-dimensional object is correctly identified. Therefore, the region of the three-dimensional object can be detected with high accuracy.

図１２は、図１１のステップ１１０３における輪郭線抽出処理の例を示すフローチャートである。この輪郭線抽出処理では、特徴点画像１０４２の下端から上端へ向かって、各ラインに含まれる各エッジ点について接続判定を行い、エッジ点同士を接続することで、輪郭線が生成される。そして、各輪郭線に含まれる複数のエッジ点に対して、同じ輪郭線ＩＤが付与される。   FIG. 12 is a flowchart showing an example of the contour line extraction process in step 1103 of FIG. In this contour line extraction processing, connection determination is performed for each edge point included in each line from the lower end to the upper end of the feature point image 1042, and the edge point is connected to generate a contour line. And the same outline ID is provided with respect to the some edge point contained in each outline.

まず、輪郭線抽出部１０２２は、特徴点画像１０４２内の１つのエッジ点を、エッジ点Ａとして選択する（ステップ１２０１）。次に、輪郭線抽出部１０２２は、エッジ点Ａを含むラインよりも１本上のラインに含まれ、エッジ点Ａに隣接する３画素に、エッジ点が存在するか否かをチェックする（ステップ１２０２）。   First, the contour line extraction unit 1022 selects one edge point in the feature point image 1042 as the edge point A (step 1201). Next, the contour line extraction unit 1022 checks whether or not there is an edge point in three pixels that are included in the line one line higher than the line including the edge point A and are adjacent to the edge point A (step). 1202).

図１３は、エッジ点Ａに隣接する３画素の例を示している。エッジ点Ａの左上の画素１３０１、エッジ点Ａの上の画素１３０２、及びエッジ点Ａの右上の画素１３０３が、エッジ点Ａに隣接する３画素に対応する。   FIG. 13 shows an example of three pixels adjacent to the edge point A. The pixel 1301 at the upper left of the edge point A, the pixel 1302 above the edge point A, and the pixel 1303 at the upper right of the edge point A correspond to three pixels adjacent to the edge point A.

３画素のいずれかにエッジ点が存在する場合（ステップ１２０２，ＹＥＳ）、輪郭線抽出部１０２２は、３画素のうち複数の画素にエッジ点が存在するか否かをチェックする（ステップ１２０３）。複数の画素にエッジ点が存在する場合（ステップ１２０３，ＹＥＳ）、輪郭線抽出部１０２２は、それらのエッジ点のうち最適なエッジ点を、エッジ点Ｂとして選択する（ステップ１２０４）。最適なエッジ点としては、例えば、エッジ点Ａのエッジ強度により近いエッジ強度を有するエッジ点を選択してもよく、エッジ点Ａを含む輪郭線の傾きにより近い傾きでエッジ点Ａと接続可能なエッジ点を選択してもよい。   When an edge point exists in any of the three pixels (step 1202, YES), the contour line extraction unit 1022 checks whether or not an edge point exists in a plurality of pixels among the three pixels (step 1203). When an edge point exists in a plurality of pixels (step 1203, YES), the contour line extraction unit 1022 selects an optimum edge point among the edge points as the edge point B (step 1204). As the optimum edge point, for example, an edge point having an edge strength closer to the edge strength of the edge point A may be selected, and the edge point A can be connected to the edge point A with a slope closer to the slope of the contour line including the edge point A. An edge point may be selected.

次に、輪郭線抽出部１０２２は、エッジ点Ｂが輪郭線として登録済みか否かをチェックする（ステップ１２０５）。エッジ点Ｂに対して輪郭線ＩＤが既に付与されている場合、エッジ点Ｂは登録済みと判定され、エッジ点Ｂに対して輪郭線ＩＤが付与されていない場合、エッジ点Ｂは未登録と判定される。   Next, the contour line extraction unit 1022 checks whether or not the edge point B has been registered as a contour line (step 1205). When the contour line ID is already assigned to the edge point B, the edge point B is determined to be registered, and when the contour line ID is not assigned to the edge point B, the edge point B is not registered. Determined.

エッジ点Ｂが未登録である場合（ステップ１２０５，ＮＯ）、輪郭線抽出部１０２２は、エッジ点Ａと同じラインに含まれ、エッジ点Ｂと接続可能な他のエッジ点Ｃが存在するか否かをチェックする（ステップ１２０６）。   When the edge point B is not registered (step 1205, NO), the contour line extraction unit 1022 is included in the same line as the edge point A and whether there is another edge point C that can be connected to the edge point B. Is checked (step 1206).

図１４は、エッジ点Ｂと接続可能なエッジ点Ｃの例を示している。図１４（ａ）のエッジ点Ｂは、エッジ点Ａの上に隣接している。エッジ点Ａの左に隣接するエッジ点Ｃは、エッジ点Ｂにも隣接しているため、エッジ点Ｂと接続可能である。また、図１４（ｂ）のエッジ点Ｂは、エッジ点Ａの左上に隣接している。エッジ点Ａの左側にあるエッジ点Ｃは、エッジ点Ｂに隣接しているため、エッジ点Ｂと接続可能である。   FIG. 14 shows an example of an edge point C that can be connected to the edge point B. The edge point B in FIG. 14A is adjacent to the edge point A. Since the edge point C adjacent to the left of the edge point A is also adjacent to the edge point B, it can be connected to the edge point B. Further, the edge point B in FIG. 14B is adjacent to the upper left of the edge point A. Since the edge point C on the left side of the edge point A is adjacent to the edge point B, it can be connected to the edge point B.

エッジ点Ｃが存在する場合（ステップ１２０６，ＹＥＳ）、輪郭線抽出部１０２２は、エッジ点Ａとエッジ点Ｃとを比較して、いずれが最適なエッジ点であるかを判定する（ステップ１２０７）。最適なエッジ点としては、例えば、エッジ点Ｂのエッジ強度により近いエッジ強度を有するエッジ点を選択してもよく、エッジ点Ｂを含む輪郭線の傾きにより近い傾きでエッジ点Ｂと接続可能なエッジ点を選択してもよい。   When the edge point C exists (step 1206, YES), the contour line extraction unit 1022 compares the edge point A and the edge point C to determine which is the optimum edge point (step 1207). . As the optimum edge point, for example, an edge point having an edge strength closer to the edge strength of the edge point B may be selected, and the edge point B can be connected to the edge point B with an inclination closer to the inclination of the contour line including the edge point B. An edge point may be selected.

エッジ点Ｃを最適なエッジ点と判定した場合（ステップ１２０７，ＹＥＳ）、輪郭線抽出部１０２２は、エッジ点Ｂ及びエッジ点Ｃに対して同じ輪郭線ＩＤを付与することで、エッジ点Ｂとエッジ点Ｃとを接続する（ステップ１２０８）。エッジ点Ｃが登録済みである場合、エッジ点Ｃの輪郭線ＩＤがエッジ点Ｂに対して付与され、エッジ点Ｃが未登録である場合、新たな輪郭線ＩＤがエッジ点Ｂ及びエッジ点Ｃに対して付与される。   When it is determined that the edge point C is the optimum edge point (step 1207, YES), the contour line extraction unit 1022 assigns the same contour line ID to the edge point B and the edge point C, so that the edge point B The edge point C is connected (step 1208). When the edge point C has been registered, the contour line ID of the edge point C is given to the edge point B, and when the edge point C has not been registered, the new contour line IDs are the edge point B and the edge point C. Is granted to.

次に、輪郭線抽出部１０２２は、特徴点画像１０４２内のすべてのエッジ点を処理したか否かをチェックする（ステップ１２１０）。未処理のエッジ点が残っている場合（ステップ１２１０，ＮＯ）、輪郭線抽出部１０２２は、次のエッジ点について、ステップ１２０１以降の処理を繰り返す。   Next, the contour line extraction unit 1022 checks whether or not all edge points in the feature point image 1042 have been processed (step 1210). When an unprocessed edge point remains (step 1210, NO), the contour line extraction unit 1022 repeats the processing after step 1201 for the next edge point.

一方、エッジ点Ａを最適なエッジ点と判定した場合（ステップ１２０７，ＮＯ）、輪郭線抽出部１０２２は、エッジ点Ａ及びエッジ点Ｂに対して同じ輪郭線ＩＤを付与することで、エッジ点Ａとエッジ点Ｂとを接続する（ステップ１２０９）。エッジ点Ａが登録済みである場合、エッジ点Ａの輪郭線ＩＤがエッジ点Ｂに対して付与され、エッジ点Ａが未登録である場合、新たな輪郭線ＩＤがエッジ点Ａ及びエッジ点Ｂに対して付与される。そして、輪郭線抽出部１０２２は、ステップ１２１０以降の処理を行う。   On the other hand, when the edge point A is determined as the optimum edge point (step 1207, NO), the contour line extraction unit 1022 assigns the same contour line ID to the edge point A and the edge point B, thereby A and edge point B are connected (step 1209). When the edge point A has been registered, the contour line ID of the edge point A is given to the edge point B, and when the edge point A has not been registered, the new contour line IDs are the edge point A and the edge point B. Is granted to. Then, the contour line extraction unit 1022 performs the processing after step 1210.

３画素のいずれにもエッジ点が存在しない場合（ステップ１２０２，ＮＯ）、又はエッジ点Ｂが登録済みである場合（ステップ１２０５，ＹＥＳ）、輪郭線抽出部１０２２は、ステップ１２１０以降の処理を行う。１画素にのみエッジ点が存在する場合（ステップ１２０３，ＮＯ）、輪郭線抽出部１０２２は、そのエッジ点をエッジ点Ｂとして選択して、ステップ１２０５以降の処理を行う。エッジ点Ｃが存在しない場合（ステップ１２０６，ＮＯ）、輪郭線抽出部１０２２は、ステップ１２０９以降の処理を行う。   When no edge point exists in any of the three pixels (step 1202, NO), or when the edge point B has already been registered (step 1205, YES), the contour line extraction unit 1022 performs the processing from step 1210 onward. . When an edge point exists only in one pixel (step 1203, NO), the contour line extraction unit 1022 selects the edge point as the edge point B, and performs the processing after step 1205. When the edge point C does not exist (step 1206, NO), the contour line extraction unit 1022 performs the processing after step 1209.

そして、すべてのエッジ点を処理した場合（ステップ１２１０，ＹＥＳ）、輪郭線抽出部１０２２は、輪郭線ＩＤ毎にエッジ点の情報を含む輪郭線情報１０４３を生成する（ステップ１２１１）。このとき、輪郭線抽出部１０２２は、複数のエッジ点が接続されたエッジ線分のうち、所定個数以上のエッジ点が接続されたエッジ線分を、輪郭線として抽出してもよい。   When all edge points have been processed (step 1210, YES), the contour line extraction unit 1022 generates contour line information 1043 including edge point information for each contour line ID (step 1211). At this time, the contour line extraction unit 1022 may extract, as a contour line, an edge line segment to which a predetermined number or more of edge points are connected among edge line segments to which a plurality of edge points are connected.

図１５は、輪郭線情報１０４３の例を示している。図１５の輪郭線情報１０４３は、画像ＩＤ、輪郭線ＩＤ、長さ、エッジ位置、ロスト回数、分割状態、及び分割点位置を含む。画像ＩＤは、画像１０４１の識別情報であり、輪郭線ＩＤは、輪郭線の識別情報である。長さは、輪郭線に含まれるエッジ点の個数を表し、エッジ位置は、輪郭線に含まれる各エッジ点の位置を表す。特徴点画像１０４２の水平方向及び垂直方向をそれぞれｘ軸及びｙ軸とすると、エッジ点の位置は、ｘ座標及びｙ座標により表される。   FIG. 15 shows an example of the contour line information 1043. The contour line information 1043 in FIG. 15 includes an image ID, a contour line ID, a length, an edge position, the number of lost times, a division state, and a division point position. The image ID is identification information of the image 1041, and the contour line ID is contour line identification information. The length represents the number of edge points included in the contour line, and the edge position represents the position of each edge point included in the contour line. If the horizontal direction and the vertical direction of the feature point image 1042 are the x-axis and the y-axis, respectively, the position of the edge point is represented by the x-coordinate and the y-coordinate.

ロスト回数は、映像中で輪郭線の追跡に失敗した回数を表し、その初期値は０である。ロスト回数のインクリメントは、照合部１０３１によって行われる。分割状態は、輪郭線上における分割点の有無を表し、その初期値は分割無しである。分割点位置は、分割点の位置を表す。分割状態の変更と分割点位置の設定は、分割点決定部１０３５によって行われる。   The number of lost times represents the number of times the tracking of the contour line has failed in the video, and its initial value is zero. The collation unit 1031 increments the lost count. The division state represents the presence or absence of division points on the contour line, and the initial value is no division. The division point position represents the position of the division point. The division state is changed and the division point position is set by the division point determination unit 1035.

図１６は、図１１のステップ１１０４における輪郭線照合処理の例を示すフローチャートである。まず、照合部１０３１は、現在時刻の画像１０４１が映像中の何番目のフレームの画像であるかをチェックする（ステップ１６０１）。   FIG. 16 is a flowchart showing an example of the contour line matching process in step 1104 of FIG. First, the collation unit 1031 checks what number of frames in the video the image 1041 at the current time is (step 1601).

現在時刻の画像１０４１が１番目のフレームの画像である場合（ステップ１６０１，ＮＯ）、対応する過去の画像１０４１が存在せず、現在時刻の画像１０４１内の輪郭線はすべて新規に抽出された輪郭線であるため、照合部１０３１は、処理を終了する。   When the image 1041 at the current time is the image of the first frame (step 1601, NO), the corresponding past image 1041 does not exist, and all the contour lines in the image 1041 at the current time are newly extracted contours. Since it is a line, the collation part 1031 complete | finishes a process.

一方、現在時刻の画像１０４１が２番目以降のフレームの画像である場合（ステップ１６０１，ＹＥＳ）、照合部１０３１は、現在時刻の画像１０４１内の輪郭線と、輪郭線情報１０４３に含まれる過去の画像１０４１内の輪郭線とを照合する。   On the other hand, when the image 1041 at the current time is an image of the second and subsequent frames (step 1601, YES), the collation unit 1031 includes the contour line in the image 1041 at the current time and the past information included in the contour line information 1043. The contour line in the image 1041 is collated.

以下では、簡単のため、過去の画像１０４１を画像Ｆ１と記し、現在時刻の画像１０４１を画像Ｆ２と記すことにする。画像Ｆ１としては、画像Ｆ２よりも所定枚数前の画像が用いられる。画像Ｆ１は、画像Ｆ２の直前のフレームの画像であってもよい。   Hereinafter, for the sake of simplicity, the past image 1041 is referred to as an image F1, and the image 1041 at the current time is referred to as an image F2. As the image F1, a predetermined number of images before the image F2 is used. The image F1 may be an image of a frame immediately before the image F2.

照合部１０３１は、まず、画像Ｆ１に含まれる１本の輪郭線を選択し、画像Ｆ１の撮影時刻と現在時刻との間における車両の移動量と、撮像装置１００１の設置情報とを用いて、選択した輪郭線の画像Ｆ２内における移動先位置を計算する（ステップ１６０２）。この移動先位置は、例えば、特許文献２に記載されているように、２時刻間における車両の並進量及び回転量と、撮像装置１００１の車両に対する相対位置及び角度とから、エピポーラ拘束と呼ばれる幾何条件を用いて計算される。   First, the matching unit 1031 selects one contour line included in the image F1, and uses the amount of movement of the vehicle between the shooting time and the current time of the image F1 and the installation information of the imaging device 1001. The movement destination position of the selected contour line in the image F2 is calculated (step 1602). For example, as described in Patent Document 2, the movement destination position is a geometric shape called epipolar constraint based on the translation amount and rotation amount of the vehicle between two times and the relative position and angle of the imaging device 1001 with respect to the vehicle. Calculated using conditions.

次に、照合部１０３１は、画像Ｆ２内の移動先位置に輪郭線が存在するか否かをチェックする（ステップ１６０３）。移動先位置に輪郭線が存在する場合（ステップ１６０３，ＹＥＳ）、照合部１０３１は、画像Ｆ１内の輪郭線と移動先位置の輪郭線との相違度を計算し（ステップ１６０４）、計算した相違度を閾値と比較する（ステップ１６０５）。   Next, the collation unit 1031 checks whether or not an outline exists at the movement destination position in the image F2 (step 1603). When the contour line exists at the movement destination position (step 1603, YES), the collation unit 1031 calculates the degree of difference between the contour line in the image F1 and the contour line of the movement destination position (step 1604), and the calculated difference. The degree is compared with a threshold (step 1605).

相違度が閾値以下である場合（ステップ１６０５，ＹＥＳ）、照合部１０３１は、画像Ｆ１内の輪郭線と移動先位置の輪郭線とが同じ輪郭線であると判定する。そこで、照合部１０３１は、輪郭線情報１０４３において、画像Ｆ２内の移動先位置の輪郭線を示す輪郭線ＩＤを、画像Ｆ１内の輪郭線を示す輪郭線ＩＤと同じＩＤに変更する（ステップ１６０６）。これにより、２本の輪郭線が同じ輪郭線として登録される。   When the degree of difference is equal to or less than the threshold (step 1605, YES), the collation unit 1031 determines that the contour line in the image F1 and the contour line at the movement destination position are the same contour line. Therefore, the matching unit 1031 changes the outline ID indicating the outline of the destination position in the image F2 to the same ID as the outline ID indicating the outline in the image F1 in the outline information 1043 (step 1606). ). As a result, the two contour lines are registered as the same contour line.

次に、照合部１０３１は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックし（ステップ１６１０）、未選択の輪郭線が残っている場合（ステップ１６１０，ＮＯ）、次の輪郭線について、ステップ１６０２以降の処理を繰り返す。   Next, the collation unit 1031 checks whether or not all the contour lines in the image F1 have been selected (step 1610). If an unselected contour line remains (step 1610, NO), the next contour is checked. The process after step 1602 is repeated for the line.

移動先位置に輪郭線が存在しない場合（ステップ１６０３，ＮＯ）、又は相違度が閾値よりも大きい場合（ステップ１６０５，ＮＯ）、照合部１０３１は、画像Ｆ１内の輪郭線と移動先位置の輪郭線とが同じ輪郭線ではないと判定する。この場合、照合部１０３１は、画像Ｆ１内の輪郭線の追跡に失敗したものとみなし、その輪郭線のロスト回数をインクリメントして（ステップ１６０７）、インクリメントしたロスト回数を閾値と比較する（ステップ１６０８）。   When no contour line exists at the movement destination position (step 1603, NO), or when the dissimilarity is larger than the threshold value (step 1605, NO), the collation unit 1031 calculates the contour line between the contour line in the image F1 and the movement destination position. It is determined that the line is not the same contour line. In this case, the collation unit 1031 assumes that tracking of the contour line in the image F1 has failed, increments the number of lost contour lines (step 1607), and compares the incremented lost number with a threshold (step 1608). ).

ロスト回数が閾値以上である場合（ステップ１６０８，ＹＥＳ）、照合部１０３１は、画像Ｆ１内の輪郭線の情報を輪郭線情報１０４３から削除して（ステップ１６０９）、ステップ１６１０以降の処理を行う。一方、ロスト回数が閾値未満である場合（ステップ１６０８，ＮＯ）、照合部１０３１は、その輪郭線の情報を削除することなく、ステップ１６１０以降の処理を行う。   When the number of lost times is equal to or greater than the threshold (step 1608, YES), the collation unit 1031 deletes the contour information in the image F1 from the contour information 1043 (step 1609), and performs the processing from step 1610 onward. On the other hand, when the number of lost times is less than the threshold value (step 1608, NO), the collation unit 1031 performs the processing after step 1610 without deleting the information of the contour line.

そして、画像Ｆ１内のすべての輪郭線を選択した場合（ステップ１６１０，ＹＥＳ）、照合部１０３１は、処理を終了する。   When all the contour lines in the image F1 are selected (step 1610, YES), the collation unit 1031 ends the process.

図１７は、図１６のステップ１６０４における相違度計算処理の例を示すフローチャートである。まず、照合部１０３１は、画像Ｆ１内の輪郭線の移動方向に基づいて、画像Ｆ１内の輪郭線と、画像Ｆ２内の移動先位置の輪郭線との重複部分を求める（ステップ１７０１）。   FIG. 17 is a flowchart illustrating an example of the dissimilarity calculation process in step 1604 of FIG. First, the collation unit 1031 obtains an overlapping portion between the contour line in the image F1 and the contour line of the movement destination position in the image F2 based on the moving direction of the contour line in the image F1 (step 1701).

図１８は、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線との重複部分の例を示している。画像Ｆ１内の輪郭線１８０１から求めた画像Ｆ２内の移動先位置には、輪郭線１８０２が存在する。   FIG. 18 illustrates an example of an overlapping portion between the contour line in the image F1 and the contour line in the image F2. An outline 1802 exists at the movement destination position in the image F2 obtained from the outline 1801 in the image F1.

この場合、エピポーラ拘束に基づいて、輪郭線１８０１の一方の端点１８２１の移動方向を示す直線１８１１と、他方の端点１８２２の移動方向を示す直線１８１２とが求められる。輪郭線１８０２の一方の端点１８３１は直線１８１１上に存在し、他方の端点１８３２は直線１８１２上に存在しない。   In this case, a straight line 1811 indicating the moving direction of one end point 1821 of the outline 1801 and a straight line 1812 indicating the moving direction of the other end point 1822 are obtained based on the epipolar constraint. One end point 1831 of the contour line 1802 exists on the straight line 1811, and the other end point 1832 does not exist on the straight line 1812.

そこで、照合部１０３１は、エピポーラ拘束に基づいて、輪郭線１８０２の端点１８３２を通る直線１８１３を求め、直線１８１３と輪郭線１８０１との交点１８２３を求める。そして、照合部１０３１は、端点１８２１と交点１８２３との間の部分輪郭線１８０３を、輪郭線１８０１上の重複部分に決定し、輪郭線１８０２全体を輪郭線１８０２上の重複部分に決定する。   Therefore, the collation unit 1031 obtains a straight line 1813 passing through the end point 1832 of the contour line 1802 based on the epipolar constraint, and obtains an intersection 1823 between the straight line 1813 and the contour line 1801. Then, the collation unit 1031 determines a partial contour 1803 between the end point 1821 and the intersection 1823 as an overlapping portion on the contour 1801 and determines the entire contour 1802 as an overlapping portion on the contour 1802.

次に、照合部１０３１は、２時刻間における輪郭線の長さの変化を補償するため、２本の輪郭線の重複部分の長さが同じになるようにスケール調整を行い（ステップ１７０２）、調整後の各重複部分の重心位置を計算する（ステップ１７０３）。そして、照合部１０３１は、２つの重複部分の重心同士を重ね合わせて、各重複部分に含まれる点を選択し、選択した点同士の水平方向のずれ量を計算する（ステップ１７０４）。   Next, the collation unit 1031 adjusts the scale so that the lengths of the overlapping portions of the two contour lines become the same in order to compensate for the change in the length of the contour line between two times (step 1702). The center-of-gravity position of each overlapping portion after adjustment is calculated (step 1703). The collation unit 1031 then superimposes the centroids of the two overlapping portions, selects points included in each overlapping portion, and calculates the amount of horizontal displacement between the selected points (step 1704).

図１９は、２つの重複部分の重ね合わせの例を示している。線分１９０１は、スケール調整された部分輪郭線１８０３を表し、線分１９０２は、スケール調整された輪郭線１８０２を表す。線分１９０１の重心と線分１９０２の重心とを点１９０３において重ね合わせた場合、線分１９０１上の各点と、同じｙ座標を有する線分１９０２上の点との間で、ｘ座標の差分の絶対値が水平方向のずれ量として計算される。   FIG. 19 shows an example of superposition of two overlapping portions. A line segment 1901 represents a scaled partial outline 1803, and a line segment 1902 represents a scaled outline 1802. When the center of gravity of the line segment 1901 and the center of gravity of the line segment 1902 are overlapped at a point 1903, the difference in x coordinate between each point on the line segment 1901 and a point on the line segment 1902 having the same y coordinate. Is calculated as the amount of horizontal displacement.

次に、照合部１０３１は、重複部分のすべての点を選択したか否かをチェックし（ステップ１７０５）、未選択の点が残っている場合（ステップ１７０５，ＮＯ）、次の点について、ステップ１７０４の処理を繰り返す。   Next, the collation unit 1031 checks whether or not all the points in the overlapping portion have been selected (step 1705), and if unselected points remain (step 1705, NO), the step is performed for the next point. The processing of 1704 is repeated.

そして、重複部分のすべての点を選択した場合（ステップ１７０５，ＹＥＳ）、照合部１０３１は、複数のずれ量の統計値を計算する（ステップ１７０６）。ずれ量の統計値としては、複数のずれ量の平均値、中央値、最大値、最小値等を用いることができ、計算された統計値は、ステップ１６０４の相違度として用いられる。   When all the points in the overlapping portion are selected (step 1705, YES), the collation unit 1031 calculates a plurality of statistical values of deviation amounts (step 1706). As the statistical value of the deviation amount, an average value, median value, maximum value, minimum value, or the like of a plurality of deviation amounts can be used, and the calculated statistical value is used as the degree of difference in step 1604.

図１６の輪郭線照合処理によれば、２時刻間における車両の移動量と撮像装置１００１の設置情報とから、過去の画像１０４１内の輪郭線に対応する現在時刻の画像１０４１内の輪郭線を特定して、それらの輪郭線を対応付けることができる。また、ロスト回数が閾値以上である場合に輪郭線を削除することで、撮影範囲から消えた立体物等の領域を処理対象から除外することができる。   According to the contour line matching process in FIG. 16, the contour line in the image 1041 at the current time corresponding to the contour line in the past image 1041 is obtained from the movement amount of the vehicle between the two times and the installation information of the imaging device 1001. It is possible to identify and associate those contour lines. Further, by deleting the contour line when the number of lost times is equal to or greater than the threshold value, a region such as a three-dimensional object that has disappeared from the imaging range can be excluded from the processing target.

図２０は、図１１のステップ１１０５における候補リスト生成処理の例を示すフローチャートである。まず、生成部１０３２は、輪郭線照合処理で用いられた画像Ｆ１内の１本の輪郭線を選択し、輪郭線情報１０４３を参照して、選択した輪郭線と同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在するか否かをチェックする（ステップ２００１）。   FIG. 20 is a flowchart showing an example of candidate list generation processing in step 1105 of FIG. First, the generation unit 1032 selects one contour line in the image F1 used in the contour line matching process, refers to the contour line information 1043, and has the same contour line ID as the selected contour line. Is present in the image F2 (step 2001).

同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在する場合（ステップ２００１，ＹＥＳ）、生成部１０３２は、画像Ｆ１内の輪郭線の下側の端点が路面上に存在するという条件を用いて、その端点の３次元空間内における位置を計算する（ステップ２００２）。端点が路面上に存在する場合、高さは０であるため、撮像装置１００１の車両に対する相対位置及び角度から、端点の３次元空間内における位置を計算することができる。以下では、３次元空間内における位置を３次元位置と記すことがある。   When the contour line having the same contour line ID exists in the image F2 (step 2001, YES), the generation unit 1032 uses the condition that the lower end point of the contour line in the image F1 exists on the road surface. Then, the position of the end point in the three-dimensional space is calculated (step 2002). When the end point exists on the road surface, the height is 0. Therefore, the position of the end point in the three-dimensional space can be calculated from the relative position and angle of the imaging device 1001 to the vehicle. Hereinafter, a position in the three-dimensional space may be referred to as a three-dimensional position.

次に、生成部１０３２は、画像Ｆ１内の輪郭線上の１個のエッジ点を選択し、画像Ｆ１内の輪郭線が、路面に対して垂直な方向における立体物の輪郭線に対応するという条件を用いて、選択したエッジ点に対応する３次元位置を計算する（ステップ２００３）。   Next, the generation unit 1032 selects one edge point on the contour line in the image F1, and the condition that the contour line in the image F1 corresponds to the contour line of the three-dimensional object in the direction perpendicular to the road surface. Is used to calculate a three-dimensional position corresponding to the selected edge point (step 2003).

次に、生成部１０３２は、画像Ｆ１の撮影時刻と現在時刻との間における車両の移動量と、撮像装置１００１の設置情報とを用いて、エッジ点に対応する３次元位置から、現在時刻における３次元位置を計算する（ステップ２００４）。そして、生成部１０３２は、現在時刻における３次元位置に対応する画像Ｆ２内の位置を計算する（ステップ２００５）。   Next, the generation unit 1032 uses the amount of movement of the vehicle between the shooting time of the image F1 and the current time and the installation information of the imaging device 1001 to calculate the current time from the three-dimensional position corresponding to the edge point. A three-dimensional position is calculated (step 2004). Then, the generation unit 1032 calculates a position in the image F2 corresponding to the three-dimensional position at the current time (step 2005).

ステップ２００３〜ステップ２００５における各位置は、例えば、特許文献２に記載されているように、２時刻間における車両の並進量及び回転量と、撮像装置１００１の車両に対する相対位置及び角度とを用いて、計算することができる。   Each position in step 2003 to step 2005 is calculated by using the translation amount and rotation amount of the vehicle between two times and the relative position and angle of the imaging device 1001 with respect to the vehicle, as described in Patent Document 2, for example. Can be calculated.

次に、生成部１０３２は、画像Ｆ１内の輪郭線と同じ輪郭線ＩＤを有する、画像Ｆ２内の輪郭線上で、計算した位置に対応するエッジ点を求める（ステップ２００６）。そして、生成部１０３２は、画像Ｆ１内の選択したエッジ点と画像Ｆ２内の求めたエッジ点とを、分割点候補の組み合わせとして候補リスト１０４４に記録する。   Next, the generation unit 1032 obtains an edge point corresponding to the calculated position on the contour line in the image F2 having the same contour ID as the contour line in the image F1 (step 2006). Then, the generation unit 1032 records the selected edge point in the image F1 and the obtained edge point in the image F2 in the candidate list 1044 as a combination of division point candidates.

次に、生成部１０３２は、画像Ｆ１内の輪郭線が路面上の模様の輪郭線に対応するという条件を用いて、選択したエッジ点に対応する３次元位置を計算する（ステップ２００７）。   Next, the generation unit 1032 calculates a three-dimensional position corresponding to the selected edge point using a condition that the contour line in the image F1 corresponds to the contour line of the pattern on the road surface (step 2007).

次に、生成部１０３２は、ステップ２００４と同様にして、エッジ点に対応する３次元位置から、現在時刻における３次元位置を計算し（ステップ２００８）、ステップ２００５と同様にして、画像Ｆ２内の位置を計算する（ステップ２００９）。そして、生成部１０３２は、ステップ２００６と同様にして、画像Ｆ２内の輪郭線上のエッジ点を求め、画像Ｆ１内の選択したエッジ点と画像Ｆ２内の求めたエッジ点とを、分割点候補の組み合わせとして候補リスト１０４４に記録する（ステップ２０１０）。   Next, the generation unit 1032 calculates the three-dimensional position at the current time from the three-dimensional position corresponding to the edge point in the same manner as in step 2004 (step 2008), and in the same manner as in step 2005, The position is calculated (step 2009). Then, the generation unit 1032 obtains an edge point on the contour line in the image F2 in the same manner as in step 2006, and the selected edge point in the image F1 and the obtained edge point in the image F2 are obtained as candidate division points. The combinations are recorded in the candidate list 1044 (step 2010).

次に、生成部１０３２は、画像Ｆ１内の輪郭線上のすべてのエッジ点を選択したか否かをチェックし（ステップ２０１１）、未選択のエッジ点が残っている場合（ステップ２０１１，ＮＯ）、次のエッジ点について、ステップ２００３以降の処理を繰り返す。   Next, the generation unit 1032 checks whether or not all edge points on the contour line in the image F1 have been selected (step 2011), and if unselected edge points remain (step 2011, NO), The processing after step 2003 is repeated for the next edge point.

すべてのエッジ点を選択した場合（ステップ２０１１，ＹＥＳ）、生成部１０３２は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２０１２）。未選択の輪郭線が残っている場合（ステップ２０１２，ＮＯ）、生成部１０３２は、次の輪郭線について、ステップ２００１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２０１２，ＹＥＳ）、生成部１０３２は、処理を終了する。   If all edge points have been selected (step 2011, YES), the generation unit 1032 checks whether all the contour lines in the image F1 have been selected (step 2012). When an unselected contour line remains (step 2012, NO), the generation unit 1032 repeats the processing after step 2001 for the next contour line. If all the contour lines have been selected (step 2012, YES), the generation unit 1032 ends the process.

このような候補リスト生成処理によれば、各輪郭線を立体物の輪郭線と仮定した場合の分割点候補の組み合わせと、各輪郭線を路面上の模様の輪郭線と仮定した場合の分割点候補の組み合わせとを含む、候補リスト１０４４が生成される。   According to such candidate list generation processing, a combination of division point candidates when each contour line is assumed to be a contour line of a solid object, and a division point when each contour line is assumed to be a contour line of a pattern on the road surface A candidate list 1044 is generated that includes candidate combinations.

なお、生成部１０３２は、画像Ｆ１内の輪郭線上のすべてのエッジ点に対してではなく、所定間隔で選択した少数のエッジ点に対して、ステップ２００３〜ステップ２０１０の処理を行ってもよい。これにより、画像解析装置７０１の処理負荷を軽減することができる。   Note that the generation unit 1032 may perform the processing from step 2003 to step 2010 on a small number of edge points selected at a predetermined interval, not on all edge points on the contour line in the image F1. Thereby, the processing load of the image analysis apparatus 701 can be reduced.

図２１は、候補リスト生成処理の例を示している。画像Ｆ１内の輪郭線２１０１の下側のエッジ点２１１１が路面上に存在すると仮定することで、エッジ点２１１１の３次元位置が計算され、２時刻間における拘束から、画像Ｆ２内の対応する輪郭線２１０２上のエッジ点２１２１が求められる。   FIG. 21 shows an example of candidate list generation processing. Assuming that the edge point 2111 below the contour line 2101 in the image F1 exists on the road surface, the three-dimensional position of the edge point 2111 is calculated, and the corresponding contour in the image F2 is calculated from the constraint between two times. An edge point 2121 on the line 2102 is determined.

ここで、輪郭線２１０１及び輪郭線２１０２が路面上の立体物２１３１の高さ方向における輪郭線であると仮定することで、輪郭線２１０１上のエッジ点２１１２〜エッジ点２１１５にそれぞれ対応する３次元位置が計算される。次に、２時刻間における拘束から、エッジ点２１１２〜エッジ点２１１５にそれぞれ対応する、輪郭線２１０２上のエッジ点２１２２〜エッジ点２１２５が求められる。そして、輪郭線２１０１上の各エッジ点と輪郭線２１０２上の各エッジ点との組み合わせが、分割点候補の組み合わせとして記録される。   Here, assuming that the contour line 2101 and the contour line 2102 are contour lines in the height direction of the three-dimensional object 2131 on the road surface, three-dimensional corresponding to the edge points 2112 to 2115 on the contour line 2101 respectively. The position is calculated. Next, the edge point 2122 to the edge point 2125 on the outline 2102 corresponding to the edge point 2112 to the edge point 2115 are obtained from the constraint between two times. A combination of each edge point on the contour line 2101 and each edge point on the contour line 2102 is recorded as a combination of division point candidates.

このように、２時刻間における拘束を採用することで、画像Ｆ１内の輪郭線２１０１上の分割点候補に対応する、画像Ｆ２内の輪郭線２１０２上の分割点候補が一意に求められる。   In this way, by adopting the constraint between two times, the candidate for the dividing point on the contour line 2102 in the image F2 corresponding to the candidate for the dividing point on the contour line 2101 in the image F1 is uniquely obtained.

図２２は、図１１のステップ１１０６における分割スコア計算処理の例を示すフローチャートである。まず、相違度計算部１０３３は、画像Ｆ１内の１本の輪郭線を選択し、候補リスト１０４４を参照して、選択した輪郭線上の分割点候補を含む１個の組み合わせを選択し、その輪郭線を分割点候補の位置で２本の部分輪郭線に分割する。   FIG. 22 is a flowchart illustrating an example of the division score calculation process in step 1106 of FIG. First, the dissimilarity calculation unit 1033 selects one contour line in the image F1, refers to the candidate list 1044, selects one combination including division point candidates on the selected contour line, and the contour. The line is divided into two partial contour lines at the position of the dividing point candidate.

そして、相違度計算部１０３３は、分割点候補の上側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ１と、その部分輪郭線の傾きＵ１とを計算する（ステップ２２０１）。画素値としては、例えば、輝度値を用いることができ、画素値の統計値としては、複数の画素値の平均値、中央値、最大値、最小値等を用いることができる。   Then, the dissimilarity calculation unit 1033 calculates the pixel value statistical value V1 of the edge point included in the upper partial contour line of the division point candidate and the slope U1 of the partial contour line (step 2201). For example, a luminance value can be used as the pixel value, and an average value, median value, maximum value, minimum value, or the like of a plurality of pixel values can be used as the statistical value of the pixel value.

次に、相違度計算部１０３３は、分割点候補の下側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ２と、その部分輪郭線の傾きＵ２とを計算する（ステップ２２０２）。そして、相違度計算部１０３３は、上側の部分輪郭線と下側の部分輪郭線との相違度を示す評価値Ｅ１を、次式により計算する（ステップ２２０３）。   Next, the dissimilarity calculation unit 1033 calculates the pixel value statistical value V2 of the edge point included in the lower partial contour line of the division point candidate and the slope U2 of the partial contour line (step 2202). Then, the dissimilarity calculation unit 1033 calculates an evaluation value E1 indicating the dissimilarity between the upper partial contour line and the lower partial contour line by the following equation (step 2203).

Ｅ１＝ｗ１×Ｄ１＋ｗ２×Ｄ２ （１１）
Ｄ１＝｜Ｖ１−Ｖ２｜ （１２）
Ｄ２＝｜θ１｜ （１３） E1 = w1 × D1 + w2 × D2 (11)
D1 = | V1-V2 | (12)
D2 = | θ1 | (13)

式（１１）のｗ１及びｗ２は、調整係数を表す正の実数であり、式（１３）のθ１は、傾きＵ１と傾きＵ２との間の角度である。画素値相違度Ｄ１は、上側の部分輪郭線の画素値と下側の部分輪郭線の画素値との相違度を示し、傾き相違度Ｄ２は、上側の部分輪郭線の傾きと下側の部分輪郭線の傾きとの相違度を示す。   W1 and w2 in equation (11) are positive real numbers representing adjustment coefficients, and θ1 in equation (13) is an angle between the gradient U1 and the gradient U2. The pixel value difference D1 indicates the difference between the pixel value of the upper partial outline and the pixel value of the lower partial outline, and the inclination difference D2 indicates the inclination of the upper partial outline and the lower part. The degree of difference from the inclination of the contour line is shown.

同様にして、相違度計算部１０３３は、画像Ｆ２内の輪郭線を分割点候補の位置で２本の部分輪郭線に分割し、分割点候補の上側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ３と、その部分輪郭線の傾きＵ３とを計算する（ステップ２２０４）。   Similarly, the dissimilarity calculation unit 1033 divides the contour line in the image F2 into two partial contour lines at the position of the division point candidate, and the edge point pixels included in the partial contour line above the division point candidate. The statistical value V3 of the value and the slope U3 of the partial contour line are calculated (step 2204).

次に、相違度計算部１０３３は、分割点候補の下側の部分輪郭線に含まれるエッジ点の画素値の統計値Ｖ４と、その部分輪郭線の傾きＵ４とを計算する（ステップ２２０５）。そして、相違度計算部１０３３は、上側の部分輪郭線と下側の部分輪郭線との相違度を示す評価値Ｅ２を、次式により計算する（ステップ２２０６）。   Next, the dissimilarity calculation unit 1033 calculates the pixel value statistical value V4 of the edge point included in the lower partial outline of the division point candidate and the inclination U4 of the partial outline (step 2205). Then, the dissimilarity calculation unit 1033 calculates an evaluation value E2 indicating the dissimilarity between the upper partial contour line and the lower partial contour line by the following equation (step 2206).

Ｅ２＝ｗ１×Ｄ３＋ｗ２×Ｄ４ （１４）
Ｄ３＝｜Ｖ３−Ｖ４｜ （１５）
Ｄ４＝｜θ２｜ （１６） E2 = w1 × D3 + w2 × D4 (14)
D3 = | V3-V4 | (15)
D4 = | θ2 | (16)

式（１６）のθ２は、傾きＵ３と傾きＵ４との間の角度である。相違度計算部１０３３は、選択した分割点候補の組み合わせに対する評価値を示す分割スコアＥ３を、次式により計算し、分割スコアＥ３を分割スコア１０４５として記録する（ステップ２２０７）。   Θ2 in Expression (16) is an angle between the inclination U3 and the inclination U4. The dissimilarity calculation unit 1033 calculates a division score E3 indicating an evaluation value for the selected combination of division point candidates according to the following equation, and records the division score E3 as the division score 1045 (step 2207).

Ｅ３＝Ｅ１＋Ｅ２ （１７） E3 = E1 + E2 (17)

次に、相違度計算部１０３３は、画像Ｆ１内の輪郭線上の分割点候補を含むすべての組み合わせを選択したか否かをチェックする（ステップ２２０８）。未選択の組み合わせが残っている場合（ステップ２２０８，ＮＯ）、相違度計算部１０３３は、次の組み合わせについて、ステップ２２０１以降の処理を繰り返す。   Next, the dissimilarity calculation unit 1033 checks whether or not all combinations including the dividing point candidates on the contour line in the image F1 have been selected (step 2208). When an unselected combination remains (step 2208, NO), the difference calculation unit 1033 repeats the processing after step 2201 for the next combination.

すべての組み合わせを選択した場合（ステップ２２０８，ＹＥＳ）、相違度計算部１０３３は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２２０９）。未選択の輪郭線が残っている場合（ステップ２２０９，ＮＯ）、相違度計算部１０３３は、次の輪郭線について、ステップ２２０１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２２０９，ＹＥＳ）、相違度計算部１０３３は、処理を終了する。   When all combinations are selected (step 2208, YES), the dissimilarity calculation unit 1033 checks whether all the contour lines in the image F1 have been selected (step 2209). When an unselected contour line remains (step 2209, NO), the dissimilarity calculation unit 1033 repeats the processing after step 2201 for the next contour line. When all the contour lines are selected (step 2209, YES), the dissimilarity calculation unit 1033 ends the process.

このような分割スコア計算処理によれば、画像Ｆ１内の各輪郭線上の各分割点候補について、式（１７）の分割スコアＥ３を求めることができる。分割スコアＥ３が大きいほど、対応する分割点候補が輪郭線上の分割点としてより適切であることを表す。   According to such a division score calculation process, the division score E3 of Expression (17) can be obtained for each division point candidate on each contour line in the image F1. As the division score E3 is larger, the corresponding division point candidate is more suitable as a division point on the contour line.

図２３は、図１１のステップ１１０７における特徴類似度計算処理の例を示すフローチャートである。まず、類似度計算部１０３４は、画像Ｆ１内の１本の輪郭線を選択し、候補リスト１０４４を参照して、選択した輪郭線上の分割点候補を含む１個の組み合わせを選択する。   FIG. 23 is a flowchart showing an example of the feature similarity calculation process in step 1107 of FIG. First, the similarity calculation unit 1034 selects one contour line in the image F1, refers to the candidate list 1044, and selects one combination including division point candidates on the selected contour line.

そして、類似度計算部１０３４は、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線のそれぞれを、分割点候補の位置で２本の部分輪郭線に分割し、画像Ｆ１内の輪郭線の上側の部分輪郭線と、画像Ｆ２内の輪郭線の上側の部分輪郭線とを選択する（ステップ２３０１）。   Then, the similarity calculation unit 1034 divides each of the contour line in the image F1 and the contour line in the image F2 into two partial contour lines at the position of the division point candidate, and above the contour line in the image F1. And a partial outline above the outline in the image F2 are selected (step 2301).

次に、類似度計算部１０３４は、選択した２本の部分輪郭線の長さが同じになるようにスケール調整を行い（ステップ２３０２）、調整後の２本の部分輪郭線の類似度Ｇ１を、次式により計算する（ステップ２３０３）。   Next, the similarity calculation unit 1034 adjusts the scale so that the lengths of the two selected partial contour lines are the same (step 2302), and calculates the similarity G1 of the two partial contour lines after the adjustment. The calculation is performed according to the following equation (step 2303).

Ｇ１＝ｗ３×Ｒ１＋ｗ４×Ｒ２ （２１）
Ｒ１＝２５５−ＶＤ１／Ｍ１ （２２）
Ｒ２＝ｗ５−ｗ６×（ＸＤ１／Ｍ１） （２３） G1 = w3 × R1 + w4 × R2 (21)
R1 = 255−VD1 / M1 (22)
R2 = w5-w6 × (XD1 / M1) (23)

式（２１）のｗ３及びｗ４と、式（２３）のｗ５及びｗ６は、調整係数を表す正の実数であり、式（２２）及び式（２３）のＭ１は、調整後の各部分輪郭線上の点の総数を表す。式（２２）のＶＤ１は、部分輪郭線間における２点の画素値の差分の総和を表す。画素値としては、例えば、輝度値を用いることができる。   W3 and w4 in Equation (21) and w5 and w6 in Equation (23) are positive real numbers representing adjustment coefficients, and M1 in Equation (22) and Equation (23) is on each adjusted partial contour line. Represents the total number of points. VD1 in Expression (22) represents the sum of differences between the pixel values at two points between the partial contour lines. As the pixel value, for example, a luminance value can be used.

式（２３）のＸＤ１は、部分輪郭線間における２点の水平方向のずれ量の総和を表す。例えば、図１９に示した２つの重複部分と同様に、調整後の２本の部分輪郭線を重心位置で重ね合わせることで、水平方向のずれ量を求めることができる。この場合、一方の部分輪郭線上の各点と、同じｙ座標を有する他方の部分輪郭線上の点との間で、ｘ座標の差分の絶対値が水平方向のずれ量として計算される。   XD1 in the equation (23) represents the total sum of the horizontal shift amounts of two points between the partial contour lines. For example, similarly to the two overlapping portions shown in FIG. 19, the amount of deviation in the horizontal direction can be obtained by superimposing two adjusted partial contour lines at the center of gravity. In this case, the absolute value of the difference in the x coordinate between each point on one partial contour line and the point on the other partial contour line having the same y coordinate is calculated as a horizontal shift amount.

画素値類似度Ｒ１は、画像Ｆ１内の上側の部分輪郭線の画素値と、画像Ｆ２内の上側の部分輪郭線の画素値との類似度を示し、傾き類似度Ｒ２は、画像Ｆ１内の上側の部分輪郭線の傾きと、画像Ｆ２内の上側の部分輪郭線の傾きとの類似度を示す。   The pixel value similarity R1 indicates the similarity between the pixel value of the upper partial contour line in the image F1 and the pixel value of the upper partial contour line in the image F2, and the inclination similarity R2 indicates the similarity in the image F1. The similarity between the inclination of the upper partial contour line and the inclination of the upper partial contour line in the image F2 is shown.

次に、類似度計算部１０３４は、画像Ｆ１内の輪郭線の下側の部分輪郭線と、画像Ｆ２内の輪郭線の下側の部分輪郭線とを選択する（ステップ２３０４）。そして、類似度計算部１０３４は、選択した２本の部分輪郭線同士のスケール調整を行い（ステップ２３０５）、調整後の２本の部分輪郭線の類似度Ｇ２を、次式により計算する（ステップ２３０６）。   Next, the similarity calculation unit 1034 selects a lower partial contour line in the image F1 and a lower partial contour line in the image F2 (step 2304). Then, the similarity calculation unit 1034 performs scale adjustment between the two selected partial contour lines (step 2305), and calculates the similarity G2 of the two partial contour lines after the adjustment using the following equation (step 2305). 2306).

Ｇ２＝ｗ３×Ｒ３＋ｗ４×Ｒ４ （２４）
Ｒ３＝２５５−ＶＤ２／Ｍ２ （２５）
Ｒ４＝ｗ５−ｗ６×（ＸＤ２／Ｍ２） （２６） G2 = w3 × R3 + w4 × R4 (24)
R3 = 255−VD2 / M2 (25)
R4 = w5-w6 × (XD2 / M2) (26)

式（２５）及び式（２６）のＭ２は、調整後の各部分輪郭線上の点の総数を表す。式（２５）のＶＤ２は、部分輪郭線間における２点の画素値の差分の総和を表し、式（２６）のＸＤ２は、部分輪郭線間における２点の水平方向のずれ量の総和を表す。   M2 in Expression (25) and Expression (26) represents the total number of points on each partial contour line after adjustment. VD2 in Expression (25) represents the sum of the differences between the two pixel values between the partial contour lines, and XD2 in Expression (26) represents the total sum of the horizontal deviation amounts of the two points between the partial contour lines. .

画素値類似度Ｒ３は、画像Ｆ１内の下側の部分輪郭線の画素値と、画像Ｆ２内の下側の部分輪郭線の画素値との類似度を示し、傾き類似度Ｒ４は、画像Ｆ１内の下側の部分輪郭線の傾きと、画像Ｆ２内の下側の部分輪郭線の傾きとの類似度を示す。   The pixel value similarity R3 indicates the similarity between the pixel value of the lower partial contour line in the image F1 and the pixel value of the lower partial contour line in the image F2, and the inclination similarity R4 indicates the image similarity. The similarity between the inclination of the lower partial outline in the image and the inclination of the lower partial outline in the image F2 is shown.

次に、類似度計算部１０３４は、画像Ｆ１内の両側の部分輪郭線と、画像Ｆ２内の両側の部分輪郭線との特徴類似度Ｇ３を、次式により計算し、特徴類似度Ｇ３を特徴類似度１０４６として記録する（ステップ２３０７）。   Next, the similarity calculation unit 1034 calculates the feature similarity G3 between the partial outlines on both sides in the image F1 and the partial outlines on both sides in the image F2 by the following formula, and the feature similarity G3 is the feature. It records as similarity 1046 (step 2307).

Ｇ３＝Ｇ１＋Ｇ２ （２７） G3 = G1 + G2 (27)

次に、類似度計算部１０３４は、画像Ｆ１内の輪郭線上の分割点候補を含むすべての組み合わせを選択したか否かをチェックする（ステップ２３０８）。未選択の組み合わせが残っている場合（ステップ２３０８，ＮＯ）、類似度計算部１０３４は、次の組み合わせについて、ステップ２３０１以降の処理を繰り返す。   Next, the similarity calculation unit 1034 checks whether or not all combinations including division point candidates on the contour line in the image F1 have been selected (step 2308). When an unselected combination remains (step 2308, NO), the similarity calculation unit 1034 repeats the processing after step 2301 for the next combination.

すべての組み合わせを選択した場合（ステップ２３０８，ＹＥＳ）、類似度計算部１０３４は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２３０９）。未選択の輪郭線が残っている場合（ステップ２３０９，ＮＯ）、類似度計算部１０３４は、次の輪郭線について、ステップ２３０１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２３０９，ＹＥＳ）、類似度計算部１０３４は、処理を終了する。   When all combinations are selected (step 2308, YES), the similarity calculation unit 1034 checks whether or not all the contour lines in the image F1 have been selected (step 2309). When an unselected contour line remains (step 2309, NO), the similarity calculation unit 1034 repeats the processing after step 2301 for the next contour line. If all the contour lines are selected (step 2309, YES), the similarity calculation unit 1034 ends the process.

このような特徴類似度計算処理によれば、画像Ｆ１内の各輪郭線上の各分割点候補について、式（２７）の特徴類似度Ｇ３を求めることができる。特徴類似度Ｇ３が大きいほど、対応する分割点候補が輪郭線上の分割点としてより適切であることを表す。   According to such feature similarity calculation processing, the feature similarity G3 of Expression (27) can be obtained for each division point candidate on each contour line in the image F1. The larger the feature similarity G3, the more appropriate the corresponding dividing point candidate is as a dividing point on the contour line.

なお、撮像装置１００１が出力する映像がカラー映像である場合、映像入力部１０１１は、各時刻のカラー画像を記憶部１０１３に格納することもできる。この場合、相違度計算部１０３３及び類似度計算部１０３４は、カラー画像のＲＧＢ値、色差信号等を画素値として用いて、分割スコアＥ３及び特徴類似度Ｇ３を計算してもよい。   Note that when the video output from the imaging apparatus 1001 is a color video, the video input unit 1011 can store a color image at each time in the storage unit 1013. In this case, the dissimilarity calculation unit 1033 and the similarity calculation unit 1034 may calculate the division score E3 and the feature similarity G3 by using the RGB value of the color image, the color difference signal, or the like as the pixel value.

図２４は、図１１のステップ１１０８における分割点決定処理の例を示すフローチャートである。まず、分割点決定部１０３５は、画像Ｆ１内の１本の輪郭線を選択し、分割スコア１０４５及び特徴類似度１０４６を参照して、選択した輪郭線上の各分割点候補に対する特徴評価値Ｅ４を、次式により計算する（ステップ２４０１）。   FIG. 24 is a flowchart showing an example of the dividing point determination process in step 1108 of FIG. First, the division point determination unit 1035 selects one contour line in the image F1, refers to the division score 1045 and the feature similarity 1046, and calculates a feature evaluation value E4 for each division point candidate on the selected contour line. The calculation is performed according to the following equation (step 2401).

Ｅ４＝Ｅ３＋Ｇ３ （３１） E4 = E3 + G3 (31)

そして、分割点決定部１０３５は、複数の分割点候補に対する特徴評価値Ｅ４のうち最大値を選択して、閾値と比較する（ステップ２４０２）。特徴評価値Ｅ４の最大値が閾値以上である場合（ステップ２４０２，ＹＥＳ）、分割点決定部１０３５は、最大値に対応する分割点候補を分割点に決定し、決定した分割点の位置で輪郭線を分割する（ステップ２４０３）。これにより、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線とが、それぞれの分割点で分割される。   Then, the division point determination unit 1035 selects the maximum value among the feature evaluation values E4 for the plurality of division point candidates and compares it with a threshold value (step 2402). If the maximum value of the feature evaluation value E4 is equal to or greater than the threshold (step 2402, YES), the dividing point determination unit 1035 determines a dividing point candidate corresponding to the maximum value as a dividing point, and contours at the determined position of the dividing point. The line is divided (step 2403). Thereby, the outline in the image F1 and the outline in the image F2 are divided | segmented by each division | segmentation point.

そして、分割点決定部１０３５は、輪郭線情報１０４３において、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線の分割状態及び分割点位置を更新する（ステップ２４０４）。輪郭線の分割状態が分割無しである場合、分割点決定部１０３５は、分割状態を分割有りに変更し、決定した分割点の位置を分割点位置に設定する。   Then, the division point determination unit 1035 updates the division state and the division point position of the outline in the image F1 and the outline in the image F2 in the outline information 1043 (step 2404). When the dividing state of the contour line is not divided, the dividing point determination unit 1035 changes the dividing state to dividing and sets the determined dividing point position as the dividing point position.

一方、輪郭線の分割状態が分割有りである場合、分割点決定部１０３５は、分割状態を変更することなく、分割点位置を更新する。このとき、分割点決定部１０３５は、既に記録されている分割点位置と、決定した分割点の位置との加重平均を求め、求めた位置を分割点位置に設定することができる。記録されている分割点位置の重みを０に設定した場合、決定した分割点の位置が分割点位置に設定される。   On the other hand, when the division state of the outline is “with division”, the division point determination unit 1035 updates the division point position without changing the division state. At this time, the division point determination unit 1035 can obtain a weighted average of the already recorded division point positions and the determined division point positions, and can set the obtained position as the division point position. When the weight of the recorded dividing point position is set to 0, the determined dividing point position is set as the dividing point position.

次に、分割点決定部１０３５は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２４０５）。未選択の輪郭線が残っている場合（ステップ２４０５，ＮＯ）、分割点決定部１０３５は、次の輪郭線について、ステップ２４０１以降の処理を繰り返す。   Next, the dividing point determination unit 1035 checks whether or not all the contour lines in the image F1 have been selected (step 2405). When an unselected contour line remains (step 2405, NO), the dividing point determination unit 1035 repeats the processing after step 2401 for the next contour line.

特徴評価値Ｅ４の最大値が閾値未満である場合（ステップ２４０２，ＮＯ）、分割点決定部１０３５は、輪郭線を分割することなく、ステップ２４０５以降の処理を行う。そして、すべての輪郭線を選択した場合（ステップ２４０５，ＹＥＳ）、分割点決定部１０３５は、処理を終了する。   When the maximum value of the feature evaluation value E4 is less than the threshold value (step 2402, NO), the dividing point determination unit 1035 performs the processing after step 2405 without dividing the contour line. If all contour lines have been selected (step 2405, YES), the dividing point determination unit 1035 ends the process.

このような分割点決定処理によれば、画像Ｆ１内の各輪郭線と画像Ｆ２内の各輪郭線とを最適な分割点で分割することができる。なお、特徴類似度Ｇ３のみを特徴評価値Ｅ４として用いて、分割点を決定することも可能である。   According to such division point determination processing, each contour line in the image F1 and each contour line in the image F2 can be divided at the optimum division points. Note that it is also possible to determine the division points using only the feature similarity G3 as the feature evaluation value E4.

図２５は、分割点決定処理の例を示している。輝度値分布２５０１は、画像Ｆ１内の輪郭線上の輝度値の変化を表し、輝度値分布２５０２は、画像Ｆ２内の対応する輪郭線上の輝度値の変化を表す。各輝度値分布は、各輪郭線上のエッジ点のｙ座標に対して、輝度値をプロットすることで求められる。   FIG. 25 shows an example of the dividing point determination process. The luminance value distribution 2501 represents a change in the luminance value on the contour line in the image F1, and the luminance value distribution 2502 represents a change in the luminance value on the corresponding contour line in the image F2. Each luminance value distribution is obtained by plotting luminance values with respect to the y coordinate of the edge point on each contour line.

例えば、輝度値分布２５０１上の点２５１１が画像Ｆ１内の分割点候補に対応する場合、輝度値分布２５０１は、上側の部分輪郭線の輝度値分布２５０３と、下側の部分輪郭線の輝度値分布２５０４とに区分される。同様に、輝度値分布２５０２上の点２５１２が画像Ｆ２内の分割点候補に対応する場合、輝度値分布２５０２は、上側の部分輪郭線の輝度値分布２５０５と、下側の部分輪郭線の輝度値分布２５０６とに区分される。   For example, when the point 2511 on the luminance value distribution 2501 corresponds to a division point candidate in the image F1, the luminance value distribution 2501 includes the luminance value distribution 2503 of the upper partial outline and the luminance value of the lower partial outline. It is divided into distribution 2504. Similarly, when the point 2512 on the luminance value distribution 2502 corresponds to a candidate for a dividing point in the image F2, the luminance value distribution 2502 includes the luminance value distribution 2505 of the upper partial outline and the luminance of the lower partial outline. It is divided into a value distribution 2506.

次に、画像Ｆ１内の上側の部分輪郭線と画像Ｆ２内の上側の部分輪郭線のスケール調整を行うことで、輝度値分布２５０３及び輝度値分布２５０５は、輝度値分布２５０７及び輝度値分布２５０９にそれぞれ変換される。また、画像Ｆ１内の下側の部分輪郭線と画像Ｆ２内の下側の部分輪郭線のスケール調整を行うことで、輝度値分布２５０４及び輝度値分布２５０６は、輝度値分布２５０８及び輝度値分布２５１０にそれぞれ変換される。   Next, the luminance value distribution 2503 and the luminance value distribution 2505 are adjusted by adjusting the scales of the upper partial contour line in the image F1 and the upper partial contour line in the image F2, so that the luminance value distribution 2507 and the luminance value distribution 2509 are adjusted. Respectively. Further, by adjusting the scale of the lower partial contour line in the image F1 and the lower partial contour line in the image F2, the luminance value distribution 2504 and the luminance value distribution 2506 become the luminance value distribution 2508 and the luminance value distribution. Respectively converted to 2510.

この場合、輝度値分布２５０７と輝度値分布２５０９との差分から、式（２２）の画素値類似度Ｒ１が計算され、輝度値分布２５０８と輝度値分布２５１０との差分から、式（２５）の画素値類似度Ｒ３が計算される。しかし、画素値類似度Ｒ１及び画素値類似度Ｒ３が小さいため、結果的に式（３１）の特徴評価値Ｅ４が小さくなり、点２５１１及び点２５１２に対応する２個の分割点候補は分割点として採用されない。   In this case, the pixel value similarity R1 of Expression (22) is calculated from the difference between the luminance value distribution 2507 and the luminance value distribution 2509, and from the difference between the luminance value distribution 2508 and the luminance value distribution 2510, A pixel value similarity R3 is calculated. However, since the pixel value similarity R1 and the pixel value similarity R3 are small, as a result, the feature evaluation value E4 of Expression (31) is small, and the two division point candidates corresponding to the points 2511 and 2512 are division points. Not adopted as.

一方、輝度値分布２５０１上の点２５１３が画像Ｆ１内の分割点候補に対応する場合、輝度値分布２５０１は、上側の部分輪郭線の輝度値分布２５２１と、下側の部分輪郭線の輝度値分布２５２２とに区分される。同様に、輝度値分布２５０２上の点２５１４が画像Ｆ２内の分割点候補に対応する場合、輝度値分布２５０２は、上側の部分輪郭線の輝度値分布２５２３と、下側の部分輪郭線の輝度値分布２５２４とに区分される。   On the other hand, when the point 2513 on the luminance value distribution 2501 corresponds to a division point candidate in the image F1, the luminance value distribution 2501 includes the luminance value distribution 2521 of the upper partial outline and the luminance value of the lower partial outline. It is divided into distribution 2522. Similarly, when the point 2514 on the luminance value distribution 2502 corresponds to a division point candidate in the image F2, the luminance value distribution 2502 includes the luminance value distribution 2523 of the upper partial outline and the luminance of the lower partial outline. It is divided into a value distribution 2524.

次に、画像Ｆ１内の上側の部分輪郭線と画像Ｆ２内の上側の部分輪郭線のスケール調整を行うことで、輝度値分布２５２１及び輝度値分布２５２３は、輝度値分布２５２５及び輝度値分布２５２７にそれぞれ変換される。また、画像Ｆ１内の下側の部分輪郭線と画像Ｆ２内の下側の部分輪郭線のスケール調整を行うことで、輝度値分布２５２２及び輝度値分布２５２４は、輝度値分布２５２６及び輝度値分布２５２８にそれぞれ変換される。   Next, the luminance value distribution 2521 and the luminance value distribution 2523 are adjusted to the luminance value distribution 2525 and the luminance value distribution 2527 by adjusting the scale of the upper partial contour line in the image F1 and the upper partial contour line in the image F2. Respectively. Further, by adjusting the scale of the lower partial contour line in the image F1 and the lower partial contour line in the image F2, the luminance value distribution 2522 and the luminance value distribution 2524 become the luminance value distribution 2526 and the luminance value distribution. Respectively converted to 2528.

この場合、輝度値分布２５２５と輝度値分布２５２７との差分から、式（２２）の画素値類似度Ｒ１が計算され、輝度値分布２５２６と輝度値分布２５２８との差分から、式（２５）の画素値類似度Ｒ３が計算される。そして、画素値類似度Ｒ１及び画素値類似度Ｒ３が大きいため、結果的に式（３１）の特徴評価値Ｅ４が大きくなり、点２５１３及び点２５１４に対応する２個の分割点候補が分割点として採用される。   In this case, the pixel value similarity R1 of Equation (22) is calculated from the difference between the luminance value distribution 2525 and the luminance value distribution 2527, and from the difference between the luminance value distribution 2526 and the luminance value distribution 2528, A pixel value similarity R3 is calculated. Since the pixel value similarity R1 and the pixel value similarity R3 are large, as a result, the feature evaluation value E4 of Expression (31) increases, and two division point candidates corresponding to the points 2513 and 2514 are divided points. Adopted as

図２６は、図１１のステップ１１０９における立体物検出処理の例を示すフローチャートである。まず、特定部７１３は、画像Ｆ１内の１本の輪郭線を選択し、輪郭線情報１０４３を参照して、選択した輪郭線と同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在するか否かをチェックする（ステップ２６０１）。   FIG. 26 is a flowchart illustrating an example of the three-dimensional object detection process in step 1109 of FIG. First, the specifying unit 713 selects one contour line in the image F1, and refers to the contour line information 1043 to determine whether a contour line having the same contour ID as the selected contour line exists in the image F2. It is checked whether or not (step 2601).

同じ輪郭線ＩＤを有する輪郭線が画像Ｆ２内に存在する場合（ステップ２６０１，ＹＥＳ）、特定部７１３は、輪郭線情報１０４３を参照して、画像Ｆ１内の輪郭線と画像Ｆ２内の輪郭線を、それぞれの分割点位置で分割する（ステップ２６０２）。そして、特定部７１３は、上側及び下側の部分輪郭線の端点のオプティカルフローに基づいて、各部分輪郭線のフロー量を計算する。   When a contour line having the same contour ID exists in the image F2 (step 2601, YES), the specifying unit 713 refers to the contour line information 1043, and the contour line in the image F1 and the contour line in the image F2 Are divided at respective dividing point positions (step 2602). And the specific | specification part 713 calculates the flow amount of each partial outline based on the optical flow of the end point of the upper and lower partial outline.

次に、特定部７１３は、各部分輪郭線のフロー量を閾値と比較する（ステップ２６０３）。フロー量が閾値以上である場合（ステップ２６０３，ＹＥＳ）、特定部７１３は、その部分輪郭線を有する領域は立体物の領域であると判定し、その領域を含む検出結果１０４７を生成する（ステップ２６０４）。フロー量に対する閾値は、例えば、車両の移動量と、画像Ｆ１及び画像Ｆ２内における部分輪郭線の位置とに基づいて、設定することができる。   Next, the specifying unit 713 compares the flow amount of each partial outline with a threshold value (step 2603). When the flow amount is greater than or equal to the threshold (step 2603, YES), the specifying unit 713 determines that the region having the partial outline is a region of a three-dimensional object, and generates a detection result 1047 including that region (step). 2604). The threshold for the flow amount can be set based on, for example, the amount of movement of the vehicle and the position of the partial contour line in the images F1 and F2.

一方、フロー量が閾値未満である場合（ステップ２６０３，ＹＥＳ）、特定部７１３は、その部分輪郭線を有する領域は路面上の模様の領域であると判定する（ステップ２６０５）。   On the other hand, when the flow amount is less than the threshold value (step 2603, YES), the specifying unit 713 determines that the region having the partial outline is a pattern region on the road surface (step 2605).

次に、特定部７１３は、画像Ｆ１内のすべての輪郭線を選択したか否かをチェックする（ステップ２６０６）。未選択の輪郭線が残っている場合（ステップ２６０６，ＮＯ）、特定部７１３は、次の輪郭線について、ステップ２６０１以降の処理を繰り返す。そして、すべての輪郭線を選択した場合（ステップ２６０６，ＹＥＳ）、特定部７１３は、処理を終了する。   Next, the specifying unit 713 checks whether or not all the contour lines in the image F1 have been selected (step 2606). When an unselected contour line remains (step 2606, NO), the specifying unit 713 repeats the processing after step 2601 for the next contour line. If all the contour lines are selected (step 2606, YES), the specifying unit 713 ends the process.

出力部１０１２は、特定部７１３が生成した検出結果１０４７を用いて、立体物の領域を強調した画像１０４１を画面上に表示してもよく、ドライバに対する警告音声を出力してもよい。   Using the detection result 1047 generated by the specifying unit 713, the output unit 1012 may display on the screen an image 1041 in which the region of the three-dimensional object is emphasized, or may output a warning sound for the driver.

図７及び図１０の画像解析装置７０１の構成は一例に過ぎず、画像解析装置７０１の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、エッジ検出処理が画像解析装置７０１の外部で行われる場合は、映像入力部１０１１及び特徴点抽出部１０２１を省略することができる。特徴類似度Ｇ３のみを用いて分割点を決定する場合は、相違度計算部１０３３を省略することができる。撮像装置１００１は、自走式ロボット、動物等の移動体に搭載されていてもよい。   The configuration of the image analysis device 701 in FIGS. 7 and 10 is merely an example, and some components may be omitted or changed according to the use or conditions of the image analysis device 701. For example, when the edge detection process is performed outside the image analysis apparatus 701, the video input unit 1011 and the feature point extraction unit 1021 can be omitted. When the division point is determined using only the feature similarity G3, the difference calculation unit 1033 can be omitted. The imaging device 1001 may be mounted on a mobile object such as a self-propelled robot or an animal.

図８、図１１、図１２、図１６、図１７、図２０、図２２〜図２４、及び図２６のフローチャートは一例に過ぎず、画像解析装置７０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１１の画像解析処理において、エッジ検出処理が画像解析装置７０１の外部で行われる場合は、ステップ１１０１及びステップ１１０２の処理を省略することができる。特徴類似度Ｇ３のみを用いて分割点を決定する場合は、ステップ１１０６の処理を省略することができる。   The flowcharts of FIGS. 8, 11, 12, 16, 17, 20, 22 to 24, and 26 are merely examples, and some processes are performed depending on the configuration or conditions of the image analysis apparatus 701. May be omitted or changed. For example, in the image analysis process of FIG. 11, when the edge detection process is performed outside the image analysis apparatus 701, the processes of step 1101 and step 1102 can be omitted. When the division point is determined using only the feature similarity G3, the process of step 1106 can be omitted.

図１２のステップ１２０２において、輪郭線抽出部１０２２は、エッジ点Ａを含むラインよりも１本上のラインに含まれる３画素だけでなく、その両側の画素を含む、より多くの画素を探索対象として、エッジ点を探索してもよい。   In step 1202 of FIG. 12, the contour line extraction unit 1022 searches not only three pixels included in the line one line above the line including the edge point A but also more pixels including pixels on both sides thereof. As an alternative, an edge point may be searched.

図１６の輪郭線照合処理において、追跡に失敗した輪郭線を削除する必要がない場合は、ステップ１６０７〜ステップ１６０９の処理を省略することができる。ステップ１６０４及びステップ１６０５において、照合部１０３１は、２本の輪郭線の相違度の代わりに、２本の輪郭線の類似度に基づいて、それらの輪郭線が同じ輪郭線であるか否かを判定してもよい。   In the contour line matching process of FIG. 16, when it is not necessary to delete a contour line that has failed to be tracked, the processes in steps 1607 to 1609 can be omitted. In step 1604 and step 1605, the collation unit 1031 determines whether or not the contour lines are the same contour line based on the similarity between the two contour lines instead of the dissimilarity between the two contour lines. You may judge.

図２２の分割スコア計算処理において、相違度計算部１０３３は、画素値相違度又は傾き相違度のいずれか一方に基づいて、分割スコアＥ３を計算してもよい。図２３の特徴類似度計算処理において、類似度計算部１０３４は、画素値類似度又は傾き類似度のいずれか一方に基づいて、特徴類似度Ｇ３を計算してもよい。   In the division score calculation process of FIG. 22, the difference degree calculation unit 1033 may calculate the division score E3 based on either the pixel value difference degree or the inclination difference degree. In the feature similarity calculation process of FIG. 23, the similarity calculation unit 1034 may calculate the feature similarity G3 based on either the pixel value similarity or the inclination similarity.

図２４の分割点決定処理において、特徴類似度Ｇ３のみを用いて分割点を決定する場合、ステップ２４０１において、分割点決定部１０３５は、特徴類似度Ｇ３を特徴評価値Ｅ４として用いる。   In the division point determination process of FIG. 24, when the division point is determined using only the feature similarity G3, the division point determination unit 1035 uses the feature similarity G3 as the feature evaluation value E4 in Step 2401.

図１、図３、図５、図６、図９、図１８、及び図２１の画像は一例に過ぎず、画像解析装置７０１の構成又は条件に応じて、別の画像が撮影されることもある。図２の路面上の模様及び立体物は一例に過ぎず、撮影環境に応じて、別の物体が撮影されることもある。図１３及び図１４のエッジ点は一例に過ぎず、撮影された画像に応じて、別のエッジ点が検出されることもある。   1, 3, 5, 6, 9, 18, and 21 are merely examples, and other images may be taken according to the configuration or conditions of the image analysis device 701. is there. The pattern on the road surface and the three-dimensional object in FIG. 2 are merely examples, and another object may be photographed depending on the photographing environment. The edge points in FIGS. 13 and 14 are merely examples, and other edge points may be detected according to the captured image.

図１５の輪郭線情報は一例に過ぎず、画像解析装置７０１の構成又は条件に応じて、一部の情報を省略又は変更してもよい。例えば、追跡に失敗した輪郭線を削除する必要がない場合は、ロスト回数を省略することができる。図２５の輝度値分布は一例に過ぎず、輝度値分布は撮影された画像に応じて変化する。   The outline information in FIG. 15 is merely an example, and some information may be omitted or changed according to the configuration or conditions of the image analysis apparatus 701. For example, when it is not necessary to delete a contour line that has failed to be tracked, the number of lost times can be omitted. The luminance value distribution in FIG. 25 is merely an example, and the luminance value distribution changes according to the captured image.

式（１）〜式（３１）は一例に過ぎず、画像解析装置７０１の構成又は条件に応じて、別の計算式を用いてもよい。   Expressions (1) to (31) are merely examples, and other calculation expressions may be used depending on the configuration or conditions of the image analysis apparatus 701.

画像から抽出される各領域の画像特徴として、輪郭線以外の画像特徴を用いることも可能である。例えば、各領域に含まれる画素集合を画像特徴として抽出する場合、特定領域の画素集合と、立体物の領域の画素集合との間の境界線が、特定領域と立体物との境界として用いられる。   An image feature other than the contour line can be used as the image feature of each region extracted from the image. For example, when a pixel set included in each region is extracted as an image feature, a boundary line between the pixel set of the specific region and the pixel set of the three-dimensional object region is used as a boundary between the specific region and the three-dimensional object. .

図７及び図１０の画像解析装置７０１は、ハードウェア回路として実装することもでき、図２７に示すような情報処理装置（コンピュータ）を用いて実装することもできる。   7 and 10 can be implemented as a hardware circuit, or can be implemented using an information processing apparatus (computer) as shown in FIG.

図２７の情報処理装置は、Central Processing Unit（ＣＰＵ）２７０１、メモリ２７０２、入力装置２７０３、出力装置２７０４、補助記憶装置２７０５、媒体駆動装置２７０６、及びネットワーク接続装置２７０７を備える。これらの構成要素はバス２７０８により互いに接続されている。図１０の撮像装置１００１は、バス２７０８に接続されていてもよい。   27 includes a central processing unit (CPU) 2701, a memory 2702, an input device 2703, an output device 2704, an auxiliary storage device 2705, a medium driving device 2706, and a network connection device 2707. These components are connected to each other by a bus 2708. The imaging device 1001 in FIG. 10 may be connected to the bus 2708.

メモリ２７０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ２７０２は、図１０の記憶部１０１３として用いることができる。   The memory 2702 is a semiconductor memory such as a read only memory (ROM), a random access memory (RAM), or a flash memory, and stores programs and data used for processing. The memory 2702 can be used as the storage unit 1013 in FIG.

ＣＰＵ２７０１（プロセッサ）は、例えば、メモリ２７０２を利用してプログラムを実行することにより、図７及び図１０の抽出部７１１、決定部７１２、及び特定部７１３として動作する。ＣＰＵ２７０１は、図１０の映像入力部１０１１、特徴点抽出部１０２１、輪郭線抽出部１０２２、照合部１０３１、生成部１０３２、相違度計算部１０３３、類似度計算部１０３４、及び分割点決定部１０３５としても動作する。   The CPU 2701 (processor) operates as the extraction unit 711, the determination unit 712, and the specification unit 713 in FIGS. 7 and 10 by executing a program using the memory 2702, for example. The CPU 2701 is the video input unit 1011, the feature point extraction unit 1021, the contour line extraction unit 1022, the collation unit 1031, the generation unit 1032, the dissimilarity calculation unit 1033, the similarity calculation unit 1034, and the division point determination unit 1035 in FIG. 10. Also works.

入力装置２７０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示や情報の入力に用いられる。出力装置２７０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。出力装置２７０４は、図１０の出力部１０１２として用いることができる。処理結果は、検出結果１０４７であってもよい。   The input device 2703 is, for example, a keyboard, a pointing device, or the like, and is used for inputting an instruction or information from an operator or a user. The output device 2704 is, for example, a display device, a printer, a speaker, or the like, and is used to output an inquiry or instruction to an operator or user and a processing result. The output device 2704 can be used as the output unit 1012 in FIG. The processing result may be a detection result 1047.

補助記憶装置２７０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２７０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。補助記憶装置２７０５は、図１０の記憶部１０１３として用いることができる。情報処理装置は、補助記憶装置２７０５にプログラム及びデータを格納しておき、それらをメモリ２７０２にロードして使用することができる。   The auxiliary storage device 2705 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like. The auxiliary storage device 2705 may be a hard disk drive or a flash memory. The auxiliary storage device 2705 can be used as the storage unit 1013 in FIG. The information processing apparatus can store programs and data in the auxiliary storage device 2705 and load them into the memory 2702 for use.

媒体駆動装置２７０６は、可搬型記録媒体２７０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２７０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２７０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体２７０９にプログラム及びデータを格納しておき、それらをメモリ２７０２にロードして使用することができる。   The medium driving device 2706 drives a portable recording medium 2709 and accesses the recorded contents. The portable recording medium 2709 is a memory device, a flexible disk, an optical disk, a magneto-optical disk, or the like. The portable recording medium 2709 may be a compact disk read only memory (CD-ROM), a digital versatile disk (DVD), a universal serial bus (USB) memory, or the like. An operator or a user can store programs and data in the portable recording medium 2709 and load them into the memory 2702 for use.

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ２７０２、補助記憶装置２７０５、又は可搬型記録媒体２７０９のような、物理的な（非一時的な）記録媒体である。   As described above, the computer-readable recording medium for storing the program and data used in the processing is a physical (non-transitory) recording medium such as the memory 2702, the auxiliary storage device 2705, or the portable recording medium 2709. It is a medium.

ネットワーク接続装置２７０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置２７０７は、図１０の出力部１０１２として用いることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２７０７を介して受信し、それらをメモリ２７０２にロードして使用することができる。   The network connection device 2707 is a communication interface that is connected to a communication network such as a local area network and a wide area network, and performs data conversion accompanying communication. The network connection device 2707 can be used as the output unit 1012 in FIG. The information processing apparatus can receive programs and data from an external apparatus via the network connection apparatus 2707, and can use them by loading them into the memory 2702.

情報処理装置は、ネットワーク接続装置２７０７を介して、ユーザ端末から処理要求を受信し、検出結果１０４７をユーザ端末へ送信することもできる。   The information processing apparatus can receive a processing request from the user terminal via the network connection apparatus 2707 and transmit the detection result 1047 to the user terminal.

なお、情報処理装置が図２７のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、情報処理装置がユーザ端末から通信ネットワーク経由で処理要求を受信する場合は、入力装置２７０３及び出力装置２７０４を省略してもよい。また、可搬型記録媒体２７０９又は通信ネットワークを利用しない場合は、媒体駆動装置２７０６又はネットワーク接続装置２７０７を省略してもよい。   Note that the information processing apparatus does not have to include all the components illustrated in FIG. 27, and some of the components may be omitted depending on the application or conditions. For example, when the information processing apparatus receives a processing request from the user terminal via the communication network, the input device 2703 and the output device 2704 may be omitted. When the portable recording medium 2709 or the communication network is not used, the medium driving device 2706 or the network connection device 2707 may be omitted.

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。   Although the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various changes, additions and omissions without departing from the scope of the present invention as set forth in the appended claims. Let's go.

図３乃至図２７を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
処理をコンピュータに実行させる画像解析プログラム。
（付記２）
前記コンピュータは、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする付記１記載の画像解析プログラム。
（付記３）
前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記コンピュータは、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記２記載の画像解析プログラム。
（付記４）
前記コンピュータは、前記第２画像から抽出された複数のエッジ線分の中から、前記移動体の前記移動量と前記撮像装置の設置情報とに基づいて、前記第３エッジ線分に対応する前記第４エッジ線分を特定し、前記第１領域内の前記複数の位置が前記第２エッジ線分上に存在するという条件を用いて、前記第１領域内の前記複数の位置それぞれから前記第２領域内の前記複数の位置それぞれを求めることを特徴とする付記３記載の画像解析プログラム。
（付記５）
前記コンピュータは、前記第３エッジ線分の一方の端点と前記境界との間の第１部分エッジ線分の画素値と、前記第４エッジ線分の一方の端点と前記境界との間の第２部分エッジ線分の画素値との類似度を示す第１画素値類似度と、前記第３エッジ線分の他方の端点と前記境界との間の第３部分エッジ線分の画素値と、前記第４エッジ線分の他方の端点と前記境界との間の第４部分エッジ線分の画素値との類似度を示す第２画素値類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記３又は４記載の画像解析プログラム。
（付記６）
前記コンピュータは、前記第１部分エッジ線分の傾きと前記第２部分エッジ線分の傾きとの類似度を示す第１傾き類似度と、前記第３部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの類似度を示す第２傾き類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記５記載の画像解析プログラム。
（付記７）
前記コンピュータは、前記第１部分エッジ線分の前記画素値と前記第３部分エッジ線分の前記画素値との相違度を示す第１画素値相違度に基づいて、前記第３エッジ線分上の前記境界に対する第１評価値を求め、前記第２部分エッジ線分の画素値と前記第４部分エッジ線分の画素値との相違度を示す第２画素値相違度に基づいて、前記第４エッジ線分上の前記境界に対する第２評価値を求め、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度と、前記第１評価値と、前記第２評価値とを用いて、前記特徴評価値を求めることを特徴とする付記５又は６記載の画像解析プログラム。
（付記８）
前記コンピュータは、前記第１部分エッジ線分の傾きと前記第３部分エッジ線分の傾きとの相違度を示す第１傾き相違度に基づいて、前記第１評価値を求め、前記第２部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの相違度を示す第２傾き相違度に基づいて、前記第２評価値を求めることを特徴とする付記７記載の画像解析プログラム。
（付記９）
前記移動体は車両であり、前記撮像装置は前記車両の前方又は後方に設置され、前記特定領域は前記面上の模様であることを特徴とする付記１乃至８のいずれか１項に記載の画像解析プログラム。
（付記１０）
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する抽出部と、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定する決定部と、
前記決定部が決定した前記境界に基づいて、前記第１領域内の前記立体物の領域を特定する特定部と、
を備えることを特徴とする画像解析装置。
（付記１１）
前記決定部は、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする付記１０記載の画像解析装置。
（付記１２）
前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記決定部は、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記１１記載の画像解析装置。
（付記１３）
コンピュータが、
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
ことを特徴とする画像解析方法。
（付記１４）
前記コンピュータは、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする付記１３記載の画像解析方法。
（付記１５）
前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記コンピュータは、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする付記１４記載の画像解析方法。 With respect to the embodiment described with reference to FIGS. 3 to 27, the following additional notes are disclosed.
(Appendix 1)
An image feature of the first region is extracted from a first image taken at a first time by an imaging device installed on a moving body moving on the surface, and a second time different from the first time by the imaging device. Extracting the image features of the second region from the second image taken in
Based on the image characteristics of the first area, a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface is obtained,
Based on the amount of movement of the moving body between the first time and the second time, a second position that is a candidate for a boundary in the second region corresponding to the first position is obtained,
The image characteristics of the first area when the first position is used as the boundary in the first area, and the second area when the second position is used as the boundary in the second area. Determining the first position as the boundary in the first region based on a feature similarity with an image feature;
Identifying a region of the three-dimensional object in the first region based on the determined boundary;
An image analysis program that causes a computer to execute processing.
(Appendix 2)
The computer obtains a plurality of positions including the first position as the boundary candidates in the first area, and determines a plurality of positions including the second position as the boundary candidates in the second area. The image characteristics of the first area when each of the plurality of positions in the first area is used as the boundary in the first area, and each of the plurality of positions in the second area are obtained as the first position. A feature evaluation value including a feature similarity with the image feature of the second area when used as the boundary in two areas is obtained, and the first position is used as the boundary in the first area. Based on the result of comparing the feature evaluation value and the feature evaluation value when a position other than the first position is used as the boundary in the first region, the first position is determined in the first region. The appendix is characterized in that the boundary is determined. 1, wherein the image analysis program.
(Appendix 3)
The image feature of the first area is a third edge line segment including a first edge line segment of the specific area on the surface and a second edge line segment in the height direction of the three-dimensional object, The image feature of the area is a fourth edge line segment included in the second area, and the plurality of positions in the first area are the first edge line segment and the first edge line on the third edge line segment. A plurality of positions in the second area are candidates for boundaries on the fourth edge line segment, and the computer is configured to select the plurality of positions in the first area. Are used as the boundary on the third edge line segment, and each of the plurality of positions in the second region is used as the boundary on the fourth edge line segment, and the third edge line segment and The feature similarity with the fourth edge line segment is obtained. 2, wherein the image analysis program.
(Appendix 4)
The computer corresponds to the third edge line segment based on the movement amount of the moving body and installation information of the imaging device from among a plurality of edge line segments extracted from the second image. A fourth edge line segment is identified, and using the condition that the plurality of positions in the first area are on the second edge line segment, the first edge line segment is determined from each of the plurality of positions in the first area. The image analysis program according to supplementary note 3, wherein each of the plurality of positions in two regions is obtained.
(Appendix 5)
The computer includes a pixel value of a first partial edge line segment between one end point of the third edge line segment and the boundary, and a first value between the one end point of the fourth edge line segment and the boundary. A first pixel value similarity indicating a similarity with a pixel value of a two partial edge line segment; a pixel value of a third partial edge line segment between the other end point of the third edge line segment and the boundary; Based on the second pixel value similarity indicating the similarity between the other end point of the fourth edge line segment and the pixel value of the fourth partial edge line segment between the boundary and the third edge line segment, The image analysis program according to appendix 3 or 4, wherein the feature similarity with the fourth edge line segment is obtained.
(Appendix 6)
The computer includes a first inclination similarity indicating a similarity between the inclination of the first partial edge line segment and the inclination of the second partial edge line segment, the inclination of the third partial edge line segment, and the fourth part. The supplementary note 5 wherein the feature similarity between the third edge line segment and the fourth edge line segment is obtained based on a second slope similarity degree indicating a similarity with the slope of the edge line segment. Image analysis program.
(Appendix 7)
The computer is arranged on the third edge line segment based on a first pixel value difference indicating a difference between the pixel value of the first partial edge line segment and the pixel value of the third partial edge line segment. A first evaluation value for the boundary of the second partial edge line segment, and based on a second pixel value difference degree indicating a difference degree between the pixel value of the second partial edge line segment and the pixel value of the fourth partial edge line segment, A second evaluation value for the boundary on a four-edge line segment is obtained, the feature similarity between the third edge line segment and the fourth edge line segment, the first evaluation value, and the second evaluation value; 7. The image analysis program according to appendix 5 or 6, wherein the feature evaluation value is obtained using.
(Appendix 8)
The computer calculates the first evaluation value based on a first inclination difference indicating a difference between the inclination of the first partial edge line segment and the inclination of the third partial edge line segment, and the second part The image analysis program according to appendix 7, wherein the second evaluation value is obtained based on a second inclination dissimilarity indicating a dissimilarity between the inclination of an edge line segment and the inclination of the fourth partial edge line segment.
(Appendix 9)
9. The device according to claim 1, wherein the moving body is a vehicle, the imaging device is installed in front of or behind the vehicle, and the specific area is a pattern on the surface. Image analysis program.
(Appendix 10)
An image feature of the first region is extracted from a first image taken at a first time by an imaging device installed on a moving body moving on the surface, and a second time different from the first time by the imaging device. An extraction unit for extracting image features of the second region from the second image taken in
Based on the image characteristics of the first area, a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface is obtained, and the first time And a second position that is a candidate for a boundary in the second region corresponding to the first position based on a movement amount of the moving body between the second time and the second time, and Feature similarity between the image feature of the first region when used as the boundary in one region and the image feature of the second region when the second position is used as the boundary in the second region A determination unit for determining the first position as the boundary in the first region based on:
Based on the boundary determined by the determining unit, a specifying unit that specifies a region of the three-dimensional object in the first region;
An image analysis apparatus comprising:
(Appendix 11)
The determining unit obtains a plurality of positions including the first position as the boundary candidates in the first area, and a plurality of positions including the second position as the boundary candidates in the second area. Image characteristics of the first area when each of the plurality of positions in the first area is used as the boundary in the first area, and each of the plurality of positions in the second area is When a feature evaluation value including a feature similarity with the image feature of the second region when used as the boundary in the second region is obtained, and the first position is used as the boundary in the first region Based on a result of comparing the feature evaluation value and the feature evaluation value when a position other than the first position is used as the boundary in the first area, the first position is set in the first area. Note 10 wherein the boundary is determined as Placing an image analysis apparatus.
(Appendix 12)
The image feature of the first area is a third edge line segment including a first edge line segment of the specific area on the surface and a second edge line segment in the height direction of the three-dimensional object, The image feature of the area is a fourth edge line segment included in the second area, and the plurality of positions in the first area are the first edge line segment and the first edge line on the third edge line segment. Two edge line segments, and the plurality of positions in the second region are boundary candidates on the fourth edge line segment, and the determination unit includes the first region in the first region. Using each of a plurality of positions as the boundary on the third edge line segment and using each of the plurality of positions in the second region as the boundary on the fourth edge line segment, the third edge line segment And calculating the feature similarity between the fourth edge line segment and the fourth edge line segment. Placing an image analysis apparatus.
(Appendix 13)
Computer
An image feature of the first region is extracted from a first image taken at a first time by an imaging device installed on a moving body moving on the surface, and a second time different from the first time by the imaging device. Extracting the image features of the second region from the second image taken in
Based on the image characteristics of the first area, a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface is obtained,
Based on the amount of movement of the moving body between the first time and the second time, a second position that is a candidate for a boundary in the second region corresponding to the first position is obtained,
The image characteristics of the first area when the first position is used as the boundary in the first area, and the second area when the second position is used as the boundary in the second area. Determining the first position as the boundary in the first region based on a feature similarity with an image feature;
Identifying a region of the three-dimensional object in the first region based on the determined boundary;
An image analysis method characterized by the above.
(Appendix 14)
The computer obtains a plurality of positions including the first position as the boundary candidates in the first area, and determines a plurality of positions including the second position as the boundary candidates in the second area. The image characteristics of the first area when each of the plurality of positions in the first area is used as the boundary in the first area, and each of the plurality of positions in the second area are obtained as the first position. A feature evaluation value including a feature similarity with the image feature of the second area when used as the boundary in two areas is obtained, and the first position is used as the boundary in the first area. Based on the result of comparing the feature evaluation value and the feature evaluation value when a position other than the first position is used as the boundary in the first region, the first position is determined in the first region. The appendix is characterized in that the boundary is determined. The image analysis method according 13.
(Appendix 15)
The image feature of the first area is a third edge line segment including a first edge line segment of the specific area on the surface and a second edge line segment in the height direction of the three-dimensional object, The image feature of the area is a fourth edge line segment included in the second area, and the plurality of positions in the first area are the first edge line segment and the first edge line on the third edge line segment. A plurality of positions in the second area are candidates for boundaries on the fourth edge line segment, and the computer is configured to select the plurality of positions in the first area. Are used as the boundary on the third edge line segment, and each of the plurality of positions in the second region is used as the boundary on the fourth edge line segment, and the third edge line segment and The feature similarity with the fourth edge line segment is obtained. The image analysis method according 14.

１０１、１０２、３０１、１０４１ 画像
１１１、１１２ 物体
１１３、２１１ 矢印
１２１、１２２、２０７、４０１、６０２、６０３、１９０３、２５１１〜２５１４ 点
１３１〜１３４、３２２、３２３、１８２１、１８２２、１８３１、１８３２ 端点
２０１ 路面
２０２、３１１ 模様
２０３、３１２、２１３１ 立体物
２０４ 着目点
２０５ 車両
２０６ カメラ
２１２〜２１４ 方向
３２１、３２５、３２６、１８０１、１８０２、２１０１、２１０２ 輪郭線
３２４、５０２、５０４ 分割点
４０２、４０３、９０２〜９０５、１８０３ 部分輪郭線
５０１、５０３、６０１ 領域
７０１ 画像解析装置
７１１ 抽出部
７１２ 決定部
７１３ 特定部
９０１−１〜９０１−Ｎ 組み合わせ
１００１ 撮像装置
１０１１ 映像入力部
１０１２ 出力部
１０１３ 記憶部
１０２１ 特徴点抽出部
１０２２ 輪郭線抽出部
１０３１ 照合部
１０３２ 生成部
１０３３ 相違度計算部
１０３４ 類似度計算部
１０３５ 分割点決定部
１０４２ 特徴点画像
１０４３ 輪郭線情報
１０４４ 候補リスト
１０４５ 分割スコア
１０４６ 特徴類似度
１０４７ 検出結果
１３０１〜１３０３ 画素
１８１１〜１８１３ 直線
１８２３ 交点
１９０１、１９０２ 線分
２１１１〜２１１５、２１２１〜２１２５ エッジ点
２５０１〜２５１０、２５２１〜２５２８ 輝度値分布
２７０１ ＣＰＵ
２７０２ メモリ
２７０３ 入力装置
２７０４ 出力装置
２７０５ 補助記憶装置
２７０６ 媒体駆動装置
２７０７ ネットワーク接続装置
２７０８ バス
２７０９ 可搬型記録媒体 101, 102, 301, 1041 Image 111, 112 Object 113, 211 Arrow 121, 122, 207, 401, 602, 603, 1903, 2511-2514 Point 131-134, 322, 323, 1821, 1822, 1831, 1832 End point 201 Road surface 202, 311 Pattern 203, 312, 2131 Three-dimensional object 204 Point of interest 205 Vehicle 206 Camera 212-214 Direction 321, 325, 326, 1801, 1802, 2101, 1022 Contour line 324, 502, 504 Dividing points 402, 403, 902 to 905, 1803 Partial contour lines 501, 503, 601 Region 701 Image analysis device 711 Extraction unit 712 Determination unit 713 Identification unit 901-1 to 901 -N Combination 1001 Imaging device 1011 Video input unit 1012 Force unit 1013 Storage unit 1021 Feature point extraction unit 1022 Contour line extraction unit 1031 Collation unit 1032 Generation unit 1033 Difference calculation unit 1034 Similarity calculation unit 1035 Division point determination unit 1042 Feature point image 1043 Outline line information 1044 Candidate list 1045 Division score 1046 Feature similarity 1047 Detection result 1301-1303 Pixel 1811-1813 Line 1823 Intersection 1901, 1902 Line segment 2111-2115, 2121-2125 Edge point 2501-2510, 2521-2528 Luminance value distribution 2701 CPU
2702 Memory 2703 Input device 2704 Output device 2705 Auxiliary storage device 2706 Medium drive device 2707 Network connection device 2708 Bus 2709 Portable recording medium

Claims (10)

面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
処理をコンピュータに実行させる画像解析プログラム。 An image feature of the first region is extracted from a first image taken at a first time by an imaging device installed on a moving body moving on the surface, and a second time different from the first time by the imaging device. Extracting the image features of the second region from the second image taken in
Based on the image characteristics of the first area, a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface is obtained,
Based on the amount of movement of the moving body between the first time and the second time, a second position that is a candidate for a boundary in the second region corresponding to the first position is obtained,
The image characteristics of the first area when the first position is used as the boundary in the first area, and the second area when the second position is used as the boundary in the second area. Determining the first position as the boundary in the first region based on a feature similarity with an image feature;
Identifying a region of the three-dimensional object in the first region based on the determined boundary;
An image analysis program that causes a computer to execute processing. 前記コンピュータは、前記第１領域内の前記境界の候補として、前記第１位置を含む複数の位置を求め、前記第２領域内の前記境界の候補として、前記第２位置を含む複数の位置を求め、前記第１領域内の前記複数の位置それぞれを前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２領域内の前記複数の位置それぞれを前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度を含む特徴評価値を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値と、前記第１位置以外の位置を前記第１領域内の前記境界として用いた場合の前記特徴評価値とを比較した結果に基づいて、前記第１位置を前記第１領域内の前記境界に決定することを特徴とする請求項１記載の画像解析プログラム。   The computer obtains a plurality of positions including the first position as the boundary candidates in the first area, and determines a plurality of positions including the second position as the boundary candidates in the second area. The image characteristics of the first area when each of the plurality of positions in the first area is used as the boundary in the first area, and each of the plurality of positions in the second area are obtained as the first position. A feature evaluation value including a feature similarity with the image feature of the second area when used as the boundary in two areas is obtained, and the first position is used as the boundary in the first area. Based on the result of comparing the feature evaluation value and the feature evaluation value when a position other than the first position is used as the boundary in the first region, the first position is determined in the first region. The request is determined to be the boundary. Claim 1, wherein the image analysis program. 前記第１領域の画像特徴は、前記面上の前記特定領域の第１エッジ線分と前記立体物の高さ方向の第２エッジ線分とを含む第３エッジ線分であり、前記第２領域の画像特徴は、前記第２領域に含まれる第４エッジ線分であり、前記第１領域内の前記複数の位置は、前記第３エッジ線分上における前記第１エッジ線分と前記第２エッジ線分との境界の候補であり、前記第２領域内の前記複数の位置は、前記第４エッジ線分上の境界の候補であり、前記コンピュータは、前記第１領域内の前記複数の位置それぞれを前記第３エッジ線分上の前記境界として用い、前記第２領域内の前記複数の位置それぞれを前記第４エッジ線分上の前記境界として用いて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする請求項２記載の画像解析プログラム。   The image feature of the first area is a third edge line segment including a first edge line segment of the specific area on the surface and a second edge line segment in the height direction of the three-dimensional object, The image feature of the area is a fourth edge line segment included in the second area, and the plurality of positions in the first area are the first edge line segment and the first edge line on the third edge line segment. A plurality of positions in the second area are candidates for boundaries on the fourth edge line segment, and the computer is configured to select the plurality of positions in the first area. Are used as the boundary on the third edge line segment, and each of the plurality of positions in the second region is used as the boundary on the fourth edge line segment, and the third edge line segment and The feature similarity with the fourth edge line segment is obtained. Image analysis program of claim 2 wherein. 前記コンピュータは、前記第２画像から抽出された複数のエッジ線分の中から、前記移動体の前記移動量と前記撮像装置の設置情報とに基づいて、前記第３エッジ線分に対応する前記第４エッジ線分を特定し、前記第１領域内の前記複数の位置が前記第２エッジ線分上に存在するという条件を用いて、前記第１領域内の前記複数の位置それぞれから前記第２領域内の前記複数の位置それぞれを求めることを特徴とする請求項３記載の画像解析プログラム。   The computer corresponds to the third edge line segment based on the movement amount of the moving body and installation information of the imaging device from among a plurality of edge line segments extracted from the second image. A fourth edge line segment is identified, and using the condition that the plurality of positions in the first area are on the second edge line segment, the first edge line segment is determined from each of the plurality of positions in the first area. The image analysis program according to claim 3, wherein each of the plurality of positions in two regions is obtained. 前記コンピュータは、前記第３エッジ線分の一方の端点と前記境界との間の第１部分エッジ線分の画素値と、前記第４エッジ線分の一方の端点と前記境界との間の第２部分エッジ線分の画素値との類似度を示す第１画素値類似度と、前記第３エッジ線分の他方の端点と前記境界との間の第３部分エッジ線分の画素値と、前記第４エッジ線分の他方の端点と前記境界との間の第４部分エッジ線分の画素値との類似度を示す第２画素値類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする請求項３又は４記載の画像解析プログラム。   The computer includes a pixel value of a first partial edge line segment between one end point of the third edge line segment and the boundary, and a first value between the one end point of the fourth edge line segment and the boundary. A first pixel value similarity indicating a similarity with a pixel value of a two partial edge line segment; a pixel value of a third partial edge line segment between the other end point of the third edge line segment and the boundary; Based on the second pixel value similarity indicating the similarity between the other end point of the fourth edge line segment and the pixel value of the fourth partial edge line segment between the boundary and the third edge line segment, 5. The image analysis program according to claim 3, wherein the feature similarity with the fourth edge line segment is obtained. 前記コンピュータは、前記第１部分エッジ線分の傾きと前記第２部分エッジ線分の傾きとの類似度を示す第１傾き類似度と、前記第３部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの類似度を示す第２傾き類似度とに基づいて、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度を求めることを特徴とする請求項５記載の画像解析プログラム。   The computer includes a first inclination similarity indicating a similarity between the inclination of the first partial edge line segment and the inclination of the second partial edge line segment, the inclination of the third partial edge line segment, and the fourth part. 6. The feature similarity between the third edge line segment and the fourth edge line segment is obtained based on a second slope similarity indicating a similarity with the slope of the edge line segment. The image analysis program described. 前記コンピュータは、前記第１部分エッジ線分の前記画素値と前記第３部分エッジ線分の前記画素値との相違度を示す第１画素値相違度に基づいて、前記第３エッジ線分上の前記境界に対する第１評価値を求め、前記第２部分エッジ線分の画素値と前記第４部分エッジ線分の画素値との相違度を示す第２画素値相違度に基づいて、前記第４エッジ線分上の前記境界に対する第２評価値を求め、前記第３エッジ線分と前記第４エッジ線分との前記特徴類似度と、前記第１評価値と、前記第２評価値とを用いて、前記特徴評価値を求めることを特徴とする請求項５又は６記載の画像解析プログラム。   The computer is arranged on the third edge line segment based on a first pixel value difference indicating a difference between the pixel value of the first partial edge line segment and the pixel value of the third partial edge line segment. A first evaluation value for the boundary of the second partial edge line segment, and based on a second pixel value difference degree indicating a difference degree between the pixel value of the second partial edge line segment and the pixel value of the fourth partial edge line segment, A second evaluation value for the boundary on a four-edge line segment is obtained, the feature similarity between the third edge line segment and the fourth edge line segment, the first evaluation value, and the second evaluation value; The image analysis program according to claim 5 or 6, wherein the feature evaluation value is obtained by using the function. 前記コンピュータは、前記第１部分エッジ線分の傾きと前記第３部分エッジ線分の傾きとの相違度を示す第１傾き相違度に基づいて、前記第１評価値を求め、前記第２部分エッジ線分の傾きと前記第４部分エッジ線分の傾きとの相違度を示す第２傾き相違度に基づいて、前記第２評価値を求めることを特徴とする請求項７記載の画像解析プログラム。   The computer calculates the first evaluation value based on a first inclination difference indicating a difference between the inclination of the first partial edge line segment and the inclination of the third partial edge line segment, and the second part 8. The image analysis program according to claim 7, wherein the second evaluation value is obtained based on a second inclination dissimilarity indicating a dissimilarity between an inclination of an edge line segment and the inclination of the fourth partial edge line segment. . 面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出する抽出部と、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定する決定部と、
前記決定部が決定した前記境界に基づいて、前記第１領域内の前記立体物の領域を特定する特定部と、
を備えることを特徴とする画像解析装置。 An image feature of the first region is extracted from a first image taken at a first time by an imaging device installed on a moving body moving on the surface, and a second time different from the first time by the imaging device. An extraction unit for extracting image features of the second region from the second image taken in
Based on the image characteristics of the first area, a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface is obtained, and the first time And a second position that is a candidate for a boundary in the second region corresponding to the first position based on a movement amount of the moving body between the second time and the second time, and Feature similarity between the image feature of the first region when used as the boundary in one region and the image feature of the second region when the second position is used as the boundary in the second region A determination unit for determining the first position as the boundary in the first region based on:
Based on the boundary determined by the determining unit, a specifying unit that specifies a region of the three-dimensional object in the first region;
An image analysis apparatus comprising: コンピュータが、
面上を移動する移動体に設置された撮像装置によって第１時刻に撮影された第１画像から、第１領域の画像特徴を抽出し、前記撮像装置によって前記第１時刻とは異なる第２時刻に撮影された第２画像から、第２領域の画像特徴を抽出し、
前記第１領域の画像特徴に基づいて、前記第１領域に含まれる前記面上の特定領域と前記面上に存在する立体物との境界の候補となる第１位置を求め、
前記第１時刻と前記第２時刻との間における前記移動体の移動量に基づいて、前記第１位置に対応する前記第２領域内の境界の候補となる第２位置を求め、
前記第１位置を前記第１領域内の前記境界として用いた場合の前記第１領域の画像特徴と、前記第２位置を前記第２領域内の前記境界として用いた場合の前記第２領域の画像特徴との特徴類似度に基づいて、前記第１位置を前記第１領域内の前記境界に決定し、
決定した前記境界に基づいて前記第１領域内の前記立体物の領域を特定する、
ことを特徴とする画像解析方法。 Computer
An image feature of the first region is extracted from a first image taken at a first time by an imaging device installed on a moving body moving on the surface, and a second time different from the first time by the imaging device. Extracting the image features of the second region from the second image taken in
Based on the image characteristics of the first area, a first position that is a candidate for a boundary between the specific area on the surface included in the first area and the three-dimensional object existing on the surface is obtained,
Based on the amount of movement of the moving body between the first time and the second time, a second position that is a candidate for a boundary in the second region corresponding to the first position is obtained,
The image characteristics of the first area when the first position is used as the boundary in the first area, and the second area when the second position is used as the boundary in the second area. Determining the first position as the boundary in the first region based on a feature similarity with an image feature;
Identifying a region of the three-dimensional object in the first region based on the determined boundary;
An image analysis method characterized by the above.
JP2016044951A 2016-03-08 2016-03-08 Image analysis program, image analysis apparatus, and image analysis method Active JP6620607B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016044951A JP6620607B2 (en) 2016-03-08 2016-03-08 Image analysis program, image analysis apparatus, and image analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016044951A JP6620607B2 (en) 2016-03-08 2016-03-08 Image analysis program, image analysis apparatus, and image analysis method

Publications (2)

Publication Number Publication Date
JP2017162125A JP2017162125A (en) 2017-09-14
JP6620607B2 true JP6620607B2 (en) 2019-12-18

Family

ID=59857901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016044951A Active JP6620607B2 (en) 2016-03-08 2016-03-08 Image analysis program, image analysis apparatus, and image analysis method

Country Status (1)

Country Link
JP (1) JP6620607B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017118156A1 (en) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Method for monitoring an environmental region of a motor vehicle, sensor control device, driver assistance system and motor vehicle
JPWO2022102371A1 (en) * 2020-11-16 2022-05-19
CN117058358B (en) * 2023-10-12 2024-03-22 之江实验室 Scene boundary detection method and mobile platform

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222679A (en) * 1997-02-04 1998-08-21 Toyota Motor Corp Vehicle image processor
JP2007235642A (en) * 2006-03-02 2007-09-13 Hitachi Ltd Obstruction detecting system
JP2011203766A (en) * 2010-03-24 2011-10-13 Daihatsu Motor Co Ltd Image processing apparatus for vehicle

Also Published As

Publication number Publication date
JP2017162125A (en) 2017-09-14

Similar Documents

Publication Publication Date Title
JP6670071B2 (en) Vehicle image recognition system and corresponding method
US20230014725A1 (en) Map generation device, map generation method, and map generation ocmputer program
US10395126B2 (en) Sign based localization
JP6514624B2 (en) Obstacle detection device
JP5663352B2 (en) Image processing apparatus, image processing method, and image processing program
JP6384082B2 (en) Moving object detection apparatus, moving object detection method, and program
JP4157620B2 (en) Moving object detection apparatus and method
US20130215270A1 (en) Object detection apparatus
WO2017138245A1 (en) Image processing device, object recognition device, device control system, and image processing method and program
JP6021689B2 (en) Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program
EP3324359B1 (en) Image processing device and image processing method
JP6620607B2 (en) Image analysis program, image analysis apparatus, and image analysis method
JP6515704B2 (en) Lane detection device and lane detection method
KR101366871B1 (en) Apparatus and method for detecting curve traffic lane using RIO division
JP6795224B2 (en) Mobile detection device, mobile detection method, and program
US20180158203A1 (en) Object detection device and object detection method
JP4575315B2 (en) Object detection apparatus and method
KR101646580B1 (en) Device and method for detecting/tracking low-body part
KR102239734B1 (en) Moving route creation device and method for autonomous vehicles using around view monitor system
Jain et al. Autocamera calibration for traffic surveillance cameras with wide angle lenses
JP7120835B2 (en) Image processing device
JP6613921B2 (en) Image processing program, image processing apparatus, and image processing method
JP6554943B2 (en) Image processing apparatus, image processing method, and evaluation method
JP2015215235A (en) Object detection device and object detection method
JP2019012496A (en) Detection program, method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191105

R150 Certificate of patent or registration of utility model

Ref document number: 6620607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150