JP5299025B2

JP5299025B2 - Vehicle information extraction program, vehicle information extraction device, and vehicle information extraction method

Info

Publication number: JP5299025B2
Application number: JP2009081141A
Authority: JP
Inventors: 律子田中; 信二滋野; 賢二兒玉; 政宏太田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2009-03-30
Filing date: 2009-03-30
Publication date: 2013-09-25
Anticipated expiration: 2029-03-30
Also published as: JP2010231706A

Abstract

<P>PROBLEM TO BE SOLVED: To provide a program, device and method for extraction of vehicle information, whereby an area of a body of a vehicle is extracted from an image with a vehicle photographed. <P>SOLUTION: The program makes a computer acquire: a first image based on the image with the vehicle photographed; detect a straight line component in the first image; detect a first area being an area of a predetermined size including an intersection point between a plurality of straight line components in the first image when the plurality of straight line components are detected; and also detect a second area on the basis of the area other than the first area in the first image. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、車両が撮影された画像の処理を行う車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法に関するものである。 The present invention relates to a vehicle information extraction program, a vehicle information extraction device, and a vehicle information extraction method for processing an image obtained by photographing a vehicle.

車体の色である車体色を検出する車体識別システムがある。例えば、路上等に設置されたカメラで撮影した画像から、差分法などにより、車体を特定し、車***置の範囲で車体色の認識を行う技術がある。しかし、車体には、ヘッドライト、フロントグリル、ボディ等があり、ヘッドライトやフロントグリル等、ボディと異なる色の部分がある。そのため、正確に車体のボディの色を認識できない場合があった。 There is a vehicle body identification system that detects a vehicle body color that is the color of a vehicle body. For example, there is a technique for identifying a vehicle body from an image taken by a camera installed on a road or the like by a difference method or the like, and recognizing a vehicle body color within a range of the vehicle body position. However, the vehicle body includes a headlight, a front grille, a body, and the like, and there are portions of a different color from the body, such as a headlight and a front grille. For this reason, the body color of the vehicle body may not be accurately recognized.

関連する技術として、車体の画像からナンバープレートやテールランプ等の部分の位置を検出し、その位置に基づいてボディを検出する技術がある（例えば、特許文献１、特許文献２参照）。 As a related technique, there is a technique of detecting the position of a part such as a license plate or a tail lamp from an image of a vehicle body, and detecting the body based on the position (see, for example, Patent Document 1 and Patent Document 2).

特開２００６−１６４１９３号公報JP 2006-164193 A 特開２００７−６０２７３号公報JP 2007-60273 A

しかしながら、車体のデザインは多種多様で、車種ごとに異なるため、ナンバープレートやテールランプ等の部分の位置に基づいてボディを検出する技術は、ボディのみを抽出できない場合がある。 However, since the design of the vehicle body is diverse and varies from vehicle model to vehicle model, the technique for detecting the body based on the position of the parts such as the license plate and the tail lamp may not be able to extract only the body.

本発明は上述した問題点を解決するためになされたものであり、車両が撮影された画像から車両のボディの領域を抽出する車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides a vehicle information extraction program, a vehicle information extraction device, and a vehicle information extraction method for extracting a body region of a vehicle from an image of the vehicle. For the purpose.

上述した課題を解決するため、本発明の一態様は、車両が撮影された画像に基づく第１画像を取得し、第１画像内において、直線成分を検出し、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、第１画像内において、第１領域以外の領域に基づいて第２領域を検出することをコンピュータに実行させる。 In order to solve the above-described problem, according to one aspect of the present invention, a first image based on an image obtained by capturing a vehicle is acquired, a linear component is detected in the first image, and a plurality of linear components are detected. In the first image, a first area that is an area having a predetermined size including an intersection of linear components is detected, and a second area is detected in the first image based on an area other than the first area. Let the computer do that.

また、本発明の一態様は、車両が撮影された画像に基づく第１画像を取得する取得部と、第１画像内において、直線成分を検出する直線検出部と、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出する第１領域検出部と、第１画像内において、第１領域以外の領域に基づいて第２領域を検出する第２領域検出部とを有する。 According to another aspect of the present invention, an acquisition unit that acquires a first image based on an image of a vehicle photographed, a straight line detection unit that detects a linear component in the first image, and a plurality of linear components are detected. In this case, a first area detection unit that detects a first area that is an area having a predetermined size including an intersection of straight line components in the first image, and an area other than the first area in the first image. And a second area detecting unit for detecting the second area.

また、本発明の一態様は、車両が撮影された画像に基づく第１画像を取得し、第１画像内において、直線成分を検出し、直線成分が複数検出された場合、第１画像内において、直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、第１画像内において、第１領域以外の領域に基づいて第２領域を検出することを実行する。 Further, according to one aspect of the present invention, when a first image based on an image of a vehicle captured is acquired, a linear component is detected in the first image, and a plurality of linear components are detected, the first image The first region, which is a region having a predetermined size including the intersection of the linear components, is detected, and the second region is detected based on the region other than the first region in the first image.

開示の車両情報抽出プログラム、車両情報抽出装置、車両情報抽出方法によれば、車両が撮影された画像から車両のボディの領域を抽出することができる。 According to the disclosed vehicle information extraction program, vehicle information extraction device, and vehicle information extraction method, it is possible to extract a region of the vehicle body from an image of the vehicle.

車両情報抽出システム１の構成を示すブロック図である。1 is a block diagram showing a configuration of a vehicle information extraction system 1. FIG. サーバ２の機能を示すブロック図である。3 is a block diagram showing functions of a server 2. FIG. コンピュータ８００の構成を示すブロック図である。2 is a block diagram showing a configuration of a computer 800. FIG. サーバ２の動作を示すフローチャートである。3 is a flowchart showing the operation of the server 2. 撮影画像の一例を示す図である。It is a figure which shows an example of a picked-up image. 撮影画像２１内の車体中心領域の一例を示す図である。3 is a diagram illustrating an example of a vehicle body center region in a captured image 21. FIG. 撮影画像２１内のコーナー領域の一例を示す図である。3 is a diagram illustrating an example of a corner area in a captured image 21. FIG. ボディ画像の一例を示す図である。It is a figure which shows an example of a body image. コーナー検出部１３による処理を示すフローチャートである。5 is a flowchart showing processing by a corner detection unit 13. エッジ画像の一例を示す図である。It is a figure which shows an example of an edge image. ウィンドウの一例を示す図である。It is a figure which shows an example of a window. 直線成分が存在しないウィンドウを示す図である。It is a figure which shows the window where a linear component does not exist. １つの直線成分が存在するウィンドウを示す図である。It is a figure which shows the window in which one linear component exists. 複数の直線成分が存在するウィンドウを示す図である。It is a figure which shows the window where a some linear component exists. 本発明が適用されるコンピュータシステムの一例を示す図である。It is a figure which shows an example of the computer system to which this invention is applied.

以下、本発明の実施の形態について図面を参照しつつ説明する。 Embodiments of the present invention will be described below with reference to the drawings.

ここでは、車体（車両）を撮影し、撮影された画像から、ヘッドライト、窓ガラス、フロントグリル等を除くボンネット等の車体色で塗られた部分（以下、ボディと呼ぶ）を検出し、更に車体色を検出する車両情報抽出システム１について説明する。 Here, the vehicle body (vehicle) is photographed, and from the photographed image, a portion (hereinafter referred to as a body) painted in a body color such as a bonnet excluding a headlight, a window glass, a front grill, etc. is detected. The vehicle information extraction system 1 that detects the vehicle body color will be described.

車両情報抽出システム１の構成について以下に説明する。 The configuration of the vehicle information extraction system 1 will be described below.

図１は、車両情報抽出システム１の構成を示すブロック図である。車両情報抽出システム１は、サーバ２、カメラ３を有する。カメラ３は、路上等、車両が通行する位置を撮影するように設置され、その位置を通行する車両を撮影する。サーバ２は、車両情報抽出装置として機能し、カメラ３による撮影結果を取得し、撮影結果に基づいて演算を行うことにより車両のボディや車両色を検出する。 FIG. 1 is a block diagram showing the configuration of the vehicle information extraction system 1. The vehicle information extraction system 1 includes a server 2 and a camera 3. The camera 3 is installed so as to photograph a position where the vehicle passes on the road or the like, and photographs a vehicle passing through the position. The server 2 functions as a vehicle information extraction device, acquires a result of photographing by the camera 3, and performs calculation based on the result of photographing to detect a vehicle body and a vehicle color.

サーバ２とカメラ３は、ネットワークを介して接続されても良い。サーバ２は、複数のカメラ３に接続され、複数のカメラ２からの撮影結果を取得し、撮影結果のそれぞれに基づいて演算を行っても良い。 The server 2 and the camera 3 may be connected via a network. The server 2 may be connected to the plurality of cameras 3 to acquire the shooting results from the plurality of cameras 2 and perform calculation based on each of the shooting results.

図２は、サーバ２の機能を示すブロック図である。サーバ２は、画像取得部１１、車体検出部１２、コーナー検出部１３、ボディ検出部１４、色識別部１５、画像記憶部１６、抽出結果記憶部１７を有する。 FIG. 2 is a block diagram showing functions of the server 2. The server 2 includes an image acquisition unit 11, a vehicle body detection unit 12, a corner detection unit 13, a body detection unit 14, a color identification unit 15, an image storage unit 16, and an extraction result storage unit 17.

サーバ２は、コンピュータ８００により実現される。図３は、コンピュータ８００の構成を示すブロック図である。コンピュータ８００は、ＣＰＵ（Central Processing Unit）８０１、記憶部８０２、表示部８０３、操作部８０４を有する。記憶部８０２は、車両情報抽出装置の機能が表された車両情報抽出プログラムを記憶する。ＣＰＵ８０１は、記憶部８０２に記憶された車両情報抽出プログラムを実行する。 The server 2 is realized by a computer 800. FIG. 3 is a block diagram illustrating a configuration of the computer 800. The computer 800 includes a CPU (Central Processing Unit) 801, a storage unit 802, a display unit 803, and an operation unit 804. The storage unit 802 stores a vehicle information extraction program in which functions of the vehicle information extraction device are expressed. The CPU 801 executes a vehicle information extraction program stored in the storage unit 802.

操作部８０４は、ユーザからの指示を取得する。表示部８０３は、車両情報抽出プログラムにより取得された画像や生成された画像を表示する。記憶部８０２は、更に、画像記憶部１６及び抽出結果記憶部１７の機能を有する。 The operation unit 804 acquires an instruction from the user. The display unit 803 displays an image acquired by the vehicle information extraction program or a generated image. The storage unit 802 further has functions of an image storage unit 16 and an extraction result storage unit 17.

サーバ２の動作について以下に説明する。 The operation of the server 2 will be described below.

図４は、サーバ２の動作を示すフローチャートである。カメラ３が撮影を行い、撮影結果を撮影画像として生成すると、このフローが開始される。 FIG. 4 is a flowchart showing the operation of the server 2. This flow is started when the camera 3 performs shooting and generates a shooting result as a shot image.

画像取得部１１は、カメラ３から撮影画像を取得して画像記憶部１６へ書き込む（Ｓ１１）。図５は、撮影画像の一例を示す図である。この例における撮影画像２１は、カメラ３により車両の正面が撮影された画像である。 The image acquisition unit 11 acquires a captured image from the camera 3 and writes it in the image storage unit 16 (S11). FIG. 5 is a diagram illustrating an example of a captured image. The captured image 21 in this example is an image in which the front of the vehicle is captured by the camera 3.

車体検出部１２は、画像記憶部１６から撮影画像を読み出し、撮影画像内の車体の中心部分の領域である車体中心領域を検出し、車体中心領域の座標を画像記憶部１６へ書き込む（Ｓ１２）。図６は、撮影画像２１内の車体中心領域の一例を示す図である。この図は、上述の撮影画像２１から検出された車体中心領域２２を示す。 The vehicle body detection unit 12 reads the captured image from the image storage unit 16, detects the vehicle body center region that is the region of the central portion of the vehicle body in the captured image, and writes the coordinates of the vehicle body center region to the image storage unit 16 (S 12). . FIG. 6 is a diagram illustrating an example of the vehicle body center region in the captured image 21. This figure shows the vehicle body center region 22 detected from the above-described captured image 21.

車体検出部１２は、車体中心領域の検出が成功したか否かの判定を行う（Ｓ１３）。車体中心領域の検出が失敗した場合（Ｓ１３，Ｎｏ）、車体検出部１２は、このフローをＳ１１へ移行させる。車体中心領域の検出が成功した場合（Ｓ１３，Ｙｅｓ）、車体検出部１２は、このフローをＳ１４へ移行させる。 The vehicle body detection unit 12 determines whether or not the detection of the vehicle body center region has succeeded (S13). When the detection of the vehicle body center region fails (S13, No), the vehicle body detection unit 12 shifts this flow to S11. When the detection of the vehicle body center region is successful (S13, Yes), the vehicle body detection unit 12 shifts this flow to S14.

コーナー検出部１３は、画像記憶部１６から撮影画像の車体中心領域である車体中心画像を読み出し、車体中心画像内でコーナー形状を含む領域であるコーナー領域を検出し、コーナー領域の座標を画像記憶部１６へ書き込む（Ｓ１４）。図７は、撮影画像２１内のコーナー領域の一例を示す図である。この図において、上述の車体中心領域２２内の黒く塗りつぶされた領域は、検出されたコーナー領域２３を示す。 The corner detection unit 13 reads the vehicle body center image that is the vehicle body center region of the captured image from the image storage unit 16, detects the corner region that is the region including the corner shape in the vehicle body center image, and stores the coordinates of the corner region as an image. Write to the unit 16 (S14). FIG. 7 is a diagram illustrating an example of a corner area in the captured image 21. In this figure, the area filled in black in the vehicle body center area 22 indicates the detected corner area 23.

ボディ検出部１４は、画像記憶部１６から車体中心領域の座標及びコーナー領域の座標を読み出し、車体中心領域からコーナー領域を除いた領域であるボディ領域を検出し、撮影画像のボディ領域であるボディ画像を抽出して抽出結果記憶部１７へ書き込む（Ｓ１５）。図８は、ボディ画像の一例を示す図である。この図は、上述の車体中心領域２２から抽出されたボディ領域２４を示す。ここで、ボディ検出部１４は、車体中心領域からコーナー領域を除いた領域のうち、最も面積の大きい領域をボディ領域としても良い。 The body detection unit 14 reads the coordinates of the vehicle body center area and the coordinates of the corner area from the image storage unit 16, detects the body area that is an area excluding the corner area from the vehicle body center area, and detects the body area that is the body area of the captured image An image is extracted and written into the extraction result storage unit 17 (S15). FIG. 8 is a diagram illustrating an example of a body image. This figure shows the body region 24 extracted from the vehicle body center region 22 described above. Here, the body detection unit 14 may use a region having the largest area as a body region among regions obtained by removing the corner region from the vehicle body center region.

色識別部１５は、抽出結果記憶部１７からボディ画像を読み出し、ボディ画像の色である車体色を識別して抽出結果記憶部１７へ書き込む（Ｓ１６）。 The color identification unit 15 reads the body image from the extraction result storage unit 17, identifies the vehicle body color that is the color of the body image, and writes it to the extraction result storage unit 17 (S16).

以上で、このフローは終了する。カメラ３は、定期的に撮影を行い、その度にこのフローは実行される。 Thus, this flow ends. The camera 3 periodically takes pictures, and this flow is executed each time.

車体には多くのコーナー形状（隅）が存在するが、ボンネット等のボディは一般的になだらかで、コーナー形状が検出されないことが多い。サーバ２は、この傾向を利用して、車体中心領域からコーナー領域を除去したボディ領域を取り出し、ヘッドライトやフロントグリル等の色の影響を除外することが出来る。 There are many corner shapes (corners) in the vehicle body, but a body such as a bonnet is generally gentle, and corner shapes are often not detected. Using this tendency, the server 2 can extract the body region from which the corner region is removed from the vehicle body center region, and can eliminate the influence of colors such as the headlight and the front grille.

画像記憶部１６及び抽出結果記憶部１７は、データベースであり、撮影画像、座標、車体色等を対応付けて保存する。 The image storage unit 16 and the extraction result storage unit 17 are databases, and store captured images, coordinates, vehicle body colors, and the like in association with each other.

車体検出部１２による処理（Ｓ１２）の詳細について以下に説明する。 Details of the processing (S12) by the vehicle body detection unit 12 will be described below.

車体検出部１２は、カメラ３により車両が存在しない場合（車体中心部分の抽出が失敗した場合、Ｓ１３，Ｎｏ）の撮影画像を背景画像として画像記憶部１６へ書き込んでおく。 The vehicle body detection unit 12 writes a captured image in the case where no vehicle is present by the camera 3 (when the extraction of the vehicle body center portion fails, S13, No) to the image storage unit 16 as a background image.

車体検出部１２は、現在に取得された撮影画像と過去に取得された背景画像との差分を算出し、その差分の絶対値が所定の差分閾値より大きい領域を抽出して候補領域とし、候補領域に基づいて撮影画像中の車体中心部分を抽出する。候補領域として、窓部分とボンネット部分が抽出される場合がある。車体検出部１２は、所定のサイズ閾値より大きい候補領域を抽出して２個の候補領域が抽出された場合、２個の候補領域のうち下にある方の候補領域をボンネットと判断し、そのボンネットの領域を車体中心部分とする。 The vehicle body detection unit 12 calculates a difference between the currently acquired captured image and the background image acquired in the past, extracts a region where the absolute value of the difference is greater than a predetermined difference threshold value, and sets it as a candidate region. Based on the region, the vehicle body center portion in the captured image is extracted. In some cases, a window portion and a bonnet portion are extracted as candidate regions. When two candidate areas are extracted by extracting candidate areas larger than a predetermined size threshold, the vehicle body detection unit 12 determines the lower candidate area of the two candidate areas as a bonnet, and The bonnet area is the center of the vehicle body.

車体検出部１２は、撮影画像からナンバープレートやランプ等の部品を検出し、その部品の位置に基づいて車体中心部分を抽出しても良い。 The vehicle body detection unit 12 may detect parts such as a license plate and a lamp from the photographed image, and extract the vehicle body center portion based on the position of the parts.

コーナー検出部１３による処理（Ｓ１４）の詳細について以下に説明する。 Details of the processing (S14) by the corner detection unit 13 will be described below.

図９は、コーナー検出部１３による処理を示すフローチャートである。コーナー検出部１３は、撮影画像の車体中心部分のエッジ画像を生成する（Ｓ２１）。図１０は、エッジ画像の一例を示す図である。この図は、エッジ画像３１を示す。 FIG. 9 is a flowchart showing processing by the corner detection unit 13. The corner detection unit 13 generates an edge image of the vehicle body center portion of the captured image (S21). FIG. 10 is a diagram illustrating an example of an edge image. This figure shows an edge image 31.

コーナー検出部１３は、エッジ画像内を走査するように、エッジ画像内に所定のウィンドウサイズの矩形（または探索サイズの円形）のウィンドウを設定する（Ｓ２２）。ウィンドウサイズは、例えば数画素〜数十画素とする。図１１は、エッジ画像内のウィンドウの一例を示す図である。この図は、上述のエッジ画像３１に設定されたウィンドウ３２を示す。 The corner detection unit 13 sets a rectangular window (or circular search size) in the edge image so as to scan the edge image (S22). The window size is, for example, several pixels to several tens of pixels. FIG. 11 is a diagram illustrating an example of a window in the edge image. This figure shows the window 32 set in the edge image 31 described above.

コーナー検出部１３は、ウィンドウ内で直線成分を検出する（Ｓ２３）。直線成分の検出は、例えばハフ変換を用いる。コーナー検出部１３は、２つ以上の直線成分が検出されたか否かの判定を行う（Ｓ２４）。２つ以上の直線成分が検出されない場合（Ｓ２４，Ｎ）、コーナー検出部１３は、このフローをＳ２６へ移行させる。２つ以上の直線成分が検出された場合（Ｓ２４，Ｙ）、コーナー検出部１３は、それらの直線成分の交点をコーナーとし、コーナーが検出されたウィンドウをコーナー領域として画像記憶部１６に書き込んで登録する（Ｓ２５）。 The corner detection unit 13 detects a linear component within the window (S23). For example, the Hough transform is used to detect the linear component. The corner detector 13 determines whether or not two or more linear components are detected (S24). When two or more linear components are not detected (S24, N), the corner detection unit 13 shifts this flow to S26. When two or more linear components are detected (S24, Y), the corner detection unit 13 writes the intersection of these linear components as a corner and writes the window in which the corner is detected into the image storage unit 16 as a corner region. Register (S25).

図１２は、直線成分が存在しないウィンドウを示す図である。この場合、ウィンドウ３２ａ内に直線成分が検出されなかったため、コーナーは検出されず、ウィンドウ３２ａはコーナー領域として登録されない。図１３は、１つの直線成分が存在するウィンドウを示す図である。この場合、ウィンドウ３２ｂ内に１つの直線成分３３ａしか検出されなかったため、コーナーは検出されず、ウィンドウ３２ｂはコーナー領域として登録されない。図１４は、２つの直線成分が存在するウィンドウを示す図である。この場合、ウィンドウ３２ｃ内に２つの直線成分３３ｂ，３３ｃが検出されたため、直線成分３３ｂ，３３ｃの交点がコーナーとして検出され、ウィンドウ３２ｃはコーナー領域として登録される。 FIG. 12 is a diagram illustrating a window in which no linear component exists. In this case, since no linear component is detected in the window 32a, no corner is detected, and the window 32a is not registered as a corner area. FIG. 13 is a diagram illustrating a window in which one linear component exists. In this case, since only one linear component 33a is detected in the window 32b, no corner is detected, and the window 32b is not registered as a corner region. FIG. 14 is a diagram showing a window in which two linear components exist. In this case, since the two linear components 33b and 33c are detected in the window 32c, the intersection of the linear components 33b and 33c is detected as a corner, and the window 32c is registered as a corner region.

コーナー検出部１３は、エッジ画像内のウィンドウの走査が終了したか否かの判定を行う（Ｓ２６）。ウィンドウの走査が終了していない場合（Ｓ２６，Ｎ）、コーナー検出部１３は、このフローをＳ２２へ移行させ、次の位置のウィンドウを設定する。ウィンドウの走査が終了した場合（Ｓ２６，Ｙ）、コーナー検出部１３は、このフローを終了させる。 The corner detection unit 13 determines whether the scanning of the window in the edge image is completed (S26). When the scanning of the window is not completed (S26, N), the corner detection unit 13 shifts this flow to S22 and sets the window at the next position. When the scanning of the window is completed (S26, Y), the corner detection unit 13 ends this flow.

以上で、このフローは終了する。 Thus, this flow ends.

車両情報抽出システム１の変形例について以下に説明する。 A modification of the vehicle information extraction system 1 will be described below.

ボディ検出部１４は更に、ボディ部分の座標に基づいて、撮影画像からボディー部を含む車体下部の画像を抽出しても良い。この車体下部の画像は、フロントガラスの画像を含まず、乗車者の画像を含まない。そのため、乗車者のプライバシーや肖像権に配慮した画像として利用することができる。 The body detection unit 14 may further extract an image of the lower part of the vehicle body including the body part from the captured image based on the coordinates of the body part. The image of the lower part of the vehicle body does not include the image of the windshield and does not include the image of the passenger. Therefore, it can be used as an image taking into account the passenger's privacy and portrait rights.

また、この車体下部の画像は、ボンネットの下のグリルを含む。そのため、ボディ検出部１４は更に、グリルの形状と車種とを対応付けたデータベースを有し、車体下部の画像におけるグリルの形状から車種を認識しても良い。 The image of the lower part of the vehicle body includes a grill under the bonnet. Therefore, the body detection unit 14 may further include a database that associates the shape of the grill with the vehicle type, and may recognize the vehicle type from the shape of the grill in the image of the lower part of the vehicle body.

色識別部１５は、ボディ画像から複数の色を検出した場合、色毎の面積を算出し、面積の大きい順に所定の色数を結果として出力しても良い。所定の色数は、例えば３である。 When a plurality of colors are detected from the body image, the color identification unit 15 may calculate an area for each color and output a predetermined number of colors as a result in descending order of the area. The predetermined number of colors is, for example, 3.

サーバ２において、色識別部１５は省かれても良い。この場合、抽出結果としてボディ画像が抽出結果記憶部１７へ書き込まれる。 In the server 2, the color identification unit 15 may be omitted. In this case, the body image is written in the extraction result storage unit 17 as the extraction result.

サーバ２において、車体検出部１２は省かれても良い。 In the server 2, the vehicle body detection unit 12 may be omitted.

上述の車両情報抽出システム１によれば、車両が撮影された画像からボディ画像の抽出や車体色の抽出を行うことができる。 According to the vehicle information extraction system 1 described above, it is possible to extract a body image and a body color from an image of a vehicle photographed.

上述の車両情報抽出システム１によれば、フロントグリルやヘッドライトなどの影響を除外して車体のボディ部分の色を得ることが出来るため、色識別の認識率が向上する。また、相対位置に左右されないコーナー特徴を除去することで、多種多様な車体のデザインに対応できる。さらに、形状認識などの複雑な方法を用いることなく、ボディ部分の特定ができるためコンピュータの処理負荷を軽減できる。 According to the vehicle information extraction system 1 described above, since the color of the body part of the vehicle body can be obtained without the influence of the front grille and the headlight, the recognition rate of color identification is improved. In addition, by removing corner features that are not affected by relative positions, it is possible to handle a wide variety of vehicle body designs. Furthermore, since the body part can be specified without using a complicated method such as shape recognition, the processing load on the computer can be reduced.

なお、本発明は以下に示すようなコンピュータシステムにおいて適用可能である。図１５は、本発明が適用されるコンピュータシステムの一例を示す図である。この図に示すコンピュータシステム９００は、ＣＰＵやディスクドライブ等を内蔵した本体部９０１、本体部９０１からの指示により画像を表示するディスプレイ９０２、コンピュータシステム９００に種々の情報を入力するためのキーボード９０３、ディスプレイ９０２の表示画面９０２ａ上の任意の位置を指定するマウス９０４及び外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする通信装置９０５を有する。通信装置９０５は、ネットワーク通信カード、モデムなどが考えられる。 The present invention can be applied to the following computer system. FIG. 15 is a diagram illustrating an example of a computer system to which the present invention is applied. A computer system 900 shown in this figure includes a main body 901 incorporating a CPU, a disk drive, and the like, a display 902 that displays an image according to an instruction from the main body 901, a keyboard 903 for inputting various information to the computer system 900, A mouse 904 for designating an arbitrary position on the display screen 902a of the display 902 and a communication device 905 for accessing an external database or the like and downloading a program or the like stored in another computer system are provided. The communication device 905 may be a network communication card, a modem, or the like.

上述したような、車両情報抽出装置を構成するコンピュータシステムにおいて上述した各ステップを実行させるプログラムを、車両情報抽出プログラムとして提供することができる。このプログラムは、コンピュータシステムにより読み取り可能な記録媒体に記憶させることによって、車両情報抽出装置を構成するコンピュータシステムに実行させることが可能となる。上述した各ステップを実行するプログラムは、ディスク９１０等の可搬型記録媒体に格納されるか、通信装置９０５により他のコンピュータシステムの記録媒体９０６からダウンロードされる。また、コンピュータシステム９００に少なくとも車両情報抽出機能を持たせる車両情報抽出プログラムは、コンピュータシステム９００に入力されてコンパイルされる。このプログラムは、コンピュータシステム９００を、車両情報抽出機能を有する車両情報抽出システムとして動作させる。また、このプログラムは、例えばディスク９１０等のコンピュータ読み取り可能な記録媒体に格納されていても良い。ここで、コンピュータシステム９００により読み取り可能な記録媒体としては、ＲＯＭやＲＡＭ等のコンピュータに内部実装される内部記憶装置、ディスク９１０やフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータシステム並びにそのデータベースや、通信装置９０５のような通信手段を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。 A program for executing the above steps in the computer system constituting the vehicle information extraction apparatus as described above can be provided as a vehicle information extraction program. By storing this program in a recording medium that can be read by the computer system, the program can be executed by the computer system constituting the vehicle information extraction apparatus. A program for executing the above steps is stored in a portable recording medium such as a disk 910 or downloaded from a recording medium 906 of another computer system by the communication device 905. In addition, a vehicle information extraction program that causes the computer system 900 to have at least a vehicle information extraction function is input to the computer system 900 and compiled. This program causes the computer system 900 to operate as a vehicle information extraction system having a vehicle information extraction function. Further, this program may be stored in a computer-readable recording medium such as a disk 910, for example. Here, examples of the recording medium readable by the computer system 900 include an internal storage device such as a ROM and a RAM, a portable storage such as a disk 910, a flexible disk, a DVD disk, a magneto-optical disk, and an IC card. It includes a medium, a database holding a computer program, or other computer systems and the database, and various recording media accessible by a computer system connected via communication means such as a communication device 905.

直線成分検出部は、実施の形態におけるコーナー検出部１３のＳ２３の機能に対応する。第１領域検出部は、実施の形態におけるコーナー検出部１３のＳ２４，Ｓ２５の機能に対応する。第２領域検出部は、実施の形態におけるボディ検出部１４に対応する。 The linear component detection unit corresponds to the function of S23 of the corner detection unit 13 in the embodiment. The first region detection unit corresponds to the functions of S24 and S25 of the corner detection unit 13 in the embodiment. The second region detection unit corresponds to the body detection unit 14 in the embodiment.

第１画像は、実施の形態における撮影画像の車体中心領域に対応する。第１領域は、実施の形態におけるコーナー領域に対応する。第２領域は、実施の形態におけるボディ領域に対応する。 The first image corresponds to the vehicle body center region of the captured image in the embodiment. The first region corresponds to the corner region in the embodiment. The second region corresponds to the body region in the embodiment.

本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。 The present invention can be implemented in various other forms without departing from the spirit or main features thereof. Therefore, the above-described embodiment is merely an example in all respects and should not be interpreted in a limited manner. The scope of the present invention is shown by the scope of claims, and is not restricted by the text of the specification. Moreover, all modifications, various improvements, substitutions and modifications belonging to the equivalent scope of the claims are all within the scope of the present invention.

以上の実施の形態に関し、更に以下の付記を開示する。
（付記１）
車両が撮影された画像に基づく第１画像を取得し、
第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する、
ことをコンピュータに実行させる車両情報抽出プログラム。
（付記２）
更に、
前記第１画像の前記第２領域における色を識別する
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記３）
更に、
前記車両が撮影された画像から前記車両の特定部分を検出して前記第１画像とする
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記４）
前記特定部分は、車両のボンネットを含む、
付記３に記載の車両情報抽出プログラム。
（付記５）
前記第１画像内において前記所定の大きさのウィンドウを走査し、
前記交点が検出されたウィンドウの全てを前記第１領域とする
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記６）
前記第１画像内のエッジを検出し、前記エッジの中から前記直線成分を検出する、
ことを前記コンピュータに実行させる、
付記１に記載の車両情報抽出プログラム。
（付記７）
前記第２領域は、前記第１領域以外の領域である、
付記１に記載の車両情報抽出プログラム。
（付記８）
前記第２領域は、前記第１領域以外の領域のうち所定の面積以上の領域である、
付記１に記載の車両情報抽出プログラム。
（付記９）
車両が撮影された画像に基づく第１画像を取得する取得部と、
前記第１画像内において、直線成分を検出する直線検出部と、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出する第１領域検出部と、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する第２領域検出部と、
を備える車両情報抽出装置。
（付記１０）
更に、
前記第１画像の前記第２領域における色を識別する色識別部を備える、
付記９に記載の車両情報抽出装置。
（付記１１）
更に、
前記車両が撮影された画像から前記車両の特定部分を検出して前記第１画像とする特定部分検出部を備える、
付記９に記載の車両情報抽出装置。
（付記１２）
前記直線検出部は、前記第１画像内において前記所定の大きさのウィンドウを走査し、
前記第１領域検出部は、前記交点が検出されたウィンドウの全てを前記第１領域とする、
付記９に記載の車両情報抽出装置。
（付記１３）
前記直線検出部は、前記第１画像内のエッジを検出し、前記エッジの中から前記直線を検出する、
付記９に記載の車両情報抽出装置。
（付記１４）
車両が撮影された画像に基づく第１画像を取得し、
前記第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像内において、前記第１領域以外の領域に基づいて第２領域を検出する、
ことを実行する車両情報抽出方法。 Regarding the above embodiment, the following additional notes are disclosed.
(Appendix 1)
Obtaining a first image based on an image of the vehicle,
In the first image, a linear component is detected,
When a plurality of the linear components are detected, a first region that is a region having a predetermined size including an intersection of the linear components is detected in the first image,
Detecting a second area based on an area other than the first area in the first image;
A vehicle information extraction program that causes a computer to execute this.
(Appendix 2)
Furthermore,
Causing the computer to identify a color in the second region of the first image;
The vehicle information extraction program according to attachment 1.
(Appendix 3)
Furthermore,
Causing the computer to execute detection of a specific portion of the vehicle from an image of the vehicle taken as the first image.
The vehicle information extraction program according to attachment 1.
(Appendix 4)
The specific portion includes a vehicle bonnet,
The vehicle information extraction program according to attachment 3.
(Appendix 5)
Scanning the window of the predetermined size in the first image;
Causing the computer to execute all the windows in which the intersections are detected as the first region,
The vehicle information extraction program according to attachment 1.
(Appendix 6)
Detecting an edge in the first image and detecting the linear component from the edge;
Causing the computer to execute
The vehicle information extraction program according to attachment 1.
(Appendix 7)
The second region is a region other than the first region,
The vehicle information extraction program according to attachment 1.
(Appendix 8)
The second region is a region having a predetermined area or more among regions other than the first region.
The vehicle information extraction program according to attachment 1.
(Appendix 9)
An acquisition unit for acquiring a first image based on an image of a vehicle photographed;
In the first image, a straight line detector for detecting a straight line component;
When a plurality of the linear components are detected, a first region detection unit that detects a first region that is a region of a predetermined size including an intersection of the linear components in the first image;
A second region detection unit for detecting a second region based on a region other than the first region in the first image;
A vehicle information extraction device.
(Appendix 10)
Furthermore,
A color identification unit for identifying a color in the second region of the first image;
The vehicle information extraction device according to appendix 9.
(Appendix 11)
Furthermore,
A specific part detection unit configured to detect the specific part of the vehicle from an image of the vehicle and set the first image;
The vehicle information extraction device according to appendix 9.
(Appendix 12)
The straight line detection unit scans the window of the predetermined size in the first image,
The first area detection unit sets all the windows in which the intersections are detected as the first area.
The vehicle information extraction device according to appendix 9.
(Appendix 13)
The straight line detection unit detects an edge in the first image, and detects the straight line from the edge.
The vehicle information extraction device according to appendix 9.
(Appendix 14)
Obtaining a first image based on an image of the vehicle,
Detecting a linear component in the first image;
When a plurality of the linear components are detected, a first region that is a region having a predetermined size including an intersection of the linear components is detected in the first image,
Detecting a second area based on an area other than the first area in the first image;
Vehicle information extraction method for executing the above.

１車両情報抽出システム
２サーバ
３カメラ
１１画像取得部
１２車体検出部
１３コーナー検出部
１４ボディ検出部
１５色識別部
１６画像記憶部
１７抽出結果記憶部 DESCRIPTION OF SYMBOLS 1 Vehicle information extraction system 2 Server 3 Camera 11 Image acquisition part 12 Car body detection part 13 Corner detection part 14 Body detection part 15 Color identification part 16 Image storage part 17 Extraction result storage part

Claims

車両が撮影された画像に基づく第１画像を取得し、
第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像から前記第１領域を除去することにより、第２領域を検出する
ことをコンピュータに実行させる車両情報抽出プログラム。 Obtaining a first image based on an image of the vehicle,
In the first image, a linear component is detected,
When a plurality of the linear components are detected, a first region that is a region having a predetermined size including an intersection of the linear components is detected in the first image,
The vehicle information extraction program which makes a computer perform detecting a 2nd area | region by removing the said 1st area | region from a said 1st image.

更に、
前記第１画像の前記第２領域における色を識別する
ことを前記コンピュータに実行させる、
請求項１に記載の車両情報抽出プログラム。 Furthermore,
Causing the computer to identify a color in the second region of the first image;
The vehicle information extraction program according to claim 1.

更に、
前記車両が撮影された画像から前記車両の特定部分を検出して前記第１画像とする
ことを前記コンピュータに実行させる、
請求項１または請求項２に記載の車両情報抽出プログラム。 Furthermore,
Causing the computer to execute detection of a specific portion of the vehicle from an image of the vehicle taken as the first image.
The vehicle information extraction program according to claim 1 or 2.

前記第１画像内において前記所定の大きさのウィンドウを走査し、
前記交点が検出されたウィンドウの全てを前記第１領域とする
ことを前記コンピュータに実行させる、
請求項１乃至請求項３のいずれかに記載の車両情報抽出プログラム。 Scanning the window of the predetermined size in the first image;
Causing the computer to execute all the windows in which the intersections are detected as the first region,
The vehicle information extraction program according to any one of claims 1 to 3.

前記第１画像内のエッジを検出し、前記エッジの中から前記直線成分を検出する
ことを前記コンピュータに実行させる、
請求項１乃至請求項４のいずれかに記載の車両情報抽出プログラム。 Detecting an edge in the first image and causing the computer to detect the linear component from the edge;
The vehicle information extraction program according to any one of claims 1 to 4.

車両が撮影された画像に基づく第１画像を取得する取得部と、
前記第１画像内において、直線成分を検出する直線検出部と、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出する第１領域検出部と、
前記第１画像から前記第１領域を除去することにより、第２領域を検出する第２領域検出部と
を備える車両情報抽出装置。 An acquisition unit for acquiring a first image based on an image of a vehicle photographed;
In the first image, a straight line detector for detecting a straight line component;
When a plurality of the linear components are detected, a first region detection unit that detects a first region that is a region of a predetermined size including an intersection of the linear components in the first image;
A vehicle information extraction device comprising: a second region detection unit that detects a second region by removing the first region from the first image.

車両が撮影された画像に基づく第１画像を取得し、
前記第１画像内において、直線成分を検出し、
前記直線成分が複数検出された場合、前記第１画像内において、前記直線成分同士の交点を含む所定の大きさの領域である第１領域を検出し、
前記第１画像から前記第１領域を除去することにより、第２領域を検出する
ことを実行する車両情報抽出方法。 Obtaining a first image based on an image of the vehicle,
Detecting a linear component in the first image;
When a plurality of the linear components are detected, a first region that is a region having a predetermined size including an intersection of the linear components is detected in the first image,
A vehicle information extraction method for executing detection of a second region by removing the first region from the first image.