WO2023249126A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2023249126A1
WO2023249126A1 PCT/JP2023/023668 JP2023023668W WO2023249126A1 WO 2023249126 A1 WO2023249126 A1 WO 2023249126A1 JP 2023023668 W JP2023023668 W JP 2023023668W WO 2023249126 A1 WO2023249126 A1 WO 2023249126A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
straight line
camera
area
unit
Prior art date
Application number
PCT/JP2023/023668
Other languages
English (en)
French (fr)
Inventor
学 川辺
盛彦 坂野
雅幸 竹村
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2023249126A1 publication Critical patent/WO2023249126A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing device and an image processing method.
  • Patent Document 1 describes a technology for correcting distortion of a vehicle-mounted camera by detecting a straight line corresponding to a white line on a road from a photographed image and performing correction using the detected white line.
  • in-vehicle cameras are often equipped with a wide-angle lens in order to recognize a wide range, and during calibration, an image converted to a wide-angle distortion-corrected image is used.
  • wide-angle distortion is corrected, the distortion is large in the periphery of an image taken with a wide-angle lens, causing errors in the calibration for determining the camera orientation.
  • An object of the present invention is to provide an image processing device and an image processing method that can appropriately calibrate images even when the environment changes, such as during driving.
  • the image processing device includes a straight line detection unit that detects a straight line part from an image captured by a camera, and a straight line detection unit that detects a straight line part from an image captured by a camera.
  • the straight line portion detected from the image at time 1 is tracked in chronological order, and the straight line portion is included in the image area divided into multiple parts from the image captured at the second time after the first time.
  • a straight line tracing unit that identifies an image area to be traced; a straightness determining unit that determines the straightness of the straight line portion that the straight line tracing unit is tracing at a second time; and a use area determination unit that determines whether or not an image area including the straight line portion is to be used for camera calibration.
  • FIG. 1 is a diagram showing an example of a vehicle configuration and a hardware configuration of an image processing device according to a first embodiment of the present invention
  • FIG. FIG. 1 is a configuration diagram of an image processing device according to a first embodiment of the present invention
  • 3 is a flowchart showing an example of image processing according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing an example (example 1) of dividing an image area according to the first embodiment of the present invention. It is a figure which shows the tracking example of the straight line part by the 1st example of embodiment of this invention.
  • FIG. 7 is a diagram showing an example (example 2) of dividing an image area according to the first embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of a vehicle configuration and a hardware configuration of an image processing device according to a first embodiment of the present invention
  • FIG. 1 is a configuration diagram of an image processing device according to a first embodiment of the present invention.
  • 3 is a flowchart showing an
  • FIG. 7 is a diagram showing an example (example 3) of dividing an image area according to the first embodiment of the present invention.
  • FIG. 2 is a configuration diagram of an image processing device according to a second embodiment of the present invention.
  • FIG. 3 is a configuration diagram of an image processing device according to a third embodiment of the present invention.
  • FIG. 1 shows the configuration of a vehicle 1 equipped with an image processing apparatus according to this embodiment.
  • a vehicle (automobile) 1 is equipped with an on-vehicle camera 2 for monitoring the front.
  • FIG. 1 shows two vehicle-mounted cameras 2 for forward monitoring, the number and position of the vehicle-mounted cameras 2 are not limited to the example of FIG. 1, and one vehicle-mounted camera 2 may be used.
  • two in-vehicle cameras 2 when installed as shown in FIG. 1, they may be stereo cameras, which will be explained in another embodiment described later.
  • the image captured by the vehicle-mounted camera 2 is supplied to the image processing device 3 in the information processing device 5.
  • the image processing device 3 performs image processing on the captured image, and performs image correction processing such as camera calibration and distortion correction. Objects, people, etc. are then recognized from the image that has been subjected to image correction processing. Note that when recognizing objects, people, etc., not only the image captured by the vehicle-mounted camera 2 but also other detection mechanisms such as a radar (not shown) may be used in combination.
  • the information processing device 5 incorporating the image processing device 3 includes a CPU (central processing unit) 5a, a work memory 5b, a storage section 5c, and an interface (I/F) 5d. are connected to each other so that data can be transferred.
  • the CPU 5a causes the work memory 5b to execute the program stored in the storage unit 5c, thereby making the work memory 5b configure each processing unit that performs image processing.
  • the storage unit 5c stores programs for image processing and vehicle control, as well as images, control data, and the like.
  • the interface 5d performs input processing of image data from the in-vehicle camera 2 and detection data from various sensors, and output processing of vehicle control data.
  • the vehicle control device 4 acquires recognition results of objects and people as information necessary for automatic driving, etc., and controls the driving state of the vehicle 1. For example, the vehicle control device 4 performs a braking operation to avoid an object or person in front of the vehicle 1, controls the vehicle 1 to follow another vehicle in front of it, and controls the vehicle 1 to maintain its speed while maintaining the lane of the road on which it is traveling. Steering operations such as those performed are performed.
  • a wide-angle camera with an imaging lens with lens distortion is used. is used. Note that if the lens characteristics are measured in advance, it is possible to convert the image into a distortion-free image, so characteristics related to lens distortion are also measured before the camera is shipped.
  • This distortion correction parameter is used to remove lens distortion when calibrating external parameters while driving, but due to the characteristics of a wide-angle camera, the original distortion is larger in the periphery than in the center of the image, resulting in correction errors. Cheap.
  • the lens distortion correction error is measured while the vehicle is running, and only the area with less distortion is used for the calibration while the vehicle is running.
  • FIG. 2 is a configuration diagram of the image processing device 3, and shows a configuration for the image processing device 3 to determine an area to be used for calibration when calibrating an image captured by the in-vehicle camera 2.
  • the image processing device 3 includes an image acquisition unit 11 , a distortion removal unit 12 , a straight line detection unit 13 , a straight line tracking unit 14 , a linearity determination unit 15 , a region-based availability determination unit 16 , a usage area determination unit 17 , and an image area limitation unit 18 , and an extrinsic parameter estimator 19.
  • the image acquisition unit 11 acquires an image captured by the vehicle-mounted camera 2.
  • the distortion removal unit 12 removes distortion from the image acquired by the image acquisition unit 11. For example, the distortion removal unit 12 removes lens distortion that occurs in the periphery of an image due to shooting with a wide-angle lens.
  • the distortion removal process in the distortion removal unit 12 is executed using predetermined parameters.
  • the straight line detection unit 13 detects a straight line structure captured in the captured image from which lens distortion has been removed by the distortion removal unit 12.
  • the straight line detection unit 13 of this example detects a straight line structure within an image.
  • the linear structure herein refers to a structure that includes a straight line in a substantially vertical direction, such as a utility pole or the edge of a building.
  • the straight line tracking unit 14 tracks where the straight line structure detected by the straight line detection unit 13 is located in the image captured at a subsequent timing. That is, as long as the vehicle 1 is running, the range photographed by the on-vehicle camera 2 changes every frame, so the straight line tracking unit 14 tracks the position of the same straight line structure in each frame.
  • the linearity determination section 15 determines the linearity within the image of the linear structure being tracked by the straight line tracking section 14 .
  • the region-specific feasibility determination section 16 divides the captured image into a plurality of regions, and when the linearity determination section 15 performs the linearity determination, determines in which region the linearity determination was performed. Then, the result of determining whether or not linearity is available for each region is obtained. An example of dividing an image into multiple regions will be described later (see FIG. 4, etc.).
  • the usage area determination unit 17 determines the area of the image to be used for calibration based on the determination result of the linearity for each area in the area determination unit 16 .
  • the image area limiting unit 18 extracts only the image information of the area determined to be used for calibration by the usage area determining unit 17 from the image from which the distortion has been removed by the distortion removing unit 12.
  • the image information of the region extracted by the image region limiting section 18 is supplied to the external parameter estimating section 19.
  • the external parameter estimation unit 19 estimates parameters for performing image calibration.
  • the parameter estimation performed by the external parameter estimator 19 is for performing calibration while the vehicle is running.
  • the external parameter estimation unit 19 may perform parameter estimation other than when the vehicle is running.
  • the term "while the vehicle is running" here may refer to not only the time when the vehicle is actually traveling, but also the time when the vehicle is temporarily stopped while traveling.
  • the external parameter estimation unit 19 detects a feature point on a white line of a road from an image, and determines the coordinate position of a point that intersects with the extension of a plurality of white lines indicated by the feature point as a road vanishing point.
  • the external parameter estimation unit 19 calculates the installation height and installation angle of the in-vehicle camera 2 from the coordinate position information. In addition, when the calculated installation height and installation angle of the in-vehicle camera 2 deviate from the initially set installation height and installation angle of the in-vehicle camera 2, the external parameter estimating unit 19 Correct.
  • the camera calibration process using parameter estimation shown here is an example, and other methods may be used. However, only the area determined by the usage area determination unit 17 is used as the image used for parameter estimation.
  • FIG. 3 is a flowchart showing an example of the operation when the image processing device 3 of this example calibrates external parameters during running, which is performed in the configuration shown in FIG.
  • an image captured by the vehicle-mounted camera 2 is captured by the video acquisition section 11, and is converted into an undistorted image by the distortion removal section 12.
  • the conversion parameters used in the distortion removal section 12 are those obtained through measurements at a vehicle manufacturing factory or the like.
  • the image from which distortion has been removed by the distortion removal section 12 is sent to the straight line detection section 13.
  • the straight line detection unit 13 performs straight line detection processing to detect a linear object in a region near the center of the image where the distortion correction residual is small (step S11).
  • the range near the center in which linear objects are detected is based on a predetermined area.
  • the straight line tracking unit 14 performs straight line tracking in which the straight object detected from the frame image at the timing when the straight line detection process was performed in step S11 is tracked over a plurality of frames until it goes out of the screen due to the movement of the vehicle 1. Processing is performed (step S12). Thereafter, the linearity determination unit 15 performs a linearity determination process in which the linearity of the linear structure in the image tracked by the straight line tracking unit 14 is determined at a location in the image that has moved (step S13).
  • the determination result in step S13 is accumulated in the region-by-region feasibility determination unit 16 as a result of linearity for each of the plurality of regions into which the image is divided.
  • the region-by-area determination unit 16 accumulates the results of linearity determination for at least a certain period of time.
  • the usable area determination unit 17 determines whether each area can be used for calibration based on the determination result for each area by the area-based availability determination unit 16 (step S14).
  • the image area limiting unit 18 extracts the captured image of the area determined by the usage area determining unit 17 to be usable for calibration. Then, the extrinsic parameter estimating unit 19 performs an extrinsic parameter estimation process for calibration using the captured image of the area extracted by the image area limiting unit 18 (step S15). Note that if it is determined in step S14 that there is almost no area available for calibration (for example, if it is determined that linearity is maintained only near the center), the image area limiting unit 18 extracts images for calibration. will not be carried out. After the in-running calibration process in step S15 is performed, the image processing device 3 executes the process from step S11 at the timing of performing the next calibration process.
  • the calibration process during running is performed, for example, at regular intervals from the start of running (engine start).
  • the calibration process is performed while the vehicle is running.
  • the calibration may be performed basically at regular intervals, and in addition, the calibration may also be performed when the temperature changes by a certain value.
  • FIG. 4 shows an example of division when a captured image is divided into a plurality of regions by the region-specific availability determination unit 16.
  • one frame of image is divided into a plurality of strips.
  • the image is divided into a plurality of parts along vertical lines at approximately constant intervals, and ten areas a1-1, a1-2, a1-3, a1-4, a1-5, a1-6, a1-7 are created.
  • a1-8, a1-9, and a1-10 are set.
  • the region-specific feasibility determination unit 16 accumulates the linearity determination results for each of the ten regions a1-1 to a1-10 for a certain period of time.
  • FIG. 5 is a diagram for explaining details of processing in the linearity determining section 15.
  • the linearity determining unit 15 first detects linear features (linear objects) X1 and X2 at the center Pa of the image P1 on the left side of FIG.
  • the features X1 and X2 are utility poles on the left and right sides of the road surface R, for example.
  • Hough transform which is known as a method for detecting objects having linear or circular elements from an image, can be used.
  • a linear approximation is performed on the feature detected by the Hough transform, and linearity is determined based on the distance from the straight line to each point.
  • the linear objects X1 and X2 are tracked over a plurality of frames, and the linearity determining unit 15 again determines the linearity of the feature objects X1 and X2 at the tracked location.
  • the linearity of the tracked features X1 and X2 is determined from an image P2 (image on the right side of FIG. 5) taken a predetermined time after the image P1.
  • the method of determining linearity is to obtain an approximate straight line and determine the distance from each point of the object to the approximate challenge, in the same way as when first detecting from image P1.
  • the linearity determination unit 15 determines that the position is a straight line, and determines that linearity is maintained in the area including the position.
  • the divided areas Pb to be determined here (FIG. 5 shows only the leftmost area) are areas a1-1 to a1-10 divided by vertical lines as shown in FIG.
  • the linearity determination unit 15 determines that the linearity is not maintained at that position. By repeating this, the linearity determining unit 15 determines whether there is linearity for the plurality of objects imaged, and after making a certain number of determinations or after a certain period of time has passed, the linearity determining unit 15 Step 16 totals the determination results of whether or not linearity is available for each region, and determines whether or not linearity is possible for each region. In other words, the region-by-region acceptability determination unit 16 determines that a region with a high ratio of linearity maintained is a passable region, and a region with a high ratio of unmaintained linearity as a fail region.
  • the usage area determination unit 17 sets the area determined as an acceptable area by the area-specific availability determination unit 16 as a usage area, and determines only that area as an area usable for in-running calibration. Therefore, it becomes possible to perform appropriate calibration while the vehicle is actually running, based on the determination of the linearity of the object tracked while the vehicle is actually running.
  • the external parameter estimating unit 19 uses the captured image of the area determined by the usage area determining unit 17, the external parameter estimating unit 19 performs external parameter estimation processing for calibration while the vehicle is running.
  • erroneous automatic calibration can be prevented by stopping the calibration.
  • a straight line is traced using the configuration shown in FIG. 2 and the processing in the flowchart shown in FIG. , erroneous automatic calibration can be prevented.
  • the temperature of a vehicle in which a camera is installed temporarily becomes very high and there is a lot of distortion, it is possible to prevent errors from occurring due to calibration during the temporary high temperature.
  • the imaging range A2 is divided concentrically from the center of the optical axis of the imaging lens into areas a2-1, a2-2, a2-3, a2-4, a2-5, a2-6.
  • the example shown in FIG. 7 is an example in which the imaging range A3 is divided into rectangular areas a3-1, a3-2, a3-3, a3-4, and a3-5 centered on the optical axis center of the imaging lens. .
  • the amount of calculation will be smaller than in the circular region division as shown in FIG.
  • any of the examples shown in FIGS. 4, 6, and 7 may be applied to the region division, but for example, when dividing along the vertical lines shown in FIG. 4, the region is divided only based on the lateral position (horizontal position) Therefore, area determination can be performed using the simplest calculation.
  • the temporal change in lens distortion is largely due to physical deformation due to temperature change, it is also possible to determine it by temperature measurement.
  • the usable area is determined in advance based on the temperature, and the usable area is determined based on the temperature measured during driving. Furthermore, by using the measured temperature as an auxiliary measure, it is also possible to perform region determination based on temperature information only when the number of linear objects detected is small or cannot be detected.
  • FIG. 8 showing the second embodiment, parts corresponding to those in FIGS. 1 to 7 described in the first embodiment are given the same reference numerals.
  • two stereo cameras 2L and 2R are prepared, and the stereo cameras 2L and 2R are calibrated. That is, as shown in FIG. 8, an on-vehicle camera 2L that captures a left image and an on-vehicle camera 2R that captures a right image are mounted on a vehicle.
  • the distortion-free image of the left image obtained by the distortion removing unit 12a and the distortion-free image of the right image obtained by the distortion removing unit 12b are supplied to the image area limiting unit 18.
  • the image area limiting unit 18 extracts only the usage area designated by the usage area determining unit 17 from the left image and the right image, and the external parameter estimation unit 19 performs external parameter estimation processing for calibration.
  • the configuration and processing from the straight line detection section 13 to the usage area determination section 17 only require the image captured by one camera, and the configuration and processing as an image processing device are required accordingly. This has the effect of simplifying the process. Note that it is only an example that the used area determination is performed for only the left image, and the used area determination may be performed for only the right image.
  • FIG. 9 showing the third embodiment, parts corresponding to those in FIGS. 1 to 8 described in the first and second embodiments are given the same reference numerals.
  • two stereo cameras 2L and 2R are prepared, and the stereo cameras 2L and 2R are This is for proofreading.
  • images captured by the vehicle-mounted cameras 2L and 2R are acquired by image acquisition units 11a and 11b, and lens distortion is removed by distortion removal units 12a and 12b for each acquired image.
  • the distortion-removed image of the left image is supplied to the straight line detection section 13a, and thereafter, the straight line tracking section 14a, the linearity determination section 15a, and the region-specific availability determination section 16a sequentially perform the processing for the left image. processing is performed. Furthermore, the distortion-removed image of the right image is supplied to the straight line detection section 13b, and thereafter, the straight line tracing section 14b, the linearity determining section 15b, and the region-specific feasibility determining section 16b perform determination processing for the right image.
  • the region-specific availability determination result of the left image obtained by the region-specific availability determination unit 16a and the region-specific availability determination result of the right image obtained by the region-specific availability determination unit 16b are sent to one usage area determination unit 17.
  • the usage area determination unit 17 comprehensively determines the area-specific availability determination result of the left image and the area-specific availability determination result of the right image, and determines the usage area for calibration.
  • the image area limiting unit 18 extracts specific areas of the left image and the right image, sends them to the external parameter estimation unit 19, and performs external parameter estimation processing for calibration. Execute.
  • Performing the process using the configuration shown in FIG. 9 also makes it possible to calibrate the vehicle-mounted cameras 2L and 2R, which are stereo cameras, while the vehicle is running.
  • the region-specific availability determination process is performed for both the left image and the right image, the optimal region-based availability determination is performed for each of the in-vehicle cameras 2L and 2R. This enables more accurate on-the-fly calibration of the stereo camera.
  • the processing performed within the image processing device of the present invention is performed by executing a program (software), and for example, a program that executes the processing described in each embodiment example is installed in an existing information processing device. By implementing it, it may function as an image processing device of the present invention.
  • the program information in this case can be stored in various recording media such as memory, hard disk, SSD (Solid State Drive), IC card, SD card optical disk, etc.
  • the image processing device is an example of an information processing device (computer) that is executed under the control of a CPU, but some or all of the functions performed by the image processing device It may be realized by dedicated hardware such as Field Programmable Gate Array (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

カメラで撮像された画像から直線部分を検出する直線検出部と、直線検出部で第１時刻に画像から検出された直線部分を時系列的に追跡し、第１時刻より後の第２時刻に撮像された画像から、複数に分割した画像領域の内、直線部分が含まれる画像領域を特定する直線追跡部と、第２時刻に直線追跡部が追跡している直線部分の直線度を求める直線性判定部と、直線性判定部が判定した直線性に基づいて、直線部分が含まれる画像領域をカメラの校正に用いるか否かを決定する使用領域決定部と、を有する。

Description

画像処理装置および画像処理方法
本発明は、画像処理装置および画像処理方法に関する
　車両（自動車）に搭載されたカメラ（車載カメラ）を自動運転用のセンサとして使用する場合、車載カメラの取付け位置や取付け向きには、高い精度が要求される。しかしながら、車載カメラの物理的な取り付け精度には限界があるため、車載カメラを車体に取り付けた後に位置や角度を正確に測定して、測定結果に基づいて撮影画像を補正する方法が用いられている。これを車載カメラの校正（キャリブレーション）という。車載カメラの校正は車両出荷時に行われるが、車の振動などによる経年変化により、取付け角度がずれることがある。これに対応するためには走行中に校正を行う技術が必要となる。
　特許文献１には、車載カメラの歪補正技術として、撮影画像から道路の白線に対応する直線を検出して、検出した白線を使って補正を行う技術が記載されている。
特開２０１１－１８５７５３号公報
　ところで、車載カメラは広い範囲を認識するために広角レンズが装着されたカメラを用いる場合が多く、校正時には広角歪みを補正した画像に変換したものを使用している。しかしながら、広角歪みを補正したとしても、広角レンズで撮影した画像の周辺部では歪が大きく、カメラの向きを求める校正に誤差が発生する原因になっている。
　また、広角歪みの補正時には、温度変化などの環境の変化によって歪補正誤差が変化してしまうという問題がある。このため、校正に使用可能な領域は、固定された領域とはならず、走行中に変化する可能性もある。
　このような歪補正誤差が変化してしまう問題は、特許文献１に記載された従来の歪補正技術では解決できなかった。
　本発明は、走行時などの環境が変化する場合でも適切な画像の校正が行える画像処理装置および画像処理方法を提供することを目的とする。
　上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。
　本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像処理装置として、カメラで撮像された画像から直線部分を検出する直線検出部と、直線検出部で第１の時刻に画像から検出された直線部分を時系列的に追跡し、第１の時刻より後の第２の時刻に撮像された画像から、複数に分割した画像領域の内、直線部分が含まれる画像領域を特定する直線追跡部と、第２の時刻に直線追跡部が追跡している直線部分の直線度を求める直線度判定部と、直線度判定部が判定した直線度に基づいて、直線部分が含まれる画像領域をカメラの校正に用いるか否かを決定する使用領域決定部と、を有する。
　本発明によれば、温度などの環境変化などによる画像の歪み補正誤差が発生した場合でも、歪みの少ない領域のみを用いた校正が行われ、校正による誤差の発生を防ぎ、正しい校正状態を維持することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第１の実施の形態例による車両構成と画像処理装置のハードウェア構成の例を示す図である。 本発明の第１の実施の形態例による画像処理装置の構成図である。 本発明の第１の実施の形態例による画像処理例を示すフローチャートである。 本発明の第１の実施の形態例による画像領域の分割例（例１）を示す図である。 本発明の第１の実施の形態例による直線部分の追跡例を示す図である。 本発明の第１の実施の形態例による画像領域の分割例（例２）を示す図である。 本発明の第１の実施の形態例による画像領域の分割例（例３）を示す図である。 本発明の第２の実施の形態例による画像処理装置の構成図である。 本発明の第３の実施の形態例による画像処理装置の構成図である。
＜第１の実施の形態例＞
　以下、本発明の第１の実施の形態例を、図１～図７を参照して説明する。
　図１は、本実施の形態例の画像処理装置が搭載された車両１の構成を示す。
　車両（自動車）１には、前方監視を行うために車載カメラ２が設置されている。図１では前方監視用の２台の車載カメラ２を示すが、車載カメラ２の台数や位置は図１の例に限定されず、１台の車載カメラ２でもよい。なお、図１に示すように２台の車載カメラ２を設置した場合には、後述する別の実施の形態例で説明するステレオカメラとしてもよい。
　車載カメラ２で撮像された画像は、情報処理装置５内の画像処理装置３に供給される。
画像処理装置３では、撮像画像の画像処理が実行され、カメラ校正や歪補正などの画像補正処理が行われる。そして、画像補正処理が行われた画像から物体や人物などが認識される。なお、物体や人物などを認識する際には、車載カメラ２による撮像画像だけでなく、不図示のレーダなどの他の検出機構を併用する場合もある。
　画像処理装置３が内蔵された情報処理装置５は、図１に示すように、ＣＰＵ（中央処理ユニット）５ａとワークメモリ５ｂと記憶部５ｃとインターフェース（Ｉ／Ｆ）５ｄとを備えて、これらが相互にデータ転送可能に接続されている。
　ＣＰＵ５ａは、記憶部５ｃが記憶したプログラムをワークメモリ５ｂで実行させることで、ワークメモリ５ｂに画像処理を行う各処理部を構成させる。
　記憶部５ｃは、画像処理や車両制御を行うプログラムを記憶すると共に、画像や制御データなどを記憶する。
　インターフェース５ｄは、車載カメラ２からの画像データや、各種センサの検出データの入力処理や、車両の制御データの出力処理を行う。
　このように構成される画像処理装置３で物体や人物を認識した結果の情報は、車両制御装置４に送られる。車両制御装置４は、物体や人物の認識結果を自動運転などに必要な情報として取得して、車両１の走行状態を制御する。例えば、車両制御装置４では、車両１の前方の物体や人物を避けるブレーキ動作や、車両１の前方の別の車両に追随した速度とする制御や、走行中の道路の車線を守った走行が行われるようなステアリング動作などが実行される。
　車載カメラ２を自動運転などの車両制御に用いる場合、車載カメラ２がどの方向を向いているかを正確に知る必要がある。このカメラ２の向きは、車載カメラ２を車両１に取り付けた時点で決定されるが、車両１あるいはカメラ２の個体差が発生すため、設計値をそのまま使用すると精度不足になる。このため、カメラ２を車両１に取り付けたあとで、車両ごとにカメラ２の向きを計測する必要がある。これを外部パラメータの校正という。外部パラメータの校正は車両１を工場から出荷するときに行うのが一般的であるが、車両１の運用中に振動などが発生し、長期間の運用を考慮すると定期的に校正を行うことが必要となる。この車両１の走行中に自動的に行う方法は、走行中校正あるいは走行中キャリブレーションと呼ばれる。
　走行中校正は、車載カメラ２に映る特徴的な物体を追跡することで行われるが、車載カメラ２は車両周辺の広い範囲を認識する必要があるため、レンズ歪みを伴う撮像レンズを有する広角カメラが用いられている。なお、レンズの特性をあらかじめ測定しておけば、歪みのない画像に変換することが可能であるため、レンズ歪みに関する特性もカメラ出荷前に測定される。
　この歪み補正パラメータは、走行中の外部パラメータ校正時にレンズ歪みを除去するために用いられるが、広角カメラの特性上、画像中央部に比べて周辺部は元の歪みが大きくなるため補正誤差も生じやすい。
　また、工場内の安定した環境と比べて、実運用中の環境は、温度変化などが大きく、工場内と異なる温度などの影響により、歪みの状態が変化して補正誤差が大きくなる。このため、周辺部の画像を使用すると、外部パラメータ校正に悪影響を及ぼすほど大きな誤差が発生することがある。
　ここで、本実施の形態例においては、走行中にレンズ歪みの補正誤差を測定して、歪みの少ない領域のみを走行中校正に用いるようにした。
　図２は、画像処理装置３の構成図であり、車載カメラ２が撮像した画像の校正を行う際に、画像処理装置３が校正に使用する領域を判断するための構成を示している。
　画像処理装置３は、画像取得部１１、歪み除去部１２、直線検出部１３、直線追跡部１４、直線性判定部１５、領域別可否判定部１６、使用領域決定部１７、画像領域限定部１８、及び外部パラメータ推定部１９を備える。
　画像取得部１１は、車載カメラ２による撮像画像を取得する。
　歪み除去部１２は、画像取得部１１が取得した画像の歪みを除去する。例えば、歪み除去部１２は、広角レンズで撮影したことによる画像の周辺部などに発生するレンズ歪みの除去を行う。この歪み除去部１２での歪除去処理は、予め決められたパラメータで実行される。
　直線検出部１３は、歪み除去部１２でレンズ歪みが除去された撮像画像から、画像で撮像された直線構造物を検出する。本例の直線検出部１３は、画像内の直線構造物を検出する。ここでの直線構造物とは、電柱、建物の端部などのほぼ垂直な方向の直線箇所が含まれる構造部である。
　直線追跡部１４は、直線検出部１３で検出された直線構造物が、以後のタイミングで撮像された画像内のどこにあるかを追跡する。すなわち、車両１が走行中である限り、車載カメラ２が撮影する範囲は毎フレーム変化するので、直線追跡部１４は、同じ直線構造部が各フレームでどの位置にあるかを追跡する。
　直線性判定部１５は、直線追跡部１４で追跡中の直線構造物の画像内の直線性を判定する。
　領域別可否判定部１６は、撮像画像を複数の領域に分割した上で、直線性判定部１５が直線性の判定を行った際に、どの領域で直線性の判定を行ったのかを判定して、領域ごとの直線性の可否の判定結果を得る。画像を複数の領域に分割する例については後述する（図４など）。
　使用領域決定部１７は、領域別可否判定部１６における領域ごとの直線性の可否の判定結果から、校正に使用する画像の領域を決定する。
　画像領域限定部１８は、歪み除去部１２で歪みが除去された画像の中から、使用領域決定部１７で校正に使用すると判定された領域の画像情報のみを抽出する。画像領域限定部１８で抽出された領域の画像情報は、外部パラメータ推定部１９に供給される。
　外部パラメータ推定部１９は、画像の校正（キャリブレーション）を行うためのパラメータを推定する。外部パラメータ推定部１９が行うパラメータ推定は、走行中校正を行うためのものである。但し、外部パラメータ推定部１９は、走行時以外にもパラメータ推定を行ってもよい。また、ここでの走行時とは、実際に車両が走行している間の他、走行時の一時的な停止中でもよい。
　外部パラメータ推定部１９が行うパラメータ推定としては、カメラの校正（キャリブレーション）として従来から知られた各種方法によるパラメータ推定が適用可能である。
　例えば、外部パラメータ推定部１９は、画像から道路の白線上の特徴点を検出し、特徴点で示された複数の白線の延長上に交差する点を道路消失点として、その座標位置を求める。
　そして、外部パラメータ推定部１９は、座標位置の情報から車載カメラ２の設置高さと設置角度を算出する。また、外部パラメータ推定部１９は、算出した車載カメラ２の設置高さと設置角度が、初期設定された車載カメラ２の設置高さと設置角度からずれているとき、初期設定された設置高さと設置角度を補正する。ここで示したパラメータ推定によるカメラの校正処理は一例であり、その他の方法であってもよい。但し、パラメータ推定に使用される画像としては、使用領域決定部１７で決定した領域のみが使用される。
　図３は、本例の画像処理装置３が、図２に示す構成にて行われる走行中の外部パラメータの校正を行う際の動作の例を示すフローチャートである。
　まず、映像取得部１１で車載カメラ２の撮像画像が取り込まれ、歪み除去部１２で歪みのない画像に変換される。この歪み除去部１２での変換パラメータは、車両製造工場などでの計測で得られたものが使用される。
　歪み除去部１２で歪み除去が行われた画像は、直線検出部１３に送られる。直線検出部１３では、画像の中央付近の歪み補正残差が少ない領域で、直線性のある対象物を検出する直線検出処理が行われる（ステップＳ１１）。ここでの直線性のある対象物を検出する中央付近の範囲は、あらかじめ与えられた領域を基本とする。
　次に、直線追跡部１４は、ステップＳ１１で直線検出処理がなされたタイミングのフレーム画像から検出された直線状物体が、車両１の移動によって画面の外に出るまで複数フレームにわたって追跡される直線追跡処理を行う（ステップＳ１２）。
　その後、直線性判定部１５は、直線追跡部１４により追跡された画像内の直線状構造物が、画像内の移動した場所で直線性が判定される直線性判定処理を行う（ステップＳ１３）。
　ステップＳ１３における判定結果は、画像を分割した複数の領域ごとに、直線性の可否の結果として領域別可否判定部１６で蓄積される。領域別可否判定部１６での直線性の可否の結果の蓄積は、少なくとも一定の時間行われる。そして、使用領域決定部１７は、領域別可否判定部１６における領域別の判定結果に基づいて、それぞれの領域が校正に使用可能か否かを判定する（ステップＳ１４）。
　ステップＳ１４における判定後、画像領域限定部１８は、使用領域決定部１７で校正に使用可能と判断された領域の撮像画像を抽出する。そして、外部パラメータ推定部１９は、画像領域限定部１８で抽出された領域の撮像画像を使って校正のための外部パラメータ推定処理を行う（ステップＳ１５）。なお、ステップＳ１４で校正に使用可能な領域がほとんどないと判断された場合（例えば中央付近しか直線性が維持されないと判断された場合）には、画像領域限定部１８では校正のための画像抽出は行われない。
　ステップＳ１５による走行中の校正処理が行われた後、画像処理装置３は、次の校正処理を行うタイミングで、ステップＳ１１からの処理を実行する。
　なお、走行中の校正処理は、例えば走行開始（エンジンスタート）から一定時間ごとに行われる。あるいは、走行中の温度などの環境が一定値変化した場合に、走行中の校正処理が行われる。あるいはまた、一定時間ごとに校正を行うことを基本として、それに加えて、温度が一定値変化した場合にも校正を行うようにしてもよい。
　図４は、領域別可否判定部１６で撮像画像を複数の領域に分割する際の分割例を示す。
　図４の例では、１フレームの画像を、短冊状に複数に分割している。すなわち、画像を垂直方向のラインでほぼ一定間隔で複数に分割して、１０個の領域ａ１－１，ａ１－２，ａ１－３，ａ１－４，ａ１－５，ａ１－６，ａ１－７，ａ１－８，ａ１－９，ａ１－１０を設定している。領域別可否判定部１６は、この１０個の領域ａ１－１～ａ１－１０のそれぞれで、直線性の可否の判定結果を一定時間蓄積する。
　図５は、直線性判定部１５における処理の詳細を説明するための図である。
　直線性判定部１５は、最初に図５の左側の画像Ｐ１の中心部Ｐａの箇所で、直線性のある特徴物（直線状物体）Ｘ１，Ｘ２の検出を行う。ここで、特徴物Ｘ１，Ｘ２は、例えば路面Ｒの左右の脇の電柱であるとする。
　この直線性のある特徴物Ｘ１，Ｘ２の検出には、例えば、画像の中から直線や円の要素を持つオブジェクトを検出する方法として知られているハフ変換を用いることができる。
ハフ変換で検出した特徴物には、直線近似が行われ、直線から各点までの距離から直線性の判断が行われる。
　この直線状物体Ｘ１，Ｘ２は複数フレームに渡って追跡され、追跡された場所で再び、直線性判定部１５により特徴物Ｘ１，Ｘ２の直線性の判断が行われる。例えば、画像Ｐ１から所定時間後の撮影画像Ｐ２（図５の右側の画像）から、追跡された特徴物Ｘ１，Ｘ２の直線性の判断が行われる。
　ここでの直線性の判断方法は、最初に画像Ｐ１から検出した際と同様に、近似直線を求めて、物体の各点から近似挑戦までの距離によって判断される。
　そして、直線性判定部１５は、直線性があらかじめ定められた閾値以内であれば、その位置で直線と判断し、その位置を含む領域で直線性を維持していると判断する。
　ここで判断する分割領域Ｐｂ（図５では左端の領域のみを示す）は、図４に示すように垂直なラインで分割した領域ａ１－１～ａ１－１０である。
　また、閾値を超えて直線性が維持されていない場合は、直線性判定部１５は、その位置では直線性が維持されていないと判断する。これを繰り返し、直線性判定部１５は、撮像された複数の物体に対して直線性の有無を判断し、一定数の判断を行った後、あるいは一定時間が経過した後に、領域別可否判定部１６は、領域ごとの直線性の可否の判定結果を集計して、領域ごとに可否を判定する。つまり、領域別可否判定部１６では、直線性が維持されている比率が高い領域が可の領域と判定され、直線性が維持されていない比率が多い領域が否の領域と判定される。
　使用領域決定部１７は、領域別可否判定部１６で可の領域と判定された領域を使用領域に設定し、その領域のみを走行中校正に使用可能な領域として決定する。したがって、実際の車両の走行中に追跡した物体の直線性の判定に基づいて、走行中の適切な校正ができるようになる。
　この使用領域決定部１７で決定した領域の撮像画像を使って、外部パラメータ推定部１９で走行中の校正のための外部パラメータ推定処理が行われる。
　以上説明したように、本実施の形態例によると、本来直線として現れる物体を追跡し、画面上の各所で直線性が保たれていることを確認している。その結果、直線性が保たれていない領域を歪補正誤差の大きい領域と判断し、走行中の校正時にその領域を除外することで歪の補正誤差が少ない領域のみを用いて、精度の高い走行中の校正を行うことができる。したがって、走行時の温度変化などによって、画像の歪み補正誤差が発生した場合でも、歪みの少ない領域のみを用いることにより、校正による誤差の発生を防ぎ、正しい校正を維持することができる。
　また、使用可能な領域が少なくなった場合、校正を停止することによって誤った自動校正を防止することができる。
　すなわち、図２に示す構成並びに図３のフローチャートの処理で直線を追跡して、直線性が維持されていると判断できる領域が少ない場合（ほとんどない場合）には、実質的に校正が行われず、誤った自動校正を防止することができる。例えば、カメラが設置された車両の温度が一時的に非常に高温になって歪が多いような状況のとき、その一時的な高温時の校正による誤差の発生を防ぐことができる。
　なお、図４に示す垂直なラインで分割した領域ａ１－１～ａ１－１０を設定するのは一例であり、図６または図７に示すような垂直なライン以外のその他の領域分割でもよい。
　図６に示す例は、撮像範囲Ａ２を、撮像レンズの光軸中心から同心円状に分割して、領域ａ２－１，ａ２－２，ａ２－３，ａ２－４，ａ２－５，ａ２－６を設定した例である。
広角レンズによる歪は光軸中心からの距離によって決まるため、レンズ歪補正誤差も光軸中心からの距離によって決まることが予想される。このため、図６に示す同心円状の領域分割にすることで、同一領域での歪補正残差が同等になることが期待できる。
　図７に示す例は、撮像範囲Ａ３を、撮像レンズの光軸中心を中心とする四角形の領域ａ３－１，ａ３－２，ａ３－３，ａ３－４，ａ３－５に分割した例である。どの領域ａ３－１～ａ３－５に直線状物体が存在しているかを判定するときに、図６のような円状の領域分割に比べて計算量が少なくなることが期待できる。
　なお、領域分割は図４、図６，図７のいずれの例を適用してもよいが、例えば図４に示す垂直ラインで分割した場合には、物体の横位置（水平位置）のみで領域を判定することができるので、最も簡単な演算で領域判定を行うことができる。
　また、レンズ歪みの時間的変化は、温度変化による物理的な変形が大きな理由であるので、温度計測によって決定することも可能である。この場合は、あらかじめ温度によって使用可能な領域を決めておき、走行中に計測した温度によって使用可能な領域が決定される。また、計測温度を補助的に使用することによって、直線状の物体の検出数が少なかったり、検出できなかったりした場合にのみ温度情報に基づく領域決定を行うことも可能である。
＜第２の実施の形態例＞
　次に、本発明の第２の実施の形態例を、図８を参照して説明する。第２の実施の形態例を示す図８において、第１の実施の形態例で説明した図１～図７に対応する箇所には同一符号を付す。
　本発明の第２の実施の形態例では、ステレオカメラとした２台の車載カメラ２Ｌ，２Ｒを用意し、そのステレオカメラである車載カメラ２Ｌ，２Ｒの校正を行うようにしたものである。すなわち、図８に示すように、左画像を撮像で得る車載カメラ２Ｌと、右画像を撮像で得る車載カメラ２Ｒとを、車両に搭載する。
　そして、図８に示すように、それぞれの車載カメラ２Ｌ，２Ｒの撮像画像を、画像取得部１１ａ，１１ｂで取得し、取得した各画像について、歪み除去部１２ａ，１２ｂでレンズ歪みの除去を行う。
　その後、左画像の歪み除去画像のみを直線検出部１３に供給し、以後は、図２の構成と同様に、直線追跡部１４、直線性判定部１５、領域別可否判定部１６、及び使用領域決定部１７で順に処理して、追跡した直線性の判定結果に基づいて使用領域を判定する処理を行う。直線検出部１３から使用領域決定部１７までで行われる処理の詳細は、図３のフローチャートで説明した処理と同じである。
　そして、歪み除去部１２ａで得た左画像の歪み除去画像と、歪み除去部１２ｂで得た右画像の歪み除去画像とが、画像領域限定部１８に供給される。画像領域限定部１８は、使用領域決定部１７により指示された使用領域のみを、左画像と右画像から抽出し、外部パラメータ推定部１９で校正のための外部パラメータ推定処理を行う。
　この図８に示す構成にて処理を行うことで、ステレオカメラである車載カメラ２Ｌ，２Ｒの走行中の校正が可能になる。また、２台のカメラが配置されているが、直線検出部１３から使用領域決定部１７までの構成及び処理は、１つのカメラの撮像画像だけでよく、それだけ画像処理装置としての構成や処理が簡単になるという効果を有する。
　なお、左画像だけについて使用領域判定を行うようにしたのは一例であり、右画像だけについて使用領域判定を行うようにしてもよい。
＜第３の実施の形態例＞
　次に、本発明の第３の実施形態例を、図９を参照して説明する。第３の実施形態例を示す図９において、第１及び第２の実施の形態例で説明した図１～図８に対応する箇所には同一符号を付す。
　本発明の第３の実施の形態例では、第２の実施の形態例と同様に、ステレオカメラとした２台の車載カメラ２Ｌ，２Ｒを用意し、そのステレオカメラである車載カメラ２Ｌ，２Ｒの校正を行うようにしたものである。それぞれの車載カメラ２Ｌ，２Ｒの撮像画像を、画像取得部１１ａ，１１ｂで取得し、取得した各画像について、歪み除去部１２ａ，１２ｂでレンズ歪みの除去を行う点も図８と同様である。
　そして、本実施の形態例では、左画像の歪み除去画像が直線検出部１３ａに供給され、以後は、直線追跡部１４ａ、直線性判定部１５ａ、及び領域別可否判定部１６ａで順に左画像用の処理が行われる。さらに、右画像の歪み除去画像が直線検出部１３ｂに供給され、以後は、直線追跡部１４ｂ、直線性判定部１５ｂ、領域別可否判定部１６ｂで右画像用の判定処理が行われる。
　そして、領域別可否判定部１６ａで得られた左画像の領域別可否判定結果と、領域別可否判定部１６ｂで得られた右画像の領域別可否判定結果は、一つの使用領域決定部１７に送られる。
　使用領域決定部１７は、左画像の領域別可否判定結果と右画像の領域別可否判定結果を総合的に判断して、校正用の使用領域を判定する。
　使用領域決定部１７での判定結果に基づいて、画像領域限定部１８は、左画像と右画像の特定の領域を抽出して、外部パラメータ推定部１９に送り、校正のための外部パラメータ推定処理を実行させる。
　この図９に示す構成にて処理を行うことでも、ステレオカメラである車載カメラ２Ｌ，２Ｒの走行中の校正が可能になる。
　ここで、本実施の形態例の場合には、領域別可否判定処理が、左画像と右画像の双方について行うようにしたため、それぞれの車載カメラ２Ｌ，２Ｒごとに最適な領域別可否判定が行われ、より正確なステレオカメラの走行中の校正が可能になる。
＜変形例＞
　なお、ここまで説明した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、上述した各実施の形態例では、走行中に撮像された画像内の直線構造物を追跡して、走行中に校正を行うようにしたが、直線性が維持されていることの検出は走行中に行い、校正そのものは、走行時の一時的な停止中などに行うようにしてもよい。また、走行中に校正を行う点は一例であり、その他のタイミングに判定や校正を行うようにしてもよい。
　また、図１，図２，図８，図９に示す構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　また、図３に示すフローチャートの動作処理の流れについても一例であり、処理結果が同じであれば、一部の処理順序を変えたり、複数の処理を同時に実行したりしてもよい。
　また、本発明の画像処理装置内で行われる処理は、プログラム（ソフトウェア）の実行により行われるものであり、例えば既存の情報処理装置に、各実施の形態例で説明した処理を実行するプログラムを実装することで、本発明の画像処理装置として機能させてもよい。この場合のプログラムの情報は、メモリや、ハードディスク、ＳＳＤ(Solid State Drive)、ＩＣカード、ＳＤカード光ディスク等の各種記録媒体に置くことができる。
　また、画像処理装置は、図１に示す構成では、ＣＰＵの制御で実行される情報処理装置（コンピュータ）で構成した例としたが、画像処理装置が行う機能の一部又は全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの専用のハードウェアによって実現してもよい。
　１…車両、２…車載カメラ、２Ｌ，２Ｒ…車載カメラ（ステレオカメラ）、３…画像処理装置、４…車両制御装置、５…情報処理装置、５ａ…ＣＰＵ、５ｂ…ワークメモリ、５ｃ…記憶部、５ｄ…インターフェース、１１，１１ａ，１１ｂ…画像取得部、１２，１２ａ，１２ｂ…歪み除去部、１３，１３ａ，１３ｂ…直線検出部、１４，１４ａ，１４ｂ…直線追跡部、１５，１５ａ，１５ｂ…直線性判定部、１６，１６ａ，１６ｂ…領域別可否判定部、１７…使用領域決定部、１８…画像領域限定部、１９…外部パラメータ推定部

Claims (7)

  1. 　カメラで撮像された画像から直線部分を検出する直線検出部と、
    　前記直線検出部で第１の時刻に画像から検出された直線部分を時系列的に追跡し、前記第１の時刻より後の第２の時刻に撮像された画像から、複数に分割した画像領域の内、前記直線部分が含まれる画像領域を特定する直線追跡部と、
    　前記第２の時刻に前記直線追跡部が追跡している前記直線部分の直線度を求める直線性判定部と、
    　前記直線性判定部が判定した直線度に基づいて、前記直線部分が含まれる画像領域を前記カメラの校正に用いるか否かを決定する使用領域決定部と、を備える
    　画像処理装置。
  2. 　前記直線追跡部が、複数に分割された画像領域の内で、画像の中央付近の画像領域で検出された直線部分を時系列的に追跡して、画像の周辺部分の画像領域に検出された直線部分が移動したことを検出したとき、前記使用領域決定部は、前記周辺部分の画像領域が前記カメラの校正に使用可能か否かを、該当する画像領域での前記直線性判定部での直線度の判定から決定する
    　請求項１に記載の画像処理装置。
  3. 　前記使用領域決定部が決定した前記カメラの校正に使用可能と決定した領域のみを用いて、当該画像処理装置が搭載された車両の走行中又は走行時の一時的な停止中に、前記カメラの校正を実行する
    　請求項２に記載の画像処理装置。
  4. 　前記直線追跡部が特定する画像領域は、カメラで撮像された画像を、垂直方向に伸びた分割ラインを水平方向に所定の間隔で並べて分割した画像領域である
    　請求項３に記載の画像処理装置。
  5. 　前記カメラは、左画像を得る左カメラと、右画像を得る右カメラで構成されたステレオカメラであり、
    　前記直線検出部と前記直線追跡部と前記直線性判定部と前記使用領域決定部とは、前記左カメラと前記右カメラのいずれか一方の撮像画像について処理を行い、
    　前記使用領域決定部で決定した校正に用いる領域を、前記左カメラの撮像画像と前記右カメラの撮像画像の双方に適用する
    　請求項１に記載の画像処理装置。
  6. 　前記カメラは、左画像を得る左カメラと、右画像を得る右カメラで構成されたステレオカメラであり、
    　前記直線検出部と前記直線追跡部と前記直線性判定部とは、前記左カメラの撮影画像と前記右カメラの撮像画像のそれぞれについて処理を行い、
    　前記左カメラの撮影画像の直線度判定結果を領域別に蓄積すると共に、前記右カメラの撮影画像の直線性判定結果を領域別に蓄積し、
    　前記使用領域決定部は、前記左カメラの撮影画像についての領域別の蓄積情報と、前記右カメラの撮影画像についての領域別の蓄積情報とに基づいて、校正に用いる領域を決定して、前記左カメラの撮像画像と前記右カメラの撮像画像の双方に適用する
    　請求項１に記載の画像処理装置。
  7. 　車両に搭載されたカメラで撮影された画像を、前記車両に設置された画像処理装置で校正する画像処理方法であり、
    　前記画像処理装置は、
    　カメラで撮像された画像から直線部分を検出する直線検出処理と、
    　前記直線検出処理により第１の時刻に検出された直線部分を時系列的に追跡し、前記第１の時刻より後の第２の時刻に撮像された画像を複数に分割した画像領域の内、前記直線部分が含まれる画像領域を特定する直線追跡処理と、
    　前記第２の時刻に前記直線追跡処理で追跡している前記直線部分の直線性を求める直線性判定処理と、
    　前記直線性判定処理により判定した直線性に基づいて、前記直線部分が含まれる画像領域を前記カメラの校正に用いるか否かを決定する使用領域決定処理と、を実行する
    　画像処理方法。
PCT/JP2023/023668 2022-06-24 2023-06-26 画像処理装置および画像処理方法 WO2023249126A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022101675A JP2024002479A (ja) 2022-06-24 2022-06-24 画像処理装置および画像処理方法
JP2022-101675 2022-06-24

Publications (1)

Publication Number Publication Date
WO2023249126A1 true WO2023249126A1 (ja) 2023-12-28

Family

ID=89380112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/023668 WO2023249126A1 (ja) 2022-06-24 2023-06-26 画像処理装置および画像処理方法

Country Status (2)

Country Link
JP (1) JP2024002479A (ja)
WO (1) WO2023249126A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349443A (ja) * 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd カメラ校正装置
JP2010025569A (ja) * 2008-07-15 2010-02-04 Toa Corp カメラパラメータ特定装置および方法ならびにプログラム
JP2011182236A (ja) * 2010-03-02 2011-09-15 Toshiba Alpine Automotive Technology Corp カメラキャリブレーション装置
JP2012248004A (ja) * 2011-05-27 2012-12-13 Toshiba Corp 画像処理装置、画像認識装置及び方法
WO2013154085A1 (ja) * 2012-04-09 2013-10-17 クラリオン株式会社 キャリブレーション方法および装置
WO2017056484A1 (ja) * 2015-09-28 2017-04-06 京セラ株式会社 画像処理装置、ステレオカメラ装置、車両及び画像処理方法
JP2019067358A (ja) * 2017-10-03 2019-04-25 富士通株式会社 推定プログラム、推定方法および推定システム
US20220153259A1 (en) * 2019-12-18 2022-05-19 Moovita Pte Ltd Autonomous parking systems and methods for vehicles

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349443A (ja) * 2005-06-15 2006-12-28 Matsushita Electric Ind Co Ltd カメラ校正装置
JP2010025569A (ja) * 2008-07-15 2010-02-04 Toa Corp カメラパラメータ特定装置および方法ならびにプログラム
JP2011182236A (ja) * 2010-03-02 2011-09-15 Toshiba Alpine Automotive Technology Corp カメラキャリブレーション装置
JP2012248004A (ja) * 2011-05-27 2012-12-13 Toshiba Corp 画像処理装置、画像認識装置及び方法
WO2013154085A1 (ja) * 2012-04-09 2013-10-17 クラリオン株式会社 キャリブレーション方法および装置
WO2017056484A1 (ja) * 2015-09-28 2017-04-06 京セラ株式会社 画像処理装置、ステレオカメラ装置、車両及び画像処理方法
JP2019067358A (ja) * 2017-10-03 2019-04-25 富士通株式会社 推定プログラム、推定方法および推定システム
US20220153259A1 (en) * 2019-12-18 2022-05-19 Moovita Pte Ltd Autonomous parking systems and methods for vehicles

Also Published As

Publication number Publication date
JP2024002479A (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
US9299153B2 (en) Calibration apparatus, a distance measurement system, a calibration method and a calibration program
CN110023951B (zh) 信息处理设备、成像设备、装置控制***、信息处理方法和计算机可读记录介质
US10554945B2 (en) Stereo camera
US10810749B2 (en) Image processing apparatus, moving body device control system, computer-readable medium, and image processing method
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
WO2017145541A1 (ja) 移動体
EP3438603A1 (en) Road surface displacement detection device and suspension control method
CN105809669A (zh) 一种用于校准图像检测设备的方法和装置
KR20190059639A (ko) 콘크리트 표면 균열 측정 장치 및 방법
US10338211B2 (en) Apparatus for measuring distance
WO2016027408A1 (ja) 画像処理装置、及び画像処理装置の故障診断方法
WO2023249126A1 (ja) 画像処理装置および画像処理方法
JP4502733B2 (ja) 障害物測定方法及び障害物測定装置
US9827906B2 (en) Image processing apparatus
JP6883767B2 (ja) 変位計測装置および変位計測方法
CN109478336B (zh) 图像处理装置及图像处理方法
JP4069919B2 (ja) 衝突判定装置、および方法
CN113903103B (zh) 局部图像生成装置、局部图像生成方法以及存储介质
JP7269130B2 (ja) 画像処理装置
JP7207163B2 (ja) 異常検出装置、異常検出方法、異常検出プログラム
JP4196211B2 (ja) 画像処理装置及び画像処理方法
JP2020042715A (ja) 移動情報推定装置、異常検出装置、および、移動情報推定方法
JP2020042716A (ja) 異常検出装置および異常検出方法
JP6704307B2 (ja) 移動量算出装置および移動量算出方法
US20230351631A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23827306

Country of ref document: EP

Kind code of ref document: A1