JP7009209B2 - Camera misalignment detection device, camera misalignment detection method and abnormality detection device - Google Patents

Description

本発明は、カメラずれ検出装置、カメラずれ検出方法および異常検出装置に関する。 The present invention relates to a camera deviation detection device, a camera deviation detection method, and an abnormality detection device.

従来、車両等の移動体に搭載されたカメラ（以下、車載カメラという）を用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、例えば、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすという異常を生じることがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。 Conventionally, driving support such as parking support for a vehicle is provided by using a camera mounted on a moving body such as a vehicle (hereinafter referred to as an in-vehicle camera). The vehicle-mounted camera is attached to the vehicle in a fixed state, for example, before the vehicle is shipped from the factory. However, the in-vehicle camera may have an abnormality that the mounting state at the time of shipment from the factory is deviated from the mounting state at the time of shipment from the factory, for example, due to unexpected contact or secular variation. If the mounting position or angle of the in-vehicle camera deviates, an error occurs in the steering amount of the handle determined by using the camera image. Therefore, it is important to detect the deviating mounting of the in-vehicle camera.

特許文献１には、複数の撮像手段同士間の光軸ずれを検出する技術が開示される。詳細には、２つのカメラの光軸の相対的な軸ずれに起因する視差オフセットは、自車両の直進状態で各カメラにより検知した適宜の静止対象物までの距離の所定時間での変化と、この所定時間でのナビゲーション装置等により検出された自車両の移動量との偏差に応じた値とされることが開示される。 Patent Document 1 discloses a technique for detecting an optical axis shift between a plurality of imaging means. Specifically, the parallax offset due to the relative misalignment of the optical axes of the two cameras is the change in the distance to the appropriate stationary object detected by each camera in the straight-ahead state of the own vehicle over a predetermined time. It is disclosed that the value corresponds to the deviation from the movement amount of the own vehicle detected by the navigation device or the like in this predetermined time.

特開２００６－１５３７７８号公報Japanese Unexamined Patent Publication No. 2006-153778

特許文献１における光軸ずれ検出手段では、互いに光軸が平行に配置される２つのカメラ間の光軸ずれを検出することができる。しかしながら、当該光軸ずれ検出手段では、単独の車載カメラにおける、工場出荷時の取付け状態からのずれを検出することはできない。 The optical axis deviation detecting means in Patent Document 1 can detect an optical axis deviation between two cameras whose optical axes are arranged in parallel with each other. However, the optical axis deviation detecting means cannot detect the deviation of a single in-vehicle camera from the factory-installed state.

本発明は、車載カメラの取付け位置や角度のずれといった異常を適切に検出することができる技術を提供することを目的とする。 An object of the present invention is to provide a technique capable of appropriately detecting an abnormality such as a deviation in a mounting position or an angle of an in-vehicle camera.

上記目的を達成するために本発明の、移動体に搭載されるカメラの取付けのずれを検出するカメラずれ検出装置は、前記カメラによって所定時間をおいて入力された２つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごとに導出する導出部と、複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を統計処理によって推定する推定部と、前記推定部で得られた推定情報と、前記カメラ以外の外部センサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定部と、を備える構成（第１の構成）になっている。 In order to achieve the above object, the camera deviation detecting device of the present invention for detecting the deviation of the mounting of the camera mounted on the moving body is a feature point between two images input by the camera at a predetermined time. A derivation unit that derives an optical flow that is a motion for each feature point, an estimation unit that estimates the amount of movement of a moving body on which the camera is mounted based on a plurality of the optical flows by statistical processing, and an estimation unit that obtains the estimation unit. The configuration (first configuration) includes a determination unit that determines the deviation of the camera based on the estimated information obtained and the actual measurement information related to the movement of the moving object input from an external sensor other than the camera. It has become.

上記第１の構成のカメラずれ検出装置において、前記推定情報には、前記移動体の前後方向および左右方向の移動量の推定値が含まれる構成（第２の構成）であることが好ましい。 In the camera deviation detection device having the first configuration, it is preferable that the estimation information includes an estimated value of the amount of movement of the moving body in the front-rear direction and the left-right direction (second configuration).

上記第２の構成のカメラずれ検出装置において、前記判定部は、前記移動体の前後方向の移動量と、前記移動体の左右方向の移動量と、前記移動体の前後方向および左右方向の移動量に基づいて得られる特定量とのうち少なくともいずれか１つについて、前記推定部で得られた推定値と、前記実測情報によって得られる値との差が所定の閾値以上になった場合に、前記カメラのずれが発生していると判定する構成（第３の構成）であることが好ましい。 In the camera misalignment detecting device having the second configuration, the determination unit determines the amount of movement of the moving body in the front-rear direction, the amount of movement of the moving body in the left-right direction, and the movement of the moving body in the front-back direction and the left-right direction. When the difference between the estimated value obtained by the estimation unit and the value obtained by the measured information for at least one of the specific quantities obtained based on the quantity becomes a predetermined threshold value or more. It is preferable that the configuration is such that it is determined that the camera is displaced (third configuration).

上記第１から第３のいずれかの構成のカメラずれ検出装置において、前記実測情報は、通信バスを介して前記判定部に入力される前記移動体の速度情報を含む構成（第４の構成）であることが好ましい。 In the camera deviation detection device having any of the first to third configurations, the actually measured information includes the speed information of the moving body input to the determination unit via the communication bus (fourth configuration). Is preferable.

上記第１から第４のいずれかの構成のカメラずれ検出装置において、前記判定部による前記カメラのずれ判定は、前記外部センサによって前記移動体が直進していると判断される場合に取得された情報を用いて行われる構成（第５の構成）であることが好ましい。 In the camera misalignment detection device having any of the first to fourth configurations, the camera misalignment determination by the determination unit is acquired when the external sensor determines that the moving body is traveling straight. It is preferable that the configuration is performed using information (fifth configuration).

上記第１から第５のいずれかの構成のカメラずれ検出装置において、前記判定部による前記カメラのずれ判定は、前記外部センサによって前記移動体が所定速度範囲内で走行していると判断される場合に取得された情報を用いて行われる構成（第６の構成）であることが好ましい。 In the camera deviation detection device having any of the first to fifth configurations, the determination unit determines that the moving body is traveling within a predetermined speed range by the external sensor. It is preferable that the configuration is performed using the information acquired in the case (sixth configuration).

上記第１から第６のいずれかの構成のカメラずれ検出装置において、前記移動体の移動量が所定距離に到達するまで前記推定部で得られた推定値を足し合わせて累積値を求める処理が行われ、前記判定部は、前記移動体の移動量が前記所定距離に到達した時点で前記累積値に基づいて前記カメラのずれを判定する構成（第７の構成）であることが好ましい。 In the camera deviation detecting device having any of the first to sixth configurations, a process of adding the estimated values obtained by the estimation unit until the moving amount of the moving body reaches a predetermined distance to obtain a cumulative value is performed. It is preferable that the determination unit determines the deviation of the camera based on the cumulative value when the movement amount of the moving body reaches the predetermined distance (seventh configuration).

上記第１から第７のいずれかの構成のカメラずれ検出装置において、前記判定部は、前記画像の中心部を含む第１領域内の前記特徴点の前記オプティカルフローを用いて推定された前記推定情報に基づいて前記カメラがずれていると判定した場合に、前記画像の中心部を含まない第２領域内の前記特徴点の前記オプティカルフローを用いて求められた前記推定情報によって前記カメラのずれを再判定する構成（第８の構成）であってよい。 In the camera shift detection device having any of the first to seventh configurations, the determination unit is estimated by using the optical flow of the feature points in the first region including the central portion of the image. When it is determined that the camera is displaced based on the information, the camera is displaced by the estimated information obtained by using the optical flow of the feature point in the second region not including the center of the image. It may be a configuration (eighth configuration) for re-determining.

上記目的を達成するために本発明の、移動体に搭載されるカメラの取付けのずれを検出するカメラずれ検出方法は、前記カメラによって所定時間をおいて入力された２つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごとに導出する導出工程と、複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を統計処理によって推定する推定工程と、前記推定工程で得られた推定情報と、前記カメラ以外のセンサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定工程と、を備える構成（第９の構成）になっている。 In order to achieve the above object, the camera misalignment detection method of the present invention for detecting the misalignment of the camera mounted on the moving body is a feature point between two images input by the camera at a predetermined time. A derivation step of deriving an optical flow, which is a motion, for each feature point, an estimation step of estimating the amount of movement of a moving body on which the camera is mounted based on a plurality of the optical flows by statistical processing, and an estimation step obtained by the estimation step. The configuration (9th configuration) includes a determination step of determining the deviation of the camera based on the estimated information obtained and the actual measurement information related to the movement of the moving body input from a sensor other than the camera. ing.

上記目的を達成するために本発明の異常検出装置は、移動体に搭載されたカメラで撮影された画像に基づき前記移動体の移動量を推定する推定部と、前記推定部で得られた移動量情報と、前記移動体に搭載されたカメラ以外の外部センサにより検出された前記移動体の移動に関わる実測情報速とを得て前記移動体に搭載されたカメラの異常を判定する判定部と、を備える構成（第１０の構成）になっている。 In order to achieve the above object, the abnormality detection device of the present invention includes an estimation unit that estimates the movement amount of the moving body based on an image taken by a camera mounted on the moving body, and a movement obtained by the estimation unit. A determination unit that determines an abnormality in the camera mounted on the moving body by obtaining the amount information and the measured information speed related to the movement of the moving body detected by an external sensor other than the camera mounted on the moving body. , (10th configuration).

上記目的を達成するために本発明の異常検出装置は、移動体に搭載された複数のカメラのそれぞれにおいて撮影された画像に基づき前記複数のカメラ毎に前記移動体の移動量を推定する推定部と、前記推定部で得られたカメラ毎の移動量情報を比較し異常が発生しているカメラを判定する判定部と、を備える構成（第１１の構成）になっている。 In order to achieve the above object, the abnormality detection device of the present invention is an estimation unit that estimates the movement amount of the moving body for each of the plurality of cameras based on the images taken by each of the plurality of cameras mounted on the moving body. The configuration (11th configuration) includes a determination unit that compares the movement amount information for each camera obtained by the estimation unit and determines which camera has an abnormality.

本発明によると、車載カメラの取付け位置や角度のずれといった異常を適切に検出することができる。 According to the present invention, it is possible to appropriately detect an abnormality such as a deviation in the mounting position or angle of an in-vehicle camera.

カメラずれ検出システムの構成を示すブロック図Block diagram showing the configuration of the camera misalignment detection system 車載カメラが車両に配置される位置を例示する図Diagram illustrating the position where the in-vehicle camera is placed in the vehicle カメラずれ検出装置によるカメラずれの検出フローの一例を示すフローチャートA flowchart showing an example of the camera deviation detection flow by the camera deviation detection device. 特徴点を抽出する手法を説明するための図Diagram to explain the method of extracting feature points オプティカルフローを導出する手法を説明するための図Diagram to explain the method of deriving the optical flow 座標変換処理を説明するための図Diagram for explaining the coordinate conversion process 推定部によって生成される第１ヒストグラムの一例を示す図The figure which shows an example of the 1st histogram generated by the estimation part. 推定部によって生成される第２ヒストグラムの一例を示す図The figure which shows an example of the 2nd histogram generated by the estimation part. カメラずれが発生した場合のヒストグラムの変化を例示する図Diagram illustrating changes in the histogram when camera misalignment occurs 判定部によって行われるカメラずれ判定処理の一例を示すフローチャートA flowchart showing an example of camera misalignment determination processing performed by the determination unit. カメラずれの再判定処理の一例について説明するための図The figure for demonstrating an example of the camera misalignment re-judgment process. カメラずれ検出装置によるカメラずれの検出フローの変形例を示すフローチャートA flowchart showing a modified example of the camera deviation detection flow by the camera deviation detection device.

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが移動体であれば車両に限定されない。また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following description, a vehicle will be described as an example of a moving body, but the moving body is not limited to the vehicle. Further, in the following description, the direction from the driver's seat to the steering wheel, which is the direction in which the vehicle travels straight, is referred to as the "forward direction". Further, the direction in which the vehicle travels straight from the steering wheel to the driver's seat is defined as the "rear direction". Further, the direction from the right side to the left side of the driver facing forward, which is the direction perpendicular to the straight traveling direction and the vertical straight line of the vehicle, is defined as the "left direction". Further, the direction from the left side to the right side of the driver facing forward, which is the direction perpendicular to the straight line and the vertical direction of the vehicle, is defined as "right direction".

＜１．カメラずれ検出システム＞
図１は、本発明の実施形態に係るカメラずれ検出システムＳＹＳの構成を示すブロック図である。カメラずれ検出システムＳＹＳは、例えば車両の工場出荷時における取付け状態等、基準となる取付け状態からの車載カメラのずれといった異常を検出するシステムである。システムＳＹＳは異常検出システムである。図１に示すように、カメラずれ検出システムＳＹＳは、カメラずれ検出装置１と、撮影部２と、入力部３と、センサ部４とを備える。 <1. Camera misalignment detection system>
FIG. 1 is a block diagram showing a configuration of a camera shift detection system SYS according to an embodiment of the present invention. The camera misalignment detection system SYS is a system that detects an abnormality such as a deviation of an in-vehicle camera from a reference mounting state such as a mounting state at the time of factory shipment of a vehicle. System SYS is an anomaly detection system. As shown in FIG. 1, the camera deviation detection system SYS includes a camera deviation detection device 1, a photographing unit 2, an input unit 3, and a sensor unit 4.

カメラずれ検出装置１は、車載カメラの取付けのずれを検出する装置である。検出装置１は、移動体に搭載されるカメラの異常を検出する異常検出装置である。取付けのずれには、取付け位置のずれや取付け角度のずれが含まれる。カメラずれ検出装置１は、車載カメラを搭載する各車両に備えられる。カメラずれ検出装置１は、撮影部２に含まれる車載カメラ２１～２４で撮影された撮影画像、および、当該装置１の外部に設けられるセンサ部４からの情報を処理して、車載カメラ２１～２４の取付け位置や取付け角度のずれを検出する。カメラずれ検出装置１の詳細については後述する。 The camera misalignment detection device 1 is a device that detects a misalignment of the mounting of an in-vehicle camera. The detection device 1 is an abnormality detection device that detects an abnormality in a camera mounted on a moving body. The mounting deviation includes a deviation in the mounting position and a deviation in the mounting angle. The camera misalignment detection device 1 is provided in each vehicle equipped with an in-vehicle camera. The camera misalignment detection device 1 processes the captured images taken by the in-vehicle cameras 21 to 24 included in the photographing unit 2 and the information from the sensor unit 4 provided outside the apparatus 1 to process the in-vehicle cameras 21 to 24. Detects deviations in the mounting position and mounting angle of 24. Details of the camera misalignment detection device 1 will be described later.

なお、カメラずれ検出装置１は、不図示の表示装置や運転支援装置に処理情報を出力してよい。表示装置は、カメラずれ検出装置１から出力される情報に基づいて、適宜、警告等を画面に表示する。運転支援装置は、カメラずれ検出装置１から出力される情報に基づいて、適宜、運転支援機能を停止したり、撮影情報の補正を行って運転支援を行ったりする。運転支援装置は、例えば自動運転を支援する装置、自動駐車を支援する装置、緊急ブレーキを支援する装置等であってよい。 The camera misalignment detection device 1 may output processing information to a display device (not shown) or a driving support device. The display device appropriately displays a warning or the like on the screen based on the information output from the camera deviation detection device 1. Based on the information output from the camera misalignment detection device 1, the driving support device appropriately stops the driving support function or corrects the shooting information to provide driving support. The driving support device may be, for example, a device that supports automatic driving, a device that supports automatic parking, a device that supports emergency braking, or the like.

撮影部２は、車両周辺の状況を監視する目的で車両に設けられる。本実施形態では、撮影部２は、４つの車載カメラ２１～２４を備える。各車載カメラ２１～２４は、有線または無線によってカメラずれ検出装置１に接続される。図２は、車載カメラ２１～２４が車両７に配置される位置を例示する図である。図２は、車両７を上から見た図である。 The photographing unit 2 is provided on the vehicle for the purpose of monitoring the situation around the vehicle. In the present embodiment, the photographing unit 2 includes four in-vehicle cameras 21 to 24. Each vehicle-mounted camera 21 to 24 is connected to the camera deviation detection device 1 by wire or wirelessly. FIG. 2 is a diagram illustrating a position where the vehicle-mounted cameras 21 to 24 are arranged in the vehicle 7. FIG. 2 is a top view of the vehicle 7.

車載カメラ２１は車両７の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは車両７の前後方向に沿っている。フロントカメラ２１は車両７の前方向を撮影する。車載カメラ２２は車両７の後端に設けられる。このため、車載カメラ２２をバックカメラ２２とも呼ぶ。バックカメラ２２の光軸２２ａは車両７の前後方向に沿っている。バックカメラ２２は車両７の後方向を撮影する。フロントカメラ２１及びバックカメラ２２の取付け位置は、車両７の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。 The vehicle-mounted camera 21 is provided at the front end of the vehicle 7. Therefore, the in-vehicle camera 21 is also referred to as a front camera 21. The optical axis 21a of the front camera 21 is along the front-rear direction of the vehicle 7. The front camera 21 captures the front direction of the vehicle 7. The vehicle-mounted camera 22 is provided at the rear end of the vehicle 7. Therefore, the in-vehicle camera 22 is also referred to as a back camera 22. The optical axis 22a of the back camera 22 is along the front-rear direction of the vehicle 7. The back camera 22 captures the rear direction of the vehicle 7. The front camera 21 and the back camera 22 are preferably mounted at the center of the left and right sides of the vehicle 7, but may be slightly deviated from the center of the left and right sides in the left-right direction.

車載カメラ２３は車両７の左側ドアミラー７１に設けられる。このため、車載カメラ２３を左サイドカメラ２３とも呼ぶ。左サイドカメラ２３の光軸２３ａは車両７の左右方向に沿っている。左サイドカメラ２３は車両７の左方向を撮影する。車載カメラ２４は車両７の右側ドアミラー７２に設けられる。このため、車載カメラ２４を右サイドカメラ２４とも呼ぶ。右サイドカメラ２４の光軸２４ａは車両７の左右方向に沿っている。右サイドカメラ２４は車両７の右方向を撮影する。 The vehicle-mounted camera 23 is provided on the left side door mirror 71 of the vehicle 7. Therefore, the in-vehicle camera 23 is also referred to as a left side camera 23. The optical axis 23a of the left side camera 23 is along the left-right direction of the vehicle 7. The left side camera 23 photographs the left direction of the vehicle 7. The vehicle-mounted camera 24 is provided on the right door mirror 72 of the vehicle 7. Therefore, the in-vehicle camera 24 is also referred to as a right side camera 24. The optical axis 24a of the right side camera 24 is along the left-right direction of the vehicle 7. The right side camera 24 captures the right direction of the vehicle 7.

各車載カメラ２１～２４は魚眼レンズで構成され、水平方向の画角θは１８０°以上である。このため、車載カメラ２１～２４によって、車両７の水平方向における全周囲を撮影することができる。なお、本実施形態では、車載カメラの数は４つであるが、この数は適宜変更されてよく、複数でも単数でもよい。例えば、車両７がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、撮影部２が有する車載カメラは、バックカメラ２２、左サイドカメラ２３、右サイドカメラ２４の３つで構成されてよい。 Each of the vehicle-mounted cameras 21 to 24 is composed of a fisheye lens, and the horizontal angle of view θ is 180 ° or more. Therefore, the vehicle-mounted cameras 21 to 24 can photograph the entire circumference of the vehicle 7 in the horizontal direction. In the present embodiment, the number of in-vehicle cameras is four, but this number may be changed as appropriate, and may be plural or singular. For example, when an in-vehicle camera is mounted for the purpose of assisting the vehicle 7 to park in the back, the in-vehicle camera included in the photographing unit 2 is the back camera 22, the left side camera 23, and the right side camera 24. It may be composed of one.

図１に戻って、入力部３は、カメラずれ検出装置１に対する指示を入力可能とする。入力部３は、例えば、タッチパネル、ボタン、レバー等で構成されてよい。入力部３は、有線または無線によってカメラずれ検出装置１に接続される。 Returning to FIG. 1, the input unit 3 can input an instruction to the camera deviation detection device 1. The input unit 3 may be composed of, for example, a touch panel, a button, a lever, or the like. The input unit 3 is connected to the camera deviation detection device 1 by wire or wirelessly.

センサ部４は、車載カメラ２１～２４が搭載される車両７に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部４は、車速センサ４１と舵角センサ４２とを含む。車速センサ４１は、車両７の速度を検出する。舵角センサ４２は、車両７のステアリングホイール（ハンドル）の回転角を検出する。車速センサ４１および舵角センサ４２は、通信バス５０を介してカメラずれ検出装置１と繋がる。すなわち、車速センサ４１で取得された車両７の速度情報は、通信バス５０を介してカメラずれ検出装置１に入力される。舵角センサ４２で取得された車両７のステアリングホイールの回転角情報は、通信バス５０を介してカメラずれ検出装置１に入力される。なお、通信バス５０は、例えばＣＡＮ（Controller Area Network）バスであってよい。 The sensor unit 4 has a plurality of sensors that detect information about the vehicle 7 on which the vehicle-mounted cameras 21 to 24 are mounted. In the present embodiment, the sensor unit 4 includes a vehicle speed sensor 41 and a steering angle sensor 42. The vehicle speed sensor 41 detects the speed of the vehicle 7. The steering angle sensor 42 detects the rotation angle of the steering wheel (steering wheel) of the vehicle 7. The vehicle speed sensor 41 and the steering angle sensor 42 are connected to the camera deviation detection device 1 via the communication bus 50. That is, the speed information of the vehicle 7 acquired by the vehicle speed sensor 41 is input to the camera deviation detection device 1 via the communication bus 50. The rotation angle information of the steering wheel of the vehicle 7 acquired by the steering angle sensor 42 is input to the camera deviation detection device 1 via the communication bus 50. The communication bus 50 may be, for example, a CAN (Controller Area Network) bus.

＜２．カメラずれ検出装置＞
図１に示すように、カメラずれ検出装置１は、画像取得部１１と、制御部１２と、記憶部１３とを備える。 <2. Camera misalignment detector>
As shown in FIG. 1, the camera deviation detection device 1 includes an image acquisition unit 11, a control unit 12, and a storage unit 13.

画像取得部１１は、４つの車載カメラ２１～２４のそれぞれから、撮影画像を取得する。画像取得部１１は、アナログの撮影画像をデジタルの撮影画像に変換するＡ／Ｄ変換機能などの基本的な画像処理機能を有する。画像取得部１１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を制御部１２に入力する。 The image acquisition unit 11 acquires captured images from each of the four vehicle-mounted cameras 21 to 24. The image acquisition unit 11 has a basic image processing function such as an A / D conversion function for converting an analog captured image into a digital captured image. The image acquisition unit 11 performs predetermined image processing on the acquired captured image, and inputs the processed captured image to the control unit 12.

制御部１２は、例えばマイクロコンピュータであり、カメラずれ検出装置１の全体を統括的に制御する。制御部１２は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、ファームウェアとしてのプログラムや各種のデータを記憶する。 The control unit 12 is, for example, a microcomputer, and controls the entire camera deviation detection device 1 in an integrated manner. The control unit 12 includes a CPU, RAM, ROM, and the like. The storage unit 13 is, for example, a non-volatile memory such as a flash memory, and stores various types of information. The storage unit 13 stores a program as firmware and various data.

詳細には、制御部１２は、導出部１２１と、推定部１２２と、判定部１２３とを備える。すなわち、カメラずれ検出装置１は、導出部１２１と、推定部１２２と、判定部１２３とを備える。制御部１２が備えるこれら各部１２１～１２３の機能は、例えば記憶部１３に記憶されるプログラムに従ってＣＰＵが演算処理を行うことによって実現される。 Specifically, the control unit 12 includes a derivation unit 121, an estimation unit 122, and a determination unit 123. That is, the camera deviation detection device 1 includes a derivation unit 121, an estimation unit 122, and a determination unit 123. The functions of the respective units 121 to 123 included in the control unit 12 are realized, for example, by the CPU performing arithmetic processing according to a program stored in the storage unit 13.

なお、制御部１１の導出部１２１、推定部１２２、および、判定部１２３の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、導出部１２１、推定部１２２、および、判定部１２３は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。 At least one of the derivation unit 121, the estimation unit 122, and the determination unit 123 of the control unit 11 is composed of hardware such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array). May be good. Further, the derivation unit 121, the estimation unit 122, and the determination unit 123 are conceptual components. The functions executed by one component may be distributed to a plurality of components, or the functions of the plurality of components may be integrated into one component.

導出部１２１は、車載カメラ２１～２４によって所定時間をおいて入力された２つの画像間における特徴点の動きであるオプティカルフロー（動きベクトル）を特徴点ごとに導出する。なお、本実施形態では、車両７は４つの車載カメラ２１～２４を有する。このために、導出部１２１は、各車載カメラ２１～２４について、オプティカルフローを特徴点ごとに導出する。特徴点は、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利等である。特徴点は、通常、１つの撮影画像の中に多数存在する。導出部１２１は、例えば、ハリスオペレータ等の公知の手法を用いて撮影画像の特徴点を導出する。 The derivation unit 121 derives an optical flow (motion vector), which is the movement of the feature points between the two images input by the vehicle-mounted cameras 21 to 24 at a predetermined time, for each feature point. In this embodiment, the vehicle 7 has four in-vehicle cameras 21 to 24. For this purpose, the out-licensing unit 121 derives the optical flow for each of the in-vehicle cameras 21 to 24 for each feature point. The feature points are points that can be conspicuously detected in the captured image, such as the intersections of edges in the captured image. The characteristic points are, for example, the edges of white lines drawn on the road surface, cracks on the road surface, stains on the road surface, gravel on the road surface, and the like. A large number of feature points are usually present in one captured image. The derivation unit 121 derives the feature points of the captured image by using, for example, a known method such as a Harris operator.

推定部１２２は、複数のオプティカルフローに基づいて車載カメラ２１～２４を搭載する車両７の移動量を統計処理によって推定する。なお、本実施形態では、車両７が４つの車載カメラ２１～２４を有するために、推定部１２２は、車載カメラ２１～２４ごとに、車両７の移動量の推定値を求める。本実施形態では、推定部１２２が行う統計処理は、ヒストグラムを用いた処理である。ヒストグラムを用いた移動量の推定処理の詳細については後述する。 The estimation unit 122 estimates the movement amount of the vehicle 7 equipped with the vehicle-mounted cameras 21 to 24 by statistical processing based on a plurality of optical flows. In the present embodiment, since the vehicle 7 has four vehicle-mounted cameras 21 to 24, the estimation unit 122 obtains an estimated value of the movement amount of the vehicle 7 for each vehicle-mounted camera 21 to 24. In the present embodiment, the statistical processing performed by the estimation unit 122 is a processing using a histogram. The details of the movement amount estimation process using the histogram will be described later.

判定部１２３は、推定部１２２で得られた推定情報と、車載カメラ２１～２４以外の外部センサから入力される車両７の移動に関わる実測情報とに基づいて車載カメラ２１～２４のずれ、すなわち異常を判定する。なお、本実施形態では、車両７が４つの車載カメラ２１～２４を有するために、判定部１２３は、車載カメラ２１～２４ごとにカメラずれの判定を行う。 The determination unit 123 deviates from the vehicle-mounted cameras 21 to 24 based on the estimation information obtained by the estimation unit 122 and the measured information related to the movement of the vehicle 7 input from an external sensor other than the vehicle-mounted cameras 21 to 24. Judge an abnormality. In the present embodiment, since the vehicle 7 has four in-vehicle cameras 21 to 24, the determination unit 123 determines the camera deviation for each of the in-vehicle cameras 21 to 24.

本実施形態では、判定部１２３は、推定部１２２で得られた推定情報と、車速センサ４１から入力される車両７の速度情報とに基づいて車載カメラ２１～２４のずれを判定する。すなわち、本実施形態においては、実測情報は、通信バス５０を介して判定部１２３に入力される車両７の速度情報を含む。これによれば、車両７の実際の移動量を簡単且つ正確に取得することができる。 In the present embodiment, the determination unit 123 determines the deviation of the vehicle-mounted cameras 21 to 24 based on the estimation information obtained by the estimation unit 122 and the speed information of the vehicle 7 input from the vehicle speed sensor 41. That is, in the present embodiment, the measured information includes the speed information of the vehicle 7 input to the determination unit 123 via the communication bus 50. According to this, the actual movement amount of the vehicle 7 can be easily and accurately obtained.

なお、車両７の移動に関わる実測情報は、車速センサ４１から取得される車両７の速度情報に限定されない。例えば、車両７の移動に関わる実測情報は、ＧＰＳ（Global Positioning System）受信機から取得される車両７の移動距離情報（移動量情報）であってもよい。また、車両７の移動に関わる実測情報は、１つの情報ではなく、複数の情報であってよい。例えば、車両７の移動に関わる実測情報は、車速センサ４１から取得される車両７の速度情報と、舵角センサ４２から取得される車両７におけるステアリングホイールの回転角情報との２つの情報であってもよい。 The actual measurement information related to the movement of the vehicle 7 is not limited to the speed information of the vehicle 7 acquired from the vehicle speed sensor 41. For example, the actually measured information related to the movement of the vehicle 7 may be the movement distance information (movement amount information) of the vehicle 7 acquired from the GPS (Global Positioning System) receiver. Further, the actually measured information related to the movement of the vehicle 7 may be a plurality of information instead of one information. For example, the actual measurement information related to the movement of the vehicle 7 is two pieces of information, that is, the speed information of the vehicle 7 acquired from the vehicle speed sensor 41 and the rotation angle information of the steering wheel in the vehicle 7 acquired from the steering angle sensor 42. You may.

本実施形態の構成によれば、カメラずれ検出装置１は、車載カメラ２１～２４の撮影画像と、車速センサ４１等の車両７が既に備えるセンサを用いてカメラずれを検出することができるために、カメラずれを検出するための構成に要するコストを抑制することができる。また、本実施形態の構成では、撮影画像の大部分が路面であると想定することで、路面の特徴点のオプティカルフローを利用した統計処理によって、カメラずれを検出することができる。 According to the configuration of the present embodiment, the camera deviation detection device 1 can detect the camera deviation by using the captured images of the in-vehicle cameras 21 to 24 and the sensors already provided in the vehicle 7 such as the vehicle speed sensor 41. , The cost required for the configuration for detecting the camera deviation can be suppressed. Further, in the configuration of the present embodiment, by assuming that most of the captured images are the road surface, it is possible to detect the camera deviation by statistical processing using the optical flow of the feature points of the road surface.

図３は、カメラずれ検出装置１によるカメラずれの検出フローの一例を示すフローチャートである。なお、本実施形態では、４つの車載カメラ２１～２４のそれぞれについて、図３に示すカメラずれの検出フローが実施される。重複説明を避けるために、ここでは、フロントカメラ２１の場合を代表例として、カメラずれの検出フローを説明する。 FIG. 3 is a flowchart showing an example of a camera deviation detection flow by the camera deviation detection device 1. In this embodiment, the camera deviation detection flow shown in FIG. 3 is carried out for each of the four in-vehicle cameras 21 to 24. In order to avoid duplicate explanations, here, the case of the front camera 21 is taken as a typical example, and the camera deviation detection flow will be described.

図３に示すように、まず、制御部１２は、フロントカメラ２１を搭載する車両７が直進しているか否かを確認する（ステップＳ１）。車両７が直進しているか否かは、例えば、舵角センサ４２から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロの時に車両７が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけなく、回転角がプラス方向とマイナス方向の一定範囲内の回転である場合を含めて、車両７が直進していると判断してよい。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。 As shown in FIG. 3, first, the control unit 12 confirms whether or not the vehicle 7 equipped with the front camera 21 is traveling straight (step S1). Whether or not the vehicle 7 is traveling straight can be determined based on, for example, the rotation angle information of the steering wheel obtained from the steering angle sensor 42. For example, when the rotation angle of the steering wheel is zero and the vehicle 7 advances completely straight, not only when the rotation angle is zero but also when the rotation angle is within a certain range of the plus direction and the minus direction. It may be determined that the vehicle 7 is traveling straight, including the above. It should be noted that the straight-ahead includes both a straight-ahead in the forward direction and a straight-ahead in the backward direction.

制御部１２は、車両７が直進していると判断されるまで、ステップＳ１の確認を繰り返す。車両７が直進走行しない限り、カメラずれを判定するための情報が取得されない。換言すると、判定部１２３による車載カメラ（フロントカメラ）２１のずれ判定は、車載カメラ以外の外部センサ（ここでは舵角センサ４２）によって車両７が直進していると判断される場合に取得された情報を用いて行われる。これによれば、車両７の進行方向が曲がっている場合の情報を用いてカメラずれの判定が行われないために、カメラずれを判定するための情報処理が複雑になることを避けられる。 The control unit 12 repeats the confirmation in step S1 until it is determined that the vehicle 7 is traveling straight. Unless the vehicle 7 travels straight, the information for determining the camera deviation is not acquired. In other words, the deviation determination of the vehicle-mounted camera (front camera) 21 by the determination unit 123 was acquired when the vehicle 7 was determined to be traveling straight by an external sensor (here, the steering angle sensor 42) other than the vehicle-mounted camera. It is done with information. According to this, since the camera deviation is not determined by using the information when the traveling direction of the vehicle 7 is bent, it is possible to avoid complicated information processing for determining the camera deviation.

車両７が直進していると判断される場合（ステップＳ１でＹｅｓ）、制御部１２は、車両７の速度が所定速度範囲内であるか否かを確認する（ステップＳ２）。所定速度範囲は、例えば時速３ｋｍ以上時速５ｋｍ以下である。本実施形態では、車両７の速度は、車載カメラ２１～２４以外の外部センサである車速センサ４１によって取得することができる。なお、ステップＳ１とステップＳ２とは、順番が入れ替わってもよい。また、ステップＳ１とステップＳ２とは同時に処理が行われてもよい。 When it is determined that the vehicle 7 is traveling straight (Yes in step S1), the control unit 12 confirms whether or not the speed of the vehicle 7 is within the predetermined speed range (step S2). The predetermined speed range is, for example, 3 km / h or more and 5 km / h or less. In the present embodiment, the speed of the vehicle 7 can be acquired by the vehicle speed sensor 41 which is an external sensor other than the vehicle-mounted cameras 21 to 24. The order of step S1 and step S2 may be interchanged. Further, the processes may be performed at the same time in steps S1 and S2.

制御部１２は、車両７の速度が所定速度範囲外である場合（ステップＳ２でＮｏ）、ステップＳ１に戻って車両７の直進判断を行う。車両７の速度が所定速度範囲内でない限り、カメラずれを判定するための情報が取得されない。換言すると、判定部１２３による車載カメラ（フロントカメラ）２１のずれ判定は、車載カメラ２１～２４以外の外部センサ（ここでは車速センサ４１）によって車両７が所定速度範囲内で走行していると判断される場合に取得された情報を用いて行われる。例えば、車両７の速度が速すぎると、オプティカルフローの導出が不確かになり易くなる。一方で、車両７の速度が遅すぎると、車速センサ４１から取得される車両７の速度の信頼性が低下する。この点、本実施形態の構成によれば、車両７の速度が速すぎる場合や遅すぎる場合を除いてカメラずれの判定を行うことができるために、カメラずれの判定の信頼性を向上することができる。 When the speed of the vehicle 7 is out of the predetermined speed range (No in step S2), the control unit 12 returns to step S1 and determines whether the vehicle 7 is going straight. Unless the speed of the vehicle 7 is within the predetermined speed range, the information for determining the camera deviation is not acquired. In other words, the deviation determination of the vehicle-mounted camera (front camera) 21 by the determination unit 123 determines that the vehicle 7 is traveling within a predetermined speed range by an external sensor (here, the vehicle speed sensor 41) other than the vehicle-mounted cameras 21 to 24. It is done using the information acquired when it is done. For example, if the speed of the vehicle 7 is too high, the derivation of the optical flow tends to be uncertain. On the other hand, if the speed of the vehicle 7 is too slow, the reliability of the speed of the vehicle 7 acquired from the vehicle speed sensor 41 is lowered. In this regard, according to the configuration of the present embodiment, the camera deviation can be determined except when the speed of the vehicle 7 is too fast or too slow, so that the reliability of the camera deviation determination can be improved. Can be done.

なお、所定速度範囲は設定変更可能であることが好ましい。これによれば、所定速度範囲を各車両に適した値にすることができ、カメラずれの判定の信頼性を向上することができる。本実施形態では、所定速度範囲の設定は入力部３によって行うことができる。 It is preferable that the predetermined speed range can be set and changed. According to this, the predetermined speed range can be set to a value suitable for each vehicle, and the reliability of the camera deviation determination can be improved. In the present embodiment, the predetermined speed range can be set by the input unit 3.

車両７が所定速度範囲内で走行していると判断される場合（ステップＳ２でＹｅｓ）、導出部１２１によって特徴点の抽出が行われる（ステップＳ３）。換言すると、車両７が所定の低速で直進走行している場合に、導出部１２１によって特徴点の抽出が行われる。導出部１２１による特徴点の抽出は、例えば、停止している車両７が動き出す場合や、走行している車両７が止まる場合等に行われる。 When it is determined that the vehicle 7 is traveling within the predetermined speed range (Yes in step S2), the extraction unit 121 extracts the feature points (step S3). In other words, when the vehicle 7 is traveling straight at a predetermined low speed, the extraction unit 121 extracts the feature points. The extraction of the feature points by the derivation unit 121 is performed, for example, when the stopped vehicle 7 starts to move, or when the running vehicle 7 stops.

図４は、特徴点ＦＰを抽出する手法を説明するための図である。図４は、フロントカメラ２１で撮影される撮影画像Ｐを模式的に示している。特徴点ＦＰは路面ＲＳ上に存在する。図４においては、特徴点ＦＰの数は２つとされているが、この数は便宜的なものであり、実際の数を示すものではない。通常、多数の特徴点が取得される。図４に示すように、導出部１２１は特徴点ＦＰを所定領域ＲＥ内で抽出する。所定領域ＲＥは、撮影画像Ｐの中心部Ｃを含む広範囲に設定される。これにより、特徴点ＦＰの発生箇所が均一でなく偏った範囲である場合でも、特徴点ＦＰを抽出することができる。なお、所定領域ＲＥは、車両７のボディＢＯが映る領域は避けて設定される。 FIG. 4 is a diagram for explaining a method for extracting feature point FP. FIG. 4 schematically shows a captured image P captured by the front camera 21. The feature point FP exists on the road surface RS. In FIG. 4, the number of feature point FPs is two, but this number is for convenience and does not indicate the actual number. Usually, a large number of feature points are acquired. As shown in FIG. 4, the derivation unit 121 extracts the feature point FP in the predetermined region RE. The predetermined area RE is set in a wide range including the central portion C of the captured image P. As a result, the feature point FP can be extracted even when the location where the feature point FP is generated is not uniform and is in a biased range. The predetermined area RE is set while avoiding the area where the body BO of the vehicle 7 is reflected.

特徴点ＦＰが抽出されると、導出部１２１は、抽出した特徴点ＦＰごとにオプティカルフローを導出する（ステップＳ４）。図５は、オプティカルフローＯＦを導出する手法を説明するための図である。図５は、図４と同様に便宜的に示された模式図である。図５は、図４に示す撮影画像（前フレームＰ）の撮影後、所定時間が経過した後にフロントカメラ２１で撮影された撮影画像（現フレームＰ´）である。図４に示す撮影画像Ｐの撮影後、所定時間が経過するまでの間に、車両７は後退している。図５に示す破線の丸印は、図４に示す撮影画像Ｐの撮影時点における特徴点ＦＰの位置を示す。 When the feature point FP is extracted, the derivation unit 121 derives an optical flow for each extracted feature point FP (step S4). FIG. 5 is a diagram for explaining a method for deriving an optical flow OF. FIG. 5 is a schematic diagram shown for convenience as in FIG. 4. FIG. 5 is a photographed image (current frame P') photographed by the front camera 21 after a predetermined time has elapsed after the photographed image (previous frame P) shown in FIG. 4 is photographed. The vehicle 7 is retreating after a predetermined time elapses after the photographed image P shown in FIG. 4 is photographed. The broken line circles shown in FIG. 5 indicate the positions of the feature points FP at the time of shooting the captured image P shown in FIG.

図５に示すように、車両７が後退すると、車両７の前方に存在する特徴点ＦＰは車両７から離れる。すなわち、特徴点ＦＰは、現フレームＰ´と前フレームＰとで異なる位置に現れる。導出部１１は、現フレームＰ´の特徴点ＦＰと前フレームＰの特徴点ＦＰとを、その近傍の画素値に基づいて対応付け、対応付けた特徴点ＦＰのそれぞれの位置に基づいてオプティカルフローＯＦを導出する。 As shown in FIG. 5, when the vehicle 7 moves backward, the feature point FP existing in front of the vehicle 7 moves away from the vehicle 7. That is, the feature point FP appears at different positions in the current frame P'and the previous frame P. The derivation unit 11 associates the feature point FP of the current frame P'and the feature point FP of the previous frame P based on the pixel values in the vicinity thereof, and the optical flow is based on the respective positions of the associated feature point FP. Derive the OF.

オプティカルフローＯＦが導出されると、推定部１２２は、カメラ座標系で得られた各オプティカルフローＯＦを、ワールド座標系のオプティカルフローに変換する（ステップＳ５）。図６は、座標変換処理を説明するための図である。図６に示すように、推定部１２２は、フロントカメラ２１の位置（視点ＶＰ１）から見たオプティカルフローＯＦを、車両７が存在する路面の上方の視点ＶＰ２から見たオプティカルフローＯＦ_Ｃに変換する。推定部１２２は、撮影画像Ｐにおける各オプティカルフローＯＦを、路面に相当する仮想平面ＲＳ_Ｖに投影することで、ワールド座標系のオプティカルフローＯＦ_Ｃに変換する。 When the optical flow OF is derived, the estimation unit 122 converts each optical flow OF obtained in the camera coordinate system into an optical flow in the world coordinate system (step S5). FIG. 6 is a diagram for explaining the coordinate conversion process. As shown in FIG. 6, the estimation unit 122 converts the optical flow OF seen from the position of the front camera 21 (viewpoint VP1) into the optical flow OF_C seen from the viewpoint VP2 above the road surface where the vehicle 7 is present. The estimation unit 122 converts each optical flow OF in the captured image P into an optical flow OF_C in the world coordinate system by projecting it onto the virtual plane RS_V corresponding to the road surface.

次に、推定部１２２は、ワールド座標系の各オプティカルフローＯＦ_Ｃに基づいてヒストグラムを生成する（ステップＳ６）。本実施形態では、推定部１２２は、各オプティカルフローＯＦ_Ｃを前後方向と左右方向との２成分に分けて、第１ヒストグラムと第２ヒストグラムとを生成する。図７は、推定部１２２によって生成される第１ヒストグラムＨＧ１の一例を示す図である。図８は、推定部１２２によって生成される第２ヒストグラムＨＧ２の一例を示す図である。なお、図７および図８はカメラずれが発生していない場合に得られるヒストグラムを示す。 Next, the estimation unit 122 generates a histogram based on each optical flow OF_C in the world coordinate system (step S6). In the present embodiment, the estimation unit 122 divides each optical flow OF_C into two components, a front-back direction and a left-right direction, and generates a first histogram and a second histogram. FIG. 7 is a diagram showing an example of the first histogram HG1 generated by the estimation unit 122. FIG. 8 is a diagram showing an example of the second histogram HG2 generated by the estimation unit 122. Note that FIGS. 7 and 8 show histograms obtained when the camera is not displaced.

図７に示す第１ヒストグラムＨＧ１は、各オプティカルフローＯＦ_Ｃの前後方向成分に基づいて得られたヒストグラムである。第１ヒストグラムＨＧ１は、オプティカルフローＯＦ_Ｃの数を度数とし、前後方向への移動量（オプティカルフローＯＦ_Ｃの前後方向成分の長さ）を階級とするヒストグラムである。図８に示す第２ヒストグラムＨＧ２は、オプティカルフローＯＦ_Ｃの左右方向成分に基づいて得られたヒストグラムである。第２ヒストグラムＨＧ２は、オプティカルフローＯＦ_Ｃの数を度数とし、左右方向への移動量（オプティカルフローＯＦ_Ｃの左右方向成分の長さ）を階級とするヒストグラムである。 The first histogram HG1 shown in FIG. 7 is a histogram obtained based on the anteroposterior component of each optical flow OF_C. The first histogram HG1 is a histogram in which the number of optical flow OF_C is a frequency and the amount of movement in the anteroposterior direction (the length of the anteroposterior component of the optical flow OF_C) is a class. The second histogram HG2 shown in FIG. 8 is a histogram obtained based on the left-right component of the optical flow OF_C. The second histogram HG2 is a histogram in which the number of optical flow OF_C is a frequency and the amount of movement in the left-right direction (the length of the left-right component of the optical flow OF_C) is a class.

図７および図８は、カメラずれが発生しておらず、車両７が後方に直進した場合に得られるヒストグラムである。このために、第１ヒストグラムＨＧ１は、後退側の特定の移動距離（階級）に偏って度数が多くなっている。一方、第２ヒストグラムＨＧ２は、移動量ゼロの近傍の階級に偏って度数が多くなっている。 7 and 8 are histograms obtained when the vehicle 7 goes straight backward without camera deviation. For this reason, the first histogram HG1 has a large frequency biased toward a specific moving distance (class) on the receding side. On the other hand, the second histogram HG2 has a large frequency biased toward a class in the vicinity of zero movement amount.

図９は、カメラずれが発生した場合のヒストグラムの変化を例示する図である。図９は、フロントカメラ２１がチルト方向（鉛直方向）に回転してずれた場合を例示する。図９において、上段（ａ）はカメラずれが発生していない場合（正常時）の第１ヒストグラムＨＧ１であり、下段（ｂ）はカメラずれが発生した場合の第１ヒストグラムＨＧ１である。フロントカメラ２１のチルト方向の回転ずれは、主にオプティカルフローＯＦ_Ｃの前後方向成分に影響を与える。図９に示す例では、フロントカメラ２１のチルト方向の回転ずれによって、度数が大きくなる階級が正常時に比べて前方側にずれている。 FIG. 9 is a diagram illustrating a change in the histogram when a camera shift occurs. FIG. 9 illustrates a case where the front camera 21 is rotated in the tilt direction (vertical direction) and is displaced. In FIG. 9, the upper row (a) is the first histogram HG1 when the camera shift does not occur (normal time), and the lower row (b) is the first histogram HG1 when the camera shift occurs. The rotation deviation of the front camera 21 in the tilt direction mainly affects the front-back direction component of the optical flow OF_C. In the example shown in FIG. 9, due to the rotational deviation of the front camera 21 in the tilt direction, the class in which the frequency increases is shifted to the front side as compared with the normal state.

なお、フロントカメラ２１のチルト方向の回転ずれは、オプティカルフローＯＦ_Ｃの左右方向成分に対する影響は小さい。このために、図示は省略するが、第２ヒストグラムＨＧ２のカメラずれ前後の変化は、第１ヒストグラムＨＧ１の場合に比べて小さい。ただし、これは、フロントカメラ２１がチルト方向にずれた場合の話であり、フロントカメラ２１が、例えばパン方向（水平方向）やロール方向（光軸を中心とする回転方向）等にずれを生じた場合には、異なったヒストグラム変化が発生する。 The rotation deviation of the front camera 21 in the tilt direction has a small effect on the left-right component of the optical flow OF_C. For this reason, although not shown, the change in the second histogram HG2 before and after the camera shift is smaller than that in the case of the first histogram HG1. However, this is a story when the front camera 21 is displaced in the tilt direction, and the front camera 21 is displaced in, for example, the pan direction (horizontal direction) or the roll direction (rotational direction about the optical axis). If so, different histogram changes occur.

推定部１２２は、生成したヒストグラムＨＧ１、ＨＧ２によって車両７の移動量を推定する（ステップＳ７）。本実施形態では、推定部１２２は、第１ヒストグラムＨＧ１によって、車両７の前後方向の移動量を推定する。推定部１２２は、第２ヒストグラムＨＧ２によって、車両７の左右方向の移動量を推定する。すなわち、推定部１２２で得られた推定情報には、車両７の前後方向および左右方向の移動量の推定値が含まれる。これによれば、車両７の前後方向および左右方向の移動量の推定値を用いてカメラずれの検出を行うことができるために、カメラずれの検出結果の信頼性を向上することができる。なお、本実施形態では、特定の条件下で抽出される特徴点が路面ＲＳ上に存在するとの前提の下に車両７の移動量を推定する。 The estimation unit 122 estimates the movement amount of the vehicle 7 from the generated histograms HG1 and HG2 (step S7). In the present embodiment, the estimation unit 122 estimates the amount of movement of the vehicle 7 in the front-rear direction by the first histogram HG1. The estimation unit 122 estimates the amount of movement of the vehicle 7 in the left-right direction by the second histogram HG2. That is, the estimation information obtained by the estimation unit 122 includes an estimated value of the amount of movement of the vehicle 7 in the front-rear direction and the left-right direction. According to this, since the camera deviation can be detected by using the estimated value of the movement amount in the front-rear direction and the left-right direction of the vehicle 7, the reliability of the detection result of the camera deviation can be improved. In this embodiment, the movement amount of the vehicle 7 is estimated on the premise that the feature points extracted under specific conditions exist on the road surface RS.

本実施形態では、推定部１２２は、第１ヒストグラムＨＧ１の中央値（メジアン）を前後方向の移動量の推定値とする。推定部１２２は、第２ヒストグラムＨＧ２の中央値を左右方向の移動量の推定値とする。ただし、推定部１２２による推定値の決定方法は、これに限定されない。推定部１２２は、例えば、各ヒストグラムＨＧ１、ＨＧ２の度数が最大となる階級を移動量の推定値としてもよい。また、推定部１２２は、例えば、各ヒストグラムＨＧ１、ＨＧ２において、平均値を移動量の推定値としてもよい。 In the present embodiment, the estimation unit 122 uses the median value of the first histogram HG1 as the estimated value of the amount of movement in the front-back direction. The estimation unit 122 uses the median value of the second histogram HG2 as the estimated value of the movement amount in the left-right direction. However, the method of determining the estimated value by the estimation unit 122 is not limited to this. For example, the estimation unit 122 may use the class in which the frequencies of the histograms HG1 and HG2 are maximized as the estimated value of the movement amount. Further, the estimation unit 122 may use the average value as the estimated value of the movement amount in each of the histograms HG1 and HG2, for example.

なお、図９に示す例では、一点鎖線はフロントカメラ２１が正常である場合の前後方向の移動量の推定値を示し、二点鎖線はカメラずれが発生した場合の前後方向の移動量の推定値を示す。図９に示すように、カメラずれの発生によって、前後方向の移動量の推定値に差Δが生じていることがわかる。 In the example shown in FIG. 9, the alternate long and short dash line indicates the estimated value of the movement amount in the front-rear direction when the front camera 21 is normal, and the two-dot chain line indicates the estimation of the movement amount in the front-rear direction when the camera shift occurs. Indicates a value. As shown in FIG. 9, it can be seen that a difference Δ occurs in the estimated value of the amount of movement in the front-back direction due to the occurrence of camera misalignment.

推定部１２２で車両７の移動量の推定値が得られると、判定部１２３はフロントカメラ２１のずれ判定を行う（ステップＳ８）。判定部１２３は、車両７の前後方向の移動量と、車両７の左右方向の移動量と、車両７の前後方向および左右方向の移動量に基づいて得られる特定量とのうち少なくともいずれか１つについて、推定部１２２で得られた推定値と、車載カメラ２１～２４以外の外部センサから入力される車両７の移動に関わる実測情報によって得られる値との差が所定の閾値以上になった場合に、車載カメラ（フロントカメラ）２１のずれが発生していると判定する。これによれば、車載カメラから得られる車両７の移動量の推定値と、外部センサを用いた実測情報から得られる車両７の移動量とを比較して、車載カメラのずれを適切に検出することができる。 When the estimation unit 122 obtains an estimated value of the movement amount of the vehicle 7, the determination unit 123 determines the deviation of the front camera 21 (step S8). The determination unit 123 is at least one of a specific amount obtained based on the amount of movement of the vehicle 7 in the front-rear direction, the amount of movement of the vehicle 7 in the left-right direction, and the amount of movement of the vehicle 7 in the front-rear direction and the left-right direction. The difference between the estimated value obtained by the estimation unit 122 and the value obtained by the measured information related to the movement of the vehicle 7 input from the external sensors other than the in-vehicle cameras 21 to 24 becomes equal to or more than a predetermined threshold value. In this case, it is determined that the in-vehicle camera (front camera) 21 is displaced. According to this, the estimated value of the movement amount of the vehicle 7 obtained from the in-vehicle camera is compared with the movement amount of the vehicle 7 obtained from the actual measurement information using the external sensor, and the deviation of the in-vehicle camera is appropriately detected. be able to.

本実施形態では、車載カメラ２１～２４以外の外部センサから入力される車両７の移動に関わる実測情報は、車速センサ４１から入力される車両７の速度情報である。この速度情報から推定値と比較する車両７の移動量が算出される。詳細には、当該移動量は、オプティカルフローＯＦを導出するための２つの撮影画像の撮影時間間隔と、その間の車速センサ４１によって得られる車両７の速度とによって算出される。また、当該移動量は、推定部１２２で得られる移動量の推定値が前後方向と左右方向との２つであることに対応して、前後方向と左右方向との２つの値が存在する。ただし、本実施形態では、車両７が前後方向に直進している場合にオプティカルフローＯＦを導出するための撮影画像を撮影する構成であるために、この間に車両７は左右方向に移動しておらず、速度情報から算出される左右方向の移動量は常にゼロになる。 In the present embodiment, the actual measurement information related to the movement of the vehicle 7 input from the external sensors other than the vehicle-mounted cameras 21 to 24 is the speed information of the vehicle 7 input from the vehicle speed sensor 41. From this speed information, the amount of movement of the vehicle 7 to be compared with the estimated value is calculated. Specifically, the movement amount is calculated by the shooting time interval of the two shot images for deriving the optical flow OF and the speed of the vehicle 7 obtained by the vehicle speed sensor 41 between them. Further, the movement amount has two values, that is, the front-back direction and the left-right direction, corresponding to the two estimated values of the movement amount obtained by the estimation unit 122, that is, the front-back direction and the left-right direction. However, in the present embodiment, when the vehicle 7 is traveling straight in the front-rear direction, the photographed image for deriving the optical flow OF is taken, so that the vehicle 7 is moved in the left-right direction during this period. However, the amount of movement in the left-right direction calculated from the speed information is always zero.

図１０は、判定部１２３によって行われるカメラずれ判定処理の一例を示すフローチャートである。まず、判定部１２３は、前後方向の移動量について、推定部１２２で推定された推定値と、車速センサ４１から得られる車両７の速度情報によって求められる値との差の大きさが第１閾値より小さいか否かを確認する（ステップＳ１１）。両者の差の大きさが第１閾値以上である場合（ステップＳ１１でＮｏ）、判定部１２３は、フロントカメラ２１の取付け状態が異常であり、カメラずれが生じていると判定する（ステップＳ１５）。一方、両者の差の大きさが第１閾値より小さい場合（ステップＳ１１でＹｅｓ）、判定部１２３は、前後方向の移動量からは異常が検出されないと判定する。 FIG. 10 is a flowchart showing an example of camera deviation determination processing performed by the determination unit 123. First, the determination unit 123 has a first threshold value of the size of the difference between the estimated value estimated by the estimation unit 122 and the value obtained from the speed information of the vehicle 7 obtained from the vehicle speed sensor 41 for the amount of movement in the front-rear direction. It is confirmed whether or not it is smaller (step S11). When the magnitude of the difference between the two is equal to or greater than the first threshold value (No in step S11), the determination unit 123 determines that the mounting state of the front camera 21 is abnormal and the camera is displaced (step S15). .. On the other hand, when the magnitude of the difference between the two is smaller than the first threshold value (Yes in step S11), the determination unit 123 determines that no abnormality is detected from the amount of movement in the front-back direction.

前後方向の移動量から異常が検出されない場合、判定部１２３は、左右方向の移動量について、推定部１２２で推定された推定値と、車速センサ４１から得られる車両７の速度情報によって求められる値との差の大きさが第２閾値より小さいか否かを確認する（ステップＳ１２）。両者の差の大きさが第２閾値以上である場合（ステップＳ１２でＮｏ）、判定部１２３は、フロントカメラ２１の取付け状態が異常であり、カメラずれが生じていると判定する（ステップＳ１５）。一方、両者の差の大きさが第２閾値より小さい場合（ステップＳ１２でＹｅｓ）、判定部１２３は、左右方向の移動量からは異常が検出されないと判定する。 When no abnormality is detected from the movement amount in the front-rear direction, the determination unit 123 determines the movement amount in the left-right direction based on the estimated value estimated by the estimation unit 122 and the speed information of the vehicle 7 obtained from the vehicle speed sensor 41. It is confirmed whether or not the magnitude of the difference from the above is smaller than the second threshold value (step S12). When the magnitude of the difference between the two is equal to or greater than the second threshold value (No in step S12), the determination unit 123 determines that the mounting state of the front camera 21 is abnormal and the camera is displaced (step S15). .. On the other hand, when the magnitude of the difference between the two is smaller than the second threshold value (Yes in step S12), the determination unit 123 determines that no abnormality is detected from the movement amount in the left-right direction.

左右方向の移動量からも異常が検出されない場合、判定部１２３は、前後方向および左右方向の移動量に基づいて得られる特定量について、推定部１２２で推定された推定値と、車速センサ４１から得られる車両７の速度情報によって求められる値との差の大きさが第３閾値より小さいか否かを確認する（ステップＳ１３）。本実施形態では、特定量は、前後方向の移動量を二乗して得られる値と、左右方向の移動量を二乗して得られる値との和の平方根値である。ただし、これは例示にすぎず、特定量は、例えば、前後方向の移動量を二乗して得られる値と、左右方向の移動量を二乗して得られる値との和であってもよい。 When no abnormality is detected from the movement amount in the left-right direction, the determination unit 123 determines the specific amount obtained based on the movement amount in the front-rear direction and the left-right direction from the estimated value estimated by the estimation unit 122 and the vehicle speed sensor 41. It is confirmed whether or not the magnitude of the difference from the value obtained from the obtained speed information of the vehicle 7 is smaller than the third threshold value (step S13). In the present embodiment, the specific amount is the square root value of the sum of the value obtained by squared the amount of movement in the front-back direction and the value obtained by squared the amount of movement in the left-right direction. However, this is only an example, and the specific quantity may be, for example, the sum of a value obtained by squared the amount of movement in the front-back direction and a value obtained by squared the amount of movement in the left-right direction.

特定量の推定値と、速度情報によって求められる値との差の大きさが第３閾値以上である場合（ステップＳ１３でＮｏ）、判定部１２３は、フロントカメラ２１の取付け状態が異常であり、カメラずれが生じていると判定する（ステップＳ１５）。一方、両者の差の大きさが第３閾値より小さい場合（ステップＳ１３でＹｅｓ）、判定部１２３は、フロントカメラ２１の取付け状態は正常であると判定する（ステップＳ１４）。 When the magnitude of the difference between the estimated value of the specific quantity and the value obtained from the speed information is equal to or greater than the third threshold value (No in step S13), the determination unit 123 has an abnormal mounting state of the front camera 21. It is determined that the camera is misaligned (step S15). On the other hand, when the magnitude of the difference between the two is smaller than the third threshold value (Yes in step S13), the determination unit 123 determines that the mounting state of the front camera 21 is normal (step S14).

本実施形態では、前後方向の移動量、左右方向の移動量、および、特定量のうち、いずれか１つでも、推定部１２２で得られる推定値と、速度情報によって得られる値との比較により異常が認められると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動量、左右方向の移動量、および、特定量の全てにおいて、推定部１２２で得られる推定値と、速度情報から得られる値との比較により異常が認められる場合に限って、カメラずれが発生していると判定する構成としてもよい。カメラずれの判定基準は、入力部３によって適宜変更することができることが好ましい。 In the present embodiment, the estimated value obtained by the estimation unit 122 and the value obtained by the speed information are compared with each other of the amount of movement in the front-rear direction, the amount of movement in the left-right direction, and the specific amount. If any abnormality is found, it is determined that the camera is misaligned. According to this, it is possible to reduce the possibility of determining that the camera deviation has not occurred even though the camera deviation has occurred. However, this is an example. For example, in all of the amount of movement in the front-rear direction, the amount of movement in the left-right direction, and the specific amount, only when an abnormality is found by comparing the estimated value obtained by the estimation unit 122 with the value obtained from the speed information. , The configuration may be such that it is determined that the camera shift has occurred. It is preferable that the criterion for determining the camera deviation can be appropriately changed by the input unit 3.

本実施形態では、前後方向の移動量、左右方向の移動量、および、特定量について、推定値と速度情報から得られる値との比較を順番に行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動量、左右方向の移動量、および、特定量について、推定値と速度情報から得られる値との比較を順番に行う構成の場合、その順番は特に限定されず、図１０に示す順番とは異なる順番とされてもよい。なお、本実施形態では、移動量に基づいてカメラずれを判定したが、速度に基づいてカメラずれを判定してもよい。この場合、オプティカルフローから推定した移動量と、オプティカルフローの算出に使用したフレーム間の時間を基に前後方向および左右方向の速度を推定し、車速センサ４１から得られる車両７の速度と比較することでカメラずれを判定すればよい。この場合の車速センサ４１から得られる車両７の速度は前後方向の速度であり、左右方向の速度は０である。すなわち、本実施形態では、移動量と速度は同義である。 In the present embodiment, the estimated value and the value obtained from the speed information are compared in order for the amount of movement in the front-back direction, the amount of movement in the left-right direction, and the specific amount, but these comparisons are performed at the same timing. May be done at. Further, in the case of a configuration in which the estimated value and the value obtained from the speed information are compared in order for the movement amount in the front-rear direction, the movement amount in the left-right direction, and the specific amount, the order is not particularly limited, and FIG. The order may be different from the order shown in. In the present embodiment, the camera deviation is determined based on the amount of movement, but the camera deviation may be determined based on the speed. In this case, the speeds in the front-rear direction and the left-right direction are estimated based on the movement amount estimated from the optical flow and the time between frames used for calculating the optical flow, and compared with the speed of the vehicle 7 obtained from the vehicle speed sensor 41. Therefore, the camera deviation may be determined. In this case, the speed of the vehicle 7 obtained from the vehicle speed sensor 41 is the speed in the front-rear direction, and the speed in the left-right direction is 0. That is, in this embodiment, the amount of movement and the speed are synonymous.

なお、カメラずれが検出された場合、カメラずれ検出装置１は、そのことを運転者等に報知するための処理を行うことが好ましい。また、カメラずれ検出装置１は、車載カメラ２１～２４からの情報を用いて運転支援を行う運転支援装置に、カメラずれが発生していることを通知する処理を行うことが好ましい。本実施形態では、４つの車載カメラ２１～２４が存在するが、４つの車載カメラ２１～２４のうちの１つでもカメラずれが発生した場合には、上記報知処理及び通知処理を行うことが好ましい。 When the camera deviation is detected, it is preferable that the camera deviation detection device 1 performs a process for notifying the driver or the like of the detection. Further, it is preferable that the camera misalignment detection device 1 performs a process of notifying the driving support device that provides driving support by using the information from the in-vehicle cameras 21 to 24 that the camera misalignment has occurred. In the present embodiment, there are four vehicle-mounted cameras 21 to 24, but if any one of the four vehicle-mounted cameras 21 to 24 is displaced, it is preferable to perform the above notification processing and notification processing. ..

＜３．変形例等＞
＜３－１．第１変形例＞
以上においては、判定部１２３によって、カメラずれが生じていると一度判定されただけで、カメラずれが発生しているとの判定を確定し、カメラずれを検出する構成としている。これに限らず、判定部１２３によってカメラずれが生じていると判定された場合に、少なくとも１回、再判定を行い、再判定によって更にカメラずれが生じていると判定された場合に、カメラずれが発生しているとの判定を確定してもよい。再判定は、単純に、図３に示すステップＳ１～Ｓ８を少なくとも１回繰り返す構成であってよいが、別の構成であってもよい。 <3. Modification example>
<3-1. First modification>
In the above, the determination unit 123 determines that the camera deviation has occurred only once it is determined that the camera deviation has occurred, and the camera deviation is detected. Not limited to this, when the determination unit 123 determines that the camera shift has occurred, the re-judgment is performed at least once, and when the re-judgment determines that the camera shift further occurs, the camera shift occurs. You may confirm the determination that is occurring. The re-determination may be simply a configuration in which steps S1 to S8 shown in FIG. 3 are repeated at least once, but may be another configuration.

図１１は、カメラずれの再判定処理の一例について説明するための図である。図１１においては特徴点の記載は省略されている。図１１に示すように、判定部１２３は、画像の中心部Ｃを含む第１領域ＲＥ１内の特徴点のオプティカルフローを用いて推定された推定情報に基づいて車載カメラがずれていると判定した場合に、画像の中心部Ｃを含まない第２領域ＲＥ２内の特徴点のオプティカルフローを用いて求められた推定情報によって車載カメラのずれを再判定してよい。再判定で用いる画像は、先のカメラずれの判定に用いた画像と同じであってよいが、場合によっては、先のカメラずれの判定に用いた画像の撮影後に再度撮影された画像であってもよい。 FIG. 11 is a diagram for explaining an example of the camera misalignment re-determination process. In FIG. 11, the description of the feature points is omitted. As shown in FIG. 11, the determination unit 123 determines that the vehicle-mounted camera is displaced based on the estimation information estimated using the optical flow of the feature points in the first region RE1 including the center portion C of the image. In this case, the deviation of the vehicle-mounted camera may be re-determined by the estimation information obtained by using the optical flow of the feature points in the second region RE2 not including the central portion C of the image. The image used in the re-judgment may be the same as the image used for the previous camera misalignment determination, but in some cases, it may be an image taken again after the image used for the previous camera misalignment determination was taken. May be good.

第２領域ＲＥ２は、１つでもよいが複数であってもよい。図１１に示す例では、第２領域ＲＥ２は２つであるが３つ以上であってもよい。第２領域ＲＥ２が複数である場合、各第２領域ＲＥ２において、導出部１２１によるオプティカルフローＯＦの導出、推定部１２２による移動量の推定情報の取得、および、判定部１２３によるカメラずれの判定が行われる。第２領域ＲＥ２は、第１領域ＲＥ１に比べて小さい領域であることが好ましい。 The second region RE2 may be one or a plurality. In the example shown in FIG. 11, the second region RE2 is two, but may be three or more. When there are a plurality of second regions RE2, in each second region RE2, the derivation unit 121 derives the optical flow OF, the estimation unit 122 acquires the estimation information of the movement amount, and the determination unit 123 determines the camera deviation. Will be done. The second region RE2 is preferably a smaller region than the first region RE1.

車載カメラ２１～２４のカメラずれが生じた場合、画像の中心部Ｃよりも中心部Ｃから離れた領域の方が、推定部１２２によって得られる車両７の移動量と、車速センサ４１等のセンサから得られる実測情報によって得られる車両７の移動量との差が大きくなり易い。このために、画像の中心部Ｃから離れて位置する第２領域ＲＥ２を用いた再判定を行うことによって、カメラずれの検出精度を向上することができる。 When the cameras of the in-vehicle cameras 21 to 24 are displaced, the movement amount of the vehicle 7 obtained by the estimation unit 122 and the sensor such as the vehicle speed sensor 41 are located in the region farther from the center C than the center C of the image. The difference from the movement amount of the vehicle 7 obtained by the actual measurement information obtained from the above tends to be large. Therefore, the accuracy of detecting camera deviation can be improved by performing re-determination using the second region RE2 located away from the center C of the image.

＜３－２．第２変形例＞
図１２は、カメラずれ検出装置１によるカメラずれの検出フローの変形例を示すフローチャートである。図１２に示すステップＳ１からステップＳ７の処理は、上述した図３に示す処理と同様であるために説明は省略する。本変形例では、ステップＳ７によって移動量の推定値を求めた後に、求めた移動量の推定値を先に求めた移動量の累積値に足し合わせる処理が行われる（ステップＳ９）。当該処理は、例えば推定部１２２又は判定部１２３で行われてよい。なお、累積値算出処理は、前後方向の移動量の推定値、および、左右方向の移動量の推定値に対して行われる。また、第１回目の推定値が求められた際には、先に求めた累積値が無いために、累積値算出処理で得られる累積値は、ステップＳ７で取得した推定値そのものになる。 <3-2. Second modification>
FIG. 12 is a flowchart showing a modified example of the camera deviation detection flow by the camera deviation detection device 1. Since the processes of steps S1 to S7 shown in FIG. 12 are the same as the processes shown in FIG. 3 described above, the description thereof will be omitted. In this modification, after the estimated value of the movement amount is obtained in step S7, a process of adding the estimated value of the obtained movement amount to the cumulative value of the previously obtained movement amount is performed (step S9). The process may be performed by, for example, the estimation unit 122 or the determination unit 123. The cumulative value calculation process is performed on the estimated value of the movement amount in the front-back direction and the estimated value of the movement amount in the left-right direction. Further, when the first estimated value is obtained, since there is no previously obtained cumulative value, the cumulative value obtained in the cumulative value calculation process is the estimated value obtained in step S7 itself.

累積値の算出が行われると、車両７の移動量が所定の移動距離に到達したか否かが確認される（ステップＳ１０）。本変形例では、ここで言う車両７の移動量は、オプティカルフローＯＦを導出するための２つの画像の撮影時間間隔に車両７が前後方向に移動する量を積算したものである。車両７の前後方向の移動量は、車速センサ４１によって得られる速度情報から算出される。当該移動量の積算の開始は、推定値の累積処理の開始に合わせて行われる。車両７の前後方向の移動量が所定の移動距離に到達しない場合（ステップＳ１０でＮｏ）、ステップＳ１に戻って、ステップＳ１～ステップＳ７およびステップＳ９が順次行われる。 When the cumulative value is calculated, it is confirmed whether or not the movement amount of the vehicle 7 has reached a predetermined movement distance (step S10). In this modification, the movement amount of the vehicle 7 referred to here is the sum of the amount of movement of the vehicle 7 in the front-rear direction at the shooting time interval of two images for deriving the optical flow OF. The amount of movement of the vehicle 7 in the front-rear direction is calculated from the speed information obtained by the vehicle speed sensor 41. The integration of the movement amount is started at the same time as the start of the cumulative processing of the estimated values. If the amount of movement of the vehicle 7 in the front-rear direction does not reach a predetermined movement distance (No in step S10), the process returns to step S1 and steps S1 to S7 and step S9 are sequentially performed.

一方、車両７の前後方向の移動量が所定の移動距離に到達すると（ステップＳ１０でＹｅｓ）、判定部１２３によってカメラずれの判定が行われる（ステップＳ８Ａ）。判定部１２３は、移動量の推定値として累積値を用いる。本実施形態では、累積値には、前後方向の累積値と、左右方向の累積値とが存在する。比較対象となる値は、オプティカルフローＯＦを導出するための２つの画像の撮影時間間隔に車両７が移動する量を積算したもので、車速センサ４１によって得られる速度情報から算出される。当該値には、前後方向の移動量と、左右方向の移動量とが存在する。ただし、本変形例では、車両７が前後方向に直進している場合にオプティカルフローＯＦを導出するための撮影画像を撮影する構成であるために、この間に車両７は左右方向に移動しておらず、左右方向の移動量（左右方向の累積値と比較する比較値）はゼロである。 On the other hand, when the amount of movement of the vehicle 7 in the front-rear direction reaches a predetermined movement distance (Yes in step S10), the determination unit 123 determines the camera deviation (step S8A). The determination unit 123 uses a cumulative value as an estimated value of the movement amount. In the present embodiment, the cumulative value includes a cumulative value in the front-rear direction and a cumulative value in the left-right direction. The value to be compared is the sum of the amount of movement of the vehicle 7 in the shooting time interval of the two images for deriving the optical flow OF, and is calculated from the speed information obtained by the vehicle speed sensor 41. The value includes a movement amount in the front-back direction and a movement amount in the left-right direction. However, in this modification, when the vehicle 7 is traveling straight in the front-rear direction, the photographed image for deriving the optical flow OF is taken, so that the vehicle 7 is moved in the left-right direction during this period. However, the amount of movement in the left-right direction (comparative value compared with the cumulative value in the left-right direction) is zero.

本変形例では、車両７の移動量が所定距離に到達するまで推定部１２２で得られた推定値を足し合わせて累積値を求める処理が行われ、判定部１２３は、車両７の移動量が所定距離に到達した時点で累積値に基づいて車載カメラのずれを判定する。これによれば、カメラずれが生じている場合に、推定値と、実測情報から得られる値との差が明確に表れるタイミングでずれ判定を行うことができ、ずれ判定の信頼性を向上することができる。 In this modification, processing is performed to obtain a cumulative value by adding the estimated values obtained by the estimation unit 122 until the movement amount of the vehicle 7 reaches a predetermined distance, and the determination unit 123 determines that the movement amount of the vehicle 7 is the amount of movement of the vehicle 7. When the predetermined distance is reached, the deviation of the in-vehicle camera is determined based on the cumulative value. According to this, when the camera is displaced, the deviation can be determined at the timing when the difference between the estimated value and the value obtained from the measured information clearly appears, and the reliability of the deviation determination can be improved. Can be done.

＜３－３．第３変形例＞
以上においては、判定部１２３によって、オプティカルフローから推定した移動量と車速センサ４１等のセンサから得られる実測情報とに基づきカメラのずれを判定した。第３変形例では、判定部１２３によって、各カメラ２１～２４でオプティカルフローから推定した移動量どうしを比較してカメラのずれ、すなわち異常を判定する。第３変形例では、推定部１２２は、移動体に搭載された複数のカメラ２１～２４のそれぞれにおいて撮影された画像に基づき複数のカメラ毎に移動体の移動量を推定する。判定部１２３は、推定部１２２で得られたカメラ毎の移動量情報を比較し異常が発生しているカメラを判定する。例えば、判定部１２３は、各カメラで推定した移動量どうしの差が全て誤差範囲を含む所定範囲内であれば全カメラは正常であると判定する。一方、カメラ間で推定した移動量に閾値以上の差がある場合は、小さい方の移動量を推定したカメラ、あるいは大きい方の移動量を推定したカメラのどちらかに異常があると判定する。なお、どちらが異常であるかを特定する場合は、車速センサ４１等のセンサから得られる実測情報と移動量を比較して異常なカメラを特定すればよい。本変形例では、各カメラで推定した移動量どうしの差でカメラのずれを判定するため、外部のセンサを用いなくてもカメラのずれを判定できる。 <3-3. Third variant>
In the above, the determination unit 123 determines the deviation of the camera based on the movement amount estimated from the optical flow and the measured information obtained from the sensor such as the vehicle speed sensor 41. In the third modification, the determination unit 123 compares the movement amounts estimated from the optical flow in each of the cameras 21 to 24 to determine the deviation of the cameras, that is, the abnormality. In the third modification, the estimation unit 122 estimates the movement amount of the moving body for each of the plurality of cameras based on the images taken by each of the plurality of cameras 21 to 24 mounted on the moving body. The determination unit 123 compares the movement amount information for each camera obtained by the estimation unit 122, and determines the camera in which the abnormality has occurred. For example, the determination unit 123 determines that all cameras are normal if the difference between the movement amounts estimated by each camera is all within a predetermined range including the error range. On the other hand, if there is a difference of the estimated movement amount between the cameras by a threshold value or more, it is determined that there is an abnormality in either the camera that estimated the smaller movement amount or the camera that estimated the larger movement amount. In order to specify which is abnormal, the abnormal camera may be identified by comparing the actual measurement information obtained from the sensor such as the vehicle speed sensor 41 with the movement amount. In this modification, since the deviation of the camera is determined by the difference between the movement amounts estimated by each camera, the deviation of the camera can be determined without using an external sensor.

＜３－４．その他＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。 <3-4. Others>
The configurations of the embodiments and modifications in the present specification are merely examples of the present invention. The configurations of the embodiments and modifications may be appropriately changed without exceeding the technical idea of the present invention. In addition, a plurality of embodiments and modifications may be combined and implemented to the extent possible.

以上においては、車載カメラ２１～２４のずれ判定に用いるデータは、車両７が直進走行している場合に収集される構成とした。ただし、これは例示であり、車載カメラ２１～２４のずれ判定に用いるデータは、車両７が直進走行していない場合に収集されてもよい。車速センサ４１から得られる速度情報と舵角センサ４２から得られる情報とを用いれば、車両７の前後方向および左右方向の実際の移動量を正確に求めることができるために、車両７が直進走行していない場合でも上述のずれ判定を行うことができる。 In the above, the data used for determining the deviation of the in-vehicle cameras 21 to 24 is configured to be collected when the vehicle 7 is traveling straight. However, this is an example, and the data used for determining the deviation of the vehicle-mounted cameras 21 to 24 may be collected when the vehicle 7 is not traveling straight. By using the speed information obtained from the vehicle speed sensor 41 and the information obtained from the steering angle sensor 42, the actual amount of movement of the vehicle 7 in the front-rear direction and the left-right direction can be accurately obtained, so that the vehicle 7 travels straight. Even if this is not done, the above-mentioned deviation determination can be performed.

また、以上においては、推定部１２２は、前後方向の移動量の推定値と、左右方向の移動量の推定値とを求める構成としたが、いずれか一方だけを求める構成としてもよい。ただし、いずれか一方だけの推定値を求める構成とする場合には、推定部１２２は、前後方向の移動量の推定値のみを求めることが好ましい。この場合、例えば、判定部１２３は、前後方向の移動量について、推定部１２２で得られる推定値と、センサ部４で取得される実測情報から得られる値とを比較してカメラずれの判定を行ってよい。 Further, in the above, the estimation unit 122 is configured to obtain the estimated value of the movement amount in the front-back direction and the estimated value of the movement amount in the left-right direction, but it may be configured to obtain only one of them. However, when the configuration is such that the estimated value of only one of them is obtained, it is preferable that the estimation unit 122 obtains only the estimated value of the movement amount in the front-rear direction. In this case, for example, the determination unit 123 compares the estimated value obtained by the estimation unit 122 with the value obtained from the actual measurement information acquired by the sensor unit 4 for the amount of movement in the front-rear direction, and determines the camera deviation. You may go.

１・・・カメラずれ検出装置
７・・・車両
２１・・・フロントカメラ（車載カメラ）
２２・・・バックカメラ（車載カメラ）
２３・・・左サイドカメラ（車載カメラ）
２４・・・右サイドカメラ（車載カメラ）
４１・・・車速センサ（外部センサ）
４２・・・舵角センサ（外部センサ）
５０・・・通信バス
１２１・・・導出部
１２２・・・推定部
１２３・・・判定部
Ｃ・・・画像の中心部
ＦＰ・・・特徴点
ＯＦ・・・オプティカルフロー
ＲＥ１・・・第１領域
ＲＥ２・・・第２領域 1 ... Camera misalignment detection device 7 ... Vehicle 21 ... Front camera (vehicle-mounted camera)
22 ... Back camera (vehicle-mounted camera)
23 ... Left side camera (vehicle-mounted camera)
24 ... Right side camera (vehicle-mounted camera)
41 ... Vehicle speed sensor (external sensor)
42 ... Steering angle sensor (external sensor)
50 ... Communication bus 121 ... Derivation section 122 ... Estimating section 123 ... Judgment section C ... Image center center FP ... Feature point OF ... Optical flow RE1 ... First Area RE2 ... Second area

Claims (11)

移動体に搭載されるカメラの取付けのずれを検出するカメラずれ検出装置であって、
前記カメラによって所定時間をおいて入力された２つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごとに導出する導出部と、
複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を統計処理によって推定する推定部と、
前記推定部で得られた推定情報と、前記カメラ以外の外部センサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定部と、
を備える、カメラずれ検出装置。 It is a camera misalignment detection device that detects the misalignment of the camera mounted on the moving body.
A derivation unit that derives an optical flow, which is the movement of a feature point between two images input by the camera at a predetermined time, for each feature point.
An estimation unit that estimates the amount of movement of a moving object equipped with the camera by statistical processing based on the plurality of optical flows, and an estimation unit.
A determination unit that determines the deviation of the camera based on the estimation information obtained by the estimation unit and the measured information related to the movement of the moving object input from an external sensor other than the camera.
A camera misalignment detection device. 前記推定情報には、前記移動体の前後方向および左右方向の移動量の推定値が含まれる、請求項１に記載のカメラずれ検出装置。 The camera deviation detection device according to claim 1, wherein the estimated information includes estimated values of the amount of movement of the moving body in the front-rear direction and the left-right direction. 前記判定部は、前記移動体の前後方向の移動量と、前記移動体の左右方向の移動量と、前記移動体の前後方向および左右方向の移動量に基づいて得られる特定量とのうち少なくともいずれか１つについて、前記推定部で得られた推定値と、前記実測情報によって得られる値との差が所定の閾値以上になった場合に、前記カメラのずれが発生していると判定する、請求項２に記載のカメラずれ検出装置。 The determination unit is at least a specific amount obtained based on the amount of movement of the moving body in the front-rear direction, the amount of movement of the moving body in the left-right direction, and the amount of movement of the moving body in the front-back direction and the left-right direction. For any one, when the difference between the estimated value obtained by the estimation unit and the value obtained by the measured information becomes a predetermined threshold value or more, it is determined that the camera is displaced. , The camera misalignment detecting device according to claim 2. 前記実測情報は、通信バスを介して前記判定部に入力される前記移動体の速度情報を含む、請求項１から３のいずれか１項に記載のカメラずれ検出装置。 The camera deviation detecting device according to any one of claims 1 to 3, wherein the measured information includes speed information of the moving body input to the determination unit via a communication bus. 前記判定部による前記カメラのずれ判定は、前記外部センサによって前記移動体が直進していると判断される場合に取得された情報を用いて行われる、請求項１から４のいずれか１項に記載のカメラずれ検出装置。 The deviation determination of the camera by the determination unit is performed by using the information acquired when the moving body is determined to be traveling straight by the external sensor, according to any one of claims 1 to 4. The camera misalignment detection device described. 前記判定部による前記カメラのずれ判定は、前記外部センサによって前記移動体が所定速度範囲内で走行していると判断される場合に取得された情報を用いて行われる、請求項１から５のいずれか１項に記載のカメラずれ検出装置。 The deviation determination of the camera by the determination unit is performed by using the information acquired when the moving body is determined to be traveling within a predetermined speed range by the external sensor, according to claims 1 to 5. The camera misalignment detection device according to any one of the following items. 前記移動体の移動量が所定距離に到達するまで前記推定部で得られた推定値を足し合わせて累積値を求める処理が行われ、
前記判定部は、前記移動体の移動量が前記所定距離に到達した時点で前記累積値に基づいて前記カメラのずれを判定する、請求項１から６のいずれか１項に記載のカメラずれ検出装置。 A process is performed to obtain a cumulative value by adding the estimated values obtained by the estimation unit until the movement amount of the moving body reaches a predetermined distance.
The camera deviation detection according to any one of claims 1 to 6, wherein the determination unit determines the deviation of the camera based on the cumulative value when the movement amount of the moving body reaches the predetermined distance. Device. 前記判定部は、前記画像の中心部を含む第１領域内の前記特徴点の前記オプティカルフローを用いて推定された前記推定情報に基づいて前記カメラがずれていると判定した場合に、前記画像の中心部を含まない第２領域内の前記特徴点の前記オプティカルフローを用いて求められた前記推定情報によって前記カメラのずれを再判定する、請求項１から７のいずれか１項に記載のカメラずれ検出装置。 When the determination unit determines that the camera is displaced based on the estimation information estimated by using the optical flow of the feature point in the first region including the central portion of the image, the image. The invention according to any one of claims 1 to 7, wherein the deviation of the camera is redetermined by the estimation information obtained by using the optical flow of the feature point in the second region not including the central portion of the above. Camera misalignment detector. 移動体に搭載されるカメラの取付けのずれを検出するカメラずれ検出方法であって、
前記カメラによって所定時間をおいて入力された２つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごとに導出する導出工程と、
複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を統計処理によって推定する推定工程と、
前記推定工程で得られた推定情報と、前記カメラ以外のセンサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定工程と、
を備える、カメラずれ検出方法。 This is a camera misalignment detection method that detects misalignment of the camera mounted on a moving object.
A derivation process for deriving an optical flow, which is a movement of a feature point between two images input by the camera at a predetermined time, for each feature point, and a derivation step.
An estimation process that estimates the amount of movement of a moving object equipped with the camera by statistical processing based on the plurality of optical flows, and an estimation process.
A determination step of determining the deviation of the camera based on the estimation information obtained in the estimation step and the measured information related to the movement of the moving body input from a sensor other than the camera.
A camera misalignment detection method. 移動体に搭載されたカメラで撮影された画像に基づき、移動中の前記移動体の移動量を推定する推定部と、
前記推定部で得られた移動量情報と、前記移動体に搭載されたカメラ以外の外部センサにより検出された移動中の前記移動体の移動に関わる実測情報とを得て前記移動体に搭載されたカメラの異常を判定する判定部と、
を備える、異常検出装置。 An estimation unit that estimates the amount of movement of the moving body based on an image taken by a camera mounted on the moving body, and an estimation unit.
The movement amount information obtained by the estimation unit and the actual measurement information related to the movement of the moving body during movement detected by an external sensor other than the camera mounted on the moving body are obtained and mounted on the moving body. Judgment unit that determines the abnormality of the camera
Anomaly detection device. 移動体に搭載された複数のカメラのそれぞれにおいて撮影された画像に基づき前記複数のカメラ毎に前記移動体の移動量を推定する推定部と、
前記推定部で得られたカメラ毎の移動量情報を比較し異常が発生しているカメラを判定する判定部と、
を備える、異常検出装置。 An estimation unit that estimates the amount of movement of the moving body for each of the plurality of cameras based on images taken by each of the plurality of cameras mounted on the moving body.
A determination unit that compares the movement amount information for each camera obtained by the estimation unit and determines which camera has an abnormality.
Anomaly detection device.

Images