JP2007008325A - System and method for determining set state - Google Patents

System and method for determining set state Download PDF

Info

Publication number
JP2007008325A
JP2007008325A JP2005191762A JP2005191762A JP2007008325A JP 2007008325 A JP2007008325 A JP 2007008325A JP 2005191762 A JP2005191762 A JP 2005191762A JP 2005191762 A JP2005191762 A JP 2005191762A JP 2007008325 A JP2007008325 A JP 2007008325A
Authority
JP
Japan
Prior art keywords
installation state
vehicle
optical flow
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005191762A
Other languages
Japanese (ja)
Inventor
Akira Shiratori
朗 白鳥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005191762A priority Critical patent/JP2007008325A/en
Publication of JP2007008325A publication Critical patent/JP2007008325A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system and a method for determining a set state capable of determining a set state of a photographing device. <P>SOLUTION: In the set state determining device 1, an on-vehicle camera 10 photographs an external portion of a vehicle, and an optical flow calculating portion 20 calculates the optical flow from a photographed video image. The optical flow when the on-vehicle camera 10 is set as a normal state is stored in a storage portion 30. The set state determining portion 40 determines the set state of the on-vehicle camera 10 by comparing the optical flow calculated by the optical flow calculating portion 20 and the optical flow stored in the storage portion 30. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、設置状態判断装置及び方法に関する。   The present invention relates to an installation state determination apparatus and method.

従来、複数台のカメラを車両に搭載し、これらカメラによって車外を撮影して、車内の表示器に表示させる車両周辺監視装置が知られている（特許文献１参照）。また、撮影方向を変更可能なカメラを車両に搭載し、このカメラによって車外を好適な角度で撮影する路面映像取得装置が知られている（特許文献２参照）。
特開２００３−８１０１４号公報 特開平９−１２６７４３号公報 2. Description of the Related Art Conventionally, a vehicle periphery monitoring device is known in which a plurality of cameras are mounted on a vehicle, the outside of the vehicle is photographed by these cameras, and displayed on a display inside the vehicle (see Patent Document 1). Also, a road surface image acquisition device is known in which a camera capable of changing the shooting direction is mounted on a vehicle and the outside of the vehicle is shot at a suitable angle by this camera (see Patent Document 2).
JP 2003-81014 A JP-A-9-126743

従来装置では、車両に衝撃が加わった場合やカメラ自体が何らかの物に接触した場合などにカメラの位置がずれてしまう可能性がある。しかし、従来装置では、カメラの設置状態にずれが発生しても、このずれを何ら検出することができず、好適な撮影を行うことができなくなる可能性がある。   In the conventional apparatus, there is a possibility that the position of the camera may be shifted when an impact is applied to the vehicle or when the camera itself contacts some object. However, in the conventional apparatus, even if a deviation occurs in the installation state of the camera, this deviation cannot be detected at all, and there is a possibility that suitable photographing cannot be performed.

本発明の設置状態判断装置は、撮影手段と、オプティカルフロー算出手段と、記憶手段と、設置状態判断手段とを備えている。撮影手段は車両に設置されて車両外側を撮影するものであり、オプティカルフロー算出手段は撮影手段により撮影された映像からオプティカルフローを求めるものである。記憶手段は、正規の設置状態であるときの撮影手段の撮影映像から求められるオプティカルフローを記憶するものである。設置状態判断手段は、オプティカルフロー算出手段により求められたオプティカルフローと記憶手段により記憶されたオプティカルフローとを比較して撮影手段の設置状態を判断するものである。   The installation state determination apparatus of the present invention includes an imaging unit, an optical flow calculation unit, a storage unit, and an installation state determination unit. The photographing means is installed in the vehicle and photographs the outside of the vehicle, and the optical flow calculation means obtains the optical flow from the video photographed by the photographing means. The storage means stores an optical flow obtained from a photographed image of the photographing means when in a regular installation state. The installation state determination unit determines the installation state of the imaging unit by comparing the optical flow obtained by the optical flow calculation unit and the optical flow stored by the storage unit.

本発明によれば、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較し、撮影手段の設置状態を判断している。ここで、撮影手段の設置状態にずれが発生すると、得られる映像は正規の設置状態であるときと異なってくる。このため、得られるオプティカルフローについても、正規の設置状態であるときと異なってくる。従って、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較することで、撮影手段の設置状態を判断することができる。   According to the present invention, the installation state of the photographing means is determined by comparing the optical flow obtained from the photographed video with the optical flow stored in the normal installation state stored in advance. Here, when a deviation occurs in the installation state of the photographing means, the obtained image is different from that in the normal installation state. For this reason, the obtained optical flow also differs from that in the normal installation state. Therefore, it is possible to determine the installation state of the imaging means by comparing the optical flow obtained from the captured video with the optical flow in the normal installation state stored in advance.

以下、本発明の好適な実施形態を図面に基づいて説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.

図１は、本発明の実施形態に係る設置状態判断装置の構成図である。同図に示すように、設置状態判断装置１は、車両に衝撃が加わった場合などにカメラ（後述の車載カメラ）の位置がずれてしまっても、カメラのずれを検出するものである。この設置状態判断装置１は、車載カメラ（撮影手段）１０と、オプティカルフロー算出部（オプティカルフロー算出手段）２０と、記憶部（記憶手段）３０とを備えている。また、設置状態判断装置１は、設置状態判断部（設置状態判断手段）４０と、設置状態調整部（設置状態調整手段）５０とを備えている。   FIG. 1 is a configuration diagram of an installation state determination apparatus according to an embodiment of the present invention. As shown in the figure, the installation state determination device 1 detects a camera displacement even when the position of a camera (a vehicle-mounted camera described later) is displaced when an impact is applied to the vehicle. The installation state determination apparatus 1 includes an in-vehicle camera (photographing unit) 10, an optical flow calculation unit (optical flow calculation unit) 20, and a storage unit (storage unit) 30. The installation state determination device 1 includes an installation state determination unit (installation state determination unit) 40 and an installation state adjustment unit (installation state adjustment unit) 50.

車載カメラ１０は、車両に設置されて車両外側を撮影するものであり、本実施形態にあっては、図２に示すように、設置状態調整部５０によって撮影方向が変更可能とされ、複数方向を撮影できるようになっている。   The in-vehicle camera 10 is installed in a vehicle and images the outside of the vehicle. In the present embodiment, as shown in FIG. Can be taken.

図２は、図１に示した車載カメラ１０及び設置状態調整部５０の詳細構成図である。図２に示すように、車載カメラ１０は設置状態調整部５０上に設置されており、設置状態調整部５０は、電動モータ５１と、プーリ５２と、エンコーダ５３と、基台５４とからなっている。車載カメラ１０は、電動モータ５１が駆動することによりプーリ５２を介して回転させられるようになっている。車載カメラ１０の回転角度は、エンコーダ５３により検出される。基台５４は、車体などに取り付けられるものであり、電動モータ５１、プーリ５２及びエンコーダ５３を収納している。   FIG. 2 is a detailed configuration diagram of the in-vehicle camera 10 and the installation state adjustment unit 50 shown in FIG. As shown in FIG. 2, the in-vehicle camera 10 is installed on an installation state adjustment unit 50, and the installation state adjustment unit 50 includes an electric motor 51, a pulley 52, an encoder 53, and a base 54. Yes. The in-vehicle camera 10 is rotated via a pulley 52 when the electric motor 51 is driven. The rotation angle of the in-vehicle camera 10 is detected by the encoder 53. The base 54 is attached to a vehicle body or the like, and houses the electric motor 51, the pulley 52, and the encoder 53.

再度、図１を参照する。上記のように車載カメラ１０は複数の方向を撮影可能になっており、車両右前方部と車両左後方部とにそれぞれ１つずつ設置されている。図３は、図１に示した車載カメラ１０による撮影方向を示す上面図である。図３に示すように、右前方部に設置される車載カメラ（以下右車載カメラという）１０ａは、その設置個所から前方、右前方、左前方及び後側方（車体の右側を含む後方）の４方向を撮影可能となっている。また、左後方部に設置される車載カメラ（以下左車載カメラという）１０ｂは、その設置個所から後方、右後方、左後方及び前側方（車体の左側を含む前方）の４方向を撮影可能となっている。   Reference is again made to FIG. As described above, the in-vehicle camera 10 can capture a plurality of directions, and is installed one by one on the vehicle right front part and on the vehicle left rear part. FIG. 3 is a top view showing a photographing direction by the in-vehicle camera 10 shown in FIG. As shown in FIG. 3, an in-vehicle camera (hereinafter referred to as a right in-vehicle camera) 10 a installed at the right front portion is located forward, right front, left front, and rear side (back including the right side of the vehicle body) from the installation location. Four directions can be taken. In addition, the in-vehicle camera (hereinafter referred to as the left in-vehicle camera) 10b installed in the left rear part can shoot four directions from the installation location: rear, right rear, left rear, and front side (front including the left side of the vehicle body). It has become.

再度図１を参照する。オプティカルフロー算出部２０は、車両が前進や後退などしている場合に、車載カメラ１０により撮影された映像からオプティカルフローを求めるものである。このオプティカルフロー算出部２０は、時系列に連続する少なくとも２枚の画像の各画素の濃度や輝度値などに基づいて、オプティカルフローを求める構成となっている。   Refer to FIG. 1 again. The optical flow calculation unit 20 calculates an optical flow from an image captured by the in-vehicle camera 10 when the vehicle is moving forward or backward. The optical flow calculation unit 20 is configured to obtain an optical flow based on the density and luminance value of each pixel of at least two images that are continuous in time series.

記憶部３０は、正規の設置状態あるときの車載カメラ１０の撮影映像から求められるオプティカルフローを記憶するものである。従って、車載カメラ１０が正規の設置状態ある場合、オプティカルフロー算出部２０により求められるオプティカルフローと記憶部３０に記憶されるオプティカルフローとは一致することとなる。また、記憶部３０は、車両乗員の視点から車載カメラ１０の撮影領域を視認した場合のオプティカルフローを記憶している。すなわち、記憶部３０は、車載カメラ１０を車両乗員の視点箇所に設置した場合の撮影映像から求められるオプティカルフローと同一のオプティカルフローを記憶していることとなる。   The memory | storage part 30 memorize | stores the optical flow calculated | required from the picked-up image of the vehicle-mounted camera 10 when there exists a regular installation state. Therefore, when the in-vehicle camera 10 is in a regular installation state, the optical flow obtained by the optical flow calculation unit 20 matches the optical flow stored in the storage unit 30. In addition, the storage unit 30 stores an optical flow when the imaging region of the in-vehicle camera 10 is viewed from the viewpoint of the vehicle occupant. That is, the storage unit 30 stores the same optical flow as the optical flow obtained from the captured image when the in-vehicle camera 10 is installed at the viewpoint of the vehicle occupant.

設置状態判断部４０は、オプティカルフロー算出部２０により求められたオプティカルフローと記憶部３０により記憶されたオプティカルフローとを比較して車載カメラ１０の設置状態を判断するものである。ここで、記憶部３０には正規の設置状態でのオプティカルフローが記憶されている。このため、設置状態判断部４０は、両者のオプティカルフローを比較して異なるときには、車載カメラ１０が正規の設置状態でなく、車載カメラ１０にずれが発生していると判断する。また、設置状態判断部４０は、車載カメラ１０にずれが発生していると判断した場合、オプティカルフローのずれの量から車載カメラ１０のずれ角度を求める構成となっている。   The installation state determination unit 40 determines the installation state of the in-vehicle camera 10 by comparing the optical flow obtained by the optical flow calculation unit 20 and the optical flow stored by the storage unit 30. Here, the optical flow in the regular installation state is stored in the storage unit 30. For this reason, the installation state determination unit 40 determines that the in-vehicle camera 10 is not in the normal installation state and that the in-vehicle camera 10 has shifted when the optical flows of the two are different from each other. In addition, the installation state determination unit 40 is configured to obtain the displacement angle of the in-vehicle camera 10 from the amount of optical flow displacement when it is determined that the in-vehicle camera 10 is displaced.

また、上記した設置状態調整部５０は、設置状態判断部４０により判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整するものとしても機能する。すなわち、設置状態調整部５０は、設置状態判断部４０により車載カメラ１０にずれが発生していると判断し、ずれ角度が求められた場合、ずれ角度分だけ車載カメラ１０の光軸を調整することで、車載カメラ１０を正規の設置状態に調整する。これにより、例えば車両前方を撮影しようとして前方からずれた箇所を撮影してしまうことが防止される。   Further, the installation state adjustment unit 50 described above also functions as a unit that adjusts the in-vehicle camera 10 to a regular installation state based on the installation state determined by the installation state determination unit 40. That is, the installation state adjustment unit 50 determines that the in-vehicle camera 10 has a deviation by the installation state determination unit 40, and when the deviation angle is obtained, adjusts the optical axis of the in-vehicle camera 10 by the deviation angle. As a result, the in-vehicle camera 10 is adjusted to a proper installation state. As a result, for example, it is possible to prevent a portion deviated from the front from being photographed in order to photograph the front of the vehicle.

なお、図２において設置状態調整部５０は、車載カメラ１０の光軸を水平方向のみに移動可能となっているが、この構成に限らず、光軸を水平方向及び上下方向に移動させる構成となっていてもよい。   In FIG. 2, the installation state adjustment unit 50 can move the optical axis of the in-vehicle camera 10 only in the horizontal direction. However, the configuration is not limited to this configuration, and the configuration is such that the optical axis is moved in the horizontal direction and the vertical direction. It may be.

さらに、上記設置状態判断装置１は、表示部６０と、表示制御部７０とを備えている。表示部６０は車載カメラ１０により撮影された映像を表示するものであり、表示制御部７０は表示部６０に表示させる表示映像を生成するものである。ここで、表示制御部７０が表示部６０に表示させる画像の例を説明する。   Further, the installation state determination device 1 includes a display unit 60 and a display control unit 70. The display unit 60 displays an image captured by the in-vehicle camera 10, and the display control unit 70 generates a display image to be displayed on the display unit 60. Here, an example of an image displayed on the display unit 60 by the display control unit 70 will be described.

図４は、図１に示した表示部６０の表示画像例を示す模式図である。図４に示すように、表示制御部７０は、自車両を模式的に表した自車両画像Ａと、車載カメラ１０により撮影された映像Ｂ〜Ｉとを同時に表示部６０に表示させる。このとき、表示制御部７０は、右車載カメラ１０ａの撮影映像のうち、前方の映像Ｂについては自車両画像Ａの前方に表示させ、右前方の映像Ｃについては自車両画像Ａの右前方に表示させる。また、左前方の映像Ｄについては自車両画像Ａの左前方に表示させ、及び後側方の映像Ｅについては自車両画像Ａの右側に表示させる。さらに、表示制御部７０は、左車載カメラ１０ｂの撮影映像のうち、後方の映像Ｆについては自車両画像Ａの後方に表示させ、左後方の映像Ｇについては自車両画像Ａの左後方に表示させる。また、右後方の映像Ｈについては自車両画像Ａの右後方に表示させ、及び前側方の映像Ｉについては自車両画像Ａの左側に表示させる。   FIG. 4 is a schematic diagram illustrating an example of a display image of the display unit 60 illustrated in FIG. As shown in FIG. 4, the display control unit 70 causes the display unit 60 to simultaneously display a host vehicle image A schematically representing the host vehicle and videos B to I taken by the in-vehicle camera 10. At this time, the display control unit 70 displays the forward video B in front of the host vehicle image A among the captured images of the right in-vehicle camera 10a, and the right forward video C in front of the host vehicle image A. Display. The left front image D is displayed on the left front side of the host vehicle image A, and the rear side image E is displayed on the right side of the host vehicle image A. Further, the display control unit 70 displays the rear video F behind the own vehicle image A among the captured images of the left in-vehicle camera 10b, and displays the left rear video G behind the left vehicle image A. Let Further, the right rear video H is displayed on the right rear of the host vehicle image A, and the front side video I is displayed on the left side of the host vehicle image A.

さらに、表示制御部７０は、前方映像Ｂ、右前方映像Ｃ、左前方映像Ｄ、後方映像Ｆ、左後方映像Ｇ及び右後方映像Ｈの地面側（図中斜線部側）が自車両画像Ａに近くなるように、これら映像Ｂ〜Ｄ，Ｆ〜Ｈを表示させる。また、表示制御部７０は、後側方映像Ｅの地面側（図中斜線部側）が画像上側に向くように後側方映像Ｅを表示させ、前側方映像Ｉの地面側（斜線部側）が画像下側に向くように前側方映像Ｉを表示させる。なお、図４の各映像Ｂ〜Ｉ中の矢印は、車両が後退するときに得られるオプティカルフローを示している。   Further, the display control unit 70 indicates that the front side of the front video B, the right front video C, the left front video D, the rear video F, the left rear video G, and the right rear video H is the own vehicle image A. These images B to D and F to H are displayed so as to be close to. Further, the display control unit 70 displays the rear side image E so that the ground side of the rear side image E (the hatched portion side in the drawing) faces the upper side of the image, and the ground side (the hatched portion side of the front side image I). ) Is displayed such that the front side image I faces downward. In addition, the arrow in each image | video BI of FIG. 4 has shown the optical flow obtained when a vehicle reverses.

次に、本実施形態に係る設置状態判断装置１の動作（設置状態判断方法及び映像表示方法）の概略を説明する。まず、車両のイグニッションスイッチがオンされて、本装置１の電源がオンされると、例えば右車載カメラ１０ａは、車両外部の或る一方向について撮像する。次に、右車載カメラ１０ａは、撮像画像のデータをオプティカルフロー算出部２０に送信する。オプティカルフロー算出部２０は、前回の撮像画像データを記憶しており、今回の撮像により得られた撮像画像データと、前回の撮像画像データとからオプティカルフローを求める。次いで、オプティカルフロー算出部２０は、求めたオプティカルフローのデータを設置状態判断部４０に送信する。   Next, an outline of the operation (installation state determination method and video display method) of the installation state determination device 1 according to the present embodiment will be described. First, when the ignition switch of the vehicle is turned on and the power supply of the apparatus 1 is turned on, for example, the right in-vehicle camera 10a captures an image in a certain direction outside the vehicle. Next, the right vehicle-mounted camera 10 a transmits captured image data to the optical flow calculation unit 20. The optical flow calculation unit 20 stores the previous captured image data, and obtains the optical flow from the captured image data obtained by the current imaging and the previous captured image data. Next, the optical flow calculation unit 20 transmits the obtained optical flow data to the installation state determination unit 40.

設置状態判断部４０は、オプティカルフロー算出部２０からオプティカルフローのデータを入力すると、記憶部３０からオプティカルフローのデータを読み込む。次に、設置状態判断部４０は、これらのオプティカルフローを比較する。オプティカルフローが一致する場合、設置状態判断部４０は、右車載カメラ１０ａが正規の設置状態であると判断する。一方、オプティカルフローが相違する場合、設置状態判断部４０は、右車載カメラ１０ａにずれが発生していると判断する。そして、設置状態判断部４０は、オプティカルフローのずれの量から右車載カメラ１０ａのずれ角度を求め、ずれ角度のデータを設置状態調整部５０に送信する。   When the optical flow data is input from the optical flow calculation unit 20, the installation state determination unit 40 reads the optical flow data from the storage unit 30. Next, the installation state determination unit 40 compares these optical flows. If the optical flows match, the installation state determination unit 40 determines that the right in-vehicle camera 10a is in a normal installation state. On the other hand, when the optical flows are different, the installation state determination unit 40 determines that a shift has occurred in the right in-vehicle camera 10a. Then, the installation state determination unit 40 obtains the deviation angle of the right in-vehicle camera 10a from the amount of deviation of the optical flow, and transmits the deviation angle data to the installation state adjustment unit 50.

設置状態調整部５０は、ずれ角度のデータに基づいて右車載カメラ１０ａの光軸を調整する。これにより、車載カメラ１０は以後の撮影によってずれた位置を撮影することなく、適切な撮影が行われる。   The installation state adjustment unit 50 adjusts the optical axis of the right in-vehicle camera 10a based on the deviation angle data. As a result, the in-vehicle camera 10 can perform appropriate shooting without shooting a position that has shifted due to subsequent shooting.

次いで、設置状態判断装置１は、上記と異なる方向を撮影して設置状態を判断し、正規の設置状態でない場合には光軸を調整する。また、設置状態判断装置１は左車載カメラ１０ｂについても同じ処理を実行し、設置状態を判断することとなる。なお、設置状態判断装置１は、ある撮影方向についての右車載カメラ１０ａのずれ角度を元に、他の方向についての右車載カメラ１０ａのずれ角度を求め、調整するようにしてもよい。これにより、各方向毎に設置状態を判断する必要がなく処理を簡素化することができ、且つ、記憶部３０に記憶させるオプティカルフローを少なくすることができる。   Next, the installation state determination device 1 determines the installation state by photographing a direction different from the above, and adjusts the optical axis when the installation state is not a normal installation state. Moreover, the installation state determination apparatus 1 will perform the same process also about the left vehicle-mounted camera 10b, and will determine an installation state. The installation state determination apparatus 1 may obtain and adjust the shift angle of the right in-vehicle camera 10a in another direction based on the shift angle of the right in-vehicle camera 10a in a certain shooting direction. Thereby, it is not necessary to determine the installation state for each direction, the processing can be simplified, and the optical flow stored in the storage unit 30 can be reduced.

また、設置状態が判断された後、表示制御部７０は、車載カメラ１０により撮影された映像を表示部６０に表示させる。このとき、表示制御部７０は、車載カメラ１０により撮影された映像を座標変換して、車載カメラ１０によって撮影された映像のオプティカルフローを、車両乗員の視点から車載カメラ１０の撮影領域を視認した場合のオプティカルフローに合致させる。これにより、車両乗員にとっては、表示部６０に表示される映像を見ても車外を直接視認しても知覚する映像が同じとなり、違和感が少なくなる。   Further, after the installation state is determined, the display control unit 70 causes the display unit 60 to display an image captured by the in-vehicle camera 10. At this time, the display control unit 70 coordinate-transforms the video imaged by the in-vehicle camera 10 and visually recognizes the optical flow of the video imaged by the in-vehicle camera 10 from the viewpoint of the vehicle occupant. Match the optical flow of the case. As a result, for the vehicle occupant, the perceived video is the same when viewing the video displayed on the display unit 60 and directly viewing the outside of the vehicle, and the feeling of discomfort is reduced.

次に、本実施形態に係る設置状態判断装置１の動作の詳細を説明する。図５は、本実施形態に係る設置状態判断装置１の動作の詳細を示すフローチャートである。車両のイグニッションスイッチがオンされて、本装置１の電源がオンされると、図５に示す処理が実行される。まず、設置状態判断装置１は、車載カメラ１０を切り替える（ＳＴ１）。すなわち、設置状態判断装置１は、右車載カメラ１０ａが選択されている場合、左車載カメラ１０ｂに切り替え、左車載カメラ１０ｂが選択されている場合、右車載カメラ１０ａに切り替える。   Next, the detail of operation | movement of the installation state judgment apparatus 1 which concerns on this embodiment is demonstrated. FIG. 5 is a flowchart showing details of the operation of the installation state determination apparatus 1 according to the present embodiment. When the ignition switch of the vehicle is turned on and the power supply of the present apparatus 1 is turned on, the processing shown in FIG. 5 is executed. First, the installation state determination apparatus 1 switches the vehicle-mounted camera 10 (ST1). That is, the installation state determination apparatus 1 switches to the left in-vehicle camera 10b when the right in-vehicle camera 10a is selected, and switches to the right in-vehicle camera 10a when the left in-vehicle camera 10b is selected.

次いで、エンコーダ５３はステップＳＴ１において切り替えられた車載カメラ１０の撮像方向を検出する（ＳＴ２）。その後、設置状態判断装置１は、ステップＳＴ１において切り替えられた車載カメラ１０によって車外を撮像し、１フレームの画像を取り込む（ＳＴ３）。そして、オプティカルフロー算出部２０は、前回の撮像画像データと今回撮像した画像データとからオプティカルフローを求める。次に、設置状態判断部４０は、記憶部３０からオプティカルフローを読み込む。このとき、設置状態判断部４０は、ステップＳＴ２において検出された撮像方向に基づいて比較対照となるオプティカルフローを読み込むこととなる。   Next, the encoder 53 detects the imaging direction of the in-vehicle camera 10 switched in step ST1 (ST2). Thereafter, the installation state determination apparatus 1 captures the outside of the vehicle with the in-vehicle camera 10 switched in step ST1 and captures an image of one frame (ST3). Then, the optical flow calculation unit 20 obtains an optical flow from the previous captured image data and the image data captured this time. Next, the installation state determination unit 40 reads an optical flow from the storage unit 30. At this time, the installation state determination unit 40 reads an optical flow serving as a comparison reference based on the imaging direction detected in step ST2.

次いで、設置状態判断部４０は、ステップＳＴ３においてオプティカルフロー算出部２０により算出されたオプティカルフローと、記憶部３０から読み込んだオプティカルフローを比較して、設置状態を判断する（ＳＴ４）。そして、設置状態判断部４０は、車載カメラ１０にずれが生じていると判断した場合、ずれ角度を求め、ずれ角度のデータを設置状態調整部５０に送信する。これにより、設置状態調整部５０は、光軸を調整することとなる（ＳＴ５）。そして、処理はステップＳＴ６に移行する。他方、車載カメラ１０にずれが生じていないと判断した場合、ステップＳＴ５の処理は実行されることなく、ステップＳＴ６の処理が実行される。   Next, the installation state determination unit 40 compares the optical flow calculated by the optical flow calculation unit 20 in step ST3 with the optical flow read from the storage unit 30, and determines the installation state (ST4). When the installation state determination unit 40 determines that the vehicle-mounted camera 10 has a deviation, the installation state determination unit 40 obtains a deviation angle and transmits the deviation angle data to the installation state adjustment unit 50. Thereby, the installation state adjustment part 50 adjusts an optical axis (ST5). Then, the process proceeds to step ST6. On the other hand, when it is determined that there is no shift in the in-vehicle camera 10, the process of step ST6 is executed without executing the process of step ST5.

ステップＳＴ６において、表示制御部７０は、映像（図４に示す映像Ｂ，Ｉを除く）の回転を行う（ＳＴ７）。例えば、左車載カメラ１０ｂによって車両後方を撮影した場合、図４に示すように映像Ｆは地面側が画像上方に位置していることから、表示制御部７０は、撮像画像を１８０°回転させることとなる。次に、表示制御部７０は回転させた映像を配置する（ＳＴ７）。すなわち、表示制御部７０は撮影した映像を図４に示すように該当個所に配置する。   In step ST6, the display control unit 70 rotates the video (except for video B and I shown in FIG. 4) (ST7). For example, when the rear side of the vehicle is photographed by the left in-vehicle camera 10b, the display control unit 70 rotates the captured image by 180 ° since the ground side of the video F is positioned above the image as shown in FIG. Become. Next, the display control unit 70 arranges the rotated image (ST7). That is, the display control unit 70 arranges the photographed video at the corresponding location as shown in FIG.

次いで、表示制御部７０は、全方向の映像が車載カメラ１０によって取得されているか否かを判断し、取得されている場合には映像群を表示させる（ＳＴ８）。そして、処理はステップＳＴ９に移行する。一方、全方向の映像が取得されていない場合、ステップＳＴ８の処理は実行されることなく、ステップＳＴ９の処理が実行される。   Next, the display control unit 70 determines whether or not an omnidirectional video has been acquired by the in-vehicle camera 10, and if it has been acquired, displays a video group (ST8). Then, the process proceeds to step ST9. On the other hand, when the video in all directions is not acquired, the process of step ST9 is executed without executing the process of step ST8.

ステップＳＴ９において、設置状態判断装置１は車載カメラ１０の撮像方向を変更する。そして、処理はステップＳＴ１に戻る。なお、図５に示す処理は常時繰り返されてもよいが、左右の車載カメラ１０ａ，１０ｂの全方向について設置状態の判断が行われた後は、イグニッションスイッチがオフされるまでステップＳＴ４，ＳＴ５の処理が飛ばされるようにしてもよい。また、図５に示すように車載カメラ１０の各撮影方向について設置状態を判断することなく、１の撮影方向について設置状態を判断して調整した場合には、その１の撮影方向の調整量に基づいて他の撮影方向を調整するようにしてもよい。   In step ST9, the installation state determination apparatus 1 changes the imaging direction of the in-vehicle camera 10. Then, the process returns to step ST1. Although the process shown in FIG. 5 may be repeated at all times, after the installation state is determined for all directions of the left and right vehicle-mounted cameras 10a and 10b, the process of steps ST4 and ST5 is performed until the ignition switch is turned off. Processing may be skipped. In addition, as shown in FIG. 5, when the installation state is determined and adjusted for one shooting direction without determining the installation state for each shooting direction of the in-vehicle camera 10, the adjustment amount of the one shooting direction is Other shooting directions may be adjusted based on this.

このようにして、本実施形態に係る設置状態判断装置１及び方法によれば、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較し、車載カメラ１０の設置状態を判断する。ここで、車載カメラ１０の設置状態にずれが発生すると、得られる映像は正規の設置状態であるときと異なってくる。このため、得られるオプティカルフローについても、正規の設置状態であるときと異なってくる。従って、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較することで、車載カメラ１０の設置状態を判断することができる。   In this way, according to the installation state determination device 1 and method according to the present embodiment, the optical flow obtained from the captured video is compared with the optical flow in the normal installation state stored in advance, The installation state of the camera 10 is determined. Here, when a deviation occurs in the installation state of the in-vehicle camera 10, the obtained image is different from that in the normal installation state. For this reason, the obtained optical flow also differs from that in the normal installation state. Therefore, the installation state of the in-vehicle camera 10 can be determined by comparing the optical flow obtained from the photographed video with the optical flow in the normal installation state stored in advance.

また、判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整することとしている。このため、車載カメラ１０が正規の設置状態でないときには、正規の設置状態に調整され、その後撮影が行われることとなり、好適な映像を取得することができる。   Moreover, it is supposed that the vehicle-mounted camera 10 is adjusted to a regular installation state based on the determined installation state. For this reason, when the vehicle-mounted camera 10 is not in the regular installation state, the vehicle-mounted camera 10 is adjusted to the regular installation state, and then shooting is performed, so that a suitable video can be acquired.

また、車載カメラ１０は、撮影方向を変更可能に構成され、１の撮影方向について判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整した場合、この設置状態の調整に基づいて他の撮影方向について調整を行う。このため、他の撮影方向については設置状態判断部４０による判断を行うことなく調整を行うことができる。従って、容易に調整を行うことができる。   In addition, the in-vehicle camera 10 is configured to be able to change the shooting direction, and when the in-vehicle camera 10 is adjusted to a regular installation state based on the installation state determined for one shooting direction, based on the adjustment of the installation state Make adjustments for other shooting directions. For this reason, it is possible to adjust the other shooting directions without making a determination by the installation state determination unit 40. Therefore, adjustment can be easily performed.

また、撮影映像を表示させるにあたり、撮影された映像を座標変換して、映像内のオプティカルフローが車両乗員の視点からオプティカルフローになるように合致させることとしている。このため、車両乗員にとっては、表示部６０に表示される映像を見ても直接車外視認しても知覚する映像が同じとなる。従って、車両乗員にとって違和感が少ない映像を提供することができる。   In addition, when displaying the captured image, the captured image is coordinate-transformed so that the optical flow in the image matches the optical flow from the viewpoint of the vehicle occupant. For this reason, for the vehicle occupant, the perceived video is the same whether the video displayed on the display unit 60 is viewed or directly viewed outside the vehicle. Therefore, it is possible to provide an image with less discomfort for the vehicle occupant.

次に、本発明の第２実施形態を説明する。第２実施形態に係る設置状態判断装置２は、第１実施形態のものと同様であるが、処理内容が異なっている。以下、第１実施形態との相違点を説明する。   Next, a second embodiment of the present invention will be described. The installation state determination device 2 according to the second embodiment is the same as that of the first embodiment, but the processing content is different. Hereinafter, differences from the first embodiment will be described.

第２実施形態に係る設置状態判断装置２の動作の概略を説明する。第２実施形態において表示制御部７０は、車載カメラ１０の撮影映像の地面側を伸張し、且つ上空側を圧縮して、車載カメラ１０の撮影映像を表示部６０に表示させる。これにより、地面部分を目立つようにし、例えば駐車枠内に自車両を停止させたい場合に映像が見やすく、好適な情報提示を行うようになっている。   An outline of the operation of the installation state determination device 2 according to the second embodiment will be described. In the second embodiment, the display control unit 70 expands the ground side of the captured image of the in-vehicle camera 10 and compresses the sky side so that the captured image of the in-vehicle camera 10 is displayed on the display unit 60. As a result, the ground portion is made conspicuous. For example, when the host vehicle is to be stopped in the parking frame, the video is easy to see and suitable information is presented.

より詳しく説明すると、第２実施形態の表示制御部７０は、全方向の映像について地面側を伸張し上空側を圧縮するわけでなく、自車両の前方側を撮影して得られた撮影映像については地面側を伸張し且つ上空側を圧縮し、自車両の後方側を撮影して得られた撮影映像については地面側を圧縮し且つ上空側を伸張する。ここで、車両が前進又は後退している場合、車両前方映像のオプティカルフローと後方映像のオプティカルフローとは逆になる。このため、両者を共に表示させると、車両乗員にオプティカルフローが逆となる２つの映像を提示することとなり、車両乗員に違和感を与え、混乱を及ぼす可能性がある。ところが、前方映像については地面側を伸張し上空側を圧縮し、後方映像については地面側を圧縮し後方側を伸張することで、前方及び後方映像のうち同一方向に流れるオプティカルフローを強調することとなり、車両乗員に与える違和感を軽減し、混乱を防止することができる。   More specifically, the display control unit 70 according to the second embodiment does not necessarily extend the ground side and compress the sky side of the omnidirectional image, but the captured image obtained by photographing the front side of the host vehicle. Expands the ground side and compresses the sky side, and compresses the ground side and expands the sky side of a captured image obtained by photographing the rear side of the host vehicle. Here, when the vehicle is moving forward or backward, the optical flow in the vehicle front image and the optical flow in the rear image are reversed. For this reason, if both are displayed, two images having opposite optical flows are presented to the vehicle occupant, which may cause the vehicle occupant to feel uncomfortable and cause confusion. However, for the front video, the ground side is expanded and the sky side is compressed, and for the rear video, the ground side is compressed and the rear side is expanded to emphasize the optical flow flowing in the same direction of the front and rear images. Thus, the uncomfortable feeling given to the vehicle occupant can be reduced, and confusion can be prevented.

さらに、第２実施形態の表示制御部７０は、後方映像について映像を回転させることなく（すなわち地面側を画像上側にせず）、映像を左右反転させる。映像を回転させない理由は、上記の如く前方及び後方映像のうち同一方向に流れるオプティカルフローを強調するためである。また、左右反転させる理由は、車両乗員が表示部６０を視認したときに後方映像について左右を間違い難くするためである。   Furthermore, the display control unit 70 of the second embodiment flips the video left and right without rotating the video with respect to the rear video (that is, without setting the ground side to the upper side of the image). The reason for not rotating the image is to emphasize the optical flow flowing in the same direction among the front and rear images as described above. The reason why the left and right are reversed is to make it difficult to mistake the left and right of the rear image when the vehicle occupant visually recognizes the display unit 60.

このような表示制御部７０によって生成される表示画像例を説明する。図６は、第２実施形態に係る表示制御部７０によって生成される表示画像例を示す模式図である。なお、図６に示す矢印は、車両が後退するときに得られるオプティカルフローを示している。   An example of a display image generated by such a display control unit 70 will be described. FIG. 6 is a schematic diagram illustrating an example of a display image generated by the display control unit 70 according to the second embodiment. In addition, the arrow shown in FIG. 6 has shown the optical flow obtained when a vehicle reverses.

同図に示すように、映像Ｂ〜Ｄ，Ｈ〜Ｉについては、地面側（斜線部）が伸張され、上空側が圧縮されている。このため、車両後退時には、画像下側から上側に向かって流れるオプティカルフローが強調されることとなる。   As shown in the figure, for the images B to D and H to I, the ground side (shaded portion) is expanded and the sky side is compressed. For this reason, when the vehicle moves backward, the optical flow flowing from the lower side of the image toward the upper side is emphasized.

一方、後方映像Ｅ，Ｆについては、地面側（斜線部）が圧縮され、上空側が伸張されている。このため、後方映像Ｅ，Ｆについては、映像Ｂ〜Ｄ，Ｈ〜Ｉと異なり、上空側が目立つようになっている。しかし、オプティカルフローは、映像の上下を反転させなくとも（第１実施形態のように回転させなくても）、映像Ｂ〜Ｄ，Ｈ〜Ｉと同様に画像下側から上側に向かって流れるように強調され、各映像Ｂ〜Ｉについて強調されるオプティカルフローが統一されることとなる。このため、映像を回転させることなく映像を見やすくしたうえで、強調されるオプティカルフローを統一して車両乗員に与える違和感を軽減することができる。   On the other hand, for the rear images E and F, the ground side (shaded portion) is compressed and the sky side is expanded. Therefore, the rear images E and F are conspicuous on the sky side, unlike the images B to D and H to I. However, the optical flow flows from the lower side of the image to the upper side as in the case of the images B to D and H to I, even if the image is not inverted upside down (not rotated as in the first embodiment). Thus, the optical flow emphasized for each of the videos B to I is unified. For this reason, it is possible to reduce the uncomfortable feeling given to the vehicle occupant by unifying the emphasized optical flow while making it easy to view the image without rotating the image.

次に、第２実施形態に係る設置状態判断方法の詳細を説明する。図７は、第２実施形態に係る設置状態判断装置２の動作の詳細を示すフローチャートである。なお、図７に示すステップＳＴ１１〜ＳＴ１５，ＳＴ２１〜ＳＴ２３の処理は、図５に示したステップＳＴ１〜ＳＴ５，ＳＴ７〜ＳＴ９の処理と同様であるため、説明を省略する。   Next, details of the installation state determination method according to the second embodiment will be described. FIG. 7 is a flowchart showing details of the operation of the installation state determination device 2 according to the second embodiment. Note that the processes in steps ST11 to ST15 and ST21 to ST23 shown in FIG. 7 are the same as the processes in steps ST1 to ST5 and ST7 to ST9 shown in FIG.

光軸を調整した後（ＳＴ１５の後）、設置状態判断装置１は、エンコーダ５３により検出された回転角度から、撮像方向が後方であるか否かを判断する（ＳＴ１６）。撮像方向が後方でないと判断した場合（ＳＴ１６：ＮＯ）、撮像画像の地面側を伸張し上空側を圧縮する（ＳＴ１７）。その後、表示制御部７０は、映像の回転を行い（ＳＴ１８）、処理はステップＳＴ２１に移行する。一方、撮像方向が後方であると判断した場合（ＳＴ１６：ＹＥＳ）、撮像画像の地面側を圧縮し上空側を伸張する（ＳＴ１９）。その後、表示制御部７０は、映像を左右反転させ（ＳＴ２０）、処理はステップＳＴ２１に移行する。   After adjusting the optical axis (after ST15), the installation state determination device 1 determines whether or not the imaging direction is backward based on the rotation angle detected by the encoder 53 (ST16). When it is determined that the imaging direction is not backward (ST16: NO), the ground side of the captured image is expanded and the sky side is compressed (ST17). Thereafter, the display control unit 70 rotates the video (ST18), and the process proceeds to step ST21. On the other hand, when it is determined that the imaging direction is backward (ST16: YES), the ground side of the captured image is compressed and the sky side is expanded (ST19). Thereafter, the display control unit 70 reverses the image horizontally (ST20), and the process proceeds to step ST21.

このようにして、第２実施形態に係る設置状態判断装置２及び方法によれば、第１実施形態と同様に、車載カメラ１０の設置状態を判断することができる。また、好適な映像を取得することができ、容易に調整を行うことができる。また、車両乗員にとって違和感が少ない映像を提供することができる。   Thus, according to the installation state determination device 2 and method according to the second embodiment, the installation state of the in-vehicle camera 10 can be determined as in the first embodiment. Moreover, a suitable image can be acquired and adjustment can be easily performed. In addition, it is possible to provide an image with less discomfort for the vehicle occupant.

さらに、第２実施形態によれば、撮影映像の地面側を伸張し且つ上空側を圧縮して、車載カメラ１０の撮影映像を表示部６０に表示させることとしている。このため、地面部分が目立つようになり、車両駐車時など自車両を駐車枠内に停止させたい場合などには、映像が見やすくなる。従って、好適な情報提示を行うことができる。   Furthermore, according to the second embodiment, the ground side of the captured video is expanded and the sky side is compressed, and the captured image of the in-vehicle camera 10 is displayed on the display unit 60. For this reason, the ground portion becomes conspicuous, and it is easy to see the video when it is desired to stop the own vehicle within the parking frame such as when the vehicle is parked. Therefore, suitable information presentation can be performed.

また、自車両の前方側を撮影して得られた撮影映像の地面側を伸張し且つ上空側を圧縮する。一方、自車両の後方側を撮影して得られた撮影映像の地面側を圧縮し且つ上空側を伸張する。そして、これら両映像を表示させることとしている。ここで、車両が前進又は後退している場合、車両前方映像のオプティカルフローと後方映像のオプティカルフローとは逆になる。このため、両者を共に表示させると、オプティカルフローが逆となる２つの映像を車両乗員に提示することとなり、車両乗員に違和感を与え、ひいては車両乗員に混乱させてしまう可能性がある。ところが、前方映像については地面側を伸張し且つ上空側を圧縮し、後方映像については地面側を圧縮し且つ上空側を伸張することで、前方及び後方映像のうち同一方向に流れるオプティカルフローを強調することとなり、車両乗員に与える違和感を軽減し、混乱を防止することができる。   In addition, the ground side of the captured image obtained by photographing the front side of the host vehicle is expanded and the sky side is compressed. On the other hand, the ground side of the captured image obtained by photographing the rear side of the host vehicle is compressed and the sky side is expanded. These two images are displayed. Here, when the vehicle is moving forward or backward, the optical flow in the vehicle front image and the optical flow in the rear image are reversed. For this reason, if both are displayed together, two images with opposite optical flows will be presented to the vehicle occupant, which may give the vehicle occupant a sense of incongruity and thus confuse the vehicle occupant. However, for the front image, the ground side is expanded and the sky side is compressed, and for the rear image, the ground side is compressed and the sky side is expanded to emphasize the optical flow flowing in the same direction in the front and rear images. As a result, the discomfort given to the vehicle occupant can be reduced and confusion can be prevented.

次に、本発明の第３実施形態を説明する。第３実施形態に係る設置状態判断装置３は、第２実施形態のものと同様であるが、処理内容が異なっている。以下、第２実施形態との相違点を説明する。   Next, a third embodiment of the present invention will be described. The installation state determination device 3 according to the third embodiment is the same as that of the second embodiment, but the processing content is different. Hereinafter, differences from the second embodiment will be described.

図８は、第３実施形態に係る設置状態判断装置３の構成図である。同図に示すように、第３実施形態に係る設置状態判断装置３は、新たに自車両の車速を検出する車速検出部（車速検出手段）８０を備えている。   FIG. 8 is a configuration diagram of the installation state determination device 3 according to the third embodiment. As shown in the figure, the installation state determination device 3 according to the third embodiment further includes a vehicle speed detection unit (vehicle speed detection means) 80 for newly detecting the vehicle speed of the host vehicle.

また、第３実施形態において表示制御部７０は、車速検出部８０により検出された車速が所定速度以下である場合、後方映像について地面側を圧縮し且つ上空側を伸張する処理を禁止し、地面側を伸張し且つ上空側を圧縮する。すなわち、表示制御部７０は、車速が低い場合、後方映像を他の映像と同じように地面が目立つように画像変換して表示部６０に表示させることとなる。   In the third embodiment, when the vehicle speed detected by the vehicle speed detection unit 80 is equal to or lower than the predetermined speed, the display control unit 70 prohibits the process of compressing the ground side and extending the sky side for the rear image. Stretch the side and compress the sky side. That is, when the vehicle speed is low, the display control unit 70 converts the rear video image so that the ground is conspicuous like the other video images, and causes the display unit 60 to display the image.

図９は、第３実施形態に係る表示制御部７０によって生成される表示画像例を示す模式図であり、（ａ）は自車両の車速が所定速度以下である場合を示し、（ｂ）は自車両の車速が所定速度を超える場合を示している。   FIG. 9 is a schematic diagram illustrating an example of a display image generated by the display control unit 70 according to the third embodiment. FIG. 9A illustrates a case where the vehicle speed of the host vehicle is equal to or lower than a predetermined speed, and FIG. The case where the vehicle speed of the own vehicle exceeds a predetermined speed is shown.

自車両の車速が所定速度以下である場合、表示制御部７０は、後方の映像を他の方向の映像を同じように画像変換する。すなわち、図９（ａ）に示すように、表示制御部７０は、全方向の映像について、地面側を伸張し且つ上空側を圧縮する。一方、自車両の車速が所定速度を超える場合、後方映像については地面側を圧縮し且つ上空側を伸張する。このため、図９（ｂ）に示すように、表示制御部７０は、第２実施形態の表示画像例と同様の画像を表示部６０に表示させることとなる。   When the vehicle speed of the host vehicle is equal to or lower than the predetermined speed, the display control unit 70 converts the rear image into the image in the other direction in the same manner. That is, as shown in FIG. 9A, the display control unit 70 expands the ground side and compresses the sky side of the omnidirectional video. On the other hand, when the vehicle speed of the host vehicle exceeds a predetermined speed, the rear image is compressed on the ground side and expanded on the sky side. Therefore, as shown in FIG. 9B, the display control unit 70 causes the display unit 60 to display an image similar to the display image example of the second embodiment.

図１０は、第３実施形態に係る設置状態判断装置３の動作の詳細を示すフローチャートである。なお、図１０に示すステップＳＴ３１〜ＳＴ３８，ＳＴ４０〜ＳＴ４４の処理は、図７に示したステップＳＴ１１〜ＳＴ１８，ＳＴ１９〜ＳＴ２３の処理と同様であるため、説明を省略する。   FIG. 10 is a flowchart showing details of the operation of the installation state determination device 3 according to the third embodiment. Note that the processes in steps ST31 to ST38 and ST40 to ST44 shown in FIG. 10 are the same as the processes in steps ST11 to ST18 and ST19 to ST23 shown in FIG.

撮像方向が後方であると判断した後（ＳＴ３６「ＹＥＳ」の後）、表示制御部７０は、車速検出部８０からの信号を読み込んで、自車両の車速が所定速度以下であるか否かを判断する（ＳＴ３９）。自車両の車速が所定速度以下であると判断した場合（ＳＴ３９：ＹＥＳ）、処理はステップＳＴ３７に移行し、表示制御部７０は図９（ａ）に示すように後方映像についても他の方向の映像を同じように地面側を伸張し上空側を圧縮する。   After determining that the imaging direction is backward (after ST36 “YES”), display control unit 70 reads a signal from vehicle speed detection unit 80 to determine whether the vehicle speed of the host vehicle is equal to or lower than a predetermined speed. Judgment is made (ST39). If it is determined that the vehicle speed of the host vehicle is equal to or lower than the predetermined speed (ST39: YES), the process proceeds to step ST37, and the display control unit 70 also displays the rear video in another direction as shown in FIG. Similarly, the image is stretched on the ground side and compressed on the sky side.

一方、自車両の車速が所定速度以下でないと判断した場合（ＳＴ３９：ＮＯ）、処理はステップＳＴ４０に移行し、表示制御部７０は図９（ｂ）に示すように後方映像の地面側を圧縮し上空側を伸張する。   On the other hand, when it is determined that the vehicle speed of the host vehicle is not equal to or lower than the predetermined speed (ST39: NO), the process proceeds to step ST40, and the display control unit 70 compresses the ground side of the rear image as shown in FIG. 9B. Then stretch the sky side.

このようにして、第３実施形態に係る設置状態判断装置３及び方法によれば、第２実施形態と同様に、車載カメラ１０の設置状態を判断することができる。また、好適な映像を取得することができ、容易に調整を行うことができる。また、車両乗員にとって違和感が少ない映像を提供することができ、好適な情報提示を行うことができる。また、車両乗員に与える違和感を軽減し、混乱を防止することができる。   In this way, according to the installation state determination device 3 and the method according to the third embodiment, the installation state of the in-vehicle camera 10 can be determined as in the second embodiment. Moreover, a suitable image can be acquired and adjustment can be easily performed. In addition, it is possible to provide a video with less discomfort for the vehicle occupant and to provide suitable information presentation. Moreover, the sense of incongruity given to the vehicle occupant can be reduced, and confusion can be prevented.

さらに、第３実施形態によれば、自車両の車速が所定速度以下である場合、自車両の後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止することとしている。このため、車両が微速走行している場合など、車両の移動量自体が少なく、オプティカルフローが逆となる２つの映像を提示しても違和感を与えにくい場合には、後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止することとなる。これにより、車両を駐車させるときなどの微速時において地面側の圧縮がなく、地面を見やすい映像が提示されることとなる。従って、駐車時等において車両後方を正確に把握することができる。   Furthermore, according to the third embodiment, when the vehicle speed of the host vehicle is equal to or lower than a predetermined speed, it is prohibited to compress the ground side and extend the sky side of the captured image on the rear side of the host vehicle. For this reason, when the vehicle is traveling at a low speed, if the amount of movement of the vehicle itself is small and it is difficult to give a sense of incongruity even when two images with opposite optical flows are presented, It is prohibited to compress the side and expand the sky side. Thereby, there is no compression on the ground side at a slow speed such as when the vehicle is parked, and an image that makes it easy to see the ground is presented. Therefore, it is possible to accurately grasp the rear of the vehicle when parking or the like.

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、図４などに示すように、自車両画像Ａの周囲に撮影映像Ｂ〜Ｉを表示する形式になっているが、これに限らず、単に左右の車載カメラ１０により撮影された映像を表示部６０に表示させる形式であってもよく、他の表示形式であってもよい。   As described above, the present invention has been described based on the embodiment, but the present invention is not limited to the above embodiment, and may be modified without departing from the gist of the present invention. For example, in the above-described embodiment, as shown in FIG. 4 and the like, the captured images B to I are displayed around the host vehicle image A. However, the present invention is not limited to this. The displayed image may be displayed on the display unit 60 or another display format.

また、上記実施形態の設置状態調整部５０は、光軸を調整する構成になっていたが、この構成に限るものでなく、例えば光軸を変化させず光軸を中心に車載カメラ１０を回転させるなどの調整機構を備えていてもよい。   In addition, the installation state adjustment unit 50 of the above embodiment is configured to adjust the optical axis, but is not limited to this configuration, for example, the vehicle-mounted camera 10 is rotated around the optical axis without changing the optical axis. An adjustment mechanism such as for example may be provided.

本発明の実施形態に係る設置状態判断装置の構成図である。It is a block diagram of the installation state judgment apparatus which concerns on embodiment of this invention. 図１に示した車載カメラ及び設置状態調整部の詳細構成図である。It is a detailed block diagram of the vehicle-mounted camera and installation state adjustment part shown in FIG. 図１に示した車載カメラによる撮影方向を示す上面図である。It is a top view which shows the imaging | photography direction with the vehicle-mounted camera shown in FIG. 図１に示した表示部の表示画像例を示す模式図である。It is a schematic diagram which shows the example of a display image of the display part shown in FIG. 本実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of operation | movement of the installation state judgment apparatus which concerns on this embodiment. 第２実施形態に係る表示制御部によって生成される表示画像例を示す模式図である。It is a schematic diagram which shows the example of a display image produced | generated by the display control part which concerns on 2nd Embodiment. 第２実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of operation | movement of the installation state judgment apparatus which concerns on 2nd Embodiment. 第３実施形態に係る設置状態判断装置の構成図である。It is a block diagram of the installation state judgment apparatus which concerns on 3rd Embodiment. 第３実施形態に係る表示制御部によって生成される表示画像例を示す模式図であり、（ａ）は自車両の車速が所定速度以下である場合を示し、（ｂ）は自車両の車速が所定速度を超える場合を示している。It is a schematic diagram which shows the example of a display image produced | generated by the display control part which concerns on 3rd Embodiment, (a) shows the case where the vehicle speed of the own vehicle is below predetermined speed, (b) shows the vehicle speed of the own vehicle. The case where the predetermined speed is exceeded is shown. 第３実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of operation | movement of the installation state judgment apparatus which concerns on 3rd Embodiment.

符号の説明Explanation of symbols

１〜３…設置状態判断装置
１０…車載カメラ（撮影手段）
２０…オプティカルフロー算出部（オプティカルフロー算出手段）
３０…記憶部（記憶手段）
４０…設置状態判断部（設置状態判断手段）
５０…設置状態調整部（設置状態調整手段）
６０…表示部（表示手段）
７０…表示制御部（表示制御手段）
８０…車速検出部（車速検出手段）
1-3 ... Installation state determination device 10 ... In-vehicle camera (photographing means)
20: Optical flow calculation unit (optical flow calculation means)
30 ... Storage section (storage means)
40... Installation state determination unit (installation state determination means)
50... Installation state adjustment unit (installation state adjustment means)
60. Display section (display means)
70: Display control unit (display control means)
80: Vehicle speed detection unit (vehicle speed detection means)

Claims (8)

車両に設置されて車両外側を撮影する撮影手段と、
前記撮影手段により撮影された映像からオプティカルフローを求めるオプティカルフロー算出手段と、
正規の設置状態であるときの撮影手段の撮影映像から求められるオプティカルフローを記憶する記憶手段と、
前記オプティカルフロー算出手段により求められたオプティカルフローと前記記憶手段により記憶されたオプティカルフローとを比較して前記撮影手段の設置状態を判断する設置状態判断手段と、
を備えることを特徴とする設置状態判断装置。 Photographing means installed in the vehicle for photographing the outside of the vehicle;
An optical flow calculating means for obtaining an optical flow from the video imaged by the imaging means;
Storage means for storing an optical flow obtained from a photographed image of the photographing means when in a regular installation state;
An installation state determination unit that determines an installation state of the photographing unit by comparing the optical flow obtained by the optical flow calculation unit with the optical flow stored in the storage unit;
An installation state determination device comprising: 前記撮像手段の設置状態を調整する設置状態調整手段をさらに備え、
前記設置状態調整手段は、前記設置状態判断手段により判断された設置状態に基づいて、前記撮影手段を正規の設置状態に調整する
ことを特徴とする請求項１に記載の設置状態判断装置。 An installation state adjusting means for adjusting an installation state of the imaging means;
The installation state determination device according to claim 1, wherein the installation state adjustment unit adjusts the photographing unit to a normal installation state based on the installation state determined by the installation state determination unit. 前記撮影手段は、撮影方向を変更可能に構成され、
前記設置状態調整手段は、１の撮影方向について前記設置状態判断手段により判断された設置状態に基づいて前記撮影手段を正規の設置状態に調整した場合、この設置状態の調整に基づいて他の撮影方向について調整を行う
ことを特徴とする請求項２に記載の設置状態判断装置。 The photographing means is configured to change a photographing direction,
The installation state adjusting unit adjusts the image capturing unit to a normal installation state based on the installation state determined by the installation state determination unit for one shooting direction. The installation state determination device according to claim 2, wherein the direction is adjusted. 前記撮影手段の撮影映像を表示する表示手段と、
前記表示手段に表示させる表示映像を生成する表示制御手段と、をさらに備え、
前記記憶手段は、車両乗員の視点から前記撮影手段の撮影領域を視認した場合のオプティカルフローを記憶し、
前記表示制御手段は、前記撮影手段の撮影映像を前記表示手段に表示させるにあたり、前記撮影手段により撮影された映像を座標変換して、映像内のオプティカルフローを前記記憶手段により記憶されたオプティカルフローに合致させる
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の設置状態判断装置。 Display means for displaying a photographed image of the photographing means;
Display control means for generating a display video to be displayed on the display means,
The storage means stores an optical flow when the imaging area of the imaging means is viewed from the viewpoint of a vehicle occupant,
The display control means, when displaying the captured image of the imaging means on the display means, coordinate-converts the image captured by the imaging means, and the optical flow stored in the storage means by the optical flow stored in the storage means The installation state determination device according to any one of claims 1 to 3, characterized in that 前記表示制御手段は、前記撮影手段の撮影映像の地面側を伸張し且つ上空側を圧縮して、前記撮影手段の撮影映像を前記表示手段に表示させることを特徴とする請求項４に記載の設置状態判断装置。   5. The display control unit according to claim 4, wherein the display control unit expands the ground side of the captured image of the imaging unit and compresses the sky side so that the captured image of the imaging unit is displayed on the display unit. Installation state judgment device. 前記撮影手段は、自車両の前方側と後方側とを撮影し、
前記表示制御手段は、自車両の前方側を撮影して得られた撮影映像の地面側を伸張し且つ上空側を圧縮し、自車両の後方側を撮影して得られた撮影映像の地面側を圧縮し且つ上空側を伸張して、これら両映像を前記表示手段に表示させる
ことを特徴とする請求項５に記載の設置状態判断装置。 The photographing means photographs the front side and the rear side of the host vehicle,
The display control means expands the ground side of a photographed image obtained by photographing the front side of the host vehicle and compresses the sky side, and ground side of the photographed image obtained by photographing the rear side of the host vehicle. The installation state determination device according to claim 5, wherein the image is compressed and the sky side is expanded to display both the images on the display unit. 自車両の車速を検出する車速検出手段をさらに備え、
前記表示制御手段は、前記車速検出手段により検出された自車両の車速が所定速度以下である場合、自車両の後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止する
ことを特徴とする請求項６に記載の設置状態判断装置。 It further comprises vehicle speed detecting means for detecting the vehicle speed of the host vehicle,
When the vehicle speed of the host vehicle detected by the vehicle speed detecting unit is equal to or lower than a predetermined speed, the display control unit prohibits compression of the ground side and expansion of the sky side in the captured image on the rear side of the host vehicle. The installation state determination apparatus according to claim 6. 撮影手段により車両外側を撮影する撮影ステップと、
前記撮影ステップにおいて撮影された映像からオプティカルフローを求めるオプティカルフロー算出ステップと、
前記撮影手段が正規の設置状態であるときに該撮影手段の撮影映像から求められるオプティカルフローと、前記オプティカルフロー算出手段により求められたオプティカルフローとを比較して前記撮影手段の設置状態を判断する設置状態判断ステップと、
を有することを特徴とする設置状態判断方法。
A photographing step of photographing the outside of the vehicle by photographing means;
An optical flow calculating step for obtaining an optical flow from the video imaged in the imaging step;
The installation state of the imaging unit is determined by comparing the optical flow obtained from the captured image of the imaging unit when the imaging unit is in a normal installation state with the optical flow obtained by the optical flow calculation unit. Installation state judgment step;
An installation state determination method characterized by comprising:
JP2005191762A 2005-06-30 2005-06-30 System and method for determining set state Pending JP2007008325A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005191762A JP2007008325A (en) 2005-06-30 2005-06-30 System and method for determining set state

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005191762A JP2007008325A (en) 2005-06-30 2005-06-30 System and method for determining set state

Publications (1)

Publication Number Publication Date
JP2007008325A true JP2007008325A (en) 2007-01-18

Family

ID=37747370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005191762A Pending JP2007008325A (en) 2005-06-30 2005-06-30 System and method for determining set state

Country Status (1)

Country Link
JP (1) JP2007008325A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055436A (en) * 2007-08-28 2009-03-12 Pioneer Electronic Corp Photographing direction determining device, and photographing direction determining program
JP2012030687A (en) * 2010-07-30 2012-02-16 Fujitsu Ten Ltd Detection device and detection method
JP2014119883A (en) * 2012-12-14 2014-06-30 Fujitsu General Ltd Image data conversion device, navigation system, camera device and vehicle
WO2015118806A1 (en) * 2014-02-06 2015-08-13 株式会社デンソー Image analysis apparatus and image analysis method
JP2016220021A (en) * 2015-05-20 2016-12-22 株式会社デンソー Image display device
JP2019121030A (en) * 2017-12-28 2019-07-22 株式会社デンソーテン Camera deviation detection device, camera deviation detection method, and irregularity detection device

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009055436A (en) * 2007-08-28 2009-03-12 Pioneer Electronic Corp Photographing direction determining device, and photographing direction determining program
JP2012030687A (en) * 2010-07-30 2012-02-16 Fujitsu Ten Ltd Detection device and detection method
JP2014119883A (en) * 2012-12-14 2014-06-30 Fujitsu General Ltd Image data conversion device, navigation system, camera device and vehicle
WO2015118806A1 (en) * 2014-02-06 2015-08-13 株式会社デンソー Image analysis apparatus and image analysis method
JP2015149614A (en) * 2014-02-06 2015-08-20 株式会社デンソー image analysis apparatus, and image analysis method
US20160347251A1 (en) * 2014-02-06 2016-12-01 Denso Corporation Image analysis apparatus and image analysis method
US10220782B2 (en) * 2014-02-06 2019-03-05 Denso Corporation Image analysis apparatus and image analysis method
JP2016220021A (en) * 2015-05-20 2016-12-22 株式会社デンソー Image display device
JP2019121030A (en) * 2017-12-28 2019-07-22 株式会社デンソーテン Camera deviation detection device, camera deviation detection method, and irregularity detection device

Similar Documents

Publication Publication Date Title
JP5120880B2 (en) Image processing apparatus and image processing method
JP5627253B2 (en) Image processing apparatus, electronic apparatus, and image processing method
JP5341789B2 (en) Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program
JP5143009B2 (en) Video display device and video display method
JP4606322B2 (en) Vehicle driving support device
JP2001218197A (en) Device for displaying periphery of vehicle
JP2007008325A (en) System and method for determining set state
JP2016168877A (en) Visual recognition device for vehicle
JP2020028027A (en) Periphery display device for vehicle
JP2004194071A (en) Drive support image generator
JP2006333009A (en) Overlooking picture display and overlooking picture displaying method
JP2000101895A (en) Image signal photographing device and its method
US20150288949A1 (en) Image generating apparatus, imaging apparatus, and image generating method
JP2008281385A (en) Image processing device
KR101504335B1 (en) Device, method and vehicle for providing around view
JP2007221199A (en) On-vehicle camera display device and image processing unit
JP6118936B2 (en) Image processing device
JP2010130413A (en) Peripheral state display device
KR102671221B1 (en) Image processing device, camera system and image processing method
JP4859974B2 (en) Information processing apparatus, print system, and image composition method
JP4557712B2 (en) Driving support system
JP2010147523A (en) Device for generating bird&#39;s-eye view image around vehicle
JP2000188705A (en) Electronic still camera
CN111800618B (en) Reversing image processing method and reversing image processing system
JP4478952B2 (en) Printing system