JP2018160848A - Control method for display unit and display unit - Google Patents
Control method for display unit and display unit Download PDFInfo
- Publication number
- JP2018160848A JP2018160848A JP2017058028A JP2017058028A JP2018160848A JP 2018160848 A JP2018160848 A JP 2018160848A JP 2017058028 A JP2017058028 A JP 2017058028A JP 2017058028 A JP2017058028 A JP 2017058028A JP 2018160848 A JP2018160848 A JP 2018160848A
- Authority
- JP
- Japan
- Prior art keywords
- host vehicle
- coordinate system
- camera
- change
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、表示装置の制御方法及び表示装置に関するものである。 The present invention relates to a display device control method and a display device.
移動体の姿勢の変化量に応じて、予め定義された基準立体座標系を変形させた変形立体座標系を設定し、変形した変形立体座標系に撮像画像を投影した映像を表示する技術が知られている（特許文献１）。 A technology is known in which a modified 3D coordinate system obtained by deforming a predefined reference 3D coordinate system is set in accordance with the amount of change in the posture of a moving object, and an image obtained by projecting a captured image on the deformed 3D coordinate system is displayed. (Patent Document 1).
従来技術では、基準立体座標系の座標軸を傾斜させることで、変形立体座標系を設定している。そのため、移動体の姿勢の変化量によっては、変形立体座標系に撮像画像を投影すると、撮像画像間の不連続な繋がりが発生し、移動体の乗員に違和感を与えてしまうという問題がある。 In the prior art, the modified solid coordinate system is set by inclining the coordinate axes of the reference solid coordinate system. Therefore, depending on the amount of change in the posture of the moving body, when the captured image is projected onto the deformed three-dimensional coordinate system, there is a problem that discontinuous connection between the captured images occurs, and the occupant of the moving body is uncomfortable.
本発明が解決しようとする課題は、移動体の乗員に違和感を与えることを抑制することである。 The problem to be solved by the present invention is to suppress giving a sense of incongruity to a passenger of a moving body.
本発明は、移動体の姿勢の変化量が所定値よりも小さい移動体の部分に、予め定義された基準立体座標系の回転中心を設定し、移動体の姿勢の変化量に応じて、基準立体座標系を回転移動させた回転立体座標系を設定し、回転立体座標系に撮像画像を投影した映像を表示することにより、上記課題を解決する。 The present invention sets a rotation center of a predefined reference solid coordinate system in a part of a moving body in which the change amount of the posture of the moving body is smaller than a predetermined value. The above-described problem is solved by setting a rotating solid coordinate system obtained by rotating the solid coordinate system and displaying an image obtained by projecting a captured image on the rotating solid coordinate system.
本発明によれば、移動体の乗員に違和感を与えることを抑制できる。 ADVANTAGE OF THE INVENTION According to this invention, it can suppress giving a discomfort to the passenger | crew of a moving body.
≪第１実施形態≫
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム１に適用した場合を例にして説明する。本実施形態の表示システム１は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。
<< First Embodiment >>
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the display device according to the present invention is applied to a
図１は、本実施形態に係る表示装置１００を含む表示システム１のブロック構成図である。図１に示すように、本実施形態の表示システム１は、表示装置１００と、移動体装置２００とを備える。表示装置１００と移動体装置２００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。
FIG. 1 is a block configuration diagram of a
本実施形態の表示システム１が適用される移動体は、車両、海底探査機、装甲車、列車、フォークリフトその他の移動機能を備えるものを含む。本実施形態では、移動体が車両である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
The moving body to which the
なお、本実施形態の表示システム１は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム１の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
Note that the
図１に示すように、本実施形態の移動体装置２００は、カメラ２０と、コントローラ３０と、センサ４０と、ナビゲーション装置５０と、乗員操作装置６０と、ディスプレイ７０と、を備える。これらの各装置はＣＡＮ（Controller Area Network）その他の移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。
As shown in FIG. 1, the mobile device 200 of this embodiment includes a
本実施形態のカメラ２０は、車両（移動体の一例である。以下同じ）の所定位置に設けられている。カメラ２０は車両に少なくとも２つ設ければよく、設置した２つのカメラは互いに対向する位置にあるのが好ましい。車両に搭載されたカメラ２０は、車両及び／又は車両の周囲を撮像し、その撮像画像を表示装置１００に送出する。本実施形態における撮像画像は、車両の一部と車両の周囲の映像を含む。撮像画像のデータは、車両の周囲の地表との位置関係の算出処理、車両又は車両の周囲の映像の生成処理に用いられる。
The
図２は、自車両Ｖに搭載されたカメラ２０の設置位置の一例を示す図である。図２（Ａ）は自車両Ｖの正面図であり、図２（Ｂ）は自車両Ｖの左側面図であり、図２（Ｃ）は自車両Ｖの上面図である。図２（Ａ）〜（Ｃ）に示すように、自車両Ｖには、自車両Ｖの前方に前方カメラ２１が設置され、自車両Ｖの後方に後方カメラ２２が設置されており、前方カメラ２１と後方カメラ２２は対向している。また、自車両Ｖには、自車両Ｖの左側に左方カメラ２３が設置され、自車両Ｖの右側に右方カメラ２４が設置されており、左方カメラ２３と右方カメラ２４は対向している。同図に示す例では、前方カメラ２１は自車両Ｖのバンパーに設置され、後方カメラ２２は自車両Ｖのリアウィンド周辺に設置され、左方カメラ２３は左側ドアミラーに設置され、右方カメラ２４は右側ドアミラーに設置されている。なお、カメラ２０の設置位置は特に限定されず、その設置位置を任意に変更できる。
FIG. 2 is a diagram illustrating an example of an installation position of the
また、カメラ２０は、広角レンズを有しており、車両の周辺の対象物を撮像する。カメラ２０には、例えば、ＣＣＤカメラやＣＭＯＳカメラが挙げられる。同図に示す例では、前方カメラ２１は自車両Ｖの前方を撮像し、後方カメラ２２は自車両Ｖの後方を撮像し、左方カメラ２３は自車両Ｖの左側を撮像し、右方カメラ２４は自車両Ｖの右側を撮像する。なお、カメラ２０が撮像する方向は特に限定されず、その撮像方向を任意に設定できる。各カメラ２０は後述する制御装置１０からの指令又は予め設定されたタイミングで撮像画像を表示装置１００へ送出する。
Moreover, the
本実施形態において、カメラ２０が撮像した撮像画像は、映像の生成に用いられるほか、対象物の検出、及び対象物までの距離の計測に用いられる。本実施形態のカメラ２０の撮像画像は、車両の周囲の対象物の映像を含む。本実施形態における対象物は、移動体周囲の地表、移動体周囲の物体を含む。
In the present embodiment, the captured image captured by the
本実施形態において「地表」は、地球の表面、地球の地殻（土地）の表面を含む概念を示す用語である。本実施形態の用語「地表」は、陸地の表面、海の表面、河又は川の表面、湖の表面、海底の表面、道路の表面、駐車場の表面、ポートの表面、又はこれらのうち二つ以上を含む面を含む。なお、移動体が倉庫や工場などの施設（建屋）の屋内に存在する場合において、本実施形態の用語「地表」は、その施設の床面、壁面を含む意味を有する。「表面」とは、撮像時にカメラ２０側に表出される面である。また、対象物は、自車両Ｖの周囲に存在する他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体を含む。
In the present embodiment, the “ground surface” is a term indicating a concept including the surface of the earth and the surface of the earth's crust (land). The term “surface” of the present embodiment refers to a land surface, a sea surface, a river or river surface, a lake surface, a seabed surface, a road surface, a parking lot surface, a port surface, or two of these. Includes faces that contain more than one. In addition, when the moving body is present indoors in a facility (building) such as a warehouse or a factory, the term “ground surface” in the present embodiment has a meaning including the floor surface and wall surface of the facility. The “surface” is a surface that is exposed to the
本実施形態のカメラ２０は、画像処理装置２０１を備える。画像処理装置２０１は、カメラ２０の撮像画像のデータからエッジ、色、形状、大きさなどの特徴を抽出し、抽出した特徴から撮像画像に含まれる対象物の属性を特定する。画像処理装置２０１は、各対象物の特徴を予め記憶し、パターンマッチング処理により撮像画像に含まれる対象物を特定する。撮像画像のデータを用いて対象物の存在を検出する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。画像処理装置２０１は、カメラ２０の撮像画像のデータから抽出した特徴点の位置又は位置の経時的な変化から自車両から対象物までの距離を算出する。距離を算出する際に、画像処理装置２０１は、カメラ２０の設置位置、光軸方向、撮像特性などの撮像パラメータを用いる。撮像画像のデータを用いて対象物までの距離を計測する手法は、特に限定されず、本願出願時に知られた手法を適宜に用いることができる。例えば、画像処理装置２０１は、車線の太さや、路面に描かれた標識の大きさから、自車両から対象物の距離を算出する。
The
本実施形態では、自車両Ｖとの位置関係を算出するためのデータを取得する手段として、測距装置２０２を備えてもよい。測距装置２０２は、カメラ２０とともに使用してもよいし、カメラ２０に代えて使用してもよい。測距装置２０２は、自車両Ｖの周囲に存在する対象物を検出し、対象物と自車両Ｖとの距離を計測する。つまり、測距装置２０２は、自車両Ｖの周囲の対象物を検出する機能を備える。測距装置２０２は、自車両Ｖから陸地の表面、海の表面、河又は川の表面、道路の表面までの距離を計測する。測距装置２０２は、自車両Ｖから他車両、歩行者、道路構造物、駐車場、標識、施設、その他の物体までの距離を計測する。測距装置２０２は、計測した対象物までの測距データを表示装置１００に送出する。
In the present embodiment, the distance measuring device 202 may be provided as means for acquiring data for calculating the positional relationship with the host vehicle V. The distance measuring device 202 may be used together with the
測距装置２０２は、レーダー測距装置であってもよいし、超音波測距装置であってもよい。本願出願時に知られた測距手法を利用できる。自車両Ｖに測距装置２０２を設置する測距装置２０２の個数は特に限定されない。また、自車両Ｖに測距装置２０２を設置する測距装置２０２の設置位置も、特に限定されない。測距装置２０２は、図２に示すカメラ２０の設置位置に対応する位置又はその近傍に設けてもよい。
The distance measuring device 202 may be a radar distance measuring device or an ultrasonic distance measuring device. A ranging method known at the time of filing of the present application can be used. The number of ranging devices 202 that install the ranging device 202 on the host vehicle V is not particularly limited. Also, the installation position of the distance measuring device 202 that installs the distance measuring device 202 in the host vehicle V is not particularly limited. The distance measuring device 202 may be provided at a position corresponding to the installation position of the
本実施形態のコントローラ３０は、自車両Ｖを含む移動体の動作を制御する。コントローラ３０は、後述するセンサ４０の検出情報を含む、移動体の動作に関する各情報を集中的に管理する。 The controller 30 of this embodiment controls the operation of the moving object including the host vehicle V. The controller 30 centrally manages each piece of information related to the operation of the moving object, including detection information of the sensor 40 described later.
本実施形態のセンサ４０は、速度センサ４１と、前後加速度センサ４２と、横加速度センサ４３と、操舵角センサ４４と、姿勢センサ４５を含む。速度センサ４１は、自車両Ｖの移動速度を検出する。前後加速度センサ４２は、自車両Ｖの前後方向の加速度を検出する。横加速度センサ４３は、自車両Ｖの横方向（左右方向）の加速度を検出する。操舵角センサ４４は、自車両Ｖの右又は左方向への移動制御が開始されるトリガを検出する。自車両Ｖの速度の変化、加速度の変化、操舵角の変化、横加速度の変化は、自車両Ｖの姿勢に影響を与える。たとえば、自車両Ｖは、アクセルを踏んで加速操作を実行すると姿勢が変化する。反対にアクセルの踏み込み量を小さくしてエンジンのトルクを減少させても姿勢は変化する。表示装置１００は、速度センサ４１、前後加速度センサ４２、横加速度センサ４３、操舵角センサ４４の検出値から自車両Ｖの姿勢の変化を算出することができる。 The sensor 40 of the present embodiment includes a speed sensor 41, a longitudinal acceleration sensor 42, a lateral acceleration sensor 43, a steering angle sensor 44, and an attitude sensor 45. The speed sensor 41 detects the moving speed of the host vehicle V. The longitudinal acceleration sensor 42 detects the longitudinal acceleration of the host vehicle V. The lateral acceleration sensor 43 detects the acceleration in the lateral direction (left-right direction) of the host vehicle V. The steering angle sensor 44 detects a trigger for starting movement control of the host vehicle V in the right or left direction. Changes in the speed of the host vehicle V, changes in acceleration, changes in steering angle, and changes in lateral acceleration affect the posture of the host vehicle V. For example, when the host vehicle V executes an acceleration operation by stepping on an accelerator, the posture of the host vehicle V changes. On the other hand, the posture changes even if the amount of depression of the accelerator is reduced to reduce the engine torque. The display device 100 can calculate a change in posture of the host vehicle V from detection values of the speed sensor 41, the longitudinal acceleration sensor 42, the lateral acceleration sensor 43, and the steering angle sensor 44.
また、姿勢センサ４５は、自車両Ｖの重量、重心、ホイールベースなどの車体構造と、ピッチング角、ヨー角、サスペンションストローク量などの車両の姿勢に関する情報に基づいて、自車両Ｖの姿勢を検出する。自車両Ｖの姿勢は、予め定義した評価値によって表現できる。自車両Ｖの姿勢の評価手法、姿勢の変化量の計測手法は、特に限定されない。自車両Ｖの姿勢の変化量を求めるために、横滑り防止装置、アンチロック・ブレーキシステム、空転防止装置その他の車両挙動制御装置が備える姿勢検出装置が検出した、車両の姿勢に関する検出結果を利用してもよい。 The attitude sensor 45 detects the attitude of the host vehicle V based on the vehicle body structure such as the weight, the center of gravity, and the wheel base of the host vehicle V and information on the vehicle attitude such as the pitching angle, yaw angle, and suspension stroke amount. To do. The posture of the host vehicle V can be expressed by a predefined evaluation value. The posture evaluation method and the posture change measurement method of the host vehicle V are not particularly limited. In order to determine the amount of change in the posture of the host vehicle V, the detection result related to the posture of the vehicle detected by the posture detection device included in the skid prevention device, the anti-lock / brake system, the anti-skid device and other vehicle behavior control devices is used. May be.
本実施形態のナビゲーション装置５０は、ＧＰＳ（Global Positioning System）５１１を備える位置検出装置５１と、地図情報５２と、道路情報５３と、地形情報５４と、を有する。本実施形態の地図情報５２は、地点と、道路、構造物、施設などが対応づけられた情報である。ナビゲーション装置５０は、地図情報５２を参照し、位置検出装置５１により検出された自車両Ｖの現在位置から目的地までの経路を求め、自車両Ｖを誘導する機能を備える。 The navigation device 50 according to the present embodiment includes a position detection device 51 including a GPS (Global Positioning System) 511, map information 52, road information 53, and terrain information 54. The map information 52 of this embodiment is information in which points are associated with roads, structures, facilities, and the like. The navigation device 50 has a function of referring to the map information 52, obtaining a route from the current position of the host vehicle V detected by the position detection device 51 to the destination, and guiding the host vehicle V.
本実施形態の道路情報５３は、位置情報と道路の曲率、傾斜などの情報が対応づけられた情報である。本実施形態の道路情報５３は、道路の曲率、傾斜が変化する位置と、その道路の曲率、傾斜変化量とを対応づけた情報を含んでもよい。ナビゲーション装置５０は、道路情報５３を参照し、位置検出装置５１により検出された現在位置において、自車両Ｖが走行する道路の曲率、傾斜角度の情報を得る。自車両Ｖが走行する道路の曲率、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。 The road information 53 of the present embodiment is information in which position information is associated with information such as road curvature and inclination. The road information 53 of the present embodiment may include information in which the road curvature and inclination change position and the road curvature and inclination change amount are associated with each other. The navigation device 50 refers to the road information 53, and obtains information on the curvature and inclination angle of the road on which the host vehicle V is traveling at the current position detected by the position detection device 51. Information on the curvature and inclination angle of the road on which the host vehicle V travels can be used as information for determining the attitude of the host vehicle V.
本実施形態の地形情報５４は、位置情報ごとに、その位置の高度、その位置を含む領域の傾斜角度が対応づけられた情報である。本実施形態の地形情報５４は、位置の高度、その位置を含む領域の傾斜角度が変化する位置と、その位置の高度の変化量、その位置を含む領域の傾斜角度の変化量とを対応づけた情報を含んでもよい。本実施形態のナビゲーション装置５０は、地形情報５４を参照し、位置検出装置５１により検出された現在位置の高度、傾斜角度を得る。現在、自車両Ｖが存在する地点の高度、傾斜角度の情報は、自車両Ｖの姿勢を求める情報として利用できる。 The landform information 54 of the present embodiment is information in which the position altitude and the inclination angle of the region including the position are associated with each position information. The terrain information 54 of the present embodiment associates the altitude of the position, the position where the tilt angle of the area including the position changes, the change amount of the altitude of the position, and the change amount of the tilt angle of the area including the position. Information may also be included. The navigation device 50 of this embodiment refers to the terrain information 54 and obtains the altitude and the inclination angle of the current position detected by the position detection device 51. Currently, the information on the altitude and the inclination angle at the point where the host vehicle V exists can be used as information for determining the attitude of the host vehicle V.
本実施形態の乗員操作装置６０は、表示装置１００が起動する表示スイッチであり、自車両Ｖの乗員により操作される。表示スイッチがオンすると、表示装置１００は起動し、ディスプレイ７０に映像を表示する。反対に、スイッチがオフすると、表示装置１００は停止し、ディスプレイ７０に映像を表示しない。また、乗員操作装置６０は、後述する基準立体座標系を選択する構成や、仮想視点を設定する構成を備えていてもよい。 The occupant operation device 60 of the present embodiment is a display switch that is activated by the display device 100 and is operated by an occupant of the host vehicle V. When the display switch is turned on, the display device 100 is activated and displays an image on the display 70. On the contrary, when the switch is turned off, the display device 100 stops and does not display an image on the display 70. Further, the occupant operating device 60 may have a configuration for selecting a later-described reference solid coordinate system or a configuration for setting a virtual viewpoint.
本実施形態のディスプレイ７０は、後述する表示装置１００が生成した、任意の仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を表示する。なお、本実施形態では、ディスプレイ７０を移動体に搭載させた表示システム１を例にして説明するが、移動体に持ち込み可能な可搬の表示装置１００側にディスプレイ７０を設けてもよい。
The display 70 of the present embodiment displays a video generated by the display device 100 described later and viewed from the arbitrary virtual viewpoint and the surroundings of the host vehicle V. In the present embodiment, the
次に、本実施形態の表示装置１００について説明する。本実施形態の表示装置１００は、制御装置１０を備える。 Next, the display device 100 of this embodiment will be described. The display device 100 of this embodiment includes a control device 10.
図１に示すように、本実施形態に係る表示装置１００の制御装置１０は、移動体及びその周囲の映像を表示させるプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭ１２に格納されたプログラムを実行することで、表示装置１００の機能を実現させる動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備える。なお、動作回路として、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いてもよい。また、制御装置１０は、画像処理を実行するＧＰＵ（Graphics Processing Unit）を備えてもよい。
As shown in FIG. 1, the control device 10 of the display device 100 according to the present embodiment stores a ROM (Read Only Memory) 12 in which a program for displaying a moving body and surrounding images is stored, and the
本実施形態に係る表示装置１００の制御装置１０は、画像取得機能と、姿勢算出機能と、座標系設定機能と、回転中心設定機能と、座標系補正機能と、表示制御機能とを実現する。本実施形態の制御装置１０は、さらに情報取得機能を備える。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。以降では、自車両Ｖの乗員が乗員操作装置６０を操作して、表示スイッチはオンしているものとして説明する。 The control device 10 of the display device 100 according to the present embodiment implements an image acquisition function, an attitude calculation function, a coordinate system setting function, a rotation center setting function, a coordinate system correction function, and a display control function. The control device 10 of this embodiment further includes an information acquisition function. The control apparatus 10 of this embodiment performs each function by cooperation of the software for implement | achieving the said function, and the hardware mentioned above. In the following description, it is assumed that the occupant of the host vehicle V operates the occupant operation device 60 and the display switch is on.
以下、制御装置１０が実現する各機能についてそれぞれ説明する。 Hereinafter, each function realized by the control device 10 will be described.
まず、制御装置１０の画像取得機能について説明する。本実施形態の制御装置１０は、カメラ２０が撮像した撮像画像のデータを取得する。表示装置１００は、図示しない通信装置を用いて移動体装置２００から撮像画像のデータを取得する。
First, the image acquisition function of the control device 10 will be described. The control device 10 according to the present embodiment acquires captured image data captured by the
次に、制御装置１０の情報取得機能について説明する。制御装置１０は、図示しない通信装置を用いて移動体装置２００から各種の情報を取得する。 Next, the information acquisition function of the control device 10 will be described. The control device 10 acquires various types of information from the mobile device 200 using a communication device (not shown).
制御装置１０は、移動体としての自車両Ｖの周囲の地表の位置情報を取得する。経時的に取得した地表の位置情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。また、地表の位置情報は、後述する基準立体座標系の回転中心の算出に用いられる。制御装置１０は、カメラ２０の撮像画像から自車両Ｖから地表までの距離を、自車両Ｖに対する地表の位置情報として算出する。制御装置１０は、地表の位置情報の算出処理にカメラ２０の撮像パラメータを用いてもよい。制御装置１０は、画像処理装置２０１が算出した地表の位置情報を取得してもよい。
The control device 10 acquires position information of the ground surface around the host vehicle V as a moving body. The position information of the ground surface acquired over time is used to calculate the amount of change in posture of the host vehicle V, which will be described later. Further, the position information of the ground surface is used for calculating the rotation center of a reference solid coordinate system to be described later. The control device 10 calculates the distance from the host vehicle V to the ground surface from the captured image of the
地表の位置情報には、カメラ２０と地表までの距離が含まれるため、本実施形態では、制御装置１０は、地表の位置情報から、カメラ２０の地表に対する位置情報を取得する。制御装置１０は、４台のカメラ（前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４）それぞれの位置情報を取得することができる。取得したカメラ２０の位置情報は、後述する基準立体座標系の回転中心の算出に用いられる。
Since the position information of the ground surface includes the distance between the
制御装置１０は、移動体である自車両Ｖの姿勢に関する姿勢情報を自車両Ｖから取得する。制御装置１０は、前後加速度センサ４２が検出した前後加速度、横加速度センサ４３が検出した横加速度、操舵角センサ４４が検出した操舵量、姿勢センサ４５が検出した自車両の姿勢の評価値を、姿勢情報として取得する。経時的に取得した姿勢情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。 The control device 10 acquires posture information regarding the posture of the host vehicle V that is a moving body from the host vehicle V. The control device 10 uses the longitudinal acceleration detected by the longitudinal acceleration sensor 42, the lateral acceleration detected by the lateral acceleration sensor 43, the steering amount detected by the steering angle sensor 44, and the posture evaluation value of the host vehicle detected by the posture sensor 45, Acquired as posture information. Posture information acquired over time is used to calculate the amount of change in posture of the host vehicle V, which will be described later.
制御装置１０は、移動体である自車両Ｖの位置情報を取得する。自車両Ｖの位置情報は、所定の立体座標系における自車両Ｖの位置（三次元位置）を示す情報である。自車両Ｖの姿勢が変化した場合には、自車両Ｖの位置情報も変化する。経時的に取得した自車両Ｖの位置情報は、後述する自車両Ｖの姿勢の変化量の算出に用いられる。 The control device 10 acquires position information of the host vehicle V that is a moving body. The position information of the host vehicle V is information indicating the position (three-dimensional position) of the host vehicle V in a predetermined three-dimensional coordinate system. When the posture of the host vehicle V changes, the position information of the host vehicle V also changes. The position information of the host vehicle V acquired over time is used to calculate the amount of change in posture of the host vehicle V, which will be described later.
本実施形態の制御装置１０は、自車両Ｖに対する地表の位置情報のみを取得してもよいし、自車両Ｖの位置情報のみを取得してもよい。また、制御装置１０は、地表の位置情報と自車両Ｖの位置情報との両方を取得してもよい。この場合において、制御装置１０は、所定の立体座標系における地表の位置情報と、同じ所定の立体座標系における自車両Ｖの位置情報とを取得することが好ましい。共通の座標における地表の位置情報と自車両Ｖの位置情報を用いることにより、地表と自車両Ｖとの位置関係を求める処理において、座標変換の処理を省くことができる。 The control device 10 of the present embodiment may acquire only the position information of the ground surface with respect to the host vehicle V, or may acquire only the position information of the host vehicle V. Further, the control device 10 may acquire both the position information of the ground surface and the position information of the host vehicle V. In this case, it is preferable that the control device 10 acquires the position information of the ground surface in a predetermined three-dimensional coordinate system and the position information of the host vehicle V in the same predetermined three-dimensional coordinate system. By using the position information of the ground surface and the position information of the host vehicle V at the common coordinates, the coordinate conversion process can be omitted in the process of obtaining the positional relationship between the ground surface and the host vehicle V.
本実施形態の制御装置１０は、自車両Ｖの周囲の地形情報を、移動体装置２００から取得する。移動体装置２００のナビゲーション装置５０が備える地形情報５４は、各地点の位置とその位置の地形を記憶する。制御装置１０は、ＧＰＳ５１１が検出した自車両Ｖの位置を含む周囲の領域の地形を、地形情報５４から抽出させ、現在位置における地形情報を取得する。地形情報は、地表の傾斜度、傾斜の向きなどの情報を含む。地形情報は、重力を基準とする座標系を用いて定義される。 The control device 10 according to the present embodiment acquires terrain information around the host vehicle V from the mobile device 200. The terrain information 54 included in the navigation device 50 of the mobile device 200 stores the position of each point and the terrain at that position. The control device 10 extracts the terrain of the surrounding area including the position of the host vehicle V detected by the GPS 511 from the terrain information 54, and acquires the terrain information at the current position. The terrain information includes information such as the degree of inclination of the ground surface and the direction of inclination. Terrain information is defined using a coordinate system based on gravity.
次に、制御装置１０の姿勢算出機能について説明する。制御装置１０は、移動体である自車両Ｖの姿勢を算出する。自車両Ｖの姿勢は、自車両Ｖに設定された一又は複数の基準点の位置として算出する。本実施形態の制御装置１０は、自車両Ｖの姿勢を、予め定義された基準立体座標系に対する、自車両Ｖの基準点の位置（座標）または基準面の位置（座標）として算出する。自車両Ｖの基準点は、自車両Ｖ（移動体）の重心などを位置に設定する。自車両Ｖの基準面は、自車両Ｖの静止状態において、その自車両Ｖの基準点を含む面に設定する。なお、基準立体座標系については後述する。 Next, the attitude calculation function of the control device 10 will be described. The control device 10 calculates the attitude of the host vehicle V that is a moving body. The posture of the host vehicle V is calculated as the position of one or more reference points set in the host vehicle V. The control device 10 of the present embodiment calculates the attitude of the host vehicle V as the position (coordinates) of the reference point of the host vehicle V or the position (coordinates) of the reference plane with respect to a predefined reference solid coordinate system. For the reference point of the host vehicle V, the center of gravity of the host vehicle V (moving body) and the like are set at the position. The reference plane of the host vehicle V is set to a plane including the reference point of the host vehicle V when the host vehicle V is stationary. The reference solid coordinate system will be described later.
制御装置１０は、自車両Ｖの姿勢から、その変化量を算出する。変化量は、異なるタイミングにおける自車両Ｖの姿勢の変化量、つまり経時的な変化量であってもよいし、基準の姿勢（位置）に対する、現在の自車両Ｖの姿勢の位置（位置）の変化量であってもよい。自車両Ｖの姿勢の変化量は、自車両Ｖが存在する空間の高さ方向の成分の位置の変化量を含む。自車両Ｖが地上に存在する場合には、重力方向に沿う成分の位置の変化量を含む。 The control device 10 calculates the amount of change from the attitude of the host vehicle V. The amount of change may be the amount of change in the posture of the host vehicle V at different timings, that is, the amount of change over time, or the position (position) of the current posture of the host vehicle V relative to the reference posture (position). It may be a change amount. The change amount of the posture of the host vehicle V includes the change amount of the position of the component in the height direction of the space where the host vehicle V exists. When the host vehicle V exists on the ground, the amount of change in the position of the component along the direction of gravity is included.
また、制御装置１０は、自車両Ｖの静止状態における姿勢を基準の姿勢としてＲＯＭ１２に格納している。具体的には、制御装置１０は、自車両Ｖの静止状態における地表の位置情報を予めＲＯＭ１２に格納しており、位置情報には、カメラ２０の設置周辺における地表の位置情報が含まれている。
Further, the control device 10 stores the posture of the host vehicle V in a stationary state in the
図３Ａ、３Ｂは、自車両Ｖの静止状態における姿勢を示す図である。図３Ａは自車両Ｖの左側面図であり、図３Ｂは自車両Ｖの正面図であり、それぞれの図において路面Ｇ０（地表）は水平線（ｘ軸と平行線）であらわされている。自車両Ｖの静止状態とは、自車両Ｖの全ての車輪は路面Ｇ０と接地している状態であり、自車両Ｖの姿勢が路面Ｇ０に対して傾いていない状態のことである。 3A and 3B are views showing the posture of the host vehicle V in a stationary state. 3A is a left side view of the host vehicle V, FIG. 3B is a front view of the host vehicle V, and in each of the drawings, the road surface G0 (the ground surface) is represented by a horizontal line (parallel to the x axis). The stationary state of the host vehicle V is a state in which all the wheels of the host vehicle V are in contact with the road surface G0, and the posture of the host vehicle V is not inclined with respect to the road surface G0.
図３Ａでは、路面Ｇ０に対する前方カメラ２１の位置情報は、路面Ｇ０からの基準位置Ｚｒｅ１としてあらわされ、また、路面Ｇ０に対する後方カメラ２２の位置情報は、路面Ｇ０からの基準位置Ｚｒｅ２としてあらわされる。同様に、図３Ｂでは、路面Ｇ０に対する左方カメラ２３の位置情報は、路面Ｇ０からの基準位置Ｚｒｅ３として、また、路面Ｇ０に対する右方カメラ２４の位置情報は、路面Ｇ０からの基準位置Ｚｒｅ４としてあらわされる。ＲＯＭ１２には、これらの４台のカメラのそれぞれの基準位置Ｚｒｅ１〜Ｚｒｅ４が予め記憶されており、本実施形態では、基準位置Ｚｒｅ１〜Ｚｒｅ４は、路面Ｇ０に対するカメラの高さの基準として扱われる。
In FIG. 3A, the position information of the
制御装置１０は、自車両Ｖと地表との相対的な位置関係の変化を、自車両Ｖの姿勢の変化量として算出する。 The control device 10 calculates a change in the relative positional relationship between the host vehicle V and the ground surface as an amount of change in the posture of the host vehicle V.
制御装置１０は、自車両Ｖの位置に対する地表の位置の変化量を自車両Ｖの姿勢の変化量として算出する。カメラ２０は、移動体である自車両Ｖに搭載されているので、カメラ２０の撮像画像のデータから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。同様に、測距装置２０２は、移動体である自車両Ｖに搭載されているので、測距装置２０２の測距データから地表の位置を経時的に算出すれば、自車両Ｖの位置に対する地表の位置の変化量を求めることができる。本実施形態では、自車両Ｖの位置に対する地表の位置の変化量を、自車両Ｖの姿勢の変化量として扱うことができる。
The control device 10 calculates the amount of change in the position of the ground surface relative to the position of the host vehicle V as the amount of change in the attitude of the host vehicle V. Since the
また、制御装置１０は、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として算出する。地表が静止物であるため、地表の位置に対する自車両Ｖの位置の変化、特に高さ方向（重力方向に沿う方向）の変化量を含む自車両Ｖの位置の変化は、自車両Ｖの姿勢の変化量として扱うことができる。地表の位置に対する自車両Ｖの位置の変化量を経時的に算出すれば、地表の位置に対する自車両Ｖの位置の変化量を求めることができる。本実施形態では、地表の位置に対する自車両Ｖの位置の変化量を、自車両Ｖの姿勢の変化量として扱う。 Further, the control device 10 calculates the change amount of the position of the host vehicle V with respect to the position of the ground surface as the change amount of the posture of the host vehicle V. Since the ground surface is a stationary object, a change in the position of the host vehicle V relative to the position of the ground surface, in particular, a change in the position of the host vehicle V including the amount of change in the height direction (the direction along the direction of gravity) Can be treated as the amount of change. If the change amount of the position of the own vehicle V with respect to the position of the ground surface is calculated with time, the change amount of the position of the own vehicle V with respect to the position of the ground surface can be obtained. In the present embodiment, the amount of change in the position of the host vehicle V relative to the position on the ground surface is treated as the amount of change in the attitude of the host vehicle V.
制御装置１０は、自車両Ｖの位置情報と、自車両Ｖの周囲の地表の位置情報とを用いて、自車両Ｖと地表の位置の変化量を、自車両Ｖの姿勢の変化量として算出する。 The control device 10 calculates the change amount of the position of the host vehicle V and the ground surface as the change amount of the posture of the host vehicle V using the position information of the host vehicle V and the position information of the ground surface around the host vehicle V. To do.
制御装置１０は、取得した姿勢情報を用いて自車両Ｖの姿勢の変化量として算出する。本実施形態の制御装置１０は、自車両Ｖの加減速などの挙動、自車両Ｖの構造などによって生じる姿勢の変化を考慮して、自車両Ｖの姿勢の変化量を算出できる。制御装置１０は、取得した姿勢情報を用いて、先述した撮像画像（又は測距データ）から求めた自車両Ｖの姿勢の変化量を補正してもよい。 The control device 10 calculates the change amount of the posture of the host vehicle V using the acquired posture information. The control device 10 of the present embodiment can calculate the amount of change in the posture of the host vehicle V in consideration of the behavior of the host vehicle V such as acceleration / deceleration, the change in the posture caused by the structure of the host vehicle V, and the like. The control apparatus 10 may correct | amend the variation | change_quantity of the attitude | position of the own vehicle V calculated | required from the captured image (or ranging data) mentioned above using the acquired attitude information.
制御装置１０は、自車両Ｖの現在位置を含む周囲の地形情報を取得し、その地形情報を用いて、自車両Ｖの姿勢を算出する。制御装置１０は、移動体が自車両Ｖである場合には、自車両Ｖが移動する路面の傾斜方向及び傾斜角度から、自車両Ｖの姿勢を算出する。また、制御装置１０は、移動体が海底探査機である場合には、海底探査機が有するセンサから求めた海底面の傾斜方向及び傾斜角度から、海底探査機の姿勢を算出する。 The control device 10 acquires surrounding terrain information including the current position of the host vehicle V, and calculates the attitude of the host vehicle V using the terrain information. When the moving body is the host vehicle V, the control device 10 calculates the attitude of the host vehicle V from the tilt direction and tilt angle of the road surface on which the host vehicle V moves. In addition, when the moving body is a seabed probe, the control device 10 calculates the attitude of the seabed probe from the inclination direction and the inclination angle of the seabed obtained from the sensor of the seabed probe.
次に、本実施形態の制御装置１０の座標系設定機能について説明する。撮像画像を投影するために予め定義された基準立体座標系は、ＲＯＭ１２に記憶されている。制御装置１０は、ＲＯＭ１２から基準立体座標系を読み出すことで、基準立体座標系を設定する。なお、基準立体座標系を設定する方法は、ＲＯＭ１２から読み出す方法に限定されない。例えば、自車両Ｖの乗員が乗員操作装置６０を介して入力する方法でもよく、又は自車両Ｖの乗員が乗員操作装置６０を介して予め用意された複数種の基準立体座標系から選択する方法でもよい。後に詳述するが、基準立体座標系は、カメラ２０の撮像画像を投影する際に用いられる。
Next, the coordinate system setting function of the control apparatus 10 of this embodiment is demonstrated. A reference solid coordinate system defined in advance for projecting a captured image is stored in the
基準立体座標系の態様は特に限定されない。基準立体座標系の形状としては、例えば、直方体、立方体、多角柱、円筒形状、球形状、半球形状等が挙げられる。基準立体座標系は、その内側に自車両Ｖ（移動体）が存在するときの周囲の映像を投影する座標である。このため、投影処理の基準となる仮想視点を、基準立体座標系の内側に設定する。仮想視点は、自車両Ｖ及び自車両Ｖの周辺を見る場面を想定して設定されるので、自車両Ｖの位置に応じて定義される。本実施形態では、仮想視点は、基準立体座標系とともに、予めＲＯＭ１２に記憶されている。なお、仮想視点は予め設定された視点に限定されず、自車両Ｖの乗員が乗員操作装置６０を介して任意に仮想視点を設定してもよい。なお移動体が海底探査機の場合には、海底探査機自身が映らないようにすることも考えられるので、仮想視点は基準立体座標系の内側でなくてもよい。
The aspect of a reference | standard solid coordinate system is not specifically limited. Examples of the shape of the reference solid coordinate system include a rectangular parallelepiped, a cube, a polygonal column, a cylindrical shape, a spherical shape, and a hemispherical shape. The reference three-dimensional coordinate system is a coordinate for projecting a surrounding image when the host vehicle V (moving body) exists inside. For this reason, the virtual viewpoint used as the reference | standard of a projection process is set inside a reference | standard solid coordinate system. Since the virtual viewpoint is set assuming that the vehicle V and the surroundings of the vehicle V are viewed, the virtual viewpoint is defined according to the position of the vehicle V. In this embodiment, the virtual viewpoint is stored in advance in the
また、基準立体座標系は、自車両Ｖの静止状態における自車両Ｖの姿勢を基準として設定された座標系である。そのため、例えば、自車両Ｖの姿勢が静止状態の姿勢から傾くと、基準立体座標系は自車両Ｖの傾きに応じて傾く。本実施形態では、基準立体座標系に対する自車両Ｖの位置関係は、自車両Ｖの姿勢とは関係なく一定のものとする。 The reference three-dimensional coordinate system is a coordinate system set based on the posture of the host vehicle V when the host vehicle V is stationary. Therefore, for example, when the posture of the host vehicle V is tilted from the stationary posture, the reference three-dimensional coordinate system is tilted according to the tilt of the host vehicle V. In the present embodiment, the positional relationship of the host vehicle V with respect to the reference solid coordinate system is constant regardless of the posture of the host vehicle V.
次に、本実施形態の回転中心設定機能について説明する。制御装置１０は、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの部分に回転中心を設定する。後に詳述するが、回転中心は、基準立体座標系を回転させる際に、基準立体座標系の中心として用いられる。所定値は、自車両Ｖの姿勢の変化量が小さいことを示す値である。なお、回転中心を設定する際に、所定値を用いることは必ずしも必要なことではない。所定値は、例えば、ＲＯＭ１２に予め格納されていてもよい。所定値は、自車両Ｖの姿勢の変化量をあらわす単位に応じて、距離、角度、速度、加速度等の単位であらわされる。所定値は、自車両Ｖの構造、走行する路面情報などの影響を考慮して実験的に求めることが好ましい。
Next, the rotation center setting function of this embodiment will be described. The control device 10 sets the rotation center at the portion of the host vehicle V in which the amount of change in the posture of the host vehicle V is smaller than a predetermined value. As will be described in detail later, the rotation center is used as the center of the reference solid coordinate system when rotating the reference solid coordinate system. The predetermined value is a value indicating that the amount of change in the attitude of the host vehicle V is small. It is not always necessary to use a predetermined value when setting the center of rotation. The predetermined value may be stored in advance in the
本実施形態の制御装置１０は、自車両Ｖ（移動体）の姿勢の変化量に応じて、基準立体座標系の回転中心を設定する。制御装置１０は、回転中心を自車両Ｖの外縁を含む自車両Ｖのいずれかの位置に設定する。自車両Ｖの外縁には、自車両Ｖが外部の対象物と接する位置も含まれる。例えば、自車両Ｖが路面を走行中の場合には、自車両Ｖの外縁には、自車両Ｖの車輪と路面とが接地する位置が含まれる。なお、本実施形態では、自車両Ｖの車輪には、ホイールだけでなくホイールに装着されたタイヤも含む。 The control device 10 of the present embodiment sets the rotation center of the reference three-dimensional coordinate system according to the amount of change in the attitude of the host vehicle V (moving body). The control device 10 sets the rotation center at any position of the host vehicle V including the outer edge of the host vehicle V. The outer edge of the host vehicle V includes a position where the host vehicle V contacts an external object. For example, when the host vehicle V is traveling on a road surface, the outer edge of the host vehicle V includes a position where a wheel of the host vehicle V and the road surface are in contact with each other. In the present embodiment, the wheels of the host vehicle V include not only wheels but also tires attached to the wheels.
本実施形態では、制御装置１０は、カメラ２０から取得したカメラ２０の位置情報に基づいて、上述した回転中心を設定する。自車両Ｖの姿勢が変化すると、制御装置１０は、４台のカメラ（前方カメラ２１、後方カメラ２０、左方カメラ２３、右方カメラ２４）それぞれの位置情報を別々の情報として扱う。制御装置１０は、ＲＯＭ１２からカメラの基準位置を読み出し、読み出した基準位置と算出した現在の位置をそれぞれ比較することで、カメラ２０の高さ方向の変化量をそれぞれ算出する。
In the present embodiment, the control device 10 sets the rotation center described above based on the position information of the
制御装置１０は、現在の前方カメラ２１の位置と、前方カメラ２１の基準位置とを比較することで、前方カメラ２１の高さ方向の変化量を算出する。制御装置１０は、前方カメラ２１と同様の手法により、後方カメラ２２の高さ方向の変化量を算出する。そして、制御装置１０は、前方カメラ２１の高さ方向の変化量と、後方カメラ２２の高さ方向の変化量を比較することで、前方カメラ２１、後方カメラ２２のうちカメラの高さ方向の変化量が小さい方のカメラを特定する。
The control device 10 calculates the amount of change in the height direction of the
また、制御装置１０は、現在の左方カメラ２３の位置と、左方カメラ２３の基準位置とを比較することで、左方カメラ２３の高さ方向の変化量を算出する。制御装置１０は、左方カメラ２３の高さの変化量を算出する方法と同様の手法により、右方カメラ２４の高さ方向の変化量を算出する。そして、制御装置１０は、左方カメラ２３の高さ方向の変化量と、右方カメラ２４の高さ方向の変化量を比較することで、左方カメラ２３、右方カメラ２４のうちカメラの高さ方向の変化量が小さい方のカメラを特定する。
Also, the control device 10 calculates the amount of change in the height direction of the
制御装置１０は、特定したカメラの設置位置に対応する車輪が地表と接地する位置を、回転中心として設定する。カメラの設置位置に対応する車輪とは、前方カメラ２１に対する前輪、後方カメラ２２に対する後輪、左方カメラ２３に対する左側輪、及び右方カメラ２４に対する右側輪である。車輪が地表と接地する位置を特定する手法としては、例えば、自車両Ｖの静止状態において、車輪が接地する位置を予め算出して、ＲＯＭ１２に記憶させることが挙げられる。なお、車輪が地表と接地する位置を特定する方法は、特に限定されない。また、移動体が海底探査機の場合には、制御装置１０は、海底探査機が海底面と接地する位置を、回転中心として設定する。海底探査機が車輪を有する構造であれば、海底探査機の車輪と海底面とが接地する位置を回転中心としてもよい。
The control apparatus 10 sets the position where the wheel corresponding to the specified camera installation position contacts the ground as the rotation center. The wheels corresponding to the camera installation position are a front wheel for the
制御装置１０は、前方カメラ２１の高さ方向の変化量と後方カメラ２２の高さ方向の変化量を比較し、前方カメラ２１の高さ方向の変化量が後方カメラ２２の高さ方向の変化量よりも小さい場合には、前輪が地表と接地する位置を回転中心として設定する。反対に、制御装置１０は、後方カメラ２２の高さ方向の変化量が前方カメラ２１の高さ方向の変化量よりも小さい場合には、後輪が地表と接地する位置を回転中心として設定する。
The control device 10 compares the amount of change in the height direction of the
また、制御装置１０は、左方カメラ２３の高さ方向の変化量と右方カメラ２４の高さ方向の変化量とを比較し、左方カメラ２３の高さ方向の変化量が右方カメラ２４の高さ方向の変化量よりも小さい場合には、左側輪が地表と接地する位置を回転中心として設定する。反対に、制御装置１０は、右方カメラ２４の高さ方向の変化量が左方カメラ２３の高さ方向の変化量よりも小さい場合には、右側輪が地表と接地する位置を回転中心として設定する。
Further, the control device 10 compares the amount of change in the height direction of the
このように、本実施形態の制御装置１０は、互いに対向する前方カメラ２１と後方カメラ２２それぞれの高さ方向の変化量を比較することで、自車両Ｖのうち前方又は後方のどちらの方が、自車両Ｖの姿勢の変化量が小さいかを判断する。また、互いに対向する左方カメラ２３と右方カメラ２４それぞれの高さ方向の変化量を比較することで、自車両Ｖのうち左方は右方のどちらの方が、自車両Ｖの姿勢の変化量が小さいかを判断する。これにより、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの範囲を容易に特定することができる。
As described above, the control device 10 according to the present embodiment compares the amount of change in the height direction between the
ここで、自車両Ｖのうち車輪が地表と接地する位置は、自車両Ｖの姿勢の変化の影響が自車両Ｖの他の部分よりも小さい位置と仮定することができる。そのため、本実施形態では、制御装置１０は、前輪又は後輪が地表と接地する位置と左側輪又は右側輪が設置する位置を、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。 Here, it can be assumed that the position of the vehicle V where the wheel contacts the ground surface is a position where the influence of the change in the posture of the vehicle V is smaller than the other parts of the vehicle V. Therefore, in the present embodiment, the control device 10 determines the position of the host vehicle V in which the amount of change in posture of the host vehicle V is smaller than a predetermined value at the position where the front wheel or rear wheel contacts the ground and the position where the left wheel or right wheel is installed. Treat as V part.
次に、図４Ａ、４Ｂに示す例を用いて、より具体的な説明をする。図４Ａ、４Ｂは、自車両Ｖの動作状態における姿勢の一例を示す図である。図４Ａは自車両Ｖの左側面図であり、図４Ｂは自車両Ｖの正面図である。図４Ａ、４Ｂは、自車両Ｖが路面Ｇ０を走行中に、自車両Ｖの左側前輪Ｗ１が障害物９０に乗り上げた場面であり、自車両Ｖの左側前輪Ｗ１以外の３つの車輪は路面Ｇ０と接地している場面である。なお、図４Ａ、４Ｂに点線で示されるカメラ２０（前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４）は自車両Ｖの静止状態におけるカメラの位置、また、基準位置Ｚｒｅ１〜Ｚｒｅ４は自車両Ｖの静止状態における路面Ｇ０に対する基準位置であり、図３Ａ、３Ｂにそれぞれ対応する。
Next, a more specific description will be given using the example shown in FIGS. 4A and 4B. 4A and 4B are diagrams showing an example of the posture of the host vehicle V in the operating state. 4A is a left side view of the host vehicle V, and FIG. 4B is a front view of the host vehicle V. 4A and 4B are scenes in which the left front wheel W1 of the host vehicle V rides on the
制御装置１０は、図４Ａに示すように、前方カメラ２１’の位置情報から、前方カメラ２１’の路面Ｇ０に対する位置Ｚ１を算出する。制御装置１０は、算出した位置Ｚ１と前方カメラ２１の基準位置Ｚｒｅ１を比較することで、前方カメラ２１’の高さ方向の変化量ΔＺ１を算出する。同様に、制御装置１０は、後方カメラ２２’の路面Ｇ０に対する位置Ｚ２と後方カメラ２２の基準位置Ｚｒｅ２を比較することで、後方カメラ２２’の高さ方向の変化量ΔＺ２を算出する。
Controller 10, as shown in FIG. 4A, 'from the position information of the front camera 21' front camera 21 and calculates the position Z1 with respect to the road surface G0 of. The control apparatus 10 calculates the amount of change ΔZ1 in the height direction of the
そして、制御装置１０は、変化量ΔＺ１と変化量ΔＺ２を比較する。図４Ａに示す場面では、変化量ΔＺ２は変化量ΔＺ１よりも小さくなり、制御装置１０は、後方カメラ２２’を、前方カメラ２１’に比べて、自車両Ｖの姿勢の変化量が小さい方のカメラとして特定する。そして、制御装置１０は、後方カメラ２２’の設置位置に対応する車輪が後輪であることを判断して、後輪（左側後輪Ｗ２）が路面Ｇ０と接地している位置を、回転中心Ｃ１として設定する。設定された回転中心Ｃ１は、基準立体座標系を、ｙ軸回りに回転移動させる際の中心として用いられる。なお、左側後輪Ｗ２及び右側後輪（図示なし）のうちどちらの後輪を利用するかは限定されず、制御装置１０は、２つの後輪のうちいずれか一方の後輪が路面Ｇ０と接地する位置を、回転中心Ｃ１として設定することができる。
Then, the control device 10 compares the change amount ΔZ1 with the change amount ΔZ2. In the scene shown in FIG. 4A, the amount of change ΔZ2 is smaller than the amount of change ΔZ1, and the control device 10 compares the
また、制御装置１０は、図４Ｂに示すように、左方カメラ２３’の位置情報から、左方カメラ２３’の路面Ｇ０に対する位置Ｚ３を算出する。制御装置１０は、算出した位置Ｚ３と左方カメラ２３の基準位置Ｚｒｅ３を比較することで、左方カメラ２３’の高さ方向の変化量ΔＺ３を算出する。同様に、制御装置１０は、右方カメラ２４’の路面Ｇ０に対する位置Ｚ４と右方カメラ２４の基準位置Ｚｒｅ４を比較することで、右方カメラ２４’の高さ方向の変化量ΔＺ４を算出する。
Further, the control unit 10, as shown in FIG. 4B, 'the location information, the left camera 23' left
そして、制御装置１０は、変化量ΔＺ３と変化量ΔＺ４を比較する。図４Ｂに示す場面では、変化量ΔＺ４が変化量ΔＺ３よりも小さくなり、制御装置１０は、右方カメラ２４’を、左方カメラ２３’に比べて、自車両Ｖの姿勢の変化が小さい方のカメラとして特定する。そして、制御装置１０は、右方カメラ２４’の設置位置に対応する車輪が右側輪であることを判断して、右側輪（右側前輪Ｗ３）が路面Ｇ０と接地している位置を、回転中心Ｃ２として設定する。設定された回転中心Ｃ２は、基準立体座標系を、ｘ軸回りに回転移動させる際の中心として用いられる。なお、右側前輪Ｗ３及び右側後輪（図示なし）のうちどちらの右側輪を利用するかは限定されず、制御装置１０は、２つの右側輪のうちいずれか一方の右側輪が路面Ｇ０と接地する位置を、回転中心Ｃ２として設定することができる。
Then, the control device 10 compares the change amount ΔZ3 with the change amount ΔZ4. In the situation shown in Figure 4B, the variation ΔZ4 is smaller than the change amount DerutaZ3, controller 10 'and the left camera 23'
次に、本実施形態の座標系補正機能について説明する。制御装置１０は、まず、カメラ２０の高さ方向の変化量に基づいて、自車両Ｖが基準の姿勢に対してどの程度の角度傾いている姿勢であるかを算出する。制御装置１０は、自車両Ｖの前後方向（ピッチ方向）において、どの程度の角度だけ傾斜しているか、また、自車両Ｖの左右方向（ロール方向）において、どの程度の角度だけ傾斜しているかをそれぞれ算出する。
Next, the coordinate system correction function of this embodiment will be described. First, the control device 10 calculates how much the host vehicle V is tilted with respect to the reference posture based on the amount of change in the height direction of the
具体的には、制御装置１０は、前方カメラ２１のアドレス（座標値）、前方カメラ２１’のアドレス（座標値）、及び後方カメラ２２のアドレス（座標値）から、三角関数を使用してピッチ方向の角度変化量を算出する。なお、後方カメラ２２のアドレス（座標値）の代わりに、後方カメラ２２’のアドレス（座標値）を用いてもよい。制御装置１０は、算出した角度をピッチ方向補正角度とする。また、制御装置１０は、左方カメラ２３のアドレス（座標値）、左方カメラ２３’のアドレス（座標値）、及び右方カメラ２４のアドレス（座標値）から、三角関数を使用してピッチ方向の角度変化量を算出する。なお、後方カメラ２２のアドレス（座標値）の代わりに、後方カメラ２２’のアドレス（座標値）を用いてもよい。制御装置１０は、算出した角度をロール方向補正角度とする。算出したそれぞれの補正角度は、後述する基準立体座標系を回転移動する際の回転角度として用いられる。なお、回転角度を算出する方法は上記方法に限定されず、本願出願時に知られた手法を適宜用いてもよい。
Specifically, the control device 10 uses the trigonometric function to calculate the pitch from the address (coordinate value) of the
また、制御装置１０は、自車両Ｖの前後方向の傾斜角度（ピッチ方向補正角度）及び自車両Ｖの左右方向の傾斜角度（ロール方向補正角度）をそれぞれ算出するとともに、自車両Ｖの前後方向及び左右方向の傾斜方向をそれぞれ算出する。例えば、制御装置１０は、基準立体座標系におけるｘ軸、ｙ軸、ｚ軸で自車両Ｖの傾斜方向を示すことができる。なお、自車両Ｖの傾斜方向とは、自車両Ｖの基準姿勢（自車両Ｖの静止状態）に対しての傾斜方向である。 Further, the control device 10 calculates the front-rear direction tilt angle (pitch direction correction angle) of the host vehicle V and the left-right direction tilt angle (roll direction correction angle) of the host vehicle V, and the front-rear direction of the host vehicle V. And the inclination direction of the left-right direction is calculated, respectively. For example, the control device 10 can indicate the tilt direction of the host vehicle V on the x-axis, y-axis, and z-axis in the reference solid coordinate system. In addition, the inclination direction of the own vehicle V is an inclination direction with respect to the reference posture of the own vehicle V (the stationary state of the own vehicle V).
図４Ａを用いて、ピッチ方向補正角度と傾斜方向について説明する。図４Ａでは、前方カメラ２１の基準位置と後方カメラ２２の基準位置を結ぶ直線はラインＬｒｅ１であらされる。ラインＬｒｅ１は、自車両Ｖの静止状態における前方カメラ２１と後方カメラ２２の位置関係を示す。また、前方カメラ２１’の位置と後方カメラ２２’を結ぶ直線は、ラインＬ１であらわされる。ラインＬ１は、自車両Ｖの姿勢変化後における前方カメラ２１’と後方カメラ２２’の位置関係を示す。制御装置１０は、上述した変化量ΔＺ１及び変化量ΔＺ２を用いた方法により、ラインＬｒｅ１とラインＬ１との間の角度φをピッチ方向補正角度として算出する。同時に、制御装置１０は、ｙ軸時計回りをピッチ方向の傾斜方向として算出する。
The pitch direction correction angle and the inclination direction will be described with reference to FIG. 4A. In FIG. 4A, a straight line connecting the reference position of the
同様に、図４Ｂを用いて、ロール方向補正角度と傾斜方向について説明する。図４Ｂでは、左方カメラ２３の基準位置と右方カメラ２４の基準位置を結ぶ直線はラインＬｒｅ２であらされる。ラインＬｒｅ２は、自車両Ｖの静止状態における左方カメラ２３と右方カメラ２４の位置関係を示す。また、左方カメラ２３’の位置と右方カメラ２４’を結ぶ直線は、ラインＬ２であらわされる。ラインＬ２は、自車両Ｖの姿勢変化後における左方カメラ２３’と右方カメラ２４’の位置関係を示す。制御装置１０は、上述した変化量ΔＺ３及び変化量ΔＺ４を用いる方法により、ラインＬｒｅ２とラインＬ２との間の角度θをピッチ歩行補正角度として算出する。同時に、制御装置１０は、ｘ軸反時計回りをロール方向の傾斜方向として算出する。
Similarly, the roll direction correction angle and the tilt direction will be described with reference to FIG. 4B. In FIG. 4B, a straight line connecting the reference position of the
次に、本実施形態の制御装置１０は、自車両Ｖの姿勢の変化量に応じて、撮像画像を投影するために予め定義された基準立体座標系を回転移動させて、回転立体座標系を設定する。具体的に、制御装置１０は、基準立体座標系を、ｙ軸反時計回りに回転移動させるとともに、ｘ軸時計回りに回転移動させる。 Next, the control device 10 of the present embodiment rotates the reference three-dimensional coordinate system defined in advance for projecting the captured image in accordance with the amount of change in the attitude of the host vehicle V, thereby changing the rotation three-dimensional coordinate system. Set. Specifically, the control device 10 rotates the reference three-dimensional coordinate system in the y-axis counterclockwise direction and the x-axis clockwise direction.
制御装置１０は、基準立体座標系を、回転中心Ｃ１を中心として、ｙ軸反時計回りにピッチ方向補正角度だけ回転移動させる。また、制御装置１０は、基準立体座標系を、回転中心Ｃ２を中心として、ｘ軸時計回りにロール方向補正角度だけ回転移動させる。そして、制御装置１０は、回転立体座標系を撮像画像が投影される投影面として設定する。 The control device 10 rotates the reference three-dimensional coordinate system about the rotation center C1 by the pitch direction correction angle in the y-axis counterclockwise direction. Further, the control device 10 rotates the reference three-dimensional coordinate system about the rotation center C2 by the roll direction correction angle clockwise about the x axis. And the control apparatus 10 sets a rotation solid coordinate system as a projection surface on which a captured image is projected.
図５〜７を用いて、自車両Ｖの姿勢と投影面との関係について説明する。図５〜７では、路面Ｇ０（地表）は水平線であらわされる。 The relationship between the posture of the host vehicle V and the projection plane will be described with reference to FIGS. 5-7, the road surface G0 (ground surface) is represented by a horizontal line.
図５は、自車両Ｖの静止状態における投影面（基準立体座標系Ｓ１）を示す図である。図５（Ａ）は自車両Ｖを左側面視する投影面を、図５（Ｂ）は自車両Ｖを正面視する投影面を、それぞれ示す。基準立体座標系Ｓ１は、底面Ｓ１Ｂを有する円筒形状であり、自車両Ｖの四方を囲むようにあらわされる。図５（Ａ）（Ｂ）に示すように、自車両Ｖが路面Ｇ０に静止した状態では、基準立体座標系Ｓ１は、路面Ｇ０と接するようあらわされる。基準立体座標系Ｓ１の底面Ｓ１Ｂは、実際の路面Ｇ０と重なり、路面Ｇ０と同一面となる。 FIG. 5 is a diagram showing a projection plane (reference solid coordinate system S1) when the host vehicle V is stationary. 5A shows a projection plane when the host vehicle V is viewed from the left side, and FIG. 5B shows a projection plane when the host vehicle V is viewed from the front. Reference stereoscopic coordinate system S1 is a cylindrical shape having a bottom surface S1 B, represented so as to surround the four sides of the vehicle V. As shown in FIGS. 5A and 5B, in the state where the host vehicle V is stationary on the road surface G0, the reference three-dimensional coordinate system S1 is shown in contact with the road surface G0. Bottom S1 B of the reference three-dimensional coordinate system S1 is overlapped with the actual road surface G0, the road G0 flush.
図６は、自車両Ｖの動作状態における投影面（基準立体座標系Ｓ１’）の一例を示す図である。図６（Ａ）は自車両Ｖを左側面視する投影面を、図６（Ｂ）は自車両Ｖを正面視する投影面を、それぞれ示す。図６（Ａ）（Ｂ）は、自車両Ｖが路面Ｇ０を走行中に、自車両Ｖの左側前輪Ｗ１が障害物９０に乗り上げた場面であり、図４Ａ、４Ｂに対応する場面である。図６（Ａ）（Ｂ）では、図４と同一のものには、図４と同一の符号を付している。自車両Ｖの左側前輪Ｗ１が障害物９０に乗り上げた状態では、基準立体座標系Ｓ１’は、路面Ｇ０に対して傾いてあらわされる。基準立体座標系Ｓ１’の底面Ｓ１Ｂ ’は、実際の路面Ｇ０と重ならず、路面Ｇ０と異なる面となる。
FIG. 6 is a diagram illustrating an example of a projection plane (reference solid coordinate system S1 ′ ) in the operation state of the host vehicle V. 6A shows a projection plane when the host vehicle V is viewed from the left side, and FIG. 6B shows a projection plane when the host vehicle V is viewed from the front. 6A and 6B are scenes in which the left front wheel W1 of the host vehicle V rides on the
図６（Ａ）に示すように、自車両Ｖの前方には、基準立体座標系Ｓ１’が路面Ｇ０よりも浮き上がった空間ＳＰ１が発生し、自車両Ｖの後方には、基準立体座標系Ｓ１’が路面Ｇ０よりも沈み込んだ空間ＳＰ２が発生する。同様に、図６（Ｂ）に示すように、自車両Ｖの左方には、基準立体座標系Ｓ１’が路面Ｇ０よりも浮き上がった空間ＳＰ３が発生し、自車両Ｖの右方には、基準立体座標系Ｓ１’が路面Ｇ０よりも沈み込んだ空間ＳＰ４が発生する。つまり、自車両Ｖの姿勢が路面Ｇ０に対して変化すると、撮像画像を投影する投影面は、自車両Ｖの姿勢の変化に応じて路面Ｇ０に対して傾く。そのため、投影面には路面Ｇ０よりも沈み込んだ空間（空間ＳＰ１、空間ＳＰ３）と路面Ｇ０よりも浮き上がった空間（空間ＳＰ２、ＳＰ４）が発生する。
As shown in FIG. 6A, in front of the host vehicle V, a
この投影面（基準立体座標系Ｓ１’）に撮像画像を投影すると、実際の路面Ｇ０と、投影面の底面Ｓ１Ｂ ’とが平行関係でないため、撮像画像間の不連続な繋がりが生じてしまう。そのため、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは大きくなる。例えば、自車両Ｖが路面Ｇ０に対して垂直に位置する時の映像では、路面Ｇ０に対して垂直に表示された対象物が、自車両Ｖが路面Ｇ０に対して傾いた時の映像では、路面Ｇ０に対して傾いて表示される。 'When projecting the captured image and the actual road surface G0, bottom S1 B of the projection plane the projection surface (reference stereoscopic coordinate system S1)' order and are not parallel relationship, there arises a discontinuous connection between the captured image . For this reason, when a captured image is projected onto a projection plane to create a video from a virtual viewpoint, distortion generated in the video increases. For example, in an image when the host vehicle V is positioned perpendicular to the road surface G0, an object displayed perpendicular to the road surface G0 is an image when the host vehicle V is tilted with respect to the road surface G0. It is displayed tilted with respect to the road surface G0.
図７は、自車両Ｖの動作状態における投影面（回転立体座標系Ｒ１）の一例を示す図である。図７（Ａ）は、自車両Ｖを左側面視する投影面を、図７（Ｂ）は、自車両Ｖを正面視する投影面を、それぞれ示す。図７は、図６と同様の場面であるため、説明を省略を援用する。図７（Ａ）（Ｂ）に示すように、投影面として設定された回転立体座標系Ｒ１は、路面Ｇ０と接するようあらわされる。回転立体座標系Ｒ１の底面Ｒ１Ｂは、路面Ｇ０とほぼ重なり、路面Ｇ０と略同一面となる。 FIG. 7 is a diagram illustrating an example of a projection plane (rotational solid coordinate system R1) in the operating state of the host vehicle V. FIG. 7A shows a projection plane when the host vehicle V is viewed from the left side, and FIG. 7B shows a projection plane when the host vehicle V is viewed from the front. Since FIG. 7 is the same scene as FIG. 6, description is abbreviate | omitted. As shown in FIGS. 7A and 7B, the rotational solid coordinate system R1 set as the projection plane is shown in contact with the road surface G0. Bottom R1 B of the rotational solid coordinate system R1 is approximately overlaps with a road surface G0, the road G0 substantially the same plane.
回転立体座標系Ｒ１は、上述した方法により、制御装置１０により設定された座標系である。具体的には、制御装置１０は、互いに対向するカメラの高さの変化量に基づいて、回転中心Ｃ１及び回転中心Ｃ２を算出するとともに、ピッチ方向補正角度及びロール方向補正角度を算出する。そして、制御装置１０は、基準立体座標系Ｓ１’を、回転中心Ｃ１を中心として、ｙ軸反時計回りにピッチ方向補正角度だけ回転移動させる。また、制御装置１０は、基準立体座標系Ｓ１’を、回転中心Ｃ２を中心として、ｘ軸時計回りにロール方向補正角度だけ回転移動させる。 The rotating solid coordinate system R1 is a coordinate system set by the control device 10 by the method described above. Specifically, the control device 10 calculates the rotation center C1 and the rotation center C2 and calculates the pitch direction correction angle and the roll direction correction angle based on the amount of change in the height of the cameras facing each other. Then, the control device 10 rotates the reference three-dimensional coordinate system S1 ' by the pitch direction correction angle about the rotation center C1 in the counterclockwise direction of the y axis. Further, the control device 10 rotates the reference three-dimensional coordinate system S1 ' by the roll direction correction angle clockwise about the rotation center C2 in the x-axis direction.
この投影面（回転立体座標系Ｒ１）に撮像画像を投影すると、実際の路面Ｇ０と、投影面の底面Ｒ１Ｂとが略同一であるため、撮像画像間の不連続な繋がりの発生は抑制される。そのため、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは抑制される。上述の例では、自車両Ｖが路面Ｇ０に対して垂直に位置する時の映像では、路面Ｇ０に対して垂直に表示された対象物は、自車両Ｖが路面Ｇ０に対して傾いた時の映像でも、路面Ｇ０に対して垂直に立って表示される。 When projecting the captured image on the projection surface (rotational stereoscopic coordinate system R1), and the actual road surface G0, since the bottom surface R1 B of the projection surface is substantially the same, occurrence of discrete connections between the captured image is suppressed The For this reason, when a captured image is projected onto a projection surface to create a video from a virtual viewpoint, distortion generated in the video is suppressed. In the above example, in the video when the host vehicle V is positioned perpendicular to the road surface G0, the object displayed perpendicular to the road surface G0 is the object when the host vehicle V is tilted with respect to the road surface G0. Even in the video, the image is displayed while standing perpendicular to the road surface G0.
また、回転立体座標系Ｒ１と、図５（Ａ）（Ｂ）に示す基準立体座標系Ｓ１とを比較すると、それぞれの底面Ｒ１Ｂと底面Ｓ１Ｂはともに実際の路面Ｇ０と略同一面である。つまり、回転立体座標系Ｒ１は、自車両Ｖの姿勢が変化しても、基準立体座標系Ｓ１と路面Ｇ０の配置関係が維持するように、設定された座標系である。本実施形態では、基準立体座標系Ｓ１に円筒形状を用いた説明をしたが、例えば、底面を有さない球形状であっても、回転立体座標系Ｒ１と路面Ｇ０の配置関係は、基準立体座標系Ｓ１と路面Ｇ０の配置関係に維持される。つまり、回転立体座標系Ｒ１と路面Ｇ０の配置関係は、基準立体座標系Ｓ１の形態（形状）との関連なく維持される。 Further, when comparing the rotational solid coordinate system R1 and the reference solid coordinate system S1 shown in FIGS. 5A and 5B, each of the bottom surface R1 B and the bottom surface S1 B is substantially flush with the actual road surface G0. . That is, the rotational solid coordinate system R1 is a coordinate system set so that the positional relationship between the reference solid coordinate system S1 and the road surface G0 is maintained even when the attitude of the host vehicle V changes. In the present embodiment, the cylindrical shape is used for the reference three-dimensional coordinate system S1. However, for example, the arrangement relationship between the rotation three-dimensional coordinate system R1 and the road surface G0 is a reference three-dimensional shape even if the shape is a spherical shape having no bottom surface. The arrangement relationship between the coordinate system S1 and the road surface G0 is maintained. That is, the positional relationship between the rotational solid coordinate system R1 and the road surface G0 is maintained regardless of the form (shape) of the reference solid coordinate system S1.
ここで、自車両Ｖの姿勢の変化により傾いた基準立体座標系Ｓ１’を、自車両Ｖの中心（例えば、自車両Ｖの重心）に回転移動させた投影面に、撮像画像を投影して、自車両Ｖの周囲を含む映像を表示することが、一般的に知られている（図８参照）。しかし、自車両Ｖの中心（回転中心Ｃ１’、Ｃ２’）は、自車両Ｖの姿勢の変化量に依っては、自車両Ｖの姿勢の変化量が所定値よりも小さい部分とは限られない。そのため、基準立体座標系Ｓ１’を自車両Ｖの中心に回転移動させた立体座標系Ｒ’は、例えば、路面Ｇ０から浮いた状態となる恐れがある。立体座標系Ｒ’と路面Ｇ０の配置関係は、基準立体座標系Ｓ１と路面Ｇ０の配置関係を維持できない恐れがある。 Here, the captured image is projected onto the projection plane obtained by rotating the reference three-dimensional coordinate system S1 ′ tilted by the change in the posture of the host vehicle V to the center of the host vehicle V (for example, the center of gravity of the host vehicle V). It is generally known that an image including the periphery of the host vehicle V is displayed (see FIG. 8). However, the center (rotation center C1 ′ , C2 ′ ) of the own vehicle V is not limited to a portion where the change amount of the posture of the own vehicle V is smaller than a predetermined value depending on the change amount of the posture of the own vehicle V. Absent. Therefore, the solid coordinate system R ′ obtained by rotationally moving the reference solid coordinate system S1 ′ to the center of the host vehicle V may be in a state of floating from the road surface G0, for example. The arrangement relationship between the three-dimensional coordinate system R ′ and the road surface G0 may not maintain the arrangement relationship between the reference three-dimensional coordinate system S1 and the road surface G0.
図８は、自車両Ｖの動作状態における参考例の投影面（立体座標系Ｒ１’）の一例を示す図である。図８に示す立体座標系Ｒ’は、基準立体座標系Ｓ１’を自車両Ｖの中心（回転中心Ｃ１’、Ｃ２’）を中心として、ピッチ方向補正角度及びロール方向補正角度だけ回転移動させた座標系である。図８では、立体座標系Ｒ１’が路面Ｇ０よりも浮き上がった空間ＳＰ５、ＳＰ６があらわされる。この投影面（立体座標系Ｒ１’）に撮像画像を投影すると、実際の路面Ｇ０と、投影面の底面Ｒ１Ｂ ’とが平行関係であるため、撮像画像間の不連続な繋がりの発生は抑制される。しかし、撮像画像を投影した映像には、自車両Ｖの周囲の一部（空間ＳＰ５、ＳＰ６）が表示されず、自車両Ｖの乗員に違和感を与えることがある。 FIG. 8 is a diagram illustrating an example of a projection surface (a solid coordinate system R1 ′ ) of a reference example in the operation state of the host vehicle V. The solid coordinate system R ′ shown in FIG. 8 is obtained by rotating the reference solid coordinate system S1 ′ around the center of the host vehicle V (rotation centers C1 ′ and C2 ′ ) by the pitch direction correction angle and the roll direction correction angle. Coordinate system. In FIG. 8, spaces S P 5 and S P 6 in which the solid coordinate system R1 ′ is raised above the road surface G0 are shown. When a captured image is projected onto this projection plane (three-dimensional coordinate system R1 ′ ), since the actual road surface G0 and the bottom surface R1 B ′ of the projection plane are in a parallel relationship, the occurrence of discontinuous connections between the captured images is suppressed. Is done. However, a part (space S P 5, S P 6) around the host vehicle V is not displayed on the video obtained by projecting the captured image, and the passenger of the host vehicle V may be uncomfortable.
一方、本実施形態の回転立体座標系Ｒ１は、底面Ｒ１Ｂが路面Ｇ０と略同一であるため、上述したような空間ＳＰ５、ＳＰ６は発生しない。そのため、撮像画像を投影すると、自車両Ｖの周囲の一部分が欠けることなく、自車両Ｖの周囲全体が表示されるため、乗員に違和感を与えることを抑制できる。 On the other hand, in the rotational solid coordinate system R1 of the present embodiment, since the bottom surface R1 B is substantially the same as the road surface G0, the spaces S P 5 and S P 6 as described above do not occur. Therefore, when the captured image is projected, the entire periphery of the host vehicle V is displayed without a part of the periphery of the host vehicle V being lost, so that it is possible to prevent the passenger from feeling uncomfortable.
続いて、制御装置１０の表示制御機能について説明する。制御装置１０は、カメラ２０の撮像画像のデータを回転立体座標系Ｒ１に投影し、仮想視点から自車両Ｖ及び自車両Ｖの周囲を見た映像を生成し、表示させる。
Next, the display control function of the control device 10 will be described. The control device 10 projects the data of the image captured by the
制御装置１０は、カメラ２０から取得した撮像画像のデータを、回転立体座標系Ｒ１に投影し、設定された仮想視点から自車両Ｖ及びこの自車両Ｖの周囲を見た映像を生成する。自車両Ｖの姿勢の変化量が所定量未満である場合には、自車両Ｖの姿勢が変化していないと判断する。そして、基準立体座標系Ｓ１に撮像画像を投影する。他方、自車両Ｖの姿勢の変化量が所定量以上である場合には、自車両Ｖの姿勢が変化したと判断する。そして、回転立体座標系Ｒ１を設定し、これに撮像画像を投影する。「所定量」は、自車両Ｖの姿勢に変化があったか否かを判断するための変化量の閾値として設定する。「所定量」は、自車両Ｖのカメラ２０の撮像特性、基準立体座標系Ｓ１の態様、自車両Ｖの構造などの影響を考慮して実験的に求めることが好ましい。
The control device 10 projects the captured image data acquired from the
制御装置１０は、カメラ２０から取得した撮像画像のデータを、回転立体座標系Ｒ１に投影する。投影手法は、特に限定されない。制御装置１０は、出願時に知られたプロジェクションマッピング技術を用いて、投影処理を実行してもよい。撮像画像のデータのアドレスと、回転立体座標系Ｒ１のアドレス（座標値）との対応情報を用いて、投影処理を実行してもよい。
The control device 10 projects the captured image data acquired from the
本実施形態の表示装置１００は、回転立体座標系Ｒ１に投影された画像を用いて、仮想視点から自車両Ｖ及びその自車両Ｖの周囲を見た映像を生成する。表示装置１００は、生成された映像を、ディスプレイ７０に表示する。ディスプレイ７０は、自車両Ｖに搭載し、移動体装置２００として構成してもよいし、表示装置１００側に設けてもよい。ディスプレイ７０は、二次元画像用のディスプレイでもよいし、三次元画像を映し出すディスプレイであってもよい。なお、移動体が海底探査機の場合には、海底探査機そのものを映像に表示させないようにしてもよい。この場合、制御装置１０は、撮像画像のデータを回転立体座標系Ｒ１に投影して、仮想視点から海底探査機の周囲を見た映像を生成する。 The display device 100 according to the present embodiment generates an image in which the host vehicle V and the surroundings of the host vehicle V are viewed from a virtual viewpoint using an image projected on the rotating solid coordinate system R1. The display device 100 displays the generated video on the display 70. The display 70 may be mounted on the host vehicle V and configured as the mobile device 200 or may be provided on the display device 100 side. The display 70 may be a two-dimensional image display or a display that displays a three-dimensional image. When the mobile body is a seabed probe, the seabed probe itself may not be displayed on the video. In this case, the control device 10 projects the captured image data onto the rotating solid coordinate system R1, and generates an image in which the surroundings of the seafloor explorer are viewed from the virtual viewpoint.
本実施形態の表示装置１００が表示させる映像には、予め準備された自車両Ｖを示すアイコン画像Ｖ’を重畳させて表示してもよい。車両のアイコン画像Ｖ’は、自車両Ｖの意匠に基づいて予め作成し、ＲＯＭ１２に記憶させてもよい。このように、自車両Ｖのアイコン画像Ｖ’を映像に重畳させることにより、自車両Ｖの位置及び向きと周囲の映像との関係を分かりやすく示すことができる。
You may superimpose and display the icon image V ' which shows the own vehicle V prepared beforehand on the image | video which the display apparatus 100 of this embodiment displays. The icon image V ′ of the vehicle may be created in advance based on the design of the host vehicle V and stored in the
図９のフローチャートに基づいて、本実施形態の制御装置１０の動作を説明する。
ステップＳ１０１において、制御装置１０は、乗員操作装置６０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ１０２に進み、表示スイッチのオフが検出されると、ステップＳ１０１で待機する。
Based on the flowchart of FIG. 9, operation | movement of the control apparatus 10 of this embodiment is demonstrated.
In step S <b> 101, the control device 10 detects the state of the display switch of the occupant operation device 60. If it is detected that the display switch is turned on, the process proceeds to step S102. If it is detected that the display switch is turned off, the process waits in step S101.
ステップＳ１０２において、制御装置１０は、自車両Ｖの周囲画像を取得するために、カメラ２０により撮像された撮像画像を取得する。制御装置１０は、自車両Ｖにカメラ２０が複数台搭載されている場合には、それぞれのカメラで撮像された撮像画像を取得する。取得した撮像画像は、映像の生成に用いられるほか、対象物の検出、及び対象物までの距離の計測に用いられる。
In step S <b> 102, the control device 10 acquires a captured image captured by the
ステップＳ１０３において、制御装置１０は、ステップＳ１０２で取得した撮像画像を投影する投影用の座標を設定するため、ＲＯＭ１２に記憶された基準立体座標系Ｓを読み出す。なお、表示装置１００の動作中に、基準立体座標系Ｓを固定して使用することに限定されない。例えば、ＲＯＭ１２には複数種の基準立体座標系Ｓが記憶されている場合、この複数種の基準立体座標系Ｓから、自車両Ｖの乗員が乗員操作装置６０を介して選択する構成でもよい。
In step S103, the control device 10 reads the reference three-dimensional coordinate system S stored in the
ステップＳ１０４において、制御装置１０は、ステップＳ１０３で設定した基準立体座標系Ｓに、ステップＳ１０２で取得した撮像画像を投影して生成する映像の視点である、仮想視点を設定する。制御装置１０は、ＲＯＭ１２に記憶された仮想視点を読み出す。なお、ＲＯＭ１２に記憶された一種類の仮想視点を使用することに限定されない。例えば、自車両Ｖの乗員が乗員操作装置６０を介して仮想視点を設定する構成でもよい。
In step S104, the control device 10 sets a virtual viewpoint, which is the viewpoint of the video generated by projecting the captured image acquired in step S102, on the reference solid coordinate system S set in step S103. The control device 10 reads the virtual viewpoint stored in the
ステップＳ１０５において、制御装置１０は、自車両Ｖの姿勢を算出する。制御装置１０は、ステップＳ１０２で取得した撮像画像だけでなく、センサ４０から取得した自車両Ｖの移動速度等を含む自車両の走行情報、ナビゲーション装置５０から取得した路面の凹凸状態から、自車両Ｖの姿勢に関する情報を算出する。例えば、制御装置１０は、カメラ２０の高さを自車両Ｖの姿勢に関する情報として算出する。
In step S105, the control device 10 calculates the attitude of the host vehicle V. The control device 10 determines not only the captured image acquired in step S102 but also the travel information of the host vehicle including the moving speed of the host vehicle V acquired from the sensor 40 and the road surface unevenness acquired from the navigation device 50. Information on the posture of V is calculated. For example, the control device 10 calculates the height of the
ステップＳ１０６において、制御装置１０は、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判定する。制御装置１０は、ステップＳ１０５で算出した現在の自車両Ｖの姿勢と、自車両Ｖの静止状態における姿勢とを比較することで、自車両Ｖの姿勢の変化量が所定量以上であるか否かを判定する。制御装置１０は、ＲＯＭ１２に記憶された自車両Ｖの静止状態における姿勢を読み出して、自車両Ｖの基準姿勢とする。
In step S106, the control device 10 determines whether or not the amount of change in the attitude of the host vehicle V is equal to or greater than a predetermined amount. The control device 10 compares the current posture of the host vehicle V calculated in step S105 with the posture of the host vehicle V in a stationary state to determine whether or not the amount of change in the posture of the host vehicle V is equal to or greater than a predetermined amount. Determine whether. The control device 10 reads out the posture of the host vehicle V stored in the
制御装置１０は、自車両Ｖの姿勢の変化量が所定量以上である場合には、投影面を補正する必要があると判断し、投影面補正処理Ａを実行する。ステップＳ１０６では、制御装置１０は、ステップＳ１０２で取得した撮像画像を、ステップＳ１０３で設定した基準立体座標系Ｓに投影した映像の質について判断する。つまり、制御装置１０は、当該映像には、自車両Ｖの乗員に違和感を与える、又は当該映像に大きなノイズが生じる可能性があると判断する。反対に、自車両Ｖの姿勢の変化量が所定量未満である場合には、ステップＳ１０７へ進む。この場合に、制御装置１０は、基準立体座標系Ｓに撮像画像を投影した映像には、自車両Ｖの乗員に違和感を与えない、又は当該映像には大きなノイズが生じないと判断する。 When the amount of change in the attitude of the host vehicle V is equal to or greater than a predetermined amount, the control device 10 determines that the projection plane needs to be corrected, and executes the projection plane correction process A. In step S106, the control device 10 determines the quality of the video image obtained by projecting the captured image acquired in step S102 onto the reference three-dimensional coordinate system S set in step S103. That is, the control device 10 determines that there is a possibility that the occupant of the host vehicle V may feel uncomfortable in the video, or that a large noise may occur in the video. On the other hand, when the amount of change in the posture of the host vehicle V is less than the predetermined amount, the process proceeds to step S107. In this case, the control device 10 determines that the video obtained by projecting the captured image on the reference three-dimensional coordinate system S does not give a sense of incongruity to the occupant of the host vehicle V, or that the video does not generate large noise.
次に、図１０を参照して、投影面補正処理Ａについて説明する。図１０は、本実施形態における投影面補正処理Ａのフローチャートである。ステップＳ１１０〜Ｓ１１５と、ステップＳ１１６〜Ｓ１２１は、それぞれまとまった１つのフローであり、制御装置１０は、これら２つのフローをシリアル又はパラレルで実行する。まず、ステップＳ１１０〜Ｓ１１５までを説明する。 Next, the projection plane correction process A will be described with reference to FIG. FIG. 10 is a flowchart of the projection plane correction process A in the present embodiment. Steps S <b> 110 to S <b> 115 and steps S <b> 116 to S <b> 121 are each a single flow, and the control device 10 executes these two flows serially or in parallel. First, steps S110 to S115 will be described.
ステップＳ１１０において、制御装置１０は、自車両Ｖに搭載された前後のカメラ（前方カメラ２１、後方カメラ２２）の路面に対する位置をそれぞれ検出する。なお、制御装置１０は、当該ステップで改めて２つのカメラの位置を検出することなく、ステップＳ１０２で取得した撮像画像から位置を算出してもよい。
In step S110, the control device 10 detects the positions of the front and rear cameras (
ステップＳ１１１において、制御装置１０は、自車両Ｖのピッチ方向の傾斜角度を算出するため、ステップＳ１１０で検出した、前方カメラ２１の位置と後方カメラ２２の位置を、それぞれのカメラの基準位置と比較する。制御装置１０は、ＲＯＭ１２に記憶された前方カメラ２１の基準位置及び後方カメラ２２の基準位置を読み出す。制御装置１０は、前方カメラ２１の高さ方向の変化量ΔＺ１と、後方カメラ２２の高さ方向の変化量ΔＺ２を算出する。
In step S111, the control device 10 compares the position of the
ステップＳ１１２において、制御装置１０は、ステップＳ１１１で算出した変化量ΔＺ１と変化量ΔＺ２から、ピッチ方向の傾斜角度を算出する。制御装置１０は、算出した傾斜角度をＲＡＭ１３に一時的に格納する。なお、ステップＳ１１２において、制御装置１０は、ピッチ方向の傾斜方向を算出し、ＲＡＭ１３に一時的に格納してもよい。
In step S112, the control device 10 calculates an inclination angle in the pitch direction from the change amount ΔZ1 and the change amount ΔZ2 calculated in step S111. The control device 10 temporarily stores the calculated tilt angle in the
ステップＳ１１３において、制御装置１０は、ステップＳ１１１で算出した変化量ΔＺ１と変化量ΔＺ２とを比較することで、前方カメラ２１と後方カメラ２２のうち高さ方向の変化量が小さいカメラを特定する。前方カメラ２１が後方カメラ２２よりも高さ方向の変化量が小さい場合には（ΔＺ１＜ΔＺ２）、ステップＳ１１４へ進む。反対に、前方カメラ２１が後方カメラ２２よりも高さ方向の変化量が小さい場合には（ΔＺ２＜ΔＺ１）、ステップＳ１１５へ進む。
In step S113, the control device 10 compares the change amount ΔZ1 calculated in step S111 with the change amount ΔZ2 to identify a camera having a small change amount in the height direction among the
ステップＳ１１４において、制御装置１０は、前輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ１として設定する。ステップＳ１１５において、制御装置１０は、後輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ１として設定する。ステップＳ１１４及びステップＳ１１５では、制御装置１０は、回転中心Ｃ１を姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。 In step S <b> 114, the control device 10 sets the position where the front wheel contacts the road surface as the rotation center C <b> 1 of the reference solid coordinate system S. In step S115, the control device 10 sets the position where the rear wheel contacts the road surface as the rotation center C1 of the reference solid coordinate system S. In step S114 and step S115, the control device 10 treats the rotation center C1 as a portion of the host vehicle V in which the amount of change in posture is smaller than a predetermined value.
次に、ステップＳ１１６〜Ｓ１２１までを説明する。 Next, steps S116 to S121 will be described.
ステップＳ１１６において、制御装置１０は、自車両Ｖに搭載された左右のカメラ（左方カメラ２３、右方カメラ２４）の路面に対する位置をそれぞれ検出する。なお、制御装置１０は、当該ステップで改めて２つのカメラの位置を検出することなく、ステップＳ１０２で取得した撮像画像から位置を算出してもよい。
In step S116, the control device 10 detects the positions of the left and right cameras (left
ステップＳ１１７において、制御装置１０は、ロール方向の傾斜角度を算出するため、ステップＳ１１６で検出した、左方カメラ２３の位置と右方カメラ２４の位置を、それぞれの基準位置と比較する。制御装置１０は、ＲＯＭ１２に記憶された左方カメラ２３の基準位置及び右方カメラ２４の基準位置を読み出す。制御装置１０は、左方カメラ２３の高さ方向の変化量ΔＺ３と、右方カメラ２４の高さ方向の変化量ΔＺ４を算出する。
In step S117, the control device 10 compares the position of the
ステップＳ１１８において、制御装置１０は、ステップＳ１１７で算出した変化量ΔＺ３と変化量ΔＺ４から、ロール方向の傾斜角度を算出する。制御装置１０は、算出した傾斜角度をＲＡＭ１３に一次的に格納する。なお、ステップＳ１１８において、制御装置１０は、ロール方向の傾斜方向を算出し、ＲＡＭ１３に一時的に格納してもよい。
In step S118, the control device 10 calculates an inclination angle in the roll direction from the change amount ΔZ3 and the change amount ΔZ4 calculated in step S117. The control device 10 temporarily stores the calculated tilt angle in the
ステップＳ１１９において、制御装置１０は、ステップＳ１１７で算出した変化量ΔＺ３と変化量ΔＺ４とを比較することで、左方カメラ２３と右方カメラ２４のうち高さ方向の変化量が小さいカメラを特定する。左方カメラ２３が右方カメラ２４よりも高さ方向の変化量が小さい場合には（ΔＺ３＜ΔＺ４）、ステップＳ１２０へ進む。反対に、右方カメラ２４が左方カメラ２３よりも高さ方向の変化量が小さい場合には（ΔＺ４＜ΔＺ３）、ステップＳ１２１へ進む。
In step S119, the control device 10 compares the amount of change ΔZ3 calculated in step S117 with the amount of change ΔZ4, thereby specifying a camera with a small amount of change in the height direction among the
ステップＳ１２０において、制御装置１０は、左側輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ２として設定する。ステップＳ１２１において、制御装置１０は、右側輪が路面と接地する位置を、基準立体座標系Ｓの回転中心Ｃ２として設定する。ステップＳ１２０及びステップＳ１２１において、制御装置１０は、回転中心Ｃ２を姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。 In step S120, the control device 10 sets the position where the left wheel contacts the road surface as the rotation center C2 of the reference solid coordinate system S. In step S121, the control device 10 sets the position where the right wheel contacts the road surface as the rotation center C2 of the reference solid coordinate system S. In step S120 and step S121, the control device 10 treats the rotation center C2 as a portion of the host vehicle V in which the amount of change in posture is smaller than a predetermined value.
ステップＳ１２２において、制御装置１０は、ステップＳ１０３で設定した基準立体座標系Ｓ１を、ステップＳ１１４又はステップＳ１１５で得られた回転中心Ｃ１を中心として、ピッチ方向の傾斜方向と反対方向に傾斜角度だけ回転移動させる。また、制御装置１０は、基準立体座標系Ｓ１を、ステップＳ１２０又はステップＳ１２１で得られた回転中心Ｃ２を中心として、ロール方向の傾斜方向と反対方向に傾斜角度だけ回転移動させる。なお、ステップＳ１２２において、制御装置１０は、ステップＳ１１２又はステップＳ１１８でＲＡＭ１３に一時的に格納した、傾斜角度及び傾斜方向を読み出す。
In step S122, the control device 10 rotates the reference solid coordinate system S1 set in step S103 by an inclination angle in the direction opposite to the inclination direction in the pitch direction around the rotation center C1 obtained in step S114 or step S115. Move. Further, the control device 10 rotates the reference three-dimensional coordinate system S1 by an inclination angle in the direction opposite to the inclination direction of the roll direction around the rotation center C2 obtained in step S120 or step S121. In step S122, the control device 10 reads the tilt angle and the tilt direction temporarily stored in the
ステップＳ１２３において、制御装置１０は、ステップＳ１２２で回転移動させた基準立体座標系Ｓ１を回転立体座標系Ｒ１として設定する。そして、制御装置１０は、回転立体座標系Ｒ１を投影用の座標系として設定する。投影面補正処理Ａは終了し、図９に示すステップＳ１０７へ進む。 In step S123, the control apparatus 10 sets the reference | standard solid coordinate system S1 rotated and moved by step S122 as rotation solid coordinate system R1. Then, the control device 10 sets the rotating solid coordinate system R1 as a projection coordinate system. The projection plane correction process A ends, and the process proceeds to step S107 shown in FIG.
ステップＳ１０７において、ステップＳ１０３で設定された基準立体座標系Ｓ１又はステップＳ１２３で設定された回転立体座標系Ｒ１に、撮像画像を投影する処理を実行し、表示用の映像を生成する。 In step S107, a process of projecting a captured image on the reference stereoscopic coordinate system S1 set in step S103 or the rotating stereoscopic coordinate system R1 set in step S123 is executed to generate a display image.
ステップＳ１０８において、制御装置１０は、生成した映像をディスプレイ７０に表示する。 In step S <b> 108, the control device 10 displays the generated video on the display 70.
最後に、ステップＳ１０９において、制御装置１０は、乗員操作装置６０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ１０５へ戻り、表示スイッチのオフが検出されると、制御装置１０の動作を終了する。 Finally, in step S109, the control device 10 detects the state of the display switch of the occupant operation device 60. When the on state of the display switch is detected, the process returns to step S105. When the off state of the display switch is detected, the operation of the control device 10 is terminated.
以上のように、本実施形態の制御装置１０は、姿勢の変化量が所定値よりも小さい自車両Ｖの部分に、予め定義された基準立体座標系Ｓ１の回転中心を設定する。そして、制御装置１０は、姿勢の変化量に応じて、基準立体座標系Ｓ１を回転移動させた回転立体座標系Ｒ１に撮像画像を投影して、仮想視点からの映像を表示する。これにより、自車両Ｖの姿勢が変化した場合であっても、投影面と路面Ｇ０の配置関係を、自車両Ｖの静止状態における当該配置関係に維持することができる。その結果、表示映像において、撮像画像間の不連続な繋がりの発生は抑制され、乗員に違和感を与えることを抑制できる。 As described above, the control device 10 according to the present embodiment sets the rotation center of the reference solid coordinate system S1 defined in advance in the portion of the host vehicle V in which the amount of change in posture is smaller than a predetermined value. Then, the control device 10 projects the captured image on the rotating three-dimensional coordinate system R1 obtained by rotating the reference three-dimensional coordinate system S1 in accordance with the amount of change in posture, and displays a video from the virtual viewpoint. Thereby, even if it is a case where the attitude | position of the own vehicle V changes, the arrangement | positioning relationship of a projection surface and the road surface G0 can be maintained in the said arrangement | positioning relationship in the stationary state of the own vehicle V. As a result, in the displayed video, the occurrence of discontinuous connection between the captured images is suppressed, and it can be suppressed that the passenger feels uncomfortable.
また、本実施形態の自車両Ｖは、前後方向又は左右方向に、対向する２つのカメラを有し、制御装置１０は、この２つのカメラの高さ方向の変化量を比較する。そして、制御装置１０は、変化量の小さい方のカメラ側に、基準立体座標系Ｓ１の回転中心を設定する。これにより、姿勢の変化量が小さい自車両Ｖの部分を特定するための一次判断が容易となり、演算処理の負担を軽減することができる。 Further, the host vehicle V of the present embodiment has two cameras facing each other in the front-rear direction or the left-right direction, and the control device 10 compares the amount of change in the height direction of the two cameras. And the control apparatus 10 sets the rotation center of the reference | standard solid coordinate system S1 to the camera side with a smaller variation | change_quantity. Thereby, the primary determination for specifying the part of the own vehicle V with a small amount of change in posture is facilitated, and the burden of calculation processing can be reduced.
さらに、本実施形態の制御装置１０は、自車両Ｖの車輪が路面Ｇ０と接地する位置を、回転中心Ｃ１、Ｃ２として設定する。これにより、自車両Ｖの姿勢が変化した場合であっても、自車両Ｖの姿勢の変化量が所定値よりも小さい位置を、容易に特定することができる。 Furthermore, the control apparatus 10 of this embodiment sets the position where the wheel of the own vehicle V contacts the road surface G0 as the rotation centers C1 and C2. Thereby, even when the posture of the host vehicle V changes, it is possible to easily identify a position where the amount of change in the posture of the host vehicle V is smaller than a predetermined value.
加えて、本実施形態の制御装置１０は、自車両Ｖの車輪のうち前輪又は後輪のいずれか一方側の車輪が路面Ｇ０と接地しない場合に、他方側の車輪が路面Ｇ０と接地する位置を、回転中心として設定するため、上記効果を奏する。 In addition, the control device 10 of the present embodiment is a position where the wheel on the other side touches the road surface G0 when the wheel on either the front wheel or the rear wheel of the vehicle V does not touch the road surface G0. Is set as the center of rotation, and the above-described effect is achieved.
また、本実施形態の制御装置１０は、自車両Ｖの車輪のうち左側輪又は右側輪のいずれか一方側の車輪が路面Ｇ０と接地しない場合に、他方側の車輪が路面Ｇ０と接地する位置を、回転中心として設定するため、上記効果を奏する。 Moreover, the control apparatus 10 of this embodiment is a position where the wheel on the other side contacts the road surface G0 when the wheel on either the left wheel or the right wheel of the vehicle V does not contact the road surface G0. Is set as the center of rotation, and the above-described effect is achieved.
さらに、本実施形態の制御装置１０は、自車両Ｖの姿勢の傾斜方向を算出し、基準立体座標系Ｓ１を、算出した傾斜方向と反対方向に、回転移動させて回転立体座標系Ｒ１を設定する。これにより、自車両Ｖの姿勢に応じて傾いた基準立体座標系Ｓ１’を、時間を要することなく路面Ｇ０と略同一面となる位置に戻すことができ、演算処理の負担を軽減することができる。 Furthermore, the control device 10 of the present embodiment calculates the inclination direction of the posture of the host vehicle V, and rotates the reference three-dimensional coordinate system S1 in the direction opposite to the calculated inclination direction to set the rotation three-dimensional coordinate system R1. To do. As a result, the reference solid coordinate system S1 ′ tilted according to the attitude of the host vehicle V can be returned to a position that is substantially flush with the road surface G0 without taking time, thereby reducing the burden of calculation processing. it can.
なお、本実施形態では、制御装置１０は、上記の方法で回転中心Ｃ１、Ｃ２を算出したが、これに限定されない。次に、回転中心Ｃ１、Ｃ２の算出方法が異なる変形例に係る制御装置１１０について説明する。 In the present embodiment, the control device 10 calculates the rotation centers C1 and C2 by the above method, but the present invention is not limited to this. Next, a description will be given of the control device 110 according to a modified example in which the calculation methods of the rotation centers C1 and C2 are different.
制御装置１１０は、上述した実施形態に係る制御装置１０と比べて、回転中心設定機能が異なる点以外は、同様の構成であるため、説明を援用する。 Since the control device 110 has the same configuration as the control device 10 according to the above-described embodiment except that the rotation center setting function is different, the description is incorporated.
次に、図１１Ａ、１１Ｂを用いて、制御装置１１０の回転中心Ｃ１、Ｃ２の算出方法について説明する。図１１Ａ、１１Ｂは、自車両の動作状態における姿勢の一例を示す図である。図１１Ａは自車両Ｖの左側面図であり、図１１Ｂは自車両Ｖの正面図であり、図４Ａ、４Ｂにそれぞれ対応する。図１１Ａ、１１Ｂでは、図４Ａ、４Ｂを用いて説明した内容を援用する。 Next, a method of calculating the rotation centers C1 and C2 of the control device 110 will be described with reference to FIGS. 11A and 11B. 11A and 11B are diagrams illustrating examples of postures in the operation state of the host vehicle. 11A is a left side view of the host vehicle V, FIG. 11B is a front view of the host vehicle V, and corresponds to FIGS. 4A and 4B, respectively. In FIG. 11A and 11B, the content demonstrated using FIG. 4A and 4B is used.
変形例に係る制御装置１１０は、上述した実施形態に係る制御装置１０と異なり、幾何学的な方法により、回転中心Ｃ１１、Ｃ２１を設定する。具体的に、制御装置１１０は、自車両Ｖの静止状態において、前方カメラ２１と後方カメラ２２のいずれもを通過するラインＬｒｅ１と、自車両Ｖの動作状態における前方カメラ２１’と後方カメラ２２’のいずれもを通過するラインＬ１との交点を算出し、この交点を回転中心Ｃ１１として設定する。
Unlike the control device 10 according to the embodiment described above, the control device 110 according to the modification sets the rotation centers C11 and C21 by a geometric method. Specifically, the control device 110 includes a
同様に、制御装置１１０は、自車両Ｖの静止状態において、左方カメラ２３と右方カメラ２４のいずれもを通過するラインＬｒｅ２と、自車両Ｖの動作状態における左方カメラ２３’と右方カメラ２４’のいずれもを通過するラインＬ２との交点を算出し、この交点を回転中心Ｃ２１として設定する。
Similarly, the control device 110 includes a
このように、制御装置１１０は、自車両Ｖの静止状態における対向する２つのカメラの位置関係と、自車両Ｖの動作状態における対向する２つのカメラの位置関係とを比較して、回転中心Ｃ１１、Ｃ２１を設定する。制御装置１１０は、この２つの位置関係を示す２つの直線の交点を、自車両Ｖの姿勢の変化量が所定値よりも小さい自車両Ｖの部分として扱う。 In this way, the control device 110 compares the positional relationship between the two cameras facing each other when the host vehicle V is stationary and the positional relationship between the two cameras facing each other when the host vehicle V is in the operating state. , C21 is set. The control device 110 treats the intersection of the two straight lines indicating the two positional relationships as a portion of the host vehicle V in which the amount of change in posture of the host vehicle V is smaller than a predetermined value.
制御装置１１０が設定した回転中心Ｃ１１、Ｃ２１は、上述した実施形態に係る制御装置１０が設定した回転中心Ｃ１、Ｃ２と異なり、自車両Ｖの内側の範囲に設定される。なお、図１１Ａに点線で示される回転中心Ｃ１は、上述した実施形態に係る制御装置１０が設定した位置であり、図１１Ｂに示される回転中心Ｃ２は、上述した実施形態に係る制御装置１０が設定した位置である。 The rotation centers C11 and C21 set by the control device 110 are set in a range inside the host vehicle V, unlike the rotation centers C1 and C2 set by the control device 10 according to the above-described embodiment. Note that the rotation center C1 indicated by a dotted line in FIG. 11A is a position set by the control device 10 according to the above-described embodiment, and the rotation center C2 illustrated in FIG. 11B is the position by the control device 10 according to the above-described embodiment. It is the set position.
変形例に係る制御装置１１０は、座標系補正機能により、基準立体座標系Ｓ１を、回転中心Ｃ１１、Ｃ２１を中心として、回転移動させる。制御装置１１０は、回転移動した基準立体座標系Ｓ１を回転立体座標系Ｒ１’’（図示しない）として設定する。回転立体座標系Ｒ１’’と路面Ｇ０との配置関係は、基準立体座標系Ｓ１と路面Ｇ０の配置関係に維持される。 The control device 110 according to the modified example rotates the reference solid coordinate system S1 around the rotation centers C11 and C21 by the coordinate system correction function. The control device 110 sets the reference solid coordinate system S1 that has been rotated and moved as a rotated solid coordinate system R1 ″ (not shown). The arrangement relationship between the rotational solid coordinate system R1 '' and the road surface G0 is maintained as the arrangement relationship between the reference solid coordinate system S1 and the road surface G0.
なお、変形例では、カメラ２０の位置関係から回転中心の位置を算出するため、上述した実施形態と比べて、自車両Ｖの姿勢の変化量が所定値よりも小さい位置を精度良く算出できる。そのため、回転立体座標系Ｒ１’’と基準立体座標系Ｓ１とのズレを小さくすることができる。これにより、回転立体座標系Ｒ１’’に撮像画像を投影した映像を表示すると、撮像画像間の不連続な繋がりの発生はより抑制される。
In the modified example, since the position of the rotation center is calculated from the positional relationship of the
以上のように、変形例では、制御装置１１０は、自車両Ｖの静止状態において対向する前方カメラ２１（左方カメラ２３）及び後方カメラ２２（右方カメラ２４）のいずれもを通過する直線と、自車両Ｖの動作状態において前方カメラ２１’（左方カメラ２３’）及び後方カメラ２２’（右方カメラ２４’）のいずれもを通過する直線との交点を算出し、この交点を回転中心Ｃ１１（回転中心Ｃ２１）として設定する。これにより、自車両Ｖの姿勢の変化量が所定値よりも小さい位置を精度良く算出でき、基準立体座標系Ｓ１とのズレが小さい回転立体座標系Ｒ１’’が設定される。その結果、回転立体座標系Ｒ１’’に撮像画像を投影した映像を表示すると、撮像画像間の不連続な繋がりの発生はより抑制され、自車両Ｖの乗員に違和感を与えることをより効果的に抑制できる。 As described above, in the modification, the control device 110 is a straight line that passes through both the front camera 21 (left camera 23) and the rear camera 22 (right camera 24) that face each other when the host vehicle V is stationary. Then, in the operation state of the host vehicle V, an intersection point with a straight line passing through both the front camera 21 ′ (left camera 23 ′ ) and the rear camera 22 ′ (right camera 24 ′ ) is calculated, and this intersection point is the center of rotation. Set as C11 (rotation center C21). As a result, a position in which the amount of change in the posture of the host vehicle V is smaller than a predetermined value can be calculated with high accuracy, and a rotating solid coordinate system R1 ″ with a small deviation from the reference solid coordinate system S1 is set. As a result, when the image obtained by projecting the captured image is displayed on the rotating solid coordinate system R1 ″ , the occurrence of discontinuous connection between the captured images is further suppressed, and it is more effective to give a sense of discomfort to the occupant of the host vehicle V. Can be suppressed.
≪第２実施形態≫
第２実施形態では、本発明に係る表示装置を、移動体に搭載された表示システム２に適用した場合を例にして説明する。本実施形態の表示システム２は、移動体及び移動体周囲の状況を把握するための映像を移動体の操作者が見るディスプレイに表示する。
<< Second Embodiment >>
In the second embodiment, a case where the display device according to the present invention is applied to a
図１２は、本実施形態に係る表示装置３００を含む表示システム２のブロック構成図である。図１２に示すように、本実施形態の表示システム２は、表示装置３００と、移動体装置４００とを備える。表示装置３００と移動体装置４００の各機器は、いずれも図示しない有線又は無線の通信装置を備え、互いに情報の授受を行う。
FIG. 12 is a block configuration diagram of the
本実施形態の表示システム２が適用される移動体は、ヘリコプター、飛行機などの航空機その他の移動機能を備えるものを含む。本実施形態では、移動体がメインロータを有する回転翼機（ヘリコプター）である場合を例にして説明する。なお、本実施形態の移動体は、人間が搭乗可能な有人機であってもよいし、人間が搭乗しない無人機であってもよい。
The mobile body to which the
なお、本実施形態の表示システム２は、移動体に搭載された装置として構成してもよいし、移動体に持ち込み可能な可搬装置として構成してもよい。また、本実施形態の表示システム２の一部の構成を移動体に搭載し、他の構成を移動体とは物理的に別の装置に搭載し、構成を分散させてもよい。この場合において、移動体と別の装置とは、情報の授受が可能なように構成される。
Note that the
図１２に示すように、本実施形態の移動体装置４００は、カメラ８０と、コントローラ３０と、センサ４０と、ナビゲーション装置５０と、乗員操作装置６０と、ディスプレイ７０と、を備える。これらの各装置は移動体に搭載されたＬＡＮによって接続され、相互に情報の授受を行うことができる。なお、上述した実施形態と同様の構成には、同様の符号を付し、その説明を援用する。
As illustrated in FIG. 12, the mobile device 400 according to the present embodiment includes a
本実施形態のカメラ８０は、回転翼機（移動体の一例である。以下同じ）の所定位置に設けられている。回転翼機に搭載されたカメラ８０は、回転翼機及び／又は回転翼機の周囲を撮像し、その撮像画像を表示装置３００に送出する。本実施形態における撮像画像は、回転翼機の一部と回転翼機の周囲の映像を含む。撮像画像のデータは、回転翼機の周囲の対象物との位置関係の算出処理、回転翼機又は回転翼機の周囲の映像の生成処理に用いられる。
The
図１３（Ａ）（Ｂ）は、回転翼機Ｒに搭載されたカメラ８０の設置位置の一例を示す図である。図１３（Ａ）は回転翼機Ｒの左側面図であり、図１３（Ｂ）は回転翼機Ｒの上面図である。図１３（Ａ）（Ｂ）に示すように、回転翼機Ｒには、回転翼機の前方に前方カメラ８１が設置され、回転翼機Ｒの後方に後方カメラ８２が設置されており、前方カメラ８１と後方カメラ８２は対向している。また、回転翼機Ｒには、回転翼機Ｒの左側に左方カメラ８３が設置され、回転翼機Ｒの右側に右方カメラ８４が設置されており、左方カメラ８３と右方カメラ８４は対向している。なお、カメラ８０の設置位置は特に限定されず、その設置位置を任意に変更できる。
13A and 13B are diagrams illustrating an example of the installation position of the
カメラ８０は、上述した実施形態に係るカメラ２０と同様の機能を有するため、説明を援用する。本実施形態では、回転翼機Ｒがホバリングした状態を想定しているため、カメラ８０のレンズは、回転翼機Ｒの下方向を向いているのが好ましい。なお、回転翼機Ｒのホバリングとは、回転翼機Ｒが地表に対して水平な姿勢を保ちつつ空中で停止する状態のことである。
Since the
図１２に示すように、本実施形態では、センサ４０には、姿勢センサ４５の代わりに、ジャイロセンサ４６を含む。ジャイロセンサ４６は、回転翼機Ｒの姿勢の傾斜角度を検出する。 As shown in FIG. 12, in this embodiment, the sensor 40 includes a gyro sensor 46 instead of the attitude sensor 45. The gyro sensor 46 detects the inclination angle of the attitude of the rotary wing machine R.
次に、本実施形態の表示装置３００について説明する。本実施形態の表示装置３００は、制御装置２１０を備える。 Next, the display device 300 of this embodiment will be described. The display device 300 of this embodiment includes a control device 210.
本実施形態に係る表示装置３００の制御装置２１０は、上述した実施形態の制御装置１０と比べて、回転中心設定機能が異なる点以外は、同様の機能を有する。また、本実施形態の制御装置２１０は、傾斜角算出機能を有する。なお、制御装置２１０は、情報取得機能により、ジャイロセンサ４６が検出した傾斜角度を、姿勢情報として取得する。経時的に取得した姿勢情報は、後述する回転翼機Ｒの姿勢の変化量の算出、回転翼機Ｒの前後方向又は左右方向の傾斜角度の算出に用いられる。 The control device 210 of the display device 300 according to the present embodiment has the same function as the control device 10 of the above-described embodiment except that the rotation center setting function is different. Further, the control device 210 of the present embodiment has a tilt angle calculation function. Note that the control device 210 acquires the inclination angle detected by the gyro sensor 46 as posture information by the information acquisition function. The posture information acquired over time is used for calculating the amount of change in posture of the rotary wing machine R, which will be described later, and for calculating the tilt angle of the rotary wing machine R in the front-rear direction or the left-right direction.
まず、制御装置２１０の傾斜角算出機能について説明する。本実施形態の制御装置２１０は、回転翼機Ｒの傾斜方向及び傾斜角度を算出する。制御装置２１０は、地表、海面その他任意の面を基準とすることができ、この基準に対して、回転翼機Ｒが前後方向にどの程度傾斜しているか、及び回転翼機Ｒが左右方向にどの程度傾斜しているかを算出する。算出した前後方向（ピッチ方向）の傾斜角度は、ピッチ方向補正角度として、また、算出した左右方向（ロール方向）の傾斜角度は、ロール方向補正角度として、基準立体座標系Ｓ２を回転移動させる際の角度として用いられる。 First, the tilt angle calculation function of the control device 210 will be described. The control device 210 of the present embodiment calculates the tilt direction and tilt angle of the rotary wing machine R. The control device 210 can use the ground surface, the sea surface, or any other surface as a reference, and how much the rotor wing R is inclined in the front-rear direction and the rotor wing R in the left-right direction with respect to this reference. The degree of inclination is calculated. The calculated tilt angle in the front-rear direction (pitch direction) is used as a pitch direction correction angle, and the calculated tilt angle in the left-right direction (roll direction) is used as a roll direction correction angle when the reference three-dimensional coordinate system S2 is rotated. Is used as the angle.
次に、制御装置２１０の回転中心機能について説明する。制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心として設定する。回転翼機Ｒのメインロータの回転軌跡の中心位置は、回転翼機Ｒの姿勢の変化の影響が回転翼機Ｒの他の部分よりも小さい部分と仮定することができる。そのため、本実施形態では、回転翼機Ｒのメインロータの回転軌跡の中心位置を、姿勢の変化量が所定値よりも小さい回転翼機Ｒの部分として扱う。図１３では、制御装置２１０により設定される回転中心は回転中心Ｃ３であらわされる。また、本実施形態では、上述した実施形態と異なり、制御装置２１０は、回転翼機Ｒの姿勢の変化量とは無関係に、回転翼機Ｒの一部であるメインロータの中心位置を回転中心として設定する。 Next, the rotation center function of the control device 210 will be described. The control device 210 sets the center position of the rotation locus of the main rotor of the rotary wing machine R as the rotation center. The center position of the rotation trajectory of the main rotor of the rotary wing machine R can be assumed to be a part where the influence of the change in the attitude of the rotary wing machine R is smaller than the other parts of the rotary wing machine R. Therefore, in this embodiment, the center position of the rotation locus of the main rotor of the rotary wing machine R is treated as a part of the rotary wing machine R in which the amount of change in posture is smaller than a predetermined value. In FIG. 13, the rotation center set by the control device 210 is represented by the rotation center C3. Further, in the present embodiment, unlike the above-described embodiment, the control device 210 uses the center position of the main rotor that is a part of the rotary wing machine R as the rotation center regardless of the amount of change in the attitude of the rotary wing machine R. Set as.
なお、本実施形態のＲＯＭ１２には、回転翼機Ｒの静止状態における姿勢が基準の姿勢として記憶されている。具体的には、ＲＯＭ１２には、回転翼機Ｒの静止状態における回転翼機Ｒの姿勢情報が記憶されている。本実施形態の静止状態は、回転翼機Ｒのホバリングとするが、これに限定されず、回転翼機Ｒが着陸している状態であってもよい。
In the
図１４を用いて、回転翼機Ｒの姿勢と投影面との関係について説明する。図１４は、回転翼機Ｒの静止状態及び動作状態における投影面の一例を示す図である。図１４（Ａ）〜（Ｃ）では、路面Ｇ０（地表）はｘｙ面に沿う面であらわされる。なお、基準立体座標系Ｓ２は、底面Ｓ２Ｂを有する円筒状の形状であり、回転翼機Ｒの四方を囲むようにあらわされる。 The relationship between the attitude | position of the rotary wing machine R and a projection surface is demonstrated using FIG. FIG. 14 is a diagram illustrating an example of a projection surface in a stationary state and an operating state of the rotary wing machine R. 14A to 14C, the road surface G0 (the ground surface) is represented by a surface along the xy plane. The reference three-dimensional coordinate system S2 is a cylindrical shape having a bottom surface S2 B, represented so as to surround the four sides of the rotorcraft R.
図１４（Ａ）は、回転翼機Ｒの静止状態における投影面（基準立体座標系Ｓ２）を示す図である。図１４（Ａ）に示すように、回転翼機Ｒの静止状態では、基準立体座標系Ｓ２は、地表Ｇ１と垂直な関係となる。つまり、撮像画像に写り込む対象物（立木、鉄塔などの立体障害物）は地表Ｇ１に対して垂直な関係であり、投影面の底面Ｓ２Ｂも地表Ｇ１に対して垂直な関係である。このため、この投影面にカメラ８０で撮像した撮像画像を投影しても、撮像画像間の不連続な繋がりは生じない。
FIG. 14A is a diagram showing a projection plane (reference solid coordinate system S2) in a stationary state of the rotary wing machine R. FIG. As shown in FIG. 14A, in the stationary state of the rotary wing machine R, the reference three-dimensional coordinate system S2 is perpendicular to the ground surface G1. That is, the object visible on captured captured image (standing, steric obstacles such as towers) are perpendicular relationship to the ground G1, the bottom surface S2 B of the projection plane is also perpendicular relationship to the ground G1. For this reason, even if the captured image captured by the
図１４（Ｂ）は、回転翼機Ｒの動作状態における投影面（基準立体座標系Ｓ２’）を示す図である。図１４（Ｂ）は、回転翼機Ｒの尾翼が上がり、回転翼機Ｒが前方に傾いた場面を示す。例えば、向かい風に対して回転翼機Ｒが流されないように、姿勢を安定させるためのホバリングが挙げられる。 FIG. 14B is a diagram showing a projection plane (reference solid coordinate system S2 ′ ) in the operating state of the rotary wing machine R. FIG. 14B shows a scene in which the tail of the rotary wing machine R is raised and the rotary wing machine R is tilted forward. For example, hovering for stabilizing the posture can be mentioned so that the rotary wing machine R is not blown against the head wind.
図１４（Ｂ）に示すように、回転翼機Ｒの動作状態では、基準立体座標系Ｓ２’は、地表Ｇ１に対して垂直関係でなく傾いてあらわせる。つまり、実際の対象物は地表Ｇ１に対して垂直であるが、投影面の底面Ｓ２’ Ｂは地表Ｇ１に対して傾いている。このため、この投影面に撮像画像を投影すると、撮像画像間に不連続な繋がりが生じてしまう。その結果、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは大きくなる。例えば、表示映像には、立体障害物が歪んで表示されてしまう。 As shown in FIG. 14B, in the operating state of the rotary wing machine R, the reference three-dimensional coordinate system S2 ′ is inclined with respect to the ground surface G1, not in a vertical relationship. In other words, the actual object is a normal to the surface G1, the bottom surface S2 'B of the projection plane is inclined with respect to the ground G1. For this reason, when a captured image is projected on this projection surface, discontinuous connection occurs between the captured images. As a result, when a captured image is projected onto a projection surface to create a video from a virtual viewpoint, distortion generated in the video increases. For example, a three-dimensional obstacle is distorted and displayed on the display image.
図１４（Ｃ）は、回転翼機Ｒの動作状態における投影面（回転立体座標系Ｒ２）を示す図である。図１４（Ｃ）は、図１４（Ｂ）と同様の場面であるため、説明を援用する。 FIG. 14C is a diagram showing a projection plane (rotating solid coordinate system R2) in the operating state of the rotary wing machine R. Since FIG. 14C is the same scene as FIG. 14B, description is incorporated.
回転立体座標系Ｒ２は、上述した方法により、制御装置２１０により設定された座標系である。具体的には、制御装置２１０は、回転翼機Ｒの左右方向（ロール方向）の傾斜角度であるロール方向補正角度及び回転翼機Ｒの前後方向（ピッチ方向）の傾斜角度であるピッチ方向補正角度を算出する。そして、制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心Ｃ３として設定する。制御装置２１０は、ｙｚ面において、基準立体座標系Ｓ２’を、回転中心Ｃ３として、ロール方向補正角度だけ回転移動させる。また、制御装置２１０は、基準立体座標系Ｓ２’を、回転中心Ｃ３として、ｙ軸時計回りにピッチ方向補正角度だけ回転移動させる。 The rotating solid coordinate system R2 is a coordinate system set by the control device 210 by the method described above. Specifically, the control device 210 corrects the roll direction correction angle that is the tilt angle in the left-right direction (roll direction) of the rotary wing machine R and the pitch direction correction that is the tilt angle in the front-rear direction (pitch direction) of the rotary wing machine R. Calculate the angle. And the control apparatus 210 sets the center position of the rotation locus | trajectory of the main rotor of the rotary wing machine R as the rotation center C3. In the yz plane, the control device 210 rotates the reference solid coordinate system S2 ′ by the roll direction correction angle with the rotation center C3 as the rotation center C3. Further, the control device 210 rotates the reference three-dimensional coordinate system S2 ′ by the pitch direction correction angle clockwise about the y axis as the rotation center C3.
図１４（Ｃ）では、実際の対象物は地表Ｇ１に対して垂直な関係であり、投影面の底面Ｒ２Ｂも地表Ｇ１に対して垂直な関係となる。このため、この投影面（回転立体座標系Ｒ２）に撮像画像を投影しても、撮像画像間の不連続な繋がりの発生は抑制される。そのため、投影面に撮像画像を投影して、仮想視点からの映像を作成すると、映像に生じる歪みは抑制される。 In FIG. 14 (C), the real object is a perpendicular relationship to the ground G1, a perpendicular relationship to the bottom surface R2 B also ground G1 of the projection surface. For this reason, even if a captured image is projected on this projection plane (rotational solid coordinate system R2), the occurrence of discontinuous connection between the captured images is suppressed. For this reason, when a captured image is projected onto a projection surface to create a video from a virtual viewpoint, distortion generated in the video is suppressed.
また、本実施形態の回転立体座標系Ｒ２と、基準立体座標系Ｓ２とを比較すると、それぞれの底面Ｒ２Ｂと底面Ｓ２Ｂはともに地表Ｇ１に対して垂直な関係である。つまり、回転立体座標系Ｒ２は、回転翼機Ｒの姿勢が変化しても、基準立体座標系Ｓ２と地表Ｇ１の配置関係が維持するように、設定された座標系である。なお、回転立体座標系Ｒ２は、基準立体座標系Ｓ２と海面の配置関係が維持するように、設定された座標系であってもよい。 Further, a rotating three-dimensional coordinate system R2 of the present embodiment is compared with the reference three-dimensional coordinate system S2, the bottom surface of each of R2 B and the bottom surface S2 B are both perpendicular relationship to the ground G1. That is, the rotational solid coordinate system R2 is a coordinate system set so that the positional relationship between the reference solid coordinate system S2 and the ground surface G1 is maintained even when the attitude of the rotary wing aircraft R changes. The rotating solid coordinate system R2 may be a coordinate system that is set so that the arrangement relationship between the reference solid coordinate system S2 and the sea surface is maintained.
図１５のフローチャートに基づいて、本実施形態の制御装置２１０の動作を説明する。ステップＳ２０１〜ステップＳ２０４は、上述した実施形態のステップＳ１０１〜ステップＳ１０４に対応するため、説明を援用する。 Based on the flowchart of FIG. 15, operation | movement of the control apparatus 210 of this embodiment is demonstrated. Since steps S201 to S204 correspond to steps S101 to S104 of the above-described embodiment, the description is incorporated.
ステップＳ２０５において、制御装置２１０は、回転翼機Ｒの姿勢を算出する。制御装置２１０は、ステップＳ２０２で取得した撮像画像だけでなく、センサ４０から取得した回転翼機Ｒの傾斜角度等から、回転翼機Ｒの姿勢に関する情報を算出する。 In step S205, the control device 210 calculates the attitude of the rotary wing machine R. The control device 210 calculates information related to the attitude of the rotary wing machine R from the tilt angle of the rotary wing machine R acquired from the sensor 40 as well as the captured image acquired in step S202.
ステップＳ２０６において、制御装置２１０は、回転翼機Ｒの姿勢の変化量が所定量以上であるか否かを判定する。制御装置２１０は、ステップＳ２０５で算出した現在の回転翼機Ｒの姿勢と、回転翼機Ｒの静止状態における姿勢とを比較することで、回転翼機Ｒの姿勢の変化量が所定量以上であるか否かを判定する。制御装置２１０は、ＲＯＭ１２に記憶された回転翼機Ｒの静止状態における姿勢を読み出して、回転翼機Ｒの基準姿勢とする。
In step S206, the control device 210 determines whether or not the amount of change in the attitude of the rotary wing machine R is greater than or equal to a predetermined amount. The controller 210 compares the current attitude of the rotary wing machine R calculated in step S205 with the attitude of the rotary wing machine R in a stationary state, so that the amount of change in the attitude of the rotary wing machine R is greater than or equal to a predetermined amount. It is determined whether or not there is. The control device 210 reads the attitude of the rotary wing machine R in the stationary state stored in the
制御装置２１０は、回転翼機Ｒの姿勢の変化量が所定量以上である場合には、投影面を補正する必要があると判断し、投影面補正処理Ｂを実行する。反対に、回転翼機Ｒの姿勢の変化量が所定量未満である場合には、ステップＳ２０７へ進む。 When the amount of change in the attitude of the rotary wing machine R is equal to or greater than a predetermined amount, the control device 210 determines that the projection plane needs to be corrected, and executes the projection plane correction process B. On the other hand, when the amount of change in the attitude of the rotary wing machine R is less than the predetermined amount, the process proceeds to step S207.
次に、図１５を参照して、投影面補正処理Ｂについて説明する。図１６は、本実施形態における投影面補正処理Ｂのフローチャートである。 Next, the projection plane correction process B will be described with reference to FIG. FIG. 16 is a flowchart of the projection plane correction process B in this embodiment.
ステップＳ２１０において、制御装置２１０は、回転翼機Ｒのロール方向の傾斜角度と、回転翼機Ｒのピッチ方向の傾斜角度を算出する。例えば、制御装置２１０は、ジャイロセンサ４６の傾斜角度を用いて、それぞれの角度を算出し、ロール方向の傾斜角度をロール方向補正角度とし、ピッチ方向の傾斜角度をピッチ方向補正角度とする。 In step S210, the control device 210 calculates the tilt angle in the roll direction of the rotary wing machine R and the tilt angle in the pitch direction of the rotary wing machine R. For example, the control device 210 calculates each angle using the tilt angle of the gyro sensor 46, sets the tilt angle in the roll direction as the roll direction correction angle, and sets the tilt angle in the pitch direction as the pitch direction correction angle.
ステップＳ２１１において、制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心Ｃ３として設定する。制御装置１０は、回転中心Ｃ３を姿勢の変化量が所定値よりも小さい回転翼機Ｒの位置として扱う。ステップＳ２１２において、制御装置２１０は、ステップＳ２０３で設定した基準立体座標系Ｓ２を、ステップＳ２１１で得られた回転中心Ｃ３を中心として、ロール方向補正角度だけ回転移動させる。また、制御装置２１０は、基準立体座標系Ｓ２を、回転中心Ｃ３を中心として、ピッチ方向補正角度だけ回転移動させる。 In step S211, the control device 210 sets the center position of the rotation locus of the main rotor of the rotary wing machine R as the rotation center C3. The control device 10 treats the rotation center C3 as the position of the rotary blade R whose posture change amount is smaller than a predetermined value. In step S212, the control device 210 rotates the reference three-dimensional coordinate system S2 set in step S203 by the roll direction correction angle around the rotation center C3 obtained in step S211. Further, the control device 210 rotates the reference three-dimensional coordinate system S2 by the pitch direction correction angle about the rotation center C3.
ステップＳ２１３において、制御装置２１０は、ステップＳ２１２で回転移動させた基準立体座標系Ｓ２を回転立体座標系Ｒ２として設定する。そして、制御装置２１０は、回転立体座標系Ｒ２を投影用の座標系として設定する。投影面補正処理Ｂは終了し、図１５に示すステップＳ２０７へ進む。 In step S213, the control device 210 sets the reference solid coordinate system S2 rotated in step S212 as the rotated solid coordinate system R2. Then, the control device 210 sets the rotating solid coordinate system R2 as a projection coordinate system. The projection plane correction process B ends, and the process proceeds to step S207 shown in FIG.
ステップＳ２０７において、ステップＳ２０３で設定された基準立体座標系Ｓ２又はステップＳ２１３で設定された回転立体座標系Ｒ２に、撮像画像を投影する処理を実行し、表示用の映像を生成する。 In step S207, a process of projecting a captured image on the reference stereoscopic coordinate system S2 set in step S203 or the rotated stereoscopic coordinate system R2 set in step S213 is executed to generate a display video.
ステップＳ２０８において、制御装置２１０は、生成した映像をディスプレイ７０に表示する。 In step S <b> 208, the control device 210 displays the generated video on the display 70.
最後に、ステップＳ２０９において、制御装置２１０は、乗員操作装置６０の表示スイッチの状態を検出する。表示スイッチのオンが検出されると、ステップＳ２０５へ戻り、表示スイッチのオフが検出されると、制御装置２１０の動作を終了する。 Finally, in step S209, the control device 210 detects the state of the display switch of the occupant operation device 60. When the on state of the display switch is detected, the process returns to step S205. When the off state of the display switch is detected, the operation of the control device 210 is terminated.
以上のように、本実施形態の制御装置２１０は、回転翼機Ｒのメインロータの回転軌跡の中心位置を、回転中心Ｃ３として設定する。これにより、回転翼機Ｒの姿勢が変化した場合であっても、姿勢の変化量が所定値よりも小さい回転翼機Ｒの部分を、投影面の回転中心とすることができ、その結果、回転立体座標系Ｒ２と地表との配置関係は、基準立体座標系Ｓ２と地表との配置関係が維持される。これにより、回転立体座標系Ｒ２に撮像画像を投影した映像を表示しても、乗員に違和感を与えることを抑制することができる。 As described above, the control device 210 of the present embodiment sets the center position of the rotation locus of the main rotor of the rotary wing machine R as the rotation center C3. Thereby, even when the attitude of the rotary wing machine R is changed, the portion of the rotary wing machine R in which the change amount of the attitude is smaller than a predetermined value can be set as the rotation center of the projection plane. As for the arrangement relationship between the rotating solid coordinate system R2 and the ground surface, the arrangement relationship between the reference solid coordinate system S2 and the ground surface is maintained. Thereby, even if the image | video which projected the captured image was displayed on rotation solid coordinate system R2, giving a discomfort to a passenger | crew can be suppressed.
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
すなわち、本明細書では、本発明に係る表示装置の一態様としての表示装置１００を含む表示システム１、表示装置３００を含む表示システム２を例にして説明するが、本発明はこれに限定されるものではない。
That is, in this specification, the
また、本明細書では、本発明に係るコントローラの一態様として、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３を含む制御装置１０、制御装置２１０を説明するが、これに限定されるものではない。
In this specification, the control device 10 and the control device 210 including the
また、本明細書では、本発明に係る第１のカメラと、第２のカメラとを有する移動体の一態様として、前方カメラ２１、後方カメラ２２、左方カメラ２３、右方カメラ２４を搭載する自車両Ｖ及び前方カメラ８１、後方カメラ８２、左方カメラ８３、右方カメラ８４を搭載する回転翼機Ｒを例にして説明するが、本発明はこれに限定されるものではない。
Further, in this specification, a
１…表示システム
１００…表示装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２００…移動体装置
２０…カメラ
２０１…画像処理装置
２０２…測距装置
３０…コントローラ
４０…センサ
４１…速度センサ
４２…前後加速度センサ
４３…横加速度センサ
４４…操舵角センサ
４５…姿勢センサ
５０…ナビゲーション装置
５１…位置検出装置
５１１…ＧＰＳ
５２…地図情報
５３…道路情報
５４…地形情報
６０…乗員操作装置
７０…ディスプレイ
DESCRIPTION OF
12 ... ROM
13 ... RAM
DESCRIPTION OF SYMBOLS 200 ...
52 ... Map information 53 ... Road information 54 ... Terrain information 60 ... Passenger operation device 70 ... Display
Claims (11)
移動体に搭載されたカメラが撮像した撮像画像を取得し、
前記移動体の姿勢の変化量を算出し、
前記変化量が所定値よりも小さい前記移動体の部分に、前記撮像画像を投影するために予め定義された基準立体座標系の回転中心を設定し、
前記変化量に応じて、前記基準立体座標系を前記回転中心で回転移動させた回転立体座標系を設定し、
前記撮像画像のデータを前記回転立体座標系に投影して、仮想視点から前記移動体及び当該移動体の周囲を見た映像を生成し、
前記映像をディスプレイに表示する表示装置の制御方法。 Using a controller with a display control function,
Acquire the captured image captured by the camera mounted on the moving body,
Calculating the amount of change in the posture of the moving object;
Setting a rotation center of a reference three-dimensional coordinate system defined in advance for projecting the captured image on a portion of the moving body in which the amount of change is smaller than a predetermined value;
In accordance with the amount of change, set a rotational solid coordinate system obtained by rotating the reference solid coordinate system around the rotation center,
Projecting the data of the captured image onto the rotating solid coordinate system to generate an image of the moving object and the surroundings of the moving object from a virtual viewpoint,
A control method of a display device for displaying the video on a display.
前記移動体は、少なくとも対向する位置の第１のカメラ及び第２のカメラを有し、
前記移動体の姿勢の変化量は、第１の変化量及び第２の変化量を含み、
前記第１の変化量は、前記第１のカメラの高さ方向の変化量であり、
前記第２の変化量は、前記第２のカメラの高さ方向の変化量であり、
前記２つのカメラのうち、前記第１の変化量と前記第２の変化量のうち変化量が小さいカメラ側に、前記回転中心を設定する表示装置の制御方法。 A control method for a display device according to claim 1,
The moving body has at least a first camera and a second camera at positions facing each other,
The amount of change in the posture of the moving body includes a first change amount and a second change amount,
The first change amount is a change amount in a height direction of the first camera,
The second change amount is a change amount in the height direction of the second camera,
A control method for a display device, wherein the center of rotation is set on the camera side of which the change amount is small between the first change amount and the second change amount among the two cameras.
基準面を移動する前記移動体が前記基準面と接する位置を、前記回転中心として設定する表示装置の制御方法。 A control method for a display device according to claim 1 or 2,
A control method for a display device, wherein a position where the moving body moving on a reference plane is in contact with the reference plane is set as the rotation center.
前記移動体は車両であって、
前記基準面は路面であって、
前記車両のタイヤが路面と接地する位置を、前記回転中心として設定する表示装置の制御方法。 A control method for a display device according to claim 3,
The moving body is a vehicle,
The reference plane is a road surface,
A control method for a display device, wherein a position where a tire of the vehicle contacts the road surface is set as the rotation center.
前記車両のタイヤのうち前輪タイヤ又は後輪タイヤのいずれか一方側のタイヤが前記路面と接地しない場合に、他方側のタイヤが前記路面と接地する位置を、前記回転中心として設定する表示装置の制御方法。 A control method for a display device according to claim 4,
A display device that sets, as the rotation center, a position at which one of the front tire and rear tire of the vehicle does not contact the road surface when the tire on the other side does not contact the road surface. Control method.
前記車両のタイヤのうち左側輪タイヤ又は右側輪タイヤのいずれか一方側のタイヤが前記路面と接地しない場合に、他方側のタイヤが前記路面と接地する位置を、前記回転中心として設定する表示装置の制御方法。 A control method for a display device according to claim 4,
A display device that sets, as the rotation center, a position at which one of the left and right wheel tires of the vehicle does not contact the road surface when the tire on the other side does not contact the road surface. Control method.
前記移動体はメインロータを有するヘリコプターであって、
前記メインロータの回転軌跡の中心位置を、前記回転中心として設定する表示装置の制御方法。 A control method for a display device according to claim 1,
The moving body is a helicopter having a main rotor,
A control method for a display device, wherein a center position of a rotation locus of the main rotor is set as the rotation center.
前記移動体は海底探査機であって、
前記基準面は海底面であって、
前記海底探査機が海底面と接地する位置を、前記回転中心として設定し、
前記撮像画像のデータを前記回転立体座標系に投影して、仮想視点から前記海底探査機の周囲を見た映像を生成する表示装置の制御方法。 A control method for a display device according to claim 3,
The mobile body is a submarine spacecraft,
The reference plane is the bottom of the sea;
Set the position where the seafloor probe touches the seabed as the center of rotation,
A control method for a display device, wherein data of the captured image is projected onto the rotating three-dimensional coordinate system, and an image in which the periphery of the submarine explorer is viewed from a virtual viewpoint is generated.
前記移動体は、少なくとも対向する位置にある複数のカメラを有し、
前記移動体の静止状態において前記対向するカメラのいずれもを通過する直線と、前記移動体の動作状態における前記直線との交点を算出し、前記交点を前記回転中心として設定する表示装置の制御方法。 A control method for a display device according to claim 1,
The moving body has a plurality of cameras at least at opposing positions;
A control method for a display device, which calculates an intersection point between a straight line passing through any of the opposing cameras in a stationary state of the moving body and the straight line in an operating state of the moving body, and sets the intersection point as the rotation center .
前記移動体の姿勢の変化方向を算出し、
前記基準立体座標系を前記移動体の姿勢の変化方向と反対方向に回転移動させて、前記回転立体座標系を設定する表示装置の制御方法。 A control method for a display device according to any one of claims 1 to 9,
Calculating the direction of change of the posture of the moving body;
A control method for a display device, wherein the reference solid coordinate system is rotationally moved in a direction opposite to a change direction of the posture of the moving body to set the rotary solid coordinate system.
コントローラを備える表示装置であって、
前記コントローラは、
移動体に搭載されたカメラが撮像した撮像画像を取得し、
前記移動体の姿勢の変化量を算出し、
前記変化量が所定値よりも小さい前記移動体の部分に、前記撮像画像を投影するために予め定義された基準立体座標系の回転中心を設定し、
前記変化量に応じて、前記基準立体座標系を前記回転中心で回転移動させた回転立体座標系を設定し、
前記撮像画像のデータを前記回転立体座標系に投影して、仮想視点から前記移動体及び当該移動体の周囲を見た映像を生成し、
前記ディスプレイに生成した前記映像を表示する表示装置。 Display,
A display device comprising a controller,
The controller is
Acquire the captured image captured by the camera mounted on the moving body,
Calculating the amount of change in the posture of the moving object;
Setting a rotation center of a reference three-dimensional coordinate system defined in advance for projecting the captured image on a portion of the moving body in which the amount of change is smaller than a predetermined value;
In accordance with the amount of change, set a rotational solid coordinate system obtained by rotating the reference solid coordinate system around the rotation center,
Projecting the data of the captured image onto the rotating solid coordinate system to generate an image of the moving object and the surroundings of the moving object from a virtual viewpoint,
A display device for displaying the generated video on the display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058028A JP6724834B2 (en) | 2017-03-23 | 2017-03-23 | Display device control method and display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058028A JP6724834B2 (en) | 2017-03-23 | 2017-03-23 | Display device control method and display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018160848A true JP2018160848A (en) | 2018-10-11 |
| JP6724834B2 JP6724834B2 (en) | 2020-07-15 |
Family
ID=63796894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017058028A Active JP6724834B2 (en) | 2017-03-23 | 2017-03-23 | Display device control method and display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6724834B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006087993A1 (en) * | 2005-02-15 | 2006-08-24 | Matsushita Electric Industrial Co., Ltd. | Periphery supervising device, and periphery supervising method |
| WO2014132680A1 (en) * | 2013-02-28 | 2014-09-04 | アイシン精機株式会社 | Program and device for controlling vehicle |
| JP2016070814A (en) * | 2014-09-30 | 2016-05-09 | クラリオン株式会社 | Camera calibration device and camera calibration system |
| WO2016075809A1 (en) * | 2014-11-14 | 2016-05-19 | 日産自動車株式会社 | Display device and display method |
-
2017
- 2017-03-23 JP JP2017058028A patent/JP6724834B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006087993A1 (en) * | 2005-02-15 | 2006-08-24 | Matsushita Electric Industrial Co., Ltd. | Periphery supervising device, and periphery supervising method |
| WO2014132680A1 (en) * | 2013-02-28 | 2014-09-04 | アイシン精機株式会社 | Program and device for controlling vehicle |
| JP2016070814A (en) * | 2014-09-30 | 2016-05-09 | クラリオン株式会社 | Camera calibration device and camera calibration system |
| WO2016075809A1 (en) * | 2014-11-14 | 2016-05-19 | 日産自動車株式会社 | Display device and display method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6724834B2 (en) | 2020-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11218689B2 (en) | Methods and systems for selective sensor fusion | |
| US10916035B1 (en) | Camera calibration using dense depth maps | |
| US20200074683A1 (en) | Camera calibration | |
| US10179588B2 (en) | Autonomous vehicle control system | |
| KR101515496B1 (en) | Simulation system for autonomous vehicle for applying obstacle information in virtual reality | |
| KR102295809B1 (en) | Apparatus for acquisition distance for all directions of vehicle | |
| CN112189225B (en) | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method | |
| JP2020535545A (en) | Navigation chart configuration method, obstacle avoidance method and device, terminal, unmanned aerial vehicle | |
| CN113168186A (en) | Collision avoidance system, depth imaging system, vehicle, map generator and method thereof | |
| EP2348279B1 (en) | Road measurement device and method for measuring road | |
| JP2020085886A (en) | Vehicle, vehicle positioning system, and method for positioning vehicle | |
| WO2014076844A1 (en) | Autonomous movement system and control device | |
| EP2863365A2 (en) | Image processing apparatus and method | |
| JP6380550B2 (en) | Display device and display method | |
| WO2017081921A1 (en) | Device and method for estimating slip angle of vehicle wheel | |
| JP7008040B2 (en) | Methods for creating mappings of environmental models, as well as vehicle control systems and corresponding vehicles | |
| WO2018221455A1 (en) | Update device, control method, program, and storage medium | |
| US20220108473A1 (en) | Traffic camera calibration | |
| KR101040528B1 (en) | Sensor assembly for detecting terrain and autonomous mobile platform having the same | |
| JP6500909B2 (en) | Display device and display method | |
| CN113610910A (en) | Obstacle avoidance method for mobile robot | |
| US11607999B2 (en) | Method and apparatus for invisible vehicle underbody view | |
| CN113030960A (en) | Monocular vision SLAM-based vehicle positioning method | |
| US20230215273A1 (en) | Object recognition device, movable body collision prevention device, and object recognition method | |
| JP6724834B2 (en) | Display device control method and display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190913 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6724834 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |