JP7188228B2 - image generator - Google Patents
image generator Download PDFInfo
- Publication number
- JP7188228B2 JP7188228B2 JP2019060291A JP2019060291A JP7188228B2 JP 7188228 B2 JP7188228 B2 JP 7188228B2 JP 2019060291 A JP2019060291 A JP 2019060291A JP 2019060291 A JP2019060291 A JP 2019060291A JP 7188228 B2 JP7188228 B2 JP 7188228B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- tilt angle
- camera
- moving body
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、移動体に搭載されたカメラにより生成された撮影画像から視点変換画像を生成する画像生成装置に関する。 The present invention relates to an image generation device that generates a viewpoint-converted image from a photographed image generated by a camera mounted on a mobile object.
車両等の移動体に搭載されたカメラにより生成された撮影画像を用いて、予め設定された仮想視点から見た視点変換画像を生成する画像生成装置が知られている。例えば、仮想視点が車両よりも上の位置に設定された場合、視点変換画像は、車両を上から見た俯瞰画像である。 2. Description of the Related Art There is known an image generation device that generates a viewpoint-transformed image viewed from a preset virtual viewpoint using a photographed image generated by a camera mounted on a moving object such as a vehicle. For example, when the virtual viewpoint is set at a position above the vehicle, the viewpoint-converted image is a bird's-eye image of the vehicle viewed from above.
車両が複数のカメラを搭載する場合、画像生成装置は、複数のカメラによって生成された複数の撮影画像を仮想視点から見た画像に変換する。画像生成装置は、変換された複数の撮影画像を繋ぎ合わせて、視点変換画像を生成する。車両におけるカメラの取付位置や光軸データを含むカメラ姿勢データが、撮影画像を変換するためのパラメータとして画像生成装置に予め設定されている。カメラ姿勢データは、視点変換画像において複数の撮影画像を繋ぎ合わせた際に生じる画像間のずれをなくすよう、車両の出荷時に調整される。この調整作業をカメラキャリブレーションといい、例えば、特許文献１が知られている
When a vehicle is equipped with a plurality of cameras, the image generation device converts a plurality of captured images generated by the plurality of cameras into an image viewed from a virtual viewpoint. The image generation device joins together the plurality of converted captured images to generate a viewpoint-converted image. Camera orientation data including camera mounting position and optical axis data on a vehicle is preset in the image generation device as a parameter for converting a captured image. The camera posture data is adjusted when the vehicle is shipped so as to eliminate the deviation between images that occurs when a plurality of shot images are joined together in the viewpoint conversion image. This adjustment work is called camera calibration, and for example,
しかし、運転者等の搭乗者が車両に乗車した場合、車両の姿勢が変化する。カメラの姿勢は、車両の姿勢変化に応じて変化する。そのため、搭乗者が車両に乗車すると、視点変換画像において繋ぎ合わせた画像間にずれが生じてしまう。 However, when a passenger such as a driver gets into the vehicle, the posture of the vehicle changes. The attitude of the camera changes according to the change in the attitude of the vehicle. Therefore, when a passenger gets into the vehicle, a shift occurs between the joined images in the viewpoint-converted images.
上記問題点に鑑み、本発明は、搭乗者が車両に乗車して移動体の姿勢が変化した場合であっても、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる画像生成装置を提供することを課題とする。 In view of the above-described problems, the present invention can suppress the occurrence of deviations between images that are joined together in virtual viewpoint images even when a passenger gets into a vehicle and the posture of the moving object changes. An object of the present invention is to provide an image generation device.
第１の発明は、移動体に搭載された複数のカメラにより生成された複数の撮影画像からカメラの姿勢データを用いて視点変換画像を生成する画像生成装置であって、第１距離検出部と、第２距離検出部と、傾斜角算出部と、補正部と、画像生成部と、を備える。第１距離検出部は、移動体に搭乗者が乗車する前に、移動体の左方向または右方向に存在する物体と移動体との距離を、第１距離として検出する。第２距離検出部は、移動体に搭乗者が乗車した後に、移動体の左方向または右方向に存在する物体と移動体との距離を、第２距離として検出する。傾斜角算出部は、第１距離および第２距離に基づき、搭乗者が移動体に搭乗する前後における移動体の横方向の傾斜角の変化量である傾斜角変化量を算出する。補正部は、傾斜角変化量、第１距離および第２距離に基づき姿勢データを補正する。画像生成部は、補正された姿勢データを用いて、生成された複数の画像から視点変換画像を生成する。 A first invention is an image generation device that generates a viewpoint-transformed image from a plurality of captured images generated by a plurality of cameras mounted on a moving object using posture data of the cameras, comprising: a first distance detection unit; , a second distance detection unit, an inclination angle calculation unit, a correction unit, and an image generation unit. The first distance detection unit detects, as a first distance, a distance between an object existing on the left side or the right side of the mobile body and the mobile body before the passenger gets on the mobile body. The second distance detection unit detects, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger gets on the moving body. The tilt angle calculation unit calculates a tilt angle change amount, which is a change amount of the tilt angle in the horizontal direction of the moving body before and after the passenger boards the moving body, based on the first distance and the second distance. The correction unit corrects the posture data based on the tilt angle change amount, the first distance, and the second distance. The image generator uses the corrected orientation data to generate a viewpoint-transformed image from the plurality of generated images.
本発明は、搭乗者が車両に乗車して移動体の姿勢が変化した場合であっても、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる画像生成装置を提供できる。 INDUSTRIAL APPLICABILITY The present invention can provide an image generation device capable of suppressing the occurrence of deviations between images that are joined together in a virtual viewpoint image even when the posture of a moving body changes when a passenger gets into a vehicle. .
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The same reference numerals are given to the same or corresponding parts in the drawings, and the description thereof will not be repeated.
［１．構成］
［１．１．車両１の構成］
図１は、本発明の実施の形態に係る画像生成装置１０を搭載した車両１の構成を示す機能ブロック図である。図１を参照して、画像生成装置１０は、移動体である車両１に搭載された複数のカメラにより生成された複数の撮影画像から、カメラの姿勢データを用いて視点変換画像を生成する。本実施の形態では、視点変換画像は、車両１の上方に設定された仮想視点から車両１を見下ろした俯瞰画像２５である。図１において、俯瞰画像２５の生成に関する構成以外の車両１の構成の表示を省略している。
[1. Constitution]
[1.1. Configuration of vehicle 1]
FIG. 1 is a functional block diagram showing the configuration of a
車両１は、車体１Ｄと、左前輪１ＦＬと、右前輪１ＦＲと、左後輪１ＲＬと、右後輪１ＲＲと、フロントシャフト１ＳＦと、リアシャフト１ＳＲとを備える。
The
左前輪１ＦＬは、車体１Ｄの左前方に配置される。右前輪１ＦＲは、車体１Ｄの右前方に配置される。左前輪１ＦＬ及び右前輪１ＦＲは、車体１Ｄの前方に配置されたフロントシャフト１ＳＦを回転軸として回転する。フロントシャフト１ＳＦは、図示しないエンジンの出力を左前輪１ＦＬ及び右前輪１ＦＲに伝える。左前輪１ＦＬ及び右前輪１ＦＲは、車両１の操舵輪であり、図示しないステアリングホイールの回転に応じて回転する。
The left front wheel 1FL is arranged on the left front side of the
左後輪１ＲＬは、車体１Ｄの左後方に配置される。右後輪１ＲＲは、車体１Ｄの右後方に配置される。左後輪１ＲＬ及び右後輪１ＲＲは、車体１Ｄの後方に配置されたリアシャフト１ＳＲを回転軸として回転する。リアシャフト１ＳＲは、図示しないエンジンの出力を左後輪１ＲＬ及び右後輪１ＲＲに伝える。
The left rear wheel 1RL is arranged at the left rear of the
車両１は、さらに、フロントカメラ２Ｆと、左サイドカメラ２Ｌと、右サイドカメラ２Ｒと、リアカメラ２Ｂとを備える。
フロントカメラ２Ｆは、車両１の前方を撮影して前方撮影画像３Ｆを生成する。左サイドカメラ２Ｌは、車両１の左方を撮影して左方撮影画像３Ｌを生成する。右サイドカメラ２Ｒは、車両１の右方を撮影して右方撮影画像３Ｒを生成する。リアカメラ２Ｂは、車両１の後方を撮影して後方撮影画像３Ｂを生成する。生成された撮影画像３Ｆ、３Ｌ、３Ｒ及び３Ｂの各々は、画像生成装置１０に出力される。
The
本実施の形態において、前方撮影画像３Ｆ、左方撮影画像３Ｌ、右方撮影画像３Ｒおよび後方撮影画像３Ｂの各々は、動画像を構成するフレームである。例えば、フロントカメラ２Ｆは、フレームである前方撮影画像３Ｆを生成するたびに、その生成した前方撮影画像３Ｆを画像生成装置１０に出力する。
In the present embodiment, each of the
車両１は、さらに、測距センサ４Ｌ、４Ｒを備える。測距センサ４Ｌ、４Ｒは、それぞれ左サイドカメラ２Ｌ、右サイドカメラ２Ｒの近傍に設置される。測距センサ４Ｌ、４Ｒは、超音波、電波、光等を用いた公知のレーダ装置とすることができる。測距センサ４Ｌは、車両１の左方に存在する隣接車両等の物体との距離を検出する。測距センサ４Ｒは、車両１の右方に存在する隣接車両等の物体との距離を検出する。測距センサ４Ｌ、４Ｒは、距離検出信号５Ｌ、５Ｒを画像生成装置１０に出力する。なお、測距センサ４Ｌ、４Ｒは、物体を検出できない場合は距離検出信号５Ｌ、５Ｒを画像生成装置１０に出力しない。
車両１は、さらに、ロックスイッチ６Ｌ、６Ｒを備える。ロックスイッチ６Ｌは、車両１の助手席側ドアの施錠状態を検出する。ロックスイッチ６Ｌは、助手席側ドアがロック状態からアンロック状態に変化したときにアンロック信号７Ｌを画像生成装置１０に出力する。ロックスイッチ６Ｒは、車両１の運転席側ドアの施錠状態を検出する。ロックスイッチ６Ｒは、運転席側ドアがロック状態からアンロック状態に変化したときにアンロック信号７Ｒを画像生成装置１０に出力する。
車両１は、さらに、イグニッションスイッチ８（以下、「ＩＧスイッチ８」という）を備える。ＩＧスイッチ８は、オンになると画像生成装置１０を含む車両各部に配置される制御装置（図示せず）にバッテリ（図示せず）からの電力を供給する。それにより画像生成装置１０は動作を開始する。ＩＧスイッチ８は、オンになるとオンになったことを示すイグニッション信号９（以下、「ＩＧ信号９」という）を画像生成装置１０に出力する。
車両１は、さらに、画像生成装置１０と、表示装置２３とを備える。画像生成装置１０は、距離検出信号５Ｌ、５Ｒを測距センサ４Ｌ、４Ｒから受ける。また、画像生成装置１０は、アンロック信号７Ｌ、７Ｒをロックスイッチ６Ｌ、６Ｒから受ける。さらに、画像生成装置１０は、ＩＧ信号９をＩＧスイッチ８から受ける。画像生成装置１０は、その受けた距離検出信号５Ｌ、５Ｒ、アンロック信号７Ｌ、７Ｒ、ＩＧ信号９等に基づいて、画像生成装置１０に予め設定されたカメラの姿勢データを補正する。カメラの姿勢データは、カメラの位置データ及び光軸データを含む。画像生成装置１は、補正したカメラの姿勢データを用いて、車両１に搭載されたカメラにより生成された複数の撮影画像から俯瞰画像２５を生成する。
表示装置２３は、俯瞰画像２５を画像生成装置１０から受け、その受けた俯瞰画像２５を表示する。車両１の運転者は、表示装置２３に表示された俯瞰画像２５を参照して、車両１の周囲の状況を容易に確認できる。
The
なお、本実施の形態において、フロントカメラ２Ｆ、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ２Ｂを総称して「カメラ２」と記載する場合がある。また、本実施の形態において、前方撮影画像３Ｆ、左方撮影画像３Ｌ、右方撮影画像３Ｒ及び後方撮影画像３Ｂを総称して「撮影画像３」と記載する場合がある。また、本実施の形態において、測距センサ４Ｌおよび測距センサ４Ｒを総称して「測距センサ４」と記載する場合がある。また、本実施の形態において、距離検出信号５Ｌおよび距離検出信号５Ｒを総称して「距離検出信号５」と記載する場合がある。また、本実施の形態において、ロックスイッチ６Ｌおよびロックスイッチ６Ｒを総称して「ロックスイッチ６」と記載する場合がある。また、本実施の形態において、アンロック信号７Ｌおよびアンロック信号７Ｒを総称して「アンロック信号７」と記載する場合がある。
In the present embodiment, the
［１．２．カメラの配置］
図２は、図１に示すカメラの取付位置を示す図であり、図１に示す車両１を上から見た平面図に相当する。
[1.2. camera placement]
FIG. 2 is a diagram showing the mounting position of the camera shown in FIG. 1, and corresponds to a plan view of the
図２を参照して、フロントカメラ２Ｆは、車両１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸２Ｆａは車両１の前方に向けられている。リアカメラ２Ｂは、車両１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸２Ｂａは、車両１の後方に向けられている。
Referring to FIG. 2 , front camera 2</b>F is provided near the license plate mounting position at the front end of
左サイドカメラ２Ｌは左のドアミラー９３に設けられ、その光軸２Ｌａは車両１の左方に向けられている。右サイドカメラ２Ｒは右のドアミラー９３に設けられ、その光軸２Ｒａは車両１の右方に向けられている。
The
車両１に搭載される各カメラのレンズは、１８０°以上の画角を有する広角レンズである。フロントカメラ２Ｆ、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ及びリアカメラ２Ｂを用いることにより、車両１の全周囲を撮影できる。フロントカメラ２Ｆ及びリアカメラ２Ｂの取付位置は、車両１の左右中央であることが望ましいが、左右中央から多少ずれた位置であってもよい。
A lens of each camera mounted on the
なお、図２では図示を省略しているが、測距センサ４Ｌは左サイドカメラ２Ｌの近傍に設けられ、その光軸は、左サイドカメラ２Ｌの光軸２Ｌａと平行であり車両１の左方に向けられている。また、測距センサ４Ｒは右サイドカメラ２Ｒの近傍に設けられ、その光軸は、右サイドカメラ２Ｒの光軸２Ｒａと平行であり車両１の右方に向けられている。
Although not shown in FIG. 2, the distance measuring sensor 4L is provided in the vicinity of the
［１．３．カメラ姿勢データの定義］
次に、カメラ２の姿勢データの定義について、図３および図４を用いて説明する。図３および図４は、カメラ２の姿勢データの定義を示す図である。カメラ２の姿勢データは、カメラ２の位置データと光軸データを含む。カメラ２の位置データ、および光軸データは、路面を基準とした路面座標系で表される。本実施の形態において、路面座標系は、Ｘ軸と、Ｙ軸と、Ｚ軸とを有する３次元直交座標系である。
[1.3. Definition of camera posture data]
Next, definition of posture data of the camera 2 will be described with reference to FIGS. 3 and 4. FIG. 3 and 4 are diagrams showing definitions of attitude data of the camera 2. FIG. The posture data of camera 2 includes position data and optical axis data of camera 2 . The position data of the camera 2 and the optical axis data are expressed in a road surface coordinate system based on the road surface. In this embodiment, the road surface coordinate system is a three-dimensional orthogonal coordinate system having an X-axis, a Y-axis and a Z-axis.
図３および図４に示すように、路面座標系の原点Ｏは、車両１の重心を路面１００に対して鉛直方向に投影した路面上の点Ｏである。Ｘ軸は、原点Ｏを通り車両１の横方向に伸び、Ｙ軸は、原点Ｏを通り車両１の前後方向に伸びる。Ｚ軸は、原点Ｏを通り路面１００から車両１の高さ方向に伸びる。
As shown in FIGS. 3 and 4, the origin O of the road surface coordinate system is a point O on the road surface obtained by projecting the center of gravity of the
カメラ２の位置データは、原点Ｏを基準とした各カメラの設置位置を示し、（Ｘ、Ｙ、Ｚ）で表される。カメラ２の位置データのＸは、原点Ｏを基準とした車両１の横方向の位置（距離）を示す。カメラ２の位置データのＹは、原点Ｏを基準とした車両１の前後方向の位置（距離）を示す。カメラ２の位置データのＺは、原点Ｏを基準とした車両１の高さ方向の位置（距離）を示す。
The position data of the camera 2 indicates the installation position of each camera with reference to the origin O, and is represented by (X, Y, Z). X in the position data of the camera 2 indicates the lateral position (distance) of the
図３、および図４（ａ）に示す例では、左サイドカメラ２Ｌの横方向の位置はＸＬであり、前後方向の位置はＹＬであり、高さ方向の位置はＺＬであることを示している。したがって、左サイドカメラ２Ｌの位置データは、（ＸＬ、ＹＬ、ＺＬ）となる。同様に、右サイドカメラ２Ｒの位置データは、（ＸＲ、ＹＲ、ＺＲ）となる。図示していないが、フロントカメラ２Ｆの位置データは、（ＸＦ、ＹＦ、ＺＦ）となり、リアカメラ２Ｂの位置データは、（ＸＢ、ＹＢ、ＺＢ）となる。本実施の形態において、各カメラ２Ｆ、２Ｌ、２Ｒ及び２Ｂの位置データを総称して（Ｘ、Ｙ、Ｚ）と記載する場合がある。また、位置データを位置座標と記載する場合がある。
In the example shown in FIGS. 3 and 4(a), the
カメラ２の光軸データは、カメラ２の光軸の角度やカメラの取付角度を示し、Ｐａｎ（パン）角Ｐ、Ｒｏｌｌ（ロール）角Ｒ、およびＴｉｌｔ（チルト）角Ｔからなる。 The optical axis data of the camera 2 indicates the angle of the optical axis of the camera 2 and the mounting angle of the camera, and consists of a Pan angle P, a Roll angle R, and a Tilt angle T.
パン角Ｐは、カメラ２の光軸が基準線に対して旋回方向になす角度を示す。図３を参照して左サイドカメラ２Ｌを例にとり説明する。左サイドカメラ２Ｌの位置座標（ＸＬ、ＹＬ、ＺＬ）を通り、Ｙ軸と平行に前方向に伸びる基準線６１Ｌを０°とする。左サイドカメラの位置座標（ＸＬ、ＹＬ、ＺＬ）を通り、Ｚ軸と平行に鉛直方向に伸びる基準線（図示せず）を回転軸とする。左サイドカメラ２Ｌのパン角は、この回転軸回りに光軸２Ｌａが基準線６１Ｌとなす角度ＰＬで表される。
The pan angle P indicates the angle that the optical axis of the camera 2 makes in the turning direction with respect to the reference line. The
右サイドカメラ２Ｒのパン角も同様であり、右サイドカメラ２Ｒの位置座標（ＸＲ、ＹＲ、ＺＲ）を通り、前方向に伸びる基準線６１Ｒを０°とし、鉛直方向に伸びる基準線（図示せず）を回転軸とする。右サイドカメラ２Ｒのパン角は、この回転軸回りに光軸２Ｒａが基準線６１Ｒとなす角度ＰＲで表される。フロントカメラ２Ｆおよびリアカメラ２Ｂのパン角も同様であり、フロントカメラ２Ｆのパン角はＰＦで表され、リアカメラ２Ｂのパン角はＰＢで表される。
The pan angle of the
ロール角Ｒは、カメラ２が基準線に対して回転する角度を示す。ロール角Ｒは、カメラ２が基準線に対して傾いている角度であるともいえる。図４（ａ）を参照して左サイドカメラ２Ｌを例にとり説明する。左サイドカメラ２Ｌの位置座標（ＸＬ、ＹＬ、ＺＬ）を通り、Ｚ軸と平行に上方向に伸びる基準線６２Ｌを０°とする。左サイドカメラ２Ｌの位置座標（ＸＬ、ＹＬ、ＺＬ）を通り、Ｘ軸と平行に横方向に伸びる基準線（図示せず）を回転軸とする。左サイドカメラ２Ｌのロール角は、この回転軸回りに左サイドカメラ２Ｌが基準線６２Ｌから回転している角度ＲＬで表される。同様に、右サイドカメラ２Ｒのロール角はＲＲ、フロントカメラ２Ｆのロール角はＲＦ、リアカメラ２Ｂのロール角はＲＢで表される。なお、フロントカメラ２Ｆとリアカメラ２Ｂのロール角の回転軸は、Ｙ軸と平行に前後方向に伸びる基準線である。
The roll angle R indicates the angle by which the camera 2 rotates with respect to the reference line. The roll angle R can also be said to be the angle at which the camera 2 is tilted with respect to the reference line. The
チルト角Ｔは、カメラ２の光軸が基準線に対して高さ方向になす角度を示す。図４（ｂ）を参照して左サイドカメラ２Ｌを例にとり説明する。左サイドカメラ２Ｌの位置座標（ＸＬ、ＹＬ、ＺＬ）を通り、Ｘ軸と平行に横方向に伸びる基準線６３Ｌを０°とする。左サイドカメラの位置座標（ＸＬ、ＹＬ、ＺＬ）を通り、Ｙ軸と平行に前後方向に伸びる基準線（図示せず）を回転軸とする。左サイドカメラ２Ｌのチルト角は、この回転軸回りに光軸２Ｌａが基準線６３Ｌとなす角度ＴＬで表される。
The tilt angle T indicates the angle that the optical axis of the camera 2 makes in the height direction with respect to the reference line. The
右サイドカメラ２Ｒのチルト角も同様であり、右サイドカメラ２Ｒの位置座標（ＸＲ、ＹＲ、ＺＲ）を通り、横方向に伸びる基準線６３Ｒを０°とし、前後方向に伸びる基準線（図示せず）を回転軸とする。右サイドカメラ２Ｒのチルト角は、この回転軸回りに光軸２Ｒａが基準線６３Ｒとなす角度ＴＲで表される。同様に、フロントカメラ２Ｆのチルト角はＴＦ、リアカメラ２Ｂのチルト角はＴＢで表される。なお、フロントカメラ２Ｆとリアカメラ２Ｂのチルト角の回転軸は、Ｘ軸と平行に横方向に伸びる基準線である。本実施の形態において、各カメラ２Ｆ、２Ｌ、２Ｒ及び２Ｂのパン角、ロール角、チルト角を総称して（Ｐ、Ｒ、Ｔ）と記載する場合がある。
The tilt angle of the
以上のように、左サイドカメラ２Ｌの姿勢データは、位置データとして横方向位置ＸＬ、前後方向位置ＹＬ、高さ方向位置ＺＬを有し、光軸データとしてパン角ＰＬ、ロール角ＲＬ、チルト角ＴＬを有する。同様に、右サイドカメラ２Ｒの姿勢データは、位置データとして横方向位置ＸＲ、前後方向位置ＹＲ、高さ方向位置ＺＲを有し、光軸データとしてパン角ＰＲ、ロール角ＲＲ、チルト角ＴＲを有する。フロントカメラ２Ｆおよびリアカメラ２Ｂも同様である。
As described above, the attitude data of the left-
かかる、カメラ２の姿勢データは、車両１の出荷前に公知のカメラキャリブレーションによって調整されて画像生成装置１０の記憶部１５（図５）に記憶される。カメラ２の姿勢データは、各カメラ２の撮影画像を繋ぎ合わせて俯瞰画像を生成する際に、隣接するカメラ２の撮影画像間にずれが生じないように設定されたデータである。なお、本実施の形態において、車両１の出荷前に調整されたカメラ２の姿勢データを「初期カメラ姿勢データ」という。
Such posture data of the camera 2 is adjusted by known camera calibration before the
［１．４．画像生成装置１０の構成］
図５は、図１に示す画像生成装置１０の構成を示す機能ブロック図である。画像生成装置１０は、距離検出部１１と、傾斜角算出部１２と、補正部１３と、画像生成部１４と、記憶部１５とを備える。
[1.4. Configuration of image generation device 10]
FIG. 5 is a functional block diagram showing the configuration of the
距離検出部１１は、車両１に搭乗者が乗車する前と乗車した後に、車両１の左方に存在する物体（以下、「左方物体」という）および右方に存在する物体（以下、「右方物体」という）と車両１との距離をそれぞれ検出する。距離検出部１１は、第１距離検出部１１１と第２距離検出部１１２を備える。なお、本実施の形態において、左方物体と右方物体を総称して、「隣接物体」という場合がある。
The
第１距離検出部１１１は、車両１に搭乗者が乗車する前に、左方物体および右方物体と車両１との距離を、第１距離Ｘａとして検出する。具体的には、第１距離検出部１１１は、車両１に搭乗者が乗車する前の所定時点Ｔ１で、測距センサ４Ｌを起動し、測距センサ４Ｌから距離検出信号５Ｌを取得する。第１距離検出部１１１は、取得した距離検出信号５Ｌに基づき、左方物体と車両１との距離を左方第１距離ＬＸａとして検出する。この左方第１距離ＬＸａは、車両１に搭乗者が乗車する前における左サイドカメラ２Ｌと左方物体との距離として用いられる。
The first
また、第１距離検出部１１１は、車両１に搭乗者が乗車する前の前記所定時点Ｔ１で、測距センサ４Ｒを起動し、測距センサ４Ｒから距離検出信号５Ｒを取得する。第１距離検出部１１１は、取得した距離検出信号５Ｒに基づき、右方物体と車両１との距離を右方第１距離ＲＸａとして検出する。この右方第１距離ＲＸａは、車両１に搭乗者が乗車する前における右サイドカメラ２Ｒと右方物体との距離として用いられる。なお、本実施の形態において、左方第１距離ＬＸａと右方第１距離ＲＸａを総称して、第１距離Ｘａと記載する場合がある。
Further, the first
第１距離検出部１１１は、検出した第１距離Ｘａを傾斜角算出部１２に出力する。ただし、第１距離検出部１１１は、測距センサ４から距離検出信号５を取得できない場合は、その方向に物体は存在しないと判断する。その場合、第１距離検出部１１１は、その方向の第１距離Ｘａを傾斜角算出部１２に出力しない。
The
第１距離検出部１１１は、ロックスイッチ６からアンロック信号７を取得する。第１距離検出部１１１は、アンロック信号７を取得したとき、車両１に搭乗者が乗車する前の所定時点Ｔ１であると判断する。具体的には、第１距離検出部１１１は、助手席側ドアのアンロック信号７Ｌおよび運転席側ドアのアンロック信号７Ｒを取得する。第１距離検出部１１１は、アンロック信号７Ｌまたは７Ｒのどちらかを先に取得した時点を所定時点Ｔ１であると判断する。運転席側ドアまたは助手席側ドアのアンロックは、搭乗者が車両１に搭乗する直前に行われるためである。
The
このように、第１距離検出部１１１は、アンロック信号７を取得すると、車両１に搭乗者が乗車する直前であると判断し、測距センサ４を起動して測距センサ４から距離検出信号５を取得する。第１距離検出部１１１は、取得した距離検出信号５を基に第１距離Ｘａを検出する。
Thus, when the first
第２距離検出部１１２は、車両１に搭乗者が乗車した後に、左方物体または右方物体と車両１との距離を、第２距離Ｘｂとして検出する。具体的には、第２距離検出部１１２は、車両１に搭乗者が乗車した後の所定時点Ｔ２で、測距センサ４Ｌから距離検出信号５Ｌを取得する。第２距離検出部１１２は、取得した距離検出信号５Ｌに基づき、左方物体と車両１との距離を左方第２距離ＬＸｂとして検出する。この左方第２距離ＬＸｂは、車両１に搭乗者が乗車した後における左サイドカメラ２Ｌと左方物体との距離として用いられる。
The second
また、第２距離検出部１１２は、車両１に搭乗者が乗車した後の前記所定時点Ｔ２で、測距センサ４Ｒから距離検出信号５Ｒを取得する。第２距離検出部１１２は、取得した距離検出信号５Ｒに基づき、右方物体と車両１との距離を右方第２距離ＲＸｂとして検出する。この右方第２距離ＲＸｂは、車両１に搭乗者が乗車した後における右サイドカメラ２Ｌと右方物体との距離として用いられる。なお、左方第２距離ＬＸｂと右方第２距離ＲＸｂを総称して、第２距離Ｘｂと記載する場合がある。
Further, the second
第２距離検出部１１２は、検出した第２距離Ｘｂを傾斜角算出部１２に出力する。ただし、第２距離検出部１１２は、測距センサ４から距離検出信号５を取得できない場合は、その方向に物体は存在しないと判断する。その場合、第２距離検出部１１２は、その方向の第２距離Ｘｂを傾斜角算出部１２に出力しない。
The
第２距離検出部１１２は、ＩＧスイッチ８からＩＧ信号９を取得する。第２距離検出部１１２は、ＩＧ信号９を取得したとき、車両１に搭乗者が乗車した後の所定時点Ｔ２であると判断する。ＩＧスイッチ８のオン操作は、搭乗者が車両１に搭乗した後に行われるためである。
このように、第２距離検出部１１２は、ＩＧ信号９を取得すると、車両１に搭乗者が乗車した後であると判断し、測距センサ４から距離検出信号５を取得する。第２距離検出部１１２は、取得した距離検出信号５を基に第２距離Ｘｂを検出する。
In this way, when the second
傾斜角算出部１２は、第１距離検出部１１１で検出された第１距離Ｘａと、第２距離検出部１１２で検出された第２距離Ｘｂに基づき、搭乗者が車両１に搭乗する前後における車両１の横方向の傾斜角の変化量である傾斜角変化量θを算出する。
The inclination
具体的には、運転席側ドアまたは助手席側ドアがアンロックされた時点Ｔ１では、車両１に搭乗者は乗車していないため、車両１に姿勢変化はない。すなわち、時点Ｔ１において、車両１は搭乗者が乗車していない初期状態である。第１距離Ｘａは、車両１の初期状態における隣接物体と車両１との距離を示す。
Specifically, at the time T1 when the driver's seat side door or the passenger's seat side door is unlocked, there is no passenger in the
その後、ＩＧスイッチ８がオンされた時点Ｔ２では、車両１に搭乗者が乗車しているため、車両１に姿勢変化が生じる。すなわち、車両１が初期状態から横方向に傾斜角θだけ傾く。傾斜角θは、搭乗者が車両１に搭乗する前後における車両１の横方向の傾斜角の変化量である。第２距離Ｘｂは、車両１が初期状態から横方向に傾斜角変化量θだけ傾いた状態における隣接物体と車両１との距離を示す。第１距離Ｘａと第２距離Ｘｂの差は、傾斜角変化量θとして表れる。第１距離Ｘａと第２距離Ｘｂの差が大きくなるほど傾斜角変化量θも大きくなる。
After that, at time T2 when the
かかる事実に基づき、傾斜角算出部１２は、第１距離Ｘａと第２距離Ｘｂの差を求め、その差を基に傾斜角変化量θを算出する。傾斜角変化量θの具体的な算出方法は後述する。傾斜角算出部１２は、算出した傾斜角変化量θを補正部１３に出力する。傾斜角算出部１２は、また、第１距離Ｘａおよび第２距離Ｘｂを補正部１３に出力する。
Based on this fact, the
補正部１３は、傾斜角変化量θ、第１距離Ｘａおよび第２距離Ｘｂに基づき、カメラの姿勢データを補正する。具体的には、補正部１３は、傾斜角変化量θに基づき記憶部１５に記憶されている初期カメラ姿勢データ４１を補正する。初期カメラ姿勢データ４１は、カメラキャリブレーションにより得られたカメラ２の位置データＸ、Ｙ、Ｚからなる初期位置データ４２と、光軸データＰ、Ｒ、Ｔからなる初期光軸データ４３である。
The
補正部１３は、補正した初期カメラ姿勢データ４１を補正カメラ姿勢データ５１として記憶部１５に記憶する。補正部１３は、記憶部１５に記憶した補正カメラ姿勢データ５１、すなわち、補正位置データ５２と補正光軸データ５３を画像生成部１４に出力する。なお、補正部１３は、初期カメラ姿勢データ４１を補正していない場合は、初期カメラ姿勢データ４１を補正カメラ姿勢データ５１として画像生成部１４に出力する。初期カメラ姿勢データ４１の具体的な補正方法は後述する。
The
画像生成部１４は、補正カメラ姿勢データ５１を用いて、生成された複数の撮影画像３から視点変換画像を生成する。具体的には、画像生成部１４は、補正位置データ５２と補正光軸データ５３を補正部１３から受け、撮影画像３を車両１に搭載された各カメラ２から受ける。画像生成部１４は、補正位置データ５２と補正光軸データ５３を用いて、撮影画像３から俯瞰画像２５を生成する。画像生成部１４は、生成した俯瞰画像２５を表示装置２３に出力する。
The
記憶部１５は、初期カメラ姿勢データ４１と補正カメラ姿勢データ５１を記憶する。初期カメラ姿勢データ４１は、車両１の出荷前にカメラキャリブレーションによって調整されたカメラ２の姿勢データである。初期カメラ姿勢データ４１は、初期位置データ４２と初期光軸データ４３を含む。
The
初期位置データ４２は、前述したように、カメラキャリブレーションによって得られたカメラ２の横方向位置Ｘ、前後方向位置Ｙ、および高さ方向位置Ｚを有する。具体的には、初期位置データ４２は、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、フロントカメラ２Ｆ、およびリアカメラ２Ｂのそれぞれの横方向位置ＸＬ、ＸＲ、ＸＦ、ＸＢ、前後方向位置ＹＬ、ＹＲ、ＹＦ、ＹＢ、および高さ方向位置ＺＬ、ＺＲ、ＺＦ、ＺＢを有する。
The
初期光軸データ４３は、前述したように、カメラキャリブレーションによって得られたカメラ２のパン角Ｐ、ロール角Ｒ、チルト角Ｔを有する。具体的には、初期光軸データ４３は、左サイドカメラ２Ｌ、右サイドカメラ２Ｒ、フロントカメラ２Ｆ、およびリアカメラ２Ｂのそれぞれのパン角ＰＬ、ＰＲ、ＰＦ、ＰＢ、ロール角ＲＬ、ＲＲ、ＲＦ、ＲＢ、およびチルト角ＴＬ、ＴＲ、ＴＦ、ＴＢを有する。
The initial
補正カメラ姿勢データ５１は、補正部１３により補正された初期カメラ姿勢データ４１である。補正カメラ姿勢データ５１は、補正位置データ５２と補正光軸データ５３を含む。
The corrected
本実施の形態において、初期カメラ姿勢データ４１と補正カメラ姿勢データ５１を区別するために、初期カメラ姿勢データ４１に含まれる各データはａ付きで表示し、補正カメラ姿勢データ５１に含まれる各データはｂ付きで表示することがある。例えば、左サイドカメラ２Ｌの初期高さ方向位置はＺＬａと表記し、補正された高さ方向位置はＺＬｂと表記する。
In this embodiment, in order to distinguish between the initial
［２．傾斜角変化量θの算出方法］
以下、図６を用いて、傾斜角変化量θの具体的な算出方法について説明する。図６は、傾斜角変化量θの算出方法を説明する図である。図６（ａ）は、車両１の左右両隣に隣接物体である隣接車両１Ｌ、１Ｒが駐車枠１１０内に駐車している状態を上面視で示している。図６（ｂ）は、車両１に搭乗者が搭乗する前の時点Ｔ１における各車両１、１Ｌ、１Ｒの状態を後面視で示している。図６（ｃ）は、車両１に搭乗者が乗車した後の時点Ｔ２における各車両１、１Ｌ、１Ｒの状態を後面視で示している。なお、図６（ｂ）（ｃ）において、車両１、１Ｌ、１Ｒを直方体の剛体として表現している。図６（ｄ）は、車両１に搭乗者が乗車する前後の車両１の姿勢変化、および車両１の左方の隣接車両１Ｌと車両１との距離関係を示している。なお、図６（ｃ）（ｄ）において、車両１の姿勢が変化した後の車両１と同じ車両部分については、「’」付きで表記している。
[2. Calculation method of tilt angle change amount θ]
A specific method for calculating the tilt angle change amount θ will be described below with reference to FIG. 6 . FIG. 6 is a diagram illustrating a method of calculating the tilt angle change amount θ. FIG. 6(a) shows a state in which
図６（ｂ）を参照して、運転席側ドアまたは助手席側ドアがアンロックされた時点Ｔ１では、車両１は搭乗者が乗車していない初期状態である。このときの車両１と左方隣接車両１Ｌとの距離である左方第1距離はＬＸａであり、車両１と右方の隣接車両１Ｒとの右方第1距離はＲＸａであるとする。その後、搭乗者が車両１に乗車し、ＩＧスイッチ８をオンした時点Ｔ２では、図６（ｃ）に示すように、搭乗者の乗車により車両１の姿勢が変化する。図６（ｃ）では車両１が右側に傾斜角θＬだけ初期状態から傾斜していることを示している。すなわち、車両１の左方の傾斜角変化量θはθＬ（以下、「左方傾斜角変化量θＬ」という）である。このときの車両１’と左方隣接車両１Ｌとの距離である左方第２距離はＬＸｂであり、車両１’と右方隣接車両１Ｒとの右方第２距離はＲＸｂであるとする。なお、図６では、時点Ｔ１と時点Ｔ２で車両１の前後方向の傾斜角変化量は０であるとしている。
Referring to FIG. 6(b), at time T1 when the driver's seat side door or passenger's seat side door is unlocked,
図６（ｄ）を参照して、車両１の左側面１Ｓには左サイドカメラ２Ｌが取り付けられている。測距センサ４Ｌは図６（ｄ）に図示していないが、左サイドカメラ２Ｌの近傍でほぼ同じ位置に設置されている。時点Ｔ１では車両１は初期状態であり、このときの左サイドカメラ２Ｌの路面に対する高さは、初期位置データ４２における左サイドカメラ２Ｌの高さ方向位置ＺＬａに対応する長さである。また、時点Ｔ１において、左サイドカメラ２Ｌと左方隣接車両１Ｌの右側面１ＬＳとの左方第１距離はＬＸａである。
6(d), a
時点Ｔ２において、車両１’が回転中心Ａを中心として左方傾斜角変化量θＬだけ傾く。このとき、左サイドカメラ２Ｌ’と左方隣接車両１Ｌの右側面１ＬＳとの左方第２距離はＬＸｂである。よって、傾斜後の左サイドカメラ２Ｌ’と初期状態における車両１の左側面１Ｓとの距離は、ＬＸｂ－ＬＸａとなる。時点Ｔ２において、左サイドカメラ２Ｌ’と回転中心Ａとの距離は、初期状態における左サイドカメラ２Ｌの高さと同じであるため、高さ方向位置ＺＬａに対応する長さである。したがって、左方傾斜角変化量θＬは、下記の式（１）を用いて算出することができる。
θＬ＝ｓｉｎ-１（（ＬＸｂ－ＬＸａ）／ＺＬａ） ・・・（１）
At time T2, the vehicle 1' is tilted about the center of rotation A by the left tilt angle change amount θL. At this time, the second left distance between the
θL=sin −1 ((LXb−LXa)/ZLa) (1)
左方隣接車両１Ｌに対して左方傾斜角変化量θＬを算出したのと同様に、右方隣接車両１Ｒに対しても、車両１の右方の傾斜角変化量θである傾斜角変化量θＲ（以下、「右方傾斜角変化量θＲ」という）を算出することができる。この場合、高さ方向位置ＺＬａの代わりに、右サイドカメラ２Ｒの高さ方向位置ＺＲａを使用し、右方第１距離はＲＸａを使用し、右方第２距離はＲＸｂを使用する。右方傾斜角変化量θＲは、下記の式（２）を用いて算出することができる。
θＲ＝ｓｉｎ-１（（ＲＸｂ－ＲＸａ）／ＺＲａ） ・・・（２）
なお、本実施の形態において、左方傾斜角変化量θＬと右方傾斜角変化量θＲを総称して、傾斜角変化量θと記載する場合がある。
In the same manner as calculating the left tilt angle change amount θL for the left
θR=sin −1 ((RXb−RXa)/ZRa) (2)
In the present embodiment, the left tilt angle change amount θL and the right tilt angle change amount θR may be collectively referred to as the tilt angle change amount θ.
傾斜角算出部１２（図５）は、第１距離検出部１１１から左方第１距離ＬＸａおよび右方第１距離ＲＸａを取得する。傾斜角算出部１２は、第２距離検出部１１２から左方第２距離ＬＸｂおよび右方第２距離ＲＸｂを取得する。さらに、傾斜角算出部１２は、記憶部１５から初期カメラ姿勢データ４１におけるカメラ位置データ４２のうち、左サイドカメラ２Ｌの高さ方向位置データＺＬａおよび右サイドカメラ２Ｒの高さ方向位置データＺＲａを読み出す。傾斜角算出部１２は、取得した左方第１距離ＬＸａ、左方第２距離ＬＸｂ、および高さ方向位置データＺＬａに基づき、前記式（１）により左方傾斜角変化量θＬを算出する。
The tilt angle calculator 12 ( FIG. 5 ) acquires the first left distance LXa and the first right distance RXa from the
また、傾斜角算出部１２は、取得した右方第１距離ＲＸａ、右方第２距離ＲＸｂ、および高さ方向位置データＺＲａに基づき、前記式（２）により右方傾斜角変化量θＲを算出する。傾斜角算出部１２は、算出した左方傾斜角変化量θＬと右方傾斜角変化量θＲを補正部１３に出力する。また、傾斜角算出部１２は、検出した左方第１距離ＬＸａ、左方第２距離ＬＸｂ、および右方第１距離ＲＸａ、右方第２距離ＲＸｂを補正部１３に出力する。
In addition, the tilt
［３．カメラ姿勢データの補正方法］
次に、初期カメラ姿勢データ４１の補正方法について図６（ｄ）を用いて説明する。車両１が左方傾斜角変化量θＬだけ横方向に傾斜することにより、左サイドカメラ２Ｌの初期カメラ姿勢データ４１が変化する。具体的には、横方向位置ＸＬは、初期横方向位置ＸＬａに対しＬＸｂ－ＬＸａだけ小さくなる。高さ方向位置ＺＬは、初期高さ方向位置ＺＬａに対し、ＺＬａ－（ＬＸｂ－ＬＸａ）／ｔａｎθＬだけ小さくなる。チルト角ＴＬａは、初期チルト角ＴＬａに対し、左方傾斜角変化量θＬだけ大きくなる。一方、前後方向位置ＹＬ、パン角ＰＬ、およびロール角ＲＬは、車両１の姿勢変化後も初期値から変化しない。
[3. Method of Correcting Camera Posture Data]
Next, a method for correcting the initial
したがって、補正後の左サイドカメラ２Ｌの補正カメラ姿勢データ５１は、式（３）から式（８）のようになる。
補正横方向位置ＸＬｂ＝ＸＬａ－（ＬＸｂ－ＬＸａ） ・・・（３）
補正前後方向位置ＹＬｂ＝ＹＬａ ・・・（４）
補正高さ方向位置ＺＬｂ＝（ＬＸｂ－ＬＸａ）／ｔａｎθＬ ・・・（５）
補正パン角ＰＬｂ＝ＰＬａ ・・・（６）
補正ロール角ＲＬｂ＝ＲＬａ ・・・（７）
補正チルト角ＴＬｂ＝ＴＬａ＋θＬ ・・・（８）
Therefore, the corrected
Corrected lateral position XLb=XLa-(LXb-LXa) (3)
Corrected front-back direction position YLb=YLa (4)
Corrected height direction position ZLb=(LXb-LXa)/tan θL (5)
Corrected pan angle PLb=PLa (6)
Corrected roll angle RLb=RLa (7)
Corrected tilt angle TLb=TLa+θL (8)
右サイドカメラ２Ｒについても同様であり、補正後の右サイドカメラ２Ｒの補正カメラ姿勢データ５１は、式（９）から式（１４）のようになる。
補正横方向位置ＸＲｂ＝ＸＲａ－（ＲＸｂ－ＲＸａ） ・・・（９）
補正前後方向位置ＹＲｂ＝ＹＲａ ・・・（１０）
補正高さ方向位置ＺＲｂ＝（ＲＸｂ－ＲＸａ）／ｔａｎθＲ ・・・（１１）
補正パン角ＰＲｂ＝ＰＲａ ・・・（１２）
補正ロール角ＲＲｂ＝ＲＲａ ・・・（１３）
補正チルト角ＴＲｂ＝ＴＲａ＋θＲ ・・・（１４）
The same is true for the
Corrected lateral position XRb=XRa-(RXb-RXa) (9)
Corrected longitudinal position YRb=YRa (10)
Corrected height direction position ZRb=(RXb-RXa)/tan θR (11)
Corrected pan angle PRb=PRa (12)
Corrected roll angle RRb=RRa (13)
Corrected tilt angle TRb=TRa+θR (14)
フロントカメラ２Ｆの場合、左右のサイドカメラ２Ｌ、２Ｒと若干異なり、横方向位置ＸＦおよび高さ方向位置ＺＦの変化量は、左方傾斜角変化量θＬと初期高さ方向位置ＺＦａによって定まる。また、フロントカメラ２Ｆの場合、ロール角ＲＦが左方傾斜角変化量θＬだけ変化する。したがって、フロントカメラ２Ｆの補正後の補正カメラ姿勢データ５１は、式（１５）から式（２０）のようになる。
補正横方向位置ＸＦｂ＝ＸＦａ－ｓｉｎθＬ×ＺＦａ ・・・（１５）
補正前後方向位置ＹＦｂ＝ＹＦａ ・・・（１６）
補正高さ方向位置ＺＦｂ＝ｃｏｓθＬ×ＺＦａ ・・・（１７）
補正パン角ＰＦｂ＝ＰＦａ ・・・（１８）
補正ロール角ＲＦｂ＝ＲＦａ＋θＬ ・・・（１９）
補正チルト角ＴＦｂ＝ＴＦａ ・・・（２０）
In the case of the
Corrected lateral position XFb=XFa-sin θL×ZFa (15)
Corrected longitudinal position YFb=YFa (16)
Corrected height direction position ZFb=cos θL×ZFa (17)
Corrected pan angle PFb=PFa (18)
Corrected roll angle RFb=RFa+θL (19)
Corrected tilt angle TFb=TFa (20)
リアカメラ２Ｂについては、フロントカメラ２Ｆと同様であり、補正後の補正カメラ姿勢データ５１は、式（２１）から式（２６）のようになる。
補正横方向位置ＸＢｂ＝ＸＢａ－ｓｉｎθＬ×ＺＢａ ・・・（２１）
補正前後方向位置ＹＢｂ＝ＹＢａ ・・・（２２）
補正高さ方向位置ＺＢｂ＝ｃｏｓθＬ×ＺＢａ ・・・（２３）
補正パン角ＰＢｂ＝ＰＢａ ・・・（２４）
補正ロール角ＲＢｂ＝ＲＢａ＋θＬ ・・・（２５）
補正チルト角ＴＢｂ＝ＴＢａ ・・・（２６）
The
Corrected lateral position XBb=XBa-sin θL×ZBa (21)
Corrected longitudinal position YBb=YBa (22)
Corrected height direction position ZBb=cos θL×ZBa (23)
Corrected pan angle PBb=PBa (24)
Corrected roll angle RBb=RBa+θL (25)
Corrected tilt angle TBb=TBa (26)
なお、フロントカメラ２Ｆおよびリアカメラ２Ｂの補正カメラ姿勢データ５１は、傾斜角変化量θとして左方傾斜角変化量θＬを使用しているが、これに限らない。例えば、補正カメラ姿勢データ５１は、傾斜角変化量θとして右方傾斜角変化量θＲを使用してもよい。補正カメラ姿勢データ５１は、左方傾斜角変化量θＬと右方傾斜角変化量θＲの平均値を使用してもよい。
Although the corrected
補正部１３（図５）は、傾斜角算出部１２から左方傾斜角変化量θＬ、左方第１距離ＬＸａおよび左方第２距離ＬＸｂを取得する。補正部１３は、前記式（３）から式（８）により左サイドカメラ２Ｌの補正カメラ姿勢データ５１を算出する。
The correction unit 13 ( FIG. 5 ) acquires the left tilt angle change amount θL, the left first distance LXa, and the left second distance LXb from the tilt
補正部１３は、傾斜角算出部１２から右方傾斜角変化量θＲ、右方第１距離ＲＸａおよび右方第２距離ＲＸｂを取得する。補正部１３は、前記式（９）から式（１４）により右サイドカメラ２Ｒの補正カメラ姿勢データ５１を算出する。
The
補正部１３は、傾斜角算出部１２から取得した左方傾斜角変化量θＬまたは右方傾斜角変化量θＲを用いて、前記式（１５）から式（２６）によりフロントサイドカメラ２Ｆ、およびリアカメラ２Ｂの補正カメラ姿勢データ５１を算出する。
Using the left tilt angle change amount θL or the right tilt angle change amount θR acquired from the tilt
補正部１３は、補正カメラ姿勢データ５１を算出すると、算出した補正カメラ姿勢データ５１を記憶部１５に記憶し、画像生成部１４に出力する。これにより、画像生成部１４は、補正カメラ姿勢データ５１を用いて撮影画像３から俯瞰画像２５を生成する。これにより、搭乗者が車両１に乗車して車両１の姿勢が変化しても、仮想視点画像において繋ぎ合わせた画像間にずれが生じなくなる。
After calculating the corrected
なお、車両１の左右方向に、左方隣接車両１Ｌと右方隣接車両１Ｒのどちらか一方のみが存在する場合、補正部１３は、その一方の隣接車両に対する傾斜角変化量θと第１距離Ｘａ、第２距離Ｘｂしか得られない。その場合、補正部１３は、取得した一方の傾斜角変化量θを共通の傾斜角変化量θとし、取得した一方の第１距離Ｘａ、第２距離Ｘｂを共通の第１距離Ｘａ、第２距離Ｘｂとする。補正部１３は、隣接車両が存在しない側に対応する他方の傾斜角変化量θとして、共通の傾斜角変化量θを使用する。また補正部１３は、隣接車両が存在しない側に対応する他方の第１距離Ｘａ、第２距離Ｘｂとして共通の第１距離Ｘａ、第２距離Ｘｂを使用する。
Note that when only one of the left
例えば、車両１の隣に左方隣接車両１Ｌが駐車しており、右方隣接車両１Ｒが駐車していないとする。その場合、補正部１３は、左方傾斜角変化量θＬ、左方第１距離ＬＸａ、左方第２距離ＬＸｂしか取得できない。補正部１３は、右サイドカメラ２Ｒの補正カメラ姿勢データ５１を算出するにあたり、前記式（９）から式（１４）において、右方傾斜角変化量θＲ、右方第１距離ＲＸａ、右方第２距離ＲＸｂの代わりに、左方傾斜角変化量θＬ、左方第１距離ＬＸａ、左方第２距離ＬＸｂを使用する。
For example, it is assumed that the left
また、車両１の左右方向に、左方隣接車両１Ｌと右方隣接車両１Ｒのどちらも存在しない場合、補正部１３は、傾斜角変化量θと第１距離Ｘａ、第２距離Ｘｂを得られない。その場合、補正部１３は初期カメラ姿勢データ４１の補正を禁止する。
Further, when neither the left
［４．動作詳細］
図７は、図１に示す画像生成装置１０の動作を示すフローチャートである。画像生成装置１０は、ＩＧスイッチ８がオフの間はスリープモードとなり、動作を停止している。助手席側ドアのアンロック信号７Ｌ、または運転席側ドアのアンロック信号７Ｒのどちらかが画像生成装置１０に入力されると、画像生成装置１０は、スリープモードからアクティブモードになり図７に示す処理を開始する。このタイミングが、車両１に搭乗者が乗車する前の時点Ｔ１となる。
[4. Operation details]
FIG. 7 is a flow chart showing the operation of the
第１距離検出部１１１は、測距センサ４Ｌを起動し、測距センサ４Ｌから左方隣接物体との距離検出信号５Ｌを取得する。第１距離検出部１１１は、取得した距離検出信号５Ｌを左方第１距離ＬＸａとして検出し、傾斜角算出部１２に出力する（ステップＳ１）。次いで、第１距離検出部１１１は、測距センサ４Ｒを起動し、測距センサ４Ｒから右方隣接物体との距離検出信号５Ｒを取得する。第１距離検出部１１１は、取得した距離検出信号５Ｒを右方第１距離ＲＸａとして検出し、傾斜角算出部１２に出力する（ステップＳ２）。
The first
第２距離検出部１１２は、ＩＧ信号９に基づきＩＧスイッチ８がオンされたか否かを判断する（ステップＳ３）。ＩＧスイッチ８がオンされていなければ（ステップＳ３ ＮＯ）、第２距離検出部１１２は、ステップＳ３を繰り返し、ＩＧスイッチ８がオンされるのを待つ。ＩＧスイッチ８がオンされると、そのタイミングが、車両１に搭乗者が乗車した後の時点Ｔ２となる。
The
第２距離検出部１１２は、ＩＧスイッチ８がオンされたと判断すると（ステップＳ３ ＹＥＳ）、測距センサ４Ｌから左方隣接物体との距離検出信号５Ｌを取得する。第２距離検出部１１２は、取得した距離検出信号５Ｌを左方第２距離ＬＸｂとして検出し、傾斜角算出部１２に出力する（ステップＳ４）。次いで、第２距離検出部１１２は、測距センサ４Ｒから右方隣接物体との距離検出信号５Ｒを取得する。第２距離検出部１１２は、取得した距離検出信号５Ｒを右方第２距離ＲＸｂとして検出し、傾斜角算出部１２に出力する（ステップＳ５）。
When the
傾斜角算出部１２は、記憶部１５から読み出した初期カメラ姿勢データ４１と、距離検出部１１から取得した第１距離Ｘａおよび第２距離Ｘｂに基づき、車両１の傾斜角変化量θを算出する（ステップＳ６）。傾斜角算出部１２は、算出した傾斜角変化量θを第１距離Ｘａおよび第２距離Ｘｂと共に補正部１３に出力する。具体的には、傾斜角算出部１２は、記憶部１５から初期カメラ姿勢データ４１のうち、左右のサイドカメラ２Ｌ、２Ｒの初期高さ方向位置ＺＬａ、ＺＲａを読み出す。傾斜角算出部１２は、記憶部１５から読み出した左サイドカメラ２Ｌの初期高さ方向位置ＺＬａ、および傾斜角算出部１２から取得した左方第１距離ＬＸａと左方第２距離ＬＸｂに基づき、前記式（１）により左方傾斜角変化量θＬを算出する。また、傾斜角算出部１２は、記憶部１５から読み出した右サイドカメラ２Ｒの初期高さ方向位置ＺＲａ、および傾斜角算出部１２から取得した右方第１距離ＲＸａと右方第２距離ＲＸｂに基づき、前記式（２）により右方傾斜角変化量θＲを算出する。傾斜角算出部１２は、算出した左方傾斜角変化量θＬと右方傾斜角変化量θＲ、を補正部１３に出力する。また、傾斜角算出部１２は、距離検出部１１から取得した左方第１距離ＬＸａ、左方第２距離ＬＸｂ、右方第１距離ＲＸａ、および右方第２距離ＲＸｂを補正部１３に出力する。
The
補正部１３は、記憶部１５から初期カメラ姿勢データ４１を読み出し、初期カメラ姿勢データ４１と傾斜角変化量θ、第１距離Ｘａ、第２距離Ｘｂに基づき、初期カメラ姿勢データ４１を補正する（ステップＳ７）。具体的には、補正部１３は、前記式（３）から式（２６）により各カメラ２の補正カメラ姿勢データ５１を算出し、記憶部１５に記憶する。補正部１３は、記憶部１５に記憶した補正カメラ姿勢データ５１を画像生成部１４に出力する。
The
画像生成部１４は、カメラ２から取得した撮影画像３と、補正部１３から取得した補正カメラ姿勢データ５１に基づき俯瞰画像２５を生成する。画像生成部１４は、生成した俯瞰画像２５を表示装置２３に出力する。
The
以上、詳細に説明したように、本実施の形態に係る画像生成装置は、移動体に搭載された複数のカメラにより生成された複数の撮影画像からカメラの姿勢データを用いて視点変換画像を生成する画像生成装置であって、第１距離検出部と、第２距離検出部と、傾斜角算出部と、補正部と、画像生成部と、を備える。第１距離検出部は、移動体に搭乗者が乗車する前に、移動体の左方向または右方向に存在する物体と移動体との距離を、第１距離として検出する。第２距離検出部は、移動体に搭乗者が乗車した後に、移動体の左方向または右方向に存在する物体と移動体との距離を、第２距離として検出する。傾斜角算出部は、第１距離および第２距離に基づき、搭乗者が移動体に搭乗する前後における移動体の横方向の傾斜角の変化量である傾斜角変化量を算出する。補正部は、傾斜角変化量、第１距離および第２距離に基づき姿勢データを補正する。画像生成部は、補正された姿勢データを用いて、生成された複数の画像から視点変換画像を生成する。 As described in detail above, the image generating apparatus according to the present embodiment generates a viewpoint-transformed image from a plurality of photographed images generated by a plurality of cameras mounted on a moving object, using camera orientation data. An image generating device for detecting an object, comprising a first distance detecting section, a second distance detecting section, an inclination angle calculating section, a correcting section, and an image generating section. The first distance detection unit detects, as a first distance, a distance between an object existing on the left side or the right side of the mobile body and the mobile body before the passenger gets on the mobile body. The second distance detection unit detects, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger gets on the moving body. The tilt angle calculation unit calculates a tilt angle change amount, which is a change amount of the tilt angle in the lateral direction of the moving body before and after the passenger boards the moving body, based on the first distance and the second distance. The correction unit corrects the posture data based on the tilt angle change amount, the first distance, and the second distance. The image generator uses the corrected orientation data to generate a viewpoint-transformed image from the plurality of generated images.
これにより、移動体の姿勢が変化した場合であっても、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる。 With this, even when the posture of the moving object changes, it is possible to suppress the occurrence of a deviation between the images that are joined together in the virtual viewpoint image.
また、本実施の形態に係る画像生成装置では、カメラは、移動体の左側に搭載された左サイドカメラと移動体の右側に搭載された右サイドカメラを備え、傾斜角算出部は、移動体の左方向と右方向の両方に物体が存在する場合、移動体と左方向の物体との第１距離および第２距離に基づき傾斜角変化量を左方傾斜角変化量として算出し、移動体と前記右方向の物体との第１距離および第２距離に基づき傾斜角変化量を右方傾斜角変化量として算出し、補正部は、左サイドカメラの姿勢データを左方傾斜角変化量に基づき補正し、右サイドカメラの姿勢データを右方傾斜角変化量に基づき補正する。 Further, in the image generation device according to the present embodiment, the cameras include a left-side camera mounted on the left side of the moving body and a right-side camera mounted on the right side of the moving body, and the tilt angle calculation unit If there are objects on both the left and right sides of the moving body, the tilt angle change amount is calculated as the left tilt angle change amount based on the first distance and the second distance between the moving body and the object on the left side. and the first distance and the second distance from the object in the right direction, the amount of change in the tilt angle is calculated as the amount of change in the right tilt angle. The posture data of the right side camera is corrected based on the right tilt angle change amount.
これにより、移動体の姿勢が変化した場合であっても、左右カメラの姿勢データをそれぞれ補正でき、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる。 Thereby, even if the posture of the moving object changes, the posture data of the left and right cameras can be corrected, respectively, and the occurrence of deviation between the images joined together in the virtual viewpoint images can be suppressed.
また、本実施の形態に係る画像生成装置では、カメラは、移動体の左側に搭載された左サイドカメラと移動体の右側に搭載された右サイドカメラを備え、傾斜角算出部は、移動体の左方向と右方向のいずれか一方に物体が存在する場合、移動体と存在する物体との第１距離および第２距離に基づき傾斜角変化量を共通の傾斜角変化量として算出し、補正部は、左サイドカメラと右サイドカメラのうち、物体が存在しない側に搭載されたサイドカメラの姿勢データを共通の傾斜角変化量に基づき補正する。 Further, in the image generation device according to the present embodiment, the cameras include a left-side camera mounted on the left side of the moving body and a right-side camera mounted on the right side of the moving body, and the tilt angle calculation unit If an object exists in either the left or right direction of the moving object, the tilt angle change amount is calculated as a common tilt angle change amount based on the first distance and the second distance between the moving object and the existing object, and corrected The section corrects the attitude data of the side camera mounted on the side where the object does not exist, out of the left side camera and the right side camera, based on the common tilt angle change amount.
これによれば、移動体の左右いずれかに物体が存在しない場合であっても、物体の存在しない側に搭載されたサイドカメラの姿勢データを補正できるため、仮想視点画像において繋ぎ合わせた画像間のずれの発生を抑制することができる。 According to this, even if an object does not exist on either the left or right side of the moving body, the attitude data of the side camera mounted on the side where the object does not exist can be corrected. It is possible to suppress the occurrence of deviation.
また、本実施の形態に係る画像生成装置では、補正部は、移動体の左方向と右方向のどちらにも物体が存在しない場合、姿勢データの補正を禁止する。 In addition, in the image generating apparatus according to the present embodiment, the correcting unit prohibits correcting the orientation data when there is no object on either the left side or the right side of the moving body.
これによれば、姿勢データが間違って補正されてしまうことを防止できる。 According to this, it is possible to prevent the attitude data from being erroneously corrected.
［変形例］
上記実施の形態において、距離検出部１１は、レーダ装置を例とする測距センサ４により第１距離および第２距離を検出したが、これに限らない。距離検出部１１は、画像認識により第１距離と第２距離を検出してもよい。その場合、測距センサ４の代わりにカメラ２を用いることができる。具体的には、第１距離検出部１１１は、時点Ｔ１でカメラ２を起動し、撮影画像３を取得して記憶する。第１距離検出部１１１は、撮影画像３に映る物体の路面との接地点を検出する。例えば、物体が隣接車両である場合、第１距離検出部１１１は、撮影画像３において隣接車両のタイヤを検出し、撮影画像３におけるタイヤの最下点のピクセル位置より第１距離を検出する。第２距離検出部１１２も同様に、時点Ｔ２における撮影画像３より第２距離を検出する。これにより、測距センサ４をカメラ２と兼用することができるため、コストダウンになる。
[Modification]
In the above-described embodiment, the
上記実施の形態において、距離検出部１１は、移動体に搭乗者が乗車する前の時点Ｔ１をアンロック信号７により検出したが、これに限らない。距離検出部１１は、移動体に搭乗者が乗車する前であることを検出できれば、いかなる信号を使用してもよい。例えば、距離検出部１１は、ドア開閉スイッチにより車両１のいずれかのドアが開いたことを検出した時点を時点Ｔ１としてもよい。
In the above-described embodiment, the
上記実施の形態において、距離検出部１１は、移動体に搭乗者が乗車した後の時点Ｔ２をＩＧスイッチ８により検出したが、これに限らない。距離検出部１１は、移動体に搭乗者が乗車したことを検出できればいかなる信号を使用してもよい。例えば、距離検出部１１は、ＡＣＣスイッチのオン信号、シートに設けられる着座センサ、ブレーキのオン信号、シフト位置センサによるシフト位置の切換などにより、移動体に搭乗者が乗車したことを検出してもよい。
In the above-described embodiment, the
上記実施の形態において、時点Ｔ１で検出した第１距離Ｘａと、時点Ｔ２で検出した第２距離Ｘｂとは、同じ隣接物体と車両１との距離であると見做している。搭乗者がドアをアンロックしてからＩＧスイッチ８をオンするまでの時間は短時間であるため、その間に隣接物体が別の物体と入れ替わる可能性が低いためである。しかしながら、時点Ｔ１から時点Ｔ２までの時間が長い場合は、その間に隣接物体が他の物体と入れ替わっている可能性が高くなる。隣接物体が入れ替わると、第１距離Ｘａと第２距離Ｘｂは、異なる物体との距離になるため、傾斜角算出部１２は間違った傾斜角変化量θを算出してしまう。それにより、補正部１３は、初期カメラ姿勢データ４１を間違った値に補正してしまう。そこで、補正部１３は、時点Ｔ１から時点Ｔ２までの経過時間を計測し、その経過時間が所定時間を超えた場合は、初期カメラ姿勢データ４１の補正を禁止するようにしてもよい。これにより、補正部１３が、初期カメラ姿勢データ４１を間違った値に補正することを防止できる。
In the above embodiment, the first distance Xa detected at time T1 and the second distance Xb detected at time T2 are assumed to be the distances between the same adjacent object and the
また、上記実施の形態において、画像生成装置１０の各機能ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
Further, in the above embodiment, each functional block of the
集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Fi eld Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 The method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connections and settings of the circuit cells inside the LSI may be used.
また、画像生成装置１０により実行される処理の一部または全部は、プログラムにより実現されてもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
Also, part or all of the processing executed by the
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。 Further, each process of the above embodiment may be realized by hardware, or may be realized by software (including cases where it is realized together with an OS (operating system), middleware, or a predetermined library). . Furthermore, it may be realized by mixed processing of software and hardware.
また、上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。 Also, the execution order of the processing methods in the above embodiments is not limited to the description of the above embodiments, and the execution order may be changed without departing from the spirit of the invention.
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。 A computer program that causes a computer to execute the method described above and a computer-readable recording medium that records the program are included in the scope of the present invention. Examples of computer-readable recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, large-capacity DVDs, next-generation DVDs, and semiconductor memories. .
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。 Although the embodiments of the present invention have been described above, the above-described embodiments are merely examples for carrying out the present invention. Therefore, the present invention is not limited to the above-described embodiment, and can be implemented by appropriately modifying the above-described embodiment without departing from the spirit of the present invention.
１ 車両
２Ｆ、２Ｌ、２Ｒ、２Ｂ カメラ
４Ｌ、４Ｒ 測距センサ
１０ 画像生成装置
１１ 距離検出部
１２ 傾斜角算出部
１３ 補正部
１４ 画像生成部
１５ 記憶部
1
Claims (5)
前記移動体に搭乗者が乗車する前に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第１距離として検出する第１距離検出部と、
前記移動体に搭乗者が乗車した後に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第２距離として検出する第２距離検出部と、
前記第１距離および前記第２距離に基づき、前記搭乗者が前記移動体に搭乗する前後における前記移動体の横方向の傾斜角の変化量である傾斜角変化量を算出する傾斜角算出部と、
前記傾斜角変化量、前記第１距離および前記第２距離に基づき前記姿勢データを補正する補正部と、
前記補正された前記姿勢データを用いて、前記生成された複数の撮影画像から前記視点変換画像を生成する画像生成部と、を備える画像生成装置。 An image generation device for generating a viewpoint-transformed image from a plurality of captured images generated by a plurality of cameras mounted on a mobile object using posture data of the cameras,
a first distance detection unit that detects, as a first distance, a distance between an object existing on the left side or the right side of the moving body and the moving body before a passenger gets on the moving body;
a second distance detection unit configured to detect, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger has boarded the moving body;
a tilt angle calculation unit that calculates a tilt angle change amount, which is a change amount of the tilt angle in the horizontal direction of the moving object before and after the passenger boards the moving object, based on the first distance and the second distance; ,
a correction unit that corrects the posture data based on the tilt angle change amount, the first distance, and the second distance;
and an image generation unit that generates the viewpoint-transformed image from the plurality of generated photographed images using the corrected orientation data.
前記カメラは、前記移動体の左側に搭載された左サイドカメラと前記移動体の右側に搭載された右サイドカメラを備え、
前記傾斜角算出部は、前記移動体の左方向と右方向の両方に物体が存在する場合、前記移動体と前記左方向の物体との前記第１距離および前記第２距離に基づき前記傾斜角変化量を左方傾斜角変化量として算出し、前記移動体と前記右方向の物体との前記第１距離および前記第２距離に基づき前記傾斜角変化量を右方傾斜角変化量として算出し、
前記補正部は、前記左サイドカメラの前記姿勢データを前記左方傾斜角変化量に基づき補正し、前記右サイドカメラの前記姿勢データを前記右方傾斜角変化量に基づき補正する、画像生成装置。 The image generation device of claim 1, comprising:
The camera comprises a left side camera mounted on the left side of the moving body and a right side camera mounted on the right side of the moving body,
The tilt angle calculator calculates the tilt angle based on the first distance and the second distance between the moving object and the object on the left when there are objects on both the left and right sides of the moving object. The amount of change is calculated as a left tilt angle change amount, and the tilt angle change amount is calculated as a right tilt angle change amount based on the first distance and the second distance between the moving object and the rightward object. ,
The correction unit corrects the posture data of the left side camera based on the left tilt angle change amount, and corrects the posture data of the right side camera based on the right tilt angle change amount. .
前記カメラは、前記移動体の左側に搭載された左サイドカメラと前記移動体の右側に搭載された右サイドカメラを備え、
前記傾斜角算出部は、前記移動体の左方向と右方向のいずれか一方に物体が存在する場合、前記移動体と前記存在する物体との前記第１距離および前記第２距離に基づき前記傾斜角変化量を共通の傾斜角変化量として算出し、
前記補正部は、前記左サイドカメラと右サイドカメラのうち、前記物体が存在しない側に搭載されたサイドカメラの前記姿勢データを前記共通の傾斜角変化量に基づき補正する、画像生成装置。 The image generation device of claim 1, comprising:
The camera comprises a left side camera mounted on the left side of the moving body and a right side camera mounted on the right side of the moving body,
The tilt angle calculation unit calculates the tilt angle based on the first distance and the second distance between the moving body and the existing object when an object exists in either one of the left direction and the right direction of the moving body. Calculate the angle change amount as a common tilt angle change amount,
The image generating device, wherein the correction unit corrects the attitude data of a side camera mounted on a side where the object does not exist, out of the left side camera and the right side camera, based on the common tilt angle change amount.
前記補正部は、前記移動体の左方向と右方向のどちらにも物体が存在しない場合、前記姿勢データの補正を禁止する、画像生成装置。 The image generation device of claim 1, comprising:
The image generating device, wherein the correction unit prohibits correction of the posture data when an object does not exist in either the left direction or the right direction of the moving body.
前記移動体に搭乗者が乗車する前に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第１距離として検出するステップと、
前記移動体に搭乗者が乗車した後に、前記移動体の左方向または右方向に存在する物体と前記移動体との距離を、第２距離として検出するステップと、
前記第１距離および前記第２距離に基づき、前記搭乗者が前記移動体に搭乗する前後における前記移動体の横方向の傾斜角の変化量である傾斜角変化量を算出するステップと、
前記傾斜角変化量、前記第１距離および前記第２距離に基づき前記姿勢データを補正するステップと、
前記補正された前記姿勢データを用いて、前記生成された複数の撮影画像から前記視点変換画像を生成するステップと、を備える画像生成方法。 An image generation method for generating a viewpoint-transformed image from a plurality of captured images generated by a plurality of cameras mounted on a moving body using posture data of the cameras,
a step of detecting, as a first distance, a distance between an object present on the left side or the right side of the moving body and the moving body before the passenger gets on the moving body;
a step of detecting, as a second distance, a distance between an object existing on the left side or the right side of the moving body and the moving body after the passenger has boarded the moving body;
calculating an inclination angle change amount, which is an amount of change in inclination angle in the horizontal direction of the moving body before and after the passenger boards the moving body, based on the first distance and the second distance;
correcting the posture data based on the tilt angle change amount, the first distance, and the second distance;
and generating the viewpoint-transformed image from the plurality of generated photographed images using the corrected posture data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019060291A JP7188228B2 (en) | 2019-03-27 | 2019-03-27 | image generator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019060291A JP7188228B2 (en) | 2019-03-27 | 2019-03-27 | image generator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020162020A JP2020162020A (en) | 2020-10-01 |
| JP7188228B2 true JP7188228B2 (en) | 2022-12-13 |
Family
ID=72640026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019060291A Active JP7188228B2 (en) | 2019-03-27 | 2019-03-27 | image generator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7188228B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7401614B1 (en) | 2022-08-19 | 2023-12-19 | 株式会社デンソーテン | Information processing device, information processing method and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009151524A (en) | 2007-12-20 | 2009-07-09 | Alpine Electronics Inc | Image display method and image display apparatus |
| JP2009253571A (en) | 2008-04-04 | 2009-10-29 | Clarion Co Ltd | Monitor video image generation device for vehicle |
| WO2013058093A1 (en) | 2011-10-18 | 2013-04-25 | 日立建機株式会社 | Device for monitoring surroundings of machinery |
| JP2015106777A (en) | 2013-11-29 | 2015-06-08 | 株式会社富士通ゼネラル | Image processing system, operation support device, navigation device, and camera device |
| WO2016052505A1 (en) | 2014-09-30 | 2016-04-07 | クラリオン株式会社 | Camera calibration device and camera calibration system |
| WO2017069191A1 (en) | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | Calibration apparatus, calibration method, and calibration program |
| JP2017143417A (en) | 2016-02-10 | 2017-08-17 | クラリオン株式会社 | Calibration system, calibration device |
| JP2017222258A (en) | 2016-06-15 | 2017-12-21 | 株式会社Ｊｖｃケンウッド | Posture change determination device, overhead image generation device, overhead image generation system, posture change determination method, and program |
-
2019
- 2019-03-27 JP JP2019060291A patent/JP7188228B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009151524A (en) | 2007-12-20 | 2009-07-09 | Alpine Electronics Inc | Image display method and image display apparatus |
| JP2009253571A (en) | 2008-04-04 | 2009-10-29 | Clarion Co Ltd | Monitor video image generation device for vehicle |
| WO2013058093A1 (en) | 2011-10-18 | 2013-04-25 | 日立建機株式会社 | Device for monitoring surroundings of machinery |
| JP2015106777A (en) | 2013-11-29 | 2015-06-08 | 株式会社富士通ゼネラル | Image processing system, operation support device, navigation device, and camera device |
| WO2016052505A1 (en) | 2014-09-30 | 2016-04-07 | クラリオン株式会社 | Camera calibration device and camera calibration system |
| WO2017069191A1 (en) | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | Calibration apparatus, calibration method, and calibration program |
| JP2017143417A (en) | 2016-02-10 | 2017-08-17 | クラリオン株式会社 | Calibration system, calibration device |
| JP2017222258A (en) | 2016-06-15 | 2017-12-21 | 株式会社Ｊｖｃケンウッド | Posture change determination device, overhead image generation device, overhead image generation system, posture change determination method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020162020A (en) | 2020-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9981605B2 (en) | Surround-view camera system (VPM) and vehicle dynamic | |
| US11693422B2 (en) | Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition | |
| US9986173B2 (en) | Surround-view camera system (VPM) online calibration | |
| US9619894B2 (en) | System and method for estimating vehicle dynamics using feature points in images from multiple cameras | |
| KR102313026B1 (en) | Vehicle and method for collision avoidance assist when backing up the vehicle | |
| US20210109204A1 (en) | Calibration of lidar sensors | |
| US10474898B2 (en) | Image processing apparatus for vehicle | |
| CN104890671B (en) | Trailer lane-departure warning system | |
| CN108886606B (en) | Mounting angle detection device, mounting angle calibration device, and mounting angle detection method for in-vehicle camera | |
| US10171796B2 (en) | Moving body system | |
| EP3308353B1 (en) | Vehicle diagnosis and camera adjustment using a detection of camera inclination angles | |
| JP2008269496A (en) | Occupant information detection system, occupant restraint system and vehicle | |
| CN103430044A (en) | Dump truck with obstacle detection mechanism, and obstacle detection method thereof | |
| CN103827942A (en) | Work vehicle periphery monitoring system, and work vehicle | |
| US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
| JP2018090108A (en) | Parking support device and parking support method | |
| JP7188228B2 (en) | image generator | |
| JP6450530B2 (en) | In-vehicle camera mounting angle adjustment processing, mounting angle detection device | |
| JP7206938B2 (en) | Movement amount calculator | |
| CN113474678B (en) | System and method for compensating for movement of a vehicle component | |
| WO2015049154A1 (en) | Vehicle having wade sensing apparatus and system | |
| US20220342054A1 (en) | Attitude/position detection system and method for detecting attitude/position of detector | |
| JP4622637B2 (en) | In-vehicle camera attitude correction device and in-vehicle camera attitude correction method | |
| US20200074208A1 (en) | Vehicle and method for controlling the same | |
| JP2007182201A (en) | Lane change assistance device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221026 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7188228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |