JP6873889B2 - Excavator and excavator surrounding image generator - Google Patents
Excavator and excavator surrounding image generator Download PDFInfo
- Publication number
- JP6873889B2 JP6873889B2 JP2017218958A JP2017218958A JP6873889B2 JP 6873889 B2 JP6873889 B2 JP 6873889B2 JP 2017218958 A JP2017218958 A JP 2017218958A JP 2017218958 A JP2017218958 A JP 2017218958A JP 6873889 B2 JP6873889 B2 JP 6873889B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- excavator
- output image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 47
- 238000013507 mapping Methods 0.000 description 34
- 238000000034 method Methods 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 9
- 230000003187 abdominal effect Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000009412 basement excavation Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 2
- 101100459261 Cyprinus carpio mycb gene Proteins 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000005352 clarification Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 244000126211 Hericium coralloides Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007261 regionalization Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Component Parts Of Construction Machinery (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、ショベルの上部旋回体に搭載されるカメラが撮像した複数の入力画像に基づいて出力画像を生成するショベル及びショベルの周囲画像生成装置に関する。 The present invention relates to a shovel and an excavator surrounding image generator that generate an output image based on a plurality of input images captured by a camera mounted on the upper swing body of the shovel.
従来、車両周辺を撮像する複数の車載カメラによって撮像された画像のそれぞれを鳥瞰図画像に変換し、それら鳥瞰図画像を繋ぎ合わせた出力画像を運転者に提示する運転支援システムが知られている(例えば、特許文献1参照。)。 Conventionally, there is known a driving support system that converts each of the images captured by a plurality of in-vehicle cameras that capture the surroundings of a vehicle into a bird's-eye view image and presents an output image obtained by connecting the bird's-eye view images to the driver (for example, , Patent Document 1).
しかしながら、特許文献1に記載の運転支援システムは、旋回動作や掘削を行う建設機械へ搭載されることを想定しておらず、ショベルの運転室に設けるにあたり視認性を向上させることができない。
However, the driving support system described in
上述の点に鑑み、カメラが撮像した複数の入力画像に基づいて生成される出力画像の視認性を向上させることが望ましい。 In view of the above points, it is desirable to improve the visibility of the output image generated based on the plurality of input images captured by the camera.
本発明の実施例に係るショベルは、走行動作を行う下部走行体と、前記下部走行体に旋回自在に搭載される上部旋回体と、前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、前記上部旋回体の三方向を撮像するように前記上部旋回体の左部、右部、及び後部の三箇所に搭載される撮像装置と、前記上部旋回体に搭載される運転室と、前記運転室内に設置される表示部と、前記表示部に、前記下部走行体の向きとは無関係に、少なくとも前記上部旋回体の左方、右方、及び後方の領域と隣り合う前記撮像装置の撮像範囲が重複する前記上部旋回体の左後方及び右後方の重複領域とをショベルを真上から見た状態で映し出すように、前記隣り合う前記撮像装置のそれぞれの撮像画像を合成して前記重複領域に対し出力画像部分を生成し、前記出力画像部分を含んだ状態で前記撮像装置による画像を出力画像として前記下部走行体の向きとは無関係に表示するとともに、前記出力画像を中心とする表示領域において前記三箇所に搭載された前記撮像装置からの入力画像を同時に出力することなく前記出力画像を表示する制御部と、を有する。
The excavator according to the embodiment of the present invention includes a lower traveling body that performs a traveling operation, an upper rotating body that is rotatably mounted on the lower traveling body, and a boom that is attached to the upper rotating body and included in an attachment. An arm attached to the boom and included in the attachment, and an image pickup device mounted on the left, right, and rear parts of the upper swivel body so as to image three directions of the upper swivel body. The driver's cab mounted on the upper swivel body, the display unit installed in the driver's cab, and the display unit are at least left and right of the upper swivel body regardless of the orientation of the lower traveling body. And the overlapping regions of the left rear and the right rear of the upper swing body whose imaging range overlaps with the rear region of the imaging device so as to project the excavator in a state of being viewed from directly above. An output image portion is generated for the overlapping region by synthesizing each captured image of the device, and an image obtained by the imaging device is used as an output image in a state including the output image portion regardless of the orientation of the lower traveling body. In addition to displaying, the control unit includes a control unit that displays the output image without simultaneously outputting the input images from the image pickup apparatus mounted at the three locations in the display area centered on the output image.
上述の手段により、カメラが撮像した複数の入力画像に基づいて生成される出力画像の視認性が向上される。 By the above means, the visibility of the output image generated based on the plurality of input images captured by the camera is improved.
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。 Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.
図1は、本発明に係る画像生成装置100の構成例を概略的に示すブロック図である。
FIG. 1 is a block diagram schematically showing a configuration example of an
画像生成装置100は、例えば、建設機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を運転者に提示する装置であって、制御部1、カメラ2、入力部3、記憶部4、及び表示部5で構成される。
The
図2は、画像生成装置100が搭載されるショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。
FIG. 2 is a diagram showing a configuration example of an
また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)を備えている。なお、キャブ64内の運転者が視認し易い位置には表示部5が設置されているものとする。
Further, the
次に、画像生成装置100の各構成要素について説明する。
Next, each component of the
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータであって、例えば、後述する座標対応付け手段10及び出力画像生成手段11のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。
The
カメラ2は、ショベル60の周辺を映し出す入力画像を取得するための装置であり、例えば、キャブ64にいる運転者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えた右側方カメラ2R及び後方カメラ2Bである。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。
The
また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力するが、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正することとなる。
Further, the
入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。
The
記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。
The
表示部5は、画像情報を表示するための装置であり、例えば、建設機械のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。
The
また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周辺障害物との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を運転者に提示するようにしてもよい。
Further, the
「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)の対象となる画像であり、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像を画像変換処理で用いる場合に、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって得られる、画像変換処理に適した画像である。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。 The "processed image" is an image that is generated based on the input image and is the target of image conversion processing (for example, scale conversion, affine transformation, distortion conversion, viewpoint conversion processing, etc.), and is, for example, the ground surface. When an input image obtained by a camera that captures an image from above and includes a horizontal image (for example, an empty part) due to its wide angle of view is used in the image conversion process, the horizontal image is The input image is projected onto a predetermined spatial model so that it is not displayed unnaturally (for example, the empty part is not treated as if it is on the ground surface), and then the projected image projected on the spatial model is transformed into another two. This is an image suitable for image conversion processing, which is obtained by reprojecting onto a dimensional plane. The image to be processed may be used as it is as an output image without performing image conversion processing.
「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面(例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。)を含む、一又は複数の平面若しくは曲面で構成される、入力画像の投影対象である。 The "spatial model" is at least a plane or curved surface other than the processing target image plane which is the plane on which the processing target image is located (for example, a plane parallel to the processing target image plane or an angle with the processing target image plane. It is a projection target of an input image composed of one or more planes or curved surfaces including a plane or curved surface to be formed.
なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。
The
図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3(A)は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3(B)は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。
FIG. 3 is a diagram showing an example of the space model MD on which the input image is projected, and FIG. 3 (A) shows the relationship between the
図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内部の平面領域R1とその側面内部の曲面領域R2とを有する。 As shown in FIG. 3, the spatial model MD has a semi-cylindrical shape, and has a plane region R1 inside the bottom surface thereof and a curved surface region R2 inside the side surface thereof.
また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよいものとする。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。 Further, FIG. 4 is a diagram showing an example of the relationship between the spatial model MD and the processing target image plane, and the processing target image plane R3 is, for example, a plane including the plane region R1 of the spatial model MD. In FIG. 4, for the sake of clarification, the space model MD is shown in a cylindrical shape instead of the semi-cylindrical shape as shown in FIG. 3, but the space model MD is either a semi-cylindrical shape or a cylindrical shape. It may be. The same applies to the following figures. Further, as described above, the image plane R3 to be processed may be a circular region including the plane region R1 of the space model MD, or may be an annular region not including the plane region R1 of the space model MD.
次に、制御部1が有する各種手段について説明する。
Next, various means included in the
座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段であり、例えば、予め設定された、或いは、入力部3を介して入力される、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等のカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。
The coordinate mapping means 10 is a means for associating the coordinates on the input image plane on which the input image captured by the
なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。
When the coordinate mapping means 10 does not generate the processing target image, the coordinate mapping between the coordinates on the spatial model MD and the coordinates on the processing target image plane R3, and the spatial model / processing target of the corresponding relationship. The storage in the
出力画像生成手段11は、出力画像を生成するための手段であり、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
The output image generation means 11 is a means for generating an output image. For example, by performing scale conversion, affine conversion, or distortion conversion on the processing target image, the coordinates on the processing target image plane R3 and the output image can be obtained. An input image / spatial model in which the coordinates on the position output image plane are associated with each other, the correspondence is stored in the processing target image / output
また、出力画像生成手段11は、予め設定された、或いは、入力部3を介して入力される、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等の各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付け、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10がその値を記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。
Further, the output image generation means 11 is preset, or is input via the
なお、出力画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。 The output image generation means 11 may generate the output image by changing the scale of the image to be processed without using the concept of the virtual camera.
また、出力画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付け、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値(例えば、輝度値、色相値、彩度値等である。)と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、出力画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。
Further, when the output image generation means 11 does not generate the image to be processed, the output image generation means 11 associates the coordinates on the spatial model MD with the coordinates on the output image plane according to the image conversion process performed, and inputs the input image / spatial model. While referring to the
次に、座標対応付け手段10及び出力画像生成手段11による具体的な処理の一例について説明する。 Next, an example of specific processing by the coordinate mapping means 10 and the output image generation means 11 will be described.
座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。 The coordinate mapping means 10 can map the coordinates on the input image plane and the coordinates on the spatial model by using, for example, Hamilton's quaternion.
図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図であり、カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表され、空間モデルは、XYZ直交座標系における立体面として表されるものとする。
FIG. 5 is a diagram for explaining the correspondence between the coordinates on the input image plane and the coordinates on the spatial model, and the input image plane of the
最初に、座標対応付け手段10は、空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するため、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸(符号「−」は方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。)にそれぞれ一致させるようXYZ座標系を回転させる。 First, the coordinate mapping means 10 optically coordinates the origin of the XYZ coordinate system in order to convert the coordinates on the spatial model (coordinates on the XYZ coordinate system) into the coordinates on the input image plane (coordinates on the UVW coordinate system). After moving in parallel to the center C (origin of the UVW coordinate system), the X-axis is the U-axis, the Y-axis is the V-axis, and the Z-axis is the -W-axis (the sign "-" is in the opposite direction. This is due to the fact that the UVW coordinate system has the front of the camera in the + W direction and the XYZ coordinate system has the -Z direction in the vertical direction.) The XYZ coordinate system is rotated so as to match each other.
なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有することとなるので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させることとなる。
When a plurality of
上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現されるので、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。
In the above conversion, the XYZ coordinate system is translated so that the optical center C of the
ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、 By the way, the rotation for matching a certain vector A with another vector B corresponds to the process of rotating by the angle formed by the vector A and the vector B about the normal of the surface where the vector A and the vector B extend. Assuming that the angle is θ, the angle θ is calculated from the inner product of the vector A and the vector B.
また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から Further, the unit vector N of the normal of the surface extending between the vector A and the vector B is obtained from the outer product of the vector A and the vector B.
なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、 The quaternion is when i, j, and k are imaginary units, respectively.
四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。 The quaternion Q can express a three-dimensional vector (a, b, c) with pure imaginary components a, b, and c while setting the real component t to 0 (zero), and t, a, b. It is also possible to express a rotation motion about an arbitrary vector by each component of, c.
更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。 Further, the quaternion Q can be expressed as one rotation operation by integrating a plurality of consecutive rotation operations. For example, an arbitrary point S (sx, sy, sz) can be expressed as an arbitrary unit vector. The point D (ex, ey, ez) when rotated by an angle θ with C (l, m, n) as the axis can be expressed as follows.
また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、 Further, in this embodiment, assuming that the quaternion representing the rotation that makes the line connecting the point X'on the X axis and the origin coincide with the U axis is Qx, "the Z axis matches the -W axis, and further. , The quaternion R representing "rotation that makes the X-axis coincide with the U-axis"
以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、 From the above, the coordinates P'when the arbitrary coordinates P on the spatial model (XYZ coordinate system) are expressed by the coordinates on the input image plane (UVW coordinate system) are
空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。
After converting the coordinates on the spatial model (XYZ coordinate system) into the coordinates on the input image plane (UVW coordinate system), the coordinate mapping means 10 uses the optical center C (coordinates on the UVW coordinate system) of the
また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける、平面Hと光軸Gとの交点Eと座標P'とを結ぶ線分EP'と、平面HにおけるU'軸とが形成する偏角φ、及び線分EP'の長さを算出する。
Further, the coordinate mapping means 10 has the intersection E and the coordinates P'of the plane H and the optical axis G in the plane H parallel to the input image plane R4 (for example, the CCD plane) of the
カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっているので、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。 Since the image height h is usually a function of the incident angle α and the focal length f in the optical system of the camera, the coordinate mapping means 10 normally projects (h = ftanα) and stereographic projection (h = fsinα). , Stereographic projection (h = 2ftan (α / 2)), stereographic projection (h = 2fsin (α / 2)), equidistant projection (h = fα), etc. Calculate h.
その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。 After that, the coordinate mapping means 10 decomposes the calculated image height h into U and V components on the UV coordinate system by the deviation angle φ, and uses a numerical value corresponding to the pixel size per pixel of the input image plane R4. By dividing, the coordinates P (P') on the spatial model MD can be associated with the coordinates on the input image plane R4.
なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaUとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaVとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、 Assuming that the pixel size per pixel in the U-axis direction of the input image plane R4 is a U and the pixel size per pixel in the V-axis direction of the input image plane R4 is a V , the coordinates P on the spatial model MD The coordinates (u, v) on the input image plane R4 corresponding to (P') are
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
In this way, the coordinate mapping means 10 associates the coordinates on the spatial model MD with the coordinates on one or more input image planes R4 existing for each camera, and coordinates on the spatial model MD and the camera identifier. , And the coordinates on the input image plane R4 are associated and stored in the input image / spatial
また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。 Further, since the coordinate mapping means 10 calculates the coordinate conversion using quaternions, it has an advantage that gimbal lock is not generated unlike the case where the coordinate conversion is calculated using Euler angles. .. However, the coordinate mapping means 10 is not limited to the one that calculates the coordinate conversion using quaternions, and may calculate the coordinate conversion using Euler angles.
なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。 When it is possible to associate the coordinates on the plurality of input image planes R4, the coordinate mapping means 10 inputs the coordinates P (P') on the spatial model MD with respect to the camera having the smallest incident angle α. It may be associated with the coordinates on the image plane R4, or may be associated with the coordinates on the input image plane R4 selected by the operator.
次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。 Next, among the coordinates on the spatial model MD, the process of reprojecting the coordinates on the curved surface region R2 (coordinates having a component in the Z-axis direction) onto the processing target image plane R3 on the XY plane will be described.
図6は、座標対応付け手段10による座標間の対応付けを説明するための図であり、図6(A)は、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図であって、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。
FIG. 6 is a diagram for explaining the mapping between coordinates by the coordinate mapping means 10, and FIG. 6A is an input image plane R4 of the
図6(A)の例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。
In the example of FIG. 6A, the coordinate mapping means 10 associates the coordinates K1 on the input image plane R4 of the
なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付けるようにする。
When the
具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。
Specifically, the coordinate mapping means 10 has a predetermined function (for example, normal projection (h = fsinα), stereographic projection (h = 2ftan (α / 2)), equal-angle projection (h = 2fsin (α / 2)). 2)), equidistant projection (h = fα), etc.), the coordinates on the input image plane are associated with the coordinates on the spatial model MD. In this case, the line segments K1-L1 and the line segments K2-L2 do not pass through the optical center C of the
図6(B)は、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図であり、座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入し、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。 FIG. 6B is a diagram showing the correspondence between the coordinates on the curved surface region R2 of the spatial model MD and the coordinates on the processing target image plane R3, and the coordinate mapping means 10 is located on the XZ plane. A parallel line group PL that forms an angle β with the processing target image plane R3 is introduced, and the coordinates on the curved surface region R2 of the spatial model MD and the processing target image corresponding to the coordinates are introduced. Both coordinates are associated with each other so that the coordinates on the plane R3 both lie on one of the parallel line groups PL.
図6(B)の例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付けるようにする。 In the example of FIG. 6B, the coordinate mapping means 10 sets both coordinates on the assumption that the coordinates L2 on the curved surface region R2 of the spatial model MD and the coordinates M2 on the processing target image plane R3 lie on a common parallel line. Make it correspond.
なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることが可能であるが、図6(B)の例では、平面領域R1と処理対象画像平面R3とが共通の平面となっているので、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有するものとなっている。 The coordinate mapping means 10 can map the coordinates on the plane region R1 of the spatial model MD to the coordinates on the processing target image plane R3 using the parallel line group PL in the same manner as the coordinates on the curved surface region R2. However, in the example of FIG. 6B, since the plane region R1 and the processing target image plane R3 are common planes, the coordinates L1 on the plane region R1 of the spatial model MD and the processing target image plane R3 are on. It has the same coordinate value as the coordinate M1 of.
このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。
In this way, the coordinate mapping means 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3. It is stored in the spatial model / processing target
図6(C)は、処理対象画像平面R3上の座標と一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図であり、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。
FIG. 6C is a diagram showing the correspondence between the coordinates on the image plane R3 to be processed and the coordinates on the output image plane R5 of the
図6(C)の例では、出力画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。
In the example of FIG. 6C, the output image generation means 11 associates the coordinates N1 on the output image plane R5 of the
なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、出力画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付けるようにする。
When the
具体的には、出力画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。
Specifically, the output image generation means 11 has a predetermined function (for example, normal projection (h = fsinα), stereographic projection (h = 2ftan (α / 2)), equidistant angle projection (h = 2fsin (α /)). 2)), equidistant projection (h = fα), etc.), the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3 are associated with each other. In this case, the line segments M1-N1 and the line segments M2-N2 do not pass through the optical center CV of the
このようにして、出力画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶し、座標対応付け手段10が記憶した入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。
In this way, the output image generation means 11 associates the coordinates on the output image plane R5 with the coordinates on the processing target image plane R3, and the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3. In the output image while referring to the input image / spatial
なお、図6(D)は、図6(A)〜図6(C)を組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。
Note that FIG. 6D is a diagram in which FIGS. 6A to 6C are combined, and the
次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。 Next, with reference to FIG. 7, the operation of the parallel line group PL introduced by the coordinate mapping means 10 for associating the coordinates on the spatial model MD with the coordinates on the processing target image plane R3 will be described.
図7(A)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図であり、図7(B)は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7(A)及び図7(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし、図7(A)における座標La〜Ldのそれぞれの間隔は、図7(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、この場合のZ軸を「再投影軸」と称することとする。 FIG. 7A is a diagram when an angle β is formed between the parallel line group PL located on the XZ plane and the image plane R3 to be processed, and FIG. 7B is a diagram on the XZ plane. It is a figure in the case where the angle β1 (β1> β) is formed between the position parallel line group PL and the processing target image plane R3. Further, the coordinates La to Ld on the curved surface region R2 of the spatial model MD in FIGS. 7 (A) and 7 (B) correspond to the coordinates Ma to Md on the processing target image plane R3, respectively. It is assumed that the respective intervals of the coordinates La to Ld in FIG. 7 (A) are equal to the respective intervals of the coordinates La to Ld in FIG. 7 (B). Although the parallel line group PL is assumed to exist on the XZ plane for the purpose of explanation, it actually exists so as to extend radially from all points on the Z axis toward the image plane R3 to be processed. It shall be. The Z axis in this case is referred to as a "reprojection axis".
図7(A)及び図7(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。)。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。 As shown in FIGS. 7A and 7B, the distance between the coordinates Ma to Md on the processing target image plane R3 is the angle between the parallel line group PL and the processing target image plane R3. It decreases linearly as it increases (it decreases uniformly regardless of the distance between the curved surface region R2 of the spatial model MD and each of the coordinates Ma to Md). On the other hand, in the example of FIG. 7, the coordinate group on the plane region R1 of the spatial model MD is not converted to the coordinate group on the processing target image plane R3, so that the distance between the coordinate groups does not change. ..
これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。 As for the change in the spacing of these coordinate groups, only the image portion corresponding to the image projected on the curved surface region R2 of the spatial model MD among the image portions on the output image plane R5 (see FIG. 6) is linearly enlarged or expanded. It means that it will be reduced.
次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。 Next, with reference to FIG. 8, an alternative example of the parallel line group PL introduced by the coordinate mapping means 10 for associating the coordinates on the spatial model MD with the coordinates on the processing target image plane R3 will be described.
図8(A)は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図であり、図8(B)は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8(A)及び図8(B)における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応するものとし(図8(A)の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。)、図8(A)における座標La〜Ldのそれぞれの間隔は、図8(B)における座標La〜Ldのそれぞれの間隔と等しいものとする。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在するものとする。なお、図7と同様、この場合のZ軸を「再投影軸」と称することとする。 FIG. 8A is a diagram in which all of the auxiliary line groups AL located on the XZ plane extend from the start point T1 on the Z axis toward the image plane R3 to be processed, and FIG. 8B is an auxiliary diagram. It is a figure in the case where all of the line group AL extends from the start point T2 (T2> T1) on the Z axis toward the processing target image plane R3. Further, each of the coordinates La to Ld on the curved surface region R2 of the spatial model MD in FIGS. 8 (A) and 8 (B) corresponds to each of the coordinates Ma to Md on the processing target image plane R3 ( In the example of FIG. 8 (A), the coordinates Mc and Md are not shown because they are outside the region of the image plane R3 to be processed.), And the intervals between the coordinates La to Ld in FIG. 8 (A) are shown in FIG. It is assumed that it is equal to the respective intervals of the coordinates La to Ld in 8 (B). The auxiliary line group AL is assumed to exist on the XZ plane for the purpose of explanation, but actually exists so as to extend radially from an arbitrary point on the Z axis toward the image plane R3 to be processed. It shall be. As in FIG. 7, the Z axis in this case is referred to as a “reprojection axis”.
図8(A)及び図8(B)で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する(空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。)。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。 As shown in FIGS. 8A and 8B, the distance between the coordinates Ma to Md on the processing target image plane R3 is the distance (high) between the start point and the origin O of the auxiliary line group AL. (S) decreases non-linearly as it increases (the greater the distance between the curved surface region R2 of the spatial model MD and each of the coordinates Ma to Md, the greater the decrease in each interval). On the other hand, in the example of FIG. 8, the coordinate group on the plane region R1 of the spatial model MD is not converted to the coordinate group on the processing target image plane R3, so that the distance between the coordinate groups does not change. ..
これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。 The change in the spacing of these coordinate groups corresponds to the image projected on the curved surface region R2 of the spatial model MD in the image portion on the output image plane R5 (see FIG. 6) as in the case of the parallel line group PL. It means that only the image portion is non-linearly enlarged or reduced.
このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができるので、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。
In this way, the
次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されているものとする。
Next, referring to FIG. 9, a process in which the
最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。
First, the
具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得し、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出し、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。
Specifically, the coordinate mapping means 10 acquires an angle formed between the parallel line group PL and the processing target image plane R3, and the parallel line group PL extending from one coordinate on the processing target image plane R3. One calculates a point that intersects the curved surface area R2 of the space model MD, and the coordinates on the curved surface area R2 corresponding to the calculated points are one on the curved surface area R2 corresponding to the one coordinate on the processing target image plane R3. It is derived as coordinates, and the correspondence relationship is stored in the spatial model / processed target
また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。
Further, when one coordinate on the processing target image plane R3 matches one coordinate on the plane region R1 of the space model MD, the coordinate associating
その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。
After that, the
具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得し、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出し、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。
Specifically, the coordinate mapping means 10 acquires the coordinates of the optical center C of the
その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定し(ステップS3)、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返すようにする。
After that, the
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させ、出力画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。
On the other hand, when it is determined that all the coordinates are associated with each other (YES in step S3), the
具体的には、出力画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成し、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。
Specifically, the output image generation means 11 generates an output image by performing scale conversion, affine transformation, or distortion conversion on the image to be processed, and is determined by the contents of the scale conversion, affine transformation, or distortion conversion performed. The correspondence between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5 is stored in the processing target image / output
或いは、出力画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
Alternatively, when the output image generation means 11 generates an output image using the
或いは、出力画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得した上で、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出し、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。
Alternatively, when the output image generation means 11 generates an output image using a
その後、制御部1は、出力画像生成手段11により、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照しながら入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿り、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、出力画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値(例えば、平均値、最大値、最小値、中間値等である。)を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用するようにしてもよい。
After that, the
その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定し(ステップS6)、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返すようにする。
After that, the
一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。
On the other hand, when it is determined that the values of all the coordinates are associated with each other (YES in step S6), the
なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略し、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"を"空間モデル上の座標"で読み替えるものとする。
When the
以上の構成により、画像生成装置100は、建設機械と周辺障害物との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。
With the above configuration, the
また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行することにより、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができ、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ(この場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができるが、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。)、より良質な処理対象画像を迅速に生成することができる。
Further, the
また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。
Further, the
また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。
Further, when changing the appearance of the output image, the
同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。
Similarly, when the viewpoint of the output image is changed, the
図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。
FIG. 10 is a display example when the output image generated by using the input images of the two cameras 2 (
画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを同時に表示している。
The
なお、出力画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成されるものとする。
When the
また、出力画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成されており、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。
Further, the output image is trimmed into a circle so that the image when the
なお、空間モデルMDの半径は、例えば、5メートルであり、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業員である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。
The radius of the spatial model MD is, for example, 5 meters, and the angle formed by the parallel line group PL with the image plane R3 to be processed or the starting point height of the auxiliary line group AL is the rotation of the
更に、出力画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置するようにしてもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、出力画像は、方位等の各種情報を含む額縁画像をその周囲に配置するようにしてもよい。
Further, as the output image, the CG image of the
次に、図11〜図16を参照しながら、画像生成装置100が入力画像間の明るさ(輝度)の差を際立たせないようにする処理について説明する。
Next, with reference to FIGS. 11 to 16, a process for preventing the difference in brightness (luminance) between the input images by the
図11は、ショベル60に搭載された三台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
FIG. 11 shows the input images of the three cameras 2 (left side camera 2L,
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを同時に表示している。
The
図11において、左側方カメラ2Lの入力画像及び後方カメラ2Bの入力画像はそれぞれ、ショベル60の周囲における同じ場所を異なる角度から撮像した重複部分を含むが、それら重複部分はそれぞれ、各カメラに関する照明環境等の違いにより異なる明るさで撮像されており、その輝度が異なるものとなっている。右側方カメラ2Rの入力画像と後方カメラ2Bの入力画像との間の重複部分についても同様である。
In FIG. 11, the input image of the left side camera 2L and the input image of the
そのため、それら三つの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が複数の入力画像平面上の座標に対応付け可能な場合に、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、同じ場所を撮像しているにもかかわらず、左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界(図の一点鎖線で囲まれる領域R6参照。)、及び、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界(図の一点鎖線で囲まれる領域R7参照。)のところでその輝度が急激に変化することとなり、その出力画像を見た運転者に不自然さを感じさせてしまうこととなる。
Therefore, in the output image generated based on these three input images, when the coordinates on the output image plane can be associated with the coordinates on a plurality of input image planes, the coordinates on the output image plane are incident. Assuming that it is associated with the coordinates on the input image plane with respect to the camera with the smallest angle, the area on the output image based on the input image of the left camera 2L and the
そこで、画像生成装置100は、チェッカーシャドー錯視(同色錯視)による効果を利用して、入力画像間の輝度の差を際立たせないようにする。
Therefore, the
図12は、同色錯視を説明するための図(Edward H. Adelson、"Checker shadow illusion"、1995年、インターネット<URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html>)であり、図12(A)は、同色錯視をもたらすために利用されるチェッカーパタン(格子模様)を示し、図12(B)は、チェッカーパタン(格子模様)上の点P1〜点P3及び点P4〜点P6における輝度の推移を表すグラフを示す。 FIG. 12 is a diagram for explaining the same color illusion (Edward H. Adelson, "Checker shadow illusion", 1995, Internet <URL: http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html. >), FIG. 12 (A) shows a checker pattern (lattice pattern) used to bring about the same color illusion, and FIG. 12 (B) shows points P1 to P3 on the checker pattern (lattice pattern). A graph showing the transition of brightness at points P4 to P6 is shown.
図12(A)で示されるように、点P2を含む単位パタンの輝度よりも高い輝度を有する二つの単位パタン(点P1を含む単位パタン及び点P3を含む単位パタンである。)で挟まれたその点P2を含む単位パタンの輝度は、点P5を含む単位パタンの輝度よりも低い輝度を有する二つの単位パタン(点P4を含む単位パタン及び点P6を含む単位パタンである。)で挟まれたその点P5を含む単位パタンの輝度よりも低いように見える。 As shown in FIG. 12 (A), it is sandwiched between two unit patterns (a unit pattern including the point P1 and a unit pattern including the point P3) having a brightness higher than the brightness of the unit pattern including the point P2. The brightness of the unit pattern including the point P2 is sandwiched between two unit patterns (a unit pattern including the point P4 and a unit pattern including the point P6) having a brightness lower than the brightness of the unit pattern including the point P5. It appears to be lower than the brightness of the unit pattern including that point P5.
しかしながら、この輝度の差は、それぞれの単位パタンが格子模様を形成していること、及び、点P4〜点P6を含む単位パタン群が物体OBJの影に入っていることを認識している観察者の錯視によるものであり、実際には、図12(B)で示されるように、点P2を含む単位パタンの輝度は、点P5を含む単位パタンの輝度に等しいものとなっている。 However, this difference in brightness is an observation that recognizes that each unit pattern forms a lattice pattern and that the unit pattern group including points P4 to P6 is in the shadow of the object OBJ. This is due to the optical illusion of a person, and in reality, as shown in FIG. 12B, the brightness of the unit pattern including the point P2 is equal to the brightness of the unit pattern including the point P5.
このように、その観察者は、点P1、点P3、及び点P5のそれぞれを含む単位パタンが同じ輝度を有し、点P2、点P4、及び点P6のそれぞれを含む単位パタンが同じ輝度を有するものと錯覚することとなる。 In this way, the observer has the same brightness in the unit pattern including each of the points P1, P3, and P5, and the same brightness in the unit pattern including each of the points P2, P4, and P6. You will have the illusion of having something.
図13は、同色錯視をもたらす明暗パタンを生成する方法の一例を説明するための図であり、二つの波源(例えば、右側方カメラ2R及び後方カメラ2Bである。なお、右側方カメラ2Rが図の左側に示されているが、これは図の明瞭化のためであり、ここでは、図の右斜め上方が、ショベル60の後方に対応するものとする。)から山(実線円)及び谷(破線円)を形成しながら拡がって互いに干渉する二つの波を示す。
FIG. 13 is a diagram for explaining an example of a method of generating a light-dark pattern that causes the same color illusion, and is a diagram of two wave sources (for example, a right-
また、図13において、二つの扇形領域2Ra、2Baはそれぞれ、右側方カメラ2Rの撮像範囲、及び、後方カメラ2Bの撮像範囲を示し、太い実線で表される腹線ANLは、二つの波が互いに強め合う点を連ねた線を示し、太い破線で表される節線NLは、二つの波が互いに弱め合う点を連ねた線を示す。なお、腹線ANL及び節線NLは、図13で示されるように、交互に現れることとなる。
Further, in FIG. 13, the two fan-shaped regions 2Ra and 2Ba indicate the imaging range of the
また、図13において、右側方カメラ2Rを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)と、後方カメラ2Bを波源として拡がる波の一つの谷が描く線(破線円)と、その一つの谷の次に発生する一つの山が描く線(実線円)とで定められる菱形状の領域のそれぞれは、単位パタン領域LTを形成するものとする。
Further, in FIG. 13, a line drawn by one valley of the wave spreading from the right-
図13で示される複数の単位パタン領域LTが出力画像平面上に描かれたものとし、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に後方カメラ2Bの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に右側方カメラ2Rの入力画像が対応付けられるものとすると、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
It is assumed that a plurality of unit pattern regions LT shown in FIG. 13 are drawn on the output image plane, and the
なお、単位パタン領域LTのうちの腹線ANLが通過する(灰色で塗り潰される)単位パタン領域LT1に右側方カメラ2Rの入力画像が対応付けられ、且つ、単位パタン領域LTのうちの節線NLが通過する(白色で塗り潰される)単位パタン領域LT2に後方カメラ2Bの入力画像が対応付けられる場合も同様に、平均輝度がそれぞれ異なる二つの入力画像は、同色錯視をもたらす格子模様を形成することができることとなる。
The input image of the right-
また、図13の格子模様は、波長及び位相が等しい二つの波を用いて形成されるが、波長及び位相の一方又は双方が異なる二つの波を用いて形成されてもよい。単位パタン領域LT1、LT2のサイズや形状を柔軟に調整できるようにするためである。 Further, although the lattice pattern of FIG. 13 is formed by using two waves having the same wavelength and phase, it may be formed by using two waves having one or both different wavelengths and phases. This is to enable the size and shape of the unit pattern regions LT1 and LT2 to be flexibly adjusted.
図14は、図13で示される格子模様を出力画像平面(平面領域R1)上に配置した状態を示し、ショベル60のCG画像60Gの右後方(図の右下方向)にある、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様と、ショベル60のCG画像60Gの左後方(図の左下方向)にある、左側方カメラ2Lの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様とを示す。
FIG. 14 shows a state in which the lattice pattern shown in FIG. 13 is arranged on the output image plane (plane region R1), and is a right-side camera located on the right rear side (lower right direction in the figure) of the
図14において、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT1に右側方カメラ2Rの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT2に後方カメラ2Bの入力画像が対応付けられるものとする。
In FIG. 14, the grid pattern arranged in the overlapping region between the imaging range of the right-
また、左側方カメラ2Lの撮像範囲と後方カメラ2Bの撮像範囲との重複領域に配置される格子模様は、例えば、(灰色で塗り潰される)単位パタン領域LT3に左側方カメラ2Lの入力画像が対応付けられ、(白色で塗り潰される)単位パタン領域LT4に後方カメラ2Bの入力画像が対応付けられるものとする。
Further, the grid pattern arranged in the overlapping region between the imaging range of the left camera 2L and the imaging range of the
図15は、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像平面上の各座標に、それら二つのカメラの何れか一方の入力画像平面上の座標を対応付け、同色錯視をもたらす格子模様を形成する処理(以下、「格子模様形成処理」とする。)の流れを示すフローチャートである。
In FIG. 15, the
画像生成装置100の制御部1は、例えば、座標対応付け手段10により、図9の処理対象画像生成処理のステップS2において、空間モデルMDの平面領域R1上の一座標と複数の入力画像平面上の座標との対応付けが可能な場合に、空間モデルMDの平面領域R1上の一座標と二つのカメラのそれぞれに対応する二つの入力画像平面のうちの一つにおける一座標とを対応付ける際に、この格子模様形成処理を実行するものとする。
For example, the
最初に、制御部1は、二つのカメラ(例えば、右側方カメラ2R及び後方カメラ2Bである。)の撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の一座標を取得する(ステップS11)。
First, the
次に、制御部1は、二つのカメラのそれぞれにおける光学中心の座標を取得する(ステップS12)。
Next, the
次に、制御部1は、ステップS11で取得した空間モデルMDにおける平面領域R1上の一座標に対応付けるカメラを選択する(ステップS13)。
Next, the
具体的には、制御部1は、右側方カメラ2Rの光学中心の座標を(Xcam1、Ycam1)とし、後方カメラ2Bの光学中心の座標を(Xcam2、Ycam2)とし、対応付けの対象である空間モデルMDの平面領域R1上の一座標を(Xtarget、Ytarget)とすると、
Specifically, the
なお、制御部1は、上述の条件式が真である場合に、その平面領域R1上の一座標に対応付けるカメラとして後方カメラ2Bを選択し、上述の条件式が偽である場合に、その平面領域R1上の一座標に対応付けるカメラとして右側方カメラ2Rを選択するようにしてもよい。
The
なお、上述の条件式は、平面領域R1上の座標(Xtarget、Ytarget)が、図14で示される単位パタン領域LT1に含まれるか、或いは、単位パタン領域LT2に含まれるかの判定式に相当する。 The above-mentioned conditional expression is a determination formula for determining whether the coordinates (X target , Y target ) on the plane region R1 are included in the unit pattern region LT1 shown in FIG. 14 or included in the unit pattern region LT2. Corresponds to.
また、本実施例において、制御部1は、光学中心の座標が二次元座標であり、波源から発生する波が平面波であるという前提で、平面領域R1上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(平面領域R1を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択するが、光学中心の座標を(高さ情報を含む)三次元座標とし、波源から発生する波を球面波としながら、平面領域R1上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択するようにしてもよい。
Further, in the present embodiment, the
また、本実施例において、制御部1は、二つのカメラ(例えば、右側方カメラ2R及び後方カメラ2Bである。)の撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の一座標に対応付けるカメラを選択しているが、二つのカメラの撮像範囲が重複する領域に対応する、処理対象画像平面R3上の一座標に対応付けるカメラを選択するようにしてもよい。
Further, in the present embodiment, the
この場合、制御部1は、処理対象画像平面R3上の一座標(二次元座標)と二つのカメラのそれぞれの光学中心の座標(処理対象画像平面R3を含む平面上に投影された二次元座標)との間の二次元距離に基づいてカメラを選択するようにしてもよく、処理対象画像平面R3上の一座標(三次元座標)と二つのカメラのそれぞれの光学中心の座標(三次元座標)との間の三次元距離に基づいてカメラを選択するようにしてもよい。なお、処理対象画像平面R3は、平面領域R1を含むものであってもよい。
In this case, the
その後、制御部1は、座標対応付け手段10により、選択したカメラの入力画像平面上の一座標と、空間モデルMDの平面領域R1上の一座標とを対応付け(ステップS14)、空間モデルMD上の座標、カメラ識別子、及び入力画像平面上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。
After that, the
その後、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の全ての座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けたか否かを判定し(ステップS15)、未だ全ての座標を対応付けていないと判定した場合には(ステップS15のNO)、ステップS11〜ステップS14の処理を繰り返すようにする。
After that, the
一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS15のYES)、この格子模様形成処理を終了させる。
On the other hand, when it is determined that all the coordinates are associated with each other (YES in step S15), the
なお、上述において、制御部1は、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの平面領域R1上の各座標、又は、処理対象画像平面R3上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにするが、更に、二つのカメラの撮像範囲が重複する領域に対応する、空間モデルMDの曲面領域R2上の各座標を、二つのカメラのうちの一つの入力画像平面上の座標に対応付けるようにしてもよい。
In the above description, the
このように、制御部1は、上述のような条件式を用いて空間モデルMD上の各座標を二つのカメラのうちの一つの入力画像平面上の座標に容易に対応付けることができ、適切な格子模様を生成することができる。
In this way, the
図16は、図11で示される出力画像と、図11の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図16(A)が図11で示される出力画像を示し、図16(B)が同色錯視をもたらす格子模様が適用された出力画像を示す。 FIG. 16 is a comparison diagram showing the difference between the output image shown in FIG. 11 and the output image to which the grid pattern that brings about the same color illusion is applied to the output image of FIG. 11, and FIG. 16 (A) is a comparison diagram of FIG. The output image shown is shown, and FIG. 16B shows an output image to which a checkerboard pattern that results in the same color illusion is applied.
左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図16(A)の一点鎖線で囲まれた領域R6は、顕著な輝度の違いを提示しているが、左側方カメラ2Lの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図16(B)の一点鎖線で囲まれた領域R8は、その輝度の違いが目立たなくなっており、その領域R8を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
The area R6 surrounded by the one-point chain line in FIG. 16A including the boundary between the area on the output image based on the input image of the left camera 2L and the area on the output image based on the input image of the
同様に、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図16(A)の一点鎖線で囲まれた領域R7は、顕著な輝度の違いを提示しているが、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図16(B)の一点鎖線で囲まれた領域R9は、その輝度の違いが目立たなくなっており、その領域R9を含む出力画像を見た運転者に不自然さを感じさせ難くしている。
Similarly, it is surrounded by a single point chain line in FIG. 16 (A) including a boundary between a region on the output image based on the input image of the right-
次に、図17〜図19を参照しながら、画像生成装置100が、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止する処理について説明する。
Next, referring to FIGS. 17 to 19, when the
図17は、ショベル60に搭載された三台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。
FIG. 17 shows the input images of the three cameras 2 (left side camera 2L,
画像生成装置100は、それら三台のカメラ2のそれぞれの入力画像平面上の座標を空間モデルMDの平面領域R1及び曲面領域R2上の座標に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成し、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成して、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周辺を見た画像(処理対象画像平面R3における画像)とを表示している。
The
図17において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像範囲と後方カメラ2Bの撮像範囲との重複領域内に人物(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)を捉えている。
In FIG. 17, the input image of the right-
しかしながら、それら右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像に基づいて生成される出力画像は、その出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、図17で示されるように、その重複領域内の人物を消失させてしまうこととなる(出力画像内の一点鎖線で囲まれる領域R12参照。)。
However, the input image of the right-
そこで、画像生成装置100は、同色錯視をもたらすために形成される格子模様を利用して、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止するものとする。
Therefore, the
図18は、二つのカメラのそれぞれの撮像範囲の重複領域における物体の消失防止効果を説明するための図であり、図18(A)は、図13で示される同色錯視をもたらすための格子模様を形成するための波の図を示し、図18(B)は、図18(A)の一部拡大図を示す。 FIG. 18 is a diagram for explaining the effect of preventing the disappearance of an object in the overlapping region of the imaging range of each of the two cameras, and FIG. 18 (A) is a checkerboard pattern for bringing about the same color illusion shown in FIG. FIG. 18 (B) shows a partially enlarged view of FIG. 18 (A).
図18(A)において、破線で囲まれる投影像PRJ1は、後方カメラ2Bの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その後方カメラ2Bとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(後方カメラ2Bの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。)を表す。
In FIG. 18A, the projected image PRJ1 surrounded by a broken line is such that the image of the object OBJ1 in the input image of the
また、破線で囲まれる投影像PRJ2は、右側方カメラ2Rの入力画像における物体OBJ1の像が、路面画像を生成するための視点変換によって、その右側方カメラ2Rとその物体OBJ1とを結ぶ線の延長方向に伸長されたもの(右側方カメラ2Rの入力画像を用いてその出力画像部分における路面画像を生成した場合に表示される像である。)を表す。
Further, the projected image PRJ2 surrounded by a broken line is a line in which the image of the object OBJ1 in the input image of the right-
なお、投影像PRJ1及び投影像PRJ2は、最終的な出力画像上にそのままの状態で表示されることはなく、図18(B)で示されるように、一部が切り欠かれた状態で表示されることとなる。 The projected image PRJ1 and the projected image PRJ2 are not displayed as they are on the final output image, but are displayed in a partially cutout state as shown in FIG. 18B. Will be done.
また、図18(A)において、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
Further, in FIG. 18A, of the broken line region representing the projected image PRJ1, the portion filled with gray represents the portion overlapping with the unit pattern region LT1 (see FIG. 13) through which the abdominal line ANL passes. It is shown that the coordinates on the input image plane of the
一方、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
On the other hand, in the broken line region representing the projected image PRJ1, the portion filled with white represents the overlapping portion with the unit pattern region LT2 (see FIG. 13) through which the node line NL passes, and the output corresponding to the overlapping portion. It is shown that each coordinate on the image is associated with the coordinates on the input image plane of the
なお、投影像PRJ1を表す破線領域のうち、灰色で塗り潰された部分に対応する出力画像上の各座標に、右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ1を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に、後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられるようにしてもよい。
In the broken line area representing the projected image PRJ1, the coordinates on the input image plane of the
この場合、投影像PRJ1は、図18(B)で示されるように、その伸長方向に直交する円(後方カメラ2Bの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT2によって切り欠かれることとなるが、隣接する単位パタン領域LT1が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域LT2のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
In this case, the projected image PRJ1 is one of the circles orthogonal to the extension direction (the circles drawn by the peaks and valleys of the waves whose wave source is the position of the
また、投影像PRJ1は、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ1と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。 Further, the projected image PRJ1 tends to be elongated in the direction away from the camera as the height of the object OBJ1 is higher, and is enlarged more as the distance from the camera is increased. However, as the distance from the camera increases, the projected image is magnified to the same degree as the projected image PRJ1, so that the cutout state is maintained almost uniformly.
また、図18(A)において、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分は、節線NLが通過する単位パタン領域LT2(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられることを示す。
Further, in FIG. 18A, of the broken line region representing the projected image PRJ2, the portion filled with black represents the overlapping portion with the unit pattern region LT2 (see FIG. 13) through which the node line NL passes. It is shown that the coordinates on the input image plane of the right-
一方、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分は、腹線ANLが通過する単位パタン領域LT1(図13参照。)との重なり部分を表し、その重なり部分に対応する出力画像上の各座標には後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられることを示す。
On the other hand, in the broken line region representing the projected image PRJ2, the portion filled with white represents the overlapping portion with the unit pattern region LT1 (see FIG. 13) through which the abdominal line ANL passes, and the output corresponding to the overlapping portion. It is shown that each coordinate on the image is associated with the coordinates on the input image plane of the
なお、投影像PRJ2を表す破線領域のうち、黒色で塗り潰された部分に対応する出力画像上の各座標に後方カメラ2Bの入力画像平面上の座標(物体OBJ1の像を形成しない領域内の座標)が対応付けられ、投影像PRJ2を表す破線領域のうち、白色で塗り潰された部分に対応する出力画像上の各座標に右側方カメラ2Rの入力画像平面上の座標(物体OBJ1の像を形成する領域内の座標)が対応付けられるようにしてもよい。
In the broken line region representing the projected image PRJ2, the coordinates on the input image plane of the
この場合、投影像PRJ2は、投影像PRJ1と同様に、図18(B)で示されるように、その伸長方向に直交する円(右側方カメラ2Rの位置を波源とする波の山及び谷が描く円である。)の一部をその境界線として含む単位パタン領域LT1によって切り欠かれることとなるが、隣接する単位パタン領域LT2が互いに頂点を接触させているので繊切り状に分断され難く、単位パタン領域LT1のそれぞれがその伸長方向に直交する円の一部を含むため、その輪郭も認識され易いはっきりした状態で保存されることとなる。
In this case, the projected image PRJ2, like the projected image PRJ1, has a circle (a wave source having the position of the right-
また、投影像PRJ2は、投影像PRJ1と同様に、物体OBJ1の高さが高い程、カメラから遠ざかる方向により長く伸長され、且つ、カメラから遠ざかる程、より大きく拡大される傾向を有するが、単位パタン領域LT1及びLT2は何れもカメラから遠ざかる程、その投影像PRJ2と同じ度合いで、より大きく拡大していくので、その切り欠き状態もほぼ均一に維持されることとなる。 Further, like the projected image PRJ1, the projected image PRJ2 tends to be elongated in the direction away from the camera as the height of the object OBJ1 is higher, and is enlarged larger as the distance from the camera is increased. As the pattern regions LT1 and LT2 are both farther away from the camera, they are magnified more to the same extent as the projected image PRJ2, so that the cutout state is maintained substantially uniformly.
図19は、図17で示される出力画像と、図17の出力画像に同色錯視をもたらす格子模様が適用された出力画像との違いを表す対比図であり、図19(A)が図17で示される出力画像を示し、図19(B)が同色錯視をもたらす格子模様が適用された出力画像を示す。 FIG. 19 is a comparison diagram showing the difference between the output image shown in FIG. 17 and the output image to which the grid pattern that brings about the same color illusion is applied to the output image of FIG. The output image shown is shown, and FIG. 19B shows an output image to which a checkerboard pattern that results in the same color illusion is applied.
右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域との間の境界を含む図19(A)の一点鎖線で囲まれた領域R13は、人物が消失した状態を提示しているが、右側方カメラ2Rの入力画像に基づく出力画像上の領域と後方カメラ2Bの入力画像に基づく出力画像上の領域とが格子模様となって混在する図19(B)の一点鎖線で囲まれた領域R14は、人物を消失させることなく、その人物を認識し易い状態で提示し、その領域R14を含む出力画像を見た運転者にその人物の存在を確実に認識させることができるようにしている。
The area R13 surrounded by the one-point chain line in FIG. 19A including the boundary between the area on the output image based on the input image of the right-
以上の構成により、画像生成装置100は、同色錯視をもたらすための格子模様を利用することにより、二つのカメラのそれぞれの撮像範囲の重複領域に対応する出力画像部分を生成する際にその出力画像部分にある物体が消失するのを防止することができ、二つの入力画像のそれぞれの部分領域が櫛歯状に交互に配置されるように二つの入力画像を繋ぎ合わせる場合に比べ、その一部が切り欠かれることとなるその物体の投影像を、運転者がより認識し易い状態で表示することができる。
With the above configuration, the
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。 Although the preferred examples of the present invention have been described in detail above, the present invention is not limited to the above-mentioned examples, and various modifications and substitutions are made to the above-mentioned examples without departing from the scope of the present invention. Can be added.
例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。
For example, in the above embodiment, the
また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走する建設機械にカメラと共に搭載され、周囲画像をその運転者に提示しながらその建設機械の移動及びそれら可動部材の操作を支援する操作支援システムに組み込まれているが、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない他の***作体にカメラと共に搭載され、それら他の***作体の操作を支援する操作支援システムに組み入れられてもよい。
Further, the
1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 10・・・座標対応付け手段 11・・・出力画像生成手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ
1 ...
Claims (12)
前記下部走行体に旋回自在に搭載される上部旋回体と、
前記上部旋回体に取り付けられ、アタッチメントに含まれるブームと、
前記ブームに取り付けられ、前記アタッチメントに含まれるアームと、
前記上部旋回体の三方向を撮像するように前記上部旋回体の左部、右部、及び後部の三箇所に搭載される撮像装置と、
前記上部旋回体に搭載される運転室と、
前記運転室内に設置される表示部と、
前記表示部に、前記下部走行体の向きとは無関係に、少なくとも前記上部旋回体の左方、右方、及び後方の領域と隣り合う前記撮像装置の撮像範囲が重複する前記上部旋回体の左後方及び右後方の重複領域とをショベルを真上から見た状態で映し出すように、前記隣り合う前記撮像装置のそれぞれの撮像画像を合成して前記重複領域に対し出力画像部分を生成し、前記出力画像部分を含んだ状態で前記撮像装置による画像を出力画像として前記下部走行体の向きとは無関係に表示するとともに、前記出力画像を中心とする表示領域において前記三箇所に搭載された前記撮像装置からの入力画像を同時に出力することなく前記出力画像を表示する制御部と、を有する、
ショベル。 The lower traveling body that performs the running operation and
An upper swivel body that is freely mounted on the lower traveling body and
The boom attached to the upper swing body and included in the attachment,
With the arm attached to the boom and included in the attachment,
An imaging device mounted at three locations on the left, right, and rear of the upper swivel body so as to image the three directions of the upper swivel body.
The driver's cab mounted on the upper swing body and
The display unit installed in the driver's cab and
The left of the upper swivel body whose display overlaps at least the left, right, and rear regions of the upper swivel body with the imaging range of the imaging device, regardless of the orientation of the lower traveling body. An output image portion is generated for the overlapping region by synthesizing the captured images of the adjacent imaging devices so that the overlapping region of the rear and the right rear is projected in a state where the excavator is viewed from directly above. The image obtained by the imaging device is displayed as an output image in a state including the output image portion regardless of the orientation of the lower traveling body, and the imaging mounted at the three locations in the display area centered on the output image. It has a control unit that displays the output image without simultaneously outputting the input image from the device.
Excavator.
請求項1に記載のショベル。 The image captured by the image pickup device is captured so as to include a part of the vehicle body.
The excavator according to claim 1.
請求項1又は2に記載のショベル。 The output image displays various information around the image captured by the imaging device.
The excavator according to claim 1 or 2.
請求項1乃至3の何れかに記載のショベル。 The control unit generates an image of the excavator looking down from the sky, excluding at least a portion that projects a region in front of the excavator.
The excavator according to any one of claims 1 to 3.
請求項1乃至4の何れかに記載のショベル。 The control unit generates an image including a scene when looking backward from the excavator based on an image captured by an image pickup device mounted on the rear portion of the upper swivel body.
The excavator according to any one of claims 1 to 4.
前記上部旋回体の一部の画像は前記表示部で凹状に表示される、
請求項1乃至5の何れかに記載のショベル。 The image captured by the image pickup apparatus mounted on the rear portion of the upper swivel body includes a part of the image of the upper swivel body.
A part of the image of the upper swivel body is displayed in a concave shape on the display unit.
The excavator according to any one of claims 1 to 5.
請求項1乃至6の何れかに記載のショベル。 The input image contains an empty part ,
The excavator according to any one of claims 1 to 6.
前記表示部に、前記下部走行体の向きとは無関係に、少なくとも前記上部旋回体の左方、右方、及び後方の領域と隣り合う前記撮像装置の撮像範囲が重複する前記上部旋回体の左後方及び右後方の重複領域とを前記ショベルを真上から見た状態で映し出すように、前記隣り合う前記撮像装置のそれぞれの撮像画像を合成して前記重複領域に対し出力画像部分を生成し、前記出力画像部分を含んだ状態で前記撮像装置による画像を出力画像として前記下部走行体の向きとは無関係に表示するとともに、前記出力画像を中心とする表示領域において前記三箇所に搭載された前記撮像装置からの入力画像を同時に出力することなく前記出力画像を表示する制御部を有する、
ショベルの周囲画像生成装置。 A lower traveling body that performs a traveling operation, an upper rotating body that is rotatably mounted on the lower traveling body, a boom that is attached to the upper rotating body and included in the attachment, and a boom that is attached to the boom and included in the attachment. An imaging device mounted on the left, right, and rear parts of the upper swing body so as to image three directions of the upper swing body, and a driver's cab mounted on the upper swing body. And a display unit installed in the driver's cab, and a peripheral image generation device for the excavator mounted on the excavator.
The left of the upper swivel body whose display overlaps at least the left, right, and rear regions of the upper swivel body with the imaging range of the imaging device, regardless of the orientation of the lower traveling body. An output image portion is generated for the overlapping region by synthesizing the captured images of the adjacent imaging devices so that the overlapping region of the rear and the right rear is projected in a state where the excavator is viewed from directly above. The image obtained by the imaging device is displayed as an output image in a state including the output image portion regardless of the orientation of the lower traveling body, and the output image is mounted on the three locations in the display area centered on the output image. It has a control unit that displays the output image without simultaneously outputting the input image from the image pickup device.
Excavator surrounding image generator.
請求項8に記載のショベルの周囲画像生成装置。 The image captured by the image pickup device is captured so as to include a part of the vehicle body.
The excavator surrounding image generator according to claim 8.
請求項8又は9に記載のショベルの周囲画像生成装置。 In the output image, the front of the CG image of the excavator is displayed so as to coincide with the upper part of the screen of the display unit.
The excavator surrounding image generator according to claim 8 or 9.
前記上部旋回体の一部の画像は前記表示部で凹状に表示される、
請求項8乃至10の何れかに記載のショベルの周囲画像生成装置。 The image captured by the image pickup apparatus mounted on the rear portion of the upper swivel body includes a part of the image of the upper swivel body.
A part of the image of the upper swivel body is displayed in a concave shape on the display unit.
The excavator surrounding image generator according to any one of claims 8 to 10.
請求項8乃至11の何れかに記載のショベルの周囲画像生成装置。 The output image displays various information around the image captured by the imaging device.
The excavator surrounding image generator according to any one of claims 8 to 11.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017218958A JP6873889B2 (en) | 2017-11-14 | 2017-11-14 | Excavator and excavator surrounding image generator |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017218958A JP6873889B2 (en) | 2017-11-14 | 2017-11-14 | Excavator and excavator surrounding image generator |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015257041A Division JP6246185B2 (en) | 2015-12-28 | 2015-12-28 | Excavator |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019165777A Division JP2020002773A (en) | 2019-09-11 | 2019-09-11 | Shovel and shovel peripheral image generation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018035669A JP2018035669A (en) | 2018-03-08 |
JP6873889B2 true JP6873889B2 (en) | 2021-05-19 |
Family
ID=61567036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017218958A Active JP6873889B2 (en) | 2017-11-14 | 2017-11-14 | Excavator and excavator surrounding image generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6873889B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210106409A (en) | 2018-10-19 | 2021-08-30 | 스미토모 겐키 가부시키가이샤 | shovel |
JP2024066602A (en) | 2022-11-02 | 2024-05-16 | ヤンマーホールディングス株式会社 | CONTROL METHOD FOR CONTROLLING A WORK MACHINE, CONTROL PROGRAM FOR CONTROLLING A WORK MACHINE, AND CONTROL SYSTEM FOR CONTROLLING A WORK MACHINE |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002176641A (en) * | 2000-12-05 | 2002-06-21 | Matsushita Electric Ind Co Ltd | Peripheral video image presenting device |
JP2008179940A (en) * | 2005-03-31 | 2008-08-07 | Hitachi Constr Mach Co Ltd | Surrounding monitoring equipment of working machine |
JP4847913B2 (en) * | 2007-03-30 | 2011-12-28 | 日立建機株式会社 | Work machine periphery monitoring device |
JP4977667B2 (en) * | 2008-09-02 | 2012-07-18 | 日立建機株式会社 | Visual aid for work machine |
JP4951639B2 (en) * | 2009-03-02 | 2012-06-13 | 日立建機株式会社 | Work machine with ambient monitoring device |
-
2017
- 2017-11-14 JP JP2017218958A patent/JP6873889B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018035669A (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5497617B2 (en) | Image generating apparatus and operation support system | |
JP6029306B2 (en) | Perimeter monitoring equipment for work machines | |
JP5550970B2 (en) | Image generating apparatus and operation support system | |
KR101385914B1 (en) | Processing target image generation device, processing target image generation method, and operation support system | |
JP6324665B2 (en) | Perimeter monitoring equipment for work machines | |
JP5090496B2 (en) | Image generating apparatus and operation support system | |
JP5960007B2 (en) | Perimeter monitoring equipment for work machines | |
JP2018093501A (en) | Working machine | |
JP5805574B2 (en) | Perimeter monitoring equipment for work machines | |
JP6169381B2 (en) | Excavator | |
JP5752631B2 (en) | Image generation method, image generation apparatus, and operation support system | |
JP6873889B2 (en) | Excavator and excavator surrounding image generator | |
JP5638494B2 (en) | Image generation method, image generation apparatus, and operation support system | |
JP2014224411A (en) | Periphery monitoring device for work machine | |
JP6302622B2 (en) | Perimeter monitoring equipment for work machines | |
JP2020127217A (en) | Shovel | |
JP5808677B2 (en) | Image generating apparatus and operation support system | |
JP6246185B2 (en) | Excavator | |
JP6355298B2 (en) | Image generating apparatus and excavator | |
JP6295026B2 (en) | Excavator | |
JP2020002773A (en) | Shovel and shovel peripheral image generation device | |
JP2014095210A (en) | Image formation apparatus for paving machine and operation support system for paving machine | |
JP2014123955A (en) | Shovel | |
JP5808679B2 (en) | Image generating apparatus and operation support system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190204 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190911 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190911 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190920 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190924 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20191011 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20191023 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200218 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200324 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20200521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200623 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200908 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201109 |
|
C30 | Protocol of an oral hearing |
Free format text: JAPANESE INTERMEDIATE CODE: C30 Effective date: 20201215 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210316 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210420 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210420 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6873889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |