JP6068710B1 - Overhead image adjustment apparatus and overhead image adjustment program - Google Patents

Overhead image adjustment apparatus and overhead image adjustment program Download PDF

Info

Publication number
JP6068710B1
JP6068710B1 JP2016106890A JP2016106890A JP6068710B1 JP 6068710 B1 JP6068710 B1 JP 6068710B1 JP 2016106890 A JP2016106890 A JP 2016106890A JP 2016106890 A JP2016106890 A JP 2016106890A JP 6068710 B1 JP6068710 B1 JP 6068710B1
Authority
JP
Japan
Prior art keywords
adjustment
display
magnification
camera
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016106890A
Other languages
Japanese (ja)
Other versions
JP2017216489A (en
Inventor
大廣　智則
智則 大廣
Original Assignee
株式会社ネクスコ・エンジニアリング北海道
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ネクスコ・エンジニアリング北海道 filed Critical 株式会社ネクスコ・エンジニアリング北海道
Priority to JP2016106890A priority Critical patent/JP6068710B1/en
Application granted granted Critical
Publication of JP6068710B1 publication Critical patent/JP6068710B1/en
Publication of JP2017216489A publication Critical patent/JP2017216489A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる、俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムを提供する。【解決手段】俯瞰画像を構成する各画像のカメラ位置・カメラ倍率・カメラ姿勢を画像処理で調整するための調整画面１００を表示手段に表示する表示制御部６１は、位置・倍率表示エリアの周囲に位置調整ボタンおよび倍率調整ボタンを表示するとともに、姿勢表示エリアの周囲に姿勢調整ボタンを表示し、位置調整ボタンの調整指示に基づいて、位置・倍率調整用ラインの表示位置を平行移動させ、倍率調整ボタンの調整指示に基づいて、位置・倍率調整用ラインの表示倍率を拡大・縮小させ、姿勢調整ボタンの調整指示に基づいて、姿勢調整用ラインの表示角度を回転移動させる。【選択図】 図５A bird's-eye view image adjusting device, a work vehicle surrounding display device, and a work vehicle surrounding display device capable of easily and quickly adjusting a bird's-eye view image around a work vehicle using a graphical user interface excellent in intuition and operability. A work vehicle and an overhead image adjustment program are provided. A display control unit 61 for displaying an adjustment screen 100 for adjusting a camera position, a camera magnification, and a camera posture of each image constituting an overhead image on the display means is displayed around the position / magnification display area. In addition to displaying the position adjustment button and the magnification adjustment button, the posture adjustment button is displayed around the posture display area, and based on the adjustment instruction of the position adjustment button, the display position of the position / magnification adjustment line is moved in parallel, The display magnification of the position / magnification adjustment line is enlarged / reduced based on the adjustment instruction of the magnification adjustment button, and the display angle of the posture adjustment line is rotated based on the adjustment instruction of the posture adjustment button. [Selection] Figure 5

Description

本発明は、除雪車や散布車等のような作業車の周囲の俯瞰画像を調整するための俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムに関するものである。   The present invention relates to a bird's-eye view image adjustment device for adjusting a bird's-eye view image around a work vehicle such as a snowplow and a scatter vehicle, a work vehicle surrounding display device, a work vehicle equipped with the same, and a bird's-eye view image adjustment program It is.

従来、普通自動車等の車両に取り付けた複数のカメラにより撮像された画像を合成し、車両の真上から周囲を見下ろすような俯瞰画像を表示する技術が提案されている。例えば、特開２００６−２７７７３８号公報には、複数のカメラ画像データから俯瞰画像を作成する車載画像処理装置が開示されている。（特許文献１）。   2. Description of the Related Art Conventionally, a technique has been proposed in which images taken by a plurality of cameras attached to a vehicle such as an ordinary automobile are combined and an overhead image that looks down on the surroundings from directly above the vehicle is displayed. For example, Japanese Unexamined Patent Application Publication No. 2006-277738 discloses an in-vehicle image processing apparatus that creates an overhead image from a plurality of camera image data. (Patent Document 1).

特開２００６−２７７７３８号公報JP 2006-277738 A

上記のような俯瞰画像を撮像する各カメラには、組み立て誤差によるバラツキが存在する他、車体への取り付け時には、カメラ位置やカメラ姿勢に組み付け誤差が発生する。このため、各カメラを取り付けた後は、ソフト的に基準設定からの誤差を校正するキャリブレーション作業が必要となる。しかしながら、当該キャリブレーション作業は、従来、車両メーカーやディーラーにおいてのみ行われており、当該作業を直感的に行えるような操作性の高いグラフィカルユーザインターフェースは存在していないという問題がある。   Each camera that captures an overhead image as described above has variations due to assembly errors, and an assembly error occurs in the camera position and camera orientation when attached to the vehicle body. For this reason, after attaching each camera, a calibration operation for calibrating an error from the reference setting in software is necessary. However, the calibration work is conventionally performed only by vehicle manufacturers and dealers, and there is a problem that there is no graphical user interface with high operability that allows the work to be performed intuitively.

一方、除雪車や散布車等の作業車においては、普通乗用車等と比較して運転席から見えない死角が圧倒的に大きい。このため、当該死角の状況を確認するための作業員を別途配置等しているが、近年、作業員の確保が難しくなっている。このような背景から、作業車においても俯瞰画像を表示させたいというニーズが高まりつつある。しかしながら、作業車では、車体の大きさに比例して、俯瞰画像を表示するために必要なカメラの数が増大する。このため、上述したキャリブレーション作業を行うのに非常に手間と時間が掛かるという問題もある。   On the other hand, in a work vehicle such as a snowplow or a scatter vehicle, the blind spot that cannot be seen from the driver's seat is overwhelmingly larger than a normal passenger car or the like. For this reason, workers for confirming the status of the blind spots are separately arranged, but in recent years, it has become difficult to secure workers. From such a background, there is an increasing need to display a bird's-eye view image on a work vehicle. However, in a work vehicle, the number of cameras required to display a bird's-eye view image increases in proportion to the size of the vehicle body. For this reason, there is also a problem that it takes much time and time to perform the above-described calibration work.

本発明は、このような問題点を解決するためになされたものであって、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる、俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムを提供することを目的としている。   The present invention has been made to solve such problems, and it is possible to easily and quickly adjust a bird's-eye view image of a work vehicle with a graphical user interface excellent in intuition and operability. An object of the present invention is to provide a bird's-eye view image adjustment device, a work vehicle surrounding display device, a work vehicle equipped with the same, and a bird's-eye view image adjustment program.

本発明に係る俯瞰画像調整装置は、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、前記表示制御部は、前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。 An overhead image adjustment apparatus according to the present invention is provided in a work vehicle in order to solve the problem of easily and quickly adjusting an overhead image around the work vehicle with a graphical user interface excellent in intuition and operability. A bird's-eye view image adjustment device for adjusting a bird's-eye view image around the work vehicle, which is obtained by synthesizing each image captured by a plurality of cameras, wherein the camera position, camera magnification, and / or Or a display control unit that displays an adjustment screen for adjusting the camera posture by image processing on a display unit, and the display control unit is provided in the adjustment screen to adjust the camera position or the camera magnification. position and the magnification display area on the display position and magnification adjusting line, a graphical user interface that indicates the current camera position and camera magnification Rutotomoni, wherein provided on the adjustment screen of the posture display area for adjusting the camera position to view the posture adjustment line, a graphical user interface that indicates the current camera position, around the position and the magnification display area A position adjustment button for receiving an instruction for adjusting the camera position and a magnification adjustment button for receiving an instruction for adjusting the camera magnification, and an attitude adjustment button for receiving an instruction for adjusting the camera posture around the attitude display area. When the position adjustment button receives an adjustment instruction, the display position of the position / magnification adjustment line is translated based on the adjustment instruction. When the magnification adjustment button receives the adjustment instruction, the adjustment is performed. Based on the instruction, the display magnification of the position / magnification adjustment line is enlarged / reduced, If energizing adjustment button accepts the adjustment instruction, based on the adjustment instruction, in which rotationally moves the display angle of the posture adjustment line.

また、本発明の一態様として、位置調整ボタンの直感性および操作性を向上するという課題を解決するために、前記表示制御部は、前記位置調整ボタンとして、前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示してもよい。   Also, as one aspect of the present invention, in order to solve the problem of improving the intuitiveness and operability of the position adjustment button, the display control unit adjusts the left and right positions of the camera as the position adjustment button. A position adjustment button is displayed at the left and right positions of the position / magnification display area, an upper / lower position adjustment button for adjusting the vertical position of the camera is displayed at the upper / lower position of the position / magnification display area, and the magnification adjustment button is You may display in the diagonally upper position or diagonally lower position of a position / magnification display area.

さらに、本発明の一態様として、姿勢調整ボタンの直感性および操作性を向上するという課題を解決するために、前記表示制御部は、前記姿勢調整ボタンとして、前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示してもよい。   Furthermore, as one aspect of the present invention, in order to solve the problem of improving the intuitiveness and operability of the posture adjustment button, the display control unit uses the yaw angle for adjusting the yaw angle of the camera as the posture adjustment button. An angle adjustment button is displayed at the left and right positions of the posture display area, a pitch angle adjustment button for adjusting the pitch angle of the camera is displayed at the upper and lower positions of the posture display area, and the roll angle adjustment is performed to adjust the roll angle of the camera. The button may be displayed at a diagonally upper position or a diagonally lower position of the posture display area.

また、本発明の一態様として、位置・倍率調整用ラインおよび姿勢調整用ラインの調整方向および調整量を視認しやすくするという課題を解決するために、前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されていてもよい。   Also, as one aspect of the present invention, in order to solve the problem of making it easy to visually recognize the adjustment direction and adjustment amount of the position / magnification adjustment line and the attitude adjustment line, the position / magnification adjustment line and the attitude adjustment In the work line, two vertical axes separated by a predetermined interval and two horizontal axes separated by a predetermined interval may intersect each other.

さらに、本発明の一態様として、俯瞰画像を構成する各画像の表示領域の形状を簡単かつ直感的に調整するという課題を解決するために、前記表示制御部は、前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示するようにしてもよい。   Furthermore, as one aspect of the present invention, in order to solve the problem of easily and intuitively adjusting the shape of the display area of each image constituting the overhead image, the display control unit includes each of the components constituting the overhead image. A display area display area for adjusting the shape of the display area of the image is displayed on the adjustment screen, and the current display area of each image formed by connecting a plurality of vertices in a polygonal shape is displayed in the display area display area. When any of the vertices in the display area receives a movement instruction, the display area formed by connecting the vertex moved by the movement instruction and the vertex not moved may be displayed.

また、本発明に係る作業車用周囲表示装置は、上述したいずれかの態様の俯瞰画像調整装置によって調整された表示パラメータを記憶する表示パラメータ記憶部と、前記表示パラメータに基づいて各画像を合成し前記俯瞰画像を生成する俯瞰画像合成部とを有するものである。 The work vehicle surrounding display device according to the present invention includes a display parameter storage unit that stores display parameters adjusted by the overhead image adjustment device according to any one of the aspects described above, and combines the images based on the display parameters. And an overhead image synthesis unit for generating the overhead image .

また、本発明の一態様として、作業車の走行箇所または作業用途に応じて、俯瞰画像を含む最適な画面レイアウトを表示するという課題を解決するために、前記俯瞰画像を含む画面レイアウトを備えた表示モードとして、前記作業車の周囲全体の俯瞰画像を表示する通常俯瞰モードと、前記作業車の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、前記作業車の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、前記作業車の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードとを有していてもよい。   Further, as one aspect of the present invention, in order to solve the problem of displaying an optimal screen layout including a bird's-eye view image according to the travel location or work application of the work vehicle, the screen layout including the bird's-eye image is provided. As a display mode, a normal bird's-eye view mode that displays an overhead view image of the entire periphery of the work vehicle, an enlarged bird's-eye view mode that displays an enlarged bird's-eye view image of the entire periphery of the work vehicle, and an overhead view image of the rear periphery of the work vehicle And a rear overhead view mode for simultaneously displaying the rear normal image and a rear overhead mirror mode for simultaneously displaying the overhead view image and the rear mirror image around the rear of the work vehicle.

また、本発明に係る作業車は、上述したいずれかの態様の作業車用周囲表示装置を備えてなるものである。   The work vehicle according to the present invention includes the work vehicle surrounding display device according to any one of the above-described aspects.

また、本発明に係る俯瞰画像調整プログラムは、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、前記表示制御部は、前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。 An overhead image adjustment program according to the present invention is provided on a work vehicle in order to solve the problem of easily and quickly adjusting an overhead image around the work vehicle with a graphical user interface excellent in intuition and operability. A bird's-eye view image adjustment program for adjusting a bird's-eye view image around the work vehicle, which is obtained by synthesizing images captured by a plurality of cameras provided, the camera position and the camera magnification of each image constituting the bird's-eye view image And / or causing the computer to function as a display control unit that displays on the display means an adjustment screen for adjusting the camera posture by image processing, and the display control unit is provided in the adjustment screen, and the camera position or the camera magnification graphical user inter off indicating the current camera position and the camera magnification position and magnification display area for adjusting the And displays the position and magnification adjusting line is over scan, the provided adjustment screen on the posture display area for adjusting the camera position, a graphical user interface that indicates the current camera position and orientation adjustment line And a position adjustment button for receiving an instruction to adjust the camera position and a magnification adjustment button for receiving an instruction to adjust the camera magnification are displayed around the position / magnification display area. When a posture adjustment button for receiving an adjustment instruction for a camera posture is displayed and the position adjustment button receives an adjustment instruction, the display position of the position / magnification adjustment line is translated based on the adjustment instruction, and the magnification When the adjustment button receives an adjustment instruction, the position / magnification adjustment is performed based on the adjustment instruction. Display scale enlargement or to shrink the line, when the position adjustment button has accepted the adjustment instruction, based on the adjustment instruction, in which rotationally moves the display angle of the posture adjustment line.

本発明によれば、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる。   According to the present invention, a bird's-eye view image around a work vehicle can be easily and quickly adjusted with a graphical user interface excellent in intuition and operability.

本発明に係る俯瞰画像調整装置および作業車用周囲表示装置の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of the bird's-eye view image adjustment apparatus which concerns on this invention, and the surrounding display apparatus for work vehicles. 本発明に係る作業車用周囲表示装置を搭載した作業車の一実施形態を示す、（ａ）右側面図、（ｂ）平面図、（ｃ）正面図および（ｄ）背面図である。BRIEF DESCRIPTION OF THE DRAWINGS It is (a) right view, (b) top view, (c) front view, and (d) back view which show one Embodiment of the working vehicle carrying the working vehicle surrounding display apparatus which concerns on this invention. 本実施形態において、各表示モードにおける画面レイアウトの一例を示す図である。In this embodiment, it is a figure which shows an example of the screen layout in each display mode. 本実施形態における表示パラメータの一例を示す図である。It is a figure which shows an example of the display parameter in this embodiment. 本実施形態の俯瞰画像調整装置における調整画面の一例を示す図である。It is a figure which shows an example of the adjustment screen in the bird's-eye view image adjustment apparatus of this embodiment. 本実施形態の俯瞰画像調整装置および俯瞰画像調整プログラムを用いて、俯瞰画像を調整する際の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process at the time of adjusting an overhead image using the overhead image adjustment apparatus and overhead image adjustment program of this embodiment. 本実施形態におけるカメラ位置、カメラ倍率およびカメラ姿勢を調整する際の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process at the time of adjusting the camera position in this embodiment, a camera magnification, and a camera attitude | position. 本実施形態において、カメラ位置、カメラ倍率およびカメラ姿勢を調整する際のイメージ図である。In this embodiment, it is an image figure at the time of adjusting a camera position, a camera magnification, and a camera attitude | position. 本実施形態において、画像が（ａ）Ｘ方向にズレている場合、（ｂ）Ｙ方向にズレている場合、および（ｃ）Ｚ方向にズレている場合を示すイメージ図である。In this embodiment, it is an image figure which shows the case where the image has shifted | deviated to (a) X direction, (b) the case where it shifted to the Y direction, and (c) the case where it has shifted to Z direction. 本実施形態において、画像が（ａ）ヨー方向にズレている場合、（ｂ）ピッチ方向にズレている場合、および（ｃ）ロール方向にズレている場合を示すイメージ図である。In this embodiment, it is an image figure which shows the case where the image is shifted in (a) yaw direction, (b) when shifted in the pitch direction, and (c) when shifted in the roll direction. 本実施形態において、表示領域の形状を調整する際の処理の流れを示すフローチャートである。In this embodiment, it is a flowchart which shows the flow of a process at the time of adjusting the shape of a display area. 本実施形態において、パラメータ詳細設定ウィンドウの一例を示す図である。It is a figure which shows an example of a parameter detailed setting window in this embodiment.

以下、本発明に係る俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムの一実施形態について図面を用いて説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, an embodiment of an overhead image adjustment apparatus, a work vehicle surrounding display device, a work vehicle including the overhead image adjustment apparatus, and an overhead image adjustment program according to the present invention will be described with reference to the drawings.

本実施形態では、図１に示すように、作業車２０に設けられた複数のカメラＣ１〜Ｃ６で撮像した各画像を合成してなる、作業車２０の周囲の俯瞰画像を表示する作業車用周囲表示装置１０と、この作業車用周囲表示装置１０に表示される俯瞰画像を調整する俯瞰画像調整装置１とを備えている。以下、各構成について説明する。   In the present embodiment, as shown in FIG. 1, for a work vehicle that displays a bird's-eye view image around the work vehicle 20, which is obtained by combining the images captured by the plurality of cameras C <b> 1 to C <b> 6 provided on the work vehicle 20. A surrounding display device 10 and an overhead image adjusting device 1 that adjusts an overhead image displayed on the working vehicle surrounding display device 10 are provided. Each configuration will be described below.

作業車２０は、除雪車としても兼用可能な剤散布車によって構成されており、除雪作業や凍結防止剤等の薬剤散布作業を行いながら、あるいは、その両方の作業を行いながら道路を走行するものである。本実施形態では、図２に示すように、作業車２０の運転席近傍に作業車用周囲表示装置１０が搭載されている。なお、本実施形態では、作業車２０として剤散布車を採用しているが、この構成に限定されるものではない。すなわち、本発明に係る作業車２０は、除雪車や剤散布車の他、ロータリー除雪車や万能車、トラクターショベル等のように、普通乗用車よりも大型で所定の作業を行うための全ての車両を含む概念である。   The work vehicle 20 is composed of a chemical sprayer that can also be used as a snowplow, and travels on the road while performing a snowplowing work, a chemical spraying work such as an antifreezing agent, or both. It is. In the present embodiment, as shown in FIG. 2, the work vehicle surrounding display device 10 is mounted in the vicinity of the driver's seat of the work vehicle 20. In the present embodiment, the agent spreading vehicle is adopted as the work vehicle 20, but the present invention is not limited to this configuration. That is, the work vehicle 20 according to the present invention is not only a snowplow and a agent sprayer, but also all vehicles for performing predetermined work that are larger than ordinary passenger cars, such as a rotary snowplow, a universal vehicle, a tractor excavator, and the like. It is a concept that includes

作業車用周囲表示装置１０は、作業車２０の真上から周囲を見下ろすような俯瞰画像を表示するものである。本実施形態において、作業車用周囲表示装置１０は、図１に示すように、作業車２０に設けられる複数のカメラＣ１〜Ｃ６と、俯瞰画像を表示する俯瞰画像表示モニタ１１と、この俯瞰画像表示モニタ１１に俯瞰画像等を表示する際の表示モードを切替えるモード切替スイッチ１２とに接続されている。   The work vehicle surrounding display device 10 displays a bird's-eye view image looking down from the work vehicle 20 directly above. In the present embodiment, as shown in FIG. 1, the work vehicle surrounding display device 10 includes a plurality of cameras C1 to C6 provided on the work vehicle 20, an overhead image display monitor 11 that displays an overhead image, and the overhead image. The display monitor 11 is connected to a mode switch 12 for switching a display mode when displaying a bird's-eye view image or the like.

カメラＣ１〜Ｃ６は、高精細度（ＨＤ：High Definition）カメラ等で構成されており、作業車２０の周囲の画像を撮像するものである。本実施形態において、カメラＣ１〜Ｃ６は、図２に示すように、作業車２０の左前側方を撮像するカメラＣ１と、左後側方を撮像するカメラＣ２と、右前側方を撮像するカメラＣ３と、右後側方を撮像するカメラＣ４と、前方を撮像するカメラＣ５と、後方を撮像するカメラＣ６とを有している。これら各カメラＣ１〜Ｃ６は、普通乗用車と比較して、地面から高い位置に設置されるため、より広範囲の俯瞰画像を撮像することができる。そして、各カメラＣ１〜Ｃ６は、撮像した各画像データを、リアルタイムで後述する俯瞰画像合成部１４に出力するようになっている。 The cameras C <b> 1 to C <b> 6 are configured with high definition (HD) cameras and the like, and capture images around the work vehicle 20. In the present embodiment, as shown in FIG. 2, the cameras C1 to C6 are a camera C1 that images the left front side of the work vehicle 20, a camera C2 that images the left rear side, and a camera that images the right front side. C3, a camera C4 that captures the right rear side, a camera C5 that captures the front, and a camera C6 that captures the rear. Since each of these cameras C1 to C6 is installed at a higher position from the ground as compared with a normal passenger car, a wider range of overhead images can be taken. And each camera C1-C6 outputs each imaged image data to the bird's-eye view image synthesis part 14 mentioned later in real time.

なお、本実施形態では、除雪車によって捲き上げられた雪の付着を防止するため、各カメラＣ１〜Ｃ６は、透明の電熱線ヒーターが設けられた専用ボックス（図示せず）に収納されている。そして、電熱線ヒーターのＯＮ／ＯＦＦを手動制御するスイッチが、作業車２０内に設置されているとともに、電熱線ヒーターの温度が所定温度（例：４０℃）に達すると自動でＯＦＦされるようになっている。   In this embodiment, the cameras C1 to C6 are housed in a dedicated box (not shown) provided with a transparent heating wire heater in order to prevent snow that has been spun up by the snowplow. . A switch for manually controlling on / off of the heating wire heater is installed in the work vehicle 20 and is automatically turned off when the temperature of the heating wire heater reaches a predetermined temperature (eg, 40 ° C.). It has become.

俯瞰画像表示モニタ１１は、液晶ディスプレイ等で構成されており、作業車２０の周囲の俯瞰画像を表示するものである。本実施形態において、俯瞰画像表示モニタ１１は、作業車２０の運転席の前方など、運転手が常時確認できる場所に設置されている。そして、後述する俯瞰画像合成部１４によって合成された俯瞰画像をリアルタイムで表示するようになっている。 The overhead image display monitor 11 is composed of a liquid crystal display or the like, and displays an overhead image around the work vehicle 20. In this embodiment, the bird's-eye view image display monitor 11 is installed in a place where the driver can always check, such as in front of the driver's seat of the work vehicle 20. And the bird's-eye view image synthesize | combined by the bird's-eye view image synthetic | combination part 14 mentioned later is displayed in real time.

モード切替スイッチ１２は、作業車２０の走行箇所または作業用途に応じて、異なる画面レイアウトを備えた表示モードを切替えるものである。本実施形態では、図３に示すように、俯瞰画像を含む画面レイアウトを備えた表示モードとして、作業車２０の周囲全体の俯瞰画像を表示する通常俯瞰モードと、作業車２０の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、作業車２０の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、作業車２０の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードとを有している。また、俯瞰画像を含まない画面レイアウトを備えた表示モードとして、後方の通常画像のみを表示する後方確認モードと、側方の通常画像のみを表示する側方確認モードとを有している。   The mode switching switch 12 switches display modes having different screen layouts depending on the travel location or work application of the work vehicle 20. In the present embodiment, as shown in FIG. 3, as a display mode having a screen layout including a bird's-eye view image, a normal bird's-eye view mode for displaying a bird's-eye view image of the entire periphery of the work vehicle 20 and a bird's-eye view of the entire periphery of the work vehicle 20. An enlarged bird's-eye view mode for displaying an enlarged image, a rear bird's-eye view mode for simultaneously displaying a bird's-eye view image around the rear of the work vehicle 20 and a normal image behind the work vehicle 20, and a bird's-eye view image and a rear mirror image around the work vehicle 20 And a rear-viewing mirror mode for simultaneously displaying. In addition, as a display mode having a screen layout that does not include a bird's-eye view image, there is a rear confirmation mode that displays only the rear normal image and a side confirmation mode that displays only the side normal image.

なお、通常俯瞰モードは、サービスエリアやパーキングエリア等において、周囲の安全を確認するのに好適である。拡大俯瞰モードは、高速道路の構内や本線料金所等において、周囲の安全を確認するのに好適である。後方俯瞰モードおよび後方俯瞰ミラーモードは、除雪作業や剤散布作業等の仕上がり具合を確認するのに好適である。後方確認モードは、駐車する際に後方を確認するのに好適である。側方確認モードは、高速道路本線への合流時や梯団除雪状態からの開放時に安全を確認するのに好適である。   The normal bird's-eye view mode is suitable for confirming the safety of the surroundings in a service area, a parking area, or the like. The enlarged bird's-eye view mode is suitable for confirming the safety of the surroundings on the premises of a highway, the main line toll booth, and the like. The rear bird's-eye view mode and the rear bird's-eye view mirror mode are suitable for confirming the finished condition such as snow removal work or agent spraying work. The rear confirmation mode is suitable for confirming the rear when parking. The side confirmation mode is suitable for confirming safety when joining the highway main line or when releasing from the snow removal condition of the ladder.

作業車用周囲表示装置１０は、ＣＰＵ（Central Processing Unit）としての機能と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリとしての機能とを有するＦＰＧＡ（Field-Programmable Gate Array）等を備えた基板によって構成されている。そして、図１に示すように、後述する各種の表示パラメータを記憶する表示パラメータ記憶部１３と、各カメラＣ１〜Ｃ６から取得した画像を合成し俯瞰画像を出力する俯瞰画像合成部１４とを有している。以下、各構成について説明する。 The work vehicle surrounding display device 10 includes a field-programmable gate array (FPGA) having a function as a CPU (Central Processing Unit) and a function as a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory). It is comprised by the board | substrate provided with. As shown in FIG. 1, a display parameter storage unit 13 that stores various display parameters, which will be described later, and an overhead image synthesis unit 14 that synthesizes images acquired from the cameras C1 to C6 and outputs an overhead image are provided. doing. Each configuration will be described below.

表示パラメータ記憶部１３は、俯瞰画像を構成する各画像についての表示パラメータを記憶するものである。本実施形態において、表示パラメータ記憶部１３には、図４に示すように、各カメラのカメラ位置を指定するパラメータとして、左右位置を指定するＸ値と、上下位置を指定するＹ値とが記憶される。また、各カメラのカメラ倍率を指定するパラメータとして、高さ位置（表示倍率）を指定するＺ値とが記憶される。さらに、各カメラのカメラ姿勢を指定するパラメータとして、ロール角度を指定するロール値と、ピッチ角度を指定するピッチ値と、ヨー角度を指定するヨー値とが記憶される。さらに、各カメラで撮像された各画像の表示領域の形状を指定するパラメータとして、当該表示領域を指定する各頂点の座標値が記憶される。 The display parameter storage unit 13 stores display parameters for each image constituting the overhead image. In the present embodiment, as shown in FIG. 4, the display parameter storage unit 13 stores an X value for specifying the left and right positions and a Y value for specifying the vertical positions as parameters for specifying the camera position of each camera. Is done. Further, a Z value for designating the height position (display magnification) is stored as a parameter for designating the camera magnification of each camera. Furthermore, a roll value for designating the roll angle, a pitch value for designating the pitch angle, and a yaw value for designating the yaw angle are stored as parameters for designating the camera posture of each camera. Furthermore, the coordinate value of each vertex that designates the display area is stored as a parameter that designates the shape of the display area of each image captured by each camera.

そして、表示パラメータ記憶部１３は、上述した俯瞰画像を含む４つの表示モード（通常俯瞰モード、各段俯瞰モード、後方俯瞰モード、後方俯瞰ミラーモード）のそれぞれについて、上述した各表示パラメータをパラメータファイルとして保存するようになっている。また、本実施形態において、表示パラメータ記憶部１３は、俯瞰画像を表示する際の路面サイズを指定する全長および全幅についても保存しうるようになっている。 Then, the display parameter storage unit 13 stores the above-described display parameters in the parameter file for each of the four display modes including the above-described overhead view image (normal overhead view mode, each stage overhead view mode, rear overhead view mode, and rear overhead view mirror mode). Is supposed to save as. In the present embodiment, the display parameter storage unit 13 can also store the total length and the full width that specify the road surface size when displaying the bird's-eye view image.

俯瞰画像合成部１４は、各カメラＣ１〜Ｃ６で撮像した各画像を合成し、俯瞰画像を生成するものである。本実施形態において、俯瞰画像合成部１４は、各カメラＣ１〜Ｃ６で撮像された画像を取得するとともに、モード切替スイッチ１２で設定されている表示モードに対応するパラメータファイルを表示パラメータ記憶部１３から読み出す。そして、当該パラメータファイルの各表示パラメータに基づいて、各画像を合成して俯瞰画像を生成し、俯瞰画像表示モニタ１１へ出力するようになっている。また、本実施形態において、俯瞰画像合成部１４は、俯瞰画像調整装置１から表示パラメータの調整指示が送信されてきた場合、当該調整後の表示パラメータに基づいて、俯瞰画像をリアルタイムで更新するようになっている。 The overhead image synthesis unit 14 synthesizes the images captured by the cameras C1 to C6 to generate an overhead image. In the present embodiment, the bird's-eye view image synthesizing unit 14 acquires images captured by the cameras C1 to C6 and obtains a parameter file corresponding to the display mode set by the mode switch 12 from the display parameter storage unit 13. read out. Then, based on the display parameters of the parameter file, the images are combined to generate an overhead image and output to the overhead image display monitor 11. In the present embodiment, when the bird's-eye view image synthesizing unit 14 receives a display parameter adjustment instruction from the bird's-eye view image adjustment device 1, the bird's-eye view image synthesis unit 14 updates the bird's-eye view image in real time based on the display parameter after the adjustment. It has become.

つぎに、俯瞰画像調整装置１は、ノート型のパーソナルコンピュータやタブレット端末等のコンピュータによって構成されており、図１に示すように、主として、ユーザからの入力や指示を受け付ける入力手段２と、後述する調整画面１００等を表示する表示手段３と、作業車用周囲表示装置１０との間でデータ通信を行う通信手段４と、本実施形態の俯瞰画像調整プログラム１ａや各種データを記憶する記憶手段５と、各種の演算処理を実行し後述する各構成部として機能する演算処理手段６とから構成されている。以下、各構成手段について詳細に説明する。   Next, the bird's-eye view image adjustment apparatus 1 is configured by a computer such as a notebook personal computer or a tablet terminal. As shown in FIG. 1, an input unit 2 that mainly receives input and instructions from a user, and a later-described unit. Display means 3 for displaying the adjustment screen 100 and the like, communication means 4 for performing data communication with the work vehicle surrounding display device 10, and a storage means for storing the overhead image adjustment program 1a of this embodiment and various data 5 and an arithmetic processing means 6 that executes various arithmetic processes and functions as each component described later. Hereinafter, each component will be described in detail.

入力手段２は、ユーザからの指示や入力を受け付けるためのものである。本実施形態において、入力手段２は、タッチパッドやマウスなどのポインティングデバイスや、テンキーなどの入力装置等によって構成されており、後述する調整画面１００で入力された調整指示や数値および調整対象とするカメラの選択や表示モードの選択等を演算処理手段６へ出力するようになっている。   The input means 2 is for receiving an instruction and input from a user. In the present embodiment, the input unit 2 is configured by a pointing device such as a touch pad or a mouse, an input device such as a numeric keypad, and the like, and is used as an adjustment instruction, a numerical value, and an adjustment target input on an adjustment screen 100 described later. Camera selection, display mode selection, and the like are output to the arithmetic processing means 6.

表示手段３は、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面１００等を表示するためのものである。本実施形態において、表示手段３は、液晶ディスプレイ等で構成されており、後述する表示制御部６１から入力された表示内容を表示するようになっている。なお、入力手段２および表示手段３は、入力手段２としての位置入力機能と、表示手段３としての表示機能とを兼ね備えたタッチパネル等によって構成されていてもよい。   The display means 3 is for displaying an adjustment screen 100 or the like for adjusting the camera position, camera magnification and / or camera orientation of each image constituting the overhead image by image processing. In the present embodiment, the display means 3 is composed of a liquid crystal display or the like, and displays the display contents input from the display control unit 61 described later. The input unit 2 and the display unit 3 may be configured by a touch panel or the like that has both a position input function as the input unit 2 and a display function as the display unit 3.

通信手段４は、俯瞰画像調整装置１を作業車用周囲表示装置１０とデータ通信させるためのものである。本実施形態において、通信手段４は、ＵＳＢケーブル等によって構成されており、作業車用周囲表示装置１０から現在の表示モードで使用されている表示パラメータを受信したり、作業車用周囲表示装置１０に対して調整後の表示パラメータを送信するようになっている。   The communication means 4 is for making the bird's-eye view image adjustment device 1 perform data communication with the work vehicle surrounding display device 10. In the present embodiment, the communication means 4 is configured by a USB cable or the like, receives display parameters used in the current display mode from the work vehicle surrounding display device 10, or receives the work vehicle surrounding display device 10. The display parameter after adjustment is transmitted to.

記憶手段５は、各種のデータを記憶するとともに、演算処理手段６が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびフラッシュメモリ等によって構成されており、図１に示すように、プログラム記憶部５１と、調整パラメータ記憶部５２と、ＧＵＩデータ記憶部５３とを有している。以下、各構成部についてより詳細に説明する。   The storage unit 5 stores various data and functions as a working area when the arithmetic processing unit 6 performs arithmetic processing. In the present embodiment, the storage means 5 includes a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like. As shown in FIG. 1, a program storage unit 51, an adjustment parameter storage unit, and the like. 52 and a GUI data storage unit 53. Hereinafter, each component will be described in more detail.

プログラム記憶部５１には、本実施形態の俯瞰画像調整プログラム１ａがインストールされている。そして、演算処理手段６が、俯瞰画像調整プログラム１ａを実行することにより、俯瞰画像調整装置１としてのコンピュータを後述する各構成部として機能させるようになっている。   The program storage unit 51 is installed with the overhead image adjustment program 1a of the present embodiment. The arithmetic processing means 6 executes the bird's-eye view image adjustment program 1a, thereby causing the computer as the bird's-eye view image adjustment device 1 to function as each component described later.

なお、俯瞰画像調整プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＵＳＢメモリやＣＤ−ＲＯＭ等のように、コンピュータで読み取り可能な非一時的な記録媒体に俯瞰画像調整プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からＡＳＰ（Application Service Provider）方式やクラウドコンピューティング方式で利用してもよい。   The usage form of the overhead image adjustment program 1a is not limited to the above configuration. For example, the overhead image adjustment program 1a may be stored in a computer-readable non-transitory recording medium such as a USB memory or a CD-ROM, and read directly from the recording medium and executed. Further, an ASP (Application Service Provider) method or a cloud computing method may be used from an external server or the like.

調整パラメータ記憶部５２は、作業車用周囲表示装置１０へ送信し、俯瞰画像を調整するための表示パラメータを記憶するものである。本実施形態において、調整パラメータ記憶部５２は、上述した俯瞰画像を含む表示モードのそれぞれに対応付けて、図４で示した各表示パラメータを記憶しうるようになっている。   The adjustment parameter storage unit 52 stores display parameters for transmitting to the work vehicle surrounding display device 10 and adjusting the overhead image. In the present embodiment, the adjustment parameter storage unit 52 can store each display parameter shown in FIG. 4 in association with each display mode including the above-described overhead view image.

ＧＵＩデータ記憶部５３は、表示手段３上で入力手段２による直感的な操作を可能にするグラフィカルユーザインタフェース（Graphical User Interface）を表示するためのＧＵＩデータを記憶するものである。本実施形態において、ＧＵＩデータ記憶部５３には、図５に示すような調整画面１００等を表示するためのＧＵＩデータが記憶されている。   The GUI data storage unit 53 stores GUI data for displaying a graphical user interface that enables intuitive operation by the input unit 2 on the display unit 3. In the present embodiment, the GUI data storage unit 53 stores GUI data for displaying an adjustment screen 100 as shown in FIG.

ここで、本実施形態の調整画面１００を構成するグラフィカルユーザインタフェースについて詳細に説明する。図５に示すように、調整画面１００は、主として、カメラ位置およびカメラ倍率を調整するための位置・倍率表示エリア１１０と、カメラ姿勢を調整するための姿勢表示エリア１２０と、俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリア１３０とを有している。   Here, the graphical user interface constituting the adjustment screen 100 of the present embodiment will be described in detail. As shown in FIG. 5, the adjustment screen 100 mainly constitutes a position / magnification display area 110 for adjusting the camera position and camera magnification, an attitude display area 120 for adjusting the camera attitude, and an overhead image. A display area display area 130 for adjusting the shape of the display area of each image.

位置・倍率表示エリア１１０には、図５に示すように、現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ライン１１１と、当該位置・倍率調整用ライン１１１の移動量を視認するための基準ライン１１２とが表示される。そして、位置・倍率表示エリア１１０の周囲には、カメラ位置の調整指示を受け付ける位置調整ボタン１１３，１１４と、カメラ倍率の調整指示を受け付ける倍率調整ボタン１１５とが配置されている。位置調整ボタン１１３，１１４としては、カメラの左右位置を調整する左右位置調整ボタン１１３が位置・倍率表示エリア１１０の左右位置に配置されている。また、カメラの上下位置を調整する上下位置調整ボタン１１４が位置・倍率表示エリア１１０の上下位置に配置されている。さらに、カメラの高さ位置によってカメラ倍率を調整する倍率調整ボタン１１５が位置・倍率表示エリア１１０の斜め上方位置に配置されている。   In the position / magnification display area 110, as shown in FIG. 5, a position / magnification adjustment line 111 indicating the current camera position and camera magnification, and a movement amount of the position / magnification adjustment line 111 are visually recognized. A reference line 112 is displayed. Around the position / magnification display area 110, position adjustment buttons 113 and 114 for receiving a camera position adjustment instruction and a magnification adjustment button 115 for receiving a camera magnification adjustment instruction are arranged. As the position adjustment buttons 113 and 114, left and right position adjustment buttons 113 for adjusting the left and right positions of the camera are arranged at the left and right positions of the position / magnification display area 110. In addition, an up / down position adjustment button 114 for adjusting the up / down position of the camera is arranged at the up / down position of the position / magnification display area 110. Furthermore, a magnification adjustment button 115 that adjusts the camera magnification according to the height position of the camera is disposed obliquely above the position / magnification display area 110.

姿勢表示エリア１２０には、図５に示すように、現在のカメラ姿勢を示す姿勢調整用ライン１２１と、当該姿勢調整用ライン１２１の回転量を視認するための基準ライン１２２とが表示される。そして、姿勢表示エリア１２０の周囲には、カメラ姿勢の調整指示を受け付ける姿勢調整ボタンが配置されている。当該姿勢調整ボタンとしては、カメラのヨー角度を調整するヨー角度調整ボタン１２３が姿勢表示エリア１２０の左右位置に配置されている。また、カメラのピッチ角度を調整するピッチ角度調整ボタン１２４が姿勢表示エリア１２０の上下位置に配置されている。さらに、カメラのロール角度を調整するロール角度調整ボタン１２５が姿勢表示エリア１２０の斜め上方位置に配置されている。   In the posture display area 120, as shown in FIG. 5, a posture adjustment line 121 indicating the current camera posture and a reference line 122 for visually recognizing the rotation amount of the posture adjustment line 121 are displayed. Around the posture display area 120, posture adjustment buttons for receiving camera posture adjustment instructions are arranged. As the posture adjustment button, a yaw angle adjustment button 123 for adjusting the yaw angle of the camera is arranged at the left and right positions of the posture display area 120. A pitch angle adjustment button 124 for adjusting the pitch angle of the camera is arranged at the vertical position of the posture display area 120. Further, a roll angle adjustment button 125 for adjusting the roll angle of the camera is disposed obliquely above the posture display area 120.

なお、本実施形態において、位置・倍率調整用ライン１１１および姿勢調整用ライン１２１は、図５に示すように、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されているが、この構成に限定されるものではない。カメラ位置やカメラ姿勢を表現しうるものであればどのようなグラフィカルユーザインターフェースであってもよい。   In the present embodiment, the position / magnification adjustment line 111 and the posture adjustment line 121 are separated from two vertical axes separated by a predetermined interval, as shown in FIG. The two horizontal axes intersect each other, but are not limited to this configuration. Any graphical user interface may be used as long as it can express the camera position and camera posture.

また、本実施形態において、倍率調整ボタン１１５およびロール角度調整ボタン１２５は、それぞれ位置・倍率表示エリア１１０および姿勢表示エリア１２０の斜め上方位置に設けられているが、斜め下方位置であってもよい。さらに、本実施形態では、図５に示すように、左右位置調整ボタン１１３、上下位置調整ボタン１１４、倍率調整ボタン１１５、ヨー角度調整ボタン１２３、ピッチ角度調整ボタン１２４およびロール角度調整ボタン１２５のそれぞれについて、１回の調整指示（１クリックや１タップ）あたりの調整値が異なるボタンを２つずつ用意しているが、この構成に限定されるものではなく、各ボタンは１つずつでもよく、３つ以上ずつ用意してもよい。   In the present embodiment, the magnification adjustment button 115 and the roll angle adjustment button 125 are provided obliquely above the position / magnification display area 110 and the posture display area 120, respectively, but may be located obliquely below. . Furthermore, in the present embodiment, as shown in FIG. 5, each of a left / right position adjustment button 113, an up / down position adjustment button 114, a magnification adjustment button 115, a yaw angle adjustment button 123, a pitch angle adjustment button 124, and a roll angle adjustment button 125, respectively. Two buttons with different adjustment values per adjustment instruction (one click or one tap) are prepared. However, the present invention is not limited to this configuration, and each button may be one by one. Three or more may be prepared.

表示領域表示エリア１３０には、図５に示すように、選択されている表示モードの画面レイアウトに対応させて、各画像の現在の表示領域１３１が表示される。本実施形態において、各表示領域１３１は、ドラッグ・アンド・ドロップ操作が可能な複数の頂点１３２を有しており、各頂点１３２を多角形状に結んで構成されている。また、俯瞰画像を含む画面レイアウトのそれぞれについて、デフォルトの表示領域１３１の形状が予め登録されている。   In the display area display area 130, as shown in FIG. 5, the current display area 131 of each image is displayed in correspondence with the screen layout of the selected display mode. In the present embodiment, each display area 131 has a plurality of vertices 132 that can be dragged and dropped, and each vertex 132 is connected in a polygonal shape. In addition, the shape of the default display area 131 is registered in advance for each screen layout including the overhead image.

また、本実施形態では、図５に示すように、位置・倍率表示エリア１１０および表示領域表示エリア１３０の上方に、送信ボタン１１６，１２６、取消ボタン１１７，１２７および確定ボタン１１８，１２８がそれぞれ配置されている。送信ボタン１１６，１２６は、カメラ位置、カメラ倍率、カメラ姿勢または表示領域１３１に対する調整後の表示パラメータを作業車用周囲表示装置１０へ送信する指示を受け付けるものである。取消ボタン１１７，１２７は、調整中の表示パラメータをリセットし、作業車用周囲表示装置１０の表示パラメータ記憶部１３に記憶されている表示パラメータに戻す指示を受け付けるものである。確定ボタン１１８，１２８は、調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１３に保存させる指示を受け付けるものである。 In the present embodiment, as shown in FIG. 5, send buttons 116 and 126, cancel buttons 117 and 127, and confirm buttons 118 and 128 are arranged above the position / magnification display area 110 and the display area display area 130, respectively. Has been. The transmission buttons 116 and 126 receive an instruction to transmit the display parameters after adjustment with respect to the camera position, camera magnification, camera posture, or display area 131 to the work vehicle surrounding display device 10. The cancel buttons 117 and 127 are for receiving an instruction to reset the display parameter being adjusted and return to the display parameter stored in the display parameter storage unit 13 of the work vehicle surrounding display device 10. The confirmation buttons 118 and 128 are used to receive an instruction to transmit the adjusted display parameters to the work vehicle surrounding display device 10 and store them in the display parameter storage unit 13 .

さらに、本実施形態では、図５に示すように、調整画面１００の左上位置から下方に向けて順に、接続ボタン１０１と、現在表示パラメータ取得ボタン１０２と、全パラメータ送信ボタン１０３と、表示モード選択プルダウン１０４と、調整カメラ選択プルダウン１０５と、終了ボタン１０６とを有している。   Further, in the present embodiment, as shown in FIG. 5, the connection button 101, the current display parameter acquisition button 102, the all parameter transmission button 103, and the display mode selection are sequentially arranged from the upper left position of the adjustment screen 100 downward. A pull-down 104, an adjustment camera selection pull-down 105, and an end button 106 are provided.

接続ボタン１０１は、作業車用周囲表示装置１０と通信接続するためのものである。現在表示パラメータ取得ボタン１０２は、作業車用周囲表示装置１０から現在の表示モードで使用している表示パラメータを取得するものである。全パラメータ送信ボタン１０３は、ある表示モードにおける各カメラＣ１〜Ｃ６の全表示パラメータを予め設定してあるパラメータファイルを作業車用周囲表示装置１０へ送信するものである。表示モード選択プルダウン１０４は、調整する表示モードを選択するものである。調整カメラ選択プルダウン１０５は、調整するカメラを選択するものである。終了ボタン１０６は、本俯瞰画像調整プログラム１ａを終了させるものである。   The connection button 101 is used for communication connection with the work vehicle surrounding display device 10. The current display parameter acquisition button 102 acquires the display parameter used in the current display mode from the work vehicle surrounding display device 10. The all parameter transmission button 103 transmits a parameter file in which all display parameters of the cameras C1 to C6 in a certain display mode are set in advance to the work vehicle surrounding display device 10. The display mode selection pull-down 104 is for selecting a display mode to be adjusted. The adjustment camera selection pull-down 105 is used to select a camera to be adjusted. The end button 106 is used to end the overhead image adjustment program 1a.

つぎに、演算処理手段６は、上述した入力手段２、表示手段３、通信手段４および記憶手段５を制御するとともに、各種の演算処理を実行するものである。本実施形態において、演算処理手段６は、ＣＰＵ（Central Processing Unit）等によって構成されており、記憶手段５にインストールされた俯瞰画像調整プログラム１ａを実行することにより、図１に示すように、表示制御部６１と、表示パラメータ取得部６２と、指示入力判定部６３と、表示パラメータ調整部６４と、表示パラメータ送信部６５として機能するようになっている。以下、各構成部についてより詳細に説明する。   Next, the arithmetic processing means 6 controls the input means 2, the display means 3, the communication means 4, and the storage means 5 described above, and executes various arithmetic processes. In the present embodiment, the arithmetic processing means 6 is constituted by a CPU (Central Processing Unit) or the like, and by executing the overhead image adjustment program 1a installed in the storage means 5, as shown in FIG. It functions as a control unit 61, a display parameter acquisition unit 62, an instruction input determination unit 63, a display parameter adjustment unit 64, and a display parameter transmission unit 65. Hereinafter, each component will be described in more detail.

表示制御部６１は、表示手段３に表示させる内容を制御するためのものである。本実施形態において、表示制御部６１は、本俯瞰画像調整プログラム１ａが起動されると、ＧＵＩデータ記憶部５３からＧＵＩデータを読み出し、図５に示すような調整画面１００を表示手段３に表示させる。そして、当該調整画面１００上で各種の調整指示が入力手段２を介して入力された場合、当該調整指示に基づいて、位置・倍率表示エリア１１０内の位置・倍率調整用ライン１１１、または姿勢表示エリア１２０内の姿勢調整用ライン１２１を移動させるようになっている。   The display control unit 61 is for controlling the contents displayed on the display means 3. In the present embodiment, when the main overhead image adjustment program 1a is started, the display control unit 61 reads the GUI data from the GUI data storage unit 53 and causes the display unit 3 to display the adjustment screen 100 as shown in FIG. . When various adjustment instructions are input on the adjustment screen 100 via the input unit 2, the position / magnification adjustment line 111 in the position / magnification display area 110 or the posture display based on the adjustment instruction. The posture adjustment line 121 in the area 120 is moved.

具体的には、表示制御部６１は、いずれかの位置調整ボタン１１３，１１４が調整指示を受け付けた場合、当該調整指示に基づいて、位置・倍率調整用ライン１１１の表示位置を平行移動させる。すなわち、左右位置調整ボタン１１３または上下位置調整ボタン１１４のいずれかが押された場合、表示制御部６１は、当該ボタンに対応する移動方向および移動量に従って全ての位置・倍率調整用ライン１１１を平行に移動させる。   Specifically, when any of the position adjustment buttons 113 and 114 receives the adjustment instruction, the display control unit 61 translates the display position of the position / magnification adjustment line 111 based on the adjustment instruction. That is, when either the left / right position adjustment button 113 or the vertical position adjustment button 114 is pressed, the display control unit 61 parallels all the position / magnification adjustment lines 111 in accordance with the movement direction and movement amount corresponding to the button. Move to.

また、表示制御部６１は、倍率調整ボタン１１５が押された場合、当該ボタンに対応する拡大率の変化量または縮小率の変化量に従って、各位置・倍率調整用ライン１１１の表示倍率を拡大または縮小する。すなわち、高さ位置を低下させた場合、画像が拡大されるため、各位置・倍率調整用ライン１１１の間隔を広げるように平行移動させる。一方、高さ位置を増加させた場合、画像が縮小されるため、各位置・倍率調整用ライン１１１の間隔を狭めるように平行移動させる。   In addition, when the magnification adjustment button 115 is pressed, the display control unit 61 enlarges or reduces the display magnification of each position / magnification adjustment line 111 according to the change amount of the enlargement rate or the reduction rate corresponding to the button. to shrink. That is, when the height position is lowered, the image is enlarged, and therefore, the parallel movement is performed so as to widen the interval between the position / magnification adjustment lines 111. On the other hand, when the height position is increased, the image is reduced, so that the positions of the position / magnification adjustment lines 111 are translated so as to narrow the interval.

また、表示制御部６１は、いずれかの姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ライン１２１の表示角度を回転移動させるようになっている。すなわち、ヨー角度調整ボタン１２３が押された場合、当該ボタンに対応する回転方向および回転量に従って姿勢調整用ライン１２１の横軸を回転移動させる。また、ピッチ角度調整ボタン１２４が押された場合、当該ボタンに対応する回転方向および回転量に従って姿勢調整用ライン１２１の縦軸を回転移動させる。さらに、ロール角度調整ボタン１２５が押された場合、当該ボタンに対応する回転方向および回転量に従って全ての姿勢調整用ライン１２１を回転移動させるようになっている。   In addition, when any posture adjustment button receives an adjustment instruction, the display control unit 61 rotates the display angle of the posture adjustment line 121 based on the adjustment instruction. That is, when the yaw angle adjustment button 123 is pressed, the horizontal axis of the posture adjustment line 121 is rotated according to the rotation direction and the rotation amount corresponding to the button. When the pitch angle adjustment button 124 is pressed, the vertical axis of the posture adjustment line 121 is rotated according to the rotation direction and the rotation amount corresponding to the button. Further, when the roll angle adjustment button 125 is pressed, all the posture adjustment lines 121 are rotated according to the rotation direction and the rotation amount corresponding to the button.

また、本実施形態において、表示制御部６１は、調整画面１００上の表示領域表示エリア１３０内において、いずれかの表示領域１３１に対する調整指示が入力された場合、当該調整指示に基づいて、表示領域１３１の形状を変形させる。   In the present embodiment, when an adjustment instruction for any one of the display areas 131 is input in the display area display area 130 on the adjustment screen 100, the display control unit 61 displays the display area based on the adjustment instruction. The shape of 131 is deformed.

具体的には、表示制御部６１は、調整対象のカメラが選択されると、当該カメラに対応する表示領域１３１を強調表示する。そして、表示制御部６１は、当該表示領域１３１を構成するいずれかの頂点１３２（図５に示す例では、丸で囲まれた５つの頂点１３２）が移動指示（ドラッグ・アンド・ドロップ操作等）を受け付けた場合、当該移動指示により移動された頂点１３２と移動されなかった頂点１３２とを結んでなる表示領域１３１を表示するようになっている。   Specifically, when the camera to be adjusted is selected, the display control unit 61 highlights the display area 131 corresponding to the camera. Then, the display control unit 61 instructs one of the vertices 132 (the five vertices 132 surrounded by a circle in the example illustrated in FIG. 5) to move (such as a drag and drop operation). Is received, the display area 131 connecting the vertex 132 moved by the movement instruction and the vertex 132 not moved is displayed.

表示パラメータ取得部６２は、作業車用周囲表示装置１０から表示パラメータを取得するものである。本実施形態において、表示パラメータ取得部６２は、調整画面１００上の現在表示パラメータ取得ボタン１０２が操作された場合、作業車用周囲表示装置１０から現在の表示モードで使用されている表示パラメータを取得するようになっている。   The display parameter acquisition unit 62 acquires display parameters from the work vehicle surrounding display device 10. In the present embodiment, when the current display parameter acquisition button 102 on the adjustment screen 100 is operated, the display parameter acquisition unit 62 acquires the display parameters used in the current display mode from the work vehicle surrounding display device 10. It is supposed to be.

指示入力判定部６３は、入力手段２を介してユーザから入力された指示内容を判定するものである。本実施形態において、指示入力判定部６３は、調整画面１００上での入力操作を監視する。そして、所定の入力操作が行われたとき、当該入力操作に対応する調整指示、選択内容および数値等を表示パラメータ調整部６４に提供するとともに、調整指示については表示パラメータ送信部６５を介して作業車用周囲表示装置１０の俯瞰画像合成部１４へリアルタイムで送信するようになっている。 The instruction input determination unit 63 determines the instruction content input from the user via the input unit 2. In the present embodiment, the instruction input determination unit 63 monitors input operations on the adjustment screen 100. When a predetermined input operation is performed, adjustment instructions corresponding to the input operation, selection contents, numerical values, and the like are provided to the display parameter adjustment unit 64, and the adjustment instructions are processed via the display parameter transmission unit 65. It transmits to the bird's-eye view image synthetic | combination part 14 of the surrounding display apparatus 10 for vehicles in real time.

表示パラメータ調整部６４は、調整画面１００を介して入力された調整指示に基づいて、表示パラメータを調整するものである。本実施形態において、表示パラメータ調整部６４は、調整画面１００上で各種の調整ボタンが指示された場合、当該指示内容に応じて、表示パラメータ取得部６２によって取得された表示パラメータの値、またはデフォルトの表示パラメータの値を調整するようになっている。   The display parameter adjustment unit 64 adjusts display parameters based on an adjustment instruction input via the adjustment screen 100. In the present embodiment, when various adjustment buttons are instructed on the adjustment screen 100, the display parameter adjustment unit 64 displays the value of the display parameter acquired by the display parameter acquisition unit 62 or the default according to the instruction content. The value of the display parameter is adjusted.

具体的には、表示パラメータ調整部６４は、いずれかの位置調整ボタン１１３，１１４または倍率調整ボタン１１５の大ボタンが１回操作されるごとに、上述した路面サイズの設定値に０．０２を乗じた長さ（ｍｍ）を増減し、いずれかの位置調整ボタン１１３，１１４または倍率調整ボタン１１５の小ボタンが１回操作されるごとに、当該設定値に０．００５を乗じた長さ（ｍｍ）を増減するようになっている。   Specifically, the display parameter adjustment unit 64 sets 0.02 to the setting value of the road surface size described above every time one of the position adjustment buttons 113 and 114 or the large button of the magnification adjustment button 115 is operated. Each time the position adjustment button 113, 114 or the small button of the magnification adjustment button 115 is operated once by increasing / decreasing the multiplied length (mm), the length obtained by multiplying the set value by 0.005 ( mm).

また、表示パラメータ調整部６４は、いずれかの姿勢調整ボタン１２３〜１２５の大ボタンが１回操作されるごとに５度増減し、いずれかの姿勢調整ボタン１２３〜１２５の小ボタンが１回操作されるごとに１度増減するようになっている。   Further, the display parameter adjustment unit 64 increases or decreases by 5 degrees each time one of the large buttons of the posture adjustment buttons 123 to 125 is operated once, and the small button of any of the posture adjustment buttons 123 to 125 operates once. Every time it is done, it increases or decreases once.

さらに、本実施形態において、表示パラメータ調整部６４は、調整対象として選択されている表示領域１３１のいずれかの頂点１３２が移動指示を受け付けた場合、当該移動指示に基づいて、表示領域１３１パラメータの値を調整する。具体的には、移動された頂点１３２の座標値を移動先の座標値に変更するようになっている。   Furthermore, in this embodiment, when any vertex 132 of the display area 131 selected as the adjustment target receives a movement instruction, the display parameter adjustment unit 64 sets the display area 131 parameter based on the movement instruction. Adjust the value. Specifically, the coordinate value of the moved vertex 132 is changed to the coordinate value of the movement destination.

また、本実施形態において、表示制御部６１および表示パラメータ調整部６４は、表示領域１３１を調整した場合であって、当該表示領域１３１に隣接する表示領域１３１との間に隙間がある場合、当該隙間を空けないように、隣接する表示領域１３１の形状および座標値を自動調整するようになっている。これにより、合成された俯瞰画像に空白部分が発生してしまうことが防止される。なお、上記自動調整処理は、手動によって実行してもよい。   In this embodiment, the display control unit 61 and the display parameter adjustment unit 64 adjust the display area 131, and if there is a gap between the display area 131 and the display area 131 adjacent to the display area 131, The shape and coordinate values of the adjacent display areas 131 are automatically adjusted so as not to leave a gap. Thereby, it is prevented that a blank part occurs in the synthesized overhead image. The automatic adjustment process may be performed manually.

そして、表示制御部６１および表示パラメータ調整部６４は、調整画面１００上の取消ボタン１１７，１２７が操作された場合、調整中の表示状態および表示パラメータをリセットし、作業車用周囲表示装置１０の表示パラメータ記憶部１３に記憶されている表示パラメータの値に戻すようになっている。   Then, when the cancel buttons 117 and 127 on the adjustment screen 100 are operated, the display control unit 61 and the display parameter adjustment unit 64 reset the display state and the display parameter being adjusted, and the work vehicle surrounding display device 10 The display parameter value is returned to the display parameter value stored in the display parameter storage unit 13.

表示パラメータ送信部６５は、調整後の表示パラメータを作業車用周囲表示装置１０に送信するものである。本実施形態において、表示パラメータ送信部６５は、各種の調整ボタンが操作されるごとに、調整後の表示パラメータをリアルタイムで作業車用周囲表示装置１０に送信するようになっている。また、調整画面１００上の送信ボタン１１６，１２６が操作された場合、調整後の表示パラメータを作業車用周囲表示装置１０に送信するようになっている。   The display parameter transmission unit 65 transmits the adjusted display parameter to the work vehicle surrounding display device 10. In the present embodiment, the display parameter transmission unit 65 transmits the adjusted display parameters to the work vehicle surrounding display device 10 in real time each time various adjustment buttons are operated. When the transmission buttons 116 and 126 on the adjustment screen 100 are operated, the adjusted display parameters are transmitted to the work vehicle surrounding display device 10.

さらに、本実施形態において、表示パラメータ送信部６５は、調整画面１００上のファイルメニューから調整パラメータ記憶部５２に保存されている表示パラメータのいずれかを選択した後、全パラメータ送信ボタン１０３が操作された場合、当該選択した表示パラメータを作業車用周囲表示装置１０に送信するようになっている。   Further, in the present embodiment, the display parameter transmission unit 65 selects one of the display parameters stored in the adjustment parameter storage unit 52 from the file menu on the adjustment screen 100, and then the all parameter transmission button 103 is operated. In this case, the selected display parameter is transmitted to the work vehicle surrounding display device 10.

つぎに、本実施形態の俯瞰画像調整装置１、作業車用周囲表示装置１０およびこれを備えた作業車２０並びに俯瞰画像調整プログラム１ａによる作用について説明する。   Next, the operation of the bird's-eye view image adjustment device 1, the work vehicle surrounding display device 10, the work vehicle 20 having the same, and the bird's-eye view image adjustment program 1a according to the present embodiment will be described.

本実施形態の俯瞰画像調整装置１および俯瞰画像調整プログラム１ａを用いて作業車用周囲表示装置１０に表示される俯瞰画像を調整する場合、まず、図６に示すように、表示制御部６１が、ＧＵＩデータ記憶部５３からＧＵＩデータを読み出し、表示手段３に調整画面１００を表示する（ステップＳ１）。そして、接続ボタン１０１の操作に応じて俯瞰画像調整装置１が作業車用周囲表示装置１０に接続されると、指示入力判定部６３が現在表示パラメータ取得ボタン１０２が操作されたか否かを判定する（ステップＳ２）。   When adjusting the bird's-eye view image displayed on the work vehicle surroundings display device 10 using the bird's-eye view image adjustment device 1 and the bird's-eye view image adjustment program 1a of the present embodiment, first, as shown in FIG. Then, the GUI data is read from the GUI data storage unit 53, and the adjustment screen 100 is displayed on the display means 3 (step S1). Then, when the overhead image adjustment device 1 is connected to the work vehicle surrounding display device 10 according to the operation of the connection button 101, the instruction input determination unit 63 determines whether or not the current display parameter acquisition button 102 has been operated. (Step S2).

その判定の結果、現在表示パラメータ取得ボタン１０２が操作されない場合（ステップＳ２：ＮＯ）、表示モードの選択を受け付ける（ステップＳ３）。これにより、当該選択した表示モードに対する新規のパラメータファイルが作成される。一方、現在表示パラメータ取得ボタン１０２が操作された場合（ステップＳ２：ＹＥＳ）、作業車用周囲表示装置１０で現在表示中の表示モードで使用されている表示パラメータが取得される。そして、表示制御部６１が、取得した表示パラメータの表示モードに基づいて表示領域表示エリア１３０の画面レイアウトを更新する。   As a result of the determination, when the current display parameter acquisition button 102 is not operated (step S2: NO), selection of a display mode is accepted (step S3). As a result, a new parameter file for the selected display mode is created. On the other hand, when the current display parameter acquisition button 102 is operated (step S2: YES), the display parameters used in the display mode currently displayed on the work vehicle surrounding display device 10 are acquired. Then, the display control unit 61 updates the screen layout of the display area display area 130 based on the acquired display parameter display mode.

つぎに、指示入力判定部６３が、調整するカメラの選択を受け付けると（ステップＳ４）、表示制御部６１が、表示領域表示エリア１３０に表示されている表示領域１３１のうち、選択されたカメラに対応する表示領域１３１を強調表示する。そして、指示入力判定部６３は、当該選択したカメラについて、カメラ位置、カメラ倍率またはカメラ姿勢の調整指示があったか否かを判定する（ステップＳ５）。その判定の結果、調整指示があれば（ステップＳ５：ＹＥＳ）、カメラ位置、カメラ倍率またはカメラ姿勢を調整する（ステップＳ６）。   Next, when the instruction input determination unit 63 receives the selection of the camera to be adjusted (step S4), the display control unit 61 sets the selected camera in the display area 131 displayed in the display area display area 130. The corresponding display area 131 is highlighted. Then, the instruction input determination unit 63 determines whether there has been an instruction to adjust the camera position, the camera magnification, or the camera posture for the selected camera (step S5). If there is an adjustment instruction as a result of the determination (step S5: YES), the camera position, the camera magnification or the camera posture is adjusted (step S6).

ここで、カメラ位置、カメラ倍率またはカメラ姿勢を調整する際の具体的な処理について、図７を用いて詳細に説明する。なお、本実施形態では、図８に示すように、俯瞰画像の調整に際して、路面に載置した４つのマーカを撮像し、これらマーカの位置関係や大きさによって、各画像の位置ズレや歪み等を目視で判別している。ただし、この構成に限定されるものではなく、路面上の目印や模様等をマーカとして使用してもよい。   Here, specific processing for adjusting the camera position, the camera magnification, or the camera posture will be described in detail with reference to FIG. In the present embodiment, as shown in FIG. 8, when adjusting the bird's-eye view image, four markers placed on the road surface are imaged, and the positional displacement and distortion of each image are determined depending on the positional relationship and size of these markers. Is visually determined. However, the present invention is not limited to this configuration, and a mark or pattern on the road surface may be used as a marker.

まず、図９（ａ）に示すように、各マーカの位置が左右のいずれかに寄っている場合、左右位置調整ボタン１１３を操作する（ステップＳ５１：ＹＥＳ）。これにより、表示制御部６１が、全ての位置・倍率調整用ライン１１１を左右のいずれかに平行移動させ（ステップＳ５２）、略中央となるまで調整指示を促す。また、表示パラメータ調整部６４がＸ値を変更するとともに、表示パラメータ送信部６５が当該変更後のＸ値を作業車用周囲表示装置１０へ送信する。   First, as shown in FIG. 9A, when the position of each marker is shifted to either the left or right, the left / right position adjustment button 113 is operated (step S51: YES). Thereby, the display control unit 61 translates all the position / magnification adjustment lines 111 to either the left or right (step S52), and prompts an adjustment instruction until it is substantially in the center. In addition, the display parameter adjustment unit 64 changes the X value, and the display parameter transmission unit 65 transmits the X value after the change to the work vehicle surrounding display device 10.

また、図９（ｂ）に示すように、各マーカの位置が上下のいずれかに寄っている場合、上下位置調整ボタン１１４を操作する（ステップＳ５３：ＹＥＳ）。これにより、表示制御部６１が、全ての位置・倍率調整用ライン１１１を上下のいずれかに平行移動させ（ステップＳ５４）、略中央となるまで調整指示を促す。また、表示パラメータ調整部６４がＹ値を変更するとともに、表示パラメータ送信部６５が当該変更後のＹ値を作業車用周囲表示装置１０へ送信する。   Further, as shown in FIG. 9B, when the position of each marker is either up or down, the vertical position adjustment button 114 is operated (step S53: YES). As a result, the display control unit 61 translates all the position / magnification adjustment lines 111 either up or down (step S54), and prompts an adjustment instruction until it is approximately in the center. In addition, the display parameter adjustment unit 64 changes the Y value, and the display parameter transmission unit 65 transmits the Y value after the change to the work vehicle surrounding display device 10.

あるいは、図９（ｃ）に示すように、各マーカのサイズが小さい場合や大きい場合、倍率調整ボタン１１５を操作する（ステップＳ５５：ＹＥＳ）。これにより、表示制御部６１が、各位置・倍率調整用ライン１１１の間隔を広げたり狭めたりして表示倍率を拡大・縮小し（ステップＳ５６）、所望の倍率となるまで調整指示を促す。また、表示パラメータ調整部６４がＺ値を変更するとともに、表示パラメータ送信部６５が当該変更後のＺ値を作業車用周囲表示装置１０へ送信する。   Alternatively, as shown in FIG. 9C, when the size of each marker is small or large, the magnification adjustment button 115 is operated (step S55: YES). Accordingly, the display control unit 61 enlarges or reduces the display magnification by widening or narrowing the interval between the position / magnification adjustment lines 111 (step S56), and prompts an adjustment instruction until the desired magnification is achieved. In addition, the display parameter adjustment unit 64 changes the Z value, and the display parameter transmission unit 65 transmits the changed Z value to the work vehicle surrounding display device 10.

以上のように、各位置・倍率調整用ライン１１１は、ユーザからの調整指示に応じた移動方向かつ移動量で、位置・倍率表示エリア１１０内を平行移動する。このため、直感性および操作性に優れており、ユーザは画像の位置ズレを簡単かつ迅速に調整する。また、左右位置調整ボタン１１３、上下位置調整ボタン１１４および倍率調整ボタン１１５が、その調整方向に合わせて位置・倍率表示エリア１１０の左右位置、上下位置および斜め上方位置に配置されているため、直感性および操作性に優れている。さらに、位置・倍率調整用ライン１１１は、２本の縦軸と２本の横軸とが互いに交差されているため、移動方向や移動量または拡大率や縮小率を視認しやすい。また、本実施形態では、位置・倍率表示エリア１１０内の基準ライン１１２が、各位置・倍率調整用ライン１１１の移動方向および移動量を視覚的かつ直感的に把握しやすくする。   As described above, each position / magnification adjustment line 111 translates in the position / magnification display area 110 in the movement direction and the movement amount according to the adjustment instruction from the user. For this reason, it is excellent in intuition and operability, and the user adjusts the positional deviation of the image easily and quickly. In addition, the left / right position adjustment button 113, the up / down position adjustment button 114, and the magnification adjustment button 115 are arranged at the left / right position, the up / down position, and the diagonally upper position of the position / magnification display area 110 according to the adjustment direction. Excellent in operability and operability. Further, since the position / magnification adjustment line 111 has two vertical axes and two horizontal axes intersecting each other, it is easy to visually recognize the moving direction, the moving amount, the enlargement ratio, and the reduction ratio. In the present embodiment, the reference line 112 in the position / magnification display area 110 makes it easy to visually and intuitively grasp the movement direction and the movement amount of each position / magnification adjustment line 111.

つぎに、図１０（ａ）に示すように、各マーカの大きさが左右で異なる場合、ヨー角度調整ボタン１２３を操作する（ステップＳ５７：ＹＥＳ）。これにより、表示制御部６１が、姿勢調整用ライン１２１の横軸を回転移動させ（ステップＳ５８）、略水平となるように調整指示を促す。また、表示パラメータ調整部６４がヨー値を変更するとともに、表示パラメータ送信部６５が当該変更後のヨー値を作業車用周囲表示装置１０へ送信する。   Next, as shown in FIG. 10A, when the size of each marker is different between the left and right, the yaw angle adjustment button 123 is operated (step S57: YES). Thereby, the display control unit 61 rotates and moves the horizontal axis of the posture adjustment line 121 (step S58), and prompts an adjustment instruction to be substantially horizontal. In addition, the display parameter adjustment unit 64 changes the yaw value, and the display parameter transmission unit 65 transmits the yaw value after the change to the work vehicle surrounding display device 10.

また、図１０（ｂ）に示すように、各マーカの大きさが上下で異なる場合、ピッチ角度調整ボタン１２４を操作する（ステップＳ５９：ＹＥＳ）。これにより、表示制御部６１が、姿勢調整用ライン１２１の縦軸を回転移動させ（ステップＳ６０）、略垂直となるように調整指示を促す。また、表示パラメータ調整部６４がピッチ値を変更するとともに、表示パラメータ送信部６５が当該変更後のピッチ値を作業車用周囲表示装置１０へ送信する。   Further, as shown in FIG. 10B, when the size of each marker is different between the upper and lower sides, the pitch angle adjustment button 124 is operated (step S59: YES). Thereby, the display control unit 61 rotates and moves the vertical axis of the posture adjustment line 121 (step S60), and prompts an adjustment instruction to be substantially vertical. In addition, the display parameter adjustment unit 64 changes the pitch value, and the display parameter transmission unit 65 transmits the changed pitch value to the work vehicle surrounding display device 10.

あるいは、図１０（ｃ）に示すように、各マーカの配置が斜めになっている場合、ロール角度調整ボタン１２５を操作する（ステップＳ６１：ＹＥＳ）。これにより、表示制御部６１が、全ての姿勢調整用ライン１２１を回転移動させ（ステップＳ６２）、真っ直ぐとなるように調整指示を促す。また、表示パラメータ調整部６４がロール値を変更するとともに、表示パラメータ送信部６５が当該変更後のロール値を作業車用周囲表示装置１０へ送信する。   Alternatively, as shown in FIG. 10C, when the arrangement of each marker is oblique, the roll angle adjustment button 125 is operated (step S61: YES). Thereby, the display control unit 61 rotates and moves all the posture adjustment lines 121 (step S62), and prompts an adjustment instruction to be straight. In addition, the display parameter adjustment unit 64 changes the roll value, and the display parameter transmission unit 65 transmits the changed roll value to the work vehicle surrounding display device 10.

以上のように、各姿勢調整用ライン１２１は、ユーザからの調整指示に応じた回転方向かつ回転量で、姿勢表示エリア１２０内を回転移動する。このため、直感性および操作性に優れており、ユーザは画像の歪みや傾斜を簡単かつ迅速に調整する。また、ヨー角度調整ボタン１２３、ピッチ角度調整ボタン１２４およびロール角度調整ボタン１２５が、調整方向に合わせて姿勢表示エリア１２０の左右位置、上下位置および斜め上方位置に配置されているため、直感性および操作性に優れている。さらに、姿勢調整用ライン１２１は、２本の縦軸と２本の横軸とが互いに交差されているため、回転方向や回転量を視認しやすい。また、本実施形態では、姿勢表示エリア１２０内の基準ライン１２２が、各姿勢調整用ライン１２１の回転方向および回転量を視覚的かつ直感的に把握しやすくする。   As described above, each posture adjustment line 121 rotates in the posture display area 120 in the rotation direction and the rotation amount according to the adjustment instruction from the user. For this reason, it is excellent in intuition and operability, and the user easily and quickly adjusts distortion and inclination of an image. In addition, since the yaw angle adjustment button 123, the pitch angle adjustment button 124, and the roll angle adjustment button 125 are arranged at the left and right positions, the vertical position, and the diagonally upper position of the posture display area 120 according to the adjustment direction, Excellent operability. Furthermore, since the two vertical axes and the two horizontal axes intersect each other in the posture adjustment line 121, it is easy to visually recognize the rotation direction and the rotation amount. In the present embodiment, the reference line 122 in the posture display area 120 makes it easy to visually and intuitively grasp the rotation direction and the rotation amount of each posture adjustment line 121.

なお、取消ボタン１１７が操作された場合（ステップＳ６３：ＹＥＳ）、表示パラメータ調整部６４が、調整中の表示パラメータをリセットするとともに、表示制御部６１が位置・倍率調整用ライン１１１および姿勢調整用ライン１２１をそれぞれ調整前の位置、倍率および姿勢に戻す（ステップＳ６４）。このため、カメラ位置、カメラ倍率およびカメラ姿勢の調整作業は簡単にやり直しが可能となる。   When the cancel button 117 is operated (step S63: YES), the display parameter adjustment unit 64 resets the display parameter being adjusted, and the display control unit 61 uses the position / magnification adjustment line 111 and posture adjustment. The line 121 is returned to the position, magnification, and posture before adjustment (step S64). For this reason, the adjustment work of the camera position, the camera magnification, and the camera posture can be easily redone.

上述した処理は、確定ボタン１１８が操作されない限り（ステップＳ６５：ＮＯ）、繰り返され、確定ボタン１１８が操作されると（ステップＳ６５：ＹＥＳ）、表示パラメータ送信部６５が調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１３に保存させる（ステップＳ６６）。 The above-described processing is repeated unless the confirm button 118 is operated (step S65: NO), and when the confirm button 118 is operated (step S65: YES), the display parameter transmission unit 65 operates the adjusted display parameter. The data is transmitted to the vehicle surrounding display device 10 and stored in the display parameter storage unit 13 (step S66).

以上の処理により、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢が画像処理で調整されることとなる。また、本実施形態では、いずれかの調整ボタン１１３〜１１５，１２３〜１２５または取消ボタン１１７，１２７が操作される度に、作業車用周囲表示装置１０の俯瞰画像合成部１４が、リアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。 Through the above processing, the camera position, camera magnification, and / or camera orientation of each image constituting the overhead image are adjusted by the image processing. Moreover, in this embodiment, every time any one of the adjustment buttons 113 to 115, 123 to 125 or the cancel buttons 117 and 127 is operated, the overhead image synthesis unit 14 of the work vehicle surrounding display device 10 performs the overhead view in real time. Adjust the image. For this reason, the user can make fine adjustments while checking the bird's-eye view images before and after the adjustment, and the adjustment work becomes efficient.

図６のフローチャートに戻り、指示入力判定部６３が、ステップＳ４で選択されたカメラについて、表示領域１３１に対する調整指示があったか否かを判定する（ステップＳ７）。すなわち、当該表示領域１３１のいずれかの頂点１３２が移動指示を受け付けたか否かを判定する。その結果、当該移動指示があれば（ステップＳ７：ＹＥＳ）、表示領域１３１の形状を調整する（ステップＳ８）。   Returning to the flowchart of FIG. 6, the instruction input determination unit 63 determines whether or not there is an adjustment instruction for the display area 131 for the camera selected in step S4 (step S7). That is, it is determined whether any vertex 132 of the display area 131 has received a movement instruction. As a result, if there is the movement instruction (step S7: YES), the shape of the display area 131 is adjusted (step S8).

ここで、表示領域１３１の形状を調整する際の具体的な処理について、図１１を用いて詳細に説明する。まず、表示制御部６１が、移動指示を受けた頂点１３２の位置を移動させ、当該移動後の頂点１３２と移動されなかった頂点１３２とを結んでなる表示領域１３１を表示する（ステップＳ７１）。また、表示パラメータ調整部６４が、当該頂点１３２の座標値を移動後の座標値に変更する。これにより、ユーザは、調整後の表示領域１３１を目視確認しながら直感的に調整することが可能となる。   Here, a specific process for adjusting the shape of the display area 131 will be described in detail with reference to FIG. First, the display control unit 61 moves the position of the vertex 132 that has received the movement instruction, and displays a display area 131 that connects the vertex 132 after the movement and the vertex 132 that has not been moved (step S71). Further, the display parameter adjustment unit 64 changes the coordinate value of the vertex 132 to the coordinate value after movement. Thus, the user can make an intuitive adjustment while visually confirming the adjusted display area 131.

つぎに、調整後の表示領域１３１と隣接する表示領域１３１との間に隙間がある場合（ステップＳ７２）、表示制御部６１および表示パラメータ調整部６４が、当該隙間を空けないように、隣接する表示領域１３１の表示形状および座標値を自動調整する（ステップＳ７３）。これにより、合成された俯瞰画像に空白部分が発生してしまうことが防止される。   Next, when there is a gap between the adjusted display area 131 and the adjacent display area 131 (step S72), the display control unit 61 and the display parameter adjustment unit 64 are adjacent so as not to leave the gap. The display shape and coordinate values of the display area 131 are automatically adjusted (step S73). Thereby, it is prevented that a blank part occurs in the synthesized overhead image.

なお、取消ボタン１２７が操作された場合（ステップＳ７４：ＹＥＳ）、表示パラメータ調整部６４が、調整中の表示パラメータをリセットするとともに、表示制御部６１が移動した頂点１３２を元に戻し、調整前の表示領域１３１を表示する（ステップＳ７５）。このため、表示領域１３１の調整作業は、簡単にやり直しが可能となる。   When the cancel button 127 is operated (step S74: YES), the display parameter adjustment unit 64 resets the display parameter being adjusted and returns the vertex 132 moved by the display control unit 61 to the original value before adjustment. Display area 131 is displayed (step S75). For this reason, the adjustment work of the display area 131 can be easily performed again.

上述した処理は、確定ボタン１２８が操作されない限り（ステップＳ７６：ＮＯ）、繰り返され、確定ボタン１２８が操作されると（ステップＳ７６：ＹＥＳ）、表示パラメータ送信部６５が調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１３に保存させる（ステップＳ７７）。 The above-described processing is repeated unless the confirm button 128 is operated (step S76: NO), and when the confirm button 128 is operated (step S76: YES), the display parameter transmission unit 65 operates the adjusted display parameters. The information is transmitted to the vehicle surrounding display device 10 and stored in the display parameter storage unit 13 (step S77).

以上の処理により、俯瞰画像を構成する各画像の表示領域１３１の形状が画像処理で調整されることとなる。また、本実施形態では、いずれかの頂点１３２が移動される度に、または取消ボタン１２７が操作される度に、作業車用周囲表示装置１０の俯瞰画像合成部１４がリアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。 With the above processing, the shape of the display area 131 of each image constituting the overhead image is adjusted by image processing. Further, in this embodiment, every time one of the vertices 132 is moved or each time the cancel button 127 is operated, the overhead image synthesis unit 14 of the work vehicle surrounding display device 10 adjusts the overhead image in real time. To do. For this reason, the user can make fine adjustments while checking the bird's-eye view images before and after the adjustment, and the adjustment work becomes efficient.

図６のフローチャートに戻り、終了ボタン１０６が操作されると（ステップＳ９：ＹＥＳ）、本処理が終了する。一方、終了ボタン１０６が操作されない限り（ステップ９：ＮＯ）、再びステップＳ２に戻り、上述した処理が繰り返される。これにより、希望する俯瞰画像が得られるまで調整作業を繰り返すことが可能となる。   Returning to the flowchart of FIG. 6, when the end button 106 is operated (step S <b> 9: YES), this process ends. On the other hand, unless the end button 106 is operated (step 9: NO), the process returns to step S2 again and the above-described processing is repeated. Thereby, it is possible to repeat the adjustment work until a desired overhead image is obtained.

以上のような本実施形態によれば、以下のような効果を奏する。
１．直感性および操作性に優れたグラフィカルユーザインターフェースによって、簡単かつ迅速に作業車用周囲表示装置１０に表示する俯瞰画像を調整することができる。
２．調整方向に合わせて配置された位置調整ボタン１１３，１１４および姿勢調整ボタンによって、直感性および操作性を向上することができる。
３．縦軸２本と横軸２本とからなる位置・倍率調整用ライン１１１および姿勢調整用ライン１２１によって、調整方向および調整量を視認しやすくすることができる。
４．俯瞰画像を構成する各画像の表示領域１３１の形状を簡単かつ直感的に調整することができる。
５．作業車２０の走行箇所または作業用途に応じて、俯瞰画像を含む最適な画面レイアウトを作業車用周囲表示装置１０に表示させることができる。
６．俯瞰画像を含む画面レイアウトを備えた複数の表示モードに対して、予め表示パラメータを調整し、最適な表示状態で切り換えることができる。
７．作業車２０の周囲の安全および作業状況を確認するための俯瞰画像を効率的に調整することができる。
８．各画像間のつなぎ目や、俯瞰画像全体の歪み等を確認しながら、所望の俯瞰画像に調整することができる。
９．カメラ位置、カメラ倍率およびカメラ姿勢の調整量を一目で把握することができる。
１０．調整画面１００上の各種調整ボタンを操作することで、各画像の歪み、回転、表示位置、倍率の調整、およびその微調整ができる。
１１．カメラの取付位置および取付角度をキャリブレーションすることができる。
１２．通常俯瞰モードによって、サービスエリアやパーキングエリア等において、多方面から来る車両の位置を事前に確認することができる。
１３．拡大俯瞰モードによって、高速道路の構内や本線料金所等において、作業車周辺の安全確認を行うことができる。
１４．後方俯瞰モードや後方俯瞰ミラーモードによって、除雪作業後の路面状況や、薬剤散布後の路面状況を確認することができる。
１５．作業車１０の種類や作業内容に応じて、最も安全確認が重要となる撮影ポイントを簡単に設定することができる。 According to the present embodiment as described above, the following effects can be obtained.
1. With the graphical user interface excellent in intuition and operability, the overhead image displayed on the work vehicle surrounding display device 10 can be adjusted easily and quickly.
2. Intuition and operability can be improved by the position adjustment buttons 113 and 114 and the posture adjustment buttons arranged in accordance with the adjustment direction.
3. With the position / magnification adjustment line 111 and the posture adjustment line 121 having two vertical axes and two horizontal axes, the adjustment direction and the adjustment amount can be easily recognized.
4). The shape of the display area 131 of each image constituting the overhead image can be easily and intuitively adjusted.
5. An optimal screen layout including a bird's-eye view image can be displayed on the work vehicle surrounding display device 10 in accordance with the travel location or work application of the work vehicle 20.
6). For a plurality of display modes having a screen layout including a bird's-eye view image, display parameters can be adjusted in advance and switched in an optimal display state.
7). The overhead view image for confirming the safety and work conditions around the work vehicle 20 can be adjusted efficiently.
8). It is possible to adjust to a desired bird's-eye view image while confirming joints between the images, distortion of the whole bird's-eye view image, and the like.
9. The adjustment amount of the camera position, the camera magnification and the camera posture can be grasped at a glance.
10. By operating various adjustment buttons on the adjustment screen 100, distortion, rotation, display position, magnification adjustment, and fine adjustment of each image can be performed.
11. The camera mounting position and mounting angle can be calibrated.
12 In the normal bird's-eye view mode, the positions of vehicles coming from many directions can be confirmed in advance in a service area, a parking area, or the like.
13. With the enlarged bird's-eye view mode, it is possible to confirm the safety around the work vehicle on the premises of the highway or on the main toll gate.
14 The road surface condition after snow removal work and the road surface condition after chemical spraying can be confirmed by the rear overhead view mode and the rear overhead mirror mode.
15. Depending on the type of the work vehicle 10 and the work content, it is possible to easily set the photographing point where safety confirmation is most important.

なお、本発明に係る俯瞰画像調整装置１は、前述した実施形態に限定されるものではなく、適宜変更することができる。例えば、上述した本実施形態では、俯瞰画像調整装置１が作業車用周囲表示装置１０とは別体に構成されているが、この構成に限定されるものではない。すなわち、俯瞰画像調整装置１の俯瞰画像調整機能を作業車用周囲表示装置１０に実装して一体化し、当該作業車用周囲表示装置１０において、俯瞰画像を合成するとともに、上記調整処理を実行しうるように構成してもよい。   In addition, the bird's-eye view image adjustment apparatus 1 according to the present invention is not limited to the above-described embodiment, and can be changed as appropriate. For example, in the above-described embodiment, the overhead image adjustment device 1 is configured separately from the work vehicle surrounding display device 10, but is not limited to this configuration. That is, the overhead image adjustment function of the overhead image adjustment device 1 is mounted on and integrated with the work vehicle surrounding display device 10, and the work vehicle surrounding display device 10 synthesizes the overhead image and executes the above adjustment process. You may comprise so that it may.

また、上述した本実施形態では、作業車２０の左前側方を撮像するカメラＣ１と、左後側方を撮像するカメラＣ２と、右前側方を撮像するカメラＣ３と、右後側方を撮像するカメラＣ４と、前方を撮像するカメラＣ５と、後方を撮像するカメラＣ６とを有しているが、各カメラＣ１〜Ｃ６の取付位置は、この構成に限定されるものではない。例えば、作業車２０の左斜前方を撮像するカメラＣ１と、左斜後方を撮像するカメラＣ２と、右斜前方を撮像するカメラＣ３と、右斜後方を撮像するカメラＣ４と、左側方を撮像するカメラＣ５と、右側方を撮像するカメラＣ６とを有していてもよい。これにより、最も安全確認が重要な斜め方向の視野が広がることとなる。   In the above-described embodiment, the camera C1 that images the left front side of the work vehicle 20, the camera C2 that images the left rear side, the camera C3 that images the right front side, and the right rear side are imaged. The camera C4, the camera C5 that captures the front, and the camera C6 that captures the rear are included, but the mounting positions of the cameras C1 to C6 are not limited to this configuration. For example, the camera C1 that captures the left oblique front of the work vehicle 20, the camera C2 that captures the left oblique rear, the camera C3 that images the right oblique front, the camera C4 that images the right oblique rear, and the left side. And a camera C6 that captures an image on the right side. As a result, the field of view in the oblique direction where safety confirmation is most important is expanded.

また、上述した本実施形態では、位置調整ボタン１１３，１１４、倍率調整ボタン１１５および姿勢調整ボタン１２３〜１２５によって調整指示を入力しているが、別途、各表示パラメータの数値を直接入力してもよい。例えば、図１２に示すような、パラメータ詳細設定画面１４０を表示させ、俯瞰画像の路面サイズや、カメラ位置、カメラ倍率およびカメラ姿勢に関する表示パラメータを入力可能にしてもよい。なお、この構成によれば、数値入力後に、送信ボタンが操作されると、表示制御部６１が、入力された各表示パラメータによって表示内容を制御するとともに、表示パラメータ送信部６５が、各表示パラメータを作業車用周囲表示装置１０に送信する。   In the above-described embodiment, the adjustment instruction is input using the position adjustment buttons 113 and 114, the magnification adjustment button 115, and the posture adjustment buttons 123 to 125. However, the numerical values of the respective display parameters may be directly input separately. Good. For example, a parameter detail setting screen 140 as shown in FIG. 12 may be displayed so that display parameters relating to the road surface size of the overhead view image, camera position, camera magnification, and camera posture can be input. According to this configuration, when the transmission button is operated after the numerical value is input, the display control unit 61 controls the display content according to each input display parameter, and the display parameter transmission unit 65 includes each display parameter. Is transmitted to the surrounding display device 10 for work vehicles.

１ 俯瞰画像調整装置
１ａ 俯瞰画像調整プログラム
２ 入力手段
３ 表示手段
４ 通信手段
５ 記憶手段
６ 演算処理手段
１０ 作業車用周囲表示装置
１１ 俯瞰画像表示モニタ
１２ モード切替スイッチ
１３ 表示パラメータ記憶部
１４ 俯瞰画像合成部
２０ 作業車
５１ プログラム記憶部
５２ 調整パラメータ記憶部
５３ ＧＵＩデータ記憶部
６１ 表示制御部
６２ 表示パラメータ取得部
６３ 指示入力判定部
６４ 表示パラメータ調整部
６５ 表示パラメータ送信部
Ｃ１〜Ｃ６ カメラ
１００ 調整画面
１０１ 接続ボタン
１０２ 現在表示パラメータ取得ボタン
１０３ 全パラメータ送信ボタン
１０４ 表示モード選択プルダウン
１０５ 調整カメラ選択プルダウン
１０６ 終了ボタン
１１０ 位置・倍率表示エリア
１１１ 位置・倍率調整用ライン
１１２ 基準ライン
１１３ 左右位置調整ボタン
１１４ 上下位置調整ボタン
１１５ 倍率調整ボタン
１１６ 送信ボタン
１１７ 取消ボタン
１１８ 確定ボタン
１２０ 姿勢表示エリア
１２１ 姿勢調整用ライン
１２２ 基準ライン
１２３ ヨー角度調整ボタン
１２４ ピッチ角度調整ボタン
１２５ ロール角度調整ボタン
１２６ 送信ボタン
１２７ 取消ボタン
１２８ 確定ボタン
１３０ 表示領域表示エリア
１３１ 表示領域
１３２ 頂点
１４０ パラメータ詳細設定画面 DESCRIPTION OF SYMBOLS 1 Bird's-eye view image adjustment apparatus 1a Bird's-eye view image adjustment program 2 Input means 3 Display means 4 Communication means 5 Storage means 6 Arithmetic processing means 10 Work vehicle surrounding display device 11 Bird's-eye view image display monitor 12 Mode switch 13 Display parameter storage section 14 Bird's-eye view image Composition unit 20 Work vehicle 51 Program storage unit 52 Adjustment parameter storage unit 53 GUI data storage unit 61 Display control unit 62 Display parameter acquisition unit 63 Instruction input determination unit 64 Display parameter adjustment unit 65 Display parameter transmission unit C1 to C6 Camera 100 Adjustment screen 101 Connection button 102 Current display parameter acquisition button 103 All parameter transmission button 104 Display mode selection pull-down 105 Adjustment camera selection pull-down 106 End button 110 Position / magnification display area 111 Position / magnification adjustment line 112 Reference line 113 Left / right position adjustment button 114 Vertical position adjustment button 115 Magnification adjustment button 116 Send button 117 Cancel button 118 Confirm button 120 Posture display area 121 Posture adjustment line 122 Reference line 123 Yaw angle adjustment button 124 Pitch angle adjustment button 125 Roll Angle adjustment button 126 Send button 127 Cancel button 128 Confirm button 130 Display area display area 131 Display area 132 Vertex 140 Parameter detail setting screen

Claims (6)

作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、
前記表示制御部は、
前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整装置。 A bird's-eye view image adjustment device for adjusting a bird's-eye view image around the work vehicle, wherein the images taken by a plurality of cameras provided on the work vehicle are combined.
A display control unit for displaying an adjustment screen for adjusting a camera position, a camera magnification, and / or a camera posture of each image constituting the overhead image on a display unit;
The display control unit
While displaying a position / magnification adjustment line which is a graphical user interface showing the current camera position and camera magnification in the position / magnification display area provided in the adjustment screen for adjusting the camera position or camera magnification, A posture adjustment line which is a graphical user interface indicating the current camera posture is displayed in a posture display area for adjusting the camera posture provided in the adjustment screen,
A position adjustment button for accepting an instruction for adjusting the camera position and a magnification adjustment button for accepting an instruction for adjusting the camera magnification are displayed around the position / magnification display area, and the camera posture is adjusted around the posture display area. Display posture adjustment buttons to accept instructions,
When the position adjustment button receives an adjustment instruction, the display position of the position / magnification adjustment line is translated based on the adjustment instruction. When the magnification adjustment button receives the adjustment instruction, the adjustment instruction is Based on this, the display magnification of the position / magnification adjustment line is enlarged / reduced, and when the posture adjustment button receives the adjustment instruction, the display angle of the posture adjustment line is rotated based on the adjustment instruction. , Overhead image adjustment device. 前記表示制御部は、前記位置調整ボタンとして、
前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、
前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１に記載の俯瞰画像調整装置。 The display control unit, as the position adjustment button,
A left / right position adjustment button for adjusting the left / right position of the camera is displayed at the left / right position of the position / magnification display area, and an up / down position adjustment button for adjusting the vertical position of the camera is displayed at the upper / lower position of the position / magnification display area. Display
The overhead image adjustment apparatus according to claim 1, wherein the magnification adjustment button is displayed at a diagonally upper position or a diagonally lower position of the position / magnification display area. 前記表示制御部は、前記姿勢調整ボタンとして、
前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、
前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、
前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１または請求項２に記載の俯瞰画像調整装置。 The display control unit as the posture adjustment button,
A yaw angle adjustment button for adjusting the yaw angle of the camera is displayed at the left and right positions of the posture display area,
Display a pitch angle adjustment button for adjusting the pitch angle of the camera at the vertical position of the posture display area,
The bird's-eye view image adjustment device according to claim 1 or 2, wherein a roll angle adjustment button for adjusting a roll angle of the camera is displayed at an obliquely upper position or an obliquely lower position of the posture display area. 前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されている、請求項１から請求項３のいずれかに記載の俯瞰画像調整装置。   The position / magnification adjustment line and the posture adjustment line have two vertical axes separated from each other by a predetermined interval and two horizontal axes separated from each other by a predetermined interval. The overhead image adjustment apparatus according to any one of claims 1 to 3. 前記表示制御部は、
前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、
前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示する、
請求項１から請求項４のいずれかに記載の俯瞰画像調整装置。 The display control unit
A display area display area for adjusting the shape of the display area of each image constituting the overhead image is displayed on the adjustment screen, and a plurality of vertices are connected to the display area display area in a polygonal shape. Displays the current display area,
When any vertex of the display area receives a movement instruction, the display area formed by connecting the vertex moved by the movement instruction and the vertex not moved is displayed.
The overhead image adjustment apparatus according to any one of claims 1 to 4. 作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、
前記表示制御部は、
前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整プログラム。 A bird's-eye view image adjustment program that adjusts a bird's-eye view image around the work vehicle, which is formed by combining images captured by a plurality of cameras provided on the work vehicle,
Causing the computer to function as a display control unit that displays on the display unit an adjustment screen for adjusting the camera position, camera magnification, and / or camera posture of each image constituting the overhead image by image processing;
The display control unit
While displaying a position / magnification adjustment line which is a graphical user interface showing the current camera position and camera magnification in the position / magnification display area provided in the adjustment screen for adjusting the camera position or camera magnification, A posture adjustment line which is a graphical user interface indicating the current camera posture is displayed in a posture display area for adjusting the camera posture provided in the adjustment screen,
A position adjustment button for accepting an instruction for adjusting the camera position and a magnification adjustment button for accepting an instruction for adjusting the camera magnification are displayed around the position / magnification display area, and the camera posture is adjusted around the posture display area. Display posture adjustment buttons to accept instructions,
When the position adjustment button receives an adjustment instruction, the display position of the position / magnification adjustment line is translated based on the adjustment instruction. When the magnification adjustment button receives the adjustment instruction, the adjustment instruction is Based on this, the display magnification of the position / magnification adjustment line is enlarged / reduced, and when the posture adjustment button receives the adjustment instruction, the display angle of the posture adjustment line is rotated based on the adjustment instruction. , Overhead image adjustment program.
JP2016106890A 2016-05-30 2016-05-30 Overhead image adjustment apparatus and overhead image adjustment program Active JP6068710B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016106890A JP6068710B1 (en) 2016-05-30 2016-05-30 Overhead image adjustment apparatus and overhead image adjustment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016106890A JP6068710B1 (en) 2016-05-30 2016-05-30 Overhead image adjustment apparatus and overhead image adjustment program

Publications (2)

Publication Number Publication Date
JP6068710B1 true JP6068710B1 (en) 2017-01-25
JP2017216489A JP2017216489A (en) 2017-12-07

Family

ID=57890562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016106890A Active JP6068710B1 (en) 2016-05-30 2016-05-30 Overhead image adjustment apparatus and overhead image adjustment program

Country Status (1)

Country Link
JP (1) JP6068710B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6962372B2 (en) 2017-08-25 2021-11-05 株式会社ソシオネクスト Correction device, correction program and recording medium
JP2019087688A (en) 2017-11-09 2019-06-06 Tdk株式会社 Magnetic sensor
JP7202195B2 (en) * 2019-01-23 2023-01-11 本田技研工業株式会社 DISPLAY SYSTEM, RUNNING CONTROL DEVICE, DISPLAY CONTROL METHOD AND PROGRAM
JP2020147962A (en) * 2019-03-12 2020-09-17 日立建機株式会社 Ambient display system and work machines equipped with the same

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098098A (en) * 2001-09-21 2003-04-03 Matsushita Electric Works Ltd Image processing device and image processing system
JP2003104149A (en) * 2001-09-27 2003-04-09 Equos Research Co Ltd Parking support device
JP2006341641A (en) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd Image display apparatus and image display method
JP2007124054A (en) * 2005-10-25 2007-05-17 Canon Inc Device and method for setting image processing parameter
JP2010204821A (en) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd Working machine equipped with periphery monitoring device
JP2011114850A (en) * 2009-11-30 2011-06-09 Yupiteru Corp Vehicle-mounted video recorder, reproducing apparatus, and program
JP2011168163A (en) * 2010-02-18 2011-09-01 Komatsu Ltd Rear view display system and method of construction machine
JP2014125865A (en) * 2012-12-27 2014-07-07 Hitachi Constr Mach Co Ltd Vehicle body periphery display device for work machine
JP2014147057A (en) * 2013-01-30 2014-08-14 Fujitsu Ten Ltd Image processing apparatus and image processing method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003098098A (en) * 2001-09-21 2003-04-03 Matsushita Electric Works Ltd Image processing device and image processing system
JP2003104149A (en) * 2001-09-27 2003-04-09 Equos Research Co Ltd Parking support device
JP2006341641A (en) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd Image display apparatus and image display method
JP2007124054A (en) * 2005-10-25 2007-05-17 Canon Inc Device and method for setting image processing parameter
JP2010204821A (en) * 2009-03-02 2010-09-16 Hitachi Constr Mach Co Ltd Working machine equipped with periphery monitoring device
JP2011114850A (en) * 2009-11-30 2011-06-09 Yupiteru Corp Vehicle-mounted video recorder, reproducing apparatus, and program
JP2011168163A (en) * 2010-02-18 2011-09-01 Komatsu Ltd Rear view display system and method of construction machine
JP2014125865A (en) * 2012-12-27 2014-07-07 Hitachi Constr Mach Co Ltd Vehicle body periphery display device for work machine
JP2014147057A (en) * 2013-01-30 2014-08-14 Fujitsu Ten Ltd Image processing apparatus and image processing method

Also Published As

Publication number Publication date
JP2017216489A (en) 2017-12-07

Similar Documents

Publication Publication Date Title
JP6068710B1 (en) Overhead image adjustment apparatus and overhead image adjustment program
RU2719048C1 (en) Remote control device for crane, construction machine and/or lift truck
KR101856890B1 (en) Display system for work machine, display device for work machine, and display method for work machine
JP5316805B2 (en) In-vehicle camera device image adjustment device and in-vehicle camera device
EP2003018A2 (en) Camera system and mechanical apparatus
WO2018043301A1 (en) Work machine graphics display system
JP6321977B2 (en) Perimeter monitoring equipment for heavy machinery
EP3335944B1 (en) Work vehicle
JP6275396B2 (en) System and method for interactively controlling a virtual camera
JP7283059B2 (en) Perimeter monitoring device
JP6223685B2 (en) Image processing apparatus and image processing method
US9233643B2 (en) Image generation device and operation support system
EP3512194B1 (en) Bird&#39;s-eye view image system, bird&#39;s-eye view image display method and program
EP2408203A2 (en) Imaging control system, and control apparatus and method for imaging apparatus
JP2013066010A (en) Surrounding monitoring device for work machine
WO2000064175A1 (en) Image processing device and monitoring system
JP2008111269A (en) Image display system
US20220119233A1 (en) Method and device for controlling a materials handling and/or construction machine
JP4802012B2 (en) Camera control apparatus and camera control method
US20160301864A1 (en) Imaging processing system for generating a surround-view image
KR20180020274A (en) Panel conversion
JP6990849B2 (en) Parking Assistance Equipment, Parking Assistance Methods, and Parking Assistance Programs
US10354408B2 (en) Vehicle camera image processing
KR20180021822A (en) Rear Cross Traffic - QuickLux
JP6468656B2 (en) AR information display device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161222

R150 Certificate of patent or registration of utility model

Ref document number: 6068710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250