JPWO2013183536A1 - 自走式産業機械の表示装置 - Google Patents

自走式産業機械の表示装置 Download PDF

Info

Publication number
JPWO2013183536A1
JPWO2013183536A1 JP2014519957A JP2014519957A JPWO2013183536A1 JP WO2013183536 A1 JPWO2013183536 A1 JP WO2013183536A1 JP 2014519957 A JP2014519957 A JP 2014519957A JP 2014519957 A JP2014519957 A JP 2014519957A JP WO2013183536 A1 JPWO2013183536 A1 JP WO2013183536A1
Authority
JP
Japan
Prior art keywords
image
camera
self
industrial machine
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014519957A
Other languages
English (en)
Other versions
JP6014664B2 (ja
Inventor
古渡　陽一
陽一 古渡
慶仁 稲野辺
慶仁 稲野辺
克彦 清水
克彦 清水
石本　英史
英史 石本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Construction Machinery Co Ltd
Original Assignee
Hitachi Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Construction Machinery Co Ltd filed Critical Hitachi Construction Machinery Co Ltd
Priority to JP2014519957A priority Critical patent/JP6014664B2/ja
Publication of JPWO2013183536A1 publication Critical patent/JPWO2013183536A1/ja
Application granted granted Critical
Publication of JP6014664B2 publication Critical patent/JP6014664B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P1/00—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading
    • B60P1/04—Vehicles predominantly for transporting loads and modified to facilitate loading, consolidating the load, or unloading with a tipping movement of load-transporting element
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B60Y2200/142—Heavy duty trucks
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

自走式産業機械の周辺を撮影するカメラを用いて俯瞰画像をモニタに表示するときに、カメラに映り込む自走式産業機械の下部の画像をできる限り多く表示することを目的とする。ダンプトラック１に設けた複数のカメラ１０が撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部２２と、シンボル画像３１のうち下部の領域を透過領域３３として透過させて、俯瞰画像３２のうち透過領域３３に対応する領域を下部画像３４として重畳する処理を行う重畳処理部２５と、シンボル画像３１を中央に配置して、その周囲に俯瞰画像３２を合成して表示画像を生成するときに、各俯瞰画像３２を表示する領域を区分けする境界線Ｌ１乃至Ｌ４を透過領域３３に基づいて設定する画像合成部２６と、画像合成部２６が合成した画像を表示するモニタ１４と、を備えている。

Description

本発明は、ダンプトラックや油圧ショベル等の自走式産業機械の走行操作を行うときにその支援を行う自走式産業機械の表示装置に関するものである。
自走式産業機械が多様な作業現場で利用されている。自走式産業機械の１つにダンプトラックがある。ダンプトラックは、車体のフレーム上に起伏可能とした荷台（ベッセル）を備えており、このベッセルに砕石物や土砂等の運搬対象物を積載する。そして、ダンプトラックは所定の集積場に土砂等を運搬して排土する。ベッセルに積載された土砂等を排土するときには、ダンプトラックを排土位置まで後進させて、停止させる。この状態でベッセルを傾斜させて土砂等を排土する。そして、排土を終えるとベッセルを元の位置に戻して、ダンプトラックを前進させる。
一方、自走式産業機械の１つに油圧ショベルがある。油圧ショベルは、クローラ式またはホイール式の走行手段を有する下部走行体と下部旋回体に対して旋回可能な上部旋回体とを有している。上部旋回体には運転室（キャブ）が設けられており、上部旋回体に対して俯抑動作可能に連結したブームと、ブームの先端に上下方向に回動可能に連結したアームと、土砂の掘削等の作業を行うバケットとが作業手段として上部旋回体に設けられている。
ダンプトラックや油圧ショベル等の自走式産業機械の運転室に搭乗するオペレータにとって、前方の視野は確保されているものの、後方や左右側方には死角を生じる。このため、オペレータが肉眼で視認することが困難な方向が生じる。そこで、油圧ショベルの周辺の状況をオペレータに補助的に認識させるために、運転室に設けられるモニタに俯瞰画像を表示する技術が特許文献１に開示されている。
この特許文献１の技術では、油圧ショベルの後方および左右側方を監視するための３つのカメラを油圧ショベルに設けており、油圧ショベルの周辺監視を行っている。各カメラの光軸は斜め下方に向けられており、これを上方からの視点に座標変換することで、上方から仮想的に見下ろした俯瞰画像が生成される。従って、３つのカメラのそれぞれに対応した俯瞰画像が生成され、油圧ショベルの平面図を画面中央の位置に表示し、３つの俯瞰画像を合成することにより、油圧ショベルを全体的に上方から俯瞰した画像が得られる。この画像を運転室のモニタに表示することで、油圧ショベルの周辺の状況をオペレータに認識させることができる。これにより、オペレータの走行操作の支援を行うことができる。
特開２０１２−７４９２９号公報
自走式産業機械において、運転室のモニタに油圧ショベルの周辺の俯瞰画像を表示することで、オペレータの肉眼による死角となる部分を画面上に表示することができ、自走式産業機械の周辺の状況を認識させる点で重要である。このため、特許文献１の技術は極めて高い効果を奏する。
ただし、オペレータの肉眼による死角となる部分は、自走式産業機械の周辺だけでなく、その下部についても存在する。自走式産業機械の下部に何らかの障害物が存在するときには、自走式産業機械の走行は規制される。例えば、ダンプトラックの場合、ダンプトラックの下部に障害物が存在するときには、土砂の積載作業が終了したにもかかわらず、ダンプトラックの走行が規制される。
ダンプトラックとしては普通ダンプトラックや重ダンプトラックがあるが、いずれにしろ大型であり、ダンプトラックの下部に広範な空間が形成される。特に、積載重量が１００トンを超えるような重ダンプトラックにおいては、車体下部の空間は広大になる。従って、ダンプトラックの下部に障害物が入り込む可能性が十分にある。この場合には、安全性の観点から、ダンプトラックの走行は規制される。これは、下部走行体を有する油圧ショベル等の自走式建設機械においても同様である。従って、油圧ショベル等において、その周辺の状況をオペレータが認識することは重要であるが、下部の状況についてもオペレータに認識させることも重要になる。
この点、俯瞰画像を表示するために自走式産業機械に設けた各カメラは光軸を斜め下方に向けているため、カメラの取り付け位置によっては、カメラの視野の一部に自走式産業機械の下部が部分的に映し出されることがある。従って、カメラの視野の一部に映り込む自走式産業機械の下部の画像をモニタに表示することで、自走式産業機械の下部の状況を認識することができる。
ただし、自走式産業機械の下部の撮影を専用とするするカメラを設けた場合はともかく、前記の俯瞰画像を生成するためのカメラはもともと自走式産業機械の周辺を撮影するためのカメラである。従って、自走式産業機械の下部の一部が映り込むとしても、映り込む領域は部分的に限定された領域になる。しかしながら、限定的な領域であったとしても、下部の画像をモニタに表示することは非常に有用である。
そこで、本発明は、自走式産業機械の周辺を撮影するカメラを用いて俯瞰画像をモニタに表示するときに、カメラに映り込む自走式産業機械の下部の画像をできる限り広げることを目的とする。
以上の課題を解決するため、本発明の自走式産業機械の表示装置は、自走式産業機械に設けられ、この自走式産業機械の周辺を撮影する斜め下方を光軸とした複数のカメラと、各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、この俯瞰画像と前記自走式産業機械をシンボル化した車体のシンボル画像とをモニタに表示し、このシンボル画像のうち前記カメラに含まれる前記自走式産業機械の下部の領域を透過領域として所定の透過率で透過させて重畳する処理を行う重畳処理部と、前記シンボル画像を透過領域と非透過領域とが識別可能な表示態様にして前記俯瞰画像とを合成表示する画像合成部と、前記自走式産業機械の運転室に備えられ、前記画像合成部が合成した画像を表示する表示装置と、を備えている。
モニタに車体のシンボル画像と共に周囲の俯瞰画像を表示するに当って、車体シンボル画像の表示領域のうち、車体を俯瞰したときには隠れているが、カメラにより撮影されている領域を透過領域として、車体を透過しない非透過領域と識別可能な態様で表示する。識別表示の態様としては、透過領域と非透過領域との間を境界線で区分けするか、透過領域と非透過領域との間で濃淡に差を設けるかによることができる。さらに、透過領域と非透過領域のいずれかの領域に着色することも可能である。
カメラの配置と車両構成各部との配置関係とによっては、本来であればカメラの視野に入るはずであるが、車両構成部材により視野が部分的に妨げられる部位が存在することもある。この場合には、死角部の領域として、他とは異なる表示態様とすることもできる。
透過領域とシンボル領域との境界の端部を基準とすることで、透過領域を最大限利用することができる。これにより、透過領域に下部の画像を広く表示することができる。
また、前記カメラは後方を撮影する後方カメラであり、前記自走式産業機械の走行体の後端を基準として前記境界線を形成するようにしてもよい。
後方カメラの視野に下部の画像が多く映し出される。このとき、後方カメラは自走式産業機械の走行体の後端より前方の視野を含まないため、シンボル画像の走行体の後端を基準として境界線を形成することで、下部の領域を広く表示することができる。
また、前記運搬車両のフレームの最後端に設けられ、前記運搬車両のベッセルに干渉しない範囲のうち前記運搬車両の後輪よりも高い位置且つ後方に前記カメラを取り付けるようにしてもよい。
運搬車両の後輪よりも高い位置に後方カメラを取り付けることで、運搬車両の下部の領域を大きく撮影することができる。そして、後輪よりも後方に後方カメラを取り付けることで、カメラの最大視野範囲を妨げる要因（主に後輪）を視野から外すことができ、下部の画像を大きく表示することができる。
また、前記運搬車両の走行を操作する走行操作部により後進の操作がされたときに、前記表示画像を前記表示装置に表示するようにしてもよい。
運搬車両のベッセル後方の下部に広範な空間が形成され、この空間に障害物が入り込み易くなる。そこで、後進操作を行ったときに、ベッセル下部の画像を表示することで、オペレータにベッセル下部の状況をより良好に認識させることができる。
また、前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示するようにしてもよい。
また、前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示するようにしてもよい。
俯瞰画像とカメラ画像との両者を同時に表示することで、俯瞰画像から下部画像を認識でき、下部画像に対応するカメラが撮影しているカメラ画像を直接的に認識することができる。
本発明は、俯瞰画像と自走式産業機械のシンボル画像とをモニタに表示する際に、シンボル画像の一部を透過画像として表示することにより、透過領域を広く利用することができる。これにより、透過領域に下部の画像を大きく表示することができる。
ダンプトラックの左側面図である。 ダンプトラックの平面図である。 運転室に取り付けられるモニタの一例を示した図である。 表示コントローラのブロック図である。 視点変換処理の原理を説明した図である。 画面部に表示される表示画像の一例を示す図である。 図６において、下部画像を重畳した例を説明した図である。 死角を生じた場合の表示画像の一例を示す図である。 境界線を異ならせた図６の他の例を示す図である。 画面を分割して俯瞰画像とカメラ画像とを表示した図である。 ダンプトラックの後方を示す図である。 ベッセルを取り除いたときのダンプトラックの後方の斜視図である。 油圧ショベルの左側面図である。
以下、図面を参照して、本発明の実施形態について説明する。自走式産業機械としては、運搬車両や建設機械、道路工事機械等があり、運搬車両としては主にダンプトラック、建設機械としては主に油圧ショベルがある。ここでは、自走式産業機械としてダンプトラックを適用しているが、ダンプトラック以外の自走式産業機械を適用してもよい。ダンプトラックとしてはリジットダンプとアーティキュレートダンプとがあるが、何れを適用してもよい。なお、以下において、「左」とは運転室から見た左側であり、「右」とは運転室から見た右側になる。
図１はダンプトラック１の左側面図を示しており、図２は平面図を示している。これらの図に示すように、ダンプトラック１は、運転室２とフレーム３とベッセル４と前輪５と後輪６と駆動用シリンダ７とを備えて構成している。また、ダンプトラック１の前後左右にカメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が設けられており、各カメラ１０が撮影した映像をカメラ画像として出力している。なお、図１の破線は、後方カメラ１０Ｂの視野範囲を示している。
前方カメラ１０Ｆは前方、後方カメラ１０Ｂは後方、右方カメラ１０Ｒは右側方、左方カメラ１０Ｌは左側方を視野とするカメラである。図２では、前方カメラ１０Ｆの視野範囲を前方視野範囲ＶＦ、後方カメラ１０Ｂの視野範囲を後方視野範囲ＶＢ、右方カメラ１０Ｒの視野範囲を右方視野範囲ＶＲ、左方カメラ１０Ｌの視野範囲を左方視野範囲ＶＬとして、仮想線で示している。図中では、各視野範囲は矩形として例示しているが、視野範囲は矩形に限定されない。
各カメラ１０はダンプトラック１の周辺を撮影しているが、その撮影方向は斜め下方になっている。つまり、光軸方向が斜め下方になっている。なお、ダンプトラック１に備えられるカメラ１０の個数は任意の数とすることができる。ただし、オペレータの肉眼による視野の死角を生じる方向を撮影する後方カメラ１０Ｂと右方カメラ１０Ｒと左方カメラ１０Ｌとを備えることが望ましい。また、アーティキュレートダンプの場合には、さらに多くのカメラを設けてもよい。
運転室２はオペレータが搭乗してダンプトラック１を操作するために設けられており、ダンプトラック１の左側に配置されているものが多い。また、各種の操作手段が運転室２に設けられている。フレーム３はダンプトラック１の枠組みを構成するものであり、フレーム３の前方には前輪５が設けられ、後方には後輪６が設けられている。ベッセル４は荷台であり、土砂や鉱物等を積載する。ベッセル４には駆動用シリンダ７が取り付けられており、傾動可能になっている。これにより、ベッセル４に積載された土砂等を排土することが可能になっている。
図３は、運転室２の一例を示している。運転室２には、走行方向を操作するハンドル１１とダンプトラック１の計器類等を表示するコンソール１２とピラー１３とが設けられている。そして、ピラー１３にモニタ１４が取り付けられている。モニタ１４は画面部１５と入力部１６とを備えて構成した表示装置である。画面部１５は所定の情報を表示する画面であり、入力部１６は画面部１５の表示内容を適宜に操作するために設けている。なお、モニタ１４の位置は運転室２の内部であれば任意の位置に設けてもよい。また、入力部１６を省略して、画面部１５をタッチセンサパネルとしてもよい。
図４は、モニタ１４に接続される表示コントローラ１７および表示コントローラ１７に接続される車体コントローラ１８を示している。同図に示すように、表示コントローラ１７は画像補正部２１と視点変換部２２と下部画像生成部２３とシンボル画像保持部２４と重畳処理部２５と画像合成部２６と基準点記憶部２７と表示画像生成部２８とを備えている。表示コントローラ１７の各部はソフトウェアで実現することが可能であり、ＣＰＵにより各部の機能が行われるようにすることもできる。
画像補正部２１は、前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌが撮影している画像を入力している。そして、入力した画像に対して、カメラ光学系パラメータ等に基づいて、レンズ歪み補正や収差補正、コントラスト補正、色調補正等の各種の画像補正を行う。これにより、入力した画像の画質を向上させる。画像補正部２１が入力した補正した画像はカメラ画像として視点変換部２２に出力される。
視点変換部２２は、画像補正部２１から入力したカメラ画像に対して視点変換処理を行って、俯瞰画像（仮想視点画像）を生成する。前述したように、各カメラ１０は斜め下方を光軸方向としており、これを上方からの仮想的な視点に変換する。図５に示すように、カメラ１０（前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）の対物レンズの光軸Ａは、地表Ｇに対して所定角度θを有しており、これにより、カメラ１０の光軸は斜め下方になっている。視点変換部２２では、光軸方向が垂直方向となるような仮想カメラ１０Ｖを高さＨに仮想的に設定し、この仮想カメラ１０Ｖが地表Ｇを見下ろした画像データに座標変換する。このように上方からの視点に変換した画像は仮想的な平面画像（俯瞰画像）となる。
図４に示すように、視点変換部２２が視点変換処理を行った俯瞰画像は、下部画像生成部２３および画像合成部２６に出力される。下部画像生成部２３は、カメラ１０にダンプトラック１の下部が視野に含まれている場合には、俯瞰画像のうちダンプトラック１の下部の部分を取得して、下部画像も俯瞰画像とする。
なお、全てのカメラ１０にダンプトラック１の下部が視野に含まれているとは限らない。従って、ダンプトラック１の下部が視野に含まれていないカメラ１０についての下部画像は生成されない。本実施形態では、後方カメラ１０Ｂの視野のみにダンプトラック１の下部が含まれており、後方カメラ１０Ｂから下部画像が生成されるが、後方カメラ１０Ｂ以外のカメラ１０から下部画像を生成するものであってもよい。
シンボル画像保持部２４は、シンボル画像を保持する。シンボル画像はダンプトラック１をシンボル（キャラクタ）として画面部１５で表示するときの画像である。従って、シンボル画像はダンプトラック１の形状を再現した画像になる。このときの再現性が高ければ、オペレータはダンプトラック１の形状を正確に認識することができる。ただし、忠実にダンプトラック１の形状を再現した画像でなくてもよい。
重畳処理部２５は、下部画像生成部２３から下部画像を入力し、シンボル画像保持部２４からシンボル画像を入力する。そして、重畳処理部２５は、シンボル画像のうち下部画像に対応する領域を透過領域として所定の透過率で透過させ、この透過領域に下部画像を重畳する画像処理を行う。この画像処理はスーパーインポーズ処理（画像の重ね合わせ処理）となり、透過率が１００％でなければ、シンボル画像と下部画像とが同じ位置に二重に表示される。透過率は任意にコントロールすることができる。
画像合成部２６は、視点変換部２２が視点変換した各俯瞰画像を入力し、重畳処理部２５が処理を行ったシンボル画像を入力する。そして、シンボル画像を中央にして、その周囲に各俯瞰画像を配置して合成を行う。前方カメラ１０Ｆからは前方俯瞰画像が生成され、後方カメラ１０Ｂからは後方俯瞰画像が生成され、右方カメラ１０Ｒからは右方俯瞰画像が生成され、左方カメラ１０Ｌからは左方俯瞰画像が生成される。そして、シンボル画像を中心にして、前側に前方俯瞰画像を、後側に後方俯瞰画像を、右側に右方俯瞰画像を、左側に左方俯瞰画像を配置する合成を行う。
このとき、画像合成部２６は基準点記憶部２７から基準点を読み出す。シンボル画像を中央にして、周辺に各俯瞰画像が合成されるが、シンボル画像から放射状に形成される境界線を設定する。境界線は各俯瞰画像を表示する領域を区分けするために設定している。基準点記憶部２７はこの境界線を形成するときのシンボル画像の基準点（始点）を記憶する。この基準点は、前述の透過領域に基づいて設定される。
なお、ダンプトラック１に前後左右の４つのカメラ１０が設置されているとは限らない。例えば、前方カメラ１０Ｆが設置されない場合もある。この場合には、前方俯瞰画像を得ることができないため、前方俯瞰画像は合成されない。すなわち、設置されているカメラ１０に応じて、当該カメラ１０が撮影する方向の俯瞰画像が生成されて合成される。ただし、オペレータの視野の死角になる左方俯瞰画像、右方俯瞰画像、後方俯瞰画像を合成することが望ましい。
表示画像生成部２７は、画像合成部２６が合成した画像を１つの表示画像として生成する。この表示画像はモニタ１４に出力される。モニタ１４の画面部１５には表示画像が表示される。運転室２に搭乗したオペレータは、画面部１５に表示された表示画像を視認することができる。画面部１５には１つの画像だけでなく、画面部１５の表示領域を複数に分割して複数の画像を表示することも可能になっている。
図４に示すように、表示コントローラ１７は車体コントローラ１８と接続されている。車体コントローラ１８にはダンプトラック１をコントロールするための各種の操作手段が接続されている。そのうちの１つがシフトレバー２９である。シフトレバー２９はオペレータがダンプトラック１の走行を操作する走行操作部であり、前進位置、中立位置、後進位置の３つの位置に変位する。シフトレバー２９が前進位置に位置しているときには、ダンプトラック１は前進し、後進位置に位置しているときにはダンプトラック１は後進する。また、中立位置に位置しているときにはダンプトラック１は停止する。シフトレバー２９からは何れの位置（前進位置、中立位置、後進位置）にあるかのシフトレバー位置情報が車体コントローラ１８に入力される。そして、シフトレバー位置情報は車体情報として表示コントローラ１７に出力される。
以上の構成を用いて、モニタ１４の画面部１５に表示される表示画像を表示コントローラ１７が作成する。ここでは、画面部１５の全領域に俯瞰画像表示を行う場合を説明するが、画面部１５の領域を分割して、分割した領域に俯瞰画像表示を行うようにしてもよい。俯瞰画像表示は、表示領域の中央にシンボル画像を表示して、その周辺（周囲）に俯瞰画像を表示する方式である。
図６は画面部１５の全領域の中央に方形の領域が設けられ、当該中央の領域にシンボル画像３１が表示される。シンボル画像３１は、前述したように、ダンプトラック１の形状を再現したシンボル（キャラクタ）である。なお、自走式産業機械がダンプトラック１以外の場合は、当該自走式産業機械の車体形状を再現したシンボル画像３１を表示する。従って、画面部１５の中央部分にはシンボル画像３１が表示され、俯瞰画像はこのシンボル画像３１の周囲に表示される。
シンボル画像３１を中央にして放射状に境界線Ｌ１乃至Ｌ４が形成される。そして、シンボル画像３１および境界線Ｌ１乃至Ｌ４により前後左右に分割した領域が設けられる。シンボル画像３１の前方の領域には前方俯瞰画像３２Ｆが表示され、後方の領域には後方俯瞰画像３２Ｂが表示され、右方の領域には右方俯瞰画像３２Ｒが表示され、左方の領域には左方俯瞰画像３２Ｌが表示される。前方俯瞰画像３２Ｆと後方俯瞰画像３２Ｂと右方俯瞰画像３２Ｒと左方俯瞰画像３２Ｌとを総称して俯瞰画像３２とする。
少なくとも各俯瞰画像３２を表示するためには、各カメラ１０が撮影を行っていなければならない。このために、オペレータはエンジンを始動させる等して、各カメラ１０が撮影を開始する。前述したように、各カメラ１０は斜め下方を撮影しており、前方カメラ１０Ｆは前方の斜め下方、後方カメラ１０Ｂは後方の斜め下方、右方カメラ１０Ｒは右側方の斜め下方、左方カメラ１０Ｌは左側方の斜め下方の映像を撮影している。
そして、各カメラ１０は撮影した映像をカメラ画像として表示コントローラ１７に出力（転送）する。各カメラ１０は所定の撮影周期で撮影を行っており、撮影周期ごとにカメラ画像が転送される。これにより、画面部１５には動画を表示することができる。なお、静止画を表示するようにしてもよい。
図４に示したように、画像補正部２１は各カメラ１０から出力されるカメラ画像に対して所定の補正処理を行う。これにより、カメラ画像の画質が向上する。補正処理が行われたカメラ画像は視点変換部２２で視点変換される。前方カメラ１０Ｆが撮影したカメラ画像により前方俯瞰画像３２Ｆが生成され、後方カメラ１０Ｂが撮影したカメラ画像により後方俯瞰画像３２Ｂが生成され、右方カメラ１０Ｒが撮影したカメラ画像により右方俯瞰画像３２Ｒが生成され、左方カメラ１０Ｌが撮影したカメラ画像により左方俯瞰画像３２Ｌが生成される。生成された各俯瞰画像３２は画像合成部２６に出力される。
ところで、シンボル画像３１を中心に各俯瞰画像３２を表示することで、図６のように、ダンプトラック１を上方から見下ろした画像を画面部１５に表示することができる。図６は俯瞰画像表示であり、ダンプトラック１の周辺の状況を良好にオペレータが認識することができる。図６に示すように、サービスカーが障害物Ｓ１として接近している場合には、俯瞰画像表示を行うことで、オペレータはダンプトラック１と障害物Ｓ１との間の位置関係を直感的に認識することができる。
例えば、俯瞰画像表示は、ダンプトラック１を発進させるときに、周辺に何かしらの障害物が存在しているか否かを確認するときに有効である。特に、オペレータから死角となる方向についても、障害物が近接しているか否かを確認することができるため、有効である。従って、各俯瞰画像３２は比較的ダンプトラック１の近距離を表示範囲としている。つまり、図５で説明した各カメラ１０の光軸と地表Ｇとの間の角度θは比較的大きく設定している。これにより、図６のような俯瞰画像表示を行うことにより、ダンプトラック１に近接した周辺の状況を良好に表示することができる。
ここで、図１の破線で示した領域に示したように、後方カメラ１０Ｂはベッセル４の下部位置に取り付けられている。そして、後方カメラ１０Ｂは、斜め下方を光軸としているため、ダンプトラック１の後方を撮影しているが、ダンプトラック１（ベッセル４）の下部も視野に含まれる。特に、前述したように、後方カメラ１０の光軸と地表Ｇとの角度θは比較的大きく、また後方カメラ１０には広い画角のレンズを用いているため、ダンプトラック１の下部の広範な領域が視野に含まれる。下部領域は視点変換処理を行った俯瞰画像であり、下部画像生成部２３において広範な下部画像が生成される。
従って、後方カメラ１０Ｂの視野に含まれるダンプトラック１の下部画像をモニタ１４の画面部１５に表示することは可能である。そこで、本実施形態では、下部画像生成部２３は視点変換部２２から後方俯瞰画像３２Ｂを取得する。そして、下部画像生成部２３は、後方俯瞰画像３２Ｂのうち、ダンプトラック１の下部の部分を下部画像として生成する。
シンボル画像保持部２４は、図６に示すように、ダンプトラック１の形状を再現したシンボル画像３１を保持している。同図の例では、シンボル画像３１は前輪５や後輪６等が表示されており、また各カメラ１０の取り付け位置も表示されている。シンボル画像保持部２４は保持しているシンボル画像３１を重畳処理部２５に出力する。
重畳処理部２５はシンボル画像３１のうち、下部画像に対応する領域を透過領域３３としている。この透過領域３３は図中においてハッチングで示された領域となる。後方カメラ１０Ｂの取り付け位置や画角、光軸方向等は予め設定されているものであり、シンボル画像３１のうち下部画像に対応する透過領域３３は予め認識されている。従って、シンボル画像３１の中で透過領域３３の位置や範囲は定まっている。そして、下部画像（３４とする）と透過領域３３との位置や範囲は一致している。
従って、重畳処理部２５は、透過領域３３を所定の透過率で透過させて、後方カメラ１０Ｂが撮影した映像に基づく下部画像３４を重畳（スーパーインポーズ）する。図７は、その一例を示している。同図では、下部画像３４に障害物Ｓ２が映し出されている。オペレータは、画面部１５の下部画像３４を視認することで、ダンプトラック１の下部、この場合はベッセル４の下部に障害物Ｓ２が存在することを認識することができる。これにより、オペレータは、シフトレバー２９を操作して、ダンプトラック１を後進すると、後輪６と障害物Ｓ２とが干渉することを認識することができる。つまり、シフトレバー２９を後進位置に変位させることが規制されることをオペレータは認識できる。
前述したように、各カメラ１０（後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌ）が撮影した映像を用いて視点変換処理をすることで、俯瞰画像表示を行う。これにより、ダンプトラック１の周辺の状況を一見して認識することができる。俯瞰画像表示は、仮想的に視点を上方に設定したときに、地表Ｇを見下ろす画像になっている。従って、本来であればベッセル４や運転室２等の構造物により、俯瞰画像表示では、ダンプトラック１の下部の画像は表示されない。
しかし、後方カメラ１０Ｂの視野にはダンプトラック１の下部が含まれている。従って、下部画像生成部２３が下部画像３４を生成して、重畳処理部２５がシンボル画像３１の透過領域３３を透過させて下部画像３４を合成することで、シンボル画像３１の中にダンプトラック１の下部の画像の情報を持たせることができる。要するに、モニタ１４の画面部１５に表示されている画像としては、車体のシンボル画像３１と、前方俯瞰画像３２Ｆ，後方俯瞰画像３２Ｂ及び左右の側方俯瞰画像３２Ｌ，３２Ｒからなる車体外の俯瞰画像と、俯瞰画像として表示される下部画像３４とから構成される。しかも、シンボル画像３１の一部分を透過領域３３としている。これにより、オペレータはダンプトラック１の周辺の状況だけでなく、シンボル画像３１の下部画像に基づいて、ダンプトラック１の下部の状況についても認識することができる。しかも、これは、もともと俯瞰画像表示をするための各カメラ１０を利用しているため、格別に下部を撮影するための専用のカメラを設ける必要がない。
図６や図７に示すように、シンボル画像３１の運転室２を再現した位置に方向アイコン３５を配置している。方向アイコン３５はオペレータの向きを示している。ここでは、方向を三角形の矢印で示している。この方向アイコン３５はダンプトラック１の進行方向によって変化させるようにしてもよい。表示コントローラ１７には車体コントローラ１８から進行方向の情報が車体情報として入力されているため、進行方向に応じて三角形を回転させるようにしてもよい。例えば、ダンプトラック１を後進させる場合には、図６の三角形の向きとは逆向きになる。
ところで、画像合成部２６は、シンボル画像３１を中央の領域に配置して、放射状に形成される境界線Ｌ１乃至Ｌ４により区分けされた領域に各俯瞰画像３２を配置して合成を行う。通常は、図８に示すように、シンボル画像３１が表示される方形の領域の４つの頂点（四隅）から放射状に境界線Ｌ１乃至Ｌ４を形成する。これは、図２に示したように、各視野範囲ＶＢ、ＶＦ、ＶＲ、ＶＬは部分的に重複しており、重複している領域を均等に分割するように境界線Ｌ１乃至Ｌ４を形成することが自然であり、また画像処理の点においても処理の簡略化を図れるためである。しかも、俯瞰画像３２Ｆ，３２Ｂ，３２Ｌ，３２Ｒは下部画像３４と識別可能な表示態様により表示される。この識別可能な表示態様としては、車体を示すシンボル画像３１の境界線で示されているが、これ以外にも、例えば透過領域３３とそれ以外とで濃淡差を設けたり、いずれか一方に着色を施したりする等により識別可能な表示とすることもできる。
図８に示すように、境界線Ｌ１とＬ２とにより形成される領域は後方カメラ１０Ｂが撮影した画像により後方俯瞰画像３２Ｂが表示される。このため、透過領域３３のうち境界線Ｌ１とＬ２とに挟まれた領域には下部画像を表示することは可能である。一方、透過領域３３のうち境界線Ｌ２から左側は左方カメラ１０Ｌが撮影したカメラ画像に基づく画像が表示される領域である。同様に、透過領域３３のうち境界線Ｌ１から右側は右方カメラ１０Ｒが撮影したカメラ画像に基づく画像が表示される領域である。
透過領域３３のうち境界線Ｌ１から左側の領域は後方カメラ１０Ｂの視野には含まれるが、右方カメラ１０Ｒの視野には含まれない。同様に、透過領域３３のうち境界線Ｌ２から右側の領域は後方カメラ１０Ｂの視野には含まれるが、左方カメラ１０Ｌの視野には含まれない。これにより、透過領域３３には２つの死角３３Ｄが生じる。これら２つの死角３３Ｄは、右方カメラ１０Ｒおよび左方カメラ１０Ｌが透過領域３３を視野に含まないために生じるものである。つまり、シンボル画像３１を表示する方形の領域の四隅を基準として形成される境界線Ｌ１およびＬ２を用いると、死角３３Ｄの部分には下部画像３４は表示されなくなる。
このため、本来なら、透過領域３３の全領域に後方カメラ１０Ｂに基づいた下部画像３４を表示可能であるにもかかわらず、一部が死角３３Ｄとなり、表示されなくなる。仮に、死角３３Ｄに障害物Ｓ２が存在しているときには、後方カメラ１０Ｂの視野には障害物Ｓ２が含まれているにもかかわらず、画面部１５に表示されない。これにより、オペレータは障害物Ｓ２を認識することができない。そこで、この死角３３Ｄの領域については、表示不能領域として、例えば黒塗り状態とする。
そこで、本実施形態では、画像合成部２６は、シンボル画像３１を中心として、その周囲に各俯瞰画像３２を合成するときに、基準点記憶部２７から基準点Ｐ１乃至Ｐ４を読み出す。基準点Ｐ１乃至Ｐ４は、境界線Ｌ１乃至Ｌ４を形成するときに、シンボル画像３１の外形のうち何れの位置を基準（始点）とするかを示している。
図６および図７にも示すように、シンボル画像３１は基本的にダンプトラック１の形状を再現したキャラクタであり、予め作成されたものである。ただし、シンボル画像３１の一部は透過領域３３となっており、この透過領域３３には下部画像３４を重畳表示することが可能になっている。従って、シンボル画像３１は透過領域３３とそれ以外の領域（シンボル領域３１Ａ）とに分けることができる。このうち、シンボル領域３１Ａはシンボル画像３１と同じく予め作成されたキャラクタであり、固定されたキャラクタである。一方、透過領域３３はシンボル画像３１の一部を構成しているものの、むしろ画像を表示するための領域であり、下部画像３４により表示内容が変化する。
このため、画像合成部２６は、シンボル画像３１を表示する領域が方形の場合、この方形の領域の四隅から境界線Ｌ１乃至Ｌ４を設定するのではなく、透過領域３３に基づいて境界線Ｌ１乃至Ｌ４を設定する。ここでは、シンボル画像３１のうち透過領域３３とシンボル領域３１Ａとの境界の端部を基準として境界線Ｌ１およびＬ２を設定する。シンボル画像３１の前方には透過領域３３が存在していないため、シンボル画像３１の方形の領域の角隅部から境界線Ｌ３およびＬ４を設定する。ただし、これは、シンボル領域３１Ａの角隅部から境界線Ｌ３およびＬ４を設定していることに等しい。
境界線Ｌ１乃至Ｌ４は基準点Ｐ１乃至Ｐ４を基準として設定される。画像合成部２６は基準点記憶部２７から基準点Ｐ１乃至Ｐ４を読み出す。基準点Ｐ１乃至Ｐ４は、シンボル画像３１のうち透過領域３３を除外した領域、すなわちシンボル領域３１Ａの四隅に設定されている。透過領域３３は予め認識されているため、基準点Ｐ１乃至Ｐ４も予め設定することができる。つまり、シンボル画像３１の外形の何れの位置に基準点Ｐ１乃至Ｐ４を設定するかは予め認識されている。
そして、画像合成部２６は基準点Ｐ１乃至Ｐ４から境界線Ｌ１乃至Ｌ４を形成する。図７に示すように、境界線Ｌ３およびＬ４はシンボル画像３１の角隅部から形成されているが、境界線Ｌ１およびＬ２はシンボル画像３１の角隅部ではなく、透過領域３３とシンボル領域３１Ａとの境界の端部から形成される。
透過領域３３は後方カメラ１０Ｂが撮影した映像に含まれる下部画像３４のサイズによって決定される。従って、透過領域３３は後方カメラ１０Ｂが撮影している映像の視野に応じて決定されることになる。後方カメラ１０Ｂに広角のレンズを用いることにより、広範囲を視野とすることができ、最大視野範囲が広くなる。この場合、下部画像３４および透過領域３３のサイズも大きくなる。ただし、図８に示すように、後方カメラ１０Ｂの視野を妨げるような構造物が存在している場合には、撮像不能な死角３３Ｄの領域が存在して、当該構造物により後方カメラ１０Ｂの視野が狭くなる。当該構造物としては主に後輪６がある。つまり、後輪６より前方は後方カメラ１０Ｂの視野とすることが難しい。そこで、図７に示すように、透過領域３３とシンボル領域３１Ａとの境界の端部には後輪６の後端が位置している。従って、後輪６の後端から境界線Ｌ１およびＬ２を形成している。
以上のようにして、画像合成部２６は、基準点Ｐ１乃至Ｐ４を基準として、境界線Ｌ１乃至Ｌ４を設定して、境界線Ｌ１乃至Ｌ４およびシンボル画像３１により区画形成される前後左右の各領域に各俯瞰画像３２を合成する。境界線Ｌ１およびＬ２とシンボル画像３１とにより区画形成される領域に後方俯瞰画像３２Ｂが表示される。且つ、透過領域３３の前方の角隅部から境界線Ｌ１およびＬ２が形成されているため、図７に示すように、透過領域３３の全領域に下部画像３４を表示することができる。従って、下部画像３４に表示されている障害物Ｓ２に基づいて、オペレータは明確に障害物Ｓ２の存在を認識することができる。
以上において、後輪６の後端を基準として境界線Ｌ１およびＬ２を設定した場合を示したが、後輪６の後端以外の位置を基準として境界線を設定してもよい。同様に、透過領域３３とシンボル領域３１Ａとの境界の端部を基準点Ｐ１およびＰ２として、境界線Ｌ１およびＬ２を設定しているが、図８にあるように、基準点Ｐ１およびＰ２をシンボル画像３１の前方または後方に移動させるようにしてもよい。この場合には、境界線Ｌ１およびＬ２の始点位置（基準点Ｐ１およびＰ２）も変化する。
いずれにしろ、死角３３Ｄとなっている領域は視野が得られていないので、この領域については、図８に示すように、黒く塗り潰すようにして、画像が得られていない領域であることを認識できるようにする。ここで、基準点Ｐ１およびＰ２をシンボル画像３１の後方に移動させることで、死角３３Ｄの慮息を僅かなものとする。この場合には、基準点Ｐ１およびＰ２をシンボル画像３１の後方に移動させてもよい。また、基準点Ｐ１およびＰ２を前方に移動させると、後方カメラ１０Ｂの視野に含まれない領域も後方俯瞰画像３２Ｂのための領域となるため、この場合も死角を生じることがある。ただし、この場合も、僅かな死角が許容される場合には、基準点Ｐ１およびＰ２を僅かに前方に移動させてもよい。
要は、透過領域３３に基づいて、境界線Ｌ１およびＬ２を設定することで、透過領域３３に生じる死角３３Ｄを最小限に抑制することができ、透過領域３３の全領域に下部画像３４を表示することができ、最大限に有効活用することができる。しかも、死角３３Ｄとなる領域を他の領域と明確に識別可能な状態に表示することにより、オペレータの視認性という点では、最も良好な効果を得ることができる。
また、図６乃至図８の例では、境界線Ｌ１乃至Ｌ４は画面部１５の角隅部（四隅）まで形成されているが、角隅部以外の箇所まで形成するようにしてもよい。図９はその一例を示している。同図に示すように、境界線Ｌ１およびＬ２は、画面部１５の角隅部から離間した位置まで形成している。後方カメラ１０Ｂが高画素且つ広角の場合には、後方カメラ１０Ｂが撮影した後方俯瞰画像３２Ｂを優先的に表示するようにしてもよい。この場合には、後方カメラ１０Ｂの画角に応じて境界線Ｌ１およびＬ２を図９のように形成してもよい。
また、図１０に示すように、画面部１５を２分割して、１つの分割領域１５Ａに合成して俯瞰画像を表示して、もう１つの分割領域１５Ｂに後方カメラ１０Ｂのカメラ画像（視点変換していない画像）を表示してもよい。後方カメラ１０Ｂの視野範囲に障害物Ｓ２が存在していると、分割領域１５Ａの下部画像３４に表示される。分割領域１５Ｂは後方カメラ１０Ｂのカメラ画像が表示されるため、オペレータが分割領域１５Ｂを視認することで、障害物Ｓ２をより具体的に認識することができる。
また、図６乃至図１０の例では、画面部１５の縦の画素数は横の画素数よりも大きい場合を説明したが、その逆であってもよい。つまり、画面部１５は縦長でなく、横長としてもよい。
前述したように、境界線Ｌ１およびＬ２は後輪６の後端を基準として設定している。これは、自走式産業機械がダンプトラック１の場合である。自走式産業機械がダンプトラック１ではなく、クローラ式油圧ショベルの場合には、クローラの後端を基準として、ホイール式油圧ショベルの場合には、後輪の後端を基準として境界線Ｌ１およびＬ２を設定する。要は、自走式産業機械を走行させる手段である走行体の後端を基準として境界線Ｌ１およびＬ２を設定することができる。
ダンプトラック１の場合、後方カメラ１０Ｂに画角の広いレンズを用いたとしても、後輪６が後方カメラ１０Ｂの視野範囲を狭める場合がある。そこで、後方カメラ１０Ｂの視野範囲を最大限活用するために、後方カメラ１０Ｂをダンプトラック１のフレーム３の最後端に取り付ける。そして、後輪６よりも高い位置且つ後方に取り付けるようにしている。ただし、ベッセル４と後方カメラ１０Ｂとが干渉しないようにする。
後方カメラ１０Ｂを後輪６よりも高い位置且つ後方に取り付けることで、後方カメラ１０Ｂの視野範囲にダンプトラック１の下部の広範な領域を含ませることができ、且つ後輪６により後方カメラ１０Ｂの視野が妨げられることもない。このため、透過領域３３を最も広範な領域とすることができ、広範な領域の下部画像３４を表示することができる。
図１１および図１２は、その一例を示している。図１１および図１２に示されるように、フレーム３の最後端にはリヤランプ４１が取り付けられている。リヤランプ４１はダンプトラック１の後方に照明光を供給するために設けている。リヤランプ４１の上方には遮蔽板４２が延出している。これは、リヤランプ４１の光を後方カメラ１０Ｂに映り込まないようにするために設けている。遮蔽板４２の上部には支持台４３が設けられており、支持台４３に後方カメラ１０Ｂが取り付けられている。
図１１および図１２から明らかなように、後方カメラ１０Ｂは後輪６よりも高い位置且つ後方に取り付けることができる。これにより、後輪６が後方カメラ１０Ｂの視野を妨げることがなくなり、広範な領域の下部画像３４を表示することができる。オペレータは、この下部画像３４により、良好にダンプトラック１の下部の状況を認識することができる。
ところで、後方カメラ１０Ｂを後輪６よりも高い位置且つ後方に取り付けるためには、例えばブラケット等を用いることにより、後方カメラ１０Ｂを所望の位置に配置することもできる。ただし、ダンプトラック１は不整地を走行するものであり、走行時には激しい振動を伴う。従って、この場合には、後方カメラ１０Ｂが撮影した映像に非常に大きなブレを生じる。
そこで、図１１および図１２のように、フレーム３を基礎として後方カメラ１０Ｂを固定する。フレーム３はダンプトラック１の基本を構成する枠組みであり、不整地を走行したときにも高い安定性を得ることができる。従って、後方カメラ１０Ｂが撮影した映像のブレを少なくすることができ、安定的な撮影を行うことができる。
次に、ダンプトラック１の走行操作による画像合成部２６の処理について説明する。運転室２に搭乗したオペレータはシフトレバー２９を操作して、ダンプトラック１を走行させる。前述したように、シフトレバー２９は前進位置と中立位置と後進位置とがあり、シフトレバー２９の位置によって、ダンプトラック１を走行させるか否か、および走行させる場合には走行方向が決定される。シフトレバー２９がどの位置に入っているかの情報（シフトレバー位置情報）は車体コントローラ１８に入力され、車体コントローラ１８は車体情報としてシフトレバー位置情報を表示コントローラ１７に出力する。
重畳処理部２５はシフトレバー位置情報を入力する。これにより、重畳処理部２５はダンプトラック１の走行方向を認識する。重畳処理部２５はシフトレバー位置情報、つまりシフトレバー２９の位置に応じて、各透過領域３３を透過させるか否かの制御を行う。
シフトレバー２９が後進位置に入ったときには、ダンプトラック１は後進する。この場合に、後方の透過領域３３に障害物Ｓ２が存在しているときには、ダンプトラック１と干渉する。従って、この場合は、重畳処理部２５は、ダンプトラック１が後進することを認識することにより、透過領域３３Ｂを透過させて、下部画像３４を合成させる画像処理を行う。従って、図７のような画面が表示される。これにより、オペレータは、後進時に下部画像３４を視認することにより、ダンプトラック１の下部後方の状況を認識することができる。
以上は、自走式産業機械としてダンプトラック１を適用した例について説明したが、自走式産業機械としては、図１３に示す油圧ショベル５０を適用することもできる。油圧ショベル５０はクローラ式走行体を有する下部走行体５１と、下部走行体５１に対して旋回可能に連結した上部旋回体５２とを有して構成している。上部旋回体５２は、運転室５３と作業手段５４と建屋５５とカウンタウェイト５６とを有している。作業手段５４はブーム５７とアーム５８とバケット５９とにより構成される。以上は一般的な油圧ショベル５０の構成である。
油圧ショベル５０には、前方カメラ６０Ｆ、後方カメラ６０Ｂ、右方カメラ６０Ｒ、左方カメラ６０Ｌ（図示せず）が取り付けられている。これらのカメラは、前述した前方カメラ１０Ｆ、後方カメラ１０Ｂ、右方カメラ１０Ｒ、左方カメラ１０Ｌと同じ目的で取り付けており、油圧ショベル５０の周辺の状況を俯瞰表示するために設けている。また、前方カメラ６０Ｆは運転室５３の近傍に取り付けられており、後方カメラ６０Ｂはカウンタウェイト５６の下部に取り付けられている。右方カメラ６０Ｒおよび左方カメラ６０Ｌは建屋５５に取り付けられている。
カウンタウェイト５６の下部に広範な空間が形成される。このとき、後方カメラ６０Ｂは後方を撮影しているが、光軸が斜め下方であるため、カウンタウェイト５６の下部が視野に含まれる。そこで、カウンタウェイト５６の下部画像をシンボル画像に表示することで、前述したダンプトラック１の場合と同じ効果を得ることができる。
１ ダンプトラック
２ 運転室
３ フレーム
４ ベッセル
５ 前輪
６ 後輪
１０ カメラ
１４ モニタ
１５ 画面部
１５Ａ 分割領域
１５Ｂ 分割領域
１７ 表示コントローラ
１８ 車体コントローラ
２１ 画像補正部
２２ 視点変換部
２３ 下部画像生成部
２４ シンボル画像保持部
２５ 重畳処理部
２６ 画像合成部
２７ 基準点記憶部
２８ 表示画像生成部
２９ シフトレバー
３１ シンボル画像
３１Ａ シンボル領域
３２ 俯瞰画像
３３ 透過領域
３３Ｄ 死角
３４ 下部画像

Claims (9)

  1. 自走式産業機械に設けられ、この自走式産業機械の周辺を撮影する斜め下方を光軸とした複数のカメラと、各カメラが撮影したカメラ画像に対してそれぞれ上方視点となるように視点変換した俯瞰画像を生成する視点変換部と、
    この俯瞰画像と前記自走式産業機械をシンボル化した車体のシンボル画像とをモニタに表示し、このシンボル画像のうち前記カメラに含まれる前記自走式産業機械の下部の領域を透過領域として所定の透過率で透過させて重畳する処理を行う重畳処理部と、
    前記シンボル画像を透過領域と非透過領域とが識別可能な表示態様にして前記俯瞰画像とを合成表示する画像合成部と、
    前記自走式産業機械の運転室に備えられ、前記画像合成部が合成した画像を表示する表示装置と、
    を備えた自走式産業機械の表示装置。
  2. 前記画像合成部は、前記シンボル画像のうち前記透過領域とそれ以外のシンボル領域との境界の端部との間に境界線を形成する
    請求項１記載の自走式産業機械の表示装置。
  3. 前記透過領域と前記俯瞰画像の表示領域との間に濃淡の差を持たせた
    請求項１記載の自走式産業機械の表示装置。
  4. 前記透過領域を着色することで、前記俯瞰画像の表示領域と識別させるようにした
    請求項１記載の自走式産業機械の表示装置。
  5. 前記透過領域において、前記カメラの死角となる領域を塗り潰すことで、画像非表示領域とする
    請求項１記載の自走式産業機械の表示装置。
  6. 前記カメラは後方を撮影する後方カメラであり、前記自走式産業機械の走行体の後端を基準として前記境界線を形成する
    請求項１記載の自走式産業機械の表示装置。
  7. 前記運搬車両のフレームの最後端に設けられ、前記運搬車両のベッセルに干渉しない範囲のうち前記運搬車両の後輪よりも高い位置且つ後方に前記カメラを取り付けた
    請求項６記載の自走式産業機械の表示装置。
  8. 前記運搬車両の走行を操作する走行操作部により後進の操作がされたときに、前記表示画像を前記表示装置に表示する
    請求項７記載の自走式産業機械の表示装置。
  9. 前記表示装置の表示領域を分割して、前記画像合成部が生成した前記表示画像と前記複数のカメラのうち前記下部画像を撮影しているカメラ画像とを表示する
    請求項１乃至８のうち何れか１項に記載の自走式産業機械の表示装置。
JP2014519957A 2012-06-08 2013-05-30 自走式産業機械の表示装置 Active JP6014664B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014519957A JP6014664B2 (ja) 2012-06-08 2013-05-30 自走式産業機械の表示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012130724 2012-06-08
JP2012130724 2012-06-08
PCT/JP2013/065031 WO2013183536A1 (ja) 2012-06-08 2013-05-30 自走式産業機械の表示装置
JP2014519957A JP6014664B2 (ja) 2012-06-08 2013-05-30 自走式産業機械の表示装置

Publications (2)

Publication Number Publication Date
JPWO2013183536A1 true JPWO2013183536A1 (ja) 2016-01-28
JP6014664B2 JP6014664B2 (ja) 2016-10-25

Family

ID=49711928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014519957A Active JP6014664B2 (ja) 2012-06-08 2013-05-30 自走式産業機械の表示装置

Country Status (4)

Country Link
US (2) US20150116495A1 (ja)
JP (1) JP6014664B2 (ja)
CN (1) CN104380724B (ja)
WO (1) WO2013183536A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
JP6204884B2 (ja) 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置
DE102014216159B4 (de) * 2014-08-14 2016-03-10 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
DE102015010009A1 (de) * 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
JP6913630B2 (ja) * 2015-08-24 2021-08-04 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
JP6480830B2 (ja) * 2015-08-24 2019-03-13 株式会社小松製作所 ホイールローダの制御システム、その制御方法およびホイールローダの制御方法
KR200484046Y1 (ko) * 2015-12-22 2017-07-24 주식회사 엘지생활건강 화장용 도구
US10576892B2 (en) 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
JP6259116B2 (ja) * 2016-03-29 2018-01-10 株式会社小松製作所 作業車両
JP6699370B2 (ja) * 2016-06-06 2020-05-27 アイシン精機株式会社 車両用画像処理装置
US11528413B2 (en) * 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
AU2018299288B2 (en) * 2017-07-14 2021-07-22 Komatsu Ltd. Display control device, display control method, program, and display system
JP6868938B2 (ja) * 2017-08-24 2021-05-12 日立建機株式会社 建設機械の荷重計測システム
JP6802196B2 (ja) * 2018-01-09 2020-12-16 日立建機株式会社 運搬車両
DE102019212893A1 (de) * 2019-08-28 2021-03-04 Franz Xaver Meiller Fahrzeug- Und Maschinenfabrik - Gmbh & Co Kg Vorrichtung und Verfahren zum Darstellen eines Entladebereichs eines Nutzfahrzeugs
US11066014B1 (en) * 2020-01-13 2021-07-20 Ford Global Technologies, Llc 360 degree trailer camera view system
US12033528B2 (en) * 2021-02-04 2024-07-09 Honeywell International Inc. Display systems and methods
EP4134492A1 (en) * 2021-07-28 2023-02-15 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2009105656A (ja) * 2007-10-23 2009-05-14 Alpine Electronics Inc 車載用撮像装置
JP2011065520A (ja) * 2009-09-18 2011-03-31 Mitsubishi Motors Corp 運転支援装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2013239873A (ja) * 2012-05-15 2013-11-28 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
CN101899803B (zh) * 2009-05-31 2012-07-11 北京捷信安通科技有限公司 一种用于铁路大型养路机械的辅助驾驶及作业***
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
WO2011043006A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 制御装置および車両周囲監視装置
JP2012040907A (ja) * 2010-08-17 2012-03-01 Suzuki Motor Corp 車両周辺画像表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) * 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2009105656A (ja) * 2007-10-23 2009-05-14 Alpine Electronics Inc 車載用撮像装置
JP2011065520A (ja) * 2009-09-18 2011-03-31 Mitsubishi Motors Corp 運転支援装置
JP2011168163A (ja) * 2010-02-18 2011-09-01 Komatsu Ltd 建設機械の後方視界表示システムおよび方法
JP2011205514A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
JP2012074929A (ja) * 2010-09-29 2012-04-12 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP2013239873A (ja) * 2012-05-15 2013-11-28 Hitachi Constr Mach Co Ltd 自走式産業機械の表示装置

Also Published As

Publication number Publication date
WO2013183536A1 (ja) 2013-12-12
US20150116495A1 (en) 2015-04-30
CN104380724B (zh) 2017-09-12
CN104380724A (zh) 2015-02-25
US20170072857A1 (en) 2017-03-16
JP6014664B2 (ja) 2016-10-25

Similar Documents

Publication Publication Date Title
JP6014664B2 (ja) 自走式産業機械の表示装置
JP5814187B2 (ja) 自走式産業機械の表示装置
JP5988683B2 (ja) 自走式産業機械の表示装置
JP6204884B2 (ja) 旋回式作業機の周囲表示装置
JP5938222B2 (ja) 運搬車両の周囲監視装置
JP6167042B2 (ja) 自走式産業機械の周囲監視装置
US20140354813A1 (en) Surroundings Monitoring Device for Work Machine
JP5546427B2 (ja) 作業機械の周囲監視装置
JP5938292B2 (ja) 運搬車両の監視装置
JP2013253402A (ja) 作業機械の周囲監視装置
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
KR20130138227A (ko) 작업 기계의 주위 감시 장치
JP2012082608A (ja) 作業機械のモニタ装置
JP5996879B2 (ja) 作業機械の周囲監視装置
JP6139740B2 (ja) 作業機械の周囲監視装置
JP6224770B2 (ja) ダンプトラックの表示装置
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2016169595A (ja) 作業機械の周囲監視装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160926

R150 Certificate of patent or registration of utility model

Ref document number: 6014664

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150