JP6715205B2 - 作業機械の周囲画像表示装置 - Google Patents
作業機械の周囲画像表示装置 Download PDFInfo
- Publication number
- JP6715205B2 JP6715205B2 JP2017064718A JP2017064718A JP6715205B2 JP 6715205 B2 JP6715205 B2 JP 6715205B2 JP 2017064718 A JP2017064718 A JP 2017064718A JP 2017064718 A JP2017064718 A JP 2017064718A JP 6715205 B2 JP6715205 B2 JP 6715205B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- obstacle
- bird
- eye view
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は作業機械の周囲画像表示技術に係り、特に、露天掘り鉱山等の広域現場において稼動する作業機械の周囲画像表示技術に関する。
作業機械の周囲画像表示の先行技術として、例えば、特許文献1に、「表示手段と、自車両の周囲の画像を取得する撮像手段と、撮像手段により取得された画像のデータを格納する記憶手段と、自車両の周囲の画像及び自車両の画像から、自車両を上方の仮想視点から見た俯瞰画像を生成する画像変換手段と、障害物を検出する障害物検出手段と、障害物が移動体と判定したとき、移動体が俯瞰画像の端に表示されるように縮尺を変更する制御手段とを備える(要約抜粋)」車両周囲画像提供装置が開示されている。
特許文献1に開示の技術では、多数のカメラを車体に設置し、カメラ映像を車体上方などの視点から撮影したような俯瞰画像に変換してドライバに障害物の存在を提示する。このとき、自車両を中心として、障害物が俯瞰画像の端になるよう、縮尺を変更して俯瞰画像を拡大して表示する。このため、障害物が存在する領域までの範囲は、拡大して表示される。しかしながら、当該領域外は表示されない。
一般道は、コンクリートやアスファルトで舗装され、その上に白線やマーカ等がひかれて整備されている。一方、鉱山の走行路面は、土や砂利などを敷き固めた未舗装に近い状態である。従って、鉱山の走行路面は、特徴が少ない。このため、鉱山のような環境で作業する作業機械では、路面や車両などの障害物だけではなく、まわりの状況、すなわち、遠景を含めて提示する方がドライバは、状況が把握しやすく、視認性も高くなる。ところが、特許文献1の技術では、障害物より遠方の映像が画面上に表示されないため、鉱山等の広大で変化の少ない環境では、距離感も得にくく、視認性が低下する能性が高い。
また、特許文献1に開示の技術では、障害物が遠方に存在する場合、俯瞰画像の視野範囲が広くなり、それに伴い、俯瞰画像中の障害物が小さくなる。鉱山のような広域現場においては、障害物までの距離が数十メートル以上になる場合がある。このため、特許文献1に開示の技術のような変換は、さらに、視認性を低下させる可能性がある。よって、特許文献1に開示の技術は、鉱山等の広大で変化の少ない環境において、障害物をドライバに視認させるには、適切とは言えない。
本発明は上記事情に鑑みてなされたもので、鉱山等の、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物を、ドライバに適切に提示する技術を提供することを目的とする。
本発明は、作業機械の周囲の障害物までの距離を含む障害物データを検出する障害物検出装置、前記作業機械の周囲を撮像する撮像装置および表示装置に接続される、前記作業機械の周囲画像表示装置であって、前記障害物検出装置に接続され、当該障害物検出装置が検出した障害物データを取得する障害物データ取得部と、前記撮像装置に接続され、当該撮像装置が撮像した前記作業機械の周囲の画像を取得する画像取得部と、前記画像取得部に接続され、前記画像取得部が取得した前記画像のうち、前記作業機械から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、前記画像取得部に接続され、当該画像取得部が取得した前記画像のうち、前記所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、前記第一投影面上の位置と前記第一俯瞰画像上の位置との対応関係、および、前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係を、それぞれ、保持するパラメータ保持部と、前記障害物データ取得部に接続され、前記障害物データ取得部が取得した前記障害物データに含まれる前記障害物までの距離と前記所定の距離とを比較し、前記障害物までの距離が前記所定の距離より大きいか判別する判別部と、前記障害物データ取得部と前記パラメータ保持部と前記第二俯瞰画像生成部とに接続され、前記障害物データ取得部が取得した前記障害物データと前記パラメータ保持部に保持された前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係とにより、前記第二俯瞰画像中の、前記障害物より前記作業機械に近い領域の画像の表示領域である近景領域を決定する領域決定部と、前記判別部と前記領域決定部とに接続され、前記判別部によって前記障害物までの距離が前記所定の距離より大きいと判別された場合、前記領域決定部によって決定された前記第二俯瞰画像中の前記近景領域以外の領域の前記第二俯瞰画像中の各頂点の座標を変換することにより、当該近景領域以外の領域の表示比率を拡大する縮尺変更を行う縮尺変更部と、前記第一俯瞰画像生成部と前記縮尺変更部と前記パラメータ保持部とに接続され、前記第一俯瞰画像生成部で生成された前記第一俯瞰画像と前記縮尺変更部から出力された第二俯瞰画像とを合成して合成画像を生成する画像合成部と、前記画像合成部に接続され、前記表示装置に前記合成画像を伝送する画像伝送部と、を備え、所定の領域の前記表示比率は、予め定めた第一の方向の、前記第二俯瞰画像内の当該所定の領域の長さの、前記第二俯瞰画像全体の長さに対する比率であり、前記第一の方向は、前記合成画像における前記作業機械に相当する位置から前記障害物に相当する位置に向かう方向であることを特徴とする作業機械の周囲画像表示装置を提供する。
本発明によれば、鉱山等の、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物を、ドライバに適切に提示できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
以下、本発明に係る作業機械の周囲画像表示装置の実施形態について、図1から図13の図面を参照しながら説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。
<<第一の実施形態>>
まず、本発明の第一の実施形態を説明する。本実施形態では、作業機械として、鉱山等で用いられるダンプトラックを例にあげて説明する。図1は、本実施形態のダンプトラック100の右側面図である。また、図2は、後述する周囲画像表示装置の機能ブロックと周囲画像表示装置に関連する構成の構成図である。
まず、本発明の第一の実施形態を説明する。本実施形態では、作業機械として、鉱山等で用いられるダンプトラックを例にあげて説明する。図1は、本実施形態のダンプトラック100の右側面図である。また、図2は、後述する周囲画像表示装置の機能ブロックと周囲画像表示装置に関連する構成の構成図である。
図1に示すように、本実施形態のダンプトラック100は、本体を形成するフレーム111と、車輪112と、ホイストシリンダ119によって上下方向の回動可能にフレーム111上に設けられる荷台113と、フレーム111上に配置される運転室114と、を備える。
また、本実施形態のダンプトラック100は、カメラ(撮像装置)130と、例えば、ディスプレイ等の表示装置140(図2参照)と、ミリ波レーダ(障害物検出装置)150と、周囲画像表示装置200(図2参照)と、をさらに備える。
カメラ130は、ダンプトラック100の車体周囲の状況を撮影する。カメラ130は、例えば、4台のカメラ131、132、133、134を備える。以下、特に区別する必要が無い場合は、カメラ130で代表する。これらのカメラ130は、それぞれ、それぞれ車体の前方、後方、右側方、左側方を撮像するように設置される。
これらのカメラ130の設置位置と、各カメラ130に搭載されたレンズの視野角とは、各カメラ130の視野範囲にその他のカメラの視野が重なるように設定される。このように設定することにより、車体周囲に死角となる領域がなくなる。なお、設置するカメラ130の台数は4台に限定されない。車体周囲に死角となる領域がないよう撮影可能であれば、台数は問わない。
カメラ130は、周囲画像表示装置200にケーブルを介して接続される。カメラ130で得た画像データ(以下、単に画像とも呼ぶ。)は、一定周期で周囲画像表示装置200の画像取得部280(図2参照)に伝送され、入力用フレームバッファに格納される。
ミリ波レーダ150(測距センサ)は、ダンプトラック100の前方の物体を検出する。このため、ミリ波レーダ150は、ダンプトラック100の車体のバンパ付近に設置される。ミリ波レーダ150では、信号を反復的に走査発信し、反射信号を得ることにより、送信方向にある物体までの距離(相対距離)、物体の方向、物体の相対速度を検出することができる。得られたこれらのデータを、一定周期で周囲画像表示装置200の障害物データ取得部260(図2参照)に伝送する。
表示装置140は、画像を表示するモニタを備える。モニタには、周囲画像表示装置200が処理した画像が表示される。表示装置140は、運転室114内に設置される。周囲画像表示装置200と表示装置140とは、例えば、ケーブルで接続される。このケーブルを介して、周囲画像表示装置200の画像伝送部250(図2参照)から表示装置140に表示する画像が伝送される。表示装置140は、モニタ以外に、警報音を出力するスピーカを備えてもよい。また、画像の表示範囲を調整するためのボタンやトグルスイッチなどのインタフェースを備えてもよい。
周囲画像表示装置200は、カメラ130で得た画像データと、ミリ波レーダ150で得た物体(以下、障害物と呼ぶ。)の相対距離、方向、相対速度および反射信号の受信強度の少なくとも1つと、を用いて、表示装置140に表示する表示画像を生成して出力する。本実施形態では、生成される表示画像は、ダンプトラック100の近景と遠景とで投影面の異なる2種類の俯瞰画像を含む周囲画像である。この周囲画像は、遠景内において、障害物より遠方の画像を残しつつ、障害物より近傍の画像を縮小し、障害物の画像を拡大するよう縮尺変更されて生成される。
これを実現するため、本実施形態の周囲画像表示装置200は、図2に示すように、画像取得部280と、第一俯瞰画像生成部210と、第二俯瞰画像生成部220と、第二俯瞰画像変更部230と、画像合成部240と、画像伝送部250と、障害物データ取得部260と、を備える。また、処理に用いる座標変換パラメータ121を保存するパラメータ保持部221を有する。
画像取得部280は、ダンプトラック100に設置された複数のカメラ130に接続され、当該複数のカメラ130が撮像した画像を取得する。画像取得部280は、第一俯瞰画像生成部210および第二俯瞰画像生成部220に対して、取得した画像を受け渡す処理を行う。例えば、画像取得部280がカメラ130から画像を取得した際、周囲画像表示装置200に搭載した入力用フレームバッファの所定メモリ領域に画像を格納し、そのフレームバッファの先頭アドレスを受け渡す等の手法により、画像は受け渡される。
第一俯瞰画像生成部210および第二俯瞰画像生成部220は、画像取得部280に接続され、画像取得部280から得られる画像に対して俯瞰変換処理を施す事で俯瞰画像を生成する。俯瞰画像は、予め設定された投影面に車体上方の視点から投影して得られる画像である。俯瞰変換に用いる座標変換パラメータ121は、パラメータ保持部221に格納されている。第一俯瞰画像生成部210が生成した第一俯瞰画像は、画像合成部240に、第二俯瞰画像生成部220が生成した第二俯瞰画像は、第二俯瞰画像変更部230に、それぞれ出力される。
本実施形態では、図3に示すように、投影する投影面400は、第一投影面410と第二投影面420とを備える。
第一投影面410は、ダンプトラック100から予め定めた距離(境界距離)Dsurを含むDsurより内側(以後、単にDsur内と呼ぶ)の画像を投影する面である。第一投影面410は、例えば、車両近傍の路面600と平行となるように設定された平面である。
第二投影面420は、境界距離Dsurより外側の画像を投影する面であり、第一投影面410とは異なる面である。例えば、第一投影面410に対して傾きを有する平面、路面600から上空に向かって徐々に面がせり上がるような曲面であってもよい。例えば、第二投影面420は、円柱の側面の一部の形状を有していてもよい。例えば、曲面に撮像した画像データを投影することで、平面に遠景を投影した場合に生じる画像の歪みを防ぐことが出来る。
第一俯瞰画像生成部210は、カメラ130が取得した画像のうち、境界距離Dsur内の画像を第一投影面410に投影した俯瞰画像(第一俯瞰画像)を生成する。ここでは、例えば、入力用フレームバッファに格納された画像データから、Dsurより内側の画像データを抽出し、パラメータ保持部221に格納されている第一俯瞰画像生成のための座標変換パラメータ121に基づき第一俯瞰画像を生成する。第一俯瞰画像生成部210は、生成した第一俯瞰画像を周囲画像表示装置200に搭載したフレームバッファの所定メモリ領域に格納し、そのメモリ領域のアドレスを画像合成部240に出力する。
第二俯瞰画像生成部220は、カメラ130が取得した画像のうち、境界距離Dsurより外側の画像を第二投影面420に投影した俯瞰画像(第二俯瞰画像)を生成する。ここでは、例えば、入力用フレームバッファに格納された画像データからDsurより外側の画像データを抽出し、パラメータ保持部221に格納されている第二俯瞰画像生成のための座標変換パラメータ121に基づき第二俯瞰画像を生成する。第二俯瞰画像生成部220は、生成した第二俯瞰画像を周囲画像表示装置200に搭載したフレームバッファの所定メモリ領域に格納し、そのメモリ領域のアドレスを画像合成部240に出力する。
第一投影面410と第二投影面420とは、ダンプトラック100の全周囲に設定される。第一俯瞰画像生成部210および第二俯瞰画像生成部220は、ダンプトラック100に設置されたカメラ130で撮影された画像を、撮影方向と撮影場所に応じて、それぞれの投影面に投影することで車両周囲の俯瞰画像を生成する。
障害物データ取得部260は、ミリ波レーダ150に接続され、ミリ波レーダ150の出力を用い、その測距領域内に、衝突する危険性の高い物体である障害物が存在するか否かを判別する。そして、存在すると判別された場合、ダンプトラック100の周囲の障害物の情報である障害物データを取得して第二俯瞰画像変更部230に出力する。障害物データとして、ここでは、例えば、障害物までの相対距離、方向、高さ、長さ、幅、反射波の受信強度等を取得する。
まず、障害物データ取得部260は、ミリ波レーダ150の出力のうち、反射波の受信強度を用い、検出対象が路面凹凸か車両であるかを判別する。
一般に、反射波の受信強度は、反射対象が金属の場合、高い値となる。従って、非金属である路面の凹凸は、受信強度が低く、金属を有する車両は受信強度が高くなる傾向がある。この特性を利用し、障害物データ取得部260は、ミリ波レーダ150が検出した対象の中から、非障害物である路面の凹凸と、障害物である車両とを判別する。
そして、測距領域内に、障害物である車両が存在すると判別した場合、当該車両の車種を識別し、当該車両の高さや幅を取得する。
鉱山環境においては、大きさの異なる作業機械が混在している。ミリ波レーダ150の測距範囲内の金属部の面積が広くなるほど、反射波の受信強度が高くなる。障害物データ取得部260は、この特性を利用し、受信強度の大きさの違いに応じて車両の種類を識別する。そして、予め保持する、車両の種類ごとのサイズデータを参照し、識別した車両の高さ、長さ、幅等のデータを得る。
第二俯瞰画像変更部230は、障害物データ取得部260と第二俯瞰画像生成部220とに接続され、障害物データを用いて、第二俯瞰画像内の障害物が表示される領域(障害物表示領域)の表示倍率(縮尺)を変更する縮尺変更処理を行う。そして、縮尺変更処理後の第二俯瞰画像を画像合成部240に出力する。
第二俯瞰画像変更部230は、ミリ波レーダ150で検出した障害物が第二俯瞰画像の表示範囲に存在するか否かを判別する判別部231と、第二俯瞰画像の表示範囲に存在する場合、障害物の表示領域を特定する領域決定部232と、縮尺変更部233と、を備える。
判別部231は、障害物データ取得部260に接続され、ミリ波レーダで検出した障害物が第二俯瞰画像の表示範囲に存在するかを判別する。本実施形態では、判別部231は、障害物データとして取得した相対距離と境界距離Dsurとを比較し、相対距離が境界距離Dsur以上の場合、障害物が第二俯瞰画像の表示範囲に存在すると判別する。判別結果は、領域決定部232および縮尺変更部233に出力される。
領域決定部232は、障害物データ取得部260とパラメータ保持部221と第二俯瞰画像生成部とに接続され、障害物データとパラメータ保持部221に保持される座標変換パラメータ121とを用いて、第二俯瞰画像内の各領域を決定する。決定する領域は、例えば、第二俯瞰画像内で障害物が存在する領域である障害物表示領域等であり、領域決定部232による領域決定処理の詳細は、後述する。
なお、パラメータ保持部221には、座標変換パラメータ121として、次式(1)で表されるミリ波レーダ150の検出位置とカメラ131で撮像した画像中の位置との座標変換に必要なパラメータが保持されている。
ここで、u,vはカメラ131で撮影した画像中の座標、X,Y,Zは図1に示す車両座標系における座標を表す。領域決定部232は、障害物データ取得部260より得られた障害物までの相対距離や障害物の高さ、長さ、幅の障害物データに基づき、X,Y,Zの値を設定することで、画像中の障害物の表示領域を求める事が可能である。また、λ及びA11〜A34は座標変換パラメータである。パラメータA11〜A34の値は、ミリ波レーダ150やカメラ131の車両座標系における設置位置や姿勢、カメラレンズの焦点距離や歪みを表す特性値、俯瞰平面を表すパラメータに基づき算出される値である。なお、λは、式(1)よりuとvを算出するための数式表現上のパラメータである。
ここで、u,vはカメラ131で撮影した画像中の座標、X,Y,Zは図1に示す車両座標系における座標を表す。領域決定部232は、障害物データ取得部260より得られた障害物までの相対距離や障害物の高さ、長さ、幅の障害物データに基づき、X,Y,Zの値を設定することで、画像中の障害物の表示領域を求める事が可能である。また、λ及びA11〜A34は座標変換パラメータである。パラメータA11〜A34の値は、ミリ波レーダ150やカメラ131の車両座標系における設置位置や姿勢、カメラレンズの焦点距離や歪みを表す特性値、俯瞰平面を表すパラメータに基づき算出される値である。なお、λは、式(1)よりuとvを算出するための数式表現上のパラメータである。
縮尺変更部233は、判別部231と領域決定部232と第二俯瞰画像生成部220とパラメータ保持部221とに接続され、第二俯瞰画像中の所定の領域の各頂点の座標を変換することにより、当該所定の領域の表示比率を変更する縮尺変更を行う。縮尺変更後の第二俯瞰画像は、画像合成部240に出力される。
なお、判別部231が、障害物が第二俯瞰画像の表示範囲に存在しないと判別した場合、すなわち、相対距離が境界距離Dsurより小さい場合、縮尺変更部233は、第二俯瞰画像を、そのまま、画像合成部240に出力する。
また、第二俯瞰画像変更部230は、測距領域に障害物が存在しない場合、すなわち、障害物データ取得部260から障害物データを受信しない場合、第二俯瞰画像を、そのまま、画像合成部240に出力する。
縮尺の変更は、障害物と当該障害物より遠方の画像とが周囲画像に、高い視認性を持って表示されるように行われる。本処理の詳細は、後述する。
画像合成部240は、第一俯瞰画像生成部210と第二俯瞰画像変更部230とパラメータ保持部221とに接続され、第一俯瞰画像と第二俯瞰画像変更部230から出力された第二俯瞰画像とを合成し合成画像を生成する。ここでは、第一俯瞰画像生成部210から出力された第一俯瞰画像を、出力用フレームバッファの第一エリアに格納し、第二俯瞰画像変更部230から出力された第二俯瞰画像を、出力用フレームバッファの第二エリアに格納する。出力用フレームバッファの第一エリアおよび第二エリアは、それぞれ、入力用フレームバッファの第一エリアおよび第二エリアに対応する領域である。
画像伝送部250は、画像合成部240に接続され、画像合成部240によって生成された合成画像を表示装置140に伝送し、周囲画像500として表示させる。
パラメータ保持部221には、座標変換パラメータ121として主に2種類のパラメータが保持される。
一方は、カメラ130の撮像画像上の位置と、ミリ波レーダ150による測距領域内の位置との対応関係を表す座標変換パラメータである。第二俯瞰画像変更部230は、この座標変換パラメータを用いる事で、ミリ波レーダ150で検出された障害物の画像中の位置を知る事が出来る。式(1)に示す変換式におけるパラメータA11〜A34に相当する。
他は、第一投影面及び第二投影面に対する俯瞰変換に必要な座標変換パラメータである。第一俯瞰画像生成部210および第二俯瞰画像生成部220は、このパラメータを用いる事で俯瞰画像を生成することができる。
これらのパラメータは、ダンプトラック100に搭載されたカメラ130やミリ波レーダ150の設置位置や姿勢角、カメラ130の画素数や画素サイズ、レンズ歪み度合いを表すパラメータ、第一投影面及び第二投影面を表すパラメータに基づいて、周囲画像表示装置200に関わる作業員によって、予め算出される。算出されたパラメータは、後述するメモリおよび/または記憶装置上に記録される。
図4に、周囲画像500の例を示す。周囲画像500は、出力用フレームバッファの第一エリアに対応する第一俯瞰画像領域510と、出力用フレームバッファの第二エリアに対応する第二俯瞰画像領域520と、アイコン画像領域550とを備える。アイコン画像領域550は、周囲画像500の中央部に設けられる。
アイコン画像領域550には、アイコン画像が表示される。アイコン画像は、例えば、ダンプトラック100を模した画像である。また、第一俯瞰画像領域510は、点線510bの内側の領域であり、本領域には、第一俯瞰画像が表示される。第二俯瞰画像領域520は、点線510bと実線520bとの間の領域であり、本領域には、第二俯瞰画像変更部230から出力された第二俯瞰画像が表示される。
なお、周囲画像表示装置200は、例えば、運転室114内等に設けられる。そして、周囲画像表示装置200は、CPUとメモリと記憶装置とを備える電子制御ユニット(ECU:Engine Control Unit)である。周囲画像表示装置200では、CPU(Central Processing Unit)が記憶装置に格納されたプログラムをメモリに展開して実行することにより、上記各機能を実現する。
CPUが実現する全部または一部の機能は、ASIC(Application Specific Integrated Circuit)、FPGA(field−programmable gate array)などのハードウェアによって実現されてもよい。また、判別部231内における比較処理等は、比較器等を用いた回路で実現してもよい。また、各機能の処理に用いる各種のデータ、処理中に生成される各種のデータは、記憶装置等に格納される。例えば、パラメータ保持部221は、記憶装置に格納される。
さらに、入力用フレームバッファおよび出力用フレームバッファは、それぞれ、メモリ上に設けられる。ただし、画像データの受け取り、合成等の処理は、フレームバッファによるものに限定されない。
次に、本実施形態の周囲画像表示装置200による、周囲画像生成処理の流れを説明する。図5は、本実施形態の周囲画像生成処理の処理フローである。
まず、第一俯瞰画像生成部210および第二俯瞰画像生成部220は、それぞれ、カメラ130から伝送された画像データ(カメラ画像)を、画像取得部280を介して取得する(ステップS1101)。
次に、第一俯瞰画像生成部210および第二俯瞰画像生成部220は、それぞれ、取得した画像データから、第一俯瞰画像および第二俯瞰画像を生成する(ステップS1102)。
障害物データ取得部260は、上記ステップS1101、1102に平行して、測距範囲に障害物900である他車両が存在するか否かを判別し(ステップS1103)、存在する、すなわち、検出された場合、障害物データを取得し、第二俯瞰画像変更部230に送信する。
第二俯瞰画像変更部230は、障害物900が存在しないと判別された場合、すなわち、障害物データを受信しない場合、第二俯瞰画像をそのまま出力する(ステップS1104)。
一方、障害物900が存在すると判別された場合、すなわち、障害物データを受信した場合、判別部231は、障害物が第二俯瞰画像の表示領域に存在するか否かを判別する(ステップS1105)。障害物が第二俯瞰画像の表示領域内に存在しない場合、ステップS1104へ移行する。
一方、第二俯瞰画像内に存在する場合、領域決定部232は、第二俯瞰画像内の予め定めた各領域を決定する領域決定処理を行う(ステップS1106)。そして、縮尺変更部233は、決定した障害物表示領域の表示比率を変更する縮尺変更処理を行い(ステップS1107)、縮尺変更後の第二俯瞰画像を出力する。なお、領域決定処理および縮尺変更処理の詳細は、後述する。
画像合成部240は、第一俯瞰画像と出力された第二俯瞰画像とを合成し、合成画像を生成する(ステップS1107)。
画像伝送部250は、合成画像を表示装置140に周囲画像500として表示させ(ステップS1108)、処理を終了する。
次に、ステップS1106の、領域決定部232による領域決定処理と縮尺変更部233による縮尺変更処理との詳細を、図6〜図11(b)を用いて説明する。ここでは、障害物900が、ダンプトラック100の前方に位置し、ダンプトラック100に向かって走行する場合を例にあげて説明する。
障害物900が、第二俯瞰画像内に表示される場合、ダンプトラック100と、第二投影面420と、障害物900との位置関係は、図6に示す通りである。障害物900までの相対距離911は、境界距離Dsur以上である。なお、障害物900の高さ方向を図6に示す座標系のz軸方向、同幅方向をx軸方向とする。
また、ダンプトラック100と障害物900とが、図6に示す位置関係にある場合に縮尺変更をせずに合成した合成画像540を、図7に示す。以下、本実施形態では、前方を撮影したカメラ画像から得た第二俯瞰画像、すなわち、第二俯瞰画像のうち、頂点507a、502a、504a、508aで規定される台形領域内の画像に縮尺変更を施す場合を例にあげて説明する。
まず、領域決定部232による領域特定処理について説明する。
第二投影面420における、障害物900が投影される領域の、z軸方向の最下端421は、障害物900の相対距離911と、上記座標変換パラメータ121とを用いて算出される。これは、合成画像540の、第二俯瞰画像領域520に表示される画像の境界線521に対応する。
また、第二投影面420における障害物900が投影される領域の、z軸方向の最上端422は、障害物900の相対距離911および高さ912と、上記座標変換パラメータ121とを用いて算出される。これは、合成画像540の第二俯瞰画像領域520に表示される画像における境界線522に対応する。
同様に、第二投影面420における、障害物900が投影される領域の、x軸方向の両端部は、障害物900の相対距離911および幅と、上記座標変換パラメータ121とを用い、第二投影面420における、障害物900が投影される領域の両端を算出する。これらは、合成画像540の、第二俯瞰画像領域520に表示される画像における、境界線523、524にそれぞれ対応する。
なお、領域決定部232は、その後に行う縮尺変更処理に応じて、必要十分な領域を決定する。
次に、縮尺変更部233による縮尺変更処理について説明する。なお、本明細書では、第二俯瞰画像の予め定めた方向の、特定の領域の長さの、第二俯瞰画像領域全体の長さに対する比率を表示比率と呼ぶ。予め定めた方向は、例えば、合成画像上のダンプトラック100に相当する位置から、障害物に向かう方向とする。例えば、図7の例では、予め定めた方向は、Y軸方向である。以下、第一の縮尺変更処理、第二の縮尺変更処理、および、第三の縮尺変更処理の3種の縮尺変更処理を例にあげて説明する。
第一の縮尺変更処理を図8(a)および図8(b)を用いて説明する。図8(a)は、縮尺変更処理前の第二俯瞰画像と第一俯瞰画像とを合成した合成画像540である。また、図8(b)は、第二俯瞰画像を第一の縮尺変更処理に従って変更し、縮尺変更後の第二俯瞰画像を第一俯瞰画像と合成した合成画像541である。合成画像541が、最終的に表示装置140に表示される周囲画像500である。
第一の縮尺変更処理は、図8(a)および図8(b)に示すように、第二俯瞰画像内の、障害物表示領域よりもダンプトラック100に近い領域(以下、第二近景領域と呼ぶ。)を縮小し、第二近景領域以外の表示領域を拡大する縮尺変更を行う処理である。
第二近景領域は、図6では、第二投影面420の、領域431に投影される領域であり、図8(a)では、領域531aに対応する。また、障害物表示領域は、第二俯瞰画像領域520の残りの領域532aである。この場合、第二俯瞰画像内で、第二近景領域531aと障害物表示領域532aとの間の境界線521を特定できれば、縮尺変更処理を行うことができる。従って、第一の縮尺変更処理を行う場合、障害物表示領域特定処理では、境界線521を特定すればよい。
縮尺変更部233は、境界線521で特定された障害物表示領域532aが拡大され、第二俯瞰画像領域中で予め定めた表示比率で表示されるよう障害物表示領域532aのサイズを変更する。サイズ変更は、アフィン変換により行われる。
アフィン変換のパラメータは、図8(a)の変更前の障害物表示領域532aの4つの頂点501a、502a、503a、504aの座標と、変更後の障害物表示領域532bの4つの頂点501b、502a、503b、504aの座標とを用いて算出する。また、変更後の障害物表示領域532bの頂点501b、503bの座標は、縮尺変更後の障害物表示領域532bあるいは第二近景領域531bの表示比率により定まる。
次に、第二の縮尺変更処理について、図9(a)および図9(b)を用いて説明する。図9(a)は、縮尺変更処理前の第二俯瞰画像と第一俯瞰画像とを合成した合成画像540である。また、図9(b)は、第二俯瞰画像を、第二の縮尺変更処理に従って変更し、縮尺変更後の第二俯瞰画像を第一俯瞰画像に合成した合成画像542である。
第二の縮尺変更処理は、第二俯瞰画像内の、第二近景領域531aの表示領域を縮小し、第二俯瞰画像内の障害物表示領域532aよりもダンプトラック100から遠い領域(第二遠景領域と呼ぶ。)の表示領域が、縮尺変更処理によって縮小しないようにしながら、障害物表示領域532aを拡大する縮尺変更を行う処理である。すなわち、この縮尺変更処理により、第二遠景領域は、少なくとも当初の表示比率を維持する。
第二遠景領域は、図6では、第二投影面420の、領域433に投影される領域であり、図9(a)では、領域533aに対応する。この場合、障害物表示領域532aは、第二俯瞰画像内の、第二近景領域531aと第二遠景領域533aとを除いた領域である。従って、第二の縮尺変更処理を行う場合、相対距離911と高さ912とを用い、第二俯瞰画像内で、第二近景領域531aと障害物表示領域532aとの間の境界線521と、第二遠景領域533aと障害物表示領域532aとの間の境界線522とを特定する。
第二近景領域531aの表示比率を当初よりも縮小する処理は、第一の縮小変更処理と同じである。
障害物表示領域532aの表示比率を、第二遠景領域533aの表示比率よりも拡大する処理は、図9(a)および図9(b)に示すように、変更前の障害物表示領域532aのY軸方向の長さをa2、同第二遠景領域533aのY軸方向の長さをa3、縮尺変更後の障害物表示領域532bのY軸方向の長さをb2、同第二遠景領域のY軸方向の長さをb3とすると、a2<a3のとき、b2>b3となるよう縮尺変更する処理である。なお、変更前から、a2≧a3の場合は、以下の拡大処理は行わなくてもよい。また、第二遠景領域の視認性が損なわれないようにb3≧a3となるように縮尺変更処理を行う。
縮尺変更部233は、境界線521と境界線522とで特定された障害物表示領域532aが、当初の表示比率より拡大され、かつ、第二遠景領域533aの表示領域を縮小せず、障害物表示領域532aの縮尺を変更する。この場合、第二遠景領域533bは、第二遠景領域533a以上に拡大表示される。
サイズ変更は、第一の縮尺変更処理同様、アフィン変換により行われる。アフィン変換は、障害物表示領域532aおよび第二遠景領域533aそれぞれについて、それぞれの変更前の4つの頂点および変更後の4つの頂点の座標を上記手法で算出し、変換パラメータを得ることにより、行う。なお、図9(a)において、頂点501a、505a、503a、506aは、障害物表示領域532aを、頂点505a、502a、506a、504aは、第二遠景領域533aを、それぞれ規定する4つの頂点である。また、図9(b)において、頂点501b、505b、503b、506bは、障害物表示領域532bを、頂点505b、502a、506b、504aは、第二遠景領域533bを、それぞれ規定する4つの頂点である。
次に、第三の縮尺変更処理について、図10(a)、図10(b)および図10(c)を用いて説明する。第三の縮尺変更処理は、第二俯瞰画像内の、第二近景領域531aの表示比率を、当初の表示比率より縮小するとともに、障害物表示領域532aの表示面積を、当初の表示面積よりも拡大する処理である。ここでは、ダンプトラック100の前方の領域の一部のみを示す。
本変更処理では、障害物表示領域532aの、X軸方向の表示領域も特定する必要がある。従って、図6に示す相対距離911と、高さ912と、幅とを用い、図7を用いて説明した手法で、図10(a)に示すように、第二俯瞰画像内で、境界線521、522、523、および524を特定する。そして、これらの境界線で囲まれた内部を、障害物表示領域532aとする。
本変更処理では、まず、第二の縮尺変更処理と同様の手法で、第二近景領域531aの表示比率を、当初の表示比率より縮小するとともに、障害物表示領域532aの、Y軸方向の表示比率を、第二遠景領域533aの表示比率よりも拡大する。そして、その後、障害物表示領域532bを、図中、X軸方向にも拡大する。X軸方向への拡大は、例えば、以下の手法で行う。
図10(a)は、縮尺変更前の合成画像540であり、図10(b)は、第二の縮尺変更処理後の合成画像543である。また、図10(c)は、その後、X軸方向にも拡大した後の合成画像544である。ここでは、説明を簡単にするため、変更処理後の第二近景領域531bの表示比率を0とした場合を例示する。
本変更処理では、図10(b)に示すY軸方向の表示比率拡大後の、障害物表示領域532bの4つの頂点551b、552b、553b,554bの座標を、図10(a)に示す元の合成画像540の4つの頂点の座標から、アフィン変換により算出する。得られた4つの座標から、Y軸方向の表示比率拡大後の障害物表示領域532bの、X軸方向の中心を通るY軸に平行な線555を特定する。そして、図10(c)に示すように、当該線555を中心として、予め定めた比率でX軸方向に拡大する。この場合も、例えば、上記4頂点の変換前後の座標値からアフィン変換の変換パラメータを算出し、それを用いて変換する。
障害物表示領域532bのX軸方向の拡大手法はこれに限定されない。例えば、11(a)に示すように、合成画像545の中心を通るY軸を中心として、予め定めた比率で、X軸方向に拡大してもよい。
拡大する比率は、Y軸方向に拡大した比率と同じであっても異なってもよい。また、X軸方向に拡大する際の中心とする線は、上記に限定されない。例えば、障害物表示領域532bのX軸方向の両端部のいずれかであってもよい。
さらに、図11(b)に示すように、縮尺変更部233は、第一の縮尺変更処理後の障害物表示領域532bをさらにX軸方向に拡大してもよい。なお、図11(b)は、この結果得られた合成画像546の例である。
なお、各縮尺変更処理において、縮尺変更後の各領域の表示比率は、予め定めておく。ドライバが所望の値を入力可能なように構成してもよい。また、第二近景領域531bの表示比率は、例えば、第三の縮尺変更処理の際に例示したように、0としてもよい。この場合、第二近景領域531bは、表示されない。
以上説明したように、本実施形態の作業機械(ダンプトラック)100の周囲画像表示装置200は、ダンプトラック100の周囲の障害物までの距離を含む障害物データを検出するミリ波レーダ150、前記ダンプトラック100の周囲を撮像するカメラ130および表示装置140に接続される。そして、障害物データ取得部260と、画像取得部280と、第一俯瞰画像生成部210と、第二俯瞰画像生成部220と、パラメータ保持部221と、判別部231と、領域決定部232と、縮尺変更部233と、画像合成部240と、画像伝送部250とを備える。
障害物データ取得部260は、ミリ波レーダ150に接続され、当該ミリ波レーダ150が検出した障害物データを取得する。画像取得部280は、カメラ130に接続され、当該カメラ130が撮像したダンプトラック100の周囲の画像を取得する。第一俯瞰画像生成部210は、画像取得部280に接続され、画像取得部280が取得した画像のうち、ダンプトラック100から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する。第二俯瞰画像生成部220は、画像取得部280に接続され、当該画像取得部280が取得した画像のうち、所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する。パラメータ保持部221は、第一投影面上の位置と第一俯瞰画像上の位置との対応関係、および、第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係を、それぞれ、保持する。判別部231は、障害物データ取得部260に接続され、障害物データ取得部260が取得した障害物データに含まれる障害物までの距離と前記所定の距離とを比較し、障害物までの距離が前記所定の距離より大きいか判別する。領域決定部232は、障害物データ取得部260とパラメータ保持部221と第二俯瞰画像生成部220とに接続され、障害物データ取得部260が取得した障害物データとパラメータ保持部221に保持された第二投影面上の位置と第二俯瞰画像上の位置との対応関係とにより、第二俯瞰画像中の、障害物よりダンプトラック100に近い領域の画像の表示領域である近景領域を決定する。縮尺変更部233は、判別部231と領域決定部232とに接続され、判別部231によって障害物までの距離が前記所定の距離より大きいと判別された場合、領域決定部232によって決定された第二俯瞰画像中の近景領域以外の領域の、第二俯瞰画像中の各頂点の座標を変換することにより、近景領域以外の領域の表示比率を拡大する縮尺変更を行う。画像合成部240は、第一俯瞰画像生成部210と縮尺変更部233とパラメータ保持部221とに接続され、第一俯瞰画像生成部210で生成された第一俯瞰画像と縮尺変更部233から出力された第二俯瞰画像とを合成して合成画像を生成する。画像伝送部250は、画像合成部240に接続され、表示装置140に合成画像を伝送する。所定の領域の表示比率は、予め定めた第一の方向の、第二俯瞰画像内の当該所定の領域の長さの、第二俯瞰画像全体の長さに対する比率である。第一の方向は、合成画像におけるダンプトラック100に相当する位置から障害物に相当する位置に向かう方向である。
まず、本実施形態によれば、最終的に表示装置140に表示される周囲画像500のうち、ダンプトラック100の近傍領域の画像から生成される第一俯瞰画像は、路面に平行な第一投影面410に投影して得た画像である。このため、ダンプトラック100の近傍領域については、領域内の物体とダンプトラック100との位置関係を、正確にドライバに提示できる。
また、本実施形態によれば、周囲画像500のうち、前述の近傍領域以遠の領域(遠方領域)の画像から生成される第二俯瞰画像は、路面に対して角度を有する第二投影面420に投影して得た画像である。このため、広範な領域の画像を表示することができる。このような2種類の俯瞰画像を合成して表示することで、ダンプトラック100の車体近傍から遠方の状況を、ドライバが視認しやすくなる。
一般に、画像への表示領域を広げると、画像中の障害物が小さくなり、視認性が悪くなる。しかし、本実施形態によれば、第二俯瞰画像において、さらに、衝突する危険性の高い障害物900がある場合、当該障害物を当初の表示サイズより拡大して表示させる。これにより、本実施形態によれば、広範な領域を表示しつつも、遠方領域の障害物の視認性が高まる。
さらに、本実施形態によれば、遠方領域の障害物を拡大する際、障害物よりさらに遠方の背景も周囲画像500に残るよう処理を行う。例えば、鉱山等の広大で変化の少ない環境において、遠方の障害物を拡大しつつも、ドライバにダンプトラック100周囲の遠景を含めた画像を提示できる。ドライバが状況を把握し易い、視認性の高い画像を提示できる。
従って、本実施形態によれば、鉱山等の、広大で変化の少ない環境であっても、ダンプトラック100から離れた障害物を、ドライバが状況を把握し易い態様で、適切に提示できる。そして、ドライバは、それを見て、作業を行うことができる。従って、安全性が向上する。
<<第二の実施形態>>
次に、本発明の第二の実施形態を説明する。本実施形態では、検出された障害物が複数ある場合、その中の特定の障害物に着目し、上記縮尺変更処理を行う。なお、本実施形態において着目する特定の障害物は、例えば、最も衝突する可能性の高い障害物とする。
次に、本発明の第二の実施形態を説明する。本実施形態では、検出された障害物が複数ある場合、その中の特定の障害物に着目し、上記縮尺変更処理を行う。なお、本実施形態において着目する特定の障害物は、例えば、最も衝突する可能性の高い障害物とする。
本実施形態のダンプトラック100は、基本的に第一の実施形態と同様の構成を有する。しかし、上記機能を実現するため、本実施形態のダンプトラック100は、図12に示すように、さらに、自車位置検出装置(運動データ取得装置)160を備える。また、周囲画像表示装置200の構成および処理内容が異なる。以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。
自車位置検出装置160は、ダンプトラック100の運動データを取得する。運動データは、例えば、ダンプトラック100の現在位置、姿勢、進行方向、速度等である。
自車位置検出装置160は、例えば、複数のGPS(Global Positioning System)衛星から送信される電波をアンテナで受信することで、自車両の位置や姿勢を検出するGPS受信機である。検出した自車両の位置や姿勢データから、進行方向、速度等の他の運動データを算出する。
なお、自車位置検出装置160は、これに限定されない。例えば、慣性計測装置(IMU:Inertial Measurement Unit)や、地上に設置された基地局からの電波を用いて位置を特定するシステムであってもよい。その場合、ダンプトラック100は、GPS受信機に代わり、そのシステム用のアンテナ、ジャイロセンサ、車輪112の回転数を検出するセンサ等を備える。
図12は、本実施形態の周囲画像表示装置200の機能ブロック図である。本図に示すように、本実施形態の周囲画像表示装置200は、第一の実施形態同様、第一俯瞰画像生成部210と、第二俯瞰画像生成部220と、第二俯瞰画像変更部230と、画像合成部240と、画像伝送部250と、障害物データ取得部260と、を備える。また、処理に用いる座標変換パラメータ121を保存するパラメータ保持部221を有する。
さらに、本実施形態の周囲画像表示装置200は、対象決定部270をさらに備える。
対象決定部270は、自車位置検出装置160と障害物データ取得部260とに接続され、障害物データ取得部260によって障害物データとして取得された障害物の相対距離と相対速度とを用い、対象障害物として1つ処理対象の障害物を決定する。対象障害物は、ダンプトラック100と衝突する可能性のある障害物である。このとき、自車位置検出装置160で得たダンプトラック100の運動情報を用いる。
対象障害物は、例えば、各障害物の相対距離と衝突時間TTC(Time To Collision)とにより決定する。
対象決定部270は、まず、検出された全ての障害物の中から、それぞれの相対距離を用いて、第二俯瞰画像領域に表示される障害物であるか否かを判別する。そして、第二俯瞰画像領域に表示されると判別された全障害物に対し、TTCを算出する。TTCは、ダンプトラック100と障害物との相対距離を相対速度で除算することで算出される。そして、TTCを算出した障害物の中で、最もTTCが短い障害物を、対象障害物とする。そして、対象障害物の障害物データを、第二俯瞰画像変更部230に通知する。
以下、第二俯瞰画像変更部230は、通知を受けた対象障害物の障害物データを用い、第一の実施形態と同様の処理を行う。
なお、対象障害物を決定する際、さらに、TTCの値に上限を設けてもよい。すなわち、TTCを算出した障害物の中で、TTCが所定の値より小さい障害物の中で、最もTTCが短い障害物を、対象障害物とする。これにより、遠方に存在し、かつ、相対速度差が小さい障害物が、対象障害物とされることを避けることができる。
例えば、相対距離が100m、相対速度差が1m/sである障害物のTTCは、100/1=100[s]となる。この障害物は、100[s]先の将来に衝突する可能のある障害物である。他に障害物が存在しない場合であっても、上限値として5[s]を設定しておけば、この障害物が対象障害物に決定されることはなく、表示装置140上に拡大表示されることはない。これにより、使い勝手のよい、実用的な装置を得ることができる。
なお、本実施形態の周囲画像生成処理の流れも、基本的に第一の実施形態と同様である。ただし、ステップS1103において、障害物データ取得部260は、障害物を検出した際、各障害物の障害物データを、対象決定部270に送信する。そして、対象決定部270が、複数の障害物の中から、対象障害物を上記手法で決定し、決定した対象障害物の障害物データを第二俯瞰画像変更部230に送信する。その後の処理は、第一の実施形態と同様である。
また、本実施形態においても、第一の実施形態同様、周囲画像表示装置200の各機能は、CPU等により実現される。
以上説明したように、本実施形態の周囲画像表示装置200は、第一の実施形態の構成を備える。このため、第一の実施形態と同様の効果を奏する。
また、本実施形態によれば、さらに、検出された複数の障害物の中から第二俯瞰画像表示領域内で拡大表示する対象障害物を決定する対象決定部270を備える。このため、本実施形態によれば、検出された障害物が複数ある場合であっても、その時点で最も危険性の高い障害物を特定し、当該障害物が拡大表示される。これにより、本実施形態によれば、さらに、鉱山等の、広大で変化の少ない環境において、ダンプトラック100から離れた領域に複数の障害物が存在しても、その中の最も衝突する可能性の高い障害物を、ドライバが状況を把握し易い態様で、効率的かつ適切に提示できる。そして、ドライバは、それを見て、作業を行うことができる。従って、安全性が向上する。
なお、上記各実施形態では、進行方向前方に障害物がある場合を例にあげて説明したが、障害物の存在箇所は、これに限定されない。ダンプトラック100の周囲の、どの方向に障害物があってもよい。
また、ダンプトラック100の周囲の各方向の、障害物表示領域の拡大率は、同じであってもよいし、それぞれ、異なってもよい。すなわち、各方向について、それぞれ、障害物表示領域の縮尺変更処理を独立に行うよう構成してもよい。
例えば、図12に示すように、障害物までの相対距離等の情報を得るミリ波レーダ151、152、153、154を方向毎に備えるよう構成してもよい。この場合、方向毎に障害物までの相対距離を得ることができる。相対距離に応じて、最適な拡大率を適用してもよい。
なお、障害物を検出するためのセンサとして、ミリ波レーダは備えなくてもよい。例えば、障害物データ取得部260は、カメラ130が取得した画像(カメラ画像)を用いてもよい。この場合、障害物データ取得部260は、カメラ画像に画像処理を施し、障害物データを取得する。
また、本実施形態の周囲画像表示装置200を搭載する鉱山用の作業機械はダンプトラック100に限定されない。例えば、ドーザや散水車、鉱山内の稼働状況を監視するサービスカーなどダンプトラックとは異なる種類の作業機械に搭載されてもよい。
100:ダンプトラック、111:フレーム、112:車輪、113:荷台、114:運転室、119:ホイストシリンダ、121:座標変換パラメータ、130:カメラ、131:カメラ、132:カメラ、133:カメラ、134:カメラ、140:表示装置、150:ミリ波レーダ、151:ミリ波レーダ、152:ミリ波レーダ、153:ミリ波レーダ、154:ミリ波レーダ、160:自車位置検出装置、
200:周囲画像表示装置、210:第一俯瞰画像生成部、220:第二俯瞰画像生成部、221:パラメータ保持部、230:第二俯瞰画像変更部、231:判別部、232:障害物領域特定部、233:縮尺変更部、240:画像合成部、250:画像伝送部、260:障害物データ取得部、270:対象決定部、280:画像取得部、
400:投影面、410:第一投影面、420:第二投影面、421:最下端、422:最上端、431:領域、433:領域、
500:周囲画像、501a:頂点、501b:頂点、502a:頂点、503a:頂点、503b:頂点、504a:頂点、505a:頂点、505b:頂点、506a:頂点、506b:頂点、507a:頂点、508a:頂点、510:第一俯瞰画像領域、510b:点線、520:第二俯瞰画像領域、520b:実線、521:境界線、522:境界線、523:境界線、524:境界線、531a:第二近景領域、531b:第二近景領域、532:障害物表示領域、532a:障害物表示領域、532b:障害物表示領域、533a:第二遠景領域、533b:第二遠景領域、540:合成画像、541:合成画像、542:合成画像、543:合成画像、544:合成画像、545:合成画像、546:合成画像、550:アイコン画像領域、551b:頂点、552b:頂点、553b:頂点、554b:頂点、
600:路面、900:障害物、911:相対距離、912:高さ、Dsur:境界距離
200:周囲画像表示装置、210:第一俯瞰画像生成部、220:第二俯瞰画像生成部、221:パラメータ保持部、230:第二俯瞰画像変更部、231:判別部、232:障害物領域特定部、233:縮尺変更部、240:画像合成部、250:画像伝送部、260:障害物データ取得部、270:対象決定部、280:画像取得部、
400:投影面、410:第一投影面、420:第二投影面、421:最下端、422:最上端、431:領域、433:領域、
500:周囲画像、501a:頂点、501b:頂点、502a:頂点、503a:頂点、503b:頂点、504a:頂点、505a:頂点、505b:頂点、506a:頂点、506b:頂点、507a:頂点、508a:頂点、510:第一俯瞰画像領域、510b:点線、520:第二俯瞰画像領域、520b:実線、521:境界線、522:境界線、523:境界線、524:境界線、531a:第二近景領域、531b:第二近景領域、532:障害物表示領域、532a:障害物表示領域、532b:障害物表示領域、533a:第二遠景領域、533b:第二遠景領域、540:合成画像、541:合成画像、542:合成画像、543:合成画像、544:合成画像、545:合成画像、546:合成画像、550:アイコン画像領域、551b:頂点、552b:頂点、553b:頂点、554b:頂点、
600:路面、900:障害物、911:相対距離、912:高さ、Dsur:境界距離
Claims (4)
- 作業機械の周囲の障害物までの距離を含む障害物データを検出する障害物検出装置、前記作業機械の周囲を撮像する撮像装置および表示装置に接続される、前記作業機械の周囲画像表示装置であって、
前記障害物検出装置に接続され、当該障害物検出装置が検出した障害物データを取得する障害物データ取得部と、
前記撮像装置に接続され、当該撮像装置が撮像した前記作業機械の周囲の画像を取得する画像取得部と、
前記画像取得部に接続され、前記画像取得部が取得した前記画像のうち、前記作業機械から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、
前記画像取得部に接続され、当該画像取得部が取得した前記画像のうち、前記所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、
前記第一投影面上の位置と前記第一俯瞰画像上の位置との対応関係、および、前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係を、それぞれ、保持するパラメータ保持部と、
前記障害物データ取得部に接続され、前記障害物データ取得部が取得した前記障害物データに含まれる前記障害物までの距離と前記所定の距離とを比較し、前記障害物までの距離が前記所定の距離より大きいか判別する判別部と、
前記障害物データ取得部と前記パラメータ保持部と前記第二俯瞰画像生成部とに接続され、前記障害物データ取得部が取得した前記障害物データと前記パラメータ保持部に保持された前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係とにより、前記第二俯瞰画像中の、前記障害物より前記作業機械に近い領域の画像の表示領域である近景領域を決定する領域決定部と、
前記判別部と前記領域決定部とに接続され、前記判別部によって前記障害物までの距離が前記所定の距離より大きいと判別された場合、前記領域決定部によって決定された前記第二俯瞰画像中の前記近景領域以外の領域の前記第二俯瞰画像中の各頂点の座標を変換することにより、当該近景領域以外の領域の表示比率を拡大する縮尺変更を行う縮尺変更部と、
前記第一俯瞰画像生成部と前記縮尺変更部と前記パラメータ保持部とに接続され、前記第一俯瞰画像生成部で生成された前記第一俯瞰画像と前記縮尺変更部から出力された第二俯瞰画像とを合成して合成画像を生成する画像合成部と、
前記画像合成部に接続され、前記表示装置に前記合成画像を伝送する画像伝送部と、を備え、
所定の領域の前記表示比率は、予め定めた第一の方向の、前記第二俯瞰画像内の当該所定の領域の長さの、前記第二俯瞰画像全体の長さに対する比率であり、
前記第一の方向は、前記合成画像における前記作業機械に相当する位置から前記障害物に相当する位置に向かう方向であること
を特徴とする作業機械の周囲画像表示装置。 - 請求項1記載の作業機械の周囲画像表示装置において、
前記障害物データは、前記障害物の高さをさらに含み、
前記領域決定部は、前記障害物データ取得部が取得した前記障害物の高さと前記パラメータ保持部に保持された前記第二投影面上の位置と前記第二俯瞰画像上の位置との対応関係とにより、前記第二俯瞰画像中の前記近景領域以外の領域内において、前記障害物の表示領域である障害物表示領域と、前記障害物より前記作業機械から遠い領域の画像の表示領域である遠景領域とをさらに決定し、
前記縮尺変更では、前記第二俯瞰画像中の前記障害物表示領域の表示比率は拡大され、かつ、前記遠景領域の表示比率は、前記縮尺変更前の表示比率以上とされること
を特徴とする作業機械の周囲画像表示装置。 - 請求項2記載の作業機械の周囲画像表示装置において、
前記障害物データは、前記障害物の幅をさらに含み、
前記領域決定部は、前記障害物の幅をさらに用いて、前記第一の方向に交差する第二の方向の前記第二俯瞰画像中の前記障害物表示領域を決定し、
前記縮尺変更では、前記縮尺変更後の前記障害物表示領域の表示面積は前記縮尺変更前の当該障害物表示領域の表示面積よりも拡大されること
を特徴とする作業機械の周囲画像表示装置。 - 請求項1記載の作業機械の周囲画像表示装置において、
前記作業機械の運動データを取得する運動データ取得装置にさらに接続され、前記運動データ取得装置が取得した前記作業機械の運動データと前記障害物データ取得部が取得した前記障害物データとに基づき、前記障害物検出装置において前記障害物データが検出された前記障害物各々の衝突時間を算出し、当該衝突時間が最も短い障害物を、対象障害物と決定する対象決定部をさらに備え、
前記判別部と前記領域決定部とは、前記対象決定部が対象障害物と決定した障害物の前記障害物データを用いること
を特徴とする作業機械の周囲画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017064718A JP6715205B2 (ja) | 2017-03-29 | 2017-03-29 | 作業機械の周囲画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017064718A JP6715205B2 (ja) | 2017-03-29 | 2017-03-29 | 作業機械の周囲画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018170557A JP2018170557A (ja) | 2018-11-01 |
JP6715205B2 true JP6715205B2 (ja) | 2020-07-01 |
Family
ID=64020430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017064718A Active JP6715205B2 (ja) | 2017-03-29 | 2017-03-29 | 作業機械の周囲画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6715205B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112255973A (zh) * | 2019-07-02 | 2021-01-22 | 库卡机器人(广东)有限公司 | 工业生产***中的目标检测方法、检测终端及存储介质 |
WO2021192372A1 (ja) * | 2020-03-27 | 2021-09-30 | 株式会社Jvcケンウッド | 表示制御装置、表示制御方法及びプログラム |
JP7436331B2 (ja) | 2020-09-02 | 2024-02-21 | 日立Astemo株式会社 | 画像処理装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5369465B2 (ja) * | 2008-03-25 | 2013-12-18 | 富士通株式会社 | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム |
KR101751405B1 (ko) * | 2010-10-22 | 2017-06-27 | 히다치 겡키 가부시키 가이샤 | 작업 기계의 주변 감시 장치 |
JP5813439B2 (ja) * | 2011-09-27 | 2015-11-17 | クラリオン株式会社 | 俯瞰画像表示装置 |
US9852632B2 (en) * | 2012-02-10 | 2017-12-26 | Mitsubishi Electric Corporation | Driving assistance device and driving assistance method |
JP5911775B2 (ja) * | 2012-08-21 | 2016-04-27 | 富士通テン株式会社 | 画像生成装置、画像表示システム及び画像生成方法 |
JP5776995B2 (ja) * | 2014-03-11 | 2015-09-09 | クラリオン株式会社 | 車両用周辺監視装置 |
-
2017
- 2017-03-29 JP JP2017064718A patent/JP6715205B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018170557A (ja) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445928B2 (en) | Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types | |
CN112419385B (zh) | 一种3d深度信息估计方法、装置及计算机设备 | |
JP5444338B2 (ja) | 車両周囲監視装置 | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
US8395490B2 (en) | Blind spot display apparatus | |
CN104442567B (zh) | 交通工具图像显示***中的物体突显和传感 | |
JP5857224B2 (ja) | 駐車支援装置、及び駐車支援方法 | |
US8184160B2 (en) | Image processor, driving assistance system, and out-of-position detecting method | |
JP4796676B2 (ja) | 車両上方視点画像表示装置 | |
JP2008309529A (ja) | ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム | |
JP2008271308A (ja) | 画像処理装置及び方法並びに車両 | |
JP2005310140A (ja) | オブジェクトの認識及び/又は追跡方法 | |
JP2000295604A (ja) | 車両用後側方監視装置 | |
JP5959264B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム | |
JP6715205B2 (ja) | 作業機械の周囲画像表示装置 | |
JP2007198962A (ja) | 車両用案内表示装置 | |
JPWO2019202628A1 (ja) | 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法 | |
JP5915923B2 (ja) | 画像処理装置及び運転支援システム | |
JP2018139084A (ja) | 装置、移動体装置及び方法 | |
WO2021106197A1 (ja) | 物体認識装置及び物体認識方法 | |
JP2006252269A (ja) | 広域画像生成装置及びこれを用いた車両の周辺監視装置並びに広域画像生成方法 | |
JP2018189463A (ja) | 車両位置推定装置及びプログラム | |
JP4475015B2 (ja) | 車両周辺監視装置及び車両周辺監視方法 | |
JP2011254128A (ja) | 平面図生成装置及び平面図生成方法 | |
CN112912895B (zh) | 一种检测方法、装置和车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200608 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6715205 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |