JP6321977B2 - 重機用周辺監視装置 - Google Patents

重機用周辺監視装置 Download PDF

Info

Publication number
JP6321977B2
JP6321977B2 JP2014010674A JP2014010674A JP6321977B2 JP 6321977 B2 JP6321977 B2 JP 6321977B2 JP 2014010674 A JP2014010674 A JP 2014010674A JP 2014010674 A JP2014010674 A JP 2014010674A JP 6321977 B2 JP6321977 B2 JP 6321977B2
Authority
JP
Japan
Prior art keywords
virtual image
virtual
arm
heavy
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014010674A
Other languages
English (en)
Other versions
JP2015139158A (ja
Inventor
彰一 石川
彰一 石川
素温 秦野
素温 秦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2014010674A priority Critical patent/JP6321977B2/ja
Publication of JP2015139158A publication Critical patent/JP2015139158A/ja
Application granted granted Critical
Publication of JP6321977B2 publication Critical patent/JP6321977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、クレーン車等の重機に搭載されて、重機の周囲状況を画像化して運転者に提示する重機用周辺監視装置に関するものである。
近年、車両の周囲に複数のカメラを設置して、これらの複数のカメラで撮影した画像を座標変換して合成し、車両周辺の状況を１枚の俯瞰画像で表現して運転者に提示する周辺監視システムが実用化されている。そして、このような周辺監視システムは乗用車のみならず、重機にも適用されている。
例えば、特許文献１に記載された作業機械のモニタ装置では、重機（例えばクレーン車）の周囲に設置された複数のカメラで撮影した、重機の周囲の画像をそれぞれ座標変換して１枚の画像に合成し、表示する範囲をずらしながら同じ向きで表示している。
特許第５０６６１９８号
しかしながら、特許文献１に記載されたモニタ装置は、クレーン車が作業中にアームを伸ばしたときやアームを旋回したときであっても、表示部には、常に同じ向きの画像が表示されていた。
このような従来のモニタ装置にあっては、作業中にアームの長さや方向を調整して作業エリアが変化したときであっても、常に同じ向きに表示されていた。さらに、例えばアームを旋回させて作業エリアが変化したときには、表示される画像の中で注意を払うべき領域の位置が変化する。特に、作業中にアームを伸ばしたときには、注意を払うべき、アーム先端の直下位置がクレーン車から遠ざかる方向に移動するため、モニタしている画像からフレームアウトしてしまう恐れがあった。このようなときには、視認が必要な範囲が監視できなくなるため、クレーン車の運転者は、表示された画像を見ても、障害物の存在する方向や位置を即座に認識するのが困難であった。
本発明は、上記課題に鑑みてなされたもので、重機の作業状態（例えば、クレーン車のアームの長さや方向）に応じた形態で重機の周囲の画像を表示することにより、障害物の存在する方向や位置を即座に認識することができる重機用周辺監視装置を提供することを目的とする。
本発明に係る重機用周辺監視装置は、重機の周辺に存在する障害物を高い視認性で確認することができるものである。
すなわち、本発明に係る重機用周辺監視装置は、長さと仰角を変更可能なアームを備えて、運転者が搭乗して左右に旋回可能な上部旋回体と走行移動が可能な下部走行体とからなる重機にあって、前記下部走行体の周囲に複数取り付けられて、前記重機の周辺の地面を含む複数の画像を撮影する撮像部と、前記撮像部で撮影された複数の画像を、それぞれ変換、合成して、前記重機の上空の所定の位置に、所定の方向に向けて仮想的に設置された仮想撮像部から観測されると予測される１枚の仮想画像を生成する仮想画像生成部と、前記上部旋回体に前記運転者が視認可能に設置された、前記仮想画像が表示される表示部と、を有する重機用周辺監視装置において、前記アームの長さと、前記アームの仰角と、前記アームの旋回角度と、をそれぞれ計測する重機姿勢計測部と、前記仮想画像の上に、前記仮想撮像部から観測されると予測される前記重機の姿勢を模擬したアイコンを重畳するアイコン重畳表示部と、を有して、前記仮想画像生成部は、前記重機姿勢計測部が計測した前記重機の姿勢に応じた位置に、前記姿勢に応じた方向に向けて設置された仮想撮像部から観測されると予測される仮想画像を生成し、前記アイコン重畳表示部は、前記重機の姿勢に応じたアイコンを前記仮想画像に重畳して、前記アイコンが重畳された仮想画像を前記表示部に表示することを特徴とする。
このように構成された本発明に係る重機用周辺監視装置によれば、重機の下部走行体の周囲に複数取り付けられた撮像部で撮影された、重機の周辺の地面を含む複数の画像を、仮想画像生成部が、重機姿勢計測部によって計測された、アームの旋回角度と、アームの長さと、アームの仰角とに応じた位置と方向に設置された仮想撮像部から観測されると予測される１枚の仮想画像に変換、合成して、アイコン重畳表示部が仮想画像の上に、重機の姿勢に応じたアイコンを重畳して、アイコンが重畳された仮想画像を、重機の運転者が視認可能な表示部に表示するため、重機の運転者は、作業中の重機の姿勢変化によらずに、重機の作業エリアにおける障害物の位置と方向を即座に認識することができる。
本発明に係る重機用周辺監視装置によれば、重機の姿勢変化によらずに、重機の作業エリアにおける障害物の位置と方向を即座に認識することができる。
重機の一例であるクレーン車の各部の名称と、重機の姿勢に関わるパラメータについて説明する外観図である。 実施例１における重機用周辺監視装置のハードウェア構成について説明するハードウェアブロック図である。 実施例１における重機用周辺監視装置の機能構成について説明する機能ブロック図である。 本発明の一実施形態である実施例１を説明する際に必要となる座標系について説明する側面図である。 本発明の一実施形態である実施例１を説明する際に必要となる座標系について説明する上面図である。 実施例１において生成される、仮想撮像部から観測されると予測される仮想画像の例を示す図である。 実施例１において生成される、仮想撮像部から観測されると予測される仮想画像にアイコンを重畳した例を示す図である。 仮想撮像部の設置高さが低位置でアームの旋回角度が０である場合に対応する座標変換合成テーブル（ＬＵＴ）の構造を示す図である。 座標変換合成テーブル（ＬＵＴ）の内部構造を示す図である。 仮想撮像部の設置高さが中位置でアームの旋回角度が０である場合の座標変換合成テーブル（ＬＵＴ）の例を示す図である。 仮想撮像部の設置高さが高位置でアームの旋回角度が０である場合の座標変換合成テーブル（ＬＵＴ）の例を示す図である。 実施例１において、予め準備しておく座標変換合成テーブル（ＬＵＴ）の一覧を示す図である。 実施例１において予め準備しておくアイコンテーブルの内容を示す図である。 実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が０、アーム射影長が短い場合の仮想画像の例である。 実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が右方向に小角度、アーム射影長が短い場合の仮想画像の例である。 実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が右方向に中角度、アーム射影長が短い場合の仮想画像の例である。 実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が右方向に大角度、アーム射影長が短い場合の仮想画像の例である。 実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が０、アーム射影長が中程度の場合の仮想画像の例である。 実施例１において生成される、アイコンが重畳された仮想画像を示す図であり、アームの旋回角度が０、アーム射影長が長い場合の仮想画像の例である。 実施例１で行う処理全体の流れを示すフローチャートである。 図１１に示すフローチャートの中で行うアームの旋回方向と旋回量の判定処理の流れを示すフローチャートである。 図１１に示すフローチャートの中で行う仮想撮像部の設置位置を算出する処理の流れを示すフローチャートである。 図１１に示すフローチャートの中で行う座標変換合成処理の流れを示すフローチャートである。 図１１に示すフローチャートの中で行うアイコンの選択・重畳処理の流れを示すフローチャートである。 実施例１において生成される、アイコンが重畳された仮想画像の変形例を示す図であり、アームの旋回角度が０、アーム射影長が短い場合の仮想画像の一例である。 実施例１において生成される、アイコンが重畳された仮想画像の変形例を示す図であり、アームの旋回角度が右方向に小角度、アーム射影長が短い場合の仮想画像の一例である。 本発明の一実施形態である実施例２における重機用周辺監視装置の機能構成について説明する機能ブロック図である。 実施例２において生成される、重機が前進する際に表示される仮想画像の一例を示す図である。 実施例２において生成される、重機が後退する際に表示される仮想画像の一例を示す図である。 実施例２で行う処理全体の流れを示すフローチャートである。
以下、本発明の一実施形態である実施例１について、図面を参照して説明する。
本実施例は、本発明を、重機の周囲に存在する障害物の状況を撮影して表示する、重機用周辺監視装置に適用したものである。
（クレーン車の概略構造の説明）
まず、重機の一例であるクレーン車の概略構造と各部の名称について、図１を用いて説明する。
本実施例の重機用周辺監視装置１０は、例えばクレーン車１２のような建設機械に搭載されている。クレーン車１２は、上部旋回体２０と、下部走行体３０からなる。上部旋回体２０は、運転者８（非図示）が搭乗するキャビン２２と、積荷の運搬等の作業を行うアーム２４と、ワイヤ２６を介してアーム２４に設置されて、積荷２９を吊り上げるフック２８からなる。
上部旋回体２０は、運転者８の操作に応じて、アーム２４の旋回角度φ、仰角ε、アーム長Ｌ、およびワイヤ長（アーム２４の先端とフック２８の距離）をそれぞれ制御することができる。
下部走行体３０は、複数の車輪と、車輪および上部旋回体２０を駆動する動力源を有する。そして、下部走行体３０の周囲４方向に向けて、クレーン車１２の前方方向４２ａを撮影する前方カメラ４０ａ（撮像部）と、クレーン車１２の左側方方向４２ｂを撮影する左側方カメラ４０ｂ（撮像部）と、クレーン車１２の後方方向４２ｃを撮影する後方カメラ４０ｃ（撮像部）と、クレーン車１２の右側方方向４２ｄを撮影する右側方カメラ４０ｄ（撮像部）を備えている。以後、４台のカメラを総称するときは、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）と記載する。各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）には、できるだけ広範囲を観測できるように広角レンズが装着されている。また、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）の設置位置（地面からの高さ、光軸の方向、他のカメラとの位置関係）は、予めわかっているものとする。
（実施例１のシステム構成の説明）
次に、図２を用いて、実施例１に係る重機用周辺監視装置１０のハードウェア構成について説明する。重機用周辺監視装置１０は、前述した前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄと、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像をそれぞれ座標変換して合成し、１枚の仮想画像を生成する画像処理演算部５０と、クレーン車１２のアーム２４の旋回角度φを計測するジャイロセンサ７０と、クレーン車１２のアーム長Ｌを計測するレーザ距離センサ７２と、クレーン車１２のアーム２４の仰角εを計測する傾斜センサ７４と、各センサ（ジャイロセンサ７０，レーザ距離センサ７２，傾斜センサ７４）と画像処理演算部５０との間で情報の送受信を行うＣＡＮ通信線７６と、生成された仮想画像を表示するモニタ７８からなる。なお、使用される各センサは、それぞれの用途に向けて汎用的に使用されているものであるため、各々のセンサの構成や測定方法についての説明は省略する。
画像処理演算部５０は、さらに、各カメラから出力されたコンポジット信号（アナログ信号）をデジタル化された画像信号に変換するＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）と、デジタル化された画像信号をＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換するデコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）と、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像に対して座標変換演算を行う座標変換演算部５６と、座標変換演算を行う際に利用するＬＵＴ（ルックアップテーブル）が記憶されたＦＬＡＳＨ ＲＯＭ５８と、座標変換演算を行う際に画像信号を一時格納するビデオメモリ（フレームバッファ）であるＳＤＲＡＭ６０と、座標変換演算を行う座標変換演算部５６を制御するとともに、前述したジャイロセンサ７０，レーザ距離センサ７２，傾斜センサ７４において計測されたセンサ情報を、ＣＡＮ通信線７６を介して取得するＣＰＵ６２と、座標変換されたＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ‐Ｓｙｎｃ信号をコンポジット信号（デジタル信号）に変換するエンコーダ６４と、コンポジット信号（デジタル信号）をアナログ信号に変換するＤＡ変換器６６からなる。
なお、画像処理演算部５０の構成要素のうち、ＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）と、デコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）と、座標変換演算部５６と、エンコーダ６４と、ＤＡ変換器６６は、本実施例の用途に合うように専用に設計された集積回路であるＡＳＩＣ５１（Application Specific Integrated Circuit）で構成されている。
次に、図３を用いて、実施例１に係る重機用周辺監視装置１０の機能ブロック構成について説明する。重機用周辺監視装置１０は、前述した前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄと、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像をそれぞれ座標変換して合成し、１枚の仮想画像を生成する仮想画像生成部１００と、クレーン車１２（図１参照）のアーム２４の姿勢と長さを計測する重機姿勢計測部９０と、仮想画像の上に重畳するクレーン車１２（図１参照）を模した複数のアイコンＩが格納されたアイコンテーブル８６と、複数のアイコンＩの中から選択されたアイコンＩを、仮想画像の上に重畳するアイコン重畳表示部８８と、装置全体の動きを制御する全体制御部９４と、生成された仮想画像を表示する表示部９６からなる。
仮想画像生成部１００は、さらに、クレーン車１２の姿勢に応じた位置に仮想撮像部を設置する仮想撮像部設置部８０と、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像をそれぞれ座標変換して１枚の仮想画像に合成する際に利用するＬＵＴ（Look Up Table）からなる座標変換合成テーブル８２と、座標変換処理および画像合成処理を行う座標変換合成部８４からなる。
重機姿勢計測部９０は、さらに、クレーン車１２のアーム２４の旋回角度φを計測する旋回角計測部９１と、クレーン車１２のアーム長Ｌを計測するアーム長計測部９２と、クレーン車１２のアーム２４の仰角εを計測するアーム仰角計測部９３からなる。
（実施例１で用いる座標系の説明）
次に、図４Ａ，図４Ｂを用いて、実施例１に係る重機用周辺監視装置１０の作用を説明するために必要な座標系について説明する。図４Ａは、本実施例に係る重機用周辺監視装置１０を搭載したクレーン車１２を側面から見た側面図である。また、図２Ｂは、本実施例に係る重機用周辺監視装置１０を搭載したクレーン車１２を上方から見た上面図である。
図４Ａ，図４Ｂに示すように、クレーン車１２の上部旋回体２０の旋回中心点Ｒを通る鉛直線と地面との交点を原点Ｏとして、クレーン車１２の左右方向、右向きにＸ軸を設定し、クレーン車１２の前後方向、前向きにＹ軸を設定し、クレーン車１２の上下方向、上向きにＺ軸を設定する。以後の説明は、このように設定された座標系（Ｘ，Ｙ，Ｚ）を用いて行う。
なお、クレーン車１２のアーム２４は、高さｈ０の位置にある上部旋回体２０の旋回中心点Ｒを支端として、長さＬを有し、仰角ε（図４Ａ参照），旋回角度φ（図４Ｂ参照）で特定される方向を向いているものとする。この旋回中心点Ｒの座標はＲ（０，０，ｈ０）となる。
ここで、旋回角度φは、アーム２４の先端ＣがＹ軸に対して右側を向いているときを正（φ＞０，右旋回）、アーム２４の先端ＣがＹ軸に対して左側を向いているときを負（φ＜０，左旋回）とする。
図４Ａ，図４Ｂに示すように、クレーン車１２に備えられた前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄは、それぞれ斜め下向きに配置されて、クレーン車１２の直近位置から距離Ｋの範囲の地面を含む領域を撮影しているものとする。すなわち、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）は、図４Ｂに示すように、前方カメラ４０ａは撮像範囲４４ａの領域を撮影し、左側方カメラ４０ｂは撮像範囲４４ｂの領域を撮影し、後方カメラ４０ｃは撮像範囲４４ｃの領域を撮影し、右側方カメラ４０ｄは撮像範囲４４ｄの領域を撮影するように設置されている。なお、図４Ａに示すように、原点Ｏから撮像範囲４４ａの最遠点までの距離、原点Ｏから撮像範囲４４ｃの最遠点までの距離をそれぞれＫ０とする。
各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像は、重機用周辺監視装置１０の作用によって、クレーン車１２の上空に仮想的に設置された仮想カメラ４０ｖ（仮想撮像部）から見下ろしたときに観測されると予測される画像（仮想画像）に変換される。
仮想カメラ４０ｖ（仮想撮像部）は、図４Ａに示すように、Ｚ軸上の設置高さＺ０の位置に真下に向けて設置される。すなわち、仮想カメラ４０ｖの設置位置Ｖの座標は、Ｖ（０，０，Ｚ０）となる。そして、仮想カメラ４０ｖは、クレーン車１２に設置された各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）の撮影範囲内を画像化するものとする。
なお、仮想カメラ４０ｖ（仮想撮像部）の設置位置Ｖは、図４Ａに示すように、前方カメラ４０ａの撮影範囲のうち、地面上の最遠点である点Ａとアーム２４の先端Ｃを通る直線が、Ｚ軸と交差する位置とする。このような規則を設けることによって、仮想カメラ４０ｖの設置位置Ｖを一意に決定することができる。
すなわち、仮想カメラ４０ｖの設置高さＺ０は、（式１）によって算出される。
Ｚ０＝Ｋ０＊｛（ｈ０＋Ｌｓｉｎε）／（Ｋ０−Ｌｃｏｓε）｝ （式１）
なお、クレーン車１２の前方には障害物である杭Ｑが存在しているものとする。この杭Ｑは地面から所定の高さを有しており、以後の説明を簡単にするため、旋回角度φ＝０，仰角εの姿勢にあるアーム２４の先端Ｃを鉛直上方から地面に射影した位置に存在しているものとする。
（仮想画像の構造の説明）
次に、図５Ａ，図５Ｂを用いて、仮想カメラ４０ｖ（仮想撮像部，図４Ａ参照）から観測されると予測される仮想画像の例について説明する。
図５Ａは、前方カメラ４０ａ，左側方カメラ４０ｂ，後方カメラ４０ｃ，右側方カメラ４０ｄでそれぞれ撮影された画像を座標変換して１枚の仮想画像Ｉｖ（ｘ，ｙ）に合成した例を示す図である。
すなわち、前方カメラ４０ａで撮影された画像ＩＡ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＡ（ｘ，ｙ）に変換して、左側方カメラ４０ｂで撮影された画像ＩＢ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＢ（ｘ，ｙ）に変換して、後方カメラ４０ｃで撮影された画像ＩＣ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＣ（ｘ，ｙ）に変換して、右側方カメラ４０ｄで撮影された画像ＩＤ（ｘ，ｙ）を、仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される仮想画像ＩＶＤ（ｘ，ｙ）に変換して、このようにして変換された各仮想画像（ＩＶＡ（ｘ，ｙ），ＩＶＢ（ｘ，ｙ），ＩＶＣ（ｘ，ｙ），ＩＶＤ（ｘ，ｙ））を１枚の画像に合成したものである。
なお、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像を仮想カメラ４０ｖ（仮想撮像部）から観測した仮想画像（ＩＶＡ（ｘ，ｙ），ＩＶＢ（ｘ，ｙ），ＩＶＣ（ｘ，ｙ），ＩＶＤ（ｘ，ｙ））に変換する手法には様々なものがあり、そのいずれを用いてもよい。例えば、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）で撮影した画像Ｉｉ（ｘ，ｙ） (ｉ＝Ａ〜Ｄ)に、全て平坦な地面（高さ０の平面）が映っているものと仮定して、その地面の点が、仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)上でどの画素（座標）に観測されるかを逐次計算することによって、仮想画像ＩＶｉ（ｘ，ｙ）を生成することができる。
このようにして、前方カメラ４０ａで撮影された画像ＩＡ（ｘ，ｙ）は仮想画像ＩＶＡ（ｘ，ｙ）に変換されて、左側方カメラ４０ｂで撮影された画像ＩＢ（ｘ，ｙ）は仮想画像ＩＶＢ（ｘ，ｙ）に変換されて、後方カメラ４０ｃで撮影された画像ＩＣ（ｘ，ｙ）は仮想画像ＩＶＣ（ｘ，ｙ）に変換されて、右側方カメラ４０ｄで撮影された画像ＩＤ（ｘ，ｙ）は仮想画像ＩＶＤ（ｘ，ｙ）に変換される。変換された仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)には、それぞれ必要な回転操作が施されて、各仮想画像同士の方向が合わせられ、図５Ａに示すように１枚の仮想画像Ｉｖ（ｘ，ｙ）に合成される。
このとき、クレーン車１２の前方にある杭Ｑは、像Ｑ’に変換される。杭Ｑが像Ｑ’に変換されるのは、仮想画像ＩＶＡ（ｘ，ｙ）を生成する際、前述したように前方カメラ４０ａで撮影した画像ＩＡ（ｘ，ｙ）には全て地面が映っていると仮定したため、地面から高さを有する杭Ｑは、仮想カメラ４０ｖ（仮想撮像部）から見ると、杭Ｑの高い位置ほど左右に広がって観測されるためである。すなわち、地面から高さを有する物体は、地面からの高さに応じた量だけ左右方向に広がりを持った領域として観測される。
また、仮想画像Ｉｖ（ｘ，ｙ）を生成した際、クレーン車１２自身が存在する位置は各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）の死角になるため映像情報が欠落する。情報が欠落する箇所には、図５Ａに示すように、仮想画像Ｉｖ（ｘ，ｙ）に例えば画素値０を格納して、クレーン車領域Ｒｖとしておく。
なお、図４Ａで説明したように、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は、アーム２４の先端Ｃ（図４Ａ参照）が、仮想カメラ４０ｖ（仮想撮像部）の撮影範囲の端に位置するように設定される。したがって、クレーン車領域Ｒｖのうちアーム２４の先端Ｃに対応する位置は、仮想画像Ｉｖ（ｘ，ｙ）の上端に位置する。
その後、クレーン車領域Ｒｖには、図５Ｂに示すように、あたかもクレーン車１２（図１参照）を上空から見下ろしているように、クレーン車１２の姿勢を模擬したアイコンＩを重畳する。
（座標変換合成テーブルの説明）
次に、図６Ａ，図６Ｂ，図７，図８Ａ，図８Ｂを用いて、仮想画像Ｉｖ（ｘ，ｙ）を生成する際に利用する座標変換合成テーブル８２（図３参照）について説明する。
図６Ａは、クレーン車１２のアーム長Ｌが短い状態であって、アーム２４の旋回角度φがほぼ０（中立位置，−α＜φ≦α）にあるときに、仮想画像Ｉｖ（ｘ，ｙ）を生成するために利用する座標変換合成テーブル８２の一例である、座標変換合成テーブルＴＡ（ｘ，ｙ）の構造を示す図である。以後、簡単のため、座標変換合成テーブルＴＡ（ｘ，ｙ）を単に、座標変換合成テーブルＴＡと記載する。
座標変換合成テーブルＴＡは、図６Ａに示すように、２次元のフレームメモリの形態を有するＬＵＴ（ルックアップテーブル）を形成している。そして、図５Ａ，図５Ｂで説明した各仮想画像ＩＶｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）に対応する領域に、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）に対応する番号と、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）で撮影される画素の座標値（左右方向座標値（ｘアドレス）と上下方向座標値（ｙアドレス））がそれぞれ格納されている。また、前述したクレーン車領域Ｒｖには、クレーン車領域であることを示す特定の値が格納されている。
座標変換合成テーブルＴＡは、具体的には、例えば図６Ｂに示すようにビット幅２４ビットのフレームメモリで構成されている。そして、その上位８ビットには座標変換合成テーブルＴＡを表すＬＵＴ番号とカメラ番号ｉがそれぞれ格納されて、中位８ビットにはカメラ番号ｉ（ｉ＝Ａ〜Ｄ）で特定されたカメラで撮影された画像Ｉｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）のｘアドレス値が格納されて、下位８ビットにはカメラ番号ｉ（ｉ＝Ａ〜Ｄ）で特定されたカメラで撮影された画像Ｉｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）のｙアドレスが格納されている。
このような構造を有する座標変換合成テーブルＴＡを左から右、上から下に向かって順次スキャンしながら、スキャンされた画素に格納された情報を読み出して、読み出された情報が指し示すカメラ番号ｉ（ｉ＝Ａ〜Ｄ）と、カメラ番号ｉで特定されたカメラで撮影された画像の画素を指し示すアドレス（ｘ，ｙ）を参照して、カメラ番号ｉ（ｉ＝Ａ〜Ｄ）で特定されたカメラのアドレス（ｘ，ｙ）の画素値を、座標変換合成テーブルＴＡ上の対応する位置に格納することによって、座標変換処理と画像合成処理を、同時に行うことができる。
なお、前述したクレーン車領域Ｒｖに対応する位置は、図６Ａに示すように、実際のカメラ映像が格納される領域と区別しておく必要がある。そのため、座標変換合成テーブルＴＡのクレーン車領域Ｒｖに対応する領域には、カメラ番号ｉを格納する位置に特定の値、例えば「０」を格納しておく。
また、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）には、できるだけ広範囲を撮像することができるように広角レンズを装着しているため、撮影された画像（ＩＡ（ｘ，ｙ），ＩＢ（ｘ，ｙ），ＩＣ（ｘ，ｙ），ＩＤ（ｘ，ｙ））には歪曲が発生する。座標変換合成テーブルＴＡは、この歪曲を補正する役割も担う。
すなわち、予めキャリブレーション（校正）を行って、歪曲を伴って撮影された画像（ＩＡ（ｘ，ｙ），ＩＢ（ｘ，ｙ），ＩＣ（ｘ，ｙ），ＩＤ（ｘ，ｙ））を歪曲がない画像に補正する際の座標変換規則を座標変換合成テーブルＴＡに記憶しておくことができる。
具体的には、キャリブレーションによって、歪曲を含む画像Ｉｉ（ｘ，ｙ）上の座標値（ｘｑ，ｙｑ）と、その座標が変換される、歪曲が補正された仮想画像ＩＶｉ（ｘ，ｙ）（ｉ＝Ａ〜Ｄ）上の座標値（ｘｒ，ｙｒ）のペアを複数組取得して、これらの画素のペアが座標変換行列で結ばれるものとして連立方程式を立て、この連立方程式を解くことによって、歪曲を補正する座標変換行列を決定することができる。なお、こうした歪曲補正の方法は公知であるため、詳細な説明は省略する。座標変換合成テーブルＴＡには、こうした歪曲補正と、仮想画像への座標変換および複数の仮想画像の合成がともに考慮された座標変換の規則が格納される。
次に、図７Ａ，図７Ｂを用いて、座標変換合成テーブル８２のバリエーションについて説明する。
本実施例では、クレーン車１２のアーム２４の姿勢に応じた仮想画像Ｉｖ（ｘ，ｙ）を生成する。すなわち、アーム２４の姿勢に対応する複数の座標変換合成テーブルを用意しておく必要がある。
図７Ａは、アーム長Ｌが中程度であって、旋回角度φが０（中立位置）であるときの座標変換合成テーブル８２の一例である座標変換合成テーブルＴＢの構造を示す図である。この座標変換合成テーブルＴＢは、図６Ａに示した座標変換合成テーブルＴＡと比較すると、クレーン車１２（図１参照）の周辺をより広範囲に監視する仮想画像を生成する座標変換合成テーブルになっている。
すなわち、図７Ａの場合、仮想カメラ４０ｖ（仮想撮像部）が図６Ａと比べてより高い位置に設置されるため、クレーン車１２周辺がより広範囲に監視される。したがって、図６Ａと比較すると、クレーン車領域Ｒｖがより小さくなる。そして、アーム長Ｌが伸びることによって、アーム２４の地面への射影長（図４ＡでＬｃｏｓεに相当）が長くなるため、クレーン車領域Ｒｖの中のアーム２４に対応する領域の長さがより長くなる。
図７Ｂは、アーム長Ｌが長く、旋回角度φが０（中立位置）であるときの座標変換合成テーブル８２の一例である座標変換合成テーブルＴＣの構造を示す図である。この座標変換合成テーブルＴＣは、図７Ａに示した座標変換合成テーブルＴＢと比較すると、クレーン車１２（図１参照）の周辺をより広範囲に監視する仮想画像を生成する座標変換合成テーブルになっている。
すなわち、図７Ｂの場合、仮想カメラ４０ｖ（仮想撮像部）が図７Ａと比べてより高い位置に設置されるため、クレーン車１２周辺をより広範囲に監視される。したがって、図７Ａと比較すると、クレーン車領域Ｒｖがより小さくなる。そして、アーム長Ｌが伸びることによって、アーム２４の地面への射影長（図４ＡでＬｃｏｓεに相当）がさらに長くなるため、クレーン車領域Ｒｖの中のアーム２４に対応する領域の長さがより長くなる。
図８は、予め準備しておく座標変換合成テーブル８２（ＬＵＴ）の一覧を示す図である。図８の縦軸は、仮想カメラ４０ｖ（仮想撮像部）の監視範囲と仮想カメラ４０ｖの設置高さＺ０に対応しており、図８に示す座標変換合成テーブル８２では、仮想カメラ４０ｖの高さを３段階に分けて設定している。そして、図８の縦軸方向で下に行くほど、仮想カメラ４０ｖの設置高さＺ０が高くなって監視範囲が広くなっている。
また、図８の横軸は、クレーン車１２のアーム２４の旋回角度φに対応しており、左に行くほどアーム２４が左方向に回転して旋回角度φが大きくなることを示しており、右に行くほどアーム２４が右方向に回転して旋回角度φが大きくなることを示している。
図８に示す座標変換合成テーブル８２では、クレーン車１２のアーム２４の旋回角度φを、中立位置（−α＜φ≦α）と、右方向の旋回角度φが小（α＜φ≦β），中（β＜φ≦γ），大（γ＜φ≦θ）、および、左方向の旋回角度φが小（−α＜φ≦−β），中（−β＜φ≦−γ），大（−γ＜φ≦−θ）の合計７段階に分けて設定している。なお、α，β，γ，θは、予め設定された旋回角度φのしきい値であって、α＜β＜γ＜θの関係を有する正の定数である。
すなわち、アーム２４が左右に旋回したときには、その旋回角度φに応じた量だけ、仮想カメラ４０ｖ（仮想撮像部）を光軸周りに回転させたときに撮影されると予測される仮想画像Ｉｖ（ｘ，ｙ）が生成される。
実施例１にあっては、図８に示す、仮想カメラ４０ｖの３段階の設置高さＺ０、および、７段階の旋回角度φにそれぞれ対応する合計２１通りの座標変換合成テーブルが準備されている。各々の座標変換合成テーブルＴＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）は、例えば、仮想カメラ４０ｖの設置高さＺ０が低い位置にある座標変換合成テーブルＴＡｙ（ｙ＝ａ〜ｇ），設置高さＺ０が中位置にある座標変換合成テーブルＴＢｙ（ｙ＝ａ〜ｇ），設置高さＺ０が高い位置にある座標変換合成テーブルＴＣｙ（ｙ＝ａ〜ｇ）とされて、さらに、旋回角度φが左方向の旋回角度が大きい状態から、右方向の旋回角度が大きい状態に応じて、それぞれ、座標変換合成テーブルＴＸａ，ＴＸｂ，ＴＸｃ，ＴＸｄ，ＴＸｅ，ＴＸｆ，ＴＸｇ（Ｘ＝Ａ〜Ｃ）とされる。
なお、前述した図６Ａの座標変換合成テーブルＴＡは、図８の座標変換合成テーブルＴＡｄに対応して、図７Ａの座標変換合成テーブルＴＢは、図８の座標変換合成テーブルＴＢｄに対応して、図７Ｂの座標変換合成テーブルＴＣは、図８の座標変換合成テーブルＴＣｄに対応している。
（アイコンの説明）
次に、図９を用いて、クレーン車１２の姿勢を模擬したアイコンＩのバリエーションについて説明する。
図９は、アイコンテーブル８６の内容を示す。アイコンＩＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）は、前述した座標変換合成テーブル８２に用意された各々の座標変換合成テーブルＴＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）と１対１に対応して準備される。すなわち、各々のアイコンＩＸｙは、図９に示すように、クレーン車１２（図１参照）を真上から見下ろした形状を有して、仮想カメラ４０ｖの設置高さＺ０，クレーン車１２のアーム長Ｌ，旋回角度φに応じた形態とサイズを有している。なお、これらのアイコンＩはＣＧ（Computer Graphic）を用いて生成してもよいし、クレーン車１２を実際に真上から撮影した実写画像から生成してもよい。
なお、図５Ｂに示したアイコンＩは、図９のアイコンテーブルの中のアイコンＩＡｄに対応している。
（仮想画像の実例の説明）
次に、図１０Ａ〜図１０Ｆを用いて、図４Ａ，図４Ｂに示す環境に置かれたクレーン車１２において生成される仮想画像Ｉｖ（ｘ，ｙ）の実例について説明する。
図１０Ａは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが中立位置を示す座標変換合成テーブルＴＡｄが選択されて、この座標変換合成テーブルＴＡｄに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが中立位置を示すアイコンＩＡｄが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
図１０Ｂは、アーム２４の旋回角度φが右旋回「小」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回小状態を示す座標変換合成テーブルＴＡｅが選択されて、この座標変換合成テーブルＴＡｅに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「小」状態を示すアイコンＩＡｅが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
図１０Ｃは、アーム２４の旋回角度φが右旋回「中」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回中状態を示す座標変換合成テーブルＴＡｆが選択されて、この座標変換合成テーブルＴＡｆに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「中」状態を示すアイコンＩＡｆが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
図１０Ｄは、アーム２４の旋回角度φが右旋回「大」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「大」状態を示す座標変換合成テーブルＴＡｇが選択されて、この座標変換合成テーブルＴＡｇに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が低く、旋回角度φが右旋回「大」状態を示すアイコンＩＡｇが選択されて重畳される。このとき、前方カメラ４０ａで撮影された杭Ｑが仮想画像ＩＶＡ（ｘ，ｙ）の中に像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
図１０Ｅは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが中程度、仮想カメラ４０ｖの設置高さＺ０が中程度のときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が中程度、旋回角度φが中立位置を示す座標変換合成テーブルＴＢｄが選択されて、この座標変換合成テーブルＴＢｄに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が中程度、旋回角度φが中立位置を示すアイコンＩＢｄが選択されて重畳される。このとき、図１０Ａに示した仮想画像Ｉｖ（ｘ，ｙ）の生成条件と比べて、仮想カメラ４０ｖの設置高さＺ０が上昇するため、より広範囲を監視した仮想画像Ｉｖ（ｘ，ｙ）が表示される。そして、表示範囲の拡大に応じてアイコンＩのサイズが小さくなる。このようにして生成された仮想画像Ｉｖ（ｘ，ｙ）の中には、前方カメラ４０ａで撮影された杭Ｑが像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
図１０Ｆは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが長い、仮想カメラ４０ｖの設置高さＺ０が高いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。このとき、仮想画像Ｉｖ（ｘ，ｙ）上で、アーム２４が上方向を向く状態となるように、仮想カメラ４０ｖの設置高さＺ０が高く、旋回角度φが中立位置を示す座標変換合成テーブルＴＣｄが選択されて、この座標変換合成テーブルＴＣｄに基づいて、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された画像がそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に座標変換されて合成される。そして、アイコンテーブル８６の中から、仮想カメラ４０ｖの設置高さＺ０が高く、旋回角度φが中立位置を示すアイコンＩＣｄが選択されて重畳される。このとき、図１０Ｅに示した仮想画像Ｉｖ（ｘ，ｙ）の生成条件と比べて、仮想カメラ４０ｖの設置高さＺ０が上昇するため、より広範囲を監視した仮想画像Ｉｖ（ｘ，ｙ）が表示される。そして、表示範囲の拡大に応じてアイコンＩのサイズが小さくなる。このようにして生成された仮想画像Ｉｖ（ｘ，ｙ）の中には、前方カメラ４０ａで撮影された杭Ｑが像Ｑ’として表示されて、運転者８は、この像Ｑ’に注意しながらアーム２４を操作する。
（実施例１の作用の説明）
次に、実施例１の具体的な作用について、図１１〜図１５のフローチャートを用いて説明する。
図１１は、実施例１で行う処理の全体の流れを示したフローチャートである。以下、順を追って説明する。
（ステップＳ１０）各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影を行って、撮影された画像入力を行う。
（ステップＳ１２）撮影された画像信号をＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）でＡＤ変換して、デジタル化された画像信号に変換する。
（ステップＳ１４）デジタル化された画像信号を、デコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）によってデコードして、ＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換する。
（ステップＳ１６）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測する。
（ステップＳ２０）仮想撮像部設置部８０において、アーム２４の旋回角度φの符号（旋回方向）と大きさ（旋回量）を判定する。具体的な処理の内容については後述する。
（ステップＳ５０）仮想撮像部設置部８０において、仮想カメラ４０ｖ（仮想撮像部）の設置位置を算出する。なお、ここで行われる具体的な処理の内容については後述する。
（ステップＳ７０）仮想画像生成部１００において、座標変換合成処理を行う。なお、ここで行われる具体的な処理の内容については後述する。
（ステップＳ９０）アイコン重畳表示部８８において、アイコンＩの選択と重畳を行う。なお、ここで行われる具体的な処理の内容については後述する。
（ステップＳ１００）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測して、ステップＳ１６で計測したクレーン車１２の姿勢と変化がないか否かを確認する。クレーン車１２の姿勢に変化がないときはステップＳ１０２に進み、クレーン車１２の姿勢に変化があるときは、ステップＳ１０に戻る。
（ステップＳ１０２）エンコーダ６４が、アイコンＩが重畳されてＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に載せられた仮想画像Ｉｖ（ｘ，ｙ）をエンコードして、コンポジット信号（デジタル信号）に変換する。
（ステップＳ１０４）ＤＡ変換器６６が、コンポジット信号（デジタル信号）をアナログ信号に変換する。
（ステップＳ１０６）変換されたアナログ信号をモニタ７８（表示部９６）に表示して処理を終了する。なお、この後ステップＳ１０に戻って同じ処理を繰り返してもよい。
次に、図１２を用いて、旋回方向，旋回量判定処理の流れについて説明する。この処理は、仮想撮像部設置部８０において行われる。
（ステップＳ２２）アーム２４の旋回角度φがほぼ０（中立位置）であるか否かを判定する。具体的には、ジャイロセンサ７０で計測された旋回角度φが、−α＜φ≦αであるとき、旋回角度φが０（中立位置）であると判定する。φ＝０と判定されたときはステップＳ４６に進み、それ以外のときはステップＳ２４に進む。
（ステップＳ２４）アーム２４の旋回角度φが正（右旋回）であるか否かを判定する。φが正であるときはステップＳ２６に進み、それ以外のときはステップＳ３６に進む。
（ステップＳ２６）アーム２４の旋回角度φが、α＜φ≦βを満たすか否かを判定する。条件を満たすときはステップＳ３４に進み、それ以外のときはステップＳ２８に進む。
（ステップＳ２８）アーム２４の旋回角度φが、β＜φ≦γを満たすか否かを判定する。条件を満たすときはステップＳ３０に進み、それ以外のときはステップＳ３２に進む。
（ステップＳ３０）アーム２４の旋回方向は右方向、旋回量は「中」であると判定してメインルーチン（図１１）に戻る。
（ステップＳ３２）アーム２４の旋回方向は右方向、旋回量は「大」であると判定してメインルーチン（図１１）に戻る。
（ステップＳ３４）アーム２４の旋回方向は右方向、旋回量は「小」であると判定してメインルーチン（図１１）に戻る。
（ステップＳ３６）アーム２４の旋回角度φが、−α＜φ≦−βを満たすか否かを判定する。条件を満たすときはステップＳ４４に進み、それ以外のときはステップＳ３８に進む。
（ステップＳ３８）アーム２４の旋回角度φが、−β＜φ≦−γを満たすか否かを判定する。条件を満たすときはステップＳ４０に進み、それ以外のときはステップＳ４２に進む。
（ステップＳ４０）アーム２４の旋回方向は左方向、旋回量は「中」であると判定してメインルーチン（図１１）に戻る。
（ステップＳ４２）アーム２４の旋回方向は左方向、旋回量は「大」であると判定してメインルーチン（図１１）に戻る。
（ステップＳ４４）アーム２４の旋回方向は左方向、旋回量は「小」であると判定してメインルーチン（図１１）に戻る。
（ステップＳ４６）アーム２４の旋回なしと判定してメインルーチン（図１１）に戻る。
次に、図１３を用いて、仮想カメラ４０ｖ（仮想撮像部）の設置位置算出処理の流れについて説明する。この処理は、仮想撮像部設置部８０において行われる。
（ステップＳ５２）クレーン車１２のアーム長Ｌとアーム２４の仰角εを用いて、前述した（式１）によって仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０を算出する。
（ステップＳ５４）算出された設置高さＺ０が、予め設定したしきい値Ｚα以下か否かを判定する。Ｚ０≦ＺαのときはステップＳ６２に進み、それ以外のときはステップＳ５６に進む。
（ステップＳ５６）算出された設置高さＺ０が、予め設定したしきい値Ｚα，Ｚβ（Ｚα＜Ｚβ）に対して、Ｚα＜Ｚ０≦Ｚβを満たすか否かを判定する。条件を満たすときはステップＳ５８に進み、それ以外のときはステップＳ６０に進む。
（ステップＳ５８）仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は「中」と判定してメインルーチン（図１１）に戻る。
（ステップＳ６０）仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は「高」と判定してメインルーチン（図１１）に戻る。
（ステップＳ６２）仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０は「低」と判定してメインルーチン（図１１）に戻る。
次に、図１４を用いて、座標変換合成処理の流れについて説明する。この処理は、座標変換合成部８４において行われる。
（ステップＳ７２）座標変換合成テーブル（ＬＵＴ）ＴＸｙ（Ｘ＝Ａ〜Ｃ，ｙ＝ａ〜ｇ）の中から、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応する座標変換合成テーブルを選択する。
（ステップＳ７４）ステップＳ７２で選択された仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応する座標変換合成テーブルＴＸｙの中から、アーム２４の旋回角度φに対応する座標変換合成テーブル（ＬＵＴ）ＴＸｙを１つ選択する。
（ステップＳ７６）選択された座標変換合成テーブルＴＸｙを用いて座標変換合成処理を実行し、仮想画像Ｉｖ（ｘ，ｙ）を生成してメインルーチン（図１１）に戻る。
次に、図１５を用いて、アイコンの選択、重畳処理の流れについて説明する。この処理は、アイコン重畳表示部８８において行われる。
（ステップＳ９２）アイコンテーブル８６の中から、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応するアイコンＩを選択する。
（ステップＳ９４）ステップＳ９２で選択された仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０に対応するアイコンの中から、アーム２４の旋回角度φに対応するアイコンＩを１つ選択する。
（ステップＳ９６）仮想画像Ｉｖ（ｘ，ｙ）の上に選択されたアイコンＩを重畳し、メインルーチン（図１１）に戻る。
（実施例１の変形例の説明）
なお、仮想画像Ｉｖ（ｘ，ｙ）の形態は、図１０Ａ〜図１０Ｆに示した形態に限定されるものではない。すなわち、図１６Ａ，図１６Ｂに示すように、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像をそれぞれ仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)に変換した後、仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)をアイコンＩの周囲に円形状に配置して仮想画像Ｉｖ（ｘ，ｙ）を生成してもよい。なお、図１６Ａは、アーム２４の旋回角度φが０（中立位置）、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図であり、図１６Ｂは、アーム２４の旋回角度φが右旋回「小」、アーム長Ｌが短い、仮想カメラ４０ｖの設置高さＺ０が低いときに生成される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。
このように、仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を円形状に合成することにより、アーム２４の旋回に応じて仮想画像Ｉｖ（ｘ，ｙ）を更新する際に、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像の表示領域の形状が変化しないため、映像をより一層見やすくすることができる。
次に、本発明の別の実施形態である実施例２について、図面を参照して説明する。
（実施例２のシステム構成の説明）
本実施例２は、実施例１で説明した重機用周辺監視装置１０に、さらに、クレーン車１２が走行可能な状態にあるときには、クレーン車１２の周囲の状況を撮影して、撮影された画像を、クレーン車１２の走行方向に応じた形態の仮想画像に変換して表示する機能を付加した重機用周辺監視装置１１である。
本実施例に示す重機用周辺監視装置１１の機能ブロック構成について、図１７を用いて説明する。重機用周辺監視装置１１は図１７に示す機能ブロック構成を有している。その構成は、実施例１で説明した重機用周辺監視装置１０の機能ブロック構成に、さらに、クレーン車１２の走行可能方向を検出する走行可能方向検出部９８を備えたものである。
この走行可能方向検出部９８は、クレーン車１２のアーム２４がロックされて移動しない状態にあることを検出することによって、クレーン車１２が走行可能な状態にあると判定する。そして、さらに、クレーン車１２の下部走行体３０（図１参照）のシフトポジションを検出することによって、クレーン車の走行可能方向（前進または後退）を検出する。
（実施例２の機能の説明）
次に、図１８Ａ，図１８Ｂを用いて、重機用周辺監視装置１１の機能について説明する。図１８Ａは、クレーン車１２が図４Ａに示した環境にあって、なおかつ前進可能な状態にあるとき、図１７に示す表示部９６に表示される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。
このとき、クレーン車１２は前進可能な状態にあるため、仮想画像Ｉｖ（ｘ，ｙ）の中には、この後、クレーン車１２が通過する方向の画像をより広く表示する。運転者８はこの仮想画像Ｉｖ（ｘ，ｙ）を参照してクレーン車１２を前進させる。
なお、仮想画像Ｉｖ（ｘ，ｙ）の中にはアイコンＩＡｄが重畳される。このアイコンＩＡｄは、図９に示したアイコンＩＡｄを流用してもよいし、走行状態を表すアイコンを準備して、そのアイコンを重畳してもよい。
このような仮想画像Ｉｖ（ｘ，ｙ）を生成する機能は、図１７に示す座標変換合成テーブル８２の中に、クレーン車１２が前進可能な状態にあるときに使用する座標変換合成テーブルを用意しておき、走行可能方向検出部９８が、クレーン車１２が前進可能な状態にあることを検出したときに、クレーン車１２の前進方向がより広く表示される座標変換合成テーブルを参照して、座標変換合成部８４において仮想画像Ｉｖ（ｘ，ｙ）を生成することによって実現される。
なお、クレーン車１２の前進方向をより広く表示した仮想画像Ｉｖ（ｘ，ｙ）を生成するために、仮想カメラ４０ｖ（仮想撮像部）は、例えば、図４Ａ，図４Ｂで説明した座標系において、予め設定された設置高さＺ１（＜Ｚ０）（非図示）に設置されて、なおかつ、クレーン車１２の前方方向に所定量Ｙ１（非図示）だけ移動させた位置（０，Ｙ１，Ｚ１）に、鉛直下向きに設置される。
図１８Ｂは、クレーン車１２が図４Ａに示した環境にあって、なおかつ後退可能な状態にあるとき、図１７に示す表示部９６に表示される仮想画像Ｉｖ（ｘ，ｙ）の一例を示す図である。
このとき、クレーン車１２は後退可能な状態にあるため、仮想画像Ｉｖ（ｘ，ｙ）の中には、この後、クレーン車１２が通過する方向の画像をより広く表示する。運転者８はこの仮想画像Ｉｖ（ｘ，ｙ）を参照してクレーン車１２を後退させる。
なお、仮想画像Ｉｖ（ｘ，ｙ）の中にはアイコンＩＡｄが重畳される。このアイコンＩＡｄは、図９に示したアイコンＩＡｄを流用してもよいし、走行状態を表す新たなアイコンを準備して、そのアイコンを重畳してもよい。
このような仮想画像Ｉｖ（ｘ，ｙ）を生成する機能は、図１７に示す座標変換合成テーブル８２の中に、クレーン車１２が後退可能な状態にあるときに使用する座標変換合成テーブルを用意しておき、走行可能方向検出部９８が、クレーン車１２が後退可能な状態にあることを検出したときに、クレーン車１２の後退方向がより広く表示される座標変換合成テーブルを参照して、座標変換合成部８４において仮想画像Ｉｖ（ｘ，ｙ）を生成することによって実現される。
なお、クレーン車１２の後退方向をより広く表示した仮想画像Ｉｖ（ｘ，ｙ）を生成するために、仮想カメラ４０ｖ（仮想撮像部）は、例えば、図４Ａ，図４Ｂで説明した座標系において、予め設定された設置高さＺ１（＜Ｚ０）（非図示）に設置されて、なおかつ、クレーン車１２の後退方向に所定量Ｙ１（非図示）だけ移動させた位置（０，−Ｙ１，Ｚ１）に、鉛直下向きに設置される。
（実施例２の作用の説明）
次に、実施例２の具体的な作用について、図１９のフローチャートを用いて説明する。
（ステップＳ１２０）各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影を行って、撮影された画像入力を行う。
（ステップＳ１２２）撮影された画像信号をＡＤ変換器（５２ａ，５２ｂ，５２ｃ，５２ｄ）でＡＤ変換して、デジタル化された画像信号に変換する。
（ステップＳ１２４）デジタル化された画像信号を、デコーダ（５４ａ，５４ｂ，５４ｃ，５４ｄ）によってデコードして、ＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に変換する。
（ステップＳ１２６）走行可能方向検出部９８において、クレーン車１２が前進可能な状態にあるか否かを判定する。前進可能なときはステップＳ１３０に進み、それ以外のときはステップＳ１２８に進む。
（ステップＳ１２８）走行可能方向検出部９８において、クレーン車１２が後退可能な状態にあるか否かを判定する。後退可能なときはステップＳ１３０に進み、それ以外のときはステップＳ１３６に進む。
（ステップＳ１３０）仮想撮像部設置部８０において、仮想カメラ４０ｖ（仮想撮像部）の設置位置を算出する。具体的には、前述したように、クレーン車１２の進行方向に応じた位置に仮想カメラ４０ｖ（仮想撮像部）を設置する。
（ステップＳ１３２）仮想画像生成部１００において、座標変換合成処理を行う。具体的な処理の内容は、実施例１で説明した通りである。
（ステップＳ１３４）アイコン重畳表示部８８において、アイコンＩの選択と重畳を行う。具体的には、クレーン車１２が走行状態のときに重畳されるアイコンＩが選択されて、仮想画像Ｉｖ（ｘ，ｙ）に重畳される。
（ステップＳ１３６）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測する。
（ステップＳ１３８）仮想撮像部設置部８０において、アーム２４の旋回角度φの大きさと向きを判定する。具体的な処理の内容は、実施例１で説明した通りである。
（ステップＳ１４０）仮想撮像部設置部８０において、仮想カメラ４０ｖ（仮想撮像部）の設置位置を算出する。具体的な処理の内容は、実施例１で説明した通りである。
（ステップＳ１４２）仮想画像生成部１００において、座標変換合成処理を行う。具体的な処理の内容は、実施例１で説明した通りである。
（ステップＳ１４４）アイコン重畳表示部８８において、アイコンＩの選択と重畳を行う。具体的な処理の内容は、実施例１で説明した通りである。
（ステップＳ１４６）重機姿勢計測部９０において、クレーン車１２のアーム２４の旋回角度φと、アーム長Ｌと、仰角εを計測して、ステップＳ１３６で計測したクレーン車１２の姿勢と変化がないか否かを確認する。クレーン車１２の姿勢に変化がないときはステップＳ１４８に進み、クレーン車１２の姿勢に変化があるときは、ステップＳ１２０に戻る。
（ステップＳ１４８）エンコーダ６４が、アイコンＩが重畳されてＲＧＢ信号、または、輝度色差信号であるＹＣｂＣｒ，Ｈ−Ｓｙｎｃ，Ｖ−Ｓｙｎｃ信号に載せられた仮想画像Ｉｖ（ｘ，ｙ）をエンコードして、コンポジット信号（デジタル信号）に変換する。
（ステップＳ１５０）ＤＡ変換器６６が、コンポジット信号（デジタル信号）をアナログ信号に変換する。
（ステップＳ１５２）変換されたアナログ信号をモニタ７８（表示部９６）に表示して処理を終了する。なお、この後ステップＳ１２０に戻って同じ処理を繰り返してもよい。
以上説明したように、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、クレーン車１２（重機）の下部走行体３０の周囲に複数取り付けられた各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影された、クレーン車１２の周辺の地面を含む複数の画像を、仮想画像生成部１００が、重機姿勢計測部９０によって計測された、クレーン車１２の上部旋回体２０のアーム２４の旋回角度φと、アーム長さＬと、アーム２４の仰角εとに応じた位置と方向に設置された仮想カメラ４０ｖ（仮想撮像部）から観測されると予測される１枚の仮想画像Ｉｖ（ｘ，ｙ）に変換合成して、アイコン重畳表示部８８が仮想画像Ｉｖ（ｘ，ｙ）の上に、クレーン車１２の姿勢に応じたアイコンＩを重畳して、クレーン車１２の運転者８が視認可能なモニタ７８（表示部９６）に表示するため、クレーン車１２の運転者８は、作業中の重機の姿勢変化によらずに、クレーン車１２の周囲にある障害物の位置と方向を即座に認識することができる。
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想カメラ４０ｖ（仮想撮像部）は、少なくとも、クレーン車１２（重機）の位置から、仮想カメラ４０ｖの設置位置とアーム２４の先端Ｃとを結ぶ線分の延長線が地面と交差する点まで、の範囲を含む仮想画像Ｉｖ（ｘ，ｙ）が生成可能な位置と方向に設置されるため、クレーン車１２で作業を行うときに特に注意を払う必要がある、アーム２４の先端Ｃの直下位置を含む範囲を画像化することができる。
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想画像生成部１００は、アーム２４のアーム長さＬと、アーム２４の仰角εと、上部旋回体２０のアーム２４の旋回角度φにそれぞれ対応する仮想カメラ４０ｖ（仮想撮像部）の設置位置と設置方向に応じた座標変換合成テーブル８２を有して、重機姿勢計測部９０で計測されたアーム長Ｌと、アーム２４の仰角εと、アーム２４の旋回角度φに対応する座標変換合成テーブル８２に基づいて、仮想画像Ｉｖ（ｘ，ｙ）を生成するため、仮想画像の生成を少ない演算量で迅速に行うことができる。
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想画像生成部１００は、アーム２４の延伸方向が常に上部に位置する仮想画像Ｉｖ（ｘ，ｙ）を生成するため、クレーン車１２の運転者８が見ている方向と同じ方向の仮想画像を生成して表示することができる。したがって、運転者８は、仮想画像Ｉｖ（ｘ，ｙ）と現実の対応付けを容易に行うことができるため、クレーン車１２の周囲にある障害物の位置と方向を即座に認識することができる。
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、仮想画像生成部１００は、仮想カメラ４０ｖ（仮想撮像部）を、上部旋回体２０の旋回中心を通る鉛直線上に下向きに設置して、なおかつ、重機姿勢計測部９０で計測されたアーム２４の旋回角度φに応じた角度だけ、仮想カメラ４０ｖの光軸周りに回転させたときに撮影されると予測される仮想画像Ｉｖ（ｘ，ｙ）を生成するため、仮想画像Ｉｖ（ｘ，ｙ）を少ない演算量で短時間に生成することができる。
また、このように構成された本発明の実施例１に係る重機用周辺監視装置１０によれば、アイコン重畳表示部８８は、複数のアイコンＩが格納されたアイコンテーブル８６を有して、重機姿勢計測部９０で計測されたクレーン車１２（重機）の姿勢に対応するアイコンＩをアイコンテーブル８６の中から選択して、選択されたアイコンＩを仮想画像Ｉｖ（ｘ，ｙ）に重畳するため、アイコンＩの重畳を少ない演算量で迅速に行うことができる。
さらに、このように構成された本発明の実施例２に係る重機用周辺監視装置１１によれば、クレーン車１２（重機）の走行可能方向を検出する走行可能方向検出部９８を有して、仮想画像生成部１００は、走行可能方向検出部９８がクレーン車１２の走行可能方向を検出したときに、仮想カメラ４０ｖ（仮想撮像部）を、クレーン車１２の走行可能方向をより広く観測可能な位置と高さと向きに設置するため、クレーン車１２の進行方向をよりわかりやすく表示することができる。
なお、実施例１，実施例２では、アーム長Ｌ，アーム２４の仰角εに応じて、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０を３段階に分けて設定して、アーム２４の旋回角度φを７段階に分けて設定したが、これは、その都度仮想カメラ４０ｖの設置位置と設置方向を算出する演算を行って、仮想画像Ｉｖ（ｘ，ｙ）の観測範囲と観測方向を連続的に変化させるようにしてもよい。
また、実施例１，実施例２では、仮想カメラ４０ｖ（仮想撮像部）の設置高さＺ０を決める際に、図４Ａに示したように、地面上の最遠点である点Ａとアーム２４の先端Ｃを通る直線が、Ｚ軸と交差する位置を、仮想カメラ４０ｖ（仮想撮像部）の設置位置Ｖとしたが、仮想カメラ４０ｖ（仮想撮像部）の設置位置Ｖの決定方法は、それに限定されるものではなく、他の基準に基づいて決定してもよい。
さらに、実施例１，実施例２では、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）で撮影した画像Ｉｉ（ｘ，ｙ） (ｉ＝Ａ〜Ｄ)に、全て平坦な地面（高さ０の平面）が映っているものと仮定して仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を生成したが、これは、別の規則に基づいて行ってもよい。例えば、図４Ａ，図４Ｂにおいて、真下に向けて設置された仮想カメラ４０ｖ（仮想撮像部）の位置を中心として、仮想カメラ４０ｖの直下の地面（原点Ｏ）に接する球面を設定して、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）で撮影した画像Ｉｉ（ｘ，ｙ） (ｉ＝Ａ〜Ｄ)を、この球面に投影することによって仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を生成してもよい。このような座標変換を用いると、地面から高さを有する物体の歪が軽減された仮想画像ＩＶｉ（ｘ，ｙ）(ｉ＝Ａ〜Ｄ)を得ることができる。
また、実施例１，実施例２では、各カメラ（４０ａ，４０ｂ，４０ｃ，４０ｄ）（撮像部）から出力されたアナログ信号をデジタル変換して、必要な変換合成処理を行った後、再びアナログ信号に変換してモニタ７８に表示する構成としたが、その構成に限定されるものではなく、デジタル出力が可能なカメラを用いたシステム構成を採り、カメラから出力されたデジタル信号をそのまま画像処理する構成を採ってもよい。
さらに、実施例１，実施例２では、ＣＡＮ通信線７６を用いて重機姿勢計測部９０で計測された結果を全体制御部９４に通信したが、これはＣＡＮ通信線７６に限定されるものではなく、他の通信線、例えば一般的なシリアル通信線を用いて行ってもよい。
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
１０ 重機用周辺監視装置
４０ａ 前方カメラ（撮像部）
４０ｂ 左側方カメラ（撮像部）
４０ｃ 後方カメラ（撮像部）
４０ｄ 右側方カメラ（撮像部）
７６ ＣＡＮ通信線
８０ 仮想撮像部設置部
８２ 座標変換合成テーブル
８４ 座標変換合成部
８６ アイコンテーブル
８８ アイコン重畳表示部
９０ 重機姿勢計測部
９１ 旋回角計測部
９２ アーム長計測部
９３ アーム仰角計測部
９４ 全体制御部
９６ 表示部
１００ 仮想画像生成部

Claims (10)

  1. 長さと仰角を変更可能なアームを備えて、運転者が搭乗して左右に旋回可能な上部旋回体と走行移動が可能な下部走行体とからなる重機にあって、前記下部走行体の周囲に複数取り付けられて、前記重機の周辺の地面を含む複数の画像を撮影する撮像部と、
    前記撮像部で撮影された複数の画像を、それぞれ変換、合成して、前記重機の上空の所定の位置に、所定の方向に向けて仮想的に設置された仮想撮像部から観測されると予測される１枚の仮想画像を生成する仮想画像生成部と、
    前記上部旋回体に前記運転者が視認可能に設置された、前記仮想画像が表示される表示部と、を有する重機用周辺監視装置において、
    前記アームの長さと、前記アームの仰角と、前記アームの旋回角度と、をそれぞれ計測する重機姿勢計測部と、前記仮想画像の上に、前記仮想撮像部から観測されると予測される前記重機の姿勢を模擬し、前記アームの長さに応じたサイズのアイコンを重畳するアイコン重畳表示部と、を有して、前記仮想画像生成部は、前記重機姿勢計測部が計測した前記重機の姿勢に応じた位置に、前記姿勢に応じた方向に向けて設置された仮想撮像部から観測されると予測される仮想画像を生成し、前記アイコン重畳表示部は、前記重機の姿勢に応じたアイコンを前記仮想画像に、前記アームの先端が前記仮想画像の端に位置するように重畳して、前記アイコンが重畳された仮想画像を前記表示部に表示することを特徴とする重機用周辺監視装置。
  2. 前記仮想撮像部は、少なくとも、前記重機の位置から、前記仮想撮像部の設置位置と前記アームの先端とを結ぶ線分の延長線が地面と交差する点まで、の範囲を含む仮想画像が生成可能な位置と方向に設置されることを特徴とする請求項１に記載の重機用周辺監視装置。
  3. 長さと仰角を変更可能なアームを備えて、運転者が搭乗して左右に旋回可能な上部旋回体と走行移動が可能な下部走行体とからなる重機にあって、前記下部走行体の周囲に複数取り付けられて、前記重機の周辺の地面を含む複数の画像を撮影する撮像部と、
    前記撮像部で撮影された複数の画像を、それぞれ変換、合成して、前記重機の上空の所定の位置に、所定の方向に向けて仮想的に設置された仮想撮像部から観測されると予測される１枚の仮想画像を生成する仮想画像生成部と、
    前記上部旋回体に前記運転者が視認可能に設置された、前記仮想画像が表示される表示部と、を有する重機用周辺監視装置において、
    前記アームの長さと、前記アームの仰角と、前記アームの旋回角度と、をそれぞれ計測する重機姿勢計測部と、前記仮想画像の上に、前記仮想撮像部から観測されると予測される前記重機の姿勢を模擬したアイコンを重畳するアイコン重畳表示部と、を有して、前記仮想画像生成部は、前記重機姿勢計測部が計測した前記重機の姿勢に応じた位置に、前記姿勢に応じた方向に向けて設置された仮想撮像部から観測されると予測される仮想画像を生成し、前記アイコン重畳表示部は、前記重機の姿勢に応じたアイコンを前記仮想画像に重畳して、前記アイコンが重畳された仮想画像を前記表示部に表示し、
    前記仮想撮像部は、少なくとも、前記重機の位置から、前記仮想撮像部の設置位置と前記アームの先端とを結ぶ線分の延長線が地面と交差する点まで、の範囲を含む仮想画像が生成可能な位置と方向に設置されることを特徴とする重機用周辺監視装置。
  4. 前記重機の走行可能方向を検出する走行可能方向検出部を有して、前記仮想画像生成部は、前記走行可能方向検出部が前記重機の走行可能方向を検出したときに、前記仮想撮像部を、前記重機の走行可能方向をより広く観測可能な位置と高さと向きに設置することを特徴とする請求項１から請求項３のいずれか１項に記載の重機用周辺監視装置。
  5. 長さと仰角を変更可能なアームを備えて、運転者が搭乗して左右に旋回可能な上部旋回体と走行移動が可能な下部走行体とからなる重機にあって、前記下部走行体の周囲に複数取り付けられて、前記重機の周辺の地面を含む複数の画像を撮影する撮像部と、
    前記撮像部で撮影された複数の画像を、それぞれ変換、合成して、前記重機の上空の所定の位置に、所定の方向に向けて仮想的に設置された仮想撮像部から観測されると予測される１枚の仮想画像を生成する仮想画像生成部と、
    前記上部旋回体に前記運転者が視認可能に設置された、前記仮想画像が表示される表示部と、を有する重機用周辺監視装置において、
    前記アームの長さと、前記アームの仰角と、前記アームの旋回角度と、をそれぞれ計測する重機姿勢計測部と、前記仮想画像の上に、前記仮想撮像部から観測されると予測される前記重機の姿勢を模擬したアイコンを重畳するアイコン重畳表示部と、を有して、前記仮想画像生成部は、前記重機姿勢計測部が計測した前記重機の姿勢に応じた位置に、前記姿勢に応じた方向に向けて設置された仮想撮像部から観測されると予測される仮想画像を生成し、前記アイコン重畳表示部は、前記重機の姿勢に応じたアイコンを前記仮想画像に重畳して、前記アイコンが重畳された仮想画像を前記表示部に表示し、
    前記重機の走行可能方向を検出する走行可能方向検出部を有して、前記仮想画像生成部は、前記走行可能方向検出部が前記重機の走行可能方向を検出したときに、前記仮想撮像部を、前記重機の走行可能方向をより広く観測可能な位置と高さと向きに設置することを特徴とする重機用周辺監視装置。
  6. 前記仮想撮像部は、少なくとも、前記重機の位置から、前記仮想撮像部の設置位置と前記アームの先端とを結ぶ線分の延長線が地面と交差する点まで、の範囲を含む仮想画像が生成可能な位置と方向に設置されることを特徴とする請求項５に記載の重機用周辺監視装置。
  7. 前記仮想画像生成部は、前記アームの長さと、前記アームの仰角と、前記アームの旋回角度にそれぞれ対応する前記仮想撮像部の設置位置と設置方向に応じた座標変換合成テーブルを有して、前記重機姿勢計測部で計測された前記アームの長さと、前記アームの仰角と、前記アームの旋回角度に対応する前記座標変換合成テーブルに基づいて、前記仮想画像を生成することを特徴とする請求項１から請求項６のうちいずれか１項に記載の重機用周辺監視装置。
  8. 前記仮想画像生成部は、前記アームの延伸方向が常に上部に位置する仮想画像を生成することを特徴とする請求項１から請求項７のいずれか１項に記載の重機用周辺監視装置。
  9. 前記仮想画像生成部は、前記仮想撮像部を、前記上部旋回体の旋回中心を通る鉛直線上に下向きに設置して、なおかつ、前記重機姿勢計測部で計測された前記アームの旋回角度に応じた角度だけ、前記仮想撮像部の光軸周りに回転させたときに撮影されると予測される仮想画像を生成することを特徴とする請求項８に記載の重機用周辺監視装置。
  10. 前記アイコン重畳表示部は、複数の前記アイコンが格納されたアイコンテーブルを有して、前記重機姿勢計測部で計測された前記重機の姿勢に対応するアイコンを前記アイコンテーブルの中から選択して、選択されたアイコンを、前記仮想画像に重畳することを特徴とする請求項１から請求項９のいずれか１項に記載の重機用周辺監視装置。
JP2014010674A 2014-01-23 2014-01-23 重機用周辺監視装置 Active JP6321977B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014010674A JP6321977B2 (ja) 2014-01-23 2014-01-23 重機用周辺監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014010674A JP6321977B2 (ja) 2014-01-23 2014-01-23 重機用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2015139158A JP2015139158A (ja) 2015-07-30
JP6321977B2 true JP6321977B2 (ja) 2018-05-09

Family

ID=53769880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014010674A Active JP6321977B2 (ja) 2014-01-23 2014-01-23 重機用周辺監視装置

Country Status (1)

Country Link
JP (1) JP6321977B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018039648A (ja) * 2016-09-09 2018-03-15 株式会社タダノ 画像表示システム
WO2017014325A1 (ja) 2016-09-09 2017-01-26 株式会社小松製作所 ブルドーザ
JP6756555B2 (ja) * 2016-09-09 2020-09-16 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP6713884B2 (ja) * 2016-09-09 2020-06-24 株式会社タダノ 俯瞰画像システム、俯瞰画像表示方法およびプログラム
JP6976511B2 (ja) * 2017-09-21 2021-12-08 アトミクス株式会社 道路区画線施工車
CN111052734B (zh) * 2017-10-17 2021-06-01 株式会社多田野 作业车辆
JP6958216B2 (ja) * 2017-10-17 2021-11-02 株式会社タダノ 作業車両
JP7143578B2 (ja) * 2017-10-17 2022-09-29 株式会社タダノ 作業車両
JP7271218B2 (ja) * 2019-02-22 2023-05-11 株式会社加藤製作所 建設機械
JP7278851B2 (ja) * 2019-04-23 2023-05-22 株式会社加藤製作所 建設機械の走行制御装置及び建設機械
WO2020256101A1 (ja) * 2019-06-20 2020-12-24 株式会社タダノ 画像システムおよび画像システムを備える作業車両
JP7391604B2 (ja) * 2019-10-23 2023-12-05 株式会社加藤製作所 建設機械

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4899367B2 (ja) * 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2008312004A (ja) * 2007-06-15 2008-12-25 Sanyo Electric Co Ltd カメラシステム及び機械装置
JP5064976B2 (ja) * 2007-11-12 2012-10-31 クラリオン株式会社 建設・土木作業車両の作業安全監視システム
JP2010241548A (ja) * 2009-04-03 2010-10-28 Kansai Electric Power Co Inc:The クレーンの安全確認装置
JP5841821B2 (ja) * 2011-12-07 2016-01-13 富士通テン株式会社 画像処理装置、車両、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP2015139158A (ja) 2015-07-30

Similar Documents

Publication Publication Date Title
JP6321977B2 (ja) 重機用周辺監視装置
JP6029306B2 (ja) 作業機械用周辺監視装置
JP6173358B2 (ja) 旋回式作業機械の周囲監視装置
JP5814187B2 (ja) 自走式産業機械の表示装置
US20150009329A1 (en) Device for monitoring surroundings of machinery
JP6302624B2 (ja) 画像生成装置
JP6386213B2 (ja) ショベル
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP5128566B2 (ja) 周囲画像提示装置及び操作支援システム
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
CN104584540A (zh) 作业机械的周围监视装置
JP2011182236A (ja) カメラキャリブレーション装置
US10661712B2 (en) Bird's-eye view image system, bird's-eye view image display method and program
JP6324665B2 (ja) 作業機械用周辺監視装置
JP2018017115A (ja) ショベル
KR20130016335A (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
KR20130018868A (ko) 화상생성장치 및 조작지원 시스템
JP6378801B2 (ja) ショベル
JP5805574B2 (ja) 作業機械用周辺監視装置
JP5752631B2 (ja) 画像生成方法、画像生成装置、及び操作支援システム
JP6257918B2 (ja) ショベル
JP2018039648A (ja) 画像表示システム
JP6257919B2 (ja) ショベル
JP2019004484A (ja) ショベル
JP2018186575A (ja) ショベル

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20161111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180406

R150 Certificate of patent or registration of utility model

Ref document number: 6321977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150