JP2019167220A - Ambient monitoring system for service vehicle, service vehicle, display method and program - Google Patents
Ambient monitoring system for service vehicle, service vehicle, display method and program Download PDFInfo
- Publication number
- JP2019167220A JP2019167220A JP2018057687A JP2018057687A JP2019167220A JP 2019167220 A JP2019167220 A JP 2019167220A JP 2018057687 A JP2018057687 A JP 2018057687A JP 2018057687 A JP2018057687 A JP 2018057687A JP 2019167220 A JP2019167220 A JP 2019167220A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- camera
- calibration information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、作業車用の周囲監視システム、作業車、表示方法、及びプログラムに関する。 The present invention relates to a surrounding monitoring system for a work vehicle, a work vehicle, a display method, and a program.
吊り荷を視認できない状態でクレーンを操作する必要がある場合がある。特許文献１には、この種の操作を容易にするため、ブームの先端に設けられた吊り荷監視用カメラで映像を取得して、表示装置に表示する技術が開示されている。 It may be necessary to operate the crane with no load visible. Patent Document 1 discloses a technique for acquiring an image with a hanging load monitoring camera provided at the tip of a boom and displaying the image on a display device in order to facilitate this kind of operation.
移動式クレーンの多くは、走行時には、キャビンよりも前方にブームの先端が位置する。このため、交差点等では、周囲を確認し、ブームの先端が周囲の建造物、他の車両等に衝突しないように注意する必要がある。そこで、ブームの先端に左右一対のサイドカメラを設け、サイドカメラからの映像をモニタに表示することにより、オペレータにブーム先端の左右方向の状況を報知する方法が考えられる。 In many mobile cranes, the tip of the boom is positioned in front of the cabin when traveling. For this reason, at intersections and the like, it is necessary to check the surroundings and be careful so that the tip of the boom does not collide with surrounding buildings or other vehicles. Therefore, a method of informing the operator of the situation in the left-right direction of the boom tip by providing a pair of left and right side cameras at the tip of the boom and displaying an image from the side camera on the monitor can be considered.
しかし、特許文献１に開示されているクレーンにこの方法を単純に適用すると、ブームの先端に、吊り荷監視用のカメラと一対のサイドカメラの計３台のカメラを取り付ける必要がある。ブームの先端にカメラを取り付けるためには、カメラに加えて、カメラからキャビンに延在する信号線、ブームの伸縮に合わせて信号線の伸長と巻き取りとを行うコードリール、等の部品も必要となる。 However, if this method is simply applied to the crane disclosed in Patent Document 1, it is necessary to attach a total of three cameras, a suspended load monitoring camera and a pair of side cameras, to the tip of the boom. To attach the camera to the tip of the boom, in addition to the camera, parts such as a signal line extending from the camera to the cabin and a cord reel that extends and winds up the signal line as the boom expands and contracts are required. It becomes.
カメラ１台に１本の信号線が必要であり、１本の信号線に１つのコードリールが必要である。このため、３台のカメラを取り付けるためには、３台のカメラに加えて、３本の信号線と３つのコードリールとが必要になる。 One signal line is required for one camera, and one cord reel is required for one signal line. For this reason, in order to attach three cameras, in addition to the three cameras, three signal lines and three cord reels are required.
さらに、ブームの伸縮に合わせて、３つのコードリールで、３本の信号線の伸長と巻き取りとを行う必要がある。この場合、ブームの伸長時に、信号線同士が絡まらないように、また、周囲の部材に引っかからないように、適切な張力で信号線の伸長と巻き取りを行う必要がある。従って、信号線の引き回し及びコードリールの制御が複雑となる。 Furthermore, it is necessary to extend and wind up three signal lines with three cord reels in accordance with the expansion and contraction of the boom. In this case, it is necessary to extend and wind up the signal line with an appropriate tension so that the signal lines are not entangled when the boom is extended and the surrounding members are not caught. This complicates signal line routing and cord reel control.
このように、ブームの先端に３台のカメラを取り付けると、信号線の引き回し及びコードリールの制御が複雑で、取り扱いが難しくなる。 As described above, when three cameras are attached to the tip of the boom, the routing of the signal line and the control of the cord reel are complicated, and the handling becomes difficult.
本発明はこれらの課題を解決するものであり、部品点数の増加を抑えつつ、取り扱いの容易な作業車用の周囲監視システム、作業車、表示方法、及びプログラムを提供することを目的とする。 The present invention solves these problems, and an object thereof is to provide an environment monitoring system for a work vehicle, a work vehicle, a display method, and a program that are easy to handle while suppressing an increase in the number of parts.
上記目的を達するため、本発明に係る作業車用の周囲監視システムは、
作業車に設置された全方位カメラが撮影する映像を、人が視認できる形態の画像に変換するためのキャリブレーション情報を記憶する記憶部と、
前記全方位カメラが撮影した映像の一部分を切り取り、前記記憶部から前記キャリブレーション情報を取得し、切り取った前記映像の一部分を、取得した前記キャリブレーション情報を用いて、人が視認できる形態の画像に変換し、出力する制御部と、
を備える。
In order to achieve the above object, a surrounding monitoring system for a work vehicle according to the present invention includes:
A storage unit for storing calibration information for converting an image captured by an omnidirectional camera installed in a work vehicle into an image in a form that can be visually recognized by a person;
An image in a form in which a part of a video captured by the omnidirectional camera is cut out, the calibration information is acquired from the storage unit, and a part of the cut out video is visible to a person using the acquired calibration information A control unit for converting to and outputting,
Is provided.
また、上記目的を達するため、本発明に係る作業車は、
上記作業車用の周囲監視システムを備える作業車であって、
前記作業車は、前記全方位カメラと、人が搭乗するキャビンとを備え、
前記キャビンの内部または外部に、前記記憶部と前記制御部と表示装置とが設置されている。
In order to achieve the above object, the work vehicle according to the present invention is
A work vehicle including a surrounding monitoring system for the work vehicle,
The work vehicle includes the omnidirectional camera and a cabin on which a person is boarded,
The storage unit, the control unit, and a display device are installed inside or outside the cabin.
本発明における作業車用の周囲監視システム、作業車、表示方法、及びプログラムによれば、作業車に設置された全方位カメラが撮影する映像の一部分を切り取り、切り取った映像の一部分を、人が視認できる形態の画像に変換することにより、部品点数の増加を抑えつつ、取り扱いを容易にすることができる。 According to the surrounding monitoring system for a work vehicle, the work vehicle, the display method, and the program according to the present invention, a part of the image captured by the omnidirectional camera installed on the work vehicle is cut out, and a part of the cut out image is By converting the image into a visually recognizable image, the handling can be facilitated while suppressing an increase in the number of components.
本発明の周囲監視システムは、移動式クレーン等の作業車に備えられる。この周囲監視システムは、ブームの先端に配置された全方位カメラで撮影した映像の一部を切り取って平面画像に変換して表示することで、走行時の周辺領域の状況の確認及び作業時の吊り荷の状態の確認を可能とする。すなわち、本発明の周囲監視システムは、ブームの先端に設けられたカメラを、サイドカメラと吊り荷監視用カメラとに共用するシステムである。 The surrounding monitoring system of the present invention is provided in a work vehicle such as a mobile crane. This perimeter monitoring system cuts out a part of the video shot by the omnidirectional camera placed at the tip of the boom, converts it into a flat image, and displays it to check the status of the surrounding area during driving and It is possible to check the state of the suspended load. That is, the surrounding monitoring system of the present invention is a system that shares the camera provided at the tip of the boom with the side camera and the suspended load monitoring camera.
以下、本発明の実施の形態に係る周囲監視システムと方法について、図面を参照しつつ説明する。なお、同一または同等の部分に同一の符号を付す。 Hereinafter, a surroundings monitoring system and method according to embodiments of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the same or equivalent part.
（実施の形態１）
実施の形態１に係る周囲監視システム１００について、図１から図１３を参照して説明する。実施の形態１に係る周囲監視システム１００は、クレーンのブームの先端の左右両側に設けられた２台の全方位カメラを、サイドカメラと吊り荷監視用カメラとに共用するシステムである。
(Embodiment 1)
A surrounding
最初に、周囲監視システム１００が適用されるクレーン１の全体的な構成を説明する。クレーン１は、走行機能を有する車両本体部分となる走行体２と、走行体２の上に水平旋回可能に取り付けられた旋回台３と、旋回台３に設けられたキャビン４とを備えている。走行体２の前側と後側にはそれぞれ、クレーン１を地面Ｇ上で固定するための左右一対のアウトリガ５が備えられている。
First, the overall configuration of the crane 1 to which the surrounding
キャビン４は、オペレータがクレーン１の操作のために搭乗する装置である。その内部には、後述する表示装置２０とコントローラ３２とが配置されている。
The
旋回台３の上には、ブラケット６が固定されている。ブラケット６には、ブーム７が、ブーム７の基端部の支持軸を介して取り付けられている。ブーム７は、支持軸を中心に起伏することができる。ブラケット６とブーム７との間には、起伏用シリンダ７０が設けられている。ブーム７は、起伏用シリンダ７０が伸縮することにより起伏する。
A
ブーム７は、基端ブーム７ａと、１又は複数本の中間ブーム７ｂと、先端ブーム７ｃとを備えている。基端ブーム７ａと、中間ブーム７ｂと、先端ブーム７ｃとは、この順序で外側から内側へ入れ子式に組み合わされている。ブーム７ａ〜７ｃは、内部で伸縮シリンダと伸縮ワイヤにより連結されており、ブーム７は、伸縮シリンダが伸縮することで伸縮する。また、ブーム７には、ブーム７の傾きを検出する傾斜計とブーム７の長さを求める長さ計が配置されている。
The
先端ブーム７ｃは、その先端に先端部７ｄが設けられている。先端部７ｄには、シーブが備えられている。このシーブには、ブラケット６に設けられたウインチから延びたワイヤＷが掛けられている。ワイヤＷには、フックブロック８が吊り下げられている。フックブロック８には、フック９が取り付けられている。フック９には、ワイヤロープＷＲを介して吊り荷１０が掛けられる。ウインチには、吊り荷１０の重さを計測する荷重計が配置されている。
The
図２に示すように、先端部７ｄの左右両側には、左カメラ１１と右カメラ１２とが、カメラ保持部１３を介して設けられている。カメラ保持部１３は、フック９用のシーブ軸上に配置されている。左カメラ１１と右カメラ１２は、全方位カメラから構成されている。全方位カメラは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子等の撮像素子と、魚眼レンズとを備えている。全方位カメラは、１つのレンズで半球ほぼ３６０度の撮影ができるカメラである。
As shown in FIG. 2, the
左カメラ１１と右カメラ１２の視野について、図３を参照してさらに説明する。左カメラ１１と右カメラ１２の撮像素子の撮像面に垂直な軸をＺ軸とする。左カメラ１１のＺ軸をＺＬとし、右カメラ１２のＺ軸をＺＲとする。Ｚ軸を、クレーン１の車両の側方向に９０度回転した軸をＸ軸とし、左カメラ１１のＸ軸をＸＬとし、右カメラ１２のＸ軸をＸＲとする。また、Ｚ軸を、クレーン１の車両後方に９０度回転した軸をＹ軸とする。左カメラ１１のＹ軸をＹＬとし、右カメラ１２のＹ軸をＹＲとする。
The field of view of the
左カメラ１１と右カメラ１２は、クレーン１の走行時には、走行姿勢のブーム７の側方から地面方向を含む周辺領域を撮影でき、作業時には、ブーム７の角度によらず、吊り荷１０を含む作業領域を撮影できる方向を向く位置で、カメラ保持部１３に固定されている。左カメラ１１と右カメラ１２とを、このように取り付けることにより、クレーン１の側方から地面Ｇ方向までを撮影することができる。
The
全方位カメラで撮影した映像は、ほぼ全域を含み、さらに、画像の歪みが大きい。このため、左カメラ１１及び右カメラ１２で撮影した画像をそのまま表示しても、何の画像なのかを理解が難しい。そこで、周囲監視システム１００は、以下に説明する画像の切り取りと平面化処理、さらに、表示枠の設定（これらをまとめてキャリブレーション処理と呼ぶ）を行うことにより、オペレータが理解しやすい画像を表示装置２０に表示する。
A video taken with an omnidirectional camera includes almost the entire area, and further, image distortion is large. For this reason, even if images taken by the
まず、表示装置２０の構成を、図４を参照して説明する。表示装置２０は、キャビン４内の、オペレータから容易に視認可能な位置に配置されている。表示装置２０は、画像を表示する表示部２００と、表示部２００の下側に配置された複数の操作キーを備えている。また、表示装置２０は、内部に制御部３０と記憶部３１を備える。
First, the configuration of the
表示装置２０は、表示部２００に単一の画像（ウインドウ）を表示するシングルウインドウ・モードと、複数の画像を同時に表示するタイリングウインドウ・モードとを切り替えることができる。なお、タイリングウインドウ・モードでの表示画像の数を２とする。表示部２００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示インターフェース装置から構成される。
The
複数の操作キーは、左カメラ選択キー２１０と、右カメラ選択キー２１１と、パン操作キー２１２と、チルト操作キー２１３と、表示拡大キー２１４と、表示縮小キー２１５と、表示画像切替キー２１６と、複数画像表示キー２１７と、十字キー２１８とを備えている。
The plurality of operation keys include a left
左カメラ選択キー２１０と右カメラ選択キー２１１とは、左カメラ１１と右カメラ１２のうち、どちらのカメラで撮影した映像を表示部２００に表示するかを選択するキーである。左カメラ選択キー２１０または右カメラ選択キー２１１の押下により選択されたカメラを示す選択カメラ情報は記憶部３１に記憶される。例えば、右カメラ選択キー２１１が押下されると、右カメラ１２が選択されたことを示す選択カメラ情報が記憶部３１に記憶され、右カメラ１２で撮影された映像がキャリブレーション処理後、表示部２００に表示される。なお、左カメラ選択キー２１０と右カメラ選択キー２１１のいずれも押下されていない場合、デフォルトに設定されているカメラ、例えば、左カメラ１１を特定する選択カメラ情報が記憶部３１に記憶される。
The left
パン操作キー２１２とチルト操作キー２１３は、パン機能とチルト機能を操作するキーである。パン操作キー２１２またはチルト操作キー２１３を操作することにより、表示画像を左右方向及び上下方向に移動させることができる。表示拡大キー２１４と表示縮小キー２１５とは、表示部２００に表示された映像を、表示部２００の中心を基点として、拡大または縮小させるキーである。
The
表示画像切替キー２１６は、左カメラ１１または右カメラ１２が撮影した映像内で、表示対象範囲の切り替えを指示するキーである。具体的に説明すると、左カメラ１１及び右カメラ１２が撮影した映像上には、複数の切り取り範囲が設定され、何れかの切り取り範囲の画像が切り出されて表示される。表示画像切替キー２１６を押下することにより、カメラの選択は変更せず、切り取り範囲を変更して、表示画像を変更することができる。
The display
複数画像表示キー２１７は、表示装置２０を、複数の画像を同時に表示するタイリングウインドウ・モードと１つの画像を表示するシングルウインドウ・モードとの間で切り替えるキーである。
The multiple
表示画像切替キー２１６及び複数画像表示キー２１７の押下により選択された表示形式を特定する表示形式情報が記憶部３１に記憶される。十字キー２１８は、表示部２００の中心を起点として、表示を上下左右方向に移動させるキーである。
Display format information for specifying the display format selected by pressing the display
次に、図５を参照して、表示装置２０に内蔵された制御部３０と記憶部３１について説明する。
Next, the
制御部３０は、機能的には、図５に示すように、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５とを備えるコンピュータである。
As shown in FIG. 5, the
映像取得部３０１は、左カメラ１１と右カメラ１２が撮影した映像を取得する。データ取得部３０２は、コントローラ３２に接続されている。コントローラ３２は、クレーン１全体の動作、特に、旋回台３の旋回動作、起伏用シリンダ７０の伸縮によるブーム７の起伏動作、伸縮シリンダの伸縮によるブーム７の伸縮動作を制御する。データ取得部３０２は、コントローラ３２から、吊り荷１０の荷重、ジブの角度、ブーム７の長さと傾斜角度といったパラメータを取得する。ブーム７の傾斜角度は傾斜計、ブーム７の長さは長さ計、吊り荷１０の荷重は荷重計により計測され、コントローラ３２に通知されたものである。
The
対地角度算出部３０３は、データ取得部３０２がコントローラ３２から取得したパラメータを用いて、ブーム７の基部の回転軸とカメラ保持部１３とを結ぶラインと地面Ｇとの交差角度（以下、対地角度）を求める。具体的には、対地角度算出部３０３は、ブーム７の傾斜角（傾斜計により計測された値）とブーム７の長さと吊り荷１０の重量の組み合わせと対地角度とを対応付ける演算式又は三次元テーブルを内部メモリに記憶している。対地角度算出部３０３は、この演算式又は三次元テーブルに、取得したパラメータを適用して対地角度を求める。このような処理を行う理由は、ブーム７が長くなるに従って、また、吊り荷１０が重くなるに従って、ブーム７が撓むため、傾斜計による計測だけでは、正確な対地角度を求めることができないからである。
The ground
キャリブレーション情報取得部３０４は、記憶部３１に記憶されているカメラ選択情報、表示形式情報、キャリブレーション処理に必要な情報（以下、キャリブレーション情報）等の記憶部３１に記憶されている種々の情報を取得する。
The calibration
表示画像生成部３０５は、映像取得部３０１が取得した映像、対地角度算出部３０３が算出した対地角度、キャリブレーション情報取得部３０４が取得したカメラ選択情報と表示形式情報とキャリブレーション情報、を用いて、表示対象の画像を生成する。表示画像生成部３０５は、生成した画像を表示装置２０に出力する。
The display
制御部３０のハードウエアの構成の一例を図６に示す。図示するように、制御部３０は、プロセッサ３１０と、メモリ３１１と、表示コントローラ３１２と、Ｉ／Ｏポート３１３と、内部バス３１４から構成されている。プロセッサ３１０と、メモリ３１１と、表示コントローラ３１２と、Ｉ／Ｏポート３１３とは、内部バス３１４を介して相互に接続されている。
An example of the hardware configuration of the
プロセッサ３１０は、記憶部３１に保存された各種プログラムを読み出してメモリ３１１に展開し、実行する。プロセッサ３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の処理装置から構成されている。メモリ３１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性半導体メモリ、フラッシュメモリ等の不揮発性半導体メモリ等から構成されている。
The
表示コントローラ３１２は、表示装置２０の表示部２００に文字と映像とを表示させるため映像信号を出力するコントローラである。表示コントローラ３１２は、ビデオカード、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックボード等の映像信号出力装置から構成される。
The
Ｉ／Ｏポート３１３は、制御部３０に入出力される信号を送受信するためのインターフェースである。制御部３０は、Ｉ／Ｏポート３１３を介して左カメラ１１と、右カメラ１２と、コントローラ３２と、表示装置２０とに接続される。
The I /
プロセッサ３１０とＩ／Ｏポート３１３とは、図５に示す映像取得部３０１とデータ取得部３０２を構成する。また、プロセッサ３１０は、対地角度算出部３０３とキャリブレーション情報取得部３０４と表示画像生成部３０５を構成する。
The
次に、左カメラ１１及び右カメラ１２で撮影した映像に対して制御部３０が行うキャリブレーション処理について説明する。
Next, a calibration process performed by the
まず、クレーン１の走行時における、キャリブレーション処理について、図７から図９を参照しつつ説明する。 First, the calibration process when the crane 1 is traveling will be described with reference to FIGS.
ここで、図７（Ａ）に示すように、クレーン１が、交差点５０に差しかかっている場面を想定する。走行時は、クレーン１のブーム７は縮められ、伏せた状態にあり、その先端部７ｄは、キャビン４よりも前方にある。クレーン１から見て左側の交差点５０の角には、建物等の障害物５１が位置している。また、キャビン４は、クレーン１のフロントバンパーよりも後方に位置している。
Here, it is assumed that the crane 1 is approaching the
交差点５０を左折した地点をＡ、交差点５０を渡った正面の地点をＢ、フロントバンパーと障害物５１との間の地点をＣ、クレーン１と障害物５１との間の地点をＤとする。
A point where the
クレーン１のブーム７は、キャビン４の左横に取り付けられていることが多い。
The
この場合、キャビン４内のオペレータから見て、地点Ａは、キャビン４の左側にあるブーム７の陰になる。このため、オペレータは、キャビン４内から地点Ａを直接目視することが困難である。したがって、オペレータは、地点Ａに進入してくる他の車両、歩行者を、直接は視認することが困難である。また、キャビン４内のオペレータから見て、左前方にブーム７があるため、地点Ｂは、ブーム７の陰になり、オペレータは地点Ｂを直接は目視することが困難である。
In this case, when viewed from the operator in the
また、地点Ｃは、左側のフロントバンパーの陰になる。したがって、オペレータは、クレーン１の前方に背の低いもの、例えば、子供がいた場合には、それを視認することが困難である。また、キャビン４の左側にブーム７があるため、地点Ｄは、ブーム７の陰になる。このため、オペレータは、地点Ｄを直接目視することが困難である。
Point C is behind the left front bumper. Therefore, it is difficult for the operator to visually recognize a short object, such as a child, in front of the crane 1. Further, since the
現状、オペレータは、クレーン１の走行時に、地点Ａから地点Ｄの監視を目視によって行っている。一部のクレーンには、左側面等に前方を撮影するカメラを備えるものがある。このタイプのクレーンでは、図７（Ｂ）に示すように、キャビン４の内部に、前方モニタ４１が配置され、前方モニタ４１に、カメラによって撮影されたクレーン１の前方、すなわち地点Ｂの映像が表示される。また、キャビン４のフロントガラスの前に、フロントバンパー確認ミラー４２を備え、ブーム７の左側に、サイドミラー４３を備えるものも存在する。フロントバンパー確認ミラー４２は、地点Ｃを写すことができる鏡であり、サイドミラー４３は、地点Ｄを写すことのできる鏡である。
Currently, the operator visually monitors point A to point D when the crane 1 is traveling. Some cranes have a camera for photographing the front on the left side. In this type of crane, as shown in FIG. 7 (B), a
このような構成の場合、オペレータは、地点Ａと、前方モニタ４１に表示された地点Ｂの映像と、フロントバンパー確認ミラー４２に写った地点Ｃの画像と、サイドミラー４３に写った地点Ｄの画像とを、それぞれ目視で確認する必要がある。しかし、地点Ａと、前方モニタ４１と、フロントバンパー確認ミラー４２と、サイドミラー４３とは、それぞれ位置が離れている。このため、オペレータは、地点Ａと、前方モニタ４１と、フロントバンパー確認ミラー４２と、サイドミラー４３とを、頭ごと視線を動かして見ていく必要がある。したがって、交差点５０の地点Ａから地点Ｄの状況を、把握することが難しい。
In the case of such a configuration, the operator, the image of the point A, the image of the point B displayed on the
そこで、本実施の形態では、周囲監視システム１００により、交差点５０の地点Ａから地点Ｄを、簡単に監視することができるようにする。具体的には、本実施の形態の場合、ブーム７がキャビン４の左側に位置しているため、キャビン４からは、左方が右方よりも確認しづらい。このため、まず、オペレータは、左カメラ選択キー２１０を押下することで、映像を取得するカメラとして、左カメラ１１を選択する。これにより、左カメラ１１が撮影しているブーム７の左方の映像を、表示装置２０に表示させ、周囲の状態を確認することができる。
Therefore, in the present embodiment, the surrounding
左カメラ１１が撮影している映像の一例を、図８（Ａ）に示す。左カメラ１１は、３６０度の撮影ができる全方向魚眼カメラであるため、左カメラ１１で撮影した映像は、全体が丸くなり、かつ、縁に行くにしたがって歪みが強くなる。また、左カメラ１１で撮影した映像には、左カメラ１１を取り付けたブーム７の一部等の周囲の確認に不要な部分が映り込んでいる。この画像をそのまま表示部２００に表示しても、周囲の把握が困難である。
An example of an image captured by the
そこで、制御部３０は、左カメラ１１で撮影した映像のうち、周囲の確認に有用な一部分を、予め定められた形状の切り取り範囲５０１に合わせて切り取る。例えば、ブーム７の左方の地点を含んだ範囲を切り取り範囲５０１とする。次に、制御部３０は、切り取った画像に平面化処理を施し、歪みが小さく認識しやすい平面画像を生成する。この平面化処理は、切り取り範囲５０１内の画像のレンズ歪みを表す関数の逆関数で表される。生成した平面画像の一例を図８（Ｂ）に示す。この変換後の平面画像５１１の基準位置に表示枠ＷＩを設定し、表示枠ＷＩ内の画像を、図８（Ｃ）に示すように、表示装置２０の表示部２００に表示する。オペレータは、表示部２００に表示された平面画像を見ることによって、地点Ａの状況を視認することができる。なお、画像の平面化は、人間が容易に認識できる程度でよく、画像の平面性の厳格性は要求されない。
Therefore, the
また、Ｂ点を視認できるようにするためには、左カメラ１１で撮影した映像を、図９（Ａ）に示すように、予め定められた切り取り範囲５０２で切り取る。制御部３０は、切り取った画像について平面化処理を行い、歪みの小さい平面画像５１２を生成する。この平面化処理は、切り取り範囲５０２内の画像の歪みを表す関数の逆関数で表される。生成した平面画像５１２の一例を図９（Ｂ）に示す。この平面画像５１２の基準位置に表示枠ＷＩを設定し、表示枠ＷＩ内の画像を、図９（Ｃ）に示すように、表示部２００に表示する。オペレータは、表示された平面画像を見ることによって、地点Ｂの状況を視認することができる。
Further, in order to make the point B visible, the video shot by the
シングルウインドウ・モードにおいては、図４に示した表示画像切替キー２１６を押下することにより、図８（Ｃ）に示した地点Ａを含む平面画像と図９（Ｃ）に示した地点Ｂを含む平面画像とが、表示部２００上で切り替えて表示される。また、図４に示した複数画像表示キー２１７を押下して、タイリングウインドウ・モードを設定すると、図８（Ｃ）に示した平面画像と図９（Ｃ）に示した平面画像とが、表示部２００に並べて表示される。
In the single window mode, when the display image switching key 216 shown in FIG. 4 is pressed, a plane image including the point A shown in FIG. 8C and a point B shown in FIG. 9C are included. A planar image is displayed by switching on the
切り取り範囲５０１、５０２の形状と大きさと位置、平面化処理に使用する関数、及び表示枠ＷＩを設定する基準位置は、後述する図１２（Ａ）に示す走行時用データベースＤ１に格納され、記憶部３１に記憶されている。
The shape, size, and position of the cut-out
次に、クレーン１の作業時における、キャリブレーション処理について、図１０を参照して説明する。 Next, the calibration process during the operation of the crane 1 will be described with reference to FIG.
図１０（Ａ）に示すように、クレーン１が吊り荷１０を吊り上げる作業をしている場面を想定する。この状態において、オペレータが、吊り荷１０の状態を確認するため、左カメラ１１が撮影している地面Ｇの方向の映像を、表示装置２０に表示させるものとする。この場合、オペレータは、図４に示す、左カメラ選択キー２１０を押下することで、映像を取得するカメラとして左カメラ１１を選択する。
As shown in FIG. 10A, a scene is assumed in which the crane 1 is working to lift the suspended
左カメラ１１が撮影している映像を図１０（Ｂ）に例示する。左カメラ１１で撮影した画像は、全体が丸くなり、かつ、縁に行くに従って歪みの程度が大きくなる。制御部３０は、この映像のうち吊り荷１０を含む画像を、画像の中心点を起点とし、鉛直方向の画像を含む扇形の切り取り範囲５０３を切り取り、切り取った画像に平面化処理を行い、図１０（Ｃ）に示すように、可能な平面画像５１３を生成する。この平面化処理は、魚眼レンズによる歪みの逆変換に相当する関数を用いる。制御部３０は、生成した平面画像５１３上に表示枠ＷＩを設定し、表示枠ＷＩ内の画像を、表示部２００に表示させる。なお、画像を取得するカメラとして左カメラ１１を選択する例を説明したが、画像を取得するカメラとして右カメラ１２を選択しても良い。
An image taken by the
映像の切り取り範囲５０３及び表示枠ＷＩの設定位置は、ブーム７の対地角度に応じて変化する。これは、ブーム７が起伏して対地角度が変わると、左カメラ１１または右カメラ１２が撮影した映像内の吊り荷１０の位置が変変化するからである。そこで、ブーム７の対地角度と切り取り範囲５０３と平坦化後の画像の上の表示枠ＷＩの設定位置との関係を、予め求めておき、図１２（Ｂ）に示すように、作業時用データベースＤ２として記憶部３１に記憶しておく。
The setting positions of the
切り取り範囲５０３とブーム７の対地角度との関係を示すテーブルについて、図１１と図１２（Ｂ）を参照して説明する。図１１（Ａ）に、左カメラ１１または右カメラ１２が撮影した映像に設定する角度の一例を示す。まず、左カメラ１１において、０度を−Ｘ軸方向、９０度を＋Ｙ軸方向、１８０度を＋Ｘ軸方向、２７０度を−Ｙ軸方向とする。右カメラ１２についても同様に角度を設定する。
A table showing the relationship between the
図１１（Ａ）に示すように、切り取り範囲５０３を、画像の中心を基準として、吊り荷１０の画像が含まれる扇型の範囲に設定する。ブーム７の対地角度が変化する毎に、画像全体の中の吊り荷１０の位置が変化する。そこで、図１１（Ｂ）に例示するように、対地角度に応じて、切り出す角度範囲を変化させる。この例では、左カメラ１１で撮影した画像に関しては、切り取り範囲５０３を、ブーム７の対地角度０〜２０°未満の場合には、＋３０°〜−１５０°の範囲、対地角度が２０°〜４０°未満の場合には、０°〜−１３０°未満の範囲、対地角度が４０°〜６０°未満の場合には、−３０°〜−１１０°の範囲などとする。右カメラ１２の映像についても、吊り荷１０の画像の位置を基準に切り取り範囲５０３が定められる。この関係は、図１２（Ｂ）に示す作業時用データベースＤ２にまとめられている。
As shown in FIG. 11A, the cut-
図１２（Ａ）は、走行時用データベースＤ１の一例を示す。クレーン１の、走行時には、ブーム７は伏せられた状態にあり、その対地角度は一定である。図８（Ａ）に示す地点Ａを表示するための切り取り範囲５０１と図９（Ａ）に示す地点Ｂを表示するための切り取り範囲５０２は、左カメラ１１と右カメラ１２とで、それぞれの範囲が定められている。また、撮影された映像を平面画像に変換するための平面化関数及び変換された平面画像上の表示枠ＷＩの基準位置も、左カメラ１１と右カメラ１２とで、それぞれで定められている。
FIG. 12A shows an example of the travel time database D1. When the crane 1 is traveling, the
この走行時用データベースＤ１から、例えば、左カメラ１１を使用して地点Ａの画像を表示部２００に表示するためには、撮影した映像の第１範囲の画像を切り取り、平面化関数ｆ１を用いて平面画像化し、生成された平面画像の座標（Ｘ１，Ｙ１）を基準として表示枠ＷＩを設定し、表示枠ＷＩ内の画像を表示部２００に表示すればよいことを特定できる。なお、表示された画像をパンする場合には、表示枠ＷＩをＸ軸方向（画像の水平方向）に移動し、チルトする場合には、表示枠ＷＩをＸ軸方向（画像の鉛直方向）に移動し、拡大する場合には、表示枠ＷＩを小さくし、縮小する場合には、表示枠ＷＩを大きくすればよい。
For example, in order to display the image of the point A on the
一方、図１２（Ｂ）は、作業時用データベースＤ２の一例を示す。この作業時用データベースＤ２は、左カメラ１１と右カメラ１２の別と、ブーム７の対地角度と、切り取り範囲と、平面化関数と、表示枠の基準位置といったパラメータを互いに対応付けて規定している。切り取り範囲には、図１１（Ｂ）に例示した角度範囲を格納する。平面化関数には、切り取り範囲の画像の歪みを補正して平面画像に変換するための関数を格納する。表示枠の位置には、平面画像上に設定する表示枠の基準位置を格納する。
On the other hand, FIG. 12B shows an example of the work database D2. The work database D2 defines parameters such as the
この作業時用データベースＤ２から、例えば、ブーム７の対地角度が３０°のときに、左カメラ１１を使用して吊り荷の画像を表示するためには、撮影した映像の０°〜−１３０°の範囲の画像を切り取り、平面化関数ｆ６を用いて平面画像化し、生成された平面画像の座標（Ｘ６，Ｙ６）を基準として表示枠ＷＩを設定し、表示枠ＷＩ内の画像を表示部２００に表示すればよいことを特定できる。
From this work time database D2, for example, in order to display an image of a suspended load using the
走行時用データベースＤ１と作業時用データベースＤ２の記憶部３１への記憶は、設計時に設計者が行う。メンテナンス時に、メンテナンス担当者が、記憶部３１に記憶しているデータベースを、更新または変更してもよい。
The designer stores the running database D1 and the working database D2 in the
左カメラ１１または右カメラ１２で撮影した映像に対して、制御部３０が行うキャリブレーションと表示装置２０への表示の処理は、複数カメラ画像表示処理のプログラムとして、記憶部３１に記憶されている。制御部３０は、表示装置２０の電源がオンされたタイミング等で、記憶部３１から複数カメラ画像表示処理用のプログラムを読み出し、これを実行する。
The calibration performed by the
制御部３０は、複数カメラ画像表示処理を実行する時に、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５として機能する。
The
次に、複数カメラ画像表示処理について、図１３に示すフローチャートを参照して説明する。 Next, the multi-camera image display process will be described with reference to the flowchart shown in FIG.
表示装置２０の電源がオンされると、制御部３０は、図１３に示す複数カメラ画像表示処理を開始し、まず、コントローラ３２からクレーン１のＰＴＯ（Ｐｏｗｅｒ Ｔａｋｅ−Ｏｆｆ）の状態を取得する。ＰＴＯは、エンジンからクレーン１の作業に必要な動力を取り出す機構である。このため、制御部３０は、ＰＴＯがＯＮであれば、クレーン１は作業中であり、ＰＴＯがＯＦＦであれば、クレーン１は走行中と判断する。
When the power of the
ＰＴＯの状態がＯＮであれば（ステップＳ１００；ＹＥＳ）、クレーン１は作業状態であり、制御部３０のデータ取得部３０２は、コントローラ３２から、吊り荷１０の荷重、ブーム７の長さと傾斜角等のパラメータを取得する。対地角度算出部３０３は、データ取得部３０２が取得した各種パラメータを所定の演算式又はテーブルに適用することにより、ブーム７の対地角度を算出し、表示画像生成部３０５に通知する（ステップＳ１０１）。
If the state of the PTO is ON (step S100; YES), the crane 1 is in a working state, and the
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１からカメラ選択情報と表示形式情報とを取得する（ステップＳ１０２）。なお、前述のように、カメラ選択情報は、図４に示す左カメラ選択キー２１０または右カメラ選択キー２１１の押下により設定される。また、表示形式情報は、表示画像切替キー２１６と複数画像表示キー２１７との押下により設定される。
The display
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して記憶部３１にアクセスし、作業時用データベースＤ２から、カメラ選択情報が特定するカメラと算出された対地角度とに対応するキャリブレーション情報、即ち、映像の切り取り範囲と平面化関数と表示枠設定基準を特定する情報を取得する（ステップＳ１０３）。例えば、カメラ選択情報が左カメラ１１を指定しており、ステップＳ１０３で対地角度が３０°と求められている場合、切り取り範囲として０°〜−１３０°の範囲、平面化関数としてｆ６、表示枠ＷＩの基準位置として（Ｘ6，Ｙ６）を読み出す。
The display
表示画像生成部３０５は、カメラ選択データが指定するカメラからの映像を映像取得部３０１から取得する（ステップＳ１０４）。
The display
表示画像生成部３０５は、取得した映像にキャリブレーション処理を実行する。即ち、取得した映像の切り取り範囲の画像を切り取り、平面化関数を適用して平面画像を生成する。さらに、生成された平面画像上に、基準位置に基づいて、表示枠ＷＩを設定する（ステップＳ１０５）。
The display
なお、パンが設定されている場合には、表示枠ＷＩの位置を基準位置からＸ軸方向に移動し、チルトが設定されている場合には、表示枠ＷＩの位置を基準位置からＹ軸方向に移動して配置する。十字キー２１８が操作された場合には、操作に応じて、適宜調整される。また、拡大が設定されている場合には、表示枠ＷＩを縮小し、縮小が設定されている場合には、表示枠ＷＩを縮小して配置する。
When pan is set, the position of the display frame WI is moved from the reference position in the X-axis direction. When tilt is set, the position of the display frame WI is moved from the reference position to the Y-axis direction. Move to place. When the
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０に出力する。表示装置２０は、入力された画像を、表示部２００に表示する（ステップＳ１０６）。これにより、オペレータは、表示部２００に表示された吊り荷１０の平面画像をみながら、作業を行うことができる。
The display
一方、ステップＳ１００で、ＰＴＯの状態がＯＦＦであれば（ステップＳ１００；ＮＯ）、クレーン１は走行状態であり、ブーム７は伏した状態にある。表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１からカメラ選択情報と表示形式情報を取得する（ステップＳ１０７）。
On the other hand, if the state of the PTO is OFF in step S100 (step S100; NO), the crane 1 is in a traveling state and the
続いて、表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１に記憶されている走行時用データベースＤ１（図１２（Ａ））から、カメラ選択情報と表示形式情報とをキーに、キャリブレーション情報を取得する（ステップＳ１０８）。即ち、カメラ選択情報と表示形式情報に従って、走行時用データベースＤ１から、切り取り範囲と平面化関数と表示枠基準位置を読み出す。具体的には、設定されている表示形式がシングルウインドウ・モードであれば、走行時用データベースＤ１の表示形式情報で特定されるエントリに設定されている切り取り範囲と平面化関数と表示枠基準位置を取得する。例えば、カメラ選択情報が左カメラを指定していれば、左カメラ用の先頭エントリから「第１範囲」と「平面化関数ｆ１」と、基準位置（Ｘ１，Ｙ１）を取得する。取得するエントリは表示画像切替キー２１６の押下により順次切り替えられる。
Subsequently, the display
また、現在設定されている表示形式がタイリングウインドウ・モードであれば、カメラ選択情報が指示するカメラ用のエントリからタイリングウインドウの数分取得する。例えば、例えば、カメラ選択情報が左カメラを指定していれば、図１２（Ａ）に示された左カメラ用の第１及び第２エントリから、「第１範囲」と「ｆ１」と「Ｘ１，Ｙ１」の組と「第２範囲」と「ｆ２」と「Ｘ２，Ｙ２」の組みを取得する。取得するエントリは表示画像切替キー２１６の押下により順次切り替えられる。
If the currently set display format is the tiling window mode, the number of tiling windows is acquired from the camera entry indicated by the camera selection information. For example, if the camera selection information designates the left camera, from the first and second entries for the left camera shown in FIG. 12A, “first range”, “f 1 ”, “ A set of “X 1 , Y 1 ”, a “second range”, “f 2 ” and “X 2 , Y 2 ” is acquired. Entries to be acquired are sequentially switched by pressing the display
次に、表示画像生成部３０５は、映像取得部３０１から、カメラ選択情報が示すカメラが撮影した映像を取得する（ステップＳ１０９）。表示画像生成部３０５は、映像取得部３０１から取得した映像にキャリブレーション処理を施す（ステップＳ１１０）。即ち、取得した映像から、ステップＳ１０８で取得した切り取り範囲の画像を切り取り、平面化関数ｆで平面画像に変換して、さらに、変換後の平面画像に、基準位置を基準として、表示枠ＷＩを設定する。なお、表示枠ＷＩの設定位置は、パン操作キー２１２、チルト操作キー２１３、十字キー２１８の操作などにより、基準位置を中心に適宜変化する。また、表示枠ＷＩのサイズは、表示拡大キー２１４，表示縮小キー２１５等の操作により基準サイズを中心に適宜調整される。
Next, the display
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０に出力する。表示装置２０は、入力された画像を、現在設定されている表示形式により表示部２００に表示する（ステップＳ１１１）。オペレータは、表示部２００に表示された左右前後の平面画像を参照しつつ、クレーン１を走行させることができる。
The display
制御部３０は、以上のステップＳ１００からステップＳ１１１の処理を、表示部２００の電源がオフされるまで繰り返し実行する。
The
以上のように、実施の形態１によれば、ブーム７の先端の左右に配置された全方位カメラで撮影された映像をキャリブレーションすることで、走行時の周囲の状況及び作業時の吊り荷１０の状態を確認できるようにすることができる。すなわち、ブーム７の先端の左右に設けた全方位カメラを、サイドカメラと吊り荷監視用カメラとして共用することができる。これにより、部品点数を減らすことができる。また、カメラの台数を通常想定される３台から２台に減らすことができるので、信号線の引き回しを容易にし、かつ、コードリールの制御を簡単にすることができる。
As described above, according to the first embodiment, by calibrating the images taken by the omnidirectional cameras arranged on the left and right of the tip of the
また、クレーン１の走行中は、カメラで撮影した映像を、単一の画像を表示するシングルウインドウ・モードと、複数の画像を同時に表示するタイリングウインドウ・モードとに切り替えて表示装置２０に表示することができる。このため、オペレータがクレーンの周囲の状況を簡単に監視することができる。これにより、従来、オペレータがクレーンの周囲の状況を監視するために必要としたクレーンの側方向を撮影するカメラと、フロントバンパー確認ミラー４２と、サイドミラー４３とが不要になる。したがって、部品の点数を減らすことができる。
Further, while the crane 1 is traveling, the video captured by the camera is displayed on the
また、撮影画像のうち表示対象となりうる部分を切り取ってから平面化処理を行うので、画像全体を平面化処理する場合に比して、制御部の処理量を大幅に抑えることができる。 In addition, since the planarization process is performed after a portion that can be a display target is cut out from the captured image, the processing amount of the control unit can be significantly reduced as compared with the case where the entire image is planarized.
（実施の形態２）
本発明の実施の形態２に係る周囲監視システム１００Ａは、ブーム７の先端に設けた１台の全方位カメラを、サイドカメラと吊り荷監視用カメラを共用したカメラとして用いることができるシステムである。以下、周囲監視システム１００Ａについて、図１４から図２２を参照して説明する。なお、実施の形態１と同一の部分の説明については同一の符号を付す。
(Embodiment 2)
図１４（Ａ）に示すように、ブーム７の先端部７ｄの前側には、単一のカメラ１５がカメラ保持部１６を介して設けられている。カメラ１５は、魚眼レンズを備えた全方位カメラから構成される。
As shown in FIG. 14A, a
図１４（Ｂ）に示すように、カメラ１５の魚眼レンズの光学軸をＺ軸とし、クレーン１の車両の左右方向をＸ軸方向とし、Ｘ軸とＺ軸に直角な方向をＹ軸方向とする。カメラ１５は、クレーン１の走行時には、ブーム７の側方向から地面方向を撮影可能で、作業時には、吊り荷１０が撮影できる方向を向く姿勢でカメラ保持部１６に固定されている。
As shown in FIG. 14B, the optical axis of the fisheye lens of the
周囲監視システム１００Ａは、カメラ１５が撮影した映像をキャリブレーションし、表示装置２０Ａに表示する。
The surrounding
図１５に示すように、表示装置２０Ａは、図４に示す表示装置２０の左カメラ選択キー２１０と右カメラ選択キー２１１に代えて、左方向表示キー２２０と右方向表示キー２２１を備える。
As illustrated in FIG. 15, the
左方向表示キー２２０は、カメラ１５が撮影した映像から、クレーン１の左方向の画像を抽出して表示することを指示するキーである。右方向表示キー２２１は、カメラ１５が撮影した映像から、クレーン１の右方向の画像を抽出して、表示することを指示するキーである。左方向表示キー２２０または右方向表示キー２２１の押下により、選択された向きが表示方向であることを示す表示方向選択情報が記憶部３１に記憶される。なお、初期状態では、デフォルトの表示方向選択示選択情報、例えば、左方向の表示を指定する表示方向選択情報が記憶部３１に記憶されている。
The
次に、カメラ１５が撮影した映像を表示装置２０Ａに表示させる制御部３０Ａの構成を、図１６を参照して説明する。なお、制御部３０Ａと、カメラ１５と、記憶部３１と、表示装置２０Ａとが周囲監視システム１００Ａを構成する。制御部３０Ａは、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５とを備えている。
Next, the configuration of the
映像取得部３０１は、１台のカメラ１５が撮影した映像を取得する。キャリブレーション情報取得部３０４は、記憶部３１に記憶されている走行時用または作業時用のキャリブレーション情報、表示方向選択情報、及び、表示形式特定データを取得する。表示画像生成部３０５は、映像取得部３０１が取得した映像、対地角度算出部３０３が算出した対地角度、キャリブレーション情報取得部３０４を介して取得したキャリブレーション情報と表示方向選択情報及び表示形式選択情報とに基づいて、表示部２００に表示する画像を生成する。表示画像生成部３０５は、生成した画像を表示装置２０Ａに出力する。データ取得部３０２と対地角度算出部３０３は、図５に示すデータ取得部３０２と対地角度算出部３０３と実質的に同一である。
The
制御部３０Ａのハードウエアの構成は、図６に示す構成と実質的に同一である。
The hardware configuration of the
次に、制御部３０Ａが行うキャリブレーション処理について説明する。
Next, the calibration process performed by the
まず、クレーン１の走行時におけるキャリブレーション処理について、図１７と図１８を参照しつつ説明する。 First, a calibration process during traveling of the crane 1 will be described with reference to FIGS. 17 and 18.
図１７に示すようにクレーン１が、交差点５０に差しかかっている場面を想定する。この状態では、カメラ１５は、キャビン４よりも前方の交差点を見渡せる位置にある。クレーン１から見て交差点５０の左側の角には、障害物５１がある。交差点５０を左折した地点を地点Ａ、交差点５０を渡った地点を地点Ｂ、クレーン１のフロントバンパーと障害物５１との間の地点を地点Ｃ、クレーン１と障害物５１との間の地点を地点Ｄとする。また、クレーン１から見て交差点５０を挟んで右斜め前方の地点を地点Ｅ、交差点５０を挟んで地点Ａと対向する地点を地点Ｆとする。
Assume that the crane 1 is approaching the
カメラ１５が撮影している映像を図１８（Ａ）に例示する。この映像は、交差点５０とブーム７の映像を含み、右半分がクレーン１の右方向を撮影した映像であり、左半分がクレーン１の左方向を撮影した映像である。
An image captured by the
ここで、オペレータが、図１５に示す表示装置２０Ａの右方向表示キー２２１を押下したとする。この場合、記憶部３１に、右方向選択情報が格納される。制御部３０Ａは、カメラ１５が撮影した映像を、予め定められた切り取り範囲５０４に合わせて切り取る。切り取り範囲５０４は、右方向を撮影した映像を切り取る範囲として、予め定められた範囲である。切り取り範囲５０４は、例えば、クレーン１が交差点にさしかかったときに、交差点の右折方向の道路の画像が納まる範囲として設定される。制御部３０Ａは、切り取った画像について平面化処理を行い、平面画像を生成する。生成した平面画像を図１８（Ｂ）に例示する。制御部３０Ａは、生成した平面画像上に表示枠ＷＩを設定する。表示枠ＷＩ内の画像が、表示部２００に表示される。オペレータは、表示部２００に表示された画像を見ることによって、地点Ｆの状況を視認することができる。
Here, it is assumed that the operator presses the right
次に、オペレータが、表示装置２０Ａの左方向表示キー２２０を押下したとする。この場合、記憶部３１に、左方向選択情報が格納される。この場合、制御部３０Ａは、図１８（Ａ）に示すカメラ１５が撮影した映像の切り取り範囲５０５を切り取る。切り取り範囲５０５は、左方向を撮影した映像を切り取る範囲として、定められた範囲である。切り取り範囲５０５は、例えば、クレーン１が交差点にさしかかったときに、左折方向の道路の画像が納まる範囲として設定される。
Next, it is assumed that the operator presses the left
制御部３０Ａは、切り取った画像について平面化処理を行い、平面画像を生成する。生成した平面画像を図１８（Ｃ）に例示する。制御部３０Ａは、生成した平面画像上に表示枠ＷＩを設定する。表示枠ＷＩ内の画像が、表示部２００に表示される。オペレータは、表示部２００に表示された画像を見ることによって、地点Ａの状況を視認することができる。
The
図１８（Ｂ）、（Ｃ）に示した画像は、表示画像切替キー２１６を押下することにより、表示部２００上で切り替えて表示することができる。また、図１８（Ｂ）、（Ｃ）に示した画像は、複数画像表示キー２１７を押下することで、表示部２００上に同時に並べて表示することができる。
The images shown in FIGS. 18B and 18C can be switched and displayed on the
切り取り範囲、平滑化関数、表示枠ＷＩの基準位置は、図２０（Ａ）に示す走行時用データベースＤ１１にまとめられ、記憶部３１に記憶されている。
The cutout range, the smoothing function, and the reference position of the display frame WI are collected in the travel database D11 shown in FIG. 20A and stored in the
次に、クレーン１の作業時におけるキャリブレーション処理について、図１９と２０（Ｂ）を参照しつつ説明する。作業時には、カメラ１５で撮影した地面Ｇの方向の映像を、キャリブレーションし、表示部２００に表示させる。
Next, the calibration process at the time of work of the crane 1 is demonstrated, referring FIG. 19 and 20 (B). At the time of work, an image in the direction of the ground G photographed by the
クレーン１が吊り荷１０を吊り上げる作業をしており、吊り荷１０方向の映像を、表示部２００に表示させるものとする。
It is assumed that the crane 1 is lifting the suspended
この場合、制御部３０Ａは、図１９（Ａ）に示すように、カメラ１５で撮影した映像の地面方向の画像を、映像の中心点を起点とした扇形の切り取り範囲５０６に合わせて切り取る。制御部３０Ａは、切り取った画像に平面化処理を行い、平面画像を生成する。生成した長方形の画像を、図１９（Ｂ）に例示する。制御部３０Ａは、生成した平面画像上に表示枠ＷＩを設定する。表示枠ＷＩ内の画像が、表示部２００に表示される。
In this case, as shown in FIG. 19A, the
クレーン１の作業時における映像の切り取り範囲５０６と平滑化関数と表示枠ＷＩの設定位置は、ブーム７の対地角度に応じて変化する。これは、カメラ１５が撮影する映像内の吊り荷１０の位置が、ブーム７の対地角度によって変化するためである。これらのキャリブレーション処理に必要な情報は、図２０（Ｂ）に示すようにテーブル化され、作業時用データベースＤ１２として記憶部３１に記憶されている。
The
カメラ１５で撮影した映像に対して、制御部３０Ａが行うキャリブレーション処理は、単一カメラ画像表示処理のプログラムとして、記憶部３１に記憶されている。制御部３０Ａは、表示装置２０Ａが起動されると、記憶部３１からこのプログラムを読み出し、実行する。
The calibration process performed by the
制御部３０Ａは、単一カメラ画像表示処理プログラムを実行する時には、映像取得部３０１と、データ取得部３０２と、対地角度算出部３０３と、キャリブレーション情報取得部３０４と、表示画像生成部３０５として機能する。
When executing the single camera image display processing program, the
単一カメラ画像表示処理について、図２１に示すフローチャートを参照して説明する。 The single camera image display process will be described with reference to the flowchart shown in FIG.
表示装置２０Ａがオンになると、制御部３０Ａは、図２１に示す単一カメラ画像表示処理を開始し、まず、クレーン１のＰＴＯの状態を確認する（ステップＳ２００）。
When the
ＰＴＯの状態がＯＮであれば（ステップＳ２００；ＹＥＳ）、クレーン１は作業状態であり、制御部３０Ａのデータ取得部３０２は、コントローラ３２から、吊り荷１０の荷重、ブーム７の長さと傾斜角等のパラメータを取得する。対地角度算出部３０３は、データ取得部３０２が取得したパラメータから、ブーム７の対地角度を算出する（ステップＳ２０１）。
If the state of the PTO is ON (step S200; YES), the crane 1 is in the working state, and the
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１から表示形式情報を取得する（ステップＳ２０２）。
The display
表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して記憶部３１にアクセスし、作業時用データベースＤ１２から、算出された対地角度に対応するキャリブレーション情報、即ち、映像の切り取り範囲と平面化関数と表示枠設置位置を特定する情報を取得する（ステップＳ２０３）。例えば、対地角度が３０°と求められている場合、切り取り範囲として−３０°〜−１５０°の範囲、平面化関数としてｆ１６，表示枠ＷＩの基準位置として（Ｘ１６，Ｙ１６）を読み出す。
The display
表示画像生成部３０５は、カメラ１５からの映像を取得する（ステップＳ２０４）。
The display
表示画像生成部３０５は、取得した映像にキャリブレーション処理を実行する（ステップＳ２０５）。即ち、取得した映像から、切り取り範囲の画像を切り取り、平面化関数を適用して平面画像を生成する。さらに、生成された平面画像上に、基準位置に基づいて、表示枠ＷＩを設定する。
The display
なお、パンが設定されている場合には、表示枠ＷＩの位置を基準位置からＸ軸方向に移動し、チルトが設定されている場合には、表示枠ＷＩの位置を基準位置からＹ軸方向に移動して配置する。十字キー２１８が操作されている場合も同様である。また、拡大が設定されている場合には、表示枠ＷＩを縮小し、縮小が設定されている場合には、表示枠ＷＩを縮小して配置する。
When pan is set, the position of the display frame WI is moved from the reference position in the X-axis direction. When tilt is set, the position of the display frame WI is moved from the reference position to the Y-axis direction. Move to place. The same applies when the
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０Ａに出力する。表示装置２０Ａは、入力された画像を、表示部２００に表示する（ステップＳ２０６）。これにより、オペレータは、吊り荷１０の平面画像を見ながら、作業を行うことができる。
The display
一方、ステップＳ２００で、ＰＴＯの状態がＯＦＦであれば（ステップＳ２００；ＮＯ）、クレーン１は走行状態であり、表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１から表示方向選択情報と表示形式情報を取得する（ステップＳ２０７）。なお、表示方向選択情報は、図１５に示す左方向表示キー２２０又は右方向表示キー２２１の押下により設定される。
On the other hand, if the PTO state is OFF in step S200 (step S200; NO), the crane 1 is in a traveling state, and the display
続いて、表示画像生成部３０５は、キャリブレーション情報取得部３０４を介して、記憶部３１に記憶されている走行時用データベースＤ１１（図２０（Ａ））から、表示方向選択情報と表示形式情報とをキーに、キャリブレーション情報を取得する（ステップ２０８）。即ち、表示方向選択情報と表示形式情報に従って、走行時用データベースＤ１１から、切り取り範囲と平面化関数と表示枠基準位置を読み出す。具体的には、設定されている表示形式がシングルウインドウ・モードであれば、走行時用データベースＤ１１の現在表示対象となっているエントリに設定されている切り取り範囲と平面化関数と表示枠基準位置を得する。例えば、表示方向選択情報が左方向を指定しており、現在の表示対象が第１エントリであれば、左方向用の先頭エントリから「第１範囲」と「平面化関数ｆ１１」と、基準位置（Ｘ１１，Ｙ１１）を取得する。また、設定されている表示形式がタイリングウインドウ・モードであれば、表示方向選択情報が指示する表示方向用のエントリからタイリングウインドウの数分の情報を取得する。例えば、左方向用の第１及び第２エントリから、「第１範囲」と「ｆ１１」と「Ｘ１１，Ｙ１１」の組と「第２範囲」と「ｆ１２」と「Ｘ１２，Ｙ１２」の組を取得する。
Subsequently, the display
次に、表示画像生成部３０５は、映像取得部３０１から、カメラ１５が撮影した映像を取得する（ステップＳ２０９）。表示画像生成部３０５は、取得した映像にキャリブレーション処理を施す（ステップＳ２１０）。即ち、取得した映像から、切り取り範囲の画像を切り取り、平面化関数ｆで平面画像に変換して、さらに、変換後の平面画像上に表示枠ＷＩを設定する。
Next, the display
表示画像生成部３０５は、表示枠ＷＩ内の画像を表示装置２０Ａに出力する。表示装置２０Ａは、入力された画像を、現在設定されている表示形式により表示部２００に表示する（ステップＳ２１１）。オペレータは、表示部２００に表示された左右前後の平面画像参照しつつ、クレーン１を走行させることができる。
The display
制御部３０Ａは、以上のステップＳ２００からステップＳ２１１の処理を、表示装置２０Ａのスイッチがオフされるまで繰り返し実行する。
The
以上のように、実施の形態２によれば、カメラが１台ですむ。従って、部品点数を減らし、信号線の引き回しを容易にし、かつ、コードリールの制御を簡単にすることができる。 As described above, according to the second embodiment, only one camera is required. Therefore, the number of parts can be reduced, the signal lines can be easily routed, and the control of the cord reel can be simplified.
（変形例１）
上記の説明では、図１４（Ａ）に示すように、ブーム７の先端部７ｄの前側にカメラ１５を配置したが、必要な画像が確保できる範囲で、カメラの設置位置は任意である。例えば、図２２に示すように、カメラ１５を、先端部７ｄのキャビン４とは反対側、すなわち、先端部７ｄの左側に配置してもよい。この場合、走行時には、クレーン１の左方向を撮影している映像を切り取り、オペレータに提示することができる。キャビン４の右方向は、カメラ１５では撮影できないので、オペレータが視認する。また、作業時には、実施の形態２と同様に、吊り荷１０方向の画像を切り取って、表示することができる。
(Modification 1)
In the above description, as shown in FIG. 14A, the
（実施の形態３）
本発明の実施の形態３に係る周囲監視システム１００Ｂは、左カメラ１１と右カメラ１２との視野が重なる部分において、ステレオカメラの機能を提供することができるシステムである。ステレオカメラは、両眼視差により距離を求めることができる。このため、実施の形態３に係る周囲監視システム１００Ｂは、作業時に、地面Ｇから左カメラ１１と右カメラ１２までの距離、地面Ｇから吊り荷１０までの距離を求めることができる。測定した距離は、表示装置２０の表示部２００に表示される。
(Embodiment 3)
The surroundings monitoring system 100B according to Embodiment 3 of the present invention is a system that can provide a stereo camera function in a portion where the visual fields of the
本実施の形態における、左カメラ１１と右カメラ１２の設置方法は図２に示す実施の形態１と同一である。ただし、左カメラ１１と右カメラ１２のその視野の一部が重なるように設置される。
The installation method of the
本実施の形態の制御部３０の構成は、図５に示す実施の形態１の制御部３０と同一である。ただし、表示画像生成部３０５は、左カメラ１１と右カメラ１２が撮影した映像の両方に写っている被写体までの距離を求める機能を備えている。図２３を参照して具体的に説明すると、表示画像生成部３０５は、映像取得部３０１から左カメラ１１と右カメラ１２が撮影した映像から、視野が重なっている領域の画像をそれぞれ取得する（ステップＳ３０１）。
The configuration of the
表示画像生成部３０５は、取得した両画像について、それぞれキャリブレーション処理を実行し、平面化画像を生成する（ステップＳ３０２）。なお、キャリブレーション情報は、実施の形態１，２で説明したように、予め記憶部３１に記憶されており、適当なものが選択されて使用される。
The display
表示画像生成部３０５は、生成した両平面画像の中から、同一の被写体の画像をパターンマッチング等を用いて特定する（ステップＳ３０３）。
The display
次に、表示画像生成部３０５は、特定した各被写体について、左カメラ１１と右カメラ１２の視差を求める（ステップＳ３０４）。
Next, the display
表示画像生成部３０５は、求めた視差と左カメラ１１と右カメラ１２の距離から、各被写体までの距離を求める（ステップＳ３０５）。
The display
続いて、表示画像生成部３０５は、画像から地面Ｇまでの距離を求め、求めた地面Ｇまでの距離と各被写体までの距離のから、地面Ｇから各被写体までの距離を求め、これを内部メモリに記憶する（ステップＳ３０６）。
Subsequently, the display
表示画像生成部３０５は、上述の距離測定処理と並行して実行している、図１３に示す複数カメラ画像表示処理のステップＳ１０６又はＳ１１１において、表示する平面画像上の各被写体に重畳して或いは被写体の脇に求めた距離を表示する（ステップＳ３０７）。
In step S106 or S111 of the multiple camera image display process shown in FIG. 13 that is executed in parallel with the distance measurement process described above, the display
以上のように、実施の形態３によれば、実施の形態１の効果に加えて、クレーン１の作業時には、左カメラ１１と右カメラ１２が撮影した映像から、距離を求めることができる。これにより、作業時に、表示装置２０の表示部２００に、例えば、地面Ｇから吊り荷１０までの距離を表示することができるので、オペレータが作業状況を把握し易くなるという効果がある。
As described above, according to the third embodiment, in addition to the effects of the first embodiment, the distance can be obtained from the images taken by the
（変形例２）
実施の形態１及び３において、左カメラ選択キー２１０と右カメラ選択キー２１１のいずれか選択されているか視認認識可能とするために、選択されているキーの表示色を変更したり、点灯する等、視認可能に表示してもよい。同様に、実施の形態２において、左方向表示キー２２０と右方向表示キー２２１についても同様である。また、表示装置２０が表示する画像に、いずれのカメラで取得したいずれの方向の画像であるかをテキストや絵記号などで視認可能に表示してもよい。
(Modification 2)
In the first and third embodiments, the display color of the selected key is changed, the light is turned on, etc. in order to make it possible to visually recognize whether the left
（変形例３）
上記の実施の形態１から３においては、コントローラ３２から取得した各種パラメータの情報を用いて、ブーム７の正確な対地角度を算出しているが、傾斜計が測定した角度をそのまま使用することも可能である。
(Modification 3)
In the above first to third embodiments, the accurate ground angle of the
（変形例４）
上記の実施の形態１から３においては、表示装置２０、２０Ａは、表示部２００と、複数の操作用のキーとを備える構成としたが、表示部２００と、複数の操作用のキーとを、タッチパネルを用いて構成してもよい。この場合タッチパネルには、抵抗膜式、静電容量式といったタッチパネルを用いることができる。
(Modification 4)
In the first to third embodiments, the
（変形例５）
上記の実施の形態１から３においては、表示装置２０、２０Ａは、表示部２００と、複数の操作用のキーとを備える構成としたが、表示装置自体が複数の操作キーを備える代わりに、リモコンが操作キーを備えても良い。
(Modification 5)
In the above first to third embodiments, the
（変形例６）
上記の実施の形態１から３においては、表示装置２０、２０Ａは、表示部２００と複数の操作用のキーとを備える構成、すなわち一体としたが、表示部２００と複数の操作キーとを、別体にしてもよい。
(Modification 6)
In the first to third embodiments, the
（変形例７）
上記の実施の形態１から３においては、表示部２００には、全方位カメラが撮影した映像をキャリブレーションした後の画像を表示するものとした。これにかかわらず、表示部２００に、全方位カメラが撮影した映像を、キャリブレーションせずに、そのまま表示しても良い。また、表示部２００に、全方位カメラが撮影したキャリブレーションする前の画像とキャリブレーションした後の画像とを並べて表示しても良い。もしくは、キャリブレーションする前の画像とキャリブレーションした後の画像とを、切り替えて表示しても良い。
(Modification 7)
In the above-described first to third embodiments, the
（変形例８）
上記の実施の形態１から３においては、全方位カメラが撮影した映像を切り取る範囲を、クレーン１の走行時には予め定められた形状とし、クレーン１の作業時には映像の中心点を起点した扇形の角度としている。しかしながら、映像を切り取る範囲を、走行時には映像の中心点を起点した扇形の角度とし、作業時には予め定められた形状とする等、切り取る範囲と形状は必要に応じて適宜設定可能である。例えば、映像を切り取る範囲の予め定められた形状は、図８（Ａ）に示す切り取り範囲５０１の形状、および図１８に示す切り取り範囲５０４、５０５の形状の他、矩形、扇形、台形、ユーザ固有の形状といった種々の形状を用いることができる。予め定められた形状は、その大きさと、撮影した映像上の位置とを、任意に定めることができる。
(Modification 8)
In the first to third embodiments described above, the range in which the image taken by the omnidirectional camera is cut out is a predetermined shape when the crane 1 is traveling, and the sector angle starting from the center point of the image when the crane 1 is working. It is said. However, the cut-out range and shape can be appropriately set as necessary, such that the cut-out range of the image is a fan-shaped angle starting from the center point of the video when traveling and a predetermined shape is set during work. For example, the predetermined shape of the cutout range of the image is a rectangle, a sector, a trapezoid, or a user-specific shape in addition to the shape of the
また、走行時と作業時とで、映像を切り取る範囲を、予め定められた形状、または、映像の中心点を起点した扇形の角度に分けず、同一としても良い。さらに、左カメラ１１と右カメラ１２のそれぞれで、映像を切り取る範囲の設定を分けても良い。単一のカメラ１５の撮影する映像の右側、左側のそれぞれで、映像を切り取る範囲の設定を分けても良い。クレーン１の作業時においては、ブーム７の対地角度毎に、映像を切り取る範囲の設定を分けても良い。
Further, the range in which the image is cut out during traveling and during the work may be the same without being divided into a predetermined shape or a fan-shaped angle starting from the center point of the image. Furthermore, the setting of the range for cutting out the video may be divided between the
（変形例９）
上記の実施の形態１及び３においては、左カメラ１１と右カメラ１２のそれぞれに、信号線とコードリールとを備えることを想定している。しかしながら、左カメラ１１と右カメラ１２の信号線を１本にまとめ、１つのコードリールで信号線の伸長と巻き取りをしても良い。この場合、１本の信号線の伸長と巻き取りとを、１つのコードリールで行うこととなる。したがって、部品点数を減らすとともに、信号線の引き回しを容易にし、かつ、コードリールの制御を簡単にすることができる。
(Modification 9)
In the first and third embodiments, it is assumed that the
（変形例１０）
上記の実施の形態１から３においては、左カメラ１１、右カメラ１２、またはカメラ１５に、無線通信機能を備えたカメラを用いても良い。この場合、映像取得部３０１は無線通信機能を備え、カメラからの映像を無線で受信する。信号線とコードリールが無いので、信号線の引き回しとコードリールの制御が不要となる。すなわち、部品点数を減らすとともに、信号線の引き回しとコードリールの制御とを不要とすることができる。
(Modification 10)
In the first to third embodiments, a camera having a wireless communication function may be used for the
（変形例１１）
上記の実施の形態１から３においては、表示装置２０、２０Ａと制御部３０、３０Ａと記憶部３１とをキャビン４の内部に設けるものとした。しかしながら、これらの全部又は一部を、クレーン１上のキャビン４外の装置に設けても良い。さらに、クレーン１から離間した箇所に配置してもよい。例えば、クレーン１を遠隔操作する遠隔操作装置に、これらの構成の全部又は一部を配置しても良い。
(Modification 11)
In the first to third embodiments, the
（変形例１２）
実施の形態１から３においては、全方位カメラを魚眼レンズを備えるカメラとする例を示したが、必要な画角が得られるならば、カメラの構成は任意である。本発明における全方位カメラは、クレーン１の側方と下方を撮影できるものを広く含むものである。また、平面化関数は、各カメラの特性にあわせて設定される。
(Modification 12)
In the first to third embodiments, an example in which the omnidirectional camera is a camera provided with a fisheye lens has been described. However, the configuration of the camera is arbitrary as long as a necessary angle of view can be obtained. The omnidirectional camera in the present invention includes a wide range of cameras that can photograph the side and the lower side of the crane 1. The planarization function is set according to the characteristics of each camera.
（変形例１３）
実施の形態１から３においては、全方位カメラで取得した映像を平面化関数により平面化したが、全方位カメラが撮影した映像を、人が何が表示されているかを視認できる形態の画像に変換できれば、映像をどのように補正するかは任意である。よって、平面化関数に限定されず、任意の補正関数を使用して、撮影映像を人が視認できる形態の画像に変換してもよい。
(Modification 13)
In the first to third embodiments, the video acquired by the omnidirectional camera is planarized by the planarization function, but the video captured by the omnidirectional camera is converted into an image in a form in which a person can visually recognize what is displayed. If it can be converted, how to correct the video is arbitrary. Therefore, the captured video is not limited to the planarization function, and the captured video may be converted into an image in a form that can be visually recognized by a person.
（変形例１４）
実施の形態１から３においては、全方位カメラで撮影した画像を切り取ってから平面化処理を行ったが、画像全体を平面化してから、画像を切り取ることも可能である。
(Modification 14)
In the first to third embodiments, the flattening process is performed after the image taken by the omnidirectional camera is cut out. However, the image can be cut out after the entire image is flattened.
（変形例１５）
実施の形態１から３においては、作業車として、移動式クレーンを例示したが、固定式のクレーン等作業車の種類は限定されない。本発明は、サイドカメラ、作業確認用のカメラ等の複数のカメラを必要とする作業車に広く適用可能である。
(Modification 15)
In Embodiments 1 to 3, a mobile crane is illustrated as a work vehicle, but the type of work vehicle such as a fixed crane is not limited. The present invention can be widely applied to work vehicles that require a plurality of cameras such as a side camera and a work confirmation camera.
（変形例１６）
実施の形態１から３においては、タイリングウインドウ・モードでは、２つの画像を同時に表示する例を示したが、同時に表示する画像の数は任意であり、３以上でもよい。
(Modification 16)
In the first to third embodiments, an example in which two images are simultaneously displayed in the tiling window mode has been described. However, the number of images to be simultaneously displayed is arbitrary, and may be three or more.
なお、本発明の技術的範囲は、上記実施の形態と変形例によっては限定されない。本発明は特許請求の範囲に記載された技術的思想の限りにおいて、自由に応用、変形、あるいは改良して、実施することができる。 Note that the technical scope of the present invention is not limited by the above-described embodiment and modification examples. The present invention can be practiced by being freely applied, modified or improved within the scope of the technical idea described in the claims.
１ クレーン、２ 走行体、３ 旋回台、４ キャビン、５ アウトリガ、６ ブラケット、７ ブーム、８ フックブロック、９ フック、１０ 吊り荷、１１ 左カメラ、１２ 右カメラ、１３ カメラ保持部、１５ カメラ、１６ カメラ保持部、２０、２０Ａ 表示装置、３０、３０Ａ 制御部、３１ 記憶部、３２ コントローラ、５０ 交差点、５１ 障害物、１００、１００Ａ、１００Ｂ 周囲監視システム、２００ 表示部、２１０ 左カメラ選択キー、２１１ 右カメラ選択キー、２１２ パン操作キー、２１３ チルト操作キー、２１４ 表示拡大キー、２１５ 表示縮小キー、２１６ 表示画像切替キー、２１７ 複数画像表示キー、２１８ 十字キー、２２０ 左方向表示キー、２２１ 右方表示キー、３０１ 映像取得部、３０２ データ取得部、３０３ 対地角度算出部、３０４ キャリブレーション情報取得部、３０５ 表示画像生成部、３０６ 距離算出部、３１０ プロセッサ、３１１ メモリ、３１２ 表示コントローラ、３１３ Ｉ／Ｏポート、３１４ 内部バス、５０１、５０２、５０３、５０４、５０５、５０６ 切り取り範囲、５１１、５１２、５１３ 平面画像。 1 Crane, 2 traveling body, 3 swivel base, 4 cabin, 5 outrigger, 6 bracket, 7 boom, 8 hook block, 9 hook, 10 suspended load, 11 left camera, 12 right camera, 13 camera holding unit, 15 camera, 16 Camera holding unit, 20, 20A Display device, 30, 30A Control unit, 31 Storage unit, 32 Controller, 50 Intersection, 51 Obstacle, 100, 100A, 100B Ambient monitoring system, 200 Display unit, 210 Left camera selection key, 211 Right camera selection key, 212 Pan operation key, 213 Tilt operation key, 214 Display enlargement key, 215 Display reduction key, 216 Display image switching key, 217 Multi-image display key, 218 Cross key, 220 Left direction display key, 221 Right Direction display key, 301 video acquisition unit, 302 data Acquisition unit, 303 Ground angle calculation unit, 304 Calibration information acquisition unit, 305 Display image generation unit, 306 Distance calculation unit, 310 processor, 311 memory, 312 display controller, 313 I / O port, 314 internal bus, 501 and 502 , 503, 504, 505, 506 Cutout range, 511, 512, 513 Planar image.
Claims (9)
前記全方位カメラが撮影した映像の一部分を切り取り、前記記憶部から前記キャリブレーション情報を取得し、切り取った前記映像の一部分を、取得した前記キャリブレーション情報を用いて、人が視認できる形態の画像に変換し、出力する制御部と、
を備える作業車用の周囲監視システム。 A storage unit for storing calibration information for converting an image captured by an omnidirectional camera installed in a work vehicle into an image in a form that can be visually recognized by a person;
An image in a form in which a part of a video captured by the omnidirectional camera is cut out, the calibration information is acquired from the storage unit, and a part of the cut out video is visible to a person using the acquired calibration information A control unit for converting to and outputting,
A surrounding monitoring system for work vehicles.
前記記憶部は、走行時用のキャリブレーション情報と作業時用のキャリブレーション情報とを記憶する、
請求項１に記載の作業車用の周囲監視システム。 The calibration information includes a cutout range for cutting out a part of the image of the omnidirectional camera, and a correction function for correcting the image of the cutout range into an image in a form that can be visually recognized by a person,
The storage unit stores calibration information for travel and calibration information for work.
The surroundings monitoring system for work vehicles of Claim 1.
前記対地角度算出部は、前記データ取得部が取得したパラメータを用いて、前記ブームの対地角度を求め、
前記キャリブレーション情報取得部は、前記対地角度算出部が求めた対地角度に対応する前記作業時用のキャリブレーション情報を前記記憶部から取得し、
前記表示画像生成部は、取得した前記作業時用のキャリブレーション情報を用いて前記全方位カメラが撮影した映像の一部分を人が視認できる形態の画像に変換する、
請求項２に記載の作業車用の周囲監視システム。 The control unit includes a calibration information acquisition unit that acquires the calibration information from the storage unit, a data acquisition unit that acquires parameters of the work vehicle, and a ground angle that calculates a ground angle of the boom of the work vehicle with respect to the ground. A calculation unit, and a display image generation unit that generates an image to be displayed on the display device,
The ground angle calculation unit obtains the ground angle of the boom using the parameters acquired by the data acquisition unit,
The calibration information acquisition unit acquires calibration information for work corresponding to the ground angle obtained by the ground angle calculation unit from the storage unit,
The display image generation unit converts a part of the image captured by the omnidirectional camera into an image that can be visually recognized by a person using the acquired calibration information for work.
The surroundings monitoring system for work vehicles of Claim 2.
請求項２または３に記載の作業車用の周囲監視システム。 The control unit converts the image of the peripheral area in the video captured by the omnidirectional camera into an image that can be visually recognized by a person using the calibration information for traveling when the work vehicle is traveling, When working on the work vehicle, the calibration information for the work is used to convert the image of the work area in the video taken by the omnidirectional camera into an image that can be viewed by a person.
The surroundings monitoring system for work vehicles of Claim 2 or 3.
前記作業車は、前記全方位カメラと、人が搭乗するキャビンとを備え、
前記キャビンの内部または外部に、前記記憶部と前記制御部と表示装置とが設置されている、
作業車。 A work vehicle comprising the surrounding monitoring system for a work vehicle according to any one of claims 1 to 4,
The work vehicle includes the omnidirectional camera and a cabin on which a person is boarded,
The storage unit, the control unit, and a display device are installed inside or outside the cabin.
Work vehicle.
前記全方位カメラは前記ブームに設置され、前記ブームの動きに伴って前記全方位カメラの撮影している領域が変化する、
請求項５に記載の作業車。 The work vehicle further includes a boom that can extend and retract,
The omnidirectional camera is installed on the boom, and a region where the omnidirectional camera is photographing changes with the movement of the boom.
The work vehicle according to claim 5.
請求項６に記載の作業車。 The omnidirectional camera is an omnidirectional camera equipped with a fisheye lens.
The work vehicle according to claim 6.
切り取った前記映像の一部分を、キャリブレーション情報を用いて、人が視認できる形態の画像に変換し、
変換後の画像を表示する、
表示方法。 Cut out a part of the image taken by the omnidirectional camera installed on the work vehicle,
A part of the cut video is converted into an image in a form that can be seen by a person using calibration information,
Display the converted image,
Display method.
作業車に設置された全方位カメラが撮影する映像の一部分を切り取る処理、
切り取った前記映像の一部分を、キャリブレーション情報を用いて、人が視認できる形態の画像に変換する処理、
変換後の画像を表示する処理、
を実行させるプログラム。 On the computer,
Processing to cut out a part of the image taken by the omnidirectional camera installed on the work vehicle,
A process of converting a part of the clipped image into an image in a form that can be visually recognized by a person using calibration information;
Processing to display the converted image,
A program that executes
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018057687A JP7047521B2 (en) | 2018-03-26 | 2018-03-26 | Surrounding monitoring system for work vehicles, work vehicles, display methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018057687A JP7047521B2 (en) | 2018-03-26 | 2018-03-26 | Surrounding monitoring system for work vehicles, work vehicles, display methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019167220A true JP2019167220A (en) | 2019-10-03 |
| JP7047521B2 JP7047521B2 (en) | 2022-04-05 |
Family
ID=68108045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018057687A Active JP7047521B2 (en) | 2018-03-26 | 2018-03-26 | Surrounding monitoring system for work vehicles, work vehicles, display methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7047521B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7484432B2 (en) | 2020-06-01 | 2024-05-16 | 株式会社タダノ | Crane travel support device |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02127877A (en) * | 1988-11-08 | 1990-05-16 | Casio Comput Co Ltd | Electronic still camera provided with fisheye lens |
| JP2000011166A (en) * | 1998-06-24 | 2000-01-14 | Sony Corp | Device and method for processing image and providing medium |
| JP2008312004A (en) * | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | Camera system and mechanical apparatus |
| JP2013142037A (en) * | 2012-01-12 | 2013-07-22 | Tadano Ltd | Suspended load monitoring camera device for working vehicle |
| WO2015133907A1 (en) * | 2014-03-04 | 2015-09-11 | Nmi Holding As | Method for use of a camera for surveillance of a work area and a crane provided with a camera |
| JP2018039648A (en) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | Image display system |
-
2018
- 2018-03-26 JP JP2018057687A patent/JP7047521B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02127877A (en) * | 1988-11-08 | 1990-05-16 | Casio Comput Co Ltd | Electronic still camera provided with fisheye lens |
| JP2000011166A (en) * | 1998-06-24 | 2000-01-14 | Sony Corp | Device and method for processing image and providing medium |
| JP2008312004A (en) * | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | Camera system and mechanical apparatus |
| JP2013142037A (en) * | 2012-01-12 | 2013-07-22 | Tadano Ltd | Suspended load monitoring camera device for working vehicle |
| WO2015133907A1 (en) * | 2014-03-04 | 2015-09-11 | Nmi Holding As | Method for use of a camera for surveillance of a work area and a crane provided with a camera |
| JP2018039648A (en) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | Image display system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7484432B2 (en) | 2020-06-01 | 2024-05-16 | 株式会社タダノ | Crane travel support device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7047521B2 (en) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6727971B2 (en) | Work vehicle | |
| US9169108B2 (en) | Performance line display unit | |
| WO2019189430A1 (en) | Construction machine | |
| JP6486596B2 (en) | Specified range monitoring system | |
| JP6321977B2 (en) | Perimeter monitoring equipment for heavy machinery | |
| JP2008312004A (en) | Camera system and mechanical apparatus | |
| JP2013142037A (en) | Suspended load monitoring camera device for working vehicle | |
| US11292699B2 (en) | Remote operation terminal and work vehicle provided with remote operation terminal | |
| WO2017038183A1 (en) | Surrounding display device for traveling crane | |
| JP5971994B2 (en) | Crane work monitoring device | |
| JP2008074594A (en) | Periphery monitor of vehicle having work machine | |
| JP5640433B2 (en) | Image information providing apparatus and image information providing method | |
| JP6417300B2 (en) | Specified range monitoring system | |
| JP7099150B2 (en) | Crane and information sharing system | |
| JP7076501B2 (en) | Work vehicle | |
| JP6080450B2 (en) | Surveillance camera device | |
| JP2014105091A (en) | Monitoring camera of crane | |
| JP2018024500A (en) | Obstacle detection device | |
| JP7047521B2 (en) | Surrounding monitoring system for work vehicles, work vehicles, display methods, and programs | |
| WO2019163875A1 (en) | Camera device, suspended-load monitoring system, and working machine | |
| JP6551639B1 (en) | Camera device, suspended load monitoring system, and work machine | |
| JP6712358B2 (en) | Image processing device, camera device, and image processing method | |
| JP2021075359A (en) | Periphery monitoring device for work vehicle having boom | |
| JP3374547B2 (en) | Monitoring device for remote operation | |
| US12030751B2 (en) | Crane information display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210107 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220307 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7047521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |