JP6756554B2 - Image display system - Google Patents
Image display system Download PDFInfo
- Publication number
- JP6756554B2 JP6756554B2 JP2016176869A JP2016176869A JP6756554B2 JP 6756554 B2 JP6756554 B2 JP 6756554B2 JP 2016176869 A JP2016176869 A JP 2016176869A JP 2016176869 A JP2016176869 A JP 2016176869A JP 6756554 B2 JP6756554 B2 JP 6756554B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- bird
- eye view
- boom
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像表示システムに関する。 The present invention relates to an image display system.
作業車両は、走行体の上に旋回可能に旋回体が設けられ、その旋回体にキャビン（車室）が設けられている。このような作業車両は、大型でありキャビンからの死角が生じ易く、バックミラー等の設置位置等を工夫しても、周囲の視認が容易ではない。特に、ブームを備える作業車両には、ブームの側方にキャビンを配置したものもあり、この場合、キャビンからの視界がブームによって大きく遮られて周辺の視認がより困難となる。 The work vehicle is provided with a turning body that can turn on the traveling body, and a cabin (cabin) is provided on the turning body. Such a work vehicle is large and easily causes a blind spot from the cabin, and even if the installation position of the rearview mirror or the like is devised, it is not easy to visually recognize the surroundings. In particular, some work vehicles equipped with a boom have a cabin arranged on the side of the boom, and in this case, the view from the cabin is greatly obstructed by the boom, making it more difficult to see the surroundings.
そこで、作業車両を中心とした周辺の俯瞰画像を作成し、作業者に呈示する画像表示システムが提案されている（例えば、特許文献１等参照）。この従来の画像表示システムでは、複数のカメラで作業車両の斜め下方を撮影し、撮影した画像を上方視点となるように視点変換して俯瞰画像を生成し、表示部に表示している。 Therefore, an image display system has been proposed in which a bird's-eye view image of the surroundings centered on a work vehicle is created and presented to an operator (see, for example, Patent Document 1 and the like). In this conventional image display system, a plurality of cameras photograph an obliquely downward part of a work vehicle, and the photographed image is converted into an upward viewpoint to generate a bird's-eye view image and displayed on a display unit.
また、特許文献１の画像表示システムでは、表示部の画面を２分割し、一方に俯瞰画像を、他方に後方カメラで撮影した後方画像を並べて表示した実施形態が開示されている。これにより、俯瞰画像で周囲の全体的な視認を可能とするとともに、後方画像によって障害物等のより具体的な認識を可能としている。 Further, in the image display system of Patent Document 1, an embodiment is disclosed in which a screen of a display unit is divided into two, one is a bird's-eye view image, and the other is a rear image taken by a rear camera. As a result, the bird's-eye view image enables the entire surroundings to be visually recognized, and the rear image enables more specific recognition of obstacles and the like.
なお、特許文献１の俯瞰画像には、作業車両の前後左右においてほぼ同じ距離までの領域の画像が表示されている。これに対して、２分割された画面の一方に後方カメラで撮影した後方画像（リアビュー画像）を表示し、他方に自動車の前進時は前方の表示領域を広くした俯瞰画像を表示し、後退時には後方の表示領域を広くした俯瞰画像を表示する駐車支援システムが提案されている（例えば、特許文献２参照）。このような表示により、駐車時におけるドライバの運転操作の効果的な支援を図っている。 In the bird's-eye view image of Patent Document 1, images of regions up to substantially the same distance in the front, rear, left, and right of the work vehicle are displayed. On the other hand, a rear image (rear view image) taken by the rear camera is displayed on one of the two divided screens, and a bird's-eye view image with a wide front display area is displayed on the other when the vehicle is moving forward. A parking support system that displays a bird's-eye view image with a wide rear display area has been proposed (see, for example, Patent Document 2). With such a display, the driver's driving operation during parking is effectively supported.
ここで、作業車両等の走行中は、作業車両等の近辺だけでなく、進行方向の先にあるトンネルや陸橋、障害物等の物体や人等をいち早く検出する必要がある。しかしながら、特許文献１に記載の発明では、カメラで斜め下方を撮影しているため、俯瞰画像及び後方画像は作業車両の周囲数メートルの範囲の表示となる。また、特許文献２に記載の発明は駐車支援システムであるため、自動車両の周囲数メートルの範囲しか表示されず、遠くの物体の視認することは考慮されていない。特に、前進走行時でも通常は後方画像が表示されているため、俯瞰画像だけでは前方の遠くの物体の視認は困難である。なお、特許文献２では、ドライバの操作に応じて前方画像（フロントビュー画像）に切り替えることが開示されているが、走行中にドライバが画像の切替え操作を行うのは容易ではない。 Here, while the work vehicle or the like is traveling, it is necessary to quickly detect not only the vicinity of the work vehicle or the like but also objects such as tunnels, overpasses, obstacles, and people ahead in the traveling direction. However, in the invention described in Patent Document 1, since an obliquely downward image is taken by the camera, the bird's-eye view image and the rear image are displayed within a range of several meters around the work vehicle. Further, since the invention described in Patent Document 2 is a parking support system, only a range of several meters around the automatic vehicle is displayed, and visual recognition of a distant object is not considered. In particular, since the rear image is usually displayed even when traveling forward, it is difficult to visually recognize a distant object in front from the bird's-eye view image alone. In Patent Document 2, it is disclosed that the image is switched to the front image (front view image) according to the operation of the driver, but it is not easy for the driver to perform the image switching operation while driving.
本発明は上記事情に鑑みなされたものであって、作業車両の進行方向をより迅速かつより容易に視認可能な画像を、進行方向に応じて生成して表示することが可能な画像表示システムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides an image display system capable of generating and displaying an image in which the traveling direction of a work vehicle can be visually recognized more quickly and more easily according to the traveling direction. The purpose is to provide.
本発明の画像表示システムは、作業車両に設けられた複数のカメラでそれぞれ撮影された画像を表示する画像表示部と、複数の前記カメラで撮影された前記画像に基づいて俯瞰画像を生成し前記画像表示部に表示する表示制御部と、を備え、前記作業車両は、キャビンと、該キャビンの左右の何れかに並んで設けられた伸縮動作を行うブームとを有し、前記表示制御部は、前記作業車両が走行状態であるときは、少なくとも進行方向を、該進行方向とは異なる方向よりも広く表示するとともに、進行方向及び前記キャビンに対して前記ブームの位置する方向を、前記作業車両の周辺から地平線まで表示して俯瞰画像を生成し、該俯瞰画像と何れかの前記カメラで撮影した進行方向の画像とを前記画像表示部に表示することを特徴とする。 The image display system of the present invention generates an image display unit that displays images taken by a plurality of cameras provided in a work vehicle, and generates a bird's-eye view image based on the images taken by the plurality of cameras. The work vehicle includes a display control unit for displaying on an image display unit, and the work vehicle has a cabin and booms provided side by side on either the left or right side of the cabin to perform an expansion / contraction operation. When the work vehicle is in a traveling state, at least the traveling direction is displayed wider than the direction different from the traveling direction, and the traveling direction and the direction in which the boom is located with respect to the cabin are indicated by the working vehicle. A bird's-eye view image is generated by displaying from the periphery of the above to the horizon , and the bird's-eye view image and an image in the traveling direction taken by any of the cameras are displayed on the image display unit.
本発明に係る画像表示システムによれば、作業車両の進行方向及びキャビンに対してブームの位置する方向をより迅速かつより容易に視認可能な画像を、進行方向に応じて生成して表示することができる。 According to the image display system according to the present invention, an image in which the traveling direction of the work vehicle and the direction in which the boom is located with respect to the cabin can be visually recognized more quickly and more easily is generated and displayed according to the traveling direction. Can be done.
以下、本発明に係る画像表示システムの実施の形態について、図面を参照して説明する。
＜クレーンの概略構成＞
図１は、作業車両の一例としてのクレーン車１を左側方から見た側面図、図２は図１のクレーン車１を上方から見た平面図である。
Hereinafter, embodiments of the image display system according to the present invention will be described with reference to the drawings.
<Outline configuration of crane>
FIG. 1 is a side view of a crane vehicle 1 as an example of a work vehicle viewed from the left side, and FIG. 2 is a plan view of the crane vehicle 1 of FIG. 1 viewed from above.
図示のクレーン車１は、走行体（キャリヤ）２と旋回体３とを備える。走行体２は、走行機能を有する車両の本体部分（車体）であり、複数の車輪と、車輪および旋回体３を駆動する駆動源とを有する。走行体２は、図２に示す平面視で、前後方向（図示における縦方向）が車幅方向（図示おいて横方向）よりも長い略長方形状を呈する。走行体２は、前側及び後側に各々左右一対のアウトリガ４（図１参照）を備えている。各アウトリガ４は、車幅方向に張り出して接地することで、ブーム７を用いた作業時（作業モード）に走行体２を安定して支持する。また、走行体２の前部左側方部には、後述するキャビン５の内部のオペレータＯｐが左後方の状況を視認するための、左後方ミラー２Ａが設置されている。 The illustrated crane wheel 1 includes a traveling body (carrier) 2 and a swivel body 3. The traveling body 2 is a main body portion (body body) of a vehicle having a traveling function, and has a plurality of wheels and a driving source for driving the wheels and the turning body 3. In the plan view shown in FIG. 2, the traveling body 2 exhibits a substantially rectangular shape in which the front-rear direction (vertical direction in the drawing) is longer than the vehicle width direction (horizontal direction in the drawing). The traveling body 2 is provided with a pair of left and right out triggers 4 (see FIG. 1) on the front side and the rear side, respectively. Each outrigger 4 projects to the ground in the vehicle width direction to stably support the traveling body 2 during work (working mode) using the boom 7. Further, a left rear mirror 2A is installed on the front left side of the traveling body 2 so that the operator Op inside the cabin 5, which will be described later, can visually recognize the situation of the left rear.
旋回体３は、図１に示すように、走行体２の上方に配置されて、水平に旋回可能に設けられ、一体的に旋回可能なキャビン５とブームサポート６とを有している。キャビン５は、オペレータＯｐが各種の操作を行うための車室であり、車幅方向の右側に偏って配置されている。キャビン５の内部には、各種の操作に対応した操作部が設けられている。各種の操作としては、例えば、旋回体３の旋回、ブーム７の起伏及び伸縮、ブームサポート６に設けられたウインチドラム８の巻上げ及び巻下げ、各アウトリガ４の張り出し及び格納、駆動源であるエンジンの始動及び停止等がある。また、キャビン５の内部には、後述する画像表示システム１０（後述の図７参照）の表示制御部１２、画像表示部１５及び受付部１６が配置されている。 As shown in FIG. 1, the swivel body 3 is arranged above the traveling body 2 and is provided so as to be able to swivel horizontally, and has a cabin 5 and a boom support 6 that can be swiveled integrally. The cabin 5 is a passenger compartment for the operator Op to perform various operations, and is arranged unevenly on the right side in the vehicle width direction. Inside the cabin 5, an operation unit corresponding to various operations is provided. Various operations include, for example, turning the swivel body 3, undulating and expanding and contracting the boom 7, hoisting and lowering the winch drum 8 provided on the boom support 6, extending and retracting each outrigger 4, and an engine as a drive source. There are start and stop of. Further, inside the cabin 5, a display control unit 12, an image display unit 15, and a reception unit 16 of an image display system 10 (see FIG. 7 described later) described later are arranged.
ブームサポート６は、伏した状態で前後方向に延びたブーム７が取り付けられた部材であり、ブーム７の基端部がブーム根本支点ピンを介してブームサポート６に取り付けられている。ブームは、ブーム根本支点ピンを中心にして回転自在に支持されている。ブームサポート６とブーム７との間に起伏用シリンダが設けられていて、起伏用シリンダを伸縮することにより、ブーム７はブーム根本支点ピンを中心に回転して伏した状態から立ち上がり、又立ち上がった状態から伏した状態に起伏動作する。 The boom support 6 is a member to which a boom 7 extending in the front-rear direction in a prone state is attached, and a base end portion of the boom 7 is attached to the boom support 6 via a boom root fulcrum pin. The boom is rotatably supported around the boom root fulcrum pin. An undulating cylinder is provided between the boom support 6 and the boom 7, and by expanding and contracting the undulating cylinder, the boom 7 rotates around the boom root fulcrum pin and rises from the prone state, and then rises again. It undulates from the state to the prone state.
なお、キャビン５は、伏した状態のブーム７の右側に配置されているため、キャビン５の内部のオペレータＯｐは、ブーム７やブームサポート６によって左側、特に左後方の視界の一部が遮られる。しかし、オペレータＯｐは、ブーム７と走行体２の間の隙間から左後方ミラー２Ａを介して、左後方を視認可能となっている。 Since the cabin 5 is arranged on the right side of the boom 7 in the prone state, the operator Op inside the cabin 5 is obstructed by the boom 7 and the boom support 6 on the left side, particularly a part of the left rear view. .. However, the operator Op can visually recognize the left rear through the gap between the boom 7 and the traveling body 2 through the left rear mirror 2A.
ブーム７は、例えば、内部で伸縮シリンダにより連結された基端ブーム部と中間ブーム部と先端ブーム部とを有している。各伸縮が縮んだ状態では、基端ブーム部の内側に中間ブーム部が配置され、中間ブーム部の内側に先端ブーム部が配置された入れ子式に組み合わされて、ブーム７は縮んだ状態となる。この状態では、図１に示すように、ブーム７の前端部７ａが走行体２よりも前方に突出する。一方、各伸縮シリンダが伸びると、基端ブーム部の内側から中間ブーム部が突出し、中間ブーム部の内側から先端ブーム部が突出して、ブーム７は延びた状態となる。 The boom 7 has, for example, a base end boom portion, an intermediate boom portion, and a tip boom portion that are internally connected by a telescopic cylinder. In the contracted state, the boom 7 is in a contracted state by being combined in a nested manner in which the intermediate boom portion is arranged inside the base end boom portion and the tip boom portion is arranged inside the intermediate boom portion. .. In this state, as shown in FIG. 1, the front end portion 7a of the boom 7 projects forward from the traveling body 2. On the other hand, when each telescopic cylinder is extended, the intermediate boom portion protrudes from the inside of the base end boom portion, the tip boom portion protrudes from the inside of the intermediate boom portion, and the boom 7 is in an extended state.
先端ブーム部の先端部に配置されたシーブに、ウインチドラム８に巻回されたワイヤロープ８ａが掛け回されて、このワイヤロープ８ａには、フック９が設けられている。フック９には、玉掛け用具により荷物が掛けられる。フック９に掛けられた荷物は、ブーム７の起伏及び伸縮、旋回体３の旋回並びにウインチドラム８へのワイヤロープ８ａの巻き上げ及び巻き下げの各動作の１つ以上により、吊り上げ、移動、吊り下しというクレーン作業に供される。 A wire rope 8a wound around a winch drum 8 is hung around a sheave arranged at the tip of the tip boom portion, and the wire rope 8a is provided with a hook 9. Luggage is hung on the hook 9 by a slinging tool. The load hung on the hook 9 is lifted, moved, and suspended by one or more of the undulations and expansions and contractions of the boom 7, the swivel of the swivel body 3, and the hoisting and lowering of the wire rope 8a on the winch drum 8. It is used for crane work called Shi.
＜カメラの構成＞
クレーン車１には、複数のカメラ１１が設けられている。具体的には、図１，２に示すように、例えば前方カメラ（Ｆカメラ）１１ａ，後方カメラ（Ｒカメラ）１１ｂ，右カメラ１１ｃ，左カメラ１１ｄ，ワイドサイドビューカメラ１１ｅ，ブーム右カメラ１１ｆ，ブーム左カメラ１１ｇ，ドラムカメラ１１ｈの８つのカメラ１１が設けられている。なお、走行体２の周辺の画像を全周に渡り切れ目なく取得するものであれば、カメラ１１の台数や設置位置は適宜設定すればよく、実施例１の構成に限定されない。
<Camera configuration>
The crane vehicle 1 is provided with a plurality of cameras 11. Specifically, as shown in FIGS. 1 and 2, for example, a front camera (F camera) 11a, a rear camera (R camera) 11b, a right camera 11c, a left camera 11d, a wide side view camera 11e, a boom right camera 11f, Eight cameras 11 of a boom left camera 11g and a drum camera 11h are provided. The number of cameras 11 and the installation position may be appropriately set as long as the image of the periphery of the traveling body 2 is seamlessly acquired over the entire circumference, and the configuration is not limited to the first embodiment.
前方カメラ１１ａは、走行体２の前端部（ブーム７を除いた前端部）に設けられて、走行体２の前端部を含む前方の領域を、例えば図３に示すように、地平線（或いは水平線）まで含む前方画像Ｐａとして撮影する。 The front camera 11a is provided at the front end portion of the traveling body 2 (the front end portion excluding the boom 7), and extends the front region including the front end portion of the traveling body 2 to the horizon (or horizon) as shown in FIG. 3, for example. ) Is included as the front image Pa.
後方カメラ１１ｂは、走行体２の後端部に設けられて、走行体２の後端部を含む後方の領域を、例えば図４に示すように、地平線まで含む後方画像Ｐｂとして撮影する。 The rear camera 11b is provided at the rear end portion of the traveling body 2, and captures a rear region including the rear end portion of the traveling body 2 as a rear image Pb including the horizon, for example, as shown in FIG.
右カメラ１１ｃは、旋回体３の右端部（キャビン５の右側の外板部分）に設けられて、旋回体３の右端部を含む右側方の領域を、地平線まで含む右方画像Ｐｃとして撮影する。左カメラ１１ｄは、旋回体３の左端部（ブームサポート６の左側の外板部分）に設けられて、旋回体３の左端部を含む左側方の領域を、地平線まで含む左方画像Ｐｄとして撮影する。 The right camera 11c is provided at the right end portion of the swivel body 3 (the outer plate portion on the right side of the cabin 5), and captures the area on the right side including the right end portion of the swivel body 3 as a right image Pc including the horizon. .. The left camera 11d is provided at the left end portion of the swivel body 3 (the outer plate portion on the left side of the boom support 6), and captures the left side region including the left end portion of the swivel body 3 as a left image Pd including the horizon. To do.
ワイドサイドビューカメラ１１ｅは、左後方ミラー２Ａを支持している支持棒に設けられて、走行体２の左端部を含む左後方の領域を撮影する。ドラムカメラ１１ｈは、ウインチドラム８の周囲に設けられて、ウインチドラム８を、ワイヤロープ８ａを含むように撮影する。 The wide side view camera 11e is provided on a support rod that supports the left rear mirror 2A, and photographs a left rear region including the left end portion of the traveling body 2. The drum camera 11h is provided around the winch drum 8 and photographs the winch drum 8 so as to include the wire rope 8a.
ブーム右カメラ１１ｆは、ブーム７のうちの先端ブームの先端右側部に設けられて、ブーム７の右側方の領域を撮影する。ブーム左カメラ１１ｇは、ブーム７のうちの先端ブームの先端左側部に設けられて、ブーム７の左側方の領域を撮影する。 The boom right camera 11f is provided on the right side of the tip of the tip boom of the boom 7, and photographs a region on the right side of the boom 7. The boom left camera 11g is provided on the left side of the tip of the tip boom of the boom 7, and photographs the area on the left side of the boom 7.
＜画像表示システムの構成＞
図７は、画像表示システム１０を示すブロック図である。クレーン車１には、上述した８つのカメラ１１で撮影された画像をオペレータＯｐに提示する画像表示システム１０が設けられている。画像表示システム１０は、図７に示すように、画像を表示する画像表示部１５と、画像表示部１５に表示する画像を切り替える操作を受け付ける受付部１６と、８つのカメラ１１でそれぞれ撮影された画像が入力され、これらの画像を画像表示部１５に表示するに際して画像に対して処理を施したり、受付部１６が受け付けた操作に応じて画像表示部１５に表示する画像を切り替えたりする表示制御部１２とを備えている。
<Configuration of image display system>
FIG. 7 is a block diagram showing an image display system 10. The crane vehicle 1 is provided with an image display system 10 that presents images taken by the eight cameras 11 described above to the operator Op. As shown in FIG. 7, the image display system 10 was photographed by an image display unit 15 that displays an image, a reception unit 16 that accepts an operation of switching an image to be displayed on the image display unit 15, and eight cameras 11, respectively. Display control in which images are input and processing is performed on the images when the images are displayed on the image display unit 15, or the images to be displayed on the image display unit 15 are switched according to the operation received by the reception unit 16. It is provided with a unit 12.
図６は、画像表示部１５、受付部１６及び表示制御部１２が設置されたキャビン５の内部を示す模式図である。受付部１６は、画像表示部１５の表示面に設けられたタッチパネルである。そして、画像表示部１５、受付部１６及び表示制御部１２は、図６に示すように、いずれもキャビン５の内部に設けられていて、画像表示部１５は、キャビン５の内部の前部で左隅に配置されている。なお、画像表示部１５が配置されている位置は、オペレータＯｐが前方を見ながらクレーン車１を走行させている状態で、オペレータＯｐが視線を動かすことなく視界に入る位置である。 FIG. 6 is a schematic view showing the inside of the cabin 5 in which the image display unit 15, the reception unit 16, and the display control unit 12 are installed. The reception unit 16 is a touch panel provided on the display surface of the image display unit 15. As shown in FIG. 6, the image display unit 15, the reception unit 16, and the display control unit 12 are all provided inside the cabin 5, and the image display unit 15 is located at the front portion inside the cabin 5. It is located in the left corner. The position where the image display unit 15 is arranged is a position where the operator Op enters the field of view without moving the line of sight while the crane vehicle 1 is traveling while the operator Op is looking ahead.
なお、表示制御部１２は、前方カメラ１１ａによって撮影された前方画像Ｐａ、後方カメラ１１ｂによって撮影された後方画像Ｐｂ、右カメラ１１ｃによって撮影された右方画像Ｐｃ及び左カメラ１１ｄによって撮影された左方画像Ｐｄに基づいて、クレーン車１の全周囲を、疑似的に上方から俯瞰した単一の画像（以下、俯瞰画像という。）に合成処理する俯瞰コントローラ１３と、ワイドサイドビューカメラ１１ｅで撮影された左後方画像に処理を施すワイドサイドビューコントローラ１４とを備えている。 The display control unit 12 includes a front image Pa taken by the front camera 11a, a rear image Pb taken by the rear camera 11b, a right image Pc taken by the right camera 11c, and a left image taken by the left camera 11d. Taken with a bird's-eye view controller 13 and a wide side view camera 11e that synthesize a single image (hereinafter referred to as a bird's-eye view image) that is a pseudo bird's-eye view of the entire circumference of the crane vehicle 1 based on the square image Pd. It is provided with a wide side view controller 14 that processes the left rear image.
俯瞰コントローラ１３は、クレーン車１が前進走行しているときの俯瞰フロント画像Ｐｍ（図３参照）と、クレーン車１が後退走行しているときの俯瞰リヤ画像Ｐｎ（図４参照）と、アウトリガ４の張り出し、荷物の吊り上げ、移動、吊り下げといったクレーン作業中の俯瞰ＰＴＯ画像Ｐｑ（図５参照）と、をそれぞれの状況に応じて選択的に生成する。 The bird's-eye view controller 13 includes a bird's-eye view front image Pm (see FIG. 3) when the crane vehicle 1 is traveling forward, a bird's-eye view rear image Pn (see FIG. 4) when the crane vehicle 1 is traveling backward, and outriggers. A bird's-eye view PTO image Pq (see FIG. 5) during crane operation, such as overhanging, lifting, moving, and hanging of luggage, is selectively generated according to each situation.
クレーン車１は、クレーン車１が前進走行に対応した状態であるか又は後退走行に対応した状態であるかをシフトポジションによって検出するシフトスイッチ１７と、クレーン作業のためにエンジン等の駆動源の動力をＰＴＯ（Power take-off：動力取り出し装置）で取り出している状態か否かを検出するＰＴＯスイッチ１８とを備えている。これらシフトスイッチ１７及びＰＴＯスイッチ１８は表示制御部１２に接続されている。 The crane vehicle 1 includes a shift switch 17 that detects by a shift position whether the crane vehicle 1 is in a state corresponding to forward traveling or a state corresponding to backward traveling, and a drive source such as an engine for crane operation. It is equipped with a PTO switch 18 that detects whether or not the power is being taken out by a PTO (Power take-off). The shift switch 17 and the PTO switch 18 are connected to the display control unit 12.
そして、俯瞰コントローラ１３は、ＰＴＯスイッチ１８によりクレーン作業中であることを検出せず（ＰＴＯスイッチがオフ）、かつシフトスイッチ１７によりクレーン車１が前進走行に対応した状態である（前進走行用のシフトポジション又は中立（ニュートラル）のシフトポジション）ことを検出したときは俯瞰フロント画像Ｐｍを生成する。また、俯瞰コントローラ１３は、ＰＴＯスイッチ１８によりクレーン作業中であることを検出せず、かつシフトスイッチ１７によりクレーン車１が後退走行に対応した状態（後退走行用のシフトポジション）であることを検出したときは俯瞰リヤ画像Ｐｎを生成する。また、俯瞰コントローラ１３は、ＰＴＯスイッチ１８によりクレーン作業中である（ＰＴＯスイッチがオン）ことを検出したときは俯瞰ＰＴＯ画像Ｐｑを生成する。 Then, the bird's-eye view controller 13 does not detect that the crane operation is in progress by the PTO switch 18 (PTO switch is off), and the crane vehicle 1 is in a state corresponding to forward traveling by the shift switch 17 (for forward traveling). When it is detected (shift position or neutral shift position), a bird's-eye view front image Pm is generated. Further, the bird's-eye view controller 13 does not detect that the crane operation is in progress by the PTO switch 18, and detects that the crane vehicle 1 is in a state corresponding to backward traveling (shift position for backward traveling) by the shift switch 17. When this happens, a bird's-eye view rear image Pn is generated. Further, the bird's-eye view controller 13 generates a bird's-eye view PTO image Pq when it detects that the crane operation is in progress (the PTO switch is on) by the PTO switch 18.
表示制御部１２は、俯瞰コントローラ１３によって生成された俯瞰画像Ｐに基づいて、図３〜図４に示すような画像を画像表示部１５に表示する。図３は前進走行の際に、俯瞰コントローラ１３によって生成された俯瞰フロント画像Ｐｍと前方カメラ１１ａで撮影された前方画像Ｐａとを横方向に並べた前進走行時画像Ｇａを表示した画像表示部１５の模式図である。図４は後退走行の際に、俯瞰コントローラ１３によって生成された俯瞰リヤ画像Ｐｎと後方カメラ１１ｂで撮影された後方画像Ｐｂとを並べた後退走行時画像Ｇｂを表示した画像表示部１５の模式図である。図５はクレーン作業中に、俯瞰コントローラ１３によって生成された俯瞰ＰＴＯ画像Ｐｑを有する作業時画像Ｇｇを表示した画像表示部１５の模式図である。 The display control unit 12 displays an image as shown in FIGS. 3 to 4 on the image display unit 15 based on the bird's-eye view image P generated by the bird's-eye view controller 13. FIG. 3 is an image display unit 15 displaying a forward traveling image Ga in which the bird's-eye view front image Pm generated by the bird's-eye view controller 13 and the front image Pa taken by the front camera 11a are arranged in the horizontal direction during forward traveling. It is a schematic diagram of. FIG. 4 is a schematic view of an image display unit 15 displaying a backward traveling image Gb in which a bird's-eye view rear image Pn generated by the bird's-eye view controller 13 and a rear image Pb taken by the rear camera 11b are arranged side by side during backward traveling. Is. FIG. 5 is a schematic view of an image display unit 15 displaying a working image Gg having a bird's-eye view PTO image Pq generated by the bird's-eye view controller 13 during crane operation.
画像表示部１５には、図３〜図５に示すように、警告表示領域Ａ１と、カメラ画像表示領域Ａ２と、スイッチ領域Ａ３とが設定されている。警告表示領域Ａ１は、画像表示部１５の上端部に設けられ、各種の警告マークなどが表示される。スイッチ領域Ａ３は、画像表示部１５の下端部に設けられ、タッチセンサ方式の複数個のダイレクト選択スイッチＳｗ１，Ｓｗ２，Ｓｗ３，Ｓｗ４，Ｓｗ５，Ｓｗ６，Ｓｗ７等のソフトスイッチが表示される。画像表示領域Ａ２は、警告表示領域Ａ１とスイッチ領域Ａ３との間に設けられ、クレーン車１の走行状態又は作業状態に応じて、前進走行時画像Ｇａ、後退走行時画像Ｇｂ、作業時画像Ｇｇが自動的に表示される。 As shown in FIGS. 3 to 5, the image display unit 15 is set with a warning display area A1, a camera image display area A2, and a switch area A3. The warning display area A1 is provided at the upper end of the image display unit 15, and various warning marks and the like are displayed. The switch area A3 is provided at the lower end of the image display unit 15, and soft switches such as a plurality of touch sensor type direct selection switches Sw1, Sw2, Sw3, Sw4, Sw5, Sw6, Sw7 are displayed. The image display area A2 is provided between the warning display area A1 and the switch area A3, and depending on the traveling state or the working state of the crane vehicle 1, the forward traveling image Ga, the backward traveling image Gb, and the working image Gg. Is displayed automatically.
ここで、俯瞰フロント画像Ｐｍは、図３に示すように、前方画像Ｐａ及び左方画像Ｐｄがそれぞれ地平線まで含まれるように、その表示領域が、後方画像Ｐｂや右方画像Ｐｃの表示領域よりも広く設定された俯瞰画像である。したがって、俯瞰フロント画像Ｐｍは、クレーン車１の前進走行中に、クレーン車１の全周囲を単一の画像で視認可能であり、かつ、クレーン車１の前方及びキャビン５からの死角が大きい左方の各領域を広く視認するのに適した画像である。 Here, as shown in FIG. 3, the bird's-eye view front image Pm has a display area from the display area of the rear image Pb and the right image Pc so that the front image Pa and the left image Pd are included up to the horizon, respectively. Is also a widely set bird's-eye view image. Therefore, in the bird's-eye view front image Pm, the entire circumference of the crane vehicle 1 can be visually recognized in a single image while the crane vehicle 1 is traveling forward, and the front of the crane vehicle 1 and the blind spot from the cabin 5 are large on the left. It is an image suitable for widely visually recognizing each area of the crane.
なお、俯瞰フロント画像Ｐｍは、俯瞰コントローラ１３によって、前方画像Ｐａを俯瞰画像化した前方俯瞰画像Ｐａ１と、後方画像Ｐｂを俯瞰画像化した後方俯瞰画像Ｐｂ１と、右方画像Ｐｃを俯瞰画像化した右方俯瞰画像Ｐｃ１と、左方画像Ｐｄを俯瞰画像化した左方俯瞰画像Ｐｄ１と、４つの俯瞰画像Ｐａ１，Ｐｂ１，Ｐｃ１，Ｐｄ１の中心に、平面視したクレーン車１を模式的に表したクレーン車画像（作業車両画像）Ｐｚとを１つに合成した画像である。 The bird's-eye view front image Pm is obtained by converting the front image Pa1 into a bird's-eye view image, the rear bird's-eye view image Pb1 which is a bird's-eye view image of the rear image Pb, and the right image Pc into a bird's-eye view image by the bird's-eye view controller 13. A plan view crane vehicle 1 is schematically shown at the center of the right bird's-eye view image Pc1, the left bird's-eye view image Pd1 which is a bird's-eye view image of the left image Pd, and the four bird's-eye view images Pa1, Pb1, Pc1, Pd1. This is an image in which the crane vehicle image (work vehicle image) Pz is combined into one.
また、クレーン車１の周囲には、走行体２から５００ｍｍの位置に、距離ガイド線Ｇを点線で表示する。距離ガイド線Ｇを表示することで、オペレータＯｐが俯瞰フロント画像Ｐｍ中のクレーン車１と物体等との位置関係を把握し易くなる。また、クレーン車画像Ｐｚでは、走行体２から前方へ突出するブーム７の前端部７ａは、外形輪郭線のみで表し、前端部７ａの画像を半透明化（非表示）する。これにより、前方俯瞰画像Ｐａ１中の前端部７ａの下方の画像が透過して表示され、オペレータＯｐが全端部７ａの下方を視認することができる。後述の俯瞰リヤ画像Ｐｎ及び俯瞰ＰＴＯ画像Ｐｑでも、距離ガイド線Ｇを表示し、前端部７ａを非表示としている。 Further, around the crane vehicle 1, a distance guide line G is indicated by a dotted line at a position 500 mm from the traveling body 2. By displaying the distance guide line G, the operator Op can easily grasp the positional relationship between the crane vehicle 1 and the object or the like in the bird's-eye view front image Pm. Further, in the crane vehicle image Pz, the front end portion 7a of the boom 7 protruding forward from the traveling body 2 is represented only by the outer contour line, and the image of the front end portion 7a is made semi-transparent (non-display). As a result, the image below the front end portion 7a in the front bird's-eye view image Pa1 is transparently displayed, and the operator Op can visually recognize the lower portion of the entire end portion 7a. Also in the bird's-eye view rear image Pn and the bird's-eye view PTO image Pq described later, the distance guide line G is displayed and the front end portion 7a is hidden.
なお、俯瞰フロント画像Ｐｍでは、前方俯瞰画像Ｐａ１と、左方俯瞰画像Ｐｄ１とは、地平線まで視認でき、かつ走行体２の近辺（周囲）は１０ｍ以内までを視認でき、高さは５ｍ以上を視認できる画像とすることが望ましい。これにより、前方及び左側の遠くの物体まで容易に視認できるとともに、走行体２の近くの物体、例えば信号機や走行体２のすぐ近くの車両や人等も視認可能となる。また、後方俯瞰画像Ｐｂ１は、後方５ｍ以上の領域が視認できる画像とすることが望ましく、右方俯瞰画像Ｐｃ１は、右方１ｍ以上の領域が視認できる画像とすることが望ましい。 In the bird's-eye view front image Pm, the front bird's-eye view image Pa1 and the left bird's-eye view image Pd1 can be visually recognized up to the horizon, and the vicinity (surroundings) of the traveling body 2 can be visually recognized within 10 m, and the height is 5 m or more. It is desirable that the image be visible. As a result, distant objects in front and on the left side can be easily visually recognized, and objects near the traveling body 2, such as a traffic light and a vehicle or a person in the immediate vicinity of the traveling body 2, can also be visually recognized. Further, it is desirable that the rear bird's-eye view image Pb1 is an image in which a region of 5 m or more behind is visible, and the right bird's-eye view image Pc1 is an image in which a region of 1 m or more to the right is visible.
俯瞰リヤ画像Ｐｎは、図４に示すように、後方画像Ｐｂが地平線まで含まれるように、その表示領域が、前方画像Ｐａの表示領域よりも広く、右方画像Ｐｃと左方画像Ｐｄの表示領域が略同じ広さの俯瞰画像である。したがって、俯瞰リヤ画像Ｐｎは、クレーン車１の後退走行中に、クレーン車１の全周囲を単一の画像で視認可能で、クレーン車１の後方の領域を広く視認するのに適した画像である。 As shown in FIG. 4, the bird's-eye view rear image Pn has a display area wider than the display area of the front image Pa so that the rear image Pb includes the horizon, and displays the right image Pc and the left image Pd. It is a bird's-eye view image of approximately the same area. Therefore, the bird's-eye view rear image Pn is an image suitable for visually recognizing the entire circumference of the crane vehicle 1 as a single image while the crane vehicle 1 is traveling backward, and for widely viewing the area behind the crane vehicle 1. is there.
なお、俯瞰リヤ画像Ｐｎは、俯瞰コントローラ１３によって、前方画像Ｐａを俯瞰画像化した前方俯瞰画像Ｐａ２と、後方画像Ｐｂを俯瞰画像化した後方俯瞰画像Ｐｂ２と、右方画像Ｐｃを俯瞰画像化した右方俯瞰画像Ｐｃ２と、左方画像Ｐｄを俯瞰画像化した左方俯瞰画像Ｐｄ２と、４つの俯瞰画像Ｐａ２，Ｐｂ２，Ｐｃ２，Ｐｄ２の中心に、平面視のクレーン車１を模式的に表したクレーン車画像Ｐｚとを１つに合成した画像である。 The bird's-eye view rear image Pn is obtained by converting the front image Pa2 into a bird's-eye view image Pa2, the rear image Pb into a bird's-eye view image Pb2, and the right image Pc into a bird's-eye view image by the bird's-eye view controller 13. The plan view crane vehicle 1 is schematically shown at the center of the right bird's-eye view image Pc2, the left bird's-eye view image Pd2 which is a bird's-eye view image of the left image Pd, and the four bird's-eye view images Pa2, Pb2, Pc2, Pd2. It is an image which combined the crane car image Pz into one.
俯瞰リヤ画像Ｐｎでは、前方俯瞰画像Ｐａ２、右方俯瞰画像Ｐｃ２、及び左方俯瞰画像Ｐｄ２は、少なくとも３ｍ以上の範囲までを視認でき、後方俯瞰画像Ｐｂ２は、地平線まで視認できる画像とすることが望ましい。これにより、後方の遠くの物体までより速く視認できるとともに、走行体２の近くの物体、例えば走行体２のすぐ後ろの物体も容易に視認可能となる。 In the bird's-eye view rear image Pn, the front bird's-eye view image Pa2, the right bird's-eye view image Pc2, and the left bird's-eye view image Pd2 can be visually recognized up to a range of at least 3 m or more, and the rear bird's-eye view image Pb2 can be visually recognized up to the horizon. desirable. As a result, an object far behind can be visually recognized faster, and an object near the traveling body 2, for example, an object immediately behind the traveling body 2 can be easily visually recognized.
俯瞰ＰＴＯ画像Ｐｑは、図５に示すように、前方画像Ｐａと後方画像Ｐｂの表示領域が略同じ広さで、かつ右方画像Ｐｃと左方画像Ｐｄの表示領域が略同じ広さの俯瞰画像である。したがって、俯瞰ＴＰＯ画像Ｐｑは、クレーン車１のクレーン作業中に、クレーン車１の全周囲を単一の画像で視認可能で、ブーム７の動く範囲を満遍なく視認するのに適した画像である。 As shown in FIG. 5, the bird's-eye view PTO image Pq is a bird's-eye view in which the display areas of the front image Pa and the rear image Pb are substantially the same size, and the display areas of the right image Pc and the left image Pd are substantially the same size. It is an image. Therefore, the bird's-eye view TPO image Pq is an image suitable for visually recognizing the entire circumference of the crane vehicle 1 as a single image during the crane operation of the crane vehicle 1 and evenly observing the moving range of the boom 7.
なお、俯瞰ＰＴＯ画像Ｐｑは、前方画像Ｐａを俯瞰画像化した前方俯瞰画像Ｐａ３と、後方画像Ｐｂを俯瞰画像化した後方俯瞰画像Ｐｂ３と、右方画像Ｐｃを俯瞰画像化した右方俯瞰画像Ｐｃ３と、左方画像Ｐｄを俯瞰画像化した左方俯瞰画像Ｐｄ３とが合成され、４つの俯瞰画像Ｐａ３，Ｐｂ３，Ｐｃ３，Ｐｄ３の中心に、クレーン車１の平面視を模式的に表してクレーン車画像Ｐｚを合成して得られた画像である。 The bird's-eye view PTO image Pq includes a front bird's-eye view image Pa3 which is a bird's-eye view image of the front image Pa, a rear bird's-eye view image Pb3 which is a bird's-eye view image of the rear image Pb, and a right bird's-eye view image Pc3 which is a bird's-eye view image of the right image Pc. And the left bird's-eye view image Pd3, which is a bird's-eye view of the left image Pd, are combined, and the plan view of the crane vehicle 1 is schematically represented at the center of the four bird's-eye view images Pa3, Pb3, Pc3, Pd3. It is an image obtained by synthesizing the image Pz.
俯瞰ＰＴＯ画像Ｐｑでは、前方俯瞰画像Ｐａ３、右方俯瞰画像Ｐｃ３、左方俯瞰画像Ｐｄ３及び後方俯瞰画像Ｐｂ３は、走行体２から少なくとも３ｍ以上の範囲までを視認できる画像とすることが望ましい。これにより、例えばクレーン作業準備時はアウトリガ４の張り出し状態の視認が容易にでき、クレーン作業時はブーム７の動く範囲を万遍なく視認することができる。 In the bird's-eye view PTO image Pq, it is desirable that the front bird's-eye view image Pa3, the right bird's-eye view image Pc3, the left bird's-eye view image Pd3, and the rear bird's-eye view image Pb3 be images that can be visually recognized from the traveling body 2 to at least 3 m or more. As a result, for example, when preparing for crane work, the overhanging state of the outrigger 4 can be easily visually recognized, and when crane work is performed, the moving range of the boom 7 can be visually recognized evenly.
なお、表示制御部１２は、画像表示領域Ａ２に各カメラ１１で撮影した画像を、走行状態や作業状態に応じて適宜切替えて表示するように構成することもできる。また、表示制御部１２を、画像表示領域Ａ２にダイレクト選択スイッチＳｗ１，Ｓｗ２，Ｓｗ３，Ｓｗ４，Ｓｗ５，Ｓｗ６，Ｓｗ７ごとに対応づけられた画像を表示するように構成することもできる。例えば、オペレータＯｐによってダイレクト選択スイッチＳｗ１がタッチされたときは、表示制御部１２は、画像表示領域Ａ２にブーム左方画像Ｐｇを表示する。 The display control unit 12 can also be configured to appropriately switch and display the image captured by each camera 11 in the image display area A2 according to the running state and the working state. Further, the display control unit 12 can be configured to display an image associated with each of the direct selection switches Sw1, Sw2, Sw3, Sw4, Sw5, Sw6, and Sw7 in the image display area A2. For example, when the direct selection switch Sw1 is touched by the operator Op, the display control unit 12 displays the boom left image Pg in the image display area A2.
同様に、オペレータＯｐにタッチされたダイレクト選択スイッチが、Ｓｗ２のときはブーム左方画像及びブーム右方画像を、Ｓｗ３のときはブーム左方画像を、Ｓｗ４のときは作業時画像Ｇｇを、Ｓｗ５のときは進行方向に応じて前進走行時画像Ｇａ又は後退走行時画像Ｇｂを、Ｓｗ６のときは後方画像Ｐｂを、Ｓｗ７のときは左後方画像をそれぞれ表示する。 Similarly, when the direct selection switch touched by the operator Op is Sw2, the boom left image and boom right image, when Sw3, the boom left image, when Sw4, the working image Gg, and Sw5 In the case of, the forward traveling image Ga or the backward traveling image Gb is displayed according to the traveling direction, in the case of Sw6, the rear image Pb is displayed, and in the case of Sw7, the left rear image is displayed.
また、この他にも、作業状態においては、画像表示部１５にドラムカメラ１１ｈで撮影したウインチドラム８の画像を表示したり、その表示を指示するダイレクト選択スイッチを設けたりすることもできる。また、画像表示部１５にブーム７の起伏の角度、ブーム７の長さ、旋回体３の旋回角度、ブーム７の先端まで高さ等の情報や、油圧モータの圧力や燃料の残量等の情報を表示したり、その表示を指示するダイレクト選択スイッチを設けたりすることもできる。 In addition to this, in the working state, the image display unit 15 may be provided with an image of the winch drum 8 taken by the drum camera 11h or a direct selection switch instructing the display. Further, the image display unit 15 shows information such as the undulation angle of the boom 7, the length of the boom 7, the turning angle of the swivel body 3, the height to the tip of the boom 7, the pressure of the hydraulic motor, the remaining amount of fuel, and the like. It is also possible to display information and provide a direct selection switch instructing the display.
＜画像表示システムの動作＞
次に、本実施形態の画像表示システム１０で実行される画像表示処理（画像表示方法）について、図８のフローチャートを用いて説明する。画像表示処理は、表示制御部１２の内蔵メモリや記憶部に記憶されたプログラムに基づいて、表示制御部１２が実行する。
<Operation of image display system>
Next, the image display process (image display method) executed by the image display system 10 of the present embodiment will be described with reference to the flowchart of FIG. The image display process is executed by the display control unit 12 based on the program stored in the built-in memory of the display control unit 12 or the storage unit.
画像表示処理は、クレーン車１が走行状態又は作業状態とされることにより開始される。まず、表示制御部１２は、ステップＳ１で、各カメラ１１からの画像を取得し、ステップＳ２で、ＰＴＯスイッチ１８及びシフトスイッチ１７の信号を取得する。取得した信号に基づいて、画像表示部１５への画像の表示が自動で行われる。 The image display process is started when the crane vehicle 1 is put into a running state or a working state. First, the display control unit 12 acquires the images from each camera 11 in step S1, and acquires the signals of the PTO switch 18 and the shift switch 17 in step S2. The image is automatically displayed on the image display unit 15 based on the acquired signal.
まず、ステップＳ３で、前進走行状態であるか判定する。具体的にはＰＴＯスイッチ１８によりクレーン作業中であることを検出せず、かつシフトスイッチ１７によりクレーン車１が前進走行に対応した状態であることを検出したときに、前進走行状態であると判定する。前進走行状態である場合（ステップＳ３の判定がＹＥＳ）、ステップＳ４で俯瞰コントローラ１３により俯瞰フロント画像Ｐｍを生成する。次のステップＳ５で図３に示すように、俯瞰フロント画像Ｐｍと前方画像Ｐａとが並んで表示された前進走行画像Ｇａを画像表示部１５に表示する。 First, in step S3, it is determined whether or not the vehicle is in the forward traveling state. Specifically, when the PTO switch 18 does not detect that the crane is in operation and the shift switch 17 detects that the crane vehicle 1 is in a state corresponding to forward traveling, it is determined that the crane vehicle 1 is in a forward traveling state. To do. When the vehicle is in the forward traveling state (the determination in step S3 is YES), the bird's-eye view controller 13 generates the bird's-eye view front image Pm in step S4. As shown in FIG. 3 in the next step S5, the forward traveling image Ga in which the bird's-eye view front image Pm and the front image Pa are displayed side by side is displayed on the image display unit 15.
前進走行状態でない場合（ステップＳ３の判定がＮＯ）、ステップＳ６に進み、後退走行状態であるか判定する。すなわちＰＴＯスイッチ１８によりクレーン作業中であることを検出せず、かつシフトスイッチ１７によりクレーン車１が後退走行に対応した状態であることを検出したときに、後退走行状態であると判定する。後退走行状態である場合（ステップＳ６の判定がＹＥＳ）、ステップＳ７で俯瞰コントローラ１３により俯瞰リヤ画像Ｐｎを生成する。次のステップＳ８で図４に示すように、俯瞰リヤ画像Ｐｎと後方画像Ｐｂとが並んで表示された後退走行時画像Ｇｂを画像表示部１５に表示する。 If it is not in the forward traveling state (the determination in step S3 is NO), the process proceeds to step S6 to determine whether or not it is in the backward traveling state. That is, when the PTO switch 18 does not detect that the crane is in operation and the shift switch 17 detects that the crane vehicle 1 is in a state corresponding to the backward traveling, it is determined that the crane is in the backward traveling state. When the vehicle is traveling backward (YES in step S6), the bird's-eye view controller 13 generates a bird's-eye view rear image Pn in step S7. As shown in FIG. 4 in the next step S8, the backward traveling image Gb in which the bird's-eye view rear image Pn and the rear image Pb are displayed side by side is displayed on the image display unit 15.
後退走行状態でない場合（ステップＳ６の判定がＮＯ）、ステップＳ９に進み、作業状態であるか判定する。すなわちＰＴＯスイッチ１８によりクレーン作業中であることを検出したときに、作業状態であると判定する。作業状態である場合（ステップＳ９の判定がＹＥＳ）、ステップＳ１０で俯瞰コントローラ１３により俯瞰ＰＴＯ画像Ｐｑを生成する。次のステップＳ１１で図５に示すように、俯瞰ＰＴＯ画像Ｐｑが表示された作業時画像Ｇｇを画像表示部１５に表示する。 If it is not in the reverse traveling state (the determination in step S6 is NO), the process proceeds to step S9 to determine whether it is in the working state. That is, when it is detected by the PTO switch 18 that the crane is being operated, it is determined that the crane is in the working state. When it is in the working state (the determination in step S9 is YES), the bird's-eye view controller 13 generates the bird's-eye view PTO image Pq in step S10. In the next step S11, as shown in FIG. 5, the working image Gg on which the bird's-eye view PTO image Pq is displayed is displayed on the image display unit 15.
次にステップＳ１２では、画像表示処理を終了するか判定し、ＹＥＳの場合は画像表示処理を終了し、ＮＯの場合はステップＳ１へ戻り、画像表示処理を続行する。画像表示処理を終了するか否の判断は、例えば、クレーン車１の走行状態又は作業状態が継続されている場合は画像表示処理を続行すると判断し、走行状態又は作業状態が終了すると画像表示処理を終了すると判断することが挙げられる。また、この俯瞰画像表示処理を終了する判断は、受付部１６の操作に基づいて行うこともできるし、画像表示システム１０の電源が切られることやクレーン車１のエンジンが停止されることで行うこともできる。 Next, in step S12, it is determined whether or not to end the image display processing. If YES, the image display processing is ended, and if NO, the process returns to step S1 and the image display processing is continued. The determination of whether or not to end the image display processing is, for example, determined to continue the image display processing when the traveling state or working state of the crane vehicle 1 is continued, and when the traveling state or working state is completed, the image display processing is performed. Is to be judged to end. Further, the determination to end the bird's-eye view image display process can be made based on the operation of the reception unit 16, or is made when the power of the image display system 10 is turned off or the engine of the crane vehicle 1 is stopped. You can also do it.
以上の通り、本実施形態のクレーン車１における画像表示システム１０は、前進走行状態においては、画像表示部１５に少なくとも前方が広く表示された俯瞰フロント画像Ｐｍと前方画像Ｐａが並んだ前進走行時画像Ｇａが表示される。また、後退走行状態においては、画像表示部１５に少なくとも後方が広く表示された俯瞰リヤ画像Ｐｎと後方画像Ｐｂが並んだ後退走行時画像Ｇｂが表示される。また、作業状態においては、画像表示部１５に俯瞰ＰＴＯ画像Ｐｑが表示される。 As described above, in the forward traveling state, the image display system 10 in the crane vehicle 1 of the present embodiment is in the forward traveling state in which the bird's-eye view front image Pm and the forward image Pa in which at least the front is widely displayed on the image display unit 15 are arranged side by side. The image Ga is displayed. Further, in the backward traveling state, the backward traveling image Gb in which at least the bird's-eye view rear image Pn whose rear is widely displayed and the rear image Pb are arranged is displayed on the image display unit 15. Further, in the working state, the bird's-eye view PTO image Pq is displayed on the image display unit 15.
このように、走行状態においては、進行方向に対応した画像が、自動で切替わって表示されるため、オペレータＯｐが切替えて表示する必要がなく、走行動作を円滑に行うことができる。また、俯瞰画像Ｐによって、クレーン車１の周囲を視認できるだけでなく、進行方向の遠くの物体等も容易かつ迅速に視認することができる。また、前方画像Ｐａや後方画像Ｐｂによって、進行方向の物体等をより詳細に認識することができる。 As described above, in the traveling state, the images corresponding to the traveling direction are automatically switched and displayed, so that the operator Op does not need to switch and display the images, and the traveling operation can be smoothly performed. Further, the bird's-eye view image P not only makes it possible to visually recognize the surroundings of the crane vehicle 1, but also makes it possible to easily and quickly visually recognize an object or the like distant in the traveling direction. Further, the front image Pa and the rear image Pb can be used to recognize an object or the like in the traveling direction in more detail.
より具体的には、前進走行状態では、前方画像Ｐａ及び左方画像をそれぞれ地平線まで含み、後方画像Ｐｂや右方画像よりも広く設定された俯瞰フロント画像Ｐｍが表示される。そのため、オペレータＯｐはクレーン車１の周囲だけでなく、進行方向である前方及びブーム７やブームサポート６によって死角となり易い左側を遠くまで容易に視認することができる。その結果、例えばトンネルや陸橋等の高さ制限があって追突する可能性のあるもの、左側から近づいてくる他車両や人等を、より迅速に認識することができる。また、前方の物体等は前方画像Ｐａによって大きく表示されるため、より詳細に視認することができる。 More specifically, in the forward traveling state, the front image Pa and the left image are included up to the horizon, and the bird's-eye view front image Pm set wider than the rear image Pb and the right image is displayed. Therefore, the operator Op can easily see not only the periphery of the crane vehicle 1, but also the front side in the traveling direction and the left side, which tends to be a blind spot, due to the boom 7 and the boom support 6. As a result, it is possible to more quickly recognize objects such as tunnels and overpasses that have height restrictions and may collide with each other, and other vehicles and people approaching from the left side. Further, since the front object or the like is displayed in a large size by the front image Pa, it can be visually recognized in more detail.
また、後退走行状態では、後方画像Ｐｂを地平線まで含んだ俯瞰リヤ画像Ｐｎが表示される。そのため、オペレータＯｐはバンパー等で死角となり易い走行体２の近傍だけでなく、遠くまで容易に視認することができる。また、後方の物体等は後方画像Ｐｂによって大きく表示されるため、より詳細に視認することができる。その結果、より円滑に後退走行を行うことができる。これに対して、作業状態においては、クレーン車１は停止している状態であるため、俯瞰ＰＴＯ画像Ｐｑのみの表示でも、クレーン作業準備時のアウトリガ４の張り出し状態の視認や、クレーン作業時のブーム７の動く範囲の視認を容易に行うことができる。 Further, in the backward traveling state, the bird's-eye view rear image Pn including the rear image Pb up to the horizon is displayed. Therefore, the operator Op can easily visually recognize not only the vicinity of the traveling body 2 which tends to be a blind spot due to a bumper or the like, but also a long distance. Further, since the rear object or the like is displayed in a large size by the rear image Pb, it can be visually recognized in more detail. As a result, the reverse traveling can be performed more smoothly. On the other hand, in the working state, since the crane vehicle 1 is in a stopped state, even if only the bird's-eye view PTO image Pq is displayed, the overhanging state of the outrigger 4 at the time of preparing for the crane work can be visually recognized, and at the time of the crane work. The moving range of the boom 7 can be easily visually recognized.
本実施例では、さらに各俯瞰画像Ｐにおいて、走行体２から前方へ突出するブーム７の前端部７ａを外形輪郭線のみで表して透明化しているため、前端部７ａに隠された領域を容易に視認することができる。また、クレーン車１の周囲に距離ガイド線Ｇを表示しているため、オペレータＯｐはクレーン車１と物体等との位置関係や、アウトリガ４の張り出し長さ等を把握し易くなる。 In this embodiment, in each bird's-eye view image P, since the front end portion 7a of the boom 7 protruding forward from the traveling body 2 is represented only by the outer contour line and made transparent, the area hidden by the front end portion 7a can be easily created. Can be visually recognized. Further, since the distance guide line G is displayed around the crane vehicle 1, the operator Op can easily grasp the positional relationship between the crane vehicle 1 and an object or the like, the overhang length of the outrigger 4, and the like.
以上、本発明の画像表示システムを実施形態に基づき説明してきたが、具体的な構成については上記実施形態に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。 Although the image display system of the present invention has been described above based on the embodiment, the specific configuration is not limited to the above embodiment, and the design may be changed or added as long as the gist of the present invention is not deviated. Permissible.
１ クレーン車（作業車両）
２ 走行体
５ キャビン
７ ブーム
１０ 画像表示システム
１１ カメラ
１２ 表示制御部
１５ 画像表示部
Ｐ 俯瞰画像
Ｐａ 前方画像
Ｐｂ 後方画像
Ｐｂ１ 後方俯瞰画像
Ｐｃ１ 右方俯瞰画像
Ｐｄ１ 左方俯瞰画像
Ｐｍ 俯瞰フロント画像
Ｐｚ クレーン車画像（作業車両画像）
Ｇ 距離ガイド線
1 Crane vehicle (work vehicle)
2 Vehicle 5 Cabin 7 Boom 10 Image display system 11 Camera 12 Display control unit 15 Image display unit P Bird's-eye view image Pa Front image Pb Rear image Pb1 Rear bird's-eye view image Pc1 Right bird's-eye view image Pd1 Left bird's-eye view image Pm Bird's-eye view Front image Pz Crane Car image (work vehicle image)
G distance guide line
Claims (4)
複数の前記カメラで撮影された前記画像に基づいて俯瞰画像を生成し前記画像表示部に表示する表示制御部と、を備え、
前記作業車両は、キャビンと、該キャビンの左右の何れかに並んで設けられた伸縮動作を行うブームとを有し、
前記表示制御部は、前記作業車両が走行状態であるときは、少なくとも進行方向を、該進行方向とは異なる方向よりも広く表示するとともに、進行方向及び前記キャビンに対して前記ブームの位置する方向を、前記作業車両の周辺から地平線まで表示して俯瞰画像を生成し、該俯瞰画像と何れかの前記カメラで撮影した進行方向の画像とを前記画像表示部に表示することを特徴とする画像表示システム。 An image display unit that displays images taken by multiple cameras installed in the work vehicle,
A display control unit that generates a bird's-eye view image based on the images taken by the plurality of cameras and displays the bird's-eye view image on the image display unit is provided.
The work vehicle has a cabin and a boom provided side by side on either the left or right side of the cabin to perform an expansion / contraction operation.
When the work vehicle is in a traveling state, the display control unit displays at least the traveling direction wider than the direction different from the traveling direction, and also displays the traveling direction and the direction in which the boom is located with respect to the cabin. Is displayed from the periphery of the work vehicle to the horizon to generate a bird's-eye view image, and the bird's-eye view image and an image in the traveling direction taken by any of the cameras are displayed on the image display unit. Display system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016176869A JP6756554B2 (en) | 2016-09-09 | 2016-09-09 | Image display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016176869A JP6756554B2 (en) | 2016-09-09 | 2016-09-09 | Image display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018042205A JP2018042205A (en) | 2018-03-15 |
| JP6756554B2 true JP6756554B2 (en) | 2020-09-16 |
Family
ID=61626506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016176869A Active JP6756554B2 (en) | 2016-09-09 | 2016-09-09 | Image display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6756554B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7247473B2 (en) * | 2018-04-27 | 2023-03-29 | 株式会社タダノ | crane truck |
| JP7064977B2 (en) * | 2018-06-21 | 2022-05-11 | 鹿島建設株式会社 | Operation support system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4257356B2 (en) * | 2006-09-26 | 2009-04-22 | 株式会社日立製作所 | Image generating apparatus and image generating method |
| US20110063444A1 (en) * | 2008-05-19 | 2011-03-17 | Panasonic Corporation | Vehicle surroundings monitoring device and vehicle surroundings monitoring method |
| JP5321267B2 (en) * | 2009-06-16 | 2013-10-23 | 日産自動車株式会社 | Vehicular image display device and overhead image display method |
| CN103080990B (en) * | 2011-06-07 | 2015-04-01 | 株式会社小松制作所 | Work vehicle vicinity monitoring device |
| JP5722127B2 (en) * | 2011-06-07 | 2015-05-20 | 株式会社小松製作所 | Work vehicle perimeter monitoring device |
| JPWO2015125979A1 (en) * | 2015-04-28 | 2018-02-15 | 株式会社小松製作所 | Work machine periphery monitoring device and work machine periphery monitoring method |
-
2016
- 2016-09-09 JP JP2016176869A patent/JP6756554B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018042205A (en) | 2018-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5091447B2 (en) | Peripheral monitoring support device for work equipment-equipped vehicles | |
| JP6167042B2 (en) | Ambient monitoring equipment for self-propelled industrial machines | |
| JP6204884B2 (en) | Peripheral display device for swivel work machine | |
| JP6589468B2 (en) | Perimeter display device for mobile crane | |
| WO2013038874A1 (en) | Surroundings monitoring device for work machine | |
| WO2012164712A1 (en) | Device for monitoring area around working machine | |
| JP6756555B2 (en) | Bird's-eye view image system, bird's-eye view image display method and program | |
| WO2017038123A1 (en) | Device for monitoring area around vehicle | |
| JP6756554B2 (en) | Image display system | |
| JP2018039477A (en) | Image display system | |
| JP2018039648A (en) | Image display system | |
| KR20210147872A (en) | Work vehicle | |
| JP2018039476A (en) | Image display system | |
| JP7303094B2 (en) | work vehicle | |
| JP7336363B2 (en) | work vehicle | |
| JP6784103B2 (en) | Image display device | |
| JP7337669B2 (en) | work vehicle | |
| JP2019014584A (en) | Crane truck | |
| JP2021075359A (en) | Periphery monitoring device for work vehicle having boom | |
| JP6787729B2 (en) | Bird's-eye view image system, bird's-eye view image display method and program | |
| JP2019014585A (en) | Crane truck | |
| WO2021060466A1 (en) | Crane information display system | |
| US12030751B2 (en) | Crane information display system | |
| JP2022189371A (en) | construction vehicle | |
| JP2021098587A (en) | Crane performance line display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190722 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200827 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6756554 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |