JP2009007860A - Monitor apparatus for construction machine - Google Patents

Monitor apparatus for construction machine Download PDF

Info

Publication number
JP2009007860A
JP2009007860A JP2007171117A JP2007171117A JP2009007860A JP 2009007860 A JP2009007860 A JP 2009007860A JP 2007171117 A JP2007171117 A JP 2007171117A JP 2007171117 A JP2007171117 A JP 2007171117A JP 2009007860 A JP2009007860 A JP 2009007860A
Authority
JP
Japan
Prior art keywords
imaging
image
display
displaying
normal image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007171117A
Other languages
Japanese (ja)
Other versions
JP5143481B2 (en
Inventor
Takeya Izumikawa
岳哉 泉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo SHI Construction Machinery Co Ltd
Original Assignee
Sumitomo SHI Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo SHI Construction Machinery Co Ltd filed Critical Sumitomo SHI Construction Machinery Co Ltd
Priority to JP2007171117A priority Critical patent/JP5143481B2/en
Publication of JP2009007860A publication Critical patent/JP2009007860A/en
Application granted granted Critical
Publication of JP5143481B2 publication Critical patent/JP5143481B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve a problem that images displayed by a display means of a monitor apparatus of construction equipment having imaging means in the rear and sides are not matched with images of direct rearward observation to jeopadize safety. <P>SOLUTION: The monitor apparatus has the display means 8 for displaying continuous images by arranging a display part on the right side for displaying a normal image of an object imaged by a rearward imaging means 6 and a display part on the left side for displaying a normal image of an object imaged by a side imaging means 7. An image displayed by the display means 8 is matched with a real image to effectively improve safety. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、油圧ショベル等の建設機械に使用されるモニター装置に関するものであり、特に、建設機械から後方に向けて設けられたカメラと側方に向けて設けられたカメラとを有し、その２個のカメラが撮像して得た２個の画像を並置して１個の画像として、運転手席から視認しうる位置に設けられるモニター装置にディスプレーする機能を有するモニター装置に関するものである。   The present invention relates to a monitor device used for construction machines such as a hydraulic excavator, and in particular, has a camera provided rearward from the construction machine and a camera provided laterally. The present invention relates to a monitor device having a function of displaying two images obtained by imaging by two cameras side by side as a single image on a monitor device provided at a position visible from the driver's seat.

従来、油圧ショベル等の建設機械、特に、下部走行体上に旋回自在に搭載された上部旋回体を有する複雑な構造の建設機械においては、前方のみならず側方・後方もモニターし、そして、建設機械の周囲全ての方向の安全を確保する必要がある。   Conventionally, in a construction machine such as a hydraulic excavator, in particular, a construction machine having a complicated structure having an upper swinging body that is pivotably mounted on a lower traveling body, not only the front side but also the side and rear are monitored, and It is necessary to ensure safety in all directions around the construction machine.

そこで、建設機械の前方のみならず、側方・後方をもモニターしたいという要請に応えて建設機械用モニター装置の技術開発がなされており、特許文献１記載の発明は、テレビカメラ等のモニター装置用撮像手段本体が損傷を受ける可能性を排除するため、例えばカウンターウエイト等、建設機械の後部に装備される部材の後面に凹部を設け、その凹部の中にテレビカメラ等の撮像手段を配置している。   Therefore, in response to a request to monitor not only the front of the construction machine but also the side and the rear, the technical development of the monitoring apparatus for the construction machine has been made. The invention described in Patent Document 1 is a monitoring apparatus such as a television camera. In order to eliminate the possibility of damage to the main body of the image pickup means, for example, a recess is provided on the rear surface of a member mounted on the rear part of the construction machine such as a counterweight, and an image pickup means such as a TV camera is disposed in the recess. ing.

又、油圧ショベル等の建設機械の後方領域における安全上の問題点のうち、最も重要な課題は、建設機械の後方領域を移動する人や動物等の安全を確保することであり、又、建設機械用モニター装置が当該建設機械の運転手にとって使用し易いことも極めて重要な要素であることに鑑み、特許文献２記載の発明は建設機械から側方及び／又は後方に向けてテレビカメラ等を装備し、これらのテレビカメラ等のモニター装置用撮像手段が撮像して得た画像自体、即ち、正像を運転手席に向けて配置されるディスプレー装置にディスプレーすると、そのディスプレー装置にディスプレーされる画像の左右方向（撮像対称の移動方向）が、テレビカメラ等撮像手段から撮像対称を見た場合（建設機械から後方を見た場合）に見える画像の左右方向（撮像対称の移動方向）と逆になるため、ディスプレー装置に描画される撮像対称の左右方向の運動方向が現実の運動方向と逆になり、ややもすると、誤認を招く虞があるので、この欠点を解消する目的で後方監視用撮像手段が撮像した画像そのもの（正像）の左右方向を逆転させて形成した画像（鏡像）を、運転手席の前方に配置されるディスプレー装置にディスプレーする方式の建設機械の監視カメラシステムに係る発明を開示している。   Of the safety issues in the rear area of construction machines such as hydraulic excavators, the most important issue is to ensure the safety of people and animals moving in the rear area of construction machines. In view of the fact that the machine monitoring device is very important for the driver of the construction machine, it is an extremely important factor. The invention described in Patent Document 2 allows the TV camera or the like to be moved laterally and / or rearward from the construction machine. Equipped with a monitor device such as a television camera, the image itself, that is, when a normal image is displayed on a display device arranged toward the driver's seat, the image is displayed on the display device. The left and right direction of the image (moving direction of the imaging symmetry) is the left and right direction of the image that is seen when viewing the imaging symmetry from the imaging means such as a TV camera (when viewed from the back of the construction machine) This is the opposite of the image-symmetric movement direction), so the left-right motion direction of the imaging symmetry drawn on the display device is opposite to the actual motion direction. The image (mirror image) formed by reversing the left and right direction of the image itself (normal image) captured by the rear monitoring imaging means for the purpose of eliminating the problem is displayed on a display device arranged in front of the driver's seat. An invention relating to a surveillance camera system for a construction machine is disclosed.

更に、複数個の撮像手段を有し、その複数個の撮像手段を使用して取得した複数個の画像を合成して、その単一の画像を、単一のディスプレー手段を使用してディスプレーする監視装置において、複数個の撮像手段の夫々と被写体との距離に大きな相違がある場合、合成した画像の境界において、画像に歪みが発生すると言う欠点があるのでこの欠点を解消することを目的として、特許文献３記載の発明は（イ）一方の撮像手段（第１の撮像手段）の後方に他方の撮像手段（第２の撮像手段）を配置し、（ロ）第１の撮像手段と第１の撮像手段とを結ぶ仮想直線上に境界ラインを設定し、（ハ）この境界ラインを基準として一方側に第１の画像を配置し、（ニ）他方側に第２画像を配置して作成した合成画像を作成し、（ホ）前記の境界ライン上に存在し、前記二つの画像に含まれる障害物の少なくとも一方を補正した後、他方の障害物と整合させる工程を実行する機能を有する補正処理手段を有する監視装置を開示している。
特開平１０−１４０６１９号公報 特開２００１−１４０２８６号公報 特開２００６−３５２２４９号公報 Furthermore, it has a plurality of image pickup means, combines a plurality of images acquired using the plurality of image pickup means, and displays the single image using a single display means. In the monitoring device, when there is a large difference in the distance between each of the plurality of imaging means and the subject, there is a defect that the image is distorted at the boundary of the synthesized image. In the invention described in Patent Document 3, (a) the other imaging means (second imaging means) is arranged behind one imaging means (first imaging means), and (b) the first imaging means and the first imaging means. A boundary line is set on a virtual straight line connecting one image pickup means, (c) a first image is arranged on one side with reference to the boundary line, and (d) a second image is arranged on the other side. Create the created composite image and (e) the boundary line There above, after correcting at least one of the obstacles included in the two images, discloses a surveillance device having a correcting means having a function of executing the step of aligning with the other obstacle.
Japanese Patent Laid-Open No. 10-140619 JP 2001-140286 A JP 2006-352249 A

又、従来技術として前記特許文献１，２，３以外に図９に示すような、油圧ショベル等の建設機械本体の後方と側方とに撮像手段６，７が設けられ、キャブ２内に設けられている運転手席３の斜め前方に運転手席に向かってディスプレー手段８が設けられている建設機械用モニター装置も知られている。   In addition to Patent Documents 1, 2, and 3, as conventional techniques, imaging means 6 and 7 are provided at the rear and side of a construction machine body such as a hydraulic excavator as shown in FIG. There is also known a construction machine monitoring device in which a display means 8 is provided obliquely forward of the driver's seat 3 toward the driver's seat.

而して、ディスプレー手段８は、図１０に示すように後方撮像手段６が撮像して得た撮像対象の鏡像をディスプレーする後方画像ディスプレー部８１を右側に、側方撮像手段７が撮像して得た撮像対象の正像をディスプレーする側方画像ディスプレー部８２を左側に並置して作成された１個の連続する画像をディスプレーする。   Thus, as shown in FIG. 10, the display unit 8 has a rear image display unit 81 for displaying a mirror image of the imaging target obtained by the rear imaging unit 6 on the right side and the side imaging unit 7 takes an image. One continuous image created by juxtaposing the side image display unit 82 for displaying the obtained normal image of the imaging object on the left side is displayed.

尚、後方撮像手段６が撮像して得た撮像対象の鏡像を使用する理由は、特許文献２が教示するところと同一であり、後方に向けて設けられた撮像手段が撮像して得た画像（正像）は、正面を向いている運転手が見る方向と、左右が逆であるため後方に向かって撮像して得た画像を後方に向けてディスプレーし、これを正面に向かって観察すると左右方向が逆になると言う欠点を免れるためである。   The reason for using the mirror image of the imaging target obtained by imaging by the rear imaging means 6 is the same as that taught in Patent Document 2, and the image obtained by imaging by the imaging means provided toward the rear. (Normal image) is the direction seen by the driver facing the front, and the left and right are reversed, so when the image obtained by imaging backwards is displayed backwards and observed toward the front, This is to avoid the disadvantage that the horizontal direction is reversed.

ところで、油圧ショベル等、上部旋回体１０が下部走行体１１に対し、旋回可能な建設機械において、機械後方に物体がある状態で旋回操作を行う場合の作図を図８（ａ）（ｂ）（ｃ）に従って説明する。先ず、同図（ａ）から同図（ｂ）に旋回した場合、ディスプレー手段８のモニターの後方カメラ７の画像では物体は右から左に移動し、更に同図（ｂ）から同図（ｃ）に旋回した場合、該ディスプレー手段８のモニター右側カメラの画像は左から右に移動する。   By the way, FIG. 8 (a) (b) (plotting in the case where a turning operation is performed in a state where there is an object behind the machine in a construction machine in which the upper turning body 10 can turn relative to the lower traveling body 11, such as a hydraulic excavator. Explanation will be made according to c). First, when turning from FIG. 5A to FIG. 5B, the object moves from right to left in the image of the rear camera 7 of the monitor of the display means 8, and further from FIG. ), The image of the monitor right camera of the display means 8 moves from left to right.

そのため、上記ディスプレー手段８自体は、１個のディスプレー手段であるが、その上を移動する画像の動きは左右で連続しないことになり、運転手は直感的に理解できず、建設機械が旋回する場合でなくても、人が機械の周りを反時計周りに移動した場合も同じ事が起こり、運転手は困惑し誤操作の原因となる虞があり、安全維持の観点から由々しい問題を有する。本発明はこのような欠点を解消し、建設機械周りの物体及び人等の移動を正確にモニターして建設機械の誤操作をなくし、安全性が確保されるようにするために解決せられるべき技術的課題が生じてくるのであり、本発明は該課題を解決することを目的とする。。   Therefore, the display unit 8 itself is a single display unit, but the movement of the image moving on the display unit 8 is not continuous left and right, and the driver cannot intuitively understand and the construction machine turns. Even if it is not the case, the same thing happens when a person moves around the machine counterclockwise, the driver may be confused and cause an erroneous operation, and there is a serious problem from the viewpoint of maintaining safety . The present invention is a technology that should be solved in order to eliminate such drawbacks and to accurately monitor the movement of objects and people around the construction machine to eliminate erroneous operation of the construction machine and ensure safety. The present invention aims to solve this problem. .

本発明は上記目的を達成するために提案されたものであり、請求項１記載の発明は後方撮像手段と、側方撮像手段と、ディスプレー手段とを有する建設機械用モニター装置において、前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像をディスプレーする後方ディスプレー部を右側半部に、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有して、連続する画像をディスプレーするディスプレー手段である建設機械用モニター装置を提供する。   The present invention has been proposed in order to achieve the above object, and the invention according to claim 1 is a monitoring device for a construction machine having a rear imaging means, a side imaging means, and a display means. Is a right side half of the rear display unit for displaying a normal image of the imaging target obtained by the rear imaging unit, and a side for displaying the normal image of the imaging target obtained by the side imaging unit. Provided is a monitoring device for construction machinery, which is a display means for displaying a continuous image having a display portion in a left half portion.

この構成によれば、例えば建設機械の後方を、建設機械の左から右方向に移動する撮像対象（撮像手段から見れば右から左に移動する撮像対象）をモニター装置の１個のディスプレー手段の右側のディスプレー部がディスプレーする画像において、右から左に移動し、又、このモニター装置の１個のディスプレー手段の左側のディスプレー部、即ち側方ディスプレー部がディスプレーする画像においても右から左に移動する。そのため、ディスプレー手段上を移動する物体の動きは連続し、運転手はその物体の移動を直感的に理解でき、誤操作の原因は解消され建設機械の作業中の安全性が向上する。   According to this configuration, for example, an imaging object that moves from the left to the right of the construction machine from the left to the right of the construction machine (an imaging object that moves from the right to the left when viewed from the imaging means) is displayed on one display unit of the monitor device. Moves from right to left in the image displayed on the right display unit, and also moves from right to left in the image displayed on the left display unit, that is, the side display unit of one display means of this monitor device. To do. Therefore, the movement of the object moving on the display means is continuous, the driver can intuitively understand the movement of the object, the cause of the erroneous operation is eliminated, and the safety during the operation of the construction machine is improved.

又、請求項２記載の発明は前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有して、連続する画像をディスプレーするディスプレー手段である建設機械用モニター装置を提供する。   According to a second aspect of the present invention, the display means includes a rear display unit for displaying an image obtained by rotating a normal image to be imaged obtained by the rear imaging means by 90 ° clockwise. The construction machine monitor device is a display means for displaying a continuous image having a side display part in the left half part for displaying a normal image of the imaging target obtained by the side imaging means. I will provide a.

この構成によれば、ディスプレー手段は、後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーするディスプレー部を右側に、側方撮像手段が撮像して得た撮像対象の正像をディスプレーするディスプレー部を左側に配置して、連続する画像をディスプレーするディスプレー手段に改変することができる。その結果、ディスプレーされる画像は直視画像の実感に近くなる。   According to this configuration, the display means includes a display unit for displaying an image obtained by rotating the normal image of the imaging target obtained by the rear imaging means by 90 ° clockwise, and the side imaging means for the side imaging means. A display unit that displays a normal image of an imaging target obtained by imaging can be arranged on the left side, and can be changed to a display unit that displays a continuous image. As a result, the displayed image is close to the real feeling of a direct-view image.

又、請求項３記載の発明は前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に有し、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有し、前記右側半部がディスプレーする正像は、該正像の高さを、前記左側半部がディスプレーする正像の高さと合わせるように調節されている建設機械用モニター装置を提供する。   According to a third aspect of the present invention, the display means includes a rear display unit that displays an image obtained by rotating a normal image of the imaging target obtained by the rear imaging means by 90 ° clockwise. A normal image displayed on the right half is displayed on the right side, and a right image on the right half is displayed on the right side. Is provided so that the left half is adjusted to the height of the normal image displayed on the left half.

この構成によれば、ディスプレー手段は、後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転し、更に、その正像の高さを調節して、その画像の中を移動する撮像対象の動きが、側方撮像手段が撮像して得た撮像対象の正像の中を移動する撮像対象の動きと連続するようにした画像をディスプレーするディスプレー部を右側に、側方撮像手段が撮像して得た撮像対象の正像をディスプレーするディスプレー部を左側にして、連続する画像をディスプレーするディスプレー手段に改変することができる。   According to this configuration, the display means rotates the normal image to be imaged obtained by the rear imaging means 90 degrees clockwise, and further adjusts the height of the normal image to The display unit that displays an image in which the movement of the imaging target that moves is continuous with the movement of the imaging target that moves in the normal image of the imaging target obtained by the side imaging unit is displayed on the right side. The display unit that displays the normal image of the imaging target obtained by the image capturing unit can be changed to a display unit that displays a continuous image.

この改変は、前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に有し、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有し、前記右側半部がディスプレーする正像は、該正像の高さを前記左側半部がディスプレーする正像の高さと合わせるように調節されているので、ディスプレーされる画像は実像の移動等の状態と一致する。その結果、ディスプレーされる画像は、直視画像の実感に更に近くなる。   In this modification, the display means has a rear display part in the right half part for displaying an image obtained by rotating a normal image of the imaging target obtained by the rear imaging means by 90 ° clockwise. The left half has a side display unit for displaying a normal image of the imaging target obtained by the side imaging means, and the right half display displays the height of the normal image as described above. Since the left half is adjusted to match the height of the normal image to be displayed, the displayed image coincides with the state of movement of the real image. As a result, the displayed image is closer to the real feeling of the direct-view image.

請求項４記載の発明は前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に有し、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有し、前記右側半部がディスプレーする画像は、前記左側半部がディスプレーする画像と連続的につながるように合成されている建設機械用モニター装置を提供する。   According to a fourth aspect of the present invention, the display means has a rear display section that displays an image obtained by rotating a normal image of the imaging target obtained by the rear imaging means by 90 ° clockwise, in the right half. The left half has a side display part that displays a normal image of the imaging target obtained by the side imaging means, and the right half part displays the image on the left half part. Provided is a monitoring device for a construction machine which is synthesized so as to be continuously connected to an image.

この構成によれば、上記右側半部がディスプレーする画像が前記左側半部がディスプレーする画像と連続的につながるように合成されて成るから、該合成された画像は図６及び図７に示す油圧ショベルの左側後部上方にある仮想的なカメラから右側「Ａ」方向に撮像された画像として捉えられる。   According to this configuration, since the image displayed on the right half is continuously combined with the image displayed on the left half, the combined image is shown in FIG. 6 and FIG. It is captured as an image captured in the right “A” direction from a virtual camera on the upper left rear portion of the excavator.

更に又、請求項５記載の発明は前記ディスプレー手段は、オペレータの右側に設けられている建設機械用モニター装置を提供する。   Furthermore, the invention according to claim 5 provides a monitoring device for construction machines, wherein the display means is provided on the right side of the operator.

この構成によれば、キャブ内のオペレータの右側にディスプレー手段が設置されているので、オペレータが該ディスプレー手段のモニターを見るときの視線方向「Ｂ」（図６）が前記撮像方向「Ａ」と一致するので、上記請求項４記載の発明と相俟って更に実像の移動状態を直感的に認識することが可能となり、建設機械の安全性と操作性が向上する。 According to this configuration, since the display means is installed on the right side of the operator in the cab, the line-of-sight direction “B” (FIG. 6) when the operator looks at the monitor of the display means is the imaging direction “A”. Therefore, in combination with the invention described in claim 4, it is possible to intuitively recognize the moving state of the real image, and the safety and operability of the construction machine are improved.

本発明に係るモニター装置は、後方撮像手段が撮像して得た撮像対象の正像をディスプレーするディスプレー部を右側に、側方撮像手段が撮像して得た撮像対象の正像をディスプレーするディスプレー部を左側にして配置されて、連続する画像をディスプレーするディスプレー手段を有するので、ディスプレーされる画像が左右のディスプレー部に亘り連続的にディスプレーされることになり、運転手はその撮像対象の移動を直感的に理解でき誤操作の原因は解消され、安全維持を向上する効果を有する。   The monitor device according to the present invention has a display unit for displaying a normal image of the imaging target obtained by the rear imaging unit on the right side and a display for displaying the normal image of the imaging target obtained by the side imaging unit. Since the display unit is arranged with the part on the left side and a continuous image is displayed, the displayed image is continuously displayed over the left and right display parts, and the driver moves the imaging object. Can be understood intuitively, the cause of the erroneous operation is eliminated, and the safety maintenance is improved.

本発明は建設機械のディスプレー手段によって表示される画像の動きを運転手が実像の状態を直感的に把握でき、建設機械の誤操作を未然に回避すると云う目的を達成するために、後方撮像手段と、側方撮像手段と、ディスプレー手段とを有する建設機械用モニター装置において、前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像をディスプレーする後方ディスプレー部を右側半部に、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有して、連続する画像をディスプレーするディスプレー手段であることを特徴とする建設機械用モニター装置を提供することにより実現した。   In order to achieve the object that the driver can intuitively grasp the state of the real image of the movement of the image displayed by the display means of the construction machine and avoid the erroneous operation of the construction machine, the rear imaging means and In the construction machine monitoring apparatus having the side imaging means and the display means, the display means has a rear display part for displaying a normal image of the imaging target obtained by the rear imaging means in the right half part. A construction machine characterized in that it is a display means for displaying a continuous image having a side display part for displaying a normal image of the imaging object obtained by the side imaging means on the left half. This was realized by providing a monitoring device for the camera.

以下、本発明の好適な実施例を図１乃至図５に従って詳述する。図１は、本発明に係るモニター装置を搭載する建設機械の平面図である。図において１は建設機械本体であり、２はキャブ、３は運転手席、４はシュー、５は掘削具、６は後方撮像手段であり、７は側方撮像手段である。図において側方撮像手段７は右側方にある撮像対象を撮像する手段であり、８モニター用のディスプレー手段を示す。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to FIGS. FIG. 1 is a plan view of a construction machine equipped with a monitor device according to the present invention. In the figure, 1 is a construction machine main body, 2 is a cab, 3 is a driver's seat, 4 is a shoe, 5 is a drilling tool, 6 is a rear imaging means, and 7 is a side imaging means. In the figure, a side image pickup means 7 is a means for picking up an image pickup object on the right side, and shows a display means for 8 monitors.

後方撮像手段６の撮像範囲は、図において扇形Ｗ1 で示す領域であり、側方撮像手段７の撮像範囲は図において扇形Ｗ2 で示す領域である。９は撮像対象、例えば人であり、停止している場合もありうるが２点鎖線で示す矢印の方向に移動する場合もある。本発明においては撮像対象が移動している場合、又は機械の移動により撮像対象が画面内を移動する場合の機能がより重要である。 The imaging range of the rear imaging means 6 is an area indicated by a sector W 1 in the figure, and the imaging range of the side imaging means 7 is an area indicated by a sector W 2 in the figure. Reference numeral 9 denotes an imaging target, for example, a person, which may be stopped but may move in the direction of an arrow indicated by a two-dot chain line. In the present invention, the function when the imaging target is moving or when the imaging target is moved in the screen by the movement of the machine is more important.

図２は請求項１記載の発明のディスプレー手段の画面を、やや詳細に示す図である。図において８１はディスプレー手段８の画面の右側半部を示し、８２はディスプレー手段８の画面の左側半部を示す。   FIG. 2 is a view showing the screen of the display means according to the first aspect of the present invention in more detail. In the figure, 81 indicates the right half of the screen of the display means 8, and 82 indicates the left half of the screen of the display means 8.

本発明に係るモニター装置は、上記のとおり後方撮像手段６が撮像して得た撮像対象の正像をディスプレーする後方ディスプレー部８１を右側半部に、側方撮像手段７が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部８２を左側半部にして並置合成して得た連続する画像をディスプレーするディスプレー手段８を請求項１記載の発明の主要部とするものである。   The monitor device according to the present invention was obtained by imaging the rear display unit 81 for displaying the normal image of the imaging target obtained by the rear imaging unit 6 as described above, and the side imaging unit 7 imaging the right half. The display means 8 for displaying a continuous image obtained by juxtaposing and combining the side display portion 82 for displaying a normal image to be imaged with the left half portion is the main part of the invention of claim 1.

又、後方撮像手段６が撮像して得た撮像対象の正像をディスプレーする後方ディスプレー部８１においては、撮像対象は図示するように右（イ）点から左（ロ）点に移動する。正像であるから恰も運転手席から後向きに撮像したかのような動きをするからである。重要なことは従来技術の場合と移動の方向が逆であることであり、側方撮像手段７が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部８２における撮像対象の移動方向と同一であることである。   Further, in the rear display unit 81 for displaying the normal image of the imaging target obtained by the rear imaging means 6, the imaging target moves from the right (A) point to the left (B) point as shown in the figure. This is because, since it is a normal image, the bag also moves as if it was captured backwards from the driver's seat. What is important is that the moving direction is opposite to that in the prior art, and the moving direction of the imaging target in the side display unit 82 that displays the normal image of the imaging target obtained by the side imaging means 7. Is the same.

従って、本発明に係るモニター装置においては、例えば建設機械の後方を、建設機械の左から右に移動する撮像対象（撮像手段から見れば右から左に移動する撮像対象）を、このモニター装置の１個のディスプレー手段８の右側の後方ディスプレー部８１がディスプレーする画像において、右から左に移動し、又、このモニター装置のディスプレー手段８の左側の側方ディスプレー部８２がディスプレーする画像においても右から左に移動する。そのため、ディスプレー手段８の画面上を移動する物体の動きは連続するので、オペレータはその物体の移動を直感的に理解でき、誤操作の原因は解消され安全維持を向上する効果を有する。   Therefore, in the monitor device according to the present invention, for example, an imaging object that moves from the left to the right of the construction machine (an imaging object that moves from right to left as viewed from the imaging means) is displayed behind the construction machine. In the image displayed by the right rear display portion 81 of one display means 8, the right side moves from right to left, and also in the image displayed by the left side display portion 82 of the display means 8 of this monitor device. Move left from. Therefore, since the movement of the object moving on the screen of the display means 8 is continuous, the operator can intuitively understand the movement of the object, the cause of the erroneous operation is eliminated, and the safety maintenance is improved.

図３は請求項２記載の発明の実施の態様に係るディスプレー手段８の画面をやや詳細に示す図である。図において８３は後方撮像手段６が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像を、ディスプレー手段８の画面の右側半部にディスプレーする後方ディスプレー部である。又、図において８２は側方撮像手段７が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部である。   FIG. 3 is a view showing the screen of the display means 8 according to the embodiment of the second aspect of the invention in some detail. In the figure, reference numeral 83 denotes a rear display unit that displays an image obtained by rotating the normal image of the imaging target obtained by the rear imaging unit 6 by 90 ° in the clockwise direction on the right half of the screen of the display unit 8. . In the figure, reference numeral 82 denotes a side display unit for displaying a normal image to be imaged obtained by the side imaging means 7.

上記したとおり、ディスプレーされる画像は請求項１記載の発明の場合より、直視画像の実感に更に近くなる。付属的効果ではあるが、ディスプレー手段８の画面の横方向の長さは短縮可能となる。   As described above, the displayed image is closer to the actual feeling of the direct-view image than in the case of the first aspect of the invention. Although it is an auxiliary effect, the horizontal length of the screen of the display means 8 can be shortened.

図４は請求項３記載の発明の実施の態様に係るディスプレー手段８の画面をやや詳細に示す図である。図において８４はディスプレー手段８の画面の右側を構成する右側半部であり、後方撮像手段６が撮像して得た撮像対象の正像を時計方向に９０°回転し、更に、その正像の高さを調節して、ディスプレー手段８の画面の左側を構成する左側半部８２と並置合成した時、その画像の中を移動する撮像対象の動きが、側方撮像手段７が撮像する撮像対象の正像の中を移動する撮像対象の動きと連続するようにした画像をディスプレーする後方ディスプレー部である。   FIG. 4 is a view showing the screen of the display means 8 according to the embodiment of the present invention in a little detail. In the figure, 84 is a right half constituting the right side of the screen of the display means 8, and the normal image of the object to be imaged obtained by the rear imaging means 6 is rotated by 90 ° in the clockwise direction. When the height is adjusted and juxtaposed and combined with the left half 82 constituting the left side of the screen of the display unit 8, the movement of the imaging target moving in the image is captured by the lateral imaging unit 7. It is a rear display part which displays the image made to be continuous with the motion of the imaging target moving in the normal image.

上記したとおり、ディスプレーされる画像は、請求項１及び２記載の発明の実施例の場合より、直視画像の実感に更に近くなる。   As described above, the displayed image is closer to the real feeling of the direct-view image than in the case of the embodiments of the first and second aspects of the invention.

又、請求項４記載の発明は、図３に示すように前記右側半部がディスプレーする画像が、左側半部がディスプレーする画像と連続的につながるように合成されて成るから、該合成された画像は図６に示す油圧ショベルの左側後部上方にある仮想的なカメラＣａから右側即ち、矢印「Ａ」方向に撮像された画像として捉えることができる。   Further, in the invention according to claim 4, since the image displayed on the right half is continuously combined with the image displayed on the left half as shown in FIG. The image can be captured as an image captured in the right side, that is, in the direction of the arrow “A” from the virtual camera Ca on the upper left side of the excavator shown in FIG.

斯くして、実際に建設機械右側から後方を見る姿勢と近い状態でモニターを見るようになる。   Thus, the monitor is actually viewed in a state close to the posture of looking backward from the right side of the construction machine.

更に又、請求項５記載の発明はキャブ２内のオペレータの右側にディスプレー手段８のモニターを設置しているので、オペレータがモニターを見るときの視線方向「Ｂ」（図７）が上記仮想的なカメラＣａの撮像方向「Ａ」と一致するため、前記請求項４記載の発明と相俟って、実像の移動状況を直感的に正確に認識することができ、依って、建設領域の安全性と操作性を一層向上させることが可能となる。   Furthermore, since the monitor of the display means 8 is installed on the right side of the operator in the cab 2, the line-of-sight direction “B” (FIG. 7) when the operator views the monitor is the virtual Since it coincides with the imaging direction “A” of the camera Ca, in combination with the invention of claim 4, the movement state of the real image can be recognized intuitively and accurately, and thus the safety of the construction area And the operability can be further improved.

本発明に係る建設機械用モニター装置は、建設機械の後方に設けられる後方撮像手段６が撮像して得た撮像対象の正像をディスプレーする後方ディスプレー部８１を右側に、建設機械の側方に設けられる側方撮像手段７が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部８２を左側にして、連続する画像をディスプレーする１個のディスプレー手段を構成するモニター装置であり、ディスプレー手段上を移動する画像の動きが、両半部に亘って連続し、運転手はその物体の移動を直感的に理解でき、誤操作の原因は解消され、安全維持を向上するので産業上の利用可能性は極めて大きい。   The monitoring device for a construction machine according to the present invention has a rear display unit 81 for displaying a normal image of an imaging target obtained by the rear imaging means 6 provided at the rear of the construction machine on the right side and on the side of the construction machine. A monitor device that constitutes one display means for displaying a continuous image, with the side display portion 82 for displaying a normal image of the imaging target obtained by the side imaging means 7 provided on the left side; The movement of the image moving on the display means is continuous over both halves, allowing the driver to intuitively understand the movement of the object, eliminating the cause of erroneous operations, and improving safety maintenance. The availability is extremely large.

本発明に係るモニター装置を有する建設機械の平面図。The top view of the construction machine which has the monitor apparatus which concerns on this invention. 本発明の請求項１記載の発明に係る建設機械用モニター装置のディスプレー手段の画面を示す正面図。The front view which shows the screen of the display means of the monitor apparatus for construction machines which concerns on invention of Claim 1 of this invention. 本発明の請求項２記載の発明に係る建設機械用モニター装置のディスプレー手段の画面を示す正面図。The front view which shows the screen of the display means of the monitor apparatus for construction machines which concerns on invention of Claim 2 of this invention. 本発明の請求項３記載の発明に係る建設機械用モニター装置のディスプレー手段の画面を示す正面図。The front view which shows the screen of the display means of the monitor apparatus for construction machines which concerns on invention of Claim 3 of this invention. 本発明の請求項４記載の発明に係る建設機械用モニター装置のディスプレー手段の画面を示す正面図。The front view which shows the screen of the display means of the monitor apparatus for construction machines which concerns on invention of Claim 4 of this invention. 本発明の請求項４及び５記載の発明の作用を解説する建設機械の平面図。The top view of a construction machine explaining the effect | action of invention of Claim 4 and 5 of this invention. 請求項４及び５記載の発明に係る建設機械用モニター装置のディスプレー手段の画面を示す正面図。The front view which shows the screen of the display means of the monitor apparatus for construction machines which concerns on invention of Claim 4 and 5. （ａ）（ｂ）（ｃ）：従来例の油圧ショベルの上部旋回体が時計方向へ回動したときの後方及び側方撮像手段による撮像状態を解説する平面図。(A) (b) (c): The top view explaining the imaging state by a back and a side imaging means when the upper turning body of the hydraulic excavator of a prior art example rotates clockwise. 従来のモニター装置を有する建設機械の平面図。The top view of the construction machine which has the conventional monitor apparatus. 従来技術に係る建設機械用モニター装置のディスプレー手段の画面を示す正面図。The front view which shows the screen of the display means of the monitoring apparatus for construction machines which concerns on a prior art.

符号の説明Explanation of symbols

１ 建設機械本体
２ キャブ
３ 運転手席
４ シュー
５ 掘削具
６ 後方撮像手段
７ 側方撮像手段
８ ディスプレー手段
９ 撮像対象（人）
１０ 上部旋回体
１１ 下部走行体
８１ 後方画像ディスプレー部（ディスプレー手段８の画面の右半部）
８２ 側方画像ディスプレー部（ディスプレー手段８の画面の左半部）
８３ 後方ディスプレー部（後方撮像手段６が撮像して得た撮像対象の正像を
時計方向に９０°回転して得た画像をディスプレーする半部）
８４ 後方ディスプレー部（後方撮像手段６が撮像して得た撮像対象の正像を
時計方向に９０°回転し、更に、その正像の高さを調節した画像をディ
スプレーする半部）
Ｗ1 後方撮像手段６の撮像範囲
Ｗ2 側方撮像手段７の撮像範囲 DESCRIPTION OF SYMBOLS 1 Construction machine main body 2 Cab 3 Driver's seat 4 Shoe 5 Excavator 6 Back imaging means 7 Side imaging means 8 Display means 9 Imaging object (person)
DESCRIPTION OF SYMBOLS 10 Upper turning body 11 Lower traveling body 81 Rear image display part (right half part of the screen of the display means 8)
82 Side image display part (left half of the screen of the display means 8)
83 Rear display unit (the normal image of the imaging target obtained by the rear imaging means 6)
(Half part for displaying images obtained by rotating 90 ° clockwise)
84 Rear display unit (a normal image of the imaging target obtained by the rear imaging means 6)
Rotate 90 ° clockwise, and display an image with the height of the normal image adjusted.
Half to spray)
W 1 Imaging range of rear imaging means 6 W 2 Imaging range of side imaging means 7

Claims (5)

後方撮像手段と、側方撮像手段と、ディスプレー手段とを有する建設機械用モニター装置において、
前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像をディスプレーする後方ディスプレー部を右側半部に、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有して、連続する画像をディスプレーするディスプレー手段であることを特徴とする建設機械用モニター装置。 In the monitoring device for construction machines having a rear imaging means, a side imaging means, and a display means,
The display means displays the normal image of the imaging target obtained by the rear imaging means on the right half of the rear display section for displaying the normal image of the imaging target obtained by the rear imaging means, and displays the normal image of the imaging target obtained by the side imaging means. A monitoring device for construction machines, characterized in that it is a display means for displaying a continuous image, having a side display section for performing in the left half. 前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有して、連続する画像をディスプレーするディスプレー手段であることを特徴とする請求項１記載の建設機械用モニター装置。   The display means includes a rear display section for displaying an image obtained by rotating a normal image of the imaging target obtained by the rear imaging means by 90 ° in the clockwise direction, and the side imaging means for the right half. 2. The construction machine monitor according to claim 1, wherein the left half part has a side display part for displaying a normal image of the imaging object obtained by imaging, and is a display means for displaying a continuous image. apparatus. 前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に有し、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有し、
前記右側半部がディスプレーする正像は、該正像の高さを、前記左側半部がディスプレーする正像の高さと合わせるように調節されていることを特徴とする請求項１又は２記載の建設機械用モニター装置。 The display means has a rear display part in the right half part for displaying an image obtained by rotating the normal image of the imaging target obtained by the rear imaging means by 90 ° clockwise, and the side imaging. The left half has a side display unit for displaying a normal image of the imaging target obtained by the means.
The normal image displayed on the right half is adjusted so that the height of the normal image matches the height of the normal image displayed on the left half. Monitoring device for construction machinery. 前記ディスプレー手段は、前記後方撮像手段が撮像して得た撮像対象の正像を時計方向に９０°回転して得た画像をディスプレーする後方ディスプレー部を右側半部に有し、前記側方撮像手段が撮像して得た撮像対象の正像をディスプレーする側方ディスプレー部を左側半部に有し、
前記右側半部がディスプレーする画像は、前記左側半部がディスプレーする画像と連続的につながるように合成されていることを特徴とする請求項１、２又は３記載の建設機械用モニター装置。 The display means has a rear display part in the right half part for displaying an image obtained by rotating the normal image of the imaging target obtained by the rear imaging means by 90 ° clockwise, and the side imaging. The left half has a side display unit for displaying a normal image of the imaging target obtained by the means.
The construction machine monitoring device according to claim 1, wherein the image displayed on the right half is combined so as to be continuously connected to the image displayed on the left half. 前記ディスプレー手段は、オペレータの右側に設けられていることを特徴とする請求項１，２，３又は４記載の建設機械用モニター装置。   5. The construction machine monitoring device according to claim 1, 2, 3, or 4, wherein the display means is provided on the right side of the operator.
JP2007171117A 2007-06-28 2007-06-28 Monitoring equipment for construction machinery Expired - Fee Related JP5143481B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007171117A JP5143481B2 (en) 2007-06-28 2007-06-28 Monitoring equipment for construction machinery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007171117A JP5143481B2 (en) 2007-06-28 2007-06-28 Monitoring equipment for construction machinery

Publications (2)

Publication Number Publication Date
JP2009007860A true JP2009007860A (en) 2009-01-15
JP5143481B2 JP5143481B2 (en) 2013-02-13

Family

ID=40323209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007171117A Expired - Fee Related JP5143481B2 (en) 2007-06-28 2007-06-28 Monitoring equipment for construction machinery

Country Status (1)

Country Link
JP (1) JP5143481B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008751A1 (en) * 2013-07-17 2015-01-22 日立建機株式会社 Surrounding-environment monitoring device for work machine
KR20150025006A (en) * 2013-08-28 2015-03-10 현대중공업 주식회사 Monitor system for excavator
JP2016169595A (en) * 2016-04-11 2016-09-23 日立建機株式会社 Periphery monitoring device for work machine
EP3141663A1 (en) * 2015-03-16 2017-03-15 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
US9845051B2 (en) 2012-05-15 2017-12-19 Hitachi Construction Machinery Co., Ltd. Display device for self-propelled industrial machine

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1037252A (en) * 1996-07-22 1998-02-10 Shin Caterpillar Mitsubishi Ltd Displaying method and device of peripheral sides of vehicle
JP2001140286A (en) * 1999-11-10 2001-05-22 Hitachi Constr Mach Co Ltd Monitoring camera system of construction equipment
JP2002128463A (en) * 2000-10-27 2002-05-09 Hitachi Constr Mach Co Ltd Monitor device for construction machine
JP2002176641A (en) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd Peripheral video image presenting device
JP2004316279A (en) * 2003-04-17 2004-11-11 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd Monitoring device for construction machinery
JP2005178508A (en) * 2003-12-18 2005-07-07 Denso Corp Peripheral information display device
JP2006336328A (en) * 2005-06-02 2006-12-14 Hitachi Constr Mach Co Ltd Construction machine
JP2006352249A (en) * 2005-06-13 2006-12-28 Aisin Seiki Co Ltd Surveillance apparatus and surveillance apparatus for vehicle

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1037252A (en) * 1996-07-22 1998-02-10 Shin Caterpillar Mitsubishi Ltd Displaying method and device of peripheral sides of vehicle
JP2001140286A (en) * 1999-11-10 2001-05-22 Hitachi Constr Mach Co Ltd Monitoring camera system of construction equipment
JP2002128463A (en) * 2000-10-27 2002-05-09 Hitachi Constr Mach Co Ltd Monitor device for construction machine
JP2002176641A (en) * 2000-12-05 2002-06-21 Matsushita Electric Ind Co Ltd Peripheral video image presenting device
JP2004316279A (en) * 2003-04-17 2004-11-11 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd Monitoring device for construction machinery
JP2005178508A (en) * 2003-12-18 2005-07-07 Denso Corp Peripheral information display device
JP2006336328A (en) * 2005-06-02 2006-12-14 Hitachi Constr Mach Co Ltd Construction machine
JP2006352249A (en) * 2005-06-13 2006-12-28 Aisin Seiki Co Ltd Surveillance apparatus and surveillance apparatus for vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9845051B2 (en) 2012-05-15 2017-12-19 Hitachi Construction Machinery Co., Ltd. Display device for self-propelled industrial machine
WO2015008751A1 (en) * 2013-07-17 2015-01-22 日立建機株式会社 Surrounding-environment monitoring device for work machine
JP2015021246A (en) * 2013-07-17 2015-02-02 日立建機株式会社 Surrounding monitoring device for work machine
KR20150025006A (en) * 2013-08-28 2015-03-10 현대중공업 주식회사 Monitor system for excavator
EP3141663A1 (en) * 2015-03-16 2017-03-15 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
US10060098B2 (en) 2015-03-16 2018-08-28 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
JP2016169595A (en) * 2016-04-11 2016-09-23 日立建機株式会社 Periphery monitoring device for work machine

Also Published As

Publication number Publication date
JP5143481B2 (en) 2013-02-13

Similar Documents

Publication Publication Date Title
CN104584540B (en) The surroundings monitoring apparatus of Work machine
AU2015293229B2 (en) Surroundings display device for turning operation machine
JP5546427B2 (en) Work machine ambient monitoring device
JP5775283B2 (en) Work machine monitoring device
JP4951639B2 (en) Work machine with ambient monitoring device
JP5473870B2 (en) Construction machine monitoring equipment
JP5779244B2 (en) Work machine ambient monitoring device
JP2013253402A (en) Surrounding monitoring device for work machine
JP6052881B2 (en) Perimeter monitoring equipment for work machines
JP6165085B2 (en) Work machine periphery monitoring device
JP2010059653A (en) Visual field assisting device of working machine
KR20140060321A (en) Surroundings monitoring device for work machine
KR20130138227A (en) Perimeter surveillance device for work machine
JP5066198B2 (en) Work machine monitoring device
JP5143481B2 (en) Monitoring equipment for construction machinery
JPH10299032A (en) Visibility improving equipment for traveling vehicle for work
JP2008240362A (en) Construction machine and method of guiding backward movement of construction machine
JP2009113561A (en) Monitor device for construction equipment
JP6290497B2 (en) Excavator
JP2019060228A (en) Periphery monitoring device for work machine
JP6852026B2 (en) Excavator
JP6602936B2 (en) Excavator
JP2010070929A (en) Monitor device for confirming rear side
WO2021020292A1 (en) Display system, remote operation system, and display method
JP7257357B2 (en) Excavators and systems for excavators

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090724

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090731

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees