JP4273336B2 - Construction machine surveillance camera system - Google Patents
Construction machine surveillance camera system Download PDFInfo
- Publication number
- JP4273336B2 JP4273336B2 JP2004222920A JP2004222920A JP4273336B2 JP 4273336 B2 JP4273336 B2 JP 4273336B2 JP 2004222920 A JP2004222920 A JP 2004222920A JP 2004222920 A JP2004222920 A JP 2004222920A JP 4273336 B2 JP4273336 B2 JP 4273336B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vibration
- image
- monitor
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/08—Superstructures; Supports for superstructures
- E02F9/0858—Arrangement of component parts installed on superstructures not otherwise provided for, e.g. electric components, fenders, air-conditioning units
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/261—Surveying the work-site to be treated
Landscapes
- Engineering & Computer Science (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、上部構造が旋回可能な構成を有する油圧ショベル等の建設機械に設置され、上部旋回体の後方等を監視するための監視カメラシステムに関するものである。 The present invention relates to a monitoring camera system that is installed in a construction machine such as a hydraulic excavator having a structure in which an upper structure is capable of turning, and that monitors the rear of the upper turning body and the like.
建設機械としての油圧ショベルは、下部走行体に旋回装置を介して上部旋回体が旋回可能に設置される構成となっている。上部旋回体には、掘削作業手段等といった作業手段が作動可能に装着されており、またオペレータが機械を操作するための運転室が設けられる。そして、運転室の後方には機械室建屋が設置されており、さらに最後方部にはカウンタウエイトが装着されている。 A hydraulic excavator as a construction machine has a configuration in which an upper swing body is installed on a lower traveling body via a swing device so as to be capable of swinging. Work means such as excavation work means are operably mounted on the upper swing body, and a cab for an operator to operate the machine is provided. A machine room building is installed behind the cab, and a counterweight is attached to the rearmost part.
油圧ショベルが稼動している作業現場には、この油圧ショベルの作業領域内に作業者が立ち入る可能性があり、また作業半径内に樹木や構築物等が位置していることもある。従って、油圧ショベルを操作するオペレータには、作業領域の周囲における安全確認をすることが要求される。このために、運転室はその周囲のほぼ全面が窓となっており、この運転室内でオペレータは広範囲にわたって視野が得られる。また、適宜の位置にはバックミラー等が設けられて、オペレータが補助的な視野を得ることができるようになっている。しかしながら、作業時には常に作業手段を注視するために、オペレータは前方を向いた状態で機械を操作することになるから、頻繁に後方の安全確認を行なうのは容易ではなく、また運転室の後部位置には機械室建屋等が設置されており、後方を含むある範囲において死角が生じるのを防止できないのが実情である。 At the work site where the excavator is operating, there is a possibility that an operator may enter the work area of the excavator, and there are cases where trees, structures, etc. are located within the work radius. Therefore, an operator who operates the hydraulic excavator is required to confirm safety around the work area. For this reason, the driver's cab is almost entirely windowed, and the operator can obtain a wide field of view in the driver's cab. Further, a rearview mirror or the like is provided at an appropriate position so that an operator can obtain an auxiliary visual field. However, since the operator always operates the machine in a state of facing forward in order to keep an eye on the working means at the time of work, it is not easy to frequently check the safety at the rear, and the rear position of the cab In fact, there is a machine room building, etc., and it is actually impossible to prevent blind spots from occurring in a certain range including the rear.
上部旋回体は下部走行体に対して旋回可能となっており、作業手段の作動状態となっている間にも上部旋回体を旋回させることがある。また、機械全体が前進、後進を繰り返しながら作業を行なう場合もある。従って、後方の安全確認は極めて重要なものである。そこで、オペレータが前方を向いて作業手段を注視しながら、そのままの姿勢で後方視野を得るために、カウンタウエイトに後方監視カメラを設け、この後方監視カメラによる映像を運転室に設置したモニタに映し出すように構成したものは、例えば特許文献１に示されている。この公知の後方監視装置は、カウンタウエイトに切り欠き部を設けて、この切り欠き部に監視カメラを設置するようにしている。また、この監視カメラが危険物と干渉したり、飛来物と衝突したりするのを防止して、損傷しないように保護するために、透明な樹脂カバーで覆うように構成している。
ところで、油圧ショベルの稼動時には大きな振動が発生する。特に、油圧ショベルが稼動する作業現場は、通常は整地されていないことから、その走行時には上部旋回体が振動することになり、この振動は監視カメラが設置されているカウンタウエイトにも伝達される。その結果、モニタにカメラ画像を動画状態にして表示させたときに、その映像がぶれて不鮮明になり、監視の役割を達成できない場合がある。前述したように、監視カメラの必要性は車両の後進時に特に高いものであり、このときにモニタに表示される映像がぶれると、モニタの映像に基づいて十分な監視を行なえなくなってしまう。また、大きな凹凸が存在する悪路を走行する場合には、カメラが激しく振動するので、モニタに表示される映像が大きく乱れることになり、モニタを目視する目に対する負担が著しくなってしまう。 By the way, a large vibration is generated when the hydraulic excavator is operated. In particular, since the work site where the hydraulic excavator is operated is not normally leveled, the upper swinging body vibrates during traveling, and this vibration is also transmitted to the counterweight where the surveillance camera is installed. . As a result, when the camera image is displayed in a moving image state on the monitor, the image may be blurred and unclear, and the monitoring role may not be achieved. As described above, the necessity of the monitoring camera is particularly high when the vehicle is moving backward, and if the image displayed on the monitor is blurred at this time, sufficient monitoring cannot be performed based on the image on the monitor. Further, when the vehicle travels on a rough road with large unevenness, the camera vibrates violently, so that the image displayed on the monitor is greatly disturbed, and the burden on the eyes viewing the monitor becomes significant.
また、監視カメラによる補助視野が必要な他の場合として、上部旋回体の旋回動作時があるが、車両の停止状態で上部旋回体が旋回している間は、あまり大きな振動が生じることはない。ただし、旋回停止時には慣性力が作用することから、上部旋回体が激しく振動して、カウンタウエイトも極めて大きな振動が発生する。従って、オペレータがモニタを目視しながら旋回操作を行なっている際において、旋回停止時にモニタに表示されている映像が突然大きく乱れることになる。旋回が停止したのであるから、安全確認という点では格別大きな問題はないにしても、モニタを目視しているオペレータにとって不快なものとなり、その目を著しく疲労させることになる。 As another case where an auxiliary visual field by the surveillance camera is required, there is a turning operation of the upper turning body, but no significant vibration is generated while the upper turning body is turning while the vehicle is stopped. . However, since inertial force acts when turning is stopped, the upper turning body vibrates violently and the counterweight also generates extremely large vibrations. Therefore, when the operator performs the turning operation while visually observing the monitor, the image displayed on the monitor is suddenly greatly disturbed when the turning is stopped. Since the turning has stopped, even if there is no particular problem in terms of safety confirmation, it becomes uncomfortable for the operator who is looking at the monitor, and the eyes are significantly fatigued.
さらに、掘削作業手段を作動させて、土砂の掘削を行っている際には、必ずしもモニタを目視する必要はなく、掘削作業手段の動きを注視することになるが、オペレータの視野の隅にモニタが入ることになる。従って、モニタに監視映像を表示させたまま掘削作業を行なうと、やはりオペレータの目にとって負担が大きくなる。従って、長時間作業を継続すると、オペレータに大きな疲労感を与える結果になる。ここで、掘削作業を行なっている際には、モニタに監視カメラからの映像を表示しないようにすることもできるが、掘削、走行、旋回の動作を繰り返し行なう場合等において、モニタの表示を頻繁に切り換えることはオペレータに極めて煩わしい操作を強いることになり、監視カメラとしての機能が損なわれてしまうことにもなる。 Furthermore, when the excavation work means is operated to excavate the earth and sand, it is not always necessary to look at the monitor, and the movement of the excavation work means will be watched, but the monitor is displayed at the corner of the operator's field of view. Will enter. Therefore, if excavation work is performed with the monitor image displayed on the monitor, the burden on the operator's eyes also increases. Therefore, if the work is continued for a long time, the operator is greatly tired. Here, when performing excavation work, it is possible not to display the image from the monitoring camera on the monitor. However, when the excavation, traveling, and turning operations are repeated, the monitor display is frequently displayed. Switching to <RTIgt; to </ RTI> forces an extremely cumbersome operation on the operator, and also impairs the function as a surveillance camera.
本発明は以上の点に鑑みてなされたものであって、その目的とするところは、監視カメラからの映像をモニタに表示するに当って、モニタにおける画像の乱れを最小限に抑制することによって、監視カメラとしての機能の充実を図り、かつオペレータに疲労感を与えないようにすることにある。 The present invention has been made in view of the above points, and an object of the present invention is to minimize image disturbance on the monitor when displaying images from the monitoring camera on the monitor. The purpose is to enhance the function as a surveillance camera and to prevent the operator from feeling tired.
前述した目的を達成するために、本発明は、下部走行体に上部旋回体を連結して設け、この上部旋回体に監視用のカメラを設置して、このカメラで得た映像を前記上部旋回体に装着した運転室内に設置したモニタに表示する建設機械の監視カメラシステムであって、前記カメラは像ぶれ補正機構付きのものを用い、かつ前記カメラが設置されている前記上部旋回体の振動を検出する振動検出手段を備え、この振動検出手段によって、前記カメラがその像ぶれ補正機構では補正できない大きさの振動の発生を検出している間は、前記モニタにはこの振動発生前の画像を静止状態で表示されるように制御することをその特徴とするものである。 In order to achieve the above-described object, the present invention provides an upper turning body connected to a lower traveling body, and a monitoring camera is installed on the upper turning body, and an image obtained by the camera is turned on the upper turning body. A construction camera surveillance camera system for displaying on a monitor installed in a driver's cab mounted on the body, wherein the camera is equipped with an image blur correction mechanism, and the upper revolving body in which the camera is installed is vibrated While the camera detects the occurrence of vibration of a magnitude that cannot be corrected by the image blur correcting mechanism, the monitor detects an image before the vibration is generated. Is characterized in that it is controlled to be displayed in a stationary state.
カメラは、上部旋回体の運転室の内部で機械を操作するオペレータが、通常の姿勢状態では視認するのが困難か、若しくは視認不能な範囲を視野とするものであり、特に後方視野を補助的に取得して、作業の安全性を確保するためのものである。従って、リアルタイムの映像をモニタに表示するために、動画状態での表示を行なう。そして、カメラの設置位置は上部旋回体の後方位置、例えばカウンタウエイトに設置されるのが一般的である。ただし、カメラの設置位置は、建設機械の構造や稼動状態等によって、適宜の位置とすることができる。一方、モニタはオペレータが運転席に着座した状態で容易に視認でき、かつ前方視野の妨げとならない位置に配置する。具体的には、運転室内において、その運転席の斜め前方に設置するのが望ましい。 The camera has a field of view in which the operator who operates the machine inside the operator's cab of the upper swing body is difficult to see or cannot visually recognize in a normal posture state, and the rear view is particularly auxiliary. It is intended to ensure the safety of work. Therefore, in order to display a real-time image on the monitor, display in a moving image state is performed. The installation position of the camera is generally installed at a rear position of the upper swing body, for example, a counterweight. However, the installation position of the camera can be an appropriate position depending on the structure of the construction machine, the operating state, and the like. On the other hand, the monitor is disposed at a position where the operator can easily see the image while sitting on the driver's seat and does not interfere with the front vision. Specifically, it is desirable to install in the driver's cabin diagonally in front of the driver's seat.
カウンタウエイトであれ、それ以外の箇所であれ、エンジンが作動して機械が稼動している間は常時カメラに振動が伝達される。アイドリング状態では、振動は微小なものであり、また作業を実行している間であっても、比較的振動が小さい場合もあるが、例えば掘削作業を行なっている間や、上部旋回体の旋回停止時、さらには悪路走行時であって、障害物や窪みを乗り越える際等には、極めて大きな振動が発生する。 Whether it is a counterweight or other place, vibrations are always transmitted to the camera while the engine is running and the machine is running. In the idling state, the vibration is very small and may be relatively small even while the work is being performed. For example, during the excavation work or the turning of the upper swing body When the vehicle is stopped, or when traveling on a rough road, and over obstacles or depressions, extremely large vibrations are generated.
以上のことから、カメラに振動ができるだけ伝達しないようにするために、カメラを防振支持させるようにするのが望ましい。ただし、これだけでは十分振動を吸収することができない。そこで、カメラに像ぶれ補正機構を持たせるようにする。この像ぶれ補正機構の具体例としては、カメラの振動を検出するジャイロと、像ぶれを補正するための光学素子としての可変頂角プリズムを用いることができる。そして、ジャイロによってカメラの振動を検出して、可変頂角プリズムを傾動させることによって、対物光学系の光軸を振動方向とその大きさに応じて変化させるように構成する。これによって、モニタに表示される映像の像ぶれが防止されて、鮮明な画像が得られることになる。 In view of the above, it is desirable to support the camera in a vibration-proof manner so that vibrations are not transmitted to the camera as much as possible. However, this alone cannot sufficiently absorb vibration. Therefore, the camera is provided with an image blur correction mechanism. As a specific example of this image blur correction mechanism, a gyro that detects camera vibration and a variable apex angle prism as an optical element for correcting image blur can be used. Then, by detecting the vibration of the camera with a gyro and tilting the variable apex angle prism, the optical axis of the objective optical system is changed in accordance with the vibration direction and its magnitude. As a result, image blurring of the video displayed on the monitor is prevented, and a clear image can be obtained.
ただし、カメラの設置部には、前述した像ぶれ補正機構だけでは補正しきれない程度の大きな振動が作用することがある。この場合には、そのままカメラ映像をモニタに表示させると、画像が激しく乱れることになる。この画像の乱れを防止するために、大きな振動が作用している間は、モニタに表示される画像は動画状態から静止画像を表示する状態に切り換える。このためには、モニタに画像を表示するために設けられる画像メモリの更新を禁止して、振動が作用する直前の鮮明な画像を静止画像としてモニタに表示する。 However, a large vibration that cannot be corrected by the above-described image blur correction mechanism alone may act on the camera installation portion. In this case, if the camera video is displayed on the monitor as it is, the image will be severely disturbed. In order to prevent the disturbance of the image, the image displayed on the monitor is switched from the moving image state to the still image display state while a large vibration is applied. For this purpose, updating of an image memory provided for displaying an image on the monitor is prohibited, and a clear image immediately before the vibration acts is displayed on the monitor as a still image.
カメラが像ぶれ補正機構により補正しきれない大振動が生じたときに、この大振動が作用している間に限ってモニタに静止画像を表示させ、大振動が収束して、像ぶれ補正機構により補正が可能な状態になったときに、モニタには再び動画状態での表示を行なわせる。このために、振動検出手段を設けて、所定のレベルを超える振動が発生する場合に、モニタの画像を静止させる。振動検出手段としては、各種の振動センサを用いることができ、この振動センサをカメラの取付部材に装着することができる。また、油圧駆動系を使用している場合には、油圧アクチュエータとしての油圧シリンダ及び油圧モータの圧力変動を検出することによっても、振動の大きさを検出することができる。即ち、掘削作業手段に設けられる油圧シリンダの保持圧の変動や走行用及び旋回用の油圧モータの駆動圧の変動をモニタリングすることによっても、振動の大きさを検出することができる。 When a large vibration that the camera cannot correct by the image blur correction mechanism occurs, a still image is displayed on the monitor only while the large vibration is acting, and the large vibration converges, and the image blur correction mechanism When the correction becomes possible, the monitor is again displayed in the moving image state. For this purpose, vibration detection means is provided to make the monitor image stationary when vibration exceeding a predetermined level occurs. As the vibration detecting means, various types of vibration sensors can be used, and this vibration sensor can be mounted on a camera mounting member. Further, when a hydraulic drive system is used, the magnitude of vibration can also be detected by detecting pressure fluctuations of a hydraulic cylinder and a hydraulic motor as hydraulic actuators. That is, the magnitude of vibration can also be detected by monitoring fluctuations in the holding pressure of the hydraulic cylinders provided in the excavation work means and fluctuations in the driving pressures of the traveling and turning hydraulic motors.
以上のようにして、上部旋回体における振動の大きさを測定して、この測定値が所定の閾値を超えたときに、カメラにより撮影した画像信号が画像メモリに取り込まれるのを禁止して、モニタには激しい振動が生じる直前の画像を静止状態で表示させる。また、振動が低下すると、再びカメラからの映像信号に基づく動画状態でモニタに表示する。建設機械の稼動中において、長時間にわたって大振動が継続することはなく、ある原因で大振動が発生しても、この振動は早期に収束するので、モニタに静止画像が表示されている時間は極短いものであるので、安全確認の点で各別支障を来たすことはない。 As described above, the magnitude of vibration in the upper swing body is measured, and when the measured value exceeds a predetermined threshold, the image signal captured by the camera is prohibited from being taken into the image memory, On the monitor, the image immediately before the intense vibration is displayed in a stationary state. When the vibration is reduced, the image is displayed again on the monitor in a moving image state based on the video signal from the camera. During the operation of the construction machine, a large vibration does not continue for a long time, and even if a large vibration occurs for some reason, this vibration converges early, so the time that the still image is displayed on the monitor is Since it is extremely short, it will not cause any trouble in terms of safety confirmation.
以上のように構成することによって、カメラが設置されている上部旋回体の振動に拘らず、運転室に設置されているモニタには常に鮮明な画像が表示されるようになり、もってオペレータによる安全確認を容易に行なわせることができ、かつオペレータに対する疲労を抑制できる。 By configuring as described above, a clear image is always displayed on the monitor installed in the operator's cab regardless of the vibration of the upper rotating body in which the camera is installed. Confirmation can be easily performed, and fatigue to the operator can be suppressed.
以下、図面に基づいて本発明の実施の形態について説明する。まず、図１に監視カメラが設置される建設機械の一例としての油圧ショベルの全体構造を示す。図中、１はクローラ式の走行手段からなる下部走行体、２は上部旋回体をそれぞれ示し、上部旋回体２は旋回装置３を介して下部走行体１に対して旋回可能となっている。上部旋回体２には、土砂の掘削等の作業を行なうための掘削作業手段４が装着されており、この掘削作業手段４はブーム４ａ，アーム４ｂ及びバケット４ｃから構成される。また、掘削作業手段４の装着位置と並ぶように運転室５が設置されている。運転室５の後部位置にはエンジン等の機器類を収容させた機械室建屋６が設けられ、最後部位置にはカウンタウエイト７が装着されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, FIG. 1 shows the overall structure of a hydraulic excavator as an example of a construction machine on which a surveillance camera is installed. In the figure, reference numeral 1 denotes a lower traveling body composed of a crawler type traveling means, 2 denotes an upper revolving body, and the upper revolving
オペレータは運転室５内で機械を操作して所定の作業を実行するが、油圧ショベルの代表的な作業としては、掘削作業手段４によって土砂を掘削して、掘削土をダンプトラックの荷台に投入する作業がある。この場合、掘削作業手段４を作動させて、土砂を掘削した後に、上部旋回体２を所定角度旋回させて、ダンプトラックの荷台上部の位置まで掘削作業手段４を変位させて、掘削土を投入する。また、掘削位置とダンプトラックの位置とが離れているときには、油圧ショベルを後進させた後に旋回を行なうようにする。
The operator operates the machine in the
以上のような動作時において、上部旋回体２の旋回時及び車両の後進時には、特に後方の安全を確認する必要がある。例えば、油圧ショベルとダンプトラックとの間に作業者が入り込んでいたり、またダンプトラックや他の障害物と衝突したりしないように、注意しながら旋回及び後進させるように操作しなければならない。ただし、オペレータは常時掘削作業手段４を視野に入れた状態で作業を行なわなければならないから、オペレータは前方を向いた姿勢を維持することになる。従って、旋回時や後進時における後方の安全を確認するために、運転室５の内部には、オペレータが運転席に着座した状態で、斜め前方の位置、例えばフロントピラー等にモニタ８を設置しておき、またカウンタウエイト７に後方監視用のカメラ９を取り付けて、このカメラ９により車両の後方の映像を取得してモニタ８に表示する。これによって、オペレータは振り返るというような無理な姿勢を取らずに、必要な後方安全確認を行なうことができる。
During the operation as described above, it is necessary to check the safety of the rear particularly when the
ここで、カウンタウエイト７に１台のカメラ９を設置する場合、後方安全確認という面からは、このカメラ９の視野範囲と視野の方向とは極めて重要になる。一般的には、カウンタウエイト７の最後部位置であり、かつ上部側に配置し、視野中心が下方に向けて概略４５°の角度を有するように設置するのが望ましい。また、油圧ショベルは野外で周囲に障害物が存在していたり、岩石等が飛来したりする状況下で稼動することから、カメラ９が損傷しないように保護する必要もあり、しかもその保護機構により視野範囲がけられないようにしなければならない。
Here, when one
図２乃至図４に示したように、カメラ９が設置されるカウンタウエイト７は、ケーシングの内部に重量物を充填したものであって、その後面ケーシング１０の最後端部で、上部位置に凹部１１が形成されており、カメラ９はこの凹部１１内に収容されるようになっている。ただし、カメラ９はこの凹部１１を構成する壁面に取り付けられるのではなく、この凹部１１をカバープレート１２で覆うようになし、このカバープレート１２に取り付けられている。カバープレート１２は、強度の観点から金属プレートから構成される。そして、１枚の板体でカバープレート１２を構成することもできるが、複雑に曲げ加工を施しているので、図３に示したように、上部プレート１２ａと下部プレート１２ｂとの２部材から構成され、上部プレート１２ａの下端部と下部プレート１２ｂの上端部とを溶接等の手段で固着することによって一体化されている。
As shown in FIGS. 2 to 4, the
上部プレート１２ａの下側の部位はその中央部が外向き、つまり凹部１１から外方に向けて突出するように湾曲しており、この湾曲部が庇部１３となる。また、下部プレート１２ｂの中央部分は内向き、つまり凹部１１側に向けて湾曲するように突出した凹湾曲部１４となっており、この凹湾曲部１４は上部プレート１２ａの内面側に回り込んでいる。さらに、この下部プレート１２ｂの凹湾曲部１４は途中から折り返されて、上部プレート１２ａの庇部１３に近接する方向に向けて湾曲するように延在されており、この延在部に透孔からなる窓１５が形成されている。そして、この窓１５にはカメラ９を保護のために透明板１５aを嵌め込むようにする。
The lower portion of the
上部プレート１２ａの内面には、凹部１１側に向けて突出するように取付板１５が溶接等の手段で固着して設けられており、この取付板１６にカメラ９が固定されている。そして、このカメラ９のレンズ部９ａは、下部プレート１２ｂに形成した窓１５に対して僅かな隙間をもって対面する状態に組み付けられている。そして、図２から明らかなように、カメラ９の視野は窓１５から上部プレート１２ａの庇部１３と下部プレート１２ｂの凹湾曲部１４とにより形成される外向きに拡開する空間から得られる。従って、取付板１６の上部プレート１２ａへの取り付け角度によりカメラ９の光軸Ａが所望の方向に向くように装着でき、また庇部１３と凹湾曲部１４とにより形成される空間がカメラ９への入射光路となるので、これら庇部１３と凹湾曲部１４との拡開角度を適宜設定することによって、カメラ９の視野角θを広くすることができる。
On the inner surface of the
カバープレート１２を構成する上部プレート１２ａの上部側は折り曲げられて、後面ケーシング１０の上面に固定されるものであって、図４に示したように、その当接面には左右にねじ挿通孔１８，１８が穿設されている。また、上面部１０ｂにもねじ挿通孔１９，１９が穿設され、かつその裏面側にはナット２０，２０が固着して設けられ、ボルト２１によりカバープレート１２が後面ケーシング１０に固定されている。しかも、カバープレート１２と後面ケーシング１０との間には防振ゴム２２が装着されている。そして、カバープレート１２は、その当接面が防振ゴム２２を挟んで後面ケーシング１０に設置されているが、これ以外は後面ケーシング１０とは非接触状態に保たれる。また、カバープレート１２は、その上部プレート１２aに形成した庇部１３を含めた全体が後面ケーシング１０に形成した凹部１１内に位置しており、この後面ケーシング１０から外方には突出しないようになっている。これによって、上部旋回体２が旋回する際に、カバープレート１２が障害物と衝突するのを防止できる。
The upper side of the
以上のように構成することによって、カメラ９は、カバープレート１２に大半の部分が覆われ、障害物や飛来する岩石等からカメラ９が損傷しないように保護されることになり、損傷等を生じさせることはない。カバープレート１２に形成されている庇部１３は、またカメラ９のレンズ部８ａに外乱光が入射されるのを防止するフードとしての機能を有している。即ち、油圧ショベルは野外で作業を行なうものであるから、強い太陽光の下でも作業が行なわれる。このために、カメラ９が外部に露出していると、この太陽光がレンズ部８ａに取り込まれて、このカメラ９で撮影してモニタに表示したとき、サチュレーションが発生する等により画質が低下する。しかしながら、カメラ９の上部位置には庇部１３が形成されており、この庇部１３は外方に向けて突出するように形成されている。従って、強力な太陽光下でも有害光が入り込むのを抑制できて、鮮明な映像を取得できる。
By configuring as described above, the
ところで、油圧ショベルが起動すると、つまりエンジンの作動が開始すると、上部旋回体２全体が振動することになり、この振動はカメラ９を設置したカウンタウエイト７にも伝達されることになる。また、油圧ショベルが稼動すると、つまり下部走行体１による走行、旋回装置３の作動による上部旋回体２の旋回、掘削作業手段４の作動が開始すると、カメラ９の振動はより大きくなる。カメラ９が振動しても、モニタ８に表示されるカメラ映像がぶれないようにするために、像ぶれ補正機構付きのカメラが用いられる。そこで、図５に基づいてこの像ぶれ補正機構付きカメラの構成を説明する。
By the way, when the excavator is activated, that is, when the operation of the engine is started, the entire
図中において、カメラ９は、レンズユニット３０と、撮像手段としてのCCD３１とを備え、さらに像ぶれ補正手段としての可変頂角プリズム３２を有している。可変頂角プリズム３２は、カメラ９の振動を検出して、その振動方向及び振動の大きさに応じて光軸を調整するように、プリズムの頂角を変位させて傾動させるものである。この可変頂角プリズム３２の頂角を変位させるために、圧電素子等からなるアクチュエータ３３が設けられており、このアクチュエータ３３に駆動電圧を印加することによって、可変頂角プリズム３２の頂角を変位させて、光軸の傾き補正を行うことにより像ぶれを補正する構成となっている。
In the figure, the
カメラ９のぶれを検出するために、振動ジャイロ３４を備えており、この振動ジャイロ３４からのぶれ検出信号は信号処理回路３５に入力されて、この信号処理回路３５によって、目標とする補正値が演算される。また、頂角検出回路３６において、可変頂角プリズム３２の現在位置がアクチュエータ３３の状態から検出されるようになっており、信号処理回路３５から出力された目標補正信号が加算器３７において、頂角検出回路３６からの現在の頂角位置検出信号から減算されて、電力増幅器３８によってこの信号を増幅してアクチュエータ３３に駆動電力が供給される。その結果、カメラ９の振動による像ぶれを補正するように、可変頂角プリズム３２の頂角が変位することになる。
In order to detect camera shake, a
そして、前述した信号処理回路３５による信号処理の動作制御は、マイクロコンピュータ３９により行われるものであり、またこのマイクロコンピュータ３９はレンズ駆動回路４０を介してレンズユニット３０に制御信号を送信することによって、オートフォーカス制御等も行なわれることになる。なお、４１は信号処理回路３５に基準電圧Ｖｃを供給する基準信号発生回路である。
The signal processing operation control by the
以上のようにしてカメラ９の振動による映像の像ぶれを補正することによって、上部旋回体２が振動している間でも、モニタ８には監視対象となる部位の映像が動画状態で鮮明に表示されることになり、オペレータは前方を向いた状態で、この状態では目視不能な車両の後方等における安全確認を円滑かつ確実に行なうことができる。また、カメラ９が振動しても、モニタ８の表示に乱れ等が生じないことから、オペレータがモニタ８を注視しても、疲労感等を与えるようなことはない。
By correcting the image blur due to the vibration of the
ただし、油圧ショベルの稼動中には、大きな振動が発生して、カメラ９の像ぶれ補正機構では補正しきれない場合がある。即ち、カメラ９の像ぶれ補正は、収差の発生抑制及びアクチュエータ３３の小型化等の観点から、一定の範囲の振動に基づく像ぶれの補正を行なうものであり、限度を超えて可変頂角プリズム３２の頂角を変位させるようには構成されていない。
However, during the operation of the hydraulic excavator, large vibrations may occur, and the image blur correction mechanism of the
而して、油圧ショベルにおいては、その掘削作業手段４により土砂を掘削しているときに、動作状態から停止させる際、バケット４ｃが地面と衝突する際、土砂を掬い上げる際、さらにはバケット４ｃから土砂をダンプトラックの荷台に投入する際等において、上部旋回体２の全体が極めて激しく振動することになる。また、走行時において、地面から突出する障害物を乗り越えたり、窪みを通過したりする際にも大きな振動が上部旋回体２に作用する。さらに、上部旋回体２の旋回時において、旋回状態から旋回停止したときにも、慣性力によって激しい振動が生じることになる。従って、カメラ９の像ぶれ補正機構によっては補正しきれない振動が生じたときに、このカメラ９で撮影された映像をモニタ８に表示させると、画像が大きく乱れることになり、監視という目的を達成できないだけでなく、オペレータがこのモニタ８を目視すると、目に大きな疲労感が生じることになる。
Thus, in the excavator, when excavation work means 4 is excavating the earth and sand, when stopping from the operating state, when the bucket 4c collides with the ground, when raising the earth and sand, and further, the bucket 4c When the earth and sand are put into the loading platform of the dump truck, the entire
以上のことから、カメラ９の像ぶれ補正機構では補正しきれない大振動が生じた場合には、その直前の鮮明な画像を静止画像としてモニタ８に表示するようになし、もってモニタ８における表示画像の乱れを防止するようにしている。
From the above, when a large vibration that cannot be corrected by the image blur correction mechanism of the
而して、図５に示したようにカメラ９における撮像手段としてのＣＣＤ３１からの映像信号は、映像信号処理回路４２によって、所定の信号処理を行なった後に、画像メモリ４３に記録されるようになっており、１フレーム分の画像データが画像メモリ４３に書き込まれると、この画像メモリ４３から画像信号が出力されてモニタ８に表示されることになり、この１フレーム分の画像データが出力されると、次のフレーム分の画像データによって画像メモリ４３が書き換えられることになる。これを繰り返すことによって、モニタ８には動画状態で映像が表示されることになる。
Thus, as shown in FIG. 5, the video signal from the
そこで、カメラ９の振動状態を検出して、像ぶれ補正機構では補正しきれない程度の大振動が発生している場合において、この大振動が発生している間は、画像メモリ４３における画像データの更新を禁止し、この画像メモリ４３に記録されている画像データを繰り返し表示することによって、モニタ８には静止画像を表示するように制御する。このために、振動検出回路４４が設けられると共に、画像メモリ４３の前段にスイッチ回路４５が設けられており、振動検出回路４４により大振動が発生したことを検出すると、この振動検出回路４４からマイクロコンピュータ３９を介してスイッチ回路４５をＯＦＦの状態となし、もって映像信号処理回路４２からの画像信号の画像メモリ４３への取り込み及び画像データの更新が禁止される。これによって、モニタ８には大振動が発生する直前の画像が静止画状態で表示される。
Therefore, when the vibration state of the
そこで、振動検出回路４４は、油圧アクチュエータの圧力状態をモニタリングすることにより振動検出を行なうものである。即ち、下部走行体１の駆動手段を構成する走行用油圧モータ及び旋回装置３を駆動させる旋回用油圧モータにおける駆動圧の検出信号と、掘削作業手段４を動作させる油圧シリンダの保持圧検出信号とがこの振動検出回路４４に入力されるようになっている。そして、この振動検出回路４４においては、これらの検出信号の変動から加速度を演算して、一定レベルを超える加速度が検出されたときに、カメラ９の設置部に大振動が発生したことが認識され、また加速度が一定レベル以下になると、この振動が収束していることが認識される。従って、この振動検出回路４４によって大振動の発生が検出されたときから振動が収束するまでの間は、マイクロコンピュータ３９からの制御信号によりスイッチ回路４５がＯＦＦ状態になる。
Therefore, the
今、図６において、車両の走行中における走行用油圧モータの圧力変動が同図（ａ）に示されており、たとえ未整地を走行するとはいえ、路面に大きな凹凸がなければ、油圧モータの駆動圧の変動も小さい。従って、この程度の圧力変動があっても、カメラ９を装着したカウンタウエイト７はあまり大きくは振動せず、またカメラ９が装着されているカバープレート１２は防振ゴム２２を介してカウンタウエイト７の後面ケーシング１０に取り付けられているので、カメラ９に作用する振動は、像ぶれ補正機構により十分吸収されるものである。
In FIG. 6, the pressure fluctuation of the traveling hydraulic motor during traveling of the vehicle is shown in FIG. 6 (a). Even if the vehicle is traveling on rough terrain, if there is no large unevenness on the road surface, the hydraulic motor The fluctuation of driving pressure is also small. Therefore, even if there is such a pressure fluctuation, the
しかしながら、例えば図６（ａ）において、時間Ｔ１からＴ２では、下部走行体１が路面から突出した障害物を乗り越えているときにおける走行用油圧モータの駆動圧の変動が示されている。このように、時間Ｔ１からＴ２においては、駆動圧が大きく変動しており、このときには上部旋回体２が大きく振動する。振動検出回路４４では、この駆動圧の大きな変動により大振動が発生したことが検出されて、スイッチ回路４５がＯＦＦの状態となる。その結果、大振動が生じる直前の画像データが画像メモリ４３に保持されて、モニタ８にはこの画像が静止画像状態で表示され、モニタ８における画像の乱れが生じることはない。そして、時間Ｔ２になると、この大振動が収束されたことが検出されるので、スイッチ回路４５はＯＮの状態に切り換わり、再びカメラ９で取得した映像が動画状態で表示されるようになる。
However, for example, in FIG. 6 (a), from time T1 to T2, fluctuations in the driving pressure of the traveling hydraulic motor when the lower traveling body 1 gets over an obstacle protruding from the road surface are shown. Thus, from time T1 to T2, the driving pressure fluctuates greatly, and at this time, the
ここで、カメラ９がカウンタウエイト７に設置されて、後方監視カメラとして機能する場合、車両の走行が後進であるときには、オペレータは、安全確認の観点から、モニタ８の映像による後方の視野を取得する必要があり、しかもリアルタイムの情報を取得する必要がある。前述したように、大振動が発生している時間Ｔ１〜Ｔ２の間は静止画像状態で表示されることになってしまう。しかしながら、一般に油圧ショベルの走行速度は遅く、しかも大振動が発生してから所定のレベル以下に収束するまでの時間は数秒程度というように短いものであるから、大振動が発生している間、モニタ８に静止画像が表示されていても、安全確認上で格別問題とはならない。そして、路面が極端な悪路であって、頻繁に大振動が生じるような場合には、モニタ８には実質的にコマ送り状態で画像が表示されることになるが、画像そのものが乱れるよりはコマ送り状態で表示される方がオペレータにとって見易いものとなる。また、安全確認という観点からは、モニタ８の画像がコマ送り状態となっても差し支えない。
Here, when the
次に、掘削作業手段４の作動時における油圧シリンダの保持圧の変動を図６（ｂ）に示す。同図においては、一例として掘削作業手段４のブーム４ａの上げ動作から停止させたときにおける油圧シリンダの保持圧の変動が示されている。ブーム４ａが作動している間は、油圧シリンダの保持圧は低く、しかも一定の圧力状態が保たれる。そして、時間Ｔ３でブーム４ａの動作を停止させたときには、慣性力の作用で保持圧が大きく変動することになり、またこの時に上部旋回体２も大きな振動が生じ、この時間Ｔ３から時間Ｔ４までの間は、掘削作業手段４の慣性力によって、油圧シリンダの保持圧が大きく変動し、かつ上部旋回体２が大きく振動する。
Next, the fluctuation of the holding pressure of the hydraulic cylinder during the operation of the excavation work means 4 is shown in FIG. In the same figure, the fluctuation | variation of the holding pressure of a hydraulic cylinder when stopping from the raising operation | movement of the
この油圧シリンダの保持圧の変動が振動検出回路４４に取り込まれて、加速度が演算されて、大振動が発生していることが検出され、スイッチ回路４５がＯＦＦの状態となり、モニタ８の表示態様は静止画像状態となる。そして、時間Ｔ４になると、大振動が収束されるが、保持圧は高い状態に保たれる。従って、時間Ｔ４以後は保持圧そのものは高いが、圧力の変動がないので、スイッチ回路４５がＯＮの状態に復帰して、モニタ８は動画状態で表示されるようになる。
The fluctuation of the holding pressure of the hydraulic cylinder is taken into the
ここで、カメラ９が後方監視カメラであるときにおいて、掘削作業手段４を作動させている間は、オペレータは必ずしも後方の視野を取得する必要はない。ただし、モニタ８はオペレータが着座している運転席の斜め前方に配置されているので、このモニタ８の画像が乱れると、オペレータの注意力が散漫になるだけでなく、疲労感も生じることから、モニタ８には静止画像が表示されて、画像の乱れがないことは、オペレータが掘削作業手段４に注意力を集中させる上で望ましい。勿論、土砂の掘削及び掘削土のダンプトラックへの投入操作を行なっている間は、頻繁に大振動が発生するが、その間において、モニタ８における画像の乱れがないことは、オペレータの注意力の作業への集中及び目の疲労防止の観点から極めて好ましい。
Here, when the
さらに、図６（ｃ）には、上部旋回体２が旋回しているときの旋回用油圧モータの圧力変動が示されている。旋回中は圧力の変動は殆どないが、旋回停止時に作用する慣性力によって、圧力は大きく変動することになる。また、この時には上部旋回体２には大振動が発生する。即ち、図６（ｃ）において時間Ｔ５で旋回を停止させると、その後に油圧モータは実質的にポンプとしての機能を発揮することにより慣性力を吸収することになる。従って、上部旋回体２の旋回を停止させた時間Ｔ５から慣性力がほぼ完全に吸収される時間Ｔ６までは上部旋回体２が大きく振動することになるので、この振動が振動検出回路４４により検出されて、スイッチ回路４５がＯＦＦになり、モニタ８には静止画像が表示されることになる。
Further, FIG. 6C shows the pressure fluctuation of the turning hydraulic motor when the
ここで、上部旋回体２の旋回時において、モニタ８による補助視野が必要なのは、実際に旋回している時であり、旋回が停止した後はモニタ８の補助視野は格別必要のないものであるから、モニタ８にリアルタイムの映像が表示されていなくても、何等差し支えない。むしろ、オペレータがモニタ８を注視しながら旋回操作を行なっているときにおいて、モニタ８の映像が突然乱れるようなことがあると、オペレータに対する負担や疲労が大きくなる。
Here, when turning the
以上のように、油圧ショベルの稼動中に生じる振動のうち、比較的小さい振動が発生したときには、カメラ９に備えている像ぶれ補正機構を作動させることによって、モニタ８には像ぶれのない鮮明な画像が動画状態で表示されるようなり、また像ぶれ補正機構では補正しきれない大きな振動が発生しているときにおいて、しかも振動している間に限ってモニタ８に大振動が発生する直前に得た静止画像を表示することにより、監視カメラという機能を実質的に損なうことなく、乱れのない鮮明な画像がモニタ８に表示される。従って、長時間にわたってモニタ８に監視映像を表示しながら油圧ショベルを作動させても、オペレータの負担や疲労を最小限に抑制できる。
As described above, when a relatively small vibration is generated among the vibrations generated during the operation of the hydraulic excavator, the image blur correction mechanism provided in the
前述したように、油圧の変動に基づいて振動の大きさを検出して、モニタ８における画像の乱れを防止するようにしているが、例えば図２に仮想線で示したように、カメラ９が取り付けられている取付板１６に振動センサ５０を装着して、この振動センサ５０によりカメラ９の振動を検出することもできる。そして、この振動センサ５０に検出された振動レベルが所定の閾値を超えている場合に、スイッチ回路４５をＯＦＦさせて、モニタ８に表示される画像を静止画像とするように制御しても良い。
As described above, the magnitude of vibration is detected based on the fluctuation of the hydraulic pressure to prevent image disturbance on the
１ 下部走行体
２ 上部旋回体
５ 運転室
７ カウンタウエイト
８ モニタ
９ カメラ
１０ 後面ケーシング
１１ 凹部
１２ カバープレート
１３ 庇部
１４ 凹湾曲部
１５ 窓
３０ レンズユニット
３１ ＣＣＤ
３２ 可変頂角プリズム
３３ アクチュエータ
３４ 振動ジャイロ
３５ 信号処理回路
３６ 頂角検出回路
４２ 映像信号処理回路
４３ 画像メモリ
４４ 振動検出回路
４５ スイッチ回路
５０ 振動センサ
DESCRIPTION OF SYMBOLS 1
32 Variable
Claims (4)
前記カメラは像ぶれ補正機構付きのものを用い、かつ前記カメラが設置されている前記上部旋回体の振動を検出する振動検出手段を備え、
この振動検出手段によって、前記カメラがその像ぶれ補正機構では補正できない大きさの振動の発生を検出している間は、前記モニタにはこの振動発生前の画像を静止状態で表示されるように制御する
ことを特徴とする建設機械の監視カメラシステム。 An upper revolving unit is connected to the lower traveling unit, a monitoring camera is installed on the upper revolving unit, and an image obtained by the camera is displayed on a monitor installed in a driver's room attached to the upper revolving unit. In surveillance camera systems for construction machinery,
The camera is equipped with an image blur correction mechanism, and includes a vibration detection means for detecting vibration of the upper swing body in which the camera is installed,
While the camera detects the occurrence of vibration of a magnitude that cannot be corrected by the image blur correcting mechanism, the monitor displays the image before the vibration in a stationary state. A construction camera surveillance camera system characterized by controlling.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004222920A JP4273336B2 (en) | 2004-07-30 | 2004-07-30 | Construction machine surveillance camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004222920A JP4273336B2 (en) | 2004-07-30 | 2004-07-30 | Construction machine surveillance camera system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006037662A JP2006037662A (en) | 2006-02-09 |
| JP4273336B2 true JP4273336B2 (en) | 2009-06-03 |
Family
ID=35902933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004222920A Active JP4273336B2 (en) | 2004-07-30 | 2004-07-30 | Construction machine surveillance camera system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4273336B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014065211A1 (en) * | 2012-10-23 | 2014-05-01 | 日立建機株式会社 | Construction machinery |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008018156A1 (en) * | 2006-08-10 | 2008-02-14 | Sanritz Automation Co., Ltd. | Fluctuation corrected image display method and mobile object remote control system using the method |
| JP6598552B2 (en) * | 2015-07-28 | 2019-10-30 | 大成建設株式会社 | Position measurement system |
| JP6655973B2 (en) * | 2015-12-16 | 2020-03-04 | 三菱電機株式会社 | In-vehicle display control device |
| JP6259116B2 (en) * | 2016-03-29 | 2018-01-10 | 株式会社小松製作所 | Work vehicle |
| JP2019060184A (en) * | 2017-09-28 | 2019-04-18 | カヤバ システム マシナリー株式会社 | Excavation site monitoring device |
| KR102476268B1 (en) * | 2020-07-28 | 2022-12-14 | 현대엠시스템즈 주식회사 | Construction Equipment Safety System using AI Algorithm and Detection Sensors and environment sensors |
| JP2023107567A (en) * | 2022-01-24 | 2023-08-03 | 株式会社小松製作所 | Image correction device, image correction method, and remote operation system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0949503A (en) * | 1995-08-07 | 1997-02-18 | Shin Caterpillar Mitsubishi Ltd | Damping device for hydraulic actuator |
| JP3783296B2 (en) * | 1996-09-26 | 2006-06-07 | ソニー株式会社 | Image pickup apparatus having a camera shake correction function |
| JPH10140619A (en) * | 1996-11-14 | 1998-05-26 | Yutani Heavy Ind Ltd | Rear monitor device of hydraulic shovel |
| JPH10174027A (en) * | 1996-12-05 | 1998-06-26 | Casio Comput Co Ltd | Electronic camera |
| JP2000039637A (en) * | 1998-07-24 | 2000-02-08 | Canon Inc | Shake correction device |
| JP2001251552A (en) * | 2000-03-08 | 2001-09-14 | Ricoh Co Ltd | Image pickup device with blur preventing function |
-
2004
- 2004-07-30 JP JP2004222920A patent/JP4273336B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014065211A1 (en) * | 2012-10-23 | 2014-05-01 | 日立建機株式会社 | Construction machinery |
| CN104736775A (en) * | 2012-10-23 | 2015-06-24 | 日立建机株式会社 | Construction machinery |
| JPWO2014065211A1 (en) * | 2012-10-23 | 2016-09-08 | 日立建機株式会社 | Construction machinery |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006037662A (en) | 2006-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109689983B (en) | Periphery monitoring device for construction machine | |
| JP5546427B2 (en) | Work machine ambient monitoring device | |
| CN108699817B (en) | Construction machine | |
| CN110494613B (en) | Machine tool | |
| JP6886258B2 (en) | Wheel loader and wheel loader control method | |
| JP4273336B2 (en) | Construction machine surveillance camera system | |
| JP7289787B2 (en) | Excavator | |
| JP2001146761A (en) | Vehicle with forward monitoring device for blade and its monitoring method | |
| US10385546B2 (en) | Work vehicle | |
| JPH10140619A (en) | Rear monitor device of hydraulic shovel | |
| WO2019181159A1 (en) | Construction machine | |
| JP7023714B2 (en) | Excavator | |
| JP2017145649A (en) | Work machine | |
| JP2003184131A (en) | Operation equipment for construction machinery | |
| JP2937003B2 (en) | Industrial machinery safety devices | |
| JP2001140286A (en) | Monitoring camera system of construction equipment | |
| JP4465551B2 (en) | Rear surveillance camera device | |
| JP7206956B2 (en) | working machine | |
| US12000115B2 (en) | Hydraulic excavator | |
| JP2021038604A (en) | Construction machine | |
| JP7055074B2 (en) | Work vehicle | |
| WO2020170527A1 (en) | Periphery monitoring device for work machine | |
| CN114258446A (en) | Work vehicle and work vehicle control method | |
| JP2004353281A (en) | Visual field expansion device for construction machine | |
| JP7332868B2 (en) | Working Machine Surrounding Monitoring System, Working Machine Surrounding Monitoring Program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090204 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090217 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120313 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130313 Year of fee payment: 4 |