JP2007137111A - Periphery monitoring device for vehicle - Google Patents

Periphery monitoring device for vehicle Download PDF

Info

Publication number
JP2007137111A
JP2007137111A JP2005330015A JP2005330015A JP2007137111A JP 2007137111 A JP2007137111 A JP 2007137111A JP 2005330015 A JP2005330015 A JP 2005330015A JP 2005330015 A JP2005330015 A JP 2005330015A JP 2007137111 A JP2007137111 A JP 2007137111A
Authority
JP
Japan
Prior art keywords
camera
vehicle
sensor
ultrasonic sensor
detection information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005330015A
Other languages
Japanese (ja)
Inventor
Naoya Azuma
直哉 東
Masahiro Nakazono
昌弘 中園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2005330015A priority Critical patent/JP2007137111A/en
Publication of JP2007137111A publication Critical patent/JP2007137111A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve visibility of a vehicle periphery state by sufficiently interrelating an ultrasonic sensor with the visual field range of a camera without damaging the appearance of the vehicle in a periphery monitoring device for the vehicle. <P>SOLUTION: The periphery monitoring device 1 for the vehicle is equipped with a camera/sensor part 4 which houses the ultrasonic sensor 2 which transmits an ultrasonic sound, and receives a reflecting ultrasonic sound from an obstacle to detect the obstacle, and a camera 3 for picking up a vehicle peripheral image as a pair, and a controller part 5 for controlling the ultrasonic sensor 2 and the camera 3. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、車両に装着され、車両周辺を映し出すカメラによる画像情報と、車両に装着された障害物検知センサの検知情報により、車両周辺の状況を監視するための車両用周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device for monitoring a situation around a vehicle based on image information from a camera mounted on the vehicle and displaying the periphery of the vehicle and detection information of an obstacle detection sensor mounted on the vehicle.

従来、車両用周辺監視装置は、例えば、コントローラ部、警報手段、及び車両バンパに設置した複数個の超音波センサ等によって構成されている。このような車両用周辺監視装置は、超音波センサから超音波を送信して障害物からの反射波を検出する動作を行い、反射波を検出したときにブザー等の警報手段によって運転者に警報を報知する。また、周辺を映像データによって監視するモニタシステムも考案されており、例えば、車庫入れ時に車両の周辺状況を見ながら運転できるように、後方監視カメラを搭載して運転者を支援する装置がある。   2. Description of the Related Art Conventionally, a vehicle periphery monitoring device is configured by, for example, a controller unit, alarm means, and a plurality of ultrasonic sensors installed on a vehicle bumper. Such a vehicle periphery monitoring device performs an operation of detecting an reflected wave from an obstacle by transmitting an ultrasonic wave from an ultrasonic sensor, and alerts a driver by an alarm means such as a buzzer when the reflected wave is detected. Is notified. In addition, a monitor system for monitoring the surroundings with video data has been devised. For example, there is a device that supports the driver by installing a rear monitoring camera so that the driver can drive while watching the surrounding situation of the vehicle when entering the garage.

従来の、映像モニタ及び警報用スピーカを備えた車両用周辺監視装置を、図10、図11(a)(b)、図12を参照して説明する。この装置は、障害物の検知を行う超音波センサ2と、後方監視用カメラ3と、超音波センサ2及びカメラ3を制御するコントローラ部5と、を備えている。コントローラ部5は、超音波センサ2、カメラ3、車両状態信号を出力する車両信号部14、表示モニタ12a、及び、スピーカ13aと接続されている。また、コントローラ部5は、超音波センサ2の送受信を制御する送受信回路11、カメラ3の映像信号を表示モニタ12aに出力する映像コントロール回路12、スピーカ13aに警報信号を出力するブザー出力回路13、及び、これらの回路11,12,13や車両信号部14の制御と信号入出力を行う中央制御部10を備えている。   A conventional vehicle periphery monitoring device including a video monitor and an alarm speaker will be described with reference to FIGS. 10, 11 (a), 11 (b), and 12. This apparatus includes an ultrasonic sensor 2 that detects an obstacle, a rear monitoring camera 3, and a controller unit 5 that controls the ultrasonic sensor 2 and the camera 3. The controller unit 5 is connected to the ultrasonic sensor 2, the camera 3, the vehicle signal unit 14 that outputs a vehicle state signal, the display monitor 12a, and the speaker 13a. The controller unit 5 includes a transmission / reception circuit 11 that controls transmission / reception of the ultrasonic sensor 2, a video control circuit 12 that outputs a video signal of the camera 3 to the display monitor 12a, a buzzer output circuit 13 that outputs an alarm signal to the speaker 13a, And the central control part 10 which performs control of these circuits 11, 12, 13 and the vehicle signal part 14, and signal input / output is provided.

コントローラ部5は、超音波センサ2を介して、超音波パルス波の送波と周辺に存在する障害物からの反射波の受波を行い、超音波センサ2の出力信号が所定の距離範囲内に障害物を検知したものであれば、障害物検知情報を生成するとともに、カメラ3からの映像信号に、障害物検知情報を重畳して、表示モニタ12aのモニタ画面に出力する。又は、コントローラ部5は、障害物検知用の超音波センサ2の検知情報と、車両周辺を映し出すカメラ3による画像情報とで、超音波センサ2の検知結果によるブザー音等の聴覚情報と、車両のモニタ映像による視覚情報を生成して、運転者に注意を喚起する。   The controller unit 5 transmits an ultrasonic pulse wave and receives a reflected wave from an obstacle existing around the ultrasonic sensor 2, and the output signal of the ultrasonic sensor 2 is within a predetermined distance range. If an obstacle is detected, obstacle detection information is generated, and the obstacle detection information is superimposed on the video signal from the camera 3 and output to the monitor screen of the display monitor 12a. Alternatively, the controller unit 5 includes the detection information of the ultrasonic sensor 2 for obstacle detection and the image information of the camera 3 that displays the periphery of the vehicle, auditory information such as a buzzer sound based on the detection result of the ultrasonic sensor 2, and the vehicle Visual information is generated from the monitor video to alert the driver.

超音波センサ2は、図11(a)(b)に示すように、車両51のコーナのバンパ等に装着され、後方監視用カメラ3は、車両51の後方上部に装着されている。表示モニタ12aのモニタ画面6には、図12に示すように、超音波センサ2による検知情報(検知物体61、検知範囲62、検知距離63)と、車両周辺を映し出すカメラ3による検出した障害物として車両Mの画像とが表示される。このようなモニタ画面6により、画面内のどの位置の障害物を検知していて、どの距離に存在しているかなどについて、運転者が視覚的に、瞬時に車両周辺の安全状況を把握、理解できるとされる(例えば、特許文献1参照)。
特開2004−291784号公報
As shown in FIGS. 11A and 11B, the ultrasonic sensor 2 is attached to a bumper or the like of a corner of the vehicle 51, and the rear monitoring camera 3 is attached to the rear upper part of the vehicle 51. On the monitor screen 6 of the display monitor 12a, as shown in FIG. 12, the detection information (detected object 61, detection range 62, detection distance 63) by the ultrasonic sensor 2 and the obstacle detected by the camera 3 that displays the vehicle periphery are displayed. As an image of the vehicle M. With such a monitor screen 6, the driver visually grasps and understands the safety situation around the vehicle instantaneously, such as at which distance in the screen the obstacle is detected and at which distance. It can be done (see, for example, Patent Document 1).
JP 2004-291784 A

しかしながら、上述した図12や特許文献1に示されるような車両用周辺監視装置においては、車両51後方バンパの左右コーナ部に設けられ超音波センサ2の視野範囲20と、2つの超音波センサ2の間に設けられたカメラ3の視野範囲30との関連性が薄く、車両後方上部に装着された後方監視用カメラ3のカメラ映像では、障害物が画面の端に少しだけしか表示されず、コーナ部の映像が中途半端な状況しか映し出すことができなく、コーナ部周辺の状況がよく見えないという問題がある。この問題を解決するために複数のカメラを装着するとしても、多くの部品が車両表面に搭載されて見栄えが悪くなったり、車両上に搭載位置がなくて搭載できなかったりするので根本的な解決には至らない。   However, in the vehicle periphery monitoring device as shown in FIG. 12 and Patent Document 1 described above, the visual field range 20 of the ultrasonic sensor 2 provided at the left and right corners of the bumper behind the vehicle 51 and the two ultrasonic sensors 2 are provided. In the camera image of the rear monitoring camera 3 attached to the rear upper part of the vehicle, the obstacle is displayed only slightly on the edge of the screen. There is a problem that the corner part image can only be shown in a halfway state and the situation around the corner part cannot be seen well. Even if multiple cameras are installed to solve this problem, many parts are mounted on the surface of the vehicle and it looks bad, or there is no mounting position on the vehicle and it can not be mounted, so it is a fundamental solution It does not lead to.

本発明は、上記課題を解消するものであって、超音波センサとカメラの視野範囲に十分な関連性を備えて車両周辺状況の視認性を向上できると共に車両の見栄えを損なわない車両用周辺監視装置を提供することを目的とする。   The present invention solves the above-mentioned problems, and has a sufficient relevance to the field of view of the ultrasonic sensor and the camera to improve the visibility of the situation around the vehicle and does not impair the appearance of the vehicle. An object is to provide an apparatus.

上記課題を達成するために、請求項1の発明は、車両周辺映像を撮像するカメラと、超音波を送信し障害物からの反射超音波を受信して障害物の検知を行う超音波センサと、を備えた車両用周辺監視装置であって、前記カメラと超音波センサとが対になってハウジング内に収納され、センサ/カメラ部を構成しているものである。   In order to achieve the above object, an invention according to claim 1 includes a camera that captures an image around the vehicle, an ultrasonic sensor that transmits ultrasonic waves and receives reflected ultrasonic waves from obstacles, and detects obstacles. The camera and the ultrasonic sensor are paired and housed in a housing to form a sensor / camera unit.

請求項2の発明は、請求項1に記載の車両用周辺監視装置において、前記カメラ及び超音波センサを制御するコントローラ部を備え、前記コントローラ部は、前記超音波センサが検知した検知情報に基づいて警報信号を出力すると共に、前記検知情報に基づいて当該超音波センサと対になるカメラが撮像した映像出力を制御するものである。   According to a second aspect of the present invention, in the vehicle periphery monitoring device according to the first aspect, the controller includes a controller unit that controls the camera and the ultrasonic sensor, and the controller unit is based on detection information detected by the ultrasonic sensor. And outputting an alarm signal and controlling the video output captured by the camera paired with the ultrasonic sensor based on the detection information.

請求項3の発明は、請求項2に記載の車両用周辺監視装置において、前記コントローラ部は、前記カメラにより撮像された映像を表示するモニタ画面内に、前記超音波センサが検知した検知情報を、該検知情報に対応した表示シンボルに変換して表示させるものである。   According to a third aspect of the present invention, in the vehicle periphery monitoring device according to the second aspect, the controller unit displays detection information detected by the ultrasonic sensor in a monitor screen that displays an image captured by the camera. These are converted into display symbols corresponding to the detection information and displayed.

請求項4の発明は、請求項3に記載の車両用周辺監視装置において、前記センサ/カメラ部は複数個備えられ、前記コントローラ部は、複数の超音波センサが同時に障害物を検知した場合には、モニタ画面を複数に分割すると共に、分割されたそれぞれの画面に該当のカメラ映像と該当の検知情報から変換された表示シンボルとを表示するものである。   According to a fourth aspect of the present invention, in the vehicle periphery monitoring device according to the third aspect, a plurality of the sensor / camera units are provided, and the controller unit is configured to detect an obstacle simultaneously when a plurality of ultrasonic sensors are detected. The monitor screen is divided into a plurality of screens, and the corresponding camera video and the display symbol converted from the corresponding detection information are displayed on each of the divided screens.

請求項5の発明は、請求項2に記載の車両用周辺監視装置において、前記コントローラ部は、モニタ画面の一部に前記検知情報を表示するセンサ情報表示領域を形成すると共に、その他部分に前記センサ/カメラ部のカメラ映像と前記検知情報から変換された表示シンボルとを表示するものである。   According to a fifth aspect of the present invention, in the vehicle periphery monitoring device according to the second aspect, the controller unit forms a sensor information display area for displaying the detection information on a part of a monitor screen, and the other part includes the sensor information display area. The camera image of the sensor / camera unit and the display symbol converted from the detection information are displayed.

請求項1の発明によれば、カメラと超音波センサとがセンサ/カメラ部として一体化されているので、カメラと超音波センサによって略同一の視野範囲の車両周辺状況を把握でき、周辺監視が容易となる。また、カメラと超音波センサとが一体化されているので、各部を個別に取り付ける場合に比べて車両への取付が容易であり、かつ車両外見上の見栄えを損なうことがない。例えば、センサ/カメラ部を車両コーナの、例えばバンパに容易に装着することができ、車両コーナ部の周辺状況を重点的に監視することができる。従って、多くの部品が車両表面に搭載されては見栄えが悪い、また、車両搭載に際して搭載位置がない、などという問題を解決できる。   According to the first aspect of the present invention, since the camera and the ultrasonic sensor are integrated as a sensor / camera unit, the camera and the ultrasonic sensor can grasp the vehicle peripheral situation in substantially the same visual field range, and the peripheral monitoring can be performed. It becomes easy. In addition, since the camera and the ultrasonic sensor are integrated, attachment to the vehicle is easier than when each part is attached individually, and the appearance of the vehicle is not impaired. For example, the sensor / camera unit can be easily mounted on a vehicle corner, for example, a bumper, and the surrounding situation of the vehicle corner unit can be monitored with priority. Therefore, it is possible to solve problems such as poor appearance when many parts are mounted on the surface of the vehicle, and no mounting position when mounting the vehicle.

請求項2の発明によれば、超音波センサの検知情報に基づいて警報出力や映像出力が成されるので、カメラの撮像範囲と超音波センサによる障害物監視範囲とを関連づけて同一領域を監視するようにできる。そこで、車両用周辺監視装置を利用する車両の運転者は、表示モニタ内に映し出される映像と検知情報とにより障害物等の危険状況を正しく把握できる。   According to the invention of claim 2, since alarm output and video output are made based on detection information of the ultrasonic sensor, the same area is monitored by associating the imaging range of the camera with the obstacle monitoring range by the ultrasonic sensor. You can do that. Therefore, the driver of the vehicle using the vehicle periphery monitoring device can correctly grasp the dangerous situation such as an obstacle from the image displayed on the display monitor and the detection information.

請求項3の発明によれば、検知情報を、検知情報(例えば、障害物を検知した検知範囲、検知距離)に対応して変換した所定の表示シンボル(面、囲み線など)によって、対応する映像と共に視認できるので、車両用周辺監視装置を利用する運転者にとって、車両周辺状況の判断が容易かつ確実となる。   According to invention of Claim 3, detection information respond | corresponds with the predetermined | prescribed display symbol (a surface, a surrounding line, etc.) converted corresponding to detection information (For example, the detection range and detection distance which detected the obstruction). Since it can be visually recognized together with the video, it is easy and reliable for the driver using the vehicle periphery monitoring device to determine the vehicle periphery state.

請求項4の発明によれば、複数の分割画面に表示された情報により、車両用周辺監視装置を利用する運転者が、車両周辺の複数箇所の状況を一括して、容易かつ確実に把握できる。   According to the invention of claim 4, the driver using the vehicle periphery monitoring device can easily and surely grasp the situation of a plurality of locations around the vehicle from the information displayed on the plurality of divided screens. .

請求項5の発明によれば、映像領域における映像やシンボルの画像情報に加えて、センサ情報表示領域に、例えば、障害物についての数値情報を表示できるので、車両周辺の状況を数値的に把握できる。   According to the invention of claim 5, in addition to the image information of the video and symbols in the video area, for example, numerical information about the obstacle can be displayed in the sensor information display area, so the situation around the vehicle can be grasped numerically. it can.

以下、本発明の一実施形態に係る車両用周辺監視装置について、図面を参照して説明する。図1は車両用周辺監視装置1のブロック構成を示し、図2(a)(b)は同装置に用いられるセンサ/カメラ部4を示し、図3(a)(b)は車両51に搭載したセンサ/カメラ部4の視野範囲を模式的に示す。車両用周辺監視装置1は、車両に搭載して用いられ、これを車載した車両の運転手に、自車両周辺の画像情報(視界情報)や障害物検知情報を視覚的及び聴覚的に提示し、運転手の車両運転を支援する。車両用周辺監視装置1は、図1に示すように、超音波を送信し障害物からの反射超音波を受信して障害物の検知を行う超音波センサ2、及び車両周辺映像を撮像するカメラ3を対にしてハウジング内に収納したセンサ/カメラ部4と、超音波センサ2及びカメラ3を制御するコントローラ部5と、を備えている。   Hereinafter, a vehicle periphery monitoring device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a block configuration of a vehicle periphery monitoring device 1, FIGS. 2A and 2B show a sensor / camera unit 4 used in the device, and FIGS. 3A and 3B are mounted on a vehicle 51. The field-of-view range of the sensor / camera unit 4 is schematically shown. The vehicle periphery monitoring device 1 is used by being mounted on a vehicle, and visually and audibly presents image information (visual field information) and obstacle detection information around the vehicle to a driver of the vehicle on the vehicle. Assist the driver in driving the vehicle. As shown in FIG. 1, the vehicle periphery monitoring apparatus 1 includes an ultrasonic sensor 2 that transmits ultrasonic waves and receives reflected ultrasonic waves from obstacles to detect obstacles, and a camera that captures vehicle peripheral images. A sensor / camera unit 4 housed in a housing with a pair 3 and a controller unit 5 for controlling the ultrasonic sensor 2 and the camera 3 are provided.

コントローラ部5は、超音波センサ2、カメラ3、車両の操舵角や走行速度などの車両状態信号を出力する車両信号部14、映像出力を映し出す表示モニタ12a、及び、ブザー音などを発報する警報発声用のスピーカ13aと接続されている。   The controller unit 5 issues an ultrasonic sensor 2, a camera 3, a vehicle signal unit 14 that outputs a vehicle state signal such as a steering angle and a traveling speed of the vehicle, a display monitor 12a that displays a video output, and a buzzer sound. It is connected to a speaker 13a for alerting.

また、コントローラ部5は、超音波センサ2に接続されて超音波センサ2の送受信を制御する送受信回路11と、カメラ3からの映像信号を受信して表示モニタ12aに出力する映像コントロール回路12と、スピーカ13aに警報信号を出力するブザー出力回路13と、これらの回路11,12,13、及び車両信号部14の制御と信号入出力を行う中央制御部10と、を備えて構成されている。中央制御部10は、マイクロプロセッシングユニット(MPU)やメモリ等を用いて構成される。   The controller unit 5 is connected to the ultrasonic sensor 2 and controls a transmission / reception circuit 11 that controls transmission / reception of the ultrasonic sensor 2, and a video control circuit 12 that receives a video signal from the camera 3 and outputs the video signal to the display monitor 12a. The buzzer output circuit 13 that outputs an alarm signal to the speaker 13a, and the central control unit 10 that controls these signals 11, 12, and 13 and the vehicle signal unit 14 and performs signal input / output are configured. . The central control unit 10 is configured using a microprocessing unit (MPU), a memory, and the like.

上述のコントローラ部5は、超音波センサ2が検知した検知情報に基づいて警報信号をスピーカ13aに出力すると共に、検知情報に基づいて障害物を検知した超音波センサ2と対になるカメラ3が撮像した映像出力を制御して表示モニタ12aに出力する。   The controller 5 described above outputs an alarm signal to the speaker 13a based on the detection information detected by the ultrasonic sensor 2, and the camera 3 paired with the ultrasonic sensor 2 that detects an obstacle based on the detection information. The captured video output is controlled and output to the display monitor 12a.

また、上述のセンサ/カメラ部4は、図2(a)(b)に示すように、超音波センサ2とカメラ3を対にしてハウジング40内に収納した構成になっている。超音波センサ2は、例えば、圧電型超音波マイクロフォンであって、大略有底円筒形の振動ケース21と、振動ケース21の底部の内側に接着配置した圧電振動素子22と、振動ケース21の内側空間部に充填された緩衝材24と、圧電振動素子22と外部の電気接続用のリード線23と、を備えている。このような超音波センサ2は、保持ゴム25によって外周を保持した状態でハウジング40内に収納されている。   Further, as shown in FIGS. 2A and 2B, the above-described sensor / camera unit 4 has a configuration in which the ultrasonic sensor 2 and the camera 3 are housed in a housing 40 as a pair. The ultrasonic sensor 2 is, for example, a piezoelectric ultrasonic microphone. The vibration case 21 has a generally bottomed cylindrical shape, the piezoelectric vibration element 22 that is bonded and arranged inside the bottom of the vibration case 21, and the inside of the vibration case 21. A buffer member 24 filled in the space, a piezoelectric vibration element 22 and an external electrical connection lead wire 23 are provided. Such an ultrasonic sensor 2 is accommodated in the housing 40 with the outer periphery held by the holding rubber 25.

ハウジング40には、レンズ31と撮像素子部32から成るカメラ3と、上述の超音波センサ2と、電子回路41と、が内蔵され、ハウジング内外を接続するコネクタ42が外設されている。超音波センサ2及びカメラ3と、コントローラ部5との電気信号の授受は、コネクタ42を介してが行われる。超音波センサ2の送受波面とカメラ3の受光面とは、略同一の視野角度範囲を臨むように同一方向に向けて配置されている。   The housing 40 incorporates the camera 3 including the lens 31 and the image pickup device 32, the above-described ultrasonic sensor 2, and the electronic circuit 41, and is provided with a connector 42 for connecting the inside and outside of the housing. Electric signals are exchanged between the ultrasonic sensor 2 and the camera 3 and the controller unit 5 through the connector 42. The wave transmitting / receiving surface of the ultrasonic sensor 2 and the light receiving surface of the camera 3 are arranged in the same direction so as to face substantially the same viewing angle range.

このようなセンサ/カメラ部4によれば、超音波センサ2とカメラ3とが一体化されているので、図3(a)(b)に示すように、カメラ3の視野範囲30の中に、超音波センサ2の視野範囲20を内包するようにできる。従って、超音波センサ2とカメラ3とによって略同一の視野範囲の車両周辺状況を把握でき、周辺監視が容易となる。   According to such a sensor / camera unit 4, since the ultrasonic sensor 2 and the camera 3 are integrated, as shown in FIGS. The visual field range 20 of the ultrasonic sensor 2 can be included. Therefore, it is possible to grasp the vehicle surroundings in the substantially same visual field range by the ultrasonic sensor 2 and the camera 3, and the surrounding monitoring becomes easy.

また、超音波センサ2とカメラ3とが一体化されているので、各部を個別に取り付ける場合に比べて車両51への取付が容易であり、かつ車両外見上の見栄えを損なうことがない。例えば、センサ/カメラ部4を車両コーナの、例えばバンパに容易に装着することができ、車両コーナ部の周辺状況を重点的に監視することができる。従って、多くの部品が車両表面に搭載されては見栄えが悪い、また、車両搭載に際して搭載位置がない、などという問題を解決できる。また、超音波センサ2とカメラ3の視野範囲の調整が、車両取り付け前に、事前にできるので、この点でも取付がより容易となる。   In addition, since the ultrasonic sensor 2 and the camera 3 are integrated, it is easier to attach to the vehicle 51 than when each part is individually attached, and the appearance of the vehicle is not impaired. For example, the sensor / camera unit 4 can be easily attached to a vehicle corner, for example, a bumper, and the surrounding situation of the vehicle corner unit can be monitored with priority. Therefore, it is possible to solve problems such as poor appearance when many parts are mounted on the surface of the vehicle, and no mounting position when mounting the vehicle. Moreover, since the adjustment of the visual field range of the ultrasonic sensor 2 and the camera 3 can be performed in advance before mounting the vehicle, the mounting becomes easier in this respect as well.

センサ/カメラ部4は、車両周辺部に容易に搭載できるが、図3(a)(b)の例では、車両後方バンパの左右コーナ部に装着されている。バンパコーナ部に設置したセンサ/カメラ部4のカメラ3の撮像範囲は、コーナ部の周辺の状況を重点的に見るようにでき、また、超音波センサ2による障害物監視範囲も略同一の領域を監視するようにできる。   The sensor / camera unit 4 can be easily mounted on the periphery of the vehicle, but is mounted on the left and right corners of the vehicle rear bumper in the examples of FIGS. The imaging range of the camera 3 of the sensor / camera unit 4 installed in the bumper corner unit can focus on the situation around the corner unit, and the obstacle monitoring range by the ultrasonic sensor 2 is substantially the same region. It can be monitored.

次に、図4、図5、図6を参照して、上述のセンサ/カメラ部4を備えた車両用周辺監視装置1の表示モニタ12aに表示されるモニタ画面6を説明する。図4に示すモニタ画面6は、例えば、後方バンパに設置したセンサ/カメラ部4の超音波センサ2が、車両を後退させている最中に後方に位置する車両Mを障害物として検知したときのカメラ3による映像を示す。車両用周辺監視装置1のコントローラ部5は、超音波センサ2が検知した検知情報に基づいてスピーカ13aに警報信号を出力すると共に、検知情報に基づいて超音波センサ2と対になるカメラ3が撮像した映像信号を表示モニタ12aに出力する。   Next, the monitor screen 6 displayed on the display monitor 12a of the vehicle periphery monitoring device 1 provided with the sensor / camera unit 4 will be described with reference to FIGS. The monitor screen 6 shown in FIG. 4 is displayed when, for example, the ultrasonic sensor 2 of the sensor / camera unit 4 installed in the rear bumper detects the vehicle M positioned rearward as an obstacle while the vehicle is moving backward. The image by the camera 3 is shown. The controller 5 of the vehicle periphery monitoring device 1 outputs an alarm signal to the speaker 13a based on the detection information detected by the ultrasonic sensor 2, and the camera 3 paired with the ultrasonic sensor 2 based on the detection information. The captured video signal is output to the display monitor 12a.

表示モニタ12aのモニタ画面6には、検出した車両Mの画像と、超音波センサ2による検知情報である検知範囲62及び検知距離63を表すシンボルが、共に画面範囲W1の全体に表示されている。超音波センサ2とカメラ3が、一体となって車両コーナのバンパに装着できるので、カメラ3の撮像範囲と、超音波センサ2による障害物監視範囲と、を略一致させることができ、同一の領域を容易に監視できる。カメラ3の撮像範囲が、車両コーナ部の周辺の状況を重点的に見るように設定されているとき、超音波センサ2が、この領域に障害物を検知したときに、例えば、静粛な環境において、警報信号を出力することなくカメラ3からの映像をモニタ画面6に映し出すだけでも、運転者に充分な喚起ができるようになる。   On the monitor screen 6 of the display monitor 12a, the detected image of the vehicle M and symbols representing the detection range 62 and the detection distance 63, which are detection information by the ultrasonic sensor 2, are displayed on the entire screen range W1. . Since the ultrasonic sensor 2 and the camera 3 can be integrally mounted on the bumper of the vehicle corner, the imaging range of the camera 3 and the obstacle monitoring range by the ultrasonic sensor 2 can be substantially matched, and the same The area can be easily monitored. When the imaging range of the camera 3 is set so as to focus on the situation around the vehicle corner, when the ultrasonic sensor 2 detects an obstacle in this area, for example, in a quiet environment The driver can be sufficiently alerted by merely displaying the image from the camera 3 on the monitor screen 6 without outputting an alarm signal.

上述のモニタ画面6は、1つのセンサ/カメラ部4による検知情報と映像を表示したものであるが、図5に示すように、複数のセンサ/カメラ部4からの出力を表示することもできる。車両コーナ部に装着されている複数個のセンサ/カメラ部4のカメラ3の映像は、複数個の超音波センサ2が同時に障害物を検知した場合には、表示モニタ12aのモニタ画面6を該当する複数個に分割し、分割したそれぞれの画面範囲W1,W2の領域に該当のカメラ映像と該当の検知情報を表示する。検知情報は、表示シンボル(面、囲み線など)に変換して、検知範囲62、検知距離63、検知物体61のように表示する。   The monitor screen 6 described above displays detection information and video from one sensor / camera unit 4, but can also display outputs from a plurality of sensors / camera units 4 as shown in FIG. . The images of the cameras 3 of the plurality of sensors / camera units 4 mounted on the vehicle corner portion correspond to the monitor screen 6 of the display monitor 12a when the plurality of ultrasonic sensors 2 detect an obstacle at the same time. The corresponding camera image and the corresponding detection information are displayed in the divided areas of the screen ranges W1 and W2. The detection information is converted into a display symbol (surface, outline, etc.) and displayed as a detection range 62, a detection distance 63, and a detection object 61.

このように、複数の検知情報を画像と共に統合して、1つのモニタ画面6に表示されるので、運転者に充分な注意喚起をすることができる。また、検知情報を、検知情報、例えば、障害物を検知した検知範囲、検知距離に対応して変換した所定の表示シンボル(面、囲み線など)によって、対応する映像と共に視認できるので、車両用周辺監視装置1を利用する運転者にとって、複数の分割画面に表示された情報により、車両周辺の複数箇所の状況を一括して、容易かつ確実に把握でき、車両周辺状況の判断が容易かつ確実となる。   As described above, since a plurality of pieces of detection information are integrated together with the image and displayed on one monitor screen 6, it is possible to alert the driver sufficiently. In addition, since the detection information can be visually recognized together with the corresponding image by a predetermined display symbol (surface, encircling line, etc.) converted corresponding to the detection information, for example, the detection range where the obstacle is detected and the detection distance, For the driver who uses the periphery monitoring device 1, the information displayed on the plurality of divided screens can easily and reliably grasp the situation at a plurality of locations around the vehicle, and the judgment of the vehicle surrounding situation is easy and reliable. It becomes.

また、モニタ画面6は、図6に示すように、モニタ画面を2分割し、一方の画面(画面範囲W1)には、車両コーナ部に装着されている複数個のセンサ/カメラ部4のカメラ映像と該当の検知情報に対応する表示シンボルに変換して表示し、他方の画面(画面範囲W0)には、センサ情報を表示するようにもできる。これらの表示制御は、上述したようにコントローラ部5が行う。図6に示した例では、他方の画面であるセンサ情報表示領域には、車両の平面見取りとセンサ配置51、及びセンサ数値情報64が表示されている。   Further, as shown in FIG. 6, the monitor screen 6 is divided into two, and one of the screens (screen range W1) has a plurality of sensors / camera units 4 mounted on the vehicle corner. It is possible to convert the image into display symbols corresponding to the image and the corresponding detection information, and display the sensor information on the other screen (screen range W0). These display controls are performed by the controller unit 5 as described above. In the example shown in FIG. 6, the plan view of the vehicle, sensor arrangement 51, and sensor numerical information 64 are displayed in the sensor information display area which is the other screen.

上述のセンサ情報の表示(車両平面図の左後方に点滅表示)によると、一方の画面に表示されているカメラ映像と表示シンボルは、車両左後方を示していることが分かる。このように、表示モニタ12aのモニタ画面6に表示された映像が、車両のどのコーナ部分であるかを容易に認識し判断することができるので、運転者に充分な注意喚起ができる。また、数値情報により車両周辺の状況を数値的に把握できる。   According to the display of the sensor information (flashing display on the left rear of the vehicle plan view), it can be seen that the camera image and the display symbol displayed on one screen indicate the left rear of the vehicle. As described above, since the image displayed on the monitor screen 6 of the display monitor 12a can easily recognize and determine which corner portion of the vehicle, sufficient attention can be given to the driver. Moreover, the situation around the vehicle can be grasped numerically by the numerical information.

次に、図7、図8(a)(b)、図9を参照して、本発明の他の実施形態に係る車両用周辺監視装置1を説明する。この車両用周辺監視装置1は、図1に示した車両用周辺監視装置1にカメラ3(後方監視用カメラ3)を追加したものである。後方監視用カメラ3は、車両51の後方上部に装着されている。この追加したカメラ3は、後方バンパのコーナ部にコーナ周辺近傍を監視するように設けられた左右のセンサ/カメラ部4の間に配置されている。後方監視用カメラ3の視野範囲30は、センサ/カメラ部4のカメラの視野範囲30を補完するものであり、これにより、車線後方の比較的遠方を監視することができる。   Next, a vehicle periphery monitoring device 1 according to another embodiment of the present invention will be described with reference to FIGS. 7, 8 (a), 8 (b), and 9. This vehicle periphery monitoring device 1 is obtained by adding a camera 3 (rear monitoring camera 3) to the vehicle periphery monitoring device 1 shown in FIG. The rear monitoring camera 3 is attached to the rear upper part of the vehicle 51. The added camera 3 is disposed between the left and right sensor / camera units 4 provided to monitor the vicinity of the corner periphery of the corner portion of the rear bumper. The field-of-view range 30 of the rear monitoring camera 3 complements the field-of-view range 30 of the camera of the sensor / camera unit 4, so that it is possible to monitor relatively far behind the lane.

上述の後方監視用カメラ3を備えた車両用周辺監視装置1においては、図9に示すように、車両51のコーナ部に装着されているセンサ/カメラ部4の超音波センサ2の検知結果に基づいて映し出される各センサ2と対となるカメラ3の画面範囲W1,W3における映像、及び、該当センサ2の検知情報に対応する、同じ画面範囲W1,W3における表示シンボル61,62,63に加えて、車両51の後方上部に装着された後方監視用カメラ3の画面範囲W2における映像が、モニタ画面6に表示される。このように、車両51後方の全体の映像、及び、注意を喚起すべき車両51コーナ部の映像が、モニタ画面6に統合して映し出されるので、運転者に充分な注意喚起ができるようになる。   In the vehicle periphery monitoring device 1 provided with the rear monitoring camera 3 described above, the detection result of the ultrasonic sensor 2 of the sensor / camera unit 4 attached to the corner of the vehicle 51 is shown in FIG. In addition to the display symbols 61, 62, 63 in the same screen range W 1, W 3 corresponding to the video in the screen range W 1, W 3 of the camera 3 that is paired with each sensor 2 displayed on the basis, and the detection information of the corresponding sensor 2 Thus, an image in the screen range W <b> 2 of the rear monitoring camera 3 mounted on the rear upper part of the vehicle 51 is displayed on the monitor screen 6. As described above, the entire image behind the vehicle 51 and the image of the vehicle 51 corner portion to be alerted are integrated and displayed on the monitor screen 6, so that the driver can be alerted sufficiently. .

なお、本発明は、上記構成に限られることなく種々の変形が可能である。上記説明では、センサ/カメラ部4を車両後方に2つ備えた例を示したが、センサ/カメラ部4の個数は1つでもよく、また、2つより多くてもよい。また、センサ/カメラ部4を設置して監視する場所は、車両の後方の他に、車両前方、車両側方、車両上方などでもよい。   The present invention is not limited to the above-described configuration, and various modifications can be made. In the above description, an example in which two sensor / camera units 4 are provided on the rear side of the vehicle is shown, but the number of sensor / camera units 4 may be one or more than two. In addition to the rear of the vehicle, the place where the sensor / camera unit 4 is installed may be the front of the vehicle, the side of the vehicle, the upper side of the vehicle, or the like.

本発明の一実施形態に係る車両用周辺監視装置のブロック構成図。The block block diagram of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. (a)は同上装置に用いられるセンサ/カメラ部の平面図、(b)は同断面図。(A) is a top view of the sensor / camera part used for an apparatus same as the above, (b) is the same sectional drawing. 同上装置のセンサ/カメラ部のセンサ及びカメラの水平方向の視野範囲を模式的に示す車両の平面図、(b)は同垂直方向の視野範囲を模式的に示す車両の側面図。The top view of the vehicle which shows typically the visual field range of the horizontal direction of the sensor / camera part sensor and camera of an apparatus same as the above, (b) is a side view of the vehicle schematically showing the visual field range of the vertical direction. 同上装置によるモニタ画面表示の例を示す図。The figure which shows the example of the monitor screen display by an apparatus same as the above. 同上装置によるモニタ画面表示の他の例を示す図。The figure which shows the other example of the monitor screen display by an apparatus same as the above. 同上装置によるモニタ画面表示のさらに他の例を示す図。The figure which shows the further another example of the monitor screen display by an apparatus same as the above. 本発明の他の実施形態に係る車両用周辺監視装置のブロック構成図。The block block diagram of the vehicle periphery monitoring apparatus which concerns on other embodiment of this invention. (a)は同上装置の各センサ及びカメラの水平方向の視野範囲を模式的に示す車両の平面図、(b)は同垂直方向の視野範囲を模式的に示す車両の側面図。(A) is a top view of the vehicle which shows typically the visual field range of the horizontal direction of each sensor and camera of an apparatus same as the above, (b) is a side view of the vehicle which shows the visual field range of the vertical direction typically. 同上装置によるモニタ画面表示の例を示す図。The figure which shows the example of the monitor screen display by an apparatus same as the above. 従来の車両用周辺監視装置のブロック構成図。The block block diagram of the conventional vehicle periphery monitoring apparatus. (a)は同上従来の装置のセンサ及びカメラの水平方向の視野範囲を模式的に示す車両の平面図、(b)は同垂直方向の視野範囲を模式的に示す車両の側面図。(A) is a top view of the vehicle which shows typically the visual field range of the horizontal direction of the sensor and camera of a conventional apparatus same as the above, (b) is a side view of the vehicle which shows the visual field range of the vertical direction schematically. 同上従来の装置によるモニタ画面表示の例を示す図。The figure which shows the example of the monitor screen display by a conventional apparatus same as the above.

符号の説明Explanation of symbols

1 車両用周辺監視装置
2 センサ
3 カメラ
4 センサ/カメラ部
5 コントローラ部
6 モニタ画面
61 表示シンボル
DESCRIPTION OF SYMBOLS 1 Vehicle periphery monitoring apparatus 2 Sensor 3 Camera 4 Sensor / camera part 5 Controller part 6 Monitor screen 61 Display symbol

Claims (5)

車両周辺映像を撮像するカメラと、超音波を送信し障害物からの反射超音波を受信して障害物の検知を行う超音波センサと、を備えた車両用周辺監視装置であって、
前記カメラと超音波センサとが対になってハウジング内に収納され、センサ/カメラ部を構成していることを特徴とする車両用周辺監視装置。
A vehicle periphery monitoring device comprising: a camera that captures a vehicle peripheral image; and an ultrasonic sensor that transmits ultrasonic waves and receives reflected ultrasonic waves from obstacles to detect obstacles,
A vehicle periphery monitoring apparatus, wherein the camera and the ultrasonic sensor are housed in a housing in a pair to constitute a sensor / camera unit.
前記カメラ及び超音波センサを制御するコントローラ部を備え、
前記コントローラ部は、前記超音波センサが検知した検知情報に基づいて警報信号を出力すると共に、前記検知情報に基づいて当該超音波センサと対になるカメラが撮像した映像出力を制御することを特徴とする請求項1に記載の車両用周辺監視装置。
A controller unit for controlling the camera and the ultrasonic sensor;
The controller unit outputs an alarm signal based on detection information detected by the ultrasonic sensor, and controls video output captured by a camera paired with the ultrasonic sensor based on the detection information. The vehicle periphery monitoring device according to claim 1.
前記コントローラ部は、前記カメラにより撮像された映像を表示するモニタ画面内に、前記超音波センサが検知した検知情報を、該検知情報に対応した表示シンボルに変換して表示させることを特徴とする請求項2に記載の車両用周辺監視装置。   The controller unit converts the detection information detected by the ultrasonic sensor into a display symbol corresponding to the detection information and displays the detection information in a monitor screen that displays an image captured by the camera. The vehicle periphery monitoring device according to claim 2. 前記センサ/カメラ部は複数個備えられ、前記コントローラ部は、複数の超音波センサが同時に障害物を検知した場合には、モニタ画面を複数に分割すると共に、分割されたそれぞれの画面に該当のカメラ映像と該当の検知情報から変換された表示シンボルとを表示することを特徴とする請求項3に記載の車両用周辺監視装置。   A plurality of the sensor / camera units are provided, and the controller unit divides the monitor screen into a plurality of screens when a plurality of ultrasonic sensors detect an obstacle at the same time, and applies to each of the divided screens. 4. The vehicle periphery monitoring device according to claim 3, wherein a camera image and a display symbol converted from the corresponding detection information are displayed. 前記コントローラ部は、モニタ画面の一部に前記検知情報を表示するセンサ情報表示領域を形成すると共に、その他部分に前記センサ/カメラ部のカメラ映像と前記検知情報から変換された表示シンボルとを表示することを特徴とする請求項2に記載の車両用周辺監視装置。   The controller unit forms a sensor information display area for displaying the detection information on a part of the monitor screen, and displays a camera image of the sensor / camera unit and a display symbol converted from the detection information on the other part. The vehicle periphery monitoring device according to claim 2, wherein:
JP2005330015A 2005-11-15 2005-11-15 Periphery monitoring device for vehicle Pending JP2007137111A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005330015A JP2007137111A (en) 2005-11-15 2005-11-15 Periphery monitoring device for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005330015A JP2007137111A (en) 2005-11-15 2005-11-15 Periphery monitoring device for vehicle

Publications (1)

Publication Number Publication Date
JP2007137111A true JP2007137111A (en) 2007-06-07

Family

ID=38200519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005330015A Pending JP2007137111A (en) 2005-11-15 2005-11-15 Periphery monitoring device for vehicle

Country Status (1)

Country Link
JP (1) JP2007137111A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2459680A (en) * 2008-04-30 2009-11-04 Shih-Hsiung Li Parking sensor that indicates distance information when no obstacle is detected
GB2459889A (en) * 2008-05-08 2009-11-11 Shih-Hsiung Li Vehicle auxiliary device comprising multiple cameras and ultrasonic transducers on the front and rear of the vehicle
JP2014183497A (en) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd Periphery monitoring apparatus for working machine
WO2018051910A1 (en) * 2016-09-15 2018-03-22 株式会社小糸製作所 Illuminating system
KR20180113020A (en) * 2017-04-05 2018-10-15 엘지이노텍 주식회사 Blind spot display apparatus and method for vehicle
WO2019065410A1 (en) * 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 Vehicle-detecting system
US11181618B2 (en) 2017-02-20 2021-11-23 Mitsubishi Electric Corporation Sensor data integration device, sensor data integration method and computer readable medium
CN114312846A (en) * 2022-01-11 2022-04-12 株式会社Iat Obstacle recognition method based on automatic driving vehicle and automatic driving vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256876B2 (en) * 1983-02-07 1990-12-03 Honda Motor Co Ltd
JP2004026012A (en) * 2002-06-25 2004-01-29 Auto Network Gijutsu Kenkyusho:Kk Device for visual recognition around vehicle
JP2005045602A (en) * 2003-07-23 2005-02-17 Matsushita Electric Works Ltd Field of view monitor system for vehicle
JP2005159541A (en) * 2003-11-21 2005-06-16 Sanyo Electric Co Ltd On-vehicle imaging apparatus
JP2007106198A (en) * 2005-10-12 2007-04-26 Mitsuba Corp Vehicle periphery monitor device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256876B2 (en) * 1983-02-07 1990-12-03 Honda Motor Co Ltd
JP2004026012A (en) * 2002-06-25 2004-01-29 Auto Network Gijutsu Kenkyusho:Kk Device for visual recognition around vehicle
JP2005045602A (en) * 2003-07-23 2005-02-17 Matsushita Electric Works Ltd Field of view monitor system for vehicle
JP2005159541A (en) * 2003-11-21 2005-06-16 Sanyo Electric Co Ltd On-vehicle imaging apparatus
JP2007106198A (en) * 2005-10-12 2007-04-26 Mitsuba Corp Vehicle periphery monitor device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2459680A (en) * 2008-04-30 2009-11-04 Shih-Hsiung Li Parking sensor that indicates distance information when no obstacle is detected
GB2459889A (en) * 2008-05-08 2009-11-11 Shih-Hsiung Li Vehicle auxiliary device comprising multiple cameras and ultrasonic transducers on the front and rear of the vehicle
GB2459889B (en) * 2008-05-08 2010-02-24 Shih-Hsiung Li Vehicle auxiliary device
JP2014183497A (en) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd Periphery monitoring apparatus for working machine
WO2018051910A1 (en) * 2016-09-15 2018-03-22 株式会社小糸製作所 Illuminating system
CN109715442A (en) * 2016-09-15 2019-05-03 株式会社小糸制作所 Lighting system
JPWO2018051910A1 (en) * 2016-09-15 2019-06-24 株式会社小糸製作所 Lighting system
US10913386B2 (en) 2016-09-15 2021-02-09 Koito Manufacturing Co., Ltd. Lighting system
US11181618B2 (en) 2017-02-20 2021-11-23 Mitsubishi Electric Corporation Sensor data integration device, sensor data integration method and computer readable medium
KR102285424B1 (en) 2017-04-05 2021-08-04 엘지이노텍 주식회사 Blind spot display apparatus and method for vehicle
KR20180113020A (en) * 2017-04-05 2018-10-15 엘지이노텍 주식회사 Blind spot display apparatus and method for vehicle
WO2019065410A1 (en) * 2017-09-29 2019-04-04 日立オートモティブシステムズ株式会社 Vehicle-detecting system
JPWO2019065410A1 (en) * 2017-09-29 2020-10-15 日立オートモティブシステムズ株式会社 Vehicle detection system
CN114312846A (en) * 2022-01-11 2022-04-12 株式会社Iat Obstacle recognition method based on automatic driving vehicle and automatic driving vehicle

Similar Documents

Publication Publication Date Title
JP2007137111A (en) Periphery monitoring device for vehicle
US7079017B2 (en) Warning device in motor vehicles
JP5177515B2 (en) Peripheral recognition support system
JP2001063500A (en) Monitoring device for obstacle around vehicle
JP3559083B2 (en) Driving support device
JP2014033448A (en) Mirror alternative system for vehicle
US20180335503A1 (en) Vehicle system using mems microphone module
WO2007015446A1 (en) Device for monitoring around vehicle and method for monitoring around vehicle
CN102371944A (en) Driveer vision support system and vehicle including the system
WO2014021332A1 (en) Warning device for vehicle and outside mirror device for vehicle
US20100253780A1 (en) Vehicle auxiliary device
TWI557003B (en) Image based intelligent security system for vehicle combined with sensor
CN113329913A (en) Driving support device
JPH11321494A (en) Rear side watching device
JP5196920B2 (en) Vehicle intrusion warning device
KR101179326B1 (en) Vehicle rear monitering apparatus
KR20100076479A (en) Warning system for crash and control method of warning system for crash
JP2012090087A (en) Driving assist apparatus using vehicle periphery image
JP2008158963A (en) Vehicle surrounding detecting system
JP3159466U (en) Wisdom type alarm system combining bird&#39;s-eye view and back radar
JP2017073040A (en) Visual recognition device for vehicle and visual recognition control program for vehicle
KR20050026280A (en) Rear monitoring apparatus of a vehicle
JP3922201B2 (en) In-vehicle visibility monitor system
KR20180074093A (en) System for providing around view image
JP2004130893A (en) Vehicular obstacle detection confirmation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080723

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080909