JPH10117340A - Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display method - Google Patents
Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display methodInfo
- Publication number
- JPH10117340A JPH10117340A JP8270343A JP27034396A JPH10117340A JP H10117340 A JPH10117340 A JP H10117340A JP 8270343 A JP8270343 A JP 8270343A JP 27034396 A JP27034396 A JP 27034396A JP H10117340 A JPH10117340 A JP H10117340A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- image
- obstacle
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車両周辺監視装
置、この車両周辺監視装置に用いられる警報表示方法、
及びこの警報表示方法を記憶した媒体に関し、特に、バ
スやトラック等の車両に設置され車両の周辺における監
視領域の画像を撮像し、撮像された画像に基づいて車両
の周辺を監視する車両周辺監視装置、この車両周辺監視
装置を用いて、周辺監視時に警報を発すべき障害物の運
転手や作業員への表示方法、及びこの警報表示方法を記
憶した、車両周辺監視装置を制御するコンピュータで読
み取り可能な媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle periphery monitoring device, an alarm display method used in the vehicle periphery monitoring device,
And a medium storing the alarm display method, in particular, a vehicle periphery monitor that is installed in a vehicle such as a bus or a truck, captures an image of a monitoring area around the vehicle, and monitors the periphery of the vehicle based on the captured image. Device, a method for displaying an obstacle to be alerted at the time of surrounding monitoring to a driver or a worker by using the vehicle surroundings monitoring device, and a computer for controlling the vehicle surroundings monitoring device which stores the warning displaying method. Regarding possible media.
【０００２】[0002]
【従来の技術】図５は、従来の車両周辺監視装置、この
装置に用いられる警報表示方法を説明するための機能ブ
ロック図である。2. Description of the Related Art FIG. 5 is a functional block diagram for explaining a conventional vehicle periphery monitoring device and an alarm display method used in the device.
【０００３】従来この種の車両周辺監視装置としては、
例えば、図５に示すように、特開平７−２５０３１９号
公報（発明の名称：車両周辺監視装置、出願日：１９９
４年３月１４日）に開示された技術がある。Conventionally, this type of vehicle periphery monitoring device includes:
For example, as shown in FIG. 5, Japanese Unexamined Patent Publication No. 7-250319 (Title of Invention: Vehicle Perimeter Monitoring Device, Filing Date: 199)
(March 14, 4).
【０００４】すなわち、図５に示すように、車両周辺監
視装置Ａは、２台の撮影手段により得られた画像データ
に基づいて車両周辺を監視するものであって、撮像手段
により出力された画像信号を記録するメモリ（右）１及
びメモリ（左）２と、メモリ１（２）の記録画像の歪曲
収差を補正するための歪曲収差補正手段７と、メモリの
一方１（２）に記録画像を高さ０と仮定し、この画像を
他方のメモリ２（１）に投影した投影画像を作成し、投
影画像と他方のメモリ２（１）の画像データとの差より
路面上の画像を除去する路面画像除去手段３と、他方の
メモリ２（１）の水平方向の微分値と路面画像除去手段
３より出力される画像データより物体のエッジを検出す
る物体エッジ検出手段４と、メモリ１（２）の画像デー
タ及び物体エッジ検出手段４より出力される画像データ
より障害物の位置を算出する物***置算出手段５と、物
***置算出手段により算出された位置データに基づいて
警報を出力する警報手段６とを有していた。That is, as shown in FIG. 5, a vehicle periphery monitoring device A monitors the periphery of a vehicle based on image data obtained by two photographing means. A memory (right) 1 and a memory (left) 2 for recording signals, a distortion correction unit 7 for correcting distortion of a recorded image in the memory 1 (2), and a recorded image in one of the memories 1 (2) Is assumed to have a height of 0, a projected image is created by projecting this image to the other memory 2 (1), and the image on the road surface is removed from the difference between the projected image and the image data of the other memory 2 (1). Road surface image removing means 3, an object edge detecting means 4 for detecting an edge of an object from a horizontal differential value of the other memory 2 (1) and image data output from the road surface image removing means 3, and a memory 1 ( 2) Image data and object edge There was an object position calculating means 5 for calculating the position of the obstacle from the image data output from the outputting means 4, and an alarm means 6 for outputting an alarm based on the position data calculated by the object position calculating means. .
【０００５】このような構成を有する車両周辺監視装置
Ａは、２台のカメラによって撮影された画像信号により
路面に描かれた模様を除去し、高さのある物体のみを抽
出して処理時間を短縮することができるといった効果が
開示されている。[0005] The vehicle periphery monitoring device A having such a configuration removes a pattern drawn on a road surface by image signals photographed by two cameras, extracts only a tall object, and reduces the processing time. The effect that the length can be shortened is disclosed.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、このよ
うな従来の車両周辺監視装置Ａは、２台のカメラによっ
て撮影された画像信号により路面に描かれた模様を除去
し、高さのある物体のみを抽出して表示又は警報を実行
していた。However, such a conventional vehicle periphery monitoring apparatus A removes a pattern drawn on a road surface by image signals photographed by two cameras and removes only a tall object. And display or alarm was executed.
【０００７】このため、高さのある物体は全て抽出して
無差別に表示することはできるものの、どの物体が自車
両の走行に対して危険な障害物に成り得るかに関しての
情報（則ち、危険度に関する情報）が運転者や作業者に
対して警告されないという技術的課題があった。For this reason, all objects having a height can be extracted and displayed indiscriminately, but information on which objects can be dangerous obstacles to the running of the host vehicle (that is, information on the objects). , Information about the degree of danger) is not warned to the driver or operator.
【０００８】則ち、運転者や作業者自らが、高さのある
物体の抽出表示又は警報を自車両の走行中に監視して、
抽出表示又は警報が行われたどの物体が自車両の走行に
対して危険な障害物に成り得るかを自車両の操作を行い
ながら判定しなければならない結果、自車両の安全操作
に集中することが難しいという技術的課題があった。That is, the driver or the worker himself / herself monitors an extraction display or a warning of a tall object while the own vehicle is running,
Concentrate on safe operation of your vehicle as a result of having to determine which of the objects for which the indication or warning has been issued can be a dangerous obstacle to your vehicle's traveling while operating your vehicle. There was a technical problem that was difficult.
【０００９】本発明は、このような従来の問題点を解決
することを課題としており、特に、車両の操作に応じて
車両が走行する軌跡の推定範囲である自車両走行予想軌
跡範囲内に、撮像画像に基づいて少なくとも１つ以上の
障害物が存在すると推定される場合、障害物の中から、
走行方向に対して最も車両に近い位置に存在すると推定
される強調対象の障害物の強調画像表示と、強調対象と
なる障害物の表示座標点と所定の位置関係を保持して障
害物の移動に同期して所定形状のマークを表示するマー
キング表示とが重ね合わされて合成されたスーパーイン
ポーズ画像として表示される車両周辺監視装置であっ
て、車両に設置され車両の周辺における監視領域の立体
画像を撮像して３次元座標情報を有する生画像情報を生
成する画像読取手段と、自車両走行予想軌跡範囲にかか
る自車両走行予想軌跡情報を生成する走行軌跡推定手段
と、自車両走行予想軌跡情報及び生画像情報に基づい
て、自車両走行予想軌跡範囲内に、少なくとも１つ以上
の障害物が存在すると推定される場合、生画像情報に所
定解像度の走査線を与えて走査線と障害物画像との交点
を検出すると共に、交点に基づいて障害物にかかる特徴
点情報を生成する特徴点抽出手段と、生画像情報が有す
る３次元座標情報及び特徴点情報を用いて、障害物の中
から、車両の走行方向に対して最も車両に近い位置に存
在する障害物を推定すると共に、至近位置に有ると推定
された障害物にかかる至近特徴点を至近特徴点情報とし
て特徴点情報の中から選択する至近特徴点抽出手段と、
生画像情報が有する３次元座標情報と特徴点情報と至近
特徴点情報とを用いて、至近特徴点を中心に所定距離を
有する３次元空間範囲を設け、３次元空間範囲内に含ま
れる３次元座標を有する特徴点の集合である特徴点群を
特徴点群情報として特徴点情報の中から選択する特徴点
群抽出手段と、特徴点群を全て囲むような四角形を求め
ると共に、四角形の座標を座標情報として生成する座標
抽出手段と、座標情報及び特徴点情報を用いて、障害物
画像に四角形をマークとしてマーキング表示するための
座標をマーキング情報として生成するマーキング演算手
段と、マーキング情報を生画像情報に重ね合わせて合成
したスーパーインポーズ画像であるスーパーインポーズ
画像情報を生成するスーパーインポーズ演算手段と、自
車両走行予想軌跡範囲内の障害物の中から、走行方向に
対して至近位置に存在すると推定される障害物の画像を
スーパーインポーズ画像情報を用いてスーパーインポー
ズ表示することにより画像強調表示を実行する表示手段
とを有する車両周辺監視装置に依り、どの物体が自車両
の走行に対して危険な障害物に成り得るかに関しての情
報（危険度に関する情報）を、走行方向に対して最も車
両に近い位置に存在すると推定される強調対象の障害物
の強調画像表示とマーキング表示とが重ね合わされて合
成されたスーパーインポーズ画像として運転者や作業者
に対して表示して警告することができるようになること
を課題としている。An object of the present invention is to solve such a conventional problem. In particular, the present invention relates to a method for estimating a trajectory of a vehicle in accordance with an operation of the vehicle. When it is estimated that at least one or more obstacles are present based on the captured image, from among the obstacles,
Display of an emphasized image of an obstacle to be emphasized which is presumed to be located closest to the vehicle with respect to the traveling direction, and movement of the obstacle while maintaining a predetermined positional relationship with display coordinate points of the obstacle to be emphasized A vehicle surroundings monitoring device that is displayed as a superimposed image synthesized by superimposing a marking display that displays a mark of a predetermined shape in synchronization with a stereoscopic image of a monitoring area around the vehicle installed on the vehicle Image reading means for generating raw image information having three-dimensional coordinate information by capturing images of the vehicle, travel path estimating means for generating own vehicle travel expected locus information over the own vehicle travel expected locus range, and own vehicle travel expected locus information When it is estimated that at least one or more obstacles are present within the range of the expected trajectory of the vehicle based on the raw image information, a scanning line having a predetermined resolution is given to the raw image information. Using the three-dimensional coordinate information and the feature point information included in the raw image information while detecting the intersection between the scanning line and the obstacle image and generating feature point information on the obstacle based on the intersection. From among the obstacles, an obstacle existing at a position closest to the vehicle with respect to the traveling direction of the vehicle is estimated, and a nearby feature point of the obstacle estimated to be located at the closest position is referred to as nearby feature point information. Closest feature point extraction means to select from feature point information as
A three-dimensional space range having a predetermined distance from the closest feature point is provided using the three-dimensional coordinate information, feature point information, and closest feature point information of the raw image information, and three-dimensional space included in the three-dimensional space range is provided. A feature point group extracting means for selecting a feature point group, which is a set of feature points having coordinates, from feature point information as feature point group information; and obtaining a rectangle surrounding the entire feature point group, and calculating coordinates of the rectangle. Coordinate extracting means for generating as coordinate information, marking calculating means for generating coordinates for marking and displaying a rectangle as a mark on an obstacle image using the coordinate information and feature point information as marking information, and marking information for the raw image Superimposition calculating means for generating superimposed image information, which is a superimposed image superimposed on the information, and a predicted trajectory of the vehicle Display means for performing image emphasis display by superimposing and displaying an image of an obstacle presumed to be present at a position closest to the traveling direction from the obstacles in the surroundings using superimposed image information; The information (information about the degree of danger) as to which object can be a dangerous obstacle to the traveling of the own vehicle is provided at a position closest to the vehicle in the traveling direction by the vehicle periphery monitoring device having Then, it is possible to warn the driver or worker by displaying the superimposed image obtained by superimposing the emphasized image display and the marking display of the estimated obstacle to be emphasized and combining them. It is an issue.
【００１０】更に、このスーパーインポーズ表示が可能
となる結果、運転者や作業者自らが、自車両走行予想軌
跡範囲内に出現した障害物を自車両走行予想軌跡範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定してマーキング
表示してくれるので、自車両の操作を行いながら自車両
の走行中に監視して判定する必要がなくなり、自車両の
安全操作に集中することが容易にできるようになること
を課題としている。Further, as a result of this superimposed display, the driver or the operator himself / herself can identify obstacles that have appeared in the range of the expected trajectory of the own vehicle by any object that has appeared in the range of the expected trajectory of the own vehicle. The device automatically estimates whether the vehicle may become a dangerous obstacle to the running of the host vehicle and displays the marking.Therefore, while operating the host vehicle, monitor and determine while the host vehicle is running. It is an object of the present invention to eliminate the necessity and easily concentrate on the safe operation of the vehicle.
【００１１】また、このような構成を有する車両周辺監
視装置に用いられる警報表示方法、及びこのような警報
表示方法を記憶したコンピュータで読み取り可能な媒体
であって、車両に設置され車両の周辺における監視領域
の立体画像を撮像する工程と、３次元座標情報を有する
生画像情報を生成する工程とを有する画像読取工程と、
自車両走行予想軌跡情報を生成する走行軌跡推定工程
と、自車両走行予想軌跡情報及び生画像情報に基づい
て、自車両走行予想軌跡範囲内に、障害物の存在を推定
する工程と、少なくとも１つ以上の障害物が存在すると
推定される場合、生画像情報に所定解像度の走査線を与
えて走査線と障害物画像との交点を検出する工程と、交
点に基づいて特徴点情報を生成する工程とを有する特徴
点抽出工程と、３次元座標情報及び特徴点情報を用い
て、障害物の中から、車両の走行方向に対して最も車両
に近い位置に存在する障害物を推定する工程と、至近特
徴点を至近特徴点情報として特徴点情報の中から選択す
る工程とを有する至近特徴点抽出工程と、生画像情報が
有する３次元座標情報と特徴点情報と至近特徴点情報と
を用いて、至近特徴点を中心に３次元空間範囲を設ける
工程と、３次元空間範囲内に含まれる特徴点群を特徴点
群情報として特徴点情報の中から選択する工程とを有す
る特徴点群抽出工程と、特徴点群を全て囲むような四角
形を求める工程と、四角形の座標を座標情報として生成
する工程とを有する座標抽出工程と、座標情報及び特徴
点情報を用いて、障害物画像に四角形をマークとしてマ
ーキング情報を生成する工程とを有するマーキング演算
工程と、マーキング情報を生画像情報に重ね合わせてス
ーパーインポーズ画像情報を生成する工程を有するスー
パーインポーズ演算工程と、自車両走行予想軌跡範囲内
の障害物の中から、走行方向に対して至近位置に存在す
ると推定される障害物の画像をスーパーインポーズ画像
情報を用いてスーパーインポーズ表示することにより画
像強調表示を実行する表示工程とを有する警報表示方
法、及びこのような警報表示方法を記憶したコンピュー
タで読み取り可能な媒体に依り、どの物体が自車両の走
行に対して危険な障害物に成り得るかに関しての情報
（危険度に関する情報）を、走行方向に対して最も車両
に近い位置に存在すると推定される強調対象の障害物の
強調画像表示とマーキング表示とが重ね合わされて合成
されたスーパーインポーズ画像として運転者や作業者に
対して表示して警告することができるようになることを
課題としている。Further, there is provided an alarm display method used in a vehicle periphery monitoring device having such a configuration, and a computer-readable medium storing such an alarm display method, wherein the medium is installed in a vehicle and is located around the vehicle. An image reading step having a step of capturing a stereoscopic image of the monitoring area and a step of generating raw image information having three-dimensional coordinate information;
A traveling locus estimating step of generating the own vehicle traveling predicted locus information; and a step of estimating the presence of an obstacle within the own vehicle traveling predicted locus range based on the own vehicle traveling predicted locus information and the raw image information. When it is estimated that there is one or more obstacles, a process of giving a scanning line of a predetermined resolution to the raw image information to detect an intersection of the scanning line and the obstacle image, and generating feature point information based on the intersection And a step of estimating an obstacle existing at a position closest to the vehicle with respect to the traveling direction of the vehicle from the obstacles using the three-dimensional coordinate information and the feature point information. A step of selecting the closest feature point from the feature point information as the closest feature point information, and using the three-dimensional coordinate information, the feature point information, and the closest feature point information included in the raw image information. The closest feature point A feature point group extracting step including a step of providing a three-dimensional space range in the heart, a step of selecting a feature point group included in the three-dimensional space range from the feature point information as feature point group information, and a feature point group A step of obtaining a rectangle that encloses all of them, a coordinate extraction step having a step of generating the coordinates of the rectangle as coordinate information, and using the coordinate information and feature point information, marking information on the obstacle image with the rectangle as a mark A marking calculation step having a step of generating, and a superimposition calculation step having a step of generating superimposed image information by superimposing the marking information on the raw image information; and From inside, an image of an obstacle presumed to be present at a position closest to the traveling direction is superimposed and displayed using superimposed image information. And a computer-readable medium storing such an alarm display method, which objects are dangerous obstacles to the traveling of the vehicle. (Information relating to the degree of danger) is superimposed on the highlighted image display and the marking display of the obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction, and synthesized. It is an object to be able to display and warn a driver or worker as a superimposed image.
【００１２】更に、このスーパーインポーズ表示が可能
となる結果、運転者や作業者自らが、自車両走行予想軌
跡範囲内に出現した障害物を自車両走行予想軌跡範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定してマーキング
表示してくれるので、自車両の操作を行いながら自車両
の走行中に監視して判定する必要がなくなり、自車両の
安全操作に集中することが容易にできるようになること
を課題としている。Furthermore, as a result of this superimposed display, the driver or the operator himself / herself can identify obstacles that have appeared in the expected travel range of the own vehicle by any object that has appeared in the expected travel range of the own vehicle. The device automatically estimates whether the vehicle may become a dangerous obstacle to the running of the host vehicle and displays the marking.Therefore, while operating the host vehicle, monitor and determine while the host vehicle is running. It is an object of the present invention to eliminate the necessity and easily concentrate on the safe operation of the vehicle.
【００１３】[0013]
【課題を解決するための手段】請求項１に記載の発明
は、車両に設置され車両の周辺における監視領域の画像
を撮像し、撮像された画像に基づいて車両の周辺を監視
する車両周辺監視装置において、車両の操作に応じて当
該車両が走行する軌跡の推定範囲である自車両走行予想
軌跡３０Ａ範囲内に、撮像画像に基づいて少なくとも１
つ以上の障害物が存在すると推定される場合、当該障害
物の中から、指定された任意の障害物の画像を強調して
表示するように構成されている、ことを特徴とする車両
周辺監視装置１０である。According to a first aspect of the present invention, there is provided a vehicle periphery monitoring system which is installed in a vehicle, captures an image of a monitoring area around the vehicle, and monitors the periphery of the vehicle based on the captured image. In the apparatus, at least one vehicle based on the captured image is included in a range of the estimated travel trajectory 30A of the vehicle, which is an estimated range of the trajectory in which the vehicle travels in response to the operation of the vehicle.
When there is more than one obstacle, it is configured to highlight and display an image of any specified obstacle from the obstacles. The device 10.
【００１４】なお、本発明において、自車両とは運転者
や作業者自らが操作している車両を意味する。また、車
両の周辺における監視領域とは、特に、車両の後尾近傍
領域や側方近傍領域等の運転者が視認し難い死角領域を
意味するものであって、例えば、バス車両がバックする
ときに、ルームミラーやサイドミラーで確認し難い後尾
近傍領域や側方近傍領域を意味する。また、障害物と
は、車両の走行時に接触しては問題となるような対象物
を意味するものであって、例えば、後方近傍の自車両走
行予想軌跡の範囲内に存在する通行人や建造物等をを意
味するものである。In the present invention, the vehicle means a vehicle operated by a driver or a worker himself. In addition, the monitoring area around the vehicle means a blind spot area that is difficult for the driver to visually recognize, such as an area near the tail of the vehicle or an area near the side of the vehicle. Means the area near the tail and the area near the side that are difficult to see with a room mirror or side mirror. In addition, the obstacle means an object that may cause a problem if the vehicle comes into contact with the vehicle when traveling, for example, a pedestrian or a building existing within the range of the predicted traveling trajectory of the vehicle near the rear. It means things and the like.
【００１５】請求項１に記載の発明に依れば、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、運転者や作業者に対して
表示して警告することができるようになるといった効果
を奏する。According to the first aspect of the present invention, information (risk degree information) on which object can be a dangerous obstacle to the traveling of the vehicle is provided to the driver or the worker. This makes it possible to display and warn the user.
【００１６】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定して強調表示し
てくれるので、運転者や作業者自らが、自車両の操作を
行いながら自車両の走行中に監視して判定する必要がな
くなり、運転者や作業者の監視作業の負担が軽減でき、
自車両の安全操作に集中することが容易にできるように
なるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which objects appearing within the expected travel trajectory 30A can be dangerous obstacles for the travel of the own vehicle. Since the device automatically estimates and highlights the data, it is not necessary for the driver or operator to monitor and determine while operating the vehicle while operating the vehicle. The burden of monitoring work on
Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【００１７】請求項２に記載の発明は、請求項１に記載
の車両周辺監視装置１０において、前記自車両走行予想
軌跡３０Ａ範囲内に、前記撮像画像に基づいて少なくと
も１つ以上の障害物が存在すると推定される場合、当該
障害物の中から、走行車両に対して所定の距離範囲内に
存在すると推定される障害物の画像を強調して表示する
ように構成されている、ことを特徴とする車両周辺監視
装置１０である。According to a second aspect of the present invention, in the vehicle surroundings monitoring device according to the first aspect, at least one or more obstacles based on the captured image are present within the range of the expected trajectory of the own vehicle traveling 30A. When it is estimated that the obstacle exists, the image of the obstacle that is estimated to be present within a predetermined distance range with respect to the traveling vehicle from the obstacle is emphasized and displayed. The vehicle periphery monitoring device 10 described above.
【００１８】請求項２に記載の発明に依れば、請求項１
に記載の効果に加えて、どの物体が自車両の走行に対し
て危険な障害物に成り得るかに関しての情報（危険度情
報）を、走行方向に対して所定の距離範囲内に存在する
と推定される強調対象の障害物に対して強調画像表示し
て運転者や作業者に対して警告することができるように
なるといった効果を奏する。According to the invention described in claim 2, according to claim 1,
In addition to the effects described in (1), it is estimated that information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle exists within a predetermined distance range with respect to the traveling direction. It is possible to display an emphasized image of an obstacle to be emphasized and warn a driver or an operator.
【００１９】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定して強調表示し
てくれるので、運転者や作業者自らが、自車両の操作を
行いながら自車両の走行中に監視して判定する必要がな
くなり、運転者や作業者の監視作業の負担が軽減でき、
自車両の安全操作に集中することが容易にできるように
なるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which objects appearing within the expected travel trajectory 30A can be dangerous obstacles for the travel of the own vehicle. Since the device automatically estimates and highlights the data, it is not necessary for the driver or operator to monitor and determine while operating the vehicle while operating the vehicle. The burden of monitoring work on
Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【００２０】請求項３に記載の発明は、請求項１又は２
に記載の車両周辺監視装置１０において、前記自車両走
行予想軌跡３０Ａ範囲内に、前記撮像画像に基づいて少
なくとも１つ以上の障害物が存在すると推定される場
合、当該障害物の中から、走行方向に対して最も車両に
近い位置に存在すると推定される障害物の画像を強調し
て表示するように構成されている、ことを特徴とする車
両周辺監視装置１０である。The invention described in claim 3 is the first or second invention.
In the vehicle surroundings monitoring device 10 described in the above, if it is estimated that at least one or more obstacles are present in the range of the expected traveling trajectory 30A of the own vehicle based on the captured image, the vehicle travels from the obstacles. A vehicle surroundings monitoring device configured to emphasize and display an image of an obstacle estimated to be present at a position closest to a vehicle with respect to a direction.
【００２１】請求項３に記載の発明に依れば、請求項１
又は２に記載の効果に加えて、どの物体が自車両の走行
に対して危険な障害物に成り得るかに関しての情報（危
険度情報）を、走行方向に対して最も車両に近い位置に
存在すると推定される強調対象の障害物に対して強調画
像表示して運転者や作業者に対して警告することができ
るようになるといった効果を奏する。According to the invention described in claim 3, according to claim 1 of the present invention,
Or, in addition to the effect described in 2, the information (risk degree information) on which object can be a dangerous obstacle to the traveling of the own vehicle exists at a position closest to the vehicle in the traveling direction. Then, it is possible to display an emphasized image of an estimated obstacle to be emphasized and warn a driver or an operator.
【００２２】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定して強調表示し
てくれるので、運転者や作業者自らが、自車両の操作を
行いながら自車両の走行中に監視して判定する必要がな
くなり、運転者や作業者の監視作業の負担が軽減でき、
自車両の安全操作に集中することが容易にできるように
なるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which object appearing within the expected travel trajectory 30A can be a dangerous obstacle for the travel of the own vehicle. Since the device automatically estimates and highlights the data, it is not necessary for the driver or operator to monitor and determine while operating the vehicle while operating the vehicle. The burden of monitoring work on
Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【００２３】請求項４に記載の発明は、請求項１乃至３
のいずれか一項に記載の車両周辺監視装置１０におい
て、前記画像強調表示が、前記強調対象となる障害物の
表示座標点と所定の位置関係を保持して所定形状のマー
クを表示するマーキング表示と共に実行されるように構
成されている、ことを特徴とする車両周辺監視装置１０
である。The invention described in claim 4 is the first to third aspects of the present invention.
In the vehicle surroundings monitoring device 10 according to any one of the above, the image highlighting displays a mark of a predetermined shape while maintaining a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized. The vehicle periphery monitoring device 10 is configured to be executed together with
It is.
【００２４】なお、本発明における画像強調表示とは、
運転者や作業者が視認し易いような表示形態で表示画面
上に表示することを意味する。The image highlighting in the present invention is
This means that the information is displayed on the display screen in a display form that is easy for the driver or operator to visually recognize.
【００２５】請求項４に記載の発明に依れば、請求項１
乃至３のいずれか一項に記載の効果に加えて、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、走行方向に対して最も車
両に近い位置に存在すると推定される強調対象の障害物
に対して実行される強調画像表示とマーキング表示とを
用いて、運転者や作業者に対して警告することができる
ようになるといった効果を奏する。According to the invention described in claim 4, according to claim 1 of the present invention,
In addition to the effects described in any one of (1) to (3), information (risk degree information) on which object can be a dangerous obstacle to the traveling of the own vehicle is transmitted to the vehicle in the traveling direction. The effect that it becomes possible to warn a driver or an operator by using an enhanced image display and a marking display executed on an obstacle to be emphasized which is presumed to be located near Play.
【００２６】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定してマーキング
表示してくれるので、運転者や作業者自らが、自車両の
操作を行いながら自車両の走行中に監視して判定する必
要がなくなり、運転者や作業者の監視作業の負担が軽減
でき、自車両の安全操作に集中することが容易にできる
ようになるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which objects appearing within the expected travel trajectory 30A can be dangerous obstacles to the travel of the own vehicle. Since the device automatically estimates and displays the markings, there is no need for the driver or operator to monitor and determine while operating the own vehicle while operating the own vehicle. This also has the effect of reducing the burden of monitoring work by the user and making it easier to concentrate on the safe operation of the vehicle.
【００２７】請求項５に記載の発明は、請求項４に記載
の車両周辺監視装置１０において、前記マーキング表示
が、前記強調対象となる障害物の表示座標点と所定の位
置関係を保持すると共に、前記所定位置関係を保持した
状態で当該障害物の移動に同期して前記マークを移動さ
せるように構成されている、ことを特徴とする車両周辺
監視装置１０である。According to a fifth aspect of the present invention, in the vehicle periphery monitoring device according to the fourth aspect, the marking display has a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized. The vehicle periphery monitoring device 10 is configured to move the mark in synchronization with the movement of the obstacle while maintaining the predetermined positional relationship.
【００２８】なお、本請求項において、障害物の移動に
同期するとは、障害物の移動と移動のタイミングや移動
量、移動方向、移動速度等を障害物の移動状態に一致さ
せることを意味する。In the claims, synchronizing with the movement of an obstacle means that the timing and amount of movement of the obstacle, the movement amount, the movement direction, the movement speed, and the like are made to match the movement state of the obstacle. .
【００２９】請求項５に記載の発明に依れば、請求項４
に記載の効果に加えて、どの物体が自車両の走行に対し
て危険な障害物に成り得るかに関しての情報（危険度情
報）を、走行方向に対して最も車両に近い位置に存在す
ると推定される強調対象の障害物の強調画像表示の移動
に同期してマーキング表示して運転者や作業者に対して
警告することができるようになるといった効果を奏す
る。According to the invention described in claim 5, according to claim 4,
In addition to the effects described in (1), it is estimated that information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle exists at a position closest to the vehicle in the traveling direction. There is an effect that the marking can be displayed in synchronization with the movement of the emphasized image display of the obstacle to be emphasized to warn the driver or the operator.
【００３０】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定し、障害物の移
動に同期してマーキング表示してくれるので、運転者や
作業者自らが、自車両の操作を行いながら自車両の走行
中に監視して判定する必要がなくなり、運転者や作業者
の監視作業の負担が軽減でき、自車両の安全操作に集中
することが容易にできるようになるといった効果も奏す
る。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which objects appearing within the expected travel trajectory 30A can be dangerous obstacles for the travel of the own vehicle. The device automatically estimates and displays markings in synchronization with the movement of obstacles, so that the driver or operator can monitor and determine while operating his own vehicle while operating his own vehicle. This eliminates the necessity, reduces the burden on the driver and the operator for monitoring work, and also makes it easier to concentrate on the safe operation of the vehicle.
【００３１】請求項６に記載の発明は、請求項４又は５
に記載の車両周辺監視装置１０において、前記画像強調
表示が、前記マーキング表示と前記強調対象の障害物の
画像表示とが重ね合わされて合成されたスーパーインポ
ーズ画像として表示されるように構成されている、こと
を特徴とする車両周辺監視装置１０である。The invention according to claim 6 is the invention according to claim 4 or 5
In the vehicle surroundings monitoring device 10, the image highlighting is configured to be displayed as a superimposed image in which the marking display and the image display of the obstacle to be emphasized are superimposed and synthesized. The vehicle periphery monitoring device 10 is characterized in that:
【００３２】請求項６に記載の発明に依れば、請求項４
又は５に記載の効果に加えて、どの物体が自車両の走行
に対して危険な障害物に成り得るかに関しての情報（危
険度情報）を、走行方向に対して最も車両に近い位置に
存在すると推定される強調対象の障害物の強調画像表示
とマーキング表示とが重ね合わされて合成されたスーパ
ーインポーズ画像として運転者や作業者に対して表示し
て警告することができるようになるといった効果を奏す
る。According to the invention of claim 6, according to claim 4,
Or in addition to the effect described in 5, the information (risk degree information) on which object can be a dangerous obstacle to the traveling of the own vehicle exists at a position closest to the vehicle in the traveling direction. Then, the enhanced image display and the marking display of the estimated obstacle to be emphasized are superimposed and displayed as a superimposed image combined with the driver or the operator to be able to warn. To play.
【００３３】更に、このスーパーインポーズ表示が可能
となる結果、自車両走行予想軌跡３０Ａ範囲内に出現し
た障害物を自車両走行予想軌跡３０Ａ範囲内に出現した
どの物体が自車両の走行に対して危険な障害物に成り得
るかを装置側で自動的に推定してマーキング表示してく
れるので、運転者や作業者自らが、自車両の操作を行い
ながら自車両の走行中に監視して判定する必要がなくな
り、運転者や作業者の監視作業の負担が軽減でき、自車
両の安全操作に集中することが容易にできるようになる
といった効果も奏する。Further, as a result of this superimposed display, obstacles appearing within the predicted travel trajectory 30A of the own vehicle can be compared with obstacles appearing within the predicted travel trajectory 30A of the own vehicle. The device will automatically estimate whether it may become a dangerous obstacle and display the markings, so that the driver or worker can monitor the vehicle while operating while operating the vehicle. This eliminates the need to make a determination, and reduces the burden on the driver and the worker in monitoring work, thereby making it easier to concentrate on the safe operation of the vehicle.
【００３４】請求項７に記載の発明は、請求項６に記載
の車両周辺監視装置１０において、車両に設置され車両
の周辺における前記監視領域の立体画像を撮像して３次
元座標情報を有する生画像情報１２ａを生成する画像読
取手段１２と、前記自車両走行予想軌跡３０Ａ範囲にか
かる自車両走行予想軌跡情報３０ａを生成する走行軌跡
推定手段３０と、前記自車両走行予想軌跡情報３０ａ及
び前記生画像情報１２ａに基づいて、前記自車両走行予
想軌跡３０Ａ範囲内に、少なくとも１つ以上の前記障害
物が存在すると推定される場合、当該生画像情報１２ａ
に所定解像度の走査線Ｌ1，…，Ｌｍを与えて当該走査
線Ｌ1，…，Ｌｍと当該障害物画像との交点を検出する
と共に、当該交点に基づいて障害物にかかる特徴点情報
Ｐ1，…，Ｐnを生成する特徴点抽出手段１４と、前記生
画像情報１２ａが有する３次元座標情報及び前記特徴点
情報Ｐ1，…，Ｐnを用いて、前記障害物の中から、車両
の走行方向に対して最も車両に近い位置に存在する障害
物を推定すると共に、当該至近位置に有ると推定された
障害物にかかる至近特徴点を至近特徴点情報Ｐminとし
て前記特徴点情報Ｐ1，…，Ｐnの中から選択する至近特
徴点抽出手段１６と、前記生画像情報１２ａが有する３
次元座標情報と前記特徴点情報Ｐ1，…，Ｐnと前記至近
特徴点情報Ｐminとを用いて、至近特徴点を中心に所定
距離を有する３次元空間範囲を設け、当該３次元空間範
囲内に含まれる３次元座標を有する特徴点の集合である
特徴点群を特徴点群情報｛Ｐ｝として前記特徴点情報Ｐ
1，…，Ｐnの中から選択する特徴点群抽出手段１８と、
前記特徴点群を全て囲むような四角形を求めると共に、
当該四角形の座標を座標情報｛ａ1，ａ2｝として生成す
る座標抽出手段２０と、前記座標情報｛ａ1，ａ2｝及び
前記特徴点情報Ｐ1，…，Ｐnを用いて、前記障害物画像
に前記四角形を前記マークとして前記マーキング表示す
るための座標をマーキング情報２２ａとして生成するマ
ーキング演算手段２２と、前記マーキング情報２２ａを
前記生画像情報１２ａに重ね合わせて合成した前記スー
パーインポーズ画像であるスーパーインポーズ画像情報
２４ａを生成するスーパーインポーズ演算手段２４と、
前記自車両走行予想軌跡３０Ａ範囲内の障害物の中か
ら、走行方向に対して至近位置に存在すると推定される
障害物の画像を前記スーパーインポーズ画像情報２４ａ
を用いて前記スーパーインポーズ表示することにより前
記画像強調表示を実行する表示手段２６とを有する、こ
とを特徴とする車両周辺監視装置１０である。According to a seventh aspect of the present invention, there is provided the vehicle periphery monitoring apparatus according to the sixth aspect, wherein a three-dimensional image of the monitoring area in the vicinity of the vehicle, which is installed in the vehicle, is taken and has three-dimensional coordinate information. Image reading means 12 for generating image information 12a, travel trajectory estimating means 30 for generating own vehicle travel expected trajectory information 30a over the range of the own vehicle travel expected trajectory 30A, the own vehicle travel expected trajectory information 30a and the raw Based on the image information 12a, when it is estimated that at least one or more of the obstacles is present within the range of the expected traveling trajectory 30A of the host vehicle, the raw image information 12a
, Lm of a predetermined resolution are provided to detect the intersections of the scanning lines L1,..., Lm with the obstacle image, and based on the intersections, feature point information P1,. , Pn, and the three-dimensional coordinate information of the raw image information 12a and the feature point information P1,..., Pn from the obstacle in the traveling direction of the vehicle. .., Pn, the closest feature point of the obstacle estimated to be at the closest position is determined as the closest feature point information Pmin. The closest feature point extracting means 16 for selecting from among the raw image information 12a
Using the three-dimensional coordinate information, the feature point information P1,..., Pn and the close feature point information Pmin, a three-dimensional space range having a predetermined distance around the closest feature point is provided and included in the three-dimensional space range. A feature point group, which is a set of feature points having three-dimensional coordinates, is referred to as feature point group information {P}.
A feature point group extracting means 18 for selecting from among 1,..., Pn;
Along with finding a rectangle that surrounds all the feature points,
Using the coordinate extracting means 20 for generating the coordinates of the rectangle as coordinate information {a1, a2} and the coordinate information {a1, a2} and the feature point information P1,. As the mark, a marking calculating means 22 for generating coordinates for displaying the marking as marking information 22a, and a superimposed image which is the superimposed image obtained by superimposing and combining the marking information 22a with the raw image information 12a. Superimpose calculating means 24 for generating image information 24a;
From the obstacles within the range of the expected traveling trajectory 30A of the host vehicle, an image of an obstacle estimated to be located at a position closest to the traveling direction is displayed as the superimposed image information 24a.
And a display unit 26 for performing the image emphasis display by performing the superimposed display by using the image display device.
【００３５】なお、本請求項において、走査線Ｌ1，
…，Ｌｍとは、表示に対して水平方向の走査線でも良い
し、垂直方向の走査線でも良い。In the present invention, the scanning lines L1,
, Lm may be horizontal scanning lines or vertical scanning lines with respect to the display.
【００３６】請求項７に記載の発明に依れば、請求項６
に記載の効果に加えて、走行軌跡推定手段３０と特徴点
抽出手段１４と至近特徴点抽出手段１６とを中心にして
推定される危険度情報を、走行方向に対して最も車両に
近い位置に存在すると推定される強調対象の障害物の強
調画像表示とマーキング演算手段２２を中心にして実行
されるマーキング表示とがスーパーインポーズ演算手段
２４を中心にして実行されるスーパーインポーズ表示と
して運転者や作業者に対して警告することができるよう
になるといった効果を奏する。According to the invention described in claim 7, according to claim 6,
In addition to the effects described in the above, the risk information estimated around the traveling trajectory estimating means 30, the feature point extracting means 14, and the close feature point extracting means 16 is set to a position closest to the vehicle in the traveling direction. The display of the emphasized image of the obstacle to be emphasized, which is presumed to be present, and the marking display performed mainly by the marking calculation means 22 are performed by the driver as a superimposed display performed mainly by the superimposition calculation means 24. And an operator can be warned.
【００３７】更に、スーパーインポーズ演算手段２４に
よるスーパーインポーズ表示が可能となる結果、自車両
走行予想軌跡３０Ａ範囲内に出現した障害物を自車両走
行予想軌跡３０Ａ範囲内に出現したどの物体が自車両の
走行に対して危険な障害物に成り得るかを装置側（具体
的には、走行軌跡推定手段３０と特徴点抽出手段１４と
至近特徴点抽出手段１６）で自動的に推定して、マーキ
ング演算手段２２がマーキング表示してくれるので、運
転者や作業者自らが、自車両の操作を行いながら自車両
の走行中に監視して判定する必要がなくなり、運転者や
作業者の監視作業の負担が軽減でき、自車両の安全操作
に集中することが容易にできるようになるといった効果
も奏する。Furthermore, as a result of the superimposition display being enabled by the superimposition calculating means 24, any obstacles appearing within the expected travel trajectory 30A of the own vehicle will be replaced by obstacles that appear within the expected travel trajectory 30A. The apparatus side (specifically, the traveling locus estimating means 30, the feature point extracting means 14, and the closest feature point extracting means 16) automatically determines whether the obstacle can be a dangerous obstacle to the traveling of the vehicle. Since the marking calculation means 22 displays the markings, the driver and the worker do not need to monitor and determine while operating the own vehicle while operating the own vehicle. This also has the effect of reducing the work load and making it easier to concentrate on the safe operation of the vehicle.
【００３８】請求項８に記載の発明は、請求項１乃至７
のいずれか一項に記載の車両周辺監視装置に用いられる
警報表示方法において、車両の操作に応じて当該車両の
前記自車両走行予想軌跡３０Ａ範囲内に前記障害物が存
在するか否かを推定する工程と、前記撮像画像に基づい
て少なくとも１つ以上の障害物が存在すると推定される
場合、当該障害物の中から、指定された任意の障害物の
前記画像強調表示を実行する工程を有する、ことを特徴
とする警報表示方法である。The invention described in claim 8 is the invention according to claims 1 to 7
In the alarm display method used in the vehicle periphery monitoring device according to any one of the above, it is estimated whether or not the obstacle is present within the range of the expected traveling trajectory 30A of the vehicle according to the operation of the vehicle. And, if it is estimated that at least one or more obstacles are present based on the captured image, a step of executing the image highlighting of any designated obstacle from the obstacles And a warning display method.
【００３９】請求項８に記載の発明に依れば、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、運転者や作業者に対して
表示して警告することができるようになるといった効果
を奏する。According to the eighth aspect of the present invention, information (risk degree information) on which object can be a dangerous obstacle to the traveling of the host vehicle is provided to the driver or the worker. This makes it possible to display and warn the user.
【００４０】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定して強調表示し
てくれるので、運転者や作業者自らが、自車両の操作を
行いながら自車両の走行中に監視して判定する必要がな
くなり、運転者や作業者の監視作業の負担が軽減でき、
自車両の安全操作に集中することが容易にできるように
なるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which object appearing within the expected travel trajectory 30A can be a dangerous obstacle for the travel of the own vehicle. Since the device automatically estimates and highlights the data, it is not necessary for the driver or operator to monitor and determine while operating the vehicle while operating the vehicle. The burden of monitoring work on
Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【００４１】請求項９に記載の発明は、請求項８に記載
の警報表示方法において、車両の操作に応じて当該車両
の前記自車両走行予想軌跡３０Ａ範囲内に前記障害物が
存在するか否かを推定する工程と、前記撮像画像に基づ
いて少なくとも１つ以上の障害物が存在すると推定され
る場合、当該障害物の中から、走行車両に対して所定の
距離範囲内に存在すると推定される障害物の前記画像強
調表示を実行する工程を有する、ことを特徴とする警報
表示方法である。According to a ninth aspect of the present invention, in the alarm display method according to the eighth aspect, it is determined whether or not the obstacle is present within the range of the expected traveling trajectory 30A of the vehicle according to the operation of the vehicle. Estimating whether there is at least one or more obstacles based on the captured image, from among the obstacles, it is estimated that the obstacles are present within a predetermined distance range with respect to the traveling vehicle. Performing the image highlighting of the obstacle.
【００４２】請求項９に記載の発明に依れば、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、走行方向に対して所定の
距離範囲内に存在すると推定される強調対象の障害物に
対して強調画像表示して運転者や作業者に対して警告す
ることができるようになるといった効果を奏する。According to the ninth aspect of the present invention, information (risk degree information) on which object can be a dangerous obstacle to the traveling of the host vehicle is determined with respect to the traveling direction. There is an effect that an emphasis image is displayed for an obstacle to be emphasized which is presumed to be present within the distance range to warn a driver or an operator.
【００４３】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定して強調表示し
てくれるので、運転者や作業者自らが、自車両の操作を
行いながら自車両の走行中に監視して判定する必要がな
くなり、運転者や作業者の監視作業の負担が軽減でき、
自車両の安全操作に集中することが容易にできるように
なるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined by determining which objects appearing within the expected travel trajectory 30A of the own vehicle can be dangerous obstacles for the travel of the own vehicle. Since the device automatically estimates and highlights the data, it is not necessary for the driver or operator to monitor and determine while operating the vehicle while operating the vehicle. The burden of monitoring work on
Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【００４４】請求項１０に記載の発明は、請求項８又は
９に記載の警報表示方法において、車両の操作に応じて
当該車両の前記自車両走行予想軌跡３０Ａ範囲内に前記
障害物が存在するか否かを推定する工程と、前記撮像画
像に基づいて少なくとも１つ以上の障害物が存在すると
推定される場合、当該障害物の中から、走行方向に対し
て前記至近位置に存在すると推定される障害物の前記画
像強調表示を実行する工程を有する、ことを特徴とする
警報表示方法である。According to a tenth aspect of the present invention, in the warning display method according to the eighth or ninth aspect, the obstacle is present within the range of the expected traveling trajectory 30A of the vehicle in accordance with the operation of the vehicle. Estimating whether or not, and if it is estimated that at least one or more obstacles are present based on the captured image, from among the obstacles, it is estimated that they are present at the closest position to the traveling direction Performing the image highlighting of the obstacle.
【００４５】請求項１０に記載の発明に依れば、どの物
体が自車両の走行に対して危険な障害物に成り得るかに
関しての情報（危険度情報）を、走行方向に対して最も
車両に近い位置に存在すると推定される強調対象の障害
物に対して強調画像表示して運転者や作業者に対して警
告することができるようになるといった効果を奏する。According to the tenth aspect of the present invention, information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle is determined based on the traveling direction. This makes it possible to display an emphasized image on an obstacle to be emphasized, which is presumed to be present at a position close to the image, and warn a driver or an operator.
【００４６】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定して強調表示し
てくれるので、運転者や作業者自らが、自車両の操作を
行いながら自車両の走行中に監視して判定する必要がな
くなり、運転者や作業者の監視作業の負担が軽減でき、
自車両の安全操作に集中することが容易にできるように
なるといった効果も奏する。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined as to which objects appearing within the expected travel trajectory 30A can be dangerous obstacles for the travel of the own vehicle. Since the device automatically estimates and highlights the data, it is not necessary for the driver or operator to monitor and determine while operating the vehicle while operating the vehicle. The burden of monitoring work on
Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【００４７】請求項１１に記載の発明は、請求項８乃至
１０のいずれか一項に記載の警報表示方法において、前
記画像強調表示が、前記強調対象となる障害物の表示座
標点と所定の位置関係を保持して前記マークを表示する
前記マーキング表示と共に実行される工程を有する、こ
とを特徴とする警報表示方法である。According to an eleventh aspect of the present invention, in the alarm display method according to any one of the eighth to tenth aspects, the image highlighting is performed by using a display coordinate point of the obstacle to be emphasized and a predetermined coordinate point. An alarm display method, comprising: performing a step of executing the display together with the marking display for displaying the mark while maintaining a positional relationship.
【００４８】請求項１１に記載の発明に依れば、請求項
８乃至１０のいずれか一項に記載の効果に加えて、どの
物体が自車両の走行に対して危険な障害物に成り得るか
に関しての情報（危険度情報）を、走行方向に対して最
も車両に近い位置に存在すると推定される強調対象の障
害物に対して実行される強調画像表示とマーキング表示
とを用いて、運転者や作業者に対して警告することがで
きるようになるといった効果を奏する。According to the eleventh aspect of the present invention, in addition to the effects of any one of the eighth to tenth aspects, any object can be a dangerous obstacle to the running of the host vehicle. Information (risk degree information) on the vehicle is driven by using an emphasized image display and a marking display executed on an obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction. There is an effect that a warning can be given to a worker or an operator.
【００４９】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定してマーキング
表示してくれるので、運転者や作業者自らが、自車両の
操作を行いながら自車両の走行中に監視して判定する必
要がなくなり、運転者や作業者の監視作業の負担が軽減
でき、自車両の安全操作に集中することが容易にできる
ようになるといった効果も奏する。As a result, the obstacle appearing in the predicted traveling trajectory 30A of the own vehicle can be determined as to which objects appearing in the predicted traveling trajectory 30A can be dangerous obstacles for the traveling of the own vehicle. Since the device automatically estimates and displays the markings, there is no need for the driver or operator to monitor and determine while operating the own vehicle while operating the own vehicle. This also has the effect of reducing the burden of monitoring work by the user and making it easier to concentrate on the safe operation of the vehicle.
【００５０】請求項１２に記載の発明は、請求項１１に
記載の警報表示方法において、前記マーキング表示が、
前記強調対象となる障害物の表示座標点と所定の位置関
係を保持すると共に、前記所定位置関係を保持した状態
で当該障害物の移動に同期して前記マークを移動させる
工程を有する、ことを特徴とする警報表示方法である。According to a twelfth aspect of the present invention, in the alarm display method according to the eleventh aspect, the marking display includes:
A step of holding the display coordinate point of the obstacle to be emphasized and a predetermined positional relationship, and moving the mark in synchronization with the movement of the obstacle while maintaining the predetermined positional relationship. This is a feature of the alarm display method.
【００５１】請求項１２に記載の発明に依れば、請求項
１１に記載の効果に加えて、どの物体が自車両の走行に
対して危険な障害物に成り得るかに関しての情報（危険
度情報）を、走行方向に対して最も車両に近い位置に存
在すると推定される強調対象の障害物の強調画像表示の
移動に同期してマーキング表示して運転者や作業者に対
して警告することができるようになるといった効果を奏
する。According to the twelfth aspect of the present invention, in addition to the effect of the eleventh aspect, information on which object can be a dangerous obstacle to the running of the host vehicle (degree of risk) Information) in synchronization with the movement of the highlighted image display of the obstacle to be emphasized, which is presumed to be located closest to the vehicle with respect to the traveling direction, to warn the driver or operator. This has the effect of being able to perform.
【００５２】この結果、自車両走行予想軌跡３０Ａ範囲
内に出現した障害物を自車両走行予想軌跡３０Ａ範囲内
に出現したどの物体が自車両の走行に対して危険な障害
物に成り得るかを装置側で自動的に推定し、障害物の移
動に同期してマーキング表示してくれるので、運転者や
作業者自らが、自車両の操作を行いながら自車両の走行
中に監視して判定する必要がなくなり、運転者や作業者
の監視作業の負担が軽減でき、自車両の安全操作に集中
することが容易にできるようになるといった効果も奏す
る。As a result, the obstacle appearing within the expected travel trajectory 30A of the own vehicle can be determined by determining which objects appearing within the expected travel trajectory 30A can be dangerous obstacles for the travel of the own vehicle. The device automatically estimates and displays markings in synchronization with the movement of obstacles, so that the driver or operator can monitor and determine while operating his own vehicle while operating his own vehicle. This eliminates the necessity, reduces the burden on the driver and the operator for monitoring work, and also makes it easier to concentrate on the safe operation of the vehicle.
【００５３】請求項１３に記載の発明は、請求項１１又
は１２に記載の警報表示方法において、前記画像強調表
示が、前記マーキング表示と前記強調対象の障害物の画
像表示とが重ね合わされて合成されたスーパーインポー
ズ画像として表示される工程を有する、ことを特徴とす
る警報表示方法である。According to a thirteenth aspect of the present invention, in the alarm display method according to the eleventh or twelfth aspect, the image highlighting is performed by superimposing the marking display and the image display of the obstacle to be emphasized. And displaying the displayed superimposed image.
【００５４】請求項１３に記載の発明に依れば、請求項
１１又は１２に記載の効果に加えて、どの物体が自車両
の走行に対して危険な障害物に成り得るかに関しての情
報（危険度情報）を、走行方向に対して最も車両に近い
位置に存在すると推定される強調対象の障害物の強調画
像表示とマーキング表示とが重ね合わされて合成された
スーパーインポーズ画像として運転者や作業者に対して
表示して警告することができるようになるといった効果
を奏する。According to the thirteenth aspect of the present invention, in addition to the effect of the eleventh or twelfth aspect, information on which object can be a dangerous obstacle to the running of the host vehicle ( Risk information) is superimposed as a superimposed image obtained by superimposing and marking the highlighted image display and the marking display of the obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction. It is possible to display and warn an operator.
【００５５】更に、このスーパーインポーズ表示が可能
となる結果、自車両走行予想軌跡３０Ａ範囲内に出現し
た障害物を自車両走行予想軌跡３０Ａ範囲内に出現した
どの物体が自車両の走行に対して危険な障害物に成り得
るかを装置側で自動的に推定してマーキング表示してく
れるので、運転者や作業者自らが、自車両の操作を行い
ながら自車両の走行中に監視して判定する必要がなくな
り、運転者や作業者の監視作業の負担が軽減でき、自車
両の安全操作に集中することが容易にできるようになる
といった効果も奏する。Further, as a result of this superimposed display, obstacles appearing within the expected travel trajectory 30A of the own vehicle can be compared with any objects appearing within the expected travel trajectory 30A of the own vehicle. The device will automatically estimate whether it may become a dangerous obstacle and display the markings, so that the driver or worker can monitor the vehicle while operating while operating the vehicle. This eliminates the need to make a determination, and reduces the burden on the driver and the worker in monitoring work, thereby making it easier to concentrate on the safe operation of the vehicle.
【００５６】請求項１４に記載の発明は、請求項１３に
記載の警報表示方法において、車両に設置され車両の周
辺における前記監視領域の立体画像を撮像する工程と、
前記３次元座標情報を有する前記生画像情報１２ａを生
成する工程とを有する画像読取工程と、前記自車両走行
予想軌跡情報３０ａを生成する走行軌跡推定工程と、前
記自車両走行予想軌跡情報３０ａ及び前記生画像情報１
２ａに基づいて、前記自車両走行予想軌跡３０Ａ範囲内
に、前記障害物の存在を推定する工程と、少なくとも１
つ以上の前記障害物が存在すると推定される場合、当該
生画像情報１２ａに所定解像度の走査線Ｌ1，…，Ｌｍ
を与えて当該走査線Ｌ1，…，Ｌｍと当該障害物画像と
の交点を検出する工程と、当該交点に基づいて前記特徴
点情報Ｐ1，…，Ｐnを生成する工程とを有する特徴点抽
出工程と、前記３次元座標情報及び前記特徴点情報Ｐ
1，…，Ｐnを用いて、前記障害物の中から、車両の走行
方向に対して最も車両に近い位置に存在する障害物を推
定する工程と、前記至近特徴点を至近特徴点情報Ｐmin
として前記特徴点情報Ｐ1，…，Ｐnの中から選択する工
程とを有する至近特徴点抽出工程と、前記生画像情報１
２ａが有する前記３次元座標情報と前記特徴点情報Ｐ
1，…，Ｐnと前記至近特徴点情報Ｐminとを用いて、至
近特徴点を中心に前記３次元空間範囲を設ける工程と、
当該３次元空間範囲内に含まれる前記特徴点群を前記特
徴点群情報｛Ｐ｝として前記特徴点情報Ｐ1，…，Ｐnの
中から選択する工程とを有する特徴点群抽出工程と、前
記特徴点群を全て囲むような前記四角形を求める工程
と、当該四角形の座標を前記座標情報｛ａ1，ａ2｝とし
て生成する工程とを有する座標抽出工程と、前記座標情
報｛ａ1，ａ2｝及び前記特徴点情報Ｐ1，…，Ｐnを用い
て、前記障害物画像に前記四角形を前記マークとして前
記マーキング情報２２ａを生成する工程とを有するマー
キング演算工程と、前記マーキング情報２２ａを前記生
画像情報１２ａに重ね合わせて前記スーパーインポーズ
画像情報２４ａを生成する工程を有するスーパーインポ
ーズ演算工程と、前記自車両走行予想軌跡３０Ａ範囲内
の障害物の中から、走行方向に対して前記至近位置に存
在すると推定される障害物の画像を前記スーパーインポ
ーズ画像情報２４ａを用いて前記スーパーインポーズ表
示することにより前記画像強調表示を実行する表示工程
とを有する、ことを特徴とする警報表示方法である。According to a fourteenth aspect of the present invention, in the alarm display method according to the thirteenth aspect, a step of capturing a three-dimensional image of the monitoring area in the vicinity of the vehicle installed on the vehicle,
An image reading step having a step of generating the raw image information 12a having the three-dimensional coordinate information; a travel path estimating step of generating the own vehicle travel expected track information 30a; The raw image information 1
Estimating the presence of the obstacle within the range of the predicted travel trajectory 30A based on 2a;
When it is estimated that there are two or more obstacles, the raw image information 12a includes scanning lines L1,.
., Lm and the obstacle image, and generating the feature point information P1,..., Pn based on the intersection. And the three-dimensional coordinate information and the feature point information P
Estimating an obstacle located closest to the vehicle with respect to the traveling direction of the vehicle from the obstacles using 1,..., Pn;
A step of selecting from the feature point information P1,..., Pn;
2a has the three-dimensional coordinate information and the feature point information P
Providing the three-dimensional space range around the closest feature point using 1,..., Pn and the closest feature point information Pmin;
Selecting the feature point group included in the three-dimensional space range from the feature point information P1,..., Pn as the feature point group information {P}; A coordinate extraction step having a step of obtaining the rectangle so as to surround all the point groups, a step of generating coordinates of the rectangle as the coordinate information {a1, a2}, the coordinate information {a1, a2} and the feature Using the point information P1,..., Pn to generate the marking information 22a using the rectangle as the mark on the obstacle image; and superimposing the marking information 22a on the raw image information 12a. A superimposition calculating step including a step of generating the superimposed image information 24a together; A display step of performing the image highlighting by displaying the image of the obstacle estimated to be present at the close position with respect to the direction using the superimposed image information 24a. An alarm display method characterized by the following.
【００５７】請求項１４に記載の発明に依れば、請求項
１３に記載の効果に加えて、走行軌跡推定工程と特徴点
抽出工程と至近特徴点抽出工程とを中心にして推定され
る危険度情報を、走行方向に対して最も車両に近い位置
に存在すると推定される強調対象の障害物の強調画像表
示とマーキング演算工程を中心にして実行されるマーキ
ング表示とがスーパーインポーズ演算工程を中心にして
実行されるスーパーインポーズ表示として運転者や作業
者に対して警告することができるようになるといった効
果を奏する。According to the fourteenth aspect of the present invention, in addition to the effects of the thirteenth aspect, there is a danger that is estimated centering on the traveling trajectory estimation step, the feature point extraction step, and the closest feature point extraction step. The degree information, the emphasized image display of the obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction, and the marking display executed mainly in the marking calculation step are superimposed calculation steps. There is an effect that it is possible to warn a driver or an operator as a superimposed display executed mainly.
【００５８】更に、スーパーインポーズ演算工程による
スーパーインポーズ表示が可能となる結果、運転者や作
業者自らが、自車両走行予想軌跡Ａ範囲内に出現した障
害物を自車両走行予想軌跡Ａ範囲内に出現したどの物体
が自車両の走行に対して危険な障害物に成り得るかを装
置側（具体的には、走行軌跡推定工程と特徴点抽出工程
と至近特徴点抽出工程）で自動的に推定して、マーキン
グ演算工程がマーキング表示してくれるので、自車両の
操作を行いながら自車両の走行中に監視して判定する必
要がなくなり、運転者や作業者の監視作業の負担が軽減
でき、自車両の安全操作に集中することが容易にできる
ようになるといった効果も奏する。Further, as a result of the superimposed display being performed by the superimposed calculation step, the driver or the operator himself / herself can move the obstacle appearing within the predicted traveling trajectory A of the own vehicle into the predicted traveling trajectory A of the own vehicle. The device (specifically, the trajectory estimation process, the feature point extraction process, and the closest feature point extraction process) automatically determines which objects appearing in the vehicle can be dangerous obstacles to the running of the vehicle. And the marking calculation process displays the markings, eliminating the need to monitor and judge while the own vehicle is running while operating the own vehicle, reducing the burden on the driver and workers in monitoring work It is also possible to easily concentrate on the safe operation of the vehicle.
【００５９】請求項１５に記載の発明は、請求項１０に
記載の警報表示方法を記憶したコンピュータで読み取り
可能な媒体であって、車両の操作に応じて当該車両の前
記自車両走行予想軌跡３０Ａ範囲内に前記障害物が存在
するか否かを推定する工程と、前記撮像画像に基づいて
少なくとも１つ以上の障害物が存在すると推定される場
合、当該障害物の中から、走行方向に対して前記至近位
置に存在すると推定される障害物の前記画像強調表示を
実行する工程を有する、ことを特徴とする媒体である。According to a fifteenth aspect of the present invention, there is provided a computer-readable medium storing the alarm display method according to the tenth aspect, wherein the expected traveling trajectory 30A of the vehicle according to the operation of the vehicle is provided. Estimating whether or not the obstacle exists in the range, and when it is estimated that at least one or more obstacles are present based on the captured image, from among the obstacles, A step of executing the image highlighting of the obstacle estimated to be present at the close position.
【００６０】請求項１５に記載の発明に依れば、請求項
１０に記載の効果と同様の効果を奏する。According to the fifteenth aspect, the same effect as the tenth aspect can be obtained.
【００６１】請求項１６に記載の発明は、請求項１１に
記載の警報表示方法を記憶したコンピュータで読み取り
可能な媒体であって、前記画像強調表示が、前記強調対
象となる障害物の表示座標点と所定の位置関係を保持し
て前記マークを表示する前記マーキング表示と共に実行
される工程を有する、ことを特徴とする媒体である。According to a sixteenth aspect of the present invention, there is provided a computer-readable medium storing the alarm display method according to the eleventh aspect, wherein the image highlighting is a display coordinate of the obstacle to be emphasized. A medium which has a step executed together with the marking display for displaying the mark while maintaining a predetermined positional relationship with a point.
【００６２】請求項１６に記載の発明に依れば、請求項
１１に記載の効果と同様の効果を奏する。According to the sixteenth aspect, the same effect as the eleventh aspect can be obtained.
【００６３】請求項１７に記載の発明は、請求項１２に
記載の警報表示方法を記憶したコンピュータで読み取り
可能な媒体であって、前記マーキング表示が、前記強調
対象となる障害物の表示座標点と所定の位置関係を保持
すると共に、前記所定位置関係を保持した状態で当該障
害物の移動に同期して前記マークを移動させる工程を有
する、ことを特徴とする媒体である。According to a seventeenth aspect of the present invention, there is provided a computer-readable medium storing the alarm display method according to the twelfth aspect, wherein the marking display includes a display coordinate point of the obstacle to be emphasized. And a step of moving the mark in synchronization with the movement of the obstacle while maintaining the predetermined positional relationship.
【００６４】請求項１７に記載の発明に依れば、請求項
１２に記載の効果と同様の効果を奏する。According to the seventeenth aspect, the same effect as the twelfth aspect is obtained.
【００６５】請求項１８に記載の発明は、請求項１３に
記載の警報表示方法を記憶したコンピュータで読み取り
可能な媒体であって、前記画像強調表示が、前記マーキ
ング表示と前記強調対象の障害物の画像表示とが重ね合
わされて合成されたスーパーインポーズ画像として表示
される工程を有する、ことを特徴とする媒体である。The invention according to claim 18 is a computer-readable medium storing the alarm display method according to claim 13, wherein the image highlighting includes the marking display and the obstacle to be emphasized. And displaying a superimposed image that is superimposed and synthesized with the image display.
【００６６】請求項１８に記載の発明に依れば、請求項
１３に記載の効果と同様の効果を奏する。According to the eighteenth aspect, the same effect as that of the thirteenth aspect can be obtained.
【００６７】請求項１９に記載の発明は、請求項１４に
記載の警報表示方法を記憶したコンピュータで読み取り
可能な媒体であって、車両に設置され車両の周辺におけ
る前記監視領域の立体画像を撮像する工程と、前記３次
元座標情報を有する前記生画像情報１２ａを生成する工
程とを有する画像読取工程と、前記自車両走行予想軌跡
情報３０ａを生成する走行軌跡推定工程と、前記自車両
走行予想軌跡情報３０ａ及び前記生画像情報１２ａに基
づいて、前記自車両走行予想軌跡３０Ａ範囲内に、前記
障害物の存在を推定する工程と、少なくとも１つ以上の
前記障害物が存在すると推定される場合、当該生画像情
報１２ａに所定解像度の走査線Ｌ1，…，Ｌｍを与えて
当該走査線Ｌ1，…，Ｌｍと当該障害物画像との交点を
検出する工程と、当該交点に基づいて前記特徴点情報Ｐ
1，…，Ｐnを生成する工程とを有する特徴点抽出工程
と、前記３次元座標情報及び前記特徴点情報Ｐ1，…，
Ｐnを用いて、前記障害物の中から、車両の走行方向に
対して最も車両に近い位置に存在する障害物を推定する
工程と、前記至近特徴点を至近特徴点情報Ｐminとして
前記特徴点情報Ｐ1，…，Ｐnの中から選択する工程とを
有する至近特徴点抽出工程と、前記生画像情報１２ａが
有する前記３次元座標情報と前記特徴点情報Ｐ1，…，
Ｐnと前記至近特徴点情報Ｐminとを用いて、至近特徴点
を中心に前記３次元空間範囲を設ける工程と、当該３次
元空間範囲内に含まれる前記特徴点群を前記特徴点群情
報｛Ｐ｝として前記特徴点情報Ｐ1，…，Ｐnの中から選
択する工程とを有する特徴点群抽出工程と、前記特徴点
群を全て囲むような前記四角形を求める工程と、当該四
角形の座標を前記座標情報｛ａ1，ａ2｝として生成する
工程とを有する座標抽出工程と、前記座標情報｛ａ1，
ａ2｝及び前記特徴点情報Ｐ1，…，Ｐnを用いて、前記
障害物画像に前記四角形を前記マークとして前記マーキ
ング情報２２ａを生成する工程とを有するマーキング演
算工程と、前記マーキング情報２２ａを前記生画像情報
１２ａに重ね合わせて前記スーパーインポーズ画像情報
２４ａを生成する工程を有するスーパーインポーズ演算
工程と、前記自車両走行予想軌跡３０Ａ範囲内の障害物
の中から、走行方向に対して前記至近位置に存在すると
推定される障害物の画像を前記スーパーインポーズ画像
情報２４ａを用いて前記スーパーインポーズ表示するこ
とにより前記画像強調表示を実行する表示工程とを有す
る、ことを特徴とする媒体である。According to a nineteenth aspect of the present invention, there is provided a computer-readable medium storing the alarm display method according to the fourteenth aspect, wherein the three-dimensional image of the monitoring area installed in a vehicle and around the vehicle is captured. An image reading step having a step of generating the raw image information 12a having the three-dimensional coordinate information; a traveling path estimating step of generating the own vehicle traveling expected path information 30a; A step of estimating the existence of the obstacle within the range of the expected traveling trajectory 30A of the vehicle based on the trajectory information 30a and the raw image information 12a; and a case where it is estimated that at least one or more of the obstacles are present. .., Lm having a predetermined resolution to the raw image information 12a to detect an intersection between the scanning lines L1,..., Lm and the obstacle image. The feature point information P based on the intersection
, Pn generating step, the three-dimensional coordinate information and the characteristic point information P1,.
Estimating an obstacle present at a position closest to the vehicle with respect to the traveling direction of the vehicle from the obstacles using Pn, and using the close feature point as close feature point information Pmin; , Pn, and a step of selecting from the closest feature points, and the three-dimensional coordinate information and the feature point information P1,..., Of the raw image information 12a.
Providing the three-dimensional space range around the closest feature point using Pn and the closest feature point information Pmin; and converting the feature point group included in the three-dimensional space range into the feature point group information ｛P .., Pn as｝, a step of obtaining the quadrangle surrounding the entirety of the characteristic point group, and a step of obtaining coordinates of the quadrangle by the coordinates A coordinate extraction step having a step of generating as information {a1, a2};
a2} and the feature point information P1,..., Pn to generate the marking information 22a using the rectangle as the mark in the obstacle image; and generating the marking information 22a. A superimposition calculation step including a step of generating the superimposed image information 24a by superimposing the superimposed image information 24a on the image information 12a; A display step of performing the image emphasis display by superimposing and displaying the image of the obstacle estimated to be present at the position using the superimposed image information 24a. is there.
【００６８】請求項１９に記載の発明に依れば、請求項
１４に記載の効果と同様の効果を奏する。According to the nineteenth aspect, the same effect as that of the fourteenth aspect can be obtained.
【００６９】[0069]
【発明の実施の形態】以下、図面に基づき本発明に基本
機能を説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The basic functions of the present invention will be described below with reference to the drawings.
【００７０】本発明は、バスやトラック等の車両に設置
され車両の周辺における監視領域の画像を撮像し、撮像
された画像に基づいて車両の周辺を監視する車両周辺監
視装置、この車両周辺監視装置を用いて、周辺監視時に
警報を発すべき障害物の運転手や作業員への表示方法、
及びこの警報表示方法を記憶した、車両周辺監視装置を
制御するコンピュータで読み取り可能な媒体に関するも
のである。The present invention relates to a vehicle periphery monitoring device which is installed in a vehicle such as a bus or a truck, captures an image of a monitoring area around the vehicle, and monitors the periphery of the vehicle based on the captured image. Using the device, a method of displaying obstacles to be alerted during driver monitoring to drivers and workers,
And a computer-readable medium that stores the alarm display method and controls the vehicle periphery monitoring device.
【００７１】本発明の車両周辺監視装置は、車両の操作
に応じて車両が走行する軌跡の推定範囲である自車両走
行予想軌跡範囲内に、撮像画像に基づいて少なくとも１
つ以上の障害物が存在すると推定される場合、障害物の
中から、指定された任意の障害物の画像を強調して表示
（以下、画像強調表示と呼ぶ）するように構成されてい
る。The vehicle surroundings monitoring device according to the present invention includes at least one vehicle based on a captured image within an estimated travel range of the own vehicle, which is an estimated range of a travel route of the vehicle in response to the operation of the vehicle.
When it is estimated that there is one or more obstacles, an image of a specified arbitrary obstacle is emphasized and displayed (hereinafter, referred to as image highlighting) from the obstacles.
【００７２】本発明において、自車両とは運転者や作業
者自らが操作している車両を意味する。また、車両の周
辺における監視領域とは、特に、車両の後尾近傍領域や
側方近傍領域等の運転者が視認し難い死角領域を意味す
るものであって、例えば、バス車両がバックするとき
に、ルームミラーやサイドミラーで確認し難い後尾近傍
領域や側方近傍領域を意味する。In the present invention, the vehicle means a vehicle operated by a driver or a worker himself. In addition, the monitoring area around the vehicle means a blind spot area that is difficult for the driver to visually recognize, such as an area near the tail of the vehicle or an area near the side of the vehicle. Means the area near the tail and the area near the side that are difficult to see with a room mirror or side mirror.
【００７３】また、障害物とは、車両の走行時に接触し
ては問題となるような対象物を意味するものであって、
例えば、後方近傍の自車両走行予想軌跡の範囲内に存在
する通行人や建造物等をを意味するものである。The obstacle means an object which becomes a problem if it comes into contact when the vehicle is running.
For example, it means a pedestrian, a building, or the like existing within the range of the predicted traveling trajectory of the vehicle near the rear.
【００７４】このような車両周辺監視装置は、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、運転者や作業者に対して
表示して警告する機能を有する。則ち、運転者や作業者
自らが、自車両走行予想軌跡範囲内に出現した障害物を
自車両走行予想軌跡範囲内に出現したどの物体が自車両
の走行に対して危険な障害物に成り得るかを装置側で自
動的に推定して強調表示する機能を有するため、自車両
の操作を行いながら自車両の走行中に監視して判定する
必要がなくなり、運転者や作業者の監視作業の負担が軽
減でき、自車両の安全操作に集中することが容易にでき
るようになる。Such a vehicle periphery monitoring device displays information (risk degree information) on which object can become a dangerous obstacle to the traveling of the host vehicle to the driver or the operator. Warning function. In other words, the driver or the worker himself / herself converts an obstacle that appears in the expected travel range of the own vehicle into an obstacle that is dangerous to the travel of the own vehicle. The device has a function of automatically estimating whether to obtain it and highlighting it, eliminating the need to monitor and judge while the own vehicle is running while operating the own vehicle. Can be reduced, and it is easy to concentrate on the safe operation of the vehicle.
【００７５】更に、本車両周辺監視装置は、障害物の中
から、走行車両に対して所定の距離範囲内に存在すると
推定される障害物の画像を強調して表示するように構成
されることも可能である。Further, the vehicle periphery monitoring device is configured to emphasize and display an image of an obstacle which is presumed to be within a predetermined distance range with respect to the traveling vehicle from among the obstacles. Is also possible.
【００７６】本発明において所定の距離範囲とは、車両
の周辺における監視領域、特に、車両の後尾近傍領域や
側方近傍領域等の運転者や作業者が視認し難い死角領域
内において、運転者や作業者が特に注意力を注ぎたい監
視領域を意味するものである。なお、所定の距離範囲
は、運転者や作業者が随時、前述のキーボードを介し
て、希望の範囲に指定することが可能である。In the present invention, the predetermined distance range refers to a monitoring area in the vicinity of the vehicle, particularly in a blind spot area where the driver or worker is hard to see, such as an area near the tail of the vehicle or an area near the side of the vehicle. And a monitoring area that the operator particularly wants to pay attention to. It should be noted that the predetermined distance range can be designated as desired by the driver or operator at any time via the above-described keyboard.
【００７７】このような車両周辺監視装置は、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、走行方向に対して所定の
距離範囲内に存在すると推定される強調対象の障害物に
対して強調画像表示して運転者や作業者に対して警告す
る機能を有する。Such a vehicle periphery monitoring device can provide information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle within a predetermined distance range with respect to the traveling direction. Has a function of displaying an emphasized image of an obstacle to be emphasized, which is presumed to be present, to warn a driver or an operator.
【００７８】また本車両周辺監視装置は、障害物の中か
ら、走行方向に対して最も車両に近い位置（則ち、至近
位置）に存在すると推定される障害物の画像を強調して
表示することも可能である。Further, the present vehicle periphery monitoring apparatus emphasizes and displays an image of an obstacle that is presumed to be present at a position closest to the vehicle (that is, a closest position) with respect to the traveling direction among the obstacles. It is also possible.
【００７９】このような車両周辺監視装置は、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、走行方向に対して最も車
両に近い位置に存在すると推定される強調対象の障害物
に対して強調画像表示して運転者や作業者に対して警告
する機能を有する。Such a vehicle periphery monitoring device can provide information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle, at a position closest to the vehicle in the traveling direction. Has a function of displaying an emphasized image of an obstacle to be emphasized, which is presumed to be present, to warn a driver or an operator.
【００８０】また本車両周辺監視装置は、撮像画像に基
づいて少なくとも１つ以上の障害物が存在すると推定さ
れる場合、障害物の指定は、運転者や作業者が随時、希
望の障害物を前述のキーボードを介して複数指定する機
能を有する。When it is estimated that at least one or more obstacles are present on the basis of the captured image, the present vehicle periphery monitoring device designates an obstacle by a driver or a worker at any time. It has a function of specifying a plurality of items via the above-mentioned keyboard.
【００８１】更に本車両周辺監視装置は、画像強調表示
対象となる障害物の表示座標点と所定の位置関係を保持
して所定形状のマークを表示するマーキング表示を前述
の画像強調表示と共に実行する機能を付加することも可
能である。Further, the present vehicle periphery monitoring apparatus executes a marking display for displaying a mark of a predetermined shape while maintaining a predetermined positional relationship with a display coordinate point of an obstacle to be image-enhanced display, together with the above-described image emphasis display. It is also possible to add functions.
【００８２】ここで本発明における画像強調表示とは、
運転者や作業者が視認し易いような表示形態でディスプ
レイの表示画面上に表示することを意味する。Here, the image highlighting in the present invention is
This means that the information is displayed on the display screen of the display in a display form that is easy for the driver or operator to visually recognize.
【００８３】このようなマーキング表示及び画像強調表
示の同時実行機能を設けることに依り、自車両走行予想
軌跡範囲内の障害物を運転者や作業者に見易い形態で表
示して警告する車両周辺監視が可能となる。By providing such a simultaneous execution function of the marking display and the image emphasis display, a vehicle periphery monitor that displays and warns an obstacle in the range of the expected trajectory of the vehicle in a form that is easy for the driver or operator to see. Becomes possible.
【００８４】更に本車両周辺監視装置において、前述の
マーキング表示が、画像強調表示対象となる障害物の表
示座標点と所定の位置関係を保持すると共に、所定位置
関係を保持した状態で障害物の移動に同期してマークを
移動させる機能を付加することも可能である。Further, in the present vehicle periphery monitoring apparatus, the above-mentioned marking display maintains a predetermined positional relationship with the display coordinate point of the obstacle to be image-enhanced and displays the obstacle in a state where the predetermined positional relationship is maintained. It is also possible to add a function of moving the mark in synchronization with the movement.
【００８５】ここで、障害物の移動に同期するとは、障
害物の移動と移動のタイミングや移動量、移動方向、移
動速度等を障害物の移動状態に一致させてディスプレイ
上に表示することを意味する。Here, synchronizing with the movement of the obstacle means that the movement of the obstacle and the movement timing, movement amount, movement direction, movement speed, etc. are displayed on the display in accordance with the movement state of the obstacle. means.
【００８６】このようなマーキング表示及び画像強調表
示の同時実行機能を設けることに依り、自車両走行予想
軌跡範囲内に突然、侵入してきた障害物を即時捕捉して
運転者や作業者に警告することができるといった動的な
車両周辺監視が可能となる。By providing such a simultaneous execution function of the marking display and the image emphasis display, an obstacle that suddenly intrudes into the range of the expected traveling trajectory of the host vehicle is immediately captured to warn the driver or the operator. Dynamic monitoring around the vehicle.
【００８７】更に本車両周辺監視装置において、前述の
マーキング表示と前述の画像強調表示とを重ね合わせて
合成さしたスーパーインポーズ画像を表示（以下、スー
パーインポーズ表示と呼ぶ）する機能を付加することも
可能である。Further, in the vehicle periphery monitoring device, a function of displaying a superimposed image obtained by superimposing the above-described marking display and the above-described image emphasis display (hereinafter, referred to as a superimposed display) is added. It is also possible.
【００８８】このようなスーパーインポーズ表示機能を
設けることに依り、どの物体が自車両の走行に対して危
険な障害物に成り得るかに関しての情報（危険度情報）
を、走行方向に対して最も車両に近い位置に存在すると
推定される強調対象の障害物の強調画像表示とマーキン
グ表示とが重ね合わされて合成されたスーパーインポー
ズ画像として運転者や作業者に対して表示して警告する
ことができるようになるといった効果を奏する。By providing such a superimpose display function, information (risk degree information) on which object can be a dangerous obstacle to the running of the host vehicle.
To the driver or operator as a superimposed image synthesized by superimposing and marking the highlighted image display and the marking display of the obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction. This makes it possible to display and warn the user.
【００８９】更に、このスーパーインポーズ表示機能が
可能となる結果、運転者や作業者自らが、自車両走行予
想軌跡範囲内に出現した障害物を自車両走行予想軌跡範
囲内に出現したどの物体が自車両の走行に対して危険な
障害物に成り得るかを装置側で自動的に推定してマーキ
ング表示してくれるので、自車両の操作を行いながら自
車両の走行中に監視して判定する必要がなくなり、運転
者や作業者の監視作業の負担が軽減でき、自車両の安全
操作に集中することが容易にできるようになるといった
効果も奏する。Further, as a result of the superimposed display function being enabled, the driver or the worker himself / herself replaces an obstacle that has appeared in the expected travel range of the own vehicle with any object that has appeared in the expected travel range of the own vehicle. The device automatically estimates whether or not it may be a dangerous obstacle to the running of the own vehicle and displays the marking, so that while operating the own vehicle, monitor and judge while running the own vehicle This eliminates the necessity to perform the operation, and reduces the burden on the driver and the operator for monitoring work, thereby making it easier to concentrate on the safe operation of the vehicle.
【００９０】このような車両周辺監視装置は、演算や制
御を実行するためのＣＰＵ，演算結果等を保持するため
のＲＡＭ、プログラム等の記録用のＲＯＭ、外部との情
報の送受信の制御を実行するペリフェラルインターフェ
イス、後述する媒体に保持されているプログラムや各種
の情報の読み込み・書き出しを実行するためのフロッピ
ディスク装置やハードディスク装置、コマンド等の入力
するためのキーボード、各種のメッセージを表示するた
めのディスプレイ等を中心にして構成されたマイクロコ
ンピュータによって実現されている。Such a vehicle periphery monitoring device executes a CPU for executing calculations and controls, a RAM for holding results of calculations, a ROM for recording programs and the like, and controls the transmission and reception of information to and from the outside. Peripheral interface, a floppy disk drive or hard disk drive for reading and writing programs and various information stored in the medium described later, a keyboard for inputting commands, etc., and a keyboard for displaying various messages It is realized by a microcomputer mainly composed of a display and the like.
【００９１】次に、図面に基づき、前述の車両周辺監視
装置の実施形態を説明する。Next, an embodiment of the above-described vehicle periphery monitoring device will be described with reference to the drawings.
【００９２】図１は、本実施形態の車両周辺監視装置１
０を説明するための機能ブロック図である。FIG. 1 shows a vehicle periphery monitoring device 1 according to this embodiment.
FIG. 4 is a functional block diagram for explaining the function No. 0;
【００９３】本実施形態の車両周辺監視装置１０は、図
１に示すように、自車両走行予想軌跡３０Ａ範囲内に、
撮像画像に基づいて少なくとも１つ以上の障害物が存在
すると推定される場合、自車両走行予想軌跡３０Ａ範囲
内の障害物の中から、走行方向に対して至近位置に存在
すると推定される障害物の画像をスーパーインポーズ画
像情報２４ａを用いてスーパーインポーズ表示すること
により画像強調表示を実行する機能を有し、画像読取手
段１２と特徴点抽出手段と至近特徴点抽出手段と特徴点
群抽出手段１８と座標抽出手段２０とマーキング演算手
段２２とスーパーインポーズ演算手段２４と表示手段２
６と走行軌跡推定手段３０とを有する。As shown in FIG. 1, the vehicle surroundings monitoring device 10 of the present embodiment has
When it is estimated that at least one or more obstacles are present based on the captured image, an obstacle that is estimated to be present at a position closest to the traveling direction from obstacles within the range of the expected traveling trajectory 30A of the vehicle. Has a function of performing image emphasis display by superimposing and displaying the image of the image using the superimposed image information 24a. The image reading means 12, the feature point extracting means, the closest feature point extracting means, and the feature point group extraction Means 18, coordinate extracting means 20, marking calculating means 22, superimposing calculating means 24, and displaying means 2
6 and a running locus estimating means 30.
【００９４】画像読取手段１２は、車両に設置され車両
の周辺における監視領域の立体画像を撮像して３次元座
標情報を有する生画像情報１２ａを生成する機能を有す
る。The image reading means 12 has a function of picking up a three-dimensional image of a monitoring area in the vicinity of the vehicle installed on the vehicle and generating raw image information 12a having three-dimensional coordinate information.
【００９５】このような画像読取手段１２は、少なくと
も１つ以上のＣＣＤカメラと画像メモリ等によって構成
されている。また、演算や制御を実行するためのＣＰ
Ｕ，演算結果等を保持するためのＲＡＭ、プログラム等
の記録用のＲＯＭ、外部との情報の送受信の制御を実行
するペリフェラルインターフェイス、後述する媒体に保
持されているプログラムや各種の情報の読み込み・書き
出しを実行するためのフロッピディスク装置やハードデ
ィスク装置等を中心にして構成されたマイクロコンピュ
ータを画像処理プロセッサーとして内蔵している。The image reading means 12 comprises at least one or more CCD cameras and an image memory. Also, a CP for executing calculations and controls
U, RAM for holding calculation results and the like, ROM for recording programs and the like, peripheral interface for controlling transmission and reception of information with the outside, reading and reading of programs and various information held in a medium described later. A microcomputer mainly composed of a floppy disk device, a hard disk device and the like for executing writing is built in as an image processing processor.
【００９６】走行軌跡推定手段３０は、自車両走行予想
軌跡３０Ａ範囲にかかる自車両走行予想軌跡情報３０ａ
を生成する機能を有する。The traveling trajectory estimating means 30 calculates the own vehicle traveling expected trajectory information 30a in the range of the own vehicle traveling expected trajectory 30A.
Has the function of generating
【００９７】このような走行軌跡推定手段３０は、演算
や制御を実行するためのＣＰＵ，演算結果等を保持する
ためのＲＡＭ、プログラム等の記録用のＲＯＭ、外部と
の情報の送受信の制御を実行するペリフェラルインター
フェイス、後述する媒体に保持されているプログラムや
各種の情報の読み込み・書き出しを実行するためのフロ
ッピディスク装置やハードディスク装置等を中心にして
構成されたマイクロコンピュータによって実現されてい
る。The traveling trajectory estimating means 30 controls the CPU for executing calculations and controls, the RAM for holding the results of calculations, the ROM for recording programs and the like, and controls the transmission and reception of information with the outside. It is realized by a microcomputer mainly composed of a peripheral interface to be executed, a floppy disk device and a hard disk device for reading and writing programs and various information stored in a medium described later.
【００９８】特徴点抽出手段１４は、自車両走行予想軌
跡情報３０ａ及び生画像情報１２ａに基づいて、自車両
走行予想軌跡３０Ａ範囲内に、少なくとも１つ以上の障
害物が存在すると推定される場合、生画像情報１２ａに
所定解像度の走査線Ｌ1，…，Ｌｍを与えて走査線Ｌ1，
…，Ｌｍ（水平走査線）と障害物画像との交点を検出す
ると共に、交点に基づいて障害物にかかる特徴点情報Ｐ
1，…，Ｐnを生成する機能を有する。The feature point extracting means 14 determines that at least one or more obstacles are present in the range of the expected travel trajectory 30A of the own vehicle based on the expected travel trajectory information 30a and the raw image information 12a. , Lm of the predetermined resolution to the raw image information 12a to provide the scanning lines L1,.
.., Lm (horizontal scanning line) and the intersection of the obstacle image are detected, and feature point information P on the obstacle is determined based on the intersection.
1,..., Pn.
【００９９】なお、本実施形態において、走査線Ｌ1，
…，Ｌｍとは、表示に対して水平方向の走査線でも良い
し、垂直方向の走査線でも良い。In the present embodiment, the scanning lines L1,
, Lm may be horizontal scanning lines or vertical scanning lines with respect to the display.
【０１００】このような特徴点抽出手段１４は、演算や
制御を実行するためのＣＰＵ，演算結果等を保持するた
めのＲＡＭ、プログラム等の記録用のＲＯＭ、外部との
情報の送受信の制御を実行するペリフェラルインターフ
ェイス、後述する媒体に保持されているプログラムや各
種の情報の読み込み・書き出しを実行するためのフロッ
ピディスク装置やハードディスク装置等を中心にして構
成されたマイクロコンピュータによって実現されてい
る。The feature point extracting means 14 controls the CPU for executing calculations and controls, the RAM for holding the calculation results and the like, the ROM for recording programs and the like, and the control of transmission and reception of information with the outside. It is realized by a microcomputer mainly composed of a peripheral interface to be executed, a floppy disk device and a hard disk device for reading and writing programs and various information stored in a medium described later.
【０１０１】至近特徴点抽出手段１６は、生画像情報１
２ａが有する３次元座標情報及び特徴点情報Ｐ1，…，
Ｐnを用いて、障害物の中から、車両の走行方向に対し
て最も車両に近い位置に存在する障害物を推定すると共
に、至近位置に有ると推定された障害物にかかる至近特
徴点を至近特徴点情報Ｐminとして特徴点情報Ｐ1，…，
Ｐnの中から選択する機能を有する。The closest feature point extracting means 16 outputs the raw image information 1
2a has three-dimensional coordinate information and feature point information P1,.
Using Pn, an obstacle existing at a position closest to the vehicle with respect to the running direction of the vehicle is estimated from obstacles, and a close feature point of the obstacle estimated to be located at the closest position is located close to the vehicle. As feature point information Pmin, feature point information P1,.
It has a function of selecting from Pn.
【０１０２】このような至近特徴点抽出手段１６は、演
算や制御を実行するためのＣＰＵ，演算結果等を保持す
るためのＲＡＭ、プログラム等の記録用のＲＯＭ、外部
との情報の送受信の制御を実行するペリフェラルインタ
ーフェイス、後述する媒体に保持されているプログラム
や各種の情報の読み込み・書き出しを実行するためのフ
ロッピディスク装置やハードディスク装置等を中心にし
て構成されたマイクロコンピュータによって実現されて
いる。The close feature point extracting means 16 includes a CPU for executing calculations and control, a RAM for holding calculation results and the like, a ROM for recording programs and the like, and a control for transmitting and receiving information to and from the outside. And a microcomputer mainly configured with a floppy disk device, a hard disk device, and the like for reading and writing programs and various information stored in a medium described later.
【０１０３】特徴点群抽出手段１８は、生画像情報１２
ａが有する３次元座標情報と特徴点情報Ｐ1，…，Ｐnと
至近特徴点情報Ｐminとを用いて、至近特徴点を中心に
所定距離を有する３次元空間範囲を設け、３次元空間範
囲内に含まれる３次元座標を有する特徴点の集合である
特徴点群を特徴点群情報｛Ｐ｝（後述する図４（ｃ）に
おいて破線で囲まれた点群）として特徴点情報Ｐ1，
…，Ｐnの中から選択する機能を有する。The feature point group extracting means 18 outputs the raw image information 12
A three-dimensional space range having a predetermined distance from the closest feature point is provided using the three-dimensional coordinate information, feature point information P1,..., Pn, and the closest feature point information Pmin. A feature point group, which is a set of feature points having three-dimensional coordinates included therein, is defined as feature point group information {P} (point group surrounded by a broken line in FIG.
.., Pn.
【０１０４】このような特徴点群抽出手段１８は、演算
や制御を実行するためのＣＰＵ，演算結果等を保持する
ためのＲＡＭ、プログラム等の記録用のＲＯＭ、外部と
の情報の送受信の制御を実行するペリフェラルインター
フェイス、後述する媒体に保持されているプログラムや
各種の情報の読み込み・書き出しを実行するためのフロ
ッピディスク装置やハードディスク装置等を中心にして
構成されたマイクロコンピュータによって実現されてい
る。The feature point group extracting means 18 includes a CPU for executing calculations and controls, a RAM for holding calculation results and the like, a ROM for recording programs and the like, and a control for transmitting and receiving information to and from the outside. And a microcomputer mainly configured with a floppy disk device, a hard disk device, and the like for reading and writing programs and various information stored in a medium described later.
【０１０５】座標抽出手段２０は、特徴点群を全て囲む
ような四角形（具体的には、長方形）を求めると共に、
四角形の座標を座標情報｛ａ1（ｘ1，ｘ2），ａ2（ｘ
1，ｘ2）｝として生成する機能を有する。The coordinate extracting means 20 obtains a square (specifically, a rectangle) surrounding the entire feature point group,
The coordinates of the rectangle are represented by coordinate information ｛a1 (x1, x2), a2 (x
1, x2)}.
【０１０６】このような座標抽出手段２０は、演算や制
御を実行するためのＣＰＵ，演算結果等を保持するため
のＲＡＭ、プログラム等の記録用のＲＯＭ、外部との情
報の送受信の制御を実行するペリフェラルインターフェ
イス、後述する媒体に保持されているプログラムや各種
の情報の読み込み・書き出しを実行するためのフロッピ
ディスク装置やハードディスク装置等を中心にして構成
されたマイクロコンピュータによって実現されている。The coordinate extracting means 20 executes a CPU for executing calculations and controls, a RAM for holding calculation results and the like, a ROM for recording programs and the like, and controls the transmission and reception of information to and from the outside. This is realized by a microcomputer mainly composed of a floppy disk device, a hard disk device, and the like for reading and writing a program and various kinds of information stored in a medium described later.
【０１０７】マーキング演算手段２２は、座標情報｛ａ
1，ａ2｝及び特徴点情報Ｐ1，…，Ｐnを用いて、障害物
画像に四角形をマーク（具体的には、メッシュ形状で構
成された長方形）としてマーキング表示するための座標
をマーキング情報２２ａとして生成する機能を有する。The marking calculating means 22 calculates the coordinate information {a
1, a2} and the feature point information P1,..., Pn are used as marking information 22a to indicate the coordinates for marking and displaying a rectangle on the obstacle image as a mark (specifically, a rectangle formed in a mesh shape). Has the function of generating.
【０１０８】このようなマーキング演算手段２２は、演
算や制御を実行するためのＣＰＵ，演算結果等を保持す
るためのＲＡＭ、プログラム等の記録用のＲＯＭ、外部
との情報の送受信の制御を実行するペリフェラルインタ
ーフェイス、後述する媒体に保持されているプログラム
や各種の情報の読み込み・書き出しを実行するためのフ
ロッピディスク装置やハードディスク装置等を中心にし
て構成されたマイクロコンピュータによって実現されて
いる。The marking calculation means 22 executes a CPU for executing calculations and controls, a RAM for holding calculation results and the like, a ROM for recording programs and the like, and controls the transmission and reception of information with the outside. This is realized by a microcomputer mainly composed of a floppy disk device, a hard disk device, and the like for reading and writing a program and various kinds of information stored in a medium described later.
【０１０９】スーパーインポーズ演算手段２４は、マー
キング情報２２ａを生画像情報１２ａに重ね合わせて合
成したスーパーインポーズ画像であるスーパーインポー
ズ画像情報２４ａを生成する機能を有する。The superimposition calculating means 24 has a function of generating superimposed image information 24a which is a superimposed image obtained by superimposing the marking information 22a on the raw image information 12a.
【０１１０】このようなスーパーインポーズ演算手段２
４は、演算や制御を実行するためのＣＰＵ，演算結果等
を保持するためのＲＡＭ、プログラム等の記録用のＲＯ
Ｍ、外部との情報の送受信の制御を実行するペリフェラ
ルインターフェイス、後述する媒体に保持されているプ
ログラムや各種の情報の読み込み・書き出しを実行する
ためのフロッピディスク装置等を中心にして構成された
マイクロコンピュータによって実現されている。Such a superimpose calculation means 2
Reference numeral 4 denotes a CPU for executing calculations and controls, a RAM for holding calculation results and the like, and a RO for recording programs and the like.
M, a peripheral interface that controls transmission and reception of information to and from the outside, a microcontroller mainly configured with a floppy disk device and the like for reading and writing programs and various information stored in a medium described below. It is realized by a computer.
【０１１１】表示手段２６は、このような処理を経たス
ーパーインポーズ画像情報２４ａをを運転者や作業者が
理解しやすいような表示形態（例えば、ＧＵＩの様なユ
ーザーフレンドリーな表示形態）を用いて表示画面２６
２に表示することができる。The display means 26 uses a display mode (for example, a user-friendly display mode such as a GUI) in which the driver and the operator can easily understand the superimposed image information 24a that has undergone such processing. Display screen 26
2 can be displayed.
【０１１２】このような表示手段２６は、、各種のメッ
セージを表示するためのディスプレイ等を中心にして構
成されたマイクロコンピュータによって実現されてい
る。The display means 26 is realized by a microcomputer mainly composed of a display for displaying various messages.
【０１１３】次に、車両周辺監視装置１０の動作を説明
する。Next, the operation of the vehicle periphery monitoring device 10 will be described.
【０１１４】図２は、図１の車両周辺監視装置１０の警
報表示動作を説明するための各種の表示形態説明図であ
って、図２（ａ）は、表示手段２６の表示画面２６２に
映し出された生画像情報１２ａの表示形態であり、図２
（ｂ）は、自車両走行予想軌跡３０Ａ範囲内にある生画
像情報１２ａに対してこの自車両走行予想軌跡３０Ａ範
囲をスーパーインポーズ表示した表示形態を説明するた
めの図であり、図２（ｃ）は、図２（ｂ）のスーパーイ
ンポーズ表示に対して更にマーキング情報２２ａをスー
パーインポーズ表示した表示形態を説明するための図で
あり、図２（ｄ）は、自車両走行予想軌跡３０Ａ範囲外
にある生画像情報１２ａに対してこの自車両走行予想軌
跡３０Ａ範囲をスーパーインポーズ表示形態において、
マーキング情報２２ａをスーパーインポーズ表示した表
示形態を説明するための図であり、図２（ｅ）は、自車
両走行予想軌跡３０Ａ範囲内にある複数の生画像情報１
２ａに対してこの自車両走行予想軌跡３０Ａ範囲をスー
パーインポーズ表示した表示形態において、更に、至近
特徴点が抽出された生画像情報１２ａに対するマーキン
グ情報２２ａをスーパーインポーズ表示した表示形態を
説明するための図であり、図２（ｆ）は、複数の生画像
情報１２ａに対してこの自車両走行予想軌跡３０Ａ範囲
をスーパーインポーズ表示した表示形態において、自車
両走行予想軌跡３０Ａ範囲外にある至近特徴点が抽出さ
れた生画像情報１２ａに対してはマーキング情報２２ａ
をスーパーインポーズ表示せず、自車両走行予想軌跡３
０Ａ範囲内において至近特徴点が抽出された生画像情報
１２ａに対してマーキング情報２２ａをスーパーインポ
ーズ表示した表示形態を説明するための図であである。FIG. 2 is a view for explaining various display forms for explaining the alarm display operation of the vehicle periphery monitoring device 10 of FIG. 1. FIG. 2 (a) is shown on the display screen 262 of the display means 26. FIG. 2 is a display form of the raw image information 12a obtained by
FIG. 2B is a diagram for explaining a display mode in which the range of the expected travel trajectory 30A of the own vehicle is superimposed and displayed on the raw image information 12a within the range of the expected travel trajectory 30A of the own vehicle. 2C is a diagram for explaining a display form in which the marking information 22a is further superimposed and displayed on the superimposed display of FIG. 2B, and FIG. For the raw image information 12a outside the 30A range, in the superimposed display mode,
FIG. 2E is a diagram for explaining a display mode in which the marking information 22a is displayed in a superimposed manner. FIG.
A display mode in which the range of the own vehicle travel expected trajectory 30A is superimposed with respect to 2a and the marking information 22a for the raw image information 12a from which the closest feature point is extracted is further superimposed and displayed will be described. FIG. 2 (f) is a display form in which the range of the expected travel trajectory 30A for the plurality of raw image information 12a is superimposed and is outside the range of the expected travel trajectory 30A. Marking information 22a is applied to the raw image information 12a from which the closest feature point is extracted.
Is not superimposed on the display, and the expected track 3
FIG. 11 is a diagram for explaining a display mode in which marking information 22a is superimposed and displayed on raw image information 12a in which a closest feature point is extracted within a 0A range.
【０１１５】車両周辺監視装置１０において、生画像情
報１２ａは、図２（ａ）に示すように、表示手段２６の
表示画面２６２に映し出される。In the vehicle periphery monitoring device 10, the raw image information 12a is displayed on the display screen 262 of the display means 26 as shown in FIG.
【０１１６】車両周辺監視装置１０は、図２（ｂ）に示
すように、特徴点抽出手段１４、至近特徴点抽出手段１
６、特徴点群抽出手段１８、及び走行軌跡推定手段３０
を制御することに依り、自車両走行予想軌跡３０Ａ範囲
内にある生画像情報１２ａに対してこの自車両走行予想
軌跡３０Ａ範囲をスーパーインポーズ表示する。As shown in FIG. 2B, the vehicle periphery monitoring device 10 includes the feature point extracting means 14 and the closest feature point extracting means 1.
6. Feature point group extracting means 18 and running trajectory estimating means 30
Is controlled to superimpose and display the range of the expected travel trajectory 30A of the own vehicle with respect to the raw image information 12a within the range of the expected travel trajectory 30A of the own vehicle.
【０１１７】続いて、図２（ｃ）に示すように、マーキ
ング演算手段２２及びスーパーインポーズ演算手段２４
を制御することに依り、図２（ｂ）のスーパーインポー
ズ表示に対して更にマーキング情報２２ａをスーパーイ
ンポーズ表示する。Subsequently, as shown in FIG. 2C, the marking calculation means 22 and the superimposition calculation means 24
, The marking information 22a is further superimposed on the superimposed display shown in FIG. 2B.
【０１１８】続いて、図２（ｄ）に示すように、マーキ
ング演算手段２２及びスーパーインポーズ演算手段２４
を制御することに依り、自車両走行予想軌跡３０Ａ範囲
外にある生画像情報１２ａに対して、この自車両走行予
想軌跡３０Ａ範囲をスーパーインポーズ表示形態におい
て、マーキング情報２２ａをスーパーインポーズ表示す
る。Subsequently, as shown in FIG. 2D, the marking calculation means 22 and the superimposition calculation means 24
Is controlled, the marking information 22a is superimposed and displayed in the superimposed display mode in the range of the own vehicle running expected locus 30A in the superimposed display mode for the raw image information 12a outside the range of the own vehicle running expected locus 30A. .
【０１１９】また、図２（ｅ）に示すように、自車両走
行予想軌跡３０Ａ範囲内にある複数の生画像情報１２ａ
に対してこの自車両走行予想軌跡３０Ａ範囲をスーパー
インポーズ表示した表示形態において、更に、至近特徴
点が抽出された生画像情報１２ａに対するマーキング情
報２２ａをスーパーインポーズ表示することもできる。Further, as shown in FIG. 2E, a plurality of pieces of raw image information 12a within the
On the other hand, in the display form in which the range of the predicted traveling trajectory 30A of the host vehicle is superimposed, the marking information 22a for the raw image information 12a from which the closest feature point is extracted can be superimposed.
【０１２０】また、図２（ｆ）に示すように、複数の生
画像情報１２ａに対してこの自車両走行予想軌跡３０Ａ
範囲をスーパーインポーズ表示した表示形態において、
自車両走行予想軌跡３０Ａ範囲外にある至近特徴点が抽
出された生画像情報１２ａに対しては、マーキング情報
２２ａをスーパーインポーズ表示せず、自車両走行予想
軌跡３０Ａ範囲内において至近特徴点が抽出された生画
像情報１２ａに対してマーキング情報２２ａをスーパー
インポーズ表示することもできる。Further, as shown in FIG. 2 (f), the own vehicle traveling expected trajectory 30A for a plurality of pieces of raw image information 12a.
In the display mode where the range is superimposed,
The superimposed display of the marking information 22a is not performed on the raw image information 12a from which the closest feature points outside the predicted range of the own vehicle traveling trajectory 30A are extracted. The marking information 22a can be superimposed and displayed on the extracted raw image information 12a.
【０１２１】次に、本実施形態の車両周辺監視装置１０
に用いられる警報表示方法を説明する。Next, the vehicle periphery monitoring device 10 of the present embodiment
An alarm display method used for the following will be described.
【０１２２】図３は、図１の車両周辺監視装置１０に用
いられる警報表示方法を説明するためのフローチャート
である。FIG. 3 is a flowchart for explaining an alarm display method used in the vehicle periphery monitoring device 10 of FIG.
【０１２３】図４は、図１の車両周辺監視装置１０に用
いられる警報表示方法を説明するための動作説明図であ
って、図４（ａ）は、表示手段２６の表示画面２６２に
映し出された生画像情報１２ａの表示形態であり、図４
（ｂ）は、特徴点の抽出過程を説明するための図であ
り、図４（ｃ）は、至近特徴点の抽出過程及び特徴点群
の抽出過程を説明するための図であり、図４（ｄ）は、
特徴点群に対する座標点の抽出過程を説明するための図
であり、図４（ｅ）は、抽出された座標点に対するマー
キング情報２２ａの生成過程を説明するための図であ
る。FIG. 4 is an operation explanatory diagram for explaining an alarm display method used in the vehicle periphery monitoring device 10 of FIG. 1. FIG. 4 (a) is shown on a display screen 262 of the display means 26. FIG. 4 shows a display format of the raw image information 12a.
4B is a diagram for explaining a feature point extraction process, and FIG. 4C is a diagram for explaining a nearby feature point extraction process and a feature point group extraction process. (D)
FIG. 4E is a diagram for explaining a process of extracting coordinate points for a feature point group, and FIG. 4E is a diagram for explaining a process of generating marking information 22a for the extracted coordinate points.
【０１２４】ステップＳ１は画像読取工程を有する。Step S1 has an image reading step.
【０１２５】画像読取工程は、図４（ａ）に示すよう
に、前述の走行軌跡推定手段３０が、車両に設置され車
両の周辺における監視領域の立体画像を撮像する工程
と、３次元座標情報を有する生画像情報１２ａを生成し
て記憶する工程である（図３のステップＳ１参照）。As shown in FIG. 4A, the image reading step includes a step in which the traveling trajectory estimating means 30 captures a stereoscopic image of a monitoring area provided around the vehicle and installed in the vehicle. This is a step of generating and storing the raw image information 12a having the following (see step S1 in FIG. 3).
【０１２６】ステップＳ２は、走行軌跡推定工程止と走
行軌跡推定工程と至近特徴点抽出工程とから構成されて
いる。Step S2 comprises a stop of the running locus estimating step, a running locus estimating step, and a closest feature point extracting step.
【０１２７】走行軌跡推定工程は、図４（ｂ）に示すよ
うに、前述の走行軌跡推定手段３０が、自車両走行予想
軌跡情報３０ａを生成する工程である（図３のステップ
Ｓ２参照）。The traveling locus estimating step is a step in which the traveling locus estimating means 30 generates the own vehicle traveling predicted locus information 30a as shown in FIG. 4B (see step S2 in FIG. 3).
【０１２８】特徴点抽出工程は、図４（ｂ）に示すよう
に、前述の特徴点抽出手段（マイクロコンピュータ）１
４が、自車両走行予想軌跡情報３０ａ及び生画像情報１
２ａに基づいて、自車両走行予想軌跡３０Ａ範囲内に、
障害物の存在を推定する工程と、少なくとも１つ以上の
障害物が存在すると推定される場合、生画像情報１２ａ
に所定解像度の走査線Ｌ1，…，Ｌｍを与えて走査線Ｌ
1，…，Ｌｍと障害物画像との交点を検出する工程と、
交点に基づいて特徴点情報Ｐ1，…，Ｐnを生成する工程
とを実行する工程である（図３のステップＳ２参照）。In the feature point extracting step, as shown in FIG. 4B, the aforementioned feature point extracting means (microcomputer) 1
4 is the own vehicle travel expected trajectory information 30a and the raw image information 1
2a, based on the own vehicle travel expected locus 30A range,
Estimating the presence of an obstacle; and, if it is estimated that at least one or more obstacles are present, the raw image information 12a
Are given scanning lines L1,..., Lm having a predetermined resolution.
Detecting a point of intersection between the Lm and the obstacle image;
And generating a feature point information P1,..., Pn based on the intersection (see step S2 in FIG. 3).
【０１２９】至近特徴点抽出工程は、図４（ｂ）に示す
ように、前述の至近特徴点抽出手段（マイクロコンピュ
ータ）１６が、３次元座標情報及び特徴点情報Ｐ1，
…，Ｐnを用いて、障害物の中から、車両の走行方向に
対して最も車両に近い位置に存在する障害物を推定する
する工程と、至近特徴点を至近特徴点情報Ｐminとして
特徴点情報Ｐ1，…，Ｐnの中から選択する工程とを実行
する工程である（図３のステップＳ２参照）。In the closest feature point extracting step, as shown in FIG. 4B, the aforementioned closest feature point extracting means (microcomputer) 16 uses the three-dimensional coordinate information and the feature point information P 1,
.., Pn to estimate an obstacle present at a position closest to the vehicle with respect to the traveling direction of the vehicle from the obstacles, and feature point information using close feature points as close feature point information Pmin. , Pn and a step of selecting from Pn (see step S2 in FIG. 3).
【０１３０】ステップＳ３は、特徴点群抽出工程を有す
る。ステップＳ３における特徴点群抽出工程は、図４
（ｃ）に示すように、前述の特徴点群抽出手段（マイク
ロコンピュータ）１８が、生画像情報１２ａが有する３
次元座標情報と特徴点情報Ｐ1，…，Ｐnと至近特徴点情
報Ｐminとを用いて、至近特徴点を中心に３次元空間範
囲を設ける工程と、３次元空間範囲内に含まれる特徴点
群を特徴点群情報｛Ｐ｝として特徴点情報Ｐ1，…，Ｐn
の中から選択する工程とを実行する工程である（図３の
ステップＳ３参照）。Step S3 has a feature point group extraction step. The feature point group extraction step in step S3 is the same as that in FIG.
As shown in (c), the above-mentioned feature point group extracting means (microcomputer) 18
Using the three-dimensional coordinate information, the feature point information P1,..., Pn and the closest feature point information Pmin to provide a three-dimensional space range around the closest feature point; .., Pn as feature point group information {P}
(See step S3 in FIG. 3).
【０１３１】ステップＳ４は、座標抽出工程を有する。
ステップＳ４における座標抽出工程は、前述の座標抽出
手段（マイクロコンピュータ）２０が、図４（ｄ）に示
すように、特徴点群を全て囲むような四角形を求める工
程と、四角形の座標を座標情報｛ａ1，ａ2｝として生成
する工程とを実行する工程である。Step S4 has a coordinate extracting step.
The coordinate extraction step in step S4 includes a step in which the coordinate extraction means (microcomputer) 20 determines a rectangle surrounding the entire feature point group, as shown in FIG. And a step of generating as {a1, a2}.
【０１３２】ステップＳ４は、マーキング演算工程を有
する。マーキング演算工程は、図４（ｄ）に示すよう
に、前述のマーキング演算手段（マイクロコンピュー
タ）２２が、座標情報｛ａ1，ａ2｝及び特徴点情報Ｐ
1，…，Ｐnを用いて、障害物画像に四角形をマークとし
てマーキング情報２２ａを生成する工程である（図３の
ステップＳ４参照）。Step S4 has a marking calculation step. In the marking calculation step, as shown in FIG. 4D, the above-described marking calculation means (microcomputer) 22 performs the coordinate information {a1, a2} and the feature point information P
This is a step of generating marking information 22a by using a square as a mark on the obstacle image using 1,..., Pn (see step S4 in FIG. 3).
【０１３３】ステップＳ５は、スーパーインポーズ演算
工程と表示工程とを有する。Step S5 includes a superimpose calculation step and a display step.
【０１３４】スーパーインポーズ演算工程は、図４
（ｅ）に示すように、前述のスーパーインポーズ演算手
段（マイクロコンピュータ）２４が、マーキング情報２
２ａを生画像情報１２ａに重ね合わせてスーパーインポ
ーズ画像情報２４ａを生成する工程である（図３のステ
ップＳ５参照）。The superimpose calculation step is performed as shown in FIG.
As shown in (e), the superimpose calculating means (microcomputer) 24 described above outputs the marking information 2
In this step, superimposed image information 24a is generated by superimposing 2a on raw image information 12a (see step S5 in FIG. 3).
【０１３５】表示工程は、図４（ｅ）に示すように、前
述の表示手段（ディスプレイ）２６が、自車両走行予想
軌跡３０Ａ範囲内の障害物の中から、走行方向に対して
至近位置に存在すると推定される障害物の画像をスーパ
ーインポーズ画像情報２４ａを用いてスーパーインポー
ズ表示することにより画像強調表示を実行する工程であ
る（図３のステップＳ５参照）。In the display step, as shown in FIG. 4 (e), the above-mentioned display means (display) 26 moves from the obstacle within the range of the expected traveling trajectory 30A of the own vehicle to a position closest to the traveling direction. This is a step of performing image emphasis display by superimposing and displaying an image of an obstacle presumed to be present using the superimposed image information 24a (see step S5 in FIG. 3).
【０１３６】以上説明したように、このような警報表示
方法の実施形態に依れば、走行軌跡推定工程と特徴点抽
出工程と至近特徴点抽出工程とを中心にして推定される
危険度情報を、走行方向に対して最も車両に近い位置に
存在すると推定される強調対象の障害物の強調画像表示
とマーキング演算工程を中心にして実行されるマーキン
グ表示とがスーパーインポーズ演算工程を中心にして実
行されるスーパーインポーズ表示として運転者や作業者
に対して警告することができるようになるといった効果
を奏する。As described above, according to such an embodiment of the alarm display method, the risk information estimated mainly on the traveling locus estimation step, the feature point extraction step, and the closest feature point extraction step is obtained. The emphasis image display of the obstacle to be emphasized presumed to be present at the position closest to the vehicle with respect to the traveling direction and the marking display executed around the marking operation step are mainly performed in the superimposition operation step. There is an effect that the driver or the worker can be warned as the superimposed display to be executed.
【０１３７】更に、スーパーインポーズ演算工程による
スーパーインポーズ表示が可能となる結果、運転者や作
業者自らが、自車両走行予想軌跡Ａ範囲内に出現した障
害物を自車両走行予想軌跡Ａ範囲内に出現したどの物体
が自車両の走行に対して危険な障害物に成り得るかを装
置側（具体的には、走行軌跡推定工程と特徴点抽出工程
と至近特徴点抽出工程）で自動的に推定して、マーキン
グ演算工程がマーキング表示してくれるので、自車両の
操作を行いながら自車両の走行中に監視して判定する必
要がなくなり、運転者や作業者の監視作業の負担が軽減
でき、自車両の安全操作に集中することが容易にできる
ようになるといった効果も奏する。Further, as a result of the superimposed display being possible in the superimposed calculation step, the driver or the worker himself / herself can move the obstacle appearing within the predicted travel trajectory A of the own vehicle to the expected travel trajectory A of the own vehicle. The device (specifically, the trajectory estimation process, the feature point extraction process, and the closest feature point extraction process) automatically determines which objects appearing in the vehicle can be dangerous obstacles to the running of the vehicle. And the marking calculation process displays the markings, eliminating the need to monitor and judge while the own vehicle is running while operating the own vehicle, reducing the burden on the driver and workers in monitoring work It is also possible to easily concentrate on the safe operation of the vehicle.
【０１３８】[0138]
【発明の効果】請求項１に記載の発明に依れば、どの物
体が自車両の走行に対して危険な障害物に成り得るかに
関しての情報（危険度情報）を、運転者や作業者に対し
て表示して警告することができるようになるといった効
果を奏する。According to the first aspect of the present invention, information (risk degree information) on which object can be a dangerous obstacle to the traveling of the host vehicle is provided to the driver or the worker. And the warning can be displayed.
【０１３９】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定して強調表示してくれるの
で、運転者や作業者自らが、自車両の操作を行いながら
自車両の走行中に監視して判定する必要がなくなり、運
転者や作業者の監視作業の負担が軽減でき、自車両の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。[0139] As a result, the obstacles appearing within the predicted travel trajectory range of the own vehicle can be determined on the device side as to which objects appearing within the predicted travel trajectory of the own vehicle can be dangerous obstacles to the travel of the own vehicle. Automatically estimates and highlights the data, so there is no need for the driver or worker to monitor and determine while operating the vehicle while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１４０】請求項２に記載の発明に依れば、請求項１
に記載の効果に加えて、どの物体が自車両の走行に対し
て危険な障害物に成り得るかに関しての情報（危険度情
報）を、走行方向に対して所定の距離範囲内に存在する
と推定される強調対象の障害物に対して強調画像表示し
て運転者や作業者に対して警告することができるように
なるといった効果を奏する。According to the invention described in claim 2, according to claim 1
In addition to the effects described in (1), it is estimated that information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle exists within a predetermined distance range with respect to the traveling direction. It is possible to display an emphasized image of an obstacle to be emphasized and warn a driver or an operator.
【０１４１】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定して強調表示してくれるの
で、運転者や作業者自らが、自車両の操作を行いながら
自車両の走行中に監視して判定する必要がなくなり、運
転者や作業者の監視作業の負担が軽減でき、自車両の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。As a result, the obstacles appearing in the predicted travel trajectory range of the own vehicle can be determined on the device side as to which objects appearing in the predicted travel trajectory range of the own vehicle can be dangerous obstacles for the travel of the own vehicle. Automatically estimates and highlights the data, so there is no need for the driver or worker to monitor and determine while operating the vehicle while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１４２】請求項３に記載の発明に依れば、請求項１
又は２に記載の効果に加えて、どの物体が自車両の走行
に対して危険な障害物に成り得るかに関しての情報（危
険度情報）を、走行方向に対して最も車両に近い位置に
存在すると推定される強調対象の障害物に対して強調画
像表示して運転者や作業者に対して警告することができ
るようになるといった効果を奏する。According to the third aspect of the present invention, a first aspect is provided.
Or, in addition to the effect described in 2, the information (risk degree information) on which object can be a dangerous obstacle to the traveling of the own vehicle exists at a position closest to the vehicle in the traveling direction. Then, it is possible to display an emphasized image of an estimated obstacle to be emphasized and warn a driver or an operator.
【０１４３】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定して強調表示してくれるの
で、運転者や作業者自らが、自車両の操作を行いながら
自車両の走行中に監視して判定する必要がなくなり、運
転者や作業者の監視作業の負担が軽減でき、自車両の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。As a result, the obstacles appearing in the expected travel range of the own vehicle can be determined by the device as to which objects appearing in the expected travel range of the own vehicle can be dangerous obstacles for the travel of the own vehicle. Automatically estimates and highlights the data, so there is no need for the driver or worker to monitor and determine while operating the vehicle while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１４４】請求項４に記載の発明に依れば、請求項１
乃至３のいずれか一項に記載の効果に加えて、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、走行方向に対して最も車
両に近い位置に存在すると推定される強調対象の障害物
に対して実行される強調画像表示とマーキング表示とを
用いて、運転者や作業者に対して警告することができる
ようになるといった効果を奏する。According to the invention set forth in claim 4, according to claim 1
In addition to the effects described in any one of (1) to (3), information (risk degree information) on which object can be a dangerous obstacle to the traveling of the own vehicle is transmitted to the vehicle in the traveling direction. The effect that it becomes possible to warn a driver or an operator by using an enhanced image display and a marking display executed on an obstacle to be emphasized which is presumed to be located near Play.
【０１４５】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定してマーキング表示してくれ
るので、運転者や作業者自らが、自車両の操作を行いな
がら自車両の走行中に監視して判定する必要がなくな
り、運転者や作業者の監視作業の負担が軽減でき、自車
両の安全操作に集中することが容易にできるようになる
といった効果も奏する。As a result, the obstacle which appears in the expected travel range of the own vehicle can be determined by the device as to which objects appearing in the expected travel range of the own vehicle can be dangerous obstacles for the travel of the own vehicle. It automatically estimates and displays markings, so there is no need for the driver or worker to monitor and determine while the vehicle is running while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１４６】請求項５に記載の発明に依れば、請求項４
に記載の効果に加えて、どの物体が自車両の走行に対し
て危険な障害物に成り得るかに関しての情報（危険度情
報）を、走行方向に対して最も車両に近い位置に存在す
ると推定される強調対象の障害物の強調画像表示の移動
に同期してマーキング表示して運転者や作業者に対して
警告することができるようになるといった効果を奏す
る。According to the invention set forth in claim 5, according to claim 4,
In addition to the effects described in (1), it is estimated that information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle exists at a position closest to the vehicle in the traveling direction. There is an effect that the marking can be displayed in synchronization with the movement of the emphasized image display of the obstacle to be emphasized to warn the driver or the operator.
【０１４７】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定し、障害物の移動に同期して
マーキング表示してくれるので、運転者や作業者自ら
が、自車両の操作を行いながら自車両の走行中に監視し
て判定する必要がなくなり、運転者や作業者の監視作業
の負担が軽減でき、自車両の安全操作に集中することが
容易にできるようになるといった効果も奏する。[0147] As a result, the apparatus determines whether an object that has appeared within the predicted range of the own-vehicle traveling trajectory can be a dangerous obstacle for the traveling of the own vehicle. It automatically estimates and displays markings in synchronization with the movement of obstacles, so it is necessary for the driver or worker to monitor and determine while operating the own vehicle while operating the own vehicle. As a result, it is possible to reduce the burden of the monitoring work of the driver and the operator, and to easily concentrate on the safe operation of the own vehicle.
【０１４８】請求項６に記載の発明に依れば、請求項４
又は５に記載の効果に加えて、どの物体が自車両の走行
に対して危険な障害物に成り得るかに関しての情報（危
険度情報）を、走行方向に対して最も車両に近い位置に
存在すると推定される強調対象の障害物の強調画像表示
とマーキング表示とが重ね合わされて合成されたスーパ
ーインポーズ画像として運転者や作業者に対して表示し
て警告することができるようになるといった効果を奏す
る。According to the invention described in claim 6, according to claim 4,
Or in addition to the effect described in 5, the information (risk degree information) on which object can be a dangerous obstacle to the traveling of the own vehicle exists at a position closest to the vehicle in the traveling direction. Then, the enhanced image display and the marking display of the estimated obstacle to be emphasized are superimposed and displayed as a superimposed image combined with the driver or the operator to be able to warn. To play.
【０１４９】更に、このスーパーインポーズ表示が可能
となる結果、自車両走行予想軌跡範囲内に出現した障害
物を自車両走行予想軌跡範囲内に出現したどの物体が自
車両の走行に対して危険な障害物に成り得るかを装置側
で自動的に推定してマーキング表示してくれるので、運
転者や作業者自らが、自車両の操作を行いながら自車両
の走行中に監視して判定する必要がなくなり、運転者や
作業者の監視作業の負担が軽減でき、自車両の安全操作
に集中することが容易にできるようになるといった効果
も奏する。Furthermore, as a result of this superimposed display, any obstacles appearing in the expected range of the own vehicle travel trajectory may cause an obstacle appearing in the expected range of the own vehicle travel to be dangerous to the running of the own vehicle. The device automatically estimates whether or not it can become an obstacle, and displays the markings, so that the driver or the worker himself / herself can monitor and determine while operating the own vehicle while operating the own vehicle. This eliminates the necessity, reduces the burden on the driver and the operator for monitoring work, and also makes it easier to concentrate on the safe operation of the vehicle.
【０１５０】請求項７に記載の発明に依れば、請求項６
に記載の効果に加えて、走行軌跡推定手段と特徴点抽出
手段と至近特徴点抽出手段とを中心にして推定される危
険度情報を、走行方向に対して最も車両に近い位置に存
在すると推定される強調対象の障害物の強調画像表示と
マーキング演算手段を中心にして実行されるマーキング
表示とがスーパーインポーズ演算手段を中心にして実行
されるスーパーインポーズ表示として運転者や作業者に
対して警告することができるようになるといった効果を
奏する。According to the invention of claim 7, according to claim 6,
In addition to the effects described in the above, it is estimated that the risk information estimated around the traveling locus estimating means, the feature point extracting means, and the closest feature point extracting means is present at a position closest to the vehicle with respect to the traveling direction. The emphasis image display of the obstacle to be emphasized and the marking display executed mainly by the marking calculation means are provided to the driver and the operator as a superimposed display executed mainly by the superimposition operation means. This gives an effect that a warning can be issued.
【０１５１】更に、スーパーインポーズ演算手段による
スーパーインポーズ表示が可能となる結果、自車両走行
予想軌跡範囲内に出現した障害物を自車両走行予想軌跡
範囲内に出現したどの物体が自車両の走行に対して危険
な障害物に成り得るかを装置側（具体的には、走行軌跡
推定手段と特徴点抽出手段と至近特徴点抽出手段）で自
動的に推定して、マーキング演算手段がマーキング表示
してくれるので、運転者や作業者自らが、自車両の操作
を行いながら自車両の走行中に監視して判定する必要が
なくなり、運転者や作業者の監視作業の負担が軽減で
き、自車両の安全操作に集中することが容易にできるよ
うになるといった効果も奏する。Further, as a result of the superimposed display being enabled by the superimposed calculation means, an obstacle appearing within the predicted travel trajectory range of the own vehicle is replaced with an object appearing within the predicted travel trajectory range of the own vehicle. The device side (specifically, the running locus estimating means, the feature point extracting means, and the closest feature point extracting means) automatically estimates whether or not the obstacle may be a dangerous obstacle to traveling, and the marking calculating means performs the marking. Because it displays, it is not necessary for the driver or operator to monitor and judge while the own vehicle is running while operating the own vehicle, and the burden of monitoring work for the driver and operator can be reduced, Another effect is that the user can easily concentrate on the safe operation of the vehicle.
【０１５２】請求項８に記載の発明に依れば、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、運転者や作業者に対して
表示して警告することができるようになるといった効果
を奏する。According to the eighth aspect of the present invention, information (risk degree information) on which object can be a dangerous obstacle to the traveling of the vehicle is provided to the driver or the worker. This makes it possible to display and warn the user.
【０１５３】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定して強調表示してくれるの
で、運転者や作業者自らが、自車両の操作を行いながら
自車両の走行中に監視して判定する必要がなくなり、運
転者や作業者の監視作業の負担が軽減でき、自車両の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。As a result, the obstacle which appears in the range of the expected running trajectory of the own vehicle can be determined on the device side as to which objects appearing in the range of the expected running trajectory of the own vehicle can be dangerous obstacles for the running of the own vehicle. Automatically estimates and highlights the data, so there is no need for the driver or worker to monitor and determine while operating the vehicle while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１５４】請求項９に記載の発明に依れば、どの物体
が自車両の走行に対して危険な障害物に成り得るかに関
しての情報（危険度情報）を、走行方向に対して所定の
距離範囲内に存在すると推定される強調対象の障害物に
対して強調画像表示して運転者や作業者に対して警告す
ることができるようになるといった効果を奏する。According to the ninth aspect of the present invention, information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the host vehicle is provided in a predetermined manner with respect to the traveling direction. There is an effect that an emphasis image is displayed for an obstacle to be emphasized which is presumed to be present within the distance range to warn a driver or an operator.
【０１５５】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定して強調表示してくれるの
で、運転者や作業者自らが、自車両の操作を行いながら
自車両の走行中に監視して判定する必要がなくなり、運
転者や作業者の監視作業の負担が軽減でき、自車両の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。As a result, an obstacle which appears in the expected travel range of the own vehicle can be determined on the device side as to which objects appearing in the expected travel range of the own vehicle can be dangerous obstacles for the travel of the own vehicle. Automatically estimates and highlights the data, so there is no need for the driver or worker to monitor and determine while operating the vehicle while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１５６】請求項１０に記載の発明に依れば、どの物
体が自車両の走行に対して危険な障害物に成り得るかに
関しての情報（危険度情報）を、走行方向に対して最も
車両に近い位置に存在すると推定される強調対象の障害
物に対して強調画像表示して運転者や作業者に対して警
告することができるようになるといった効果を奏する。According to the tenth aspect of the present invention, information (risk degree information) as to which object can be a dangerous obstacle to the traveling of the own vehicle is provided in the vehicle in the traveling direction. This makes it possible to display an emphasized image on an obstacle to be emphasized, which is presumed to be present at a position close to the image, and warn a driver or an operator.
【０１５７】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定して強調表示してくれるの
で、運転者や作業者自らが、自車両の操作を行いながら
自車両の走行中に監視して判定する必要がなくなり、運
転者や作業者の監視作業の負担が軽減でき、自車両の安
全操作に集中することが容易にできるようになるといっ
た効果も奏する。As a result, the obstacle which appears in the range of the expected running trajectory of the own vehicle can be determined by the device as to which objects appearing in the range of the expected running trajectory can be dangerous obstacles for the running of the own vehicle. Automatically estimates and highlights the data, so there is no need for the driver or worker to monitor and determine while operating the vehicle while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１５８】請求項１１に記載の発明に依れば、請求項
８乃至１０のいずれか一項に記載の効果に加えて、どの
物体が自車両の走行に対して危険な障害物に成り得るか
に関しての情報（危険度情報）を、走行方向に対して最
も車両に近い位置に存在すると推定される強調対象の障
害物に対して実行される強調画像表示とマーキング表示
とを用いて、運転者や作業者に対して警告することがで
きるようになるといった効果を奏する。According to the eleventh aspect of the invention, in addition to the effect of any one of the eighth to tenth aspects, any object can be a dangerous obstacle to the running of the host vehicle. Information (risk degree information) on the vehicle is driven by using an emphasized image display and a marking display executed on an obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction. There is an effect that a warning can be given to a worker or an operator.
【０１５９】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定してマーキング表示してくれ
るので、運転者や作業者自らが、自車両の操作を行いな
がら自車両の走行中に監視して判定する必要がなくな
り、運転者や作業者の監視作業の負担が軽減でき、自車
両の安全操作に集中することが容易にできるようになる
といった効果も奏する。As a result, the apparatus determines whether an object that has appeared in the range of the expected travel of the own vehicle can be a dangerous obstacle for the travel of the own vehicle. It automatically estimates and displays markings, so there is no need for the driver or worker to monitor and determine while the vehicle is running while operating the vehicle. This also has the effect of reducing the burden of monitoring work and making it easier to concentrate on safe operation of the vehicle.
【０１６０】請求項１２に記載の発明に依れば、請求項
１１に記載の効果に加えて、どの物体が自車両の走行に
対して危険な障害物に成り得るかに関しての情報（危険
度情報）を、走行方向に対して最も車両に近い位置に存
在すると推定される強調対象の障害物の強調画像表示の
移動に同期してマーキング表示して運転者や作業者に対
して警告することができるようになるといった効果を奏
する。According to the twelfth aspect of the present invention, in addition to the effects of the eleventh aspect, information on which object can be a dangerous obstacle to the traveling of the host vehicle (risk level) Information) in synchronization with the movement of the highlighted image display of the obstacle to be emphasized, which is presumed to be located closest to the vehicle with respect to the traveling direction, to warn the driver or operator. This has the effect of being able to perform.
【０１６１】この結果、自車両走行予想軌跡範囲内に出
現した障害物を自車両走行予想軌跡範囲内に出現したど
の物体が自車両の走行に対して危険な障害物に成り得る
かを装置側で自動的に推定し、障害物の移動に同期して
マーキング表示してくれるので、運転者や作業者自ら
が、自車両の操作を行いながら自車両の走行中に監視し
て判定する必要がなくなり、運転者や作業者の監視作業
の負担が軽減でき、自車両の安全操作に集中することが
容易にできるようになるといった効果も奏する。As a result, the obstacles appearing in the predicted travel trajectory range of the own vehicle can be determined on the device side as to which objects appearing in the predicted travel trajectory of the own vehicle can be dangerous obstacles for the travel of the own vehicle. It automatically estimates and displays markings in synchronization with the movement of obstacles, so it is necessary for the driver or worker to monitor and determine while operating the own vehicle while operating the own vehicle. As a result, it is possible to reduce the burden of the monitoring work of the driver and the operator, and to easily concentrate on the safe operation of the own vehicle.
【０１６２】請求項１３に記載の発明に依れば、請求項
１１又は１２に記載の効果に加えて、どの物体が自車両
の走行に対して危険な障害物に成り得るかに関しての情
報（危険度情報）を、走行方向に対して最も車両に近い
位置に存在すると推定される強調対象の障害物の強調画
像表示とマーキング表示とが重ね合わされて合成された
スーパーインポーズ画像として運転者や作業者に対して
表示して警告することができるようになるといった効果
を奏する。According to the thirteenth aspect of the present invention, in addition to the effect of the eleventh or twelfth aspect, information on which object can be a dangerous obstacle to the traveling of the host vehicle ( Risk information) is superimposed as a superimposed image obtained by superimposing and marking the highlighted image display and the marking display of the obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction. It is possible to display and warn an operator.
【０１６３】更に、このスーパーインポーズ表示が可能
となる結果、自車両走行予想軌跡範囲内に出現した障害
物を自車両走行予想軌跡範囲内に出現したどの物体が自
車両の走行に対して危険な障害物に成り得るかを装置側
で自動的に推定してマーキング表示してくれるので、運
転者や作業者自らが、自車両の操作を行いながら自車両
の走行中に監視して判定する必要がなくなり、運転者や
作業者の監視作業の負担が軽減でき、自車両の安全操作
に集中することが容易にできるようになるといった効果
も奏する。Further, as a result of this superimposed display, any obstacles appearing in the range of the expected trajectory of the own vehicle may cause an obstacle that appears in the range of the expected trajectory of the own vehicle. The device automatically estimates whether or not it can become an obstacle, and displays the markings, so that the driver or the worker himself / herself can monitor and determine while operating the own vehicle while operating the own vehicle. This eliminates the necessity, reduces the burden on the driver and the operator for monitoring work, and also makes it easier to concentrate on the safe operation of the vehicle.
【０１６４】請求項１４に記載の発明に依れば、請求項
１３に記載の効果に加えて、走行軌跡推定工程と特徴点
抽出工程と至近特徴点抽出工程とを中心にして推定され
る危険度情報を、走行方向に対して最も車両に近い位置
に存在すると推定される強調対象の障害物の強調画像表
示とマーキング演算工程を中心にして実行されるマーキ
ング表示とがスーパーインポーズ演算工程を中心にして
実行されるスーパーインポーズ表示として運転者や作業
者に対して警告することができるようになるといった効
果を奏する。According to the fourteenth aspect of the invention, in addition to the effect of the thirteenth aspect, there is a danger that is estimated centering on the traveling trajectory estimation step, the feature point extraction step, and the closest feature point extraction step. The degree information, the emphasized image display of the obstacle to be emphasized, which is estimated to be located closest to the vehicle with respect to the traveling direction, and the marking display executed mainly in the marking calculation step are superimposed calculation steps. There is an effect that it is possible to warn a driver or an operator as a superimposed display executed mainly.
【０１６５】更に、スーパーインポーズ演算工程による
スーパーインポーズ表示が可能となる結果、自車両走行
予想軌跡Ａ範囲内に出現した障害物を自車両走行予想軌
跡Ａ範囲内に出現したどの物体が自車両の走行に対して
危険な障害物に成り得るかを装置側（具体的には、走行
軌跡推定工程と特徴点抽出工程と至近特徴点抽出工程）
で自動的に推定して、マーキング演算工程がマーキング
表示してくれるので、運転者や作業者自らが、自車両の
操作を行いながら自車両の走行中に監視して判定する必
要がなくなり、運転者や作業者の監視作業の負担が軽減
でき、自車両の安全操作に集中することが容易にできる
ようになるといった効果も奏する。Further, as a result of the superimposed display being possible in the superimposed calculation step, an obstacle appearing in the predicted traveling trajectory A of the vehicle can be replaced by an obstacle appearing in the predicted traveling trajectory A of the own vehicle. The device determines whether it can be a dangerous obstacle to the running of the vehicle (specifically, the travel locus estimation step, the feature point extraction step, and the closest feature point extraction step).
Automatically, and the marking calculation process displays the markings, so there is no need for the driver or operator to monitor and determine while operating the own vehicle while operating the own vehicle. This also has the effect of reducing the burden on the monitoring work of workers and workers, and making it easier to concentrate on the safe operation of the vehicle.
【０１６６】請求項１５に記載の発明に依れば、請求項
１０に記載の効果と同様の効果を奏する。According to the fifteenth aspect, the same effect as the tenth aspect can be obtained.
【０１６７】請求項１６に記載の発明に依れば、請求項
１１に記載の効果と同様の効果を奏する。According to the sixteenth aspect, the same effect as that of the eleventh aspect can be obtained.
【０１６８】請求項１７に記載の発明に依れば、請求項
１２に記載の効果と同様の効果を奏する。According to the seventeenth aspect, the same effect as the twelfth aspect can be obtained.
【０１６９】請求項１８に記載の発明に依れば、請求項
１３に記載の効果と同様の効果を奏する。According to the eighteenth aspect, the same effect as that of the thirteenth aspect can be obtained.
【０１７０】請求項１９に記載の発明に依れば、請求項
１４に記載の効果と同様の効果を奏する。According to the nineteenth aspect, the same effect as that of the fourteenth aspect can be obtained.
【図１】本発明の車両周辺監視装置を説明するための機
能ブロック図である。FIG. 1 is a functional block diagram for explaining a vehicle periphery monitoring device according to the present invention.
【図２】図１の車両周辺監視装置に用いられる警報表示
動作を説明するための各種の表示形態説明図であって、
図２（ａ）は、表示手段の表示画面に映し出された生画
像情報の表示形態であり、図２（ｂ）は、自車両走行予
想軌跡範囲内にある生画像情報に対してこの自車両走行
予想軌跡範囲をスーパーインポーズ表示した表示形態を
説明するための図であり、図２（ｃ）は、図２（ｂ）の
スーパーインポーズ表示に対して更にマーキング情報を
スーパーインポーズ表示した表示形態を説明するための
図であり、図２（ｄ）は、自車両走行予想軌跡範囲外に
ある生画像情報に対してこの自車両走行予想軌跡範囲を
スーパーインポーズ表示形態において、マーキング情報
をスーパーインポーズ表示した表示形態を説明するため
の図であり、図２（ｅ）は、自車両走行予想軌跡範囲内
にある複数の生画像情報に対してこの自車両走行予想軌
跡範囲をスーパーインポーズ表示した表示形態におい
て、更に、至近特徴点が抽出された生画像情報に対する
マーキング情報をスーパーインポーズ表示した表示形態
を説明するための図であり、図２（ｆ）は、複数の生画
像情報に対してこの自車両走行予想軌跡範囲をスーパー
インポーズ表示した表示形態において、自車両走行予想
軌跡範囲外にある至近特徴点が抽出された生画像情報に
対してはマーキング情報をスーパーインポーズ表示せ
ず、自車両走行予想軌跡範囲内において至近特徴点が抽
出された生画像情報に対してマーキング情報をスーパー
インポーズ表示した表示形態を説明するための図であで
ある。FIG. 2 is an explanatory diagram of various display forms for explaining an alarm display operation used in the vehicle periphery monitoring device of FIG. 1;
FIG. 2A shows a display form of the raw image information displayed on the display screen of the display means, and FIG. 2B shows the display mode of the own vehicle with respect to the raw image information within the expected travel range of the own vehicle. FIG. 2C is a diagram for explaining a display form in which a predicted travel trajectory range is displayed in a superimposed manner, and FIG. 2C shows a superimposed display of marking information in addition to the superimposed display in FIG. FIG. 2D is a view for explaining a display form. FIG. 2D shows the marking information in the superimposed display form in which the own vehicle travel expected trajectory range is compared with the raw image information outside the own vehicle travel expected trajectory range. FIG. 2 (e) is a diagram for explaining a display mode in which is displayed in a superimposed manner. FIG. 2F is a diagram for explaining a display mode in which marking information for raw image information from which the closest feature points are extracted is superimposed and displayed in the display mode in which the raw image is extracted. In the display mode in which the own vehicle travel expected trajectory range is superimposed with respect to the information, the marking information is superimposed on the raw image information from which the closest feature points outside the own vehicle travel expected trajectory range are extracted. FIG. 13 is a diagram for explaining a display mode in which marking information is superimposed and displayed on the raw image information from which the closest feature point is extracted within the range of the estimated travel trajectory of the host vehicle without being displayed.
【図３】図１の車両周辺監視装置に用いられる警報表示
方法を説明するためのフローチャートである。FIG. 3 is a flowchart illustrating a warning display method used in the vehicle periphery monitoring device of FIG. 1;
【図４】図１の車両周辺監視装置に用いられる警報表示
方法を説明するための動作説明図であって、図４（ａ）
は、表示手段の表示画面に映し出された生画像情報の表
示形態であり、図４（ｂ）は、特徴点の抽出過程を説明
するための図であり、図４（ｃ）は、至近特徴点の抽出
過程及び特徴点群の抽出過程を説明するための図であ
り、図４（ｄ）は、特徴点群に対する座標点の抽出過程
を説明するための図であり、図４（ｅ）は、抽出された
座標点に対するマーキング情報の生成過程を説明するた
めの図である。FIG. 4 is an operation explanatory diagram for explaining an alarm display method used in the vehicle periphery monitoring device of FIG. 1, and FIG.
FIG. 4 (b) is a view for explaining a process of extracting feature points, and FIG. 4 (c) is a view for explaining a process of extracting feature points. FIG. 4D is a diagram for explaining a point extraction process and a feature point group extraction process, and FIG. 4D is a diagram for explaining a coordinate point extraction process for the feature point group, and FIG. FIG. 8 is a diagram for explaining a process of generating marking information for an extracted coordinate point.
【図５】従来の車両周辺監視装置、この装置に用いられ
る警報表示方法を説明するための機能ブロック図であ
る。FIG. 5 is a functional block diagram for explaining a conventional vehicle periphery monitoring device and an alarm display method used in the device.
１０ 車両周辺監視装置 １２ 画像読取手段（ＣＣＤカメラ） １２ａ 生画像情報 １４ 特徴点抽出手段（マイクロコンピュータ） １６ 至近特徴点抽出手段（マイクロコンピュータ） １８ 特徴点群抽出手段（マイクロコンピュータ） ２０ 座標抽出手段（マイクロコンピュータ） ２２ マーキング演算手段（マイクロコンピュータ） ２２ａ マーキング情報 ２４ スーパーインポーズ演算手段（マイクロコンピ
ュータ） ２４ａ スーパーインポーズ画像情報 ２６ 表示手段（ディスプレイ） ２６２ 表示画面 ３０ 走行軌跡推定手段 ３０ａ 自車両走行予想軌跡情報 Ｐ1，…，Ｐn 特徴点情報 Ｐmin 至近特徴点情報 ｛Ｐ｝ 特徴点群情報 ｛ａ1，ａ2｝ 座標情報 Ｌ1，…，Ｌｍ 走査線DESCRIPTION OF SYMBOLS 10 Vehicle periphery monitoring apparatus 12 Image reading means (CCD camera) 12a Raw image information 14 Feature point extracting means (microcomputer) 16 Closest feature point extracting means (microcomputer) 18 Feature point group extracting means (microcomputer) 20 Coordinate extracting means (Microcomputer) 22 Marking calculation means (microcomputer) 22a Marking information 24 Superimposition calculation means (microcomputer) 24a Superimposed image information 26 Display means (display) 262 Display screen 30 Traveling path estimating means 30a Own vehicle running prediction Trajectory information P1, ..., Pn feature point information Pmin nearest feature point information {P} feature point group information {a1, a2} coordinate information L1, ..., Lm scanning line
───────────────────────────────────────────────────── フロントページの続き (72)発明者 甘利 武之 静岡県裾野市御宿1500 矢崎総業株式会社 内 ──────────────────────────────────────────────────続 き Continued on the front page (72) Inventor Takeyuki Amari 1500 Onjuku 1500, Susono City, Shizuoka Prefecture Inside Yazaki Corporation
Claims (19)
領域の画像を撮像し、撮像された画像に基づいて車両の
周辺を監視する車両周辺監視装置において、 車両の操作に応じて当該車両が走行する軌跡の推定範囲
である自車両走行予想軌跡範囲内に、撮像画像に基づい
て少なくとも１つ以上の障害物が存在すると推定される
場合、当該障害物の中から、指定された任意の障害物の
画像を強調して表示するように構成されている、 ことを特徴とする車両周辺監視装置。1. A vehicle periphery monitoring device that is installed in a vehicle and captures an image of a monitoring area around the vehicle and monitors the periphery of the vehicle based on the captured image, wherein the vehicle travels in response to an operation of the vehicle. When it is estimated that at least one or more obstacles are present on the basis of the captured image within the estimated range of the own vehicle traveling, which is the estimated range of the trajectory to perform, any of the specified obstacles is selected from the obstacles. A vehicle periphery monitoring device configured to highlight and display the image of the vehicle.
撮像画像に基づいて少なくとも１つ以上の障害物が存在
すると推定される場合、当該障害物の中から、走行車両
に対して所定の距離範囲内に存在すると推定される障害
物の画像を強調して表示するように構成されている、 ことを特徴とする請求項１に記載の車両周辺監視装置。2. When it is estimated that at least one or more obstacles are present within the range of the predicted travel trajectory of the host vehicle based on the captured image, a predetermined value for the traveling vehicle is selected from the obstacles. The vehicle surroundings monitoring device according to claim 1, wherein an image of an obstacle estimated to be present within the distance range is configured to be emphasized and displayed.
撮像画像に基づいて少なくとも１つ以上の障害物が存在
すると推定される場合、当該障害物の中から、走行方向
に対して最も車両に近い位置に存在すると推定される障
害物の画像を強調して表示するように構成されている、 ことを特徴とする請求項１又は２に記載の車両周辺監視
装置。3. When it is estimated that at least one or more obstacles are present in the range of the estimated trajectory of the host vehicle based on the captured image, the vehicle in the traveling direction is selected from the obstacles. 3. The vehicle periphery monitoring device according to claim 1, wherein an image of an obstacle estimated to be present at a position close to the vehicle is displayed in an emphasized manner. 4.
る障害物の表示座標点と所定の位置関係を保持して所定
形状のマークを表示するマーキング表示と共に実行され
るように構成されている、 ことを特徴とする請求項１乃至３のいずれか一項に記載
の車両周辺監視装置。4. The image emphasis display is executed together with a marking display for displaying a mark of a predetermined shape while maintaining a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized. The vehicle periphery monitoring device according to any one of claims 1 to 3, wherein:
なる障害物の表示座標点と所定の位置関係を保持すると
共に、前記所定位置関係を保持した状態で当該障害物の
移動に同期して前記マークを移動させるように構成され
ている、 ことを特徴とする請求項４に記載の車両周辺監視装置。5. The marking display retains a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized and synchronizes with the movement of the obstacle while maintaining the predetermined positional relationship. The vehicle periphery monitoring device according to claim 4, wherein the device is configured to move a mark.
示と前記強調対象の障害物の画像表示とが重ね合わされ
て合成されたスーパーインポーズ画像として表示される
ように構成されている、 ことを特徴とする請求項４又は５に記載の車両周辺監視
装置。6. The image emphasis display is configured to be displayed as a superimposed image in which the marking display and the image display of the obstacle to be emphasized are superimposed and synthesized. The vehicle periphery monitoring device according to claim 4 or 5, wherein
監視領域の立体画像を撮像して３次元座標情報を有する
生画像情報を生成する画像読取手段と、 前記自車両走行予想軌跡範囲にかかる自車両走行予想軌
跡情報を生成する走行軌跡推定手段と、 前記自車両走行予想軌跡情報及び前記生画像情報に基づ
いて、前記自車両走行予想軌跡範囲内に、少なくとも１
つ以上の前記障害物が存在すると推定される場合、当該
生画像情報に所定解像度の走査線を与えて当該走査線と
当該障害物画像との交点を検出すると共に、当該交点に
基づいて障害物にかかる特徴点情報を生成する特徴点抽
出手段と、 前記生画像情報が有する３次元座標情報及び前記特徴点
情報を用いて、前記障害物の中から、車両の走行方向に
対して最も車両に近い位置に存在する障害物を推定する
と共に、当該至近位置に有ると推定された障害物にかか
る至近特徴点を至近特徴点情報として前記特徴点情報の
中から選択する至近特徴点抽出手段と、 前記生画像情報が有する３次元座標情報と前記特徴点情
報と前記至近特徴点情報とを用いて、至近特徴点を中心
に所定距離を有する３次元空間範囲を設け、当該３次元
空間範囲内に含まれる３次元座標を有する特徴点の集合
である特徴点群を特徴点群情報として前記特徴点情報の
中から選択する特徴点群抽出手段と、 前記特徴点群を全て囲むような四角形を求めると共に、
当該四角形の座標を座標情報として生成する座標抽出手
段と、 前記座標情報及び前記特徴点情報を用いて、前記障害物
画像に前記四角形を前記マークとして前記マーキング表
示するための座標をマーキング情報として生成するマー
キング演算手段と、 前記マーキング情報を前記生画像情報に重ね合わせて合
成した前記スーパーインポーズ画像であるスーパーイン
ポーズ画像情報を生成するスーパーインポーズ演算手段
と、 前記自車両走行予想軌跡範囲内の障害物の中から、走行
方向に対して至近位置に存在すると推定される障害物の
画像を前記スーパーインポーズ画像情報を用いて前記ス
ーパーインポーズ表示することにより前記画像強調表示
を実行する表示手段とを有する、 ことを特徴とする請求項６に記載の車両周辺監視装置。7. An image reading means which is installed in a vehicle and captures a stereoscopic image of the monitoring area around the vehicle to generate raw image information having three-dimensional coordinate information. Traveling trajectory estimating means for generating vehicle traveling predicted trajectory information; and at least one vehicle traveling expected trajectory range based on the own vehicle traveling predicted trajectory information and the raw image information.
When it is estimated that there are two or more obstacles, a scan line of a predetermined resolution is given to the raw image information to detect an intersection between the scan line and the obstacle image, and an obstacle is determined based on the intersection. Feature point extraction means for generating feature point information according to the three-dimensional coordinate information and the feature point information included in the raw image information, from among the obstacles, the vehicle in the traveling direction of the vehicle most Estimating an obstacle present at a close position, and selecting a close feature point of the obstacle estimated to be at the close position from the feature point information as the close feature point information, Using the three-dimensional coordinate information, the feature point information, and the closest feature point information of the raw image information, a three-dimensional space range having a predetermined distance around the closest feature point is provided. Included A feature point group extraction means for selecting from among the feature point information as the feature point group information feature point group is a set of feature points having a three-dimensional coordinate, together with obtaining a rectangle that encloses all of the feature points,
Coordinate extraction means for generating the coordinates of the quadrangle as coordinate information, and generating, as the marking information, the coordinates for displaying the quadrangle as the mark on the obstacle image using the coordinate information and the feature point information as the mark. Marking operation means for performing superimposition operation means for generating superimposed image information which is the superimposed image obtained by superimposing the marking information on the raw image information; and Display for executing the image emphasis display by superimposing and displaying the image of the obstacle presumed to be present at the closest position with respect to the traveling direction from among the obstacles using the superimposed image information. The vehicle surroundings monitoring device according to claim 6, comprising:
表示方法において、 車両の操作に応じて当該車両の前記自車両走行予想軌跡
範囲内に前記障害物が存在するか否かを推定する工程
と、前記撮像画像に基づいて少なくとも１つ以上の障害
物が存在すると推定される場合、当該障害物の中から、
指定された任意の障害物の前記画像強調表示を実行する
工程を有する、 ことを特徴とする請求項１乃至７のいずれか一項に記載
の車両周辺監視装置に用いられる警報表示方法。8. An alarm display method used in the vehicle periphery monitoring device, comprising: a step of estimating whether or not the obstacle is present within the range of the expected vehicle travel trajectory of the vehicle in accordance with an operation of the vehicle. When it is estimated that at least one or more obstacles are present based on the captured image, from among the obstacles,
The warning display method used in the vehicle periphery monitoring device according to any one of claims 1 to 7, further comprising a step of performing the image highlighting of an arbitrary designated obstacle.
両走行予想軌跡範囲内に前記障害物が存在するか否かを
推定する工程と、前記撮像画像に基づいて少なくとも１
つ以上の障害物が存在すると推定される場合、当該障害
物の中から、走行車両に対して所定の距離範囲内に存在
すると推定される障害物の前記画像強調表示を実行する
工程を有する、 ことを特徴とする請求項８に記載の警報表示方法。9. A step of estimating whether or not the obstacle is present within the range of the expected traveling trajectory of the vehicle according to the operation of the vehicle, and at least one of the steps of:
When it is estimated that one or more obstacles are present, among the obstacles, comprises a step of performing the image highlighting of the obstacles that are estimated to exist within a predetermined distance range for the traveling vehicle, The alarm display method according to claim 8, wherein:
車両走行予想軌跡範囲内に前記障害物が存在するか否か
を推定する工程と、前記撮像画像に基づいて少なくとも
１つ以上の障害物が存在すると推定される場合、当該障
害物の中から、走行方向に対して前記至近位置に存在す
ると推定される障害物の前記画像強調表示を実行する工
程を有する、 ことを特徴とする請求項８又は９に記載の警報表示方
法。10. A step of estimating whether or not the obstacle is present within the range of the expected traveling trajectory of the vehicle according to the operation of the vehicle, and at least one or more obstacles based on the captured image. When it is presumed that an obstacle is present, the method further includes a step of executing the image highlighting of the obstacle that is presumed to be present at the closest position with respect to the traveling direction from the obstacles. Item 10. The alarm display method according to item 8 or 9.
なる障害物の表示座標点と所定の位置関係を保持して前
記マークを表示する前記マーキング表示と共に実行され
る工程を有する、 ことを特徴とする請求項８乃至１０のいずれか一項に記
載の警報表示方法。11. The method according to claim 1, further comprising the step of performing the image highlighting together with the marking display for displaying the mark while maintaining a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized. The alarm display method according to any one of claims 8 to 10, wherein
となる障害物の表示座標点と所定の位置関係を保持する
と共に、前記所定位置関係を保持した状態で当該障害物
の移動に同期して前記マークを移動させる工程を有す
る、 ことを特徴とする請求項１１に記載の警報表示方法。12. The marking display holds a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized, and holds the predetermined positional relationship in synchronization with the movement of the obstacle. The alarm display method according to claim 11, further comprising a step of moving a mark.
表示と前記強調対象の障害物の画像表示とが重ね合わさ
れて合成されたスーパーインポーズ画像として表示され
る工程を有する、 ことを特徴とする請求項１１又は１２に記載の警報表示
方法。13. The image emphasis display having a step of superimposing the marking display and the image display of the obstacle to be emphasized and displaying the superimposed image as a superimposed image. Item 13. The alarm display method according to item 11 or 12.
記監視領域の立体画像を撮像する工程と、前記３次元座
標情報を有する前記生画像情報を生成する工程とを有す
る画像読取工程と、 前記自車両走行予想軌跡情報を生成する走行軌跡推定工
程と、 前記自車両走行予想軌跡情報及び前記生画像情報に基づ
いて、前記自車両走行予想軌跡範囲内に、前記障害物の
存在を推定する工程と、少なくとも１つ以上の前記障害
物が存在すると推定される場合、当該生画像情報に所定
解像度の走査線を与えて当該走査線と当該障害物画像と
の交点を検出する工程と、当該交点に基づいて前記特徴
点情報を生成する工程とを有する特徴点抽出工程と、 前記３次元座標情報及び前記特徴点情報を用いて、前記
障害物の中から、車両の走行方向に対して最も車両に近
い位置に存在する障害物を推定するする工程と、前記至
近特徴点を至近特徴点情報として前記特徴点情報の中か
ら選択する工程とを有する至近特徴点抽出工程と、 前記生画像情報が有する前記３次元座標情報と前記特徴
点情報と前記至近特徴点情報とを用いて、至近特徴点を
中心に前記３次元空間範囲を設ける工程と、当該３次元
空間範囲内に含まれる前記特徴点群を前記特徴点群情報
として前記特徴点情報の中から選択する工程とを有する
特徴点群抽出工程と、 前記特徴点群を全て囲むような前記四角形を求める工程
と、当該四角形の座標を前記座標情報として生成する工
程とを有する座標抽出工程と、 前記座標情報及び前記特徴点情報を用いて、前記障害物
画像に前記四角形を前記マークとして前記マーキング情
報を生成する工程とを有するマーキング演算工程と、 前記マーキング情報を前記生画像情報に重ね合わせて前
記スーパーインポーズ画像情報を生成する工程を有する
スーパーインポーズ演算工程と、 前記自車両走行予想軌跡範囲内の障害物の中から、走行
方向に対して前記至近位置に存在すると推定される障害
物の画像を前記スーパーインポーズ画像情報を用いて前
記スーパーインポーズ表示することにより前記画像強調
表示を実行する表示工程とを有する、 ことを特徴とする請求項１３に記載の警報表示方法。14. An image reading step comprising: a step of capturing a stereoscopic image of the monitoring area in the vicinity of the vehicle installed on the vehicle; and a step of generating the raw image information having the three-dimensional coordinate information. A traveling locus estimating step of generating vehicle traveling expected locus information; and a step of estimating the presence of the obstacle in the own vehicle traveling expected locus range based on the own vehicle traveling expected locus information and the raw image information. When it is estimated that at least one or more obstacles are present, a step of giving a scan line of a predetermined resolution to the raw image information to detect an intersection of the scan line and the obstacle image, A feature point extraction step having a step of generating the feature point information based on the three-dimensional coordinate information and the feature point information. A step of estimating an obstacle present at a position close to both, and a step of selecting the close feature point from the feature point information as the close feature point information; and a step of extracting the raw image information. Using the three-dimensional coordinate information, the feature point information, and the close feature point information to provide the three-dimensional space range around the closest feature point; and the feature included in the three-dimensional space range Selecting a point group from among the feature point information as the feature point group information; a step of obtaining the rectangle that entirely surrounds the feature point group; and A coordinate extracting step having a step of generating the coordinate information as the coordinate information; and a step of generating the marking information using the coordinate information and the feature point information, using the rectangle as the mark in the obstacle image. A superposition calculation step having a step of generating the superimposition image information by superimposing the marking information on the raw image information; and an obstacle within the expected travel range of the host vehicle. A display step of executing the image highlighting by displaying the image of the obstacle estimated to be present at the close position with respect to the traveling direction using the superimposed image information. The alarm display method according to claim 13, comprising:
ータで読み取り可能な媒体であって、 車両の操作に応じて当該車両の前記自車両走行予想軌跡
範囲内に前記障害物が存在するか否かを推定する工程
と、前記撮像画像に基づいて少なくとも１つ以上の障害
物が存在すると推定される場合、当該障害物の中から、
走行方向に対して前記至近位置に存在すると推定される
障害物の前記画像強調表示を実行する工程を有する、 ことを特徴とする請求項１０に記載の警報表示方法を記
憶した媒体。15. A computer-readable medium storing the warning display method, the method comprising: determining whether the obstacle is present in the range of the expected traveling trajectory of the vehicle according to an operation of the vehicle. Estimating, and when it is estimated that at least one or more obstacles are present based on the captured image, from among the obstacles,
The medium storing the alarm display method according to claim 10, further comprising a step of executing the image highlight display of an obstacle estimated to be present at the close position with respect to a traveling direction.
ータで読み取り可能な媒体であって、 前記画像強調表示が、前記強調対象となる障害物の表示
座標点と所定の位置関係を保持して前記マークを表示す
る前記マーキング表示と共に実行される工程を有する、 ことを特徴とする請求項１１に記載の警報表示方法を記
憶した媒体。16. A computer-readable medium storing the alarm display method, wherein the image highlighting is performed by holding a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized. 12. A medium storing the alarm display method according to claim 11, further comprising a step executed together with the marking display for displaying the warning.
ータで読み取り可能な媒体であって、 前記マーキング表示が、前記強調対象となる障害物の表
示座標点と所定の位置関係を保持すると共に、前記所定
位置関係を保持した状態で当該障害物の移動に同期して
前記マークを移動させる工程を有する、 ことを特徴とする請求項１２に記載の警報表示方法を記
憶した媒体。17. A computer-readable medium storing the alarm display method, wherein the marking display has a predetermined positional relationship with a display coordinate point of the obstacle to be emphasized, and The medium storing the alarm display method according to claim 12, further comprising a step of moving the mark in synchronization with the movement of the obstacle while maintaining the positional relationship.
ータで読み取り可能な媒体であって、 前記画像強調表示が、前記マーキング表示と前記強調対
象の障害物の画像表示とが重ね合わされて合成されたス
ーパーインポーズ画像として表示される工程を有する、
ことを特徴とする請求項１３に記載の警報表示方法を記
憶した媒体。18. A computer-readable medium storing the alarm display method, wherein the image emphasis display is superimposed by superimposing the marking display and the image display of the obstacle to be emphasized. Including a step of being displayed as an imposed image,
14. A medium storing the alarm display method according to claim 13.
ータで読み取り可能な媒体であって、 車両に設置され車両の周辺における前記監視領域の立体
画像を撮像する工程と、前記３次元座標情報を有する前
記生画像情報を生成する工程とを有する画像読取工程
と、 前記自車両走行予想軌跡情報を生成する走行軌跡推定工
程と、 前記自車両走行予想軌跡情報及び前記生画像情報に基づ
いて、前記自車両走行予想軌跡範囲内に、前記障害物の
存在を推定する工程と、少なくとも１つ以上の前記障害
物が存在すると推定される場合、当該生画像情報に所定
解像度の走査線を与えて当該走査線と当該障害物画像と
の交点を検出する工程と、当該交点に基づいて前記特徴
点情報を生成する工程とを有する特徴点抽出工程と、 前記３次元座標情報及び前記特徴点情報を用いて、前記
障害物の中から、車両の走行方向に対して最も車両に近
い位置に存在する障害物を推定する工程と、前記至近特
徴点を至近特徴点情報として前記特徴点情報の中から選
択する工程とを有する至近特徴点抽出工程と、 前記生画像情報が有する前記３次元座標情報と前記特徴
点情報と前記至近特徴点情報とを用いて、至近特徴点を
中心に前記３次元空間範囲を設ける工程と、当該３次元
空間範囲内に含まれる前記特徴点群を前記特徴点群情報
として前記特徴点情報の中から選択する工程とを有する
特徴点群抽出工程と、 前記特徴点群を全て囲むような前記四角形を求める工程
と、当該四角形の座標を前記座標情報として生成する工
程とを有する座標抽出工程と、 前記座標情報及び前記特徴点情報を用いて、前記障害物
画像に前記四角形を前記マークとして前記マーキング情
報を生成する工程とを有するマーキング演算工程と、 前記マーキング情報を前記生画像情報に重ね合わせて前
記スーパーインポーズ画像情報を生成する工程を有する
スーパーインポーズ演算工程と、 前記自車両走行予想軌跡範囲内の障害物の中から、走行
方向に対して前記至近位置に存在すると推定される障害
物の画像を前記スーパーインポーズ画像情報を用いて前
記スーパーインポーズ表示することにより前記画像強調
表示を実行する表示工程とを有する、ことを特徴とする
請求項１４に記載の警報表示方法を記憶した媒体。19. A computer-readable medium storing the alarm display method, comprising: a step of capturing a three-dimensional image of the monitoring area around a vehicle, which is installed in a vehicle, and comprising the three-dimensional coordinate information. An image reading step having a step of generating raw image information; a traveling path estimating step of generating the own vehicle traveling predicted path information; and the own vehicle based on the own vehicle traveling predicted path information and the raw image information. Estimating the presence of the obstacle within the range of the expected traveling trajectory; Detecting a point of intersection with the obstacle image, generating the characteristic point information based on the point of intersection, and extracting the characteristic point information. Estimating an obstacle located closest to the vehicle with respect to the traveling direction of the vehicle from the obstacles using the feature point information; and A closest feature point extracting step having a step of selecting from among information; and using the three-dimensional coordinate information, the feature point information, and the closest feature point information, which are included in the raw image information, with a focus on the closest feature point. Providing the three-dimensional space range; and selecting the feature point group included in the three-dimensional space range from the feature point information as the feature point group information, A step of obtaining the rectangle so as to surround the whole feature point group; a step of generating coordinates of the rectangle as the coordinate information; a coordinate extraction step; using the coordinate information and the feature point information, Stuff Superimposing, comprising: a marking calculation step having a step of generating the marking information using the rectangle as the mark in an image; and a step of generating the superimposed image information by superimposing the marking information on the raw image information. Calculating the obstacle image estimated to be present at the closest position with respect to the traveling direction from the obstacles within the range of the host vehicle traveling expected trajectory by using the superimposed image information to obtain the superimposed image. 15. A medium storing the alarm display method according to claim 14, further comprising a display step of executing the image highlighting by performing a pause display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8270343A JPH10117340A (en) | 1996-10-11 | 1996-10-11 | Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8270343A JPH10117340A (en) | 1996-10-11 | 1996-10-11 | Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10117340A true JPH10117340A (en) | 1998-05-06 |
Family
ID=17484945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8270343A Abandoned JPH10117340A (en) | 1996-10-11 | 1996-10-11 | Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10117340A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194996A (en) * | 1998-12-22 | 2000-07-14 | Mannesmann Vdo Ag | Device displaying control situation on display device |
| JP2001063600A (en) * | 1999-08-26 | 2001-03-13 | Honda Motor Co Ltd | Parking support device |
| JP2001315604A (en) * | 2000-02-29 | 2001-11-13 | Toyota Industries Corp | Vehicle retreat supporting device in tandem parking |
| JP2001322491A (en) * | 2000-05-15 | 2001-11-20 | Mitsubishi Electric Corp | On-vehicle display method and on-vehicle display |
| US6366221B1 (en) | 2000-06-30 | 2002-04-02 | Matsushita Electric Industrial Co., Ltd. | Rendering device |
| JP2003132349A (en) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | Drawing device |
| JP2004356845A (en) * | 2003-05-28 | 2004-12-16 | Aisin Seiki Co Ltd | Apparatus for supervising surrounding of vehicle |
| JP2005534246A (en) * | 2002-07-25 | 2005-11-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | View system |
| US7379564B2 (en) | 2002-12-18 | 2008-05-27 | Aisin Seiki Kabushiki Kaisha | Movable body circumstance monitoring apparatus |
| JP2011109286A (en) * | 2009-11-16 | 2011-06-02 | Alpine Electronics Inc | Vehicle periphery-monitoring device and vehicle periphery-monitoring method |
| WO2011089812A1 (en) * | 2010-01-19 | 2011-07-28 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| WO2011117974A1 (en) * | 2010-03-23 | 2011-09-29 | パイオニア株式会社 | Dangerous spot warning device and dangerous spot warning method |
| JP2012004693A (en) * | 2010-06-15 | 2012-01-05 | Clarion Co Ltd | Driving support device |
| JP2018518000A (en) * | 2015-05-30 | 2018-07-05 | レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． | Vehicle monitoring system |
| JP2020187762A (en) * | 2020-07-02 | 2020-11-19 | レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． | Vehicle monitoring system |
| CN112348297A (en) * | 2019-08-07 | 2021-02-09 | 中国船舶工业***工程研究院 | Track data processing method based on plan formulation |
-
1996
- 1996-10-11 JP JP8270343A patent/JPH10117340A/en not_active Abandoned
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194996A (en) * | 1998-12-22 | 2000-07-14 | Mannesmann Vdo Ag | Device displaying control situation on display device |
| JP2001063600A (en) * | 1999-08-26 | 2001-03-13 | Honda Motor Co Ltd | Parking support device |
| JP2001315604A (en) * | 2000-02-29 | 2001-11-13 | Toyota Industries Corp | Vehicle retreat supporting device in tandem parking |
| JP2001322491A (en) * | 2000-05-15 | 2001-11-20 | Mitsubishi Electric Corp | On-vehicle display method and on-vehicle display |
| US6366221B1 (en) | 2000-06-30 | 2002-04-02 | Matsushita Electric Industrial Co., Ltd. | Rendering device |
| JP2003132349A (en) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | Drawing device |
| JP2005534246A (en) * | 2002-07-25 | 2005-11-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | View system |
| US7379564B2 (en) | 2002-12-18 | 2008-05-27 | Aisin Seiki Kabushiki Kaisha | Movable body circumstance monitoring apparatus |
| JP2004356845A (en) * | 2003-05-28 | 2004-12-16 | Aisin Seiki Co Ltd | Apparatus for supervising surrounding of vehicle |
| JP2011109286A (en) * | 2009-11-16 | 2011-06-02 | Alpine Electronics Inc | Vehicle periphery-monitoring device and vehicle periphery-monitoring method |
| WO2011089812A1 (en) * | 2010-01-19 | 2011-07-28 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| JP2011151479A (en) * | 2010-01-19 | 2011-08-04 | Aisin Seiki Co Ltd | Vehicle surrounding monitoring device |
| CN102696225A (en) * | 2010-01-19 | 2012-09-26 | 爱信精机株式会社 | Vehicle periphery monitoring device |
| US8793053B2 (en) | 2010-01-19 | 2014-07-29 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
| CN102696225B (en) * | 2010-01-19 | 2014-10-08 | 爱信精机株式会社 | Vehicle periphery monitoring device |
| WO2011117974A1 (en) * | 2010-03-23 | 2011-09-29 | パイオニア株式会社 | Dangerous spot warning device and dangerous spot warning method |
| JP2012004693A (en) * | 2010-06-15 | 2012-01-05 | Clarion Co Ltd | Driving support device |
| JP2018518000A (en) * | 2015-05-30 | 2018-07-05 | レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． | Vehicle monitoring system |
| US10703375B2 (en) | 2015-05-30 | 2020-07-07 | Leia Inc. | Vehicle monitoring system |
| US11203346B2 (en) | 2015-05-30 | 2021-12-21 | Leia Inc. | Vehicle monitoring system |
| CN112348297A (en) * | 2019-08-07 | 2021-02-09 | 中国船舶工业***工程研究院 | Track data processing method based on plan formulation |
| CN112348297B (en) * | 2019-08-07 | 2023-08-15 | 中国船舶工业***工程研究院 | Track data processing method based on plan formulation |
| JP2020187762A (en) * | 2020-07-02 | 2020-11-19 | レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． | Vehicle monitoring system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH10117340A (en) | Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display method | |
| JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
| JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| KR101611194B1 (en) | Apparatus and method for peripheral image generation of vehicle | |
| US11321911B2 (en) | Method for representing the surroundings of a vehicle | |
| JP2002335524A (en) | Driving support device | |
| JP4816923B2 (en) | Vehicle peripheral image providing apparatus and method | |
| JP6291866B2 (en) | Driving support device and driving support method | |
| JP6642906B2 (en) | Parking position detection system and automatic parking system using the same | |
| JP5240149B2 (en) | Vehicle periphery monitoring device | |
| JP7077616B2 (en) | Display control device and display control method | |
| JP4797877B2 (en) | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD | |
| JP5418661B2 (en) | Vehicle periphery monitoring device | |
| JP2009231938A (en) | Surrounding monitoring device for vehicle | |
| JP2011048520A (en) | Device and method for monitoring vehicle periphery | |
| JP2010264945A (en) | Parking support device, parking support method and parking support program | |
| JP7121120B2 (en) | vehicle controller | |
| JP5825713B2 (en) | Dangerous scene reproduction device for vehicles | |
| JP2015154125A (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP2011155651A (en) | Apparatus and method for displaying vehicle perimeter image | |
| JP2017030688A (en) | Periphery monitoring device of work machine | |
| JP2009253460A (en) | Parking support system | |
| JP2009140305A (en) | Information presenting device for vehicle | |
| JP2006352368A (en) | Vehicle surrounding monitoring apparatus and vehicle surrounding monitoring method | |
| JPH10117341A (en) | Vehicle periphery monitoring device, obstacle detecting method to be used for the same and medium storing obstacle detection program to be used for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20050509 |