JP2009017572A - Nose-view monitoring apparatus - Google Patents
Nose-view monitoring apparatus Download PDFInfo
- Publication number
- JP2009017572A JP2009017572A JP2008200674A JP2008200674A JP2009017572A JP 2009017572 A JP2009017572 A JP 2009017572A JP 2008200674 A JP2008200674 A JP 2008200674A JP 2008200674 A JP2008200674 A JP 2008200674A JP 2009017572 A JP2009017572 A JP 2009017572A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- nose view
- approaching
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両側方を撮像したノーズビュー画像中の接近移動物体を視認性良く表示することのできるノーズビューモニタ装置に関する。 The present invention relates to a nose view monitor device capable of displaying an approaching moving object in a nose view image obtained by imaging the side of a vehicle with high visibility.
ノーズビューモニタ装置は、例えば図１にその概念を示すように車両の前部に組み込んだカメラ（ノーズビューカメラ）にて、運転席からは死角となり易い車両前方の側方領域ＦＬ,ＦＲの情景を撮像し、その側方画像を該車両の運転席に設けたモニタにて表示するもので（例えば特許文献１を参照）、例えば交差点や路地から大通りに車両が進入する際の安全性の確認に利用される。ちなみにこの種のノーズビューモニタ装置は、そのメインスイッチがオン（ＯＮ）に設定されていることを条件として、例えばその車速が１０ｋｍ／ｈ以下になったとき、或いは停車したときにノーズビュー画像を表示するように構成される。 The nose view monitor apparatus is a camera in which the front area of the vehicle (nose view camera), for example, as shown in FIG. The side image is displayed on a monitor provided in the driver's seat of the vehicle (see, for example, Patent Document 1). For example, safety confirmation when a vehicle enters a main street from an intersection or alley Used for By the way, this type of nose view monitor device displays a nose view image when the vehicle speed becomes 10 km / h or less, for example, on condition that the main switch is set to ON. Configured to display.
また最近では車両に搭載したカメラにより撮像される画像から、オプティカルフローの手法を用いて、該画像中の移動物体を検出することも提唱されている（例えば特許文献２を参照）。
ところで一般に車両に搭載されたモニタ（ディスプレイ）は、主たる運転操作を妨げることのない程度の小型のものが多い。しかもノーズビューカメラとしては、車両側方のなるべく多くの情報を取り込むべく広角のものが用いられることが多い。この為、小型のモニタに表示される画像には多くの情報が含まれる上、遠方から接近してくる車両の映像が小さいことも希ではない。これ故、急速に接近してくる車両があっても、これを見落とす虞がある。また天候等の状況によって車両等の移動体の像が、その背景に溶け込み易く、その確認が著しく困難となる。しかしながらモニタを長時間に亘って注視してその画像に含まれる情報内容を理解し、把握することは、運転操作自体に支障を来すので現実性がない。 By the way, in general, a monitor (display) mounted on a vehicle is often small in size so as not to disturb the main driving operation. Moreover, as a nose view camera, a wide-angle camera is often used to capture as much information as possible on the side of the vehicle. For this reason, an image displayed on a small monitor includes a lot of information, and it is not rare that the image of the vehicle approaching from a distance is small. Therefore, even if there is a vehicle approaching rapidly, there is a risk of overlooking it. In addition, an image of a moving body such as a vehicle is likely to be melted into the background depending on the conditions such as the weather, and its confirmation becomes extremely difficult. However, it is not realistic to look at the monitor for a long time to understand and grasp the information content included in the image, because it hinders the driving operation itself.
本発明はこのような事情を考慮してなされたもので、その目的は、車両側方を撮像したノーズビュー画像中の接近移動物体を視認性良く表示することができ、運転者に負担を掛けることなくその認識を確実に行い得るようにしたノーズビューモニタ装置を提供することにある。 The present invention has been made in consideration of such circumstances, and an object of the present invention is to display an approaching moving object in a nose view image obtained by imaging the side of the vehicle with high visibility, which places a burden on the driver. It is an object of the present invention to provide a nose view monitor device that can reliably perform the recognition without any problem.
上述した目的を達成するべく本発明に係るノーズビューモニタ装置は、請求項１に記載するように車両の前部または後部に取り付けられて該車両の左右側方を撮像するノーズビューカメラと、このノーズビューカメラにて撮像された左右の側方画像を左右に並べて表示するモニタと、
前記側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段と、
上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる複数の特徴点のまとまりを接近移動物体として検出する移動物体検出手段と、
前記側方画像中における上記移動物体検出手段にて検出された接近移動物体の画像領域を特定する物体画像検出手段と、
この物体画像検出手段にて特定された前記接近移動物体の画像と前記モニタ中に設定した特定のウインド領域とを引き出し線にて結ぶと共に該ウインド領域に前記接近移動物体の存在を示すアイコンを表示する画像表示制御手段とを具備し、
前記特定のウインド領域は前記左右の側方画像用に共用されることを特徴とする。
In order to achieve the above-described object, a nose view monitor device according to the present invention includes a nose view camera that is attached to the front or rear portion of a vehicle and images the left and right sides of the vehicle, as described in claim 1. A monitor that displays the left and right side images captured by the nose view camera side by side;
A feature point detecting means for detecting a feature point in the side image and calculating a motion vector of the detected feature point;
A moving object detecting means for detecting a group of a plurality of feature points approaching the vehicle in the side image as an approaching moving object from the calculated motion vectors of the feature points;
Object image detection means for specifying an image area of an approaching moving object detected by the moving object detection means in the side image;
The image of the approaching moving object specified by the object image detecting means and the specific window area set in the monitor are connected by a lead line, and an icon indicating the presence of the approaching moving object is displayed in the window area. Image display control means for
The specific window area is shared for the left and right side images.
好ましくは請求項２に記載するように前記特定のウインド領域は左右に並べて表示する左右の側方画像の中間に配置されるように構成される。
また、請求項３に記載するように、前記引き出し線の先端にポインタが付されているように構成される。
また、請求項４に記載するように、前記特徴点検出手段は、前記側方画像中の特徴点のオプティカルフローを計算するように構成される。
Preferably, the specific window region is configured to be arranged in the middle of the left and right side images displayed side by side.
According to a third aspect of the present invention, a pointer is attached to the leading end of the lead line.
According to a fourth aspect of the present invention, the feature point detection means is configured to calculate an optical flow of the feature points in the side image.
上述した如く構成された装置によれば、側方画像（ノーズビュー画像）中からの接近移動物体の検出を、該側方画像における特徴点のオプティカルフローを計算するだけで簡易に求め、例えば動きベクトルの等しい特徴点のまとまりを１つの接近移動物体として認識するだけで良いので、移動物体の検出が容易であることにのみならず、その物体像が小さい場合であってもその移動物体を確実に検出することができる。 According to the apparatus configured as described above, the detection of an approaching moving object from a side image (nose view image) can be easily obtained simply by calculating the optical flow of feature points in the side image. Since it is only necessary to recognize a group of feature points with the same vector as one approaching moving object, not only is it easy to detect the moving object, but the moving object can be reliably detected even when the object image is small. Can be detected.
その上で、左右の側方画像中における接近移動物体の像と、接近移動物体の存在を示すアイコンとの間を引き出し線を用いて結ぶので、左右の側方画像を左右に並べてモニタに表示していても左右どちらに接近移動物体が存在するか左右の側方画像中におけるどの画像部分が接近移動物体であるかを明確に指示することが可能となり、その全体的な状況把握を容易化し得る。また、特定のウインド領域は左右の側方画像用に共用されるのでウインド領域に表示されるアイコンによる注意喚起を運転者に理解させ易い。 On top of that, the image of the approaching moving object in the left and right side images is connected to the icon indicating the presence of the approaching moving object using a leader line, so the left and right side images are displayed side by side on the monitor. It is possible to clearly indicate which approaching moving object exists on the left or right side of the image, and which image part in the left and right side images is the approaching moving object. obtain. In addition, since the specific window area is shared for the left and right side images, it is easy for the driver to understand the alert by the icon displayed in the window area.
従って側方画像（ノーズビュー画像）を長時間に亘って注視しなくても、その表示画像から接近移動物体の存在を確実に把握することができるので、運転の安全性を高める上で大きく寄与する。 Therefore, even if the side image (nose view image) is not watched over a long period of time, the presence of an approaching moving object can be reliably ascertained from the displayed image, which greatly contributes to improving driving safety. To do.
以下、図面を参照して本発明の一実施形態に係るノーズビューモニタ装置について説明する。
図２はこの実施形態に係るノーズビューモニタ装置の要部概略構成図で、１は車両の前部に組み込まれて該車両の左右側方の情景をそれぞれ撮像する左右一対のノーズビューカメラである。このノーズビューカメラ１は、例えば図１に示すように車両Ａの前端両側部にそれぞれ組み込まれたＣＣＤカメラからなり、車両側部の所定の視野領域ＦＬ,ＦＲをそれぞれ撮像するように設けられる。尚、ノーズビューカメラ１は、車両の後部に組み込まれて該車両の左右側方の情景をそれぞれ撮像するものであっても良い。
A nose view monitor device according to an embodiment of the present invention will be described below with reference to the drawings.
FIG. 2 is a schematic configuration diagram of a main part of the nose view monitor device according to this embodiment. Reference numeral 1 denotes a pair of left and right nose view cameras that are incorporated in the front part of the vehicle and respectively capture the left and right side scenes of the vehicle. . The nose view camera 1 is composed of CCD cameras incorporated on both sides of the front end of the vehicle A as shown in FIG. 1, for example, and is provided so as to capture predetermined visual field areas FL and FR on the side of the vehicle. In addition, the nose view camera 1 may be incorporated in the rear part of the vehicle and image the scenes on the left and right sides of the vehicle.
このようなノーズビューカメラ１にて撮像された側方画像（ノーズビュー画像）を取り込むノーズビューシステム２は、例えばマイクロコンピュータを主体とする電子制御ユニット（ＭＰＵ）により構成される。このノーズビューシステム２は、基本的には図３にその制御手順を示すように、ノーズビュースイッチ３が投入（ＯＮ）されていることを条件として［ステップＳ１］、車速センサ４により検出される当該車両Ａの車速が、例えば１０ｋｍ／ｈ以下に低下したとき［ステップＳ２］、或いは車両Ａが停止したときにノーズビュー機能をＯＮ動作させて前記ノーズビューカメラ１にて撮像された側方画像（ノーズビュー画像）をモニタ５に表示し［ステップＳ３］、また上記各条件が満たされないときにはノーズビュー機能をＯＦＦさせることで、その表示を行わないものとなっている［ステップＳ４］。 A nose view system 2 that captures a side image (nose view image) captured by such a nose view camera 1 is configured by an electronic control unit (MPU) mainly composed of a microcomputer, for example. The nose view system 2 is basically detected by the vehicle speed sensor 4 on the condition that the nose view switch 3 is turned on (ON), as shown in FIG. When the vehicle speed of the vehicle A decreases to, for example, 10 km / h or less [step S2], or when the vehicle A stops, a side image captured by the nose view camera 1 with the nose view function turned on A (nose view image) is displayed on the monitor 5 [step S3], and when the above conditions are not satisfied, the nose view function is turned off so that the display is not performed [step S4].
尚、上記側方画像（ノーズビュー画像）の表示に用いられるモニタ５は、運転席前方のセンターコンソールに組み込まれたマルチディスプレイからなり、常時はＧＰＳを利用したカーナビゲーション情報の表示や、車室空間の環境を設定するエアコンの情報、或いは各種オーディオ機器の設定状態等の情報表示に用いられる。尚、ノーズビュー表示専用のモニタであっても良いことは言うまでもない。 The monitor 5 used for displaying the side image (nose view image) is composed of a multi-display incorporated in the center console in front of the driver's seat. It is used to display information on air conditioner information that sets the environment of the space or information on the setting status of various audio devices. Needless to say, a monitor dedicated to nose view display may be used.
さて基本的には上述した如く構成されるノーズビューモニタ装置において、この発明が特徴とするところは、図２に示すように前記ノーズビューシステム２において、
[ａ] 前述した如くノーズビューカメラ１を用いて撮像した側方画像（ノーズビュー画像）中の複数の特徴点を検出し、これらの各特徴点のオプティカルフローを計算することでその動きベクトルを求める特徴点検出手段１１と、
[ｂ] この特徴点検出手段１１にて求められた各特徴点の動きベクトルから前記側方画像（ノーズビュー画像）中の自車（車両Ａ）に接近してくる複数の特徴点のまとまりを、他の車両等からなる接近移動物体として検出する移動物体検出手段１２と、
[ｃ] 前記側方画像（ノーズビュー画像）中における上記移動物体検出手段１２にて検出された接近移動物体の画像領域を特定し（物体画像検出手段）、特定した接近移動物体の画像を前記モニタ５にて表示される側方画像（ノーズビュー画像）中に強調表示する画像表示制御手段１３と
を備えている点にある。
Now, in the nose view monitor apparatus basically configured as described above, the present invention is characterized by the nose view system 2 as shown in FIG.
[a] As described above, a plurality of feature points in a side image (nose view image) imaged using the nose view camera 1 are detected, and an optical flow of each feature point is calculated to obtain the motion vector. Feature point detection means 11 to be obtained;
[b] A group of a plurality of feature points approaching the host vehicle (vehicle A) in the side image (nose view image) from the motion vector of each feature point obtained by the feature point detection means 11. A moving object detecting means 12 for detecting an approaching moving object composed of another vehicle or the like;
[c] An image region of the approaching moving object detected by the moving object detecting unit 12 in the side image (nose view image) is specified (object image detecting unit), and an image of the specified approaching moving object is The image display control means 13 which highlights in the side image (nose view image) displayed on the monitor 5 is provided.
具体的にはこれらの各手段（機能）１１,１２,１３によって実現されるノーズビュー処理は、例えば図４に示すように、先ずノーズビューカメラ１を介して撮像されたノーズビュー画像を所定の周期で順次取得することから開始される［ステップＳ１１］。そしてノーズビュー画像中の、例えば画像信号レベル（輝度）や色相が、その周辺部と大きく異なるような特徴点を抽出し［ステップＳ１２］、これらの特徴点についてのオプティカルフローを計算することで、その動きベクトルを求める［ステップＳ１３］。このオプティカルフローの計算処理については、前述した特許文献２等に詳しく紹介される通りのものであるが、これを簡単に説明すると、基本的には所定の周期で撮像される連続した複数のノーズビュー画像間における互いに共通する特徴点の座標変化を検出することで、その特徴点が移動しているか否か、更には座標が変化している場合には、その移動（座標変化）の向きとその大きさがどの程度であるかをそれぞれ計算することによってなされる。 Specifically, the nose view processing realized by each of these means (functions) 11, 12, and 13 is performed by, as shown in FIG. 4, for example, a nose view image captured through the nose view camera 1 first. The process starts with sequential acquisition at a cycle [step S11]. In the nose view image, for example, feature points whose image signal level (luminance) and hue are significantly different from the peripheral portions are extracted [Step S12], and optical flows are calculated for these feature points. The motion vector is obtained [step S13]. The optical flow calculation process is as described in detail in the above-mentioned Patent Document 2 and the like. In brief, this is basically a plurality of continuous noses that are imaged at a predetermined cycle. By detecting the coordinate change of the feature point common to the view images, whether or not the feature point has moved, and if the coordinate has changed, the direction of the movement (coordinate change) and This is done by calculating how much the size is.
そして動きのベクトルが略同じである複数の特徴点の連続性等から、その特徴点のまとまりを１つの移動物体として検出する［ステップＳ１４］。この際、動くベクトルが検出されない特徴点については、建物等の固定物（背景）であるとして認識処理対象から排除する。そして動きのベクトルが自車（車両Ａ）に向いている複数の特徴点の連続したまとまりを、自車（車両Ａ）方向に移動している接近移動物体であるとして検出する。尚、動きのベクトルが自車（車両Ａ）に向いているか否かは、複数の特徴点のまとまりによって示される移動物体の大きさが時間経過と共に大きくなるか否かを判定することによって求められる。同時に移動物体の大きさの変化の割合から、当該移動物体の移動速度を計算することも可能である。 A group of feature points is detected as one moving object from the continuity of a plurality of feature points having substantially the same motion vector [step S14]. At this time, feature points for which no moving vector is detected are excluded from recognition processing targets as being fixed objects (backgrounds) such as buildings. Then, a continuous group of a plurality of feature points whose motion vectors are directed to the own vehicle (vehicle A) is detected as an approaching moving object moving in the direction of the own vehicle (vehicle A). Whether or not the motion vector is directed to the host vehicle (vehicle A) is determined by determining whether or not the size of the moving object indicated by the group of feature points increases with time. . At the same time, it is also possible to calculate the moving speed of the moving object from the rate of change in the size of the moving object.
このようにしてノーズビュー画像中から接近移動物体を検出したならば、次にその接近移動物体の画像を切り出す［ステップＳ１５］。この画像の切り出しは、例えば前述した特徴点のまとまりによって示される画像部分に外接する四角形の画像領域を抽出することによってなされる。そして上述した如く切り出した接近移動物体を前記モニタ５に表示したノーズビュー画像中で明示するべく、例えば接近移動物体を含む該当画像領域特定を四角形状の枠にて囲み表示する等して強調表示する［ステップＳ１６］。 If an approaching moving object is detected from the nose view image in this way, the image of the approaching moving object is then cut out [step S15]. This image is cut out by, for example, extracting a rectangular image region circumscribing the image portion indicated by the above-described collection of feature points. Then, in order to clearly indicate the approaching moving object cut out as described above in the nose view image displayed on the monitor 5, for example, the relevant image area specification including the approaching moving object is highlighted by displaying it in a rectangular frame. [Step S16].
より具体的に実際に求められるノーズビュー画像を例に説明すると、図５に示すように左右のノーズビュー画像Ｌ,Ｒ中から、その微小領域の特徴点ａ毎にオプティカルフローの手法を用いてその動きベクトルを計算する。次いで図６に示すように自車（車両Ａ）方向に移動している複数の特徴点の連続したまとまりを１つの移動物体として検出し、これらの特徴点のまとまりに外接する枠ｂ内を接近移動物体の画像として検出する。そして前記表示制御手段１３の制御の下で、例えば図７に示すように前記モニタ５に表示されているノーズビュー画像Ｌ,Ｒ中に、接近移動物体の像を囲む物体表示枠ｃを重ねて表示して移動物体の存在を強調提示する。 More specifically, a nose view image that is actually obtained will be described as an example. As shown in FIG. 5, an optical flow technique is used for each feature point a of the minute region from the left and right nose view images L and R. The motion vector is calculated. Next, as shown in FIG. 6, a continuous group of a plurality of feature points moving in the direction of the host vehicle (vehicle A) is detected as one moving object, and the inside of a frame b circumscribing the group of these feature points is approached. Detect as moving object image. Then, under the control of the display control means 13, for example, as shown in FIG. 7, an object display frame c surrounding the image of the approaching moving object is superimposed on the nose view images L and R displayed on the monitor 5. Display and highlight the presence of moving objects.
尚、モニタ５に表示するを物体表示枠ｃについては、ノーズビュー画像Ｌ,Ｒの全体的な色相を配慮して、例えば黄色や赤等の鮮やかで目立つ色とすることが望ましい。このようにして強調表示される物体表示枠ｃによれば、モニタ５の表示画面を瞬間的に見るだけでも、その表示画面内に特殊な物体表示枠ｃが表示されていることから、何等かの接近移動物体が存在することを一目瞭然に認識することができ、更にはその表示画面を注視することがその接近移動物体が何であるかを把握することが可能となる。特にノーズビュー画像Ｌ,Ｒ中に表示された接近移動物体が小さく、物体表示枠ｃが小さい場合であっても、これを確実に認識することができるので、ノーズビュー画像Ｌ,Ｒを見誤る虞を大幅に軽減することができる。 The object display frame c to be displayed on the monitor 5 is preferably a vivid and conspicuous color such as yellow or red in consideration of the overall hue of the nose view images L and R. According to the object display frame c highlighted in this way, even if the display screen of the monitor 5 is viewed instantaneously, the special object display frame c is displayed in the display screen. It is possible to recognize at a glance that there is an approaching moving object, and it is possible to grasp what the approaching moving object is by gazing at the display screen. In particular, even when the approaching moving object displayed in the nose view images L and R is small and the object display frame c is small, this can be recognized with certainty. The fear can be greatly reduced.
この際、上述した接近移動物体の強調表示と共に警報器６を用いて警報音を発したり、接近移動物体が存在する旨の情報を音声メッセージ等として報知するようにしても良い。このような報知手段を併用すれば、視覚的なノーズビュー画像の確認と相俟って聴覚を利用して注意力の喚起を促すことができるので、見通しの悪い公差点等に車両が進入する際の安全確認を、より効果的にアシストすることが可能となる等の実用上多大なる効果が奏せられる。 At this time, an alarm sound may be generated using the alarm device 6 together with the above-mentioned highlighting of the approaching moving object, or information indicating that the approaching moving object exists may be notified as a voice message or the like. If such a notification means is used in combination with the confirmation of the visual nose view image, it is possible to use the auditory sense to urge attention, so that the vehicle enters a tolerance point with poor visibility. In practice, a great effect can be achieved, such as being able to assist the safety confirmation more effectively.
また、図８に示すようにノーズビュー画像Ｌ,Ｒ中から検出された接近移動物体の像を切り出し、上記ノーズビュー画像Ｌ,Ｒを表示したモニタ５上に設定したウインド５ａ内に上記接近移動物体の像を拡大表示するようにしても良い。このようにして接近移動物体の像を拡大表示するようにすれば、常時は表示されていないウインド５ａが表示されていることだけで、接近移動物体の存在を把握することができる。またウインド５ａ内に表示される接近移動物体の像が拡大表示されたものであるので、ノーズビュー画像Ｌ,Ｒ中において小さく表示される接近移動物体であっても、その接近移動物体が何であるか（移動物体の種別）を容易に把握することが可能となる。 Further, as shown in FIG. 8, the image of the approaching moving object detected from the nose view images L and R is cut out, and the approaching movement is made in the window 5a set on the monitor 5 displaying the nose view images L and R. The image of the object may be enlarged and displayed. If the image of the approaching moving object is enlarged and displayed in this way, the presence of the approaching moving object can be grasped only by displaying the window 5a that is not always displayed. Further, since the image of the approaching moving object displayed in the window 5a is displayed in an enlarged manner, even if the approaching moving object is displayed small in the nose view images L and R, what is the approaching moving object? (Type of moving object) can be easily grasped.
この際、ノーズビュー画像Ｌ,Ｒ中における接近移動物体の像と、前記ウインド５ａとの間を引き出し線ｅを用いて結ぶようにしておけば、ウインド５ａ内に拡大表示された接近移動物体がノーズビュー画像Ｌ,Ｒ中におけるどの画像部分かを明確に指示することができるので、その全体的な状況把握を容易にすることが可能となる。この場合の引き出し線についても、前述した表示枠ｃと同様に他の画像部分から明確に識別し得るものを用いるようにすれば良い。また引き出し線ｅの先端に丸印や矢印等のポインタｆを付し、ノーズビュー画像Ｌ,Ｒ中における接近移動物体の特定を容易化することも好ましい。 At this time, if the image of the approaching moving object in the nose view images L and R and the window 5a are connected using the lead-out line e, the approaching moving object enlarged in the window 5a is displayed. Since it is possible to clearly indicate which image portion in the nose view images L and R, it is possible to easily grasp the overall situation. As for the lead lines in this case, those that can be clearly identified from other image portions may be used as in the display frame c described above. It is also preferable to attach a pointer f such as a circle or an arrow to the leading end of the lead line e to facilitate identification of an approaching moving object in the nose view images L and R.
また、ウインド５ａ内に接近移動物体の像を拡大表示することに代えて、例えば図９に示すように接近移動物体が存在することを示すアイコンｇを表示すると良い。この場合においても、ノーズビュー画像Ｌ,Ｒ中における接近移動物体の像と、前記アイコンｇとの間を引き出し線ｅを用いて結ぶようにしておけば、ノーズビュー画像Ｌ,Ｒ中におけるどの画像部分が接近移動物体であるを明確に指示することが可能となり、その全体的な状況把握を容易化し得る。 Further, instead of displaying an enlarged image of the approaching moving object in the window 5a, for example, an icon g indicating that the approaching moving object is present may be displayed as shown in FIG. Even in this case, any image in the nose view images L and R can be obtained by connecting the image of the approaching moving object in the nose view images L and R and the icon g using the lead line e. It is possible to clearly indicate that the part is an approaching moving object, and the overall situation can be easily grasped.
尚、このようにしてウインド５ａまたはアイコンｇとノーズビュー画像Ｌ,Ｒ中における接近移動物体の像とを結ぶ引き出し線ｅについては、時間経過に伴って接近移動物体が移動し、図１０に示すようにノーズビュー画像Ｌ,Ｒが変化するに伴い、該ノーズビュー画像Ｌ,Ｒ中における接近移動物体の変化に追従して時々刻々その表示位置が変化していくことは言うまでもない。 Note that the approaching moving object moves with time as to the lead line e connecting the window 5a or icon g and the image of the approaching moving object in the nose view images L and R as shown in FIG. As described above, as the nose view images L and R change, it goes without saying that the display position changes from moment to moment following the change of the approaching moving object in the nose view images L and R.
かくして上述した如くしてノーズビュー画像（側方画像）中の接近移動物体の像を強調表示するようにした本ノーズビューモニタ装置によれば、ノーズビュー画像（側方画像）を表示したモニタ５を長時間に亘って注視しなくても、接近移動物体の存在を示す表示枠ｃやウインド５ａの特異な表示により、自車（車両Ａ）に向かってくる接近移動物体の存在を確実に、しかも容易に把握することができる。その上で、必要に応じてモニタ５に表示されたノーズビュー画像（側方画像）を注視すれば、これによって接近移動物体が何であるか、またその周囲の状況がどのようであるか等を全体的に把握することが可能となる。従ってノーズビューモニタ装置の遣い勝手を格段に向上させることができ、安全運転に対する注意力喚起を促す上で大きく貢献することが可能となる。 Thus, according to the present nose view monitor device in which the image of the approaching moving object in the nose view image (side image) is highlighted as described above, the monitor 5 displaying the nose view image (side image). The presence of the approaching moving object coming toward the vehicle (vehicle A) can be ensured by the unique display of the display frame c and the window 5a indicating the presence of the approaching moving object without gazing over the vehicle for a long time. Moreover, it can be easily grasped. Then, if necessary, a nose view image (side image) displayed on the monitor 5 is watched to determine what the approaching moving object is and how the surrounding situation is. It becomes possible to grasp the whole. Therefore, the convenience of the nose view monitor device can be remarkably improved, and it is possible to make a great contribution in encouraging attention to safe driving.
尚、本発明は上述した実施形態に限定されるものではない。例えばノーズビューカメラ１の視野角（撮像画角）やその撮像の向き等は、車両に要求される仕様に応じて定めれば良いものである。ここでは車両の前部にノーズビューカメラ１を組み込んだものとして説明したが、ノーズビューカメラ１を車両の後部に組み込んだ場合にも有用である。この場合には、例えば車両を後退して車庫から出そうとする場合に有効に機能する。更にはウインド５ａ内に接近移動物体を拡大表示する際の拡大率については、ウインド５ａの大きさとノーズビュー画像中において検出された接近移動物体の大きさに応じて定めれば良いものである。 The present invention is not limited to the embodiment described above. For example, the viewing angle (imaging angle of view) of the nose view camera 1, the direction of imaging, and the like may be determined according to specifications required for the vehicle. Here, the description has been made assuming that the nose view camera 1 is incorporated in the front part of the vehicle, but it is also useful when the nose view camera 1 is incorporated in the rear part of the vehicle. In this case, for example, it functions effectively when the vehicle is moved backwards to get out of the garage. Furthermore, the enlargement ratio when the approaching moving object is enlarged and displayed in the window 5a may be determined according to the size of the window 5a and the size of the approaching moving object detected in the nose view image.
また同一方向からの複数の接近移動物体が検出されるような場合には、最も近く存在する接近移動物体を拡大表示するようにしたり、或いはウインド５ａによる拡大表示と表示枠ｃによる強調表示とを併用するようにしても良い。更には接近移動物体の移動速度とその大きさに応じて、接近移動物体が自動車か自転車か、更には人であるかを判定し、その判定結果に従って表示枠ｃの表示形態を異ならせることも有用である。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。 When a plurality of approaching moving objects from the same direction are detected, the closest approaching moving object is displayed in an enlarged manner, or enlarged display by the window 5a and highlighting by the display frame c are displayed. You may make it use together. Further, it is possible to determine whether the approaching moving object is a car, a bicycle, or even a person according to the moving speed and the size of the approaching moving object, and to change the display form of the display frame c according to the determination result. Useful. In addition, the present invention can be variously modified and implemented without departing from the scope of the invention.
１ ノーズビューカメラ
２ ノーズビューシステム（ＥＣＵ）
３ ノーズビュースイッチ
４ 車速センサ
５ モニタ
６ 警報器
１１ 特徴点検出手段
１２ 接近移動物体検出手段
１３ 表示制御手段
1 Nose view camera 2 Nose view system (ECU)
DESCRIPTION OF SYMBOLS 3 Nose view switch 4 Vehicle speed sensor 5 Monitor 6 Alarm 11 Feature point detection means 12 Approaching moving object detection means 13 Display control means
Claims (4)
このノーズビューカメラにて撮像された左右の側方画像を左右に並べて表示するモニタと、
前記側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段と、
上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる複数の特徴点のまとまりを接近移動物体として検出する移動物体検出手段と、
前記側方画像中における上記移動物体検出手段にて検出された接近移動物体の画像領域を特定する物体画像検出手段と、
この物体画像検出手段にて特定された前記接近移動物体の画像と前記モニタ中に設定した特定のウインド領域とを引き出し線にて結ぶと共に該ウインド領域に前記接近移動物体の存在を示すアイコンを表示する画像表示制御手段とを具備し、
前記特定のウインド領域は前記左右の側方画像用に共用されることを特徴とするノーズビューモニタ装置。 A nose view camera that is attached to the front or rear of the vehicle and images the left and right sides of the vehicle;
A monitor that displays the left and right side images captured by the nose view camera side by side;
A feature point detecting means for detecting a feature point in the side image and calculating a motion vector of the detected feature point;
A moving object detecting means for detecting a group of a plurality of feature points approaching the vehicle in the side image as an approaching moving object from the calculated motion vectors of the feature points;
Object image detection means for specifying an image area of an approaching moving object detected by the moving object detection means in the side image;
The image of the approaching moving object specified by the object image detecting means and the specific window area set in the monitor are connected by a lead line, and an icon indicating the presence of the approaching moving object is displayed in the window area. Image display control means for
The nose view monitor device characterized in that the specific window region is shared for the left and right side images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008200674A JP4228246B2 (en) | 2008-08-04 | 2008-08-04 | Nose view monitor device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008200674A JP4228246B2 (en) | 2008-08-04 | 2008-08-04 | Nose view monitor device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003357876A Division JP4228212B2 (en) | 2003-10-17 | 2003-10-17 | Nose view monitor device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009017572A true JP2009017572A (en) | 2009-01-22 |
| JP4228246B2 JP4228246B2 (en) | 2009-02-25 |
Family
ID=40357817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008200674A Expired - Fee Related JP4228246B2 (en) | 2008-08-04 | 2008-08-04 | Nose view monitor device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4228246B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011070783A1 (en) * | 2009-12-10 | 2011-06-16 | パナソニック株式会社 | Information display apparatus and information display method |
| JP2011254436A (en) * | 2010-06-04 | 2011-12-15 | Toshiba Alpine Automotive Technology Corp | Mobile object detection device and mobile object detection method |
| EP2407348A1 (en) * | 2010-07-16 | 2012-01-18 | Delphi Technologies, Inc. | Vision system and method for displaying a field of view dependent upon detecting an object |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070107467A1 (en) * | 2003-09-25 | 2007-05-17 | National Inst Of Industrial Science And Tech. | Metal glass body, process for producing the same and apparatus therefor |
-
2008
- 2008-08-04 JP JP2008200674A patent/JP4228246B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011070783A1 (en) * | 2009-12-10 | 2011-06-16 | パナソニック株式会社 | Information display apparatus and information display method |
| CN102378998A (en) * | 2009-12-10 | 2012-03-14 | 松下电器产业株式会社 | Information display apparatus and information display method |
| US8536995B2 (en) | 2009-12-10 | 2013-09-17 | Panasonic Corporation | Information display apparatus and information display method |
| JP5590684B2 (en) * | 2009-12-10 | 2014-09-17 | パナソニック株式会社 | Information display device and information display method |
| JP2011254436A (en) * | 2010-06-04 | 2011-12-15 | Toshiba Alpine Automotive Technology Corp | Mobile object detection device and mobile object detection method |
| EP2407348A1 (en) * | 2010-07-16 | 2012-01-18 | Delphi Technologies, Inc. | Vision system and method for displaying a field of view dependent upon detecting an object |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4228246B2 (en) | 2009-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4228212B2 (en) | Nose view monitor device | |
| JP5099451B2 (en) | Vehicle periphery confirmation device | |
| JP5070809B2 (en) | Driving support device, driving support method, and program | |
| US20080246843A1 (en) | Periphery monitoring system for vehicle | |
| KR100921095B1 (en) | Information display system for vehicle | |
| JP2011251681A (en) | Image display device and image display method | |
| JP2009265803A (en) | Vehicle visual field support device | |
| JP2017210102A (en) | Vehicle Monitor System | |
| JP4228246B2 (en) | Nose view monitor device | |
| JP2005012465A (en) | Peripheral displaying device for vehicle | |
| JP2009231937A (en) | Surroundings monitoring device for vehicle | |
| JP2004173048A (en) | Onboard camera system | |
| JP2008059178A (en) | Operation support device and program | |
| JP5861449B2 (en) | Obstacle alarm device | |
| JP2008068827A (en) | Rear lateral side confirmation device | |
| JP5845909B2 (en) | Obstacle alarm device | |
| JP5754605B2 (en) | Obstacle alarm device | |
| JP2013134597A (en) | Obstacle alarm device | |
| JP5787168B2 (en) | Obstacle alarm device | |
| JP2017005352A (en) | On-vehicle display device and vehicle rear-side video image display method | |
| KR20160104470A (en) | Lane Recognition Apparatus and Method using Blackbox and AVM | |
| JP2004274538A (en) | Apparatus for visually recognizing surrounding of vehicle | |
| JP5529097B2 (en) | Vehicle driving support device | |
| KR101349408B1 (en) | A parking assisting system | |
| JP4585191B2 (en) | Nose view system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081118 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4228246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |