JPH09139936A - Camera for vehicle - Google Patents
Camera for vehicleInfo
- Publication number
- JPH09139936A JPH09139936A JP7298259A JP29825995A JPH09139936A JP H09139936 A JPH09139936 A JP H09139936A JP 7298259 A JP7298259 A JP 7298259A JP 29825995 A JP29825995 A JP 29825995A JP H09139936 A JPH09139936 A JP H09139936A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fixed structure
- vehicle
- parking
- vehicle camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】 本発明は、車両用カメラに
関する。TECHNICAL FIELD The present invention relates to a vehicle camera.
【0002】[0002]
【従来の技術】 従来の車両用カメラとしては特開昭6
0−88657号公報がある。この車両用カメラは、自
動車を駐車領域に駐車しようとする場合等に、周囲の確
認が行なえるようにする装置である。2. Description of the Related Art As a conventional vehicle camera, Japanese Patent Laid-Open No.
There is a publication of 0-88657. This vehicular camera is a device that enables confirmation of the surroundings when a vehicle is parked in a parking area or the like.
【0003】この従来の車両用カメラの構成を図18,
図19にて説明する。The structure of the conventional vehicle camera is shown in FIG.
This will be described with reference to FIG.
【0004】21は動画像を撮影できるカメラで、一般
的にCCDカメラがよく使用され、内部にはCCD素子
とその信号処理回路,電源,レンズ系等が内蔵されてい
る。カメラ21は車両後部に下方を撮影できるように取
付けられ、車両周囲に存在する障害物を撮影することが
できる。このようにすることにより、図14に示すよう
な車両周囲の映像を表示することができる。Reference numeral 21 denotes a camera capable of capturing a moving image, and a CCD camera is generally often used, and a CCD element and its signal processing circuit, a power supply, a lens system and the like are built in the camera. The camera 21 is attached to the rear part of the vehicle so that the lower part of the vehicle can be imaged, and an obstacle existing around the vehicle can be imaged. By doing so, an image around the vehicle as shown in FIG. 14 can be displayed.
【0005】しかしながらこのような従来の車両用カメ
ラにあっては、車載カメラによる映像は、画像上での車
体の向き、または位置が固定され、周囲の映像が変化す
るため、路面に描かれている白線に沿わせて駐車する場
合などに、ハンドル操作に対し周囲の映像が変化するこ
とになり、ハンドル操作をどのようにすればよいか理解
しにくいという問題点があった。However, in such a conventional vehicle camera, the image captured by the vehicle-mounted camera is drawn on the road surface because the orientation or position of the vehicle body on the image is fixed and the surrounding image changes. When parking along an existing white line, the surrounding image changes due to the steering wheel operation, which makes it difficult to understand how to operate the steering wheel.
【0006】[0006]
【発明が解決しようとする課題】 この発明はこのよう
な従来の問題点に着目してなされたもので、車体を含む
路面の画像を撮影できる撮像手段により撮影した画像か
ら、駐車領域に対する固定構造物を抽出し、固定構造物
が画面上において垂直または水平方向に位置するように
画像を回転して表示することにより、上記問題点を解決
することを目的としている。SUMMARY OF THE INVENTION The present invention has been made in view of such a conventional problem, and a fixed structure for a parking area is obtained from an image captured by an imaging unit capable of capturing an image of a road surface including a vehicle body. It is an object of the present invention to solve the above problems by extracting an object and rotating and displaying the image so that the fixed structure is positioned in the vertical or horizontal direction on the screen.
【0007】[0007]
【課題を解決するための手段】 上記目的を達成するた
めに、請求項1記載の発明では、2次元イメージセンサ
と光学系とからなり車両に設置した撮像手段と、該撮像
手段により撮影された画像から駐車領域に対する固定構
造物の向きを検出する検出部と、該固定構造物が駐車完
了時に画面に対して垂直または水平方向のどちらに位置
するかを推定し該固定構造物が推定された方向を向くよ
うに画像を回転して出力する画像変換器と、画像を表示
する表示部とを設けた。In order to achieve the above-mentioned object, in the invention according to claim 1, an image pickup unit which is installed in a vehicle and which is formed by a two-dimensional image sensor and an optical system, and an image is taken by the image pickup unit. The detection unit that detects the direction of the fixed structure with respect to the parking area from the image, and the fixed structure was estimated by estimating whether the fixed structure is positioned vertically or horizontally with respect to the screen when parking is completed. An image converter for rotating and outputting the image so as to face the direction, and a display unit for displaying the image are provided.
【0008】請求項2記載の発明では、請求項1記載の
車両用カメラにおいて、検出部に、該撮像手段によって
撮影される画像に含まれる車両の幅よりも長い略直線状
の画像を固定構造物とする機能を持たせた。According to a second aspect of the invention, in the vehicle camera according to the first aspect, a substantially linear image longer than the width of the vehicle included in the image captured by the image pickup means is fixed to the detection unit. It has a function as a thing.
【0009】請求項3記載の発明では、請求項2記載の
車両用カメラにおいて、検出部に、該撮像手段によって
撮影される画像に含まれる車両の幅よりも長い2本の略
平行なエッジではさまれる領域が、白色または灰色また
は橙色である領域を白線または縁石と認識し、そのエッ
ジの向きを該固定構造物の向きとして検出し、または、
該撮像手段によって撮影される画像に含まれる、略平行
なエッジの組が2組以上略直線に沿って存在し、それぞ
れのエッジの組によってはさまれる領域が、白色または
灰色または橙色である領域を輪止めと認識し、その略直
線と平行な向きを該固定構造物の向きとして検出する機
能を持たせた。According to a third aspect of the present invention, in the vehicle camera according to the second aspect, the detection unit includes two substantially parallel edges longer than the width of the vehicle included in the image captured by the image pickup means. Recognizing a white or gray or orange area as a white line or curb, and detecting the direction of the edge as the direction of the fixed structure, or
There are two or more sets of substantially parallel edges included in the image captured by the imaging means along a substantially straight line, and the region sandwiched by the respective sets of edges is white, gray, or orange. Is recognized as a wheel stopper, and a function of detecting a direction parallel to the substantially straight line as the direction of the fixed structure is provided.
【0010】請求項4記載の発明では、請求項1記載の
車両用カメラにおいて、画像変換器に、検出部が検出し
た該固定構造物が、1個であれば、それを基準として回
転を行い、複数であれば、そのうち画像上での長さが最
も長いものを基準として回転を行い、存在しなければ該
固定構造物が認識されれるまで画像の回転を行わない機
能を持たせた。According to a fourth aspect of the present invention, in the vehicle camera according to the first aspect, if the image converter has one fixed structure detected by the detection unit, rotation is performed based on the fixed structure. If there are a plurality of images, rotation is performed on the basis of the one having the longest length on the image, and if there is no such image, the image is not rotated until the fixed structure is recognized.
【0011】請求項5記載の発明では、特許請求の範囲
第1項記載の車両用カメラにおいて、画像変換器に、該
撮像手段によって撮影される画像上における、基準とな
る該固定構造物の向きが略垂直または略水平の場合、該
固定構造物の駐車完了時における向きをそれぞれ垂直及
び水平と推定し、それ以外の時は、基準となる該固定構
造物の現時点での向きと画像の回転方向との組み合わせ
から駐車完了時における該固定構造物の向きを推定する
機能を持たせた。According to a fifth aspect of the invention, in the vehicle camera according to the first aspect of the invention, the orientation of the fixed structure serving as a reference on the image captured by the image capturing means is displayed on the image converter. Is approximately vertical or substantially horizontal, the orientation of the fixed structure at the time of completion of parking is estimated to be vertical and horizontal, respectively, and in other cases, the current orientation of the fixed structure as a reference and the rotation of the image. A function of estimating the direction of the fixed structure at the time of completion of parking is provided from the combination with the direction.
【0012】請求項6記載の発明では、特許請求の範囲
第1項記載の車両用カメラにおいて、画像変換器に、回
転を行なった画像から、カメラの位置を中心とした矩形
の画像のみを表示する機能を持たせた。According to a sixth aspect of the present invention, in the vehicle camera according to the first aspect, the image converter displays only a rectangular image centered on the position of the camera from the rotated image. It has a function to do.
【0013】請求項7記載の発明では、特許請求の範囲
第1項記載の車両用カメラにおいて、画像変換器に、駐
車領域の基準とした固定構造物の位置が常に一定となる
ような画像を表示する機能を持たせた。According to a seventh aspect of the invention, in the vehicle camera according to the first aspect of the invention, the image converter displays an image such that the position of the fixed structure relative to the parking area is always constant. It has a function to display.
【0014】[0014]
【発明の実施の形態】 以下、本発明の実施の形態を図
面に基づいて説明する。Embodiments of the present invention will be described below with reference to the drawings.
【0015】a)第1の実施の形態 図1はこの発明の一実施の形態を示す図である。1は撮
像手段で、図2に示すような構造となっている。すなわ
ち、CCDカメラ,撮像管等の電気的に動画像を撮影で
きるカメラ10と、凸面鏡5とを組み合わせたものであ
り、車体を含む路面上の広角な映像が得られる。なお、
図中6は透明パイプ、7はキャップ、8はカメラの視
線、9はケースである。カメラ10としてCCDカメラ
を使用する場合、内部にはCCD素子とその信号処理回
路,電源等が内蔵され、その他レンズ系等を必要とす
る。また、上記の撮像手段以外でも、車体を含む路面上
の広角な映像が得られる撮像手段であれば用いることが
できる。A) First Embodiment FIG. 1 is a diagram showing an embodiment of the present invention. Reference numeral 1 denotes an image pickup means, which has a structure as shown in FIG. That is, it is a combination of a camera 10 capable of electrically capturing a moving image such as a CCD camera and an image pickup tube and the convex mirror 5, and a wide-angle image on the road surface including the vehicle body can be obtained. In addition,
In the figure, 6 is a transparent pipe, 7 is a cap, 8 is the line of sight of the camera, and 9 is a case. When a CCD camera is used as the camera 10, a CCD element, its signal processing circuit, a power supply, etc. are built in, and other lens system etc. are required. Further, other than the above-mentioned image pickup means, any image pickup means that can obtain a wide-angle image on the road surface including the vehicle body can be used.
【0016】2は検出部で、白線検出機能を持った画像
処理装置で構成される。Reference numeral 2 is a detection unit, which is composed of an image processing device having a white line detection function.
【0017】3は画像変換器で、検出部2によって検出
された固定構造物の向きを元にした画像回転角度の計算
と画像の回転を行なう演算器で構成される。固定構造物
の駐車完了時の車体に対する向きの計算は、検出部2に
より検出される固定構造物の向きを元に決定する。An image converter 3 is composed of an arithmetic unit for calculating an image rotation angle based on the orientation of the fixed structure detected by the detector 2 and rotating the image. The calculation of the orientation of the fixed structure with respect to the vehicle body when parking is completed is determined based on the orientation of the fixed structure detected by the detection unit 2.
【0018】固定構造物の画像上における右回りを正と
した時の垂直方向に対する角度をφ[rad]とした
時、−π/4≦φ≦/4の範囲にあれば、駐車完了時に
垂直方向を向くものとみなし、−φを画像を回転する角
度とする。また、π/4<φ≦π/2または、−π/2
≦φ<−π/4の範囲にあれば、水平方向を向くものと
し、それぞれπ/2−φ、π/2+φを画像回転する角
度とする。If the angle with respect to the vertical direction when the clockwise direction on the image of the fixed structure is positive is φ [rad], and if it is in the range of −π / 4 ≦ φ ≦ / 4, it is vertical when parking is completed. Considering to be oriented, let −φ be the angle to rotate the image. Also, π / 4 <φ ≦ π / 2 or −π / 2
Within the range of ≦ φ <−π / 4, the horizontal direction is assumed, and π / 2−φ and π / 2 + φ are image rotation angles, respectively.
【0019】画像の回転は以下のような計算式で行うこ
とができる。画像上の点(x,y)が、画像を原点回り
にθ(rad)を回転させることにより、点(X,Y)
に移るとすると、 X=x・cosθ+y・sinθ …数式(1)a Y=x・sinθ+y・cosθ …数式(1)b 4はモニタで、車室内に設置され、画像変換器3から出
力された画像が表示される。The image rotation can be performed by the following calculation formula. The point (x, y) on the image is rotated by θ (rad) around the origin of the image, so that the point (X, Y)
X = x · cos θ + y · sin θ Equation (1) a Y = x · sin θ + y · cos θ Equation (1) b 4 is a monitor installed in the vehicle compartment and output from the image converter 3. The image is displayed.
【0020】17は選択装置で、画像変換器3からの出
力と他の映像信号との、モニタ4への出力の切り替えを
行う。運転者自身による手動切り替え、またはシフトレ
バー等との連動による自動切り替え等を行うことができ
る。A selection device 17 switches the output from the image converter 3 and the output of another video signal to the monitor 4. It is possible to perform manual switching by the driver himself or automatic switching by interlocking with a shift lever or the like.
【0021】このような構成にすることにより、撮像手
段1によって撮影した画像から駐車領域に対する固定構
造物をエッジ,色により検出し、駐車完了時の車体に対
する該固定構造物の向きを計算し、該固定構造物が常に
表示画像上において垂直または水平方向に位置するよう
に画像を回転することができる。また、撮像手段1とし
て広い範囲を撮影できるカメラを用いているため、車両
が駐車領域の近傍に移動してゆく前でも、固定構造物が
撮影画像に現れた時点での画像の回転表示を開始するこ
とができる。With such a configuration, the fixed structure for the parking area is detected from the image taken by the image pickup means 1 by the edge and the color, and the direction of the fixed structure with respect to the vehicle body when the parking is completed is calculated, The image can be rotated so that the fixed structure is always positioned vertically or horizontally on the displayed image. Further, since a camera capable of photographing a wide range is used as the image pickup means 1, even before the vehicle moves to the vicinity of the parking area, the rotation display of the image at the time when the fixed structure appears in the photographed image is started. can do.
【0022】図3は撮像手段1の車体への設置方法の例
である。FIG. 3 shows an example of a method of installing the image pickup means 1 on the vehicle body.
【0023】図4は映像を表示するモニタ4の設置方法
の例である。なお、モニタ4としては、例えばLCD等
を使用すればよい。FIG. 4 shows an example of how to install the monitor 4 for displaying an image. The monitor 4 may be an LCD, for example.
【0024】b)第2の実施の形態 第2の実施の形態は、第1の実施の形態と検出部が異な
る。図5にそのブロック図を示す。B) Second Embodiment The second embodiment differs from the first embodiment in the detection unit. FIG. 5 shows a block diagram thereof.
【0025】この検出部22は直線エッジ抽出部22
a、エッジ長検出部22bを持った画像処理装置で構成
される。The detection unit 22 is a straight edge extraction unit 22.
a, an image processing device having an edge length detection unit 22b.
【0026】撮像手段1により撮影された画像に直線的
なエッジが含まれ、エッジの長さが車幅より長ければ、
このエッジを駐車領域に対する固定構造物とみなし、そ
の向きを出力する。If the image taken by the image pickup means 1 includes a linear edge and the length of the edge is longer than the vehicle width,
This edge is regarded as a fixed structure for the parking area, and its direction is output.
【0027】この検出部22によって、車両の幅よりも
長い略直線状の画像を検出することにより、画像に含ま
れる該固定構造物をより正確に検出することができる。By detecting a substantially linear image longer than the width of the vehicle by the detection unit 22, the fixed structure included in the image can be detected more accurately.
【0028】c)第3の実施の形態 第3の実施の形態は、第2の実施の形態と検出部が異な
る。図6にそのブロック図を示す。C) Third Embodiment The third embodiment differs from the second embodiment in the detection unit. FIG. 6 shows a block diagram thereof.
【0029】この検出部32は直線エッジ抽出部32
a、2本のエッジ平行検出部32b、色検出部32cを
持った画像処理装置および、画像処理装置の各部から出
力される信号の組み合わせにより駐車領域に対する固定
構造物であるか否かを判断する判断装置32dで構成さ
れる。The detection unit 32 is a straight edge extraction unit 32.
a, an image processing apparatus having two edge parallel detection units 32b and a color detection unit 32c, and a combination of signals output from each unit of the image processing apparatus determines whether or not the structure is a fixed structure for the parking area. The determination device 32d is configured.
【0030】駐車領域に対する固定構造物の検出方法に
ついて図7を基に説明する。この実施の形態では、駐車
領域に対する固定構造物として、白線,縁石,輪止めを
用いることができる。白線,縁石は、画像中に2本の略
平行なエッジにはさまれた白色,灰色または色の領域を
白線,縁石とみなし、エッジの方向を固定構造物の方向
として検出する。輪止めは、画像中に2組の略平行なエ
ッジが直線状に存在し、それぞれのあいだの領域が白色
または橙色であった場合に輪止めとみなし、エッジの方
向を固定構造物の方向として検出する。A method of detecting a fixed structure in the parking area will be described with reference to FIG. In this embodiment, a white line, a curb, or a wheel stopper can be used as the fixed structure for the parking area. For the white line and the curb, the white, gray or color region sandwiched by two substantially parallel edges in the image is regarded as the white line and the curb, and the direction of the edge is detected as the direction of the fixed structure. A wheel stopper is considered as a wheel stopper when two sets of substantially parallel edges exist in a straight line in the image and the area between them is white or orange, and the direction of the edge is taken as the direction of the fixed structure. To detect.
【0031】以上のようにして、駐車領域に対する固定
構造物を白線,縁石,輪止めに限定して抽出することが
でき、該画像変換器3によって該固定構造物の向きを検
出し、画像の回転を行って表示する。As described above, the fixed structure for the parking area can be extracted by limiting to the white line, the curb, and the wheel stopper, and the direction of the fixed structure is detected by the image converter 3 to detect the image. Rotate and display.
【0032】なお、以下では、便宜上駐車領域に対する
固定構造物をすべて白線と呼ぶことにする。In the following, for the sake of convenience, all fixed structures for the parking area will be referred to as white lines.
【0033】d)第4の実施の形態 第1の実施の形態と異なる、画像変換器についてのみ述
べる。図9にブロック図を示す。D) Fourth Embodiment Only an image converter different from the first embodiment will be described. FIG. 9 shows a block diagram.
【0034】この画像変換器43は、検出部2が複数の
白線を検出したときに、最も長いものを選出する比較器
43a、比較器43aを用いて選出した白線の方向を記
憶する記憶装置43bを有する。The image converter 43 includes a comparator 43a for selecting the longest one when the detector 2 detects a plurality of white lines, and a storage device 43b for storing the direction of the white line selected by the comparator 43a. Have.
【0035】図8に処理のフローチャートを示す。基準
となる白線の選択方法は、次に述べるとおりである。撮
影された画像内に白線が存在しない場合、画像の回転を
行わずに矩形の部分の画像の表示のみを行い、画像内に
白線が見えてきた時にそれを基準線とする。撮影された
画像内に複数の白線が存在する場合、画像内に存在する
長さが最も長いのものを基準線とする。FIG. 8 shows a flowchart of the processing. The method for selecting the reference white line is as described below. When the white line does not exist in the captured image, only the image of the rectangular portion is displayed without rotating the image, and when the white line appears in the image, it is used as the reference line. When a plurality of white lines are present in the captured image, the longest line present in the image is used as the reference line.
【0036】撮影された画像内に1本の白線が存在する
場合、その白線を画像変換の基準線とする。When one white line exists in the photographed image, the white line is used as a reference line for image conversion.
【0037】以上のようにして、常に基準となる白線を
監視しながら選択を行う。As described above, the selection is performed while always monitoring the reference white line.
【0038】複数の白線が存在した場合に最も長いもの
を基準線としたため、基準線に対する回転角度の誤差が
小さくでき、また、車体から基準線までの距離が小さい
場合には同一長の基準線であってもより長く画面に表示
されるため車体近くにあるものを選び出すことができ
る。When there are a plurality of white lines, the longest one is used as the reference line, so that the error of the rotation angle with respect to the reference line can be reduced, and when the distance from the vehicle body to the reference line is small, the reference line of the same length can be obtained. However, since it is displayed on the screen for a longer time, you can select one that is near the vehicle body.
【0039】撮像手段1によって撮影された画像内に白
線が存在すれば基準線が選択でき、更に、複数の白線が
あった場合でも最適な基準線を選択することができ、駐
車等が行いやすい画像を提示することができる。If a white line exists in the image taken by the image pickup means 1, the reference line can be selected, and even if there are a plurality of white lines, the optimum reference line can be selected, and parking or the like is easy. Images can be presented.
【0040】e)第5の実施の形態 第1の実施の形態と異なる、画像変換器についてのみ述
べる。E) Fifth Embodiment Only an image converter different from the first embodiment will be described.
【0041】図11にブロック図を示す。FIG. 11 shows a block diagram.
【0042】この画像変換器53は、白線の向きを記憶
しておく記憶装置53a、前段から与えられる現在の白
線の向きと記憶されている白線の向きとを比較して回転
の向きを検出する比較器53b、現在の白線の向きと白
線の回転の方向との組み合わせにより駐車完了時の白線
の向きを判断し、それに基づいて画像の変換を行う変換
部53cを有する。The image converter 53 detects the direction of rotation by comparing the current white line direction given from the previous stage with the storage device 53a for storing the white line direction, and the stored white line direction. The comparator 53b includes a conversion unit 53c that determines the direction of the white line at the time of completion of parking based on a combination of the current direction of the white line and the direction of rotation of the white line, and performs image conversion based on the determined direction.
【0043】基準となる白線の向きの推定の方法につい
て述べる。駐車時の撮像手段1によって撮影される画像
内における白線の向きの変化は、図10の(a)〜
(b)に示すように分類される。例えば、図10(a)
1,2に示すように、画面水平方向に表示されるべき白
線Lは、右方向から後退で駐車を行う場合、車体Bが駐
車領域に対して垂直な状態から駐車を開始すると、撮影
画像上垂直から右回りに回転して最終的に水平になる。A method of estimating the direction of the white line as a reference will be described. Changes in the direction of the white line in the image captured by the image capturing unit 1 during parking are shown in (a) to FIG.
It is classified as shown in (b). For example, FIG.
As shown in FIGS. 1 and 2, the white line L to be displayed in the horizontal direction of the screen indicates that when the vehicle body B starts to park from the state where the vehicle body B is perpendicular to the parking area when the vehicle is parked in the backward direction from the right direction, It turns from vertical to clockwise and finally becomes horizontal.
【0044】実際には車体が駐車領域に対して斜めの状
態から開始する場合が多いので、白線Lは右上りの位置
から右回りに回転して最終的に水平になる。In many cases, the vehicle body actually starts in a diagonal state with respect to the parking area. Therefore, the white line L rotates clockwise from the upper right position and finally becomes horizontal.
【0045】このことから、白線Lが「右上がり」であ
り、「右回り」に回転しているとき、この白線Lは駐車
が完了した時の向きが水平方向であると推定する。From this, when the white line L is "upward to the right" and is rotating "clockwise", it is estimated that the direction of the white line L when the parking is completed is the horizontal direction.
【0046】同様に、他の状況についても考えると、 (a)「右上がり」、「右回り」→水平 (b)「右下がり」、「左回り」→水平 (c)「右上がり」、「左回り」→垂直 (d)「右下がり」、「右回り」→垂直 と分類できる。Similarly, considering other situations, (a) “upward right”, “clockwise” → horizontal (b) “downward right”, “counterclockwise” → horizontal (c) “upright”, “Counterclockwise” → vertical (d) “Downward right”, “clockwise” → vertical.
【0047】また、駐車が完了する寸前など、車体Bと
白線Lが平行または垂直に近い状態で、微調整のために
車体が左右に繰り返し傾く場合がある。このとき、上で
述べた分類だけで判別を行うと白線Lの向きが垂直と水
平に繰り返し推定され、頻繁な画面の切り替えが行われ
てしまう。これを防ぐため、基準線と車体Bの間の角
度、すなわち、カメラ10により撮影される画像におけ
る白線Lの垂直または水平方向に対する角度が0度に近
いときは白線Lの向きがそれぞれ垂直及び水平であると
判定する。When the vehicle body B and the white line L are parallel or nearly vertical, such as just before parking is completed, the vehicle body may repeatedly lean left and right for fine adjustment. At this time, if discrimination is performed only by the above-described classification, the direction of the white line L is repeatedly estimated vertically and horizontally, and frequent screen switching is performed. To prevent this, when the angle between the reference line and the vehicle body B, that is, the angle of the white line L in the image captured by the camera 10 with respect to the vertical or horizontal direction is close to 0 degrees, the directions of the white line L are vertical and horizontal, respectively. It is determined that
【0048】以上のようにして、現在及び過去の白線L
の向きのみを用いて、駐車完了時の白線Lの向きの推定
を行うことができ、また、駐車完了直線の誤動作を回避
することができる。As described above, the present and past white lines L
It is possible to estimate the direction of the white line L when the parking is completed, and it is possible to avoid the erroneous operation of the parking completion straight line by using only the direction of.
【0049】f)第6の実施の形態 第1の実施の形態と異なる、画像変換器についてのみ述
べる。図12にブロック図を示す。この画像変換器63
は、撮影される画像に対する、表示する画像の大きさを
設定する記憶装置63a、表示する画像上の各画素が回
転前の撮影された画像上のどの画素に対応するか計算す
る演算装置63bを有する。画像の回転は、数式(1)
a,bを基に行うことができる。撮影される画像上で、
カメラ10の位置を原点とし、水平方向をx軸、垂直方
向をy軸とし、表示画像上で、カメラ10の位置を原点
とし、水平方向をX軸、垂直方向をY軸とする。このと
き、回転の前後で画像の大きさを変化させないことにす
ると、前段で計算された回転角度がθであるとして、表
示画像上の点(X,Y)には、数式(1)a,bを変形
した式、 x=X・cosθ−Y・sinθ …数式(2)a y=X・sinθ+Y・cosθ …数式(2)b で、計算される撮影画像上の点(x,y)の画像が表示
される。F) Sixth Embodiment Only an image converter different from the first embodiment will be described. FIG. 12 shows a block diagram. This image converter 63
Is a storage device 63a for setting the size of the image to be displayed with respect to the image to be captured, and a computing device 63b for calculating which pixel on the image to be displayed corresponds to each pixel on the captured image before rotation. Have. The rotation of the image is calculated by the mathematical formula (1).
It can be performed based on a and b. On the image to be taken,
The position of the camera 10 is the origin, the horizontal direction is the x axis, the vertical direction is the y axis, and the position of the camera 10 is the origin on the display image, the horizontal direction is the X axis, and the vertical direction is the Y axis. At this time, if the size of the image is not changed before and after the rotation, it is assumed that the rotation angle calculated in the previous stage is θ, and the point (X, Y) on the display image is represented by Formula (1) a, An equation obtained by modifying b, x = X · cos θ−Y · sin θ Equation (2) a y = X · sin θ + Y · cos θ Equation (2) b The image is displayed.
【0050】表示する画像の大きさは、撮影した範囲外
を表示しようとしない範囲で適当な大きさを与えること
ができるが、撮影された画像に対する表示範囲の大きさ
は、距離感を一定に保つため、固定する必要がある。The size of the image to be displayed can be set to an appropriate size in a range where the outside of the photographed range is not displayed, but the size of the display range for the photographed image makes the sense of distance constant. It needs to be fixed to keep it.
【0051】また、見やすさのためにできるだけ大きな
範囲を表示しようとする場合、表示する範囲の矩形の対
角線の長さをカメラ10により撮影される画像の垂直方
向の長さと一致させると画像をどのように回転させても
同じ大きさの画像を取り出すことができ、かつ、この大
きさが取り出し可能な最大の大きさとなる。Further, in order to display the largest possible range for easy viewing, if the length of the diagonal line of the rectangle of the range to be displayed is matched with the vertical length of the image captured by the camera 10, the image is displayed. Even if the image is rotated like this, an image of the same size can be taken out, and this size is the maximum size that can be taken out.
【0052】以上のようにすると、カメラ10が映って
いる位置を中心として画像を表示することにより、白線
Lに対して車体がどれだけ傾いているかが確認できる。With the above arrangement, it is possible to confirm how much the vehicle body is tilted with respect to the white line L by displaying an image centered on the position where the camera 10 is reflected.
【0053】車両が白線に徐々に接近する場合には、白
線Lが撮像手段の撮影範囲に入った時点で画像の回転が
行われ、白線Lがモニタ4に表示される位置まで接近す
る前から白線Lに対する車両の向きが確認できる。When the vehicle gradually approaches the white line, the image is rotated when the white line L enters the photographing range of the image pickup means, and before the white line L approaches the position displayed on the monitor 4. The direction of the vehicle with respect to the white line L can be confirmed.
【0054】図13は撮影範囲11と表示範囲12の例
である。FIG. 13 shows an example of the photographing range 11 and the display range 12.
【0055】図14(a)(b)は表示画像の例であ
る。FIGS. 14A and 14B are examples of display images.
【0056】g)第7の実施の形態 第1の実施の形態と異なる、画像変換器による画像の表
示ついてのみ記す。図15にブロック図を示す。この画
像変換器7は、撮影した画像中の表示画像の大きさを記
憶する記憶装置73a、撮影画像に含まれる白線Lの位
置から表示画像の中心の位置を決定する演算装置73
b、表示する画像の各画素が回転前の撮影画像上のどの
画素に対応するかを計算する演算装置73cを有する。G) Seventh Embodiment Only the display of an image by the image converter, which is different from the first embodiment, will be described. FIG. 15 shows a block diagram. The image converter 7 includes a storage device 73a that stores the size of the display image in the captured image, and an arithmetic device 73 that determines the center position of the display image from the position of the white line L included in the captured image.
b, it has an arithmetic unit 73c for calculating which pixel on the captured image before rotation corresponds to each pixel of the image to be displayed.
【0057】このような構成にすると、以下のような作
用がある。撮像手段1によって、十分に広い範囲を撮影
できるときは、表示する画像の撮影された画像中におけ
る位置が中心付近に限定されないため、撮影画像中の自
由な位置を取り出すことができる。With this structure, the following operation is achieved. When the imaging unit 1 can capture a sufficiently wide range, the position of the image to be displayed in the captured image is not limited to the vicinity of the center, and therefore a free position in the captured image can be extracted.
【0058】自車が駐車する領域をできる限り広く表示
するために、駐車完了時に表示される画面上において、
垂直方向に表示される白線Lを表示画面の左端または右
端に、または、水平方向に表示される白線Lを表示画面
の下端に固定する。左右端のどちらに固定するかについ
ては、上方から俯瞰したときの車体の中心がどちら側に
あるかによって決定する。具体的には、車体の中心が画
面に垂直な白線Lの左側にあれば白線Lの表示位置を画
面右端に固定、白線Lの右側にあれば画面の左端に固定
して表示する。In order to display the area where the vehicle is parked as wide as possible, on the screen displayed when parking is completed,
The white line L displayed in the vertical direction is fixed to the left end or the right end of the display screen, or the white line L displayed in the horizontal direction is fixed to the lower end of the display screen. Which of the left and right ends is fixed depends on which side the center of the vehicle body is when viewed from above. Specifically, if the center of the vehicle body is on the left side of the white line L perpendicular to the screen, the display position of the white line L is fixed to the right end of the screen, and if it is on the right side of the white line L, the display position is fixed to the left end of the screen.
【0059】このようにすることにより、車両上方より
俯瞰したような、白線Lが常に固定され、それに対して
車両が向きを変えながら白線Lに接近して行く映像を表
示することができ、有効である。By doing so, the white line L, which is viewed from above the vehicle, is always fixed, and an image can be displayed in which the vehicle approaches the white line L while changing its direction, which is effective. Is.
【0060】図16に撮影範囲16と表示範囲15の例
を示す。図17(a)(b)に表示範囲15の例を示
す。FIG. 16 shows an example of the photographing range 16 and the display range 15. 17A and 17B show examples of the display range 15.
【0061】[0061]
【発明の効果】 以上説明してきたように、請求項1記
載の発明によれば、撮像手段と検出部と画像変換器と表
示部とを備えた車両用カメラにおいて、画像変化器を、
固定構造物が駐車完了時に画面に対して垂直または水平
のどちらに位置するかを推定し固定構造物が推定された
方向を向くように画像を回転して出力するように構成し
たため、駐車時に、駐車領域に対する自車両の角度が把
握しやすくなるという効果が得られる。As described above, according to the invention of claim 1, in the vehicle camera including the image pickup means, the detection unit, the image converter, and the display unit, the image changer is
It is configured to estimate whether the fixed structure is positioned vertically or horizontally with respect to the screen when parking is completed and rotate the image so that the fixed structure faces the estimated direction and output the image. The effect that the angle of the vehicle with respect to the parking area can be easily grasped is obtained.
【0062】請求項2記載の発明によれば、検出部にお
いて該撮像手段によって撮影される画像に含まれる車両
の幅よりも長い略直線状の画像を該固定構造物としたた
め、駐車領域に対する固定構造物とみなせるものが検出
できるという効果が得られる。According to the second aspect of the present invention, since the fixed structure has a substantially linear image longer than the width of the vehicle included in the image photographed by the image pickup means in the detector, the fixed structure is fixed to the parking area. The effect that what can be regarded as a structure can be detected is obtained.
【0063】請求項3記載の発明によれば、検出部に、
特定の条件を満たす領域が存在したときに、その領域を
白線,縁石,または輪止めと検出する機能を持たせたた
め、撮影された画像に含まれるエッジと、領域の色とか
ら白線,縁石及び輪止めのそれぞれについて、認識及び
向きの正確な検出ができるという効果が得られる。According to the invention described in claim 3, in the detecting section,
When there is a region that meets a specific condition, it has a function to detect that region as a white line, curb, or wheel stopper, so the white line, curb, and It is possible to obtain the effect that recognition and accurate detection of the direction can be performed for each of the wheel stoppers.
【0064】請求項4記載の発明では、画像変換器に検
出された該固定構造物の数に従って、画像の回転の有
無、駐車位置の基準となる該固定構造物の選び方を決定
する機能を持たせたため、画像内に白線が存在すれば基
準線が選択でき、複数あった場合でも最適なものが選べ
るという効果が得られる。According to the fourth aspect of the invention, the image converter is provided with a function of determining whether or not the image is rotated and how to select the fixed structure as a reference of the parking position according to the number of the fixed structures detected. If there is a white line in the image, the reference line can be selected, and even if there are a plurality of lines, the optimum one can be selected.
【0065】請求項5記載の発明では、画像変換器に、
該撮像手段により撮影される画像における、該固定構造
物の現時点での向き及び、回転方向により駐車完了時の
該固定構造物の向きを推定する機能を持たせたため、固
定構造物の撮影画像上における向きのみを用いて、固定
構造物が垂直、水平方向のどちらを向いているかを推定
できるという効果が得られる。According to a fifth aspect of the invention, the image converter includes:
Since the function of estimating the current orientation of the fixed structure in the image captured by the imaging means and the orientation of the fixed structure at the time of completion of parking based on the rotation direction is provided, the captured image of the fixed structure is displayed. It is possible to obtain an effect that it is possible to estimate whether the fixed structure faces the vertical direction or the horizontal direction only by using the orientation at.
【0066】請求項6記載の発明では、画像変換器に、
回転を行った画像から、カメラの位置を中心とした矩形
の画像のみを表示する機能を持たせたため、駐車領域に
対する車体の向きを容易に把握できる画像の表示が得ら
れる。According to the sixth aspect of the invention, the image converter includes:
Since a function of displaying only a rectangular image centering on the position of the camera is provided from the rotated image, it is possible to easily display the image of the orientation of the vehicle body with respect to the parking area.
【0067】請求項7記載の発明では、画像変換器に駐
車領域の基準とした固定構造物の位置が常に固定される
ように画像を表示する機能を持たせたため、上方より俯
瞰したような、駐車領域に対する固定構造物が常に固定
された映像を表示することができる。In the invention according to claim 7, since the image converter is provided with the function of displaying the image so that the position of the fixed structure as the reference of the parking area is always fixed, it is as if viewed from above. It is possible to display an image in which the fixed structure for the parking area is always fixed.
【図1】第1の実施の形態のブロック図である。FIG. 1 is a block diagram of a first embodiment.
【図2】カメラの構造を示す説明図である。FIG. 2 is an explanatory diagram showing a structure of a camera.
【図3】カメラの設置例を示す側面図である。FIG. 3 is a side view showing an installation example of a camera.
【図4】モニタの設置例を示す斜視図である。FIG. 4 is a perspective view showing an installation example of a monitor.
【図5】第2の実施の形態のブロック図である。FIG. 5 is a block diagram of a second embodiment.
【図6】第3の実施の形態のブロック図である。FIG. 6 is a block diagram of a third embodiment.
【図7】駐車領域に対する固定構造物の検出を示す説明
図である。FIG. 7 is an explanatory diagram showing detection of a fixed structure in a parking area.
【図8】第4の実施の形態のフローチャートである。FIG. 8 is a flowchart of a fourth embodiment.
【図9】第4の実施の形態のブロック図である。FIG. 9 is a block diagram of a fourth embodiment.
【図10】第5の実施の形態の駐車時の白線の動きを示
す説明図である。FIG. 10 is an explanatory diagram showing the movement of the white line during parking according to the fifth embodiment.
【図11】第5の実施の形態のブロック図である。FIG. 11 is a block diagram of a fifth embodiment.
【図12】第6の実施の形態のブロック図である。FIG. 12 is a block diagram of a sixth embodiment.
【図13】第6の実施の形態のカメラによる撮影範囲と
表示範囲の例を示す説明図である。FIG. 13 is an explanatory diagram showing an example of a shooting range and a display range by the camera of the sixth embodiment.
【図14】第6の実施の形態の表示画像の例を示す説明
図である。FIG. 14 is an explanatory diagram showing an example of a display image according to the sixth embodiment.
【図15】第7の実施の形態のブロック図である。FIG. 15 is a block diagram of a seventh embodiment.
【図16】第7の実施の形態のカメラによる撮影範囲と
表示範囲の例を示す説明図である。FIG. 16 is an explanatory diagram showing an example of a shooting range and a display range by the camera of the seventh embodiment.
【図17】第7の実施の形態の表示画像の例を示す説明
図である。FIG. 17 is an explanatory diagram showing an example of a display image according to the seventh embodiment.
【図18】従来のカメラの設置例を示す側面図である。FIG. 18 is a side view showing an example of installation of a conventional camera.
【図19】従来のモニタの設置例を示す説明図である。FIG. 19 is an explanatory diagram showing an installation example of a conventional monitor.
1 撮像手段 2 検出部 3 画像変換器 4 モニタ 10 カメラ L 白線 DESCRIPTION OF SYMBOLS 1 Imaging means 2 Detection part 3 Image converter 4 Monitor 10 Camera L White line
Claims (7)
り車両に設置した撮像手段と、 該撮像手段により撮影された画像から駐車領域に対する
固定構造物の向きを検出する検出部と、 該固定構造物が駐車完了時に画面に対して垂直または水
平方向のどちらに位置するかを推定し該固定構造物が推
定された方向を向くように画像を回転して出力する画像
変換器と、 画像を表示する表示部と、からなる車両用カメラ。1. An image pickup means, which comprises a two-dimensional image sensor and an optical system, installed in a vehicle, a detector for detecting the orientation of a fixed structure with respect to a parking area from an image taken by the image pickup means, and the fixed structure. An image converter that estimates whether the object is positioned vertically or horizontally with respect to the screen when parking is complete, and rotates and outputs the image so that the fixed structure faces the estimated direction, and an image display A vehicle camera including a display unit that displays.
よりも長い略直線状の画像を固定構造物と判断する機能
を有することを特徴とする車両用カメラ。2. The vehicle camera according to claim 1, wherein the detection unit has a function of determining a substantially linear image longer than the width of the vehicle included in the image captured by the imaging unit as a fixed structure. A vehicle camera, comprising:
よりも長い2本の略平行なエッジではさまれる領域が、
白色または灰色または橙色である領域を白線または縁石
と認識し、そのエッジの向きを該固定構造物の向きとし
て検出し、 または、該撮像手段によって撮影される画像に含まれ
る、略平行なエッジの組が2組以上略直線に沿って存在
し、それぞれのエッジの組によってはさまれる領域が、
白色または灰色または橙色である領域を輪止めと認識
し、その略直線と平行な向きを該固定構造物の向きとし
て検出する機能を持たせたことを特徴とする車両用カメ
ラ。3. The vehicle camera according to claim 2, wherein a region sandwiched by two substantially parallel edges longer than the width of the vehicle included in the image captured by the image capturing unit is provided in the detection unit.
A white or gray or orange area is recognized as a white line or a curb, and the direction of the edge is detected as the direction of the fixed structure, or a substantially parallel edge included in the image taken by the imaging means is detected. There are two or more sets along a substantially straight line, and the region sandwiched by each edge set is
A vehicle camera having a function of recognizing a white, gray, or orange region as a wheel stopper and detecting a direction parallel to the substantially straight line as the direction of the fixed structure.
を基準として回転を行い、 存在しなければ該固定構造物が認識されれるまで画像の
回転を行わない機能を持たせたことを特徴とする車両用
カメラ。4. The vehicle camera according to claim 1, wherein if the image converter has one fixed structure detected by the detection unit, the fixed structure is rotated with respect to the fixed structure, and a plurality of fixed structures are used. For example, a vehicle having a function of performing rotation based on the one having the longest length on the image and not performing rotation of the image until the fixed structure is recognized if it does not exist. For camera.
ラにおいて、 該画像変換器に、 該撮像手段によって撮影される画像上における、基準と
なる該固定構造物の向きが略垂直または略水平の場合、
該固定構造物の駐車完了時における向きをそれぞれ垂直
及び水平と推定し、 それ以外の時は、基準となる該固定構造物の現時点での
向きと画像の回転方向との組み合わせから駐車完了時に
おける該固定構造物の向きを推定する機能を持たせたこ
とを特徴とする車両用カメラ。5. The vehicle camera according to claim 1, wherein the image conversion device causes the reference fixed structure to be substantially vertical or substantially on the image captured by the imaging means. If horizontal,
The directions of the fixed structure at the time of completion of parking are estimated to be vertical and horizontal, respectively, and at other times, the directions at the time of completion of parking are determined from the combination of the current direction of the fixed structure as a reference and the rotation direction of the image. A vehicle camera having a function of estimating the orientation of the fixed structure.
ラにおいて、 該画像変換器に、 回転を行なった画像から、カメラの位置を中心とした矩
形の画像のみを表示する機能を持たせたことを特徴とす
る車両用カメラ。6. The vehicle camera according to claim 1, wherein the image converter has a function of displaying only a rectangular image centered on the position of the camera from the rotated image. A vehicle camera characterized by the above.
ラにおいて、 該画像変換器に、 駐車領域の基準とした固定構造物の位置が常に一定とな
るような画像を表示する機能を持たせたことを特徴とす
る車両用カメラ。7. The vehicle camera according to claim 1, wherein the image converter has a function of displaying an image such that the position of the fixed structure with respect to the parking area is always constant. A vehicle camera that is characterized.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7298259A JPH09139936A (en) | 1995-11-16 | 1995-11-16 | Camera for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7298259A JPH09139936A (en) | 1995-11-16 | 1995-11-16 | Camera for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09139936A true JPH09139936A (en) | 1997-05-27 |
Family
ID=17857315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7298259A Pending JPH09139936A (en) | 1995-11-16 | 1995-11-16 | Camera for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09139936A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1155656A (en) * | 1997-08-06 | 1999-02-26 | Matsushita Electric Ind Co Ltd | Device for monitoring side of vehicle |
JP2002092598A (en) * | 2000-09-14 | 2002-03-29 | Nissan Motor Co Ltd | Own vehicle position detector in parking |
JP2005328970A (en) * | 2004-05-19 | 2005-12-02 | Olympus Corp | Endoscope apparatus |
US7043346B2 (en) * | 2003-04-28 | 2006-05-09 | Toyota Jidosha Kabushiki Kaisha | Parking assist apparatus and parking assist method for vehicle |
JP2007235642A (en) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | Obstruction detecting system |
JP2008182652A (en) * | 2007-01-26 | 2008-08-07 | Sanyo Electric Co Ltd | Camera posture estimation device, vehicle, and camera posture estimating method |
KR101428281B1 (en) * | 2012-12-12 | 2014-08-07 | 현대자동차주식회사 | System for detecting road-kerb of veichle and method thereof |
WO2015133159A1 (en) * | 2014-03-05 | 2015-09-11 | コニカミノルタ株式会社 | Image processing device, image processing method, and image processing program |
-
1995
- 1995-11-16 JP JP7298259A patent/JPH09139936A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1155656A (en) * | 1997-08-06 | 1999-02-26 | Matsushita Electric Ind Co Ltd | Device for monitoring side of vehicle |
JP2002092598A (en) * | 2000-09-14 | 2002-03-29 | Nissan Motor Co Ltd | Own vehicle position detector in parking |
US7043346B2 (en) * | 2003-04-28 | 2006-05-09 | Toyota Jidosha Kabushiki Kaisha | Parking assist apparatus and parking assist method for vehicle |
JP2005328970A (en) * | 2004-05-19 | 2005-12-02 | Olympus Corp | Endoscope apparatus |
JP2007235642A (en) * | 2006-03-02 | 2007-09-13 | Hitachi Ltd | Obstruction detecting system |
JP2008182652A (en) * | 2007-01-26 | 2008-08-07 | Sanyo Electric Co Ltd | Camera posture estimation device, vehicle, and camera posture estimating method |
KR101428281B1 (en) * | 2012-12-12 | 2014-08-07 | 현대자동차주식회사 | System for detecting road-kerb of veichle and method thereof |
WO2015133159A1 (en) * | 2014-03-05 | 2015-09-11 | コニカミノルタ株式会社 | Image processing device, image processing method, and image processing program |
US10445566B2 (en) | 2014-03-05 | 2019-10-15 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and non-transitory recording medium storing computer readable program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421072B2 (en) | Approaching object detection system | |
JP4832321B2 (en) | Camera posture estimation apparatus, vehicle, and camera posture estimation method | |
JP4863791B2 (en) | Vehicle peripheral image generation apparatus and image switching method | |
JP4766841B2 (en) | Camera device and vehicle periphery monitoring device mounted on vehicle | |
US20030060972A1 (en) | Drive assist device | |
KR100550299B1 (en) | Peripheral image processor of vehicle and recording medium | |
JP5729158B2 (en) | Parking assistance device and parking assistance method | |
US20160207526A1 (en) | Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle | |
US20070046450A1 (en) | Obstacle detector for vehicle | |
US8477191B2 (en) | On-vehicle image pickup apparatus | |
JP2003191810A (en) | Vehicle surroundings monitoring system, and vehicle moving state detector | |
JP2011151666A (en) | Device, system and method for acquiring parameter, and program | |
US9682655B2 (en) | Method and device for operating a vehicle | |
JP2007022176A (en) | Ocularly acknowledging device for surrounding area of vehicle | |
JP4274785B2 (en) | Driving support image generation device | |
JP2005186648A (en) | Surrounding visualizing device for vehicle and displaying control device | |
JP2011193485A (en) | Camera device mounted on vehicle, and apparatus for monitoring vehicle periphery | |
JPH09202180A (en) | On-board camera device | |
JP2004173048A (en) | Onboard camera system | |
JPH0935196A (en) | Periphery monitoring device and method for vehicle | |
JPH09139936A (en) | Camera for vehicle | |
JP4445370B2 (en) | Vehicle periphery monitoring device | |
JP4650252B2 (en) | Parking assistance device | |
KR102125738B1 (en) | A parking assisting system | |
JP2005205983A (en) | Apparatus for visually recognizing surrounding of own vehicle |