JP6824439B2 - Display control device and display control method - Google Patents
Display control device and display control method Download PDFInfo
- Publication number
- JP6824439B2 JP6824439B2 JP2019557727A JP2019557727A JP6824439B2 JP 6824439 B2 JP6824439 B2 JP 6824439B2 JP 2019557727 A JP2019557727 A JP 2019557727A JP 2019557727 A JP2019557727 A JP 2019557727A JP 6824439 B2 JP6824439 B2 JP 6824439B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- display
- display control
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 87
- 230000008859 change Effects 0.000 claims description 50
- 238000012545 processing Methods 0.000 description 84
- 230000008569 process Effects 0.000 description 71
- 230000004048 modification Effects 0.000 description 60
- 238000012986 modification Methods 0.000 description 60
- 238000001514 detection method Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 32
- 230000002093 peripheral effect Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000002834 transmittance Methods 0.000 description 11
- 238000005520 cutting process Methods 0.000 description 10
- 239000007787 solid Substances 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、表示装置を制御する表示制御装置及び表示制御方法に関する。 The present invention relates to a display control device and a display control method for controlling the display device.
車両に設けられた撮影装置及び表示装置と協働して、車両周辺を表示する制御を行う表示制御装置が提案されている。また、このような表示制御装置を、例えば、ドアミラーの鏡像と同様の画像を表示する電子ミラーシステム、または、車両前方の画像を表示するシステムなどに用いることも提案されている。 A display control device that controls to display the surroundings of the vehicle in cooperation with a photographing device and a display device provided in the vehicle has been proposed. It has also been proposed to use such a display control device in, for example, an electronic mirror system that displays an image similar to a mirror image of a door mirror, or a system that displays an image in front of a vehicle.
これらのシステムにおいては、運転操作にとって重要度が高い画像を、重要度が低い画像に比べて視認性を高める試みがなされている。例えば、特許文献1の技術では、車両後側方の画像を撮影し、当該画像の領域のうち車両の側方で、かつ自車から遠い固定の領域にぼかし処理を施す。このような技術によれば、重要度が高い画像、例えば隣接車線を走行している他車両等の画像の視認性を高めることが可能となる。また、上記固定の領域の画像の、車両の移動に伴う移動速度は比較的大きい。このような固定の領域にぼかし処理を施すことにより、移動速度が速い画像が表示されにくくなるので、運転者の目や脳の疲労を低減することも可能となる。 In these systems, attempts have been made to improve the visibility of images that are highly important for driving operations as compared to images that are less important. For example, in the technique of Patent Document 1, an image on the rear side of the vehicle is taken, and a fixed region on the side of the vehicle and far from the own vehicle is blurred in the region of the image. According to such a technique, it is possible to improve the visibility of an image of high importance, for example, an image of another vehicle traveling in an adjacent lane. In addition, the moving speed of the image of the fixed region due to the movement of the vehicle is relatively high. By applying the blurring process to such a fixed area, it becomes difficult to display an image having a high moving speed, so that it is possible to reduce the fatigue of the driver's eyes and brain.
しかしながら、特許文献1の技術では、走行車線の形状、及び、自車両周辺の状況にかかわらず、ぼかし処理が行われる領域が固定される。このため、ぼかし処理を施すべきでない隣接車線の移動体等にぼかし処理が施されたり、ぼかし処理を施すべき重要度が低い地物等にぼかし処理が施されなかったりするという問題があった。 However, in the technique of Patent Document 1, the area where the blurring process is performed is fixed regardless of the shape of the traveling lane and the situation around the own vehicle. For this reason, there is a problem that the blurring process is applied to a moving body or the like in an adjacent lane that should not be subjected to the blurring process, or the blurring process is not applied to a feature or the like that is less important to be subjected to the blurring process.
そこで、本発明は、上記のような問題点を鑑みてなされたものであり、ぼかし領域などが施される領域を適切に変更可能な技術を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to provide a technique capable of appropriately changing a region to which a blurred region or the like is applied.
本発明に係る表示制御装置は、表示装置を制御する表示制御装置であって、車両周辺の撮影画像を取得する取得部と、撮影画像と、車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて撮影画像の領域のうち車両の存在する側と逆側の部分領域を求め、表示装置の表示において、部分領域の表示態様を、部分領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部とを備える。部分領域の表示態様は、部分領域内を特定の色で表示する態様、部分領域内の画像の先鋭度を低減する処理が施された態様、部分領域内の画像の鮮明度を低減する処理が施された態様、または、予め定められた表示オブジェクトが部分領域に重畳された態様を含み、制御部は、オブジェクトの属性に基づいて、部分領域の表示態様の種類を変更する。
The display control device according to the present invention is a display control device that controls the display device, and relates to an acquisition unit that acquires a photographed image of the surroundings of the vehicle, the photographed image, and the shape or position of a predetermined object around the vehicle. Based on the object information, the partial area of the captured image area opposite to the side where the vehicle exists is obtained, and in the display of the display device, the display mode of the partial area is changed to the remaining portion which is the area of the captured image other than the partial area. It is provided with a control unit that controls the display mode of the area. The display mode of the partial region includes a mode in which the inside of the partial region is displayed in a specific color, a mode in which the sharpness of the image in the partial region is reduced, and a process in which the sharpness of the image in the partial region is reduced. The control unit changes the type of the display mode of the sub-region based on the attribute of the object, including the mode provided or the mode in which a predetermined display object is superimposed on the sub-region.
本発明によれば、撮影画像と、オブジェクト情報とに基づいて部分領域を求め、表示装置の表示において、部分領域の表示態様を残部領域の表示態様と異ならせる制御を行う。このような構成によれば、ぼかし領域などが施される領域を適切に変更することができる。 According to the present invention, a partial area is obtained based on a captured image and object information, and control is performed to make the display mode of the partial area different from the display mode of the remaining area in the display of the display device. According to such a configuration, it is possible to appropriately change the area to which the blur area or the like is applied.
本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。 The objects, features, embodiments and advantages of the present invention will be made clearer by the following detailed description and accompanying drawings.
<実施の形態1>
以下、本発明の実施の形態1に係る表示制御装置が搭載され、着目の対象となる車両を「自車両」と記載して説明する。<Embodiment 1>
Hereinafter, a vehicle on which the display control device according to the first embodiment of the present invention is mounted and which is the subject of attention will be described as “own vehicle”.
図1は、本実施の形態1に係る表示制御装置1の構成を示すブロック図である。図1の表示制御装置1は、取得部11と制御部12とを備えており、表示装置21を制御することが可能となっている。 FIG. 1 is a block diagram showing a configuration of a display control device 1 according to the first embodiment. The display control device 1 of FIG. 1 includes an acquisition unit 11 and a control unit 12, and can control the display device 21.
表示装置21は、例えば自車両のインストルメントパネル、または、ダッシュボードなどに配設される。表示装置21には、液晶表示装置、有機EL(electroluminescence)表示装置、LED(Light Emitting Diode)表示装置などの様々な表示装置を用いることができる。 The display device 21 is arranged on, for example, an instrument panel of the own vehicle, a dashboard, or the like. As the display device 21, various display devices such as a liquid crystal display device, an organic EL (electroluminescence) display device, and an LED (Light Emitting Diode) display device can be used.
取得部11は撮影画像を取得する。撮影画像は、表示装置21の表示に用いられる画像であり、例えば自車両後方の画像、自車両側方の画像、または、自車両前方の画像などの、自車両周辺の画像である。ドアミラーの表示を行う場合の撮影画像は、自車両後方の画像を左右反転させたミラー表示用の画像である。撮影画像は、カメラなどで撮影された画像の全部であってもよいし、当該画像の一部であってもよい。取得部11は、カメラであってもよいし、各種インターフェースであってもよい。 The acquisition unit 11 acquires a captured image. The captured image is an image used for displaying the display device 21, and is an image around the own vehicle such as an image behind the own vehicle, an image on the side of the own vehicle, or an image in front of the own vehicle. The captured image when displaying the door mirror is an image for mirror display in which the image behind the own vehicle is flipped horizontally. The captured image may be the entire image captured by a camera or the like, or may be a part of the image. The acquisition unit 11 may be a camera or various interfaces.
制御部12は、オブジェクト情報を用いる。オブジェクト情報は、自車両周辺の予め定められたオブジェクトの形状または位置に関する情報である。オブジェクトは、例えば、建物、地物、風景、移動体、車線、または、道路の区画線などである。 The control unit 12 uses the object information. The object information is information on the shape or position of a predetermined object around the own vehicle. Objects can be, for example, buildings, features, landscapes, moving objects, lanes, or road lane markings.
オブジェクトの形状に関する情報は、例えば、オブジェクトの形状そのものを示す情報、または、オブジェクトの形状を算出可能な情報などである。オブジェクトの形状そのものを示す情報は、例えばオブジェクトの外郭線を示す情報などである。オブジェクトの形状を算出可能な情報は、例えばオブジェクトの中心線と、オブジェクトの幅とを含む情報などである。 The information regarding the shape of the object is, for example, information indicating the shape of the object itself, information capable of calculating the shape of the object, or the like. The information indicating the shape of the object itself is, for example, information indicating the outline of the object. The information that can calculate the shape of the object is, for example, information including the center line of the object and the width of the object.
オブジェクトの位置に関する情報は、例えば、オブジェクトの位置そのものを示す情報、または、オブジェクトの位置を算出可能な情報などである。オブジェクトの位置そのものを示す情報は、例えば、オブジェクトが位置する緯度及び経度、または、オブジェクトの自車両に対する相対位置などである。オブジェクトの位置を算出可能な情報は、例えば、オブジェクトの速度または加速度などのオブジェクトの移動に関する物理量、または、オブジェクトの相対速度または相対加速度などのオブジェクトの自車両に対する移動に関する物理量などである。オブジェクト情報は、取得部11が表示制御装置1外部から取得した情報であってもよいし、制御部12が自車両の図示しないECU(Electronic Control Unit)などで管理されている情報に基づいて求めた情報であってもよい。 The information regarding the position of the object is, for example, information indicating the position of the object itself, information capable of calculating the position of the object, or the like. The information indicating the position of the object itself is, for example, the latitude and longitude where the object is located, or the relative position of the object with respect to the own vehicle. Information that can calculate the position of an object is, for example, a physical quantity related to the movement of the object such as the speed or acceleration of the object, or a physical quantity related to the movement of the object with respect to the own vehicle such as the relative speed or acceleration of the object. The object information may be information acquired by the acquisition unit 11 from the outside of the display control device 1, or is obtained by the control unit 12 based on information managed by an ECU (Electronic Control Unit) (not shown) of the own vehicle. It may be information.
制御部12は、取得部11で取得された撮影画像と、上記オブジェクト情報とに基づいて撮影画像の領域のうち自車両の存在する側と逆側の部分領域を求める。そして、制御部12は、表示装置21の表示において、部分領域の表示態様を、部分領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う。 Based on the captured image acquired by the acquisition unit 11 and the object information, the control unit 12 obtains a partial region of the captured image region opposite to the side where the own vehicle exists. Then, the control unit 12 controls the display of the display device 21 so that the display mode of the partial region is different from the display mode of the remaining region, which is a region of the captured image other than the partial region.
<実施の形態1のまとめ>
以上のような本実施の形態1に係る表示制御装置1では、撮影画像と、オブジェクト情報とに基づいて部分領域を求め、表示装置21の表示において、部分領域の表示態様を残部領域の表示態様と異ならせる制御を行う。このような構成によれば、例えばぼかし処理などが施されることによって残部領域と表示態様が異なることになる部分領域の形状を、オブジェクトの形状または位置によって変更することができる。したがって、ぼかし領域などが施される領域を適切に変更することができる。<Summary of Embodiment 1>
In the display control device 1 according to the first embodiment as described above, the partial area is obtained based on the captured image and the object information, and in the display of the display device 21, the display mode of the partial area is changed to the display mode of the remaining area. Control to make it different from. According to such a configuration, the shape of the partial region whose display mode differs from that of the remaining region due to, for example, blurring processing can be changed depending on the shape or position of the object. Therefore, it is possible to appropriately change the area where the blur area or the like is applied.
なお、撮影画像のうち移動速度が速い画像を高品質で、かつリアルタイムに表示するためには、処理速度が高いカメラなどの撮影装置及び表示装置が必要になる。本実施の形態1では、撮影画像のうち自車両の存在する側と逆側の部分、つまり、自車両の移動に伴う移動速度が速い部分に対してぼかし処理等を施すので、処理速度が通常程度の撮影装置及び表示装置を用いることができる。この結果、それらに要するコストの低減化が期待できる。 In addition, in order to display a photographed image having a high moving speed in high quality and in real time, a photographing device and a display device such as a camera having a high processing speed are required. In the first embodiment, the portion of the captured image opposite to the side where the own vehicle exists, that is, the portion where the moving speed of the own vehicle is high is subjected to blurring processing or the like, so that the processing speed is usually high. A degree of imaging device and display device can be used. As a result, the cost required for them can be expected to be reduced.
<実施の形態2>
図2は、本発明の実施の形態2に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態2に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 2>
FIG. 2 is a block diagram showing a configuration of a display control device 1 according to a second embodiment of the present invention. Hereinafter, among the components according to the second embodiment, the components that are the same as or similar to the above-mentioned components are designated by the same reference numerals, and different components will be mainly described.
図2の表示制御装置1は、左表示装置21aと、右表示装置21bと、カメラ制御装置26cと、周辺検出装置27とに接続されている。 The display control device 1 of FIG. 2 is connected to the left display device 21a, the right display device 21b, the camera control device 26c, and the peripheral detection device 27.
左表示装置21a及び右表示装置21bのそれぞれは、図1の表示装置21に対応している。なお、左表示装置21a及び右表示装置21bの代わりに1つの表示装置が用いられてもよい。以下、左表示装置21aと右表示装置21bとを区別しない場合にはこれらを「表示装置21」と記して説明することもある。 Each of the left display device 21a and the right display device 21b corresponds to the display device 21 of FIG. In addition, one display device may be used instead of the left display device 21a and the right display device 21b. Hereinafter, when the left display device 21a and the right display device 21b are not distinguished, they may be described as “display device 21”.
カメラ制御装置26cは、左後側方カメラ26a、及び、右後側方カメラ26bと接続されている。 The camera control device 26c is connected to the left rear side camera 26a and the right rear side camera 26b.
左後側方カメラ26aは、自車両の左後側方を撮影するカメラであり、左ドアミラーの代わりに自車両に設けられている。右後側方カメラ26bは、自車両の右後側方を撮影するカメラであり、右ドアミラーの代わりに自車両に設けられている。本実施の形態2では、左後側方カメラ26a及び右後側方カメラ26bのそれぞれは、パノラマカメラでも広角カメラでもなく、画角が10度程度の画像を撮影する標準的なカメラであるものとして説明する。 The left rear side camera 26a is a camera that photographs the left rear side of the own vehicle, and is provided in the own vehicle instead of the left door mirror. The right rear side camera 26b is a camera that photographs the right rear side of the own vehicle, and is provided in the own vehicle instead of the right door mirror. In the second embodiment, each of the left rear side camera 26a and the right rear side camera 26b is neither a panoramic camera nor a wide-angle camera, but is a standard camera that captures an image having an angle of view of about 10 degrees. It is explained as.
なお、以下の説明では、左後側方カメラ26aで撮影された画像から得られたミラー表示用の画像を「左カメラ画像」と記すこともあり、右後側方カメラ26bで撮影された画像から得られたミラー表示用の画像を「右カメラ画像」と記すこともあり、左カメラ画像と右カメラ画像とを区別しない場合にはこれらを「カメラ画像」と記すこともある。 In the following description, the image for mirror display obtained from the image taken by the left rear side camera 26a may be referred to as a "left camera image", and the image taken by the right rear side camera 26b. The image for mirror display obtained from the above may be referred to as a "right camera image", and when the left camera image and the right camera image are not distinguished, these may be referred to as a "camera image".
カメラ制御装置26cは、左後側方カメラ26a及び右後側方カメラ26bのそれぞれに対し、画角及び焦点を変更する制御を適宜行う。このような構成によれば、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲などを適宜調整することが可能である。 The camera control device 26c appropriately controls the left rear side camera 26a and the right rear side camera 26b to change the angle of view and the focus. According to such a configuration, it is possible to appropriately adjust the range taken by the left rear side camera 26a and the right rear side camera 26b.
図3及び図4は、標準的なドアミラーの鏡像の調整例を示す図である。なお、ここでは、ドアミラーの一般的な調整例について説明するが、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲の調整も、ドアミラーの調整と同様に行われる。 3 and 4 are diagrams showing an example of adjusting a mirror image of a standard door mirror. Although a general adjustment example of the door mirror will be described here, the adjustment of the range captured by the left rear side camera 26a and the right rear side camera 26b is also performed in the same manner as the adjustment of the door mirror.
図3に示すように、自車両3の後部から後方30mの位置にあり、自車両3の側部から側方5mの幅の範囲が運転者に視認されるように、ドアミラーは調整される。図4に示すように、右ドアミラー4の鏡面4a左端から鏡面4aの横の長さの1/4程度の範囲にて自車両3のボディが運転者に視認され、かつ、鏡面4a下端から鏡面4aの縦の長さの1/3程度の範囲にて道路5が運転者に視認されるように、右ドアミラー4は調整される。左ドアミラーには、右ドアミラーの調整において左右を逆にした調整が行われる。左右のドアミラーにおいて推奨される調整は、左右のドアミラー及び国別の推奨値、並びに、左右のドアミラーの広さ及び種類などによって異なる。 As shown in FIG. 3, the door mirror is adjusted so that the vehicle is located 30 m rearward from the rear portion of the own vehicle 3 and the width range of 5 m laterally from the side portion of the own vehicle 3 is visible to the driver. As shown in FIG. 4, the body of the own vehicle 3 is visually recognized by the driver within a range of about 1/4 of the lateral length of the mirror surface 4a from the left end of the mirror surface 4a of the right door mirror 4, and the mirror surface is visible from the lower end of the mirror surface 4a. The right door mirror 4 is adjusted so that the road 5 is visible to the driver within a range of about 1/3 of the vertical length of 4a. The left door mirror is adjusted by reversing the left and right when adjusting the right door mirror. The recommended adjustments for the left and right door mirrors vary depending on the left and right door mirrors, the recommended values for each country, and the size and type of the left and right door mirrors.
図2に戻って、カメラ制御装置26cは、左後側方カメラ26a及び右後側方カメラ26bを以上のように制御するだけでなく、左後側方カメラ26a及び右後側方カメラ26bで撮影された左カメラ画像及び右カメラ画像を表示制御装置1に出力する。 Returning to FIG. 2, the camera control device 26c not only controls the left rear side camera 26a and the right rear side camera 26b as described above, but also the left rear side camera 26a and the right rear side camera 26b. The captured left camera image and right camera image are output to the display control device 1.
周辺検出装置27は、表示制御装置1の外部に設けられている。この周辺検出装置27は、自車両3後方の画像を認識して実施の形態1で説明したオブジェクトを検出し、オブジェクト情報を求める。本実施の形態2では、オブジェクトは、自車両3周辺の車線または自車両3周辺の道路5の区画線であり、オブジェクト情報は、車線の形状または区画線の形状を含む。車線は、道路5を区画線によって区分した部分である。区画線は、道路5に付された線であり、例えば点線白線、実線白線、または、黄色点線などの線である。なお、周辺検出装置27が認識の対象とする画像は、左後側方カメラ26a及び右後側方カメラ26bで撮影された画像であってもよいし、これらとは別のカメラで撮影された画像であってもよい。 The peripheral detection device 27 is provided outside the display control device 1. The peripheral detection device 27 recognizes the image behind the own vehicle 3 and detects the object described in the first embodiment to obtain the object information. In the second embodiment, the object is a lane around the own vehicle 3 or a lane marking of the road 5 around the own vehicle 3, and the object information includes the shape of the lane or the shape of the lane marking. The lane is a portion of the road 5 divided by a lane marking. The lane marking line is a line attached to the road 5, and is, for example, a dotted white line, a solid white line, or a yellow dotted line. The image to be recognized by the peripheral detection device 27 may be an image taken by the left rear side camera 26a and the right rear side camera 26b, or may be taken by a camera different from these. It may be an image.
次に、図2の表示制御装置1の内部構成について説明する。この表示制御装置1は、画像取得部11aと、オブジェクト情報取得部11bと、ぼかし領域決定部12aと、映像処理部12bとを備える。なお、画像取得部11a及びオブジェクト情報取得部11bの概念は、図1の取得部11に含まれる概念であり、ぼかし領域決定部12a及び映像処理部12bの概念は、図1の制御部12に含まれる概念である。 Next, the internal configuration of the display control device 1 of FIG. 2 will be described. The display control device 1 includes an image acquisition unit 11a, an object information acquisition unit 11b, a blur area determination unit 12a, and a video processing unit 12b. The concept of the image acquisition unit 11a and the object information acquisition unit 11b is a concept included in the acquisition unit 11 of FIG. 1, and the concept of the blur area determination unit 12a and the image processing unit 12b is described in the control unit 12 of FIG. It is a concept included.
画像取得部11aは、カメラ制御装置26cからのカメラ画像を、撮影画像として取得する。 The image acquisition unit 11a acquires a camera image from the camera control device 26c as a captured image.
オブジェクト情報取得部11bは、周辺検出装置27からオブジェクト情報を取得する。 The object information acquisition unit 11b acquires object information from the peripheral detection device 27.
ぼかし領域決定部12a及び映像処理部12bについては、図5及び図6を用いて以下に説明する。 The blur area determination unit 12a and the image processing unit 12b will be described below with reference to FIGS. 5 and 6.
図5及び図6は、本実施の形態2に係る左表示装置21aの表示例を示す図である。以下の説明では、左カメラ画像に対応する撮影画像を「左の撮影画像」と記すこともあり、右カメラ画像に対応する撮影画像を「右の撮影画像」と記すこともある。また、以下の説明では、主に左の撮影画像2の部分領域2a及び残部領域2bについて説明するが、右の撮影画像2の部分領域2a及び残部領域2bについても以下の説明と同様である。 5 and 6 are views showing a display example of the left display device 21a according to the second embodiment. In the following description, the captured image corresponding to the left camera image may be referred to as "left captured image", and the captured image corresponding to the right camera image may be referred to as "right captured image". Further, in the following description, the partial region 2a and the remaining region 2b of the left captured image 2 will be mainly described, but the partial region 2a and the remaining region 2b of the right captured image 2 are the same as the following description.
図5及び図6の例では、左の撮影画像2が左電子ミラーとして表示されている。左の撮影画像2には、自車両3のボディと、道路5と、移動体である他車両6a,6bとが表示されている。道路5の区画線である点線白線5aは、隣接車線を規定する点線白線のうち、自車両3と逆側の点線白線である。他車両6aは、自車両3に対して点線白線5aよりも遠くに位置している。一方、他車両6bは、隣接車線を走行しており、自車両3に対して点線白線5aよりも近くに位置している。 In the examples of FIGS. 5 and 6, the captured image 2 on the left is displayed as a left electronic mirror. In the photographed image 2 on the left, the body of the own vehicle 3, the road 5, and the other vehicles 6a and 6b which are moving bodies are displayed. The dotted white line 5a, which is a lane marking of the road 5, is a dotted white line on the opposite side of the own vehicle 3 among the dotted white lines defining the adjacent lanes. The other vehicle 6a is located farther than the dotted white line 5a with respect to the own vehicle 3. On the other hand, the other vehicle 6b is traveling in the adjacent lane and is located closer to the own vehicle 3 than the dotted white line 5a.
さて、図2のぼかし領域決定部12aは、オブジェクト情報取得部11bで取得されたオブジェクト情報に基づいて点線白線5aの形状を取得する。例えば、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bで撮影された画像である場合には、ぼかし領域決定部12aは、オブジェクト情報に含まれる点線白線5aの形状をそのまま取得する。また例えば、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bとは別のカメラで撮影された画像である場合には、ぼかし領域決定部12aは、左後側方カメラ26a及び右後側方カメラ26bの位置と、別のカメラの位置とに基づいて、オブジェクト情報に含まれる点線白線5aの形状を補正する。 By the way, the blur area determination unit 12a of FIG. 2 acquires the shape of the dotted white line 5a based on the object information acquired by the object information acquisition unit 11b. For example, when the image to be recognized by the peripheral detection device 27 is an image taken by the left rear side camera 26a and the right rear side camera 26b, the blur area determination unit 12a is included in the object information. The shape of the dotted white line 5a is acquired as it is. Further, for example, when the image to be recognized by the peripheral detection device 27 is an image taken by a camera different from the left rear side camera 26a and the right rear side camera 26b, the blur area determination unit 12a Corrects the shape of the dotted white line 5a included in the object information based on the positions of the left rear side camera 26a and the right rear side camera 26b and the positions of another camera.
ぼかし領域決定部12aは、点線白線5aの形状と、画像取得部11aで取得された撮影画像とに基づいて部分領域2aを求める。本実施の形態2に係るぼかし領域決定部12aは、予め設定された関数を用いて、点線白線5aの形状から点線白線5aの延長線を求め、点線白線5a及び当該延長線によって撮影画像2の領域を2つの領域に区分する。そして、ぼかし領域決定部12aは、当該2つの領域のうち自車両3の存在する側と逆側の1つの領域を部分領域2aとして求め、他方の領域を残部領域2bとして求める。なお、自車両3の存在する側と逆側の1つの領域は、図5及び図6のような左の撮影画像2の場合には上記2つの領域のうちの左側の領域であり、図示しない右の撮影画像2の場合には上記2つの領域のうちの右側の領域である。 The blur area determination unit 12a obtains a partial area 2a based on the shape of the dotted white line 5a and the captured image acquired by the image acquisition unit 11a. The blurring area determination unit 12a according to the second embodiment obtains an extension line of the dotted white line 5a from the shape of the dotted white line 5a by using a preset function, and uses the dotted white line 5a and the extension line to obtain the extension line of the captured image 2. Divide the area into two areas. Then, the blur region determining unit 12a obtains one region of the two regions opposite to the side where the own vehicle 3 exists as the partial region 2a, and the other region as the remaining region 2b. In the case of the left captured image 2 as shown in FIGS. 5 and 6, one region opposite to the side where the own vehicle 3 exists is the left region of the above two regions and is not shown. In the case of the captured image 2 on the right, it is the right region of the above two regions.
図2の映像処理部12bは、部分領域2a内にぼかし処理を施すことにより、部分領域2a内をぼかして表示する態様に部分領域2aの表示態様を変更する。本実施の形態2では、ぼかし処理は、部分領域2aの画像を半透過の灰色の画像に変更する処理であるが、後述するようにこれに限ったものではない。なお、図5等では便宜上、このようなぼかし処理が施された部分領域2aにハッチングが付されている。 The image processing unit 12b of FIG. 2 changes the display mode of the partial region 2a so that the partial region 2a is blurred and displayed by performing a blurring process in the partial region 2a. In the second embodiment, the blurring process is a process of changing the image of the partial region 2a to a semi-transparent gray image, but the blurring process is not limited to this as will be described later. In FIG. 5 and the like, hatching is added to the partial region 2a to which such a blurring process has been performed for convenience.
映像処理部12bは、ぼかし処理が施された左の撮影画像2の映像信号を左表示装置21aに出力し、ぼかし処理が施された右の撮影画像2の映像信号を右表示装置21bに出力する。 The image processing unit 12b outputs the video signal of the left captured image 2 that has been blurred to the left display device 21a, and outputs the video signal of the right captured image 2 that has been blurred to the right display device 21b. To do.
<動作>
図7は、本実施の形態2に係る表示制御装置1の動作を示すフローチャートである。この動作は、例えば自車両のアクセサリー電源がオンになった場合、及び、自車両の駆動源がオンになった場合などに開始される。<Operation>
FIG. 7 is a flowchart showing the operation of the display control device 1 according to the second embodiment. This operation is started, for example, when the accessory power of the own vehicle is turned on, or when the drive source of the own vehicle is turned on.
まずステップS1にて、画像取得部11aは、左カメラ画像及び右カメラ画像を、撮影画像2として取得する。 First, in step S1, the image acquisition unit 11a acquires the left camera image and the right camera image as the captured image 2.
ステップS2にて、オブジェクト情報取得部11bは、周辺検出装置27からオブジェクト情報を取得する。 In step S2, the object information acquisition unit 11b acquires the object information from the peripheral detection device 27.
ステップS3にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像2と、オブジェクト情報取得部11bで取得されたオブジェクト情報とに基づいて、部分領域2aを求める。 In step S3, the blur area determination unit 12a obtains the partial area 2a based on the captured image 2 acquired by the image acquisition unit 11a and the object information acquired by the object information acquisition unit 11b.
ステップS4にて、映像処理部12bは、部分領域2a内にぼかし処理を施す。 In step S4, the image processing unit 12b performs a blurring process in the partial area 2a.
ステップS5にて、映像処理部12bは、ぼかし処理を施された左の撮影画像2の映像信号を左表示装置21aに出力し、ぼかし処理を施された右の撮影画像2の映像信号を右表示装置21bに出力する。その後、ステップS1に処理が戻る。なお、撮影画像に関する以上の処理は、左右同時に実施してもよい。 In step S5, the video processing unit 12b outputs the video signal of the left shot image 2 that has been blurred to the left display device 21a, and outputs the video signal of the right shot image 2 that has been blurred to the right. Output to the display device 21b. After that, the process returns to step S1. The above processing related to the captured image may be performed simultaneously on the left and right sides.
<実施の形態2のまとめ>
図8は、本実施の形態2に係る表示制御装置1と関連する表示制御装置(以下「第1関連表示制御装置」と記す)の動作を説明するための図である。<Summary of Embodiment 2>
FIG. 8 is a diagram for explaining the operation of the display control device 1 related to the display control device 1 according to the second embodiment (hereinafter referred to as “first related display control device”).
図8に示すように、第1関連表示制御装置は、ぼかし処理が施された撮影画像2を表示する制御を行うが、ぼかし処理が施される領域2cは、撮影画像2に対して固定されている。このため、図8に示すように、撮影画像2によっては、領域2cが点線白線5aから大きくずれてしまい、ぼかし処理を施すべき、自車両の走行と関係が低くて重要度が低い他車両6aにぼかし処理が適切に施されないことなどがあった。 As shown in FIG. 8, the first related display control device controls to display the captured image 2 that has been subjected to the blurring process, but the area 2c to which the blurring process is applied is fixed to the captured image 2. ing. Therefore, as shown in FIG. 8, depending on the captured image 2, the region 2c deviates greatly from the dotted white line 5a, and the other vehicle 6a, which has a low relationship with the running of the own vehicle and is less important, should be subjected to blurring processing. In some cases, the blurring process was not performed properly.
これに対して本実施の形態2に係る表示制御装置1では、撮影画像2と、オブジェクト情報とに基づいて部分領域2aを求め、部分領域2a内にぼかし処理を施す。このような構成によれば、他車両6aなどにぼかし処理が適切に施されるように、ぼかし領域が施される領域を適切に変更することができる。 On the other hand, in the display control device 1 according to the second embodiment, the partial area 2a is obtained based on the captured image 2 and the object information, and the partial area 2a is blurred. According to such a configuration, the area to be blurred can be appropriately changed so that the blurring process is appropriately applied to the other vehicle 6a or the like.
<実施の形態2の変形例1>
実施の形態2では、ぼかし領域決定部12aが、点線白線5aのような区画線の形状に基づいて部分領域2aを求めることについて説明した。しかしながら、ぼかし領域決定部12aは、区画線の形状ではなく車線の形状に基づいて部分領域2aを求めてもよい。また、車線または区画線の形状は、ベルトのような面形状であってもよい。さらに、ぼかし領域決定部12aは、車線または区画線の幅方向の中心を通る中心線に基づいて部分領域2aを求めてもよい。<Modification 1 of the second embodiment>
In the second embodiment, it has been described that the blur region determining unit 12a obtains the partial region 2a based on the shape of the lane marking line 5a such as the dotted white line 5a. However, the blur region determining unit 12a may obtain the partial region 2a based on the shape of the lane instead of the shape of the lane marking. Further, the shape of the lane or the lane marking may be a surface shape such as a belt. Further, the blur region determining unit 12a may obtain the partial region 2a based on the center line passing through the center in the width direction of the lane or the division line.
また、区画線の形状は、1つまたは複数の区画線を有する道路の代表的な線、例えば道路の中心線の形状であってもよい。また、撮影画像内の道路に複数の車線が含まれる場合には、車線の形状は、隣接するいくつかの車線の全体の形状であってもよいし、特定の車線の形状であってもよい。 Further, the shape of the lane marking line may be the shape of a typical line of a road having one or a plurality of lane marking lines, for example, the shape of the center line of the road. When the road in the captured image contains a plurality of lanes, the shape of the lane may be the shape of the entire adjacent lane or the shape of a specific lane. ..
なお、以下の説明では、車線の形状と区画線の形状とは同義的に表現する場合もある。 In the following description, the shape of the lane and the shape of the lane marking may be expressed synonymously.
<実施の形態2の変形例2>
実施の形態2では、映像処理部12bは、部分領域2a内にぼかし処理を施すことにより、部分領域2a内をぼかして表示する態様に部分領域2aの表示態様を変更した。しかしながら、図9に示すように、映像処理部12bは、部分領域2a内に特定の色で塗りつぶす処理を施すことにより、部分領域2a内を特定の色で表示する態様に部分領域2aの表示態様を変更してもよい。<Modification 2 of the second embodiment>
In the second embodiment, the image processing unit 12b changes the display mode of the partial region 2a so that the partial region 2a is blurred and displayed by performing the blur processing in the partial region 2a. However, as shown in FIG. 9, the image processing unit 12b displays the partial area 2a in a manner in which the partial area 2a is displayed in a specific color by applying a process of filling the partial area 2a with a specific color. May be changed.
また、実施の形態2では、ぼかし処理は、部分領域2aの画像を半透過の灰色の画像に変更する処理、つまり、部分領域2a内の画像の色相、明度、彩度などの鮮明度を低減する処理であった。しかしながら、ぼかし処理は、例えば、画像の平滑化処理またはブラー処理などの、画像フィルタリング処理、つまり図10に示すように部分領域2a内の画像の先鋭度を低減する処理であってもよい。また、ぼかし処理は、半透過の表示オブジェクト、または、透過部分を含む模様付きの表示オブジェクトなどの予め定められた表示オブジェクトを部分領域2aに重畳する処理であってもよい。図11には、その一例として、透過部分を含む線状の模様付きの表示オブジェクト2dが部分領域2aに重畳された表示態様が示されている。 Further, in the second embodiment, the blurring process is a process of changing the image of the partial region 2a to a semi-transparent gray image, that is, reducing the sharpness of the image in the partial region 2a such as hue, brightness, and saturation. It was a process to do. However, the blurring process may be an image filtering process such as an image smoothing process or a blurring process, that is, a process of reducing the sharpness of the image in the partial region 2a as shown in FIG. Further, the blurring process may be a process of superimposing a predetermined display object such as a semi-transparent display object or a patterned display object including a transparent portion on the partial area 2a. As an example, FIG. 11 shows a display mode in which a display object 2d having a linear pattern including a transparent portion is superimposed on a partial region 2a.
<実施の形態2の変形例3>
ぼかし領域決定部12aは、オブジェクトの属性に基づいて部分領域2aの形状を変更してもよい。なお、オブジェクトの属性は、例えば地物、建物及び風景、並びに、これらの色彩などを含む。<Modification 3 of Embodiment 2>
The blur area determination unit 12a may change the shape of the partial area 2a based on the attributes of the object. The attributes of the object include, for example, features, buildings and landscapes, and their colors.
例えば図12に示すようにオブジェクトの属性が、空などの風景である場合には、ぼかし領域決定部12aは、部分領域2aの自車両3側の端が点線白線5aの消失点に合うように部分領域2aの形状を変更してもよい。また例えば図13に示すようにオブジェクト属性が、山7などの地物である場合には、ぼかし領域決定部12aは、部分領域2aの上端が地物の下端に合うように部分領域2aの形状を変更してもよい。 For example, as shown in FIG. 12, when the attribute of the object is a landscape such as the sky, the blur area determination unit 12a is set so that the end of the partial area 2a on the own vehicle 3 side matches the vanishing point of the dotted white line 5a. The shape of the partial region 2a may be changed. Further, for example, when the object attribute is a feature such as a mountain 7 as shown in FIG. 13, the blur area determination unit 12a has a shape of the partial area 2a so that the upper end of the partial area 2a matches the lower end of the feature. May be changed.
また、ぼかし領域決定部12aは、オブジェクトの属性に基づいて部分領域2aの表示態様の種類を変更してもよい。例えば、ぼかし領域決定部12aは、オブジェクトの色彩に基づいて、ぼかし処理に用いる色彩または模様を変更してもよい。また例えば、ぼかし領域決定部12aは、オブジェクトの形状に基づいて、ぼかし処理に用いる色彩または模様を変更してもよい。また例えば、ぼかし領域決定部12aは、オブジェクトの形状または色彩に基づいて、ぼかし処理の度合であるぼかし度合を変更してもよい。 Further, the blur area determination unit 12a may change the type of display mode of the partial area 2a based on the attributes of the object. For example, the blur area determination unit 12a may change the color or pattern used for the blur processing based on the color of the object. Further, for example, the blurring area determination unit 12a may change the color or pattern used for the blurring process based on the shape of the object. Further, for example, the blurring area determination unit 12a may change the degree of blurring, which is the degree of blurring, based on the shape or color of the object.
<実施の形態2の変形例4>
実施の形態2では、ぼかし領域決定部12aは、隣接車線の点線白線5aに対して自車両3と反対側の領域を部分領域2aとして求めたが、これに限ったものではない。例えば、ぼかし領域決定部12aは、道路に付設された壁面の領域を部分領域2aとして求めてもよい。または例えば、ぼかし領域決定部12aは、自車両3が走行している車線の反対車線、または、点線白線5aを、車線の1/3程度だけ自車両3と反対側にシフトさせた線を求め、当該線に対して撮影画像上の自車両3と反対側の領域を部分領域2aとして求めてもよい。つまり、部分領域2aと残部領域2bとの間の境界線は、点線白線5aから多少ずれてもよい。以上のように、部分領域2aの算出基準となるオブジェクトは、自車両3と同一方向に移動できない地物であってもよい。<Modification 4 of Embodiment 2>
In the second embodiment, the blurring area determination unit 12a determines the area opposite to the own vehicle 3 as the partial area 2a with respect to the dotted white line 5a in the adjacent lane, but the present invention is not limited to this. For example, the blurring area determination unit 12a may obtain the area of the wall surface attached to the road as the partial area 2a. Or, for example, the blurring area determination unit 12a obtains a lane opposite to the lane in which the own vehicle 3 is traveling, or a line obtained by shifting the dotted white line 5a to the opposite side of the own vehicle 3 by about 1/3 of the lane. , The region on the photographed image opposite to the own vehicle 3 with respect to the line may be obtained as the partial region 2a. That is, the boundary line between the partial region 2a and the remaining region 2b may deviate slightly from the dotted white line 5a. As described above, the object used as the calculation reference for the partial region 2a may be a feature that cannot move in the same direction as the own vehicle 3.
<実施の形態2の変形例5>
オブジェクト情報取得部11bは、自車両の図示しないECU及び車内LAN(Local Area Network)から、自車両の速度を取得してもよい。そして、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、オブジェクト情報取得部11bで取得されたオブジェクト情報及び自車両の速度とに基づいて、部分領域2aを求めてもよい。例えば、ぼかし領域決定部12aは、実施の形態2と同様に撮影画像及びオブジェクト情報に基づいて部分領域2aを求め、自車両の速度が大きくなるほど当該部分領域2aを大きくしてもよい。換言すれば、ぼかし領域決定部12aは、自車両の速度が大きくなるほど、ぼかし処理が施されない残部領域2bを小さくしてもよい。<Modification 5 of Embodiment 2>
The object information acquisition unit 11b may acquire the speed of the own vehicle from an ECU (not shown) and an in-vehicle LAN (Local Area Network) of the own vehicle. Then, the blur area determination unit 12a may obtain the partial area 2a based on the captured image acquired by the image acquisition unit 11a, the object information acquired by the object information acquisition unit 11b, and the speed of the own vehicle. .. For example, the blur area determination unit 12a may obtain the partial area 2a based on the captured image and the object information as in the second embodiment, and may increase the partial area 2a as the speed of the own vehicle increases. In other words, the blurring area determination unit 12a may reduce the remaining portion area 2b that is not subjected to the blurring process as the speed of the own vehicle increases.
ところで一般的に、自車両の速度が大きいほど、撮影画像のうち移動速度が速い画像の領域が大きくなるので、運転者の目や脳の疲労が高くなる。本変形例5に係るぼかし領域決定部12aは、自車両の速度が大きくなるほど、ぼかし処理が施される部分領域2aを大きくすることができるので、運転者の目や脳の疲労を抑制することができる。また、処理速度が通常程度の撮影装置及び表示装置を用いることができるので、それらに要するコストの低減化が期待できる。 By the way, in general, the higher the speed of the own vehicle, the larger the region of the captured image where the moving speed is high, so that the driver's eyes and brain become more tired. The blurring region determining unit 12a according to the fifth modification can increase the partial region 2a to be blurred as the speed of the own vehicle increases, so that fatigue of the driver's eyes and brain can be suppressed. Can be done. Further, since a photographing device and a display device having a normal processing speed can be used, it is expected that the cost required for them will be reduced.
なお、オブジェクト情報取得部11bは、自車両の速度の代わりに自車両の加速度を取得してもよい。そして、ぼかし領域決定部12aは、オブジェクト情報取得部11bで取得された自車両の加速度を積分して自車両の速度を求めてから、上記と同様の処理を行ってもよい。つまり、オブジェクト情報取得部11bが、自車両の速度及び加速度などの自車両の移動に関する物理量を取得し、ぼかし領域決定部12aが、撮影画像と、オブジェクト情報と、当該物理量とに基づいて、部分領域2aを求めてもよい。 The object information acquisition unit 11b may acquire the acceleration of the own vehicle instead of the speed of the own vehicle. Then, the blur area determination unit 12a may perform the same processing as described above after integrating the acceleration of the own vehicle acquired by the object information acquisition unit 11b to obtain the speed of the own vehicle. That is, the object information acquisition unit 11b acquires a physical quantity related to the movement of the own vehicle such as the speed and acceleration of the own vehicle, and the blur area determination unit 12a is a portion based on the captured image, the object information, and the physical quantity. The region 2a may be obtained.
また、映像処理部12bは、自車両の速度が大きいほど、ぼかし度合を高くしてもよい。または、映像処理部12bは、自車両の速度が予め定められた閾値以下である場合には、自車両の速度が大きいほどぼかし度合を高くし、自車両の速度が当該閾値より大きい場合には、自車両の速度が大きいほどぼかし度合を低くしてもよい。この際、映像処理部12bは、自車両が走行している道路である走行道路の制限速度に基づいて閾値を変更してもよい。 Further, the image processing unit 12b may increase the degree of blurring as the speed of the own vehicle increases. Alternatively, when the speed of the own vehicle is equal to or less than a predetermined threshold value, the image processing unit 12b increases the degree of blurring as the speed of the own vehicle increases, and when the speed of the own vehicle is greater than the threshold value, the image processing unit 12b increases the degree of blurring. , The degree of blurring may be lowered as the speed of the own vehicle is increased. At this time, the image processing unit 12b may change the threshold value based on the speed limit of the traveling road on which the own vehicle is traveling.
<実施の形態2の変形例6>
オブジェクト情報取得部11bは、自車両の車線変更を示す車線変更情報を取得してもよい。車線変更情報は、例えば、車内LANなどから取得可能な車両制御情報、及び、方向指示器などから取得可能な信号などを含む。または、オブジェクト情報取得部11bは、車載情報システムから経路情報を取得して、自車両が走行している車線を予測し、その予測結果に基づいて車線変更情報を求めてもよい。または、自車両に自動運転機能が設けられている場合には、オブジェクト情報取得部11bは、自動運転で用いられる走行計画に基づいて車線変更情報を求めてもよい。<Modified Example 6 of Embodiment 2>
The object information acquisition unit 11b may acquire lane change information indicating a lane change of the own vehicle. The lane change information includes, for example, vehicle control information that can be acquired from an in-vehicle LAN or the like, a signal that can be acquired from a direction indicator or the like, and the like. Alternatively, the object information acquisition unit 11b may acquire route information from the in-vehicle information system, predict the lane in which the own vehicle is traveling, and obtain lane change information based on the prediction result. Alternatively, when the own vehicle is provided with an automatic driving function, the object information acquisition unit 11b may request lane change information based on the traveling plan used in the automatic driving.
ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、オブジェクト情報取得部11bで取得されたオブジェクト情報及び車線変更情報とに基づいて、部分領域2aを求めてもよい。例えば、ぼかし領域決定部12aは、実施の形態2と同様に撮影画像及びオブジェクト情報に基づいて、左表示装置21a及び右表示装置21bの部分領域2aを求めてから、車線変更情報に基づいて、一方の部分領域2aを、他方の部分領域2aよりも小さくしてもよい。 The blur area determination unit 12a may obtain the partial area 2a based on the captured image acquired by the image acquisition unit 11a and the object information and the lane change information acquired by the object information acquisition unit 11b. For example, the blur area determination unit 12a obtains the partial area 2a of the left display device 21a and the right display device 21b based on the captured image and the object information as in the second embodiment, and then based on the lane change information. One partial region 2a may be smaller than the other partial region 2a.
具体的には、車線変更情報が左折を示す場合には、ぼかし領域決定部12aは、左表示装置21aの部分領域2aを右表示装置21bの部分領域2aよりも小さくして、左表示装置21aのぼかし処理が施されていない残部領域2bを大きくしてもよい。一方、車線変更情報が右折を示す場合には、ぼかし領域決定部12aは、右表示装置21bの部分領域2aを左表示装置21aの部分領域2aよりも小さくして、右表示装置21bのぼかし処理が施されていない残部領域2bを大きくしてもよい。このように自車両が右左折する際、または、自車両が道路分岐点に位置する際に、ぼかし領域決定部12aは、部分領域2aの形状を変更してもよい。 Specifically, when the lane change information indicates a left turn, the blur area determination unit 12a makes the partial area 2a of the left display device 21a smaller than the partial area 2a of the right display device 21b, and the left display device 21a The remaining area 2b that has not been subjected to the blurring process may be increased. On the other hand, when the lane change information indicates a right turn, the blur area determination unit 12a makes the partial area 2a of the right display device 21b smaller than the partial area 2a of the left display device 21a, and blurs the right display device 21b. The remaining area 2b that is not provided with the above may be increased. When the own vehicle makes a right or left turn or when the own vehicle is located at a road junction in this way, the blur region determination unit 12a may change the shape of the partial region 2a.
<実施の形態2の変形例7>
映像処理部12bは、走行道路の種類に基づいて部分領域2aに施すべきぼかし処理を変更してもよい。例えば、国によっては、一般道路の道路標識の色と、高速道路の道路標識の色とが異なることがある。このことを考慮して、映像処理部12bは、部分領域2aに施すべきぼかし処理の透過色を、走行道路の道路標識の色に合わせてもよい。<Modification 7 of the second embodiment>
The image processing unit 12b may change the blurring process to be applied to the partial region 2a based on the type of the traveling road. For example, in some countries, the color of road signs on general roads and the color of road signs on highways may differ. In consideration of this, the image processing unit 12b may match the transparent color of the blurring process to be applied to the partial region 2a with the color of the road sign of the traveling road.
<実施の形態2の変形例8>
図14は、実施の形態2の変形例8に係る表示制御装置1の構成を示すブロック図である。図14の構成では、図2の構成に対して、操作入力装置26dが表示制御装置1の外部に設けられている。<Modification 8 of the second embodiment>
FIG. 14 is a block diagram showing the configuration of the display control device 1 according to the modified example 8 of the second embodiment. In the configuration of FIG. 14, the operation input device 26d is provided outside the display control device 1 with respect to the configuration of FIG.
操作入力装置26dは、例えば操作スイッチであり、左後側方カメラ26aが撮影する方向(カメラ方向)を変更するための操作と、右後側方カメラ26bが撮影する方向(カメラ方向)を変更するための操作とを受け付ける。 The operation input device 26d is, for example, an operation switch, and is used to change the shooting direction (camera direction) of the left rear side camera 26a and the shooting direction (camera direction) of the right rear side camera 26b. Accepts operations to do.
カメラ制御装置26cは、操作入力装置26dで受け付けた操作に基づいて、左後側方カメラ26a及び右後側方カメラ26bのそれぞれに対し、カメラ方向、画角及び焦点を変更する制御を適宜行う。このような構成によれば、操作入力装置26dにおける操作が適宜行われることによって、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲などを適宜調整することが可能である。なお、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bとは別のカメラで撮影された画像である場合には、ぼかし領域決定部12aは、左後側方カメラ26a及び右後側方カメラ26bの位置と、それらのカメラ方向と、別のカメラの位置とに基づいて、オブジェクト情報に含まれるオブジェクトの形状などを補正する。 The camera control device 26c appropriately controls the left rear side camera 26a and the right rear side camera 26b to change the camera direction, angle of view, and focus based on the operation received by the operation input device 26d. .. According to such a configuration, the range captured by the left rear side camera 26a and the right rear side camera 26b can be appropriately adjusted by appropriately performing the operation in the operation input device 26d. If the image to be recognized by the peripheral detection device 27 is an image taken by a camera different from the left rear side camera 26a and the right rear side camera 26b, the blur area determination unit 12a may be used. , The shape of the object included in the object information is corrected based on the positions of the left rear side camera 26a and the right rear side camera 26b, their camera directions, and the position of another camera.
以上のような構成によれば、ドアミラーの鏡像に対する調整と同様の調整を電子ミラーの表示に対して行うことができる。 According to the above configuration, the same adjustment as the adjustment for the mirror image of the door mirror can be performed on the display of the electronic mirror.
<実施の形態3>
図15は、本発明の実施の形態3に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態3に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 3>
FIG. 15 is a block diagram showing the configuration of the display control device 1 according to the third embodiment of the present invention. Hereinafter, among the components according to the third embodiment, the same or similar components as those described above will be designated by the same reference numerals, and different components will be mainly described.
図15の構成では、図2の構成に対して、表示制御装置1の外部に設けられていた周辺検出装置27、及び、表示制御装置1の内部に設けられていたオブジェクト情報取得部11bが取り除かれ、画像認識部12cが表示制御装置1の内部に設けられている。なお、画像認識部12cの概念は、図1の制御部12に含まれる概念である。 In the configuration of FIG. 15, the peripheral detection device 27 provided outside the display control device 1 and the object information acquisition unit 11b provided inside the display control device 1 are removed from the configuration of FIG. The image recognition unit 12c is provided inside the display control device 1. The concept of the image recognition unit 12c is a concept included in the control unit 12 of FIG.
画像認識部12cは、画像取得部11aで取得された撮影画像の画像認識を行うことによって、当該撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。つまり、画像認識部12cは、周辺検出装置27と同様の機能を有している。 The image recognition unit 12c recognizes an object from the photographed image by performing image recognition of the photographed image acquired by the image acquisition unit 11a, and obtains object information based on the recognition result. That is, the image recognition unit 12c has the same function as the peripheral detection device 27.
<動作>
図16は、本実施の形態3に係る表示制御装置1の動作を示すフローチャートである。この図16の動作は、図7の動作のステップS2及びステップS3をステップS11及びステップS12に変更したものと同様である。このため、ここではステップS11及びステップS12についてのみ説明する。<Operation>
FIG. 16 is a flowchart showing the operation of the display control device 1 according to the third embodiment. The operation of FIG. 16 is the same as the operation of FIG. 7 in which steps S2 and S3 are changed to steps S11 and S12. Therefore, only steps S11 and S12 will be described here.
ステップS11にて、画像認識部12cは、画像取得部11aで取得された撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。 In step S11, the image recognition unit 12c recognizes an object from the captured image acquired by the image acquisition unit 11a, and obtains object information based on the recognition result.
ステップS12にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域2aを求める。 In step S12, the blur area determination unit 12a obtains the partial area 2a based on the captured image acquired by the image acquisition unit 11a and the object information obtained by the image recognition unit 12c.
<実施の形態3のまとめ>
以上のような本実施の形態3に係る表示制御装置1では、撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。このような構成によれば、周辺検出装置27を設ける必要がなくなるため、周辺検出装置27に要するコストの低減化が期待できる。また、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bで撮影された画像であることから、カメラ位置の差異に対する補正処理を省くことができる。<Summary of Embodiment 3>
The display control device 1 according to the third embodiment as described above recognizes an object from a captured image and obtains object information based on the recognition result. According to such a configuration, it is not necessary to provide the peripheral detection device 27, so that the cost required for the peripheral detection device 27 can be expected to be reduced. Further, since the image to be recognized by the peripheral detection device 27 is an image taken by the left rear side camera 26a and the right rear side camera 26b, it is possible to omit the correction processing for the difference in camera position. ..
<実施の形態3の変形例>
以上の説明では、部分領域2aが求められる撮影画像は、主にミラー表示用の画像であるものとして説明したが、これに限ったものではない。撮影画像は、例えば、自車両の後側方の画像、自車両の後方の画像、自車両の側方の画像、及び、自車両の前方の画像の少なくとも1つであってもよい。つまり、撮影画像は、後方カメラの画像、または、前方カメラの画像などであってもよい。例えば撮影画像が自車両の側方の画像である場合には、ぼかし領域決定部12aは、撮影画像の上側の領域を部分領域2aとして求めてもよい。<Modification of Embodiment 3>
In the above description, the captured image for which the partial region 2a is required is mainly assumed to be an image for mirror display, but the present invention is not limited to this. The captured image may be, for example, at least one of an image of the rear side of the own vehicle, an image of the rear side of the own vehicle, an image of the side of the own vehicle, and an image of the front side of the own vehicle. That is, the captured image may be an image of the rear camera, an image of the front camera, or the like. For example, when the captured image is an image on the side of the own vehicle, the blur region determining unit 12a may obtain the region above the captured image as the partial region 2a.
また、撮影画像は、例えば、自車両の後側方の画像、自車両の後方の画像、自車両の側方の画像、及び、自車両の前方の画像の組み合わせからなる、横長形状のパノラマ画像であってもよい。また、撮影画像は、鳥瞰図のようなアラウンドビュー表示用の画像であってもよい。 Further, the captured image is, for example, a horizontally long panoramic image composed of a combination of an image of the rear side of the own vehicle, an image of the rear side of the own vehicle, an image of the side of the own vehicle, and an image of the front side of the own vehicle. It may be. Further, the captured image may be an image for displaying an around view such as a bird's-eye view.
以上のことは、実施の形態2に係る表示制御装置1、及び、実施の形態3以降に説明する表示制御装置1においても同様である。 The above is the same in the display control device 1 according to the second embodiment and the display control device 1 described in the third and subsequent embodiments.
<実施の形態4>
図17は、本発明の実施の形態4に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態4に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 4>
FIG. 17 is a block diagram showing the configuration of the display control device 1 according to the fourth embodiment of the present invention. Hereinafter, among the components according to the fourth embodiment, the same or similar components as those described above will be designated by the same reference numerals, and different components will be mainly described.
図17の構成では、図2の構成に対して、表示制御装置1の外部に設けられていた周辺検出装置27、及び、表示制御装置1の内部に設けられていたオブジェクト情報取得部11bが取り除かれ、道路地図データベース28及び車両位置検出部29が表示制御装置1の外部に設けられている。 In the configuration of FIG. 17, the peripheral detection device 27 provided outside the display control device 1 and the object information acquisition unit 11b provided inside the display control device 1 are removed from the configuration of FIG. The road map database 28 and the vehicle position detection unit 29 are provided outside the display control device 1.
道路地図データベース28は、自車両の位置と、車線上から視た区画線の形状とが対応付けられた地図情報が記憶されている。本実施の形態4では、道路地図データベース28は、自車両に設けられている。 The road map database 28 stores map information in which the position of the own vehicle and the shape of the lane marking seen from the lane are associated with each other. In the fourth embodiment, the road map database 28 is provided in the own vehicle.
車両位置検出部29は、自車両の位置を検出する。車両位置検出部29は、例えばGNSS(Global Navigation Satellite System)受信機、及び、角速度センサなどの車両センサを含む。この車両位置検出部29は、自車両の位置を高精度に検出すること、例えば自車両の位置を50cm程度の誤差で検出することが好ましい。また、車両位置検出部29は、過去の自車両の位置、及び、地図情報に基づいてマップマッチング処理を行うことにより、自車両の位置及び向きを補正してもよい。 The vehicle position detection unit 29 detects the position of the own vehicle. The vehicle position detection unit 29 includes, for example, a GNSS (Global Navigation Satellite System) receiver and a vehicle sensor such as an angular velocity sensor. It is preferable that the vehicle position detecting unit 29 detects the position of the own vehicle with high accuracy, for example, the position of the own vehicle with an error of about 50 cm. Further, the vehicle position detection unit 29 may correct the position and orientation of the own vehicle by performing map matching processing based on the past position of the own vehicle and the map information.
ぼかし領域決定部12aは、道路地図データベース28から取得された地図情報と、車両位置検出部29で検出された自車両の位置とに基づいて、自車両の位置に対応する区画線の形状を含むオブジェクト情報を求める。 The blur area determination unit 12a includes the shape of the lane marking corresponding to the position of the own vehicle based on the map information acquired from the road map database 28 and the position of the own vehicle detected by the vehicle position detection unit 29. Ask for object information.
<動作>
図18は、本実施の形態4に係る表示制御装置1の動作を示すフローチャートである。この図18の動作は、図7の動作のステップS2及びステップS3をステップS21〜S23に変更したものと同様である。このため、ここではステップS21〜S23についてのみ説明する。<Operation>
FIG. 18 is a flowchart showing the operation of the display control device 1 according to the fourth embodiment. The operation of FIG. 18 is the same as the operation of FIG. 7 in which steps S2 and S3 are changed to steps S21 to S23. Therefore, only steps S21 to S23 will be described here.
ステップS21にて、車両位置検出部29は、自車両の位置を検出する。 In step S21, the vehicle position detection unit 29 detects the position of the own vehicle.
ステップS22にて、ぼかし領域決定部12aは、地図情報と、車両位置検出部29で検出された自車両の位置とに基づいて、自車両の位置に対応する区画線の形状を含むオブジェクト情報を求める。 In step S22, the blur area determination unit 12a obtains object information including the shape of the lane marking corresponding to the position of the own vehicle based on the map information and the position of the own vehicle detected by the vehicle position detection unit 29. Ask.
ステップS23にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、求めたオブジェクト情報とに基づいて、部分領域2aを求める。 In step S23, the blur area determination unit 12a obtains the partial area 2a based on the captured image acquired by the image acquisition unit 11a and the obtained object information.
<実施の形態4のまとめ>
以上のような本実施の形態4に係る表示制御装置1では、地図情報と、自車両の位置とに基づいて、自車両の位置に対応する区画線の形状を含むオブジェクト情報を求める。このような構成によれば、例えば他車両などの移動体によって、部分領域2aの算出基準となる点線白線5aなどの区画線が自車両から見えなくても、区画線の形状を予測して部分領域2aを求めることができる。<Summary of Embodiment 4>
In the display control device 1 according to the fourth embodiment as described above, object information including the shape of the lane marking corresponding to the position of the own vehicle is obtained based on the map information and the position of the own vehicle. According to such a configuration, even if the lane markings such as the dotted white line 5a, which is the calculation reference of the partial region 2a, cannot be seen from the own vehicle due to a moving body such as another vehicle, the shape of the lane markings is predicted and the portion The region 2a can be obtained.
<実施の形態4の変形例1>
実施の形態4の図17の構成に加えて、周辺検出装置27を設けてもよい。そして、ぼかし領域決定部12aは、周辺検出装置27の検出結果を用いて、実施の形態4で求められる区画線の形状を補正してもよい。このような構成によれば、車両位置検出部29の検出精度及び地図情報の精度が高精度でなくても、それらが高精度である場合と同様の効果を得ることができる。<Modification 1 of Embodiment 4>
In addition to the configuration of FIG. 17 of the fourth embodiment, the peripheral detection device 27 may be provided. Then, the blurring area determination unit 12a may correct the shape of the division line obtained in the fourth embodiment by using the detection result of the peripheral detection device 27. According to such a configuration, even if the detection accuracy of the vehicle position detection unit 29 and the accuracy of the map information are not high accuracy, the same effect as when they are high accuracy can be obtained.
<実施の形態4の変形例2>
実施の形態4では、ぼかし領域決定部12aは、自車両に設けられた道路地図データベース28の地図情報を用いたが、これに限ったものではない。例えば、表示制御装置1が、表示制御装置1外部のサーバと通信可能である場合には、当該サーバに設けられた道路地図データベースの地図情報を用いてもよい。<Modification 2 of Embodiment 4>
In the fourth embodiment, the blur area determination unit 12a uses the map information of the road map database 28 provided in the own vehicle, but the present invention is not limited to this. For example, when the display control device 1 can communicate with a server outside the display control device 1, the map information of the road map database provided in the server may be used.
<実施の形態4の変形例3>
実施の形態4では、道路地図データベース28及び車両位置検出部29は個別に設けられていたが、これに限ったものではない。例えば、道路地図データベース28及び車両位置検出部29の代わりに、これらを一体化した道路形状出力装置が設けられてもよい。また、この場合にはマップマッチング処理は道路形状出力装置によって行われてもよい。<Modification 3 of Embodiment 4>
In the fourth embodiment, the road map database 28 and the vehicle position detection unit 29 are individually provided, but the present invention is not limited to this. For example, instead of the road map database 28 and the vehicle position detection unit 29, a road shape output device that integrates these may be provided. Further, in this case, the map matching process may be performed by the road shape output device.
<実施の形態4の変形例4>
実施の形態4の構成によれば、ぼかし領域決定部12aは区画線の形状を求めることができる。そこで、映像処理部12bは、ぼかし領域決定部12aで求めた区画線の形状の画像を、表示装置21の表示に用いられる撮影画像に付加してもよい。このような構成によれば、他車両などの移動体によって区画線が自車両から実際には見えなくても、表示装置21において区画線の形状を表示することができる。<Modification 4 of Embodiment 4>
According to the configuration of the fourth embodiment, the blurring area determination unit 12a can obtain the shape of the lane marking. Therefore, the image processing unit 12b may add an image of the shape of the division line obtained by the blur area determination unit 12a to the captured image used for the display of the display device 21. According to such a configuration, the shape of the lane marking can be displayed on the display device 21 even if the lane marking is not actually visible from the own vehicle due to a moving body such as another vehicle.
<実施の形態5>
図19は、本発明の実施の形態5に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態5に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 5>
FIG. 19 is a block diagram showing a configuration of a display control device 1 according to a fifth embodiment of the present invention. Hereinafter, among the components according to the fifth embodiment, the same or similar components as those described above will be designated by the same reference numerals, and different components will be mainly described.
図19の構成では、図15の構成に対して、表示制御装置1の外部に設けられていた左後側方カメラ26a及び右後側方カメラ26bが取り除かれ、左後側方広角カメラ26e、右後側方広角カメラ26f及び操作入力装置26gが表示制御装置1の外部に設けられている。 In the configuration of FIG. 19, the left rear side camera 26a and the right rear side camera 26b provided outside the display control device 1 are removed from the configuration of FIG. 15, and the left rear side wide-angle camera 26e, The right rear side wide-angle camera 26f and the operation input device 26g are provided outside the display control device 1.
図20は、画角が10度である標準的なカメラが撮影可能な領域である撮影領域R1と、画角が25度である広角カメラが撮影可能な領域である撮影領域R2とを示す図である。図19の左後側方広角カメラ26e及び右後側方広角カメラ26fのそれぞれは、標準的なカメラではなく広角カメラであり、左後側方広角カメラ26e及び右後側方広角カメラ26fのそれぞれの撮影領域は、撮影領域R2である。 FIG. 20 is a diagram showing a shooting area R1 which is an area where a standard camera having an angle of view of 10 degrees can shoot and a shooting area R2 which is a region where a wide-angle camera having an angle of view of 25 degrees can shoot. Is. Each of the left rear side wide-angle camera 26e and the right rear side wide-angle camera 26f in FIG. 19 is not a standard camera but a wide-angle camera, and each of the left rear side wide-angle camera 26e and the right rear side wide-angle camera 26f. The photographing area of is the photographing area R2.
操作入力装置26gは、左後側方広角カメラ26eで撮影された画像の一部を切り取る切取操作を受け付ける。図21に示すように、画像取得部11aは、操作入力装置26gで受け付けた切取操作に基づいて、左後側方広角カメラ26eで撮影された撮影領域R2から、その一部を撮影画像2として切り取る。同様に、操作入力装置26gは、右後側方広角カメラ26fで撮影された画像の一部を切り取る切取操作を受け付ける。図21に示すように、画像取得部11aは、操作入力装置26gで受け付けた切取操作に基づいて、右後側方広角カメラ26fで撮影された撮影領域R2から、その一部を撮影画像2として切り取る。 The operation input device 26g accepts a cutting operation for cutting a part of an image taken by the left rear side wide-angle camera 26e. As shown in FIG. 21, the image acquisition unit 11a uses a part of the shooting area R2 shot by the left rear side wide-angle camera 26e as the shot image 2 based on the cutting operation received by the operation input device 26g. cut out. Similarly, the operation input device 26g accepts a cutting operation for cutting a part of an image taken by the right rear side wide-angle camera 26f. As shown in FIG. 21, the image acquisition unit 11a uses a part of the shooting area R2 shot by the right rear side wide-angle camera 26f as the shot image 2 based on the cutting operation received by the operation input device 26g. cut out.
図22及び図23は、左後側方広角カメラ26eなどのカメラで撮影された撮影領域R2と、撮影画像2との例を示す図である。操作入力装置26gが、図22の撮影画像2よりも左側に位置する画像を切り取る操作を受け付けた場合、画像取得部11aは、図22の撮影画像2よりも左側に位置する図23の撮影画像2を切り取る。図示しないが同様に、操作入力装置26gが、図22の撮影画像2よりも右側、上側、及び、下側に位置する画像を切り取る操作を受け付けた場合、画像取得部11aは、図22の撮影画像2よりも右側、上側、及び、下側に位置する撮影画像をそれぞれ切り取る。 22 and 23 are diagrams showing an example of a shooting area R2 shot by a camera such as the left rear side wide-angle camera 26e and a shot image 2. When the operation input device 26g accepts an operation of cutting out an image located on the left side of the captured image 2 of FIG. 22, the image acquisition unit 11a receives the captured image of FIG. 23 located on the left side of the captured image 2 of FIG. Cut out 2. Similarly, although not shown, when the operation input device 26g accepts an operation of cutting out an image located on the right side, upper side, and lower side of the captured image 2 of FIG. 22, the image acquisition unit 11a captures the captured image of FIG. 22. The captured images located on the right side, the upper side, and the lower side of the image 2 are cut out.
画像認識部12cは、画像取得部11aで切り取られた撮影画像2からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。 The image recognition unit 12c recognizes an object from the captured image 2 cut out by the image acquisition unit 11a, and obtains object information based on the recognition result.
ぼかし領域決定部12aは、画像取得部11aで切り取られた撮影画像2と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域2aを求める。なお、図22及び図23では、撮影画像2のうち、ぼかし処理が行われる部分領域に対応する領域にハッチングが付されている。 The blur area determination unit 12a obtains a partial area 2a based on the captured image 2 cut by the image acquisition unit 11a and the object information obtained by the image recognition unit 12c. In addition, in FIG. 22 and FIG. 23, hatching is attached to the region corresponding to the partial region where the blurring process is performed in the captured image 2.
<実施の形態5のまとめ>
以上のような本実施の形態5に係る表示制御装置1では、実施の形態2の変形例8と同様に、ドアミラーの鏡像に対する調整と同様の調整を電子ミラーの表示に対して行うことができる。また、本実施の形態5によれば、左後側方広角カメラ26eなどのカメラが撮影する方向を変更する電動駆動機構などのハードウェアが不要になるので、実施の形態2の変形例8よりもコスト低減化が期待できる。<Summary of Embodiment 5>
In the display control device 1 according to the fifth embodiment as described above, the same adjustment as the adjustment for the mirror image of the door mirror can be performed on the display of the electronic mirror as in the modified example 8 of the second embodiment. .. Further, according to the fifth embodiment, hardware such as an electric drive mechanism for changing the shooting direction of the camera such as the left rear side wide-angle camera 26e becomes unnecessary, and therefore, from the modified example 8 of the second embodiment. Can also be expected to reduce costs.
<実施の形態5の変形例1>
画像取得部11aは、例えば左表示装置21aなどの表示装置の表示範囲に基づいて撮影画像2の範囲を変更してもよい。図24には、表示範囲の横幅が図22の表示範囲の横幅よりも大きい表示装置を用いた場合の撮影画像2が示されている。<Modification 1 of Embodiment 5>
The image acquisition unit 11a may change the range of the captured image 2 based on the display range of a display device such as the left display device 21a. FIG. 24 shows a captured image 2 when a display device having a display range wider than the width of the display range of FIG. 22 is used.
<実施の形態5の変形例2>
実施の形態5では、(1)カメラで撮影された撮影領域を取得する、(2)撮影領域から撮影画像を切り取る、(3)撮影画像の部分領域を求める、(4)部分領域にぼかし領域を施す、という順で処理が行われたが、これに限ったものではない。例えば、図25のように、(1)カメラで撮影された撮影領域R2を仮の撮影画像として取得する、(2)仮の撮影画像の部分領域を求める、(3)部分領域にぼかし領域を施す、(4)仮の撮影画像から撮影画像を切り取る、という順で処理が行われてもよい。<Modification 2 of Embodiment 5>
In the fifth embodiment, (1) the shooting area shot by the camera is acquired, (2) the shot image is cut out from the shooting area, (3) the partial area of the shot image is obtained, and (4) the blurred area is divided into the partial areas. The processing was performed in the order of applying, but it is not limited to this. For example, as shown in FIG. 25, (1) the shooting area R2 shot by the camera is acquired as a temporary shot image, (2) a partial area of the temporary shot image is obtained, and (3) a blurred area is set in the partial area. Processing may be performed in the order of applying, (4) cutting out the captured image from the temporary captured image.
<実施の形態6>
図26は、本発明の実施の形態6に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態6に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 6>
FIG. 26 is a block diagram showing the configuration of the display control device 1 according to the sixth embodiment of the present invention. Hereinafter, among the components according to the sixth embodiment, the same or similar components as those described above will be designated by the same reference numerals, and different components will be mainly described.
図26の構成では、図19の構成に対して、表示制御装置1の外部に設けられていた左表示装置21a、右表示装置21b、左後側方広角カメラ26e及び右後側方広角カメラ26fが取り除かれ、横長表示装置21c、左後側方カメラ26a、右後側方カメラ26b及び後方カメラ26hが表示制御装置1の外部に設けられている。 In the configuration of FIG. 26, with respect to the configuration of FIG. 19, the left display device 21a, the right display device 21b, the left rear side wide-angle camera 26e, and the right rear side wide-angle camera 26f provided outside the display control device 1 Is removed, and a horizontally long display device 21c, a left rear side camera 26a, a right rear side camera 26b, and a rear camera 26h are provided outside the display control device 1.
横長表示装置21cは、実施の形態2に係る左表示装置21a及び右表示装置21bのそれぞれよりも表示画面の横の長さが長い表示装置である。 The horizontally long display device 21c is a display device having a longer horizontal length of the display screen than each of the left display device 21a and the right display device 21b according to the second embodiment.
左後側方カメラ26a、右後側方カメラ26bは、実施の形態2で説明したとおりである。後方カメラ26hは、自車両真後の画像を撮影する。カメラ制御装置26cは、左後側方カメラ26a、右後側方カメラ26b及び後方カメラ26hで撮影されたミラー表示用の画像を画像取得部11aに出力する。 The left rear side camera 26a and the right rear side camera 26b are as described in the second embodiment. The rear camera 26h captures an image directly behind the own vehicle. The camera control device 26c outputs an image for mirror display taken by the left rear side camera 26a, the right rear side camera 26b, and the rear camera 26h to the image acquisition unit 11a.
画像取得部11aは、自車両の左後側方の画像、自車両の右後側方の画像、及び、自車両の後方(真後)の画像の合成し、それによって得られた合成画像を生成する。そして画像取得部11aは、操作入力装置26gで受け付けた切取操作に基づいて、合成画像の一部を撮影画像2として切り取る。 The image acquisition unit 11a synthesizes an image of the left rear side of the own vehicle, an image of the right rear side of the own vehicle, and an image of the rear (directly behind) of the own vehicle, and combines the combined image obtained thereby. Generate. Then, the image acquisition unit 11a cuts a part of the composite image as the captured image 2 based on the cutting operation received by the operation input device 26g.
ぼかし領域決定部12aは、画像取得部11aで切り取られた撮影画像2と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域2aを求める。映像処理部12bは、部分領域2a内にぼかし処理を施すことにより、部分領域2a内をぼかして表示する態様に部分領域2aの表示態様を変更する。映像処理部12bは、ぼかし処理が施された撮影画像2の映像信号を横長表示装置21cに出力する。図27に自車両が直進車線を走行している場合の横長表示装置21cの表示例を示す。図28に自車両が直進車線を走行している場合の横長表示装置21cの表示例を示す。 The blur area determination unit 12a obtains a partial area 2a based on the captured image 2 cut by the image acquisition unit 11a and the object information obtained by the image recognition unit 12c. The image processing unit 12b changes the display mode of the partial region 2a so that the partial region 2a is blurred and displayed by performing a blurring process in the partial region 2a. The image processing unit 12b outputs the image signal of the captured image 2 that has been subjected to the blurring process to the horizontally long display device 21c. FIG. 27 shows a display example of the horizontally long display device 21c when the own vehicle is traveling in a straight lane. FIG. 28 shows a display example of the horizontally long display device 21c when the own vehicle is traveling in a straight lane.
<実施の形態6のまとめ>
以上のような本実施の形態6に係る表示制御装置1によれば、自車両の左後側方の画像、自車両の右後側方の画像、及び、自車両の後方の画像を合成して得られる合成画像についても、実施の形態5と同様の効果を得ることができる。<Summary of Embodiment 6>
According to the display control device 1 according to the sixth embodiment as described above, the image of the left rear side of the own vehicle, the image of the right rear side of the own vehicle, and the image of the rear of the own vehicle are combined. The same effect as that of the fifth embodiment can be obtained with respect to the composite image obtained.
<実施の形態7>
図29は、本発明の実施の形態7に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態7に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 7>
FIG. 29 is a block diagram showing the configuration of the display control device 1 according to the seventh embodiment of the present invention. Hereinafter, among the components according to the seventh embodiment, the same or similar components as those described above will be designated by the same reference numerals, and different components will be mainly described.
図29の構成では、図2の構成に対して、ぼかし領域決定部12aの代わりにぼかし処理決定部12dが設けられている。ぼかし処理決定部12dは、画像取得部11aで取得された撮影画像とオブジェクト情報とに基づいて、部分領域2a内の第1部分及び第2部分を求める。そして、ぼかし処理決定部12dは、第1部分のぼかし度合と第2部分のぼかし度合とを異ならせる制御を行うことが可能となっている。 In the configuration of FIG. 29, a blur processing determination unit 12d is provided instead of the blur area determination unit 12a with respect to the configuration of FIG. The blur processing determination unit 12d obtains the first portion and the second portion in the partial region 2a based on the captured image acquired by the image acquisition unit 11a and the object information. Then, the blur processing determination unit 12d can control the degree of blurring of the first portion and the degree of blurring of the second portion to be different.
図30は、本実施の形態7に係る左表示装置21aの表示例を示す図である。 FIG. 30 is a diagram showing a display example of the left display device 21a according to the seventh embodiment.
図30には、自車両が走行している車線である走行車線と、走行車線の左側に隣接する左第1隣接車線と、左第1隣接車線の左側に隣接する左第2隣接車線とが示されている。図30の点線白線5bは、左第1隣接車線を規定する点線白線のうち自車両3と逆側の点線白線である。図30の実線白線5cは、左第2隣接車線を規定する実線白線のうち自車両3と逆側の実線白線である。 In FIG. 30, the traveling lane, which is the lane in which the own vehicle is traveling, the left first adjacent lane adjacent to the left side of the traveling lane, and the left second adjacent lane adjacent to the left side of the left first adjacent lane are shown. It is shown. The dotted white line 5b in FIG. 30 is the dotted white line on the opposite side of the own vehicle 3 among the dotted white lines defining the left first adjacent lane. The solid white line 5c in FIG. 30 is the solid white line on the opposite side of the own vehicle 3 among the solid white lines defining the second left adjacent lane.
図29のぼかし処理決定部12dは、オブジェクト情報取得部11bで取得されたオブジェクト情報に基づいて、点線白線5bの形状と実線白線5cの形状とを取得する。そして、ぼかし処理決定部12dは、点線白線5bの形状と、撮影画像2とに基づいて、点線白線5bに対して自車両3と反対側の領域を、部分領域2aの第1部分2a1として求める。ぼかし処理決定部12dは、実線白線5cの形状と、撮影画像2とに基づいて、実線白線5cに対して自車両3と反対側の領域を、部分領域2aの第2部分2a2として求める。 The blurring processing determination unit 12d of FIG. 29 acquires the shape of the dotted white line 5b and the shape of the solid white line 5c based on the object information acquired by the object information acquisition unit 11b. Then, the blurring processing determination unit 12d obtains the region opposite to the own vehicle 3 with respect to the dotted white line 5b as the first portion 2a1 of the partial region 2a based on the shape of the dotted white line 5b and the captured image 2. .. Based on the shape of the solid white line 5c and the captured image 2, the blurring processing determining unit 12d obtains a region opposite to the own vehicle 3 with respect to the solid white line 5c as the second portion 2a2 of the partial region 2a.
また、ぼかし処理決定部12dは、第1部分2a1のぼかし度合、及び、第2部分2a2のぼかし度合を互いに異なるように決定する。例えば、ぼかし処理決定部12dは、第1部分2a1の透過率を50%(半透過)に決定し、第2部分2a2の透過率を0%(非透過)に決定する。 Further, the blurring process determining unit 12d determines the degree of blurring of the first portion 2a1 and the degree of blurring of the second portion 2a2 so as to be different from each other. For example, the blurring processing determination unit 12d determines the transmittance of the first portion 2a1 to be 50% (semi-transparent) and the transmittance of the second portion 2a2 to 0% (non-transparent).
映像処理部12bは、ぼかし処理決定部12dで決定されたぼかし度合に基づいて部分領域2aの第1部分2a1及び第2部分2a2内にぼかし処理を施す。図31は、走行車線、左第1隣接車線及び左第2隣接車線に対して、上述の構成により施されるぼかし度合を示す図である。図30及び図31に示すように、第2部分2a2と、撮影画像2での自車両の走行車線との間の距離は、第1部分2a1と、撮影画像2での自車両の走行車線との間の距離との間の距離よりも大きくなっている。そして、本実施の形態7に係るぼかし処理決定部12dは、第2部分2a2のぼかし度合を第1部分2a1のぼかし度合よりも高くしている。 The image processing unit 12b performs blurring processing in the first portion 2a1 and the second portion 2a2 of the partial region 2a based on the degree of blurring determined by the blurring processing determination unit 12d. FIG. 31 is a diagram showing the degree of blurring applied to the traveling lane, the left first adjacent lane, and the left second adjacent lane according to the above configuration. As shown in FIGS. 30 and 31, the distance between the second portion 2a2 and the traveling lane of the own vehicle in the captured image 2 is the same as that of the first portion 2a1 and the traveling lane of the own vehicle in the captured image 2. It is greater than the distance between. Then, the blurring process determining unit 12d according to the seventh embodiment sets the degree of blurring of the second portion 2a2 higher than the degree of blurring of the first portion 2a1.
<動作>
図32は、本実施の形態7に係る表示制御装置1の動作を示すフローチャートである。この図32の動作は、図7の動作のステップS3及びステップS4をステップS31〜S33に変更したものと同様である。このため、ここではステップS31〜S33についてのみ説明する。<Operation>
FIG. 32 is a flowchart showing the operation of the display control device 1 according to the seventh embodiment. The operation of FIG. 32 is the same as the operation of FIG. 7 in which steps S3 and S4 are changed to steps S31 to S33. Therefore, only steps S31 to S33 will be described here.
ステップS31にて、ぼかし処理決定部12dは、画像取得部11aで取得された撮影画像2と、オブジェクト情報取得部11bで取得されたオブジェクト情報とに基づいて、部分領域2aの第1部分2a1を求める。また、ぼかし処理決定部12dは、第1部分2a1のぼかし度合を決定する。 In step S31, the blurring processing determination unit 12d sets the first portion 2a1 of the partial area 2a based on the captured image 2 acquired by the image acquisition unit 11a and the object information acquired by the object information acquisition unit 11b. Ask. Further, the blurring process determining unit 12d determines the degree of blurring of the first portion 2a1.
ステップS32にて、ぼかし処理決定部12dは、画像取得部11aで取得された撮影画像2と、オブジェクト情報取得部11bで取得されたオブジェクト情報とに基づいて、部分領域2aの第2部分2a2を求める。また、ぼかし処理決定部12dは、第1部分2a1のぼかし度合と異なる度合を、第2部分2a2のぼかし度合として決定する。 In step S32, the blurring processing determination unit 12d sets the second portion 2a2 of the partial area 2a based on the captured image 2 acquired by the image acquisition unit 11a and the object information acquired by the object information acquisition unit 11b. Ask. Further, the blur processing determination unit 12d determines a degree different from the degree of blurring of the first portion 2a1 as the degree of blurring of the second portion 2a2.
ステップS33にて、映像処理部12bは、ぼかし処理決定部12dで決定されたぼかし度合に基づいて部分領域2aの第1部分2a1及び第2部分2a2内にぼかし処理を施す。 In step S33, the image processing unit 12b performs blurring processing in the first portion 2a1 and the second portion 2a2 of the partial region 2a based on the degree of blurring determined by the blurring processing determination unit 12d.
<実施の形態7のまとめ>
図33は、本実施の形態7に係る表示制御装置1と関連する表示制御装置(以下「第2関連表示制御装置」と記す)の動作を説明するための図である。<Summary of Embodiment 7>
FIG. 33 is a diagram for explaining the operation of the display control device 1 related to the display control device 1 according to the seventh embodiment (hereinafter referred to as “second related display control device”).
第2関連表示制御装置は、操舵角に基づいてぼかし度合の勾配を制御する。しかしながら、図33に示すように、車両3aは、Out−In−Outの走行軌跡C1上を走行する場合もあれば、In−Out−Inの走行軌跡C2上を走行する場合もある。ここで、車両3aが同一車線を走行している場合であっても、車両3aの走行軌跡のばらつきによって操舵角の値が異なることになる。このため、第2関連表示制御装置では、同一車線に対してぼかし度合の勾配がばらつく結果、重要度が高い画像の視認性を高めることができないことがあった。 The second related display control device controls the gradient of the degree of blurring based on the steering angle. However, as shown in FIG. 33, the vehicle 3a may travel on the Out-In-Out travel locus C1 or may travel on the In-Out-In travel locus C2. Here, even when the vehicle 3a is traveling in the same lane, the value of the steering angle differs depending on the variation in the traveling locus of the vehicle 3a. For this reason, in the second related display control device, as a result of the gradient of the degree of blurring varying with respect to the same lane, it may not be possible to improve the visibility of images having high importance.
これに対して本実施の形態7に係る表示制御装置1では、撮影画像2とオブジェクト情報とに基づいて、部分領域2a内の第1部分2a1及び第2部分2a2を求める。このように求められた第1部分2a1及び第2部分2a2は、自車両の走行軌跡のばらつきの影響を受けにくいので、重要度が高い画像の視認性を高めることができる。 On the other hand, in the display control device 1 according to the seventh embodiment, the first portion 2a1 and the second portion 2a2 in the partial region 2a are obtained based on the captured image 2 and the object information. Since the first portion 2a1 and the second portion 2a2 thus obtained are not easily affected by the variation in the traveling locus of the own vehicle, the visibility of the image having high importance can be enhanced.
また本実施の形態7では、自車両の走行車線に遠い第2部分2a2のぼかし度合を、自車両の走行車線に近い第1部分2a1のぼかし度合よりも高くする。このような構成によれば、自車両の走行と関係が低い地物などに対するぼかし度合を高めることができる。 Further, in the seventh embodiment, the degree of blurring of the second portion 2a2 far from the traveling lane of the own vehicle is made higher than the degree of blurring of the first portion 2a1 close to the traveling lane of the own vehicle. According to such a configuration, it is possible to increase the degree of blurring for a feature having a low relationship with the traveling of the own vehicle.
<実施の形態7の変形例1>
図31に示したように、実施の形態7に係るぼかし処理決定部12dは、走行車線、左第1隣接車線及び左第2隣接車線に対するぼかし度合を階段状に変化させたが、これに限ったものではない。例えば、図34に示すように、ぼかし処理決定部12dは、走行車線、左第1隣接車線及び左第2隣接車線に対するぼかし度合を、グラデーションのように連続的に変化させてもよい。<Modification 1 of Embodiment 7>
As shown in FIG. 31, the blurring processing determination unit 12d according to the seventh embodiment changes the degree of blurring with respect to the traveling lane, the left first adjacent lane, and the left second adjacent lane in a stepped manner, but this is limited to this. It's not a lane. For example, as shown in FIG. 34, the blurring processing determination unit 12d may continuously change the degree of blurring with respect to the traveling lane, the left first adjacent lane, and the left second adjacent lane like a gradation.
また、実施の形態7に係るぼかし処理決定部12dは、透過率を低くすることによって、ぼかし度合を高めたが、これに限ったものではない。例えば、ぼかし処理決定部12dは、色調の変更を高めること、鮮明度を低減すること、または、画像の先鋭度を低減することによって、ぼかし度合を高めてもよい。 Further, the blurring process determining unit 12d according to the seventh embodiment increases the degree of blurring by lowering the transmittance, but the present invention is not limited to this. For example, the blur processing determination unit 12d may increase the degree of blurring by increasing the change in color tone, reducing the sharpness, or reducing the sharpness of the image.
<実施の形態7の変形例2>
図31に示したように、実施の形態7に係るぼかし処理決定部12dは、左第1隣接車線を規定する点線白線5bなどの区画線を、部分領域2aと残部領域2bとの境界線BLとして用いたが、これに限ったものではない。<Modification 2 of Embodiment 7>
As shown in FIG. 31, the blurring processing determination unit 12d according to the seventh embodiment sets a lane marking line such as a dotted white line 5b defining the left first adjacent lane as a boundary line BL between the partial area 2a and the remaining area 2b. However, it is not limited to this.
例えば、図35及び図36に示すように、ぼかし処理決定部12dは、左第1隣接車線などの車線の中心線を、部分領域2aと残部領域2bとの境界線BLとして用いてもよい。また図36に示すように、ぼかし処理決定部12dは、1次関数ではなく他の関数を用いて、走行車線から左第2隣接車線までの間の位置に対するぼかし度合を変化させてもよい。 For example, as shown in FIGS. 35 and 36, the blurring processing determination unit 12d may use the center line of a lane such as the left first adjacent lane as the boundary line BL between the partial region 2a and the remaining region 2b. Further, as shown in FIG. 36, the blurring process determining unit 12d may use another function instead of the linear function to change the degree of blurring with respect to the position between the traveling lane and the second left adjacent lane.
<実施の形態7の変形例3>
図37に示すように、ぼかし処理決定部12dは、撮影画像2において自車両3と逆側で、かつ、撮影画像2の下側の部分を規定し、当該部分に近づくほど、部分領域2aのぼかし度合を高めてもよい。このような構成によれば、撮影画像2のうち自車両3後方の遠い箇所に相当する部分、つまり、撮影画像2のうち変化が低い部分のぼかし度合を低くすることができる。<Modification 3 of Embodiment 7>
As shown in FIG. 37, the blurring processing determination unit 12d defines a portion of the captured image 2 that is opposite to the own vehicle 3 and is lower than the captured image 2, and the closer to the portion, the more the partial region 2a. The degree of blurring may be increased. According to such a configuration, it is possible to reduce the degree of blurring of the portion of the captured image 2 corresponding to a distant portion behind the own vehicle 3, that is, the portion of the captured image 2 where the change is low.
<実施の形態7の変形例4>
ぼかし処理決定部12dは、自車両の速度に基づいて部分領域2aと残部領域2bとの境界線BL(図31)を変更してもよい。例えば、ぼかし処理決定部12dは、自車両の速度が小さいほど、自車両と逆側に境界線BLを移動させ、自車両の速度が大きいほど、自車両側に境界線BLを移動させてもよい。つまり、ぼかし処理決定部12dは、実施の形態2の変形例5と同様にして、撮影画像と、オブジェクト情報と、自車両の速度などの自車両の移動に関する物理量とに基づいて、部分領域2aを求めてもよい。<Modification 4 of Embodiment 7>
The blurring process determining unit 12d may change the boundary line BL (FIG. 31) between the partial region 2a and the remaining region 2b based on the speed of the own vehicle. For example, the blurring processing determination unit 12d may move the boundary line BL to the opposite side of the own vehicle as the speed of the own vehicle is lower, and may move the boundary line BL to the own vehicle side as the speed of the own vehicle is higher. Good. That is, the blur processing determination unit 12d is the same as the modification 5 of the second embodiment, based on the captured image, the object information, and the physical quantity related to the movement of the own vehicle such as the speed of the own vehicle, and the partial area 2a. May be sought.
また、ぼかし処理決定部12dは、実施の形態2の変形例6と同様にして、撮影画像及、オブジェクト情報及び車線変更情報に基づいて部分領域2aを変更してもよい。 Further, the blurring process determining unit 12d may change the partial region 2a based on the captured image, the object information, and the lane change information in the same manner as in the modification 6 of the second embodiment.
<実施の形態7の変形例5>
ぼかし処理決定部12dは、実施の形態2の変形例3と同様にして、オブジェクトの属性に基づいて部分領域2aの形状または部分領域2aの表示態様の種類を変更してもよい。例えば、図38に示すように、ぼかし処理決定部12dは、撮影画像2での道路に付設された壁面の領域の透過度を低くすることによって、当該領域のぼかし度合を高くしてもよい。この場合、ぼかし処理は、車線形状や地物によって異なるため、左表示装置21aにおけるぼかし処理後の表示と、右表示装置21bにおけるぼかし処理後の表示とは非対称となる。また例えば、ぼかし処理決定部12dは、壁面の透過率を他の地物の透過率と同じにし、かつ、壁面の色彩を他の地物の色彩と異なるようにしてもよい。<Modification 5 of Embodiment 7>
The blurring process determining unit 12d may change the shape of the partial area 2a or the type of the display mode of the partial area 2a based on the attributes of the object in the same manner as in the modification 3 of the second embodiment. For example, as shown in FIG. 38, the blurring process determining unit 12d may increase the degree of blurring of the region by lowering the transparency of the region of the wall surface attached to the road in the captured image 2. In this case, since the blurring process differs depending on the lane shape and the feature, the display after the blurring process on the left display device 21a and the display after the blurring process on the right display device 21b are asymmetrical. Further, for example, the blurring processing determination unit 12d may make the transmittance of the wall surface the same as the transmittance of other features and make the color of the wall surface different from the color of other features.
<実施の形態7の変形例6>
ぼかし処理決定部12dは、図34などに示したように部分領域2aにグラデーションのぼかし処理を施す場合に、自車両の速度に基づいて自車両側方における透過率の勾配(グラデーションの変化の度合)を変更してもよい。例えば、ぼかし処理決定部12dは、自車両の速度が小さいほど自車両側方における透過率の勾配を小さくし、自車両の速度が大きいほど自車両側方における透過率の勾配を大きくしてもよい。<Modification 6 of Embodiment 7>
When the partial area 2a is subjected to the gradation blur processing as shown in FIG. 34, the blur processing determination unit 12d determines the gradient of the transmittance (degree of change in the gradation) on the side of the own vehicle based on the speed of the own vehicle. ) May be changed. For example, the blurring processing determination unit 12d may reduce the gradient of the transmittance on the side of the own vehicle as the speed of the own vehicle decreases, and increase the gradient of the transmittance on the side of the own vehicle as the speed of the own vehicle increases. Good.
また、ぼかし処理決定部12dは、図37に示したように撮影画像2のうち自車両3後方の遠い箇所に相当する部分のぼかし度合を低くする場合に、自車両の速度に基づいて自車両後方の部分における透過率の勾配を変更してもよい。例えば、ぼかし処理決定部12dは、自車両の速度が小さいほど自車両後方の部分における透過率の勾配を小さくし、自車両の速度が大きいほど自車両後方の部分における透過率の勾配を大きくしてもよい。 Further, as shown in FIG. 37, the blur processing determination unit 12d reduces the degree of blurring of a portion of the captured image 2 corresponding to a distant portion behind the own vehicle 3, based on the speed of the own vehicle. The gradient of transmittance in the rear part may be changed. For example, the blurring processing determination unit 12d decreases the gradient of the transmittance in the portion behind the own vehicle as the speed of the own vehicle decreases, and increases the gradient of the transmittance in the portion behind the own vehicle as the speed of the own vehicle increases. You may.
<実施の形態7の変形例7>
ぼかし処理決定部12dは、オプティカルフローなどによって部分領域2a内の部分について単位時間当たりの変化量を求め、当該変化量に基づいて当該部分のぼかし度合を変更してもよい。例えば、ぼかし処理決定部12dは、部分領域2a内の部分の変化量が大きいほど、当該部分のぼかし度合を高めてもよい。また例えば、ぼかし処理決定部12dは、部分領域2a内の部分の変化量が予め定められた閾値以上である場合に、ぼかし度合の変更を行ってもよい。このような構成によれば、ぼかし処理を適切に行うことができる。<Modification 7 of Embodiment 7>
The blurring processing determination unit 12d may obtain the amount of change per unit time for the portion in the partial region 2a by an optical flow or the like, and may change the degree of blurring of the portion based on the amount of change. For example, the blurring process determining unit 12d may increase the degree of blurring of the portion as the amount of change in the portion in the partial region 2a is larger. Further, for example, the blur processing determination unit 12d may change the degree of blurring when the amount of change in the portion in the partial region 2a is equal to or greater than a predetermined threshold value. According to such a configuration, the blurring process can be appropriately performed.
<実施の形態7の変形例8>
実施の形態7で説明した内容は、実施の形態2だけでなく、実施の形態3〜6、及び、実施の形態2〜6の変形例にも適用されてもよい。この際、ぼかし処理決定部12dは、撮影画像2に関する方向たる撮影方向に基づいて、部分領域2aのぼかし度合を変更してもよい。<Modification 8 of Embodiment 7>
The contents described in the seventh embodiment may be applied not only to the second embodiment but also to the third to sixth embodiments and the modifications of the second to sixth embodiments. At this time, the blurring process determining unit 12d may change the degree of blurring of the partial region 2a based on the shooting direction which is the direction with respect to the shot image 2.
なお、撮影方向は、実施の形態2の変形例8で説明したカメラ方向であってもよい。この場合、ぼかし処理決定部12dは、カメラ方向が自車両から遠ざかるにつれて、部分領域2aのぼかし度合を高めてもよい。 The shooting direction may be the camera direction described in the modified example 8 of the second embodiment. In this case, the blurring process determining unit 12d may increase the degree of blurring of the partial region 2a as the camera direction moves away from the own vehicle.
また、撮影方向は仮想撮影方向であってもよい。仮想撮影方向は、実施の形態5の図21の撮影領域R2における撮影画像2の範囲に対応する方向である。例えば、仮想撮影方向は、具体的には図21の撮影領域R2の右端を基準(0度)とした、撮影画像2の範囲の右端の位置に対応する角度に相当する。この場合、ぼかし処理決定部12dは、仮想撮影方向が自車両から遠ざかるにつれて、部分領域2aのぼかし度合を高めてもよい。これと同じ処理が、広角カメラで撮影された画像を用いる実施の形態5だけでなく、合成画像を用いる実施の形態6にも適用されてもよい。 Further, the shooting direction may be a virtual shooting direction. The virtual shooting direction is a direction corresponding to the range of the shot image 2 in the shooting area R2 of FIG. 21 of the fifth embodiment. For example, the virtual shooting direction specifically corresponds to an angle corresponding to the position of the right end of the range of the captured image 2 with the right end of the photographing area R2 in FIG. 21 as a reference (0 degree). In this case, the blurring process determining unit 12d may increase the degree of blurring of the partial region 2a as the virtual shooting direction moves away from the own vehicle. The same processing may be applied not only to the fifth embodiment using an image taken by a wide-angle camera, but also to the sixth embodiment using a composite image.
<実施の形態8>
図39は、本発明の実施の形態8に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態8に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。<Embodiment 8>
FIG. 39 is a block diagram showing the configuration of the display control device 1 according to the eighth embodiment of the present invention. Hereinafter, among the components according to the eighth embodiment, the same or similar components as those described above will be designated by the same reference numerals, and different components will be mainly described.
図39の構成では、図15の構成に対して、周辺検出装置27aが表示制御装置1の外部に設けられている。周辺検出装置27aは、他車両の自車両に対する相対位置を検出する。本実施の形態8では、周辺検出装置27aは、自車両から数m程度の範囲内に位置する他車両を検出可能な超音波センサである。画像認識部12cは区画線の認識を行い、周辺検出装置27aは自車両周辺の他車両を検出する。 In the configuration of FIG. 39, the peripheral detection device 27a is provided outside the display control device 1 with respect to the configuration of FIG. The peripheral detection device 27a detects the relative position of another vehicle with respect to the own vehicle. In the eighth embodiment, the peripheral detection device 27a is an ultrasonic sensor capable of detecting another vehicle located within a range of about several meters from the own vehicle. The image recognition unit 12c recognizes the lane marking, and the peripheral detection device 27a detects other vehicles around the own vehicle.
以下、上述した実施の形態3に係る表示制御装置1と比較して本実施の形態8に係る表示制御装置1について説明する。 Hereinafter, the display control device 1 according to the eighth embodiment will be described as compared with the display control device 1 according to the third embodiment described above.
図40は、実施の形態3に係る左表示装置21aの表示例を示す図である。図40の例では、左の撮影画像2に、他車両6c,6d,6eが表示されている。他車両6cは、隣接車線を走行しており、自車両3に対して点線白線5aよりも近くに位置している。他車両6d,6eは、自車両3に対して点線白線5aよりも遠くに位置している。 FIG. 40 is a diagram showing a display example of the left display device 21a according to the third embodiment. In the example of FIG. 40, other vehicles 6c, 6d, 6e are displayed in the photographed image 2 on the left. The other vehicle 6c is traveling in the adjacent lane and is located closer to the own vehicle 3 than the dotted white line 5a. The other vehicles 6d and 6e are located farther than the dotted white line 5a with respect to the own vehicle 3.
実施の形態3で説明したぼかし領域決定部12aは、撮影画像と、オブジェクト情報とに基づいて、隣接車線の点線白線5aに対して自車両3と反対側の領域を部分領域2aとして求める。このため、図40の他車両6d,6eの両方にぼかし処理が施されている。しかしながら、現実には、他車両6dは自車両3に近いので、他車両6dはぼかし処理の対象から除外されることが好ましい。これに対して本実施の形態8に係る表示制御装置1では、他車両6dをぼかし処理の対象から除外することが可能となっている。 The blur area determination unit 12a described in the third embodiment obtains a region opposite to the own vehicle 3 as a partial region 2a with respect to the dotted white line 5a in the adjacent lane based on the captured image and the object information. Therefore, both the other vehicles 6d and 6e in FIG. 40 are blurred. However, in reality, since the other vehicle 6d is close to the own vehicle 3, it is preferable that the other vehicle 6d is excluded from the target of the blurring process. On the other hand, in the display control device 1 according to the eighth embodiment, it is possible to exclude the other vehicle 6d from the target of the blurring process.
図41は、図40の例における他車両6c,6d,6eと自車両3との位置関係を示す平面図であり、図42は、本実施の形態8に係る左表示装置21aの表示例を示す図である。本実施の形態8では、ぼかし領域決定部12aは、他車両の自車両に対する相対位置に基づいて部分領域2aを変更する。 FIG. 41 is a plan view showing the positional relationship between the other vehicles 6c, 6d, 6e and the own vehicle 3 in the example of FIG. 40, and FIG. 42 is a display example of the left display device 21a according to the eighth embodiment. It is a figure which shows. In the eighth embodiment, the blur region determining unit 12a changes the partial region 2a based on the relative position of the other vehicle with respect to the own vehicle.
具体的には、ぼかし領域決定部12aは、実施の形態3で部分領域2aを求めた処理と同様の処理を行うことによって、図41に示される部分領域候補2eを求める。そして、ぼかし領域決定部12aは、部分領域候補2e内の他車両6d,6eの自車両3に対する相対位置に基づいて、他車両6d,6eが、自車両3の近くの範囲に設定された注目範囲8内に位置するか否かを判定する。そして、ぼかし領域決定部12aは、注目範囲8外に位置すると判定された他車両6eにはぼかし処理が施されたままにし、かつ、注目範囲8内に位置すると判定された他車両6dにはぼかし処理が施されないように部分領域候補2eを変更する。 Specifically, the blur area determination unit 12a obtains the partial area candidate 2e shown in FIG. 41 by performing the same process as the process for obtaining the partial area 2a in the third embodiment. Then, the blur area determination unit 12a pays attention that the other vehicles 6d and 6e are set in a range near the own vehicle 3 based on the relative positions of the other vehicles 6d and 6e in the partial area candidate 2e with respect to the own vehicle 3. It is determined whether or not it is located within the range 8. Then, the blur area determination unit 12a leaves the other vehicle 6e determined to be located outside the attention range 8 to be blurred, and the other vehicle 6d determined to be located within the attention range 8 is subjected to the blur processing. The partial area candidate 2e is changed so that the blurring process is not performed.
ぼかし領域決定部12aは、変更後の部分領域候補2eを部分領域2aとして求める。この結果、図42に示すように、他車両6dが除かれた部分領域2aにぼかし処理が施されることになる。 The blur area determination unit 12a obtains the changed partial area candidate 2e as the partial area 2a. As a result, as shown in FIG. 42, the partial region 2a excluding the other vehicle 6d is subjected to the blurring process.
<動作>
図43は、本実施の形態8に係る表示制御装置1の動作を示すフローチャートである。この図43の動作は、図7の動作のステップS2及びステップS3をステップS41〜S45に変更したものと同様である。このため、ここではステップS41〜S45についてのみ説明する。<Operation>
FIG. 43 is a flowchart showing the operation of the display control device 1 according to the eighth embodiment. The operation of FIG. 43 is the same as the operation of FIG. 7 in which steps S2 and S3 are changed to steps S41 to S45. Therefore, only steps S41 to S45 will be described here.
ステップS41にて、画像認識部12cは、画像取得部11aで取得された撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。 In step S41, the image recognition unit 12c recognizes an object from the captured image acquired by the image acquisition unit 11a, and obtains object information based on the recognition result.
ステップS42にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域候補2eを求める。 In step S42, the blur area determination unit 12a obtains the partial area candidate 2e based on the captured image acquired by the image acquisition unit 11a and the object information obtained by the image recognition unit 12c.
ステップS43にて、ぼかし領域決定部12aは、部分領域候補2e内に他車両が検出されているか否かを判定する。他車両が検出されていないと判定された場合には処理がステップS44に進み、他車両が検出されたと判定された場合には処理がステップS45に進む。 In step S43, the blur area determination unit 12a determines whether or not another vehicle is detected in the partial area candidate 2e. If it is determined that no other vehicle has been detected, the process proceeds to step S44, and if it is determined that another vehicle has been detected, the process proceeds to step S45.
ステップS44にて、ぼかし領域決定部12aは、部分領域候補2eを部分領域2aとして決定する。その後、処理がステップS4に進む。 In step S44, the blur area determination unit 12a determines the partial area candidate 2e as the partial area 2a. After that, the process proceeds to step S4.
ステップS45にて、ぼかし領域決定部12aは、検出された他車両を除くように部分領域候補2eを変更して得られる領域を部分領域2aとして決定する。その後、処理がステップS4に進む。 In step S45, the blur region determination unit 12a determines the region obtained by changing the partial region candidate 2e so as to exclude the detected other vehicle as the partial region 2a. After that, the process proceeds to step S4.
<実施の形態8のまとめ>
以上のような本実施の形態8に係る表示制御装置1では、他車両の自車両に対する相対位置に基づいて部分領域2aを変更する。このような構成によれば、ぼかし領域などが施される領域を適切に変更することができる。<Summary of Embodiment 8>
In the display control device 1 according to the eighth embodiment as described above, the partial region 2a is changed based on the relative position of the other vehicle with respect to the own vehicle. According to such a configuration, it is possible to appropriately change the area to which the blur area or the like is applied.
<実施の形態8の変形例1>
実施の形態8では、ぼかし領域決定部12aは、撮影画像と、区画線の形状を含むオブジェクト情報とに基づいて部分領域2aを暫定的に求め、他車両の自車両に対する相対位置に基づいて部分領域2aを変更したが、これに限ったものではない。<Modification 1 of the eighth embodiment>
In the eighth embodiment, the blur region determining unit 12a provisionally obtains the partial region 2a based on the captured image and the object information including the shape of the lane marking, and the portion is based on the relative position of the other vehicle with respect to the own vehicle. Area 2a has been changed, but is not limited to this.
例えば、ぼかし領域決定部12aは、撮影画像と、他車両の自車両に対する相対位置に基づいて、部分領域2aを求めてもよい。つまり、ぼかし領域決定部12aは、撮影画像と、他車両の自車両に対する相対位置を含むオブジェクト情報とに基づいて、部分領域2aを求めてもよい。 For example, the blur region determination unit 12a may obtain the partial region 2a based on the captured image and the relative position of the other vehicle with respect to the own vehicle. That is, the blur area determination unit 12a may obtain the partial area 2a based on the captured image and the object information including the relative position of the other vehicle with respect to the own vehicle.
また例えば、ぼかし領域決定部12aは、撮影画像と、他車両の形状または属性とに基づいて、部分領域2aを求めてもよい。つまり、ぼかし領域決定部12aは、撮影画像と、他車両の形状または属性を含むオブジェクト情報とに基づいて、部分領域2aを求めてもよい。 Further, for example, the blur region determining unit 12a may obtain the partial region 2a based on the captured image and the shape or attribute of another vehicle. That is, the blur area determination unit 12a may obtain the partial area 2a based on the captured image and the object information including the shape or attribute of another vehicle.
<実施の形態8の変形例2>
実施の形態8では、ぼかし領域決定部12aは、隣接車線の点線白線5aに対して自車両3と反対側の領域を、主に部分領域2a及び部分領域候補2eとして求めたが、これに限ったものではない。例えば図44及び図45に示すように、ぼかし領域決定部12aは、隣接車線などの車線の中心線に対して自車両3と反対側の領域を、主に部分領域2a及び部分領域候補2eとして求めてもよい。<Modification 2 of the eighth embodiment>
In the eighth embodiment, the blur region determining unit 12a obtains the region opposite to the own vehicle 3 with respect to the dotted white line 5a in the adjacent lane mainly as the partial region 2a and the partial region candidate 2e, but this is limited to this. It's not a lane. For example, as shown in FIGS. 44 and 45, the blur region determining unit 12a mainly uses a region opposite to the own vehicle 3 as a partial region 2a and a partial region candidate 2e with respect to the center line of a lane such as an adjacent lane. You may ask.
<実施の形態8の変形例3>
実施の形態8では、ぼかし領域決定部12aは、図42に示したように他車両6dのみを除くように部分領域2aを変更したが、これに限ったものではない。例えば図46に示すように、ぼかし領域決定部12aは、他車両6dとその周辺領域2fを除くように部分領域2aを変更してもよい。なお、周辺領域2fは、図46の例では残部領域2bと接続されているが、残部領域2bと接続されていない穴状の領域であってもよい。<Modification 3 of Embodiment 8>
In the eighth embodiment, the blur region determining unit 12a changes the partial region 2a so as to exclude only the other vehicle 6d as shown in FIG. 42, but the present invention is not limited to this. For example, as shown in FIG. 46, the blur region determination unit 12a may change the partial region 2a so as to exclude the other vehicle 6d and its peripheral region 2f. Although the peripheral region 2f is connected to the remaining region 2b in the example of FIG. 46, it may be a hole-shaped region that is not connected to the remaining region 2b.
また、ぼかし領域決定部12aは、移動体の形状または属性に基づいて部分領域2aを変更してもよい。例えば、ぼかし領域決定部12aは、移動体の属性が自動四輪である場合には、自動四輪のみを除くように部分領域2aを変更し、移動体の属性が自動二輪である場合には、自動二輪及びその周辺領域を除くように部分領域2aを変更してもよい。また例えば、ぼかし領域決定部12aは、移動体の形状の面積が予め定められた面積よりも大きい場合には、移動体のみを除くように部分領域2aを変更し、移動体の形状の面積が予め定められた面積よりも小さい場合には、移動体及びその周辺領域を除くように部分領域2aを変更してもよい。 Further, the blur region determining unit 12a may change the partial region 2a based on the shape or attribute of the moving body. For example, the blur area determination unit 12a changes the partial area 2a so as to exclude only the automatic four wheels when the attribute of the moving body is a motorcycle, and when the attribute of the moving body is a motorcycle. , The partial area 2a may be changed so as to exclude the motorcycle and its peripheral area. Further, for example, when the area of the shape of the moving body is larger than the predetermined area, the blurring area determining unit 12a changes the partial area 2a so as to exclude only the moving body, and the area of the shape of the moving body is increased. If the area is smaller than the predetermined area, the partial area 2a may be changed so as to exclude the moving body and its peripheral area.
<実施の形態8の変形例4>
実施の形態8で説明した内容は、実施の形態3だけでなく、実施の形態2,4〜7、及び、実施の形態2〜7の変形例にも適用されてもよい。<Modification 4 of Embodiment 8>
The contents described in the eighth embodiment may be applied not only to the third embodiment but also to the second, fourth to seventh embodiments and the modifications of the second to seventh embodiments.
例えば、実施の形態2の変形例6に実施の形態8を適用してもよい。つまり、ぼかし領域決定部12aは、車線変更情報と、他車両の自車両に対する相対位置とに基づいて部分領域2aを変更してもよい。このような構成によれば、自車両が右左折する場合、または、他車両が図41の注目範囲8に位置する場合に、部分領域2aを小さくすることができる。 For example, the eighth embodiment may be applied to the sixth modification of the second embodiment. That is, the blur area determination unit 12a may change the partial area 2a based on the lane change information and the relative position of the other vehicle with respect to the own vehicle. According to such a configuration, the partial region 2a can be reduced when the own vehicle turns left or right, or when the other vehicle is located in the attention range 8 of FIG.
例えば、実施の形態2の変形例5に実施の形態8を適用してもよい。つまり、ぼかし領域決定部12aは、自車両の速度と、他車両の自車両に対する相対位置とに基づいて部分領域2aを変更してもよい。このような構成によれば、自車両の速度が小さい場合、または、他車両が図41の注目範囲8に位置する場合に、部分領域2aを小さくすることができる。 For example, the eighth embodiment may be applied to the fifth modification of the second embodiment. That is, the blur region determination unit 12a may change the partial region 2a based on the speed of the own vehicle and the relative position of the other vehicle with respect to the own vehicle. According to such a configuration, the partial region 2a can be reduced when the speed of the own vehicle is low or when the other vehicle is located in the attention range 8 of FIG. 41.
また、実施の形態8と実施の形態7とを組み合わせてもよい。例えば、ぼかし処理決定部12dは、撮影画像2のうち図41の注目範囲8内の他車両に、通常の部分領域2aのぼかし度合と異なるぼかし度合でぼかし処理を施してもよい。 Further, the eighth embodiment and the seventh embodiment may be combined. For example, the blurring processing determination unit 12d may perform blurring processing on another vehicle in the attention range 8 of FIG. 41 in the captured image 2 with a blurring degree different from the blurring degree of the normal partial region 2a.
<実施の形態8の変形例5>
ぼかし領域決定部12aは、撮影画像2のうち図41の注目範囲8よりも広い準注目範囲(図示せず)内の他車両に、注目範囲8内の他車両のぼかし度合よりも低いぼかし度合でぼかし処理を施してもよい。<Modification 5 of Embodiment 8>
The blur area determination unit 12a indicates the degree of blurring of the captured image 2 to another vehicle in the quasi-attention range (not shown) wider than the attention range 8 in FIG. 41, which is lower than the degree of blurring of the other vehicle in the attention range 8. You may apply the blurring process with.
また例えば、ぼかし領域決定部12aは、他車両の自車両に対する速度などの、他車両の自車両に対する移動に関する物理量に基づいて、部分領域2aを変更してもよい。また例えば、ぼかし領域決定部12aは、他車両における運転が荒い場合、または、他車両が大型車両などである場合に、当該他車両を除くように部分領域2aを変更してもよい。 Further, for example, the blur region determining unit 12a may change the partial region 2a based on the physical quantity related to the movement of the other vehicle with respect to the own vehicle, such as the speed of the other vehicle with respect to the own vehicle. Further, for example, the blur area determination unit 12a may change the partial area 2a so as to exclude the other vehicle when the driving in the other vehicle is rough or when the other vehicle is a large vehicle or the like.
<実施の形態8の変形例6>
実施の形態8では、周辺検出装置27aは、超音波センサであるものとして説明したが、これに限ったものではない。周辺検出装置27aは、他車両の自車両に対する相対位置を検出する機能を有すればよく、例えば、光センサ及びミリ波レーダなどであってもよい。また、周辺検出装置27aが、他車両の自車両に対する相対位置を検出するのではなく、画像認識部12cが撮影画像に画像認識を行うことによって他車両の自車両に対する相対位置を検出してもよい。また、実施の形態4のように、ぼかし領域決定部12aが、道路地図データベース28から取得された地図情報と、車両位置検出部29で検出された自車両の位置とに基づいてオブジェクト情報を求め、周辺検出装置27aが、他車両の自車両に対する相対位置を検出してもよい。<Modification 6 of the eighth embodiment>
In the eighth embodiment, the peripheral detection device 27a has been described as being an ultrasonic sensor, but the present invention is not limited to this. The peripheral detection device 27a may have a function of detecting the relative position of another vehicle with respect to the own vehicle, and may be, for example, an optical sensor or a millimeter wave radar. Further, even if the peripheral detection device 27a does not detect the relative position of the other vehicle with respect to the own vehicle, but the image recognition unit 12c detects the relative position of the other vehicle with respect to the own vehicle by performing image recognition on the captured image. Good. Further, as in the fourth embodiment, the blur area determination unit 12a obtains object information based on the map information acquired from the road map database 28 and the position of the own vehicle detected by the vehicle position detection unit 29. , Peripheral detection device 27a may detect the relative position of another vehicle with respect to the own vehicle.
<その他の変形例>
上述した図1の取得部11及び制御部12を、以下「取得部11等」と記す。取得部11等は、図47に示す処理回路81により実現される。すなわち、処理回路81は、車両周辺の撮影画像を取得する取得部11と、撮影画像とオブジェクト情報とに基づいて部分領域2aを求め、表示装置21の表示において、部分領域2aの表示態様を、残部領域2bの表示態様と異ならせる制御を行う制御部12と、を備える。処理回路81には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)などが該当する。<Other variants>
The acquisition unit 11 and the control unit 12 of FIG. 1 described above are hereinafter referred to as “acquisition unit 11 and the like”. The acquisition unit 11 and the like are realized by the processing circuit 81 shown in FIG. 47. That is, the processing circuit 81 obtains the partial area 2a based on the acquisition unit 11 that acquires the photographed image around the vehicle and the photographed image and the object information, and displays the display mode of the partial area 2a in the display of the display device 21. A control unit 12 that controls the display mode of the remaining region 2b to be different from the display mode is provided. Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in the memory may be applied. Examples of the processor include a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), and the like.
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。取得部11等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。 When the processing circuit 81 is dedicated hardware, the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array), or a combination of these. Each of the functions of each part such as the acquisition unit 11 may be realized by a circuit in which the processing circuits are dispersed, or the functions of each part may be collectively realized by one processing circuit.
処理回路81がプロセッサである場合、取得部11等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ83に格納される。図48に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置1は、処理回路81により実行されるときに、車両周辺の撮影画像を取得するステップと、撮影画像とオブジェクト情報とに基づいて部分領域2aを求め、表示装置21の表示において、部分領域2aの表示態様を、残部領域2bの表示態様と異ならせる制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、取得部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。 When the processing circuit 81 is a processor, the functions of the acquisition unit 11 and the like are realized by combining with software and the like. The software and the like correspond to, for example, software, firmware, or software and firmware. The software or the like is described as a program and stored in the memory 83. As shown in FIG. 48, the processor 82 applied to the processing circuit 81 realizes the functions of each part by reading and executing the program stored in the memory 83. That is, when the display control device 1 is executed by the processing circuit 81, the display control device 1 obtains the partial area 2a based on the step of acquiring the photographed image around the vehicle and the photographed image and the object information, and in the display of the display device 21. A step of controlling the display mode of the partial area 2a to be different from the display mode of the remaining area 2b, and a memory 83 for storing a program to be executed as a result are provided. In other words, it can be said that this program causes the computer to execute the procedure or method of the acquisition unit 11 or the like. Here, the memory 83 is a non-volatile or non-volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EPROM (Electrically Erasable Programmable Read Only Memory). Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), its drive device, etc., or any storage medium used in the future. You may.
以上、取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部11については専用のハードウェアとしての処理回路81及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。 The configuration in which each function of the acquisition unit 11 and the like is realized by either hardware or software has been described above. However, the present invention is not limited to this, and a configuration may be configured in which a part of the acquisition unit 11 or the like is realized by dedicated hardware and another part is realized by software or the like. For example, the acquisition unit 11 realizes its function by a processing circuit 81 and a receiver as dedicated hardware, and other than that, the processing circuit 81 as a processor 82 reads and executes a program stored in the memory 83. By doing so, it is possible to realize the function.
以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。 As described above, the processing circuit 81 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.
また、以上で説明した表示制御装置1は、PND(Portable Navigation Device)などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか1つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置1の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。例えば、表示制御装置は、図1の表示装置21内に組み込まれてもよいし、表示制御装置と表示装置21とが車載映像処理装置内に一体的に組み込まれてもよい。また例えば、表示制御装置は、実施の形態4に係る道路地図データベース28及び車両位置検出部29(図17)のいずれか一方または両方を備えてもよい。 Further, the display control device 1 described above is at least one of a navigation device such as a PND (Portable Navigation Device), a communication terminal including a mobile terminal such as a mobile phone, a smartphone and a tablet, and a navigation device and a communication terminal. It can also be applied to a display control system constructed as a system by appropriately combining the functions of the application to be installed and the server. In this case, each function or each component of the display control device 1 described above may be dispersedly arranged in each device for constructing the system, or may be centrally arranged in any of the devices. Good. For example, the display control device may be incorporated in the display device 21 of FIG. 1, or the display control device and the display device 21 may be integrally incorporated in the in-vehicle video processing device. Further, for example, the display control device may include either or both of the road map database 28 and the vehicle position detection unit 29 (FIG. 17) according to the fourth embodiment.
図49は、本変形例に係るサーバ91の構成を示すブロック図である。図49のサーバ91は、通信部91aと制御部91bとを備えており、車両92のナビゲーション装置93と無線通信を行うことが可能となっている。 FIG. 49 is a block diagram showing the configuration of the server 91 according to this modification. The server 91 of FIG. 49 includes a communication unit 91a and a control unit 91b, and can perform wireless communication with the navigation device 93 of the vehicle 92.
取得部である通信部91aは、ナビゲーション装置93と無線通信を行うことにより、車両92周辺の撮影画像を受信する。 The communication unit 91a, which is an acquisition unit, receives a photographed image around the vehicle 92 by performing wireless communication with the navigation device 93.
制御部91bは、サーバ91の図示しないプロセッサなどが、サーバ91の図示しないメモリに記憶されたプログラムを実行することにより、図1の制御部12と同様の機能を有している。つまり、制御部91bは、撮影画像とオブジェクト情報とに基づいて部分領域を求める。そして、制御部91bは、ナビゲーション装置93の表示において、部分領域の表示態様を、残部領域の表示態様と異ならせる制御を行うための制御信号を生成する。通信部91aは、当該制御信号をナビゲーション装置93に送信する。このように構成されたサーバ91によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。 The control unit 91b has the same function as the control unit 12 of FIG. 1 when a processor (not shown) of the server 91 or the like executes a program stored in a memory (not shown) of the server 91. That is, the control unit 91b obtains a partial area based on the captured image and the object information. Then, the control unit 91b generates a control signal for controlling the display mode of the partial region to be different from the display mode of the remaining region in the display of the navigation device 93. The communication unit 91a transmits the control signal to the navigation device 93. According to the server 91 configured in this way, the same effect as that of the display control device 1 described in the first embodiment can be obtained.
図50は、本変形例に係る通信端末96の構成を示すブロック図である。図50の通信端末96は、通信部91aと同様の通信部96aと、制御部91bと同様の制御部96bとを備えており、車両97のナビゲーション装置98と無線通信を行うことが可能となっている。なお、通信端末96には、例えば車両97の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末96によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。 FIG. 50 is a block diagram showing a configuration of a communication terminal 96 according to this modification. The communication terminal 96 of FIG. 50 includes a communication unit 96a similar to the communication unit 91a and a control unit 96b similar to the control unit 91b, and can perform wireless communication with the navigation device 98 of the vehicle 97. ing. A mobile terminal such as a mobile phone, a smartphone, or a tablet carried by the driver of the vehicle 97 is applied to the communication terminal 96, for example. According to the communication terminal 96 configured in this way, the same effect as that of the display control device 1 described in the first embodiment can be obtained.
なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。 In the present invention, each embodiment and each modification can be freely combined, and each embodiment and each modification can be appropriately modified or omitted within the scope of the invention.
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all embodiments and the present invention is not limited thereto. It is understood that innumerable variations not illustrated can be assumed without departing from the scope of the present invention.
1 表示制御装置、2a 部分領域、2a1 第1部分、2a2 第2部分、2b 残部領域、3 自車両、5a,5b 点線白線、5c 実線白線、6a,6b,6c,6d,6e 他車両、11 取得部、12 制御部、21 表示装置。 1 Display control device, 2a partial area, 2a1 first part, 2a2 second part, 2b remaining area, 3 own vehicle, 5a, 5b dotted white line, 5c solid white line, 6a, 6b, 6c, 6d, 6e other vehicle, 11 Acquisition unit, 12 control unit, 21 display device.
Claims (18)
車両周辺の撮影画像を取得する取得部と、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
を備え、
前記部分領域の表示態様は、
前記部分領域内を特定の色で表示する態様、前記部分領域内の画像の先鋭度を低減する処理が施された態様、前記部分領域内の画像の鮮明度を低減する処理が施された態様、または、予め定められた表示オブジェクトが前記部分領域に重畳された態様を含み、
前記制御部は、
前記オブジェクトの属性に基づいて、前記部分領域の表示態様の種類を変更する、表示制御装置。 A display control device that controls a display device.
An acquisition unit that acquires captured images around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. A control unit that controls the display mode of the partial region to be different from the display mode of the remaining region, which is a region of the captured image other than the partial region, is provided .
The display mode of the partial area is
A mode in which the inside of the partial region is displayed in a specific color, a mode in which the sharpness of the image in the partial region is reduced, and a mode in which the sharpness of the image in the partial region is reduced. , Or, including an embodiment in which a predetermined display object is superimposed on the partial area.
The control unit
Based on the attributes of the object, to change the type of the display mode of the partial region, the display control device.
車両周辺の撮影画像を取得する取得部と、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
を備え、
前記オブジェクトは、移動体を含み、
前記オブジェクト情報は、前記移動体の形状または属性を含み、
前記制御部は、
前記撮影画像と、前記移動体の形状または属性とに基づいて前記部分領域を求める、表示制御装置。 A display control device that controls a display device.
An acquisition unit that acquires captured images around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. A control unit that controls the display mode of the partial region to be different from the display mode of the remaining region, which is a region of the captured image other than the partial region, is provided .
The object includes a mobile body
The object information includes the shape or attribute of the moving body.
The control unit
Wherein the photographic image, Ru obtains the partial area based on the shape or attributes of the movable body, the display control device.
車両周辺の撮影画像を取得する取得部と、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
を備え、
前記オブジェクトは、車線または道路の区画線を含み、
前記取得部は、
前記車線または前記区画線の形状と、前記車両の位置とが対応付けられた地図情報と、前記車両の位置とをさらに取得し、
前記制御部は、
前記取得部で取得された前記地図情報及び前記車両の位置に基づいて、前記車線または前記区画線の形状を含む情報を前記オブジェクト情報として求める、表示制御装置。 A display control device that controls a display device.
An acquisition unit that acquires captured images around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. A control unit that controls the display mode of the partial region to be different from the display mode of the remaining region, which is a region of the captured image other than the partial region, is provided .
The object contains a lane or road lane marking and
The acquisition unit
Further, the map information in which the shape of the lane or the lane marking is associated with the position of the vehicle and the position of the vehicle are further acquired.
The control unit
Based on the position of the map information and the vehicle acquired by the acquisition unit, Ru obtains information including the shape of the lane or the lane mark as the object information, the display control device.
車両周辺の撮影画像を取得する取得部と、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
を備え、
前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
前記制御部は、
前記撮影画像と前記オブジェクト情報とに基づいて、前記部分領域内の第1部分及び第2部分を求め、前記第1部分のぼかし度合と前記第2部分のぼかし度合とを異ならせる制御を行い、
前記第2部分と、前記撮影画像での前記車両が走行している車線との間の距離は、前記第1部分と、前記撮影画像での前記車両が走行している車線との間の距離よりも大きく、
前記制御部は、
前記第2部分のぼかし度合を前記第1部分のぼかし度合よりも高くする、表示制御装置。 A display control device that controls a display device.
An acquisition unit that acquires captured images around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. A control unit that controls the display mode of the partial region to be different from the display mode of the remaining region, which is a region of the captured image other than the partial region, is provided .
The display mode of the partial region includes a mode in which the blur treatment is applied to the partial region.
The control unit
Based on the captured image and the object information, the first portion and the second portion in the partial region are obtained, and the degree of blurring of the first portion and the degree of blurring of the second portion are controlled to be different.
The distance between the second part and the lane in which the vehicle is traveling in the photographed image is the distance between the first part and the lane in which the vehicle is traveling in the photographed image. Greater than
The control unit
You higher than blurring degree of the first portion of the blurring degree of the second portion, the display control device.
前記オブジェクトは、前記車両と同一方向に移動できない地物を含む、表示制御装置。 The display control device according to claim 1 or 4 .
The object is a display control device including a feature that cannot move in the same direction as the vehicle.
前記オブジェクトは、移動体を含み、
前記オブジェクト情報は、前記移動体の前記車両に対する相対位置を含み、
前記制御部は、
前記撮影画像と、前記相対位置とに基づいて前記部分領域を求める、表示制御装置。 The display control device according to claim 1 or 4 .
The object includes a mobile body
The object information includes the relative position of the moving object with respect to the vehicle.
The control unit
A display control device that obtains the partial region based on the captured image and the relative position.
前記取得部は、
前記オブジェクト情報を、前記表示制御装置外部からさらに取得する、表示制御装置。 The display control device according to claim 1 , 2 or 4 .
The acquisition unit
A display control device that further acquires the object information from the outside of the display control device.
前記制御部は、
前記取得部で取得された前記撮影画像から前記オブジェクトを認識し、当該認識結果に基づいて前記オブジェクト情報を求める、表示制御装置。 The display control device according to claim 1 , 2 or 4 .
The control unit
A display control device that recognizes the object from the captured image acquired by the acquisition unit and obtains the object information based on the recognition result.
前記取得部は、前記車両の移動に関する物理量をさらに取得し、
前記制御部は、
前記撮影画像と、前記オブジェクト情報と、前記物理量とに基づいて、前記部分領域を求める、表示制御装置。 The display control device according to claim 1 , 3 or 4 .
The acquisition unit further acquires the physical quantity related to the movement of the vehicle, and obtains the physical quantity.
The control unit
A display control device that obtains the partial area based on the captured image, the object information, and the physical quantity.
前記制御部は、
移動体の前記車両に対する相対位置、または、前記移動体の前記車両に対する移動に関する物理量に基づいて、前記部分領域を変更する、表示制御装置。 The display control device according to claim 1 , 3 or 4 .
The control unit
A display control device that changes the partial area based on the relative position of the moving body with respect to the vehicle or the physical quantity related to the movement of the moving body with respect to the vehicle.
前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
前記制御部は、
前記部分領域内の部分について単位時間当たりの変化量を求め、前記変化量に基づいて当該部分のぼかし度合を変更する、表示制御装置。 The display control device according to claim 2 or 3 .
The display mode of the partial region includes a mode in which the blur treatment is applied to the partial region.
The control unit
A display control device that obtains a change amount per unit time for a part in the partial area and changes the degree of blurring of the part based on the change amount.
前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
前記制御部は、
前記撮影画像に関する方向たる撮影方向に基づいて、前記部分領域のぼかし度合を変更する、表示制御装置。 The display control device according to claim 2 or 3 .
The display mode of the partial region includes a mode in which the blur treatment is applied to the partial region.
The control unit
A display control device that changes the degree of blurring of the partial region based on the shooting direction, which is the direction with respect to the shot image.
前記撮影画像は、
前記車両の後側方の画像、前記車両の後方の画像、前記車両の側方の画像、及び、前記車両の前方の画像の少なくとも1つを含む、表示制御装置。 The display control device according to any one of claims 1 to 4 .
The captured image is
A display control device including at least one of an image of the rear side of the vehicle, an image of the rear of the vehicle, an image of the side of the vehicle, and an image of the front of the vehicle.
前記撮影画像は、
前記車両の後側方の画像、前記車両の後方の画像、前記車両の側方の画像、及び、前記車両の前方の画像の組み合わせからなる横長形状の画像を含む、表示制御装置。 The display control device according to any one of claims 1 to 4 .
The captured image is
A display control device including a horizontally long image including a combination of an image of the rear side of the vehicle, an image of the rear of the vehicle, an image of the side of the vehicle, and an image of the front of the vehicle.
車両周辺の撮影画像を取得し、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行い、
前記部分領域の表示態様は、
前記部分領域内を特定の色で表示する態様、前記部分領域内の画像の先鋭度を低減する処理が施された態様、前記部分領域内の画像の鮮明度を低減する処理が施された態様、または、予め定められた表示オブジェクトが前記部分領域に重畳された態様を含み、
前記オブジェクトの属性に基づいて、前記部分領域の表示態様の種類を変更する、表示制御方法。 A display control method that controls a display device.
Get the captured image around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. in view of the display mode of the partial regions, have a row control to vary the display mode of the area in which the rest region of the captured image other than the partial region,
The display mode of the partial area is
A mode in which the inside of the partial region is displayed in a specific color, a mode in which the sharpness of the image in the partial region is reduced, and a mode in which the sharpness of the image in the partial region is reduced. , Or, including an embodiment in which a predetermined display object is superimposed on the partial area.
A display control method for changing the type of display mode of the partial area based on the attributes of the object .
車両周辺の撮影画像を取得し、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行い、
前記オブジェクトは、移動体を含み、
前記オブジェクト情報は、前記移動体の形状または属性を含み、
前記撮影画像と、前記移動体の形状または属性とに基づいて前記部分領域を求める、表示制御方法。 A display control method that controls a display device.
Get the captured image around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. in view of the display mode of the partial regions, have a row control to vary the display mode of the area in which the rest region of the captured image other than the partial region,
The object includes a mobile body
The object information includes the shape or attribute of the moving body.
A display control method for obtaining the partial region based on the captured image and the shape or attribute of the moving body .
車両周辺の撮影画像を取得し、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行い、
前記オブジェクトは、車線または道路の区画線を含み、
前記車線または前記区画線の形状と、前記車両の位置とが対応付けられた地図情報と、前記車両の位置とをさらに取得し、
前記地図情報及び前記車両の位置に基づいて、前記車線または前記区画線の形状を含む情報を前記オブジェクト情報として求める、表示制御方法。 A display control method that controls a display device.
Get the captured image around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. in view of the display mode of the partial regions, have a row control to vary the display mode of the area in which the rest region of the captured image other than the partial region,
The object contains a lane or road lane marking and
Further, the map information in which the shape of the lane or the lane marking is associated with the position of the vehicle and the position of the vehicle are further acquired.
A display control method for obtaining information including the shape of the lane or the lane marking as the object information based on the map information and the position of the vehicle .
車両周辺の撮影画像を取得し、
前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行い、
前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
前記撮影画像と前記オブジェクト情報とに基づいて、前記部分領域内の第1部分及び第2部分を求め、前記第1部分のぼかし度合と前記第2部分のぼかし度合とを異ならせる制御を行い、
前記第2部分と、前記撮影画像での前記車両が走行している車線との間の距離は、前記第1部分と、前記撮影画像での前記車両が走行している車線との間の距離よりも大きく、
前記第2部分のぼかし度合を前記第1部分のぼかし度合よりも高くする、表示制御方法。 A display control method that controls a display device.
Get the captured image around the vehicle,
Based on the photographed image and object information regarding the shape or position of a predetermined object around the vehicle, a partial area of the photographed image area opposite to the side where the vehicle exists is obtained, and the display device is used. in view of the display mode of the partial regions, have a row control to vary the display mode of the area in which the rest region of the captured image other than the partial region,
The display mode of the partial region includes a mode in which the blur treatment is applied to the partial region.
Based on the captured image and the object information, the first portion and the second portion in the partial region are obtained, and the degree of blurring of the first portion and the degree of blurring of the second portion are controlled to be different.
The distance between the second part and the lane in which the vehicle is traveling in the photographed image is the distance between the first part and the lane in which the vehicle is traveling in the photographed image. Greater than
A display control method in which the degree of blurring of the second portion is made higher than the degree of blurring of the first portion .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/043544 WO2019111307A1 (en) | 2017-12-05 | 2017-12-05 | Display control device amd display control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019111307A1 JPWO2019111307A1 (en) | 2020-04-02 |
JP6824439B2 true JP6824439B2 (en) | 2021-02-03 |
Family
ID=66750167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019557727A Active JP6824439B2 (en) | 2017-12-05 | 2017-12-05 | Display control device and display control method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6824439B2 (en) |
WO (1) | WO2019111307A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115119045A (en) * | 2022-01-18 | 2022-09-27 | 长城汽车股份有限公司 | Vehicle-mounted multi-camera-based video generation method and device and vehicle-mounted equipment |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003044996A (en) * | 2001-07-31 | 2003-02-14 | Matsushita Electric Ind Co Ltd | Obstacle detecting device |
JP2013187562A (en) * | 2012-03-05 | 2013-09-19 | Nissan Motor Co Ltd | Posterior sight support device for vehicle |
JP6323018B2 (en) * | 2014-01-17 | 2018-05-16 | 株式会社デンソー | Driving assistance device |
-
2017
- 2017-12-05 JP JP2019557727A patent/JP6824439B2/en active Active
- 2017-12-05 WO PCT/JP2017/043544 patent/WO2019111307A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2019111307A1 (en) | 2020-04-02 |
WO2019111307A1 (en) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2746380C2 (en) | Windshield indicator with variable focal plane | |
CN107848416B (en) | Display control device, display device, and display control method | |
KR101558353B1 (en) | Head-up display apparatus for vehicle using aumented reality | |
JP6775188B2 (en) | Head-up display device and display control method | |
JP6409337B2 (en) | Display device | |
US20170254659A1 (en) | Virtual image presentation system, image projection device, and virtual image presentation method | |
US11634028B2 (en) | Image processing method of generating an image based on a user viewpoint and image processing device | |
JPWO2019097918A1 (en) | Head-up display device and its display control method | |
US20080151048A1 (en) | Driving supporting apparatus | |
US11450040B2 (en) | Display control device and display system | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
JP2019121876A (en) | Image processing device, display device, navigation system, image processing method, and program | |
US9849835B2 (en) | Operating a head-up display of a vehicle and image determining system for the head-up display | |
JP6824439B2 (en) | Display control device and display control method | |
JP6727451B2 (en) | Rear side image control device and rear side image control method | |
KR101635831B1 (en) | Apparatus and method for recognizing position of vehicle | |
JP6448806B2 (en) | Display control device, display device, and display control method | |
JP6656493B2 (en) | Display control device and display control method | |
KR101637298B1 (en) | Head-up display apparatus for vehicle using aumented reality | |
KR20080019690A (en) | Navigation device with camera-info | |
JP7344635B2 (en) | heads up display device | |
WO2018207308A1 (en) | Display control device and display control method | |
KR101655190B1 (en) | Display device mounted to vehicle and and information display method using the same | |
JP2019117581A (en) | vehicle | |
JP6896108B2 (en) | Vehicle display control device and image display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6824439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |