JP6833128B2 - Rear image processing device - Google Patents
Rear image processing device Download PDFInfo
- Publication number
- JP6833128B2 JP6833128B2 JP2020551694A JP2020551694A JP6833128B2 JP 6833128 B2 JP6833128 B2 JP 6833128B2 JP 2020551694 A JP2020551694 A JP 2020551694A JP 2020551694 A JP2020551694 A JP 2020551694A JP 6833128 B2 JP6833128 B2 JP 6833128B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- rear image
- distance
- image processing
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 170
- 238000000034 method Methods 0.000 claims description 53
- 230000008569 process Effects 0.000 claims description 48
- 230000008859 change Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 10
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Description
本発明は、車両の後方を撮影した画像を表示装置に表示させる後方画像処理装置に関するものである。 The present invention relates to a rear image processing device that displays an image of the rear of a vehicle on a display device.
近年、車両の物理ミラー(光学ミラー)の代替手段として、車両の後方あるいは側方を撮影した画像を車内の表示装置に表示するカメラモニタリングシステム(CMS)、いわゆる「電子ミラー」の開発が進んでいる。また、電子ミラー用のカメラで撮影した自車両の後方の画像(後方画像)を電子ミラーの画面に表示させる際、自車両から後方車両(後続車両)までの距離に応じて後方画像を拡大または縮小するスケーリング処理を行うことによって、電子ミラーが表示する後方車両の画像と物理ミラーに映った後方車両の鏡像との距離感の違いを抑制する技術が知られている(例えば、下記の特許文献1)。 In recent years, as an alternative to the physical mirror (optical mirror) of a vehicle, the development of a camera monitoring system (CMS), a so-called "electronic mirror", which displays an image of the rear or side of the vehicle on a display device inside the vehicle has progressed. There is. In addition, when displaying the rear image (rear image) of the own vehicle taken by the camera for the electronic mirror on the screen of the electronic mirror, the rear image is enlarged or enlarged according to the distance from the own vehicle to the rear vehicle (following vehicle). A technique is known in which the difference in the sense of distance between the image of the rear vehicle displayed by the electronic mirror and the mirror image of the rear vehicle reflected by the physical mirror is suppressed by performing the scaling process of reduction (for example, the following patent documents). 1).
特許文献1の技術において、後方画像のスケーリング処理におけるスケーリング係数(拡大率または縮小率)は、自車両から後方車両までの距離に応じて設定される。しかし、自車両から後方車両までの距離が長い状態では、その距離が後方画像の距離感に与える影響は小さい。そのため、自車両から後方車両までの距離が長い場合(後方車両が存在しない場合も含む)にまで特許文献1の技術を適用すると、電子ミラーが表示する後方車両の画像と物理ミラーに映った後方車両の鏡像との距離感の違いが増幅されることも考えられる。 In the technique of Patent Document 1, the scaling coefficient (enlargement ratio or reduction ratio) in the scaling process of the rear image is set according to the distance from the own vehicle to the rear vehicle. However, when the distance from the own vehicle to the rear vehicle is long, the influence of the distance on the sense of distance in the rear image is small. Therefore, if the technique of Patent Document 1 is applied even when the distance from the own vehicle to the rear vehicle is long (including the case where the rear vehicle does not exist), the image of the rear vehicle displayed by the electronic mirror and the rear reflected on the physical mirror. It is also possible that the difference in the sense of distance from the mirror image of the vehicle is amplified.
本発明は上記のような課題を解決するためになされたものであり、自車両から後方車両までの距離が長い場合にも、電子ミラーが表示する画像と物理ミラーに映った鏡像との距離感の違いを抑制できる画像処理装置を提供することを目的とする。 The present invention has been made to solve the above problems, and even when the distance from the own vehicle to the vehicle behind is long, the sense of distance between the image displayed by the electronic mirror and the mirror image reflected on the physical mirror It is an object of the present invention to provide an image processing apparatus capable of suppressing the difference between the two.
本発明に係る後方画像処理装置は、車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、車両から後方画像に写る物体までの距離を取得する距離取得部と、車両から物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、当該距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行う画像処理部と、スケーリング処理後の後方画像を表示装置に表示させる表示処理部と、を備え、画像処理部は、スケーリング係数を後方画像内の位置ごとに設定し、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定するものである。
The rear image processing device according to the present invention includes a rear image acquisition unit that acquires a rear image that is an image of a landscape behind the vehicle, a distance acquisition unit that acquires the distance from the vehicle to an object in the rear image, and the like. When the distance from the vehicle to the object is larger than a predetermined threshold, the scaling coefficient is set to a constant standard value and the rear image is scaled. When the distance is less than the threshold, the shorter the distance, the more rearward. The image processing unit includes an image processing unit that performs scaling processing of the rear image by changing the scaling coefficient so that the image is reduced, and a display processing unit that displays the rear image after the scaling processing on the display device . set the scaling factor for each position in the rearward image, it is shall set the position farther as scaling factor from the center of the rear image to a value close to the standard value.
本発明に係る後方画像処理装置によれば、車両から物体までの距離が閾値以下のとき、当該距離が短くなるほど後方画像が縮小されることで、表示装置に表示される物体の距離感が、物理ミラーに映る物体の距離感と同等になる。また、車両から物体までの距離が閾値よりも大きいときは、スケーリング係数が一定の標準値に設定されることで、表示装置に表示される物体の距離感が、物理ミラーに映る物体の距離感と同等な状態で維持される。 According to the rear image processing device according to the present invention, when the distance from the vehicle to the object is equal to or less than the threshold value, the rear image is reduced as the distance becomes shorter, so that the sense of distance of the object displayed on the display device is increased. It is equivalent to the sense of distance of the object reflected in the physical mirror. When the distance from the vehicle to the object is larger than the threshold value, the scaling coefficient is set to a constant standard value so that the sense of distance of the object displayed on the display device becomes the sense of distance of the object reflected on the physical mirror. It is maintained in the same state as.
本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objectives, features, aspects, and advantages of the present invention will be made more apparent with the following detailed description and accompanying drawings.
<実施の形態1>
図1は、実施の形態1に係る電子ミラーシステムの構成を示すブロック図である。実施の形態1の電子ミラーシステムは、車両のリアビューミラー(バックミラー、ルームミラーとも呼ばれる)の代替手段となる電子ミラーを提供するものである。以下、当該電子ミラーシステムを搭載する車両を「自車両」という。<Embodiment 1>
FIG. 1 is a block diagram showing a configuration of an electronic mirror system according to the first embodiment. The electronic mirror system of the first embodiment provides an electronic mirror as an alternative means to a rear view mirror (also referred to as a rear view mirror or a rear view mirror) of a vehicle. Hereinafter, the vehicle equipped with the electronic mirror system is referred to as "own vehicle".
図1のように、実施の形態1の電子ミラーシステムは、後方画像処理装置10と、それに接続された後方画像撮影装置21、表示装置22および測距センサ23とを備えている。
As shown in FIG. 1, the electronic mirror system of the first embodiment includes a rear
後方画像撮影装置21は、自車両の後方の風景を撮像するカメラである。表示装置22は、後方画像処理装置10が出力する画像を表示するためのものであり、例えば液晶表示装置などによって構成される。
The rear
測距センサ23は、自車両から、自車両の後方に存在する物体までの距離を測定するセンサであり、例えば、赤外線センサ、ミリ波レーダ、超音波レーダ、LiDAR(Light Detection and Ranging)、ソナーなどによって構成される。測距センサ23が検出する物体には、車両、バイク、自転車、歩行者などの移動体のほか、ガードレールや壁、建物、電柱などの静止物も含まれる。以下、自車両の後方に存在する物体を「後方物体」という。なお、測距センサ23は、少なくとも後方画像撮影装置21の撮影範囲内に存在する後方物体と自車両との間の距離を測定できればよい。
The
後方画像処理装置10は、後方画像撮影装置21が撮影した自車両後方の画像(以下「後方画像」という)の拡大または縮小するスケーリング処理を行い、スケーリング処理後の後方画像を表示装置22に表示させる。後方画像処理装置10が行うスケーリング処理で用いられるスケーリング係数(拡大率または縮小率)は、測距センサ23が測定した自車両から後方物体までの距離に基づいて設定される。
The rear
図1に示すように、後方画像処理装置10は、後方画像取得部11、距離取得部12、画像処理部13および表示処理部14を備えている。
As shown in FIG. 1, the rear
後方画像取得部11は、後方画像撮影装置21が撮影した後方画像を取得する。距離取得部12は、測距センサ23によって測定された、自車両から後方画像に写る後方物体(つまり後方画像撮影装置21の撮影範囲内に存在する後方物体)までの距離を取得する。
The rear image acquisition unit 11 acquires a rear image captured by the rear
画像処理部13は、後方画像取得部11が取得した後方画像のスケーリング処理を行う。表示処理部14は、スケーリング処理後の後方画像から、表示装置22の画面のサイズに応じた範囲をトリミングして、トリミングした範囲の後方画像を表示装置22に表示させる。上記のトリミングの処理は、画像処理部13が行ってもよい。
The
ここで、画像処理部13が行うスケーリング処理について説明する。このスケーリング処理で用いられるスケーリング係数は、自車両から後方物体までの距離に基づいて設定される。具体的には、自車両から後方物体までの距離が予め定められた閾値よりも大きい場合には、画像処理部13は、スケーリング係数を一定の標準値に設定する。また、自車両から後方物体までの距離が閾値以下の場合には、画像処理部13は、当該距離が短くなるほど後方画像が縮小(ズームアウト)されるようにスケーリング係数を変化させる。つまり、自車両から後方物体までの距離とスケーリング係数との関係をグラフで示すと図2のようになる。図2のグラフの縦軸に相当するスケーリング係数は拡大率を表しており、スケーリング係数が小さくなると後方画像は縮小される。なお、実施の形態1では、スケーリング係数は、後方画像の全体にわたって均一な値に設定される。
Here, the scaling process performed by the
画像処理部13は、自車両から後方物体までの距離に基づく演算処理によってスケーリング係数を算出してもよいし、自車両から後方物体までの距離とスケーリング係数との対応関係が記述されたスケーリングテーブル(図2のグラフに相当するデータ)を予め記憶していてもよい。
The
スケーリング係数の標準値は、電子ミラーシステムの表示装置22に表示される後方画像の視野(後方画像に映り込む範囲)が、物理ミラーとしてのリアビューミラーの視野(リアビューミラーに映り込む範囲)と同等になるように定められる。例えば、リアビューミラーに図3に示すような視野の鏡像が映る場合、スケーリング係数の標準値は、電子ミラーシステムの表示装置22に図3と同等の後方画像が表示されるように設定される。
The standard value of the scaling coefficient is that the field of view of the rear image displayed on the
よって、自車両から後方物体までの距離が閾値よりも大きく、スケーリング係数が標準値に設定された状態では、表示装置22に表示される後方画像と、リアビューミラーに映る鏡像とは、どちらも図3に相当するものとなる。従って、表示装置22に表示される後方物体の距離感とリアビューミラーに映る後方物体の距離感との相違は無い。
Therefore, when the distance from the own vehicle to the rear object is larger than the threshold value and the scaling coefficient is set to the standard value, both the rear image displayed on the
また、自車両から後方物体までの距離が閾値よりも大きい場合に、その距離の値に関わらず、スケーリング係数が一定の標準値に設定されることで、表示装置22に表示される後方物体の距離感は、リアビューミラーに映る後方物体の距離感と同等な状態で維持される。
Further, when the distance from the own vehicle to the rear object is larger than the threshold value, the scaling coefficient is set to a constant standard value regardless of the value of the distance, so that the rear object displayed on the
一方、自車両から後方物体までの距離が短い場合に、スケーリング係数を一定にすると、表示装置22に表示される後方物体の距離感とリアビューミラーに映る後方物体の距離感との間に差が生じる。運転者からリアビューミラーに映る後方物体までの見かけ上の距離が、運転者の目からフロントウィンドウ付近にあるリアビューミラーを経て後方物体に至るまでの距離であるのに対し、運転者から電子ミラーシステムの表示装置22に映る後方画像までの見かけ上の距離は、後方画像撮影装置21と後方物体との間の距離に相当するため、両者の間には差が存在し、自車両から後方物体までの距離が短い場合にはその差が距離感に大きく影響するためである。特に、リアビューミラーの代替手段となる電子ミラーシステムでは、死角を少なくするために後方画像撮影装置21が自車両の後部に設置されるため、上記の差は3m程度になる。
On the other hand, when the distance from the own vehicle to the rear object is short and the scaling coefficient is constant, there is a difference between the sense of distance of the rear object displayed on the
よって、自車両から後方物体までの距離が短いときにも、スケーリング係数を標準値に設定すると、例えば、リアビューミラーに図4のような鏡像が映るとき、表示装置22には図5のような後方画像が表示され、後方物体(ここでは後方車両)の距離感に差異が生じる。つまり、表示装置22に表示された後方物体は、リアビューミラーに映る後方物体よりも大きく見える(視野に占める割合が大きくなる)。よって、表示装置22に表示された後方物体は、リアビューミラーに映る後方物体よりも近くにあるように見える。
Therefore, even when the distance from the own vehicle to the rear object is short, if the scaling coefficient is set to the standard value, for example, when a mirror image as shown in FIG. 4 is projected on the rear view mirror, the
それに対し、実施の形態1の電子ミラーシステムでは、図4に示したように、自車両から後方物体までの距離が閾値以下になると、画像処理部13が、当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させる。よって、表示装置22には、図5の後方画像を縮小して得られる図6のような後方画像が表示される。図6の後方画像における後方物体は、リアビューミラーに映る後方物体(図4)と同等の大きさであるため、両者の間で距離感の違いは抑制されている。
On the other hand, in the electronic mirror system of the first embodiment, as shown in FIG. 4, when the distance from the own vehicle to the rear object becomes equal to or less than the threshold value, the
このように、実施の形態1に係る電子ミラーシステムによれば、自車両から後方物体までの距離が閾値以下のとき、当該距離が短くなるほど後方画像が縮小されることによって、表示装置22に表示される後方物体の距離感を、リアビューミラー(物理ミラー)に映る後方物体の距離感と同等にすることができる。また、自車両から後方物体までの距離が閾値よりも大きいときは、スケーリング係数が一定の標準値に設定されることで、表示装置22に表示される後方物体の距離感が、物理ミラーに映る物体の距離感と同等な状態を維持することができる。
As described above, according to the electronic mirror system according to the first embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the rear image is reduced as the distance becomes shorter, so that the
図7は、実施の形態1に係る後方画像処理装置10の動作を示すフローチャートである。以下、図7を参照しつつ、実施の形態1に係る後方画像処理装置10の動作を説明する。
FIG. 7 is a flowchart showing the operation of the rear
後方画像処理装置10が起動すると、まず、後方画像取得部11が、後方画像撮影装置21によって撮影された後方画像を取得する(ステップS101)。次に、距離取得部12が、測距センサ23によって測定された自車両から後方画像に写る後方物体までの距離を取得する(ステップS102)。そして、画像処理部13は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する(ステップS103)。
When the rear
自車両から後方物体までの距離が閾値以下であれば(ステップS103でYES)、画像処理部13は、スケーリング係数を当該距離に応じた値に設定する(ステップS104)。具体的には、画像処理部13は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じてスケーリング係数を変化させる。そして、画像処理部13は、ステップS104で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する(ステップS105)。
If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S103), the
一方、自車両から後方物体までの距離が閾値よりも大きければ(ステップS103でNO)、画像処理部13は、スケーリング係数を標準値に設定する(ステップS106)。そして、画像処理部13は、ステップS106で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する(ステップS107)。
On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S103), the
ステップS105またはS107のスケーリング処理が完了すると、表示処理部14が、スケーリング処理後の後方画像から、表示装置22の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置22に表示させる(ステップS108)。後方画像処理装置10は、以上の処理を繰り返し実行する。
When the scaling process of step S105 or S107 is completed, the
図8および図9は、それぞれ後方画像処理装置10のハードウェア構成の例を示す図である。図1に示した後方画像処理装置10の構成要素の各機能は、例えば図8に示す処理回路50により実現される。すなわち、後方画像処理装置10は、自車両の後方の風景を撮像した画像である後方画像を取得し、自車両から後方画像に写る後方物体までの距離を取得し、自車両から後方物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、自車両から後方物体までの距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行い、スケーリング処理後の後方画像を表示装置に表示させる、ための処理回路50を備える。処理回路50は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ(中央処理装置(CPU:Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)とも呼ばれる)を用いて構成されていてもよい。
8 and 9 are diagrams showing an example of the hardware configuration of the rear
処理回路50が専用のハードウェアである場合、処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものなどが該当する。後方画像処理装置10の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
When the
図9は、処理回路50がプログラムを実行するプロセッサ51を用いて構成されている場合における後方画像処理装置10のハードウェア構成の例を示している。この場合、後方画像処理装置10の構成要素の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ)により実現される。ソフトウェア等はプログラムとして記述され、メモリ52に格納される。プロセッサ51は、メモリ52に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、後方画像処理装置10は、プロセッサ51により実行されるときに、自車両の後方の風景を撮像した画像である後方画像を取得する処理と、自車両から後方画像に写る後方物体までの距離を取得する処理と、自車両から後方物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、自車両から後方物体までの距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行う処理と、スケーリング処理後の後方画像を表示装置に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ52を備える。換言すれば、このプログラムは、後方画像処理装置10の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
FIG. 9 shows an example of the hardware configuration of the rear
ここで、メモリ52は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
Here, the
以上、後方画像処理装置10の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、後方画像処理装置10の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路50でその機能を実現し、他の一部の構成要素についてはプロセッサ51としての処理回路50がメモリ52に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
The configuration in which the functions of the components of the rear
以上のように、後方画像処理装置10は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
As described above, the rear
<実施の形態2>
実施の形態1では、自車両から後方物体までの距離が閾値以下のとき、後方画像を縮小するスケーリング処理を行い、表示装置22に表示される後方物体の大きさ(図6参照)を、リアビューミラー(物理ミラー)に映る後方物体の大きさ(図4参照)と同等にすることで、両者の距離感の差を抑制した。<Embodiment 2>
In the first embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the scaling process for reducing the rear image is performed, and the size of the rear object displayed on the display device 22 (see FIG. 6) is rearviewed. By making the size of the rear object reflected on the mirror (physical mirror) the same (see FIG. 4), the difference in the sense of distance between the two was suppressed.
しかし、実施の形態1では、スケーリング係数が、後方画像の全体にわたって均一な値に設定されており、後方物体の背景の画像も後方物体と同じように縮小されるため、表示装置22に表示される後方画像の視野と、物理ミラーの視野との間に差が生じる。その結果、背景の地物に対する後方物体の相対的な大きさを把握し難くなる。実施の形態2では、この問題を解決できる後方画像処理装置10を示す。
However, in the first embodiment, the scaling coefficient is set to a uniform value over the entire rear image, and the background image of the rear object is also reduced in the same manner as the rear object, so that the image is displayed on the
実施の形態2の電子ミラーシステムの構成は、図1と同様である。ただし、実施の形態2では、画像処理部13は、スケーリング係数を後方画像内の位置ごとに設定することができる。
The configuration of the electronic mirror system of the second embodiment is the same as that of FIG. However, in the second embodiment, the
自車両から後方物体までの距離が閾値よりも大きいとき、画像処理部13は、実施の形態1と同様に、スケーリング係数を、後方画像の全体にわたって一律に、標準値に設定する。一方、自車両から後方物体までの距離が閾値以下のときには、画像処理部13は、後方画像の中央部分では、スケーリング係数を実施の形態1(図2)と同様に自車両から後方物体までの距離に応じて変化させるが、後方画像の中央以外の部分では、図10のように、後方画像の中央から外側へ向けてスケーリング係数を徐々に大きくし、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。
When the distance from the own vehicle to the rear object is larger than the threshold value, the
すなわち、実施の形態2では、自車両から後方物体までの距離が閾値以下の場合、図11に示すように、スケーリング係数(SF)は、後方画像の中央部分では標準値よりも小さく、後方画像の外周部分で標準値に近い値となる。また、図11から分かるように、スケーリング係数は、後方画像の特定の位置で大きく変化する。つまり、スケーリング係数は、後方画像の中央からの距離に対して非線形に変化する。以下、後方画像上で非線形に変化するスケーリング係数を用いて行われるスケーリング処理を「非線形スケーリング処理」という。 That is, in the second embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the scaling coefficient (SF) is smaller than the standard value in the central portion of the rear image as shown in FIG. The value is close to the standard value at the outer peripheral part of. Further, as can be seen from FIG. 11, the scaling coefficient changes significantly at a specific position in the rear image. That is, the scaling factor changes non-linearly with respect to the distance from the center of the rear image. Hereinafter, the scaling process performed by using the scaling coefficient that changes non-linearly on the rear image is referred to as "non-linear scaling process".
例えば、図5に示した後方画像に対し、図11のようなスケーリング係数を用いた非線形スケーリング処理を行うと、非線形スケーリング処理後の後方画像は図12のようになる。このような非線形スケーリング処理では、後方画像の中央部に映る後方物体の画像が縮小されるため、非線形スケーリング処理後の後方画像に映る後方物体の距離感は物理ミラーの距離感と同等になる。さらに、後方画像の外周部に映る背景の画像のスケーリング係数は標準値に近いため、背景画像の縮小が抑えられ、非線形スケーリング処理後の後方画像の視野は、物理ミラーの視野と同等になる。その結果、実施の形態1と比較して、表示装置22に表示される後方画像において、背景の地物に対する後方物体の相対的な大きさを把握し易くなり、上記の問題が解決される。
For example, when the non-linear scaling process using the scaling coefficient as shown in FIG. 11 is performed on the rear image shown in FIG. 5, the rear image after the non-linear scaling process becomes as shown in FIG. In such a non-linear scaling process, the image of the rear object reflected in the central portion of the rear image is reduced, so that the sense of distance of the rear object reflected in the rear image after the nonlinear scaling process becomes equivalent to the sense of distance of the physical mirror. Further, since the scaling coefficient of the background image reflected on the outer peripheral portion of the rear image is close to the standard value, the reduction of the background image is suppressed, and the field of view of the rear image after the nonlinear scaling process becomes equivalent to the field of view of the physical mirror. As a result, as compared with the first embodiment, in the rear image displayed on the
図13は、実施の形態2に係る後方画像処理装置10の動作を示すフローチャートである。以下、図13を参照しつつ、実施の形態2に係る後方画像処理装置10の動作を説明する。
FIG. 13 is a flowchart showing the operation of the rear
後方画像処理装置10が起動すると、まず、後方画像取得部11が、後方画像撮影装置21によって撮影された後方画像を取得する(ステップS201)。次に、距離取得部12が、測距センサ23によって測定された自車両から後方画像に写る後方物体までの距離を取得する(ステップS202)。そして、画像処理部13は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する(ステップS203)。
When the rear
自車両から後方物体までの距離が閾値以下であれば(ステップS203でYES)、画像処理部13は、後方画像の中央のスケーリング係数を当該距離に応じた値に設定する(ステップS204)。具体的には、画像処理部13は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方画像の中央のスケーリング係数を変化させる。
If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S203), the
続いて、画像処理部13は、後方画像の各位置のスケーリング係数を設定する(ステップS205)。具体的には、画像処理部13は、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。
Subsequently, the
さらに、画像処理部13は、ステップS204,S205で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する(ステップS206)。
Further, the
一方、自車両から後方物体までの距離が閾値よりも大きければ(ステップS203でNO)、画像処理部13は、後方画像全体のスケーリング係数を標準値に設定する(ステップS207)。そして、画像処理部13は、ステップS207で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する(ステップS208)。
On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S203), the
ステップS206またはS208のスケーリング処理が完了すると、表示処理部14が、スケーリング処理後の後方画像から、表示装置22の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置22に表示させる(ステップS209)。後方画像処理装置10は、以上の処理を繰り返し実行する。
When the scaling process of step S206 or S208 is completed, the
<実施の形態3>
図11に示したように、実施の形態2において、後方画像のスケーリング係数の変化の傾きは、後方画像の特定の位置で大きくなる。また、自車両から後方物体までの距離が極めて近くなると、後方画像に写る後方物体のサイズは非常に大きいものとなる。このとき、スケーリング係数の変化の傾きが大きい位置が、後方物体の画像の内側になると、図14のように後方物体の画像に歪みが生じるだけで、後方物体の画像が適切に縮小されなくなる。実施の形態3では、この問題を解決できる後方画像処理装置10を示す。<Embodiment 3>
As shown in FIG. 11, in the second embodiment, the slope of the change in the scaling coefficient of the rear image becomes large at a specific position of the rear image. Further, when the distance from the own vehicle to the rear object becomes extremely short, the size of the rear object reflected in the rear image becomes very large. At this time, if the position where the slope of the change of the scaling coefficient is large is inside the image of the rear object, only the image of the rear object is distorted as shown in FIG. 14, and the image of the rear object is not appropriately reduced. In the third embodiment, a rear
図15は、実施の形態3に係る電子ミラーシステムの構成を示すブロック図である。図15の電子ミラーシステムの構成は、図1の構成に対し、後方画像処理装置10に物体画像抽出部15を追加したものである。物体画像抽出部15は、後方画像取得部11が取得した後方画像を解析して、後方画像から後方物体の画像(以下「後方物体画像」という)を抽出する。
FIG. 15 is a block diagram showing the configuration of the electronic mirror system according to the third embodiment. The configuration of the electronic mirror system of FIG. 15 is the configuration of FIG. 1 in which an object
また、実施の形態3では、画像処理部13は、自車両から後方物体までの距離が閾値以下のとき、図16のように、スケーリング係数の変化の傾きが大きくなる位置を、物体画像抽出部15が抽出した後方物体画像のサイズに応じて変化させる。具体的には、画像処理部13は、スケーリング係数の変化の傾きが大きくなる位置を、後方物体画像の周辺部に設定する。すなわち、図17のように後方物体画像のサイズが小さいときは、スケーリング係数の変化の傾きが大きくなる位置は、後方画像の中央に近くなり、図18のように後方物体画像のサイズが大きいときは、スケーリング係数の変化の傾きが大きくなる位置は、後方画像の中央から遠ざかる。
Further, in the third embodiment, the
実施の形態3によれば、スケーリング係数の変化の傾きが大きい位置が、後方物体の画像の内側になることが防止されるため、後方画像に写る後方物体のサイズは非常に大きくなった場合でも、後方物体の画像が適切に縮小されるようになる。 According to the third embodiment, since the position where the slope of the change of the scaling coefficient is large is prevented from being inside the image of the rear object, even when the size of the rear object reflected in the rear image becomes very large. , The image of the rear object will be reduced appropriately.
図19は、実施の形態3に係る後方画像処理装置10の動作を示すフローチャートである。以下、図19を参照しつつ、実施の形態3に係る後方画像処理装置10の動作を説明する。
FIG. 19 is a flowchart showing the operation of the rear
後方画像処理装置10が起動すると、まず、後方画像取得部11が、後方画像撮影装置21によって撮影された後方画像を取得する(ステップS301)。次に、距離取得部12が、測距センサ23によって測定された自車両から後方画像に写る後方物体までの距離を取得する(ステップS302)。そして、画像処理部13は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する(ステップS303)。
When the rear
自車両から後方物体までの距離が閾値以下であれば(ステップS303でYES)、画像処理部13は、後方画像の中央のスケーリング係数を当該距離に応じた値に設定する(ステップS304)。具体的には、画像処理部13は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方画像の中央のスケーリング係数を変化させる。
If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S303), the
続いて、物体画像抽出部15は、後方画像から後方物体画像を抽出する(ステップS305)。画像処理部13は、物体画像抽出部15が抽出した後方物体画像のサイズを確認し、そのサイズに応じて、スケーリング係数の変化の傾きを大きくする位置を設定する(ステップS306)。具体的には、画像処理部13は、スケーリング係数の変化の傾きを大きくする位置を、後方物体画像の周辺部(後方物体画像の外側)に設定する。
Subsequently, the object
さらに、画像処理部13は、ステップS304,S306の処理結果に基づいて、後方画像の各位置のスケーリング係数を設定する(ステップS307)。具体的には、画像処理部13は、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。そして、画像処理部13は、ステップS304,S307で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する(ステップS308)。
Further, the
一方、自車両から後方物体までの距離が閾値よりも大きければ(ステップS303でNO)、画像処理部13は、後方画像全体のスケーリング係数を標準値に設定する(ステップS309)。そして、画像処理部13は、ステップS309で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する(ステップS310)。
On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S303), the
ステップS308またはS310のスケーリング処理が完了すると、表示処理部14が、スケーリング処理後の後方画像から、表示装置22の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置22に表示させる(ステップS311)。後方画像処理装置10は、以上の処理を繰り返し実行する。
When the scaling process of step S308 or S310 is completed, the
<実施の形態4>
実施の形態2では、後方物体が後方画像の中央付近に映り込んでいることを前提としていたが、例えば図20のように、後方物体が後方画像の中央からずれた位置に映り込むこともある。図20のような後方画像に、実施の形態2をそのまま適用すると、図21のように後方物体の画像の一部分が縮小されることになる。実施の形態4では、この問題を解決できる後方画像処理装置10を示す。<Embodiment 4>
In the second embodiment, it is assumed that the rear object is reflected near the center of the rear image, but as shown in FIG. 20, the rear object may be reflected at a position deviated from the center of the rear image. .. If the second embodiment is applied to the rear image as shown in FIG. 20 as it is, a part of the image of the rear object is reduced as shown in FIG. In the fourth embodiment, a rear
実施の形態4に係る電子ミラーシステムの構成は図15と同様である。すなわち、実施の形態4の後方画像処理装置10は、後方画像取得部11が取得した後方画像から後方物体画像を抽出する物体画像抽出部15を備えている。
The configuration of the electronic mirror system according to the fourth embodiment is the same as that in FIG. That is, the rear
また、実施の形態4では、画像処理部13は、自車両から後方物体までの距離が閾値以下のとき、後方物体画像の中央部分では、スケーリング係数を実施の形態1(図2)と同様に自車両から後方物体までの距離に応じて変化させるが、後方画像の中央以外の部分では、図22のように、後方画像内の後方物体画像の中央から外側へ向けてスケーリング係数を徐々に大きくし、後方物体画像から遠い位置ほどスケーリング係数を標準値に近い値に設定する。このとき画像処理部13は、スケーリング係数を、後方物体画像からの距離に対して非線形に変化させる。
Further, in the fourth embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the
実施の形態4では、スケーリング係数の変化の傾きが大きくなる位置は、図23および図24に示すように、後方物体画像の位置に応じて変化する。例えば、図23のように後方物体画像が後方画像の左下部分に位置する場合、スケーリング係数の変化の傾きが大きくなる位置は、後方物体画像が後方画像の中央に位置する場合(図11)に比べて左下へ移動する。また、図24のように後方物体画像が後方画像の右上部分に位置する場合、スケーリング係数の変化の傾きが大きくなる位置は、後方物体画像が後方画像の中央に位置する場合(図11)に比べて右上へ移動する。 In the fourth embodiment, the position where the slope of the change in the scaling coefficient becomes large changes according to the position of the rear object image, as shown in FIGS. 23 and 24. For example, when the rear object image is located in the lower left portion of the rear image as shown in FIG. 23, the position where the slope of the change in the scaling coefficient becomes large is when the rear object image is located in the center of the rear image (FIG. 11). Move to the lower left in comparison. Further, when the rear object image is located in the upper right portion of the rear image as shown in FIG. 24, the position where the slope of the change in the scaling coefficient becomes large is when the rear object image is located in the center of the rear image (FIG. 11). Compare and move to the upper right.
実施の形態4によれば、スケーリング係数の変化の傾きが大きい位置が、後方画像における後方物体画像の位置に合わせて移動するため、図20のように後方物体が後方画像の中央からずれた位置に映り込む場合でも、図25のように後方物体の画像が適切に縮小されるようになる。 According to the fourth embodiment, the position where the slope of the change of the scaling coefficient is large moves according to the position of the rear object image in the rear image, so that the rear object is deviated from the center of the rear image as shown in FIG. Even when the image is reflected in the image, the image of the rear object is appropriately reduced as shown in FIG.
図26は、実施の形態4に係る後方画像処理装置10の動作を示すフローチャートである。以下、図26を参照しつつ、実施の形態4に係る後方画像処理装置10の動作を説明する。
FIG. 26 is a flowchart showing the operation of the rear
後方画像処理装置10が起動すると、まず、後方画像取得部11が、後方画像撮影装置21によって撮影された後方画像を取得する(ステップS401)。次に、距離取得部12が、測距センサ23によって測定された自車両から後方画像に写る後方物体までの距離を取得する(ステップS402)。そして、画像処理部13は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する(ステップS403)。
When the rear
自車両から後方物体までの距離が閾値以下であれば(ステップS403でYES)、物体画像抽出部15が、後方画像から後方物体画像を抽出する(ステップS404)。そして、画像処理部13は、物体画像抽出部15が抽出した後方物体画像の位置を確認し、後方画像における後方物体画像の中央のスケーリング係数を当該距離に応じた値に設定する(ステップS405)。具体的には、画像処理部13は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方物体画像の中央のスケーリング係数を変化させる。
If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S403), the object
また、画像処理部13は、後方画像における後方物体画像の位置に応じて、スケーリング係数の変化の傾きを大きくする位置を設定する(ステップS406)。具体的には、画像処理部13は、スケーリング係数の変化の傾きを大きくする位置を、後方物体画像の周辺部に設定する。
Further, the
さらに、画像処理部13は、ステップS405,S406の処理結果に基づいて、後方画像の各位置のスケーリング係数を設定する(ステップS407)。具体的には、画像処理部13は、後方物体画像から遠い位置ほどスケーリング係数を標準値に近い値に設定する。そして、画像処理部13は、ステップS405,S407で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する(ステップS408)。
Further, the
一方、自車両から後方物体までの距離が閾値よりも大きければ(ステップS403でNO)、画像処理部13は、後方画像全体のスケーリング係数を標準値に設定する(ステップS409)。そして、画像処理部13は、ステップS409で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する(ステップS410)。
On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S403), the
ステップS408またはS410のスケーリング処理が完了すると、表示処理部14が、スケーリング処理後の後方画像から、表示装置22の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置22に表示させる(ステップS411)。後方画像処理装置10は、以上の処理を繰り返し実行する。
When the scaling process of step S408 or S410 is completed, the
<変形例>
実施の形態1〜4では、後方画像処理装置10は自車両に搭載されているものとしたが、後方画像処理装置10に外部のサーバーとの通信手段を設け、後方画像処理装置10の機能の一部をサーバーが実行してもよい。例えば、非線形スケーリング処理や、後方物体画像の抽出するための画像解析処理など、演算負荷の高い処理を外部のサーバーで行えば、後方画像処理装置10の演算負荷を削減できる。<Modification example>
In the first to fourth embodiments, the rear
また、実施の形態1〜4において、適切なスケーリング係数は、厳密には、自車両から後方物体までの距離だけでなく、後方物体の実際のサイズにも依存すると考えられる。そのため、後方画像処理装置10は、後方物体のサイズを認識し、後方物体のサイズを加味してスケーリング係数を設定してもよい。
Further, in the first to fourth embodiments, it is considered that the appropriate scaling coefficient depends not only on the distance from the own vehicle to the rear object but also on the actual size of the rear object. Therefore, the rear
また、後方物体が後方車両の場合、画像処理部13が後方車両の車種を判断し、後方車両の車種から分かるサイズに応じてスケーリング係数を変化させてもよい。この場合、後方画像処理装置10に、車種ごとのスケーリングテーブルを格納したデータベースを設けてもよい。あるいは、車種ごとのスケーリングテーブルを格納したデータベースを外部のサーバー上に構築し、画像処理部13が、後方車両の車種に対応するスケーリングテーブルをサーバーから取得できるようにしてもよい。データベースをサーバー上に構築したシステムでは、新たな車種が加わった場合などに、サーバーの管理者がデータベースの更新を行えばよく、後方画像処理装置10のユーザがデータベースの更新を行う必要が無いため、ユーザにとって利便性の高いシステムとなる。
Further, when the rear object is a rear vehicle, the
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。 In the present invention, each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted within the scope of the invention.
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all embodiments and the invention is not limited thereto. It is understood that a myriad of variations not illustrated can be envisioned without departing from the scope of the invention.
10 後方画像処理装置、11 後方画像取得部、12 距離取得部、13 画像処理部、14 表示処理部、15 物体画像抽出部、21 後方画像撮影装置、22 表示装置、23 測距センサ。 10 Rear image processing device, 11 Rear image acquisition unit, 12 Distance acquisition unit, 13 Image processing unit, 14 Display processing unit, 15 Object image extraction unit, 21 Rear image capturing device, 22 Display device, 23 Distance measuring sensor.
Claims (8)
前記車両から前記後方画像に写る物体までの距離を取得する距離取得部と、
前記車両から前記物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して前記後方画像のスケーリング処理を行い、前記距離が前記閾値以下のときは前記距離が短くなるほど前記後方画像が縮小されるように前記スケーリング係数を変化させて前記後方画像の前記スケーリング処理を行う画像処理部と、
前記スケーリング処理後の前記後方画像を表示装置に表示させる表示処理部と、
を備え、
前記画像処理部は、前記スケーリング係数を前記後方画像内の位置ごとに設定し、前記後方画像の中央から遠い位置ほど前記スケーリング係数を前記標準値に近い値に設定する
後方画像処理装置。 A rear image acquisition unit that acquires a rear image, which is an image of the scenery behind the vehicle,
A distance acquisition unit that acquires the distance from the vehicle to the object shown in the rear image,
When the distance from the vehicle to the object is larger than a predetermined threshold value, the scaling coefficient is set to a constant standard value and the rear image scaling process is performed. When the distance is equal to or less than the threshold value, the distance An image processing unit that performs the scaling process of the rear image by changing the scaling coefficient so that the rear image is reduced as the value becomes shorter.
A display processing unit that displays the rear image after the scaling process on the display device,
Equipped with a,
The image processing unit sets the scaling coefficient for each position in the rear image, and sets the scaling coefficient to a value closer to the standard value as the position is farther from the center of the rear image. apparatus.
請求項1に記載の後方画像処理装置。 The image processing unit changes the scaling coefficient non-linearly with respect to the distance from the center of the rear image.
The rear image processing apparatus according to claim 1.
前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像のサイズに応じて変化させる
請求項2に記載の後方画像処理装置。 An object image extraction unit for extracting an object image which is an image of the object from the rear image is further provided.
The image processing unit changes the position where the slope of the change in the scaling coefficient becomes large according to the size of the object image.
The rear image processing apparatus according to claim 2.
請求項3に記載の後方画像処理装置。 The image processing unit sets a position where the slope of the change in the scaling coefficient becomes large in the peripheral portion of the object image.
The rear image processing apparatus according to claim 3.
前記車両から前記後方画像に写る物体までの距離を取得する距離取得部と、
前記車両から前記物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して前記後方画像のスケーリング処理を行い、前記距離が前記閾値以下のときは前記距離が短くなるほど前記後方画像が縮小されるように前記スケーリング係数を変化させて前記後方画像の前記スケーリング処理を行う画像処理部と、
前記スケーリング処理後の前記後方画像を表示装置に表示させる表示処理部と、
前記後方画像から前記物体の画像である物体画像を抽出する物体画像抽出部と、
を備え、
前記画像処理部は、前記スケーリング係数を前記後方画像内の位置ごとに設定し、前記物体画像から遠い位置ほど前記スケーリング係数を前記標準値に近い値に設定する
後方画像処理装置。 A rear image acquisition unit that acquires a rear image that is an image of the scenery behind the vehicle,
A distance acquisition unit that acquires the distance from the vehicle to the object shown in the rear image,
When the distance from the vehicle to the object is larger than a predetermined threshold value, the scaling coefficient is set to a constant standard value and the rear image scaling process is performed. When the distance is equal to or less than the threshold value, the distance An image processing unit that performs the scaling process of the rear image by changing the scaling coefficient so that the rear image is reduced as the value becomes shorter.
A display processing unit that displays the rear image after the scaling process on the display device,
An object image extraction unit that extracts an object image that is an image of the object from the rear image,
Equipped with a,
The image processing unit sets the scaling coefficient for each position in the rear image, and sets the scaling coefficient to a value closer to the standard value as the position is farther from the object image .
請求項5に記載の後方画像処理装置。 The image processing unit changes the scaling coefficient non-linearly with respect to the distance from the object image.
The rear image processing apparatus according to claim 5.
請求項6に記載の後方画像処理装置。 The image processing unit changes the position where the slope of the change of the scaling coefficient becomes large according to the position of the object image.
The rear image processing apparatus according to claim 6.
請求項7に記載の後方画像処理装置。 The image processing unit sets a position where the slope of the change in the scaling coefficient becomes large in the peripheral portion of the object image.
The rear image processing apparatus according to claim 7.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/039010 WO2020079831A1 (en) | 2018-10-19 | 2018-10-19 | Rear image processing device and rear image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6833128B2 true JP6833128B2 (en) | 2021-02-24 |
JPWO2020079831A1 JPWO2020079831A1 (en) | 2021-03-18 |
Family
ID=70283247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020551694A Active JP6833128B2 (en) | 2018-10-19 | 2018-10-19 | Rear image processing device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6833128B2 (en) |
WO (1) | WO2020079831A1 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5320970B2 (en) * | 2008-10-15 | 2013-10-23 | 日産自動車株式会社 | Vehicle display device and display method |
JP6384188B2 (en) * | 2014-08-12 | 2018-09-05 | ソニー株式会社 | Vehicle display device, display control method, and rear monitoring system |
JPWO2016042713A1 (en) * | 2014-09-17 | 2017-06-29 | パナソニックIpマネジメント株式会社 | Electronic mirror device |
JP6311646B2 (en) * | 2015-05-20 | 2018-04-18 | 株式会社デンソー | Image processing apparatus, electronic mirror system, and image processing method |
JP6683451B2 (en) * | 2015-10-09 | 2020-04-22 | 株式会社東海理化電機製作所 | Vehicle visibility device |
JP2018019176A (en) * | 2016-07-26 | 2018-02-01 | 株式会社Jvcケンウッド | Display controller for vehicle, display system for vehicle, display control method for vehicle and program |
JP6433537B2 (en) * | 2016-12-22 | 2018-12-05 | カルソニックカンセイ株式会社 | Image display control device |
-
2018
- 2018-10-19 JP JP2020551694A patent/JP6833128B2/en active Active
- 2018-10-19 WO PCT/JP2018/039010 patent/WO2020079831A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2020079831A1 (en) | 2021-03-18 |
WO2020079831A1 (en) | 2020-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110532985B (en) | Target detection method, device and system | |
CN105227838B (en) | A kind of image processing method and mobile terminal | |
US10061182B2 (en) | Systems and methods for autofocus trigger | |
US8184196B2 (en) | System and method to generate depth data using edge detection | |
JP4006415B2 (en) | Image capturing apparatus, control method therefor, and control program | |
TW202110387A (en) | Image processing method, electronic device and computer-readable storage medium | |
WO2022227405A1 (en) | Road distress detection method and apparatus, electronic device, and storage medium | |
US20150288870A1 (en) | System and method for multi-focus imaging | |
JP2007020167A (en) | Method of deblurring image captured by imaging apparatus provided with image sensor array for capturing image during exposure and at least one motion sensor, imaging apparatus, method of deblurring image, and computer-readable medium | |
CN108668086B (en) | Automatic focusing method and device, storage medium and terminal | |
WO2016115805A1 (en) | Shooting method, shooting device, mobile terminal and computer storage medium | |
JP2011508268A (en) | Method and apparatus with depth map generation | |
US11017552B2 (en) | Measurement method and apparatus | |
KR101641175B1 (en) | Method, apparatus, terminal, program and recording medium for image retargeting | |
CN104914979A (en) | Display control method and terminal | |
CN112017137B (en) | Image processing method, device, electronic equipment and computer readable storage medium | |
US9621797B2 (en) | Image processing apparatus, control method for same, and program | |
WO2016184152A1 (en) | Measuring method and apparatus, mobile terminal and storage medium | |
JP6833128B2 (en) | Rear image processing device | |
JP6448457B2 (en) | Imaging direction variation detection apparatus and imaging direction variation detection method | |
US9232132B1 (en) | Light field image processing | |
TWI542891B (en) | Method for optical distance measurement | |
WO2021065176A1 (en) | Processing device, electronic device, processing method, and program | |
US11563890B2 (en) | Photographing system and photographing system control method | |
CN105824027B (en) | Optical ranging method and optical ranging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201130 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201130 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201130 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6833128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |