JP6833128B2 - Rear image processing device - Google Patents

Rear image processing device Download PDF

Info

Publication number
JP6833128B2
JP6833128B2 JP2020551694A JP2020551694A JP6833128B2 JP 6833128 B2 JP6833128 B2 JP 6833128B2 JP 2020551694 A JP2020551694 A JP 2020551694A JP 2020551694 A JP2020551694 A JP 2020551694A JP 6833128 B2 JP6833128 B2 JP 6833128B2
Authority
JP
Japan
Prior art keywords
image
rear image
distance
image processing
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020551694A
Other languages
Japanese (ja)
Other versions
JPWO2020079831A1 (en
Inventor
中村　好孝
好孝 中村
下谷　光生
光生 下谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6833128B2 publication Critical patent/JP6833128B2/en
Publication of JPWO2020079831A1 publication Critical patent/JPWO2020079831A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両の後方を撮影した画像を表示装置に表示させる後方画像処理装置に関するものである。 The present invention relates to a rear image processing device that displays an image of the rear of a vehicle on a display device.

近年、車両の物理ミラー（光学ミラー）の代替手段として、車両の後方あるいは側方を撮影した画像を車内の表示装置に表示するカメラモニタリングシステム（ＣＭＳ）、いわゆる「電子ミラー」の開発が進んでいる。また、電子ミラー用のカメラで撮影した自車両の後方の画像（後方画像）を電子ミラーの画面に表示させる際、自車両から後方車両（後続車両）までの距離に応じて後方画像を拡大または縮小するスケーリング処理を行うことによって、電子ミラーが表示する後方車両の画像と物理ミラーに映った後方車両の鏡像との距離感の違いを抑制する技術が知られている（例えば、下記の特許文献１）。 In recent years, as an alternative to the physical mirror (optical mirror) of a vehicle, the development of a camera monitoring system (CMS), a so-called "electronic mirror", which displays an image of the rear or side of the vehicle on a display device inside the vehicle has progressed. There is. In addition, when displaying the rear image (rear image) of the own vehicle taken by the camera for the electronic mirror on the screen of the electronic mirror, the rear image is enlarged or enlarged according to the distance from the own vehicle to the rear vehicle (following vehicle). A technique is known in which the difference in the sense of distance between the image of the rear vehicle displayed by the electronic mirror and the mirror image of the rear vehicle reflected by the physical mirror is suppressed by performing the scaling process of reduction (for example, the following patent documents). 1).

特開２０１４−２３５６４０号公報Japanese Unexamined Patent Publication No. 2014-235640

特許文献１の技術において、後方画像のスケーリング処理におけるスケーリング係数（拡大率または縮小率）は、自車両から後方車両までの距離に応じて設定される。しかし、自車両から後方車両までの距離が長い状態では、その距離が後方画像の距離感に与える影響は小さい。そのため、自車両から後方車両までの距離が長い場合（後方車両が存在しない場合も含む）にまで特許文献１の技術を適用すると、電子ミラーが表示する後方車両の画像と物理ミラーに映った後方車両の鏡像との距離感の違いが増幅されることも考えられる。 In the technique of Patent Document 1, the scaling coefficient (enlargement ratio or reduction ratio) in the scaling process of the rear image is set according to the distance from the own vehicle to the rear vehicle. However, when the distance from the own vehicle to the rear vehicle is long, the influence of the distance on the sense of distance in the rear image is small. Therefore, if the technique of Patent Document 1 is applied even when the distance from the own vehicle to the rear vehicle is long (including the case where the rear vehicle does not exist), the image of the rear vehicle displayed by the electronic mirror and the rear reflected on the physical mirror. It is also possible that the difference in the sense of distance from the mirror image of the vehicle is amplified.

本発明は上記のような課題を解決するためになされたものであり、自車両から後方車両までの距離が長い場合にも、電子ミラーが表示する画像と物理ミラーに映った鏡像との距離感の違いを抑制できる画像処理装置を提供することを目的とする。 The present invention has been made to solve the above problems, and even when the distance from the own vehicle to the vehicle behind is long, the sense of distance between the image displayed by the electronic mirror and the mirror image reflected on the physical mirror It is an object of the present invention to provide an image processing apparatus capable of suppressing the difference between the two.

本発明に係る後方画像処理装置は、車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、車両から後方画像に写る物体までの距離を取得する距離取得部と、車両から物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、当該距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行う画像処理部と、スケーリング処理後の後方画像を表示装置に表示させる表示処理部と、を備え、画像処理部は、スケーリング係数を後方画像内の位置ごとに設定し、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定するものである。

The rear image processing device according to the present invention includes a rear image acquisition unit that acquires a rear image that is an image of a landscape behind the vehicle, a distance acquisition unit that acquires the distance from the vehicle to an object in the rear image, and the like. When the distance from the vehicle to the object is larger than a predetermined threshold, the scaling coefficient is set to a constant standard value and the rear image is scaled. When the distance is less than the threshold, the shorter the distance, the more rearward. The image processing unit includes an image processing unit that performs scaling processing of the rear image by changing the scaling coefficient so that the image is reduced, and a display processing unit that displays the rear image after the scaling processing on the display device . set the scaling factor for each position in the rearward image, it is shall set the position farther as scaling factor from the center of the rear image to a value close to the standard value.

本発明に係る後方画像処理装置によれば、車両から物体までの距離が閾値以下のとき、当該距離が短くなるほど後方画像が縮小されることで、表示装置に表示される物体の距離感が、物理ミラーに映る物体の距離感と同等になる。また、車両から物体までの距離が閾値よりも大きいときは、スケーリング係数が一定の標準値に設定されることで、表示装置に表示される物体の距離感が、物理ミラーに映る物体の距離感と同等な状態で維持される。 According to the rear image processing device according to the present invention, when the distance from the vehicle to the object is equal to or less than the threshold value, the rear image is reduced as the distance becomes shorter, so that the sense of distance of the object displayed on the display device is increased. It is equivalent to the sense of distance of the object reflected in the physical mirror. When the distance from the vehicle to the object is larger than the threshold value, the scaling coefficient is set to a constant standard value so that the sense of distance of the object displayed on the display device becomes the sense of distance of the object reflected on the physical mirror. It is maintained in the same state as.

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。 Objectives, features, aspects, and advantages of the present invention will be made more apparent with the following detailed description and accompanying drawings.

実施の形態１に係る電子ミラーシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the electronic mirror system which concerns on Embodiment 1. FIG. 実施の形態１のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 1. FIG. 自車両から後方物体までの距離が閾値よりも大きいときに、実施の形態１に係る電子ミラーシステムの表示装置に表示される後方画像、ならびに、リアビューミラーに映る鏡像の例を示す図である。It is a figure which shows the example of the rear image which is displayed on the display device of the electronic mirror system which concerns on Embodiment 1, and the mirror image which is reflected in the rear view mirror when the distance from the own vehicle to a rear object is larger than a threshold value. 自車両から後方物体までの距離が閾値よりも小さいときに、リアビューミラーに映る鏡像の例を示す図である。It is a figure which shows the example of the mirror image reflected in the rear view mirror when the distance from the own vehicle to a rear object is smaller than a threshold value. 自車両から後方物体までの距離が閾値よりも小さいときにスケーリング係数を標準値に設定した場合に、電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。It is a figure which shows the example of the rear image displayed on the display device of an electronic mirror system when the scaling coefficient is set to the standard value when the distance from the own vehicle to a rear object is smaller than a threshold value. 自車両から後方物体までの距離が閾値よりも小さいときに、実施の形態１に係る電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。It is a figure which shows the example of the rear image which is displayed on the display device of the electronic mirror system which concerns on Embodiment 1 when the distance from own vehicle to a rear object is smaller than a threshold value. 実施の形態１に係る後方画像処理装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the rear image processing apparatus which concerns on Embodiment 1. FIG. 後方画像処理装置のハードウェア構成の例を示す図である。It is a figure which shows the example of the hardware composition of the rear image processing apparatus. 後方画像処理装置のハードウェア構成の例を示す図である。It is a figure which shows the example of the hardware composition of the rear image processing apparatus. 実施の形態２のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 2. 実施の形態２のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 2. 自車両から後方物体までの距離が閾値よりも小さいときに、実施の形態２に係る電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。It is a figure which shows the example of the rear image which is displayed on the display device of the electronic mirror system which concerns on Embodiment 2 when the distance from own vehicle to a rear object is smaller than a threshold value. 実施の形態２に係る後方画像処理装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the rear image processing apparatus which concerns on Embodiment 2. 実施の形態２に係る後方画像処理装置で生じ得る問題を説明するための図である。It is a figure for demonstrating the problem which may occur in the rear image processing apparatus which concerns on Embodiment 2. FIG. 実施の形態３に係る電子ミラーシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the electronic mirror system which concerns on Embodiment 3. 実施の形態３のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 3. 実施の形態３のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 3. 実施の形態３のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 3. 実施の形態３に係る後方画像処理装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the rear image processing apparatus which concerns on Embodiment 3. 実施の形態２に係る後方画像処理装置で生じ得る問題を説明するための図である。It is a figure for demonstrating the problem which may occur in the rear image processing apparatus which concerns on Embodiment 2. FIG. 実施の形態２に係る後方画像処理装置で生じ得る問題を説明するための図である。It is a figure for demonstrating the problem which may occur in the rear image processing apparatus which concerns on Embodiment 2. FIG. 実施の形態４のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 4. 実施の形態４のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 4. 実施の形態４のスケーリング処理に用いられるスケーリング係数を説明するための図である。It is a figure for demonstrating the scaling coefficient used for the scaling process of Embodiment 4. 実施の形態４に係る後方画像処理装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the rear image processing apparatus which concerns on Embodiment 4. 自車両から後方物体までの距離が閾値よりも小さいときに、実施の形態４に係る電子ミラーシステムの表示装置に表示される後方画像の例を示す図である。It is a figure which shows the example of the rear image which is displayed on the display device of the electronic mirror system which concerns on Embodiment 4 when the distance from the own vehicle to a rear object is smaller than a threshold value.

＜実施の形態１＞
図１は、実施の形態１に係る電子ミラーシステムの構成を示すブロック図である。実施の形態１の電子ミラーシステムは、車両のリアビューミラー（バックミラー、ルームミラーとも呼ばれる）の代替手段となる電子ミラーを提供するものである。以下、当該電子ミラーシステムを搭載する車両を「自車両」という。<Embodiment 1>
FIG. 1 is a block diagram showing a configuration of an electronic mirror system according to the first embodiment. The electronic mirror system of the first embodiment provides an electronic mirror as an alternative means to a rear view mirror (also referred to as a rear view mirror or a rear view mirror) of a vehicle. Hereinafter, the vehicle equipped with the electronic mirror system is referred to as "own vehicle".

図１のように、実施の形態１の電子ミラーシステムは、後方画像処理装置１０と、それに接続された後方画像撮影装置２１、表示装置２２および測距センサ２３とを備えている。 As shown in FIG. 1, the electronic mirror system of the first embodiment includes a rear image processing device 10, a rear image capturing device 21, a display device 22, and a distance measuring sensor 23 connected to the rear image processing device 10.

後方画像撮影装置２１は、自車両の後方の風景を撮像するカメラである。表示装置２２は、後方画像処理装置１０が出力する画像を表示するためのものであり、例えば液晶表示装置などによって構成される。 The rear image capturing device 21 is a camera that captures the scenery behind the own vehicle. The display device 22 is for displaying an image output by the rear image processing device 10, and is composed of, for example, a liquid crystal display device.

測距センサ２３は、自車両から、自車両の後方に存在する物体までの距離を測定するセンサであり、例えば、赤外線センサ、ミリ波レーダ、超音波レーダ、ＬｉＤＡＲ（Light Detection and Ranging）、ソナーなどによって構成される。測距センサ２３が検出する物体には、車両、バイク、自転車、歩行者などの移動体のほか、ガードレールや壁、建物、電柱などの静止物も含まれる。以下、自車両の後方に存在する物体を「後方物体」という。なお、測距センサ２３は、少なくとも後方画像撮影装置２１の撮影範囲内に存在する後方物体と自車両との間の距離を測定できればよい。 The distance measuring sensor 23 is a sensor that measures the distance from the own vehicle to an object existing behind the own vehicle. For example, an infrared sensor, a millimeter wave radar, an ultrasonic radar, a LiDAR (Light Detection and Ranging), and a sonar. And so on. Objects detected by the distance measuring sensor 23 include moving objects such as vehicles, motorcycles, bicycles, and pedestrians, as well as stationary objects such as guardrails, walls, buildings, and utility poles. Hereinafter, an object existing behind the own vehicle is referred to as a "rear object". The distance measuring sensor 23 may measure at least the distance between the rear object existing in the photographing range of the rear image capturing device 21 and the own vehicle.

後方画像処理装置１０は、後方画像撮影装置２１が撮影した自車両後方の画像（以下「後方画像」という）の拡大または縮小するスケーリング処理を行い、スケーリング処理後の後方画像を表示装置２２に表示させる。後方画像処理装置１０が行うスケーリング処理で用いられるスケーリング係数（拡大率または縮小率）は、測距センサ２３が測定した自車両から後方物体までの距離に基づいて設定される。 The rear image processing device 10 performs scaling processing for enlarging or reducing the image behind the own vehicle (hereinafter referred to as “rear image”) taken by the rear image capturing device 21, and displays the rear image after the scaling processing on the display device 22. Let me. The scaling coefficient (magnification or reduction) used in the scaling process performed by the rear image processing device 10 is set based on the distance from the own vehicle to the rear object measured by the distance measuring sensor 23.

図１に示すように、後方画像処理装置１０は、後方画像取得部１１、距離取得部１２、画像処理部１３および表示処理部１４を備えている。 As shown in FIG. 1, the rear image processing device 10 includes a rear image acquisition unit 11, a distance acquisition unit 12, an image processing unit 13, and a display processing unit 14.

後方画像取得部１１は、後方画像撮影装置２１が撮影した後方画像を取得する。距離取得部１２は、測距センサ２３によって測定された、自車両から後方画像に写る後方物体（つまり後方画像撮影装置２１の撮影範囲内に存在する後方物体）までの距離を取得する。 The rear image acquisition unit 11 acquires a rear image captured by the rear image capturing device 21. The distance acquisition unit 12 acquires the distance measured by the distance measuring sensor 23 from the own vehicle to the rear object (that is, the rear object existing in the photographing range of the rear image capturing device 21) captured in the rear image.

画像処理部１３は、後方画像取得部１１が取得した後方画像のスケーリング処理を行う。表示処理部１４は、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングして、トリミングした範囲の後方画像を表示装置２２に表示させる。上記のトリミングの処理は、画像処理部１３が行ってもよい。 The image processing unit 13 performs scaling processing of the rear image acquired by the rear image acquisition unit 11. The display processing unit 14 trims a range corresponding to the screen size of the display device 22 from the rear image after the scaling process, and causes the display device 22 to display the rear image of the trimmed range. The image processing unit 13 may perform the above trimming process.

ここで、画像処理部１３が行うスケーリング処理について説明する。このスケーリング処理で用いられるスケーリング係数は、自車両から後方物体までの距離に基づいて設定される。具体的には、自車両から後方物体までの距離が予め定められた閾値よりも大きい場合には、画像処理部１３は、スケーリング係数を一定の標準値に設定する。また、自車両から後方物体までの距離が閾値以下の場合には、画像処理部１３は、当該距離が短くなるほど後方画像が縮小（ズームアウト）されるようにスケーリング係数を変化させる。つまり、自車両から後方物体までの距離とスケーリング係数との関係をグラフで示すと図２のようになる。図２のグラフの縦軸に相当するスケーリング係数は拡大率を表しており、スケーリング係数が小さくなると後方画像は縮小される。なお、実施の形態１では、スケーリング係数は、後方画像の全体にわたって均一な値に設定される。 Here, the scaling process performed by the image processing unit 13 will be described. The scaling coefficient used in this scaling process is set based on the distance from the own vehicle to the rear object. Specifically, when the distance from the own vehicle to the rear object is larger than a predetermined threshold value, the image processing unit 13 sets the scaling coefficient to a constant standard value. Further, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the image processing unit 13 changes the scaling coefficient so that the rear image is reduced (zoomed out) as the distance becomes shorter. That is, FIG. 2 shows a graph showing the relationship between the distance from the own vehicle to the rear object and the scaling coefficient. The scaling coefficient corresponding to the vertical axis of the graph of FIG. 2 represents the enlargement ratio, and the rear image is reduced as the scaling coefficient becomes smaller. In the first embodiment, the scaling coefficient is set to a uniform value over the entire rear image.

画像処理部１３は、自車両から後方物体までの距離に基づく演算処理によってスケーリング係数を算出してもよいし、自車両から後方物体までの距離とスケーリング係数との対応関係が記述されたスケーリングテーブル（図２のグラフに相当するデータ）を予め記憶していてもよい。 The image processing unit 13 may calculate the scaling coefficient by arithmetic processing based on the distance from the own vehicle to the rear object, or the scaling table in which the correspondence between the distance from the own vehicle to the rear object and the scaling coefficient is described. (Data corresponding to the graph of FIG. 2) may be stored in advance.

スケーリング係数の標準値は、電子ミラーシステムの表示装置２２に表示される後方画像の視野（後方画像に映り込む範囲）が、物理ミラーとしてのリアビューミラーの視野（リアビューミラーに映り込む範囲）と同等になるように定められる。例えば、リアビューミラーに図３に示すような視野の鏡像が映る場合、スケーリング係数の標準値は、電子ミラーシステムの表示装置２２に図３と同等の後方画像が表示されるように設定される。 The standard value of the scaling coefficient is that the field of view of the rear image displayed on the display device 22 of the electronic mirror system (the range reflected in the rear image) is equivalent to the field of view of the rear view mirror as a physical mirror (the range reflected in the rear view mirror). It is determined to be. For example, when a mirror image of the field of view as shown in FIG. 3 is projected on the rear view mirror, the standard value of the scaling coefficient is set so that the display device 22 of the electronic mirror system displays a rear image equivalent to that of FIG.

よって、自車両から後方物体までの距離が閾値よりも大きく、スケーリング係数が標準値に設定された状態では、表示装置２２に表示される後方画像と、リアビューミラーに映る鏡像とは、どちらも図３に相当するものとなる。従って、表示装置２２に表示される後方物体の距離感とリアビューミラーに映る後方物体の距離感との相違は無い。 Therefore, when the distance from the own vehicle to the rear object is larger than the threshold value and the scaling coefficient is set to the standard value, both the rear image displayed on the display device 22 and the mirror image reflected on the rear view mirror are shown in the figure. It corresponds to 3. Therefore, there is no difference between the sense of distance of the rear object displayed on the display device 22 and the sense of distance of the rear object reflected on the rear view mirror.

また、自車両から後方物体までの距離が閾値よりも大きい場合に、その距離の値に関わらず、スケーリング係数が一定の標準値に設定されることで、表示装置２２に表示される後方物体の距離感は、リアビューミラーに映る後方物体の距離感と同等な状態で維持される。 Further, when the distance from the own vehicle to the rear object is larger than the threshold value, the scaling coefficient is set to a constant standard value regardless of the value of the distance, so that the rear object displayed on the display device 22 is displayed. The sense of distance is maintained in a state equivalent to the sense of distance of the rear object reflected in the rear view mirror.

一方、自車両から後方物体までの距離が短い場合に、スケーリング係数を一定にすると、表示装置２２に表示される後方物体の距離感とリアビューミラーに映る後方物体の距離感との間に差が生じる。運転者からリアビューミラーに映る後方物体までの見かけ上の距離が、運転者の目からフロントウィンドウ付近にあるリアビューミラーを経て後方物体に至るまでの距離であるのに対し、運転者から電子ミラーシステムの表示装置２２に映る後方画像までの見かけ上の距離は、後方画像撮影装置２１と後方物体との間の距離に相当するため、両者の間には差が存在し、自車両から後方物体までの距離が短い場合にはその差が距離感に大きく影響するためである。特に、リアビューミラーの代替手段となる電子ミラーシステムでは、死角を少なくするために後方画像撮影装置２１が自車両の後部に設置されるため、上記の差は３ｍ程度になる。 On the other hand, when the distance from the own vehicle to the rear object is short and the scaling coefficient is constant, there is a difference between the sense of distance of the rear object displayed on the display device 22 and the sense of distance of the rear object reflected on the rear view mirror. Occurs. The apparent distance from the driver to the rear object reflected in the rear view mirror is the distance from the driver's eyes to the rear object via the rear view mirror near the front window, whereas the electronic mirror system from the driver. Since the apparent distance to the rear image displayed on the display device 22 corresponds to the distance between the rear image capturing device 21 and the rear object, there is a difference between the two, and the vehicle to the rear object. This is because when the distance is short, the difference greatly affects the sense of distance. In particular, in the electronic mirror system which is an alternative means of the rear view mirror, the rear image capturing device 21 is installed at the rear of the own vehicle in order to reduce the blind spot, so that the above difference is about 3 m.

よって、自車両から後方物体までの距離が短いときにも、スケーリング係数を標準値に設定すると、例えば、リアビューミラーに図４のような鏡像が映るとき、表示装置２２には図５のような後方画像が表示され、後方物体（ここでは後方車両）の距離感に差異が生じる。つまり、表示装置２２に表示された後方物体は、リアビューミラーに映る後方物体よりも大きく見える（視野に占める割合が大きくなる）。よって、表示装置２２に表示された後方物体は、リアビューミラーに映る後方物体よりも近くにあるように見える。 Therefore, even when the distance from the own vehicle to the rear object is short, if the scaling coefficient is set to the standard value, for example, when a mirror image as shown in FIG. 4 is projected on the rear view mirror, the display device 22 is shown as shown in FIG. The rear image is displayed, and there is a difference in the sense of distance of the rear object (here, the vehicle behind). That is, the rear object displayed on the display device 22 looks larger than the rear object reflected on the rear view mirror (a large proportion of the field of view). Therefore, the rear object displayed on the display device 22 appears to be closer than the rear object reflected on the rear view mirror.

それに対し、実施の形態１の電子ミラーシステムでは、図４に示したように、自車両から後方物体までの距離が閾値以下になると、画像処理部１３が、当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させる。よって、表示装置２２には、図５の後方画像を縮小して得られる図６のような後方画像が表示される。図６の後方画像における後方物体は、リアビューミラーに映る後方物体（図４）と同等の大きさであるため、両者の間で距離感の違いは抑制されている。 On the other hand, in the electronic mirror system of the first embodiment, as shown in FIG. 4, when the distance from the own vehicle to the rear object becomes equal to or less than the threshold value, the image processing unit 13 reduces the rear image as the distance becomes shorter. The scaling factor is changed so as to be. Therefore, the display device 22 displays the rear image as shown in FIG. 6, which is obtained by reducing the rear image of FIG. Since the rear object in the rear image of FIG. 6 has the same size as the rear object (FIG. 4) reflected in the rear view mirror, the difference in the sense of distance between the two is suppressed.

このように、実施の形態１に係る電子ミラーシステムによれば、自車両から後方物体までの距離が閾値以下のとき、当該距離が短くなるほど後方画像が縮小されることによって、表示装置２２に表示される後方物体の距離感を、リアビューミラー（物理ミラー）に映る後方物体の距離感と同等にすることができる。また、自車両から後方物体までの距離が閾値よりも大きいときは、スケーリング係数が一定の標準値に設定されることで、表示装置２２に表示される後方物体の距離感が、物理ミラーに映る物体の距離感と同等な状態を維持することができる。 As described above, according to the electronic mirror system according to the first embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the rear image is reduced as the distance becomes shorter, so that the display device 22 displays the image. The sense of distance of the rear object to be displayed can be made equal to the sense of distance of the rear object reflected in the rear view mirror (physical mirror). When the distance from the own vehicle to the rear object is larger than the threshold value, the scaling coefficient is set to a constant standard value, so that the sense of distance of the rear object displayed on the display device 22 is reflected on the physical mirror. It is possible to maintain a state equivalent to the sense of distance of an object.

図７は、実施の形態１に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図７を参照しつつ、実施の形態１に係る後方画像処理装置１０の動作を説明する。 FIG. 7 is a flowchart showing the operation of the rear image processing device 10 according to the first embodiment. Hereinafter, the operation of the rear image processing device 10 according to the first embodiment will be described with reference to FIG. 7.

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ１０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ１０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ１０３）。 When the rear image processing device 10 is activated, the rear image acquisition unit 11 first acquires the rear image captured by the rear image capturing device 21 (step S101). Next, the distance acquisition unit 12 acquires the distance from the own vehicle measured by the distance measuring sensor 23 to the rear object reflected in the rear image (step S102). Then, the image processing unit 13 confirms whether or not the distance from the own vehicle to the rear object is equal to or less than a predetermined threshold value (step S103).

自車両から後方物体までの距離が閾値以下であれば（ステップＳ１０３でＹＥＳ）、画像処理部１３は、スケーリング係数を当該距離に応じた値に設定する（ステップＳ１０４）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じてスケーリング係数を変化させる。そして、画像処理部１３は、ステップＳ１０４で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ１０５）。 If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S103), the image processing unit 13 sets the scaling coefficient to a value corresponding to the distance (step S104). Specifically, the image processing unit 13 changes the scaling coefficient according to the distance so that the rear image is reduced as the distance from the own vehicle to the rear object becomes shorter. Then, the image processing unit 13 performs scaling processing on the rear image using the scaling coefficient set in step S104 (step S105).

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ１０３でＮＯ）、画像処理部１３は、スケーリング係数を標準値に設定する（ステップＳ１０６）。そして、画像処理部１３は、ステップＳ１０６で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ１０７）。 On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S103), the image processing unit 13 sets the scaling coefficient to a standard value (step S106). Then, the image processing unit 13 performs scaling processing on the rear image using the scaling coefficient set in step S106 (step S107).

ステップＳ１０５またはＳ１０７のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ１０８）。後方画像処理装置１０は、以上の処理を繰り返し実行する。 When the scaling process of step S105 or S107 is completed, the display processing unit 14 trims a range corresponding to the screen size of the display device 22 from the rear image after the scaling process, and displays the rear image of the trimmed range on the display device 22. Is displayed (step S108). The rear image processing device 10 repeatedly executes the above processing.

図８および図９は、それぞれ後方画像処理装置１０のハードウェア構成の例を示す図である。図１に示した後方画像処理装置１０の構成要素の各機能は、例えば図８に示す処理回路５０により実現される。すなわち、後方画像処理装置１０は、自車両の後方の風景を撮像した画像である後方画像を取得し、自車両から後方画像に写る後方物体までの距離を取得し、自車両から後方物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、自車両から後方物体までの距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行い、スケーリング処理後の後方画像を表示装置に表示させる、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。 8 and 9 are diagrams showing an example of the hardware configuration of the rear image processing device 10, respectively. Each function of the component of the rear image processing apparatus 10 shown in FIG. 1 is realized by, for example, the processing circuit 50 shown in FIG. That is, the rear image processing device 10 acquires a rear image which is an image of the landscape behind the own vehicle, acquires the distance from the own vehicle to the rear object reflected in the rear image, and from the own vehicle to the rear object. When the distance is larger than the predetermined threshold, the scaling coefficient is set to a constant standard value and the rear image is scaled. When the distance from the own vehicle to the rear object is less than the threshold, the shorter the distance is. A processing circuit 50 is provided for changing the scaling coefficient so that the rear image is reduced, performing the scaling process of the rear image, and displaying the rear image after the scaling process on the display device. The processing circuit 50 may be dedicated hardware, or may be a processor (Central Processing Unit (CPU), processing unit, arithmetic unit, microprocessor, microprocessor, etc.) that executes a program stored in the memory. It may be configured by using a DSP (also called a Digital Signal Processor).

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。後方画像処理装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。 When the processing circuit 50 is dedicated hardware, the processing circuit 50 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array), or a combination of these. The functions of the components of the rear image processing apparatus 10 may be realized by individual processing circuits, or these functions may be collectively realized by one processing circuit.

図９は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における後方画像処理装置１０のハードウェア構成の例を示している。この場合、後方画像処理装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、後方画像処理装置１０は、プロセッサ５１により実行されるときに、自車両の後方の風景を撮像した画像である後方画像を取得する処理と、自車両から後方画像に写る後方物体までの距離を取得する処理と、自車両から後方物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して後方画像のスケーリング処理を行い、自車両から後方物体までの距離が閾値以下のときは当該距離が短くなるほど後方画像が縮小されるようにスケーリング係数を変化させて後方画像のスケーリング処理を行う処理と、スケーリング処理後の後方画像を表示装置に表示させる処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、後方画像処理装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。 FIG. 9 shows an example of the hardware configuration of the rear image processing apparatus 10 when the processing circuit 50 is configured by using the processor 51 that executes the program. In this case, the functions of the components of the rear image processing device 10 are realized by software (software, firmware, or a combination of software and firmware). The software or the like is described as a program and stored in the memory 52. The processor 51 realizes the functions of each part by reading and executing the program stored in the memory 52. That is, when executed by the processor 51, the rear image processing device 10 acquires a rear image which is an image of the scenery behind the own vehicle, and the distance from the own vehicle to the rear object reflected in the rear image. And when the distance from the own vehicle to the rear object is larger than a predetermined threshold, the scaling coefficient is set to a certain standard value and the rear image is scaled, and from the own vehicle to the rear object. When the distance is less than the threshold value, a process of scaling the rear image by changing the scaling coefficient so that the rear image is reduced as the distance becomes shorter, and a process of displaying the rear image after the scaling process on the display device. And a memory 52 for storing a program to be executed as a result. In other words, it can be said that this program causes the computer to execute the procedure and method of operation of the components of the rear image processing apparatus 10.

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。 Here, the memory 52 is a non-volatile or non-volatile memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), and an EPROM (Electrically Erasable Programmable Read Only Memory). It is a volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc) and its drive device, etc., or any storage medium used in the future. You may.

以上、後方画像処理装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、後方画像処理装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。 The configuration in which the functions of the components of the rear image processing device 10 are realized by either hardware or software has been described above. However, the present invention is not limited to this, and a configuration may be obtained in which a part of the components of the rear image processing device 10 is realized by dedicated hardware and another part of the components is realized by software or the like. For example, for some components, the function is realized by the processing circuit 50 as dedicated hardware, and for some other components, the processing circuit 50 as the processor 51 is a program stored in the memory 52. It is possible to realize the function by reading and executing it.

以上のように、後方画像処理装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。 As described above, the rear image processing device 10 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.

＜実施の形態２＞
実施の形態１では、自車両から後方物体までの距離が閾値以下のとき、後方画像を縮小するスケーリング処理を行い、表示装置２２に表示される後方物体の大きさ（図６参照）を、リアビューミラー（物理ミラー）に映る後方物体の大きさ（図４参照）と同等にすることで、両者の距離感の差を抑制した。<Embodiment 2>
In the first embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the scaling process for reducing the rear image is performed, and the size of the rear object displayed on the display device 22 (see FIG. 6) is rearviewed. By making the size of the rear object reflected on the mirror (physical mirror) the same (see FIG. 4), the difference in the sense of distance between the two was suppressed.

しかし、実施の形態１では、スケーリング係数が、後方画像の全体にわたって均一な値に設定されており、後方物体の背景の画像も後方物体と同じように縮小されるため、表示装置２２に表示される後方画像の視野と、物理ミラーの視野との間に差が生じる。その結果、背景の地物に対する後方物体の相対的な大きさを把握し難くなる。実施の形態２では、この問題を解決できる後方画像処理装置１０を示す。 However, in the first embodiment, the scaling coefficient is set to a uniform value over the entire rear image, and the background image of the rear object is also reduced in the same manner as the rear object, so that the image is displayed on the display device 22. There is a difference between the field of view of the rear image and the field of view of the physical mirror. As a result, it becomes difficult to grasp the relative size of the rear object with respect to the background feature. In the second embodiment, a rear image processing device 10 capable of solving this problem is shown.

実施の形態２の電子ミラーシステムの構成は、図１と同様である。ただし、実施の形態２では、画像処理部１３は、スケーリング係数を後方画像内の位置ごとに設定することができる。 The configuration of the electronic mirror system of the second embodiment is the same as that of FIG. However, in the second embodiment, the image processing unit 13 can set the scaling coefficient for each position in the rear image.

自車両から後方物体までの距離が閾値よりも大きいとき、画像処理部１３は、実施の形態１と同様に、スケーリング係数を、後方画像の全体にわたって一律に、標準値に設定する。一方、自車両から後方物体までの距離が閾値以下のときには、画像処理部１３は、後方画像の中央部分では、スケーリング係数を実施の形態１（図２）と同様に自車両から後方物体までの距離に応じて変化させるが、後方画像の中央以外の部分では、図１０のように、後方画像の中央から外側へ向けてスケーリング係数を徐々に大きくし、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。 When the distance from the own vehicle to the rear object is larger than the threshold value, the image processing unit 13 uniformly sets the scaling coefficient to a standard value over the entire rear image, as in the first embodiment. On the other hand, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the image processing unit 13 sets the scaling coefficient in the central portion of the rear image from the own vehicle to the rear object as in the first embodiment (FIG. 2). It changes according to the distance, but in the part other than the center of the rear image, as shown in FIG. 10, the scaling coefficient is gradually increased from the center of the rear image to the outside, and the scaling coefficient is increased as the position is farther from the center of the rear image. Is set to a value close to the standard value.

すなわち、実施の形態２では、自車両から後方物体までの距離が閾値以下の場合、図１１に示すように、スケーリング係数（ＳＦ）は、後方画像の中央部分では標準値よりも小さく、後方画像の外周部分で標準値に近い値となる。また、図１１から分かるように、スケーリング係数は、後方画像の特定の位置で大きく変化する。つまり、スケーリング係数は、後方画像の中央からの距離に対して非線形に変化する。以下、後方画像上で非線形に変化するスケーリング係数を用いて行われるスケーリング処理を「非線形スケーリング処理」という。 That is, in the second embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the scaling coefficient (SF) is smaller than the standard value in the central portion of the rear image as shown in FIG. The value is close to the standard value at the outer peripheral part of. Further, as can be seen from FIG. 11, the scaling coefficient changes significantly at a specific position in the rear image. That is, the scaling factor changes non-linearly with respect to the distance from the center of the rear image. Hereinafter, the scaling process performed by using the scaling coefficient that changes non-linearly on the rear image is referred to as "non-linear scaling process".

例えば、図５に示した後方画像に対し、図１１のようなスケーリング係数を用いた非線形スケーリング処理を行うと、非線形スケーリング処理後の後方画像は図１２のようになる。このような非線形スケーリング処理では、後方画像の中央部に映る後方物体の画像が縮小されるため、非線形スケーリング処理後の後方画像に映る後方物体の距離感は物理ミラーの距離感と同等になる。さらに、後方画像の外周部に映る背景の画像のスケーリング係数は標準値に近いため、背景画像の縮小が抑えられ、非線形スケーリング処理後の後方画像の視野は、物理ミラーの視野と同等になる。その結果、実施の形態１と比較して、表示装置２２に表示される後方画像において、背景の地物に対する後方物体の相対的な大きさを把握し易くなり、上記の問題が解決される。 For example, when the non-linear scaling process using the scaling coefficient as shown in FIG. 11 is performed on the rear image shown in FIG. 5, the rear image after the non-linear scaling process becomes as shown in FIG. In such a non-linear scaling process, the image of the rear object reflected in the central portion of the rear image is reduced, so that the sense of distance of the rear object reflected in the rear image after the nonlinear scaling process becomes equivalent to the sense of distance of the physical mirror. Further, since the scaling coefficient of the background image reflected on the outer peripheral portion of the rear image is close to the standard value, the reduction of the background image is suppressed, and the field of view of the rear image after the nonlinear scaling process becomes equivalent to the field of view of the physical mirror. As a result, as compared with the first embodiment, in the rear image displayed on the display device 22, it becomes easier to grasp the relative size of the rear object with respect to the background feature, and the above problem is solved.

図１３は、実施の形態２に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図１３を参照しつつ、実施の形態２に係る後方画像処理装置１０の動作を説明する。 FIG. 13 is a flowchart showing the operation of the rear image processing device 10 according to the second embodiment. Hereinafter, the operation of the rear image processing device 10 according to the second embodiment will be described with reference to FIG.

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ２０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ２０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ２０３）。 When the rear image processing device 10 is activated, the rear image acquisition unit 11 first acquires the rear image captured by the rear image capturing device 21 (step S201). Next, the distance acquisition unit 12 acquires the distance from the own vehicle measured by the distance measurement sensor 23 to the rear object reflected in the rear image (step S202). Then, the image processing unit 13 confirms whether or not the distance from the own vehicle to the rear object is equal to or less than a predetermined threshold value (step S203).

自車両から後方物体までの距離が閾値以下であれば（ステップＳ２０３でＹＥＳ）、画像処理部１３は、後方画像の中央のスケーリング係数を当該距離に応じた値に設定する（ステップＳ２０４）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方画像の中央のスケーリング係数を変化させる。 If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S203), the image processing unit 13 sets the scaling coefficient at the center of the rear image to a value corresponding to the distance (step S204). Specifically, the image processing unit 13 changes the scaling coefficient at the center of the rear image according to the distance so that the rear image is reduced as the distance from the own vehicle to the rear object becomes shorter.

続いて、画像処理部１３は、後方画像の各位置のスケーリング係数を設定する（ステップＳ２０５）。具体的には、画像処理部１３は、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。 Subsequently, the image processing unit 13 sets the scaling coefficient at each position of the rear image (step S205). Specifically, the image processing unit 13 sets the scaling coefficient to a value closer to the standard value as the position is farther from the center of the rear image.

さらに、画像処理部１３は、ステップＳ２０４，Ｓ２０５で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する（ステップＳ２０６）。 Further, the image processing unit 13 performs nonlinear scaling processing on the rear image using the scaling coefficients set in steps S204 and S205 (step S206).

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ２０３でＮＯ）、画像処理部１３は、後方画像全体のスケーリング係数を標準値に設定する（ステップＳ２０７）。そして、画像処理部１３は、ステップＳ２０７で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ２０８）。 On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S203), the image processing unit 13 sets the scaling coefficient of the entire rear image to a standard value (step S207). Then, the image processing unit 13 performs scaling processing on the rear image using the scaling coefficient set in step S207 (step S208).

ステップＳ２０６またはＳ２０８のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ２０９）。後方画像処理装置１０は、以上の処理を繰り返し実行する。 When the scaling process of step S206 or S208 is completed, the display processing unit 14 trims a range corresponding to the screen size of the display device 22 from the rear image after the scaling process, and displays the rear image of the trimmed range on the display device 22. Is displayed (step S209). The rear image processing device 10 repeatedly executes the above processing.

＜実施の形態３＞
図１１に示したように、実施の形態２において、後方画像のスケーリング係数の変化の傾きは、後方画像の特定の位置で大きくなる。また、自車両から後方物体までの距離が極めて近くなると、後方画像に写る後方物体のサイズは非常に大きいものとなる。このとき、スケーリング係数の変化の傾きが大きい位置が、後方物体の画像の内側になると、図１４のように後方物体の画像に歪みが生じるだけで、後方物体の画像が適切に縮小されなくなる。実施の形態３では、この問題を解決できる後方画像処理装置１０を示す。<Embodiment 3>
As shown in FIG. 11, in the second embodiment, the slope of the change in the scaling coefficient of the rear image becomes large at a specific position of the rear image. Further, when the distance from the own vehicle to the rear object becomes extremely short, the size of the rear object reflected in the rear image becomes very large. At this time, if the position where the slope of the change of the scaling coefficient is large is inside the image of the rear object, only the image of the rear object is distorted as shown in FIG. 14, and the image of the rear object is not appropriately reduced. In the third embodiment, a rear image processing device 10 capable of solving this problem is shown.

図１５は、実施の形態３に係る電子ミラーシステムの構成を示すブロック図である。図１５の電子ミラーシステムの構成は、図１の構成に対し、後方画像処理装置１０に物体画像抽出部１５を追加したものである。物体画像抽出部１５は、後方画像取得部１１が取得した後方画像を解析して、後方画像から後方物体の画像（以下「後方物体画像」という）を抽出する。 FIG. 15 is a block diagram showing the configuration of the electronic mirror system according to the third embodiment. The configuration of the electronic mirror system of FIG. 15 is the configuration of FIG. 1 in which an object image extraction unit 15 is added to the rear image processing device 10. The object image extraction unit 15 analyzes the rear image acquired by the rear image acquisition unit 11 and extracts an image of the rear object (hereinafter referred to as “rear object image”) from the rear image.

また、実施の形態３では、画像処理部１３は、自車両から後方物体までの距離が閾値以下のとき、図１６のように、スケーリング係数の変化の傾きが大きくなる位置を、物体画像抽出部１５が抽出した後方物体画像のサイズに応じて変化させる。具体的には、画像処理部１３は、スケーリング係数の変化の傾きが大きくなる位置を、後方物体画像の周辺部に設定する。すなわち、図１７のように後方物体画像のサイズが小さいときは、スケーリング係数の変化の傾きが大きくなる位置は、後方画像の中央に近くなり、図１８のように後方物体画像のサイズが大きいときは、スケーリング係数の変化の傾きが大きくなる位置は、後方画像の中央から遠ざかる。 Further, in the third embodiment, the image processing unit 13 determines a position where the slope of the change in the scaling coefficient becomes large as shown in FIG. 16 when the distance from the own vehicle to the rear object is equal to or less than the threshold value. It is changed according to the size of the rear object image extracted by 15. Specifically, the image processing unit 13 sets a position where the slope of the change in the scaling coefficient becomes large in the peripheral portion of the rear object image. That is, when the size of the rear object image is small as shown in FIG. 17, the position where the slope of the change in the scaling coefficient is large is close to the center of the rear image, and when the size of the rear object image is large as shown in FIG. The position where the slope of the change in the scaling coefficient becomes large moves away from the center of the rear image.

実施の形態３によれば、スケーリング係数の変化の傾きが大きい位置が、後方物体の画像の内側になることが防止されるため、後方画像に写る後方物体のサイズは非常に大きくなった場合でも、後方物体の画像が適切に縮小されるようになる。 According to the third embodiment, since the position where the slope of the change of the scaling coefficient is large is prevented from being inside the image of the rear object, even when the size of the rear object reflected in the rear image becomes very large. , The image of the rear object will be reduced appropriately.

図１９は、実施の形態３に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図１９を参照しつつ、実施の形態３に係る後方画像処理装置１０の動作を説明する。 FIG. 19 is a flowchart showing the operation of the rear image processing device 10 according to the third embodiment. Hereinafter, the operation of the rear image processing apparatus 10 according to the third embodiment will be described with reference to FIG.

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ３０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ３０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ３０３）。 When the rear image processing device 10 is activated, the rear image acquisition unit 11 first acquires the rear image captured by the rear image capturing device 21 (step S301). Next, the distance acquisition unit 12 acquires the distance from the own vehicle measured by the distance measuring sensor 23 to the rear object reflected in the rear image (step S302). Then, the image processing unit 13 confirms whether or not the distance from the own vehicle to the rear object is equal to or less than a predetermined threshold value (step S303).

自車両から後方物体までの距離が閾値以下であれば（ステップＳ３０３でＹＥＳ）、画像処理部１３は、後方画像の中央のスケーリング係数を当該距離に応じた値に設定する（ステップＳ３０４）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方画像の中央のスケーリング係数を変化させる。 If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S303), the image processing unit 13 sets the scaling coefficient at the center of the rear image to a value corresponding to the distance (step S304). Specifically, the image processing unit 13 changes the scaling coefficient at the center of the rear image according to the distance so that the rear image is reduced as the distance from the own vehicle to the rear object becomes shorter.

続いて、物体画像抽出部１５は、後方画像から後方物体画像を抽出する（ステップＳ３０５）。画像処理部１３は、物体画像抽出部１５が抽出した後方物体画像のサイズを確認し、そのサイズに応じて、スケーリング係数の変化の傾きを大きくする位置を設定する（ステップＳ３０６）。具体的には、画像処理部１３は、スケーリング係数の変化の傾きを大きくする位置を、後方物体画像の周辺部（後方物体画像の外側）に設定する。 Subsequently, the object image extraction unit 15 extracts the rear object image from the rear image (step S305). The image processing unit 13 confirms the size of the rear object image extracted by the object image extraction unit 15, and sets a position for increasing the slope of the change in the scaling coefficient according to the size (step S306). Specifically, the image processing unit 13 sets a position for increasing the slope of the change in the scaling coefficient at the peripheral portion of the rear object image (outside the rear object image).

さらに、画像処理部１３は、ステップＳ３０４，Ｓ３０６の処理結果に基づいて、後方画像の各位置のスケーリング係数を設定する（ステップＳ３０７）。具体的には、画像処理部１３は、後方画像の中央から遠い位置ほどスケーリング係数を標準値に近い値に設定する。そして、画像処理部１３は、ステップＳ３０４，Ｓ３０７で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する（ステップＳ３０８）。 Further, the image processing unit 13 sets the scaling coefficient of each position of the rear image based on the processing results of steps S304 and S306 (step S307). Specifically, the image processing unit 13 sets the scaling coefficient to a value closer to the standard value as the position is farther from the center of the rear image. Then, the image processing unit 13 performs the non-linear scaling process on the rear image using the scaling coefficients set in steps S304 and S307 (step S308).

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ３０３でＮＯ）、画像処理部１３は、後方画像全体のスケーリング係数を標準値に設定する（ステップＳ３０９）。そして、画像処理部１３は、ステップＳ３０９で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ３１０）。 On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S303), the image processing unit 13 sets the scaling coefficient of the entire rear image to a standard value (step S309). Then, the image processing unit 13 performs scaling processing on the rear image using the scaling coefficient set in step S309 (step S310).

ステップＳ３０８またはＳ３１０のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ３１１）。後方画像処理装置１０は、以上の処理を繰り返し実行する。 When the scaling process of step S308 or S310 is completed, the display processing unit 14 trims a range corresponding to the screen size of the display device 22 from the rear image after the scaling process, and displays the rear image of the trimmed range on the display device 22. Is displayed (step S311). The rear image processing device 10 repeatedly executes the above processing.

＜実施の形態４＞
実施の形態２では、後方物体が後方画像の中央付近に映り込んでいることを前提としていたが、例えば図２０のように、後方物体が後方画像の中央からずれた位置に映り込むこともある。図２０のような後方画像に、実施の形態２をそのまま適用すると、図２１のように後方物体の画像の一部分が縮小されることになる。実施の形態４では、この問題を解決できる後方画像処理装置１０を示す。<Embodiment 4>
In the second embodiment, it is assumed that the rear object is reflected near the center of the rear image, but as shown in FIG. 20, the rear object may be reflected at a position deviated from the center of the rear image. .. If the second embodiment is applied to the rear image as shown in FIG. 20 as it is, a part of the image of the rear object is reduced as shown in FIG. In the fourth embodiment, a rear image processing device 10 capable of solving this problem is shown.

実施の形態４に係る電子ミラーシステムの構成は図１５と同様である。すなわち、実施の形態４の後方画像処理装置１０は、後方画像取得部１１が取得した後方画像から後方物体画像を抽出する物体画像抽出部１５を備えている。 The configuration of the electronic mirror system according to the fourth embodiment is the same as that in FIG. That is, the rear image processing device 10 of the fourth embodiment includes an object image extraction unit 15 that extracts a rear object image from the rear image acquired by the rear image acquisition unit 11.

また、実施の形態４では、画像処理部１３は、自車両から後方物体までの距離が閾値以下のとき、後方物体画像の中央部分では、スケーリング係数を実施の形態１（図２）と同様に自車両から後方物体までの距離に応じて変化させるが、後方画像の中央以外の部分では、図２２のように、後方画像内の後方物体画像の中央から外側へ向けてスケーリング係数を徐々に大きくし、後方物体画像から遠い位置ほどスケーリング係数を標準値に近い値に設定する。このとき画像処理部１３は、スケーリング係数を、後方物体画像からの距離に対して非線形に変化させる。 Further, in the fourth embodiment, when the distance from the own vehicle to the rear object is equal to or less than the threshold value, the image processing unit 13 sets the scaling coefficient in the central portion of the rear object image in the same manner as in the first embodiment (FIG. 2). It is changed according to the distance from the own vehicle to the rear object, but in the part other than the center of the rear image, the scaling coefficient is gradually increased from the center to the outside of the rear object image in the rear image as shown in FIG. Then, the farther the position is from the rear object image, the closer the scaling coefficient is set to the standard value. At this time, the image processing unit 13 changes the scaling coefficient non-linearly with respect to the distance from the rear object image.

実施の形態４では、スケーリング係数の変化の傾きが大きくなる位置は、図２３および図２４に示すように、後方物体画像の位置に応じて変化する。例えば、図２３のように後方物体画像が後方画像の左下部分に位置する場合、スケーリング係数の変化の傾きが大きくなる位置は、後方物体画像が後方画像の中央に位置する場合（図１１）に比べて左下へ移動する。また、図２４のように後方物体画像が後方画像の右上部分に位置する場合、スケーリング係数の変化の傾きが大きくなる位置は、後方物体画像が後方画像の中央に位置する場合（図１１）に比べて右上へ移動する。 In the fourth embodiment, the position where the slope of the change in the scaling coefficient becomes large changes according to the position of the rear object image, as shown in FIGS. 23 and 24. For example, when the rear object image is located in the lower left portion of the rear image as shown in FIG. 23, the position where the slope of the change in the scaling coefficient becomes large is when the rear object image is located in the center of the rear image (FIG. 11). Move to the lower left in comparison. Further, when the rear object image is located in the upper right portion of the rear image as shown in FIG. 24, the position where the slope of the change in the scaling coefficient becomes large is when the rear object image is located in the center of the rear image (FIG. 11). Compare and move to the upper right.

実施の形態４によれば、スケーリング係数の変化の傾きが大きい位置が、後方画像における後方物体画像の位置に合わせて移動するため、図２０のように後方物体が後方画像の中央からずれた位置に映り込む場合でも、図２５のように後方物体の画像が適切に縮小されるようになる。 According to the fourth embodiment, the position where the slope of the change of the scaling coefficient is large moves according to the position of the rear object image in the rear image, so that the rear object is deviated from the center of the rear image as shown in FIG. Even when the image is reflected in the image, the image of the rear object is appropriately reduced as shown in FIG.

図２６は、実施の形態４に係る後方画像処理装置１０の動作を示すフローチャートである。以下、図２６を参照しつつ、実施の形態４に係る後方画像処理装置１０の動作を説明する。 FIG. 26 is a flowchart showing the operation of the rear image processing device 10 according to the fourth embodiment. Hereinafter, the operation of the rear image processing device 10 according to the fourth embodiment will be described with reference to FIG. 26.

後方画像処理装置１０が起動すると、まず、後方画像取得部１１が、後方画像撮影装置２１によって撮影された後方画像を取得する（ステップＳ４０１）。次に、距離取得部１２が、測距センサ２３によって測定された自車両から後方画像に写る後方物体までの距離を取得する（ステップＳ４０２）。そして、画像処理部１３は、自車両から後方物体までの距離が予め定められた閾値以下である否かを確認する（ステップＳ４０３）。 When the rear image processing device 10 is activated, the rear image acquisition unit 11 first acquires the rear image captured by the rear image capturing device 21 (step S401). Next, the distance acquisition unit 12 acquires the distance from the own vehicle measured by the distance measuring sensor 23 to the rear object reflected in the rear image (step S402). Then, the image processing unit 13 confirms whether or not the distance from the own vehicle to the rear object is equal to or less than a predetermined threshold value (step S403).

自車両から後方物体までの距離が閾値以下であれば（ステップＳ４０３でＹＥＳ）、物体画像抽出部１５が、後方画像から後方物体画像を抽出する（ステップＳ４０４）。そして、画像処理部１３は、物体画像抽出部１５が抽出した後方物体画像の位置を確認し、後方画像における後方物体画像の中央のスケーリング係数を当該距離に応じた値に設定する（ステップＳ４０５）。具体的には、画像処理部１３は、自車両から後方物体までの距離が短くなるほど後方画像が縮小されるように、当該距離に応じて後方物体画像の中央のスケーリング係数を変化させる。 If the distance from the own vehicle to the rear object is equal to or less than the threshold value (YES in step S403), the object image extraction unit 15 extracts the rear object image from the rear image (step S404). Then, the image processing unit 13 confirms the position of the rear object image extracted by the object image extraction unit 15, and sets the scaling coefficient at the center of the rear object image in the rear image to a value corresponding to the distance (step S405). .. Specifically, the image processing unit 13 changes the scaling coefficient at the center of the rear object image according to the distance so that the rear image is reduced as the distance from the own vehicle to the rear object becomes shorter.

また、画像処理部１３は、後方画像における後方物体画像の位置に応じて、スケーリング係数の変化の傾きを大きくする位置を設定する（ステップＳ４０６）。具体的には、画像処理部１３は、スケーリング係数の変化の傾きを大きくする位置を、後方物体画像の周辺部に設定する。 Further, the image processing unit 13 sets a position for increasing the slope of the change in the scaling coefficient according to the position of the rear object image in the rear image (step S406). Specifically, the image processing unit 13 sets a position for increasing the slope of the change in the scaling coefficient in the peripheral portion of the rear object image.

さらに、画像処理部１３は、ステップＳ４０５，Ｓ４０６の処理結果に基づいて、後方画像の各位置のスケーリング係数を設定する（ステップＳ４０７）。具体的には、画像処理部１３は、後方物体画像から遠い位置ほどスケーリング係数を標準値に近い値に設定する。そして、画像処理部１３は、ステップＳ４０５，Ｓ４０７で設定したスケーリング係数を用いて、後方画像に対する非線形スケーリング処理を実施する（ステップＳ４０８）。 Further, the image processing unit 13 sets the scaling coefficient of each position of the rear image based on the processing results of steps S405 and S406 (step S407). Specifically, the image processing unit 13 sets the scaling coefficient to a value closer to the standard value as the position is farther from the rear object image. Then, the image processing unit 13 performs a non-linear scaling process on the rear image using the scaling coefficients set in steps S405 and S407 (step S408).

一方、自車両から後方物体までの距離が閾値よりも大きければ（ステップＳ４０３でＮＯ）、画像処理部１３は、後方画像全体のスケーリング係数を標準値に設定する（ステップＳ４０９）。そして、画像処理部１３は、ステップＳ４０９で設定したスケーリング係数を用いて、後方画像に対するスケーリング処理を実施する（ステップＳ４１０）。 On the other hand, if the distance from the own vehicle to the rear object is larger than the threshold value (NO in step S403), the image processing unit 13 sets the scaling coefficient of the entire rear image to a standard value (step S409). Then, the image processing unit 13 performs scaling processing on the rear image using the scaling coefficient set in step S409 (step S410).

ステップＳ４０８またはＳ４１０のスケーリング処理が完了すると、表示処理部１４が、スケーリング処理後の後方画像から、表示装置２２の画面のサイズに応じた範囲をトリミングし、トリミングした範囲の後方画像を表示装置２２に表示させる（ステップＳ４１１）。後方画像処理装置１０は、以上の処理を繰り返し実行する。 When the scaling process of step S408 or S410 is completed, the display processing unit 14 trims a range corresponding to the screen size of the display device 22 from the rear image after the scaling process, and displays the rear image of the trimmed range on the display device 22. Is displayed (step S411). The rear image processing device 10 repeatedly executes the above processing.

＜変形例＞
実施の形態１〜４では、後方画像処理装置１０は自車両に搭載されているものとしたが、後方画像処理装置１０に外部のサーバーとの通信手段を設け、後方画像処理装置１０の機能の一部をサーバーが実行してもよい。例えば、非線形スケーリング処理や、後方物体画像の抽出するための画像解析処理など、演算負荷の高い処理を外部のサーバーで行えば、後方画像処理装置１０の演算負荷を削減できる。<Modification example>
In the first to fourth embodiments, the rear image processing device 10 is mounted on the own vehicle, but the rear image processing device 10 is provided with a communication means with an external server to function as a function of the rear image processing device 10. The server may do some. For example, if an external server performs a process having a high calculation load such as a non-linear scaling process and an image analysis process for extracting a rear object image, the calculation load of the rear image processing device 10 can be reduced.

また、実施の形態１〜４において、適切なスケーリング係数は、厳密には、自車両から後方物体までの距離だけでなく、後方物体の実際のサイズにも依存すると考えられる。そのため、後方画像処理装置１０は、後方物体のサイズを認識し、後方物体のサイズを加味してスケーリング係数を設定してもよい。 Further, in the first to fourth embodiments, it is considered that the appropriate scaling coefficient depends not only on the distance from the own vehicle to the rear object but also on the actual size of the rear object. Therefore, the rear image processing device 10 may recognize the size of the rear object and set the scaling coefficient in consideration of the size of the rear object.

また、後方物体が後方車両の場合、画像処理部１３が後方車両の車種を判断し、後方車両の車種から分かるサイズに応じてスケーリング係数を変化させてもよい。この場合、後方画像処理装置１０に、車種ごとのスケーリングテーブルを格納したデータベースを設けてもよい。あるいは、車種ごとのスケーリングテーブルを格納したデータベースを外部のサーバー上に構築し、画像処理部１３が、後方車両の車種に対応するスケーリングテーブルをサーバーから取得できるようにしてもよい。データベースをサーバー上に構築したシステムでは、新たな車種が加わった場合などに、サーバーの管理者がデータベースの更新を行えばよく、後方画像処理装置１０のユーザがデータベースの更新を行う必要が無いため、ユーザにとって利便性の高いシステムとなる。 Further, when the rear object is a rear vehicle, the image processing unit 13 may determine the vehicle type of the rear vehicle and change the scaling coefficient according to the size known from the vehicle type of the rear vehicle. In this case, the rear image processing device 10 may be provided with a database that stores a scaling table for each vehicle type. Alternatively, a database storing a scaling table for each vehicle type may be constructed on an external server so that the image processing unit 13 can acquire the scaling table corresponding to the vehicle type of the vehicle behind from the server. In a system in which the database is built on the server, the server administrator only needs to update the database when a new vehicle model is added, and the user of the rear image processing device 10 does not need to update the database. , It will be a highly convenient system for users.

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。 In the present invention, each embodiment can be freely combined, and each embodiment can be appropriately modified or omitted within the scope of the invention.

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。 Although the present invention has been described in detail, the above description is exemplary in all embodiments and the invention is not limited thereto. It is understood that a myriad of variations not illustrated can be envisioned without departing from the scope of the invention.

１０ 後方画像処理装置、１１ 後方画像取得部、１２ 距離取得部、１３ 画像処理部、１４ 表示処理部、１５ 物体画像抽出部、２１ 後方画像撮影装置、２２ 表示装置、２３ 測距センサ。 10 Rear image processing device, 11 Rear image acquisition unit, 12 Distance acquisition unit, 13 Image processing unit, 14 Display processing unit, 15 Object image extraction unit, 21 Rear image capturing device, 22 Display device, 23 Distance measuring sensor.

Claims (8)

車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、
前記車両から前記後方画像に写る物体までの距離を取得する距離取得部と、
前記車両から前記物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して前記後方画像のスケーリング処理を行い、前記距離が前記閾値以下のときは前記距離が短くなるほど前記後方画像が縮小されるように前記スケーリング係数を変化させて前記後方画像の前記スケーリング処理を行う画像処理部と、
前記スケーリング処理後の前記後方画像を表示装置に表示させる表示処理部と、
を備え、
前記画像処理部は、前記スケーリング係数を前記後方画像内の位置ごとに設定し、前記後方画像の中央から遠い位置ほど前記スケーリング係数を前記標準値に近い値に設定する
後方画像処理装置。 A rear image acquisition unit that acquires a rear image, which is an image of the scenery behind the vehicle,
A distance acquisition unit that acquires the distance from the vehicle to the object shown in the rear image,
When the distance from the vehicle to the object is larger than a predetermined threshold value, the scaling coefficient is set to a constant standard value and the rear image scaling process is performed. When the distance is equal to or less than the threshold value, the distance An image processing unit that performs the scaling process of the rear image by changing the scaling coefficient so that the rear image is reduced as the value becomes shorter.
A display processing unit that displays the rear image after the scaling process on the display device,
Equipped with a,
The image processing unit sets the scaling coefficient for each position in the rear image, and sets the scaling coefficient to a value closer to the standard value as the position is farther from the center of the rear image. apparatus. 前記画像処理部は、前記スケーリング係数を前記後方画像の中央からの距離に対して非線形に変化させる
請求項１に記載の後方画像処理装置。 The image processing unit changes the scaling coefficient non-linearly with respect to the distance from the center of the rear image.
The rear image processing apparatus according to claim 1. 前記後方画像から前記物体の画像である物体画像を抽出する物体画像抽出部をさらに備え、
前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像のサイズに応じて変化させる
請求項２に記載の後方画像処理装置。 An object image extraction unit for extracting an object image which is an image of the object from the rear image is further provided.
The image processing unit changes the position where the slope of the change in the scaling coefficient becomes large according to the size of the object image.
The rear image processing apparatus according to claim 2. 前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像の周辺部に設定する
請求項３に記載の後方画像処理装置。 The image processing unit sets a position where the slope of the change in the scaling coefficient becomes large in the peripheral portion of the object image.
The rear image processing apparatus according to claim 3. 車両の後方の風景を撮像した画像である後方画像を取得する後方画像取得部と、
前記車両から前記後方画像に写る物体までの距離を取得する距離取得部と、
前記車両から前記物体までの距離が予め定められた閾値よりも大きいときはスケーリング係数を一定の標準値に設定して前記後方画像のスケーリング処理を行い、前記距離が前記閾値以下のときは前記距離が短くなるほど前記後方画像が縮小されるように前記スケーリング係数を変化させて前記後方画像の前記スケーリング処理を行う画像処理部と、
前記スケーリング処理後の前記後方画像を表示装置に表示させる表示処理部と、
前記後方画像から前記物体の画像である物体画像を抽出する物体画像抽出部と、
を備え、
前記画像処理部は、前記スケーリング係数を前記後方画像内の位置ごとに設定し、前記物体画像から遠い位置ほど前記スケーリング係数を前記標準値に近い値に設定する
後方画像処理装置。 A rear image acquisition unit that acquires a rear image that is an image of the scenery behind the vehicle,
A distance acquisition unit that acquires the distance from the vehicle to the object shown in the rear image,
When the distance from the vehicle to the object is larger than a predetermined threshold value, the scaling coefficient is set to a constant standard value and the rear image scaling process is performed. When the distance is equal to or less than the threshold value, the distance An image processing unit that performs the scaling process of the rear image by changing the scaling coefficient so that the rear image is reduced as the value becomes shorter.
A display processing unit that displays the rear image after the scaling process on the display device,
An object image extraction unit that extracts an object image that is an image of the object from the rear image,
Equipped with a,
The image processing unit sets the scaling coefficient for each position in the rear image, and sets the scaling coefficient to a value closer to the standard value as the position is farther from the object image . 前記画像処理部は、前記スケーリング係数を前記物体画像からの距離に対して非線形に変化させる
請求項５に記載の後方画像処理装置。 The image processing unit changes the scaling coefficient non-linearly with respect to the distance from the object image.
The rear image processing apparatus according to claim 5. 前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像の位置に応じて変化させる
請求項６に記載の後方画像処理装置。 The image processing unit changes the position where the slope of the change of the scaling coefficient becomes large according to the position of the object image.
The rear image processing apparatus according to claim 6. 前記画像処理部は、前記スケーリング係数の変化の傾きが大きくなる位置を前記物体画像の周辺部に設定する
請求項７に記載の後方画像処理装置。 The image processing unit sets a position where the slope of the change in the scaling coefficient becomes large in the peripheral portion of the object image.
The rear image processing apparatus according to claim 7.
JP2020551694A 2018-10-19 2018-10-19 Rear image processing device Active JP6833128B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/039010 WO2020079831A1 (en) 2018-10-19 2018-10-19 Rear image processing device and rear image display method

Publications (2)

Publication Number Publication Date
JP6833128B2 true JP6833128B2 (en) 2021-02-24
JPWO2020079831A1 JPWO2020079831A1 (en) 2021-03-18

Family

ID=70283247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551694A Active JP6833128B2 (en) 2018-10-19 2018-10-19 Rear image processing device

Country Status (2)

Country Link
JP (1) JP6833128B2 (en)
WO (1) WO2020079831A1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5320970B2 (en) * 2008-10-15 2013-10-23 日産自動車株式会社 Vehicle display device and display method
JP6384188B2 (en) * 2014-08-12 2018-09-05 ソニー株式会社 Vehicle display device, display control method, and rear monitoring system
JPWO2016042713A1 (en) * 2014-09-17 2017-06-29 パナソニックＩｐマネジメント株式会社 Electronic mirror device
JP6311646B2 (en) * 2015-05-20 2018-04-18 株式会社デンソー Image processing apparatus, electronic mirror system, and image processing method
JP6683451B2 (en) * 2015-10-09 2020-04-22 株式会社東海理化電機製作所 Vehicle visibility device
JP2018019176A (en) * 2016-07-26 2018-02-01 株式会社Ｊｖｃケンウッド Display controller for vehicle, display system for vehicle, display control method for vehicle and program
JP6433537B2 (en) * 2016-12-22 2018-12-05 カルソニックカンセイ株式会社 Image display control device

Also Published As

Publication number Publication date
JPWO2020079831A1 (en) 2021-03-18
WO2020079831A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN110532985B (en) Target detection method, device and system
CN105227838B (en) A kind of image processing method and mobile terminal
US10061182B2 (en) Systems and methods for autofocus trigger
US8184196B2 (en) System and method to generate depth data using edge detection
JP4006415B2 (en) Image capturing apparatus, control method therefor, and control program
TW202110387A (en) Image processing method, electronic device and computer-readable storage medium
WO2022227405A1 (en) Road distress detection method and apparatus, electronic device, and storage medium
US20150288870A1 (en) System and method for multi-focus imaging
JP2007020167A (en) Method of deblurring image captured by imaging apparatus provided with image sensor array for capturing image during exposure and at least one motion sensor, imaging apparatus, method of deblurring image, and computer-readable medium
CN108668086B (en) Automatic focusing method and device, storage medium and terminal
WO2016115805A1 (en) Shooting method, shooting device, mobile terminal and computer storage medium
JP2011508268A (en) Method and apparatus with depth map generation
US11017552B2 (en) Measurement method and apparatus
KR101641175B1 (en) Method, apparatus, terminal, program and recording medium for image retargeting
CN104914979A (en) Display control method and terminal
CN112017137B (en) Image processing method, device, electronic equipment and computer readable storage medium
US9621797B2 (en) Image processing apparatus, control method for same, and program
WO2016184152A1 (en) Measuring method and apparatus, mobile terminal and storage medium
JP6833128B2 (en) Rear image processing device
JP6448457B2 (en) Imaging direction variation detection apparatus and imaging direction variation detection method
US9232132B1 (en) Light field image processing
TWI542891B (en) Method for optical distance measurement
WO2021065176A1 (en) Processing device, electronic device, processing method, and program
US11563890B2 (en) Photographing system and photographing system control method
CN105824027B (en) Optical ranging method and optical ranging system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201130

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210202

R150 Certificate of patent or registration of utility model

Ref document number: 6833128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150