JP2018076019A - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP2018076019A
JP2018076019A JP2016220464A JP2016220464A JP2018076019A JP 2018076019 A JP2018076019 A JP 2018076019A JP 2016220464 A JP2016220464 A JP 2016220464A JP 2016220464 A JP2016220464 A JP 2016220464A JP 2018076019 A JP2018076019 A JP 2018076019A
Authority
JP
Japan
Prior art keywords
image
peripheral
generation unit
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016220464A
Other languages
Japanese (ja)
Inventor
幸真 永畑
Yukima Eihata
幸真 永畑
浩一郎 本多
Koichiro Honda
浩一郎 本多
亘 野木森
Wataru Nogimori
亘 野木森
紀子 足立
Noriko Adachi
紀子 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2016220464A priority Critical patent/JP2018076019A/en
Publication of JP2018076019A publication Critical patent/JP2018076019A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device which can reduce the sight line movement of a driver.SOLUTION: An image processing device includes: a detection unit which detects the direction of the face or sight line of a driver of a movable body or the travel direction of the movable body indicated by a direction indication member; and an image generation unit which changes the display mode of a peripheral image in a region to which the face or the sight line is directed or the peripheral image on the travel direction side indicated by the direction indication member out of the peripheral images including the image on the periphery on the rear side of the movable body displayed on the display device provided on the front side with respect to a steering part changing the travel direction of the movable body and displaying the images.SELECTED DRAWING: Figure 3

Description

本発明は、画像処理装置に関する。   The present invention relates to an image processing apparatus.

車両等の移動体の周辺の画像を移動体に設けられた装備に表示させる技術が知られている。   A technique for displaying an image around a moving body such as a vehicle on equipment provided in the moving body is known.

特開２０１０−１６５０８７号公報JP 2010-165087 A

しかしながら、移動体の後方の周辺の画像を見る場合、運転者の視線移動が大きいといった課題がある。   However, there is a problem that the driver's line-of-sight movement is large when viewing an image of the surrounding area behind the moving body.

本発明は、上記に鑑みてなされたものであって、車両の後方の周辺の画像を見る場合において、運転者の視線移動を小さくできる画像処理装置を提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus that can reduce the movement of the driver's line of sight when viewing an image of the surrounding area behind the vehicle.

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、移動体の運転者の顔または視線の向き、または、方向指示部材が指示する前記移動体の進行方向を検出する検出部と、前記移動体の進行方向を変更する操舵部よりも前に設けられて画像を表示する表示装置に表示されている前記移動体の後方の周辺の画像を含む周辺画像のうち、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記方向指示部材が指示する前記進行方向側の前記周辺画像の表示形態を変更する画像生成部と、を備える。   In order to solve the above-described problems and achieve the object, the image processing apparatus of the present invention detects the face or line-of-sight direction of the driver of the moving object or the traveling direction of the moving object indicated by the direction indicating member. Among the peripheral images including the detection unit that performs the operation and the steering unit that changes the traveling direction of the moving body, the image is displayed on a display device that displays the image and is displayed in the vicinity of the rear of the moving body. An image generation unit that changes a display form of the peripheral image of the area to which the face or the line of sight is directed, or the peripheral image on the traveling direction side indicated by the direction indicating member.

このように、画像処理装置では、画像生成部が、操舵部よりも前に設けられた表示装置に移動体の後方の周辺の画像を含む周辺画像を表示させている。これにより、画像処理装置は、当該周辺画像によって後方を見る際の運手者の視線移動を小さくできる。また、画像生成部が、運転者の視線方向上の周辺画像または移動体の進行方向側の周辺画像の表示形態を変更するので、画像処理装置は、運転手が見ている周辺画像または運転手が進行方向を変える際に見る周辺画像を、見やすく提供できる。   As described above, in the image processing device, the image generation unit displays a peripheral image including a peripheral image behind the moving body on the display device provided before the steering unit. Accordingly, the image processing apparatus can reduce the movement of the line of sight of the operator when looking backward with the peripheral image. In addition, since the image generation unit changes the display form of the peripheral image in the driver's line-of-sight direction or the peripheral image on the traveling direction side of the moving body, the image processing apparatus can display the peripheral image or driver It is possible to provide an easy-to-see peripheral image that is seen when the direction of travel changes.

また、本発明の画像処理装置の前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を拡大して前記表示形態を変更してもよい。   Further, the image generation unit of the image processing device of the present invention enlarges the peripheral image of the region to which the face or the line of sight is directed or the peripheral image on the traveling direction side to change the display form. May be.

このように、画像処理装置は、周辺画像を拡大しているので、移動体の周辺の小さい物体（例えば他の移動体）を含む周辺画像を、運転者により見やすく提供できる。   As described above, since the image processing apparatus enlarges the peripheral image, the peripheral image including a small object (for example, another moving body) around the moving body can be provided more easily to the driver.

また、本発明の画像処理装置の前記画像生成部は、前記周辺画像の拡大に伴って、前記顔または前記視線が向けられていない領域の前記周辺画像または前記進行方向と異なる側の前記周辺画像を、縮小して空いた領域に前記移動体に関する計測値を示す前記計器画像を前記表示装置に表示させてもよい。   In addition, the image generation unit of the image processing apparatus of the present invention, as the peripheral image is enlarged, the peripheral image of the region where the face or the line of sight is not directed or the peripheral image on the side different from the traveling direction. May be displayed on the display device, the instrument image showing the measurement value relating to the moving body in a reduced and free area.

これにより、画像処理装置は、周辺画像とともに、計器画像も見やすくすることができる。   Thereby, the image processing apparatus can make the instrument image easy to see together with the peripheral image.

また、本発明の画像処理装置の前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を明るくして前記表示形態を変更してもよい。   In addition, the image generation unit of the image processing device of the present invention changes the display form by brightening the peripheral image of the area to which the face or the line of sight is directed or the peripheral image on the traveling direction side. May be.

このように、画像処理装置は、周辺画像を明るくすることによって、暗い場所でも運転者により見やすい周辺画像を提供できる。   Thus, the image processing apparatus can provide a peripheral image that is easier to see for the driver even in a dark place by making the peripheral image bright.

図１は、実施形態の車両の車室内のダッシュボード近傍の図である。FIG. 1 is a view of the vicinity of a dashboard in a passenger compartment of a vehicle according to an embodiment. 図２は、車両の制御系を示すブロック図である。FIG. 2 is a block diagram showing a vehicle control system. 図３は、画像処理装置として機能するＥＣＵの機能を説明するブロック図である。FIG. 3 is a block diagram illustrating functions of the ECU that functions as an image processing apparatus. 図４は、制御部が実行する画像処理のフローチャートである。FIG. 4 is a flowchart of image processing executed by the control unit. 図５は、通常状態の表示画像の一例を示す図である。FIG. 5 is a diagram illustrating an example of a display image in a normal state. 図６は、周辺画像を拡大して表示形態を変更した表示画像の例を示す図である。FIG. 6 is a diagram illustrating an example of a display image in which a peripheral image is enlarged and a display form is changed. 図７は、周辺画像を拡大して表示形態を変更した表示画像の他の例を示す図である。FIG. 7 is a diagram illustrating another example of the display image in which the peripheral image is enlarged and the display form is changed. 図８は、周辺画像を明るくして表示形態を変更した表示画像の他の例を示す図である。FIG. 8 is a diagram illustrating another example of the display image in which the peripheral image is brightened and the display form is changed.

以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。   Common constituent elements such as the following exemplary embodiments are denoted by common reference numerals, and redundant descriptions are omitted as appropriate.

＜実施形態＞
図１は、実施形態の車両１０の車室内のダッシュボード近傍の図である。車両１０は、移動体の一例である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。 <Embodiment>
FIG. 1 is a view in the vicinity of a dashboard in a passenger compartment of a vehicle 10 according to the embodiment. The vehicle 10 is an example of a moving body. The vehicle 10 may be, for example, an automobile (an internal combustion engine automobile) using an internal combustion engine (engine, not shown) as a drive source, or an automobile (electric vehicle) using an electric motor (motor, not shown) as a drive source. Or a fuel cell vehicle or the like, or a vehicle (hybrid vehicle) using both of them as drive sources. Further, the vehicle 10 can be mounted with various transmissions, and various devices (systems, components, etc.) necessary for driving the internal combustion engine and the electric motor can be mounted. In addition, the method, the number, the layout, and the like of devices related to driving of the wheels in the vehicle 10 can be variously set.

図１に示すように、車両１０は、操舵部１２と、方向指示部材１４と、モニタ装置１６と、表示装置の一例である計器表示装置１８と、車内撮像部２０とを備える。   As shown in FIG. 1, the vehicle 10 includes a steering unit 12, a direction indicating member 14, a monitor device 16, an instrument display device 18 that is an example of a display device, and an in-vehicle imaging unit 20.

操舵部１２は、車輪を転舵させて車両１０の進行方向を変更させるために運転者が操作する部材である。操舵部１２の一例は、運転席の前方に設けられたステアリングホイールまたはハンドルである。   The steering unit 12 is a member that is operated by the driver to steer the wheels and change the traveling direction of the vehicle 10. An example of the steering unit 12 is a steering wheel or a handle provided in front of the driver's seat.

方向指示部材１４は、車両１０の側部（例えば、ドアミラー２２）に設けられた方向指示器（即ち、ウィンカー）２４を点灯させて、車両１０の進行方向を示すために運転者が操作する部材である。方向指示部材１４は、方向指示レバーまたは方向指示スイッチとも呼ばれる。方向指示部材１４は、運転者によって左右方向のいずれかに回転させられると、当該回転方向に応じた方向指示器２４を点滅させる。   The direction indicating member 14 is a member operated by the driver to turn on a direction indicator (that is, a blinker) 24 provided on a side portion (for example, the door mirror 22) of the vehicle 10 to indicate the traveling direction of the vehicle 10. It is. The direction indicating member 14 is also referred to as a direction indicating lever or a direction indicating switch. When the direction indicating member 14 is rotated in either the left or right direction by the driver, the direction indicator 24 blinks in accordance with the rotation direction.

モニタ装置１６は、画像及び音声を出力するとともに、運転者を含む乗員からの入力を受け付ける。モニタ装置１６は、中央表示装置２６と、音声出力装置２８と、操作入力部３０とを有する。中央表示装置２６は、操舵部１２よりも前に設けられている。中央表示装置２６は、例えば、画像を表示可能な液晶表示装置である。中央表示装置２６は、ナビゲーションシステムの道案内等の画像を表示する。音声出力装置２８は、例えば、スピーカである。音声出力装置２８は、道案内等の音声を出力する。操作入力部３０は、例えば、中央表示装置２６の画像を透過可能なタッチパネルである。操作入力部３０は、中央表示装置２６の表面に設けられている。操作入力部３０は、運転者を含む乗員からの入力を受け付ける。   The monitor device 16 outputs an image and sound, and receives input from an occupant including a driver. The monitor device 16 includes a central display device 26, an audio output device 28, and an operation input unit 30. The central display device 26 is provided in front of the steering unit 12. The central display device 26 is, for example, a liquid crystal display device that can display an image. The central display device 26 displays an image such as route guidance of the navigation system. The audio output device 28 is, for example, a speaker. The voice output device 28 outputs voice such as road guidance. The operation input unit 30 is, for example, a touch panel that can transmit an image of the central display device 26. The operation input unit 30 is provided on the surface of the central display device 26. The operation input unit 30 receives input from an occupant including a driver.

計器表示装置１８は、ダッシュボード３２の内部であって、操舵部１２よりも前に設けられている。計器表示装置１８は、例えば、画像を表示可能な液晶表示装置である。計器表示装置１８は、車両１０に関する計測値を示す計器画像ＭＰを表示する。計器画像ＭＰの一例は、車両１０の速度を示すスピードメータの画像である。計器画像ＭＰの他の例は、車両１０のエンジンの回転数を示すタコメータの画像である。また、計器表示装置１８は、少なくとも車両１０の後方の周辺の画像を含む周辺画像ＣＰを表示する。これにより、計器表示装置１８は、車両１０の後方を映す電子ミラーとしての機能を有する。尚、周辺画像ＣＰは、車両１０の斜め後方、及び、車両１０の側方の状況を示す画像を含んでもよい。計器表示装置１８は、後述する条件に従って、周辺画像ＣＰの表示形態を変更する。以下の説明において、計器表示装置１８が表示する計器画像ＭＰ及び周辺画像ＣＰを含む画像を表示画像ＤＰと記載する。   The instrument display device 18 is provided inside the dashboard 32 and before the steering unit 12. The instrument display device 18 is a liquid crystal display device capable of displaying an image, for example. The instrument display device 18 displays an instrument image MP indicating the measurement values related to the vehicle 10. An example of the instrument image MP is a speedometer image indicating the speed of the vehicle 10. Another example of the instrument image MP is a tachometer image showing the engine speed of the vehicle 10. The instrument display device 18 displays a peripheral image CP including at least a peripheral image behind the vehicle 10. Thereby, the instrument display device 18 has a function as an electronic mirror that reflects the back of the vehicle 10. Note that the peripheral image CP may include an image that shows the situation behind the vehicle 10 and the side of the vehicle 10. The instrument display device 18 changes the display form of the peripheral image CP according to conditions described later. In the following description, an image including the instrument image MP and the peripheral image CP displayed by the instrument display device 18 is referred to as a display image DP.

車内撮像部２０は、例えば、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を有するデジタルカメラである。車内撮像部２０は、例えば、操舵部１２の前方のダッシュボード３２の上面に設置されている。車内撮像部２０は、後方に向けられている。これにより、車内撮像部２０は、操舵部１２の後方に着座している運転者の少なくとも眼の部分を含む顔を撮像して、運転者の撮像画像（以下、顔画像）の撮像画像データを生成する。尚、車内撮像部２０は、運転者の顔画像（好ましくは、運転者の顔の正面の画像）を撮像できれば、いずれの位置（例えば、操舵部１２、コンソールの前方、フロントガラスの上部等）に配置されていてもよい。   The in-vehicle imaging unit 20 is a digital camera having, for example, a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) sensor. The in-vehicle imaging unit 20 is installed, for example, on the upper surface of the dashboard 32 in front of the steering unit 12. The in-vehicle imaging unit 20 is directed rearward. As a result, the in-vehicle image capturing unit 20 captures a face including at least the eye part of the driver sitting behind the steering unit 12 and uses the captured image data of the driver's captured image (hereinafter referred to as a face image). Generate. The in-vehicle image capturing unit 20 can capture any position (for example, the steering unit 12, the front of the console, the top of the windshield, etc.) as long as it can capture the driver's face image (preferably, the front image of the driver's face). May be arranged.

図２は、車両１０の制御系を示すブロック図である。図２に示すように、車両１０は、１または複数の周辺撮像部３４と、車輪速センサ３６と、回転数センサ３８と、位置センサ３９と、ＥＣＵ（Electronic Control Unit）４０と、車内ネットワーク４２とを更に備える。ＥＣＵ４０は、画像処理装置５０の一例である。例えば、車内撮像部２０、周辺撮像部３４、計器表示装置１８、方向指示部材１４、及び、ＥＣＵ４０は、画像処理システム５２として機能する。   FIG. 2 is a block diagram showing a control system of the vehicle 10. As shown in FIG. 2, the vehicle 10 includes one or more peripheral imaging units 34, a wheel speed sensor 36, a rotation speed sensor 38, a position sensor 39, an ECU (Electronic Control Unit) 40, and an in-vehicle network 42. And further comprising. The ECU 40 is an example of the image processing device 50. For example, the in-vehicle imaging unit 20, the peripheral imaging unit 34, the instrument display device 18, the direction indicating member 14, and the ECU 40 function as the image processing system 52.

周辺撮像部３４は、例えば、ＣＣＤまたはＣＭＯＳセンサ等を有するデジタルカメラである。周辺撮像部３４は、広角レンズまたは魚眼レンズを有し、水平方向で１４０°〜１９０°の範囲を撮影することができる。周辺撮像部３４は、車両１０の外周部に設けられている。例えば、周辺撮像部３４は、車両１０の後端の中央部に設けられている。これにより、周辺撮像部３４は、車両１０の後方の周辺を広角で撮像して、車両１０の後方及び後方の左右近傍の画像を含む周辺画像の撮像画像データを生成する。周辺撮像部３４は、周辺画像の撮像画像データをＥＣＵ４０へ出力する。   The peripheral imaging unit 34 is a digital camera having a CCD or CMOS sensor, for example. The peripheral imaging unit 34 has a wide-angle lens or a fisheye lens, and can capture a range of 140 ° to 190 ° in the horizontal direction. The peripheral imaging unit 34 is provided on the outer periphery of the vehicle 10. For example, the peripheral imaging unit 34 is provided at the center of the rear end of the vehicle 10. As a result, the peripheral imaging unit 34 captures the periphery of the rear of the vehicle 10 at a wide angle, and generates captured image data of a peripheral image including images of the left and right neighborhoods of the rear and rear of the vehicle 10. The peripheral imaging unit 34 outputs captured image data of the peripheral image to the ECU 40.

方向指示部材１４は、運転者によって操作されると、操作の方向（または方向指示部材１４の位置）を示す方向信号を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。   When the direction indicating member 14 is operated by the driver, the direction indicating member 14 outputs a direction signal indicating the operation direction (or the position of the direction indicating member 14) to the ECU 40 via the in-vehicle network 42.

車輪速センサ３６は、車両１０の速度を算出するための車輪の回転量または単位時間当たりの回転数を検出するセンサである。車輪速センサ３６は、例えば、ホール素子などを用いて構成される。車輪速センサ３６は、検出した回転数を示す車輪速パルス数を示すセンサ値を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。   The wheel speed sensor 36 is a sensor that detects the amount of rotation of the wheel for calculating the speed of the vehicle 10 or the number of rotations per unit time. The wheel speed sensor 36 is configured using, for example, a hall element. The wheel speed sensor 36 outputs a sensor value indicating the number of wheel speed pulses indicating the detected number of rotations to the ECU 40 via the in-vehicle network 42.

回転数センサ３８は、エンジンまたはモータ等の駆動源によって回転される駆動軸の回転数を検出するセンサである。回転数センサ３８は、例えば、ロータリーエンコーダー等によって検出した駆動軸の回転数を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。   The rotation speed sensor 38 is a sensor that detects the rotation speed of a drive shaft that is rotated by a drive source such as an engine or a motor. For example, the rotation speed sensor 38 outputs the rotation speed of the drive shaft detected by a rotary encoder or the like to the ECU 40 via the in-vehicle network 42.

位置センサ３９は、操舵部１２の近傍に設けられている。位置センサ３９は、操舵部１２の回転位置を検出する。位置センサ３９は、検出した操舵部１２の回転位置を、車内ネットワーク４２を介して、ＥＣＵ４０へ出力する。   The position sensor 39 is provided in the vicinity of the steering unit 12. The position sensor 39 detects the rotational position of the steering unit 12. The position sensor 39 outputs the detected rotational position of the steering unit 12 to the ECU 40 via the in-vehicle network 42.

ＥＣＵ４０は、例えば、コンピュータである。本実施形態では、ＥＣＵ４０は、ハードウェアとソフトウェア（即ち、プログラム）が協働することにより、車両１０の制御全般を司る。   The ECU 40 is, for example, a computer. In the present embodiment, the ECU 40 governs overall control of the vehicle 10 by cooperation of hardware and software (that is, a program).

ＥＣＵ４０は、ＣＰＵ（Central Processing Unit）４０ａと、ＲＯＭ（Read Only Memory）４０ｂと、ＲＡＭ（Random Access Memory）４０ｃと、表示制御部４０ｄと、音声制御部４０ｅと、ＳＳＤ（Solid State Drive）４０ｆとを備える。ＣＰＵ４０ａ、ＲＯＭ４０ｂ及びＲＡＭ４０ｃは、同一パッケージ内に集積されていてもよい。   The ECU 40 includes a CPU (Central Processing Unit) 40a, a ROM (Read Only Memory) 40b, a RAM (Random Access Memory) 40c, a display control unit 40d, an audio control unit 40e, and an SSD (Solid State Drive) 40f. Is provided. The CPU 40a, ROM 40b, and RAM 40c may be integrated in the same package.

ＣＰＵ４０ａは、ハードウェアプロセッサの一例であって、ＲＯＭ４０ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＲＯＭ４０ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ４０ｃは、ＣＰＵ４０ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部４０ｄは、ＥＣＵ４０での演算処理のうち、主として、車内撮像部２０及び周辺撮像部３４で得られた画像の画像処理、及び、計器表示装置１８及び中央表示装置２６に表示させる表示用の画像のデータ変換等を実行する。音声制御部４０ｅは、ＥＣＵ４０での演算処理のうち、主として、音声出力装置２８に出力させる音声の処理を実行する。ＳＳＤ４０ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ４０の電源がオフされた場合にあってもデータを維持する。   The CPU 40a is an example of a hardware processor, reads a program stored in a nonvolatile storage device such as the ROM 40b, and executes various arithmetic processes and controls according to the program. The ROM 40b stores each program and parameters necessary for executing the program. The RAM 40c temporarily stores various types of data used in computations by the CPU 40a. The display control unit 40d mainly performs image processing of images obtained by the in-vehicle image capturing unit 20 and the peripheral image capturing unit 34, and display to be displayed on the instrument display device 18 and the central display device 26 in the arithmetic processing in the ECU 40. Data conversion of the image is executed. The voice control unit 40e mainly executes voice processing to be output to the voice output device 28 among the arithmetic processing in the ECU 40. The SSD 40f is a rewritable nonvolatile storage unit, and maintains data even when the power of the ECU 40 is turned off.

車内ネットワーク４２は、例えば、ＣＡＮ（Controller Area Network）である。車内ネットワーク４２は、方向指示部材１４と、車輪速センサ３６と、回転数センサ３８と、位置センサ３９と、ＥＣＵ４０と、操作入力部３０とを制御信号及び操作内容等の信号及び情報を送受信可能に電気的に接続する。   The in-vehicle network 42 is, for example, a CAN (Controller Area Network). The in-vehicle network 42 can send and receive signals and information such as control signals and operation details to and from the direction indicating member 14, the wheel speed sensor 36, the rotation speed sensor 38, the position sensor 39, the ECU 40, and the operation input unit 30. Electrically connect to

図３は、画像処理装置５０として機能するＥＣＵ４０の機能を説明するブロック図である。   FIG. 3 is a block diagram illustrating functions of the ECU 40 that functions as the image processing device 50.

図３に示すように、ＥＣＵ４０は、制御部５４と、記憶部５６とを有する。制御部５４は、ＣＰＵ４０ａ、表示制御部４０ｄ、及び、音声制御部４０ｅの機能として実現される。記憶部５６は、ＲＯＭ４０ｂ、ＲＡＭ４０ｃ、及び、ＳＳＤ４０ｆの機能として実現される。   As shown in FIG. 3, the ECU 40 includes a control unit 54 and a storage unit 56. The control unit 54 is realized as a function of the CPU 40a, the display control unit 40d, and the voice control unit 40e. The storage unit 56 is realized as a function of the ROM 40b, the RAM 40c, and the SSD 40f.

制御部５４は、検出部６０と、画像生成部６２とを有する。制御部５４は、画像処理用のプログラムを読み込むことによって、検出部６０及び画像生成部６２として機能する。検出部６０及び画像生成部６２の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）を含む回路等のハードウェアによって構成してもよい。   The control unit 54 includes a detection unit 60 and an image generation unit 62. The control unit 54 functions as the detection unit 60 and the image generation unit 62 by reading a program for image processing. A part or all of the detection unit 60 and the image generation unit 62 may be configured by hardware such as a circuit including an ASIC (Application Specific Integrated Circuit).

検出部６０は、車両１０の運転者の少なくとも眼を含む顔を撮像した撮像画像のデータを車内撮像部２０から取得する。検出部６０は、取得した撮像画像内の顔画像に基づいて、車両１０の運転者の顔または視線の向きとともに、運転者の顔または眼の位置を検出する。尚、以下の説明において、顔または眼の位置を“基準点”と記載し、顔または視線の向きを“視線方向”と記載する。検出部６０は、検出した基準点及び視線方向を画像生成部６２へ出力する。検出部６０は、方向指示部材１４が操作されると、方向指示部材１４が操作された方向（または、方向指示部材１４の位置）を示す方向信号から、方向指示部材１４が指示する車両１０の進行方向を検出する。検出部６０は、検出した車両１０の進行方向を画像生成部６２へ出力する。検出部６０は、方向指示部材１４が操作された後、操舵部１２の回転位置を位置センサ３９から取得して、画像生成部６２へ出力する。   The detection unit 60 acquires data of a captured image obtained by capturing a face including at least eyes of the driver of the vehicle 10 from the in-vehicle image capturing unit 20. The detection unit 60 detects the position of the driver's face or eyes together with the direction of the driver's face or line of sight of the vehicle 10 based on the acquired face image in the captured image. In the following description, the position of the face or eye is described as “reference point”, and the direction of the face or line of sight is described as “line of sight”. The detection unit 60 outputs the detected reference point and line-of-sight direction to the image generation unit 62. When the direction indicating member 14 is operated, the detection unit 60 indicates the direction of the vehicle 10 indicated by the direction indicating member 14 from a direction signal indicating the direction in which the direction indicating member 14 is operated (or the position of the direction indicating member 14). Detect the direction of travel. The detection unit 60 outputs the detected traveling direction of the vehicle 10 to the image generation unit 62. After the direction indicating member 14 is operated, the detection unit 60 acquires the rotational position of the steering unit 12 from the position sensor 39 and outputs it to the image generation unit 62.

画像生成部６２は、計器表示装置１８に表示する表示画像ＤＰを生成して、計器表示装置１８に表示させる。例えば、画像生成部６２は、表示画像ＤＰに含める車両１０に関する計測値を示す計器画像ＭＰを生成する。具体的には、画像生成部６２は、車輪速センサ３６から取得したセンサ値から算出した車両１０の速度を示すスピードメータの画像である計器画像ＭＰを生成する。車両１０の速度は、計測値の一例である。画像生成部６２は、回転数センサ３８から取得した回転数を示すタコメータの画像である計器画像ＭＰを生成する。回転数は、計測値の一例である。また、画像生成部６２は、表示画像ＤＰに含める周辺画像ＣＰを生成する。具体的には、画像生成部６２は、周辺撮像部３４から取得した周辺画像ＣＰに歪み除去またはトリミング等の画像処理を実行して、表示画像ＤＰに含める周辺画像ＣＰを生成する。   The image generation unit 62 generates a display image DP to be displayed on the instrument display device 18 and causes the instrument display device 18 to display the display image DP. For example, the image generation unit 62 generates a meter image MP that indicates a measurement value related to the vehicle 10 included in the display image DP. Specifically, the image generation unit 62 generates a meter image MP that is an image of a speedometer indicating the speed of the vehicle 10 calculated from the sensor value acquired from the wheel speed sensor 36. The speed of the vehicle 10 is an example of a measured value. The image generation unit 62 generates a meter image MP that is a tachometer image indicating the rotation speed acquired from the rotation speed sensor 38. The rotation speed is an example of a measured value. Further, the image generation unit 62 generates a peripheral image CP to be included in the display image DP. Specifically, the image generation unit 62 performs image processing such as distortion removal or trimming on the peripheral image CP acquired from the peripheral imaging unit 34 to generate a peripheral image CP to be included in the display image DP.

画像生成部６２は、予め設定された条件に基づいて、表示画像ＤＰの計器画像ＭＰまたは周辺画像ＣＰの表示形態を変更する。表示形態は、例えば、画像の大きさ、及び、画像の明度等である。以下の説明において、画像生成部６２が表示形態を変更する前の表示画像ＤＰの状態を通常状態とする。画像生成部６２が表示形態を変更した後の表示画像ＤＰの状態を変更状態とする。例えば、画像生成部６２は、表示画像ＤＰに含まれる周辺画像ＣＰのうち、検出部６０から取得した基準点から視線方向上の領域（以下、変更領域）の周辺画像ＣＰの表示形態を変更する。画像生成部６２は、例えば、強調表示によって表示形態を変更する。視線方向上の領域である変更領域は、顔または視線が向けられた領域の一例である。画像生成部６２は、表示画像ＤＰが複数の周辺画像ＣＰを含む場合、複数の周辺画像ＣＰのうち視線方向と交差する周辺画像ＣＰの全域を変更領域としてよい。また、画像生成部６２は、視線方向が表示画像ＤＰと交差する位置を含む予め定められた範囲を変更領域としてもよい。   The image generation unit 62 changes the display form of the instrument image MP or the peripheral image CP of the display image DP based on preset conditions. The display form is, for example, the size of the image and the brightness of the image. In the following description, the state of the display image DP before the image generation unit 62 changes the display form is assumed to be a normal state. The state of the display image DP after the image generation unit 62 changes the display form is set to the changed state. For example, among the peripheral images CP included in the display image DP, the image generation unit 62 changes the display form of the peripheral image CP in a region on the line-of-sight direction (hereinafter referred to as a change region) from the reference point acquired from the detection unit 60. . For example, the image generation unit 62 changes the display form by highlighting. The change area, which is an area in the line-of-sight direction, is an example of an area to which a face or line of sight is directed. When the display image DP includes a plurality of peripheral images CP, the image generation unit 62 may set the entire region of the peripheral image CP that intersects the line-of-sight direction among the plurality of peripheral images CP as the change region. In addition, the image generation unit 62 may set a predetermined range including a position where the line-of-sight direction intersects the display image DP as the change area.

例えば、画像生成部６２は、当該変更領域の周辺画像ＣＰを拡大することによって、表示形態を変更してよい。また、画像生成部６２は、変更領域の周辺画像ＣＰの拡大に伴って、顔または視線が向けられていない領域、即ち、変更領域以外の領域の周辺画像ＣＰを縮小してもよい。この場合、画像生成部６２は、周辺画像ＣＰを縮小して空いた領域に計器画像ＭＰを表示してもよい。   For example, the image generation unit 62 may change the display form by enlarging the peripheral image CP in the change area. Further, the image generation unit 62 may reduce the peripheral image CP in the area where the face or line of sight is not directed, that is, in the area other than the change area, as the peripheral image CP in the change area is enlarged. In this case, the image generation unit 62 may display the instrument image MP in an empty area by reducing the peripheral image CP.

画像生成部６２は、当該変更領域の周辺画像ＣＰを明るくして表示形態を変更してもよい。更に、画像生成部６２は、当該変更領域の周辺画像ＣＰを拡大かつ明るくすることによって変更してもよい。   The image generation unit 62 may change the display form by brightening the peripheral image CP in the change area. Further, the image generation unit 62 may change the peripheral image CP in the change area by enlarging and brightening it.

画像生成部６２は、検出部６０から取得した方向指示部材１４が指示する車両１０の進行方向側の領域を変更領域として、当該変更領域の周辺画像ＣＰの表示形態を変更してもよい。例えば、画像生成部６２は、表示画像ＤＰが複数の周辺画像ＣＰを含む場合、進行方向側の周辺画像ＣＰを変更してよい。具体的には、画像生成部６２は、進行方向側の周辺画像ＣＰを拡大することによって表示形態を変更してよい。この場合、画像生成部６２は、周辺画像ＣＰの拡大に伴って、進行方向側と異なる側の周辺画像ＣＰを縮小してもよい。画像生成部６２は、周辺画像ＣＰを縮小して空いた領域に計器画像ＭＰを表示してもよい。   The image generation unit 62 may change the display form of the peripheral image CP in the change area, using the area on the traveling direction side of the vehicle 10 indicated by the direction indicating member 14 acquired from the detection unit 60 as the change area. For example, when the display image DP includes a plurality of peripheral images CP, the image generation unit 62 may change the peripheral image CP on the traveling direction side. Specifically, the image generation unit 62 may change the display form by enlarging the peripheral image CP on the traveling direction side. In this case, the image generation unit 62 may reduce the peripheral image CP on the side different from the traveling direction side as the peripheral image CP is enlarged. The image generation unit 62 may display the instrument image MP in an empty area by reducing the peripheral image CP.

画像生成部６２は、進行方向側の周辺画像ＣＰを明るくして表示形態を変更してよい。また、画像生成部６２は、進行方向側の周辺画像ＣＰを拡大かつ明るくすることによって変更してよい。   The image generation unit 62 may change the display form by brightening the peripheral image CP on the traveling direction side. The image generation unit 62 may change the image by enlarging and brightening the peripheral image CP on the traveling direction side.

画像生成部６２は、周辺画像ＣＰを変更した後、視線方向が移動して表示形態を変更した周辺画像ＣＰから外れた場合、または、操舵部１２が基準範囲に戻った場合、変更した計器画像ＭＰ及び周辺画像ＣＰを含む表示画像ＤＰを通常状態に戻す。操舵部１２の基準範囲とは、点灯している方向指示器２４を消灯させる範囲であって、車両１０を略前方に進行させる範囲である。   When the image generation unit 62 changes the peripheral image CP and then moves away from the peripheral image CP in which the line-of-sight direction moves and the display form is changed, or when the steering unit 12 returns to the reference range, the changed instrument image The display image DP including the MP and the peripheral image CP is returned to the normal state. The reference range of the steering unit 12 is a range in which the illuminating direction indicator 24 is extinguished and is a range in which the vehicle 10 travels substantially forward.

記憶部５６は、制御部５４が実行する画像処理用のプログラム、プログラムの実行に必要なデータ、及び、プログラムの実行によって生成されるデータ等を記憶する。例えば、記憶部５６は、画像処理用のプログラムの実行に必要な撮像部２０、３４が撮像した撮像画像のデータ等を記憶する。また、記憶部５６は、画像処理の実行によって生成された周辺画像ＣＰと、計器画像ＭＰと、周辺画像ＣＰ及び計器画像ＭＰを含む表示画像ＤＰのデータ等を記憶する。記憶部５６は、ネットワーク上の記憶装置（いわゆる、クラウド）等によって実現してもよい。   The storage unit 56 stores an image processing program executed by the control unit 54, data necessary for executing the program, data generated by executing the program, and the like. For example, the storage unit 56 stores data of captured images captured by the imaging units 20 and 34 necessary for executing an image processing program. In addition, the storage unit 56 stores the peripheral image CP generated by the execution of the image processing, the instrument image MP, the data of the display image DP including the peripheral image CP and the instrument image MP, and the like. The storage unit 56 may be realized by a storage device (so-called cloud) on a network.

図４は、制御部５４が実行する画像処理のフローチャートである。制御部５４は、画像処理用のプログラムを読み込むことによって、画像処理を実行する。   FIG. 4 is a flowchart of image processing executed by the control unit 54. The control unit 54 executes image processing by reading an image processing program.

図４に示すように、画像処理では、制御部５４の画像生成部６２が、通常状態の表示画像ＤＰを生成して計器表示装置１８に表示させる（Ｓ１０２）。画像生成部６２が表示させる表示画像ＤＰの一例は、動画である。   As shown in FIG. 4, in the image processing, the image generation unit 62 of the control unit 54 generates a display image DP in a normal state and displays it on the instrument display device 18 (S102). An example of the display image DP displayed by the image generation unit 62 is a moving image.

図５は、通常状態の表示画像ＤＰの一例を示す図である。図５に示すように、画像生成部６２は、計器表示装置１８の下部の中央部の計器画像領域（太点線の下側の領域）に計器画像ＭＰａ、ＭＰｂを表示させる。画像生成部６２は、計器表示装置１８の上部に計器画像領域を囲むように設定した周辺画像領域（太点線の上側の領域）に複数の周辺画像ＣＰａ、ＣＰｂ、ＣＰｃを表示させる。   FIG. 5 is a diagram illustrating an example of the display image DP in the normal state. As shown in FIG. 5, the image generation unit 62 displays the instrument images MPa and MPb in the instrument image area (the area below the thick dotted line) at the center of the lower part of the instrument display device 18. The image generation unit 62 displays a plurality of peripheral images CPa, CPb, and CPc in a peripheral image region (a region above the bold dotted line) set so as to surround the instrument image region on the upper part of the instrument display device 18.

本実施形態では、画像生成部６２は、周辺画像領域に３個の周辺画像ＣＰａ、ＣＰｂ、ＣＰｃを表示させる。具体的には、画像生成部６２は、車両１０の右方及び後方の周辺を撮像した周辺画像ＣＰａを、周辺画像領域の右側に表示させる。画像生成部６２は、周辺撮像部３４から取得した撮像画像の一部（例えば、右側）をトリミングして、周辺画像ＣＰａを生成してよい。これにより、画像生成部６２は、右側のドアミラー２２に映る周辺を周辺画像ＣＰａとして表示させる。画像生成部６２は、車両１０を含む鳥瞰図の画像を周辺画像ＣＰｂとして周辺画像領域の中央部に表示させる。画像生成部６２は、車両１０の左方及び後方の周辺を撮像した周辺画像ＣＰｃを、周辺画像領域の左側に表示させる。画像生成部６２は、周辺撮像部３４から取得した撮像画像の一部（例えば、左側）をトリミングして、周辺画像ＣＰｃを生成してよい。これにより、画像生成部６２は、左側のドアミラー２２に映る周辺を周辺画像ＣＰｃとして表示させる。以下の説明において、周辺画像ＣＰａ、ＣＰｂ、ＣＰｃを区別する必要がない場合、周辺画像ＣＰと記載する。   In the present embodiment, the image generation unit 62 displays three peripheral images CPa, CPb, and CPc in the peripheral image region. Specifically, the image generation unit 62 displays a peripheral image CPa obtained by imaging the right and rear periphery of the vehicle 10 on the right side of the peripheral image region. The image generation unit 62 may trim a part (for example, the right side) of the captured image acquired from the peripheral imaging unit 34 to generate the peripheral image CPa. Thereby, the image generation part 62 displays the periphery reflected on the right door mirror 22 as the peripheral image CPa. The image generation unit 62 displays an image of a bird's eye view including the vehicle 10 as a peripheral image CPb at the center of the peripheral image region. The image generation unit 62 displays a peripheral image CPc obtained by imaging the left and rear periphery of the vehicle 10 on the left side of the peripheral image region. The image generating unit 62 may generate a peripheral image CPc by trimming a part (for example, the left side) of the captured image acquired from the peripheral imaging unit 34. Thereby, the image generation part 62 displays the periphery reflected on the left door mirror 22 as the peripheral image CPc. In the following description, when it is not necessary to distinguish the peripheral images CPa, CPb, and CPc, they are referred to as peripheral images CP.

検出部６０は、通常状態の表示画像ＤＰが表示されると、基準点及び視線方向を検出して、画像生成部６２へ出力する（Ｓ１０４）。例えば、検出部６０は、車内撮像部２０から運転者の顔画像を取得して、当該顔画像に基づいて、基準点及び視線方向を検出する。   When the display image DP in the normal state is displayed, the detection unit 60 detects the reference point and the line-of-sight direction and outputs the detected reference point and line-of-sight direction to the image generation unit 62 (S104). For example, the detection unit 60 acquires a driver's face image from the in-vehicle imaging unit 20 and detects a reference point and a line-of-sight direction based on the face image.

画像生成部６２は、検出部６０から視線方向を取得すると、基準点を起点として視線方向上に周辺画像ＣＰが存在するか否かを判定する（Ｓ１０６）。換言すれば、画像生成部６２は、運転者の顔を起点として顔の向きに周辺画像ＣＰが存在するか否か、または、運転者の眼の位置を起点として視線の向きに周辺画像ＣＰが存在するか否かを判定する。   When the image generation unit 62 acquires the line-of-sight direction from the detection unit 60, the image generation unit 62 determines whether or not the peripheral image CP exists in the line-of-sight direction with the reference point as a starting point (S106). In other words, the image generation unit 62 determines whether or not there is a peripheral image CP in the face direction starting from the driver's face, or the peripheral image CP is in the line of sight starting from the driver's eye position. Determine if it exists.

画像生成部６２は、視線方向上に周辺画像ＣＰが存在すると判定すると（Ｓ１０６：Ｙｅｓ）、視線方向上の領域の周辺画像ＣＰの表示形態を変更して変更状態にする（Ｓ１０８）。   If it is determined that the peripheral image CP exists in the line-of-sight direction (S106: Yes), the image generation unit 62 changes the display form of the peripheral image CP in the area in the line-of-sight direction to a changed state (S108).

周辺画像ＣＰａが視線方向上にある場合の表示形態が変更された表示画像ＤＰについて図６から図８を参照して説明する。   A display image DP in which the display form when the peripheral image CPa is in the line-of-sight direction is changed will be described with reference to FIGS.

図６は、周辺画像ＣＰを拡大して表示形態を変更した表示画像ＤＰの例を示す図である。画像生成部６２は、例えば、図６に示すように、視線方向上の周辺画像ＣＰａを拡大して表示形態を変更してよい。この場合、画像生成部６２は、計器画像ＭＰａ、ＭＰｂ、及び、視線方向上でない周辺画像ＣＰｂ、ＣＰｃを縮小する。   FIG. 6 is a diagram illustrating an example of the display image DP in which the display form is changed by enlarging the peripheral image CP. For example, as illustrated in FIG. 6, the image generation unit 62 may change the display form by enlarging the peripheral image CPa in the viewing direction. In this case, the image generation unit 62 reduces the instrument images MPa and MPb and the peripheral images CPb and CPc that are not on the line-of-sight direction.

図７は、周辺画像ＣＰを拡大して表示形態を変更した表示画像ＤＰの他の例を示す図である。画像生成部６２は、例えば、図７に示すように、視線方向上の周辺画像ＣＰａを拡大して表示形態を変更してよい。この場合、画像生成部６２は、視線方向上でない周辺画像ＣＰｂ、ＣＰｃを縮小する。画像生成部６２は、周辺画像ＣＰｂ、ＣＰｃを縮小することによって空いた領域に、計器画像ＭＰａ、ＭＰｂを縮小することなく表示させる。   FIG. 7 is a diagram illustrating another example of the display image DP in which the display form is changed by enlarging the peripheral image CP. For example, as illustrated in FIG. 7, the image generation unit 62 may change the display form by enlarging the peripheral image CPa in the line-of-sight direction. In this case, the image generation unit 62 reduces the peripheral images CPb and CPc that are not on the line-of-sight direction. The image generation unit 62 displays the instrument images MPa and MPb in a region freed by reducing the peripheral images CPb and CPc without reducing them.

図８は、周辺画像ＣＰを明るくして表示形態を変更した表示画像ＤＰの他の例を示す図である。画像生成部６２は、例えば、図８に示すように、視線方向上の周辺画像ＣＰａを明るくして表示形態を変更してよい。この場合、画像生成部６２は、周辺画像ＣＰａを拡大して、周辺画像ＣＰｂ、ＣＰｃ及び計器画像ＭＰａ、ＭＰｂを縮小してもよい。   FIG. 8 is a diagram illustrating another example of the display image DP in which the peripheral image CP is brightened and the display form is changed. For example, as illustrated in FIG. 8, the image generation unit 62 may change the display form by brightening the peripheral image CPa in the viewing direction. In this case, the image generation unit 62 may enlarge the peripheral image CPa and reduce the peripheral images CPb and CPc and the instrument images MPa and MPb.

検出部６０は、周辺画像ＣＰの表示形態が変更された後、基準点及び視線方向を検出して、画像生成部６２へ出力する（Ｓ１１０）。   After the display form of the peripheral image CP is changed, the detection unit 60 detects the reference point and the line-of-sight direction and outputs the detected reference point and line-of-sight direction to the image generation unit 62 (S110).

画像生成部６２は、取得した視線方向上から拡大した周辺画像ＣＰが外れたか否かを判定する（Ｓ１１２）。画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れていないと判定すると（Ｓ１１２：Ｎｏ）、検出部６０は、再度、基準点及び視線方向を検出する（Ｓ１１０）。これにより、画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れるまで、変更状態の表示画像ＤＰの表示を維持する。   The image generation unit 62 determines whether or not the peripheral image CP enlarged from the acquired line-of-sight direction has been removed (S112). If the image generation unit 62 determines that the peripheral image CP enlarged from the line-of-sight direction is not removed (S112: No), the detection unit 60 detects the reference point and the line-of-sight direction again (S110). Accordingly, the image generation unit 62 maintains the display of the display image DP in the changed state until the peripheral image CP enlarged from the line-of-sight direction is removed.

画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れたと判定すると（Ｓ１１２：Ｙｅｓ）、画像処理のスタートに戻って、ステップＳ１０２以降を繰り返す。これにより、画像生成部６２は、変更した周辺画像ＣＰの表示形態を、図５に示す通常状態に戻して計器表示装置１８に表示させる。尚、画像生成部６２は、視線方向上から拡大した周辺画像ＣＰが外れてから所定時間経過してから表示画像ＤＰを通常状態に戻してもよい。   If the image generation unit 62 determines that the peripheral image CP enlarged from the line-of-sight direction has been removed (S112: Yes), the image generation unit 62 returns to the start of image processing and repeats step S102 and subsequent steps. Thereby, the image generation part 62 returns the display mode of the changed peripheral image CP to the normal state shown in FIG. Note that the image generation unit 62 may return the display image DP to the normal state after a predetermined time has elapsed after the peripheral image CP enlarged from the line-of-sight direction is removed.

画像生成部６２が視線方向上に周辺画像ＣＰがないと判定すると（Ｓ１０６：Ｎｏ）、検出部６０は、運転者が方向指示部材１４を操作したか否かを判定する（Ｓ１１４）。検出部６０は、方向指示部材１４が操作されていないと判定すると（Ｓ１１４：Ｎｏ）、ステップＳ１０２以降を繰り返す。即ち、画像生成部６２は、視線方向上に周辺画像ＣＰがなく、かつ、方向指示部材１４が操作されていない間、通常状態の表示画像ＤＰの表示を継続する。   When the image generation unit 62 determines that there is no peripheral image CP in the line-of-sight direction (S106: No), the detection unit 60 determines whether the driver has operated the direction indicating member 14 (S114). If the detection unit 60 determines that the direction indicating member 14 is not operated (S114: No), it repeats Step S102 and subsequent steps. That is, the image generation unit 62 continues to display the display image DP in the normal state while there is no peripheral image CP in the line-of-sight direction and the direction indicating member 14 is not operated.

検出部６０は、運転者が方向指示部材１４を操作したと判定すると（Ｓ１１４：Ｙｅｓ）、方向指示部材１４が操作された方向を車両１０の進行方向として画像生成部６２へ出力する。   When it is determined that the driver has operated the direction indicating member 14 (S114: Yes), the detection unit 60 outputs the direction in which the direction indicating member 14 is operated to the image generation unit 62 as the traveling direction of the vehicle 10.

画像生成部６２は、検出部６０から進行方向を取得すると、進行方向側の周辺画像ＣＰの表示形態を変更する（Ｓ１１６）。ステップＳ１１６における表示形態の変更は、図６、図７、及び、図８のいずれかと同様である。   When acquiring the traveling direction from the detecting unit 60, the image generating unit 62 changes the display form of the peripheral image CP on the traveling direction side (S116). The change of the display form in step S116 is the same as that in any of FIGS. 6, 7, and 8.

検出部６０は、周辺画像ＣＰの表示形態が変更されると、操舵部１２の回転位置を位置センサ３９から取得することによって検出して、画像生成部６２へ出力する（Ｓ１１８）。   When the display form of the peripheral image CP is changed, the detection unit 60 detects the rotation position of the steering unit 12 by acquiring it from the position sensor 39, and outputs it to the image generation unit 62 (S118).

画像生成部６２は、検出部６０から取得した操舵部１２の回転位置に基づいて、当該回転位置が基準範囲か否かを判定する（Ｓ１２０）。画像生成部６２は、操舵部１２の回転位置が基準範囲でないと判定すると（Ｓ１２０：Ｎｏ）、検出部６０は、再度、操舵部１２の回転位置を検出する（Ｓ１１８）。   Based on the rotation position of the steering unit 12 acquired from the detection unit 60, the image generation unit 62 determines whether or not the rotation position is within the reference range (S120). If the image generation unit 62 determines that the rotational position of the steering unit 12 is not within the reference range (S120: No), the detection unit 60 detects the rotational position of the steering unit 12 again (S118).

画像生成部６２は、操舵部１２の回転位置が基準範囲と判定すると（Ｓ１２０：Ｙｅｓ）、画像処理のスタートに戻って、ステップＳ１０２以降を繰り返す。これにより、画像生成部６２は、変更状態の周辺画像ＣＰの表示形態を、図５に示す元の通常状態に戻して、計器表示装置１８に表示させる。   When determining that the rotational position of the steering unit 12 is within the reference range (S120: Yes), the image generating unit 62 returns to the start of the image processing and repeats step S102 and subsequent steps. Thereby, the image generation part 62 returns the display mode of the peripheral image CP in the changed state to the original normal state shown in FIG.

上述したように、ＥＣＵ４０、即ち、画像処理装置５０では、画像生成部６２が、操舵部１２よりも前に配置された計器表示装置１８に車両１０の後方の周辺を含む周辺画像ＣＰを表示させている。これにより、画像処理装置５０は、車両１０の前方と後方の周辺画像ＣＰとの間の距離を小さくすることができ、車両１０の前方から後方の周辺画像ＣＰを見る際の運手者の視線移動を小さくできる。   As described above, in the ECU 40, that is, in the image processing device 50, the image generation unit 62 displays the peripheral image CP including the periphery behind the vehicle 10 on the instrument display device 18 disposed before the steering unit 12. ing. As a result, the image processing device 50 can reduce the distance between the front and rear peripheral images CP of the vehicle 10, and the operator's line of sight when viewing the rear peripheral image CP from the front of the vehicle 10. The movement can be reduced.

画像処理装置５０では、画像生成部６２が、運転者の視線方向上の周辺画像ＣＰまたは車両１０の進行方向側の周辺画像ＣＰの表示形態を変更している。これにより、画像処理装置５０は、運転手が見ている周辺画像ＣＰまたは運転手が進行方向を変える際に見る周辺画像ＣＰを、運転者に見やすく提供できる。例えば、画像処理装置５０は、周辺画像ＣＰを拡大することによって、車両１０の周辺の小さい物体（例えば他の車両）を含む周辺画像ＣＰを、運転者により見やすく提供できる。画像処理装置５０は、周辺画像ＣＰを明るくすることによって、暗い場所でも運転者により見やすい周辺画像ＣＰを提供できる。これにより、画像処理装置５０は、運転者が後方確認を正確かつ短時間で行える環境を提供でき、後方の確認不足及び後方の注視しすぎ等の状況を低減できる。   In the image processing device 50, the image generation unit 62 changes the display form of the peripheral image CP in the driver's line-of-sight direction or the peripheral image CP on the traveling direction side of the vehicle 10. Thereby, the image processing apparatus 50 can provide the driver with an easy-to-see peripheral image CP that the driver sees or a peripheral image CP that the driver sees when changing the traveling direction. For example, the image processing apparatus 50 can provide the driver with a peripheral image CP that includes a small object (for example, another vehicle) around the vehicle 10 in an easy-to-view manner by enlarging the peripheral image CP. The image processing apparatus 50 can provide the peripheral image CP that is easier to see for the driver even in a dark place by brightening the peripheral image CP. As a result, the image processing apparatus 50 can provide an environment in which the driver can perform the backward confirmation accurately and in a short time, and can reduce situations such as insufficient rearward confirmation and excessive gaze at the rear.

画像処理装置５０では、画像生成部６２が、視線方向上または進行方向側の周辺画像ＣＰを拡大した場合、視線方向以外または進行方向と異なる側の周辺画像ＣＰを縮小して空いた領域に計器画像ＭＰを拡大して表示する。これにより、画像処理装置５０は、周辺画像ＣＰとともに、計器画像ＭＰも見やすくすることができる。   In the image processing device 50, when the image generating unit 62 enlarges the peripheral image CP on the line-of-sight direction or in the traveling direction side, the peripheral image CP on the side other than the line-of-sight direction or on the side different from the traveling direction is reduced to provide an instrument in an empty region. The image MP is enlarged and displayed. Thereby, the image processing apparatus 50 can make the instrument image MP easy to see together with the peripheral image CP.

上述の各実施形態の構成の機能、接続関係、配置、個数及び形状等は適宜変更してよい。また、上述のフローチャートの各ステップの処理内容及び順序は適宜変更してよい。   The function, connection relationship, arrangement, number, shape, and the like of the configuration of each of the above embodiments may be changed as appropriate. Moreover, you may change suitably the processing content and order of each step of the above-mentioned flowchart.

上述の実施形態では、検出部６０が運転者の視線方向及び車両１０の進行方向の両方を検出する例を示したが、これに限定されない。検出部６０が運転者の視線方向、または、車両１０の進行方向のいずれか一方を検出してもよい。この場合、画像生成部６２は、検出部６０が検出した情報に基づいて、表示画像ＤＰの表示形態を変更してよい。   In the above-mentioned embodiment, although the detection part 60 showed the example which detects both a driver | operator's gaze direction and the advancing direction of the vehicle 10, it is not limited to this. The detection unit 60 may detect either the driver's line-of-sight direction or the traveling direction of the vehicle 10. In this case, the image generation unit 62 may change the display form of the display image DP based on the information detected by the detection unit 60.

上述の実施形態では、周辺撮像部３４が１個の例を示したが、これに限定されない。例えば、複数の周辺撮像部３４が車両１０のドアミラー２２、車体の後方の左右両端部等に設けられていてもよい。この場合、画像生成部６２は、複数の周辺撮像部３４が車両１０の周辺を撮像した複数の撮像画像から生成した複数の周辺画像ＣＰを合成して表示画像ＤＰを生成してもよい。   In the above-described embodiment, an example in which the peripheral imaging unit 34 is one is shown, but the present invention is not limited to this. For example, a plurality of peripheral imaging units 34 may be provided at the door mirror 22 of the vehicle 10, the left and right ends of the rear of the vehicle body, and the like. In this case, the image generation unit 62 may generate a display image DP by combining a plurality of peripheral images CP generated from a plurality of captured images obtained by capturing the periphery of the vehicle 10 by the plurality of peripheral imaging units 34.

上述の実施形態では、視線方向上の周辺画像ＣＰを拡大する場合、視線方向上でない周辺画像ＣＰを縮小する例を示したが、視線方向上でない周辺画像ＣＰを縮小せずに表示領域の一部を削除して、当該削除した表示領域に拡大した周辺画像ＣＰを重畳させてもよい。   In the above-described embodiment, when the peripheral image CP in the line-of-sight direction is enlarged, the peripheral image CP that is not in the line-of-sight direction is reduced. However, the peripheral image CP that is not in the line-of-sight direction is reduced. Alternatively, the enlarged peripheral image CP may be superimposed on the deleted display area.

上述の実施形態では、計器表示装置１８が少なくとも車両１０の後方の周辺の画像を含む周辺画像ＣＰを表示する例を示したが、これに限定されない。例えば、中央表示装置２６が、周辺画像ＣＰを表示してもよい。この場合、画像生成部６２は、中央表示装置２６が表示する表示画像ＤＰを生成して、中央表示装置２６に表示させる。中央表示装置２６は、ナビゲーションシステムの道案内等の画像とともに、周辺画像ＣＰを表示してもよい。この場合、中央表示装置２６が、表示装置の一例となる。   In the above-described embodiment, an example in which the instrument display device 18 displays the peripheral image CP including at least the peripheral image behind the vehicle 10 has been described. However, the present invention is not limited to this. For example, the central display device 26 may display the peripheral image CP. In this case, the image generation unit 62 generates a display image DP displayed by the central display device 26 and causes the central display device 26 to display the display image DP. The central display device 26 may display the peripheral image CP together with images such as route guidance of the navigation system. In this case, the central display device 26 is an example of a display device.

本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although the embodiments of the present invention have been described, these embodiments are presented as examples, and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１０…車両
１２…操舵部
１４…方向指示部材
１８…計器表示装置
５０…画像処理装置
５２…画像処理システム
６０…検出部
６２…画像生成部
ＣＰ…周辺画像
ＤＰ…表示画像
ＭＰ…計器画像 DESCRIPTION OF SYMBOLS 10 ... Vehicle 12 ... Steering part 14 ... Direction indication member 18 ... Instrument display apparatus 50 ... Image processing apparatus 52 ... Image processing system 60 ... Detection part 62 ... Image generation part CP ... Peripheral image DP ... Display image MP ... Instrument image

Claims (4)

移動体の運転者の顔または視線の向き、または、方向指示部材が指示する前記移動体の進行方向を検出する検出部と、
前記移動体の進行方向を変更する操舵部よりも前に設けられて画像を表示する表示装置に表示されている前記移動体の後方の周辺の画像を含む周辺画像のうち、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記方向指示部材が指示する前記進行方向側の前記周辺画像の表示形態を変更する画像生成部と、
を備える画像処理装置。 A detection unit for detecting the direction of the face or line of sight of the driver of the moving object, or the traveling direction of the moving object indicated by the direction indicating member;
Of the peripheral images including the peripheral images behind the moving body displayed on the display device that is provided in front of the steering unit that changes the traveling direction of the moving body and displays the image, the face or the line of sight An image generating unit that changes a display form of the peripheral image of the region to which the direction is directed or the peripheral image on the traveling direction side indicated by the direction indicating member;
An image processing apparatus comprising: 前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を拡大して前記表示形態を変更する
請求項１に記載の画像処理装置。 The image processing device according to claim 1, wherein the image generation unit enlarges the peripheral image of the area to which the face or the line of sight is directed or the peripheral image on the traveling direction side to change the display form. . 前記画像生成部は、前記周辺画像の拡大に伴って、前記顔または前記視線が向けられていない領域の前記周辺画像または前記進行方向と異なる側の前記周辺画像を、縮小して空いた領域に前記移動体に関する計測値を示す計器画像を前記表示装置に表示させる
請求項２に記載の画像処理装置。 The image generation unit reduces the peripheral image of the region where the face or the line of sight is not directed or the peripheral image on the side different from the traveling direction to an empty region as the peripheral image is enlarged. The image processing apparatus according to claim 2, wherein an instrument image indicating a measurement value related to the moving object is displayed on the display device. 前記画像生成部は、前記顔または前記視線が向けられた領域の前記周辺画像、または、前記進行方向側の前記周辺画像を明るくして前記表示形態を変更する
請求項１から３のいずれか１項に記載の画像処理装置。 The image generation unit changes the display mode by brightening the peripheral image of the area to which the face or the line of sight is directed or the peripheral image on the traveling direction side. The image processing apparatus according to item.
JP2016220464A 2016-11-11 2016-11-11 Image processing device Pending JP2018076019A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016220464A JP2018076019A (en) 2016-11-11 2016-11-11 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016220464A JP2018076019A (en) 2016-11-11 2016-11-11 Image processing device

Publications (1)

Publication Number Publication Date
JP2018076019A true JP2018076019A (en) 2018-05-17

Family

ID=62148714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016220464A Pending JP2018076019A (en) 2016-11-11 2016-11-11 Image processing device

Country Status (1)

Country Link
JP (1) JP2018076019A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461096A (en) * 2019-01-18 2020-07-28 矢崎总业株式会社 Display device for vehicle
JP2023138257A (en) * 2022-03-18 2023-10-02 デンソーコリア株式会社 Integration control system for vehicle cluster and hud

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (en) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd Vehicle surrounding condition display device
WO2004035352A1 (en) * 2002-10-15 2004-04-29 Tae-Soon Yeo Omnidirectional watching system for vehicle
JP2010116086A (en) * 2008-11-14 2010-05-27 Alpine Electronics Inc On-vehicle display, display method, and display program
JP2014225728A (en) * 2013-05-15 2014-12-04 クラリオン株式会社 Vehicle circumference monitoring device
JP2014229997A (en) * 2013-05-20 2014-12-08 日本精機株式会社 Display device for vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257482A (en) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd Vehicle surrounding condition display device
WO2004035352A1 (en) * 2002-10-15 2004-04-29 Tae-Soon Yeo Omnidirectional watching system for vehicle
JP2010116086A (en) * 2008-11-14 2010-05-27 Alpine Electronics Inc On-vehicle display, display method, and display program
JP2014225728A (en) * 2013-05-15 2014-12-04 クラリオン株式会社 Vehicle circumference monitoring device
JP2014229997A (en) * 2013-05-20 2014-12-08 日本精機株式会社 Display device for vehicle

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461096A (en) * 2019-01-18 2020-07-28 矢崎总业株式会社 Display device for vehicle
JP2020116965A (en) * 2019-01-18 2020-08-06 矢崎総業株式会社 Display device for vehicle
US10984658B2 (en) 2019-01-18 2021-04-20 Yazaki Corporation Vehicle display device for displaying an obstacle warning
JP2023138257A (en) * 2022-03-18 2023-10-02 デンソーコリア株式会社 Integration control system for vehicle cluster and hud

Similar Documents

Publication Publication Date Title
EP2990265B1 (en) Vehicle control apparatus
JP6380002B2 (en) Perimeter monitoring device
CN110945558B (en) Display control device
CN107791951B (en) Display control device
JP2018133712A (en) Periphery monitoring device
US11669230B2 (en) Display control device
JP2010208359A (en) Display device for vehicle
US20200081608A1 (en) Display control device
US11475676B2 (en) Periphery monitoring device
CN113060156B (en) Vehicle surroundings monitoring device, vehicle surroundings monitoring method, and program
US10596966B2 (en) Display device for vehicle and display method for vehicle
JP2018107573A (en) Visual confirmation device for vehicle
JP2018076019A (en) Image processing device
JP6488628B2 (en) Video processing apparatus and in-vehicle video processing system
WO2018101274A1 (en) Safety confirmation device
EP3525455B1 (en) Periphery monitoring device
CN111194396A (en) Driving support device
CN111201788A (en) Image processing apparatus
JP2018186432A (en) Display controller
US11153510B2 (en) Display control device
JP7159598B2 (en) Perimeter monitoring device
JP6772716B2 (en) Peripheral monitoring device
US20210309148A1 (en) Peripheral monitoring apparatus
JP2018186387A (en) Display controller
JP2017038202A (en) Display device for vehicle and display method for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210406