JP2010087728A - Image display - Google Patents
Image display Download PDFInfo
- Publication number
- JP2010087728A JP2010087728A JP2008253029A JP2008253029A JP2010087728A JP 2010087728 A JP2010087728 A JP 2010087728A JP 2008253029 A JP2008253029 A JP 2008253029A JP 2008253029 A JP2008253029 A JP 2008253029A JP 2010087728 A JP2010087728 A JP 2010087728A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- information
- display mode
- state information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 38
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 34
- 230000006399 behavior Effects 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 37
- 230000002093 peripheral effect Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、撮影領域の異なる複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラの撮影画像を表示部に表示させる画像表示装置に関するものである。 The present invention relates to an image display device that has a plurality of display modes with different shooting areas and displays on the display unit a shot image of a camera that has shot the periphery of a vehicle in accordance with a selected specific display mode.
従来、車両の速度に従いカメラのズームレンズを駆動して、パン、チルト、ズーム、フォーカスの調整を行い、視野角や俯角などを変更して撮影することが可能な車載カメラがある（例えば、特許文献１参照）。
ところで、車載カメラを用いて車両周辺の撮影画像を表示する車両周辺画像表示装置として、カメラの撮影画像をそのまま表示する通常モード、カメラの撮影画像の一部を拡大した拡大画像を表示する拡大モード、カメラの撮影画像に画像処理を施して、車両上方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードなど、複数の表示モードを切り替えるようにして表示することが可能な車両周辺画像表示装置が実用化されている。 By the way, as a vehicle periphery image display device that displays a captured image around the vehicle using an in-vehicle camera, a normal mode in which the captured image of the camera is displayed as it is, and an expanded mode in which an enlarged image in which a part of the captured image of the camera is enlarged A vehicle peripheral image display device capable of performing display processing by switching a plurality of display modes, such as a bird's-eye view mode in which a bird's-eye view image obtained by performing image processing on a camera-captured image and looking down on the vehicle from above is displayed. It has been put into practical use.
このような車両周辺画像表示装置では、表示モードの切り替えは、運転者による切替スイッチの操作により行うようになっているので、運転者の負担となっている。 In such a vehicle peripheral image display device, the display mode is switched by the operation of the changeover switch by the driver, which is a burden on the driver.
また、上記特許文献１に記載の装置は、各運転者の癖などを考慮して運転動作に適した表示モードが自動で選択されるようになっていない。したがって、運転者が運転に集中したいような状況であっても、運転者が切替スイッチを操作して表示モードの切り替える必要があり、運転者の負担となっている。
In the device described in
本発明は上記点に鑑みたもので、運転者の負担を軽減することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to reduce the burden on the driver.
上記目的を達成するため、請求項１に記載の発明は、複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラの撮影画像を表示部に表示させる画像表示装置であって、車両各部の状態を示す車両状態情報、車両周辺に存在する物体を示す物体検知情報および車両の運転者の挙動を示す運転者挙動情報の少なくとも１つの情報に基づいて車両の運転者により特定の運転動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させる運転動作学習手段と、車両状態情報、物体検知情報、運転者挙動情報の少なくとも１つの情報および記憶媒体に記憶された情報に基づいて特定の運転動作が実施される状況にあると判定した場合、表示モードとして、特定の運転動作に適した表示モードを選択する表示モード選択手段と、を備えたことを特徴としている。
In order to achieve the above object, an invention according to
このような構成によれば、車両状態情報、物体検知情報および運転者挙動情報の少なくとも１つの情報に基づいて車両の運転者により特定の運転動作が実施されたことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、物体検知情報、運転者挙動情報の少なくとも１つの情報および記憶媒体に記憶された情報に基づいて特定の運転動作が実施される状況にあると判定された場合、表示モードとして、特定の運転動作に適した表示モードが選択されるので、表示モードの切り替え操作を行う必要がなく、運転者の負担を軽減することができる。 According to such a configuration, when it is estimated that a specific driving action is performed by the driver of the vehicle based on at least one of the vehicle state information, the object detection information, and the driver behavior information, the specific Information indicating the driving operation of the vehicle is stored in a storage medium, and a specific driving operation is performed based on at least one of vehicle state information, object detection information, and driver behavior information and information stored in the storage medium If it is determined that the display mode is determined, the display mode suitable for the specific driving operation is selected as the display mode. Therefore, it is not necessary to perform the display mode switching operation, and the burden on the driver can be reduced.
また、請求項２に記載の発明は、運転動作学習手段が、車両状態情報を収集し、収集した車両状態情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報および記憶媒体に記憶された情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴としている。
In the invention according to
このような構成によれば、車両状態情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報および記憶媒体に記憶された情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードを運転動作に適した鳥瞰モードとすることができる。 According to such a configuration, when it is estimated that the driver opens the driver's seat door based on the vehicle state information and performs the operation of moving the vehicle backward while checking the rear distance of the vehicle, the specific driving is performed. Information indicating the operation is stored in the storage medium, and based on the vehicle state information and the information stored in the storage medium, the driver opens the driver's seat door and performs the operation of moving the vehicle backward while checking the rear distance of the vehicle. When it is determined that the vehicle is in the situation, a bird's-eye mode that displays a bird's-eye image looking down at the vehicle from the vertical direction is selected as the display mode. That is, if it is determined that the driver is in a situation of performing an operation of moving the vehicle backward while opening the driver's seat door and checking the rear distance of the vehicle, the display mode may be set to a bird's eye view mode suitable for the driving operation. it can.
また、請求項３に記載の発明は、運転動作学習手段は、車両状態情報および運転者挙動情報を収集し、収集した車両状態情報および運転者挙動情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、車両の後方を広角で撮影した広角画像を表示する広角モードを選択することを特徴としている。 According to a third aspect of the present invention, the driving action learning means collects the vehicle state information and the driver behavior information, and the driver turns around based on the collected vehicle state information and the driver behavior information so that the rear of the vehicle When it is estimated that the operation of moving the vehicle backward is performed while checking, information indicating the specific driving operation is learned and stored in the storage medium, and the display mode selection means includes the vehicle state information, the driver behavior information, and the storage. A wide-angle image obtained by shooting the rear of the vehicle at a wide angle as the display mode when it is determined that the driver turns around based on the information stored in the medium and confirms the rear of the vehicle while moving the vehicle backward. The wide-angle mode for displaying is selected.
このような構成によれば、車両状態情報および運転者挙動情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードとして、車両の後方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が振り向いて車両後方を確認しながら車両を後退させる状況にあると判定された場合、表示モードを運転動作に適した広角モードとすることができる。 According to such a configuration, when it is estimated that the driver turns around based on the vehicle state information and the driver behavior information and performs the operation of moving the vehicle backward while checking the rear of the vehicle, the specific driving operation is performed. Is stored in the storage medium, and the driver turns around based on the vehicle state information, the driver behavior information, and the information stored in the storage medium to perform the operation of reversing the vehicle while checking the rear of the vehicle. When it is determined that there is a wide-angle mode in which a wide-angle image obtained by photographing the rear of the vehicle at a wide angle is displayed as the display mode. That is, when it is determined that the driver turns around while checking the rear of the vehicle while turning around, the display mode can be set to a wide-angle mode suitable for driving operation.
また、請求項４に記載の発明は、運転動作学習手段は、車両状態情報および運転者挙動情報を収集し、収集した車両状態情報および運転者挙動情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施する状況にあると判定した場合、表示モードとして、車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードを選択することを特徴としている。 According to a fourth aspect of the present invention, the driving operation learning means collects vehicle state information and driver behavior information, and the driver engages in the turning direction based on the collected vehicle state information and driver behavior information. When it is estimated that the operation of turning the vehicle while confirming is performed, information indicating the specific driving operation is learned and stored in the storage medium, and the display mode selection means includes vehicle state information, driver behavior information, and When it is determined that the driver is performing the operation of turning the vehicle while confirming the entrainment in the turning direction based on the information stored in the storage medium, shooting is performed with the turning direction of the vehicle enlarged as a display mode. It is characterized by selecting an enlargement mode for displaying the enlarged image.
このような構成によれば、車両状態情報および運転者挙動情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施する状況にあると判定した場合、表示モードとして、車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードが選択される。すなわち、運転者が旋回方向の巻き込みを確認しながら車両を旋回させる状況にあると判定した場合、表示モードを運転動作に適した拡大モードとすることができる。 According to such a configuration, when it is estimated that the driver has performed the operation of turning the vehicle while confirming the entrainment in the turning direction based on the vehicle state information and the driver behavior information, the specific driving operation is performed. Is stored in a storage medium, and the driver performs an operation of turning the vehicle based on the vehicle state information, the driver behavior information, and the information stored in the storage medium while checking the entrainment in the turning direction. If it is determined that there is, an enlargement mode for displaying an enlarged image taken by enlarging the turning direction of the vehicle is selected as the display mode. That is, when the driver determines that the vehicle is turning while confirming the involvement in the turning direction, the display mode can be set to an expansion mode suitable for the driving operation.
また、請求項５に記載の発明は、運転動作学習手段は、車両状態情報および運転者挙動情報を収集し、収集した車両状態情報および運転者挙動情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、車両の前方を広角で撮影した広角画像を表示する広角モードを選択することを特徴としている。 In the invention according to claim 5, the driving action learning means collects the vehicle state information and the driver behavior information, and the driver confirms the left-right direction based on the collected vehicle state information and the driver behavior information. If it is estimated that the operation of moving the vehicle forward is performed, information indicating the specific driving operation is learned and stored in the storage medium, and the display mode selection means includes the vehicle state information, the driver behavior information, and the storage medium. When it is determined that the driver is in a situation of performing an operation of moving the vehicle forward while confirming the left-right direction based on the information stored in the display, a wide-angle image obtained by photographing the front of the vehicle at a wide angle is displayed as the display mode It is characterized by selecting the wide angle mode.
このような構成によれば、車両状態情報および運転者挙動情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、運転者挙動情報および記憶媒体に記憶された情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、車両の前方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した広角モードとすることができる。 According to such a configuration, when it is estimated that the driver has performed the operation of moving the vehicle forward while confirming the left-right direction based on the vehicle state information and the driver behavior information, the specific driving operation is indicated. The information is stored in the storage medium, and it is determined that the driver is in a situation of performing the operation of moving the vehicle forward while confirming the left-right direction based on the vehicle state information, the driver behavior information, and the information stored in the storage medium. In this case, a wide-angle mode that displays a wide-angle image obtained by photographing the front of the vehicle at a wide angle is selected as the display mode. That is, when it is determined that the driver is in a state of performing an operation of moving the vehicle forward while confirming the left-right direction, the display mode can be set to a wide-angle mode suitable for the driving operation.
また、請求項６に記載の発明は、運転動作学習手段は、車両状態情報および物体検知情報を収集し、収集した車両状態情報および物体検知情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施したことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させ、表示モード選択手段は、車両状態情報、物体検知情報および記憶媒体に記憶された情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴としている。 Further, in the invention according to claim 6, the driving operation learning means collects the vehicle state information and the object detection information, and the driver confirms the object based on the collected vehicle state information and the object detection information. If it is estimated that the operation to move forward is performed, the information indicating the specific driving operation is learned and stored in the storage medium, and the display mode selection means is the vehicle state information, the object detection information, and the information stored in the storage medium. If the driver determines that the vehicle is moving forward while confirming an object based on the above, it is necessary to select a bird's-eye mode that displays a bird's-eye image looking down on the vehicle from the vertical direction as the display mode. It is a feature.
このような構成によれば、車両状態情報および物体検知情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施したことが推定されると、当該特定の運転動作を示す情報が記憶媒体に記憶され、車両状態情報、物体検知情報および記憶媒体に記憶された情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した鳥瞰モードとすることができる。 According to such a configuration, when it is estimated that the driver has performed an operation of moving the vehicle forward while confirming an object based on the vehicle state information and the object detection information, information indicating the specific driving operation is obtained. Display mode when the driver determines that the vehicle is moving forward while confirming the object based on the vehicle state information, the object detection information, and the information stored in the storage medium. As described above, the bird's-eye view mode for displaying the bird's-eye view image looking down at the vehicle from the vertical direction is selected. That is, when it is determined that the driver is in a state of performing an operation of moving the vehicle forward while confirming an object, the display mode can be set to a bird's-eye view mode suitable for the driving operation.
本発明の一実施形態に係る画像表示装置の構成を図１に示す。本画像表示装置１は、車両の前方を撮影するフロントカメラ１０ａ、車両の後方を撮影するリアカメラ１０ｂ、画像を表示するディスプレイ１１および画像処理ＥＣＵ１２を備えている。また、画像処理ＥＣＵ１２は、多重通信バス２を介してソナーＥＣＵ２０、エンジン制御ＥＣＵ３０、メータ制御ＥＣＵ４０、目線／動作検出ＥＣＵ５０、ボデーＥＣＵ６０等の車載機器と接続されている。
FIG. 1 shows the configuration of an image display apparatus according to an embodiment of the present invention. The
画像処理ＥＣＵ１２は、ＣＰＵ、メモリ、Ｉ／Ｏ用を備えたコンピュータとして構成されており、ＣＰＵはメモリに記憶されたプログラムに従って各種処理を実施する。
The
ソナーＥＣＵ２０は、車両周辺に存在する物体の有無および物体との距離（障害物検知距離）を検出するとともに、車両周辺に存在する物体の有無および障害物検知距離を示す物体検知情報を多重通信バス２を介して画像処理ＥＣＵ１２へ送出する。
The sonar ECU 20 detects the presence / absence of an object existing around the vehicle and the distance (obstacle detection distance) to the object, and also multiplexes object detection information indicating the presence / absence of an object present around the vehicle and the obstacle detection distance. 2 to the
エンジン制御ＥＣＵ３０は、シフトポジションおよびブレーキ制御を検出し、シフトポジションを示す情報およびブレーキのオン、オフ状態を示すブレーキ信号を多重通信バス２を介して画像処理ＥＣＵ１２へ送出する。なお、シフトポジションを示す情報としては、シフトレバーがＲ位置にあることを示すリバース信号と、シフトレバーが前進ギヤ位置（Ｄ位置、ロー位置、セカンド位置）にあることを示すドライブ信号と、シフトレバーがＰ位置にあることを示すパーキング信号と、シフトレバーがＮ位置にあることを示すニュートラル信号などがある。
The
メータ制御ＥＣＵ４０は、運転者によるウィンカー操作に応じて車両の左右のウィンカーを点滅させるとともに、各ウィンカーの点滅状態を示すウィンカー情報を画像処理ＥＣＵ１２へ送出する。
The
目線／動作検出ＥＣＵ５０は、運転席の運転者を撮影する運転席カメラ５０ａより入力される画像に画像認識処理を施して、運転者の目線移動や、左右への振り向き、車両後方への振り向き等の運転者の体の動きを検出し、運転者の挙動を示す運転者挙動情報として画像処理ＥＣＵ１２へ送出する。
The line of sight / motion detection ECU 50 performs image recognition processing on an image input from the driver's
ボデーＥＣＵ６０は、各席のドアの開閉状態を検出するドア開スイッチより入力される各信号に基づいて各席のドアの開閉状態を示すドア開信号を画像処理ＥＣＵ１２へ送出する。
The
本画像表示装置１は、撮影領域の異なる複数の表示モードを有し、選択した特定の表示モードに従って車両周辺を撮影したカメラ１０ａ、１０ｂの撮影画像を表示部に表示させる。
The present
本実施形態における画像表示装置１は、図２に示すように、車両周辺を撮影した画像をそのまま表示する通常モード、車両周辺を広角で撮影した広角画像を表示する広角モード、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モード、車両の左右いずれかの方向を拡大して撮影した拡大画像を表示する左右拡大モードを有している。なお、本実施形態において、左右拡大モードは、車両の左方向を拡大して撮影した拡大画像を表示するものとなっている。
As shown in FIG. 2, the
本画像表示装置１は、車両各部の状態を示す車両状態情報、車両周辺に存在する物体の有無および物体との距離を示す物体検知情報および車両の運転者の挙動を示す運転者挙動に基づいて車両の運転者により特定の運転動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させる運転動作学習処理（運転者癖学習処理）を実施する。
The
この運転者癖学習処理のフローチャートを図３〜図７に示す。本画像表示装置１は、車両のイグニッションスイッチがオンすると動作状態となり、画像処理ＥＣＵ１２は、図３〜図７に示す処理を並行して周期的に実施する。
Flowcharts of this driver heel learning process are shown in FIGS. The
まず、図３に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン１について説明する。
First, according to the flowchart shown in FIG. 3, the driver's
まず、エンジンＥＣＵ３０よりリバース信号を収集し、このリバース信号に基づいてシフトレバーがＲ位置にあるか否かを判定し（Ｓ１００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ１０２）、次に、ボデーＥＣＵ６０よりドア開信号を収集し、このドア開信号に基づいてＤ席（運転席）のドアが開状態か否かを判定する（Ｓ１０４）。
First, a reverse signal is collected from the
ここで、シフトレバーの位置がＲ位置にない場合、あるいは、シフトレバーの位置がＲ位置にあってもブレーキが操作されていない場合、あるいは、シフトレバーの位置がＲ位置にあり、ブレーキが操作されている場合であっても運転席のドアが開状態にされていない場合には、本処理を終了する。 Here, when the position of the shift lever is not at the R position, or when the brake is not operated even when the position of the shift lever is at the R position, or the position of the shift lever is at the R position and the brake is operated. If the door of the driver's seat is not in the open state even if it is, the process is terminated.
また、運転者がシフトレバーの位置をＲ位置にして、運転席ドアを開けながら、ブレーキ操作を行うと、Ｓ１０２〜Ｓ１０６の各判定はＹＥＳとなり、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン１として学習してメモリに記憶させる（Ｓ１０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。
If the driver performs a brake operation while opening the driver's seat door with the shift lever set to the R position, each determination in S102 to S106 is YES, and the driver opens the driver's seat door and the rear of the vehicle. It is presumed that the vehicle has been moved backward while confirming the distance, and information indicating this specific driving operation is learned as
このように、運転者がシフトレバーの位置をＲ位置にして、運転席ドアを開けながら、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。 In this way, when the driver performs a brake operation while opening the driver's seat door with the shift lever at the R position, information indicating this specific driving operation is learned and stored in the memory.
次に、図４に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン２について説明する。
Next, the driver's
まず、エンジンＥＣＵ３０よりリバース信号を収集し、このリバース信号に基づいてシフトレバーがＲ位置にあるか否かを判定し（Ｓ２００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ２０２）、次に、目線／動作検出ＥＣＵ５０より運転者挙動情報を収集し、この運転者挙動情報に基づいて運転者による後方への振り向きがあるか否かを判定する（Ｓ２０４）。
First, a reverse signal is collected from the
ここで、シフトレバーの位置がＲ位置にない場合、あるいは、シフトレバーの位置がＲ位置にあってもブレーキが操作されていない場合、あるいは、シフトレバーの位置がＲ位置にあり、ブレーキが操作されている場合であっても運転席による後方への振り向きが検出されていない場合には、本処理を終了する。 Here, when the position of the shift lever is not at the R position, or when the brake is not operated even when the position of the shift lever is at the R position, or the position of the shift lever is at the R position and the brake is operated. If the backward turning direction by the driver's seat is not detected even in the case where the driver is seated, this processing is terminated.
また、運転者がシフトレバーの位置をＲ位置にして、車両後方へ振り向きながら、ブレーキ操作を行うと、Ｓ２０２〜Ｓ２０６の各判定はＹＥＳとなり、運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン２として学習してメモリに記憶させる（Ｓ２０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。
Further, if the driver performs the brake operation while turning the shift lever to the R position and turning back to the vehicle, each determination in S202 to S206 becomes YES, and the driver turns and confirms the vehicle behind while checking the vehicle. It is presumed that the backward movement operation has been performed, and information indicating this specific driving operation is learned as
このように、運転者がシフトレバーの位置をＲ位置にして、車両後方へ振り向きながら、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。 As described above, when the driver performs a brake operation while turning the shift lever to the R position and turning to the rear of the vehicle, information indicating this specific driving operation is learned and stored in the memory.
次に、図５に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン３について説明する。
Next, the driver's
まず、エンジンＥＣＵ３０よりドライブ信号を収集し、このドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ３００）、次に、メータＥＣＵ４０よりウィンカー情報を収集し、このウィンカー情報に基づいて車両左側のウィンカーへのウィンカー操作があるか否かを判定し（Ｓ３０２）、次に、目線／動作検出ＥＣＵ５０より運転者挙動情報を収集し、この運転者挙動情報に基づいて左方向への目線移動があるか否かを判定する（Ｓ３０４）。
First, a drive signal is collected from the
ここで、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあっても車両左側のウィンカーへのウィンカー操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、車両左側のウィンカーへのウィンカー操作がある場合であっても運転席による左方向への目線移動が検出されていない場合には、本処理を終了する。 Here, when the shift lever is not in the forward gear position, or when the shift lever is in the forward gear position, there is no winker operation to the left side of the vehicle, or the shift lever is in the forward gear position and the left side of the vehicle Even if there is a winker operation to the winker, if the leftward eye movement by the driver's seat is not detected, this processing is terminated.
また、運転者がシフトレバーを前進ギヤ位置にして、左方向へ目線を移動させて、ブレーキ操作を行うと、Ｓ３０２〜Ｓ３０６の各判定はＹＥＳとなり、運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン３として学習してメモリに記憶させる（Ｓ３０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。
Further, when the driver sets the shift lever to the forward gear position, moves the line of sight to the left, and performs a brake operation, each determination of S302 to S306 becomes YES, and the driver confirms the entrainment in the turning direction. It is estimated that the operation of turning the vehicle is performed, and information indicating this specific driving operation is learned as
このように、運転者がシフトレバーを前進ギヤ位置にして、左方向へ目線を移動させて、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。 As described above, when the driver performs the brake operation by moving the line of sight to the left by moving the shift lever to the forward gear position, information indicating this specific driving operation is learned and stored in the memory.
次に、図６に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン４について説明する。
Next, the driver's
まず、エンジンＥＣＵ３０よりドライブ信号を収集し、このドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ４００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ４０２）、次に、目線／動作検出ＥＣＵ５０より運転者挙動情報を収集し、この運転者挙動情報に基づいて運転者による左右へ振り向きがあるか否かを判定する（Ｓ４０６）。
First, a drive signal is collected from the
ここで、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあってもブレーキ操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、ブレーキ操作がある場合であっても、運転者による左右へ振り向きがない場合には、本処理を終了する。 Here, when the shift lever is not at the forward gear position, when there is no brake operation even when the shift lever is at the forward gear position, or when the shift lever is at the forward gear position and there is a brake operation. However, if the driver does not turn to the left or right, the process ends.
また、運転者がシフトレバーを前進ギヤ位置にし、左右へ振り向いてブレーキ操作を行うと、Ｓ４００〜Ｓ４０６の各判定はＹＥＳとなり、運転者が慎重に左右方向を確認しながら車両を前進させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン４として学習してメモリに記憶させる（Ｓ４０８）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。
Further, when the driver turns the shift lever to the forward gear position and turns it to the left and right to perform the brake operation, each determination of S400 to S406 becomes YES, and the driver moves the vehicle forward while carefully checking the left and right direction. It is presumed that it has been implemented, and information indicating this specific driving operation is learned as
このように、障害物が検知されており、運転者がシフトレバーを前進ギヤ位置にし、左右へ振り向いてブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。 As described above, when an obstacle is detected and the driver moves the shift lever to the forward gear position and turns to the left and right to perform a brake operation, information indicating this specific driving operation is learned and stored in the memory.
次に、図７に示すフローチャートに従って、画像処理ＥＣＵ１２による運転者の癖学習パターン５について説明する。
Next, the driver's habit learning pattern 5 by the
まず、エンジンＥＣＵ３０よりドライブ信号を収集し、このドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ５００）、次に、エンジンＥＣＵ３０よりブレーキ信号を収集し、このブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ５０２）、次に、ソナーＥＣＵ２０より物体検知情報を収集し、この物体検知情報に基づいて障害物の検知があるか否かを判定する（Ｓ５０４）。
First, a drive signal is collected from the
ここで、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあってもブレーキ操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、ブレーキ操作がある場合であっても障害物の検知がない場合には、本処理を終了する。 Here, when the shift lever is not at the forward gear position, when there is no brake operation even when the shift lever is at the forward gear position, or when the shift lever is at the forward gear position and there is a brake operation. If no obstacle is detected, the process is terminated.
また、障害物が検知されており、運転者がシフトレバーを前進ギヤ位置にし、ブレーキ操作を行うと、Ｓ５００〜Ｓ５０４の各判定はＹＥＳとなり、運転者が物体を確認しながら車両を前進させる動作を実施したものと推定し、この特定の運転動作を示す情報をパターン５として学習してメモリに記憶させる（Ｓ５０６）。具体的には、この特定の運転動作を示す情報とともにその回数を加算するようにしてメモリに記憶させる。 Further, when an obstacle is detected and the driver sets the shift lever to the forward gear position and performs a brake operation, the determinations in S500 to S504 are YES, and the driver moves the vehicle forward while confirming the object. The information indicating this specific driving operation is learned as pattern 5 and stored in the memory (S506). Specifically, the number of times is added to the information indicating the specific driving operation and stored in the memory.
このように、障害物が検知されており、運転者がシフトレバーを前進ギヤ位置にし、ブレーキ操作を行うと、この特定の運転動作を示す情報が学習されメモリに記憶される。 As described above, when an obstacle is detected and the driver sets the shift lever to the forward gear position and performs a brake operation, information indicating this specific driving operation is learned and stored in the memory.
本実施形態における画像処理ＥＣＵ１２は、車両状態情報、物体検知情報、運転者挙動情報およびメモリに学習して記憶した各特定の運転動作を示す情報（パターン１〜５）に基づいて特定の運転動作が実施される状況にあると判定した場合、表示モードとして、特定の運転動作に適した表示モードを選択する表示モード選択処理を実施する。
The
この表示モード選択処理のフローチャートを、図８、図９に示す。なお、図８は、フロントカメラ１０ａに対する表示モード選択処理を示すフローチャート、図８は、リアカメラ１０ｂに対する表示モード選択処理を示すフローチャートである。画像処理ＥＣＵ１２は、車両のイグニッションスイッチがオンとなり、画像表示装置１が動作状態になると、図８、図９に示す各処理を並行して周期的に実施する。先に、図８に従って、フロントカメラ１０ａに対する表示モード選択処理について説明する。
The flowchart of this display mode selection process is shown in FIGS. 8 is a flowchart showing display mode selection processing for the
まず、エンジンＥＣＵ３０より入力されるドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ６００）、次に、エンジンＥＣＵ３０より入力されるブレーキ信号に基づいてブレーキ操作があるか否かを判定し（Ｓ６０２）、次に、ソナーＥＣＵ２０より入力される物体検知情報に基づいて障害物の検知があるか否かを判定する（Ｓ６０４）。
First, it is determined whether or not the shift lever is in the forward gear position based on a drive signal input from the engine ECU 30 (S600), and then whether there is a brake operation based on a brake signal input from the
ここで、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があり、障害物の検知があると判定された場合、Ｓ６００、Ｓ６０２、Ｓ６０４の各判定はＹＥＳとなり、次に、パターン５としてメモリに記憶された特定の運転動作の回数が予め定められた規定回数（Ｎ回）以上であるか否かを判定する（Ｓ６０６）。すなわち、パターン５としてメモリに記憶された運転者が慎重に物体を確認した運転動作の回数が規定回数以上であるか否かを判定する。 Here, if it is determined that the shift lever is in the forward gear position, the brake operation is performed, and the obstacle is detected, each determination of S600, S602, and S604 is YES, and then stored in the memory as pattern 5 It is determined whether or not the number of specified driving operations is equal to or greater than a predetermined number of times (N times) (S606). That is, it is determined whether or not the number of driving operations in which the driver stored carefully in the memory as the pattern 5 has confirmed the object carefully is equal to or greater than the specified number.
ここで、パターン５としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上である場合、Ｓ６１２の判定はＹＥＳとなり、運転者が慎重に物体を確認する状況にあると判定し、表示モードとして鳥瞰モードを選択し（Ｓ６１２）、本処理を終了する。 Here, when the number of specific driving operations stored in the memory as the pattern 5 is equal to or greater than the prescribed number (N times), the determination in S612 is YES, and it is determined that the driver is in a situation of carefully checking the object. Then, the bird's-eye view mode is selected as the display mode (S612), and this process ends.
これにより、フロントカメラ１０ａにより撮影された撮影画像を鳥瞰変換した画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に鳥瞰モードの画像が表示される。なお、ディスプレイ１１に鳥瞰モード以外の画像が表示されている場合には、鳥瞰モードの画像に自動で切り替わる。
Accordingly, an image obtained by bird's-eye conversion of a photographed image photographed by the
したがって、運転者は、切り替え操作を行うことなく、鳥瞰モードで表示される画像を視認して、慎重に物体を確認しながら運転操作を行うことが可能である。 Therefore, the driver can perform the driving operation while visually confirming the object by visually recognizing the image displayed in the bird's eye view mode without performing the switching operation.
また、シフトレバーが前進ギヤ位置にない場合、あるいは、シフトレバーが前進ギヤ位置にあってもブレーキ操作がない場合、あるいは、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があり、障害物の検知がある場合であっても、パターン５としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満である場合には、表示モードとして通常モードを選択し（Ｓ６１４）、本処理を終了する。 Also, when the shift lever is not in the forward gear position, or when there is no brake operation even when the shift lever is in the forward gear position, or the shift lever is in the forward gear position and there is a brake operation, obstacle detection Even if there is, the normal mode is selected as the display mode when the number of specific driving operations stored in the memory as the pattern 5 is less than the prescribed number (N times) (S614). Exit.
これにより、フロントカメラ１０ａにより撮影された撮影画像がそのまま画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に通常モードの画像が表示される。例えば、ディスプレイ１１に鳥瞰モードの画像が表示されている場合には、通常モードの画像に自動で切り替わる。
As a result, the photographed image photographed by the
また、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があっても、障害物の検知がない場合、Ｓ６０４の判定はＮＯとなり、次に、目線／動作検出ＥＣＵ５０より入力される運転者挙動情報に基づいて運転者による左右へ振り向きがあるか否かを判定する（Ｓ６０８）。 If the shift lever is in the forward gear position and there is no obstacle detected even if there is a braking operation, the determination in S604 is NO, and the driver behavior information input from the eye / motion detection ECU 50 is then displayed. Based on this, it is determined whether or not there is a turning direction left and right by the driver (S608).
ここで、運転者による左右へ振り向きがない場合、Ｓ６０８の判定はＮＯとなり、表示モードとして通常モードを選択する（Ｓ６１４）。 If the driver does not turn left or right, the determination in S608 is NO and the normal mode is selected as the display mode (S614).
また、運転者による左右へ振り向きがある場合、Ｓ６０８の判定はＹＥＳとなり、次に、パターン４としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上であるか否かを判定する（Ｓ６１０）。すなわち、パターン４としてメモリに記憶された運転者が慎重に左右を確認した運転動作の回数が規定回数以上であるか否かを判定する。
If the driver turns left or right, the determination in S608 is YES, and then whether or not the number of specific driving operations stored in the memory as
ここで、パターン４としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上である場合、Ｓ６１０の判定はＹＥＳとなり、運転者が慎重に左右を確認する状況にあると判定し、表示モードとして広角モードを選択し（Ｓ６１６）、本処理を終了する。
Here, when the number of specific driving operations stored in the memory as the
これにより、フロントカメラ１０ａにより車両前方を広角で撮影した広角画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に広角モードの画像が表示される。例えば、ディスプレイ１１に通常モードの画像が表示されている場合には、広角モードの画像に自動で切り替わる。
As a result, a wide-angle image obtained by photographing the front of the vehicle at a wide angle by the
したがって、運転者は、切り替え操作を行うことなく、広角モードで表示される画像を視認して、車両の左右を確認することが可能である。 Therefore, the driver can check the left and right sides of the vehicle by visually recognizing the image displayed in the wide-angle mode without performing a switching operation.
次に、図９に従って、リアカメラ１０ｂに対する表示モード選択処理について説明する。
Next, display mode selection processing for the
まず、エンジンＥＣＵ３０より入力されるドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定し（Ｓ７００）、次に、エンジンＥＣＵ３０より入力されるブレーキ信号に基づいてブレーキ操作があるか否かを判定する（Ｓ７０２）。
First, it is determined whether or not the shift lever is in the forward gear position based on a drive signal input from the engine ECU 30 (S700). Next, whether or not there is a brake operation based on a brake signal input from the
ここで、シフトレバーが前進ギヤ位置にあり、ブレーキ操作がある場合、Ｓ７００、Ｓ７０２の各判定はＹＥＳとなり、次に、パターン１としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上であるか否かを判定する（Ｓ７０４）。すなわち、パターン１としてメモリに記憶された運転者が運転席ドアを開けて後方距離を確認した運転動作の回数が規定回数以上であるか否かを判定する。
Here, when the shift lever is in the forward gear position and there is a brake operation, the determinations in S700 and S702 are YES, and then the number of specific driving operations stored in the memory as
ここで、パターン１としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上である場合、Ｓ７０４の判定はＹＥＳとなり、運転者が運転席ドアを開けて後方距離を確認する状況にあると判定し、表示モードとして鳥瞰モードを選択し（Ｓ７１４）、本処理を終了する。
Here, when the number of specific driving operations stored in the memory as the
これにより、リアカメラ１０ｂにより撮影された撮影画像を鳥瞰変換した画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に鳥瞰モードの画像が表示される。なお、ディスプレイ１１に鳥瞰モード以外の画像が表示されている場合には、鳥瞰モードの画像に自動で切り替わる。
Accordingly, an image obtained by bird's-eye conversion of the photographed image photographed by the
したがって、運転者は、切り替え操作を行うことなく、鳥瞰モードで表示される画像を視認して、車両と物体を確認することが可能である。 Therefore, the driver can check the vehicle and the object by visually recognizing the image displayed in the bird's eye view mode without performing the switching operation.
また、シフトレバーが前進ギヤ位置にあり、ブレーキ操作があっても、パターン１としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満である場合、Ｓ７０４の判定はＮＯとなり、次に、パターン２としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上か否かを判定する（Ｓ７０６）。すなわち、パターン１としてメモリに記憶された運転者が車両後方へ振り向いて後方を確認した運転操作の回数が規定回数以上か否かを判定する。
Even if the shift lever is in the forward gear position and the brake operation is performed, if the number of specific driving operations stored in the memory as
ここで、パターン２としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上の場合、Ｓ７０６の判定はＹＥＳとなり、次に、運転者が車両後方へ振り向いて後方を確認する状況にあると判定し、表示モードとして広角モードを選択し（Ｓ７１６）、本処理を終了する。
Here, when the number of specific driving operations stored in the memory as the
これにより、リアントカメラ１０ｂにより車両周辺を広角で撮影した広角画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に広角モードの画像が表示される。例えば、ディスプレイ１１に通常モードの画像が表示されている場合には、広角モードの画像に自動で切り替わる。
As a result, a wide-angle image obtained by photographing the periphery of the vehicle at a wide angle by the
したがって、運転者は、切り替え操作を行うことなく、広角モードで表示される画像を視認して車両後方を確認することが可能である。 Accordingly, the driver can check the rear of the vehicle by visually recognizing the image displayed in the wide-angle mode without performing a switching operation.
また、パターン２としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満の場合には、Ｓ７０６の判定はＮＯとなり、表示モードとして通常モードを選択し（Ｓ７１８）、本処理を終了する。
If the number of specific driving operations stored in the memory as the
また、シフトレバーが前進ギヤ位置にないと判定された場合、Ｓ７００の判定はＮＯとなり、次に、エンジンＥＣＵ３０より入力されるドライブ信号に基づいてシフトレバーが前進ギヤ位置にあるか否かを判定する（Ｓ７０８）。ここで、シフトレバーが前進ギヤ位置にもない場合、Ｓ７０８の判定はＮＯとなり、Ｓ７１８へ進む。なお、この場合、表示モードは通常モードとなるが、リアカメラ１０ｂの撮影画像の表示は行われない。
If it is determined that the shift lever is not in the forward gear position, the determination in S700 is NO, and then it is determined whether or not the shift lever is in the forward gear position based on the drive signal input from the
また、シフトレバーが前進ギヤ位置にある場合には、Ｓ７０８の判定はＹＥＳとなり、次に、メータ制御ＥＣＵ４０より入力されるウィンカー情報に基づいて左方向へのウィンカー操作があるか否かを判定する（Ｓ７１０）。ここで、左方向へのウィンカー操作がない場合、Ｓ７１０の判定はＮＯとなり、Ｓ７１８へ進む。この場合においても、表示モードは通常モードとなるが、リアカメラ１０ｂの撮影画像の表示は行われない。
If the shift lever is in the forward gear position, the determination in S708 is YES, and then it is determined whether or not there is a winker operation in the left direction based on the winker information input from the
また、左方向へのウィンカー操作がある場合には、Ｓ７１０の判定はＹＥＳとなり、次に、パターン３としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上であるか否かを判定する（Ｓ７１２）。すなわち、パターン３としてメモリに記憶された運転者が車両左方向の巻き込みを確認した運転動作の回数が規定回数以上であるか否かを判定する。
If there is a turn signal operation in the left direction, the determination in S710 is YES, and then whether the number of specific driving operations stored in the memory as
ここで、パターン３としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）以上の場合、Ｓ７１２の判定はＹＥＳとなり、次に、運転者が車両左方向の巻き込みを確認する状況にあると判定し、表示モードとして車両の左後方を拡大した左右拡大モードを選択し（Ｓ７２０）、本処理を終了する。
Here, when the number of specific driving operations stored in the memory as the
これにより、リアカメラ１０ｂにより撮影された車両の左後方を拡大した拡大画像が画像処理ＥＣＵ１２からディスプレイ１１へ送出され、ディスプレイ１１に左後方を拡大した左右拡大モードの画像が表示される。例えば、ディスプレイ１１に通常モードの画像が表示されている場合には、左後方を拡大した左右拡大モードの画像に自動で切り替わる。
As a result, an enlarged image obtained by enlarging the left rear of the vehicle photographed by the
したがって、運転者は、切り替え操作を行うことなく、左後方を拡大した左右拡大モードで表示される画像を視認して車両の左後方を確認することが可能である。 Accordingly, the driver can check the left rear of the vehicle by visually recognizing the image displayed in the left and right enlarged mode in which the left rear is enlarged without performing a switching operation.
なお、パターン３としてメモリに記憶された特定の運転動作の回数が規定回数（Ｎ回）未満の場合には、Ｓ７１２の判定はＮＯとなり、Ｓ７１８へ進む。この場合においても、表示モードは通常モードとなるが、リアカメラ１０ｂの撮影画像の表示は行われない。
When the number of specific driving operations stored in the memory as the
上記した構成によれば、車両状態情報、物体検知情報および運転者挙動情報の少なくとも１つの情報に基づいて車両の運転者により特定の運転動作が実施されたことが推定されると、当該特定の運転動作を示す情報がメモリに記憶され、車両状態情報、物体検知情報、運転者挙動情報の少なくとも１つの情報およびメモリに記憶された情報に基づいて特定の運転動作が実施される状況にあると判定された場合、表示モードとして、特定の運転動作に適した表示モードが選択されるので、表示モードの切り替え操作を行う必要がなく、運転者の負担を軽減することができる。 According to the configuration described above, when it is estimated that a specific driving operation is performed by the driver of the vehicle based on at least one of the vehicle state information, the object detection information, and the driver behavior information, the specific Information indicating the driving operation is stored in the memory, and a specific driving operation is performed based on at least one information of the vehicle state information, the object detection information, and the driver behavior information and the information stored in the memory. When the determination is made, a display mode suitable for a specific driving operation is selected as the display mode, so there is no need to perform a display mode switching operation, and the burden on the driver can be reduced.
また、車両状態情報およびメモリに記憶された情報に基づいて運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードを運転動作に適した鳥瞰モードとすることができる。 Further, when it is determined that the driver is in a situation of performing an operation of moving the vehicle backward while checking the rear distance of the vehicle based on the vehicle state information and the information stored in the memory, the display mode As described above, the bird's-eye view mode for displaying the bird's-eye view image looking down at the vehicle from the vertical direction is selected. That is, if it is determined that the driver is in a situation of performing an operation of moving the vehicle backward while opening the driver's seat door and checking the rear distance of the vehicle, the display mode may be set to a bird's eye view mode suitable for the driving operation. it can.
また、車両状態情報、運転者挙動情報およびメモリに記憶された情報に基づいて運転者が振り向いて車両後方を確認しながら車両を後退させる動作を実施する状況にあると判定された場合、表示モードとして、車両の後方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が振り向いて車両後方を確認しながら車両を後退させる状況にあると判定された場合、表示モードを運転動作に適した広角モードとすることができる。 In addition, when it is determined that the driver turns around based on the vehicle state information, the driver behavior information, and the information stored in the memory and confirms the rear of the vehicle, the vehicle moves backward, and the display mode is set. As described above, a wide-angle mode for displaying a wide-angle image obtained by photographing the rear of the vehicle at a wide angle is selected. That is, when it is determined that the driver turns around while checking the rear of the vehicle while turning around, the display mode can be set to a wide-angle mode suitable for driving operation.
また、車両状態情報、運転者挙動情報およびメモリに記憶された情報に基づいて運転者が旋回方向の巻き込みを確認しながら車両を旋回させる動作を実施する状況にあると判定した場合、表示モードとして、車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードが選択される。すなわち、運転者が旋回方向の巻き込みを確認しながら車両を旋回させる状況にあると判定した場合、表示モードを運転動作に適した拡大モードとすることができる。 Further, when it is determined that the driver is in a state of performing an operation of turning the vehicle while confirming the entrainment in the turning direction based on the vehicle state information, the driver behavior information, and the information stored in the memory, the display mode is set. Then, an enlargement mode for displaying an enlarged image taken by enlarging the turning direction of the vehicle is selected. That is, when it is determined that the driver is turning the vehicle while confirming the involvement in the turning direction, the display mode can be set to an expansion mode suitable for the driving operation.
また、車両状態情報、運転者挙動情報、物体検知情報およびメモリに記憶された情報に基づいて運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、車両の前方を広角で撮影した広角画像を表示する広角モードが選択される。すなわち、運転者が左右方向を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した広角モードとすることができる。 In addition, when it is determined that the driver is in a situation of performing an operation of moving the vehicle forward while confirming the left-right direction based on the vehicle state information, the driver behavior information, the object detection information, and the information stored in the memory, the display As the mode, a wide angle mode for displaying a wide angle image obtained by photographing the front of the vehicle at a wide angle is selected. That is, when it is determined that the driver is in a state of performing an operation of moving the vehicle forward while confirming the left-right direction, the display mode can be set to a wide-angle mode suitable for the driving operation.
また、車両状態情報、物体検知情報およびメモリに記憶された情報に基づいて運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードとして、鉛直方向から車両を見下ろした鳥瞰画像を表示する鳥瞰モードが選択される。すなわち、運転者が物体を確認しながら車両を前進させる動作を実施する状況にあると判定した場合、表示モードを運転動作に適した鳥瞰モードとすることができる。 In addition, when it is determined that the driver is in a situation of performing an operation of moving the vehicle forward while checking the object based on the vehicle state information, the object detection information, and the information stored in the memory, the display mode is set from the vertical direction. A bird's-eye view mode for displaying a bird's-eye view image looking down at the vehicle is selected. That is, when it is determined that the driver is in a state of performing an operation of moving the vehicle forward while confirming an object, the display mode can be set to a bird's-eye view mode suitable for the driving operation.
なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。 In addition, this invention is not limited to the said embodiment, Based on the meaning of this invention, it can implement with a various form.
例えば、上記実施形態では、車両状態情報、運転者挙動情報、物体検知情報を収集し、収集した各情報に基づいて各種運転者による特定の運転動作を推定する構成を示したが、上記実施形態に示した手法に限定されるものではなく、車両状態情報、運転者挙動情報および物体検知情報の少なくとも１つの情報を用いて各種運転者による特定の運転動作を推定することができる。同様に、車両状態情報、運転者挙動情報および物体検知情報の少なくとも１つの情報を用いて各種運転動作に適した表示モードを選択することもできる。 For example, in the above embodiment, the vehicle state information, the driver behavior information, and the object detection information are collected, and the configuration for estimating a specific driving action by various drivers based on each collected information is shown. The method is not limited to the method described above, and a specific driving action by various drivers can be estimated using at least one of vehicle state information, driver behavior information, and object detection information. Similarly, a display mode suitable for various driving operations can be selected using at least one of vehicle state information, driver behavior information, and object detection information.
また、上記実施形態では、特定の運転動作として、運転者が運転席ドアを開けて車両の後方距離を確認しながら車両を後退させる動作、運転者が振り向いて車両後方を確認しながら車両を後退させる動作等を示したが、これらの運転動作に限定されるものではなく、例えば、車両が前進し、ウィンカー操作があり、サイドミラーへの目線移動がある場合に、車線変更前の確認動作を実施したものと推定するようにしてもよい。 In the above embodiment, as the specific driving operation, the driver opens the driver's seat door and moves the vehicle backward while checking the rear distance of the vehicle, and the driver turns around and checks the rear of the vehicle while moving backward. However, it is not limited to these driving operations.For example, when the vehicle moves forward, there is a blinker operation, and there is a line of sight movement to the side mirror, the confirmation operation before the lane change is performed. You may make it estimate with having implemented.
また、上記実施形態では、フロントカメラ１０ａとリアカメラ１０ｂを備えた構成を示したが、このような構成に限定されるものではなく、フロントカメラ１０ａとリアカメラ１０ｂのいずれか１つのみとしてもよく、更に、サイドカメラを備えた構成としてもよい。
In the above-described embodiment, the configuration including the
また、上記実施形態では、各カメラ１０ａ、１０ｂにより撮影された画像をディスプレイ１１に表示させる構成を示したが、各カメラ１０ａ、１０ｂにより撮影された画像を同時に並べてディスプレイ１１に表示させてもよく、各カメラ１０ａ、１０ｂにより撮影された画像を切り替えてディスプレイ１１に表示させてもよい。また、複数のディスプレイを設け、各カメラ１０ａ、１０ｂにより撮影された画像を別々に表示させるようにしてもよい。
In the above embodiment, the configuration is shown in which images taken by the
また、上記実施形態では、図２に示した様に、各カメラ１０ａ、１０ｂに対して、それぞれ４つの表示モードを有する構成を示したが、このような構成に限定されるものではなく、３つ以下の表示モードを有する構成としてもよく、また、５つ以上の表示モードを有する構成としてもよい。
Further, in the above embodiment, as shown in FIG. 2, a configuration having four display modes for each of the
また、上記実施形態では、表示モードを自動で選択する構成を示したが、ユーザ操作に応じてマニュアル操作で表示モードを切り替えることも可能となるように構成してもよい。 In the above-described embodiment, the configuration in which the display mode is automatically selected has been described. However, the display mode may be switched by a manual operation according to a user operation.
また、上記実施形態では、表示モードを自動で選択する構成を示したが、ユーザカスタマイズにより、例えば、後方カメラの左後方画像の拡大のみ行うなど、所望の表示モードのみ選択可能とする、あるいは、規定回数Ｎを可変とする仕組みとしてもよい
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、図３〜図７に示した各フローチャートが運転動作学習手段に相当し、図８、図９に示した各フローチャートが表示モード選択手段に相当し、ディスプレイ１１が表示部に相当し、メモリが記憶媒体に相当する。
In the above embodiment, the configuration in which the display mode is automatically selected has been shown. However, by user customization, for example, only a desired display mode can be selected, for example, only the rear left image of the rear camera is enlarged, or It is good also as a mechanism which makes regulation number N variable. In addition, if the correspondence of the composition in the above-mentioned embodiment and the composition of a claim is explained, each flow chart shown in Drawing 3-Drawing 7 will correspond to driving operation learning means. The flowcharts shown in FIGS. 8 and 9 correspond to the display mode selection means, the
１ 画像表示装置
２ 多重通信バス
１０ａ フロントカメラ
１０ｂ リアカメラ
１１ ディスプレイ
１２ 画像処理ＥＣＵ
２０ ソナーＥＣＵ
３０ エンジン制御ＥＣＵ
４０ メータ制御ＥＣＵ
５０ 目線／動作検出ＥＣＵ
６０ ボデーＥＣＵ
DESCRIPTION OF
20 Sonar ECU
30 Engine control ECU
40 Meter control ECU
50 eyes / motion detection ECU
60 body ECU
Claims (6)
前記車両各部の状態を示す車両状態情報、前記車両周辺に存在する物体を示す物体検知情報および前記車両の運転者の挙動を示す運転者挙動情報の少なくとも１つの情報に基づいて前記車両の運転者により特定の運転動作が実施されたことを推定すると、当該特定の運転動作を示す情報を学習して記憶媒体に記憶させる運転動作学習手段と、
前記車両状態情報、前記物体検知情報、前記運転者挙動情報の少なくとも１つの情報および前記記憶媒体に記憶された前記情報に基づいて前記特定の運転動作が実施される状況にあると判定した場合、前記表示モードとして、前記特定の運転動作に適した表示モードを選択する表示モード選択手段と、を備えたことを特徴とする画像表示装置。 An image display device that has a plurality of display modes, and displays a captured image of a camera that has photographed the periphery of the vehicle according to a selected specific display mode, on a display unit,
The driver of the vehicle based on at least one information of vehicle state information indicating the state of each part of the vehicle, object detection information indicating an object existing around the vehicle, and driver behavior information indicating the behavior of the driver of the vehicle When it is estimated that a specific driving operation is performed, driving operation learning means for learning information indicating the specific driving operation and storing it in a storage medium,
When it is determined that the specific driving operation is performed based on the vehicle state information, the object detection information, at least one of the driver behavior information and the information stored in the storage medium, An image display device comprising: a display mode selection unit that selects a display mode suitable for the specific driving operation as the display mode.
前記表示モード選択手段は、前記車両状態情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が運転席ドアを開けて前記車両の後方距離を確認しながら前記車両を後退させる動作を実施する状況にあると判定した場合、前記表示モードとして、鉛直方向から前記車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴とする請求項１に記載の画像表示装置。 The driving operation learning means collects the vehicle state information, and based on the collected vehicle state information, the driver opens the driver's seat door and checks the rear distance of the vehicle while reversing the vehicle. Assuming that it has been implemented, information indicating the specific driving action is learned and stored in the storage medium,
The display mode selection means performs an operation in which the driver opens the driver's seat door based on the vehicle state information and the information stored in the storage medium and moves the vehicle backward while confirming a rear distance of the vehicle. 2. The image display device according to claim 1, wherein when it is determined that the situation is to be performed, a bird's-eye view mode for displaying a bird's-eye view image looking down on the vehicle from a vertical direction is selected as the display mode.
前記表示モード選択手段は、前記車両状態情報、前記運転者挙動情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が振り向いて前記車両後方を確認しながら前記車両を後退させる動作を実施する状況にあると判定した場合、前記表示モードとして、前記車両の後方を広角で撮影した広角画像を表示する広角モードを選択することを特徴とする請求項１に記載の画像表示装置。 The driving operation learning means collects the vehicle state information and the driver behavior information, and the driver turns around based on the collected vehicle state information and the driver behavior information while checking the rear of the vehicle. When it is estimated that the operation of moving the vehicle backward is performed, information indicating the specific driving operation is learned and stored in the storage medium,
The display mode selection means performs an operation of turning the vehicle backward while checking the rear of the vehicle by turning around based on the vehicle state information, the driver behavior information, and the information stored in the storage medium. 2. The image display device according to claim 1, wherein when it is determined that the situation is to be implemented, a wide-angle mode that displays a wide-angle image obtained by photographing the rear of the vehicle at a wide angle is selected as the display mode.
前記表示モード選択手段は、前記車両状態情報、前記運転者挙動情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が旋回方向の巻き込みを確認しながら前記車両を旋回させる動作を実施する状況にあると判定した場合、前記表示モードとして、前記車両の旋回方向を拡大して撮影した拡大画像を表示する拡大モードを選択することを特徴とする請求項１に記載の画像表示装置。 The driving operation learning means collects the vehicle state information and the driver behavior information, and the vehicle confirms the entrainment in the turning direction based on the collected vehicle state information and the driver behavior information. When it is estimated that the operation of turning the vehicle is performed, information indicating the specific driving operation is learned and stored in the storage medium,
The display mode selection means performs an operation of turning the vehicle while the driver confirms the entrainment in the turning direction based on the vehicle state information, the driver behavior information, and the information stored in the storage medium. 2. The image display apparatus according to claim 1, wherein when it is determined that the vehicle is in a situation to be performed, an enlargement mode for displaying an enlarged image obtained by enlarging the turning direction of the vehicle is selected as the display mode.
前記表示モード選択手段は、前記車両状態情報、運転者挙動情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が左右方向を確認しながら前記車両を前進させる動作を実施する状況にあると判定した場合、前記表示モードとして、前記車両の前方を広角で撮影した広角画像を表示する広角モードを選択することを特徴とする請求項１に記載の画像表示装置。 The driving operation learning means collects the vehicle state information and driver behavior information, and the driver advances the vehicle while confirming a left-right direction based on the collected vehicle state information and driver behavior information. If it is estimated that information has been implemented, information indicating the specific driving action is learned and stored in the storage medium,
The display mode selection means is configured to perform an operation in which the driver advances the vehicle while confirming a left-right direction based on the vehicle state information, driver behavior information, and the information stored in the storage medium. 2. The image display device according to claim 1, wherein when it is determined that there is a wide-angle mode in which a wide-angle image obtained by photographing the front of the vehicle at a wide angle is selected as the display mode.
前記表示モード選択手段は、前記車両状態情報、前記物体検知情報および前記記憶媒体に記憶された前記情報に基づいて前記運転者が前記物体を確認しながら前記車両を前進させる動作を実施する状況にあると判定した場合、前記表示モードとして、鉛直方向から前記車両を見下ろした鳥瞰画像を表示する鳥瞰モードを選択することを特徴とする請求項１に記載の画像表示装置。 The driving operation learning means collects the vehicle state information and the object detection information, and the driver advances the vehicle while confirming the object based on the collected vehicle state information and the object detection information. If it is estimated that information has been implemented, information indicating the specific driving action is learned and stored in the storage medium,
The display mode selection means is configured to perform an operation in which the driver advances the vehicle while confirming the object based on the vehicle state information, the object detection information, and the information stored in the storage medium. 2. The image display device according to claim 1, wherein when it is determined that there is a bird's-eye view mode in which a bird's-eye view image looking down on the vehicle from a vertical direction is selected as the display mode.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008253029A JP5136338B2 (en) | 2008-09-30 | 2008-09-30 | Image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008253029A JP5136338B2 (en) | 2008-09-30 | 2008-09-30 | Image display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010087728A true JP2010087728A (en) | 2010-04-15 |
| JP5136338B2 JP5136338B2 (en) | 2013-02-06 |
Family
ID=42251258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008253029A Active JP5136338B2 (en) | 2008-09-30 | 2008-09-30 | Image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5136338B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002109697A (en) * | 2000-10-02 | 2002-04-12 | Matsushita Electric Ind Co Ltd | Drive support device |
| JP2002331850A (en) * | 2001-05-07 | 2002-11-19 | Nissan Motor Co Ltd | Driving behavior intention detector |
| JP2003246248A (en) * | 2002-02-21 | 2003-09-02 | Mitsubishi Motors Corp | Parking-support apparatus |
| JP2003323113A (en) * | 2002-04-30 | 2003-11-14 | Pioneer Electronic Corp | Picture output control device, method and program for the same, recording medium with the program recorded thereon, and navigation device |
| JP2005186648A (en) * | 2003-12-24 | 2005-07-14 | Nissan Motor Co Ltd | Surrounding visualizing device for vehicle and displaying control device |
| JP2008013070A (en) * | 2006-07-06 | 2008-01-24 | Toyota Motor Corp | Vehicular display device |
-
2008
- 2008-09-30 JP JP2008253029A patent/JP5136338B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002109697A (en) * | 2000-10-02 | 2002-04-12 | Matsushita Electric Ind Co Ltd | Drive support device |
| JP2002331850A (en) * | 2001-05-07 | 2002-11-19 | Nissan Motor Co Ltd | Driving behavior intention detector |
| JP2003246248A (en) * | 2002-02-21 | 2003-09-02 | Mitsubishi Motors Corp | Parking-support apparatus |
| JP2003323113A (en) * | 2002-04-30 | 2003-11-14 | Pioneer Electronic Corp | Picture output control device, method and program for the same, recording medium with the program recorded thereon, and navigation device |
| JP2005186648A (en) * | 2003-12-24 | 2005-07-14 | Nissan Motor Co Ltd | Surrounding visualizing device for vehicle and displaying control device |
| JP2008013070A (en) * | 2006-07-06 | 2008-01-24 | Toyota Motor Corp | Vehicular display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5136338B2 (en) | 2013-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4818816B2 (en) | Parking assistance program and parking assistance device | |
| JP5271154B2 (en) | Image generating apparatus and image display system | |
| JP5064601B2 (en) | In-vehicle video display | |
| JP5087051B2 (en) | Image generating apparatus and image display system | |
| KR101266734B1 (en) | Display apparatus | |
| JP5858650B2 (en) | Image generation apparatus, image display system, and image generation method | |
| US11336839B2 (en) | Image display apparatus | |
| JP4985250B2 (en) | Parking assistance device | |
| JP5209578B2 (en) | Image display device for vehicle | |
| KR20120118073A (en) | Vehicle periphery monitoring device | |
| JP4948115B2 (en) | Rear view device | |
| JP6548900B2 (en) | Image generation apparatus, image generation method and program | |
| US10706292B2 (en) | Information processing apparatus and program | |
| JP2005223524A (en) | Supervisory apparatus for surrounding of vehicle | |
| WO2005084027A1 (en) | Image generation device, image generation program, and image generation method | |
| JP2008013022A (en) | Drive assisting device for vehicle | |
| JP4849333B2 (en) | Visual aids for vehicles | |
| JP2011065520A (en) | Driving support device | |
| JP7102938B2 (en) | Peripheral display device for vehicles | |
| JP2010081245A (en) | Display device for vehicle, and display method | |
| JP7000383B2 (en) | Image processing device and image processing method | |
| JP5136338B2 (en) | Image display device | |
| JPH0963000A (en) | On-vehicle video device | |
| WO2013114871A1 (en) | Driving assistance device and driving assistance method | |
| RU2694877C2 (en) | Image forming and displaying device for vehicle and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121005 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121029 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5136338 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |