JP2017165218A

JP2017165218A - Display control device for vehicle, display system for vehicle, display control method for vehicle, and program

Info

Publication number: JP2017165218A
Application number: JP2016051385A
Authority: JP
Inventors: 泉佐伯; Izumi Saeki
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2016-03-15
Filing date: 2016-03-15
Publication date: 2017-09-21
Anticipated expiration: 2036-03-15
Also published as: JP6575404B2

Abstract

PROBLEM TO BE SOLVED: To enable proper confirmation of the vehicle periphery according to a travel state.SOLUTION: A display control device for a vehicle comprises: a rear video data acquisition part 42; a side rear video data acquisition part 41; a segmenting part 50 for segmenting a first range and a second range which are parts of first video data, and second range; a determination part 60 for determining a travel state of a vehicle; a selection part 70 for, on the basis of the travel state determined by the determination part 60, selecting any one video data out of second video data, the second range segmented by the segmenting part 50, and video data in the second range; and a display control part 90 for displaying the video data selected by the selection part 70 on a right side monitor 150 and on a left side monitor 160, and displaying the video segmented as the first range on a rear view monitor 140. The selection part 70 selects the second video data when the determination part 60 determines that the vehicle is stopped and there is possibility that an occupant gets off the vehicle.SELECTED DRAWING: Figure 3

Description

本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。 The present invention relates to a vehicle display control device, a vehicle display system, a vehicle display control method, and a program.

車両の後方を確認するルームミラーや左右サイドミラーに代わって、車両の後方周辺領域を撮影する後方カメラからの映像を表示したり、車両の側方周辺領域を撮影した側方カメラからの映像を表示したりする技術が知られている（例えば、特許文献１参照）。 Instead of rear view mirrors and left and right side mirrors to check the rear of the vehicle, display images from the rear camera that captures the area around the rear of the vehicle, and images from the side camera that captures the area around the side of the vehicle. The technique of displaying is known (for example, refer patent document 1).

特開２０１５−００９６４６号公報JP-A-2015-009646

ところで、運転者は、車両の走行状況に応じて、車両の側方を確認したい場合や、車両の側方より後方を優先して確認したい場合がある。そこで、走行状況に応じて適切な車両周辺の確認を可能にする技術が望まれている。 By the way, the driver may want to check the side of the vehicle according to the traveling state of the vehicle, or may want to check the vehicle with priority over the side of the vehicle. Therefore, a technology that enables appropriate confirmation of the periphery of the vehicle in accordance with the traveling situation is desired.

本発明は、上記に鑑みてなされたものであって、走行状況に応じて適切な車両周辺の確認を可能とすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to enable appropriate confirmation of the vicinity of a vehicle in accordance with a traveling situation.

上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得部と、前記車両の側方に配置され、前記車両の側後方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得部と、前記後方映像データ取得部が取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切り出す切出部と、前記車両の乗員の降車可能性を判断する判断部と、前記判断部が判断した降車可能性に基づき、前記側後方映像データ取得部が取得した前記第二映像データと、前記切出部が切り出した前記第二範囲の映像データとからいずれか一方の映像データを選択する選択部と、前記選択部が選択した映像データを、前記車両の側方の映像を表示するサイドモニタに表示させ、前記第一範囲として切り出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させる表示制御部と備えることを特徴とする。 In order to solve the above-described problems and achieve the object, a vehicle display control device according to the present invention acquires first video data from a rear camera that is disposed behind a vehicle and captures the rear of the vehicle. A rear video data acquisition unit, a side rear video data acquisition unit that is arranged on the side of the vehicle and acquires second video data from a side rear camera that captures the side rear of the vehicle, and the rear video data acquisition unit Determines a first range that is a part of the first video data acquired by the vehicle and a cut-out unit that cuts out a second range located to the side of the first range, and determines whether the occupant of the vehicle can get off the vehicle. Based on the determination unit, the second video data acquired by the side rear video data acquisition unit based on the possibility of getting off determined by the determination unit, and the video data of the second range cut out by the cutout unit. Select one of the video data And a video data selected by the selection unit is displayed on a side monitor that displays a side image of the vehicle, and a video clipped as the first range is displayed as a rear image of the vehicle. It is provided with the display control part displayed on a rear view monitor.

本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記後方カメラ、前記側後方カメラ、前記リヤビューモニタ、前記サイドモニタのうち少なくともいずれかを備えることを特徴とする。 A vehicle display system according to the present invention includes the vehicle display control device and at least one of the rear camera, the side rear camera, the rear view monitor, and the side monitor.

本発明に係る車両用表示制御方法は、車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、前記車両の側方に配置され、前記車両の側後方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、前記後方映像データ取得ステップで取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切り出す切出ステップと、前記車両の乗員の降車可能性を判断する判断ステップと、前記判断ステップで判断した降車可能性に基づき、前記側後方映像データ取得ステップで取得した前記第二映像データと、前記切出ステップで切り出した前記第二範囲の映像データとからいずれか一方の映像データを選択する選択ステップと、前記選択ステップで選択した映像データを、前記車両の側方の映像を表示するサイドモニタに表示させ、前記第一範囲として切り出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させる表示制御ステップとを含む。 A vehicle display control method according to the present invention includes a rear image data acquisition step for acquiring first image data from a rear camera that is disposed behind a vehicle and captures the rear of the vehicle, and is disposed on a side of the vehicle. A side rear video data acquisition step for acquiring second video data from a side rear camera that captures the side rear of the vehicle, and a part of the first video data acquired in the rear video data acquisition step. A cutting step for cutting out one range and a second range located to the side of the first range, a determining step for determining the possibility of getting off the vehicle occupant, and the possibility of getting off in the determining step Based on the second video data acquired in the side rear video data acquisition step and the video data in the second range cut out in the cutout step The selection step to select, and the video data selected in the selection step are displayed on a side monitor that displays a side image of the vehicle, and the image cut out as the first range is displayed as a rear image of the vehicle And a display control step for displaying on the rear view monitor.

本発明に係るプログラムは、車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、前記車両の側方に配置され、前記車両の側後方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、前記後方映像データ取得ステップで取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切り出す切出ステップと、前記車両の乗員の降車可能性を判断する判断ステップと、前記判断ステップで判断した降車可能性に基づき、前記側後方映像データ取得ステップで取得した前記第二映像データと、前記切出ステップで切り出した前記第二範囲の映像データとからいずれか一方の映像データを選択する選択ステップと、前記選択ステップで選択した映像データを、前記車両の側方の映像を表示するサイドモニタに表示させ、前記第一範囲として切り出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させる表示制御ステップとを車両用表示制御装置として動作するコンピュータに実行させる。 A program according to the present invention is arranged at a rear of a vehicle, and is arranged at a rear video data acquisition step of acquiring first video data from a rear camera that captures the rear of the vehicle, and is arranged at a side of the vehicle, A side rear video data acquisition step of acquiring second video data from a side rear camera that captures the side rear, a first range that is a part of the first video data acquired in the rear video data acquisition step, Based on the cutting step of cutting out the second range located to the side of the first range, the determining step of determining the possibility of getting off the vehicle occupant, and the possibility of getting off in the determining step, the side One of the video data is selected from the second video data acquired in the rear video data acquisition step and the video data in the second range cut out in the cutting step. A rear view for displaying a selection step and a video image selected in the selection step on a side monitor that displays an image of a side of the vehicle, and displaying an image cut out as the first range as a rear image of the vehicle A display control step to be displayed on the monitor is executed by a computer operating as a vehicle display control device.

本発明によれば、走行状況に応じて適切な車両周辺の確認を可能にすることができるという効果を奏する。 Advantageous Effects of Invention According to the present invention, there is an effect that it is possible to check an appropriate vehicle periphery according to a traveling situation.

図１は、実施形態に係る車両用表示システムの構成例を示す概略図である。FIG. 1 is a schematic diagram illustrating a configuration example of a vehicle display system according to an embodiment. 図２は、実施形態に係る車両用表示システムの構成例を示す概略図である。FIG. 2 is a schematic diagram illustrating a configuration example of the vehicle display system according to the embodiment. 図３は、実施形態に係る車両用表示システムの構成例を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration example of the vehicle display system according to the embodiment. 図４は、実施形態に係る車両用表示システムの構成例を示す概略図である。FIG. 4 is a schematic diagram illustrating a configuration example of the vehicle display system according to the embodiment. 図５は、実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。FIG. 5 is a diagram illustrating an example of video data captured by the rear camera of the vehicle display system according to the embodiment. 図６は、実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。FIG. 6 is a diagram illustrating an example of an image displayed on the rear view monitor, the right side monitor, and the left side monitor of the vehicle display system according to the embodiment. 図７は、実施形態に係る車両用表示システムの後方カメラで撮影された映像データの他の例を示す図である。FIG. 7 is a diagram illustrating another example of the video data captured by the rear camera of the vehicle display system according to the embodiment. 図８は、実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。FIG. 8 is a flowchart illustrating a flow of processing in the control unit of the vehicle display control device of the vehicle display system according to the embodiment. 図９は、実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。FIG. 9 is a diagram illustrating another example of an image displayed on the rear view monitor, the right side monitor, and the left side monitor of the vehicle display system according to the embodiment. 図１０は、実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。FIG. 10 is a diagram illustrating another example of an image displayed on the rear view monitor, the right side monitor, and the left side monitor of the vehicle display system according to the embodiment.

以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。 Exemplary embodiments of a vehicle display control device 10, a vehicle display system 1, a vehicle display control method, and a program according to the present invention will be described below in detail with reference to the accompanying drawings. In addition, this invention is not limited by the following embodiment.

［実施形態］
車両用表示システム１は、車両１００に搭載され、適切に車両周辺を表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図３は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。 [Embodiment]
The vehicle display system 1 is mounted on the vehicle 100 and appropriately displays the periphery of the vehicle. FIG. 1 is a schematic diagram illustrating a configuration example of a vehicle display system according to the first embodiment. FIG. 2 is a schematic diagram illustrating a configuration example of the vehicle display system according to the first embodiment. FIG. 3 is a block diagram illustrating a configuration example of the vehicle display system according to the first embodiment.

図１ないし図３に示すように、車両用表示システム１は、後方カメラ１１０と、右側方カメラ（側後方カメラ）１２０と、左側方カメラ（側後方カメラ）１３０と、リヤビューモニタ１４０と、右サイドモニタ１５０と、左サイドモニタ１６０と、認識辞書記憶部２００と、車両用表示制御装置１０とを有する。 As shown in FIGS. 1 to 3, the vehicle display system 1 includes a rear camera 110, a right side camera (side rear camera) 120, a left side camera (side rear camera) 130, a rear view monitor 140, It has a side monitor 150, a left side monitor 160, a recognition dictionary storage unit 200, and a vehicle display control device 10.

後方カメラ１１０は、車両１００の後方に配置され、車両１００の後方を撮影する。後方カメラ１１０は、リヤビューモニタ１４０による確認範囲を含んだ範囲を撮影する。後方カメラ１１０は、右側方カメラ１２０および左側方カメラ１３０の死角を含んだ範囲を撮影する。図４、図５を用いて、後方カメラ１１０の撮影範囲を説明する。図４は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。図５は、第一実施形態に係る車両用表示システムの後方カメラで撮影された映像データの一例を示す図である。後方カメラ１１０は、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。具体的には、後方カメラ１１０は、図５に示すような、第一映像データ１１０Ａを撮影している。後方カメラ１１０は、リヤビューモニタ１４０に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ１４０を用いて車両１００の運転者が適切に後方を認識できるような範囲としての第一範囲ＡＣを切り出してリヤビューモニタ１４０に表示する。図４、図５に示すように、第一映像データ１１０Ａは、リヤビューモニタ１４０による確認範囲である第一範囲ＡＣと、右サイドモニタ１５０および左サイドモニタ１６０による確認範囲である第二範囲ＡＲ、第二範囲ＡＬとを含む。第一範囲ＡＣと第二範囲ＡＲとは、一部が重複している。第一範囲ＡＣと第二範囲ＡＬとは、一部が重複している。本実施形態では、第一映像データ１１０Ａは、第一範囲ＡＣと第二範囲ＡＲと第二範囲ＡＬとの外側をさらに含んでいる。言い換えると、後方カメラ１１０は、通常時、リヤビューモニタ１４０や右サイドモニタ１５０および左サイドモニタ１６０に表示されない範囲を含んで撮影している。後方カメラ１１０は、撮影した第一映像データ１１０Ａを車両用表示制御装置１０の映像データ取得部４０の後方映像データ取得部４２へ出力する。 The rear camera 110 is disposed behind the vehicle 100 and photographs the rear of the vehicle 100. The rear camera 110 captures a range including a confirmation range by the rear view monitor 140. The rear camera 110 captures a range including the blind spots of the right side camera 120 and the left side camera 130. The imaging range of the rear camera 110 will be described with reference to FIGS. FIG. 4 is a schematic diagram illustrating a configuration example of the vehicle display system according to the first embodiment. FIG. 5 is a diagram illustrating an example of video data captured by the rear camera of the vehicle display system according to the first embodiment. The rear camera 110 has an angle of view in the horizontal direction of, for example, 90 to 180 °, and an angle of view in the vertical direction of, for example, 45 to 90 °. Specifically, the rear camera 110 captures the first video data 110A as shown in FIG. The rear camera 110 can capture a wider range of video than the range displayed on the rear view monitor 140, but the first range is a range that allows the driver of the vehicle 100 to properly recognize the rear using the rear view monitor 140. The AC is cut out and displayed on the rear view monitor 140. As shown in FIGS. 4 and 5, the first video data 110A includes a first range AC that is a confirmation range by the rear view monitor 140, a second range AR that is a confirmation range by the right side monitor 150 and the left side monitor 160, Including the second range AL. The first range AC and the second range AR partially overlap. The first range AC and the second range AL partially overlap. In the present embodiment, the first video data 110A further includes the outside of the first range AC, the second range AR, and the second range AL. In other words, the rear camera 110 normally takes a picture including a range not displayed on the rear view monitor 140, the right side monitor 150, and the left side monitor 160. The rear camera 110 outputs the captured first video data 110 </ b> A to the rear video data acquisition unit 42 of the video data acquisition unit 40 of the vehicle display control device 10.

右側方カメラ１２０は、車両１００の右側方に配置され、車両１００の右側方を撮影する。右側方カメラ１２０は、右サイドモニタ１５０による確認範囲を撮影する。右側方カメラ１２０は、図４に示すような、撮影範囲ＳＲを撮影している。右側方カメラ１２０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。右側方カメラ１２０は、角度調節自在である。右側方カメラ１２０は、撮影した第二映像データを車両用表示制御装置１０の映像データ取得部４０の側後方映像データ取得部４１へ出力する。 The right side camera 120 is disposed on the right side of the vehicle 100 and photographs the right side of the vehicle 100. The right side camera 120 captures a confirmation range by the right side monitor 150. The right-side camera 120 captures an imaging range SR as shown in FIG. The right side camera 120 has a horizontal angle of view of, for example, 15 to 45 °, and a vertical angle of view of, for example, 15 to 45 °. The right camera 120 is adjustable in angle. The right-side camera 120 outputs the captured second video data to the side rear video data acquisition unit 41 of the video data acquisition unit 40 of the vehicle display control device 10.

左側方カメラ１３０は、車両１００の左側方に配置され、車両１００の左側方を撮影する。左側方カメラ１３０は、左サイドモニタ１６０による確認範囲を撮影する。左側方カメラ１３０は、図４に示すような、撮影範囲ＳＬを撮影している。左側方カメラ１３０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。左側方カメラ１３０は、角度調節自在である。左側方カメラ１３０は、撮影した第二映像データを車両用表示制御装置１０の映像データ取得部４０の側後方映像データ取得部４１へ出力する。 The left side camera 130 is disposed on the left side of the vehicle 100 and photographs the left side of the vehicle 100. The left side camera 130 captures a confirmation range by the left side monitor 160. The left side camera 130 captures an imaging range SL as shown in FIG. The left camera 130 has a horizontal angle of view of, for example, 15 to 45 °, and a vertical angle of view of, for example, 15 to 45 °. The left camera 130 is adjustable in angle. The left side camera 130 outputs the captured second video data to the side rear video data acquisition unit 41 of the video data acquisition unit 40 of the vehicle display control device 10.

リヤビューモニタ１４０は、一例としては電子ルームミラーである。リヤビューモニタ１４０を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ１４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。リヤビューモニタ１４０は、車両用表示制御装置１０の表示制御部９０から出力された映像信号に基づき、車両１００の後方映像を表示する。具体的に、リヤビューモニタ１４０は、図６に示すような後方映像を表示する。図６は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の一例を示す図である。リヤビューモニタ１４０は、側方において、右サイドモニタ１５０および左サイドモニタ１６０の一部と重複して表示している。リヤビューモニタ１４０は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ１４０は、ウィンドシールド１０１の車幅方向の中央上部に配置されている。 The rear view monitor 140 is an electronic room mirror as an example. When the rear view monitor 140 is used as an electronic room mirror, it does not matter whether there is a half mirror for confirming the rear by optical reflection. The rear view monitor 140 is a display including, for example, a liquid crystal display (LCD) or an organic EL (Organic Electro-Luminescence) display. The rear view monitor 140 displays a rear image of the vehicle 100 based on the video signal output from the display control unit 90 of the vehicle display control device 10. Specifically, the rear view monitor 140 displays a rear image as shown in FIG. FIG. 6 is a diagram illustrating an example of an image displayed on the rear view monitor, the right side monitor, and the left side monitor of the vehicle display system according to the first embodiment. The rear view monitor 140 overlaps and displays a part of the right side monitor 150 and the left side monitor 160 on the side. The rear view monitor 140 is disposed at a position that is easily visible to the driver. In the present embodiment, the rear view monitor 140 is disposed at the center upper portion of the windshield 101 in the vehicle width direction.

右サイドモニタ１５０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドモニタ１５０は、車両用表示制御装置１０の表示制御部９０から出力された映像信号に基づき、車両１００の右側後方映像を表示する。具体的に、右サイドモニタ１５０は、通常表示時は、図６に示すような右側後方映像を表示する。右サイドモニタ１５０は、車両１００の右側方の車体１００Ｒの映り込みにより後方視界が阻害される範囲がある。右サイドモニタ１５０は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ１５０は、ダッシュボード１０２の車幅方向の右側に配置されている。 The right side monitor 150 is a display including a liquid crystal display or an organic EL display, for example. The right side monitor 150 displays a right rear video of the vehicle 100 based on the video signal output from the display control unit 90 of the vehicle display control device 10. Specifically, the right side monitor 150 displays a right rear image as shown in FIG. 6 during normal display. The right side monitor 150 has a range in which the rear view is hindered by the reflection of the vehicle body 100R on the right side of the vehicle 100. The right side monitor 150 is disposed at a position that is easily visible to the driver. In the present embodiment, the right side monitor 150 is disposed on the right side of the dashboard 102 in the vehicle width direction.

左サイドモニタ１６０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含むディスプレイである。左サイドモニタ１６０は、車両用表示制御装置１０の表示制御部９０から出力された映像信号に基づき、車両１００の左側後方映像を表示する。具体的に、左サイドモニタ１６０は、通常表示時は、図６に示すような左側後方映像を表示する。左サイドモニタ１６０は、車両１００の左側方の車体１００Ｌの映り込みにより後方視界が阻害される範囲がある。左サイドモニタ１６０は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ１６０は、ダッシュボード１０２の車幅方向の左側に配置されている。 The left side monitor 160 is a display including a liquid crystal display or an organic EL display, for example. The left side monitor 160 displays a left rear video of the vehicle 100 based on the video signal output from the display control unit 90 of the vehicle display control device 10. Specifically, the left side monitor 160 displays a left rear video as shown in FIG. 6 during normal display. The left side monitor 160 has a range in which the rear view is hindered by the reflection of the vehicle body 100 </ b> L on the left side of the vehicle 100. The left side monitor 160 is disposed at a position that is easily visible to the driver. In the present embodiment, the left side monitor 160 is disposed on the left side of the dashboard 102 in the vehicle width direction.

認識辞書記憶部２００は、例えば、四輪車、二輪車、人を含む移動体の正面視などの形状、大きさ、色などのパターンを照合可能な認識辞書を記憶している。認識辞書記憶部２００は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。 The recognition dictionary storage unit 200 stores, for example, a recognition dictionary that can collate patterns such as a front view of a moving body including a four-wheeled vehicle, a two-wheeled vehicle, and a person, such as shape, size, and color. The recognition dictionary storage unit 200 is, for example, a semiconductor memory element such as a random access memory (RAM), a read only memory (ROM), or a flash memory, or an external storage device via a hard disk, an optical disk, or a network. It is a storage device.

図３に戻って、車両用表示制御装置１０は、記憶部２０と、制御部３０とを有する。制御部３０は、映像データ取得部４０と、切出部５０と、判断部６０と、選択部７０と、検出部８０と、表示制御部９０とを含む。 Returning to FIG. 3, the vehicle display control apparatus 10 includes a storage unit 20 and a control unit 30. The control unit 30 includes a video data acquisition unit 40, a cutout unit 50, a determination unit 60, a selection unit 70, a detection unit 80, and a display control unit 90.

記憶部２０は、車両用表示制御装置１０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部２０は、例えば、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスク、ネットワークを介した外部記憶装置などの記憶装置である。 The storage unit 20 stores data and various processing results required for various processes in the vehicle display control apparatus 10. The storage unit 20 is, for example, a semiconductor memory device such as a ROM or a flash memory, or a storage device such as a hard disk, an optical disk, or an external storage device via a network.

制御部３０は、例えば、ＣＰＵ（Central Processing Unit）などで構成された演算処理装置である。制御部３０は、映像データ取得部４０と、切出部５０と、判断部６０と、選択部７０と、検出部８０と、表示制御部９０とを含む。制御部３０は、記憶部２０に記憶されているプログラムに含まれる命令を実行する。 The control unit 30 is an arithmetic processing unit configured with, for example, a CPU (Central Processing Unit). The control unit 30 includes a video data acquisition unit 40, a cutout unit 50, a determination unit 60, a selection unit 70, a detection unit 80, and a display control unit 90. The control unit 30 executes instructions included in the program stored in the storage unit 20.

映像データ取得部４０は、車両１００の後方および側後方を撮影した映像を取得する。映像データ取得部４０が取得する映像データは、例えば、毎秒１２０フレームの画像が連続した映像データである。映像データ取得部４０は、側後方映像データ取得部４１と、後方映像データ取得部４２とを有する。側後方映像データ取得部４１は、右側方カメラ１２０および左側方カメラ１３０が出力した第二映像データを取得する。側後方映像データ取得部４１は、取得した第二映像データを切出部５０に出力する。後方映像データ取得部４２は、後方カメラ１１０が出力した第一映像データ１１０Ａを取得する。後方映像データ取得部４２は、取得した第一映像データ１１０Ａを切出部５０および検出部８０に出力する。 The video data acquisition unit 40 acquires a video obtained by photographing the rear and side rear of the vehicle 100. The video data acquired by the video data acquisition unit 40 is, for example, video data in which images of 120 frames per second are continuous. The video data acquisition unit 40 includes a side rear video data acquisition unit 41 and a rear video data acquisition unit 42. The side rear video data acquisition unit 41 acquires the second video data output by the right side camera 120 and the left side camera 130. The side rear video data acquisition unit 41 outputs the acquired second video data to the cutout unit 50. The rear video data acquisition unit 42 acquires the first video data 110 </ b> A output from the rear camera 110. The rear video data acquisition unit 42 outputs the acquired first video data 110A to the cutout unit 50 and the detection unit 80.

切出部５０は、第一映像データ１１０Ａから、第一範囲ＡＣを切り出す。より詳しくは、切出部５０は、第一映像データ１１０Ａの一部である第一範囲ＡＣを切り出す。第一映像データ１１０Ａのどの範囲を第一範囲ＡＣとするかは、あらかじめ記憶部２０に記憶されている。本実施形態では、第一範囲ＡＣは、第一映像データ１１０Ａの中央部とする。 The cutout unit 50 cuts out the first range AC from the first video data 110A. More specifically, the cutout unit 50 cuts out the first range AC that is a part of the first video data 110A. Which range of the first video data 110A is the first range AC is stored in the storage unit 20 in advance. In the present embodiment, the first range AC is the central portion of the first video data 110A.

切出部５０は、第二映像データから、右サイドモニタ１５０および左サイドモニタ１６０に合わせた第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を切り出す。右サイドモニタ１５０に表示される映像データは、右側方カメラ１２０が撮影した第二映像データを切り出さずに表示してもよく、第一右映像データ１１０Ｒ１として切り出したデータを表示してもよい。左サイドモニタ１６０に表示される映像データは、左側方カメラ１３０が撮影した第二映像データを切り出さずに表示してもよく、第一左映像データ１１０Ｌ１として切り出したデータを表示してもよい。 The cutout unit 50 cuts out the first right video data 110R1 and the first left video data 110L1 that match the right side monitor 150 and the left side monitor 160 from the second video data. The video data displayed on the right side monitor 150 may be displayed without cutting out the second video data captured by the right side camera 120, or may be displayed as the first right video data 110R1. The video data displayed on the left side monitor 160 may be displayed without cutting out the second video data captured by the left side camera 130, or the data cut out as the first left video data 110L1 may be displayed.

切出部５０は、第一映像データ１１０Ａから、第二範囲ＡＲおよび第二範囲ＡＬを切り出す。より詳しくは、切出部５０は、第一映像データ１１０Ａの第一範囲ＡＣの側方に位置する第二範囲ＡＲを第二右映像データ１１０Ｒ２として切り出す。切出部５０は、第一映像データ１１０Ａの第一範囲ＡＣの側方に位置する第二範囲ＡＬを第二左映像データ１１０Ｌ２として切り出す。第一映像データ１１０Ａのどの範囲を第二範囲ＡＲおよび第二範囲ＡＬとするかは、あらかじめ記憶部２０に記憶されている。 The cutout unit 50 cuts out the second range AR and the second range AL from the first video data 110A. More specifically, the cutout unit 50 cuts out the second range AR located on the side of the first range AC of the first video data 110A as the second right video data 110R2. The cutout unit 50 cuts out the second range AL located on the side of the first range AC of the first video data 110A as the second left video data 110L2. Which range of the first video data 110A is set as the second range AR and the second range AL is stored in the storage unit 20 in advance.

本実施形態では、図５に示すように、第二範囲ＡＲおよび第二範囲ＡＬは、その上下方向の中心軸線が、第一範囲ＡＣの上下方向の中心軸線と一致している。 In the present embodiment, as shown in FIG. 5, the second range AR and the second range AL have their vertical center axes aligned with the vertical center axis of the first range AC.

または、図７に示すように、第二範囲ＡＲ１および第二範囲ＡＬ１は、その上下方向の中心軸線が、第一範囲ＡＣの上下方向の中心軸線より下方に位置付けられていてもよい。 Alternatively, as illustrated in FIG. 7, the second range AR1 and the second range AL1 may have their vertical center axes positioned below the vertical center axis of the first range AC.

このように構成された切出部５０は、切り出した第一右映像データ１１０Ｒ１と第一左映像データ１１０Ｌ１と第二右映像データ１１０Ｒ２と第二左映像データ１１０Ｌ２と切り出した後方映像データ１１０Ｃとを選択部７０に出力する。 The cutout unit 50 configured as described above cuts out the first right video data 110R1, the first left video data 110L1, the second right video data 110R2, the second left video data 110L2, and the cut out rear video data 110C. The data is output to the selection unit 70.

判断部６０は、例えば、車速と乗員の降車可能性を判断する情報とを取得する。乗員の降車可能性を判断する情報とは、例えば、車両１００のドアロック解除または車両１００のドアの車内側ノブへの接触または車両１００のドアの車内側ノブへの操作または乗員に装着されていたシートベルトの解除操作の少なくもいずれかまたはこれらの組み合わせである。判断部６０は、車両１００が停止し、かつ、車両１００から乗員が降車する降車可能性があるか否かを判断する。この場合の車両１００の停止とは、車速がゼロの完全な停止に加えて、減速により例えば車速が５ｋｍ／ｈ未満となったときから、停止とみなしてもよい。降車予定の乗員に対して、完全な停止直前から適切に車両１００周辺の確認を可能とさせるためである。判断部６０は、判断結果を選択部７０に出力する。 The determination unit 60 acquires, for example, information for determining the vehicle speed and the possibility of the passenger getting off. The information for determining the possibility of the passenger getting off is, for example, unlocking the door of the vehicle 100, contacting the door knob of the door of the vehicle 100 or operating the door knob of the door of the vehicle 100 or being attached to the passenger. The seat belt release operation is at least either one or a combination thereof. The determination unit 60 determines whether or not there is a possibility that the vehicle 100 stops and the passenger gets out of the vehicle 100. The stop of the vehicle 100 in this case may be regarded as a stop when, for example, the vehicle speed becomes less than 5 km / h due to deceleration in addition to a complete stop where the vehicle speed is zero. This is because it is possible to appropriately confirm the periphery of the vehicle 100 immediately before a complete stop for a passenger who is scheduled to get off. The determination unit 60 outputs the determination result to the selection unit 70.

より詳しくは、判断部６０は、車速がゼロ、かつ、車両１００のドアロック解除が検出された場合、降車可能性ありと判断する。言い換えると、判断部６０は、車両１００の停止後に車両１００のドアロック解除されたことが検出された場合、降車可能性ありと判断する。または、判断部６０は、車速がゼロ、かつ、車両１００のドアの車内側ノブへの接触が検出された場合、降車可能性ありと判断する。言い換えると、判断部６０は、車両１００の停止後に車両１００のドアの車内側ノブへの接触が検出された場合、降車可能性ありと判断する。または、判断部６０は、車速がゼロ、かつ、車両１００のドアの車内側ノブへの操作が検出された場合、降車可能性ありと判断する。言い換えると、判断部６０は、車両１００の停止後に車両１００のドアの車内側ノブへの操作が検出された場合、降車可能性ありと判断する。または、判断部６０は、車速がゼロ、かつ、乗員に装着されていたシートベルトの解除操作が検出された場合、降車可能性ありと判断する。言い換えると、判断部６０は、車両１００の停止後に乗員に装着されていたシートベルトの解除操作が検出された場合、降車可能性ありと判断する。判断部６０は、上記を複数組み合わせて、降車可能性ありと判断してもよい。判断部６０で降車可能性ありと判断される状態は、上記に限定されない。具体的には例えば、判断部６０は、車両１００の現在地がナビゲーションシステムに設定された目的地であることが検出された場合、降車可能性ありと判断してもよい。 More specifically, the determination unit 60 determines that there is a possibility of getting off when the vehicle speed is zero and the door lock release of the vehicle 100 is detected. In other words, the determination unit 60 determines that there is a possibility of getting off when it is detected that the door lock of the vehicle 100 is released after the vehicle 100 stops. Alternatively, the determination unit 60 determines that there is a possibility of getting off when the vehicle speed is zero and the contact of the door of the vehicle 100 with the inner knob of the vehicle 100 is detected. In other words, the determination unit 60 determines that there is a possibility of getting off when the contact of the door of the vehicle 100 with the inner knob of the vehicle 100 is detected after the vehicle 100 stops. Alternatively, the determination unit 60 determines that there is a possibility of getting off when the vehicle speed is zero and an operation on the inner knob of the door of the vehicle 100 is detected. In other words, the determination unit 60 determines that there is a possibility of getting off when an operation on the inner knob of the door of the vehicle 100 is detected after the vehicle 100 stops. Alternatively, the determination unit 60 determines that there is a possibility of getting off when the vehicle speed is zero and the release operation of the seat belt worn by the occupant is detected. In other words, the determination unit 60 determines that there is a possibility of getting off when the release operation of the seat belt worn by the passenger after the stop of the vehicle 100 is detected. The determination unit 60 may determine that there is a possibility of getting off by combining a plurality of the above. The state in which the determination unit 60 determines that there is a possibility of getting off is not limited to the above. Specifically, for example, the determination unit 60 may determine that there is a possibility of getting off when it is detected that the current location of the vehicle 100 is the destination set in the navigation system.

選択部７０は、判断部６０で車両１００が停止し、かつ、降車可能性ありと判断された場合、第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を選択する。選択部７０は、判断部６０で車両１００が停止し、かつ、降車可能性ありと判断されていない場合、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を選択する。言い換えると、選択部７０は、通常時に、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を選択する。選択部７０は、選択結果を表示制御部９０に出力する。 The selection unit 70 selects the second right video data 110R2 and the second left video data 110L2 when the determination unit 60 determines that the vehicle 100 stops and there is a possibility of getting off. The selection unit 70 selects the first right video data 110R1 and the first left video data 110L1 when the determination unit 60 stops the vehicle 100 and it is not determined that there is a possibility of getting off. In other words, the selection unit 70 selects the first right video data 110R1 and the first left video data 110L1 at the normal time. The selection unit 70 outputs the selection result to the display control unit 90.

検出部８０は、第一映像データ１１０Ａの移動体を検出する。検出部８０は、第一映像データ１１０Ａにおいて、移動体認識を行い、移動体を認識する認識部８１を有する。認識部８１は、第一映像データ１１０Ａに対して、認識辞書記憶部２００が記憶している認識辞書を用いたパターンマッチングを行い、移動体の存在を検出する。認識部８１は、フレームごとの第一映像データ１１０Ａにおける移動体の大きさの変化に基づき、移動体が車両１００に近接しているか離接しているかを認識する。検出部８０は、検出結果を表示制御部９０に出力する。 The detection unit 80 detects a moving body of the first video data 110A. The detection unit 80 includes a recognition unit 81 that performs moving body recognition and recognizes a moving body in the first video data 110A. The recognition unit 81 performs pattern matching on the first video data 110 </ b> A using the recognition dictionary stored in the recognition dictionary storage unit 200 to detect the presence of the moving object. The recognizing unit 81 recognizes whether the moving body is close to or away from the vehicle 100 based on the change in the size of the moving body in the first video data 110A for each frame. The detection unit 80 outputs the detection result to the display control unit 90.

表示制御部９０は、通常時の通常表示処理として、後方映像データ１１０Ｃをリヤビューモニタ１４０に表示させる。表示制御部９０は、選択部７０で選択された映像データを、右サイドモニタ１５０および左サイドモニタ１６０に表示させる。より詳しくは、表示制御部９０は、通常時の通常表示処理として、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を、右サイドモニタ１５０および左サイドモニタ１６０に表示させる。表示制御部９０は、判断部６０で所定条件を満たすと判断された場合、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を、右サイドモニタ１５０および左サイドモニタ１６０に表示させる。 The display control unit 90 displays the rear video data 110C on the rear view monitor 140 as normal display processing at normal times. The display control unit 90 displays the video data selected by the selection unit 70 on the right side monitor 150 and the left side monitor 160. More specifically, the display control unit 90 displays the first right video data 110R1 and the first left video data 110L1 on the right side monitor 150 and the left side monitor 160 as normal display processing at normal times. When the determination unit 60 determines that the predetermined condition is satisfied, the display control unit 90 causes the right side monitor 150 and the left side monitor 160 to display the first right video data 110R1 and the first left video data 110L1.

次に、図８を用いて、制御部３０における処理の流れについて説明する。図８は、第一実施形態に係る車両用表示システムの車両用表示制御装置の制御部における処理の流れを示すフローチャートである。この処理は、車両用表示システム１の起動中実行される。 Next, the flow of processing in the control unit 30 will be described with reference to FIG. FIG. 8 is a flowchart showing the flow of processing in the control unit of the vehicle display control apparatus of the vehicle display system according to the first embodiment. This process is executed while the vehicle display system 1 is activated.

制御部３０は、判断部６０で、車両１００が停止していると判断されたか否かを判定する（ステップＳ３１）。 The control unit 30 determines whether or not the determination unit 60 determines that the vehicle 100 is stopped (step S31).

制御部３０は、判断部６０で、車両１００が停止していないと判断された場合（ステップＳ３１でＮｏ）、ステップＳ３６に進む。 When the determination unit 60 determines that the vehicle 100 is not stopped (No in step S31), the control unit 30 proceeds to step S36.

制御部３０は、判断部６０で、車両１００が停止していると判断された場合（ステップＳ３１でＹｅｓ）、ステップＳ３２に進む。 If the determination unit 60 determines that the vehicle 100 is stopped (Yes in step S31), the control unit 30 proceeds to step S32.

制御部３０は、判断部６０で、乗員降車可能性ありと判断されたか否かを判定する（ステップＳ３２）。 The control unit 30 determines whether or not the determination unit 60 determines that there is a possibility that the passenger gets out of the vehicle (step S32).

制御部３０は、判断部６０で、乗員降車可能性なしと判断された場合（ステップＳ３２でＮｏ）、ステップＳ３６に進む。 If it is determined by the determination unit 60 that there is no possibility that the passenger will get off (No in step S32), the control unit 30 proceeds to step S36.

制御部３０は、判断部６０で、乗員降車可能性ありと判断された場合（ステップＳ３２でＹｅｓ）、ステップＳ３３に進む。 If the determination unit 60 determines that there is a possibility that the passenger will get off (Yes in step S32), the control unit 30 proceeds to step S33.

制御部３０は、右サイドモニタ１５０および左サイドモニタ１６０に表示する映像として、第二範囲ＡＲおよび第二範囲ＡＬの第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を選択させ表示させる（ステップＳ３３）。より詳しくは、制御部３０は、選択部７０で、第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を選択し、表示制御部９０で、右サイドモニタ１５０および左サイドモニタ１６０に対して、第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示させる。 The control unit 30 selects and displays the second right video data 110R2 and the second left video data 110L2 in the second range AR and the second range AL as videos to be displayed on the right side monitor 150 and the left side monitor 160 (step S40). S33). More specifically, the control unit 30 selects the second right video data 110R2 and the second left video data 110L2 by the selection unit 70, and the display control unit 90 selects the right side monitor 150 and the left side monitor 160, The second right video data 110R2 and the second left video data 110L2 are displayed.

制御部３０は、第二範囲ＡＲまたは第二範囲ＡＬに近接移動体検出と判断されたか否かを判定する（ステップＳ３４）。より詳しくは、制御部３０は、認識部８１で、第二範囲ＡＲまたは第二範囲ＡＬに移動体（後方移動体）が検出され、かつ、移動体が車両１００に近接していると判断した場合、第二範囲ＡＲまたは第二範囲ＡＬに近接移動体が検出されたと判定する。 The control unit 30 determines whether it is determined that the proximity moving body is detected in the second range AR or the second range AL (step S34). More specifically, the control unit 30 determines that the moving body (rear moving body) is detected in the second range AR or the second range AL in the recognition unit 81 and that the moving body is close to the vehicle 100. In this case, it is determined that the proximity moving body is detected in the second range AR or the second range AL.

制御部３０は、第二範囲ＡＲまたは第二範囲ＡＬに近接移動体検出と判断されなかった場合（ステップＳ３４でＮｏ）、ステップＳ３１に戻って処理を繰り返す。 If it is not determined that the proximity moving body is detected in the second range AR or the second range AL (No in step S34), the control unit 30 returns to step S31 and repeats the process.

制御部３０は、第二範囲ＡＲまたは第二範囲ＡＬに近接移動体検出と判断された場合（ステップＳ３４でＹｅｓ）、ステップＳ３５に進む。 When it is determined that the proximity moving body is detected in the second range AR or the second range AL (Yes in step S34), the control unit 30 proceeds to step S35.

制御部３０は、警告を行い（ステップＳ３５）、ステップＳ３１に戻って処理を継続する。より詳しくは、制御部３０は、表示制御部９０で、ステップＳ３４で近接移動体が検出された側（以下、「検出側」という）の右サイドモニタ１５０または左サイドモニタ１６０に、文字やアイコンなどの警告表示を表示させる。または、制御部３０は、表示制御部９０で、検出側の右サイドモニタ１５０または左サイドモニタ１６０に、第二範囲ＡＲまたは第二範囲ＡＬを点滅させた警告表示を表示させ、かつ、スピーカーで音声を出力させてもよい。または、制御部３０は、表示制御部９０で、検出側の車両１００のドア後端内側の照明を点灯させ、近接移動体にドアの開操作を認識させてもよい。さらに、制御部３０は、検出側と、判断部６０で乗員降車可能性ありと判断された側とが一致した場合、警告を行うようにしてもよい。より詳しくは、制御部３０は、検出側と、車両１００のドアロック解除が検出された側とが一致した場合、警告を行うようにしてもよい。または、制御部３０は、検出側と、車両１００のドアの車内側ノブへの接触が検出された側とが一致した場合、警告を行うようにしてもよい。または、制御部３０は、検出側と、車両１００のドアの車内側ノブへの操作が検出された側とが一致した場合、警告を行うようにしてもよい。または、制御部３０は、検出側と、乗員に装着されていたシートベルトの解除操作が検出された側とが一致した場合、警告を行うようにしてもよい。 The control unit 30 issues a warning (step S35), returns to step S31, and continues the process. More specifically, the control unit 30 displays characters and icons on the right side monitor 150 or the left side monitor 160 on the side (hereinafter referred to as “detection side”) where the proximity moving body is detected in step S34 in the display control unit 90. A warning display such as is displayed. Alternatively, the control unit 30 causes the display control unit 90 to display a warning display in which the second range AR or the second range AL blinks on the detection-side right side monitor 150 or the left side monitor 160, and a speaker. Audio may be output. Alternatively, the control unit 30 may cause the display control unit 90 to turn on the illumination on the inner side of the rear end of the door of the vehicle 100 on the detection side and cause the proximity moving body to recognize the opening operation of the door. Furthermore, the control unit 30 may issue a warning when the detection side matches the side determined by the determination unit 60 as being likely to get out of the passenger. More specifically, the control unit 30 may issue a warning when the detection side matches the side where the door lock release of the vehicle 100 is detected. Alternatively, the control unit 30 may issue a warning when the detection side matches the side where the contact of the door of the vehicle 100 with the inner knob is detected. Alternatively, the control unit 30 may issue a warning when the detection side matches the side where the operation on the inner knob of the door of the vehicle 100 is detected. Alternatively, the control unit 30 may issue a warning when the detection side matches the side where the release operation of the seat belt worn by the occupant is detected.

制御部３０は、現在の右サイドモニタ１５０および左サイドモニタ１６０が第二範囲ＡＲおよび第二範囲ＡＬの第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示しているか否かを判定する（ステップＳ３６）。 The control unit 30 determines whether the current right side monitor 150 and the left side monitor 160 are displaying the second right video data 110R2 and the second left video data 110L2 in the second range AR and the second range AL. (Step S36).

制御部３０は、現在の右サイドモニタ１５０および左サイドモニタ１６０が第二範囲ＡＲおよび第二範囲ＡＬの第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示していないと判断された場合（ステップＳ３６でＮｏ）、処理を終了する。 When the control unit 30 determines that the current right side monitor 150 and the left side monitor 160 are not displaying the second right video data 110R2 and the second left video data 110L2 in the second range AR and the second range AL. (No in step S36), the process ends.

制御部３０は、現在の右サイドモニタ１５０および左サイドモニタ１６０が第二範囲ＡＲおよび第二範囲ＡＬの第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示していると判断された場合（ステップＳ３６でＹｅｓ）、ステップＳ３７に進む。 When the control unit 30 determines that the current right side monitor 150 and the left side monitor 160 are displaying the second right video data 110R2 and the second left video data 110L2 in the second range AR and the second range AL. (Yes in step S36), the process proceeds to step S37.

制御部３０は、右サイドモニタ１５０および左サイドモニタ１６０に表示する映像として、側後方映像データ取得部４１が取得した第二映像データを選択させ表示させる（ステップＳ３７）。より詳しくは、制御部３０は、選択部７０で、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を選択させる。そして、表示制御部９０で、右サイドモニタ１５０および左サイドモニタ１６０に対して、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を表示させる。 The control unit 30 selects and displays the second video data acquired by the side rear video data acquisition unit 41 as the video to be displayed on the right side monitor 150 and the left side monitor 160 (step S37). More specifically, the control unit 30 causes the selection unit 70 to select the first right video data 110R1 and the first left video data 110L1. Then, the display control unit 90 causes the right side monitor 150 and the left side monitor 160 to display the first right video data 110R1 and the first left video data 110L1.

具体的には、第二範囲ＡＲおよび第二範囲ＡＬが図５に示すように設定されている場合、制御部３０は、図９に示すように、右サイドモニタ１５０および左サイドモニタ１６０に第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示させる。図９は、第一実施形態に係る車両用表示システムのリヤビューモニタと右サイドモニタと左サイドモニタとに表示される映像の他の例を示す図である。 Specifically, when the second range AR and the second range AL are set as shown in FIG. 5, the control unit 30 sets the first range monitor 150 and the left side monitor 160 to the first range as shown in FIG. 9. Two right video data 110R2 and second left video data 110L2 are displayed. FIG. 9 is a diagram illustrating another example of an image displayed on the rear view monitor, the right side monitor, and the left side monitor of the vehicle display system according to the first embodiment.

または、第二範囲ＡＲ１および第二範囲ＡＬ１が図７に示すように設定されている場合、制御部３０は、図１０に示すように、右サイドモニタ１５０および左サイドモニタ１６０に第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示させる。 Alternatively, when the second range AR1 and the second range AL1 are set as shown in FIG. 7, the control unit 30 displays the second right video on the right side monitor 150 and the left side monitor 160 as shown in FIG. Data 110R2 and second left video data 110L2 are displayed.

このようにして、車両用表示システム１は、判断部６０で判断した車両１００の走行状況に基づき、選択部７０が選択した映像データを、右サイドモニタ１５０および左サイドモニタ１６０に表示させる。 In this manner, the vehicle display system 1 displays the video data selected by the selection unit 70 on the right side monitor 150 and the left side monitor 160 based on the traveling state of the vehicle 100 determined by the determination unit 60.

上述したように、本実施形態に係る車両用表示システム１は、判断部６０で判断した車両１００の走行状況に基づき、選択部７０が選択した映像データを、右サイドモニタ１５０および左サイドモニタ１６０に表示させる。このように、車両用表示システム１は、車両１００の走行状況に基づき、適切な映像データを右サイドモニタ１５０および左サイドモニタ１６０に表示することができる。具体的には、車両用表示システム１は、車両１００が所定速度以上を所定時間以上継続している場合、右サイドモニタ１５０および左サイドモニタ１６０に第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示する。これにより、車両１００が所定速度以上を所定時間以上継続している場合、車両１００の死角を含まない第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２で後方を側方より優先して確認することができる。これに対して、通常時は、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１で車両１００の側方を確認することができる。このように、車両用表示システム１は、走行状況に応じて適切な車両１００周辺の確認を可能にすることができる。 As described above, the vehicular display system 1 according to the present embodiment uses the right side monitor 150 and the left side monitor 160 based on the video data selected by the selection unit 70 based on the traveling state of the vehicle 100 determined by the determination unit 60. To display. Thus, the vehicle display system 1 can display appropriate video data on the right side monitor 150 and the left side monitor 160 based on the traveling state of the vehicle 100. Specifically, when the vehicle 100 continues at a predetermined speed or higher for a predetermined time or longer, the vehicle display system 1 displays the second right video data 110R2 and the second left video data on the right side monitor 150 and the left side monitor 160. 110L2 is displayed. As a result, when the vehicle 100 continues at a predetermined speed or more for a predetermined time or more, the rear is prioritized and confirmed by the second right video data 110R2 and the second left video data 110L2 that do not include the blind spot of the vehicle 100. be able to. On the other hand, at the normal time, the side of the vehicle 100 can be confirmed from the first right video data 110R1 and the first left video data 110L1. As described above, the vehicle display system 1 can enable appropriate confirmation of the periphery of the vehicle 100 in accordance with the traveling state.

上述したように、本実施形態に係る車両用表示システム１は、判断部６０で判断した車両１００の走行状況に基づき、選択部７０が選択した映像データを、右サイドモニタ１５０および左サイドモニタ１６０に表示させる。このように、車両用表示システム１は、車両１００の走行状況に基づき、適切な右サイドモニタ１５０および左サイドモニタ１６０の表示をすることができる。具体的には、車両用表示システム１は、車両１００が停止し、かつ、降車可能性がある場合、右サイドモニタ１５０および左サイドモニタ１６０に第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示する。これにより、車両１００が停止し、かつ、降車可能性がある場合、車両１００の死角を含まない第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２で後方を側方より優先して確認することができる。これに対して、通常時は、第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１で車両１００の側方を確認することができる。このため、車両用表示システム１は、走行状況に応じて適切な車両１００周辺の確認を可能にすることができる。 As described above, the vehicular display system 1 according to the present embodiment uses the right side monitor 150 and the left side monitor 160 based on the video data selected by the selection unit 70 based on the traveling state of the vehicle 100 determined by the determination unit 60. To display. Thus, the vehicle display system 1 can display the appropriate right side monitor 150 and left side monitor 160 based on the traveling state of the vehicle 100. Specifically, when the vehicle 100 stops and there is a possibility of getting off, the vehicle display system 1 displays the second right video data 110R2 and the second left video data 110L2 on the right side monitor 150 and the left side monitor 160. Is displayed. As a result, when the vehicle 100 stops and there is a possibility of getting off, the second right video data 110R2 and the second left video data 110L2 that do not include the blind spot of the vehicle 100 are confirmed with priority over the side. Can do. On the other hand, at the normal time, the side of the vehicle 100 can be confirmed from the first right video data 110R1 and the first left video data 110L1. For this reason, the display system 1 for vehicles can make it possible to confirm the vicinity of the vehicle 100 appropriately according to the traveling state.

車両用表示システム１は、乗員降車可能性があり、かつ、第二範囲ＡＲまたは第二範囲ＡＬに近接移動体が検出された場合、乗員に近接移動体があることを報知したり、近接移動体にドアが開操作されたことを報知したりする。これにより、車両用表示システム１は、乗員降車時に乗員の安全を確保することができる。 The vehicle display system 1 may notify the occupant that there is a proximity moving body when there is a possibility that the occupant gets off and a proximity moving body is detected in the second range AR or the second range AL. Inform the body that the door has been opened. Thereby, the display system 1 for vehicles can ensure a passenger | crew's safety at the time of a passenger | crew getting off.

上述した実施形態においては、選択部７０は、判断部６０で車両１００が停止し、かつ、降車可能性ありと判断された場合、第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を選択し、それ以外においては第一右映像データ１１０Ｒ１および第一左映像データ１１０Ｌ１を選択した。判断部６０は、乗員の降車可能性を左右独立して判断してもよい。この場合、選択部７０は、映像データの選択を左右独立して行う。 In the embodiment described above, the selection unit 70 selects the second right video data 110R2 and the second left video data 110L2 when the determination unit 60 determines that the vehicle 100 stops and there is a possibility of getting off. In other cases, the first right video data 110R1 and the first left video data 110L1 were selected. The determination unit 60 may determine the occupant's possibility of getting off the left and right independently. In this case, the selection unit 70 performs selection of video data independently on the left and right.

判断部６０が、車両１００の右側に着座している乗員の降車可能性ありと判断した場合、または判断部６０が、車両１００の右側のドアロック解除やドアの車内側ノブ操作から乗員の降車可能性ありと判断した場合、選択部７０は、右サイドモニタ１５０に表示する映像として、第二右映像データ１１０Ｒ２を選択する。この場合、左サイドモニタ１６０に表示させる映像は、第一左映像データ１１０Ｌ１の表示が維持される。 When the determination unit 60 determines that there is a possibility that an occupant sitting on the right side of the vehicle 100 may get off, or the determination unit 60 releases the occupant from the door lock release on the right side of the vehicle 100 or the operation of the inner knob of the door. When it is determined that there is a possibility, the selection unit 70 selects the second right video data 110R2 as a video to be displayed on the right side monitor 150. In this case, the video displayed on the left side monitor 160 maintains the display of the first left video data 110L1.

判断部６０が、車両１００の左側に着座している乗員の降車可能性ありと判断した場合、または判断部６０が、車両１００の左側のドアロック解除やドアの車内側ノブ操作から乗員の降車可能性ありと判断した場合、選択部７０は、左サイドモニタ１６０に表示する映像として、第二左映像データ１１０Ｌ２を選択する。この場合、右サイドモニタ１５０に表示させる映像は、第一右映像データ１１０Ｒ１の表示が維持される。 When the determination unit 60 determines that there is a possibility that an occupant sitting on the left side of the vehicle 100 may get off, or when the determination unit 60 releases the door lock on the left side of the vehicle 100 or operates a door inner knob of the door, When it is determined that there is a possibility, the selection unit 70 selects the second left video data 110L2 as a video to be displayed on the left side monitor 160. In this case, the video displayed on the right side monitor 150 maintains the display of the first right video data 110R1.

車両用表示システム１は、乗員の降車可能性ありと判断した場合、車両１００のエンジンが停止後も所定時間、右サイドモニタ１５０および左サイドモニタ１６０の表示を継続するようにしてもよい。車両１００がＥＶ車である場合、右サイドモニタ１５０および左サイドモニタ１６０の表示に要する電力は蓄電池から供給することができる。また、車両用表示システム１は、所定時間経過後、または、乗員の降車が完了し、車両１００がドアロックされたことを検出した場合などに、右サイドモニタ１５０および左サイドモニタ１６０の表示をＯＦＦにする。 When the vehicle display system 1 determines that there is a possibility that the occupant will get off, the display of the right side monitor 150 and the left side monitor 160 may be continued for a predetermined time after the engine of the vehicle 100 stops. When vehicle 100 is an EV vehicle, the power required for display on right side monitor 150 and left side monitor 160 can be supplied from a storage battery. Further, the vehicle display system 1 displays the display on the right side monitor 150 and the left side monitor 160 after a predetermined time has elapsed, or when it is detected that the passenger has exited and the vehicle 100 has been locked. Turn off.

図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。 Each component of the illustrated vehicle display system 1 is functionally conceptual, and may not necessarily be physically configured as illustrated. That is, the specific form of each device is not limited to the one shown in the figure, and all or a part of them is functionally or physically distributed or integrated in arbitrary units according to the processing load or usage status of each device. May be.

車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。 The configuration of the vehicle display system 1 is realized by, for example, a program loaded into a memory as software. The above embodiment has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。 The components described above include those that can be easily assumed by those skilled in the art and those that are substantially the same. Furthermore, the structures described above can be appropriately combined. In addition, various omissions, substitutions, or changes in the configuration can be made without departing from the scope of the present invention.

認識部８１は、図８に示すフローチャートのステップＳ３４において、さらに、車両１００と検出した近接移動体までの距離が所定距離内であるか否かを判定してもよい。車両１００と検出した近接移動体までの距離は、第一映像データ１１０Ａから認識部８１による近接移動体を検出した際に、検出した近接移動体の輪郭に基づく接地位置を特定し、接地位置の第一映像データ１１０Ａにおける位置関係により求めることができる。 In step S34 of the flowchart shown in FIG. 8, the recognition unit 81 may further determine whether or not the distance between the vehicle 100 and the detected proximity moving body is within a predetermined distance. The distance between the vehicle 100 and the detected proximity moving body is determined by identifying the ground contact position based on the detected contour of the proximity mobile body when the recognition unit 81 detects the proximity mobile body from the first video data 110A. It can be obtained from the positional relationship in the first video data 110A.

表示制御部９０は、右サイドモニタ１５０および左サイドモニタ１６０に通常表示処理以外の表示処理を行う場合、通常表示ではないことを運転者などの認識可能に表示させてもよい。具体的には例えば、表示制御部９０は、右サイドモニタ１５０および左サイドモニタ１６０に第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示する場合、所定透明度の半透明で着色して表示してもよい。これにより、車両用表示システム１は、右サイドモニタ１５０および左サイドモニタ１６０に第二右映像データ１１０Ｒ２および第二左映像データ１１０Ｌ２を表示していることを認識させ易くなる。このため、車両用表示システム１は、適切な車両１００周辺の確認を可能にすることができる。 When performing display processing other than the normal display processing on the right side monitor 150 and the left side monitor 160, the display control unit 90 may display that the display is not normal display so that the driver or the like can recognize. Specifically, for example, when displaying the second right video data 110R2 and the second left video data 110L2 on the right side monitor 150 and the left side monitor 160, the display control unit 90 is colored and displayed with a predetermined transparency. May be. Thus, the vehicle display system 1 can easily recognize that the second right video data 110R2 and the second left video data 110L2 are displayed on the right side monitor 150 and the left side monitor 160. For this reason, the display system 1 for vehicles can enable confirmation of the periphery of the suitable vehicle 100. FIG.

１車両用表示システム
１０車両用表示制御装置
３０制御部
４０映像データ取得部
４１側後方映像データ取得部
４２後方映像データ取得部
５０切出部
６０判断部
７０選択部
８０検出部
９０表示制御部
１００車両
１１０後方カメラ
１１０Ａ第一映像データ
１２０右側方カメラ（側後方カメラ）
１３０左側方カメラ（側後方カメラ）
１４０リヤビューモニタ
１５０右サイドモニタ
１６０左サイドモニタ
ＡＣ第一範囲
ＡＲ第二範囲
ＡＬ第二範囲 DESCRIPTION OF SYMBOLS 1 Vehicle display system 10 Vehicle display control apparatus 30 Control part 40 Image | video data acquisition part 41 Side rear image | video data acquisition part 42 Back image | video data acquisition part 50 Cutout part 60 Judgment part 70 Selection part 80 Detection part 90 Display control part 100 Vehicle 110 Rear camera 110A First video data 120 Right side camera (side rear camera)
130 Left side camera (side rear camera)
140 Rear view monitor 150 Right side monitor 160 Left side monitor AC First range AR Second range AL Second range

Claims

車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得部と、
前記車両の側方に配置され、前記車両の側後方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得部と、
前記後方映像データ取得部が取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切り出す切出部と、
前記車両の乗員の降車可能性を判断する判断部と、
前記判断部が判断した降車可能性に基づき、前記側後方映像データ取得部が取得した前記第二映像データと、前記切出部が切り出した前記第二範囲の映像データとからいずれか一方の映像データを選択する選択部と、
前記選択部が選択した映像データを、前記車両の側方の映像を表示するサイドモニタに表示させ、前記第一範囲として切り出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させる表示制御部と
を備えることを特徴とする車両用表示制御装置。 A rear video data acquisition unit that is arranged behind the vehicle and acquires first video data from a rear camera that captures the rear of the vehicle;
A side rear video data acquisition unit that is arranged on the side of the vehicle and acquires second video data from a side rear camera that captures the side rear of the vehicle;
A cutout unit that cuts out a first range that is a part of the first video data acquired by the rear video data acquisition unit and a second range that is located to the side of the first range;
A determination unit for determining the possibility of passengers getting off the vehicle;
One video from the second video data acquired by the side rear video data acquisition unit and the video data of the second range cut out by the cutout unit based on the possibility of getting off the vehicle determined by the determination unit A selection section for selecting data;
The video data selected by the selection unit is displayed on a side monitor that displays a side image of the vehicle, and the video clipped as the first range is displayed on a rear view monitor that displays a rear image of the vehicle. A vehicle display control device comprising: a display control unit.

前記判断部は、前記車両が停止している判断に加えて、前記車両から乗員が降車する降車可能性があるか否かを判断し、
前記選択部は、前記判断部で前記車両が停止し、かつ、前記降車可能性ありと判断された場合、前記切出部が切り出した前記第二範囲の映像データを選択する
請求項１に記載の車両用表示制御装置。 In addition to the determination that the vehicle is stopped, the determination unit determines whether there is a possibility that an occupant gets out of the vehicle,
The said selection part selects the video data of the said 2nd range which the said cut-out part cut out, when the said vehicle stops by the said determination part and it is judged that there is a possibility of alighting. Vehicle display control device.

前記判断部は、前記車両のドアロック解除または前記車両のドアの車内側ノブへの接触検出または前記車両のドアの車内側ノブへの操作検出または前記乗員に装着されていたシートベルトの解除操作のいずれかが検出された場合、前記降車可能性ありと判断する
請求項２に記載の車両用表示制御装置。 The determination unit is configured to release the door lock of the vehicle, detect the contact of the door of the vehicle with the inner knob of the vehicle, detect the operation of the door of the vehicle with the inner knob of the vehicle, or release the seat belt attached to the occupant. The vehicle display control apparatus according to claim 2, wherein when any of the above is detected, it is determined that the vehicle is likely to get off.

前記判断部は、前記車両の乗員の降車可能性を、前記車両の左右方向に対して独立して判断し、
前記選択部は、前記判断部が判断した前記車両の降車可能性に基づき、降車可能性のある方向に対して映像を選択する
請求項１から３のいずれか一項に記載の車両用表示制御装置。 The determination unit independently determines the possibility of a passenger of the vehicle to get off the vehicle in the left-right direction of the vehicle;
The vehicle display control according to any one of claims 1 to 3, wherein the selection unit selects an image with respect to a direction in which there is a possibility of getting off, based on the possibility of getting off the vehicle determined by the determining unit. apparatus.

前記第一映像データにおいて、移動体認識を行い、後方移動体の存在および前記車両に近接しているか否かを検出する検出部を備え、
前記表示制御部は、前記検出部で、前記車両に近接している前記後方移動体を検出した場合、前記車両に近接している前記後方移動体の存在を報知する報知部に報知させる
請求項１から４のいずれか一項に記載の車両用表示制御装置。 In the first video data, a moving body recognition is performed, and a detection unit that detects the presence of a backward moving body and whether or not the vehicle is close to the vehicle,
The said display control part makes the alerting | reporting part alert | reports the presence of the said backward moving body which adjoins to the said vehicle, when the said detection part detects the said backward moving body which adjoins to the said vehicle. The vehicle display control device according to any one of 1 to 4.

前記切出部は、前記側後方映像データ取得部が取得した前記第二映像データに基づき、前記サイドモニタに表示される範囲において前記車両の車体の映り込みにより後方視界が阻害される範囲を含む範囲を前記第二範囲として切り出す
請求項１から５のいずれか一項に記載の車両用表示制御装置。 The cutout unit includes a range in which a rear view is hindered by the reflection of the vehicle body in the range displayed on the side monitor based on the second video data acquired by the side rear video data acquisition unit. The vehicle display control apparatus according to any one of claims 1 to 5, wherein a range is cut out as the second range.

前記切出部は、前記第一範囲の側方端部と前記第二範囲とが一部重なるように切り出す
請求項１から６のいずれか一項に記載の車両用表示制御装置。 The vehicle display control device according to any one of claims 1 to 6, wherein the cutout portion cuts out such that a side end portion of the first range and the second range partially overlap each other.

前記切出部は、前記第二範囲を、前記第一範囲に対して下方に位置するように切り出す
請求項１から７のいずれか一項に記載の車両用表示制御装置。 The vehicle display control device according to any one of claims 1 to 7, wherein the cutout section cuts out the second range so as to be positioned below the first range.

請求項１から８のいずれか一項に記載の車両用表示制御装置と、
前記後方カメラ、前記側後方カメラ、前記リヤビューモニタ、前記サイドモニタのうち少なくともいずれかを備える
ことを特徴とする車両用表示システム。 A vehicle display control device according to any one of claims 1 to 8,
A vehicle display system comprising at least one of the rear camera, the side rear camera, the rear view monitor, and the side monitor.

車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、
前記車両の側方に配置され、前記車両の側後方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、
前記後方映像データ取得ステップで取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切り出す切出ステップと、
前記車両の乗員の降車可能性を判断する判断ステップと、
前記判断ステップで判断した降車可能性に基づき、前記側後方映像データ取得ステップで取得した前記第二映像データと、前記切出ステップで切り出した前記第二範囲の映像データとからいずれか一方の映像データを選択する選択ステップと、
前記選択ステップで選択した映像データを、前記車両の側方の映像を表示するサイドモニタに表示させ、前記第一範囲として切り出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させる表示制御ステップと
を含む車両用表示制御方法。 A rear video data acquisition step that is arranged at the rear of the vehicle and acquires first video data from a rear camera that captures the rear of the vehicle;
A side rear image data acquisition step that is arranged on the side of the vehicle and acquires second image data from a side rear camera that images the side rear of the vehicle;
Cutting out a first range that is a part of the first video data acquired in the rear video data acquisition step, and a second range located to the side of the first range;
A determination step of determining the possibility of passengers getting off the vehicle;
One video from the second video data acquired in the side rear video data acquisition step and the video data in the second range cut out in the extraction step based on the possibility of getting off in the determination step A selection step to select data;
The video data selected in the selection step is displayed on a side monitor that displays a side image of the vehicle, and the video clipped as the first range is displayed on a rear view monitor that displays a rear image of the vehicle. A display control method for a vehicle, comprising: a display control step.

車両の後方に配置され、前記車両の後方を撮影する後方カメラからの第一映像データを取得する後方映像データ取得ステップと、
前記車両の側方に配置され、前記車両の側後方を撮影する側後方カメラからの第二映像データを取得する側後方映像データ取得ステップと、
前記後方映像データ取得ステップで取得した前記第一映像データの一部である第一範囲と、前記第一範囲の側方に位置する第二範囲とを切り出す切出ステップと、
前記車両の乗員の降車可能性を判断する判断ステップと、
前記判断ステップで判断した降車可能性に基づき、前記側後方映像データ取得ステップで取得した前記第二映像データと、前記切出ステップで切り出した前記第二範囲の映像データとからいずれか一方の映像データを選択する選択ステップと、
前記選択ステップで選択した映像データを、前記車両の側方の映像を表示するサイドモニタに表示させ、前記第一範囲として切り出された映像を、前記車両の後方映像を表示するリヤビューモニタに表示させる表示制御ステップと
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。 A rear video data acquisition step that is arranged at the rear of the vehicle and acquires first video data from a rear camera that captures the rear of the vehicle;
A side rear image data acquisition step that is arranged on the side of the vehicle and acquires second image data from a side rear camera that images the side rear of the vehicle;
Cutting out a first range that is a part of the first video data acquired in the rear video data acquisition step, and a second range located to the side of the first range;
A determination step of determining the possibility of passengers getting off the vehicle;
One video from the second video data acquired in the side rear video data acquisition step and the video data in the second range cut out in the extraction step based on the possibility of getting off in the determination step A selection step to select data;
The video data selected in the selection step is displayed on a side monitor that displays a side image of the vehicle, and the video clipped as the first range is displayed on a rear view monitor that displays a rear image of the vehicle. A program for causing a computer that operates as a vehicle display control device to execute the display control step.