JP2022065231A - Imaging device, display for movable body, and driver monitoring system - Google Patents

Imaging device, display for movable body, and driver monitoring system Download PDF

Info

Publication number
JP2022065231A
JP2022065231A JP2020173633A JP2020173633A JP2022065231A JP 2022065231 A JP2022065231 A JP 2022065231A JP 2020173633 A JP2020173633 A JP 2020173633A JP 2020173633 A JP2020173633 A JP 2020173633A JP 2022065231 A JP2022065231 A JP 2022065231A
Authority
JP
Japan
Prior art keywords
driver
visible light
icon
infrared camera
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020173633A
Other languages
Japanese (ja)
Other versions
JP7433188B2 (en
Inventor
大輔 森本
Daisuke Morimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020173633A priority Critical patent/JP7433188B2/en
Publication of JP2022065231A publication Critical patent/JP2022065231A/en
Application granted granted Critical
Publication of JP7433188B2 publication Critical patent/JP7433188B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

To provide an imaging device capable of imaging a front face of a driver even when an infrared camera is not installed at a position that is in front of the driver.SOLUTION: An imaging device includes: an infrared LED 13; a visible light LED 14; a visible light blocking member 15 that transmits infrared light emitted from the infrared LED 13 and blocks visible light emitted from the visible light LED 14; an icon 151 that is provided in the visible light blocking member 15 and is visualized when the visible light LED 14 is turned on; and an infrared camera 12 that uses infrared light from the infrared LED 13 as illumination, and includes a face of an occupant of a movable body facing the icon 151 in an imaging region when being installed on a center portion.SELECTED DRAWING: Figure 1

Description

本開示は、移動体に備えられる撮像装置、移動体用ディスプレイ、および、ドライバモニタリングシステムに関する。 The present disclosure relates to an image pickup device provided in a mobile body, a display for the mobile body, and a driver monitoring system.

いわゆるドライバモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）において、運転者の状況を精度よく検知するためには、運転者を撮像する赤外線カメラが運転者の正面顔を撮像できるようになっていることが好ましい。
そのため、従来、赤外線カメラを運転者の正面に設置するようにした技術が知られている。例えば、特許文献１には、運転者の顔等を撮影可能なモニタ用赤外線カメラを含み、運転者の顔等と対向するように配置される車載撮影装置が開示されている。 In a so-called driver monitoring system (DMS), in order to accurately detect the driver's situation, it is preferable that an infrared camera that captures the driver can capture the driver's front face. ..
Therefore, conventionally, a technique of installing an infrared camera in front of a driver is known. For example, Patent Document 1 discloses an in-vehicle photographing device that includes an infrared camera for a monitor capable of photographing a driver's face or the like and is arranged so as to face the driver's face or the like.

特開２０１９－７７２８３号公報Japanese Unexamined Patent Publication No. 2019-77283

運転者の正面は、運転者の視界、または、インストルメントパネルに設置されているメータ類の視認性等が確保されるようになっている必要がある。そのため、赤外線カメラを設置する場所は限られており、赤外線カメラが運転者の正面となる位置に設置できないことがある。
赤外線カメラが運転者の正面となる位置に設置されていない場合であっても、赤外線カメラが運転者の正面顔を撮像できるようにしなければならないという課題があった。 The front of the driver needs to ensure the driver's field of view or the visibility of the meters installed on the instrument panel. Therefore, the place where the infrared camera is installed is limited, and the infrared camera may not be installed in a position in front of the driver.
Even if the infrared camera is not installed in front of the driver, there is a problem that the infrared camera must be able to capture the front face of the driver.

本開示は、上記のような課題を解決するためになされたもので、赤外線カメラが運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮像できるようにした撮像装置を提供することを目的とする。 This disclosure is made to solve the above-mentioned problems so that the front face of the driver can be imaged even when the infrared camera is not installed in front of the driver. It is an object of the present invention to provide an image pickup apparatus.

本開示に係る撮像装置は、移動体の幅方向の中央部に設置される撮像装置であって、赤外線ＬＥＤと、可視光ＬＥＤと、赤外線ＬＥＤが発した赤外光を透過し、かつ、可視光ＬＥＤが発した可視光を遮光する可視光遮光部材と、可視光遮光部材に設けられ、可視光ＬＥＤが点灯することで可視化されるアイコンと、赤外線ＬＥＤからの赤外光を照明として用い、移動体の幅方向の中央部に設置された際に、アイコンに顔を向けた移動体の乗員の顔を撮像領域に含む赤外線カメラとを備えることを特徴とするものである。 The image pickup device according to the present disclosure is an image pickup device installed in a central portion in the width direction of a moving body, and transmits and is visible to infrared light emitted by an infrared LED, a visible light LED, and an infrared LED. A visible light shading member that blocks the visible light emitted by the optical LED, an icon that is provided on the visible light shading member and is visualized by turning on the visible light LED, and infrared light from the infrared LED are used as illumination. It is characterized by being provided with an infrared camera that includes the face of the occupant of the moving body whose face is turned to the icon in the imaging region when it is installed in the central portion in the width direction of the moving body.

本開示によれば、赤外線カメラが運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮像することができる。 According to the present disclosure, even when the infrared camera is not installed in a position in front of the driver, the front face of the driver can be imaged.

実施の形態１に係る撮像装置の構成例について説明するための図であって、図１Ａは撮像装置を上面から見た構成の一例のイメージを示す図であり、図１Ｂは、図１ＡのＡ矢視図である。It is a figure for demonstrating the configuration example of the image pickup apparatus which concerns on Embodiment 1, FIG. It is an arrow view. 実施の形態１において、撮像装置の設置位置の一例を説明するための図である。It is a figure for demonstrating an example of the installation position of the image pickup apparatus in Embodiment 1. FIG. 赤外線カメラが撮像した撮像画像上の運転者の顔の一例のイメージを説明するための図であって、図３Ａは、赤外線カメラが運転者の正面顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｂは、赤外線カメラが運転者の横顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｃは、赤外線カメラが運転者の上向き顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図である。It is a figure for demonstrating the image of an example of a driver's face on the image taken by an infrared camera, and FIG. FIG. 3B is a diagram showing an image of an example of a person's face, and FIG. 3B is a diagram showing an image of an example of the driver's face on the captured image when an infrared camera captures the profile of the driver. Is a diagram showing an image of an example of the driver's face on the captured image when the infrared camera captures the driver's upward face. 実施の形態１において、撮像装置に備えられている赤外線カメラの設置位置と、運転席に着座した状態の運転者の顔向きと、赤外線カメラが撮像した運転者の顔との関係のイメージを説明するための図であって、図４Ａは、運転者が正面に顔を向けている場合の、赤外線カメラの設置位置と、運転者の顔向きと、赤外線カメラが撮像した運転者の顔との関係のイメージを説明する図であり、図４Ｂは、図４Ａに示す状態から、アイコンが可視化され運転者がアイコンを目視した場合の、赤外線カメラの設置位置と、運転者の顔向きと、赤外線カメラが撮像した運転者の顔との関係のイメージを説明する図である。In the first embodiment, an image of the relationship between the installation position of the infrared camera provided in the image pickup device, the face orientation of the driver sitting in the driver's seat, and the driver's face captured by the infrared camera will be described. FIG. 4A shows the installation position of the infrared camera, the orientation of the driver's face, and the driver's face imaged by the infrared camera when the driver faces the front. FIG. 4B is a diagram illustrating an image of the relationship, and FIG. 4B shows the installation position of the infrared camera, the orientation of the driver's face, and the infrared rays when the icon is visualized and the driver visually recognizes the icon from the state shown in FIG. 4A. It is a figure explaining the image of the relationship with the driver's face imaged by a camera. 実施の形態１において、可視光ＬＥＤの点灯制御および消灯制御を行う制御装置の構成例を示す図である。It is a figure which shows the configuration example of the control device which controls the lighting and extinguishing of a visible light LED in Embodiment 1. 実施の形態１に係る制御装置の動作について説明するためのフローチャートである。It is a flowchart for demonstrating operation of the control apparatus which concerns on Embodiment 1. FIG. 図７Ａ，図７Ｂは、実施の形態１に係る制御装置のハードウェア構成の一例を示す図である。7A and 7B are diagrams showing an example of the hardware configuration of the control device according to the first embodiment. 実施の形態１に係る撮像装置が一体化された移動体用ディスプレイの構成例のイメージを説明するための図である。It is a figure for demonstrating the image of the configuration example of the display for a mobile body integrated with the image pickup apparatus which concerns on Embodiment 1. FIG.

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る撮像装置は、移動体に搭載され、いわゆる「ドライバモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」にて、乗員の顔向き、または、乗員の視線等、乗員の状況を検知するために用いられる。実施の形態１では、移動体は「車両」とする。また、実施の形態１では、ドライバモニタリングシステム１００（後述の図５参照）において状況を検知する対象となる乗員は「運転者」とする。
ドライバモニタリングシステム１００は、撮像装置１（後述の図１参照）が車両の運転者を撮像した撮像画像に基づいて、運転者の状況を検知し、検知結果に基づいて、運転者に対して警告または情報提供を行う。運転者に対する警告とは、例えば、シートベルト未着用に対する警告、または、自動運転から手動運転への切替の際に運転者にハンドルを握らせるための警告である。運転者に提供する情報とは、例えば、右折等、経路を案内する情報、ルート変更要否を問合せる情報、休憩を勧めるための情報、または、道路標識を案内する情報である。
実施の形態１において、ドライバモニタリングシステム１００は、上述したような警告または情報提供を、アイコン１５１（後述の図１参照）を表示することで行う。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.
Embodiment 1.
The image pickup apparatus according to the first embodiment is mounted on a moving body, and detects the occupant's condition such as the occupant's face or the occupant's line of sight by a so-called "driver monitoring system (DMS)". Used for In the first embodiment, the moving body is a "vehicle". Further, in the first embodiment, the occupant to be detected in the driver monitoring system 100 (see FIG. 5 described later) is a “driver”.
The driver monitoring system 100 detects the driver's situation based on the captured image captured by the image pickup device 1 (see FIG. 1 described later), and warns the driver based on the detection result. Or provide information. The warning to the driver is, for example, a warning for not wearing a seatbelt or a warning for causing the driver to grasp the handle when switching from automatic driving to manual driving. The information provided to the driver is, for example, information for guiding a route such as a right turn, information for inquiring about the necessity of changing a route, information for recommending a break, or information for guiding a road sign.
In the first embodiment, the driver monitoring system 100 performs the warning or information provision as described above by displaying the icon 151 (see FIG. 1 described later).

図１は、実施の形態１に係る撮像装置１の構成例について説明するための図である。
図１Ａは、撮像装置１が設置された状態で撮像装置１を上面から見た構成の一例のイメージを示す図であり、図１Ｂは、図１ＡのＡ矢視図である。なお、図１Ｂに示す撮像装置１は、撮像装置１が設置された状態で撮像装置１の正面側から見たイメージを示している。図１において、Ｚ軸の方向は、撮像装置１が車両に設置された状態で車両の進行方向とは反対の方向に相当する。図１において、Ｘ軸の方向は、撮像装置１が車両に設置された状態で車両の幅方向に相当する。図１において、Ｙ軸の方向は、撮像装置１が車両に設置された状態で車両の上下方向に相当する。 FIG. 1 is a diagram for explaining a configuration example of the image pickup apparatus 1 according to the first embodiment.
FIG. 1A is a diagram showing an image of an example of a configuration in which the image pickup device 1 is viewed from above with the image pickup device 1 installed, and FIG. 1B is a view taken along the line A of FIG. 1A. The image pickup device 1 shown in FIG. 1B shows an image seen from the front side of the image pickup device 1 with the image pickup device 1 installed. In FIG. 1, the direction of the Z axis corresponds to the direction opposite to the traveling direction of the vehicle when the image pickup apparatus 1 is installed in the vehicle. In FIG. 1, the direction of the X-axis corresponds to the width direction of the vehicle with the image pickup device 1 installed in the vehicle. In FIG. 1, the direction of the Y-axis corresponds to the vertical direction of the vehicle with the image pickup device 1 installed in the vehicle.

撮像装置１は、例えば、車両の幅方向の中央部に設置される。
ここで、図２は、実施の形態１において、撮像装置１の設置位置の一例を説明するための図である。
図２に示すように、撮像装置１は、例えば、インストルメントパネル（以下「インパネ」という。）の中央部の、エアコンのスイッチまたはカーナビゲーション装置等が取り付けられるセンタークラスターに設置される。
なお、実施の形態１において、車両の幅方向の中央とは、厳密に中央であることに限定されず、略中央を含む。また、実施の形態１において、撮像装置１が車両の幅方向において運転席の正面とならない場所に設置されることは、「撮像装置１が車両の幅方向の中央部に設置される」ことに含まれるものとする。 The image pickup device 1 is installed, for example, in the central portion in the width direction of the vehicle.
Here, FIG. 2 is a diagram for explaining an example of the installation position of the image pickup apparatus 1 in the first embodiment.
As shown in FIG. 2, the image pickup device 1 is installed in, for example, a center cluster in the center of an instrument panel (hereinafter referred to as “instrument panel”) to which an air conditioner switch, a car navigation device, or the like is attached.
In the first embodiment, the center in the width direction of the vehicle is not limited to exactly the center, but includes a substantially center. Further, in the first embodiment, the installation of the image pickup device 1 in a place not in front of the driver's seat in the width direction of the vehicle means that the image pickup device 1 is installed in the central portion in the width direction of the vehicle. It shall be included.

本来、撮像装置１は、当該撮像装置１の内部に備えられている赤外線カメラ１２（詳細は後述する）が運転席に着座している運転者の正面顔を撮像できるよう、運転席の正面に設置されることが好ましい。
図３は、赤外線カメラ１２が撮像した撮像画像上の運転者の顔の一例のイメージを説明するための図である。図３Ａは、赤外線カメラ１２が運転者の正面顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｂは、赤外線カメラ１２が運転者の横顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｃは、赤外線カメラ１２が運転者の正面上向き顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図である。 Originally, the image pickup device 1 is placed in front of the driver's seat so that the infrared camera 12 (details will be described later) provided inside the image pickup device 1 can take an image of the front face of the driver sitting in the driver's seat. It is preferable to be installed.
FIG. 3 is a diagram for explaining an image of an example of the driver's face on the captured image captured by the infrared camera 12. FIG. 3A is a diagram showing an image of an example of the driver's face on the captured image when the infrared camera 12 captures the front face of the driver, and FIG. 3B is a diagram showing the profile of the driver when the infrared camera 12 captures the driver's profile. It is a figure which shows the image of an example of a driver's face on a captured image when image | photographed, and FIG. 3C is a figure | FIG. It is a figure which shows the image of an example of a face.

図３Ａに示すように、赤外線カメラ１２が運転者の正面顔を撮像した場合、撮像画像上で、運転者の目、鼻、または、口等の顔のパーツの状態が十分にわかるようになっている。なお、実施の形態１において、「正面顔」とは、顔が厳密に正面であることに限定されない。「正面顔」は、顔のパーツの状態が十分にわかるようになっている状態の顔であればよい。
一方、図３Ｂに示すように、赤外線カメラ１２が運転者の横顔を撮像した場合、例えば、撮像画像上で、赤外線カメラ１２から遠い方の運転者の目の状態が十分にわかるようになっていない。さらに、図３Ｃに示すように、赤外線カメラ１２が運転者の正面上向き顔を撮像した場合、例えば、撮像画像上で、運転者の両目とも、その状態が十分にわかるようになっていない。
ドライバモニタリングシステム１００において、視線の向き等、運転者の状況検知を精度よく行おうとすると、赤外線カメラ１２が撮像した撮像画像において、例えば図３Ａに示すように、運転者の顔のパーツが十分にわかるようになっている必要がある。
したがって、本来、撮像装置１は運転席の正面に設置され、赤外線カメラ１２が運転者の正面顔を撮像できるようになっていることが好ましい。 As shown in FIG. 3A, when the infrared camera 12 captures the front face of the driver, the state of facial parts such as the driver's eyes, nose, or mouth can be sufficiently understood on the captured image. ing. In the first embodiment, the "front face" is not limited to the fact that the face is strictly front. The "front face" may be a face in which the state of the facial parts can be sufficiently understood.
On the other hand, as shown in FIG. 3B, when the infrared camera 12 captures the profile of the driver, for example, the state of the eyes of the driver farther from the infrared camera 12 can be sufficiently understood on the captured image. not. Further, as shown in FIG. 3C, when the infrared camera 12 captures the front-up face of the driver, for example, the state is not sufficiently understood by both eyes of the driver on the captured image.
In the driver monitoring system 100, when trying to accurately detect the driver's situation such as the direction of the line of sight, in the captured image captured by the infrared camera 12, for example, as shown in FIG. 3A, the driver's face parts are sufficiently sufficient. You need to be able to understand.
Therefore, it is preferable that the image pickup apparatus 1 is originally installed in front of the driver's seat so that the infrared camera 12 can take an image of the driver's front face.

しかし、車両内において、運転者が運転席に着座した状態で正面となる領域（図２の２０１参照）は、運転中に運転者が正面を向いた状態で当該運転者の視界となる領域（図２の２０２参照）、または、メータ類が表示される領域（図２の２０３参照）を含んでおり、実質的に赤外線カメラ１２が設置可能な場所がない。
実施の形態１では、上述したような制約のため、撮像装置１は、インパネの中央部等、車両の幅方向において運転席の正面とならない場所に設定されていることを前提とする。 However, in the vehicle, the area that is in front of the driver when the driver is seated in the driver's seat (see 201 in FIG. 2) is the area that is in the driver's field of view when the driver is facing the front while driving (see 201 in FIG. 2). (See 202 in FIG. 2) or the area where meters are displayed (see 203 in FIG. 2), and there is substantially no place where the infrared camera 12 can be installed.
In the first embodiment, due to the above-mentioned restrictions, it is assumed that the image pickup apparatus 1 is set in a place that is not in front of the driver's seat in the width direction of the vehicle, such as the central portion of the instrument panel.

図１に戻り、実施の形態１に係る撮像装置１の構成例について、詳細に説明する。
図１に示すように、撮像装置１は筐体１１を有し、筐体１１の内部に、赤外線カメラ１２、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１３、および、可視光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１４を備える。赤外線ＬＥＤ１３および可視光ＬＥＤ１４は、基板１６に設けられる。
撮像装置１が設置された状態で、撮像装置１の筐体１１の正面となる面、言い換えれば、赤外線カメラ１２の撮像方向となる面は、可視光遮光部材１５で形成される。 Returning to FIG. 1, a configuration example of the image pickup apparatus 1 according to the first embodiment will be described in detail.
As shown in FIG. 1, the image pickup apparatus 1 has a housing 11, and an infrared camera 12, an infrared LED (Light Emitting Diode) 13, and a visible light LED (Light Emitting Diode) 14 are provided inside the housing 11. Be prepared. The infrared LED 13 and the visible light LED 14 are provided on the substrate 16.
With the image pickup device 1 installed, the front surface of the housing 11 of the image pickup device 1, in other words, the surface of the infrared camera 12 in the image pickup direction is formed by the visible light shading member 15.

赤外線ＬＥＤ１３は、赤外線カメラ１２の照明として用いられる照明部である。
赤外線カメラ１２は、赤外線ＬＥＤ１３からの赤外光を照明として用い、撮像装置１が車両の幅方向の中央部に設置された際に、運転席を含む領域を撮像可能となっている。 The infrared LED 13 is a lighting unit used as lighting for the infrared camera 12.
The infrared camera 12 uses infrared light from the infrared LED 13 as lighting, and when the image pickup device 1 is installed in the central portion in the width direction of the vehicle, it is possible to take an image of a region including a driver's seat.

可視光遮光部材１５は、赤外線ＬＥＤ１３が発した赤外光を透過し、かつ、可視光ＬＥＤ１４が発した可視光を遮光する。ただし、可視光遮光部材１５にはアイコン１５１が設けられており、当該アイコン１５１部分は、可視光を透過できるようになっている。
例えば、可視光遮光部材１５は、透明の部材であって、アイコン１５１部分以外の部分に、赤外光を透過し可視光を遮光するＩＲ透過インキが塗布されている部材である。なお、赤外光の波長は、可視光の波長より長い。可視光遮光部材１５のアイコン１５１部分以外の部分は、赤外光より長い波長の光を透過させるＩＲ透過インキが塗布されることで、赤外光を透過しつつ、可視光を遮光するようになっている。
可視光遮光部材１５は、アイコン１５１部分もアイコン１５１以外の部分も赤外光は透過するため、可視光遮光部材１５による、赤外線カメラ１２の撮像への影響はない。
赤外線ＬＥＤ１３から発せられ運転者の顔等で反射、または、運転者の顔等から出射される赤外光の波長域の光は、Ｚ軸方向とは逆方向に向かい、可視光遮光部材１５を透過して赤外線カメラ１２の受光面に入射する。 The visible light shading member 15 transmits the infrared light emitted by the infrared LED 13 and shields the visible light emitted by the visible light LED 14. However, the visible light shading member 15 is provided with an icon 151, and the icon 151 portion is capable of transmitting visible light.
For example, the visible light shading member 15 is a transparent member, and is a member to which an IR transmissive ink that transmits infrared light and blocks visible light is applied to a portion other than the icon 151 portion. The wavelength of infrared light is longer than the wavelength of visible light. The parts other than the icon 151 part of the visible light shading member 15 are coated with IR transmissive ink that transmits light having a wavelength longer than that of infrared light, so that visible light is shielded while transmitting infrared light. It has become.
Since the visible light shading member 15 transmits infrared light to both the icon 151 portion and the portion other than the icon 151, the visible light shading member 15 does not affect the image pickup of the infrared camera 12.
Light in the wavelength range of infrared light emitted from the infrared LED 13 and reflected by the driver's face or the like or emitted from the driver's face or the like is directed in the direction opposite to the Z-axis direction, and the visible light shading member 15 is formed. It is transmitted and incident on the light receiving surface of the infrared camera 12.

実施の形態１において、アイコン１５１は、上述のとおり、運転者に対する警告、または、運転者に対する情報提供を行うためのものである。具体例を挙げると、アイコン１５１は、シートベルト着用サインアイコン、道路標識を案内するアイコン、ルート変更を許可するか否かを選択するためのアイコン、または、自動運転から手動運転への切替が必要になった場合に運転者にハンドルを握ることを警告するアイコン等である。なお、図１Ｂでは、アイコン１５１の一例として、道路標識を案内するアイコンを示している。
一般に、アイコン１５１は、アイコン用のモニタが設置されるメータクラスターまたはセンタークラスター等に表示されるように設けられる。これに対し、実施の形態１では、アイコン１５１を撮像装置１の筐体１１の一面である可視光遮光部材１５に設けるようにすることで、メータクラスターまたはセンタークラスター等にアイコン１５１を設ける必要がなくなり、例えば、メータクラスターまたはセンタークラスター等のためのスペースを縮小することができる。また、例えば、メータクラスターまたはセンタークラスター等にアイコン１５１を設ける必要がないため、メータクラスターまたはセンタークラスター等にて表示等される情報量が少なくなり、運転者は、メータクラスターまたはセンタークラスター等に表示等される情報を視認しやすくなる。 In the first embodiment, the icon 151 is for giving a warning to the driver or providing information to the driver as described above. To give a specific example, the icon 151 needs to be a seatbelt wearing sign icon, an icon for guiding road signs, an icon for selecting whether to allow route change, or switching from automatic driving to manual driving. It is an icon etc. that warns the driver to hold the steering wheel when it becomes. In addition, in FIG. 1B, an icon for guiding a road sign is shown as an example of the icon 151.
Generally, the icon 151 is provided so as to be displayed on a meter cluster, a center cluster, or the like in which a monitor for the icon is installed. On the other hand, in the first embodiment, it is necessary to provide the icon 151 on the meter cluster, the center cluster, or the like by providing the icon 151 on the visible light shading member 15 which is one surface of the housing 11 of the image pickup device 1. It can be eliminated and the space for, for example, meter clusters or center clusters can be reduced. Further, for example, since it is not necessary to provide the icon 151 on the meter cluster or the center cluster or the like, the amount of information displayed on the meter cluster or the center cluster or the like is reduced, and the driver displays the information on the meter cluster or the center cluster or the like. It becomes easier to visually recognize the information to be equalized.

可視光ＬＥＤ１４は、アイコン１５１を表示させるための照明部である。可視光ＬＥＤ１４は、当該可視光ＬＥＤ１４が発した可視光が可視光遮光部材１５のアイコン１５１にあたるように配置される。
アイコン１５１は、可視光ＬＥＤ１４が点灯することで可視化される。
なお、可視光の波長は赤外光の波長よりも短いため、可視光ＬＥＤ１４から発せられる可視光による、赤外線ＬＥＤ１３および赤外線カメラ１２への影響はない。具体的には、例えば、可視光ＬＥＤ１４が点灯しても可視光は赤外線カメラ１２へ入光することがないため、赤外線カメラ１２は、可視光ＬＥＤ１４の点灯または消灯にかかわらず、同じ映像を撮像することができる。
可視光ＬＥＤ１４は、アイコン１５１を可視化させるタイミングで点灯される。
なお、赤外線ＬＥＤ１３は、赤外線カメラ１２の照明であるため、常時点灯している。しかし、赤外光は赤外領域の光であり、可視光ではないため、赤外線ＬＥＤ１３が点灯していても、アイコン１５１は可視化されない。すなわち、赤外線ＬＥＤ１３が点灯していても、運転者にはアイコン１５１は視認されない。 The visible light LED 14 is an illumination unit for displaying the icon 151. The visible light LED 14 is arranged so that the visible light emitted by the visible light LED 14 hits the icon 151 of the visible light shading member 15.
The icon 151 is visualized by turning on the visible light LED 14.
Since the wavelength of visible light is shorter than the wavelength of infrared light, the visible light emitted from the visible light LED 14 does not affect the infrared LED 13 and the infrared camera 12. Specifically, for example, even if the visible light LED 14 is turned on, the visible light does not enter the infrared camera 12, so that the infrared camera 12 captures the same image regardless of whether the visible light LED 14 is turned on or off. can do.
The visible light LED 14 is turned on at the timing of visualizing the icon 151.
Since the infrared LED 13 is the illumination of the infrared camera 12, it is always lit. However, since the infrared light is light in the infrared region and not visible light, the icon 151 is not visualized even if the infrared LED 13 is lit. That is, even if the infrared LED 13 is lit, the icon 151 is not visible to the driver.

実施の形態１において、アイコン１５１は、可視光遮光部材１５において、赤外線カメラ１２と近い位置に設けられる。したがって、アイコン１５１を可視化させる可視光ＬＥＤ１４と赤外線カメラ１２とは、近い位置に設けられる。ただし、可視光ＬＥＤ１４は、当該可視光ＬＥＤ１４が点灯した場合に、当該可視光ＬＥＤ１４が発した可視光が赤外線カメラ１２に照射されない位置に設けられるようにする。可視光ＬＥＤ１４が点灯していることは赤外線カメラ１２の撮像には影響しないが、可視光ＬＥＤ１４が点灯した際の可視光が赤外線カメラ１２に照射されると、アイコン１５１を通して運転者から赤外線カメラ１２が視認されてしまうためである。
可視光遮光部材１５は、赤外光を透過させつつ可視光を遮光するため、赤外線カメラ１２、赤外線ＬＥＤ１３、および、可視光ＬＥＤ１４を目隠しすることができる。これによって、撮像装置１は、意匠性を向上させている。しかし、運転者から赤外線カメラ１２が視認されてしまうと、意匠性が損なわれる。 In the first embodiment, the icon 151 is provided in the visible light shading member 15 at a position close to the infrared camera 12. Therefore, the visible light LED 14 that visualizes the icon 151 and the infrared camera 12 are provided at close positions. However, the visible light LED 14 is provided at a position where the visible light emitted by the visible light LED 14 is not irradiated to the infrared camera 12 when the visible light LED 14 is turned on. The fact that the visible light LED 14 is lit does not affect the image pickup of the infrared camera 12, but when the visible light when the visible light LED 14 is lit is applied to the infrared camera 12, the driver sends the infrared camera 12 through the icon 151. This is because is visually recognized.
Since the visible light shading member 15 blocks visible light while transmitting infrared light, the infrared camera 12, the infrared LED 13, and the visible light LED 14 can be blinded. As a result, the image pickup apparatus 1 has improved the design. However, if the infrared camera 12 is visually recognized by the driver, the design is impaired.

アイコン１５１が可視化されると、運転者は当該アイコン１５１を目視しようと、自然にアイコン１５１の方向に顔を向ける。
撮像装置１は、赤外線カメラ１２と近い位置にアイコン１５１を設けるようにすることで、アイコン１５１が可視化された際に、運転者に対して、赤外線カメラ１２の方向に顔を向けさせることができる。
赤外線カメラ１２は、撮像装置１が車両の幅方向の中央部に設置された際に、自然な流れでアイコン１５１に顔を向けた運転者の顔を撮像領域に含むようになっている。
その結果、撮像装置１において、赤外線カメラ１２は、運転者の正面顔を撮像することができる。 When the icon 151 is visualized, the driver naturally turns his face toward the icon 151 in order to see the icon 151.
By providing the icon 151 at a position close to the infrared camera 12, the image pickup apparatus 1 can make the driver turn his / her face toward the infrared camera 12 when the icon 151 is visualized. ..
The infrared camera 12 includes the driver's face, which naturally turns to the icon 151 when the image pickup device 1 is installed in the central portion in the width direction of the vehicle, in the image pickup region.
As a result, in the image pickup apparatus 1, the infrared camera 12 can take an image of the front face of the driver.

撮像装置１が、アイコン１５１が可視化された際に、運転者に対して顔を赤外線カメラ１２の方向に向けさせ、赤外線カメラ１２が運転者の正面顔を撮像するようにする仕組みについて、図面を用いて説明する。
図４は、実施の形態１において、撮像装置１に備えられている赤外線カメラ１２の設置位置と、運転席に着座した状態の運転者の顔向きと、赤外線カメラ１２が撮像した運転者の顔との関係のイメージを説明するための図である。図４において、赤外線カメラ１２と運転者の顔は、車両上方から見たイメージとしている。なお、図４では、説明の簡単のため、撮像装置１の構成部は、赤外線カメラ１２と可視光遮光部材１５とアイコン１５１のみ図示している。
図４Ａは、運転者が正面に顔を向けている場合の、赤外線カメラ１２の設置位置と、運転者の顔向きと、赤外線カメラ１２が撮像した運転者の顔との関係のイメージを説明する図であり、図４Ｂは、図４Ａに示す状態から、アイコン１５１が可視化され運転者がアイコン１５１を目視した場合の、赤外線カメラ１２の設置位置と、運転者の顔向きと、赤外線カメラ１２が撮像した運転者の顔との関係のイメージを説明する図である。なお、図４Ａでは、アイコン１５１は可視化されていないものとする。 The drawing is about a mechanism in which the image pickup apparatus 1 makes the driver turn his / her face toward the infrared camera 12 when the icon 151 is visualized, and the infrared camera 12 takes an image of the driver's front face. It will be explained using.
FIG. 4 shows the installation position of the infrared camera 12 provided in the image pickup apparatus 1, the face orientation of the driver sitting in the driver's seat, and the driver's face imaged by the infrared camera 12 in the first embodiment. It is a figure for demonstrating the image of the relationship with. In FIG. 4, the infrared camera 12 and the driver's face are taken as an image seen from above the vehicle. In FIG. 4, for the sake of simplicity, only the infrared camera 12, the visible light shading member 15, and the icon 151 are shown as the components of the image pickup apparatus 1.
FIG. 4A describes an image of the relationship between the installation position of the infrared camera 12 and the direction of the driver's face and the driver's face captured by the infrared camera 12 when the driver faces the front. FIG. 4B shows the installation position of the infrared camera 12, the orientation of the driver's face, and the infrared camera 12 when the icon 151 is visualized and the driver visually recognizes the icon 151 from the state shown in FIG. 4A. It is a figure explaining the image of the relationship with the driver's face which image | photographed. In FIG. 4A, it is assumed that the icon 151 is not visualized.

今、赤外線カメラ１２は、車両の進行方向に向かって、運転席よりも左側に設置されている。
したがって、図４Ａに示すように、運転者が正面に顔を向けている場合、赤外線カメラ１２は、運転者の左側の横顔を撮像することになる。
図４Ａに示す状態から、アイコン１５１が可視化されると、図４Ｂに示すように、運転者はアイコン１５１を目視しようとアイコン１５１の方向に顔を向ける。運転者がアイコン１５１の方向に顔を向けると、赤外線カメラ１２は、運転者の正面顔を撮像することができる。 Now, the infrared camera 12 is installed on the left side of the driver's seat in the direction of travel of the vehicle.
Therefore, as shown in FIG. 4A, when the driver faces the front, the infrared camera 12 captures the profile on the left side of the driver.
When the icon 151 is visualized from the state shown in FIG. 4A, the driver turns his face toward the icon 151 in order to see the icon 151 as shown in FIG. 4B. When the driver turns his face toward the icon 151, the infrared camera 12 can capture the front face of the driver.

このように、撮像装置１は、当該撮像装置１の設置場所に関して、上述したように、運転者が運転席に着座した状態で正面となる領域に赤外線カメラ１２を設置できないという制約があったとしても、自然な流れで運転者が赤外線カメラ１２の方向に顔を向けるようにし（図４Ｂ参照）、赤外線カメラ１２が運転者の正面顔を撮像できるようにする。 As described above, the image pickup device 1 has a restriction that the infrared camera 12 cannot be installed in the front area when the driver is seated in the driver's seat, as described above, with respect to the installation location of the image pickup device 1. Also, the driver is made to turn his / her face toward the infrared camera 12 in a natural flow (see FIG. 4B) so that the infrared camera 12 can take an image of the driver's front face.

なお、図１では、赤外線ＬＥＤ１３と可視光ＬＥＤ１４は、１つの基板１６に設けられるようにしている。しかし、これは一例に過ぎず、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とは、それぞれ、異なる基板に設けられるようにしてもよい。
また、ここでは、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とは隣接されるものとするが、これは一例に過ぎず、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とが隣接されていることは必須ではない。 In FIG. 1, the infrared LED 13 and the visible light LED 14 are provided on one substrate 16. However, this is only an example, and the infrared LED 13 and the visible light LED 14 may be provided on different substrates.
Further, here, it is assumed that the infrared LED 13 and the visible light LED 14 are adjacent to each other, but this is only an example, and it is not essential that the infrared LED 13 and the visible light LED 14 are adjacent to each other.

上述したように、可視光遮光部材１５は、赤外線ＬＥＤ１３を目隠しすることができる。しかし、可視光ＬＥＤ１４が点灯した場合に、当該可視光ＬＥＤ１４が発した可視光が赤外線ＬＥＤ１３に照射されると、アイコン１５１を通して運転者から赤外線ＬＥＤ１３が視認されてしまう。よって、可視光ＬＥＤ１４が発した可視光が赤外線ＬＥＤ１３に照射されないようになっていることが好ましい。可視光ＬＥＤ１４が発した可視光が赤外線ＬＥＤ１３に照射されにくいという意味では、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とが隣接されていないほうがよい。 As described above, the visible light shading member 15 can blindfold the infrared LED 13. However, when the visible light LED 14 is turned on and the visible light emitted by the visible light LED 14 is applied to the infrared LED 13, the infrared LED 13 is visually recognized by the driver through the icon 151. Therefore, it is preferable that the visible light emitted by the visible light LED 14 is not irradiated to the infrared LED 13. In the sense that the visible light emitted by the visible light LED 14 is unlikely to be applied to the infrared LED 13, it is preferable that the infrared LED 13 and the visible light LED 14 are not adjacent to each other.

このように、実施の形態１において、撮像装置１は、赤外線ＬＥＤ１３が発した赤外光を透過し、かつ、可視光ＬＥＤ１４が発した可視光を遮光する可視光遮光部材１５に設けられ、可視光ＬＥＤ１４が点灯することで可視化されるアイコン１５１と、赤外線ＬＥＤ１３からの赤外光を照明として用い、撮像装置１が車両の幅方向の中央部に設置された際に、アイコン１５１に顔を向けた運転者の顔を撮像領域に含む赤外線カメラ１２とを備える。
これにより、撮像装置１は、自然な流れで運転者が赤外線カメラ１２の方向に顔を向けるようにすることができる。その結果、撮像装置１は、赤外線カメラ１２が運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮影できる。 As described above, in the first embodiment, the image pickup apparatus 1 is provided on the visible light shading member 15 that transmits the infrared light emitted by the infrared LED 13 and blocks the visible light emitted by the visible light LED 14, and is visible. The icon 151, which is visualized by turning on the light LED 14, and the infrared light from the infrared LED 13 are used as illumination, and when the image pickup device 1 is installed in the central portion in the width direction of the vehicle, the face is turned to the icon 151. It is provided with an infrared camera 12 that includes the driver's face in the imaging region.
As a result, the image pickup apparatus 1 can allow the driver to turn his / her face toward the infrared camera 12 in a natural flow. As a result, the image pickup apparatus 1 can capture the front face of the driver even when the infrared camera 12 is not installed in front of the driver.

なお、以上の実施の形態１では、可視光遮光部材１５に設けられるアイコン１５１は１つのみとしたが、これは一例に過ぎない。可視光遮光部材１５には複数のアイコン１５１が設けられるものとしてもよい。可視光遮光部材１５に設けられるアイコン１５１が複数ある場合、撮像装置１は、当該複数のアイコン１５１を可視化させるための可視光ＬＥＤ１４を複数備えるようにしてもよい。例えば、可視光遮光部材１５上で、可視光遮光部材１５側からみて赤外線カメラ１２よりも右側になる位置と左側になる位置とにそれぞれアイコン１５１が設けられるようにする場合、撮像装置１は、可視光遮光部材１５側からみて赤外線カメラ１２よりも右側になる位置と左側になる位置とにそれぞれ可視光ＬＥＤ１４を備えるようにしてもよい。 In the above embodiment 1, only one icon 151 is provided on the visible light shading member 15, but this is only an example. The visible light shading member 15 may be provided with a plurality of icons 151. When there are a plurality of icons 151 provided on the visible light shading member 15, the image pickup apparatus 1 may include a plurality of visible light LEDs 14 for visualizing the plurality of icons 151. For example, when the icon 151 is provided on the visible light shading member 15 at a position on the right side and a position on the left side of the infrared camera 12 when viewed from the visible light shading member 15, the image pickup device 1 may be used. The visible light LED 14 may be provided at a position on the right side and a position on the left side of the infrared camera 12 when viewed from the visible light shading member 15.

例えば、撮像装置１は、渋滞発生時にルート変更を行うか否かを運転者に選択させるためのアイコン１５１を表示させるとする。具体的には、例えば、撮像装置１は、ルート変更を行うことを許可するアイコン１５１である「○」と、ルート変更を行うことを許可しないアイコン１５１である「×」を表示させるとする。
このとき、ドライバモニタリングシステム１００では、赤外線カメラ１２が撮像した撮像画像に基づき、「○」と「×」の、いずれに視線を向けたかによって、運転者がルート変更を許可したかを判定する。具体的には、ドライバモニタリングシステム１００は、視線が向けられたほうのアイコン１５１を、選択されたアイコン１５１と判定する。ここで、赤外線カメラ１２が運転者の正面顔を撮像しないと、運転者の視線がどちらに向けられているかが正確に判定できない。これに対し、撮像装置１は、アイコン１５１を赤外線カメラ１２の近くに設けるようにし、自然な流れで運転者が赤外線カメラ１２の方向に顔を向けるようにすることができる。なお、ドライバモニタリングシステム１００は、運転者がルート変更を許可したと判定すると、その旨をカーナビゲーション装置に通知する。カーナビゲーション装置は、運転者に対して、変更後のルートを案内する。 For example, it is assumed that the image pickup apparatus 1 displays an icon 151 for allowing the driver to select whether or not to change the route when a traffic jam occurs. Specifically, for example, it is assumed that the image pickup apparatus 1 displays "◯", which is an icon 151 that permits the route change, and "x", which is the icon 151 that does not permit the route change.
At this time, the driver monitoring system 100 determines whether the driver has permitted the route change based on which of the “◯” and “×” the line of sight is directed, based on the captured image captured by the infrared camera 12. Specifically, the driver monitoring system 100 determines that the icon 151 to which the line of sight is directed is the selected icon 151. Here, unless the infrared camera 12 captures the front face of the driver, it is not possible to accurately determine which direction the driver's line of sight is directed. On the other hand, the image pickup apparatus 1 can arrange the icon 151 near the infrared camera 12 so that the driver turns his / her face toward the infrared camera 12 in a natural flow. When the driver monitoring system 100 determines that the driver has permitted the route change, the driver monitoring system 100 notifies the car navigation device to that effect. The car navigation device guides the driver to the changed route.

また、ドライバモニタリングシステム１００は、例えば、赤外線カメラ１２が撮像した撮像画像に基づいて、運転者の状況として運転者の体調を判定し、体調がすぐれないと判定した場合に、運転者に対して休憩を勧める情報を出力する制御を行う。ドライバモニタリングシステム１００は、例えば、撮像画像から運転者の表情または視線のゆらぎを検出し、運転者の体調を判定する。ドライバモニタリングシステム１００は、例えば、運転者の視線のゆらぎを検出した場合、運転者は体調がすぐれないと判定する。
運転者の表情または視線のゆらぎを検出するためには、赤外線カメラ１２が運転者の正面顔を撮像していることが好ましい。これに対し、撮像装置１は、運転者がアイコンに視線を向けることで、自然な流れで運転者が赤外線カメラ１２の方向を向けるようにしている。これにより、撮像装置１は、赤外線カメラ１２が運転者の正面顔を撮像可能としている。そして、ドライバモニタリングシステム１００は、赤外線カメラ１２が運転者の正面顔を撮像した撮像画像に基づいて、運転者の状況、具体的には、体調を判定する。 Further, the driver monitoring system 100 determines, for example, the physical condition of the driver as the situation of the driver based on the captured image captured by the infrared camera 12, and when it is determined that the physical condition is not good, the driver monitors the driver. Controls to output information that recommends a break. The driver monitoring system 100 detects, for example, the facial expression of the driver or the fluctuation of the line of sight from the captured image, and determines the physical condition of the driver. For example, when the driver monitoring system 100 detects fluctuations in the driver's line of sight, the driver monitoring system 100 determines that the driver is not in good physical condition.
In order to detect the driver's facial expression or the fluctuation of the line of sight, it is preferable that the infrared camera 12 captures the driver's front face. On the other hand, in the image pickup apparatus 1, the driver directs his / her line of sight to the icon so that the driver directs the direction of the infrared camera 12 in a natural flow. As a result, the image pickup device 1 enables the infrared camera 12 to take an image of the front face of the driver. Then, the driver monitoring system 100 determines the driver's situation, specifically, the physical condition, based on the captured image obtained by the infrared camera 12 capturing the driver's front face.

このように、実施の形態１において、撮像装置１は、赤外線カメラ１２が運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮像できる。その結果、ドライバモニタリングシステム１００は、運転者の状況を精度よく検知できる。 As described above, in the first embodiment, the image pickup apparatus 1 can take an image of the front face of the driver even when the infrared camera 12 is not installed at a position in front of the driver. As a result, the driver monitoring system 100 can accurately detect the driver's situation.

実施の形態１に係るドライバモニタリングシステム１００において、撮像装置１の可視光ＬＥＤ１４の点灯制御および消灯制御は、制御装置が行う。
図５は、実施の形態１において、可視光ＬＥＤ１４の点灯制御および消灯制御を行う制御装置２の構成例を示す図である。なお、撮像装置１の各構成部については、図１を用いて説明済みであるため、図５では同じ符号を付して重複した説明を省略する。なお、図５において、アイコン１５１の図示は省略している。
撮像装置１と制御装置２とはネットワークを介して接続される。
制御装置２は、例えば、車両に搭載される。 In the driver monitoring system 100 according to the first embodiment, the control device controls the lighting and extinguishing of the visible light LED 14 of the image pickup device 1.
FIG. 5 is a diagram showing a configuration example of a control device 2 that controls lighting and extinguishing of the visible light LED 14 in the first embodiment. Since each component of the image pickup apparatus 1 has already been described with reference to FIG. 1, the same reference numerals are given in FIG. 5 and duplicated description will be omitted. In FIG. 5, the icon 151 is not shown.
The image pickup device 1 and the control device 2 are connected via a network.
The control device 2 is mounted on the vehicle, for example.

制御装置２は、点灯制御部２１および消灯制御部２２を備える。
点灯制御部２１は、可視光ＬＥＤ１４の点灯制御を行う。具体的には、点灯制御部２１は、例えば、乗員監視装置（図示省略）またはカーナビゲーション装置（図示省略）等から、アイコン１５１の点灯を指示するアイコン点灯指示情報を受け付けた場合、可視光ＬＥＤ１４を点灯させる。アイコン１５１が複数存在する場合は、点灯制御部２１は、アイコン点灯指示情報に基づき、点灯させるアイコン１５１に対応する可視光ＬＥＤ１４を点灯させる。アイコン点灯指示情報には、点灯させるアイコン１５１を特定可能な情報が含まれる。また、どの可視光ＬＥＤ１４が、点灯することでどのアイコン１５１を可視化させるかは、予め決められている。 The control device 2 includes a lighting control unit 21 and a lighting control unit 22.
The lighting control unit 21 controls the lighting of the visible light LED 14. Specifically, when the lighting control unit 21 receives icon lighting instruction information for instructing lighting of the icon 151 from, for example, an occupant monitoring device (not shown) or a car navigation device (not shown), the visible light LED 14 Turn on. When a plurality of icons 151 exist, the lighting control unit 21 turns on the visible light LED 14 corresponding to the icon 151 to be turned on based on the icon lighting instruction information. The icon lighting instruction information includes information that can identify the icon 151 to be lit. Further, which visible light LED 14 visualizes which icon 151 is turned on is predetermined.

例えば、乗員監視装置は、運転者が運転席に乗り込んだ際、撮像装置１の赤外線カメラ１２から撮像画像を取得し、撮像画像に基づいて、運転者の状況を検知する。具体例を挙げると、乗員監視装置は、撮像画像に基づいて、運転者がシートベルトを着用しているか否かを検知する。乗員監視装置は、既知の画像認識技術を用いて、運転者がシートベルトを着用しているか否かを検知すればよい。乗員監視装置は、例えば、車両に設置されているバックルスイッチ、または、ハンドルに設置されている接触センサから取得したセンサ情報に基づいて、運転者の状況を検知するようにしてもよい。 For example, when the driver gets into the driver's seat, the occupant monitoring device acquires an image captured from the infrared camera 12 of the image pickup device 1 and detects the driver's situation based on the captured image. As a specific example, the occupant monitoring device detects whether or not the driver is wearing a seatbelt based on the captured image. The occupant monitoring device may detect whether or not the driver is wearing a seatbelt by using a known image recognition technique. The occupant monitoring device may detect the driver's situation based on the sensor information acquired from the buckle switch installed in the vehicle or the contact sensor installed in the steering wheel, for example.

乗員監視装置は、検知した運転者の状況に基づいて、運転者に対して警告または情報提供の必要があるか否かを判定する。乗員監視装置は、運転者に対して警告または情報提供の必要があると判定した場合、運転者に対して行う警告内容を示すアイコン１５１、または、運転者に対して提供する情報の内容を示すアイコン１５１の点灯を指示するアイコン点灯指示情報を、制御装置２に出力する。
上述の例でいうと、例えば、乗員監視装置は、運転者がシートベルトを着用していないと検知すれば、運転者に対してシートベルト未着用である旨の警告を行う必要があると判定する。そして、乗員監視装置は、シートベルト未着用である旨を示すアイコン１５１の点灯を指示するアイコン点灯指示情報を、制御装置２に出力する。
制御装置２の点灯制御部２１は、乗員監視装置から出力されたアイコン点灯指示情報を受け付ける。そして、点灯制御部２１は、シートベルト未着用である旨を示すアイコン１５１を表示するための可視光ＬＥＤ１４を点灯させる。
なお、上述したような、乗員監視装置の機能を、制御装置２が備えるようにしてもよい。 The occupant monitoring device determines whether or not a warning or information needs to be provided to the driver based on the detected driver's situation. When the occupant monitoring device determines that it is necessary to warn or provide information to the driver, the icon 151 indicating the warning content to be given to the driver or the content of the information to be provided to the driver is shown. The icon lighting instruction information for instructing the lighting of the icon 151 is output to the control device 2.
In the above example, for example, if the occupant monitoring device detects that the driver is not wearing a seatbelt, it determines that it is necessary to warn the driver that the seatbelt is not worn. do. Then, the occupant monitoring device outputs the icon lighting instruction information instructing the lighting of the icon 151 indicating that the seat belt is not worn to the control device 2.
The lighting control unit 21 of the control device 2 receives the icon lighting instruction information output from the occupant monitoring device. Then, the lighting control unit 21 lights the visible light LED 14 for displaying the icon 151 indicating that the seat belt is not worn.
The control device 2 may be provided with the function of the occupant monitoring device as described above.

また、例えば、カーナビゲーション装置は、運転者に対してルート案内中、案内ルート上で渋滞が発生している場合、運転者に対して、ルート変更を許可するか否かを確認する必要があると判定する。カーナビゲーション装置は、運転者に対して、ルート変更を行うことを許可することを示すアイコン１５１である「○」、および、ルート変更を行うことを許可しないことを示すアイコン１５１である「×」の点灯を指示するアイコン点灯指示情報を、制御装置２に出力する。
制御装置２の点灯制御部２１は、カーナビゲーション装置から出力されたアイコン点灯指示情報を受け付ける。そして、点灯制御部２１は、「〇」および「×」のアイコン１５１を表示するための可視光ＬＥＤ１４を点灯させる。
なお、このとき、カーナビゲーション装置は、例えば、音声出力装置（図示省略）から、運転者に対して、渋滞が発生しているためルート変更を行うか否かを確認する音声を出力させる。運転者は、ルート変更を行うか否かを確認する音声が出力されると、「〇」または「×」の方向に視線を向けることで、ルート変更を許可するか否かを回答する。 Further, for example, the car navigation device needs to confirm whether or not to allow the driver to change the route when the driver is being guided to the route and there is a traffic jam on the guidance route. Is determined. The car navigation device has an icon 151 indicating that the driver is permitted to change the route, "○", and an icon 151 indicating that the driver is not permitted to change the route, "×". Icon lighting instruction information for instructing lighting is output to the control device 2.
The lighting control unit 21 of the control device 2 receives the icon lighting instruction information output from the car navigation device. Then, the lighting control unit 21 turns on the visible light LED 14 for displaying the “◯” and “×” icons 151.
At this time, the car navigation device, for example, causes the driver to output a voice confirming whether or not to change the route due to traffic congestion from the voice output device (not shown). When the voice confirming whether or not to change the route is output, the driver turns his or her gaze in the direction of "○" or "×" and answers whether or not to allow the route change.

消灯制御部２２は、点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、可視光ＬＥＤ１４の消灯制御を行う。より詳細には、消灯制御部２２は、点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、可視光ＬＥＤ１４を消灯するための条件（以下「消灯条件」という。）を満たした場合に可視光ＬＥＤ１４を消灯させる。
消灯制御部２２は、例えば、赤外線カメラ１２から撮像画像を取得し、赤外線カメラ１２が撮像した撮像画像に基づき、消灯条件を満たしたか否かを判定する。消灯制御部２２は、例えば、車両に設置されているバックルスイッチ、または、ハンドルに設置されている接触センサからセンサ情報を取得し、取得したセンサ情報に基づいて、消灯条件を満たしたか否かを判定してもよい。 The extinguishing control unit 22 controls the extinguishing of the visible light LED 14 after the lighting control unit 21 turns on the visible light LED 14. More specifically, the extinguishing control unit 22 provides visible light when the lighting control unit 21 turns on the visible light LED 14 and then satisfies the condition for turning off the visible light LED 14 (hereinafter referred to as “extinguishing condition”). Turn off the LED 14.
The extinguishing control unit 22 acquires, for example, an image captured by the infrared camera 12, and determines whether or not the extinguishing condition is satisfied based on the image captured by the infrared camera 12. The extinguishing control unit 22 acquires sensor information from, for example, a buckle switch installed in the vehicle or a contact sensor installed in the steering wheel, and determines whether or not the extinguishing condition is satisfied based on the acquired sensor information. You may judge.

消灯条件は、予め、適宜設定可能である。
具体例を挙げると、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者の視線がアイコン１５１の方向を向いたことを検知した場合に消灯条件を満たしたと判定する。消灯制御部２２は、既知の画像認識技術を用いて、運転者の視線がアイコン１５１の方向を向いたことを検知すればよい。なお、撮像装置１が設置された状態において、赤外線カメラ１２の設置位置、赤外線カメラ１２の画角、および、アイコン１５１の位置は予めわかっているので、消灯制御部２２は、撮像画像に基づいて運転者の視線がアイコン１５１の方向を向いたことを検知できる。 The extinguishing condition can be appropriately set in advance.
To give a specific example, for example, the extinguishing control unit 22 determines that the extinguishing condition is satisfied when it detects that the driver's line of sight points in the direction of the icon 151 based on the captured image captured by the infrared camera 12. .. The extinguishing control unit 22 may detect that the driver's line of sight is directed toward the icon 151 by using a known image recognition technique. Since the installation position of the infrared camera 12, the angle of view of the infrared camera 12, and the position of the icon 151 are known in advance in the state where the image pickup device 1 is installed, the extinguishing control unit 22 is based on the captured image. It can be detected that the driver's line of sight points in the direction of the icon 151.

また、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者がアイコン１５１に手を伸ばしたことを検知した場合に消灯条件を満たしたと判定するようにてしてもよい。消灯制御部２２は、例えば、既知の画像認識技術を用いて、撮像画像上の影の形から、運転者がアイコン１５１に手を伸ばしたことを検知すればよい。例えば、運転者がアイコン１５１に手を伸ばすと、赤外線ＬＥＤ１３からの赤外光が遮光され、撮像画像上に影ができる。消灯制御部２２は、例えば、撮像画像上の影の形が、予め記憶されている、アイコン１５１に向かって伸ばされた手の形であれば、運転者がアイコン１５１に手を伸ばしたと検知する。 Further, for example, the extinguishing control unit 22 may determine that the extinguishing condition is satisfied when it detects that the driver reaches for the icon 151 based on the captured image captured by the infrared camera 12. good. The extinguishing control unit 22 may detect that the driver has reached for the icon 151 from the shape of the shadow on the captured image, for example, by using a known image recognition technique. For example, when the driver reaches for the icon 151, the infrared light from the infrared LED 13 is blocked and a shadow is formed on the captured image. For example, if the shape of the shadow on the captured image is the shape of a hand extended toward the icon 151, which is stored in advance, the extinguishing control unit 22 detects that the driver has reached for the icon 151. ..

また、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者が可視光ＬＥＤ１４の消灯を指示するジェスチャを行った場合に消灯条件を満たしたと判定するようにしてもよい。消灯制御部２２は、例えば、既知の画像認識技術を用いて、運転者が可視光ＬＥＤ１４の消灯を指示するジェスチャを行ったか否かを判定すればよい。なお、可視光ＬＥＤ１４の消灯を指示するジェスチャ、言い換えれば、アイコン１５１の可視化を中止するジェスチャは、予め決められているものとする。具体例を挙げると、可視光ＬＥＤ１４の消灯を指示するジェスチャは、例えば、パーまたはグー等、手を特定の形にするジェスチャ、または、赤外線カメラ１２の方向に手を向けるジェスチャである。 Further, for example, the extinguishing control unit 22 may determine that the extinguishing condition is satisfied when the driver makes a gesture instructing the extinguishing of the visible light LED 14 based on the captured image captured by the infrared camera 12. .. The extinguishing control unit 22 may determine, for example, using a known image recognition technique, whether or not the driver has made a gesture instructing the visible light LED 14 to be extinguished. The gesture for instructing the extinguishing of the visible light LED 14, in other words, the gesture for stopping the visualization of the icon 151, is assumed to be predetermined. To give a specific example, the gesture that instructs the visible light LED 14 to be turned off is, for example, a gesture such as par or goo that makes the hand into a specific shape, or a gesture that directs the hand toward the infrared camera 12.

また、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者がアイコン１５１に対応する動作を行った場合に消灯条件を満たしたと判定するようにしてもよい。消灯制御部２２は、例えば、既知の画像認識技術を用いて、運転者がアイコン１５１に対応する動作を行ったか否かを判定すればよい。アイコン１５１に対応する動作は、予め決められているものとする。具体例を挙げると、例えば、アイコン１５１が自動運転から手動運転への切り替え時に運転者に対してハンドルを握ることを警告するアイコン１５１である場合、アイコン１５１に対応する動作は、ハンドルを握るという動作である。また、例えば、アイコン１５１がシートベルトの未着用を警告するアイコン１５１である場合、アイコン１５１に対応する動作は、シートベルトを着用する動作である。 Further, for example, the extinguishing control unit 22 may determine that the extinguishing condition is satisfied when the driver performs an operation corresponding to the icon 151 based on the captured image captured by the infrared camera 12. The extinguishing control unit 22 may determine, for example, whether or not the driver has performed an operation corresponding to the icon 151 by using a known image recognition technique. The operation corresponding to the icon 151 shall be predetermined. To give a specific example, for example, when the icon 151 is an icon 151 that warns the driver to hold the steering wheel when switching from automatic driving to manual driving, the operation corresponding to the icon 151 is said to hold the steering wheel. It is an operation. Further, for example, when the icon 151 is an icon 151 that warns that the seatbelt has not been worn, the operation corresponding to the icon 151 is the operation of wearing the seatbelt.

また、例えば、消灯制御部２２は、車両に設置されているセンサから取得したセンサ情報に基づき、消灯条件を満たしたか否かを判定するようにしてもよい。
具体的には、例えば、消灯制御部２２は、上述の、運転者がアイコン１５１に対応する動作を行ったか否かの判定を、センサ情報に基づいて判定するようにしてもよい。例えば、消灯制御部２２は、ハンドルに設置されている接触センサから取得したセンサ情報に基づいて、運転者がハンドルを握ったか否かを判定する。また、例えば、消灯制御部２２は、バックルスイッチから取得したセンサ情報に基づいて、運転者がシートベルトを着用したか否かを判定する。 Further, for example, the extinguishing control unit 22 may determine whether or not the extinguishing condition is satisfied based on the sensor information acquired from the sensor installed in the vehicle.
Specifically, for example, the extinguishing control unit 22 may determine whether or not the driver has performed the operation corresponding to the icon 151, based on the sensor information. For example, the extinguishing control unit 22 determines whether or not the driver has grasped the steering wheel based on the sensor information acquired from the contact sensor installed on the steering wheel. Further, for example, the extinguishing control unit 22 determines whether or not the driver wears a seatbelt based on the sensor information acquired from the buckle switch.

なお、アイコン１５１が複数ある場合、消灯制御部２２は、可視化されているアイコン１５１であって、かつ、消灯条件を満たしたと判定したアイコン１５１を可視化させている可視光ＬＥＤ１４を消灯させる。 When there are a plurality of icons 151, the extinguishing control unit 22 turns off the visible light LED 14 which is the visualized icon 151 and which visualizes the icon 151 determined to satisfy the extinguishing condition.

図６は、実施の形態１に係る制御装置２の動作を説明するためのフローチャートである。
点灯制御部２１は、可視光ＬＥＤ１４の点灯制御を行う（ステップＳＴ６０１）。
消灯制御部２２は、ステップＳＴ６０１にて点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、可視光ＬＥＤ１４の消灯制御を行う（ステップＳＴ６０２）。より詳細には、消灯制御部２２は、点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、消灯条件を満たしたと判定した場合に可視光ＬＥＤ１４を消灯させる。 FIG. 6 is a flowchart for explaining the operation of the control device 2 according to the first embodiment.
The lighting control unit 21 controls the lighting of the visible light LED 14 (step ST601).
The extinguishing control unit 22 controls the extinguishing of the visible light LED 14 after the lighting control unit 21 turns on the visible light LED 14 in step ST601 (step ST602). More specifically, the extinguishing control unit 22 turns off the visible light LED 14 when it is determined that the extinguishing condition is satisfied after the lighting control unit 21 turns on the visible light LED 14.

このように、制御装置２は、可視光ＬＥＤ１４を点灯させ、その後、当該可視光ＬＥＤ１４の点灯が必要なくなった場合には、当該可視光ＬＥＤ１４を消灯させる。
制御装置２が可視光ＬＥＤ１４を消灯させるため、ドライバモニタリングシステム１００において、アイコン１５１の可視化を停止させる、言い換えれば、警告状態を解除するためのハードスイッチ等を設ける必要がない。 In this way, the control device 2 turns on the visible light LED 14, and then turns off the visible light LED 14 when it is no longer necessary to turn on the visible light LED 14.
Since the control device 2 turns off the visible light LED 14, it is not necessary to provide the driver monitoring system 100 with a hard switch or the like for stopping the visualization of the icon 151, in other words, for canceling the warning state.

図７Ａ，図７Ｂは、実施の形態１に係る制御装置２のハードウェア構成の一例を示す図である。
実施の形態１において、点灯制御部２１と消灯制御部２２の機能は、処理回路７０１により実現される。すなわち、制御装置２は、撮像装置１が備える可視光ＬＥＤ１４の点灯および消灯を制御するための処理回路７０１を備える。
処理回路７０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０４であってもよい。 7A and 7B are diagrams showing an example of the hardware configuration of the control device 2 according to the first embodiment.
In the first embodiment, the functions of the lighting control unit 21 and the extinguishing control unit 22 are realized by the processing circuit 701. That is, the control device 2 includes a processing circuit 701 for controlling the lighting and extinguishing of the visible light LED 14 included in the image pickup device 1.
The processing circuit 701 may be dedicated hardware as shown in FIG. 7A, or may be a CPU (Central Processing Unit) 704 that executes a program stored in the memory 705 as shown in FIG. 7B.

処理回路７０１が専用のハードウェアである場合、処理回路７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。 When the processing circuit 701 is dedicated hardware, the processing circuit 701 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). Gate Array) or a combination of these is applicable.

処理回路７０１がＣＰＵ７０４の場合、点灯制御部２１と消灯制御部２２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ７０５に記憶される。処理回路７０１は、メモリ７０５に記憶されたプログラムを読み出して実行することにより、点灯制御部２１と消灯制御部２２の機能を実行する。すなわち、制御装置２は、処理回路７０１により実行されるときに、上述の図６のステップＳＴ６０１～ステップＳＴ６０２が結果的に実行されることになるプログラムを格納するためのメモリ７０５を備える。また、メモリ７０５に記憶されたプログラムは、点灯制御部２１と消灯制御部２２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。 When the processing circuit 701 is the CPU 704, the functions of the lighting control unit 21 and the extinguishing control unit 22 are realized by software, firmware, or a combination of software and firmware. The software or firmware is written as a program and stored in memory 705. The processing circuit 701 executes the functions of the lighting control unit 21 and the extinguishing control unit 22 by reading and executing the program stored in the memory 705. That is, the control device 2 includes a memory 705 for storing a program in which steps ST601 to ST602 of FIG. 6 described above will be executed as a result when executed by the processing circuit 701. Further, it can be said that the program stored in the memory 705 causes the computer to execute the procedure or method of the lighting control unit 21 and the extinguishing control unit 22. Here, the memory 705 is, for example, a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ReadOnly Memory), an EPROM (Electrically Erasable Molecular) volatile Read-O, etc. A semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versaille Disc), or the like is applicable.

なお、点灯制御部２１と消灯制御部２２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、点灯制御部２１については専用のハードウェアとしての処理回路７０１でその機能を実現し、消灯制御部２２については処理回路７０１がメモリ７０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、制御装置２は、撮像装置１等の装置と、有線通信または無線通信を行う入力インタフェース装置７０２および出力インタフェース装置７０３を備える。 The functions of the lighting control unit 21 and the extinguishing control unit 22 may be partially realized by dedicated hardware and partially realized by software or firmware. For example, the lighting control unit 21 realizes its function by the processing circuit 701 as dedicated hardware, and the extinguishing control unit 22 has its function by reading and executing the program stored in the memory 705 by the processing circuit 701. It is possible to realize.
Further, the control device 2 includes a device such as an image pickup device 1 and an input interface device 702 and an output interface device 703 that perform wired communication or wireless communication.

以上の実施の形態１では、制御装置２は、車両に搭載される車載装置とし、点灯制御部２１と消灯制御部２２とは、制御装置２に備えられているものとした。
これに限らず、点灯制御部２１と消灯制御部２２のうち、一部または全部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでドライバモニタリングシステム１００を構成するようにしてもよい。 In the above-described first embodiment, the control device 2 is an in-vehicle device mounted on a vehicle, and the lighting control unit 21 and the extinguishing control unit 22 are provided in the control device 2.
Not limited to this, a part or all of the lighting control unit 21 and the extinguishing control unit 22 shall be mounted on the vehicle-mounted device of the vehicle, and the others may be provided on the server connected to the vehicle-mounted device via the network. As a device, the driver monitoring system 100 may be configured by the in-vehicle device and the server.

また、以上の実施の形態１では、撮像装置１は、単体で移動体に設置されるものとしたが、これは一例に過ぎない。例えば、撮像装置１は、移動体用ディスプレイと一体化されていてもよい。移動体用ディスプレイとは、例えば、カーナビゲーション装置が備えるディスプレイである。
図８は、実施の形態１に係る撮像装置１が一体化された移動体用ディスプレイ３の構成例のイメージを説明するための図である。
撮像装置１は、移動体用ディスプレイ３と一体化され、移動体用ディスプレイ３が備える操作パネル３１が、可視光遮光部材１５を兼ねる。そして、操作パネル３１にアイコン１５１が設けられる。
図８では、一例として、シートベルト未着用である旨を警告するアイコン１５１と、道路標識を案内するアイコン１５１とが、操作パネル３１に設けられているものとしている。
移動体用ディスプレイ３の内部には赤外線カメラ１２と、当該赤外線カメラ１２の照明用の赤外線ＬＥＤ１３（図８では図示省略）と、アイコン１５１を可視化させるための可視光ＬＥＤ１４（図８では図示省略）とが備えられる。可視光ＬＥＤ１４が点灯し、アイコン１５１が可視化されると、運転者はアイコン１５１を目視する。これにより、赤外線カメラ１２は、自然なかたちで運転者の正面顔を撮像可能となる。 Further, in the above-described first embodiment, the image pickup apparatus 1 is installed alone on a moving body, but this is only an example. For example, the image pickup device 1 may be integrated with a mobile display. The mobile display is, for example, a display included in a car navigation device.
FIG. 8 is a diagram for explaining an image of a configuration example of a mobile display 3 in which the image pickup apparatus 1 according to the first embodiment is integrated.
The image pickup apparatus 1 is integrated with the mobile display 3, and the operation panel 31 included in the mobile display 3 also serves as a visible light shading member 15. Then, the icon 151 is provided on the operation panel 31.
In FIG. 8, as an example, it is assumed that the icon 151 for warning that the seatbelt is not worn and the icon 151 for guiding the road sign are provided on the operation panel 31.
Inside the mobile display 3, an infrared camera 12, an infrared LED 13 for lighting the infrared camera 12 (not shown in FIG. 8), and a visible light LED 14 for visualizing the icon 151 (not shown in FIG. 8). And are prepared. When the visible light LED 14 is turned on and the icon 151 is visualized, the driver visually recognizes the icon 151. As a result, the infrared camera 12 can naturally capture the front face of the driver.

また、以上の実施の形態１では、ドライバモニタリングシステム１００において状況を検知する対象となる乗員は運転者としたが、これは一例に過ぎない。例えば、ドライバモニタリングシステム１００において状況を検知する対象となる乗員は、運転者のみならず、運転者以外の車両の乗員も含むものとしてもよい。
この場合、撮像装置１が車両の幅方向の中央部に設置された際、赤外線カメラ１２は、座席に着座した状態の、運転者以外の乗員の顔を含む領域を、撮像領域に含むものとする。例えば、運転者以外の乗員を助手席の乗員とすると、撮像装置１は、自然な流れで助手席の乗員が赤外線カメラ１２の方向に顔を向けるようにすることができる。その結果、赤外線カメラ１２は、助手席の乗員の正面顔を撮像することができる。 Further, in the above-described first embodiment, the occupant to be detected in the driver monitoring system 100 is a driver, but this is only an example. For example, the occupant who is the target of detecting the situation in the driver monitoring system 100 may include not only the driver but also the occupant of a vehicle other than the driver.
In this case, when the image pickup device 1 is installed in the central portion in the width direction of the vehicle, the infrared camera 12 includes a region including the face of a occupant other than the driver while sitting in the seat in the image pickup region. For example, assuming that an occupant other than the driver is a passenger in the passenger seat, the image pickup apparatus 1 can allow the occupant in the passenger seat to turn his / her face toward the infrared camera 12 in a natural flow. As a result, the infrared camera 12 can capture the front face of the passenger in the passenger seat.

また、以上の実施の形態１では、移動体は車両としたが、これは一例に過ぎない。移動体は、例えば、電車、船舶、または、航空機等を含む。 Further, in the above-described first embodiment, the moving body is a vehicle, but this is only an example. The moving body includes, for example, a train, a ship, an aircraft, or the like.

以上のように、実施の形態１に係る撮像装置１は、赤外線ＬＥＤ１３と、可視光ＬＥＤ１４と、赤外線ＬＥＤ１３が発した赤外光を透過し、かつ、可視光ＬＥＤ１４が発した可視光を遮光する可視光遮光部材１５と、可視光遮光部材１５に設けられ、可視光ＬＥＤ１４が点灯することで可視化されるアイコン１５１と、赤外線ＬＥＤ１３からの赤外光を照明として用い、移動体の幅方向の中央部に設置された際に、アイコン１５１に顔を向けた移動体の乗員の顔を撮像領域に含む赤外線カメラ１２とを備えるように構成した。そのため、撮像装置１は、赤外線カメラ１２が運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮影することができる。 As described above, the image pickup apparatus 1 according to the first embodiment transmits the infrared light emitted by the infrared LED 13, the visible light LED 14, and the infrared LED 13, and shields the visible light emitted by the visible light LED 14. The visible light shading member 15, the icon 151 provided on the visible light shading member 15 and visualized by lighting the visible light LED 14, and the infrared light from the infrared LED 13 are used as illumination, and the center in the width direction of the moving body. When installed in the section, it is configured to include an infrared camera 12 including the face of a moving occupant whose face is turned to the icon 151 in the imaging region. Therefore, the image pickup apparatus 1 can capture the front face of the driver even when the infrared camera 12 is not installed in front of the driver.

また、実施の形態１に係る撮像装置１において、可視光ＬＥＤ１４は、点灯した場合に、可視光ＬＥＤ１４が発した可視光が赤外線カメラ１２に照射されない位置に設けられる。そのため、撮像装置１は、可視光ＬＥＤ１４が点灯しても赤外線カメラ１２を目隠し、意匠性を向上させることができる。 Further, in the image pickup apparatus 1 according to the first embodiment, the visible light LED 14 is provided at a position where the visible light emitted by the visible light LED 14 is not emitted to the infrared camera 12 when the visible light LED 14 is turned on. Therefore, the image pickup apparatus 1 can blindfold the infrared camera 12 even when the visible light LED 14 is turned on, and can improve the design.

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。 In the present disclosure, it is possible to modify any component of the embodiment or omit any component of the embodiment.

１ 撮像装置、１２ 赤外線カメラ、１３ 赤外線ＬＥＤ、１４ 可視光ＬＥＤ、１５可視光遮光部材、１５１ アイコン、１６ 基板、２ 制御装置、２１ 点灯制御部、２２ 消灯制御部、１００ ドライバモニタリングシステム、３ 移動体用ディスプレイ、３１ 操作パネル、７０１ 処理回路、７０２ 入力インタフェース装置、７０３ 出力インタフェース装置、７０４ ＣＰＵ、７０５ メモリ。 1 image pickup device, 12 infrared camera, 13 infrared LED, 14 visible light LED, 15 visible light shading member, 151 icon, 16 board, 2 control device, 21 lighting control unit, 22 extinguishing control unit, 100 driver monitoring system, 3 movement Body display, 31 operation panel, 701 processing circuit, 702 input interface device, 703 output interface device, 704 CPU, 705 memory.

Claims (11)

移動体の幅方向の中央部に設置される撮像装置であって、
赤外線ＬＥＤと、
可視光ＬＥＤと、
前記赤外線ＬＥＤが発した赤外光を透過し、かつ、前記可視光ＬＥＤが発した可視光を遮光する可視光遮光部材と、
前記可視光遮光部材に設けられ、前記可視光ＬＥＤが点灯することで可視化されるアイコンと、
前記赤外線ＬＥＤからの前記赤外光を照明として用い、前記移動体の前記幅方向の前記中央部に設置された際に、前記アイコンに顔を向けた前記移動体の乗員の顔を撮像領域に含む赤外線カメラ
とを備えた撮像装置。 An image pickup device installed in the center of the moving object in the width direction.
Infrared LED and
Visible light LED and
A visible light shading member that transmits infrared light emitted by the infrared LED and shields visible light emitted by the visible light LED.
An icon provided on the visible light shading member and visualized by lighting the visible light LED, and
When the infrared light from the infrared LED is used as lighting and installed in the central portion of the moving body in the width direction, the face of the occupant of the moving body facing the icon is used as an imaging region. An imager equipped with an infrared camera, including. 前記可視光ＬＥＤは、
点灯した場合に、前記可視光ＬＥＤが発した前記可視光が前記赤外線カメラに照射されない位置に設けられる
ことを特徴とする請求項１記載の撮像装置。 The visible light LED is
The image pickup apparatus according to claim 1, wherein the visible light emitted by the visible light LED is provided at a position where the infrared camera is not irradiated when the light is turned on. 請求項１または請求項２記載の撮像装置を備えた
ことを特徴とする移動体用ディスプレイ。 A display for a mobile body, which comprises the image pickup apparatus according to claim 1 or 2. 請求項１または請求項２記載の撮像装置と、
前記可視光ＬＥＤを点灯させる点灯制御部と、
前記点灯制御部が前記可視光ＬＥＤを点灯させた後、消灯条件を満たした場合に前記可視光ＬＥＤを消灯させる消灯制御部とを有する制御装置
とを備えたドライバモニタリングシステム。 The image pickup apparatus according to claim 1 or 2,
A lighting control unit that lights the visible light LED,
A driver monitoring system including a control device including a lighting control unit that turns off the visible light LED when the lighting control unit turns on the visible light LED and then turns off the visible light LED. 前記消灯制御部は、
前記赤外線カメラが撮像した撮像画像に基づき、前記消灯条件を満たしたか否かを判定する
ことを特徴とする請求項４記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 4, wherein it is determined whether or not the extinguishing condition is satisfied based on the captured image captured by the infrared camera. 前記消灯制御部は、
前記赤外線カメラが撮像した撮像画像に基づき、運転者の視線が前記アイコンの方向を向いたことを検知した場合に前記消灯条件を満たしたと判定する
ことを特徴とする請求項５記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 5, wherein it is determined that the extinguishing condition is satisfied when it is detected that the driver's line of sight points in the direction of the icon based on the captured image captured by the infrared camera. .. 前記消灯制御部は、
前記赤外線カメラが撮像した撮像画像に基づき、運転者が前記アイコンに手を伸ばしたことを検知した場合に前記消灯条件を満たしたと判定する
ことを特徴とする請求項５記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 5, wherein it is determined that the extinguishing condition is satisfied when it is detected that the driver reaches for the icon based on the captured image captured by the infrared camera. 前記消灯制御部は、
前記赤外線カメラが撮像した撮像画像に基づき、運転者が前記可視光ＬＥＤの消灯を指示するジェスチャを行った場合に前記消灯条件を満たしたと判定する
ことを特徴とする請求項５記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 5, wherein it is determined that the extinguishing condition is satisfied when the driver makes a gesture instructing the extinguishing of the visible light LED based on the captured image captured by the infrared camera. .. 前記消灯制御部は、
前記赤外線カメラが撮像した撮像画像に基づき、運転者が前記アイコンに対応する動作を行った場合に前記消灯条件を満たしたと判定する
ことを特徴とする請求項５記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 5, wherein it is determined that the extinguishing condition is satisfied when the driver performs an operation corresponding to the icon based on the captured image captured by the infrared camera. 前記消灯制御部は、
前記移動体に設置されているセンサから取得したセンサ情報に基づき、前記消灯条件を満たしたか否かを判定する
ことを特徴とする請求項４記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 4, wherein it is determined whether or not the extinguishing condition is satisfied based on the sensor information acquired from the sensor installed in the moving body. 前記消灯制御部は、
前記センサ情報に基づき、運転者が前記アイコンに対応する動作を行った場合に前記消灯条件を満たしたと判定する
ことを特徴とする請求項１０記載のドライバモニタリングシステム。 The extinguishing control unit is
The driver monitoring system according to claim 10, wherein it is determined that the extinguishing condition is satisfied when the driver performs an operation corresponding to the icon based on the sensor information.
JP2020173633A 2020-10-15 2020-10-15 Imaging devices, mobile displays, and driver monitoring systems Active JP7433188B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020173633A JP7433188B2 (en) 2020-10-15 2020-10-15 Imaging devices, mobile displays, and driver monitoring systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020173633A JP7433188B2 (en) 2020-10-15 2020-10-15 Imaging devices, mobile displays, and driver monitoring systems

Publications (2)

Publication Number Publication Date
JP2022065231A true JP2022065231A (en) 2022-04-27
JP7433188B2 JP7433188B2 (en) 2024-02-19

Family

ID=81386216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020173633A Active JP7433188B2 (en) 2020-10-15 2020-10-15 Imaging devices, mobile displays, and driver monitoring systems

Country Status (1)

Country Link
JP (1) JP7433188B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334829A (en) * 2006-06-19 2007-12-27 Toyota Motor Corp Vehicle drive assist device
JP2010191793A (en) * 2009-02-19 2010-09-02 Denso It Laboratory Inc Alarm display and alarm display method
JP2019012055A (en) * 2017-06-30 2019-01-24 株式会社デンソー Display device for vehicle and imaging system
JP2019014360A (en) * 2017-07-06 2019-01-31 マツダ株式会社 Occupant imaging device
JP2020137053A (en) * 2019-02-25 2020-08-31 いすゞ自動車株式会社 Control device and imaging system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007334829A (en) * 2006-06-19 2007-12-27 Toyota Motor Corp Vehicle drive assist device
JP2010191793A (en) * 2009-02-19 2010-09-02 Denso It Laboratory Inc Alarm display and alarm display method
JP2019012055A (en) * 2017-06-30 2019-01-24 株式会社デンソー Display device for vehicle and imaging system
JP2019014360A (en) * 2017-07-06 2019-01-31 マツダ株式会社 Occupant imaging device
JP2020137053A (en) * 2019-02-25 2020-08-31 いすゞ自動車株式会社 Control device and imaging system

Also Published As

Publication number Publication date
JP7433188B2 (en) 2024-02-19

Similar Documents

Publication Publication Date Title
JP6374676B2 (en) Light emitting display device for vehicle and display system for vehicle
KR101759945B1 (en) Display Device
US20120002028A1 (en) Face image pick-up apparatus for vehicle
US20090040196A1 (en) Method of controlling the display of various data in a vehicle and Opto-acoustic data unit
US20170355265A1 (en) Projection type display device and operation assistance method
KR101610092B1 (en) Curved display apparatus for vehicle
US20170131548A1 (en) Method for reducing reflection when operating a head-up display of a motor vehicle
JP2004168230A (en) Display device for vehicle
JP2010097193A (en) Display device and mobile apparatus
US11394952B2 (en) Imaging device and vehicular display device
US9776559B2 (en) Vehicular display system
CN113741031B (en) Vehicle-mounted display device
US11812200B2 (en) Head-up display apparatus
JP7140504B2 (en) projection display
JP2018103883A (en) Driver imaging device
KR101621876B1 (en) Method for controlling headlight using wearable device and vehicle for carrying out the same
JP6433383B2 (en) Floodlight device
JP2015018093A (en) Head-up display device and display unit
CN111016912A (en) System for detecting a driver's face and related method thereof
JP2021187429A (en) On-vehicle display device
KR101739519B1 (en) Hud information displaying control device for optimazation location
JP2015016770A (en) Display unit
US20220319200A1 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
JP2022065231A (en) Imaging device, display for movable body, and driver monitoring system
JP5447267B2 (en) Vehicle display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240206

R150 Certificate of patent or registration of utility model

Ref document number: 7433188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150