JP7101574B2 - Crew condition detection device integrated display and display control device - Google Patents

Crew condition detection device integrated display and display control device Download PDF

Info

Publication number
JP7101574B2
JP7101574B2 JP2018170492A JP2018170492A JP7101574B2 JP 7101574 B2 JP7101574 B2 JP 7101574B2 JP 2018170492 A JP2018170492 A JP 2018170492A JP 2018170492 A JP2018170492 A JP 2018170492A JP 7101574 B2 JP7101574 B2 JP 7101574B2
Authority
JP
Japan
Prior art keywords
occupant
light emitting
control unit
liquid crystal
transmittance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018170492A
Other languages
Japanese (ja)
Other versions
JP2020040565A (en
Inventor
信明 真分
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018170492A priority Critical patent/JP7101574B2/en
Publication of JP2020040565A publication Critical patent/JP2020040565A/en
Application granted granted Critical
Publication of JP7101574B2 publication Critical patent/JP7101574B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

この発明は、車両用の乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置に関するものである。 The present invention relates to a display with an integrated occupant state detection device for a vehicle and a display control device.

従来、運転者の居眠り及び脇見等の状態を検出するＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）が提案されている。また、ＤＭＳ用カメラの光源として用いられる赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が、車両に搭載されるディスプレイと一体化された、ＤＭＳ一体型ディスプレイが提案されている。従来のＤＭＳ一体型ディスプレイは、別ユニットとして用意された赤外ＬＥＤが、ディスプレイに組み込まれた構成であるため、薄型化及び狭額縁化ができないという問題があった。 Conventionally, a DMS (Drive Monitoring System) for detecting a driver's dozing and inattentive states has been proposed. Further, there has been proposed a DMS integrated display in which an infrared LED (Light Emitting Diode) used as a light source of a DMS camera is integrated with a display mounted on a vehicle. The conventional DMS integrated display has a problem that it cannot be made thinner and narrower because the infrared LED prepared as a separate unit is incorporated in the display.

特許文献１に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮像し、撮像した画像から瞳孔と角膜反射像を抽出して対象者の視線を検出する。この視線検出装置は、液晶ディスプレイのバックライトである白色ＬＥＤの一部を赤外ＬＥＤに置き換えることにより、液晶ディスプレイの薄型化及び狭額縁化を実現している。 The line-of-sight detection device according to Patent Document 1 displays an infrared light pattern, images a range including the eye of the subject in which the corneal reflex image of the infrared light pattern is reflected, and the pupil and the corneal reflex image are taken from the captured image. Is extracted to detect the line of sight of the subject. This line-of-sight detection device realizes a thin and narrow frame of the liquid crystal display by replacing a part of the white LED which is the backlight of the liquid crystal display with an infrared LED.

特開２０１４－１８８３２２号公報Japanese Unexamined Patent Publication No. 2014-188322

ところで、近年、運転者だけでなく他の乗員の状態も検出する乗員状態検出装置が提案されている。乗員状態検出装置は、車両に搭載されたカメラが撮像した画像を処理することによって、車両に搭乗している各乗員の居眠り及び脇見等の状態を検出する。この乗員状態検出装置に用いられるカメラの光源となる赤外ＬＥＤを、上記特許文献１のように液晶ディスプレイのバックライトに内蔵する場合、各乗員に赤外光を照射するためには広い面積の液晶ディスプレイ背面に多数の赤外ＬＥＤを配置する必要があるため、赤外ＬＥＤの消費電力が大きくなってしまい、電気自動車等の低消費電力が求められる分野では現実的ではないという課題があった。 By the way, in recent years, an occupant state detecting device that detects not only the state of the driver but also the state of other occupants has been proposed. The occupant state detection device detects the state of each occupant in the vehicle, such as dozing and inattentiveness, by processing the image captured by the camera mounted on the vehicle. When the infrared LED that is the light source of the camera used in this occupant state detection device is built in the backlight of the liquid crystal display as in Patent Document 1, a large area is required to irradiate each occupant with infrared light. Since it is necessary to arrange a large number of infrared LEDs on the back surface of the liquid crystal display, the power consumption of the infrared LEDs becomes large, and there is a problem that it is not realistic in a field where low power consumption is required such as an electric vehicle. ..

この発明は、上記のような課題を解決するためになされたもので、乗員の状態を検出するときの消費電力を抑制することを目的とする。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to suppress power consumption when detecting a state of an occupant.

この発明に係る乗員状態検出装置一体型ディスプレイは、赤外領域を撮像する機能を有するカメラと、カメラの撮像方向を照らす液晶ディスプレイと、液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子と、カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、カメラにより撮像された画像を用いて車両に搭乗している乗員の状態を検出する乗員状態検出部と、液晶ディスプレイのうち、乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、複数の赤外発光素子のうち、乗員位置検出部により検出された乗員の位置に該当するエリアの赤外発光素子を発光させる赤外発光素子制御部と、液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は複数の白色発光素子を消灯させる白色発光素子制御部とを備えるものである。
The occupant state detection device integrated display according to the present invention includes a camera having a function of capturing an infrared region, a liquid crystal display that illuminates the image pickup direction of the camera, and a plurality of white light emitting elements and a plurality of white light emitting elements arranged on the back surface of the liquid crystal display. The infrared light emitting element of the above, the occupant position detection unit that detects the position of the occupant on the vehicle using the image captured by the camera, and the occupant on the vehicle using the image captured by the camera. A occupant state detection unit that detects the state of the occupant, a liquid crystal display control unit that controls the transmission rate of the area corresponding to the occupant position detected by the occupant position detection unit, and a plurality of infrared light emitting elements. Of these, the transmission rate changes compared to normal drawing due to the control of the infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the occupant position detected by the occupant position detection unit and the liquid crystal display control unit. It is provided with a white light emitting element control unit that turns off a plurality of white light emitting elements during the period.

この発明によれば、液晶ディスプレイの背面に配置された複数の赤外発光素子のうち、乗員の位置に該当するエリアの赤外発光素子だけを発光させるようにしたので、乗員の状態を検出するときの消費電力を抑制することができる。 According to the present invention, among the plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display, only the infrared light emitting element in the area corresponding to the position of the occupant is made to emit light, so that the state of the occupant is detected. It is possible to suppress the power consumption at that time.

実施の形態１に係る乗員状態検出装置一体型ディスプレイの構成例を示すブロック図である。It is a block diagram which shows the configuration example of the occupant state detection device integrated display which concerns on Embodiment 1. FIG. 図２Ａは、実施の形態１に係る乗員状態検出装置一体型ディスプレイの正面図であり、図２Ｂは、Ａ－Ａ断面図である。FIG. 2A is a front view of the occupant state detection device integrated display according to the first embodiment, and FIG. 2B is a sectional view taken along the line AA. 実施の形態１における液晶ディスプレイ及びＬＥＤの動作例を示すタイムチャートである。It is a time chart which shows the operation example of the liquid crystal display and LED in Embodiment 1. FIG. 実施の形態１に係る乗員状態検出装置一体型ディスプレイの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the occupant state detection device integrated display which concerns on Embodiment 1. 実施の形態２に係る乗員状態検出装置一体型ディスプレイの構成例を示すブロック図である。It is a block diagram which shows the configuration example of the occupant state detection device integrated display which concerns on Embodiment 2. FIG. 実施の形態２における液晶ディスプレイ及びＬＥＤの動作例を示すタイムチャートである。It is a time chart which shows the operation example of the liquid crystal display and LED in Embodiment 2. 図７Ａ及び図７Ｂは、各実施の形態に係るディスプレイ制御装置のハードウェア構成例を示す図である。7A and 7B are diagrams showing a hardware configuration example of the display control device according to each embodiment.

実施の形態１．
図１は、実施の形態１に係る乗員状態検出装置一体型ディスプレイ１の構成例を示すブロック図である。乗員状態検出装置一体型ディスプレイ１は、カメラ２と、液晶ディスプレイ（以下、「ＬＣＤ」と称する）３と、白色ＬＥＤ４と、赤外ＬＥＤ５と、ディスプレイ制御装置１０とを備える。白色ＬＥＤ４は「白色発光素子」に相当し、赤外ＬＥＤ５は「赤外発光素子」に相当する。ディスプレイ制御装置１０は、乗員状態検出装置１１と、ＬＣＤ制御部１４と、白色ＬＥＤ制御部１５と、赤外ＬＥＤ制御部１６とを備える。乗員状態検出装置１１は、乗員位置検出部１２と、乗員状態検出部１３とを備える。 Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the occupant state detection device integrated display 1 according to the first embodiment. The occupant state detection device integrated display 1 includes a camera 2, a liquid crystal display (hereinafter referred to as "LCD") 3, a white LED 4, an infrared LED 5, and a display control device 10. The white LED 4 corresponds to a "white light emitting element", and the infrared LED 5 corresponds to an "infrared light emitting element". The display control device 10 includes an occupant state detection device 11, an LCD control unit 14, a white LED control unit 15, and an infrared LED control unit 16. The occupant state detecting device 11 includes an occupant position detecting unit 12 and an occupant state detecting unit 13.

図２Ａは、実施の形態１に係る乗員状態検出装置一体型ディスプレイ１の正面図であり、図２Ｂは、Ａ－Ａ断面図である。なお、図２Ａ及び図２Ｂにおいて、ディスプレイ制御装置１０の図示を省略する。乗員状態検出装置一体型ディスプレイ１は、ダッシュボード等に設置される。この乗員状態検出装置一体型ディスプレイ１は、例えば、カーナビゲーション装置が生成した地図画像等を表示するディスプレイに、乗員状態検出装置１１が一体化されている。 2A is a front view of the occupant state detection device integrated display 1 according to the first embodiment, and FIG. 2B is a sectional view taken along the line AA. Note that the display control device 10 is not shown in FIGS. 2A and 2B. The occupant state detection device integrated display 1 is installed on a dashboard or the like. In the occupant state detection device integrated display 1, for example, the occupant state detection device 11 is integrated with a display that displays a map image or the like generated by a car navigation device.

乗員状態検出装置一体型ディスプレイ１のディスプレイ枠内には、カメラ２が設置されている。このカメラ２は、可視光領域を撮像する機能に加え、赤外領域を撮像する機能を有する。このカメラ２は、少なくとも車室内の運転席及び助手席を撮像するものであり、好ましくは運転席、助手席、及び後部座席を撮像するものである。なお、図示は省略するが、複数のカメラ２によって、運転席、助手席、及び後部座席を撮像してもよい。また、カメラ２は、図１に示されるように、被写体の明るさを測定する露出計２ａを有する。 A camera 2 is installed in the display frame of the occupant state detection device integrated display 1. The camera 2 has a function of imaging an infrared region in addition to a function of imaging a visible light region. The camera 2 captures at least the driver's seat and the passenger's seat in the vehicle interior, and preferably captures the driver's seat, the passenger's seat, and the rear seat. Although not shown, the driver's seat, passenger's seat, and rear seat may be imaged by a plurality of cameras 2. Further, as shown in FIG. 1, the camera 2 has an exposure meter 2a for measuring the brightness of the subject.

乗員状態検出装置一体型ディスプレイ１の正面には、ＬＣＤ３が設置されている。図２Ａ及び図２Ｂの例では、ＬＣＤ３の表面が保護カバー又はタッチパネルで被覆されている。ＬＣＤ３のうち、右エリア３Ｒが運転席に対向するエリア、中央エリア３Ｃが運転席と助手席との間の隙間であって後部座席に対向するエリア、左エリア３Ｌが助手席に対向するエリアである。運転席が左側にある車両では、左エリア３Ｌが運転席に対向するエリアとなり、右エリア３Ｒが助手席に対向するエリアとなる。なお、乗員状態検出装置一体型ディスプレイ１が設置される場所又は乗員状態検出装置１１が対象とする乗員等に応じて、ＬＣＤ３のエリアの数及び位置は変更可能である。 An LCD 3 is installed in front of the occupant state detection device integrated display 1. In the examples of FIGS. 2A and 2B, the surface of the LCD 3 is covered with a protective cover or a touch panel. Of the LCD3, the right area 3R is the area facing the driver's seat, the central area 3C is the gap between the driver's seat and the passenger seat and facing the rear seat, and the left area 3L is the area facing the passenger seat. be. In a vehicle with the driver's seat on the left side, the left area 3L is the area facing the driver's seat, and the right area 3R is the area facing the passenger seat. The number and position of the areas of the LCD 3 can be changed according to the place where the occupant state detection device integrated display 1 is installed or the occupants targeted by the occupant state detection device 11.

ＬＣＤ３の背面には、バックライトである複数の白色ＬＥＤ４が設置されている。また、ＬＣＤ３の背面には、車室内が暗いときにカメラ２の光源となる、複数の赤外ＬＥＤ５が設置されている。図２Ｂの例では、白色ＬＥＤ４と赤外ＬＥＤ５とが交互に配置されている。なお、バックライトの構成は、白色ＬＥＤ４及び赤外ＬＥＤ５がＬＣＤ３の背面全面に配置される直下型でもよいし、ＬＣＤ３の端部に配置されるエッジ型でもよい。赤外ＬＥＤ５を白色ＬＥＤ４と共にＬＣＤ３の背面に配置することにより、乗員状態検出装置一体型ディスプレイ１の薄型化及び狭額縁化を実現できる。バックライトの光は、ＬＣＤ３を透過して、カメラ２の撮像方向を照らす。 A plurality of white LEDs 4 which are backlights are installed on the back surface of the LCD 3. Further, on the back surface of the LCD 3, a plurality of infrared LEDs 5 that serve as a light source for the camera 2 when the vehicle interior is dark are installed. In the example of FIG. 2B, the white LEDs 4 and the infrared LEDs 5 are arranged alternately. The backlight may be configured by a direct type in which the white LED 4 and the infrared LED 5 are arranged on the entire back surface of the LCD 3, or an edge type in which the white LED 4 and the infrared LED 5 are arranged at the end of the LCD 3. By arranging the infrared LED 5 together with the white LED 4 on the back surface of the LCD 3, it is possible to realize a thin and narrow frame of the occupant state detection device integrated display 1. The light from the backlight passes through the LCD 3 and illuminates the image pickup direction of the camera 2.

複数の赤外ＬＥＤ５のうち、ＬＣＤ３の右エリア３Ｒに対向する範囲に配置された複数の赤外ＬＥＤ５を「右エリア赤外ＬＥＤ５Ｒ」と称し、中央エリア３Ｃに対向する範囲に配置された複数の赤外ＬＥＤ５を「中央エリア赤外ＬＥＤ５Ｃ」と称し、左エリア３Ｌに対向する範囲に配置された複数の赤外ＬＥＤ５を「左エリア赤外ＬＥＤ５Ｌ」と称する。一方、白色ＬＥＤ４には、ＬＣＤ３のエリアに応じた区別がない。 Of the plurality of infrared LEDs 5, a plurality of infrared LEDs 5 arranged in a range facing the right area 3R of the LCD 3 are referred to as "right area infrared LEDs 5R", and a plurality of infrared LEDs arranged in a range facing the central area 3C. The infrared LED 5 is referred to as a "central area infrared LED 5C", and a plurality of infrared LEDs arranged in a range facing the left area 3L is referred to as a "left area infrared LED 5L". On the other hand, the white LED 4 has no distinction according to the area of the LCD 3.

図１に示される乗員位置検出部１２は、カメラ２が撮像した画像を用いて、乗員の有無及び乗員の位置を検出し、検出結果を乗員状態検出部１３、ＬＣＤ制御部１４、白色ＬＥＤ制御部１５、及び赤外ＬＥＤ制御部１６へ出力する。実施の形態１において、「乗員」は、運転席、助手席、及び後部座席の各乗員を指し、「乗員の位置」は、乗員が着座している座席を指す。 The occupant position detection unit 12 shown in FIG. 1 detects the presence or absence of an occupant and the position of the occupant using the image captured by the camera 2, and determines the detection result by the occupant state detection unit 13, the LCD control unit 14, and the white LED control. Output to unit 15 and infrared LED control unit 16. In the first embodiment, the "occupant" refers to each occupant of the driver's seat, the passenger seat, and the rear seat, and the "occupant's position" refers to the seat in which the occupant is seated.

乗員状態検出部１３は、乗員位置検出部１２により乗員が検出された場合、カメラ２が撮像した画像を用いて、上記乗員の居眠り及び脇見等の状態を検出する。 When the occupant position detection unit 12 detects an occupant, the occupant state detection unit 13 detects the occupant's dozing state, inattentiveness, and the like by using the image captured by the camera 2.

図３は、実施の形態１におけるＬＣＤ３、白色ＬＥＤ４、及び赤外ＬＥＤ５の動作例を示すタイムチャートである。図３を参照しながら、ＬＣＤ制御部１４、白色ＬＥＤ制御部１５、及び赤外ＬＥＤ制御部１６の動作を説明する。 FIG. 3 is a time chart showing an operation example of the LCD 3, the white LED 4, and the infrared LED 5 in the first embodiment. The operation of the LCD control unit 14, the white LED control unit 15, and the infrared LED control unit 16 will be described with reference to FIG.

ＬＣＤ制御部１４は、上記カーナビゲーション装置の地図画像等をＬＣＤ３に描画する（以下、「通常描画」と称する）。また、ＬＣＤ制御部１４は、ＬＣＤ３の透過率を意図的に制御した状態で地図画像等を描画する（以下、「透過率制御描画」と称する）。具体的には、乗員位置検出部１２により乗員が検出されていない場合、ＬＣＤ制御部１４は、ＬＣＤ３の全エリアに通常描画を行う。一方、乗員位置検出部１２により乗員が検出されている場合、ＬＣＤ制御部１４は、図３に示されるように、検出された乗員の位置に該当するエリアに対して通常描画と透過率制御描画とを交互に行い、検出された乗員の位置に該当しないエリアに対して通常描画を行う。ＬＣＤ制御部１４は、例えば、ＬＣＤ３に描画する地図画像等が６０フレームである場合、通常描画と透過率制御描画との繰り返しを２倍の１２０フレームで行う。 The LCD control unit 14 draws a map image or the like of the car navigation device on the LCD 3 (hereinafter, referred to as "normal drawing"). Further, the LCD control unit 14 draws a map image or the like in a state where the transmittance of the LCD 3 is intentionally controlled (hereinafter, referred to as “transmittance control drawing”). Specifically, when the occupant position detection unit 12 does not detect the occupant, the LCD control unit 14 normally draws in the entire area of the LCD 3. On the other hand, when the occupant is detected by the occupant position detection unit 12, the LCD control unit 14 draws normally and controls the transmittance for the area corresponding to the detected occupant position, as shown in FIG. And are performed alternately, and normal drawing is performed for the area that does not correspond to the detected position of the occupant. For example, when the map image or the like drawn on the LCD 3 is 60 frames, the LCD control unit 14 repeats the normal drawing and the transmittance control drawing in 120 frames, which is doubled.

また、ＬＣＤ制御部１４は、露出計２ａにより測定された明るさに応じて、透過率制御描画時のＬＣＤ３の透過率を制御する。例えば、ＬＣＤ制御部１４は、被写体の明るさが予め定められた明るさ未満である場合、ＬＣＤ３の透過率を上げ、被写体の明るさが上記予め定められた明るさ以上である場合、ＬＣＤ３の透過率を下げる。後段で詳述するように、ＬＣＤ３の透過率制御により、赤外ＬＥＤ５の輝度が調整される。 Further, the LCD control unit 14 controls the transmittance of the LCD 3 at the time of transmission control drawing according to the brightness measured by the exposure meter 2a. For example, the LCD control unit 14 increases the transmittance of the LCD 3 when the brightness of the subject is less than the predetermined brightness, and increases the transmittance of the LCD 3 when the brightness of the subject is equal to or higher than the predetermined brightness of the LCD 3. Decrease the transmittance. As will be described in detail later, the brightness of the infrared LED 5 is adjusted by controlling the transmittance of the LCD 3.

白色ＬＥＤ制御部１５は、ＬＣＤ制御部１４によるＬＣＤ３の制御に同期して、バックライトである白色ＬＥＤ４の発光を制御する。この白色ＬＥＤ制御部１５は、図３に示されるように、全エリアの白色ＬＥＤ４を、ＬＣＤ３の通常描画中に発光させ、透過率制御描画中に消灯させる。全エリアの白色ＬＥＤ４が間欠発光することにより、ＬＣＤ３の明るさがエリアによらず均一になる。 The white LED control unit 15 controls the light emission of the white LED 4, which is a backlight, in synchronization with the control of the LCD 3 by the LCD control unit 14. As shown in FIG. 3, the white LED control unit 15 causes the white LEDs 4 in the entire area to emit light during normal drawing of the LCD 3, and is turned off during the transmittance control drawing. Since the white LEDs 4 in all areas emit light intermittently, the brightness of the LCD 3 becomes uniform regardless of the area.

赤外ＬＥＤ制御部１６は、ＬＣＤ制御部１４によるＬＣＤ３の制御に同期して、カメラ２の光源である赤外ＬＥＤ５の発光を制御する。乗員位置検出部１２により乗員が検出されていない場合、赤外ＬＥＤ制御部１６は、全エリアの赤外ＬＥＤ５を発光させる。一方、乗員位置検出部１２により乗員が検出されている場合、赤外ＬＥＤ制御部１６は、図３に示されるように、検出された乗員の位置に該当するエリアの赤外ＬＥＤ５を連続発光させ、検出された乗員の位置に該当しないエリアの赤外ＬＥＤ５を消灯させる。全エリアの赤外ＬＥＤ５を発光させる場合に比べ、乗員の位置に該当するエリアの赤外ＬＥＤ５のみを発光させる場合の方が、消費電力を抑制することができる。 The infrared LED control unit 16 controls the light emission of the infrared LED 5, which is the light source of the camera 2, in synchronization with the control of the LCD 3 by the LCD control unit 14. When the occupant is not detected by the occupant position detection unit 12, the infrared LED control unit 16 causes the infrared LED 5 in the entire area to emit light. On the other hand, when the occupant is detected by the occupant position detection unit 12, the infrared LED control unit 16 continuously emits the infrared LED 5 in the area corresponding to the detected occupant position as shown in FIG. , Turn off the infrared LED 5 in the area that does not correspond to the detected occupant position. Compared with the case where the infrared LED 5 in the entire area emits light, the case where only the infrared LED 5 in the area corresponding to the position of the occupant emits light can suppress the power consumption.

このように、白色ＬＥＤ４は、ＬＣＤ３が通常描画を行っているときのみ発光する。これに対し、赤外ＬＥＤ５は、ＬＣＤ３が通常描画と透過率制御描画とを繰り返している間ずっと連続発光している。そのため、赤外ＬＥＤ５が発する赤外光は、白色ＬＥＤ４の消灯時に透過率制御されたＬＣＤ３を透過して乗員に照射される。したがって、ＬＣＤ制御部１４がＬＣＤ３の透過率を制御することにより、赤外ＬＥＤ５の輝度調整が可能となる。 In this way, the white LED 4 emits light only when the LCD 3 is performing normal drawing. On the other hand, the infrared LED 5 continuously emits light while the LCD 3 repeats normal drawing and transmittance control drawing. Therefore, the infrared light emitted by the infrared LED 5 is transmitted to the occupant through the LCD 3 whose transmittance is controlled when the white LED 4 is turned off. Therefore, the brightness of the infrared LED 5 can be adjusted by controlling the transmittance of the LCD 3 by the LCD control unit 14.

図４は、実施の形態１に係る乗員状態検出装置一体型ディスプレイ１の動作例を示すフローチャートである。乗員状態検出装置一体型ディスプレイ１は、例えば車両のエンジンが動作している期間、図４のフローチャートに示される動作を繰り返す。以下では、ＬＣＤ３が右エリア３Ｒ、中央エリア３Ｃ、及び左エリア３Ｌに区切られており、赤外ＬＥＤ５が右エリア赤外ＬＥＤ５Ｒ、中央エリア赤外ＬＥＤ５Ｃ、及び左エリア赤外ＬＥＤ５Ｌに分類されているものとする。また、白色ＬＥＤ制御部１５は、図４のフローチャートに示される動作中、常に、全エリアの白色ＬＥＤ４を間欠発光させる。 FIG. 4 is a flowchart showing an operation example of the occupant state detection device integrated display 1 according to the first embodiment. The occupant state detection device integrated display 1 repeats the operation shown in the flowchart of FIG. 4, for example, while the engine of the vehicle is operating. In the following, the LCD 3 is divided into a right area 3R, a central area 3C, and a left area 3L, and the infrared LED 5 is classified into a right area infrared LED 5R, a central area infrared LED 5C, and a left area infrared LED 5L. It shall be. Further, the white LED control unit 15 constantly causes the white LEDs 4 in the entire area to emit light intermittently during the operation shown in the flowchart of FIG.

ステップＳＴ１において、ＬＣＤ制御部１４は、ＬＣＤ３の右エリア３Ｒ、中央エリア３Ｃ、及び左エリア３Ｌに対し、通常描画と透過率制御描画とを交互に行う。ステップＳＴ２において、赤外ＬＥＤ制御部１６は、右エリア赤外ＬＥＤ５Ｒ、中央エリア赤外ＬＥＤ５Ｃ、及び左エリア赤外ＬＥＤ５Ｌを連続発光させる。 In step ST1, the LCD control unit 14 alternately performs normal drawing and transmittance control drawing on the right area 3R, the center area 3C, and the left area 3L of the LCD 3. In step ST2, the infrared LED control unit 16 continuously emits the right area infrared LED 5R, the central area infrared LED 5C, and the left area infrared LED 5L.

ステップＳＴ３において、カメラ２は、白色ＬＥＤ４が消灯すると共に赤外ＬＥＤ５が発光するタイミングで車室内を撮像する。ステップＳＴ４において、乗員位置検出部１２は、カメラ２により撮像された画像を用いて、乗員を検出する。乗員位置検出部１２が、車両に乗員が１人もいないと判断した場合（ステップＳＴ４“ＮＯ”）、処理はステップＳＴ１に戻る。一方、乗員位置検出部１２は、車両に搭乗している乗員を検出した場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５において乗員の位置を検出する。ここでは、乗員位置検出部１２が、運転席に着座している乗員を検出したものとする。 In step ST3, the camera 2 takes an image of the vehicle interior at the timing when the white LED 4 is turned off and the infrared LED 5 emits light. In step ST4, the occupant position detection unit 12 detects the occupant using the image captured by the camera 2. When the occupant position detecting unit 12 determines that there is no occupant in the vehicle (step ST4 “NO”), the process returns to step ST1. On the other hand, when the occupant position detection unit 12 detects the occupant on the vehicle (step ST4 “YES”), the occupant position detection unit 12 detects the position of the occupant in step ST5. Here, it is assumed that the occupant position detection unit 12 has detected an occupant seated in the driver's seat.

ステップＳＴ６において、ＬＣＤ制御部１４は、ＬＣＤ３のうち、運転席に対応する右エリア３Ｒに対して通常描画と透過率制御描画とを交互に行い、助手席及び後部座席に対応する左エリア３Ｌ及び中央エリア３Ｃに対して通常描画を行う。ステップＳＴ７において、赤外ＬＥＤ制御部１６は、運転席に対応する右エリア赤外ＬＥＤ５Ｒを連続発光させ、助手席及び後部座席に対応する左エリア赤外ＬＥＤ５Ｌ及び中央エリア赤外ＬＥＤ５Ｃを消灯させる。 In step ST6, the LCD control unit 14 alternately performs normal drawing and transmittance control drawing on the right area 3R corresponding to the driver's seat in the LCD 3, and the left area 3L corresponding to the passenger seat and the rear seat and the left area 3L. Normal drawing is performed on the central area 3C. In step ST7, the infrared LED control unit 16 continuously emits the right area infrared LED 5R corresponding to the driver's seat, and turns off the left area infrared LED 5L and the central area infrared LED 5C corresponding to the passenger seat and the rear seat.

ステップＳＴ８において、所定のイベントが発生した場合（ステップＳＴ８“ＹＥＳ”）、乗員状態検出装置一体型ディスプレイ１の処理はステップＳＴ１に戻り、それ以外の場合（ステップＳＴ８“ＮＯ”）、乗員状態検出装置一体型ディスプレイ１の処理はステップＳＴ６に戻る。所定のイベントとは、車両が走行を停止した場合、ステップＳＴ４で乗員が検出された時点から予め定められた時間が経過した場合、又は、乗員状態検出部１３がステップＳＴ４で検出された乗員の状態検出中にその乗員の状態を検出できなくなった場合（即ち、その乗員がカメラ２の撮像範囲外へ移動した場合）等である。 In step ST8, when a predetermined event occurs (step ST8 “YES”), the processing of the occupant state detection device integrated display 1 returns to step ST1, and in other cases (step ST8 “NO”), the occupant state detection. The process of the device-integrated display 1 returns to step ST6. The predetermined event is when the vehicle stops traveling, when a predetermined time has elapsed from the time when the occupant is detected in step ST4, or when the occupant state detection unit 13 detects the occupant in step ST4. This is the case where the state of the occupant cannot be detected during the state detection (that is, the occupant moves out of the imaging range of the camera 2).

なお、図４には示さないが、乗員位置検出部１２は、ステップＳＴ４で検出した乗員の移動軌跡を検出してもよい。例えば、乗員状態検出部１３がステップＳＴ４で検出された運転席の乗員の状態を検出中、乗員位置検出部１２が移動軌跡に基づいてこの乗員の助手席の方向への移動を検出した場合、ＬＣＤ制御部１４は、通常描画と透過率制御描画とを交互に行うエリアを、運転席に対応する右エリア３Ｒから助手席に対応する左エリア３Ｌに変更してもよい。このとき、赤外ＬＥＤ制御部１６は、連続発光させるエリアを、運転席に対応する右エリア赤外ＬＥＤ５Ｒから助手席に対応する左エリア赤外ＬＥＤ５Ｌに変更する。 Although not shown in FIG. 4, the occupant position detection unit 12 may detect the movement locus of the occupant detected in step ST4. For example, when the occupant state detection unit 13 is detecting the state of the occupant in the driver's seat detected in step ST4, and the occupant position detection unit 12 detects the movement of the occupant in the direction of the passenger seat based on the movement locus. The LCD control unit 14 may change the area in which normal drawing and transmittance control drawing are alternately performed from the right area 3R corresponding to the driver's seat to the left area 3L corresponding to the passenger seat. At this time, the infrared LED control unit 16 changes the area for continuous light emission from the right area infrared LED 5R corresponding to the driver's seat to the left area infrared LED 5L corresponding to the passenger seat.

以上のように、実施の形態１に係る乗員状態検出装置一体型ディスプレイ１は、カメラ２と、ＬＣＤ３と、複数の白色ＬＥＤ４と、複数の赤外ＬＥＤ５と、乗員位置検出部１２と、乗員状態検出部１３と、ＬＣＤ制御部１４と、白色ＬＥＤ制御部１５と、赤外ＬＥＤ制御部１６とを備える。カメラ２は、赤外領域を撮像する機能を有する。ＬＣＤ３は、カメラ２の撮像方向を照らす。複数の白色ＬＥＤ４及び複数の赤外ＬＥＤ５は、ＬＣＤ３の背面に配置されている。乗員位置検出部１２は、カメラ２により撮像された画像を用いて車両に搭乗している乗員の位置を検出する。乗員状態検出部１３は、カメラ２により撮像された画像を用いて車両に搭乗している乗員の状態を検出する。ＬＣＤ制御部１４は、ＬＣＤ３のうち、乗員位置検出部１２により検出された乗員の位置に該当するエリアの透過率を制御する。赤外ＬＥＤ制御部１６は、複数の赤外ＬＥＤ５のうち、乗員位置検出部１２により検出された乗員の位置に該当するエリアの赤外ＬＥＤ５を発光させる。白色ＬＥＤ制御部１５は、複数の赤外ＬＥＤ５のいずれかが発光している間は複数の白色ＬＥＤ４を消灯させる。このように、乗員状態検出装置一体型ディスプレイ１は、乗員の位置に応じて、赤外ＬＥＤ５を発光させるエリアを動的に変化させることで、不要な電力を削減することができる。したがって、乗員状態検出装置一体型ディスプレイ１は、乗員の状態を検出するときの消費電力を抑制することができる。 As described above, the occupant state detection device integrated display 1 according to the first embodiment includes a camera 2, an LCD 3, a plurality of white LEDs 4, a plurality of infrared LEDs 5, an occupant position detection unit 12, and an occupant state. It includes a detection unit 13, an LCD control unit 14, a white LED control unit 15, and an infrared LED control unit 16. The camera 2 has a function of capturing an infrared region. The LCD 3 illuminates the imaging direction of the camera 2. The plurality of white LEDs 4 and the plurality of infrared LEDs 5 are arranged on the back surface of the LCD 3. The occupant position detection unit 12 detects the position of the occupant on the vehicle by using the image captured by the camera 2. The occupant state detection unit 13 detects the state of the occupant in the vehicle by using the image captured by the camera 2. The LCD control unit 14 controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit 12 in the LCD 3. The infrared LED control unit 16 emits the infrared LED 5 in the area corresponding to the position of the occupant detected by the occupant position detection unit 12 among the plurality of infrared LEDs 5. The white LED control unit 15 turns off the plurality of white LEDs 4 while any of the plurality of infrared LEDs 5 is emitting light. As described above, the occupant state detection device integrated display 1 can reduce unnecessary power by dynamically changing the area in which the infrared LED 5 emits light according to the position of the occupant. Therefore, the occupant state detection device integrated display 1 can suppress the power consumption when detecting the occupant state.

また、実施の形態１のＬＣＤ制御部１４は、乗員位置検出部１２により検出された乗員の位置に該当するエリアのＬＣＤ３に対し、通常描画と透過率を制御した透過率制御描画とを交互に行う。白色ＬＥＤ制御部１５は、複数の白色ＬＥＤ４すべてを、通常描画中に発光させ透過率制御描画中に消灯させる。赤外ＬＥＤ制御部１６は、乗員位置検出部１２により検出された乗員の位置に該当するエリアの赤外ＬＥＤ５を連続発光させる。大電流が流れる赤外ＬＥＤ５が間欠発光すると不要輻射が発生するという問題があるが、実施の形態１では赤外ＬＥＤ５を連続発光させるので不要輻射を抑制することができる。 Further, the LCD control unit 14 of the first embodiment alternately alternates between normal drawing and transmittance control drawing in which the transmittance is controlled for the LCD 3 in the area corresponding to the occupant position detected by the occupant position detection unit 12. conduct. The white LED control unit 15 causes all of the plurality of white LEDs 4 to emit light during normal drawing and is turned off during transmittance control drawing. The infrared LED control unit 16 continuously emits infrared LEDs 5 in an area corresponding to the position of the occupant detected by the occupant position detection unit 12. There is a problem that unnecessary radiation is generated when the infrared LED 5 through which a large current flows intermittently emits light. However, in the first embodiment, since the infrared LED 5 continuously emits light, unnecessary radiation can be suppressed.

また、実施の形態１のＬＣＤ制御部１４は、透過率制御描画中のＬＣＤ３の透過率を制御することによって、赤外ＬＥＤ５の輝度を調整することができる。 Further, the LCD control unit 14 of the first embodiment can adjust the brightness of the infrared LED 5 by controlling the transmittance of the LCD 3 during the transmittance control drawing.

実施の形態２．
図５は、実施の形態２に係る乗員状態検出装置一体型ディスプレイ１の構成例を示すブロック図である。図５において、図１と同一又は相当する部分は、同一の符号を付し説明を省略する。 Embodiment 2.
FIG. 5 is a block diagram showing a configuration example of the occupant state detection device integrated display 1 according to the second embodiment. In FIG. 5, the same or corresponding parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.

図６は、実施の形態２におけるＬＣＤ３、白色ＬＥＤ４、及び赤外ＬＥＤ５の動作例を示すタイムチャートである。実施の形態１では、ＬＣＤ制御部１４は、ＬＣＤ３のうち、乗員の位置に該当するエリアに対し、通常描画と赤外ＬＥＤ５の輝度調整用の透過率に制御した透過率制御描画とを交互に行った。これに対し、実施の形態２では、ＬＣＤ制御部１４は、ＬＣＤ３のうち、乗員の位置に該当するエリアに対し、通常描画と白画描画とを交互に行う。白画描画は、透過率を最大まで上げた透過率制御描画である。 FIG. 6 is a time chart showing an operation example of the LCD 3, the white LED 4, and the infrared LED 5 in the second embodiment. In the first embodiment, the LCD control unit 14 alternately alternates between normal drawing and transmittance control drawing controlled to the transmittance for adjusting the brightness of the infrared LED 5 for the area corresponding to the position of the occupant in the LCD 3. gone. On the other hand, in the second embodiment, the LCD control unit 14 alternately performs normal drawing and white drawing on the area corresponding to the position of the occupant in the LCD 3. White image drawing is a transmittance controlled drawing in which the transmittance is increased to the maximum.

白色ＬＥＤ制御部１５は、実施の形態１と同様、全エリアの白色ＬＥＤ４を、ＬＣＤ３の通常描画中に発光させ、透過率制御描画中に消灯させる。 Similar to the first embodiment, the white LED control unit 15 causes the white LEDs 4 in the entire area to emit light during normal drawing of the LCD 3, and is turned off during the transmittance control drawing.

赤外ＬＥＤ制御部１６は、実施の形態１では、乗員の位置に該当するエリアの赤外ＬＥＤ５を連続発光させた。これに対し、実施の形態２では、赤外ＬＥＤ制御部１６は、乗員の位置に該当するエリアの赤外ＬＥＤ５を、ＬＣＤ３の通常描画中に消灯させ、透過率制御描画中に発光させる。 In the first embodiment, the infrared LED control unit 16 continuously emits the infrared LED 5 in the area corresponding to the position of the occupant. On the other hand, in the second embodiment, the infrared LED control unit 16 turns off the infrared LED 5 in the area corresponding to the position of the occupant during the normal drawing of the LCD 3, and causes the infrared LED 5 to emit light during the transmittance control drawing.

また、赤外ＬＥＤ制御部１６は、露出計２ａにより測定された明るさに応じて、赤外ＬＥＤ５の発光時間を変化させる。例えば、赤外ＬＥＤ制御部１６は、被写体の明るさが予め定められた明るさ未満である場合、赤外ＬＥＤ５の発光時間を長くし、被写体の明るさが上記予め定められた明るさ以上である場合、赤外ＬＥＤ５の発光時間を短くする。赤外ＬＥＤ５の発光時間制御により、赤外ＬＥＤ５の輝度が調整される。 Further, the infrared LED control unit 16 changes the light emission time of the infrared LED 5 according to the brightness measured by the exposure meter 2a. For example, when the brightness of the subject is less than the predetermined brightness, the infrared LED control unit 16 prolongs the light emission time of the infrared LED 5, and the brightness of the subject is equal to or higher than the predetermined brightness. In some cases, the light emission time of the infrared LED 5 is shortened. The brightness of the infrared LED 5 is adjusted by controlling the emission time of the infrared LED 5.

以上のように、実施の形態２のＬＣＤ制御部１４は、乗員位置検出部１２により検出された乗員の位置に該当するエリアのＬＣＤ３に対し、通常描画と透過率を制御した透過率制御描画とを交互に行う。白色ＬＥＤ制御部１５は、複数の白色ＬＥＤ４すべてを、通常描画中に発光させ透過率制御描画中に消灯させる。赤外ＬＥＤ制御部１６は、乗員位置検出部１２により検出された乗員の位置に該当するエリアの赤外ＬＥＤ５を、通常描画中に消灯させ、透過率制御描画中に発光させる。このように、乗員状態検出装置一体型ディスプレイ１は、乗員がいないエリアの赤外ＬＥＤ５を消灯させることに加え、乗員がいるエリアの赤外ＬＥＤ５を通常描画中に消灯させることにより、消費電力をさらに抑制することができる。 As described above, the LCD control unit 14 of the second embodiment performs normal drawing and transmittance control drawing in which the transmittance is controlled with respect to the LCD 3 in the area corresponding to the position of the occupant detected by the occupant position detection unit 12. Alternately. The white LED control unit 15 causes all of the plurality of white LEDs 4 to emit light during normal drawing and is turned off during transmittance control drawing. The infrared LED control unit 16 turns off the infrared LED 5 in the area corresponding to the position of the occupant detected by the occupant position detection unit 12 during normal drawing and emits light during the transmittance control drawing. In this way, the occupant state detection device integrated display 1 consumes power by turning off the infrared LED 5 in the area where there is no occupant and turning off the infrared LED 5 in the area where the occupant is present during normal drawing. It can be further suppressed.

また、実施の形態２の赤外ＬＥＤ制御部１６は、透過率制御描画中の赤外ＬＥＤ５の発光時間を変化させることによって、赤外ＬＥＤ５の輝度を調整することができる。 Further, the infrared LED control unit 16 of the second embodiment can adjust the brightness of the infrared LED 5 by changing the light emission time of the infrared LED 5 during the transmittance control drawing.

最後に、各実施の形態に係るディスプレイ制御装置１０のハードウェア構成を説明する。
図７Ａ及び図７Ｂは、各実施の形態に係るディスプレイ制御装置１０のハードウェア構成例を示す図である。ディスプレイ制御装置１０におけるＬＣＤ制御部１４、白色ＬＥＤ制御部１５、及び赤外ＬＥＤ制御部１６の機能は、ＬＣＤ３、白色ＬＥＤ４、及び赤外ＬＥＤ５に電圧を印加する駆動回路１０３により実現される。ディスプレイ制御装置１０における乗員位置検出部１２及び乗員状態検出部１３の機能は、処理回路により実現される。即ち、ディスプレイ制御装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。 Finally, the hardware configuration of the display control device 10 according to each embodiment will be described.
7A and 7B are diagrams showing a hardware configuration example of the display control device 10 according to each embodiment. The functions of the LCD control unit 14, the white LED control unit 15, and the infrared LED control unit 16 in the display control device 10 are realized by the drive circuit 103 that applies a voltage to the LCD 3, the white LED 4, and the infrared LED 5. The functions of the occupant position detection unit 12 and the occupant state detection unit 13 in the display control device 10 are realized by the processing circuit. That is, the display control device 10 includes a processing circuit for realizing the above functions. The processing circuit may be a processing circuit 100 as dedicated hardware, or may be a processor 101 that executes a program stored in the memory 102.

図７Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。乗員位置検出部１２及び乗員状態検出部１３の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。 As shown in FIG. 7A, when the processing circuit is dedicated hardware, the processing circuit 100 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (System on a Chip). ), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or a combination thereof. The functions of the occupant position detection unit 12 and the occupant state detection unit 13 may be realized by a plurality of processing circuits 100, or the functions of each unit may be collectively realized by one processing circuit 100.

図７Ｂに示されるように、処理回路がプロセッサ１０１である場合、乗員位置検出部１２及び乗員状態検出部１３の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、ディスプレイ制御装置１０は、プロセッサ１０１により実行されるときに、図４のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、乗員位置検出部１２及び乗員状態検出部１３の手順又は方法をコンピュータに実行させるものであるとも言える。 As shown in FIG. 7B, when the processing circuit is the processor 101, the functions of the occupant position detection unit 12 and the occupant state detection unit 13 are realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 102. The processor 101 realizes the functions of each part by reading and executing the program stored in the memory 102. That is, the display control device 10 includes a memory 102 for storing a program in which the step shown in the flowchart of FIG. 4 is eventually executed when executed by the processor 101. Further, it can be said that this program causes the computer to execute the procedure or method of the occupant position detection unit 12 and the occupant state detection unit 13.

ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。 Here, the processor 101 is a CPU (Central Processing Unit), a processing device, an arithmetic unit, a microprocessor, or the like.
The memory 102 may be a non-volatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a flash memory, and may be a non-volatile or volatile semiconductor memory such as a hard disk or a flexible disk. It may be a magnetic disk of the above, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versaille Disc).

なお、乗員位置検出部１２及び乗員状態検出部１３の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、ディスプレイ制御装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。 The functions of the occupant position detection unit 12 and the occupant state detection unit 13 may be partially realized by dedicated hardware and partly realized by software or firmware. As described above, the processing circuit in the display control device 10 can realize the above-mentioned functions by hardware, software, firmware, or a combination thereof.

本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。 The present invention allows any combination of embodiments, modifications of any component of each embodiment, or omission of any component of each embodiment within the scope of the invention.

１ 乗員状態検出装置一体型ディスプレイ、２ カメラ、２ａ 露出計、３ ＬＣＤ、３Ｒ 右エリア、３Ｃ 中央エリア、３Ｌ 左エリア、４ 白色ＬＥＤ、５ 赤外ＬＥＤ、５Ｒ 右エリア赤外ＬＥＤ、５Ｃ 中央エリア赤外ＬＥＤ、５Ｌ 左エリア赤外ＬＥＤ、１０ ディスプレイ制御装置、１１ 乗員状態検出装置、１２ 乗員位置検出部、１３ 乗員状態検出部、１４ ＬＣＤ制御部、１５ 白色ＬＥＤ制御部、１６ 赤外ＬＥＤ制御部、１００ 処理回路、１０１ プロセッサ、１０２ メモリ、１０３ 駆動回路。 1 Crew condition detector integrated display, 2 camera, 2a exposure meter, 3 LCD, 3R right area, 3C center area, 3L left area, 4 white LED, 5 infrared LED, 5R right area infrared LED, 5C center area Infrared LED, 5L left area infrared LED, 10 display control device, 11 occupant state detection device, 12 occupant position detection unit, 13 occupant state detection unit, 14 LCD control unit, 15 white LED control unit, 16 infrared LED control Unit, 100 processing circuit, 101 processor, 102 memory, 103 drive circuit.

Claims (6)

赤外領域を撮像する機能を有するカメラと、
前記カメラの撮像方向を照らす液晶ディスプレイと、
前記液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子と、
前記カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、
前記カメラにより撮像された画像を用いて前記車両に搭乗している乗員の状態を検出する乗員状態検出部と、
前記液晶ディスプレイのうち、前記乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、
前記複数の赤外発光素子のうち、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの赤外発光素子を発光させる赤外発光素子制御部と、
前記液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は前記複数の白色発光素子を消灯させる白色発光素子制御部とを備える乗員状態検出装置一体型ディスプレイ。 A camera that has a function to capture the infrared region,
A liquid crystal display that illuminates the image pickup direction of the camera,
A plurality of white light emitting elements and a plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display,
An occupant position detection unit that detects the position of an occupant in a vehicle using an image captured by the camera, and a occupant position detection unit.
A occupant state detection unit that detects the state of the occupant on the vehicle using the image captured by the camera, and a occupant state detection unit.
Among the liquid crystal displays, the liquid crystal display control unit that controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit, and the liquid crystal display control unit.
Among the plurality of infrared light emitting elements, an infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
A occupant state detection device integrated display including a white light emitting element control unit that turns off the plurality of white light emitting elements while the transmittance is changed by the control of the liquid crystal display control unit as compared with normal drawing . 前記液晶ディスプレイ制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記液晶ディスプレイに対し、通常描画と透過率を制御した透過率制御描画とを交互に行い、
前記白色発光素子制御部は、前記複数の白色発光素子すべてを、前記通常描画中に発光させ前記透過率制御描画中に消灯させ、
前記赤外発光素子制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記赤外発光素子を連続発光させることを特徴とする請求項１記載の乗員状態検出装置一体型ディスプレイ。 The liquid crystal display control unit alternately performs normal drawing and transmittance control drawing with controlled transmittance on the liquid crystal display in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
The white light emitting element control unit causes all of the plurality of white light emitting elements to emit light during the normal drawing and is turned off during the transmittance control drawing.
The occupant state detection device according to claim 1, wherein the infrared light emitting element control unit continuously emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit. Integrated display. 前記液晶ディスプレイ制御部は、前記透過率制御描画中の前記液晶ディスプレイの透過率を制御することによって、前記赤外発光素子の輝度を調整することを特徴とする請求項２記載の乗員状態検出装置一体型ディスプレイ。 The occupant state detecting device according to claim 2, wherein the liquid crystal display control unit adjusts the brightness of the infrared light emitting element by controlling the transmittance of the liquid crystal display during the transmittance control drawing. Integrated display. 前記液晶ディスプレイ制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記液晶ディスプレイに対し、通常描画と透過率を制御した透過率制御描画とを交互に行い、
前記白色発光素子制御部は、前記複数の白色発光素子すべてを、前記通常描画中に発光させ前記透過率制御描画中に消灯させ、
前記赤外発光素子制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記赤外発光素子を、前記通常描画中に消灯させ前記透過率制御描画中に発光させることを特徴とする請求項１記載の乗員状態検出装置一体型ディスプレイ。 The liquid crystal display control unit alternately performs normal drawing and transmittance control drawing with controlled transmittance on the liquid crystal display in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
The white light emitting element control unit causes all of the plurality of white light emitting elements to emit light during the normal drawing and is turned off during the transmittance control drawing.
The infrared light emitting element control unit turns off the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detection unit during the normal drawing and emits light during the transmittance control drawing. The occupant state detection device integrated display according to claim 1. 前記赤外発光素子制御部は、前記透過率制御描画中の前記赤外発光素子の発光時間を変化させることによって、前記赤外発光素子の輝度を調整することを特徴とする請求項４記載の乗員状態検出装置一体型ディスプレイ。 The fourth aspect of claim 4, wherein the infrared light emitting element control unit adjusts the brightness of the infrared light emitting element by changing the light emitting time of the infrared light emitting element during the transmittance control drawing. A display with an integrated occupant status detector. 赤外領域を撮像する機能を有するカメラと、前記カメラの撮像方向を照らす液晶ディスプレイと、前記液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子とを備える乗員状態検出装置一体型ディスプレイの動作を制御するディスプレイ制御装置であって、
前記カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、
前記カメラにより撮像された画像を用いて前記車両に搭乗している乗員の状態を検出する乗員状態検出部と、
前記液晶ディスプレイのうち、前記乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、
前記複数の赤外発光素子のうち、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの赤外発光素子を発光させる赤外発光素子制御部と、
前記液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は前記複数の白色発光素子を消灯させる白色発光素子制御部とを備えることを特徴とするディスプレイ制御装置。 Crew state detection including a camera having a function of imaging an infrared region, a liquid crystal display that illuminates the imaging direction of the camera, and a plurality of white light emitting elements and a plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display. A display control device that controls the operation of a device-integrated display.
An occupant position detection unit that detects the position of an occupant in a vehicle using an image captured by the camera, and a occupant position detection unit.
A occupant state detection unit that detects the state of the occupant on the vehicle using the image captured by the camera, and a occupant state detection unit.
Among the liquid crystal displays, the liquid crystal display control unit that controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit, and the liquid crystal display control unit.
Among the plurality of infrared light emitting elements, an infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
A display control device including a white light emitting element control unit that turns off the plurality of white light emitting elements while the transmittance is changed as compared with normal drawing by the control of the liquid crystal display control unit.
JP2018170492A 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device Active JP7101574B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018170492A JP7101574B2 (en) 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018170492A JP7101574B2 (en) 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device

Publications (2)

Publication Number Publication Date
JP2020040565A JP2020040565A (en) 2020-03-19
JP7101574B2 true JP7101574B2 (en) 2022-07-15

Family

ID=69797396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170492A Active JP7101574B2 (en) 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device

Country Status (1)

Country Link
JP (1) JP7101574B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114392379A (en) * 2021-12-10 2022-04-26 中国第一汽车股份有限公司 Vehicle disinfection method and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200718A (en) 2008-02-20 2009-09-03 Toyota Motor Corp Imaging device
JP2014031140A (en) 2012-08-06 2014-02-20 Alpine Electronics Inc Display device
JP2014188322A (en) 2013-03-28 2014-10-06 Panasonic Corp Visual line detection device, visual line detection method and program
JP2016032257A (en) 2014-07-30 2016-03-07 株式会社デンソー Driver monitoring device
US20160185354A1 (en) 2014-12-30 2016-06-30 Tk Holdings, Inc. Occupant monitoring systems and methods
JP2018109686A (en) 2016-12-28 2018-07-12 京セラ株式会社 Liquid crystal display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200718A (en) 2008-02-20 2009-09-03 Toyota Motor Corp Imaging device
JP2014031140A (en) 2012-08-06 2014-02-20 Alpine Electronics Inc Display device
JP2014188322A (en) 2013-03-28 2014-10-06 Panasonic Corp Visual line detection device, visual line detection method and program
JP2016032257A (en) 2014-07-30 2016-03-07 株式会社デンソー Driver monitoring device
US20160185354A1 (en) 2014-12-30 2016-06-30 Tk Holdings, Inc. Occupant monitoring systems and methods
JP2018109686A (en) 2016-12-28 2018-07-12 京セラ株式会社 Liquid crystal display device

Also Published As

Publication number Publication date
JP2020040565A (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP5056831B2 (en) Head-up display device
EP3562708B1 (en) Rear vision system with eye-tracking
US10922568B2 (en) Driver monitoring apparatus and method for controlling illuminator thereof
WO2016039256A1 (en) Display function-equipped mirror device and display switching method
JP6433383B2 (en) Floodlight device
JP2010032560A (en) Display device for vehicle
JP2017105431A (en) Imaging device for vehicle, and imaging system for vehicle
JP7101574B2 (en) Crew condition detection device integrated display and display control device
JP2007290411A (en) Control device for vehicle
JP2013119268A (en) Vehicular display system
JP6229769B2 (en) Mirror device with display function and display switching method
JP5590412B2 (en) Projection system and face photographing system
US20230019596A1 (en) Imaging and display system
JP7081458B2 (en) Display device for vehicles
JP2010012995A (en) Lighting system
JP2019001293A (en) On-vehicle display device
JP2009096323A (en) Camera illumination control device
JP2011188218A (en) Display device
JP2017028349A (en) Video processing device, operation support display system and video processing method
WO2020129146A1 (en) Display control device and display control method
JP7404128B2 (en) heads up display device
JP7489944B2 (en) Light emission intensity adjustment device, light emission intensity adjustment program, and passenger monitoring system
WO2014061175A1 (en) State monitoring device
WO2024075739A1 (en) Vehicular display device
JP5208719B2 (en) Imaging device, display device, and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150