WO2021199157A1 - 乗員状態判定装置および乗員状態判定方法 - Google Patents

乗員状態判定装置および乗員状態判定方法 Download PDF

Info

Publication number
WO2021199157A1
WO2021199157A1 PCT/JP2020/014548 JP2020014548W WO2021199157A1 WO 2021199157 A1 WO2021199157 A1 WO 2021199157A1 JP 2020014548 W JP2020014548 W JP 2020014548W WO 2021199157 A1 WO2021199157 A1 WO 2021199157A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
image
state
determining
driver
Prior art date
Application number
PCT/JP2020/014548
Other languages
English (en)
French (fr)
Inventor
琢弥 畑本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2022512898A priority Critical patent/JP7370456B2/ja
Priority to PCT/JP2020/014548 priority patent/WO2021199157A1/ja
Publication of WO2021199157A1 publication Critical patent/WO2021199157A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a technique for detecting the state of a vehicle occupant.
  • Patent Document 1 describes a device that simultaneously images a driver's seat occupant and a passenger seat occupant with a wide-angle camera installed in front of the center of a vehicle to determine the state of the driver's seat occupant and the passenger seat occupant. ing.
  • Patent Document 1 in order to simultaneously image the occupant in the driver's seat and the occupant in the passenger seat, it is necessary to install the camera near the center in front of the vehicle. Therefore, for example, when the occupant in the driver's seat or the passenger seat loses his / her posture toward the window side of the vehicle or changes his / her face direction extremely toward the window of the vehicle, a part or all of the occupant's face cannot be imaged. This will reduce the accuracy of determining the condition of the occupants in the driver's seat or passenger seat. In order to always accurately judge the state of the occupants, it is conceivable to place cameras in front of each occupant or to place multiple cameras for one occupant, but the number of cameras has increased. Therefore, the cost increases.
  • the present disclosure has been made to solve the above-mentioned problems, and when the driver's seat occupant and the passenger's seat occupant are simultaneously imaged from the vicinity of the center in front of the vehicle, the driver's seat or the passenger's seat does not increase the cost.
  • the purpose is to accurately determine the condition of the occupants in the seat.
  • the occupant state determining device is provided in the front central portion of the vehicle, and is a first image that acquires a first image captured by a first imaging device that simultaneously captures an occupant seated in a driver's seat and a passenger seat.
  • the occupant condition determination device of the present disclosure accurately captures the condition of the occupant in the driver's seat or the passenger seat without increasing the cost when simultaneously imaging the occupant in the driver's seat and the occupant in the passenger seat from the vicinity of the center in front of the vehicle. Can be determined.
  • Embodiment 1 It is a block diagram which shows the structure of the occupant state determination apparatus which concerns on Embodiment 1 of this disclosure. It is a figure which shows the example of the arrangement and the imaging range of the 1st image pickup apparatus and the 2nd image pickup apparatus which concerns on Embodiment 1 of this disclosure.
  • 3A and 3B are diagrams showing a hardware configuration example of the occupant state determination device according to the first embodiment of the present invention. It is a flowchart which shows the operation of the occupant state determination processing in Embodiment 1 of this disclosure. It is a block diagram which shows the structure of the occupant state determination apparatus which concerns on embodiment 2. It is a flowchart which shows the operation of the occupant state determination processing in Embodiment 2 of this disclosure.
  • FIG. 1 is a block diagram showing a configuration of an occupant state determination device 100 according to the first embodiment.
  • the occupant state determination device 100 includes a first image acquisition unit 1, a second image acquisition unit 2, and an occupant state determination unit 3. As shown in FIG. 1, the occupant state determination device 100 is connected to the first image pickup device 10, the second image pickup device 20, and the control device 30.
  • FIG. 2 is a diagram showing an example of the arrangement and imaging range of the first imaging device 10 and the second imaging device 20 according to the first embodiment.
  • the first image pickup device 10 is an image pickup device for taking an image of an occupant seated in the driver's seat and the passenger seat, and is provided in the front center portion of the vehicle and is seated in the driver's seat and the passenger seat as shown in FIG. It is configured so that the occupants can be imaged at the same time.
  • An example of the first imaging device 10 is a camera.
  • the second image pickup device 20 is an image pickup device for an electronic mirror, that is, an image pickup device for imaging the rear side of the vehicle, and as shown in FIG. 2, the window glass 40a on the driver's seat side outside the vehicle.
  • An imaging device 20a is provided in the vicinity, and an imaging device 20b is provided in the vicinity of the window glass 40b on the passenger seat side so that the driver's seat or the passenger's seat occupant can be imaged through the window glass on the front seat together with the rear on the vehicle side. ing.
  • a camera can be mentioned as the second imaging device 20.
  • the first image acquisition unit 1 acquires the first image captured by the first image pickup device 10 and transmits it to the occupant state determination unit 3.
  • the second image acquisition unit 2 acquires the second image captured by the second image pickup device 20 and transmits it to the occupant state determination unit 3.
  • the first image acquisition unit 1 and the second image acquisition unit 2 are described separately, but one image acquisition unit acquires the first image and the second image. You may try to do it.
  • an example of determining the state of the driver's seat occupant (hereinafter referred to as the driver) by the first image pickup device 10 and the image pickup device 20a will be described.
  • the occupant state determination unit 3 determines whether the first image transmitted from the first image acquisition unit 1 is in an inappropriate state for determining the driver's condition. Inappropriate conditions for determining the driver's condition include, for example, the driver's face cannot be detected, some or all of the components of the driver's face (eyes, nose, mouth, etc.) cannot be detected. The position of the driver's face is outside the predetermined area, and the number of overexposed or overexposed pixels is equal to or greater than the predetermined ratio. The occupant state determination unit 3 determines the driver's condition from the second image when the first image is inappropriate for determining the driver's condition, while the first image is the driver's condition.
  • the condition of the driver is determined from the first image.
  • the occupant state determination unit 3 transmits the determined driver's state to the control device 30.
  • the driver's state includes, for example, personal judgment (personal authentication), dozing state, inattentive state, dead man (inoperable state), and the like.
  • the state of the driver may be determined based on feature points that are constituent elements of the face, such as the driver's eyes, nose, and mouth, or may be determined by machine learning.
  • the control device 30 selects and controls the device to be controlled according to the state transmitted from the occupant state determination unit 3. For example, when the state transmitted from the occupant state determination unit 3 is a doze state, the control device 30 controls an alarm device (not shown) to give an alarm to urge the driver to awaken, and determine the occupant state.
  • the state transmitted from the unit 3 is the result of personal authentication, the seat drive unit is controlled so that the seat position and inclination of the vehicle are suitable for the authenticated individual.
  • FIG. 3A and 3B are diagrams showing a hardware configuration example of the occupant state determination device 100.
  • Each function of the first image acquisition unit 1, the second image acquisition unit 2, and the occupant state determination unit 3 in the occupant state determination device 100 is realized by a processing circuit. That is, the occupant state determination device 100 includes a processing circuit for realizing each of the above functions.
  • the processing circuit may be a processing circuit 200a which is dedicated hardware as shown in FIG. 3A, or may be a processor 200b which executes a program stored in the memory 200c as shown in FIG. 3B. good.
  • the processing circuit 200a is, for example, a single circuit or a composite circuit. , A programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-programmable Gate Array), or a combination thereof.
  • the functions of the first image acquisition unit 1, the second image acquisition unit 2, and the occupant state determination unit 3 may be realized by processing circuits, or the functions of each unit may be realized by one processing circuit. May be good.
  • the functions of each unit are software, firmware, or software and firmware. It is realized by the combination.
  • the software or firmware is written as a program and stored in the memory 200c.
  • the processor 200b realizes each function of the first image acquisition unit 1, the second image acquisition unit 2, and the occupant state determination unit 3 by reading and executing the program stored in the memory 200c. That is, when the first image acquisition unit 1, the second image acquisition unit 2, and the occupant state determination unit 3 are executed by the processor 200b, each step shown in FIG. 4 to be described later is executed as a result. It is provided with a memory 200c for storing a program that becomes. Further, it can be said that these programs cause the computer to execute the procedure or method of the first image acquisition unit 1, the second image acquisition unit 2, and the occupant state determination unit 3.
  • the processor 200b is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic unit, a processor, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like.
  • the memory 200c may be, for example, a non-volatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Program ROM), or an EPROM (Electrically EPROM).
  • a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, a CD (Compact Disc), or a DVD (Digital Versaille Disc).
  • a part is realized by dedicated hardware and a part is realized by software or firmware. You may.
  • the processing circuit 200a in the occupant state determination device 100 can realize each of the above-mentioned functions by hardware, software, firmware, or a combination thereof.
  • FIG. 4 is a flowchart showing the operation of the occupant state determination process of the occupant state determination device 100 according to the first embodiment. In the flowchart of FIG. 4, an example of determining the state of the driver will be described.
  • the first image acquisition unit 1 and the second image acquisition unit 2 acquire the first image and the second image from the first image pickup device 10 and the image pickup device 20a, respectively, and each image is transmitted to the occupant state determination unit 3. Is transmitted (step ST1).
  • the occupant state determination unit 3 determines whether the first image is an inappropriate state for determining the driver's condition (step ST2), and the first image determines the driver's condition. If the condition is inappropriate for this (step ST2: YES), the occupant's condition is determined from the second image (step ST4), and the first image is inappropriate for determining the driver's condition. If not (step ST2: NO), the driver's condition is determined from the first image (step ST4).
  • step ST5 determines the driver's condition from the first image or the second image
  • step ST6 determines the driver's condition from the control device 30
  • step ST6 determines the driver's condition from the control device 30
  • step ST6 determines the driver's condition from the control device 30
  • step ST6 determines the driver's condition from the first image or the second image
  • the first image acquisition unit 1 that acquires the first image captured by the first image pickup device 10 that is provided in the front center portion of the vehicle and simultaneously images the occupants seated in the driver's seat and the passenger seat.
  • the second image acquisition unit 2 and the second image acquisition unit 2 which are provided on the outside of the vehicle and acquire the second image captured by the second image pickup device 20 which images the occupants in the driver's seat or the passenger seat together with the rear side of the vehicle. It is determined whether the image 1 is in an inappropriate state for determining the state of the occupant, and when the first image is in an inappropriate state for determining the state of the occupant, the occupant is selected from the second image.
  • the occupant state determination unit 3 for determining the state of the occupant based on the first image is provided. Therefore, when the driver's seat occupant and the passenger seat occupant are simultaneously imaged from the vicinity of the center of both fronts, the first imaging device for imaging the driver's seat occupant and the passenger seat occupant accurately images the occupant.
  • the state of the occupant is determined from the image of the second image pickup device 20 which is an image pickup device for the electronic mirror. Therefore, the state of the occupant in the driver's seat or the passenger seat can be determined without increasing the cost. It can be judged accurately.
  • first image pickup device 10 and the second image pickup device 20 are provided at positions symmetrical with respect to the occupant, and the shadow of the steering that becomes a blind spot for the first image pickup device 10 is cast on the second image pickup device. It is possible to supplement with 20a.
  • Embodiment 2 In the second embodiment, the configuration in which the images captured by the first imaging device 10 and the second imaging device 20 complement each other is shown.
  • the second embodiment will be described with reference to FIG.
  • FIG. 5 is a block diagram showing the configuration of the occupant state determination device 100A according to the second embodiment.
  • the occupant state determination device 100A according to the second embodiment is configured by adding the image pickup image synthesizing unit 4 to the occupant state determination device 100 shown in the first embodiment.
  • the same or corresponding parts as the occupant state determination device 100 according to the first embodiment are designated by the same reference numerals as those used in the first embodiment, and the description thereof will be omitted or simplified.
  • the occupant state determination unit 3A transmits the first image and the second image to the captured image compositing unit 4, and synthesizes the captured image.
  • the driver's condition is determined from the composite image created by the part 4, while the driver's condition is determined from the first image when the first image is not in an inappropriate state for determining the driver's condition. do.
  • the captured image synthesizing unit 4 collates the first image and the second image transmitted from the occupant state determination unit 3A, and detects a common region captured in both the first image and the second image. .. Then, the first image and the second image are combined so that the common areas overlap, and a combined image is created. When the synthesis of the captured images is completed, the captured image synthesizing unit 4 transmits the composited image to the occupant state determination unit 3A.
  • the captured image synthesis unit 4 may be a processing circuit 200a which is dedicated hardware as shown in FIG. 3A. However, as shown in FIG. 3B, it may be a processor 200b that executes a program stored in the memory 200c.
  • FIG. 7 is a flowchart showing the operation of the occupant state determination process of the occupant state determination device 100A according to the second embodiment.
  • FIG. 7 an example of determining the state of the driver will be described.
  • the same steps as the occupant state determination device 100 according to the first embodiment are designated by the reference numerals used in FIG. 4, and the description thereof will be omitted or simplified.
  • the first image determines whether the first image is in an inappropriate state for determining the driver's condition (step ST2), and the first image is in an inappropriate state for determining the driver's condition.
  • Step ST2 YES
  • a composite image is created from the first image and the second image (step ST21), and the driver's state is determined from the composite image (step ST22).
  • step ST4 the driver's state is determined from the first image (step ST4).
  • a composite image in which the first image and the second image are combined is created.
  • the state of the occupant is determined from the composite image, for example, in a situation where only the left eye of the occupant can be imaged in the first image and only the right eye of the occupant can be imaged in the second image.
  • the state of the occupant can be determined from the information of both eyes of the occupant, and the accuracy of determining the state of the occupant can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

乗員状態判定装置は、車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置（１０）が撮像した第１の画像を取得する第１画像取得部（１）と、車両の外側に設けられ、車両の側後方と共に、運転席または助手席の乗員を撮像する第２の撮像装置（２０）が撮像した第２の画像を取得する第２画像取得部（２）と、第１の画像が乗員の状態を判定するのに不適切な状態であるかを判定し、第１の画像が乗員の状態を判定するのに不適切な状態である場合、第２の画像から乗員の状態を判定し、第１の画像が乗員の状態を判定するのに不適切な状態でない場合、第１の画像に基づいて乗員の状態を判定する乗員状態判定部（３）と、を備える。

Description

乗員状態判定装置および乗員状態判定方法
　本開示は車両の乗員の状態を検出する技術に関するものである。
　例えば特許文献１には、車両中央前方に設置されている広角カメラによって運転席の乗員および助手席の乗員を同時に撮像し、運転席の乗員および助手席の乗員の状態を判定する装置が記載されている。
ＷＯ２０１８／１５８８０９号公報
　上記特許文献１においては、運転席の乗員および助手席の乗員を同時に撮像するため、カメラを車両前方の中央付近にカメラを設置する必要がある。そのため、例えば、運転席または助手席の乗員が車両の窓側に姿勢を崩したときや車両の窓の方向に極端に顔向きを変化させたときには、乗員の顔の一部または全部が撮像できなくなってしまい、運転席または助手席の乗員の状態の判定精度が低下してしまう。常に精度よく乗員の状態を判定するためには、各乗員の正面にカメラを配置することや１人の乗員に対して複数のカメラを配置することが考えられるが、カメラの数が増加してしまい、コストが増加してしまう。
　本開示は上記した課題を解決するためになされたものであり、車両前方の中央付近から運転席の乗員および助手席の乗員を同時に撮像するときに、コストを増加させることなく、運転席または助手席の乗員の状態を精度よく判定することを目的とする。
本開示に係る乗員状態判定装置は、車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、車両の外側に設けられ、車両の側後方と共に、運転席または助手席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、第１の画像が乗員の状態を判定するのに不適切な状態であるかを判定し、第１の画像が乗員の状態を判定するのに不適切な状態である場合、第２の画像から乗員の状態を判定し、第１の画像が乗員の状態を判定するのに不適切な状態でない場合、第１の画像に基づいて乗員の状態を判定する乗員状態判定部と、を備える。
　本開示の乗員状態判定装置は、車両前方の中央付近から運転席の乗員および助手席の乗員を同時に撮像するときに、コストを増加させることなく、運転席または助手席の乗員の状態を精度よく判定することができる。
本開示の実施の形態１に係る乗員状態判定装置の構成を示すブロック図である。 本開示の実施の形態１に係る第１の撮像装置および第２の撮像装置の配置および撮像範囲の例を示す図である。 図３Ａおよび図３Ｂは、この発明の実施の形態１に係る、乗員状態判定装置のハードウェア構成例を示す図である。 本開示の実施形態１における乗員状態判定処理の動作を示すフローチャートである。 本実施の形態２に係る乗員状態判定装置の構成を示すブロック図である。 本開示の実施形態２における乗員状態判定処理の動作を示すフローチャートである。
　以下、本開示を実施するための形態について、図を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
実施の形態1
　図１は本実施の形態１に係る乗員状態判定装置１００の構成を示すブロック図である。
　乗員状態判定装置１００は、第１の画像取得部１、第２の画像取得部２、乗員状態判定部３を備える。
　図１に示すように、乗員状態判定装置１００は、第１の撮像装置１０および第２の撮像装置２０および制御装置３０に接続されている。
　図２は本実施の形態１に係る第１の撮像装置１０および第２の撮像装置２０の配置および撮像範囲の例を示す図である。
　第１の撮像装置１０は、運転席および助手席に着座する乗員を撮像するための撮像装置であって、図２に示すように、車両前方中央部に設けられ、運転席および助手席に着座する乗員を同時に撮像できるように構成されている。第１の撮像装置１０としてはカメラが挙げられる。
　第２の撮像装置２０は、電子ミラー用の撮像装置、つまり、車両の側後方を撮像するための撮像装置であって、図２に示すように、車両の外側の運転席側の窓ガラス４０ａ付近には撮像装置２０ａ、助手席側の窓ガラス４０ｂ付近には撮像装置２０ｂが設けられ、車両側後方と共に、前席の窓ガラス越しに運転席または助手席の乗員を撮像できるように構成されている。第２の撮像装置２０としてはカメラが挙げられる。
　第１の画像取得部１は、第１の撮像装置１０の撮像した第１の画像を取得し、乗員状態判定部３に送信する。
　第２の画像取得部２は、第２の撮像装置２０の撮像した第2の画像を取得し、乗員状態判定部３に送信する。
　なお、本実施の形態１では、第１の画像取得部１と第２の画像取得部２に分けて記載しているが、１つの画像取得部が第１の画像および第２の画像を取得するようにしてもよい。
　なお、実施の形態１においては第１の撮像装置１０と撮像装置２０ａで運転席の乗員（以下、運転者）の状態を判定する例で説明を行う。もちろん、第１の撮像装置１０と撮像装置２０ｂで助手席の乗員の状態を判定することも可能である。
　乗員状態判定部３は、第１の画像取得部１から送信された第１の画像が、運転者の状態を判定するのに不適切な状態であるかを判定する。運転者の状態を判定するのに不適切な状態としては、例えば、運転者の顔が検出できない、運転者の顔の構成要素（目、鼻、口等）の一部または全部が検出できない、運転者の顔の位置が予め定められた領域の外に存在、白飛びまたは黒飛びしている画素が予め定められた割合以上等が挙げられる。
乗員状態判定部３は、第１の画像が運転者の状態を判定するのに不適切な状態の場合、第２の画像から運転者の状態を判定し、一方、第１の画像が運転者の状態を判定するのに不適切な状態でない場合、第１の画像から運転者の状態を判定する。
乗員状態判定部３は、第１の画像または第２の画像から判定する運転者の状態が確定した場合、判定した運転者の状態を制御装置３０に送信する。
また、運転者の状態とは、例えば、個人判定（個人認証）、居眠り状態、脇見状態またはデッドマン（運転不能状態）等が挙げられる。なお、運転者の状態は、運転者の目、鼻、口等、顔の構成要素である特徴点に基づいて判定されてもよいし、機械学習によって判定されてもよい。
　制御装置３０は、乗員状態判定部３から送信された状態に応じて、制御する機器を選択し、制御を行う。例えば、乗員状態判定部３から送信された状態が居眠り状態である場合は、制御装置３０は警報装置（不図示）を制御し、運転者に覚醒を促すように警報を行わせ、乗員状態判定部３から送信された状態が個人認証の結果であった場合は、認証した個人に適した車両のシート位置および傾きとなるように、シートの駆動部を制御する。
　次に、乗員状態判定装置１００のハードウェア構成例を説明する。
　図３Ａおよび図３Ｂは、乗員状態判定装置１００のハードウェア構成例を示す図である。
　乗員状態判定装置１００における第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各機能は、処理回路によって実現される。即ち、乗員状態判定装置１００は上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
　図３Ａに示すように、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各部の機能それぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図３Ｂに示すように、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各機能を実現する。即ち、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３は、プロセッサ２００ｂにより実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２００ｃを備える。また、これらのプログラムは、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の手順または方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ２００ｂとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのことである。メモリ２００ｃは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、乗員状態判定装置１００における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせによって、上述の各機能を実現することができる。
　次に、乗員状態判定装置１００の乗員状態の判定処理の動作について図４を用いて説明する。
　図４は実施の形態１に係る乗員状態判定装置１００の乗員状態の判定処理の動作を示すフローチャートである。図４のフローチャートでは、運転者の状態を判定する例を説明する。
　第１の画像取得部１および第２の画像取得部２は、各々第１の撮像装置１０および撮像装置２０ａから第１の画像および第２の画像を取得し、乗員状態判定部３に各画像を送信する（ステップＳＴ１）。乗員状態判定部３は、第１の画像が第１の画像が運転者の状態を判定するのに不適切な状態かを判定し（ステップＳＴ２）、第１の画像が運転者の状態を判定するのに不適切な状態の場合（ステップＳＴ２：ＹＥＳ）、第２の画像から乗員の状態を判定し（ステップＳＴ４）、第１の画像が運転者の状態を判定するのに不適切な状態ではない場合（ステップＳＴ２：ＮＯ）、前記第１の画像　から運転者の状態を判定する（ステップＳＴ４）。そして、乗員状態判定部３が第１の画像または第２の画像から運転者の状態が確定した場合（ステップＳＴ５：ＹＥＳ）、確定した運転者の状態を制御装置３０に送信し（ステップＳＴ６）、ステップ１の処理に戻る。一方、運転者の状態が確定しない場合（ＳＴ５：ＮＯ）、ステップ１の処理に戻る。
以上のように、車車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置１０が撮像した第１の画像を取得する第１画像取得部１と、車両の外側に設けられ、車両の側後方と共に、運転席または助手席の乗員を撮像する第２の撮像装置２０が撮像した第２の画像を取得する第２画像取得部２と、第１の画像が乗員の状態を判定するのに不適切な状態であるかを判定し、第１の画像が乗員の状態を判定するのに不適切な状態である場合、第２の画像から乗員の状態を判定し、第１の画像が乗員の状態を判定するのに不適切な状態でない場合、第１の画像に基づいて乗員の状態を判定する乗員状態判定部３と、を備える構成にしたので、両前方の中央付近から運転席の乗員および助手席の乗員を同時に撮像するときに、運転席の乗員および助手席の乗員を撮像するための第１の撮像装置が乗員を精度よく撮像できていない場合に、電子ミラー用の撮像装置である第２の撮像装置２０の画像から乗員の状態を判定するようにしたため、コストを増加させることなく、運転席または助手席の乗員の状態を精度よく判定することができる。
また、第１の撮像装置１０と第２の撮像装置２０は乗員に対して対称の位置に設けられており、第１の撮像装置１０にとって死角になってしまうステアリングの影を第２の撮像装置２０ａで補うことが可能となる。
実施の形態２
　本実施の形態２では、第１の撮像装置１０および第２の撮像装置２０により撮像された画像を相互に補完させる構成を示す。実施の形態２については図５を用いて説明する。
　図５は本実施の形態２に係る乗員状態判定装置１００Ａの構成を示すブロック図である。
　実施の形態２に係る乗員状態判定装置１００Ａは、実施の形態１で示した乗員状態判定装置１００に撮像画像合成部４を追加して構成している。
　以下では、実施の形態１に係る乗員状態判定装置１００と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
　乗員状態判定部３Ａは、第１の画像が運転者の状態を判定するのに不適切な状態の場合、第１の画像および第２の画像を撮像画像合成部４に送信し、撮像画像合成部４が作成した合成画像から運転者の状態を判定し、一方、第１の画像が運転者の状態を判定するのに不適切な状態でない場合、第１の画像から運転者の状態を判定する。
　撮像画像合成部４は、乗員状態判定部３Ａから送信された第１の画像および第２の画像を照合し、第１の画像および第２の画像の両方に撮像されている共通領域を検出する。そして、共通領域が重なるように、第１の画像および第２の画像を合成し、合成画像を作成する。撮像画像合成部４は、撮像画像の合成が完了した場合、合成画像を乗員状態判定部３Ａに送信する。
　撮像画像合成部４は、第１の画像取得部１、第２の画像取得部２および乗員状態判定部３同様、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
　次に、乗員状態判定装置１００Ａの乗員状態判定処理について図７を用いて説明する。
　図７は実施の形態２に係る乗員状態判定装置１００Ａの乗員状態の判定処理の動作を示すフローチャートである。図７のフローチャートでは、運転者の状態を判定する例を説明する。
なお、以下では、実施の形態１に係る乗員状態判定装置１００と同一のステップには図４で使用した符号を付し、説明を省略または簡略化する。
　第１の画像が第１の画像が運転者の状態を判定するのに不適切な状態かを判定し（ステップＳＴ２）、第１の画像が運転者の状態を判定するのに不適切な状態の場合（ステップＳＴ２：ＹＥＳ）、第１の画像および第２の画像から合成画像を作成し（ステップＳＴ２１）、合成画像から運転者の状態を判定する（ステップＳＴ２２）。一方、第１の画像が運転者の状態を判定するのに不適切な状態でない場合（ステップＳＴ２：ＮＯ）、前記第１の画像　から運転者の状態を判定する（ステップＳＴ４）。
以上のとおり、本実施の形態２によれば、第１の画像が乗員の状態を判定するのに不適切な状態の場合に、第１の画像と第２の画像を合成した合成画像を作成し、合成画像から乗員の状態を判定するようにしたため、例えば、第１の画像には乗員の左目のみ撮像できており、第２の画像には乗員の右目のみ撮像できているような状況において、乗員の両目の情報から乗員の状態を判定することが可能であり、乗員の状態の判定精度を向上することが可能となる。
１００、１００Ａ　乗員状態判定装置、１　第１の画像取得部、２　第２の画像取得部　、３、３Ａ　乗員状態判定部、４　撮像画像合成部、１０　第１の撮像装置、２０　第２の撮像装置、２０ａ、２０ｂ　撮像装置　３０　制御装置、４０ａ、４０ｂ　窓ガラス、２００ａ　処理回路、２００ｂ　プロセッサ、２００ｃ　メモリ　

Claims (6)

  1. 車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得部と、
    　前記車両の外側に設けられ、前記車両の側後方と共に、前記運転席または前記助手席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得部と、
    　前記第１の画像が前記乗員の状態を判定するのに不適切な状態であるかを判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態である場合、前記第２の画像から前記乗員の状態を判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態でない場合、前記第１の画像に基づいて前記乗員の状態を判定する乗員状態判定部と、
    　を備えた乗員状態判定装置。
  2. 　前記乗員の状態を判定するのに不適切な状態とは、前記乗員の顔の位置が予め定められた領域の外に存在する状態である請求項１記載の乗員状態判定装置。
  3. 　前記乗員の状態を判定するのに不適切な状態とは、前記乗員の顔が検出できない状態である請求項１記載の乗員状態判定装置。
  4. 　前記乗員の状態を判定するのに不適切な状態とは、前記第１の画像の白飛びまたは黒飛びしている画素の割合が予め定められた閾値以上の場合である請求項１記載の乗員状態判定装置。
  5. 　前記乗員状態判定部は、前記第１の画像が前記乗員の状態を判定するのに不適切な状態である場合は、前記第１の画像および前記第２の画像を合成した合成画像を作成し、前記合成画像から乗員の状態を判定する請求項１記載の乗員状態判定装置。
  6. 車両の前方中央部に設けられ、運転席及び助手席に着座する乗員を同時に撮像する第１の撮像装置が撮像した第１の画像を取得する第１画像取得ステップと、
    　前記車両の外側に設けられ、前記車両の側後方および前記運転席または前記助手席の乗員を撮像する第２の撮像装置が撮像した第２の画像を取得する第２画像取得ステップと、
    　前記第１の画像が前記乗員の状態を判定するのに不適切な状態であるかを判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態である場合、前記第２の画像から前記乗員の状態を判定し、前記第１の画像が前記乗員の状態を判定するのに不適切な状態でない場合、前記第１の画像に基づいて前記乗員の状態を判定する乗員状態判定ステップと、
    　を含む乗員状態判定方法。
PCT/JP2020/014548 2020-03-30 2020-03-30 乗員状態判定装置および乗員状態判定方法 WO2021199157A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022512898A JP7370456B2 (ja) 2020-03-30 2020-03-30 乗員状態判定装置および乗員状態判定方法
PCT/JP2020/014548 WO2021199157A1 (ja) 2020-03-30 2020-03-30 乗員状態判定装置および乗員状態判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014548 WO2021199157A1 (ja) 2020-03-30 2020-03-30 乗員状態判定装置および乗員状態判定方法

Publications (1)

Publication Number Publication Date
WO2021199157A1 true WO2021199157A1 (ja) 2021-10-07

Family

ID=77930133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014548 WO2021199157A1 (ja) 2020-03-30 2020-03-30 乗員状態判定装置および乗員状態判定方法

Country Status (2)

Country Link
JP (1) JP7370456B2 (ja)
WO (1) WO2021199157A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09273337A (ja) * 1996-04-04 1997-10-21 Oki Electric Ind Co Ltd キーレスエントリシステム
JP2005088759A (ja) * 2003-09-17 2005-04-07 Calsonic Kansei Corp 幅寄せカメラ
JP2017061216A (ja) * 2015-09-24 2017-03-30 京セラ株式会社 車載撮像システム、車両および撮像方法
WO2019097677A1 (ja) * 2017-11-17 2019-05-23 三菱電機株式会社 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09273337A (ja) * 1996-04-04 1997-10-21 Oki Electric Ind Co Ltd キーレスエントリシステム
JP2005088759A (ja) * 2003-09-17 2005-04-07 Calsonic Kansei Corp 幅寄せカメラ
JP2017061216A (ja) * 2015-09-24 2017-03-30 京セラ株式会社 車載撮像システム、車両および撮像方法
WO2019097677A1 (ja) * 2017-11-17 2019-05-23 三菱電機株式会社 撮像制御装置、撮像制御方法および撮像制御装置を備えるドライバモニタリングシステム

Also Published As

Publication number Publication date
JP7370456B2 (ja) 2023-10-27
JPWO2021199157A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
US8218832B2 (en) Apparatus for detecting feature of driver's face
JP2008002838A (ja) 車両乗員検出システム、作動装置制御システム、車両
JP6960995B2 (ja) 状態判定装置および状態判定方法
CN105522992B (zh) 用于具有用于驾驶员面部的相机的机动车的控制器和用于拍摄车辆乘坐者面部的方法
JP6513321B2 (ja) 車両用撮像制御装置、ドライバモニタリング装置、及び、車両用撮像制御方法
JP2006308375A (ja) 赤外線利用型目位置検出装置
JP2005199814A (ja) 車載アプリケーション選択システム及び車載アプリケーション選択装置
EP3560770A1 (en) Occupant information determination apparatus
JP2019104450A (ja) 車載撮影装置、及び車載撮影方法
US20200369207A1 (en) Image processing device, image display system, and image processing method
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
WO2021199157A1 (ja) 乗員状態判定装置および乗員状態判定方法
WO2021245730A1 (ja) 車載撮影制御装置、車載撮影制御システム、及び撮影制御方法
JP2006253787A (ja) 画像入力装置及びこの装置を備えた車両の乗員監視装置
JP2020126551A (ja) 車両周辺監視システム
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
WO2019030855A1 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP7347330B2 (ja) 車両周辺監視装置
JP2010125882A (ja) 乗員状態検出装置
JP2023030736A (ja) カメラ制御装置、カメラ制御プログラム、および、ドライバモニタリングシステム
WO2022176037A1 (ja) 調整装置、調整システム、表示装置、乗員監視装置、および、調整方法
JPH06178302A (ja) 運転者撮影装置
JP2000307940A (ja) 撮像装置
WO2023157720A1 (ja) 車両用顔登録制御装置及び車両用顔登録制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20929132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022512898

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20929132

Country of ref document: EP

Kind code of ref document: A1