JP2020137053A - 制御装置及び撮影システム - Google Patents

制御装置及び撮影システム Download PDF

Info

Publication number
JP2020137053A
JP2020137053A JP2019031708A JP2019031708A JP2020137053A JP 2020137053 A JP2020137053 A JP 2020137053A JP 2019031708 A JP2019031708 A JP 2019031708A JP 2019031708 A JP2019031708 A JP 2019031708A JP 2020137053 A JP2020137053 A JP 2020137053A
Authority
JP
Japan
Prior art keywords
driver
shooting
imaging
unit
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019031708A
Other languages
English (en)
Inventor
今井 聡
Satoshi Imai
聡 今井
隆太 津田
Ryuta Tsuda
隆太 津田
英人 平原
Hideto Hirahara
英人 平原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2019031708A priority Critical patent/JP2020137053A/ja
Priority to DE112020000918.1T priority patent/DE112020000918T5/de
Priority to US17/433,153 priority patent/US11956525B2/en
Priority to CN202080016534.7A priority patent/CN113491101A/zh
Priority to PCT/JP2020/005440 priority patent/WO2020175144A1/ja
Publication of JP2020137053A publication Critical patent/JP2020137053A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】車両の運転者等を事前に撮影する場合に運転者等に撮影装置の方向を向かせる。【解決手段】車両の運転者の顔を含む所定範囲を撮影する撮影装置1により運転者の運転の様子を撮影するための本撮影を行う前の段階における撮影である事前撮影を行う事前撮影部521と、事前撮影部521による事前撮影が行われる場合に、撮影装置1又は撮影装置1の周囲に取り付けられた、光を発するための点灯装置2を点灯させる点灯制御部522と、を備える。制御装置5は、事前撮影部521による事前撮影が行われる場合に、点灯装置を見ることを運転者に指示するメッセージを出力する出力部523を備えてもよい。【選択図】図2

Description

本発明は、撮影装置により撮影を行うための制御装置及び撮影システムに関する。
車両に設けられたカメラで運転者の顔を撮影し、運転者の顔の撮影画像から運転者の脇見運転を検出することが提案されている(例えば、特許文献1を参照)。
特開2005−242428号公報
脇見運転を検出するためには、運転者がカメラの方向を向いた状態で運転者の顔を事前に撮影し、運転者の顔の特徴を取得しておく必要がある。しかしながら、運転者を事前に撮影する際に運転者がカメラの方向を向いていないことがあり、運転者の顔の特徴の取得に失敗してしまうという問題が生じていた。
また、脇見運転の検出のための撮影に用いられるカメラは、通常、車両が出荷される前に車両の製造工場において正しい向きで車両に取り付けられたか否かが検査される。この検査のために、作業者がカメラの方向を向いた状態で運転席に座り、カメラにより作業者の顔を事前に撮影する必要がある。この検査は、作業者が顔の撮影時にカメラの方向を向いていないことに起因して失敗することがあった。
本発明はこれらの点に鑑みてなされたものであり、事前に撮影する場合に運転者等に撮影装置の方向を向かせることができる制御装置及び撮影システムを提供することを目的とする。
本発明の第1の態様の制御装置は、車両の運転者の顔を含む所定範囲を撮影する撮影装置により運転者の運転の様子を撮影するための本撮影を行う前の段階における撮影である事前撮影を行う事前撮影部と、前記事前撮影部による前記事前撮影が行われる場合に、前記撮影装置又は前記撮影装置の周囲に取り付けられた、光を発するための点灯装置を点灯させる点灯制御部と、を備える。前記制御装置は、前記事前撮影部による前記事前撮影が行われる場合に、前記点灯装置を見ることを運転者に指示するメッセージを出力する出力部を備えてもよい。
本発明の第2の態様の撮影システムは、車両の運転席の斜め前方に配置され、車両の運転者の顔を含む所定範囲を撮影する撮影装置と、前記撮影装置又は前記撮影装置の周囲に取り付けられた、光を発するための点灯装置と、前記撮影装置により運転者の運転の様子を撮影するための本撮影を行う前の段階における撮影である事前撮影を行う事前撮影部と、前記事前撮影部による前記事前撮影が行われる場合に、前記点灯装置を点灯させる点灯制御部と、を備える。
前記撮影装置及び前記点灯装置が運転席側のピラーに取り付けられてもよい。前記点灯制御部は、運転者から死角となる領域に存在する障害物の有無を検出し、前記障害物を検出した場合に、前記点灯装置を点灯させてもよい。
本発明によれば、車両の運転者等を事前に撮影する場合に運転者等に撮影装置の方向を向かせることができるという効果を奏する。
実施形態の撮影システムの概要を説明するための図である。 撮影システムの構成を示す図である。 撮影システムによる撮影の処理手順を示すフローチャートである。
[撮影システムの概要]
図1は、本実施形態の撮影システムSの概要を説明するための図である。撮影システムSは、車両に搭載された撮影装置1及び点灯装置2を備える。撮影装置1は、車両の運転者の顔を含む所定範囲を撮影するためのカメラである。撮影装置1は、車両の運転席の斜め前方に配置されるが、運転席の正面方向に配置されてもよい。所定範囲は、例えば、平均的な運転者の顔又は上半身を撮影するための撮影装置1の向き及び画角を設計者等が設定することによって予め定められる。撮影装置1は、撮影システムSにおいて運転者の脇見運転等の運転状態を検出するために、運転者を撮影する。
撮影装置1は、運転者の運転の様子を撮影するための本撮影を行う。また、撮影装置1は、本撮影を行う前の段階における撮影である事前撮影を行う。事前撮影は、例えば、脇見運転の検出において運転者の顔の向きの判定に用いる顔の特徴を示す特徴情報を取得するために行われる。顔の特徴は、例えば、顔の輪郭や目又は鼻の位置関係である。
点灯装置2は、光を発する光源である。点灯装置2は、撮影装置1の周囲に取り付けられる。図1の例では、点灯装置2は、撮影装置1とともに車両の運転席側のピラーに取り付けられている。また、点灯装置2は、撮影装置1と一体的に形成されてもよい。
点灯装置2は、撮影装置1による事前撮影が行われる場合に点灯する。このような構成により、運転者は、点灯している点灯装置2を見るように誘導される。したがって、撮影システムSは、事前撮影において運転者に撮影装置1の方向を向かせることができる。撮影装置1は、運転者が撮影装置1の方向を向いている状態で運転者の顔の撮影画像を生成するので、この撮影画像から顔の向きの判定のための基準となる特徴を取得することができる。
[撮影システムの構成]
図2は、撮影システムSの構成を示す図である。撮影システムSは、撮影装置1、点灯装置2、ミリ波レーダ3、表示部4及び制御装置5を備える。ミリ波レーダ3は、波長が約1cm以下のミリ波帯の電磁波を利用して、運転者から死角となる車両の側方及び後方の領域における障害物の有無を検出する。障害物は、例えば、自動車や歩行者である。表示部4は、メッセージを表示するためのディスプレイである。
制御装置5は、記憶部51及び制御部52を備える。記憶部51は、例えば、ROM(Read Only Memory)及びRAM(Random Access Memory)等により構成される。記憶部51は、制御部52を機能させるための各種プログラムや各種データを記憶する。
制御部52は、例えばECU(Electronic Control Unit)である。制御部52は、記憶部51に記憶されている各種プログラムを実行することにより、事前撮影部521、点灯制御部522、出力部523及び状態検出部524として機能する。
事前撮影部521は、撮影装置1により、本撮影を行う前の段階における撮影である事前撮影を行う。例えば、事前撮影部521は、イグニッションキーのオン操作を受け付けたか否かを判定し、オン操作を受け付けたと判定した場合に事前撮影を行う。事前撮影部521は、事前撮影により撮影した撮影画像を解析することにより、運転者の顔の向きの判定に用いる顔の特徴を示す特徴情報を取得する。また、事前撮影部521は、車両の製造工場において撮影装置1が正しい向きで車両に取り付けられたか否かを検査するために事前撮影を行ってもよい。この検査では、事前撮影部521は、運転者の代わりに車両の運転席に座っている作業者を撮影する。
点灯制御部522は、事前撮影部521による事前撮影が行われる場合に、点灯装置2を点灯させる。例えば、点灯制御部522は、事前撮影の直前に点灯装置2を点滅させる。点灯制御部522は、事前撮影において点灯装置2を点灯させることにより、運転者に撮影装置1の方向を向くように誘導することができる。一方、事前撮影部521には、撮影装置1による本撮影において点灯装置2を点灯させない。
点灯制御部522は、ミリ波レーダ3の検出結果に基づいて、運転者から死角となる領域に存在する障害物の有無を検出する。点灯制御部522は、運転者から死角となる領域に存在する障害物を検出したと判定した場合に、点灯装置2を点灯させることにより、障害物を検出したことを運転者に警告する。
出力部523は、事前撮影部521による事前撮影が行われる場合に、点灯装置2を見ることを運転者に指示するメッセージを出力する。例えば、出力部523は、点灯装置2の点灯と同時に、このメッセージを表示部4に出力する。また、出力部523は、スピーカ(不図示)により、このメッセージを含む音声を出力してもよい。
状態検出部524は、事前撮影部521が特徴情報を取得した後、所定時間ごとに撮影装置1による本撮影を行う。所定時間は例えば、0.1秒である。状態検出部524は、本撮影より生成した撮影画像に基づいて、運転者の脇見運転等の運転状態を検出する。
より詳しくは、状態検出部524は、事前撮影部521が取得した特徴情報を用いて、本撮影により生成した撮影画像における運転者の顔の向きを特定する。状態検出部524は、特定した顔の向きと車両の進行方向とのなす角度が許容値以上である場合に、運転者の脇見運転を検出したと判定する。許容値は、例えば45°である。
[撮影の処理手順]
図3は、撮影システムSによる撮影の処理手順を示すフローチャートである。この処理手順は、例えば、事前撮影部521が、イグニッションキーのオン操作を受け付けたことを検出したときに開始する。
まず、点灯制御部522は、事前撮影の直前に点灯装置2を点灯させる(S101)。出力部523は、点灯装置2の点灯と同時に、点灯装置2を見ることを運転者に指示するメッセージを表示部4に出力する(S102)。事前撮影部521は、撮影装置1により事前撮影を行う(S103)。状態検出部524は、撮影装置1による本撮影を開始し(S104)、処理を終了する。
運転者は、通常、車両を運転している状態では、進行方向を視認している。このため、ハンドル付近に撮影装置を取り付けたとすれば、撮影装置により運転者を正面から撮影することが可能になる。しかしながら、このような車両では、ハンドル付近に撮影装置のためのスペースを確保する必要があるため、インストゥルメンタルパネルの設計においてレイアウトの制約が大きくなるという問題があった。
これに対し、本実施形態によれば、点灯制御部522は、事前撮影部521による事前撮影が行われる場合に、点灯装置2を点灯させる。このため、事前撮影部521は、運転者に撮影装置1の方向を向くように誘導した上で事前撮影を行うことができる。事前撮影部521は、事前撮影において運転者の顔の向きが分かっている状態で運転者の顔の撮影画像を生成するので、この撮影画像から、運転者の顔の向きを判定するための基準となる特徴情報を取得することができる。また、事前撮影部521は、インストゥルメンタルパネルの設計においてレイアウトが制約されることを抑制することができる。
事前撮影部521は、車両の製造工場において撮影装置1が正しい向きで車両に取り付けられたか否かを検査する場合には、事前撮影において運転者の代わりに運転席に座る作業者の顔の撮影画像を生成する。事前撮影部521は、作業者の顔の位置が撮影画像の中央付近である場合に、撮影装置1が正しい向きで車両に取り付けられていると判定する。本実施形態では、事前撮影部521は、作業者に撮影装置1の方向を向くように誘導した上で事前撮影を行うので、撮影画像において作業者の顔の位置を精度よく特定することができる。したがって、事前撮影部521は、撮影装置1が正しく取り付けられているか否かを判定する精度を向上させることができる。
以上、実施の形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 撮影装置
2 点灯装置
3 ミリ波レーダ
4 表示部
5 制御装置
51 記憶部
52 制御部
521 事前撮影部
522 点灯制御部
523 出力部
524 状態検出部
S 撮影システム

Claims (5)

  1. 車両の運転者の顔を含む所定範囲を撮影する撮影装置により運転者の運転の様子を撮影するための本撮影を行う前の段階における撮影である事前撮影を行う事前撮影部と、
    前記事前撮影部による前記事前撮影が行われる場合に、前記撮影装置又は前記撮影装置の周囲に取り付けられた、光を発するための点灯装置を点灯させる点灯制御部と、
    を備える、制御装置。
  2. 前記事前撮影部による前記事前撮影が行われる場合に、前記点灯装置を見ることを運転者に指示するメッセージを出力する出力部を備える、
    請求項1に記載の制御装置。
  3. 車両の運転席の斜め前方に配置され、車両の運転者の顔を含む所定範囲を撮影する撮影装置と、
    前記撮影装置又は前記撮影装置の周囲に取り付けられた、光を発するための点灯装置と、
    前記撮影装置により運転者の運転の様子を撮影するための本撮影を行う前の段階における撮影である事前撮影を行う事前撮影部と、
    前記事前撮影部による前記事前撮影が行われる場合に、前記点灯装置を点灯させる点灯制御部と、
    を備える、撮影システム。
  4. 前記撮影装置及び前記点灯装置が運転席側のピラーに取り付けられる、
    請求項3に記載の撮影システム。
  5. 前記点灯制御部は、運転者から死角となる領域に存在する障害物の有無を検出し、前記障害物を検出した場合に、前記点灯装置を点灯させる、
    請求項3又は4に記載の撮影システム。
JP2019031708A 2019-02-25 2019-02-25 制御装置及び撮影システム Pending JP2020137053A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019031708A JP2020137053A (ja) 2019-02-25 2019-02-25 制御装置及び撮影システム
DE112020000918.1T DE112020000918T5 (de) 2019-02-25 2020-02-13 Steuervorrichtung und photographiersystem
US17/433,153 US11956525B2 (en) 2019-02-25 2020-02-13 Control device and photographing system
CN202080016534.7A CN113491101A (zh) 2019-02-25 2020-02-13 控制装置及拍摄***
PCT/JP2020/005440 WO2020175144A1 (ja) 2019-02-25 2020-02-13 制御装置及び撮影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019031708A JP2020137053A (ja) 2019-02-25 2019-02-25 制御装置及び撮影システム

Publications (1)

Publication Number Publication Date
JP2020137053A true JP2020137053A (ja) 2020-08-31

Family

ID=72238827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019031708A Pending JP2020137053A (ja) 2019-02-25 2019-02-25 制御装置及び撮影システム

Country Status (5)

Country Link
US (1) US11956525B2 (ja)
JP (1) JP2020137053A (ja)
CN (1) CN113491101A (ja)
DE (1) DE112020000918T5 (ja)
WO (1) WO2020175144A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7383751B2 (ja) 2022-03-30 2023-11-20 本田技研工業株式会社 取付構造
JP7433188B2 (ja) 2020-10-15 2024-02-19 三菱電機株式会社 撮像装置、移動体用ディスプレイ、および、ドライバモニタリングシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249454A (ja) 1995-03-07 1996-09-27 Nissan Motor Co Ltd 車両運転者のわき見検出装置
JP3390289B2 (ja) 1995-06-16 2003-03-24 富士重工業株式会社 警報装置
JPH11352987A (ja) * 1998-06-04 1999-12-24 Toyota Motor Corp 音声認識装置
CN100448267C (zh) * 2004-02-06 2008-12-31 株式会社尼康 数码相机
JP2005242428A (ja) 2004-02-24 2005-09-08 Nissan Motor Co Ltd 運転者の顔画像撮影装置
JP2006096316A (ja) 2004-09-06 2006-04-13 Aisin Seiki Co Ltd 監視装置
EP1674885A1 (en) 2004-12-21 2006-06-28 Robert Bosch Gmbh Method for detecting objects in the blind zone of the sensor surroundings
JP2008037118A (ja) 2006-08-01 2008-02-21 Honda Motor Co Ltd 車両用表示装置
US8786704B2 (en) * 2007-08-09 2014-07-22 Donnelly Corporation Vehicle mirror assembly with wide angle element
JP2009199417A (ja) * 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
JP5422622B2 (ja) 2011-09-09 2014-02-19 本田技研工業株式会社 ヘッドアップディスプレイ装置
JP5761074B2 (ja) * 2012-02-24 2015-08-12 株式会社デンソー 撮像制御装置及びプログラム
JP6617602B2 (ja) 2016-02-24 2019-12-11 株式会社デンソー 漫然運転検出システム及び漫然運転検出方法
JP3208154U (ja) 2016-09-26 2016-12-28 登志子 北原 脇見運転を察知し警告を発する装置
JP6323602B1 (ja) 2017-08-08 2018-05-16 Tdk株式会社 金属粉末製造装置と金属粉末の製造方法
CN108845327B (zh) 2018-08-13 2022-03-01 河南城建学院 一种大货车视野盲区障碍物的智能检测及提醒***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7433188B2 (ja) 2020-10-15 2024-02-19 三菱電機株式会社 撮像装置、移動体用ディスプレイ、および、ドライバモニタリングシステム
JP7383751B2 (ja) 2022-03-30 2023-11-20 本田技研工業株式会社 取付構造

Also Published As

Publication number Publication date
US20220182518A1 (en) 2022-06-09
WO2020175144A1 (ja) 2020-09-03
US11956525B2 (en) 2024-04-09
CN113491101A (zh) 2021-10-08
DE112020000918T5 (de) 2021-11-18

Similar Documents

Publication Publication Date Title
JP4853389B2 (ja) 顔画像撮像装置
KR102059244B1 (ko) 라이다 장치
JP6488922B2 (ja) 運転者異常検出装置
US20170305342A1 (en) Vehicle-mounted alert system and alert control device
JP2008052029A (ja) 撮像システム、車両乗員検出システム、作動装置制御システム、車両
KR20170014168A (ko) 차량의 카메라 장치
JP2008276328A (ja) 顔画像撮像装置
US20180335633A1 (en) Viewing direction detector and viewing direction detection system
CN102971776B (zh) 障碍物检测***以及方法、障碍物检测装置
US11465629B2 (en) Recognition processing apparatus, recognition processing method, and recognition processing program
CN109383519B (zh) 信息处理方法、信息处理***和记录介质
JPWO2018110389A1 (ja) 車両用照明システムおよび車両
JP2019055756A (ja) 車両用認知支援装置
JP2020137053A (ja) 制御装置及び撮影システム
WO2016035252A1 (ja) 運転支援装置および運転支援方法
WO2015122124A1 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP6717330B2 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム
JP2018148530A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP7189682B2 (ja) センサシステムおよび検査方法
JP2019028959A (ja) 画像登録装置、画像登録システムおよび画像登録方法
US20050040632A1 (en) Distance detecting apparatus, air bag system controlling apparatus, and method of detecting distance
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법
JP7030000B2 (ja) 情報処理方法、情報処理システム、および、プログラム
JP2018113622A (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP2005176031A (ja) 車載用障害物検出装置