JP6780671B2 - 乗員監視装置 - Google Patents

乗員監視装置 Download PDF

Info

Publication number
JP6780671B2
JP6780671B2 JP2018047430A JP2018047430A JP6780671B2 JP 6780671 B2 JP6780671 B2 JP 6780671B2 JP 2018047430 A JP2018047430 A JP 2018047430A JP 2018047430 A JP2018047430 A JP 2018047430A JP 6780671 B2 JP6780671 B2 JP 6780671B2
Authority
JP
Japan
Prior art keywords
lens
light
plate
monitoring device
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018047430A
Other languages
English (en)
Other versions
JP2019159167A (ja
Inventor
晃一 星野
晃一 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2018047430A priority Critical patent/JP6780671B2/ja
Priority to DE102019103959.2A priority patent/DE102019103959A1/de
Priority to US16/289,697 priority patent/US20190285968A1/en
Priority to CN201910159533.7A priority patent/CN110278352A/zh
Publication of JP2019159167A publication Critical patent/JP2019159167A/ja
Application granted granted Critical
Publication of JP6780671B2 publication Critical patent/JP6780671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • G03B11/04Hoods or caps for eliminating unwanted light from lenses, viewfinders or focusing aids
    • G03B11/045Lens hoods or shields
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Lens Barrels (AREA)

Description

本発明は、車両の乗員を撮像素子により撮像した画像に基づいて監視する乗員監視装置に関する。
車両の事故防止などのため、車両の乗員の身体状況を撮像画像に基づいて監視する乗員監視装置が、車室内に設置されることがある。
たとえば、特許文献1の乗員監視装置では、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子(イメージセンサ)により車両の運転手の顔を撮像し、その撮像画像に基づいて顔の向きを判定する。運転手の顔の向き以外に、目の開閉度などを撮像画像に基づいて監視する乗員監視装置もある。乗員監視装置の監視結果は、車両側のECU(電子制御装置)へ出力されて、車両の走行制御に利用される。
撮像素子の撮像面には、乗員からの光がレンズにより結像される。レンズを撮像素子の撮像面に対して適切な位置に配置するため、たとえば特許文献2および特許文献3に開示されているように、レンズは保持部材(レンズ枠、ホルダ)により保持される。また、撮像素子とレンズと保持部材は、保護などのため、被覆部材(鏡筒、絞り板、パッケージ)により覆われる。保持部材や被覆部材は、遮光性を有する材料で形成される。このため、保持部材や被覆部材には、光をレンズに入射させるための窓が設けられる。特許文献2および特許文献3では、窓は孔から成る。
窓は、異物の侵入防止などのため、たとえば特許文献4に開示されているように、孔と、該孔を塞ぐように設けられた透過板(プレート)とから構成されることもある。透過板は、光透過性を有する材料で形成される。特許文献4では、透過板は、その板面がレンズに入射する光の第2光軸に対して、垂直または傾斜するように設けられている。
乗員監視装置の窓からは、乗員からの光が入射するが、太陽光などの外乱光も入射する。この外乱光は、レンズを透過して、撮像素子に入射することがある。また、外乱光の一部は、レンズやその他の部材で反射して迷光となり、該迷光がレンズを透過して、撮像素子の撮像面に入射することがある。これらの場合、外乱光や迷光がノイズとなって撮像画像に映り込み、乗員の顔や、顔の特徴点などの検出に支障を来して、乗員の監視性能が低下するおそれがある。
上記の対策として、特許文献2では、レンズ枠の内周面に迷光反射面を設け、絞り孔から入射した光のうち、レンズによる結像面への結像に寄与しない迷光を、迷光反射面で反射して、絞り孔から外部へ出射させる。特許文献3では、レンズとホルダとの境目に遮光部を設け、孔からレンズに入射した迷光がホルダの内部で反射して撮像素子に到達するのを遮光部により阻止する。
特開2004−78778号公報 特開2007−163637号公報 特開2003−307663号公報 特開2015−179507号公報
太陽光などの外乱光は、レンズの画角内からレンズに入射するだけでなく、レンズの画角外から窓を通過して、レンズに入射することがある。そして、この画角外からの外乱光は、レンズの表面で反射したり、その他の部材で反射したりして、迷光となり、該迷光がレンズの画角内からレンズを透過して、撮像素子の撮像面に入射するおそれがある。この場合、迷光に基づくノイズが乗員の画像に映り込むと、前述のように顔などの検出に支障を来し、乗員の監視性能の低下を招いてしまう。
本発明は、レンズの画角外からの外乱光によるノイズが撮像画像に映り込むのを防止できる乗員監視装置を提供することを課題とする。
本発明による乗員監視装置は、車両の乗員を撮像する撮像素子と、乗員の像を撮像素子の撮像面に結像するレンズと、車両の運転席側へ光を投射する照明部と、レンズを保持する保持部材と、撮像素子、レンズ、照明部、および保持部材を覆う被覆部材と、この被覆部材に設けられ、照明部から投射された光を通過させるとともに、レンズに光を入射させる窓とを備え、撮像素子により撮像した画像に基づいて乗員を監視する。窓は、被覆部材に形成された孔と、この孔を塞ぐように被覆部材に取り付けられた、光を透過させる透過板とから構成される。透過板は、レンズおよび照明部と対向していて、その板面がレンズの光軸に対して傾斜するように、レンズと所定の間隔をおいて設けられる。本発明では、透過板における撮像素子側の板面または撮像素子と反対側の板面に、レンズの画角外からの光をレンズに入射しないように遮光する遮光部材がさらに設けられる。この遮光部材は、レンズの画角の範囲を囲むように環状に形成されていて、レンズの画角の範囲に近接する位置から、外側へ向って当該遮光部材の径方向に延びている。遮光部材の径方向の外径は、レンズの径より大きく、かつ照明部から投射された光を遮らない大きさである。
上記によると、レンズの画角外から来る太陽光などの外乱光が、レンズに入射しないように遮光部材により遮光されるので、該外乱光がレンズを透過して撮像素子の撮像面に入射するのを阻止することができる。また、当該外乱光がレンズの表面で反射して迷光になることも阻止して、該迷光がレンズを透過して撮像素子の撮像面に入射するのを防止することができる。このため、画角外からの外乱光や迷光に基づくノイズが、撮像画像に映り込むのを防止することが可能となる。
発明において、透過板の径はレンズの径より大きくてもよい。
また、本発明において、遮光部材は、板状に形成されていて、透過板における撮像素子側の板面に設けられ、遮光部材の板面と透過板の板面とが平行になっていてもよい。
さらに、本発明において、遮光部材の表面には、光反射防止処理が施されてもよい。
本発明によれば、レンズの画角外からの外乱光によるノイズが撮像画像に映り込むのを防止できる乗員監視装置を提供することが可能となる。
本発明の実施形態による乗員監視装置の電気的構成図である。 本発明の第1実施形態による乗員監視装置の斜視図である。 図2の乗員監視装置からカバーを外した状態の斜視図である。 図3から蓋体とハーネスを外した状態の斜視図である。 図2のカバーの斜視図である。 図2の乗員監視装置の撮像系の断面図である。 図6の撮像系による撮像画像の一例を示した図である。 図6の撮像系の設置状態を示した図である。 従来の乗員監視装置の撮像系の断面図である。 図9の撮像系による撮像画像の一例を示した図である。 本発明の第2実施形態の乗員監視装置の撮像系の断面図である。 本発明の第3実施形態の乗員監視装置の撮像系の断面図である。 本発明の第4実施形態の乗員監視装置の撮像系の断面図である。 本発明の第5実施形態の乗員監視装置の撮像系の断面図である。 従来の乗員監視装置の撮像系の断面図である。
以下、本発明の実施形態につき、図面を参照しながら説明する。各図において、同一の部分または対応する部分には、同一符号を付してある。
図1は、本発明の実施形態の乗員監視装置100の電気的構成図である。乗員監視装置100は、自動四輪車などの車両の車室内に設置される。乗員監視装置100には、制御部1、撮像素子2、照明部3、およびインタフェイス4が備わっている。
制御部1は、マイクロコンピュータやメモリから成る。制御部1には、画像処理部1aと乗員監視部1bが設けられている。撮像素子2は、赤外線イメージセンサから成る。照明部3は、複数の赤外線LED(発光ダイオード)から成る。図1では、照明部3を1つのブロックで示している。インタフェイス4は、CAN(Controller Area Network)などの車内通信用の回路から成る。
撮像素子2は、車両の乗員である運転手の顔を撮像する。照明部3は、運転手の顔が含まれる領域に赤外光を投射する。制御部1は、撮像素子2の撮像動作と照明部3の発光動作とを制御する。
制御部1の画像処理部1aは、撮像素子2による撮像画像を画像処理して、運転手の顔の特徴点を時系列的に検出する。乗員監視部1bは、その顔の特徴点の変化に基づいて、運転手の顔の向きや目の開閉や視線などの状態を検出し、これらの変化を監視して、運転手に車両の運転に支障を来すような異常が無いか否かを判定する。制御部1は、乗員監視部1bの監視結果を、インタフェイス4を介して、車両に設けられた他のECUなどに出力する。また、制御部1は、車両に設けられた他のECUや各種センサから、車両の車速や運転手の乗降状態などに関する情報を受信する。
図2は、本発明の第1実施形態の乗員監視装置100の斜視図である。図3は、図2からカバー7を外した状態の斜視図である。図4は、図3から蓋体6とハーネス16を外した状態の斜視図である。図5は、カバー7の斜視図である。
乗員監視装置100は、図2に示すように、筐体5を下にし、カバー7を上にし、カバー7の窓7mと反対側を車両の前方に向けた姿勢で、車両の車室内に設置される。また、乗員監視装置100は、車両の運転手の正面の視界を広くするために、運転手の斜め前方に位置するダッシュボードの中央部またはセンタコンソールの上部に設置される。
筐体5は、熱伝導性の高い金属または合成樹脂により形成されている。図3に示すように、筐体5は矩形の箱状に形成されている。筐体5の下部には、フィン状の放熱部5fが設けられている。筐体5の内側には、図4に示すように、メイン基板8が収納されている。メイン基板8の板面は、水平方向とほぼ平行になっている。
メイン基板8には、制御部1、インタフェイス4、コネクタ15a、15c、およびその他の電子部品や電気回路(図示省略)が実装されている。制御部1とインタフェイス4は、半導体素子などで構成されている。コネクタ15aには、FPC(Flexible Printed Circuit)17の一端が接続されている。コネクタ15cには、図2および図3に示したハーネス16の一端が接続される(詳細図示省略)。
筐体5の上方に開口する開口部5kは、メイン基板8を収納する収納口である。この開口部5kは、図2および図3に示すように、蓋体6により塞がれる。筐体5と蓋体6とは、図示しないねじなどにより固定される。
蓋体6は、金属または合成樹脂により形成されている。蓋体6には、図3に示すように、中央から上方に向かって突出する支持部6hと、上方に向かって開口する貫通孔6kとが設けられている。支持部6hの前面(図3で右下を向いた面)は、筐体5や蓋体6の各側辺に対して傾斜している。
支持部6hの前面には、サブ基板9が支持されている。サブ基板9は、板面を縦向きにして、図示しないねじなどにより支持部6hに固定されている。サブ基板9の表面(図3で右下を向いた面)には、撮像素子2(図6)、照明部3、コネクタ15b、およびその他の電子部品や電気回路(図示省略)が実装されている。
コネクタ15bには、FPC17の他端が接続されている。FPC17は、蓋体6の貫通孔6kを貫通している。このFPC17により、サブ基板9とメイン基板8とは電気的に接続されている。
サブ基板9の表面側には、光を反射するリフレクタ10が設けられている。リフレクタ10は、図示しないねじなどにより、サブ基板9または蓋体6の支持部6hに固定されている。リフレクタ10には、複数の貫通孔10a〜10eが形成されている。そのうち、小径の貫通孔10b〜10eの奥には、それぞれ照明部3が設けられている。
中央にある大径の貫通孔10aには、レンズユニット12が嵌め込まれている。レンズユニット12は、レンズ12aと、レンズ12aを保持するホルダ12bとから構成されている。ホルダ12bは、遮光性を有する合成樹脂により筒状に形成されている。図6に示すように、サブ基板9の表面に実装された撮像素子2に対してレンズ12aが対向するように、ホルダ12bはサブ基板9に固定されている。ホルダ12bは、本発明の「保持部材」の一例である。
図2に示すカバー7は、遮光性を有する合成樹脂により形成されている。カバー7には、水平部7hと鉛直部7uが設けられている。鉛直部7uは、水平部7hの後部に設けられ、水平部7hから連続して上方へ突出している。図5に示すように、鉛直部7uは、前側側壁7uf、左右側壁7uL、7ur、および天井壁7ujから構成されている。鉛直部7uの裏側(前側側壁7ufと反対側)は、後方に向かって開口している。
鉛直部7uの前側側壁7ufの上部には、孔7tがほぼ矩形状に形成されている。この孔7tを塞ぐように、透過板7qがカバー7に取り付けられる(図2の状態)。透過板7qは、光透過性を有する合成樹脂により形成されている。孔7tと透過板7qは、光の出入口となる窓7mを構成している。つまり、カバー7の前側側壁7ufの上部には、窓7mが設けられている。図5に示すように、透過板7qは、平坦な板状に形成されている。透過板7qの裏面7oには、遮光板14が設けられている。
図3などに示したレンズユニット12、撮像素子2(図6)、照明部3、サブ基板9、およびFPC17は、図2に示すように、カバー7により上方と前方(ハーネス16と反対側)から覆われる。また、蓋体6と筐体5の前部も、カバー7により上方と前方から覆われる。カバー7は、図示しないねじにより蓋体6の支持部6hに固定される。カバー7は、本発明の「被覆部材」の一例である。
図2に示すカバー7の取り付け状態で、透過板7qは、レンズ12aおよび照明部3と対向する。カバー7の窓7mの径、すなわち孔7tの径と透過板7qの径は、レンズ12aの径より大きくなっている。このように窓7mの径を大きくするのは、窓7mが照明部3に対する光の出口とレンズ12aに対する光の入り口とを兼ねているためであり、また、光の投受光範囲を広げることにより撮像範囲を広げて、運転手の顔全体を撮像するためである。
図2において、カバー7の水平部7h以下の部分は、車両の乗員の目に触れないように、ダッシュボードまたはセンタコンソールに埋設される。カバー7の水平部7hより上方には、リフレクタ10、照明部3、および窓7mから成る照明系と、レンズユニット12、撮像素子2、および窓7mから成る撮像系が設けられている。運転手の顔を撮像するために、それらの照明系と撮像系は、ダッシュボードまたはセンタコンソールから突出する。また、運転手に監視を意識させないようにするため、それらの照明系と撮像系は、図示しない意匠カバー(図示省略)により覆われる。意匠カバーには、透過板7qを露出させるように、開口部が形成される。
乗員監視装置100をダッシュボードの中央部またはセンタコンソールの上部に設置することで、照明部3、レンズ12a、および撮像素子2が運転席側を向いた状態となる。このため、照明部3から投射された光は、リフレクタ10の貫通孔10b〜10e、カバー7の窓7m、および意匠カバーの開口部を通過して、運転席側へ投射される。
そして、その投射光は、運転席のヘッドレスト、シート、または運転席に着座した運転手の顔などで反射する。この反射光は、意匠カバーの開口部と、カバー7の窓7mとを通過して、リフレクタ10の貫通孔10aに嵌め込まれたレンズユニット12のレンズ12aに入射し、さらにレンズ12aを透過して、撮像素子2に入射する。撮像素子2は、レンズ12aから受光した光を電気信号に変換し、該電気信号に基づいて運転手の顔などを撮像する。
図6は、乗員監視装置100の撮像系の断面図である。図7は、図6の撮像系による撮像画像Gの一例を示した図である。図8は、図6の撮像系の設置状態を示した図である。図9は、従来の乗員監視装置の撮像系の断面図である。図10は、図9の撮像系による撮像画像G’の一例を示した図である。図6、図8、および図9では、水平面と平行な断面を示していて、リフレクタ10の図示を省略している。(後述する図11〜図15も同様である。)
図6において、乗員監視装置100のレンズユニット12のホルダ12b内には、レンズ12aと撮像素子2が設けられている。レンズ12aの周囲は、ホルダ12bに保持されている。撮像素子2は、サブ基板9に実装されている。撮像素子2の撮像面2aとレンズ12aとは、所定の間隔をおいて対向している。レンズ12aの光軸Qは、撮像素子2の撮像面2aに対して垂直になっている。撮像面2aの中心は、レンズ12aの光軸Q上に位置している。レンズ12aは、運転手からの光(運転手の像)を撮像素子2の撮像面2aに結像する。
レンズ12aに対して撮像素子2と反対側には、所定の間隔をおいてカバー7の窓7mを構成する透過板7qが設けられている。透過板7qは、両板面7i、7oがレンズ12aの光軸Qに対して所定角度で傾斜するように設けられている。透過板7qの板面7i、7oのうち、撮像素子2側の板面7oには、遮光板14が設けられている。
遮光板14は、レンズ12aの画角θの範囲Xを囲むように、環状に形成された単一部品である(図5参照)。図6では、遮光板14の径方向の断面を示しているため、断面部分が2つ表れている。(後述の図11〜図14に示す遮光板24、34、44、14も同様である。)
また、遮光板14は、平坦な板状に形成されていて、レンズ12aの画角θの範囲Xに近接する位置から、外側へ向って遮光板14の径方向に延びている。遮光板14の外径は、レンズ12aの径より大きくなっている。然るに、遮光板14は、照明部3(図3)の光を遮らないような大きさに形成されている。遮光板14の一方の板面14aは、透過板7qの板面7oに密着している。遮光板14の板面14aと透過板7qの板面7i、7oとは平行になっている。遮光板14は、レンズ12aの画角θ外からの光をレンズ12aに入射しないように遮光する。遮光板14は、本発明の「遮光部材」の一例である。
前述したように、乗員監視装置100が車室内の運転手席の斜め前方に設置されることで、図8に示すように、レンズ12aと撮像素子2の撮像面2aが運転席に着座した運転手Mを向いた状態となる。このため、レンズ12aの光軸Qが、車両の前進方向に対して所定角度で傾斜する。透過板7qの板面7i、7oは、車両の前進方向に対して垂直になる。
図9に示す従来の乗員監視装置の撮像系には、遮光板14が設けられていない。この点以外の構造は、図6に示した乗員監視装置100の撮像系と同様である。
前述したように、照明部3から発せられた光は、運転手Mの顔などで反射する。そして、この反射光、つまり運転手Mからの光(運転手Mの像)は、図6および図9に実線の矢印で示すように、レンズ12aの画角θ内を進行して、透過板7qを透過した後、レンズ12aを透過して、撮像素子2の撮像面2aに入射する。これにより、運転手Mの顔が撮像素子2で撮像され、図7および図10に示す撮像画像G、G’の中央領域Zに、運転手Mの顔画像が映り込む(顔画像の図示省略)。また、運転手Mがさまざまな挙動を行うことで、運転手Mの顔画像の映る位置が中央領域Z内で変化する。
透過板7qの径が大きくなっているため、運転手Mからの光より輝度が高い太陽光などの外乱光が、レンズ12aの画角θ外から透過板7qへ入射する。
従来は、図9に1点鎖線の矢印で示すように、レンズ12aの画角θ外から透過板7qへ入射した外乱光が、透過板7qを透過した後、レンズ12aの端面(表面)12eから入射して、レンズ12aを透過し、撮像素子2の撮像面2aの端部や撮像面2aの近傍に到達する。このため、図10に示すように、撮像画像G’の端部に外乱光に基づくノイズN1が映り込む。このノイズN1は運転手Mの顔画像と重なる中央領域Zには生じないが、ノイズN1の輝度が運転手Mの顔画像の輝度より高いので、運転手Mの顔画像がノイズN1に接近した場合、ノイズN1が運転手Mの顔の検出に支障を来すおそれがある。
また、レンズ12aの画角θ外から透過板7qを透過した外乱光のうち、一部の光が、図9に2点鎖線の矢印で示すように、レンズ12aの端面12eで反射して、レンズ12aと透過板7qとの間で迷光となる。そして、この迷光は、レンズ12aの画角θ内に進入して、透過板7qの板面7oで反射し、レンズ12aの光軸Qの近傍に入射する。この際、レンズ12aの光軸Qに対して透過板7qの板面7i、7oが傾斜していて、レンズ12aの端面12eと透過板7qの板面7oとが平行になっていないので、レンズ12aに対する外乱光の入射角度(図9の1点鎖線の矢印の角度)とは異なる角度(図9の2点鎖線の矢印の角度)で、迷光がレンズ12aに入射する。そして、この迷光は、レンズ12aの画角θ内でレンズ12aを透過して、撮像素子2の撮像面2aに入射する。このため、図10に示すように、撮像画像G’にレンズ12aと透過板7qの間で生じた迷光に基づくノイズN2が映り込む。このノイズN2の輝度も、運転手Mの顔画像の輝度より高くなる。また、ノイズN2は運転手Mの顔画像と重なる中央領域Zに生じるので、運転手Mの顔の検出に支障を来してしまう。
一方、図6に示す乗員監視装置100の撮像系では、図6に1点鎖線の矢印で示すように、レンズ12aの画角θ外から透過板7qを透過した外乱光が、遮光板14により遮光されて、レンズ12aに入射しなくなる。このため、透過板7qとレンズ12aとの間で、レンズ12aの画角θ外からの外乱光に基づく迷光が生じなくなり、該外乱光や迷光がレンズ12aを透過して、撮像素子2の撮像面2aに入射しなくなる。その結果、図7に示すように、撮像画像Gには、図10に示した外乱光に基づくノイズN1や迷光に基づくN2が映り込まなくなる。
また、図6に破線の矢印で示すように、レンズ12aの画角θ外から透過板7qを透過した外乱光が、遮光板14の板面14aで反射し、さらに透過板7qの板面7iで反射して、透過板7qの内部で迷光になり、該迷光がレンズ12aに入射することが考えられる。然るに、遮光板14の板面14aと透過板7qの板面7iとが平行になっているので、透過板7qに対する外乱光の入射角度と同一の角度で、迷光がレンズ12aに入射する。このため、迷光がレンズ12aを透過しても、ホルダ12bの内周面に当たって、撮像素子2の撮像面2aに入射することはない。したがって、図7に示す撮像画像Gに、透過板7qの内部で生じた迷光に基づくノイズが映り込むこともない。
以上の実施形態によると、透過板7qの径がレンズ12aの径より大きく、かつ、透過板7qがレンズ12aの光軸Qに対して傾斜していても、レンズ12aの画角θ外から来る太陽光などの外乱光が、レンズ12aに入射しないように遮光板14により遮光される。このため、レンズ12aの画角θ外からの外乱光が、レンズ12aを透過して撮像素子2の撮像面2aに入射するのを阻止することができる。また、レンズ12aの画角θ外からの外乱光が、レンズ12aの端面12eで反射して迷光になることを阻止して、該迷光がレンズ12aを透過して撮像素子2の撮像面2aに入射するのを防止することが可能となる。これらの結果、画角θ外からの外乱光や迷光に基づくノイズN1、N2(図10)が、撮像素子2による撮像画像G(図7)に映り込むのを防止することができる。そして、撮像画像Gに基づいて運転手Mの顔や顔の特徴点を精度良く検出して、運転手Mの監視性能を向上させることが可能となる。
また、透過板7qの撮像素子2側の板面7oに、遮光板14を設けた場合、レンズ12aの画角θ外から透過板7qを透過した外乱光が、遮光板14で反射したり、透過板7qの他方の板面7iで反射したりして、透過板7qの内部で迷光が生じるおそれがある。然るに、本実施形態では、透過板7qの板面7o、7iと遮光板14の板面14aとが平行になっているので、透過板7qの内部で生じた迷光が、レンズ12aを透過して撮像素子2の撮像面2aに入射するのを阻止できる。このため、迷光に基づくノイズが、撮像画像Gに映り込むのを防止することが可能となる。また、遮光板14と透過板7qとを一体化させることで、部品点数を減少させて、レンズ12aに対して撮像素子2と反対側に遮光板14を容易に配置することができ、乗員監視装置100の組み立て性を向上させることが可能となる。
また、以上の実施形態では、レンズ12aの画角θの範囲Xを囲むように、遮光板14を環状に形成している。このため、レンズ12aの画角θの全周囲から来る外乱光を遮光板14により確実に遮光して、レンズ12aに入射させないようにすることができる。
また、以上の実施形態では、遮光板14が、レンズ12aの画角θの範囲Xに近接する位置から、外側へ向って径方向に延びていて、遮光板14の外径がレンズ12aの径より大きくなっている。このため、レンズ12aの径より外側の画角θ外から透過板7qに入射した外乱光を、遮光板14により確実に遮光して、レンズ12aに入射させないようにすることができる。
さらに、以上の実施形態では、透過板7qの径がレンズ12aの径より大きいので、撮像範囲を広くすることができる。また、運転手Mがレンズ12aの画角θ内に入るように、乗員監視装置100を車室内の中央部にすることで、乗員監視装置100から運転手Mまでの距離が短くても、運転手Mからの光を、透過板7qとレンズ12aを透過させて、撮像素子2の撮像面2aに入射させることができる。そして、撮像素子2により運転手Mの顔を確実に撮像することが可能となる。
図11は、本発明の第2実施形態の乗員監視装置100の撮像系の断面図である。第2実施形態では、遮光部材である遮光板24を、透過板7qの撮像素子2と反対側の板面7iに設けている。遮光板24は、レンズ12aの画角θの範囲Xを囲むように、環状に形成されている。また、遮光板24は、レンズ12aの画角θの範囲Xに近接する位置から、外側へ向って遮光板24の径方向に延びているが、前述した照明部3の光を遮らないような大きさに形成されている。その他の構造は、第1実施形態と同様である。
このように遮光板24を設けることで、図11に1点鎖線の矢印で示すように、レンズ12aの画角θ外から来た外乱光が、遮光板24により遮光されて、透過板7qに入射しなくなる。このため、画角θ外からの外乱光に基づく迷光が、透過板7qの内部や透過板7qとレンズ12aとの間で生じなくなり、外乱光や迷光がレンズ12aを透過して撮像素子2の撮像面2aに入射しなくなる。この結果、運転手Mの顔などの検出に支障を来すノイズN1、N2(図10)が、撮像画像Gに映り込むのを防止することが可能となる。
図12は、本発明の第3実施形態の乗員監視装置100の撮像系の断面図である。第3実施形態では、遮光部材である遮光板34を、レンズ12aの端面12eに設けている。遮光板34は、レンズ12aの画角θの範囲Xを囲むように、環状に形成されている。また、遮光板34は、レンズ12aの画角θの範囲Xに近接する位置から、外側へ向って遮光板34の径方向に延びている。さらに、遮光板34の表面には、光反射防止処理が施されている。その他の構造は、第1実施形態と同様である。
このように遮光板34を設けることで、図12に1点鎖線の矢印で示すように、レンズ12aの画角θ外から来て透過板7qを透過した外乱光が、遮光板34により遮光されて、レンズ12aに入射しなくなる。また、当該外乱光が遮光板34の表面で反射しなくなる。このため、画角θ外からの外乱光に基づく迷光が透過板7qとレンズ12aとの間で生じなくなり、当該外乱光や迷光がレンズ12aを透過して撮像素子2の撮像面2aに入射しなくなる。この結果、運転手Mの顔などの検出に支障を来すノイズN1、N2(図10)が、撮像画像Gに映り込むのを防止することが可能となる。
図13は、本発明の第4実施形態の乗員監視装置100の撮像系の断面図である。第4実施形態では、遮光部材である遮光板44を、透過板7qとレンズ12aとの間に設けている。この遮光板44は、透過板7qやレンズ12aから離間するように、ホルダ12bに固定されている。また、遮光板44は、レンズ12aの画角θの範囲Xを囲むように環状に形成されている。また、遮光板44は、レンズ12aの画角θの範囲Xに近接する位置から、外側へ向って遮光板44の径方向に延びているが、前述した照明部3の光を遮らないような大きさに形成されている。さらに、遮光板44の表面には、光反射防止処理が施されている。その他の構造は、第1実施形態と同様である。
このように遮光板44を設けても、図13に1点鎖線の矢印で示すように、レンズ12aの画角θ外から来て透過板7qを透過した外乱光が、遮光板44により遮光されて、レンズ12aに入射しなくなる。また、当該外乱光が遮光板44の表面で反射しなくなる。このため、画角θ外からの外乱光に基づく迷光が透過板7qとレンズ12aとの間で生じなくなり、当該外乱光や迷光がレンズ12aを透過して撮像素子2の撮像面2aに入射しなくなる。この結果、運転手Mの顔などの検出に支障を来すノイズN1、N2(図10)が、撮像画像Gに映り込むのを防止することが可能となる。
図14は、本発明の第5実施形態の乗員監視装置100の撮像系の断面図である。図15は、図14に対応する従来の乗員監視装置の撮像系の断面図である。
図14に示す第5実施形態では、カバー7の窓7mに設けられた透過板7q’の板面7i、7oが、レンズ12aの光軸Qに対して垂直になっている。透過板7q’の板面7i、7oと、レンズ12aの端面12eとは平行になっている。透過板7q’の板面7oには、遮光板14が設けられている。透過板7q’に対する遮光板14の設置状態は、第1実施形態(図6)の透過板7qに対する遮光板14の設置状態と同様である。これ以外の構造も第1実施形態と同様である。
上記に対して、図15に示す従来の撮像系では、遮光板14が設けられていない。このため、図15に1点鎖線の矢印で示すように、レンズ12aの画角θ外からの外乱光が、透過板7q’を透過した後、レンズ12aの端面12eから入射して、レンズ12aを透過し、撮像素子2の撮像面2aの端部または撮像面2aの近傍に入射する。このため、撮像画像Gの端部に、図10に示したノイズN1のような、外乱光に基づくノイズが映り込む。
なお、レンズ12aの画角θ外から来て透過板7q’を透過した外乱光の一部は、図15に2点鎖線の矢印で示すように、レンズ12aの端面12eで反射して、レンズ12aと透過板7q’との間で迷光となる。そして、この迷光は、レンズ12aの画角θ内に進入して、透過板7q’の板面7oで反射し、レンズ12aに入射する。この際、レンズ12aの端面12eと、透過板7q’の板面7oとが平行になっているので、レンズ12aに対する外乱光の入射角度と同等の角度で、迷光がレンズ12aに入射する。そして、この迷光は、レンズ12aを透過した後、ホルダ12bの内周面に当たって、撮像素子2の撮像面2aに入射することはない。このため、撮像画像Gに、レンズ12aと透過板7q’の間で生じた迷光に基づくノイズは映り込まない。
一方、図14に示したように、透過板7q’に遮光板14を設けると、図14に1点鎖線の矢印で示すように、レンズ12aの画角θ外から来て透過板7q’を透過した外乱光が、遮光板14により遮光されて、レンズ12aに入射しなくなる。このため、当該外乱光に基づく迷光が透過板7q’とレンズ12aとの間で生じなくなり、当該外乱光や迷光がレンズ12aを透過して撮像素子2の撮像面2aに入射しなくなる。その結果、撮像素子2による撮像画像Gの端部に、図10に示したノイズN1のような、外乱光に基づくノイズが映り込まなくなる。よって、運転手Mの顔などの検出に支障を来すノイズが、撮像画像Gに映り込むのを防止することが可能となる。
本発明は、上述した以外にも種々の実施形態を採用することができる。たとえば、以上の実施形態では、レンズ12aの画角θ外に遮光板14、24、34、44を設けた例を示したが、本発明はこれのみに限定するものではなく、遮光板14、24、34、44の一部がレンズ12aの画角θ内に突出するようにしてもよい。また、遮光板34、44と同様に、遮光板14、24の表面にも光反射防止処理を施してもよい。また、遮光板14、24、34、44に代えて、厚みが厚いブロック状の遮光部材を用いてもよい。さらに、レンズ12aに対して撮像素子2と反対側に、複数の遮光部材を設けてもよい。
また、以上の実施形態では、カバー7の窓7mを、孔7tと透過板7q、7q’とから構成した例を示したが、本発明はこれのみに限定するものではない。透過板7q、7q’を省略し、窓7mを孔7tだけで構成してもよい。また、窓7m、孔7t、または透過板7q、7q’の径を、レンズ12aの径と同等にしてもよいし、レンズ12aの径より小さくしてもよい。また、窓7mに透過板7q、7q’を設ける場合は、透過板7q、7q’ の径も、レンズ12aの径と同等にしてもよいし、レンズ12aの径より小さくしてもよい。さらに、照明部3からの光の出口となる窓と、レンズ12aに対する光の入り口となる窓とを別々に設けてもよい。
また、以上の実施形態では、意匠カバーにより覆われるカバー7の窓7mに透過板7q、7q’を設けた例を示したが、本発明はこれのみに限定するものではない。これ以外に、たとえば、カバー7の窓7mを孔7tだけで構成し、該孔7tと連通する意匠カバーの開口部に透過板を設けてもよい。また、当該透過板に遮光部材を設けたり、意匠カバーとカバー7との間に遮光部材を設けたりしてもよい。
また、以上の実施形態では、赤外線イメージセンサから成る撮像素子2と、赤外線LEDから成る照明部3とを用いた例を示したが、本発明はこれのみに限定するものではなく、その他の撮像素子およびその他の照明部を用いてもよい。また、撮像素子や照明部の設置数は、適宜選択すればよい。
また、以上の実施形態では、乗員監視装置100を車両のダッシュボードの中央部またはセンタコンソールの上部に設置した例を示したが、本発明はこれのみに限定するものではなく、車室内のその他の箇所に乗員監視装置100を設置してもよい。
また、以上の実施形態では、車両の運転手Mの顔を撮像することにより、運転手Mを監視する乗員監視装置100に本発明を適用したが、運転手M以外の乗員を監視したり、顔以外の部位を撮像したりする乗員監視装置に対しても、本発明を適用することは可能である。
さらに、以上の実施形態では、自動四輪車に搭載される乗員監視装置100に本発明を適用した例を挙げたが、その他の車両に搭載される乗員監視装置に対しても、本発明を適用することは可能である。
2 撮像素子
2a 撮像面
7 カバー(被覆部材)
7m 窓
7i、7o 板面
7q、7q’ 透過板
7t 孔
12a レンズ
12b ホルダ(保持部材)
14、24、34、44 遮光板(遮光部材)
14a 板面
100 乗員監視装置
G 撮像画像
M 運転手(乗員)
Q レンズの光軸
X レンズの画角の範囲
θ レンズの画角

Claims (4)

  1. 車両の乗員を撮像する撮像素子と、
    前記乗員の像を前記撮像素子の撮像面に結像するレンズと、
    前記車両の運転席側へ光を投射する照明部と、
    前記レンズを保持する保持部材と、
    前記撮像素子、前記レンズ、前記照明部、および前記保持部材を覆う被覆部材と、
    前記被覆部材に設けられ、前記照明部から投射された光を通過させるとともに、前記レンズに光を入射させる窓と、を備え、
    前記撮像素子により撮像した画像に基づいて前記乗員を監視する乗員監視装置において、
    前記窓は、前記被覆部材に形成された孔と、前記孔を塞ぐように前記被覆部材に取り付けられた、光を透過させる透過板と、から構成され、
    前記透過板は、前記レンズおよび前記照明部と対向していて、その板面が前記レンズの光軸に対して傾斜するように、前記レンズと所定の間隔をおいて設けられており、
    前記透過板における前記撮像素子側の板面または前記撮像素子と反対側の板面に設けられ、前記レンズの画角外からの光を前記レンズに入射しないように遮光する遮光部材をさらに備え
    前記遮光部材は、前記レンズの画角の範囲を囲むように環状に形成されていて、前記レンズの画角の範囲に近接する位置から、外側へ向って当該遮光部材の径方向に延びており、
    前記遮光部材の径方向の外径は、前記レンズの径より大きく、かつ前記照明部から投射された光を遮らない大きさである、ことを特徴とする乗員監視装置。
  2. 請求項に記載の乗員監視装置において、
    前記透過板の径は前記レンズの径より大きい、ことを特徴とする乗員監視装置。
  3. 請求項または請求項に記載の乗員監視装置において、
    前記遮光部材は、板状に形成されていて、前記透過板における前記撮像素子側の板面に設けられ、
    前記遮光部材の板面と前記透過板の板面とが平行になっている、ことを特徴とする乗員監視装置。
  4. 請求項1ないし請求項のいずれかに記載の乗員監視装置において、
    前記遮光部材の表面には、光反射防止処理が施されている、ことを特徴とする乗員監視装置。
JP2018047430A 2018-03-15 2018-03-15 乗員監視装置 Active JP6780671B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018047430A JP6780671B2 (ja) 2018-03-15 2018-03-15 乗員監視装置
DE102019103959.2A DE102019103959A1 (de) 2018-03-15 2019-02-18 Insassenüberwachungsvorrichtung
US16/289,697 US20190285968A1 (en) 2018-03-15 2019-03-01 Occupant monitoring apparatus
CN201910159533.7A CN110278352A (zh) 2018-03-15 2019-03-04 乘员监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047430A JP6780671B2 (ja) 2018-03-15 2018-03-15 乗員監視装置

Publications (2)

Publication Number Publication Date
JP2019159167A JP2019159167A (ja) 2019-09-19
JP6780671B2 true JP6780671B2 (ja) 2020-11-04

Family

ID=67774690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047430A Active JP6780671B2 (ja) 2018-03-15 2018-03-15 乗員監視装置

Country Status (4)

Country Link
US (1) US20190285968A1 (ja)
JP (1) JP6780671B2 (ja)
CN (1) CN110278352A (ja)
DE (1) DE102019103959A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11153950B2 (en) * 2019-02-14 2021-10-19 Orlaco Products B.V. Replacement mirror system with IR LED overheating management
CN117460645A (zh) * 2021-06-09 2024-01-26 株式会社电装 乘员拍摄装置
EP4261611A1 (en) * 2022-04-11 2023-10-18 Valeo Comfort and Driving Assistance Cover for an illuminating and imaging system and associated illuminating and imaging system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
US6072634A (en) * 1997-12-01 2000-06-06 Intel Corporation Compact digital camera objective with interdigitated element alignment, stray light suppression, and anti-aliasing features
JP3931476B2 (ja) * 1998-06-09 2007-06-13 コニカミノルタフォトイメージング株式会社 光学センサ及び光学ユニット
JP2002268120A (ja) * 2001-03-14 2002-09-18 Kureha Chem Ind Co Ltd 光学的機能フィルター部材及び撮像装置
JP4032291B2 (ja) * 2001-05-18 2008-01-16 コニカミノルタホールディングス株式会社 撮像レンズ及び撮像装置
JP2007510291A (ja) * 2003-10-27 2007-04-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カメラモジュール及びこのようなカメラモジュールの製造方法
US8351219B2 (en) * 2009-09-03 2013-01-08 Visera Technologies Company Limited Electronic assembly for an image sensing device
JP2012131390A (ja) * 2010-12-22 2012-07-12 Rohm Co Ltd 車載カメラ
JP2014053591A (ja) * 2012-08-08 2014-03-20 Sony Corp 撮像素子、撮像装置、製造装置および方法
JP5867355B2 (ja) * 2012-10-02 2016-02-24 株式会社デンソー 状態監視装置及び状態監視プログラム
US9557627B2 (en) * 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
JP2016112279A (ja) * 2014-12-17 2016-06-23 セイコーエプソン株式会社 画像取得装置、生体情報取得装置、電子機器
US9533687B2 (en) * 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10365480B2 (en) * 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
JP6627500B2 (ja) * 2015-12-25 2020-01-08 アイシン精機株式会社 車両用室内撮影装置
JP6700148B2 (ja) 2016-09-23 2020-05-27 株式会社和田商店 金属の塗装方法
US10469718B2 (en) * 2017-05-03 2019-11-05 Omnivision Technologies, Inc. Camera module having baffle between two glass substrates

Also Published As

Publication number Publication date
JP2019159167A (ja) 2019-09-19
CN110278352A (zh) 2019-09-24
DE102019103959A1 (de) 2019-09-19
US20190285968A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
US11997392B2 (en) Vehicular camera module
EP3018560B1 (en) Integrated overhead console assembly for vehicle
JP6304205B2 (ja) 車載撮像装置
JP6780671B2 (ja) 乗員監視装置
EP1837805A1 (en) Object detecting system, actuating device, and vehicle
WO2013123161A1 (en) Vehicle vision system with light baffling system
US10564522B2 (en) Occupant monitoring device
CN111684313A (zh) 摄像机和乘员探测***
CN112615992B (zh) 摄像装置、车辆和后视镜
CA2572417C (en) Smoke alarm system
US20180312113A1 (en) Mirror-attached imaging apparatus
US10742857B2 (en) Occupant monitoring apparatus
WO2020031874A1 (ja) 撮像ユニット、乗員監視装置
JP6246932B2 (ja) カメラを用いた窓ガラス上にある雨滴を検出するための照明
KR20140001268A (ko) 카메라 모듈이 설치된 램프
JP2021187369A (ja) 車載カメラ装置
CN113085732A (zh) 摄像装置、车辆和后视镜
WO2022220038A1 (ja) 乗員モニタシステム
WO2022269732A1 (ja) カメラユニットおよび乗員監視システム
JP7463999B2 (ja) 乗員モニタシステム
US20240217437A1 (en) Vehicular driver monitoring system with driver monitoring camera and near ir light emitter at interior rearview mirror assembly
JP2009166725A (ja) ミラー構造
JP2022180043A (ja) 乗員撮像装置
JP2018188038A (ja) 車両用撮影装置
JP2006240404A (ja) 車載カメラ撮影装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200928

R150 Certificate of patent or registration of utility model

Ref document number: 6780671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150