JP2015007953A - 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体 - Google Patents

車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP2015007953A
JP2015007953A JP2013212964A JP2013212964A JP2015007953A JP 2015007953 A JP2015007953 A JP 2015007953A JP 2013212964 A JP2013212964 A JP 2013212964A JP 2013212964 A JP2013212964 A JP 2013212964A JP 2015007953 A JP2015007953 A JP 2015007953A
Authority
JP
Japan
Prior art keywords
image
images
monitoring
vehicle
passengers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013212964A
Other languages
English (en)
Inventor
嘉文 高
Chia Wen Kao
嘉文 高
伯聰 林
Bai Cong Lin
伯聰 林
志恆 方
Chih-Heng Fang
志恆 方
嘉駿 鄒
Chia-Chun Tsou
嘉駿 鄒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of JP2015007953A publication Critical patent/JP2015007953A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】従来人手によって行われて効率が悪かったHOVレーンによる管理の問題点を改善する車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体を提供する。
【解決手段】車両乗車人数の監視装置は、第1の撮像装置10及び処理ユニット20を備える。第1の撮像装置10は、車体内の複数の画像を連続的にキャプチャする。処理ユニット20は、第1の撮像装置10により得た複数の画像により画像フレーム列を生成するとともに、画像分割モジュール21、画像処理モジュール22及び動態検出モジュール23を含む。画像分割モジュール21は、画像を複数の認識ブロックへそれぞれ分割する。画像処理モジュール22は、画像フレーム列中の前後の画像の認識ブロックを比較して画像変動値を得る。動態検出モジュール23は閾値を有し、画像変動値が閾値より大きい場合、認識ブロックに人がいると判断する。
【選択図】図1

Description

本発明は、自動車用監視装置に関し、特に、車両乗車人数を検知する自動車監視装置に関する。
交通輸送は、国家の経済発展にとって非常に重要であり、交通インフラの発展と経済成長とは互いに密接な関係を有し、交通インフラが完璧であるほど輸送システムがスムーズとなり、経済活動が活発となって交通量が増える。そのため一般に経済、交通、環境は互いに密接な関係にあると考えられている。
経済発展に伴い人々の生活レベルが向上し、自家用車が普及してきている。交通渋滞を引き起こす最大の原因は、自家用車の増加にあることは容易に理解することができる。自家用車が普及し過ぎて交通量が多くなると、ラッシュアワーの時間帯に交通渋滞が発生し易くなる。交通渋滞により引き起こされるマイナス面としては、環境汚染の発生だけでなく、自家用車による通勤時間が長くなり地域経済の損失を招くため、先進国だけでなく都市と地方との経済格差が大きい発展途上国においても大きな問題となっている。この問題の解決策としては、自家用車の乗車人数に対して厳しい制限を設け、自家用車の乗車人数を強制的に制限し、車両の乗車平均人数を増やして自家用車の通行量へ減らし、交通渋滞を減らす方式がある。もう一つの走行可能な自動車の交通量を管理する方式としては、HOVレーン(High−Occupancy Vehicle lane)を設ける方式がある。HOVレーンを設ける目的は、HOVレーンと一般レーンとを分離して相乗りを推進する点にある。しかし、HOVレーンを設けた場合でも、その車内人数を管理するために、入口において人手により逐一確認する必要がある。しかしこのような管理方式では、人的コストが浪費される上、自動車の通行量が多くなって渋滞がさらに酷くなり(例えば、高速道路を利用する車両1台当りの最低乗車人数が制限されると、高速道路のインターチェンジから一般道までが渋滞を引き起こす可能性があり)、所望の効果を達成することが困難であった。
特許文献1で開示されている観光バスの人数管理システムは、管理システムを利用してRFIDチップにより観光バスの最低乗車人数を制御し、運転手又は乗員が降乗車する際、管理システムによりRFID認証情報を記録し、人数を数える時間を短縮することができる。しかし、この技術をHOVレーン管理に用いても、例えば、ユーザがRFIDチップを携帯していない場合、管理を効果的に行うことができないため、乗車人数を強制的に管理できず、所望の効果を達成することはできなかった。
台湾実用新案登録第414625号公報
そのため、本発明の目的は、従来人手によって行われて効率が悪かったHOVレーンによる管理の問題点を改善する車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体を提供することにある。
(1)上記課題を解決するために、本発明の第1の形態によれば、第1の撮像装置及び処理ユニットを備え、車体内に取り付けて車体内の乗車人数を監視する車両乗車人数の監視装置であって、前記第1の撮像装置は、車体内の複数の画像を連続的にキャプチャし、 前記処理ユニットは、前記第1の撮像装置により得た複数の画像により画像フレーム列を生成するとともに、画像分割モジュール、画像処理モジュール及び動態検出モジュールを含み、前記画像分割モジュールは、前記画像を複数の認識ブロックへそれぞれ分割し、前記画像処理モジュールは、前記画像フレーム列中の前後の画像の認識ブロックを比較して画像変動値を得て、前記動態検出モジュールは閾値を有し、前記画像変動値が閾値より大きい場合、前記認識ブロックに人がいると判断することを特徴とする車両乗車人数の監視装置が提供される。
(2)前記画像変動値は、前記画像処理モジュールが前記画像フレーム列中の前後の画像に対して背景除去処理を行った後、それぞれ2つの画像特徴ブロックの中間座標間で得た変化のベクトル距離であることが好ましい。
(3)前記前後の画像は、画素マトリクスをそれぞれ含み、前記画像変動値は、前記前後の画像の画素マトリクスを除去して絶対値の総和を得ることが好ましい。
(4)前記前後の画像は、画素マトリクスをそれぞれ含み、前記画像変動値は、前記前後の画像の画素マトリクスを除去して得た差異数値のマトリクスと前記認識ブロックとの比率であることが好ましい。
(5)前記認識ブロックのそれぞれは、深さ参考範囲を含み、前記第1の撮像装置は、前記認識ブロックに対して深度測定を行い、前記深さ参考範囲内に物体が存在するか否かを検知する2つの撮像ヘッドを含むことが好ましい。
(6)前記認識ブロックのそれぞれは、深さ参考範囲を含み、前記第1の撮像装置は、前記認識ブロックに対して深度測定を行い、前記深さ参考範囲内に物体が存在するか否かを検知する深さカメラであることが好ましい。
(7)前記処理ユニットは、前記動態検出モジュールを介して人数を記録するカウンターを含み、人数情報を遠隔サーバへ送信する無線通信装置を含むことが好ましい。
(8)前記無線通信装置のプロトコルは、3G、4G又はWi−Fiの無線通信システムを構築することが好ましい。
(9)運転手の顔部の画像をキャプチャして顔部の画像の瞬き回数を記録する第2の撮像装置と、前記第2の撮像装置に接続されて前記瞬き回数が所定時間内に第1の閾値を超えたときに警告を発する警報装置と、を含む運転手集中力警告装置をさらに備えることが好ましい。
(10)運転手の顔部の画像をキャプチャして顔部の画像の回転角度を検知する第2の撮像装置と、前記第2の撮像装置に接続されて前記顔部の画像の回転角度が第2の閾値を超えたときに警告を発する警報装置と、を含む運転手集中力警告装置をさらに備えることが好ましい。
(11)上記課題を解決するために、本発明の第2の形態によれば、(a)車体内の複数の画像を第1の撮像装置により連続的にキャプチャし、前記複数の画像により画像フレーム列を生成するステップと、(b)前記画像フレーム列中の各画像を複数の認識ブロックへ分割するステップと、(c)前記画像フレーム中の前後の画像の前記認識ブロックを比べて画像変動値を得るステップと、(d)前記画像変動値と閾値とを比較し、前記画像変動値が前記閾値より大きい場合、前記認識ブロック内に人がいると判断するステップと、を含むことを特徴とする車両乗車人数の監視方法が提供される。
(12)前記画像変動値は、画像処理モジュールが前後の画像に対して背景除去処理を行った後、それぞれ2つの画像特徴ブロックの中間座標の間で得た変化のベクトル距離であることが好ましい。
(13)前記前後の画像は、画素マトリクスをそれぞれ含み、前記画像変動値は、前記前後の画像の画素マトリクスを除去して絶対値の総和を得ることが好ましい。
(14)前記前後の画像は、画素マトリクスをそれぞれ含み、前記画像変動値は、前記前後の画像の画素マトリクスを除去して得た差異数値のマトリクスと前記認識ブロックとの比率であることが好ましい。
(15)前記認識ブロックのそれぞれは、深さ参考範囲を含み、前記ステップ(b)において、前記第1の撮像装置は、前記認識ブロックに対して深度測定を行い、深さ参考範囲内に物体が存在するか否かを検知することが好ましい。
(16)前記認識ブロックを検知した結果に基づいて車内の人数を計算し、前記車内の人数が管理人数より少ないときに、遠隔サーバへ警告信号を送信するステップ(e)をさらに含むことが好ましい。
(17)上記課題を解決するために、本発明の第3の形態によれば、(11)〜(16)の何れか1つの車両乗車人数の監視方法に含まれるステップをコンピュータ(電子装置)に実行させるプログラムを記憶したコンピュータ可読記憶媒体が提供される。
本発明の車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体は、従来技術と比べ、以下(1)〜(3)の効果を有する。
(1)撮像装置により車両乗車人数を効果的に検知し、乗車人数を管理する際、管理センターは、車両上に取り付けられた撮像装置を利用して車両の乗車人数を遠隔で管理し、人手により管理する手間を省く。
(2)深さカメラにより各認識ブロックの深度参考範囲内に物体が存在するか否かを予め検知することにより、検知の正確度を高める。
(3)ODB及び無線通信システムを利用することにより、監視装置が車両内で作動し、車両が高速道路を走行したりHOVレーンを走行したりする際、効果的な管理を行うことができる。
図1は、本発明の一実施形態に係る車両乗車人数の監視装置を示すブロック図である。 図2は、本発明の一実施形態に係る車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体を使用するときの状態を示す模式図(1)である。 図3は、本発明の一実施形態に係る車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体を使用するときの状態を示す模式図(2)である。 図4は、本発明の一実施形態に係る車両乗車人数の監視方法を示す流れ図(1)である。 図5は、本発明の一実施形態に係る車両乗車人数の監視方法を示す流れ図(2)である。 図6は、本発明の第1実施形態に係る演算方法を示す流れ図(1)である。 図7は、本発明の第2実施形態に係る演算方法を示す流れ図(2)である。
以下、本発明の実施例について図に基づいて説明する。なお、これによって本発明が限定されるものではない。
図1を参照する。図1は、本発明の一実施形態に係る車両乗車人数の監視装置を示すブロック図である。図1に示すように、本発明の一実施形態に係る車両乗車人数の監視装置100は、少なくとも第1の撮像装置10と、第1の撮像装置10に接続された処理ユニット20と、処理ユニット20に接続された無線通信装置30と、からなる。第1の撮像装置10は、2次元画像を得る平面撮影機又は3次元画像を得る深さカメラでもよい。本発明の一実施形態では2眼カメラ又は能動式深度測定機を第1の撮像装置10として用い、加える画像の深度値を参考数値として用いてもよい。
処理ユニット20は、第1の撮像装置10に接続され、第1の撮像装置10により車体内の連続した画像フレーム列を得て、画像分割モジュール21、画像処理モジュール22、動態検出モジュール23及びカウンター24を含む。画像分割モジュール21は、画像を複数の認識ブロック40へ分割するために用いる(図2参照)。認識ブロック40の認識範囲は、自動車のOEM(Original Equipment Manufacturing)、ODM(Original Design Manufacturing)メーカにより生産する際に設定したり、組立作業員が組み立てる際に調整したり、演算ユニット(処理ユニット)20により直接、環境要因に応じて自動的に調整したり(例えば、深度値を参考値として用いて空間模型により複数のブロックへ主動的に切り出す)してもよいが、上述の方式は、本発明の単なる一例を示しただけであり、本発明を特に限定するわけではない。
画像処理モジュール22は、画像フレーム列中の前後の画像の認識ブロック40と比べて画像間の画像変動値を得るために用いる。上述した前後の画像とは、具体的には同一の画像フレーム列中の異なる画像を指し、所定の時間内で得る画像が12幅である場合、比較する画像は第1幅及び第2幅でもよいし、或いは第1幅及び第12幅などでもよく、必ずしも互いに隣接した2つの幅の画像でなくてもよい。比較方式の具体的な例としては、背景除去法、適応型背景除去法、連続画像減算法などがある。
動態検出モジュール23内には、画像変動値と比較するために用いる閾値が含まれ、識別領域内の画像変動値が閾値より大きい場合、動態検出モジュール23は、識別領域内で移動する物体を判断し、真理値(true)をカウンター24へ送り、カウンター24は、受信した真理値の数に基づき、識別領域内で移動する目標物体の数を計算し、この計算に基づいて自動車の乗車人数を計算する。
無線通信装置30は、処理ユニット20に接続され、プロトコルは、遠隔サーバに接続するのに用いる3G、4G、Wi−Fiなどの無線通信システムを構築する。本実施形態の無線通信装置30は、携帯型モバイル通信機器又は予め自動車に取り付けたOBD(On−Board Diagnostics)の通信機器に接続される。本発明の他の実施形態では、HOVレーン上又は測定距離に応じて指向性アンテナを設置し、車両が通過する際、指向性アンテナによりトリガ信号を受信し、本発明の監視装置100により人数を計算する。
図2及び図3を参照する。図2は、本発明の一実施形態に係る車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体を使用するときの状態を示す模式図(1)である。図3は、本発明の一実施形態に係る車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体を使用するときの状態を示す模式図(2)である。
図2及び図3に示すように、各認識ブロック40の空間を分離し、認識ブロック40間を重ねたり干渉したりすることを防ぐために、第1の撮像装置10は、画像の深度値を得る2眼カメラ又は深さカメラでもよい。第1の撮像装置10は、認識ブロック40を分割する際、画像深度値を補助参考要素として含む。具体的には、各認識ブロック40は、深さ参考範囲dをさらに得る。第1の撮像装置10は、撮像ヘッド又は赤外線受信機により画像の深度値を得て、画像が変動する前に、深度値により認識ブロック40内に物体が存在するか否かを予め確認する。
また、運転手の集中力のレベルを検出するために、本実施形態は車両が走行しているときの運転手の集中力のレベルを測定する運転手集中力警告装置50をさらに含む。運転手集中力警告装置50は、第2の撮像装置51と、第2の撮像装置51に接続された警報装置52と、を含む。第2の撮像装置51は、運転手の真正面に設置され、運転手の集中力のレベルを測定する。第2の撮像装置51は、対向測定機能と、瞼を閉じたときの状態を検知する機能と、を含む。自動車のエンジンを起動すると、ODBシステムから第2の撮像装置51へ起動信号が送られ、このとき第2の撮像装置51がユーザの顔部画像の記録を開始し、顔部の画像によりユーザの瞬き回数と、ユーザの顔部の回転角度とを記録する。運転手の瞬き回数が所定時間内で第1の閾値より大きかったり、運転手の顔部の画像回転角度が第2の閾値より大きかったりする場合、警報装置52は、警告コマンドを発して運転手に対して警告を行う。
図4及び図5を参照する。図4は、本発明の一実施形態に係る車両乗車人数の監視方法を示す流れ図(1)である。図5は、本発明の一実施形態に係る車両乗車人数の監視方法を示す流れ図(2)である。
図4及び図5に示すように、本発明の一実施形態に係る車両乗車人数の監視方法は、以下のステップ(S100)〜(S140)を含む。
開始時、ユーザがエンジンを起動させると、車上のODBシステムが処理ユニット20へ起動信号を送信し、エンジンが作動状態にあることを処理ユニット20へ知らせる。処理ユニット20が第1の撮像装置10(又はその他の外部のイベントトリガ)を起動し、車体内の複数の画像を連続的にキャプチャし、画像フレーム列を生成する(S100)。続いて、処理ユニット20により画像フレーム列を得た後、画像分割モジュール21により画像フレーム列中の各画像を複数の認識ブロック40へ分割する(S110)。その後、画像を複数の認識ブロック40に分割すると、各認識ブロック40の変動値をそれぞれ計算し、認識領域内にいる人数を判断する(S120)。図5に示すように、本発明の認識領域内に人がいるか否かを判断する詳細なステップでは、まず、第1の撮像装置10は、同時に識別領域に対して深さ測定を行い、物体が深さ参考範囲d内に存在するか否かを測定する(S121)。深さ参考範囲d内に物体が無い場合、人がいないと判断する(S125)。深さ参考範囲d内に物体がある場合、次のステップへ進まなければならない(ここで、認識領域の深度測量範囲は予め設定されているため、このステップでは、画像を分割する前又は後に操作を行う)。続いて、画像処理モジュール22を介して画像フレーム列中の前後の画像の認識ブロック40と比較し、この比較結果から画像変動値を得る(ステップS122)。続いて、動態検出モジュール23は、画像変動値と閾値とを比べ、画像変動値が閾値より大きいとき(ステップS123)、認識ブロック40内に人がいると判断して真理値を生成し、カウンター24へ真理値を送信する(S124)。画像変動値が閾値より小さいとき、認識ブロック40内に人がいないと判断する(S125)。最後に、カウンター24は、得た真理値の数により車内の人数を計算し、車内の人数が制限人数(通常は2人)より少ないとき、遠隔サーバへ警告信号を送信し(S140)、制限人数より多いとき、ループを終了する。
本発明で述べる画像変動値の均等範囲が理解し易いように、以下では画像動態変化を検出する複数の具体的な実施方式について説明する。
(第1実施形態)
図6を参照する。図6は、本発明の第1実施形態に係る演算方法を示す流れ図(1)である。図6に示すように、まず、画像処理モジュール22により各認識ブロック40の背景画像を得て、背景画像を参考画像として記憶してから、画像処理モジュール22により分割処理された画像フレーム列を得て、認識ブロック40の画像と背景画像とに差分処理を行って背景を除去し(ステップS1221)、背景を除去した前後の異なる画像には、それぞれ画素マトリクスが含まれる。続いて、背景を除去した後の前後の異なる画像の画素マトリクスに対して差分処理を行い(ステップS1222)、前後の画像間の差異数値マトリクスを得て、差異数値マトリクスと認識ブロック40の画面との間の比率、又は各差異数値の絶対値の総和により画像変動値を得る(ステップS1223)。続いて、画像変動値と閾値とを比べ(ステップS1231)、画像変動値が設定した閾値より大きい場合、認識領域内に人がいると判断してカウンター24へ真理値を送る(S124)。
本実施形態において、上述した差分処理は、同一位置の前後の画素階調値を減らすか、同一位置の前後画素が色度座標上で、その両点間のベクトル距離を計算するが、参考可能な参考値には多くの種類があり、本発明は特に限定するわけではない。また、本実施形態において、背景除去は特に必要なステップではないことをここで予め述べておく。
(第2実施形態)
図7を参照する。図7は、本発明の第2実施形態に係る演算方法を示す流れ図(2)である。図7に示すように、この方式は、人体特徴部により取得した画像が特徴ブロック上の座標位置にある。まず、画像処理モジュール22により、各認識ブロック40の背景画像を予め取得し、背景画像を参考画像として記憶し、続いて、画像処理モジュール22が分割処理後の画像フレーム列を取得し、認識ブロック40の画像及び背景画像のそれぞれを差分処理して背景除去を行う(ステップS1224)。背景を除去した後、画像処理モジュール22により、画像を二値化処理して画像境界を得るが、この際、画像処理モジュール22は、各画像中で協働で含む特徴ブロック(例えば、特徴ブロックとは、周辺画像とのコントラストが大きいブロック)(ステップS1225)を採取して分析を行う。続いて、特徴ブロックの中心点は認識ブロック40中の座標位置にあり、前後の画像が特徴ブロックの中心点のオフセットベクトル(画像変動値に等しい)を得て(ステップS1226)、オフセットベクトルの距離値と閾値とを比べ(ステップS1232)、オフセットベクトルにより計算した距離値が閾値より大きいとき、認識領域内に人がいると判断してカウンター24へ真理値を送る(ステップS124)。
上述した実施形態は本発明の複数ある実施形態のうちの一例であり、本発明はこの2種類の比較方式だけに限定されるわけではない。
また、本発明の方法ステップは、ソフトウェアプログラムとして実施し、光ディスク、ハードディスク、半導体記憶装置などのコンピュータ可読記憶媒体に記憶し、コンピュータ可読記憶媒体を電子装置上へ搭載し、電子装置がアクセスして使用する。さらに詳細には、電子装置は小型の携帯型電子機器、ドライブレコーダ、ドライブ安全支援装置、車両系統のODB、コンピュータ設備、又はこれらに類似した電子機器でもよい。
上述したことから分かるように、本発明の車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体は、以下(1)〜(3)の長所を有する。
(1)撮像装置により車両乗車人数を効果的に検知し、乗車人数を管理する際、管理センターは、車両上に取り付けられた撮像装置を利用して車両の乗車人数を遠隔で管理し、人手により管理する手間を省く。
(2)深さカメラにより各認識ブロックの深度参考範囲内に物体が存在するか否かを予め検知することにより、検知の正確度を高める。
(3)ODB及び無線通信システムを利用することにより、監視装置が車両内で作動し、高速道路を走行したりHOVレーンを走行したりする際、管理を効果的に行うことができる。
当該分野の技術を熟知するものが理解できるように、本発明の好適な実施例を前述の通り開示したが、これらは決して本発明を限定するものではない。本発明の主旨と領域を逸脱しない範囲で各種の変更や修正を加えることができる。従って、本発明の特許請求の範囲は、このような変更や修正を含めて広く解釈されるべきである。
10 第1の撮像装置
20 処理ユニット
21 画像分割モジュール
22 画像処理モジュール
23 動態検出モジュール
24 カウンター
30 無線通信装置
40 認識ブロック
50 運転手集中力警告装置
51 第2の撮像装置
52 警報装置
100 監視装置
d 深さ参考範囲

Claims (17)

  1. 第1の撮像装置及び処理ユニットを備え、車体内に取り付けて車体内の乗車人数を監視する車両乗車人数の監視装置であって、
    前記第1の撮像装置は、車体内の複数の画像を連続的にキャプチャし、
    前記処理ユニットは、前記第1の撮像装置により得た複数の画像により画像フレーム列を生成するとともに、画像分割モジュール、画像処理モジュール及び動態検出モジュールを含み、
    前記画像分割モジュールは、前記画像を複数の認識ブロックへそれぞれ分割し、
    前記画像処理モジュールは、前記画像フレーム列中の前後の画像の認識ブロックを比較して画像変動値を得て、
    前記動態検出モジュールは閾値を有し、前記画像変動値が閾値より大きい場合、前記認識ブロックに人がいると判断することを特徴とする車両乗車人数の監視装置。
  2. 前記画像変動値は、前記画像処理モジュールが前記画像フレーム列中の前後の画像に対して背景除去処理を行った後、それぞれ2つの画像特徴ブロックの中間座標間で得た変化のベクトル距離であることを特徴とする請求項1に記載の車両乗車人数の監視装置。
  3. 前記前後の画像は、画素マトリクスをそれぞれ含み、
    前記画像変動値は、前記前後の画像の画素マトリクスを除去して絶対値の総和を得ることを特徴とする請求項1又は2に記載の車両乗車人数の監視装置。
  4. 前記前後の画像は、画素マトリクスをそれぞれ含み、
    前記画像変動値は、前記前後の画像の画素マトリクスを除去して得た差異数値のマトリクスと前記認識ブロックとの比率であることを特徴とする請求項1又は2に記載の車両乗車人数の監視装置。
  5. 前記認識ブロックのそれぞれは、深さ参考範囲を含み、
    前記第1の撮像装置は、前記認識ブロックに対して深度測定を行い、前記深さ参考範囲内に物体が存在するか否かを検知する2つの撮像ヘッドを含むことを特徴とする請求項1から4のいずれかに記載の車両乗車人数の監視装置。
  6. 前記認識ブロックのそれぞれは、深さ参考範囲を含み、
    前記第1の撮像装置は、前記認識ブロックに対して深度測定を行い、前記深さ参考範囲内に物体が存在するか否かを検知する深さカメラであることを特徴とする請求項1から4のいずれかに記載の車両乗車人数の監視装置。
  7. 前記処理ユニットは、前記動態検出モジュールを介して人数を記録するカウンターを含み、
    人数情報を遠隔サーバへ送信する無線通信装置を含むことを特徴とする請求項1から6のいずれかに記載の車両乗車人数の監視装置。
  8. 前記無線通信装置のプロトコルは、3G、4G又はWi−Fiの無線通信システムを構築することを特徴とする請求項7に記載の車両乗車人数の監視装置。
  9. 運転手の顔部の画像をキャプチャして顔部の画像の瞬き回数を記録する第2の撮像装置と、前記第2の撮像装置に接続されて前記瞬き回数が所定時間内に第1の閾値を超えたときに警告を発する警報装置と、を含む運転手集中力警告装置をさらに備えることを特徴とする請求項1から8のいずれかに記載の車両乗車人数の監視装置。
  10. 運転手の顔部の画像をキャプチャして顔部の画像の回転角度を検知する第2の撮像装置と、前記第2の撮像装置に接続されて前記顔部の画像の回転角度が第2の閾値を超えたときに警告を発する警報装置と、を含む運転手集中力警告装置をさらに備えることを特徴とする請求項1から8のいずれかに記載の車両乗車人数の監視装置。
  11. (a)車体内の複数の画像を第1の撮像装置により連続的にキャプチャし、前記複数の画像により画像フレーム列を生成するステップと、
    (b)前記画像フレーム列中の各画像を複数の認識ブロックへ分割するステップと、
    (c)前記画像フレーム中の前後の画像の前記認識ブロックを比べて画像変動値を得るステップと、
    (d)前記画像変動値と閾値とを比較し、前記画像変動値が前記閾値より大きい場合、前記認識ブロック内に人がいると判断するステップと、を含むことを特徴とする車両乗車人数の監視方法。
  12. 前記画像変動値は、画像処理モジュールが前後の画像に対して背景除去処理を行った後、それぞれ2つの画像特徴ブロックの中間座標の間で得た変化のベクトル距離であることを特徴とする請求項11に記載の車両乗車人数の監視方法。
  13. 前記前後の画像は、画素マトリクスをそれぞれ含み、
    前記画像変動値は、前記前後の画像の画素マトリクスを除去して絶対値の総和を得ることを特徴とする請求項11又は12に記載の車両乗車人数の監視方法。
  14. 前記前後の画像は、画素マトリクスをそれぞれ含み、
    前記画像変動値は、前記前後の画像の画素マトリクスを除去して得た差異数値のマトリクスと前記認識ブロックとの比率であることを特徴とする請求項11又は12に記載の車両乗車人数の監視方法。
  15. 前記認識ブロックのそれぞれは、深さ参考範囲を含み、
    前記ステップ(b)において、前記第1の撮像装置は、前記認識ブロックに対して深度測定を行い、深さ参考範囲内に物体が存在するか否かを検知することを特徴とする請求項11から14のいずれかに記載の車両乗車人数の監視方法。
  16. 前記認識ブロックを検知した結果に基づいて車内の人数を計算し、前記車内の人数が管理人数より少ないときに、遠隔サーバへ警告信号を送信するステップ(e)をさらに含むことを特徴とする請求項11から15のいずれかに記載の車両乗車人数の監視方法。
  17. 請求項11〜16の何れか1項の車両乗車人数の監視方法に含まれるステップをコンピュータに実行させるプログラムを記憶したコンピュータ可読記憶媒体。
JP2013212964A 2013-06-24 2013-10-10 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体 Pending JP2015007953A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102122409 2013-06-24
TW102122409A TWI532620B (zh) 2013-06-24 2013-06-24 Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media

Publications (1)

Publication Number Publication Date
JP2015007953A true JP2015007953A (ja) 2015-01-15

Family

ID=52110602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013212964A Pending JP2015007953A (ja) 2013-06-24 2013-10-10 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体

Country Status (4)

Country Link
US (1) US20140375808A1 (ja)
JP (1) JP2015007953A (ja)
CN (1) CN104239889A (ja)
TW (1) TWI532620B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3584746A1 (en) 2018-06-20 2019-12-25 Yazaki Corporation Vehicle occupant count monitoring system

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2975561B1 (en) * 2014-07-14 2023-12-13 Gerrit Böhm Capacity prediction for public transport vehicles
US9390335B2 (en) * 2014-11-05 2016-07-12 Foundation Of Soongsil University-Industry Cooperation Method and service server for providing passenger density information
US10140533B1 (en) 2015-01-13 2018-11-27 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating data representative of vehicle occupant postures
CN105227909A (zh) * 2015-09-18 2016-01-06 天津艾思科尔科技有限公司 防静电型探测器
CN105141925A (zh) * 2015-09-18 2015-12-09 天津艾思科尔科技有限公司 传输线带有网络连接头的探测器
US10248871B2 (en) * 2016-03-24 2019-04-02 Qualcomm Incorporated Autonomous lane detection
CN106170826B (zh) * 2016-06-03 2018-10-09 深圳市锐明技术股份有限公司 出租车乘客人数的监控方法及***
CN106448169B (zh) * 2016-11-23 2019-09-06 重庆交通大学 基于wifi的公交客流实时监测***、数据处理方法
CN106845476B (zh) * 2016-12-16 2019-07-02 中国航天***工程有限公司 一种基于北斗和图像识别技术的hov车道管理***及方法
CN106781516B (zh) * 2016-12-16 2019-07-02 中国航天***工程有限公司 一种基于北斗和图像识别技术的hov车道管理***
JP6645416B2 (ja) * 2016-12-20 2020-02-14 株式会社デンソー 乗員検出装置、乗員検出システム、乗員検出方法
US11321951B1 (en) 2017-01-19 2022-05-03 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for integrating vehicle operator gesture detection within geographic maps
WO2019019178A1 (zh) * 2017-07-28 2019-01-31 广东兴达顺科技有限公司 一种车辆信息的检测方法、检测设备及车辆设备
CN107464416B (zh) * 2017-08-10 2021-02-26 多维新创(北京)技术有限公司 巴士的半自动驾驶方法及***
CN109508632B (zh) * 2018-09-30 2023-04-07 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN110992389A (zh) * 2019-11-08 2020-04-10 浙江大华技术股份有限公司 白蚁监测方法、装置、及存储装置
JP7401338B2 (ja) * 2020-02-20 2023-12-19 フォルシアクラリオン・エレクトロニクス株式会社 情報処理装置、プログラム及び情報処理方法
US20210402981A1 (en) * 2020-06-30 2021-12-30 Micron Technology, Inc. Virtual vehicle interface
CN112395976A (zh) * 2020-11-17 2021-02-23 杭州海康威视***技术有限公司 一种摩托车载人识别方法、装置、设备及存储介质
DE112021007848T5 (de) * 2021-06-18 2024-04-25 Mitsubishi Electric Corporation Infrarotbilderfassungsvorrichtung und Verfahren zum Erzeugen von Daten eines festen Rauschmusters

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568245A (ja) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> 動物体検出および追跡処理方式
JP2001006082A (ja) * 1999-06-23 2001-01-12 Yazaki Corp 車両運行情報収集装置
JP2002170138A (ja) * 2000-11-30 2002-06-14 Organization For Road System Enhancement 車両に情報を提供するシステム、および方法
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2003264826A (ja) * 2001-11-29 2003-09-19 Daimlerchrysler Ag 車両キャビンの光学的監視方法および車両キャビン用カメラシステムを備えた車両
JP2004056785A (ja) * 2003-06-16 2004-02-19 Hitachi Ltd 車載用画像処理装置
JP2005092262A (ja) * 2003-09-11 2005-04-07 Secom Co Ltd 顔検知装置
JP2005108033A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 運転者状況判定装置および運転者状況判定方法
JP2007257321A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 顔部位追跡方法及びその装置
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2009116693A (ja) * 2007-11-07 2009-05-28 Toyota Motor Corp 車線逸脱防止制御装置
JP2009223916A (ja) * 2009-07-06 2009-10-01 Secom Co Ltd インターホン装置
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3532772B2 (ja) * 1998-09-25 2004-05-31 本田技研工業株式会社 乗員の乗車状態検出装置
US7202793B2 (en) * 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
JP4254295B2 (ja) * 2003-03-25 2009-04-15 アイシン精機株式会社 着座検知装置
CN101673464A (zh) * 2009-09-27 2010-03-17 上海大学 疲劳驾驶智能管理***
US8520074B2 (en) * 2010-12-14 2013-08-27 Xerox Corporation Determining a total number of people in an IR image obtained via an IR imaging system
CN102122390B (zh) * 2011-01-25 2012-11-14 于仕琪 基于深度图像进行人体检测的方法
US8587657B2 (en) * 2011-04-13 2013-11-19 Xerox Corporation Determining a number of objects in an IR image
JP5100875B1 (ja) * 2011-08-31 2012-12-19 株式会社東芝 視域調整装置、映像処理装置および視域調整方法
US9202118B2 (en) * 2011-12-13 2015-12-01 Xerox Corporation Determining a pixel classification threshold for vehicle occupancy detection
US10453084B2 (en) * 2012-12-21 2019-10-22 Intel Corporation Systems and methods for generating and validating incentives based on multi-person vehicle occupancy

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0568245A (ja) * 1991-09-09 1993-03-19 Nippon Telegr & Teleph Corp <Ntt> 動物体検出および追跡処理方式
JP2001006082A (ja) * 1999-06-23 2001-01-12 Yazaki Corp 車両運行情報収集装置
JP2002170138A (ja) * 2000-11-30 2002-06-14 Organization For Road System Enhancement 車両に情報を提供するシステム、および方法
JP2002288670A (ja) * 2001-03-22 2002-10-04 Honda Motor Co Ltd 顔画像を使用した個人認証装置
JP2003264826A (ja) * 2001-11-29 2003-09-19 Daimlerchrysler Ag 車両キャビンの光学的監視方法および車両キャビン用カメラシステムを備えた車両
JP2004056785A (ja) * 2003-06-16 2004-02-19 Hitachi Ltd 車載用画像処理装置
JP2005092262A (ja) * 2003-09-11 2005-04-07 Secom Co Ltd 顔検知装置
JP2005108033A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 運転者状況判定装置および運転者状況判定方法
JP2007257321A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 顔部位追跡方法及びその装置
JP2008152424A (ja) * 2006-12-15 2008-07-03 Alpine Electronics Inc 画像表示装置
JP2009116693A (ja) * 2007-11-07 2009-05-28 Toyota Motor Corp 車線逸脱防止制御装置
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP2009223916A (ja) * 2009-07-06 2009-10-01 Secom Co Ltd インターホン装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3584746A1 (en) 2018-06-20 2019-12-25 Yazaki Corporation Vehicle occupant count monitoring system
US11256936B2 (en) 2018-06-20 2022-02-22 Yazaki Corporation Vehicle occupant count monitoring system

Also Published As

Publication number Publication date
US20140375808A1 (en) 2014-12-25
TW201500246A (zh) 2015-01-01
TWI532620B (zh) 2016-05-11
CN104239889A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
JP2015007953A (ja) 車両乗車人数の監視装置及び車両乗車人数の監視方法並びにコンピュータ可読記憶媒体
US11606516B2 (en) Image processing device, image processing method, and image processing system
US10318782B2 (en) Image processing device, image processing system, and image processing method
US11315026B2 (en) Systems and methods for classifying driver behavior
US9662977B2 (en) Driver state monitoring system
JP5471310B2 (ja) 運転解析システム
KR101687073B1 (ko) 터널 높이 추정 장치 및 터널 높이 추정 방법
JP6743732B2 (ja) 画像記録システム、画像記録方法、画像記録プログラム
CN112172663A (zh) 一种基于开车门的危险报警方法及相关设备
US11810327B1 (en) Systems and methods for calibrating distance estimation in image analysis
JP2007188417A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP2013057992A (ja) 車間距離算出装置およびそれを用いた車両制御システム
TW201539378A (zh) 物件偵測系統
CN112249007A (zh) 一种车辆危险报警方法及相关设备
EP3082069A1 (en) Stereoscopic object detection device and stereoscopic object detection method
JP5809980B2 (ja) 車両挙動解析装置及び車両挙動解析プログラム
US20160191886A1 (en) Data reproducing apparatus
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
KR101374653B1 (ko) 차량의 움직임을 검출하는 장치 및 방법
CN113076851B (zh) 一种车辆违章数据的采集方法、装置以及计算机设备
US10916018B2 (en) Camera motion estimation device, camera motion estimation method, and computer program product
EP3380368B1 (en) Object detection system and method thereof
JP7269694B2 (ja) 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
JP6773854B2 (ja) 検出装置、検出方法、および検出プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151104