JP6052062B2 - 人物探索システム - Google Patents

人物探索システム Download PDF

Info

Publication number
JP6052062B2
JP6052062B2 JP2013112816A JP2013112816A JP6052062B2 JP 6052062 B2 JP6052062 B2 JP 6052062B2 JP 2013112816 A JP2013112816 A JP 2013112816A JP 2013112816 A JP2013112816 A JP 2013112816A JP 6052062 B2 JP6052062 B2 JP 6052062B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
face image
image information
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013112816A
Other languages
English (en)
Other versions
JP2014232421A5 (ja
JP2014232421A (ja
Inventor
卓矢 辰己
卓矢 辰己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013112816A priority Critical patent/JP6052062B2/ja
Priority to PCT/JP2014/002639 priority patent/WO2014192248A1/ja
Publication of JP2014232421A publication Critical patent/JP2014232421A/ja
Publication of JP2014232421A5 publication Critical patent/JP2014232421A5/ja
Application granted granted Critical
Publication of JP6052062B2 publication Critical patent/JP6052062B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Alarm Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車載カメラで撮影された運転者の顔画像を利用した人物探索システムに関する。
近年では、多くの車両に運転者の顔画像を撮影するカメラ(車載カメラ)が搭載されている。この車載カメラは、人間にとっては不可視な近赤外光を用いて撮影することにより、運転者が眩しく感じる虞を抑制しつつ、鮮明な顔画像を撮影することが可能である。そこで、このような車載カメラの特徴を利用して、様々な技術が提案されている。
たとえば、運転者の顔画像から運転者の眠気度や脇見運転を検出して、必要に応じて警告音を出力する技術が提案されている(特許文献1)。あるいは、運転者は故障の発生前にその兆候を感じ取ることに着目して、運転者の表情の僅かな変化から、車両が故障する前に故障の兆候を検出する技術(特許文献2)や、運転者の顔画像が登録した顔画像と一致するか否かを判断することによって車両の盗難を防止する技術(特許文献3)が提案されている。
特開2012−84068号公報 特開2011−79350号公報 特開2006−306191号公報
しかし、車載カメラは、単に鮮明な顔画像が得られるという特徴だけでなく、どのような車両であっても、同じような条件で、しかも、運転者の正面方向から顔画像が得られるという大きな特徴も有しており、上記の提案されている何れの技術においても、この特徴を十分に活用しているとは言い難いという課題があった。
この発明は、上述した課題に鑑みてなされたものであり、どのような車両であっても、鮮明で均質な顔画像が得られるという車載カメラの特徴を有効に活用した人物探索システムを提供する。
上述した課題を解決するために、本発明の人物探索システムおよび人物探索方法は、ハンドルの操舵角が車両の直進方向を含む所定範囲内である場合に、運転席の前方に設けられた車載カメラで、車両の走行中に運転者の顔画像を撮影する。そして運転者の顔画像から運転者顔画像情報を生成し、該運転者顔画像情報および車両の位置情報をデータベースへ送信する。データベースは、探索対象者の顔画像に基づく探索者顔画像情報を予め記憶しており、該探索者顔画像情報に運転者顔画像情報が一致したら、探索対象者に対応付けて車両から送信された車両の位置情報を記憶する。
車載カメラは、運転席の前方で、しかも運転席の比較的近距離(例えば1メートル)に設けられているので、運転者の鮮明な顔画像を得ることができ、精度の良い運転者顔画像情報を得ることができる。また、車載カメラは、どのような車両であっても、同じような角度で、且つ、同じような距離で運転者の顔画像を撮影するので、均質な運転者顔画像情報を得ることができる。しかも、ハンドルの操舵角が所定範囲内であって車両の進行方向が直進に近い状態にあると考えられるときは、運転者は前方を見ながら運転している可能性が高い。このため、このような時に顔画像を撮影して運転者顔画像情報を生成すれば、高い確率で運転者の正面からの鮮明な顔画像を撮影して、運転者顔画像情報を生成することができる。そして、データベースは、このように精度が良く、しかも均質な顔画像情報を探索者顔画像情報と照合するので、容易に且つ高い精度で探索対象者を見つけ出すことができる。また、車両は運転者顔画像情報だけでなく位置情報も(同時にまたは別々に)データベースに送信するので、該探索対象者を見つけ出した場合は該探索対象者の位置を特定することができる。
また、上述した本発明の人物探索システムにおいては、車両の走行が開始されると運転者顔画像情報を生成することとしてもよい。
車両の走行が開始される場合は、車両を一旦停止させて運転者が交代した後に該車両の走行が開始された可能性がある。このように、運転者が交代した可能性がある場合に運転者画像情報を生成するので、運転者が交代したタイミングを逃さずに、この交代後の運転者が探索対象者であるか否かを判断することが可能となる。
また、上述した本発明の人物探索システムにおいては、新たに生成された運転者顔画像情報と該運転者顔画像情報より前に生成された運転者顔画像情報とが異なる場合に、新たに生成された運転者顔画像情報をデータベースに送信することとしてもよい。
新たに生成された運転者顔画像情報と、それより前に生成された運転者顔画像情報が異なるのは、運転者が交代した場合である。このように運転者が交代した場合に運転者画像情報をデータベースに送信するので、運転者が交代したタイミングでこの交代後の運転者が探索対象者であるか否かを判断することが可能となる。
本実施例の人物探索システム1の構成を示す説明図である。 本実施例の制御部111が実行する運転者情報送信処理のフローチャートである。 本実施例のデータベース20が実行する探索対象者検出処理のフローチャートである。 本実施例のデータベース20の記憶内容を概念的に示す説明図である。 変形例1の制御部111が実行する運転者情報送信処理のフローチャートである。 変形例2の制御部111が実行する運転者情報送信処理のフローチャートである。 変形例2のデータベース20が実行する探索対象者検出処理のフローチャートである。 変形例3の制御部111が実行する運転者情報送信処理のフローチャートである。
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
A.装置構成 :
図1には、本実施例の人物探索システム1の構成が示されている。図示されるように、本実施例の人物探索システム1は、車両10に搭載されて運転者の顔画像を撮影する車載カメラ100や、運転者の顔画像から顔の特徴量を生成する処理などを行う制御装置110、車両10とは別の場所に設けられ、探索対象者に関する情報を登録するデータベース20などから構成されている。
車載カメラ100は、インストルメントパネル上部であって、運転席の前方および運転席から所定距離程度(例えば1メートル程度)に設けられており、人間には不可視な近赤外光を照射して、反射した光を検知することによって運転者の顔画像を撮影する。制御装置110は、図示されるように、制御部111と、特徴量生成部112と、位置情報取得部113と、通信部114と、記憶部115とを備えている。
このうち、制御部111は、車両10が備える車速センサー120で検出された車両10の状態(停止/走行)に基づいて、顔画像を要求する要求信号を車載カメラ100へ出力する。特徴量生成部112は、車載カメラ100で撮影された顔画像を受け取ると、その顔画像から顔の特徴量(目、鼻、口などの形状や大きさなど)を生成して、制御部111に出力する。
また、位置情報取得部113は、GPS装置130がGPS衛星(図示省略)から受信したGPS信号に基づいて、車両10の位置情報を取得して、制御部111に出力する。通信部114は、制御部111から特徴量や位置情報を受け取り、これらの情報を、所定の無線通信回線で接続されたデータベース20へ送信する。また、記憶部115には、車両10の車両番号(車両10を識別可能な情報)が記憶されており、この車両番号も特徴量や位置情報とともにデータベース20へ送信される。
一方、データベース20には、指名手配中の犯罪者や、捜索願が出された行方不明者等の居場所を探索する必要のある人物(探索対象者)の顔画像や、その顔画像から得られた特徴量が予め登録されている。そして、データベース20は、車両10から運転者の特徴量を受信すると、その特徴量を、データベース20に登録されている探索対象者の特徴量と照合することで、車両10の運転者が探索対象者に該当するか否かを判断する。
B.運転者情報送信処理 :
図2には、本実施例の制御部111が実行する運転者情報送信処理のフローチャートが示されている。制御部111は、車両10のエンジンが起動されると運転者情報送信処理を開始し、車両10が走行を開始したか否かを判断する(S100)。車両10が走行を開始したか否かは、車速センサー120で検出された速度がゼロでないことを制御部111が検出することで判断する。この結果、車両10が走行を開始していなければ(S100:no)、この判断処理を繰り返し、車両10が走行を開始するまで待機状態となる。
そして、車両10が走行を開始したら(S100:yes)、制御部111は、顔画像を要求する要求信号を車載カメラ100へ出力して、車載カメラ100に運転者の顔画像を撮影させる(S102)。車載カメラ100は、人間には不可視な近赤外光を用いて撮影することにより、運転者が眩しく感じる虞を抑制しつつ、夜間であっても鮮明な顔画像を撮影することができる。
そして、車載カメラ100で撮影された顔画像は、特徴量生成部112に出力され、特徴量生成部112では、その顔画像から顔の特徴量を生成する(S104)。尚、特徴量を生成する際には、いわゆる顔認識を行うときに用いられる周知の方法を利用することができる。たとえば、撮影された顔画像から目尻や目頭などの顔のパーツの特徴点を抽出し、それらの特徴点に基づいて、顔のパーツ(目や鼻、口など)の形状、大きさなどの特徴量を生成する。
こうして運転者の顔の特徴量を生成したら(S104)、制御部111は、記憶部115から車両10の車両番号を読み出し、生成した特徴量とともに通信部114からデータベース20へ送信する(S106)。車両番号は車両10に固有の情報であることから、特徴量および車両番号を受信したデータベース20は、この特徴量を有する運転者が搭乗している車両10を識別することが可能となる。
続いて、制御部111は、特徴量および車両番号を送信してから第1所定時間(例えば15秒)以内に、データベース20から一致信号を受信したか否かを判断する(S108)。ここで、詳しくは後述するが、データベース20は、車両10から特徴量を受信すると、その特徴量を有する探索対象者が存在するか否か、すなわち、車両10の運転者が探索対象者であるか否かを判断する。この結果、車両10の運転者が探索対象者であると判断された場合(受信した特徴量が探索対象者に一致した場合)、データベース20は、その旨を示す一致信号を車両10へ送信する。そこで、上述のS108の処理では、車両10の制御部111は、特徴量および車両番号を送信してから第1所定時間以内に、通信部114が一致信号を受信したか否かを判断する(S108)。
この結果、通信部114が一致信号を受信した場合(S108:yes)、すなわち、データベース20によって運転者が探索対象者であると判断された場合は、位置情報取得部113が、運転者の居場所である車両10の位置情報をGPS装置130から取得する(S110)。続いて、制御部111は、この位置情報とともに車両10の車両番号を、通信部114からデータベース20へ送信する(S112)。すなわち、S110およびS112の処理を行うことで、探索対象者が運転している車両10の位置情報および車両番号をデータベース20に送信する。そして、これらの情報を送信する処理は、第2所定時間(例えば10秒)が経過する度に繰り返される(S114)。このため、探索対象者が運転している車両10の位置が移動しても、データベース20は探索対象者の最新の位置を取得することができる。
これに対して、S108の処理で、特徴量および車両番号を送信してから第1所定時間以内に一致信号を受信していないと判断された場合は(S108:no)、車両10の運転者は探索対象者ではないと(車両10から送信された特徴量が探索対象者に一致しないと)データベース20が判断したものと考えられる。この場合は、先頭のS100の処理に戻って、再度、車両10が走行を開始したら、S102以降の一連の処理を繰り返す。
ここで、車両10の運転者は、エンジンを起動した状態のまま別の者へ運転を交代することもあり、交代時は車両10を一旦停止させるものと考えられる。このため、上述したように、車両10が(停止した状態から)走行を開始したら(S100:yes)、S102以降の一連の処理を繰り返すこととしておけば、車両10のエンジンが起動された状態のまま運転者が交代することがあっても、その交代後の運転者について探索対象者であるか否かを判断することができる。
以上に説明したように、本実施例の車両10は、特徴量を送信した後に一致信号を受信した場合は、該特徴量を有する運転者は探索対象者であるので、該運転者(探索対象者)を追跡すべく、車両10の位置情報および車両番号をデータベース20へ定期的に送信する。
C.探索対象者検出処理 :
図3には、データベース20が実行する探索対象者検出処理のフローチャートが示されている。データベース20は、車両10から送信されてきた各種情報に応じて、次のような処理を行うことで、車両10の運転者が探索対象者であるか否かを判断するとともに、該運転者が探索対象者である場合はその位置を検出する。
データベース20は、探索対象者検出処理を開始すると、先ず始めに、特徴量および車両番号を車両10から受信したか否かを判断する(S200)。図2を用いて前述したように、特徴量および車両番号が車両10から送信されるのは、車両10が走行を開始した場合である。
S200の判断処理の結果、特徴量および車両番号を受信していなければ(S200:no)、今度は、位置情報および車両番号を車両10から受信したか否かを判断する(S202)。図2を用いて前述したように、位置情報および車両番号が車両10から送信されるのは、車両10の運転者が探索対象者であるとデータベース21で判断された場合(一致信号を受信した後)であり、これら位置情報および車両番号情報は、探索対象者が運転する車両10を追跡するために、繰り返し車両10から送信される。
S202の判断処理の結果、位置情報および車両番号を受信していなければ(S202:no)、そのまま先頭のS200処理に戻る。
これに対して、車両10から特徴量および車両番号を受信した場合は(S200:yes)、受信した特徴量を、データベース20に登録されている探索対象者の特徴量と照合する(S204)。
図4には、データベース20が記憶している情報が概念的に示されている。図示されるように、データベース20には、探索対象者と、その探索対象者の顔画像のファイル名(顔画像ファイル)と、顔画像から抽出した特徴量とが、予め登録されている。また、各探索対象者に対応付けて、車両番号および位置情報を記憶することが可能である。
データベース20は、S204の処理で、車両10から受信した特徴量と、予め登録されている探索対象者の特徴量とを照合する。その結果、車両10から受信した特徴量が何れかの探索対象者の特徴量に一致している場合は(S206:yes)、該一致した探索対象者に対応付けて車両番号を記憶する(S208)。これにより、探索対象者が運転する車両10の車両番号が記憶される。図4に示す例では、車両10から受信した特徴量と探索対象者「C」の特徴量とが一致したことにより、探索対象者「C」に対応付けて車両10の車両番号「nnnnn」が記憶されている。
続いて、データベース20は、車両10の運転者が探索対象者であることを示す一致信号を車両10へ送信する(S210)。こうして一致信号を送信したら、データベース20は、先頭のS200の処理に戻って上述した一連の処理を繰り返す。尚、S206の判断処理で、車両10の運転者が探索対象者ではないと判断された場合も(S206:no)、そのまま先頭のS200の処理に戻って、上述した一連の処理を繰り返す。
ここで、データベース20から一致信号を受信した車両10、すなわち、探索対象者が運転していると判断された車両10は、前述したように位置情報および車両番号をデータベース20へ送信する(図2のS112参照)。そこで、データベース20は、この位置情報および車両番号を受信すると(S202:yes)、該車両番号が既に上述したS208の処理で記憶されている探索対象者を特定して、該探索対象者に対応付けて位置情報を記憶する(S212)。これにより、探索対象者(が運転する車両10)の位置情報が記憶される。図4に示す例では、探索対象者「C」の車両番号を受信したことにより、探索対象者「C」に対応付けて位置情報「La,Lo」が記憶されている。
尚、図2を用いて前述したように、位置情報および車両番号は、第2所定時間毎に車両10からデータベース20へ送信されることから(図2のS114参照)、データベース20に記憶される位置情報も第2所定時間毎に更新される。
こうして、探索対象者の位置情報を記憶したら(S212)、該位置情報および車両番号を探索対象者の識別情報(氏名等)と併せて、探索を行う者(探索担当者)に報知する(S214)。尚、探索担当者としては、探索対象者が犯罪者や行方不明者などの場合、これらの人物を探索する警察署(関係機関)の係員などを例示することができる。もちろん、探索担当者は、車両10の位置情報や車両番号を手がかりに探索対象者を見つけ出すこととなる。
以上に説明したように、本実施例の人物探索システム1では、運転席の前方および運転席から所定距離以内に設けられた車載カメラ100で車両10の走行中に運転者の前方から顔画像を撮影して、その顔画像から生成された特徴量をデータベース20へ送信する。データベース20は、探索対象者の特徴量を予め記憶しており、該探索対象者の特徴量に車両10から送信された運転者の特徴量が一致したら、その車両10の運転者が探索対象者であると判断し、該車両10から送信された位置情報を探索対象者の位置情報として記憶する。
このような人物を探索するシステムでは、従来であれば、様々な条件で撮影された顔画像が利用されており、例えば、横方向から撮影された顔画像や、遠方から撮影された顔画像が利用されていた。このような様々な条件下で撮影された顔画像は、その特徴量を探索対象者の特徴量と照合するに際して負担の大きい補正処理を施す必要があったり、正確な特徴量を抽出することができなかったりするため、探索対象者を見つけ出すことが困難であった。
これに対して、本実施例の人物探索システム1では、車載カメラ100が運転席の前方および運転席から所定距離程度(例えば1メートル程度)に設けられているので、運転者の正面を近くから撮影した鮮明な顔画像を得ることができる。
また、ほとんどの車両において、車載カメラ100は運転席の前方で、しかも運転席から近距離に設けられているので、これらの車両同士で、顔画像の撮影条件を近似させることができ、均質な顔画像を得ることができる。そして、このように鮮明で均質な顔画像から特徴量を生成して、該特徴量を探索対象者の特徴量と照合するので、容易に且つ高い精度で探索対象者を見つけ出すことができる。また、探索対象者が見つかった場合は、該探索対象者が運転する車両10は該車両10の位置情報をデータベース20に送信するので、該探索対象者の位置を特定することができる。
尚、本実施例の制御部111および特徴量生成部112は、車両10の走行が開始されると、車載カメラ100で運転者の顔画像を撮影することによって運転者の特徴量(運転者顔画像情報)を生成する。従って、本実施例の制御部111および特徴量生成部112は本発明における「生成手段」に対応している。また、本実施例の位置情報取得部113は、車両10の位置情報を取得することから、本発明における「位置情報取得手段」に対応している。また、本実施例の通信部114は、運転者の特徴量(運転者顔画像情報)および位置情報をデータベースに送信することから、本発明における「送信手段」に対応している。
また、本実施例のデータベースは、探索対象者の顔画像に基づく特徴量(探索者顔画像情報)を記憶する。また、車両10の通信部114(送信手段)によって送信された運転者の特徴量(運転者顔画像情報)を探索対象者の特徴量(探索者顔画像情報)と照合する。また、照合の結果、運転者の特徴量(運転者顔画像情報)が探索対象者の特徴量(探索者顔画像情報)に一致したら、探索対象者に対応付けて車両10の通信部114(送信手段)によって送信された位置情報を記憶する。従って、本実施例のデータベースは、本発明における「探索対象者記憶手段」,「照合手段」,「位置情報記憶手段」に対応している。
また、上述した実施例では、車両10の通信部114から、運転者の特徴量が送信されるものとして説明したが、特徴量ではなく、運転者の顔画像を送信することとしてもよい。そして、データベース20は、受信した顔画像から特徴量を生成し、その特徴量を、探索対象者の特徴量と照合することとしてもよい。こうすれば、車両10の制御装置110は、特徴量を生成する処理が不要になるため、制御装置110の処理負荷を軽減することができる。
D.変形例
上述した実施例の人物探索システム1には、幾つかの変形例が存在する。以下では、これらの変形例について実施例との相違点に焦点を当てて説明する。尚、以下に説明する変形例においては、上述した実施例と同様な構成については同じ符号を付すこととして、詳細な説明は省略する。
D−1.変形例1 :
上述した実施例では、車両10が一致信号を受信するまでは(データベース20で、車両10の運転者が探索対象者であると判断されるまでは)、車両10が走行を開始するたびに、運転者が交代した可能性があるので、運転者の特徴量をデータベース20へ送信するものとして説明した。
もっとも、車両10は、信号機や標識に基づき一旦停止する場合等のように、運転者が交代しないまま走行を開始する場合も多い。従って、車両10で運転者が交代したか否かを判断し、運転者が交代したと判断した場合に、運転者の特徴量をデータベース20に送信することとしてもよい。
図5には、変形例1の運転者情報送信処理のフローチャートが示されている。変形例1の運転者情報送信処理を開始すると、制御部111は、実施例と同様に、エンジンが起動されたら運転者情報送信処理を開始して、車速センサー120が検出した車速に基づき、車両10が走行を開始したか否かを判断する(S300)。そして、車両10が走行を開始したら(S300:yes)、車載カメラ100で運転者の顔画像を撮影し(S302)、特徴量生成部112にその顔画像から特徴量を生成させる(S304)。
続いて、変形例1の運転者情報送信処理では、運転者の顔画像から生成した特徴量を、記憶部115の所定アドレスに記憶する(S306)。そして、制御部111は、今回生成された特徴量が、以前に生成された特徴量と一致するか否かを判断する(S308)。すなわち、本変形例1においても、上述した実施例と同様に、一致信号を受信するまでは、運転者の顔画像を撮影して該顔画像から特徴量を生成する。
そこで、S308の処理では、直前に生成された特徴量(直前に撮影された顔画像から生成された特徴量)を記憶部115から読み出し、そのような特徴量と、今回新たに生成された特徴量とが一致するか否かを判断する(S308)。
この結果、今回生成された特徴量が、直前に生成された特徴量と一致しないと判断された場合は(S308:no)、今回生成された特徴量を有する運転者は、直前に生成された特徴量を有する運転者とは別であるから、運転者が交代したもの判断できる。従って、この場合は、制御部111は、今回生成された特徴量を車両10の車両番号とともに通信部114からデータベース20へ送信する(S310)。これにより、運転者の交代のタイミングで、交代後の運転者が探索対象者であるか否かを判断することができる。
また、運転者が交代したと判断されていない場合は、特徴量および車両番号をデータベース20へ送信しないので、車両10からデータベース20に送信される情報量を抑制することができる。
こうして特徴量をデータベース20へ送信した(S310)後は、上述した実施例と同様に、特徴量および車両番号を送信してから第1所定時間以内に一致信号を受信したか否かを判断し(S312)、第1所定時間以内に一致信号を受信していれば(S312:yes)、車両10の運転者が探索対象者であるとデータベース20によって判断されたことから、車両10の位置情報を取得し、その位置情報および車両番号をデータベース20へ送信する処理を、第2所定時間が経過する度に繰り返す(S314〜S318)。
ここで、制御部111は、エンジンが起動(あるいは停止)されると、記憶部115に記憶されている特徴量を初期化(クリア)する。したがって、今回生成された特徴量が、エンジンが起動されてから最初に撮影された顔画像から生成されたものである場合、上述したS308の判断処理において、比較できる特徴量(直前に生成された特徴量)が存在しない。この場合、当然ながら、今回生成された特徴量(エンジンが起動されてから最初に生成された特徴量)は、車両番号とともにデータベース20へ送信される(S310)。
尚、変形例1の通信部114は、新たに生成された運転者の特徴量(運転者顔画像情報)と該特徴量(該運転者顔画像情報)より前に生成された運転者の特徴量(運転者顔画像情報)とが異なる場合に、新たに生成された運転者の特徴量(運転者顔画像情報)をデータベース20に送信する。従って、変形例1の通信部114は、本発明における「通信手段」に対応している。
D−2.変形例2 :
上述した実施例では、データベース20に予め登録されている探索対象者を探索するものとして説明した。これに対して、データベース20に予め登録されていなくても、交通違反等によって、車両10の運転者を探索する必要性が生じた場合に、該運転者を探索することとしてもよい。
図6には、変形例2の運転者情報送信処理のフローチャートが示されている。変形例2の運転者情報送信処理を開始すると、制御部111は、車両10の車速が法定速度を超えているか否かを判断する(S400)。車両10が法定速度を超えているか否かは、車速センサー120で検出された速度が、記憶部115に記憶されている法定速度を超えたことを制御部111が検出することで判断する。この結果、法定速度を超えていなければ(S400:no)、この判断処理を繰り返す。
これに対して、車両10の車速が法定速度を超えている(速度違反の)場合は(S400:yes)、該車両10の運転者の探索を開始すべく、次の処理を行う。まず、制御部111は、顔画像を要求する要求信号を車載カメラ100へ出力して、車載カメラ100に運転者の顔画像を撮影させる(S402)。
そして、変形例2の特徴量生成部112は、車載カメラ100から顔画像を受け取ると、そのまま該顔画像(運転者顔画像情報)を制御部111へ出力する。この顔画像は、後述するように、速度違反を行った車両10の運転者を見つけ出す際の手がかりとなる。
続いて、位置情報取得部113に、GPS装置130から車両10の位置情報を取得させる(S404)。そして、運転者の顔画像を、車両10の位置情報および車両番号とともに、通信部114からデータベース20へ送信する(S406)。
以上に説明したように、変形例2では、車両10の車速が法定速度を超えている(速度違反の)場合に、該車両10の運転者の顔画像がデータベース20へ送信される。データベース20は、車両10の運転者の顔画像を受信すると、その運転者が予め登録(記憶)されているか否かに拘らず、その運転者を探索するための処理を行う。
図7には、変形例2の探索対象者検出処理のフローチャートが示されている。変形例2の探索対象者検出処理を開始すると、データベース20は、顔画像,位置情報,車両番号を受信したか否かを判断する(S500)。この結果、これらの情報を受信していなければ(S500:no)、この判断処理を繰り返し、受信するまで待機状態となる。
これに対して、これらの情報を受信した場合は(S500:yes)、受信した顔画像から顔の特徴量を生成する(S502)。そして、生成された特徴量を、予め登録(記憶)された探索対象者の特徴量と照合する(S504)。この結果、生成された特徴量が探索対象者の特徴量と一致した場合、すなわち、車両10の運転者が予め登録(記憶)された探索対象者であると判断された場合(S506:yes)、警察署等の関係機関へ、予めデータベース20に登録されている探索対象者に関する情報(関連情報)と、位置情報,車両番号を報知する(S508)。探索を行う関係機関の係員は、これらの情報を手がかりにして、車両10の運転者を見つけ出すことができる。
これに対して、S506の判断処理で、車両10の運転者が探索対象者ではないと判断された場合(S506:no)、車両10から受信した顔画像を、位置情報および車両番号とともに警察署等の関係機関へ報知する(S510)。これにより、車両10の運転者がデータベース20に予め登録された探索対象者でなくても、探索を行う関係機関の係員は、車両10からデータベース20が受信した顔画像,位置情報,車両番号を手がかりにして、車両10の運転者を見つけ出すことができる。
尚、上述した変形例2では、運転者が探索する必要のある者と判断される条件として、運転者が交通違反を行った場合を例にして説明した。しかし、このような場合に限られるものではなく、たとえば、運転者が車両10を盗んで運転しているときなど、犯罪を行っている者(犯罪者)であると判断された場合に、その運転者を探索することとしてもよい。
ここで、車両10の運転者が犯罪者であるか否かは、次のようにして判断してもよい。予め、車両10の持ち主や、持ち主の家族などの顔画像から生成した特徴量を記憶部115に記憶させておく。そして、制御部111は、車両10が走行を開始したと判断したら、車載カメラ100に運転者の顔画像を撮影させる。続いて、その運転者の顔画像から特徴量を生成して、生成された特徴量(運転者の特徴量)と、記憶部115に記憶されている候補者の特徴量とが一致するか否かを判断する。
この結果、運転者の特徴量が候補者の特徴量と一致した場合、その運転者は正規の運転者(候補者)であると考えられる。これに対して、運転者の特徴量が候補者の特徴量と一致しない場合、その運転者は正規の運転者(候補者)ではない者(不審者)と考えることができる。この場合は、制御部111は、上述のS406の処理と同様に、車載カメラ100で撮影された運転者の顔画像を、車両10の位置情報および車両番号とともに通信部114からデータベース20へ送信する。このようにすることで、運転者が正規の運転者でない場合に、探索を行う関係機関の係員は、車両10からデータベース20が受信した顔画像,位置情報,車両番号を手がかりにして、車両10の運転者を見つけ出すことができる。
D−3.変形例3 :
上述した実施例では、運転者の顔画像を撮影する処理は、車両10の走行中に行うものとして説明した。これに限らず、運転者の顔画像を撮影する処理は、車両10の走行中であって、ハンドルの操舵角が所定範囲内であるときに行うこととしてもよい。
図8には、変形例3の運転者情報送信処理のフローチャートが示されている。変形例3においても制御部111が、車速センサー120で検出された速度に基づいて、車両10が走行を開始したか否かを判断する(S600)。この結果、車両10が走行を開始していなければ(S600:no)、この判断処理を繰り返し、車両10が走行を開始するまで待機状態となる。
そして、車両10が走行を開始したら(S600:yes)、制御部111は、ハンドルの操舵角が車両10の直進方向を含む所定範囲内(例えば、車両10の直進方向を0度として−10度〜+10度の範囲内)であるか否かを判断する(S602)。ハンドルの操舵角は、車両10が備える操舵角センサー(図示省略)によって検出されて、制御部111に出力される。
その結果、ハンドルの操舵角が所定範囲内である場合は(S602:yes)、顔画像を要求する要求信号を車載カメラ100へ出力して、車載カメラ100に運転者の顔画像を撮影させる(S604)。そして、特徴量生成部112に、撮影した顔画像から特徴量を生成させる(S606)。
ここで、車両10の進行方向が直進に近い状態であれば、運転者は前方を見ながら運転している可能性が高い。そこで、変形例3では、ハンドルの操舵角が所定範囲内であることで車両の進行方向が直進に近い状態にあるときに、顔画像を撮影して特徴量を生成する。こうすれば、高い確率で運転者の正面からの鮮明な顔画像を撮影して、特徴量を生成することが可能となる。
この後は、図2を用いて前述したS106の処理(特徴量および車両番号をデータベース20へ送信する処理)に移って、上述した実施例の場合と同様に、それ以降の一連の処理を実行する。
これに対して、S602の判断処理で、ハンドルの操舵角が所定範囲内ではないと判断された場合は(S602:no)、ハンドルが左右の何れかへ大きく切られているために、運転者は左右の何れかの方向を見ながら運転している可能性が高い。この場合は、車速センサー120が検出した車速に基づいて、車両10が走行中であるか否かを判断する(S608)。
この結果、車両10が走行中であると判断されたら(S608:yes)、再度、上述したS602の処理に戻り、ハンドルの操舵角が所定の範囲内であるか否かを判断する(S602)。こうすることで、いずれ、車両10の走行中にハンドルの操舵角が所定範囲内となったら(車両10が直進に近い状態となったら)、運転者の顔画像を撮影する(S604)。
尚、S608の判断処理で、車両10が走行中ではないと判断された場合(S608:no)、すなわち、車両10が直進に近い状態にならないまま走行を停止した場合は、先頭のS600の処理に戻って、再度、車両10が走行を開始したら(S600:yes)、S602以降の上述した処理を繰り返す。
尚、変形例3の操舵角センサーは、車両10のハンドルの操舵角を検出することから、本発明における「操舵角検出手段」に対応している。また、変形例3の制御部111および特徴量生成部112は、操舵角が車両10の直進方向を含む所定範囲内である場合に、運転者の特徴量(運転者顔画像情報)を生成する。従って、変形例3の制御部111および特徴量生成部112は、本発明における「生成手段」に対応している。
以上、実施例および変形例の人物探索システムについて説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
1…人物探索システム、 20…データベース、 10…車両、
110…制御装置、 111…制御部、 112…特徴量生成部、
113…位置情報取得部、114…通信部、 115…記憶部、
120…車速センサー、 130…GPS装置。

Claims (4)

  1. 車両と、前記車両と所定の通信回線を介して接続されたデータベースとを備えた人物探索システムであって、
    前記車両は、
    運転席の前方に設けられた車載カメラと、
    前記車両のハンドルの操舵角を検出する操舵角検出手段と、
    前記操舵角が前記車両の直進方向を含む所定範囲内である場合に、前記車載カメラで運転者の顔画像を撮影することによって運転者顔画像情報を生成する生成手段と、
    前記車両の位置情報を取得する位置情報取得手段と、
    前記運転者顔画像情報および前記位置情報を前記データベースへ送信する送信手段と
    を備え、
    前記データベースは、
    探索対象者の顔画像に基づく探索者顔画像情報を記憶する探索対象者記憶手段と、
    前記送信手段によって送信された前記運転者顔画像情報を前記探索者顔画像情報と照合する照合手段と、
    前記照合手段による照合の結果、前記運転者顔画像情報が前記探索者顔画像情報に一致したら、前記探索対象者に対応付けて前記送信手段によって送信された前記位置情報を記憶する位置情報記憶手段と
    を備える人物探索システム。
  2. 請求項1に記載の人物探索システムであって、
    前記生成手段は、前記車両の走行が開始されると前記運転者顔画像情報を生成する手段である人物探索システム。
  3. 請求項1または請求項2に記載の人物探索システムであって、
    前記送信手段は、新たに生成された前記運転者顔画像情報と該運転者顔画像情報より前に生成された前記運転者顔画像情報とが異なる場合に、前記新たに生成された運転者顔画像情報を前記データベースに送信する手段である人物探索システム。
  4. 車両と、前記車両と所定の通信回線を介して接続されたデータベースとを用いた人物探索方法であって、
    前記車両にて、ハンドルの操舵角を検出する工程と、
    前記操舵角が前記車両の直進方向を含む所定範囲内である場合に、前記車両にて、運転席の前方に設けられた車載カメラで運転者の顔画像を撮影することによって運転者顔画像情報を生成する工程と、
    前記車両にて、前記車両の位置情報を取得する工程と、
    前記運転者顔画像情報と前記位置情報とを前記車両から前記データベースへ送信する工程と、
    前記データベースにて、前記車両から送信された前記運転者顔画像情報を、探索対象者の顔画像に基づく探索者顔画像情報と照合する工程と、
    前記データベースにて、前記運転者顔画像情報が前記探索者顔画像情報に一致したら、前記探索者顔画像情報に対応付けて前記位置情報を記憶する工程と
    を備える人物探索方法。
JP2013112816A 2013-05-29 2013-05-29 人物探索システム Expired - Fee Related JP6052062B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013112816A JP6052062B2 (ja) 2013-05-29 2013-05-29 人物探索システム
PCT/JP2014/002639 WO2014192248A1 (ja) 2013-05-29 2014-05-20 人物探索システム、人物探索方法及び車載装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013112816A JP6052062B2 (ja) 2013-05-29 2013-05-29 人物探索システム

Publications (3)

Publication Number Publication Date
JP2014232421A JP2014232421A (ja) 2014-12-11
JP2014232421A5 JP2014232421A5 (ja) 2015-08-13
JP6052062B2 true JP6052062B2 (ja) 2016-12-27

Family

ID=51988301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013112816A Expired - Fee Related JP6052062B2 (ja) 2013-05-29 2013-05-29 人物探索システム

Country Status (2)

Country Link
JP (1) JP6052062B2 (ja)
WO (1) WO2014192248A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168057A1 (ja) * 2018-03-02 2019-09-06 日本電気株式会社 画像処理装置、画像処理方法、記憶媒体

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107466223B (zh) * 2015-04-09 2021-06-22 宝马股份公司 用于电子多功能装置的控制
WO2017002240A1 (ja) * 2015-07-01 2017-01-05 株式会社日立国際電気 監視システム、撮影側装置、及び照合側装置
CN106355675A (zh) * 2016-08-31 2017-01-25 重庆市朗信智能科技开发有限公司 一种obd隐藏式汽车行车记录设备
JP6402787B2 (ja) 2017-01-27 2018-10-10 日本電気株式会社 監視システム、監視センター装置、搭載装置、監視方法、処理方法、プログラム
US20220188394A1 (en) 2019-04-18 2022-06-16 Nec Corporation Person specifying device, person specifying method, and recording medium
CN110113540B (zh) * 2019-06-13 2021-06-04 广州小鹏汽车科技有限公司 一种车辆拍摄方法、装置、车辆和可读介质
CN110443213A (zh) * 2019-08-12 2019-11-12 北京比特大陆科技有限公司 面部检测方法、目标检测方法和装置
CN111078927A (zh) * 2019-12-19 2020-04-28 罗普特科技集团股份有限公司 基于家谱数据识别驾驶员身份的方法、装置、存储介质
JP2021119436A (ja) * 2020-01-30 2021-08-12 荘太郎 林 交通事故と逃げ得が急激に大幅に激減する自動車。
JP2022134915A (ja) * 2021-03-04 2022-09-15 株式会社Jvcケンウッド 検知機能制御装置、検知機能制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260483A (ja) * 2005-03-18 2006-09-28 Toshiba Corp 顔照合システム及び顔照合方法
JP2009059259A (ja) * 2007-09-03 2009-03-19 Masahiro Watanabe 車両運行管理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168057A1 (ja) * 2018-03-02 2019-09-06 日本電気株式会社 画像処理装置、画像処理方法、記憶媒体
JP2019153938A (ja) * 2018-03-02 2019-09-12 日本電気株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
WO2014192248A1 (ja) 2014-12-04
JP2014232421A (ja) 2014-12-11

Similar Documents

Publication Publication Date Title
JP6052062B2 (ja) 人物探索システム
US20150243111A1 (en) Driver log generation
US11587442B2 (en) System, program, and method for detecting information on a person from a video of an on-vehicle camera
JP6509361B2 (ja) 駐車支援装置及び駐車支援方法
WO2019148819A1 (zh) 辅助车辆行驶的方法及装置
CN110741424B (zh) 危险信息收集装置
JP2017198799A (ja) 情報収集システム
JP6048246B2 (ja) 車間距離計測装置及び車間距離計測方法
JP2009237897A (ja) 画像認識装置
US11782973B2 (en) System and method for sharing accident information of vehicle
CN111325088B (zh) 信息处理***、记录介质以及信息处理方法
JP2019067201A (ja) 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム
JP2002342883A (ja) 危険運転抑制装置
JP6288204B1 (ja) 車両用制限速度検出装置
JP2009159241A (ja) 駐車時停止支援システム
JP2004064409A (ja) 情報記録装置、情報記録方法及び情報記録用プログラム
JP7030000B2 (ja) 情報処理方法、情報処理システム、および、プログラム
JP6331232B2 (ja) 車両用制限速度検出装置
KR102309833B1 (ko) 자율 주행 차량에서 자율 주행 중 광고 제공 장치 및 그 방법
JP2020021107A (ja) 情報提供システム
JP7110254B2 (ja) 捜索システム
JP2019159924A (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
WO2024095450A1 (ja) 地図データ作成システム、プローブ情報生成装置及び地図データ作成方法
JP6288205B1 (ja) 車両用制限速度検出装置
CN116895058A (zh) 物体信息取得方法以及用于实现该方法的***

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161114

R151 Written notification of patent or utility model registration

Ref document number: 6052062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees