JP2020086659A - 情報処理システム、プログラム、及び情報処理方法 - Google Patents

情報処理システム、プログラム、及び情報処理方法 Download PDF

Info

Publication number
JP2020086659A
JP2020086659A JP2018216675A JP2018216675A JP2020086659A JP 2020086659 A JP2020086659 A JP 2020086659A JP 2018216675 A JP2018216675 A JP 2018216675A JP 2018216675 A JP2018216675 A JP 2018216675A JP 2020086659 A JP2020086659 A JP 2020086659A
Authority
JP
Japan
Prior art keywords
person
information
vehicle
time
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018216675A
Other languages
English (en)
Inventor
栄一 草間
Eiichi Kusama
栄一 草間
雅敏 林
Masatoshi Hayashi
雅敏 林
尚訓 光本
Naonori Mitsumoto
尚訓 光本
邦明 陣内
Kuniaki Jinnai
邦明 陣内
真 赤羽
Makoto Akahane
真 赤羽
友理子 山口
Yuriko Yamaguchi
友理子 山口
加藤 大介
Daisuke Kato
大介 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018216675A priority Critical patent/JP2020086659A/ja
Priority to US16/577,441 priority patent/US11315430B2/en
Priority to CN201910996315.9A priority patent/CN111199180A/zh
Publication of JP2020086659A publication Critical patent/JP2020086659A/ja
Priority to US17/665,920 priority patent/US11587442B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車載カメラの映像から人物に関する情報を検出する技術の利便性を向上させる。【解決手段】情報処理システム1は、複数の車両10とサーバ20とを備える。複数の車両10のそれぞれは、車外風景を撮像した映像を時刻と対応付けて生成し、映像と、映像が生成された時刻における自車両の位置情報と、をサーバ20へ送信する。サーバ20は、車両10から映像及び位置情報を受信すると、映像に映った人物の属性情報を映像から検出し、映像が生成された時刻における前記車両の位置情報に基づいて、当該時刻における人物の位置情報を検出する。サーバ20は、複数の車両10からそれぞれ受信した複数の映像のうち2つ以上の映像に映った同一の人物を特定し、特定された人物の属性情報と、当該人物の位置情報の時系列データを含む移動経路情報と、をクライアント40へ送信する。【選択図】図1

Description

本発明は、情報処理システム、プログラム、及び情報処理方法に関する。
従来、車載カメラの映像から被写体に関する情報を検出する技術が知られている。例えば、特許文献1には、車両に搭載されたカメラユニットから取得した車両の近傍画像の解析によって、道路の路上属性を認識する技術が開示されている。
特開2007−172495号公報
車載カメラの映像には、道路等の移動しない被写体に限られず、人物等の移動し得る被写体が映り込み得る。ここで、人々の移動経路(例えば、人物の位置情報の時系列データ)の検出及び分析は、例えば店舗の出店計画や移動式店舗の稼働計画等のマーケティング等、多様な分野において有用である。しかしながら、従来技術では、被写体である人物の移動経路を検出することはできない。このように、車載カメラの映像から人物に関する情報を検出する技術の利便性は、必ずしも高くない。
かかる事情に鑑みてなされた本発明の目的は、車載カメラの映像から人物に関する情報を検出する技術の利便性を向上させることにある。
本発明の一実施形態に係る情報処理システムは、
複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムであって、
前記複数の車両のそれぞれは、
車外風景を撮像した映像を時刻と対応付けて生成し、
前記映像と、前記映像が生成された時刻における自車両の位置情報と、を前記サーバへ送信し、
前記サーバは、
前記車両から前記映像及び位置情報を受信すると、
前記映像に映った人物の属性情報を前記映像から検出し、
前記映像が生成された時刻における前記車両の位置情報に基づいて、前記時刻における前記人物の位置情報を検出し、
前記複数の車両からそれぞれ受信した複数の前記映像のうち2つ以上の前記映像に映った同一の人物を特定し、
特定された前記人物の属性情報と、前記人物の位置情報の時系列データを含む移動経路情報と、をクライアントへ送信する。
本発明の一実施形態に係るプログラムは、
それぞれ車外風景を撮像した映像を時刻と対応付けて生成する複数の車両と通信可能な情報処理装置に、
前記車両から、前記映像と、前記映像が生成された時刻における前記車両の位置情報と、を受信すると、
前記映像に映った人物の属性情報を前記映像から検出するステップと、
前記映像が生成された時刻における前記車両の位置情報に基づいて、前記時刻における前記人物の位置情報を検出するステップと、
前記複数の車両からそれぞれ受信した複数の前記映像のうち2つ以上の前記映像に映った同一の人物を特定するステップと、
特定された前記人物の属性情報と、前記人物の位置情報の時系列データを含む移動経路情報と、をクライアントへ送信するステップと、を実行させる。
本発明の一実施形態に係る情報処理方法は、
複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
前記複数の車両のそれぞれが、
車外風景を撮像した映像を時刻と対応付けて生成し、
前記映像と、前記映像が生成された時刻における自車両の位置情報と、を前記サーバへ送信し、
前記サーバが、
前記車両から前記映像及び位置情報を受信すると、
前記映像に映った人物の属性情報を前記映像から検出し、
前記映像が生成された時刻における前記車両の位置情報に基づいて、前記時刻における前記人物の位置情報を検出し、
前記複数の車両からそれぞれ受信した複数の前記映像のうち2つ以上の前記映像に映った同一の人物を特定し、
特定された前記人物の属性情報と、前記人物の位置情報の時系列データを含む移動経路情報と、をクライアントへ送信する。
本発明の一実施形態に係る情報処理システム、プログラム、及び情報処理方法によれば、車載カメラの映像から人物に関する情報を検出する技術の利便性が向上する。
本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 時刻t=t1における車両と被写体との位置関係を示す図である。 時刻t=t2における車両と被写体との位置関係を示す図である。 車両の概略構成を示すブロック図である。 サーバの概略構成を示すブロック図である。 サーバに記憶される情報の例を示す図である。 車両の動作を示すフローチャートである。 サーバの第1動作を示すフローチャートである。 サーバの第2動作を示すフローチャートである。
以下、本発明の実施形態について説明する。
(情報処理システムの構成)
図1を参照して、本発明の一実施形態に係る情報処理システム1の概要について説明する。情報処理システム1は、複数の車両10と、サーバ20と、を備える。車両10は、例えば自動車であるが、これに限られず任意の車両であってもよい。図1では説明の簡便のため、車両10については2つのみを図示しているが、情報処理システム1は任意の数の車両10を備えてもよい。サーバ20は、1つ又は互いに通信可能な複数の情報処理装置(例えば、サーバ装置)を含む。車両10及びサーバ20は、例えば移動体通信網及びインターネット等を含むネットワーク30を介して通信可能である。また、サーバ20は、ネットワーク30を介してクライアント40と通信可能である。クライアント40は、例えばPC(Personal Computer)、サーバ装置、及びスマートフォン等であるが、任意の情報処理装置であってもよい。
まず、本実施形態の概要について説明し、詳細については後述する。車両10は、例えば車載カメラを備えており、車外風景を撮像した映像を生成する。本実施形態において「映像」は、静止画及び動画像を含んでもよい。当該映像には、例えば車両10の周辺に存在する歩行者等の人物が映り得る。サーバ20は、車両10の映像に映った人物の属性情報(例えば、年齢等)及び位置情報P(t)を検出する。また、サーバ20は、複数の車両10からそれぞれ受信した複数の映像のうち、2つ以上の映像に映った同一の人物を特定する。そして、サーバ20は、特定された当該人物の属性情報と、当該人物の位置情報P(t)の時系列データ(即ち、人物の移動経路)等を含む移動経路情報と、をクライアント40へ送信する。
ここで図2及び図3を参照して、人物41の位置情報P(t)の時系列データの生成手法について具体的に説明する。図2は、時刻t=t1における第1の車両10aと人物41の位置関係を示す。図2において一点鎖線で示される車載カメラの視野内に人物41が存在している。このため、時刻t=t1において第1の車両10aが生成した映像には、P(t1)に存在する人物41が映る。後述するように、サーバ20は、時刻t=t1における第1の車両10aの位置情報Qa(t1)等に基づいて、人物41の位置情報P(t1)を検出する。一方、図3は、時刻t=t2(ただし、t1<t2)における第2の車両10bと人物41の位置関係を示す。第2の車両10bは、例えば第1の車両10aの後続車両である。図3に示すように、時間がt1からt2まで経過する間に、人物41はP(t1)からP(t2)まで移動している。図3において一点鎖線で示される車載カメラの視野内に人物41が存在している。このため、時刻t=t2において第2の車両10bが生成した映像には、P(t2)に存在する人物41が映る。サーバ20は、時刻t=t2における第2の車両10bの位置情報Qb(t2)等に基づいて、人物41の位置情報P(t2)を検出する。したがって、複数の車両10によってそれぞれ生成された複数の映像のうち2つ以上の映像に同一の人物が映っている場合、当該人物の位置情報P(t)の時系列データP(t1)、P(t2)、…を生成可能である。
このように、本実施形態によれば、複数の車両10によってそれぞれ生成された複数の映像を用いることによって、2つ以上の映像に映った同一の人物の移動経路情報を検出可能である。そして、人物の属性情報及び移動経路情報が、情報処理システム1からクライアント40に提供される。クライアント40は、人々の移動経路を分析してマーケティング等の分野に役立てるために、情報処理システム1から提供される情報を利用可能である。したがって、車載カメラの映像から人物に関する情報を検出する技術の利便性が向上する。
次に、情報処理システム1の各構成について、詳細に説明する。
(車両の構成)
図4に示すように、車両10は、通信部11と、測位部12と、撮像部13と、記憶部14と、制御部15と、を備える。通信部11、測位部12、撮像部13、記憶部14、及び制御部15のそれぞれは、車両10に内蔵されてもよく、或いは車両10に着脱可能に設けられてもよい。通信部11、測位部12、撮像部13、記憶部14、及び制御部15は、例えばCAN(Controller Area Network)等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。
通信部11は、ネットワーク30に接続する通信モジュールを含む。当該通信モジュールは、例えば4G(4th Generation)及び5G(5th Generation)等の移動体通信規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。例えば、DCM(Data Communication Module)等の車載通信機が、通信部11として機能してもよい。本実施形態において、車両10は、通信部11を介してネットワーク30に接続される。
測位部12は、衛星測位システムに対応する受信機を含む。当該受信機は、例えばGPS(Global Positioning System)に対応するが、これに限られず、任意の衛星測位システムに対応してもよい。例えばカーナビゲーション装置が、測位部12として機能してもよい。本実施形態において、車両10は、測位部12を用いて自車両の位置情報を取得する。
撮像部13は、視野内の被写体を撮像した映像を生成する車載カメラを含む。当該車載カメラは、単眼カメラであってもよく、或いはステレオカメラであってもよい。撮像部13は、車外風景を撮像可能となるように車両10に備えられる。例えば、ドライブレコーダ又は乗員が使用するスマートフォン等のカメラ機能を有する電子機器が、撮像部13として機能してもよい。本実施形態において、車両10は、撮像部13を用いて、車外風景を撮像した映像を時刻と対応付けて生成する。
記憶部14は、1つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部14に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部14は、車両10の動作に用いられる任意の情報を記憶する。例えば、記憶部14は、システムプログラム、アプリケーションプログラム、及び組込みソフトウェア等を記憶してもよい。記憶部14に記憶された情報は、例えば通信部11を介してネットワーク30から取得される情報で更新可能であってもよい。
制御部15は、1つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。例えば、車両10に搭載されたECU(Electronic Control Unit)が、制御部15として機能してもよい。制御部15は、車両10全体の動作を制御する。
例えば、制御部15は、撮像部13を用いて、車外風景を撮像した映像を時刻tと対応付けて生成する。したがって、生成された映像には、当該映像が生成された時刻tの情報が含まれる。制御部15は、生成された映像と、当該映像が生成された時刻tにおける自車両の位置情報Q(t)と、をサーバ20へ送信する。ここで制御部15は、映像を生成する度に当該映像及び位置情報Q(t)を送信してもよく、或いは一定期間記憶部14に蓄積してから送信してもよい。また制御部15は、生成した映像に人物が映っているか否かを画像認識により判定し、人物が映っていると判定した場合、当該映像及び位置情報Q(t)を送信し、人物が映っていないと判定した場合、当該映像を送信することなく破棄してもよい。
(サーバの構成)
図5に示すように、サーバ20は、サーバ通信部21と、サーバ記憶部22と、サーバ制御部23と、を備える。
サーバ通信部21は、ネットワーク30に接続する通信モジュールを含む。当該通信モジュールは、例えば有線LAN(Local Area Network)規格に対応するが、これに限られず、任意の通信規格に対応してもよい。本実施形態において、サーバ20は、サーバ通信部21を介してネットワーク30に接続される。
サーバ記憶部22は、1つ以上のメモリを含む。サーバ記憶部22に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部22は、サーバ20の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部22は、システムプログラム、アプリケーションプログラム、及びデータベース等を記憶してもよい。サーバ記憶部22に記憶された情報は、例えばサーバ通信部21を介してネットワーク30から取得される情報で更新可能であってもよい。
サーバ制御部23は、1つ以上のプロセッサを含む。サーバ制御部23は、サーバ20全体の動作を制御する。
例えば、サーバ制御部23は、車両10から映像及び位置情報Q(t)を受信すると、当該映像に映った人物の属性情報を、画像認識により当該映像から検出する。属性情報は、例えば年齢、年齢層、性別、及び服飾のうち少なくとも1つを含むが、これらに限られず、画像認識により映像から検出可能な任意の属性を含んでもよい。属性情報の検出には、例えばパターンマッチング、特徴点抽出、又は機械学習等、任意の画像認識手法が採用可能である。属性情報は、例えば人物の個人情報を保護すべく、人物を一意に識別可能な個人情報を含まなくてもよい。
また、サーバ制御部23は、映像が生成された時刻tにおける車両の位置情報Q(t)に基づいて、当該時刻tにおける人物の位置情報P(t)を検出する。ここで、サーバ制御部23は、車両の位置情報Q(t)と人物の位置情報P(t)を実質的に同一とみなして、車両の位置情報Q(t)を人物の位置情報P(t)として検出してもよい。かかる場合、P(t)=Q(t)である。或いは、サーバ制御部23は、車両10と人物との相対位置情報D(t)を映像から検出し、車両10の位置情報Q(t)と、検出された相対位置情報D(t)と、に基づいて、人物の位置情報P(t)を検出してもよい。相対位置情報D(t)は、例えば、車両10から見た人物の相対的な位置情報である。かかる場合、P(t)=Q(t)+D(t)である。相対位置情報D(t)は、例えば車両10と人物との間の距離、車両10から見た人物の方向、及び車両10の向きに基づいて検出される。車両10と人物との間の距離は、例えば単眼カメラ映像を用いるモーションステレオ法、又はステレオカメラ映像の視差を用いるステレオ法等、映像を用いた任意の測距手法により検出可能である。車両10から見た人物の方向は、例えば当該人物の映像上の位置に基づいて検出可能である。車両10の向きは、例えば車両10に搭載された地磁気センサ及びジャイロセンサ等を用いて検出可能である。
また、サーバ制御部23は、複数の車両10からそれぞれ受信した複数の映像のうち、2つ以上の映像に映った同一の人物を特定する。同一人物の特定には、例えばパターンマッチング、特徴点抽出、又は機械学習等、任意の画像認識手法が採用可能である。ここで、当該2つ以上の映像は、2つ以上の車両10が同一の人物をそれぞれ異なる時刻に撮像した映像である。したがって、当該2つ以上の映像が生成された時刻をt1、t2、…とすると、サーバ制御部23の上述した動作により、当該人物の位置情報P(t1)、P(t2)、…が検出済みである。サーバ制御部23は、当該人物の位置情報P(t1)、P(t2)、…を含む移動経路情報を生成する。サーバ制御部23は、当該人物を一意に識別する人物IDを決定し、例えば図6に示すように、当該人物の人物ID、属性情報、及び移動経路情報を紐づけてサーバ記憶部22のデータベースに格納する。図6に示す例では、1人の人物の人物ID、属性情報、及び移動経路情報が図示されているが、データベースには、複数の人物それぞれの人物ID、属性情報、及び移動経路情報が格納され得る。
また、サーバ制御部23は、例えばクライアント40からの要求に応じて又は自動的に、サーバ記憶部22のデータベースから人物の属性情報及び移動経路情報を抽出して、クライアント40へ送信する。データベースから情報を抽出する際、サーバ制御部23は、任意の属性情報をクエリとして、情報の抽出を実施してもよい。例えば、属性情報「20〜29歳の男性」をクエリとした場合、サーバ制御部23は、「20〜29歳の男性」に合致する各人物の移動経路情報をデータベースから抽出して、当該属性情報とともにクライアント40へ送信する。当該クエリは、例えばクライアント40によって指定されてもよい。かかる構成によれば、クライアント40は、所望の属性情報に合致する人々の移動経路情報を取得可能である。
(車両の動作フロー)
図7を参照して、車両10の動作のフローについて説明する。
ステップS100:制御部15は、車外風景を撮像した映像を時刻tと対応付けて生成する。
ステップS101:制御部15は、生成された映像と、当該映像が生成された時刻tにおける自車両の位置情報Q(t)とを、通信部11を介してサーバ20へ送信する。
(サーバの動作フロー)
図8を参照して、サーバ20の第1動作のフローについて説明する。概要として、第1動作は、車両10から受信される映像に映った人物の属性情報及び位置情報を検出する動作である。
ステップS200:サーバ制御部23は、サーバ通信部21を介して車両10から映像及び位置情報Q(t)を受信する。
ステップS201:サーバ制御部23は、当該映像に映った人物の属性情報を、画像認識により当該映像から検出する。
ステップS202:サーバ制御部23は、映像が生成された時刻tにおける車両の位置情報Q(t)に基づいて、当該時刻tにおける人物の位置情報P(t)を検出する。
図9を参照して、サーバ20の第2動作のフローについて説明する。概要として、第2動作は、人物の移動経路情報等をデータベースに格納し、クライアント40へ送信する動作である。
ステップS300:サーバ制御部23は、複数の車両10からそれぞれ受信した複数の映像のうち、2つ以上の映像に映った同一の人物を特定する。
ステップS301:サーバ制御部23は、特定された人物の人物ID、属性情報、及び位置情報P(t)の時系列データを含む移動経路情報を紐づけてサーバ記憶部22のデータベースに格納する。
ステップS302:サーバ制御部23は、例えばクライアント40からの要求に応じて又は自動的に、サーバ記憶部22のデータベースから人物の属性情報及び移動経路情報を抽出して、クライアント40へ送信する。
以上述べたように、本実施形態に係る情報処理システム1によれば、複数の車両10のそれぞれは、車外風景を撮像した映像を時刻tと対応付けて生成し、当該映像と、当該映像が生成された時刻tにおける自車両の位置情報と、をサーバ20へ送信する。サーバ20は、車両10から映像及び位置情報を受信すると、当該映像に映った人物の属性情報と、当該映像が生成された時刻tにおける当該人物の位置情報P(t)と、を検出する。そして、サーバ20は、複数の車両10からそれぞれ受信した複数の映像のうち2つ以上の映像に映った同一の人物を特定し、特定された当該人物の属性情報と、位置情報P(t)の時系列データを含む移動経路情報と、をクライアント40へ送信する。
かかる構成によれば、複数の車両10によってそれぞれ生成された複数の映像を用いることによって、2つ以上の映像に映った同一の人物の移動経路情報が検出可能である。そして、クライアント40は、人々の移動経路を分析してマーケティング等の分野に役立てるために、情報処理システム1から受信した人物の属性情報及び移動経路情報を利用可能である。したがって、車載カメラの映像から人物に関する情報を検出する技術の利便性が向上する。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、サーバ20において実行される一部の処理動作が車両10において実行されてもよい。例えば、映像に映った人物の属性情報及び位置情報を検出する処理が、サーバ20ではなく車両10によって実行される構成も可能である。かかる場合、車両10は、映像をサーバ20へ送信するのではなく、車両10において検出された当該人物の属性情報及び位置情報をサーバ20へ送信する。
また、上述した実施形態において、人物の移動経路情報が、当該人物の位置情報P(t)の時系列データ、即ち移動経路を含む構成について説明した。しかしながら、人物の移動経路情報は、当該移動経路における移動開始地点及び移動終了地点の少なくとも一方に関する情報を更に含んでもよい。移動開始地点又は移動終了地点に関する情報は、例えば、人物が移動を開始又は終了した地点の名称(例えば、会社名又は施設名等)又は属性(例えば、会社、駅、又はレストラン等)を含むが、これらに限られず、当該地点に関する任意の情報を含んでもよい。具体的には、移動経路情報に時刻t1〜tnにおける位置情報P(t1)、P(t2)、…、P(tn)が含まれる場合、サーバ制御部23は、時刻tが最も早い位置情報P(t1)に示される地点を移動開始地点とし、時刻tが最も遅い位置情報P(tn)に示される地点を移動終了地点としてもよい。そして、サーバ制御部23は、移動開始地点及び移動終了地点に関する情報を、例えば地図情報から抽出して、移動経路情報に追加する。
更に、上述したようにサーバ記憶部22のデータベースから人物の属性情報及び移動経路情報を抽出する際、サーバ制御部23は、移動経路情報に含まれる移動開始地点又は移動終了地点に関する情報をクエリとして、情報の抽出を実施してもよい。例えば、移動終了地点に関する情報「ABCレストラン」をクエリとした場合、サーバ制御部23は、移動終了地点が「ABCレストラン」である各人物の移動経路情報をデータベースから抽出して、属性情報とともにクライアント40へ送信する。かかる構成によれば、クライアント40は、情報処理システム1から受信した移動経路情報を用いて、例えば所望の地点から移動する人々の目的地や所望の地点へ向かって移動する人々の出発地を認識したり、所望の地点から移動し又は所望の地点まで移動した人々がどのような属性情報を有しているかを認識したりする等、より詳細な分析が可能となる。したがって、車載カメラの映像から人物に関する情報を検出する技術の利便性が更に向上する。
また、例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る車両10の各構成部又はサーバ20として機能させる構成も可能である。具体的には、実施形態に係る車両10又はサーバ20の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
1 情報処理システム
10 車両
10a 第1の車両
10b 第2の車両
11 通信部
12 測位部
13 撮像部
14 記憶部
15 制御部
20 サーバ
21 サーバ通信部
22 サーバ記憶部
23 サーバ制御部
30 ネットワーク
40 クライアント
41 人物

Claims (7)

  1. 複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムであって、
    前記複数の車両のそれぞれは、
    車外風景を撮像した映像を時刻と対応付けて生成し、
    前記映像と、前記映像が生成された時刻における自車両の位置情報と、を前記サーバへ送信し、
    前記サーバは、
    前記車両から前記映像及び位置情報を受信すると、
    前記映像に映った人物の属性情報を前記映像から検出し、
    前記映像が生成された時刻における前記車両の位置情報に基づいて、前記時刻における前記人物の位置情報を検出し、
    前記複数の車両からそれぞれ受信した複数の前記映像のうち2つ以上の前記映像に映った同一の人物を特定し、
    特定された前記人物の属性情報と、前記人物の位置情報の時系列データを含む移動経路情報と、をクライアントへ送信する、情報処理システム。
  2. 請求項1に記載の情報処理システムであって、
    人物の前記属性情報は、前記人物の年齢、年齢層、性別、及び服飾のうち少なくとも1つを含む、情報処理システム。
  3. 請求項1又は2に記載の情報処理システムであって、
    前記移動経路情報は、特定された前記人物の移動経路における移動開始地点及び移動終了地点の少なくとも一方に関する情報を更に含む、情報処理システム。
  4. 請求項1から3のいずれか一項に記載の情報処理システムであって、
    前記サーバは、前記映像が生成された時刻における前記車両の位置情報を、前記時刻における前記人物の位置情報として検出する、情報処理システム。
  5. 請求項1から3のいずれか一項に記載の情報処理システムであって、
    前記サーバは、
    前記車両から前記映像を受信すると、
    前記車両と前記映像に映った前記人物との相対位置情報を前記映像から検出し、
    前記映像が生成された時刻における前記車両の位置情報と、検出された前記相対位置情報と、に基づいて、前記時刻における前記人物の位置情報を検出する、情報処理システム。
  6. それぞれ車外風景を撮像した映像を時刻と対応付けて生成する複数の車両と通信可能な情報処理装置に、
    前記車両から、前記映像と、前記映像が生成された時刻における前記車両の位置情報と、を受信すると、
    前記映像に映った人物の属性情報を前記映像から検出するステップと、
    前記映像が生成された時刻における前記車両の位置情報に基づいて、前記時刻における前記人物の位置情報を検出するステップと、
    前記複数の車両からそれぞれ受信した複数の前記映像のうち2つ以上の前記映像に映った同一の人物を特定するステップと、
    特定された前記人物の属性情報と、前記人物の位置情報の時系列データを含む移動経路情報と、をクライアントへ送信するステップと、
    を実行させる、プログラム。
  7. 複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
    前記複数の車両のそれぞれが、
    車外風景を撮像した映像を時刻と対応付けて生成し、
    前記映像と、前記映像が生成された時刻における自車両の位置情報と、を前記サーバへ送信し、
    前記サーバが、
    前記車両から前記映像及び位置情報を受信すると、
    前記映像に映った人物の属性情報を前記映像から検出し、
    前記映像が生成された時刻における前記車両の位置情報に基づいて、前記時刻における前記人物の位置情報を検出し、
    前記複数の車両からそれぞれ受信した複数の前記映像のうち2つ以上の前記映像に映った同一の人物を特定し、
    特定された前記人物の属性情報と、前記人物の位置情報の時系列データを含む移動経路情報と、をクライアントへ送信する、情報処理方法。
JP2018216675A 2018-11-19 2018-11-19 情報処理システム、プログラム、及び情報処理方法 Pending JP2020086659A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018216675A JP2020086659A (ja) 2018-11-19 2018-11-19 情報処理システム、プログラム、及び情報処理方法
US16/577,441 US11315430B2 (en) 2018-11-19 2019-09-20 System, program, and method for detecting information on a person from a video of an on-vehicle camera
CN201910996315.9A CN111199180A (zh) 2018-11-19 2019-10-18 信息处理***、程序和信息处理方法
US17/665,920 US11587442B2 (en) 2018-11-19 2022-02-07 System, program, and method for detecting information on a person from a video of an on-vehicle camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018216675A JP2020086659A (ja) 2018-11-19 2018-11-19 情報処理システム、プログラム、及び情報処理方法

Publications (1)

Publication Number Publication Date
JP2020086659A true JP2020086659A (ja) 2020-06-04

Family

ID=70726652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018216675A Pending JP2020086659A (ja) 2018-11-19 2018-11-19 情報処理システム、プログラム、及び情報処理方法

Country Status (3)

Country Link
US (2) US11315430B2 (ja)
JP (1) JP2020086659A (ja)
CN (1) CN111199180A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086659A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
JP7275556B2 (ja) * 2018-12-14 2023-05-18 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
US11593581B2 (en) * 2019-02-28 2023-02-28 Stats Llc System and method for calibrating moving camera capturing broadcast video
WO2020213638A1 (ja) * 2019-04-18 2020-10-22 日本電気株式会社 人物特定装置、人物特定方法および記録媒体
US11983930B2 (en) * 2020-03-27 2024-05-14 Nec Corporation Person flow prediction system, person flow prediction method, and programrecording medium
US11804129B2 (en) * 2021-10-06 2023-10-31 Ford Global Technologies, Llc Systems and methods to detect stalking of an individual who is traveling in a connected vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171159A (ja) * 2002-11-18 2004-06-17 Nec Corp 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法
JP2015072578A (ja) * 2013-10-02 2015-04-16 株式会社東芝 人物特定装置、人物特定方法及びプログラム
JP2016085602A (ja) * 2014-10-27 2016-05-19 株式会社日立製作所 センサ情報統合方法、及びその装置
JP2018061215A (ja) * 2016-10-07 2018-04-12 パナソニックIpマネジメント株式会社 監視システム及び監視方法
JP2018160219A (ja) * 2017-03-24 2018-10-11 株式会社 日立産業制御ソリューションズ 移動経路予測装置、及び移動経路予測方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
JP4743658B2 (ja) 2005-12-26 2011-08-10 アイシン・エィ・ダブリュ株式会社 道路認識装置、道路認識方法及び道路認識プログラム
KR100757980B1 (ko) * 2006-05-16 2007-09-11 황기연 보행자용 위치기반서비스 시스템 및 방법
DE602006012510D1 (de) * 2006-11-21 2010-04-08 Harman Becker Automotive Sys Darstellung von Videobildern einer Fahrzeugumgebung
KR100859566B1 (ko) * 2007-03-02 2008-09-23 제주대학교 산학협력단 도로 네트워크에서 이동객체의 미래 경로 예측 방법
JP2009064283A (ja) * 2007-09-07 2009-03-26 Omron Corp 交通情報提供システムおよび交通情報提供方法
JP2011046138A (ja) * 2009-08-28 2011-03-10 Casio Electronics Co Ltd 印刷装置、及び印刷装置の消費電力制御方法
JP2011170565A (ja) * 2010-02-17 2011-09-01 Toshiba Tec Corp 顧客動向収集方法、装置及びプログラム
US8438175B2 (en) * 2010-03-17 2013-05-07 Lighthaus Logic Inc. Systems, methods and articles for video analysis reporting
US9058619B2 (en) * 2011-05-19 2015-06-16 Purushottaman Nandakumar System and method for measurement, planning, monitoring, and execution of out-of-home media
CN102880929A (zh) * 2012-08-31 2013-01-16 叶旭东 用于工程机械领域的外勤人员支撑***
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
JP7073972B2 (ja) * 2018-08-03 2022-05-24 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP6573346B1 (ja) * 2018-09-20 2019-09-11 パナソニック株式会社 人物検索システムおよび人物検索方法
JP2020086659A (ja) * 2018-11-19 2020-06-04 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004171159A (ja) * 2002-11-18 2004-06-17 Nec Corp 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
JP2015002553A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 情報処理システムおよびその制御方法
JP2015072578A (ja) * 2013-10-02 2015-04-16 株式会社東芝 人物特定装置、人物特定方法及びプログラム
JP2016085602A (ja) * 2014-10-27 2016-05-19 株式会社日立製作所 センサ情報統合方法、及びその装置
JP2018061215A (ja) * 2016-10-07 2018-04-12 パナソニックIpマネジメント株式会社 監視システム及び監視方法
JP2018160219A (ja) * 2017-03-24 2018-10-11 株式会社 日立産業制御ソリューションズ 移動経路予測装置、及び移動経路予測方法

Also Published As

Publication number Publication date
US20200160715A1 (en) 2020-05-21
CN111199180A (zh) 2020-05-26
US11315430B2 (en) 2022-04-26
US11587442B2 (en) 2023-02-21
US20220157172A1 (en) 2022-05-19

Similar Documents

Publication Publication Date Title
JP2020086659A (ja) 情報処理システム、プログラム、及び情報処理方法
JP6052062B2 (ja) 人物探索システム
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
EP3660458A1 (en) Information providing system, server, onboard device, and information providing method
JP2019067201A (ja) 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム
JP2020095565A (ja) 情報処理システム、プログラム、及び情報処理方法
US11039087B2 (en) Image processing apparatus and computer-readable storage medium
JP2020016968A (ja) 情報処理システム、プログラム、及び制御方法
JP7099338B2 (ja) サーバ、サーバ制御方法、サーバ制御プログラム、車両、車両制御方法、及び車両制御プログラム
CN111325088B (zh) 信息处理***、记录介质以及信息处理方法
CN111462513B (zh) 服务器、服务器控制方法、通信终端、终端控制方法和计算机可读介质
JP2012032284A (ja) ナビゲーションシステム
US20190143926A1 (en) Vehicle management system, inspection information transmission system, information management system, vehicle management program, inspection information transmission program, and information management program
WO2022152081A1 (zh) 导航方法和装置
JP2020101924A (ja) 情報処理システム、プログラム、及び情報処理方法
JP2017096635A (ja) 目的地設定システム、方法およびプログラム
KR20110013755A (ko) 내비게이션 장치 및 그를 이용한 사고 발생 통보 방법
CN111311919B (zh) 服务器、车载装置、非易失性存储介质、信息提供***、提供信息的方法,以及车辆
US11954804B2 (en) Information processing device and information processing method to display a virtual object
JP4220354B2 (ja) 他車位置表示装置及び他車情報提示方法
JP2022157401A (ja) 情報処理装置、移動体、それらの制御方法、及びプログラム
CN116895058A (zh) 物体信息取得方法以及用于实现该方法的***
JP2015210617A (ja) 情報提供システムおよび情報提供方法
CN113836963A (zh) 寻车方法、移动终端及寻车***
JP2021025884A (ja) 対象案内制御装置、対象案内制御方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220415

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913