以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“32”によって参照される個人識別用データ保持部は(図2参照)、個人識別用データ保持部32と表記されることもあるし、保持部32と略記されることもあり得るが、それらは全て同じものを指す。
図1(a)及び(b)に、本発明の実施形態に係る車載装置(図2の車載装置10に相当)が搭載されるバス1の概略的な側面図及び平面構造図を示す。バス1は多くの乗客を輸送することのできる大型輸送車両であり、乗客は輸送の対価として運賃をバス1の運転手又はバス1の運営会社に支払う。バス1には実際には屋根が設けられているが、図1(b)では、屋根を除いたバス1の内部の様子(上面図)が示されている。
バス1の車内には、運転席2と、運賃箱3と、扉4及び5と、複数の座席6と、が設けられている。運転席2に座る運転手はバス1のステアリングホイールを操作することでバス1を操舵する。運転席2からステアリングホイールに向かう向きを「前方」と定義し、ステアリングホイールから運転席2に向かう向きを「後方」と定義する。前後方向に直交し且つ路面に平行な方向を左右方向と定義する。運転手は運転席2において前を向いて座っており、右側、左側は、運転手から見た右側、左側に相当する。
運賃箱3は運転席2の左側に設置される。乗客は現金を運賃箱3に投入することで運賃の支払いを行うことができる。また、運賃箱3にはカードリーダ(不図示)が設けられており、乗客は所定のカードをカードリーダに読み込ませることで、プリペイド方式又はポストペイ方式で運賃の支払いを行うこともできる。
扉4及び5はバス1の車体の一部を構成し、バス1の左端側側面部に設けられる。より具体的には、扉4はバス1の左端側側面部における運転席2の左横に設置され、扉5は左端側側面部における中央付近に設置される。扉4は扉5よりも前方側に設置される。バス1の走行中には扉4及び5は閉鎖状態にある。バス1の停止中には、バス1の所定機器に対する運転手の操作に基づき扉4又は5が開放状態となる。扉4が閉鎖状態にあるとき乗客は扉4を通じて乗車又は降車することはできず、扉4が開放状態にあるときに限り乗客は扉4を通じて乗車又は降車することができる。同様に、扉5が閉鎖状態にあるとき乗客は扉5を通じて乗車又は降車することはできず、扉5が開放状態にあるときに限り乗客は扉5を通じて乗車又は降車することができる。
図1(b)において、符号7及び8はバス1の車内における通路を表している。通路7は運線席2と扉4との間に位置する通路であり、通路8は通路7よりも後側であって且つ扉5の右横に位置する通路である。本実施形態では、扉4及び通路7にて降車口が形成され、扉5及び通路8にて乗車口が形成されるものとする。乗車口はバス1に乗車する乗客専用の入り口であり、降車口はバス1から降車する乗客専用の出口である。
本実施形態において、乗車とは、或る人物がバス1の外部空間から扉5を通じてバス1の車内(バス1の内部空間)に入ってバス1の乗客となることを指す。故に、乗車する乗客とは、詳細には、バス1に乗るためにバス1の外側からバス1の内側(車内)へと移動する人物を指す。降車とは、バス1の車内(バス1の内部空間)にいる乗客が扉4を通じてバス1の外部空間に出ることを指す。故に、降車する乗客とは、詳細には、バス1から降りるためにバス1の内側(車内)からバス1の外側へと出てゆく人物を指す。扉5を通じてバス1に乗車する乗客は通路8を通ってバス1の車内に入り込み、バス1から降車する乗客は通路7を経由して扉4からバス1の外部に出る。また、或る人物がバス1に乗車する地点を乗車地点と称し、或る人物がバス1から降車する地点を降車地点と称する。
尚、乗車口及び降車口に関するバス1の構造は本実施形態で想定されるものに限定されず、任意である。即ち、バス1の乗車口及び降車口の位置関係は任意であって良いし、乗車口と降車口の機能を兼務する乗降車口がバス1に設けられていても良い。
バス1の車内にはカメラ21~23が設置される。カメラ21は、扉5及び通路8を通じてバス1に乗車する人物(即ちバス1に乗車するためにバス1の外部空間からバス1の内部空間に入ってくる人物)を撮影可能な位置に配置される乗車客用カメラである。カメラ22は、扉4及び通路7を通じてバスから降車する人物(即ちバス1から降車するためにバス1の内部空間からバス1の外部空間に出ていこうとする人物)を撮影可能な位置に配置される降車客用カメラである。カメラ23はバス1の車内の様子を撮影するための車内カメラであり、バス1の車内の天井付近に設置される。
図2に、本実施形態に係るバスサービスシステムSYSの構成図を示す。バスサービスシステムSYSは、バス1に搭載される車載装置10と、バス1及び車載装置10の外部に設けられる外部装置であるサーバ装置SVと、を備える。サーバ装置SVは1以上のコンピュータ装置にて構成されていて良い。サーバ装置SVが複数のコンピュータ装置にて構成される場合、所定の通信網を介して接続された複数のコンピュータ装置が協働することでサーバ装置SVの機能が実現される。また、サーバ装置SVは、いわゆるクラウドサーバを用いて構成されていて良い。車載装置10は、カメラ部20、信号処理部30及び通信部40を備える。
カメラ部20はバス1に設置された1以上のカメラから成る。上述のカメラ21~23はカメラ部20に設けられる。カメラ部20に設けられる個々のカメラを単位カメラと称する。単位カメラは、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge-Coupled Device)イメージセンサなどの撮像素子及び光学系を備え、自身の撮影領域(換言すれば視野)内の撮影を行って、撮影により得られた画像(即ち撮影領域内の像)を示す画像データを生成する。撮影領域内の撮影とは、詳細には、撮影領域内の被写体の撮影を意味する。単位カメラにより生成された画像データを、以下、カメラ画像データと称し、カメラ画像データにて表される二次元画像をカメラ画像と称する。単位カメラにより生成されたカメラ画像データは信号処理部30に出力される。単位カメラは所定の撮影フレームレートにて自身の撮影領域内の撮影を周期的に繰り返し行う。撮影フレームレートは1秒間当たりの撮影の回数に相当する。撮影フレームレートは任意であるが、例えば30[フレーム/秒]である。単位カメラにおいて撮影フレームレートの逆数の間隔で、順次、フレーム画像が得られる。各フレーム画像は二次元の静止画像である。1枚のフレーム画像は静止画像としてのカメラ画像に相当し、撮影フレームレートの逆数の間隔で時系列上に並ぶ複数枚のフレーム画像にて、動画像としてのカメラ画像が形成される。
信号処理部30は、個人識別部31、個人識別用データ保持部32、トラッキング部33、関連付け処理部34、日時データ取得部35、地点データ取得部36及び乗降車管理部37を備える。
個人識別部31は顔検出部31aを有し、顔検出部31aの顔検出結果と個人識別用データ保持部32の保持データとに基づいて各乗客の個人識別(個人認証)を行う。顔検出部31aはカメラ画像データに基づき顔検出処理を実行する。顔検出処理において、顔検出部31は、任意の単位カメラにより取得されるカメラ画像に注目して、注目したカメラ画像内に人物の顔の画像が含まれているか否かを検出する。顔検出処理において、顔検出部31は、注目したカメラ画像内に人物の顔の画像が含まれている場合、注目したカメラ画像内に含まれる人物の顔の画像を顔画像として抽出する。顔検出部31aは、任意の単位カメラにて取得されるカメラ画像に対し顔検出処理を行うことができるが、少なくとも、乗車客用カメラ21にて取得されるカメラ画像と降車客用カメラ22にて取得されるカメラ画像に対し顔検出処理を行う。
図3を参照し、バス1の乗客となる任意の人物PSに注目して、人物PSに対する顔検出処理を説明する。乗車客用カメラ21は、乗車口を撮影可能な位置及び取り付け角度にて設置され、人物PSがバス1に乗車するためにバス1の車外(バス1の外部空間)からバス1の車内(バス1の内部空間)へと入ってくる期間(以下、乗車対応期間と称する)において、当該人物PSの顔を撮影する。乗車対応期間にて乗車客用カメラ21にて取得されたカメラ画像を乗車時カメラ画像と称する。乗車時カメラ画像を形成する各フレーム画像には人物PSの顔画像が含まれる(但し、一部のフレーム画像において人物PSの顔画像が含まれないこともある)。顔検出部31aは、乗車時カメラ画像に対して顔検出処理を行うことで人物PSの顔画像FPSを検出及び抽出できる。降車客用カメラ22は、降車口を撮影可能な位置及び取り付け角度にて設置され、人物PSがバス1から降車するためにバス1の車内(バス1の内部空間)からバス1の車外(バス1の外部空間)へと出ていく期間(以下、降車対応期間と称する)において、当該人物PSの顔を撮影する。降車対応期間にて降車客用カメラ22にて取得されたカメラ画像を降車時カメラ画像と称する。降車時カメラ画像を形成する各フレーム画像には人物PSの顔画像が含まれる(但し、一部のフレーム画像において人物PSの顔画像が含まれないこともある)。顔検出部31aは、降車時カメラ画像に対して顔検出処理を行うことで人物PSの顔画像FPSを検出及び抽出できる。
個人識別用データ保持部32は登録人物についての個人識別用データを保持する。登録人物の人数は1以上であり、登録人物が複数存在するとき、登録人物ごとの個人識別用データが保持部32に保持される。登録人物は、バスサービスシステムSYSに対して予め登録された人物である。以下では、登録人物が複数存在するものとする。登録人物でない人物を非登録人物と称する。
個人識別部31は、乗客の乗車時において乗車時識別処理を行い、乗客の降車時において降車時識別処理を行う。乗車時識別処理において、個人識別部31は、乗車時カメラ画像に対する顔検出処理の結果と個人識別用データとに基づき、乗車時カメラ画像から検出された顔画像に対応する人物の個人識別(換言すれば個人認証)を行う。降車時識別処理において、個人識別部31は、降車時カメラ画像に対する顔検出処理の結果と個人識別用データとに基づき、降車時カメラ画像から検出された顔画像に対応する人物の個人識別(換言すれば個人認証)を行う。
個人識別により、顔画像に対応する人物が何れの登録人物と合致するかが特定される、或いは、顔画像に対応する人物が何れの登録人物にも合致しないと判断される。個人識別部31において、顔画像に対応する人物が何れかの登録人物と合致すると判断されることを個人識別の成功と称し、その判断ができないことを、個人識別の失敗と称する。顔画像に対応する人物が非登録人物である場合には個人識別は失敗する。顔画像に対応する人物が何れかの登録人物と合致する場合でも個人識別が失敗することもあり得るが、本実施形態では、特に必要なき限り、そのような状況を無視し、顔画像に対応する人物が何れかの登録人物と合致する場合には乗車時識別処理及び降車時識別処理の何れにおいても当該顔画像に対し個人識別が成功するものとする。
個人識別用データはバス1を利用する人物の個人識別を行うために有益なデータであり、或る登録人物についての個人識別用データは当該登録人物の顔情報を含む。登録人物の顔情報は、登録人物の顔を撮影した画像そのものであっても良いし、それに加えて又はそれに代えて、登録人物の顔の撮影画像から抽出した登録人物の顔の特徴量データであっても良い。何れにせよ、カメラ画像に或る人物の顔画像が含まれている場合において、当該人物が特定の登録人物と一致するとき、特定の登録人物の個人識別用データと、特定の登録人物の顔画像を含むカメラ画像とに基づき、個人識別部31により、当該カメラ画像中の顔画像に対応する人物は特定の登録人物であると判断される。尚、個人識別用データは、サーバ装置SVから通信部40を介して信号処理部30に提供されるものであって良い。
トラッキング部33は、主として車内カメラ23にて取得されるカメラ画像に基づき、バス1の車内に位置する各乗客のトラッキングを行う。トラッキングとは、車内カメラ23の撮影領域を含むカメラ部20の撮影領域内において各乗客の位置を追跡することを指す。尚、トラッキングのために行われる処理をトラッキング処理と称する。車内カメラ23は、バス1の車内の全体又は実質的に全体を自身の撮影領域内に収める。トラッキング部33は、車内カメラ23にて取得されたカメラ画像に基づき、乗客ごとに車内カメラ23の撮影領域内での乗客の位置を認識及びトラッキングする。
或る人物PSについて、人物PSがバスに乗車した後であって且つ人物PSがバスから降車する前の期間を、搭乗期間と称する(図3参照)。搭乗期間において人物PSはバス1の車内に位置する。搭乗期間は乗車対応期間と降車対応期間との間の期間であると考えることができる。但し、乗車対応期間の後側の一部は搭乗期間と重複するという考え方も採用できるし、同様に、降車対応期間の前側の一部は搭乗期間と重複するという考え方も採用できる。何れにせよ、搭乗期間において人物PSは車内カメラ23の撮影領域内に収まって車内カメラ23により撮影される。搭乗期間にて車内カメラ23にて取得されたカメラ画像を搭乗中カメラ画像と称する。車内カメラ23はバス1の車内天井に下方向きで設置されるので、基本的には、搭乗中カメラ画像を形成する各フレーム画像に人物PSの頭部の画像(図3における頭部画像HPSに相当)が含まれることになる。
カメラ21及び23の撮影領域は乗車口及び乗車口付近にて重複しており、トラッキング部33において、乗車客用カメラ21にて撮影される人物と車内カメラ23にて撮影される人物との対応付けが行われる。同様に、カメラ22及び23の撮影領域は降車口及び降車口付近にて重複しており、トラッキング部33において、降車客用カメラ22にて撮影される人物と車内カメラ23にて撮影される人物との対応付けが行われる。このため、トラッキング部33において、カメラ21~23の各カメラ画像に基づき各乗客の同定を行うことができる。即ち、トラッキング部33は、カメラ21~23の各カメラ画像に基づき、乗車対応期間、搭乗期間及び降車対応期間の合成期間の全体に亘って各乗客の同定及びトラッキングを行うことができる。
車内カメラ23として広角の画角を有するカメラを用いることが想定されるが、バス1の車内の大きさ及び形状等に応じて、図4に示す如く複数のカメラ23aにて車内カメラ23を形成しても良い。この際、複数のカメラ23aはバス1の車内の天井に分散して設置される。複数のカメラ23aを用いて車内カメラ23を構成することで、バス1の車内全体を容易に撮影領域に収めることが可能となる。この際、トラッキングが切れ目なく可能となるよう、複数のカメラ23aの撮影領域を部分的に互いに重複させ、バス1の車内全体領域を複数のカメラ23aの撮影領域の合成領域に収めると良い。
関連付け処理部34は、特定の条件において或る乗客と他の乗客の関連付けを行う。関連付け処理の詳細は後述される。
日時データ取得部35は現在の日付及び時刻を表す日時データを取得する。地点データ取得部36はバス1の現在地を表す地点データを取得する。地点データ取得部36はGPS(Global Positioning System)を用いて地点データを取得して良い。
乗降車管理部37は、バス1の乗客に関する乗降車データベースDB1を作成し、乗降車データベースDB1を自身が有するメモリ(不図示)に保持する。図5に、乗降車データベースDB1の構造を示す。乗降車データベースDB1は1以上の乗降車データセットから成る。1つの乗降車データセットは、一人の乗客のバス1への乗降車の内容を記録するものである。乗降車データセットは乗客ごとに作成される。更に、乗降車データセットは、一人の乗客のバス1の乗車及び降車の組ごとに作成されるものとする。即ち例えば、或る一人の特定の乗客が2020年7月17日の午前10時台にバス1にて第1乗車地点から第1降車地点まで移動し、2020年7月17日の午後14時台にバス1にて第2乗車地点から第2降車地点まで移動した場合、当該特定の乗客に対応付けて2020年7月17日の午前10時台についての乗降車データセットと2020年7月17日の午後14時台についての乗降車データセットが作成され、それらが乗降車データベースDB1に格納される。
登録人物及び非登録人物の何れかである注目人物についての乗降車データセットを説明する。注目人物についての乗降車データセットは、注目人物の個人IDを示す個人ID情報511と、注目人物の年齢層(年齢であっても良い)を示す年齢情報512と、注目人物の性別を示す性別情報513と、注目人物が登録人物であるか否かを示す登録有無情報514と、注目人物と他の人物との関連付け状況を示す関連付け情報515と、注目人物のバス1への乗車日時及びバス1からの降車日時を示す乗降車日時情報516と、注目人物のバス1への乗車地点(例えば乗車したバス停)及びバス1からの降車地点(例えば降車したバス停)を示す乗降車地点情報517と、を互いに関連付けた状態で含む。
各登録人物には固有の個人IDが割り当てられており、注目人物が登録人物である場合、注目人物の個人ID情報511は注目人物としての登録人物の個人ID(図5の“R111”、“R112”又は“R113”に対応)を示す。注目人物が登録人物ではなく、結果、注目人物に対して個人識別部31による個人識別が失敗している場合には、各登録人物の個人IDと区別可能な暫定個人IDが注目人物に割り当てられ、注目人物の個人ID情報511は暫定個人ID(図5の“TEMP01”に対応)を示す。
信号処理部30は、注目人物についての乗車時カメラ画像又は降車時カメラ画像から抽出した注目人物の顔画像から、注目人物の年齢層及び性別を推定する推定処理部を有していて良く、その推定結果に基づき注目人物の年齢情報512及び性別情報513が作成される。但し、注目人物が登録人物である場合、サーバ装置SVから車載装置10に提供される登録人物の固有情報(図8参照)に基づき、注目人物の年齢情報512及び性別情報513が作成されても良い。
注目人物に対して個人識別部31による個人識別が成功している場合、注目人物の登録有無情報514として、注目人物が登録人物であることを示す情報(図5の“YES”に対応)が格納される。注目人物に対して個人識別部31による個人識別が失敗している場合、注目人物の登録有無情報514として、注目人物が非登録人物であること又は登録人物であることを確認できないことを示す情報(図5の“NO”に対応)が格納される。
関連付け処理部34により第1注目人物と第2注目人物は互いに関連付けられることがある。第1及び第2注目人物が互いに関連付けられている場合、関連付け情報515は、第1及び第2注目人物が互いに関連付けられていることを示す。例えば、“R111”の個人IDが割り当てられた登録人物が第1注目人物であって、且つ、“TEMP01”の個人ID(暫定個人ID)が割り当てられた非登録人物が第2注目人物である場合において、関連付け処理部34により第1及び第2注目人物が互いに関連付けられたとき、第1注目人物の関連付け情報515に対し第2注目人物の個人ID(暫定個人ID)“TEMP01”が格納されると共に第2注目人物の関連付け情報515に対し第1注目人物の個人ID“R111”が格納され、これによって乗降車データベースDB1上で第1及び第2注目人物が互いに関連付けられる。但し、第1注目人物の関連付け情報515に対する第2注目人物の個人ID(暫定個人ID)“TEMP01”の格納、及び、第2注目人物の関連付け情報515に対する第1注目人物の個人ID“R111”の格納の内、一方を省略しても構わない。
注目人物がバス1に乗車する際に、そのときの乗車日時及び乗車地点が日時データ及び地点データにより取得され、当該注目人物に対する個人IDに対応付けて、取得された乗車日時及び乗車地点が注目人物の乗降車データセットに記録される。その後、注目人物がバス1から降車する際に、そのときの降車日時及び降車地点が日時データ及び地点データにより取得され、当該注目人物に対する個人IDに対応付けて。取得された降車日時及び降車地点が注目人物の乗降車データセットに記録される。これらの記録処理により注目人物についての乗降車日時情報516及び乗降車地点情報517が乗降車データベースDB1に格納される。
図2を再度参照し、通信部40は、所定の無線通信網を介しサーバ装置SVと任意の信号及びデータの双方向通信を行う。信号処理部30は、通信部40を用いてサーバ装置SVと双方向通信が可能である。
図6にサーバ装置SVの機能ブロック図を示す。サーバ装置SVは、乗降車管理部51、顧客登録管理部52及び決裁処理部53を備える。
乗降車管理部51は、バス1の乗客に関する乗降車データベースDB1aを作成し、乗降車データベースDB1aを自身が有するメモリ(不図示)に保持する。図7に乗降車データベースDB1aの構造を示す。乗降車データベースDB1aは、図5の乗降車データベースDB1を内包するデータベースであり、乗降車データベースDB1と同じ構造を有していて良い。乗降車管理部51は、乗降車データベースDB1の内容を示す情報を所定の無線通信網を介して車載装置10から受けて(当該情報を車載装置10から受信することで)、乗降車データベースDB1aを作成する。
例えば、車載装置10側で保持される乗降車データベースDB1は、第1所定期間分の乗降車データセット(例えば1日分又は1週間の乗降車データセット)だけを格納するデータベースである一方、乗降車データベースDB1aは、第1所定期間を超える第2所定期間分の乗降車データセット(例えば10年分の乗降車データセット)を格納するデータベースである。尚、乗降車データベースDB1及びDB1aは完全に同じものであっても構わない。
顧客登録管理部52は、各登録人物についての登録情報をデータベース化した顧客登録データベースDB2を作成し、顧客登録データベースDB2を自身が有するメモリ(不図示)に保持する。図8に顧客登録データベースDB2の構造の例を示す。顧客登録データベースDB2では、登録人物ごとに登録人物の個人ID及び固有情報が格納される。登録人物の固有情報は、バスサービスシステムSYSに対し登録人物が登録されるときに顧客登録管理部52に提供される情報であり、図8の例では、登録人物の性別、年齢、生年月日、顔情報、決裁情報及び連絡先情報を含む。図8では、生年月日、顔情報、決裁情報及び連絡先情報を白丸にて表し、詳細な記述を省略している。登録人物の顔情報の意義は上述した通りであり、顧客登録データベースDB2中の顔情報が通信部40を介し信号処理部30に提供されることで上述の個人識別用データが生成されて良い。
登録人物は、バスサービスシステムSYSにおいて、オート決裁機能を利用できる。オート決裁機能において、決裁処理部53は、乗降車データベースDB1a及び顧客登録データベースDB2を用い、各登録人物のバス1の利用に対する運賃の決済処理を行う。登録人物の決済情報は、上記決裁処理を行うために必要な情報(クレジットカード情報又は銀行口座情報や、それらに紐付けられた電子決済サービスの個人情報)である。オート決裁機能を利用する際、登録人物は、バス1の乗車又は降車に際し、運賃箱3への現金投入により運賃の支払いを行う必要はなく、所定のカードを運賃箱3のカードリーダに読み込ませることによる運賃の支払いを行う必要も無い。
人物PSが登録人物であることを想定して、決裁処理部53の具体的な動作例を説明する。人物PSが2020年7月17日の午前10時20分に第1地点にてバス1に乗車し、バス1にて第1地点から第2地点まで移動した後、2020年7月17日の午前10時40分に第2地点にてバス1から降車したケースでは、それらの乗降車の内容を示す乗降車日時情報516及び乗降車地点情報517を人物PSに対応付けた乗降車データセットが作成され(図5又は図7参照)、当該乗降車データセットが乗降車データベースDB1及びDB1aに含められる。決裁処理部53は、乗降車データベースDB1aを参照して、人物PSの上記移動(第1地点から第2地点までのバスの利用)に関するバス1の運賃を所定の運賃算出条件にて算出し、算出した運賃の決済義務(支払い義務)を人物PSに割り当てて、算出した運賃の決済を人物PSの決済情報に基づいて実行する。例えば、人物PSの決済情報に示された人物PSの銀行口座から、算出した運賃を引き落とすための金融手続きを実行する。以下、オート決裁機能による決済をオート決裁と称することがある。
バス1の乗客が全て登録人物であって、各乗客に対して個人識別が成功するのであれば、単に、乗客ごとにオート決済を実行すれば足る。但し、バス1の乗客に非登録人物が含まれることも想定される。例えば、第1注目人物が成人の登録人物である一方で、第2注目人物が当該登録人物の子供であって且つ当該子供が未成年の非登録人物である、といったことが考えられる。このような場合において、第1及び第2注目人物がバス1に同乗したときに第1注目人物しかオート決裁できなければ、第2注目人物だけは現金決済等を行う必要が生じ、不便である。本実施形態では、関連付け処理部34(図2参照)を用い、第1及び第2注目人物を互いに関連付けることで、第1及び第2注目人物の運賃を一括して第1注目人物に請求するといったことが可能となる。
以下、複数の実施例の中で、バスサービスシステムSYS(特に関連付け処理部34)に関する幾つかの具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる(即ち複数の実施例の内の任意の2以上の実施例を組み合わせることも可能である)。
<<第1実施例>>
第1実施例を説明する。図9は、関連付け処理部34の動作に特に注目した、乗客のバス1の利用に関するフローチャートである。今、人物PS1及びPS2に注目する。ここでは、以下の関連付けケースを想定する。関連付けケースにおいて、人物PS1は成人の登録人物である一方、人物PS2は人物PS1の未成年の子供(例えば10歳の子供)であって非登録人物であり、人物PS1及びPS2は共通の乗車地点BS01にてバス1に乗車した後、バス1にて乗車地点BS01から降車地点BS02まで移動し、共通の降車地点BS02にてバス1から降車する。
関連付け処理部34は、後述する第1~第4必要条件の充足又は不充足を判定し、人物PS1及びPS2について、第1~第4必要条件が全て充足する場合に人物PS1及びPS2を互いに関連付ける(換言すれば人物PS1に対して人物PS2を関連付ける)。第1~第4必要条件の内の、少なくとも1つ以上の必要条件が不充足であれば、関連付け処理部34は人物PS1及びPS2を互いに関連付けない(換言すれば人物PS1に対して人物PS2を関連付けない)。
関連付け処理部34は、図9のステップS11~S14の処理を実行し、ステップS11~S14にて夫々第1~第4必要条件の充足又は不充足を判定する。尚、図9では、第1、第2、第3又は第4必要条件が不充足となった場合における処理の流れの記載を省略している。
ステップS11に対応する第1必要条件は、人物PS1及びPS2が共通の乗車地点BS01にて乗車することを前提とする。人物PS1及びPS2が共通の乗車地点BS01にて乗車する際、人物PS1及びPS2の乗車対応期間で乗車客用カメラ21により取得される乗車時カメラ画像(図3参照)において、共通のフレーム画像中に人物PS1の顔画像及び人物PS2の顔画像が含まれることがあり、その場合において第1必要条件が充足する。
図10に、第1必要条件が充足するときに取得されたフレーム画像530を示す。フレーム画像530は、人物PS1及びPS2の乗車対応期間で乗車客用カメラ21により取得される乗車時カメラ画像中の1枚のフレーム画像を表している。図10において、顔画像FPS1及びFPS2は、フレーム画像530に含まれる人物PS1及びPS2の顔画像に相当する。このように、第1必要条件は、人物PS1及びPS2が共通の乗車地点BS01にて乗車することを前提とし、人物PS1及びPS2の乗車対応期間で乗車客用カメラ21により取得される乗車時カメラ画像において、共通のフレーム画像中に人物PS1の顔画像及び人物PS2の顔画像が含まれるとき、充足する。人物PS1及びPS2の乗車対応期間で乗車客用カメラ21により取得される乗車時カメラ画像において、人物PS1の顔画像及び人物PS2の顔画像の双方を含んだフレーム画像が存在しないとき、第1必要条件は充足しない。
第2必要条件に対応するステップS12では、乗車時識別処理において人物PS1及びPS2の個人識別の成否が評価される。具体的には、乗車時識別処理において人物PS1に対する個人識別が成功し且つ人物PS2に対する個人識別が失敗しているときにのみ、第2必要条件は充足する。仮に、人物PS1及びPS2の個人識別が夫々に成功するのであれば人物PS1及びPS2を互いに関連付ける必要はない。
ステップS11にて第1必要条件が充足し且つステップS12にて第2必要条件が充足する場合に、ステップS13に進んで第3必要条件の充足又は不充足が判定される。
ステップS13では搭乗中カメラ画像(図3)が参照される。参照される搭乗中カメラ画像は、人物PS1及びPS2にとって共通の搭乗期間にて車内カメラ23により取得される搭乗中カメラ画像であり、当該搭乗中カメラ画像の各フレーム画像には人物PS1及びPS2の頭部の画像が含まれる。人物PS1及びPS2にとって共通の搭乗期間を、以下特に、対象搭乗期間と称することがある。図11の画像550は、参照される搭乗中カメラ画像を構成する1枚のフレーム画像を表している。フレーム画像550には人物PS1の頭部を表す画像HPS1と人物PS2の頭部を表す画像HPS2とが含まれている。上述したように、トラッキング部33は、乗車対応期間、搭乗期間及び降車対応期間の合成期間の全体に亘って各乗客の同定及びトラッキングを行うことができる。トラッキング部33による同定及びトラッキングの結果を用いて、関連付け処理部34は、画像HPS1及びHPS2が夫々人物PS1及びPS2の頭部を表すと認識できる。
関連付け処理部34は、この認識結果に基づき、対象搭乗期間における人物PS1及びPS2間の距離dを検出する。ここで検出される距離dは実空間上の距離であるとし、具体的には例えば、実空間上における人物PS1及びPS2間の最短距離であるとする。関連付け処理部34は、フレーム画像550内における画像HPS1及びHPS2間の距離(画像上の距離)を所定の変換式に当てはめることで、人物PS1及びPS2間の距離dを導出できる。但し、距離dは画像上の距離であっても良い。この場合、フレーム画像550上における画像HPS1及びHPS2間の距離を距離dとして取り扱えば良く、具体的には例えば、フレーム画像550上における画像HPS1及びHPS2間の最短距離を距離dとして取り扱えば良い。
対象搭乗期間を構成する各フレーム画像において距離dを検出することで、対象搭乗期間の全体に亘る距離dの時系列変化が特定される。関連付け処理部34は、対象搭乗期間の距離dに基づく距離評価値dEVAを求め、距離評価値dEVAに基づき対象搭乗期間の距離dが所定の距離条件を充足するか否かを判定する。距離評価値dEVAは対象搭乗期間における距離dの平均値又は中央値である。関連付け処理部34は、距離評価値dEVAが所定の基準値以下であるとき距離条件が充足すると判定し、そうでないとき、距離条件が充足しないと判定する。人物PS1及びPS2が親子である場合など、関連性の高い人物同士であれば距離条件が充足することが期待される。ステップS13で充足又は不充足が判定される第3必要条件は、当該距離条件が充足される場合に充足し、当該距離条件が不充足の場合に不充足となる。このように、第3必要条件は、対象搭乗期間中の搭乗中カメラ画像に基づきトラッキングを通じて取得される距離dが所定の距離条件を満たすときに充足する。
ステップS14に対応する第4必要条件は、人物PS1及びPS2が共通の降車地点BS02にて降車することを前提とする。従って、第1及び第4必要条件が満たされるためには、少なくとも、人物PS1の乗降車地点情報517と人物PS2の乗降車地点情報517とが一致している必要がある。人物PS1及びPS2が共通の降車地点BS02にて降車する際、人物PS1及びPS2の降車対応期間において降車客用カメラ22により取得される降車時カメラ画像から、人物PS1の顔画像及び人物PS2の顔画像が検出され、降車時カメラ画像に対し個人識別部31により降車時識別処理が実行される。この降車時識別処理において人物PS1に対する個人識別が成功し且つ人物PS2に対する個人識別が失敗しているとき、第4必要条件は充足する。仮に、人物PS1及びPS2の個人識別が夫々に成功するのであれば人物PS1及びPS2を互いに関連付ける必要はない。
ステップS11~S14にて第1~第4必要条件が全て充足する場合に限り、ステップS15に進み、ステップS15において、関連付け処理部34は、人物PS1及びPS2を互いに関連付け(換言すれば人物PS1に対して人物PS2を関連付け)、当該関連付けの内容が乗降車管理部37に伝達されることで、当該関連付けの内容を示す関連付け情報515が乗降車データベースDB1に格納される(図5参照)。
例えば図5に示す如く、“R111”の個人IDが割り当てられた登録人物が人物PS1であって、且つ、“TEMP01”の個人ID(暫定個人ID)が割り当てられた非登録人物が人物PS2である場合において、ステップS15にて関連付け処理部34により人物PS1及びPS2が互いに関連付けられたとき、人物PS1の関連付け情報515に対し人物PS2の個人ID(暫定個人ID)“TEMP01”が格納されると共に人物PS2の関連付け情報515に対し人物PS1の個人ID“R111”が格納され、これによって乗降車データベースDB1上で人物PS1及びPS2が互いに関連付けられる。但し、人物PS1の関連付け情報515に対する人物PS2の個人ID(暫定個人ID)“TEMP01”の格納、及び、人物PS2の関連付け情報515に対する人物PS1の個人ID“R111”の格納の内、一方を省略しても構わない。
上述の第1~第4必要条件が全て充足されて人物PS1及びPS2が互いに関連付けられる関連付けケースにおいて、その関連付けの内容は人物PS1及びPS2の乗降車日時情報516及び乗降車地点情報517等と共に車載装置10からサーバ装置SVに送信され、サーバ装置SVでの受信内容に基づき乗降車管理部51にて乗降車データベースDB1aが作成される。関連付けケースでは、人物PS1及びPS2の運賃が一括して人物PS1に請求される。即ち、関連付けケースにおいて、決裁処理部53は、乗降車データベースDB1aを参照して、人物PS1及びPS2のバス1の利用(乗車地点BS01から降車地点BS02までのバス1の利用)に関するバス1の合計運賃を所定の運賃算出条件にて算出し、算出した合計運賃の決済義務(支払い義務)を人物PS1に割り当てて、当該合計運賃の決済を人物PS1の決済情報に基づいて実行する。例えば、人物PS1の決済情報に示された人物PS1の銀行口座から、上記合計運賃を引き落とすための金融手続きを実行する。
このように、関連付け処理部34は、カメラ部20により第1乗客(PS1)及び第2乗客(PS2)が撮影され、第1乗客に対して個人識別が成功する一方で第2乗客に対して個人識別が失敗した場合、カメラ部20による第1乗客及び第2乗客の撮影結果に基づき第2乗客を第1乗客に関連付ける。換言すれば、第1乗客に対して個人識別が成功する一方で第2乗客に対して個人識別が失敗した場合、関連付け処理部34は、第2乗客を第1乗客に関連付けることが可能であって、カメラ部20による第1乗客及び第2乗客の撮影結果に基づき第2乗客の第1乗客への関連付けの是非を決定する。人物PS1、PS2は、夫々、第1、第2乗客の例である。
これにより、個人識別が成されない乗客(第2乗客)が存在していても、カメラ撮影結果を用いて第1及び第2乗客間の関連性を評価し、関連性があると判断すれば、第1乗客に第2乗客を関連付けることができる。このような関連付けを行うことで、個人識別が成されない乗客(第2乗客)が存在していても、オート決裁を有効に機能させることが可能となる。
具体的には例えば、バス1に対し第1乗客(PS1)及び第2乗客(PS2)が共通の乗車地点(BS01)で乗車した後、対象搭乗期間を経て共通の降車地点(BS02)にて降車し、且つ、第1乗客に対して個人識別が成功する一方で第2乗客に対して個人識別が失敗するケース(以下、特定ケースと称する)において、関連付け処理部34は、対象搭乗期間における、第1乗客及び第2乗客に対するカメラ部20の撮影結果に基づき、第2乗客を第1乗客に関連付ける(換言すれば、第2乗客の第1乗客への関連付けの是非を決定する)。
対象搭乗期間におけるカメラ撮影結果を参照することで第1及び第2乗客間の関連性を評価することができる。そして、関連性があると判断すれば、第1乗客に第2乗客を関連付けることができる。対象搭乗期間中の各乗客の挙動を評価することで、乗車時に単に同時に映り込んだ複数の乗客を誤って関連付けるといったことを回避できる。
更に具体的には例えば、関連付け処理部34は、上記の特定ケースにおいて、対象搭乗期間における第1乗客及び第2乗客へのトラッキング結果(トラッキング部33によるトラッキングの結果)に基づき、第2乗客を第1乗客に関連付ける(換言すれば、第2乗客の第1乗客への関連付けの是非を決定する)。
第1及び第2乗客間に関連性がある場合、対象搭乗期間において第1及び第2乗客は近接し続けると想定され、対象搭乗期間において第1及び第2乗客をトラッキングすることで、第1及び第2乗客が近接し続けているか否かを評価できる。そして、関連性があると判断すれば、第1乗客に第2乗客を関連付けることができる。
更に具体的には例えば、関連付け処理部34は、上記の特定ケースにおいて、対象搭乗期間における第1乗客(PS1)及び第2乗客(PS2)へのトラッキング結果に基づき、対象搭乗期間における第1乗客及び第2乗客間の距離(d)を評価し、距離(d)に基づいて第2乗客を第1乗客に関連付ける(換言すれば、第2乗客の第1乗客への関連付けの是非を決定する)。
上記距離を参照することで、第1及び第2乗客間の関連性を精度良く判定することができ、関連性があると判断すれば第1乗客に第2乗客を関連付けることができる。
詳細な例として、図9の処理が挙げられ、上述の第1~第4必要条件が充足するときに、第2乗客を第1乗客に関連付けると良い。
これにより、個人識別が成されない乗客(第2乗客)が存在していても、第1及び第2乗客間の関連性を精度良く判定することができ、関連性があると判断すれば第1乗客に第2乗客を関連付けることができる。
また、乗降車データベースDB1を作成及び保持する乗降車管理部37を車載装置1に設け、第2乗客(PS2)が第1乗客(PS1)に関連付けられる場合、その関連付けを示す関連付け情報(515)を乗降車データベースDB1に含めると良い。これにより、乗降車データベースDB1に基づき、第1及び第2乗客の運賃の決済義務(支払い義務)を第1乗客に割り当てて、オート決裁を有効に機能させることが可能となる。
また、乗降車データベースDB1aを作成及び保持する乗降車管理部51をサーバ装置SVに設け、第2乗客(PS2)が第1乗客(PS1)に関連付けられる場合、その関連付けを示す関連付け情報(515)を乗降車データベースDB1aに含めると良い。これにより、乗降車データベースDB1aに基づき、第1及び第2乗客の運賃の決済義務(支払い義務)を第1乗客に割り当てて、オート決裁を有効に機能させることが可能となる。
即ち、サーバ装置SVに決裁処理部53を設けておき、決済処理部53は、第2乗客(PS2)が第1乗客(PS1)に関連付けられる場合、バス1の利用に関する第1乗客及び第2乗客の運賃の決済義務(支払い義務)を第1乗客に割り当てると良い。これにより、個人識別が成されない乗客(第2乗客)が存在していても、オート決裁を有効に機能させることが可能となる。
尚、車載装置10側で乗降車データベースDB1を作成及び保持することは必須ではなく、サーバ装置SV側で乗降車データベースDB1aを作成及び保持するための情報を車載装置10側で取得し、車載装置10は取得情報をサーバ装置SVに伝達するだけであっても良い。
<<第2実施例>>
第2実施例を説明する。第2実施例並びに後述の第3及び第4実施例は、第1実施例を基礎とする実施例であり、第2実施例において特に述べない事項に関しては、矛盾なき限り、第1実施例の記載が第2実施例に適用されて良い(第3及び第4実施例においても同様)。
第1実施例の方法により、人物PS2が人物PS1に関連付けられるべき多くのケースにおいて実際に人物PS2が人物PS1に関連付けられると期待されるが、そのような関連付けが正しく機能しないこともあり得る。例えば、乗車時において人物PS1及びPS2の顔が同時に乗車客用カメラ21の撮影領域に収まりきらないことで第1必要条件が不充足となったり、車内で人物PS2のみが人物PS1から離れた座席6に着席することで第3必要条件が不充足となったりすることがあり得る。
これらのケースでもオート決裁機能の利便性を人物PS1に享受すべく、手動関連付けを可能にしておいても良い。具体的には例えば、関連付け処理部34は、所定の操作部(不図示)に対し所定の関連付け要求が入力されたときには、カメラ部20による人物PS1及びPS2の撮影結果に依らず、人物PS2を人物PS1に関連付けるようにしても良い。これにより、人物PS2が人物PS1に関連付けられるべきあらゆるケースにおいて実際に人物PS2を人物PS1に関連付けることができ、人物PS1はオート決裁の利便性を十分に享受することが可能となる。
ここで、操作部は、バス1の車内であって且つバス1の運転席2の近傍に設けられる操作部であり、バス1の運転手の入力操作を受け付けて入力操作内容を車載装置10(特に関連付け処理部34)に伝達する。つまり、ここにおける操作部は、運転手と車載装置10との間のマンマシンインターフェースである。操作部に対する運転手の操作の種類は任意であり、例えば物理的な操作でも良いし、音声操作でも良い。即ち例えば、操作部は、押しボタンスイッチやタッチパネルにて構成されていても良いし、マイクロホン及び音声認識部にて構成されていても良い。操作部に対する運転手の操作の1つが上記関連付け要求の入力として機能する。
操作部に関連付け要求が入力されたとき、その入力内容が関連付け処理部34に伝達され、関連付け処理部34は、上述の第1~第4必要条件の充足又は不充足に関係なく、人物PS1に対して人物PS2を関連付ける。つまり、操作部に関連付け要求が入力されたときには、上述の第1~第4必要条件の充足又は不充足に関係なく、図9のステップS15に進んでステップS15の処理が実行される。人物PS1及びPS2間が関連付けられた後の動作は第1実施例で述べた通りである。
<<第3実施例>>
第3実施例を説明する。第1又は第2実施例に示した方法により、人物PS1に対し人物PS2が関連付けられ、その関連付けを示す内容が乗降車データベースDB1aに格納された場合、サーバ装置SVは、顧客登録データベースDB2における第1乗客(PS1)の連絡先情報に基づき、第1乗客(PS1)の登録連絡先(例えば電子メールアドレス)に対し関連付け結果情報を送信すると良い。
関連付け結果情報は、人物PS1及びPS2のバス1の利用の詳細(乗車日時、降車日時、乗車地点、降車地点)を示す情報と、当該利用に関わる人物PS1及びPS2の運賃を示す情報と、人物PS2が人物PS1に関連付けられたことを示す情報と、人物PS1及びPS2の運賃が人物PS1に請求されることを示す情報と、を含む。
人物PS1は、これらの情報を参照することで、人物PS2が正当に人物PS1に関連付けられ、人物PS1及びPS2の運賃が正当に人物PS1に請求されることを認識できる。仮に、システムのミス等により身に覚えのない請求が受信された場合、人物PS1は、関連付け結果情報に含まれるサービスセンターの連絡先に連絡するといった対応を行う。
<<第4実施例>>
第4実施例を説明する。
第1実施例では、一人の登録人物である人物PS1に対し、一人の非登録人物である人物PS2が関連付けられることを想定したが、人物PS1に対し複数の非登録人物が関連付けられることがあっても良い。この場合には、複数の非登録人物の夫々を人物PS2として捉え、人物PS1と人物PS2の組ごとに第1~第4必要条件の充足又は不充足を判定することで、組ごとに人物PS1及びPS2間の関連付けの是非を決定すれば良い。第2実施例においても、人物PS1に対し複数の非登録人物が関連付けられることがあっても良い。
乗車を輸送する車両としてバスを想定したが、本発明に係る車載装置10が搭載されるべき車両はバスに分類されない車両でありえても良い。バスに分類されない車両とは、例えば、電車である。
図2のバスサービスシステムSYSは本発明に係る乗客管理システムに相当する、又は、乗客管理システムを含んでいる、と言える。
本発明に係る任意の装置(例えば車載装置10、信号処理部30又はサーバ装置SV)である対象装置を、集積回路等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なメモリに保存しておいても良い。そして、該プログラムをプログラム実行装置(例えば、対象装置に搭載可能なマイクロコンピュータ)上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体は対象装置と異なる機器に搭載又は接続されても良い。
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。