JP7480828B1 - 画像認識装置、画像認識装置の制御方法および乗客コンベア制御システム - Google Patents

Abstract

【課題】移動対象が乗客コンベアに乗車する可能性をより正確に判定する画像認識装置を提供する。【解決手段】画像認識装置（１０）は、乗客コンベア（３０）の乗降口（３１）前の床面における第１乗降口近傍領域（Ｆ１）を含む検出領域（Ｒ１）を撮影するカメラ（２）の撮影画像（Ｖ）において、移動対象（Ｍ）を検出する移動対象検出部（１３）と、第１乗降口近傍領域（Ｆ１）に移動対象（Ｍ）が向かっているか否かを判定する移動方向判定部（１４）と、移動対象（Ｍ）が乗客コンベア（３０）に乗車する可能性を判定する乗車可能性判定部（１５）と、を備えている。【選択図】図１

Description

本発明は、画像認識装置、画像認識装置の制御方法および画像認識装置を備える乗客コンベア制御システムに関する。

エスカレータの乗客に応じたアナウンスが行われるアナウンスシステムが知られている。例えば、特許文献１には、乗客コンベアの乗降口をカメラで撮影し、該カメラによって撮影された撮影画像から乗降口の乗客を検知し、少なくとも乗降口の混み具合、または乗降口の乗客の特徴に応じた内容のアナウンスをスピーカから出力させるアナウンスシステムが開示されている。

特開２０２１－０８４７５２公報

しかしながら、乗降口をカメラで撮影した撮影画像には、実際に乗客コンベアを利用する乗客のみならず、乗客コンベアに乗車せず、乗降口付近を通過するのみの人も撮影されるため、乗客コンベアに実際に乗車しない人に対してもアナウンスを行う場合があった。

本発明の一態様は、移動対象が乗客コンベアに乗車する可能性をより正確に判定する画像認識装置を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る画像認識装置は、乗客コンベアの乗降口前の床面における第１乗降口近傍領域を含む検出領域を撮影するカメラの撮影画像において、移動対象を検出する移動対象検出部と、前記撮影画像において、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定する移動方向判定部と、前記移動方向判定部の判定結果に基づいて、前記移動対象が前記乗客コンベアに乗車する可能性を判定する乗車可能性判定部と、を備えている。

上記構成によれば、移動方向判定部による第１乗降口近傍領域に移動対象が向かっているか否かの判定に基づき、乗車可能性判定部により移動対象が乗客コンベアに乗車する可能性が判定される。換言すると、移動対象が乗客コンベアに乗車する可能性は、第１乗降口近傍領域に移動対象が向かっているか否かにより判定される。

これにより、例えば、移動方向判定部により第１乗降口近傍領域に移動対象に向かっていると判定された場合、画像認識装置は移動対象が乗客コンベアに乗車する可能性が高いと判定し、移動方向判定部により第１乗降口近傍領域に移動対象が向かっていると判定されない場合、画像認識装置は移動対象が乗客コンベアに乗車しないと判定することができる。そのため、画像認識装置は、移動対象が乗客コンベアに乗車する可能性をより正確に判断することができる。

本発明の他の態様に係る画像認識装置では、前記第１乗降口近傍領域は、前記乗客コンベアの走行方向に幅を有していてもよい。

上記の構成によれば、移動方向判定部による第１乗降口近傍領域に移動対象が向かっているか否かの判定を、乗客コンベアの走行方向に幅を持った第１乗降口近傍領域に対して行うことができる。そのため、当該幅の領域において横から（乗客コンベアの走行方向の略垂直な方向から）近づく場合の移動対象についても洩らすことなく乗客コンベアに乗車する可能性を判定することができる。

本発明の他の態様に係る画像認識装置では、前記移動方向判定部は、所定の画像取得間隔毎に、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定し、前記移動方向判定部により、判定期間内に所定回数以上、前記第１乗降口近傍領域に前記移動対象が向かっていることが判定された場合、前記乗車可能性判定部は、前記移動対象が前記乗客コンベアに乗車する可能性が高いと判定してもよい。

上記の構成によれば、判定期間および所定回数を適切に設定することで、より正確に移動対象が乗客コンベアに乗車する可能性を判定することができる。

本発明の他の態様に係る画像認識装置では、前記乗車可能性判定部は、前記判定期間経過後、前記第１乗降口近傍領域を含む第２乗降口近傍領域に前記移動対象が存在する場合、前記移動対象が前記乗客コンベアに乗車する可能性がさらに高いと判定してもよい。

例えば、乗降口から離れた場所で判定期間内に所定回数以上、第１乗降口近傍領域に移動対象が向かっていると判定された場合、その後移動対象が乗降口に向かわなくなる可能性がある。これに対して上記の構成によれば、判定期間経過後に第２乗降口近傍領域に移動対象が存在することを確認しているので、移動対象が乗客コンベアに乗車するか否かの判定精度を高めることができる。

本発明の他の態様に係る画像認識装置では、前記移動方向判定部は、前記カメラの位置と前記移動対象との距離が遠いほど前記画像取得間隔を長くしてもよい。

カメラの性質上、カメラとの距離が離れている移動対象の動きは、撮影画像上では相対的に小さくなる。上記の構成によれば、移動対象がカメラから離れている場合に、画像取得間隔を長くすることで、撮影画面上の動きが大きくなり、誤検出が生じにくくなる。一方、カメラとの距離が近い場合は、判定期間が短くなるので、例えば、移動対象が乗降口に近づいている適切なタイミングでアナウンス等の制御が可能となる。

本発明の他の態様に係る画像認識装置では、前記乗車可能性判定部は、前記カメラの位置と前記移動対象との距離が遠いほど、前記判定期間を長くしてもよい。

カメラとの距離が離れている移動対象物の動きは、乗客コンベアへ向かう動きとの関係が少ない可能性がある。上記の構成によれば、カメラの位置と移動対象との距離が遠いほど、第１乗降口近傍領域に移動対象が向かっているか否かを判定する判定時間を長くし、判定基準を厳しくすることができるので、誤検出を抑制することができる。

本発明の他の態様に係る画像認識装置では、前記乗車可能性判定部は、前記移動対象の移動速度が速いほど、前記判定期間を短くしてもよい。

上記の構成によれば、判定に要する判定期間を短くすることで、移動対象の移動速度が速くても、乗降口に到達するまでに、移動対象が乗客コンベアに乗車する可能性の判定を行うことができる。

本発明の他の態様に係る画像認識装置では、前記移動方向判定部は、ある時点の前記撮影画像において、前記第１乗降口近傍領域を含み、前記移動対象の略中心点から見て、前記第１乗降口近傍領域の幅が最大となるように設定される前記第１乗降口近傍領域の外周上の２点と、前記略中心点と、をつないで形成される移動方向判定領域に、所定時間後の前記撮影画像における前記移動対象の略中心点が存在している場合、前記移動対象が前記第１乗降口近傍領域に向かっていると判定してもよい。

上記の構成によれば、移動方向判定領域に所定時間後の移動対象の略中心点が存在するか否かの簡単な判定で、画像認識装置は移動対象が乗客コンベアに乗車する可能性を判定することができる。

本発明の他の態様に係る画像認識装置では、前記第１乗降口近傍領域は略長方形であり、前記略長方形において対向する１組の辺が前記乗客コンベアの前記乗降口の幅方向と略平行であり、前記移動方向判定部は、ある時点の前記撮影画像において、前記移動対象の略中心点と、前記略長方形の一方の対角線の両端と、をつないで形成される第１移動方向判定領域、または、前記移動対象の略中心点と、前記略長方形の他方の対角線の両端と、をつないで形成される第２移動方向判定領域、のいずれかに、所定時間後の前記撮影画像における前記移動対象の略中心点が存在している場合、前記移動対象が前記第１乗降口近傍領域に向かっていると判定してもよい。

上記の構成によれば、第１移動方向判定領域または第２移動方向判定領域に、所定時間後の移動対象の略中心点が存在するか否かの簡単な判定で、画像認識装置は移動対象が乗客コンベアに乗車する可能性を判定することができる。

本発明の他の態様に係る画像認識装置では、前記第１乗降口近傍領域は略長方形であり、前記略長方形において対向する１組の辺が前記乗客コンベアの前記乗降口の幅方向と略平行であり、前記移動方向判定部は、ある時点の前記撮影画像における前記移動対象の略中心点と、所定時間後の前記撮影画像における前記移動対象の略中心点とを通る半直線が、前記略長方形の対角線のいずれかと交わる場合、前記移動対象が前記第１乗降口近傍領域に向かっていると判定してもよい。

上記の構成によれば、移動対象の略中心点と、所定時間後の移動対象の略中心点とをつなぐ半直線が、第１乗降口近傍領域のいずれかの対角線と交わるか否かの簡単な判定で、画像認識装置は移動対象が乗客コンベアに乗車する可能性を判定することができる。

本発明の一態様に係る乗客コンベア制御システムは、上記画像認識装置と、前記画像認識装置によって前記移動対象が前記乗客コンベアに乗車する可能性が高いと判定された場合に、前記移動対象に応じて、音声出力制御、表示制御、および、前記乗客コンベアの運転制御の少なくともいずれか１つを実施する制御装置と、を備えていてもよい。

上記の構成によれば、乗客コンベアに対する音声出力制御、表示制御、および、乗客コンベアの運転制御は、画像認識装置により移動対象が乗客コンベアに乗車する可能性が高いと判定された場合、移動対象に応じて実施される。そのため、乗客コンベアに乗車する可能性が高い移動対象に応じた音声出力制御等を行うことができる。

本発明の他の態様に係る乗客コンベア制御システムでは、前記画像認識装置は、前記撮影画像により前記移動対象の属性を検出する属性検出部をさらに備え、前記制御装置は、前記移動対象の属性に応じて制御内容を変更してもよい。

上記の構成によれば、各属性に応じたアナウンスや乗客コンベアの運転制御等を行うことができる。

本発明の一態様に係る画像認識装置の制御方法は、乗客コンベアの乗降口前の床面における第１乗降口近傍領域を含む検出領域を撮影するカメラの撮影画像において、移動対象を検出する移動対象検出ステップと、前記撮影画像において、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定する移動方向判定ステップと、前記移動方向判定ステップの判定結果に基づいて、前記移動対象が前記乗客コンベアに乗車する可能性を判定する乗車可能性判定ステップと、を含む。

本発明の各態様に係る画像認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像認識装置が備える各部（ソフトウェア要素）として動作させることにより前記画像認識装置をコンピュータにて実現させる画像認識装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、移動対象が乗客コンベアに乗車する可能性をより正確に判定する画像認識装置を提供することができる。

本発明の実施形態１に係る画像認識装置を含む乗客コンベア制御システムの機能ブロック図である。 上記乗客コンベア制御システムのカメラの撮影画像を示す図である。 移動対象の検出方法の一例を示す図である。 移動対象の検出方法の他の例を示す図である。 移動対象の検出方法のさらに他の例を示す図である。 移動方向判定領域の形成の一例を説明する図である。 移動方向判定領域の形成の他の例を説明する図である。 第１乗降口近傍領域に移動対象が向かっているか否かの判定方法の一例について説明する図である。 第１乗降口近傍領域に移動対象が向かっているか否かの判定方法の他の例について説明する図である。 第２乗降口近傍領域について説明する図である。 第５領域における乗車する可能性の判定を説明する図である。 上記画像認識装置の動作の一例を示すフロー図である。 本発明の実施形態２に係る画像認識装置における、第１乗降口近傍領域に移動対象が向かっているか否かの判定方法の一例について説明する図である。 本発明の実施形態３に係る画像認識装置における、第１乗降口近傍領域に移動対象が向かっているか否かの判定方法の一例について説明する図である。

〔実施形態１〕
＜乗客コンベア制御システムの概要＞
以下、本発明の一実施形態について、詳細に説明する。図１は、本発明の実施形態１に係る画像認識装置１０を含む乗客コンベア制御システム１の機能ブロック図である。乗客コンベア制御システム１は、移動対象Ｍが乗客コンベア３０に乗車する可能性をより正確に判定し、乗客コンベア３０に乗車する移動対象Ｍに応じて適切なアナウンス等を行うシステムである。

図１に示すように、乗客コンベア制御システム１は、カメラ２と、音声出力部３と、表示部４と、画像認識装置１０と、乗客コンベア３０と、乗客コンベア制御装置４０（制御装置）と、を備えている。

乗客コンベア３０は、移動対象Ｍを自動的に階上または階下に運ぶコンベアであり、例えば、エスカレータである。乗客コンベア３０は上記に限らず、ムービングウォーク等、同一階において水平方向に移動対象Ｍを運ぶ水平型のコンベアであってもよい。

乗客コンベア制御装置４０は、画像認識装置１０によって移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定された場合に、移動対象Ｍに応じて、音声出力制御、表示制御、および、乗客コンベア３０の運転制御の少なくともいずれか１つを実施する。また、乗客コンベア制御装置４０は、移動対象Ｍの属性に応じて制御内容を変更する。

乗客コンベア制御装置４０は、制御部４１と、メモリ４６と、を備えている。制御部４１は乗客コンベア制御装置４０の各部を統括的に制御する。制御部４１の機能は、メモリ４６に記憶されたプログラムを、ＣＰＵ（Central Processing Unit）が実行することで実現されてよい。メモリ４６は、乗客コンベア制御装置４０が実行する各種のプログラム、およびプログラムによって使用されるデータを格納する。制御部４１は、情報取得部４２、音声制御部４３と、表示制御部４４と、運行制御部４５と、を備えている。

情報取得部４２は、画像認識装置１０から送信される乗車判定情報を取得する。乗車判定情報は、後述する乗車可能性判定部１５により、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定された判定結果、および、該移動対象Ｍの情報を含む。移動対象Ｍの情報は、例えば、移動対象Ｍの属性および移動対象Ｍが乗客コンベア３０に乗車すると推測される時刻等である。移動対象Ｍの属性としては、例えば、カート（ショッピングカート、車椅子、台車、ベビーカー、高齢者用カートなど）を押している、降り口から乗車しようとしている、単独の子供である、視覚障がい者である、等である。

音声制御部４３は、乗車判定情報に基づき、乗客コンベア３０に乗車する可能性が高いと判定された移動対象Ｍの属性に応じて、音声出力部３から出力される音声を制御する。これにより、乗客コンベア３０に乗車する可能性が高い移動対象Ｍの属性に応じた音声出力を行うことができる。

例えば、音声制御部４３は、乗客コンベア３０に乗車する可能性が高いと判定された移動対象Ｍがカートを押している場合、該移動対象Ｍが乗客コンベア３０に乗車するタイミングに合わせて、注意喚起する音声を音声出力部３に出力させる。

表示制御部４４は、乗車判定情報に基づき、乗客コンベア３０に乗車する可能性が高いと判定された移動対象Ｍの属性に応じて、表示部４に表示される画像を制御する。これにより、乗客コンベア３０に乗車する可能性が高い移動対象Ｍの属性に応じた画像表示を行うことができる。

例えば、表示制御部４４は、乗客コンベア３０に乗車する可能性が高いと判定された移動対象Ｍがカートを押している利用者である場合、該移動対象Ｍが乗客コンベア３０に乗車するタイミングに合わせて、注意喚起する画像を表示部４に表示させる。

運行制御部４５は、乗車判定情報に基づき、乗客コンベア３０に乗車する可能性が高いと判定された移動対象Ｍの属性に応じて、乗客コンベア３０の運行を制御する。これにより、乗客コンベア３０に乗車する可能性が高い移動対象Ｍの属性に応じた乗客コンベア３０の運行を行うことができる。

例えば、運行制御部４５は、乗客コンベア３０に乗車する可能性が高いと判定された移動対象Ｍが視覚障がい者である場合、該移動対象Ｍが乗客コンベア３０に乗車するタイミングに合わせて、乗客コンベア３０の速度を遅くする。

音声出力部３は、音声制御部４３の制御により音声を出力する。音声出力部３は、例えば、スピーカであり、乗客コンベア３０に乗車する移動対象Ｍに、出力する音声が聞こえる位置に配置されている。

表示部４は、表示制御部４４の制御により画像を表示する。表示部４は、例えば、液晶ディスプレイであり、乗客コンベア３０に乗車する移動対象Ｍが表示を確認できる位置に配置されている。

図２は、乗客コンベア制御システム１のカメラ２の撮影画像Ｖを示す図である。なお、図２において、乗客コンベア３０の乗降口３１の幅方向をｘ方向、乗客コンベア３０の走行方向をｙ方向とする。

カメラ２は、図２に示すように、乗客コンベア３０の乗降口３１前の床面における第１乗降口近傍領域Ｆ１を含む検出領域Ｒ１を撮影する。乗降口３１は、乗車口および降車口を含む。すなわち、カメラ２は乗車口における検出領域Ｒ１を撮影するものであってもよく、降車口における検出領域Ｒ１を撮影するものであってもよい。検出領域Ｒ１は、撮影画像Ｖにおいて、乗降口３１の両端を結ぶ直線を撮影画像Ｖの外枠まで延伸させたさせた場合に乗客コンベア３０の手前側に位置する領域である。

第１乗降口近傍領域Ｆ１は、乗客コンベア３０の走行方向（ｙ方向）に幅を有する。また、第１乗降口近傍領域Ｆ１は略長方形であり、略長方形において対向する１組の辺が乗客コンベア３０の乗降口３１の幅方向（ｘ方向）と略平行である。カメラ２は、撮影した撮影画像を画像認識装置１０に送信する。

（画像認識装置）
画像認識装置１０は、移動対象Ｍが乗客コンベア３０に乗車する可能性をより正確に判定する。画像認識装置１０は、制御部１１と、メモリ１７と、を備えている。制御部１１は、画像認識装置１０の各部を統括的に制御する。制御部１１の機能は、メモリ１７に記憶されたプログラムを、ＣＰＵが実行することで実現されてよい。制御部１１の詳細については後述する。メモリ１７は、制御部１１が実行する各種のプログラム、およびプログラムによって使用されるデータを格納する。制御部１１は、情報取得部１２と、移動対象検出部１３と、移動方向判定部１４と、乗車可能性判定部１５と、属性検出部１６と、を備えている。

（情報取得部）
情報取得部１２は、カメラ２が撮影した撮影画像Ｖを取得する。情報取得部１２は、例えば、所定のタイミングでカメラ２から撮影画像Ｖを取得する。

（移動対象検出部）
図２に示すように、移動対象検出部１３は、ある時点のカメラ２の撮影画像Ｖにおいて、移動対象Ｍを検出する。

撮影画像Ｖにおける、移動対象Ｍの検出方法として、例えば、深層学習を用いて移動対象Ｍを検出する方法等がある。その場合、移動対象検出部１３は、例えば、ＹＯＬＯアルゴリズムや、Ｒ－ＣＮＮ、ＳＳＤなどの物体検出アルゴリズムを用いて撮影画像Ｖから移動対象Ｍを検出する。

撮影画像Ｖにおいて移動対象Ｍを検出すると、移動対象検出部１３は、検出した移動対象Ｍを囲う矩形Ｓに基づき、移動対象Ｍの略中心点Ｐを特定する。特定された略中心点Ｐは移動方向判定部１４に出力される。

移動対象検出部１３は、移動対象Ｍの検出を画像取得毎に繰り返す。画像取得間隔は、例えば、２５０ｍsecである。移動対象検出部１３は検出結果を移動方向判定部１４に送信する。

（移動対象の同一判定）
移動対象検出部１３は、同一判定により、ある時点の撮影画像Ｖで検出した移動対象Ｍを、ある時点から所定時間経過した時点の撮影画像Ｖにおいて検出する。検出方法については特に限定されず、種々の方法を用いることができる。同一判定を用いた検出方法の例について以下に説明する。

下記の検出方法の説明では、撮影画像Ｖ（Ｔ－１）で検出した移動対象Ｍを撮影画像Ｖ（Ｔ）で検出する方法について説明する。ここで、符号の括弧書きは時点を示す。例えば、撮影画像Ｖ（Ｔ）は、ある時点Ｔの撮影画像Ｖを示す。時点を示す括弧書きについて、以降において同様である。

（矩形の重なりで同一判定）
図３は移動対象Ｍの検出方法の一例を示す図である。図３の３００１は、推定矩形Ｓ（Ｅ）の推定を説明する図であり、図３の３００２は、移動対象Ｍの矩形Ｓ（Ｔ）の判定を説明する図である。

図３の３００１に示すように、移動対象検出部１３は、時点Ｔ－２における移動対象Ｍの矩形Ｓ（Ｔ－２）から時点Ｔ－１における移動対象Ｍの矩形Ｓ（Ｔ－１）への移動ベクトルＶＣ（Ｔ－１）に基づき、時点Ｔ－１の矩形Ｓ（Ｔ－１）から、予測される時点Ｔの矩形Ｓ（Ｔ）への推定移動ベクトルＶＣ（Ｅ）を推定する。また、推定移動ベクトルＶＣ（Ｅ）および矩形Ｓ（Ｔ－１）の矩形サイズから、予測される時点Ｔでの推定矩形Ｓ（Ｅ）を推定する。

次に、図３の３００２に示すように、移動対象検出部１３は、時点Ｔで検出された移動対象ｍのそれぞれに対応する矩形ｓ（Ｔ）のうち、推定矩形Ｓ（Ｅ）との重なり（図３の３００２のハッチング部）が最大となる矩形ｓ（Ｔ）を、時点Ｔの移動対象Ｍに対応する矩形Ｓ（Ｔ）であると判定する。つまり、移動対象検出部１３は、推定矩形Ｓ（Ｅ）との重なりが最大となる矩形ｓ（Ｔ）に対応する移動対象ｍを移動対象Ｍであると判定する。ここで、移動対象ｍは、移動対象Ｍおよび移動対象Ｍ以外の移動対象のいずれかを示し、矩形ｓは移動対象ｍを囲う矩形を示す。

（略中心点間の距離で同一判定）
図４は移動対象Ｍの検出方法の他の例を示す図である。図４の４００１は、推定略中心点Ｐ（Ｅ）の推定を説明する図であり、図４の４００２は、移動対象Ｍの略中心点Ｐ（Ｔ）の判定を説明する図である。

図４の４００１に示すように、移動対象検出部１３は、時点Ｔ－２における移動対象Ｍの略中心点Ｐ（Ｔ－２）から時点Ｔ－１における移動対象Ｍの略中心点Ｐ（Ｔ－１）への移動ベクトルＶＣ（Ｔ－１）に基づき、時点Ｔ－１の略中心点Ｐ（Ｔ－１）から、予測される時点Ｔの略中心点Ｐ（Ｔ）への推定移動ベクトルＶＣ（Ｅ）を推定する。移動対象検出部１３は、推定移動ベクトルＶＣ（Ｅ）に基づき、予測される時点Ｔでの推定略中心点Ｐ（Ｅ）を推定する。

次に、図４の４００２に示すように、時点Ｔで検出された移動対象ｍのそれぞれに対応する略中心点ｐ（Ｔ）のうち、推定略中心点Ｐ（Ｅ）との距離Ｌ１が最小であり、かつ、該略中心点ｐ（Ｔ）を有する矩形ｓ（Ｔ）が時点Ｔ－１の移動対象Ｍの矩形Ｓ（Ｔ－１）と重なる場合、移動対象検出部１３は、該略中心点ｐ（Ｔ）を時点Ｔの移動対象Ｍの略中心点Ｐ（Ｔ）であると判定する。つまり、移動対象検出部１３は、該略中心点ｐ（Ｔ）を有する移動対象ｍを移動対象Ｍであると判定する。ここで、略中心点ｐは移動対象ｍの略中心点を示す。

（複数の矩形において矩形の面積が大きい順で同一判定）
図５は移動対象Ｍの検出方法の他の例を示す図である。図５の５００１は、時点Ｔ－１および時点Ｔでの矩形Ｓを説明する図である。図５の５００２は、時点Ｔ－１および時点Ｔでの矩形Ｓの重なりを説明する図であり、図５の５００３は、時点Ｔでの矩形Ｓ（Ｔ）の同一判定の概念を説明する図である。なお、以下では、各時点において、移動対象Ｍと移動対象Ｍ１とが検出される場合について説明する。

移動対象検出部１３は、時点Ｔ－１で、矩形Ｓ（Ｔ－１）および矩形Ｓ１（Ｔ－１）においてそれぞれ移動対象Ｍおよび移動対象Ｍ１を検出する。また、移動対象検出部１３は、時点Ｔで、矩形ｓ（Ｔ）および矩形ｓ１（Ｔ）においてそれぞれ移動対象ｍおよび移動対象ｍ１を検出する。

次に、移動対象検出部１３は、時点Ｔ－１での矩形Ｓ（矩形Ｓ（Ｔ－１）および矩形Ｓ１（Ｔ－１））において、面積が大きい矩形Ｓ（Ｔ－１）から順に同一判定を行う。移動対象検出部１３は、図５の５００２に示すように矩形ｓ（Ｔ）および矩形ｓ１（Ｔ）と、矩形Ｓ（Ｔ－１）との重なり領域を特定する。

続いて、移動対象検出部１３は、矩形Ｓ（Ｔ－１）と矩形ｓ（Ｔ）とが重なる範囲である重なり部Ｊ１の面積と、矩形Ｓ（Ｔ－１）と矩形ｓ１（Ｔ）とが重なる範囲である重なり部Ｊ２の面積とを比較する。移動対象検出部１３は、重なり部の面積が最大となる矩形ｓが時点Ｔの移動対象Ｍの矩形Ｓ（Ｔ）であると判定する。

図５の５００３に示す場合では、重なり部Ｊ１が重なり部Ｊ２よりも大きいため、重なり部Ｊ１の面積が最大となり、移動対象検出部１３は、矩形ｓ（Ｔ）を時点Ｔの移動対象Ｍに対応する矩形Ｓ（Ｔ）であると判定する。つまり、移動対象検出部１３は、該矩形ｓ（Ｔ）に対応する移動対象ｍが移動対象Ｍであると判定する。

矩形ｓ（Ｔ）が移動対象Ｍの矩形Ｓ（Ｔ）と判定されたため、矩形Ｓ１（Ｔ－１）の同一判定は、矩形ｓ１（Ｔ）のみで行われる。そのため、矩形Ｓ１（Ｔ－１）と矩形ｓ１（Ｔ）とが重なる範囲である重なり部Ｊ３の面積が最大となり、移動対象検出部１３は、矩形ｓ１（Ｔ）を時点Ｔの移動対象Ｍ１に対応する矩形Ｓ１（Ｔ）であると判定する。つまり、移動対象検出部１３は、該矩形ｓ１（Ｔ）に対応する移動対象ｍ１が移動対象Ｍ１であると判定する。

（属性検出部）
属性検出部１６は、撮影画像Ｖにより移動対象Ｍの属性を検出する。属性検出部１６は、検出した移動対象Ｍの属性を乗客コンベア制御装置４０に送信する。

（移動方向判定部）
移動方向判定部１４は、撮影画像Ｖにおいて、所定の画像取得間隔毎に、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かを判定する。

（移動方向判定部による判定）
図２、図６～図９に基づき、移動方向判定部１４が撮影画像Ｖにおいて、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かを判定する方法について以下に説明する。

（移動方向判定領域の形成）
移動方向判定部１４は、移動方向判定領域Ｇを形成する。移動方向判定領域Ｇは、ある時点の撮影画像Ｖにおいて、第１乗降口近傍領域Ｆ１を含み、移動対象Ｍの略中心点Ｐから見て、第１乗降口近傍領域Ｆ１の幅が最大となるように設定される第１乗降口近傍領域Ｆ１の外周上の２点と、略中心点Ｐと、をつないで形成される。

図６は移動方向判定領域Ｇの形成の一例を説明する図であり、図７は移動方向判定領域の形成の他の例を説明する図である。図２、図６および図７に基づき、移動方向判定領域Ｇの形成について具体的に説明する。

前提として、図２に示すように、第１乗降口近傍領域Ｆ１の略長方形において、乗降口３１側の頂点を紙面左側（ｘ方向マイナス側）から頂点Ｃ１および頂点Ｃ２、辺Ｃ１Ｃ２に対向する辺を辺Ｃ３Ｃ４とする。また、検出領域Ｒ１を第１領域Ｒ１１から第６領域Ｒ１６に分ける。以下に説明するように、第１領域Ｒ１１から第６領域Ｒ１６のいずれに移動対象Ｍが位置するかによって、移動方向判定領域Ｇに含まれる第１乗降口近傍領域Ｆ１の頂点が異なる。

第１領域Ｒ１１から第６領域Ｒ１６は、第１乗降口近傍領域Ｆ１の略長方形の辺をそれぞれ検出領域Ｒ１の外枠まで延伸させた延伸線で、検出領域Ｒ１を６区画に区切った領域である。

具体的には、検出領域Ｒ１を乗客コンベア３０の走行方向（ｙ方向）に２つ、乗降口３１の幅方向（ｘ方向）に３つ、の合計６つの領域に区切る。そして、乗客コンベア３０から遠い側（ｙ方向プラス側）に位置する３つ領域を紙面左側から順に第１領域Ｒ１１、第２領域Ｒ１２および第３領域Ｒ１３とし、乗客コンベア３０に近い側（ｙ方向マイナス側）に配置される３つ領域を紙面左側から順に第４領域Ｒ１４、第５領域Ｒ１５および第６領域Ｒ１６とする。第５領域Ｒ１５は、第１乗降口近傍領域Ｆ１と一致する。

なお、検出領域Ｒ１には、補助領域Ｒ１４１および補助領域Ｒ１６１が含まれていてもよい。具体的には、第４領域Ｒ１４に補助領域Ｒ１４１が含まれていてもよく、第６領域Ｒ１６に補助領域Ｒ１６１が含まれていてもよい。補助領域Ｒ１４１および補助領域Ｒ１６１は、撮影画像Ｖにおいて、検出領域Ｒ１よりも乗客コンベア３０側にあり、乗客コンベア３０の両側に位置する領域である。

より詳しくは、補助領域Ｒ１４１は第４領域Ｒ１４のｙ方向マイナス側に隣接し、第５領域Ｒ１５の辺Ｃ３Ｃ１をｙ方向マイナス側に延長した直線と、第４領域Ｒ１４と、撮影画像Ｖの外枠と、に囲まれる領域である。また、補助領域Ｒ１６１は第６領域Ｒ１６のｙ方向マイナス側に隣接し、第５領域Ｒ１５の辺Ｃ４Ｃ２をｙ方向マイナス側に延長した直線と、第６領域Ｒ１６と、撮影画像Ｖの外枠と、に囲まれる領域である。

検出領域Ｒ１に補助領域Ｒ１４１および補助領域Ｒ１６１を含むことで、乗客コンベア３０側から乗降口３１に回り込んで乗客コンベア３０に乗車しようとする利用者も検出対象とすることができる。

図６の６００１は、移動対象Ｍが第１領域Ｒ１１に位置する場合の移動方向判定領域Ｇを示す図である。この場合、移動対象Ｍの略中心点Ｐから見て、第１乗降口近傍領域Ｆ１の幅が最大となるように設定される第１乗降口近傍領域Ｆ１の外周上の２点は、頂点Ｃ１および頂点Ｃ４である。そこで、第１乗降口近傍領域Ｆ１を含み、頂点Ｃ１および頂点Ｃ４と略中心点Ｐとをつないで形成される移動方向判定領域Ｇは、移動対象Ｍの略中心点Ｐ、頂点Ｃ１、頂点Ｃ２および頂点Ｃ４で囲まれる領域となる。移動対象Ｍが第２領域Ｒ１２から第４領域Ｒ１４および第６領域Ｒ１６に位置する場合も同様に移動方向判定領域Ｇが設定される。

図６の６００２は、移動対象Ｍが第２領域Ｒ１２に位置する場合の移動方向判定領域Ｇを示す図である。この場合、移動方向判定領域Ｇは移動対象Ｍの略中心点Ｐ、頂点Ｃ３、頂点Ｃ１、頂点Ｃ２および頂点Ｃ４で囲まれる領域となる。

図６の６００３は、移動対象Ｍが第３領域Ｒ１３に位置する場合の移動方向判定領域Ｇを示す図である。この場合、移動方向判定領域Ｇは移動対象Ｍの略中心点Ｐ、頂点Ｃ３、頂点Ｃ１および頂点Ｃ２で囲まれる領域となる。

図７の７００１は、移動対象Ｍが第４領域Ｒ１４に位置する場合の移動方向判定領域Ｇを示す図である。この場合、移動方向判定領域Ｇは移動対象Ｍの略中心点Ｐ、頂点Ｃ１、頂点Ｃ２、頂点Ｃ４および頂点Ｃ３で囲まれる領域となる。

なお、図示にはないが、第４領域Ｒ１４に補助領域Ｒ１４１が含まれ、移動対象Ｍが補助領域Ｒ１４１に位置する場合、移動方向判定領域Ｇは、移動対象Ｍの略中心点Ｐ、頂点Ｃ２、頂点Ｃ４、頂点Ｃ３で囲まれる領域となる。

図７の７００２は、移動対象Ｍが第６領域Ｒ１６に位置する場合の移動方向判定領域Ｇを示す図である。この場合、移動方向判定領域Ｇは移動対象Ｍの略中心点Ｐ、頂点Ｃ４、頂点Ｃ３、頂点Ｃ１および頂点Ｃ２で囲まれる領域となる。

なお、図示にはないが、第６領域Ｒ１６に補助領域Ｒ１６１が含まれ、移動対象Ｍが補助領域Ｒ１６１に位置する場合、移動方向判定領域Ｇは、移動対象Ｍの略中心点Ｐ、頂点Ｃ４、頂点Ｃ３、頂点Ｃ１で囲まれる領域となる。

なお、移動対象Ｍが第５領域Ｒ１５に位置する場合は、移動方向判定部１４は移動方向判定領域Ｇを作成しない。

（第１乗降口近傍領域に移動対象が向かっているか否かの判定）
移動方向判定部１４は、ある時点Ｔ－１で作成した移動方向判定領域Ｇ（Ｔ－１）に、所定時間後の時点Ｔの撮影画像Ｖ（Ｔ）における移動対象Ｍの略中心Ｐ（Ｔ）が存在している場合、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。

なお、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定は、検出領域Ｒ１に、補助領域Ｒ１４１および補助領域Ｒ１６１が含まれる場合も同様に判定される。

図８は、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定方法の一例について説明する図である。図８に基づき、ある時点Ｔ－１から所定時間経過後の時点Ｔにおいて、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっているか否かを判定する場合について説明する。

図８の８００１は、時点Ｔ－１における撮影画像Ｖ（Ｔ－１）であり、移動方向判定領域Ｇ（Ｔ－１）の作成を説明する図である。移動方向判定部１４は、図８の８００１に示すように、撮影画像Ｖ（Ｔ－１）において、移動対象Ｍの略中心点Ｐ（Ｔ－１）を用いて移動方向判定領域Ｇ（Ｔ－１）を作成する。

図８の８００２は、時点Ｔにおける撮影画像Ｖ（Ｔ）であり、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定を説明する図である。図８の８００２に示す例では、移動方向判定領域Ｇ（Ｔ－１）に、略中心点Ｐ（Ｔ）が存在するため、移動方向判定部１４は、時点Ｔにおいて第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定する。移動方向判定部１４は、移動方向判定領域Ｇ（Ｔ－１）に、略中心点Ｐ（Ｔ）が存在しない場合、時点Ｔにおいて第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていないと判定する。

図８の８００３は、時点Ｔにおける撮影画像Ｖ（Ｔ）であり、移動方向判定領域Ｇ（Ｔ）の作成を説明する図である。移動方向判定部１４は、図８の８００３に示すように、撮影画像Ｖ（Ｔ）において、移動対象Ｍの略中心点Ｐ（Ｔ）を用いて移動方向判定領域Ｇ（Ｔ）を作成する。

図８の８００４は、時点Ｔ＋１における撮影画像Ｖ（Ｔ＋１）であり、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定を説明する図である。図８の８００４に示す例では、移動方向判定領域Ｇ（Ｔ）に、略中心点Ｐ（Ｔ＋１）が存在するため、移動方向判定部１４は、時点Ｔ＋１において第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定する。移動方向判定部１４は、移動方向判定領域Ｇ（Ｔ）に、略中心点Ｐ（Ｔ＋１）が存在しない場合、時点Ｔ＋１において、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていないと判定する。

これにより、ある時点の移動方向判定領域Ｇに所定時間後の移動対象Ｍの略中心点Ｐが存在するか否かの簡単な判定で、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かを判定することができる。

なお、時点Ｔにおける撮影画像Ｖ（Ｔ）において、移動対象Ｍの略中心点Ｐ（Ｔ）が第５領域Ｒ１５、すなわち第１乗降口近傍領域Ｆ１に位置する場合は、移動方向判定領域Ｇに関係なく、移動方向判定部１４は、移動対象Ｍの略中心点Ｐ（Ｔ）が第１乗降口近傍領域Ｆ１に位置することを示す情報を乗車可能性判定部１５に送信する。

また、撮影画像Ｖに複数の移動対象Ｍがいる場合、移動方向判定部１４は複数の移動対象Ｍ毎に第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定を行う。

移動方向判定部１４は、この判定を画像取得毎に繰り返し、判定結果を乗車可能性判定部１５に送信する。画像取得間隔は、例えば、２５０ｍsecである。

移動方向判定部１４は、カメラ２の位置と移動対象Ｍとの距離が遠いほど画像取得間隔を長くしてもよい。例えば、移動方向判定部１４は、移動対象Ｍとカメラ２との距離に応じて検出領域Ｒ１を３種類の領域に分割し、遠い領域から順に画像取得間隔を４００ｍsec、２５０ｍsec、１００ｍsecなどと設定してもよい。

カメラ２の性質上、カメラ２との距離が離れている移動対象Ｍの動きは、撮影画像Ｖ上では相対的に小さくなる。そのため、移動対象Ｍがカメラ２から離れている場合に、画像取得間隔を長くすることで、撮影画面Ｖ上の動きが大きくなり、誤検出が生じにくくなる。一方、カメラ２との距離が近い場合は、判定期間が短くなるので、例えば、移動対象Ｍが乗降口３１に近づいている適切なタイミングでアナウンス等の制御が可能となる。

また、移動方向判定部１４は、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定を、乗客コンベア３０の走行方向に幅を持った第１乗降口近傍領域Ｆ１に対して行うことができる。そのため、当該幅の領域において横から（乗客コンベア３０の走行方向の略垂直な方向から）近づく場合の移動対象Ｍについても、図７で示したような移動方向判定領域Ｇによって、洩らすことなく乗客コンベア３０に乗車する可能性を判定することができる。

〔変形例〕
図９は、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定方法の他の例について説明する図である。図９の９００１に示すように、時点Ｔ－１の撮影画像Ｖ（Ｔ－１）において移動対象Ｍが検出され、その後移動対象Ｍが他の対象物等に隠れてしまい、図９の９００２に示すように時点Ｔの撮影画像Ｖ（Ｔ）において移動対象Ｍが検出されず、図９の９００３に示すように時点Ｔ＋１の撮影画像Ｖ（Ｔ＋１）おいて再び移動対象Ｍが検出される場合がある。上記の場合における移動方向判定部１４の判定について、図８および図９に基づき以下に説明する。

移動方向判定部１４は、図８の８００１と同様に、撮影画像Ｖ（Ｔ－１）において、移動対象Ｍの略中心点Ｐ（Ｔ－１）を用いて移動方向判定領域Ｇ（Ｔ－１）を作成する。その後、撮影画像Ｖ（Ｔ）で移動対象Ｍが検出されなかった場合、移動方向判定部１４は、移動方向判定領域Ｇ（Ｔ－１）および矩形Ｓ（Ｔ－１）を、時点Ｔの移動方向判定領域Ｇ（Ｔ）および矩形Ｓ（Ｔ）とする。

そして、時点Ｔ＋１の撮影画像Ｖ（Ｔ＋１）で移動対象Ｍが検出された場合、移動方向判定部１４は、時点Ｔ－１で作成した移動方向判定領域Ｇ（Ｔ－１）に、時点Ｔ＋１における移動対象Ｍの略中心点Ｐ（Ｔ＋１）が存在するか否かを判定する。

ただし、撮影画像Ｖ（Ｔ）および撮影画像Ｖ（Ｔ＋１）で連続して移動対象Ｍが検出されなかった場合は、移動方向判定部１４は、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定をリセットする。

（乗車可能性判定部）
乗車可能性判定部１５は、移動方向判定部１４の判定結果に基づいて、移動対象Ｍが乗客コンベア３０に乗車する可能性を判定する。

乗車可能性判定部１５は、移動方向判定部１４により、判定期間内に所定回数以上、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていることが判定された場合、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定する。乗車可能性判定部１５は、判定結果を乗客コンベア制御装置４０に送信する。

具体的には、例えば、乗車可能性判定部１５の判定期間を１秒とし、移動方向判定部１４が判定を行う画像取得間隔を２５０ｍsecとする。その場合、移動方向判定部１４により、直近の過去４回の判定中３回以上、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていることが判定された場合、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定する。上記回数は特に限定されず、判定期間および所定回数を適切に設定することで、より正確に移動対象Ｍが乗客コンベア３０に乗車する可能性を判定することができる。

また、乗車可能性判定部１５の判定において、移動方向判定部１４により、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていることが複数回判定されることを条件とすることで、移動対象Ｍが向かっているとされた判定が誤判定であっても、当該誤判定が是正され、誤ったアナウンス等が実施されることを防ぐことができる。

乗車可能性判定部１５は、カメラ２の位置と移動対象Ｍとの距離が遠いほど、判定期間を長くしてもよい。例えば、移動対象Ｍとカメラ２との距離に応じて検出領域Ｒ１を３つの領域に分割し、移動対象Ｍが存在する領域に応じて、判定期間を変更してもよい。カメラ２からの距離が最も遠い領域に移動対象Ｍが存在する場合、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いとする判定を、移動方向判定部１４により、直近の過去８回の判定中６回以上、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていることが判定された場合に行ってもよい。

また、カメラ２からの距離が最も近い領域に移動対象Ｍが存在する場合、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いとする判定を、移動方向判定部１４により、直近の過去３回の判定中２回以上、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていることが判定された場合に行ってもよい。

カメラ２との距離が離れている移動対象Ｍの動きは、乗客コンベア３０へ向かう動きとの関係が少ない可能性がある。カメラ２の位置と移動対象Ｍとの距離が遠いほど、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かを判定する判定時間を長くし、判定基準を厳しくすることで、誤検出を抑制することができる。

また、乗車可能性判定部１５は、撮影画像Ｖから移動対象Ｍの速度を取得し、移動対象Ｍの速度が速いほど、判定期間を短くしてもよい。例えば、移動対象Ｍの速度が所定値以上である場合において、乗車可能性判定部１５は、画像取得間隔を２５０ｍsec、判定期間を７５０ｍsecとしてもよい。その場合、直近の過去３回の判定中２回以上、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていることが判定された場合、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定してもよい。

このように、判定期間を短くすることで、移動対象Ｍの移動速度が速くても、移動対象Ｍが乗降口３１に到達するまでに、移動対象Ｍが乗客コンベア３０に乗車する可能性の判定を行うことができる。なお、基準となる移動対象Ｍの速度は、移動対象Ｍの属性により変更されてもよい。

乗車可能性判定部１５は、判定期間経過後、第１乗降口近傍領域Ｆ１を含む第２乗降口近傍領域Ｆ２に移動対象Ｍが存在する場合、移動対象Ｍが乗客コンベア３０に乗車する可能性がさらに高いと判定してもよい。

図１０は、判定期間経過後の時点Ｔ＋３の撮影画像Ｖ（Ｔ＋３）を示す図であり、第２乗降口近傍領域Ｆ２について説明する図である。図１０に示すように、第２乗降口近傍領域Ｆ２は、第１乗降口近傍領域Ｆ１（第５領域Ｒ１５）を含み、第５領域Ｒ１５より広く、第１領域Ｒ１１から第６領域Ｒ１６をあわせた領域よりも狭い領域である。

例えば、乗降口３１から離れた場所で判定期間内に所定回数以上、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定された場合、その後移動対象Ｍが乗降口３１に向かわなくなる可能性がある。これに対して、乗車可能性判定部１５が判定期間経過後に第２乗降口近傍領域Ｆ２に移動対象Ｍが存在することを確認することで、移動対象Ｍが乗客コンベア３０に乗車するか否かの判定精度を高めることができる。

乗車可能性判定部１５は、判定期間経過後の時点Ｔ＋３の第２乗降口近傍領域Ｆ２に移動対象Ｍの略中心点Ｐ（Ｔ＋３）が存在するか否かを判定することにより、時点Ｔ＋３の第２乗降口近傍領域Ｆ２に移動対象Ｍが存在するか否かを判定してもよい。

（移動対象が第５領域に位置する場合）
図１１は、第５領域Ｒ１５における乗車する可能性の判定を説明する図である。図１１に示すように、移動対象Ｍの略中心点Ｐが第５領域Ｒ１５に存在する場合、乗車可能性判定部１５は、判定期間内の移動方向判定部１４の結果に関係なく、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定する。

ただし、過去に検出領域Ｒ１内で移動対象Ｍが検出されておらず、第５領域Ｒ１５で初めて移動対象Ｍが検出された場合、乗車可能性判定部１５は、所定回数連続で第５領域Ｒ１５内において移動対象Ｍが検出された場合に、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定する。所定回数は、例えば３回である。

所定回数連続で第５領域Ｒ１５内において移動対象Ｍを検出することで、移動対象Ｍが乗降口３１から離れる傾向がないことを確認することができる。

また、第５領域Ｒ１５とは別に乗降口３１近辺に領域を設定し、当該領域に移動対象Ｍの略中心点Ｐが存在する場合に、乗車可能性判定部１５は、判定期間内の移動方向判定部１４の結果に関係なく、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定してもよい。この場合、乗車可能性判定部１５は、当該領域外であっても第５領域Ｒ１５内であれば、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定してもよい。

＜乗客コンベア制御システム１の動作の一例＞
乗客コンベア制御システム１における画像認識装置１０の制御方法は、乗客コンベア３０の乗降口３１前の床面における第１乗降口近傍領域Ｆ１を含む検出領域Ｒ１を撮影するカメラ２の撮影画像Ｖにおいて、移動対象Ｍを検出する移動対象検出ステップと、撮影画像Ｖにおいて、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かを判定する移動方向判定ステップと、前記移動方向判定ステップの判定結果に基づいて、移動対象Ｍが乗客コンベア３０に乗車する可能性を判定する乗車可能性判定ステップと、を含む。

図１２は、本願の実施形態１に係る画像認識装置１０の動作の一例を示すフロー図である。図１２に基づき、本願の実施形態１に係る画像認識装置１０の動作の一例について説明する。

まず、カメラ２で撮影した撮影画像Ｖを情報取得部１２が取得し（ステップＳ１）、移動対象検出部１３が撮影画像Ｖにおいて、移動対象Ｍを検出する（ステップＳ２、移動対象検出ステップ）。

次に、移動方向判定部１４が前回の画像取得タイミング（例えば時点Ｔ－１）で取得した撮影画像Ｖに基づいて移動方向判定領域Ｇを作成する（ステップＳ３）。続いて、移動方向判定部１４は、ステップＳ３で作成した移動方向判定領域Ｇに、今回の画像取得タイミング（例えば時点Ｔ）で取得した撮影画像Ｖで検出した移動対象Ｍの略中心点Ｐが存在するか否かを判定し、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かを判定する（ステップＳ４、移動方向判定ステップ）。移動方向判定部１４は判定結果を乗車可能性判定部１５に送信する。

乗車可能性判定部１５は、移動方向判定部１４の直近の過去４回の判定において、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定されたのは３回以上か否かを判定する（ステップＳ５、乗車可能性判定ステップ）。

直近の過去４回の判定において、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定されたのが３回以上であった場合（ステップＳ５でＹＥＳ）、乗車可能性判定部１５は、さらに第２乗降口近傍領域Ｆ２に移動対象Ｍが検出されたか否かを判定する（ステップＳ６、乗車可能性判定ステップ）。

第２乗降口近傍領域Ｆ２に移動対象Ｍが検出された場合（ステップＳ６でＹＥＳ）、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定し（ステップＳ７）、判定結果を乗客コンベア制御装置４０に送信する。その後、画像認識装置１０は次の画像取得タイミングまで待機する（ステップＳ９）。次の画像取得タイミングがくると、画像認識装置１０はステップＳ１の処理を行う。

第２乗降口近傍領域Ｆ２に移動対象Ｍが検出されなかった場合（ステップＳ６でＮＯ）、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が低いと判定し（ステップＳ８）、画像認識装置１０は次の画像取得タイミングまで待機する（ステップＳ９）。次の画像取得タイミングがくると、画像認識装置１０はステップＳ１の処理を行う。

また、直近の過去４回の判定において、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定されたのが３回未満であった場合（ステップＳ５でＮＯ）、乗車可能性判定部１５は、移動対象Ｍが乗客コンベア３０に乗車する可能性が低いと判定し（ステップＳ８）、画像認識装置１０はステップＳ９の処理を行う。

このように、画像認識装置１０では、移動方向判定部１４による第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定に基づき、乗車可能性判定部１５により移動対象Ｍが乗客コンベア３０に乗車する可能性が判定される。換言すると、移動対象Ｍが乗客コンベア３０に乗車する可能性は、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かにより判定される。

これにより、例えば、移動方向判定部１４により第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定された場合、画像認識装置１０は移動対象Ｍが乗客コンベア３０に乗車する可能性が高いと判定することができる。また、画像認識装置１０は、移動方向判定部１４により第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっていると判定されない場合は、移動対象Ｍが乗客コンベア３０に乗車しないと判定することができる。そのため、画像認識装置１０は、移動対象Ｍが乗客コンベア３０に乗車する可能性をより正確に判断することができる。

また、画像認識装置１０では、乗客コンベア３０に乗車する移動対象Ｍを正確に判断し、実際に乗客コンベア３０に乗車する移動対象Ｍに応じた運転等を行うことができるため、移動対象Ｍが安全に利用できるような乗客コンベア３０の運転を適宜行うことができる。そのため、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）の目標１１の「包摂的で安全かつ強靭で持続可能な都市および人間居住を実現する」等の達成にも貢献するものである。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

実施形態２は、移動方向判定部１４における移動方向判定領域Ｇの作成方法が実施形態１と異なり、その他の構成は実施形態１と同様である。

本実施形態２では、移動方向判定部１４は、第１移動方向判定領域Ｇ１および第２移動方向判定領域Ｇ２を作成する。第１移動方向判定領域Ｇ１はある時点の撮影画像Ｖにおいて、移動対象Ｍの略中心点Ｐと、第１乗降口近傍領域Ｆ１の一方の対角線の両端と、をつないで形成される。第２移動方向判定領域Ｇ２は、移動対象Ｍの略中心点Ｐと、第１乗降口近傍領域Ｆ１の他方の対角線の両端と、をつないで形成される。移動方向判定部１４は、第１移動方向判定領域Ｇ１または第２移動方向判定領域Ｇ２のいずれかに、ある時点から所定時間後の時点の撮影画像Ｖにおける移動対象Ｍの略中心点Ｐが存在している場合、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。

これにより、第１移動方向判定領域Ｇ１または第２移動方向判定領域Ｇ２に、所定時間後の移動対象Ｍの略中心点Ｐが存在するか否かの簡単な判定で、画像認識装置１０は移動対象Ｍが乗客コンベア３０に乗車する可能性を判定することができる。

図１３は、実施形態２の画像認識装置１０における、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定方法の一例について説明する図である。図１３に基づき、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定について具体的に説明する。なお、以下の説明では、ある時点Ｔ－１から所定時間経過後の時点Ｔにおいて、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっているか否かを判定する場合について説明する。

図１３の１３０１および図１３の１３０２は、時点Ｔ－１における撮影画像Ｖ（Ｔ－１）である。移動方向判定部１４は、図１３の１３０１に示すように、撮影画像Ｖ（Ｔ－１）において、移動対象Ｍの略中心点Ｐ（Ｔ－１）と、第１乗降口近傍領域Ｆ１の一方の対角線Ｃ２Ｃ３の両端と、をつないで形成される第１移動方向判定領域Ｇ１（Ｔ－１）を作成する。また、移動方向判定部１４は、図１３の１３０２に示すように、撮影画像Ｖ（Ｔ－１）において、移動対象Ｍの略中心点Ｐ（Ｔ－１）と、第１乗降口近傍領域Ｆ１の他方の対角線Ｃ１Ｃ４の両端と、をつないで形成される第２移動方向判定領域Ｇ２（Ｔ－１）を作成する。

図１３の１３０３および図１３の１３０４は、時点Ｔにおける撮影画像Ｖ（Ｔ）である。移動方向判定部１４は、図１３の１３０３に示すように、時点Ｔで作成した第１移動方向判定領域Ｇ１（Ｔ－１）に、時点Ｔにおける移動対象Ｍの略中心点Ｐ（Ｔ）が存在するか否かを判定する。また、移動方向判定部１４は、図１３の１３０４に示すように、時点Ｔ－１で作成した第２移動方向判定領域Ｇ２（Ｔ－１）に、時点Ｔにおける移動対象Ｍの略中心点Ｐ（Ｔ）が存在するか否かを判定する。

移動方向判定部１４は、第１移動方向判定領域Ｇ１（Ｔ－１）または第２移動方向判定領域Ｇ２（Ｔ－１）のいずれかに、略中心点Ｐ（Ｔ）が存在している場合、時点Ｔにおいて移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。

また、時点Ｔ－１において移動対象Ｍが検出され、その後移動対象Ｍが他の対象物等に隠れてしまい、時点Ｔにおいて移動対象Ｍが検出されず、時点Ｔ＋１において再び移動対象Ｍが検出される場合、移動方向判定部１４は実施形態１の変形例と同様の処理を行う。すなわち、移動方向判定部１４は、第１移動方向判定領域Ｇ１（Ｔ－１）または第２移動方向判定領域Ｇ２（Ｔ－１）のいずれかに、略中心点Ｐ（Ｔ＋１）が存在している場合、時点Ｔ＋１において移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

実施形態３は、移動方向判定部１４における移動方向判定領域Ｇの作成方法が実施形態１と異なり、その他の構成は実施形態１と同様である。

移動方向判定部１４は、半直線Ｈが、第１乗降口近傍領域Ｆ１の対角線のいずれかと交わる場合、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。半直線Ｈは、ある時点の撮影画像Ｖにおける移動対象Ｍの略中心点Ｐと、ある時点から所定時間後の時点の撮影画像Ｖにおける移動対象Ｍの略中心点Ｐとを通り、略中心点Ｐの移動方向に伸びる半直線である。

これにより、移動対象Ｍの略中心点Ｐと、所定時間後の移動対象Ｍの略中心点Ｐとをつなぐ半直線Ｈが、第１乗降口近傍領域Ｆ１のいずれかの対角線と交わるか否かの簡単な判定で、画像認識装置１０は移動対象Ｍが乗客コンベア３０に乗車する可能性を判定することができる。

図１４は、実施形態３の画像認識装置１０において、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定方法の一例について説明する図である。図１４に基づき、第１乗降口近傍領域Ｆ１に移動対象Ｍが向かっているか否かの判定について具体的に説明する。なお、以下の説明では、ある時点Ｔ－１から所定時間経過後の時点Ｔにおいて、移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっているか否かを判定する場合について説明する。図１４の１４０１は、時点Ｔ－１における撮影画像Ｖ（Ｔ－１）を示し、図１４の１４０２～図１４の１４０４は時点Ｔにおける撮影画像Ｖ（Ｔ）を示す。

図１４の１４０１に示すように、移動方向判定部１４は、時点Ｔ－１の撮影画像Ｖ（Ｔ－１）における移動対象Ｍの略中心点Ｐ（Ｔ－１）を取得する。

また、図１４の１４０２に示すように、移動方向判定部１４は、撮影画像Ｖ（Ｔ）における移動対象Ｍの略中心点Ｐ（Ｔ）を取得し、略中心点Ｐ（Ｔ－１）と略中心点Ｐ（Ｔ）とを通り略中心点Ｐ（Ｔ－１）から略中心点Ｐ（Ｔ）に伸びる半直線Ｈ（Ｔ）を作成する。

さらに、移動方向判定部１４は、図１４の１４０３に示すように、半直線Ｈ（Ｔ）が、第１乗降口近傍領域Ｆ１の一方の対角線Ｃ１Ｃ４に交わるか否かを判定する。また、移動方向判定部１４は、図１４の１４０４に示すように、半直線Ｈ（Ｔ）が、第１乗降口近傍領域Ｆ１の他方の対角線Ｃ２Ｃ３に交わるか否かを判定する。

移動方向判定部１４は、撮影画像Ｖ（Ｔ）において、半直線Ｈ（Ｔ）が第１乗降口近傍領域Ｆ１の対角線のいずれかと交わる場合、時点Ｔにおいて移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。

また、時点Ｔ－１において移動対象Ｍが検出され、その後移動対象Ｍが他の対象物等に隠れてしまい、時点Ｔにおいて移動対象Ｍが検出されず、時点Ｔ＋１において再び移動対象Ｍが検出される場合、移動方向判定部１４は実施形態１の変形例と同様の処理を行う。すなわち、移動方向判定部１４は、略中心点Ｐ（Ｔ－１）と略中心点Ｐ（Ｔ＋１）とを通る半直線Ｈ（Ｔ＋１）を作成する。そして、移動方向判定部１４は、撮影画像Ｖ（Ｔ＋１）において、半直線Ｈ（Ｔ＋１）が第１乗降口近傍領域Ｆ１の略長方形の対角線のいずれかと交わる場合、時点Ｔ＋１において移動対象Ｍが第１乗降口近傍領域Ｆ１に向かっていると判定する。

〔ソフトウェアによる実現例〕
画像認識装置（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御部１１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 乗客コンベア制御システム
２ カメラ
１０ 画像認識装置
１３ 移動対象検出部
１４ 移動方向判定部
１５ 乗車可能性判定部
１６ 属性検出部
３０ 乗客コンベア
３１ 乗降口
４０ 乗客コンベア制御装置（制御装置）
Ｃ１Ｃ４、Ｃ２Ｃ３ 対角線
Ｆ１ 第１乗降口近傍領域
Ｆ２ 第２乗降口近傍領域
Ｇ 移動方向判定領域
Ｇ１ 第１移動方向判定領域（移動方向判定領域）
Ｇ２ 第２移動方向判定領域（移動方向判定領域）
Ｍ 移動対象
Ｐ 略中心点

Claims (14)

1. 乗客コンベアの乗降口前の床面における第１乗降口近傍領域を含む検出領域を撮影するカメラの撮影画像において、移動対象を検出する移動対象検出部と、
   前記撮影画像において、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定する移動方向判定部と、
   前記移動方向判定部の判定結果に基づいて、前記移動対象が前記乗客コンベアに乗車する可能性を判定する乗車可能性判定部と、
   を備え、
   前記移動方向判定部は、所定の画像取得間隔毎に、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定し、
   前記移動方向判定部により、判定期間内に所定回数以上、前記第１乗降口近傍領域に前記移動対象が向かっていることが判定された場合、前記乗車可能性判定部は、前記移動対象が前記乗客コンベアに乗車する可能性が高いと判定する、画像認識装置。
2. 前記第１乗降口近傍領域は、前記乗客コンベアの走行方向に幅を有する、請求項１に記載の画像認識装置。
3. 前記乗車可能性判定部は、前記判定期間経過後、前記第１乗降口近傍領域を含む第２乗降口近傍領域に前記移動対象が存在する場合、前記移動対象が前記乗客コンベアに乗車する可能性がさらに高いと判定する、請求項１に記載の画像認識装置。
4. 前記移動方向判定部は、前記カメラの位置と前記移動対象との距離が遠いほど前記画像取得間隔を長くする、請求項１に記載の画像認識装置。
5. 前記乗車可能性判定部は、前記カメラの位置と前記移動対象との距離が遠いほど、前記判定期間を長くする、請求項１に記載の画像認識装置。
6. 前記乗車可能性判定部は、前記移動対象の移動速度が速いほど、前記判定期間を短くする、請求項１に記載の画像認識装置。
7. 乗客コンベアの乗降口前の床面における第１乗降口近傍領域を含む検出領域を撮影するカメラの撮影画像において、移動対象を検出する移動対象検出部と、
   前記撮影画像において、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定する移動方向判定部と、
   前記移動方向判定部の判定結果に基づいて、前記移動対象が前記乗客コンベアに乗車する可能性を判定する乗車可能性判定部と、
   を備え、
   前記移動方向判定部は、ある時点の前記撮影画像における前記移動対象の略中心点と、所定時間後の前記撮影画像における前記移動対象の略中心点と、前記第１乗降口近傍領域との位置関係に基づいて、前記移動対象が前記第１乗降口近傍領域に向かっているか否かを判定する、画像認識装置。
8. 前記移動方向判定部は、
   ある時点の前記撮影画像において、前記第１乗降口近傍領域を含み、前記移動対象の略中心点から見て、前記第１乗降口近傍領域の幅が最大となるように設定される前記第１乗降口近傍領域の外周上の２点と、前記略中心点と、をつないで形成される移動方向判定領域に、所定時間後の前記撮影画像における前記移動対象の略中心点が存在している場合、前記移動対象が前記第１乗降口近傍領域に向かっていると判定する、請求項７に記載の画像認識装置。
9. 前記第１乗降口近傍領域は略長方形であり、前記略長方形において対向する１組の辺が前記乗客コンベアの前記乗降口の幅方向と略平行であり、
   前記移動方向判定部は、ある時点の前記撮影画像において、前記移動対象の略中心点と、前記略長方形の一方の対角線の両端と、をつないで形成される第１移動方向判定領域、または、前記移動対象の略中心点と、前記略長方形の他方の対角線の両端と、をつないで形成される第２移動方向判定領域、のいずれかに、所定時間後の前記撮影画像における前記移動対象の略中心点が存在している場合、前記移動対象が前記第１乗降口近傍領域に向かっていると判定する、請求項７に記載の画像認識装置。
10. 前記第１乗降口近傍領域は略長方形であり、前記略長方形において対向する１組の辺が前記乗客コンベアの前記乗降口の幅方向と略平行であり、
    前記移動方向判定部は、ある時点の前記撮影画像における前記移動対象の略中心点と、所定時間後の前記撮影画像における前記移動対象の略中心点とを通る半直線が、前記略長方形の対角線のいずれかと交わる場合、前記移動対象が前記第１乗降口近傍領域に向かっていると判定する、請求項７に記載の画像認識装置。
11. 請求項１から１０のいずれかの画像認識装置と、
    前記画像認識装置によって前記移動対象が前記乗客コンベアに乗車する可能性が高いと判定された場合に、前記移動対象に応じて、音声出力制御、表示制御、および、前記乗客コンベアの運転制御の少なくともいずれか１つを実施する制御装置と、
    を備えている、乗客コンベア制御システム。
12. 前記画像認識装置は、前記撮影画像により前記移動対象の属性を検出する属性検出部をさらに備え、
    前記制御装置は、前記移動対象の属性に応じて制御内容を変更する、
    請求項１１に記載の乗客コンベア制御システム。
13. 乗客コンベアの乗降口前の床面における第１乗降口近傍領域を含む検出領域を撮影するカメラの撮影画像において、移動対象を検出する移動対象検出ステップと、
    前記撮影画像において、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定する移動方向判定ステップと、
    前記移動方向判定ステップの判定結果に基づいて、前記移動対象が前記乗客コンベアに乗車する可能性を判定する乗車可能性判定ステップと、
    を含み、
    前記移動方向判定ステップは、所定の画像取得間隔毎に、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定し、
    前記移動方向判定ステップにより、判定期間内に所定回数以上、前記第１乗降口近傍領域に前記移動対象が向かっていることが判定された場合、前記乗車可能性判定ステップは、前記移動対象が前記乗客コンベアに乗車する可能性が高いと判定する、画像認識装置の制御方法。
14. 乗客コンベアの乗降口前の床面における第１乗降口近傍領域を含む検出領域を撮影するカメラの撮影画像において、移動対象を検出する移動対象検出ステップと、
    前記撮影画像において、前記第１乗降口近傍領域に前記移動対象が向かっているか否かを判定する移動方向判定ステップと、
    前記移動方向判定ステップの判定結果に基づいて、前記移動対象が前記乗客コンベアに乗車する可能性を判定する乗車可能性判定ステップと、
    を含み、
    前記移動方向判定ステップは、ある時点の前記撮影画像における前記移動対象の略中心点と、所定時間後の前記撮影画像における前記移動対象の略中心点と、前記第１乗降口近傍領域との位置関係に基づいて、前記移動対象が前記第１乗降口近傍領域に向かっているか否かを判定する、画像認識装置の制御方法。

Images