JP6696102B1 - 画像処理装置およびマーカ - Google Patents

Abstract

【課題】カメラの取り付け位置のずれの検知精度を向上させること。【解決手段】一実施形態によれば、画像処理装置は、取得手段および検知手段を備える。取得手段は、乗りかごの床面および乗場の床面と区別可能なマーカが乗りかごの側壁に沿って設置された状態で撮影された画像をカメラから取得する。検知手段は、取得された画像からマーカに含まれる複数の模様を認識し、認識された複数の模様のうち、乗りかごのシルに沿った第１方向に隣接して並ぶ２つの模様間の距離が予め設定された距離である場合に、認識された複数の模様を含むマーカに基づいて、カメラの取り付け位置のずれを検知する。マーカの形状は、矩形であり、複数の模様は、マーカが設置された際に、第１方向に隣接して並ぶ２つの模様間の距離と、２つの模様のうち乗りかごの側壁に近い模様から乗りかごの側壁に接するマーカの一辺までの距離の２倍とが異なるように配置される。【選択図】図１０

Description

本発明の実施形態は、画像処理装置およびマーカに関する。

近年、エレベータのかごドアに人や物が挟まれるのを防ぐために、様々な技術が考案されている。例えば、カメラを用いてエレベータに向かって移動している利用者を検知し、当該エレベータのドアの戸開時間を延長する技術が考案されている。

このような技術においては、カメラによって撮影される画像から、エレベータに向かって移動している利用者を精度良く検知する必要がある。しかしながら、カメラの取り付け位置にずれが生じてしまった場合、カメラによって撮影される画像が回転したり、左右方向にずれたりするため、上記した利用者の検知精度を低下させてしまう可能性がある。

このため、カメラの取り付け位置にずれが生じた場合に、当該ずれを検知可能な技術が開発され、当該技術の精度向上が望まれている。

特開２００９−１４３７２２号公報

本発明の実施形態が解決しようとする課題は、カメラの取り付け位置のずれの検知精度を向上させ得る画像処理装置およびマーカを提供することである。

一実施形態によれば、画像処理装置は、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能である。前記画像処理装置は、取得手段および検知手段を具備する。前記取得手段は、前記乗りかごの床面および前記乗場の床面と区別可能なマーカが前記乗りかごの側壁に沿って設置された状態で撮影された画像を前記カメラから取得する。前記検知手段は、前記取得された画像から前記マーカに含まれる複数の模様を認識し、前記認識された複数の模様のうち、前記乗りかごのシルに沿った第１方向に隣接して並ぶ２つの模様間の距離が予め設定された距離である場合に、前記認識された複数の模様を含むマーカに基づいて、前記カメラの取り付け位置のずれを検知する。前記マーカの形状は、矩形であり、前記複数の模様は、前記マーカが設置された際に、前記第１方向に隣接して並ぶ２つの模様間の距離と、前記２つの模様のうち前記乗りかごの側壁に近い模様から前記乗りかごの側壁に接する前記マーカの一辺までの距離の２倍とが異なるように配置される。

図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。 図２は、エレベータシステムに含まれる画像処理装置のハードウェア構成例を示す図である。 図３は、カメラの取り付け位置にずれがない場合に撮影された画像を示す図である。 図４は、カメラの取り付け位置にずれがある場合に撮影された画像を示す図である。 図５は、カメラの撮影範囲内に設置されるマーカの一例を示す図である。 図６は、画像処理装置の機能構成例を示すブロック図である。 図７は、カメラにより撮影された画像の一例を示す図である。 図８は、図５に示したマーカと、その鏡像との位置関係を説明するための図である。 図９は、マーカに含まれる模様の形態の一例を示す図である。 図１０は、図９に示したマーカと、その鏡像との位置関係を説明するための図である。 図１１は、マーカに含まれる模様の形態の別の例を示す図である。 図１２は、図１１に示したマーカと、その鏡像との位置関係を説明するための図である。 図１３は、マーカに含まれる模様の形態のさらに別の例を示す図である。 図１４は、キャリブレーション機能における画像処理装置の処理手順の一例を示すフローチャートである。 図１５は、図１４に示すフローチャートを補足的に説明するための図であって、カメラにより撮影された画像を示す図である。 図１６は、マーカを認識するための認識処理の処理手順の一例を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。
乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、乗りかご１１の出入口上部を覆う幕板１１ａの中にカメラ１２のレンズ部分を、乗りかご１１内および乗場１５が共に映る方向に向けて設置されている。カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズを有し、１秒間に数コマ（例えば、３０コマ／秒）の画像を連続的に撮影する。

カメラ１２は、常時オンであり、常に撮影を行うとしても良いし、所定のタイミングでオンになり撮影を開始し、所定のタイミングでオフになり撮影を終了するとしても良い。例えば、カメラ１２は、乗りかご１１の移動速度が所定値未満の時にオンになり、乗りかご１１の移動速度が所定値以上の時にオフになるとしても良い。この場合、カメラ１２は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になるとオンになり撮影を開始し、乗りかご１１が当該所定階とは別の階に向かうために加速を開始し、移動速度が所定値以上になるとオフになり撮影を終了する。つまり、カメラ１２による撮影は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になってから、乗りかご１１が当該所定階に停止している間中も含めて、乗りかご１１が当該所定階から別の階に向かうために加速を開始し、移動速度が所定値以上になるまで継続して行われる。

カメラ１２の撮影範囲はＬ１＋Ｌ２に設定されている（Ｌ１≧Ｌ２）。Ｌ１は乗場１５側の撮影範囲であり、かごドア１３から乗場１５に向けて設定される。Ｌ１は乗りかご１１側の撮影範囲であり、かごドア１３からかご背面に向けて設定される。なお、Ｌ１，Ｌ２は奥行方向の範囲であり、幅方向（奥行方向と直交する方向）の範囲については、少なくとも乗りかご１１の横幅よりも大きいものとする。

各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３が戸開している時には乗場ドア１４も戸開しており、かごドア１３を戸閉している時には乗場ドア１４も戸閉しているものとする。

カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに画像処理される。具体的には、画像処理装置２０は、予め設定されたエリア（以下、検知エリアと表記する）における画像の輝度値の変化に基づいてかごドア１３に最も近い利用者（の動き）を検知し、検知された利用者が乗りかご１１に乗車する意思を有しているか否かの判定や、検知された利用者の手や腕が戸袋に引き込まれる可能性があるか否かの判定等を行う。画像処理装置２０による画像処理の結果は、必要に応じて、エレベータ制御装置３０による制御処理（主に、戸開閉制御処理）に反映される。

エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時のかごドア１３の戸開閉を制御する。詳しくは、エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時にかごドア１３を戸開し、所定時間経過後に戸閉する。

但し、画像処理装置２０により乗りかご１１に乗車する意思のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸閉動作を禁止して戸開状態を維持する（かごドア１３の戸開時間を延長する）。また、画像処理装置２０により手や腕が戸袋に引き込まれる可能性のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸開動作を禁止するまたはかごドア１３の戸開速度を通常時よりも遅くする、あるいはかごドア１３から離れることを促す旨のメッセージを乗りかご１１内に流す等して、手や腕が戸袋に引き込まれる可能性があることを当該利用者に対して通知する。

なお、図１では便宜的に、画像処理装置２０を乗りかご１１から取り出して示しているが、実際には画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。また、図１では、カメラ１２と画像処理装置２０とが別々に設けられている場合を例示しているが、カメラ１２と画像処理装置２０とは１つの装置として一体化されて設けられても良い。さらに、図１では、画像処理装置２０とエレベータ制御装置３０とが別々に設けられている場合を例示しているが、画像処理装置２０の機能はエレベータ制御装置３０に搭載されるとしても良い。

図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
図２に示すように、画像処理装置２０においては、バス２１に、不揮発性メモリ２２、ＣＰＵ２３、メインメモリ２４および通信デバイス２５等が接続されている。

不揮発性メモリ２２は、例えばオペレーティングシステム（ＯＳ）等を含む各種プログラムを格納する。なお、不揮発性メモリ２２に格納されているプログラムには、上記した画像処理（より詳しくは、後述する利用者検知処理）を実行するためのプログラムや、後述するキャリブレーション機能を実現するためのプログラム（以下、キャリブレーションプログラムと表記する）が含まれる。

ＣＰＵ２３は、例えば不揮発性メモリ２２に格納されている各種プログラムを実行するプロセッサである。なお、ＣＰＵ２３は、画像処理装置２０全体の制御を実行する。

メインメモリ２４は、例えばＣＰＵ２３が各種プログラムを実行する際に必要とされるワークエリア等として使用される。

通信デバイス２５は、有線または無線により、例えばカメラ１２やエレベータ制御装置３０等の外部装置と実行される通信（信号の送受信）を制御する機能を有する。

ここで、上記したように、画像処理装置２０は、予め設定された検知エリアにおける画像の輝度値の変化に基づいてかごドア１３に最も近い利用者を検知する利用者検知処理を実行する。この利用者検知処理では、予め設定された検知エリアにおける画像の輝度値の変化に注目するため、当該検知エリアは、画像上の決まった位置に常に設定される必要がある。

しかしながら、エレベータシステムの運用中に例えば乗りかご１１やカメラ１２に対する衝撃等によって、カメラ１２の取り付け位置（取り付け角度）にずれが生じてしまうと、上記した検知エリアにもずれが生じてしまうため、画像処理装置２０は、実際に注目したいエリアとは異なるエリアの画像の輝度値の変化に注目してしまい、その結果、本来であれば検知する必要のある利用者（や物体）を検知できない、あるいは、本来であれば検知する必要のない利用者（や物体）を誤検知してしまう、等の可能性がある。

図３は、カメラ１２の取り付け位置にずれがない場合に撮影された画像の一例を示す。なお、図１においては示されていないが、乗りかご１１側には、かごドア１３の開閉をガイドするためのシル（敷居）（以下、かごシルと表記する）１３ａが設けられている。同様に、乗場１５側には、乗場ドア１４の開閉をガイドするためのシル（以下、乗場シルと表記する）１４ａが設けられている。また、図３中の斜線部分は、画像上に設定された検知エリアｅ１を示している。ここでは一例として、乗場１５にいる利用者を検知するために、検知エリアｅ１が、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に向けて所定の範囲を有して設定される場合を想定する。なお、検知エリアは、手や腕の戸袋への引き込まれを抑止するために乗りかご１１側に設定されても良いし、乗場１５側および乗りかご１１側の双方に複数設定されても良い。

一方、図４は、カメラ１２の取り付け位置にずれがある場合に撮影された画像の一例を示す。なお、図４中の斜線部分は、図３同様に、画像上に設定された検知エリアｅ１を示す。

図４に示すように、カメラ１２の取り付け位置にずれがあると、カメラ１２によって撮影された画像は、図３に示す場合に比べて、例えば回転した画像（傾いた画像）となる。しかしながら、検知エリアｅ１は、図３同様、画像上の決まった位置に設定されるため、本来であれば図３に示すように、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に所定の範囲を有して設定されるにも関わらず、図４に示すように、長方形状のかごシル１３ａの長辺とは全く関係のない位置から所定の範囲を有して設定されてしまうことになる。これによれば、上記したように、本来であれば検知する必要のある利用者を検知できなかったり、検知する必要のない利用者を誤検知してしまったりする可能性がある。なお、図４では、カメラ１２の取り付け位置のずれに起因して、画像が回転してしまった場合を例示したが、カメラ１２の取り付け位置のずれに起因して、画像が左右方向にずれてしまった場合も同様の可能性がある。

そこで、本実施形態に係る画像処理装置２０は、カメラ１２の取り付け位置にずれが生じているか否かを検知し、ずれが生じている場合には、当該ずれにあわせて適切な位置に検知エリアを設定可能なキャリブレーション機能を有している。以下では、このキャリブレーション機能について詳しく説明する。

なお、キャリブレーション機能を実現するにあたっては、例えば図５に示すように、カメラ１２の撮影範囲内に含まれる他の物体（例えば、乗りかご１１や乗場１５の床面）と区別可能な模様を含むマーカｍがカメラ１２の撮影範囲内に設置される必要がある。なお、マーカｍに含まれる模様の詳細については後述するものとし、ここではその詳しい説明は省略する。マーカｍは、例えばエレベータシステムの保守点検を行う保守員により設置される。マーカｍの設置時における保守員の利便性を考慮すると、マーカｍの形状は、設置時に上下左右方向を考慮せずに設置可能な形状であることが望ましく、本実施形態では、マーカｍが正方形状である場合を例示する。しかしながら、マーカｍは少なくとも矩形であれば、任意の形状であって構わない。

図６は、本実施形態に係る画像処理装置２０の機能構成の一例を示すブロック図である。ここでは、上記したキャリブレーション機能に関する機能構成について主に説明する。

画像処理装置２０は、図６に示すように、格納部２０１、画像取得部２０２、ずれ検知部２０３、設定処理部２０４および通知処理部２０５、等を含む。ずれ検知部２０３は、図６に示すように、認識処理部２３１、算出処理部２３２および検知処理部２３３、等をさらに含む。

本実施形態においては、これら各部２０２〜２０５が、例えば図２に示すＣＰＵ２３（つまり、画像処理装置２０のコンピュータ）が不揮発性メモリ２２に格納されているキャリブレーションプログラムを実行すること（つまり、ソフトウェア）により実現されるものとして説明するが、上記した各部２０２〜２０５は、ハードウェアにより実現されても良いし、ソフトウェアおよびハードウェアの組み合わせにより実現されても良い。また、本実施形態において、格納部２０１は、例えば図２に示す不揮発性メモリ２２または他の記憶装置等によって構成される。

格納部２０１には、キャリブレーション機能に関する設定値が格納されている。キャリブレーション機能に関する設定値は、基準点に対するマーカの相対位置を示す値（以下、第１設定値と表記する）を含む。基準点とは、カメラ１２の取り付け位置にずれが生じているか否かを検知するための指標となる位置であり、例えば、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央がこれに相当する。なお、基準点は、上記した長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央ではなく、カメラ１２の取り付け位置にずれが生じていない場合に当該カメラ１２の撮影範囲内に含まれる位置であれば任意の位置が基準点に設定されて構わない。

また、キャリブレーションに関する設定値には、カメラ１２の取り付け位置にずれが生じていない場合の画像（基準画像）に含まれる基準点に対するカメラ１２の相対位置を示す値（以下、第２設定値と表記する）が含まれる。

さらに、キャリブレーションに関する設定値には、基準点に対するかごシル１３ａの各頂点（四隅）の相対位置を示す値（以下、第３設定値と表記する）が含まれる。なお、本実施形態においては、検知エリアが長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有して設定される場合を想定しているため、上記した第３設定値として、基準点に対するかごシル１３ａの各頂点の相対位置を示す値が含まれるとしているが、これに限定されず、第３設定値には、検知エリアを設定すべき領域に応じた値が設定される。例えば、検知エリアが手や腕の戸袋への引き込まれを抑止することを目的として、戸袋近辺に設定される場合、第３設定値として、基準点に対する戸袋の各特徴点の相対位置を示す値が含まれるとしても良い。

また、キャリブレーションに関する設定値には、乗りかご１１の床面からカメラ１２までの高さと、当該カメラ１２の画角（焦点距離）とを示す値（以下、カメラ設定値と表記する）が含まれる。

なお、格納部２０１には、カメラ１２の取り付け位置にずれがない場合に撮影された画像（基準画像）が格納されていても良い。

画像取得部２０２は、乗りかご１１内の床面にマーカｍが設置された状態でカメラ１２により撮影された画像（以下、撮影画像と表記する）を取得する。なお、本実施形態においては、マーカｍが、乗りかご１１の側壁に沿うようにして、かつ、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の両端部にそれぞれ沿うようにして、乗りかご１１内の床面に複数設置される（以下では、単にかごシル１３ａの両端部に設置すると表記する）場合を想定する。

ずれ検知部２０３は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれるマーカｍを認識（抽出）する。具体的には、ずれ検知部２０３は、マーカｍに含まれる模様、例えば図５に示すマーカｍが利用される場合、正方形の中に含まれる４つの黒い円を模様として認識し、当該模様間の距離（具体的には、かごシル１３ａに沿うようにして隣接して並ぶ２つの黒い円の中心間の距離）が予め設定された距離である場合に、当該模様を含む物体をマーカｍと認識する。なお、マーカｍに含まれる模様の認識は、例えば、所定の形状（例えば円形等）をマーカｍに含まれる模様として認識することを予め設定しておくことで実現するとしても良いし、その他の公知の画像認識技術を用いて実現されるとしても良い。

なお、本実施形態において、マーカｍを認識するとは、マーカｍの撮影画像上での座標値を算出することを含む。本実施形態においては、マーカｍとして認識された物体に含まれる４つの黒い円の中心を結ぶことで形成される四角形の中心（重心）をマーカｍとみなして、マーカｍの撮影画像上での座標値が算出される場合を想定する。なお、ここでは、マーカｍとして認識された物体に含まれる４つの黒い円の中心を結ぶことで形成される四角形の重心をマーカｍとみなすとするが、マーカｍとして認識された物体のどの部分をマーカｍとみなすかは任意に設定されて構わない。

ずれ検知部２０３は、上記した認識処理の結果に基づいて、カメラ１２の取り付け位置のずれを検知する。なお、ずれ検知部２０３に含まれる認識処理部２３１、算出処理部２３２および検知処理部２３３の機能については、フローチャートの説明と共に後述するため、ここではこれらの詳しい説明を省略する。

設定処理部２０４は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、画像取得部２０２により取得された撮影画像のうちの当該ずれにあわせた適切な位置に検知エリアを設定する。これによれば、カメラ１２の取り付け位置のずれを考慮した検知エリアが撮影画像上に設定される。なお、ずれにあわせて適切な位置に設定された検知エリアの座標値は、格納部２０１に格納されても良い。

通知処理部２０５は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、エレベータシステムの運用状態等を監視する監視センタ（の管理者）や、マーカｍを設置してエレベータシステムの保守点検を行う保守員（が所持する端末）に対して、カメラ１２の取り付け位置にずれが生じていること（異常が生じていること）を通知する。なお、この通知は、例えば通信デバイス２５を介して行われる。

上記したように、ずれ検知部２０３は、撮影画像からかごシル１３ａの両端部に設置された複数のマーカｍを認識し、認識されたマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知する。このため、撮影画像からマーカｍを正確に認識し、当該マーカｍの撮影画像上での座標値を正確に算出することが必要となるが、図５に示したマーカｍを利用した場合、次のような問題が生じる可能性がある。

一般的に、マーカｍが設置されるかごシル１３ａ近辺の出入口柱は、アルミやステンレス等、光沢性を有する金属材料（鏡面反射特性を有する材料）により形成されている場合が多い。また、近年では、意匠性の向上を目的として、上記した出入口柱に限らず、乗りかご１１内の側壁を、光沢性を有する金属材料により形成し、鏡面仕上げ等を施す場合も多い。このため、上記したようにマーカｍがかごシル１３ａの両端部に設置される等、マーカｍが光沢性を有する金属材料により形成される部分近辺に設置される場合、図７の撮影画像ｉ１に示されるように、これらマーカｍの鏡像ｍ’（図７の場合、マーカｍ１の鏡像ｍ’）が、光沢性を有する金属材料により形成される部分（図７の場合、乗りかご１１内の側壁）に映り込む可能性がある。

これによれば、ずれ検知部２０３は、図５に示したマーカｍに含まれる模様が等間隔に配置されていることに起因して、光沢性を有する金属材料により形成される部分に映り込んだ鏡像ｍ’の一部を含んだ物体をマーカｍと誤認識してしまう可能性がある。以下では、図８を参照して、この問題について詳しく説明する。

図８は、図５に示したマーカｍの鏡像ｍ’が光沢性を有する金属材料により形成される部分に映り込んだ場合のマーカｍと鏡像ｍ’との位置関係を示している。

図８（ａ）に示すように、マーカｍに含まれる円形の模様ｃ１〜ｃ４のうち、かごシル１３ａに沿う方向（以下、第１方向と表記する）に隣接して並ぶ２つの円ｃ１，ｃ２の中心間の距離はｄ１である。この距離ｄ１が、上記したマーカｍの認識のために予め設定される距離に相当する。一方で、図８（ｂ）に示すように、マーカｍに含まれる円ｃ１と、鏡像ｍ’に含まれる円ｃ１’との中心間の距離はｄ２である。
図５に示すマーカｍに含まれる４つの円形の模様ｃ１〜ｃ４は、マーカｍを構成する４辺の各中点と当該各中点に対向する各中点とを結ぶ２つの中心線によりマーカｍを４等分することで得られる４つの正方形の各中心が中心になるように配置されている。これによれば、上記した距離ｄ１と距離ｄ２とは図８に示すように同じ値になる。

これによれば、ずれ検知部２０３が、マーカｍに含まれる円ｃ１，ｃ４と、鏡像ｍ’に含まれる円ｃ１’，ｃ４’とを模様として認識した場合、当該模様間の距離ｄ２が予め設定された距離ｄ１と同じ値であることに起因して、マーカｍに含まれる円ｃ１，ｃ４と、鏡像ｍ’に含まれる円ｃ１’，ｃ４’とを含む物体を、マーカｍと誤認識してしまう可能性がある。

上記したマーカｍの誤認識が発生すると、ずれ検知部２０３は、図８（ａ）に示す点ｐｍではなく、図８（ｂ）に示す点ｐｍ’をマーカｍの座標値として算出してしまうため、マーカｍの座標値が正確に算出されないことになる。これによれば、カメラ１２の取り付け位置にずれが生じているか否かを正確に検知することができないという問題が生じ得る。

そこで、本実施形態においては、図９に示すように、マーカｍがかごシル１３ａの両端部に設置された際に、第１方向に隣接して並ぶ２つの模様間の第１方向に沿った距離ｄａと、２つの模様のうち乗りかご１１の側壁に近い一方の模様から乗りかご１１の側壁に接するマーカｍの一辺までの第１方向に沿った距離ｄｂの２倍とが異なるようにそれぞれ配置された４つの円形の模様ｃ１〜ｃ４を含むマーカｍを利用する。
これによれば、上記したマーカｍの誤認識の発生を抑制することが可能となる。

図１０は、図９に示したマーカｍの鏡像ｍ’が光沢性を有する金属材料により形成される部分に映り込んだ場合のマーカｍと鏡像ｍ’との位置関係を示している。

図１０（ａ）に示すように、マーカｍに含まれる４つの円形の模様ｃ１〜ｃ４のうち、第１方向に隣接して並ぶ２つの円ｃ１，ｃ２の中心間の距離はｄ３である。この距離ｄ３が、図９のマーカｍを利用する場合における上記したマーカｍの認識のために予め設定される距離に相当し、上記した距離ｄａに相当する。一方で、図１０（ｂ）に示すように、マーカｍに含まれる円ｃ１ と、鏡像ｍ’に含まれる円ｃ１’との中心間の距離はｄ４である。この距離ｄ４が、上記した距離ｄｂの２倍の距離に相当する。上記したように、図９に示すマーカｍに含まれる４つの円形の模様ｃ１〜ｃ４は、ｄａ≠ｄｂ＊２の関係性を有してそれぞれ配置されているため、上記した距離ｄ３と距離ｄ４は図１０に示すように勿論異なることになる。

これによれば、ずれ検知部２０３が、マーカｍに含まれる円ｃ１，ｃ４と、鏡像ｍ’に含まれる円ｃ１’，ｃ４’とを模様として認識したとしても、当該模様間の距離ｄ４が予め設定された距離ｄ３と異なる値であるため、マーカｍに含まれる円ｃ１，ｃ４と、鏡像ｍ’に含まれる円ｃ１’，ｃ４’とを含む物体を、マーカｍと誤認識してしまうことを抑制することが可能である。
なお、マーカｍの設置時における保守員の利便性を考慮すると、マーカｍに含まれる模様は、設置時に上下左右方向を考慮せずに設置可能な配置である方が望ましい。この観点によれば、マーカｍに含まれる模様の配置は中心線および対角線を境にして対称であることが望ましい。

ここでは、図９に示すように配置されたマーカｍを利用する場合について説明したが、マーカｍに含まれる模様の形態はこれに限られるものでない。例えば、ずれ検知部２０３が、マーカｍに含まれる模様を認識し、当該模様間の距離が予め設定された距離である場合に、当該模様を含む物体をマーカｍと認識するのではなく、マーカｍに含まれる模様を認識し、当該模様の配置パターンが予め設定された配置パターンに一致する場合に、当該配置パターンの模様を含む物体をマーカｍと認識するような場合、上記したマーカｍの誤認識の発生を抑制するために、図１１に示すようなマーカｍが利用されるとしても良い。

図１１は、図９とは異なる形態の模様を含むマーカｍを示す。図１１では、円形および正方形の２種類の模様を含み、かつ、同一種類の模様が対角線上に配置されたマーカｍを例示している。
これによれば、上記したマーカｍの誤認識の発生を抑制することが可能となる。

図１２は、図１１に示したマーカｍの鏡像ｍ’が光沢性を有する金属材料により形成される部分に映り込んだ場合のマーカｍと鏡像ｍ’との位置関係を示している。

図１２（ａ）に示すように、マーカｍに含まれる模様の配置パターンは、円形の模様ｃ１，ｃ２が一方の対角線上に配置され、かつ、正方形の模様ｓ１，ｓ２がもう一方の対角線上に配置された配置パターンである。つまり、マーカｍの中心を境にした場合の上段に円形の模様ｃ１と正方形の模様ｓ１とが図中左から順に配置され、下段に正方形の模様ｓ２と円形の模様ｃ２とが図中左から順に配置されている。この配置パターンが、図１１のマーカｍを利用する場合におけるマーカｍの認識のために予め設定される配置パターンに相当する。

このような場合に、鏡像’の一部が模様として認識された場合、詳しくは図１２（ｂ）に示すように、マーカｍに含まれる円形の模様ｃ１および正方形の模様ｓ２と、鏡像ｍ’に含まれる円形の模様ｃ１’および正方形の模様ｓ２’とが模様として認識された場合を想定する。この場合の模様の配置パターンは、上段に円形の模様ｃ１’，ｃ１が順に配置され、下段に正方形の模様ｓ２’，ｓ２が順に配置された配置パターンであり、図１２（ａ）により説明した配置パターンとは異なる配置パターンになる。

これによれば、ずれ検知部２０３が、マーカｍに含まれる円形の模様ｃ１および正方形の模様ｓ２と、鏡像ｍ’に含まれる円形の模様ｃ１’および正方形の模様ｓ２’とを模様として認識したとしても、これら模様の配置パターンが予め設定される配置パターンとは異なるため、マーカｍに含まれる円形の模様ｃ１および正方形の模様ｓ２と、鏡像ｍ’に含まれる円形の模様ｃ１’および正方形の模様ｓ２’とを含む物体を、マーカｍと誤認識してしまうことを抑制することが可能である。

なお、模様の配置パターンに注目して、マーカｍを認識する場合、例えば図１３に示すように、マーカｍに含まれる４つの模様を全て異なる模様にすることで、上記したマーカｍの誤認識の発生を抑制することも可能である。但し、マーカｍの設置時における保守員の利便性を考慮すると、マーカｍに含まれる模様は、設置時に上下左右方向を考慮せずに設置可能な形状ならびに配置である方が望ましい。この観点によれば、マーカｍに含まれる模様の形状は円形や正方形であることが望ましく、また、マーカｍに含まれる模様の配置は対角線を境にして対称であることが望ましい。

次に、図１４のフローチャートを参照して、本実施形態におけるキャリブレーション機能における画像処理装置２０の処理手順について説明する。なお、ここでは、図９に示したマーカｍが利用される場合を想定する。図１４に示す一連の処理は、例えば定期メンテナンス時に実行される他、エレベータシステムの運用前等に実行されても良い。

まず、画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態で撮影された画像（撮影画像）をカメラ１２から取得する（ステップＳ１）。ここでは一例として、図１５に示す撮影画像ｉ２が画像取得部２０２により取得された場合を想定する。撮影画像ｉ２には、図１５に示すように、かごシル１３ａの両端部に設置された２つのマーカｍ１，ｍ２と、マーカｍ１の鏡像ｍ’とが含まれている。

続いて、ずれ検知部２０３に含まれる認識処理部２３１は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する（ステップＳ２）。

ここで、図１６のフローチャートを参照して、認識処理部２３１による認識処理の処理手順（上記したステップＳ２の詳細な処理手順）の一例について説明する。

まず、認識処理部２３１は、画像取得部２０２により取得された撮影画像から、予め設定された形状（所定の形状）の複数個の模様を認識する（ステップＳ２１）。

続いて、認識処理部２３１は、上記したステップＳ２１において認識された複数個の模様のうち、かごシル１３ａに沿うようにして隣接して並ぶ２つの模様間の距離を算出する（ステップＳ２２）。

次に、認識処理部２３１は、上記したステップＳ２２において算出された模様間の距離が、マーカｍの認識のために予め設定された距離であるか否かを判定する（ステップＳ２３）。

上記したステップＳ２３において、模様間の距離が予め設定された距離であると判定された場合（ステップＳ２３のＹＥＳ）、認識処理部２３１は、当該２つの模様を含む物体をマーカｍと認識して（ステップＳ２４）、ここでの一連の処理を終了させる。

一方で、上記したステップＳ２３において、模様間の距離が予め設定された距離でないと判定された場合（ステップＳ２３のＮＯ）、認識処理部２３１は、当該２つの模様を含む物体は鏡像ｍ’を含んでいると判断し（ステップＳ２５）、マーカｍの認識を正常に行うことができなかった旨を保守員に通知して（ステップＳ２６）、ここでの一連の処理を終了させる。なお、保守員への通知は、例えば通信デバイス２５を介して行われる。

以下では、上記した一連の認識処理により、認識処理部２３１により撮影画像ｉ２からマーカｍ１，ｍ２が認識された場合を想定する。

なお、ここでは、上記したステップＳ２５において鏡像ｍ’を含むと判断された場合、マーカｍの認識を正常に行うことができなかった旨を保守員に通知するとしたが、これに限られず、例えば、上記したステップＳ２２の時点で、かごシル１３ａに沿うようにして隣接して並ぶ２つの模様の候補を複数組用意しておき、１つ目の組を対象にして上記した一連の処理を実行し、１つ目の組の模様間の距離が予め設定された距離でなく、鏡像ｍ’を含むと判断された場合、ステップＳ２２の時点で用意しておいた別の組を対象にして上記した一連の処理を再度実行し、マーカｍの認識が正常に行えるまでこれを繰り返すとしても良い。この場合、ステップＳ２２の時点で用意しておいた全ての組を対象にして、上記した一連の処理を実行したとしても、マーカｍの認識を正常に行うことができなかった場合にのみ、この旨が保守員に通知されるとしても良い。

また、ここでは、図９に示したマーカｍが利用された場合、つまり、認識処理部２３１が、２つの模様間の距離に注目して、鏡像ｍ’を含んでいるか否かを判定する場合について説明したが、図１１に示したマーカｍが利用された場合、つまり、模様の配置パターンに注目して、鏡像ｍ’を含んでいるか否かを判定する場合についても同様に、認識処理部２３１は、撮影画像から複数の模様を認識し、当該認識された模様の配置パターンが予め設定された模様の配置パターンに一致するか否かを判定することで、鏡像ｍ’を含んでいるか否かを判定すれば良い。

再度図１４の説明に戻る。認識処理部２３１は、格納部２０１に設定値として格納されているカメラ設定値（カメラ１２の高さおよびカメラ１２の画角）に基づいて、ステップＳ２の認識処理の結果として得られる複数のマーカｍに対するカメラ１２の各相対位置と、カメラ１２の３軸の角度（カメラ１２の取り付け角度）とを算出する（ステップＳ３）。上記したように、ステップＳ２において撮影画像ｉ２からマーカｍ１，ｍ２が認識されている場合、認識処理部２３１は、複数のマーカｍに対するカメラ１２の相対位置として、マーカｍ１に対するカメラ１２の相対位置と、マーカｍ２に対するカメラ１２の相対位置とをそれぞれ算出する。なお、図１５では、点ｐ１がマーカｍ１とみなされる部分に相当し、点ｐ２がマーカｍ２とみなされる部分に相当する。

ずれ検知部２０３に含まれる算出処理部２３２は、認識処理部２３１により算出された複数のマーカｍに対するカメラ１２の各相対位置と、格納部２０１に設定値として格納されている第１設定値とに基づいて、基準点に対するカメラ１２の相対位置を算出する（ステップＳ４）。

上記したように、ステップＳ３においてマーカｍ１，ｍ２に対するカメラ１２の相対位置が算出されている場合、算出処理部２３２は、マーカｍ１に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ１の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。同様に、算出処理部２３２は、マーカｍ２に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ２の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。なお、図１５では、点ｐ３が基準点に相当する。

続いて、ずれ検知部２０３に含まれる検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第２設定値とに基づいて、カメラ１２の取り付け位置にずれが生じているか否かを判定する（ステップＳ５）。具体的には、検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第２設定値である基準点に対するカメラ１２の相対位置とが一致しているか否かを判定して、カメラ１２の取り付け位置にずれが生じているか否かを検知する。

基準点に対するカメラ１２の相対位置が一致し、カメラ１２の取り付け位置にずれが生じていないと判定された場合（ステップＳ５のＹＥＳ）、検知処理部２３３は、カメラ１２の取り付け位置にずれはなく、検知エリアの再設定は必要ないと判定し、ここでの一連の処理を終了させる。

一方で、基準点に対するカメラ１２の相対位置が一致せず、カメラ１２の取り付け位置にずれが生じていると判定された場合（ステップＳ５のＮＯ）、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第３設定値およびカメラ設定値とに基づいて、画像取得部２０２により取得された撮影画像のうちのカメラ１２の取り付け位置のずれにあわせた適切な位置に検知エリアを設定する（ステップＳ６）。

本実施形態においては、かごシル１３ａから乗場１５側に所定の範囲を有する検知エリアを設定する場合を想定しているので、まず、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第３設定値である基準点に対するかごシル１３ａの各頂点の相対位置とを合成することにより、カメラ１２に対するかごシル１３ａの各頂点の相対位置を算出する。なお、図１５では、点ｐ４〜点ｐ７がかごシル１３ａの各頂点に相当する。

その後、設定処理部２０４は、算出されたカメラ１２に対するかごシル１３ａの各頂点の相対位置と、認識処理部２３１により算出されたカメラ１２の３軸の角度と、格納部２０１にカメラ設定値として格納されているカメラ１２の画角とに基づいて、検知エリアを設定する。

これによれば、画像取得部２０２により取得された撮影画像ｉ２には、図１５の斜線部分に示されるように、カメラ１２の取り付け位置のずれにあわせた検知エリアｅ１、つまり、かごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有する検知エリアｅ１が設定される。

しかる後、通知処理部２０５は、カメラ１２の取り付け位置にずれが生じていることを、通信デバイス２５を介して、監視センタ（の管理者）や保守員（の端末）に通知し（ステップＳ７）、ここでの一連の処理を終了させる。

なお、図１４に示すステップＳ５においては、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置とが一致するか否かに応じて、カメラ１２の取り付け位置にずれが生じているか否かが判定（検知）されるものとしたが、カメラ１２の取り付け位置にずれが生じている場合であっても、当該ずれが上記した利用者検知処理の精度に影響を与えない程度であれば、検知エリアの再設定を行わない構成であっても良い。すなわち、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置との差（乖離度）が予め設定された範囲内であるか否かに基づいてステップＳ５の処理が実行され、当該乖離度が予め設定された範囲内にない場合に、カメラ１２の取り付け位置にずれが生じていると判定されても良い。

また、本実施形態における検知エリアの設定が、既に設定された検知エリアの再設定を指す場合、検知エリアの設定は、検知エリアの補正と表現されても構わない。この場合、基準点に対するカメラ１２の相対位置は、上記したカメラ１２の３軸の角度と共に、検知エリアの補正を実現するために必要な値であるため、補正値と表現されても構わない。

以上説明した本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが設置された状態で撮影された画像をカメラ１２から取得し、取得された画像からマーカｍを認識し、認識されたマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知し、カメラ１２の取り付け位置のずれが検知された場合には、画像処理（利用者検知処理）に関する設定値を設定する。この画像処理に関する設定値は、撮影画像に対して設定されたかごドア１３に最も近い利用者を検知するための検知エリア（の座標値）を含む。

このような構成によれば、カメラ１２の取り付け位置にずれが生じた場合であっても、当該カメラ１２によって撮影された画像（例えば、回転した画像、左右方向にずれた画像）に対して、適切な検知エリアを設定することが可能となるため、利用者の検知精度の低下を抑止することが可能となる。

さらに本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが乗りかご１１の側壁に沿って設置された状態で撮影された画像をカメラ１２から取得し、この画像からマーカｍに含まれる複数の模様を認識し、認識された複数の模様のうち、かごシル１３ａに沿った第１方向に隣接して並ぶ２つの模様間の距離が予め設定された距離である場合に、認識された複数の模様を含むマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知する。なお、マーカｍの形状は矩形であり、このマーカｍに含まれる複数の模様は、マーカｍが設置された際に、第１方向に隣接して並ぶ２つの模様間の距離と、当該２つの模様のうち乗りかご１１の側壁に近い模様から乗りかご１１の側壁に接するマーカｍの一辺までの第１方向に沿った距離の２倍とが異なるように配置されている。

このような構成によれば、マーカｍがかごシル１３ａの両端部に設置され、マーカｍの鏡像ｍ’が、光沢性を有する金属材料により形成される部分に映り込んでいたとしても、鏡像ｍ’の一部を含んだ物体をマーカｍと誤認識してしまうことを抑制可能であり、ひいては、カメラ１２の取り付け位置にずれが生じているか否かを正確に検知することができないといった問題の発生を抑制することが可能となる。

また本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが設置された状態で撮影された画像をカメラ１２から取得し、この画像からマーカｍに含まれる複数種類の模様を認識し、認識された複数種類の模様の配置パターンが予め設定された配置パターンに一致する場合に、認識された複数種類の模様を含むマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知する。なお、マーカｍは矩形状であり、このマーカｍに含まれる複数種類の模様は、複数の第１の模様（例えば円形の模様）と、複数の第２の模様（例えば正方形の模様）とを含み、複数の第１の模様はマーカｍの一方の対角線上に配置され、複数の第２の模様はマーカｍのもう一方の対角線上に配置されている。

このような構成においても、上記と同様に、鏡像ｍ’の一部を含んだ物体をマーカｍと誤認識してしまうことを抑制可能であり、ひいては、カメラ１２の取り付け位置にずれが生じているか否かを正確に検知することができないといった問題の発生を抑制することが可能となる。

以上説明した一実施形態によれば、カメラ１２の取り付け位置のずれの検知精度を向上させ得る画像処理装置２０およびマーカｍを提供することが可能となる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ…かごシル、１４…乗場ドア、１４ａ…乗場シル、１５…乗場、２０…画像処理装置、３０…エレベータ制御装置、２０１…格納部、２０２…画像取得部、２０３…ずれ検知部、２０４…設定処理部、２０５…通知処理部、２３１…認識処理部、２３２…算出処理部、２３３…検知処理部、ｃ１〜ｃ４，ｃ１’〜ｃ４’…円形の模様、ｄ１〜ｄ４，ｄａ，ｄｂ…距離、ｅ１…検知エリア、ｉ１，ｉ２…撮影画像、ｍ，ｍ１，ｍ２…マーカ、ｍ’…鏡像、ｓ１，ｓ２，ｓ１’，ｓ２’…正方形の模様。

Claims (9)

1. 乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能な画像処理装置であって、
   前記乗りかごの床面および前記乗場の床面と区別可能なマーカが前記乗りかごの側壁に沿って設置された状態で撮影された画像を前記カメラから取得する取得手段と、
   前記取得された画像から前記マーカに含まれる複数の模様を認識し、前記認識された複数の模様のうち、前記乗りかごのシルに沿った第１方向に隣接して並ぶ２つの模様間の距離が予め設定された距離である場合に、前記認識された複数の模様を含むマーカに基づいて、前記カメラの取り付け位置のずれを検知する検知手段と、
   を具備し、
   前記マーカの形状は、矩形であり、
   前記複数の模様は、前記マーカが設置された際に、前記第１方向に隣接して並ぶ２つの模様間の距離と、前記２つの模様のうち前記乗りかごの側壁に近い模様から前記乗りかごの側壁に接する前記マーカの一辺までの距離の２倍とが異なるように配置される、画像処理装置。
2. 前記複数の模様は、前記矩形状のマーカの各辺の各中点と当該各中点に対向する各中点とを結ぶ２つの中心線、および、２つの対角線を境にして対称に配置される、
   請求項１に記載の画像処理装置。
3. 前記検知手段により、前記２つの模様間の距離が予め設定された距離でなく、前記２つの模様のうちの一方が前記マーカの鏡像に含まれる模様であると判断された場合に、この旨を保守員に対して通知する通知手段をさらに具備する、
   請求項１に記載の画像処理装置。
4. 前記検知手段は、
   前記２つの模様間の距離が予め設定された距離でない場合、前記認識された複数の模様のうち、前記第１方向に隣接して並ぶ別の２つの模様を対象にして、前記別の２つの模様間の距離が予め設定された距離であるか否かを判定する、
   請求項１に記載の画像処理装置。
5. 乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能な画像処理装置であって、
   前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置された状態で撮影された画像を前記カメラから取得する取得手段と、
   前記取得された画像から前記マーカに含まれる複数種類の模様を認識し、前記認識された複数種類の模様の配置パターンが予め設定された配置パターンに一致する場合に、前記認識された複数種類の模様を含むマーカに基づいて、前記カメラの取り付け位置のずれを検知する検知手段と、
   を具備する、画像処理装置。
6. 前記マーカの形状は、矩形であり、
   前記複数種類の模様は、複数の第１の模様と、前記第１の模様とは異なる複数の第２の模様とを含み、
   前記複数の第１の模様は、前記マーカの２つの対角線のうちの１つである第１の対角線上にそれぞれ配置され、
   前記複数の第２の模様は、前記マーカの２つの対角線のうちの１つであり、前記第１の対角線とは異なる第２の対角線上にそれぞれ配置される、
   請求項５に記載の画像処理装置。
7. 前記複数種類の模様は、
   前記第１の対角線および前記第２の対角線を境界にして対称になるようにそれぞれ配置される、請求項６に記載の画像処理装置。
8. 乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知するために用いられる矩形状のマーカであって、
   前記乗りかごの側壁に沿って設置された際に前記乗りかごのシルに沿った第１方向に隣接して並ぶ複数の模様を前記矩形内に含み、
   前記複数の模様は、前記第１方向に隣接して並ぶ２つの模様間の距離と、前記２つの模様のうち前記乗りかごの側壁に近い模様から前記乗りかごの側壁に接する前記矩形の一辺までの距離の２倍とが異なるように配置される、マーカ。
9. 乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知するために用いられる矩形状のマーカであって、
   前記矩形内に、第１の模様と、前記第１の模様とは異なる第２の模様とをそれぞれ複数含み、
   前記複数の第１の模様は、前記矩形の２つの対角線のうちの１つである第１の対角線上にそれぞれ配置され、
   前記複数の第２の模様は、前記矩形の２つの対角線のうちの１つであり、前記第１の対角線とは異なる第２の対角線上にそれぞれ配置される、マーカ。

Images