JP6693627B1 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP6693627B1 JP6693627B1 JP2019093079A JP2019093079A JP6693627B1 JP 6693627 B1 JP6693627 B1 JP 6693627B1 JP 2019093079 A JP2019093079 A JP 2019093079A JP 2019093079 A JP2019093079 A JP 2019093079A JP 6693627 B1 JP6693627 B1 JP 6693627B1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- car
- image
- marker
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0037—Performance analysers
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Indicating And Signalling Devices For Elevators (AREA)
- Image Analysis (AREA)
- Cage And Drive Apparatuses For Elevators (AREA)
Abstract
【課題】カメラの取り付け位置のずれの検知精度を向上させること。【解決手段】一実施形態によれば、画像処理装置は、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能である。画像処理装置は、取得手段、設定手段、調整手段および検知手段を備える。取得手段は、記乗りかごの床面および乗場の床面と区別可能なマーカが設置された状態で撮影された画像をカメラから取得する。設定手段は、カメラの取り付けに関する仕様値に基づいて、取得された画像上でマーカが映ると推測される関心領域を設定する。調整手段は、関心領域に含まれる画素群に関する統計量に基づいて、カメラのパラメータを調整する。検知手段は、パラメータの調整後に撮影された画像をカメラから取得し、当該画像からマーカを認識し、認識されたマーカに基づいて、カメラの取り付け位置のずれを検知する。【選択図】図１０PROBLEM TO BE SOLVED: To improve the detection accuracy of displacement of a mounting position of a camera. According to one embodiment, an image processing device is installed near a door of a car, and can detect a shift in a mounting position of a camera that captures an image of the inside of the car and the hall. The image processing device includes an acquisition unit, a setting unit, an adjustment unit, and a detection unit. The acquisition unit acquires, from the camera, an image taken in a state where a marker that can be distinguished from the floor surface of the storage car and the floor surface of the hall is installed. The setting means sets a region of interest in which it is estimated that the marker appears on the acquired image based on the specification value regarding the mounting of the camera. The adjusting unit adjusts the parameters of the camera based on the statistics regarding the pixel group included in the region of interest. The detection unit acquires an image captured after adjusting the parameters from the camera, recognizes a marker from the image, and detects a shift in the mounting position of the camera based on the recognized marker. [Selection diagram] Fig. 10
Description
本発明の実施形態は、画像処理装置に関する。 Embodiments of the present invention relate to an image processing apparatus.
近年、エレベータのかごドアに人や物が挟まれるのを防ぐために、様々な技術が考案されている。例えば、カメラを用いてエレベータに向かって移動している利用者を検知し、当該エレベータのドアの戸開時間を延長する技術が考案されている。 In recent years, various techniques have been devised in order to prevent people or objects from being caught in the elevator car door. For example, a technique has been devised that uses a camera to detect a user moving toward an elevator and extends the door opening time of the elevator.
このような技術においては、カメラによって撮影される画像から、エレベータに向かって移動している利用者を精度良く検知する必要がある。しかしながら、カメラの取り付け位置にずれが生じてしまった場合、カメラによって撮影される画像が回転したり、左右方向にずれたりするため、上記した利用者の検知精度を低下させてしまう可能性がある。 In such a technique, it is necessary to accurately detect the user moving toward the elevator from the image captured by the camera. However, if the mounting position of the camera is deviated, the image captured by the camera may be rotated or may be deviated in the left-right direction, which may reduce the detection accuracy of the user. ..
このため、カメラの取り付け位置にずれが生じた場合に、当該ずれを検知可能な技術が開発され、当該技術の精度向上が望まれている。 For this reason, a technology has been developed that can detect the displacement when the mounting position of the camera is displaced, and it is desired to improve the accuracy of the technology.
本発明の実施形態が解決しようとする課題は、カメラの取り付け位置のずれの検知精度を向上させ得る画像処理装置を提供することである。 The problem to be solved by the embodiments of the present invention is to provide an image processing apparatus capable of improving the detection accuracy of the deviation of the mounting position of the camera.
一実施形態によれば、画像処理装置は、乗りかごのドア近辺に設置され、乗りかご内および乗場を含む画像を撮影するカメラの取り付け位置のずれを検知可能である。前記画像処理装置は、取得手段、設定手段、調整手段および検知手段を具備する。前記取得手段は、前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置された状態で撮影された画像を前記カメラから取得する。前記設定手段は、前記カメラの取り付けに関する仕様値に基づいて、前記取得された画像上で前記マーカが映ると推測される関心領域を設定する。前記調整手段は、前記設定された関心領域に含まれる画素群に関する統計量に基づいて、前記カメラのパラメータを調整する。前記検知手段は、前記パラメータの調整後に撮影された画像を前記カメラから取得し、当該取得された画像から前記マーカを認識し、当該認識されたマーカに基づいて、前記カメラの取り付け位置のずれを検知する。 According to one embodiment, the image processing device is installed near the door of the car, and can detect a shift in the mounting position of the camera that captures an image of the inside of the car and the hall. The image processing apparatus includes an acquisition unit, a setting unit, an adjustment unit, and a detection unit. The acquisition unit acquires, from the camera, an image captured in a state where a marker that can be distinguished from the floor surface of the car and the floor surface of the hall is installed. The setting unit sets a region of interest that is presumed to include the marker on the acquired image, based on a specification value regarding mounting of the camera. The adjusting unit adjusts the parameters of the camera based on a statistic regarding a pixel group included in the set region of interest. The detection unit acquires an image captured after the adjustment of the parameter from the camera, recognizes the marker from the acquired image, and based on the recognized marker, shifts the mounting position of the camera. Detect.
以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。 Hereinafter, embodiments will be described with reference to the drawings. The disclosure is merely an example, and the invention is not limited to the contents described in the embodiments below. Modifications that can be easily conceived by those skilled in the art are naturally included in the scope of the disclosure. In order to make the description clearer, the size, shape, etc. of each part may be schematically represented in the drawings by being changed from the actual embodiment. Corresponding elements may be given the same reference numerals in a plurality of drawings, and detailed description may be omitted.
図１は、実施形態に係るエレベータシステムの概略構成例を示す図である。
乗りかご１１の出入口上部にカメラ１２が設置されている。具体的には、乗りかご１１の出入口上部を覆う幕板１１ａの中にカメラ１２のレンズ部分を、乗りかご１１内および乗場１５が共に映る方向に向けて設置されている。カメラ１２は、例えば車載カメラ等の小型の監視用カメラであり、広角レンズを有し、１秒間に数コマ（例えば、３０コマ／秒）の画像を連続的に撮影する。
FIG. 1 is a diagram illustrating a schematic configuration example of an elevator system according to an embodiment.
A
カメラ１２は、常時オンであり、常に撮影を行うとしても良いし、所定のタイミングでオンになり撮影を開始し、所定のタイミングでオフになり撮影を終了するとしても良い。例えば、カメラ１２は、乗りかご１１の移動速度が所定値未満の時にオンになり、乗りかご１１の移動速度が所定値以上の時にオフになるとしても良い。この場合、カメラ１２は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になるとオンになり撮影を開始し、乗りかご１１が当該所定階とは別の階に向かうために加速を開始し、移動速度が所定値以上になるとオフになり撮影を終了する。つまり、カメラ１２による撮影は、乗りかご１１が所定階に停止するために減速を開始し、移動速度が所定値未満になってから、乗りかご１１が当該所定階に停止している間中も含めて、乗りかご１１が当該所定階から別の階に向かうために加速を開始し、移動速度が所定値以上になるまで継続して行われる。
The
カメラ１２の撮影範囲はＬ１＋Ｌ２に設定されている（Ｌ１≧Ｌ２）。Ｌ１は乗場１５側の撮影範囲であり、かごドア１３から乗場１５に向けて設定される。Ｌ１は乗りかご１１側の撮影範囲であり、かごドア１３からかご背面に向けて設定される。なお、Ｌ１，Ｌ２は奥行方向の範囲であり、幅方向（奥行方向と直交する方向）の範囲については、少なくとも乗りかご１１の横幅よりも大きいものとする。
The shooting range of the
各階の乗場１５において、乗りかご１１の到着口には乗場ドア１４が開閉自在に設置されている。乗場ドア１４は、乗りかご１１の到着時にかごドア１３に係合して開閉動作する。なお、動力源（ドアモータ）は乗りかご１１側にあり、乗場ドア１４はかごドア１３に追従して開閉するだけである。以下の説明においては、かごドア１３が戸開している時には乗場ドア１４も戸開しており、かごドア１３を戸閉している時には乗場ドア１４も戸閉しているものとする。
In the
カメラ１２によって連続的に撮影された各画像（映像）は、画像処理装置２０によってリアルタイムに画像処理される。具体的には、画像処理装置２０は、予め設定されたエリア（以下、検知エリアと表記する）における画像の輝度値の変化に基づいてかごドア１３に最も近い利用者（の動き）を検知し、検知された利用者が乗りかご１１に乗車する意思を有しているか否かの判定や、検知された利用者の手や腕が戸袋に引き込まれる可能性があるか否かの判定等を行う。画像処理装置２０による画像処理の結果は、必要に応じて、エレベータ制御装置３０による制御処理（主に、戸開閉制御処理）に反映される。
Each image (video) continuously captured by the
エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時のかごドア１３の戸開閉を制御する。詳しくは、エレベータ制御装置３０は、乗りかご１１が乗場１５に到着した時にかごドア１３を戸開し、所定時間経過後に戸閉する。
The
但し、画像処理装置２０により乗りかご１１に乗車する意思のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸閉動作を禁止して戸開状態を維持する（かごドア１３の戸開時間を延長する）。また、画像処理装置２０により手や腕が戸袋に引き込まれる可能性のある利用者が検知された場合には、エレベータ制御装置３０は、かごドア１３の戸開動作を禁止するまたはかごドア１３の戸開速度を通常時よりも遅くする、あるいはかごドア１３から離れることを促す旨のメッセージを乗りかご１１内に流す等して、手や腕が戸袋に引き込まれる可能性があることを当該利用者に対して通知する。
However, when the
なお、図１では便宜的に、画像処理装置２０を乗りかご１１から取り出して示しているが、実際には画像処理装置２０はカメラ１２と共に幕板１１ａの中に収納されている。また、図１では、カメラ１２と画像処理装置２０とが別々に設けられている場合を例示しているが、カメラ１２と画像処理装置２０とは１つの装置として一体化されて設けられても良い。さらに、図１では、画像処理装置２０とエレベータ制御装置３０とが別々に設けられている場合を例示しているが、画像処理装置２０の機能はエレベータ制御装置３０に搭載されるとしても良い。
In FIG. 1, the
図２は、画像処理装置２０のハードウェア構成の一例を示す図である。
図２に示すように、画像処理装置２０においては、バス２１に、不揮発性メモリ２２、ＣＰＵ２３、メインメモリ２４および通信デバイス２５等が接続されている。
FIG. 2 is a diagram illustrating an example of a hardware configuration of the
As shown in FIG. 2, in the
不揮発性メモリ２２は、例えばオペレーティングシステム（ＯＳ）等を含む各種プログラムを格納する。なお、不揮発性メモリ２２に格納されているプログラムには、上記した画像処理（より詳しくは、後述する利用者検知処理）を実行するためのプログラムや、後述するキャリブレーション機能を実現するためのプログラム（以下、キャリブレーションプログラムと表記する）が含まれる。
The
ＣＰＵ２３は、例えば不揮発性メモリ２２に格納されている各種プログラムを実行するプロセッサである。なお、ＣＰＵ２３は、画像処理装置２０全体の制御を実行する。
The
メインメモリ２４は、例えばＣＰＵ２３が各種プログラムを実行する際に必要とされるワークエリア等として使用される。
The main memory 24 is used as, for example, a work area required when the
通信デバイス２５は、有線または無線により、例えばカメラ１２やエレベータ制御装置３０等の外部装置と実行される通信（信号の送受信）を制御する機能を有する。
The
ここで、上記したように、画像処理装置２０は、予め設定された検知エリアにおける画像の輝度値の変化に基づいてかごドア１３に最も近い利用者を検知する利用者検知処理を実行する。この利用者検知処理では、予め設定された検知エリアにおける画像の輝度値の変化に注目するため、当該検知エリアは、画像上の決まった位置に常に設定される必要がある。
Here, as described above, the
しかしながら、エレベータシステムの運用中に例えば乗りかご１１やカメラ１２に対する衝撃等によって、カメラ１２の取り付け位置（取り付け角度）にずれが生じてしまうと、上記した検知エリアにもずれが生じてしまうため、画像処理装置２０は、実際に注目したいエリアとは異なるエリアの画像の輝度値の変化に注目してしまい、その結果、本来であれば検知する必要のある利用者（や物体）を検知できない、あるいは、本来であれば検知する必要のない利用者（や物体）を誤検知してしまう、等の可能性がある。
However, if the mounting position (mounting angle) of the
図３は、カメラ１２の取り付け位置にずれがない場合に撮影された画像の一例を示す。なお、図１においては示されていないが、乗りかご１１側には、かごドア１３の開閉をガイドするためのシル（敷居）（以下、かごシルと表記する）１３ａが設けられている。同様に、乗場１５側には、乗場ドア１４の開閉をガイドするためのシル（以下、乗場シルと表記する）１４ａが設けられている。また、図３中の斜線部分は、画像上に設定された検知エリアｅ１を示している。ここでは一例として、乗場１５にいる利用者を検知するために、検知エリアｅ１が、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に向けて所定の範囲を有して設定される場合を想定する。なお、検知エリアは、手や腕の戸袋への引き込まれを抑止するために乗りかご１１側に設定されても良いし、乗場１５側および乗りかご１１側の双方に複数設定されても良い。
FIG. 3 shows an example of an image taken when the mounting position of the
一方、図４は、カメラ１２の取り付け位置にずれがある場合に撮影された画像の一例を示す。なお、図４中の斜線部分は、図３同様に、画像上に設定された検知エリアｅ１を示す。
On the other hand, FIG. 4 shows an example of an image taken when the mounting position of the
図４に示すように、カメラ１２の取り付け位置にずれがあると、カメラ１２によって撮影された画像は、図３に示す場合に比べて、例えば回転した画像（傾いた画像）となる。しかしながら、検知エリアｅ１は、図３同様、画像上の決まった位置に設定されるため、本来であれば図３に示すように、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から、乗場１５側に所定の範囲を有して設定されるにも関わらず、図４に示すように、長方形状のかごシル１３ａの長辺とは全く関係のない位置から所定の範囲を有して設定されてしまうことになる。これによれば、上記したように、本来であれば検知する必要のある利用者を検知できなかったり、検知する必要のない利用者を誤検知してしまったりする可能性がある。なお、図４では、カメラ１２の取り付け位置のずれに起因して、画像が回転してしまった場合を例示したが、カメラ１２の取り付け位置のずれに起因して、画像が左右方向にずれてしまった場合も同様の可能性がある。
As shown in FIG. 4, when the mounting position of the
そこで、本実施形態に係る画像処理装置２０は、カメラ１２の取り付け位置にずれが生じているか否かを検知し、ずれが生じている場合には、当該ずれにあわせて適切な位置に検知エリアを設定可能なキャリブレーション機能を有している。以下では、このキャリブレーション機能について詳しく説明する。
Therefore, the
なお、キャリブレーション機能を実現するにあたっては、例えば図５に示すようなマーカｍがカメラ１２の撮影範囲内に設置される必要がある。マーカｍは、例えばエレベータシステムの保守点検を行う保守員により設置される。ここでは、マーカｍが正方形状であり、４つの黒い丸印を模様として含むものとしたが、マーカｍは４つの角が全て直角である四角形であって、カメラ１２の撮影範囲内に含まれる他の物体（例えば、乗りかご１１や乗場１５の床面）と区別可能な模様を含むものであれば、どのようなものであっても構わない。
In order to realize the calibration function, it is necessary to install a marker m as shown in FIG. 5 within the shooting range of the
図６は、本実施形態に係る画像処理装置２０の機能構成の一例を示すブロック図である。ここでは、上記したキャリブレーション機能に関する機能構成について主に説明する。
FIG. 6 is a block diagram showing an example of the functional configuration of the
画像処理装置２０は、図６に示すように、格納部２０１、画像取得部２０２、ずれ検知部２０３、設定処理部２０４および通知処理部２０５、等を含む。ずれ検知部２０３は、図６に示すように、認識処理部２３１、算出処理部２３２および検知処理部２３３、等をさらに含む。
As shown in FIG. 6, the
本実施形態においては、これら各部２０２〜２０５が、例えば図２に示すＣＰＵ２３（つまり、画像処理装置２０のコンピュータ）が不揮発性メモリ２２に格納されているキャリブレーションプログラムを実行すること（つまり、ソフトウェア）により実現されるものとして説明するが、上記した各部２０２〜２０５は、ハードウェアにより実現されても良いし、ソフトウェアおよびハードウェアの組み合わせにより実現されても良い。また、本実施形態において、格納部２０１は、例えば図２に示す不揮発性メモリ２２または他の記憶装置等によって構成される。
In the present embodiment, each of these
格納部２０１には、キャリブレーション機能に関する設定値が格納されている。キャリブレーション機能に関する設定値は、基準点に対するマーカの相対位置を示す値（以下、第１設定値と表記する）を含む。基準点とは、カメラ１２の取り付け位置にずれが生じているか否かを検知するための指標となる位置であり、例えば、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央がこれに相当する。なお、基準点は、上記した長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の中央ではなく、カメラ１２の取り付け位置にずれが生じていない場合に当該カメラ１２の撮影範囲内に含まれる位置であれば任意の位置が基準点に設定されて構わない。
The
また、キャリブレーションに関する設定値には、カメラ１２の取り付け位置にずれが生じていない場合の画像（基準画像）に含まれる基準点に対するカメラ１２の相対位置を示す値（以下、第２設定値と表記する）が含まれる。
Further, the setting value related to the calibration is a value indicating the relative position of the
さらに、キャリブレーションに関する設定値には、基準点に対するかごシル１３ａの各頂点（四隅）の相対位置を示す値（以下、第３設定値と表記する）が含まれる。なお、本実施形態においては、検知エリアが長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有して設定される場合を想定しているため、上記した第３設定値として、基準点に対するかごシル１３ａの各頂点の相対位置を示す値が含まれるとしているが、これに限定されず、第３設定値には、検知エリアを設定すべき領域に応じた値が設定される。例えば、検知エリアが手や腕の戸袋への引き込まれを抑止することを目的として、戸袋近辺に設定される場合、第３設定値として、基準点に対する戸袋の各特徴点の相対位置を示す値が含まれるとしても良い。
Further, the setting values related to the calibration include a value (hereinafter, referred to as a third setting value) indicating a relative position of each vertex (four corners) of the
また、キャリブレーションに関する設定値には、乗りかご１１の床面からカメラ１２までの高さと、当該カメラ１２の画角（焦点距離）とを示す値（以下、カメラ設定値と表記する）が含まれる。
Further, the setting values related to the calibration include a value (hereinafter, referred to as a camera setting value) indicating a height from the floor surface of the
なお、格納部２０１には、カメラ１２の取り付け位置にずれがない場合に撮影された画像（基準画像）が格納されていても良い。
The
画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態でカメラ１２により撮影された画像（以下、撮影画像と表記する）を取得する。なお、本実施形態においては、複数のマーカｍが、長方形状のかごシル１３ａの長辺のうちの乗りかご１１側の長辺の両端部にそれぞれ沿うようにして、乗りかご１１内の床面に設置される（以下では、単にかごシル１３ａの両端部に設置すると表記する）場合を想定するが、複数のマーカｍは基準点（本実施形態の場合、かごシル１３ａの中央）との相対位置を特定可能な位置であれば、乗場１５側の床面に設置されても良いし、かごシル１３ａや乗場シル１４ａ上に設置されても良い。また、画像取得部２０２は、複数のマーカｍが設置された状態でカメラ１２により撮影された画像を取得すれば良く、かごドア１３の状態はどのような状態であっても構わない。例えば、画像取得部２０２は、複数のマーカｍが設置され、かつ、かごドア１３が全開の状態で撮影された画像を撮影画像として取得しても良いし、複数のマーカｍが設置され、かつ、かごドア１３が全閉の状態で撮影された画像を撮影画像として取得しても良いし、複数のマーカｍが設置され、かつ、かごドア１３が半開き（あるいは半閉り）の状態で撮影された画像を撮影画像として取得するとしても良い。
The
ずれ検知部２０３は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する。撮影画像に含まれるマーカｍの認識は、例えばマーカｍに含まれる模様、本実施形態の場合、正方形の中に含まれる４つの黒い丸印を模様として含む物体を、マーカｍとして認識することを予め設定しておくことで実現するとしても良いし、その他の公知の画像認識技術を用いて実現するとしても良い。
The
なお、本実施形態において、複数のマーカｍを認識するとは、複数のマーカｍの撮影画像上での座標値を算出することを含む。本実施形態においては、マーカｍとして認識された物体に含まれる４つの黒い丸印の中心点を結ぶことで形成される四角形の中心点（重心）をマーカｍとみなして、複数のマーカｍの撮影画像上での座標値が算出される場合を想定する。なお、ここでは、マーカｍとして認識された物体に含まれる４つの黒い丸印の中心点を結ぶことで形成される四角形の重心をマーカｍとみなすとするが、マーカｍとして認識された物体のどの部分をマーカｍとみなすかは任意に設定されて構わない。 In the present embodiment, recognizing the plurality of markers m includes calculating coordinate values of the plurality of markers m on the captured image. In the present embodiment, the center point (center of gravity) of a quadrangle formed by connecting the center points of the four black circles included in the object recognized as the marker m is regarded as the marker m, and the plurality of markers m are separated. It is assumed that the coordinate value on the captured image is calculated. Note that, here, the center of gravity of a quadrangle formed by connecting the center points of the four black circles included in the object recognized as the marker m is regarded as the marker m. Which part is regarded as the marker m may be set arbitrarily.
ずれ検知部２０３は、上記した認識処理の結果に基づいて、カメラ１２の取り付け位置のずれを検知する。なお、ずれ検知部２０３に含まれる認識処理部２３１、算出処理部２３２および検知処理部２３３の機能については、フローチャートの説明と共に後述するため、ここではこれらの詳しい説明を省略する。
The
設定処理部２０４は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、画像取得部２０２により取得された撮影画像のうちの当該ずれにあわせた適切な位置に検知エリアを設定する。これによれば、カメラ１２の取り付け位置のずれを考慮した検知エリアが撮影画像上に設定される。なお、ずれにあわせて適切な位置に設定された検知エリアの座標値は、格納部２０１に格納されても良い。
When the
通知処理部２０５は、ずれ検知部２０３によりカメラ１２の取り付け位置にずれが生じていることが検知された場合、エレベータシステムの運用状態等を監視する監視センタ（の管理者）や、マーカｍを設置してエレベータシステムの保守点検を行う保守員（が所持する端末）に対して、カメラ１２の取り付け位置にずれが生じていること（異常が生じていること）を通知する。なお、この通知は、例えば通信デバイス２５を介して行われる。
When the
次に、図７のフローチャートを参照して、本実施形態におけるキャリブレーション機能における画像処理装置２０の処理手順について説明する。なお、図７に示す一連の処理は、例えば定期メンテナンス時に実行される他、エレベータシステムの運用前等に実行されても良い。
Next, the processing procedure of the
まず、画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態で撮影された画像（撮影画像）をカメラ１２から取得する（ステップＳ１）。ここでは一例として、図８に示す撮影画像ｉ１が画像取得部２０２により取得された場合を想定する。撮影画像ｉ１には、図８に示すように、かごシル１３ａの両端部に設置された２つのマーカｍ１，ｍ２が含まれている。
First, the
続いて、ずれ検知部２０３に含まれる認識処理部２３１は、画像取得部２０２により取得された撮影画像に対して認識処理を実行し、当該撮影画像に含まれる複数のマーカｍを認識（抽出）する（ステップＳ２）。上記したように、ステップＳ１において撮影画像ｉ１が取得されている場合、認識処理部２３１は、図８に示す撮影画像ｉ１に対して認識処理を実行し、当該撮影画像ｉ１に含まれるマーカｍ１，ｍ２を認識（抽出）する。
Subsequently, the
次に、認識処理部２３１は、格納部２０１に設定値として格納されているカメラ設定値（カメラ１２の高さおよびカメラ１２の画角）に基づいて、ステップＳ２の認識処理の結果として得られる複数のマーカｍに対するカメラ１２の各相対位置と、カメラ１２の３軸の角度（カメラ１２の取り付け角度）とを算出する（ステップＳ３）。上記したように、ステップＳ２において撮影画像ｉ１からマーカｍ１，ｍ２が認識されている場合、認識処理部２３１は、複数のマーカｍに対するカメラ１２の相対位置として、マーカｍ１に対するカメラ１２の相対位置と、マーカｍ２に対するカメラ１２の相対位置とをそれぞれ算出する。なお、図８では、点ｐ１がマーカｍ１とみなされる部分に相当し、点ｐ２がマーカｍ２とみなされる部分に相当する。
Next, the
ずれ検知部２０３に含まれる算出処理部２３２は、認識処理部２３１により算出された複数のマーカｍに対するカメラ１２の各相対位置と、格納部２０１に設定値として格納されている第１設定値とに基づいて、基準点に対するカメラ１２の相対位置を算出する（ステップＳ４）。
The
上記したように、ステップＳ３においてマーカｍ１，ｍ２に対するカメラ１２の相対位置が算出されている場合、算出処理部２３２は、マーカｍ１に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ１の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。同様に、算出処理部２３２は、マーカｍ２に対するカメラ１２の相対位置と、第１設定値である基準点に対するマーカｍ２の相対位置とを合成することにより、基準点に対するカメラ１２の相対位置を算出する。なお、図８では、点ｐ３が基準点に相当する。
As described above, when the relative position of the
続いて、ずれ検知部２０３に含まれる検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第２設定値とに基づいて、カメラ１２の取り付け位置にずれが生じているか否かを判定する（ステップＳ５）。具体的には、検知処理部２３３は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第２設定値である基準点に対するカメラ１２の相対位置とが一致しているか否かを判定して、カメラ１２の取り付け位置にずれが生じているか否かを検知する。
Subsequently, the
基準点に対するカメラ１２の相対位置が一致し、カメラ１２の取り付け位置にずれが生じていないと判定された場合（ステップＳ５のＹＥＳ）、検知処理部２３３は、カメラ１２の取り付け位置にずれはなく、検知エリアの再設定は必要ないと判定し、ここでの一連の処理を終了させる。
When it is determined that the relative position of the
一方で、基準点に対するカメラ１２の相対位置が一致せず、カメラ１２の取り付け位置にずれが生じていると判定された場合（ステップＳ５のＮＯ）、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、格納部２０１に設定値として格納されている第３設定値およびカメラ設定値とに基づいて、画像取得部２０２により取得された撮影画像のうちのカメラ１２の取り付け位置のずれにあわせた適切な位置に検知エリアを設定する（ステップＳ６）。
On the other hand, when the relative position of the
本実施形態においては、かごシル１３ａから乗場１５側に所定の範囲を有する検知エリアを設定する場合を想定しているので、まず、設定処理部２０４は、算出処理部２３２により算出された基準点に対するカメラ１２の相対位置と、第３設定値である基準点に対するかごシル１３ａの各頂点の相対位置とを合成することにより、カメラ１２に対するかごシル１３ａの各頂点の相対位置を算出する。なお、図８では、点ｐ４〜点ｐ７がかごシル１３ａの各頂点に相当する。
In the present embodiment, since it is assumed that a detection area having a predetermined range is set from the
その後、設定処理部２０４は、算出されたカメラ１２に対するかごシル１３ａの各頂点の相対位置と、認識処理部２３１により算出されたカメラ１２の３軸の角度と、格納部２０１にカメラ設定値として格納されているカメラ１２の画角とに基づいて、検知エリアを設定する。
Then, the setting
これによれば、画像取得部２０２により取得された撮影画像ｉ１には、図８の斜線部分に示されるように、カメラ１２の取り付け位置のずれにあわせた検知エリアｅ１、つまり、かごシル１３ａの長辺のうちの乗りかご１１側の長辺から乗場１５側に所定の範囲を有する検知エリアｅ１が設定される。
According to this, in the captured image i1 acquired by the
しかる後、通知処理部２０５は、カメラ１２の取り付け位置にずれが生じていることを、通信デバイス２５を介して、監視センタ（の管理者）や保守員（の端末）に通知し（ステップＳ７）、ここでの一連の処理を終了させる。
Then, the
なお、図７に示すステップＳ５においては、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置とが一致するか否かに応じて、カメラ１２の取り付け位置にずれが生じているか否かが判定（検知）されるものとしたが、カメラ１２の取り付け位置にずれが生じている場合であっても、当該ずれが上記した利用者検知処理の精度に影響を与えない程度であれば、検知エリアの再設定を行わない構成であっても良い。すなわち、撮影画像に含まれる基準点に対するカメラ１２の相対位置と、基準画像に含まれる基準点に対するカメラ１２の相対位置との差（乖離度）が予め設定された範囲内であるか否かに基づいてステップＳ５の処理が実行され、当該乖離度が予め設定された範囲内にない場合に、カメラ１２の取り付け位置にずれが生じていると判定されても良い。
Note that in step S5 shown in FIG. 7, it is determined whether the relative position of the
また、本実施形態における検知エリアの設定が、既に設定された検知エリアの再設定を指す場合、検知エリアの設定は、検知エリアの補正と表現されても構わない。この場合、基準点に対するカメラ１２の相対位置は、上記したカメラ１２の３軸の角度と共に、検知エリアの補正を実現するために必要な値であるため、補正値と表現されても構わない。
Further, when the setting of the detection area in the present embodiment refers to the resetting of the detection area that has already been set, the setting of the detection area may be expressed as correction of the detection area. In this case, the relative position of the
以上説明したキャリブレーション機能によれば、カメラ１２の取り付け位置のずれにあわせた検知エリアｅ１を撮影画像ｉ１に対して設定することが可能となる一方で、当該キャリブレーション機能を実行するにあたっては、以下に示す問題を解消する必要がある。
According to the calibration function described above, it is possible to set the detection area e1 corresponding to the displacement of the mounting position of the
上記したキャリブレーション機能においては、図７のステップＳ１，Ｓ２に示したように、乗りかご１１内の床面にマーカｍが設置された状態の撮影画像をカメラ１２から取得し、当該撮影画像からマーカｍを認識する必要がある。しかしながら、撮影時の周囲の環境によっては、図９に示すように、撮影画像に白とびや黒つぶれが発生し、この白とびや黒つぶれの発生に起因して、かごシル１３ａの両端部に設置されたマーカｍを認識することができない可能性がある。これによれば、上記したキャリブレーション機能が正常に機能しない可能性がある。なお、撮影画像に影響を及ぼす（つまり、白とびや黒つぶれを発生させる）周囲の環境の一例としては、乗場１５側から入射する外光や、乗りかご１１内に設置された照明意匠による光等が一例として挙げられる。
In the calibration function described above, as shown in steps S1 and S2 of FIG. 7, a captured image in which the marker m is installed on the floor surface of the
このため、本実施形態に係る画像処理装置２０は、キャリブレーション機能の１つとして、マーカｍの設置位置近辺における撮影画像上での白とびや黒つぶれの発生を抑制可能な露光調整機能をさらに有している。以下では、この露光調整機能について詳しく説明する。
Therefore, the
露光調整機能を実現するにあたって、格納部２０１には、上記した第１〜第３設定値およびカメラ設定値に加えて、カメラ１２の取り付け位置にずれが生じていないと仮定した場合におけるカメラ１２の３軸の角度（カメラ１２の取り付け角度）と、マーカｍに対するカメラ１２の相対位置（カメラ１２とマーカｍとの位置関係）とを示す値（換言すると、カメラ１２の取り付けに関する仕様値、以下、単に仕様値と表記する）が、キャリブレーションに関する設定値（詳しくは、露光調整に関する設定値）としてさらに含まれている。なお、本実施形態においては、マーカｍがかごシル１３ａの両端部に設置される場合を想定するため、マーカｍに対するカメラ１２の相対位置は、かごシル１３ａの両端部に対するカメラ１２の相対位置と同義である。
In realizing the exposure adjustment function, the
画像取得部２０２は、図７に示した一連の処理が実行されるより前に、露光調整機能に関する処理を実行する。詳細についてはフローチャートの説明と共に後述するが、撮影画像上でマーカｍが映ると推測される領域を関心領域（ROI: Region Of Interest）として設定し、当該関心領域に含まれる画素群の統計量に基づいて、カメラ１２固有のカメラパラメータを調整する。
The
ここで、図１０のフローチャートを参照して、本実施形態における露光調整機能における画像処理装置２０の処理手順について説明する。なお、図１０に示す一連の処理は、例えば、図７に示した一連の処理が実行されるより前に実行される。つまり、図１０に示す一連の処理は、例えば、図７に示した一連の処理の前処理として実行される。
Here, the processing procedure of the
まず、画像取得部２０２は、乗りかご１１内の床面に複数のマーカｍが設置された状態で撮影された画像（撮影画像）をカメラ１２から取得する（ステップＳ１１）。上記したように、本実施形態においては、マーカｍ１，ｍ２がかごシル１３ａの両端部にそれぞれ設置されている場合を想定する。また、ここでは、ステップＳ１１を実行した結果、図９に示す撮影画像ｉ２が画像取得部２０２により取得された場合を想定する。つまり、この時点においては、図９に示すように、撮影画像ｉ２には白とびや黒つぶれが発生し、ずれ検知部２０３（認識処理部２３１）が、かごシル１３ａの両端部にそれぞれ設置されたマーカｍ１，ｍ２を認識できない状態にある。
First, the
続いて、画像取得部２０２は、格納部２０１に設定値として格納されている仕様値およびカメラ設定値に基づいて、複数のマーカｍが映ると推測される関心領域ｒを設定する（ステップＳ１２）。上記したように、マーカｍ１，ｍ２がかごシル１３ａの両端部に設置されている場合、画像取得部２０２は、マーカｍ１，ｍ２に対するカメラ１２の相対位置（換言すると、かごシル１３ａの両端部に対するカメラ１２の相対位置）と、カメラ１２の３軸の角度と、カメラ１２の画角とに基づいて、撮影画像ｉ２上に関心領域ｒを設定する。
Next, the
これによれば、画像取得部２０２により取得された撮影画像ｉ２には、図９の一点鎖線で示されるように、マーカｍ１が映ると推測される関心領域ｒ１と、マーカｍ２が映ると推測される関心領域ｒ２とが設定される。なお、ここでは、マーカｍ１が映ると推測される関心領域ｒ１と、マーカｍ２が映ると推測される関心領域ｒ２とを別々に設定するとしたが、これに限定されず、例えば、マーカｍ１，ｍ２の両方が映ると推測される１つの関心領域ｒが設定されるとしても良い。
According to this, in the captured image i2 acquired by the
次に、画像取得部２０２は、関心領域ｒに含まれる画素群に関する統計量を算出する（ステップＳ１３）。上記したように、ステップＳ１２において２つの関心領域ｒ１，ｒ２が設定されている場合、画像取得部２０２は、関心領域ｒ１に含まれる画素群に関する統計量と、関心領域ｒ２に含まれる画素群に関する統計量とをそれぞれ算出する。なお、ここでは、関心領域ｒに含まれる画素群に関する統計量として、関心領域ｒに含まれる画素群の平均輝度値（画素値の平均値）が算出される場合を想定する。但し、関心領域ｒに含まれる画素群に関する統計量は、画素値の平均値に限定されず、例えば、画素値の中央値や最頻値、最大値、最小値、等が関心領域ｒに含まれる画素群に関する統計量として算出されても構わない。
Next, the
しかる後、画像取得部２０２は、算出された関心領域ｒに含まれる画素群に関する統計量が予め設定された基準値（目標値）になるように、カメラ１２固有のカメラパラメータを調整（設定）し（ステップＳ１４）、ここでの一連の処理を終了させる。この調整は、例えば、カメラパラメータを設定するための指示信号が通信デバイス２５を介して画像取得部２０２からカメラ１２に送信されることにより行われる。
Thereafter, the
上記したように、ステップＳ１３において２つの関心領域ｒ１，ｒ２について画素群に関する統計量が算出されている場合、画像取得部２０２は、どちらの統計量も基準値になるように、カメラ１２固有のカメラパラメータを調整する。なお、調整対象となるカメラパラメータには、カメラ１２のシャッタースピード（露光時間）およびカメラ１２のゲイン（感度）のうちの少なくとも一方が含まれる。
As described above, when the statistics regarding the pixel groups for the two regions of interest r1 and r2 are calculated in step S13, the
なお、関心領域ｒに含まれる画素群に関する統計量に対して予め設定される基準値は、上記した露光調整に関する設定値の１つとして、格納部２０１に予め格納される。上記したように、関心領域ｒに含まれる画素群に関する統計量が、関心領域ｒに含まれる画素群の平均輝度値であって、カメラ１２による撮影画像ｉ２が、色の濃淡をグレースケールで表現する画像である場合、上記した基準値は、グレースケールの０（黒：最小輝度値）とグレースケールの２５５（白：最大輝度値）との平均値である１２７に設定されるとしても良い。この場合、画像取得部２０２は、関心領域ｒに含まれる画素群の平均輝度値が１２７になるように、カメラ１２固有のカメラパラメータを調整する。
The reference value set in advance for the statistic regarding the pixel group included in the region of interest r is stored in advance in the
以上説明した露光調整機能によれば、マーカｍが映ると推測される関心領域ｒを撮影画像上に設定し、当該関心領域ｒにおける白とびや黒つぶれの発生を抑制するように、カメラ１２の露光調整を行うことが可能となる。
According to the exposure adjustment function described above, the region of interest r presumed to include the marker m is set on the photographed image, and the
図１１は、図１０に示す一連の処理が実行された後に撮影された画像、つまり、露光調整が行われた後に撮影された画像の一例を示す。図１１に示す露光調整後の撮影画像ｉ３には、図９に示す露光調整前の撮影画像ｉ２とは異なり、マーカｍ１，ｍ２の設置位置近辺に白とびや黒つぶれが発生していないため、認識処理部２３１が、かごシル１３ａの両端部にそれぞれ設置されたマーカｍ１，ｍ２を認識できる状態にある。これによれば、図７のステップＳ２が正常に実行され、上記したキャリブレーション機能を正常に機能させることが可能となる。
FIG. 11 shows an example of an image taken after the series of processing shown in FIG. 10 is executed, that is, an image taken after the exposure adjustment is performed. Unlike the pre-exposure-adjusted shot image i2 shown in FIG. 9, the post-exposure-adjusted shot image i3 shown in FIG. 11 has no blown-out highlights or underexposure near the positions where the markers m1 and m2 are installed. The
なお、マーカｍ１，ｍ２の設置位置近辺における白とびや黒つぶれの発生を抑制するようにカメラパラメータを調整した影響で、図１１に示す撮影画像ｉ３には、マーカｍ１，ｍ２の設置位置近辺以外の部分（図１１中の斜線部分）に白とびや黒つぶれが発生してしまっている。しかしながら、上記したキャリブレーション機能においては、マーカｍ１，ｍ２を認識することが重要であり、その他の部分を認識できないことはさしたる問題ではないため、マーカｍ１，ｍ２の設置位置近辺以外の部分に白とびや黒つぶれが発生したとしても、上記したキャリブレーション機能を正常に機能させることが可能である。 It should be noted that, due to the effect of adjusting the camera parameters so as to suppress the occurrence of overexposure and underexposure near the installation positions of the markers m1 and m2, the captured image i3 shown in FIG. Whiteout and underexposure have occurred in the portion (hatched portion in FIG. 11). However, in the above-described calibration function, it is important to recognize the markers m1 and m2, and it is not a problem that the other parts cannot be recognized. Therefore, the parts other than the installation positions of the markers m1 and m2 are white. Even if skips or blackouts occur, the calibration function described above can function normally.
なお、本実施形態においては、図１０に示す一連の処理が、図７に示す一連の処理の前処理として実行される場合について説明したが、図１０に示す一連の処理を実行するタイミングはこれに限定されず、例えば、図７に示すステップＳ２において、認識処理部２３１がマーカｍを正常に認識することができなかった場合に、マーカｍを正常に認識することができなかった撮影画像を用いて、図１０に示す一連の処理が実行されるとしても良い。
In addition, in the present embodiment, the case where the series of processing illustrated in FIG. 10 is executed as the preprocessing of the series of processing illustrated in FIG. 7 has been described, but the timing of executing the series of processing illustrated in FIG. However, for example, in step S2 shown in FIG. 7, when the
図１０に示す一連の処理は、マーカｍを利用したキャリブレーション機能を正常に機能させるために実行される。このため、図１０のステップＳ１１において取得される撮影画像には、マーカｍが含まれていることが望ましい。つまり、キャリブレーション時にマーカｍを設置する位置にマーカｍが設置された状態の撮影画像が取得されることが望ましい。これによれば、マーカｍを構成する画素の輝度値を考慮した露光調整を実行することができるので、マーカｍを利用したキャリブレーション機能に則した露光調整を実現することが可能となる。 The series of processes shown in FIG. 10 is executed in order for the calibration function using the marker m to function normally. Therefore, it is desirable that the captured image acquired in step S11 of FIG. 10 includes the marker m. That is, it is desirable that a captured image in which the marker m is installed at the position where the marker m is installed at the time of calibration is acquired. According to this, it is possible to execute the exposure adjustment in consideration of the brightness values of the pixels forming the marker m, and thus it is possible to realize the exposure adjustment based on the calibration function using the marker m.
本実施形態においては、カメラ１２から撮影画像を取得し、取得された撮影画像上に関心領域ｒを設定し、当該関心領域ｒに含まれる画素群に関する統計量に基づいてカメラパラメータを調整するとしたが、カメラパラメータの調整は、以下に示す方法により実行されても良い。
In the present embodiment, it is assumed that a captured image is acquired from the
上記したように、撮影画像に白とびや黒つぶれを発生させる主な要因は、乗場１５側から入射する外光や、乗りかご１１内に設置された照明意匠による光であり、乗りかご１１内の明るさ（マーカｍが設置される位置近辺の明るさ）と、白とびや黒つぶれの発生とには関係性がある。このため、乗りかご１１内の明るさと、乗りかご１１内の明るさが対応づけられた明るさの場合にマーカｍの設置位置近辺における白とびや黒つぶれの発生を抑制可能なカメラ１２固有のカメラパラメータとを含む調整テーブルを予め用意しておくことで、画像取得部２０２は、カメラパラメータの調整を実現するとしても良い。
As described above, the main factors that cause overexposure and underexposure in a captured image are external light entering from the
この方法の場合、乗りかご１１内の明るさを精度良く推測する必要があるので、かごドア１３は全閉状態であることが望ましい。これによれば、乗場１５側からの外光の入射を防ぐことができ、白とびや黒つぶれの発生を精度良く抑制することが可能となる。
このため、まず画像処理装置２０は、エレベータ制御装置３０を介してかごドア１３の状態を確認し、かごドア１３が開いている状態（例えば、全開状態または半開き状態）にある場合、かごドア１３を全閉状態にするようエレベータ制御装置３０に指示する。
In the case of this method, since it is necessary to accurately estimate the brightness inside the
Therefore, first, the
続いて、かごドア１３が全閉状態になったことを確認すると、画像処理装置２０はカメラ１２の設定を自動露光（AE: Automatic Exposure）モードに変更した上で、カメラ１２に撮影を実行させる。自動露光モードとは、カメラ１２が撮影環境に応じて当該カメラ１２固有のカメラパラメータ（シャッタースピードおよびゲイン）を自動的に調整して、撮影を行うことが可能なモードである。なお、撮影を実行しなくても、自動露光モード時のカメラパラメータを取得可能な場合、ここでは撮影を実行せずに、カメラ１２の設定を自動露光モードに変更するだけで良い。
Subsequently, when it is confirmed that the
次に、画像処理装置２０は、自動露光モードにより調整されたカメラパラメータの値（撮影時のカメラパラメータの値）を取得し、取得されたカメラパラメータの値に基づいて、乗りかご１１内の現在の明るさを推測する。その後、画像処理装置２０は、推測された乗りかご１１内の現在の明るさと、格納部２０１に予め用意された調整テーブルとに基づいて、乗りかご１１内の現在の明るさに好適なカメラパラメータを決定する。より詳しくは、画像処理装置２０は、予め用意された調整テーブルにおいて、推測された乗りかご１１内の現在の明るさに対応づけられているカメラパラメータを、乗りかご１１内の現在の明るさに好適なカメラパラメータに決定する。
Next, the
続いて、画像処理装置２０は、カメラ１２固有のカメラパラメータを、決定されたカメラパラメータに調整する。その後、画像処理装置２０は、調整後のカメラパラメータを利用して撮影された画像であって、設置されたマーカｍを適切に認識可能な状態の画像をカメラ１２から取得し、上記したキャリブレーション機能における一連の処理を実行する。この方法によれば、関心領域ｒの設定、関心領域ｒに含まれる画素群に関する統計量の算出、等を実行しなくても、格納部２０１に予め格納された調整テーブルと、乗りかご１１内の現在の明るさとに基づいて、マーカｍの設置位置近辺における白とびや黒つぶれの発生を抑制するように、カメラ１２固有のカメラパラメータを調整することが可能であり、図１０に示した一連の処理が実行された場合と同様の効果を得ることが可能である。また、この方法によれば、自動露光モード時のシャッタースピードおよびゲインに基づいて乗りかご１１内の現在の明るさを推測可能であるので、乗りかご１１内の現在の明るさを測定するための照度センサ等を取り付ける必要がなく、照度センサの取り付けにかかる手間やコストを削減することも可能である。
Then, the
以上説明した本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが設置された状態で撮影された画像をカメラ１２から取得し、取得された画像からマーカｍを認識し、認識されたマーカｍに基づいて、カメラ１２の取り付け位置のずれを検知し、カメラ１２の取り付け位置のずれが検知された場合には、画像処理（利用者検知処理）に関する設定値を設定する。この画像処理に関する設定値は、撮影画像に対して設定されたかごドア１３に最も近い利用者を検知するための検知エリア（の座標値）を含む。
In the present embodiment described above, the
このような構成によれば、カメラ１２の取り付け位置にずれが生じた場合であっても、当該カメラ１２によって撮影された画像（例えば、回転した画像、左右方向にずれた画像）に対して、適切な検知エリアを設定することが可能となるため、利用者の検知精度の低下を抑止することが可能となる。
According to such a configuration, even when the mounting position of the
さらに本実施形態において、画像処理装置２０は、乗りかご１１の床面および乗場１５の床面と区別可能なマーカｍが設置された状態で撮影された画像をカメラ１２から取得し、カメラ１２の取り付けに関する仕様値に基づいて、取得された画像上に関心領域ｒを設定し、関心領域ｒに含まれる画素群に関する統計量に基づいて、カメラ１２固有のカメラパラメータを調整し、この調整後の画像に基づいて、カメラ１２の取り付け位置のずれを検知する。
Further, in the present embodiment, the
このような構成によれば、マーカｍの設置位置近辺における白とびや黒つぶれの発生を抑制することが可能となり、ひいては、カメラ１２の取り付け位置のずれを検知するにあたって、マーカｍを認識することができずに、キャリブレーション機能を正常に機能させることができないという事態の発生を抑制することが可能となる。
According to such a configuration, it is possible to suppress the occurrence of overexposure and underexposure in the vicinity of the installation position of the marker m, and thus to recognize the marker m when detecting the displacement of the mounting position of the
以上説明した一実施形態によれば、カメラ１２の取り付け位置のずれの検知精度を向上させ得る画像処理装置２０を提供することが可能となる。
According to the embodiment described above, it is possible to provide the
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and the gist of the invention, and are also included in the invention described in the claims and the scope equivalent thereto.
１１…乗りかご、１１ａ…幕板、１２…カメラ、１３…かごドア、１３ａ…かごシル、１４…乗場ドア、１４ａ…乗場シル、１５…乗場、２０…画像処理装置、３０…エレベータ制御装置、２０１…格納部、２０２…画像取得部、２０３…ずれ検知部、２０４…設定処理部、２０５…通知処理部、２３１…認識処理部、２３２…算出処理部、２３３…検知処理部、ｅ１…検知エリア、ｉ１，ｉ２，ｉ３…撮影画像、ｍ，ｍ１，ｍ２…マーカ、ｒ，ｒ１，ｒ２…関心領域。 11 ... Car, 11a ... Curtain board, 12 ... Camera, 13 ... Car door, 13a ... Car sill, 14 ... Hall door, 14a ... Hall sill, 15 ... Hall, 20 ... Image processing device, 30 ... Elevator control device, 201 ... Storage unit, 202 ... Image acquisition unit, 203 ... Deviation detection unit, 204 ... Setting processing unit, 205 ... Notification processing unit, 231 ... Recognition processing unit, 232 ... Calculation processing unit, 233 ... Detection processing unit, e1 ... Detection Area, i1, i2, i3 ... Captured image, m, m1, m2 ... Marker, r, r1, r2 ... Region of interest.
Claims (7)
前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置された状態で撮影された画像を前記カメラから取得する取得手段と、
前記カメラの取り付けに関する仕様値に基づいて、前記取得された画像上で前記マーカが映ると推測される関心領域を設定する設定手段と、
前記設定された関心領域に含まれる画素群に関する統計量に基づいて、前記カメラのパラメータを調整する調整手段と、
前記パラメータの調整後に撮影された画像を前記カメラから取得し、当該取得された画像から前記マーカを認識し、当該認識されたマーカに基づいて、前記カメラの取り付け位置のずれを検知する検知手段と、
を具備する、画像処理装置。 An image processing device installed near a door of a car, capable of detecting a shift in a mounting position of a camera that captures an image of an inside of a car and a hall,
Acquisition means for acquiring from the camera an image taken in a state in which a marker distinguishable from the floor surface of the car and the floor surface of the hall is installed,
Setting means for setting a region of interest estimated to show the marker on the acquired image, based on a specification value relating to the mounting of the camera;
Adjusting means for adjusting the parameters of the camera based on a statistic regarding a pixel group included in the set region of interest;
A detection unit that acquires an image captured after the adjustment of the parameter from the camera, recognizes the marker from the acquired image, and detects a shift in the mounting position of the camera based on the recognized marker. ,
An image processing apparatus comprising:
前記カメラの取り付け角度と、前記カメラと前記マーカとの位置関係と、を含む、請求項１に記載の画像処理装置。 The specification value is
The image processing apparatus according to claim 1, including an attachment angle of the camera and a positional relationship between the camera and the marker.
前記乗りかごのドアの開閉をガイドするためのシルの両端部に沿うようにして、前記乗りかご内の床面に設置される、請求項１または請求項２に記載の画像処理装置。 The marker is
The image processing apparatus according to claim 1, wherein the image processing apparatus is installed on a floor surface inside the car along the both ends of a sill for guiding opening and closing of the door of the car.
前記統計量が予め設定された基準値になるように、前記カメラのパラメータを調整する、請求項１〜請求項３のいずれか１項に記載の画像処理装置。 The adjusting means is
The image processing device according to claim 1, wherein the parameters of the camera are adjusted so that the statistic becomes a preset reference value.
前記画素群の平均輝度値である、請求項１〜請求項４のいずれか１項に記載の画像処理装置。 The statistic regarding the pixel group is
The image processing device according to claim 1, wherein the image processing device has an average luminance value of the pixel group.
前記カメラのシャッタースピードおよびゲインの少なくとも一方を含む、請求項１〜請求項５のいずれか１項に記載の画像処理装置。 The parameters of the camera are
The image processing device according to claim 1, further comprising at least one of a shutter speed and a gain of the camera.
前記乗りかごの床面および前記乗場の床面と区別可能なマーカが設置される前記乗りかご内の明るさと、前記カメラのパラメータとが対応づけられた調整テーブルを格納する格納手段と、
前記乗りかごのドアが全閉状態の時に自動露光モードに設定された前記カメラのパラメータを取得する取得手段と、
前記取得されたパラメータに基づいて、前記乗りかご内の現在の明るさを推測する推測手段と、
前記推測された乗りかご内の現在の明るさと、前記調整テーブルとに基づいて、前記カメラのパラメータを調整する調整手段と、
前記パラメータの調整後に、前記マーカが設置された状態で撮影された画像を前記カメラから取得し、当該取得された画像から前記マーカを認識し、当該認識されたマーカに基づいて、前記カメラの取り付け位置のずれを検知する検知手段と、
を具備する、画像処理装置。 An image processing device installed near a door of a car, capable of detecting a shift in a mounting position of a camera that captures an image of an inside of a car and a hall,
A storage unit that stores an adjustment table in which the brightness of the car in which a marker that can be distinguished from the floor surface of the car and the floor surface of the hall is installed, and the parameters of the camera,
Acquisition means for acquiring the parameters of the camera set to the automatic exposure mode when the door of the car is in the fully closed state,
Estimating means for estimating the current brightness in the car based on the acquired parameters;
Adjusting means for adjusting the parameters of the camera based on the estimated current brightness in the car and the adjustment table;
After adjusting the parameters, an image taken with the marker installed is acquired from the camera, the marker is recognized from the acquired image, and the camera is attached based on the recognized marker. A detection means for detecting the positional deviation,
An image processing apparatus comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019093079A JP6693627B1 (en) | 2019-05-16 | 2019-05-16 | Image processing device |
| CN202010410378.4A CN111942981A (en) | 2019-05-16 | 2020-05-15 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019093079A JP6693627B1 (en) | 2019-05-16 | 2019-05-16 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6693627B1 true JP6693627B1 (en) | 2020-05-13 |
| JP2020186114A JP2020186114A (en) | 2020-11-19 |
Family
ID=70549779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019093079A Active JP6693627B1 (en) | 2019-05-16 | 2019-05-16 | Image processing device |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6693627B1 (en) |
| CN (1) | CN111942981A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113942905A (en) * | 2020-07-15 | 2022-01-18 | 东芝电梯株式会社 | User detection system of elevator |
| JP7009583B1 (en) * | 2020-09-15 | 2022-01-25 | 東芝エレベータ株式会社 | Elevator remote monitoring system |
| CN115477211A (en) * | 2021-06-15 | 2022-12-16 | 中移(成都)信息通信科技有限公司 | Elevator stopping method, device, equipment and storage medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117355473A (en) * | 2021-06-02 | 2024-01-05 | 三菱电机株式会社 | Adjustment assistance system for elevator imaging device |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5309499B2 (en) * | 2007-08-20 | 2013-10-09 | 三菱電機株式会社 | Security camera device in elevator |
| JP4664394B2 (en) * | 2008-05-23 | 2011-04-06 | 株式会社日立製作所 | Elevator door safety device and safety control method |
| JP2012019292A (en) * | 2010-07-06 | 2012-01-26 | Sharp Corp | Imaging inspection device of 3d camera module and imaging inspection method thereof, imaging inspection control program of 3d camera module, imaging correction method of 3d camera module, imaging correction control program of 3d camera module, readable recording medium, 3d camera module and electronic information apparatus |
| JP5637786B2 (en) * | 2010-09-06 | 2014-12-10 | 日本信号株式会社 | Camera calibration device |
| JP5325251B2 (en) * | 2011-03-28 | 2013-10-23 | 株式会社日立製作所 | Camera installation support method, image recognition method |
| JP5968068B2 (en) * | 2011-05-24 | 2016-08-10 | キヤノン株式会社 | Imaging apparatus for controlling exposure, control method for imaging apparatus, program, and recording medium |
| TWI493478B (en) * | 2012-03-21 | 2015-07-21 | Altek Corp | License plate image-pickup device and image exposure adjustment method thereof |
| JP6025365B2 (en) * | 2012-04-04 | 2016-11-16 | 京セラ株式会社 | Calibration processing apparatus, camera calibration apparatus, camera system, and camera calibration method |
| JP5969149B1 (en) * | 2016-01-13 | 2016-08-17 | 東芝エレベータ株式会社 | Elevator system |
| JP6046286B1 (en) * | 2016-01-13 | 2016-12-14 | 東芝エレベータ株式会社 | Image processing device |
| CN106506953A (en) * | 2016-10-28 | 2017-03-15 | 山东鲁能智能技术有限公司 | The substation equipment image acquisition method of servo is focused on and is exposed based on designated area |
| JP6377797B1 (en) * | 2017-03-24 | 2018-08-22 | 東芝エレベータ株式会社 | Elevator boarding detection system |
| JP6367411B1 (en) * | 2017-03-24 | 2018-08-01 | 東芝エレベータ株式会社 | Elevator system |
-
2019
- 2019-05-16 JP JP2019093079A patent/JP6693627B1/en active Active
-
2020
- 2020-05-15 CN CN202010410378.4A patent/CN111942981A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113942905A (en) * | 2020-07-15 | 2022-01-18 | 东芝电梯株式会社 | User detection system of elevator |
| CN113942905B (en) * | 2020-07-15 | 2023-06-09 | 东芝电梯株式会社 | Elevator user detection system |
| JP7009583B1 (en) * | 2020-09-15 | 2022-01-25 | 東芝エレベータ株式会社 | Elevator remote monitoring system |
| CN115477211A (en) * | 2021-06-15 | 2022-12-16 | 中移(成都)信息通信科技有限公司 | Elevator stopping method, device, equipment and storage medium |
| CN115477211B (en) * | 2021-06-15 | 2023-10-27 | 中移(成都)信息通信科技有限公司 | Elevator stopping method, device, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111942981A (en) | 2020-11-17 |
| JP2020186114A (en) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6693627B1 (en) | Image processing device | |
| JP6377797B1 (en) | Elevator boarding detection system | |
| JP6367411B1 (en) | Elevator system | |
| JP6657167B2 (en) | User detection system | |
| US11159711B2 (en) | Image-capturing apparatus | |
| KR20080027443A (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
| JP6377795B1 (en) | Elevator boarding detection system | |
| JP2002208073A (en) | Intrusion monitor | |
| JP6139729B1 (en) | Image processing device | |
| CN102016710B (en) | Camera and method for controlling a camera | |
| JP2018158842A (en) | Image analyzer and elevator system | |
| JP6265602B2 (en) | Surveillance camera system, imaging apparatus, and imaging method | |
| JP6772324B2 (en) | Image processing device | |
| CN108289170B (en) | Photographing apparatus, method and computer readable medium capable of detecting measurement area | |
| JP2018055013A (en) | Focusing position adjusting device, focusing position adjusting system, program, and focusing position adjusting method | |
| WO2021079865A1 (en) | Train position determination device and train position determination method | |
| JP6806414B2 (en) | Image processing device and image processing method | |
| JP6696102B1 (en) | Image processing device and marker | |
| US20120188437A1 (en) | Electronic camera | |
| JP2001357396A (en) | Image processor and image recognizing device | |
| US20210271868A1 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
| JP2010093623A (en) | Image processor | |
| JP6781291B2 (en) | Image processing device | |
| JP2014039165A (en) | Photographing device with tracking function | |
| CN111717738B (en) | Elevator system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190516 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200402 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6693627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |