JP2020113951A - Information processing device, program, and image recognition marker - Google Patents
Information processing device, program, and image recognition marker Download PDFInfo
- Publication number
- JP2020113951A JP2020113951A JP2019005322A JP2019005322A JP2020113951A JP 2020113951 A JP2020113951 A JP 2020113951A JP 2019005322 A JP2019005322 A JP 2019005322A JP 2019005322 A JP2019005322 A JP 2019005322A JP 2020113951 A JP2020113951 A JP 2020113951A
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- change
- markers
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、情報処理装置等に関する。 The present invention relates to an information processing device and the like.
例えば、工場や倉庫等に設置された撮像装置で取得される画像情報に基づき、工場や倉庫等の内部の物体(例えば、作業者、作業用機器、倉庫内の製品等)を認識しながら、工場や倉庫等の内部を監視するシステムが知られている(例えば、特許文献1参照)。 For example, based on image information acquired by an imaging device installed in a factory or warehouse, while recognizing objects inside the factory or warehouse (for example, workers, working equipment, products in the warehouse, etc.), A system for monitoring the inside of a factory, a warehouse, etc. is known (for example, refer to Patent Document 1).
ところで、工場や倉庫等の場合、設置環境によっては、例えば、振動等の影響から撮像装置の姿勢が変化する可能性があるため、撮像装置の姿勢変化を監視し、姿勢変化が認識されると、例えば、物体認識に関するパラメータ補正が行われることが望ましい。よって、例えば、工場や倉庫等の内部の壁や柱等の固定部に所定のマーカを予め設置し、撮像装置の画像情報における当該マーカの位置や形状等の変化をモニタリングすることで、撮像装置の姿勢変化が監視される場合がある。 By the way, in the case of factories, warehouses, etc., depending on the installation environment, for example, the posture of the image pickup apparatus may change due to the influence of vibration, etc. For example, it is desirable that parameter correction relating to object recognition be performed. Therefore, for example, by installing a predetermined marker in advance on a fixed part such as a wall or a pillar inside a factory or a warehouse, and monitoring changes in the position or shape of the marker in the image information of the imaging device, the imaging device Posture changes may be monitored.
しかしながら、工場や倉庫等の環境によっては、例えば、窓から入る自然光の時間帯による変化や扉の開閉による扉から入る自然光の変化等により照度環境が大きく変化するため、画像情報からマーカの特徴を適切に認識することができない場合が生じうる。つまり、照度環境の大きな変化によって、撮像装置の姿勢変化の監視精度が低下する可能性がある。よって、撮像装置の姿勢変化に関する監視機能の照度環境の変化に対するロバスト性の向上が期待される。 However, depending on the environment of the factory, warehouse, etc., the illuminance environment may change significantly due to changes in the natural light entering through the windows depending on the time of day, or changes in the natural light entering through the doors, etc. There may be cases where it is not possible to recognize properly. That is, a large change in the illuminance environment may reduce the accuracy of monitoring the posture change of the imaging device. Therefore, it is expected that the monitoring function regarding the posture change of the image pickup apparatus is more robust against the change in the illuminance environment.
そこで、上記課題に鑑み、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することを目的とする。 In view of the above problems, it is an object of the present invention to provide an information processing device and the like that can improve the robustness of the monitoring function regarding the change in the posture of the imaging device regarding the change in illuminance.
上記目的を達成するため、本発明の一実施形態では、
複数のマーカが設置された撮像範囲を撮像する撮像装置の、相互に露光時間の異なる複数の撮像画像から生成される合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定部を備える、
情報処理装置が提供される。
In order to achieve the above object, in one embodiment of the present invention,
The time of the position of the plurality of markers in the imaged image of the imaging device, based on the composite image generated from the plurality of imaged images having different exposure times of the imaging device that captures the imaging range in which the plurality of markers are installed. An attitude change measurement unit that measures a change in the attitude of the imaging device by measuring the change is provided.
An information processing device is provided.
本発明の他の実施形態では、
情報処理装置に、
複数のマーカが設置された撮像範囲を撮像する撮像装置の、相互に露光時間の異なる複数の撮像画像から生成される合成画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラムが提供される。
In another embodiment of the invention,
In the information processing device,
The time of the position of the plurality of markers in the imaged image of the imaging device, based on a composite image generated from a plurality of imaged images having different exposure times of the imaging device that captures the imaging range in which the plurality of markers are installed. Performing a posture change measurement step of measuring a change in the posture of the imaging device by measuring the change,
The program is provided.
また、本発明の更に他の実施形態では、
画像認識の対象の形状部と、
撮像装置の露光時間の変化に応じて撮像画像上での見え方が変化する変化部と、を含む、
被画像認識用マーカが提供される。
Further, in still another embodiment of the present invention,
The shape part of the object of image recognition,
And a changing unit whose appearance on the captured image changes according to a change in the exposure time of the imaging device,
An image recognition marker is provided.
上述の実施形態によれば、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することができる。 According to the above-described embodiment, it is possible to provide an information processing device or the like capable of improving the robustness with respect to the illuminance change of the monitoring function regarding the posture change of the imaging device.
以下、図面を参照して発明を実施するための形態について説明する。 Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
[監視システムの概要]
まず、図1を参照して、本実施形態に係る監視システム1の概要を説明する。
[Overview of the monitoring system]
First, an outline of the monitoring system 1 according to the present embodiment will be described with reference to FIG.
図1は、本実施形態に係る監視システムの一例(監視システム1)の概要を示す図である。 FIG. 1 is a diagram showing an outline of an example (monitoring system 1) of the monitoring system according to the present embodiment.
図1に示すように、本実施形態に係る監視システム1は、カメラ10と、監視装置20を含む。 As shown in FIG. 1, the monitoring system 1 according to the present embodiment includes a camera 10 and a monitoring device 20.
カメラ10(撮像装置の一例)は、例えば、工場や倉庫等の所定の監視空間100の天井や壁等の相対的に高い位置等に取り付けられる。カメラ10は、監視空間100内の所定の監視対象を監視するための画像を撮像し、カメラ10の撮像画像に基づき、監視空間100内の監視対象を監視する機能(以下、「空間監視機能」)を有する所定の外部装置に出力する。監視対象は、例えば、作業者、車両、作業機械(例えば、クレーン、フォークリフト)、出荷待ちの製品等が含まれうる。 The camera 10 (an example of an imaging device) is attached to a relatively high position such as a ceiling or a wall of a predetermined monitoring space 100 such as a factory or a warehouse. The camera 10 has a function of capturing an image for monitoring a predetermined monitoring target in the monitoring space 100 and monitoring the monitoring target in the monitoring space 100 based on the captured image of the camera 10 (hereinafter, “space monitoring function”). ) Is output to a predetermined external device. The monitoring target may include, for example, a worker, a vehicle, a work machine (for example, a crane, a forklift), a product waiting to be shipped, or the like.
また、カメラ10は、例えば、通信ケーブルを通じて監視装置20と通信可能に接続され、監視装置20の制御下で、監視空間100の様子を撮像し、撮像画像を監視装置20に出力する。また、カメラ10は、所定の無線通信(例えば、基地局を末端とする移動体通信網に基づく移動体通信や、WiFi或いはブルートゥース(共に、登録商標)等の近距離通信)によって、監視装置20と通信可能に接続されてもよい。 Further, the camera 10 is communicatively connected to the monitoring device 20 via a communication cable, for example, and under the control of the monitoring device 20, captures a state of the monitoring space 100 and outputs the captured image to the monitoring device 20. In addition, the camera 10 uses a predetermined wireless communication (for example, mobile communication based on a mobile communication network having a base station as an end, short-range communication such as WiFi or Bluetooth (both are registered trademarks)), and the monitoring device 20. May be communicatively connected to.
監視空間100において、カメラ10の撮像範囲には、固定的に複数のマーカ30が設置される。例えば、複数のマーカ30は、監視空間100の壁や柱等の移動しない物体(固定部)に設置される。つまり、カメラ10の撮像画像には、複数のマーカ30が含まれる(つまり、映っている)。 In the monitoring space 100, a plurality of markers 30 are fixedly installed in the imaging range of the camera 10. For example, the plurality of markers 30 are installed on an immovable object (fixed part) such as a wall or a pillar of the surveillance space 100. That is, the captured image of the camera 10 includes (i.e., appears in) the plurality of markers 30.
監視装置20(情報処理装置の一例)は、カメラ10の撮像画像に含まれる複数のマーカ30の時間変化をモニタリングすることで、カメラ10の姿勢変化を監視する。以下、監視装置20によるカメラ10の姿勢変化を監視する機能を「カメラ姿勢変化監視機能」と称する場合がある。監視装置20は、監視空間100が存在する建物或いは当該建物の周辺の建物に設置されてもよいし、監視空間100が存在する建物から相対的に遠く離れた遠隔地に設置されてもよい。監視装置20は、例えば、デスクトップ型或いはラップトップ型のコンピュータ端末である。また、監視装置20は、例えば、監視空間100に対応する工場や倉庫等の施設の遠隔に配置されるサーバ装置であってもよい。 The monitoring device 20 (an example of an information processing device) monitors the change in posture of the camera 10 by monitoring the change over time of the plurality of markers 30 included in the image captured by the camera 10. Hereinafter, the function of monitoring the posture change of the camera 10 by the monitoring device 20 may be referred to as a “camera posture change monitoring function”. The monitoring device 20 may be installed in a building in which the monitoring space 100 exists or a building around the building, or may be installed in a remote place relatively far from the building in which the monitoring space 100 exists. The monitoring device 20 is, for example, a desktop or laptop computer terminal. In addition, the monitoring device 20 may be, for example, a server device that is remotely located in a facility such as a factory or a warehouse corresponding to the monitoring space 100.
尚、監視装置20は、空間監視機能を有していてもよい。つまり、空間監視機能とカメラ姿勢変化監視機能は、異なる装置により実現されてもよいし、共通の装置により実現されてもよい。 The monitoring device 20 may have a space monitoring function. That is, the space monitoring function and the camera attitude change monitoring function may be realized by different devices or may be realized by a common device.
[監視システム(監視装置)の構成]
次に、図1に加えて、図2、図3を参照して、本実施形態に係る監視システム1(監視装置)の構成について説明する。
[Configuration of monitoring system (monitoring device)]
Next, with reference to FIG. 2 and FIG. 3 in addition to FIG. 1, the configuration of the monitoring system 1 (monitoring device) according to the present embodiment will be described.
図2は、監視装置20のハードウェア構成の一例を示す図である。図3は、監視システム1の機能構成の一例を示す機能ブロック図である。 FIG. 2 is a diagram illustrating an example of the hardware configuration of the monitoring device 20. FIG. 3 is a functional block diagram showing an example of the functional configuration of the monitoring system 1.
監視装置20の機能は、任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。図2Bに示すように、例えば、監視装置20は、ドライブ装置21と、補助記憶装置22と、メモリ装置23と、CPU24と、インタフェース装置25と、表示装置26と、入力装置27を含み、それぞれがバスB2で接続される。 The function of the monitoring device 20 may be realized by arbitrary hardware or a combination of hardware and software. As shown in FIG. 2B, for example, the monitoring device 20 includes a drive device 21, an auxiliary storage device 22, a memory device 23, a CPU 24, an interface device 25, a display device 26, and an input device 27. Are connected by a bus B2.
監視装置20の各種機能を実現するプログラムは、例えば、CD−ROM(Compact Disc Read Only Memory)、DVD−ROM(Digital Versatile Disc Read Only Memory)、或いは、USB(Universal Serial Bus)メモリ等の可搬型の記録媒体21Aによって提供される。プログラムが記録された記録媒体21Aが、ドライブ装置21にセットされると、プログラムが記録媒体21Aからドライブ装置21を介して補助記憶装置22にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置22にインストールされてもよい。 The program that realizes various functions of the monitoring device 20 is, for example, a portable type such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), or a USB (Universal Serial Bus) memory. Of the recording medium 21A. When the recording medium 21A in which the program is recorded is set in the drive device 21, the program is installed in the auxiliary storage device 22 from the recording medium 21A via the drive device 21. Further, the program may be downloaded from another computer via the communication network and installed in the auxiliary storage device 22.
補助記憶装置22は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。 The auxiliary storage device 22 stores various installed programs, and also stores necessary files and data.
メモリ装置23は、プログラムの起動指示があった場合に、補助記憶装置22からプログラムを読み出して格納する。 The memory device 23 reads the program from the auxiliary storage device 22 and stores the program when an instruction to activate the program is given.
CPU24は、メモリ装置23に格納された各種プログラムを実行し、プログラムに従って監視装置20に係る各種機能を実現する。 The CPU 24 executes various programs stored in the memory device 23 and realizes various functions of the monitoring device 20 according to the programs.
インタフェース装置25は、通信ネットワーク(例えば、通信ネットワークNW1,NW2)に接続するためのインタフェースとして用いられる。 The interface device 25 is used as an interface for connecting to a communication network (for example, the communication networks NW1 and NW2).
表示装置26は、例えば、CPU24で実行されるプログラムに従って、GUI(Graphical User Interface)を表示する。 The display device 26 displays a GUI (Graphical User Interface) according to a program executed by the CPU 24, for example.
入力装置27は、監視装置20に関する様々な操作指示を監視装置20の作業者や管理者等に入力させるために用いられる。 The input device 27 is used to input various operation instructions regarding the monitoring device 20 to an operator or a manager of the monitoring device 20.
監視装置20は、例えば、補助記憶装置22にインストールされる一以上のプログラムをCPU24上で実行することにより実現される機能部として、撮像制御部201と、マーカ位置測定部202と、カメラ姿勢変化測定部203と、エラー検出部204を含む。 The monitoring device 20, for example, as a functional unit realized by executing one or more programs installed in the auxiliary storage device 22 on the CPU 24, an imaging control unit 201, a marker position measuring unit 202, and a camera posture change. The measuring unit 203 and the error detecting unit 204 are included.
撮像制御部201は、カメラ10に制御指令を出力し、カメラ10に撮像画像を取得させる。 The imaging control unit 201 outputs a control command to the camera 10 and causes the camera 10 to acquire a captured image.
マーカ位置測定部202は、カメラ10の撮像画像上における複数のマーカ30の位置を測定する。具体的には、マーカ位置測定部202は、カメラ10の撮像画像上におけるマーカ30の所定の代表位置(例えば、形状部の中心位置)を測定する。 The marker position measuring unit 202 measures the positions of the plurality of markers 30 on the captured image of the camera 10. Specifically, the marker position measuring unit 202 measures a predetermined representative position (for example, the center position of the shape part) of the marker 30 on the captured image of the camera 10.
カメラ姿勢変化測定部203(姿勢変化測定部の一例)は、マーカ位置測定部202により測定される、カメラ10の撮像画像上における複数のマーカ30の位置の時間変化に基づき、カメラ10の姿勢の変化を測定する。 The camera posture change measurement unit 203 (an example of a posture change measurement unit) measures the posture of the camera 10 based on the time change of the positions of the plurality of markers 30 on the captured image of the camera 10 measured by the marker position measurement unit 202. Measure the change.
空間監視機能が監視装置20により実現される場合、カメラ姿勢変化測定部203は、測定結果を空間監視機能に関する構成要素(機能部)に送信する。これにより、空間監視機能に関する構成要素は、測定結果に基づき、カメラ10の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。 When the space monitoring function is realized by the monitoring device 20, the camera posture change measurement unit 203 transmits the measurement result to the component (functional unit) related to the space monitoring function. As a result, the component relating to the space monitoring function needs to determine whether or not it is necessary to correct the parameter when monitoring the monitoring target based on the image captured by the camera 10 based on the measurement result, or to perform the correction. In some cases, correction can be made.
また、空間監視機能が監視装置20以外の外部装置により実現される場合、カメラ姿勢変化測定部203は、測定結果を当該外部装置に送信する。これにより、外部装置は、測定結果に基づき、カメラ10の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。 Further, when the space monitoring function is realized by an external device other than the monitoring device 20, the camera posture change measuring unit 203 transmits the measurement result to the external device. Thereby, the external device determines whether or not it is necessary to correct the parameter for monitoring the monitoring target based on the image captured by the camera 10 based on the measurement result, and when the correction is necessary, the correction is performed. You can
エラー検出部204は、カメラ姿勢変化測定機能に関する所定のエラー(例えば、カメラ10の姿勢変化を測定することができない測定不能エラーや、カメラ10の姿勢変化の測定精度が相対的に低下している測定精度低下エラー等)を検出する。 The error detection unit 204 has a predetermined error related to the camera posture change measurement function (for example, an unmeasurable error in which the posture change of the camera 10 cannot be measured, or the measurement accuracy of the posture change of the camera 10 is relatively low. (Measurement accuracy degradation error, etc.) is detected.
[マーカの具体例]
次に、図4(図4A、図4B)を参照して、マーカ30の具体例について説明する。
[Specific examples of markers]
Next, a specific example of the marker 30 will be described with reference to FIG. 4 (FIGS. 4A and 4B).
<マーカの第1例>
まず、図4Aを参照して、マーカ30の第1例について説明する。
<First example of marker>
First, a first example of the marker 30 will be described with reference to FIG. 4A.
図4Aは、マーカ30の第1例を示す図である。 FIG. 4A is a diagram showing a first example of the marker 30.
図4Aに示すように、マーカ30は、二つのマーカ30A,30Bを含む。つまり、マーカ30は、一組のマーカ30A,30Bにより構成される。以下、本例のマーカ30を便宜的に「マーカセット30」と称する。 As shown in FIG. 4A, the marker 30 includes two markers 30A and 30B. That is, the marker 30 is composed of a pair of markers 30A and 30B. Hereinafter, the marker 30 of this example is referred to as a “marker set 30” for convenience.
マーカ30Aは、形状部30Aaと、背景部30Bbを含む。 The marker 30A includes a shape portion 30Aa and a background portion 30Bb.
形状部30Aaは、マーカセット30(マーカ30A)が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30Aaは、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30Aaは、被写体としてカメラ10により撮像される撮像画像上において、背景部30Abとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、相対的に濃い色、つまり、明度の低い色(本例では、黒)で構成される。これにより、形状部30Aaは、相対的に淡い色、つまり、明度の高い色(本例では、白)の背景部30Abとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。また、形状部30Aaは、反射具合が相対的に低くなるように構成される。例えば、形状部30Aaは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、相対的に照度が高い環境下であっても、カメラ10の撮像画像における形状部30Aaのエッジがぼけてしまうような事態を抑制することができる。つまり、マーカ30Aは、相対的に照度が高い環境下において、画像認識され易く構成される。 The shape portion 30Aa is a target of image recognition in a captured image captured by the camera 10 with the marker set 30 (marker 30A) as a subject. The shape part 30Aa is configured by, for example, a geometric shape (in this example, a combination of four squares). The shape portion 30Aa is configured such that a relatively large luminance gradient (luminance difference) is generated between the shape portion 30Aa and the background portion 30Ab on the captured image captured by the camera 10 as a subject. In this example, it is composed of a relatively dark color, that is, a color having low lightness (black in this example). As a result, the shape portion 30Aa performs image recognition on the captured image captured by the camera 10 as a subject due to the contrast with the background portion 30Ab of a relatively light color, that is, a color with high lightness (white in this example). It is easy to be done. Further, the shape portion 30Aa is configured so that the reflection degree is relatively low. For example, the shaped portion 30Aa may be formed of a light absorbing material, specifically, a light absorbing paint or the like. As a result, even under an environment where the illuminance is relatively high, it is possible to prevent a situation in which the edge of the shaped portion 30Aa in the image captured by the camera 10 is blurred. That is, the marker 30A is easily configured to be recognized as an image in an environment where the illuminance is relatively high.
尚、形状部30Aaとして組み合わせられる正方形等の幾何学形状の数は、カメラ10
の撮像画像上における画像認識が可能であれば、3つ以下であってもよいし、5つ以上であってもよい。以下、マーカ30B及びマーカ30の第2例の場合についても同様である。
Note that the number of geometric shapes such as squares that can be combined as the shape portion 30Aa is determined by the camera 10
The number of images may be three or less, or may be five or more, as long as image recognition on the captured image is possible. The same applies to the second example of the marker 30B and the marker 30 below.
背景部30Abは、画像認識の対象である形状部30Aaの背景を構成する。背景部30Abは、被写体としてカメラ10により撮像される撮像画像上において、形状部30Aaとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30Abは、相対的に明度の高い色(本例では、白)で構成される。また、背景部30Abは、反射具合が相対的に高くなるように構成される。例えば、形状部30Aaは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、カメラ10の撮像画像上において、形状部30Aaと背景部30Abとの境界、つまり、形状部30Aaのエッジを明確に見せることができ、形状部30Aaが更に画像認識され易くなる。 The background portion 30Ab constitutes the background of the shape portion 30Aa that is the target of image recognition. The background portion 30Ab is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30Ab and the shape portion 30Aa on the captured image captured by the camera 10 as a subject. In this example, the background portion 30Ab is composed of a color having relatively high lightness (white in this example). In addition, the background portion 30Ab is configured so that the degree of reflection is relatively high. For example, the shaped portion 30Aa may be formed of a diffuse reflection material, specifically, a paint having diffuse reflection properties. As a result, the boundary between the shape portion 30Aa and the background portion 30Ab, that is, the edge of the shape portion 30Aa can be clearly seen on the image captured by the camera 10, and the shape portion 30Aa can be more easily recognized as an image.
マーカ30Bは、マーカ30Aと同様に、形状部30Baと、背景部30Bbを含む。 Like the marker 30A, the marker 30B includes a shape portion 30Ba and a background portion 30Bb.
形状部30Baは、マーカセット30(マーカ30B)が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30Baは、マーカ30Aの場合と同様、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30Baは、被写体としてカメラ10により撮像される撮像画像上において、背景部30Bbとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、形状部30Baは、相対的に明度の高い色(本例では、白)で構成される。これにより、形状部30Baは、相対的に明度の低い色(本例では、黒)の背景部30Bbとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。また、形状部30Baは、反射具合が相対的に高くなるように構成される。例えば、形状部30Baは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、相対的に照度が低い環境下であっても、カメラ10の撮像画像における形状部30Aaのエッジを際立たせることができる。つまり、マーカ30Aは、相対的に照度が低い環境下において、画像認識され易く構成される。 The shape portion 30Ba is a target of image recognition in a captured image captured by the camera 10 with the marker set 30 (marker 30B) as a subject. Similar to the case of the marker 30A, the shape portion 30Ba is configured by, for example, a geometric shape (in this example, a combination of four squares). The shape portion 30Ba is configured such that a relatively large luminance gradient (luminance difference) is generated between the shape portion 30Ba and the background portion 30Bb on the captured image captured by the camera 10 as a subject. In this example, the shaped portion 30Ba is configured with a color having relatively high lightness (white in this example). As a result, the shape portion 30Ba is more likely to be image-recognized on the captured image captured by the camera 10 as the subject due to the contrast with the background portion 30Bb of a color (black in this example) having a relatively low lightness. Moreover, the shape part 30Ba is comprised so that the reflection degree may become relatively high. For example, the shaped portion 30Ba may be formed of a diffuse reflection material, specifically, a paint having diffuse reflection property. As a result, even in an environment where the illuminance is relatively low, the edge of the shaped portion 30Aa in the image captured by the camera 10 can be highlighted. That is, the marker 30A is easily configured to be image-recognized in an environment where the illuminance is relatively low.
背景部30Bbは、画像認識の対象である形状部30Baの背景を構成する。背景部30Bbは、被写体としてカメラ10により撮像される撮像画像上において、形状部30Baとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30Bbは、相対的に明度の低い色(本例では、黒)で構成される。また、背景部30Bbは、反射具合が相対的に低くなるように構成される。例えば、形状部30Baは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、カメラ10の撮像画像上において、形状部30Baと背景部30Bbとの境界、つまり、形状部30Baのエッジを明確に見せることができ、形状部30Baが更に画像認識され易くなる。 The background portion 30Bb constitutes the background of the shape portion 30Ba that is the target of image recognition. The background portion 30Bb is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30Bb and the shape portion 30Ba on the captured image captured by the camera 10 as a subject. In this example, the background portion 30Bb is composed of a color having relatively low lightness (black in this example). In addition, the background portion 30Bb is configured to have a relatively low degree of reflection. For example, the shaped portion 30Ba may be formed of a light absorbing material, specifically, a light absorbing paint or the like. As a result, the boundary between the shape portion 30Ba and the background portion 30Bb, that is, the edge of the shape portion 30Ba can be clearly seen on the captured image of the camera 10, and the shape portion 30Ba can be more easily recognized as an image.
このように、本例では、マーカセット30は、反射具合の異なる2つのマーカ30A,30Bにより構成される。つまり、マーカセット30は、相対的に照度が高い環境下でカメラ10により撮像される撮像画像で画像認識され易いマーカ30Aと、相対的に照度が低い環境下でカメラ10により撮像される撮像画像で画像認識され易いマーカ30Bにより構成される。これにより、マーカ30A,30Bを予め規定される相対位置関係で監視空間100の壁や柱等の固定部に設置されることにより、監視空間100の照度環境が大きく変化する状況であっても、マーカ30A,30Bの何れかが画像認識される可能性が高くなる。つまり、マーカ30A,30Bは、監視装置20によるマーカ30A,30Bの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。 Thus, in this example, the marker set 30 is composed of the two markers 30A and 30B having different reflection conditions. That is, the marker set 30 includes a marker 30A that is easily image-recognized by a captured image captured by the camera 10 in an environment where the illuminance is relatively high, and an image captured by the camera 10 in an environment where the illuminance is relatively low. It is composed of a marker 30B that is easily recognized as an image. As a result, even if the illuminance environment of the monitoring space 100 is significantly changed by installing the markers 30A and 30B on a fixed part such as a wall or a pillar of the monitoring space 100 in a predetermined relative positional relationship, It is highly possible that one of the markers 30A and 30B is image-recognized. That is, the markers 30A and 30B can improve the robustness with respect to changes in the illuminance environment of the image recognition processing of the markers 30A and 30B by the monitoring device 20.
尚、マーカセット30は、相互に反射具合の異なる3以上のマーカを含んでいてもよい。 Note that the marker set 30 may include three or more markers having different reflection degrees.
<マーカの第2例>
続いて、図4Bを参照して、マーカ30の第2例について説明する。
<Second example of marker>
Subsequently, a second example of the marker 30 will be described with reference to FIG. 4B.
図4Bは、マーカ30の第2例を示す図である。 FIG. 4B is a diagram showing a second example of the marker 30.
図4Bに示すように、マーカ30は、形状部30aと、背景部30bと、変化部30cを含む。 As shown in FIG. 4B, the marker 30 includes a shape portion 30a, a background portion 30b, and a changing portion 30c.
形状部30aは、マーカ30が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30aは、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30aは、被写体としてカメラ10により撮像される撮像画像上において、背景部30bとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、相対的に明度の低い色(本例では、黒)で構成される。これにより、形状部30aは、相対的に明度の高い色(本例では、白)の背景部30bとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。 The shape portion 30a is a target of image recognition in a captured image captured by the camera 10 with the marker 30 as a subject. The shape part 30a is configured by, for example, a geometric shape (in this example, a combination of four squares). The shape portion 30a is configured such that a relatively large luminance gradient (luminance difference) is generated between the shape portion 30a and the background portion 30b on the captured image captured by the camera 10 as a subject. In this example, a color having a relatively low lightness (black in this example) is used. As a result, the shape portion 30a is more likely to be image-recognized on the captured image captured by the camera 10 as a subject due to the contrast with the background portion 30b of a color (white in this example) having a relatively high lightness.
背景部30bは、画像認識の対象である形状部30aの背景を構成する。背景部30bは、被写体としてカメラ10により撮像される撮像画像上において、形状部30aとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30bは、相対的に明度の高い色(本例では、白)で構成される。 The background portion 30b constitutes the background of the shape portion 30a that is the target of image recognition. The background portion 30b is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30b and the shape portion 30a on the captured image captured by the camera 10 as a subject. In this example, the background portion 30b is composed of a color having relatively high lightness (white in this example).
変化部30cは、マーカ30が被写体としてカメラ10により撮像される撮像画像において、撮像範囲(監視空間100)の照度環境やカメラ10の露光時間等により見え方が変化する構成要素である。本例では、変化部30cは、変化部30c1,30c2を含む。 The changing unit 30c is a component whose appearance changes in an imaged image captured by the camera 10 as an object of the marker 30 depending on the illuminance environment of the imaging range (monitoring space 100), the exposure time of the camera 10, and the like. In this example, the changing unit 30c includes changing units 30c1 and 30c2.
変化部30c1は、マーカ30の上端部(形状部30aの上)に設けられる。変化部30c1は、形状部30aと同じ色(つまり、黒)の背景上に、左から右に架けて背景部30bの色(つまり、白)から形状部30aの色(つまり、黒)に変化する線形グラデーションを表すグラデーションバーである。 The changing portion 30c1 is provided on the upper end portion (on the shape portion 30a) of the marker 30. The changing portion 30c1 extends from left to right on the background of the same color as the shape portion 30a (that is, black) and changes from the color of the background portion 30b (that is, white) to the color of the shape portion 30a (that is, black). It is a gradation bar that represents a linear gradation.
変化部30c2は、マーカ30の下端部(形状部30aの下)に設けられる。変化部30c2は、背景部30bと同じ色(つまり、白)の背景上に、変化部30c1と同様、左から右に架けて背景部30bの色(つまり、白)から形状部30aの色(つまり、黒)に変化する線形グラデーションを表すグラデーションバーである。 The changing portion 30c2 is provided at the lower end portion of the marker 30 (below the shape portion 30a). Similarly to the changing portion 30c1, the changing portion 30c2 is arranged on the background of the same color as the background portion 30b (that is, white) from the color of the background portion 30b (that is, white) to the color of the shape portion 30a (from left to right). That is, it is a gradation bar that represents a linear gradation that changes to black).
尚、変化部30c1,30c2のうちの何れか一方は省略されてもよい。 Either one of the changing units 30c1 and 30c2 may be omitted.
形状部30aと背景部30bとの間の線形グラデーションを表すグラデーションバーは、撮像範囲の照度環境やカメラ10の露光時間によって、カメラ10の撮像画像上における見え方が変化する。よって、監視装置20(マーカ位置測定部202)は、後述の如く、相互に異なる露光時間の異なる複数の撮像画像ごとに、変化部30c(グラデーションバー)の見え方が、形状部30aの画像認識に適した見え方か否かを判断することができる。 The appearance of the gradation bar representing the linear gradation between the shape part 30a and the background part 30b on the captured image of the camera 10 changes depending on the illuminance environment of the imaging range and the exposure time of the camera 10. Therefore, the monitoring device 20 (marker position measuring unit 202) recognizes the appearance of the changing unit 30c (gradation bar) in the shape unit 30a for each of a plurality of captured images having different exposure times, as described later. It is possible to determine whether or not the appearance is suitable for.
このように、本例では、マーカ30に、カメラ10の露光時間の変化に応じて、カメラ10の撮像画像上における見え方が変化する変化部30cが設けられる。これにより、マーカ30は、相互に露光時間の異なる複数の撮像画像の中でマーカ30の画像認識に適した撮像画像を選択させることができる。よって、マーカ30は、監視装置20によるマーカ30A,30Bの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。 As described above, in this example, the marker 30 is provided with the changing portion 30c that changes the appearance on the captured image of the camera 10 according to the change of the exposure time of the camera 10. Accordingly, the marker 30 can select a captured image suitable for image recognition of the marker 30 from a plurality of captured images having mutually different exposure times. Therefore, the marker 30 can improve the robustness with respect to the change of the illuminance environment in the image recognition processing of the markers 30A and 30B by the monitoring device 20.
[カメラの姿勢変化の測定方法の概要]
次に、図5、図6を参照して、カメラ10の姿勢変化の測定方法の概要を説明する。
[Outline of measurement method of camera posture change]
Next, with reference to FIG. 5 and FIG. 6, the outline of the method for measuring the posture change of the camera 10 will be described.
図5は、監視装置20によるカメラ10の姿勢変化を監視する処理(以下、「姿勢変化監視処理」)の一例を概略的に示すフローチャートである。図6は、カメラ10により取得される、相互に露光時間の異なる撮像画像群(複数の撮像画像)の一例を示す図である。 FIG. 5 is a flowchart schematically showing an example of a process of monitoring the posture change of the camera 10 by the monitoring device 20 (hereinafter, “posture change monitoring process”). FIG. 6 is a diagram showing an example of a captured image group (a plurality of captured images) acquired by the camera 10 and having mutually different exposure times.
図5に示すように、ステップS102にて、撮像制御部201は、カメラ10に制御指令を出力し、相互に露光時間の異なる複数の撮像画像(例えば、3枚〜5枚の撮像画像)をカメラ10に撮像させ、ステップS104に進む。 As shown in FIG. 5, in step S102, the imaging control unit 201 outputs a control command to the camera 10 to capture a plurality of captured images having different exposure times (for example, 3 to 5 captured images). The image is taken by the camera 10, and the process proceeds to step S104.
例えば、図6に示すように、カメラ10は、相互に露光時間の異なる3枚の撮像画像610〜630を取得する。これにより、カメラ10は、マーカ30の見え方が異なる撮像画像610〜630を取得できる。 For example, as shown in FIG. 6, the camera 10 acquires three captured images 610 to 630 having mutually different exposure times. As a result, the camera 10 can acquire captured images 610 to 630 in which the appearance of the marker 30 is different.
図5に戻り、ステップS104にて、マーカ位置測定部202は、カメラ10により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ30の位置(つまり、初期位置)を測定する処理(マーカ位置測定処理)を行い、ステップS106に進む。マーカ位置測定処理の詳細は、後述する。 Returning to FIG. 5, in step S104, the marker position measuring unit 202 determines the positions of the plurality of markers 30 in the captured image (that is, the initial position) based on the plurality of captured images captured by the camera 10 and having different exposure times. A process of measuring the position) (marker position measuring process) is performed, and the process proceeds to step S106. Details of the marker position measurement processing will be described later.
ステップS106にて、マーカ位置測定部202は、測定された複数のマーカ30の位置を初期位置として補助記憶装置22等に保存し(記憶させ)、ステップS108に進む。 In step S106, the marker position measuring unit 202 stores (stores) the measured positions of the plurality of markers 30 in the auxiliary storage device 22 or the like as initial positions, and proceeds to step S108.
ステップS108にて、撮像制御部201は、カメラ10の姿勢変化の測定タイミング(以下、単に「測定タイミング」)が到来したか否かを判定する。測定タイミングは、例えば、毎日或いは所定日ごと等の予め規定された時刻であってよい。撮像制御部201は、測定タイミングが到来していない場合、測定タイミングが到来するまで待機し、測定タイミングが到来した場合、ステップS110に進む。 In step S108, the imaging control unit 201 determines whether or not the measurement timing of posture change of the camera 10 (hereinafter, simply “measurement timing”) has arrived. The measurement timing may be, for example, a predetermined time such as every day or every predetermined day. If the measurement timing has not arrived, the imaging control unit 201 waits until the measurement timing arrives, and if the measurement timing has arrived, the process proceeds to step S110.
ステップS110にて、撮像制御部201は、ステップS102と同様、カメラ10に制御指令を出力し、相互に露光時間の異なる複数の撮像画像をカメラ10に撮像させ(図6参照)、ステップS112に進む。 In step S110, the imaging control unit 201 outputs a control command to the camera 10 to cause the camera 10 to capture a plurality of captured images having different exposure times, as in step S102 (see FIG. 6), and then in step S112. move on.
ステップS112にて、マーカ位置測定部202は、カメラ10により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ30の位置(つまり、現在位置)を測定する処理マーカ位置測定処理を行い、ステップS114に進む。 In step S112, the marker position measuring unit 202 measures the positions (that is, the current positions) of the plurality of markers 30 in the captured image based on the plurality of captured images captured by the camera 10 and having different exposure times. Processing marker position measurement processing is performed, and the process proceeds to step S114.
ステップS114にて、カメラ姿勢変化測定部203は、ステップ112で測定された、撮像画像における複数のマーカ30の現在位置と、ステップS102で測定された(ステップS106で保存された)、撮像画像における複数のマーカ30の初期位置とに基づき、カメラ10の姿勢の変化を測定し、ステップS116に進む。また、カメラ姿勢変化測定部203は、本ステップの処理が過去に実施済みである場合、今回のステップS112で測定された、撮像画像における複数のマーカ30の現在位置と、前回のステップS112で測定された、撮像画像における複数のマーカ30の過去位置とに基づき、カメラ10の姿勢変化を測定してもよい。 In step S114, the camera posture change measurement unit 203 measures the current positions of the plurality of markers 30 in the captured image measured in step 112 and the measured positions in step S102 (stored in step S106) in the captured image. The change in the posture of the camera 10 is measured based on the initial positions of the plurality of markers 30, and the process proceeds to step S116. In addition, when the process of this step has been performed in the past, the camera posture change measurement unit 203 measures the current positions of the plurality of markers 30 in the captured image measured in step S112 of this time and the previous position in step S112. The posture change of the camera 10 may be measured based on the past positions of the plurality of markers 30 in the captured image.
ステップS116にて、エラー検出部204は、各種エラーを検出したか否かを判定する。エラー検出部116は、エラーを検出した場合、ステップS118に進み、エラーを検出していない場合、ステップS108に戻る。 In step S116, the error detection unit 204 determines whether or not various errors have been detected. The error detection unit 116 proceeds to step S118 when an error is detected, and returns to step S108 when no error is detected.
ステップS118にて、エラー検出部204は、表示装置26等を通じて、アラートを出力し、今回の処理を終了する。 In step S118, the error detection unit 204 outputs an alert via the display device 26 and the like, and ends this processing.
このように、監視装置20は、エラーが検出されない限り、所定の測定タイミングごとに、カメラ10の姿勢の変化を測定し、カメラ姿勢変化監視機能を実現する。 In this way, the monitoring device 20 measures the change in the posture of the camera 10 at every predetermined measurement timing and realizes the camera posture change monitoring function, unless an error is detected.
[マーカ位置測定処理の詳細]
次に、図7〜図9(図9A、図9B)を参照して、マーカ位置測定処理(図5のステップS104,S112)の詳細を説明する。
[Details of marker position measurement processing]
Next, the details of the marker position measurement processing (steps S104 and S112 in FIG. 5) will be described with reference to FIGS. 7 to 9 (FIGS. 9A and 9B).
図7は、監視装置20によるマーカ位置測定処理の一例を概略的に示すフローチャートである。図8は、カメラ10の撮像画像からマーカセット30(マーカ30A,30B)の領域の局所画像(以下、「マーカ領域画像」)を抽出する過程を示す図である。図9A、図9Bは、それぞれ、マーカセット30の位置を測定するための画像(以下、「マーカ位置測定用画像」)取得する方法の第1例及び第2例を説明する図である。 FIG. 7 is a flowchart schematically showing an example of marker position measurement processing by the monitoring device 20. FIG. 8 is a diagram showing a process of extracting a local image (hereinafter, “marker region image”) of a region of the marker set 30 (markers 30A and 30B) from a captured image of the camera 10. 9A and 9B are diagrams illustrating a first example and a second example of a method of acquiring an image (hereinafter, referred to as “marker position measurement image”) for measuring the position of the marker set 30, respectively.
<マーカ位置測定処理の第1例>
まず、図7、図8、図9Aを参照して、マーカ位置測定処理の第1例について説明する。具体的には、上述した図4Aのマーカセット30が採用される場合のマーカ位置測定処理について説明する。
<First example of marker position measurement processing>
First, a first example of the marker position measuring process will be described with reference to FIGS. 7, 8 and 9A. Specifically, the marker position measurement processing when the above-described marker set 30 of FIG. 4A is adopted will be described.
図7に示すように、ステップS202にて、マーカ位置測定部202は、相互に露光時間の異なる撮像画像ごとに、複数のマーカセット30のそれぞれを含むと想定される領域の画像(以下、「マーカ大域画像」)を抽出する。例えば、マーカ位置測定部202は、複数のマーカセット30ごとに予め規定される撮像画像の座標範囲に沿って、マーカ大域画像を抽出する(つまり、切り出す)。複数のマーカセット30の設置場所が既知であるため、撮像画像上の複数のマーカセット30が含まれる大雑把な位置を規定することができるからである。これにより、複数のマーカセット30ごとに、相互に露光時間の異なる複数のマーカ大域画像が取得される。 As shown in FIG. 7, in step S202, the marker position measuring unit 202, for each captured image having a different exposure time, an image of a region assumed to include each of the plurality of marker sets 30 (hereinafter, “ Marker global image”). For example, the marker position measurement unit 202 extracts (that is, cuts out) the marker global image along the coordinate range of the captured image defined in advance for each of the plurality of marker sets 30. This is because the installation locations of the plurality of marker sets 30 are known, and thus rough positions including the plurality of marker sets 30 on the captured image can be defined. As a result, a plurality of marker global images having mutually different exposure times are acquired for each of the plurality of marker sets 30.
ステップS204にて、マーカ位置測定部202は、複数のマーカセット30ごとに、形状計測等の既知の方法によって、マーカ大域画像からマーカセット30が略占有する領域の画像(以下、「マーカ領域画像」)を抽出する。このとき、マーカ位置測定部202は、相互に露光時間の異なる複数の画像のそれぞれについて、形状計測等の方法を実施する必要はない。具体的には、マーカ位置測定部202は、マーカ領域画像の抽出に適した一の撮像画像で形状計測等によりマーカ領域画像を抽出し、他の撮像画像については、同じ座標範囲をマーカ領域画像として抽出すればよい。これにより、複数のマーカセットごとに、相互に露光時間の異なる複数のマーカ領域画像が取得される。 In step S204, the marker position measuring unit 202 uses, for each of the plurality of marker sets 30, an image of a region substantially occupied by the marker set 30 from the marker global image (hereinafter, referred to as “marker region image”) by a known method such as shape measurement. )) is extracted. At this time, the marker position measurement unit 202 does not need to perform a method such as shape measurement on each of the plurality of images having different exposure times. Specifically, the marker position measuring unit 202 extracts a marker region image by shape measurement or the like from one captured image suitable for extracting the marker region image, and for the other captured images, sets the same coordinate range as the marker region image. Should be extracted as As a result, a plurality of marker region images having mutually different exposure times are acquired for each of the plurality of marker sets.
例えば、図8に示すように、マーカ位置測定部202は、撮像画像810から予め規定された座標範囲811を切り出すことにより、マーカ大域画像820を抽出する(ステップS202)。そして、マーカ位置測定部202は、形状計測等の方法を適用し、マーカ30(マーカセット30)が略占有する領域821を切り出し、マーカ領域画像830を抽出する(ステップS204)。 For example, as shown in FIG. 8, the marker position measuring unit 202 extracts a marker global image 820 by cutting out a predetermined coordinate range 811 from the captured image 810 (step S202). Then, the marker position measuring unit 202 applies a method such as shape measurement, cuts out an area 821 that is substantially occupied by the marker 30 (marker set 30), and extracts a marker area image 830 (step S204).
図7に戻り、ステップS206にて、マーカ位置測定部202は、複数のマーカ30A及び複数のマーカ30Bごとに、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ30の位置の測定に最も適したマーカ領域画像(マーカ位置測定用画像)を取得する。具体的には、マーカ位置測定部202は、相互に露光時間の異なる複数のマーカ領域画像ごとに、マーカ30A,30Bの輝度に関する統計情報や形状情報等に基づき、マーカ30A,30Bの撮像画像上における認識し易さを判断するための特徴量を取得し、取得した特徴量に基づき、マーカ位置測定用画像を取得する。 Returning to FIG. 7, in step S206, the marker position measurement unit 202 measures the position of the marker 30 from the plurality of marker region images having mutually different exposure times for each of the plurality of markers 30A and the plurality of markers 30B. The most suitable marker region image (marker position measurement image) is acquired. Specifically, the marker position measuring unit 202, on the basis of the statistical information and shape information regarding the brightness of the markers 30A and 30B, for each of the plurality of marker region images having different exposure times, the marker position measuring unit 202 displays the images on the images of the markers 30A and 30B. The feature amount for determining the easiness of recognition is acquired, and the marker position measurement image is acquired based on the acquired feature amount.
例えば、図9Aに示すように、マーカ位置測定部202は、マーカ30Aの相互に露光時間の異なるマーカ領域画像910,920,930が取得された場合に、それぞれに対応する画像ヒストグラム(輝度ヒストグラム)915,925,935を算出する。そして、マーカ位置測定部202は、画像ヒストグラム915,925,935に基づき、マーカ位置測定用画像を取得する。例えば、マーカ位置測定部202は、ヒストグラムの輝度に対応するx座標と、ピクセル数に対応するy座標との積の和が最小になるヒストグラムに対応するマーカ領域画像をマーカ位置測定用画像として取得してよい。 For example, as shown in FIG. 9A, the marker position measuring unit 202, when the marker region images 910, 920, and 930 of the markers 30A having different exposure times are acquired, an image histogram (luminance histogram) corresponding to each of them. 915, 925, 935 are calculated. Then, the marker position measurement unit 202 acquires the marker position measurement image based on the image histograms 915, 925, 935. For example, the marker position measurement unit 202 acquires, as the marker position measurement image, a marker region image corresponding to the histogram that minimizes the sum of the products of the x coordinate corresponding to the brightness of the histogram and the y coordinate corresponding to the number of pixels. You can do it.
図7に戻り、ステップS208にて、マーカ位置測定部202は、複数のマーカ30A及び複数のマーカ30Bごとに、取得されたマーカ位置測定用画像に基づき、マーカ30A,30Bの位置を測定する。例えば、マーカ位置測定部202は、マーカ位置測定用画像と、補助記憶装置22等に予め準備されるマーカ30A,30Bの形状を表すデジタルデータ(例えば、CAD(Computer Aided Design)データ)とのパターンマッチングによって、カメラ10の撮像画像(マーカ位置測定用画像)におけるマーカ30A,30Bの形状部30Aa,30Baの中心位置を測定してよい。これにより、マーカ位置測定部202は、より精度良く、マーカ30A,30Bの位置(形状部30Aa,30Baの中心位置)を測定することができる。 Returning to FIG. 7, in step S208, the marker position measurement unit 202 measures the positions of the markers 30A and 30B based on the acquired marker position measurement image for each of the plurality of markers 30A and the plurality of markers 30B. For example, the marker position measurement unit 202 has a pattern of a marker position measurement image and digital data (for example, CAD (Computer Aided Design) data) representing the shapes of the markers 30A and 30B prepared in advance in the auxiliary storage device 22 or the like. The center position of the shaped portions 30Aa and 30Ba of the markers 30A and 30B in the image captured by the camera 10 (marker position measurement image) may be measured by matching. Thereby, the marker position measuring unit 202 can measure the positions of the markers 30A and 30B (center positions of the shape portions 30Aa and 30Ba) with higher accuracy.
尚、上述の図4Aのマーカセット30が用いられる場合、標準的な露光時間で取得された一枚の撮像画像に基づき、マーカ大域画像、マーカ領域画像(マーカ位置測定用画像)が取得されてもよい。マーカセット30には、相互に画像認識がされ易い照度環境が異なる複数のマーカが含まれるため、撮像画像が取得されるタイミングによって、照度環境が大きく変化し得る状況であっても、マーカ位置測定部202は、マーカセット30に含まれる複数のマーカの何れかを適切に認識できる可能性が高く、結果として、マーカセット30の位置を認識することができるからである。 When the above-described marker set 30 of FIG. 4A is used, a marker global image and a marker region image (marker position measurement image) are acquired based on one captured image acquired with a standard exposure time. Good. Since the marker set 30 includes a plurality of markers having different illuminance environments that are easily image-recognizable to each other, the marker position measurement can be performed even in a situation where the illuminance environment can greatly change depending on the timing at which a captured image is acquired. This is because the unit 202 is highly likely to be able to properly recognize any of the plurality of markers included in the marker set 30, and as a result, can recognize the position of the marker set 30.
<マーカ位置測定処理の第2例>
続いて、図7、図8、図9Bを参照して、マーカ位置測定処理の第2例について説明する。
<Second example of marker position measurement processing>
Subsequently, a second example of the marker position measuring process will be described with reference to FIGS. 7, 8 and 9B.
図7のステップS202、S204の処理は、上述の第1例の場合と同様であるため、説明を省略する。 The processes of steps S202 and S204 in FIG. 7 are the same as those in the case of the above-described first example, and thus the description thereof will be omitted.
ステップS206にて、マーカ位置測定部202は、複数のマーカ30ごとに、相互に露光時間の異なる複数のマーカ領域画像から、マーカ位置測定用としての合成画像を取得(生成)する。 In step S206, the marker position measuring unit 202 acquires (generates) a composite image for marker position measurement from a plurality of marker region images having mutually different exposure times for each of the plurality of markers 30.
例えば、図9Bに示すように、マーカ位置測定部202は、相互に露光時間が異なるマーカ領域画像940,950,960が取得された場合に、マーカ領域画像940,950,960からHDR(High Dynamic Range)画像970を取得する。これにより、マーカ位置測定部202は、マーカ30の特徴を際立たせることができるため、監視空間100の照度環境が相対的に大きく変化する状況であっても、マーカ30の形状部30a等を相対的に認識し易くなり、マーカ30の位置測定精度を向上させることができる。 For example, as shown in FIG. 9B, when the marker region images 940, 950, and 960 have mutually different exposure times, the marker position measurement unit 202 acquires HDR (High Dynamic) from the marker region images 940, 950, and 960. Range) image 970 is acquired. As a result, the marker position measuring unit 202 can make the features of the marker 30 stand out. Therefore, even in a situation where the illuminance environment of the monitoring space 100 changes relatively greatly, the marker position measuring unit 202 moves the shape unit 30a of the marker 30 relative to each other. It becomes easier to recognize the position, and the accuracy of the position measurement of the marker 30 can be improved.
マーカ位置測定部202は、相互に露光時間の異なる全てのマーカ領域画像から合成画像を生成してもよいし、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ30の画像認識に適した、つまり、マーカ30が相対的に画像認識され易い態様で含まれている二以上のマーカ領域画像を抽出し、合成画像を生成してもよい。後者の場合、マーカ位置測定部202は、マーカ30の変化部30cのマーカ領域画像上における見え方に基づき、マーカ30の画像認識に適したマーカ領域画像を抽出する。具体的には、マーカ位置測定部202は、マーカ領域画像上の変化部30cと、画像認識に適した変化部30cの見え方に対応する基準画像データとの比較により、マーカ30の画像認識に適したマーカ領域画像を抽出してよい。 The marker position measuring unit 202 may generate a composite image from all marker region images having mutually different exposure times, or may perform image recognition of the marker 30 from a plurality of marker region images having mutually different exposure times. It is also possible to extract two or more marker region images that are suitable, that is, in which the marker 30 is included in a manner in which image recognition is relatively easy, and generate a composite image. In the latter case, the marker position measuring unit 202 extracts a marker region image suitable for image recognition of the marker 30 based on the appearance of the changing unit 30c of the marker 30 on the marker region image. Specifically, the marker position measuring unit 202 compares the changing portion 30c on the marker area image with the reference image data corresponding to the appearance of the changing portion 30c suitable for image recognition to recognize the marker 30. A suitable marker area image may be extracted.
図7に戻り、ステップS208の処理は、上述の第1例の場合と同様であるため、説明を省略する。 Returning to FIG. 7, the process of step S208 is the same as in the case of the above-described first example, and thus the description thereof is omitted.
尚、上述の図4Bのマーカ30が用いられる場合、マーカ位置測定部202は、HDR画像を生成してもよい。つまり、マーカ位置測定部202は、相互に露光時間の異なる複数のマーカ領域画像の中から選択される、マーカ30の画像認識(つまり、位置の測定)に最も適した撮像画像をそのまま用いて、マーカ30の位置を測定してもよい。 When the marker 30 of FIG. 4B described above is used, the marker position measuring unit 202 may generate an HDR image. That is, the marker position measuring unit 202 uses the picked-up image most suitable for the image recognition (that is, the position measurement) of the marker 30, which is selected from the plurality of marker region images having mutually different exposure times, as it is, The position of the marker 30 may be measured.
[カメラ姿勢変化測定処理の詳細]
次に、図10を参照して、カメラ姿勢変化測定処理(図5のステップS114)の詳細を説明する。以下、本説明では、図4Aのマーカセット30及び図4Bのマーカを総括的にマーカ30と称し、説明を進める。
[Details of camera posture change measurement processing]
Next, details of the camera attitude change measurement process (step S114 in FIG. 5) will be described with reference to FIG. Hereinafter, in the present description, the marker set 30 of FIG. 4A and the markers of FIG. 4B are collectively referred to as the marker 30, and the description will proceed.
図10は、撮像画像上のマーカ30の位置の変化の一例を示す図である。 FIG. 10 is a diagram showing an example of changes in the position of the marker 30 on the captured image.
カメラ姿勢変化測定部203は、複数のマーカ30のうちの二つのマーカ30(以下、対象マーカ)の現在位置及び過去の位置(例えば、図5のステップS104で取得される初期位置或いは前回のステップS112で取得されたマーカ30の位置)に基づき、カメラ10の姿勢の変化を測定する。具体的には、カメラ姿勢変化測定部203は、カメラ10の上下方向の変位(以下、「x変位」)dx、左右方向の変位(以下、「y変位」)dy、ロール方向の回転変位(以下、「ロール変位」)r、ヨー方向の回転変位(以下、「ヨー変位」)yaw、及びピッチング方向の回転変位(以下、「ピッチ変位」)pitchを測定する。 The camera posture change measurement unit 203 determines the current position and the past position of two markers 30 (hereinafter, target markers) of the plurality of markers 30 (for example, the initial position or the previous step acquired in step S104 of FIG. 5). The change in the posture of the camera 10 is measured based on the position of the marker 30 acquired in S112). Specifically, the camera posture change measuring unit 203 causes the vertical displacement (hereinafter, “x displacement”) dx of the camera 10, the horizontal displacement (hereinafter, “y displacement”) dy, and the rotational displacement in the roll direction ( Hereinafter, “roll displacement”) r, rotational displacement in the yaw direction (hereinafter, “yaw displacement”) yaw, and rotational displacement in the pitching direction (hereinafter, “pitch displacement”) pitch are measured.
例えば、図10に示すように、カメラ10の撮像画像1000におけて、左上のマーカ30が(x0,y0)の画素座標から(X0,Y0)の画素座標に(左下方向に)変位し、右下のマーカ30が画素座標(x1,y1)から(X1,Y1)の画素座標に(右下方向に)変位している場合、カメラ10のロール変位r、x変位dx、y変位dy、ヨー変位yaw、及びピッチ変位pitchは、次の式(1)〜(5)で表される。 For example, as shown in FIG. 10, in the captured image 1000 of the camera 10, the marker 30 at the upper left is changed from the pixel coordinate of (x 0 , y 0 ) to the pixel coordinate of (X 0 , Y 0 ) (in the lower left direction. ), when the marker 30 at the lower right is displaced from the pixel coordinates (x 1 , y 1 ) to the pixel coordinates (X 1 , Y 1 ) (in the lower right direction), the roll displacement r of the camera 10 is The x displacement dx, the y displacement dy, the yaw displacement yaw, and the pitch displacement pitch are expressed by the following equations (1) to (5).
尚、式(4)のpx及び式(5)のpyは、それぞれ、カメラ10の撮像画像の上下方向(縦方向)及び左右方向(横方向)のそれぞれの画素サイズを表す。また、式(4)、(5)のfは、カメラ10のレンズ焦点距離を表す。また、式(1)〜(3)のmは、以下の式(6)で表される。 Incidentally, p y of formula (4) p x and the formula (5), respectively, represent respective pixel size in the vertical direction of the image captured by the camera 10 (the longitudinal direction) and lateral direction (lateral direction). Further, f in the expressions (4) and (5) represents the lens focal length of the camera 10. Further, m in the expressions (1) to (3) is represented by the following expression (6).
また、カメラ姿勢変化測定部203は、マーカ30が3以上設置される場合、二つの対象マーカの組み合わせを複数設定し、各組み合わせごとに、カメラ10の姿勢の変化を測定してもよい。この場合、カメラ姿勢変化測定部203は、各組合わせごとの測定結果に統計的処理(例えば、クラスタリング処理、平均値の算出処理、中央値の算出処理等)を施すことで、カメラ10の姿勢の変化を算出してよい。 In addition, when three or more markers 30 are installed, the camera posture change measurement unit 203 may set a plurality of combinations of two target markers and measure the change in the posture of the camera 10 for each combination. In this case, the camera posture change measurement unit 203 performs statistical processing (for example, clustering processing, average value calculation processing, median value calculation processing, etc.) on the measurement result for each combination, so that the posture of the camera 10 changes. May be calculated.
[本実施形態の作用]
次に、本実施形態に係る監視システム1(監視装置20)及びマーカ(マーカセット)30の作用について説明する。
[Operation of this embodiment]
Next, the operation of the monitoring system 1 (monitoring device 20) and the marker (marker set) 30 according to the present embodiment will be described.
本実施形態では、カメラ姿勢変化測定部203は、相互に異なる照度環境で相対的に画像認識され易い複数のマーカ(マーカ30A,30B)を含むマーカセット30が固定的に複数設置された撮像範囲を撮像するカメラ10の撮像画像に基づき、カメラ10の撮像画像における複数のマーカセット30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。 In the present embodiment, the camera posture change measurement unit 203 has an imaging range in which a plurality of fixed marker sets 30 including a plurality of markers (markers 30A and 30B) that are relatively easily image-recognized in mutually different illuminance environments are fixedly installed. The change in the posture of the camera 10 may be measured by measuring the time change of the positions of the plurality of marker sets 30 in the image captured by the camera 10 based on the image captured by the camera 10 capturing the image.
これにより、監視装置20は、複数のマーカセット30ごとに、マーカセット30に含まれる複数のマーカの中から撮像画像が取得されたときの撮像範囲の照度環境における画像認識に適したマーカを選択することができる。そのため、監視装置20は、撮像画像の取得タイミングごとに、撮像範囲の照度環境が相対的に大きく変化してしまうような状況であっても、複数のマーカの何れかを認識し、複数のマーカセット30の位置の時間変化により、カメラ10の姿勢変化を測定することができる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に関するロバスト性を向上させることができる。 Thereby, the monitoring device 20 selects, for each of the plurality of marker sets 30, a marker suitable for image recognition in the illuminance environment of the imaging range when the captured image is acquired from the plurality of markers included in the marker set 30. can do. Therefore, the monitoring device 20 recognizes any of the plurality of markers and recognizes the plurality of markers even in a situation in which the illuminance environment of the imaging range changes relatively greatly at each acquisition timing of the captured image. The change in the posture of the camera 10 can be measured by the change in the position of the set 30 with time. Therefore, the monitoring device 20 can improve the robustness of the camera posture change monitoring function with respect to the illuminance change.
また、本実施形態では、カメラ姿勢変化測定部203は、空間監視機能のためのカメラ10の撮像画像と露光時間の異なる、カメラ10の撮像画像に基づき、複数のマーカセット30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。 Further, in the present embodiment, the camera posture change measuring unit 203 changes the positions of the plurality of marker sets 30 with time based on the imaged image of the camera 10 whose exposure time is different from the imaged image of the camera 10 for the space monitoring function. The change in the posture of the camera 10 may be measured by measuring
これにより、監視装置20は、カメラ姿勢変化監視機能における複数のマーカセット30の画像認識に適した露光時間の撮像画像を用いて、カメラ10の姿勢の変化を測定することできる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Accordingly, the monitoring device 20 can measure the change in the posture of the camera 10 by using the captured image of the exposure time suitable for the image recognition of the plurality of marker sets 30 in the camera posture change monitoring function. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change monitoring function against changes in illuminance.
また、本実施形態では、カメラ姿勢変化測定部203は、カメラ10により所定のタイミングごとに取得される、相互に露光時間が異なる複数の撮像画像に基づき、カメラ10の撮像画像における複数のマーカセット30の位置の時間変化を測定してよい。 Further, in the present embodiment, the camera posture change measurement unit 203 uses the plurality of marker sets in the captured image of the camera 10 based on the plurality of captured images that are acquired by the camera 10 at predetermined timings and have mutually different exposure times. The time variation of the 30 positions may be measured.
これにより、監視装置20は、相互に露光時間の異なる撮像画像の中から選択される、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を用いて、カメラ10の姿勢の変化を測定することができる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Thereby, the monitoring device 20 uses the picked-up image suitable for the image recognition of the marker set 30 in the illuminance environment of the picked-up image at the timing of picking up the picked-up image, which is selected from the picked-up images having different exposure times. Thus, the change in the posture of the camera 10 can be measured. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change monitoring function against changes in illuminance.
また、本実施形態では、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカ(マーカ30A,30B)のうちの相対的に画像認識され易い一又は二以上のマーカの位置に基づき、マーカセットの位置を測定してよい。 Further, in the present embodiment, the marker position measuring unit 202 is one or more of the plurality of markers (markers 30A and 30B) included in the marker set 30 that are relatively easily image-recognized in the captured image of the camera 10. The position of the marker set may be measured based on the position of the marker.
これにより、監視装置20は、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を用いて、カメラ10の姿勢の変化を測定することができる。 As a result, the monitoring device 20 specifically measures the change in the posture of the camera 10 using the captured image suitable for image recognition of the marker set 30 in the illuminance environment in the imaging range at the timing when the captured image is acquired. be able to.
また、本実施形態では、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカ(マーカ30A,30B)のそれぞれに対応する画像部分のヒストグラムに基づき、相対的に画像認識され易い一又は二以上のマーカを抽出する。そして、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカから抽出した一又は二以上のマーカの位置に基づき、マーカセットの位置を測定する。 In addition, in the present embodiment, the marker position measuring unit 202 performs relative measurement based on the histogram of the image portion corresponding to each of the plurality of markers (markers 30A and 30B) included in the marker set 30 in the image captured by the camera 10. One or more markers that are easily recognized by the image are extracted. Then, the marker position measurement unit 202 measures the position of the marker set based on the positions of one or more markers extracted from the plurality of markers included in the marker set 30 in the captured image of the camera 10.
これにより、監視装置20は、相互に露光時間が異なる複数の撮像画像の中から、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を抽出することができる。 Accordingly, the monitoring device 20 specifically picks up an image suitable for image recognition of the marker set 30 in the illuminance environment of the image pickup range at the timing when the picked-up image is acquired from the plurality of picked-up images having mutually different exposure times. Images can be extracted.
また、本実施形態では、マーカセット30は、相互に反射具合の異なる複数のマーカ(マーカ30A,30B)を含む。 Further, in this embodiment, the marker set 30 includes a plurality of markers (markers 30A and 30B) having mutually different reflection conditions.
これにより、マーカセット30は、被写体としてカメラ10により撮像された撮像画像内において、設置場所における照度環境の変化に合わせて、画像認識がされ易いマーカを変化させることができる。そのため、マーカセット30は、設置場所の照度環境が相対的に大きく変化する状況であっても、被写体としてカメラ10により撮像された撮像画像内において、画像認識され易くなる。よって、マーカセット30は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Accordingly, the marker set 30 can change the marker that is easily recognized in the image, in the captured image captured by the camera 10 as the subject, in accordance with the change in the illuminance environment at the installation location. Therefore, the marker set 30 is easily recognized in the captured image captured by the camera 10 as a subject even in a situation where the illuminance environment of the installation location changes relatively greatly. Therefore, the marker set 30 can further improve the robustness of the camera posture change monitoring function against illuminance changes.
また、本実施形態では、マーカセット30に含まれる複数のマーカのうちの二つのマーカ(マーカ30A,30B)は、互いに、画像認識の対象の形状部及び形状部の背景を構成する背景部の色が反転している。 In addition, in the present embodiment, two markers (markers 30A and 30B) of the plurality of markers included in the marker set 30 are the background portion that forms the background of the shape part of the image recognition target and the shape part. The colors are reversed.
これにより、マーカセット30は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。 Thereby, the marker set 30 can specifically change the reflection degree between the two markers.
また、本実施形態では、マーカセット30に含まれる複数のマーカのうちの二つのマーカ(マーカ30A,30B)は、互いに、画像認識の対象の形状部と、形状部の背景を構成する背景部との間の相対的な反射具合が反転している。 In addition, in the present embodiment, two markers (markers 30A and 30B) of the plurality of markers included in the marker set 30 are mutually related to the shape part of the image recognition target and the background part forming the background of the shape part. The relative reflection between and is reversed.
これにより、マーカセット30は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。 Thereby, the marker set 30 can specifically change the reflection degree between the two markers.
また、本実施形態では、カメラ姿勢変化測定部203は、複数のマーカ30が固定的に設置された撮像範囲を撮像するカメラ10の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。 In addition, in the present embodiment, the camera posture change measurement unit 203 is configured such that the camera 10 that captures an imaging range in which a plurality of markers 30 are fixedly installed acquires a plurality of images having different exposure times at predetermined timings. The change in the posture of the camera 10 may be measured by measuring the time change of the positions of the plurality of markers 30 in the picked-up image of the camera 10, based on the picked-up image.
これにより、監視装置20は、例えば、相互の露光時間の異なる複数の撮像画像から複数のマーカの特徴を認識し易い撮像画像を選択したり、複数のマーカの特徴を認識し易い合成画像生成したりすることができる。そのため、監視装置20は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、複数のマーカを適切に認識し、複数のマーカの位置の時間変化により、カメラ10の姿勢の変化を測定することができる。よって、監視装置20は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を向上させることができる。 Thereby, the monitoring device 20 selects, for example, a picked-up image in which the features of the plurality of markers are easily recognized from a plurality of picked-up images having mutually different exposure times, or generates a combined image in which the features of the plurality of markers are easily recognized. You can Therefore, the monitoring device 20 appropriately recognizes a plurality of markers and changes the positions of the plurality of markers with time even in a situation where the illuminance environment greatly changes at each acquisition timing of the captured image. Changes in the posture of the camera 10 can be measured. Therefore, the monitoring device 20 can improve the robustness of the camera posture change measurement function with respect to the illuminance change.
また、本実施形態では、カメラ姿勢変化測定部203は、相互に露光時間の異なる複数の撮像画像から生成される合成画像(HDR画像)に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。 Further, in the present embodiment, the camera posture change measuring unit 203 determines the positions of the plurality of markers 30 in the captured image of the camera 10 based on the composite image (HDR image) generated from the plurality of captured images having mutually different exposure times. The change in the posture of the camera 10 may be measured by measuring the change with time.
これにより、監視装置20は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、相互の露光時間の異なる複数の撮像画像から生成される複数のマーカの特徴を認識し易い合成画像を用いて、複数のマーカを適切に認識することができる。 As a result, the monitoring device 20 can detect a plurality of markers generated from a plurality of captured images having different exposure times even in a situation where the illuminance environment greatly changes at each captured image acquisition timing. It is possible to appropriately recognize the plurality of markers by using the synthetic image in which the features are easily recognized.
また、本実施形態では、カメラ姿勢変化測定部203は、相互に露光時間の異なる複数の撮像画像のうちの複数のマーカ30が相対的に画像認識され易い態様で含まれる二以上の撮像画像から生成される合成画像(HDR画像)に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定してよい。 In addition, in the present embodiment, the camera posture change measuring unit 203 determines from the two or more captured images in which the plurality of markers 30 of the plurality of captured images having mutually different exposure times are included in a manner in which the images are relatively easily recognized. The time change of the positions of the plurality of markers 30 in the captured image of the camera 10 may be measured based on the generated composite image (HDR image).
これにより、監視装置20は、複数のマーカの特徴をより認識し易い合成画像(HDR画像)を用いることができる。よって、監視装置20は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を更に向上させることができる。 Accordingly, the monitoring device 20 can use a composite image (HDR image) that makes it easier to recognize the features of the plurality of markers. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change measurement function with respect to the illuminance change.
また、本実施形態では、複数のマーカ30は、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、カメラ10の撮像画像における見え方が変化する変化部を含む。そして、マーカ位置測定部202は、複数の撮像画像における複数のマーカ30の変化部の見え方に基づき、相互に露光時間が異なる複数の撮像画像の中から、複数のマーカ30が相対的に画像認識され易い態様で含まれる撮像画像を抽出してよい。 In addition, in the present embodiment, each of the plurality of markers 30 includes a change part in which the appearance in the image captured by the camera 10 changes according to the change in the exposure time, in addition to the shape part of the image recognition target. Then, the marker position measuring unit 202, based on the appearance of the changed portions of the plurality of markers 30 in the plurality of captured images, the plurality of markers 30 are relatively imaged from the plurality of captured images having different exposure times. You may extract the captured image contained in the mode which is easily recognized.
これにより、監視装置20は、カメラ10の撮像画像における変化部の見え方に基づき、具体的に、複数のマーカ30が画像認識され易いかどうかを判断し、合成画像の生成に適した撮像画像を抽出することができる。 Thereby, the monitoring device 20 specifically determines whether or not the plurality of markers 30 are easily image-recognized based on the appearance of the changed portion in the captured image of the camera 10, and the captured image suitable for generating the composite image. Can be extracted.
また、本実施形態では、カメラ姿勢変化測定部203は、空間監視機能のためのカメラ10の撮像画像と露光時間の異なる、カメラ10の撮像画像に基づき、複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。 In addition, in the present embodiment, the camera posture change measuring unit 203 measures the temporal changes in the positions of the plurality of markers 30 based on the captured image of the camera 10 whose exposure time is different from the captured image of the camera 10 for the space monitoring function. By measuring, the change in the posture of the camera 10 may be measured.
これにより、監視装置20は、カメラ姿勢変化監視機能における複数のマーカ30の画像認識に適した露光時間の撮像画像を用いて、カメラ10の姿勢の変化を測定することできる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。 Thereby, the monitoring device 20 can measure the change in the posture of the camera 10 by using the captured image of the exposure time suitable for the image recognition of the plurality of markers 30 in the camera posture change monitoring function. Therefore, the monitoring device 20 can further improve the robustness of the camera posture change monitoring function against changes in illuminance.
また、本実施形態では、マーカ位置測定部202は、相互に露光時間の異なる複数の撮像画像から生成される合成画像(HDR画像)に基づき、複数のマーカ30の形状を表すデジタルデータ(CADデータ)に対するパターンマッチングによって、カメラ10の撮像画像における複数のマーカ30の位置を測定してよい。 Further, in the present embodiment, the marker position measurement unit 202 uses digital data (CAD data) that represents the shapes of the plurality of markers 30 based on a composite image (HDR image) generated from a plurality of captured images having mutually different exposure times. The positions of the plurality of markers 30 in the image captured by the camera 10 may be measured by pattern matching with respect to (1).
これにより、監視装置20は、カメラ10の撮像画像上において、複数のマーカ30の位置をより精度よく測定することができる。よって、監視装置20は、カメラ10の姿勢の変化の測定精度を向上させることができる。 Accordingly, the monitoring device 20 can measure the positions of the plurality of markers 30 on the captured image of the camera 10 with higher accuracy. Therefore, the monitoring device 20 can improve the measurement accuracy of the change in the posture of the camera 10.
また、本実施形態では、マーカ30は、画像認識の対象の形状部30aと、カメラ10の露光時間の変化に応じて撮像画像上での見え方が変化する変化部30cと、を含む。 In addition, in the present embodiment, the marker 30 includes a shape portion 30a to be image-recognized and a change portion 30c whose appearance on the captured image changes according to the change of the exposure time of the camera 10.
これにより、マーカ30は、カメラ10の撮像画像における変化部の見え方に基づき、カメラ10により撮像された、相互に露光時間が異なる複数の撮像画像の中からマーカ30の画像認識に適した撮像画像を監視装置20に認識させることができる。よって、マーカ30は、監視装置20のカメラ姿勢変化監視機能の照度変化に対するロバスト性を向上させることができる。 Thereby, the marker 30 is imaged suitable for image recognition of the marker 30 from a plurality of imaged images having different exposure times, which are imaged by the camera 10, based on the appearance of the changed portion in the imaged image of the camera 10. The image can be recognized by the monitoring device 20. Therefore, the marker 30 can improve the robustness against the illuminance change of the camera posture change monitoring function of the monitoring device 20.
また、本実施形態では、変化部30cは、形状部30aの色と背景部30bの色との間の線形グラデーションを表すグラデーションバーである。 Further, in the present embodiment, the changing portion 30c is a gradation bar that represents a linear gradation between the color of the shape portion 30a and the color of the background portion 30b.
これにより、マーカ30は、具体的に、カメラ10の露光時間の変化に応じて、カメラ10の撮像画像における変化部30cの見え方を変化させることができる。 Thereby, the marker 30 can specifically change the appearance of the changing portion 30c in the image captured by the camera 10 according to the change in the exposure time of the camera 10.
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments for carrying out the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. Can be modified and changed.
1 監視システム
10 カメラ
20 監視装置(情報処理装置)
30 マーカセット(被画像認識用マーカセット)
30A,30B マーカ
201 撮像制御部
202 マーカ位置測定部
203 カメラ姿勢変化測定部(姿勢変化測定部)
204 エラー検出部
1 Monitoring System 10 Camera 20 Monitoring Device (Information Processing Device)
30 Marker set (Marker set for image recognition)
30A, 30B Marker 201 Imaging control unit 202 Marker position measuring unit 203 Camera posture change measuring unit (posture change measuring unit)
204 Error detector
Claims (9)
情報処理装置。 The positions of the plurality of markers in the imaged image of the imaging device, based on the plurality of imaged images of the imaging device that capture the imaging range in which the plurality of markers are installed and have different exposure times acquired at predetermined timings. A posture change measuring unit that measures a change in the posture of the image pickup apparatus by measuring a change with time.
Information processing device.
請求項1に記載の情報処理装置。 The posture change measurement unit measures the change over time in the positions of the plurality of markers in the captured image of the imaging device based on a composite image generated from the plurality of captured images, thereby changing the posture of the imaging device. To measure,
The information processing apparatus according to claim 1.
請求項2に記載の情報処理装置。 The posture change measurement unit is configured to detect the image capturing apparatus based on the composite image generated from two or more captured images in which the plurality of markers of the plurality of captured images are included in a manner in which the images are relatively easily recognized. Measuring the time change of the position of the plurality of markers in the captured image,
The information processing apparatus according to claim 2.
前記複数のマーカは、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、前記撮像装置の撮像画像における見え方が変化する変化部を含み、
前記撮像画像抽出部は、前記複数の撮像画像における前記複数のマーカの前記変化部の見え方に基づき、前記複数の撮像画像の中から二以上の撮像画像を抽出する、
請求項3に記載の情報処理装置。 From the plurality of captured images, the plurality of markers further includes a captured image extraction unit that extracts a captured image included in a manner in which image recognition is relatively easy,
Each of the plurality of markers includes, apart from the shape part of the image recognition target, a change part in which the appearance in the image captured by the imaging device changes according to the change in the exposure time,
The captured image extraction unit extracts two or more captured images from the plurality of captured images based on the appearance of the changing portion of the plurality of markers in the plurality of captured images,
The information processing device according to claim 3.
前記姿勢変化測定部は、前記監視対象の監視のための前記撮像装置の撮像画像と露光時間の異なる、前記撮像装置の撮像画像に基づき、前記撮像装置の姿勢の変化を測定する、
請求項1乃至4の何れか一項に記載の情報処理装置。 The imaging device is provided to monitor a predetermined monitoring target within the imaging range,
The posture change measuring unit measures a change in posture of the image capturing device based on a captured image of the image capturing device having a different exposure time from the image captured by the image capturing device for monitoring the monitoring target,
The information processing apparatus according to claim 1.
前記マーカ位置測定部は、前記複数のマーカの形状を表すデジタルデータに対するパターンマッチングによって、前記撮像装置の撮像画像における前記複数のマーカの位置を測定する、
請求項1乃至5の何れか一項に記載の情報処理装置。 Further comprising a marker position measuring unit that measures the positions of the plurality of markers in the captured image of the imaging device based on the composite image,
The marker position measuring unit measures the positions of the plurality of markers in a captured image of the imaging device by pattern matching with respect to digital data representing the shapes of the plurality of markers.
The information processing apparatus according to any one of claims 1 to 5.
複数のマーカが設置された撮像範囲を撮像する撮像装置の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、前記撮像装置の撮像画像における前記複数のマーカの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラム。 In the information processing device,
The positions of the plurality of markers in the imaged image of the imaging device, based on the plurality of imaged images of the imaging device that capture the imaging range in which the plurality of markers are installed and have different exposure times acquired at predetermined timings. By performing a posture change measurement step of measuring a change in the posture of the image pickup apparatus by measuring a time change of
program.
撮像装置の露光時間の変化に応じて撮像画像上での見え方が変化する変化部と、を含む、
被画像認識用マーカ。 The shape part of the object of image recognition,
And a changing unit whose appearance on the captured image changes according to a change in the exposure time of the imaging device,
Image recognition marker.
請求項8に記載の被画像認識用マーカ。 The change portion is a gradation bar that represents a linear gradation between the color of the shape portion and the color of the background portion that forms the background of the shape portion,
The marker for image recognition according to claim 8.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005322A JP7191706B2 (en) | 2019-01-16 | 2019-01-16 | Information processing device, program, marker for image recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005322A JP7191706B2 (en) | 2019-01-16 | 2019-01-16 | Information processing device, program, marker for image recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020113951A true JP2020113951A (en) | 2020-07-27 |
JP7191706B2 JP7191706B2 (en) | 2022-12-19 |
Family
ID=71667410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019005322A Active JP7191706B2 (en) | 2019-01-16 | 2019-01-16 | Information processing device, program, marker for image recognition |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7191706B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062757A (en) * | 2002-07-31 | 2004-02-26 | Canon Inc | Image processing method and method for estimating imaging part position and attitude |
JP2012068761A (en) * | 2010-09-21 | 2012-04-05 | Toshiba Digital Media Engineering Corp | Image processing device |
WO2016031190A1 (en) * | 2014-08-27 | 2016-03-03 | 日本電気株式会社 | Information processing device and recognition support method |
-
2019
- 2019-01-16 JP JP2019005322A patent/JP7191706B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062757A (en) * | 2002-07-31 | 2004-02-26 | Canon Inc | Image processing method and method for estimating imaging part position and attitude |
JP2012068761A (en) * | 2010-09-21 | 2012-04-05 | Toshiba Digital Media Engineering Corp | Image processing device |
WO2016031190A1 (en) * | 2014-08-27 | 2016-03-03 | 日本電気株式会社 | Information processing device and recognition support method |
Also Published As
Publication number | Publication date |
---|---|
JP7191706B2 (en) | 2022-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108737793B (en) | Method, system and device for tracking moving object by using camera network | |
JP6554169B2 (en) | Object recognition device and object recognition system | |
CN112232279B (en) | Personnel interval detection method and device | |
JP2004334819A (en) | Stereo calibration device and stereo image monitoring device using same | |
JP6566768B2 (en) | Information processing apparatus, information processing method, and program | |
JP2016170610A (en) | Three-dimensional model processing device and camera calibration system | |
JP6444283B2 (en) | Posture determination device | |
JP6845342B2 (en) | Utility pole management system | |
CN110634138A (en) | Bridge deformation monitoring method, device and equipment based on visual perception | |
JP7092615B2 (en) | Shadow detector, shadow detection method, shadow detection program, learning device, learning method, and learning program | |
WO2022014252A1 (en) | Information processing device and information processing method | |
CN111815672A (en) | Dynamic tracking control method, device and control equipment | |
KR101972582B1 (en) | Development for Displacement Measurement System Based on a PTZ Camera and Method thereof | |
KR101469099B1 (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
CN111595342A (en) | Indoor positioning method and system capable of being deployed in large scale | |
JP2018182593A (en) | Image processing apparatus and image processing method | |
CN113344906B (en) | Camera evaluation method and device in vehicle-road cooperation, road side equipment and cloud control platform | |
CN114726978A (en) | Information processing apparatus, information processing method, and program | |
US20220076399A1 (en) | Photographing guide device | |
CN112419402A (en) | Positioning method and system based on multispectral image and laser point cloud | |
JP6374812B2 (en) | 3D model processing apparatus and camera calibration system | |
JP7191706B2 (en) | Information processing device, program, marker for image recognition | |
JP2007200364A (en) | Stereo calibration apparatus and stereo image monitoring apparatus using the same | |
JP7292883B2 (en) | Information processing device, program, marker set for image recognition | |
CN116152471A (en) | Factory safety production supervision method and system based on video stream and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7191706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |