JP7292883B2 - Information processing device, program, marker set for image recognition - Google Patents
Information processing device, program, marker set for image recognition Download PDFInfo
- Publication number
- JP7292883B2 JP7292883B2 JP2019005321A JP2019005321A JP7292883B2 JP 7292883 B2 JP7292883 B2 JP 7292883B2 JP 2019005321 A JP2019005321 A JP 2019005321A JP 2019005321 A JP2019005321 A JP 2019005321A JP 7292883 B2 JP7292883 B2 JP 7292883B2
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- markers
- camera
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、情報処理装置等に関する。 The present invention relates to an information processing apparatus and the like.
例えば、工場や倉庫等に設置された撮像装置で取得される画像情報に基づき、工場や倉庫等の内部の物体(例えば、作業者、作業用機器、倉庫内の製品等)を認識しながら、工場や倉庫等の内部を監視するシステムが知られている(例えば、特許文献1参照)。 For example, based on image information acquired by an imaging device installed in a factory or warehouse, etc., while recognizing objects inside the factory or warehouse (for example, workers, work equipment, products in the warehouse, etc.), A system for monitoring the inside of factories, warehouses, etc. is known (see, for example, Patent Document 1).
ところで、工場や倉庫等の場合、設置環境によっては、例えば、振動等の影響から撮像装置の姿勢が変化する可能性があるため、撮像装置の姿勢変化を監視し、姿勢変化が認識されると、例えば、物体認識に関するパラメータ補正が行われることが望ましい。よって、例えば、工場や倉庫等の内部の壁や柱等の固定部に所定のマーカを予め設置し、撮像装置の画像情報における当該マーカの位置や形状等の変化をモニタリングすることで、撮像装置の姿勢変化が監視される場合がある。 By the way, in the case of a factory or a warehouse, depending on the installation environment, for example, there is a possibility that the orientation of the imaging device may change due to the influence of vibration or the like. For example, it is desirable to perform parameter corrections related to object recognition. Therefore, for example, by installing a predetermined marker in advance on a fixed part such as a wall or a pillar inside a factory or a warehouse, and monitoring changes in the position, shape, etc. of the marker in the image information of the imaging device, posture changes may be monitored.
しかしながら、工場や倉庫等の環境によっては、例えば、窓から入る自然光の時間帯による変化や扉の開閉による扉から入る自然光の変化等により照度環境が大きく変化するため、画像情報からマーカの特徴を適切に認識することができない場合が生じうる。つまり、照度環境の大きな変化によって、撮像装置の姿勢変化の監視精度が低下する可能性がある。よって、撮像装置の姿勢変化に関する監視機能の照度環境の変化に対するロバスト性の向上が期待される。 However, depending on the environment of a factory or warehouse, for example, the illuminance environment may change significantly due to changes in natural light entering through windows depending on the time of day or changes in natural light entering through doors due to opening and closing of doors. There may be cases where proper recognition is not possible. In other words, a large change in the illuminance environment may reduce the accuracy of monitoring posture changes of the imaging device. Therefore, it is expected to improve the robustness of the monitoring function for changes in the posture of the imaging device against changes in the illuminance environment.
そこで、上記課題に鑑み、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することを目的とする。 In view of the above problem, it is an object of the present invention to provide an information processing apparatus and the like capable of improving the robustness of a monitoring function with respect to changes in illuminance with respect to changes in posture of an imaging device.
上記目的を達成するため、本発明の一実施形態では、
相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定部を備える、
情報処理装置が提供される。
To achieve the above object, in one embodiment of the present invention,
Based on an image captured by an imaging device that captures an imaging range in which a plurality of marker sets each including a plurality of markers with mutually different reflection states are installed, temporal changes in the positions of the plurality of marker sets in the image captured by the imaging device are measured. A posture change measuring unit that measures a change in the posture of the imaging device by
An information processing device is provided.
また、本発明の他の実施形態では、
情報処理装置に、
相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラムが提供される。
Also, in another embodiment of the present invention,
information processing equipment,
Based on an image captured by an imaging device that captures an imaging range in which a plurality of marker sets each including a plurality of markers with mutually different reflection states are installed, temporal changes in the positions of the plurality of marker sets in the image captured by the imaging device are measured. to execute an attitude change measurement step of measuring a change in attitude of the imaging device;
A program is provided.
また、本発明の更に他の実施形態では、
第1のマーカと第2のマーカと、を備え、
前記第1のマーカは、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、被認識対象の第1の形状部と、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、前記第1の形状部の背景としての第1の背景部と、を含み、
前記第2のマーカは、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、被認識対象の第2の形状部と、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、前記第2の形状部の背景としての第2の背景部と、を含む、
被画像認識用マーカセットが提供される。
Further, in still another embodiment of the present invention,
a first marker and a second marker;
The first marker comprises a first feature of the object to be recognized having a relatively low intensity color with relatively low reflectivity paint and a relatively high intensity color with relatively high reflectivity paint. a first background portion as a background of the first feature portion having a lightness color;
The second marker comprises a second feature of the object to be recognized having a relatively high intensity color with relatively high reflectivity paint and a relatively low intensity color with relatively low reflectivity paint. a second background as a background of the second feature, having a color of lightness ;
A marker set for image recognition is provided.
上述の実施形態によれば、撮像装置の姿勢変化に関する監視機能の照度変化に関するロバスト性を向上させることが可能な情報処理装置等を提供することができる。 According to the above-described embodiments, it is possible to provide an information processing apparatus and the like capable of improving the robustness of the monitoring function with respect to changes in illuminance with respect to changes in posture of the imaging device.
以下、図面を参照して発明を実施するための形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings.
[監視システムの概要]
まず、図1を参照して、本実施形態に係る監視システム1の概要を説明する。
[Summary of monitoring system]
First, an overview of a
図1は、本実施形態に係る監視システムの一例(監視システム1)の概要を示す図である。 FIG. 1 is a diagram showing an overview of an example of a monitoring system (monitoring system 1) according to this embodiment.
図1に示すように、本実施形態に係る監視システム1は、カメラ10と、監視装置20を含む。
As shown in FIG. 1 , a
カメラ10(撮像装置の一例)は、例えば、工場や倉庫等の所定の監視空間100の天井や壁等の相対的に高い位置等に取り付けられる。カメラ10は、監視空間100内の所定の監視対象を監視するための画像を撮像し、カメラ10の撮像画像に基づき、監視空間100内の監視対象を監視する機能(以下、「空間監視機能」)を有する所定の外部装置に出力する。監視対象は、例えば、作業者、車両、作業機械(例えば、クレーン、フォークリフト)、出荷待ちの製品等が含まれうる。
A camera 10 (an example of an imaging device) is attached to a relatively high position such as a ceiling or a wall of a
また、カメラ10は、例えば、通信ケーブルを通じて監視装置20と通信可能に接続され、監視装置20の制御下で、監視空間100の様子を撮像し、撮像画像を監視装置20に出力する。また、カメラ10は、所定の無線通信(例えば、基地局を末端とする移動体通信網に基づく移動体通信や、WiFi或いはブルートゥース(共に、登録商標)等の近距離通信)によって、監視装置20と通信可能に接続されてもよい。
Also, the
監視空間100において、カメラ10の撮像範囲には、固定的に複数のマーカ30が設置される。例えば、複数のマーカ30は、監視空間100の壁や柱等の移動しない物体(固定部)に設置される。つまり、カメラ10の撮像画像には、複数のマーカ30が含まれる(つまり、映っている)。
A plurality of
監視装置20(情報処理装置の一例)は、カメラ10の撮像画像に含まれる複数のマーカ30の時間変化をモニタリングすることで、カメラ10の姿勢変化を監視する。以下、監視装置20によるカメラ10の姿勢変化を監視する機能を「カメラ姿勢変化監視機能」と称する場合がある。監視装置20は、監視空間100が存在する建物或いは当該建物の周辺の建物に設置されてもよいし、監視空間100が存在する建物から相対的に遠く離れた遠隔地に設置されてもよい。監視装置20は、例えば、デスクトップ型或いはラップトップ型のコンピュータ端末である。また、監視装置20は、例えば、監視空間100に対応する工場や倉庫等の施設の遠隔に配置されるサーバ装置であってもよい。
A monitoring device 20 (an example of an information processing device) monitors posture changes of the
尚、監視装置20は、空間監視機能を有していてもよい。つまり、空間監視機能とカメラ姿勢変化監視機能は、異なる装置により実現されてもよいし、共通の装置により実現されてもよい。
Note that the
[監視システム(監視装置)の構成]
次に、図1に加えて、図2、図3を参照して、本実施形態に係る監視システム1(監視装置)の構成について説明する。
[Configuration of monitoring system (monitoring device)]
Next, the configuration of the monitoring system 1 (monitoring device) according to the present embodiment will be described with reference to FIGS. 2 and 3 in addition to FIG.
図2は、監視装置20のハードウェア構成の一例を示す図である。図3は、監視システム1の機能構成の一例を示す機能ブロック図である。
FIG. 2 is a diagram showing an example of the hardware configuration of the
監視装置20の機能は、任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。図2Bに示すように、例えば、監視装置20は、ドライブ装置21と、補助記憶装置22と、メモリ装置23と、CPU24と、インタフェース装置25と、表示装置26と、入力装置27を含み、それぞれがバスB2で接続される。
The functions of the
監視装置20の各種機能を実現するプログラムは、例えば、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、或いは、USB(Universal Serial Bus)メモリ等の可搬型の記録媒体21Aによって提供される。プログラムが記録された記録媒体21Aが、ドライブ装置21にセットされると、プログラムが記録媒体21Aからドライブ装置21を介して補助記憶装置22にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置22にインストールされてもよい。
A program that realizes various functions of the
補助記憶装置22は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。
The
メモリ装置23は、プログラムの起動指示があった場合に、補助記憶装置22からプログラムを読み出して格納する。
The
CPU24は、メモリ装置23に格納された各種プログラムを実行し、プログラムに従って監視装置20に係る各種機能を実現する。
The
インタフェース装置25は、通信ネットワーク(例えば、通信ネットワークNW1,NW2)に接続するためのインタフェースとして用いられる。 The interface device 25 is used as an interface for connecting to communication networks (for example, communication networks NW1 and NW2).
表示装置26は、例えば、CPU24で実行されるプログラムに従って、GUI(Graphical User Interface)を表示する。
The
入力装置27は、監視装置20に関する様々な操作指示を監視装置20の作業者や管理者等に入力させるために用いられる。
The
監視装置20は、例えば、補助記憶装置22にインストールされる一以上のプログラムをCPU24上で実行することにより実現される機能部として、撮像制御部201と、マーカ位置測定部202と、カメラ姿勢変化測定部203と、エラー検出部204を含む。
The
撮像制御部201は、カメラ10に制御指令を出力し、カメラ10に撮像画像を取得させる。
The
マーカ位置測定部202は、カメラ10の撮像画像上における複数のマーカ30の位置を測定する。具体的には、マーカ位置測定部202は、カメラ10の撮像画像上におけるマーカ30の所定の代表位置(例えば、形状部の中心位置)を測定する。
The marker
カメラ姿勢変化測定部203(姿勢変化測定部の一例)は、マーカ位置測定部202により測定される、カメラ10の撮像画像上における複数のマーカ30の位置の時間変化に基づき、カメラ10の姿勢の変化を測定する。
A camera posture change measuring unit 203 (an example of a posture change measuring unit) measures the posture of the
空間監視機能が監視装置20により実現される場合、カメラ姿勢変化測定部203は、測定結果を空間監視機能に関する構成要素(機能部)に送信する。これにより、空間監視機能に関する構成要素は、測定結果に基づき、カメラ10の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。
When the space monitoring function is realized by the
また、空間監視機能が監視装置20以外の外部装置により実現される場合、カメラ姿勢変化測定部203は、測定結果を当該外部装置に送信する。これにより、外部装置は、測定結果に基づき、カメラ10の撮像画像に基づき監視対象を監視する際のパラメータを補正する必要があるか否かを判断したり、補正の必要がある場合に、補正をしたりすることができる。
Also, when the space monitoring function is realized by an external device other than the
エラー検出部204は、カメラ姿勢変化測定機能に関する所定のエラー(例えば、カメラ10の姿勢変化を測定することができない測定不能エラーや、カメラ10の姿勢変化の測定精度が相対的に低下している測定精度低下エラー等)を検出する。
The
[マーカの具体例]
次に、図4(図4A、図4B)を参照して、マーカ30の具体例について説明する。
[Specific examples of markers]
Next, a specific example of the
<マーカの第1例>
まず、図4Aを参照して、マーカ30の第1例について説明する。
<First example of marker>
First, a first example of the
図4Aは、マーカ30の第1例を示す図である。
FIG. 4A is a diagram showing a first example of the
図4Aに示すように、マーカ30は、二つのマーカ30A,30Bを含む。つまり、マーカ30は、一組のマーカ30A,30Bにより構成される。以下、本例のマーカ30を便宜的に「マーカセット30」と称する。
As shown in FIG. 4A,
マーカ30Aは、形状部30Aaと、背景部30Bbを含む。
The
形状部30Aaは、マーカセット30(マーカ30A)が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30Aaは、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30Aaは、被写体としてカメラ10により撮像される撮像画像上において、背景部30Abとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、相対的に濃い色、つまり、明度の低い色(本例では、黒)で構成される。これにより、形状部30Aaは、相対的に淡い色、つまり、明度の高い色(本例では、白)の背景部30Abとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。また、形状部30Aaは、反射具合が相対的に低くなるように構成される。例えば、形状部30Aaは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、相対的に照度が高い環境下であっても、カメラ10の撮像画像における形状部30Aaのエッジがぼけてしまうような事態を抑制することができる。つまり、マーカ30Aは、相対的に照度が高い環境下において、画像認識され易く構成される。
The shape portion 30Aa is an object of image recognition in the captured image captured by the
尚、形状部30Aaとして組み合わせられる正方形等の幾何学形状の数は、カメラ10
の撮像画像上における画像認識が可能であれば、3つ以下であってもよいし、5つ以上であってもよい。以下、マーカ30B及びマーカ30の第2例の場合についても同様である。
Note that the number of geometric shapes such as squares combined as the shape portion 30Aa is
The number may be three or less, or may be five or more, as long as image recognition on the captured image is possible. The same applies to the second example of the
背景部30Abは、画像認識の対象である形状部30Aaの背景を構成する。背景部30Abは、被写体としてカメラ10により撮像される撮像画像上において、形状部30Aaとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30Abは、相対的に明度の高い色(本例では、白)で構成される。また、背景部30Abは、反射具合が相対的に高くなるように構成される。例えば、形状部30Aaは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、カメラ10の撮像画像上において、形状部30Aaと背景部30Abとの境界、つまり、形状部30Aaのエッジを明確に見せることができ、形状部30Aaが更に画像認識され易くなる。
The background portion 30Ab configures the background of the shape portion 30Aa that is the object of image recognition. The background portion 30Ab is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30Ab and the shape portion 30Aa on the captured image captured by the
マーカ30Bは、マーカ30Aと同様に、形状部30Baと、背景部30Bbを含む。
Like the
形状部30Baは、マーカセット30(マーカ30B)が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30Baは、マーカ30Aの場合と同様、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30Baは、被写体としてカメラ10により撮像される撮像画像上において、背景部30Bbとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、形状部30Baは、相対的に明度の高い色(本例では、白)で構成される。これにより、形状部30Baは、相対的に明度の低い色(本例では、黒)の背景部30Bbとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。また、形状部30Baは、反射具合が相対的に高くなるように構成される。例えば、形状部30Baは、乱反射材、具体的には、乱反射性を有する塗料等により形成されてよい。これにより、相対的に照度が低い環境下であっても、カメラ10の撮像画像における形状部30Aaのエッジを際立たせることができる。つまり、マーカ30Aは、相対的に照度が低い環境下において、画像認識され易く構成される。
The shape portion 30Ba is an object of image recognition in the captured image captured by the
背景部30Bbは、画像認識の対象である形状部30Baの背景を構成する。背景部30Bbは、被写体としてカメラ10により撮像される撮像画像上において、形状部30Baとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30Bbは、相対的に明度の低い色(本例では、黒)で構成される。また、背景部30Bbは、反射具合が相対的に低くなるように構成される。例えば、形状部30Baは、吸光材、具体的には、吸光性を有する塗料等により形成されてよい。これにより、カメラ10の撮像画像上において、形状部30Baと背景部30Bbとの境界、つまり、形状部30Baのエッジを明確に見せることができ、形状部30Baが更に画像認識され易くなる。
The background portion 30Bb constitutes the background of the shape portion 30Ba that is the object of image recognition. The background portion 30Bb is configured such that a relatively large luminance gradient (luminance difference) is generated between the background portion 30Bb and the shape portion 30Ba on the captured image captured by the
このように、本例では、マーカセット30は、反射具合の異なる2つのマーカ30A,30Bにより構成される。つまり、マーカセット30は、相対的に照度が高い環境下でカメラ10により撮像される撮像画像で画像認識され易いマーカ30Aと、相対的に照度が低い環境下でカメラ10により撮像される撮像画像で画像認識され易いマーカ30Bにより構成される。これにより、マーカ30A,30Bを予め規定される相対位置関係で監視空間100の壁や柱等の固定部に設置されることにより、監視空間100の照度環境が大きく変化する状況であっても、マーカ30A,30Bの何れかが画像認識される可能性が高くなる。つまり、マーカ30A,30Bは、監視装置20によるマーカ30A,30Bの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。
Thus, in this example, the marker set 30 is composed of two
尚、マーカセット30は、相互に反射具合の異なる3以上のマーカを含んでいてもよい。 Note that the marker set 30 may include three or more markers with different degrees of reflection.
<マーカの第2例>
続いて、図4Bを参照して、マーカ30の第2例について説明する。
<Second example of marker>
Next, a second example of the
図4Bは、マーカ30の第2例を示す図である。
FIG. 4B is a diagram showing a second example of the
図4Bに示すように、マーカ30は、形状部30aと、背景部30bと、変化部30cを含む。
As shown in FIG. 4B, the
形状部30aは、マーカ30が被写体としてカメラ10により撮像される撮像画像における画像認識の対象である。形状部30aは、例えば、幾何学形状(本例では、4つの正方形の組み合わせ)により構成される。形状部30aは、被写体としてカメラ10により撮像される撮像画像上において、背景部30bとの間で相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、相対的に明度の低い色(本例では、黒)で構成される。これにより、形状部30aは、相対的に明度の高い色(本例では、白)の背景部30bとのコントラストによって、被写体としてカメラ10により撮像される撮像画像上で画像認識され易くなる。
The
背景部30bは、画像認識の対象である形状部30aの背景を構成する。背景部30bは、被写体としてカメラ10により撮像される撮像画像上において、形状部30aとの間に相対的に大きな輝度勾配(輝度差)が生じるように構成される。本例では、背景部30bは、相対的に明度の高い色(本例では、白)で構成される。
The
変化部30cは、マーカ30が被写体としてカメラ10により撮像される撮像画像において、撮像範囲(監視空間100)の照度環境やカメラ10の露光時間等により見え方が変化する構成要素である。本例では、変化部30cは、変化部30c1,30c2を含む。
The changing
変化部30c1は、マーカ30の上端部(形状部30aの上)に設けられる。変化部30c1は、形状部30aと同じ色(つまり、黒)の背景上に、左から右に架けて背景部30bの色(つまり、白)から形状部30aの色(つまり、黒)に変化する線形グラデーションを表すグラデーションバーである。
The changing portion 30c1 is provided at the upper end portion of the marker 30 (above the shaped
変化部30c2は、マーカ30の下端部(形状部30aの下)に設けられる。変化部30c2は、背景部30bと同じ色(つまり、白)の背景上に、変化部30c1と同様、左から右に架けて背景部30bの色(つまり、白)から形状部30aの色(つまり、黒)に変化する線形グラデーションを表すグラデーションバーである。
The changing portion 30c2 is provided at the lower end portion of the marker 30 (below the
尚、変化部30c1,30c2のうちの何れか一方は省略されてもよい。 Either one of the changing portions 30c1 and 30c2 may be omitted.
形状部30aと背景部30bとの間の線形グラデーションを表すグラデーションバーは、撮像範囲の照度環境やカメラ10の露光時間によって、カメラ10の撮像画像上における見え方が変化する。よって、監視装置20(マーカ位置測定部202)は、後述の如く、相互に異なる露光時間の異なる複数の撮像画像ごとに、変化部30c(グラデーションバー)の見え方が、形状部30aの画像認識に適した見え方か否かを判断することができる。
The appearance of the gradation bar representing the linear gradation between the
このように、本例では、マーカ30に、カメラ10の露光時間の変化に応じて、カメラ10の撮像画像上における見え方が変化する変化部30cが設けられる。これにより、マーカ30は、相互に露光時間の異なる複数の撮像画像の中でマーカ30の画像認識に適した撮像画像を選択させることができる。よって、マーカ30は、監視装置20によるマーカ30A,30Bの画像認識処理の照度環境の変化に関するロバスト性を向上させることができる。
As described above, in this example, the
[カメラの姿勢変化の測定方法の概要]
次に、図5、図6を参照して、カメラ10の姿勢変化の測定方法の概要を説明する。
[Overview of measurement method for changes in camera posture]
Next, with reference to FIGS. 5 and 6, the outline of the method for measuring the attitude change of the
図5は、監視装置20によるカメラ10の姿勢変化を監視する処理(以下、「姿勢変化監視処理」)の一例を概略的に示すフローチャートである。図6は、カメラ10により取得される、相互に露光時間の異なる撮像画像群(複数の撮像画像)の一例を示す図である。
FIG. 5 is a flowchart schematically showing an example of processing for monitoring posture change of the
図5に示すように、ステップS102にて、撮像制御部201は、カメラ10に制御指令を出力し、相互に露光時間の異なる複数の撮像画像(例えば、3枚~5枚の撮像画像)をカメラ10に撮像させ、ステップS104に進む。
As shown in FIG. 5, in step S102, the
例えば、図6に示すように、カメラ10は、相互に露光時間の異なる3枚の撮像画像610~630を取得する。これにより、カメラ10は、マーカ30の見え方が異なる撮像画像610~630を取得できる。
For example, as shown in FIG. 6, the
図5に戻り、ステップS104にて、マーカ位置測定部202は、カメラ10により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ30の位置(つまり、初期位置)を測定する処理(マーカ位置測定処理)を行い、ステップS106に進む。マーカ位置測定処理の詳細は、後述する。
Returning to FIG. 5, in step S104, the marker
ステップS106にて、マーカ位置測定部202は、測定された複数のマーカ30の位置を初期位置として補助記憶装置22等に保存し(記憶させ)、ステップS108に進む。
In step S106, the marker
ステップS108にて、撮像制御部201は、カメラ10の姿勢変化の測定タイミング(以下、単に「測定タイミング」)が到来したか否かを判定する。測定タイミングは、例えば、毎日或いは所定日ごと等の予め規定された時刻であってよい。撮像制御部201は、測定タイミングが到来していない場合、測定タイミングが到来するまで待機し、測定タイミングが到来した場合、ステップS110に進む。
In step S<b>108 , the
ステップS110にて、撮像制御部201は、ステップS102と同様、カメラ10に制御指令を出力し、相互に露光時間の異なる複数の撮像画像をカメラ10に撮像させ(図6参照)、ステップS112に進む。
In step S110, the
ステップS112にて、マーカ位置測定部202は、カメラ10により撮像される、相互に異なる露光時間の複数の撮像画像に基づき、撮像画像における複数のマーカ30の位置(つまり、現在位置)を測定する処理マーカ位置測定処理を行い、ステップS114に進む。
In step S112, the marker
ステップS114にて、カメラ姿勢変化測定部203は、ステップ112で測定された、撮像画像における複数のマーカ30の現在位置と、ステップS102で測定された(ステップS106で保存された)、撮像画像における複数のマーカ30の初期位置とに基づき、カメラ10の姿勢の変化を測定し、ステップS116に進む。また、カメラ姿勢変化測定部203は、本ステップの処理が過去に実施済みである場合、今回のステップS112で測定された、撮像画像における複数のマーカ30の現在位置と、前回のステップS112で測定された、撮像画像における複数のマーカ30の過去位置とに基づき、カメラ10の姿勢変化を測定してもよい。
In step S114, the camera posture
ステップS116にて、エラー検出部204は、各種エラーを検出したか否かを判定する。エラー検出部116は、エラーを検出した場合、ステップS118に進み、エラーを検出していない場合、ステップS108に戻る。
In step S116, the
ステップS118にて、エラー検出部204は、表示装置26等を通じて、アラートを出力し、今回の処理を終了する。
In step S118, the
このように、監視装置20は、エラーが検出されない限り、所定の測定タイミングごとに、カメラ10の姿勢の変化を測定し、カメラ姿勢変化監視機能を実現する。
As described above, the
[マーカ位置測定処理の詳細]
次に、図7~図9(図9A、図9B)を参照して、マーカ位置測定処理(図5のステップS104,S112)の詳細を説明する。
[Details of marker position measurement processing]
Next, details of the marker position measurement process (steps S104 and S112 in FIG. 5) will be described with reference to FIGS. 7 to 9 (FIGS. 9A and 9B).
図7は、監視装置20によるマーカ位置測定処理の一例を概略的に示すフローチャートである。図8は、カメラ10の撮像画像からマーカセット30(マーカ30A,30B)の領域の局所画像(以下、「マーカ領域画像」)を抽出する過程を示す図である。図9A、図9Bは、それぞれ、マーカセット30の位置を測定するための画像(以下、「マーカ位置測定用画像」)取得する方法の第1例及び第2例を説明する図である。
FIG. 7 is a flowchart schematically showing an example of marker position measurement processing by the
<マーカ位置測定処理の第1例>
まず、図7、図8、図9Aを参照して、マーカ位置測定処理の第1例について説明する。具体的には、上述した図4Aのマーカセット30が採用される場合のマーカ位置測定処理について説明する。
<First example of marker position measurement processing>
First, a first example of marker position measurement processing will be described with reference to FIGS. 7, 8, and 9A. Specifically, marker position measurement processing when the marker set 30 of FIG. 4A described above is employed will be described.
図7に示すように、ステップS202にて、マーカ位置測定部202は、相互に露光時間の異なる撮像画像ごとに、複数のマーカセット30のそれぞれを含むと想定される領域の画像(以下、「マーカ大域画像」)を抽出する。例えば、マーカ位置測定部202は、複数のマーカセット30ごとに予め規定される撮像画像の座標範囲に沿って、マーカ大域画像を抽出する(つまり、切り出す)。複数のマーカセット30の設置場所が既知であるため、撮像画像上の複数のマーカセット30が含まれる大雑把な位置を規定することができるからである。これにより、複数のマーカセット30ごとに、相互に露光時間の異なる複数のマーカ大域画像が取得される。
As shown in FIG. 7, in step S202, the marker
ステップS204にて、マーカ位置測定部202は、複数のマーカセット30ごとに、形状計測等の既知の方法によって、マーカ大域画像からマーカセット30が略占有する領域の画像(以下、「マーカ領域画像」)を抽出する。このとき、マーカ位置測定部202は、相互に露光時間の異なる複数の画像のそれぞれについて、形状計測等の方法を実施する必要はない。具体的には、マーカ位置測定部202は、マーカ領域画像の抽出に適した一の撮像画像で形状計測等によりマーカ領域画像を抽出し、他の撮像画像については、同じ座標範囲をマーカ領域画像として抽出すればよい。これにより、複数のマーカセットごとに、相互に露光時間の異なる複数のマーカ領域画像が取得される。
In step S204, the marker
例えば、図8に示すように、マーカ位置測定部202は、撮像画像810から予め規定された座標範囲811を切り出すことにより、マーカ大域画像820を抽出する(ステップS202)。そして、マーカ位置測定部202は、形状計測等の方法を適用し、マーカ30(マーカセット30)が略占有する領域821を切り出し、マーカ領域画像830を抽出する(ステップS204)。
For example, as shown in FIG. 8, the marker
図7に戻り、ステップS206にて、マーカ位置測定部202は、複数のマーカ30A及び複数のマーカ30Bごとに、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ30の位置の測定に最も適したマーカ領域画像(マーカ位置測定用画像)を取得する。具体的には、マーカ位置測定部202は、相互に露光時間の異なる複数のマーカ領域画像ごとに、マーカ30A,30Bの輝度に関する統計情報や形状情報等に基づき、マーカ30A,30Bの撮像画像上における認識し易さを判断するための特徴量を取得し、取得した特徴量に基づき、マーカ位置測定用画像を取得する。
Returning to FIG. 7, in step S206, the marker
例えば、図9Aに示すように、マーカ位置測定部202は、マーカ30Aの相互に露光時間の異なるマーカ領域画像910,920,930が取得された場合に、それぞれに対応する画像ヒストグラム(輝度ヒストグラム)915,925,935を算出する。そして、マーカ位置測定部202は、画像ヒストグラム915,925,935に基づき、マーカ位置測定用画像を取得する。例えば、マーカ位置測定部202は、ヒストグラムの輝度に対応するx座標と、ピクセル数に対応するy座標との積の和が最小になるヒストグラムに対応するマーカ領域画像をマーカ位置測定用画像として取得してよい。
For example, as shown in FIG. 9A, when
図7に戻り、ステップS208にて、マーカ位置測定部202は、複数のマーカ30A及び複数のマーカ30Bごとに、取得されたマーカ位置測定用画像に基づき、マーカ30A,30Bの位置を測定する。例えば、マーカ位置測定部202は、マーカ位置測定用画像と、補助記憶装置22等に予め準備されるマーカ30A,30Bの形状を表すデジタルデータ(例えば、CAD(Computer Aided Design)データ)とのパターンマッチングによって、カメラ10の撮像画像(マーカ位置測定用画像)におけるマーカ30A,30Bの形状部30Aa,30Baの中心位置を測定してよい。これにより、マーカ位置測定部202は、より精度良く、マーカ30A,30Bの位置(形状部30Aa,30Baの中心位置)を測定することができる。
Returning to FIG. 7, in step S208, the marker
尚、上述の図4Aのマーカセット30が用いられる場合、標準的な露光時間で取得された一枚の撮像画像に基づき、マーカ大域画像、マーカ領域画像(マーカ位置測定用画像)が取得されてもよい。マーカセット30には、相互に画像認識がされ易い照度環境が異なる複数のマーカが含まれるため、撮像画像が取得されるタイミングによって、照度環境が大きく変化し得る状況であっても、マーカ位置測定部202は、マーカセット30に含まれる複数のマーカの何れかを適切に認識できる可能性が高く、結果として、マーカセット30の位置を認識することができるからである。
Note that when the marker set 30 of FIG. 4A described above is used, a marker global image and a marker region image (marker position measurement image) are acquired based on one captured image acquired with a standard exposure time. good too. Since the marker set 30 includes a plurality of markers with different illuminance environments that are easily image-recognizable, even in a situation where the illuminance environment can change significantly depending on the timing at which the captured image is acquired, marker position measurement can be performed. This is because there is a high possibility that the
<マーカ位置測定処理の第2例>
続いて、図7、図8、図9Bを参照して、マーカ位置測定処理の第2例について説明する。
<Second example of marker position measurement processing>
Next, a second example of marker position measurement processing will be described with reference to FIGS. 7, 8, and 9B.
図7のステップS202、S204の処理は、上述の第1例の場合と同様であるため、説明を省略する。 The processing in steps S202 and S204 in FIG. 7 is the same as in the first example described above, so description thereof will be omitted.
ステップS206にて、マーカ位置測定部202は、複数のマーカ30ごとに、相互に露光時間の異なる複数のマーカ領域画像から、マーカ位置測定用としての合成画像を取得(生成)する。
In step S<b>206 , the marker
例えば、図9Bに示すように、マーカ位置測定部202は、相互に露光時間が異なるマーカ領域画像940,950,960が取得された場合に、マーカ領域画像940,950,960からHDR(High Dynamic Range)画像970を取得する。これにより、マーカ位置測定部202は、マーカ30の特徴を際立たせることができるため、監視空間100の照度環境が相対的に大きく変化する状況であっても、マーカ30の形状部30a等を相対的に認識し易くなり、マーカ30の位置測定精度を向上させることができる。
For example, as shown in FIG. 9B, when
マーカ位置測定部202は、相互に露光時間の異なる全てのマーカ領域画像から合成画像を生成してもよいし、相互に露光時間の異なる複数のマーカ領域画像の中から、マーカ30の画像認識に適した、つまり、マーカ30が相対的に画像認識され易い態様で含まれている二以上のマーカ領域画像を抽出し、合成画像を生成してもよい。後者の場合、マーカ位置測定部202は、マーカ30の変化部30cのマーカ領域画像上における見え方に基づき、マーカ30の画像認識に適したマーカ領域画像を抽出する。具体的には、マーカ位置測定部202は、マーカ領域画像上の変化部30cと、画像認識に適した変化部30cの見え方に対応する基準画像データとの比較により、マーカ30の画像認識に適したマーカ領域画像を抽出してよい。
The marker
図7に戻り、ステップS208の処理は、上述の第1例の場合と同様であるため、説明を省略する。 Returning to FIG. 7, the processing in step S208 is the same as in the first example described above, so the description is omitted.
尚、上述の図4Bのマーカ30が用いられる場合、マーカ位置測定部202は、HDR画像を生成してもよい。つまり、マーカ位置測定部202は、相互に露光時間の異なる複数のマーカ領域画像の中から選択される、マーカ30の画像認識(つまり、位置の測定)に最も適した撮像画像をそのまま用いて、マーカ30の位置を測定してもよい。
Note that when the
[カメラ姿勢変化測定処理の詳細]
次に、図10を参照して、カメラ姿勢変化測定処理(図5のステップS114)の詳細を説明する。以下、本説明では、図4Aのマーカセット30及び図4Bのマーカを総括的にマーカ30と称し、説明を進める。
[Details of Camera Posture Change Measurement Processing]
Next, with reference to FIG. 10, details of the camera attitude change measurement process (step S114 in FIG. 5) will be described. Hereinafter, in this description, the marker set 30 in FIG. 4A and the marker in FIG. 4B will be collectively referred to as the
図10は、撮像画像上のマーカ30の位置の変化の一例を示す図である。
FIG. 10 is a diagram showing an example of changes in the position of the
カメラ姿勢変化測定部203は、複数のマーカ30のうちの二つのマーカ30(以下、対象マーカ)の現在位置及び過去の位置(例えば、図5のステップS104で取得される初期位置或いは前回のステップS112で取得されたマーカ30の位置)に基づき、カメラ10の姿勢の変化を測定する。具体的には、カメラ姿勢変化測定部203は、カメラ10の上下方向の変位(以下、「x変位」)dx、左右方向の変位(以下、「y変位」)dy、ロール方向の回転変位(以下、「ロール変位」)r、ヨー方向の回転変位(以下、「ヨー変位」)yaw、及びピッチング方向の回転変位(以下、「ピッチ変位」)pitchを測定する。
The camera posture
例えば、図10に示すように、カメラ10の撮像画像1000におけて、左上のマーカ30が(x0,y0)の画素座標から(X0,Y0)の画素座標に(左下方向に)変位し、右下のマーカ30が画素座標(x1,y1)から(X1,Y1)の画素座標に(右下方向に)変位している場合、カメラ10のロール変位r、x変位dx、y変位dy、ヨー変位yaw、及びピッチ変位pitchは、次の式(1)~(5)で表される。
For example, as shown in FIG. 10, in the captured
尚、式(4)のpx及び式(5)のpyは、それぞれ、カメラ10の撮像画像の上下方向(縦方向)及び左右方向(横方向)のそれぞれの画素サイズを表す。また、式(4)、(5)のfは、カメラ10のレンズ焦点距離を表す。また、式(1)~(3)のmは、以下の式(6)で表される。
Note that px in equation (4) and p y in equation (5) respectively represent the pixel sizes in the vertical direction (vertical direction) and horizontal direction (horizontal direction) of the image captured by the
また、カメラ姿勢変化測定部203は、マーカ30が3以上設置される場合、二つの対象マーカの組み合わせを複数設定し、組み合わせごとに、カメラ10の姿勢の変化を測定してもよい。この場合、カメラ姿勢変化測定部203は、組み合わせごとの測定結果に統計的処理(例えば、クラスタリング処理、平均値の算出処理、中央値の算出処理等)を施すことで、カメラ10の姿勢の変化を算出してよい。
Further, when three or
[本実施形態の作用]
次に、本実施形態に係る監視システム1(監視装置20)及びマーカ(マーカセット)30の作用について説明する。
[Action of this embodiment]
Next, the operation of the monitoring system 1 (monitoring device 20) and the marker (marker set) 30 according to this embodiment will be described.
本実施形態では、カメラ姿勢変化測定部203は、相互に異なる照度環境で相対的に画像認識され易い複数のマーカ(マーカ30A,30B)を含むマーカセット30が固定的に複数設置された撮像範囲を撮像するカメラ10の撮像画像に基づき、カメラ10の撮像画像における複数のマーカセット30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
In this embodiment, the camera posture
これにより、監視装置20は、複数のマーカセット30ごとに、マーカセット30に含まれる複数のマーカの中から撮像画像が取得されたときの撮像範囲の照度環境における画像認識に適したマーカを選択することができる。そのため、監視装置20は、撮像画像の取得タイミングごとに、撮像範囲の照度環境が相対的に大きく変化してしまうような状況であっても、複数のマーカの何れかを認識し、複数のマーカセット30の位置の時間変化により、カメラ10の姿勢変化を測定することができる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に関するロバスト性を向上させることができる。
As a result, the
また、本実施形態では、カメラ姿勢変化測定部203は、空間監視機能のためのカメラ10の撮像画像と露光時間の異なる、カメラ10の撮像画像に基づき、複数のマーカセット30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
In addition, in this embodiment, the camera posture
これにより、監視装置20は、カメラ姿勢変化監視機能における複数のマーカセット30の画像認識に適した露光時間の撮像画像を用いて、カメラ10の姿勢の変化を測定することできる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
As a result, the
また、本実施形態では、カメラ姿勢変化測定部203は、カメラ10により所定のタイミングごとに取得される、相互に露光時間が異なる複数の撮像画像に基づき、カメラ10の撮像画像における複数のマーカセット30の位置の時間変化を測定してよい。
In addition, in this embodiment, the camera posture
これにより、監視装置20は、相互に露光時間の異なる撮像画像の中から選択される、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を用いて、カメラ10の姿勢の変化を測定することができる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
As a result, the
また、本実施形態では、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカ(マーカ30A,30B)のうちの相対的に画像認識され易い一又は二以上のマーカの位置に基づき、マーカセットの位置を測定してよい。
In addition, in the present embodiment, the marker
これにより、監視装置20は、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を用いて、カメラ10の姿勢の変化を測定することができる。
As a result, the
また、本実施形態では、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカ(マーカ30A,30B)のそれぞれに対応する画像部分のヒストグラムに基づき、相対的に画像認識され易い一又は二以上のマーカを抽出する。そして、マーカ位置測定部202は、カメラ10の撮像画像において、マーカセット30に含まれる複数のマーカから抽出した一又は二以上のマーカの位置に基づき、マーカセットの位置を測定する。
In addition, in the present embodiment, the marker
これにより、監視装置20は、相互に露光時間が異なる複数の撮像画像の中から、具体的に、撮像画像が取得されたタイミングの撮像範囲の照度環境におけるマーカセット30の画像認識に適した撮像画像を抽出することができる。
As a result, the
また、本実施形態では、マーカセット30は、相互に反射具合の異なる複数のマーカ(マーカ30A,30B)を含む。
In addition, in the present embodiment, the marker set 30 includes a plurality of markers (
これにより、マーカセット30は、被写体としてカメラ10により撮像された撮像画像内において、設置場所における照度環境の変化に合わせて、画像認識がされ易いマーカを変化させることができる。そのため、マーカセット30は、設置場所の照度環境が相対的に大きく変化する状況であっても、被写体としてカメラ10により撮像された撮像画像内において、画像認識され易くなる。よって、マーカセット30は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
As a result, the marker set 30 can change the easily recognizable marker in the image captured by the
また、本実施形態では、マーカセット30に含まれる複数のマーカのうちの二つのマーカ(マーカ30A,30B)は、互いに、画像認識の対象の形状部及び形状部の背景を構成する背景部の色が反転している。
Further, in the present embodiment, two markers (
これにより、マーカセット30は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。 As a result, the marker set 30 can specifically differentiate the degree of reflection between the two markers.
また、本実施形態では、マーカセット30に含まれる複数のマーカのうちの二つのマーカ(マーカ30A,30B)は、互いに、画像認識の対象の形状部と、形状部の背景を構成する背景部との間の相対的な反射具合が反転している。
Further, in the present embodiment, two markers (
これにより、マーカセット30は、具体的に、二つのマーカの相互間の反射具合を異ならせることができる。 As a result, the marker set 30 can specifically differentiate the degree of reflection between the two markers.
また、本実施形態では、カメラ姿勢変化測定部203は、複数のマーカ30が固定的に設置された撮像範囲を撮像するカメラ10の、所定のタイミングごとに取得される相互に露光時間の異なる複数の撮像画像に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
In addition, in the present embodiment, the camera posture
これにより、監視装置20は、例えば、相互の露光時間の異なる複数の撮像画像から複数のマーカの特徴を認識し易い撮像画像を選択したり、複数のマーカの特徴を認識し易い合成画像生成したりすることができる。そのため、監視装置20は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、複数のマーカを適切に認識し、複数のマーカの位置の時間変化により、カメラ10の姿勢の変化を測定することができる。よって、監視装置20は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を向上させることができる。
As a result, the
また、本実施形態では、カメラ姿勢変化測定部203は、相互に露光時間の異なる複数の撮像画像から生成される合成画像(HDR画像)に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
Further, in the present embodiment, the camera posture
これにより、監視装置20は、撮像画像の取得タイミングごとに、照度環境が大きく変化してしまうような状況であっても、相互の露光時間の異なる複数の撮像画像から生成される複数のマーカの特徴を認識し易い合成画像を用いて、複数のマーカを適切に認識することができる。
As a result, the
また、本実施形態では、カメラ姿勢変化測定部203は、相互に露光時間の異なる複数の撮像画像のうちの複数のマーカ30が相対的に画像認識され易い態様で含まれる二以上の撮像画像から生成される合成画像(HDR画像)に基づき、カメラ10の撮像画像における複数のマーカ30の位置の時間変化を測定してよい。
In addition, in this embodiment, the camera posture
これにより、監視装置20は、複数のマーカの特徴をより認識し易い合成画像(HDR画像)を用いることができる。よって、監視装置20は、カメラ姿勢変化測定機能の照度変化に関するロバスト性を更に向上させることができる。
As a result, the
また、本実施形態では、複数のマーカ30は、それぞれ、画像認識の対象の形状部とは別に、露光時間の変化に応じて、カメラ10の撮像画像における見え方が変化する変化部を含む。そして、マーカ位置測定部202は、複数の撮像画像における複数のマーカ30の変化部の見え方に基づき、相互に露光時間が異なる複数の撮像画像の中から、複数のマーカ30が相対的に画像認識され易い態様で含まれる撮像画像を抽出してよい。
In addition, in the present embodiment, each of the
これにより、監視装置20は、カメラ10の撮像画像における変化部の見え方に基づき、具体的に、複数のマーカ30が画像認識され易いかどうかを判断し、合成画像の生成に適した撮像画像を抽出することができる。
As a result, the
また、本実施形態では、カメラ姿勢変化測定部203は、空間監視機能のためのカメラ10の撮像画像と露光時間の異なる、カメラ10の撮像画像に基づき、複数のマーカ30の位置の時間変化を測定することにより、カメラ10の姿勢の変化を測定してよい。
In addition, in this embodiment, the camera posture
これにより、監視装置20は、カメラ姿勢変化監視機能における複数のマーカ30の画像認識に適した露光時間の撮像画像を用いて、カメラ10の姿勢の変化を測定することできる。よって、監視装置20は、カメラ姿勢変化監視機能の照度変化に対するロバスト性を更に向上させることができる。
As a result, the
また、本実施形態では、マーカ位置測定部202は、相互に露光時間の異なる複数の撮像画像から生成される合成画像(HDR画像)に基づき、複数のマーカ30の形状を表すデジタルデータ(CADデータ)に対するパターンマッチングによって、カメラ10の撮像画像における複数のマーカ30の位置を測定してよい。
In addition, in the present embodiment, the marker
これにより、監視装置20は、カメラ10の撮像画像上において、複数のマーカ30の位置をより精度よく測定することができる。よって、監視装置20は、カメラ10の姿勢の変化の測定精度を向上させることができる。
As a result, the
また、本実施形態では、マーカ30は、画像認識の対象の形状部30aと、カメラ10の露光時間の変化に応じて撮像画像上での見え方が変化する変化部30cと、を含む。
Further, in the present embodiment, the
これにより、マーカ30は、カメラ10の撮像画像における変化部の見え方に基づき、カメラ10により撮像された、相互に露光時間が異なる複数の撮像画像の中からマーカ30の画像認識に適した撮像画像を監視装置20に認識させることができる。よって、マーカ30は、監視装置20のカメラ姿勢変化監視機能の照度変化に対するロバスト性を向上させることができる。
As a result, the
また、本実施形態では、変化部30cは、形状部30aの色と背景部30bの色との間の線形グラデーションを表すグラデーションバーである。
Also, in the present embodiment, the changing
これにより、マーカ30は、具体的に、カメラ10の露光時間の変化に応じて、カメラ10の撮像画像における変化部30cの見え方を変化させることができる。
As a result, the
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the embodiments for carrying out the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various can be transformed or changed.
1 監視システム
10 カメラ
20 監視装置(情報処理装置)
30 マーカセット(被画像認識用マーカセット)
30A,30B マーカ
201 撮像制御部
202 マーカ位置測定部
203 カメラ姿勢変化測定部(姿勢変化測定部)
204 エラー検出部
1
30 marker set (marker set for target image recognition)
30A,
204 error detector
Claims (7)
情報処理装置。 Based on an image captured by an imaging device that captures an imaging range in which a plurality of marker sets each including a plurality of markers with mutually different reflection states are installed, temporal changes in the positions of the plurality of marker sets in the image captured by the imaging device are measured. A posture change measuring unit that measures a change in the posture of the imaging device by
Information processing equipment.
前記姿勢変化測定部は、前記監視対象の監視のための前記撮像装置の撮像画像と露光時間の異なる、前記撮像装置の撮像画像に基づき、前記撮像装置の姿勢の変化を測定する、
請求項1に記載の情報処理装置。 The imaging device is provided for monitoring a predetermined monitoring target within the imaging range,
The posture change measuring unit measures a change in the posture of the imaging device based on an image captured by the imaging device that has an exposure time different from that of the image captured by the imaging device for monitoring the monitoring target.
The information processing device according to claim 1 .
請求項1又は2に記載の情報処理装置。 The posture change measuring unit is configured to change positions of the plurality of marker sets over time in images captured by the imaging device based on a plurality of captured images with mutually different exposure times acquired by the imaging device at predetermined timings. to measure the
The information processing apparatus according to claim 1 or 2.
請求項1乃至3の何れか一項に記載の情報処理装置。 Further comprising a marker position measurement unit that measures the position of the marker set based on the positions of one or more markers that are relatively easy to image-recognize among the plurality of markers in the captured image of the imaging device,
The information processing apparatus according to any one of claims 1 to 3.
請求項4に記載の情報処理装置。 The marker position measurement unit extracts one or two or more markers that are relatively easy to image-recognize based on the histogram of the image portion corresponding to each of the plurality of markers in the captured image of the imaging device. determining the position of the marker set based on the position of one or more markers;
The information processing apparatus according to claim 4.
相互に反射具合の異なる複数のマーカを含むマーカセットが複数設置された撮像範囲を撮像する撮像装置の撮像画像に基づき、前記撮像装置の撮像画像における複数の前記マーカセットの位置の時間変化を測定することにより、前記撮像装置の姿勢の変化を測定する姿勢変化測定ステップを実行させる、
プログラム。 information processing equipment,
Based on an image captured by an imaging device that captures an imaging range in which a plurality of marker sets each including a plurality of markers with mutually different reflection states are installed, temporal changes in the positions of the plurality of marker sets in the image captured by the imaging device are measured. to execute an attitude change measurement step of measuring a change in attitude of the imaging device;
program.
前記第1のマーカは、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、被認識対象の第1の形状部と、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、前記第1の形状部の背景としての第1の背景部と、を含み、
前記第2のマーカは、相対的に高い反射具合の塗料による相対的に高い明度の色を有する、被認識対象の第2の形状部と、相対的に低い反射具合の塗料による相対的に低い明度の色を有する、前記第2の形状部の背景としての第2の背景部と、を含む、
被画像認識用マーカセット。 a first marker and a second marker;
The first marker comprises a first feature of the object to be recognized having a relatively low intensity color with relatively low reflectivity paint and a relatively high intensity color with relatively high reflectivity paint. a first background portion as a background of the first feature portion having a lightness color;
The second marker comprises a second feature of the object to be recognized having a relatively high intensity color with relatively high reflectivity paint and a relatively low intensity color with relatively low reflectivity paint. a second background as a background of the second feature, having a color of lightness ;
A marker set for image recognition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005321A JP7292883B2 (en) | 2019-01-16 | 2019-01-16 | Information processing device, program, marker set for image recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019005321A JP7292883B2 (en) | 2019-01-16 | 2019-01-16 | Information processing device, program, marker set for image recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020113950A JP2020113950A (en) | 2020-07-27 |
JP7292883B2 true JP7292883B2 (en) | 2023-06-19 |
Family
ID=71665967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019005321A Active JP7292883B2 (en) | 2019-01-16 | 2019-01-16 | Information processing device, program, marker set for image recognition |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7292883B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062757A (en) | 2002-07-31 | 2004-02-26 | Canon Inc | Image processing method and method for estimating imaging part position and attitude |
JP2009187060A (en) | 2008-02-01 | 2009-08-20 | Panasonic Electric Works Co Ltd | Code reader and direct marking system using the same |
WO2014069247A1 (en) | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Image processing device, image processing method, and program |
JP2017102696A (en) | 2015-12-02 | 2017-06-08 | セイコーエプソン株式会社 | Head mounted display device and computer program |
-
2019
- 2019-01-16 JP JP2019005321A patent/JP7292883B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062757A (en) | 2002-07-31 | 2004-02-26 | Canon Inc | Image processing method and method for estimating imaging part position and attitude |
JP2009187060A (en) | 2008-02-01 | 2009-08-20 | Panasonic Electric Works Co Ltd | Code reader and direct marking system using the same |
WO2014069247A1 (en) | 2012-11-02 | 2014-05-08 | ソニー株式会社 | Image processing device, image processing method, and program |
JP2017102696A (en) | 2015-12-02 | 2017-06-08 | セイコーエプソン株式会社 | Head mounted display device and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP2020113950A (en) | 2020-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11731762B2 (en) | Crisscross boustrophedonic flight patterns for UAV scanning and imaging | |
US10102428B2 (en) | Systems and methods for surface and subsurface damage assessments, patch scans, and visualization | |
US10825346B2 (en) | Systems and methods for adaptive property analysis via autonomous vehicles | |
AU2011352408B2 (en) | Tracking moving objects using a camera network | |
US20170359573A1 (en) | Method and apparatus for camera calibration using light source | |
US20180194008A1 (en) | Calibration device, calibration method, and computer readable medium for visual sensor | |
CN110400352B (en) | Camera calibration with feature recognition | |
JP2016170610A (en) | Three-dimensional model processing device and camera calibration system | |
WO2022217988A1 (en) | Sensor configuration scheme determination method and apparatus, computer device, storage medium, and program | |
WO2022014252A1 (en) | Information processing device and information processing method | |
JP2019100985A (en) | Three-dimensional information acquisition system | |
KR101469099B1 (en) | Auto-Camera Calibration Method Based on Human Object Tracking | |
CN109816628B (en) | Face evaluation method and related product | |
KR101233938B1 (en) | Robot and method of tracing object | |
JP7292883B2 (en) | Information processing device, program, marker set for image recognition | |
JP7191706B2 (en) | Information processing device, program, marker for image recognition | |
JP6374812B2 (en) | 3D model processing apparatus and camera calibration system | |
CN104937608A (en) | Road region detection | |
CN112989998B (en) | Material monitoring method, material monitoring device and stirring station | |
KR102049666B1 (en) | Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor | |
CN111105461A (en) | Positioning apparatus, positioning method based on spatial model, and readable storage medium | |
US12051152B2 (en) | Method and system for generating a colored tridimensional map | |
US20240161482A1 (en) | Filtering reflected points in a 3d lidar scan by joint evaluation of lidar data and image data with a reflection point classifier | |
Konieczka et al. | Smart real-time multi-camera people locating system | |
US20230083307A1 (en) | Camera Calibration Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7292883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |