JP7450195B2 - 位置分析装置及び方法、並びにカメラシステム - Google Patents

Description

本開示は、位置分析装置及び方法、並びにカメラシステムに関する。

特許文献１は、カメラパラメータの取得に関してキャリブレーションパターンにおけるマーカ座標の対応付けを行う方法を開示している。この方法は、複数のマーカのパターンを有する四角形のキャリブレーションパターンを撮影し、撮影画像からキャリブレーションパターン領域を抽出し、キャリブレーションパターン領域の４つの角の画像座標を求める。更に、この方法は、キャリブレーションパターン領域の角の画像座標と、元のキャリブレーションパターンの平面画像における角の座標とから射影変換行列を求めている。射影変換行列を用いて元のキャリブレーションパターン平面画像におけるマーカの座標と、撮影画像上のマーカの座標との対応関係を求めることで、カメラパラメータが得られる。

特開２００３－７８８１１号公報

本開示は、カメラによる撮像画像から被写体における分析対象の位置を精度良く測定することができる位置分析装置及び方法、並びにカメラシステムを提供する。

本開示における位置分析装置は、カメラによる被写体の撮像画像に基づき被写体における分析対象の位置を測定する装置である。位置分析装置は、取得部と、演算処理部と、記憶部とを備える。取得部は、カメラが撮像した撮像画像を取得する。演算処理部は、取得された撮像画像における分析対象の位置に関して、撮像画像に応じた第１の座標系から、被写体に応じた第２の座標系への座標変換を演算する。記憶部は、第２の座標系における位置の補正量を生成する補正モデルを格納する。演算処理部は、補正モデルに基づいて、分析対象の位置が、第１の座標系から第２の座標系に変換された位置を補正する。補正モデルは、第２の座標系における互いに異なる複数の基準位置に対応する複数の重み関数を含む。各重み関数は、変換された位置が、それぞれ対応する基準位置に近いほど大きい重み付けを補正量に与える。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示における位置分析装置及び方法、並びにカメラシステムによると、カメラによる撮像画像から被写体における分析対象の位置を精度良く測定することができる。

本開示の実施形態１に係るカメラシステムを説明するための図 実施形態１に係る位置分析装置の構成を例示するブロック図 位置分析装置の基本動作を説明するためのフローチャート 位置分析装置の基本動作を説明するための図 位置分析装置の補正モデルを説明するための図 補正モデルの機械学習における正解データを説明するための図 位置分析装置のキャリブレーション動作を説明するためのフローチャート 位置分析装置のキャリブレーション動作の変形例を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
以下、本開示の実施形態１について、図面を参照しながら説明する。

１．構成
本実施形態に係る位置分析装置及びカメラシステムの構成を以下説明する。

１－１．カメラシステムについて
図１は、本実施形態に係るカメラシステム１を説明するための図である。本実施形態のカメラシステム１は、例えば図１に示すように、全方位カメラ１０と、位置分析装置２とを備える。本システム１は、例えば工場などの作業場３において、作業者３１が行う加工作業等に関する各種データを、データ分析の担当者などのユーザ１１に提供する用途に適用可能である。

以下、作業場３における鉛直方向をＺ方向という。又、Ｚ方向に直交する水平面上で互いに垂直な二方向をそれぞれＸ方向及びＹ方向という。さらに、＋Ｚ方向を上方といい、－Ｚ方向を下方という場合がある。

図１の例において、全方位カメラ１０は、作業場３を上方から俯瞰するように、作業場３の天井等に配置されている。本例では、作業場３において、加工対象物３２が台座３３の上に配置されている。加工対象物３２は、例えば大型製造物を構成する各種部材であり、例えば大型送風機、自動車、鉄道車両、航空機あるいは船舶などの構成部材である。加工対象物３２は、本システム１における被写体の一例である。

図１の例は、作業者３１が、局部的な表面加工を行うための工具である表面加工工具３４を用いて加工対象物３２に表面加工を施す様子を示している。表面加工工具３４には、例えばマーカ３４ａが端部に設けられる。本システム１の位置分析装置２は、全方位カメラ１０からの撮像画像に位置測定方法を適用して、例えば作業者３１が加工対象物３２において表面加工を施した部分の位置を精度良く測定することができる。以下、本システム１における各部の構成を説明する。

全方位カメラ１０は、本システム１におけるカメラの一例である。全方位カメラ１０は、例えば魚眼レンズなどの光学系、及びＣＣＤ又はＣＭＯＳイメージセンサ等の撮像素子を含む。全方位カメラ１０は、例えば等距離射影方式にしたがって撮像動作を行い、撮像画像を示す画像データを生成する。全方位カメラ１０は、例えば画像データが位置分析装置２に送信されるように、位置分析装置２に接続される。

図１の例において、全方位カメラ１０は、作業場３において撮像する範囲に加工対象物３２が含まれるように配置される。全方位カメラ１０は、例えば光軸をＺ方向に向けて配置される。全方位カメラ１０の半画角は、Ｚ方向に対する角度θにおいて、例えばθ≦９０°である。全方位カメラ１０によると、１台で比較的広範囲の領域を撮像可能である。

位置分析装置２は、例えばＰＣ（パーソナルコンピュータ）などの情報処理装置で構成される。位置分析装置２の構成について、図２を用いて説明する。

１－２．位置分析装置の構成
図２は、位置分析装置２の構成を例示するブロック図である。図２に例示する位置分析装置２は、演算処理部２０と、記憶部２１と、操作部２２と、表示部２３と、機器インタフェース２４と、ネットワークインタフェース２５とを備える。以下、インタフェースを「Ｉ／Ｆ」と略記する。

演算処理部２０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含む。演算処理部２０は、例えば位置分析装置２の全体動作を制御する。演算処理部２０は、記憶部２１に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、演算処理部２０は、機能的構成として、画像認識部４１、座標変換部４２、座標補正部４３、及びモデル学習部４４を備える。

画像認識部４１は、画像データに各種の画像認識技術を適用して、画像データが示す画像において予め設定された処理対象の位置を認識する。座標変換部４２は、画像中で認識された位置に関して、所定の座標系間の座標変換を演算する。座標補正部４３は、後述する補正モデルに基づき、座標変換部４２の演算結果を補正する処理を実行する。モデル学習部４４は、補正モデルの機械学習を実行する。こうした位置分析装置２の各種機能による動作については後述する。

演算処理部２０は、例えば上記のような位置分析装置２の機能を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、インターネット等の通信ネットワークから提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。また、演算処理部２０は、上記各機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。演算処理部２０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＴＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

記憶部２１は、位置分析装置２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部２１は、図２に示すように、格納部２１ａ及び一時記憶部２１ｂを含む。

格納部２１ａは、所定の機能を実現するためのパラメータ、データ及び制御プログラム等を格納する。格納部２１ａは、例えばＨＤＤ又はＳＳＤで構成される。例えば、格納部２１ａは、上記のプログラム、並びに補正モデル情報Ｄ１、正解データＤ２及び地図情報Ｄ３などを格納する。

補正モデル情報Ｄ１は、補正モデルの学習結果を示す重みパラメータ等の各種パラメータを含む。補正モデル情報Ｄ１は、補正モデルの演算式を含んでもよい。正解データＤ２は、補正モデルの機械学習において正解として用いられるデータである。地図情報Ｄ３は、所定の座標系において、例えば作業場３における加工対象物３２及び台座３３といった各種物体の配置を示す。各種情報の詳細については後述する。

一時記憶部２１ｂは、例えばＤＲＡＭ又はＳＲＡＭ等のＲＡＭで構成され、データを一時的に記憶（即ち保持）する。例えば、一時記憶部２１ｂは、全方位カメラ１０から受信した画像データなどを保持する。また、一時記憶部２１ｂは、演算処理部２０の作業エリアとして機能してもよく、演算処理部２０の内部メモリにおける記憶領域で構成されてもよい。

操作部２２は、ユーザが操作を行う操作部材の総称である。操作部２２は、表示部２３と共にタッチパネルを構成してもよい。操作部２２はタッチパネルに限らず、例えば、キーボード、タッチパッド、ボタン及びスイッチ等であってもよい。操作部２２は、ユーザの操作によって入力される諸情報を取得する取得部の一例である。

表示部２３は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される出力部の一例である。表示部２３は、操作部２２を操作するための各種アイコン及び操作部２２から入力された情報など、各種の情報を表示してもよい。

機器Ｉ／Ｆ２４は、位置分析装置２に、全方位カメラ１０等の外部機器を接続するための回路である。機器Ｉ／Ｆ２４は、所定の通信規格にしたがい通信を行う。所定の規格には、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９５、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ等が含まれる。機器Ｉ／Ｆ２４は、全方位カメラ１０からの画像データ等を受信する取得部の一例である。機器Ｉ／Ｆ２４は、位置分析装置２において外部機器に諸情報を送信する出力部を構成してもよい。

ネットワークＩ／Ｆ２５は、無線または有線の通信回線を介して位置分析装置２を通信ネットワークに接続するための回路である。ネットワークＩ／Ｆ２５は所定の通信規格に準拠した通信を行う。所定の通信規格には、ＩＥＥＥ８０２．３，ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ等の通信規格が含まれる。ネットワークＩ／Ｆ２５は、位置分析装置２において通信ネットワークを介して、諸情報を受信する取得部あるいは送信する出力部を構成してもよい。例えば、ネットワークＩ／Ｆ２５は、通信ネットワークを介して全方位カメラ１０に接続してもよい。

以上のような位置分析装置２の構成は一例であり、位置分析装置２の構成はこれに限らない。位置分析装置２は、サーバ装置を含む各種のコンピュータで構成されてもよい。本実施形態の位置分析方法は、分散コンピューティングにおいて実行されてもよい。また、位置分析装置２における取得部は、演算処理部２０等における各種ソフトウェアとの協働によって実現されてもよい。位置分析装置２における取得部は、各種記憶媒体（例えば格納部２１ａ）に格納された諸情報を演算処理部２０の作業エリア（例えば一時記憶部２１ｂ）に読み出すことによって、諸情報の取得を行うものであってもよい。

２．動作
以上のように構成されるカメラシステム１及び位置分析装置２の動作について、以下説明する。

２－１．基本動作
本システム１における位置分析装置２の基本的な動作について、図３，４を用いて説明する。

図３は、位置分析装置２の基本動作を説明するためのフローチャートである。図４は、位置分析装置２の基本動作を説明するための図である。図３のフローチャートに示す各処理は、演算処理部２０が、画像認識部４１、座標変換部４２及び座標補正部４３として機能することにより実行される。

まず、位置分析装置２の演算処理部２０は、例えば機器Ｉ／Ｆ２４を介して、全方位カメラ１０から画像データを取得する（Ｓ１）。例えば、作業場３において作業者３１の作業中に、全方位カメラ１０は、所定の周期で撮像動作を繰り返し、撮像画像を示す画像データを生成して位置分析装置２に送信する。

図４（Ａ）は、ステップＳ１で取得される画像データ５０の一例を示す。画像データ５０は、例えば撮像画像５における画素の配列に応じた二次元の座標系（Ｈ，Ｖ）を有する。以下、全方位カメラ１０による撮像画像５の座標系（Ｈ，Ｖ）をカメラ座標系という。カメラ座標系は、撮像画像５の水平方向における位置を示すＨ座標と、垂直方向における位置を示すＶ座標とを含む。カメラ座標系は、本実施形態における第１の座標系の一例である。

図４（Ａ）では、撮像画像５に映った加工対象物３２を例示している。なお、説明の便宜上、撮像画像５における作業者３１等の図示は省略している。全方位カメラ１０の撮像画像５においては、角度θ＝０°の中心位置ｐ０から角度θが大きくなるにつれて加工対象物３２が縮んで映るように、縮尺が変化する。このような変化は、全方位カメラ１０にレンズ歪み等がなければ、等距離射影方式により中心位置ｐ０から等方的であり、かつ角度θにおいて等間隔となる。

次に、演算処理部２０は、取得した画像データ５０に基づいて画像認識部４１として機能し、カメラ座標系の撮像画像５における加工位置を認識する（Ｓ２）。加工位置は、加工対象物３２において表面加工工具３４による加工作業が行われた位置であり、本実施形態における分析対象の位置の一例である。図４（Ａ）に、撮像画像５における加工位置ｐを例示する。

例えば、演算処理部２０は、撮像画像５において表面加工工具３４に設けられたマーカ３４ａを検出することで、加工位置ｐを認識する画像認識処理を行う（Ｓ２）。ステップＳ２において、演算処理部２０は、例えば図４（Ａ）に示すように、画像データ５０から、カメラ座標系における加工位置ｐの座標（Ｈｐ，Ｖｐ）を抽出する。

次に、演算処理部２０は、座標変換部４２として機能して、撮像画像５における認識結果に基づき、カメラ座標系から地図座標系への座標変換を演算する（Ｓ３）。地図座標系は、地図情報Ｄ３に基づいて作業場３における位置を示すための座標系である。ステップＳ３の処理例を図４（Ｂ）に示す。

図４（Ｂ）は、図４（Ａ）の画像データ５０に基づくステップＳ３の処理結果を示す座標データ５１を例示する。座標データ５１は、地図座標系における位置の座標を示す。地図座標系は、例えば作業場３のＸ方向における位置を示すためのＸ座標、及びＹ方向における位置を示すためのＹ座標を含む。地図座標系は、本実施形態における第２の座標系の一例である。

図４（Ｂ）に例示する座標データ５１は、カメラ座標系における加工位置ｐの座標（Ｈｐ，Ｖｐ）が、地図座標系に座標変換された座標（Ｘｐ，Ｙｐ）を示す。ステップＳ３において、演算処理部２０は、例えば所定の演算式を適用して、カメラ座標系における加工位置ｐの座標（Ｈｐ，Ｖｐ）から、地図座標系における変換結果である変換位置ｘｐの座標（Ｘｐ，Ｙｐ）を算出する。所定の演算式は、例えば等距離射影の逆変換を含む変換式であり、例えば三角関数を用いた非線形変換を含む。

上記のような座標変換によって得られる座標データ５１によると、例えばレンズ歪みの影響によって、角度θが比較的大きい撮像画像５の端部近傍などで地図座標系における正確な位置が得られない事態が想定される。そこで、本システム１においては、上記の変換結果に対する補正を行う。

本実施形態において、演算処理部２０は、座標補正部４３として機能し、補正モデルＦ（ｘ，Ｗ）に基づいて変換位置ｘｐの座標データ５１を補正する演算処理を実行する（Ｓ４）。補正モデルＦ（ｘ，Ｗ）は、例えば、地図座標系において座標データ５１を入力するとベクトル量の補正量Δｘを生成する。ステップＳ３の処理例を図４（Ｃ）に示す。

図４（Ｃ）は、図４（Ｂ）の座標データ５１に基づくステップＳ４の処理結果を示す座標データ５２を例示する。また、図４（Ｃ）では、地図座標系における正確な加工対象物３２の配置３２ａを例示している。

補正後の座標データ５２は、地図座標系における変換位置ｘｐが補正された位置ｘｃの座標（Ｘｃ，Ｙｃ）を示す。補正位置ｘｃは、補正前の変換位置ｘｐと補正量Δｘに基づき、次式（１）のように表される。
ｘｃ＝ｘｐ＋Δｘ …（１）
Δｘ＝－Ｆ（ｘ＝ｘｐ，Ｗ）

ステップＳ４において、演算処理部２０は、学習済みの補正モデルＦ（ｘ，Ｗ）による上式（１）の演算処理を行って、補正後の座標データ５２を生成する。本実施形態の補正モデルＦ（ｘ，Ｗ）は、例えば位置分析装置２のキャリブレーションの基準とする複数の位置から変換位置ｘｐまでの各距離に応じて変化する補正量Δｘの重み付けを獲得するように、機械学習される。

演算処理部２０は、例えば補正後の座標データ５２（Ｓ４）を格納部２１ａに格納して、本フローチャートに示す処理を終了する。

以上の処理によると、全方位カメラ１０による撮像画像５に映った加工位置ｐの座標変換（Ｓ３）において誤差が生じたとしても、補正モデルＦ（ｘ，Ｗ）に基づき、図４（Ｃ）に示すように変換位置ｘｐの誤差が補正された補正位置ｘｃが得られる（Ｓ４）。このように、作業場３の加工対象物３２における加工位置といった分析対象の位置を精度良く測定することができる。

２－２．補正モデルについて
本実施形態の位置分析装置２における補正モデルＦ（ｘ，Ｗ）の詳細を、図５を用いて説明する。

本実施形態の補正モデルＦ（ｘ，Ｗ）は、地図座標系におけるｎ個の基準位置ａ１～ａｎに基づいて、次式（１１）のように表される。

上式（１１）における右辺の分母及び分子は、それぞれｎ個の基準位置ａ１～ａｎを識別する番号ｉ＝１～ｎにわたって総和Σを取る。図５（Ａ），（Ｂ）では、基準位置ａ１～ａｎの個数がｎ＝５個である場合を例示している（以下同様）。

上式（１１）においては、ベクトルを太字で示している（以下同様）。ａｉは、地図座標系におけるｉ番目の基準位置の座標（Ｘａｉ，Ｙａｉ）を位置ベクトルとして示す。Ｘｉは、地図座標系においてｉ番目の基準位置ａｉの補正前に対応する位置すなわち対応位置の座標（Ｘ_Ｘｉ，Ｙ_Ｘｉ）を位置ベクトルとして示す。又、重みパラメータＷは、ｎ個の重み係数ｗ１～ｗｎを含むｎ次元ベクトルとして記述できる。

図５（Ａ）は、補正モデルＦ（ｘ，Ｗ）における基準位置ａｉと対応位置Ｘｉ間の関係を例示する。図５（Ａ）では、地図座標系における正確な加工対象物３２の配置３２ａと、作業場３の撮像画像の座標変換による加工対象物３２の配置３２ｂとを例示している。

１～ｎ番目の基準位置ａ１～ａｎは、それぞれ地図座標系における正確な配置３２ａにしたがって設定され、例えば加工対象物３２における別々の位置に対応付けて設定される。ｉ番目の対応位置Ｘｉは、例えば座標変換部４２による座標変換が全方位カメラ１０による作業場３の撮像画像全体に行われた際の加工対象物３２の配置３２ｂにおいて、ｉ番目の基準位置ａｉに対応する位置にある。

図５（Ａ）の例において、各対応位置Ｘｉは、それぞれ対応する基準位置ａｉから、上述した座標変換部４２による座標変換の誤差の分ずれている。このような誤差は、例えば次式（１２）のように、ｉ番目の基準位置ａｉと対応位置Ｘｉ間の差分を示す差分ベクトルｄｉによって表される。
ｄｉ＝ａｉ－Ｘｉ …（１２）

各差分ベクトルｄｉのような誤差は、例えば全方位カメラ１０におけるレンズ歪み等から生じ得る。本実施形態の補正モデルＦ（ｘ，Ｗ）は、ｘ＝Ｘｉが入力されると出力する補正位置ｘｃの正解として基準位置ａｉを用いる機械学習により、構築される。

補正モデルＦ（ｘ，Ｗ）は、例えば各差分ベクトルｄ１～ｄｎの重み付けを構成する、ｎ個の重み関数ｆ１（ｘ），ｆ２（ｘ），…，ｆｎ（ｘ）を含む。ｉ番目の重み関数ｆｉ（ｘ）は、次式（１３）のように表される。

上式（１３）において、｜ｘ－ａｉ｜は、地図座標系においてｉ番目の基準位置ａｉから位置ｘまでの距離を、ベクトルの絶対値で示す。ｉ番目の重み関数ｆｉ（ｘ）は、それぞれｉ番目の重み係数ｗｉを含む。各重み係数ｗ１～ｗｎは、例えば０以上１以下において設定される。

ｉ番目の重み関数ｆｉ（ｘ）は、各々の重み係数ｗｉに基づいて、位置ｘと各々の基準位置ａｉ間の距離によって変化する二次的な重み付けを与える。各重み関数ｆｉ（ｘ）による重み付けは、位置ｘと各々の基準位置ａｉ間の距離が短いほど大きくなり、当該距離が遠くなるほど「０」に近づく関数形で構成される。

図５（Ｂ）は、図５（Ａ）の例の補正モデルＦ（ｘ，Ｗ）に、補正対象の位置ｘが入力された結果を例示する。図５（Ｂ）の例では、補正前の位置ｘは、５個の基準位置ａ１～ａ５の内の３個の基準位置ａ１～ａ３の比較的近くに位置する。このことから、対応する３個の重み関数ｆ１（ｘ）～ｆ３（ｘ）が、位置ｘに対する補正量Δｘにおいて主な重み付けを与える。一方、残る２個の基準位置ａ４，ａ５は、位置ｘから比較的遠いことから、対応する補正関数ｆ４（ｘ），ｆ５（ｘ）の重み付けは、補正量Δｘにおいて無視できる程度に小さい。

図５（Ｂ）の例では、主な３個の重み関数ｆ１（ｘ）～ｆ３（ｘ）において、２番目の重み関数ｆ２（ｘ）が、最も大きい重み付けを有する。補正量Δｘにおける重み付けの配分は、各々の基準位置ａｉまでの距離に加えて、各々の重み係数ｗｉによっても変動する。本実施形態では、こうした重み係数ｗｉを最適化するように補正モデルＦ（ｘ，Ｗ）の機械学習が行われる。これにより、地図座標系における全域にわたって座標変換の位置ｘの補正を精度良く行う補正モデルＦ（ｘ，Ｗ）を実現することができる。

以上のような補正モデルＦ（ｘ，Ｗ）における重み関数ｆｉ（ｘ）は、例えば、式（１３）の右辺に次式（１４）のような指数関数型の関数形を採用して構成できる。
ｆ（ｄ，ｗ）＝ｅｘｐ（－ｗ・ｄ） …（１４）

上式（１４）において、距離ｄ及び重み係数ｗとしては適宜、各基準位置ａｉまでの距離｜ｘ－ａｉ｜及び対応する重み係数ｗｉが用いられる。この場合の重み係数ｗは、距離ｄが大きくなることによりｆ（ｄ，ｗ）が減少する減少率を示す。よって、各重み関数ｆｉ（ｘ）の重み付けが距離｜ｘ－ａｉ｜の増大に伴って減少する変化は、各々の重み係数ｗｉを大きくするほど急峻にすることができる。

ｆ（ｄ，ｗ）の関数形は、特に上式（１４）に限定されず、ゼロ以上の定義域に対して値域がゼロ以上となる種々の単調減少関数であってもよい。例えば、上式（１４）の代わりに次式（１５）のような関数形が採用できる。
ｆ（ｄ，ｗ）＝ｗ／ｄ …（１５）
また、ｎ個の重み関数ｆ１（ｘ）～ｆｎ（ｘ）は、必ずしもｆ（ｄ，ｗ）が共通の関数形でなくてもよく、基準位置ａｉに応じて異なる関数形が用いられてもよい。

２－３．キャリブレーション動作
上記のような補正モデルＦ（ｘ，Ｗ）の機械学習を行って、本実施形態の位置分析装置２をキャリブレーションする動作について、図６，７を用いて説明する。

図６は、補正モデルＦ（ｘ，Ｗ）の機械学習における正解データＤ２を説明するための図である。図６（Ａ）は、地図座標系の正解データＤ２ａを例示する。図６（Ｂ）は、カメラ座標系の正解データＤ２ｂを例示する。図６（Ｃ）は、カメラ座標系の正解データＤ２ｂから得られる変換データＤ２ｃを例示する。

地図座標系の正解データＤ２ａは、例えば図６（Ａ）に示すに、地図座標系におけるｎ個の基準位置ａ１～ａｎの座標（Ｘａ１，Ｙａ１）～（Ｘａｎ，Ｙａｎ）を含む。地図座標系の正解データＤ２ａは、例えば加工対象物３２の立体形状を示す３次元ＣＡＤデータなどの形状データを用いて作成できる。

例えば、加工対象物３２の形状データにおいて、ｎ個の代表点を基準位置ａ１～ａｎに設定し、全方位カメラ１０の配置などを考慮して地図座標系における各代表点の座標を計算することにより、地図座標系の正解データＤ２ａが得られる。

図６（Ｂ）は、カメラ座標系の正解データＤ２ｂを例示する。カメラ座標系の正解データＤ２ｂは、例えばキャリブレーション用に予め撮像された撮像画像５Ａにおいて、ｎ個の基準位置ａ１～ａｎに対応するカメラ座標系の対応位置Ｐ１～Ｐｎの座標（Ｈａ１，Ｖａ１）～（Ｈａｎ，Ｖａｎ）を含む。キャリブレーション用の撮像画像５Ａは、例えば、全方位カメラ１０及び加工対象物３２等が実際の作業場３において配置された状態において、全方位カメラ１０で撮像される。

カメラ座標系の正解データＤ２ｂは、上記のような撮像画像５Ａにおいて、例えば加工対象物３２における各基準位置ａｉと同じ箇所をカメラ座標系の対応位置Ｐｉとして特定することによって得られる。カメラ座標系の対応位置Ｐｉを特定する手段は、目視であってもよいし、画像認識処理であってもよい。

上記のような正解データＤ２ａ，Ｄ２ｂが準備された状態で行われる動作の一例を以下説明する。図７は、位置分析装置２のキャリブレーション動作を説明するためのフローチャートである。本フローチャートに示す処理は、例えば演算処理部２０がモデル学習部４４として機能することにより、実行される。

図７に示すフローチャートにおいて、演算処理部２０は、例えば格納部２１ａに予め格納された地図座標系の正解データＤ２ａを取得する（Ｓ１１）。同様に、演算処理部２０は、例えば格納部２１ａからカメラ座標系の正解データＤ２ｂを取得する（Ｓ１２）。次に、演算処理部２０は、カメラ座標系の正解データＤ２ｂに、カメラ座標系から地図座標系への座標変換を行う（Ｓ１３）。ステップＳ１３の処理例を図６（Ｃ）に示す。

図６（Ｃ）は、図６（Ｂ）の正解データＤ２ｂに基づくステップＳ１３の処理結果を示す変換データＤ２ｃを例示する。変換データＤ２ｃは、カメラ座標系の各対応位置Ｐｉの座標（ＨＰｉ，ＶＰｉ）がそれぞれ変換された地図座標系の各対応位置Ｘｉの座標（Ｘ_Ｘｉ，Ｙ_Ｘｉ）を含む。ステップＳ１３において、演算処理部２０は、カメラ座標系の正解データＤ２ｂにおけるｎ個の対応位置Ｐ１～Ｐｎに関して、図３のステップＳ３と同様の処理を行うことにより、地図座標系におけるｎ個の対応位置Ｘ１～Ｘｎを算出する。

図７に戻り、演算処理部２０は、地図座標系におけるｎ個の基準位置ａ１～ａｎ及びｎ個の対応位置Ｘ１～Ｘｎに基づいて、次式（２０）にしたがって補正モデルＦ（ｘ，Ｗ）の機械学習を実行する（Ｓ１４）。

上式（２０）によると、地図座標系における各基準位置ａｉと、各々の対応位置Ｘｉに学習中の補正モデルＦ（ｘ＝Ｘｉ，Ｗ）を適用した位置との間の二乗誤差を最小化するように、重みパラメータＷの各重み係数ｗ１～ｗｎが調整される。演算処理部２０は、式（２０）の数値計算を適宜、収束するまで繰り返す。

次に、演算処理部２０は、式（２０）の数値計算の結果を学習結果として記憶部２１に保存する（Ｓ１５）。例えば、数値計算結果の重みパラメータＷを含む補正モデル情報Ｄ１が、格納部２１ａに格納される。その後、本フローチャートに示す処理は終了する。

以上の処理によると、位置分析装置２のキャリブレーションとして、地図座標系の正解データＤ２ａとカメラ座標系の正解データＤ２ｂを用いて補正モデルＦ（ｘ，Ｗ）の機械学習が行われる。本処理により、学習済みの補正モデルＦ（ｘ，Ｗ）の生成する方法が提供される。

２－４．変形例
以上のようなキャリブレーション動作は、例えば作業場３における種々の状況を勘案して複数回、行われてもよい。この変形例について、図８を用いて説明する。

図８は、本変形例における位置分析装置２のキャリブレーション動作を説明するための図である。例えば、作業場３における加工対象物３２の少なくとも一部は、作業の進展によって高さすなわちＺ方向における全方位カメラ１０までの距離が変化することが想定される。そこで、本変形例では、加工対象物３２の高さを変えた設定において上記のようなキャリブレーション動作を繰り返し行う。

図８（Ａ）は、加工対象物３２が初期値の高さＺ１にある場合の地図座標系の正解データＤ２１ａを例示する。この場合、全方位カメラ１０までの距離は比較的、近距離にある。図８（Ｂ）は、中距離の高さＺ２（＜Ｚ１）の場合の地図座標系の正解データＤ２２ａを例示する。図８（Ｃ）は、遠距離の高さＺ３（＜Ｚ２）における地図座標系の正解データＤ２３ａを例示する。

図８（Ａ），（Ｂ），（Ｃ）の例は、例えばそれぞれ作業の初期、中期、及び末期に対応する。例えば図８（Ａ）～（Ｃ）に示すように、加工対象物３２の配置３２ａは様々な高さＺ１，Ｚ２，Ｚ３の地図座標系において相違し得る。そこで、本変形例のキャリブレーション動作において位置分析装置２は、各々の高さＺ１，Ｚ２，Ｚ３において別々の正解データＤ２１ａ，Ｄ２２ａ，Ｄ２３ａを用いて、図７のステップＳ１１～Ｓ１５と同様の処理を実行する。

上記のキャリブレーション動作によると、図８（Ａ）の正解データＤ２１ａに基づく機械学習（Ｓ１４）において第１の補正モデルＦ１（ｘ，Ｗ１）が生成される。第１の補正モデルＦ１（ｘ，Ｗ１）は、高さＺ１の地図座標系における基準位置ａ１^（１）～ａｎ^（１）に基づき機械学習によって獲得される重みパラメータＷ１による複数の重み関数ｆ１（ｘ）～ｆｎ（ｘ）を、上述した補正モデルＦ（ｘ，Ｗ）と同様に有する。

また、図８（Ｂ），（Ｃ）の正解データＤ２２ａ，Ｄ２３ａに基づき、第２及び第３の補正モデルＦ２（ｘ，Ｗ２）、Ｆ３（ｘ，Ｗ３）が上記と同様に生成される。各補正モデルＦ２（ｘ，Ｗ２）、Ｆ３（ｘ，Ｗ３）は、それぞれ高さＺ１の場合の基準位置ａ１^（１）～ａｎ^（１）の代わりに各々の高さＺ２，Ｚ３の場合の基準位置ａ１^（２）～ａｎ^（２）、ａ１^（３）～ａｎ^（３）に基づいている。複数の補正モデルＦ１（ｘ，Ｗ１）～Ｆ３（ｘ，Ｗ３）の重みパラメータＷ１，Ｗ２，Ｗ３等の学習結果は、それぞれ補正モデル情報Ｄ１として記憶部２１に保存される（Ｓ１５）。

本変形例において、基本動作時の位置分析装置２は、加工対象物３２の高さを適宜、検知し、検知結果に応じて複数の補正モデルＦ１（ｘ，Ｗ１）～Ｆ３（ｘ，Ｗ３）から、図３のステップＳ４に適用する補正モデルを切り替える。高さの検知は、専用のマーカを加工対象物３２の高さ変化が比較的大きい点又は基準位置の一部もしくは全部に設けることで行われてもよいし、時間経過による推定であってもよい。

以上の説明は一例であり、本変形例はこれに限定されない。例えば、複数の補正モデルＦ１（ｘ，Ｗ１）～Ｆ３（ｘ，Ｗ３）の個数は３つに限らず、２つであってもよいし４つ以上であってもよい。又、本変形例は、作業の進展に応じて加工対象物３２が湾曲したり、変形したりする場合にも適用可能である。この場合においても、上記のキャリブレーション動作と同様に、別々の正解データＤ２から複数組の基準位置に基づく複数の補正モデルを生成しておくことで、作業の進展に応じて適切な補正モデルを適用することができる。

３．まとめ
以上のように、本実施形態における位置分析装置２は、全方位カメラ１０による被写体の撮像画像５に基づき被写体の一例の加工対象物３２における分析対象の位置を測定する。位置分析装置２は、取得部の一例として各種Ｉ／Ｆ２４，２５と、演算処理部２０と、記憶部２１とを備える。取得部は、全方位カメラ１０が撮像した撮像画像５の画像データ５０を取得する（Ｓ１）。演算処理部２０は、取得された撮像画像５における分析対象の位置の一例の加工位置ｐに関して、撮像画像５に応じた第１の座標系の一例であるカメラ座標系から、被写体に応じた第２の座標系の一例である地図座標系への座標変換を演算する（Ｓ３）。記憶部２１は、地図座標系における位置の補正量Δｘを生成する補正モデルＦ（ｘ，Ｗ）を格納する。演算処理部２０は、補正モデルに基づいて、分析対象の位置ｐが、カメラ座標系から地図座標系に変換された位置ｘｐを補正する（Ｓ４）。補正モデルＦ（ｘ，Ｗ）は、地図座標系における互いに異なる複数の基準位置ａ１～ａｎに対応する複数の重み関数ｆ１（ｘ）～ｆｎ（ｘ）を含む。各重み関数ｆｉ（ｘ）は、変換された位置ｘｐが、それぞれ対応する基準位置ａ１～ａｎに近いほど大きい重み付けを補正量Δｘに与える。

以上の位置分析装置２によると、全方位カメラ１０によるカメラ座標系から地図座標系への座標変換結果に、補正モデルＦ（ｘ，Ｗ）により各基準位置ａ１～ａｎからの距離に応じて重み付けを変化させた補正が適用され、補正位置ｘｃが得られる。こうした補正位置ｘｃにより、全方位カメラ１０による撮像画像５から被写体における分析対象の位置を精度良く測定することができる。

本実施形態において、補正モデルＦ（ｘ，Ｗ）は、基準位置ａｉ毎に、当該基準位置ａｉを基準とする座標変換の誤差を示すベクトルの一例の差分ベクトルｄｉと、当該基準位置ａｉに対応する重み関数ｆｉ（ｘ）との積を加算して、補正量Δｘを生成する（式（１１），（１３）参照）。これにより、基準位置ａｉにおける誤差を相殺するように補正位置ｘｃが得られ、位置測定の精度を良くすることができる。

本実施形態において、補正モデルＦ（ｘ，Ｗ）は、重み関数ｆｉ（ｘ）毎に、各々の基準位置ａｉから変換された位置ｘまでの距離｜ｘ－ａｉ｜に応じた重み付けを調整する重み係数ｗｉを有する（式（１３）参照）。重み係数ｗｉに基づく重み関数ｆｉ（ｘ）の二次的な重み付けにより、補正位置ｘｃが精度良く得られる。

本実施形態において、補正モデルＦ（ｘ，Ｗ）は、各基準位置ａｉにおける誤差を最小化するように重み係数ｗｉを調整する機械学習によって構築される（Ｓ１４，式（２０））。学習済みの補正モデルＦ（ｘ，Ｗ）により、精度良く位置の補正を行える。

本実施形態におけるカメラの一例は、全方位カメラ１０である。第１の座標系の一例であるカメラ座標系は、全方位カメラ１０の射影方式によって規定される。本実施形態の位置分析装置２によると、全方位カメラ１０のレンズ歪み等による座標変換の誤差を補正することができる。

本実施形態において、第２の座標系の一例である地図座標系は、全方位カメラ１０が設置された作業場３などの場所における加工対象物３２等の被写体の配置を示す情報によって規定される。本実施形態の位置分析装置２によると、地図座標系における分析対象の位置を精度良く得ることができる。

本実施形態において、分析対象の位置は、被写体としての加工対象物３２において加工作業を施される加工位置ｐ等の位置である。本実施形態の位置分析装置２によると、加工対象物３２において加工作業を施された位置を分析することができる。

本実施形態において、カメラシステム１は、被写体を撮像して撮像画像５を生成する全方位カメラ１０と、全方位カメラ１０による撮像画像５に基づき被写体における分析対象の位置を測定する位置分析装置２とを備える。本システム１によると、全方位カメラ１０等のカメラによる撮像画像５から被写体における分析対象の位置を精度良く測定することができる。

本実施形態において、記憶部２１は、複数の補正モデルＦ１（ｘ，Ｗ１），Ｆ２（ｘ，Ｗ２），Ｆ３（ｘ，Ｗ３）を格納する。各補正モデルＦ１（ｘ，Ｗ１），Ｆ２（ｘ，Ｗ２），Ｆ３（ｘ，Ｗ３）は、複数組の基準位置ａ１^（１）～ａｎ^（１），ａ１^（２）～ａｎ^（２），ａ１^（３）～ａｎ^（３）における各組の基準位置に対応している。演算処理部２０は、複数の補正モデルＦ１（ｘ，Ｗ１）～Ｆ３（ｘ，Ｗ３）において、分析対象の位置の補正に用いる補正モデルを切り替える。複数の補正モデルＦ１（ｘ，Ｗ１）～Ｆ３（ｘ，Ｗ３）により、被写体の状態に応じて適切な補正を実施できる。

本実施形態における位置測定方法は、全方位カメラ１０による被写体の撮像画像に基づき被写体における分析対象の位置を測定する方法である。本方法は、全方位カメラ１０が撮像した撮像画像を取得するステップ（Ｓ１）と、取得された撮像画像における分析対象の位置に関して、撮像画像に応じた第１の座標系から、被写体に応じた第２の座標系への座標変換を演算するステップ（Ｓ３）と、第２の座標系における位置の補正量Δｘを生成する補正モデルＦ（ｘ，Ｗ）に基づいて、分析対象の位置が、第１の座標系から第２の座標系に変換された位置を補正するステップ（Ｓ４）とを含む。補正モデルＦ（ｘ，Ｗ）は、第２の座標系において互いに異なる複数の基準位置ａ１～ａｎに対応する複数の重み関数ｆ１（ｘ）～ｆｎ（ｘ）における各重み関数ｆｉ（ｘ）において、変換位置ｘｐが、それぞれ対応する基準位置ａｉに近いほど大きい重み付けを補正量Δｘに与える。

本実施形態において、以上のような位置分析方法をコンピュータに実行させるためのプログラムが提供される。本実施形態の位置分析方法を全方位カメラ１０等のカメラによる撮像画像５から被写体における分析対象の位置を精度良く測定することができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。

上記の実施形態１において、図３のステップＳ１では、全方位カメラ１０の撮像画像５の画像データ５０が機器Ｉ／Ｆ２４を介して取得される例を説明したが、ステップＳ１はこれに限らない。例えば、位置分析装置２は、ネットワークＩ／Ｆ２５を介して画像データ５０を取得してもよいし、予め記憶部２１に格納された画像データ５０を読み出してもよい。例えば、全方位カメラ１０により予め撮像された録画の画像データに対して、位置分析装置２による分析が行われてもよい。又、ステップＳ１において、画像データ５０は、１フレーム単位で取得されてもよいし、複数フレーム単位で取得されてもよい。ステップＳ２以降の処理についても、複数フレーム単位で実行可能である。

また、図３のステップＳ２の加工位置ｐの認識においては、表面加工工具３４の高さが考慮されてもよい。例えば、画像認識部４１としての演算処理部２０は、全方位カメラ１０の撮像画像５においてマーカ３４ａの位置と共に表面加工工具３４の輪郭線を検出し、検出した輪郭線において撮像画像５の中心位置ｐ０に最も近い位置を加工位置ｐとして認識してもよい。また、表面加工工具３４におけるマーカ３４ａまでの高さが既知である場合、演算処理部２０は、撮像画像５におけるマーカ３４ａの位置から三角測量により加工位置ｐを算出してもよい。

又、上記の説明では、ステップＳ２の処理において表面加工工具３４の高さを反映する例を説明したが、キャリブレーション時に反映されてもよい。例えば、キャリブレーション用の撮像画像５Ａを撮像する際に、表面加工工具３４のマーカ３４ａの高さと同じ高さのマーカを有する治具を各基準位置に配置しておく。こうした撮像画像５Ａに基づく正解データＤ２ｂを用いて図７と同様のキャリブレーション動作を行うことにより、マーカの高さが予め考慮された補正モデルＦ（ｘ，Ｗ）の重み付けを獲得できる。この場合、基本動作時のステップＳ２では、マーカ３４ａの位置を加工位置ｐとして認識しても、補正位置ｘｃを精度良く得ることができる。

上記の各実施形態では、位置分析装置２における分析対象の位置の一例として表面加工が行われる加工位置を説明した。本実施形態において、分析対象の位置はこれに限らず、例えばユーザ１１が分析対象とする種々の位置に設定可能である。例えば、分析対象の位置は、加工対象物３２に対する表面加工とは別の加工作業が行われた箇所の位置であってもよいし、被写体の一例として作業場３における作業者３１の位置であってもよい。作業場３と作業場３を構成する各種物体は、本実施形態における被写体の一例である。又、分析対象の位置は、１点に限らず、複数点、線または領域であってもよい。

また、上記の各実施形態では、基準位置ａ１～ａｎが加工対象物３２において設定される例を説明したが、基準位置はこれに限定されない。本実施形態において、基準位置は、例えば加工対象物３２の台座３３において設定されてもよい。例えば、台座３３の３次元ＣＡＤデータなどの形状データを用いて地図座標系の正解データＤ２１ａが作成されてもよい。

また、上記の各実施形態では、カメラシステム１におけるカメラの一例として全方位カメラ１０を説明した。本実施形態において、カメラシステム１は、全方位カメラ１０に限らず、種々のカメラを備えてもよい。例えば、本システム１のカメラは、等立体角射影方式、立体射影方式、正射影方式、円筒射影方式及び中心射影方式といった種々の射影方式を採用する各種の撮像装置であってもよい。

また、上記の各実施形態では、カメラシステム１が作業場３に適用される例を説明した。本実施形態において、カメラシステム１及び位置分析装置２が適用される現場は特に作業場３に限らず、例えば店舗の売り場など種々の現場であってもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

本開示は、カメラを用いて種々の被写体における各種の分析対象の位置を測定する用途に適用可能である。

Claims (11)

1. カメラによる被写体の撮像画像に基づき前記被写体における分析対象の位置を測定する位置分析装置であって、
   前記カメラが撮像した前記撮像画像を取得する取得部と、
   取得された撮像画像における前記分析対象の位置に関して、前記撮像画像に応じた第１の座標系から、前記被写体に応じた第２の座標系への座標変換を演算する演算処理部と、
   前記第２の座標系における位置の補正量を生成する補正モデルを格納する記憶部と
   を備え、
   前記演算処理部は、前記補正モデルに基づいて、前記分析対象の位置が、前記第１の座標系から前記第２の座標系に変換された位置を補正し、
   前記補正モデルは、前記第２の座標系における互いに異なる複数の基準位置に対応する複数の重み関数を含み、
   前記各重み関数は、前記変換された位置が、それぞれ対応する基準位置に近いほど大きい重み付けを前記補正量に与える
   位置分析装置。
2. 前記補正モデルは、前記基準位置毎に、当該基準位置を基準とする前記座標変換の誤差を示すベクトルと、当該基準位置に対応する重み関数との積を加算して、前記補正量を生成する
   請求項１に記載の位置分析装置。
3. 前記補正モデルは、前記重み関数毎に、各々の基準位置から前記変換された位置までの距離に応じた重み付けを調整する重み係数を有する
   請求項１又は２に記載の位置分析装置。
4. 前記補正モデルは、各基準位置における誤差を最小化するように前記重み係数を調整する機械学習によって構築される
   請求項３に記載の位置分析装置。
5. 前記記憶部は、複数の補正モデルを格納し、
   各補正モデルは、複数組の基準位置における各組の基準位置に対応しており、
   前記演算処理部は、前記複数の補正モデルにおいて、前記分析対象の位置の補正に用いる補正モデルを切り替える
   請求項１～４のいずれか１項に記載の位置分析装置。
6. 前記カメラは、全方位カメラであり、
   前記第１の座標系は、前記全方位カメラの射影方式により規定される
   請求項１～５のいずれか１項に記載の位置分析装置。
7. 前記第２の座標系は、前記カメラが設置された場所における前記被写体の配置を示す情報によって規定される
   請求項１～６のいずれか１項に記載の位置分析装置。
8. 前記分析対象の位置は、前記被写体としての加工対象物において加工作業を施される位置である
   請求項１～７のいずれか１項に記載の位置分析装置。
9. 前記被写体を撮像して撮像画像を生成するカメラと、
   前記カメラによる前記撮像画像に基づき前記被写体における分析対象の位置を測定する、請求項１～８のいずれか１項に記載の位置分析装置とを備える
   カメラシステム。
10. カメラによる被写体の撮像画像に基づき前記被写体における分析対象の位置を測定する位置分析方法であって、
    前記カメラが撮像した前記撮像画像を取得するステップと、
    取得された撮像画像における分析対象の位置に関して、前記撮像画像に応じた第１の座標系から、前記被写体に応じた第２の座標系への座標変換を演算するステップと、
    前記第２の座標系における位置の補正量を生成する補正モデルに基づいて、前記分析対象の位置が、前記第１の座標系から前記第２の座標系に変換された位置を補正するステップとを含み、
    前記補正モデルは、前記第２の座標系において互いに異なる複数の基準位置に対応する複数の重み関数における各重み関数において、前記変換された位置が、それぞれ対応する基準位置に近いほど大きい重み付けを前記補正量に与える
    位置分析方法。
11. 請求項１０に記載の位置分析方法をコンピュータに実行させるためのプログラム。

Images