JP7448281B2 - 二次元マーカの認識装置、方法、プログラム及びシステム - Google Patents

Description

本発明は、二次元マーカの誤認識率を低減することに貢献する、二次元マーカ認識装置、方法、プログラム及びシステムに関する。

近年、離れた位置にある物品を遠隔から検出する方法の一つとして、物品に付与された二次元マーカを撮像機器にて取得した画像から検出し、二次元マーカの特徴量から物品を個体識別する装置、方法、プログラム、システムなどが提供されている。

ここで、二次元マーカとは、例えば個体識別の対象となる物品である箱、機械、装置、薬、チケット、パレット、またはパレットに積まれたコンテナなどに張られるか、または物品上に印刷されるものである。一般的に使用される二次元マーカの種類としては、一次元バーコードをスタックしたＰＤＦ４１７、ＱＲコード（登録商標）、ＡｒＵｃｏマーカ、またはカメレオンコード（登録商標）などの規格がある。二次元マーカの個体識別は、各規格に規定された、二次元矩形内の色彩模様であらわされる特徴量によって対応づけられることで行う。ここで二次元矩形とは、正方形または長方形であることが多い。二次元マーカの表示上の特徴の一つとしては、二次元矩形の外縁に一定幅の単色（多くの場合は白色）領域幅を有すること、および、領域幅の内側に色彩（多くの場合は大小の白黒矩形）領域（以下特徴量表示領域と称する）を有することである。二次元マーカの特徴量とは、数値、文字列、ＵＲＬ（Uniform Resource Locator）として表されるものであり、これは特徴量表示領域から二次元マーカの各規格にしたがって取得できる。

非特許文献１によれば、二次元マーカの一つであるArUcoマーカについて、物品の特徴量が取得できることに加え、画像から二次元コードの大きさや歪みなどの情報を得ることや、撮像機器と二次元マーカとの間の相対的な距離、姿勢（三次元空間における配向方向）が推定できることなどが示されている。特徴量表示領域に表示されるArUcoマーカ（大小の白黒矩形）は、ユーザ指定の辞書から作成されるものであり、この特徴量表示領域の画像を入力として、辞書から対応する特徴量を取得することができる。

特許文献１によれば、二次元マーカの検出位置・姿勢の精度向上を図るために、撮像機器から取得した画像内の二次元マーカ内に、一定の隠された部分（例えば人間の手により隠されたと判断される部分）がある場合、該二次元マーカを誤認識してしまう可能性があるため、認識対象としないこと、に関する技術が開示されている。

特許文献２によれば、バーコードシンボル（特徴量表示領域）が一定区間連続していることを検出するために、画像から認識領域とこれに隣接する領域を取得し、これらの間の相関を算出して、（バーコードシンボルの連続性を確認することで）バーコード検出の正確性を向上させる技術が開示されている。

特開２００５－２９３１４１号公報 特開２０１４－１９９４８７号公報 特開２０１１－０８４３８４号公報

OpenCV: "Detection of ArUco Markers" インターネット検索結果（２０２０年２月２０日）https://docs.opencv.org/trunk/d5/dae/tutorial_aruco_detection.html

なお、上記先行技術文献の開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

特許文献１、２によれば、二次元マーカが認識できるように、十分に近接していること、あるいは近接させる手段があることが必要とされる。特許文献１によれば、二次元マーカが表示される物体を人間の手で持ち上げて操作する程度に近接させられる方法を用いている。また、特許文献２によれば、店頭などに置かれたバーコードリーダにバーコード印字済カードをスキャンさせる方法が用いられている。

これに対し、離れた位置にある物品を遠隔から検出する場合については、特許文献１および２では必ずしも正確に対応できない。この場合には物品を動かすことも、カメラ装置を近接させることもできないためである。また、非特許文献１には、遠隔からの検出についての十分な記載がなされていない。例えば大きな倉庫内において、大量の（例えば縦方向１００個、横方向１００個、平面方向にまばらに設置された１立方メートルの）箱が設置されており、この箱の表面に二次元マーカが張られている状態において、これを遠距離に設置された（例えば１００メートル先に設置された）カメラ装置の画像を用いて検出する場合について考える。このとき、離れた位置にある二次元マーカでないものが、偶然二次元マーカと認識されてしまう可能性が発生する。例えば、倉庫の壁の格子模様などである背景画面に、偶然二次元マーカと特徴が一致する場合を考える。このように画像内に、特徴量表示領域を想定されるもの、が映りこんでいる場合には、これを認識対象としてしまうことがある。この場合には、その場所（倉庫背景の格子模様位置）に管理対象があるものであると、誤認識してしまうこととなる。あるいは、離れた位置にある二次元マーカが、実際に存在する場合においても、撮像カメラの倍率を上げる操作をするなどして、認識することができるかもしれないものの、画像が不鮮明であることなどから誤った対象と判断されてしまう可能性もある。このような場合において、非特許文献１においては、認識すべき対象をどのように判定するかについての記載はない。

特許文献３においては、遠隔からの検出を課題としているものであるが、ここでは全体画像から二次元マーカ位置候補を特定した上で、人間（作業者）が位置候補に近接し、さらに撮像することで正確な識別を行うシステムおよび方法、となっている。このように、特許文献３は人間（作業者）の作業を必要としているものの、これを仮に、人間の手を介さず、システムとして動作させる場合においては、移動・回転の自由度の高い特殊な撮像カメラが必要となる。あるいは、倉庫内にカメラを移動させるためのガードレールを設ける必要があるかもしれない。このため、特許文献３は、対応のための費用がかかってしまうという問題がある。

本発明は上記問題点を鑑みてなされたものであって、離れた位置にある二次元マーカを遠隔から認識するとの課題に対応する。より具体的には、本発明は、離れた位置にある二次元マーカを遠隔から認識する場合において、誤認識する可能性の削減（誤認識率の低減）に貢献すること、を目的とする。

本発明の第１の視点によれば、カメラ装置から画像を取得する画像取得部と、前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカと認識する二次元マーカ認識部と、を有する二次元マーカ認識装置であって、前記二次元マーカ認識部内に、前記領域画像が前記二次元マーカに対応するものであるかどうかについて、特定の判断部によって判定する、誤認識抑制部を有する、ことを特徴とする、二次元マーカ認識装置、が提供される。

本発明の第２の視点によれば、カメラ装置から画像を取得する画像取得部と、前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカと認識する二次元マーカ認識部と、を有する二次元マーカ認識装置における二次元マーカ認識方法であって、前記二次元マーカ認識部内に、前記領域画像が前記二次元マーカに対応するものであるかどうかについて、特定の判断部によって誤認識と判定する、ことを特徴とする、二次元マーカ認識方法、が提供される。

本発明の第３の視点によれば、カメラ装置から画像を取得する画像取得部と、前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカと認識する二次元マーカ認識部と、を有する二次元マーカ認識装置にインストールされるコンピュータプログラムであって、前記二次元マーカ認識部内に、前記領域画像が前記二次元マーカに対応するものであるかどうかについて、特定の判断部によって誤認識と判定する手段を含む、ことを特徴とする、二次元マーカ認識プログラム、が提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の第４の視点によれば、二次元マーカ認識システムが提供される。この二次元マーカ認識システムは、カメラ装置から画像を取得する画像取得部と、
前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカと認識する二次元マーカ認識部と、を有する二次元マーカ認識装置を有する二次元マーカ認識システムであり、
前記二次元マーカ認識装置の前記二次元マーカ認識部内に、前記領域画像が前記二次元マーカに対応するものであるかどうかについて、特定の判断部によって判定する、誤認識抑制部を有する。

本発明の各視点によれば、離れた位置にある二次元マーカの誤認識を低減することに貢献する、二次元マーカ認識装置、方法、プログラム及びシステムが提供される。

本発明の一実施形態に係る、全体構成を示す図である。 本発明の一実施形態における、誤認識抑制部４１０の構成を示す図である。 本発明の一実施形態における、二次元マーカ認識装置のハードウェア構成を示す図である。 本発明の第１の実施形態例において、誤認識抑制を複数画像判定により実施する処理例を示すフローチャートである。 本発明の第１の実施形態例において、誤認識抑制を最短辺判定部により実施する処理例を示すフローチャートである。 本発明の第１の実施形態例において、誤認識抑制を領域周囲判定部により実施する処理例を示すフローチャートである。 本発明の第１の実施形態例において、誤認識抑制を識別情報判定部により実施する処理例を示すフローチャートである。 本発明の第１の実施形態例において、誤認識抑制を姿勢判定部により実施する処理例を示すフローチャートである。 本発明の第１の実施形態例において、誤認識抑制を位置判定部により実施する処理例を示すフローチャートである。 複数画像判定を行う事例について説明する図である。 最短辺判定を行う事例について説明する図である。 周囲領域判定を行う事例について説明する図である。 姿勢情報判定を行う事例について説明する図である。 姿勢情報判定を行う事例について、具体的に説明する図である。 位置情報判定を行う事例について説明する図である。 領域最短辺の閾値と、誤認識数／検出漏れ数との相関例を示す図である。 本発明の第２の実施形態例における、二次元マーカ認識装置の動作を示すフローチャートである。 二次元マーカ認識装置による、誤認識抑制の実行事例を示す図である。 本発明の第２の実施例における、変形例［２－２］を説明する図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各ブロック図のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

図１に示すように、一実施形態に係る二次元マーカ認識装置１０００は、物品に張られた／印刷された二次元マーカ（群）１００を撮像する画像取得部２００と、前記画像取得部２００が取得した二次元マーカ（群）１００の撮像画像を記憶する記憶部３００と、前記記憶した二次元マーカ撮像画像から前記物品を表す特徴量である、数値、文字列、ＵＲＬなどを認識する、二次元マーカ認識部４００とを含む。二次元マーカ認識部４００には、その部分構成部として、誤認識抑制部４１０と、特徴量抽出部４２０、位置、姿勢推定部４３０とを含む。

画像取得部２００は、例えば倉庫内に設置された段ボール箱（群）である物品の側面や上面に張られた二次元マーカ１００を撮影する一以上の画像取得部２００によって、画像を取得する。当然ながら、二次元マーカ１００が張られる／印刷される物品を、段ボール箱に限定することを意図していない。物品としては、機械、装置、チケット、パレット、またはパレットに積まれたコンテナなどあってもよく、またはこれらの組み合わせであってもよい。

画像取得部２００は、図１を参照すれば一つであるが一つには限定されない。離れた位置に設置された一つ以上のカメラ装置から、それぞれ二次元マーカ１００の画像を取得することができるものとする。

図２に、本発明の技術的特徴の一つを示す、誤認識抑制部４１０の構成を示す。誤認識抑制部４１０は、二次元マーカ１００の誤認識を抑制する（判定する）ための以下の７つの判定部を含む。誤認識抑制部４１０は７つの判定部を単独または任意に組み合わせによって構成することができる。
（１）複数画像を用いた際の二次元マーカ１００の認識率に基づき判定する、複数画像判定部４１１、
（２）撮像された二次元マーカ１００の撮像画像の矩形画像における最短辺の長さに基づき判定する最短辺判定部４１２、
（３）撮像された二次元マーカ１００の撮像画像から認識される単色領域の幅に基づき判定する領域周囲判定部４１３、
（４）事前に指定された特徴量リスト内に、二次元マーカ１００の撮像画像から認識した特徴量が含まれているかどうかに基づき、判定する識別情報判定部４１４、
（５）事前に指定された基準三次元配向姿勢と、二次元マーカ１００の撮像画像から認識される三次元配向姿勢との差、に基づき判定する姿勢判定部４１５、
（６）事前に指定された二次元マーカが存在しうる三次元位置領域内に、二次元マーカ１００が存在しうるかどうか、に基づき判定する位置判定部４１６、
（７）複数画像を用いた二次元マーカの姿勢・位置をクラスタリング統計処理した際に、クラスタ中心位置からの距離、に基づき判定するクラスタリング判定部４１７

［ハードウェア構成］
本発明による二次元マーカ認識装置１０００のハードウェア構成について、図３を参照して説明する。二次元マーカ認識装置１０００には、画像取得部２００に対応する、二次元マーカ（群）１００を撮像する一以上のカメラ装置（１１０１、１１０２、１１０３、以下代表して１１００と記す）と、記憶部３００に対応し二次元マーカ画像を格納する補助記憶装置１２００と、必要に応じて補助記憶装置１２００から引き渡される認識対象とする二次元マーカ１００であると推定される画像領域と二次元マーカ認識部４００を実現するプログラムを格納するメモリ１４００と、二次元マーカ認識部４００を実現するプログラムを実行するＣＰＵ（Central Processing Unit）１３００と、認識結果の出力や、判定部やカメラの設定値を入力する入出力装置１５００を含んで構成される。ここで、一以上のカメラ装置１１００は３つに限定する意図ではないことは明らかであり、一以上の任意の数であってよい。図３によれば、補助記憶装置１２００、ＣＰＵ１３００、メモリ１４００、入出力装置１５００は内部バス１６００によって接続される。カメラ装置１１００は内部バス１６００との間で、外部接続インタフェース１１１０を用いて接続される。ここで、外部接続インタフェース１１１０には、ＵＳＢ（Universal Serial Bus）、有線ネットワーク、無線ネットワークなどを含む。カメラ装置１１００が一台の場合、カメラ装置１１００は内部バス１６００と直接接続されていてもよい。補助記憶装置１２００はＲＯＭ（Read Only Memory）やハードディスクによって実現されていてもよく、メモリ１４００はＲＡＭ（Random Access Memory）を実現するメモリ素子によって実現されていてもよい。

以下の説明において、一以上のカメラ装置１１００は、例えば倉庫内の異なる位置に設置される。図１５において、カメラの設置例を示す。図１５は倉庫の平面図を示す例であるが、これを参照すると、倉庫内壁２０００に３台のカメラ装置（１１０１、１１０２、１１０３）が設置されている。倉庫内には物品（ここでは段ボール箱とする）が格納される位置が決められているものとする（倉庫物品管理部２１００）。段ボール箱は、図１５の設置によれば縦４列、横３列に整列区画を有し、各整列区画には４つずつの段ボール箱設置スペースが設けられている。ここでは、上（重ねられる）方向に段ボール箱は積み上げられず、それぞれの段ボール箱の上面または側面に二次元マーカ１００が張られているものとする。二次元マーカ１００自体のサイズ（長方形幅、高さ）はすべて同じものと規定されているものとする（例えば５センチ×５センチの正方形）。このとき、３台のカメラ装置１１００はそれぞれの設置位置から二次元マーカ１００を撮像することとなる。それぞれのカメラ装置１１００自体の移動、回転の自由度は限定されているものとする（高価な多自由度を有するカメラ装置１１００ではなく、倉庫内の移動レーン設置などは行われていない、簡易な設置形態であるものとする）。遠隔からのカメラ装置１１００に対する設定入力としては、可能な範囲でのカメラ移動、回転、撮像倍率、焦点位置、または撮像明度などがある。ただし、上記説明は本発明を限定する意図ではない。例えば、段ボールを積み上げることも可能である。また、各二次元マーカのサイズを対応する二次元マーカサイズとして、あらかじめ二次元マーカ認識装置内に紐づけて格納しておくことで、各マーカのサイズの統一が不要となるなど、本実施形態を拡張して実現することもできる。

個々の二次元マーカ１００の絶対位置（倉庫内座標系における位置、倉庫内整列区画、区画位置）は、それぞれのカメラ装置１１００が設置されている絶対位置と計算される相対位置から求めることができる。カメラ装置１１００から撮像される方向と、二次元マーカ１００の撮像画像内サイズ（カメラ倍率により可変）から、カメラ装置１１００からの相対位置（三次元距離ベクトル）を求め、カメラ装置１１００が設定されている位置からの相対位置から、絶対位置を求めることができる。このことにより、異なるカメラ装置１１００であったとしても同一の二次元マーカ１００であるものと推定することができる。

さらに、倉庫物品管理部２１００内に、柱などカメラ装置１１００からの視界を妨げる構造物が存在することもある。図１５の例では、倉庫物品管理部２１００内に４つの柱が存在している。このような場合であっても、３つのカメラ装置（１１０１、１１０２、１１０３）を設置することにより、死角となる領域を削減することができる。ここで、倉庫物品管理部２１００のうち、実際の物品が存在しうる領域（柱などの領域を除いた領域）のことを、以下、存在可能領域２２００と定義する。

上記におけるカメラ装置１１００の設置に関する説明は、以下に述べる実施形態例における説明のためのものであり、本発明の適用範囲を限定する意図ではない。カメラ装置１１００は移動、回転の自由度を有するデジタルカメラ、スマートフォン内蔵カメラ、ウェアラブルデバイス内蔵カメラであってもよく、あるいは、遠隔から移動、回転させることができないＷｅｂカメラ、監視カメラ、ドライブレコーダであってもよい。

さらに、二次元マーカ認識装置１０００の一実施形態としては、カメラ装置１１００を有するシングルボードコンピュータであるか、または、スマートフォン端末単体、監視カメラを有線で接続したサーバ装置、Ｗｅｂカメラを無線ネットワークで接続したサーバ装置であってもよい。

本発明の一実施形態においては、二次元マーカ１００はカメラ装置１１００から離れた位置にある。離れた位置であるということは、二次元マーカ１００を１枚の撮像画像によって、必ずしも正確に認識できない状態である、ことである。離れた位置であることから、特徴量表示領域の矩形の解像度が下がること、カメラ装置１１００の位置によって特徴量表示領域の矩形が歪むこと（矩形が長方形ではなくなる）、照明の映りこみがあることや、物品移動に伴い人物や機材も同時に映りこむことがあること、背景として倉庫の壁や空、自然物（樹木や建物、雲）に二次元マーカ１００に類似した模様が映りこむことがあること、などの問題に対処しなければならない。これらの問題により、映りこんだものが二次元マーカ１００と認識されてしまう、という問題が発生する。

多くの二次元マーカ１００規格によれば、特徴量表示領域内には誤り訂正符号が含まれている。例えば二次元マーカ１００のうちの一種類であるＱＲコード（登録商標）においては、特徴量表示領域の一部に汚れがあるか、または破損している場合でも、正しく読み取ることを可能とすることもできる。誤り訂正符号により復元できるレベルは、L（7%）、M（15%）、Q（25％）、H（30%）の4段階から選択できる。本発明においても、これらの誤り訂正符号を適用することはできるが、本来は二次元マーカ１００でないものを認識しようとする場合において、誤り訂正符号を用いたとしても、誤認識されてしまうという問題は、必ずしも解決しない。

例えば、誤り訂正符号が比較的低レベルである、ＡｒＵｃｏマーカを数値として認識する際、認識対象の画像中にコンピュータのキーボードが写りこむと、ある程度の確率で各キーを誤認識してしまうことがある。例えば、４×４のサイズとしてプリデファインされたＡｒＵｃｏマーカとして、［Ｉ］のキーを１９０とし、［Ｅ］のキーを９４４とし、［Ｈ］のキーを２６９と誤認識されることがある。

さらに、二次元マーカ１００が離れた位置にあることによる別の問題点は、二次元マーカ１００を正面から撮像できないことにある。図１４において、特定のＱＲコード（登録商標）を正面から撮像した場合（Ａ）と、二次元マーカ１００が張られた箱が三次元空間内で回転し、二次元マーカ１００の配向姿勢が変化する事例を示している。ＱＲコード（登録商標）の場合、二次元マーカ１００の四隅のうち１つが表示されていないものであり、この特徴から左右方向（ｘ方向）と上下方向（ｙ方向）を規定することができる。ｚ方向は、ＱＲコード（登録商標）正面からの距離方向とすることができる（（Ａ）においては黒丸にて示している）。図１４（Ｂ）（Ｃ）（Ｄ）において示すとおり、箱の回転により二次元マーカ１００のｘ、ｙ、ｚ軸が回転することと、それぞれの回転角が発生するが、認識対象が二次元マーカ１００であることから、撮像画像から回転角を推定することが可能となっている。回転角は、ｘ軸、ｙ軸、ｚ軸に対する回転ベクトルであってもよく、あるいはオイラー角、回転行列、クォータニオンであってもよい。以下においては回転ベクトルを用いた例として説明する。ＡｒＵｃｏマーカ規格をはじめ、多くの種類の二次元マーカ１００は、左右・上下方向が規定されている。

上述した一実施形態によれば、（１）から（７）までの判定部によって、二次元マーカ１００の誤判定を抑止することに貢献する。

[第１の実施形態例]
次に本発明の第１の実施形態例を詳しく説明する。

本実施形態例においては、７つの判定部毎に説明する。すなわち、本実施形態例においては、発明の技術的特徴を明確にするため、個別の判定部により、二次元マーカ１００の誤認識を行うものとする。本実施形態例の変形例として、判定部（１）から（７）までの一つ以上の判定部を含んで構成されていてもよい。あるいは、全部の判定部を含んでいてもよい。以下、本実施形態例における二次元マーカ認識装置１０００の（１）から（６）までの判定部を、図４から図９を用いて、処理事例として説明する。（７）の判定部については、図を用いずに処理内容を説明する。

［（１） 複数画像判定部４１１］
図４は、複数画像判定部４１１の処理事例を示す。ステップＳ－１０１において撮像機器（カメラ装置１１００）の情報（カメラ角度、位置、倍率等）を設定する。この情報は、二次元マーカ１００の位置や姿勢を判定するために必要となる。すなわち、カメラ角度、位置、倍率は二次元マーカ１００と認識される矩形領域の絶対座標系における三次元配向方向と三次元位置を推定するための補正情報となる。特に三次元位置の推定においては、二次元マーカ１００の実空間でのサイズが既知である本実施形態例によれば、カメラ倍率情報は、カメラ装置１１００から二次元マーカ１００までの距離を推定する算定基準数値として用いられる。

次にステップＳ－１０２において最低認識検出率を設定する。この数値は、後述する複数画像のうち認識に成功したかどうかの閾値となる。以下の実施形態例において、最低認識検出率の例として、０．８（８０％）としたものとして説明する。

次にステップＳ－１０３において、カメラ装置１１００の撮像操作を行い、撮像画像を生成取得する。本ステップにおいては、いくつかの手段を用いて複数画像を取得することを含む。このための手段としては、複数台のカメラ装置１１００の撮像画像を取得することや、カメラ装置１１００を一定時間間隔で動作させて複数の撮像画像を取得することや、さらには撮像画像を加工して別の撮像画像を生成することを含む。特に撮像画像を加工して生成することは、撮像画像に対しガウシアンノイズやローパスフィルタを加える等のデジタル加工を行うことや、撮像画像解像度を調整することで、二次元マーカ１００の認識に適した、周辺外縁部の輪郭抽出をおこなうことや、特徴量表示領域の模様表現に適合した二値（特定色値）画像化を行うこともできる。カメラ装置１１００を一定期間間隔で動作させて複数の撮像画像を取得することには、カメラ装置１１００を動画撮像装置とした場合に、任意にサンプリングしたフレームを取得することも含む。

次のステップＳ－１０４は、ステップＳ－１０３で取得した複数の撮像画像について行う繰り返し処理である。本ステップにおいては、まず撮像画像内から二次元マーカ１００と認識される矩形領域を抽出する。ただし、ここで注意すべき点は、撮像画像から明確に（１００％正確に）二次元マーカ１００と認識されるとは限らないことである。二次元マーカ１００と認識するための判断材料として、本ステップでは特徴量表示領域から特徴量を抽出することを試みる。このためには、実際には、配向角度を有して歪んでいる撮像画像内の矩形を長方形（または正方形）に画像変換した上で、特徴量を抽出する。例えば、ＡｒＵｃｏマーカの場合には、ＡｒＵｃｏマーカ辞書あるいは独自の辞書とのパターンの比較を行うことで、一致する特徴量を抽出する。本発明は「離れた位置」からの認識であることから、二次元マーカ１００の特徴量（数値、文字列、ＵＲＬ等）はある尤度（もっともらしさ）をもって認識されることになる。尤度は本ステップ内における固定値であってもよいし、ステップＳ－１０１において事前に設定されるものであってもよい。また、二次元マーカ１００として認識される領域は、一つの撮像画像から複数検出されることもある。倉庫内の段ボール箱群が撮像された場合には、段ボール箱に張られた二次元マーカ１００の数に相当する領域が検出されるかもしれない。あるいは、二次元マーカ１００として誤認識されてしまう背景画像や、映り込み画像が検出されるかもしれない。これらの点を考慮し、図中において本ステップは、「二次元マーカと認識される可能性のある領域検出」と記載している。これ以降、他の判断基準における同じ記載は、ここで述べたことと同じことを意味するものとする。すなわち、「二次元マーカと認識される可能性のある領域検出」とは、事実として二次元マーカ１００であるかもしれないし、そうでない（誤認識された）かもしれない領域において、実際に特徴量を抽出する処理のことである。

次のステップＳ－１０５は、同一であると判定される領域それぞれに対する処理である。同一であることは、それぞれの領域内の二次元マーカ１００の特徴量表示領域から抽出される、特徴量が同一であることである。本ステップにおいて、判定対象となった領域撮像画像の数と、特徴量が同一であった数との比率（以下、認識検出率とする）を求める。ここで、認識検出率が、ステップＳ－１０２で設定した最低認識検出率を下回った場合には、該領域を二次元マーカ１００として認識される領域ではないと判定する（Ｙ判定）。そうでない場合には、ここでは二次元マーカ１００であるものと認識し、次のステップに移る（ステップＳ－１０６以降）。

ここで、図１０を参照して、複数画像判定部４１１の動作事例を示す。図１０（Ａ）および（Ｂ）において、「同一の二次元マーカと認識される領域」の撮像画像が１１枚あるものとしている。このうち、図１０（Ａ）においては、同一の二次元マーカ１００を９枚において検出している。一方、図１０（Ｂ）においては、３枚である。すなわち、図１０（Ａ）の場合の認識検出率は９／１１であり、図１０（Ｂ）の場合は３／１１である。ここで、ステップＳ―１０２において最低認識検出率を８０％と設定している場合、図１０（Ａ）において認識検出率が８０％を超えているため、（１）判定部による、同一の二次元マーカ１００であるもの、との基準を満たす。図１０（Ｂ）は、８０％を下回っているため、（１）判定部の基準を満たさない。

［（２）最短辺判定部４１２］
次に、図５を用いて最短辺判定部４１２による処理例を説明する。ステップＳ－２０１の処理は、図４のステップＳ－１０１によるものと同様であるため、説明を省略する。ステップＳ－２０２においては、「領域最短辺閾値」を設定する。

ステップＳ－２０３において認識対象とする撮像画像を取得する。ここでは、本処理例において独立してカメラ装置１１００から撮像画像を取得してもよいが、処理例（１：複数画像判定部４１１）によって複数生成された撮像画像のうち、一つの撮像画像を選択することであってもよい。

ステップＳ－２０４において、取得した撮像画像から、「二次元マーカとして認識される可能性のある領域抽出」を行う。ここでは、撮像画像から二次元マーカ１００であるかもしれない、領域を抽出する。

ステップＳ－２０５において、二次元マーカ１００であるかもしれない領域（矩形領域）の各辺の長さを求める。４つの辺のうち、典型的には最も短いと判断される辺の長さを求める。図１１を参照すれば、二次元マーカ１００である可能性のある撮像例において、ここでは四辺の長さがそれぞれ求められている（両矢印を有する破線および実線の長さ）。図１１の例において、これらのうち最も短いものは、両矢印を有する実線の長さ、となる。本ステップにおいて、この長さをステップＳ－２０２で設定された領域最短辺閾値と比較し、領域最短辺閾値未満である場合（Ｙ判定）には、（２：最短辺判定部４１２）基準を満たさないものとする。そうでない場合（Ｎ判定）は、（２）基準を満たすものとして、ステップＳ－２０６以降の処理に進む。あるいは、ステップＳ－２０５で判定する長さとして、四辺のうち最小の長さに対応するマーカ寸法長さ、例えば矩形ないし四辺形の領域の対角線を用いることも考えられる。この場合、例えば、２つの対角線の交点からの長さのうち小さい長さと、最短辺閾値とを比較するものとして判定される。

ここで、ステップＳ－２０２において設定される「領域最短辺閾値」は、長さを表す（長さに対応する）ものであればよく、例えば画像内の画像要素（ピクセル）数であってもよいし、画像認識の結果得られた物理空間内の実際の長さ（センチメートル）であってもよい。

ステップＳ－２０３における取得画像が処理例（１）によって複数生成された撮像画像のうち、一つの撮像画像であってよい、としたことから、（２）の判定部は（１）の判定部と組み合わせて用いられていてもよい。図１１に戻れば、同一の二次元マーカ１００であると判定されるものの前処理として、（２）判定部の基準を適用し、「領域最短辺閾値」未満である場合には同一判定の認識対象としない、としてもよい。

［（３）領域周囲判定部４１３］
次に、図６を用いて領域周囲判定部４１３による処理例を説明する。ステップＳ－３０１の処理は、図４のステップＳ－１０１によるものと同様であるため、説明を省略する。ステップＳ－３０２においては、「単色領域幅閾値」を設定する。

ステップＳ－３０３において認識対象とする撮像画像を取得する。ここでは、処理例（２）における図５内のステップＳ－２０３と同様に、本処理例において独立してカメラ装置１１００から撮像画像を取得してもよいが、処理例（１）によって複数生成された撮像画像のうち、一つの撮像画像を選択することであってもよい。

ステップＳ－３０４において、取得した撮像画像から、「二次元マーカとして認識される可能性のある領域抽出」を行う。このステップは処理例（２）における図５内のステップＳ－２０４と同様である。

ステップＳ－３０５において、二次元マーカ１００であるかもしれない撮像画像領域（矩形領域）を、長方形（正方形）に補正する。この処理の後で、二次元マーカ１００であったとすれば存在するはずの、諧調的に単色であると認識される単色を持つ領域（周囲単体色領域）を抽出する。ＱＲコード（登録商標）やＡｒＵｃｏマーカであれば、単色は白色とする。さらに、抽出された周囲単色領域の幅を算出する。図１２を参照すれば、抽出された周囲単色領域の幅が、両矢印を有する実線の長さによって示されている。本ステップにおいて、この長さをステップＳ－３０２で設定された単色領域幅閾値と比較し、単色領域幅閾値未満である場合（Ｙ判定）には、（３）基準を満たさないものとする。そうでない場合（Ｎ判定）は、（３）基準を満たすものとして、ステップＳ－３０６以降の処理に進む。

ここで、ステップＳ－３０２で設定される単色領域幅閾値は、（２）判定におけるステップＳ－２０２で設定される領域最短辺閾値と同様に、画像要素数であってもよいし、物理空間内の実際の長さであってもよい。

ステップＳ－３０３における画像取得が処理例（１）によって複数生成された撮像画像のうち、一つの撮像画像であってよい、としたことから、（３）の判定部は（１）の判定部と組み合わせて用いられてもよい。この点は（２）判定部と同様であり、（１）判定部の前処理とすることができる。

［（４）識別情報判定部４１４］
次に、図７を用いて識別情報判定部４１４による処理例を説明する。ステップＳ－４０１の処理は、図４のステップＳ－１０１（および図５のステップＳ－２０１）によるものと同様であるため、説明を省略する。ステップＳ－４０２においては、認識候補となる特徴量のリストを設定する。例えば、認識候補を「［１］食品Ａ、［２］食品Ｂ、［３］食品Ｃ」の３要素を有するリストとすることに相当する。

ステップＳ－４０３において認識対象とする撮像画像を取得する。ここでは、処理例（２）の図５内のステップＳ－２０３と同様に、本処理例において独立してカメラ装置１１００から撮像画像を取得してもよいが、処理例（１）によって複数生成された撮像画像のうち、一つの撮像画像を選択することであってもよい。

ステップＳ－４０４において、取得した撮像画像から、「二次元マーカとして認識される可能性のある領域抽出」を行う。このステップは処理例（２）の図５内のステップＳ－２０４と同様である。

ステップＳ－４０５において、二次元マーカ１００であるかもしれない撮像画像領域から特徴量を抽出する。これは、二次元マーカ１００の矩形補正、色調補正、画像単色化補正などを行った上で、特徴量表示領域から特徴量を抽出することに相当する。その上で、抽出された特徴量がステップＳ－４０２において設定された特徴量リストに含まれているかどうかを判定する。例えば、抽出された特徴量が「食品Ａ」である場合には、特徴量リストに含まれているものと判定され（Ｙ判定）、（４）判定部の基準を満たすものとし、ステップＳ－４０６以降の処理に進む。あるいは特徴量が「文房具Ａ」である場合には、特徴量リストに含まれていないものと判定され（Ｎ判定）、（４）判定部の基準を満たさないものとする。

ステップＳ－４０３における画像取得が（１）判定部によって複数生成された撮像画像のうち、一つの撮像画像であってよい、としたことから、（４）判定部は（１）判定部と組み合わせて用いられていてもよい。この点は（２）判定部と同様であり、（１）判定部の前処理とすることができる。

［（５）姿勢判定部４１５］
次に、図８を用いて姿勢判定部４１５による処理を説明する。あらかじめ述べると、（６）（７）を含めた３つの判定部の基準は、（２）（３）（４）判定部で説明した（１）判定部による前処理とは異なり、（２）（３）（４）判定部の後処理として位置づけられる。

ステップＳ－５０１の処理は、図４のステップＳ－１０１によるものと同様であるため、説明を省略する。ステップＳ－５０２において、二次元マーカ１００の姿勢許容範囲を設定する。ここで、計算事例として姿勢許容範囲を０．３ラジアンと設定したものとする。

ステップＳ－５０３は、（１）（２）（３）（４）判定部による「二次元マーカと認識されうる領域で特徴量抽出」するステップ（図４：Ｓ－１０４、図５：Ｓ－２０４、図６：Ｓ－３０４、図７：Ｓ－４０４）と同様である。ステップＳ－５０４は、（１）（２）（３）（４）判定部における「二次元マーカの位置、姿勢推定」処理に相当する（図４：Ｓ－１０６、図５：Ｓ－２０７、図６：Ｓ－３０７、図７：Ｓ－４０６）。

ステップＳ－５０４においては、二次元マーカ１００と推定される二次元マーカ画像について、それが二次元マーカ１００であるとした場合の、カメラ装置１１００からみた相対的な三次元配向方向（姿勢）を算出する。ここで、以下の説明においては、三次元配向方向を三次元ベクトルとして実現する例を用いる。他に三次元配向方向を示す数値としては、三次元方向行列、クォータニオンなどを用いることも考えられる。

カメラ装置１１００からみた相対的な三次元配向角度について、図１４を用いて詳しく説明する。図１４（Ａ）は二次元マーカ１００（この場合はＱＲコード（登録商標）の一例）を正面から撮像した画像である。ここでは、４つの角のうち、１つの角（右下）以外において正方形図形がみられる。これはＱＲコード（登録商標）の規定によるものであり、右下を目印として、図１４（Ａ）右側に示した二次元マーカ１００の座標系が設定されることが想定されている。すなわち、二次元マーカ１００の中心に原点を有し、右側にｘ軸、上側にｙ軸、手前に向かう方向（図中では黒丸で表示）にｚ軸が設定される。図１４（Ａ）の場合、方向ベクトルはＡ＝（０．０、０．０、１．０）であると計算できる（正面方向を向いている）。図１４（Ｂ）（Ｃ）（Ｄ）は、同じ二次元マーカ１００が三次元空間で回転する事例を示している。ここで二次元マーカ１００の矩形歪み度合いから、それぞれのｘ、ｙ、ｚ軸が計算できる。例えば、図１４（Ｂ）（Ｃ）（Ｄ）はそれぞれ方向ベクトルとして、
Ｂ＝（０．０、０．１、０．９）
Ｃ＝（－０．２、-０．１、０．７）
Ｄ＝（０．３、０．３、０．４）
と計算されたものとする。ただし、方向ベクトルは長さ（ベクトル要素二乗和）が１．０とすることもできるが、本説明では簡単のため要素絶対値和を１．０としている。このときのＡとＢの間の三次元配向角度θbは、次の式
Ａ・Ｂ＝｜Ａ｜｜Ｂ｜ｃｏｓ（θb）
を利用してなす角となる。左辺はＡベクトルとＢベクトルの内積であり、右辺の｜Ａ｜などは、ベクトルＡの長さである。この関係からθbは、０．１１ラジアンと計算される。同様に、ベクトルＡとＣの間の三次元配向角度θｃは０．３１ラジアン、ベクトルＡとＤの間の三次元配向角度θdは０．８１ラジアンと計算される。

ステップＳ－５０５において、指定された二次元マーカ１００の姿勢が許容範囲以内であるかどうかを判定する。上記計算事例においては、ステップＳ－５０２において指定された姿勢許容範囲（０．３ラジアン）と比較して、（Ｂ）は姿勢範囲以内であるが、（Ｃ）（Ｄ）は姿勢範囲より大きくなっている。この場合、（Ｂ）は姿勢範囲内であるとして二次元マーカ１００として認定し（Ｙ判定）、（Ｃ）（Ｄ）は姿勢範囲外であるとしてステップＳ－５０６に進む。ステップＳ－５０６においては、姿勢範囲外であるものは、二次元マーカ１００であるとの認定を取り消す（二次元マーカ１００と前処理において一旦認定されたものであっても、認定していないものとして取り消す）。

「取り消す」の意味を、別の図を用いて説明する。図１３はＡｒＵｃｏマーカの事例である。図中の二次元マーカ存在可能領域２２００は、縦４列・横５列から構成されている。図１３を参照すると、このうち、（１）（２）（３）（４）の基準により、（横、縦）位置において（１，１）（１，３）（２，１）（２，４）（３，２）（３，３）（５，１）が同一の二次元マーカ１００であると認定されているものとする。このうち、（２，４）要素以外のＡｒＵｃｏマーカは上向きであり、（２，４）要素は右向きとなっている。このとき、許容姿勢範囲が「上向きのみ」となっている場合には、（２，４）の認定が取り消されることとなる。なお、図１３においては同一のＡｒＵｃｏマーカとして記載しているが、異なるＡｒＵｃｏマーカであったとしても、その方向の定義は同様になされている。したがって、同様に「上向きのみ」などの設定は有効に作用する。

上に記載のとおり、（５：姿勢判定部４１５）による判定は、（２）（３）（４）判定部の判定結果の再認定にあたる。この場合、姿勢許容範囲以内であれば（２）（３）（４）判定部の判定結果として二次元マーカ１００と推定されたものは、その推定が維持される。

［（６）位置判定部４１６］
次に、図９を用いて位置判定部４１６による処理を説明する。本判定部は、（５：姿勢判定部４１５）と同様に、（２）（３）（４）判定部の後処理として位置づけられる。

ステップＳ－６０１の処理は、図４のステップＳ－１０１によるものと同様であるため、省略する。ステップＳ－６０２において、二次元マーカ１００が存在しうる位置領域を設定する。

存在しうる位置領域とは、例えば、すでに説明した図１５で例示した存在可能領域２２００に相当する。二次元マーカ１００として認識されたもので、存在可能領域２２００の外にあるものは、その推定を取り消す。例えば、図１５では、二次元マーカ２３０１、２３０２、２３０３は存在領域外であることから、推定が取り消されることとなる。

ステップＳ－６０２で設定される位置領域は、上述したように、倉庫を含む、任意の空間において業務上、物理制約上存在しうる領域（マップ）となる。図１５の例に戻れば、二次元マーカ２３０１、２３０２は業務上あり得ない位置（倉庫物品管理部２１００の外）であり、二次元マーカ２３０３は物理制約上ありえない（倉庫内の柱内に存在すると推定される）ものである。

ステップＳ－６０３は、（１）（２）（３）（４）判定部による「二次元マーカと認識されうる領域で特徴量抽出」するステップ（図４：Ｓ－１０４、図５：Ｓ－２０４、図６：Ｓ－３０４、図７：Ｓ－４０４）と同様である。ステップＳ－６０４は、（１）（２）（３）（４）における「二次元マーカの位置、姿勢推定」処理に相当する（図４：Ｓ－１０６、図５：Ｓ－２０７、図６：Ｓ－３０７、図７：Ｓ－４０６）。

ステップＳ－６０４においては、二次元マーカ１００と推定される二次元マーカ画像について、それが二次元マーカ１００であるとした場合の、カメラ装置１１００からみた相対的な三次元配向角度と三次元距離ベクトルを算出する。

一台のカメラ装置（例えば１１０３）だけであっても、各マーカの相対的な三次元距離ベクトルを求めることができる。これは、二次元マーカ１００である矩形を囲む４角を認識し、４角の対角線の交点を中心点と認識した上で、カメラ装置１１０３の倍率による補正を行った上で、そのサイズ（４角点間の物理的距離）が既知である二次元マーカ１００の４角点の、それぞれの撮像位置から計算することができる。三次元配向角度（および三次元距離ベクトル）を推定する手法については、数学的にPerspective-n-Point手法と呼ばれており、非特許文献１に関連した下記文書に、その原理とアプリケーションインタフェースが開示されている。下記文書は引用をもって本発明に組み込み記載される。
https://docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html （２０２０年２月２０日インターネット検索結果）

図１５に例示したように、複数のカメラ装置（１１０１、１１０２、１１０３）を使うことにより、同じ二次元マーカ１００の４角の位置の推定精度を上げることや、カメラ死角を削減することで、より正確な絶対座標における三次元位置を推定することができる。

図９のステップＳ－６０５においては、上述したように、推定された二次元マーカ１００の位置が存在しうる位置領域内であるかどうかを判定する。位置領域内である場合（Ｙ判定）には、推定結果は維持される。領域内でない場合（Ｎ判定）には、推定結果は取り消される（ステップＳ－６０６）。

上に記載のとおり、（６）判定部の基準による判定が、（２）（３）（４）判定部の結果の再認定にあたることは、（５）判定部と同様である。

［（７）クラスタリング判定部４１７］
クラスタリング判定部４１７の動作については、図を用いずに説明する。

クラスタリング判定部４１７における判定は、（５）姿勢判定部４１５（６）位置判定部４１６における推定結果をさらに統計処理して行う。クラスタリングとされる統計手法は、一般に要素分布が与えられたときに、その全体傾向からはずれるものを、異常値として対象から外す手法である。すなわち、与えられる閾値は、例えばクラスタリング中心位置からの距離となる。

（５）姿勢判定部４１５に適用する場合には、例えば、二次元マーカ１００として推定された三次元配向方向（方向ベクトル）の分布を統計母集団とする。図１４の（Ｂ）（Ｃ）（Ｄ）に対応する例として述べたＢ，Ｃ，Ｄベクトルが統計母集団の要素となる。仮にこれが１０００要素あるものとする。このとき、方向ベクトルの平均要素が（０、０．１、０．９）であり、標準偏差ベクトルが（０．１、０．１、０．１）となったとする。このとき、例えば方向ベクトル要素（０．３、０．３、０．４）は存在確率０．０１％以下であることが計算により求められる。このとき、この要素を推定対象外とするものである。

（６）位置判定部４１６に適用する場合は、例えば二次元マーカ１００の中心の高さ分布を用いる。母集団の平均の高さ位置が１００ｃｍであり、標準偏差が２０ｃｍであるときに、高さ位置が３００ｃｍである位置に存在する二次元マーカ１００は、存在確率が低いものとして、推定対象外とすることができる。

姿勢、位置について上述した統計手法は平均と分散を用いたが、クラスタリング分析はこの方式に限られることを意図するものではない。さらに、要素としても方向ベクトルと存在位置とすることにも限られない。要素として、二次元マーカ１００の歪み度、色、明度、かすみ度合い、二次元符号復元度合いなどを母集団に加えることもできる。より一般的には、数学的にK-means法とされるクラスタリングを用いることもできる。K-means法については、下記文書に開示されている。下記文書は引用をもって本開示に組込み記載される。
MacQueen, J. B. (1967). “Some Methods for classification and Analysis of Multivariate Observations”.1. Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability. University of California Press. pp. 281-297

判断部（７）については、（５）（６）判定部と同様に、（２）（３）（４）判定部での推定の後処理と位置づけることができる。あるいは（５）（６）判定部のさらなる後処理と位置付けることもできる。

[第２の実施形態例]
次に本発明の第２の実施形態例を、図１７を用いて説明する。本実施形態例は、第１の実施形態例では、（１）から（６）までの判断基準によって個別に記載したものを、全体として運用することを示すものである。ここで、一実施形態として示した判断基準（１）から（６）までを、図中では対応するローマ数字（ＩからＶＩ）として使用して、全体的なフローチャート内に示している。

ステップＳ－１００１において、撮像機器の情報を設定する。すなわち、カメラ装置１１００毎のカメラ角度、位置、倍率等を設定し、これを記憶する。

ステップＳ－１００２において、誤認識抑制判定のための設定値を設定する。設定値は、以下のとおりである。すなわち、（１）複数画像判定部４１１のための最低認識検出率、（２）最短辺判定部４１２のための、領域最短辺閾値、（３）領域周囲判定部４１３のための、単色領域幅閾値、（４）識別情報判定部４１４のための特徴量リスト、（５）姿勢判定部４１５のための姿勢許容範囲、（６）位置判定部４１６のための存在可能領域マップ、である。

ステップＳ－１００３において、カメラ装置１１００を用いて、遠隔からの撮像画像を取得する。ここでは、複数のカメラ装置１１００を用いて撮像すること、カメラ装置１１００の動画から任意のフレームを取得することを含む。

ステップＳ－１００４において、二次元マーカ１００であると推定される対象画像領域を抽出する。対象画像領域の絶対座標軸における推定位置に基づき、同一の二次元マーカ１００であると推定される領域を、それぞれの撮像画像の部分画像として特定し、記憶部３００に記憶する。

ステップＳ－１００５からステップＳ―１０１３（またはステップＳ－１０１４）はステップＳ－１００４で抽出された対象領域毎に繰り返し処理される。

ステップＳ－１００５は、対象領域画像に対して、領域画像を加工して、特徴量表示領域を検出し、ここから特徴量を抽出する一つの撮像画像に画像加工（ガウシアンノイズやローパスフィルタ）をかけて輪郭エッジ抽出することや、単色化（白黒二値化）、解像度変更すること、なども含まれる。それぞれの加工画像を、ステップＳ－１００４で記憶した部分画像と紐づけて、詳細画像情報として記憶部３００に記憶する。

ステップＳ－１００６においては、誤認識判定の前処理を行う。すなわち、（２）最短辺判定部４１２、（３）領域周囲判定部４１３、（４）識別情報判定部４１４、を行う。これらの判定のための閾（設定）値はステップＳ－１００２で設定されたものから選択し、判定処理を行うものとする。判定の結果、一つでも誤認識と検出される場合（ＹＥＳ分岐）、詳細画像情報は誤認識としてカウントされる。一つも誤認識とされない場合（ＮＯ分岐）、詳細画像情報は正しく認識されたものとしてカウントされる。

ステップＳ－１００７は、二次元マーカ１００の詳細画像情報から、位置と姿勢を推定するステップである。ここでの推定は、第１の実施形態例における（５）（６）判定部の基準において記載した通りである。すなわち、三次元位置はPerspective-n-Point法をつかってもよい。姿勢は三次元配向方向として、方向ベクトルと正面ベクトルの間の内積などから求めてもよい。

ステップＳ－１００８において、ステップＳ－１００７で得られた位置および姿勢が、ステップＳ－１００２で設定された許容姿勢および二次元マーカ１００が存在可能領域２２００内にあるかどうかを検出判定する。どちらかにおいて誤認識と検出される場合（ＹＥＳ分岐）、詳細画像情報は誤認識としてカウントされる。どちらも誤認識とされない場合（ＮＯ分岐）、詳細画像情報は正しく二次元マーカ１００として認識されたものとしてカウントされる。すなわち、（５）（６）判定部の基準は、（２）（３）（４）判定部の基準による二次元マーカ１００推定処理の後処理となっている。

ステップＳ－１００９においては、誤認識されていないとされる二次元マーカ１００について、特徴量を抽出する。これにより、詳細画像情報と二次元マーカ１００の特徴量との関係リスト（同一の二次元マーカ１００に対して複数の特徴量が対応して検出されることもありうる）、が対応付けられ、記憶部３００に記憶する。

ステップＳ－１０１０は、詳細画像情報が誤認識された場合に呼び出されるステップである。詳細画像情報が誤認識されたことを記憶部３００に記憶する。

ステップＳ－１００９とステップＳ－１０１０の後、未処理の詳細画像情報があるかどうかを判定し、ない場合にはステップＳ－１０１１に進む。

ステップＳ－１０１１において、記憶部３００に記憶された、同一対象領域内の詳細画像情報のカウントと、詳細画像情報に対する判定結果が、二次元マーカ１００と認識されたカウントとを比較する。ここで、二次元マーカ１００が異なる特徴量として認識されたものが含まれる場合には、最も数の多い特徴量を有する二次元マーカ１００のカウントを、二次元マーカ１００と認識されたカウントとする。双方のカウントの比率を計算し、これを同一特徴量である割合（検出率）として、記憶部３００に記憶する。

ステップＳ－１０１２において、検出率がステップＳ－１００２で設定された最低検出率未満であるかどうかを判定する。本ステップは判定部（１）に相当する。最低検出率未満である場合には、対象画像領域において二次元マーカ１００の特徴量は検出できなかったもの（二次元マーカ１００の特徴量を認定しない）と判定する（ＹＥＳ分岐）。最低検出率以上である場合には、ステップＳ－１０１３に進み、ここで対象画像領域において二次元マーカ１００の特徴量を認定と判定する。このようにして、複数の画像（複数台のカメラ装置１１００、動画像フレーム、位置画像からの加工画像）全体内の二次元マーカ認識検出率が、閾値を超えた場合にのみ、二次元マーカ１００として認識する。

本実施形態例を通してどのように誤認識が抑制されるかを、図１８を用いて模式的な事例によって説明する。図１８内（Ａ）（Ｂ）（Ｃ）には横・縦に５×４の領域が存在可領域とされているものとする。図１８（Ａ）においては、存在可能領域２２００外のもの、姿勢がことなるものを含め、二次元マーカ１００として認識されている。図１８（Ｂ）において、（５）姿勢判定部４１５および（６）位置判定部４１６の、それぞれの基準によって二次元マーカ１００が評価される。ここでは、（２，４）の要素が姿勢範囲外であるとして誤認識とされ、位置が存在可能領域外であるとして、右上の要素が位置範囲外として誤認識とされている。これらの結果、図１８（Ｃ）に示されるように、全体で６つの要素が二次元マーカ１００であるとして認識されている。

本実施形態例によれば、カメラ装置１１００の撮像可能範囲内において全体画像を取得し、その中の二次元マーカ１００であるかもしれない対象画像領域を特定することができる。さらに、対象画像領域に画像加工を加えて認識対象の母数を増やすことができる。この上で、（２）（３）（４）判定部を前処理として実行して、二次元マーカ１００である可能性のある対象画像領域をカウントしていく。この後さらに、位置・姿勢から二次元マーカ１００であるかどうかについて後処理として実行し、同様に二次元マーカ１００である可能性のある対象領域画像をカウントしていく。（１）判定部において、最低検出率と、二次元マーカ１００であるとカウントされた要素比率とを比較し、最低検出率以上であるものに限り、対象領域を二次元マーカ１００として認識する。

［変形例２－１］
本実施形態例により、（１）から（６）までの判定部の基準を適用した場合について説明した。本実施形態例の変形例２－１として、さらに（７）判定部の基準を適用する場合について説明する。

（７）判定部は、認識された詳細画像情報を認識するにあたり基礎値を統計母集団とし、認識されたもののクラスタリング中心距離から、確率的に低いものについて、認識を取り消すものである。この処理は、本実施形態変形例においてはステップＳ－１００９で行ってもよい（判定部（２）（３）（４）の後処理となる）。あるいは、ステップＳ－１０１１で行ってもよい（判定部（１）から（６）に渡る全体の後処理となる）。

［変形例２－２］
これまでの実施形態例の説明において、ステップＳ－１００２で設定する値はユーザ選択によるものとしている。本変形例では、この設定値についての傾向について述べ、その設定方針について記載する。

図１６は、ステップＳ－１００２で設定する値のうち、（２：最短辺判定部４１２）で用いる領域最短辺閾値と、誤認識検出率との関係を示したものである。図１６で明らかなように、最短辺閾値を上げることで、誤認識検出率を軽減できている。ここで誤認識とは、「間違ったものを正しく認識しないこと」を意味しているが、その反対として「正しいものを間違ったものと認識してしまうこと」について考える。この反対は、検出漏れ率という数値で表すことができる。図１６には、領域最短辺閾値と検出漏れ率との関係をも示している。図１６から明らかなように、最短辺閾値の増大に対応して、検出漏れ率が上がるという問題があることがわかる。この関係（相関）は、判定部（２）判定部の領域最短辺閾値に限らず、（１）判定部の最低検出率、（３）判定部の単色領域幅閾値、（５）判定部の姿勢許容範囲についても同様の相関関係がみられる。

そこで、本変形例においては、機械学習のうち強化学習を適用させる技術について述べる。図１９は、強化学習の実現例を説明する図である。学習中エージェント３０００としては、第２の実施形態例（図１７）におけるステップＳ－１００１およびＳ－１００２で与えられる設定値を変更可能であるエージェントとする。学習中エージェント３０００は、二次元マーカ認識装置の学習環境４０００において、Ｓ－１００１およびＳ－１００２における入力値を変化させることができ、二次元マーカ認識装置の学習環境４０００においては、各判定部の基準によって誤認識とする二次元マーカ数と、各学習場面（シーン）において正解である二次元マーカ数から誤認識数を減じた、検出漏れ数を算出することができるものとする。ここで、学習中エージェント３０００には、報酬値として誤認識率と検出漏れ数との間の差、または、比率を与えるものとする。学習期間中（例えば１カ月間）において、学習中エージェント３０００は、与えられる報酬を上昇させるように、学習中エージェント３０００は設定値を変化させる。変化させるための期間は例えば１時間毎、などとすることができる。当然ながら、学習期間１カ月と変化期間１時間は、これらの値に限定することを意図していない。強化学習において、前記報酬数値が高いほど、設定が有効に機能しているもの、とする。設定値の変化は一定幅内においてランダムであってもよいし、報酬値に対する微分値が傾向として求められれば、報酬値を増やす方向に変化させてもよい。さらには、一つの倉庫内場面（シーン）だけでなく、いくつもの倉庫内場面において学習を行うことが有用である（例えば朝と昼、荷物が多少状況、荷物密度などの、ありうるパターン）。

このようにして強化学習済の学習中エージェント３０００を、学習期間終了後には、学習済エージェント３００１として、倉庫内で二次元マーカ認識装置の実運用環境４００１に適用させるものとする。学習済エージェント３００１は、環境条件（パラメタ：環境内の明るさ、倉庫内の段ボール数、密集度合い等）に応じ、誤認識率および検出漏れ数が適切に適合されたものとして、動作する。

本実施形態変形例を用いることで、適用するアプリケーションで求められる正確度、迅速度に応じたシステムチューニングを学習済エージェント３００１が行うことができる。特に、運用されている二次元マーカ認識装置１０００においては、背景技術で述べたようにカメラ装置１１００と二次元マーカ１００を近接させることが前提とされており、このときに処理できる処理効率（数／時間）には人間作業の遅れが発生するかもしれない。遠隔から処理する場合において、本実施形態変形例によれば、求められる正確度、迅速度に応じてより効率的に認識を行うことも可能となる。

上述した実施形態例から、本発明の産業上の利用分野は明らかであるが、以下にいくつかを例示する（以下に示すものに限られないことは当然である）。１つめの分野は、物品管理の作業の効率化である。二次元マーカ１００を用いた物品の入荷・入庫・ピッキング等の保管場所および在庫の管理を行うことができる。また二次元マーカ１００を用いて、物品の在庫棚卸を行うことができる。２つめの分野は、医療分野での情報の迅速かつ正確な取り扱いである。薬に付与された二次元マーカ１００から即座に該当する薬物情報にアクセスすることができる。また投薬前に二次元マーカ１００を読み取ることで医療過誤を防止することができる。さらに二次元マーカ１００から処方箋情報への正確かつ迅速な読取を行うことができる。３つめの分野は、レジャー・アミューズメント・ミュージアムにおける人・情報の取扱である。二次元マーカ１００を用いた滞りのない入退場管理を行うことができる。また二次元マーカ１００を用いた一時的な迷子タグを生成して混乱をさけて利用することができる。あるいは二次元マーカ１００を展示物周辺に貼り付けて、展示物の詳細情報の表示を行うことができる。４つめの分野は、偽造困難でかつ迅速で誤認識の少ないキャッシュレス決済への適用である。他の考えられる分野としては、二次元マーカ１００を用いたサイトＵＲＬへのリンクによりブラウザ表示や、二次元マーカ１００を鍵として用いる、レンタルサービスも考えられる。

［モード］
上記の実施形態例の一部または全部は、以下のようにも記載され得るが、以下には限られない。
＜モード１＞
上述の第１の視点に係る二次元マーカ認識装置のとおりである。
＜モード２＞
好ましくはモード１に記載の二次元マーカ認識装置であって、ここで前記誤認識抑制部における、特定の前記判断部とは：
前記二次元マーカを写した複数の前記領域画像のうち、同一の前記二次元マーカであると認識される前記領域画像の割合が、第一の閾値を超えるかどうかを判断基準とする、複数画像判定部、
前記二次元マーカを写した前記領域画像から、前記二次元マーカの矩形画像から認識される四辺のうち最小の長さ、又はこれに対応するマーカ寸法の長さが、第二の閾値より小さいかどうか判断基準とする、最短辺判定部、
前記二次元マーカを写した前記領域画像において、前記二次元マーカの周囲単色領域として認識される幅が、第三の閾値より大きいかどうかを判断基準とする、領域周囲判定部、
前記二次元マーカを写した前記領域画像において、前記特徴量表示領域から認識される特徴量が、事前に指定された一以上の特徴量リストに含まれているかどうかを判断基準とする、識別情報判定部、
前記二次元マーカを写した画像から、前記二次元マーカの三次元配向方向を認識し、事前に指定された前記三次元配向方向との差分が第四の閾値より小さいかどうかを判断基準とする、姿勢判定部、または、
前記二次元マーカを写した画像から、前記二次元マーカの三次元位置を認識し、事前に指定された位置範囲に含まれているかどうかを判断基準とする、位置判定部、
のいずれかであることを特徴とする、二次元マーカ認識装置。
＜モード３＞
好ましくはモード１に記載の二次元マーカ認識装置であって、前記誤認識抑制部における、特定の前記判断部には：
前記二次元マーカを写した複数の前記領域画像のうち、同一の前記二次元マーカであると認識される前記領域画像の割合が、第一の閾値を超えるかどうかを判断基準とする、複数画像判定部、
前記二次元マーカを写した前記領域画像から、前記二次元マーカの矩形画像から認識される四辺のうち最小の長さが、第二の閾値より小さいかどうか判断基準とする、最短辺判定部、
前記二次元マーカを写した前記領域画像において、前記二次元マーカの周囲単色領域として認識される幅が、第三の閾値より大きいかどうかを判断基準とする、領域周囲判定部、
前記二次元マーカを写した前記領域画像において、前記特徴量表示領域から認識される特徴量が、事前に指定された一以上の特徴量リストに含まれているかどうかを判断基準とする、識別情報判定部、
前記二次元マーカを写した画像から、前記二次元マーカの三次元配向方向を認識し、事前に指定された前記三次元配向方向との差分が第四の閾値より小さいかどうかを判断基準とする、姿勢判定部、および、
前記二次元マーカを写した画像から、前記二次元マーカの三次元位置を認識し、事前に指定された位置範囲に含まれているかどうかを判断基準とする、位置判定部と、
を含む、ことを特徴とする、二次元マーカ認識装置。
＜モード４＞
好ましくはモード２または３に記載の二次元マーカ認識装置であって、前記誤認識抑制部における、特定の前記判断部には、
前記二次元マーカを写した複数の前記領域画像から、前記二次元マーカの前記三次元配向方向または前記三次元位置を認識し、前記三次元配向方向または前記三次元位置を要素としてクラスタリング統計処理を実施し、計算されたクラスタ中央値からの距離が第五の閾値より小さいかどうかを判断基準とする、クラスタリング判定部をさらに含む、
ことを特徴とする、二次元マーカ認識装置。
＜モード５＞
好ましくはモード２または３に記載の二次元マーカ認識装置であって、前記誤認識抑制部における、前記複数画像判定部において、
複数の前記領域画像を、設置位置または設置方向の異なる複数の前記カメラ装置から取得し、複数の前記カメラ装置の前記設置位置と前記設置方向から計算される、絶対座標系における、前記二次元マーカの三次元配向姿勢、および三次元位置が同一であることから、前記二次元マーカに対応する複数の前記領域画像が同一の前記二次元マーカに対応するものであると判定する、
ことを特徴とする、二次元マーカ認識装置。
＜モード６＞
好ましくはモード４に記載の二次元マーカ認識装置であって、前記誤認識抑制部における、前記複数画像判定部における複数の前記領域画像として、一つの前記領域画像に対してガウシアンノイズを加えるか、またはローパスフィルタをかけて別画像を生成し、画像判定のための複数の前記領域画像に加える、ことを特徴とする、二次元マーカ認識装置。
＜モード７＞
好ましくはモード４に記載の二次元マーカ認識装置であって、前記誤認識抑制部における前記姿勢判定部および、前記位置判定部において、
前記二次元マーカの前記三次元配向方向および前記三次元位置を、前記カメラ装置からの相対的な量として、Perspective-N-Point法を用いて推定する、
ことを特徴とする、二次元マーカ認識装置。
＜モード８＞
好ましくはモード４に記載の二次元マーカ認識装置であって、前記誤認識抑制部における、第一の閾値、第二の閾値、第三の閾値、第四の閾値、および第五の閾値、および前記カメラ装置のカメラ方向、配向姿勢、倍率、照度を含む設定値を、内部値として有する学習エージェントを含み、
前記誤認識抑制部において、前記判定によって誤認識とされた数と、実際には前記二次元マーカであって認識されなかった数との差または比率を、学習における報酬値とするものであり、
前記学習エージェントは、強化学習として、前記内部値の組み合わせに対して、前記報酬値を大きくすることを条件とする学習を行う二次元マーカ認識装置学習環境において一定期間の学習を行い、
前記一定期間の学習後、学習されたエージェントを学習済エージェントとし、前記学習済エージェントは前記内部値を有して、二次元マーカ認識装置の運用環境として動作させる、
ことを特徴とする、二次元マーカ認識装置。
＜モード９＞
上述の第２の視点に係る二次元マーカ認識方法のとおりである。
＜モード１０＞
上述の第３の視点に係る二次元マーカ認識プログラムのとおりである。
＜モード１１＞
カメラ装置から画像を取得する画像取得部と、前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカと認識する二次元マーカ認識部と、を有する二次元マーカ認識装置を有する二次元マーカ認識システムであり、前記二次元マーカ認識装置の前記二次元マーカ認識部内に、前記領域画像が前記二次元マーカに対応するものであるかどうかについて、特定の判断部によって判定する、誤認識抑制部を有する、ことを特徴とする、二次元マーカ認識システム。
なお、モード９乃至１１は、モード１と同様に、モード２～モード８のように展開することが可能である。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態例ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態例ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。さらに、上記引用した文献の各開示事項は、必要に応じ、本発明の趣旨に則り、本発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれるものと、みなされる。

１００： 二次元マーカ（群）
２００： 画像取得部
３００： 記憶部
４００： 二次元マーカ認識部
４１０： 誤認識抑制部
４２０： 特徴量抽出部
４３０： 位置、姿勢推定部
４１１： 複数画像判定部
４１２： 最短辺判定部
４１３： 領域周囲判定部
４１４： 識別情報判定部
４１５： 姿勢判定部
４１６： 位置判定部
４１７： クラスタリング判定部
１０００： 二次元マーカ認識装置
１１００、１１０１、１１０２、１１０３： カメラ装置
１１１０： 外部接続インタフェース
１２００： 補助記憶装置
１３００： ＣＰＵ
１４００： メモリ
１５００： 入出力装置
１６００： 内部バス
２０００： 倉庫内壁
２１００： 倉庫物品管理部
２２００： 存在可能領域
２３０１、２３０２、２３０３： 認定されない二次元マーカ
３０００： 学習中エージェント
３００１： 学習済エージェント
４０００： 二次元マーカ認識装置の学習環境
４００１： 二次元マーカ認識装置の実運用環境

Claims (10)

1. カメラ装置から画像を取得する画像取得部と、
   前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカである可能性があると認識する二次元マーカ認識部と、を有する二次元マーカ認識装置であって、
   前記二次元マーカではない前記領域画像を、前記二次元マーカである可能性があると認識する誤認識を、特定の判定部によって抑制する、誤認識抑制部を有する、
   ことを特徴とする、二次元マーカ認識装置。
2. 前記誤認識抑制部における、特定の前記判定部とは：
   前記二次元マーカを写した複数の前記領域画像のうち、同一の前記二次元マーカであると認識される前記領域画像の割合が、第一の閾値を超えるかどうかを判断基準とする、複数画像判定部、
   前記二次元マーカを写した前記領域画像から、前記二次元マーカの矩形画像から認識される四辺のうち最小の長さ、又はこれに対応するマーカ寸法の長さが、第二の閾値より小さいかどうかを判断基準とする、最短辺判定部、
   前記二次元マーカを写した前記領域画像において、前記二次元マーカの周囲単体色領域として認識される幅が、第三の閾値より大きいかどうかを判断基準とする、領域周囲判定部、
   前記二次元マーカを写した前記領域画像において、前記特徴量表示領域から認識される特徴量が、事前に指定された一以上の特徴量リストに含まれているかどうかを判断基準とする、識別情報判定部、
   前記二次元マーカを写した画像から、前記二次元マーカの三次元配向方向を認識し、事前に指定された前記三次元配向方向との差分が第四の閾値より小さいかどうかを判断基準とする、姿勢判定部、
   前記二次元マーカを写した画像から、前記二次元マーカの三次元位置を認識し、事前に指定された位置範囲に含まれているかどうかを判断基準とする、位置判定部、
   のいずれか１つ以上を含むことを特徴とする、請求項１に記載の二次元マーカ認識装置。
3. 前記誤認識抑制部における、特定の前記判定部には、
   前記二次元マーカを写した複数の前記領域画像から、前記二次元マーカの前記三次元配向方向または前記三次元位置を認識し、前記三次元配向方向または前記三次元位置を要素としてクラスタリング統計処理を実施し、計算されたクラスタ中央値からの距離が第五の閾値より小さいかどうかを判断基準とする、クラスタリング判定部をさらに含む、
   ことを特徴とする、請求項２に記載の二次元マーカ認識装置。
4. 前記誤認識抑制部における、前記複数画像判定部において、
   複数の前記領域画像を、設置位置または設置方向の異なる複数の前記カメラ装置から取得し、複数の前記カメラ装置の前記設置位置と前記設置方向から計算される、絶対座標系における、前記二次元マーカの三次元配向姿勢、および前記三次元位置が同一であることから、前記二次元マーカに対応する複数の前記領域画像が同一の前記二次元マーカに対応するものであると判定する、
   ことを特徴とする、請求項３に記載の二次元マーカ認識装置。
5. 前記誤認識抑制部における、前記複数画像判定部における複数の前記領域画像として、
   一つの前記領域画像に対してガウシアンノイズを加える、ローパスフィルタをかける方法を含む任意の画像生成方法によって別画像を生成し、画像判定のための複数の前記領域画像に加える、
   ことを特徴とする、請求項４に記載の二次元マーカ認識装置。
6. 前記誤認識抑制部における前記姿勢判定部および、前記位置判定部において、
   前記二次元マーカの前記三次元配向方向および前記三次元位置を、前記カメラ装置からの相対的な量として、Perspective-N-Point法を含む任意の位置推定方法によって推定する、
   ことを特徴とする、請求項４に記載の二次元マーカ認識装置。
7. 前記誤認識抑制部における、前記第一の閾値、前記第二の閾値、前記第三の閾値、前記第四の閾値、および前記第五の閾値、および前記カメラ装置のカメラ方向、配向姿勢、倍率、照度を含む設定値を、内部値として有する学習エージェントを含み、
   前記誤認識抑制部において、前記判定部によって誤認識とされた前記領域画像の数と、実際には前記二次元マーカであって、前記二次元マーカ認識部によって前記二次元マーカと認識されなかった前記領域画像の数との差または比率を、学習における報酬値とするものであり、
   前記学習エージェントは、強化学習として、前記内部値の組み合わせに対して、前記報酬値を大きくすることを条件とする学習を行う二次元マーカ認識装置学習環境において一定期間の学習を行い、
   前記一定期間の学習後、学習されたエージェントを学習済エージェントとし、前記学習済エージェントは前記内部値を有して、前記二次元マーカ認識装置の運用環境として動作させる、
   ことを特徴とする、請求項４に記載の二次元マーカ認識装置。
8. カメラ装置から画像を取得する画像取得部と、
   前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカである可能性があると認識する二次元マーカ認識部と、を有する二次元マーカ認識装置における二次元マーカ認識方法であって、
   前記二次元マーカ認識部において、前記二次元マーカではない前記領域画像を、前記二次元マーカである可能性があると認識する誤認識を、特定の判定部によって抑制する、
   ことを特徴とする、二次元マーカ認識方法。
9. カメラ装置から画像を取得する画像取得部と、
   前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカである可能性があると認識する二次元マーカ認識部と、を有する二次元マーカ認識装置にインストールされるコンピュータプログラムであって、
   前記二次元マーカ認識部内に、前記二次元マーカではない前記領域画像を、前記領域画像が前記二次元マーカである可能性があると認識する誤認識を、特定の判定部によって抑制する手段を含む、
   ことを特徴とする、二次元マーカ認識プログラム。
10. カメラ装置から画像を取得する画像取得部と、
    前記画像から、周囲単体色領域と特徴量表示領域から構成されており矩形である領域画像を、二次元マーカである可能性があると認識する二次元マーカ認識部と、を有する二次元マーカ認識装置を有する二次元マーカ認識システムであり、
    前記二次元マーカ認識装置の前記二次元マーカ認識部内に、前記二次元マーカではない前記領域画像を、前記領域画像が前記二次元マーカである可能性があると認識する誤認識を、特定の判定部によって抑制する、誤認識抑制部を有する、
    ことを特徴とする、二次元マーカ認識システム。

Images