JP7174389B1 - 物***置推定表示装置、方法及びプログラム - Google Patents
物***置推定表示装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7174389B1 JP7174389B1 JP2022023790A JP2022023790A JP7174389B1 JP 7174389 B1 JP7174389 B1 JP 7174389B1 JP 2022023790 A JP2022023790 A JP 2022023790A JP 2022023790 A JP2022023790 A JP 2022023790A JP 7174389 B1 JP7174389 B1 JP 7174389B1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- marker
- image
- coordinate system
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 239000003550 marker Substances 0.000 claims description 118
- 239000013598 vector Substances 0.000 claims description 87
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 51
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 8
- 241000905137 Veronica schmidtiana Species 0.000 claims description 3
- 241000282412 Homo Species 0.000 description 26
- 241000283690 Bos taurus Species 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 244000144972 livestock Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 241000283707 Capra Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000010871 livestock manure Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、本発明を具体化した第1実施形態を図面に基づき詳細に説明する。
なお、図9では、画像平面に映った人間A1の足元を対象点(u,v)としたうえで、対象点(u,v)に対する方向ベクトルdを求めている。次に、次式(8)により、床面ベクトルFと方向ベクトルdとのなす角度θdを算出する。
なお、ベクトルgは、カメラ座標系における、俯瞰平面上での原点から対象点26aまでの位置を示している。
ここで、RFは回転行列であり、床面ベクトルFを(Fx,Fy,Fz)で示したとき、回転行列RFは次式(14)にて算出することができる。
また、ベクトルgxは、カメラ座標系において、俯瞰座標系のx軸と平行になっている。
以下、本発明を具体化した第2実施形態を図10,図11に基づいて説明する。ここでは、前記第1実施形態と相違する部分を中心に説明する。本実施形態では、物***置推定表示装置1が2台のカメラ51,52(第1のカメラ51、第2のカメラ52)を有している点が、前記第1実施形態とは異なっている。
ここで、squeeze(A) は、次式(19)によって算出される。
ここで、sign(a,b)は、次式(21)によって算出される。
なお、第2のカメラ52の俯瞰座標系上の点(x2,y2)から第1のカメラ51の俯瞰座標系上の点(x1,y1)への変換は、次式(28)によって算出される。
以下、本発明を具体化した第3実施形態を図12,図13に基づいて説明する。ここでは、前記第2実施形態と相違する部分を中心に説明する。本実施形態では、物***置推定装置1が3台以上(ここでは5台)のカメラ71~75(第1のカメラ71、第2のカメラ72、第3のカメラ73、第4のカメラ74、第5のカメラ75)を有している点が、前記第2実施形態とは異なっている。
11,51,52,71,72,73,74,75…カメラ
12…表示手段としてのディスプレイ
21…実際の画像
22…俯瞰平面の画像
26a,26b…対象点
27a,27b…対象点を示すアイコン
28a,28b…識別子
29…カメラを示すアイコン
31…平面としての床面
32,33,34,61,81A,81B,91…マーカー
40…プロセッサとしての制御装置
41…位置関係把握手段、対象点設定手段及び対象点位置推定手段としてのCPU
43…記憶手段としてのRAM
A1,A2…物体としての人間
h…平面からカメラまでの高さ
θt…平面からカメラに延びる垂線とカメラからマーカーに延びる線分とがなす角度
Claims (8)
- 物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備え、前記物体の位置を推定して表示する装置であって、
平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるARマーカーを撮像する前記カメラと、
撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのZ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握手段と、
撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定手段と、
前記位置関係把握手段が把握した位置関係情報としての前記鉛直ベクトルと、前記カメラの内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定手段と
を備え、
前記表示手段は、俯瞰平面の画像を表示するとともにその画像上に前記対象点を示すアイコンを表示する
ことを特徴とする物***置推定表示装置。 - 前記物体は人間または動物であり、前記対象点は前記人間または前記動物の足元に設定されることを特徴とする請求項1に記載の物***置推定表示装置。
- 前記俯瞰平面の画像上に、前記対象点を示すアイコンに加えて前記カメラを示すアイコンが表示されることを特徴とする請求項1または2に記載の物***置推定表示装置。
- 前記表示手段は、前記俯瞰平面の画像と、前記カメラによって撮像された実際の画像とを並べて表示することを特徴とする請求項3に記載の物***置推定表示装置。
- 前記対象点を示すアイコンには、前記物体の種類を特定するための識別子が付与されていることを特徴とする請求項1乃至4のいずれか1項に記載の物***置推定表示装置。
- 前記カメラは複数台設けられ、
前記対象点位置推定手段は、隣接する前記カメラの前記俯瞰座標系同士を前記マーカーを介して接続する演算処理を行うことにより、それぞれの前記カメラで撮像された画像同士を繋げる処理を行う
ことを特徴とする請求項1乃至5のいずれか1項に記載の物***置推定表示装置。 - 物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備えた物***置推定表示装置を用いて、前記物体の位置を推定して表示する方法であって、
前記カメラを用いて、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるARマーカーを撮像するマーカー撮像ステップと、
撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのZ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握ステップと、
前記カメラの内部パラメータ情報を記憶手段に入力する内部パラメータ入力ステップと、
撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定ステップと、
前記位置関係把握ステップにおいて把握した位置関係情報としての前記鉛直ベクトルと、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定ステップと、
前記表示手段に俯瞰平面の画像を表示するとともに、その画像上に前記対象点を示すアイコンを表示する表示ステップと
を含むことを特徴とする物***置推定表示方法。 - 物体を撮像して画像を取得する固定式カメラと、前記画像を表示する表示手段とを備えた物***置推定表示装置を制御するプロセッサに、
前記カメラを用いて、平面上に設置され、特定の幾何学的特徴を有する二次元的なマーカーであるARマーカーを撮像するマーカー撮像ステップと、
撮像した前記マーカーを基準としたマーカー座標系上の点を、前記マーカー座標の原点周りに回転させる三次元回転行列と、前記カメラを基準としたカメラ座標系の原点まで前記マーカー座標の原点を並行移動させる並進ベクトルとからなる外部パラメータを用いて、前記マーカーを基準としたマーカー座標系上の点を、前記カメラを基準としたカメラ座標系上の点に変換する行列式を利用し、まず前記カメラ座標系において前記平面に対して垂直上向きのZ軸とは逆向きのベクトルを前記三次元回転行列に基づいて算出し、次に前記逆向きのベクトルと前記並進ベクトルとにより前記平面から前記カメラに延びる垂線と前記カメラから前記マーカーに延びる線分とがなす角度を算出し、さらに前記並進ベクトルと前記角度とにより前記平面から前記カメラまでの高さを算出した後、前記逆向きのベクトルと前記高さとに基づいて前記カメラから前記平面まで垂直に延びる鉛直ベクトルを算出することにより、前記カメラと前記平面との位置関係を把握する位置関係把握ステップと、
前記カメラの内部パラメータ情報を記憶手段に入力する内部パラメータ入力ステップと、
撮像した画像に映る前記物体の所定の点を対象点として設定する対象点設定ステップと、
前記位置関係把握ステップにおいて把握した位置関係情報としての前記鉛直ベクトルと、前記記憶手段に記憶されている前記内部パラメータ情報とに基づいて、前記カメラを基準とした俯瞰座標系上における前記対象点の位置を推定する対象点位置推定ステップと、
前記表示手段に俯瞰平面の画像を表示するとともに、その画像上に前記対象点を示すアイコンを表示する表示ステップと
を実行させるための物***置推定表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022023790A JP7174389B1 (ja) | 2022-02-18 | 2022-02-18 | 物***置推定表示装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022023790A JP7174389B1 (ja) | 2022-02-18 | 2022-02-18 | 物***置推定表示装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7174389B1 true JP7174389B1 (ja) | 2022-11-17 |
JP2023120758A JP2023120758A (ja) | 2023-08-30 |
Family
ID=84100536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022023790A Active JP7174389B1 (ja) | 2022-02-18 | 2022-02-18 | 物***置推定表示装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7174389B1 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006115006A (ja) | 2004-10-12 | 2006-04-27 | Nippon Telegr & Teleph Corp <Ntt> | 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム |
JP2010258897A (ja) | 2009-04-27 | 2010-11-11 | Fujitsu Ltd | 判定プログラムおよびキャリブレーション装置 |
WO2015087730A1 (ja) | 2013-12-10 | 2015-06-18 | 株式会社日立国際電気 | 監視システム |
JP2016013793A (ja) | 2014-07-03 | 2016-01-28 | 株式会社デンソー | 画像表示装置、画像表示方法 |
JP2017074870A (ja) | 2015-10-15 | 2017-04-20 | 日立建機株式会社 | 車両周囲障害物検出装置 |
JP2018074286A (ja) | 2016-10-26 | 2018-05-10 | 三菱自動車工業株式会社 | 運転支援装置 |
JP2020043400A (ja) | 2018-09-06 | 2020-03-19 | アイシン精機株式会社 | 周辺監視装置 |
JP2020045687A (ja) | 2018-09-19 | 2020-03-26 | 日立建機株式会社 | 作業機械 |
JP2021019253A (ja) | 2019-07-18 | 2021-02-15 | 株式会社小松製作所 | 作業車両の表示システムおよび作業車両の表示方法 |
-
2022
- 2022-02-18 JP JP2022023790A patent/JP7174389B1/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006115006A (ja) | 2004-10-12 | 2006-04-27 | Nippon Telegr & Teleph Corp <Ntt> | 個別映像撮影・配信装置、個別映像撮影・配信方法およびプログラム |
JP2010258897A (ja) | 2009-04-27 | 2010-11-11 | Fujitsu Ltd | 判定プログラムおよびキャリブレーション装置 |
WO2015087730A1 (ja) | 2013-12-10 | 2015-06-18 | 株式会社日立国際電気 | 監視システム |
JP2016013793A (ja) | 2014-07-03 | 2016-01-28 | 株式会社デンソー | 画像表示装置、画像表示方法 |
JP2017074870A (ja) | 2015-10-15 | 2017-04-20 | 日立建機株式会社 | 車両周囲障害物検出装置 |
JP2018074286A (ja) | 2016-10-26 | 2018-05-10 | 三菱自動車工業株式会社 | 運転支援装置 |
JP2020043400A (ja) | 2018-09-06 | 2020-03-19 | アイシン精機株式会社 | 周辺監視装置 |
JP2020045687A (ja) | 2018-09-19 | 2020-03-26 | 日立建機株式会社 | 作業機械 |
JP2021019253A (ja) | 2019-07-18 | 2021-02-15 | 株式会社小松製作所 | 作業車両の表示システムおよび作業車両の表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023120758A (ja) | 2023-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6465789B2 (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
US10068344B2 (en) | Method and system for 3D capture based on structure from motion with simplified pose detection | |
JP5812599B2 (ja) | 情報処理方法及びその装置 | |
US20200387745A1 (en) | Method of Determining a Similarity Transformation Between First and Second Coordinates of 3D Features | |
JP6573419B1 (ja) | 位置決め方法、ロボット及びコンピューター記憶媒体 | |
JP7111114B2 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
WO2015037178A1 (ja) | 姿勢推定方法及びロボット | |
JP6985532B2 (ja) | データ処理方法及び装置、電子機器並びに記憶媒体 | |
JP2017103602A (ja) | 位置検出装置、位置検出方法及びプログラム | |
WO2020063987A1 (zh) | 三维扫描方法、装置、存储介质和处理器 | |
CN108628306B (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
KR101239532B1 (ko) | 로봇의 위치 인식 장치 및 방법 | |
JP5699697B2 (ja) | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
JP4906683B2 (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
JP2018169660A (ja) | オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム | |
JP2008309595A (ja) | オブジェクト認識装置及びそれに用いられるプログラム | |
JP4227037B2 (ja) | 撮像システム及び校正方法 | |
JP7174389B1 (ja) | 物***置推定表示装置、方法及びプログラム | |
JP2010184300A (ja) | 姿勢変更システムおよび姿勢変更方法 | |
JP2002259984A (ja) | 動作解析装置及び動作解析方法 | |
JP4886661B2 (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
JP2002008043A (ja) | 動作解析装置及び動作解析方法 | |
JP6606340B2 (ja) | 画像検出装置、画像検出方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220224 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7174389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |