JP5417494B2 - 画像処理方法およびシステム - Google Patents
画像処理方法およびシステム Download PDFInfo
- Publication number
- JP5417494B2 JP5417494B2 JP2012155445A JP2012155445A JP5417494B2 JP 5417494 B2 JP5417494 B2 JP 5417494B2 JP 2012155445 A JP2012155445 A JP 2012155445A JP 2012155445 A JP2012155445 A JP 2012155445A JP 5417494 B2 JP5417494 B2 JP 5417494B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- posture
- postures
- distance
- kernel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title 1
- 230000036544 posture Effects 0.000 claims description 153
- 238000000034 method Methods 0.000 claims description 90
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 description 17
- 238000013519 translation Methods 0.000 description 17
- 230000014616 translation Effects 0.000 description 17
- 238000012360 testing method Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 208000037062 Polyps Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
・σr=0.06..0.20
・σt=0.06..0.20
比をσs:σr:σt=7:12:12、例えば(σs,σr,σt)=(0.07,0.12,0.12)とすれば上手く行くことが分かった。
μ(ZX)=Zμ(X)
を導く。つまり、全姿勢XiがZによって変換される場合、平均もZによって変換される。また、(b)平均値シフトで計算された重みwiは任意の事後変換Zに対して不変であり、左共変平均シフトをもたらすことを保証する。
別の実施形態において、該システムは、地表面および衝突検出の位置のような物理的な制約を用いて出力姿勢のリストをフィルターしてもよい。これにより誤判定結果の数を低減することができる。
Claims (18)
- 画像データを分析するための装置であって、該装置はプロセッサを含み、
前記プロセッサは、
被写体の姿勢の複数の予測を得るために前記画像データを分析するよう構成され、前記予測は前記被写体の予測姿勢のインジケーションを含んでおり、前記予測姿勢は共通の座標系の位置、方向、スケールに関して表現され、
2つの被写体姿勢間の距離を計算することで前記予測姿勢を比較することにより前記予測をグループ化するように構成され、前記距離は距離関数を用いて計算され、
前記画像は少なくとも1つの被写体を含み、前記予測は前記被写体とその姿勢のインジケーションを含み、
前記被写体の前記インジケーションを、少なくとも前記画像データの一部をデータベースの被写体のデータと比較することにより求め、
全姿勢が分布f(X)からサンプリングされることを仮定するカーネル密度推定法を用いて前記被写体姿勢がグループ化され、前記カーネル密度推定における前記カーネルは前記距離関数を含む、装置。 - 前記データベースの各被写体は複数の特徴を含み、該データベースの被写体と前記画像データを比較することは、前記画像データを分析して前記データベースの被写体の特徴との一致を求めることを含む、請求項1に記載の装置。
- 前記被写体は、前記画像をキャプチャーするのに用いられるカメラである、請求項1に記載の装置。
- 前記グループの代表姿勢を、f(X)の極大値を決定することにより計算する請求項1に記載の装置。
- 前記極大値を平均値シフト技術、クイックシフト技術またはメドイドシフト技術を用いて求める請求項5に記載の装置。
- 重みwiをwi=λi*K(d2(Y,Xi))から求め、Kはカーネル関数であり、dは、平均値シフト技術を用いて推定された現在の極大値Yを持つ姿勢と、姿勢Xiとの間の距離である、請求項7に記載の装置。
- 前記姿勢評価が先ずハフ投票法を用いてグループ化される請求項6に記載の装置。
- 各予測が初期の重みを持つ請求項1に記載の装置。
- 前記画像データは3D画像データである請求項1に記載の装置。
- 各被写体姿勢が共通の座標系の位置、方向、スケールに関して表現される場合の2つの被写体姿勢を比較するための装置であって、該装置はプロセッサを含み、前記プロセッサは前記2つの被写体姿勢間の距離を計算するように構成され、前記距離は、距離関数
を用いて計算され、ここで、Xは1つの被写体の被写体姿勢であり、Yは別の被写体の被写体姿勢であって、
であり、s(X)およびs(Y)は被写体姿勢XおよびYのスケールをそれぞれ表わすスカラー関数、R(X)およびR(Y)は被写体姿勢XおよびYの回転をそれぞれ表現する行列、t(X)およびt(Y)は被写体姿勢XおよびYの平行移動をそれぞれ表現するベクトル、σs、σr、σtはそれぞれds、dr、dtの重み係数である、装置。 - 前記距離は、前記距離を用いるカーネルを用いて計算され、前記カーネルは、K(d2(X,Y))の式で表される、請求項12に記載の装置。
- 0.04≦σs≦0.12、0.06≦σr≦0.20、0.06≦σt≦0.20である、請求項12に記載の装置。
- 複数の被写体姿勢の平均を決定するための装置であって、該装置はプロセッサを含み、
前記プロセッサは
を用いて前記複数の被写体姿勢の平均を計算するように構成され、ここで、X={(X1,w1),(X2,w2),...(XN,wN)}は姿勢集合、Xiはi番目の姿勢、wiはi番目の姿勢の重み、s(Xi)は被写体姿勢Xiのスケールを表わすスカラ関数、R(Xi)は被写体姿勢Xiの回転を表現する行列、t(Xi)被写体姿勢Xiの平行移動を表現するベクトルであり、
はSO(n,R)への行列Xの特殊直交射影であり、SO(n,R)は全n×n特殊直交行列の集合であり、関数sop(X)はY−Xのフロベニウスノルムが最小化されるように特殊直交行列Yを返す、装置。 - 画像データを分析する方法であって、該方法は
被写体の姿勢の複数の予測を得るために前記画像データを分析することを含み、前記予測は前記被写体の予測姿勢のインジケーションを含んでおり、前記予測姿勢は共通の座標系の位置、方向、スケールに関して表現され、
2つの被写体姿勢間の距離を計算することで前記予測姿勢を比較することにより前記予測をグループ化することを含み、前記距離は距離関数を用いて計算され、
前記画像は少なくとも1つの被写体を含み、前記予測は前記被写体とその姿勢のインジケーションを含み、
前記被写体の前記インジケーションを、少なくとも前記画像データの一部をデータベースの被写体のデータと比較することにより求め、
全姿勢が分布f(X)からサンプリングされることを仮定するカーネル密度推定法を用いて前記被写体姿勢がグループ化され、前記カーネル密度推定における前記カーネルは前記距離関数を含む、方法。 - 請求項17の方法をコンピュータに実行させるように構成されたコンピュータ可読命令を記録する記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1111871.8A GB2492779B (en) | 2011-07-11 | 2011-07-11 | An image processing method and system |
GB1111871.8 | 2011-07-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033468A JP2013033468A (ja) | 2013-02-14 |
JP5417494B2 true JP5417494B2 (ja) | 2014-02-12 |
Family
ID=44544568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012155445A Expired - Fee Related JP5417494B2 (ja) | 2011-07-11 | 2012-07-11 | 画像処理方法およびシステム |
Country Status (3)
Country | Link |
---|---|
US (2) | US8849039B2 (ja) |
JP (1) | JP5417494B2 (ja) |
GB (1) | GB2492779B (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104204940B (zh) * | 2012-03-13 | 2016-04-27 | 富士胶片株式会社 | 带投影仪摄影装置及其控制方法 |
EP2880630B1 (en) * | 2012-08-02 | 2020-09-02 | HERE Global B.V. | Three-dimensional plane panorama creation through hough-based line detection |
US9472022B2 (en) * | 2012-10-05 | 2016-10-18 | University Of Southern California | Three-dimensional point processing and model generation |
US9530225B1 (en) * | 2013-03-11 | 2016-12-27 | Exelis, Inc. | Point cloud data processing for scalable compression |
GB2523776B (en) * | 2014-03-04 | 2018-08-01 | Toshiba Res Europe Limited | Methods for 3D object recognition and pose determination |
US10482681B2 (en) | 2016-02-09 | 2019-11-19 | Intel Corporation | Recognition-based object segmentation of a 3-dimensional image |
US10373380B2 (en) | 2016-02-18 | 2019-08-06 | Intel Corporation | 3-dimensional scene analysis for augmented reality operations |
US20190102909A1 (en) * | 2016-03-11 | 2019-04-04 | Siemens Aktiengesellschaft | Automated identification of parts of an assembly |
US10573018B2 (en) * | 2016-07-13 | 2020-02-25 | Intel Corporation | Three dimensional scene reconstruction based on contextual analysis |
US10346717B1 (en) * | 2017-04-19 | 2019-07-09 | The United States Of America As Represented By The Secretary Of The Navy | System and method for thresholding of local image descriptors |
US10467756B2 (en) * | 2017-05-14 | 2019-11-05 | International Business Machines Corporation | Systems and methods for determining a camera pose of an image |
GB201715876D0 (en) * | 2017-09-29 | 2017-11-15 | Univ Strathclyde | Wireless optical communication and imaging systems and methods |
CN107992886B (zh) * | 2017-11-28 | 2020-11-06 | 中国大唐集团科学技术研究院有限公司华东电力试验研究院 | 一种燃机压气机设备故障趋势预测方法 |
CN111753858B (zh) * | 2019-03-26 | 2024-07-12 | 理光软件研究所(北京)有限公司 | 一种点云匹配方法、装置和重定位*** |
CN111950321B (zh) * | 2019-05-14 | 2023-12-05 | 杭州海康威视数字技术股份有限公司 | 步态识别方法、装置、计算机设备及存储介质 |
CN110276768B (zh) * | 2019-06-28 | 2022-04-05 | 京东方科技集团股份有限公司 | 图像分割方法、图像分割装置、图像分割设备及介质 |
CN111539973B (zh) * | 2020-04-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 用于检测车辆位姿的方法及装置 |
CN111709990B (zh) * | 2020-05-22 | 2023-06-20 | 贵州民族大学 | 一种相机重定位方法和*** |
CN112991524B (zh) * | 2021-04-20 | 2022-03-25 | 北京的卢深视科技有限公司 | 三维重建的方法、电子设备及存储介质 |
CN114310951B (zh) * | 2021-12-31 | 2024-04-26 | 北京航空航天大学杭州创新研究院 | 位姿优化方法、装置、抓取设备和计算机可读存储介质 |
CN115046478B (zh) * | 2022-08-10 | 2022-12-02 | 深之蓝海洋科技股份有限公司 | 水下相对位姿的测量方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001250122A (ja) | 2000-03-06 | 2001-09-14 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定処理方法およびそのためのプログラム記録媒体 |
JP4573085B2 (ja) * | 2001-08-10 | 2010-11-04 | 日本電気株式会社 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
US7526123B2 (en) * | 2004-02-12 | 2009-04-28 | Nec Laboratories America, Inc. | Estimating facial pose from a sparse representation |
CN1950844A (zh) * | 2004-03-03 | 2007-04-18 | 日本电气株式会社 | 物体的姿势推断及对照***和方法及其程序 |
JP4709668B2 (ja) | 2006-03-15 | 2011-06-22 | 独立行政法人科学技術振興機構 | 3次元物体認識システム |
JP2009182400A (ja) | 2008-01-29 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
-
2011
- 2011-07-11 GB GB1111871.8A patent/GB2492779B/en not_active Expired - Fee Related
-
2012
- 2012-02-28 US US13/407,357 patent/US8849039B2/en not_active Expired - Fee Related
- 2012-07-11 JP JP2012155445A patent/JP5417494B2/ja not_active Expired - Fee Related
-
2014
- 2014-08-14 US US14/460,171 patent/US9008439B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20130016913A1 (en) | 2013-01-17 |
US8849039B2 (en) | 2014-09-30 |
JP2013033468A (ja) | 2013-02-14 |
US20150036918A1 (en) | 2015-02-05 |
GB2492779B (en) | 2016-03-16 |
US9008439B2 (en) | 2015-04-14 |
GB2492779A (en) | 2013-01-16 |
GB201111871D0 (en) | 2011-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5417494B2 (ja) | 画像処理方法およびシステム | |
Han et al. | Space-time representation of people based on 3D skeletal data: A review | |
CN109643368B (zh) | 检测视频数据中的对象 | |
Simo-Serra et al. | Single image 3D human pose estimation from noisy observations | |
Zeeshan Zia et al. | Are cars just 3d boxes?-jointly estimating the 3d shape of multiple objects | |
US20170045950A1 (en) | Gesture Recognition Systems | |
WO2018154709A1 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
CN113850865A (zh) | 一种基于双目视觉的人体姿态定位方法、***和存储介质 | |
EP3836085B1 (en) | Multi-view three-dimensional positioning | |
Meger et al. | Explicit Occlusion Reasoning for 3D Object Detection. | |
JP2013045468A (ja) | 被写***置判定方法およびシステム | |
CN113312973A (zh) | 一种手势识别关键点特征提取方法及*** | |
Guðmundsson et al. | Model-based hand gesture tracking in tof image sequences | |
Tal et al. | An accurate method for line detection and manhattan frame estimation | |
Razzaghi et al. | A new invariant descriptor for action recognition based on spherical harmonics | |
Mazumder et al. | ValidNet: A Deep Learning Network for Validation of Surface Registration. | |
CN112016495A (zh) | 人脸识别的方法、装置和电子设备 | |
Kumar et al. | Human action recognition from motion trajectory using fourier temporal features of skeleton joints | |
Ghedia et al. | A novel approach for monocular 3d object tracking in cluttered environment | |
Betta et al. | Metrological characterization of 3D biometric face recognition systems in actual operating conditions | |
Eklundh | Mobile observers | |
Yilmaz | Object tracking and activity recognition in video acquired using mobile cameras | |
Mazumder | A deep learning network for validation of 3d point cloud surface registration | |
Joshi | Motion Blur | |
Sun et al. | Model-Based Object Recognition: Traditional Approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130819 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131118 |
|
LAPS | Cancellation because of no payment of annual fees |