JP2021093037A - 算出システム、算出方法、プログラム、及び記憶媒体 - Google Patents
算出システム、算出方法、プログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP2021093037A JP2021093037A JP2019224034A JP2019224034A JP2021093037A JP 2021093037 A JP2021093037 A JP 2021093037A JP 2019224034 A JP2019224034 A JP 2019224034A JP 2019224034 A JP2019224034 A JP 2019224034A JP 2021093037 A JP2021093037 A JP 2021093037A
- Authority
- JP
- Japan
- Prior art keywords
- calculated
- target
- image
- person
- provisional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 238000000034 method Methods 0.000 claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 75
- 230000010354 integration Effects 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
実施形態に係る算出システム100は、対象が工程の実行に要した時間を自動的に算出するために用いられる。
従来、所要時間は、監視者が工程を監視して計測することで記録されていた。この方法では、監視者が計測に多くの時間を必要とする。また、監視者の経験、感覚などに応じて、計測結果にばらつきが生じる。他には、1つの撮像装置で工程を撮影し、その画像から所要時間を計測する方法もある。この方法では、対象の少なくとも一部が物陰に隠れると、対象の位置を正確に算出できない可能性がある。この結果、所要時間を正確に算出できない可能性がある。
図2は、実施形態に係る算出システムの適用例を表す模式図である。
図3及び図4は、実施形態に係る算出システムにおける処理を説明するための模式図である。
図5(a)の例では、赤色のビブスを着用した人物と青色のビブスを着用した人物が識別され、それぞれの暫定位置と確度が算出されている。この例では、検出部12による出力は、時刻、撮像装置の識別データ、人物の識別結果としての色及び識別データ、暫定位置の座標、及び確度を含む。図5(b)は、図5(a)の出力に基づいて、統合部13が統合位置を算出した結果を表す。この例では、統合部13による出力は、時刻、人物の識別結果としての色及び識別データ、統合位置の座標、及び統合的な確度を含む。検出部12及び統合部13は、これらの出力を記憶装置50に記憶する。
時間算出部14は、例えば図6(a)に表した工程情報と、各工程が実行される実行領域と、を参照する。図2の例では、棚、机、及び仕掛品が置かれた場所に、それぞれ実行領域Re1〜Re3が設定されている。
出力装置40がモニタである場合、出力部15は、出力装置40にグラフィカルユーザインターフェース(GUI)を表示させ、GUI上で各データを表示させても良い。
複数の撮像装置20が、対象を撮影する(ステップSt1)。取得部11が複数の画像を取得すると、検出部12は、各画像中の対象を検出する(ステップSt2)。検出部12は、各検出領域を補正する(ステップSt3)。具体的には、床面との高低差の補正、接地部分の推定に基づく補正などが、適宜実行される。検出部12は、各検出領域の暫定位置を算出する(ステップSt4)。検出部12は、各暫定位置の確度を算出する(ステップSt5)。統合部13は、複数の暫定位置及び複数の確度を用いて統合位置を算出する(ステップSt6)。時間算出部14は、工程の実行を判定する(ステップSt7)。時間算出部14は、判定結果に基づいて、各工程の所要時間を算出する(ステップSt8)。出力部15は、各種結果を出力する(ステップSt9)。
実施形態に係る算出システム100の処理装置10は、コンピュータ110により実現される。コンピュータ110は、Read Only Memory(ROM)111、Random Access Memory(RAM)112、CPU113、およびHDD114を有する。
Claims (19)
- 互いに異なる角度から対象を撮影した複数の画像を参照し、前記複数の画像のそれぞれについて、前記対象を検出し、所定の座標系における前記対象の暫定位置を算出する検出部と、
算出された前記複数の暫定位置を用いて、前記座標系における前記対象の統合位置を算出する統合部と、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する時間算出部と、
を備えた算出システム。 - 前記検出部は、前記複数の暫定位置に対する複数の確度をそれぞれ算出し、
前記統合部は、前記複数の暫定位置及び前記複数の確度を用いて前記統合位置を算出する請求項1記載の算出システム。 - 前記複数の画像の1つ以上、前記複数の暫定位置の1つ以上、及び前記統合位置の少なくともいずれかを出力する出力部をさらに備えた請求項2記載の算出システム。
- 前記出力部は、前記複数の確度に基づいて、前記複数の画像の一部を出力する請求項3記載の算出システム。
- 前記出力部は、時間に対する前記統合位置の変化をさらに出力する請求項3又は4に記載の算出システム。
- 前記検出部は、前記対象として人物を検出し、且つ前記人物を識別する請求項2〜5のいずれか1つに記載の算出システム。
- 前記検出部は、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の確度のそれぞれを算出する請求項6記載の算出システム。 - 前記検出部は、
2次元の前記座標系における前記複数の暫定位置を算出し、
検出された前記対象が床面より高い第1領域に含まれるときには、前記第1領域と前記床面との高さの差を用いて前記複数の暫定位置を補正する、
請求項1〜7のいずれか1つに記載の算出システム。 - 前記検出部は、前記対象の床面への接地部分が前記画像に写っていないときには、前記画像における前記対象の前記接地部分の位置を推定し、推定した結果に基づいて前記暫定位置を算出する請求項1〜8のいずれか1つに記載の算出システム。
- 前記検出部は、
前記複数の画像について、前記対象として人物を検出し、且つ前記人物を識別し、
前記複数の画像のそれぞれに複数の人物が写っているときには、前記複数の人物のそれぞれの前記暫定位置を算出し、
前記統合部は、前記複数の人物のそれぞれについて、前記統合位置を算出する請求項1〜9のいずれか1つに記載の算出システム。 - 前記工程情報は、前記複数の工程のそれぞれが実行される時刻を含み、
前記時間算出部は、各時刻における前記統合位置を、各時刻で実行される前記工程の実行領域と比較し、前記統合位置が前記実行領域に含まれていた時間を、前記複数の工程の前記少なくとも一部の前記所要時間として算出する請求項1〜10のいずれか1つに記載の算出システム。 - 互いに異なる角度から対象を撮影する複数の撮像装置をさらに備えた請求項1〜11のいずれか1つに記載の算出システム。
- 互いに異なる角度から対象を撮影した複数の画像を参照し、
前記複数の画像のそれぞれについて、前記対象を検出し、
所定の座標系における前記対象の暫定位置を算出し、
算出された前記複数の暫定位置を用いて、前記座標系における前記対象の統合位置を算出し、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照し、
前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出する、
算出方法。 - 前記複数の暫定位置に対する複数の確度をそれぞれ算出し、
前記複数の暫定位置及び前記複数の確度を用いて前記統合位置を算出する請求項13記載の算出方法。 - 前記対象として人物を検出し、且つ前記人物を識別し、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の確度のそれぞれを算出する請求項14記載の算出方法。 - コンピュータに、
互いに異なる角度から対象を撮影した複数の画像を参照させ、
前記複数の画像のそれぞれについて、前記対象を検出させ、
所定の座標系における前記対象の暫定位置を算出させ、
算出された前記複数の暫定位置を用いて、前記座標系における前記対象の統合位置を算出させ、
複数の工程に関する情報を含む工程情報と、前記座標系で表された、各工程が実行される実行領域と、を参照させ、
前記統合位置及び前記複数の実行領域に基づいて、前記複数の工程の少なくとも一部の所要時間を算出させる、
プログラム。 - 前記コンピュータに、
前記複数の暫定位置に対する複数の確度をそれぞれ算出させ、
前記複数の暫定位置及び前記複数の確度を用いて前記統合位置を算出させる、
請求項16記載のプログラム。 - 前記コンピュータに、
前記対象として人物を検出させ、且つ前記人物を識別させ、
前記人物の識別結果に対する信頼度、
前記画像中の前記対象のサイズ、
前記画像の中心と前記対象との間の距離、
前記人物の姿勢を示す値、及び
前記画像中の前記対象の露出度、
の少なくともいずれかを用いて、前記複数の確度のそれぞれを算出させる、
請求項17記載のプログラム。 - 請求項16〜18のいずれか1つに記載のプログラムを記憶した記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019224034A JP7516037B2 (ja) | 2019-12-11 | 算出システム、算出方法、プログラム、及び記憶媒体 | |
US17/117,631 US11461923B2 (en) | 2019-12-11 | 2020-12-10 | Calculation system, calculation method, and storage medium |
CN202011456727.2A CN112949375A (zh) | 2019-12-11 | 2020-12-11 | 计算***、计算方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019224034A JP7516037B2 (ja) | 2019-12-11 | 算出システム、算出方法、プログラム、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021093037A true JP2021093037A (ja) | 2021-06-17 |
JP7516037B2 JP7516037B2 (ja) | 2024-07-16 |
Family
ID=
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100718A1 (ja) * | 2021-11-30 | 2023-06-08 | パナソニックIpマネジメント株式会社 | 疲労推定システム、推定装置、及び疲労推定方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010098024A1 (ja) * | 2009-02-24 | 2010-09-02 | 三菱電機株式会社 | 人物追跡装置及び人物追跡プログラム |
JP2013187862A (ja) * | 2012-03-09 | 2013-09-19 | Topcon Corp | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
JP2015141722A (ja) * | 2015-03-06 | 2015-08-03 | パナソニックIpマネジメント株式会社 | 店員作業管理装置、店員作業管理システムおよび店員作業管理方法 |
US20160292533A1 (en) * | 2015-04-01 | 2016-10-06 | Canon Kabushiki Kaisha | Image processing apparatus for estimating three-dimensional position of object and method therefor |
JP2019125354A (ja) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、システム、方法、およびプログラム |
WO2019155727A1 (ja) * | 2018-02-08 | 2019-08-15 | 三菱電機株式会社 | 情報処理装置、追跡方法、及び追跡プログラム |
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010098024A1 (ja) * | 2009-02-24 | 2010-09-02 | 三菱電機株式会社 | 人物追跡装置及び人物追跡プログラム |
JP2013187862A (ja) * | 2012-03-09 | 2013-09-19 | Topcon Corp | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
JP2015141722A (ja) * | 2015-03-06 | 2015-08-03 | パナソニックIpマネジメント株式会社 | 店員作業管理装置、店員作業管理システムおよび店員作業管理方法 |
US20160292533A1 (en) * | 2015-04-01 | 2016-10-06 | Canon Kabushiki Kaisha | Image processing apparatus for estimating three-dimensional position of object and method therefor |
JP2019125354A (ja) * | 2018-01-12 | 2019-07-25 | キヤノン株式会社 | 情報処理装置、システム、方法、およびプログラム |
WO2019155727A1 (ja) * | 2018-02-08 | 2019-08-15 | 三菱電機株式会社 | 情報処理装置、追跡方法、及び追跡プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100718A1 (ja) * | 2021-11-30 | 2023-06-08 | パナソニックIpマネジメント株式会社 | 疲労推定システム、推定装置、及び疲労推定方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210192771A1 (en) | 2021-06-24 |
US11461923B2 (en) | 2022-10-04 |
CN112949375A (zh) | 2021-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110199321B (zh) | 用于混合现实***的定位确定 | |
Rehman et al. | Augmented-reality-based indoor navigation: A comparative analysis of handheld devices versus *** glass | |
TWI574223B (zh) | 運用擴增實境技術之導航系統 | |
US9135513B2 (en) | Image processing apparatus and method for obtaining position and orientation of imaging apparatus | |
EP3104329B1 (en) | Image processing device and image processing method | |
US10800550B2 (en) | Positioning enhancements to localization process for three-dimensional visualization | |
JP2019041261A (ja) | 画像処理システムおよび画像処理システムの設定方法 | |
JP2005256232A (ja) | 3dデータ表示方法、装置、およびプログラム | |
CN110869978A (zh) | 信息处理装置和信息处理方法 | |
Makibuchi et al. | Vision-based robust calibration for optical see-through head-mounted displays | |
CN112949375A (zh) | 计算***、计算方法及存储介质 | |
Damgrave et al. | The drift of the xsens moven motion capturing suit during common movements in a working environment | |
JP2014209680A (ja) | 土地境界表示プログラム、方法、及び端末装置 | |
US20200388078A1 (en) | Apparatus for positioning processing between image in real world and image in virtual world, information processing method, and storage medium | |
CN111338466B (zh) | 控制虚拟现实显示单元的方法和装置 | |
WO2020149149A1 (en) | Information processing apparatus, information processing method, and program | |
JP7516037B2 (ja) | 算出システム、算出方法、プログラム、及び記憶媒体 | |
JP2021009557A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2018134866A1 (ja) | カメラ校正装置 | |
JP2022125973A (ja) | 位置推定装置および位置推定プログラム並びに位置推定方法 | |
Siltanen et al. | Automatic marker field calibration | |
JPWO2021111613A1 (ja) | 3次元地図作成装置、3次元地図作成方法、及び3次元地図作成プログラム | |
JP2020008981A (ja) | 支援装置及びプログラム | |
JP2020017096A (ja) | 計測装置、計測方法及び計測プログラム | |
KR20140089220A (ko) | 군사 작전 통제 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221026 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20230623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240404 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240604 |