JP5062774B2 - 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 - Google Patents
作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 Download PDFInfo
- Publication number
- JP5062774B2 JP5062774B2 JP2009123269A JP2009123269A JP5062774B2 JP 5062774 B2 JP5062774 B2 JP 5062774B2 JP 2009123269 A JP2009123269 A JP 2009123269A JP 2009123269 A JP2009123269 A JP 2009123269A JP 5062774 B2 JP5062774 B2 JP 5062774B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- data
- virtual
- vehicle
- worker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 68
- 230000033001 locomotion Effects 0.000 claims description 67
- 238000004519 manufacturing process Methods 0.000 claims description 40
- 238000013500 data storage Methods 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 239000011521 glass Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
2……モーションキャプチャ装置
21……磁気式3次元位置姿勢センサ
22……信号処理部
3……ヘッドマウントディスプレイ装置
31……ディスプレイ
33……視線センサ
4……データ処理装置
41……作業解析部
43……データ記憶部
431……工程順序データベース
432……車両データベース
433……部品データベース
434……設備データベース
435……タクトタイムデータベース
5……眼鏡
Claims (15)
- 工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うことができる作業訓練システムであって、
前記作業者の頭部に装着され、前記仮想車両及び前記仮想部品をディスプレイ画面上に表示させるヘッドマウントディスプレイ装置と、
前記仮想車両及び前記仮想部品の3次元モデルを生成するための基本データ群と共に、前記仮想車両に前記仮想部品を組み付けるための標準作業軌跡を示す標準作業軌跡データが登録されたデータ記憶部と、
前記データ記憶部に登録された前記基本データ群に基づき前記仮想車両の3次元モデル及び前記仮想部品の3次元モデルを作成する作業解析部を備えているデータ処理装置と、
前記生産ライン上を移動しながら所定の工程順序による組立作業を行っている前記作業者の手の動作を経時的に測定して、その測定結果である動作情報を3次元座標データとして前記データ処理装置に送信するモーションキャプチャ装置とから構成され、
前記作業解析部は、
予め定められた設定時間に応じて前記仮想車両の3次元モデルが前記生産ライン上で流れているように前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に表示させる第1の表示機能と、
前記データ記憶部に登録された前記標準作業軌跡データに基づき前記標準作業軌跡を前記予め定められた設定時間に応じて前記生産ライン上で流れているように前記ディスプレイ画面上に表示されている前記仮想車両の3次元モデルに対応して当該ディスプレイ画面上に表示させる第2の表示機能と、
前記モーションキャプチャ装置から時系列で受信する前記3次元座標データに基づき3次元点群データによる作業軌跡データを作成する作業軌跡作成機能と、
前記作業軌跡作成機能で作成した前記作業軌跡データと前記データ記憶部に登録した前記標準作業軌跡データとを比較して、前記作業軌跡データが前記標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する部品組付判定機能とを有することを特徴とする作業訓練システム。 - 前記作業軌跡作成機能は、前記3次元点群データによる前記作業軌跡データを作成するにあたり、前記3次元座標データに対応する回転角データを算出した場合には、前記3次元座標データ及び前記回転角データに基づき前記3次元点群データによる前記作業軌跡データを作成することを特徴とする請求項1記載の作業訓練システム。
- 前記作業解析部は、前記仮想部品の3次元モデルを前記作業軌跡作成機能で作成した前記作業軌跡データにリンクさせて、前記仮想部品の3次元モデルが前記作業軌跡データに基づく作業軌跡に沿って移動するように前記ディスプレイ画面上に表示させる第3の表示機能を有することを特徴とする請求項1又は請求項2記載の作業訓練システム。
- 前記部品組付判定機能は、前記仮想部品の組み付けが正常終了したものと判定した場合には、前記仮想車両の3次元モデルに前記仮想部品の3次元モデルが組み込まれた状態で固定表示させることを特徴とする請求項1乃至請求項3のうち何れか1項に記載の作業訓練システム。
- 前記ヘッドマウントディスプレイ装置は前記作業者の視線方向を検出する視線センサを備え、
前記作業解析部は、前記仮想車両の3次元モデル、前記仮想部品の3次元モデル及び前記標準作業軌跡の各映像を、前記視線センサで得られた前記作業者の前記視線方向に応じて前記ディスプレイ画面上に移動可能に表示させる第4の表示機能を有することを特徴とする請求項1乃至請求項4のうち何れか1項に記載の作業訓練システム。 - 前記モーションキャプチャ装置は、経時的に測定する対象が、部品を組み付ける作業を行っている作業者の作業動作の場合には、
作業者の手指に装着される複数の磁気式3次元位置姿勢センサと、
前記磁気式3次元位置姿勢センサ群で検出された前記作業者の作業動作である前記動作情報を受信して前記データ処理装置に送信する信号処理部とを備えていることを特徴とする請求項1乃至請求項5のうち何れか1項に記載の作業訓練システム。 - 前記ヘッドマウントディスプレイ装置は、前記現実空間からの像を透過すると共に前記ディスプレイ画面上に表示された前記仮想空間の映像を反射することで、前記現実空間からの像に前記仮想空間の映像を投影するハーフミラーを有する光学透過型であることを特徴とする請求項1乃至請求項6のうち何れか1項に記載の作業訓練システム。
- 前記ヘッドマウントディスプレイ装置は眼鏡に組み込まれていることを特徴とする請求項7記載の作業訓練システム。
- 前記基本データ群は、
前記生産ラインに流す前記仮想車両に対応する作業の順番、内容の工程順序データを保存する工程順序データベースと、
前記工程順序データベースに保存された前記工程順序データに対応する前記仮想車両の車両データを保存する車両データベースと、
前記車両データベースに保存された前記車両データに対応する前記仮想部品の部品データを保存する部品データベースと、
前記工程順序データベースに保存された前記工程順序データに対応する各種設備の設備データを保存する設備データベースと、
前記工程順序データベースに保存された前記工程順序データに対応するタクトタイムデータを保存するタクトタイムデータベースとから構成され、
前記作業解析部は、前記工程順序データベースから呼び出された所定の前記工程順序データに基づき前記車両データベース、前記部品データベース、前記設備データベース及び前記タクトタイムデータベースからそれぞれ対応する前記データを選択するデータ選択機能を有することを特徴とする請求項1乃至請求項8のうち何れか1項に記載の作業訓練システム。 - 工場内の生産ラインにおいて、仮想空間の映像を現実空間に重畳させることで、作業者が仮想車両に仮想部品を組み付ける作業訓練を行うために、前記仮想車両及び前記仮想部品の3次元モデルを生成するための基本データ群と共に、前記仮想車両に前記仮想部品を組み付けるための標準作業軌跡を示す標準作業軌跡データが登録され、さらに前記基本データ群として前記仮想車両の車両データが登録されたデータ記憶部の当該基本データ群に基づき、データ処理装置の作業解析部で前記仮想車両及び前記仮想部品の3次元モデルを作成して、前記作業者の頭部に装着されたヘッドマウントディスプレイ装置のディスプレイ画面上に表示させ、前記生産ライン上を移動しながら所定の工程順序による組立作業を行っている前記作業者の手の動作をモーションキャプチャ装置によって経時的に測定して、その測定結果である動作情報を3次元座標データとして前記作業解析部に送信することで、当該作業者による作業動作を標準作業動作と比較する作業訓練方法であって、
前記作業解析部が、
前記作業者が前記作業訓練を開始すると、前記データ記憶部に格納された前記基本データ群を呼び出し、前記基本データ群に基づき前記ヘッドマウントディスプレイ装置の前記ディスプレイ画面上に、前記仮想車両の3次元モデルを表示させる第1のステップと、
前記モーションキャプチャ装置から前記3次元座標データを取得する第2のステップと、
前記第2のステップで取得した前記3次元座標データから前記作業者の作業位置を算出する第3のステップと、
前記ヘッドマウントディスプレイ装置に備えられた視線センサによって検出した前記作業者の視線方向のデータを取得して視線方向を算出する第4のステップと、
前記第3のステップで算出した前記作業者の前記作業位置及び前記第4のステップで算出した前記作業者の前記視線方向に基づく前記車両データ及び前記標準作業軌跡データを作成する第5のステップと、
前記車両データ及び前記標準作業軌跡データに基づき前記ディスプレイ画面上に前記仮想車両の3次元モデルと前記標準作業軌跡とを予め定められた設定時間に応じて前記生産ライン上で流れているように移動表示させる第6のステップと、
前記標準作業軌跡に従って部品組付作業を行っている前記作業者が装着した前記モーションキャプチャ装置から前記3次元座標データを時系列で取得する第7のステップと、
前記第7のステップで取得した前記3次元座標データに基づき3次元点群データによる作業軌跡データを作成する第8のステップと、
前記第8のステップで作成した前記作業軌跡データと前記標準作業軌跡データとを比較して、前記作業軌跡データが前記標準作業軌跡に設定された閾値内の場合には部品の組み付けが正常終了したものと判定する第9のステップとを実行することを特徴とする作業訓練方法。 - 前記第7のステップと前記第8のステップとの間に前記3次元座標データに対応する回転角データを算出するステップを有し、
前記第8のステップでは、前記回転角データを算出するステップを実行した場合には、前記3次元座標データ及び前記回転角データに基づき前記3次元点群データによる前記作業軌跡データを作成することを特徴とする請求項10記載の作業訓練方法。 - 前記予め定められた設定時間はタクトタイムであることを特徴とする請求項10又は請求項11記載の作業訓練方法。
- 前記第8のステップと前記第9のステップとの間には、前記仮想部品の3次元モデルを前記第8のステップで作成した前記作業軌跡データにリンクさせて、前記仮想部品の3次元モデルが前記作業軌跡データに基づく作業軌跡に沿って移動するように前記ディスプレイ画面に表示させるステップを有することを特徴とする請求項10乃至請求項12のうち何れか1項に記載の作業訓練方法。
- 前記第9のステップでは、前記仮想部品の組み付けが正常終了したものと判定した場合には、前記仮想車両の3次元モデルに前記仮想部品の3次元モデルが組み込まれた状態で固定表示させることを特徴とする請求項10乃至請求項13のうち何れか1項に記載の作業訓練方法。
- 請求項10乃至請求項14のうち何れか1項に記載の作業訓練方法の前記各ステップを、請求項10に記載の前記データ処理装置の前記作業解析部に実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009123269A JP5062774B2 (ja) | 2009-05-21 | 2009-05-21 | 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009123269A JP5062774B2 (ja) | 2009-05-21 | 2009-05-21 | 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010271536A JP2010271536A (ja) | 2010-12-02 |
JP5062774B2 true JP5062774B2 (ja) | 2012-10-31 |
Family
ID=43419602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009123269A Expired - Fee Related JP5062774B2 (ja) | 2009-05-21 | 2009-05-21 | 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5062774B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103713545A (zh) * | 2013-12-17 | 2014-04-09 | 华为技术有限公司 | 操作指导方法、装置及*** |
CN106354988A (zh) * | 2015-07-07 | 2017-01-25 | 宇龙计算机通信科技(深圳)有限公司 | 球类运动指导方法、智能穿戴设备及服务器 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012133841A1 (ja) | 2011-03-30 | 2012-10-04 | 日本電気株式会社 | データ関連度判定装置、データ関連度判定方法、および、記録媒体 |
CN102231192A (zh) * | 2011-05-31 | 2011-11-02 | 福建物联天下信息科技有限公司 | 一种采集动作数据进行比对并得出比对相似度结果的*** |
US8924327B2 (en) | 2012-06-28 | 2014-12-30 | Nokia Corporation | Method and apparatus for providing rapport management |
US9681186B2 (en) | 2013-06-11 | 2017-06-13 | Nokia Technologies Oy | Method, apparatus and computer program product for gathering and presenting emotional response to an event |
JP6643170B2 (ja) * | 2016-04-11 | 2020-02-12 | 株式会社日立製作所 | 作業支援システム及び方法 |
CN106774923B (zh) * | 2016-12-30 | 2022-07-01 | 天津天堰科技股份有限公司 | 一种显示操作轨迹的虚拟消毒训练*** |
JP6253834B1 (ja) * | 2017-04-11 | 2017-12-27 | 大豊精機株式会社 | 仮想作業表示方法、仮想作業データ作成方法、及び3次元空間けがきデータ作成方法 |
KR102044856B1 (ko) * | 2017-12-28 | 2019-11-14 | 광운대학교 산학협력단 | 가상현실 기반으로 오토마타를 조립하고 시뮬레이션하는 장치 및 방법 |
JP7126980B2 (ja) * | 2019-03-28 | 2022-08-29 | 株式会社Subaru | 搬送要領表示システム |
JP6647584B1 (ja) * | 2019-08-06 | 2020-02-14 | 株式会社エクサウィザーズ | 情報処理装置及びプログラム |
JP7448327B2 (ja) * | 2019-09-26 | 2024-03-12 | ファナック株式会社 | 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法 |
CN112016409A (zh) * | 2020-08-11 | 2020-12-01 | 艾普工华科技(武汉)有限公司 | 一种基于深度学习的工步规范视觉识别判定方法及*** |
CN113706960B (zh) * | 2021-08-29 | 2023-01-20 | 华中科技大学同济医学院附属协和医院 | 一种基于vr技术的护理操作练习平台及使用方法 |
CN114913760B (zh) * | 2022-05-10 | 2023-04-18 | 九江职院船舶与海洋工程技术有限公司 | 一种基于在线模拟的机械智能制造用生产模拟*** |
CN115793862B (zh) * | 2023-01-05 | 2023-04-28 | 东云睿连(武汉)计算技术有限公司 | 一种图像目标隐式标注方法、***、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3735086B2 (ja) * | 2002-06-20 | 2006-01-11 | ウエストユニティス株式会社 | 作業誘導システム |
JP2005134536A (ja) * | 2003-10-29 | 2005-05-26 | Omron Corp | 作業訓練支援システム |
JP2006133867A (ja) * | 2004-11-02 | 2006-05-25 | Sharp Corp | 作業時間見積り装置 |
JP4989383B2 (ja) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2009
- 2009-05-21 JP JP2009123269A patent/JP5062774B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103713545A (zh) * | 2013-12-17 | 2014-04-09 | 华为技术有限公司 | 操作指导方法、装置及*** |
CN106354988A (zh) * | 2015-07-07 | 2017-01-25 | 宇龙计算机通信科技(深圳)有限公司 | 球类运动指导方法、智能穿戴设备及服务器 |
Also Published As
Publication number | Publication date |
---|---|
JP2010271536A (ja) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5062774B2 (ja) | 作業訓練システム及び作業訓練方法並びに該作業訓練方法を記録した記録媒体 | |
US8731276B2 (en) | Motion space presentation device and motion space presentation method | |
JP5378374B2 (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
US9104981B2 (en) | Robot teaching system and method using imaging based on training position | |
EP3552077B1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
CN109352658B (zh) | 工业机器人定位操控方法、***及计算机可读存储介质 | |
CN107577045B (zh) | 用于头戴式显示器的预测跟踪的方法、装置及存储介质 | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
JP2010271928A (ja) | 作業アシストシステム及び作業アシスト方法並びに該作業アシスト方法を記録した記録媒体 | |
KR101590331B1 (ko) | 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법 | |
JP2012218120A (ja) | マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法 | |
EP2876624B1 (en) | Maintenance assistant system | |
JP4932048B1 (ja) | 作業支援システム | |
US11192249B2 (en) | Simulation device for robot | |
JP2016197393A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2020137000A (ja) | 映像記録装置およびヘッドマウントディスプレイ | |
US11462126B2 (en) | Work support device and work supporting method | |
JP5284179B2 (ja) | 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体 | |
JP4876141B2 (ja) | 作業ガイドシステム及び作業ガイド方法並びに該作業ガイド方法を記録した記録媒体 | |
JP2004178222A (ja) | 組立性評価方法及びそれを用いた組立性評価支援装置 | |
CN112182763A (zh) | 一种基于vr技术和动作捕捉技术的装配仿真方法 | |
EP3744461A1 (en) | Weld operation measurement system | |
JP2010117886A (ja) | 仮想試作システム及び仮想試作における動作情報の処理方法並びに該処理方法を記録した記録媒体 | |
JP7454046B2 (ja) | ロボット教示装置及び作業教示方法 | |
Ma et al. | A framework for interactive work design based on digital work analysis and simulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120802 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |