JP7445455B2 - 判定装置 - Google Patents
判定装置 Download PDFInfo
- Publication number
- JP7445455B2 JP7445455B2 JP2020026794A JP2020026794A JP7445455B2 JP 7445455 B2 JP7445455 B2 JP 7445455B2 JP 2020026794 A JP2020026794 A JP 2020026794A JP 2020026794 A JP2020026794 A JP 2020026794A JP 7445455 B2 JP7445455 B2 JP 7445455B2
- Authority
- JP
- Japan
- Prior art keywords
- work procedure
- procedure manual
- image
- user
- brought
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 118
- 238000003384 imaging method Methods 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/50—Handling or transporting aircraft components
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
そして、このような多品種少量生産の生産現場においても、できるだけ人手を介さずにコンピュータで自動的に生産管理等を行うための技術が種々提案されている(例えば特許文献1~3等参照)。
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、当該作業手順書に対応付けられた前記正となる画像を前記表示画面上に表示させることを特徴とする。
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、前記正となる画像の中から当該部品が撮像されている前記正となる画像を抽出し、抽出した前記正となる画像に対応付けられている作業手順書及び/又は当該作業手順書に関する情報を前記表示画面上に表示させることを特徴とする。
なお、以下においても、航空機の部品を製造する場合を例示して説明するが、本発明はその場合に限定されない。
本実施形態では、判定システム10は、判定装置1と、入力装置2と、撮像装置3と、データベース4等を備えて構成されている。
なお、判定システム10には、この他、照明装置等の必要な機器が設けられる。
なお、キーボード等を入力装置2として用いることも可能である。
なお、本実施形態では、部品Bは図示しない治具で固定された状態で撮像されるようになっており、撮像装置3と部品Bとの位置関係は、後述するその部品Bの正画像I0(正しく製造された部品Bが撮像された正となる画像)を撮像した場合と同じ位置関係になるようになっている。
データベース4には、作業手順書Aとそれに対応する部品Bの正画像I0が作業手順書Aごとに対応付けられて予め保存されている。
そして、その際に、部品Bが図示しない治具で固定された状態で正画像I0が撮像される。
すなわち、撮像装置3が、部品Bや治具に対して、初品検査の際と同じ距離で同じ方向から同じ倍率で撮像される。そのため、本実施形態に係る判定システム10の撮像装置3で画像Iを撮像する際の撮像装置3と部品Bとの位置関係は、初品検査の際に正画像I0を撮像したときと同じ位置関係になる。
判定装置1は、本実施形態では、図示しないCPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)、入出力インターフェース等がバスに接続されたコンピュータにより構成されているが、例えば専用装置等で構成されていてもよい。また、判定装置1は、液晶ディスプレイや有機ELディスプレイなどで構成された表示画面11を備えている。
また、部品Bを撮像装置3の前方に配置された図示しない治具で固定して、撮像装置3で部品Bを撮像する。
そして、撮像装置3により撮像された部品Bの画像Iから、画像Iに写っている部品Bの部品形状を割り出す。また、正画像I0に写っている部品形状を割り出す。
そのため、このようにして修正した画像Iや正画像I0を作成し、修正した画像Iや正画像I0に写っている部品Bの部品形状をそれぞれ割り出すように構成することも可能である。
そして、判定装置1は、2つ画像I、I0に写っている各部品形状が一致しないと判定した場合に、部品Bと作業手順書Aとが整合していないと判定するようになっている
そして、この場合、正画像I0に撮像されている部品B0は、ユーザが持参した部品Bとは異なる部品であるため、正画像I0が対応付けられている作業手順書Aは部品B0に関するものであり、部品Bに関するものではない。
なお、本実施形態では、判定装置1は、撮像された部品Bの画像Iと、作業手順書Aに対応付けられた正画像I0とを比較して、部品Bの画像Iに写っている部品Bの部品形状と、正画像I0に写っている部品形状とが一致する場合には、ユーザが持参した部品Bと作業手順書Aとが整合していると判定する。
そのため、例えば、ユーザが持参した部品Bと作業手順書Aとが整合している場合にのみ当該部品Bにナンバリングを行うようにすることで、ナンバリング間違い等の問題が発生することを的確に防止することが可能となる。
なお、以下においても同様であるが、判定装置1は、表示画面11上に上記の報知とともに種々の情報等を表示するなどして、ユーザに知らせるように構成することも可能であり適宜実施される。
この場合、判定装置1は、ユーザが持参した部品Bと作業手順書Aとが整合していないことを報知するために、例えば図5に示すように、表示画面11上に「不整合」等の表示を行う。そして、「お持ちの作業手順書に対応する部品は以下のものです。」等の表示とともに正画像I0を大きく表示させるなどして、ユーザが持参した作業手順書Aに対応する部品B0をユーザに知らせるように構成することが可能である。
そして、判定装置1は、ユーザが持参した部品が、ユーザが持参した作業手順書Aと整合していると判定した場合には図4に示したように「OK」等の表示を行ってユーザが持参した部品B0が作業手順書Aと整合していることをユーザに報知する。
そして、持参した部品Bが作業手順書Aと整合するまで、ユーザは上記の作業を繰り返す。
そこで、部品Bに対応する作業手順書Aを探すようにユーザを促すよう構成することも可能である。
この場合、上記と同様にして、撮像装置3により撮像された部品Bの画像Iに写っている部品Bの部品形状と、正画像I0に写っている部品形状とを比較して、部品形状が一致した正画像I0を抽出するように構成することができる。
そして、「お持ちの部品に対応する作業手順書は以下のものです。」等の表示とともに、抽出した正画像I0に対応付けられている作業手順書A0を大きく表示させるなどして、ユーザが持参した部品Bに対応する作業手順書Aをユーザに知らせるように構成することが可能である。
作業手順書Aそのものを表示する代わりに、あるいはそれとともに、番号等の作業手順書Aに関する情報を表示するように構成してもよい。
そして、判定装置1は、ユーザが持参した作業手順書Aが、ユーザが持参した部品Bと整合していると判定した場合には図4に示したように「OK」等の表示を行ってユーザが持参した作業手順書Aが部品Bと整合していることをユーザに報知する。
そして、持参した作業手順書Aが部品Bと整合するまで、ユーザは上記の作業を繰り返す。
そのため、ユーザは、部品Bと作業手順書Aとが整合したことを確認して、安心して部品Bと作業手順書Aとナンバリング等の後工程に送ることが可能となる。
例えば、図5や図6では、判定装置1の表示画面11上に、ユーザが持参した部品Bを撮像した画像Iを表示する場合を示したが、ユーザが持参した部品Bを撮像した画像Iを表示画面11上に必ずしも表示しなくてもよい。
さらに、判定装置1や判定システム10による判定処理の後工程は、必ずしも部品Bに対するナンバリング処理でなくてもよい。
本発明に係る判定装置1や判定システム10は、部品Bと作業手順書Aとの整合を確認するために広く使用することが可能であり、また、部品Bと整合する作業手順書Aや、作業手順書Aと整合する部品Bを探す際などにも使うことができる。
2 入力装置
3 撮像装置
4 データベース
10 判定システム
11 表示画面
A 作業手順書
B 部品
I 画像
I0 正画像(正となる画像)
Claims (2)
- 撮像された部品の画像と、作業手順書に対応付けられた、部品が撮像された正となる画像とを比較して、前記部品の画像に写っている部品形状と、前記正となる画像に写っている部品形状とが一致するか否かを判定して、2つの前記部品形状が一致しない場合に、前記部品と前記作業手順書とが整合していないと判定し、
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、当該作業手順書に対応付けられた前記正となる画像を前記表示画面上に表示させることを特徴とする判定装置。 - 撮像された部品の画像と、作業手順書に対応付けられた、部品が撮像された正となる画像とを比較して、前記部品の画像に写っている部品形状と、前記正となる画像に写っている部品形状とが一致するか否かを判定して、2つの前記部品形状が一致しない場合に、前記部品と前記作業手順書とが整合していないと判定し、
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、前記正となる画像の中から当該部品が撮像されている前記正となる画像を抽出し、抽出した前記正となる画像に対応付けられている作業手順書及び/又は当該作業手順書に関する情報を前記表示画面上に表示させることを特徴とする判定装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026794A JP7445455B2 (ja) | 2020-02-20 | 2020-02-20 | 判定装置 |
EP21151142.3A EP3869429A1 (en) | 2020-02-20 | 2021-01-12 | Determination device and determination system |
US17/147,554 US11610300B2 (en) | 2020-02-20 | 2021-01-13 | Determination device and determination system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020026794A JP7445455B2 (ja) | 2020-02-20 | 2020-02-20 | 判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131736A JP2021131736A (ja) | 2021-09-09 |
JP7445455B2 true JP7445455B2 (ja) | 2024-03-07 |
Family
ID=74175655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020026794A Active JP7445455B2 (ja) | 2020-02-20 | 2020-02-20 | 判定装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11610300B2 (ja) |
EP (1) | EP3869429A1 (ja) |
JP (1) | JP7445455B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211623A (ja) | 2009-03-11 | 2010-09-24 | Brother Ind Ltd | 作業支援システム |
JP2011058954A (ja) | 2009-09-10 | 2011-03-24 | Rexxam Co Ltd | 基板検査装置 |
JP2015089586A (ja) | 2013-11-05 | 2015-05-11 | 小島プレス工業株式会社 | 作業順守支援装置 |
JP2016221671A (ja) | 2015-06-02 | 2016-12-28 | 株式会社リコー | 作業指示システム、画像処理装置、情報処理方法及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5532811B2 (ja) * | 2009-10-02 | 2014-06-25 | 株式会社リコー | パーツカタログ作成支援装置、プログラム、およびパーツカタログ作成支援方法 |
JP2014035635A (ja) | 2012-08-08 | 2014-02-24 | Utsunomiya Univ | 対象物管理システム |
US8887993B2 (en) | 2013-04-23 | 2014-11-18 | The Boeing Company | Barcode access to electronic resources for complex system parts |
US9098593B2 (en) * | 2013-04-23 | 2015-08-04 | The Boeing Company | Barcode access to electronic resources for lifecycle tracking of complex system parts |
JP6165039B2 (ja) * | 2013-12-03 | 2017-07-19 | 三菱日立パワーシステムズ株式会社 | 機器保守サーバ及び機器保守システム |
US20160085426A1 (en) | 2014-09-18 | 2016-03-24 | The Boeing Company | Interactive Imaging System |
CN106231160A (zh) * | 2015-06-02 | 2016-12-14 | 株式会社理光 | 工作指令***、图像处理设备和信息处理方法 |
US9785919B2 (en) | 2015-12-10 | 2017-10-10 | General Electric Company | Automatic classification of aircraft component distress |
US9892558B2 (en) | 2016-02-19 | 2018-02-13 | The Boeing Company | Methods for localization using geotagged photographs and three-dimensional visualization |
JP6608778B2 (ja) * | 2016-08-01 | 2019-11-20 | 株式会社日立製作所 | 作業動作指示装置 |
-
2020
- 2020-02-20 JP JP2020026794A patent/JP7445455B2/ja active Active
-
2021
- 2021-01-12 EP EP21151142.3A patent/EP3869429A1/en active Pending
- 2021-01-13 US US17/147,554 patent/US11610300B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010211623A (ja) | 2009-03-11 | 2010-09-24 | Brother Ind Ltd | 作業支援システム |
JP2011058954A (ja) | 2009-09-10 | 2011-03-24 | Rexxam Co Ltd | 基板検査装置 |
JP2015089586A (ja) | 2013-11-05 | 2015-05-11 | 小島プレス工業株式会社 | 作業順守支援装置 |
JP2016221671A (ja) | 2015-06-02 | 2016-12-28 | 株式会社リコー | 作業指示システム、画像処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11610300B2 (en) | 2023-03-21 |
EP3869429A1 (en) | 2021-08-25 |
JP2021131736A (ja) | 2021-09-09 |
US20210264580A1 (en) | 2021-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7196952B2 (ja) | 顔認識システム、表示制御装置、表示制御方法および表示制御プログラム | |
JP5879725B2 (ja) | 板金工程作業支援システム | |
JP6517666B2 (ja) | 物品管理装置、その方法、及びそのプログラム | |
WO2019065212A1 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
JP6399362B2 (ja) | 結線作業支援システム | |
JP2009289046A (ja) | 3次元データを用いた作業支援装置及び方法 | |
JP2022079619A (ja) | プログラム、端末及び管理システム | |
JP7445455B2 (ja) | 判定装置 | |
JP2017068849A (ja) | 物品の組立て状況情報表示装置 | |
CN111126030B (zh) | 标签排版处理方法及装置、*** | |
KR101845423B1 (ko) | 구조물 검사 지원 장치 및 방법 | |
JP2020126414A (ja) | 機械学習用教師データ作成支援方法、及び機械学習用教師データ作成支援プログラム | |
WO2002003240A1 (en) | Proofreading system of chinese characters by means of one-to-one comparison | |
JP7040333B2 (ja) | 検図支援装置 | |
JP2019158555A (ja) | 欠陥確認装置、欠陥確認方法およびプログラム | |
JP2004272357A (ja) | 画像認識結果提示装置、画像認識結果表示方法、画像認識結果提示プログラムおよび記録媒体 | |
JP3981804B2 (ja) | 変換テーブルの生成方法及び装置、並びに実装基板検査用プログラムの生成方法 | |
JP2020057298A (ja) | 判定装置、判定方法及び判定プログラム | |
JP2020004345A (ja) | 画像照合システム、画像照合方法、及びプログラム | |
JP7280361B2 (ja) | 薬剤識別装置、薬剤識別方法及びプログラム | |
JP2019038550A (ja) | 装置管理システム | |
US11671565B2 (en) | Image processing system, image processing device, image processing method, and non-transitory computer readable medium storing program | |
WO2024018974A1 (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム | |
JP2717692B2 (ja) | 画像着色装置 | |
JP2005309633A (ja) | データ入力支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7445455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |