JP7445455B2

JP7445455B2 - 判定装置

Info

Publication number: JP7445455B2
Application number: JP2020026794A
Authority: JP
Inventors: 洋一佐藤; 麿介菊池; 匠一郎迫; 勇輝田中
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2020-02-20
Filing date: 2020-02-20
Publication date: 2024-03-07
Anticipated expiration: 2040-02-20
Also published as: US11610300B2; EP3869429A1; JP2021131736A; US20210264580A1

Description

本発明は、判定装置に係り、部品と作業手順書とが整合するか否かを判定する判定装置に関する。

部品の生産量が多い場合（すなわち部品のロットが大きい場合）は、例えば、製造ラインで搬送しながら部品を製造する場合が多いが、例えば、航空機の部品のように多品種少量生産であり部品ごとのロットが小さい場合、作業者が１つ１つ部品を製造していくようなものも少なくない。
そして、このような多品種少量生産の生産現場においても、できるだけ人手を介さずにコンピュータで自動的に生産管理等を行うための技術が種々提案されている（例えば特許文献１～３等参照）。

特開２０１４－０３５６３５号公報特開２０１６－２２１６７１号公報特許第６４９１１９４号公報

ところで、例えば製造した部品に対してナンバリングを行う際、部品の生産量が多い場合は、例えば、製造ラインで搬送されながら製造されてきた部品に対して製造ライン上で自動的にナンバリングを行うことが可能であるが、多品種少量生産の場合には、部品と作業手順書（当該部品の特定のために部品の製造手順等を記載したもの）とが整合していることを作業者等が目視で確認したうえでナンバリングを行う場合が少なくない。

しかし、作業者等が、製造された部品を作業手順書と一緒に人力で次工程に送る場合などに、部品と作業手順書との不整合（すなわち部品と作業手順書に対応する本来の部品とが異なる部品であること）が生じる場合があるが、例えば航空機の部品には部品同士が非常に似ていて違いが分かりにくい部品も多く、部品と作業手順書との間に不整合が生じていてもそれに気付かずにナンバリングが行われてしまう問題（ナンバリング間違い）が発生することがある。

本発明は、上記の点を鑑みてなされたものであり、部品と作業手順書との間に不整合が生じているか否かを的確に判定することが可能な判定装置を提供することを目的とする。

前記の問題を解決するために、請求項１に記載の発明は、判定装置において、撮像された部品の画像と、作業手順書に対応付けられた、部品が撮像された正となる画像とを比較して、前記部品の画像に写っている部品形状と、前記正となる画像に写っている部品形状とが一致するか否かを判定して、２つの前記部品形状が一致しない場合に、前記部品と前記作業手順書とが整合していないと判定し、
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、当該作業手順書に対応付けられた前記正となる画像を前記表示画面上に表示させることを特徴とする。

請求項２に記載の発明は、判定装置において、撮像された部品の画像と、作業手順書に対応付けられた、部品が撮像された正となる画像とを比較して、前記部品の画像に写っている部品形状と、前記正となる画像に写っている部品形状とが一致するか否かを判定して、２つの前記部品形状が一致しない場合に、前記部品と前記作業手順書とが整合していないと判定し、
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、前記正となる画像の中から当該部品が撮像されている前記正となる画像を抽出し、抽出した前記正となる画像に対応付けられている作業手順書及び／又は当該作業手順書に関する情報を前記表示画面上に表示させることを特徴とする。

本発明によれば、部品と作業手順書との間に不整合が生じているか否かを的確に判定することが可能となる。

本実施形態に係る判定システムの構成を表す図である。（ａ）、（ｂ）照明装置の高さや光の照射方向が異なると部品の影のでき方が変わることを説明する図である。（ａ）ユーザが持参した部品を撮像した画像の例を表す図であり、（ｂ）ユーザが持参した作業手順書に対応付けられた正画像の例を表す図である。判定装置が部品と作業手順書とが整合していると判定した場合の表示画面上の表示例を表す図である。判定装置が部品と作業手順書とが整合していないと判定した場合に表示画面上に正画像を表示する場合の表示例を表す図である。判定装置が部品と作業手順書とが整合していないと判定した場合に表示画面上に作業手順書を表示する場合の表示例を表す図である。

以下、本発明に係る判定装置及び判定システムの実施の形態について、図面を参照して説明する。
なお、以下においても、航空機の部品を製造する場合を例示して説明するが、本発明はその場合に限定されない。

図１は、本実施形態に係る判定システムの構成を表す図である。
本実施形態では、判定システム１０は、判定装置１と、入力装置２と、撮像装置３と、データベース４等を備えて構成されている。
なお、判定システム１０には、この他、照明装置等の必要な機器が設けられる。

入力装置２は、作業手順書Ａの番号を入力するための装置であり、本実施形態では、作業手順書Ａに記載されている、作業手順書Ａの番号の情報を含む２次元コードを読み取って入力するコードリーダである。
なお、キーボード等を入力装置２として用いることも可能である。

撮像装置３は、部品Ｂを撮像する装置であり、本実施形態では、ＲＧＢの色空間で表現されるカラーの静止画像Ｉを撮像するようになっている。そして、撮像装置３は、部品Ｂを撮像すると、撮像した画像Ｉを判定装置１に送信するようになっている。
なお、本実施形態では、部品Ｂは図示しない治具で固定された状態で撮像されるようになっており、撮像装置３と部品Ｂとの位置関係は、後述するその部品Ｂの正画像Ｉ０（正しく製造された部品Ｂが撮像された正となる画像）を撮像した場合と同じ位置関係になるようになっている。

データベース４は、判定装置１に内蔵された記憶手段でもよい。また、データベース４は、判定装置１等と必ずしも直接接続されている必要はなく、例えば、通信ネットワークを介して接続されていたり、あるいはクラウド上に設けられていてもよい。
データベース４には、作業手順書Ａとそれに対応する部品Ｂの正画像Ｉ０が作業手順書Ａごとに対応付けられて予め保存されている。

なお、正画像Ｉ０は、例えば航空機の組み立てにおいては当該部品Ｂを最初に製造した際に作業手順書通りに製造されているかを綿密に検査（初回検査）したうえで撮像された画像である。
そして、その際に、部品Ｂが図示しない治具で固定された状態で正画像Ｉ０が撮像される。

そして、前述したように、次回以降の製造時に本実施形態に係る判定システム１０の撮像装置３で画像Ｉを撮像する際も、正画像Ｉ０を撮像した際と同じ状態で部品Ｂを治具で固定した状態で画像Ｉが撮像される。
すなわち、撮像装置３が、部品Ｂや治具に対して、初品検査の際と同じ距離で同じ方向から同じ倍率で撮像される。そのため、本実施形態に係る判定システム１０の撮像装置３で画像Ｉを撮像する際の撮像装置３と部品Ｂとの位置関係は、初品検査の際に正画像Ｉ０を撮像したときと同じ位置関係になる。

次に、本実施形態に係る判定装置１について説明する。
判定装置１は、本実施形態では、図示しないＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータにより構成されているが、例えば専用装置等で構成されていてもよい。また、判定装置１は、液晶ディスプレイや有機ＥＬディスプレイなどで構成された表示画面１１を備えている。

判定装置１は、入力装置２により入力された番号の作業手順書Ａに対応付けられた正画像Ｉ０をデータベース４から読み出して、撮像装置３により撮像された部品Ｂの画像Ｉと、入力装置２により入力された番号の作業手順書Ａに対応付けられた正画像Ｉ０とを比較して、撮影された部品Ｂの画像Ｉに写っている部品形状と、正画像Ｉ０に写っている部品形状とが一致するか否かを判定して、２つの部品形状が一致しない場合に、部品Ｂと作業手順書Ａとが整合していないと判定するようになっている。

以下、作業の流れに沿って、判定装置１の上記の構成やさらなる構成を説明する。また、作用効果についてもあわせて説明する。

作業者等のユーザは、製造した部品Ｂとそれに対応する作業手順書Ａとを判定システム１０に持参し、入力装置２であるコードリーダで作業手順書Ａの２次元コードを読み取らせて作業手順書Ａの番号等を入力する。
また、部品Ｂを撮像装置３の前方に配置された図示しない治具で固定して、撮像装置３で部品Ｂを撮像する。

判定装置１は、作業手順書Ａの番号等が入力されると、データベース４から当該番号の作業手順書Ａに対応付けられた正画像Ｉ０を読み出す。
そして、撮像装置３により撮像された部品Ｂの画像Ｉから、画像Ｉに写っている部品Ｂの部品形状を割り出す。また、正画像Ｉ０に写っている部品形状を割り出す。

なお、部品Ｂの撮像時に、例えば図２（ａ）、（ｂ）に示すように、照明装置５の高さや光の照射方向が異なると、撮像装置３に対する部品Ｂの距離や向きが同じでも、部品Ｂの影Ｓのでき方が変わる。そのため、画像中に部品Ｂの影Ｓが写った状態のまま部品形状を割り出すと、部品Ｂが画像中に同じ状態で写っている場合でも、影Ｓの形が異なるために異なる部品形状が割り出されてしまう可能性がある。

そこで、画像から部品形状を割り出す際に、例えば、撮像装置３で撮像された画像Ｉや正画像Ｉ０のＲＧＢの色空間をＨＳＶの色空間に変換し、そのうち色相（Ｈ成分）及び彩度（Ｓ成分）に基づいて画像Ｉや正画像Ｉ０を修正することが可能である。修正した画像Ｉや正画像Ｉ０は明度（Ｖ成分）を有していないため、明度の差として現れる影Ｓは修正した画像Ｉや正画像Ｉ０からは削除される。
そのため、このようにして修正した画像Ｉや正画像Ｉ０を作成し、修正した画像Ｉや正画像Ｉ０に写っている部品Ｂの部品形状をそれぞれ割り出すように構成することも可能である。

そして、判定装置１は、撮影された部品Ｂの画像Ｉ（又は修正した画像Ｉ。以下同じ。）に写っている部品Ｂの部品形状と、正画像Ｉ０（又は修正した正画像Ｉ０。以下同じ。）に写っている部品Ｂの部品形状とを比較して、部品形状同士が一致するか否かを判定する。なお、各画像に写っている部品形状が一致するか否かを判定する方法は公知であり、説明を省略する。
そして、判定装置１は、２つ画像Ｉ、Ｉ０に写っている各部品形状が一致しないと判定した場合に、部品Ｂと作業手順書Ａとが整合していないと判定するようになっている

具体的には、例えば、ユーザが持参した部品Ｂを撮像した画像Ｉが図３（ａ）に示す画像であり、ユーザが持参した作業手順書Ａに対応付けられた正画像Ｉ０が図３（ｂ）に示す画像であった場合、判定装置１は、２つ画像Ｉ、Ｉ０に写っている各部品形状が一致しないと判定する。
そして、この場合、正画像Ｉ０に撮像されている部品Ｂ０は、ユーザが持参した部品Ｂとは異なる部品であるため、正画像Ｉ０が対応付けられている作業手順書Ａは部品Ｂ０に関するものであり、部品Ｂに関するものではない。

そのため、判定装置１は、このような場合には、ユーザが持参した部品Ｂと作業手順書Ａとが整合していないと判定するようになっている。
なお、本実施形態では、判定装置１は、撮像された部品Ｂの画像Ｉと、作業手順書Ａに対応付けられた正画像Ｉ０とを比較して、部品Ｂの画像Ｉに写っている部品Ｂの部品形状と、正画像Ｉ０に写っている部品形状とが一致する場合には、ユーザが持参した部品Ｂと作業手順書Ａとが整合していると判定する。

以上のように、本実施形態に係る判定装置１や判定システム１０によれば、ユーザが持参した部品Ｂを撮影した画像Ｉに写っている部品形状と、ユーザが持参した作業手順書に対応付けられた正画像Ｉ０に写っている部品形状とを比較して、２つの部品形状が一致する場合にユーザが持参した部品Ｂと作業手順書Ａとが整合しており、それらが一致しない場合に、ユーザが持参した部品Ｂと作業手順書Ａとが整合していないと判定する。

そのため、部品Ｂを撮影した画像Ｉと、作業手順書Ａに対応付けられた正画像Ｉ０とを比較することで、ユーザが持参した部品Ｂと作業手順書Ａとの間に不整合が生じているか否かを的確に判定することが可能となる。
そのため、例えば、ユーザが持参した部品Ｂと作業手順書Ａとが整合している場合にのみ当該部品Ｂにナンバリングを行うようにすることで、ナンバリング間違い等の問題が発生することを的確に防止することが可能となる。

ところで、上記のように、判定装置１が、ユーザが持参した部品Ｂと作業手順書Ａとが整合していると判定した場合に、当該部品Ｂを当該作業手順書Ａとともに後工程に送ってよいことを表すために、判定装置１は、例えば図４に示すように、表示画面１１上に、撮像画像３が撮像した部品Ｂの画像Ｉとともに「ＯＫ」等の表示を行うなどして、ユーザが持参した部品Ｂと作業手順書Ａとが整合していることをユーザに報知するように構成することが可能である。音声等で報知するように構成してもよい。

このように構成すれば、ユーザは、持参した部品Ｂと作業手順書Ａとが整合していることを確認して、安心して部品Ｂと作業手順書Ａとナンバリング等の後工程に送ることが可能となる。
なお、以下においても同様であるが、判定装置１は、表示画面１１上に上記の報知とともに種々の情報等を表示するなどして、ユーザに知らせるように構成することも可能であり適宜実施される。

一方、判定装置１は、上記のようにしてユーザが持参した部品Ｂと作業手順書Ａとが整合していないと判定した場合に、それをユーザに示すために、ユーザが持参した作業手順書Ａに対応付けられた正画像Ｉ０を表示画面１１上に表示させるように構成することが可能である。
この場合、判定装置１は、ユーザが持参した部品Ｂと作業手順書Ａとが整合していないことを報知するために、例えば図５に示すように、表示画面１１上に「不整合」等の表示を行う。そして、「お持ちの作業手順書に対応する部品は以下のものです。」等の表示とともに正画像Ｉ０を大きく表示させるなどして、ユーザが持参した作業手順書Ａに対応する部品Ｂ０をユーザに知らせるように構成することが可能である。

この場合、ユーザは、表示された部品Ｂ０を探し出し、撮像装置３の前に部品Ｂ０を置いて撮像し、上記と同様にして判定装置１に判定させて、新たに持参した部品Ｂ０と作業手順書Ａとが整合しているか否かを判定装置１に判定させる。
そして、判定装置１は、ユーザが持参した部品が、ユーザが持参した作業手順書Ａと整合していると判定した場合には図４に示したように「ＯＫ」等の表示を行ってユーザが持参した部品Ｂ０が作業手順書Ａと整合していることをユーザに報知する。

また、判定装置１は、ユーザが持参した部品が、ユーザが持参した作業手順書Ａと整合していないと判定した場合には図５に示したように再度「不整合」等の表示を行ったりユーザが持参した作業手順書Ａに対応する部品Ｂ０（正画像Ｉ０）を再度大きく表示させるなどして、ユーザが持参した部品Ｂと作業手順書Ａとが整合していないことを改めて報知する。
そして、持参した部品Ｂが作業手順書Ａと整合するまで、ユーザは上記の作業を繰り返す。

他方で、作業手順書Ａと整合しなかった部品Ｂについては、それに対応する作業手順書Ａがない状態になっている。
そこで、部品Ｂに対応する作業手順書Ａを探すようにユーザを促すよう構成することも可能である。

すなわち、判定装置１は、上記のようにしてユーザが持参した部品Ｂと作業手順書Ａとが整合していないと判定した場合に、データベース４に保存されている正画像Ｉ０の中から当該部品Ｂが撮像されている正画像Ｉ０を抽出し、抽出した正画像Ｉ０に対応付けられている作業手順書Ａ０や当該作業手順書Ａ０に関する情報を表示画面１１上に表示させるように構成することが可能である。
この場合、上記と同様にして、撮像装置３により撮像された部品Ｂの画像Ｉに写っている部品Ｂの部品形状と、正画像Ｉ０に写っている部品形状とを比較して、部品形状が一致した正画像Ｉ０を抽出するように構成することができる。

そして、この場合も、判定装置１は、ユーザが持参した部品Ｂと作業手順書Ａとが整合していないことを報知するために、例えば図６に示すように、表示画面１１上に「不整合」等の表示を行う。
そして、「お持ちの部品に対応する作業手順書は以下のものです。」等の表示とともに、抽出した正画像Ｉ０に対応付けられている作業手順書Ａ０を大きく表示させるなどして、ユーザが持参した部品Ｂに対応する作業手順書Ａをユーザに知らせるように構成することが可能である。
作業手順書Ａそのものを表示する代わりに、あるいはそれとともに、番号等の作業手順書Ａに関する情報を表示するように構成してもよい。

この場合、ユーザは、表示された作業手順書Ａを探し出し、入力装置２であるコードリーダで作業手順書Ａの２次元コードを読み取らせるなどして作業手順書Ａの番号等を入力し、上記と同様にして判定装置１に判定させて、部品Ｂと新たに持参した作業手順書Ａとが整合しているか否かを判定装置１に判定させる。
そして、判定装置１は、ユーザが持参した作業手順書Ａが、ユーザが持参した部品Ｂと整合していると判定した場合には図４に示したように「ＯＫ」等の表示を行ってユーザが持参した作業手順書Ａが部品Ｂと整合していることをユーザに報知する。

また、判定装置１は、ユーザが持参した作業手順書Ａが、ユーザが持参した部品Ｂと整合していないと判定した場合には図５に示したように再度「不整合」等の表示を行ったり当該部品Ｂに対応する作業手順書Ａ０を再度大きく表示させるなどして、ユーザが持参した部品Ｂと作業手順書Ａとが整合していないことを改めて報知する。
そして、持参した作業手順書Ａが部品Ｂと整合するまで、ユーザは上記の作業を繰り返す。

以上のように、本実施形態に係る判定装置１や判定システム１０は、ユーザが持参した部品Ｂと作業手順書Ａとが整合しているか否かを的確に判定し、ユーザが持参した部品Ｂと作業手順書Ａとが整合していない場合に、ユーザが持参した作業手順書Ａに対応付けられた正画像Ｉ０を表示して正しい部品Ｂ０をユーザに知らせたり、ユーザが持参した部品Ｂに対応する正しい作業手順書Ａ０やそれに関する情報を表示してユーザに知らせるように構成することで、ユーザに、作業手順書Ａと整合する正しい部品Ｂ０を見つけ出させたり、部品Ｂと整合する正しい作業手順書Ａ０を見つけ出させることができ、部品Ｂと作業手順書Ａとを的確に整合させることが可能となる。
そのため、ユーザは、部品Ｂと作業手順書Ａとが整合したことを確認して、安心して部品Ｂと作業手順書Ａとナンバリング等の後工程に送ることが可能となる。

なお、本発明が上記の実施形態等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
例えば、図５や図６では、判定装置１の表示画面１１上に、ユーザが持参した部品Ｂを撮像した画像Ｉを表示する場合を示したが、ユーザが持参した部品Ｂを撮像した画像Ｉを表示画面１１上に必ずしも表示しなくてもよい。

また、図示を省略するが、例えば、判定装置１が、ユーザが持参した部品Ｂと作業手順書Ａとが整合していると判定した場合に、部品Ｂを自動的にナンバリング装置に搬送するとともに、判定装置１からナンバリング装置に必要な情報を送信するなどして、ナンバリング装置で自動的に部品Ｂにナンバリングを施すように構成することも可能である。
さらに、判定装置１や判定システム１０による判定処理の後工程は、必ずしも部品Ｂに対するナンバリング処理でなくてもよい。
本発明に係る判定装置１や判定システム１０は、部品Ｂと作業手順書Ａとの整合を確認するために広く使用することが可能であり、また、部品Ｂと整合する作業手順書Ａや、作業手順書Ａと整合する部品Ｂを探す際などにも使うことができる。

１判定装置
２入力装置
３撮像装置
４データベース
１０判定システム
１１表示画面
Ａ作業手順書
Ｂ部品
Ｉ画像
Ｉ０正画像（正となる画像）

Claims

撮像された部品の画像と、作業手順書に対応付けられた、部品が撮像された正となる画像とを比較して、前記部品の画像に写っている部品形状と、前記正となる画像に写っている部品形状とが一致するか否かを判定して、２つの前記部品形状が一致しない場合に、前記部品と前記作業手順書とが整合していないと判定し、
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、当該作業手順書に対応付けられた前記正となる画像を前記表示画面上に表示させることを特徴とする判定装置。
撮像された部品の画像と、作業手順書に対応付けられた、部品が撮像された正となる画像とを比較して、前記部品の画像に写っている部品形状と、前記正となる画像に写っている部品形状とが一致するか否かを判定して、２つの前記部品形状が一致しない場合に、前記部品と前記作業手順書とが整合していないと判定し、
表示画面を備え、前記部品と前記作業手順書とが整合していないと判定した場合に、前記正となる画像の中から当該部品が撮像されている前記正となる画像を抽出し、抽出した前記正となる画像に対応付けられている作業手順書及び／又は当該作業手順書に関する情報を前記表示画面上に表示させることを特徴とする判定装置。