JP7488467B2 - PART IDENTIFICATION PROGRAM, PART IDENTIFICATION METHOD, AND INFORMATION PROCESSING APPARATUS - Google Patents

Description

本発明は、部品特定プログラム、部品特定方法及び情報処理装置に関する。 The present invention relates to a part identification program, a part identification method, and an information processing device.

工場の組み立てラインなどにおいて、組み立て対象などの装置に含まれる部品の不具合が検出された際、作業者が不具合部品の部品名、部品番号、症状などを人手によりシステムに入力することがあった。また、修理の際には、作業者がＢＯＭ（Bills Of Material）から不具合部品の部品番号を探し出し、代わりの部品を手配する場合があった。このように人が部品名や部品番号などを指定することにより部品を特定する手法がある。 When a defect is detected in a part included in a device being assembled on a factory assembly line, a worker may manually enter the name, part number, and symptoms of the defective part into a system. Also, when repairing a part, a worker may find the part number of the defective part in a bill of materials (BOM) and order a replacement part. In this way, there is a method for identifying parts by having a person specify the part name, part number, etc.

一方、自動運転などの分野ではＡＩ（Artificial Intelligence）による物体検出技術が活用されている。物体検出技術では、画像の中から車両や人などが特定される。
また、従来、部品単体を複数方向から撮影し、撮像画像と各分類項目の画像とを比較することで、その部品がどの分類に属するかを判定する技術が提案されている（たとえば、特許文献１参照）。 Meanwhile, in fields such as autonomous driving, object detection technology using AI (Artificial Intelligence) is being used, which identifies vehicles, people, etc. from images.
Furthermore, a technique has been proposed in the past in which an individual component is photographed from multiple directions and the photographed images are compared with images of each classification item to determine which classification the component belongs to (see, for example, Japanese Patent Laid-Open No. 2003-233694).

また、従来、複数の部品を組合せて構成された３次元モデルをもとに画面に表示された２次元画像への入力操作により、目的の部品の２次元画像を選択し出力する技術が提案されている（たとえば、特許文献２参照）。 Also, a technology has been proposed in the past that selects and outputs a two-dimensional image of a target part by inputting operations into a two-dimensional image displayed on a screen based on a three-dimensional model constructed by combining multiple parts (see, for example, Patent Document 2).

特開２０１９－１２８８８１号公報JP 2019-128881 A 特開２００９－０５４０１８号公報JP 2009-054018 A

上記のように人が部品名や部品番号などを指定することにより部品を特定する手法では、表記ゆれや入力ミスなどが生じ、システムに蓄積された情報が有効に活用できない可能性があることに加え、手間と時間がかかる。一方、上記のようなＡＩによる物体検出技術を用いて、複数の部品を含む装置の撮像画像から部品を特定しようとする場合、小さい部品では、数ピクセル程度の画素数となる場合もあり、特定が困難である。また、部品の撮像画像と各分類項目の画像とを比較し、その部品がどの分類に属するかを判定する技術は、部品単体の分類をするものであり、複数の部品を含む装置の撮像画像から部品を特定するものではない。 As described above, the method of identifying parts by having a person specify the part name or part number is time-consuming and laborious, in addition to the risk of inconsistent spelling or input errors, which may prevent the information stored in the system from being effectively utilized. On the other hand, when using the above-mentioned AI-based object detection technology to identify parts from captured images of a device that contains multiple parts, small parts may only have a pixel count of a few pixels, making them difficult to identify. Furthermore, the technology that compares captured images of a part with images of each classification item and determines which classification the part belongs to classifies individual parts, and does not identify parts from captured images of a device that contains multiple parts.

１つの側面では、本発明は、複数の部品を含む装置の撮像画像から部品を特定可能な部品特定プログラム、部品特定方法及び情報処理装置を提供することを目的とする。 In one aspect, the present invention aims to provide a part identification program, a part identification method, and an information processing device that can identify parts from a captured image of a device that includes multiple parts.

１つの実施態様では、複数の部品を含む装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、前記第１の画像情報に基づいて、記憶部に記憶された前記装置の設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定し、前記設計データに含まれる、特定した前記部品の情報を出力する、処理をコンピュータに実行させる部品特定プログラムが提供される。 In one embodiment, a part identification program is provided that causes a computer to execute the following processes: based on input first image information about a captured image of a device including a plurality of parts, the captured image is displayed on a display device; based on the first image information, second image information is generated from design data of the device stored in a storage unit, the second image information showing the same display state as the display state of the device in the captured image; based on the second image information and the design data, a part located at the coordinates of the second image information corresponding to a first designated position designated in the displayed captured image is identified; and information on the identified part included in the design data is output.

また、１つの実施態様では部品特定方法が提供される。
また、１つの実施態様では情報処理装置が提供される。 Also provided in one embodiment is a method for identifying a part.
In one embodiment, an information processing device is provided.

１つの側面では、本発明は、複数の部品を含む装置の撮像画像から部品を特定可能となる。 In one aspect, the present invention makes it possible to identify parts from a captured image of a device that includes multiple parts.

第１の実施の形態の情報処理装置及び部品特定方法の一例を示す図である。1 illustrates an example of an information processing apparatus and a part identification method according to a first embodiment; 情報処理装置のハードウェア例を示すブロック図である。FIG. 2 is a block diagram illustrating an example of hardware of an information processing device. 情報処理装置の機能例を示すブロック図である。FIG. 2 is a block diagram showing an example of functions of the information processing device; 部品特定方法の処理の一例の流れを示すフローチャートである。10 is a flowchart illustrating a flow of an example of a process of a part identification method. 部品検出結果の一例を示す図である。FIG. 11 is a diagram illustrating an example of a part detection result. テンプレートマッチングによる部品検出処理の一例を示す図である。FIG. 11 is a diagram illustrating an example of a part detection process using template matching. 複数の表示パターンの例を示す図である。FIG. 11 is a diagram showing examples of a plurality of display patterns. 類似度に基づいた表示パターンの選択例を示す図である。FIG. 13 is a diagram showing an example of selection of a display pattern based on similarity. 表示サイズのマッチングの一例を示す図である。FIG. 13 is a diagram illustrating an example of matching of display sizes. 表示位置のマッチングの一例を示す図である。FIG. 13 is a diagram illustrating an example of matching of display positions. 向きのマッチングの一例を示す図である。FIG. 13 is a diagram illustrating an example of orientation matching. 特定された部品の強調表示例を示す図である。FIG. 13 is a diagram showing an example of highlighting an identified part. ３次元モデルの拡大表示例を示す図である。FIG. 13 is a diagram showing an example of an enlarged display of a three-dimensional model. 特定した部品についての情報の表示例を示す図である。FIG. 13 is a diagram illustrating an example of display of information about an identified part.

以下、発明を実施するための形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態の情報処理装置及び部品特定方法の一例を示す図である。 Hereinafter, an embodiment of the invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 illustrates an example of an information processing apparatus and a part identification method according to a first embodiment.

情報処理装置１０は、たとえば、撮像装置１１ａによって撮影された装置１５の撮像画像を表示装置１４ａの画面に表示し、撮像画像においてユーザによって指定された位置にある部品を、装置１５の設計データを利用することで特定する。 For example, the information processing device 10 displays an image of the device 15 captured by the imaging device 11a on the screen of the display device 14a, and identifies the part located at the position specified by the user in the captured image by using the design data of the device 15.

情報処理装置１０は、入力部１１、記憶部１２、処理部１３、出力部１４を有する。
入力部１１は、処理部１３の制御のもと、外部から入力された情報を取得し、処理部１３に出力するインタフェース回路である。入力部１１には、撮像装置１１ａによって得られる装置１５（複数の部品（たとえば、図１の部品１５ａ，１５ｂなど）を含む）の撮像画像の画像情報が入力される。撮像装置１１ａは、たとえば、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどである。 The information processing device 10 has an input unit 11, a storage unit 12, a processing unit 13, and an output unit 14.
The input unit 11 is an interface circuit that acquires information input from outside under the control of the processing unit 13 and outputs it to the processing unit 13. Image information of an image of a device 15 (including a plurality of components (e.g., components 15a and 15b in FIG. 1 )) obtained by an imaging device 11a is input to the input unit 11. The imaging device 11a is, for example, a charge coupled device (CCD) camera, a complementary metal oxide semiconductor (CMOS) camera, or the like.

入力される画像情報は、たとえば、工場における組み立てラインの、ある工程における装置１５を撮影した撮像画像の画像情報である。
なお、入力される画像情報は、予め情報処理装置１０の外部の記憶装置に記憶されたものであってもよいし、ネットワークを介して別の情報処理装置から送信されたものであってもよい。また、撮像画像は、複数の視点から得られた画像であってもよい。 The input image information is, for example, image information of a captured image of the device 15 in a certain process on an assembly line in a factory.
The input image information may be stored in advance in an external storage device of the information processing device 10, or may be transmitted from another information processing device via a network. The captured image may be an image obtained from a plurality of viewpoints.

また、入力部１１は、ユーザによる入力装置１１ｂ（マウス、キーボード、タッチパネルなど）の操作によって入力される情報を取得する。
記憶部１２は、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置、または、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性の記憶装置である。 Furthermore, the input unit 11 acquires information input by a user operating the input device 11b (such as a mouse, a keyboard, or a touch panel).
The storage unit 12 is a volatile storage device such as a random access memory (RAM), or a non-volatile storage device such as a hard disk drive (HDD) or a flash memory.

記憶部１２は、装置１５の設計データ１２ａなどの各種データを記憶する。設計データ１２ａは、たとえば、装置１５の３次元モデルである。設計データ１２ａは、装置１５に含まれる部品の座標情報のほか、部品名、その部品の取付位置、材質などを含む。また、設計データ１２ａは、その部品についてのＢＯＭの部品番号などを含んでいてもよい。 The storage unit 12 stores various data such as design data 12a of the device 15. The design data 12a is, for example, a three-dimensional model of the device 15. The design data 12a includes coordinate information of the parts included in the device 15, as well as the part names, mounting positions, and materials of the parts. The design data 12a may also include the BOM part numbers of the parts.

また、記憶部１２は、ある部品において発生した現象の内容（障害の内容など）を、設計データ１２ａにおけるその部品の情報と紐付けて記憶していてもよい。
処理部１３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのハードウェアであるプロセッサにより実現される。ただし、処理部１３は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリに記憶されたプログラムを実行する。たとえば、部品特定プログラムが実行される。なお、複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」ということがある。処理部１３が部品特定プログラムを実行した場合の処理（部品特定方法）については後述する。 Furthermore, the storage unit 12 may store the details of a phenomenon that has occurred in a certain component (such as the details of a failure) in association with information about that component in the design data 12a.
The processing unit 13 is realized by a processor, which is hardware such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit). However, the processing unit 13 may include an electronic circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). The processor executes a program stored in a memory such as a RAM. For example, a part identification program is executed. A set of multiple processors may be called a "multiprocessor" or simply a "processor". The processing (part identification method) when the processing unit 13 executes the part identification program will be described later.

出力部１４は、処理部１３の制御のもと、画像情報に基づく画像を表示装置１４ａに出力するインタフェース回路である。
処理部１３が部品特定プログラムを実行すると、たとえば、図１に示すような処理（部品特定方法）が行われる。 The output unit 14 is an interface circuit that outputs an image based on the image information to a display device 14a under the control of the processing unit 13.
When the processing unit 13 executes the part identification program, for example, a process (part identification method) as shown in FIG. 1 is performed.

入力部１１は、撮像装置１１ａから入力された、装置１５の撮像画像についての画像情報を取得する（ステップＳ１）。
処理部１３は、装置１５の撮像画像についての入力された画像情報に基づいて、出力部１４に、撮像画像を表示装置１４ａに表示させる（ステップＳ２）。 The input unit 11 acquires image information about an image captured by the device 15, which is input from the imaging device 11a (step S1).
The processing unit 13 causes the output unit 14 to display the captured image on the display device 14a based on the input image information about the captured image of the device 15 (step S2).

処理部１３は、入力された画像情報に基づいて、記憶部１２に記憶された装置１５の設計データ１２ａから、撮像画像における装置１５の表示状態と同じ表示状態を示す画像情報を生成する（ステップＳ３）。 Based on the input image information, the processing unit 13 generates image information showing the same display state of the device 15 as the display state of the captured image from the design data 12a of the device 15 stored in the memory unit 12 (step S3).

たとえば、処理部１３は、入力された画像情報に基づいて、設計データ１２ａにより表される装置１５の表示サイズ、表示位置、または向きを、撮像画像における装置１５の表示サイズ、表示位置、または向きと一致させることで、上記の画像情報を生成する。 For example, the processing unit 13 generates the above image information by matching the display size, display position, or orientation of the device 15 represented by the design data 12a with the display size, display position, or orientation of the device 15 in the captured image based on the input image information.

なお、設計データ１２ａには、撮像画像に現れている装置１５の部品以外の部品についての情報も含まれている場合がある。たとえば、ノートパソコンの組み立てラインにおけるある工程の撮像画像には、バッテリーが現れていない場合もあるし、別の工程の撮像画像には、電源装置が現れていない場合もある。 Note that the design data 12a may also include information about parts of the device 15 other than those shown in the captured image. For example, a battery may not be visible in an image taken at one process in a notebook computer assembly line, and a power supply may not be visible in an image taken at another process.

このような場合に対応するために、予め記憶部１２に、設計データ１２ａから得られ、複数の部品の何れかの表示の有無がそれぞれ異なる装置１５の複数の表示パターンのそれぞれについての画像情報が記憶されていてもよい。その場合、処理部１３は、記憶部１２に記憶された上記複数の表示パターンのそれぞれについての画像情報と、入力された画像情報との類似度に基づいて、複数の表示パターンの何れかを選択する。そして、処理部１３は、入力された画像情報に基づいて、選択した表示パターンについての画像情報により表される装置１５の、表示サイズ、表示位置、または向きを、撮像画像における装置１５の表示サイズ、表示位置、または向きと一致させた画像情報を生成する。 To deal with such a case, the storage unit 12 may store image information for each of a plurality of display patterns of the device 15, each of which is obtained from the design data 12a and in which any of a plurality of components is displayed or not, in advance. In this case, the processing unit 13 selects one of the plurality of display patterns based on the similarity between the image information for each of the plurality of display patterns stored in the storage unit 12 and the input image information. Then, based on the input image information, the processing unit 13 generates image information in which the display size, display position, or orientation of the device 15 represented by the image information for the selected display pattern matches the display size, display position, or orientation of the device 15 in the captured image.

上記のような表示状態を撮像画像に合致させる処理の、より詳細な例については後述する。
ステップＳ３の処理後、入力部１１は、表示装置１４ａの画面に表示された撮像画像における、ユーザによる位置指定を受け付ける（ステップＳ４）。たとえば、入力装置１１ｂの一例であるマウスによって、表示された撮像画像の所定の位置がクリックで指定された場合、処理部１３は、指定位置に対応する、撮像画像が表示されている画面上の座標を取得する。 A more detailed example of the process of matching the display state with the captured image will be described later.
After the process of step S3, the input unit 11 accepts a position designation by the user in the captured image displayed on the screen of the display device 14a (step S4). For example, when a predetermined position in the displayed captured image is designated by clicking with a mouse, which is an example of the input device 11b, the processing unit 13 acquires the coordinates on the screen on which the captured image is displayed, which correspond to the designated position.

そして、処理部１３は、設計データ１２ａから上記のように生成した画像情報において、指定位置に対応した座標にある部品を特定し（ステップＳ５）、設計データ１２ａに含まれる、特定した部品の情報を出力する（ステップＳ６）。 Then, the processing unit 13 identifies the part located at the coordinates corresponding to the specified position in the image information generated from the design data 12a as described above (step S5), and outputs information on the identified part included in the design data 12a (step S6).

ステップＳ６の処理では、処理部１３は、特定した部品の情報を、出力部１４を用いて表示装置１４ａに出力して表示させてもよいし、外部の図示しない記憶装置に出力して記憶させてもよい。また、処理部１３は、特定した部品の情報を記憶部１２に記憶してもよい。 In the process of step S6, the processing unit 13 may output the information on the identified parts to the display device 14a using the output unit 14 for display, or may output the information to an external storage device (not shown) for storage. The processing unit 13 may also store the information on the identified parts in the storage unit 12.

図１には、ユーザが、マウスのカーソル１６を撮像画像における所定の位置に合わせてクリックした後に表示される部品の情報の例が示されている。図１の例では、ユーザによって指定され、特定された部品（指定部品）の部品名として「ねじＡ」、部品番号として「Ａ０００１」が表示されている。 Figure 1 shows an example of part information that is displayed after the user places the mouse cursor 16 at a specific position in the captured image and clicks. In the example of Figure 1, "Screw A" is displayed as the part name of the part specified and identified by the user (specified part), and "A0001" is displayed as the part number.

さらに、たとえば、特定された部品において不具合などの現象が発生している場合、ユーザは、発生している現象の内容を入力装置１１ｂにより入力することができる。ユーザが入力した情報は、指定された部品の情報に紐付けられて、たとえば、記憶部１２に記憶される。 Furthermore, for example, if a phenomenon such as a malfunction occurs in a specified part, the user can input the details of the phenomenon that has occurred using the input device 11b. The information input by the user is linked to the information of the specified part and stored, for example, in the storage unit 12.

なお、部品特定方法の処理の順序は、上記の例に限定されるものではない。たとえば、ステップＳ２とステップＳ３の処理順序を入れ替えてもよいし、ステップＳ３とステップＳ４の処理順序を入れ替えてもよい。 The order of processing in the part identification method is not limited to the above example. For example, the order of processing steps S2 and S3 may be switched, or the order of processing steps S3 and S4 may be switched.

以上のような情報処理装置１０及び部品特定方法によれば、装置１５の撮像画像の表示状態と同じ表示状態を示す画像情報を設計データ１２ａから生成することで、撮像画像のある位置を指定するだけでその位置に対応する画像情報の座標にある部品を特定できる。 According to the information processing device 10 and part identification method described above, image information that shows the same display state as the display state of the captured image of the device 15 is generated from the design data 12a, so that a part located at the coordinates of the image information corresponding to a certain position in the captured image can be identified simply by specifying that position.

また、このように特定した部品の情報が、設計データ１２ａから得られるため、たとえば、発生した不具合などに関する情報をシステムに登録する際にも、設計データ１２ａから得られた部品の部品名などを活用でき、人手による表記ゆれや入力ミスも防げる。 In addition, because the information on the parts identified in this way is obtained from the design data 12a, for example, when registering information on a malfunction that has occurred in the system, the part names of the parts obtained from the design data 12a can be used, preventing manual inconsistencies in notation and input errors.

また、設計データ１２ａにおける部品の情報としてＢＯＭの部品番号を含める、またはその部品の情報にＢＯＭの部品番号を紐付けしておけば、撮像画像上で部品を指定するだけで部品番号を取得でき、不具合部品の手配も容易になる。 In addition, if the BOM part number is included as part information in the design data 12a, or if the BOM part number is linked to the part information, the part number can be obtained simply by specifying the part on the captured image, making it easier to arrange for defective parts.

（第２の実施の形態）
次に、第２の実施の形態を説明する。
図２は、情報処理装置のハードウェア例を示すブロック図である。 Second Embodiment
Next, a second embodiment will be described.
FIG. 2 is a block diagram illustrating an example of hardware of the information processing device.

情報処理装置２０は、ＣＰＵ２１、ＲＡＭ２２、ＨＤＤ２３、画像情報処理部２４、入力情報処理部２５、媒体リーダ２６及び通信インタフェース２７を有する。上記ユニットは、バスに接続されている。 The information processing device 20 has a CPU 21, a RAM 22, a HDD 23, an image information processing unit 24, an input information processing unit 25, a media reader 26, and a communication interface 27. The above units are connected to a bus.

ＣＰＵ２１は、プログラムの命令を実行する演算回路を含むプロセッサである。ＣＰＵ２１は、ＨＤＤ２３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ２２にロードし、プログラムを実行する。なお、ＣＰＵ２１は複数のプロセッサコアを備えてもよく、情報処理装置２０は複数のプロセッサを備えてもよく、以下で説明する処理を複数のプロセッサまたはプロセッサコアを用いて並列に実行してもよい。また、複数のプロセッサの集合（マルチプロセッサ）を「プロセッサ」と呼んでもよい。 The CPU 21 is a processor including an arithmetic circuit that executes program instructions. The CPU 21 loads at least a portion of the programs and data stored in the HDD 23 into the RAM 22 and executes the programs. Note that the CPU 21 may have multiple processor cores, and the information processing device 20 may have multiple processors, and the processes described below may be executed in parallel using multiple processors or processor cores. Also, a collection of multiple processors (multiprocessor) may be called a "processor."

ＲＡＭ２２は、ＣＰＵ２１が実行するプログラムやＣＰＵ２１が演算に用いるデータを一時的に記憶する揮発性の半導体メモリである。なお、情報処理装置２０は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個のメモリを備えてもよい。 RAM 22 is a volatile semiconductor memory that temporarily stores programs executed by CPU 21 and data used by CPU 21 for calculations. Note that information processing device 20 may be provided with a type of memory other than RAM, and may be provided with multiple memories.

ＨＤＤ２３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、及び、データを記憶する不揮発性の記憶装置である。プログラムには、たとえば、部品特定処理を情報処理装置２０に実行させる部品特定プログラムが含まれる。なお、情報処理装置２０は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の記憶装置を備えてもよく、複数の不揮発性の記憶装置を備えてもよい。 The HDD 23 is a non-volatile storage device that stores software programs such as an OS (Operating System), middleware, and application software, as well as data. The programs include, for example, a part identification program that causes the information processing device 20 to execute a part identification process. Note that the information processing device 20 may be equipped with other types of storage devices, such as a flash memory or an SSD (Solid State Drive), and may be equipped with multiple non-volatile storage devices.

画像情報処理部２４は、ＣＰＵ２１からの命令にしたがって、情報処理装置２０に接続されたディスプレイ２４ａに画像を出力する。ディスプレイ２４ａとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイなどを用いることができる。 The image information processing unit 24 outputs an image to a display 24a connected to the information processing device 20 according to instructions from the CPU 21. As the display 24a, a CRT (Cathode Ray Tube) display, a liquid crystal display (LCD: Liquid Crystal Display), a plasma display (PDP: Plasma Display Panel), an organic EL (OEL: Organic Electro-Luminescence) display, etc. can be used.

入力情報処理部２５は、情報処理装置２０に接続された入力装置２５ａや撮像装置２５ｂから画像情報や入力情報を取得し、ＣＰＵ２１に出力する。入力装置２５ａとしては、マウスやタッチパネルやタッチパッドやトラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、情報処理装置２０に、複数の種類の入力装置が接続されていてもよい。 The input information processing unit 25 acquires image information and input information from the input device 25a and the imaging device 25b connected to the information processing device 20, and outputs the information to the CPU 21. As the input device 25a, a pointing device such as a mouse, a touch panel, a touch pad, or a trackball, a keyboard, a remote controller, a button switch, etc. may be used. In addition, multiple types of input devices may be connected to the information processing device 20.

媒体リーダ２６は、記録媒体２６ａに記録されたプログラムやデータを読み取る読み取り装置である。記録媒体２６ａとして、たとえば、磁気ディスク、光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）が含まれる。 The media reader 26 is a reading device that reads programs and data recorded on the recording medium 26a. For example, a magnetic disk, an optical disk, a magneto-optical disk (MO: Magneto-Optical disk), a semiconductor memory, etc. can be used as the recording medium 26a. Magnetic disks include flexible disks (FD: Flexible Disks) and HDDs. Optical disks include compact discs (CDs) and digital versatile discs (DVDs).

媒体リーダ２６は、たとえば、記録媒体２６ａから読み取ったプログラムやデータを、ＲＡＭ２２やＨＤＤ２３などの他の記録媒体にコピーする。読み取られたプログラムは、たとえば、ＣＰＵ２１によって実行される。なお、記録媒体２６ａは、可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体２６ａやＨＤＤ２３を、コンピュータ読み取り可能な記録媒体ということがある。 The media reader 26 copies the programs and data read from the recording medium 26a, for example, to another recording medium, such as the RAM 22 or the HDD 23. The read programs are executed, for example, by the CPU 21. The recording medium 26a may be a portable recording medium, and may be used to distribute programs and data. The recording medium 26a and the HDD 23 may also be referred to as computer-readable recording media.

通信インタフェース２７は、ネットワーク２７ａに接続され、ネットワーク２７ａを介して他の情報処理装置と通信を行うインタフェースである。通信インタフェース２７は、スイッチなどの通信装置とケーブルで接続される有線通信インタフェースでもよいし、基地局と無線リンクで接続される無線通信インタフェースでもよい。 The communication interface 27 is connected to the network 27a and communicates with other information processing devices via the network 27a. The communication interface 27 may be a wired communication interface connected to a communication device such as a switch by a cable, or a wireless communication interface connected to a base station by a wireless link.

図１に示した情報処理装置１０についても、上記と同様のハードウェア構成にて実現できる。
次に、情報処理装置２０の機能及び処理手順を説明する。 The information processing device 10 shown in FIG. 1 can also be realized with a hardware configuration similar to that described above.
Next, the functions and processing procedures of the information processing device 20 will be described.

図３は、情報処理装置の機能例を示すブロック図である。
情報処理装置２０は、画像情報入力部３１、表示状態マッチング部３２、学習済モデル記憶部３３、設計データ記憶部３４、指定位置入力部３５、部品特定部３６、情報入力部３７、蓄積情報記憶部３８、出力部３９を有する。 FIG. 3 is a block diagram illustrating an example of functions of the information processing device.
The information processing device 20 has an image information input unit 31, a display state matching unit 32, a learned model memory unit 33, a design data memory unit 34, a specified position input unit 35, a part identification unit 36, an information input unit 37, an accumulated information memory unit 38, and an output unit 39.

画像情報入力部３１、表示状態マッチング部３２、指定位置入力部３５、部品特定部３６、情報入力部３７、出力部３９は、たとえばＣＰＵ２１が実行するプログラムモジュールを用いて実装できる。学習済モデル記憶部３３、設計データ記憶部３４、蓄積情報記憶部３８は、たとえば、ＲＡＭ２２またはＨＤＤ２３に確保した記憶領域を用いて実装できる。 The image information input unit 31, the display state matching unit 32, the specified position input unit 35, the part identification unit 36, the information input unit 37, and the output unit 39 can be implemented, for example, using a program module executed by the CPU 21. The trained model storage unit 33, the design data storage unit 34, and the accumulated information storage unit 38 can be implemented, for example, using storage areas secured in the RAM 22 or the HDD 23.

画像情報入力部３１は、撮像装置２５ｂから入力された、部品特定対象の装置の撮像画像の画像情報を取得する。
表示状態マッチング部３２は、入力された画像情報に基づいて、設計データ記憶部３４に記憶された部品特定対象の装置の設計データから、撮像画像におけるその装置の表示状態と同じ表示状態を示す画像情報を生成する。 The image information input unit 31 acquires image information of the captured image of the device that is the target of part identification, which is input from the imaging device 25b.
Based on the input image information, the display state matching unit 32 generates image information showing the same display state as the display state of the device in the captured image from the design data of the device to be identified as the part, which is stored in the design data storage unit 34.

以下に示す例では、表示状態マッチング部３２は、撮像画像に表示されている複数の部品のうち少なくとも２つ検出する。部品の検出は、たとえば、ＡＩによる物体検出技術または画像処理技術を用いて行われる。 In the example shown below, the display state matching unit 32 detects at least two of the multiple parts displayed in the captured image. The parts are detected using, for example, an AI-based object detection technology or an image processing technology.

ＡＩによる物体検出技術が用いられる場合、学習済モデル記憶部３３に記憶された学習済モデルを用いて、撮像画像において比較的大きい部品の検出が行われる。たとえば、部品特定対象の装置がノートパソコンの場合、ファン、通信モジュール、ＳＳＤなどが検出対象とされる。 When an AI-based object detection technology is used, relatively large parts are detected in the captured image using the learned model stored in the learned model storage unit 33. For example, if the device to be identified is a laptop computer, the fan, communication module, SSD, etc. are detected.

画像処理技術を用いて部品を検出する場合、たとえば、テンプレートマッチングと呼ばれる技術を用いることができる。テンプレートマッチングによる部品検出処理の例については後述する。 When detecting parts using image processing technology, for example, a technology called template matching can be used. An example of part detection processing using template matching will be described later.

学習済モデル記憶部３３は、表示状態マッチング部３２がＡＩによる物体検出技術によって部品を検出する際に用いる学習済モデルを記憶する。学習済モデルは、撮像画像から、上記のような特定の部品を認識できるように、予めトレーニングされている。 The trained model storage unit 33 stores the trained model that the display state matching unit 32 uses when detecting parts using AI-based object detection technology. The trained model is trained in advance to be able to recognize specific parts such as those described above from captured images.

設計データ記憶部３４は、部品特定対象の装置の設計データ（以下３次元モデルとする）を記憶する。なお、以下の例では、設計データ記憶部３４は、部品特定対象の装置における複数の部品の何れかの表示の有無がそれぞれ異なる複数の表示パターンのそれぞれについて、予め生成された画像情報が記憶されているものとする。 The design data storage unit 34 stores design data (hereinafter referred to as a three-dimensional model) of the device for which parts are to be identified. In the following example, the design data storage unit 34 stores image information generated in advance for each of a plurality of display patterns, each of which differs in whether or not any of a plurality of parts in the device for which parts are to be identified is displayed.

指定位置入力部３５は、たとえば、ユーザによる入力装置２５ａの操作によって、撮像画像において指定された位置の座標（撮像画像が表示される画面上の２次元座標）を取得する。 The specified position input unit 35 acquires the coordinates of a position specified in the captured image (two-dimensional coordinates on the screen on which the captured image is displayed) by, for example, a user operating the input device 25a.

なお、ユーザが撮像対象の装置のある位置を直接、指差しなどで指定し、位置を指定している指などが装置とともに撮像画像に含まれている場合、指定位置入力部３５は、撮像画像の画像情報からその指などを認識するようにしてもよい。そして、指定位置入力部３５は、その指などにより指定されている位置の座標を取得する。指などの認識は、ＡＩによる物体検出技術や画像処理技術により用いて行うことができる。 When a user directly designates a position on a device to be imaged by pointing at it, and a finger or the like designating the position is included in the captured image together with the device, the designated position input unit 35 may recognize the finger or the like from the image information of the captured image. Then, the designated position input unit 35 acquires the coordinates of the position designated by the finger or the like. Recognition of fingers or the like can be performed using AI-based object detection technology or image processing technology.

部品特定部３６は、指定位置入力部３５から指定位置の座標を取得し、表示状態マッチング部３２が生成した画像情報において、その座標にある部品を特定する。
情報入力部３７は、ユーザによる入力装置２５ａの操作によって入力された情報を取得する。たとえば、特定された（ユーザが指定した）部品において発生した現象の内容（たとえば、発生した不具合の状況）などの情報が入力される。 The part identifying unit 36 acquires the coordinates of the designated position from the designated position input unit 35 , and identifies the part located at those coordinates in the image information generated by the display state matching unit 32 .
The information input unit 37 acquires information input by a user operating the input device 25 a. For example, information such as the content of a phenomenon that has occurred in a specified (user-specified) part (for example, the circumstances of the malfunction that has occurred) is input.

蓄積情報記憶部３８は、入力された情報を、部品特定部３６が特定した部品の情報（たとえば、部品名や部品番号）と対応付けて蓄積情報として記憶する。
出力部３９は、撮像画像、３次元モデル、特定した部品の情報、蓄積情報記憶部３８に記憶されている蓄積情報などを、ディスプレイ２４ａに出力して表示させる。 The accumulated information storage unit 38 stores the input information as accumulated information in association with information on the part identified by the part identification unit 36 (for example, part name and part number).
The output unit 39 outputs the captured image, the three-dimensional model, information on the identified parts, the accumulated information stored in the accumulated information storage unit 38, and the like to the display 24a for display.

以下、上記のような情報処理装置２０による部品特定方法の一例を説明する。
図４は、部品特定方法の処理の一例の流れを示すフローチャートである。
まず、画像情報入力部３１が撮像画像の画像情報を取得すると（ステップＳ１０）、出力部３９は、その画像情報に基づいて、ディスプレイ２４ａに撮像画像を表示させる（ステップＳ１１）。 An example of a part identification method using the information processing device 20 as described above will now be described.
FIG. 4 is a flowchart showing an example of the flow of processing of a part identification method.
First, when the image information input unit 31 acquires image information of a captured image (step S10), the output unit 39 causes the display 24a to display the captured image based on the image information (step S11).

指定位置入力部３５は、ユーザによる位置の指定があるか否かを判定する（ステップＳ１２）。位置の指定がない場合、ステップＳ１０からの処理が繰り返され、位置の指定がある場合、指定位置入力部３５は、指定された位置の座標を取得する（ステップＳ１３）。 The designated position input unit 35 determines whether or not a position has been designated by the user (step S12). If no position has been designated, the process is repeated from step S10, and if a position has been designated, the designated position input unit 35 acquires the coordinates of the designated position (step S13).

また、表示状態マッチング部３２は、ステップＳ１０の処理で取得された撮像画像の画像情報に基づいて、撮像画像に表示されている複数の部品のうち少なくとも２つを検出する（ステップＳ１４）。 The display state matching unit 32 also detects at least two of the multiple parts displayed in the captured image based on the image information of the captured image acquired in the processing of step S10 (step S14).

ここで検出対象となる部品は、後述の３次元モデルの画像情報を撮像画像の表示状態とマッチングさせる際の位置合わせの基準として用いられるため、比較的大きな部品でよい。このため、ステップＳ１４の処理は、たとえば、前述したようなＡＩによる物体検出技術または画像処理技術を用いて行うことができる。 The parts to be detected here are used as a reference for alignment when matching the image information of the three-dimensional model described below with the display state of the captured image, so they can be relatively large parts. For this reason, the processing of step S14 can be performed using, for example, the AI-based object detection technology or image processing technology described above.

図５は、部品検出結果の一例を示す図である。
図５では、装置４０の撮像画像から検出された部品が枠線（以下バウンディングボックスという）で囲われている例が示されている。 FIG. 5 is a diagram showing an example of a part detection result.
FIG. 5 shows an example in which a part detected from an image captured by the device 40 is surrounded by a frame line (hereinafter referred to as a bounding box).

バウンディングボックス４１で囲われた部品はＳＳＤであり、バウンディングボックス４２で囲われた部品はファンであり、バウンディングボックス４３で囲われた部品は、無線通信モジュールである。 The component surrounded by bounding box 41 is the SSD, the component surrounded by bounding box 42 is the fan, and the component surrounded by bounding box 43 is the wireless communication module.

ＡＩによる物体検出技術を適用する場合、これらの部品を認識できるようにトレーニングされた学習済モデルが用いられる。
画像処理技術を利用して撮像画像から部品を検出する場合、たとえば、テンプレートマッチングが用いられる。 When applying AI object detection technology, pre-trained models are used to recognize these parts.
When detecting parts from a captured image using image processing technology, for example, template matching is used.

図６は、テンプレートマッチングによる部品検出処理の一例を示す図である。
テンプレートマッチングによる部品検出処理では、予めＨＤＤ２３などに記憶されたテンプレート画像（部分画像）が用いられ、撮像画像中からテンプレート画像に最も類似する箇所が探索される。 FIG. 6 is a diagram showing an example of part detection processing using template matching.
In the part detection process using template matching, a template image (partial image) stored in advance in the HDD 23 or the like is used, and a portion most similar to the template image is searched for within the captured image.

図６の例では、部品ごとにテンプレート画像５０，５１，５２，５３が用意されている。テンプレート画像５０はファンを示し、テンプレート画像５１はスピーカを示し、テンプレート画像５２は無線通信モジュールを示し、テンプレート画像５３はボタン型電池を示している。テンプレート画像５０～５３のそれぞれには部品名が紐付けられている。このようなテンプレート画像ごとに、装置４０の撮像画像から最も類似する箇所が探索される。 In the example of FIG. 6, template images 50, 51, 52, and 53 are prepared for each part. Template image 50 represents a fan, template image 51 represents a speaker, template image 52 represents a wireless communication module, and template image 53 represents a button battery. Each of template images 50 to 53 is associated with a part name. For each such template image, the most similar part is searched for in the captured image of device 40.

類似度として、たとえば、テンプレート画像の画素値と撮像画像の画素値との差分の２乗和（２乗誤差）を用いることができる。
図６の例では、テンプレート画像５０に最も類似する箇所としてバウンディングボックス６０で囲われた箇所、テンプレート画像５１に最も類似する箇所としてバウンディングボックス６１ａ，６１ｂで囲われた箇所が探索されている。また、テンプレート画像５２に最も類似する箇所としてバウンディングボックス６２で囲われた箇所、テンプレート画像５３に最も類似する箇所としてバウンディングボックス６３で囲われた箇所が探索されている。このようにして、部品の検出が行われる。 As the similarity, for example, the sum of squares of the differences (square error) between the pixel values of the template image and the pixel values of the captured image can be used.
6, the area surrounded by bounding box 60 is searched for as the area most similar to template image 50, and the area surrounded by bounding boxes 61a and 61b is searched for as the area most similar to template image 51. Furthermore, the area surrounded by bounding box 62 is searched for as the area most similar to template image 52, and the area surrounded by bounding box 63 is searched for as the area most similar to template image 53. In this manner, parts are detected.

以上のようなステップＳ１４の部品検出処理の後、表示状態マッチング部３２は、設計データ記憶部３４に記憶されている複数の表示パターンの何れかを選択する（ステップＳ１５）。ステップＳ１５の処理では、表示状態マッチング部３２は、複数の表示パターンのそれぞれについての画像情報と、撮像画像の画像情報との類似度に基づいて、何れかの表示パターンを選択する。 After the part detection process in step S14 as described above, the display state matching unit 32 selects one of the multiple display patterns stored in the design data storage unit 34 (step S15). In the process of step S15, the display state matching unit 32 selects one of the display patterns based on the similarity between the image information for each of the multiple display patterns and the image information of the captured image.

表示パターンは、３次元モデルから予め作成され、撮像装置２５ｂで撮影される可能性がある装置の表示状態をパターン化したものである。たとえば、比較的大きい部品の有無や、複数の部品を含むユニットの有無が異なる複数の表示パターンが予め作成される。 The display patterns are created in advance from a three-dimensional model, and are patterns of the display states of the device that may be captured by the imaging device 25b. For example, multiple display patterns are created in advance that differ in the presence or absence of relatively large parts, or the presence or absence of a unit that includes multiple parts.

図７は、複数の表示パターンの例を示す図である。
図７には、パターン７０，７１，７２の表示パターンの例が示されている。また、図７に示されているように、パターン７０～７２のそれぞれが示す表示状態における可視部品のリスト７０ａ，７１ａ，７２ａが、設計データ記憶部３４に記憶されるようにしてもよい。 FIG. 7 is a diagram showing examples of a plurality of display patterns.
Fig. 7 shows examples of display patterns of patterns 70, 71, and 72. In addition, as shown in Fig. 7, lists 70a, 71a, and 72a of visible parts in the display states shown by the patterns 70 to 72, respectively, may be stored in the design data storage unit 34.

図８は、類似度に基づいた表示パターンの選択例を示す図である。
表示状態マッチング部３２は、類似度に基づいて、撮像画像と最も類似する表示パターンを選択する。このとき、３次元モデルの表示パターンに含まれる部品などは色付けされている場合があり、その色は、撮像画像の色と異なる場合があり、類似度の計算に影響を与える可能性がある。この影響をなくすために、表示状態マッチング部３２は、撮像画像と各表示パターンをグレースケール、または白黒画像に変換し、色情報をなくした上で、類似度の計算を行う。 FIG. 8 is a diagram showing an example of selection of a display pattern based on the similarity.
The display state matching unit 32 selects the display pattern that is most similar to the captured image based on the similarity. At this time, the parts and the like included in the display pattern of the three-dimensional model may be colored, and the color may be different from the color of the captured image, which may affect the calculation of the similarity. To eliminate this effect, the display state matching unit 32 converts the captured image and each display pattern into a grayscale or black and white image, eliminates color information, and then calculates the similarity.

図８の例では、パターン７１の表示パターンの画像情報と撮像画像の画像情報との類似度が最大であるため、パターン７１が選択されている。
なお、３次元モデルのデフォルトの表示パターンがある場合には、上記のように選択した表示パターンに変更するようにしてもよい。 In the example of FIG. 8, the pattern 71 is selected because the similarity between the image information of the display pattern of the pattern 71 and the image information of the captured image is the greatest.
If there is a default display pattern for the three-dimensional model, it may be changed to the selected display pattern as described above.

次に、表示状態マッチング部３２は、選択した表示パターンにおける装置と撮像画像における装置との表示サイズなどのマッチングを行う（ステップＳ１６）。ステップＳ１６の処理では、表示状態マッチング部３２は、選択した表示パターンにおける装置の表示サイズ、表示位置、または、向きを、撮像画像における装置の表示サイズ、表示位置、または向きと一致させた画像情報を生成する。 Next, the display state matching unit 32 performs matching between the display size and the like of the device in the selected display pattern and the device in the captured image (step S16). In the processing of step S16, the display state matching unit 32 generates image information in which the display size, display position, or orientation of the device in the selected display pattern matches the display size, display position, or orientation of the device in the captured image.

表示状態マッチング部３２は、たとえば、まず、選択した表示パターンにおける装置の表示サイズを、撮像画像における装置の表示サイズに合わせる。
図９は、表示サイズのマッチングの一例を示す図である。 For example, the display state matching unit 32 first matches the display size of the device in the selected display pattern to the display size of the device in the captured image.
FIG. 9 is a diagram showing an example of matching of display sizes.

図９には、ステップＳ１５の処理で選択された３次元モデルの表示パターン（パターン７１）における装置の表示サイズを、撮像画像における装置４０の表示サイズに合わせる例が示されている。 Figure 9 shows an example in which the display size of the device in the display pattern (pattern 71) of the three-dimensional model selected in the processing of step S15 is adjusted to the display size of the device 40 in the captured image.

表示サイズのマッチングには、ステップＳ１４の処理で検出された部品を囲うバウンディングボックス４１～４３を用いることができる。表示状態マッチング部３２は、ステップＳ１４の処理で検出した部品と同じ、３次元モデルにおける部品を囲うバウンディングボックス４１ａ，４２ａ，４３ａを設定する。そして、表示状態マッチング部３２は、バウンディングボックス４１ａ～４３ａがバウンディングボックス４１～４３と同じ大きさになるように、３次元モデルのパターン７１における装置の表示サイズを変更（図９の例では拡大）する。 For display size matching, the bounding boxes 41-43 surrounding the parts detected in the processing of step S14 can be used. The display state matching unit 32 sets bounding boxes 41a, 42a, 43a surrounding parts in the 3D model that are the same as the parts detected in the processing of step S14. The display state matching unit 32 then changes (enlarges in the example of FIG. 9) the display size of the device in the pattern 71 of the 3D model so that the bounding boxes 41a-43a are the same size as the bounding boxes 41-43.

次に、表示状態マッチング部３２は、選択した表示パターンにおける装置の表示位置、または、向きを、撮像画像における装置の表示位置、または向きと一致させる。
図１０は、表示位置のマッチングの一例を示す図である。 Next, the display state matching unit 32 matches the display position or orientation of the device in the selected display pattern with the display position or orientation of the device in the captured image.
FIG. 10 is a diagram showing an example of matching of display positions.

表示状態マッチング部３２は、たとえば、撮像画像から検出した複数の部品のうち１番大きい部品と、３次元モデルにおける同一部品との位置とが一致するように３次元モデルの表示位置を調整する。部品の位置として、部品を囲うバウンディングボックスの中心座標を用いることができる。表示位置の調整は、たとえば、３次元モデルの画像情報の座標変換により行われる。 The display state matching unit 32 adjusts the display position of the three-dimensional model so that, for example, the largest part among multiple parts detected from the captured image matches the position of the same part in the three-dimensional model. The center coordinates of a bounding box surrounding the part can be used as the position of the part. The display position is adjusted, for example, by coordinate conversion of the image information of the three-dimensional model.

図１０の例では、装置４０の撮像画像から検出されたファンを囲うバウンディングボックス４２の中心座標に対して、３次元モデルのパターン７１に含まれるファンに設定されたバウンディングボックス４２ａの中心座標を一致させる例が示されている。 The example in FIG. 10 shows an example in which the center coordinates of a bounding box 42a set for a fan included in a pattern 71 of a three-dimensional model are matched to the center coordinates of a bounding box 42 surrounding a fan detected from an image captured by the device 40.

図１１は、向きのマッチングの一例を示す図である。
装置４０の撮像画像と、パターン７１の向きが異なる場合、たとえば、図１１に示すように、一致させたバウンディングボックス４２，４２ａの中心座標を中心に、向きが一致するように３次元モデルのパターン７１を回転させる座標変換を行う。 FIG. 11 is a diagram showing an example of orientation matching.
If the orientation of the image captured by device 40 and pattern 71 differ, for example, as shown in Figure 11, a coordinate transformation is performed to rotate the three-dimensional model pattern 71 around the central coordinates of the matched bounding boxes 42, 42a so that the orientation is consistent.

たとえば、表示状態マッチング部３２は、撮像画像から検出した複数の部品のうち上記の表示位置のマッチングに用いた部品以外の部品を選択する。そして、表示状態マッチング部３２は、選択した部品の位置と、パターン７１における同一部品の位置とが一致するようにパターン７１を回転させる。たとえば、両部品のそれぞれを囲うバウンディングボックスが最も重なる向きになるようにパターン７１の回転が行われる。 For example, the display state matching unit 32 selects a part other than the part used for the above-mentioned display position matching from among the multiple parts detected from the captured image. Then, the display state matching unit 32 rotates the pattern 71 so that the position of the selected part matches the position of the same part in the pattern 71. For example, the pattern 71 is rotated so that the bounding boxes surrounding both parts are oriented so as to overlap most closely.

図１１の例では、撮像画像とパターン７１に含まれるＳＳＤについてのバウンディングボックス４１，４１ａが重なるように、パターン７１を回転させる例が示されている。たとえば、表示状態マッチング部３２は、バウンディングボックス４１，４１ａの各頂点の座標のずれが最小になるように、パターン７１を回転させる。 In the example of FIG. 11, the pattern 71 is rotated so that the captured image and the bounding boxes 41, 41a for the SSDs included in the pattern 71 overlap. For example, the display state matching unit 32 rotates the pattern 71 so that the deviation in the coordinates of each vertex of the bounding boxes 41, 41a is minimized.

以上の処理によって、選択した表示パターンにおける装置の表示サイズ、表示位置、または、向きを、撮像画像における装置の表示サイズ、表示位置、または向きと一致させた画像情報を生成することができる。つまり、撮像画像における装置と、選択した表示パターンにおける装置とを重ね合わせることができ、撮像画像における装置内の座標と、選択した表示パターンにおける装置内の座標とが一致するようになる。 By the above processing, it is possible to generate image information in which the display size, display position, or orientation of the device in the selected display pattern matches the display size, display position, or orientation of the device in the captured image. In other words, it is possible to overlay the device in the captured image and the device in the selected display pattern, so that the coordinates within the device in the captured image match the coordinates within the device in the selected display pattern.

上記のような表示状態のマッチング後、出力部３９は、マッチング後の３次元モデル（表示パターン）を、ディスプレイ２４ａに表示させる（ステップＳ１７）。
部品特定部３６は、指定位置入力部３５が取得したユーザによる指定位置の座標にある部品を、３次元モデルから特定する（ステップＳ１８）。なお、このとき出力部３９は、３次元モデルにおいて特定された部品を、ディスプレイ２４ａに強調表示させるようにしてもよい。 After matching the display state as described above, the output unit 39 causes the display 24a to display the three-dimensional model (display pattern) after matching (step S17).
The part identification unit 36 identifies, from the three-dimensional model, a part located at the coordinates of the position specified by the user acquired by the specified position input unit 35 (step S18). At this time, the output unit 39 may highlight the part identified in the three-dimensional model on the display 24a.

図１２は、特定された部品の強調表示例を示す図である。
撮像画像が表示されているディスプレイ２４ａの画面８０において、ユーザが、マウスのカーソル８０ａを撮像画像における所定の位置に合わせてクリックした後、出力部３９は、ディスプレイ２４ａに表示させる画面８０を画面８１に切り替える。画面８１には、表示状態のマッチング後の３次元モデルが示され、カーソル８０ａで指定された位置にある部品が、たとえば、枠線８０ｂによって囲われることで強調表示されている。 FIG. 12 is a diagram showing an example of highlighting a specified part.
After the user places a mouse cursor 80a on a predetermined position on the captured image and clicks it on a screen 80 of the display 24a on which the captured image is displayed, the output unit 39 switches the screen 80 displayed on the display 24a to a screen 81. The screen 81 shows a three-dimensional model after matching of the display state, and a part at the position specified by the cursor 80a is highlighted by being surrounded by a frame 80b, for example.

なお、強調表示の方法はこれに限定されるものではなく、特定された部品が他の部品とは異なる色により表示されるようにしてもよい。
ステップＳ１８の処理後、出力部３９は、部品特定部３６が特定した部品の情報を設計データ記憶部３４から取得し、ディスプレイ２４ａに表示させる（ステップＳ１９）。これによって、処理が終了する。 The highlighting method is not limited to this, and the identified parts may be displayed in a color different from that of the other parts.
After the process of step S18, the output unit 39 acquires information on the part identified by the part identification unit 36 from the design data storage unit 34, and displays it on the display 24a (step S19). This ends the process.

なお、部品特定方法の処理の順序や処理内容は、上記の例に限定されるものではない。
たとえば、ステップＳ１８の処理において、ユーザによる指定位置に部品がない場合、部品特定部３６は部品の特定ができない。しかしその場合、情報処理装置２０は、たとえば、以下のような処理を行うことで部品を特定することができる。 The processing order and processing contents of the part identification method are not limited to the above example.
For example, in the process of step S18, if there is no part at the position specified by the user, the part identification unit 36 cannot identify the part. In that case, however, the information processing device 20 can identify the part by performing the following process, for example.

情報処理装置２０の出力部３９は、表示状態のマッチング後の３次元モデルの画像情報に基づく画像において、指定位置を含む領域をディスプレイ２４ａに拡大表示させる。そして、部品特定部３６は、拡大表示された領域においてユーザによって指定された指定位置に対応する３次元モデルの画像情報の座標にある部品を特定する。 The output unit 39 of the information processing device 20 causes the display 24a to enlarge and display an area including the specified position in an image based on the image information of the three-dimensional model after matching of the display state. Then, the part identification unit 36 identifies a part located at the coordinates of the image information of the three-dimensional model that corresponds to the specified position specified by the user in the enlarged and displayed area.

図１３は、３次元モデルの拡大表示例を示す図である。
表示状態マッチング後の３次元モデルの画像情報に基づく画像が表示されている画面８２には、ユーザが撮像画像上で指定した位置を示すカーソル８２ａが示されている。カーソル８２ａによる指定位置に部品がない場合、出力部３９は、この画像においてカーソル８２ａによる指定位置を含む領域８２ｂを拡大表示した画面８３を、ディスプレイ２４ａに表示させる。 FIG. 13 is a diagram showing an example of an enlarged display of a three-dimensional model.
A cursor 82a indicating a position specified by the user on the captured image is displayed on a screen 82 on which an image based on the image information of the three-dimensional model after display state matching is displayed. If there is no part at the position specified by the cursor 82a, the output unit 39 causes the display 24a to display a screen 83 on which an area 82b including the position specified by the cursor 82a in the image is enlarged.

これにより、ユーザは、領域８２ｂの拡大図において、カーソル８２ａの位置を意図する部品に合わせて指定する。指定位置入力部３５は、カーソル８２ａによって指定された位置の座標を取得し、部品特定部３６は、その座標にある部品を特定する。 The user then specifies the position of the cursor 82a on the intended part in the enlarged view of the area 82b. The specified position input unit 35 acquires the coordinates of the position specified by the cursor 82a, and the part identification unit 36 identifies the part at those coordinates.

これによって、小さい部品でも特定が容易になる。
また、ステップＳ１９の処理で、出力部３９は、部品特定部３６が特定した部品について、過去に生じた現象の内容（障害情報など）や、その部品の取付位置などの特定した部品の周辺の情報についてもディスプレイ２４ａに表示させてもよい。 This makes even small parts easier to identify.
In addition, in the processing of step S19, the output unit 39 may also display on the display 24a the contents of phenomena that have occurred in the past (such as fault information) for the part identified by the part identification unit 36, and information surrounding the identified part, such as the installation position of the part.

図１４は、特定した部品についての情報の表示例を示す図である。
図１４には、特定した部品と対応付けて過去に入力され、蓄積情報記憶部３８に記憶されている過去に生じた現象の内容（障害情報など）が、そのときの開発名称などとともに、ディスプレイ２４ａに表示されている。また、特定した部品の取付位置についても、設計データ記憶部３４に記憶されている３次元モデルに基づいて、たとえば、図１４のような囲み線９０により示されている。 FIG. 14 is a diagram showing an example of displaying information about the identified part.
14, the contents of a phenomenon that occurred in the past (such as fault information) that was previously input in association with the identified part and stored in the accumulated information storage unit 38 is displayed on the display 24a together with the development name at that time, etc. Also, the mounting position of the identified part is also shown by, for example, an encircling line 90 as shown in FIG.

これによって、たとえば、ネジの中でも、カバーの右下に取り付けているネジで不具合がよく発生している、などの現象を把握することができる。また、ある部品について過去に発生した現象の内容から、今回、同じ部品について発生した障害の候補を絞ることもできる。 This makes it possible to identify, for example, a problem that frequently occurs with the screw that attaches the cover to the bottom right. In addition, by looking at problems that have occurred with a certain part in the past, it is also possible to narrow down the possible causes of a problem that has occurred with the same part this time.

なお、出力部３９は、特定した部品について、設計データに含まれるその他の情報（部品の材質、大きさ、部品番号など）を表示してもよい。また、出力部３９は、蓄積情報記憶部３８に、特定した部品について、過去に入力された修理方法の情報がある場合、その情報をディスプレイ２４ａに表示してもよい。 The output unit 39 may display other information (such as the material, size, and part number) contained in the design data for the identified part. If the accumulated information storage unit 38 contains information about a repair method that was previously input for the identified part, the output unit 39 may display the information on the display 24a.

また、ユーザは、入力装置２５ａの操作によって現象内容などを更新してもよいし、特定した部品について蓄積すべき情報を新たに入力してもよい。新たに入力された情報は、部品特定部３６が特定した部品の情報に紐付けられて、蓄積情報記憶部３８に蓄積情報として記憶される。 The user may also update the phenomenon details by operating the input device 25a, or may input new information to be accumulated about the identified part. The newly input information is linked to the information about the part identified by the part identification unit 36, and is stored as accumulated information in the accumulated information storage unit 38.

以上のような情報処理装置２０及び部品特定方法によれば、装置の撮像画像の表示状態と同じ表示状態を示す画像情報を設計データから生成することで、撮像画像のある位置を指定するだけでその位置に対応する画像情報の座標にある部品を特定できる。 According to the information processing device 20 and part identification method described above, image information that shows the same display state as the display state of the captured image of the device is generated from the design data, so that a part located at the coordinates of the image information corresponding to a certain position in the captured image can be identified simply by specifying that position.

また、このように特定した部品の情報が、設計データから得られるため、たとえば、発生した不具合などに関する情報を蓄積情報記憶部３８に記憶する際にも、設計データから得られた部品の部品名などを活用でき、人手による表記ゆれや入力ミスも防げる。 In addition, because the information on the parts identified in this way is obtained from the design data, for example, when storing information on a defect that has occurred in the accumulated information storage unit 38, the part names of the parts obtained from the design data can be used, thereby preventing manual inconsistencies in notation and input errors.

また、設計データにおける部品の情報としてＢＯＭの部品番号を含める、またはその部品の情報にＢＯＭの部品番号を紐付けしておけば、撮像画像上で部品を指定するだけで部品番号を取得でき、不具合部品の手配も容易になる。 In addition, if the BOM part number is included as part information in the design data, or if the BOM part number is linked to the part information, the part number can be obtained simply by specifying the part on the captured image, making it easier to arrange for defective parts.

また、特定した部品の周辺の情報も設計データから取得できるため、分析の幅が広がる。たとえば、基板の近くにある部品でいつも障害が発生している、ネジ部品において、３部品以上締結している箇所で障害が多く発生している、などの分析が可能になる。 In addition, information about the surroundings of identified parts can also be obtained from the design data, broadening the scope of analysis. For example, it becomes possible to analyze whether failures always occur in parts close to the board, or whether failures frequently occur in screw parts where three or more parts are fastened together.

なお、前述のように、上記の処理内容は、情報処理装置２０にプログラムを実行させることで実現できる。
プログラムは、コンピュータ読み取り可能な記録媒体（たとえば、記録媒体２６ａ）に記録しておくことができる。記録媒体として、たとえば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、ＦＤ及びＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ－Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤ及びＤＶＤ－Ｒ／ＲＷが含まれる。プログラムは、可搬型の記録媒体に記録されて配布されることがある。その場合、可搬型の記録媒体から他の記録媒体（たとえば、ＨＤＤ２３）にプログラムをコピーして実行してもよい。 As described above, the above processing contents can be realized by causing the information processing device 20 to execute a program.
The program may be recorded on a computer-readable recording medium (e.g., recording medium 26a). For example, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory may be used as the recording medium. Magnetic disks include FDs and HDDs. Optical disks include CDs, CD-R (Recordable)/RW (Rewritable), DVDs, and DVD-R/RWs. The program may be recorded on a portable recording medium and distributed. In this case, the program may be copied from the portable recording medium to another recording medium (e.g., HDD 23) and executed.

以上、実施の形態に基づき、本発明の部品特定プログラム、部品特定方法及び情報処理装置の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。 The above describes one aspect of the part identification program, part identification method, and information processing device of the present invention based on the embodiment, but these are merely examples and are not limited to the above description.

１０ 情報処理装置
１１ 入力部
１１ａ 撮像装置
１１ｂ 入力装置
１２ 記憶部
１２ａ 設計データ
１３ 処理部
１４ 出力部
１４ａ 表示装置
１５ 装置
１５ａ，１５ｂ 部品
１６ カーソル REFERENCE SIGNS LIST 10 Information processing device 11 Input unit 11a Imaging device 11b Input device 12 Storage unit 12a Design data 13 Processing unit 14 Output unit 14a Display device 15 Device 15a, 15b Component 16 Cursor

Claims (8)

複数の部品を含む装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、
前記第１の画像情報に基づいて、記憶部に記憶された前記装置の設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、
前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定し、
前記設計データに含まれる、特定した前記部品の情報を出力する、
処理をコンピュータに実行させる部品特定プログラム。 displaying the captured image on a display device based on input first image information about the captured image of the device including a plurality of components;
generating second image information showing a display state of the device that is the same as a display state of the device in the captured image from design data of the device stored in a storage unit based on the first image information;
Identifying a component located at coordinates of the second image information corresponding to a first designated position designated in the displayed captured image based on the second image information and the design data;
outputting information on the identified part included in the design data;
A part identification program that causes a computer to execute a process. 前記第１の画像情報に基づいて、前記設計データにより表される前記装置の第１の表示サイズ、第１の表示位置、または第１の向きを、前記撮像画像における前記装置の第２の表示サイズ、第２の表示位置、または第２の向きと一致させることで、前記第２の画像情報を生成する、処理を前記コンピュータに実行させる請求項１に記載の部品特定プログラム。 The part identification program according to claim 1 causes the computer to execute a process of generating the second image information by matching a first display size, a first display position, or a first orientation of the device represented by the design data with a second display size, a second display position, or a second orientation of the device in the captured image based on the first image information. 前記記憶部には、前記設計データから得られ、前記複数の部品の何れかの表示の有無がそれぞれ異なる複数の表示パターンのそれぞれについての第３の画像情報が記憶されており、
前記記憶部に記憶された前記複数の表示パターンのそれぞれについての前記第３の画像情報と前記第１の画像情報との類似度に基づいて、前記複数の表示パターンの何れかを選択し、
前記第１の画像情報に基づいて、選択した表示パターンの前記第３の画像情報により表される前記装置の、第１の表示サイズ、第１の表示位置、または第１の向きを、前記撮像画像における前記装置の第２の表示サイズ、第２の表示位置、または第２の向きと一致させることで、前記第２の画像情報を生成する、
処理を前記コンピュータに実行させる請求項１に記載の部品特定プログラム。 the storage unit stores third image information for each of a plurality of display patterns obtained from the design data and each of which differs in whether or not any of the plurality of components is displayed;
selecting one of the plurality of display patterns based on a similarity between the third image information and the first image information for each of the plurality of display patterns stored in the storage unit;
generating the second image information by matching a first display size, a first display position, or a first orientation of the device represented by the third image information of a selected display pattern with a second display size, a second display position, or a second orientation of the device in the captured image based on the first image information;
The part identification program according to claim 1 , which causes the computer to execute processing. 前記第１の画像情報に基づいて、前記撮像画像に表示されている前記複数の部品のうち第１の部品と第２の部品とを検出し、
前記撮像画像における前記第１の部品の位置と、選択した前記表示パターンにおける前記第１の部品の位置とが、一致するように前記第１の表示位置を調整し、
前記第１の表示位置の調整後に、前記撮像画像における前記第２の部品の位置と、選択した前記表示パターンにおける前記第２の部品の位置とが、一致するように前記第１の向きを回転させる、
処理を前記コンピュータに実行させる請求項３に記載の部品特定プログラム。 Detecting a first part and a second part from among the plurality of parts displayed in the captured image based on the first image information;
adjusting the first display position so that a position of the first component in the captured image coincides with a position of the first component in the selected display pattern;
after adjusting the first display position, rotating the first orientation so that a position of the second component in the captured image coincides with a position of the second component in the selected display pattern;
The part identification program according to claim 3 , which causes the computer to execute processing. 前記第１の指定位置に対応する前記部品がない場合、前記第２の画像情報に基づく画像において、前記第１の指定位置を含む領域を前記表示装置に拡大表示し、
拡大表示された前記領域において指定された第２の指定位置に対応する前記第２の画像情報の座標にある前記部品を特定する、
処理を前記コンピュータに実行させる請求項１乃至４の何れか一項に記載の部品特定プログラム。 when there is no part corresponding to the first specified position, an area including the first specified position in an image based on the second image information is enlarged and displayed on the display device;
identifying the part located at coordinates of the second image information corresponding to a second designated position designated in the enlarged and displayed area;
The part identification program according to claim 1 , which causes the computer to execute a process. 特定した前記部品において発生した現象の内容を、前記部品の前記情報と紐付けて記憶する、請求項１乃至５の何れか一項に記載の部品特定プログラム。 The part identification program according to any one of claims 1 to 5, which stores the details of the phenomenon occurring in the identified part in association with the information about the part. コンピュータが、
複数の部品を含む装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、
前記第１の画像情報に基づいて、記憶部に記憶された前記装置の設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、
前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定し、
前記設計データに含まれる、特定した前記部品の情報を出力する、
部品特定方法。 The computer
displaying the captured image on a display device based on input first image information about the captured image of the device including a plurality of components;
generating second image information showing a display state of the device that is the same as a display state of the device in the captured image from design data of the device stored in a storage unit based on the first image information;
Identifying a component located at coordinates of the second image information corresponding to a first designated position designated in the displayed captured image based on the second image information and the design data;
outputting information on the identified part included in the design data;
How to identify parts. 複数の部品を含む装置の設計データを記憶する記憶部と、
前記装置の撮像画像についての入力された第１の画像情報に基づいて、前記撮像画像を表示装置に表示し、前記第１の画像情報に基づいて、前記記憶部に記憶された前記設計データから、前記撮像画像における前記装置の表示状態と同じ表示状態を示す第２の画像情報を生成し、前記第２の画像情報と前記設計データに基づいて、表示された前記撮像画像において指定された第１の指定位置に対応する前記第２の画像情報の座標にある部品を特定する処理部と、
前記設計データに含まれる、特定した前記部品の情報を出力する出力部と、
を有する情報処理装置。 A storage unit that stores design data for a device including a plurality of components;
a processing unit that displays the captured image on a display device based on input first image information about the captured image of the device, generates second image information showing the same display state of the device in the captured image from the design data stored in the storage unit based on the first image information, and identifies a component located at coordinates of the second image information corresponding to a first designated position designated in the displayed captured image based on the second image information and the design data;
an output unit that outputs information on the identified part included in the design data;
An information processing device having the above configuration.

Images