JP2018005772A

JP2018005772A - Image capturing/display device and article information display system

Info

Publication number: JP2018005772A
Application number: JP2016135108A
Authority: JP
Inventors: 賢保坂; Masaru Hosaka
Original assignee: Toshiba Elevator Co Ltd
Current assignee: Toshiba Elevator and Building Systems Corp
Priority date: 2016-07-07
Filing date: 2016-07-07
Publication date: 2018-01-11
Anticipated expiration: 2036-07-07
Also published as: JP6176879B1

Abstract

PROBLEM TO BE SOLVED: To provide an image capturing/display device and article information display system, which allow for providing workers with article information, for example.SOLUTION: An embodiment of an image capturing/display device includes an image capturing unit and a display unit. The image capturing unit captures images. The display unit displays a pre-stored shape of an article identified from an image captured by the image capturing unit, and pre-stored article information on the identified article. The article information includes gravity center information indicative of the center of gravity of the article.SELECTED DRAWING: Figure 3

Description

本発明の実施形態は、撮像表示装置および物品情報表示システムに関する。 Embodiments described herein relate generally to an imaging display device and an article information display system.

従来、一般的に、エレベータは、建物等の現場で据付け作業が行われる。 Conventionally, an elevator is generally installed at a site such as a building.

特開２０００−１１１８２９号公報JP 2000-1111829 A

上記据付け作業では、作業者が、エレベータの部品等の物品に関する情報を確認したい場合がある。そこで、作業者に物品の情報を提供することができれば、好ましい。 In the above installation work, an operator may want to confirm information related to articles such as elevator parts. Therefore, it would be preferable if information on the article could be provided to the worker.

実施形態の撮像表示装置は、撮像部と、表示部と、を備えた。前記撮像部は、撮像を行う。前記表示部は、前記撮像部の撮像によって得られた撮像画像から特定された物品の予め記憶された形状と、前記物品に関する情報であり予め記憶された物品情報と、を表示する。前記物品情報には、前記物品の重心を示す重心情報が含まれた。 The imaging display device of the embodiment includes an imaging unit and a display unit. The imaging unit performs imaging. The display unit displays a prestored shape of an article specified from a captured image obtained by imaging of the imaging unit, and prestored article information that is information related to the article. The article information includes centroid information indicating the centroid of the article.

図１は、第１の実施形態の撮像表示装置の一例を示す斜視図である。FIG. 1 is a perspective view illustrating an example of an imaging display device according to the first embodiment. 図２は、第１の実施形態の撮像表示装置と物品との一例を示す斜視図である。FIG. 2 is a perspective view illustrating an example of an imaging display device and an article according to the first embodiment. 図３は、第１の実施形態の撮像表示装置の画面の一例を示す図である。FIG. 3 is a diagram illustrating an example of a screen of the imaging display device according to the first embodiment. 図４は、第１の実施形態の撮像表示装置と物品との一例を示す斜視図である。FIG. 4 is a perspective view illustrating an example of an imaging display device and an article according to the first embodiment. 図５は、第１の実施形態の撮像表示装置の画面の一例を示す図である。FIG. 5 is a diagram illustrating an example of a screen of the imaging display device according to the first embodiment. 図６は、第１の実施形態の撮像表示装置と物品との一例を示す斜視図である。FIG. 6 is a perspective view illustrating an example of an imaging display device and an article according to the first embodiment. 図７は、第１の実施形態の撮像表示装置の画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of a screen of the imaging display device according to the first embodiment. 図８は、第１の実施形態の物品情報表示システムが実行する物品情報表示処理の一例を示すフローチャートである。FIG. 8 is a flowchart illustrating an example of the article information display process executed by the article information display system according to the first embodiment. 図９は、第２の実施形態の撮像表示装置と物品との一例を示す斜視図である。FIG. 9 is a perspective view illustrating an example of an imaging display device and an article according to the second embodiment. 図１０は、第３の実施形態の撮像表示装置と物品との一例を示す斜視図である。FIG. 10 is a perspective view illustrating an example of an imaging display device and an article according to the third embodiment. 図１１は、第３の実施形態の撮像表示装置の画面の一例を示す図である。FIG. 11 is a diagram illustrating an example of a screen of the imaging display device according to the third embodiment.

以下、図面を参照して、実施形態について説明する。なお、以下の例示的な複数の実施形態には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が省略される。なお、これらの実施形態により本発明が限定されるものではない。 Hereinafter, embodiments will be described with reference to the drawings. It should be noted that the following exemplary embodiments include similar components. Therefore, below, the same code | symbol is attached | subjected to the same component, and the overlapping description is abbreviate | omitted. Note that the present invention is not limited to these embodiments.

＜第１の実施形態＞
［物品情報表示システムの構成］
本実施形態の物品情報表示システムは、撮像および物品情報の表示を行う撮像表示装置１００（図１）と、撮像表示装置１００によって撮像された撮像画像に基づいて各種の処理を行うサーバ装置と、を備えている。本実施形態では、例えば、撮像表示装置１００は、エレベータの据付け現場で用いられ、サーバ装置は、本部等の据付け現場とは異なる場所に設置されている。撮像表示装置１００とサーバ装置とは、通信ネットワークを介して通信可能に接続されている。通信ネットワークは、撮像表示装置１００とサーバ装置とを互いに接続する機能を有し、例えば、インターネット、電話回線網（携帯端末回線網および一般電話回線網等）、イントラネット、電力線通信（ＰＬＣ（Power Line Communications））等を含む。 <First Embodiment>
[Configuration of article information display system]
The article information display system of the present embodiment includes an imaging display device 100 (FIG. 1) that performs imaging and display of article information, a server device that performs various processes based on a captured image captured by the imaging display device 100, and It has. In this embodiment, for example, the imaging display device 100 is used at an elevator installation site, and the server device is installed at a location different from the installation site such as the headquarters. The imaging display device 100 and the server device are communicably connected via a communication network. The communication network has a function of connecting the imaging display device 100 and the server device to each other. For example, the Internet, a telephone line network (such as a mobile terminal line network and a general telephone line network), an intranet, and power line communication (PLC (Power Line Communications)) etc.

［撮像表示装置１００の構成］
図１は、本実施形態の撮像表示装置１００の一例を示す斜視図である。図１に示されるように、撮像表示装置１００は、眼鏡型の装着装置（ウェアラブル端末）として構成されている。撮像表示装置１００は、装着部１０１と、撮像部１０２と、表示部１０３と、制御部と、記憶部と、通信インターフェース部と、を備えている。撮像表示装置１００は、携帯装置（携帯端末）の一例である。 [Configuration of Imaging Display Device 100]
FIG. 1 is a perspective view showing an example of the imaging display device 100 of the present embodiment. As shown in FIG. 1, the imaging display device 100 is configured as a glasses-type wearing device (wearable terminal). The imaging display device 100 includes a mounting unit 101, an imaging unit 102, a display unit 103, a control unit, a storage unit, and a communication interface unit. The imaging display device 100 is an example of a mobile device (mobile terminal).

装着部１０１は、フレーム１０１ａと、フレーム１０１ａに固定された一対のレンズ１０１ｂと、を有し、眼鏡形状に形成されている。装着部１０１は、使用者の頭部（人体）に装着される。装着部１０１は、撮像部１０２および表示部１０３を支持している。 The mounting portion 101 includes a frame 101a and a pair of lenses 101b fixed to the frame 101a, and is formed in a spectacle shape. The mounting unit 101 is mounted on the user's head (human body). The mounting unit 101 supports the imaging unit 102 and the display unit 103.

撮像部１０２は、フレーム１０１ａに固定されている。撮像部１０２は、使用者に装着されたときに使用者の前方を撮像可能な姿勢で、一方のレンズ１０１ｂの側方に配置されている。撮像部１０２は、例えば、エリアセンサを有したカメラによって構成されている。撮像部１０２は、撮像によって得られた撮像画像（フレームデータ、画像データ）を出力する。撮像部１０２は、例えば、物品４００Ａ〜４００Ｅ（図２，４，６）を撮像する。以後、複数の物品４００Ａ〜４００Ｅの総称として、物品４００を用いる場合がある。複数の物品４００は、例えば、エレベータを構成する複数の部品等である。複数の物品４００には、例えば、巻上機、マシンベース、カウンターウェイト、ヘッダーケース等が含まれる。物品４００は、用品とも称される。 The imaging unit 102 is fixed to the frame 101a. The imaging unit 102 is disposed on the side of one lens 101b in a posture capable of imaging the front of the user when attached to the user. The imaging unit 102 is configured by, for example, a camera having an area sensor. The imaging unit 102 outputs a captured image (frame data, image data) obtained by imaging. The imaging unit 102 images, for example, the articles 400A to 400E (FIGS. 2, 4, and 6). Hereinafter, the article 400 may be used as a general term for the plurality of articles 400A to 400E. The plurality of articles 400 are, for example, a plurality of parts that constitute an elevator. The plurality of articles 400 include, for example, a hoisting machine, a machine base, a counterweight, a header case, and the like. The article 400 is also referred to as an article.

表示部１０３は、一方のレンズ１０１ｂに固定されている。表示部１０３は、画面が使用者側に向く姿勢で配置されており、使用者による画面の視認が可能となっている。表示部１０３は、例えば、ＯＥＬＤ（Organic Electroluminescent Display）やＬＣＤ（Liquid Crystal Display）等のディスプレイである。なお、表示部１０３は、レンズ１０１ｂやスクリーンに映像を投影することにより、表示を行う投影装置であってもよい。 The display unit 103 is fixed to one lens 101b. The display unit 103 is arranged in a posture in which the screen faces the user, and the user can visually recognize the screen. The display unit 103 is a display such as an OELD (Organic Electroluminescent Display) or an LCD (Liquid Crystal Display). The display unit 103 may be a projection device that performs display by projecting an image on the lens 101b or the screen.

撮像表示装置１００の制御部は、例えば、ＣＰＵ（Central Processing Unit）と、記憶部とを有したコンピュータによって構成されている。撮像表示装置１００の記憶部は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含み、ＣＰＵが実行するプログラム等を記憶している。撮像表示装置１００の制御部は、ＣＰＵが記憶部に記憶されたプログラムを実行することにより、例えば、送信部、受信部、および表示制御部等として機能（動作）する。撮像表示装置１００の制御部には、撮像部１０２、表示部１０３、撮像表示装置１００の記憶部、および撮像表示装置１００の通信インターフェース部が接続されている。撮像表示装置１００の制御部は、撮像表示装置１００の各部の制御や各種の演算を実行する。撮像表示装置１００の制御部は、例えば、撮像表示装置１００の記憶部および撮像表示装置１００の通信インターフェース部とともに、撮像部１０２の筐体内に収容されている。なお、撮像表示装置１００の制御部、記憶部、および通信インターフェース部は、撮像部１０２とは別個に装着部１０１に固定されていてもよい。 The control unit of the imaging display apparatus 100 is configured by, for example, a computer having a CPU (Central Processing Unit) and a storage unit. The storage unit of the imaging display device 100 includes a ROM (Read Only Memory) and a RAM (Random Access Memory), and stores programs executed by the CPU. The control unit of the imaging display device 100 functions (operates) as, for example, a transmission unit, a reception unit, and a display control unit when the CPU executes a program stored in the storage unit. An imaging unit 102, a display unit 103, a storage unit of the imaging display device 100, and a communication interface unit of the imaging display device 100 are connected to the control unit of the imaging display device 100. The control unit of the imaging display device 100 executes control of each unit of the imaging display device 100 and various calculations. The control unit of the imaging display device 100 is housed in the housing of the imaging unit 102 together with the storage unit of the imaging display device 100 and the communication interface unit of the imaging display device 100, for example. Note that the control unit, the storage unit, and the communication interface unit of the imaging display device 100 may be fixed to the mounting unit 101 separately from the imaging unit 102.

撮像表示装置１００の記憶部は、例えば、ＳＲＡＭ（Static Random Access Memory）等の記憶装置によって構成されている。なお、撮像表示装置１００の記憶部は、ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等の記憶装置によって構成されてもよい。 The storage unit of the imaging display device 100 is configured by a storage device such as an SRAM (Static Random Access Memory), for example. The storage unit of the imaging display device 100 may be configured by a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).

撮像表示装置１００の通信インターフェース部は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続されるインターフェースであり、撮像表示装置１００と通信ネットワークとの間における通信制御を行う機能を有する。すなわち、撮像表示装置１００の通信インターフェース部は、サーバ装置と通信ネットワークを介してデータを通信する機能を有している。 The communication interface unit of the imaging display device 100 is an interface connected to a communication device (not shown) such as an antenna or a router connected to a communication line, a telephone line, etc., and is between the imaging display device 100 and the communication network. Has a function of performing communication control. That is, the communication interface unit of the imaging display device 100 has a function of communicating data with the server device via the communication network.

［サーバ装置の構成］
サーバ装置は、制御部と、記憶部と、通信インターフェース部と、を備えている。 [Configuration of server device]
The server device includes a control unit, a storage unit, and a communication interface unit.

サーバ装置の制御部は、例えば、ＣＰＵ（Central Processing Unit）と、記憶部とを有したコンピュータによって構成されている。記憶部は、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含み、ＣＰＵが実行するプログラム等を記憶している。サーバ装置の制御部は、ＣＰＵが記憶部に記憶されたプログラムを実行することにより、例えば、受信部、特定部、判定部、取得部、および送信部等として機能（動作）する。サーバ装置の制御部には、サーバ装置の記憶部およびサーバ装置の通信インターフェース部が接続されている。サーバ装置の制御部は、サーバ装置の各部の制御や各種の演算を実行する。 The control unit of the server device is configured by, for example, a computer having a CPU (Central Processing Unit) and a storage unit. The storage unit includes a ROM (Read Only Memory) and a RAM (Random Access Memory), and stores programs executed by the CPU. The control unit of the server device functions (operates) as, for example, a reception unit, a specification unit, a determination unit, an acquisition unit, and a transmission unit when the CPU executes a program stored in the storage unit. A storage unit of the server device and a communication interface unit of the server device are connected to the control unit of the server device. The control unit of the server device executes control of each unit of the server device and various calculations.

サーバ装置の記憶部は、ＨＤＤやＳＳＤ等の記憶装置によって構成されている。なお、サーバ装置の記憶部は、ＳＲＡＭ等の記憶装置によって構成されていてもよい。サーバ装置の記憶部は、パターンマッチング処理で用いられる物品４００のテンプレート画像を記憶している。また、サーバ装置の記憶部は、物品４００（物品４００の識別情報）毎に、物品４００の形状と、物品４００に関する情報である物品情報と、を記憶している。物品４００の形状は、例えば、予め物品４００を撮像して得られた撮像画像であってもよいし、ＣＡＤデータ（二次元ＣＡＤデータや三次元ＣＡＤデータ）であってもよい。なお、物品の形状を示す画像（データ）をテンプレート画像として使用してもよい。物品情報は、例えば、物品４００の重心を表す重心情報である。また、一例として、本実施形態では、サーバ装置の記憶部は、物品４００の形状と、物品４００に関する情報である物品情報と、を含んだ表示用画像を物品４００毎に記憶している。また、サーバ装置の記憶部は、複数の物品４００によって構成されるアッセンブリに関するアッセンブリ情報を記憶している。アッセンブリ情報は、アッセンブリの重心を表す重心情報を含む。また、アッセンブリ情報は、アッセンブリを構成する複数の物品４００（部品）と、複数の物品４００（部品）が一体化された状態での相対的な位置（正しい位置）を示す位置情報を含む。 The storage unit of the server device is configured by a storage device such as an HDD or an SSD. The storage unit of the server device may be configured by a storage device such as an SRAM. The storage unit of the server device stores a template image of the article 400 used in the pattern matching process. Further, the storage unit of the server device stores, for each article 400 (identification information of the article 400), the shape of the article 400 and article information that is information related to the article 400. The shape of the article 400 may be, for example, a captured image obtained by imaging the article 400 in advance, or CAD data (two-dimensional CAD data or three-dimensional CAD data). An image (data) showing the shape of the article may be used as a template image. The article information is, for example, center of gravity information representing the center of gravity of the article 400. As an example, in this embodiment, the storage unit of the server device stores a display image including the shape of the article 400 and article information that is information about the article 400 for each article 400. In addition, the storage unit of the server device stores assembly information related to the assembly configured by the plurality of articles 400. The assembly information includes centroid information representing the centroid of the assembly. Further, the assembly information includes position information indicating a plurality of articles 400 (parts) constituting the assembly and a relative position (correct position) in a state where the plurality of articles 400 (parts) are integrated.

サーバ装置の通信インターフェース部は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続されるインターフェースであり、サーバ装置と通信ネットワークとの間における通信制御を行う機能を有する。すなわち、サーバ装置の通信インターフェース部は、撮像表示装置１００と通信ネットワークを介してデータを通信する機能を有している。 The communication interface unit of the server device is an interface connected to a communication device (not shown) such as an antenna or a router connected to a communication line or a telephone line, and controls communication between the server device and the communication network. Has the function to perform. In other words, the communication interface unit of the server device has a function of communicating data with the imaging display device 100 via the communication network.

［物品情報表示処理］
次に、物品情報表示システムが実行する物品情報表示処理について説明する。物品情報表示処理では、撮像表示装置１００の撮像部１０２の撮像によって得られた撮像画像に応じて、サーバ装置が表示用画像を撮像表示装置１００に送信する。そして、撮像表示装置１００の表示部１０３が、表示用画像を画面に表示する。以下では、まず、撮像部１０２の撮像例および表示用画像の例を説明し、その次に、物品情報表示処理の詳細を説明する。 [Article information display processing]
Next, an article information display process executed by the article information display system will be described. In the article information display process, the server device transmits a display image to the imaging display device 100 in accordance with a captured image obtained by imaging by the imaging unit 102 of the imaging display device 100. Then, the display unit 103 of the imaging display device 100 displays the display image on the screen. Hereinafter, first, an example of imaging of the imaging unit 102 and an example of a display image will be described, and then details of the article information display process will be described.

図２は、本実施形態の撮像表示装置１００と物品４００Ａとの一例を示す斜視図である。図３は、本実施形態の撮像表示装置１００の画面の一例を示す図である。図２に示されるように、撮像部１０２が、一つの物品４００Ａを撮像した場合、例えば、図３に示されるように、表示部１０３の画面には、表示用画像５００Ａが表示される。表示用画像５００Ａは、物品４００Ａの形状４００ａと、物品情報４００ｂと、を含む。図３の例では、物品４００Ａの形状４００ａは、物品４００Ａの外観の側面視であるが、物品４００Ａの形状４００ａは、斜視や正面視、平面視、底面視等で示されるものであってもよい。また、表示用画像５００Ａ中の物品４００Ａの形状４００ａは、撮像部１０２の撮像によって得られた撮像画像ではなく、サーバ装置の記憶部に記憶されたものである。また、物品情報４００ｂは、物品４００Ａの重心を示す重心情報４００ｂ１であり、例えば、黒丸で示されている。なお、撮像部１０２が、正しく組み付けられた複数の物品４００によって構成されたアッセンブリを撮像した場合には、アッセンブリの形状と、アッセンブリの物品情報（例えば、重心情報）とが、表示部１０３に表示される。すなわち、アッセンブリも物品の一例である。 FIG. 2 is a perspective view illustrating an example of the imaging display device 100 and the article 400A of the present embodiment. FIG. 3 is a diagram illustrating an example of a screen of the imaging display device 100 of the present embodiment. As shown in FIG. 2, when the imaging unit 102 images one article 400 </ b> A, for example, as shown in FIG. 3, a display image 500 </ b> A is displayed on the screen of the display unit 103. Display image 500A includes shape 400a of article 400A and article information 400b. In the example of FIG. 3, the shape 400a of the article 400A is a side view of the appearance of the article 400A, but the shape 400a of the article 400A may be shown in a perspective view, a front view, a plan view, a bottom view, or the like. Good. In addition, the shape 400a of the article 400A in the display image 500A is not a captured image obtained by imaging by the imaging unit 102 but is stored in the storage unit of the server device. The article information 400b is centroid information 400b1 indicating the centroid of the article 400A, and is indicated by a black circle, for example. In addition, when the imaging unit 102 images an assembly configured by a plurality of articles 400 that are correctly assembled, the shape of the assembly and article information (for example, center of gravity information) of the assembly are displayed on the display unit 103. Is done. That is, the assembly is an example of an article.

図４は、本実施形態の撮像表示装置１００と物品４００Ｂ，４００Ｃとの一例を示す斜視図である。図５は、本実施形態の撮像表示装置１００の画面の一例を示す図である。図４の例は、撮像部１０２が、アッセンブリを構成する二つ（複数）の物品４００Ｂ，４００Ｃであって一体化されていない物品４００Ｂ，４００Ｃを撮像した場合の例である。この場合には、例えば、図５に示される表示用画像５００Ｂが、表示部１０３の画面に表示される。表示用画像５００Ｂは、物品４００Ｂの形状４００ａと、エラー情報４００ｃと、を含む。エラー情報４００ｃは、複数の物品４００が互いに離間していることに関する情報であり、例えば、「離れているためアッセンブリの重心を表示できません」等の文字情報によって構成される。エラー情報４００ｃは、例えば、サーバ装置の記憶部に記憶さている。なお、エラー情報４００ｃは、上記に限られない。エラー情報４００ｃは、エラーである旨を直接的または間接的に示すものであればよい。エラー情報４００ｃは、第一の情報の一例である。なお、図５の例において、各物品４００Ｂ，４００Ｃの重心情報を表示してもよい。 FIG. 4 is a perspective view illustrating an example of the imaging display device 100 and the articles 400B and 400C according to the present embodiment. FIG. 5 is a diagram illustrating an example of a screen of the imaging display device 100 of the present embodiment. The example of FIG. 4 is an example in which the imaging unit 102 images two (plural) articles 400B and 400C constituting the assembly but not integrated articles 400B and 400C. In this case, for example, the display image 500 </ b> B shown in FIG. 5 is displayed on the screen of the display unit 103. Display image 500B includes shape 400a of article 400B and error information 400c. The error information 400c is information related to the fact that the plurality of articles 400 are separated from each other, and includes, for example, character information such as “the center of gravity of the assembly cannot be displayed because they are separated”. The error information 400c is stored in the storage unit of the server device, for example. The error information 400c is not limited to the above. The error information 400c may be anything that directly or indirectly indicates an error. The error information 400c is an example of first information. In the example of FIG. 5, the center of gravity information of each article 400B, 400C may be displayed.

図６は、本実施形態の撮像表示装置１００と物品４００Ｄ，４００Ｅとの一例を示す斜視図である。図７は、本実施形態の撮像表示装置１００の画面の一例を示す図である。図６の例は、撮像部１０２が、一体化された二つ（複数）の物品４００Ｄ，４００Ｅであって組み付け位置が間違っている物品４００Ｄ，４００Ｅを撮像した場合の例である。この場合には、例えば、図７に示される表示用画像５００Ｃが、表示部１０３の画面に表示される。表示用画像５００Ｃは、正しい組み付け位置に配置された物品４００Ｄ，４００Ｅの形状４００ａと、エラー情報４００ｄと、を含む。エラー情報４００ｄは、物品４００Ｄ，４００Ｅが規定の位置に配置されていないことに関する情報であり、例えば、「上の通りに取付けて下さい」等の文字情報によって構成される。エラー情報４００ｄは、例えば、サーバ装置の記憶部に記憶さている。なお、エラー情報４００ｄは、上記に限られない。エラー情報４００ｄは、エラーである旨を直接的または間接的に示すものであってよい。上記例の場合、「上の通りに取付けて下さい」が、取り付けが間違っている旨（エラー）を間接的に示している。エラー情報４００ｄは、第二の情報の一例である。図７の例において、各物品４００Ｄ，４００Ｅの重心情報を表示してもよい。なお、以下では、表示用画像５００Ａ〜５００Ｃの総称として、表示用画像５００を用いる場合がある。 FIG. 6 is a perspective view illustrating an example of the imaging display device 100 and the articles 400D and 400E according to the present embodiment. FIG. 7 is a diagram illustrating an example of a screen of the imaging display device 100 according to the present embodiment. The example of FIG. 6 is an example when the imaging unit 102 images two (plural) integrated articles 400D and 400E and the articles 400D and 400E with the wrong assembly position. In this case, for example, the display image 500 </ b> C shown in FIG. 7 is displayed on the screen of the display unit 103. The display image 500C includes the shapes 400a of the articles 400D and 400E arranged at the correct assembly position, and error information 400d. The error information 400d is information relating to the fact that the articles 400D and 400E are not arranged at the prescribed positions, and is configured by, for example, character information such as “please attach as above”. The error information 400d is stored, for example, in the storage unit of the server device. The error information 400d is not limited to the above. The error information 400d may indicate directly or indirectly that an error has occurred. In the case of the above example, “Please install as above” indirectly indicates that the installation is wrong (error). The error information 400d is an example of second information. In the example of FIG. 7, the center of gravity information of the articles 400D and 400E may be displayed. In the following, the display image 500 may be used as a general term for the display images 500A to 500C.

図８は、本実施形態の物品情報表示システムが実行する物品情報表示処理の一例を示すフローチャートである。図８に示されるように、物品情報表示処理では、まず、撮像表示装置１００の送信部が、撮像部１０２の撮像によって得られた撮像画像を、サーバ装置へ送信する（ステップＳ１）。 FIG. 8 is a flowchart illustrating an example of the article information display process executed by the article information display system according to the present embodiment. As shown in FIG. 8, in the article information display process, first, the transmission unit of the imaging display device 100 transmits a captured image obtained by imaging of the imaging unit 102 to the server device (step S1).

サーバ装置では、受信部が、送信された撮像画像を受信する（ステップＳ１１）。次に、サーバ装置の特定部が、撮像画像から物品４００を特定する（ステップＳ１２）。特定部は、撮像画像とサーバ装置の記憶部に記憶されたテンプレート画像とを用いたパターンマッチング処理を行うことによって、撮像画像中の物品４００を特定する。 In the server device, the reception unit receives the transmitted captured image (step S11). Next, the specifying unit of the server device specifies the article 400 from the captured image (step S12). The identifying unit identifies the article 400 in the captured image by performing a pattern matching process using the captured image and the template image stored in the storage unit of the server device.

次に、サーバ装置の判定部が、エラーの有無を判定する（ステップＳ１３）。このとき、判定部は、撮像画像中に、複数の物品４００があるかを判定する。判定部は、特定部によって特定された物品４００が一つの場合には、エラーは無いと判定する。 Next, the determination unit of the server device determines whether there is an error (step S13). At this time, the determination unit determines whether there are a plurality of articles 400 in the captured image. The determination unit determines that there is no error when the number of articles 400 specified by the specifying unit is one.

また、判定部は、特定部によって特定された物品４００が複数有る場合には、複数の物品４００が一体化されるべきものか（アッセンブリを構成するか）を、サーバ装置の記憶部に記憶されたアッセンブリ情報に基づいて判定する。判定部は、複数の物品４００が一体化されるべきものではないと判定した場合には、エラーは無いと判定する。一方、判定部は、複数の物品４００が一体化されるべきものであると判定した場合には、撮像画像に基づいて複数の物品４００が互いに離れているかを判定する。判定部は、複数の物品４００が離れている場合には、エラーが有ると判定し、当該内容をエラー報知対象としてサーバ装置の制御部の記憶部等に記憶させる。 In addition, when there are a plurality of articles 400 specified by the specifying unit, the determination unit stores in the storage unit of the server device whether the plurality of articles 400 should be integrated (whether they constitute an assembly). The determination is made based on the assembly information. When it is determined that the plurality of articles 400 are not to be integrated, the determination unit determines that there is no error. On the other hand, when the determination unit determines that the plurality of articles 400 are to be integrated, the determination unit determines whether the plurality of articles 400 are separated from each other based on the captured image. When the plurality of articles 400 are separated, the determination unit determines that there is an error, and stores the content as an error notification target in the storage unit or the like of the control unit of the server device.

また、判定部は、複数の物品が一体化されるべきであり且つ複数の物品４００が一体化されている（互いに離れていない）と判定した場合には、複数の物品４００の相対的な位置が正しいかを、サーバ装置の記憶部に記憶されたアッセンブリ情報に基づいて判定する。判定部は、複数の物品４００の相対的な位置が正しいと判定した場合には、エラーが無いと判定する。一方、判定部は、複数の物品４００の相対的な位置が間違っていると判定した場合には、エラーが有ると判定し、当該内容をエラー報知対象としてサーバ装置の制御部の記憶部等に記憶させる。 When the determination unit determines that the plurality of articles should be integrated and the plurality of articles 400 are integrated (not separated from each other), the relative positions of the plurality of articles 400 are determined. Is determined based on the assembly information stored in the storage unit of the server device. When the determination unit determines that the relative positions of the plurality of articles 400 are correct, the determination unit determines that there is no error. On the other hand, if the determination unit determines that the relative positions of the plurality of articles 400 are incorrect, the determination unit determines that there is an error and stores the content as an error notification target in the storage unit or the like of the control unit of the server device. Remember.

次に、サーバ装置の取得部が、表示用画像５００を取得する（ステップＳ１４）。取得部は、判定部によってエラーが無いと判定された場合には、特定部によって特定された物品４００の形状４００ａと、物品４００の物品情報４００ｂと、を含む表示用画像５００（表示用画像５００Ａ）を、サーバ装置の記憶部から取得する。一方、取得部は、判定部によってエラーが有ると判定された場合には、特定部によって特定された物品４００の形状４００ａと、エラーに応じたエラー情報４００ｃ，４００ｄと、をサーバ装置の記憶部から取得する。そして、取得部は、取得した物品４００の形状４００ａおよびエラー情報４００ｃ，４００ｄを含む表示用画像５００（表示用画像５００Ｂ，５００Ｃ）を生成することにより、表示用画像５００（表示用画像５００Ｂ，５００Ｃ）を取得する。なお、エラー情報４００ｃ，４００ｄを含んだ表示用画像５００Ｂ，５００Ｃが、サーバ装置の記憶部に予め記憶されていてもよい。この場合には、取得部は、サーバ装置の記憶部から表示用画像５００Ｂ，５００Ｃを取得することができるので、表示用画像５００Ｂ，５００Ｃを生成しなくてよい。 Next, the acquisition unit of the server apparatus acquires the display image 500 (step S14). When the determination unit determines that there is no error, the acquisition unit includes a display image 500 (display image 500A) including the shape 400a of the article 400 specified by the specification unit and the article information 400b of the article 400. ) Is acquired from the storage unit of the server device. On the other hand, when it is determined by the determination unit that there is an error, the acquisition unit stores the shape 400a of the article 400 specified by the specification unit and the error information 400c and 400d according to the error in the storage unit of the server device. Get from. Then, the acquisition unit generates a display image 500 (display images 500B and 500C) including the acquired shape 400a of the article 400 and error information 400c and 400d, thereby displaying the display image 500 (display images 500B and 500C). ) To get. The display images 500B and 500C including the error information 400c and 400d may be stored in advance in the storage unit of the server device. In this case, since the acquisition unit can acquire the display images 500B and 500C from the storage unit of the server device, it is not necessary to generate the display images 500B and 500C.

次に、サーバ装置の送信部が、取得部によって取得された表示用画像５００を撮像表示装置１００に送信する（ステップＳ１５）。 Next, the transmission unit of the server device transmits the display image 500 acquired by the acquisition unit to the imaging display device 100 (step S15).

撮像表示装置１００では、受信部が、表示用画像５００を受信する（ステップＳ２）。そして、撮像表示装置１００の表示制御部が、表示用画像５００を表示部１０３に表示させる（ステップＳ３）。 In the imaging display device 100, the receiving unit receives the display image 500 (step S2). Then, the display control unit of the imaging display apparatus 100 displays the display image 500 on the display unit 103 (step S3).

以上のように、本実施形態では、表示部１０３は、撮像部１０２の撮像によって得られた撮像画像から特定された物品４００の予め記憶された形状４００ａと、予め記憶された物品情報４００ｂと、を表示する。よって、本実施形態によれば、例えば、作業者に、物品情報４００ｂを提供することができる。したがって、例えば、作業者が、物品情報４００ｂを資料等で調べる必要がないので、作業時間の短縮化が図られる。 As described above, in the present embodiment, the display unit 103 includes the pre-stored shape 400a of the article 400 identified from the captured image obtained by the imaging of the imaging unit 102, the pre-stored article information 400b, Is displayed. Therefore, according to the present embodiment, for example, the article information 400b can be provided to the worker. Therefore, for example, it is not necessary for the worker to check the article information 400b with materials or the like, so that the working time can be shortened.

また、本実施形態では、物品情報４００ｂには、物品４００の重心を示す重心情報４００ｂ１が含まれている。よって、本実施形態によれば、例えば、作業者に、物品４００の重心情報４００ｂ１を提供することができる。したがって、例えば、作業者は、物品４００の重心が分かるので、比較的重たい物品４００や形状が複雑な物品４００であっても、安全に持ち上げて、運搬や取り付けをすることができる。また、作業者は、比較的重たい物品４００や形状が複雑な物品４００であっても安全に運搬装置に取り付けたり載せたりすることができる。 In the present embodiment, the article information 400b includes centroid information 400b1 indicating the centroid of the article 400. Therefore, according to the present embodiment, for example, the center of gravity information 400b1 of the article 400 can be provided to the worker. Therefore, for example, since the center of gravity of the article 400 can be known, the operator can safely lift, carry, and attach the relatively heavy article 400 or the article 400 having a complicated shape. In addition, the worker can safely attach or place the article 400, which is relatively heavy, or the article 400 having a complicated shape, on the transport device.

また、本実施形態では、表示部１０３（第一の報知部）は、撮像画像から特定される複数の物品４００が互いに離間していて、且つ複数の物品４００が一体化されるべき場合、エラー情報４００ｃを報知する。よって、本実施形態によれば、例えば、作業者が、物品４００が一体化されるべきものだと認識することができる。 In the present embodiment, the display unit 103 (first notification unit) generates an error when the plurality of articles 400 identified from the captured image are separated from each other and the plurality of articles 400 should be integrated. Information 400c is notified. Therefore, according to the present embodiment, for example, the operator can recognize that the article 400 should be integrated.

また、本実施形態では、表示部１０３（第二の報知部）は、撮像画像から特定された物品４００が規定の位置に配置されていない場合、エラー情報４００ｄを報知する。よって、本実施形態によれば、例えば、作業者が、物品４００の取り付け位置が間違っていることを認識することができる。また、例えば、物品４００の正しい位置が表示されることにより、作業者が、資料を確認することなく、物品４００を正しい位置に取り付けることができる。 Moreover, in this embodiment, the display part 103 (2nd alerting | reporting part) alert | reports the error information 400d, when the articles | goods 400 specified from the captured image are not arrange | positioned in the regular position. Therefore, according to the present embodiment, for example, the operator can recognize that the attachment position of the article 400 is incorrect. In addition, for example, by displaying the correct position of the article 400, the operator can attach the article 400 to the correct position without checking the material.

＜第２の実施形態＞
図９は、本実施形態の撮像表示装置１００と物品４００Ａとの一例を示す斜視図である。本実施形態では、物品４００にコードシンボル４０１が付与されている。コードシンボル４０１は、例えば、二次元コードである。なお、コードシンボル４０１は、バーコードであってもよい。撮像部１０２は、コードシンボル４０１を撮像する。コードシンボル４０１は、物品４００の識別情報を含む。図９では、撮像表示装置１００の撮像部１０２が、コードシンボル４０１を撮像した例が示されている。 <Second Embodiment>
FIG. 9 is a perspective view illustrating an example of the imaging display device 100 and the article 400A according to the present embodiment. In the present embodiment, the code symbol 401 is given to the article 400. The code symbol 401 is, for example, a two-dimensional code. The code symbol 401 may be a barcode. The imaging unit 102 images the code symbol 401. The code symbol 401 includes identification information of the article 400. FIG. 9 shows an example in which the imaging unit 102 of the imaging display device 100 images the code symbol 401.

また、本実施形態のサーバ装置の特定部は、撮像部１０２によって撮像された撮像画像中にコードシンボル４０１が含まれている場合には、当該コードシンボル４０１が示す識別情報によって物品４００を特定する。なお、特定部は、第１の実施形態で説明したパターンマッチングによる物品４００の特定機能も有している。 In addition, when the code symbol 401 is included in the captured image captured by the imaging unit 102, the specifying unit of the server device of the present embodiment specifies the article 400 based on the identification information indicated by the code symbol 401. . Note that the specifying unit also has a function of specifying the article 400 by pattern matching described in the first embodiment.

以上のように、本実施形態では、物品４００は、撮像画像中のコードシンボル４０１から特定される。よって、例えば、特定部は、パターンマッチングでは、物品４００の特定ができない場合でも、コードシンボル４０１が撮像画像中にあれば、物品４００を特定することができる。 As described above, in the present embodiment, the article 400 is specified from the code symbol 401 in the captured image. Thus, for example, the specifying unit can specify the article 400 if the code symbol 401 is in the captured image even if the article 400 cannot be specified by pattern matching.

なお、本実施形態では、特定部は、パターンマッチングによる物品４００の特定機能を有さなくてもよい。この場合、撮像部１０２は、コードシンボル４０１を撮像できればよい。例えば、撮像部１０２は、エリアセンサやエリアセンサを有したスキャナによって構成されていてもよい。 In the present embodiment, the specifying unit may not have the specifying function of the article 400 by pattern matching. In this case, the imaging unit 102 only needs to capture the code symbol 401. For example, the imaging unit 102 may be configured by an area sensor or a scanner having an area sensor.

＜第３の実施形態＞
図１０は、本実施形態の撮像表示装置１００と物品４００Ｆとの一例を示す斜視図である。図１１は、本実施形態の撮像表示装置１００の画面の一例を示す図である。本実施形態では、物品情報４００ｂが、撮像画像から特定された物品４００Ｆが運ばれる場合に当該物品４００Ｆの支持されるべき位置を示す位置情報４００ｂ２を含む。図１１の例では、位置情報４００ｂ２は、支持されるべき位置をハッチングで示している。物品４００Ｆの支持されるべき位置を示す位置情報４００ｂ２は、サーバ装置の記憶部に物品４００毎に予め記憶されている。物品４００Ｆの支持されるべき位置は、作業者が手で持つべき位置や、運搬装置が支持するべき位置等である。運搬装置の支持には、例えば、物品４００Ｆを吊す場合等が含まれる。なお、この場合、重心情報４００ｂ１も表示してよい。また、複数の物品４００によって構成されたアッセンブリの位置情報４００ｂ２を表示してもよい。アッセンブリの位置情報４００ｂ２もサーバ装置の記憶部に予め記憶されている。 <Third Embodiment>
FIG. 10 is a perspective view illustrating an example of the imaging display device 100 and the article 400F of the present embodiment. FIG. 11 is a diagram illustrating an example of a screen of the imaging display device 100 of the present embodiment. In the present embodiment, the article information 400b includes position information 400b2 indicating a position where the article 400F is to be supported when the article 400F specified from the captured image is carried. In the example of FIG. 11, the position information 400b2 indicates the position to be supported by hatching. The position information 400b2 indicating the position where the article 400F is to be supported is stored in advance for each article 400 in the storage unit of the server device. The position where the article 400F should be supported is a position that the operator should hold by hand, a position that the transport device should support, and the like. The support of the transport device includes, for example, a case where the article 400F is suspended. In this case, the center of gravity information 400b1 may also be displayed. Further, position information 400b2 of the assembly configured by a plurality of articles 400 may be displayed. Assembly position information 400b2 is also stored in advance in the storage unit of the server device.

以上のように、本実施形態では、物品情報４００ｂは、撮像画像から特定された物品４００が運ばれる場合に当該物品４００の支持されるべき位置を示す位置情報４００ｂ２を含む。よって、本実施形態によれば、例えば、作業者に、物品４００の支持されるべき位置を提供することができる。したがって、例えば、作業者は、物品４００の支持されるべき位置が分かるので、比較的重たい物品４００や形状が複雑な物品４００であっても安全に運搬することができる。また、作業者は、比較的重たい物品４００や形状が複雑な物品４００であっても安全に運搬装置に取り付けたり、載せたりすることができる。 As described above, in the present embodiment, the article information 400b includes the position information 400b2 indicating the position where the article 400 is to be supported when the article 400 specified from the captured image is carried. Therefore, according to the present embodiment, for example, a position where the article 400 is to be supported can be provided to an operator. Therefore, for example, since the operator knows the position where the article 400 is to be supported, the worker can safely transport even the relatively heavy article 400 or the article 400 having a complicated shape. In addition, the worker can safely attach or place the article 400, which is relatively heavy, or the article 400 having a complicated shape, to the transport device.

＜他の実施形態＞
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 <Other embodiments>
Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

例えば、撮像表示装置１００は、例えば、一般に市販されるデスクトップ型またはノート型のパーソナルコンピュータ等の情報処理装置であってもよい。また、撮像表示装置１００は、携帯電話、スマートフォン、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等の携帯装置であってもよい。また、撮像表示装置１００は、人体の手首等に装着される装着端末であってもよい。 For example, the imaging display apparatus 100 may be an information processing apparatus such as a desktop or notebook personal computer that is generally commercially available. The imaging display device 100 may be a mobile device such as a mobile phone, a smartphone, a PHS (Personal Handyphone System), or a PDA (Personal Digital Assistant). In addition, the imaging display device 100 may be a wearing terminal that is worn on a wrist or the like of a human body.

また、サーバ装置の特定部、判定部、および取得部が、撮像表示装置１００に設けられていてもよい。また、サーバ装置の記憶部に記憶されている各種のデータおよび情報が、撮像表示装置１００の記憶部に記憶されていてもよい。 Further, the identification unit, the determination unit, and the acquisition unit of the server device may be provided in the imaging display device 100. Various data and information stored in the storage unit of the server device may be stored in the storage unit of the imaging display device 100.

また、第一の報知部および第二の報知部は、音声によって情報を報知するスピーカ等であってもよい。この場合、一つのスピーカが第一の報知部と第二の報知部とを兼ねてもよい。 In addition, the first notification unit and the second notification unit may be a speaker that notifies information by voice. In this case, one speaker may serve as both the first notification unit and the second notification unit.

また、物品情報４００ｂには、物品４００の重量が含まれていてもよい。 The article information 400b may include the weight of the article 400.

また、表示用画像５００中の物品４００が、撮像画像中の物品４００と略同じ姿勢（位置）となるようにしてもよい。この場合、例えば、表示用画像５００中の物品４００のデータは、三次元ＣＡＤデータに基づいて作成（生成）されてよい。 Further, the article 400 in the display image 500 may have substantially the same posture (position) as the article 400 in the captured image. In this case, for example, the data of the article 400 in the display image 500 may be created (generated) based on the three-dimensional CAD data.

また、撮像表示装置１００およびサーバ装置が実行するプログラム（コンピュータプログラム）は、コンピュータで読み取り可能な記録媒体に記録されて、必要に応じて読み取られるものであってもよい。また、プログラムは、撮像表示装置１００およびサーバ装置に対して通信ネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよい。この場合、必要に応じてその全部または一部をダウンロードすることが可能であってもよい。ここで、上記「記録媒体」とは、任意の「可搬用の物理媒体」を含むものとする。可搬性の媒体は、例えば、メモリーカード、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等である。また、可搬性の媒体は、例えば、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰ（Erasable Programmable）ＲＯＭ、ＥＥＰ（Electrically Erasable and Programmable）ＲＯＭ、ＣＤ−ＲＯＭ等である。また、可搬性の媒体は、例えば、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disk）、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等である。 The program (computer program) executed by the imaging display device 100 and the server device may be recorded on a computer-readable recording medium and read as necessary. The program may be stored in an application program server connected to the imaging display device 100 and the server device via a communication network. In this case, it may be possible to download all or a part thereof as necessary. Here, the “recording medium” includes any “portable physical medium”. Examples of the portable medium include a memory card, a USB (Universal Serial Bus) memory, and an SD (Secure Digital) card. Examples of the portable medium include a flexible disk, a magneto-optical disk, a ROM, an EP (Erasable Programmable) ROM, an EEP (Electrically Erasable and Programmable) ROM, and a CD-ROM. Examples of portable media include MO (Magneto-Optical disk), DVD (Digital Versatile Disk), and Blu-ray (registered trademark) Disc.

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。 The “program” is a data processing method described in an arbitrary language or description method, and may be in any format such as source code or binary code. Note that the “program” is not necessarily limited to a single configuration, and functions are achieved in cooperation with a separate configuration such as a plurality of modules and libraries or a separate program represented by the OS. Including things. In addition, a well-known structure and procedure can be used about the specific structure for reading a recording medium in each apparatus shown in embodiment, a reading procedure, or the installation procedure after reading.

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。 Furthermore, the specific form of distribution / integration of the devices is not limited to that shown in the figure, and all or a part of them may be functional or physical in arbitrary units according to various additions or according to functional loads. Can be distributed and integrated. That is, the above-described embodiments may be arbitrarily combined and may be selectively implemented.

１００…撮像表示装置、１０１…装着部、１０２…撮像部、１０３…表示部、４００，４００Ａ〜４００Ｆ…物品、４０１…コードシンボル、４００ａ…形状、４００ｂ…物品情報、４００ｂ１…重心情報、４００ｂ２…位置情報、４００ｃ…エラー情報（第一の情報）、４００ｄ…エラー情報（第二の情報）。 DESCRIPTION OF SYMBOLS 100 ... Imaging display apparatus, 101 ... Mounting part, 102 ... Imaging part, 103 ... Display part, 400,400A-400F ... Article, 401 ... Code symbol, 400a ... Shape, 400b ... Article information, 400b1 ... Gravity center information, 400b2 ... Position information, 400c ... error information (first information), 400d ... error information (second information).

実施形態の撮像表示装置は、撮像部と、表示部と、第一の報知部と、を備えた。前記撮像部は、撮像を行う。前記表示部は、前記撮像部の撮像によって得られた撮像画像から特定された物品の予め記憶された形状と、前記物品に関する情報であり予め記憶された物品情報と、を表示する。前記第一の報知部は、前記撮像画像から特定される複数の前記物品が互いに離間していて、且つ前記複数の物品が一体化されるべき場合、複数の前記物品が互いに離間していることに関する第一の情報を報知する。前記物品情報には、前記物品の重心を示す重心情報が含まれた。 The imaging display device of the embodiment includes an imaging unit, a display unit, and a first notification unit . The imaging unit performs imaging. The display unit displays a prestored shape of an article specified from a captured image obtained by imaging of the imaging unit, and prestored article information that is information related to the article. In the first notification unit, when the plurality of articles specified from the captured image are separated from each other and the plurality of articles are to be integrated, the plurality of articles are separated from each other. The first information regarding is notified. The article information includes centroid information indicating the centroid of the article.

Claims

撮像を行う撮像部と、
前記撮像部の撮像によって得られた撮像画像から特定された物品の予め記憶された形状と、前記物品に関する情報であり予め記憶された物品情報と、を表示する表示部と、
を備え、
前記物品情報には、前記物品の重心を示す重心情報が含まれた、撮像表示装置。 An imaging unit for imaging;
A display unit for displaying a prestored shape of an article specified from a captured image obtained by imaging of the imaging unit, and prestored article information that is information related to the article;
With
The imaging display device, wherein the article information includes centroid information indicating a centroid of the article.

前記撮像画像から特定される複数の前記物品が互いに離間していて、且つ前記複数の物品が一体化されるべき場合、複数の前記物品が互いに離間していることに関する第一の情報を報知する第一の報知部を備えた、請求項１に記載の撮像表示装置。 When the plurality of articles specified from the captured image are separated from each other and the plurality of articles are to be integrated, first information on the plurality of articles being separated from each other is notified. The imaging display device according to claim 1, comprising a first notification unit.

前記物品情報は、前記撮像画像から特定された前記物品が運ばれる場合に当該物品の支持されるべき位置を示す位置情報を含む、請求項１または２に記載の撮像表示装置。 The imaging display apparatus according to claim 1, wherein the article information includes position information indicating a position where the article is to be supported when the article specified from the captured image is carried.

前記撮像画像から特定された前記物品が規定の位置に配置されていない場合、前記物品が規定の位置に配置されていないことに関する第二の情報を報知する第二の報知部を備えた、請求項１〜３のうちいずれか一つに記載の撮像表示装置。 And a second notification unit that notifies second information related to the fact that the article is not arranged at a prescribed position when the article specified from the captured image is not arranged at a prescribed position. The imaging display device according to any one of Items 1 to 3.

撮像部の撮像によって得られた撮像画像から物品を特定する特定部と、
前記特定部によって特定された前記物品の予め記憶された形状と、前記物品に関する情報であり予め記憶された物品情報と、を表示部に表示させる表示制御部と、
を備え、
前記物品情報には、前記物品の重心を示す重心情報が含まれた、物品情報表示システム。 A specifying unit for specifying an article from a captured image obtained by imaging of the imaging unit;
A display control unit that causes a display unit to display a pre-stored shape of the article specified by the specification unit and article information that is information related to the article and is stored in advance.
With
The article information display system, wherein the article information includes centroid information indicating the centroid of the article.