JP2007320715A - Work relation information provision system and work relation information provision method - Google Patents
Work relation information provision system and work relation information provision method Download PDFInfo
- Publication number
- JP2007320715A JP2007320715A JP2006152919A JP2006152919A JP2007320715A JP 2007320715 A JP2007320715 A JP 2007320715A JP 2006152919 A JP2006152919 A JP 2006152919A JP 2006152919 A JP2006152919 A JP 2006152919A JP 2007320715 A JP2007320715 A JP 2007320715A
- Authority
- JP
- Japan
- Prior art keywords
- work
- information
- worker
- view information
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 13
- 210000003128 head Anatomy 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Warehouses Or Storage Devices (AREA)
Abstract
Description
本発明は、商品の仕分作業を含む所定の作業を行う作業者に装着される作業者用ヘッドマウントディスプレイユニットと、作業者を管理する管理者に装着される管理者用ヘッドマウントディスプレイユニットと、各ヘッドマウントディスプレイユニットに対して所定の作業関連情報を提供するサーバ装置とを含む作業関連情報提供システム、及び作業関連情報提供方法に関する。 The present invention is a head-mounted display unit for an operator that is attached to an operator who performs a predetermined operation including a product sorting operation, a head-mounted display unit for an administrator that is attached to an administrator who manages the worker, The present invention relates to a work related information providing system including a server device that provides predetermined work related information to each head mounted display unit, and a work related information providing method.
従来から、人間の頭部に装着され、その装着者の目前に画像等を表示するヘッドマウントディスプレイ(HMD)を用いて、装着者に各種の情報を提供するシステムが提案されている(例えば、特許文献1参照)。 Conventionally, a system that provides various information to a wearer using a head mounted display (HMD) that is worn on a human head and displays an image or the like in front of the wearer has been proposed (for example, Patent Document 1).
しかしながら、上述した従来のシステムでは、あらかじめ定められた内容の情報をヘッドマウントディスプレイに表示するだけであるため、必要な情報をリアルタイムに提供することはできないという問題があった。 However, the conventional system described above has a problem in that it cannot provide necessary information in real time because it only displays information of predetermined contents on the head mounted display.
本発明は、上述した問題を解消し、ヘッドマウントディスプレイを利用したシステムにおいて、必要な情報をリアルタイムに提供することができるようにすることを目的とする。 An object of the present invention is to solve the above-described problems and to provide necessary information in real time in a system using a head mounted display.
本発明の作業関連情報提供システムは、商品の仕分作業を含む所定の作業を行う作業者に装着される作業者用ヘッドマウントディスプレイユニットと、前記作業者を管理する管理者に装着される管理者用ヘッドマウントディスプレイユニットと、各ヘッドマウントディスプレイユニットに対して所定の作業関連情報を提供するサーバ装置とを含む作業関連情報提供システムであって、前記サーバ装置は、前記作業者用ヘッドマウントディスプレイユニットが備えるカメラ装置によって撮影された前記作業者の作業視界情報を取得する作業視界情報取得手段と、該作業視界情報取得手段により取得した作業視界情報を作業関連情報として前記管理者用ヘッドマウントディスプレイユニットに送信する作業視界情報送信手段とを有し、前記管理者用ヘッドマウントディスプレイユニットは、作業視界情報の取得要求を行う作業視界情報取得要求手段と、該作業視界情報取得要求手段による取得要求に応じて前記作業視界情報送信手段により送信された作業視界情報を受信する作業視界情報受信手段と、該作業視界情報受信手段が受信した作業視界情報を前記管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する作業視界情報表示手段とを有することを特徴とする。 The work-related information providing system according to the present invention includes a head-mounted display unit for a worker to be worn by a worker who performs a predetermined work including product sorting work, and a manager to be worn by a manager who manages the worker. A work-related information providing system including a head-mounted display unit for use and a server device that provides predetermined work-related information to each head-mounted display unit, wherein the server device is the head-mounted display unit for an operator. Work view information acquisition means for acquiring the work view information of the worker photographed by the camera device included in the head, and the head mounted display unit for the manager using the work view information acquired by the work view information acquisition means as work related information And the work visibility information transmitting means for transmitting to the manager The head mounted display unit receives a work view information acquisition request unit that makes a request to obtain work view information, and receives the work view information transmitted by the work view information transmission unit in response to an acquisition request by the work view information acquisition request unit. And a work view information display means for displaying the work view information received by the work view information receiving means on a head mounted display included in the head mount display unit for the manager. .
上記のように構成したことで、作業者用ヘッドマウントディスプレイユニットから取得した作業視界情報を管理者用ヘッドマウントディスプレイユニットのヘッドマウントディスプレイに表示させることができ、必要な情報をリアルタイムに提供することができるようになる。 By configuring as described above, work view information acquired from the head mounted display unit for workers can be displayed on the head mounted display of the head mounted display unit for managers, and necessary information can be provided in real time. Will be able to.
サーバ装置が、作業者用ヘッドマウントディスプレイユニットからの要求に応じて商品情報を作業関連情報として送信する商品情報送信手段を有し、前記作業者用ヘッドマウントディスプレイユニットは、受信した商品情報を前記作業者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する商品情報表示手段を有する構成とされていてもよい。 The server device has product information transmitting means for transmitting product information as work-related information in response to a request from the worker's head-mounted display unit, and the worker's head-mounted display unit receives the received product information. You may be set as the structure which has a merchandise information display means displayed on the head mounted display with which the head mounted display unit for workers is equipped.
作業視界情報取得手段は、複数の作業者用ヘッドマウントディスプレイユニットが備えるそれぞれのカメラ装置によって撮影された各作業者の作業視界情報をそれぞれ取得し、作業視界情報送信手段は、前記作業視界情報取得手段により取得した各作業者の作業視界情報をそれぞれ送信し、作業視界情報受信手段は、前記作業視界情報送信手段により送信された各作業者の作業視界情報をそれぞれ受信し、作業視界情報表示手段は、前記作業視界情報受信手段が受信した各作業者の作業視界情報を管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイにそれぞれ区分けして表示するように構成されていてもよい。 The work view information acquisition unit acquires the work view information of each worker photographed by each camera device included in the plurality of head mounted display units for workers, and the work view information transmission unit acquires the work view information. The work view information of each worker acquired by the means is transmitted, and the work view information receiving means receives the work view information of each worker transmitted by the work view information transmitting means, and the work view information display means May be configured such that the work view information of each worker received by the work view information receiving means is displayed separately on the head mounted display included in the head mounted display unit for managers.
管理者用ヘッドマウントディスプレイユニットは、作業視界情報受信手段が受信している作業視界情報の切替要求を行う切替要求手段を有し、作業視界情報送信手段は、前記切替要求に応じた異なる作業者の作業視界情報に切り替えて送信するように構成されていてもよい。 The head-mounted display unit for manager has a switching request means for requesting switching of the work view information received by the work view information receiving means, and the work view information transmitting means is a different worker corresponding to the switching request. It may be configured to switch to and transmit the work view information.
作業視界情報は、例えば、作業者の視界空間を撮影した動画像情報、あるいは作業者の視界空間を撮影した静止画情報であり、片目で実空間と併せ見る場合は視界に重複し、両目で実空間と併せ見る場合は立体的な錯視を伴って見られる画像情報である。 The work view information is, for example, moving image information obtained by photographing the worker's view space, or still image information obtained by photographing the worker's view space. When viewed together with the real space with one eye, the view information overlaps with both eyes. When viewed together with a real space, the image information can be viewed with a stereoscopic illusion.
また、本発明の作業関連情報提供方法は、商品の仕分作業を含む所定の作業を行う作業者に装着される作業者用ヘッドマウントディスプレイユニットと、前記作業者を管理する管理者に装着される管理者用ヘッドマウントディスプレイユニットと、各ヘッドマウントディスプレイユニットに対して所定の作業関連情報を提供するサーバ装置とが実行する作業関連情報提供方法であって、前記サーバ装置が、前記作業者用ヘッドマウントディスプレイユニットが備えるカメラ装置によって撮影された前記作業者の作業視界情報を取得する作業視界情報取得ステップと、該作業視界情報取得ステップにて取得した作業視界情報を作業関連情報として前記管理者用ヘッドマウントディスプレイユニットに送信する作業視界情報送信ステップとを含み、前記管理者用ヘッドマウントディスプレイユニットは、作業視界情報の取得要求を行う作業視界情報取得要求ステップと、該作業視界情報取得要求ステップでの取得要求に応じて前記作業視界情報送信ステップにて送信された作業視界情報を受信する作業視界情報受信ステップと、該作業視界情報受信ステップにて受信した作業視界情報を前記管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する作業視界情報表示ステップとを含むことを特徴とする。 The work-related information providing method according to the present invention is attached to a head-mounted display unit for a worker to be worn by a worker who performs a predetermined work including product sorting work, and a manager who manages the worker. A work-related information providing method executed by a head-mounted display unit for an administrator and a server device that provides predetermined work-related information to each head-mounted display unit, wherein the server device includes the head for the worker The work view information acquisition step for acquiring the work view information of the worker photographed by the camera device included in the mount display unit, and the work view information acquired in the work view information acquisition step as work related information for the manager A work view information transmitting step for transmitting to the head mounted display unit. The head mounted display unit for manager is transmitted in the work view information acquisition request step for making a work view information acquisition request, and in the work view information transmission step in response to the acquisition request in the work view information acquisition request step. A work view information receiving step for receiving the work view information, a work view information display step for displaying the work view information received in the work view information receiving step on a head mounted display included in the head mounted display unit for managers, It is characterized by including.
本発明によれば、作業者用ヘッドマウントディスプレイユニットから取得した作業視界情報を管理者用ヘッドマウントディスプレイユニットのヘッドマウントディスプレイに表示させることができ、必要な情報をリアルタイムに提供することができるようになる。 ADVANTAGE OF THE INVENTION According to this invention, the work visual field information acquired from the head mounted display unit for workers can be displayed on the head mounted display of the head mounted display unit for managers, and required information can be provided in real time. become.
以下、本発明の一実施の形態について図面を参照して説明する。
図1は、本発明の一実施の形態に係るHMDシステム100の構成の例を示すブロック図である。図1に示すように、HMDシステム100は、HMDサーバ10と、管理者用HMDユニット20と、作業者用HMDユニット31〜3N(N:任意の正の整数)と、基地局40とを含む。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an example of the configuration of an HMD system 100 according to an embodiment of the present invention. As shown in FIG. 1, the HMD system 100 includes an HMD server 10, an
HMDサーバ10は、例えば専用回線やインターネットなどの通信ネットワーク50に接続されている。管理者用HMDユニット20、及び作業者用HMDユニット31〜3Nは、それぞれ、無線通信回線によって基地局40に接続し、基地局40を介して通信ネットワーク50に接続される。
The HMD server 10 is connected to a
HMDサーバ10は、WWWサーバなどの情報処理装置によって構成される。HMDサーバ10は、例えばHMDシステム100のシステム管理者によって管理されるサーバであり、商品に関する商品情報などの各種の情報が格納されるDB11を備えている。なお、DB11は、HMDサーバ10の内部にあっても外部にあってもよい。
The HMD server 10 is configured by an information processing apparatus such as a WWW server. The HMD server 10 is a server managed by a system administrator of the HMD system 100, for example, and includes a
管理者用HMDユニット20は、例えば図2に示すように、商品の仕分け作業などについての作業管理者の頭部に装着され、CCDカメラ装置などの小型カメラ装置20Aと、装着者に対して各種の情報を表示するHMD20Bと、HMD20B等が設置されるフレーム20Cとを含む。なお、図示はしないが、管理者用HMDユニット20には、無線通信を行うための無線通信部と、装着者の視点を検出するための視点検出部と、各種の制御を行うための制御部とが搭載されており、さらに装着者により操作される操作部が設けられている。この操作部は、管理者用HMDユニット20を装着した状態で操作可能となるように、通信ケーブルによって制御部に接続される。
For example, as shown in FIG. 2, the
本例では、HMD20Bは、装着時に、装着者の片目の目前または一部に配置される。従って、装着者は、片目でHMD20Bを閲覧し、他方の目または両目で現実の空間(実空間)と投影画像を片目で平面的に重複し、あるいは両目で立体的な錯視を伴い、視認しつつ各種の作業を行うことが可能となる。なお、HMD20Bは、図2に示すように片目全体を覆うように配置される場合と、図2に示す場合とは異なり片目の一部を覆うように配置される場合とがある。図2に示すように片目全体を覆うように配置される場合であっても、透明板あるいは半透明板により形成され、その一部に投影画像が表示されるようなものであれば、両目で立体的な錯視を伴い各種の作業を行うことが可能となる。 In this example, the HMD 20B is disposed in front of or part of the eye of the wearer when worn. Therefore, the wearer browses the HMD 20B with one eye and visually recognizes the real space (real space) and the projected image with the other eye or both eyes in a planar manner or with a stereoscopic illusion with both eyes. However, various operations can be performed. The HMD 20B may be arranged so as to cover the entire one eye as shown in FIG. 2 or may be arranged so as to cover a part of one eye unlike the case shown in FIG. As shown in FIG. 2, even if it is arranged so as to cover the whole eye, if it is formed of a transparent plate or a semi-transparent plate and a projected image is displayed on a part of it, it can be used with both eyes. Various operations can be performed with a stereoscopic illusion.
作業者用HMDユニット31〜3Nは、それぞれ、仕分け作業などの作業を行う作業者の頭部に装着される。作業者用HMDユニット31〜3Nは、それぞれ、上述した管理者用HMDユニット20と同一の構成である。
The worker HMD units 31 to 3N are respectively mounted on the heads of the workers who perform work such as sorting work. Each of the worker HMD units 31 to 3N has the same configuration as that of the
図3は、商品情報の例を示す説明図である。図3に示すように、商品情報は、各商品に一意に付与されている商品IDと、商品の分類を示す商品カテゴリと、商品の名称である商品名と、商品の特徴を示す商品特徴情報と、写真などの商品の画像を示す商品画像データとを含む。なお、図示されていないが、商品情報には、仕分け作業の内容を示す仕分情報などの他の情報も含まれる。仕分情報は、例えば、該当する商品を、どの出荷先にいくつ仕分けすればよいかを示す情報である。この商品情報は、あらかじめ作成されてDB11に格納さている。 FIG. 3 is an explanatory diagram showing an example of product information. As shown in FIG. 3, the product information includes a product ID uniquely assigned to each product, a product category indicating the classification of the product, a product name which is the name of the product, and product feature information indicating the characteristics of the product. And product image data indicating an image of the product such as a photograph. Although not shown, the product information includes other information such as sorting information indicating the contents of sorting work. The sorting information is information indicating, for example, how many corresponding products should be sorted into which shipping destination. This product information is created in advance and stored in the DB 11.
次に、本例のHMDシステム100の動作について説明する。
図4は、本例のHMDシステム100における作業関連情報提供処理の例を示すフローチャートである。作業関連情報とは、仕分け作業などの作業の支援あるいはその作業の管理に利用可能な情報である。ここでは、作業者用HMDユニット31を装着した作業者Xが商品Aの仕分け作業を行い、管理者用HMDユニット20を装着した管理者Yが作業者Xの作業状態を監視するときの処理について説明する。
Next, the operation of the HMD system 100 of this example will be described.
FIG. 4 is a flowchart illustrating an example of work-related information provision processing in the HMD system 100 of the present example. The work-related information is information that can be used for supporting work such as sorting work or managing the work. Here, the processing when the worker X wearing the worker HMD unit 31 performs the sorting operation of the product A and the manager Y wearing the
作業関連情報提供処理において、先ず、作業者用HMDユニット31は、作業者Xによる操作部の所定の操作に応じて、HMDサーバ10に対して、基地局40及び通信ネットワーク50を介して商品情報の提供要求を行う(ステップS101)。この要求は、作業者用HMDユニット31に付与されている装置番号と、商品IDとを提示して行う。ここでは、作業者Xが、仕分作業の現場に出向き、仕分対象の商品に付されている商品IDを指定することで、商品IDが提示される。なお、商品IDの一覧表をHMDサーバ10から取得し、取得した一覧表から商品IDを選択するようにしてもよい。
In the work-related information providing process, first, the worker HMD unit 31 sends product information to the HMD server 10 via the
商品情報の提供要求を受けると、HMDサーバ10は、指定された商品IDが示す商品についての商品情報をDB11から読み出して、読み出した商品情報を通信ネットワーク50及び基地局40を介して作業者用HMDユニット31に送信する(ステップS102)。
Upon receiving the request for provision of product information, the HMD server 10 reads product information about the product indicated by the designated product ID from the
商品情報を受信すると、作業者用HMDユニット31は、自己が備えるHMDに受信した商品情報を表示する(ステップS103)。本例では、例えば図5に示すように、商品IDと、商品名と、商品の特徴と、商品画像と、仕分情報とがHMDに表示される。 When the merchandise information is received, the worker HMD unit 31 displays the received merchandise information on the HMD provided therein (step S103). In this example, as shown in FIG. 5, for example, a product ID, a product name, a product feature, a product image, and sorting information are displayed on the HMD.
次いで、作業者用HMDユニット31は、自己が備える小型カメラ装置によって撮影されている作業者Xの視界画像を示す作業視界情報の送信を開始する(ステップS104)。すなわち、作業者Xについての作業視界情報(視界画像)のHMDサーバ10に対する送信を開始する。 Next, the worker HMD unit 31 starts transmission of work view information indicating a view image of the worker X photographed by the small camera device provided in the worker (step S104). That is, transmission of work view information (view image) about the worker X to the HMD server 10 is started.
HMDサーバ10は、作業視界情報の受信が開始されると、各作業者用HMDユニット31〜3Nの装着者が作業中であるか否かが設定される作業中ユニット情報を更新する(ステップS105)。すなわち、作業中ユニット情報における作業者用HMDユニット31についての作業状態フラグを「非作業中」を示す状態から「作業中」を示す状態に変更する。 When reception of the work view information is started, the HMD server 10 updates the working unit information in which it is set whether or not the wearer of each of the worker HMD units 31 to 3N is working (step S105). ). That is, the working status flag for the worker HMD unit 31 in the working unit information is changed from a state indicating “not working” to a state indicating “working”.
上記のようにして、作業者用HMDユニット31のHMDに商品情報を表示するとともに、作業者用HMDユニット31の小型カメラ装置で撮像されている作業視界情報をHMDサーバ10にて取得する処理などが実行される。作業者Xに、HMDに表示された商品情報を見ながら仕分け作業を行わせることができるので、仕分作業におけるミスを低減させることができ、さらには作業効率を向上させることが期待できる。 As described above, the merchandise information is displayed on the HMD of the worker HMD unit 31 and the work field information captured by the small camera device of the worker HMD unit 31 is acquired by the HMD server 10. Is executed. Since the worker X can perform the sorting work while looking at the product information displayed on the HMD, it is possible to reduce mistakes in the sorting work and further improve work efficiency.
その後、管理者用HMDユニット20は、管理者Yによる操作部の所定の操作に応じて、HMDサーバ10に対して、基地局40及び通信ネットワーク50を介して作業視界情報の取得要求を行う(ステップS106)。この要求は、管理者用HMDユニット20に付与されている装置番号と、閲覧希望の作業者用HMDユニット(ここでは作業者用HMDユニット31)に付与されている装置番号とを提示して行う。ここでは、管理者Yが、仕分作業の現場を巡回しながら、あるいは現場とは異なる場所において、作業視界情報の取得要求のための操作を行う。
Thereafter, the
作業視界情報の取得要求を受けると、HMDサーバ10は、指定された装置番号の作業者用HMDユニット31の作業状態が作業中であれば、その作業者用HMDユニット31から受信している作業視界情報を転送することで、通信ネットワーク50及び基地局40を介して管理者用HMDユニット20に対する作業視界情報の送信を開始する(ステップS107)。
Upon receiving the work view information acquisition request, the HMD server 10 receives the work received from the worker HMD unit 31 if the work state of the worker HMD unit 31 of the designated device number is working. By transferring the view information, transmission of the work view information to the
作業視界情報の送信が開始されると、管理者用HMDユニット20は、自己が備えるHMDに、受信した作業視界情報が示す作業者Xの視界画像の表示を開始する(ステップS108)。
When the transmission of the work view information is started, the
上記のようにして、作業者用HMDユニット31の小型カメラ装置で撮像されている作業視界情報を、HMDサーバ10を介して管理者用HMDユニット20に転送し、管理者用HMDユニット20のHMDに表示させることができる。よって、仕分作業の作業状態を容易に監視することが可能となる。
As described above, the work view information captured by the small camera device of the worker HMD unit 31 is transferred to the
その後、管理者用HMDユニット20は、管理者Yによる操作部の所定の操作に応じて、HMDサーバ10に対して、基地局40及び通信ネットワーク50を介して作業視界情報の閲覧終了要求を行う(ステップS109)。この要求は、管理者用HMDユニット20に付与されている装置番号を提示して行う。
Thereafter, the
作業視界情報の閲覧終了要求を受けると、HMDサーバ10は、管理者用HMDユニット20に対する作業視界情報の送信を終了する(ステップS110)。また、管理者用HMDユニット20は、作業視界情報の閲覧終了要求を送信したあと、HMDへの作業視界情報の表示を終了する(ステップS111)。
Upon receiving the work view information browsing end request, the HMD server 10 ends the transmission of the work view information to the manager HMD unit 20 (step S110). Also, the
その後、作業者用HMDユニット31は、例えば作業を終了した作業者Xによる操作部の所定の操作に応じて、HMDサーバ10に対する作業視界情報の送信を終了する(ステップS112)。作業視界情報の送信が終了され、HMDサーバ10において作業視界情報が受信されなくなると、HMDサーバ10は、作業中ユニット情報を更新する(ステップS113)。すなわち、作業中ユニット情報における作業者用HMDユニット31についての作業状態フラグを「作業中」を示す状態から「非作業中」を示す状態に変更する。 Thereafter, the worker HMD unit 31 ends the transmission of the work view information to the HMD server 10 in accordance with, for example, a predetermined operation of the operation unit by the worker X who has finished the work (step S112). When the transmission of the work view information is finished and the work view information is no longer received by the HMD server 10, the HMD server 10 updates the working unit information (step S113). That is, the working status flag for the worker HMD unit 31 in the working unit information is changed from a state indicating “working” to a state indicating “not working”.
なお、上記の例では、作業者用HMDユニット31が備える小型カメラ装置による撮影画像のみを管理者用HMDユニット20のHMDに表示するようにしていたが、例えば図6に示すように、複数の作業者用HMDユニットが備えるそれぞれの小型カメラ装置による撮影画像を管理者用HMDユニット20のHMDに区分けして表示するようにしてもよい。この場合、各画像がどの作業者の視界であるか分るように、各画像に対象となる作業者用HMDユニットの装置番号が表示される。
In the above example, only the photographed image by the small camera device provided in the worker HMD unit 31 is displayed on the HMD of the
また、上記の例では、管理者用HMDユニット20のHMDに作業視界情報を表示する構成としていたが、例えば管理者は、特定の場所に設置されているモニタ装置のディスプレイに作業視界情報を表示するようにしてもよい。このように構成した場合であっても、作業者の作業状態を容易に管理することが可能となる。
In the above example, the work view information is displayed on the HMD of the
以上に説明したように、上述した一実施の形態では、HMDサーバ10が、作業者用HMDユニット31が備えるカメラ装置によって撮影された作業者の作業視界情報を取得し、取得した作業視界情報を作業関連情報として管理者用HMDユニット20に送信する処理を行い、管理者用HMDユニット20が、作業視界情報の取得要求を行い、その取得要求に応じてHMDサーバ10から送信された作業視界情報を受信し、受信した作業視界情報を管理者用HMDユニット20が備えるHMDに表示する構成としているので、作業者用HMDユニット31から取得した作業視界情報を管理者用HMDユニット20のHMDに表示させることができ、仕分け作業の管理に必要な情報をリアルタイムに提供することができるようになる。よって、作業者が正しく仕分けしているか否かを仕分け作業の管理者が容易に確認することができるようになる。
As described above, in the above-described embodiment, the HMD server 10 acquires the work view information of the worker photographed by the camera device included in the worker HMD unit 31, and the obtained work view information is obtained. Processing to transmit to the
また、上述した一実施の形態では、HMDサーバ10が、作業者用HMDユニット31からの要求に応じて商品情報を提供する構成としたので、仕分け作業に有効利用可能な情報をリアルタイムに提供することができ、作業者に商品情報を参照させながら作業させることができるようになり、作業効率の向上が期待できるようになる。 In the above-described embodiment, since the HMD server 10 is configured to provide product information in response to a request from the worker HMD unit 31, information that can be effectively used for sorting work is provided in real time. Thus, the worker can work while referring to the product information, and improvement in work efficiency can be expected.
また、上述した一実施の形態では、HMDサーバ10が、複数の作業者用HMDユニット31〜3Nが備えるそれぞれのカメラ装置によって撮影された各作業者の作業視界情報をそれぞれ取得し、取得した各作業者の作業視界情報をそれぞれ管理者用HMDユニット20に対して送信し、管理者用HMDユニット20が、HMDサーバ10からの各作業者の作業視界情報をそれぞれ受信し、受信した各作業者の作業視界情報を管理者用HMDユニット20が備えるHMDにそれぞれ区分けして表示するようにすればよい。なお、特定の場所に設置されているモニタ装置のディスプレイに作業視界情報を表示する場合に、各作業者の作業視界情報をそれぞれ区分けして表示するようにしてもよい。また、複数のモニタ装置のそれぞれのディスプレイに、各作業者の作業視界情報を表示するようにしてもよい。
Further, in the above-described embodiment, the HMD server 10 acquires the work view information of each worker photographed by the respective camera devices provided in the plurality of worker HMD units 31 to 3N, respectively, Each worker's work view information is transmitted to the
なお、上述した実施の形態では特に言及していないが、管理者用HMDユニット20側で、閲覧対象の作業者用HMDユニットを切替可能な構成としてもよい。この場合、例えば、管理者用HMDユニット20が、管理者からの指示に従って受信している作業視界情報の切替要求を行う機能を有し、HMDサーバ10が、管理者用HMDユニット20からの切替要求に応じて、その要求に応じた異なる作業者の作業視界情報に切り替えて送信する機能を有するようにすればよい。このように構成すれば、希望する作業者の作業状態に切り替えて監視することが可能となる。
Although not specifically mentioned in the above-described embodiment, the
また、作業者用HMDユニット31〜3NのHMDに、他の作業者用HMDユニット31〜3Nのカメラ装置にて撮影した作業視界情報を表示するようにしてもよい。この場合に、作業者の操作に応じて表示対象の作業者用HMDユニットを切り替えるようにしてもよい。 Moreover, you may make it display the work visual field information image | photographed with the camera apparatus of the other HMD units 31-3N for workers on the HMD of the worker HMD units 31-3N. In this case, the worker HMD unit to be displayed may be switched according to the operation of the worker.
また、上述した実施の形態では特に言及していないが、HMDサーバ10が、作業視界情報が示す作業者の視界空間の画像中にある所定の情報(文字、記号、数字、暗号、それらの組み合わせ)を解釈する解釈機能と、その解釈結果に応じた回答情報を決定する回答情報決定機能と、決定した回答情報を作業者用ヘッドマウントディスプレイユニットに送信する回答情報送信機能とを備え、作業者用HMDユニットが、受信した回答情報を自己が備えるHMDに表示する回答情報表示機能を備えるようにしてもよい。この場合、解釈機能は、文字認識機能などによって実現される。このように構成すれば、例えば、HMDサーバ10が、例えば作業視界情報が示す作業者の視界空間の画像中にある商品IDを解釈(認識)し、その商品IDに関連付けされている商品情報を回答情報として作業者用HMDユニットに送信し、その作業者用HMDユニットのHMDに自動的に商品情報を表示させることが可能となる。 In addition, although not particularly mentioned in the above-described embodiment, the HMD server 10 has predetermined information (characters, symbols, numbers, encryption, combinations thereof) in the image of the worker's view space indicated by the work view information. ), An answer information determining function for determining answer information according to the interpretation result, and an answer information transmitting function for transmitting the determined answer information to the operator's head mounted display unit. The HMD unit for use may be provided with a response information display function for displaying the received response information on the HMD provided therein. In this case, the interpretation function is realized by a character recognition function or the like. With this configuration, for example, the HMD server 10 interprets (recognizes) the product ID in the image of the worker's view space indicated by the work view information, for example, and stores the product information associated with the product ID. It is possible to send the response information to the worker HMD unit and automatically display the product information on the HMD of the worker HMD unit.
また、上述した実施の形態では、仕分け作業の作業者についての作業視界情報を提供する例について説明したが、他の作業の際に本システム100を適用してもよい。また、上述した実施の形態では、作業視界情報は動画像を想定していたが、静止画像を所定時間間隔で提供するようにしてもよい。 In the above-described embodiment, the example in which the work view information about the worker performing the sorting work is provided has been described. However, the present system 100 may be applied to other work. In the above-described embodiment, the work view information is assumed to be a moving image, but still images may be provided at predetermined time intervals.
本発明によれば、仕分け作業の管理に必要な情報をリアルタイムに提供することができるようになる。 According to the present invention, it is possible to provide information necessary for management of sorting work in real time.
10 HMDサーバ
11 DB
20 管理者用HMDユニット
31〜3N 作業者用HMDユニット
40 基地局
50 通信ネットワーク
100 HMDシステム
10
20 HMD unit for managers 31 to 3N HMD unit for
Claims (11)
前記サーバ装置は、
前記作業者用ヘッドマウントディスプレイユニットが備えるカメラ装置によって撮影された前記作業者の作業視界情報を取得する作業視界情報取得手段と、
該作業視界情報取得手段により取得した作業視界情報を作業関連情報として前記管理者用ヘッドマウントディスプレイユニットに送信する作業視界情報送信手段とを有し、
前記管理者用ヘッドマウントディスプレイユニットは、
作業視界情報の取得要求を行う作業視界情報取得要求手段と、
該作業視界情報取得要求手段による取得要求に応じて前記作業視界情報送信手段により送信された作業視界情報を受信する作業視界情報受信手段と、
該作業視界情報受信手段が受信した作業視界情報を前記管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する作業視界情報表示手段とを有する
ことを特徴とする作業関連情報提供システム。 A head-mounted display unit for a worker to be mounted on a worker who performs a predetermined work including a product sorting operation, a head-mounted display unit for a manager to be mounted on a manager who manages the worker, and each head mount A work-related information providing system including a server device that provides predetermined work-related information to a display unit,
The server device
Work field information acquisition means for acquiring the work field information of the worker imaged by a camera device provided in the worker's head mounted display unit;
Work view information transmitting means for transmitting the work view information acquired by the work view information acquiring means to the head mounted display unit for managers as work related information,
The administrator head-mounted display unit is:
A work view information acquisition request means for making a request to obtain work view information;
A work view information receiving means for receiving the work view information transmitted by the work view information sending means in response to an acquisition request by the work view information obtaining request means;
A work-related information providing system comprising: work view information display means for displaying the work view information received by the work view information receiving means on a head mounted display included in the manager head mounted display unit.
前記作業者用ヘッドマウントディスプレイユニットは、受信した商品情報を前記作業者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する商品情報表示手段を有する
請求項1記載の作業関連情報提供システム。 The server device has product information transmission means for transmitting product information as work-related information in response to a request from the head-mounted display unit for the worker,
The work-related information providing system according to claim 1, wherein the worker's head-mounted display unit includes product information display means for displaying the received product information on a head-mounted display included in the worker's head-mounted display unit.
作業視界情報送信手段は、前記作業視界情報取得手段により取得した各作業者の作業視界情報をそれぞれ送信し、
作業視界情報受信手段は、前記作業視界情報送信手段により送信された各作業者の作業視界情報をそれぞれ受信し、
作業視界情報表示手段は、前記作業視界情報受信手段が受信した各作業者の作業視界情報を管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイにそれぞれ区分けして表示する
請求項1または請求項2記載の作業関連情報提供システム。 The work view information acquisition means acquires the work view information of each worker photographed by each camera device included in the plurality of head mounted display units for workers,
The work view information transmitting means transmits the work view information of each worker acquired by the work view information acquiring means,
The work view information receiving means receives the work view information of each worker transmitted by the work view information sending means,
The work view information display means divides and displays the work view information of each worker received by the work view information receiving means on a head mounted display included in the head mounted display unit for managers. The work-related information provision system described.
作業視界情報送信手段は、前記切替要求に応じた異なる作業者の作業視界情報に切り替えて送信する
請求項1から請求項3のうちいずれかに記載の作業関連情報提供システム。 The head mounted display unit for managers has a switching request means for making a switching request for the work view information received by the work view information receiving means,
4. The work-related information providing system according to claim 1, wherein the work view information transmitting unit switches to and transmits the work view information of different workers according to the switching request. 5.
請求項1から請求項4のうちいずれかに記載の作業関連情報提供システム。 The work view information is moving image information that captures the worker's view space or still image information that captures the worker's view space. When viewing with the real space with one eye, it overlaps the view and the real space with both eyes. The work-related information providing system according to any one of claims 1 to 4, wherein the work-related information providing system includes image information that is viewed with a stereoscopic illusion.
前記サーバ装置が、
前記作業者用ヘッドマウントディスプレイユニットが備えるカメラ装置によって撮影された前記作業者の作業視界情報を取得する作業視界情報取得ステップと、
該作業視界情報取得ステップにて取得した作業視界情報を作業関連情報として前記管理者用ヘッドマウントディスプレイユニットに送信する作業視界情報送信ステップとを含み、
前記管理者用ヘッドマウントディスプレイユニットは、
作業視界情報の取得要求を行う作業視界情報取得要求ステップと、
該作業視界情報取得要求ステップでの取得要求に応じて前記作業視界情報送信ステップにて送信された作業視界情報を受信する作業視界情報受信ステップと、
該作業視界情報受信ステップにて受信した作業視界情報を前記管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する作業視界情報表示ステップとを含む
ことを特徴とする作業関連情報提供方法。 A head-mounted display unit for a worker to be mounted on a worker who performs a predetermined work including a product sorting operation, a head-mounted display unit for a manager to be mounted on a manager who manages the worker, and each head mount A work related information providing method executed by a server device that provides predetermined work related information to a display unit,
The server device is
A work view information acquisition step of acquiring work view information of the worker photographed by a camera device provided in the head-mounted display unit for the worker;
A work view information transmitting step for sending the work view information acquired in the work view information acquiring step to the head mounted display unit for managers as work related information,
The administrator head-mounted display unit is:
A work visibility information acquisition request step for requesting acquisition of work visibility information;
A work view information receiving step for receiving the work view information transmitted in the work view information sending step in response to the acquisition request in the work view information obtaining request step;
A work-related information providing method comprising: a work view information display step of displaying the work view information received in the work view information receiving step on a head mounted display included in the head mounted display unit for managers.
前記作業者用ヘッドマウントディスプレイユニットは、受信した商品情報を前記作業者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイに表示する商品情報表示ステップを有する
請求項6記載の作業関連情報提供方法。 The server device has a product information transmission step for transmitting product information as work-related information in response to a request from the head-mounted display unit for the worker,
The work related information providing method according to claim 6, wherein the worker head mounted display unit includes a product information display step of displaying the received product information on a head mounted display included in the worker head mounted display unit.
作業視界情報送信ステップにて、前記作業視界情報取得ステップにて取得した各作業者の作業視界情報をそれぞれ送信し、
作業視界情報受信ステップにて、前記作業視界情報送信ステップにて送信した各作業者の作業視界情報をそれぞれ受信し、
作業視界情報表示ステップにて、前記作業視界情報受信ステップにて受信した各作業者の作業視界情報を管理者用ヘッドマウントディスプレイユニットが備えるヘッドマウントディスプレイにそれぞれ区分けして表示する
請求項6または請求項7記載の作業関連情報提供方法。 In the work visibility information acquisition step, each obtains the work visibility information of each worker photographed by each camera device included in the plurality of head mounted display units for workers,
In the work view information transmission step, the work view information of each worker acquired in the work view information acquisition step is transmitted,
In the work view information receiving step, the work view information of each worker transmitted in the work view information sending step is received,
The work view information of each worker received in the work view information receiving step is divided and displayed on a head mounted display included in the manager head mounted display unit in the work view information display step. Item 7. The work related information providing method according to Item 7.
作業視界情報送信ステップでは、前記切替要求に応じた異なる作業者の作業視界情報に切り替えて送信する
請求項6から請求項8のうちいずれかに記載の作業関連情報提供方法。 The head mounted display unit for managers has a switching request step for making a switching request for the work view information received in the work view information receiving step,
The work related information providing method according to any one of claims 6 to 8, wherein in the work view information transmitting step, the work view information is switched to and transmitted to the work view information of a different worker in response to the switching request.
請求項6から請求項9のうちいずれかに記載の作業関連情報提供方法。 The work view information is moving image information that captures the worker's view space or still image information that captures the worker's view space. When viewing with the real space with one eye, it overlaps the view and the real space with both eyes. The work-related information providing method according to any one of claims 6 to 9, wherein the work-related information is image information viewed with a stereoscopic illusion.
作業視界情報が示す作業者の視界空間の画像中にある文字、記号、数字、暗号、それらの組み合わせを解釈する解釈ステップと、
解釈結果に応じた回答情報を決定する回答情報決定ステップと、
回答情報を作業者用ヘッドマウントディスプレイユニットに送信する回答情報送信ステップとを有し、
前記作業者用ヘッドマウントディスプレイユニットは、
受信した回答情報をヘッドマウントディスプレイに表示する回答情報表示ステップを有する
請求項6から請求項10のうちいずれかに記載の作業関連情報提供方法。 Server device
An interpretation step for interpreting characters, symbols, numbers, ciphers, and combinations thereof in an image of the worker's view space indicated by the work view information;
A response information determination step for determining response information according to the interpretation result;
An answer information sending step for sending answer information to the worker's head-mounted display unit,
The worker's head mounted display unit is:
The work related information providing method according to any one of claims 6 to 10, further comprising a response information display step of displaying the received response information on a head mounted display.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006152919A JP2007320715A (en) | 2006-05-31 | 2006-05-31 | Work relation information provision system and work relation information provision method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006152919A JP2007320715A (en) | 2006-05-31 | 2006-05-31 | Work relation information provision system and work relation information provision method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007320715A true JP2007320715A (en) | 2007-12-13 |
Family
ID=38853855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006152919A Pending JP2007320715A (en) | 2006-05-31 | 2006-05-31 | Work relation information provision system and work relation information provision method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007320715A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5334145B1 (en) * | 2012-06-29 | 2013-11-06 | トーヨーカネツソリューションズ株式会社 | Support system for picking goods |
JP2016061827A (en) * | 2014-09-16 | 2016-04-25 | ソニー株式会社 | Display control device, display control method, display control system, and head-mounted display |
JP2017048024A (en) * | 2015-09-03 | 2017-03-09 | 株式会社東芝 | Eyeglass-type wearable terminal and picking method using the same |
US10048922B2 (en) | 2015-07-06 | 2018-08-14 | Seiko Epson Corporation | System, apparatus, and method for displaying information on a head mounted display |
US10133532B2 (en) | 2015-09-25 | 2018-11-20 | Seiko Epson Corporation | Display system, display device, information display method, and program |
US10175923B2 (en) | 2014-12-26 | 2019-01-08 | Seiko Epson Corporation | Display system, display device, information display method, and program |
KR20190031805A (en) * | 2017-09-18 | 2019-03-27 | 한국과학기술연구원 | Coaching system for users participating in virtual reality contents |
KR20190084936A (en) * | 2019-07-10 | 2019-07-17 | 한국과학기술연구원 | Coaching system for users participating in virtual reality contents |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10147411A (en) * | 1996-11-15 | 1998-06-02 | Nippon Yusoki Co Ltd | Picking work method |
JP2001034615A (en) * | 1999-07-16 | 2001-02-09 | Nippon Telegr & Teleph Corp <Ntt> | Work support system and work support method |
JP2002287815A (en) * | 2001-03-26 | 2002-10-04 | Mitsubishi Heavy Ind Ltd | On-site support system |
JP2002297966A (en) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | Perishable commodity purchasing method and system using wearable computer, wearable computer for purchasing perishable commodity and program for purchasing perishable commodity |
JP2006060644A (en) * | 2004-08-23 | 2006-03-02 | Hitachi Kokusai Electric Inc | Camera system |
-
2006
- 2006-05-31 JP JP2006152919A patent/JP2007320715A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10147411A (en) * | 1996-11-15 | 1998-06-02 | Nippon Yusoki Co Ltd | Picking work method |
JP2001034615A (en) * | 1999-07-16 | 2001-02-09 | Nippon Telegr & Teleph Corp <Ntt> | Work support system and work support method |
JP2002287815A (en) * | 2001-03-26 | 2002-10-04 | Mitsubishi Heavy Ind Ltd | On-site support system |
JP2002297966A (en) * | 2001-03-30 | 2002-10-11 | Toshiba Corp | Perishable commodity purchasing method and system using wearable computer, wearable computer for purchasing perishable commodity and program for purchasing perishable commodity |
JP2006060644A (en) * | 2004-08-23 | 2006-03-02 | Hitachi Kokusai Electric Inc | Camera system |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5334145B1 (en) * | 2012-06-29 | 2013-11-06 | トーヨーカネツソリューションズ株式会社 | Support system for picking goods |
US11307411B2 (en) | 2012-06-29 | 2022-04-19 | Toyo Kanetsu Solutions K.K. | Support device and system for article picking or sorting work |
JP2016061827A (en) * | 2014-09-16 | 2016-04-25 | ソニー株式会社 | Display control device, display control method, display control system, and head-mounted display |
US10175923B2 (en) | 2014-12-26 | 2019-01-08 | Seiko Epson Corporation | Display system, display device, information display method, and program |
US11231897B2 (en) | 2014-12-26 | 2022-01-25 | Seiko Epson Corporation | Display system, display device, information display method, and program |
US10579320B2 (en) | 2014-12-26 | 2020-03-03 | Seiko Epson Corporation | Display system, display device, information display method, and program |
US10048922B2 (en) | 2015-07-06 | 2018-08-14 | Seiko Epson Corporation | System, apparatus, and method for displaying information on a head mounted display |
US20180341454A1 (en) * | 2015-07-06 | 2018-11-29 | Seiko Epson Corporation | Display system, display apparatus, method for controlling display apparatus, and program |
US10564919B2 (en) | 2015-07-06 | 2020-02-18 | Seiko Epson Corporation | Display system, display apparatus, method for controlling display apparatus, and program |
JP2017048024A (en) * | 2015-09-03 | 2017-03-09 | 株式会社東芝 | Eyeglass-type wearable terminal and picking method using the same |
US10133532B2 (en) | 2015-09-25 | 2018-11-20 | Seiko Epson Corporation | Display system, display device, information display method, and program |
US10642564B2 (en) | 2015-09-25 | 2020-05-05 | Seiko Epson Corporation | Display system, display device, information display method, and program |
KR102152595B1 (en) * | 2017-09-18 | 2020-09-08 | 한국과학기술연구원 | Coaching system for users participating in virtual reality contents |
KR20190031805A (en) * | 2017-09-18 | 2019-03-27 | 한국과학기술연구원 | Coaching system for users participating in virtual reality contents |
KR102221193B1 (en) * | 2019-07-10 | 2021-03-03 | 한국과학기술연구원 | Coaching system for users participating in virtual reality contents |
KR20190084936A (en) * | 2019-07-10 | 2019-07-17 | 한국과학기술연구원 | Coaching system for users participating in virtual reality contents |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007320715A (en) | Work relation information provision system and work relation information provision method | |
JP6214828B1 (en) | Docking system | |
US20200322506A1 (en) | Image processing system, non-transitory recording medium, and image processing method | |
JP2016224810A5 (en) | ||
CN102436461A (en) | User terminal, remote terminal, and method for sharing augmented reality service | |
WO2009128781A1 (en) | A method and a device for remote visualization | |
KR20160015972A (en) | The Apparatus and Method for Wearable Device | |
JP6687157B2 (en) | Display device and display system | |
JP2005107758A (en) | Maintenance system, and information sharing system | |
JP5482808B2 (en) | Management system, management server and program | |
US11763529B2 (en) | Information processing apparatus, information processing system, and non-transitory computer readable medium | |
JP2013228311A (en) | Navigation system, navigation method, and navigation program | |
JP2020009276A (en) | Work support system, server device for work support system and program | |
JP5215211B2 (en) | Related information display position specifying system and related information display position specifying program | |
JP2021099831A (en) | Display control device, control method, program, and storage medium | |
JP4744974B2 (en) | Video surveillance system | |
KR20150142113A (en) | System for providing information using subject and method thereof | |
JP2008015634A (en) | System and method for providing commodity-related information | |
CN112055034B (en) | Interaction method and system based on optical communication device | |
WO2016208877A1 (en) | Method for providing additional contents at terminal, and terminal using same | |
JP2019061556A (en) | Communication system and wearable terminal | |
JP2018045271A (en) | Portable terminal for maintenance work and display control method of portable terminal for maintenance work | |
JP2022037675A (en) | Remote maintenance support method | |
US20150169568A1 (en) | Method and apparatus for enabling digital memory walls | |
CN111290721A (en) | Online interaction control method, system, electronic device and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120424 |