CN112655027A - 维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像 - Google Patents

维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像 Download PDF

Info

Publication number
CN112655027A
CN112655027A CN202080004994.8A CN202080004994A CN112655027A CN 112655027 A CN112655027 A CN 112655027A CN 202080004994 A CN202080004994 A CN 202080004994A CN 112655027 A CN112655027 A CN 112655027A
Authority
CN
China
Prior art keywords
maintenance
unit
pixel region
processed image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080004994.8A
Other languages
English (en)
Inventor
波部刚士
辻冈典洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Precision Products Co Ltd
Original Assignee
Sumitomo Precision Products Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Precision Products Co Ltd filed Critical Sumitomo Precision Products Co Ltd
Priority claimed from PCT/JP2020/012325 external-priority patent/WO2020196276A1/ja
Publication of CN112655027A publication Critical patent/CN112655027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

提供一种能够防止除维护对象以外的机密信息等泄露且摄像条件的制约少的维护辅助***等。维护辅助***(100)具备：可穿戴式终端(1)，其具有摄像单元(12)；第一确定单元(31)，其以规定的基准点(M)为基准，确定包含维护对象(T)的第一三维区域(TA)；第二确定单元(32)，其针对在可穿戴式终端进行了移动的移动后状态下的由摄像单元获取到的摄像图像，确定除与第一三维区域对应的有效像素区域以外的掩模像素区域；加工图像生成单元(33)，其生成将掩模像素区域设为不可见所得到的加工图像；以及通信单元(34)，其将加工图像发送到维护辅助人员侧终端(2)。

Description

维护辅助***、维护辅助方法、程序、加工图像的生成方法以 及加工图像
技术领域
本发明涉及一种用于辅助作为维护对象的工业用设备的维护作业的维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像。特别是，本发明涉及一种能够防止除作为维护对象的工业用设备以外的机密信息等泄露并且摄像条件的制约少的维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像。
背景技术
以往，一般在基板处理装置等工业用设备发生了故障的情况下进行以下应对：位于作为维护对象的工业用设备的设置现场的维护作业人员在确认了故障的状况之后，用电话向维护对象的制造工厂侧的维护辅助人员传达故障的状况，维护辅助人员利用电话向维护作业人员发出各种指示。
在尽管进行上述电话应对但解决不了故障的情况下进行以下应对：在制造工厂侧的熟练作业人员的预定有空闲的定时，向维护对象的设置现场派遣熟练作业人员。
在上述电话应对的情况下，由于是口头交流，因此存在以下情况：无法很好地将故障的状况传达给维护辅助人员，或者维护辅助人员的指示无法很好地传达给维护作业人员，从而无法解决故障。根据需要，有时维护作业人员将获取到的维护对象的摄像图像通过电子邮件等向维护辅助人员发送，维护辅助人员通过确认摄像图像来掌握故障的状况，但是存在在状况掌握上花费时间这样的问题。
另外，在上述的派遣熟练作业人员的应对的情况下，存在难以即时应对这样的问题。
为了解决如上所述的问题，提出了以下的维护辅助***：维护作业人员佩戴具备摄像单元和显示器的可穿戴式终端(头戴式显示器)，使用该可穿戴式终端来拍摄维护对象，通过因特网等电气通信线路向维护辅助人员侧终端发送该摄像图像(运动图像)。
然而，在上述的维护辅助***中，当将摄像图像直接向维护辅助人员侧终端发送时，有可能摄像图像包含设置现场的机密信息。当包含机密信息的摄像图像被发送到维护辅助人员侧时，使得维护辅助人员可知晓机密信息，成为问题。
因此，例如提出了专利文献1所记载的维护辅助***(在专利文献1中是图像处理***)，来作为能够防止机密信息泄露的维护辅助***。
专利文献1所记载的***是一种图像处理***，具有：获取部，其获取捕捉到原始区域的原始图像；识别部，其识别所述原始图像中的1个以上的标识符；确定部，其基于由所述识别部识别出的所述1个以上的标识符，来确定捕捉到所述原始区域中的第一区域的第一图像部分以及捕捉到从所述原始区域除去所述第一区域后的第二区域的第二图像部分中的至少一方；以及生成部，其根据所述确定部的确定结果来生成包含所述第一图像部分的已处理图像(专利文献1的权利要求1)。
根据专利文献1所记载的***，认为通过将第一区域作为维护对象并将第二区域设为除维护对象以外的机密信息等，能够防止机密信息等泄露。
然而，在专利文献1所记载的***中，存在原始图像中必须包含标识符这样的制约。具体地说，在专利文献1中，举出将印刷装置300的内部区域(被4个标识符30包围的矩形区域)设为维护对象的例子，记载了以下内容：与佩戴了具备摄像机170的可穿戴式工具100的作业人员10的运动相应地，原始区域发生变动，获取捕捉到不同的原始区域的原始图像171a～173a，但任一个原始图像171a～173a都需要包含标识符30(专利文献1的第0063～0065段、图6、图7等)。
因而，例如，当想要接近维护对象地拍摄维护对象的细节部分时，产生只能在原始图像中包含标识符的范围内进行接近这样的制约。
另外，在专利文献1所记载的***中，是以标识符为基准来二维地确定第一图像部分(与维护对象对应的部分)的结构，因此产生必须从与标识符相向的特定的一个方向拍摄粘贴了标识符的维护对象这样的制约。
现有技术文献
专利文献
专利文献1：日本特开2017-211766号公报
发明内容
发明要解决的问题
本发明是为了解决上述现有技术的问题点而完成的，其课题在于提供一种能够防止除作为维护对象的工业用设备以外的机密信息等泄露、并且摄像条件的制约少的维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像。
用于解决问题的方案
为了解决所述问题，本发明提供一种维护辅助***，具备：可穿戴式终端，其由维护作业人员佩戴，具备摄像单元；第一确定单元，其以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；第二确定单元，其在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；加工图像生成单元，其针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将由所述第二确定单元确定出的所述掩模像素区域设为不可见所得到的加工图像；以及通信单元，其将由所述加工图像生成单元生成的所述加工图像发送到由维护辅助人员进行操作的维护辅助人员侧终端。
根据本发明，利用第一确定单元以由处于初始状态的摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除作为维护对象的工业用设备以外的规定的第二三维区域。本发明的“处于初始状态的摄像单元”是指处于规定的基准点位于摄像图像中的状态的摄像单元。
具体地说，例如，使用AR光标来指定摄像图像的任意的点，在以该指定的位置为基准点的情况下，处于初始状态的摄像单元是指处于能够拍摄使用AR光标来指定的点的位置的摄像单元。
另外，例如，通过第一确定单元对摄像图像实施规定的图像处理，来提取摄像图像中的与特征部位(例如，维护对象的角部等)对应的像素区域，在以该像素区域的中心等为基准点的情况下，处于初始状态的摄像单元是指处于能够拍摄特征部位的位置的摄像单元。
并且，例如，在基准点由附加于维护对象等的标记规定的情况下，处于初始状态的摄像单元是指处于能够拍摄该标记的位置的摄像单元。
另外，例如，在第一三维区域以及第二三维区域为长方体形状的三维区域的情况下，第一三维区域以及第二三维区域是通过用以基准点为基准的三维坐标系表示的三维区域的8个顶点各自的坐标来规定的。
在上述的情况下，例如，使以基准点为基准的各顶点的坐标预先存储到第一确定单元中或者使用AR光标来指定各顶点，并且使用公知的SLAM(Simultaneous Localizationand Mapping：即时定位与地图构建)技术来作为构建在未知的环境中的传感器的自身位置和周围的环境地图的技术，由此第一确定单元能够确定第一三维区域和/或第二三维区域。
图10是说明SLAM技术的概要的说明图。
如图10所示，在SLAM技术中，执行下面的第一步骤～第四步骤。
(1)第一步骤：首先，在不同的时刻t0、t1分别拍摄摄像对象而获取到的2个摄像图像中，检测对应的相同点(特征点)。在图10所示的例子中，检测摄像对象的角部来作为特征点。
(2)第二步骤：接着，通过将2个摄像图像中的特征点的位置进行比较，来计算摄像单元的姿势的变化量(并行/旋转成分)。另外，根据特征点的组合，利用三角测量的原理来求出特征点在三维空间中的位置。这相当于环境地图的构建。
(3)第三步骤：还在另外的时刻t1、t2分别拍摄摄像对象而获取到的2个摄像图像中，求出特征点在三维空间中的位置的变化，根据该变化来估计摄像单元的自身位置。
(4)第四步骤：在三维空间上对特征点进行登记、更新(更新环境地图)。
以后，在SLAM技术中，重复执行第三步骤、第四步骤。
如上所述，SLAM技术是交替地重复进行环境地图的构建(三维形状的复原)以及摄像单元的自身位置的估计从而始终掌握三维空间的技术。
本发明的基准点是在构建该环境地图(使三维形状复原，换言之掌握三维空间)之后在三维空间上任意地设定的。
此外，SLAM技术的更具体的内容例如信息处理学会研究报告Vol.2014-CVIM-190No.40“根据移动摄像机图像的三维形状复原/自身位置估计(SLAM)以及高密度的三维形状复原”所记载的那样是公知的，因此在本说明书中省略其以上的详细的说明。
接着，根据本发明，利用第二确定单元在可穿戴式终端进行了移动的移动后状态下由摄像单元获取到的摄像图像中，确定除与第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与第二三维区域对应的掩模像素区域。在通过第一确定单元仅确定了第一三维区域的情况下，通过第二确定单元确定除与第一三维区域对应的有效像素区域以外的掩模像素区域。另外，在通过第一确定单元仅确定了第二三维区域的情况下，通过第二确定单元确定与第二三维区域对应的掩模像素区域。并且，在通过第一确定单元确定了第一三维区域以及第二三维区域的情况下，通过第二确定单元确定除与第一三维区域对应的有效像素区域以外的掩模像素区域以及与第二三维区域对应的掩模像素区域。
如前述那样，通过第一确定单元确定以由处于初始状态的摄像单元获取到的摄像图像中的基准点为基准的第一三维区域和/或第二三维区域，因此，在可穿戴式终端进行了移动的移动后状态下，能够通过使用例如SLAM技术来确定以由摄像单元获取到的摄像图像中的基准点为基准的第一三维区域和/或第二三维区域。而且，在移动后状态下确定第一三维区域和/或第二三维区域时，在移动后状态下的由摄像单元获取到的摄像图像中未必包含基准点。
接着，根据本发明，利用加工图像生成单元生成将由第二确定单元确定出的掩模像素区域(除与第一三维区域对应的有效像素区域以外的掩模像素区域和/或与第二三维区域对应的掩模像素区域)设为不可见所得到的加工图像。作为本发明的“将掩模像素区域设为不可见所得到的加工图像”，例如，能够举出拍进的区域与摄像图像相同但将摄像图像中的掩模像素区域涂黑的图像、从摄像图像仅剪切出除掩模像素区域以外的像素区域所得到的图像。
在由第二确定单元确定出的掩模像素区域是除与第一三维区域对应的有效像素区域以外的掩模像素区域的情况下，第一三维区域包含维护对象，有效像素区域与第一三维区域对应，因此只要不将第一三维区域设定为与维护对象相比过度大，在将除有效像素区域以外的掩模像素区域设为不可见所得到的加工图像中就不会包含与除维护对象以外的机密信息等对应的像素区域。
另外，在由第二确定单元确定出的掩模像素区域是与第二三维区域对应的掩模像素区域的情况下，在第二三维区域中不包含维护对象，因此，通过事先设定为第二三维区域至少包含除维护对象以外的机密信息等，在将掩模像素区域设为不可见所得到的加工图像中不会包含与除维护对象以外的机密信息等对应的像素区域。
最后，根据本发明，利用通信单元将由加工图像生成单元生成的加工图像发送到由维护辅助人员进行操作的维护辅助人员侧终端。因而，在维护辅助人员侧终端，能够视觉识别第一三维区域所包含的维护对象，和/或，无法视觉识别第二三维区域所包含的除维护对象以外的机密信息等，从而能够防止除维护对象以外的机密信息等泄露。
如以上说明的那样，根据本发明，只要在由处于初始状态的摄像单元获取到的摄像图像中包含基准点即可，在可穿戴式终端进行了移动的移动后状态下的由摄像单元获取到的摄像图像中不需要包含基准点。另外，根据本发明，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除作为维护对象的工业用设备以外的规定的第二三维区域，因此在摄像单元的摄像方向上不受制约。因而，能够防止除维护对象以外的机密信息等泄露，并且摄像条件的制约少。
如本发明那样，生成将除与包含维护对象的规定的第一三维区域对应的有效像素区域以外的掩模像素区域和/或与除维护对象以外的规定的第二三维区域对应的掩模像素区域设为不可见所得到的加工图像，本发明人将防止掩模像素区域所包含的除维护对象以外的机密信息等泄露的技术称为“虚拟分区(Virtual Partition)”技术。
此外，本发明的“工业用设备”包括被一般社团法人日本产业机械工业会定义为工业机械的矿山机械、化学机械、环境装置、动力传导装置、容器、商用洗衣机、锅炉发动机、塑料机械、风力水力机械、搬运机械、制铁机械等。另外，从其它观点出发，本发明的“工业用设备”包括制造有形物的制造装置。基板处理装置是工业用设备的一种，在制造已处理基板(例如，实施蚀刻处理后的基板、实施成膜处理后的基板)的方面是制造有形物的制造装置的一种。经由服务器与电子设备电连接的IT***不包括在制造有形物的制造装置中，也不包括在工业用设备中。
另外，在本发明中，“可穿戴式终端进行了移动的移动后状态”并非仅指可穿戴式终端到达了其移动终点(例如，结束维护作业时的可穿戴式终端的位置)的状态，而是指移动到在到达移动终点之前的移动过程中的每隔规定的短时间间距的各位置的状态。因而，通过加工图像生成单元针对在到达移动终点之前由摄像单元实时地(每隔规定的短时间间距)获取到的全部摄像图像，生成将掩模像素区域设为不可见所得到的加工图像。
在本发明中，也能够设为以下方式：以不仅由处于初始状态的摄像单元获取到的摄像图像中包含基准点、而且移动后状态下的由摄像单元获取到的摄像图像中也始终包含基准点的方式使可穿戴式终端移动来进行维护辅助。然而，在这种方式中，产生了与专利文献1所记载的***相同的摄像条件的制约。
根据本发明，能够采用在所述移动后状态下的由所述摄像单元获取到的摄像图像中不需要包含所述基准点的方式。换言之，能够以使摄像单元从在摄像单元的视野内存在基准点的位置移动到不存在基准点的位置的方式除去可穿戴式终端的移动位置的制约地进行维护辅助。
在本发明中，例如，所述基准点由标记规定。
在所述基准点由标记规定的情况下，例如，构成为：所述第一确定单元在使用由所述摄像单元获取到的摄像图像(例如，通过使用了摄像图像的SLAM技术)来掌握三维空间之后，以由处于初始状态的所述摄像单元获取到的摄像图像中的所述基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域。
优选的是，所述第二确定单元具备摄像方向互不相同的多个第二摄像单元，基于由所述多个第二摄像单元获取到的摄像图像来确定所述掩模像素区域。
根据上述优选的结构，第二确定单元具备摄像方向互不相同的多个第二摄像单元，因此，例如，能够基于由多个第二摄像单元获取到的摄像图像来应用使用了所谓的双眼立体视觉(体视法)的SLAM技术。另外，例如，针对由第二摄像单元获取到的摄像图像中的每个摄像图应用单眼视觉的SLAM技术，将它们进行组合，由此能够高精度地确定掩模像素区域。
优选的是，所述可穿戴式终端是具备显示器的头戴式显示器，所述头戴式显示器构成为能够在所述显示器中显示所述摄像图像的状态与所述显示器中以能够识别的方式显示所述加工图像的状态之间进行切换。
根据上述优选的结构，在显示器中显示摄像图像的状态下，例如，与显示将掩模像素区域涂黑所得到的加工图像的情况不同，不存在遮挡维护作业人员的视野的部分，因此能够安全地进行维护作业。此外，上述优选的结构的“显示摄像图像的状态”是以下概念：除了包括如MR头戴式装置那样在显示器中实际显示由摄像单元获取到的摄像图像的状态(维护作业人员视觉识别该表示的摄像图像的状态)之外，还包括透射型的AR头戴式装置那样显示器是透射型从而维护作业人员能够经由没有任何显示的透射型的显示器直接视觉识别维护对象的状态。
另一方面，根据上述优选的结构，在显示器中以能够识别的方式显示加工图像的状态下，对于维护作业人员而言也能够识别向维护辅助人员侧终端发送的加工图像。因此，维护作业人员也能够确认防止了除维护对象以外的机密信息等泄露，能够给维护作业人员带来安心感。此外，上述优选的结构中的“以能够识别的方式显示加工图像的状态”除了包括显示与向维护辅助人员侧终端发送的加工图像相同的图像(拍进的区域与摄像图像相同但将摄像图像中的掩模像素区域涂黑的图像、从摄像图像仅剪切出除掩模像素区域以外的像素区域所得到的图像等)的状态之外，还包括显示在摄像图像中覆盖掩模像素区域与除掩模像素区域以外的像素区域之间的边界线所得到的图像的状态、在显示画面的一部分(例如角落)缩小地显示加工图像的状态等。
优选的是，所述第一确定单元、所述第二确定单元、所述加工图像生成单元以及所述通信单元安装于所述可穿戴式终端。
根据上述优选的结构，执行直到生成将由摄像单元拍摄维护对象而获取到的摄像图像中的掩模像素区域设为不可见所得到的加工图像、并将该加工图像发送到维护辅助人员侧终端为止的一系列动作的各单元全部安装于可穿戴式终端。这是利用安装于可穿戴式终端自身的传感器等来检测可穿戴式终端(摄像单元)的位置的内向外(inside out)方式的结构。在使用与可穿戴式终端独立的外部设备来检测可穿戴式终端的位置的外向内(outside in)方式的结构(例如，使用与可穿戴式终端所具备的摄像单元分开的设置于外部的摄像单元、传感器等来检测可穿戴式终端(可穿戴式终端所具备的摄像单元)的位置的结构等)的情况下，虽然存在可穿戴式终端的功耗降低这样的优点，但是存在使外部设备与可穿戴式终端之间不存在遮蔽物等在环境面上的制约、由于需要高精度的外部设备而高成本的缺点。因而，通过设为上述优选的结构，能够得到低成本且在环境面上的制约少这样的优点。
优选的是，本发明还具备所述维护辅助人员侧终端，所述维护辅助人员侧终端构成为能够与所述通信单元双向地进行数据通信。
根据上述优选的结构，维护辅助人员侧终端与通信单元能够双向地进行数据通信，因此能够不仅从通信单元向维护辅助人员侧终端发送加工图像，而且相反地从维护辅助人员侧终端向通信单元发送维护作业用的图像或者发送用于指示维护作业的内容的声音数据等，能够仅使用本发明所涉及的维护辅助***来进行有效的维护作业。
在上述优选的结构中，更优选的是，构成为：还具备服务器，该服务器与所述通信单元及所述维护辅助人员侧终端电连接，存储有作为所述维护作业人员的识别信息的第一识别信息以及作为所述维护辅助人员的识别信息的第二识别信息，所述服务器判定从所述通信单元发送到所述服务器的识别信息与所述服务器中存储的所述第一识别信息是否匹配，并且判定从所述维护辅助人员侧终端发送到所述服务器的识别信息与所述服务器中存储的所述第二识别信息是否匹配，在从所述通信单元发送到所述服务器的所述识别信息与所述第一识别信息匹配、并且从所述维护辅助人员侧终端发送到所述服务器的识别信息与所述第二识别信息匹配的情况下，能够经由所述服务器进行所述通信单元与所述维护辅助人员侧终端之间的双向的数据通信。
根据上述更优选的结构，利用服务器判定从通信单元发送到服务器的识别信息与服务器中存储的第一识别信息(维护作业人员的识别信息)是否匹配。换言之，利用服务器判定利用本发明所涉及的维护辅助***的维护作业人员的识别信息是否被发送到服务器。另外，利用服务器判定从维护辅助人员侧终端发送到服务器的识别信息与服务器中存储的第二识别信息(维护辅助人员的识别信息)是否匹配。换言之，利用服务器判定利用本发明所涉及的维护辅助***的维护辅助人员的识别信息是否被发送到服务器。然后，在从通信单元发送到服务器的识别信息与第一识别信息匹配、并且从维护辅助人员侧终端发送到服务器的识别信息与第二识别信息匹配的情况下(换言之，在当利用本发明所涉及的维护辅助***的维护作业人员的识别信息和维护辅助人员的识别信息这两方被发送到服务器时得到了认证的情况下)，能够经由服务器进行通信单元与维护辅助人员侧终端之间的双向的数据通信。
根据上述更优选的结构，在当利用本发明所涉及的维护辅助***的维护作业人员的识别信息和维护辅助人员的识别信息这两方被发送到服务器时得到了认证的情况下，才能够进行通信单元与维护辅助人员侧终端之间的双向的数据通信，因此只有预先决定的维护作业人员和维护辅助人员能够利用本发明所涉及的维护辅助***，能够更可靠地防止除作为维护对象的工业用设备以外的机密信息等泄露。
此外，除了上述优选的结构或上述更优选的结构之外，还采用能够从作为维护对象的工业用设备(例如，基板处理装置等)向维护辅助人员侧终端进行数据通信的结构，例如只要将由维护对象获得的处理日志数据(与维护对象的处理有关的测定值、设定值)发送到维护辅助人员侧终端，维护辅助人员就能够参照该处理日志数据来指示维护作业的内容，能够进行效果更好的维护作业。
此外，为了解决所述问题，本发明还提供一种维护辅助方法，使用由维护作业人员佩戴的具备摄像单元的可穿戴式终端，所述维护辅助方法包括：第一确定步骤，利用第一确定单元以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；第二确定步骤，利用第二确定单元在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；加工图像生成步骤，利用加工图像生成单元针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将在所述第二确定步骤中确定出的所述掩模像素区域设为不可见所得到的加工图像；以及通信步骤，利用通信单元将在所述加工图像生成步骤中生成的所述加工图像发送到维护辅助人员侧终端。
另外，为了解决所述问题，本发明还提供一种程序，用于使所述维护辅助方法所包括的所述第一确定步骤、所述第二确定步骤、所述加工图像生成步骤以及所述通信步骤分别由所述第一确定单元、所述第二确定单元、所述加工图像生成单元以及所述通信单元执行。
此外，还能够提供一种存储有上述程序的计算机(CPU)可读取的存储介质。
另外，为了解决所述问题，本发明还提供一种加工图像的生成方法，在由维护作业人员佩戴的可穿戴式终端所具备的摄像单元获取到的摄像图像中，确定除与包括作为维护对象的工业用设备的规定的第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与除所述作为维护对象的工业用设备以外的规定的第二三维区域对应的掩模像素区域，生成将所述掩模像素区域设为不可见所得到的加工图像。
另外，为了解决所述问题，本发明还提供一种加工图像的生成方法，使用由维护作业人员佩戴的可穿戴式终端所具备的摄像单元获取到的摄像图像来生成加工图像，所述生成方法包括：第一确定步骤，利用第一确定单元以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；第二确定步骤，利用第二确定单元在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；以及加工图像生成步骤，利用加工图像生成单元针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将在所述第二确定步骤中确定出的所述掩模像素区域设为不可见所得到的加工图像。
另外，为了解决所述问题，本发明还提供一种加工图像，是在由维护作业人员佩戴的可穿戴式终端所具备的摄像单元获取到的摄像图像中、将除与包括作为维护对象的工业用设备的规定的第一三维区域对应的有效像素区域以外的掩模像素区域和/或与除所述作为维护对象的工业用设备以外的规定的第二三维区域对应的掩模像素区域设为不可见而得到的。
并且，为了解决所述问题，本发明还提供一种加工图像，是通过所述生成方法而生成的，所述加工图像是将除与包括作为维护对象的工业用设备的所述第一三维区域对应的有效像素区域以外的掩模像素区域和/或与除所述作为维护对象的工业用设备以外的所述第二三维区域对应的掩模像素区域设为不可见而得到的。
发明的效果
根据本发明，能够得到以下效果：能够防止除维护对象以外的机密信息等泄露，并且摄像条件的制约少。
附图说明
图1是示意性地示出本发明的第一实施方式所涉及的维护辅助***的概要结构的图。
图2是说明图1所示的维护辅助***的概要动作的说明图。
图3是示出由图1所示的处于初始状态的摄像单元获取到的摄像图像和由加工图像生成单元生成的加工图像的一例的图。
图4是示出图1所示的可穿戴式终端进行了移动的移动后状态下的由摄像单元获取到的摄像图像和由加工图像生成单元生成的加工图像的一例的图。
图5是说明本发明的第二实施方式所涉及的维护辅助***中的第一三维区域的设定例的说明图。
图6是说明本发明的第三实施方式所涉及的维护辅助***中使用的第二三维区域的说明图。
图7是说明本发明的第四实施方式所涉及的维护辅助***中的第一三维区域的设定例和此时的第二确定单元的概要动作的说明图。
图8是说明如图7所示那样设定第一三维区域时的第二确定单元的概要动作的俯视图。
图9是示出在如图7所示那样设定第一三维区域、并且设定第二三维区域时由加工图像生成单元生成的加工图像的一例的图。
图10是说明SLAM技术的概要的说明图。
具体实施方式
下面，参照附图来说明本发明的实施方式所涉及的维护辅助***。
<第一实施方式>
图1是示意性地示出本发明的第一实施方式所涉及的维护辅助***的概要结构的图。图1的(a)是整体结构图，图1的(b)是示出可穿戴式终端和安装于该可穿戴式终端的结构要素的图，图1的(c)是示出图1的(b)所示的控制信号处理单元的内部结构的框图。
如图1的(a)所示，本实施方式所涉及的维护辅助***100具备：可穿戴式终端1、维护辅助人员侧终端2以及控制信号处理单元3。另外，作为优选的结构，维护辅助***100具备服务器6。
可穿戴式终端1是由位于维护对象(基板处理装置等工业用设备)T的设置现场的、进行维护作业的维护作业人员佩戴的终端。
如图1的(b)所示，本实施方式的可穿戴式终端1为眼镜型的可穿戴式终端(头戴式显示器)，具备维护作业人员挂在耳朵上的框架11。另外，可穿戴式终端1在框架11的前侧中央(在维护作业人员将框架11挂在耳朵上时与维护作业人员的眉间附近相当的位置)具备摄像单元12。彩色(RGB)摄像机被用作本实施方式的摄像单元12。而且，摄像单元12的摄像方向(视线方向)L1被设定为在维护作业人员将框架11挂在耳朵上时的与维护作业人员的眉间正对的方向。并且，可穿戴式终端1具备显示器13，该显示器13安装于框架11的前侧，在维护作业人员将框架11挂在耳朵上时覆盖维护作业人员的视野前方。透射型的显示器被用作本实施方式的显示器13。因而，在显示器13中没有任何显示的情况下，能够与通常的眼镜同样地进行使用。
此外，摄像单元12也能够根据需要来用作后述的第二确定单元32的硬件部分。
如图1的(b)所示，在本实施方式的可穿戴式终端1安装有摄像方向互不相同的多个第二摄像单元32a、32b。具体地说，在本实施方式中，在框架11的前侧的左右的端部安装了一对第二摄像单元32a、32b，第二摄像单元32a的摄像方向(视线方向)L2和第二摄像单元32b的摄像方向(视线方向)L3设定成互不相同的方向。作为第二摄像单元32a、32b，例如能够与摄像单元12同样地使用彩色(RGB)摄像机。另外，作为第二摄像单元32a、32b，例如也能够使用具备广角镜头(包括超广角镜头、鱼眼镜头)的广角摄像机。此外，第二摄像单元32a、32b能够用作后述的第二确定单元32的硬件部分。
如图1的(b)所示，在本实施方式的可穿戴式终端1安装有具有与摄像单元12大致相同的视线方向的距离图像传感器(也称为深度摄像机、3D摄像机)32c。具体地说，距离图像传感器32c在框架11的前侧中央安装于摄像单元12的下方。作为距离图像传感器32c，例如使用以下的距离图像传感器：通过TOF(Time Of Flight：飞行时间)方式来测定距视野内的被摄体的距离，获取以各像素的浓度值表示距被摄体的距离的距离图像。此外，距离图像传感器32c能够用作后述的第二确定单元32的硬件部分。
另外，在本实施方式的可穿戴式终端1安装有惯性传感器32d。具体地说，在框架11的侧方安装有惯性传感器32d。惯性传感器32d例如包括3轴的加速度传感器、3轴的角速度传感器(陀螺仪传感器)以及3轴的地磁(方位)传感器。此外，惯性传感器32d能够用作后述的第二确定单元32的硬件部分。
并且，在本实施方式的可穿戴式终端1的框架11的侧方还安装有扬声器4和麦克风5。
具有以上说明的那样的结构的可穿戴式终端1例如能够通过使用作为微软公司制的智能眼镜的"HoloLens"(注册商标)并对其施加改进来构成。
一般来说，维护辅助人员侧终端2是处于远离维护对象T的设置现场的位置的、由维护辅助人员进行操作的终端。维护辅助人员侧终端2通过因特网等电气通信线路N来与可穿戴式终端1(具体地说，安装于可穿戴式终端1的控制信号处理单元3)电连接。具体地说，本实施方式的维护辅助人员侧终端2经由电连接于电气通信线路N的服务器6与可穿戴式终端1电连接。而且，维护辅助人员侧终端2构成为能够与后述的通信单元34双向地进行数据通信。作为维护辅助人员侧终端2，例如能够使用台式计算机，但并不限于此，只要如后述那样能够显示加工图像就能够使用各种终端，例如便携式计算机、平板式计算机、智能电话等。
此外，本实施方式的维护辅助人员侧终端2不是必须的结构，但通过电气通信线路N还与维护对象T电连接。具体地说，在本实施方式中，例如设置有用于收集维护对象T的处理日志数据(与维护对象T的处理有关的测定值、设定值)的计算机(在图1的(a)中未图示)，该计算机经由电连接于电气通信线路N的服务器6与维护辅助人员侧终端2电连接。而且，构成为：由维护对象T获得的处理日志数据被依次发送到维护辅助人员侧终端2，并被存储到维护辅助人员侧终端2中。通过设置服务器6，从而易于进行与维护辅助人员侧终端2连接的可穿戴式终端1或维护对象T的识别信息的管理、利用历史记录的管理。
控制信号处理单元3安装于可穿戴式终端1(框架11的侧方)，与摄像单元12、显示器13、第二摄像单元32a、32b、距离图像传感器32c、惯性传感器32d、扬声器4及麦克风5的各结构要素电连接，具有对各结构要素进行控制或者对各结构要素的输出信号进行处理的功能。
控制信号处理单元3主要由CPU、ROM或RAM等存储器、以及存储在该存储器中的使CPU执行后述的动作的程序构成。
如图1的(c)所示，控制信号处理单元3包括：使CPU执行作为第一确定单元31的动作的程序；使CPU执行第二确定单元32的软件部分32e的动作的程序、以及使CPU执行作为加工图像生成单元33的动作的程序。另外，控制信号处理单元3具备通信单元34。通信单元34由天线、使天线进行动作的程序等构成。
此外，关于如上所述的程序的更新，可以通过USB线缆等将规定的计算机与控制信号处理单元3直接连接来进行，也可以从服务器6直接更新。
在本实施方式中，第一确定单元31、第二确定单元32(摄像单元12、第二摄像单元32a、32b、距离图像传感器32c及惯性传感器32d中的至少任一个、以及软件部分32e)、加工图像生成单元33以及通信单元34全部安装于可穿戴式终端1。这是如前述那样通过安装于可穿戴式终端1自身的传感器等来检测可穿戴式终端1(摄像单元12)的位置的内向外方式的结构。
下面，除了参照图1之外还参照图2～图4来说明具有以上说明的概要结构的本实施方式所涉及的维护辅助***100的动作(维护辅助方法)。
最初，在利用本实施方式所涉及的维护辅助***100时，服务器6对维护作业人员的识别信息以及维护辅助人员的识别信息这两方进行认证。具体地说，判定维护作业人员的识别信息以及维护辅助人员的识别信息这两方是否被发送到服务器6。
在利用维护辅助***100之前，将作为维护作业人员的识别信息的第一识别信息以及作为维护辅助人员的识别信息的第二识别信息预先存储到服务器6中。具体地说，例如维护辅助人员使用维护辅助人员侧终端2的键盘等将已决定利用维护辅助***100的维护作业人员的第一识别信息(例如ID编号)输入到维护辅助人员侧终端2，由此所输入的第一识别信息通过电气通信线路N被发送到服务器6并被存储到服务器6中。同样地，例如维护辅助人员使用维护辅助人员侧终端2的键盘等将已决定利用维护辅助***100的维护辅助人员的第二识别信息(例如ID编号)输入到维护辅助人员侧终端2，由此所输入的第二识别信息通过电气通信线路N被发送到服务器6并被存储到服务器6中。或者，也可以是，预先使有可能利用维护辅助***100的维护作业人员的第一识别信息以及维护辅助人员的第二识别信息存储到维护辅助人员侧终端2中，维护辅助人员使用维护辅助人员侧终端2的键盘等来选择该维护辅助人员侧终端2中存储的第一识别信息以及第二识别信息中的、从现在起实际利用维护辅助***100的维护作业人员的第一识别信息以及维护辅助人员的第二识别信息，由此所选择的第一识别信息以及第二识别信息通过电气通信线路N被发送到服务器6，并被存储到服务器6中。
此外，在本实施方式中，在使第一识别信息以及第二识别信息存储到服务器6中时，还使维护作业人员和维护辅助人员对维护辅助***100的利用开始时刻、利用时间一起存储到服务器6中。
在维护辅助***100的利用开始时刻时或接近利用开始时刻时，从可穿戴式终端1的通信单元34向服务器6发送识别信息。从该通信单元34发送的识别信息例如是预先存储在可穿戴式终端1的控制信号处理单元3中的可穿戴式终端1的识别信息。在该情况下，由维护作业人员佩戴的可穿戴式终端1是预先决定的，可穿戴式终端1的识别信息作为维护作业人员的识别信息(第一识别信息)被发送到服务器6。同样地，在维护辅助***100的利用开始时刻时或接近利用开始时刻时，从维护辅助人员侧终端2向服务器6发送识别信息。从该维护辅助人员侧终端2发送的识别信息例如是维护辅助人员使用维护辅助人员侧终端2的键盘等输入的维护辅助人员的第二识别信息。在操作维护辅助人员侧终端2的维护辅助人员已预先决定的情况下，也可以将预先存储在维护辅助人员侧终端2中的维护辅助人员侧终端2的识别信息作为维护辅助人员的识别信息(第二识别信息)向服务器6发送。
服务器6判定如上所述那样从通信单元34发送到服务器6的识别信息与服务器6中存储的第一识别信息是否匹配。同样地，服务器6判定如上所述那样从维护辅助人员侧终端2发送到服务器6的识别信息与服务器6中存储的第二识别信息是否匹配。然后，在从通信单元34发送到服务器6的识别信息与第一识别信息匹配、并且从维护辅助人员侧终端2发送到服务器6的识别信息与第二识别信息匹配的情况下(在当利用维护辅助***100的维护作业人员的识别信息以及维护辅助人员的识别信息这两方被发送到服务器6时得到了认证的情况下)，能够从利用开始时刻起到经过利用时间为止经由服务器6进行通信单元34与维护辅助人员侧终端2之间的双向的数据通信。
在本实施方式所涉及的维护辅助***100中，如上所述，在维护作业人员的识别信息以及维护辅助人员的识别信息这两方被发送到服务器6时得到了认证的情况下，才能够进行通信单元34与维护辅助人员侧终端2之间的双向的数据通信。因而，只有预先决定的维护作业人员以及维护辅助人员能够利用维护辅助***100，能够更可靠地防止除维护对象T以外的机密信息等泄露。
此外，也可以构成为：在如上所述那样变为能够进行通信单元34与维护辅助人员侧终端2之间的双向的数据通信的时间点，能够双向地发送接收声音数据，该发送接收的声音数据被存储到服务器6和/或维护辅助人员侧终端2中。通过存储声音数据，能够可靠地留下维护辅助的历史记录。
另外，也能够构成为：在维护作业人员以及维护辅助人员中的至少任一方要在利用时间经过之前中止或中断利用维护辅助***100的情况下，将用于指示中止或中断利用的规定的指示信息从可穿戴式终端1的通信单元34和/或维护辅助人员侧终端2向服务器6发送，由此服务器6中止或中断通信单元34与维护辅助人员侧终端2之间的双向的数据通信。
并且，在可穿戴式终端1为多个的情况、维护辅助人员侧终端2为多个的情况下，可以采用在从各终端1、2发送的全部的识别信息在服务器6中得到了认证的情况下才能够进行各终端1、2的双向的全部数据通信的方式，也可以采用仅能够进行得到了认证的各终端1、2的双向的数据通信的方式。
图2是说明本实施方式所涉及的维护辅助***100的概要动作的说明图。在图2中，省略了佩戴了可穿戴式终端1的维护作业人员的图示。图3是示出由处于初始状态的摄像单元12获取到的摄像图像以及由加工图像生成单元33生成的加工图像的一例的图。图3的(a)示出摄像图像的一例，图3的(b)示出加工图像的一例。图4是示出在可穿戴式终端1进行了移动的移动后状态下的由摄像单元12获取到的摄像图像以及由加工图像生成单元33生成的加工图像的一例的图。图4的(a)示出摄像图像的一例，图4的(b)示出加工图像的一例。此外，在图3和图4中，为了便于说明，通过虚线示出了第一三维区域TA的边界线，但是在实际的摄像图像中不存在边界线。
如图2所示，在本实施方式的维护对象T的前表面设置有构件T1～T3。在维护对象T的旁边配置有与机密信息有关的装置S。
首先，佩戴了可穿戴式终端1的维护作业人员例如移动到与维护对象T正对的位置，使得能够由可穿戴式终端1的摄像单元12拍摄维护对象T。而且，通过该处于初始状态的摄像单元12(在图2中通过实线图示的可穿戴式终端1所具备的摄像单元12)拍摄维护对象T，来获取如图3的(a)所示的摄像图像(运动图像)。
接着，例如，维护作业人员使用AR光标来指定显示器13中显示的摄像图像的任意的点，由此第一确定单元31将上述指定的点确定为基准点M，并将其存储到第一确定单元31中。另外，第一确定单元31还能够通过对摄像图像实施规定的图像处理，来提取摄像图像中的与特征部位(例如，维护对象T的角部等)对应的像素区域，将该像素区域的中心等确定为基准点M并进行存储。并且，在对维护对象T附加了标记(通过粘贴、印刷、刻印等附加AR标记、QR码(注册商标)、条形码等标记)的情况下，第一确定单元31还能够通过对摄像图像实施规定的图像处理来提取与标记对应的像素区域，将该像素区域的中心等确定为基准点M。
而且，在本实施方式中，第一确定单元31以基准点M为基准来确定包括维护对象T的规定的第一三维区域(例如，长方体形状的三维区域)TA。第一三维区域TA是虚拟空间内的三维区域。具体地说，例如，在第一确定单元31中预先存储有用以基准点M为基准的三维坐标系(图2所示的具有X轴、Y轴和Z轴的三维坐标系)表示的第一三维区域TA的各顶点P1～P8的坐标，第一确定单元31使用例如SLAM技术，基于该各顶点P1～P8的坐标来确定第一三维区域TA。
另外，还能够是，维护作业人员针对显示器13中显示的摄像图像，使用AR光标来指定第一三维区域TA的各顶点P1～P8，由此第一确定单元31使用例如SLAM技术来确定第一三维区域TA。在该情况下，在使用AR光标来指定第一三维区域TA的各顶点P1～P8的瞬间，由于配置于以基准点M为基准的三维坐标系，因此各顶点P1～P8的坐标已定，结果是能够确定第一三维区域TA。
并且，在对维护对象T附加了标记的情况下，第一确定单元31还能够运算与标记对应的像素区域的特征量，根据该特征量来确定标记的识别信息，基于与所确定出的识别信息相关联地存储在第一确定单元31中的各顶点P1～P8的坐标，使用例如SLAM技术来确定第一三维区域TA。这样，在利用标记规定基准点M的情况下，各顶点P1～P8的坐标已经被存储到第一确定单元31中，维护作业人员不需要进行设定，因此不需要花费工夫。在维护对象T的形状复杂的情况下，能够预先基于维护对象T的设计图纸等来详细地设定各顶点P1～P8(或者多于8个的顶点)并与标记的识别信息相关联，是特别有效的。
此外，在图2中，例示了由维护作业人员佩戴的可穿戴式终端1在第一三维区域TA内进行移动的情况。
接着，佩戴了可穿戴式终端1的维护作业人员进行移动，由此可穿戴式终端1也进行移动，在可穿戴式终端1进行了移动的移动后状态下通过可穿戴式终端1所具有的摄像单元12(在图2中通过虚线图示的可穿戴式终端1所具有的摄像单元12)拍摄维护对象T，来获取如图4的(a)所示的摄像图像。在该摄像图像中不包含基准点M。
而且，在上述的移动过程中，利用摄像单元12以及第二摄像单元32a、32b连续地获取摄像图像。另外，利用距离图像传感器32c连续地获取距离图像。并且，利用惯性传感器32d连续地检测可穿戴式终端1所具有的摄像单元12的加速度、角速度以及地磁(方位)。
第二确定单元32在可穿戴式终端1进行了移动的移动后状态下由摄像单元12获取到的摄像图像中，确定除与第一三维区域TA对应的有效像素区域以外的掩模像素区域。
具体地说，在第二摄像单元32a、32b构成第二确定单元32的情况下，构成第二确定单元32的软件部分32e基于在移动过程中由第二摄像单元32a、32b连续获取到的摄像图像，使用例如SLAM技术来构建可穿戴式终端1(摄像单元12)的自身位置和周围的环境地图，由此确定移动后状态下的摄像图像中的第一三维区域TA。
另外，在距离图像传感器32c构成第二确定单元32的情况下，构成第二确定单元32的软件部分32e基于在移动过程中由距离图像传感器32c连续地获取到的距离图像，使用例如SLAM技术来确定移动后状态下的摄像图像中的第一三维区域TA。
并且，在摄像单元12、惯性传感器32d构成第二确定单元32的情况下也是同样的。另外，也考虑将第二摄像单元32a、32b、距离图像传感器32c、摄像单元12以及惯性传感器32d中的任意元件进行组合来构成第二确定单元32的情况，在该情况下，第二确定单元32也利用例如SLAM技术来确定移动后状态下的摄像图像中的第一三维区域TA。
此外，本实施方式的第二确定单元32在确定移动后状态下的摄像图像中的第一三维区域TA时不使用GPS(如后所述，在确定移动后状态下的摄像图像中的第二三维区域SA的情况下也是同样的)。这是因为GPS除了无法在室内使用之外还至少产生数米的位置检测误差。
第二确定单元32如上所述那样确定移动后状态下的摄像图像中的第一三维区域TA，来确定除与第一三维区域TA对应的有效像素区域以外的掩模像素区域。由于能够通过几何运算来确定第一三维区域TA被拍进移动后状态下的摄像单元12的视野内的哪个部分，换言之，确定第一三维区域TA对应于由摄像单元12获取到的摄像图像中的哪个像素区域，因此能够确定摄像图像中的与第一三维区域TA对应的有效像素区域，来确定除有效像素区域以外的掩模像素区域。
接着，加工图像生成单元33针对移动后状态下的由摄像单元12获取到的摄像图像，生成将由第二确定单元32确定出的掩模像素区域设为不可见所得到的加工图像(运动图像)。在图4的(b)所示的例子中，生成将掩模像素区域涂黑的图像，来作为加工图像。但是，作为加工图像，并不限于此，也能够设为从摄像图像仅剪切出有效像素区域(仅剪切出除掩模像素区域以外的像素区域)所得到的图像。另外，能够实施马赛克处理或施加雾化来代替将掩模像素区域涂黑，只要能够防止机密信息等泄露就能够采用各种方式。
最后，通信单元34将由加工图像生成单元33生成的加工图像通过电气通信线路N发送到维护辅助人员侧终端2。因而，即使在如图4的(a)所示那样在摄像图像中能够视觉识别与机密信息有关的装置S的状态下，在维护辅助人员侧终端2也如图4的(b)所示那样仅能够视觉识别第一三维区域TA所包含的维护对象T，从而能够防止除维护对象T以外的机密信息等泄露。
此外，第二确定单元32、加工图像生成单元33以及通信单元34还对如图3的(a)所示的由处于初始状态的摄像单元12获取到的摄像图像进行动作。由此，在加工图像生成单元33中，还针对由处于初始状态的摄像单元获取到的摄像图像，生成如图3的(b)所示的将掩模像素区域设为不可见所得到的加工图像，并将该加工图像发送到维护辅助人员侧终端2。
此外，在构成第二确定单元32的第二摄像单元32a、32b等发生了故障或某些问题的情况下，无法准确地确定移动后状态下的摄像单元12相对于初始状态而言的位置的变化。与之相伴地，无法准确地确定移动后状态下的由摄像单元12获取到的摄像图像中的与第一三维区域TA对应的有效像素区域。其结果，产生在所生成的加工图像中包含除维护对象T以外的机密信息等的可能性。
因而，优选的是，具有以下功能：在第二摄像单元32a、32b等发生了故障或某些问题的情况下，加工图像生成单元33生成将全部的像素区域设为不可见所得到的加工图像，或者通信单元34停止发送加工图像。另外，此时，优选的是，在显示器13中显示发生了故障或某些问题的意思、或者在扬声器4中利用声音通知发生了故障或某些问题的意思，使得维护作业人员能够迅速地掌握在第二摄像单元32a、32b等中发生了故障或某些问题。
本实施方式的显示器13构成为：能够在显示器13中显示摄像图像的状态(具体地说，在本实施方式中，在透射型的显示器13中无任何显示，维护作业人员能够经由无任何显示的显示器13直接视觉识别维护对象T的状态)与显示器13中以能够识别的方式显示加工图像的状态之间进行切换。具体地说，例如能够采用以下方式：在框架11设置切换按钮(未图示)，通过按压该切换按钮，控制信号处理单元3进行控制以选择某一个状态。
在显示器13中显示摄像图像的状态下(在维护作业人员能够直接视觉识别维护对象T的状态下)，不存在遮挡维护作业人员的视野的部分，因此能够安全地进行维护作业。
另一方面，在显示器13中以能够识别的方式显示加工图像的状态下，对于维护作业人员而言也能够识别向维护辅助人员侧终端2发送的加工图像。因此，维护作业人员也能够确认防止了除维护对象T以外的机密信息等泄露，能够给维护作业人员带来安心感。此外，作为以能够识别的方式显示加工图像的状态，除了包括显示与向维护辅助人员侧终端2发送的加工图像相同的图像(拍进的区域与摄像图像相同但将摄像图像中的掩模像素区域涂黑的图像、从摄像图像仅剪切出有效像素区域所得到的图像等)的状态之外，还包括显示如图3的(a)、图4的(a)所示那样在摄像图像中覆盖掩模像素区域与有效像素区域之间的边界线(第一三维区域TA的边界线)所得到的图像的状态、在显示画面的一部分缩小地显示加工图像的状态等。
此外，在本实施方式中，举例说明了针对一个维护对象T确定一个第一三维区域TA的情况，但是本发明并不限于此。例如，在维护对象T存在多个的情况下，只要针对每个维护对象T设定例如基准点M并且针对每个维护对象T确定第一三维区域TA即可。例如，一个维护对象T是基板处理装置，在将基板处理装置的部件卸下后在规定的作业机上进行修理等作业的情况下，只要将另一个维护对象T设定为该作业机并且在作业机中也设定基准点M即可。
另外，在本实施方式中，作为第一三维区域TA，举例说明了具有8个顶点P1～P8的长方体形状的三维区域，但是本发明并不限于此。还能够根据维护对象T的形状来设定由多于8个的点确定的除长方体以外的形状的第一三维区域TA。
另外，在本实施方式中，举例说明了维护辅助人员侧终端2电连接有一个可穿戴式终端1的情况，但是本发明并不限于此。还能够采用维护辅助人员侧终端2电连接有多个可穿戴式终端1的结构。
在该情况下，多个可穿戴式终端1的摄像单元12可以是确定以相同的基准点M为基准的相同的第一三维区域TA的结构，也能够采用按可穿戴式终端1使基准点M不同或者使所确定出的第一三维区域TA不同的结构。
另外，能够采用在维护辅助人员侧终端2将从多个可穿戴式终端1发送的各加工图像并排地同时显示、或者能够切换所显示的加工图像等各种方式。
并且，可穿戴式终端1既可以是一个也可以是多个，也能够准备多个与可穿戴式终端1电连接的维护辅助人员侧终端2。
另外，在本实施方式中，如图2所示，将包含维护对象T并且包含可穿戴式终端1进行移动的范围的区域设定为第一三维区域TA，但是本发明并不限于此。关于预先决定了不存在与机密信息有关的装置S的区域，即使是不存在维护对象T或者可穿戴式终端1不进行移动的区域，也能够进一步扩大第一三维区域TA以包含该区域。另外，第一三维区域TA不限于接合而成的一个区域，也能够将多个分离的区域设定为第一三维区域TA。
<第二实施方式>
第二实施方式所涉及的维护辅助***具有与参照图1来说明的第一实施方式所涉及的维护辅助***100相同的概要结构。
但是，第二实施方式所涉及的维护辅助***与第一实施方式所涉及的维护辅助***100的不同之处在于第一三维区域TA的设定。下面，对这一点进行说明。
图5是说明第二实施方式所涉及的维护辅助***中的第一三维区域TA的设定例的说明图。
如图5所示，在本实施方式中，利用多个(在图5所示的例子中是8个)虚拟的分隔壁W1～W8构成了第一三维区域TA。在图5所示的例子中，被8个分隔壁W1～W8包围的区域被设定为第一三维区域TA。例如，只要维护作业人员针对显示器13中显示的摄像图像使用AR光标来指定分隔壁W1～W8即可。由此，第一确定单元31将被分隔壁W1～W8包围的区域确定为第一三维区域TA。
优选的是，维护作业人员能够自由地指定如图5所示的分隔壁的位置、尺寸、个数。根据该优选的结构，即使改变维护对象T的形状、尺寸，也能够与之相应地自由地变更分隔壁的位置、尺寸、个数，因此除了通用性优越之外，也易于第二确定单元32对掩模像素区域的确定。另外，例如在维护对象T不仅包括基板处理装置主体还包括处于从基板处理装置主体稍微离开的场所的附件(例如，泵、冷却器等)的情况等情况下，与如图2那样的定尺的第一三维区域TA相比，能够适当地配置分隔壁来构成第一三维区域TA(易于变更布局)。
此外，只要与机密信息有关的装置S在维护辅助人员侧终端2无法视觉识别(即，在加工图像中成为不可见)，各分隔壁之间可以隔开若干间隙。在图5中，图示了在分隔壁W1与分隔壁W2之间、分隔壁W2与分隔壁W3之间、分隔壁W5与分隔壁W6之间、分隔壁W6与分隔壁W7之间隔开若干间隙的例子。但是，为了可靠地使与机密信息有关的装置S在维护辅助人员侧终端2无法视觉识别，更优选的是，从第一三维区域TA内的可穿戴式终端1的摄像单元12的摄像方向(视线方向)L1来看，各分隔壁具有彼此重叠的部分。
另外，在图5所示的例子中，在维护对象T所处的场所的顶面部分、地板部分不设置分隔壁，但是只要维护对象T的周围的与机密信息有关的装置S在维护辅助人员侧终端2无法视觉识别，就可以自由地设定分隔壁。
<第三实施方式>
第三实施方式所涉及的维护辅助***也具有与参照图1来说明的第一实施方式所涉及的维护辅助***100相同的概要结构。
但是，第三实施方式所涉及的维护辅助***与第一实施方式所涉及的维护辅助***100的不同之处在于，不使用第一三维区域TA，而是使用第二三维区域SA。下面，对这一点进行说明。
在第三实施方式所涉及的维护辅助***中，为以下结构：第一确定单元31以基准点M为基准来确定除维护对象T以外的规定的第二三维区域(例如，如图6所示，确定包括与机密信息有关的装置S的第二三维区域SA)，第二确定单元32确定与第二三维区域SA对应的掩模像素区域。第二三维区域SA是虚拟空间内的三维区域。对于确定第二三维区域SA的情况，也能够同样地应用前述的针对确定第一三维区域TA的情况进行了说明的内容。
第一确定单元31可以确定第二三维区域SA来代替确定第一三维区域TA，也可以确定第一三维区域TA以及第二三维区域SA这两方来代替确定第一三维区域TA。在第一确定单元31确定第二三维区域SA来代替确定第一三维区域TA的情况下，第二确定单元32确定与第二三维区域SA对应的掩模像素区域。在第一确定单元31确定第一三维区域TA以及第二三维区域SA这两方的情况下，第二确定单元32确定除与第一三维区域TA对应的有效像素区域以外的掩模像素区域，并且确定与第二三维区域SA对应的掩模像素区域。此外，在确定这两方的情况下，除与第一三维区域TA对应的有效像素区域以外的掩模像素区域同与第二三维区域SA对应的掩模像素区域有时会重叠。在该情况下，只要在至少一方中确定为掩模像素区域的像素区域均为掩模像素区域即可。
<第四实施方式>
第四实施方式所涉及的维护辅助***也具有与参照图1来说明的第一实施方式所涉及的维护辅助***100相同的概要结构。
但是，第四实施方式所涉及的维护辅助***与第一实施方式所涉及的维护辅助***100、第二实施方式所涉及的维护辅助***的不同之处在于，第一三维区域TA的设定。下面，对这一点进行说明。此外，在下面的说明中，例示存在2个与机密信息有关的装置(装置S1、S2)的情况。
图7是说明第四实施方式所涉及的维护辅助***中的第一三维区域TA的设定例以及此时的第二确定单元32的概要动作的说明图。图7的(a)是示出第一三维区域TA的设定例的立体图。图7的(b)是说明第二确定单元32的概要动作的俯视图，示出可穿戴式终端1位于与维护对象T的前表面(图7的(a)所示的设置有构件T1～T3的面)的中央正对的(图7的(a)所示的可穿戴式终端1的摄像单元12的摄像方向L1与维护对象T的前表面正交的)位置的状态。
图8是说明如图7所示那样设定第一三维区域TA时的第二确定单元32的概要动作的俯视图。图8的(a)示出可穿戴式终端1位于从图7的(b)所示的状态起向装置S2侧进行平移后的位置的状态。图8的(b)示出可穿戴式终端1位于从图7的(b)所示的状态起向装置S2侧旋转移动(绕维护对象T逆时针地进行移动)后的位置的状态。图8的(c)示出可穿戴式终端1从图7的(b)所示的状态起当场使朝向向左改变的状态。
此外，在图7的(b)、图8中，为了方便，用矩形图示了可穿戴式终端1。
在前述的图2所示的例子中，将包含维护对象T并且包含可穿戴式终端1进行移动的范围的区域设定为第一三维区域TA，但是在图7的(a)所示的例子中，以与维护对象T匹配的方式设定第一三维区域TA，可穿戴式终端1在第一三维区域TA的外部进行移动。
如图7的(b)所示，在可穿戴式终端1位于与维护对象T的前表面的中央正对的位置的状态下，在由可穿戴式终端1的摄像单元拍摄了维护对象T(第一三维区域TA)的情况下，位于可穿戴式终端1的摄像单元的视角θ的范围内的被摄体成像而被获取为摄像图像。换言之，图7的(b)所示的位于摄像区域外OIA的被摄体不构成摄像图像，该摄像区域外OIA是可穿戴式终端1的摄像单元的视角θ的范围外。
第二确定单元32确定获取到的摄像图像中的除与第一三维区域TA对应的有效像素区域以外的掩模像素区域。具体地说，将摄像图像中的、位于图7的(b)所示的掩模区域MA的被摄体成像而得到的像素区域或穿过掩模区域MA地进行成像而得到的像素区域确定为掩模像素区域。
从可穿戴式终端1的摄像单元来看，处于位于第一三维区域TA(维护对象T)的后方处的死角区域BA内的被摄体被维护对象T遮挡而不会成像，因此不构成摄像图像。其结果，实质上具有同将除与第一三维区域TA对应的有效像素区域以外的像素区域确定为掩模像素区域相同的效果。
另外，在通过可穿戴式终端1的摄像单元拍摄到第一三维区域TA(维护对象T)时，位于可穿戴式终端1与第一三维区域TA之间且位于摄像单元的视角θ的范围内的区域本来是除第一三维区域TA以外的区域，但是第二确定单元32将该区域确定为位于第一三维区域TA的跟前的例外区域EA。然后，第二确定单元32将摄像图像中的穿过该例外区域EA地进行成像而得到的像素区域确定为有效像素区域。加工图像生成单元33由于穿过该例外区域EA地进行成像而得到的像素区域(即，与维护对象T的前表面对应的像素区域)是有效像素区域，因此不设为不可见。也就是说，进行使能够视觉识别第一三维区域TA(维护对象T)优先的处理。
如图8的(a)所示，在可穿戴式终端1从图7的(b)所示的状态起向装置S2侧进行了平移的情况下(在佩戴了可穿戴式终端1的维护作业人员以正面看维护对象T的状态向右侧进行了移动的情况下)，与图7的(b)所示的状态相比，例外区域EA的位置较大地变化。在图8的(a)所示的例子中，装置S2位于掩模区域MA，因此第二确定单元32将摄像图像中的装置S2成像而得到的像素区域确定为掩模像素区域，加工图像生成单元33将该掩模像素区域设为不可见，因此装置S2不被拍进加工图像中。但是，根据可穿戴式终端1的位置，有时装置S2进入例外区域EA内。在该情况下，也能够另外设定前述的第二三维区域SA。
如图8的(b)所示，在可穿戴式终端1从图7的(b)所示的状态起向装置S2侧进行了旋转移动的情况下(在佩戴了可穿戴式终端1的维护作业人员绕维护对象T逆时针地进行了移动的情况下)，也与图8的(a)的情况同样地，有时装置S2、S1进入例外区域EA内。在该情况下，如前述那样，能够通过另外设定第二三维区域SA来进行应对。
如图8的(c)所示，在可穿戴式终端1从图7的(b)所示的状态起当场使朝向向左改变的情况下(在佩戴了可穿戴式终端1的维护作业人员当场将视线方向(头的朝向)改变为左方向的情况下)，只要如图7的(b)所示那样装置S1、S2原本就位于死角区域BA内，即使改变视线方向也保持位于死角区域BA内不变。
以上，在如参照图7和图8说明的第四实施方式所涉及的维护辅助***那样以与维护对象T匹配的方式设定第一三维区域TA、可穿戴式终端1在第一三维区域TA的外部进行移动的情况下，需要另外设定第二三维区域SA，以备与机密信息有关的装置S(S1、S2)位于例外区域EA内的可能性，但是与前述的图2所示的情况同样地，在维护辅助人员侧终端2，仅能够视觉识别第一三维区域TA(维护对象T)，从而能够防止除维护对象T以外的机密信息等泄露。
图9是示出在如图7所示那样设定第一三维区域TA、并且设定第二三维区域SA时由加工图像生成单元33生成的加工图像的一例的图。图9的(a)是说明可穿戴式终端1的摄像单元12的摄像方向(视线方向)L1的图，图9的(b)是示出在图9的(a)所示的摄像方向L1时生成的加工图像的一例的图。此外，在图9的(a)中省略了可穿戴式终端1的图示。
如图9的(b)所示，得到在由维护作业人员佩戴的可穿戴式终端1所具备的摄像单元12获取到的摄像图像中将除与包含维护对象T的规定的第一三维区域TA(在图9所示的例子中维护对象T＝第一三维区域TA)对应的有效像素区域以外的掩模像素区域、以及与针对图9的(a)所示的装置S1、S2分别设定的第二三维区域SA(省略图示)对应的掩模像素区域设为不可见(在图9所示的例子中涂黑)所得到的加工图像。
此外，在布局上，在与机密信息有关的装置S不在维护对象T的附近(也就是说，在佩戴了可穿戴式终端1的作业人员进行移动的区域与维护对象T之间不存在与机密信息有关的装置S)的情况下，仅设定第一三维区域TA是没有问题的，在与机密信息有关的装置S处于维护对象T的附近的情况下，还需要设定第二三维区域SA。
附图标记说明
1：可穿戴式终端；2：维护辅助人员侧终端；3：控制信号处理单元；12：摄像单元；13：显示器；31：第一确定单元；32：第二确定单元；32a、32b：第二摄像单元；32c：距离图像传感器；32d：惯性传感器；33：加工图像生成单元；34：通信单元；100：维护辅助***；M：基准点；N：电气通信线路；S、S1、S2：与机密信息有关的装置；T：维护对象；TA：第一三维区域；SA：第二三维区域；W1、W2、W3、W4、W5、W6、W7、W8：分隔壁；θ：视角；BA：死角区域；OIA：摄像区域外；EA：例外区域；MA：掩模区域。

Claims (14)

1.一种维护辅助***，其特征在于，具备：
可穿戴式终端，其由维护作业人员佩戴，具备摄像单元；
第一确定单元，其以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；
第二确定单元，其在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；
加工图像生成单元，其针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将由所述第二确定单元确定出的所述掩模像素区域设为不可见所得到的加工图像；以及
通信单元，其将由所述加工图像生成单元生成的所述加工图像发送到由维护辅助人员进行操作的维护辅助人员侧终端。
2.根据权利要求1所述的维护辅助***，其特征在于，
在所述移动后状态下的由所述摄像单元获取到的摄像图像中不需要包含所述基准点。
3.根据权利要求1或2所述的维护辅助***，其特征在于，
所述基准点由标记规定。
4.根据权利要求1至3中的任一项所述的维护辅助***，其特征在于，
所述第二确定单元具备摄像方向互不相同的多个第二摄像单元，基于由所述多个第二摄像单元获取到的摄像图像来确定所述掩模像素区域。
5.根据权利要求1至4中的任一项所述的维护辅助***，其特征在于，
所述可穿戴式终端是具备显示器的头戴式显示器，
所述头戴式显示器构成为能够在所述显示器中显示所述摄像图像的状态与所述显示器中以能够识别的方式显示所述加工图像的状态之间进行切换。
6.根据权利要求1至5中的任一项所述的维护辅助***，其特征在于，
所述第一确定单元、所述第二确定单元、所述加工图像生成单元以及所述通信单元安装于所述可穿戴式终端。
7.根据权利要求1至6中的任一项所述的维护辅助***，其特征在于，
还具备所述维护辅助人员侧终端，
所述维护辅助人员侧终端构成为能够与所述通信单元双向地进行数据通信。
8.根据权利要求7所述的维护辅助***，其特征在于，
还具备服务器，该服务器与所述通信单元及所述维护辅助人员侧终端电连接，存储有作为所述维护作业人员的识别信息的第一识别信息以及作为所述维护辅助人员的识别信息的第二识别信息，
所述服务器判定从所述通信单元发送到所述服务器的识别信息与所述服务器中存储的所述第一识别信息是否匹配，并且判定从所述维护辅助人员侧终端发送到所述服务器的识别信息与所述服务器中存储的所述第二识别信息是否匹配，在从所述通信单元发送到所述服务器的所述识别信息与所述第一识别信息匹配、并且从所述维护辅助人员侧终端发送到所述服务器的识别信息与所述第二识别信息匹配的情况下，能够经由所述服务器进行所述通信单元与所述维护辅助人员侧终端之间的双向的数据通信。
9.一种维护辅助方法，使用由维护作业人员佩戴的具备摄像单元的可穿戴式终端，所述维护辅助方法的特征在于，包括：
第一确定步骤，利用第一确定单元以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；
第二确定步骤，利用第二确定单元在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；
加工图像生成步骤，利用加工图像生成单元针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将在所述第二确定步骤中确定出的所述掩模像素区域设为不可见所得到的加工图像；以及
通信步骤，利用通信单元将在所述加工图像生成步骤中生成的所述加工图像发送到维护辅助人员侧终端。
10.一种程序，用于使根据权利要求9所述的维护辅助方法包括的所述第一确定步骤、所述第二确定步骤、所述加工图像生成步骤以及所述通信步骤分别由所述第一确定单元、所述第二确定单元、所述加工图像生成单元以及所述通信单元执行。
11.一种加工图像的生成方法，其特征在于，
在由维护作业人员佩戴的可穿戴式终端所具备的摄像单元获取到的摄像图像中，确定除与包括作为维护对象的工业用设备的规定的第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与除所述作为维护对象的工业用设备以外的规定的第二三维区域对应的掩模像素区域，生成将所述掩模像素区域设为不可见所得到的加工图像。
12.一种加工图像的生成方法，使用由维护作业人员佩戴的可穿戴式终端所具备的摄像单元获取到的摄像图像来生成加工图像，所述生成方法的特征在于，包括：
第一确定步骤，利用第一确定单元以由处于初始状态的所述摄像单元获取到的摄像图像中的规定的基准点为基准，确定包含作为维护对象的工业用设备的规定的第一三维区域和/或除所述作为维护对象的工业用设备以外的规定的第二三维区域；
第二确定步骤，利用第二确定单元在所述可穿戴式终端进行了移动的移动后状态下由所述摄像单元获取到的摄像图像中，确定除与所述第一三维区域对应的有效像素区域以外的掩模像素区域，和/或确定与所述第二三维区域对应的掩模像素区域；以及
加工图像生成步骤，利用加工图像生成单元针对所述移动后状态下的由所述摄像单元获取到的摄像图像，生成将在所述第二确定步骤中确定出的所述掩模像素区域设为不可见所得到的加工图像。
13.一种加工图像，是在由维护作业人员佩戴的可穿戴式终端所具备的摄像单元获取到的摄像图像中、将除与包括作为维护对象的工业用设备的规定的第一三维区域对应的有效像素区域以外的掩模像素区域和/或与除所述作为维护对象的工业用设备以外的规定的第二三维区域对应的掩模像素区域设为不可见而得到的。
14.一种加工图像，是通过根据权利要求12所述的生成方法而生成的，所述加工图像是将除与包括所述作为维护对象的工业用设备的所述第一三维区域对应的有效像素区域以外的掩模像素区域和/或与除所述作为维护对象的工业用设备以外的所述第二三维区域对应的掩模像素区域设为不可见而得到的。
CN202080004994.8A 2019-03-22 2020-03-19 维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像 Pending CN112655027A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/012279 WO2020194413A1 (ja) 2019-03-22 2019-03-22 保守支援システム、保守支援方法及びプログラム
JPPCT/JP2019/012279 2019-03-22
PCT/JP2019/027986 WO2020194777A1 (ja) 2019-03-22 2019-07-16 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
JPPCT/JP2019/027986 2019-07-16
PCT/JP2020/012325 WO2020196276A1 (ja) 2019-03-22 2020-03-19 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像

Publications (1)

Publication Number Publication Date
CN112655027A true CN112655027A (zh) 2021-04-13

Family

ID=72610410

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980094425.4A Pending CN113614792A (zh) 2019-03-22 2019-03-22 维护支援***、维护支援方法以及程序
CN202080004994.8A Pending CN112655027A (zh) 2019-03-22 2020-03-19 维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980094425.4A Pending CN113614792A (zh) 2019-03-22 2019-03-22 维护支援***、维护支援方法以及程序

Country Status (7)

Country Link
US (1) US11785184B2 (zh)
EP (2) EP3944201B1 (zh)
JP (4) JP7058798B2 (zh)
KR (2) KR20210142630A (zh)
CN (2) CN113614792A (zh)
TW (1) TWI831951B (zh)
WO (2) WO2020194413A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7377614B2 (ja) * 2019-03-26 2023-11-10 株式会社富士通エフサス ウェアラブル装置および送信制御方法
CN112565658A (zh) * 2020-12-04 2021-03-26 杭州中车数字科技有限公司 一种设备维护辅助方法和***
JP2023026891A (ja) * 2021-08-16 2023-03-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
CN116468206A (zh) * 2022-01-11 2023-07-21 大金工业株式会社 设备的维护方法、装置及***
JP2024094491A (ja) * 2022-12-28 2024-07-10 株式会社Ｓｃｒｅｅｎホールディングス 作業支援方法および作業支援システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315709A (ja) * 2004-04-28 2005-11-10 Hitachi Ltd 自己位置検知装置及びそれを用いた炉内検査方法並びに炉内検査装置
JP2012054891A (ja) * 2010-09-03 2012-03-15 Nec Corp 画像処理装置、方法及びプログラム
WO2014016862A1 (ja) * 2012-07-23 2014-01-30 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
JP2016162079A (ja) * 2015-02-27 2016-09-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
JP2018036812A (ja) * 2016-08-31 2018-03-08 株式会社日立システムズ Ｉｔ運用作業遠隔支援システム及び方法
JP2018207271A (ja) * 2017-06-02 2018-12-27 富士通株式会社 端末、画像処理システム、画像処理プログラムおよび画像処理方法
US20190007562A1 (en) * 2017-06-30 2019-01-03 Canon Kabushiki Kaisha System and information processing method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150399A (ja) * 2010-01-19 2011-08-04 Nec Corp 保守システム、保守端末、復旧作業支援方法および復旧作業支援用プログラム
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台***及应用方法
US11100234B2 (en) * 2014-06-13 2021-08-24 Hitachi Systems, Ltd. Work recording apparatus, system, program, and method preventing confidential information leaks
US9529198B2 (en) * 2014-08-29 2016-12-27 Google Inc. Opto-mechanical system for head-mounted device
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315709A (ja) * 2004-04-28 2005-11-10 Hitachi Ltd 自己位置検知装置及びそれを用いた炉内検査方法並びに炉内検査装置
JP2012054891A (ja) * 2010-09-03 2012-03-15 Nec Corp 画像処理装置、方法及びプログラム
WO2014016862A1 (ja) * 2012-07-23 2014-01-30 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
US20170249745A1 (en) * 2014-05-21 2017-08-31 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
JP2016162079A (ja) * 2015-02-27 2016-09-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
JP2018036812A (ja) * 2016-08-31 2018-03-08 株式会社日立システムズ Ｉｔ運用作業遠隔支援システム及び方法
JP2018207271A (ja) * 2017-06-02 2018-12-27 富士通株式会社 端末、画像処理システム、画像処理プログラムおよび画像処理方法
US20190007562A1 (en) * 2017-06-30 2019-01-03 Canon Kabushiki Kaisha System and information processing method

Also Published As

Publication number Publication date
EP3944201A1 (en) 2022-01-26
EP3822923A4 (en) 2021-11-24
EP3822923A1 (en) 2021-05-19
JP6970858B2 (ja) 2021-11-24
JPWO2020196276A1 (ja) 2021-10-21
US20220165044A1 (en) 2022-05-26
JPWO2020194413A1 (ja) 2021-10-14
US11785184B2 (en) 2023-10-10
TWI831951B (zh) 2024-02-11
JP6837603B1 (ja) 2021-03-03
TW202046064A (zh) 2020-12-16
EP3944201A4 (en) 2022-04-13
KR20210142084A (ko) 2021-11-24
KR20210142630A (ko) 2021-11-25
CN113614792A (zh) 2021-11-05
JP7058798B2 (ja) 2022-04-22
EP3822923B1 (en) 2024-06-26
JPWO2020194778A1 (ja) 2021-04-08
EP3944201B1 (en) 2024-03-13
WO2020194777A1 (ja) 2020-10-01
JP2021018815A (ja) 2021-02-15
WO2020194413A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
CN112655027A (zh) 维护辅助***、维护辅助方法、程序、加工图像的生成方法以及加工图像
AU2017404218B2 (en) Display system, display method, and remote operation system
EP3246660B1 (en) System and method for referencing a displaying device relative to a surveying instrument
JP2010060344A (ja) 空間情報表示装置及び支援装置
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
US20230023778A1 (en) Work assisting server and work assisting system
WO2020196276A1 (ja) 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
JP2022088678A (ja) 遠隔保守支援方法
CN111565898A (zh) 操作引导***
KR20210068383A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
CN112581630A (zh) 一种用户交互方法和***
JP2021077127A (ja) アイウェア装置を用いた管理システムおよび管理方法
CN112053444B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN116547115A (zh) 增强现实显示装置以及增强现实显示***
JP2020170482A (ja) 作業指示システム
JP2024097395A (ja) 物品管理システム、物品管理方法
JP2024070131A (ja) 作業認識方法、プログラム及び装置
JP2023117824A (ja) 情報処理方法及び情報処理システム
CN115442582A (zh) 图像限制方法、图像限制程序、信息处理装置以及支援***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination