CN111565293B - 分析作业人员的手工作业的状态的装置与方法以及介质 - Google Patents

Abstract

本发明提供一种生成用于判断作业人员的人工作业是否按照预先步骤进行的判断用数据等、分析其作业状态的装置(10)。该装置具备：拍摄部(13)，拍摄通过作业人员的人工以规定的顺序进行多个单位作业的规定的作业的重复；以及设定部(11)，根据按照单位作业单位预先设定的规定的动作，设定用于在规定的动作的检测时机按照单位作业单位分割由拍摄部拍摄的作业视频的分割信息。该装置进一步具备生成部(11)，所述生成部(11)以包含由拍摄部拍摄的作业视频与由设定部设定的分割信息的方式生成判断用数据。根据该判断用数据分析作业人员的手工作业的状态。

Description

分析作业人员的手工作业的状态的装置与方法以及介质

技术领域

本公开涉及生成用于判断作业人员的手工作业是否按照预先确定的步骤进行的判断用数据等、分析该手工作业的状态的装置及方法、以及作业分析程序。

背景技术

以往，采用一种***，其通过大量地拍摄进行相对于基板等的被组装部件组装多个部件的作业等的规定的作业的作业人员的视频并对该视频进行解析，来生成用于判断是否进行正确的作业的判断用数据(注解数据)，并使用这样生成的数据支援作业。

作为与这种注解数据的生成相关的技术，例如，已知下述专利文献1所公开的作业分析装置。在通过该作业分析装置来进行的作业分析处理中，读入的分析对象的作业视频与计测状态显示区域等一并再现显示在作业分析画面上。而且，当正在视频再现时由作业人员进行用鼠标点击再现画面的一部分的分割操作时，在该再现画面的一部分上显示选择画面。在该显示状态下，当由作业人员进行用鼠标点击显示在该选择画面上的任意的属性信息的选择操作时，对于通过分割操作被分割的视频范围，包含通过选择操作来选择的属性信息的分析数据被关联起来记录。

另外，以往，在制造现场，有时例如对于印刷电路板和制造中途的装置等，进行通过手工作业组装部件的组装作业等。关于这种作业为了实现作业效率的提高，已知拍摄重复的规定的作业并生成作业分析用的作业视频、通过解析该作业视频等来进行作业分析的方法。作为与这种作业分析相关的技术，例如，已知下述专利文献2所公开的移动图案确定装置。

在该移动图案确定装置中，从动态图像数据求出分别附加在作业人员的右手以及左手的标记的移动轨迹作为标准时间序列数据，并从该标准时间序列数据中提取能够视作作业的分割的候选的点作为分割候选点。然后，根据由观察分割候选点的附近的动态图像数据的用户输入的输入指示，确定表示分割位置的分割位置信息以及与该分割位置相对应的分割内容信息时，能够根据这样确定的信息，确定作业的种类以及作业的开始时刻/结束时刻。

更进一步，在下述专利文献3所公开的图像提取分析装置中，从拍摄了作业现场的动态图像中提取包含被指定的图像图案的图像，计算其重复出现的时间间隔，按照其出现频率大致相同的时间间隔单位画面显示以该时间间隔为基准进行分组的直方图。通过与该显示相应地画面显示由用户指定的组的图像以及时间间隔，与动态图像以及时间间隔一并显示工序的分割，无需按序观察拍摄作业现场的动态图像就能够在各工序中容易地把握时间耗在哪个作业上。

加之，如上述那样以往，在制造现场，有时例如对于印刷电路板和制造中途的装置等，进行通过手工作业组装部件的组装作业等。这种作业按照预先规定的作业步骤进行，但是一般包含多个工序，另外，如果是组装作业，一般由于组装多个种类的部件等的理由，存在忘记安装部件或误取部件的可能性。因此，例如，在专利文献4中，提出了在部件箱侧设置重量传感器等的检测单元，判断从部件箱取出的部件是否适用于作业步骤。

另外，在对不同产品进行作业的情况下组装部件的种类和个数等也不同，因此当将如上述那样的检测单元设置于部件箱侧时，除了设备成本与部件的个数成比地增加之外，还存在与检测单元的设置和作业步骤的对应等需要大量的人力的问题。为了解决该问题，例如，已知下述专利文献5所公开的作业支援装置。在该作业支援装置中，根据作业步骤对作为在拍摄部的拍摄范围内监视作业的范围的监视区域进行输入操作并进行设定，并通过对相当于拍摄的图像的监视区域的部分、和在该图像之前的时间点拍摄的其他的图像中的与监视区域相当的部分进行比较，来将管理区域作为对象进行动态检测，根据该动态检测的检测结果判断是否按照作业步骤进行，对作业人员通知其判断结果。

现有技术文献

专利文献

专利文献1：日本特开2017-134666号公报

专利文献2：日本特开2008-108008号公报

专利文献3：日本特开2007-243846号公报

专利文献4：日本特开2010-211623号公报

专利文献5：日本特开2018-156279号公报

发明内容

发明所要解决的技术问题

然而，在上述专利文献1所公开的作业分析装置中，在以视频的方式拍摄按照规定的顺序进行多个单位作业(专利文献1中只记载为“动作”)的规定的作业的重复之后，需要正在观看该再现视频的作业人员等用鼠标点击再现画面的一部分的操作。此外，在专利文献1中，“作业”是指由多个动作构成的，具体而言，作业人员在设定的计划或目的下进行的一系列动作的集合。

因此，如果不看全部的视频，无法按照单位作业单位分割视频范围，存在对作业人员等而言成为负担大的作业的问题。特别是，当单位作业的种类多，该规定的作业的重复次数多时，上述问题变显著。另外，在用视频拍摄规定的作业的重复之后，需要一边观看该再现视频一边进行操作，因此存在无法一边拍摄规定的作业的视频一边生成注解数据的第一问题。

另外，例如，在以将收容在部件箱中的部件组装在被组装部件中的作业为分析对象的情况下，能够通过判断从部件箱取出了部件，来按照单位作业单位分割作业视频。然而，例如，当从部件箱取出的部件零碎时，对是否从部件箱取出了部件的判断模糊，有可能无法高精度地分割作业视频。

进一步，在上述专利文献5所公开的作业支援装置中，在分别设定与各部件箱相对应的监视区域时，作业人员需要一边确认由拍摄部拍摄的图像中部件箱的位置一边进行操作无线鼠标并包围图像中的部件箱由此画出边框的作业。这是因为按照制造批次单位，不仅部件箱的种类和个数可能变化，部件箱的位置也可能变化，因此无法预先设定监视区域。这样，产生按照制造批次单位，作业人员一边观看画面一边操作无线鼠标的作业，因此存在第二问题：不仅用于设定监视区域的初始设定作业花费时间，而且由于作业人员的操作失误等而设定错误的监视区域。

本公开是为了解决上述技术问题而提出的，基本目的在于，能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态。特别是，除了该基本的目的事项之外，第一目的在于，生成用于判断通过作业人员的人工进行的作业(手工作业)是否按照该预先规定的步骤进行的判断用数据(作业视频)。

进一步，除了上述的基本的目的事项之外，第二目的在于，无需对作业人员强加作业负担而容易且准确地设定监视区域。

用于解决技术问题的方案

为了达成上述第一目的，第一方式所涉及的示例性的实施例是一种作业分析装置(10)，生成用于判断是否进行了正确的作业的判断用数据，其特征在于，具备：

拍摄部(13)，拍摄由作业人员以规定的顺序进行多个单位作业的、规定的作业的重复；

设定部(11)，根据按照所述单位作业单位预先设定的规定的动作，设定用于在所述规定的动作的检测时机按照所述单位作业单位分割由所述拍摄部拍摄的作业视频的分割信息；以及

生成部(11)，以包含由所述拍摄部拍摄的作业视频与由所述设定部设定的所述分割信息的方式生成所述判断用数据。

此处，在设想作为规定的计划下实现的目的的作业(任务)时，将构成作为该目的的作业的要素性的多个作业各自称作“单位作业”。列举容易理解的例子，当将作为目的的作业(任务)设为“向某个印刷电路板安装部件”时，取得各部件的作业、将所取得的部件配置到印刷电路板的规定位置的作业等相当于各个单位作业。因此，“单位作业”可以根据作业环境的属性进行各种定义。

另外，还提供一种作业分析方法，其将与上述的作业分析装置中所记载的构成要素同等的功能实现为工序。由此，也能够获得作业分析装置所享有的作用效果。

进一步为了达成上述第一目的，第二方式所涉及的示例性的实施例是一种作业分析装置(10)，重复拍摄以规定的顺序进行多个单位作业的规定的作业并生成作业分析用的作业视频，其特征在于，具备：

拍摄部(13)，拍摄由作业人员(M)重复进行的所述规定的作业；

监视区域设定部(11)，在所述拍摄部的拍摄范围内按照所述单位作业单位，设定至少包含用于检测该单位作业的第一动作的第一监视区域(P1a～ P1d)与用于检测该单位作业的第二动作的第二监视区域(P2a～P2d)的多个监视区域；

可靠度设定部(11)，根据由所述拍摄部拍摄的拍摄图像中与由所述监视区域设定部设定的所述监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与所述监视区域相当的部分的比较结果，按照所述监视区域单位设定判断为在该监视区域中进行了与所述单位作业相关的动作的可能性越高变得越高的可靠度；

判断部(11)，至少根据由所述可靠度设定部在所述第一监视区域设定的所述可靠度与在所述第二监视区域设定的所述可靠度，判断是否进行了对应的所述单位作业；以及

分割信息设定部(11)，对于由所述判断部判断为进行了作业的所述单位作业，使用拍摄用于在所述第一监视区域设定所述可靠度的所述拍摄图像的时机与拍摄用于在所述第二监视区域设定所述可靠度的所述拍摄图像的时机中的至少一者，设定用于按照所述单位作业单位分割由所述拍摄部拍摄的作业视频的分割信息。

为了达成上述第二目的，第三方式所涉及的示例性实施例是一种作业支援装置(10)，对使用收容在多个部件箱(30、30a～30d)的部件(20、20a～ 20d)按照规定的作业步骤进行的作业进行支援，其特征在于，具备：

拍摄部(13)；

监视区域设定部(11)，在所述拍摄部的拍摄范围内按照所述部件箱单位分别设定监视区域(P1a～P1d)；

检测部(11)，根据由所述拍摄部拍摄的拍摄图像中与由所述监视区域设定部设定的所述监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与所述监视区域相当的部分的比较结果，检测从与该监视区域相对应的所述部件箱的、所述部件的取出；

判断部(11)，根据所述检测部的检测结果判断是否进行了按照所述规定的作业步骤的作业；以及

通知部(15、16)，对作业人员通知所述判断部的判断结果，

所述监视区域设定部根据由作业人员使所述部件箱分别以规定的移动状态移动时由所述拍摄部拍摄的拍摄图像，按照部件箱单位设定与以该规定的移动状态移动的所述部件箱相对应的所述监视区域。

另外为了达成上述第二目的，第四方式所涉及的示例性实施例是一种作业支援装置(10)，对使用收容在多个部件箱(30、30a～30d)中的部件(20、 20a～20d)按照规定的作业步骤进行的作业进行支援，其特征在于，具备：

拍摄部(13)；

监视区域设定部(11)，在所述拍摄部的拍摄范围内按照所述部件箱单位分别设定监视区域(P1a～P1d)；

检测部(11)，根据由所述拍摄部拍摄的拍摄图像中与由所述监视区域设定部设定的所述监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与所述监视区域相当的部分的比较结果，检测从与该监视区域相对应的所述部件箱的、所述部件的取出；

判断部(11)，根据所述检测部的检测结果判断是否进行了按照所述规定的作业步骤的作业；以及

通知部(15、16)，对作业人员通知所述判断部的判断结果，

所述部件箱中的周壁(32)的上端(33a～33d)以具有多个角部(34a～ 34d)的方式形成为多边环状，

所述监视区域设定部按照部件箱单位，检测在由所述拍摄部拍摄的拍摄图像中、以所述多个角部中作业人员的手指所接触的角部为起点延伸并在多个交点分别弯曲之后返回所述起点的边界线(P1a～P1d)，并将由该边界线包围的多边形状的区域设定为所述监视区域。

此外，上述各括号内的附图标记示出与将在后面进行说明的实施方式所记载的具体的方法的对应关系。

发明的效果

在上述第一方式所涉及的示例性实施例中，根据按照单位作业单位预先设定的规定的动作，由设定部设定用于在规定的动作的检测时机按照单位作业单位分割由拍摄部拍摄的作业视频的分割信息，由生成部以包含由拍摄部拍摄的作业视频与由设定部设定的分割信息的方式生成判断用数据。

由此，仅拍摄作业人员按照单位作业单位进行的规定的动作，就能够按照单位作业单位自动地分割作业视频。因此，能够根据拍摄了重复进行的规定的作业的作业视频实时生成用于判断是否正确地进行了作业的判断用数据。由此，能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态，能够达成第一目的。

在上述第二方式所涉及的示例性实施例中，在拍摄部的拍摄范围内按照单位作业单位，由监视区域设定部设定至少包含用于检测该单位作业的第一动作的第一监视区域与用于检测该单位作业的第二动作的第二监视区域的多个监视区域。然后，根据由拍摄部拍摄的拍摄图像中与由监视区域设定部设定的监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，由可靠度设定部按照监视区域单位设定判断为在该监视区域中进行了与单位作业相关的动作的可能性越高变得越高的可靠度。然后，至少根据由可靠度设定部在第一监视区域设定的可靠度与在第二监视区域设定的可靠度，由判断部判断是否进行了对应的单位作业，对于由判断部判断为进行了作业的单位作业，使用拍摄用于在第一监视区域设定可靠度的拍摄图像的时机与拍摄用于在第二监视区域设定可靠度的拍摄图像的时机中的至少一者，由分割信息设定部设定用于按照单位作业单位分割由拍摄部拍摄的作业视频的分割信息。

由此，至少根据在第一监视区域设定的可靠度与在第二监视区域设定的可靠度，判断是否进行了对应的单位作业，因此能够与根据一个监视区域的监视结果判断的情况相比，提高判断精度。特别是，作为判断基准采用多个位置的可靠度，因此例如，即使为了进行细致的单位作业而在一个监视区域设定了低可靠度，也能够通过在其他的监视区域设定高可靠度来判断为进行了该单位作业，因此能够高精度地判断细致的作业等、多种多样的单位作业。因此，即使是部件的取出判断模糊的作业也能够实现可高精度地分割作业视频的作业分析装置。由此，也能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态，能够达成第一目的。

在上述第三方式所涉及的示例性实施例中，根据由拍摄部拍摄的拍摄图像中与由监视区域设定部设定的监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，由检测部检测从与该监视区域相对应的部件箱的、部件的取出。由判断部根据该检测部的检测结果判断是否进行了按照规定的作业步骤的作业，由通知部对作业人员通知该判断结果。此时，由监视区域设定部，根据由作业人员使部件箱分别以规定的移动状态移动时由拍摄部拍摄的拍摄图像，按照部件箱单位设定与以该规定的移动状态移动的部件箱相对应的监视区域。

由此，在作业开始前等，作业人员仅使部件箱分别以规定的移动状态移动，就能够容易地按照部件箱单位设定监视区域。特别是，作业人员无需一边观看画面一边进行鼠标操作等，因此也不会由于作业人员的输入操作失误等而设定错误的监视区域。因此，无需对作业人员强加作业负担就能够容易且准确地设定监视区域。由此，能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态，能够达成第二目的。

在上述第四方式所涉及的示例性实施例中，根据由拍摄部拍摄的拍摄图像中与由监视区域设定部设定的监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，由检测部检测从与该监视区域相对应的部件箱的、部件的取出。根据该检测部的检测结果，由判断部判断是否进行了按照规定的作业步骤的作业，由通知部对作业人员通知该判断结果。此时，通过监视区域设定部按照部件箱单位，在由拍摄部拍摄的拍摄图像中，检测以部件箱的周壁的上端中的多个角部中作业人员的手指所接触的角部为起点延伸并在多个交点分别弯曲之后返回上述起点的边界线，将由该边界线包围的多边形状的区域设定为监视区域。

由此，在作业开始前等，作业人员仅用手指接触部件箱的周壁的上端中的一个角部，就能够容易地按照部件箱单位设定监视区域。特别是，作业人员无需一边观看画面一边进行鼠标操作等，因此也不会由于作业人员的输入操作失误等而设定错误的监视区域。因此，无需对作业人员强加作业负担就能够容易且准确地设定监视区域。由此，也能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态，能够达成第二目的。

附图说明

图1是示出第一实施方式所涉及的作业分析装置的概略结构的说明图。

图2是说明拍摄各部件箱的拍摄状态的说明图。

图3是示例出作业分析装置的电结构的框图。

图4A是示出第一实施方式中的单位作业A的分割动作的图。

图4B是示出第一实施方式中的单位作业B的分割动作的图。

图5A是示出第一实施方式中的单位作业C的分割动作的图。

图5B是示出第一实施方式中的单位作业D的分割动作的图。

图6是示例出由控制部进行的作业分析处理的处理顺序的流程图。

图7是说明按照单位作业单位设定分割信息的作业分割的检测结果的说明图。

图8是说明在第二实施方式中检测分割动作的监视区域的说明图。

图9A是示出第二实施方式中的单位作业A的分割动作的图。

图9B是示出第二实施方式中的单位作业B的分割动作的图。

图10A是示出第二实施方式中的单位作业C的分割动作的图。

图10B是示出第二实施方式中的单位作业D的分割动作的图。

图11是说明第三实施方式所涉及的作业分析装置的监视装置的说明图。

图12是说明在第三实施方式中检测分割动作的状态的说明图。

图13A是说明第四实施方式所涉及的作业分析装置的监视装置的说明图。

图13B是说明部件箱配置在图13A的监视区域的状态的说明图。

图14A是说明第四实施方式的变形例所涉及的作业分析装置的监视装置的说明图。

图14B是说明部件箱配置在图14A的监视区域的状态的说明图。

图15是说明在第五实施方式中设定监视区域的状态的说明图。

图16是说明在第五实施方式中分割动作的检测为有效的高度状态与无效的高度状态的说明图。

图17A是示出从部件箱30a取出部件20a的状态的图。

图17B是示出将部件20a组装到工件W的状态的图。

图18是说明通过监视图17A以及图17B的状态的监视装置来监视的重量变化的曲线图。

图19是说明在第七实施方式中部件箱中的临时监视区域的设定的说明图。

图20是说明在第七实施方式中工件中的临时监视区域的设定的说明图。

图21A是说明根据权重为“3”的临时监视区域设定的监视区域的说明图。

图21B是说明根据权重为“2”以上的临时监视区域设定的监视区域的说明图。

图22是示出第八实施方式所涉及的作业分析装置的概略结构的说明图。

图23是示例出在第八实施方式中由控制部进行的监视区域设定处理的处理顺序的流程图。

图24是示例出图23的部件箱相对坐标估计处理的子例程的处理顺序的流程图。

图25是示例出图23的摄像机相对坐标估计处理的子例程的处理顺序的流程图。

图26A是说明第二拍摄部与部件箱的位置关系的说明图。

图26B是说明以图26A的位置关系由第二拍摄部拍摄的拍摄图像的说明图。

图27是说明从第二拍摄部到部件箱码的距离的计算方法的说明图。

图28A是示例出相对于部件箱的、部件箱码的粘贴位置的说明图。

图28B是示例出相对于部件箱的、部件箱码的粘贴位置的说明图。

图28C是示例出相对于部件箱的、部件箱码的粘贴位置的说明图。

图29A是说明部件箱码随机地附加在部件箱的状态的说明图。

图29B是说明以图29A的位置关系由第二拍摄部拍摄的拍摄图像的说明图。

图30是示出第八实施方式的第一变形例所涉及的作业分析装置的主要部分的说明图。

图31是示出第八实施方式的第二变形例所涉及的作业分析装置的主要部分的说明图。

图32A是说明部件箱码附加在部件箱的周壁的上端的状态的说明图。

图32B是说明部件箱码附加在上盖部上的状态的说明图。

图33是示出第九实施方式所涉及的作业分析装置的主要部分的说明图。

图34A是示出部件箱在拍摄部附近被拍摄的状态的距离图像的说明图。

图34B是示出部件箱在与图34A相比远离的位置被拍摄的状态的距离图像的说明图。

图35是示例出在第九实施方式中由控制部进行的监视区域设定处理的流程的流程图。

图36A是示出拍摄载置于搁架上的两个部件箱的拍摄图像的图。

图36B是示出将图36A分割成各块的状态的图。

图37是示出在图36B的块B1～B4中分别提取的频率特征量的曲线图。

图38A是示出两个部件箱载置于搁架上的状态的图。

图38B示出拍摄图38A的距离图像。

图39是示出第十二实施方式所涉及的作业分析装置的主要部分的说明图，图39的(A)示出拍摄载置于搁架上的两个部件箱的拍摄图像，图39的 (B)示出提取了第二颜色区域的拍摄图像，图39的(C)示出进行滤波处理之后的拍摄图像。

图39A是示出拍摄载置于搁架上的两个部件箱的拍摄图像的图。

图39B是示出提取了第二颜色区域的拍摄图像的图。

图39C示出进行滤波处理之后的拍摄图像。

图40是用于说明由第十三实施方式所涉及的作业分析装置进行的监视区域设定处理的主要部分的说明图。

图41是示例出在第十三实施方式中由控制部进行的监视区域设定处理的处理顺序的流程图。

图42是示例出图41的部件区域设定处理的子例程的处理顺序的流程图。

图43是说明根据部件区域设定的监视区域的说明图。

图44是用于说明由第十三实施方式的第一变形例所涉及的作业分析装置进行的监视区域设定处理的主要部分的说明图。

图45是示例出关于规定的Y坐标在X坐标方向上对亮度值进行线扫描的检测结果的说明图。

图46是用于说明由第十三实施方式的第二变形例所涉及的作业分析装置进行的监视区域设定处理的主要部分的说明图。

图47是说明从提取图像进行拐角检测的拐角的角度的出现频率的曲线图。

图48是说明在拍摄部件箱的拍摄图像中，使用各标记设定监视区域的状态的说明图。

图49A是与各监视区域一并示出相对于工件组装部件之前的状态的说明图。

图49B是与各监视区域一并示出相对于工件组装部件之后的状态的说明图。

图50是示例出由控制部进行的作业分析处理的流程的流程图。

图51是示例出图50的第一可靠度设定处理的流程的流程图。

图52是示例出图50的第二可靠度设定处理的流程的流程图。

图53是说明根据第一可靠度以及第二可靠度设定的综合可靠度的说明图。

图54是示出第十五实施方式所涉及的作业支援装置的概略结构的说明图。

图55是示例出作业支援装置的电结构的框图。

图56是示例出在第十五实施方式中由控制部进行的作业支援处理的处理顺序的流程图。

图57是示例出图56的监视区域设定处理的处理顺序的流程图。

图58是说明部件箱的摆动状态的说明图。

图59A是说明通过部件箱30a返回原始的位置来判断为停止的拍摄图像的拍摄状态的说明图。

图59B是说明紧接在图59A的拍摄图像之前拍摄的其他的拍摄图像的拍摄状态的说明图。

图60A是说明在拍摄图像中设定最初的监视区域的状态的说明图。

图60B是说明在拍摄图像中设定全部的监视区域的状态的说明图。

图61是示例出在第十六实施方式中由控制部进行的作业支援处理的处理顺序的流程图。

图62是说明拍摄各部件箱的拍摄状态的说明图。

图63是示例出在第十七实施方式中由控制部进行的作业支援处理的处理顺序的流程图。

图64是示例出图63的监视区域设定处理的处理顺序的流程图。

图65是说明以停滞状态的手指所触碰的角部为起点切换搜索对象的状态的说明图。

图66是说明通过以搜索时在交点弯曲的方向为一个方向，来抑制不期望的交点的检测所致的影响的事例的说明图。

图67是说明在第十八实施方式中，通过用停滞状态的手指触碰两个角部来设定的监视区域的说明图。

图68是说明在第十九实施方式中，通过以部件箱的上端的内部边缘为搜索对象来设定的监视区域的说明图。

图69是示例出第二十实施方式中的监视区域设定处理的处理顺序的流程图。

图70是说明在第二十实施方式中作业人员的手指描摹部件箱的上端的环状的轨迹的说明图。

附图标记说明

10：作业分析装置

11：控制部(设定部、生成部、监视区域设定部、可靠度设定部、判断部、分割信息设定部、检测部、作业步骤设定部)

13：拍摄部

20、20a～20d：部件

30、30a～30d：部件箱

31a～31d：标记

32：周壁

33a～33d：上端

34a～34d：角部

35a～35d：内部边缘

100：作业支援装置

F：手指

P1a～P1d、P2a～P2d、P11a～P11d、P21a～P21d：监视区域

W：工件(被组装部件)

Wa～Wd：组装预定位置

具体实施方式

【第一实施方式】

以下，对分析作业人员的人工的作业是否按照预先规定的步骤进行、所谓的、手工作业是否“正确”进行的、包括取得表示该手工作业的状态的信息在内的，分析该信息的装置以及方法(作业分析装置以及作业分析方法)、以及、用于实施这些装置以及方法的、计算机用的作业分析程序的各种方式进行说明。

在以下说明的实施方式中，对作业分析装置的结构以及动作进行说明，附随该说明还说明作业分析方法以及作业分析程序。

以下，参照附图，对实现作业分析装置的第一实施方式进行说明。

如图1所示例，本实施方式所涉及的作业分析装置10构成为这样的装置，其设置于作业台1等，拍摄由作业人员M重复进行按照规定的顺序进行多个单位作业的规定的手工作业的作业视频，根据作业视频生成用于按照单位作业单位判断是否按照预先规定的步骤(即，正确的步骤)进行该手工作业的判断用数据(注解数据)。即，设定用于按照单位作业单位分割重复规定的手工作业的作业视频的分割信息并生成判断用数据。因此，能够从判断用数据分别提取多个拍摄了各单位作业的视频范围。

印刷电路板等的被组装部件(以下，简称为工件W)被搬送并配置在作为手工作业进行作业人员的人工的组装作业的作业台1中。在该作业台1的搁架2上以从作业人员M观察左右排列的方式配置有多个部件箱30。

用于组装到工件W上的多个种类的部件20分别单独地贮存在各部件箱 30。如图2所示，在本实施方式中，四个部件箱30a～30d排列配置在搁架2 上，部件20a收容在部件箱30a，部件20b收容在部件箱30b，部件20c收容在部件箱30c，部件20d收容在部件箱30d。此外，图2在由将在后面进行说明的拍摄部13拍摄的图像中对部件箱30a～30d的附近进行了放大示出。

此外，部件箱的称呼当然也可以是各种名称，如每个工厂不同等。在该例子的情况下，部件盒、部件容器、部件筐、部件袋等各种各样，在此统称为部件箱。

如图1以及图3所示，作业分析装置10具备控制部11、存储部12、拍摄部13、显示部14、发光部15、扬声器16、操作部17、通信部18等。其中，控制部11、存储部12、以及、通信部18构成处理器10A。

控制部11以具备承担运算的中枢的CPU(central processing unit)11A以及作为工作区域的主存储器11B的计算机为主体构成，进行作业分析装置10的整体控制和各种运算，还发挥功能执行将在后面进行说明的作业分析处理。存储部12除了ROM(只读存储器(EEPROM等)12A以及RAM(随机存取存储器)12B之外，根据需要，构成为包含未图示的HDD、非易失性存储器等的公知的存储介质，以控制部11(即CPU11A)可使用的方式预先储存有用于执行作业分析处理的应用程序(以下，还称为作业分析程序)和规定的数据库等。

在本实施方式中，ROM12A作为非暂时性计算机可读存储介质 (non-transitorycomputer-readable recording medium)发挥功能，将上述的应用程序以及其他的控制/处理的程序的步骤作为源代码进行储存。该非暂时性计算机可读存储介质(non-transitorycomputer-readable recording medium)也可以包括不丢失存储信息的类型的RAM。

该程序由CPU11A读取到预先设定的工作区域11B并执行。RAM12B构成为能够临时保存CPU11A的正在执行处理的数据。另外，主存储器11B包括RAM。

当然，该处理器10A的结构为一个例子，只要是能够执行需要的作业分析、控制、处理所涉及的程序的结构，也可以是其他的结构。例如，也可以构成为具备多个CPU进行分散控制，或者组装冗余***。CPU11A是承担计算机***的运算的中枢的要素，理所当然地，只要具有同样的功能，名称可以不同(例如运算装置)。

拍摄部13构成为具备受光传感器(例如，C-MOS区域传感器、CCD区域传感器等)的摄像机。在本实施方式中，拍摄部13与具备控制部11 (CPU11A)和显示部14等的装置本体10a单独构成，并且配置在作业台1 的上部，以使除了作业人员M的作业状态之外还以视频拍摄各部件箱30a～ 30d以及工件W的状态。在本实施方式中，拍摄部13构成为，例如以30帧/ 秒拍摄视频(连续静止图像)，并以能够通过控制部11分析拍摄的视频的方式存储在存储部12中。

显示部14例如是液晶显示器，由控制部11(CPU11A)控制，构成为显示由拍摄部13拍摄的拍摄图像和规定的信息等。装置本体10a安装在作业台 1的背板等，以使该显示部14的显示画面被作业人员M目视识别。

发光部15例如具备LED，由控制部11(CPU11A)控制，构成为控制发光色和点亮/亮灭状态，配置在容易由作业人员M目视识别的位置。扬声器 16由公知的扬声器等构成，被控制部11控制，构成为播放预先设定的声音和警告音等的各种通知音。

操作部17构成为对控制部11输出与来自操作者的、基于手动的输入操作相应的操作信号，控制部11(CPU11A)接收该操作信号进行与输入操作相应的处理。通信部18构成为用于在与上级机器等的外部装置之间进行数据通信的通信接口，构成为与控制部11协作进行通信处理。

接下来，对由作业人员M按照规定的手工作业的作业步骤进行将收容在多个部件箱的部件分别组装在工件W上的规定的手工作业时，根据通过控制部11(CPU11A)执行的作业分析程序进行的作业分析处理进行说明。

在本实施方式中，作为分析对象的规定的手工作业(以下，还简称为“作业(作为目的的作业)”)，采用相对于工件W，按照第一个组装部件箱30a的部件20a的单位作业A、第二个组装部件箱30b的部件20b的单位作业B、第三个组装部件箱30c的部件20c的单位作业C、第四个组装部件箱30d的部件 20d的单位作业D的顺序进行的作业。

而且，在作业分析处理中，根据按照单位作业单位预先设定的规定的动作(以下，还称为分割动作)，以设定用于在分割动作的检测时机按照单位作业单位分割由拍摄部13拍摄的作业视频的分割信息的方式生成判断用数据。在本实施方式中，拍摄部13的拍摄范围中与部件箱30a相当的范围预先被设定为监视区域P1a。如图4A所示，作业人员M的手进入监视区域P1a的动作关于单位作业A设定为上述分割动作。同样地，拍摄部13的拍摄范围中与部件箱30b～30d相当的范围分别预先被设定为监视区域P1b～P1d。如图4B所示，作业人员M的手进入监视区域P1b的动作关于单位作业B设定为上述分割动作。如图5A所示，作业人员M的手进入监视区域P1c的动作关于单位作业C设定为上述分割动作。如图5B所示，作业人员M的手进入监视区域 P1d的动作关于单位作业D设定为上述分割动作。此外，在图4以及图5中，放大图示了拍摄部13的拍摄范围中与各部件箱30a～30d相当的范围。

从以上内容可知，在本实施方式中，作业单位是指构成作为目的的作业的要素性的多个作业各自。在本实施方式中，作为一例，将如后所述通过作业人员的手进入为多个部件箱设定的各个监视区域而分割的、作业人员的多个要素性的作业动作称作单位作业(unit working operation)

此外，各监视区域P1a～P1d例如既可以通过配置在各部件箱30a～30d 确定的位置来设定为规定范围，也可以根据通过连续拍摄分别摆动各部件箱 30a～30d等的状态来生成的图像差分进行设定。

以下，参照图6的流程图，对由控制部11(CPU11A)进行的作业分析处理具体地详细说明。

通过对操作部17进行规定的开始操作，由控制部11(CPU11A)开始作业分析处理时，进行图6的步骤S101所示的拍摄处理，成为由拍摄部13拍摄作业人员M的作业视频的状态。然后，在作业视频的拍摄中，当检测出如上述那样设定的任意的分割动作时，在步骤S103的判断处理中判断为是。接下来，在步骤S105的分割信息设定处理中，在上述检测时机设定用于分割作业视频的分割信息。在该分割信息中，能够包含与根据分割动作确定的单位作业名和检测时刻相关的信息等。然后，在未进行规定的结束操作等的情况下(在S107中否)，再次，重复从上述步骤S103的处理。此外，进行上述分割信息设定处理的控制部11可以相当于“设定部”的一例。

这样，根据从上述步骤S103的重复处理，按照单位作业单位设定分割信息，能够获得如图7所示的作业分割的检测结果。例如，当是图7的第k周期时，通过检测在时刻t1作业人员M的手进入监视区域P1a的动作，来将该时刻t1设定为单位作业A的开始时机，之后，通过检测在时刻t2作业人员M 的手进入监视区域P1b的动作，来将该时刻t2设定为单位作业B的开始时机且单位作业A的结束时机。同样地，通过检测在时刻t3作业人员M的手进入监视区域P1c的动作，来将时刻t3设定为单位作业C的开始时机且单位作业 B的结束时机。另外，通过检测在时刻t4作业人员M的手进入监视区域P1d 的动作，来将该时刻t4设定为单位作业D的开始时机且单位作业C的结束时机。另外，通过检测在时刻t5作业人员M的手进入监视区域P1a的动作，来将该时刻t5设定为第k+1周期的单位作业A的开始时机且第k周期的单位作业D的结束时机。

这样，当通过以设定分割信息的状态获得需要的作业视频来进行结束操作等时(在图6的步骤S107中为是)，进行步骤S109所示的异常作业排除处理。在该步骤S109的处理中，根据如上述那样设定的分割信息，进行用于从判断用数据排除估计为异常作业的单位作业的处理。

在步骤S109中，具体而言，例如，按照单位作业单位，以根据被设定的分割信息计算的平均作业时间为基准，计算视作正常的作业的正常作业时间范围，自动地排除作业时间脱离正常作业时间范围的单位作业。在图7的例子中，第n1周期的单位作业B的作业时间脱离正常作业时间范围，因此将该第n1周期的单位作业B作为从判断用数据的排除对象。具体而言，在作为单位作业B的作业时间示出的tnb间的宽度比作为正常作业时间范围示出的th 大的情况下，将单位作业B作为判断用数据的排除对象。

另外，例如，根据被设定的分割信息，自动地排除以与规定的顺序不同顺序进行的单位作业的前一个单位作业。在本实施方式中规定的顺序是指，例如，单位作业按照单位作业A、单位作业B、单位作业C、单位作业D的顺序进行。在图7的例子中，在单位作业A之后进行第n2周期的单位作业C 并与规定的顺序不同，因此将第n2周期的单位作业C之前一个第n2周期的单位作业A作为从判断用数据的排除对象。这种情况下，在单位作业A之后实际上进行的单位作业B的分割动作由于某种理由无法被检测，因此存在作为单位作业A分割的作业视频还包含单位作业B的作业视频的可能性，将以与规定的顺序不同顺序进行的单位作业C之前一个单位作业A作为从判断用数据的排除对象。

当如上述那样排除估计为异常作业的单位作业时，进行图6的步骤S111 的判断用数据生成处理，以包含与剩余的未被排除的、视作正常的作业的单位作业的视频相对应的分割信息的方式生成判断用数据(注解数据)。这样生成的判断用数据存储在存储部12中，根据需要通过通信部18发送到上级机器等。此外，将与被估计为异常作业的单位作业相关的数据作为用于学习与异常时的行动等相关的数据，因此作为异常数据，也可以另外存储在存储部 12中。另外，进行上述异常作业排除处理以及上述判断用数据生成处理的控制部11可以相当于“生成部”的一例。

如以上说明那样，在本实施方式所涉及的作业分析装置10中，根据按照单位作业单位预先设定的分割动作(规定的动作)，设定用于在分割动作的检测时机按照单位作业单位分割由拍摄部13拍摄的作业视频的分割信息，以包含由拍摄部13拍摄的作业视频与被设定的分割信息的方式生成判断用数据。

由此，仅拍摄作业人员M按照单位作业单位进行的分割动作，就能够按照单位作业单位自动地分割作业视频。因此，能够根据拍摄了重复进行的规定的作业的作业视频实时生成用于判断是否进行了正确的作业的判断用数据。

特别是，在本实施方式中，单位作业是将从与该单位作业关联的部件箱 30取出的部件20组装到工件(被组装部件)W上的作业，上述分割动作是从部件箱30取出部件20的动作。这样，能够在作为该单位作业必须的作业动作的检测时机分割作业视频，也不会强加与本来的单位作业无关的动作，因此能够对于判断用数据的生成减轻作业人员M等的作业负担。

另外，在上述异常作业排除处理以及判断用数据生成处理中，根据被设定的分割信息，按照单位作业单位计算可视作正常的作业的正常作业时间范围，作为判断用数据生成作业时间为正常作业时间范围的单位作业。由此，能够考虑作业时间将可视作正常的作业的单位作业的视频自动地作为判断用数据，能够提高判断用数据的可靠性。另一方面，在上述异常作业排除处理以及判断用数据生成处理中，以排除作业时间脱离正常作业时间范围的单位作业的方式生成判断用数据。由此，能够从判断用数据中自动地排除无法视作正常作业的单位作业的视频，能够提高判断用数据的可靠性。

因此，能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态。

进一步，在上述异常作业排除处理以及判断用数据生成处理中，根据被设定的分割信息，以按照与规定的顺序不同顺序进行的单位作业的前一个单位作业被排除的方式生成判断用数据。这样，不能视作正常的作业的单位作业的视频自动地从判断用数据被排除，因此能够提高判断用数据的可靠性。

【第二实施方式】

接下来，参照附图，对第二实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第二实施方式中，主要与上述第一实施方式不同之处在于，作为上述分割动作，采用使部件向被组装部件的组装预定位置移动的动作。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，作为分析对象的规定的作业，与上述第一实施方式同样地，采用相对于工件W，按照第一个组装部件箱30a的部件20a的单位作业A、第二个组装部件箱30b的部件20b的单位作业B、第三个组装部件箱 30c的部件20c的单位作业C、第四个组装部件箱30d的部件20d的单位作业 D的顺序进行的作业。

另一方面，与第一实施方式不同，如图8所示，拍摄部13的拍摄范围中相对于工件W，与组装部件20a的组装预定位置相当的范围设定为监视区域 P2a。与组装部件20b的组装预定位置相当的范围设定为监视区域P2b。与组装部件20c的组装预定位置相当的范围设定为监视区域P2c。与组装部件20d 的组装预定位置相当的范围设定为监视区域P2d。

如图9A所示，使部件20a移动至监视区域P2a的动作关于单位作业A设定为上述分割动作。如图9B所示，使部件20b移动至监视区域P2b的动作关于单位作业B设定为上述分割动作。如图10A所示，使部件20c移动至监视区域P2c的动作关于单位作业C设定为上述分割动作。如图10B所示，使部件20d移动至监视区域P2d的动作关于单位作业D设定为上述分割动作。此外，在图8～图10中，放大图示了拍摄部13的拍摄范围中与工件W相当的范围，在图9以及图10中，为了方便起见，省略了抓住部件20的作业人员 M的手的图示。

而且，在与第一实施方式同样地在图6所示的本实施方式中由控制部11 进行的作业分析处理中，作业视频的拍摄中，当检测出如上述那样设定的任意的分割动作时(在S103中为是)，在该检测时机设定用于分割作业视频的分割信息(S105)，重复从上述步骤S103开始的处理，直至进行结束操作等。当在这种重复处理中进行结束操作等时(在S107中为是)，以将估计为异常作业的单位作业排除的方式生成判断用数据(S109、S111)。

如以上说明那样，在本实施方式所涉及的作业分析装置10中，单位作业是将与该单位作业相关联的部件20组装到工件(被组装部件)W上的作业，上述分割动作(规定的动作)是使部件20向工件W的组装预定位置移动的动作。这样，也能够在作为单位作业必须的作业动作的检测时机分割作业视频，不会强加与本来的单位作业无关的动作，因此能够关于判断用数据的生成减轻作业人员M等的作业负担。

【第三实施方式】

接下来，参照附图，对第三实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第三实施方式中，主要与第一实施方式不同之处在于，用于检测上述分割动作的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

本实施方式所涉及的作业分析装置10具备将从部件箱30取出部件20时的动作作为上述分割动作来检测的图11所示的监视装置40。监视装置40是用于通过监视静电容的变化来检测上述分割动作的装置。监视装置40构成为具备传感器电路41、六个带状的导体42x1～42x6及六个带状的导体42y1～ 42y6、以及作业台43。此外，在图11以及将在后面进行说明的图12中，为了方便起见，用单点划线图示出作业台43。

传感器电路41是监视各导体42x1～42x6及各导体42y1～42y6各自的静电容(单位：F)的变化的电路，构成为由控制部11控制并向控制部11输出监视结果。

如图11所示，各导体42x1～42x6及各导体42y1～42y6配置成格子纹样状。例如，当使手靠近导体42x3与导体42y3重叠的区域时，导体42x3与导体42y3的静电容变化，由传感器电路41检测该静电容的变化。即，构成能够通过各导体42x1～42x6及各导体42y1～42y6来检测36处的静电容的变化的区域(以下，还称为作业区域)，能够通过监视配置成矩阵状的各作业区域的静电容的变化，来检测手靠近了哪个作业区域。此外，在各导体中，实施了绝缘处理等，以使重叠的其他的导体的静电容的变化的影响变小。

因此，在本实施方式中，能够以在以覆盖各作业区域的方式设置的作业台43上配置各部件箱30的状态，根据在传感器电路41中检测出超过规定的阈值的静电容的变化的作业区域，检测从部件箱30取出部件20的动作(分割动作)以及部件箱30的位置。即，无需进行特别的动作等，仅进行通常的作业动作，就能够检测分割动作等。另外，还能够根据静电容变化的作业区域的变化顺序等检测在作业中使用的部件箱30的个数。

特别是，通过将各作业区域与被配置的部件箱30的类别等相关联起来，不仅能够检测分割动作，还能够确定取出的部件等。例如，如图12所示，以与各部件箱30a～30d配置在作业台43上关联的状态，在导体42x3、42x4、 42y2、42y3中通过传感器电路41检测出比其他的导体大的静电容的变化时，不仅能够检测分割动作，还能够检测从部件箱30b的部件20b的取出。

这样，在本实施方式中，能够通过采用监视各导体42x1～42x6及各导体 42y1～42y6的静电容的变化的特征的结构，来检测分割动作以及取出的部件 20的类别等。该特征的结构也能够适用于其他的实施方式等。此外，上述各作业区域不局限于由各导体42x1～42x6及各导体42y1～42y6构成，还可以由能够监视其他的静电容的变化的部件构成。例如，也可以构成为在各作业区域配置能够监视一个静电容的变化的导体。另外，作业区域的个数不局限于设定成36个(6×6)，也可以根据部件箱30的配置状況等设定不同个数。通过监视各导体的静电容的变化来检测上述分割动作等的结构不局限于如上述那样从部件箱30取出部件20的分割动作的检测。例如，也能够适用于使部件20向被组装部件的组装预定位置移动的分割动作的检测。

【第四实施方式】

接下来，参照附图，对第四实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第四实施方式中，主要与上述第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

本实施方式所涉及的作业分析装置10具备检测上述监视区域、即配置有部件箱30的位置的、图13A所示的监视装置40a。监视装置40a构成为具备相对于配置部件箱30的预定的搁架2的面几乎无间隙地等间隔地排列成一列的多个压电开关44。各压电开关44构成为分别将与按压相应的信号输出到控制部11。控制部11能够检测哪个压电开关44为按压状态。

具体而言，如图13B所示，当部件箱30配置在由各压电开关44的按压面侧构成的监视区域的一部分时，仅从该被配置的部分的压电开关44(参照图13B的附图标记44a)输出信号。因此，能够通过由控制部11监视各压电开关44的按压状态，来检测在监视区域内配置有部件箱30的位置(监视区域)。此外，在图13B中，为了方便起见，用虚线图示了部件箱30。

此外，取代压电开关44，也可以通过使用能够检测部件箱的一部分接触到检测面上的接触开关等的物理开关，来检测在监视区域内配置有部件箱的位置(监视区域)。

此外，只要是使用频率高的环境等而不是不使用的环境，也可以取代上述的监视装置40a，作为本实施方式的变形例，采用图14A所示的监视装置 40b。在该变形例所涉及的、采用监视装置40b的环境中，各部件箱30构成为至少背面侧具有导电性。监视装置40b构成为通过检测在监视区域内的导电状态的变化，来检测部件箱30的配置位置(监视区域)。因此，监视装置 40b在配置各部件箱30的预定的面上，具备彼此平行排列的多个第一导体45 与相同数量的第二导体46。如图14B所示，监视装置40b能够通过检测变成导通状态的第一导体45以及第二导体46，来将被检测的导体45、46(参照图14B的附图标记45a、46a)所占据的范围检测为配置有部件箱30的位置。此外，在图14B中，为了方便起见，用虚线图示了部件箱30。

特别是，能够通过按照部件箱30的类别单位改变设置在部件箱30的背侧的导电体的电阻值，来根据通过第一导体45以及第二导体46导通时被检测的电阻值，判别被配置的部件箱30的类别。

检测使用了上述的压电开关44等的各监视区域的本实施方式的特征的结构和检测使用了上述的第一导体45以及第二导体46等的各监视区域的本实施方式中的变形例的特征的结构也能够适用于其他的实施方式等。

【第五实施方式】

接下来，参照附图，对第五实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第五实施方式中，与上述第一实施方式不同之处在于，用于上述监视区域的设定以及考虑了手的高度的分割动作的检测的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，在开始上述作业分析处理之前，设定各监视区域，因此由控制部11实施监视区域设定处理。在该监视区域设定处理中，通过由拍摄部13拍摄对部件箱30的周壁的上端31进行描摹的手指的轨迹，来设定与该部件箱相对应的监视区域。例如，如图15所示例，通过由拍摄部13拍摄对部件箱30c的周壁的上端31进行描摹的手指的轨迹，来设定与该部件箱30c 相对应的监视区域P1c。

而且，在上述作业分析处理中，考虑作业人员M的手的高度，检测作业人员M的手进入监视区域的分割动作。例如，在试图取下收容在部件箱30b 的部件的手通过相邻的部件箱30a的上方时，若误识别为通过中的手进入到与部件箱30a相对应的监视区域，则分割动作会被误检测。

因此，在本实施方式中，采用作为拍摄部13能够测定至拍摄对象的距离的TOF(Time of Flight)摄像机，如图16所示，以载置各部件箱30的搁架2 的载置面2a为基准，测定进入监视区域的手距离载置面2a的高度。而且，在进入监视区域的手距离载置面2a的高度超过规定的阈值h1的情况下，作为检测无效，不判断为分割动作，而在进入监视区域的手距离载置面2a的高度小于等于规定的阈值h1的情况下，作为检测有效成为分割动作的检测对象。此外，也可以除了拍摄部13以外另准备TOF摄像机，使用该摄像机测定进入监视区域的手距离载置面2a的高度。

由此，例如，即使试图取下收容在部件箱30b中的部件的手进入与部件箱30a相对应的监视区域，在该手距离载置面2a的高度超过规定的阈值h1 的情况下，构成检测无效，因此能够抑制分割动作的错误检测。

此外，如上述那样，不局限于以距离载置面2a的手的高度为基准判断是否为检测无效，也能够以距离部件箱30的周壁的上端31的手的高度为基准判断是否为检测无效(参照图16的阈值h2)。另外，利用了描摹的手指的轨迹的监视区域的设定和以手的高度为基准判断是否检测无效的本实施方式的特征的结构也能够适用于其他的实施方式等。

【第六实施方式】

接下来，参照附图，对第六实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第六实施方式中，主要与第一实施方式不同之处在于，使用重量的变化检测上述分割动作。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

本实施方式所涉及的作业分析装置10具备将从部件箱30取出部件20时的动作和将部件20组装到被组装部件的动作作为上述分割动作检测的、图 17A以及图17B所示的监视装置40c。监视装置40c是通过监视各部件箱30 以及被组装部件的重量的变化来检测上述分割动作的装置，构成为具备能够测定各部件箱30以及被组装部件的重量的重量传感器47。重量传感器47以重量测定面能够同时载置各部件箱30与被组装部件的方式形成为平面状，组装于搁架2。

以下，参照附图，对在本实施方式中进行的作业分析处理进行说明。此外，在以下的说明中，如图17A以及图17B所示，对在重量传感器47的重量测定面上载置四个部件箱30a～30d与组装部件20a～20d的工件W进行作业的情况进行详细说明。此外，在本实施方式中，作为分析对象的规定的作业，采用相对于工件W，以第一个组装部件箱30a的部件20a的单位作业A、第二个组装部件箱30b的部件20b的单位作业B、第三个组装部件箱30c的部件 20c的单位作业C、第四个组装部件箱30d的部件20d的单位作业D的顺序进行的作业。

在未组装部件20a～20d的工件W载置于重量测定面上之后即刻的组装作业开始时，在令由重量传感器47测定的测定值F为Fo时，如图17A所示，当为了开始单位作业A从部件箱30a取出部件20a时，重量传感器47的测定值从Fo减少为Fa。测定值Fa是从测定值Fo除去部件20a的重量的值。因此，通过由重量传感器47测定的测定值从Fo减少为Fa(参照图18的时刻t1)，能够检测出从部件箱30a取出部件20a的分割动作。之后，如图17B所示，通过将部件20a组装到工件W，重量传感器47的测定值从Fa增加到Fo。由此，通过由重量传感器47测定的测定值从Fa返回到Fo(增加)(参照图18 的时刻t2)，能够检测出将部件20a组装到工件W的分割动作。之后，通过重量传感器47的测定值从Fo减少为Fb(从测定值Fo除去部件20b的重量的值)(参照图18的时刻t3)，检测出从部件箱30b取出部件20b的分割动作，进一步，通过重量传感器47的测定值从Fb返回到Fo(参照图18的时刻t4)，检测出将部件20b组装到工件W的分割动作。之后，通过重量传感器47的测定值从Fo减少为Fc(从测定值Fo除去部件20c的重量的值)(参照图18 的时刻t5)，检测出从部件箱30c取出部件20c的分割动作，进一步，通过重量传感器47的测定值从Fc返回到Fo(参照图18的时刻t6)，检测出将部件20c组装到工件W的分割动作。之后，通过重量传感器47的测定值从Fo减少为Fd(从测定值Fo除去部件20d的重量的值)(参照图18的时刻t7)，检测出从部件箱30d取出部件20d的分割动作，进一步，通过重量传感器47的测定值从Fd返回到Fo(参照图18的时刻t8)，检测出将部件20d组装到工件 W的分割动作。

这样，在本实施方式中，能够使用由重量传感器47测定的重量的变化准确地检测上述分割动作。因此，例如，即便是在从不同部件箱错误地取得不期望的部件的情况下，通过使部件返回该部件箱，也不会检测出如组装时那样的较大的重量变化，因此能够抑制起因于部件的错误拿取的分割动作的错误检测。进一步，即使在组装中途部件掉落到被组装部件上，部件的掉落所致的重量变化与组装时的重量变化不同，因此能够根据被检测的重量变化，可靠地区别部件的组装完成与简单的部件的掉落。

此外，作为重量传感器47，能够采用非接触型的静电容传感器或者静电容重量传感器、薄膜式压力传感器等。另外，监视装置40c不局限于由一个重量传感器47测定各部件箱30以及被组装部件的重量，也可以使用两个以上的重量传感器等测定各部件箱30以及被组装部件的重量。另外，利用由重量传感器测定的重量的变化检测上述分割动作的本实施方式的特征的结构能够适用于其他的实施方式等。

【第七实施方式】

接下来，参照附图，对第七实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第七实施方式中，与第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式所涉及的作业分析装置10中，对从部件箱30取出部件20 时的作业人员M的手的轨迹和将部件20组装到被组装部件时的作业人员M 的手的轨迹进行监视，并根据该监视结果，设定上述监视区域。

具体而言，根据由拍摄部13拍摄的视频识别作业人员M的手，按照规定的时间间隔(例如，帧间隔)单位，检测被拍摄的手的移动方向与移动量。然后，当移动量小于等于规定值的状态持续规定期间以上时，作为手滞留的状态(以下，还称为滞留状态)，以该滞留状态时拍摄的手为基准设定临时监视区域。这是因为从部件箱30取出部件20时的手的移动和将部件20组装到被组装部件时的手的移动容易变成上述滞留状态。

例如，如图19所示例，在结束将部件20a组装到工件W的手去取部件箱 30b的部件20b的情况下，从部件箱30b取出部件20b时手变成上述滞留状态，因此以该滞留状态的手为基准设定部件箱30b用的临时监视区域(参照图19 的附图标记Po1b)。之后，如图20所示例，在取出部件20b的手去往工件W 的组装预定位置的情况下，在将部件20b组装到工件W的组装预定位置时手变成滞留状态，因此以该滞留状态的手为基准设定部件20b的组装预定位置用的临时监视区域(参照图20的附图标记Po2b)。

此外，在本实施方式中，如图19的临时监视区域Po1b以及图20的临时监视区域Po2b那样，临时监视区域根据使滞留状态的手所占据的拍摄范围在内侧的长方形区域设定，但是不局限于此，例如，也可以根据与滞留状态的手所占据的拍摄范围外接的圆区域或者椭圆区域、和与滞留状态的手所占据的拍摄范围内接的圆区域或者椭圆区域设定。

而且，通过重复各单位作业，以使各部件箱30用的临时监视区域以及各组装预定位置用的临时监视区域按顺序被积累的方式存储到存储部12。之后，为了实现监视区域的估计精度的提高与监视区域的最佳化，能够通过求出按照临时监视区域单位重复的范围并加权，来根据该加权设定监视区域。

例如，在相对于一个监视区域，临时监视区域被设定100次的情况下，将重复50次以上的区域的权重设定为“3”，将重复20次以上的区域的权重设定为“2”，将重复10次以上的区域的权重设定为“1”。然后，在以将权重为“3”的临时监视区域全部包含的方式设定监视区域的情况下，能够如图21A 所示，设定监视区域(参照阴影区域)。另外，在以将权重为“2”以上的临时监视区域全部包含的方式设定监视区域的情况下，能够如图21B所示，设定监视区域(参照阴影区域)。

此外，也可以相对于一个监视区域，根据以上一次的滞留状态的手的中心位置与滞留状态的手的中心位置的中间位置为中心的矩形状等的规定的形状的区域设定临时监视区域。另外，使用上述的多个临时监视区域设定一个监视区域的本实施方式的特征的结构也能够适用于其他的实施方式等。

【第八实施方式】

接下来，参照附图，对第八实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第八实施方式中，主要与上述第一实施方式不同之处在于，进行使用分别附加在各部件箱的信息码来分别设定与部件箱相对应的监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，如图22所示，位置检测用的信息码(以下，还称为部件箱码Ca)分别附加在各部件箱30上。在作业分析装置10中新设置有拍摄部件箱码Ca的第二拍摄部13a。第二拍摄部13a作为监视区域设定用的摄像机发挥功能，具有与拍摄部13同等的功能，构成为拍摄的图像以可通过控制部11分析的方式存储在存储部12。第二拍摄部13a配置在拍摄部13的拍摄范围内且从作业人员M观察能够从前侧拍摄配置在搁架2上的各部件箱30 各自的部件箱码Ca的位置。在作为第二拍摄部13a的拍摄部13侧的外表面 (上表面)附加有用于计算第二拍摄部13a与拍摄部13的相对位置关系的信息码(以下，还称为摄像机码Cb)。此外，在本实施方式中，部件箱码Ca以及摄像机码Cb构成为QR码(注册商标)，但是不局限于此，例如，也可以构成为条形码等的一维码和其他的类别的二维码。

而且，在本实施方式中，在开始上述作业分析处理之前，为了设定各监视区域，由控制部11实施监视区域设定处理。在该监视区域设定处理中，从由第二拍摄部13a拍摄部件箱码Ca的拍摄图像计算以第二拍摄部13a为基准的部件箱30的相对坐标。然后，通过从由拍摄部13拍摄了摄像机码Cb的拍摄图像计算以拍摄部13为基准的第二拍摄部13a的相对坐标，来估计以拍摄部13为基准的部件箱30的相对坐标，根据该估计结果，设定各部件箱30的监视区域。

因此，在部件箱码Ca中除了所附加的收容在部件箱30的部件20的信息之外，存储有与表示部件箱30的高度、横向宽度、进深等的尺寸(以下，还称为箱子尺寸)和表示该部件箱码Ca的大小和形状、单元(cell)数等的尺寸(以下，还称为码尺寸)、相对于部件箱30的部件箱码Ca的粘贴位置(以下，还称为码位置)相关的信息等。

另外，在摄像机码Cb中存储有相对于第二拍摄部13a的摄像机码Cb的粘贴位置和码尺寸等、用于从拍摄该摄像机码Cb的拍摄图像计算拍摄部13 与第二拍摄部13a的相对位置关系的信息等。

以下，参照附图，对本实施方式中的监视区域设定处理进行具体说明。此外，在以下的说明中，对于附加了部件箱码Ca的一个部件箱30配置在搁架2上的情况进行详细说明。

在开始作业分析处理之前，当根据规定的操作由控制部11开始监视区域设定处理时，在图23的步骤S201所示的部件箱相对坐标估计处理中，进行估计以第二拍摄部13a为基准的部件箱30的相对坐标的处理。在该步骤S201 的处理的子例程中，如图24所示，首先，变成可由第二拍摄部13a拍摄部件箱码Ca的状态(图24的S211)，之后，进行用于读取拍摄的部件箱码Ca的解码处理(S213)。

通过配置在搁架2上配置的部件箱30，部件箱码Ca的读取成功(在S215 中为是)，当取得箱尺寸和码尺寸、码位置等时，进行步骤S217所示的读取角度计算处理。在步骤S217的处理中，根据第二拍摄部13a的拍摄图像所占据的部件箱码Ca的范围，作为读取角度α计算相对于第二拍摄部13a的部件箱码Ca的角度。

例如，如图26A所示，由于部件箱30相对于第二拍摄部13a倾斜配置，因此如图26B所示的拍摄图像那样，在拍摄部件箱码Ca的情况下，根据从部件箱码Ca的四角的位置求出的四边的长度比，计算相对于第二拍摄部13a的部件箱码Ca的读取角度α(参照图26A)。

接下来，进行图24的步骤S219所示的读取距离计算处理。在步骤S219 的处理中，根据第二拍摄部13a的拍摄图像所占据的部件箱码Ca的像素数，作为读取距离y计算从第二拍摄部13a到部件箱码Ca的距离。此外，根据使用如上述那样计算的读取角度α将部件箱码Ca的四角的角度修正为90°的图像，能够计算读取距离y。

例如，当相对于如图27所示那样拍摄的部件箱码Ca，使拍摄图像整体的 x方向的像素数为x1、使部件箱码Ca的x方向的像素数为x2、使在部件箱码 Ca的位置的与拍摄图像整体相当的x方向的实际尺寸为x3、使实际的部件箱码Ca的x方向的实际尺寸为x4时，式(1)的关系成立。另外，根据在部件箱码Ca的位置的与拍摄图像整体相当的x方向的尺寸x3与从第二拍摄部13a 的视角以及分辨率等求出的角度θ，关于读取距离y，式(2)的关系成立。

x1:x2＝x3:x4 …(1)

y＝x3/2×tanθ …(2)

x1、x4、θ已知，因此通过根据式(1)、(2)求出的以下的式(3)，能够根据部件箱码Ca的x方向的像素数x2，计算读取距离y。

y＝(x1×x4/x2)/2×tanθ …(3)

如上述那样，当计算读取角度α以及读取距离y时，进行图24的步骤S221 所示的相对坐标估计处理。在该步骤S221的处理中，首先，当根据如上述那样计算的读取角度α以及读取距离y，计算以第二拍摄部13a为基准的部件箱码Ca的相对坐标时，根据计算出的部件箱码Ca的相对坐标与从部件箱码Ca 读取的码位置、码尺寸、箱尺寸等，估计以第二拍摄部13a为基准的部件箱 30的相对坐标。由此，能够估计部件箱30相对于第二拍摄部13a以何种状态配置。

当如上述那样估计以第二拍摄部13a为基准的部件箱30的相对坐标，从而图23的步骤S201的部件箱相对坐标估计处理结束时，通过步骤S203所示的摄像机相对坐标估计处理，进行用于估计以拍摄部13为基准的第二拍摄部 13a的相对坐标的处理。在该步骤S203的处理的子例程中，如图25所示，首先，变成可由拍摄部13拍摄摄像机码Cb的状态(图25的S231)，进行用于读取拍摄的摄像机码Cb的解码处理(S233)。

然后，当成功读取摄像机码Cb时(在S235中为是)，进行步骤S237所示的读取角度计算处理，通过与上述图24的步骤S217的读取角度计算处理同样的计算方法，作为读取角度计算相对于拍摄部13的摄像机码Cb的角度。当图25的步骤S237的处理结束时，进行步骤S239所示的读取距离计算处理，通过与上述图24的步骤S219的读取距离计算处理同样的计算方法，根据拍摄部13的拍摄图像所占据的摄像机码Cb的像素数，作为读取距离计算从拍摄部13到摄像机码Cb的距离。

如上述那样，当计算读取角度以及读取距离时，进行图25的步骤S241 所示的相对坐标估计处理，通过与上述图24的步骤S221的相对坐标估计处理同样的计算方法，计算以拍摄部13为基准的摄像机码Cb的相对坐标时，根据计算出的摄像机码Cb的相对坐标与从摄像机码Cb读取的读取结果，估计以拍摄部13为基准的第二拍摄部13a的相对坐标。由此，能够估计第二拍摄部13a相对于拍摄部13以哪种状态配置。此外，在第二拍摄部13a相对于拍摄部13配置在既定的位置的情况下，能确定以拍摄部13为基准的第二拍摄部13a的相对坐标，因此也可以不进行上述摄像机相对坐标估计处理。

当如上述那样通过估计以拍摄部13为基准的第二拍摄部13a的相对坐标，图23的步骤S203的摄像机相对坐标估计处理结束时，进行步骤S205所示的部件箱位置计算处理。在该步骤S205的处理中，根据如上述那样估计的以第二拍摄部13a为基准的部件箱30的相对坐标与以拍摄部13为基准的第二拍摄部13a的相对坐标，计算以拍摄部13为基准的部件箱30的位置(相对坐标)。

由此，能够在拍摄部13的拍摄图像中估计部件箱30所占据的区域，因此在步骤S207所示的设定处理中，作为监视区域设定如上述那样作为部件箱 30估计的拍摄图像的区域，本监视区域设定处理结束。此外，在由第二拍摄部13a以可解码的方式拍摄多个部件箱码Ca的情况下，能够按照部件箱码 Ca单位以上述的处理顺序分别设定监视区域。特别是，由于在部件箱码Ca 中还存储有部件20的信息，因此还能够确定与监视区域相对应的部件20的类别等。

此外，在本实施方式中，部件箱码Ca相对于部件箱30的作为第二拍摄部13a侧的侧面，如图28A所示，以在一侧的边缘附近为尽量较大尺寸的方式附加，但是不局限于此，只要是与存储的码位置一致的位置，也可以附加在其他的部位。例如，如图28B所示，部件箱码Ca也可以附加在部件箱30 的作为第二拍摄部13a侧的侧面的中央，还可以如图28C所示，在一侧的边缘附近以比较小的尺寸附加。

另外，假设无法确定部件箱码Ca附加在部件箱30的位置的情况，也可以从第二拍摄部13a的拍摄图像计算部件箱码Ca与附加该部件箱码Ca的部件箱30的面的相对坐标，使用该计算结果与箱尺寸以及码尺寸，估计以第二拍摄部13a为基准的部件箱30的相对坐标。在这种情况下，在部件箱码Ca 中不会存储码位置。

例如，如图29A所示，部件箱码Ca附加在部件箱30上，因此如图29B 所示，在拍摄了部件箱码Ca以及部件箱30的情况下，使用边缘搜索等的图像处理，检测在部件箱30的面的哪个位置以哪种倾斜状态附加了部件箱码 Ca，能够计算上述相对坐标。例如，如图29B的粗线部分示出那样，能够通过对部件箱30的上部边缘的长度(已知)以及角度与部件箱码Ca的一边的长度(已知)以及其一边的角度进行比较，来检测在部件箱30的面的哪个位置以何种倾斜状态附加部件箱码Ca。

另外，第二拍摄部13a不局限于配置在从作业人员M观察可从前侧拍摄配置在搁架2上的各部件箱30各自的部件箱码Ca的位置，例如，也可以配置在从作业人员M观察可从后侧拍摄的位置。

另外，例如，作为本实施方式的第一变形例，如图30所示，第二拍摄部 13a以将在各自的底面附加部件箱码Ca的各部件箱30载置于透明的搁架2 上作为前提，也可以配置在可通过搁架2的透明部分从下侧拍摄部件箱码Ca 的位置。在这种情况下，例如，在第二拍摄部13a的拍摄范围内包围搁架2 的透明部分的规定的位置附加信息码Cc，能够通过将与附加该信息码Cc的搁架2的位置相关的信息等存储在该信息码Cc，来从第二拍摄部13a的拍摄图像估计以第二拍摄部13a为基准的搁架2的相对坐标。因此，能够通过使用其他的信息码等估计以拍摄部13为基准的搁架2的相对坐标，来估计以拍摄部13为基准的第二拍摄部13a的相对坐标。由此，根据以第二拍摄部13a 为基准的部件箱30的相对坐标与以拍摄部13为基准的第二拍摄部13a的相对坐标，计算以拍摄部13为基准的部件箱30的位置，由此将拍摄部13的拍摄图像中部件箱30所占据的区域设定为监视区域。

特别是，由于在部件箱30的底面附加部件箱码Ca，因此与在部件箱30 的侧面等附加部件箱码Ca的情况相比，能够使部件箱码Ca变大，因此能够提高基于部件箱码Ca的读取的坐标估计精度。另外，由第二拍摄部13a同时拍摄部件箱码Ca与信息码Cc，因此也能够高精度地计算部件箱码Ca与信息码Cc的位置关系。另外，由于能够将第二拍摄部13a配置在搁架2的下侧，因此在设置第二拍摄部13a的情况下也能够实现作业分析装置10的省空间化。另外，也能够相对于如托盘那样在侧面和上表面不存在附加信息码的空间的部件箱，附加部件箱码Ca。另外，在由第二拍摄部13a从作业人员M的前侧和后侧拍摄的结构中，能够在部件箱30配置成一列的情况下拍摄各自的部件箱码Ca，但是通过由第二拍摄部13a从下侧拍摄，在部件箱30以两列以上配置的情况下也能够拍摄各自的部件箱码Ca，能够提高便利性。另外，搁架2的透明部分不局限于形成为矩形状，例如，如图31所示的本实施方式的第二变形例那样，也可以形成为圆形状。另外，如图31所示，也可以取代信息码Cc采用附加在确定的位置的标记Cm等。此外，在第二拍摄部13a相对于搁架2配置在既定的位置的情况下，能确定以第二拍摄部13a为基准的搁架2的相对坐标，因此也可以不用信息码Cc。

另外，部件箱码Ca不局限于附加在部件箱30的侧面和底面，例如，如图32A所示，在部件箱30的周壁厚的情况下也可以附加在周壁的上端的四角等。另外，附加在周壁的上端的部件箱码Ca考虑到读取性，也可以构成为一维码。另外，例如，如图32B所示，部件箱码Ca也可以相对于具有上盖部 32的部件箱30，附加在上盖部32。

此外，使用分别附加在各部件箱30的部件箱码Ca等分别设定与部件箱 30相对应的监视区域的本实施方式的特征的结构也能够适用于其他的实施方式等。

【第九实施方式】

接下来，参照附图，对第九实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第九实施方式中，与第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，在开始上述作业分析处理之前，为了设定各监视区域，由控制部11实施监视区域设定处理。在该监视区域设定处理中，通过检测将部件箱30载置于搁架2时的部件箱30的移动，来设定与该部件箱30相对应的监视区域。具体而言，如图33所示，使部件箱30靠近拍摄部13之后，逐渐地远离拍摄部13并载置于搁架2，由此在拍摄部13的拍摄图像内距离逐渐变化的范围被设定为与部件箱30相对应的监视区域。

因此，在本实施方式中，作为拍摄部13采用能够测定至拍摄对象的距离的TOF摄像机。由此，例如，当作为拍摄部13采用越靠近拍摄对象拍摄得越白且越远离拍摄对象拍摄得越黑的TOF摄像机时，在相对于拍摄部13比较近的位置拍摄部件箱30的情况下，如图34A所示的距离图像那样，部件箱30 被拍摄成白色系列的颜色。然后，通过使该部件箱30远离拍摄部13，如图 34B所示的距离图像那样，部件箱30以接近相当于搁架2的颜色的方式变化成黑色系列被拍摄。此外，也可以除了拍摄部13外另准备TOF摄像机，使用该TOF摄像机的拍摄结果设定与部件箱30相对应的监视区域。

以下，参照附图，对于在本实施方式中由控制部11进行的监视区域设定处理进行具体的说明。

在开始作业分析处理之前，当根据规定的操作由控制部11开始监视区域设定处理时，进行图35的步骤S301所示的拍摄处理，成为可拍摄载置于搁架2时的部件箱30的状态。接下来，进行步骤S303所示的距离监视处理，在载置部件箱30的预定的搁架2的部分的拍摄范围中，距离拍摄部13的距离与拍摄图像相应地变成可测定的状态。

接下来，在步骤S305的判断处理中，判断在拍摄部13的拍摄范围中是否存在因物体移动而产生距离差分的区域(以下，称为距离差分区域)。在此，部件箱30未靠近搁架2，在拍摄部13的拍摄范围中没有移动的情况下，在步骤S305中重复否的判断。

然后，当作业人员M使部件箱30靠近拍摄部13时进入拍摄部13的拍摄范围，从而产生距离差分区域时，在步骤S305中判断为是，在步骤S307的判断处理中，判断距离差分区域是否起因于向远方的移动。在此，通过将作业人员M放入拍摄部13的拍摄范围的部件箱30配置在搁架2，在拍摄部13 与部件箱30的距离变远的情况下，距离差分区域变化为黑色系列并且变小，因此判断为起因于距离差分区域向远方的移动(在S307中为是)。

在这种情况下，进行步骤S309所示的跟踪区域监视处理，上述距离差分区域设定为作为与部件箱30相当的区域要跟踪移动的跟踪区域，监视该跟踪区域的变化。接下来，在步骤S311的判断处理中，判断如上述那样设定的跟踪区域的变化是否消失。在此，在作业人员M将部件箱30载置于搁架2的中途，且部件箱30正远离拍摄部13的状态下，持续发生跟踪区域的变化，因此在步骤S311中重复否的判断。

而且，当由作业人员M将部件箱30载置于搁架2后，相对于拍摄部13 的部件箱30的距离不变，跟踪区域的变化消失，因此在步骤S311中判断为是。在该步骤S311中判断为是的情况下，通过步骤S313所示的设定，变化消失的跟踪区域设定为上述监视区域，本监视区域设定处理结束。此外，在使用多个部件箱30进行作业的情况下，每将一个部件箱30载置于搁架2就实施上述监视区域设定处理，从而设定与各自的部件箱30相对应的监视区域。

这样，在本实施方式中，能够通过作业人员M将部件箱30从上方载置于搁架2的一般的动作来设定监视区域，因此无需准备监视区域设定用的装置等，也不需要事先的设定作业和复杂的终端操作等，由此能够减轻用于设定监视区域所需的作业人员M的动作。而且，能够在将部件箱30载置于搁架2 的时机设定监视区域。特别是，作业人员M无需指定监视区域，因此能够抑制监视区域的设定偏差。另外，在上述监视区域设定处理中，即使部件箱30 的不同物体在拍摄部13的拍摄区域内，只要该物体移动至远方之后不停止，就不会被设定为监视区域，因此能够提高监视区域的设定精度。另外，即便是在部件箱30发生图像的变化和形状的变化的情况下，在跟踪区域设定之后该跟踪区域也不变化，从而设定上述监视区域，因此能够对于各种类别的部件箱30设定监视区域。

此外，作为拍摄部13不局限于采用TOF摄像机，也可以采用一般的RGB 摄像机等，通过检测部件箱30远离该拍摄图像的状态，来设定上述跟踪区域。在该结构中，能够利用越远离拍摄部13拍摄图像所占据的部件箱30的区域越变小这一点，虚拟地(擬似的)识别部件箱30远离拍摄部13。

另外，上述监视区域处理不局限于根据作业人员M的规定的操作而开始，例如，也可以由拍摄部13拍摄规定的信息码，或者作业人员M在拍摄部13 的拍摄范围内进行规定的姿势来开始。

此外，通过检测将部件箱30载置于搁架2时的部件箱30的移动，来设定与该部件箱30相对应的监视区域的本实施方式的特征的结构还能够适用于其他的实施方式等。

【第十实施方式】

接下来，参照附图，对第十实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第十实施方式中，与第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

作为部件箱30中的各部件20的收容状态，考虑各部件20整齐地被整顿排列的情况和各部件20杂乱地被放置的情况等、各种收容状态，但是基本上是相同种类的部件20被统一放入。也就是说，认为相似的集合体分别收容在部件箱30中。

因此，在本实施方式中，将拍摄了部件箱30的拍摄图像分割成块，计算各自的块的特征量，判断为在具有相似的特征量的块所聚集的部分存在部件 20。在此，作为上述特征量，例如，能够采用颜色的直方图和称为HoG(Histgram Of Gradient；梯度直方图)的边缘特征量、频率等各种特征量。

例如，如图36A所示，在两个的部件箱30e、30f配置在搁架2上的情况下，如图36B所示，将拍摄这些部件箱30e、30f的拍摄图像分割成各块，按照块单位提取规定的特征量。在本实施方式中，提取基于频率的特征量，例如，在图36B的块B1～B4中，提取如图37所示的频率特征量。

当提取各块的特征量时，彼此分组成具有相似的特征量的块。作为该分组方法，例如，能够采用将k-means(k均值)和x-means(x均值)之类的类似参数彼此聚类进行分割的方法等。

而且，在分组中，如果存在如部件箱30那样聚集在矩形区域的组，就能够将由该分组的块构成的范围设定为与部件箱30相对应的监视区域。

此外，使用按照块单位提取的特征量分别设定与部件箱30相对应的监视区域的本实施方式的特征的结构还能够适用于其他的实施方式等。

【第十一实施方式】

接下来，参照附图，对第十一实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第十一实施方式中，主要与第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

通常，部件箱30为上方开口成矩形状的箱形状，作为该箱形状的特征，周壁的上端为相同高度。因此，在本实施方式中，作为拍摄部13采用TOF 摄像机，对于配置部件箱30的预定的区域测定距离。然后，提取位于相同高度的区域，根据其形状设定与部件箱30相对应的监视区域。即，当位于相同高度的区域作为四边环状被提取时，以使该四边环状的区域为周壁的方式检测部件箱30，以包含该区域的方式设定监视区域。此外，在本实施方式中，载置各部件箱30的搁架2的载置面相对于拍摄部13水平设置。

具体而言，例如，如图38A所示，在两个部件箱30e、30f配置在搁架2 上的情况下，在距离图像中，如图38B所示，部件箱30的周壁的上端作为相同高度的四边环状区域被提取。

这样，能够根据在距离图像中、位于相同高度的区域设定与部件箱30相对应的监视区域，因此无需准备监视区域设定用的装置等，也不需要事先的设定作业和复杂的终端操作等。因此，能够减轻用于设定监视区域所需的作业人员M的动作。

此外，也可以除了拍摄部13外另准备TOF摄像机，使用该摄像机提取位于相同高度的区域。另外，在载置各部件箱30的搁架2的载置面相对于拍摄部13倾斜的情况下，也可以事先计测该倾斜角度并考虑该倾斜角度修正在距离图像中的高度。另外，根据在距离图像中的、位于相同高度的区域设定与部件箱30相对应的监视区域的本实施方式的特征的结构也能够适用于其他的实施方式等。

【第十二实施方式】

接下来，参照附图，对第十二实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第十二实施方式中，与第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，通过使各部件箱30所具有的颜色具有特征，从而作为监视区域，从拍摄图像容易提取各部件箱30所占据的区域。作为各部件箱30 的颜色，分别为单独的，能够采用容易与搁架2等的周围的颜色和作业人员 M的手的颜色等区别的颜色。

例如，使部件箱30e为第一颜色(例如，绿色)、使部件箱30f为第二颜色(例如，蓝色)，如图39A所示，使用拍摄部件箱30e、30f的拍摄图像，设定部件箱30f的监视区域的情况下，如图39B所示，从拍摄图像提取第二颜色的区域。之后，对于提取第二颜色的区域的图像，进行也包括噪声去除等在内的膨胀/收缩等的滤波处理，如图39C所示，提取四边环状的区域。由此，能够将包含所提取的四边环状的区域的区域设定为上述监视区域。此外，在图39A～图39C中，仅对第二颜色附加阴影线色进行了图示。

特别是，能够通过按照部件箱30单位区别颜色，来容易地把握与被提取的监视区域相对应的部件箱30的类别。这样，还能够通过将颜色与部件箱30 的类别相关联起来，检测按照哪个顺序放置了哪个部件箱30，在存在与部件 20相似的颜色的情况下，也能够通过与要放置的部件箱30的顺序等进行比较，来进行排除。另外，根据配置作业分析装置10的環境还考虑受到外部照明等的影响，因此也能够通过在对于明度变化鲁棒的HSV等的颜色空间中进行观察，来抑制错误识别。

【第十三实施方式】

接下来，参照附图，对第十三实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本第十三实施方式中，与第一实施方式不同之处在于，用于设定上述监视区域的处理。因此，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，在开始上述作业分析处理之前，为了设定各监视区域，由控制部11实施监视区域设定处理。在该监视区域设定处理中，将在由拍摄部13拍摄的拍摄图像中拍摄有可设想为部件20的部件的区域设定为部件区域Pn，根据该部件区域Pn设定部件箱30的区域、即监视区域。

具体而言，预先准备拍摄作为对象的部件20的一个部件图像或者改变角度拍摄的两个以上的部件图像(模板；template)，如图40所示例，在从拍摄部13的拍摄图像提取到有可能载置部件箱30的范围的提取图像中，搜索相对于上述部件图像相似度变高的范围(模板匹配)。在本实施方式中，通过使根据被拍摄的部件20的尺寸等设定的检测用的窗口Sw在上述提取图像中滑动，搜索相似度变高的范围。

以下，参照附图，对本实施方式中由控制部11进行的监视区域设定处理具体地说明。

在开始作业分析处理之前，当以部件箱30载置于搁架2的状态根据规定的操作由控制部11开始监视区域设定处理时，进行图41的步骤S401所示的初始设定处理，确定要设定监视区域的部件箱30的类别等并且取得收容在该部件箱30中的部件20的上述部件图像。此外，部件图像例如既可以从预先存储的存储部12取得，也可以每当进行监视区域设定处理时从外部取得。

然后，在未设定全部的监视区域的情况下(在S403中为否)，在变成可由拍摄部13拍摄的状态之后(S405)，进行步骤S407所示的部件区域设定处理。在该步骤S407的处理的子例程中，首先，进行图42的步骤S501所示的相似范围搜索处理。在该步骤S501的处理中，如上述那样，使检测用的窗口 Sw在上述提取图像中以规定间隔(例如，一个或者数个像素单位)滑动，进行用于搜索相似度变高的范围的处理(参照图40)。

然后，当用于在全部的上述提取图像中搜索相似度变高的范围的处理结束时，在步骤S503的判断处理中，判断是否搜索出相似度大于等于确定阈值的范围。在本实施方式中，例如，确定阈值被设定为0.8，在搜索结果中相似度大于等于确定阈值的范围至少被搜索出一个的情况下，在步骤S503中判断为是。另外，在搜索结果中未搜索出相似度大于等于确定阈值以上的范围的情况下(在S503中为否)，在相似度大于等于部分阈值(例如，0.2)的范围被搜索出规定个数(例如，10个)的情况下，在步骤S505的判断处理中判断为是。

如上述那样，当在步骤S503中判断为是，或者在步骤S505中判断为是时，进行步骤S507所示的设定处理，根据被搜索的范围设定部件区域Pn。具体而言，如图43所示，包含相似度大于等于上述部分阈值的全部的范围的矩形状的区域被设定为上述部件区域Pn，部件区域设定处理的子例程结束。此外，在图43中，由矩形状的虚线图示出相似度大于等于上述部分阈值的范围的一部分。

另一方面，在搜索结果中，未搜索出相似度大于等于上述确定阈值的范围(在图42的S503中为否)，且类似度大于等于上述部分阈值的范围未被搜索出规定个数的情况下(在S505中为否)，不会设定部件区域Pn，部件区域设定处理的子例程结束。

当如上述那样部件区域设定处理的子例程、即图42所示的处理结束时，在图41的步骤S409的判断处理中，判断是否设定有部件区域Pn。在此，在未设定部件区域Pn的情况下，在步骤S409中判断为否，进行步骤S411所示的通知处理。在步骤S411的处理中，使用基于显示部14的显示等通知无法从拍摄图像发现搜索对象的部件20这一点，本监视区域设定处理结束。

另一方面，在设定有部件区域Pn的情况下(在S409中为是)，进行步骤 S413所示的直线搜索处理。在该步骤S413的处理中，进行用于在提取图像中从部件区域Pn的边缘的一点朝向外侧搜索直线的处理。在本实施方式中，如图43所示，进行用于从部件区域Pn中最小的X坐标以及Y坐标朝向X方向的负侧搜索直线的处理(参照图43的附图标记L1)。在相当于部件箱30的区域内设定部件区域Pn，因此也就是通过上述直线搜索处理，搜索与部件箱30的周壁的内表面相当的直线。此外，不局限于从部件区域Pn中最小的X坐标以及Y坐标朝向X方向的负侧搜索直线，也可以从部件区域Pn的边缘的任意的点朝向外侧搜索直线。

当如上述那样搜索出直线时，进行步骤S415的交点搜索处理，在提取图像中，进行用于搜索在被搜索出的上述直线的前端与其他的直线相交的交点的处理。当在直线上以顺时针或者逆时针进行搜索而搜索出交点时，首先，被搜索出的交点的数k被初始化成0(S417)，如果该交点为部件区域Pn外(在 S419中为是)，被搜索出的交点的数k递增(S421)。如上述那样交点的数k 被设定为0之后即刻，交点的数k被设定为1。

然后，在交点的数k不为4的情况下(在S423中为否)，进行用于搜索作为与上述交点相连的其他的直线的前端的下一个交点的处理(S425)。然后，被搜索出的交点为部件区域Pn外(在S419中为是)，递增的交点的数k不为 4的情况下(在S423中为否)，再次，进行上述步骤S425以后的处理。此外，被搜索的交点为部件区域Pn内时(在S419中为否)，认为是搜索出了错误的交点，对于上述直线继续进行用于搜索交点的处理(S427)。

然后，搜索下一个交点(S425)，当递增的交点的数k为4时(在S423 中为是)，进行步骤S429所示的设定处理。在该步骤S429的处理中，以被搜索出的四个交点为四角的矩形状的区域相当于被部件箱30的周壁包围的矩形状的区域，因此进行用于将该矩形状的区域作为上述监视区域设定的处理。在步骤S429的处理结束之后，为了设定下一个部件箱30的监视区域，进行步骤S403以后的处理。然后，当设定全部的部件箱30的监视区域时，在步骤S403的判断处理中判断为是，本监视区域设定处理结束。

这样，在本实施方式中的监视区域设定处理中，将拍摄了可以设想为部件20的区域设定为部件区域Pn，根据该部件区域Pn设定部件箱30的区域、即、监视区域。由此，无需准备监视区域设定用的装置等，也不需要事先的设定作业和复杂的终端操作等，就能够减轻用于设定监视区域所需的作业人员M的动作。

此外，部件区域Pn不局限于使用相对于部件图像的相似度来设定，也可以使用其他的方法来设定。例如，作为本实施方式的第一变形例，也可以根据使用边缘检测算法(例如，Canny法)的检测结果设定部件区域Pn。

具体而言，相对于上述提取图像的灰度在X坐标方向上线扫描亮度值(参照图44)，保存一定区间内(例如10像素内)的振幅数连续被检测出规定的阈值(例如四次)以上的区间的、起点与终点的Y坐标。另外，同样地，在Y 坐标方向上线扫描亮度值(参照图44)，保存被检测的区间的起点与终点的X 坐标。此外，图45概念性地示例出关于规定的Y坐标在X坐标方向上对亮度值进行线扫描的检测结果。然后，通过将在保存的X坐标以及Y坐标中最靠近原点的坐标作为构成部件区域Pn的外部边缘的四个直线中的两个所经过的点，将距离原点最远的坐标作为剩余的两个直线经过的点，来设定部件区域Pn。在根据这样设定的部件区域Pn设定监视区域的情况下也发挥上述效果。

另外，作为本实施方式的第二变形例，也可以根据使用拐角检测算法(例如，哈里斯拐角检测；Harris Corner Detection)的检测结果设定部件区域Pn。

具体而言，在上述提取图像中，分别检测各物体的拐角，求出在被检测的拐角中由交叉的两个直线构成的较小的角(小于180度)的角度与这些拐角的坐标(参照图46的阴影区域)，计算概略的每个拐角角度的直方图(参照图47)。然后，部件区域Pn被设定成，与直方图的出现频率为靠前的规定数量个(依赖于部件的形状，例如，如果是三角形，则为靠前的三个)的角度中、由最靠近原点的X坐标以及Y坐标与距离原点最远的X坐标以及Y坐标所包围的区域一致。根据这样设定的部件区域Pn设定监视区域的情况下也发挥上述效果。

此外，设定部件区域Pn，并根据该部件区域Pn设定监视区域的本实施方式等的特征的结构也能够适用于其他的实施方式等。

此外，本发明不局限于上述各第一～第十三实施方式以及其变形例等，例如，也可以如以下那样具体化。

(1)作为分析对象的规定的作业，不局限于采用由四个单位作业A～D 构成的组装作业，例如，也可以采用由一个～三个单位作业构成的组装作业，还可以采用由五个以上的单位作业构成的组装作业。

(2)上述的分割动作(规定的动作)不局限于设定为从部件箱30取出部件20的动作(第一实施方式)、或使部件20移动至工件W的组装预定位置的动作(第二实施方式)，也可以设定为在该单位作业中所需的其他的作业动作，还可以设定为与单位作业无关的、容易识别图像的动作。

(3)不局限于用于对印刷电路板等的工件W按照规定的作业步骤组装部件时的作业分析，例如，也可以用于在多品种少量生产品的组装生产线中对半成品按照规定的作业步骤组装部件时的作业分析。

(4)也可以通过与在作业分析处理中判断为异常作业的单位作业相关的信息和将分割信息等显示在显示部14等，来设置根据需要手动修正分割信息等的机会。

【第十四实施方式】

接下来，参照附图，对第十四实施方式所涉及的作业分析装置以及作业分析程序进行说明。

在本实施方式中，构成为根据按照监视区域单位设定的可靠度判断是否正在进行单位作业。此外，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

本实施方式所涉及的作业分析装置10与第一实施方式同样地，设置于图 1所示例的、作业台1等，并且构成为这样的装置：重复拍摄由作业人员M 按照规定的顺序进行多个单位作业的规定的作业并生成作业分析用的作业视频。

在本实施方式中，如图48所示，在各部件箱30a～30d的上部边缘的四角按照端子箱单位不同地附加有用于从拍摄图像识别部件箱对部件的收容范围的标记31a～31d。因此，在拍摄图像中，将以各标记31a为四角的范围设定为将在后面进行说明的监视区域P11a，将以各标记31b为四角的范围设定为将在后面进行说明的监视区域P11b，将以各标记31c为四角的范围设定为将在后面进行说明的监视区域P11c，将以各标记31d为四角的范围设定为将在后面进行说明的监视区域P11d。此外，在本实施方式中，标记31a形成为黑圆状，标记31b形成为黑色星状，标记31c形成为黑色菱形状，标记31d 形成为星号(asterisk)形状，但是不局限于此，只要是可以从拍摄图像识别部件箱的四角的形状即可。另外，在图48中，放大示出了由将在后面进行说明的拍摄部13拍摄的图像中部件箱30a～30d的附近。

接下来，在本实施方式中，在由作业人员M按照规定的作业步骤，进行将收容在多个部件箱的部件依次组装到工件W的规定的作业时，对根据由控制部11执行的作业分析程序进行的作业分析处理进行说明。

在本实施方式中，作为分析对象的规定的作业，采用通过对图49A的状态的工件W依次组装4种部件20a～20d使其成为图49B的状态的工件W的单位作业E～H。单位作业E是从部件箱30a取出部件20a，并将该取出的部件20a组装到工件W的组装预定位置Wa的作业。单位作业F是从部件箱30b 取出部件20b，并将该取出的部件20b组装到工件W的组装预定位置Wb的作业。单位作业G是从部件箱30c取出部件20c，并将该取出的部件20c组装到工件W的组装预定位置Wc的作业。单位作业H是从部件箱30d取出部件 20d，并将该取出的部件20d组装到工件W的组装预定位置Wd的作业。在本实施方式中，以按照单位作业E、单位作业F、单位作业G、单位作业H的顺序依次进行作业的方式确定规定的作业步骤。

因此，如图48以及图49所示，作为用于检测单位作业E的开始动作(从部件箱30a取出部件20a的动作)的第一监视区域，拍摄部13的拍摄范围中以各标记31a为四角的范围(相当于部件箱30a的范围)被设定为监视区域 P11a。另外，作为用于检测单位作业E的完成动作(将部件20a组装到工件 W的组装预定位置Wa的动作)的第二监视区域，拍摄部13的拍摄范围中以组装预定位置Wa为中心的范围被设定为监视区域P21a。作为用于检测单位作业F的开始动作(从部件箱30b取出部件20b的动作)的第一监视区域，拍摄部13的拍摄范围中以各标记31b为四角的范围(相当于部件箱30b的范围)被设定为监视区域P11b。作为用于检测单位作业F的完成动作(将部件 20b组装到工件W的组装预定位置Wb的动作)的第二监视区域，拍摄部13 的拍摄范围中以组装预定位置Wb为中心的范围被设定为监视区域P21b。另外，作为用于检测单位作业G的开始动作(从部件箱30c取出部件20c的动作)的第一监视区域，拍摄部13的拍摄范围中以各标记31c为四角的范围(相当于部件箱30c的范围)被设定为监视区域P11c。另外，作为用于检测单位作业G的完成动作(将部件20c组装到工件W的组装预定位置Wc的动作) 的第二监视区域，拍摄部13的拍摄范围中以组装预定位置Wc为中心的范围被设定为监视区域P21c。另外，作为用于检测单位作业H的开始动作(从部件箱30d取出部件20d的动作)的第一监视区域，拍摄部13的拍摄范围中以各标记31d为四角的范围(相当于部件箱30d的范围)被设定为监视区域P11d。作为用于检测单位作业H的完成动作(将部件20d组装到工件W的组装预定位置Wd的动作)的第二监视区域，拍摄部13的拍摄范围中以组装预定位置 Wd为中心的范围被设定为监视区域P21d。此外，上述各开始动作可以相当于“第一动作”的一例，上述各完成动作可以相当于“第二动作”的一例。

通过如上述那样设定各监视区域P11a～P11d、P21a～P21d，在作业分析处理中，在作为第一监视区域设定的监视区域P11a～P11d中，根据作业人员 M的手进入时的前后的拍摄图像的比较结果，设定判断为进行了从该监视区域(部件箱)取出部件的动作的可能性越高变得越高的可靠度(以下，还称为第一可靠度)。另外，在作为第二监视区域设定的监视区域P21a～P21d中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，设定判断为进行了将部件组装到该监视区域(工件W的组装预定位置)的动作的可能性越高变得越高的可靠度(以下，还称为第二可靠度)。

然后，根据分别对如上述那样设定的两个可靠度进行数值化并加和的加和值判断是否进行了相对应的单位作业，当做出肯定判断时，设定用于分割作业视频的分割信息，使得拍摄用于在第一监视区域设定可靠度的拍摄图像的时机为作业开始时机，拍摄用于在第二监视区域设定可靠度的拍摄图像的时机为作业完成时机。

此外，各监视区域P11a～P11d不局限于通过使用如上述那样附加在各部件箱30a～30d的上部边缘的四角的标记31a～31d，每当实施作业分析处理时进行设定，也可以根据通过连续拍摄分别使各部件箱30a～30d摆动等的状态来产生的图像差分进行设定。另外，各监视区域P11a～P11d以规定的形状的各部件箱30a～30d被配置在规定的位置为前提，无需图像解析等，也可以设定为规定范围。

以下，参照图50～图52所示的流程图，对由控制部11进行的作业分析处理具体地详细说明。

当通过对操作部17进行规定的开始操作，由控制部11开始作业分析处理时，进行图50的步骤S601所示的作业信息读入处理，从存储部12读入与被指定的规定的作业相关的作业信息(与在作业中使用的部件的种类和个数 (既定数量)和工件W的种类以及监视区域相关的信息等)。在该作业信息中包含关于是否能够根据从部件箱取出对象的部件时的拍摄部13中的图像差分对该部件的取出个数进行计数的信息。即，给由于是大的部件等而能够根据图像差分对取出个数进行计数的部件，赋予可计数信息，给由于是小的部件等而无法根据图像差分对取出个数进行计数的部件，赋予不可计数信息。另外，在本实施方式中，上述作业信息通过读取附加在记载了与该制造批次相关的作业步骤等的作业指示书等的信息码和无线标签，每当此时存储在存储部12。此外，上述作业信息例如既可以根据操作部17的输入操作等存储在存储部12，也可以预先通过通信部18从上级机器等接收而存储在存储部12。

当如上述那样读入作业信息时，进行步骤S603的监视区域设定处理。在该步骤S603的处理中，在由拍摄部13进行将作业人员M的作业拍摄为作业视频的拍摄处理的状态下的拍摄图像中，对于一个单位作业，进行用于设定第一监视区域以及第二监视区域的处理。首先，对于作为第一个单位作业的单位作业E，从拍摄部13的拍摄图像确定的以各标记31a为四角的范围被设定为监视区域(第一监视区域)P11a，拍摄部13的拍摄范围中以组装预定位置Wa为中心的范围被设定为监视区域(第二监视区域)P21a。此外，进行步骤S603的监视区域设定处理的控制部11可以相当于“监视区域设定部”的一例。

当如上述那样设定第一监视区域以及第二监视区域时，进行步骤S605所示的第一可靠度设定处理。在该步骤S605的处理中，在监视区域P11a中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，进行设定第一可靠度的处理。

具体而言，首先，在图51的步骤S701所示的判断处理中，使用由拍摄部13拍摄的视频判断作业人员M的手是否进入监视区域P11a达规定时间，在监视区域P11a中重复否的判断直至产生图像差分。而且，当根据图像差分判断为作业人员M的手进入监视区域P11a达规定时间时(在S701中为是)，在步骤S703的判断处理中，对能否对取出部件进行计数进行判断。即，在本实施方式中，对于与第一监视区域相关的第一可靠度，根据能否对部件进行计数而改变设定方式。在此，在如上述那样读入的作业信息中，关于从监视区域P11a取出的部件赋予有可计数信息的情况下，视作可计数部件，在步骤 S703中判断为是。

接下来，在步骤S705的判断处理中，判断规定数量的部件个数是否减少。在此，根据作为手刚好进入监视区域P11a之前的拍摄图像与手刚离开监视区域P11a之后的拍摄图像的比较结果的图像差分，在被计数的部件个数减少可根据上述作业信息把握的规定数量的情况下，视作从监视区域P11a取出规定数量的部件20a的可能性高，在步骤S705中判断为是。在这种情况下，第一可靠度设定成可设定的可靠度中最高的“High”(S707)。

另外，根据手刚好进入监视区域P11a之前的拍摄图像与手刚离开监视区域P11a之后的拍摄图像的图像差分，在被计数的部件个数没有减少上述规定数量的情况下，例如，在被计数的部件个数未变化的情况下，视作从监视区域P11a取出规定数量的部件20a的可能性低，在步骤S705中判断为否。在这种情况下，第一可靠度被设定成在可设定的可靠度中最低的“Lo”(S709)。

另一方面，在如上述那样读入的作业信息中，关于从监视区域P11a取出的部件附加有不可计数信息的情况下，在步骤S703中判断为否。在这种情况下，第一可靠度被设定成在可设定的可靠度中比“High”低、且比“Lo”高的“Mid”(S711)。

如上述那样，当第一可靠度被设定为“High”、“Mid”、“Lo”的任一个时，将拍摄了用于上述图像差分的拍摄图像中刚好放入手之前的拍摄图像的时机 (时刻)作为作业开始时机，使用存储部12的数据库与该作业开始时机一并注册第一可靠度(S713)，本第一可靠度设定处理结束。此外，也可以根据作业内容等，将拍摄了用于上述图像差分的拍摄图像中手刚离开之后的拍摄图像的时机(时刻)作为作业开始时机。

接下来，在进行图50的步骤S607所示的第二可靠度设定处理的步骤S607 的处理中，在监视区域P21a中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，进行用于设定上述第二可靠度的处理。

具体而言，首先，在图52的步骤S801所示的判断处理中，使用由拍摄部13拍摄的视频判断作业人员M的手是否进入监视区域P21a达规定时间，在监视区域P21a中重复否的判断直至产生图像差分。然后，当根据图像差分判断为作业人员M的手进入监视区域P21a达规定时间时(在S801中为是)，在步骤S803的判断处理中，判断部件20a组装到工件W的组装预定位置Wa 的可能性是否高。

在此，根据手刚进入监视区域P21a之前的拍摄图像与手刚离开监视区域 P21a之后的拍摄图像的比较结果(图像差分)，因图像差分与组装到组装预定位置Wa的部件20a的图像大致一致而判断为在工件W的组装预定位置Wa 组装有部件20a的可能性高时，在步骤S803中判断为是。当在该步骤S803 中判断为是时，第二可靠度被设定为在可设定的可靠度中最高的“High” (S807)。

另外，根据在手刚进入监视区域P21a之前的拍摄图像与手刚离开监视区域P21a之后的拍摄图像的比较结果(图像差分)，因图像差分与组装到组装预定位置Wa的部件20a的图像明显地不一致而判断为部件20a组装到工件W 的组装预定位置Wa的可能性低时，在步骤S803中判断为否，在步骤S805 中判断为是。当在该步骤S803判断为否、且在步骤S805判断为是时，第二可靠度被设定为在可设定的可靠度中最低的“Lo”(S809)。

另一方面，有时根据手刚进入监视区域P21a之前的拍摄图像与手刚离开监视区域P21a之后的拍摄图像的比较结果(图像差分)，无法判断部件20a 被组装到工件W的组装预定位置Wa的可能性是高还是低。例如为以偏离组装预定位置Wa的状态组装部件20a的情况、与部件20a相似的颜色/形状的其他的部件被组装到组装预定位置Wa的情况，由于部件20a小而存在无法明确地图像识别部件20a的情况等。在这种情况下，在步骤S803中判断为否，在步骤S805中判断为否，第二可靠度被设定为“Mid”(S811)。

如上述那样，当第二可靠度被设定为“High”、“Mid”、“Lo”的任一个时，将拍摄了用于上述图像差分的拍摄图像中手刚离开之后的拍摄图像的时机 (时刻)作为作业完成时机，使用存储部12的数据库与该作业完成时机一并注册第二可靠度(S813)，本第二可靠度设定处理结束。此外，也可以根据作业内容等，将拍摄用于上述图像差分的拍摄图像中刚放入手之前的拍摄图像的时机(时刻)作为作业完成时机。

此外，作为第二可靠度设定处理的变形例，例如，关于可计数的部件，针对图像差分是否与组装在组装预定位置的部件的图像大致一致的判断，在做出肯定判断时将第二可靠度设定为“High”，在做出否定判断时将第二可靠度设定为“Lo”，关于不可计数的部件，也可以将第二可靠度设定为“Mid”。此外，进行上述的步骤S605的第一可靠度设定处理以及步骤S607的第二可靠度设定处理的控制部11相当于“可靠度设定部”的一例。

当如上述那样设定第一可靠度以及第二可靠度时，进行步骤S609所示的综合可靠度设定处理。在该处理中，对数值化第一可靠度的可靠度分数与数值化第二可靠度的可靠度分数进行加和的加和值被设定为综合可靠度。具体而言，例如，如图53所示，将第一可靠度中的“High”、“Mid”、”Lo”数值化为“2”、“1”、“0”，并且将第二可靠度中的“High”、“Mid”、“Lo”以比第一可靠度增加权重的方式数值化为“3”、“2”、“0”，对各自的数值进行加和 (相加)从而设定(计算)综合可靠度。例如，当第一可靠度以及第二可靠度均被设定为“High”时，综合可靠度如图53所示被设定为“5”。

接下来，在图50所示的步骤S611的判断处理中，判断综合可靠度是否为规定值以上。在本实施方式中，上述规定值被设定为“2”(参照图53)，例如，因第一可靠度以及第二可靠度均为“High”而综合可靠度为规定值以上时(在S611中为是)，判断为进行了单位作业E，进行步骤S613所示的分割信息设定处理。在该步骤S613的处理中，对于作为监视对象的单位作业E，以使与第一可靠度关联的拍摄时机为作业开始时机、使与第二可靠度关联的拍摄时机为作业完成时机的方式设定用于分割作业视频的分割信息，并存储到存储部12。此外，进行步骤S611的判断处理的控制部11相当于“判断部”的一例，进行步骤S613的分割信息设定处理的控制部11相当于“分割信息设定部”的一例。

当这样设定分割信息时，在作业未结束的情况下(在S617中为否)，监视对象被设定为作为下一个单位作业的单位作业F(S619)，对于该单位作业 F，进行从步骤S603起的处理。在这种情况下，在步骤S603中，对于单位作业F，根据拍摄部13的拍摄图像确定的以各标记31b为四角的范围被设定为监视区域(第一监视区域)P11b，拍摄部13的拍摄范围中以组装预定位置 Wb为中心的范围被设定为监视区域(第二监视区域)P21b。然后，进行步骤S605所示的第一可靠度设定处理，在监视区域P11b中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，进行用于设定第一可靠度的处理。之后，进行步骤S607所示的第二可靠度设定处理，在监视区域P21b中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，进行用于设定上述第二可靠度的处理。然后，对数值化第一可靠度的可靠度分数与数值化第二可靠度的可靠度分数进行加和的加和值被设定为综合可靠度(S609)，当这样设定的综合可靠度为规定值以上时(在S611中为是)，判断为进行了单位作业F，对于该单位作业F，以使与第一可靠度关联的拍摄时机为作业开始时机、使与第二可靠度关联的拍摄时机为作业完成时机的方式设定用于分割作业视频的分割信息，并存储到存储部12(S613)。

之后，同样地，对于单位作业G，在监视区域P11c中，根据作业人员M 的手进入时的前后的拍摄图像的比较结果，设定第一可靠度(S605)，并且在监视区域P21c中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，设定第二可靠度(S607)，由此设定综合可靠度(S609)。当这样设定的综合可靠度为规定值以上时(在S611中为是)，判断为进行了单位作业G，对于单位作业G，以使与第一可靠度关联的拍摄时机为作业开始时机、使与第二可靠度关联的拍摄时机为作业完成时机的方式设定用于分割作业视频的分割信息，并存储到存储部12(S613)。

另外，同样地，对于单位作业H，在监视区域P11d中，根据作业人员M 的手进入时的前后的拍摄图像的比较结果，设定第一可靠度(S605)，并且在监视区域P21d中，根据作业人员M的手进入时的前后的拍摄图像的比较结果，设定第二可靠度(S607)，由此设定综合可靠度(S609)。当这样设定的综合可靠度大于等于规定值时(在S611中为是)，判断为进行了单位作业H，对于该单位作业H，以使与第一可靠度关联的拍摄时机为作业开始时机、使与第二可靠度关联的拍摄时机为作业完成时机的方式设定用于分割作业视频的分割信息，并存储到存储部12(S613)。

这样，作为规定的作业设定与四个单位作业E～H相关的分割信息之后，也进一步重复单位作业E～H，由此，按照单位作业单位依次设定分割信息。这样，对于多个单位作业设定分割信息，因此能够通过对使用分割信息分割的作业视频进行分析等，来生成用于对作业的步骤检查和周期时间的计测等的作业进行支援的数据。另外，能够自动地生成用于判断是否进行了正确的作业的判断用数据(注解数据)。

另一方面，在综合可靠度小于规定值的情况下(在S611中为否)，进行步骤S615所示的临时分割信息设定处理。在该步骤S615的处理中，与上述步骤S613的分割信息设定处理不同，设定临时分割信息。即，对于综合可靠度小于规定值的单位作业，以使临时分割信息与上述分割信息区别的方式进行设定，使得与第一可靠度关联的拍摄时机为临时作业开始时机，与第二可靠度关联的拍摄时机为临时作业完成时机，并存储到存储部12。

在作业完成后等，能够通过将这样存储到存储部12的临时分割信息与可靠度一起以可编辑的方式画面显示在显示部14等，从而使作业人员等一边观看作业视频一边编辑临时分割信息等从而设为正确的分割信息。特别是，临时分割位置被图形显示，因此作业人员等能够确认可靠度低的作业分割、和无法正确判断的作业分割。

如以上说明那样，在本实施方式所涉及的作业分析装置10中，在拍摄部 13的拍摄范围内按照单位作业单位设定用于检测该单位作业的开始动作(第一动作)的第一监视区域(P11a～P11d)与用于检测该单位作业的完成动作 (第二动作)的第二监视区域(P21a～P21d)。而且，根据由拍摄部13拍摄的拍摄图像中与监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，按照监视区域单位设定判断为在该监视区域中进行了与单位作业相关的动作的可能性越高变得越高的可靠度。而且，根据在第一监视区域设定的第一可靠度与在第二监视区域设定的第二可靠度，判断是否进行了对应的单位作业，对于判断为进行了作业的单位作业，以将拍摄了用于在第一监视区域设定第一可靠度的拍摄图像的时机作为作业开始时机、将拍摄了用于在第二监视区域设定第二可靠度的拍摄图像的时机作为作业完成时机的方式设定用于按照单位作业单位分割由拍摄部13拍摄的作业视频的分割信息。

由此，根据在第一监视区域设定的第一可靠度与在第二监视区域设定的第二可靠度，判断是否进行了对应的单位作业，因此与根据一个监视区域的监视结果判断的情况相比，能够提高判断精度。特别是，由于作为判断基准采用在多个位置的可靠度，因此例如即使由于进行了细致的单位作业而在一个监视区域设定了低的可靠度，也能够通过在其他的监视区域设定高的可靠度而判断为进行了该单位作业，因此能够高精度地判断细致的作业等、多种多样的单位作业。因此，即使是部件的取出判断模糊的作业也能够实现可高精度地分割作业视频的作业分析装置。

特别是，单位作业是将从规定的部件箱30a～30d取出的部件20a～20d 组装到工件(被组装部件)W的作业，开始动作是从部件箱取出部件的动作，完成动作是将部件组装到被组装部件的组装预定位置的动作。由此，根据在第一监视区域(P11a～P11d)的拍摄图像的比较结果，进行了从部件箱取出部件的动作的可能性越高，在第一监视区域设定的第一可靠度越高。另外，根据在第二监视区域(P21a～P21d)的拍摄图像的比较结果，进行了将部件组装到被组装部件的组装预定位置的动作的可能性越高，在第二监视区域设定的第二可靠度越高。这样，考虑基于从部件箱取出部件的动作的可靠度与基于将部件组装到被组装部件的组装预定位置的动作的可靠度这两者，因此在重复进行将从规定的部件箱取出的部件组装到被组装部件的单位作业的情况下，也能够高精度地分割该作业视频。这些，对能够更高效且高精度地分析基于作业人员的人工的例如部件组装作业(手工作业)的状态做出贡献。

另外，在第一可靠度设定处理中，对于关于第一监视区域的第一可靠度，基于由拍摄部13拍摄第一监视区域的拍摄图像的差分，根据能够对部件进行计数，改变设定方式。即，对于可计数的部件，在部件个数减少规定数量的情况下将可靠度设定为“High”，在部件个数未减少规定数量的情况下将可靠度设定为“Lo”，对于不可计数的部件将可靠度设定为“Mid”。这样，通过变更为适应于监视的部件的可靠度的设定方式，能够更精细地设定可靠度。

进一步，在作业分析处理中，根据以使在第二监视区域(P21a～P21d) 设定的第二可靠度比在第一监视区域(P11a～P11d)设定的第一可靠度增加权重的方式对全部的可靠度进行数值化加和的综合可靠度(加和值)，判断是否进行了对应的单位作业。由此，关于使用综合可靠度的判断，与在工件W 的组装预定位置Wa～Wd组装部件20a～20d的动作相关的第二可靠度的影响比与从部件箱30a～30d取出部件20a～20d的动作相关的第一可靠度的影响高，由此能够设定更加符合实际情况的可靠度。

此外，第十四实施方式不局限于如上述那样，例如，也可以如以下那样具体化。

(1)作业分析处理既可以对于由拍摄部13拍摄的作业视频实时地进行，也可以在规定的作业结束之后进行。特别是，在实时进行的作业分析处理中，在设定了低可靠度时，能够通过使用发光部15以及扬声器16等进行规定的通知，从而对作业人员等告知作业错误等的可能性。

(2)在作业分析处理中，不局限于根据分别在两个监视区域(第一监视区域以及第二监视区域)设定的可靠度设定综合可靠度，也可以设定包括第一监视区域以及第二监视区域的三个以上的监视区域，并根据在各监视区域设定的可靠度设定综合可靠度。

(3)在上述综合可靠度设定处理中采用的可靠度分数能够以数值按照“High”、“Mid”、“Lo”的顺序变小为前提，根据作业内容等设定为任意的数值。另外，根据作业内容等，为了消除上述的权重，也可以在第一可靠度以及第二可靠度中，设定为与“High”、“Mid”、“Lo”相对应的可靠度分数为相同数值。另外，在上述综合可靠度设定处理中采用的可靠度分数不局限于“High”、“Mid”、“Lo”的三个等级，也可以是四个等级。具体而言，例如，也可以如“High”、“Mid1”、“Mid2”、“Lo”那样为四个等级。另外，也可以将在多个监视区域中的可靠度分别作为数值求出，使用任意的系数等来合成。

(5)作为监视对象的单位作业不局限于将从部件箱取出的部件组装到印刷电路板等的工件W的作业，例如，也可以在多品种少量生产品的组装生产线中对半成品组装部件的作业。另外，作为监视对象的单位作业例如也可以是从被组装部件使部件变形或者卸下的作业。

(6)不局限于将用于设定第一可靠度的拍摄时机作为作业开始时机，将用于设定第二可靠度的拍摄时机作为作业完成时机，也可以将任意一者的时机作为之前的单位作业(例如，单位作业E)的作业完成时机且之后的单位作业(例如，单位作业F)的作业开始时机。

【第十五实施方式】

接下来，参照附图，对第十五实施方式所涉及的作业支援装置以及作业支援程序进行说明。

在本实施方式中，主要与第一实施方式不同之处在于，用于设定监视区域的处理。此外，对于与第一实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

如图54所示例，本实施方式所涉及的作业支援装置100构成为如下装置：即，设置于作业台1等，对由作业人员M使用收容在多个部件箱的部件按照规定的作业步骤进行的组装作业进行支援。

如图54以及图55所示，作业支援装置100具备控制部11、存储部12、拍摄部13、显示部14、发光部15、扬声器16、操作部17、通信部18等。控制部11(CPU11A)以微型计算机为主体构成，进行作业支援装置100整体的控制和各种运算，例如发挥执行将在后面进行说明的作业支援处理的功能。这些各要素与上述的图3所记载的构成要素同样地构成，因此对主要的不同部分进行说明。

与上述同样地，拍摄部13构成为具备受光传感器(例如，C-MOS区域传感器、CCD区域传感器等)的摄像机。在本实施方式中，拍摄部13与具备控制部11和显示部14等的装置本体100a单独构成，配置在作业台1的上部，使得以视频或者静止图像拍摄至少包含各部件箱30a～30d的范围。在本实施方式中，拍摄部13例如以30帧/秒拍摄连续静止图像，构成为各拍摄图像以可由控制部11解析的方式存储在存储部12中。

与上述同样地，显示部14例如是液晶显示器，被控制部11控制，构成为显示由拍摄部13拍摄的拍摄图像和规定的信息等。装置本体100a安装在作业台1的背板等，以使作业人员M目视识别该显示部14的显示画面。

具有与上述第一实施方式相同结构的发光部15以及扬声器16相当于“通知部”的一例。

接下来，参照图56以及图57所示的流程图，对由作业人员M按照规定的作业步骤进行分别将收容在多个部件箱的部件组装到工件W上的组装作业时根据按照制造批次单位由控制部11(CPU11A)执行的作业支援程序进行的作业支援处理进行详细说明。此外，作为规定的作业步骤，举例说明作业步骤被预先确定成如下的情况：对于工件W，第一个组装部件箱30a的部件20a，第二个组装部件箱30b的部件20b，第三个组装部件箱30c的部件20c，第四个组装部件箱30d的部件20d。

当通过对操作部17进行规定的操作，由控制部11开始作业支援处理时，首先，进行图56的步骤S901所示的作业步骤信息读取处理，从存储部12读取与被指定的制造批次的上述规定的作业步骤相关的信息(以下，还称为作业步骤信息)。在本实施方式中，上述作业步骤信息通过读取附加在记载了与该被指定的制造批次相关的作业步骤等的作业指示书等的信息码和无线标签，每当此时存储到该存储部12。此外，上述作业步骤信息例如既可以根据操作部17的输入操作等存储在存储部12，也可以预先通过通信部18从上级机器等接收而存储在存储部12。

当如上述那样读取作业步骤信息时，在表示部件的组装顺序(取出顺序) 的k被设定为1之后(S903)，进行步骤S905所示的监视区域设定处理。在该步骤S905的处理中，进行由拍摄部13拍摄的拍摄图像中、将与从上述作业步骤信息确定的组装顺序为第k个的部件的部件箱相当的图像区域设定为监视区域的处理。在将如上述那样组装顺序k被设定为1之后即刻，进行用于将与第一个部件20a的部件箱30a相当的图像区域设定为监视区域P1a的处理。此外，执行上述监视区域设定处理的控制部11相当于“监视区域设定部”的一例。

在本实施方式中的监视区域设定处理中，在拍摄部13的视频拍摄中，通过作业人员M使部件箱以规定的移动状态移动，来将与根据该移动在连续图像中产生的图像的差分相当的区域设定并注册为监视区域。在本实施方式中，作为上述规定的移动状态，关于差分确定使部件箱的移动范围变窄，因此如图58所示，采用从作业人员M观察在前后方向上重复摆动以免干涉其他的部件箱的移动状态(以下，简称为摆动状态)。此外，在图58以及将在后面进行说明的图59中，与图2的拍摄状态不同，以从上方俯视各部件箱的状态示出，为了方便起见，省略收容在各部件箱的部件进行了图示。

以下，参照图57所示的流程图，对上述监视区域设定处理具体地详细说明。

首先，当成为可由拍摄部13拍摄的状态时(图57的S1001)，在步骤S1003 的判断处理中，判断是否进行了设定开始指示。在本实施方式中，作为上述设定开始指示，例如，设定作业人员M的规定的手势。因此，当通过作业人员M在拍摄部13的拍摄范围内进行规定的手势，由拍摄部13拍摄该规定的手势时，视作存在设定开始指示，在步骤S1003中判断为是。此外，作为上述规定的手势，例如，也可以采用移动(摆动)至少一部分的部件箱到规定的状态的动作，还可以采用由拍摄部13拍摄显示在作业指示书等的信息码和规定形状的标记等的动作。

接下来，进行步骤S1005所示的连续图像取得处理，拍摄与规定时间的视频相当的连续图像。接下来，进行步骤S1007所示的图像比较处理，在如上述那样取得的连续图像中，比较1个或者数个帧前后的拍摄图像，进行用于提取构成图像的差分的区域(以下，还简称为差分区域)的处理。而且，在步骤S1009的判断处理中，判断是否产生了规定范围以上的差分区域，并判断为否，重复从步骤S1005开始的处理，直至产生规定范围以上的差分区域为止。

然后，由于产生规定范围以上的差分区域，而在步骤S1009中判断为是时，进行步骤S1011所示的手区域取得处理。当在该步骤S1009的处理中产生差分的拍摄图像中包含能够大致判断为手的程度的形状以及大小的区域时，该区域作为手区域被取得。

接下来，在步骤S1013的判断处理中，判断作业人员M是否以规定的移动状态移动部件箱。在以摆动状态使作业人员M所握持的部件箱移动的情况下，如上述那样取得的手区域与相当于部件箱的其他的差分区域相邻连通，因此在手区域与其他的差分区域不相邻的情况下，视作部件箱未移动，在步骤S1013中判断为否，重复从上述步骤S1005的处理。另外，在无法取得手区域的情况下，也在步骤S1013中判断为否，重复从上述步骤S1005的处理。

另一方面，在图56的步骤S907中组装顺序k被设定为1之后，当由作业人员M握持的收容第一个部件20a的部件箱30a变成摆动状态时(参照图 58)，在取得的连续图像中，在握持部件箱30a的手的部分与相当于部件箱30a 的部分之间产生差分区域。因此，取得握持作业人员M的部件箱30a的手的手区域，该取得的手区域和与拍摄部件箱30a的部分相当的其他的差分区域相邻，因此视作作业人员M使部件箱以规定的移动状态移动，在图57的步骤S1013中判断为是。

在这种情况下，进行步骤S1015所示的监视区域存储处理，将相对于除了手区域之外的差分区域添加被估计为作业人员M的手所握持的部分的区域的区域被设定为部件箱30a的监视区域P1a存储在存储部12(参照图60A)。在该步骤S1015的处理中，使用上述连续图像中通过部件箱返回原始的位置而判断为停止的拍摄图像(以图59A的状态拍摄的拍摄图像)与紧接在该拍摄图像之前拍摄的其他的拍摄图像(以图59B的状态拍摄的拍摄图像)的比较结果，由此能够准确地设定监视区域。

当如上述那样关于收容第一个部件20a的部件箱30a设定监视区域P1a 来结束监视区域设定处理时，通过图56的步骤S907的判断处理，判断组装顺序k是否与从上述作业步骤信息确定的部件箱的总数N一致。在上述的例子中，总数N被设定为4，因此在上述步骤S907中判断为否，组装顺序k以增加一个方式递增之后(S909)，再次进行上述步骤S905的处理。如上述那样关于收容第一个部件20a的部件箱30a设定监视区域之后，由于设定为k＝2，因此开始关于收容第二个部件20b的部件箱30b设定监视区域的处理。同样地，通过使收容第二个部件20b的部件箱30b摆动，来关于该部件箱30b设定监视区域P1b。之后，由于不是k＝N(在S907中为否)，因此在设定为k＝3 之后(S909)，通过使收容第三个部件20c的部件箱30c摆动，来关于部件箱 30c设定监视区域P1c(S905)。之后，也由于不是k＝N(在S907中为否)，因此在设定为k＝4之后(S909)，通过使收容第四个部件20d的部件箱30d摆动，来关于该部件箱30d设定监视区域P1d(S905)。

这样，当如上述那样分别对于四个部件箱30a～30d设定监视区域P1a～ P1d时(参照图60B)，k＝N，在图56的步骤S907中判断为是，进行步骤S911 所示的设定完成通知处理。在步骤S911的处理中，根据发光部15的发光状态和扬声器16的警报音状态，对作业人员M通知关于该制造批次全部的监视区域的设定已完成。此外，在上述监视区域设定处理中，也可以每设定一个监视区域，使用发光部15和扬声器16进行表示各个设定完成的通知。

当如上述那样通知各监视区域的设定完成时，开始步骤S913所示的监视处理。在该步骤S913的处理中，通过对如上述那样设定的各监视区域P1a～ P1d进行动态检测，来分别监视各监视区域P1a～P1d。此外，执行上述动态检测的控制部11也可以相当于“检测部”的一例。

在本实施方式中，作为上述动态检测，与上述的监视区域设定处理同样地，采用了使用图像的差分观察在各监视区域P1a～P1d内在时间序列上的变化的方法。具体而言，在上述监视处理中，通过对由拍摄部13拍摄的最新的拍摄图像、与以前拍摄的其他的拍摄图像(例如，刚好之前拍摄的拍摄图像) 进行比较，来进行监视区域的动态检测。

通过上述动态检测，例如，利用日本特开10018－156279号公报等所公开的方法，根据在监视区域内产生的变化是否为能够大致判断为手的程度的大小来判断是否检测到作业人员M的手。此外，根据上述动态检测的检测结果判断是否进行了按照规定的作业步骤的作业的控制部11可以相当于“判断部”的一例。

例如，结束各部件箱30a～30d的摆动的作业人员M为了实际上开始组装作业，在从部件箱30a取出部件20a的情况下，根据最新的拍摄图像与刚好在其之前的拍摄图像的差分，在监视区域P1a内检测作业人员M的手。然后，如读入的上述作业步骤信息那样，按照监视区域P1a、监视区域P1b、监视区域P1c、监视区域P1d的顺序取得检测到作业人员M的手的检测结果时，认为进行了正确的组装作业，作为判断结果进行表示正常作业的通知。作为该正常通知，例如，能够采用使人意识到正确的基于发光部15的绿色的点亮、和使人意识到正确的基于扬声器16的“乒乓”之类的音的发出等。接收到该正常通知的作业人员M能够识别以正确的作业步骤组装了部件。此外，正常通知既可以以监视区域单位进行，也可以在全部的监视区域如上述作业步骤信息那样通过检测作业人员M的手来进行。

另一方面，例如，在监视区域P1a中检测出作业人员M的手之后，在错误的顺序的监视区域中检测出作业人员M的手，如在监视区域P1中检测出作业人员M的手时，认为进行了错误的组装作业，作为判断结果进行表示异常作业的通知。作为该异常通知，例如，能够采用使人意识到异常的基于发光部15的红色的点亮、和基于扬声器16的“请拿取正确的部件”之类的声音的发出等。收到该异常通知的作业人员M能够立即识别以错误的作业步骤取出了部件。

如以上说明那样，在本实施方式所涉及的作业支援装置100中，根据由拍摄部13拍摄的拍摄图像中与通过监视区域设定处理设定的监视区域(P1a～ P1d)相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，检测从与该监视区域相对应的部件箱(30a～30d)的、部件(20a～20d)的取出。根据该检测结果判断是否进行了按照规定的作业步骤的作业，对作业人员M通知该判断结果。此时，通过监视区域设定处理，根据由作业人员M使部件箱分别以规定的移动状态移动时由拍摄部13拍摄的拍摄图像，按照部件箱单位设定与以该规定的移动状态移动的部件箱相对应的监视区域。

而且，本实施方式所涉及的作业支援程序是如下的程序：其使对使用收容在多个部件箱(30a～30d)中的部件(20a～20d)按照规定的作业步骤进行的作业进行支援的作业支援装置100的控制部11执行以下处理：监视区域设定处理(S905)，在拍摄部13的拍摄范围内按照部件箱单位分别设定监视区域(P1a～P1d)；检测处理(S913)，根据由拍摄部13拍摄的拍摄图像中与通过监视区域设定处理设定的监视区域相当的部分、和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，检测从与该监视区域相对应的部件箱的、部件的取出；判断处理(S913)，根据检测处理的检测结果判断是否进行了按照规定的作业步骤的作业；以及通知处理 (S913)，对作业人员通知判断处理的判断结果。而且，在监视区域设定处理中，根据由作业人员使部件箱分别以规定的移动状态移动时由拍摄部拍摄的图像，按照部件箱单位设定与以该规定的移动状态移动的部件箱相对应的监视区域。

由此，在作业开始前等，作业人员M仅以规定的移动状态分别移动部件箱，就能够按照部件箱单位容易地设定监视区域。特别是，作业人员M无需一边观看画面一边进行鼠标操作等，因此也不会由于作业人员M的输入操作失误等而设定错误的监视区域。因此，无需对作业人员M强加作业负担也能够容易且准确地设定监视区域。

进一步，上述规定的移动状态是以部件箱返回原始的位置为前提重复的摆动状态，因此部件箱的移动范围容易变窄，容易从被拍摄的拍摄图像确定部件箱移动的区域，因此能够更加准确地设定监视区域。

特别是，通过监视区域设定处理，根据由拍摄部13拍摄的拍摄图像中通过部件箱返回原始的位置而判断为停止的拍摄图像(参照图59A)与刚好在该拍摄图像之前拍摄的其他的拍摄图像(参照图59B)的比较结果，设定监视区域。由此，使用部件箱的停止之后即刻的拍摄图像与部件箱的刚好停止之前的拍摄图像的差分确定部件箱的位置，能够根据该确定的部件箱的位置设定监视区域，因此不仅能够更进一步准确地设定监视区域，还在部件箱的停止之后即刻的时机设定监视区域，因此在设定多个监视区域的情况下，也能够缩短设定所需的时间并提高作业效率。

【第十六实施方式】

接下来，参照附图，对第十六实施方式所涉及的作业支援装置以及作业支援程序进行说明。

在第十六实施方式中，第十五实施方式不同之处在于，无需预先取得作为监视基准的规定的作业步骤(作业步骤信息)而根据作业人员的作业进行设定。因此，对于与第十五实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在上述第十五实施方式中，在作业支援处理开始时读取作业步骤信息，因此需要读取附加在作业指示书等的信息码的作业和从上级机器等取得作业步骤信息的作业。因此，在本实施方式中，在作业支援处理中，为了进一步减少作业人员M的作业负担，无需预先取得作业步骤信息，根据作业人员M 的实际的作业设定规定的作业步骤。

以下，在本实施方式中，参照图61所示的流程图，对于在由作业人员M 按照规定的作业步骤进行将收容在多个部件箱的部件分别组装到工件W的组装作业时根据按照制造批次单位由控制部11执行的作业支援程序进行的作业支援处理进行详细说明。

当通过对操作部17进行规定的操作，由控制部11开始作业支援处理时，首先，变成可由拍摄部13拍摄的状态(图61的S1101)，在步骤S1103的判断处理中，判断是否进行了设定开始指示。然后，当由拍摄部13拍摄上述规定的手势时，视作存在设定开始指示(在S1103中为是)，组装顺序k被设定为1(S1105)。

接下来，进行步骤S1107所示的连续图像取得处理，拍摄与规定时间的视频相当的连续图像。接下来，进行步骤S1109所示的图像比较处理，在如上述那样取得的连续图像中，进行用于提取对一个或者多个帧前后的拍摄图像进行比较的差分区域的处理。而且，当产生规定范围以上的差分区域时(在 S1111中为是)，进行步骤S1113所示的手区域取得处理，当在产生差分的拍摄图像中包含能够大致判断为手的程度的形状以及大小的区域时，作为手区域取得该区域。

接下来，在步骤S1115的判断处理中，在判断为如上述那样取得的手区域与相当于部件箱的其他的差分区域不相邻的情况下，判断为否，重复从上步骤S1107的处理。另一方面，在组装顺序k被设定为1之后，当由作业人员M握持的、收容第一个部件20a的部件箱30a为摆动状态时，取得的手区域与相当于拍摄了部件箱30a的部分的其他的差分区域相邻，因此视作作业人员M使部件箱以规定的移动状态移动，在步骤S1115中判断为是。

在该步骤S1115中判断为是的情况下，进行步骤S1117所示的监视区域存储处理，与第十五实施方式所涉及的图57的步骤S1015的监视区域存储处理同样地，对除了手区域之外的差分区域添加估计为作业人员M的手所握持的部分的区域的区域被设定为部件箱30a的监视区域P1a并存储在存储部12。

接下来，在步骤S1119的判断处理中，判断是否由作业人员M使在该制造批次中使用的全部的部件箱以规定的移动状态移动。在本实施方式中，在作业人员M结束单独摆动各部件箱之后，设定对作业支援装置100进行的规定的结束手势，在由拍摄部13未拍摄到该规定的结束手势的情况下，在步骤 S1119中判断为否，组装顺序k以增加一个的方式递增之后(S1121)，重复从上述步骤S1107的处理。此外，在本实施方式中，从步骤S1107到步骤S1119为止的重复处理等可以相当于监视区域设定处理。

然后，在摆动最后的部件箱之后，通过作业人员M在拍摄部13的拍摄范围内进行上述规定的结束手势，由拍摄部13拍摄该规定的结束手势时，视作全部的部件箱以规定的移动状态移动，在步骤S1119中判断为是。在该步骤 S1119中判断为是的情况下进行步骤S1123所示的设定完成通知处理，与第十五实施方式所涉及的图56的步骤S911的设定完成通知处理同样地，根据发光部15的发光状态和扬声器16的警报音状态，对作业人员M通知关于该制造批次全部的监视区域的设定已完成。此外，作为上述规定的结束手势，例如，也可以采用由拍摄部13拍摄显示在作业指示书等的信息码和规定形状的标记等的动作。另外，在步骤S1119的判断处理中，例如，也可以考虑作业人员M结束单独地摆动各部件箱之后的经过时间，由此，从最后检测差分区域起经过规定时间时，视作作业人员M结束了单独地摆动各部件箱，判断为是。

当如上述那样通知各监视区域的设定完成时，进行步骤S1125所示的作业步骤设定处理。在该步骤S1125的处理中，在上述通知之后进行的作业人员M的实际的组装作业时，与上述动态检测相应地，检测部件的取出，根据该被检测的部件的取出顺序，设定作业步骤。在如上述那样确定作业步骤的情况下，在作业人员M以正确的步骤从各部件箱取出部件并进行组装作业时，重复以部件箱30a、部件箱30b、部件箱30C、部件箱30d的顺序取出部件的状态。因此，能够通过与上述动态检测相应地检测该重复顺序，来识别正确的作业步骤并设定作为作业基准的作业步骤。此外，执行上述作业步骤设定处理的控制部11可以相当于“作业步骤设定部”的一例。

当如上述那样设定作业步骤时，开始步骤S1127所示的监视处理。在该步骤S1127的处理中，与图56的步骤S913的监视处理同样地，通过对如上述那样设定的各监视区域P1a～P1d进行动态检测，来分别监视各监视区域 P1a～P1d。

如以上说明那样，在本实施方式所涉及的作业支援装置100中，在通过监视区域设定处理设定多个监视区域(P1a～P1d)之后，根据与上述动态检测相应地检测出的部件(20a～20d)的取出顺序，通过由控制部11进行的作业步骤设定处理(图61的步骤S1125)，设定上述规定的作业步骤。

由此，在各监视区域的设定之后，能够通过作业人员M实际上从部件箱取出部件进行正确的组装作业，来自动地设定上述规定的作业步骤，因此可以不需要读取附加在作业指示书等的信息码的作业和从上级机器等预先取得上述作业步骤信息的作业等。

此外，在设定各监视区域时，能够通过以正确的作业步骤的顺序摆动各部件箱，由控制部11把握正确的作业步骤，因此也可以在这样把握正确的作业步骤的情况下，省略上述步骤S1125的作业步骤设定处理。

此外，不局限于第十五以及第十六实施方式、以及第十五以及第十六实施方式所涉及的变形例等，例如，也可以如以下那样具体化。

(1)通过配置在拍摄部13的拍摄范围内作为监视对象的部件箱30不局限于四个部件箱30a～30d，也可以是1个～3个部件箱，还可以是5个以上的部件箱。另外，部件箱30不局限于在拍摄部13的拍摄范围内以左右排列的方式配置成一列，例如，也可以在上层以及下层等的多层以左右排列的方式配置。另外，作为监视对象的部件箱30不局限于形成为开口边缘为长方形状，例如，也可以形成为开口边缘为梯形状，还可以形成为开口边缘的一部分弯曲。另外，作为监视对象的部件箱30例如也可以如收容袋等那样，构成为根据配置方法等开口边缘的形状等发生变化。

(2)在第十五以及第十六实施方式所涉及的监视区域设定处理中，不局限于作为上述规定的移动状态，采用摆动状态，还可以采用容易取得图像的差分的移动状态、例如、抬起部件箱的状态等。

(3)在第十五以及第十六实施方式中，不局限于用于对印刷电路板等的工件W按照规定的作业步骤组装部件时的作业支援，例如，还可以用于在多品种少量生产品的组装生产线中对半成品按照规定的作业步骤组装部件时的作业支援。

【第十七实施方式】

接下来，参照附图，对第十七实施方式所涉及的作业支援装置以及作业支援程序进行说明。

在本实施方式中，与第十五以及第十六实施方式同样地，主要与第一实施方式不同之处在于，用于设定监视区域的处理。此外，对于与上述各实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

本实施方式所涉及的作业支援装置100与第十五实施方式同样地，如图 54所示例，设置于作业台1等，构成为对由作业人员M使用收容在多个部件箱中的部件按照规定的作业步骤进行的组装作业进行支援的装置。

图62更加详细地说明了图2所示的部件箱30a。部件箱30a相对于四边形状的底壁31的外部边缘在下端，周壁32连结成环状，周壁32的上端33a～ 33d形成为具有四个角部34a～34d的四边环状。部件箱30b～30d也与部件箱 30a同样地，相对于四边形状的底壁的外部边缘在下端，周壁连结成环状，周壁的上端形成为具有四个角部的四边环状。

参照图63以及图64所示的流程图，对第十七实施方式中的作业支援处理进行详细说明。此外，作为规定的作业步骤，举例说明以如下方式预先确定作业步骤的情况：对于工件W，第一个组装部件箱30a的部件20a，第二个组装部件箱30b的部件20b，第三个组装部件箱30c的部件20c，第四个组装部件箱30d的部件20d。此外，在图63所示的处理中，除了步骤S905A的设定鉴别区域的处理以外与上述图58所示的处理相同。因此省略图63的处理中，与上述图58所示相同处理的说明。

在本实施方式中的监视区域设定处理中，在拍摄部13正在拍摄时，作业人员M用手指F接触部件箱的周壁的上端中的一个角部，由此检测以该角部为起点沿着上端的边界线，被该边界线包围的四边形状的区域作为监视区域被设定并被注册。

以下，参照图64所示的流程图，对根据以手指所接触的部件箱的角部为起点检测的边界线设定监视区域的上述监视区域设定处理具体地详细说明。

首先，当变成可由拍摄部13拍摄的状态时(图64的S1201)，通过步骤 S1203的判断处理，判断在拍摄图像中是否检测出人的手指，重复否的判断，直至检测出人的手指为止。

在该重复处理中，当在拍摄图像中检测出人的手指时(在S1203中为是)，通过步骤S1205的判断处理，判断被检测的手指是否停滞。在此，在手指移动的情况下(在S1205中为否)，进行从上述步骤S1203开始的处理，在检测出手指的移动的期间，重复在步骤S1203中为是、在步骤S1205中为否的判断。

然后，当被检测的手指停滞时，在步骤S1205的判断处理中判断为是，开始对被检测的手指停滞的停滞时间的计时(S1207)。接下来，在步骤S1209 的判断处理中，判断停滞时间是否经过了预先设定的规定时间(例如，5s)，在停滞时间未经过上述规定时间的情况下(在S1209中为否)，在步骤S1211 的判断处理中，判断是否维持被检测的手指的停滞。在此，在维持被检测的手指的停滞的情况下(在S1211中为是)，进行从上述步骤S1209起的处理。然后，当在停滞时间经过上述规定时间之前检测到手指的移动时(在S1211 中为否)，进行从上述步骤S1203起的处理。

另一方面，如图65所示，作业人员M的手指F以接触部件箱30a的上端 33a与上端33d之间的角部34a的状态停滞，并且该手指F的停滞时间经过上述规定时间时(在S1209中为是)，进行步骤S1213所示的起点检测处理。在该步骤S1213的处理中，在作为搜索对象的图像设定的最新的拍摄图像中，被视为视作从停滞的手指F的位置延伸的两个直线(手指前端坐标在最近的位置相交的两根直线)的部分彼此的交点的点被检测作为起点。如上述那样，在以接触角部34a的状态停滞的情况下，变成相当于上端33a的线段与相当于上端33d的线段从停滞的手指F的位置延伸的状态，因此手指F所接触的角部34a被检测作为起点。

接下来，进行步骤S1215所示的搜索对象设定处理，将从停滞的手指F 延伸的两个直线中的一个设定为搜索对象。接下来，在步骤S1217的搜索处理中，在拍摄图像中，进行用于搜索在设定为搜索对象的直线的前端与其他的直线相交的交点的处理。

在本实施方式中，搜索时在交点弯曲的方向被规定为从部件箱的上方俯视呈右转方向，搜索开始时检测的两个直线中作为右转方向前端的直线为最初的搜索对象。在如上述那样手指F在部件箱30a的角部34a停滞的情况下，相当于上端33a的线段的一部分、相当于上端33d的线段的一部分被检测作为从手指F延伸的两个直线，因此作为右转方向前端的与上端33a相当的线段成为搜索对象(参照图65的箭头Sa)。

然后，在图64的步骤S1217的搜索处理中，当检测到搜索对象的直线的前端(交点)时，在步骤S1219的判断处理中，判断被检测的交点是否与上述起点一致。在此，当搜索到在相当于上端33a的线段的前端与相当于上端 33b的线段相交的交点时，该交点相当于角部34b，因此与上述起点不一致，由此在步骤S1219中判断为否。

在步骤S1219中判断为否的情况下，进行步骤S1221的搜索对象切换处理，从搜索到的交点延伸的其他的直线被切换成搜索对象。在搜索如上述那样相当于角部34b的交点的情况下，相当于上端33b的线段被切换为搜索对象(参照图65的箭头Sb)。然后，在图64的步骤S1217的处理中，搜索在相当于上端33b的线段的前端与相当于上端33c的线段相交的交点，该交点相当于角部34c，因此与上述起点不一致，因此，在步骤S1219中判断为否。因此，相当于上端33c的线段被切换为搜索对象(S1221：参照图65的箭头Sc)，搜索在相当于上端33c的线段的前端与相当于上端33d的线段相交的交点 (S1217)。由于该交点相当于角部34d，因此与上述起点不一致(在S1219 中为否)，由此相当于上端33d的线段被切换为搜索对象(S1221：参照图65 的箭头Sd)，搜索在相当于上端33d的线段的前端与相当于上端33a的线段相交的交点(S1217)。由于该交点相当于角部34a，因此与上述起点一致，由此在步骤S1219的判断处理中判断为是。

在步骤S1219中判断为是的情况下，进行步骤S1223所示的边界线等设定处理。在该步骤S1223的处理中，连结了作为搜索对象的各线段的多边环状的线作为从上述起点延伸并在多个交点(即角部)分别弯曲之后返回起点的边界线被检测并被设定，由该边界线包围的多边形状的区域设定为监视区域。如上述那样，当检测并设定了连结相当于上端33a～33d的各线段的边界线时，由该边界线包围的四边形状的区域设定为收容第一个部件20a的部件箱30a的监视区域P1a(参照图60A)。因此，在图60A中，能够用附图标记 P1a图示边界线。此外，在作业人员M的手指F以接触到部件箱30a的角部 34b(34c、34d)的状态停滞的情况下，被以角部34b(34c、34d)为起点从该起点延伸并在多个交点分别弯曲之后返回起点的边界线所包围的四边形状的区域也被设定为监视区域P1a。

在此，参照图66，对搜索时在交点弯曲的方向被规定为一个方向(从部件箱的上方俯视呈右转方向)的理由进行详细说明。

如图66所示，例如设想以使部件箱30e的周壁与部件箱30f的周壁接触的方式配置有部件箱30e以及部件箱30f并设定部件箱30e的监视区域的情况。在这种情况下，在上述搜索处理中，在与部件箱30f的靠近位置部件箱 30e的上端与部件箱30f的上端被视为相连并检测出不期望的交点(参照图66 的附图标记Sp1)时，作为从该交点延伸的直线，部件箱30f的上端有可能被错误搜索(参照图66的箭头Sf)。另一方面，例如，当以使在交点处弯曲的方向从部件箱的上方俯视呈右转方向的方式延伸边界线时，在上述不期望的交点Sp1中，朝向部件箱30f的上端弯曲的方向为相反的左转方向。

因此，在本实施方式中，将搜索时在交点弯曲的方向如上述那样规定为右转方向(一个方向)。由此，如图66所示，从不期望的交点Sp1延伸的与部件箱30e的上端相当的直线(参照图66的箭头Se)为交点Sp1的右转方向前端，从不期望的交点Sp1延伸的与部件箱30f的上端相当的直线(参照图 66的箭头Sf)为交点Sp1的左转方向前端，因此能够抑制作为反方向的部件箱30f的上端错误地成为搜索对象。

当如上述那样关于收容第一个部件20a的部件箱30a设定监视区域P1a 由此设定监视区域设定处理结束时，在图63的步骤S907的判断处理中，判断组装顺序k是否与从上述作业步骤信息确定的部件箱的总数N一致。在上述的例子中，总数N设定为4，因此在步骤S907中判断为否，组装顺序k以增加一个的方式递增之后(S909)，进行步骤S905A的处理。如上述那样关于收容第一个部件20a的部件箱30a设定监视区域之后，设定为k＝2，因此开始用于关于收容第二个部件20b的部件箱30b设定监视区域的处理。同样地，接触到收容第二个部件20b的部件箱30b的任意的角部的手指停滞，由此关于该部件箱30b设定监视区域P1b。之后，由于不是k＝N(在S907中为否)，因此在设定为k＝3之后(S909)，接触到收容第三个部件20c的部件箱30c的任意的角部的手指停滞，由此关于该部件箱30c设定监视区域P1c(S905A)。之后，由于不是k＝N(在S907中为否)，因此在设定为k＝4之后(S909)，接触到收容第四个部件20d的部件箱30d的任意的角部的手指停滞，由此关于该部件箱30d设定监视区域P1d(S905A)。

如以上说明那样，在本实施方式所涉及的作业支援装置100中，根据由拍摄部13拍摄的拍摄图像中与通过监视区域设定处理设定的监视区域(P1a～ P1d)相当的部分和与在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的监视区域相当的部分的比较结果，检测从与该监视区域相对应的部件箱 (30a～30d)的、部件(20a～20d)的取出。根据该检测结果判断是否进行了按照规定的作业步骤的作业，对作业人员M通知该判断结果。此时，在监视区域设定处理中，在由拍摄部13拍摄的拍摄图像中，检测部件箱的周壁的上端(33a～33d)的多个角部(34a～34d)中以作业人员M的手指F所接触的角部为起点延伸并在多个交点分别弯曲之后返回上述起点的边界线(P1a～ P1d)，并按照部件箱单位将由该边界线包围的多边形状的区域设定为监视区域。

而且，本实施方式所涉及的作业支援程序是如下的程序：其使对使用收容在多个部件箱(30a～30d)的部件(20a～20d)按照规定的作业步骤进行的作业进行支援的作业支援装置100的控制部11执行以下处理：监视区域设定处理(S905A)，在拍摄部13的拍摄范围内按照部件箱单位分别设定监视区域 (P1a～P1d)；检测处理(S913)，根据由拍摄部13拍摄的拍摄图像中与通过监视区域设定处理设定的监视区域相当的部分和与在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，检测从与该监视区域相对应的部件箱的、部件的取出；判断处理(S913)，根据检测处理的检测结果判断是否进行了按照规定的作业步骤的作业；以及通知处理 (S913)，对作业人员通知判断处理的判断结果。而且，监视区域设定处理在由拍摄部13拍摄的拍摄图像中，检测部件箱的周壁32的上端33a～33d的多个角部34a～34d中以作业人员M的手指F所接触的角部为起点延伸并在多个交点分别弯曲之后返回上述起点的边界线(P1a～P1d)，并按照部件箱单位将由该边界线包围的多边形状的区域设定为监视区域。

由此，在作业开始前等，仅通过作业人员M用手指F接触部件箱的周壁的上端中的一个角部，就能够按照部件箱单位容易地设定监视区域。特别是，无需作业人员M一边观看画面一边进行鼠标操作等，因此也不会由于作业人员M的输入操作失误等而设定错误的监视区域。因此，无需对作业人员M强加作业负担就能够容易且准确地设定监视区域。

特别是，在监视区域设定处理中，以将在交点弯曲的方向规定为一个方向的方式检测边界线(P1a～P1d)，因此能够将从如上述那样的不期望的交点 (Sp1)向与上述一个方向不同的方向弯曲延伸的线作为朝向相邻的部件箱的周壁的上端弯曲的线来排除。

【第十八实施方式】

接下来，参照附图，对第十八实施方式所涉及的作业支援装置以及作业支援程序进行说明。

在本第十八实施方式中，主要与上述第十七实施方式不同之处在于，设定监视区域时对于一个部件箱用停滞状态的手指接触多个角部。因此，对于与第十七实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，通过对于一个部件箱用停滞状态的手指F分别接触多个角部，来提高用于设定监视区域的边界线的检测精度。具体而言，在上述监视区域设定处理中，以将手指F以停滞状态所接触的多个角部中的一个角部作为起点并将剩余的角部作为交点的至少一部分的方式检测边界线。由此，能够将以没有将剩余的手指F以停滞状态所接触的角部作为交点而通过的方式返回原始的起点的边界线判断为错误检测的边界线，因此能够提高边界线的检测精度。例如，如图67所示，对于部件箱30a，在手指F按照角部34a、角部34c的顺序以停滞状态分别接触的情况下，在以角部34a(角部34c)为起点的边界线没有将与角部34c(角部34a)相当的位置作为交点的情况下，能够判断为被错误检测的边界线。

另外，通过预先确定用停滞状态的手指F接触的角部是相当于第几个要检测的交点的角部，也能够提高用于设定监视区域的边界线的检测精度。例如，预先确定为：最初用停滞状态的手指F接触与第二个要检测的交点相当的角部之后，用停滞状态的手指F接触作为起点的角部。然后，如图67所示例那样，在最初用停滞状态的手指F接触部件箱30a的角部34c之后，用停滞状态的手指F接触角部34a，由此在因部件箱30a内的部件20a而检测出不期望的交点Sp2的情况下，由于第二个交点设定于与角部34c相当的位置，因此也不会以在交点Sp2弯曲的方式错误搜索。因此，能够提高用于设定监视区域的边界线的检测精度。此外，在图67中，为了方便起见，以俯视部件箱30a并夸张地表示一个部件20a的状态进行了图示。

【第十九实施方式】

接下来，参照附图，对第十九实施方式所涉及的作业支援装置以及作业支援程序进行说明。

在本第十九实施方式中，主要与第十七实施方式不同之处在于，在监视区域设定处理中，边界线被检测为具有规定的宽度的环状部。因此，对于与第十七实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式中，将部件箱的周壁的上端检测为具有规定的宽度的环状部，将该环状部的内部边缘作为搜索对象。具体而言，在用停滞状态的手指F 接触部件箱30a的角部34a的情况下，在上述的图64的步骤S1213所示的起点检测处理中，如图68所示，被视为与上端33a的内部边缘35a相当的线段和与上端33d的内部边缘35d相当的线段的交点SP1a的点，被检测为起点。然后，在上述的步骤S1215所示的搜索对象设定处理中，首先，与上端33a 的内部边缘35a相当的线段以及作为其前端的交点SP1b成为搜索对象。然后，在步骤S1221的搜索对象切换处理中，按照与上端33b的内部边缘35b相当的线段以及作为其前端的交点SP1c、与上端33c的内部边缘35c相当的线段以及作为其前端的交点SP1d、与上端33d的内部边缘35d相当的线段的顺序切换搜索对象。此外，在图68中，为了方便起见，以俯视部件箱30a、30b、省略部件20a、20b、并夸张地表示各自上端的宽度的状态进行了图示。

由此，在上述的图64的步骤S1223所示的边界线等设定处理中，由内部边缘35a～35d所包围的四边形状的区域被设定为部件箱30a的监视区域P1a。这样，边界线被检测为具有规定的宽度的环状部，将由该环状部的内部边缘 (35a～35d)所包围的多边形状的区域设定为监视区域，由此，如从图68可知，有可能与环状部的外部边缘连接的相邻的部件箱(30b)也不会影响监视区域(P1a)的设定，因此能够更加准确地设定监视区域。

【第二十实施方式】

接下来，参照附图，对第二十实施方式所涉及的作业支援装置以及作业支援程序进行说明。

在第二十实施方式中，主要与第十七实施方式不同之处在于，在监视区域设定处理中，根据通过对部件箱的周壁的上端进行描摹的作业人员的手指来描绘的环状的轨迹设定监视区域。因此，对于与第十七实施方式实质上相同的结构部分，赋予相同附图标记，并省略其说明。

在本实施方式的监视区域设定处理中，当由拍摄部13拍摄通过对部件箱的周壁的上端进行描摹的作业人员M的手指F来描绘的环状的轨迹时，由该环状的轨迹所包围的区域被设定为监视区域。即，能够通过按照部件箱单位对周壁的上端进行描摹，来分别设定监视区域。

以下，参照图69所示的流程图，对本实施方式中的监视区域设定处理进行详细说明。

与上述第十七实施方式同样地，当接触部件箱的角部的作业人员M的手指F的停滞时间经过上述规定时间(在图69的S1209中为是)，由此手指F 接触的角部被检测作为起点时(S1213)，进行步骤S1225所示的轨迹拍摄处理。在该步骤S1225的处理中，原来停滞的手指以环状移动时进行用于拍摄该移动的轨迹的处理。

然后，例如，如图70所示，当作业人员M使手指F以部件箱30a的角部 34a为起点，按照上端33a、角部34b、上端33b、角部34c、上端33c、角部 34d、上端33d、角部34a的顺序进行描摹，从而拍摄环状的轨迹(P1a)时，由该环状的轨迹包围的区域被设定为监视区域P1a。同样地，作业人员M用手指F对部件箱30b的周壁的上端进行描摹来设定监视区域P1b，对部件箱 30c的周壁的上端进行描摹来设定监视区域P1c，对部件箱30d的周壁的上端进行描摹来设定监视区域P1d。此外，在图70中，为了方便起见，以俯视部件箱30a并省略部件20a的状态进行了图示。

如以上说明那样，在本实施方式所涉及的作业支援装置100中，根据由拍摄部13拍摄的拍摄图像中与通过监视区域设定处理设定的监视区域(P1a～ P1d)相当的部分和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，检测从与该监视区域相对应的部件箱 (30a～30d)的、部件(20a～20d)的取出。根据该检测结果判断是否进行了按照规定的作业步骤的作业，对作业人员M通知该判断结果。此时，在监视区域设定处理中，当由拍摄部13拍摄到通过对部件箱的周壁的上端(33a～ 33d)进行描摹的作业人员M的手指F来描绘的环状的轨迹时，按照部件箱单位将由该环状的轨迹包围的区域设定为监视区域。

而且，本实施方式所涉及的作业支援程序是如下的程序：其使对使用收容在多个部件箱(30a～30d)的部件(20a～20d)按照规定的作业步骤进行的作业进行支援的作业支援装置100的控制部11执行以下处理：监视区域设定处理(S905A)，在拍摄部13的拍摄范围内按照部件箱单位分别设定监视区域 (P1a～P1d)；检测处理(S913)，根据由拍摄部13拍摄的拍摄图像中与通过监视区域设定处理设定的监视区域相当的部分和在该拍摄图像之前的时间点拍摄的其他的拍摄图像中的与监视区域相当的部分的比较结果，检测从与该监视区域相对应的部件箱的、部件的取出；判断处理(S913)，根据检测处理的检测结果判断是否进行了按照规定的作业步骤的作业；以及通知处理 (S913)，对作业人员通知判断处理的判断结果。而且，当由拍摄部13拍摄到通过对部件箱的周壁的上端(33a～33d)进行描摹的作业人员M的手指F 描绘的环状的轨迹时，监视区域设定处理按照部件箱单位将由该环状的轨迹包围的区域设定为监视区域。

由此，在作业开始前等，仅作业人员M用手指F对部件箱的周壁的上端进行描摹，就能够按照部件箱单位容易地设定监视区域。特别是，无需作业人员一边观看画面一边进行鼠标操作等，因此也不会由于作业人员M的输入操作失误等而设定错误的监视区域。因此，无需对作业人员M强加作业负担就能够容易且准确地设定监视区域。

此外，在本实施方式中的监视区域设定处理中，也可以不检测作业人员 M的手指F的停滞，而当拍摄到作业人员M用手指F描绘的环状的轨迹时，也可以将由该环状的轨迹包围的区域设定为监视区域。

此外，不局限于第十七～第二十实施方式以及第十七～第二十实施方式的变形例等，例如，也可以如以下那样具体化。

(1)通过配置在拍摄部13的拍摄范围内作为监视对象的部件箱30不局限于四个部件箱30a～30d，也可以是一个～三个部件箱，还可以是五个以上的部件箱。另外，部件箱30不局限于在拍摄部13的拍摄范围内以左右排列的方式配置成一列，例如，也可以配置成在上层以及下层等的多层以左右排列的方式配置。另外，作为监视对象的部件箱30中的周壁的上端不局限于以具有四个角部34a～34d的方式形成为四边环状，例如，也可以以梯形状等、具有多个角部的方式形成为多边环状。另外，作为监视对象的部件箱30只要是可根据拍摄图像将周壁的上端识别为环状的线或者具有规定的宽度的环状部的形状，则也可以构成为，例如，如收容袋等那样，根据配置方法等，周壁的上端的形状等发生变化。

(2)第十七～第二十实施方式所涉及的发明不局限于用于对印刷电路板等的工件W按照规定的作业步骤组装部件时的作业支援，例如，还可以用于在多品种少量生产品的组装生产线中对半成品按照规定的作业步骤组装部件时的作业支援。

Claims (7)

1.一种作业分析装置，生成用于判断是否按照预先设定的步骤重复进行作业人员人工的作业的判断用数据，其特征在于，具备：

拍摄部，当由作业人员以规定的顺序重复进行多个单位作业时，拍摄该作业人员的人工作业，其中所述多个单位作业是为了实现期望的作业而进行的构成该作业的多个作业要素；

设定部，按照所述单位作业单位根据构成该各单位作业的一部分的预先设定的该作业人员的规定的动作，从由所述拍摄部拍摄的作业视频设定用于在所述规定的动作的检测时机按照所述单位作业单位分割该作业视频的分割信息；以及

生成部，以包含由所述拍摄部拍摄的作业视频与由所述设定部设定的所述分割信息的方式生成所述判断用数据，

所述生成部根据由所述设定部设定的所述分割信息，以排除按与所述规定的顺序不同的顺序进行的所述单位作业的前一个单位作业的方式生成所述判断用数据。

2.根据权利要求1所述的作业分析装置，其特征在于，

所述单位作业是将从与该单位作业关联的部件箱取出的部件组装到被组装部件的作业，

所述规定的动作是从所述部件箱取出所述部件的动作。

3.根据权利要求1所述的作业分析装置，其特征在于，

所述单位作业是将与该单位作业关联的部件组装到被组装部件的作业，

所述规定的动作是使所述部件移动到所述被组装部件的组装预定位置的动作。

4.根据权利要求1至3中任一项所述的作业分析装置，其特征在于，

所述生成部根据由所述设定部设定的所述分割信息，按照所述单位作业单位计算视作正常的作业的正常作业时间范围，并作为所述判断用数据生成作业时间在所述正常作业时间范围的所述单位作业。

5.根据权利要求4所述的作业分析装置，其特征在于，

所述生成部以排除作业时间偏离所述正常作业时间范围的所述单位作业的方式生成所述判断用数据。

6.一种存储有作业分析程序的介质，其特征在于，所述作业分析程序使生成用于判断是否按照预先设定的步骤人工进行期望的作业的判断用数据的作业分析装置的控制部执行以下处理：

拍摄处理，当由作业人员按照规定的顺序重复进行多个单位作业时，通过拍摄部拍摄该作业人员的人工作业，其中所述多个单位作业是为了实现期望的作业而进行的构成该作业的多个作业要素；

设定处理，按照所述单位作业单位根据构成该各单位作业的一部分的预先设定的该作业人员的规定的动作，从通过所述拍摄处理拍摄的作业视频设定用于在所述规定的动作的检测时机按照所述单位作业单位分割该作业视频的分割信息；以及

生成处理，以包含通过所述拍摄处理拍摄的所述作业视频与通过所述设定处理设定的所述分割信息并且根据所述分割信息排除按与所述规定的顺序不同的顺序进行的所述单位作业的前一个单位作业的方式生成所述判断用数据。

7.一种作业分析的方法，生成用于判断作业人员人工的作业是否按照预先规定的步骤重复进行的判断用数据，其特征在于，包括：

当由作业人员以规定的顺序重复进行多个单位作业时，拍摄该作业人员的人工作业，其中所述多个单位作业是为了实现期望的作业而进行的构成该作业的多个作业要素；

按照所述单位作业单位根据构成该各单位作业的一部分的预先设定的该作业人员的规定的动作，从拍摄的作业视频设定用于在所述规定的动作的检测时机按照所述单位作业单位分割该作业视频的分割信息；以及

以包含由所述拍摄部拍摄的作业视频与由所述设定部设定的所述分割信息并且根据所述分割信息排除按与所述规定的顺序不同的顺序进行的所述单位作业的前一个单位作业的方式生成所述判断用数据。

Images