CN108604131A - 显示***、信息处理装置、信息处理方法以及程序 - Google Patents
显示***、信息处理装置、信息处理方法以及程序 Download PDFInfo
- Publication number
- CN108604131A CN108604131A CN201780009663.1A CN201780009663A CN108604131A CN 108604131 A CN108604131 A CN 108604131A CN 201780009663 A CN201780009663 A CN 201780009663A CN 108604131 A CN108604131 A CN 108604131A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- image
- teaching
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 70
- 238000003672 processing method Methods 0.000 title claims description 5
- 230000006854 communication Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 20
- 230000000474 nursing effect Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- General Factory Administration (AREA)
Abstract
具有:示教图像获取单元,其获取所登记的作业的示教图像;显示单元,其将通过示教图像获取单元获取到的作业的示教图像显示在进行作业的作业员所佩戴的显示装置的显示部中,由此对现实空间叠加显示作业的图像;摄像图像获取单元,其获取与作业员的作业有关的摄像图像;以及生成单元,其根据通过摄像图像获取单元获取的摄像图像以及通过示教图像获取单元获取的作业的示教图像,生成指示图像,显示单元将通过生成单元生成的指示图像显示在显示部中,由此对现实空间进一步叠加显示指示图像,从而解决问题。
Description
技术领域
本发明涉及关于车间内的作业叠加显示指示图像的显示***、信息处理装置、信息处理方法以及程序。
背景技术
在专利文献1中公开了以下技术:在监视器画面上叠加显示作业的指导准则,并辅助作业。
现有技术文献
专利文献
专利文献1:日本特开2008-93813号公报
发明内容
发明要解决的课题
仅将指导准则叠加显示在监视器画面上,缺乏经验的作业员难以判断自己的作业是否为正好与指导准则相符的准确无误的作业。另外,当视线被监视器占据时,实际的手头作业也有可能被忽略。
由于所谓生育高峰一代的退休,具有以一种容易理解并正确的方式将熟练作业员的技能传承给许多后辈作业员的课题。另外,随着全球化,还具有使海外作业员进行在日本国内所进行的作业而不使作业质量下降的课题。
本发明的目的在于适当地进行作业员的作业辅助。
用于解决课题的手段
因此,本发明的显示***具有:示教图像获取单元,其获取所登记的作业的示教图像;显示单元,其将通过上述示教图像获取单元获取的上述作业的示教图像显示在进行上述作业的作业员所佩戴的显示装置的显示部中,由此对现实空间叠加显示上述作业的图像;摄像图像获取单元,其获取与上述作业员的上述作业有关的摄像图像;以及生成单元,其根据通过上述摄像图像获取单元获取的上述摄像图像以及通过上述示教图像获取单元获取的上述作业的示教图像,生成指示图像,上述显示单元将通过上述生成单元生成的上述指示图像显示在上述显示部中,由此对上述现实空间还叠加显示上述指示图像。
发明效果
根据本发明,能够适当地进行作业员的作业辅助。
附图说明
图1是表示显示***的***结构的一例的图。
图2是表示显示装置的硬件结构的一例的图。
图3是表示信息处理装置的硬件结构的一例的图。
图4A是表示示教图像表的一例的图(其一)。
图4B是表示示教图像表的一例的图(其二)。
图5是表示显示***的对示教图像、指示图像进行显示的信息处理的一例的序列图。
图6是表示显示***的设定示教图像的信息处理的一例的序列图。
图7是表示指示图像的其它例的图。
具体实施方式
以下,根据附图说明本发明的实施方式。
图1是表示显示***的***结构的一例的图。如图1所示,显示***作为***结构包括显示装置500和信息处理装置501。显示装置500与信息处理装置501经由网络等可通信地进行连接。在图1的示例中,仅显示装置500与信息处理装置501可通信地进行连接,但是多个显示装置也可以与信息处理装置501可通信地进行连接。信息处理装置501为计算机的一例。
显示装置500为作业员所佩戴的眼镜型显示设备。在本实施方式中,进行气囊的折叠作业的作业员佩戴显示装置500而进行作业。
显示装置500为光透射型显示装置,在相当于眼镜的镜片部分的位置设置有光透射型显示部525。佩戴了显示装置500的作业员经由显示装置500的显示部525在现实空间内能够观察存在于视线前方的物体。并且,在显示部525中显示由信息处理装置501生成的图像,因此佩戴了显示装置500的作业员能够识别由信息处理装置501生成的图像叠加在通过显示部525观察的现实空间的状态、即增强现实空间(AR空间)。
另外,在显示装置500中与显示部525邻接的位置处设置有摄像部527。摄像部527被设置成显示装置500的佩戴人的视线方向与摄像部527的摄像方向形成一致的关系。由此,摄像部527能够拍摄佩戴显示装置500的作业员正在观察的现实空间的作业的图像。作为其它例,摄像部527也可以被设定为摄像方向与显示装置500的佩戴人的视线方向形成固定关系。
信息处理装置501例如根据来自显示装置500的发送请求,获取与熟练作业员的作业有关的所登记的示教图像,并发送至显示装置500。
图像511为示教图像的一例。在图1的示例中,气囊的折叠方法的示教图像显示在显示装置500的显示部525中。
另外,信息处理装置501将由显示装置500的摄像部527拍摄得到的摄像图像与上述示教图像进行比较,根据比较结果,以使上述作业员的作业接近由示教图像所示的动作的方式生成指示图像,发送至显示装置500。
虚线图像512、方向图像513为指示图像的一例。在图1的示例中,表示气囊的正确折叠位置的虚线图像512以及表示折叠方向的方向图像513作为指示图像与作业员实际进行作业的气囊进行叠加而显示在显示装置500的显示部525中。在图1中为了使说明简单,示出了以下示例:将作为示教图像的图像511显示在显示部525的右上方,并且将作为指示图像的虚线图像512、方向图像513与实际气囊叠加显示。然而,显示***也可以将作为示教图像的图像511与实际气囊进行叠加显示。而且,显示***在示教图像与实际气囊图像的差分为阈值以上的情况下,消除与实际气囊叠加显示的示教图像,或者也可以与示教图像一起将作为指示图像的虚线图像512、方向图像513与实际气囊进行叠加显示。
使用图像处理技术进行示教图像与实际气囊图像的图像差分的评价。例如计算示教图像与实际气囊的图像的类似度来比较。即,信息处理装置501预先设定成为合格基准的类似度,在计算出的类似度与合格基准类似度的差分为预定的值(阈值)以上的情况下,判断为显示上述指示图像。此外,也可以在气囊的布料上在预定的多个位置处印刷花纹、图案等,以便在计算类似度时易于提取特征点。
示教图像与实际的气囊图像的比较在预定的定时进行。例如预先准备了每折叠一次的示教图像,用户在每折叠一次实际气囊时,向信息处理装置501指示图像匹配的处理。此时,也可以是以下结构:当用户例如发出语音“核对”时,由摄像部527拍摄实际的气囊图像,其图像数据被发送至信息处理装置501,通过与预先准备的每折叠一次的示教图像中的相当的定时的图像之间的图像匹配处理来计算类似度。示教图像也可以使用熟练的作业员使用与实际气囊相同的气囊作为样本而折叠的情况下的图像。
此外,预先准备的每折叠一次的示教图像与实际的气囊图像的朝向、倍率等有所不同,但是,如果使用能够进行图像的转动、放大缩小来进行比较的模板匹配技术,则能够计算出类似度。但是,也可以是以下结构:在所比较的图像的朝向相反的情况下,由于匹配处理费时,因此,例如在用户发出“核对”的语音之前,显示表示适当的摄像朝向的示教图像,用户在拍摄作业中的气囊时,使实际气囊的朝向符合与该示教图像相同的朝向。
并且,拍摄用于匹配的图像的照相机并不限定于摄像部527,也可以是设置在气囊的折叠台的正上方处固定的用于匹配的专用照相机的结构。在使用设置于显示装置500的摄像部527拍摄实际的气囊图像的情况下,即使是相同气囊,也由于用户的姿势而导致拍摄的角度不同,因此图像匹配的精度不稳定,但是如果使用这种固定的专用照相机则图像匹配精度会稳定。另外,例如在气囊为白色的情况下,也可以将折叠台设为黑色,以使放置于折叠台的上方的气囊变得清晰。
另外,以下那样进行类似度的判断。首先,将实际气囊图像的轮廓与相当的示教图像的轮廓进行比较,校正图像的朝向、大小的同时进行对位。例如提取轮廓上的多个特征点,针对包括各特征点的每个预定的区域计算示教图像与实际气囊图像的类似度,以预定类似度以上的特征点彼此重合的方式使实际气囊图像进行转动或者进行放大缩小来进行两个图像的对位。由此,重合的特征点在相同坐标空间上具有相同坐标值。
接着,在进行了对位的图像之间,比较附加到气囊的图案的外观。在实际气囊如示教图像那样被折叠的情况下,实际气囊图像的图案的外观与示教图像的图案的外观一致。另一方面,如果折叠方法稍微不同,则图案的外观仅局部一致。对该图案的外观进行图像匹配,计算示教图像与实际气囊图像的类似度。
在此,在计算出的类似度与作为合格基准的类似度的差分为预定的值(阈值)以上的情况下,信息处理装置501判断为需要显示上述指示图像。另一方面,也可以将类似度本身设为阈值。即,在类似度超过合格基准值(阈值)的情况下,例如也可以进行如“OK”那样的显示。
另外,例如以下那样生成指示图像。首先,如上所述那样比较轮廓而来进行两个图像的对位。在此,在某一核对定时,已经决定了示教图像中作为核对要点的折痕,因此在实际气囊图像中通过图像处理检测相当的折痕。能够设为以下结构:折痕在相同坐标空间上表示为线段,但是根据表示线段的偏差的角度,将对实际气囊图像中的折痕与示教图像的折痕一致的方向进行指示的箭头的图像显示在显示装置500中。
或者,也可以是以下结构:将图像分割为预定形状的区域(例如格子状),按每个区域来计算示教图像与实际气囊的图像的类似度,在实际气囊图像中,与表示类似度低于预定的值的区域的箭头一起,将“请确认样本(示教图像)”那样的消息显示在显示装置500中,并不特别进行限定。
作业员通过观察指示图像,能够直观地识别气囊的折叠方法等错误,如何折叠才对。
也就是说,根据显示***,能够适当地进行作业员的作业辅助,结果是固定地保持作为作业结果的产品等的质量,并且能够继承熟练作业员的作业技能。
图2是表示显示装置500的硬件结构的一例的图。显示装置500作为硬件结构而具有CPU 521、ROM 522、RAM 523、通信I/F 524、显示部525、麦克风526以及摄像部527。CPU521读取存储在ROM 522的程序来执行各种处理。RAM 523被用作CPU 521的主存储器、工作区等临时存储区域。CPU 521读取存储在ROM 522的程序并执行该程序,由此实现显示装置500的功能和序列图的显示装置500的处理。
通信I/F 524经由网络进行与信息处理装置501的通信处理。显示部525显示各种信息。麦克风526输入佩戴了显示装置500的作业员的发言等的语音。此外,语音被发送至CPU 521,在CPU 521中进行语音识别处理。CPU 521根据语音识别结果,能够接受用户的各种指示。摄像部527进行现实空间的拍摄。ROM 522为存储介质的一例。
图3是表示信息处理装置501的硬件结构的一例的图。信息处理装置501具有CPU531、ROM 532、RAM 533、通信I/F 534、显示部535、输入部536以及HDD 537。CPU 531、ROM532、RAM 533以及通信I/F 534分别与CPU 521、ROM 522、RAM 523以及通信I/F 524相同。显示部535显示各种信息。输入部536具有键盘、鼠标,接受用户的各种操作。HDD 537存储数据、各种程序等。CPU 531读取存储在ROM 532或者HDD 537的程序并执行该程序,由此实现信息处理装置501的功能和序列图的信息处理装置501的处理。ROM 522或者HDD 537为存储介质的一例。
接着,使用图4A和图4B说明信息处理装置501存储于HDD 537等的数据。但是,用于存储数据的存储目的地并不限定于HDD 537,也可以是信息处理装置501可通信的网络上的数据服务器等。
在图4A示出的示教图像表中包括作业ID以及与作业ID对应的作业的示教图像。作为作业的一例,以下,只要并不特别进行限定,存在气囊的折叠作业。但是,作业并不限定于气囊的折叠作业,还存在电焊作业、车身涂装作业、汽车装配作业、护理中的沐浴护理(沐浴作业)、康复作业等各种作业。
在图4A中,说明了在示教图像表中对一个作业ID登记了多个示教图像的结构。但是,如图4B所示,也可以在示教图像表中包括作业ID、构成以作业ID识别的作业的多个工序以及该工序的示教图像(例如成为该工序的要点的示教图像之一)。以下,为了使说明简单,说明示教图像表具有如图4B所示结构。另外,为了使说明简单,说明示教图像还包括使显示部525显示的位置信息。即,显示装置500根据示教图像内包含的位置信息,将示教图像显示在显示部525中。
使用后述的图6说明示教图像的登记(或者设定)的一例。
图5是表示显示***的将示教图像、指示图像进行显示的信息处理的一例的序列图。
在SC500中,显示装置500向信息处理装置501发送示教图像的获取请求。显示装置500可以通过佩戴了显示装置500的作业员的语音输入来确定作业员现在起要进行的作业,在按每个显示装置预先将作业设定于设定文件等的情况下,也可以确定设定于设定文件的作业。另外,显示装置500可以通过佩戴了显示装置500的作业员的语音输入来确定作业工序,也可以计测作业开始起的时间,根据计测出的时间来自动地确定作业工序。在上述示教图像的获取请求中包括识别由显示装置500确定的作业的作业ID以及识别上述作业的哪一个工序的工序ID。
在SC501中,信息处理装置501根据示教图像的获取请求内包含的作业ID和工序ID,从示教图像表获取与上述作业ID和工序ID对应的示教图像。SC501的处理为示教图像获取的处理的一例。
在SC502中,信息处理装置501将获取到的示教图像发送至请求源的显示装置500。
在SC503中,显示装置500将获取到的示教图像显示在显示部525中。在示教图像内包含的位置信息为与实际气囊叠加显示的位置信息的情况下,根据位置信息将示教图像显示在显示部525中的结果是,示教图像与实际折叠过程中的气囊进行叠加显示。另一方面,在示教图像内包含的位置信息表示显示部525的预定位置(例如图1所示,右上方)的情况下,在上述预定位置处显示示教图像。
通过显示成为在显示部525中当前进行的作业的工序的要点的示教图像,作业员能够理解上述作业的工序中的要点来进行作业。
在SC504中,显示装置500经由摄像部527获取由作业员进行的上述作业的工序的摄像图像。SC504的处理为摄像图像获取处理的一例。
在SC505中,显示装置500将获取到的摄像图像发送至信息处理装置501。
在SC506中,信息处理装置501将接收到的摄像图像与在SC502中发送的示教图像进行比较。
在SC507中,信息处理装置501根据比较结果来生成指示图像。例如,信息处理装置501对上述摄像图像和上述示教图像进行图像识别处理,在图像识别处理的结果是图像的差分为所设定的阈值以上的情况下,生成指示图像,在上述差分小于所设定的阈值的情况下,不生成指示图像。但是,该情况并不限制本实施方式,信息处理装置501也可以在上述差分小于所设定的阈值的情况下,生成作业为适当的意思的图像(例如显示OK等的图像),发送至显示装置500。另外,信息处理装置501在上述差分为所设定的阈值以上的情况下,根据图像识别处理的结果等,例如图1所示,作为指示图像而生成表示气囊的正确折叠位置的虚线图像512以及表示折叠方向的方向图像513。例如,信息处理装置501根据图像识别处理的结果、摄像图像内包含的作为作业对象的物体(在本实施方式的示例中为气囊)相对于摄像图像整体的位置等,生成包括使指示图像进行显示时的位置信息的指示图像。
在SC508中,信息处理装置501将所生成的指示图像发送至在S505中发送了摄像图像的显示装置500,
在SC509中,信息处理装置501根据指示图像内包含的位置信息将接收到的指示图像显示在显示部525中。
图6是表示显示***的设定示教图像的信息处理的一例的序列图。
在以下示出的处理中,显示装置500由与作业相应的熟练作业员佩戴。
在SC520中,显示装置500经由摄像部527获取熟练作业员进行的作业的各工序的作业图像。
在SC521中,显示装置500将获取到的作业图像发送至信息处理装置501。
在SC522中,信息处理装置501将接收到的作业图像存储于HDD 537等,由此登记作业图像。
在SC523中,信息处理装置501例如根据操作员经由输入部536等进行的设定操作,设定所登记的作业图像中成为作业中的各工序的要点的示教图像。信息处理装置501根据上述设定等来生成如图4B所示那样的示教图像表。
在上述示例中,示出信息处理装置501选择多个作业图像中成为示教图像的图像的示例。但是,也可以由显示装置500选择多个作业图像中成为示教图像的图像,发送至信息处理装置501。在该情况下,信息处理装置501根据接收到的示教图像等来生成如图4B所示那样的示教图像表。在该情况下,可以是佩戴了显示装置500的熟练操作员经由语音等将哪一个作业的哪一个工序的示教图像输入到显示装置500,也可以是信息处理装置501的操作员经由输入部536等输入并指定哪一个作业的哪一个工序的示教图像。
(变形例)
图7是表示指示图像的其它例的图。
在上述图1等中,以气囊的折叠作业为例,示出了以下示例:由信息处理装置501作为指示图像而生成表示气囊的正确折叠位置的虚线图像512以及表示折叠方向的方向图像513,通过显示装置500进行显示。
然而,如上所述,作业并不限定于气囊的折叠作业。在图7中作为作业的一例,示出沐浴护理的情况下的指示图像的一例。
作业为沐浴护理,在作为工序首先为起床辅助的情况下,信息处理装置501将成为起床辅助的要点的示教图像发送至显示装置500。然后,当从显示装置500接收摄像图像时,信息处理装置501对上述摄像图像和上述示教图像进行图像识别处理,当图像识别处理的结果是图像的差分为所设定的阈值以上的情况下,生成指示图像。
即,在图7的示例中,信息处理装置501根据示教图像以及实际作业员的作业摄像图像生成如图像514所示那样的指示图像。然后,信息处理装置501将所生成的指示图像发送至显示装置500。
显示装置500根据指示图像内包含的位置信息将接收到的指示图像显示在显示部525中。
以下,更具体地说明护理辅助的结构。首先,被护理人穿着附加了标记的专用衬衫。标记例如被附加在腋下、肩部、腰部,此外被附加在胸部、腹部等。此外,该带标记的衬衫也可以被准备为与被护理人的体格相应的多个尺寸。
例如在上述起床辅助的情况下,护理人需要将手放置成遮挡附加在腋下的标记。标记附加在腋下的预定的范围内,在没有适当扶助的情况下,标记在大范围内露出。因此,信息处理装置501也可以在由摄像部527拍摄得到的图像中检测露出的标记的量,在预定量以上的标记露出的情况下,生成“请确认扶助方式。”这种指示图像,发送至显示装置500。当接收指示图像时,显示装置500显示指示图像。
或者,信息处理装置501也可以根据同一定时的熟练护理人的示教图像以及实际护理图像,对标记的露出方式进行图像匹配处理,生成与其分析结果相应的指示图像。例如,还能够构成为以下结构:信息处理装置501将腋下周边的图像分割为多个区域,按每个区域检测标记的露出量。由此,与示教图像进行比较,能够检测露出少的区域、多的区域,因此,能够以成为相同的露出方式(各区域的露出量相同)的方式指示扶助方式的方向、角度等。
此外,也可以是以下结构:示教图像准备多个体型(身高、体重、手的大小等)的熟练护理人的图像,在使示教图像进行显示时,显示接近护理训练中的见习护理人体型的熟练护理人的示教图像。通过设为这种结构,能够减少由体格差异引起的标记的露出方式的不同的影响。
另外,标记并不限定于附加在扶助位置。例如,还有时由于熟练的护理人的视线与经验不足的护理人的视线不同而护理作业的质量产生差异。在这种情况下,在胸部、腹部的多个部位附加多个点状的小标记,信息处理装置501能够根据映现在摄像图像的多个标记来判断护理人的视线的是否适当。
更具体地说,信息处理装置501判断在由摄像部527拍摄得到的图像中附加在被护理人的衬衫上的标记的位置是否适当。例如,信息处理装置501将摄像图像分割为多个区域(格子状等),判断附加在胸部、腹部的各标记是否位于预定的区域。例如,信息处理装置501与熟练护理人的示教图像进行比较,能够根据每个区域的图像的类似度、所包含的标记的数量等来判断是否位于预定区域。即,针对某一区域中,熟练护理人的示教图像内包含的标记并未包含在见习护理人的作业中的摄像图像中,或者即使包含也少于所设定的数量的情况下,考虑为视线偏离。而且,信息处理装置501针对各区域对所包含的标记进行分析,由此,能够以示教图像与实际的护理图像所包含的标记变得相同的方式,对作业中的护理人指示视线的朝向。
以上,详细说明了本发明的优选实施方式,但是本发明并不限定于该特定的实施方式。
例如在上述实施方式中,示出了以下示例:显示***使用图像识别技术来生成示教图像、指示图像,使显示装置500进行显示。但是,也可以在车间等附加标记,使用摄像部527以包含标记的方式拍摄图像。而且,也可以是显示***将标记用于对位来显示示教图像、指示图像。
以上,根据上述实施方式,能够适当地进行作业员的作业辅助。其结果,能够固定地保持作为作业结果的产品、服务等的质量,并且继承熟练作业员的作业技能。
另外,根据上述实施方式的处理,在显示***内,能够通过简单的信息处理,将作业的示教图像、指示图像叠加显示在现实空间内,因此能够减少显示装置500与信息处理装置501的交换的量。因此,能够降低网络带宽的使用率。另外,在显示装置500中,能够通过更简单的信息处理,将作业的示教图像、指示图像叠加显示在现实空间内,因此能够降低显示装置500的CPU 521等的使用率。信息处理装置501也相同。
Claims (6)
1.一种显示***,其特征在于,具有:
示教图像获取单元,其获取所登记的作业的示教图像;
显示单元,其将通过上述示教图像获取单元获取的上述作业的示教图像显示在进行上述作业的作业员所佩戴的显示装置的显示部中,由此对现实空间叠加显示上述作业的图像;
摄像图像获取单元,其获取与上述作业员的上述作业有关的摄像图像;以及
生成单元,其根据通过上述摄像图像获取单元获取的上述摄像图像和通过上述示教图像获取单元获取的上述作业的示教图像,生成指示图像,
上述显示单元将通过上述生成单元生成的上述指示图像显示在上述显示部中,由此对上述现实空间还叠加显示上述指示图像。
2.根据权利要求1所述的显示***,其特征在于,
该显示***还具有:
登记单元,其登记作业的作业图像;以及
设定单元,其设定通过上述登记单元登记的上述作业图像中的示教图像。
3.一种信息处理装置,其特征在于,具有:
示教图像获取单元,其获取所登记的作业的示教图像;
生成单元,其根据通过能够经由网络通信的显示装置获取的摄像图像和通过上述示教图像获取单元获取的上述作业的示教图像,生成指示图像;以及
发送单元,其将通过上述生成单元生成的指示图像发送至上述显示装置。
4.一种由信息处理装置执行的信息处理方法,其特征在于,包括:
示教图像获取步骤,获取所登记的作业的示教图像;
生成步骤,根据通过能够经由网络通信的显示装置获取的摄像图像和通过上述示教图像获取步骤获取的上述作业的示教图像,生成指示图像;以及
发送步骤,将通过上述生成步骤生成的指示图像发送至上述显示装置。
5.一种由显示***执行的信息处理方法,其特征在于,包括:
示教图像获取步骤,获取所登记的作业的示教图像;
第一显示步骤,将通过上述示教图像获取步骤获取的上述作业的示教图像显示在进行上述作业的作业员所佩戴的显示装置的显示部中,由此对现实空间叠加显示上述作业的图像;
摄像图像获取步骤,获取与上述作业员的上述作业有关的摄像图像;
生成步骤,根据通过上述摄像图像获取步骤获取的上述摄像图像和通过上述示教图像获取步骤获取的上述作业的示教图像,生成指示图像;以及
第二显示步骤,将通过上述生成步骤生成的上述指示图像显示在上述显示部中,由此对上述现实空间还叠加显示上述指示图像。
6.一种程序,其特征在于,用于使计算机执行以下步骤:
示教图像获取步骤,获取所登记的作业的示教图像;
生成步骤,根据通过能够经由网络通信的显示装置获取的摄像图像和通过上述示教图像获取步骤获取的上述作业的示教图像,生成指示图像;以及
发送步骤,将通过上述生成步骤生成的指示图像发送至上述显示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016042249 | 2016-03-04 | ||
JP2016-042249 | 2016-03-04 | ||
PCT/JP2017/006541 WO2017150292A1 (ja) | 2016-03-04 | 2017-02-22 | 表示システム、情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108604131A true CN108604131A (zh) | 2018-09-28 |
Family
ID=59742783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780009663.1A Pending CN108604131A (zh) | 2016-03-04 | 2017-02-22 | 显示***、信息处理装置、信息处理方法以及程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190041649A1 (zh) |
JP (1) | JP6279159B2 (zh) |
CN (1) | CN108604131A (zh) |
WO (1) | WO2017150292A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225142A (zh) * | 2018-11-26 | 2020-06-02 | 佳能株式会社 | 图像处理装置及其控制方法和记录介质 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3080167A1 (en) * | 2017-10-26 | 2019-05-02 | Racepoint Energy, LLC | Intelligent lighting control system bulb self identification apparatuses, systems, and methods |
JP6683974B2 (ja) * | 2018-04-17 | 2020-04-22 | 株式会社エクサウィザーズ | コーチング支援装置及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005001764A1 (ja) * | 2003-06-30 | 2005-01-06 | Nec Corporation | 画像入力装置、ロボットおよびプログラム |
CN102483863A (zh) * | 2010-04-28 | 2012-05-30 | 新日铁***集成株式会社 | 信息处理***、信息处理方法和程序 |
JP2014067409A (ja) * | 2012-09-10 | 2014-04-17 | Canon Marketing Japan Inc | 情報処理装置、情報処理システム、その制御方法およびプログラム |
WO2015006334A1 (en) * | 2013-07-08 | 2015-01-15 | Ops Solutions Llc | Eyewear operational guide system and method |
US20150194025A1 (en) * | 2014-01-08 | 2015-07-09 | Toshiba Tec Kabushiki Kaisha | Information processing apparatus, store system and method for recognizing object |
CN105144249A (zh) * | 2013-04-24 | 2015-12-09 | 川崎重工业株式会社 | 零件安装作业支持***及零件安装方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4952204B2 (ja) * | 2006-11-13 | 2012-06-13 | コニカミノルタホールディングス株式会社 | 遠隔作業支援システム、及びその表示方法 |
JP5250834B2 (ja) * | 2008-04-03 | 2013-07-31 | コニカミノルタ株式会社 | 頭部装着式映像表示装置 |
JP2012128648A (ja) * | 2010-12-15 | 2012-07-05 | Toshiba Corp | 操作支援表示装置及び操作支援表示方法 |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
JP2014071756A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | 作業補助システムおよびプログラム |
JP6119228B2 (ja) * | 2012-12-13 | 2017-04-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
US9286726B2 (en) * | 2013-08-20 | 2016-03-15 | Ricoh Company, Ltd. | Mobile information gateway for service provider cooperation |
JP2015118556A (ja) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | コントロールデバイスのための拡張現実オーバーレイ |
CA2979217C (en) * | 2015-03-09 | 2023-12-12 | Alchemy Systems, L.P. | Augmented reality |
-
2017
- 2017-02-22 CN CN201780009663.1A patent/CN108604131A/zh active Pending
- 2017-02-22 US US16/074,646 patent/US20190041649A1/en not_active Abandoned
- 2017-02-22 WO PCT/JP2017/006541 patent/WO2017150292A1/ja active Application Filing
- 2017-02-22 JP JP2017531415A patent/JP6279159B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005001764A1 (ja) * | 2003-06-30 | 2005-01-06 | Nec Corporation | 画像入力装置、ロボットおよびプログラム |
CN102483863A (zh) * | 2010-04-28 | 2012-05-30 | 新日铁***集成株式会社 | 信息处理***、信息处理方法和程序 |
JP2014067409A (ja) * | 2012-09-10 | 2014-04-17 | Canon Marketing Japan Inc | 情報処理装置、情報処理システム、その制御方法およびプログラム |
CN105144249A (zh) * | 2013-04-24 | 2015-12-09 | 川崎重工业株式会社 | 零件安装作业支持***及零件安装方法 |
WO2015006334A1 (en) * | 2013-07-08 | 2015-01-15 | Ops Solutions Llc | Eyewear operational guide system and method |
US20150194025A1 (en) * | 2014-01-08 | 2015-07-09 | Toshiba Tec Kabushiki Kaisha | Information processing apparatus, store system and method for recognizing object |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111225142A (zh) * | 2018-11-26 | 2020-06-02 | 佳能株式会社 | 图像处理装置及其控制方法和记录介质 |
US11373263B2 (en) | 2018-11-26 | 2022-06-28 | Canon Kabushiki Kaisha | Image processing device capable of assisting with setting of work restoration, method of controlling the same, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017150292A1 (ja) | 2018-03-08 |
US20190041649A1 (en) | 2019-02-07 |
JP6279159B2 (ja) | 2018-02-14 |
WO2017150292A1 (ja) | 2017-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106859675B (zh) | 用3d相机进行的用于x射线管的扫描仪自动化的方法和*** | |
US20150206292A1 (en) | Clothing image processing device, clothing image display method and program | |
US8571698B2 (en) | Simple techniques for three-dimensional modeling | |
US20160143420A1 (en) | Makeup application assistance device, makeup application assistance system, and makeup application assistance method | |
JP7197971B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
WO2017161660A1 (zh) | 增强现实设备、***、图像处理方法及装置 | |
CN108604131A (zh) | 显示***、信息处理装置、信息处理方法以及程序 | |
CN111784775B (zh) | 一种标识辅助的视觉惯性增强现实注册方法 | |
JP2017004464A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
CN103295011A (zh) | 信息处理装置、信息处理方法、以及计算机程序 | |
CN109785446A (zh) | 图像识别***及其方法 | |
JP6980097B2 (ja) | サイズ測定システム | |
CN111695431A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
TWI507916B (zh) | 運用擴增實境之衣物試穿方法及系統 | |
KR20200111049A (ko) | 이미지를 이용한 신체 사이즈 측정 시스템 | |
JP2021067469A (ja) | 距離推定装置および方法 | |
US20220011750A1 (en) | Information projection system, controller, and information projection method | |
JP2016004354A (ja) | 身体の姿勢の判定方法 | |
US10083545B2 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium for specifying markers in accepted image data | |
US20070162237A1 (en) | Apparatus and method for evaluating equipment operability | |
JP2014225301A (ja) | 画像処理装置、方法、及びプログラム | |
CN104102895A (zh) | 用于检测被拍摄用户的身体部位的设备和方法 | |
JP5545564B2 (ja) | 布製品把持システム | |
JP2020008981A (ja) | 支援装置及びプログラム | |
JP7169489B1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Tokyo, Japan Applicant after: NS SOLUTIONS Corp. Address before: Tokyo, Japan Applicant before: NS SOLUTIONS Corp. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180928 |