KR20210142084A

KR20210142084A - 보수 지원 시스템, 보수 지원 방법, 프로그램, 가공 화상의 생성 방법 및 가공 화상

Info

Publication number: KR20210142084A
Application number: KR1020217001936A
Authority: KR
Inventors: 다케시 하베; 노리히로 쓰지오카
Original assignee: 에스피피 테크놀로지스 컴퍼니 리미티드
Priority date: 2019-03-22
Filing date: 2020-03-19
Publication date: 2021-11-24
Also published as: EP3944201A1; EP3822923A4; EP3822923A1; JP6970858B2; JPWO2020196276A1; US20220165044A1; JPWO2020194413A1; US11785184B2; TWI831951B; CN112655027A; JP6837603B1; TW202046064A; EP3944201A4; KR20210142630A; CN113614792A; JP7058798B2; EP3822923B1; JPWO2020194778A1; EP3944201B1; WO2020194777A1

Abstract

[과제] 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적은 보수 지원 시스템 등을 제공한다.
[해결 수단] 보수 지원 시스템(100)은, 촬상 수단(12)을 구비하는 웨어러블 단말(1)과, 소정의 기준점(M)을 기준으로 하여 보수 대상(T)을 포함하는 제1의 3차원 영역(TA)을 특정하는 제1 특정 수단(31)과, 웨어러블 단말이 이동한 이동 후 상태의 촬상 수단으로 취득한 촬상 화상에 대하여, 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하는 제2 특정 수단(32)과, 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 수단(33)과, 가공 화상을 보수 지원자측 단말(2)에 송신하는 통신 수단(34)을 구비한다.

Description

보수 지원 시스템, 보수 지원 방법, 프로그램, 가공 화상의 생성 방법 및 가공 화상

본 발명은, 보수 대상인 산업용 기기의 보수 작업을 지원하기 위한 보수 지원 시스템, 보수 지원 방법, 프로그램, 가공 화상의 생성 방법 및 가공 화상에 관한 것이다. 특히, 본 발명은, 보수 대상인 산업용 기기 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적은 보수 지원 시스템, 보수 지원 방법, 프로그램, 가공 화상의 생성 방법 및 가공 화상에 관한 것이다.

종래, 일반적으로, 기판 처리 장치 등의 산업용 기기의 트러블이 발생한 경우, 보수 대상인 산업용 기기의 설치 현장에 있는 보수 작업자가, 트러블의 상황을 확인한 후에, 보수 대상의 제조 회사측의 보수 지원자에게 전화로 트러블의 상황을 전하고, 보수 지원자가 전화에 의하여 보수 작업자에게 각종 지시를 내리는 대응을 행하고 있다.

상기의 전화 대응을 행해도 트러블이 해결되지 않는 경우에는, 제조 회사측의 숙련 작업자의 예정이 비어 있는 타이밍에, 보수 대상의 설치 현장에 숙련 작업자를 파견하는 대응을 행하고 있다.

상기의 전화 대응의 경우, 구두에 의한 의사소통이기 때문에, 트러블의 상황이 보수 지원자에게 잘 전해지지 않거나, 보수 지원자의 지시가 보수 작업자에게 잘 전해지지 않아, 트러블을 해결할 수 없는 경우가 있다. 필요에 따라, 보수 작업자가 취득한 보수 대상의 촬상 화상을 전자 메일 등으로 보수 지원자에게 송신하여, 보수 지원자가 촬상 화상을 확인함으로써 트러블의 상황을 파악하는 경우도 있지만, 상황 파악에 시간이 걸린다고 하는 문제가 있다.

또, 상기의 숙련 작업자를 파견하는 대응의 경우, 즉시 대응이 어렵다고 하는 문제가 있다.

상기와 같은 문제를 해결하기 위하여, 촬상 수단 및 디스플레이를 구비하는 웨어러블 단말(헤드 마운트 디스플레이)을 보수 작업자가 장착하고, 이 웨어러블 단말을 이용하여 보수 대상을 촬상하고, 이 촬상 화상(동영상)을 인터넷 등의 전기 통신 회선을 통하여 보수 지원자측 단말에 송신하는 보수 지원 시스템이 제안되고 있다.

그러나, 상기의 보수 지원 시스템에 있어서, 촬상 화상을 그대로 보수 지원자측 단말에 송신하면, 촬상 화상 중에 설치 현장의 기밀 정보가 포함될 우려가 있다. 기밀 정보가 포함되는 촬상 화상이 보수 지원자측에 송신되면, 보수 지원자가 기밀 정보를 알 수 있게 되어 문제이다.

그래서, 기밀 정보의 누설을 방지 가능한 보수 지원 시스템으로서, 예를 들면, 특허문헌 1에 기재된 보수 지원 시스템(특허문헌 1에서는, 화상 처리 시스템)이 제안되고 있다.

특허문헌 1에 기재된 시스템은, 원영역(元領域)을 포착한 원화상(元畵像)을 취득하는 취득부와, 상기 원화상 중의 1개 이상의 식별자를 인식하는 인식부와, 상기 인식부에서 인식된 상기 1개 이상의 식별자에 의거하여, 상기 원영역 중 제1 영역을 포착한 제1 화상 부분, 및 상기 원영역으로부터 상기 제1 영역을 제외한 제2 영역을 포착한 제2 화상 부분 중 적어도 한쪽을 특정하는 특정부와, 상기 특정부에 의한 특정 결과에 따라, 상기 제1 화상 부분을 포함하는 처리 완료 화상을 생성하는 생성부를 갖는, 화상 처리 시스템이다(특허문헌 1의 청구항 1).

특허문헌 1에 기재된 시스템에 의하면, 제1 영역을 보수 대상으로 하고, 제2 영역을 보수 대상 이외의 기밀 정보 등으로 함으로써, 기밀 정보 등의 누설을 방지 가능하다고 생각할 수 있다.

그러나, 특허문헌 1에 기재된 시스템에서는, 원화상 중에 반드시 식별자가 포함되지 않으면 안 된다고 하는 제약이 있다. 구체적으로는, 특허문헌 1에는, 인쇄 장치(300)의 내부 영역(4개의 식별자(30)로 둘러싸인 직사각형 영역)을 보수 대상으로 하는 예를 들고 있으며, 카메라(170)를 구비하는 웨어러블 툴(100)을 장착하는 작업자(10)의 움직임에 따라 원영역이 변동하고, 상이한 원영역을 포착한 원화상(171a~173a)이 취득되지만, 어느 원화상(171a~173a)에도 식별자(30)가 포함될 필요가 있는 것이 기재되어 있다(특허문헌 1의 단락 0063~0065, 도 6, 도 7 등).

따라서, 예를 들면, 보수 대상에 근접하여 보수 대상의 세부를 촬상하려고 하면, 원화상 중에 식별자가 포함되는 범위에서밖에 근접할 수 없다고 하는 제약이 발생한다.

또, 특허문헌 1에 기재된 시스템에서는, 식별자를 기준으로 하여 2차원적으로 제1 화상 부분(보수 대상에 대응하는 부분)을 특정하는 구성이기 때문에, 식별자가 붙여진 보수 대상을 식별자에 대향하는 특정 일방향으로부터 촬상하지 않으면 안 된다고 하는 제약이 발생한다.

일본국 특허공개 2017-211766호 공보

본 발명은, 상기 종래 기술의 문제점을 해결하기 위하여 이루어진 것으로, 보수 대상인 산업용 기기 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적은 보수 지원 시스템, 보수 지원 방법, 프로그램, 가공 화상의 생성 방법 및 가공 화상을 제공하는 것을 과제로 한다.

상기 과제를 해결하기 위하여, 본 발명은, 촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말과, 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 제1 특정 수단과, 상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하는 제2 특정 수단과, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제2 특정 수단으로 특정한 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 수단과, 상기 가공 화상 생성 수단으로 생성한 상기 가공 화상을 보수 지원자가 조작하는 보수 지원자측 단말에 송신하는 통신 수단을 구비하는 것을 특징으로 하는 보수 지원 시스템을 제공한다.

본 발명에 의하면, 제1 특정 수단에 의하여, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역이 특정된다. 본 발명에 있어서의 「초기 상태의 촬상 수단」이란, 소정의 기준점이 촬상 화상 중에 위치하는 상태에 있는 촬상 수단을 의미한다.

구체적으로는, 예를 들면, 촬상 화상의 임의의 점을 AR 커서를 이용하여 지정하고, 이 지정한 위치를 기준점으로 하는 경우, 초기 상태의 촬상 수단이란, AR 커서를 이용하여 지정한 점을 촬상할 수 있는 위치에 있는 촬상 수단을 의미한다.

또, 예를 들면, 제1 특정 수단이 촬상 화상에 소정의 화상 처리를 실시함으로써, 촬상 화상 중의 특징적인 부위(예를 들면, 보수 대상의 모서리부 등)에 대응하는 화소 영역을 추출하고, 이 화소 영역의 중심 등을 기준점으로 하는 경우, 초기 상태의 촬상 수단이란, 특징적인 부위를 촬상할 수 있는 위치에 있는 촬상 수단을 의미한다.

또한, 예를 들면, 기준점이 보수 대상 등에 붙여진 마커에 의하여 규정되어 있는 경우, 초기 상태의 촬상 수단이란, 이 마커를 촬상할 수 있는 위치에 있는 촬상 수단을 의미한다.

또, 제1의 3차원 영역 및 제2의 3차원 영역은, 예를 들면, 이들이 직방체 형상의 3차원 영역인 경우, 기준점을 기준으로 하는 3차원 좌표계로 나타내어진 3차원 영역의 8개의 각 정점의 좌표로 규정되게 된다.

상기의 경우, 예를 들면, 기준점을 기준으로 하는 각 정점의 좌표를 제1 특정 수단에 미리 기억시켜 두거나, 혹은, AR 커서를 이용하여 각 정점을 지정함과 더불어, 미지의 환경 중에서 센서의 자기 위치와 주위의 환경 지도를 구축해 나가는 기술로서 공지인 SLAM(Simultaneous Localization and Mapping) 기술을 이용함으로써, 제1 특정 수단은, 제1의 3차원 영역 및/또는 제2의 3차원 영역을 특정 가능하다.

도 10은, SLAM 기술의 개요를 설명하는 설명도이다.

도 10에 나타내는 바와 같이, SLAM 기술에서는, 이하의 제1 단계~제4 단계를 실행한다.

(1) 제1 단계: 우선, 상이한 시각 t0, t1에 각각 촬상 대상을 촬상하여 취득한 2개의 촬상 화상에 있어서, 대응하는 동일한 점(특징점)을 검출한다. 도 10에 나타내는 예에서는, 촬상 대상의 모서리부가 특징점으로서 검출되고 있다.

(2) 제2 단계: 다음으로, 2개의 촬상 화상에 있어서의 특징점의 위치를 비교함으로써, 촬상 수단의 자세의 변화량(병행/회전 성분)을 산출한다. 또, 특징점의 조합으로부터, 삼각 측량의 원리에 의하여, 특징점의 3차원 공간에서의 위치를 구한다. 이것이 환경 지도의 구축에 상당한다.

(3) 제3 단계: 또한, 다른 시각 t1, t2에 각각 촬상 대상을 촬상하여 취득한 2개의 촬상 화상에 있어서, 특징점의 3차원 공간에서의 위치의 변화를 구하고, 이 변화로부터, 촬상 수단의 자기 위치를 추정한다.

(4) 제4 단계: 3차원 공간 상에 특징점을 등록, 갱신한다(환경 지도의 갱신).

이후, SLAM 기술에서는, 제3, 제4 단계를 반복하여 실행하게 된다.

상기와 같이, SLAM 기술은, 환경 지도의 구축(3차원 형상의 복원)과, 촬상 수단의 자기 위치의 추정을 번갈아 반복하여, 항상 3차원 공간을 파악하는 기술이다.

본 발명에 있어서의 기준점은, 이 환경 지도를 구축(3차원 형상을 복원, 환언하면 3차원 공간을 파악)한 후에, 3차원 공간 상에 임의로 설정되게 된다.

또한, SLAM 기술의 보다 구체적인 내용은, 예를 들면, 정보 처리 학회 연구 보고 Vol. 2014-CVIM-190 No. 40 「이동 카메라 화상으로부터의 3차원 형상 복원·자기 위치 추정(SLAM)과 고밀도인 3차원 형상 복원」에 기재된 바와 같이 공지이기 때문에, 본 명세서에서는 이 이상의 상세한 설명을 생략한다.

다음으로, 본 발명에 의하면, 제2 특정 수단에 의하여, 웨어러블 단말이 이동한 이동 후 상태에 있어서, 촬상 수단으로 취득한 촬상 화상에 있어서의 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역이 특정되거나 및/또는 제2의 3차원 영역에 대응하는 마스크 화소 영역이 특정된다. 제1 특정 수단으로 제1의 3차원 영역만을 특정한 경우에는, 제2 특정 수단에서는, 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역이 특정된다. 또, 제1 특정 수단으로 제2의 3차원 영역만을 특정한 경우에는, 제2 특정 수단에서는, 제2의 3차원 영역에 대응하는 마스크 화소 영역이 특정된다. 또한, 제1 특정 수단으로 제1의 3차원 영역 및 제2의 3차원 영역을 특정한 경우에는, 제2 특정 수단에서는, 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및 제2의 3차원 영역에 대응하는 마스크 화소 영역이 특정된다.

상술한 바와 같이, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 있어서의 기준점을 기준으로 하는 제1의 3차원 영역 및/또는 제2의 3차원 영역은, 제1 특정 수단으로 특정되어 있기 때문에, 웨어러블 단말이 이동한 이동 후 상태에 있어서, 촬상 수단으로 취득한 촬상 화상에 있어서의 기준점을 기준으로 하는 제1의 3차원 영역 및/또는 제2의 3차원 영역은, 예를 들면, SLAM 기술을 이용함으로써 특정 가능하다. 그리고, 이동 후 상태에 있어서 제1의 3차원 영역 및/또는 제2의 3차원 영역을 특정할 때에, 이동 후 상태의 촬상 수단으로 취득한 촬상 화상에 반드시 기준점이 포함될 필요는 없다.

다음으로, 본 발명에 의하면, 가공 화상 생성 수단에 의하여, 제2 특정 수단으로 특정한 마스크 화소 영역(제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및/또는 제2의 3차원 영역에 대응하는 마스크 화소 영역)을 불가시로 한 가공 화상이 생성된다. 본 발명에 있어서의 「마스크 화소 영역을 불가시로 한 가공 화상」으로서는, 예를 들면, 촬상 화상과 비치고 있는 영역은 동일하지만 촬상 화상에 있어서의 마스크 화소 영역을 검게 칠한 화상이나, 촬상 화상으로부터 마스크 화소 영역 이외의 화소 영역만을 잘라낸 화상을 들 수 있다.

제2 특정 수단으로 특정한 마스크 화소 영역이 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역인 경우, 제1의 3차원 영역이 보수 대상을 포함하고, 유효 화소 영역이 제1의 3차원 영역에 대응하기 때문에, 제1의 3차원 영역을 보수 대상보다 과도하게 크게 설정하지 않는 한, 유효 화소 영역을 제외한 마스크 화소 영역을 불가시로 한 가공 화상에는, 보수 대상 이외의 기밀 정보 등에 대응하는 화소 영역이 포함되지 않게 된다.

또, 제2 특정 수단으로 특정한 마스크 화소 영역이 제2의 3차원 영역에 대응하는 마스크 화소 영역인 경우, 제2의 3차원 영역에 보수 대상이 포함되지 않기 때문에, 제2의 3차원 영역이 적어도 보수 대상 이외의 기밀 정보 등을 포함하도록 설정해 둠으로써, 마스크 화소 영역을 불가시로 한 가공 화상에는, 보수 대상 이외의 기밀 정보 등에 대응하는 화소 영역이 포함되지 않게 된다.

마지막으로, 본 발명에 의하면, 통신 수단에 의하여, 가공 화상 생성 수단으로 생성한 가공 화상이 보수 지원자가 조작하는 보수 지원자측 단말에 송신된다. 따라서, 보수 지원자측 단말에서는, 제1의 3차원 영역에 포함되는 보수 대상이 시인(視認)되거나, 및/또는, 제2의 3차원 영역에 포함되는 보수 대상 이외의 기밀 정보 등이 시인되지 않게 되어, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하다.

이상에 설명한 바와 같이, 본 발명에 의하면, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 기준점이 포함되면 되고, 웨어러블 단말이 이동한 이동 후 상태의 촬상 수단으로 취득한 촬상 화상 중에 기준점이 포함될 필요는 없다. 또, 본 발명에 의하면, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하기 때문에, 촬상 수단의 촬상 방향에 제약을 받지 않는다. 따라서, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적다.

본 발명과 같이, 보수 대상을 포함하는 소정의 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및/또는 보수 대상을 제외한 소정의 제2의 3차원 영역에 대응하는 마스크 화소 영역을 불가시로 한 가공 화상을 생성하여, 마스크 화소 영역에 포함되는 보수 대상 이외의 기밀 정보 등의 누설을 방지하는 기술을, 본 발명자들은 「Virtual Partition」 기술이라고 칭하고 있다.

또한, 본 발명에 있어서의 「산업용 기기」에는, 일반 사단법인 일본 산업 기계 공업회에서 산업 기계로서 정의되어 있는, 광산 기계, 화학 기계, 환경 장치, 동력 전도 장치, 탱크, 업무용 세탁기, 보일러·원동기, 플라스틱 기계, 풍수력 기계, 운반 기계, 제철 기계 등이 포함된다. 또, 다른 관점에서, 본 발명에 있어서의 「산업용 기기」에는, 유체물을 제조하는 제조 장치가 포함된다. 기판 처리 장치는, 산업용 기기의 일종이며, 처리 완료 기판(예를 들면, 에칭 처리를 실시한 기판이나, 성막 처리를 실시한 기판)을 제조하는 점에서, 유체물을 제조하는 제조 장치의 일종이다. 전자 기기가 서버를 통하여 전기적으로 접속된 IT 시스템은, 유체물을 제조하는 제조 장치에 포함되지 않고, 산업용 기기에도 포함되지 않는다.

또, 본 발명에 있어서, 「웨어러블 단말이 이동한 이동 후 상태」란, 웨어러블 단말이 그 이동 종점(예를 들면, 보수 작업 종료 시의 웨어러블 단말의 위치)에 도달한 상태만을 의미하는 것이 아니라, 이동 종점에 도달할 때까지의 이동 과정에 있어서의 소정의 단시간 피치마다의 각 위치로 이동한 상태를 의미한다. 따라서, 가공 화상 생성 수단에서는, 이동 종점에 도달할 때까지, 촬상 수단에 의하여 실시간으로(소정의 단시간 피치마다) 취득한 모든 촬상 화상에 대하여, 마스크 화소 영역을 불가시로 한 가공 화상이 생성되게 된다.

본 발명에 있어서, 초기 상태의 촬상 수단으로 취득한 촬상 화상 중에 기준점이 포함될 뿐만 아니라, 이동 후 상태의 촬상 수단으로 취득한 촬상 화상 중에도 기준점이 항상 포함되도록 웨어러블 단말을 이동시켜 보수 지원을 행하는 양태로 하는 것도 가능하다. 그러나, 이와 같은 양태에서는, 특허문헌 1에 기재된 시스템과 동일한 촬상 조건의 제약이 발생하게 된다.

본 발명에 의하면, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상 중에 상기 기준점이 포함될 필요가 없는 양태를 채용 가능하다. 환언하면, 촬상 수단의 시야 내에 기준점이 존재하는 위치로부터 존재하지 않는 위치까지 촬상 수단이 이동하도록, 웨어러블 단말의 이동 위치의 제약을 풀고 보수 지원을 행하는 것이 가능하다.

본 발명에 있어서, 예를 들면, 상기 기준점은, 마커에 의하여 규정된다.

상기 기준점이 마커에 의하여 규정되는 경우, 예를 들면, 상기 제1 특정 수단은, 상기 촬상 수단으로 취득한 촬상 화상을 이용하여(예를 들면, 촬상 화상을 이용한 SLAM 기술에 의하여) 3차원 공간을 파악한 후, 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 구성이 된다.

바람직하게는, 상기 제2 특정 수단은, 촬상 방향이 서로 상이한 복수의 제2의 촬상 수단을 구비하고, 상기 복수의 제2의 촬상 수단으로 취득한 촬상 화상에 의거하여, 상기 마스크 화소 영역을 특정한다.

상기의 바람직한 구성에 의하면, 제2 특정 수단이, 촬상 방향이 서로 상이한 복수의 제2의 촬상 수단을 구비하기 때문에, 예를 들면, 복수의 제2의 촬상 수단으로 취득한 촬상 화상에 의거하여, 이른바 양안 입체시(立體視)(스테레오시(視))를 이용한 SLAM 기술을 적용 가능하다. 또, 예를 들면, 제2의 촬상 수단으로 취득한 촬상 화상마다 단안시(單眼視)의 SLAM 기술을 적용하고, 이들을 조합함으로써, 마스크 화소 영역을 높은 정밀도로 특정 가능하다.

바람직하게는, 상기 웨어러블 단말은, 디스플레이를 구비하는 헤드 마운트 디스플레이이고, 상기 헤드 마운트 디스플레이는, 상기 디스플레이에 상기 촬상 화상을 표시하는 상태와, 상기 디스플레이에 상기 가공 화상을 인식 가능하게 표시하는 상태가 전환 가능하게 구성되어 있다.

상기의 바람직한 구성에 의하면, 디스플레이에 촬상 화상을 표시하는 상태에서는, 예를 들면, 마스크 화소 영역을 검게 칠한 가공 화상을 표시하는 경우와 상이하게, 보수 작업자의 시계(視界)를 차단하는 부분이 없기 때문에, 보수 작업을 안전하게 행하는 것이 가능하다. 또한, 상기의 바람직한 구성에 있어서의 「촬상 화상을 표시하는 상태」란, MR 헤드셋과 같이, 디스플레이에 촬상 수단으로 취득한 촬상 화상을 실제로 표시하는 상태(보수 작업자가 이 표시된 촬상 화상을 시인하는 상태) 외에, 투과형의 AR 헤드셋과 같이, 디스플레이가 투과형이고, 보수 작업자가 아무것도 표시되어 있지 않은 투과형의 디스플레이를 통하여 보수 대상을 직접 시인할 수 있는 상태도 포함하는 개념이다.

한편, 상기의 바람직한 구성에 의하면, 디스플레이에 가공 화상을 인식 가능하게 표시하는 상태에서는, 보수 작업자도 보수 지원자측 단말에 송신되는 가공 화상을 인식 가능하다. 이 때문에, 보수 대상 이외의 기밀 정보 등의 누설이 방지되어 있는 것을 보수 작업자도 확인 가능하여, 보수 작업자에게 안심감을 줄 수 있다. 또한, 상기의 바람직한 구성에 있어서의 「가공 화상을 인식 가능하게 표시하는 상태」에는, 보수 지원자측 단말에 송신되는 가공 화상과 동일한 것(촬상 화상과 비치고 있는 영역은 동일하지만 촬상 화상에 있어서의 마스크 화소 영역을 검게 칠한 화상이나, 촬상 화상으로부터 마스크 화소 영역 이외의 화소 영역만을 잘라낸 화상 등)을 표시하는 상태 외에, 촬상 화상에 마스크 화소 영역과 마스크 화소 영역 이외의 화소 영역의 경계선을 오버레이한 화상을 표시하는 상태나, 표시 화면의 일부(예를 들면 한쪽 구석)에 가공 화상을 축소하여 표시하는 상태 등도 포함된다.

바람직하게는, 상기 제1 특정 수단, 상기 제2 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단이, 상기 웨어러블 단말에 장착되어 있다.

상기의 바람직한 구성에 의하면, 촬상 수단으로 보수 대상을 촬상하여 취득한 촬상 화상에 있어서의 마스크 화소 영역을 불가시로 한 가공 화상을 생성하고, 이 가공 화상을 보수 지원자측 단말에 송신할 때까지의 일련의 동작을 실행하는 각 수단의 모두가 웨어러블 단말에 장착되어 있다. 이것은, 웨어러블 단말 자체에 장착된 센서 등에 의하여 웨어러블 단말(촬상 수단)의 위치를 검출하는, 인사이드아웃 방식의 구성으로 되어 있다. 웨어러블 단말과는 별체인 외부 디바이스를 이용하여 웨어러블 단말의 위치를 검출하는 아웃사이드인 방식의 구성(예를 들면, 웨어러블 단말이 구비하는 촬상 수단과는 다른 외부에 설치한 촬상 수단이나 센서 등을 이용하여, 웨어러블 단말(웨어러블 단말이 구비하는 촬상 수단)의 위치를 검출하는 구성 등)의 경우, 웨어러블 단말의 소비 전력이 저하된다고 하는 이점이 있지만, 외부 디바이스와 웨어러블 단말의 사이에 차폐물이 존재하지 않는 등의 환경면에서의 제약이나, 고정밀도의 외부 디바이스가 필요해지기 때문에 고비용이 되는 결점이 있다. 따라서, 상기의 바람직한 구성으로 함으로써, 저비용이고, 환경면에서의 제약이 적다고 하는 이점이 얻어진다.

바람직하게는, 본 발명은, 상기 보수 지원자측 단말을 구비하고, 상기 보수 지원자측 단말은, 상기 통신 수단과 쌍방향으로 데이터 통신 가능하게 구성되어 있다.

상기의 바람직한 구성에 의하면, 보수 지원자측 단말과 통신 수단이 쌍방향으로 데이터 통신 가능하기 때문에, 통신 수단으로부터 보수 지원자측 단말에 가공 화상을 송신할 뿐만 아니라, 반대로 보수 지원자측 단말로부터 통신 수단에, 보수 작업용 화상을 송신하거나, 보수 작업의 내용을 지시하는 음성 데이터를 송신하는 등, 본 발명에 따른 보수 지원 시스템만을 이용하여 효과적인 보수 작업을 행하는 것이 가능하다.

상기의 바람직한 구성에 있어서, 보다 바람직하게는, 상기 통신 수단 및 상기 보수 지원자측 단말에 전기적으로 접속되고, 상기 보수 작업자의 식별 정보인 제1 식별 정보 및 상기 보수 지원자의 식별 정보인 제2 식별 정보가 기억된 서버를 구비하며, 상기 서버는, 상기 통신 수단으로부터 상기 서버에 송신된 식별 정보와 상기 서버에 기억된 상기 제1 식별 정보가 합치하는지 여부를 판정함과 더불어, 상기 보수 지원자측 단말로부터 상기 서버에 송신된 식별 정보와 상기 서버에 기억된 상기 제2 식별 정보가 합치하는지 여부를 판정하고, 상기 통신 수단으로부터 상기 서버에 송신된 상기 식별 정보와 상기 제1 식별 정보가 합치하며, 또한, 상기 보수 지원자측 단말로부터 상기 서버에 송신된 식별 정보와 상기 제2 식별 정보가 합치하는 경우에, 상기 서버를 통한 상기 통신 수단과 상기 보수 지원자측 단말의 쌍방향의 데이터 통신을 가능하게 하도록 구성되어 있다.

상기의 보다 바람직한 구성에 의하면, 서버에 의하여, 통신 수단으로부터 서버에 송신된 식별 정보와 서버에 기억된 제1 식별 정보(보수 작업자의 식별 정보)가 합치하는지 여부가 판정된다. 환언하면, 서버에 의하여, 본 발명에 따른 보수 지원 시스템을 이용하는 보수 작업자의 식별 정보가 서버에 송신되었는지 여부가 판정된다. 또, 서버에 의하여, 보수 지원자측 단말로부터 서버에 송신된 식별 정보와 서버에 기억된 제2 식별 정보(보수 지원자의 식별 정보)가 합치하는지 여부가 판정된다. 환언하면, 서버에 의하여, 본 발명에 따른 보수 지원 시스템을 이용하는 보수 지원자의 식별 정보가 서버에 송신되었는지 여부가 판정된다. 그리고, 통신 수단으로부터 서버에 송신된 식별 정보와 제1 식별 정보가 합치하고, 또한, 보수 지원자측 단말로부터 서버에 송신된 식별 정보와 제2 식별 정보가 합치하는 경우(환언하면, 본 발명에 따른 보수 지원 시스템을 이용하는 보수 작업자의 식별 정보 및 보수 지원자의 식별 정보의 쌍방이 서버에 송신되었다고 인증된 경우)에, 서버를 통한 통신 수단과 보수 지원자측 단말의 쌍방향의 데이터 통신이 가능해진다.

상기의 보다 바람직한 구성에 의하면, 본 발명에 따른 보수 지원 시스템을 이용하는 보수 작업자의 식별 정보 및 보수 지원자의 식별 정보의 쌍방이 서버에 송신되었다고 인증된 경우에 비로소, 통신 수단과 보수 지원자측 단말의 쌍방향의 데이터 통신이 가능해지기 때문에, 미리 결정된 보수 작업자 및 보수 지원자밖에 본 발명에 따른 보수 지원 시스템을 이용할 수 없어, 보수 대상인 산업용 기기 이외의 기밀 정보 등의 누설을 보다 확실하게 방지 가능하다.

또한, 상기의 바람직한 구성 또는 상기의 보다 바람직한 구성에 더하여, 보수 대상인 산업용 기기(예를 들면, 기판 처리 장치 등)로부터 보수 지원자측 단말에 데이터 통신 가능한 구성으로 하고, 예를 들면, 보수 대상에서 얻어지는 프로세스 로그 데이터(보수 대상의 프로세스에 관련되는 측정값이나 설정값)를 보수 지원자측 단말에 송신하면, 보수 지원자는 이 프로세스 로그 데이터를 참조하면서, 보수 작업의 내용을 지시할 수 있어, 한층 더 효과적인 보수 작업을 행하는 것이 가능하다.

또한, 상기 과제를 해결하기 위하여, 본 발명은, 촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말을 이용한 보수 지원 방법으로서, 제1 특정 수단에 의하여, 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 제1 특정 공정과, 상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 제2 특정 수단에 의하여, 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하는 제2 특정 공정과, 가공 화상 생성 수단에 의하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제2 특정 공정에서 특정한 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 공정과, 통신 수단에 의하여, 상기 가공 화상 생성 공정에서 생성한 상기 가공 화상을 보수 지원자측 단말에 송신하는 통신 공정을 포함하는 것을 특징으로 하는 보수 지원 방법으로서도 제공된다.

또, 상기 과제를 해결하기 위하여, 본 발명은, 상기 보수 지원 방법이 포함하는 상기 제1 특정 공정, 상기 제2 특정 공정, 상기 가공 화상 생성 공정 및 상기 통신 공정을, 상기 제1 특정 수단, 상기 제2 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단으로 하여금 각각 실행하게 하기 위한 프로그램으로서도 제공된다.

또한, 상기의 프로그램을 기억시킨 컴퓨터(CPU)로 판독 가능한 기억 매체로서 제공하는 것도 가능하다.

또, 상기 과제를 해결하기 위하여, 본 발명은, 보수 작업자가 장착하는 웨어러블 단말이 구비하는 촬상 수단으로 취득한 촬상 화상에 있어서, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하고, 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 것을 특징으로 하는 가공 화상의 생성 방법으로서도 제공된다.

또, 상기 과제를 해결하기 위하여, 본 발명은, 보수 작업자가 장착하는 웨어러블 단말이 구비하는 촬상 수단으로 취득한 촬상 화상을 이용하여 가공 화상을 생성하는 방법으로서, 제1 특정 수단에 의하여, 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 제1 특정 공정과, 상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 제2 특정 수단에 의하여, 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하는 제2 특정 공정과, 가공 화상 생성 수단에 의하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제2 특정 공정에서 특정한 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 공정을 포함하는 것을 특징으로 하는 가공 화상의 생성 방법으로서도 제공된다.

또, 상기 과제를 해결하기 위하여, 본 발명은, 보수 작업자가 장착하는 웨어러블 단말이 구비하는 촬상 수단으로 취득한 촬상 화상에 있어서, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역에 대응하는 마스크 화소 영역이, 불가시가 된 가공 화상으로서도 제공된다.

또한, 상기 과제를 해결하기 위하여, 본 발명은, 상기의 생성 방법에 의하여 생성되고, 상기 보수 대상인 산업용 기기를 포함하는 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역이, 불가시가 된 가공 화상으로서도 제공된다.

본 발명에 의하면, 보수 대상 이외의 기밀 정보 등의 누설을 방지 가능하고 또한 촬상 조건의 제약이 적다고 하는 효과가 얻어진다.

도 1은, 본 발명의 제1 실시 형태에 따른 보수 지원 시스템의 개략 구성을 모식적으로 나타내는 도면이다.
도 2는, 도 1에 나타내는 보수 지원 시스템의 개략 동작을 설명하는 설명도이다.
도 3은, 도 1에 나타내는 초기 상태의 촬상 수단으로 취득한 촬상 화상 및 가공 화상 생성 수단으로 생성한 가공 화상의 일례를 나타내는 도면이다.
도 4는, 도 1에 나타내는 웨어러블 단말이 이동한 이동 후 상태의 촬상 수단으로 취득한 촬상 화상 및 가공 화상 생성 수단으로 생성한 가공 화상의 일례를 나타내는 도면이다.
도 5는, 본 발명의 제2 실시 형태에 따른 보수 지원 시스템에 있어서의 제1의 3차원 영역의 설정예를 설명하는 설명도이다.
도 6은, 본 발명의 제3 실시 형태에 따른 보수 지원 시스템에서 이용하는 제2의 3차원 영역을 설명하는 설명도이다.
도 7은, 본 발명의 제4 실시 형태에 따른 보수 지원 시스템에 있어서의 제1의 3차원 영역의 설정예 및 이때의 제2 특정 수단의 개략 동작을 설명하는 설명도이다.
도 8은, 도 7에 나타내는 바와 같이 제1의 3차원 영역을 설정했을 때의 제2 특정 수단의 개략 동작을 설명하는 평면도이다.
도 9는, 도 7에 나타내는 바와 같이 제1의 3차원 영역을 설정함과 더불어 제2의 3차원 영역을 설정했을 때에 가공 화상 생성 수단으로 생성되는 가공 화상의 일례를 나타내는 도면이다.
도 10은, SLAM 기술의 개요를 설명하는 설명도이다.

이하, 첨부 도면을 참조하면서, 본 발명의 실시 형태에 따른 보수 지원 시스템에 대하여 설명한다.

<제1 실시 형태>

도 1은, 본 발명의 제1 실시 형태에 따른 보수 지원 시스템의 개략 구성을 모식적으로 나타내는 도면이다. 도 1의 (a)는 전체 구성도이고, 도 1의 (b)는 웨어러블 단말 및 이것에 장착된 구성 요소를 나타내는 도면이며, 도 1의 (c)는 도 1의 (b)에 나타내는 제어 신호 처리 수단의 내부 구성을 나타내는 블록도이다.

도 1의 (a)에 나타내는 바와 같이, 본 실시 형태에 따른 보수 지원 시스템(100)은, 웨어러블 단말(1)과, 보수 지원자측 단말(2)과, 제어 신호 처리 수단(3)을 구비하고 있다. 또, 보수 지원 시스템(100)은, 바람직한 구성으로서, 서버(6)를 구비하고 있다.

웨어러블 단말(1)은, 보수 대상(기판 처리 장치 등의 산업용 기기)(T)의 설치 현장에 있고 보수 작업을 행하는 보수 작업자가 장착하는 단말이다.

도 1의 (b)에 나타내는 바와 같이, 본 실시 형태의 웨어러블 단말(1)은, 안경형의 웨어러블 단말(헤드 마운트 디스플레이)로 되어 있어, 보수 작업자가 귀에 거는 프레임(11)을 구비한다. 또, 웨어러블 단말(1)은, 프레임(11)의 전측(前側) 중앙(보수 작업자가 프레임(11)을 귀에 걸었을 때에 보수 작업자의 미간 근방에 상당하는 위치)에 촬상 수단(12)을 구비한다. 본 실시 형태의 촬상 수단(12)으로서는, 컬러(RGB) 카메라가 이용되고 있다. 그리고, 촬상 수단(12)의 촬상 방향(시선 방향)(L1)은, 보수 작업자가 프레임(11)을 귀에 걸었을 때의 보수 작업자의 미간에 정면으로 마주하는 방향이 되도록 설정되어 있다. 또한, 웨어러블 단말(1)은, 프레임(11)의 전측에 장착되어, 보수 작업자가 프레임(11)을 귀에 걸었을 때에 보수 작업자의 시계 전방을 덮는 디스플레이(13)를 구비한다. 본 실시 형태의 디스플레이(13)로서는, 투과형인 것이 이용되고 있다. 따라서, 디스플레이(13)에 아무것도 표시하지 않는 경우에는, 통상의 안경과 동일하게 사용하는 것이 가능하다.

또한, 촬상 수단(12)은, 필요에 따라, 후술하는 제2 특정 수단(32)의 하드웨어 부분으로서 이용할 수도 있다.

도 1의 (b)에 나타내는 바와 같이, 본 실시 형태의 웨어러블 단말(1)에는, 촬상 방향이 서로 상이한 복수의 제2의 촬상 수단(32a, 32b)이 장착되어 있다. 구체적으로는, 본 실시 형태에서는, 프레임(11)의 전측의 좌우의 단부에, 한 쌍의 제2의 촬상 수단(32a, 32b)이 장착되어 있고, 제2의 촬상 수단(32a)의 촬상 방향(시선 방향)(L2)과, 제2의 촬상 수단(32b)의 촬상 방향(시선 방향)(L3)이 서로 상이한 방향으로 설정되어 있다. 제2의 촬상 수단(32a, 32b)으로서는, 예를 들면, 촬상 수단(12)과 동일하게, 컬러(RGB) 카메라를 이용할 수 있다. 또, 제2의 촬상 수단(32a, 32b)으로서는, 예를 들면, 광각 렌즈(초광각 렌즈, 어안 렌즈를 포함한다)를 구비하는 광각 카메라를 이용할 수도 있다. 또한, 제2의 촬상 수단(32a, 32b)은, 후술하는 제2 특정 수단(32)의 하드웨어 부분으로서 이용할 수 있다.

도 1의 (b)에 나타내는 바와 같이, 본 실시 형태의 웨어러블 단말(1)에는, 촬상 수단(12)과 대략 동일한 시선 방향을 갖는 거리 화상 센서(뎁스 카메라나 3D 카메라라고도 한다)(32c)가 장착되어 있다. 구체적으로는, 거리 화상 센서(32c)는, 프레임(11)의 전측 중앙에 있어서, 촬상 수단(12)의 하방에 장착되어 있다. 거리 화상 센서(32c)로서는, 예를 들면, TOF(Time Of Flight) 방식에 의하여 시야 내에 있어서의 피사체까지의 거리를 측정하고, 피사체까지의 거리가 각 화소의 농도값으로 표시된 거리 화상을 취득하는 거리 화상 센서가 이용된다. 또한, 거리 화상 센서(32c)는, 후술하는 제2 특정 수단(32)의 하드웨어 부분으로서 이용할 수 있다.

또, 본 실시 형태의 웨어러블 단말(1)에는, 관성 센서(32d)가 장착되어 있다. 구체적으로는, 프레임(11)의 측방에 관성 센서(32d)가 장착되어 있다. 관성 센서(32d)는, 예를 들면, 3축의 가속도 센서와, 3축의 각속도 센서(자이로 센서)와, 3축의 지자기(방위) 센서로 구성되어 있다. 또한, 관성 센서(32d)는, 후술하는 제2 특정 수단(32)의 하드웨어 부분으로서 이용할 수 있다.

또한, 본 실시 형태의 웨어러블 단말(1)의 프레임(11)의 측방에는, 스피커(4) 및 마이크로폰(5)도 장착되어 있다.

이상에 설명한 바와 같은 구성을 갖는 웨어러블 단말(1)은, 예를 들면, 마이크로소프트사 제조의 스마트 글래스인 「HoloLens」(등록상표)를 이용하고, 이것에 개량을 가함으로써 구성 가능하다.

보수 지원자측 단말(2)은, 일반적으로는, 보수 대상(T)의 설치 현장으로부터 떨어진 위치에 있고, 보수 지원자가 조작하는 단말이다. 보수 지원자측 단말(2)은, 인터넷 등의 전기 통신 회선(N)을 통하여, 웨어러블 단말(1)(구체적으로는, 웨어러블 단말(1)에 장착된 제어 신호 처리 수단(3))에 전기적으로 접속되어 있다. 구체적으로는, 본 실시 형태의 보수 지원자측 단말(2)은, 전기 통신 회선(N)에 전기적으로 접속된 서버(6)를 통하여, 웨어러블 단말(1)에 전기적으로 접속되어 있다. 그리고, 보수 지원자측 단말(2)은, 후술하는 통신 수단(34)과 쌍방향으로 데이터 통신 가능하게 구성되어 있다. 보수 지원자측 단말(2)로서는, 예를 들면 데스크톱형의 컴퓨터를 이용할 수 있지만, 이에 한정되는 것은 아니고, 랩톱형의 컴퓨터, 태블릿형의 컴퓨터, 스마트폰 등, 후술과 같이 가공 화상을 표시할 수 있는 한에 있어서, 다양한 단말을 이용할 수 있다.

또한, 본 실시 형태의 보수 지원자측 단말(2)은, 필수의 구성은 아니지만, 전기 통신 회선(N)을 통하여, 보수 대상(T)과도 전기적으로 접속되어 있다. 구체적으로는, 본 실시 형태에서는, 예를 들면, 보수 대상(T)의 프로세스 로그 데이터(보수 대상(T)의 프로세스에 관련되는 측정값이나 설정값)를 수집하는 컴퓨터(도 1의 (a)에는 도시하지 않음)가 설치되고, 이 컴퓨터가, 전기 통신 회선(N)에 전기적으로 접속된 서버(6)를 통하여, 보수 지원자측 단말(2)에 전기적으로 접속되어 있다. 그리고, 보수 대상(T)에서 얻어지는 프로세스 로그 데이터가 보수 지원자측 단말(2)에 축차적으로 송신되어, 보수 지원자측 단말(2)에 기억되도록 구성되어 있다. 서버(6)를 설치함으로써, 보수 지원자측 단말(2)에 접속된 웨어러블 단말(1)이나 보수 대상(T)의 식별 정보의 관리나 이용 이력의 관리가 용이해진다.

제어 신호 처리 수단(3)은, 웨어러블 단말(1)(프레임(11)의 측방)에 장착되고, 촬상 수단(12), 디스플레이(13), 제2의 촬상 수단(32a, 32b), 거리 화상 센서(32c), 관성 센서(32d), 스피커(4) 및 마이크로폰(5)의 각 구성 요소에 전기적으로 접속되어 있으며, 각 구성 요소를 제어하거나, 각 구성 요소의 출력 신호를 처리하는 기능을 갖는다.

제어 신호 처리 수단(3)은, 주로, CPU, ROM이나 RAM 등의 메모리, 당해 메모리에 기억되고, CPU로 하여금 후술하는 동작을 실행하게 하는 프로그램에 의하여 구성되어 있다.

도 1의 (c)에 나타내는 바와 같이, 제어 신호 처리 수단(3)은, 제1 특정 수단(31)으로서의 동작을 CPU로 하여금 실행하게 하는 프로그램과, 제2 특정 수단(32)의 소프트웨어 부분(32e)의 동작을 CPU로 하여금 실행하게 하는 프로그램과, 가공 화상 생성 수단(33)으로서의 동작을 CPU로 하여금 실행하게 하는 프로그램을 구비한다. 또, 제어 신호 처리 수단(3)은, 통신 수단(34)을 구비한다. 통신 수단(34)은, 안테나나, 안테나를 동작시키는 프로그램 등에 의하여 구성되어 있다.

또한, 상기와 같은 프로그램의 갱신은, 소정의 컴퓨터와 제어 신호 처리 수단(3)을 USB 케이블 등으로 직접 접속하여 행해도 되고, 서버(6)로부터 직접 업데이트해도 된다.

본 실시 형태에서는, 제1 특정 수단(31), 제2 특정 수단(32)(촬상 수단(12), 제2 촬상 수단(32a, 32b), 거리 화상 센서(32c) 및 관성 센서(32d) 중 적어도 어느 하나와, 소프트웨어 부분(32e)), 가공 화상 생성 수단(33) 및 통신 수단(34) 모두가 웨어러블 단말(1)에 장착되어 있다. 이것은, 상술한 바와 같이, 웨어러블 단말(1) 자체에 장착된 센서 등에 의하여 웨어러블 단말(1)(촬상 수단(12))의 위치를 검출하는, 인사이드아웃 방식의 구성이다.

이하, 이상에 설명한 개략 구성을 갖는 본 실시 형태에 따른 보수 지원 시스템(100)의 동작(보수 지원 방법)에 대하여, 도 1에 더하여 도 2~도 4를 참조하면서 설명한다.

최초로, 본 실시 형태에 따른 보수 지원 시스템(100)을 이용할 때에, 서버(6)는, 보수 작업자의 식별 정보 및 보수 지원자의 식별 정보의 쌍방을 인증한다. 구체적으로는, 보수 작업자의 식별 정보 및 보수 지원자의 식별 정보의 쌍방이 서버(6)에 송신되었는지 여부를 판정한다.

보수 작업자의 식별 정보인 제1 식별 정보 및 보수 지원자의 식별 정보인 제2 식별 정보는, 보수 지원 시스템(100)을 이용하기 전에 미리 서버(6)에 기억된다. 구체적으로는, 예를 들면, 보수 지원자가, 보수 지원자측 단말(2)의 키보드 등을 이용하여, 보수 지원 시스템(100)을 이용하는 것이 결정되어 있는 보수 작업자의 제1 식별 정보(예를 들면, ID 번호)를 보수 지원자측 단말(2)에 입력함으로써, 입력된 제1 식별 정보가, 전기 통신 회선(N)을 통하여 서버(6)에 송신되고, 기억된다. 마찬가지로, 예를 들면, 보수 지원자가, 보수 지원자측 단말(2)의 키보드 등을 이용하여, 보수 지원 시스템(100)을 이용하는 것이 결정되어 있는 보수 지원자의 제2 식별 정보(예를 들면, ID 번호)를 보수 지원자측 단말(2)에 입력함으로써, 입력된 제2 식별 정보가, 전기 통신 회선(N)을 통하여 서버(6)에 송신되고, 기억된다. 혹은, 보수 지원 시스템(100)을 이용할 가능성이 있는 보수 작업자의 제1 식별 정보 및 보수 지원자의 제2 식별 정보를 미리 보수 지원자측 단말(2)에 기억시켜 두고, 보수 지원자가, 이 보수 지원자측 단말(2)에 기억된 제1 식별 정보 및 제2 식별 정보 중, 지금부터 실제로 보수 지원 시스템(100)을 이용할 보수 작업자의 제1 식별 정보 및 보수 지원자의 제2 식별 정보를 보수 지원자측 단말(2)의 키보드 등을 이용하여 선택함으로써, 선택된 제1 식별 정보 및 제2 식별 정보가, 전기 통신 회선(N)을 통하여 서버(6)에 송신되고, 기억되도록 해도 된다.

또한, 본 실시 형태에서는, 제1 식별 정보 및 제2 식별 정보를 서버(6)에 기억시킬 때에, 보수 작업자 및 보수 지원자에 의한 보수 지원 시스템(100)의 이용 개시 시각이나 이용 시간도 아울러 서버(6)에 기억시킨다.

보수 지원 시스템(100)의 이용 개시 시각이 되었을 때 또는 이용 개시 시각에 가까워졌을 때, 웨어러블 단말(1)의 통신 수단(34)으로부터 식별 정보를 서버(6)에 송신한다. 이 통신 수단(34)으로부터 송신되는 식별 정보는, 예를 들면, 웨어러블 단말(1)의 제어 신호 처리 수단(3)에 미리 기억된 웨어러블 단말(1)의 식별 정보이다. 이 경우, 보수 작업자가 장착하는 웨어러블 단말(1)은 미리 결정되어 있고, 웨어러블 단말(1)의 식별 정보가 보수 작업자의 식별 정보(제1 식별 정보)로서 서버(6)에 송신된다. 마찬가지로, 보수 지원 시스템(100)의 이용 개시 시각이 되었을 때 또는 이용 개시 시각에 가까워졌을 때, 보수 지원자측 단말(2)로부터 식별 정보를 서버(6)에 송신한다. 이 보수 지원자측 단말(2)로부터 송신되는 식별 정보는, 예를 들면, 보수 지원자가 보수 지원자측 단말(2)의 키보드 등을 이용하여 입력한 보수 지원자의 제2 식별 정보이다. 보수 지원자측 단말(2)을 조작할 보수 지원자가 미리 결정되어 있는 경우에는, 보수 지원자측 단말(2)에 미리 기억된 보수 지원자측 단말(2)의 식별 정보를 보수 지원자의 식별 정보(제2 식별 정보)로서 서버(6)에 송신하도록 해도 된다.

서버(6)는, 상기와 같이 하여 통신 수단(34)으로부터 서버(6)에 송신된 식별 정보와 서버(6)에 기억된 제1 식별 정보가 합치하는지 여부를 판정한다. 마찬가지로, 서버(6)는, 상기와 같이 하여 보수 지원자측 단말(2)로부터 서버(6)에 송신된 식별 정보와 서버(6)에 기억된 제2 식별 정보가 합치하는지 여부를 판정한다. 그리고, 통신 수단(34)으로부터 서버(6)에 송신된 식별 정보와 제1 식별 정보가 합치하고, 또한, 보수 지원자측 단말(2)로부터 서버(6)에 송신된 식별 정보와 제2 식별 정보가 합치하는 경우(보수 지원 시스템(100)을 이용할 보수 작업자의 식별 정보 및 보수 지원자의 식별 정보의 쌍방이 서버(6)에 송신되었다고 인증된 경우)에, 이용 개시 시각으로부터 이용 시간이 경과할 때까지, 서버(6)를 통한 통신 수단(34)과 보수 지원자측 단말(2)의 쌍방향의 데이터 통신을 가능하게 한다.

본 실시 형태에 따른 보수 지원 시스템(100)은, 상기와 같이, 보수 작업자의 식별 정보 및 보수 지원자의 식별 정보의 쌍방이 서버(6)에 송신되었다고 인증된 경우에 비로소, 통신 수단(34)과 보수 지원자측 단말(2)의 쌍방향의 데이터 통신이 가능해진다. 따라서, 미리 결정된 보수 작업자 및 보수 지원자밖에 보수 지원 시스템(100)을 이용할 수 없어, 보수 대상(T) 이외의 기밀 정보 등의 누설을 보다 확실하게 방지 가능하다.

또한, 상기와 같이, 통신 수단(34)과 보수 지원자측 단말(2)의 쌍방향의 데이터 통신이 가능해진 시점에서, 쌍방향의 음성 데이터의 송수신이 가능해지고, 이 송수신된 음성 데이터가, 서버(6) 및/또는 보수 지원자측 단말(2)에 기억되도록 구성해도 된다. 음성 데이터를 기억함으로써, 보수 지원의 이력을 확실하게 남기는 것이 가능하다.

또, 보수 작업자 및 보수 지원자 중, 적어도 어느 한쪽이, 이용 시간이 경과하기 전에 보수 지원 시스템(100)의 이용을 중지 또는 중단하는 경우에는, 이용의 중지 또는 중단을 지시하는 소정의 지시 정보를 웨어러블 단말(1)의 통신 수단(34) 및/또는 보수 지원자측 단말(2)로부터 서버(6)에 송신함으로써, 서버(6)가 통신 수단(34)과 보수 지원자측 단말(2)의 쌍방향의 데이터 통신을 중지 또는 중단하도록 구성하는 것도 가능하다.

또한, 웨어러블 단말(1)이 복수인 경우나, 보수 지원자측 단말(2)가 복수인 경우, 각 단말(1, 2)로부터 송신된 모든 식별 정보가 서버(6)에서 인증된 경우에 비로소 각 단말(1, 2)에 있어서의 쌍방향의 데이터 통신을 모두 가능하게 하는 양태를 채용해도 되고, 인증된 각 단말(1, 2)에 있어서의 쌍방향의 데이터 통신만을 가능하게 하는 양태를 채용해도 된다.

도 2는, 본 실시 형태에 따른 보수 지원 시스템(100)의 개략 동작을 설명하는 설명도이다. 도 2에서는, 웨어러블 단말(1)을 장착한 보수 작업자의 도시를 생략하고 있다. 도 3은, 초기 상태의 촬상 수단(12)으로 취득한 촬상 화상 및 가공 화상 생성 수단(33)으로 생성한 가공 화상의 일례를 나타내는 도면이다. 도 3의 (a)는 촬상 화상의 일례를, 도 3의 (b)는 가공 화상의 일례를 나타낸다. 도 4는, 웨어러블 단말(1)이 이동한 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상 및 가공 화상 생성 수단(33)으로 생성한 가공 화상의 일례를 나타내는 도면이다. 도 4의 (a)는 촬상 화상의 일례를, 도 4의 (b)는 가공 화상의 일례를 나타낸다. 또한, 도 3 및 도 4에는, 설명의 편의상, 제1의 3차원 영역(TA)의 경계선을 파선(破線)으로 도시하고 있지만, 실제의 촬상 화상에 경계선은 존재하지 않는다.

도 2에 나타내는 바와 같이, 본 실시 형태의 보수 대상(T)의 전면(前面)에는, 부재(T1~T3)가 설치되어 있다. 보수 대상(T)의 옆에는, 기밀 정보에 관련된 장치(S)가 배치되어 있다.

우선, 웨어러블 단말(1)을 장착한 보수 작업자는, 예를 들면, 웨어러블 단말(1)의 촬상 수단(12)으로 보수 대상(T)을 촬상할 수 있도록, 보수 대상(T)에 정면으로 마주하는 위치로 이동한다. 그리고, 이 초기 상태의 촬상 수단(12)(도 2에 실선으로 도시하는 웨어러블 단말(1)이 구비하는 촬상 수단(12))으로 보수 대상(T)을 촬상하여, 도 3의 (a)에 나타내는 촬상 화상(동영상)을 취득한다.

다음으로, 예를 들면, 보수 작업자가 디스플레이(13)에 표시된 촬상 화상의 임의의 점을 AR 커서를 이용하여 지정함으로써, 제1 특정 수단(31)이, 상기의 지정한 점을 기준점(M)으로서 특정하여, 제1 특정 수단(31)에 기억한다. 또, 제1 특정 수단(31)이, 촬상 화상에 소정의 화상 처리를 실시함으로써, 촬상 화상 중의 특징적인 부위(예를 들면, 보수 대상(T)의 모서리부 등)에 대응하는 화소 영역을 추출하고, 이 화소 영역의 중심 등을 기준점(M)으로서 특정하여, 기억하는 것도 가능하다. 또한, 보수 대상(T)에 마커가 붙여져 있는(AR 마커, QR 코드(등록상표), 바코드 등의 마커가, 부착, 인쇄, 각인 등에 의하여 붙여져 있는) 경우에는, 제1 특정 수단(31)이, 촬상 화상에 소정의 화상 처리를 실시함으로써 마커에 대응하는 화소 영역을 추출하고, 이 화소 영역의 중심 등을 기준점(M)으로서 특정하는 것도 가능하다.

그리고, 본 실시 형태에서는, 제1 특정 수단(31)이, 기준점(M)을 기준으로 하여, 보수 대상(T)을 포함하는 소정의 제1의 3차원 영역(예를 들면, 직방체 형상의 3차원 영역)(TA)을 특정한다. 제1의 3차원 영역(TA)은, 가상 공간에 있어서의 3차원 영역이다. 구체적으로는, 예를 들면, 제1 특정 수단(31)에, 기준점(M)을 기준으로 하는 3차원 좌표계(도 2에 나타내는 X축, Y축 및 Z축을 갖는 3차원 좌표계)로 나타내어진 제1의 3차원 영역(TA)의 각 정점(P1~P8)의 좌표가 미리 기억되어 있고, 제1 특정 수단(31)은, 예를 들면, SLAM 기술을 이용하여, 이 각 정점(P1~P8)의 좌표에 의거하여 제1의 3차원 영역(TA)을 특정한다.

또, 보수 작업자가, 디스플레이(13)에 표시된 촬상 화상에 대하여 AR 커서를 이용하여 제1의 3차원 영역(TA)의 각 정점(P1~P8)을 지정함으로써, 제1 특정 수단(31)이, 예를 들면, SLAM 기술을 이용하여, 제1의 3차원 영역(TA)을 특정하는 것도 가능하다. 이 경우, 제1의 3차원 영역(TA)의 각 정점(P1~P8)은, AR 커서를 이용하여 지정한 순간에, 기준점(M)을 기준으로 하는 3차원 좌표계에 배치되므로, 각 정점(P1~P8)의 좌표가 결정되고, 결과적으로 제1의 3차원 영역(TA)을 특정할 수 있다.

또한, 보수 대상(T)에 마커가 붙여져 있는 경우에는, 제1 특정 수단(31)이, 마커에 대응하는 화소 영역의 특징량을 연산하고, 이 특징량으로부터 마커의 식별 정보를 특정하며, 특정한 식별 정보에 관련지어 제1 특정 수단(31)에 기억된 각 정점(P1~P8)의 좌표에 의거하여, 예를 들면, SLAM 기술을 이용하여, 제1의 3차원 영역(TA)을 특정하는 것도 가능하다. 이와 같이, 기준점(M)을 마커에 의하여 규정하는 경우, 각 정점(P1~P8)의 좌표가 이미 제1 특정 수단(31)에 기억되어 있어, 보수 작업자가 설정할 필요가 없기 때문에, 수고가 들지 않는다. 보수 대상(T)의 형상이 복잡한 경우에는, 미리 보수 대상(T)의 설계 도면 등에 의거하여 각 정점(P1~P8)(혹은, 8개 보다 많은 정점)을 상세하게 설정하여 마커의 식별 정보에 관련지어 둘 수 있어, 특히 효과적이다.

또한, 도 2에서는, 보수 작업자가 장착한 웨어러블 단말(1)이, 제1의 3차원 영역(TA) 내에서 이동하는 경우를 예시하고 있다.

다음으로, 웨어러블 단말(1)을 장착한 보수 작업자가 이동함으로써, 웨어러블 단말(1)도 이동하고, 웨어러블 단말(1)이 이동한 이동 후 상태에 있어서, 웨어러블 단말(1)이 구비하는 촬상 수단(12)(도 2에 파선으로 도시하는 웨어러블 단말(1)이 구비하는 촬상 수단(12))으로 보수 대상(T)을 촬상하여, 도 4의 (a)에 나타내는 촬상 화상을 취득한다. 이 촬상 화상에는, 기준점(M)이 포함되어 있지 않다.

그리고, 상기의 이동 과정에 있어서, 촬상 수단(12) 및 제2의 촬상 수단(32a, 32b)에 의하여, 연속적으로 촬상 화상이 취득된다. 또, 거리 화상 센서(32c)에 의하여, 연속적으로 거리 화상이 취득된다. 또한, 관성 센서(32d)에 의하여, 웨어러블 단말(1)이 구비하는 촬상 수단(12)의 가속도, 각속도 및 지자기(방위)가 연속적으로 검출된다.

제2 특정 수단(32)은, 웨어러블 단말(1)이 이동한 이동 후 상태에 있어서,

촬상 수단(12)으로 취득한 촬상 화상에 있어서의 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정한다.

구체적으로는, 제2의 촬상 수단(32a, 32b)이 제2 특정 수단(32)을 구성하는 경우에는, 이동 과정에 있어서 제2의 촬상 수단(32a, 32b)으로 연속적으로 취득한 촬상 화상에 의거하여, 제2 특정 수단(32)을 구성하는 소프트웨어 부분(32e)이, 예를 들면 SLAM 기술을 이용하여, 웨어러블 단말(1)(촬상 수단(12))의 자기 위치와 주위의 환경 지도를 구축함으로써, 이동 후 상태의 촬상 화상에 있어서의 제1의 3차원 영역(TA)을 특정한다.

또, 거리 화상 센서(32c)가 제2 특정 수단(32)을 구성하는 경우에는, 이동 과정에 있어서 거리 화상 센서(32c)로 연속적으로 취득한 거리 화상에 의거하여, 제2 특정 수단(32)을 구성하는 소프트웨어 부분(32e)이, 예를 들면 SLAM 기술을 이용하여, 이동 후 상태의 촬상 화상에 있어서의 제1의 3차원 영역(TA)을 특정한다.

또한, 촬상 수단(12)이나 관성 센서(32d)가 제2 특정 수단(32)을 구성하는 경우도 동일하다. 또, 제2의 촬상 수단(32a, 32b), 거리 화상 센서(32c), 촬상 수단(12) 및 관성 센서(32d) 중 어느 하나가 조합되어 제2 특정 수단(32)을 구성하는 경우도 생각할 수 있고, 이 경우도, 제2 특정 수단(32)이, 예를 들면 SLAM 기술을 이용하여, 이동 후 상태의 촬상 화상에 있어서의 제1의 3차원 영역(TA)을 특정한다.

또한, 본 실시 형태의 제2 특정 수단(32)은, 이동 후 상태의 촬상 화상에 있어서의 제1의 3차원 영역(TA)을 특정할 때에, GPS를 이용하지 않는다(후술과 같이, 이동 후 상태의 촬상 화상에 있어서의 제2의 3차원 영역(SA)을 특정하는 경우도 동일). GPS는, 옥내에서는 이용할 수 없는 것 외에, 적어도 수 미터의 위치 검출 오차가 발생하기 때문이다.

제2 특정 수단(32)은, 상기와 같이 하여, 이동 후 상태의 촬상 화상에 있어서의 제1의 3차원 영역(TA)을 특정하고, 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정한다. 제1의 3차원 영역(TA)이, 이동 후 상태의 촬상 수단(12)의 시야 내의 어느 부분에 비치는지, 환언하면, 촬상 수단(12)으로 취득한 촬상 화상에 있어서의 어느 화소 영역에 대응하는지는 기하학 연산으로 특정할 수 있기 때문에, 촬상 화상에 있어서의 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 특정하고, 유효 화소 영역을 제외한 마스크 화소 영역을 특정 가능하다.

다음으로, 가공 화상 생성 수단(33)이, 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상에 대하여, 제2 특정 수단(32)으로 특정한 마스크 화소 영역을 불가시로 한 가공 화상(동영상)을 생성한다. 도 4의 (b)에 나타내는 예에서는, 가공 화상으로서, 마스크 화소 영역을 검게 칠한 화상이 생성되어 있다. 단, 가공 화상으로서는, 이에 한정되는 것은 아니고, 촬상 화상으로부터 유효 화소 영역만(마스크 화소 영역 이외의 화소 영역만)을 잘라낸 화상으로 하는 것도 가능하다. 또, 마스크 화소 영역을 검게 칠하는 것 대신에, 모자이크 처리를 실시하거나, 뿌옇게 하거나 하여, 기밀 정보 등의 누설을 방지할 수 있는 한에 있어서, 다양한 양태를 채용 가능하다.

마지막으로, 통신 수단(34)이, 가공 화상 생성 수단(33)으로 생성한 가공 화상을 전기 통신 회선(N)을 통하여 보수 지원자측 단말(2)에 송신한다. 따라서, 도 4의 (a)에 나타내는 바와 같이, 촬상 화상에서는 기밀 정보에 관련된 장치(S)를 시인할 수 있는 상태이더라도, 보수 지원자측 단말(2)에서는, 도 4의 (b)에 나타내는 바와 같이, 제1의 3차원 영역(TA)에 포함되는 보수 대상(T)만이 시인되어, 보수 대상(T) 이외의 기밀 정보 등의 누설을 방지 가능하다.

또한, 도 3의 (a)에 나타내는 초기 상태의 촬상 수단(12)으로 취득한 촬상 화상에 대해서도 제2 특정 수단(32), 가공 화상 생성 수단(33) 및 통신 수단(34)은 동작한다. 이에 의하여, 가공 화상 생성 수단(33)에서는, 초기 상태의 촬상 수단으로 취득한 촬상 화상에 대해서도 마스크 화소 영역을 불가시로 한 도 3의 (b)에 나타내는 가공 화상이 생성되어, 보수 지원자측 단말(2)에 송신되게 된다.

또한, 제2 특정 수단(32)을 구성하는 제2의 촬상 수단(32a, 32b) 등이 고장 또는 어떠한 문제가 발생한 경우에는, 이동 후 상태의 촬상 수단(12)의 초기 상태로부터의 위치의 변화를 올바르게 특정할 수 없게 된다. 이에 따라, 이동 후 상태의 촬상 수단(12)으로 취득한 촬상 화상에 있어서의 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 올바르게 특정할 수 없게 된다. 그 결과, 생성된 가공 화상에 보수 대상(T) 이외의 기밀 정보 등이 포함될 가능성이 생긴다.

따라서, 제2의 촬상 수단(32a, 32b) 등에 고장 또는 어떠한 문제가 발생한 경우에는, 가공 화상 생성 수단(33)이 모든 화소 영역을 불가시로 한 가공 화상을 생성하거나, 혹은, 통신 수단(34)이 가공 화상의 송신을 정지하는 기능을 갖는 것이 바람직하다. 또, 이때, 제2의 촬상 수단(32a, 32b) 등에 고장 또는 어떠한 문제가 발생한 것을 보수 작업자가 신속하게 파악할 수 있도록, 디스플레이(13)에 고장 또는 어떠한 문제가 발생한 것을 표시하거나, 혹은, 스피커(4)에 고장 또는 어떠한 문제가 발생한 것을 음성으로 통지하는 것이 바람직하다.

본 실시 형태의 디스플레이(13)는, 디스플레이(13)에 촬상 화상을 표시하는 상태(구체적으로는, 본 실시 형태에서는, 투과형의 디스플레이(13)에는 아무것도 표시되지 않고, 보수 작업자가 아무것도 표시되어 있지 않은 디스플레이(13)를 통하여 보수 대상(T)을 직접 시인할 수 있는 상태)와, 디스플레이(13)에 가공 화상을 인식 가능하게 표시하는 상태가 전환 가능하게 구성되어 있다. 구체적으로는, 예를 들면, 프레임(11)에 전환 버튼(도시하지 않음)을 설치하고, 이 전환 버튼을 누름으로써, 제어 신호 처리 수단(3)이 어느 하나의 상태를 선택하도록 제어하는 양태를 채용 가능하다.

디스플레이(13)에 촬상 화상을 표시하는 상태(보수 작업자가 보수 대상(T)을 직접 시인할 수 있는 상태)에서는, 보수 작업자의 시계를 차단하는 부분이 없기 때문에, 보수 작업을 안전하게 행하는 것이 가능하다.

한편, 디스플레이(13)에 가공 화상을 인식 가능하게 표시하는 상태에서는, 보수 작업자도 보수 지원자측 단말(2)에 송신되는 가공 화상을 인식 가능하다. 이 때문에, 보수 대상(T) 이외의 기밀 정보 등의 누설이 방지되어 있는 것을 보수 작업자도 확인 가능하여, 보수 작업자에게 안심감을 줄 수 있다. 또한, 가공 화상을 인식 가능하게 표시하는 상태로서는, 보수 지원자측 단말(2)에 송신되는 가공 화상과 동일한 것(촬상 화상과 비치고 있는 영역은 동일하지만 촬상 화상에 있어서의 마스크 화소 영역을 검게 칠한 화상이나, 촬상 화상으로부터 유효 화소 영역만을 잘라낸 화상 등)을 표시하는 상태 외에, 도 3의 (a)나 도 4의 (a)에 나타내는 바와 같이, 촬상 화상에 마스크 화소 영역과 유효 화소 영역의 경계선(제1의 3차원 영역(TA)의 경계선)을 오버레이한 화상을 표시하는 상태나, 표시 화면의 일부에 가공 화상을 축소하여 표시하는 상태 등도 포함된다.

또한, 본 실시 형태에서는, 1개의 보수 대상(T)에 1개의 제1의 3차원 영역(TA)을 특정하는 경우를 예로 들어 설명했지만, 본 발명은 이에 한정되는 것은 아니다. 예를 들면, 보수 대상(T)이 복수 있는 경우에는, 보수 대상(T)마다 예를 들면 기준점(M)을 설정하고, 보수 대상(T)마다 제1의 3차원 영역(TA)을 특정하면 된다. 예를 들면, 1개의 보수 대상(T)이 기판 처리 장치이며, 기판 처리 장치의 부품을 떼어 내고 소정의 작업 탁상에서 수리 등의 작업을 행하는 경우에는, 또 하나의 보수 대상(T)을 이 작업 책상으로 설정하여, 작업 책상에도 기준점(M)을 설정하면 된다.

또, 본 실시 형태에서는, 제1의 3차원 영역(TA)으로서, 8개의 정점(P1~P8)을 갖는 직방체 형상의 3차원 영역을 예로 들어 설명했지만, 본 발명은 이에 한정되는 것은 아니다. 보수 대상(T)의 형상에 따라, 8개 보다 많은 점으로 특정되는 직방체 이외의 형상의 제1의 3차원 영역(TA)을 설정하는 것도 가능하다.

또, 본 실시 형태에서는, 보수 지원자측 단말(2)에 1개의 웨어러블 단말(1)이 전기적으로 접속되어 있는 경우를 예로 들어 설명했지만, 본 발명은 이에 한정되는 것은 아니다. 보수 지원자측 단말(2)에 복수의 웨어러블 단말(1)이 전기적으로 접속되어 있는 구성을 채용하는 것도 가능하다.

이 경우, 복수의 웨어러블 단말(1)의 촬상 수단(12)가 동일한 기준점(M)을 기준으로 하는 동일한 제1의 3차원 영역(TA)을 특정하는 구성이어도 되고, 웨어러블 단말(1)마다, 기준점(M)을 상이한 것으로 하거나, 특정하는 제1의 3차원 영역(TA)을 상이한 것으로 하는 구성을 채용하는 것도 가능하다.

또, 보수 지원자측 단말(2)에서는, 복수의 웨어러블 단말(1)로부터 송신된 각 가공 화상을 나열하여 동시에 표시하거나, 혹은, 표시하는 가공 화상을 전환 가능하게 하는 등, 다양한 양태를 채용 가능하다.

또한, 웨어러블 단말(1)이 1개여도 복수여도, 웨어러블 단말(1)에 전기적으로 접속되는 보수 지원자측 단말(2)을 복수 준비하는 것도 가능하다.

또, 본 실시 형태에서는, 도 2에 나타내는 바와 같이, 보수 대상(T)을 포함함과 더불어, 웨어러블 단말(1)이 이동하는 범위를 포함하는 영역을 제1의 3차원 영역(TA)으로 설정하고 있지만, 본 발명은 이에 한정되는 것은 아니다. 보수 대상(T)이 존재하지 않거나, 웨어러블 단말(1)이 이동하지 않는 영역이더라도, 기밀 정보에 관련된 장치(S)가 존재하지 않는 것이 미리 결정되어 있는 영역에 대해서는, 이 영역이 포함되도록, 제1의 3차원 영역(TA)을 추가로 넓히는 것도 가능하다. 또, 제1의 3차원 영역(TA)은 연결된 1개의 영역에 한정되는 것이 아니고, 복수의 분리된 영역을 제1의 3차원 영역(TA)으로서 설정하는 것도 가능하다.

<제2 실시 형태>

제2 실시 형태에 따른 보수 지원 시스템도, 도 1을 참조하여 설명한 제1 실시 형태에 따른 보수 지원 시스템(100)과 동일한 개략 구성을 갖는다.

단, 제2 실시 형태에 따른 보수 지원 시스템은, 제1의 3차원 영역(TA)의 설정이 제1 실시 형태에 따른 보수 지원 시스템(100)과 상이하다. 이하, 이 점에 대하여 설명한다.

도 5는, 제2 실시 형태에 따른 보수 지원 시스템에 있어서의 제1의 3차원 영역(TA)의 설정예를 설명하는 설명도이다.

도 5에 나타내는 바와 같이, 본 실시 형태에서는, 제1의 3차원 영역(TA)을 복수(도 5에 나타내는 예에서는 8개)의 가상의 칸막이벽(W1~W8)으로 구성하고 있다. 도 5에 나타내는 예에서는, 8개의 칸막이벽(W1~W8)으로 둘러싸인 영역이, 제1의 3차원 영역(TA)으로서 설정되게 된다. 칸막이벽(W1~W8)은, 예를 들면, 보수 작업자가, 디스플레이(13)에 표시된 촬상 화상에 대하여 AR 커서를 이용하여 지정하면 된다. 이에 의하여, 제1 특정 수단(31)은, 칸막이벽(W1~W8)으로 둘러싸인 영역을 제1의 3차원 영역(TA)으로서 특정하게 된다.

도 5에 나타내는 칸막이벽은, 그 위치나 사이즈나 개수를 보수 작업자가 자유롭게 지정 가능하게 하는 것이 바람직하다. 이 바람직한 구성에 의하여, 보수 대상(T)의 형상이나 치수가 바뀌어도, 이에 따라 칸막이벽의 위치나 사이즈나 개수를 자유롭게 변경할 수 있으므로 범용성이 우수한 것 외에, 제2 특정 수단(32)에 의한 마스크 화소 영역의 특정도 용이하다. 또, 예를 들면, 보수 대상(T)이, 기판 처리 장치 본체뿐만 아니라, 기판 처리 장치 본체로부터 조금 떨어진 장소에 있는 보조 기기(예를 들면, 펌프나 칠러 등)도 포함하는 경우 등에는, 도 2와 같은 정척(定尺)의 제1의 3차원 영역(TA)에 비하여, 칸막이벽을 적절히 배치하여 제1의 3차원 영역(TA)을 구성하는 것이 가능하다(레이아웃 변경이 용이하다).

또한, 각 칸막이벽의 사이는, 기밀 정보에 관련된 장치(S)가 보수 지원자측 단말(2)로 시인할 수 없는(즉, 가공 화상에 있어서 불가시가 되어 있는) 한에 있어서, 약간의 간극이 비어 있어도 상관없다. 도 5에서는, 칸막이벽 W1, W2의 사이, 칸막이벽 W2, W3의 사이, 칸막이벽 W5, W6의 사이, 칸막이벽 W6, W7의 사이에, 약간의 간극이 비어 있는 예를 도시하고 있다. 단, 기밀 정보에 관련된 장치(S)가 보수 지원자측 단말(2)로 확실하게 시인할 수 없도록 하기 위해서는, 제1의 3차원 영역(TA) 내의 웨어러블 단말(1)의 촬상 수단(12)의 촬상 방향(시선 방향)(L1)에서 보았을 때, 각 칸막이벽끼리가 오버랩되는 부분을 갖는 것이 바람직하다.

또, 도 5에 나타내는 예에서는, 보수 대상(T)이 위치하는 장소의 천장 부분이나 바닥 부분에는 칸막이벽을 설치하고 있지 않지만, 보수 대상(T)의 주위의 기밀 정보에 관련된 장치(S)를 보수 지원자측 단말(2)로 시인할 수 없는 한, 자유롭게 칸막이벽을 설정해도 된다.

<제3 실시 형태>

제3 실시 형태에 따른 보수 지원 시스템도, 도 1을 참조하여 설명한 제1 실시 형태에 따른 보수 지원 시스템(100)과 동일한 개략 구성을 갖는다.

단, 제3 실시 형태에 따른 보수 지원 시스템은, 제1의 3차원 영역(TA)이 아니라, 제2의 3차원 영역(SA)을 이용하는 것이 제1 실시 형태에 따른 보수 지원 시스템(100)과 상이하다. 이하, 이 점에 대하여 설명한다.

제3 실시 형태에 따른 보수 지원 시스템에서는, 제1 특정 수단(31)이, 기준점(M)을 기준으로 하여, 보수 대상(T)을 제외한 소정의 제2의 3차원 영역을 특정(예를 들면, 도 6에 나타내는 바와 같이, 기밀 정보에 관련된 장치(S)가 포함되는 제2의 3차원 영역(SA)을 특정)하고, 제2 특정 수단(32)이, 제2의 3차원 영역(SA)에 대응하는 마스크 화소 영역을 특정하는 구성으로 되어 있다. 제2의 3차원 영역(SA)은, 가상 공간에 있어서의 3차원 영역이다. 제2의 3차원 영역(SA)을 특정하는 경우에 대해서도, 상술한 제1의 3차원 영역(TA)을 특정하는 경우에 대하여 설명한 내용을 동일하게 적용 가능하다.

제1 특정 수단(31)은, 제1의 3차원 영역(TA)을 특정하는 것 대신에, 제2의 3차원 영역(SA)을 특정해도 되고, 제1의 3차원 영역(TA) 및 제2의 3차원 영역(SA)의 쌍방을 특정해도 된다. 제1 특정 수단(31)이 제1의 3차원 영역(TA)을 특정하는 것 대신에 제2의 3차원 영역(SA)을 특정하는 경우, 제2 특정 수단(32)은, 제2의 3차원 영역(SA)에 대응하는 마스크 화소 영역을 특정하게 된다. 제1 특정 수단(31)이 제1의 3차원 영역(TA) 및 제2의 3차원 영역(SA)의 쌍방을 특정하는 경우, 제2 특정 수단(32)은, 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정함과 더불어, 제2의 3차원 영역(SA)에 대응하는 마스크 화소 영역을 특정하게 된다. 또한, 쌍방을 특정하는 경우에는, 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역과, 제2의 3차원 영역(SA)에 대응하는 마스크 화소 영역이 겹치는 경우가 있다. 이 경우, 적어도 한쪽에서 마스크 화소 영역으로서 특정되는 화소 영역은, 모두 마스크 화소 영역으로 하면 된다.

<제4 실시 형태>

제4 실시 형태에 따른 보수 지원 시스템도, 도 1을 참조하여 설명한 제1 실시 형태에 따른 보수 지원 시스템(100)과 동일한 개략 구성을 갖는다.

단, 제4 실시 형태에 따른 보수 지원 시스템은, 제1의 3차원 영역(TA)의 설정이 제1 실시 형태에 따른 보수 지원 시스템(100)이나 제2 실시 형태에 따른 보수 지원 시스템과 상이하다. 이하, 이 점에 대하여 설명한다. 또한, 이하의 설명에서는, 기밀 정보에 관련된 장치가 2개(장치 S1, S2) 존재하는 경우를 예시한다.

도 7은, 제4 실시 형태에 따른 보수 지원 시스템에 있어서의 제1의 3차원 영역(TA)의 설정예 및 이때의 제2 특정 수단(32)의 개략 동작을 설명하는 설명도이다. 도 7의 (a)는, 제1의 3차원 영역(TA)의 설정예를 나타내는 사시도이다. 도 7의 (b)는, 제2 특정 수단(32)의 개략 동작을 설명하는 평면도이고, 웨어러블 단말(1)이 보수 대상(T)의 전면(도 7의 (a)에 나타내는 부재(T1~T3)가 설치되어 있는 면)의 중앙에 정면으로 마주하는(도 7의 (a)에 나타내는 웨어러블 단말(1)의 촬상 수단(12)의 촬상 방향(L1)이 보수 대상(T)의 전면에 직교하는) 위치에 있는 상태를 나타낸다.

도 8은, 도 7에 나타내는 바와 같이 제1의 3차원 영역(TA)을 설정했을 때의 제2 특정 수단(32)의 개략 동작을 설명하는 평면도이다. 도 8의 (a)는, 웨어러블 단말(1)이 도 7의 (b)에 나타내는 상태로부터 장치(S2)측으로 평행 이동한 위치에 있는 상태를 나타낸다. 도 8의 (b)는, 웨어러블 단말(1)이 도 7의 (b)에 나타내는 상태로부터 장치(S2)측으로 회전 이동(보수 대상(T)의 주위를 반시계 방향으로 이동)한 위치에 있는 상태를 나타낸다. 도 8의 (c)는, 웨어러블 단말(1)이 도 7의 (b)에 나타내는 상태로부터 그 자리에서 왼쪽으로 방향을 바꾼 상태를 나타낸다.

또한, 도 7의 (b), 도 8에 있어서는, 편의상, 웨어러블 단말(1)을 직사각형으로 도시하고 있다.

상술한 도 2에 나타내는 예에서는, 보수 대상(T)을 포함함과 더불어, 웨어러블 단말(1)이 이동하는 범위를 포함하는 영역을 제1의 3차원 영역(TA)으로 설정하고 있지만, 도 7의 (a)에 나타내는 예에서는, 보수 대상(T)과 합치하도록 제1의 3차원 영역(TA)을 설정하고, 웨어러블 단말(1)이 제1의 3차원 영역(TA)의 외부에서 이동한다.

도 7의 (b)에 나타내는 바와 같이, 웨어러블 단말(1)이 보수 대상(T)의 전면의 중앙에 정면으로 마주하는 위치에 있는 상태에서는, 웨어러블 단말(1)의 촬상 수단으로 보수 대상(T)을(제1의 3차원 영역(TA))을 촬상한 경우, 웨어러블 단말(1)의 촬상 수단의 화각(θ)의 범위 내에 위치하는 피사체가 결상하여 촬상 화상으로서 취득되게 된다. 환언하면, 도 7의 (b)에 나타내는 웨어러블 단말(1)의 촬상 수단의 화각(θ)의 범위 외인 촬상 영역 외(OIA)에 위치하는 피사체는, 촬상 화상을 구성하지 않는다.

제2 특정 수단(32)은, 취득한 촬상 화상에 있어서의 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정한다. 구체적으로는, 촬상 화상에 있어서의, 도 7의 (b)에 나타내는 마스크 영역(MA)에 위치하는 피사체가 결상하여 얻어지는 화소 영역 또는 마스크 영역(MA)을 통과해 결상하여 얻어지는 화소 영역을 마스크 화소 영역으로서 특정한다.

웨어러블 단말(1)의 촬상 수단에서 보았을 때, 제1의 3차원 영역(TA)(보수 대상(T))의 후방에 위치하는 사각 영역(BA)에 위치하는 피사체는, 보수 대상(T)에 차단되어 결상하지 않기 때문에, 촬상 화상을 구성하지 않는다. 그 결과, 실질적으로, 제1의 3차원 영역(TA)에 대응하는 유효 화소 영역을 제외한 화소 영역을 마스크 화소 영역으로서 특정하는 것과 동일한 효과가 있다.

또, 웨어러블 단말(1)의 촬상 수단으로 제1의 3차원 영역(TA)(보수 대상(T))을 촬상했을 때, 웨어러블 단말(1)과 제1의 3차원 영역(TA)의 사이에 있고 또한 촬상 수단의 화각(θ)의 범위 내에 있는 영역은, 본래, 제1의 3차원 영역(TA) 이외의 영역이지만, 제2 특정 수단(32)은, 이 영역을 제1의 3차원 영역(TA)의 앞쪽에 있는 예외 영역(EA)으로서 특정한다. 그리고, 제2 특정 수단(32)은, 촬상 화상에 있어서, 이 예외 영역(EA)을 통과해 결상하여 얻어지는 화소 영역을 유효 화소 영역으로서 특정한다. 가공 화상 생성 수단(33)은, 이 예외 영역(EA)을 통과해 결상하여 얻어지는 화소 영역(즉, 보수 대상(T)의 전면에 대응하는 화소 영역)이 유효 화소 영역이기 때문에, 불가시로 하지 않는다. 즉, 제1의 3차원 영역(TA)(보수 대상(T))을 시인할 수 있는 것이 우선되는 처리가 행해진다.

도 8의 (a)에 나타내는 바와 같이, 웨어러블 단말(1)이 도 7의 (b)에 나타내는 상태로부터 장치(S2)측으로 평행 이동한 경우(웨어러블 단말(1)을 장착한 보수 작업자가 보수 대상(T)을 정면으로 본 그대로 우측으로 이동한 경우), 도 7의 (b)에 나타내는 상태에 비하여, 예외 영역(EA)의 위치가 크게 변화한다. 도 8의 (a)에 나타내는 예에서는, 장치(S2)가 마스크 영역(MA)에 위치하기 때문에, 제2 특정 수단(32)은, 촬상 화상에 있어서의 장치(S2)가 결상하여 얻어지는 화소 영역을 마스크 화소 영역으로서 특정하고, 가공 화상 생성 수단(33)이 이 마스크 화소 영역을 불가시로 하기 때문에, 가공 화상 중에 장치(S2)는 비치지 않는다. 단, 웨어러블 단말(1)의 위치에 따라서는, 장치(S2)가 예외 영역(EA) 내에 들어가는 경우가 있다. 이 경우에는, 상술한 제2의 3차원 영역(SA)을 별도로 설정하는 것도 가능하다.

도 8의 (b)에 나타내는 바와 같이, 웨어러블 단말(1)이 도 7의 (b)에 나타내는 상태로부터 장치(S2)측으로 회전 이동한 경우(웨어러블 단말(1)을 장착한 보수 작업자가 보수 대상(T)의 주위를 반시계 방향으로 이동한 경우)도, 도 8의 (a)의 경우와 동일하게, 장치(S2, S1)가 예외 영역(EA) 내에 들어가는 경우가 있다. 이 경우에는, 상술한 바와 같이, 제2의 3차원 영역(SA)을 별도로 설정함으로써 대처 가능하다.

도 8의 (c)에 나타내는 바와 같이, 웨어러블 단말(1)이 도 7의 (b)에 나타내는 상태로부터 그 자리에서 왼쪽으로 방향을 바꾼 경우(웨어러블 단말(1)을 장착한 보수 작업자가 그 자리에서 시선 방향(머리의 방향)을 좌측 방향으로 바꾼 경우), 도 7의 (b)에 나타내는 바와 같이, 원래 장치(S1, S2)가 사각 영역(BA) 내에 위치한다면, 시선 방향을 바꾸어도 사각 영역(BA) 내에 위치한 그대로가 된다.

이상, 도 7 및 도 8을 참조하여 설명한 제4 실시 형태에 따른 보수 지원 시스템과 같이, 보수 대상(T)과 합치하도록 제1의 3차원 영역(TA)을 설정하고, 웨어러블 단말(1)이 제1의 3차원 영역(TA)의 외부에서 이동하는 경우, 예외 영역(EA) 내에 기밀 정보에 관련된 장치(S(S1, S2))가 위치할 가능성에 대비하여, 제2의 3차원 영역(SA)을 별도로 설정할 필요가 있지만, 상술한 도 2에 나타내는 경우와 동일하게, 보수 지원자측 단말(2)에서는, 제1의 3차원 영역(TA)(보수 대상(T))만이 시인되어, 보수 대상(T) 이외의 기밀 정보 등의 누설을 방지 가능하다.

도 9는, 도 7에 나타내는 바와 같이 제1의 3차원 영역(TA)을 설정함과 더불어, 제2의 3차원 영역(SA)을 설정했을 때에 가공 화상 생성 수단(33)으로 생성되는 가공 화상의 일례를 나타내는 도면이다. 도 9의 (a)는 웨어러블 단말(1)의 촬상 수단(12)의 촬상 방향(시선 방향)(L1)을 설명하는 도면이고, 도 9의 (b)는 도 9의 (a)에 나타내는 촬상 방향(L1)일 때에 생성되는 가공 화상의 일례를 나타내는 도면이다. 또한, 도 9의 (a)에서는 웨어러블 단말(1)의 도시를 생략하고 있다.

도 9의 (b)에 나타내는 바와 같이, 보수 작업자가 장착하는 웨어러블 단말(1)이 구비하는 촬상 수단(12)으로 취득한 촬상 화상에 있어서, 보수 대상(T)을 포함하는 소정의 제1의 3차원 영역(TA)(도 9에 나타내는 예에서는 보수 대상(T)= 제1의 3차원 영역(TA))에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역, 및, 도 9의 (a)에 나타내는 장치(S1, S2)에 대하여 각각 설정된 제2의 3차원 영역(SA)(도시 생략)에 대응하는 마스크 화소 영역을 불가시로 한(도 9에 나타내는 예에서는 검게 칠한) 가공 화상이 얻어진다.

또한, 레이아웃상, 기밀 정보에 관련된 장치(S)가 보수 대상(T)의 근방에 없는(즉, 웨어러블 단말(1)을 장착한 작업자가 이동하는 영역과 보수 대상(T)의 사이에 기밀 정보에 관련된 장치(S)가 없는) 경우에는, 제1의 3차원 영역(TA)의 설정만으로 문제없고, 기밀 정보에 관련된 장치(S)가 보수 대상(T)의 근방에 있는 경우에, 제2의 3차원 영역(SA)도 필요하다.

1 웨어러블 단말
2 보수 지원자측 단말
3 제어 신호 처리 수단
12 촬상 수단
13 디스플레이
31 제1 특정 수단
32 제2 특정 수단
32a, 32b 제2의 촬상 수단
32c 거리 화상 센서
32d 관성 센서
33 가공 화상 생성 수단
34 통신 수단
100 보수 지원 시스템
M 기준점
N 전기 통신 회선
S, S1, S2 기밀 정보에 관련된 장치
T 보수 대상
TA 제1의 3차원 영역
SA 제2의 3차원 영역
W1, W2, W3, W4, W5, W6, W7, W8 칸막이벽
θ 화각
BA 사각 영역
OIA 촬상 영역 외
EA 예외 영역
MA 마스크 영역

Claims

촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말과,
초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 제1 특정 수단과,
상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하는 제2 특정 수단과,
상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제2 특정 수단으로 특정한 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 수단과,
상기 가공 화상 생성 수단으로 생성한 상기 가공 화상을 보수 지원자가 조작하는 보수 지원자측 단말에 송신하는 통신 수단
을 구비하는 것을 특징으로 하는 보수 지원 시스템.
청구항 1에 있어서,
상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상 중에 상기 기준점이 포함될 필요가 없는 것을 특징으로 하는 보수 지원 시스템.
청구항 1 또는 청구항 2에 있어서,
상기 기준점은, 마커에 의하여 규정되는 것을 특징으로 하는 보수 지원 시스템.
청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
상기 제2 특정 수단은, 촬상 방향이 서로 상이한 복수의 제2의 촬상 수단을 구비하고, 상기 복수의 제2의 촬상 수단으로 취득한 촬상 화상에 의거하여, 상기 마스크 화소 영역을 특정하는 것을 특징으로 하는 보수 지원 시스템.
청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
상기 웨어러블 단말은, 디스플레이를 구비하는 헤드 마운트 디스플레이이고,
상기 헤드 마운트 디스플레이는, 상기 디스플레이에 상기 촬상 화상을 표시하는 상태와, 상기 디스플레이에 상기 가공 화상을 인식 가능하게 표시하는 상태가 전환 가능하게 구성되어 있는 것을 특징으로 하는 보수 지원 시스템.
청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
상기 제1 특정 수단, 상기 제2 특정 수단, 상기 가공 화상 생성 수단 및 상기 통신 수단이, 상기 웨어러블 단말에 장착되어 있는 것을 특징으로 하는 보수 지원 시스템.
청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
상기 보수 지원자측 단말을 구비하고,
상기 보수 지원자측 단말은, 상기 통신 수단과 쌍방향으로 데이터 통신 가능하게 구성되어 있는 것을 특징으로 하는 보수 지원 시스템.
청구항 7에 있어서,
상기 통신 수단 및 상기 보수 지원자측 단말에 전기적으로 접속되고, 상기 보수 작업자의 식별 정보인 제1 식별 정보 및 상기 보수 지원자의 식별 정보인 제2 식별 정보가 기억된 서버를 구비하며,
상기 서버는, 상기 통신 수단으로부터 상기 서버에 송신된 식별 정보와 상기 서버에 기억된 상기 제1 식별 정보가 합치하는지 여부를 판정함과 더불어, 상기 보수 지원자측 단말로부터 상기 서버에 송신된 식별 정보와 상기 서버에 기억된 상기 제2 식별 정보가 합치하는지 여부를 판정하고, 상기 통신 수단으로부터 상기 서버에 송신된 상기 식별 정보와 상기 제1 식별 정보가 합치하며, 또한, 상기 보수 지원자측 단말로부터 상기 서버에 송신된 식별 정보와 상기 제2 식별 정보가 합치하는 경우에, 상기 서버를 통한 상기 통신 수단과 상기 보수 지원자측 단말의 쌍방향의 데이터 통신을 가능하게 하는 것을 특징으로 하는 보수 지원 시스템.
촬상 수단을 구비하고 보수 작업자가 장착하는 웨어러블 단말을 이용한 보수 지원 방법으로서,
제1 특정 수단에 의하여, 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 제1 특정 공정과,
상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 제2 특정 수단에 의하여, 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하는 제2 특정 공정과,
가공 화상 생성 수단에 의하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제2 특정 공정에서 특정한 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 공정과,
통신 수단에 의하여, 상기 가공 화상 생성 공정에서 생성한 상기 가공 화상을 보수 지원자측 단말에 송신하는 통신 공정
을 포함하는 것을 특징으로 하는 보수 지원 방법.
청구항 9에 기재된 보수 지원 방법이 포함하는 상기 제1 특정 공정, 상기 제2 특정 공정, 상기 가공 화상 생성 공정 및 상기 통신 공정을, 상기 제1 특정 수단, 상기 제2 특정 수단 및 상기 가공 화상 생성 수단 및 상기 통신 수단으로 하여금 각각 실행하게 하기 위한 프로그램.
보수 작업자가 장착하는 웨어러블 단말이 구비하는 촬상 수단으로 취득한 촬상 화상에 있어서, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하고, 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 것을 특징으로 하는 가공 화상의 생성 방법.
보수 작업자가 장착하는 웨어러블 단말이 구비하는 촬상 수단으로 취득한 촬상 화상을 이용하여 가공 화상을 생성하는 방법으로서,
제1 특정 수단에 의하여, 초기 상태의 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 소정의 기준점을 기준으로 하여, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역을 특정하는 제1 특정 공정과,
상기 웨어러블 단말이 이동한 이동 후 상태에 있어서, 제2 특정 수단에 의하여, 상기 촬상 수단으로 취득한 촬상 화상에 있어서의 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역을 특정하거나 및/또는 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역을 특정하는 제2 특정 공정과,
가공 화상 생성 수단에 의하여, 상기 이동 후 상태의 상기 촬상 수단으로 취득한 촬상 화상에 대하여, 상기 제2 특정 공정에서 특정한 상기 마스크 화소 영역을 불가시로 한 가공 화상을 생성하는 가공 화상 생성 공정
을 포함하는 것을 특징으로 하는 가공 화상의 생성 방법.
보수 작업자가 장착하는 웨어러블 단말이 구비하는 촬상 수단으로 취득한 촬상 화상에 있어서, 보수 대상인 산업용 기기를 포함하는 소정의 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 소정의 제2의 3차원 영역에 대응하는 마스크 화소 영역이, 불가시가 된, 가공 화상.
청구항 12에 기재된 생성 방법에 의하여 생성되고, 상기 보수 대상인 산업용 기기를 포함하는 상기 제1의 3차원 영역에 대응하는 유효 화소 영역을 제외한 마스크 화소 영역 및/또는 상기 보수 대상인 산업용 기기를 제외한 상기 제2의 3차원 영역에 대응하는 마스크 화소 영역이, 불가시가 된, 가공 화상.