KR20210068383A

KR20210068383A - Method for recognizing worker position in manufacturing line and apparatus thereof

Info

Publication number: KR20210068383A
Application number: KR1020210072609A
Authority: KR
Inventors: 장경식; 한솔
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2019-01-31
Filing date: 2021-06-04
Publication date: 2021-06-09
Also published as: KR102263836B1; KR20200094941A; KR102430282B1

Abstract

The present invention relates to a method for recognizing a worker position in a production line and an apparatus thereof and, more particularly to a method for accurately recognizing a worker position in an automated production line, referring to the recognized worker position, rotating a video displayed as virtual reality (VR) or augmented reality (AR) or adjusting the size of the video between a process machine and a worker through a video display device (e.g. HMD) possessed by the worker to easily transmit various information necessary for work to the worker in a field and to improve work skill, and an apparatus thereof. The apparatus includes a video processing part, a position recognition part, and a virtual video output part.

Description

생산 라인에서의 작업자 위치 인식 방법 및 그 장치{METHOD FOR RECOGNIZING WORKER POSITION IN MANUFACTURING LINE AND APPARATUS THEREOF}A method for recognizing the position of a worker in a production line and a device therefor {METHOD FOR RECOGNIZING WORKER POSITION IN MANUFACTURING LINE AND APPARATUS THEREOF}

본 발명은 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 영상표시장치(예를 들어, HMD(Head Mounted Display))를 통해 고정 구조물과 작업자 사이에 가상현실(VR, Virtual Reality) 또는 증강현실(AR, Augmented Reality)로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 현장의 작업자에게 작업에 필요한 각종 정보의 전달을 용이하게 수행하고, 작업 숙련도를 향상시킬 수 있는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for recognizing the position of a worker in a production line, and more particularly, to accurately recognize the location of a worker in an automated production line, and display an image held by the worker with reference to the recognized location of the worker By rotating or resizing an image displayed in Virtual Reality (VR) or Augmented Reality (AR) between a fixed structure and an operator through a device (for example, a Head Mounted Display (HMD)) , It relates to a method and an apparatus capable of easily performing the transfer of various information necessary for work to workers in the field, and improving work skill and the same.

최근 들어 자동화된 공정 라인에 IoT(Internet of Things) 디바이스를 부착하여 실시간으로 단위 공정별 동작상태, 공정정보, 제품정보 등을 추출하고, 상기 추출한 정보를 원격의 중앙관제시스템으로 전달하여 공정에 포함되는 각종 기계의 동작을 효율적으로 관리하고, 공장에서 생산하는 제품의 품질을 향상시킬 수 있는 스마트 팩토리에 대한 관심이 높아지고 있다.Recently, by attaching an IoT (Internet of Things) device to an automated process line, operation status, process information, product information, etc. for each unit process are extracted in real time, and the extracted information is transmitted to a remote central control system and included in the process Interest in smart factories that can efficiently manage the operation of various machines and improve the quality of products produced in factories is growing.

상기 스마트 팩토리는 공장의 설비와 공정이 지능화되어 생산네트워크로 연결되고 모든 생산 데이터와 정보가 실시간으로 공유 활용되어 최적화된 생산을 위한 운영이 가능한 공장을 말한다.The smart factory refers to a factory in which the facilities and processes of the factory are intelligently connected to the production network, and all production data and information are shared and utilized in real time to operate for optimized production.

특히 CPS(Cyber Physical System) 기반 스마트 팩토리는 실제 공장이 가상화되어 현실에 존재하는 공장과 동기화되는 사이버 모델을 구성한 후 실시간으로 수집된 데이터를 사이버 모델에 적용하여 제조 시스템의 효율적인 운영을 수행하는 것으로 이를 통해 주문, 변경, 설비 고장 등의 상황 변경에 자율적으로 인지하여 대응할 수 있도록 한다.In particular, the CPS (Cyber Physical System) based smart factory configures a cyber model in which a real factory is virtualized and synchronized with a factory that exists in reality, and then applies the collected data in real time to the cyber model to perform efficient operation of the manufacturing system. Through this, it is possible to autonomously recognize and respond to changes in circumstances such as orders, changes, and equipment failures.

한편 최근 들어 어떤 특정한 환경이나 상황을 컴퓨터로 만들어, 이를 이용하는 사람이 직접 체험하지 않고서도 마치 실제 주변 상황이나 환경과 상호작용을 하는 것처럼 보여주고 조작할 수 있게 해주는 가상현실 기술이나 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실 기술이 활발하게 사용되고 있다. 상기 가상현실 또는 증강현실의 기술을 이용하기 위한 가장 대표적인 영상표시장치로 사용자가 머리에 장착하는 HMD가 있다.On the other hand, recently, virtual reality technology that makes a specific environment or situation into a computer and allows the user to show and manipulate it as if it were interacting with the actual surrounding situation or environment without directly experiencing it, or a real image or background Augmented reality technology that shows a single image by superimposing a 3D virtual image on the screen is being actively used. As the most representative image display device for using the virtual reality or augmented reality technology, there is an HMD mounted on the user's head.

이와 같이 상기 가상현실이나 증강현실 기술을 스마트 팩토리에 적용하여, 관리자나 작업자가 HMD 등의 영상표시장치를 통해 생산품의 제조 진행 상황, 생산 장비의 동작상태 정보 등을 가상의 이미지로 확인할 수 있는 환경이 구축되면, 관리자의 의사결정의 정확성을 높일 수 있고, 작업자의 작업효율을 향상시킬 수 있을 것으로 예상된다.In this way, by applying the virtual reality or augmented reality technology to the smart factory, an environment in which a manager or a worker can check the manufacturing progress of a product, operation state information of production equipment, etc. in a virtual image through an image display device such as an HMD If this is established, it is expected that the accuracy of the manager's decision-making can be increased and the work efficiency of the worker can be improved.

하지만, 현재 스마트 팩토리의 각 공정에서 가상현실이나 증강현실 기술을 사용하여 가상의 이미지로 해당 공정에 필요한 작업 정보를 전달하는 기술이 사용되고 있지 않으며, 가상의 이미지로 작업 정보를 제공하는 경우에도 단순히 사용자의 시선 방향으로 제공하는 기술에 그치고 있을 뿐, 작업자의 위치 인식을 기반으로 가상의 이미지를 작업자가 이동하는 방향으로 회전시키거나 크기를 조절하여 제공하지 못하는 문제점이 있었다.However, at present, in each process of the smart factory, the technology that uses virtual reality or augmented reality technology to deliver the work information required for the process in a virtual image is not used, and even when the work information is provided in a virtual image, the user simply There was a problem in that the virtual image could not be provided by rotating or adjusting the size of the virtual image in the direction in which the operator moved based on the recognition of the operator's position, only providing the technology in the direction of the gaze of the operator.

따라서 본 발명에서는 자동화된 생산 라인에서 마커를 이용하여 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 HMD 등의 영상표시장치를 통해 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절할 수 있도록 함으로써, 현장의 작업자가 작업에 필요한 각종 정보를 용이하게 전달받을 수 있는 방안을 제시하고자 한다.Therefore, in the present invention, the position of the worker is accurately recognized using a marker in the automated production line, and the position of the recognized worker is referred to, and displayed in virtual reality or augmented reality through an image display device such as an HMD owned by the worker. By allowing the image to be rotated or adjusted in size, it is intended to suggest a method in which field workers can easily receive various types of information required for work.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently compared to the prior art will be described.

먼저 한국공개특허공보 제2017-0021689호(2017.02.28.)는 증강현실을 이용한 해양 구조물 설계/생산 지원 시스템 및 방법에 관한 것으로, 촬영부를 통해 촬영된 해양 구조물 영상에 그 해양 구조물의 설계도면을 증강현실을 이용하여 화면에 표시하는 시스템 및 방법에 관한 것이다.First, Korean Patent Application Laid-Open No. 2017-0021689 (2017.02.28.) relates to a system and method for supporting design/production of offshore structures using augmented reality. It relates to a system and method for displaying on a screen using augmented reality.

즉 상기 선행기술은 증강현실을 구현하는 3차원 디스플레이 장치를 이용하여 생산중인 해양 구조물의 설계도면을 해당 해양 구조물의 영상에 오버레이하여 표시함으로써, 해양 구조물의 실제 모습을 보면서 설계를 보완할 수 있도록 하는 시스템 및 방법에 대하여 기재하고 있다.That is, the prior art uses a three-dimensional display device that implements augmented reality to overlay and display a design drawing of an offshore structure in production on an image of the corresponding offshore structure, so that the design can be supplemented while viewing the actual appearance of the offshore structure. Systems and methods are described.

또한 한국등록특허 제1285360호(2013.07.11.)는 증강현실을 이용한 관심 지점 표시 장치 및 방법에 관한 것으로, 소정 방식의 측위모듈로부터 관심 지점 표시 장치의 현재 위치를 측정하고, 가속도 센서, 지자기 센서 및 자이로 센서 중 적어도 하나를 이용하여 관심 지점 표시 장치의 자세를 측정하여 해당 장치의 위치에서 지도 정보를 바탕으로 소정 범위의 검색 영역을 선정하고, 선정된 검색 영역에서 카메라 모듈이 촬영하는 시야각 내에 존재하는 소정 개수의 관심 지점을 선정하여 각 지점들의 위치를 선정하고, 관심 지점에 상응하는 추가 정보를 추출하여 관심 지점과 추가 정보를 합성하여 사용자에게 제공하는 것을 기술적 특징으로 한다.In addition, Korea Patent No. 1285360 (2013.07.11.) relates to a device and method for displaying a point of interest using augmented reality, and measures the current position of the device for displaying a point of interest from a positioning module of a predetermined method, an acceleration sensor, a geomagnetic sensor and a gyro sensor to measure the posture of the POI display device, select a search area within a predetermined range based on map information at the location of the device, and exist within the viewing angle captured by the camera module in the selected search area. It has a technical feature of selecting a predetermined number of points of interest to select a location of each point, extracting additional information corresponding to the point of interest, synthesizing the point of interest and additional information, and providing it to the user.

즉 상기 선행기술은 증강현실을 기반으로 관심 지점의 위치뿐만 아니라 해당 지점에 상응하는 추가 정보를 제공할 수 있는 장치 및 방법을 기재하고 있다.That is, the prior art describes an apparatus and method capable of providing additional information corresponding to the point of interest as well as the location of the point of interest based on augmented reality.

이상에서 선행기술들을 검토한 결과, 대부분의 선행기술들은 생산중인 해양 구조물의 설계도면을 해당 해양 구조물의 영상에 오버레이하여 표시하는 구성, 증강현실을 이용하여 관심 지점의 위치 및 추가정보를 제공하는 구성에 대한 기술적 개념만을 기재하고 있을 뿐이다.As a result of examining the prior art above, most prior art is a configuration that displays the design drawing of an offshore structure in production by overlaying it on the image of the offshore structure, and a configuration that provides the location of the point of interest and additional information using augmented reality It only describes the technical concept of

이에 반하여 본 발명은 자동화된 생산 라인에서 마커를 이용하여 작업자의 위치를 정확하게 인식하고, 이를 토대로 작업자가 보유한 HMD 등의 영상표시장치를 통해 표시되는 이미지를 회전시키거나 크기를 조절할 수 있으므로, 현장의 작업자가 작업에 필요한 각종 정보를 용이하게 전달받으며, 결과적으로 작업 숙련도를 향상시킬 수 있도록 하는 것이다. 따라서 상기 선행기술들은 본 발명의 이러한 기술적 특징을 기재하거나 시사하고 있지 않다.In contrast, the present invention accurately recognizes the position of a worker using a marker in an automated production line, and based on this, the image displayed through an image display device such as an HMD owned by the operator can be rotated or the size can be adjusted, so It is to allow the operator to easily receive various types of information necessary for the work, and as a result, to improve the work skill. Therefore, the prior art does not describe or suggest such technical features of the present invention.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 자동화된 생산 라인에서 고정 구조물(예: 공정기계)에 복수 개의 마커를 부착하고, 상기 복수 개의 마커를 이용하여 작업자의 위치를 정확하게 인식함으로써, 현장의 작업자에게 해당 공정에 필요한 작업 정보를 정확하게 전달할 수 있는 방법 및 그 장치를 제공하는 것을 목적으로 한다.The present invention was created to solve the above problems, by attaching a plurality of markers to a fixed structure (eg, a process machine) in an automated production line, and accurately recognizing the position of an operator using the plurality of markers. The purpose of the present invention is to provide a method and a device capable of accurately delivering the work information required for the process to the workers in the field.

또한 본 발명은 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치를 참조하여, 작업자가 보유한 영상표시장치를 통해 고정 구조물과 작업자 사이에 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 작업에 필요한 정보의 전달을 용이하게 수행하고, 이를 통해 작업 숙련도를 향상시킬 수 있는 방법 및 그 장치를 제공하는 것을 다른 목적으로 한다.In addition, the present invention accurately recognizes the position of the operator in an automated production line, and with reference to the recognized position of the operator, an image displayed in virtual reality or augmented reality between the fixed structure and the operator through the image display device possessed by the operator Another object of the present invention is to provide a method and an apparatus capable of easily transferring information required for work by rotating or adjusting the size, thereby improving work skill.

또한 본 발명은 현장의 작업자에게 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보를 가상현실 또는 증강현실 이미지로 제공함으로써, 작업에 필요한 다양한 정보를 손쉽게 확인할 수 있는 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention provides information including the manufacturing progress status, operation state information of process machines, work know-how, work manuals, or a combination thereof to workers in the field as virtual reality or augmented reality images, so that various information required for work can be easily checked Another object of the present invention is to provide a method and an apparatus therefor.

또한 본 발명은 작업자와 고정 구조물 사이의 정확한 거리와 각도를 계산하는 것이 아니고, 작업자의 위치를 고정 구조물과의 상대적 거리와 각도를 근사화해서 계산함으로써, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있는 방법 및 그 장치를 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention does not calculate the exact distance and angle between the operator and the fixed structure, but calculates the position of the operator by approximating the relative distance and angle with the fixed structure, thereby quickly responding to the operator's position or movement of the eye to create a virtual It is another object to provide a method and an apparatus capable of processing an image.

본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 방법은, 영상표시장치에서, 카메라로 촬영한 영상으로부터 특정 고정 구조물에 부착된 복수의 마커를 추출하는 마커 추출 단계, 및 상기 영상표시장치에서, 현재 작업자 위치에서 상기 추출한 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식 단계를 포함하며, 상기 기준 작업자 위치는, 상기 고정 구조물의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 한다.A method for recognizing a position of a worker in a production line according to an embodiment of the present invention includes, in an image display apparatus, a marker extraction step of extracting a plurality of markers attached to a specific fixed structure from an image captured by a camera, and the image display apparatus In , the angle and the relative distance between the plurality of markers extracted from the current operator position are calculated, and the calculated angle and the relative distance are measured from the image taken at the pre-registered reference operator position. Comprising a position recognition step of recognizing the position of the operator by comparing the position and the angle between the plurality of markers and the relative distances between the plurality of markers, the reference operator position is the virtual of the fixed structure from the front of the fixed structure It is characterized in that it is any one point determined by the designer when the center point and the operator are connected by a straight line.

또한 상기 작업자 위치 인식 방법은, 상기 영상표시장치에서, 상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력 단계를 더 포함하며, 상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 한다.In addition, the method for recognizing the position of the worker comprises, in the image display device, a step of outputting a virtual image by rotating or adjusting the size of the information required for the job displayed in virtual reality or augmented reality based on the recognized position of the worker It further includes, and the information necessary for the operation is characterized in that it is information including the manufacturing progress status, operation state information of the process machine, operation know-how, operation manual, or a combination thereof.

또한 상기 마커 추출 단계에서 추출되는 복수의 마커 중 어느 하나는 기준 마커로 사용되며, 상기 기준 마커는 상기 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물의 가상 중심점에 부착되는 것을 특징으로 한다.In addition, any one of the plurality of markers extracted in the marker extraction step is used as a reference marker, and the reference marker is attached to a virtual center point of a specific fixed structure to enable shooting in any direction through the camera.

또한 상기 위치 인식 단계는, 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 거리 근사화 단계, 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 각도 근사화 단계, 및 상기 거리 근사화 단계에서 확인한 기준 마커를 기준으로 한 작업자의 수평 이동여부와 상기 각도 근사화 단계에서 확인한 기준 마커를 기준으로 한 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하는 위치 확인 단계를 더 포함하는 것을 특징으로 한다.In addition, the position recognition step calculates a ratio of a relative distance between a plurality of markers measured from an image taken at a pre-stored reference operator position and a relative distance between a plurality of markers measured from an image taken at the current operator position, Distance approximation step of confirming whether the operator's position moves to the left or right of the reference marker by referring to the calculated ratio value for each marker, a distance approximation step of checking whether the position of the operator moves to the left or right of the reference marker Calculates the ratio of the angle with the marker of the marker and the angle with a plurality of markers measured from the image taken from the current operator position, and whether the operator's position approaches or moves away from the reference marker based on the calculated ratio value for each marker. The angle approximation step of confirming whether the vertical movement of the ground or the horizontal movement of whether the position of the operator has moved to the left or right of the reference marker, and the horizontal movement of the operator based on the reference marker confirmed in the distance approximation step It characterized in that it further comprises a positioning step of confirming the position of the operator based on whether the movement and whether the vertical and horizontal movement of the operator based on the reference marker confirmed in the angle approximation step.

아울러, 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 장치는, 카메라로 촬영한 영상으로부터 특정 고정 구조물에 부착된 복수의 마커를 추출하는 영상처리부, 및 현재 작업자 위치에서 상기 추출한 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식부를 포함하며, 상기 기준 작업자 위치는, 상기 고정 구조물의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 한다.In addition, the apparatus for recognizing the position of a worker in a production line according to an embodiment of the present invention includes an image processing unit for extracting a plurality of markers attached to a specific fixed structure from an image captured by a camera, and a plurality of the extracted plurality of markers from the current position of the worker. An angle with a marker and a relative distance between the plurality of markers are calculated, and the angle and the angle between the reference operator position and a plurality of markers measured from an image taken at a pre-registered reference operator position for the calculated angle and relative distance, and the Comprising a position recognition unit for recognizing the position of the operator, compared with the relative distance between the plurality of markers, the reference operator position, when connecting the virtual center point of the fixed structure and the operator in a straight line from the front of the fixed structure to the designer It is characterized in that it is any one point determined by

또한 상기 작업자 위치 인식 장치는, 상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력부를 더 포함하며, 상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 한다.In addition, the worker position recognition device, based on the recognized position of the worker, further comprises a virtual image output unit that rotates or adjusts the size of the information required for the work displayed in virtual reality or augmented reality to output, The necessary information is characterized in that it is information including manufacturing progress, operation state information of process machines, work know-how, work manuals, or a combination thereof.

또한 상기 복수의 마커 중 어느 하나는 기준 마커로 사용되며, 상기 기준 마커는 상기 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물의 가상 중심점에 부착되는 것을 특징으로 한다.In addition, any one of the plurality of markers is used as a reference marker, and the reference marker is attached to a virtual center point of a specific fixed structure to enable shooting in any direction through the camera.

또한 상기 복수의 마커는, 각 마커별로 색상을 다르게 적용하여 구성하거나 적외선 발광 소자를 포함하여 구성할 수 있는 것을 특징으로 한다.In addition, the plurality of markers may be configured by applying different colors to each marker or may be configured by including an infrared light emitting device.

또한 상기 복수의 마커는, 직사각형 형태의 비정형 마커를 사용하며, 상기 고정 구조물에 교차 배치되는 것을 특징으로 한다.In addition, the plurality of markers, using an atypical marker in a rectangular shape, is characterized in that it is intersected on the fixed structure.

또한 상기 위치 인식부는, 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 수평 이동하였는지의 여부를 확인하는 거리 근사화부, 및 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 여부를 확인하거나, 또는 상기 기준 마커의 왼쪽 또는 오른쪽으로 수평 이동하였는지의 여부를 확인하는 각도 근사화부를 포함하는 것을 특징으로 한다.In addition, the position recognition unit calculates a ratio of a relative distance between a plurality of markers measured from an image taken at a pre-stored reference worker position and a relative distance between a plurality of markers measured from an image taken at the current worker position, and A distance approximation unit that checks whether the operator's position has moved horizontally to the left or right of the reference marker by referring to the calculated ratio value for each marker, and a plurality of Calculates the ratio of the angle with the marker and the angle with a plurality of markers measured from the image taken at the current operator position, and determines whether the operator's position approaches or moves away from the reference marker based on the calculated ratio value for each marker. It is characterized in that it includes an angle approximation unit that checks whether or not the reference marker is horizontally moved to the left or right of the reference marker.

이상에서와 같이 본 발명의 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 따르면, 자동화된 생산 라인에서 고정 구조물에 부착된 마커를 이용하여 작업자의 위치를 정확하게 인식하고, 상기 인식한 작업자의 위치에 따라 작업자의 영상표시장치를 통해 고정 구조물과 작업자 사이에 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절함으로써, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 등을 포함한 각종 정보를 현장의 작업자에게 정확하게 전달할 수 있으며, 이를 토대로 작업자가 작업을 진행할 수 있어 숙련도를 크게 향상시킬 수 있는 효과가 있다.As described above, according to the method and apparatus for recognizing the position of a worker in the production line of the present invention, the position of the worker is accurately recognized using the marker attached to the fixed structure in the automated production line, and the position of the recognized worker is Accordingly, by rotating or adjusting the size of the image displayed in virtual reality or augmented reality between the fixed structure and the operator through the operator's image display device, the manufacturing progress, operation state information of the process machine, work know-how, operation manual, etc. are displayed. Various types of information including information can be accurately transmitted to the workers on site, and based on this, the operator can proceed with the work, which has the effect of greatly improving the skill level.

또한 본 발명은 작업자의 위치 인식을 기반으로 가상현실 또는 증강현실로 가상의 이미지를 제공할 때, 작업자와 고정 구조물 사이의 정확한 거리와 각도를 계산하는 것이 아니고, 작업자와 고정 구조물의 상대적 거리와 각도를 근사화하여 계산하고, 이를 토대로 작업자의 위치를 인식함으로써, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있는 효과가 있다.In addition, the present invention does not calculate the exact distance and angle between the operator and the fixed structure when providing a virtual image in virtual reality or augmented reality based on the position recognition of the operator, but the relative distance and angle between the operator and the fixed structure By approximating and calculating the , and recognizing the position of the operator based on this, there is an effect of quickly responding to the position or movement of the operator and processing the virtual image.

도 1은 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상표시장치의 구성을 개략적으로 나타낸 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사용되는 각종 변수 및 가상 이미지의 현재 작업자 위치에 따른 회전과 크기 조절에 대한 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서의 마커 부착을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치에서 보이는 각 마커들의 위치정보를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치와 각 마커들 사이의 각도정보를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 촬영위치 이동에 따른 각 마커들의 수평방향 위치 변화를 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 정형 마커와 비정형 마커 사용을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수평이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수직이동과 대각선이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 방법의 동작과정을 상세하게 나타낸 순서도이다.1 is a conceptual diagram illustrating an apparatus for recognizing a position of an operator in a production line according to an embodiment of the present invention.
2 is a diagram schematically showing the configuration of an image display device according to an embodiment of the present invention.
3 to 5 are diagrams for explaining the concept of rotation and size adjustment according to the current operator position of various variables and virtual images used in the worker position recognition process according to an embodiment of the present invention.
6 is a view for explaining the attachment of a marker in the process of recognizing the position of the operator according to an embodiment of the present invention.
7 is a view for explaining a reference operator position pre-registered in the operator position recognition process according to an embodiment of the present invention.
FIG. 8 is a view for explaining position information of each marker shown in a reference operator position that is pre-registered in the process of recognizing a position of an operator according to an embodiment of the present invention.
9 is a view for explaining angle information between a reference operator position and each marker pre-registered in the operator position recognition process according to an embodiment of the present invention.
10 is a view for explaining the relative distance information between the markers identified in the pre-registered reference operator position in the operator position recognition process according to an embodiment of the present invention.
11 is a view for explaining a change in the horizontal position of each marker according to the movement of the photographing position of the operator in the process of recognizing the position of the operator according to an embodiment of the present invention.
12 is a view for explaining the use of a regular marker and an atypical marker in the process of recognizing the position of the operator according to an embodiment of the present invention.
13 is a view for explaining an angle change of each marker according to the horizontal movement of the operator in the process of recognizing the position of the operator according to an embodiment of the present invention.
14 is a view for explaining an angle change of each marker according to the vertical movement and the diagonal movement of the operator in the process of recognizing the position of the operator according to an embodiment of the present invention.
15 is a flowchart illustrating in detail an operation process of a method for recognizing a position of an operator in a production line according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 생산 라인에서의 작업자 위치 인식 방법 및 그 장치에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a method for recognizing a position of an operator in a production line and an apparatus thereof will be described in detail with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions for the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms They have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 장치를 설명하기 위한 개념도이다.1 is a conceptual diagram illustrating an apparatus for recognizing a position of an operator in a production line according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명은 영상표시장치(100), 고정 구조물(200), 복수의 마커(300), 생산 라인 관리서버(400), 데이터베이스(500) 등을 포함하여 구성된다.As shown in FIG. 1 , the present invention is configured to include an image display device 100 , a fixed structure 200 , a plurality of markers 300 , a production line management server 400 , a database 500 , and the like.

상기 영상표시장치(100)는 생산 라인에 위치한 작업자가 신체에 착용한 상태에서 가상현실이나 증강현실 이미지를 확인할 수 있는 HMD, 소정의 애플리케이션 프로그램을 실행한 작업자가 손에 들고 있는 상태에서 가상현실이나 증강현실 이미지를 확인할 수 있는 스마트폰 등의 통신기기이다.The image display device 100 is an HMD that can confirm virtual reality or augmented reality images in a state worn by a worker located on the production line on the body, virtual reality or virtual reality or a virtual reality or augmented reality in a state in which a worker who executed a predetermined application program is holding in the hand It is a communication device such as a smartphone that can check augmented reality images.

이때 상기 영상표시장치(100)를 통해 현장의 작업자에게 가상현실이나 증강현실 이미지로 제공되는 정보는, 해당 공정에서의 생산품 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 각 생산 라인에서 필요한 다양한 작업정보로서, 상기 영상표시장치(100)와 공정기계가 위치한 상기 고정 구조물(200) 사이에 투영된다. 예를 들어 텍스트로 구성된 정보의 경우 평면상에 투영할 수 있으며, 그래픽으로 구성된 정보의 경우 상기 고정 구조물(200)을 화면상에 표시한 상태에서 가상의 이미지를 중첩하는 형태로 투영할 수 있는 것이다.At this time, the information provided as a virtual reality or augmented reality image to a worker in the field through the image display device 100 is the production progress status in the process, operation state information of the process machine, work know-how, work manual, or their As various work information required in each production line including combination, it is projected between the image display device 100 and the fixed structure 200 in which the process machine is located. For example, in the case of information composed of text, it can be projected on a plane, and in the case of information composed of graphics, the fixed structure 200 can be projected on the screen in a form of superimposing a virtual image. .

또한 상기 영상표시장치(100)는 각 생산 라인에서 필요한 작업정보를 사전에 저장해 놓은 상태에서, 필요시 현장의 작업자에게 가상의 이미지를 투영하는 방식을 적용하는 것이 가장 바람직하지만, 그 이외에 각 생산 라인에서 필요한 작업정보를 상기 생산 라인 관리서버(400)로부터 실시간으로 전송받아 상기 영상표시장치(100)를 통해 가상의 이미지를 투영하는 방식을 사용할 수도 있다.In addition, in the image display device 100, it is most preferable to apply a method of projecting a virtual image to a worker in the field when necessary, in a state in which work information necessary for each production line is stored in advance, but in addition to each production line It is also possible to use a method of projecting a virtual image through the image display device 100 by receiving the necessary work information from the production line management server 400 in real time.

또한 상기 영상표시장치(100)는 상기 고정 구조물(200) 사이에 생산 공정의 작업과 관련된 각종 정보를 가상의 이미지로 투영할 때, 작업자의 위치를 고려하여 표현할 수 있다.In addition, the image display apparatus 100 may express various information related to the operation of the production process between the fixed structures 200 in consideration of the position of the operator when projecting it as a virtual image.

즉 상기 영상표시장치(100)에서 자체적으로 구비된 카메라로 복수의 마커(300)가 부착된 상기 고정 구조물(200)을 촬영한 후 실시간 영상처리를 통해 현재 작업자 위치에서 상기 복수의 마커(300)와의 각도 및 상기 복수의 마커(300) 간의 상대적 거리를 계산하고, 이를 사전 등록된 기준 작업자 위치에서의 각도 및 상대적 거리와 비교하여 작업자의 위치를 인식하고, 상기 인식한 작업자의 위치를 참조하여 가상의 이미지를 적절하게 회전시키거나 크기를 조절함으로써, 작업과 관련된 정보를 제공받는 작업자의 가시성과 편의성을 향상시키도록 한 것이다.That is, after photographing the fixed structure 200 to which the plurality of markers 300 are attached with a camera provided in the image display device 100, the plurality of markers 300 at the current operator position through real-time image processing. Calculates the angle and the relative distance between the plurality of markers 300, and recognizes the position of the operator by comparing it with the angle and the relative distance from the pre-registered reference operator position, and virtual with reference to the recognized position of the operator By properly rotating or resizing the image of the image, the visibility and convenience of the worker who is provided with information related to the work is improved.

특히 본 발명은 상기 영상표시장치(100)에서 작업자와 상기 고정 구조물(200) 사이의 정확한 거리와 각도를 계산하는 것이 아니고, 작업자와 상기 고정 구조물(200)의 상대적 거리와 각도를 근사화하여 계산하고, 이를 토대로 작업자의 위치를 인식하기 때문에, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있다.In particular, the present invention does not calculate the exact distance and angle between the operator and the fixed structure 200 in the image display device 100, but approximates the relative distance and angle between the operator and the fixed structure 200. , because the position of the operator is recognized based on this, it is possible to quickly respond to the position of the operator or movement of the eye to process the virtual image.

한편 상기 영상표시장치(100)는 자체적으로 구비된 카메라를 이용하는 것 이외에, 생산 라인 상에 구비된 카메라에서 촬영한 영상을 네트워크를 통해 직접 전송받거나 상기 생산 라인 관리서버(400)를 통해 전송받아 작업자 위치 인식에 활용할 수도 있다.On the other hand, the image display device 100, in addition to using a camera provided by itself, receives the image taken by the camera provided on the production line directly through the network or is transmitted through the production line management server 400, a worker It can also be used for location recognition.

상기 고정 구조물(200)은 상기 영상표시장치(100)를 통해 현장의 작업자에게 해당 생산 공정에서 필요한 작업 정보와 관련된 가상의 이미지를 투영하는 대상이 되는 공장 자동화 장비로서, 스마트 팩토리의 각 단위 공정을 수행하는 스테이션에서 사용하는 공정 기계가 설치되는 부분이다.The fixed structure 200 is a factory automation equipment that is a target for projecting a virtual image related to work information required in the production process to a worker in the field through the image display device 100, and performs each unit process of the smart factory. This is the part where the process machinery used in the performing station is installed.

여기서 상기 공장 자동화 장비는 통상적으로 고정 구조물(200)과 이동 구조물로 구성된다. 예를 들어 상기 고정 구조물(200)은 프로파일(profile)이라 불리는 알루미늄 재질의 육각 바 형태의 기둥을 수평 또는 수직으로 연결하여 형성한 구조물일 수 있는데, 자동화 장비에는 프로파일뿐 아니라 작업 로봇의 베이스 구조물가 반송장치의 일부 등도 고정 구조물이라 할 수 있다. 그리고 이러한 고정 구조물 사이를 이동하는 제품이나 부품, 로봇 팔과 같이 지속적으로 움직이는 것은 이동 구조물이라 할 수 있다.Here, the factory automation equipment is typically composed of a fixed structure 200 and a moving structure. For example, the fixed structure 200 may be a structure formed by horizontally or vertically connecting a hexagonal bar-shaped column made of aluminum called a profile. In the automation equipment, not only the profile but also the base structure of the work robot is transported. A part of the device may also be referred to as a fixed structure. And products or parts that move between these fixed structures, such as a robot arm, which move continuously can be called a moving structure.

상기 마커(300)는 현장에 위치한 작업자가 착용하거나 소지한 상기 영상표시장치(100)에서 작업자와 가상 이미지가 투영되는 상기 고정 구조물(200) 사이의 상대적 각도와 거리를 측정하는데 사용되며, 각 생산 라인에서 공정기계가 위치하는 상기 고정 구조물(200)에 부착된다.The marker 300 is used to measure the relative angle and distance between the operator and the fixed structure 200 on which the virtual image is projected in the image display device 100 worn or possessed by the worker located in the field, and each production It is attached to the stationary structure 200 in which the process machine is located in the line.

즉 상기 마커(300)는 상기 영상표시장치(100)에 구비된 카메라로 촬영 가능한 표식을 말하는 것으로서, 상대적 거리 및 각도 측정을 위해서 기준 마커를 포함하여 최소한 2개 이상을 부착하여야 하며, 측정의 정확도를 높이기 위해서 3개 이상을 사용하는 것이 바람직하다.(도 6 참조) 이때 상기 마커(300)의 부착 위치는 스테이션의 형태나 고정 구조물의 위치와 형태에 따라 결정되며, 상기 영상표시장치(100)에서 마커들의 각도와 위치를 가장 효율적으로 알아내기 위하여 수행한 다양한 실험결과를 토대로 결정하는 것이 바람직하다.That is, the marker 300 refers to a mark that can be photographed with a camera provided in the image display device 100, and for measuring relative distances and angles, at least two or more including reference markers must be attached, and accuracy of measurement It is preferable to use three or more in order to increase the value. (See FIG. 6 ) In this case, the attachment position of the marker 300 is determined according to the shape of the station or the position and shape of the fixed structure, and the image display device 100 In order to most efficiently find out the angles and positions of the markers, it is desirable to determine them based on the results of various experiments performed.

또한 상기 마커(300)는 촬영을 통해 인식할 수 있다면 어떠한 재질을 사용하여도 무방하며, 적외선 방식의 마커를 사용할 수도 있다. 즉 상기 마커(300)는 일반적인 컬러 테이프를 사용하여 각 마커별로 색상을 다르게 적용하여 구성하거나, 또는 적외선 발광 소자를 구비하거나 적외선 발광이 가능한 물질을 도포하여 사용할 수 있는 것이다. 이때 상기 복수의 마커(300) 모두를 동일한 색상으로 적용하는 경우에는 기준 마커를 정의(예를 들어 좌측 상단의 첫 번째 마커)한 후 상대적 위치 정보(예를 들어 일정 방향으로 스캔하면서 인덱싱하는 방법)를 결정하여 사용할 수 있다.In addition, any material may be used for the marker 300 as long as it can be recognized through photographing, and an infrared marker may be used. That is, the marker 300 may be configured by applying different colors to each marker using a general color tape, or may be provided with an infrared light emitting device or may be used by applying a material capable of emitting infrared light. In this case, when all of the plurality of markers 300 are applied with the same color, a reference marker is defined (for example, the first marker on the upper left) and relative position information (for example, indexing while scanning in a certain direction) can be determined and used.

또한 상기 마커(300) 중 기준 마커는 상기 영상표시장치(100)에 구비된 카메라를 통해 어느 방향에서도 촬영이 가능하도록 특정 고정 구조물(200)의 가상 중심점에 부착하여야 한다. 이때 상기 기준 마커는 유일한 색상(예: 빨간색)으로 지정하여 사용하는 것이 바람직하다.In addition, the reference marker among the markers 300 should be attached to the virtual center point of the specific fixed structure 200 so that the image can be photographed from any direction through the camera provided in the image display device 100 . In this case, it is preferable to designate and use the reference marker as a unique color (eg, red).

또한 상기 마커(300)는 상기 영상표시장치(100)에서 촬영한 영상으로부터 마커의 상대 위치에 따라 거리와 각도를 계산하기 때문에 원형이나 정사각형과 같은 대칭형 구조로 제작하지 않는 것이 좋다. 즉 상기 마커(300)는 직사각형 형태의 비정형 마커를 사용하여 상기 고정 구조물(200)에 교차로 배치하는 것이 바람직하며, 이 경우 마커가 중첩되어 촬영되는 것을 방지할 수 있다.In addition, since the marker 300 calculates the distance and angle according to the relative position of the marker from the image captured by the image display device 100, it is not recommended to manufacture the marker 300 in a symmetrical structure such as a circle or a square. That is, the marker 300 is preferably disposed at an intersection on the fixed structure 200 using an atypical marker in a rectangular shape, and in this case, overlapping markers can be prevented from being photographed.

상기 생산 라인 관리서버(400)는 제품 생산을 위한 생산 라인을 운영하는 사업자가 운영하는 컴퓨터로서, 각 생산 라인의 구동 및 제어를 총괄적으로 수행하며, 각각의 생산 공정에서 필요한 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 작업관련 정보를 구축하여 상기 데이터베이스(500)에 저장하여 관리한다. 이때 상기 작업관련 정보는 상기 영상표시장치(100)를 통해 가상현실이나 증강현실 이미지로 투영되는 정보이다.The production line management server 400 is a computer operated by a business operator who operates a production line for product production, and performs driving and control of each production line as a whole, and the manufacturing progress required in each production process, process machinery operation status information, work know-how, work manual, or a combination thereof is constructed and stored in the database 500 for management. In this case, the work-related information is information projected as a virtual reality or augmented reality image through the image display device 100 .

또한 상기 생산 라인 관리서버(400)는 현장의 작업자가 자신이 보유한 상기 영상표시장치(100)에 각 생산 공정에 따른 작업관련 정보를 사전에 다운로드받아 저장하도록 하며, 만일 상기 작업관련 정보가 업데이트되거나 현장의 작업장에게 실시간으로 제공할 필요성이 있다면, 네트워크를 통해 현장의 작업자가 보유한 상기 영상표시장치(100)로 상기 작업관련 정보를 제공한다.In addition, the production line management server 400 allows a field worker to download and store work-related information according to each production process in the image display device 100 possessed by him in advance, and if the work-related information is updated or If there is a need to provide real time to the workplace of the field, the work-related information is provided to the image display device 100 possessed by the worker in the field through a network.

상기 데이터베이스(500)는 각 생산 라인의 공정 순서, 생산 계획 등을 저장하여 관리하고, 각각의 생산 공정별 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 작업관련 정보를 저장하여 관리한다.The database 500 stores and manages the process sequence of each production line, the production plan, etc., and the operation including the manufacturing progress status for each production process, the operation state information of the process machine, the work know-how, the work manual, or a combination thereof It stores and manages related information.

또한 상기 데이터베이스(500)는 작업관련 정보를 가상의 이미지로 투영하는 상기 영상표시장치(100)의 동작 프로그램 및 작업관련 정보의 업데이트 내용을 저장하여 관리한다. 그 이외에 상기 데이터베이스(500)는 각 생산라인에 배치된 공정기계에서 사용하는 각종 동작프로그램 및 업데이트 정보를 저장하여 관리한다.In addition, the database 500 stores and manages the operation program of the image display device 100 for projecting the work-related information into a virtual image and the update contents of the work-related information. In addition, the database 500 stores and manages various operation programs and update information used in process machines arranged in each production line.

도 2는 본 발명의 일 실시예에 따른 영상표시장치의 구성을 개략적으로 나타낸 도면이다.2 is a diagram schematically showing the configuration of an image display device according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 상기 영상표시장치(100)는 카메라(110), 영상처리부(120), 위치 인식부(130), 가상 이미지 출력부(140), 통신부(150), 저장부(160) 등을 포함하여 구성된다.As shown in FIG. 2 , the image display device 100 includes a camera 110 , an image processing unit 120 , a location recognition unit 130 , a virtual image output unit 140 , a communication unit 150 , and a storage unit ( 160) and the like.

또한 상기 영상표시장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능에 대한 데이터 입력을 위한 입력부, 작업자의 이동, 자세, 속도 등을 감지하기 위한 각종 센서, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부 등을 추가로 포함할 수 있다.In addition, although not shown in the drawing, the image display device 100 is a power supply unit for supplying operating power to each component, an input unit for data input for various functions, and various sensors for detecting movement, posture, speed, etc. of the operator , and may further include an update management unit for managing updates of various operating programs.

상기 카메라(110)는 컬러 촬영이 가능한 일반적인 카메라로서, 상기 고정 구조물(200)에 부착된 복수의 마커(300)가 적외선 마커인 경우 적외선 카메라를 사용한다.The camera 110 is a general camera capable of color photographing, and when the plurality of markers 300 attached to the fixed structure 200 are infrared markers, an infrared camera is used.

또한 상기 카메라(110)는 특정 생산 라인에 위치한 작업자의 조작을 토대로 현재 위치에서 상기 고정 구조물(200)을 촬영하고, 상기 촬영한 영상을 상기 영상처리부(120)로 출력한다. 즉 상기 위치 인식부(130)에서 상기 고정 구조물(200)에 부착된 복수 개의 마커(300)를 인식하여 작업자가 상기 고정 구조물(200)로부터 어느 방향이나 거리에 위치하고 있는지를 확인할 수 있도록, 상기 고정 구조물(200)을 촬영하는 것이다.In addition, the camera 110 photographs the fixed structure 200 at the current location based on the operation of a worker located in a specific production line, and outputs the photographed image to the image processing unit 120 . That is, the position recognition unit 130 recognizes the plurality of markers 300 attached to the fixed structure 200 so that the operator can check in which direction or distance from the fixed structure 200, the fixed structure. The structure 200 is to be photographed.

상기 영상처리부(120)는 상기 카메라(110)로 촬영한 영상으로부터 특정 고정 구조물(200)에 부착된 복수의 마커(300)를 추출하고, 상기 추출한 복수의 마커(300)에 대한 정보(예를 들어 현재 작업자 위치에서 보이는 각 마커들의 위치 정보)를 상기 위치 인식부(130)로 출력한다.The image processing unit 120 extracts a plurality of markers 300 attached to a specific fixed structure 200 from the image captured by the camera 110, and information (eg, on the extracted plurality of markers 300 ). For example, the position information of each marker seen at the current position of the operator) is output to the position recognition unit 130 .

이때 상기 영상처리부(120)는 상기 카메라(110)로부터 입력되는 촬영영상에 포함된 각 마커(300)의 인식(즉 각 마커별 색상 인식)을 위한 컬러변환을 수행하는 컬러변환부(121)와, 상기 컬러변환된 영상의 품질 개선을 위해 노이즈를 제거하는 노이즈 제거부(122)와, 상기 노이즈를 제거한 영상에서 각 마커(300)가 포함된 관심영역을 추출하는 관심영역 추출부(123)와, 상기 추출한 관심영역에서 마커(300) 부분을 추출하는 특징점 추출부(124)로 구성된다.At this time, the image processing unit 120 includes a color conversion unit 121 that performs color conversion for recognizing each marker 300 included in the captured image input from the camera 110 (that is, color recognition for each marker) and , a noise removing unit 122 for removing noise to improve the quality of the color-converted image, and a region of interest extracting unit 123 for extracting a region of interest including each marker 300 from the noise-removed image; , a feature point extraction unit 124 that extracts a portion of the marker 300 from the extracted region of interest.

상기 위치 인식부(130)는 상기 영상처리부(120)에서 추출한 복수의 마커(300)에 대한 위치 정보를 토대로, 현재 작업자 위치에서 상기 추출한 복수의 마커(300)와의 각도와 기준 마커를 중심으로 한 상기 복수의 마커(300) 간의 상대적 거리를 산출한다.The position recognition unit 130 based on the position information on the plurality of markers 300 extracted from the image processing unit 120, the angle with the plurality of markers 300 extracted from the current worker position and the reference marker as the center. A relative distance between the plurality of markers 300 is calculated.

또한 상기 위치 인식부(130)는 현재 작업자 위치에서 산출한 각 마커(300)와의 각도 및 각 마커(300) 간의 상대적 거리를 상기 저장부(160)에 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커(300)와의 각도와 기준 마커를 중심을 한 상기 복수의 마커(300) 간의 상대적 거리와 비교하고, 비교결과를 토대로 작업자의 위치를 인식한다.In addition, the position recognition unit 130 is an image taken from the reference worker position pre-stored in the storage unit 160, the angle with each marker 300 and the relative distance between each marker 300 calculated from the current operator position. The angle between the reference operator position and the plurality of markers 300 measured from is compared with the relative distance between the plurality of markers 300 centered on the reference marker, and the operator's position is recognized based on the comparison result.

여기서 상기 기준 작업자 위치는 상기 고정 구조물(200)의 정면에서 상기 고정 구조물(200)의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점을 말하며, 가상 이미지의 종류와 응용 분야에 따라 달라질 수 있다.(도 4 및 도 5 참조)Here, the reference operator position refers to any one point determined by the designer when the virtual center point of the fixed structure 200 and the operator are connected in a straight line from the front of the fixed structure 200, and the type and application of the virtual image It may vary depending on the field (refer to FIGS. 4 and 5).

즉 상기 위치 인식부(130)는 현재 작업자 위치가 기준 작업자 위치에서 어느 정도 각도로 어느 방향(시계방향 또는 반시계 방향)으로 떨어져 있는지를 알아내기 위한 것이다.That is, the position recognition unit 130 is to find out in which direction (clockwise or counterclockwise) the current operator position is separated from the reference operator position by what angle.

이때 상기 위치 인식부(130)는 거리 근사화부(131), 각도 근사화부(132), 위치 확인부(133)로 구성된다.In this case, the location recognition unit 130 includes a distance approximation unit 131 , an angle approximation unit 132 , and a location verification unit 133 .

상기 거리 근사화부(131)는 상기 저장부(160)에 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 기준 마커를 중심으로 한 각 마커(300) 간의 상대적 거리와 상기 영상처리부(120)로부터 입력받은 현재 작업자 위치에서 촬영한 영상으로부터 측정한 기준 마커를 중심으로 한 각 마커(300) 간의 상대적 거리의 비율을 계산한다.The distance approximation unit 131 includes a relative distance between each marker 300 centered on a reference marker measured from an image captured at a reference operator position pre-stored in the storage unit 160 and the image processing unit 120 . Calculates the ratio of the relative distance between each marker 300 with respect to the reference marker measured from the image taken at the current operator position input from the operator.

또한 상기 거리 근사화부(131)는 상기 계산한 각 마커별 비율값을 참조하여 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인한다.(도 11 참조)In addition, the distance approximation unit 131 checks whether the position of the operator moves to the left or right of the reference marker by referring to the calculated ratio value for each marker. (See FIG. 11 )

상기 각도 근사화부(132)는 상기 저장부(160)에 기 저장되어 있는 기 저장되어 있는 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치에서 바라본 복수의 마커(300)와의 각도와 상기 영상처리부(120)로부터 입력받은 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 상기 현재 작업자 위치에서 바라본 복수의 마커(300)와의 각도의 비율을 계산한다.The angle approximation unit 132 is the angle and the image with the plurality of markers 300 viewed from the reference operator position measured from the image taken from the pre-stored reference operator position stored in the storage unit 160 . A ratio of angles with the plurality of markers 300 viewed from the current operator position measured from the image captured at the current operator position input from the processing unit 120 is calculated.

또한 상기 각도 근사화부(132)는 상기 계산한 각 마커별 비율값을 토대로 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인한다. 예를 들어, 상기 각도 근사화부(132)는 상기 계산한 비율을 토대로 상기 비율이 1보다 크면 작업자의 위치가 기준 마커에 가까워지는 것으로 확인하고, 상기 비율이 1보다 작으면 작업자의 위치가 기준 마커로부터 멀어지는 것으로 확인한다.(도 13 및 도 14 참조)In addition, the angle approximation unit 132 determines whether the position of the operator moves closer to or away from the reference marker based on the calculated ratio value for each marker, or whether the position of the operator moves to the left or right of the reference marker. Check whether it has moved horizontally or not. For example, the angle approximation unit 132 determines that the position of the operator approaches the reference marker based on the calculated ratio if the ratio is greater than 1, and if the ratio is less than 1, the position of the operator is the reference marker Confirm that it is moving away from it (see FIGS. 13 and 14).

상기 위치 확인부(133)는 상기 거리 근사화부(131)에서 확인한 기준 마커를 기준으로 한 작업자의 수평 이동여부와 상기 각도 근사화부(132)에서 확인한 기준 마커를 기준으로 한 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하고, 확인한 작업자의 위치를 상기 가상 이미지 출력부(140)로 출력한다.The positioning unit 133 determines whether the operator is horizontally moved based on the reference marker confirmed by the distance approximation unit 131 and vertical and horizontal movement of the operator based on the reference marker confirmed by the angle approximation unit 132 . The position of the operator is checked based on whether or not the operator is located, and the confirmed position of the operator is output to the virtual image output unit 140 .

한편 작업자가 기준 작업자 위치에서 전후로 이동하거나 수평으로 이동하는 경우 이외에 대각선으로 이동할 수 있다. 이 경우 상기 위치 인식부(130)는 기 저장되어 있는 상기 기준 작업자 위치에서 바라본 각 마커(300)와의 각도와 현재 작업자 위치에서 측정한 상기 현재 작업자 위치에서 바라본 각 마커(300)와의 각도의 비율만으로는 작업자의 이동경로를 추적하는데 한계가 있다. 그러므로 상기 위치 인식부(130)는 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽인지를 확인하는 거리 근사화부(131)의 결과와 작업자의 위치가 기준 작업자 위치로부터 왼쪽 또는 오른쪽으로 수평 이동되는지를 확인하는 각도 근사화부(132)의 결과를 모두 참조하고, 수평 이동이나 수직 이동에 따른 상대적 거리 및 각도의 변화를 반복적으로 처리함으로써, 작업자가 대각선으로 이동한 위치를 확인할 수 있도록 한다.(도 14의 (b) 참조)On the other hand, the operator can move forward and backward from the reference operator position or move diagonally other than when moving horizontally. In this case, the position recognizing unit 130 is only the ratio of the angle between the pre-stored angle with each marker 300 viewed from the reference operator position and the angle with each marker 300 viewed from the current operator position measured from the current operator position. There is a limit to tracking the movement path of the worker. Therefore, the position recognition unit 130 confirms that the result of the distance approximation unit 131 to determine whether the position of the operator is to the left or right of the reference marker and whether the position of the operator is horizontally moved to the left or right from the reference operator position By referencing all the results of the angle approximation unit 132 and repeatedly processing changes in relative distance and angle according to horizontal or vertical movement, the position where the operator moved diagonally can be confirmed. b) see)

상기 가상 이미지 출력부(140)는 상기 위치 인식부(130)에서 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력한다. 이때 가상현실이나 증강현실 이미지로 출력되는 상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보이다.The virtual image output unit 140 rotates or adjusts the size of the information required for the operation displayed in virtual reality or augmented reality based on the position of the worker recognized by the position recognition unit 130 and outputs it. At this time, the information required for the work output as a virtual reality or augmented reality image is information including a manufacturing progress status, operation state information of a process machine, work know-how, a work manual, or a combination thereof.

상기 통신부(150)는 상기 영상표시장치(100)와 상기 생산 라인 관리서버(400) 사이에 이루어지는 데이터 통신을 처리한다. 즉 상기 영상표시장치(100)에서 상기 가상 이미지 출력부(140)를 통해 출력할 각 생산 공정에 따른 작업관련 정보를 상기 생산 라인 관리서버(400)로부터 수신하거나, 상기 생산 라인 관리서버(400)로부터 상기 작업관련 정보의 실시간 수신을 처리하는 것이다.The communication unit 150 processes data communication between the image display device 100 and the production line management server 400 . That is, the image display device 100 receives work-related information according to each production process to be output through the virtual image output unit 140 from the production line management server 400, or the production line management server 400 It is to process the real-time reception of the job-related information from

상기 저장부(160)는 상기 영상표시장치(100)에서 사용하는 각종 동작프로그램과 각 생산 공정에 따른 작업관련 정보를 저장하고 있다. 이때 상기 동작프로그램 및 각 생산 공정에 따른 작업관련 정보는 상기 통신부(150)를 통해 상기 생산 라인 관리서버(400)로부터 제공받는다.The storage unit 160 stores various operation programs used in the image display device 100 and work-related information according to each production process. At this time, the operation program and work-related information according to each production process are provided from the production line management server 400 through the communication unit 150 .

또한 상기 저장부(160)는 상기 위치 인식부(130)에서 현재 작업자 위치를 정확하게 인식하는데 사용되는 기준 작업자 위치에서 알아낸 정보를 사전 등록하여 저장하고 있다. 이때 사전 등록되는 정보는 기준 작업자 위치에서 보이는 각 마커(300)들의 위치 정보, 기준 작업자 위치와 각 마커(300)들의 각도 정보, 각 마커(300)들 사이의 상대적 거리 정보, 상기 고정 구조물(200)의 가상 중심점과 기준 작업자 위치 사이의 거리 정보 등이다.(도 7 내지 도 10 참조)In addition, the storage unit 160 pre-registers and stores information found in the reference operator position used to accurately recognize the current operator position in the position recognition unit 130 . At this time, the pre-registered information includes position information of each marker 300 seen from the reference operator position, angle information between the reference operator position and each marker 300 , relative distance information between each marker 300 , and the fixed structure 200 . ) and distance information between the virtual center point and the reference operator position. (See FIGS. 7 to 10 )

다음에는, 이와 같이 구성된 본 발명의 일 실시예에 따른 상기 영상표시장치에서의 비정형 마커를 기반으로 한 상대적 거리 및 각도 근사화 방법에 대하여 도 3 내지 도 14를 참조하여 보다 구체적으로 설명한다.Next, a method for approximating a relative distance and an angle based on the atypical marker in the image display device according to an embodiment of the present invention configured as described above will be described in more detail with reference to FIGS. 3 to 14 .

도 3 내지 도 5는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사용되는 각종 변수 및 가상 이미지의 현재 작업자 위치에 따른 회전과 크기 조절에 대한 개념을 설명하기 위한 도면이다.3 to 5 are diagrams for explaining the concept of rotation and size adjustment according to the current operator position of various variables and virtual images used in the worker position recognition process according to an embodiment of the present invention.

먼저 도 3에 나타낸 바와 같이, 본 발명은 상기 영상표시장치(100)에서 가상 이미지(V)를 상기 고정 구조물(200)인 특정 대상 물체(T)에 투영하는 것으로서, 상기 가상 이미지(V)는 텍스트로 구현되는 평면적 형태나 그래픽으로 구현되는 입체적 형태가 될 수 있다.First, as shown in FIG. 3 , in the present invention, a virtual image V is projected on a specific target object T that is the fixed structure 200 in the image display device 100 , and the virtual image V is It may be a flat form implemented as text or a three-dimensional form implemented as a graphic.

상기 가상 이미지(V)는 투영하고자 하는 특정 대상 물체(T)의 가상 중심점(CT)에서 가상 중심점(CT)과 가상 이미지(V) 사이의 거리(RV) 만큼 떨어진 위치에 형성되는 가상의 원(AV) 상에 표현된다.The virtual image V is a virtual circle formed at a distance RV between the virtual center point CT and the virtual image V from the virtual center point CT of a specific target object T to be projected. AV).

상기 가상 중심점(CT)과 가상 이미지(V) 사이의 거리(RV)와 가상 중심점(CT)과 작업자 위치(U) 사이의 거리(RU)는 표현하고자 하는 가상 이미지의 종류와 응용분야에 따라 달라질 수 있으며, 설계자에 의해 결정된다.The distance (RV) between the virtual center point (CT) and the virtual image (V) and the distance (RU) between the virtual center point (CT) and the operator position (U) may vary depending on the type and application field of the virtual image to be expressed. may be determined by the designer.

투영하고자 하는 가상 이미지(V)를 중심점(VT)을 기준으로 정확하게 표시하기 위해서는, 대상 물체(T)의 가상 중심점(CT)과 작업자 위치(U)에 대한 정보, 즉 가상 중심점(CT)과 작업자 위치(U) 사이의 거리(RU)와 각도 정보를 정확하게 알아야 한다.In order to accurately display the virtual image V to be projected based on the center point VT, information about the virtual center point CT and the operator position U of the target object T, that is, the virtual center point CT and the operator The distance (RU) and angle information between the positions (U) must be accurately known.

또한 상기 가상 이미지(V)는 투영하고자 하는 대상 물체의 가상 중심점(CT)과 작업자 위치(U)를 연결하는 가상선(VL)에 수직으로 표현하는 것이 일반적이다. 즉 도 4에 나타낸 바와 같이, 대상 물체의 가상 중심점(CT)과 기준 작업자 위치(UR)를 연결하는 가상선(VL), 또는 대상 물체의 가상 중심점(CT)과 현재 작업자 위치(UC)를 연결하는 가상선(VL)과 수직으로 상기 가상 이미지(V)가 표현되도록 하는 것이 본 발명의 주요 목표인 것이다.In addition, the virtual image V is generally expressed perpendicular to the virtual line VL connecting the virtual center point CT of the target object to be projected and the position U of the operator. That is, as shown in FIG. 4 , a virtual line (VL) connecting the virtual center point (CT) of the target object and the reference operator position (UR), or the virtual center point (CT) of the target object and the current operator position (UC) are connected It is a main object of the present invention to express the virtual image V perpendicular to the virtual line VL.

이처럼 대상 물체의 가상 중심점(CT)과 작업자 위치(U)를 연결하는 가상선(VL)에 수직으로 가상 이미지(V)를 표현하기 위해서는, 기준 작업자 위치(UR)와 기준 이미지를 정의한 후, 생산라인 상에서 이동되는 현재 작업자 위치(UC)와 기준 작업자 위치(UR)와의 사잇각(AU)과 대상 물체의 가상 중심점(CT)에서 현재 작업자 위치(UC) 사이의 거리(RUC)를 알아야 한다.In order to express the virtual image (V) perpendicular to the virtual line (VL) connecting the virtual center point (CT) of the target object and the operator position (U), after defining the reference operator position (UR) and the reference image, the production It is necessary to know the angle (AU) between the current operator position (UC) moved on the line and the reference operator position (UR) and the distance (RUC) between the current operator position (UC) from the virtual center point (CT) of the target object.

그리고 현재 작업자 위치(UC)와 기준 작업자 위치(UR)와의 사잇각(AU)과 대상 물체의 가상 중심점(CT)에서 현재 작업자 위치(UC) 사이의 거리(RUC)가 정해지면, 상기 영상표시장치(100)는 가상 이미지(V)를 현재 작업자 위치(UC)와 기준 작업자 위치(UR)와의 사잇각(AU) 만큼 회전하여 표현하면 된다.And when the distance (RUC) between the current operator position (UC) and the reference operator position (UR) between the angle (AU) and the virtual center point (CT) of the target object to the current operator position (UC) is determined, the image display device ( 100) may be expressed by rotating the virtual image V by the angle AU between the current operator position UC and the reference operator position UR.

또한 상기 영상표시장치(100)는 도 5에 나타낸 바와 같이, 현재 작업자 위치(UC)와 대상 물체의 가상 중심점(CT) 사이의 거리(RUC)를 고려하여 가상 이미지(V)의 크기를 축소하거나 확대할 수 있으며, 이처럼 상기 가상 이미지(V)의 크기를 조절하여 표현되도록 하는 것이 본 발명의 또 다른 주요 목표이다. 이때 거리에 따른 가상 이미지(V)의 확대 또는 축소 여부는 표현하고자 하는 이미지의 종류나 증강현실을 적용하고자 하는 응용 분야의 특성에 따라 결정될 수 있다.In addition, as shown in FIG. 5 , the image display device 100 reduces the size of the virtual image V in consideration of the distance RUC between the current operator position UC and the virtual center point CT of the target object. It can be enlarged, and it is another main goal of the present invention to display by adjusting the size of the virtual image V in this way. In this case, whether the virtual image V is enlarged or reduced according to the distance may be determined according to the type of the image to be expressed or the characteristics of the application field to which the augmented reality is to be applied.

또한 기준 작업자 위치(UR)는 투영하고자 하는 대상 물체의 정면으로 가정하며, 이때 투영되는 가상 이미지는 기준 가상 이미지가 된다.In addition, it is assumed that the reference operator position UR is the front of the target object to be projected, and the projected virtual image becomes the reference virtual image.

도 6은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서의 마커 부착을 설명하기 위한 도면이다.6 is a view for explaining the attachment of a marker in the process of recognizing the position of the operator according to an embodiment of the present invention.

도 6에 나타낸 바와 같이, 본 발명은 현재 작업자 위치를 정확하게 인식하여 가상 이미지를 출력할 수 있도록 상기 고정 구조물(200)에 복수 개의 마커(300)를 부착한다.As shown in FIG. 6 , in the present invention, a plurality of markers 300 are attached to the fixed structure 200 so that a virtual image can be output by accurately recognizing the current operator position.

예를 들어, 대상 물체(T)의 가상 중심점에 빨간색의 기준 마커를 배치하고, 상기 기준 마커 좌우에 파란색, 보라색, 노란색, 녹색 등의 복수의 마커를 배치함으로써, 작업자 위치 확인의 정확도를 높일 수 있도록 한다.For example, by arranging a red reference marker at the virtual center point of the target object T, and arranging a plurality of markers such as blue, purple, yellow, and green to the left and right of the reference marker, the accuracy of worker positioning can be increased let it be

이때 상기 마커(300)가 부착되는 위치와 각도는 해당 고정 구조물을 대상으로 한 실험결과를 토대로 결정하는 것이 가장 효율적이며, 특히 기준 마커는 카메라를 통해 어느 방향에서도 촬영이 가능한 위치에 부착되어야 한다.At this time, it is most efficient to determine the position and angle at which the marker 300 is attached based on the experimental results for the corresponding fixed structure, and in particular, the reference marker should be attached at a position that can be photographed from any direction through the camera.

한편, 도 6에 나타낸 것과 같이 상기 고정 구조물(200)에 기준 마커를 포함한 복수의 마커(300)를 부착한 이후, 상기 영상표시장치(100)는 현장의 작업자가 촬영하는 촬영 영상을 토대로 작업자의 현재 위치를 정확하게 인식하여야 한다.On the other hand, after attaching a plurality of markers 300 including reference markers to the fixed structure 200 as shown in FIG. 6 , the image display device 100 displays the image of the operator based on the photographed image taken by the operator in the field. The current location must be accurately recognized.

이때 상기 영상표시장치(100)는 기준 작업자 위치에서 촬영한 영상을 토대로 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도, 상기 복수의 마커 간의 상대적 거리 등을 사전에 등록해 놓아야 한다.In this case, the image display device 100 should register in advance the angle between the reference operator position and the plurality of markers, the relative distance between the plurality of markers, etc. measured based on the image taken at the reference operator position.

도 7 내지 도 10은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 사전 등록되는 기준 작업자 위치, 기준 작업자 위치에서 보이는 각 마커들의 위치정보, 기준 작업자 위치와 각 마커들 사이의 각도정보, 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보를 각각 설명하기 위한 도면이다.7 to 10 are reference worker positions pre-registered in the worker position recognition process according to an embodiment of the present invention, position information of each marker seen from the reference operator position, angle information between the reference operator position and each marker, and reference It is a diagram for explaining the relative distance information between each marker identified at the operator's position, respectively.

본 발명에 적용되는 상기 영상표시장치(100)는 기준 작업자 위치(UR)에서 촬영한 영상을 토대로 대상 물체(T)의 가상 중심점과 기준 작업자 위치(UR) 사이의 거리정보, 기준 작업자 위치(UR)에서 보이는 각 마커들의 위치정보, 기준 작업자 위치(UR)와 각 마커들 사이의 각도정보, 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보 등을 사전 등록하여야 한다. 사전 등록하는 정보는 현재 작업자 위치와 기준 작업자 위치 사이의 상대적 거리와 각도를 근사화하는데 활용되는 매우 중요한 정보이다.The image display device 100 applied to the present invention includes distance information between the virtual center point of the target object T and the reference operator position UR, based on the image taken at the reference operator position UR, and the reference operator position UR. ), the position information of each marker shown in ), the angle information between the reference operator position (UR) and each marker, and the relative distance information between the markers confirmed at the reference operator position must be registered in advance. The pre-registration information is very important information used to approximate the relative distance and angle between the current operator position and the reference operator position.

도 7은 기준 작업자 위치(UR)의 설정을 설명한 것으로서, 상기 고정 구조물(200)인 대상 물체(T)의 정면에서 상기 고정 구조물의 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점이다.7 illustrates the setting of the reference operator position UR, which is determined by the designer when the virtual center point of the fixed structure and the operator are connected in a straight line in front of the target object T, which is the fixed structure 200 is one point.

상기 영상표시장치(100)는 상기 기준 작업자 위치(UR)에서 상기 대상 물체(T)를 촬영한 영상으로부터 각 마커(M0 내지 M4)의 상대 위치를 인식할 수 있다. 이때 M0은 기준 마커이다.The image display apparatus 100 may recognize the relative positions of each of the markers M0 to M4 from the image obtained by photographing the target object T at the reference operator position UR. In this case, M0 is the reference marker.

도 8은 대상 물체(T)의 가상 중심점과 기준 작업자 위치(UR) 사이의 거리정보와, 기준 작업자 위치(UR)에서 보이는 각 마커(M0 내지 M4)의 위치정보를 설명한 것으로서, 상기 고정 구조물(200)에 부착되는 각 마커들의 위치가 사전에 결정되어 있으므로 상기 영상표시장치(100)에서는 각 마커들의 위치정보를 손쉽게 확인할 수 있다.8 illustrates distance information between the virtual center point of the target object T and the reference operator position UR, and the position information of each marker M0 to M4 visible from the reference operator position UR, the fixed structure ( Since the positions of the respective markers attached to the 200) are determined in advance, the image display device 100 can easily check the position information of the respective markers.

즉 기준 작업자 위치(UR)에서 실측을 토대로 상기 대상 물체의 가상 중심점과 상기 기준 작업자 위치(UR) 사이의 거리정보를 사전에 등록함과 동시에, 상기 기준 작업자 위치(UR)에서 상기 대상 물체를 촬영한 영상을 토대로 각 마커들의 위치 정보인 M0(x0,y0), M1(x1,y1), M2(x2,y2), M3(x3,y3), M4(x4,y4)를 등록해 두는 것이다.That is, the distance information between the virtual center point of the target object and the reference worker location UR is registered in advance based on the actual measurement at the reference operator position UR, and the target object is photographed at the reference operator position UR. Based on one image, location information of each marker M0(x0,y0), M1(x1,y1), M2(x2,y2), M3(x3,y3), M4(x4,y4) is registered.

도 9는 기준 작업자 위치(UR)와 각 마커들 사이의 각도정보를 설명한 것으로서, 상기 고정 구조물(200)에 부착되는 각 마커(M0 내지 M4)의 위치가 사전에 결정되어 있으므로 상기 영상표시장치(100)에서는 기준 작업자 위치(UR)와 각 마커들의 각도정보를 손쉽게 확인할 수 있다.9 illustrates angle information between the reference operator position (UR) and each of the markers, since the positions of each of the markers M0 to M4 attached to the fixed structure 200 are determined in advance, the image display device ( 100), it is possible to easily check the reference operator position (UR) and angle information of each marker.

즉 상기 영상표시장치(100)는 상기 기준 작업자 위치(UR)에서 상기 대상 물체를 촬영한 영상을 토대로 상기 기준 작업자 위치(UR)와 각 마커들의 각도정보인 A1(M0과 M1 사이의 각도), A2(M0과 M2 사이의 각도), A3(M0과 M3 사이의 각도), A4(M0과 M4 사이의 각도)를 등록해 두는 것이다.That is, the image display device 100 is the reference operator position (UR) and angle information of each marker A1 (angle between M0 and M1) based on the image taken of the target object at the reference operator position (UR), A2 (angle between M0 and M2), A3 (angle between M0 and M3), and A4 (angle between M0 and M4) are registered.

도 10은 기준 작업자 위치(UR)에서 확인된 각 마커들 사이의 상대적 거리정보를 설명한 것으로서, 상기 고정 구조물(200)에 부착되는 각 마커(M0 내지 M4)의 위치가 사전에 결정되어 있으므로 상기 영상표시장치(100)에서는 기준 작업자 위치(UR)에서 확인된 각 마커들의 상대적 거리정보를 손쉽게 확인할 수 있다.FIG. 10 illustrates relative distance information between the markers identified at the reference operator position UR, and since the positions of the markers M0 to M4 attached to the fixed structure 200 are determined in advance, the image The display device 100 can easily check the relative distance information of the markers identified at the reference operator position UR.

즉 상기 영상표시장치(100)는 상기 기준 작업자 위치(UR)에서 상기 대상 물체를 촬영한 영상을 토대로 상기 기준 작업자 위치(UR)에서 확인된 각 마커들의 상대적 거리정보(즉 수평방향의 직선거리)인 D1(M0과 M1 사이의 거리), D2(M0과 M2 사이의 거리), D3(M0과 M3 사이의 거리), D4(M0과 M4 사이의 거리)를 등록해 두는 것이다.That is, the image display device 100 provides relative distance information (ie, a straight line distance in the horizontal direction) of each marker identified at the reference operator position UR based on the image captured by the target object at the reference operator position UR. D1 (distance between M0 and M1), D2 (distance between M0 and M2), D3 (distance between M0 and M3), and D4 (distance between M0 and M4) are registered.

도 11은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 촬영위치 이동에 따른 각 마커들의 수평방향 위치 변화를 설명하기 위한 도면이다.11 is a view for explaining a change in the horizontal position of each marker according to the movement of the photographing position of the operator in the process of recognizing the position of the operator according to an embodiment of the present invention.

특정 생산 라인에 위치한 현장의 작업자가 기준 작업자 위치에서 수평으로 이동할 경우, 촬영된 영상에서 측정된 각 마커들 사이의 상대적 거리는 작업자가 이동한 거리나 방향에 따라 달라진다.When a field worker located on a specific production line moves horizontally from the reference worker position, the relative distance between each marker measured in the captured image varies depending on the distance or direction the worker moves.

즉 도 11a에 나타낸 바와 같이, 작업자의 위치 이동에 따라 촬영위치-A, 촬영위치-B, 촬영위치-C에서 각각 촬영한 영상에 나타나는 각 마커들의 수평방향 위치가 변화된다. 이때 촬영위치-A는 작업자가 기준 작업자 위치에서 촬영한 것이고, 촬영위치-B는 작업자가 기준 작업자 위치에서 좌측으로 이동한 상태에서 촬영한 것이며, 촬영위치-C는 작업자가 기준 작업자 위치에서 우측으로 이동한 상태에서 촬영한 것이다.That is, as shown in FIG. 11A , the horizontal positions of the markers appearing in the images taken at the photographing position-A, the photographing position-B, and the photographing position-C are changed according to the movement of the operator's position. At this time, the shooting position-A is taken by the operator at the reference worker position, the shooting position-B is taken while the operator moves to the left from the reference worker position, and the shooting position-C is taken by the operator from the reference worker position to the right. It was taken while moving.

도 11b는 촬영위치-A, 촬영위치-B, 촬영위치-C 각각의 위치에 따라 각 마커들의 상대적 위치가 달라지는 것을 나타낸 것으로서, 각 마커들 사이의 간격이 달라지는 것을 확인할 수 있다.11B shows that the relative positions of the markers change according to the respective positions of the photographing position-A, the photographing position-B, and the photographing position-C, and it can be seen that the interval between the respective markers is changed.

또한 도 11c를 참조하면, 도 11b에 나타낸 각 마커들 사이의 상대적 거리를 활용하여 현장에 위치한 작업자의 촬영위치(즉 작업자 시선방향)가 기준 작업자 위치에서 왼쪽인지 아니면 오른쪽인지를 판단하고, 기준 작업자 위치에서 어느 정도 떨어져 있는지를 예상할 수 있다.Also, referring to FIG. 11c , it is determined whether the photographing position (ie, the operator's gaze direction) of the operator located in the field is left or right from the reference operator position by using the relative distance between the respective markers shown in FIG. 11b, and the reference operator You can estimate how far away you are from your location.

우선 사전에 기준 작업자 위치(즉 촬영위치-A)에서 촬영한 영상에서 측정한 기준 마커를 기준으로 한 다른 마크와의 상대적 거리 D1, D2, D3 값과 현재 작업자 위치(예를 들어 촬영위치-B)에서 측정한 D1', D2', D3'값의 비율을 구하여 판단한다. 즉 R1=D1'/D1, R2=D2'/D2, R3=D3'/D3 각각의 비율을 계산하여 (R1,R2,R3) 벡터를 구한 후, 해당 벡터값의 크기를 토대로 현재 작업자 위치가 기준 마커의 왼쪽인지 아니면 오른쪽인지를 판단하고, 그 거리를 알 수 있는 것이다.First, the relative distances D1, D2, and D3 from the reference marker measured in the image taken at the reference operator position (i.e., location-A) in advance and the current operator position (for example, location-B) ) to determine the ratio of the measured D1', D2', and D3' values. That is, after calculating the ratios of R1=D1'/D1, R2=D2'/D2, and R3=D3'/D3 to obtain (R1,R2,R3) vectors, the current worker position is determined based on the size of the vector value. It is possible to determine whether the reference marker is to the left or right of the reference marker, and to know the distance.

이때 상기 계산한 각 마커별 벡터값이 실험적으로 결정된 문턱(Threshold) 벡터(R1_th,R2_th,R3_th)를 초과하면 기준벡터와 일정거리(실험적으로 결정된 값)에 있다고 판단한다. 즉 상기 계산한 벡터값이 문턱 벡터값을 초과하는 경우에는 사전에 결정된 특정 상수값으로 보는 것이다.At this time, if the calculated vector value for each marker exceeds the experimentally determined threshold vectors (R1_th, R2_th, R3_th), it is determined that the calculated vector value is at a predetermined distance (experimentally determined value) from the reference vector. That is, when the calculated vector value exceeds the threshold vector value, it is regarded as a predetermined specific constant value.

또한 도 12는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 정형 마커와 비정형 마커 사용을 설명하기 위한 도면이다.Also, FIG. 12 is a view for explaining the use of a fixed marker and an atypical marker in the process of recognizing a position of an operator according to an embodiment of the present invention.

도 12의 (a)에 나타낸 바와 같이, 동일한 정형의 마커를 배치한 경우, 극단적인 경우 빨간색 마커가 노란색 마커에 의해 중첩되어 식별이 불가능한 상태가 될 수 있다.As shown in (a) of FIG. 12 , when markers of the same stereotype are disposed, in extreme cases, the red markers are overlapped by the yellow markers, thereby making it impossible to identify them.

따라서 본 발명에서는 도 12의 (b)에 나타낸 바와 같이 비정형의 마커를 교차로 배치함으로써, 도 12의 (a)에서와 같이 빨간색 마커가 노란색 마커에 의해 중첩되더라도 식별이 가능한 상태가 되도록 할 수 있다.Therefore, in the present invention, as shown in FIG. 12 (b), by arranging the atypical markers alternately, as in FIG. 12 (a), even if the red marker is overlapped by the yellow marker, it can be identified.

한편 도 13은 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수평이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.Meanwhile, FIG. 13 is a view for explaining the change in angle of each marker according to the horizontal movement of the operator in the process of recognizing the position of the operator according to an embodiment of the present invention.

특정 생산 라인에 위치한 현장의 작업자가 기준 작업자 위치에서 수평으로 이동할 경우, 촬영된 영상에서 측정된 기준 작업자 위치에서 바라본 각 마커와의 각도는 작업자가 이동한 거리나 방향에 따라 달라진다.When a field worker located on a specific production line moves horizontally from the reference operator position, the angle with each marker viewed from the reference operator position measured in the captured image varies depending on the distance or direction the operator moves.

도 13의 (a)는 기준 작업자 위치(UR)에서 촬영한 영상을 토대로 측정한 상기 기준 작업자 위치(UR)에서 바라본 각 마커와의 각도 (A1,A2,A3)를 계산하여 사전에 등록해 둔 정보이다.13 (a) shows the angles (A1, A2, A3) with each marker viewed from the reference operator position (UR) measured based on the image taken at the reference operator position (UR) and registered in advance. it is information

또한 도 13의 (b)는 현장의 작업자가 현재 작업자 위치(UC)로 수평 이동하였을 때, 현재 작업자 위치(UC)에서 촬영한 영상을 토대로 측정한 상기 현재 작업자 위치(UC)에서 바라본 각 마커와의 각도 (A1',A2',A3')를 계산한 정보이다.In addition, (b) of FIG. 13 shows each marker viewed from the current operator position (UC) measured based on the image taken at the current operator position (UC) when the field worker horizontally moved to the current operator position (UC). This is information obtained by calculating the angle of (A1', A2', A3').

그러면 상기 영상표시장치(100)는 기준 작업자 위치(UR)에서 확인한 각 마커와의 각도 (A1,A2,A3)와 현재 작업자 위치(UC)에서 확인한 각 마커와의 각도(A1',A2',A3')의 비율값을 계산(R1=A1'/A1, R2=A2'/A2, R3=A3'/A3)하고, 상기 계산한 결과 촬영 중심선을 기준으로 좌측에 있는 마커들의 비율값이 1보다 큰 경우에는 작업자의 현재 위치가 기준 작업자 위치에서 좌측으로 이동되었음을 확인한다. 또한 상기 영상표시장치(100)는 상기 설명과 반대로 우측에 있는 마커들의 비율값이 1보다 큰 경우에는 작업자의 현재 위치가 기준 작업자 위치에서 우측으로 이동되었음을 확인한다.Then, the image display device 100 is the angle (A1, A2, A3) with each marker confirmed at the reference operator position (UR) and the angle (A1 ', A2') with each marker confirmed at the current operator position (UC), A3') is calculated (R1=A1'/A1, R2=A2'/A2, R3=A3'/A3), and as a result of the calculation, the ratio value of the markers on the left with respect to the shooting center line is 1 If it is greater than that, it is confirmed that the current position of the operator has been moved to the left from the reference operator position. In addition, the image display apparatus 100 confirms that the current position of the operator is moved to the right from the reference operator position when the ratio value of the markers on the right is greater than 1 contrary to the above description.

즉 사전에 등록해 놓은 비율값(예를 들어, 이동한 거리가 10, 20, 30, 40cm 등으로 이동했을 경우 값)을 룩업 테이블 형태로 저장해 두고, 실제 측정된 값을 대입하여 근사치 거리를 추측할 수 있다. 이와 같이 수행하는 경우 가상 이미지를 대상 물체에 투영할 경우, 정확한 값 대신, 근사값을 사용해도 충분한 효과를 얻을 수 있다.That is, the ratio values registered in advance (for example, when the moved distance is 10, 20, 30, 40 cm, etc.) are stored in a lookup table format, and the approximate distance is estimated by substituting the actual measured values. can do. In this way, when a virtual image is projected onto a target object, a sufficient effect may be obtained even if an approximate value is used instead of an exact value.

도 14는 본 발명의 일 실시예에 따른 작업자 위치 인식과정에서 작업자의 수직이동과 대각선이동에 따른 각 마커들의 각도 변화를 설명하기 위한 도면이다.14 is a view for explaining the change in angle of each marker according to the vertical movement and the diagonal movement of the operator in the process of recognizing the position of the operator according to an embodiment of the present invention.

도 14의 (a)는 현장의 작업자가 기준 작업자 위치(UR)에서 현재 작업자 위치(UC)로 수직으로 상하 이동하였을 때, 현재 작업자 위치(UC)에서 촬영한 영상을 토대로 측정한 상기 현재 작업자 위치(UC)에서 바라본 각 마커와의 각도 (A1",A2",A3")를 계산한 정보이다.14 (a) is the current operator position measured based on the image taken at the current operator position (UC) when the operator in the field vertically moves up and down from the reference operator position (UR) to the current operator position (UC) This is information obtained by calculating the angle (A1", A2", A3") with each marker viewed from (UC).

그리고 상기 영상표시장치(100)는 기준 작업자 위치(UR)에서 확인한 각 마커와의 각도 (A1,A2,A3)와 현재 작업자 위치(UC)에서 확인한 각 마커와의 각도(A1",A2",A3")의 비율값을 계산(R1=A1"/A1, R2=A2"/A2, R3=A3"/A3)하고, 상기 계산한 결과를 보면 현재 작업자의 위치가 대상 물체에 가까워지면 1보다 커지고, 현재 작업자의 위치가 대상 물체로부터 멀어지면 1보다 작은 값이 된다.And the image display device 100 is the angle (A1, A2, A3) with each marker confirmed in the reference operator position (UR) and the angle (A1 ", A2") with each marker confirmed in the current operator position (UC), A3") is calculated (R1=A1"/A1, R2=A2"/A2, R3=A3"/A3) It becomes larger and becomes a value less than 1 when the current operator's position is farther from the target object.

이에 따라 상기 영상표시장치(100)는 상기 비율값의 계산을 토대로 현재 사용자가 기준 위치보다 가까워지거나 멀어지는 정도를 확인할 수 있다. 이때 물체가 상하로만 이동한 경우, 즉 수평이동이 없는 경우에는 이 비율값의 증가 또는 감소량이 균일하지만, 수평이동과 수직이동이 동시에 일어난 경우에는 균일하게 발생하지 않는다.Accordingly, the image display apparatus 100 may determine the degree to which the current user moves closer or farther than the reference position based on the calculation of the ratio value. At this time, when the object moves only up and down, that is, when there is no horizontal movement, the increase or decrease of this ratio value is uniform, but when the horizontal and vertical movement occurs at the same time, it does not occur uniformly.

또한 도 14의 (b)는 현장의 작업자가 대각선으로 이동하였을 때를 설명하기 위한 도면으로서, 현재 작업자 위치(UC)에서 촬영한 영상을 토대로 측정한 상기 현재 작업자 위치(UC)에서 바라본 각 마커와의 각도 (A1*,A2*,A3*)를 계산한 정보만으로는 작업자의 이동경로를 추적할 수 없다.In addition, (b) of FIG. 14 is a view for explaining when the worker on the site moves diagonally, and each marker viewed from the current operator position (UC) measured based on the image taken at the current operator position (UC) and It is not possible to track the movement path of the operator only with information calculated by the angle (A1*,A2*,A3*).

이 경우 상기 영상표시장치(100)는 도 11에서 설명한 각 마커 간의 상대적 거리정보를 토대로 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽인지를 확인한 정보와 도 13과 도 14의 (a)에서 설명한 현재 작업자 위치에서 바라본 각 마커와의 각도정보를 토대로 작업자의 위치가 기준 작업자 위치로부터 왼쪽 또는 오른쪽의 수평이동인지 상하의 수직이동인지를 확인한 정보를 모두 참조하여, 수평이동 및 수직이동에 따른 상대적 거리 및 각도의 변화를 반복적으로 처리하여 대각선으로 이동한 위치를 확인할 수 있도록 한다.In this case, the image display device 100 determines whether the position of the operator is to the left or right of the reference marker based on the relative distance information between the markers described in FIG. 11 and the current operator described in FIGS. 13 and 14 (a). Based on the angle information with each marker viewed from the position, referring to all the information that confirmed whether the operator's position is horizontal movement to the left or right or vertical movement up and down from the reference operator's position, the relative distance and angle according to horizontal and vertical movement By iteratively processing the change, it is possible to check the diagonally moved position.

다음에는, 이와 같이 구성된 본 발명에 따른 생산 라인에서의 작업자 위치 인식 방법의 일 실시예를 도 15를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.Next, an embodiment of the method for recognizing the position of the operator in the production line according to the present invention configured as described above will be described in detail with reference to FIG. 15 . In this case, the order of each step according to the method of the present invention may be changed by the environment of use or by those skilled in the art.

도 15는 본 발명의 일 실시예에 따른 생산 라인에서의 작업자 위치 인식 방법의 동작과정을 상세하게 나타낸 순서도이다.15 is a flowchart illustrating in detail an operation process of a method for recognizing a position of an operator in a production line according to an embodiment of the present invention.

우선, 스마트 팩토리의 운영 및 관리를 수행하는 운영자(즉 사업자, 관리자, 현장 작업자 등)가 각 생산 라인의 고정 구조물(200)에 기준 마커를 포함한 복수의 마커(300)를 부착한다(S100).First, an operator (ie, operator, manager, field worker, etc.) who performs operation and management of the smart factory attaches a plurality of markers 300 including reference markers to the fixed structure 200 of each production line (S100).

상기 S100 단계를 통해 기준 마커를 포함한 복수의 마커(300)를 상기 고정 구조물(200)에 부착한 이후, 운영자가 기준 작업자 위치에서 카메라로 촬영한 상기 고정 구조물(200)의 촬영 영상으로부터 각 마커(300)를 추출하고, 기준 작업자 위치와 각 마커들 사이의 각도정보, 기준 작업자 위치에서 확인된 각 마커들 사이의 상대적 거리정보 등을 사전에 등록한다(S200). 이때 사전 등록되는 정보에는 기준 작업자 위치와 기준 작업자 위치, 기준 작업자 위치에서 보이는 각 마커들의 위치정보 등이 추가로 포함될 수 있다.After attaching a plurality of markers 300 including a reference marker to the fixed structure 200 through the step S100, each marker ( 300), and pre-registers angle information between the reference operator position and each marker, relative distance information between the markers identified at the reference operator position, and the like (S200). In this case, the pre-registered information may additionally include a reference operator position, a reference operator position, and location information of each marker visible from the reference operator position.

이제, 특정 생산 라인에 위치한 작업자가 자신이 착용하거나 소유한 HMD, 스마트폰 등의 영상표시장치(100)를 통해 각종 작업에 필요한 정보를 가상현실이나 증강현실 이미지로 확인하고자 하는 작업자가 카메라로 자신의 시선방향에 위치한 특정 고정 구조물(200)을 촬영한다(S300). 이때 작업에 필요한 정보로는 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 등이 있다.Now, a worker who is located in a specific production line wears or owns an HMD, an image display device 100 such as a smartphone, and a worker who wants to check the information necessary for various tasks in a virtual reality or augmented reality image with a camera A specific fixed structure 200 located in the viewing direction is photographed (S300). At this time, the information necessary for the operation includes the manufacturing progress status, operation status information of the process machine, operation know-how, operation manual, and the like.

상기 S300 단계를 통해 작업자가 상기 영상표시장치(100)에 구비된 카메라를 통해 특정 고정 구조물(200)을 촬영하면, 상기 영상표시장치(100)는 상기 고정 구조물(200)의 촬영 영상으로부터 상기 고정 구조물(200)에 부착된 기준 마커를 포함한 복수의 마커(300)를 추출한다(S400).When an operator photographs a specific fixed structure 200 through a camera provided in the image display apparatus 100 through the step S300 , the image display apparatus 100 receives the fixed structure 200 from the captured image. A plurality of markers 300 including reference markers attached to the structure 200 are extracted (S400).

또한 상기 영상표시장치(100)는 현재 작업자 위치에서 상기 S400 단계에서 추출한 복수의 마커(300)와의 각도정보와, 현재 작업자 위치에서 바라본 상기 복수의 마커(300) 간의 상대적 거리를 확인한다(S500).In addition, the image display device 100 checks the angle information with the plurality of markers 300 extracted in step S400 from the current operator position and the relative distance between the plurality of markers 300 viewed from the current operator position (S500) .

이후 상기 영상표시장치(100)는 상기 S500 단계에서 확인한 현재 사용자 위치에서의 복수의 마커(300)와의 각도 및 복수의 마커(300) 간의 상대적 거리를 상기 S200 단계를 통해 사전 등록해 놓은 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치와 복수의 마커와의 각도 및 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식한다(S600).Thereafter, the image display device 100 determines the angle with the plurality of markers 300 and the relative distances between the plurality of markers 300 at the current user position confirmed in step S500, the reference operator position in which the pre-registered through step S200. The position of the operator is recognized by comparing the angle between the reference operator position and the plurality of markers and the relative distance between the plurality of markers measured from the image taken in ( S600 ).

그러면 상기 영상표시장치(100)는 상기 S600 단계를 통해 인식한 작업자의 현재 위치를 토대로, 가상현실이나 증강현실로 표시되는 작업에 필요한 정보(즉 가상 이미지)를 회전시키거나 크기를 조절하여 출력한다(S700).Then, the image display device 100 rotates or adjusts the size of the information (that is, the virtual image) required for the work displayed in virtual reality or augmented reality based on the current position of the worker recognized through the step S600 and outputs it (S700).

그리고 상기 영상표시장치(100)는 작업자에 의한 가상 이미지 이용이 종료되는지를 판단하여(S700), 가상 이미지 이용이 종료될 때까지 상기 S300 단계 이후를 반복하여 수행한다.Then, the image display apparatus 100 determines whether the use of the virtual image by the operator is terminated (S700), and repeatedly performs after step S300 until the use of the virtual image is terminated.

이처럼, 본 발명은 자동화된 생산 라인에서 작업자의 위치를 정확하게 인식하고, 이를 토대로 작업자의 영상표시장치를 통해 고정 구조물과 작업자 사이에 가상현실 또는 증강현실로 표시되는 이미지를 회전시키거나 크기를 조절할 수 있기 때문에, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 등을 포함한 각종 정보를 현장의 작업자에게 정확하게 전달할 수 있으며, 이를 통해 작업자가 작업 숙련도를 향상시킬 수 있다.As such, the present invention accurately recognizes the position of the operator in the automated production line, and based on this, the image displayed in virtual reality or augmented reality between the fixed structure and the operator through the image display device of the operator can be rotated or adjusted in size. Therefore, various information including the manufacturing progress status, operation state information of process machines, work know-how, work manuals, etc. can be accurately transmitted to the workers in the field, and through this, the workers can improve their work skills.

또한 본 발명은 작업자의 위치 인식을 기반으로 가상의 이미지를 제공할 때, 작업자와 고정 구조물 사이의 정확한 거리와 각도를 계산하는 것이 아닌, 작업자와 고정 구조물의 상대적 거리와 각도를 근사화하여 계산하고, 이를 토대로 작업자의 위치를 인식하기 때문에, 작업자의 위치나 시선이동에 빠르게 대응하여 가상의 이미지를 처리할 수 있다.In addition, the present invention calculates by approximating the relative distance and angle between the operator and the fixed structure, rather than calculating the exact distance and angle between the operator and the fixed structure, when providing a virtual image based on the position recognition of the operator, Since the position of the operator is recognized based on this, a virtual image can be processed by quickly responding to the position or movement of the operator's gaze.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiment shown in the drawings, but this is only exemplary, and those skilled in the art can make various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Therefore, the technical protection scope of the present invention should be determined by the following claims.

100 : 영상표시장치 110 : 카메라
120 : 영상처리부 121 : 컬러변환부
122 : 노이즈 제거부 123 : 관심영역 추출부
124 : 특징점 추출부 130 : 위치 인식부
131 : 거리 근사화부 132 : 각도 근사화부
133 : 위치 확인부 140 : 가상 이미지 출력부
150 : 통신부 160 : 저장부
200 : 고정 구조물 300 : 마커
400 : 생산 라인 관리서버 500 : 데이터베이스100: video display device 110: camera
120: image processing unit 121: color conversion unit
122: noise removal unit 123: region of interest extraction unit
124: feature point extraction unit 130: location recognition unit
131: distance approximation unit 132: angle approximation unit
133: positioning unit 140: virtual image output unit
150: communication unit 160: storage unit
200: fixed structure 300: marker
400: production line management server 500: database

Claims

영상표시장치에서, 카메라로 촬영한 영상으로부터 고정 구조물에 부착된 기준 마커를 포함한 복수의 마커를 추출하는 마커 추출 단계;
상기 영상표시장치에서, 현재 작업자 위치에서 상기 추출한 기준 마크를 중심으로 상기 추출한 복수의 마커와의 각도 및 상기 기준 마커를 중심으로 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치에서 상기 추출한 기준 마크를 중심으로 상기 추출한 복수의 마커와의 각도 및 상기 기준 마커를 중심으로 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식 단계; 및
상기 영상표시장치에서, 상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실을 통해 가상 이미지로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력 단계;를 포함하며,
상기 기준 작업자 위치는, 상기 고정 구조물의 정면에서 상기 고정 구조물의 상기 기준 마커가 위치한 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.A marker extraction step of extracting a plurality of markers including a reference marker attached to a fixed structure from an image captured by a camera in the image display device;
In the image display device, the angle and the relative distance between the plurality of markers are calculated based on the extracted reference mark from the current operator position and the extracted angle and the relative distance between the plurality of markers are calculated based on the reference marker, and the calculated angle and the relative distance Compare with the angle with the plurality of markers extracted from the reference mark from the reference operator position measured from the image taken at the pre-registered reference operator position and the relative distance between the plurality of markers about the reference marker To, a position recognition step of recognizing the position of the operator; and
In the image display device, based on the recognized position of the worker, a virtual image output step of rotating or adjusting the size and outputting information necessary for a job displayed as a virtual image through virtual reality or augmented reality; and
The reference operator position is a worker in a production line, characterized in that it is any one point determined by the designer when the operator is connected to the virtual center point where the reference marker of the fixed structure is located in a straight line in front of the fixed structure Location-aware method.

청구항 1에 있어서,
상기 가상 이미지는, 상기 현재 작업자 위치와 상기 기준 작업자 위치의 각도 차이를 토대로 상기 작업자가 이동하는 방향으로 회전하여 표시하거나, 상기 현재 작업자 위치와 상기 고정 구조물의 상기 기준 마커가 위치한 가상 중심점 사이의 거리를 토대로 크기를 축소하거나 확대하여 표시함으로써, 상기 작업자에게 작업에 필요한 정보를 전달하여 작업 숙련도를 향상시키도록 하는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.The method according to claim 1,
The virtual image is displayed by rotating in a direction in which the operator moves based on an angular difference between the current operator position and the reference operator position, or a distance between the current operator position and a virtual center point at which the reference marker of the fixed structure is located. By reducing or enlarging the size based on the display, the operator position recognition method in the production line, characterized in that to improve the work skill by delivering the information necessary for the work to the worker.

청구항 1에 있어서,
상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.The method according to claim 1,
The information necessary for the operation is information including the manufacturing progress status, operation state information of the process machine, operation know-how, operation manual, or a combination thereof.

청구항 1에 있어서,
상기 위치 인식 단계는,
기 저장되어 있는 상기 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 상기 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 거리 근사화 단계;
기 저장되어 있는 상기 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 상기 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 상기 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 각도 근사화 단계; 및
상기 거리 근사화 단계에서 확인한 기준 마커를 기준으로 한 상기 작업자의 수평 이동여부와 상기 각도 근사화 단계에서 확인한 기준 마커를 기준으로 한 상기 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하는 위치 확인 단계;를 더 포함하는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 방법.The method according to claim 1,
The location recognition step is
Calculate the ratio of the relative distance between the plurality of markers measured from the image taken at the pre-stored reference operator position and the relative distance between the plurality of markers measured from the image taken at the current operator position, and each calculated marker a distance approximation step of confirming whether the worker's position has moved to the left or right of a reference marker by referring to a star ratio value;
Calculate the ratio of the angle between the plurality of markers measured from the image taken at the pre-stored reference operator position and the angle between the plurality of markers measured from the image taken at the current operator position, and each calculated marker Angle approximation to check whether the operator's position moves vertically closer to or away from the reference marker based on the star ratio value, or to check whether the operator's position moves to the left or right of the reference marker horizontally step; and
Position confirmation step of confirming the position of the operator based on whether the operator moves horizontally based on the reference marker confirmed in the distance approximation step and whether the operator moves vertically and horizontally based on the reference marker confirmed in the angle approximation step ; Worker position recognition method in the production line, characterized in that it further comprises.

카메라로 촬영한 영상으로부터 고정 구조물에 부착된 기준 마커를 포함한 복수의 마커를 추출하는 영상처리부;
현재 작업자 위치에서 상기 추출한 기준 마크를 중심으로 상기 추출한 복수의 마커와의 각도 및 상기 기준 마커를 중심으로 상기 복수의 마커 간의 상대적 거리를 산출하고, 상기 산출한 각도 및 상대적 거리를 사전 등록된 기준 작업자 위치에서 촬영한 영상으로부터 측정한 상기 기준 작업자 위치에서 상기 추출한 기준 마크를 중심으로 상기 추출한 복수의 마커와의 각도 및 상기 기준 마커를 중심으로 상기 복수의 마커 간의 상대적 거리와 비교하여, 작업자의 위치를 인식하는 위치 인식부; 및
상기 인식한 작업자의 위치를 토대로, 가상현실이나 증강현실을 통해 가상 이미지로 표시되는 작업에 필요한 정보를 회전시키거나 크기를 조절하여 출력하는 가상 이미지 출력부;를 포함하며,
상기 기준 작업자 위치는, 상기 고정 구조물의 정면에서 상기 고정 구조물의 상기 기준 마커가 위치한 가상 중심점과 작업자를 직선으로 연결하였을 때 설계자에 의해 결정되는 어느 하나의 지점인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.an image processing unit for extracting a plurality of markers including a reference marker attached to a fixed structure from an image taken by a camera;
Calculate the angle with the extracted plurality of markers based on the extracted reference mark from the current operator position and the relative distance between the plurality of markers based on the reference marker, and the calculated angle and the relative distance are pre-registered reference worker By comparing the angle with the extracted plurality of markers around the extracted reference mark from the reference operator position measured from the image taken at the position and the relative distance between the plurality of markers about the reference marker, the position of the operator is determined a position recognition unit for recognizing; and
and a virtual image output unit that rotates or adjusts the size and outputs information necessary for a job displayed as a virtual image through virtual reality or augmented reality based on the recognized position of the worker.
The reference operator position is a worker in a production line, characterized in that it is any one point determined by a designer when the operator is connected to the virtual center point where the reference marker of the fixed structure is located in a straight line from the front of the fixed structure location-aware device.

청구항 5에 있어서,
상기 가상 이미지는, 상기 현재 작업자 위치와 상기 기준 작업자 위치의 각도 차이를 토대로 상기 작업자가 이동하는 방향으로 회전하여 표시하거나, 상기 현재 작업자 위치와 상기 고정 구조물의 상기 기준 마커가 위치한 가상 중심점 사이의 거리를 토대로 크기를 축소하거나 확대하여 표시함으로써, 상기 작업자에게 작업에 필요한 정보를 전달하여 작업 숙련도를 향상시키도록 하는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.6. The method of claim 5,
The virtual image is displayed by rotating in a direction in which the operator moves based on an angular difference between the current operator position and the reference operator position, or a distance between the current operator position and a virtual center point at which the reference marker of the fixed structure is located. By reducing or enlarging the size based on the display, the operator position recognition device in the production line, characterized in that to deliver the information necessary for the operation to the operator to improve the work skill.

청구항 5에 있어서,
상기 작업에 필요한 정보는, 제조 진행 상황, 공정기계의 동작상태 정보, 작업 노하우, 작업 매뉴얼 또는 이들의 조합을 포함한 정보인 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.6. The method of claim 5,
The information necessary for the operation is information including the manufacturing progress status, operation state information of the process machine, operation know-how, operation manual, or a combination thereof.

청구항 5에 있어서,
상기 위치 인식부는,
기 저장되어 있는 상기 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커 간의 상대적 거리의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 참조하여 상기 작업자의 위치가 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 거리 근사화부;
기 저장되어 있는 상기 기준 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도와 상기 현재 작업자 위치에서 촬영한 영상으로부터 측정한 복수의 마커와의 각도의 비율을 계산하고, 상기 계산한 각 마커별 비율값을 토대로 상기 작업자의 위치가 기준 마커에 가까워지는지 또는 멀어지는지의 수직 이동여부를 확인하거나, 또는 상기 작업자의 위치가 상기 기준 마커의 왼쪽 또는 오른쪽으로 이동하였는지의 수평 이동여부를 확인하는 각도 근사화부; 및
상기 거리 근사화부에서 확인한 기준 마커를 기준으로 한 상기 작업자의 수평 이동여부와 상기 각도 근사화부에서 확인한 기준 마커를 기준으로 한 상기 작업자의 수직 및 수평 이동여부를 토대로 작업자의 위치를 확인하는 위치 확인부;를 더 포함하는 것을 특징으로 하는 생산 라인에서의 작업자 위치 인식 장치.6. The method of claim 5,
The location recognition unit,
Calculate the ratio of the relative distance between the plurality of markers measured from the image taken at the pre-stored reference operator position and the relative distance between the plurality of markers measured from the image taken at the current operator position, and each calculated marker a distance approximation unit for confirming whether the position of the operator moves to the left or right of the reference marker with reference to the star ratio value;
Calculate the ratio of the angle between the plurality of markers measured from the image taken at the pre-stored reference operator position and the angle between the plurality of markers measured from the image taken at the current operator position, and each calculated marker Angle approximation to check whether the operator's position moves vertically closer to or away from the reference marker based on the star ratio value, or to check whether the operator's position moves to the left or right of the reference marker horizontally part; and
Positioning unit for confirming the position of the operator based on whether the operator moves horizontally based on the reference marker confirmed by the distance approximation unit and whether the operator moves vertically and horizontally based on the reference marker confirmed by the angle approximation unit ; Worker position recognition device in the production line, characterized in that it further comprises.