KR100892232B1 - 3 dimensional image information collection device - Google Patents

3 dimensional image information collection device Download PDF

Info

Publication number
KR100892232B1
KR100892232B1 KR1020080131879A KR20080131879A KR100892232B1 KR 100892232 B1 KR100892232 B1 KR 100892232B1 KR 1020080131879 A KR1020080131879 A KR 1020080131879A KR 20080131879 A KR20080131879 A KR 20080131879A KR 100892232 B1 KR100892232 B1 KR 100892232B1
Authority
KR
South Korea
Prior art keywords
stereo camera
image information
target object
controller
housing
Prior art date
Application number
KR1020080131879A
Other languages
Korean (ko)
Inventor
한승원
Original Assignee
한승원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한승원 filed Critical 한승원
Priority to KR1020080131879A priority Critical patent/KR100892232B1/en
Application granted granted Critical
Publication of KR100892232B1 publication Critical patent/KR100892232B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

A three-dimensional image information collecting apparatus is provided to prevent the collision between products when hoisting them and obtain image data of uniform quality regardless of the change in the illumination of the spot and the brightness of the light by accurately collecting the location information through the confirmation of coordinates of an object using a stereo camera. A housing(100) accommodates each element of an 3D image information collecting apparatus. The housing is formed in the rectangular parallelepiped shape. A lens hole(110) is formed in the front end of the housing so that a lens(220) of a stereo camera can be exposed to the outside. The opening(120) of a predetermined area is formed at the upper side of the lens hole located at the center. A diffraction grating plate(400) is inserted into the opening. The stereo camera photographs the object in different three directions and obtains image data. The stereo camera comprises 3 lenses which are separated from each other in the horizontal direction and forms a row.

Description

3차원 영상 정보 수집 장치{3 DIMENSIONAL IMAGE INFORMATION COLLECTION DEVICE}3D image information collection device {3 DIMENSIONAL IMAGE INFORMATION COLLECTION DEVICE}

본 발명은 3차원 영상 정보 수집 장치 및 이를 이용한 무인 크레인 운전 시스템에 관한 것으로, 보다 상세하게는, 3개의 렌즈를 구비하는 스테레오 카메라와 레이저 발생기를 이용하여 물체의 정밀한 3차원 영상 정보를 수집하는 장치와, 무인 크레인을 통해 강판 코일 등의 제품 이동시 상기 영상 정보 수집 장치를 이용하여 제품의 위치를 정확하게 파악함으로써 작업시 충돌사고 등을 미연에 방지할 수 있는 무인 크레인 운전 시스템에 관한 것이다. The present invention relates to an apparatus for collecting 3D image information and an unmanned crane driving system using the same, and more particularly, to an apparatus for collecting precise 3D image information of an object using a stereo camera and a laser generator having three lenses. And, and unmanned crane driving system that can prevent the collision accident during operation by accurately grasping the position of the product by using the image information collecting device when moving the product, such as steel coil through the unmanned crane.

일반적으로 특정 물체의 3차원 영상 정보 수집 방법은 크게 스테레오 비젼과 레이저 스캐너를 이용한 방법으로 구분되며, 이러한 영상 정보 수집 방법에 의해 특정 물체나 구역을 입체적인 영상으로 복원할 수 있다. Generally, three-dimensional image information collection method of a specific object is largely divided into a method using a stereo vision and a laser scanner, it is possible to restore a specific object or region to a three-dimensional image by this image information collection method.

스테레오 비젼이란 대체로 두개의 2차원 영상을 3차원으로 재구성하는 방법으로서, 기본적으로 서로 다른 위치 상에서 한 물체를 촬영한 두 이미지를 이용하 여 거리 정보를 가지고 있는 영상으로 만드는 것을 말한다. 이러한 스테레오 비젼 을 이용한 방법은 사람이 양안(兩眼) 통하여 물체를 입체적으로 인식하는 원리에 착안하여 도입된 방법으로, 2개의 카메라를 일정 거리 이격 시켜 배치하여 특정 물체를 좌우 카메라를 통하여 개별적으로 촬영하고, 두 영상간 변이(disparity; 두 대의 카메라에 맺히는 상의 위치가 측정 대상의 깊이 정보에 따라 달라지는데 이렇게 다른 정도를 말함)를 예측한 후, 생성하고자 하는 모델(물체)의 특징을 추출하고, 추출된 특징에 변이 정보를 부여하여 정합(matching) 함에 따라 최종적인 3차원 입체 영상을 생성한다. 이와 같은 스테레오 비젼 방법에 사용되는 카메라를 스테레오 카메라라고 부르며, 대체로 하나의 케이싱에 일정 간격으로 이격되어 배치된 2개의 카메라 렌즈를 포함하는 것이 주로 사용된다. Stereo vision is generally a method of reconstructing two two-dimensional images in three dimensions. Basically, stereo vision is to make an image having distance information by using two images of one object photographed at different positions. This stereo vision method is based on the principle that a person recognizes an object three-dimensionally through both eyes, and the two cameras are spaced apart by a certain distance to shoot a specific object separately through the left and right cameras. After predicting the disparity between two images (the position of the image formed by the two cameras depends on the depth information of the measurement object), the feature of the model (object) to be generated is extracted and extracted. The resulting three-dimensional stereoscopic image is generated by matching disparity information to matched features. A camera used in such a stereo vision method is called a stereo camera, and it is mainly used to include two camera lenses spaced at regular intervals in one casing.

한편, 레이저 스캐너를 이용하여 3차원 영상 정보를 얻는 방법은, 먼저, 띠형상의 레이저빔(laser stripe)을 순차적으로 대상 물체에 주사하고 CCD 카메라를 통해 삼각 함수의 관계를 이용하여 깊이 정보를 알아내는 레이저 스트라이프 방식과, 레이저를 보내고 받는 시간에 의해 깊이 정보를 알아내는 비행시간(time-of-flight) 방식이 있다. 구체적으로 레이저 스캐너를 이용한 방법에 따르면, 실시간으로 원본 데이터의 프레임을 얻고, 얻어진 원본 데이터로 대상 물체들을 클러스터링하며, 각 데이터에 대해 클러스터 분류를 행한다. 클러스터링 작업에서 얻은 결과는 센티미터화된 위치이고 예상 넓이와 깊이 정보를 얻을 수 있게 된다. On the other hand, a method of obtaining three-dimensional image information using a laser scanner, first, scanning a strip-shaped laser beam (stripe) to the target object sequentially and know the depth information by using the relationship of the trigonometric function through the CCD camera There is a laser stripe method and a time-of-flight method in which depth information is obtained by time of sending and receiving lasers. Specifically, according to the method using the laser scanner, a frame of the original data is obtained in real time, the target objects are clustered with the obtained original data, and cluster classification is performed for each data. The result from the clustering operation is the centimeterized position and the expected width and depth information can be obtained.

종래의 무인 크레인 시스템에서는 스테레오 카메라가 적용된 바 없고, 레이저 스캐너를 이용하여 대상 물체의 거리를 측정하는 것이 대부분이었다. 그러나, 이러한 레이저 스캐너 장비는 매우 고가이고 유지비 또한 만만치 않다. 또한, 얻어지는 데이터도 거리 정보에 불과하여 대상 물체의 위치, 크기, 부피, 윤곽 등에 대한 정보를 정밀하게 파악하지 못하여 대상 물체의 권상 및 권하 작업시 충돌 사고가 빈번하게 발생하여 제품 품질을 저해하는 요인으로 작용하였다. In the conventional unmanned crane system, a stereo camera has not been applied, and the distance of the target object was measured by using a laser scanner. However, such laser scanner equipment is very expensive and maintenance costs are also considerable. In addition, the data obtained are only distance information, and thus, information on the position, size, volume, contour, etc. of the target object cannot be accurately understood, and thus, collisions frequently occur during lifting and unwinding of the target object, thereby degrading product quality. Acted as.

본 발명은 상기한 바와 같은 종래 3차원 영상 정보 수집 장치 및 이를 이용한 무인 크레인 운전 시스템의 문제점을 해결하기 위해 창안된 것으로, 단순히 대상 물체의 깊이(거리) 정보를 수집하는데 그치지 않고, 스테레오 카메라를 이용하여 물체의 좌표 확인을 통한 위치 정보를 정확히 수집하여 코일과 같은 제품의 권상 이동 및 권하 작업시 제품간 충돌을 방지하여 품질을 유지하고, 현장의 조도와 빛의 명암 변화에 관계없이 항시 균일한 품질의 영상데이터를 취득할 수 있는 3차원 영상 정보 수집 장치와 이를 이용한 무인 크레인 운전 시스템을 제공하는 것을 목적으로 한다. The present invention was devised to solve the problems of the conventional three-dimensional image information collecting device and the unmanned crane driving system using the same, and not only to collect the depth (distance) information of the target object, but to use a stereo camera. By accurately collecting the location information by checking the coordinates of the object, it prevents collision between products during hoist movement and unloading of products such as coils and maintains the quality, and ensures uniform quality at all times regardless of changes in illuminance and light intensity of the site It is an object of the present invention to provide a three-dimensional image information acquisition device capable of acquiring image data of an unmanned crane driving system using the same.

본 발명의 목적 및 장점들은 이하 더욱 상세히 설명될 것이며, 실시예에 의해 더욱 구체화될 것이다. 또한, 본 발명의 목적 및 장점들은 청구범위에 나타난 수단 및 이들의 조합에 의해 실현된다. The objects and advantages of the present invention will be described in more detail below, and will be further embodied by the examples. Furthermore, the objects and advantages of the invention are realized by the means indicated in the claims and combinations thereof.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 영상 정보 수집 장치는, 서로 다른 세 방향에서 대상 물체를 촬영하여 영상데이터를 획득하는 스테레오 카메라와; 대상 물체 표면에 조사할 레이저빔을 생성하는 레이저발생기와; 상기 레이저발생기의 전방측에 배치되어, 상기 레이저빔을 대상 물체 표면에 걸쳐 고르게 조사하기 위해, 레이저빔을 서로 다른 여러개의 방향으로 분산시키는 회절격자판과; 상기 스테레오 카메라로부터 전달되는 영상데이터를 분석 판정함에 따라 대상 물체 각 지점의 좌표값을 산출하여, 대상 물체의 거리정보 및 위치정보를 포함하는 3차원 영상 정보를 산출하는 컨트롤러를 포함한다. According to an aspect of the present invention, there is provided a three-dimensional image information collecting device, comprising: a stereo camera for photographing a target object in three different directions to obtain image data; A laser generator for generating a laser beam to irradiate the surface of the object; A diffraction grating plate disposed at a front side of the laser generator and dispersing the laser beam in several different directions to irradiate the laser beam evenly over a surface of an object; And a controller configured to calculate coordinate values of each point of the target object by analyzing and determining the image data transmitted from the stereo camera, and to calculate three-dimensional image information including distance information and position information of the target object.

여기서, 하우징을 더 포함하되, 상기 하우징은 내부에 상기 스테레오 카메라와 레이저발생기를 수용하고, 전방측에는 상기 스테레오 카메라의 각 렌즈가 외측으로 노출될 수 있도록 렌즈구멍이 형성되며, 렌즈구멍의 상측에는 상기 레이저발생기로부터 생성된 레이저빔이 통과되어 대상 물체에 조사될 수 있도록 개구가 형성되며, 상기 개구에 상기 회절격자판이 끼워지는 것이 바람직하다. Here, the housing further comprises a housing, wherein the housing accommodates the stereo camera and the laser generator therein, a lens hole is formed in the front side so that each lens of the stereo camera is exposed to the outside, the upper side of the lens hole It is preferable that an opening is formed so that the laser beam generated from the laser generator can pass and irradiate the object, and the diffraction grating plate is fitted in the opening.

한편, 상기 컨트롤러는 상기 하우징 외부에 별도 설치되는 것이 바람직하다. On the other hand, it is preferable that the controller is separately installed outside the housing.

그리고, 상기 컨트롤러는 상기 스테레오 카메라와 데이터 통신이 가능하도록 UTP 케이블에 의해 연결되는 것이 바람직하다. The controller is preferably connected by a UTP cable to enable data communication with the stereo camera.

또한, 상기 스테레오 카메라의 데이터 송신단과 컨트롤러의 데이터 수신단에는 각각 리피터가 추가로 구비되는 것이 바람직하다.In addition, it is preferable that a repeater is further provided at each of a data transmitting end of the stereo camera and a data receiving end of the controller.

한편, 본 발명에 따른 무인 크레인 운전 시스템은, 크레인과; 상기 크레인의 일측에 구비되어 서로 다른 세 방향에서 지상에 배치된 대상 물체를 촬영하여 영상데이터를 획득하는 스테레오 카메라와; 대상 물체 표면에 조사할 레이저빔을 생성하는 레이저발생기와; 상기 레이저발생기의 전방측에 배치되어, 상기 레이저빔을 대상 물체 표면에 걸쳐 고르게 조사하기 위해, 레이저빔을 서로 다른 여러개의 방향으로 분산시키는 회절격자판과; 상기 스테레오 카메라로부터 전달되는 영상데이터를 분석 판정함에 따라 대상 물체 각 지점의 좌표값을 산출하여, 대상 물체의 거리정보 및 위치정보를 포함하는 3차원 영상 정보를 산출하고, 산출된 3차원 영상 정보에 근거하여 상기 크레인의 작동을 제어하는 컨트롤러를 포함한다.On the other hand, the unmanned crane driving system according to the present invention, the crane; A stereo camera provided at one side of the crane to acquire image data by photographing a target object disposed on the ground in three different directions; A laser generator for generating a laser beam to irradiate the surface of the object; A diffraction grating plate disposed at a front side of the laser generator and dispersing the laser beam in several different directions to irradiate the laser beam evenly over a surface of an object; Based on the analysis and determination of the image data transmitted from the stereo camera, a coordinate value of each point of the target object is calculated to calculate 3D image information including distance information and position information of the target object, and the calculated 3D image information is calculated. And a controller for controlling the operation of the crane.

상기한 바와 같은 본 발명에 따르면, 물체의 좌표 확인을 통한 위치 정보를 정확히 수집하여 코일과 같은 제품의 권상 이동 및 권하 작업시 제품간 충돌을 방지하여 품질을 유지하고, 현장의 조도와 빛의 명암 변화에 관계없이 항시 균일한 품질의 영상데이터를 취득할 수 있는 탁월한 효과를 갖는다. According to the present invention as described above, by accurately collecting the position information by checking the coordinates of the object to prevent the collision between products during hoisting and unwinding work of the product, such as coil, to maintain the quality, the intensity of light and contrast of the site Regardless of the change, it has an excellent effect of always obtaining the image data of uniform quality.

이하, 본 발명에 따른 3차원 영상 정보 수집 장치 및 이를 이용한 무인 크레인 운전 시스템의 구성 및 작용에 대하여 첨부한 도면과 바람직한 실시예를 참조로 상세히 설명하기로 한다. Hereinafter, the configuration and operation of the 3D image information collecting device and the unmanned crane driving system using the same according to the present invention will be described in detail with reference to the accompanying drawings and preferred embodiments.

도 1 은 본 발명에 따른 3차원 영상 정보 수집 장치의 외부 사시도, 도 2 는 본 발명에 따른 3차원 영상 정보 수집 장치의 구성도이다. 1 is an external perspective view of an apparatus for collecting 3D image information according to the present invention, and FIG. 2 is a configuration diagram of an apparatus for collecting 3D image information according to the present invention.

도 1 및 도 2 에 도시된 바와 같이, 본 발명에 따른 영상 정보 수집 장치(1)는 하우징(100), 스테레오 카메라(200), 레이저발생기(300), 회절격자판(400), 그리고 컨트롤러(500)를 포함한다.As shown in FIG. 1 and FIG. 2, the image information collecting device 1 according to the present invention includes a housing 100, a stereo camera 200, a laser generator 300, a diffraction grating plate 400, and a controller 500. ).

상기 하우징(100)은 내부에 후술하는 스테레오 카메라(200)와 레이저발생기(300) 등 본 발명에 따른 3차원 영상 정보 수집 장치의 각 구성요소들을 수용하는 함체로서, 대체로 길이방향으로 길게 연장되는 직육면체로 구성되며, 전방측에는 후술하는 스테레오 카메라(200)의 각 렌즈(220)가 외측으로 노출될 수 있도록 렌즈구멍(110)이 형성되고, 중앙에 위치된 렌즈구멍(110)의 상측에는 일정한 넓이의 개구(120)가 형성되며, 상기 개구(120)에는 후술하는 회절격자판(400)이 끼워진다.The housing 100 is a housing for accommodating each component of the three-dimensional image information collecting device according to the present invention, such as a stereo camera 200 and a laser generator 300 to be described later, generally rectangular parallelepiped extending in the longitudinal direction. In the front side, the lens hole 110 is formed so that each lens 220 of the stereo camera 200 to be described later to the outside is formed, the upper side of the lens hole 110 located in the center of a constant width An opening 120 is formed, and the diffraction grating plate 400 described later is fitted into the opening 120.

상기 스테레오 카메라(200)는 서로 다른 세 방향에서 대상 물체를 촬영하여 영상데이터를 획득하는 수단으로서, 수평방향으로 일정 간격 이격되어 일렬로 배치된 3개의 렌즈(220)를 구비한다. 이와 같이 3개의 렌즈를 포함하는 스테레오 카메라(200)의 예로는, 포인트 그레이 리서치사(Point Gray Reserch)에서 제조 판매하고 있는 범블비 엑스비3(Bumblebee XB3) 모델을 들 수 있다. 2개의 렌즈를 구비하는 스테레오 카메라(200)를 사용할 때에는 대상 물체의 깊이 정보만을 획득할 수 있음에 반하여, 본 발명과 같이, 3개의 렌즈를 포함하는 스테레오 카메라(200)를 사용할 경우 대상 물체의 깊이 정보뿐만 아니라, 넓이 또는 거리와 같은 위치 좌표 정보를 얻을 수 있어 보다 정밀한 3차원 영상 정보를 수집할 수 있게 되는 것이다. The stereo camera 200 is a means for acquiring image data by photographing a target object in three different directions. The stereo camera 200 includes three lenses 220 arranged in a line at a predetermined interval in the horizontal direction. As an example of the stereo camera 200 including three lenses, a Bumblebee XB3 model manufactured and sold by Point Gray Reserch may be used. When the stereo camera 200 having two lenses is used, only depth information of the target object can be obtained. However, when the stereo camera 200 including three lenses is used, the depth of the target object can be obtained. In addition to the information, the position coordinate information such as the width or the distance can be obtained to collect more accurate three-dimensional image information.

이러한 3개의 렌즈(220)를 포함하는 스테레오 카메라(200)는 도 1 및 도 2 에 도시된 바와 같이, 상기 하우징(100) 내부에 설치되되, 각 렌즈(220)가 하우징(100)의 전면측에 형성된 렌즈구멍(110)에 대응되도록 배치되어 외부에 위치된 대상 물체를 서로 다른 세 방향에서 동시에 촬영할 수 있도록 구성된다. The stereo camera 200 including the three lenses 220 is installed in the housing 100, as shown in FIGS. 1 and 2, wherein each lens 220 is a front side of the housing 100. It is arranged to correspond to the lens hole 110 formed in the configured to be able to shoot the target object located in the outside in three different directions at the same time.

상기 레이저발생기(300)는 대상 물체의 표면을 일정한 조도로 유지시켜주기 위해 레이저빔을 발생시켜 조사하는 광원이다. 스테레오 카메라를 이용한 이미지프로세싱에 있어서, 영상데이터는 현장의 환경에 따라 영향을 많이 받는데, 그 중에서도 영상데이터는 물체 주변 빛의 조도와 명암에 따라 크게 영향을 받는다. 예컨대, 대상 물체에 너무 밝은 빛이 비추어지면 물체 표면 및 주변 물체들로부터 반사되어 나오는 반사광으로 인해 영상 확인이 불가능한 상황이 발생하게 되며, 또 너무 어두운 곳에서는 물체 자체를 식별할 수 없는 상황이 발생할 수 있다. 따라서, 영상데이터가 이러한 현장내 빛의 조도 및 명암 등의 환경적 영향을 덜 받고 주변 환경 변화에 관계없이 항상 균일하고 에러 없는 고정밀 영상 정보를 수집할 수 있는 장치가 절실히 요구된다. The laser generator 300 is a light source for generating and irradiating a laser beam to maintain the surface of the target object at a constant illuminance. In image processing using a stereo camera, image data is greatly influenced by the environment of the field, and among them, image data is greatly influenced by the illuminance and contrast of light around an object. For example, if too bright light shines on a target object, the reflected light reflected from the surface of the object and surrounding objects may cause the image to be impossible to check, and the object may not be able to be identified in too dark a place. have. Therefore, there is an urgent need for a device capable of collecting uniform and error-free high-definition image information regardless of environmental changes such as light intensity and contrast of light in the field and surrounding environment.

본 발명에서는 빛의 조도와 명암의 변화와 관계없이 항상 균일한 영상데이터 를 얻을 수 있도록 하기 위하여, 대상 물체 표면에 레이저빔을 조사하며, 이를 위해 본 발명에 따른 3차원 영상 정보 수집 장치는 레이저발생기(300)를 포함하는 것이다. 레이저빔은 단일 파장으로 구성되고 위상이 고르기 때문에 조도를 일정하게 유지시키고, 물체 표면의 명암차를 줄여주어 영상데이터의 오차를 현저하게 줄일 수 있는 것으로 판명되었다. In the present invention, in order to obtain a uniform image data at all times irrespective of the change in light intensity and contrast, the laser beam is irradiated on the surface of the target object, for this purpose, the three-dimensional image information collection device according to the present invention is a laser generator It includes 300. Since the laser beam is composed of a single wavelength and the phase is uniform, it has been found that the illumination intensity can be kept constant and the error of the image data can be significantly reduced by reducing the contrast difference of the object surface.

본 발명에 있어서, 상기 레이저발생기(300)는 도 1 에 도시된 바와 같이, 하우징(100) 내부에 설치되며, 레이저발생기(300)로부터 조사된 레이저빔이 하우징(100) 외부에 위치된 대상 물체에 조사될 수 있도록 하우징(100) 전면에는 일정한 넓이의 개구(120)가 형성된다. 그리고, 상기 개구(120)에는 회절격자판(400; diffraction grating plate)이 끼워진다. 레이저빔이 물체 표면에 그대로 조사되면 한곳에만 빛이 집중되어 물체 표면에 명암차가 생기게 되고, 레이저빔이 집중되는 부분으로부터의 반사광에 의해 영상의 확인이 불가능하게 되는 문제점이 여전히 해소되지 못한다. 따라서, 본 발명에서는 이러한 문제점을 해결하기 위해 상기 레이저발생기(300) 전방측에 회절격자판(400)를 설치한 것이다. In the present invention, the laser generator 300 is installed in the housing 100, as shown in Figure 1, the laser beam irradiated from the laser generator 300, the target object located outside the housing 100 An opening 120 having a predetermined width is formed on the front surface of the housing 100 so as to be irradiated onto the housing 100. In addition, a diffraction grating plate 400 is fitted into the opening 120. When the laser beam is irradiated to the surface of the object as it is, the light is concentrated only in one place, the contrast difference is generated on the surface of the object, and the problem that the image cannot be confirmed by the reflected light from the portion where the laser beam is concentrated is still not solved. Therefore, in the present invention, in order to solve this problem, the diffraction grating plate 400 is installed on the front side of the laser generator 300.

상기 회절격자판(400)은 레이저빔을 회절현상에 의하여 서로 다른 여러개의 방향으로 분산시키는 기능을 수행한다. 이에 따라, 도 2 에 도시된 바와 같이, 대상 물체에 격자무늬가 표시된다. 이와 같은 회절격자판(400)을 이용함에 따라, 레이저빔이 여러 방향으로 분산되기 때문에 대상 물체 전체에 걸친 고른 조명 효과를 가져올 수 있어 물체 전체에 일정한 조도 및 밝기를 유지할 수 있고, 빛의 분산으로 인하여 세기가 감소하여 강한 반사광에 의한 영상 확인 실패를 방지할 수 있게 되는 것이다. The diffraction grating plate 400 performs a function of dispersing a laser beam in several different directions by diffraction. Accordingly, as shown in FIG. 2, the grid pattern is displayed on the object. By using the diffraction grating plate 400, since the laser beam is distributed in various directions, it can bring an even lighting effect over the entire object, thereby maintaining a constant illuminance and brightness throughout the object, The intensity is reduced to prevent image confirmation failure due to strong reflected light.

상기 컨트롤러(500)는 스테레오 카메라(200)로부터 전달되는 영상데이터를 분석 판정함에 따라 대상 물체의 거리정보 및 위치정보를 포함하는 영상정보를 산출하고, 획득된 영상정보에 기초하여 후술하는 크레인(600)의 권상, 권하 및 수평 주행 등의 작동을 제어한다. 상기 컨트롤러(500)는 본 발명에 따른 3차원 영상 정보 수집 장치 내부에 내장될 수도 있으나, 도 2 에 도시된 바와 같이 외부에 별도 구비되어 스테레오 카메라(200)와 케이블에 의해 연결됨에 따라 데이터의 전송이 가능하도록 구성되는 것이 바람직하다. The controller 500 analyzes and determines the image data transmitted from the stereo camera 200, calculates image information including distance information and position information of the target object, and the crane 600 described later based on the obtained image information. Control the operation of hoisting, hoisting and horizontal driving. The controller 500 may be embedded in the 3D image information collecting device according to the present invention. However, as shown in FIG. 2, the controller 500 is separately provided outside and connected to the stereo camera 200 by a cable to transmit data. It is preferred that this is configured to be possible.

한편, 상기 스테레오 카메라(200)의 데이터 통신 프로토콜은 1394b로 산업용 PC 인 컨트롤러(500)로의 전송거리가 약 10m 정도로 제한적이다. 따라서, 컨트롤러(500)가 원격지에 별도 설치되는 경우, 도 2 에 도시된 바와 같이, 본 발명에 따른 3차원 영상 정보 수집 장치, 보다 구체적으로, 상기 스테레오 카메라(200)와 컨트롤러(500) 사이에는 약 100m 정도 떨어진 거리까지 데이터를 전송할 수 있도록 신호를 증폭하는 리피터(R:repeater)가 추가로 구비되는 것이 바람직하다. 상기 리피터(R)는 스테레오 카메라(200)의 데이터 송신단과 컨트롤러(500)의 데이터 수신단에 각각 1개씩 설치된다. 이에 따라, 상기 스테레오 카메라(200)와 리피터(R) 사 이는 1394 케이블로 연결되고, 상기 리피터(R)와 또 다른 리피터(R)는 카테고리 5e UTP 케이블에 의해 연결되며, 상기 또 다른 리피터(R)와 컨트롤러(500) 사이는 1394 케이블로 연결된다. Meanwhile, the data communication protocol of the stereo camera 200 is 1394b, and the transmission distance to the controller 500, which is an industrial PC, is limited to about 10 m. Therefore, when the controller 500 is separately installed at a remote location, as shown in FIG. 2, the apparatus for collecting 3D image information according to the present invention, more specifically, between the stereo camera 200 and the controller 500. It is preferable to further include a repeater (R: repeater) for amplifying a signal so that data can be transmitted up to a distance of about 100 m. One repeater R is installed at each of the data transmitter of the stereo camera 200 and the data receiver of the controller 500. Accordingly, the stereo camera 200 and the repeater R are connected by a 1394 cable, the repeater R and another repeater R are connected by a category 5e UTP cable, and the another repeater R ) And the controller 500 are connected by a 1394 cable.

도 3 에는 상술한 바와 같이 구성되는 본 발명에 따른 3차원 영상 정보 수집 장치(1)를 이용한 무인 크레인(600) 운전 시스템의 구성도가 도시된다. 도시된 바와 같이, 상기 무인 크레인(600) 운전 시스템은 권상, 권하 및 수평 주행이 가능한 통상의 크레인(600) 측면부에 본 발명에 따른 3차원 영상 정보 수집 장치가 설치되고, 외부에 별도 컨트롤러(500)가 구비되며, 상기 컨트롤러(500)는 중앙관제실 컴퓨터(700)와 무선 이더넷(Ethernet)으로 연결된다. 이러한 구성을 갖는 무인 크레인(600) 운전 시스템의 작동 관계에 대하여는 후술하기로 한다. 3 is a block diagram of an unmanned crane 600 driving system using the three-dimensional image information collecting device 1 according to the present invention configured as described above. As shown in the drawing, the unmanned crane 600 driving system is provided with a three-dimensional image information collection device according to the present invention in the side of the conventional crane 600 capable of hoisting, hoisting and horizontal traveling, and a separate controller 500 outside. ) Is provided, the controller 500 is connected to the central control room computer 700 and the wireless Ethernet (Ethernet). The operation relationship of the unmanned crane 600 driving system having such a configuration will be described later.

한편, 도 4 에는 본 발명에 따른 3차원 영상 정보 수집 장치를 통해 촬영된 사진 원본이 도시되고, 도 5 에는 컨트롤러(500)에서 수행된 분석 데이터 중 대상 물체의 정면 모습 데이터, 도 6 에는 컨트롤러(500)에서 수행된 분석 데이터 중 대상 물체의 측면 모습 데이터, 도 7 에는 컨트롤러(500)에서 수행된 분석 데이터 중 두 지점 사이의 거리 데이터 분석 결과가 나타난 도면, 도 8 에는 컨트롤러(500)에서 수행된 분석 데이터 중 각 지점의 위치 좌표 분석 결과가 나타난 도면이 도시된다. Meanwhile, FIG. 4 shows an original photograph taken by the apparatus for collecting 3D image information according to the present invention, FIG. 5 shows front view data of a target object among analysis data performed by the controller 500, and FIG. 6 shows a controller ( Side view data of the target object among the analysis data performed at 500), Figure 7 is a view showing the results of the distance data analysis between the two points of the analysis data performed at the controller 500, Figure 8 is performed at the controller 500 The figure which shows the position coordinate analysis result of each point of analysis data is shown.

도 5 및 도 6 에 도시된 바와 같이, 컨트롤러(500)는 도 4 와 같이 촬영된 사진 원본 데이터를 분석하여 대상 물체의 각 포인트에 X-Y-Z 좌표값을 부여한다. 이러한 포인트 좌표값에 따라, 도 7 에 도시된 바와 같이, 두 지점(P.0 와 P.1) 사이의 거리를 산출해낼 수 있고, 도 8 에 도시된 바와 같이, 대상 물체의 모든 지점이 좌표값으로 표시되므로, 대상 물체의 넓이나 길이, 위치 등에 대한 정보를 얻을 수 있게 되는 것이다. As shown in FIG. 5 and FIG. 6, the controller 500 analyzes photographic original data photographed as shown in FIG. 4 and assigns X-Y-Z coordinate values to each point of the target object. According to this point coordinate value, as shown in FIG. 7, the distance between two points P. 0 and P. 1 can be calculated, and as shown in FIG. 8, all points of the object are coordinated. Since the value is displayed, information on the width, length, position, etc. of the target object can be obtained.

지금까지, 본 발명에 따른 3차원 영상 정보 수집 장치와 이를 이용한 무인 크레인(600) 운전 시스템의 구성에 대하여 살펴보았는 바, 이하에서는, 도 9를 참조로 상술한 3차원 영상 정보 수집 장치를 이용한 무인 크레인(600)의 운전 방법에 대하여 설명한다. 도 9 에는 본 발명에 따른 무인 크레인(600) 운전 시스템에서의 크레인(600) 운전 방법의 개략도가 도시된다. So far, the configuration of the three-dimensional image information collecting device and the operation system of the unmanned crane 600 using the same has been described. Hereinafter, the unmanned using the three-dimensional image information collecting device described above with reference to FIG. 9. The operation method of the crane 600 is demonstrated. 9 is a schematic diagram of a method of operating a crane 600 in an unmanned crane 600 operating system according to the present invention.

최초, 운전실 단말기(800)로부터 운전명령이 입력되어 운전이 개시되면, 중앙관제실 컴퓨터(700)에서는 컨트롤러(500)에 무선으로 작업명령을 전송하고, 상기 작업명령을 전달받은 컨트롤러(500)는 크레인(600)을 제어하여 권상 작업을 수행한다. 권상 작업 수행시, 크레인(600)의 측면에 설치된 본 발명에 따른 3차원 영상 정보 수집 장치(1)가 지상에 위치된 금속 코일과 같은 대상 물체를 스테레오 카메라(200)로 촬영하여 영상데이터를 획득한다. 획득된 영상데이터는 케이블을 통하여 컨트롤러(500)에 전달되고, 컨트롤러(500)에서는 전달된 영상데이터를 분석 및 판 정하여, 대상 물체의 좌표 정보를 포함한 3차원 영상 정보를 획득한다. 획득된 3차원 영상 정보로부터 대상 물체가 존재하는 지점의 위치 정보 및 대상 물체의 크기 정보 등이 파악되면, 컨트롤러(500)는 이러한 정보들에 근거하여 크레인(600)을 하강시켜 해당 위치로 이동시킨 후 대상 물체를 파지하여 권상을 수행한다. 그 다음, 일정 구간 횡행 주행을 수행한 후, 본 발명에 따른 3차원 영상 정보 수집 장치에 의해 지상을 촬영하여 영상데이터를 획득한다. 획득된 영상데이터는 다시 컨트롤러(500)로 전달되고, 컨트롤러(500)에서는 영상데이터의 분석을 통하여 물체가 존재하는 않는 지점의 위치 및 넓이 등의 정보를 파악한다. 파악된 정보에 근거하여, 컨트롤러(500)가 크레인(600)을 제어하여 권하 작업을 수행한다. First, when an operation command is input from the cab terminal 800 and operation starts, the central control room computer 700 wirelessly transmits a work command to the controller 500, and the controller 500 that receives the work command receives a crane. Control 600 to perform hoisting operation. In performing the hoisting operation, the 3D image information collecting device 1 according to the present invention installed on the side of the crane 600 acquires image data by capturing a target object such as a metal coil located on the ground with the stereo camera 200. do. The acquired image data is transmitted to the controller 500 through a cable, and the controller 500 analyzes and determines the transmitted image data to obtain 3D image information including coordinate information of the target object. When the position information of the point where the target object exists and the size information of the target object are grasped from the obtained 3D image information, the controller 500 moves the crane 600 down to the corresponding position based on the information. After holding the target object to perform the hoisting. Then, after performing the section running in a certain section, the image data is obtained by photographing the ground by the three-dimensional image information collection device according to the present invention. The acquired image data is transferred to the controller 500 again, and the controller 500 grasps information such as the position and the width of the point where the object does not exist through the analysis of the image data. Based on the grasped information, the controller 500 controls the crane 600 to perform a pulling operation.

이와 같이, 본 발명에 따른 3차원 영상 정보 수집 장치를 이용하여 대상 물체가 존재하는 지점에 대한 위치 정보와 대상 물체의 크기 정보를 정확히 파악하고, 또한, 대상 물체가 존재하지 않는 지점의 위치 정보와 넓이 정보를 정확히 파악함에 따라, 정밀한 권상, 권하 작업시 제품의 충돌 등에 의한 품질의 손상을 방지할 수 있게 되는 것이다. As described above, using the 3D image information collecting device according to the present invention, the position information and the size information of the target object are accurately grasped, and the position information of the point where the target object does not exist and By accurately grasping the area information, it is possible to prevent quality damage due to precise lifting and lifting of the product.

도 1 은 본 발명에 따른 3차원 영상 정보 수집 장치의 외부 사시도, 1 is an external perspective view of a 3D image information collecting device according to the present invention;

도 2 는 본 발명에 따른 3차원 영상 정보 수집 장치의 구성도,2 is a block diagram of an apparatus for collecting 3D image information according to the present invention;

도 3 은 본 발명에 따른 3차원 영상 정보 수집 장치를 이용한 무인 크레인 운전 시스템의 구성도,3 is a block diagram of an unmanned crane driving system using a three-dimensional image information collecting device according to the present invention,

도 4 는 본 발명에 따른 3차원 영상 정보 수집 장치를 통해 촬영된 대상 물체의 사진 원본, 4 is an original photograph of a target object photographed through the 3D image information collecting device according to the present invention;

도 5 은 컨트롤러에서 수행된 분석 데이터 중 대상 물체의 정면 모습 데이터 분석 결과가 나타난 도면,5 is a view showing a front view data analysis result of the target object of the analysis data performed in the controller,

도 6 은 컨트롤러에서 수행된 분석 데이터 중 대상 물체의 측면 모습 데이터 분석 결과가 나타난 도면, FIG. 6 is a view illustrating a side view data analysis result of a target object among analysis data performed by a controller; FIG.

도 7 은 컨트롤러에서 수행된 분석 데이터 중 두 지점 사이의 거리 데이터 분석 결과가 나타난 도면, 7 is a view showing a result of analyzing distance data between two points of analysis data performed by a controller;

도 8 은 컨트롤러에서 수행된 분석 데이터 중 각 지점의 위치 좌표 분석 결과가 나타난 도면,8 is a view illustrating a position coordinate analysis result of each point among analysis data performed by a controller;

도 9 는 본 발명에 따른 무인 크레인 운전 시스템에서의 크레인 운전 방법의 개략도이다.9 is a schematic diagram of a crane driving method in an unmanned crane driving system according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

1 : 3차원 영상 정보 수집 장치 100 : 하우징1: 3D image information collection device 100: Housing

110 : 렌즈구멍 120 : 개구110: lens hole 120: opening

200 : 스테레오 카메라 220 : 렌즈200: stereo camera 220: lens

300 : 레이저발생기 400 : 회절격자판300: laser generator 400: diffraction grating plate

500 : 컨트롤러 600 : 크레인500 controller 600 crane

700 : 중앙관제실 컴퓨터 800 : 운전실 단말기700: central control room computer 800: cab terminal

R : 리피터 R: Repeater

Claims (6)

서로 다른 세 방향에서 대상 물체를 촬영하여 영상데이터를 획득하는 스테레오 카메라(200)와; 대상 물체 표면에 조사할 레이저빔을 생성하는 레이저발생기(300)와; 상기 레이저발생기(300)의 전방측에 배치되어, 상기 레이저빔을 대상 물체 표면에 걸쳐 고르게 조사하기 위해, 레이저빔을 서로 다른 여러개의 방향으로 분산시키는 회절격자판(400)과; 상기 스테레오 카메라(200)로부터 전달되는 영상데이터를 분석 판정함에 따라 대상 물체 각 지점의 좌표값을 산출하여, 대상 물체의 거리정보 및 위치정보를 포함하는 3차원 영상 정보를 산출하는 컨트롤러(500)를 포함하고, 하우징(100)을 더 포함하되, 상기 하우징(100)은 내부에 상기 스테레오 카메라(200)와 레이저발생기(300)를 수용하고, 전방측에는 상기 스테레오 카메라(200)의 각 렌즈(220)가 외측으로 노출될 수 있도록 렌즈구멍(110)이 형성되며, 렌즈구멍(110)의 상측에는 상기 레이저발생기(300)로부터 생성된 레이저빔이 통과되어 대상 물체에 조사될 수 있도록 개구(120)가 형성되며, 상기 개구(120)에 상기 회절격자판(400)이 끼워지는 것을 특징으로 하는 3차원 영상 정보 수집 장치.A stereo camera 200 which acquires image data by photographing a target object in three different directions; A laser generator 300 generating a laser beam to irradiate the surface of the object; A diffraction grating plate (400) disposed at the front side of the laser generator (300) for distributing the laser beam in several different directions to irradiate the laser beam evenly over a target object surface; The controller 500 calculates coordinate values of each point of the target object based on the analysis and determination of the image data transmitted from the stereo camera 200, and calculates three-dimensional image information including distance information and position information of the target object. It further comprises a housing 100, the housing 100 accommodates the stereo camera 200 and the laser generator 300 therein, the front side of each lens 220 of the stereo camera 200 The lens hole 110 is formed to expose the outside of the lens hole, and the opening 120 is formed above the lens hole 110 so that the laser beam generated from the laser generator 300 passes through and irradiates the target object. And a diffraction grating plate 400 is fitted into the opening 120. 삭제delete 제 1 항에 있어서, The method of claim 1, 상기 컨트롤러(500)는 상기 하우징(100) 외부에 별도 설치되는 것을 특징으로 하는 3차원 영상 정보 수집 장치. The controller 500 is a three-dimensional image information collection device, characterized in that installed separately outside the housing (100). 제 1 항 또는 제 3 항에 있어서, The method according to claim 1 or 3, 상기 컨트롤러(500)는 상기 스테레오 카메라(200)와 데이터 통신이 가능하도록 UTP 케이블에 의해 연결되는 것을 특징으로 하는 3차원 영상 정보 수집 장치.The controller 500 is a three-dimensional image information collecting device, characterized in that connected by the UTP cable to enable data communication with the stereo camera (200). 제 4 항에 있어서, The method of claim 4, wherein 상기 스테레오 카메라(200)의 데이터 송신단과 컨트롤러(500)의 데이터 수신단에는 각각 리피터(R)가 추가로 구비되는 것을 특징으로 하는 3차원 영상 정보 수집 장치. 3D image information collecting device, characterized in that the repeater (R) is further provided at each of the data transmitting end of the stereo camera 200 and the data receiving end of the controller (500). 삭제delete
KR1020080131879A 2008-12-23 2008-12-23 3 dimensional image information collection device KR100892232B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080131879A KR100892232B1 (en) 2008-12-23 2008-12-23 3 dimensional image information collection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131879A KR100892232B1 (en) 2008-12-23 2008-12-23 3 dimensional image information collection device

Publications (1)

Publication Number Publication Date
KR100892232B1 true KR100892232B1 (en) 2009-04-09

Family

ID=40757384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131879A KR100892232B1 (en) 2008-12-23 2008-12-23 3 dimensional image information collection device

Country Status (1)

Country Link
KR (1) KR100892232B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7395941B2 (en) 2002-07-26 2008-07-08 Suk-Chu Hong Artificial nipple with reinforcement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095050A (en) * 1995-06-20 1997-01-10 Olympus Optical Co Ltd Three-dimensional image measuring apparatus
KR20010042282A (en) * 1999-02-04 2001-05-25 모리시타 요이찌 Projector and display both comprising optical element for diffraction and scattering
KR20010087493A (en) * 2000-03-07 2001-09-21 황상기 A survey equipment and method for rock excavation surface
KR20080013077A (en) * 2006-08-07 2008-02-13 (주)티에프에스글로발 Device for on-line real time analyzing 3 dimension shape and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095050A (en) * 1995-06-20 1997-01-10 Olympus Optical Co Ltd Three-dimensional image measuring apparatus
KR20010042282A (en) * 1999-02-04 2001-05-25 모리시타 요이찌 Projector and display both comprising optical element for diffraction and scattering
KR20010087493A (en) * 2000-03-07 2001-09-21 황상기 A survey equipment and method for rock excavation surface
KR20080013077A (en) * 2006-08-07 2008-02-13 (주)티에프에스글로발 Device for on-line real time analyzing 3 dimension shape and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7395941B2 (en) 2002-07-26 2008-07-08 Suk-Chu Hong Artificial nipple with reinforcement

Similar Documents

Publication Publication Date Title
US20230228564A1 (en) Dual-resolution 3d scanner and method of using
CN208860761U (en) A kind of industry detection apparatus with floor light
CN108946360B (en) Displacement monitoring system and method for mine hoisting equipment
CN106210698B (en) The control method of depth camera
GB2567353B (en) Handheld dimensioning system with feedback
CN102428341B (en) Device for measuring displacement of pantograph and method for detecting hard spot of trolley wire
US20180281757A1 (en) Stereo Camera Device
CN107077729B (en) Method and device for recognizing structural elements of a projected structural pattern in a camera image
WO2008135294A1 (en) Device and method for non-contact recording of spatial coordinates of a surface
CN110431562B (en) Image recognition apparatus
JP2012215394A (en) Three-dimensional measuring apparatus and three-dimensional measuring method
CN101858732A (en) Apparatus for detecting three-dimensional distance
KR100892232B1 (en) 3 dimensional image information collection device
US10142615B2 (en) System for three-dimensional image capture while moving
KR101916248B1 (en) Data collection system in shipyard
KR100756009B1 (en) System for 3d plane image pick up of container and a method thereof
CN212718674U (en) Surveying and mapping robot
KR20060051974A (en) Detecting system of railroad cars
KR101236845B1 (en) System for measuring an object and method for measuring an object using the same
CN217932084U (en) Comprehensive train detection system
JP3592962B2 (en) Abnormal object monitoring device
RU2650857C1 (en) System for determining geometric parameters of three-dimensional objects
JP2020146773A (en) Handling device and robot device
KR20120063145A (en) Measuring method of distance from object using laser sensor and vision sensor
CN113701628A (en) Dynamic measuring method and device for contact line abrasion

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130225

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150313

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160526

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170321

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee