KR100564522B1 - System And Method For Automatic Recognition Of Vehicle And Loading Goods - Google Patents
System And Method For Automatic Recognition Of Vehicle And Loading Goods Download PDFInfo
- Publication number
- KR100564522B1 KR100564522B1 KR1020030092404A KR20030092404A KR100564522B1 KR 100564522 B1 KR100564522 B1 KR 100564522B1 KR 1020030092404 A KR1020030092404 A KR 1020030092404A KR 20030092404 A KR20030092404 A KR 20030092404A KR 100564522 B1 KR100564522 B1 KR 100564522B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- load
- axis
- laser scanner
- digital camera
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Warehouses Or Storage Devices (AREA)
Abstract
본 발명은 물류 창고에서 차량에 적재된 물류를 크레인 등으로 하차하거나, 파렛트 상의 적재물을 차량에 적재하는 물류 입/출고시에 해당되는 차량 및 적재물의 상태를 레이저 스캐너 및 디지털 카메라를 이용하여 자동으로 인식할 수 있도록 한 차량 및 적재물의 자동 인식 시스템 및 방법에 관한 것이다.In the present invention, the logistics loaded on the vehicle in the logistics warehouse to get off with a crane or the like, or the status of the vehicle and the load corresponding to the logistics entry / exit to load the load on the pallet on the vehicle automatically using a laser scanner and a digital camera A system and method for automatic recognition of a vehicle and a load to be recognized.
본 발명은 레이저 스캐너 및 디지털 카메라를 이용한 차량 및 적재물의 자동 인식 시스템 및 방법을 구현함으로써, 어떠한 상황에서도 측정하고자 하는 대상체인 차량 및 적재물의 상태를 보다 정확하게 인식할 수 있게 된다.The present invention implements a system and method for automatically recognizing a vehicle and a load using a laser scanner and a digital camera, thereby enabling a more accurate recognition of the state of a vehicle and a load, which are objects to be measured under any circumstances.
또한, 본 발명은 차량 및 적재물의 상태를 정확하게 인식할 수 있게 됨에 따라 안전성이 보장된 입/출고 무인 자동화 시스템의 구축이 가능해지며, 나아가 체계적이고 효율적이면서 적은 원가의 물류 관리 시스템을 구현할 수 있게 된다.In addition, the present invention can accurately recognize the state of the vehicle and the load, it is possible to build a safe automated entry / exit automated system, it is possible to implement a systematic, efficient and low cost logistics management system .
물류 관리, 차량, 적재물, 레이저 스캐너, 디지털 카메라, 상태 인식, 이미지 합성, 3차원 정보Logistics Management, Vehicles, Loads, Laser Scanners, Digital Cameras, State Awareness, Image Composition, 3D Information
Description
도 1은 본 발명의 일실시예 - 적재물을 1열로 길게 적재한 경우 - 에 따른 차량 및 적재물의 자동 인식 시스템 구성 및 배치 상태를 예시한 도면.1 is a view illustrating a configuration and arrangement of an automatic recognition system for a vehicle and a load according to an embodiment of the present invention-when a load is loaded in one row for a long time.
도 2는 본 발명의 다른 실시예 - 적재물을 2열로 짧게 적재한 경우 - 에 따른 차량 및 적재물의 자동 인식 시스템 구성 및 배치 상태를 예시한 도면.2 is a diagram illustrating a configuration and arrangement of an automatic recognition system for a vehicle and a load according to another embodiment of the present invention-when the load is shortly loaded in two rows.
도 3은 본 발명에 따른 차량 및 적재물의 자동 인식 시스템의 동작을 물류 입고시를 기준으로 설명하기 위한 동작 순서도.Figure 3 is an operation flowchart for explaining the operation of the automatic recognition system of the vehicle and the load according to the present invention based on the logistics receipt.
도 4는 도 3의 동작에 있어, 차량 및 적재물에 대한 레이저 스캐너의 측정 상태를 예시한 도면.4 illustrates the measurement state of a laser scanner for a vehicle and a load in the operation of FIG.
도 5는 도 4에 의해 측정된 X축 길이(위치) 및 Z축 높이 값을 그래프로 도시한 도면.FIG. 5 graphically depicts the X-axis length (position) and Z-axis height values measured by FIG. 4.
도 6은 도 3의 동작에 있어, 디지털 카메라의 좌/우측에 조명이 설치된 경우의 차량 및 적재물 촬영 상태를 예시한 도면.FIG. 6 is a diagram illustrating a vehicle and a load photographing state in a case where illumination is provided at left and right sides of the digital camera in the operation of FIG. 3. FIG.
도 7은 도 6에 의해 좌측 조명 또는 우측 조명을 켠 상태에서 촬영된 이미지 및 이를 합성한 이미지를 예시한 도면.FIG. 7 is a diagram illustrating an image photographed with a left light or a right light turned on by FIG. 6 and an image synthesized therefrom.
도 8은 본 발명에서 이미지 프로세싱에 의한 적재물의 정확한 센터 좌표를 구하는 상태를 예시한 도면.8 is a diagram illustrating a state of obtaining accurate center coordinates of a load by image processing in the present invention.
도 9는 본 발명에서 물류 출고시를 기준으로 한 디지털 카메라 및 레이저 스캐너의 배치 및 측정 상태를 예시한 도면.9 is a view illustrating the arrangement and measurement status of the digital camera and laser scanner on the basis of the logistics factory in the present invention.
도 10은 도 9에 의해 측정된 파렛트 및 스토퍼의 X축 위치 및 Z축 높이 값을 그래프로 도시한 도면.FIG. 10 is a graph showing X-axis position and Z-axis height values of the pallet and stopper measured by FIG. 9; FIG.
도 11은 도 9에서 좌/우측 디지털 카메라에 의해 각각 촬영된 이미지에 대한 중심 좌표를 구하는 상태를 예시한 도면FIG. 11 is a diagram illustrating a state of obtaining center coordinates of images photographed by the left and right digital cameras in FIG. 9, respectively.
본 발명은 차량 및 적재물의 상태 인식에 관한 것으로, 특히 물류 창고에서 차량에 적재된 물류를 크레인 등으로 하차하거나, 파렛트 상의 적재물을 차량에 적재하는 물류 입/출고시에 해당되는 차량 및 적재물의 상태를 레이저 스캐너 및 디지털 카메라를 이용하여 자동으로 인식할 수 있도록 한 차량 및 적재물의 자동 인식 시스템 및 방법에 관한 것이다.The present invention relates to the recognition of the state of the vehicle and the load, and in particular, the state of the vehicle and the load corresponding to the logistic loading and delivery of the load on the pallet to the vehicle, or to load the logistics loaded on the vehicle in the distribution warehouse The present invention relates to a system and a method for automatically recognizing a vehicle and a load to be automatically recognized using a laser scanner and a digital camera.
최근에 국내 산업 활동 즉, 제품의 제조에서 판매, 물류 등의 일련의 산업 활동 중에서 다른 선진 경쟁국과의 경쟁력이 가장 열악한 부분이 물류 분야로 이는 국내 산업의 원가상승에 가장 큰 부분을 차지하고 있다.Recently, among the series of industrial activities, such as manufacturing, sales, logistics, etc. of domestic industrial activities, the least competitive part with other advanced competitors is logistics, which is the largest part of the cost increase of domestic industry.
특히, 제품의 입/출고가 잦은 각종 물류 창고 등에서는 보다 체계적이고 효율적인 적재물 관리를 도모하고, 나아가 원가절감 및 인력감축 등의 경제적 목적 등으로 입/출고 무인화 시스템 구축을 위한 연구가 활발히 진행되고 있다.In particular, in various logistics warehouses where products are frequently entered and exited, research is being actively conducted to establish a more efficient and efficient load management, and to build an unmanned entry / exit system for economic purposes such as cost reduction and manpower reduction. .
이러한 입/출고 무인화 시스템의 구축을 위해서는 제품 입/출고시 적재용 차량은 물론 그 적재물(차량에 적재된 제품, 창고내 파렛트 상에 적재된 제품 등)에 대한 정확한 형상 및 위치 등을 자동으로 인식하는 것이 필수적이다.In order to construct such an entry / exit unmanned system, the correct shape and location of the loading vehicle as well as its loads (products loaded on the vehicle, products loaded on the pallet in the warehouse) are automatically recognized. It is essential.
만약, 자동으로 구동되는 무인 적재물 이송 크레인이 중량체의 적재물을 이송하기 위해 적재물에 접근하는 경우에 그 적재물 및 그 적재용 차량의 상태(형상, 위치, 거리 등) 인식이 정확하게 이루어지지 않았다고 가정하면, 적재물 이송의 실패 뿐 아니라, 고가의 적재물과 그 적재용 차량의 파손은 물론 주위 인명의 안전사고까지 유발될 수 있는 등 대형사고로 이어질 수 있다.If the unmanned load-carrying crane, which is automatically driven, approaches a load to transport a heavy load, it is assumed that the recognition of the load and the state of the load vehicle (shape, position, distance, etc.) is not made correctly. In addition to failure of conveying loads, it can lead to large-scale accidents such as damage of expensive loads and their vehicles as well as safety accidents of surrounding people.
따라서, 물류 관리 분야에 있어서 차량 및 그 적재물의 상태 인식은 무엇보다 중요하다고 할 수 있으며, 또한 차량 및 적재물 상태 인식을 위한 시스템은 계절이나 주야 어떠한 환경 변화의 상황에서도 정확한 인식 성공율을 보여야 완전한 안전성이 보장될 수 있을 것이다.Therefore, in the field of logistics management, it is important to recognize the status of vehicles and their loads, and the system for vehicle and load status recognition must show accurate recognition success rate in any situation of seasonal or day-to-day environmental changes. Can be guaranteed.
그런데, 대부분의 물류 창고 등에 설치 및 사용되고 있는 종래의 입/출고용 차량 및 적재물 인식 시스템은 레이저 스캐너를 통해 2차원적인 거리 정보만을 얻은 후 이를 활용하는 정도이고, 또 다른 방법으로는 디지털 카메라로 촬영한 평면상의 연상 정보를 이용하여 2차원적 평면위치(차량 및 적재물의 폭, 거리 값) 정보를 얻은 후 이를 활용하는 정도로서, 종래에는 차량 및 적재물 인식이 정확히 이루 어지지 않음에 따라 입/출고 무인화 시스템 구축시 많은 부족함이 있으며, 이러한 이유로 인해 시스템 구축에 장애를 주어 막대한 물류비 낭비를 초래할 뿐 아니라 효율적이고 체계적인 물류 관리 시스템 구축이 지연되는 문제점이 있었다.By the way, the conventional input / export vehicle and load recognition system which is installed and used in most warehouses is obtained by using only two-dimensional distance information through a laser scanner, another method is to shoot with a digital camera It is the degree of using this information after obtaining two-dimensional plane position (vehicle and load width and distance value) using associative information on one plane. There are a lot of shortages in system construction, and for this reason, there is a problem that the obstacles to the construction of the system not only causes a huge waste of logistics costs, but also delays the construction of an efficient and systematic logistics management system.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 차량 및 적재물에 대하여 레이저 스캐너 및 디지털 카메라를 통해 획득한 이미지 정보를 합성 및 보정하여 해당되는 차량 및 적재물의 3차원 상태를 자동 인식할 수 있도록 하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and an object thereof is to automatically recognize a three-dimensional state of a vehicle and a load by synthesizing and correcting image information acquired through a laser scanner and a digital camera with respect to the vehicle and a load. To make it possible.
본 발명의 다른 목적은, 차량 및 적재물의 상태를 자동으로 인식할 수 있는 시스템 및 방법을 구현함으로써, 안전성이 보장된 입/출고 무인 자동화 시스템을 구축할 수 있도록 하고, 나아가 체계적이고 효율적이면서 적은 원가로 물류 관리 시스템을 구현할 수 있도록 하는데 있다.
Another object of the present invention is to implement a system and method capable of automatically recognizing the state of a vehicle and a load, thereby making it possible to build a safe automated entry / exit unmanned automation system, furthermore systematic and efficient and low cost. The purpose is to enable a logistics management system.
상술한 바와 같은 목적을 해결하기 위한 본 발명의 특징은, 일정 간격으로 측정 각도를 회전시키면서 차량 및 적재물을 스캔하여 해당되는 차량 및 적재물의 길이 및 높이를 측정하는 적어도 하나의 레이저 스캐너와; 상기 차량 및 적재물 촬영을 통해 에지를 가진 좌/우측 이미지 정보를 획득하는 적어도 하나의 디지털 카메라와; 상기 디지털 카메라를 통해 획득한 좌/우측 이미지 정보를 합성하여 X축 길이 및 Y축 폭 정보를 구한 후에 그 합성된 이미지 정보의 X축 길이 및 Y축 폭 정보와 상기 레이저 스캐너에서 측정한 차량 및 적재물의 X축 길이 및 Z축 높이 정보를 조합하여 3차원 상태 정보인 차량 및 적재물의 X, Y, Z축 정보를 획득하여 물류 관리 단말기로 전송해 주는 상태 인식 제어부를 포함하는 차량 및 적재물의 자동 인식 시스템을 제공하는데 있다.Features of the present invention for solving the object as described above, at least one laser scanner for scanning the vehicle and the load while measuring the vehicle and the load while rotating the measurement angle at a predetermined interval; At least one digital camera for acquiring left and right image information having an edge through the vehicle and the load photographing; After obtaining the X-axis length and Y-axis width information by synthesizing the left / right image information acquired through the digital camera, the X-axis length and Y-axis width information of the synthesized image information and the vehicle and the load measured by the laser scanner Automatic recognition of vehicles and loads, including a state recognition control unit that combines the X-axis length and Z-axis height information to obtain the X, Y, and Z-axis information of the vehicle and the load, which are three-dimensional state information, and transmit the information to the logistics management terminal. To provide a system.
여기서, 상기 레이저 스캐너와 디지털 카메라는, 차량용 트레일러가 진입하는 물류 창고의 입구 또는 그 물류 창고 내의 적재물 안치용 파렛트 보관 장소의 상단에 설치되는 것을 특징으로 한다.The laser scanner and the digital camera may be installed at an entrance of a distribution warehouse to which a vehicle trailer enters or at an upper end of a pallet storage site for placing loads in the distribution warehouse.
그리고, 상기 디지털 카메라는, 자동 조도 조절기를 이용하여 차량 및 적재물에 대하여 에지를 가진 좌/우측 이미지 정보를 획득하거나, 카메라 좌/우측에 설치된 조명을 교대로 켠 상태에서 차량 및 적재물을 촬영하여 좌/우측 이미지 정보를 획득하는 것을 특징으로 한다.The digital camera acquires left and right image information having an edge with respect to the vehicle and the load by using the auto illuminance control device, or photographs the vehicle and the load while the lights installed on the left and right sides of the camera are alternately turned on. / Obtain right image information.
또한, 상기 상태 인식 제어부는, 레이저 스캐너 접속을 위한 고속 링크 카드와, 디지털 카메라 접속을 위한 프레임 그래버 카드와, 상기 디지털 카메라의 좌/우측에 설치된 조명의 온/오프를 위한 디지털 I/O 카드를 구비하며, 상기 각 카드를 제어하여 차량 및 적재물의 형상, 위치, 거리를 나타내는 3차원 상태를 인식하고, 상기 상태 인식을 통해 얻은 X, Y, Z축 정보를 물류 관리 단말기로 전송해 주는 제어 보드를 구비하여 이루어진 것을 특징으로 한다.The state recognition controller may further include a high speed link card for connecting a laser scanner, a frame grabber card for connecting a digital camera, and a digital I / O card for turning on / off lights installed on the left and right sides of the digital camera. A control board for controlling each of the cards to recognize a three-dimensional state indicating the shape, position, and distance of the vehicle and the load, and transmitting the X, Y, and Z-axis information obtained through the state recognition to the logistics management terminal. Characterized in that provided with.
본 발명의 다른 특징은, 적어도 하나의 레이저 스캐너를 이용하여 차량 및 적재물의 길이 및 높이 값을 측정하는 과정과; 상기 차량 및 적재물을 적어도 하나 의 디지털 카메라로 촬영하여 에지를 가진 좌/우측 이미지 정보를 획득한 후에 이를 합성하는 과정과; 상기에서 합성된 이미지 정보와 상기에서 측정된 길이 및 높이 값을 조합하여 상기 차량 및 적재물의 형상, 위치, 거리를 나타내는 3차원 상태 정보를 획득하여 물류 관리 단말기로 전송해 주는 과정을 포함하는 차량 및 적재물의 자동 인식 방법을 제공하는데 있다.Another aspect of the present invention includes the steps of measuring the length and height values of the vehicle and the load using at least one laser scanner; Photographing the vehicle and the load with at least one digital camera, acquiring left / right image information having edges, and then synthesizing the same; A vehicle comprising a process of acquiring three-dimensional state information representing the shape, location, and distance of the vehicle and the load by combining the synthesized image information and the length and height values measured above, and transmitting the three-dimensional state information to the logistics management terminal; An automatic recognition method of a load is provided.
여기서, 상기 차량 및 적재물의 길이 및 높이 값을 측정하는 과정은, 레이저 스캐너에서 일정 간격으로 측정 각도를 회전시키면서 차량 및 적재물을 스캔하는 단계와; 상기 레이저 스캐너로부터의 실측 거리 및 측정 각도에 대한 사인 함수를 이용하여 X축 길이 값을 측정하고, 상기 레이저 스캐너로부터의 실측 거리 및 측정 각도에 대한 코사인 함수를 이용하여 Z축 높이 값을 측정하는 단계를 포함하는 것을 특징으로 한다.The measuring of the length and height of the vehicle and the load may include: scanning the vehicle and the load while rotating the measurement angle at a predetermined interval in a laser scanner; Measuring an X-axis length value by using a sine function for the measured distance and the measured angle from the laser scanner, and measuring the Z-axis height value by using a cosine function for the measured distance and the measured angle from the laser scanner. Characterized in that it comprises a.
또한, 상기 차량 및 적재물의 길이 및 높이 값을 측정하는 과정은, 상기에서 측정 각도를 회전시키면서 측정된 각 X축 위치에 대응하는 Z축 높이 값의 차이를 계산하여 차량 트레일러의 헤드 및 테일 위치와 적재물의 최고 위치를 구하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the process of measuring the length and height of the vehicle and the load, by calculating the difference between the Z-axis height value corresponding to each X-axis position measured while rotating the measurement angle in the head and tail position of the vehicle trailer and And obtaining the highest position of the load.
나아가, 상기 좌/우측 이미지 정보를 획득하여 합성하는 과정은, 디지털 카메라의 자동 조도 조절기를 조절하여 차량 및 적재물의 좌/우측 이미지 정보를 획득하여 합성하거나, 상기 디지털 카메라 좌/우측에 설치된 조명을 교대로 켠 상태에서 차량 및 적재물의 촬영을 통해 좌/우측 이미지 정보를 획득하여 합성하는 것을 특징으로 한다.In addition, the process of acquiring and synthesizing the left and right image information may include adjusting left and right image information of a vehicle and a load by adjusting the auto illuminance controller of the digital camera, or synthesizing the illumination installed at the left and right of the digital camera. Characterized in that the left and right image information is obtained by synthesizing the vehicle and the load in the alternately turned on state.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명에서는 레이저 스캐너를 이용하여 차량 및 적재물의 길이 및 높이 값을 측정하고, 디지털 카메라를 이용하여 얻은 다수의 2차원 평면 이미지 정보(거리, 이미지)를 합성한 후, 그 합성된 이미지 정보와 앞에서 측정한 길이 및 높이 값을 조합하여 3차원 정보 즉, 차량 및 적재물의 X, Y, Z축 정보를 획득함으로써 차량 및 적재물의 상태(형상, 위치, 거리 등)를 자동 인식할 수 있는 시스템을 구현하게 되는데, 이러한 차량 및 적재물의 자동 인식 시스템은 첨부한 도면 도 1 및 도 2와 같은 구성을 갖는다.In the present invention, after measuring the length and height of the vehicle and the load using a laser scanner, and synthesized a plurality of two-dimensional planar image information (distance, image) obtained by using a digital camera, the synthesized image information and the front Implement a system that can automatically recognize the state (shape, position, distance, etc.) of the vehicle and the load by acquiring three-dimensional information, that is, the X, Y, Z-axis information of the vehicle and the load by combining the measured length and height values. The automatic recognition system of such a vehicle and a load has a configuration as shown in FIGS. 1 and 2.
도 1은 본 발명의 일실시예에 따른 차량 및 적재물의 자동 인식 시스템을 예시한 도면으로, 이는 적재물을 1열로 길게 적재한 경우의 시스템 구성 및 배치 상태를 예시하고 있으며, 도 2는 본 발명의 다른 실시예에 따른 차량 및 적재물의 자동 인식 시스템을 예시한 도면으로, 이는 적재물을 2열로 짧게 적재한 경우의 시스템 구성 및 배치 상태를 예시하고 있다.1 is a diagram illustrating an automatic recognition system of a vehicle and a load according to an embodiment of the present invention, which illustrates a system configuration and arrangement when a load is loaded in one row long, and FIG. A diagram illustrating an automatic recognition system of a vehicle and a load according to another embodiment, which illustrates a system configuration and arrangement state when the load is shortly stacked in two rows.
즉, 본 발명에 따른 차량 및 적재물의 자동 인식 시스템은 적어도 하나의 레이저 스캐너 및 디지털 카메라와, 상태 인식 제어부 및 물류 관리 단말기를 구비하여 이루어진다.That is, the automatic recognition system for a vehicle and a load according to the present invention includes at least one laser scanner and a digital camera, a state recognition controller and a logistics management terminal.
여기서, 레이저 스캐너와 디지털 카메라는 차량용 트레일러가 진입하는 물류 창고의 입구 및 그 물류 창고 내의 적재물 안치용 파렛트 보관 장소의 상단에 설치 되며, 레이저 스캐너는 일정 간격으로 측정 각도를 회전시키면서 차량 및 적재물을 스캔하여 해당되는 차량 및 적재물의 길이 및 높이를 측정하고, 디지털 카메라는 차량 및 적재물 촬영을 통해 에지(Edge)를 가진 2차원 이미지 정보(거리, 이미지)를 획득한다. 이때 디지털 카메라는 자동 조도 조절기에 의한 방법으로 차량 및 적재물의 이미지 정보를 획득할 수 있지만, 특수한 경우 보다 선명한 에지를 가진 이미지 정보를 획득하기 위하여 카메라 좌/우측에 조명을 설치하여, 좌측 조명 및 우측 조명을 교대로 켠 상태에서 각각의 이미지 정보를 획득하는 것이 바람직하다.Here, the laser scanner and the digital camera are installed at the entrance of the warehouse where the vehicle trailer enters and at the top of the pallet storage place for loading the cargo in the warehouse, and the laser scanner scans the vehicle and the load while rotating the measurement angle at regular intervals. The length and height of the vehicle and the load are measured, and the digital camera acquires two-dimensional image information (distance, image) having an edge through the vehicle and the load photographing. At this time, the digital camera can acquire the image information of the vehicle and the load by the method of automatic illuminance control, but in the special case, the left and the right side of the camera are installed to illuminate the image information with sharper edges. It is desirable to obtain respective image information with the lights turned on alternately.
상태 인식 제어부는 레이저 스캐너 및 디지털 카메라가 접속되는 산업용 컴퓨터로 구현되어, 디지털 카메라를 통해 획득한 다수의 2차원 이미지 정보를 합성하여 X축 길이 및 Y축 폭(길이) 정보를 구한 후에 그 합성된 이미지 정보인 X축 길이 및 Y축 폭 정보와 레이저 스캐너에서 측정한 차량 및 적재물의 X축 길이 및 Z축 높이 정보를 조합하여 3차원 정보인 차량 및 적재물의 X, Y, Z축 정보를 획득하여 상위의 물류 관리 단말기로 전송해 준다. 이때 상태 인식 제어부는 레이저 스캐너 접속을 위한 고속 링크 카드(Fast Link Card)와, 디지털 카메라 접속을 위한 프레임 그래버(Frame Grabber) 카드와, 좌/우측 조명 온/오프를 위한 디지털 I/O 카드를 구비하며, 이러한 각 카드를 제어하여 차량 및 적재물의 상태(형상, 위치, 거리 등)를 인식하고, 그 상태 인식을 통해 얻은 X, Y, Z축 정보를 상위의 물류 관리 단말기로 전송해 주는 제어 보드(CPU Board)를 구비하고 있다.The state recognition controller is implemented as an industrial computer to which a laser scanner and a digital camera are connected, and synthesizes a plurality of two-dimensional image information obtained through the digital camera to obtain X-axis length and Y-axis width (length) information, and then synthesizes the By combining the X-axis length and Y-axis width information of the image information and the X-axis length and Z-axis height information of the vehicle and the load measured by the laser scanner, the X, Y, and Z-axis information of the vehicle and the load, which are three-dimensional information, are obtained. Send to upper level logistics management terminal. At this time, the state recognition controller includes a fast link card for connecting a laser scanner, a frame grabber card for connecting a digital camera, and a digital I / O card for turning on / off the left and right lights. The control board recognizes the state of the vehicle and the load (shape, position, distance, etc.) by controlling each of these cards, and transmits the X, Y, and Z-axis information obtained through the state recognition to the upper logistics management terminal. (CPU Board) is provided.
이와 같은 구성을 갖는 차량 및 적재물의 자동 인식 시스템의 동작을 물류 입고시를 기준으로 첨부한 도면 도 3을 참조하여 설명하면 다음과 같다.The operation of the automatic recognition system of the vehicle and the load having such a configuration will be described with reference to FIG.
먼저, 차량 및 적재물의 자동 인식을 위해서는 차량용 트레일러가 진입하는 물류 창고의 입구 및 물류 창고 내의 적재물 안치용 파렛트 보관 장소의 상단에 적어도 하나의 레이저 스캐너와 디지털 카메라를 각각 설치하고, 보다 바람직하게는 디지털 카메라의 좌/우측에 조명을 설치하여야 하며, 그 다음에 상태 인식 제어부와 상위의 물류 관리 단말기로 각각 신호 연결을 하여야 하는데, 이때 차량의 위치 및 크기와 적재물의 적재 방향 및 배열에 따 각 장비의 설치 위치 및 수량을 결정하여 설치하는 것이 바람직하다.First, at least one laser scanner and a digital camera are respectively installed at the entrance of the warehouse to which the vehicle trailer enters and at the top of the pallet storage place in the warehouse for automatic recognition of the vehicle and the load, and more preferably the digital camera. The lighting should be installed on the left and right sides of the vehicle, and then signal connection should be made to the state recognition control unit and the upper logistics management terminal.In this case, the equipment is installed according to the position and size of the vehicle and the loading direction and arrangement of the loads. It is desirable to determine and install the location and quantity.
이렇게 하여 시스템이 구현되어 초기화된 상태에서(스텝 S31), 상위의 물류 관리 단말기로부터 상태 인식 제어부로 차량 및 적재물 형상 인식 명령이 전달되면(스텝 S32), 상태 인식 제어부는 레이저 스캐너를 제어하여 차량 및 적재물의 길이(위치) 및 높이를 측정하게 된다.In this way, when the system is implemented and initialized (step S31), when a vehicle and load shape recognition command is transmitted from the upper logistics management terminal to the state recognition control unit (step S32), the state recognition control unit controls the laser scanner to The length (position) and height of the load will be measured.
즉, 각 레이저 스캐너는 첨부한 도면 도 4에 예시한 바와 같이 상태 인식 제어부의 제어에 따라 일정 간격(예컨대, 0.25°간격)으로 측정 각도를 회전시키면서 차량 및 적재물을 스캔한 후에 삼각함수를 이용하여 차량 및 적재물의 X축 길이(위치) 및 Z축 높이를 측정하게 되는데, 이때 X축 길이(
그리고, 앞에서 측정된 X축 길이(위치) 및 Z축 높이 값을 그래프로 그려보면 첨부한 도면 도 5에 도시한 바와 같고, 이와 같이 X축 길이 및 Z축 높이 값을 이용하여 차량 및 적재물 각각의 위치와 높이를 알 수 있으며, 해당되는 레이저 스캐너를 이용하여 전술한 X축 길이 및 Z축 높이 값을 반복 측정 및 수집하여 필터링하면 레이저 스캐너 오차 범위(±10mm) 내의 정확한 X축 길이 및 Z축 높이 값을 구할 수 있게 되고, 이를 통해 차량 및 적재물 각각의 보다 정확한 위치와 높이를 알 수 있게 된다.In addition, when the X-axis length (position) and Z-axis height values measured before are plotted as shown in FIG. 5, the X-axis length and the Z-axis height values are used as described above. The position and height can be determined, and the X-axis length and Z-axis height values described above are repeatedly measured, collected, and filtered using a corresponding laser scanner, so that the correct X-axis length and Z-axis height within the laser scanner error range (± 10 mm) can be obtained. A value can be obtained, which allows for a more accurate position and height of each vehicle and load.
이때, 상태 인식 제어부는 앞에서 측정된 X0의 위치로부터 Xn의 위치까지 각각의 높이 값을 찾음으로써 그 높이 값의 차이로 차량 트레일러의 헤드(Head) 및 테일(Tail) 위치(A, E)와 적재물의 최고(top) 위치(B, C, D)를 구할 수 있게 되는데, 이 경우 레이저 스캐너의 회전 각도 차이(예컨대, 0.25°)로 인하여 각 부분의 X축 위치는 약간의 오차를 갖게 된다. 예를 들어, 창고 지면에서 레이저 스캐너까지의 높이가 13,750mm이고, 차량의 트레일러 높이가 1,125mm이고, 레이저 스캔 영역의 높이(피사체와의 거리)가 12,625mm라고 가정할 때, X축 측정 간격은 'sin(회전 각도) * 스캔 영역 높이 = sin0.25 * 12625mm'가 되고, 따라서 X축 위치의 오차 범위는 '±5.08mm'가 된다.At this time, the state recognition control unit finds each height value from the previously measured position of X 0 to the position of X n , and thus, the head and tail positions (A, E) of the vehicle trailer with the difference in the height values. And the top positions (B, C, D) of the load can be found, where the X-axis position of each part will have a slight error due to the difference in the angle of rotation of the laser scanner (eg 0.25 °). . For example, assuming that the height of the warehouse to the laser scanner is 13,750 mm, the vehicle's trailer is 1,125 mm, and the height of the laser scan area (distance from the subject) is 12,625 mm, the X-axis measurement interval is 'sin (rotation angle) * scan area height = sin0.25 * 12625mm', so the error range of the X-axis position is '± 5.08mm'.
이에, 상태 인식 제어부는 앞에서 구한 X축 길이 및 Z축 높이 값을 기반으로 한 이미지 프로세싱을 통해 차량 및 적재물의 정확한 X축 위치와 Y축 폭 값을 구하게 되는데, 이를 위해 상태 인식 제어부는 디지털 카메라를 제어하여 차량 및 적재물에 대한 에지를 가진 좌/우측 2차원 이미지 정보를 획득하게 된다.Accordingly, the state recognition control unit obtains an accurate X axis position and Y axis width value of the vehicle and the load through image processing based on the X axis length and Z axis height values obtained above. Control to obtain left and right two-dimensional image information having an edge for the vehicle and the load.
즉, 디지털 카메라는 상태 인식 제어부의 제어에 따라 자동 조도 조절기를 조절하여 차량 및 적재물의 이미지 정보를 획득하거나, 첨부한 도면 도 6에 예시한 바와 같이 카메라 좌/우측에 조명을 설치된 경우 좌측 조명을 켠 상태에서 차량 및 적재물을 촬영하여 첨부한 도면 도 7의 (가)와 같은 좌측 이미지 정보를 획득하고, 우측 조명을 켠 상태에서 차량 및 적재물을 촬영하여 도 7의 (나)와 같은 우측 이미지 정보를 획득하게 된다(스텝 S34).That is, the digital camera acquires the image information of the vehicle and the load by adjusting the auto illuminance control under the control of the state recognition controller, or when the illumination is installed on the left and right sides of the camera as illustrated in FIG. Attached by photographing the vehicle and the load in the on state obtained the left image information as shown in Fig. 7 (A), and the right image information as shown in (B) of Figure 7 by photographing the vehicle and load with the right light on Is obtained (step S34).
이후, 상태 인식 제어부는 디지털 카메라를 통해 획득한 각 이미지 정보 즉, 도 7의 (가) 및 (나)와 같이 우측 및 좌측에 그림자 영역이 선명한 2개의 이미지 정보를 합성하여 도 7의 (다)와 같은 합성된 이미지 정보인 야드 맵(Yard Map)을 얻게 되며(스텝 S35), 이렇게 얻은 합성된 이미지 정보와 앞에서 구한 X축 길이 및 Z축 높이 값을 기반으로 이미지 프로세싱을 수행하게 된다(스텝 S36).Subsequently, the state recognition control unit synthesizes two pieces of image information acquired through a digital camera, that is, two pieces of image information of which shadow areas are sharp on the right and left sides as shown in FIGS. 7A and 7B. A Yard Map, which is synthesized image information, is obtained (step S35), and image processing is performed based on the obtained synthesized image information and the X-axis length and Z-axis height values obtained above (step S36). ).
즉, 상태 인식 제어부는 합성된 이미지 정보인 야드 맵을 기준으로 첨부한 도면 도 8에 도시한 바와 같이 디지털 카메라의 위치 절대좌표(x,y)와, 제1레이저 스캐너의 절대좌표(x,y'), 제2레이저 스캐너의 절대좌표(x,y")를 설정하게 된다.That is, as shown in FIG. 8, the state recognition control unit, based on the yard map that is the synthesized image information, has a position absolute coordinate (x, y) of the digital camera and an absolute coordinate (x, y) of the first laser scanner. '), Sets the absolute coordinates (x, y ") of the second laser scanner.
그리고, 각 레이저 스캐너에 의해 y', y" 선상에서 스캔하여 구한 차량 트레일러의 전후측 에지부(즉, 헤드 및 테일 위치)와 적재물의 최고 위치의 X축 좌표 및 Z축 높이를 각각 측정하게 되는데, 이때 측정 오차는 트레일러 길이에 대한 카메라 해상도에 의해 결정된다. 예를 들어, 트레일러 길이가 8,000mm 이고, 카메라 해상도가 1,300 픽셀인 경우 픽셀당 길이는 '8,000mm/1,300 픽셀'로서 약 6.15mm가 되고, 따라서 측정 오차 범위는 '±6.15mm'가 된다.In addition, the front and rear edges (ie, head and tail positions) of the vehicle trailer and the highest position of the load, which are obtained by scanning each laser scanner on the line y 'and y ", are measured, respectively. In this case, the measurement error is determined by the camera resolution with respect to the trailer length, for example, when the trailer length is 8,000mm and the camera resolution is 1,300 pixels, the length per pixel is '8,000mm / 1,300 pixels', which is about 6.15mm. Therefore, the measurement error range is '± 6.15mm'.
이에, 상태 인식 제어부는 레이저 스캐너에 의해 측정된 X축 ±56mm 내의 위치 좌표를 적재물 센터 위치로 가정하여 획득한 이미지에 조합한 후, 이미지 에지 검출 프로세싱에 의해 아래의 수학식 1에 따라 적재물의 정확한 센터 좌표(X,Y)를 구하게 되며, 이후에 앞에서 구한 차량 및 적재물의 상태 정보(형상, 위치, 거리 등)인 X, Y, Z축 정보를 상위의 물류 관리 단말기로 전송해 줌으로써(스텝 S37), 물류 입고시를 기준으로 한 차량 및 적재물의 자동 인식 동작을 종료하게 된다.Thus, the state recognition control unit combines the position coordinates within the X-axis ± 56 mm measured by the laser scanner to the image obtained assuming the load center position, and then performs image edge detection processing to correct the load according to
한편으로, 물류 출고시를 기준으로 한 차량 및 적재물의 자동 인식 동작을 설명하면, 먼저 적재물이 안치되는 파렛트 상차 위치 측정을 위해서는 첨부한 도면 도 9에 예시한 바와 같이 1대의 레이저 스캐너와 2대의 디지털 카메라를 필요로 하며, 이때의 처리 방식은 상술한 물류 입고시의 측정 방식과 동일하다.On the other hand, when the automatic recognition operation of the vehicle and the load on the basis of the logistics factory will be described, first to measure the position of the pallet loading vehicle where the load is placed, as shown in Figure 9 attached to one laser scanner and two digital A camera is required, and the processing method at this time is the same as the measuring method at the time of receiving the logistics.
즉, 상위의 물류 관리 단말기로부터 상태 인식 제어부에 적재물이 안치되는 파렛트 도착 정보가 전달되며, 상태 인식 제어부는 중앙의 레이저 스캐너를 작동시켜 해당되는 파렛트의 X축 길이와 Z축 높이를 측정하게 된다.That is, the pallet arrival information in which the load is placed is transferred from the upper logistics management terminal to the state recognition controller, and the state recognition controller operates the center laser scanner to measure the X axis length and the Z axis height of the corresponding pallet.
이때, 레이저 스캐너는 상태 인식 제어부의 제어에 따라 일정 간격(예컨대, 0.25°간격)으로 측정 각도를 회전시키면서 파렛트에 적재할 제품을 스캔한 후에 삼각함수를 이용하여 해당되는 적재물의 X축 길이 및 Z축 높이를 측정하게 되는데, 이때 X축 길이(
그리고, 파렛트 상부의 적재물 상차 위치를 검출하기 위해서 레이저 스캐너를 제어하여 파렛트 및 그 파렛트 상부에 고정되어 있는 스토퍼(Stopper)의 X축 위치 및 Z축 높이를 측정하게 되며, 이렇게 측정된 파렛트 및 스토퍼의 X축 위치 및 Z축 높이 값을 그래프로 그려보면 첨부한 도면 도 10에 도시한 바와 같다.In addition, the laser scanner is controlled to detect the loading position of the upper part of the pallet to measure the X-axis position and the Z-axis height of the pallet and the stopper fixed to the upper part of the pallet. An X-axis position and a Z-axis height value are plotted as shown in FIG. 10.
이후, 상태 인식 제어부는 앞에서 측정된 X0의 위치로부터 Xn의 위치까지 각각의 높이 값을 찾음으로써 그 높이 값의 차이로 파렛트의 헤드 및 테일 위치(A, H)와 각 스토퍼의 위치(B, C, D, E, F, G)를 구하게 되며, 앞에서 측정된 Z축 높이로 픽셀당 X축 길이 값을 계산하여 좌/우측 디지털 카메라에 의해 획득한 첨부한 도면 도 11과 같은 이미지 영상을 분석함으로써, 해당되는 파렛트 폭과 정확한 Y축 중심을 검출하여 파렛트 쏠림 정도를 측정하게 된다.Then, the state recognition control unit finds each height value from the previously measured position of X 0 to the position of X n , so that the head and tail positions (A, H) of the pallet and the position (B) of the stopper are different from the height values. , C, D, E, F, and G), and the X-axis length value per pixel is calculated by using the Z-axis height measured before. By analyzing the corresponding pallet width and the exact center of the Y axis, the degree of pallet deflection is measured.
또한, 각 스토퍼의 길이 방향 중심은 좌/우측 디지털 카메라를 통해 획득한 이미지를 합성한 이미지 정보에 대한 에지 검출 알고리즘과 레이저 스캐너의 2차원 이미지 정보를 조합하여 보다 정확한 3차원의 X, Y, Z축 정보를 구하게 된다.In addition, the longitudinal center of each stopper is a more accurate three-dimensional X, Y, Z by combining the two-dimensional image information of the laser scanner and the edge detection algorithm for the image information synthesized from the left and right digital camera Get the axis information.
따라서, 본 발명에서는 적어도 하나의 레이저 스캐너와 디지털 카메라를 이용하여 차량 및 적재물의 상태를 보다 폭넓고 정확하게 검출 및 인식할 수 있게 되고, 조명을 이용함으로써 주위 환경 변화에도 정확한 인식이 가능하여 안전성이 보장된 가운데 물류 입/출고 무인 시스템의 구축이 가능해 진다.Accordingly, in the present invention, at least one laser scanner and a digital camera can be used to detect and recognize a vehicle and a load more broadly and accurately, and by using illumination, it is possible to accurately recognize a change in the surrounding environment and ensure safety. In the meantime, it is possible to build an unmanned logistics system.
나아가, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.In addition, the embodiment according to the present invention is not limited to the above-described embodiments, and various alternatives, modifications, and changes can be made within the scope apparent to those skilled in the art.
이상과 같이, 본 발명은 레이저 스캐너 및 디지털 카메라를 이용한 차량 및 적재물의 자동 인식 시스템 및 방법을 구현함으로써, 어떠한 상황에서도 측정하고자 하는 대상체인 차량 및 적재물의 상태를 보다 정확하게 인식할 수 있게 된다.As described above, the present invention implements a system and method for automatically recognizing a vehicle and a load using a laser scanner and a digital camera, thereby enabling a more accurate recognition of a state of a vehicle and a load, which is an object to be measured under any circumstances.
또한, 본 발명은 차량 및 적재물의 상태를 정확하게 인식할 수 있게 됨에 따라 안전성이 보장된 입/출고 무인 자동화 시스템의 구축이 가능해지며, 나아가 체계적이고 효율적이면서 적은 원가의 물류 관리 시스템을 구현할 수 있게 된다.In addition, the present invention can accurately recognize the state of the vehicle and the load, it is possible to build a safe automated entry / exit automated system, it is possible to implement a systematic, efficient and low cost logistics management system .
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030092404A KR100564522B1 (en) | 2003-12-17 | 2003-12-17 | System And Method For Automatic Recognition Of Vehicle And Loading Goods |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030092404A KR100564522B1 (en) | 2003-12-17 | 2003-12-17 | System And Method For Automatic Recognition Of Vehicle And Loading Goods |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20050060704A KR20050060704A (en) | 2005-06-22 |
| KR100564522B1 true KR100564522B1 (en) | 2006-03-29 |
Family
ID=37253384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030092404A KR100564522B1 (en) | 2003-12-17 | 2003-12-17 | System And Method For Automatic Recognition Of Vehicle And Loading Goods |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100564522B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878267B2 (en) | 2018-06-27 | 2020-12-29 | Hyundai Motor Company | Identification code recognition system and method |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100649888B1 (en) * | 2005-11-02 | 2006-11-27 | 미래산전 주식회사 | Automation system of container terminal gate and automation method thereof |
| KR100730899B1 (en) * | 2005-11-19 | 2007-06-21 | (주)새텍 | The method and device which searching the loading point for the non-fixed vehicle |
| DE102007035284A1 (en) * | 2006-11-16 | 2008-08-07 | Siemens Ag | Object e.g. panel, actual stock determining method for e.g. factory, involves comparing stack height with stack reference height and outputting error message, where allowable limit is smaller than repetition accuracy |
| KR100978148B1 (en) * | 2008-11-24 | 2010-08-25 | 주식회사 지팬스 | System for 3d plane image pick up of container |
| US9323967B2 (en) | 2012-06-22 | 2016-04-26 | Daegu Gyeongbuk Institute Of Science And Technology | Method and system of pallet packing, and method for providing data of pallet packing |
| KR101530423B1 (en) * | 2012-06-22 | 2015-06-22 | 재단법인대구경북과학기술원 | Method and System of pallet packing, and method for providing the data of pallet packing |
| CN106934330B (en) * | 2015-12-31 | 2020-07-31 | 杭州海康威视***技术有限公司 | Logistics information acquisition method, platform and system and image acquisition equipment |
-
2003
- 2003-12-17 KR KR1020030092404A patent/KR100564522B1/en active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878267B2 (en) | 2018-06-27 | 2020-12-29 | Hyundai Motor Company | Identification code recognition system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20050060704A (en) | 2005-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9880269B2 (en) | Apparatus and methods for dimensioning an object carried by a vehicle moving in a field of measurement | |
| EP2439487B1 (en) | Volume measuring device for mobile objects | |
| AU2016243617B2 (en) | Imager for detecting visual light and infrared projected patterns | |
| US6952488B2 (en) | System and method for object localization | |
| DE102019130046A1 (en) | A ROBOT SYSTEM WITH IMPROVED SCAN MECHANISM | |
| KR101095579B1 (en) | A method for positioning and orienting of a pallet based on monocular vision | |
| EP3347672B1 (en) | An apparatus for the determination of the features of at least a moving load | |
| US7932485B2 (en) | Method and apparatus for the dynamic generation and transmission of geometrical data | |
| CN109641729B (en) | Detection of a locking device | |
| KR100564522B1 (en) | System And Method For Automatic Recognition Of Vehicle And Loading Goods | |
| CN111483914B (en) | Hanger attitude identification method, device, equipment and storage medium | |
| CN107055331A (en) | Container guides system to case | |
| KR101059927B1 (en) | Apparatus and method for pallet position recognition of unmanned conveying equipment | |
| CN113776533A (en) | Repositioning method and device for movable equipment | |
| JP2012137304A (en) | Automatic measurement device for goods distribution system | |
| KR101089265B1 (en) | Container docking system, container crane, and container docking method | |
| US20210382496A1 (en) | Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program | |
| CN113409282A (en) | Deformation detection method and device for box-type structure, electronic equipment and storage medium | |
| US20130088591A1 (en) | Method and arrangement for positioning of an object in a warehouse | |
| KR20110069205A (en) | Apparatus for estimating position and distance of container in container landing system and method thereof | |
| CN212302516U (en) | Container identification system based on space scanning | |
| CN116243335A (en) | Goods toppling early warning system based on multiple vision sensors | |
| CN109443201A (en) | A kind of pallet recognition methods based on S300 scanning laser sensor | |
| Bostelman et al. | Visualization of pallets | |
| Jiang et al. | Target object identification and localization in mobile manipulations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130215 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20140228 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20150303 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20160303 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20170303 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20180302 Year of fee payment: 13 |