KR100257335B1 - Distance detecting method for stereo vision system - Google Patents
Distance detecting method for stereo vision system Download PDFInfo
- Publication number
- KR100257335B1 KR100257335B1 KR1019950001788A KR19950001788A KR100257335B1 KR 100257335 B1 KR100257335 B1 KR 100257335B1 KR 1019950001788 A KR1019950001788 A KR 1019950001788A KR 19950001788 A KR19950001788 A KR 19950001788A KR 100257335 B1 KR100257335 B1 KR 100257335B1
- Authority
- KR
- South Korea
- Prior art keywords
- stereo
- neural network
- distance information
- image
- image data
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
제1도는 본 발명이 적용되는 스테레오 시각시스템의 구성을 나타낸 블럭도.1 is a block diagram showing the configuration of a stereo vision system to which the present invention is applied.
제2도는 제1도의 스테레오 신경망에서 Vn공간층의 뉴런연결상태를 나타낸 도면으로, 제2a도는 제1층이고, 제2b도는 제2층, 제2c도는 제3층이며, 제2d도는 제4층이다.FIG. 2 is a diagram illustrating neuron connection state of the V n spatial layer in the stereo neural network of FIG. 1, FIG. 2A is a first layer, FIG. 2B is a second layer, FIG. 2C is a third layer, and FIG. 2D is a fourth layer. Layer.
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
11,12 : 비디오카메라 13 : 디지타이저11,12: Video camera 13: Digitizer
14 : 웨이브릿변환부 15 : 스테레오 신경망14: wavelet transform unit 15: stereo neural network
16 : 거리정보 검출부 21~25 : 노드16: distance information detector 21 ~ 25: node
본 발명은 전방차량 및 장해물의 거리를 감지하는 스테레오 시각시스템에 관한 것으로, 특히 신경망(Neural Network)을 이용하여 인간의 두눈과 같이 2개의 각각 다른 정도로 시프트된 영상을 하나의 영상으로 만들도록한 스테레오 시각시스템 및 그의 거리감지방법에 관한 것이다.The present invention relates to a stereo vision system for sensing the distance of a front vehicle and an obstacle, and in particular, a stereo stereo image which is made of two differently shifted images such as human eyes using a neural network. A visual system and a distance sensing method thereof.
최근 주행차량의 충돌방지를 위하여 전방차량 및 장해물의 거리를 감지할 수 있는 스테레오 시각시스템(Stereo Vision System)이 연구되고 있다. 이러한 스테레오 시각시스템은 투시변환(Perspective Transform)에 의해 3차원 공간을 2차원 공간으로 매핑하는 비디오카메라를 2대 이용하며, 비디오카메라의 기하학적인 배치로부터 3차원 정보를 복구(Reconstruct)하게 된다.Recently, a stereo vision system (Stereo Vision System) capable of detecting a distance of a front vehicle and an obstacle for a collision prevention of a driving vehicle has been studied. The stereo vision system uses two video cameras that map three-dimensional space to two-dimensional space by perspective transform, and reconstructs three-dimensional information from the geometric arrangement of the video camera.
이와 같은 방법으로 거리정보를 구하는 종래기술이 미국특허 5173946호에 기재되어 있다. 이 미국특허에서는 2개의 카메라를 이용하여 좌측영상(Left image)데이타와 우측영상(Right image)데이타를 각각 얻는다. 이렇게 얻은 2개의 영상데이타에 대해 각각 윤곽선검출작업(Edge Operation)을 하고, 여기서 서로 매칭되는 코너포인트 (Corner point)를 찾음에 의해 거리 정보(Disparity Map)를 구하고 있다.A conventional technique for obtaining distance information in this manner is described in US Pat. No. 51,73,946. In this US patent, left and right image data are obtained using two cameras, respectively. The edge operation is performed on each of the two image data thus obtained, and distance information is obtained by finding corner points matching each other.
그러나 이러한 방법에 의하면 윤곽선이 검출된 부분에만 3차원 정보를 얻을 수 있으며, 또한 윤곽선 검출효율에 따라 시스템효율이 달라진다는 문제점이 있었다. 아울러 인간의 두눈과 같이 2개의 영상이 입체로 보이면서 하나의 영상으로 보이는 퓨젼(Fusion)메카니즘을 이용할 수도 없었다.However, according to this method, three-dimensional information can be obtained only in the portion where the contour is detected, and there is a problem that the system efficiency varies according to the contour detection efficiency. In addition, it was not possible to use the fusion mechanism that shows two images in three dimensions as human eyes.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 전방차량 및 장해물의 거리를 감지하여 주행차량의 충돌을 방지 또는 회피할 수 있도록 한 스테레오 시각시스템 및 그의 거리감지방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the conventional problems as described above, and an object of the present invention is to provide a stereo vision system and a distance sensing method thereof to detect the distance of the front vehicle and the obstacle to prevent or avoid collision of the traveling vehicle. To provide.
본 발명의 다른 목적은 신경망을 사용하여 2개의 각각 다른 정도로 시프트된 영상을 인간의 두눈과 같이 시프트되지 않은 하나의 영상으로 만들면서 입체(거리)를 감지하도록 한 스테레오 시각시스템 및 그의 거리감지방법을 제공하는데 있다.It is another object of the present invention to provide a stereo vision system and a distance sensing method for sensing stereoscopic distance by making two differently shifted images into one unshifted image like the human eyes using neural networks. To provide.
상기와 같은 목적들을 달성하기 위한 본 발명의 스테레오 시각시스템은 좌측 및 우측영상데이타에 대해 B-스플라인 웨이브릿변환을 실시하는 웨이브릿변환부를 구비한다. 웨이브릿 변환과정에서 얻어진 계수들은 스테레오 신경망으로 입력되고, 여기서 퓨젼처리되어 스테레오영상을 하나의 영상으로 만들게 된다. 스테레오 신경망의 출력단에 연결된 거리정보 검출부는 퓨젼과정에서 얻어진 가중치를 정해진 수식에 대입하여 3차원 거리정보를 구한다.The stereo vision system of the present invention for achieving the above objects is provided with a wavelet transform unit for performing the B-spline wavelet transform on the left and right image data. The coefficients obtained during the wavelet transformation are input to a stereo neural network, and are fused to make a stereo image into a single image. The distance information detector connected to the output of the stereo neural network obtains 3D distance information by substituting a weight obtained in the fusion process into a predetermined equation.
또한 상기와 같은 목적들을 달성하기 위한 본 발명의 스테레오 시각시스템의 거리감지방법은 좌측 및 우측영상데이타에 대해 B-스플라인 웨이브릿변환을 실시하는 단계와, 웨이브릿 변환단계에서 얻어진 계수들을 신경망을 이용해 스테레오영상을 하나의 영상으로 만드는 퓨전처리단계와, 퓨젼단계에서 얻어진 가중치를 정해진 수식에 대입하여 3차원 거리정보를 계산하는 단계로 이루어진다.In addition, the distance detection method of the stereo vision system of the present invention for achieving the above objects is performed by performing a B-spline wavelet transform on the left and right image data, and using the neural network coefficients obtained in the wavelet transform step A fusion processing step of making a stereo image into one image, and calculating the three-dimensional distance information by substituting the weight obtained in the fusion step into a predetermined equation.
이하, 첨부된 제1도 및 제2도를 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to FIGS. 1 and 2.
제1도는 본 발명이 적용되는 스테레오 시각시스템의 구성을 나타낸 블럭도이다. 제1도에서 부호 11,12는 투시변환에 의해 3차원 공간을 2차원 공간으로 매핑하는 비디오카메라로서, 제1카메라(11)에 의해 좌측영상데이타를 얻고 제2카메라(12)에 의해 우측영상데이타를 얻는다. 이렇게 얻은 2개의 영상데이타는 디지타이저(Digitizer; 13)로 입력되고, 디지타이저(13)는 입력된 영상정보를 읽어 컴퓨터시스템의 화면기억장소로 전달하게 된다.1 is a block diagram showing the configuration of a stereo vision system to which the present invention is applied. In FIG. 1, reference numerals 11 and 12 denote video cameras for mapping a three-dimensional space into a two-dimensional space by perspective transformation. The left image data is obtained by the first camera 11 and the right image by the second camera 12. Get the data. The two image data thus obtained are input to a digitizer 13, and the digitizer 13 reads the input image information and transfers the image information to a screen storage location of a computer system.
디지타이저(13)의 출력단에 연결된 웨이브릿(Wavelet)변환부(14)는 입력된 좌측 및 우측영상데이타에 대해 B-스플라인(Spline) 웨이브릿변환을 실시하고, 여기서 얻어진 변환계수들은 스테레오 신경망(15)으로 입력된다. 스테레오 신경망(15)은 뉴런에 대응하는 노드들을 화살표로 연결한 방향성 그래프형태로서, 상기 변환계수들을 입력받아 신경망동작을 유발한 후 퓨젼 처리된 영상데이타를 출력한다. 스테레오 신경망(15)의 출력단에 연결된 거리정보 검출부(16)는 퓨젼과정에서 얻어진 가중치 (Weight)를 정해진 수식에 대입하여 3차원 거리정보를 구한다.The wavelet transform unit 14 connected to the output terminal of the digitizer 13 performs B-spline wavelet transform on the input left and right image data. ) Is entered. The stereo neural network 15 is a directional graph in which nodes corresponding to neurons are connected by an arrow. The stereo neural network 15 receives the transformation coefficients, induces neural network operation, and outputs fusion processed image data. The distance information detector 16 connected to the output terminal of the stereo neural network 15 obtains 3D distance information by substituting a weight obtained in the fusion process into a predetermined equation.
상기와 같이 구성된 스테레오 시각시스템의 동작 및 본 발명의 거리감지방법을 제2도의 신경망을 참조하여 설명한다.The operation of the stereo vision system constructed as described above and the distance sensing method of the present invention will be described with reference to the neural network of FIG.
제1카메라(11)에서 출력된 좌측영상데이타와 제2카메라(12)에서 출력된 우측영상데이타는 디지타이저(13)를 통해 컴퓨터시스템으로 입력된다. 컴퓨터시스템에서는 영상을 퓨전처리하기 전에 입력된 2개의 영상데이타에 대해 웨이브릿변환을 실시한다. 특히, 다분해능(Multi Resolution)특성이 있는 B-스플라인 웨이브릿변환을 실시한다. 변환시 얻어진 계수들을 신경망에 입력하여 퓨젼처리를 하고, 퓨젼과정에서 3차원 거리정보도 함께 얻어진다.The left image data output from the first camera 11 and the right image data output from the second camera 12 are input to the computer system through the digitizer 13. The computer system performs wavelet transform on the two input image data before fusion processing the image. In particular, a B-spline wavelet transform having a multi-resolution characteristic is performed. The coefficients obtained during the transformation are input to the neural network for fusion processing, and three-dimensional distance information is also obtained during the fusion process.
제1도의 웨이브릿변환부(14)에서 행해지는 변환에 대해 설명한다. 웨이브릿변환은 Vj공간에 있는 신호를 2개의 부공간(Subspace; Vj-1, Wj-1)으로 투영(Projection)하는 것으로, 여기서 2개의 공간, 즉 Vj-1과 Wj-1은 상보형 (Complementary) 공간이다. Vj-1공간의 스케일링 베이스함수(Scaling Basis Function)φ(t)는 다음과 같은 5개의 특성이 있다.The conversion performed by the wavelet transform unit 14 in FIG. 1 will be described. The wavelet transform projects a signal in the V j space into two subspaces (V j-1 , W j-1 ), where two spaces, V j-1 and W j- 1 is the complementary space. Scaling Basis Function φ (t) in V j-1 space has five characteristics as follows.
여기서, L2는 2차원 공간을 의미하며,는 상기와 같은 특성을 갖는 스케일링 베이스함수의 확장(Dilation)과 이동(Translation)에 의해서 근사화가 가능하므로 아래의 식으로 나타낼 수 있다.Here, L 2 means a two-dimensional space, Since the approximation is possible by dilation and translation of the scaling base function having the above characteristics, it can be expressed by the following equation.
그러므로 웨이브릿변환은 Vj공간에 있는를 Vj-1과 Wj-1의 부공간으로 분해(Decomposition)한다. 이를 식으로 나타내면 아래와 같다.Therefore, the wavelet transform is in V j space Decompose into the subspaces of V j-1 and W j-1 . This is expressed as follows.
여기서, ψ(x)는 웨이브릿 베이스함수이다. 상기 웨이브릿 변환과정에서 얻어진 변환계수들은 스테레오 신경망(15)으로 입력되고, 여기서 좌우로 약간씩 시프트된 2개의 영상이 퓨젼처리되어 하나의 영상으로 만들어진다.Where ψ (x) is the wavelet base function. The conversion coefficients obtained in the wavelet transformation process are input to the stereo neural network 15, where two images which are slightly shifted from side to side are fused to form one image.
제2도는 상기 스테레오 신경망(15)에서 Vj공간층의 뉴런연결상태를 나타낸 것으로, 각 신호공간마다 각각 4개의 층(Layer)을 갖는다. 제2도의 제2도a는 제1층을 나타낸 것으로, 뉴런(신경세포)에 대응하는 노드(21)(22)가 있고, 노드(21)(22)를 연결하는 현에는 가중치가 부여된다. 각 노드의 동작은 입력현으로 연결된 다른 노드와 그 현에 부과된 가중치에 따른다. 제1층에서 행해지는 계산식은 다음과 같다.2 is a diagram illustrating neuron connection states of the V j spatial layers in the stereo neural network 15, each having four layers in each signal space. FIG. 2A of FIG. 2 shows the first layer, where nodes 21 and 22 corresponding to neurons (nerve cells) are present, and the strings connecting the nodes 21 and 22 are weighted. Is given. The operation of each node depends on the other node connected to the input string and the weight imposed on that string. The calculation performed in the first layer is as follows.
여기서,는 Vj+1공간에 있는 신호를 Vj공간에 투영할때의 웨이브릿변환계수로서, 1은 좌측영상을, r은 우측영상을 각각 의미하며, j는 j번째 뉴런에 위치한 계수이다. 제1층의 입력값은 2개의 스테레오영상을 각각 웨이브릿변환한 값이며, 제1층의 출력값은 제4층으로 피드백된다.here, Is the wavelet transform coefficient when the signal in the V j + 1 space is projected in the V j space, where 1 is the left image, r is the right image, and j is the coefficient located in the j-th neuron. Input value of the first layer Is a value obtained by wavelet transforming two stereo images, respectively, and the output value of the first layer. Is fed back to the fourth layer.
제2도b는 제2층을 나타낸 것으로, 출력노드(23)는 제3층의 출력값을 입력값으로 하고 아래와 같은 식에 의거하여 계산한 결과를 출력한다.2B shows the second layer, and the output node 23 shows the output value of the third layer. Input value And calculate the result based on the following formula.
여기서, loc(rij)=i로 정의되고, 제2층의 출력값에 따라 제1층의 가중치가 변화된다.Where loc (r ij ) = i and the output value of the second layer Weight of the first layer according to Is changed.
여기서, Nj은 Vj공간에서의 뉴런의 수이다.Where N j is the number of neurons in the V j space.
제2c도는 제3층을 나타낸 것으로, 출력노드(24)는 제4층의 출력값을 입력값으로 하고 아래와 같은 식에 의거하여 계산한 결과를 출력한다.2c shows the third layer, and the output node 24 shows the output value of the fourth layer. Input value Calculated based on the following formula Outputs
여기서, ft는 쓰레시홀드 로직함수이다.Where f t is the threshold logic function.
제2d도는 제4층을 나타낸 것으로, 출력노드(25)는 피드백된 제1층의 출력값을 입력받아 아래와 같은 식에 의거하여 계산한 결과를 출력한다.2d illustrates a fourth layer, and the output node 25 outputs the output value of the first layer fed back. After inputting the result of the calculation based on the following formula Outputs
여기서,은 제4층의 입력값이고, Gmax는 영상에서 그레이(Gray) 값의 최대값이며,은 상수이다. 웨이브릿 변환계수들이 제1층으로 입력되면 제1층의 출력값은 제4층으로 피드백되고, 제4층의 출력값은 제3층으로, 제3층의 출력값은 제2층으로 각각 입력된다. 제2층의 출력값에 따라 제1층의 가중치(wj)를 계속 갱신하여 전체 RMSE(Root Mean Square Error)값이 최소가 될때까지 피드백하면 퓨젼처리된 영상을 제1출력층에서 얻을 수 있다.here, Is the input value of the fourth layer, G max is the maximum value of the gray values in the image, Is a constant. When the wavelet transform coefficients are input to the first layer, the output value of the first layer is fed back to the fourth layer, the output value of the fourth layer is input to the third layer, and the output value of the third layer is input to the second layer, respectively. If the weight value w j of the first layer is continuously updated according to the output value of the second layer and fed back until the total root mean square error (RMS) is minimum, the fusion processed image may be obtained from the first output layer.
상기와 같이 동작하는 스테레오 신경망(15)에서 퓨젼처리된 영상데이타는 거리정보 검출부(16)로 인가되고, 거리정보 검출부(16)는 퓨젼과정에서 얻어진 가중치를 아래의 수식에 대입하여 3차원 거리정보(D)를 구한다. 이때 거리정보(D)는 초기 가중치값(wj)과 최종변화된 가중치값(wj')과의 차에 따라 결정되고, 아래의 수식에서 N은 영상의 크기이다.The fusion processed image data in the stereo neural network 15 operating as described above is applied to the distance information detecting unit 16, and the distance information detecting unit 16 substitutes the weight obtained in the fusion process by the following equation and 3D distance information. (D) is obtained. At this time, the distance information (D) is determined according to the difference between the initial weight value (w j ) and the last changed weight value (w j '), where N is the size of the image.
이상에서와 같이 본 발명은 신경망을 사용하여 좌우로 약간씩 시프트된 2개의 영상을 인간의 두눈과 같이 하나의 영상으로 만들면서 입체(거리)를 감지하므로 전방차량 및 장해물의 위치를 계산할 수 있어 주행차량의 충돌을 방지할 수 있는 효과가 있다.As described above, the present invention detects three-dimensional (distance) while making two images slightly shifted from side to side using neural networks as one image of human eyes, so that the position of the front vehicle and the obstacle can be calculated. There is an effect that can prevent the collision of the vehicle.
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019950001788A KR100257335B1 (en) | 1995-01-28 | 1995-01-28 | Distance detecting method for stereo vision system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019950001788A KR100257335B1 (en) | 1995-01-28 | 1995-01-28 | Distance detecting method for stereo vision system |
Publications (2)
Publication Number | Publication Date |
---|---|
KR960030059A KR960030059A (en) | 1996-08-17 |
KR100257335B1 true KR100257335B1 (en) | 2000-05-15 |
Family
ID=19407562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019950001788A KR100257335B1 (en) | 1995-01-28 | 1995-01-28 | Distance detecting method for stereo vision system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100257335B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11670087B2 (en) | 2018-09-12 | 2023-06-06 | Samsung Electronics Co., Ltd. | Training data generating method for image processing, image processing method, and devices thereof |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100335753B1 (en) * | 1999-09-22 | 2002-05-08 | 이수봉 | Vehicle Detection Method Based on Wavelet Transforms |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR900014861A (en) * | 1989-03-07 | 1990-10-25 | 시끼 모리야 | Tumbling vehicle distance measuring device |
-
1995
- 1995-01-28 KR KR1019950001788A patent/KR100257335B1/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR900014861A (en) * | 1989-03-07 | 1990-10-25 | 시끼 모리야 | Tumbling vehicle distance measuring device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11670087B2 (en) | 2018-09-12 | 2023-06-06 | Samsung Electronics Co., Ltd. | Training data generating method for image processing, image processing method, and devices thereof |
Also Published As
Publication number | Publication date |
---|---|
KR960030059A (en) | 1996-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537837B (en) | Depth information determining method and related device | |
Tistarelli et al. | On the advantages of polar and log-polar mapping for direct estimation of time-to-impact from optical flow | |
CN110992356A (en) | Target object detection method and device and computer equipment | |
CN113610889B (en) | Human body three-dimensional model acquisition method and device, intelligent terminal and storage medium | |
CN111524233B (en) | Three-dimensional reconstruction method of static scene dynamic target | |
Fua et al. | Using 3-dimensional meshes to combine image-based and geometry-based constraints | |
Burschkal et al. | Stereo-based obstacle avoidance in indoor environments with active sensor re-calibration | |
WO2021244161A1 (en) | Model generation method and apparatus based on multi-view panoramic image | |
GB2244621A (en) | Machine vision stereo matching | |
Fan et al. | Large-scale dense mapping system based on visual-inertial odometry and densely connected U-Net | |
Hung et al. | Multipass hierarchical stereo matching for generation of digital terrain models from aerial images | |
KR100257335B1 (en) | Distance detecting method for stereo vision system | |
Sadeghi et al. | Feature based dense stereo matching using dynamic programming and color | |
Gapon et al. | Depth-map inpainting using learned patch-based propagation | |
WO2022107548A1 (en) | Three-dimensional skeleton detection method and three-dimensional skeleton detection device | |
Nguyen et al. | Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras | |
Sharma et al. | Obstacle avoidance using stereo vision: A survey | |
Miao et al. | Stereo-based Terrain Parameters Estimation for Lower Limb Exoskeleton | |
Balakrishnan et al. | Stereopsis method for visually impaired to identify obstacles based on distance | |
Klappstein | Optical-flow based detection of moving objects in traffic scenes | |
JP4200165B2 (en) | Method for classifying objects with stereo cameras | |
Gaspar et al. | Ground plane obstacle detection with a stereo vision system | |
Lee et al. | An improved stereo matching algorithm with robustness to noise based on adaptive support weight | |
Dhua et al. | Triangulation based technique for efficient stereo computation in infrared images | |
Moallem et al. | Fast edge-based stereo matching algorithms through search space reduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20040302 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |