KR100929569B1 - System for providing obstacle information - Google Patents
System for providing obstacle information Download PDFInfo
- Publication number
- KR100929569B1 KR100929569B1 KR1020080084373A KR20080084373A KR100929569B1 KR 100929569 B1 KR100929569 B1 KR 100929569B1 KR 1020080084373 A KR1020080084373 A KR 1020080084373A KR 20080084373 A KR20080084373 A KR 20080084373A KR 100929569 B1 KR100929569 B1 KR 100929569B1
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- distance
- parallax map
- stereo camera
- displayed
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Acoustics & Sound (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 장애물 정보 제공 시스템에 관한 것으로서, 소정 장애물에 대한 거리와 위치 정보를 경고음으로써 제공하는 시스템에 관한 것이다.The present invention relates to a system for providing obstacle information, and more particularly, to a system for providing distance and position information on a predetermined obstacle as a warning sound.
소정 물체에 대한 거리를 인식하는 시스템은 다양하게 응용이 가능하다. 예를 들어 자동차의 주차 등을 위하여 자동차의 전면과 후면에 거리 인식 시스템을 적용할 수 있으며, 거리 측정 등에도 이용이 가능하다. 이외에도 시각 장애인들의 보행시에도 도움이 되도록 적용이 가능할 것이다.The system for recognizing the distance to a predetermined object can be variously applied. For example, a distance recognition system can be applied to the front and rear of a car for parking a car, and can be used for distance measurement. In addition, it will be possible to apply to help the visually impaired walking.
그러나, 현재의 거리 인식 시스템은 적외선, 레이져 등을 이용한 2차원적 개념이 주로 적용되고 있다. 즉, 거리를 측정하기 위해서는 거리를 측정하고자 하는 물체 또는 장애물을 조준한 후 적외선 등을 사용하여야 한다. 이와 같은 문제로 인하여 다양한 주차 환경을 갖는 자동차의 주차에 적용하는 것이 어려운 상황이며, 시각 장애인들의 보행에 적용하는 경우에도 별다른 도움이 되지 않는 실정이다.However, in the current distance recognition system, two-dimensional concepts using infrared rays, lasers, and the like are mainly applied. That is, in order to measure the distance, aim the object or obstacle to measure the distance and then use infrared rays. Due to such a problem it is difficult to apply to the parking of cars having a variety of parking environment, even when applied to the walking of the visually impaired is not very helpful.
즉, 거리 측정이 이루어지길 희망하는 소정 물체에 대한 조준 없이도 3차원 상에 존재하는 임의의 물체에 대한 거리 및 위치 정보의 제공이 이루어지지 않고 있다.That is, distance and position information for any object existing in three dimensions is not provided without aiming at a predetermined object for which the distance measurement is to be made.
본 발명은 상기와 같은 문제점을 개선하기 위하여 창출된 것으로서, 3차원적으로 일정 범위 내에 등장하는 물체 또는 장애물의 거리 및 위치 정보를 사용자에게 제공하는 것을 목적으로 한다.The present invention was created to improve the above problems, and aims to provide a user with distance and position information of an object or obstacle appearing within a predetermined range in three dimensions.
상기한 목적을 달성하기 위하여 본 발명은 스테레오 카메라; 상기 스테레오 카메라에서 촬상된 화상에 대해 시차맵을 생성하고, 상기 시차맵을 이용하여 상기 시차맵 상에 표시되는 장애물과의 거리 및 위치를 측정하는 장애물 측정부; 및 상기 측정된 거리 및 위치를 표시하는 표시부를 포함하여 이루어지는 장애물 정보 제공 시스템을 제시한다.The present invention to achieve the above object is a stereo camera; An obstacle measuring unit which generates a parallax map with respect to the image photographed by the stereo camera, and measures a distance and a position of an obstacle displayed on the parallax map using the parallax map; And a display unit for displaying the measured distance and position.
여기서, 상기 표시부는 상기 측정된 거리 및 위치에 따라 거리와 방향의 구분이 가능한 경고음을 발생시키는 경고음 발생부인 것이 바람직하며, 이 경우 상기 스테레오 카메라, 장애물 측정부 및 경고음 발생부가 탑재되는 헤드 마운트를 더 포함하는 것이 바람직하다.Here, the display unit is preferably a warning sound generating unit for generating a warning sound capable of distinguishing the distance and the direction according to the measured distance and position, in this case, the stereo camera, the obstacle measuring unit and the warning sound generating unit is further mounted head mounted It is preferable to include.
상기 장애물 측정부는 기저장되어 있는 시차맵 상에서의 명암비별 거리를 정리해놓은 테이블을 이용하여 상기 시차맵 상에 표시되는 장애물의 명암비와 비교하여 거리를 측정하는 것이 바람직하다.The obstacle measuring unit may measure the distance in comparison with the contrast ratio of the obstacle displayed on the parallax map by using a table in which distances of contrast ratios on the parallax map are stored in advance.
또한, 일정 명암비를 기준값으로 하여 상기 시차맵 상에 표시되는 장애물에 대해 근거리 또는 원거리의 구분을 수행할 수도 있다.In addition, by using a certain contrast ratio as a reference value, the obstacles displayed on the parallax map may be divided into a short distance or a long distance.
이상에서 설명된 바와 같이, 본 발명에 따른 장애물 정보 제공 시스템은 스테레오 카메라로부터 추출된 시차맵을 이용하여 장애물의 위치 및 거리를 측정함으로써, 사용자가 장애물에 대한 거리 및 위치를 용이하게 파악하고 이를 이용할 수 있도록 한다.As described above, the obstacle information providing system according to the present invention by measuring the position and distance of the obstacle using the disparity map extracted from the stereo camera, the user can easily determine the distance and position of the obstacle and use it To help.
특히, 시각장애인의 경우 물체의 위치 및 거리의 원할한 제공을 통하여 보행시에 도움을 줄 수 있다.In particular, in the case of the visually impaired, it is possible to help when walking through a smooth provision of the position and distance of the object.
이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 일실시예를 상세히 설명하도록 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 바람직한 일실시예에 따른 장애물 정보 제공 시스템을 나타낸 블럭도이다.1 is a block diagram illustrating an obstacle information providing system according to an exemplary embodiment of the present invention.
도 1을 참조하면, 본 실시예에 따른 장애물 정보 제공 시스템은 스테레오 카메라(10), 상기 스테레오 카메라에서 촬상된 화상에 대해 시차맵을 생성하고, 상기 시차맵을 이용하여 상기 시차맵 상에 표시되는 장애물과의 거리 및 위치를 측정하는 장애물 측정부(20) 및 상기 측정된 거리 및 위치를 표시하는 표시부(30)를 포함 하여 이루어져 있다.Referring to FIG. 1, the obstacle information providing system according to the present embodiment generates a parallax map for a
상기 스테레오 카메라(10)는 동시에 2장의 화상을 얻을 수 있게 한 특수카메라로서, 2개의 촬영용 렌즈를 일정 간격 띄워놓고 같은 물체를 촬영하는 방법을 사용한다. 카메라 몸통 좌우에 7cm 정도의 간격을 두고, 2개의 촬영용 렌즈를 설치하여 같은 피사체를 촬영하여 동시에 2장의 화상(畵像)을 얻을 수 있게 한 특수카메라로 입체 카메라라고도 하며, 원리는 사람이 두 눈을 통하여 물체를 입체시(立體視)하고 원근을 판단하는 것을 이용한 것으로 6.5∼7cm 정도의 기선간격(基線間隔)을 두고 같은 성능의 렌즈를 좌우에 나란히 설치한 쌍안카메라로 이루어진다. 두 렌즈는 초점조절과 노출조절, 그리고 셔터의 작동이 연동되도록 설계되어 있다.The
상기 스테레오 카메라로부터 출력되는 영상은 말그대로 스테레오 영상이 되며, 이를 이용하여 3차원 구조를 복원하기 위해서는 2007년도 한국정보 과학회 가을 학술발표논문집 Vol. 34, No. 2(C)에 수록된 "스테레오 매칭을 통한 시차맵 생성 및 홀 메우기"(이범종, 윤종현, 박종승)에 기재되어 있는 것과 같이 사전 단계로 깊이맵에 해당하는 시차맵을 생성하여야 한다. 상기 시차맵 상에서 살펴보면, 스테레오 카메라를 기준으로 가까운 장애물은 밝게 표시되고, 상기 스테레오 카메라로부터 장애물이 멀어질수록 어둡게 표시되는데, 본 실시예에서는 이러한 성질을 이용하여 장애물의 거리 정보를 추출하고자 한다.The image output from the stereo camera literally becomes a stereo image, and in order to restore the three-dimensional structure by using the same, the Korean Information Science Society Fall 2007 Vol. 34, No. The parallax map corresponding to the depth map should be generated in advance as described in "Creating and Disparaging the Disparity Map through Stereo Matching" (Bum Jong, Yoon Jong-hyun and Park Jong-seung) contained in 2 (C). Looking at the parallax map, obstacles close to the stereo camera are displayed brightly, and darker as the obstacle moves away from the stereo camera. In this embodiment, the distance information of the obstacle is extracted using this property.
상기 장애물 측정부(20)는 상기 스테레오 카메라에서 촬상된 화상, 즉 스테레오 영상을 이용하여 시차맵을 생성하는 요소이며, 또한 상기 생성된 시차맵을 통 하여 화상, 즉 상기 시차맵 상에 등장하는 장애물의 거리 및 위치를 측정하는 요소이다.The
스테레오 영상, 상기 스테레오 카메라로부터 출력되는 두개의 화상을 이용하여 시차맵을 생성하게 되면, 시차맵 상에 표시되는 장애물은 거리에 따라 명암비가 다르게 표시된다. 이를 도 2를 통하여 살펴보면, 시차맵 상에서 상기 스테레오 카메라에 가까운 물체는 흰색으로, 먼 물체는 검게 표시되며, 중간 거리의 물체는 회색으로 표시된다. 고려할 점은 촬상이 이루어진 환경이 영향을 미친다는 것이다. 즉 어두운 공간에서의 촬상인지 밝은 곳에서의 촬상인지 고려되어야 하며, 이를 위하여 명암비를 고려하는 것이 바람직하다. 상기 명암비는 일정 촬상 환경하에서 장애물이 배제된 배경과 등장하는 장애물과의 비가 되어야 할 것이다.When a parallax map is generated using a stereo image and two images output from the stereo camera, the obstacles displayed on the parallax map are displayed with different contrast ratios according to distance. Referring to FIG. 2, objects close to the stereo camera are displayed in white, distant objects are displayed in black, and objects of intermediate distance are displayed in gray on the parallax map. It is important to consider that the environment in which the image is taken is affected. In other words, it is necessary to consider whether imaging in a dark space or imaging in a bright place, it is preferable to consider the contrast ratio. The contrast ratio should be a ratio between the obstacle-free background and the obstacle that appears in a certain imaging environment.
이상에서는 거리에 따라 장애물의 명암비가 변하는 것에 대해 설명하였는데, 이를 이용한 거리 정보를 사용자에게 제공하기 위해서는 시차맵 상에서의 명암비별 거리를 미리 실험을 통하여 취득한 후 테이블의 형태로 미리 제공되는 것이 바람직할 것이다. 상기 테이블을 통하여 상기 장애물 측정부는 시차맵에 등장하는 장애물의 거리를 상기 테이블에서 상기 시차맵의 배경과 장애물의 명암비에 맞게 추출함으로써 거리 정보를 획득하게 된다. 물론, 경우에 따라서 상기 테이블은 촬상 환경에 따라 복수개가 제공될 수 있으며, 이때 적합한 테이블의 선택을 위해, 상기 촬상 환경의 광 정도를 감지할 수 있는 광 센서를 구비하거나, 상기 스테레오 카메라의 출력 영상의 분석을 통하여 감지할 수 있어야 할 것이다.In the above, the contrast ratio of the obstacle is changed according to the distance, but in order to provide the distance information using the user, it may be preferable to acquire the distance by contrast ratio on the parallax map through experiment in advance, and then provide it in the form of a table. . The obstacle measuring unit obtains distance information through the table by extracting the distance of the obstacle appearing in the parallax map according to the background of the parallax map and the contrast ratio of the obstacle. Of course, in some cases, a plurality of tables may be provided according to an imaging environment. In this case, in order to select a suitable table, the table may include an optical sensor capable of detecting a light level of the imaging environment, or an output image of the stereo camera. You should be able to detect it through the analysis.
이상에서, 시차맵을 이용한 장애물의 거리 측정에 대해서 살펴보았는데, 이 를 적용 환경에 따라 간소화시켜 적용할 수도 있다. 예를 들어, 자동차의 주차시에는 사용자가 브레이크를 밝아야 하는 장애물과의 거리와 그렇지 않은 거리만 사용자에게 인지시키면 된다. 특히, 주차시 거의 대부분 요구되는 후진 시에는 구체적인 거리 정보를 디스플레이를 통하여 제공한다고 하더라도, 백미러 또는 후면을 주시하는 사용자가 이를 매번 확인하는 것은 오히려 역효과를 발생시킬 수 있다. 따라서, 후진시에는 경고음으로서 장애물과의 거리가 가까움을 표시하는 것이 바람직할 수 있을 것이다. 이와 같은 경우 장애물과의 거리 표시는 구체적으로 나타낼 필요가 없이 차를 정지시켜야 할 근거리인지만을 사용자에게 인지시키면 충분하다.In the above, the distance measurement of the obstacle using the parallax map has been described, but this may be simplified and applied according to the application environment. For example, when parking a car, the user only needs to recognize the distance from the obstacle to which the brake should be turned on and the distance not to the user. In particular, even in the case of reversing which is almost required during parking, even if the specific distance information is provided through the display, the user who watches the rearview mirror or the rear side of the vehicle may have a reverse effect every time. Therefore, it may be desirable to indicate that the distance to the obstacle is close as a warning sound when reversing. In such a case, the distance display with the obstacle does not need to be specifically indicated, and it is sufficient to recognize the user only if it is a short distance to stop the car.
또한, 시각 장애인의 보행을 보조하기 위한 수단으로써 사용되는 경우, 보행과 상관없는 원거리의 장애물까지 경고음 등을 통해 표시한다면, 보행에 오히려 방해가 될 수 있다. 따라서, 보행에 영향을 미칠 것으로 예상되는 근거리 내에 장애물이 등장하거나, 원거리의 장애물이 근거리로 진입한 경우에만 경고음을 표시하는 것이 바람직하다.In addition, when used as a means for assisting the walk of the visually impaired, it may be rather disturbed to walk if a far obstacle not related to walking is displayed through a warning sound or the like. Therefore, it is preferable to display a warning sound only when an obstacle appears within a short distance that is expected to affect walking or when an obstacle at a distance enters a short distance.
이와 같은 경우, 상기 장애물 측정부를 통한 거리 측정은 사용자에게 영향을 미치는 근거리와, 사용자에게 영향을 미치지 않는 원거리로만 구분하는 것이 바람직할 것이다. 이를 위하여, 상기 장애물 측정부는 테이블을 갖추지 않고 기설정된 기준값을 이용하여 시차맵 상에 표시되는 장애물이 상기 기준값인 기준 명암비보다 큰 경우 근거리로 판단하고, 상기 기준 명암비보다 작은 경우 원거리로 판단하여, 사용자에게 근거리의 장애물에 대해서만 표시할 수도 있다. 또는 이와는 다르게 위에서 살펴본 바와 같이 기설정된 테이블을 통한 구체적인 거리 정보의 제공이 가능 한 상황에서 사용자의 옵션 설정이나 사용환경에 맞게 근거리, 원거리의 구분만이 가능하도록 할 수도 있다. 물론, 이 경우, 상기 기설정 테이블 내의 일정 명암비를 기준값으로 설정하여야 할 것이다.In this case, the distance measurement through the obstacle measuring unit may be divided into a short distance that affects the user and a long distance that does not affect the user. To this end, the obstacle measuring unit does not have a table and determines a short distance when an obstacle displayed on the parallax map is larger than the reference contrast ratio, which is the reference value, by using a preset reference value, and determines the distance when the obstacle is smaller than the reference contrast ratio. You can also mark only obstacles at close range. Alternatively, as described above, in the situation where specific distance information can be provided through a predetermined table, only the short distance and the long distance can be distinguished according to the user's option setting or the use environment. Of course, in this case, the predetermined contrast ratio in the preset table should be set as the reference value.
다음으로, 장애물의 위치 정보 제공에 대해서 살펴보면, 상기 장애물 측정부는 상기 시차맵을 격자화한 후, 배경과의 명암비가 다른 명암비를 갖는 연속된 필섹의 좌표를 기준 좌표축과 비교하여 위치를 판단하게 된다. 도 3을 통해 살펴보면, 세로 좌표축만을 사용하여 좌측, 중앙, 우측 세가지의 위치 정보의 제공이 가능한 상태를 나타내고 있는데, 가로 좌표축을 추가하여 좌상단, 좌하단, 위, 아래, 우상단, 우하단과 같은 세부적인 위치 정보 제공도 가능하다. 여기서 고려할 것은 도 3의 우측 하단의 근거리 장애물 A가 우측과 중앙에 동시에 걸쳐있는 것과 같이 장애물이 동시에 두개 이상의 위치에 걸쳐있는 경우의 처리이다. 이 경우, 우측 하단의 장애물 A 전체 픽셀이 동일한 명암비를 갖지는 않겠지만, 일정 범위 이내의 명암비를 갖는 연결된 픽셀이 상기 장애물 A를 형성하는 것으로 판단하고, 상기 장애물 A의 전체 픽셀 중 많은 픽셀이 배치된 위치에 상기 장애물 A가 존재하는 것으로 처리한다.Next, referring to providing the location information of the obstacle, the obstacle measuring unit determines the position by comparing the coordinates of the continuous fill section having a contrast ratio with a contrast ratio different from that of the background after gridizing the parallax map with a reference coordinate axis. . Referring to FIG. 3, there is a state in which three types of location information can be provided using only the vertical coordinate axis, and details such as the upper left, lower left, upper, lower, upper right and lower right by adding the horizontal coordinate axis. It is also possible to provide location information. Consideration here is the processing in the case where the obstacles cover two or more positions at the same time, such as the near obstacle A at the lower right of FIG. 3 simultaneously covers the right and the center. In this case, all pixels of the obstacle A in the lower right will not have the same contrast ratio, but it is determined that the connected pixels having the contrast ratio within a certain range form the obstacle A, and many pixels of all the pixels of the obstacle A are disposed. The obstacle A is present at the correct position.
다음으로, 두개 이상의 위치에 동일 장애물이 존재하고, 상기 장애물의 픽셀수가 서로 다른 위치에 동일하게 배치된 경우의 처리에 대해서는 우선순위를 두고 처리하는 것이 바람직하다. 일예로 동일 물체가 중앙과 우측의 사이 정중앙에 존재하는 경우 중앙에 위치하는 것으로 처리한다. 즉, 중앙에 보다 높은 우선 순위를 두는 것이 바람직하다.Next, when the same obstacle exists in two or more positions, and the number of pixels of the obstacle is equally arranged in different positions, it is preferable to give priority to the processing. For example, if the same object exists in the center between the center and the right side, it is treated as being located at the center. That is, it is desirable to give higher priority to the center.
상기 표시부(30)는 상기 장애물 측정부에서 측정된 장애물의 거리 및 위치를 사용자에게 표시하는 요소로서, 시각적 표시수단 또는 청각적 표시수단 모두 여기에 해당된다. 디스플레이 등을 통한 시각적 표시를 수행할 경우에는 근거리, 원거리만으로의 표시보다는 보다 세부적인 거리 및 위치를 표시하는 것이 바람직하며, 청각적 표시수단의 경우에는 근거리, 원거리, 위치의 간소한 분리(좌측, 중앙, 우측)로 나타내는 것이 바람직하다.The
후자의 경우, 상기 표시부는 상기 측정된 거리 및 위치에 따라 거리와 방향의 구분이 가능한 경고음을 발생시키는 경고음 발생부가 되며, 이 경우 상기 경고음은 음성 안내, 또는 단순한 비프음의 형태일 수 있다. 전자의 경우에는 보다 구체적인 정보의 제공이 가능하나, 청각에만 의존하는 시각 장애인의 보행을 위한 보조 수단에 적용한 경우에는 긴급상황에서의 반응이 느린 단점이 예상된다. 후자의 경우에는 음성 안내에 비하여 세부적인 정보 제공은 어려우나, 빠른 대응이 가능한 장점이 있으며, 경고음의 표시 주기, 크기 등을 변화시켜 어느 정도의 세부 정보의 제공이 가능하다. 상기 표시부를 경고음 발생부로 설정한 경우의 동작을 도 5를 통하여 살펴보면 다음과 같다. 먼저, 스테레오 카메라로부터 스테레오 영상을 취득하고(S 110), 상기 취득된 영상에서 노이즈를 제거한다(S 120). 그 후, 상기 노이즈 제거 영상을 통하여 시차맵을 생성하고(S 130), 상기 시차맵을 이용하여 상기 시차맵 상에 표시되는 장애물의 위치를 판단하고, 상기 장애물의 명암비를 기준값과 비교하여 상기 장애물을 근거리 또는 원거리로 판단하게 되며(S 140), 상기 판단된 위치 및 거리에 따라 경고음을 다르게 발생시킨다(S 150). 여기서, 상기 스테레오 카메라로부터 취득한 스테레오 영상에 대한 노이즈 제거에 대해서 앞의 설명에서는 언급하지 않고 있으나, 상기 노이즈 제거는 스테레오 카메라의 사용에 따른 종래 기술에 해당하므로, 자세한 언급은 생략한다. 또한, 장애물의 거리 및 위치에 따라 다르게 표시되는 경고음에 대해서도 본 발명에서는 상세하게 다루지 않기로 한다.In the latter case, the display unit is a warning sound generating unit for generating a warning sound that can be distinguished distance and direction according to the measured distance and position, in this case, the warning sound may be in the form of voice guidance or a simple beep sound. In the former case, it is possible to provide more specific information. However, when applied to an auxiliary means for walking a visually impaired person who relies solely on hearing, the response is expected to be slow in an emergency situation. In the latter case, it is difficult to provide detailed information as compared to the voice guidance, but there is an advantage that it can be quickly responded, and it is possible to provide some detailed information by changing the display period and size of the warning sound. An operation when the display unit is set as an alarm sound generating unit will be described with reference to FIG. 5. First, a stereo image is acquired from a stereo camera (S 110), and noise is removed from the acquired image (S 120). Thereafter, a parallax map is generated through the noise removal image (S 130), the position of the obstacle displayed on the parallax map is determined using the parallax map, and the contrast ratio of the obstacle is compared with a reference value to determine the obstacle. It is determined to be near or far (S 140), and generates a different warning sound according to the determined position and distance (S 150). Here, the noise removal of the stereo image obtained from the stereo camera is not mentioned in the above description, but since the noise removal corresponds to the prior art according to the use of the stereo camera, detailed description thereof will be omitted. In addition, the warning sound displayed differently according to the distance and position of the obstacle will not be described in detail in the present invention.
한편, 본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 예를 들어 위에서 살펴본 장애물 정보 제공 시스템을 시각 장애인의 보행을 보조하는 용도로 사용하기 위해서, 도 4와 같이 헤드 마운트(50)에 스테레오 카메라(10), 장애물 측정부(미도시), 경고음 발생부(40)를 탑재하여 착용 및 사용의 편의를 도모할 수 있다.On the other hand, while the technical spirit of the present invention has been described in detail according to the above preferred embodiment, it should be noted that the above embodiment is for the purpose of description and not for the limitation. In addition, those skilled in the art will understand that various embodiments are possible within the scope of the technical idea of the present invention. For example, in order to use the above-described obstacle information providing system for the purpose of assisting the visually impaired walking, the
상기 헤드 마운트(50)는 다양한 형태가 가능하며, 요는 스테레오 카메라, 장애물 측정부, 경고음 발생부 모두를 포함하고 있으면 된다.The
도 1은 본 발명의 바람직한 일실시예에 따른 장애물 정보 제공 시스템을 나타낸 블럭도.1 is a block diagram showing an obstacle information providing system according to an embodiment of the present invention.
도 2는 도 1의 장애물 측정부를 통한 장애물 거리 정보 제공을 위해 사용되는 시차맵을 나타낸 도면.FIG. 2 is a diagram illustrating a parallax map used for providing obstacle distance information through the obstacle measuring unit of FIG. 1. FIG.
도 3은 도 1의 장애물 측정부를 통한 장애물 위치 정보 제공을 위해 사용되는 시차맵을 나타낸 도면.3 is a diagram illustrating a parallax map used for providing obstacle location information through the obstacle measuring unit of FIG. 1.
도 4는 본 발명의 바람직한 다른 실시예에 따른 장애물 정보 제공 시스템을 나타낸 개략도.Figure 4 is a schematic diagram showing an obstacle information providing system according to another embodiment of the present invention.
도 5는 도 1의 동작 흐름 중 일예를 나타낸 흐름도.5 is a flowchart illustrating an example of an operation flow of FIG. 1.
*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *
10...스테레오 카메라 20...장애물 측정부10 ...
30...표시부 50...헤드 마운트30.Display 50.Head mount
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080084373A KR100929569B1 (en) | 2008-08-28 | 2008-08-28 | System for providing obstacle information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080084373A KR100929569B1 (en) | 2008-08-28 | 2008-08-28 | System for providing obstacle information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100929569B1 true KR100929569B1 (en) | 2009-12-03 |
Family
ID=41683771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080084373A KR100929569B1 (en) | 2008-08-28 | 2008-08-28 | System for providing obstacle information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100929569B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101285106B1 (en) | 2011-11-16 | 2013-07-17 | 재단법인대구경북과학기술원 | Obstacle detection method using image data fusion and apparatus |
| US20130229505A1 (en) * | 2011-09-29 | 2013-09-05 | Olympus Medical Systems Corp. | Endoscope |
| KR101519215B1 (en) * | 2013-09-05 | 2015-05-11 | 현대오트론 주식회사 | Driver assistance systems and controlling method for the same |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001103395A (en) | 1999-09-30 | 2001-04-13 | Kawasaki Heavy Ind Ltd | Head mount display device |
| KR100435650B1 (en) | 2001-05-25 | 2004-06-30 | 현대자동차주식회사 | Detection method of road condition in a vehicle equipped with a camera, and method for detecting distance between vehicles in the same vehicle |
| JP2004312537A (en) * | 2003-04-09 | 2004-11-04 | Fuji Heavy Ind Ltd | Visual field instrument for mobile body |
| KR20060021922A (en) * | 2006-01-26 | 2006-03-08 | 한민홍 | Two camera based obstacle detection method and device |
-
2008
- 2008-08-28 KR KR1020080084373A patent/KR100929569B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001103395A (en) | 1999-09-30 | 2001-04-13 | Kawasaki Heavy Ind Ltd | Head mount display device |
| KR100435650B1 (en) | 2001-05-25 | 2004-06-30 | 현대자동차주식회사 | Detection method of road condition in a vehicle equipped with a camera, and method for detecting distance between vehicles in the same vehicle |
| JP2004312537A (en) * | 2003-04-09 | 2004-11-04 | Fuji Heavy Ind Ltd | Visual field instrument for mobile body |
| KR20060021922A (en) * | 2006-01-26 | 2006-03-08 | 한민홍 | Two camera based obstacle detection method and device |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130229505A1 (en) * | 2011-09-29 | 2013-09-05 | Olympus Medical Systems Corp. | Endoscope |
| CN103313642A (en) * | 2011-09-29 | 2013-09-18 | 奥林巴斯医疗株式会社 | Endoscopic equipment |
| EP2641527A1 (en) * | 2011-09-29 | 2013-09-25 | Olympus Medical Systems Corp. | Endoscopic equipment |
| US8836776B2 (en) * | 2011-09-29 | 2014-09-16 | Olympus Medical Systems Corp. | Endoscope apparatus |
| EP2641527A4 (en) * | 2011-09-29 | 2015-04-08 | Olympus Medical Systems Corp | Endoscopic equipment |
| CN103313642B (en) * | 2011-09-29 | 2016-01-20 | 奥林巴斯株式会社 | Endoscope apparatus |
| KR101285106B1 (en) | 2011-11-16 | 2013-07-17 | 재단법인대구경북과학기술원 | Obstacle detection method using image data fusion and apparatus |
| KR101519215B1 (en) * | 2013-09-05 | 2015-05-11 | 현대오트론 주식회사 | Driver assistance systems and controlling method for the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102499586B1 (en) | imaging device | |
| EP2893867B1 (en) | Detecting visual inattention based on eye convergence | |
| CN108027511B (en) | Information display device, information providing system, moving object apparatus, information display method, and recording medium | |
| JP6036065B2 (en) | Gaze position detection device and gaze position detection method | |
| JP5406328B2 (en) | VEHICLE DISPLAY DEVICE, ITS CONTROL METHOD AND PROGRAM | |
| US8144076B2 (en) | Display apparatus for displaying virtual image to driver | |
| US20160379066A1 (en) | Method and Camera System for Distance Determination of Objects from a Vehicle | |
| US20150348416A1 (en) | Obstacle detection device and electric-powered vehicle provided therewith | |
| US20150161762A1 (en) | Information processing apparatus, information processing method, and program | |
| US20070003162A1 (en) | Image generation device, image generation method, and image generation program | |
| CN104723991A (en) | Parking assistance apparatus and parking assistance method for vehicle | |
| US20110025836A1 (en) | Driver monitoring apparatus, driver monitoring method, and vehicle | |
| EP2239538A1 (en) | Apparatus for detecting three-dimensional distance | |
| JP2006338594A (en) | Pedestrian recognition system | |
| KR101986734B1 (en) | Driver assistance apparatus in vehicle and method for guidance a safety driving thereof | |
| KR20210025835A (en) | Wearable device using stereo camera and infrared sensor for the visually impaired | |
| KR100929569B1 (en) | System for providing obstacle information | |
| JP2010152026A (en) | Distance measuring device and object moving speed measuring device | |
| CN106991376B (en) | Depth information-combined side face verification method and device and electronic device | |
| CN111086451B (en) | Head-up display system, display method and automobile | |
| KR20170014451A (en) | System and method for securing a clear view, and terminal for performing the same | |
| JP6717330B2 (en) | Eye-gaze detecting device, control method of the eye-gaze detecting device, method of detecting corneal reflection image position, and computer program | |
| US20180285669A1 (en) | Z-Dimension User Feedback Biometric System | |
| KR101678448B1 (en) | Driving monitoring system for providing guide information | |
| JP2005343351A (en) | Drive supporting device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120711 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20130621 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |