KR101440293B1 - Apparatus and method for detecting crosswalk - Google Patents
Apparatus and method for detecting crosswalk Download PDFInfo
- Publication number
- KR101440293B1 KR101440293B1 KR1020120015866A KR20120015866A KR101440293B1 KR 101440293 B1 KR101440293 B1 KR 101440293B1 KR 1020120015866 A KR1020120015866 A KR 1020120015866A KR 20120015866 A KR20120015866 A KR 20120015866A KR 101440293 B1 KR101440293 B1 KR 101440293B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- value
- crosswalk
- detecting
- minimum
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
영상 내에서 횡단 보도를 검출하기 위한 방법 및 장치가 제공된다. 전자 장치는 차량의 주위를 촬영한 영상을 수신한다. 전자 장치는 영상을 분석함으로써 영상 내에서 횡단 보도를 검출하며, 횡단 보도가 검출된 경우 횡단 보도가 검출되었음을 알리는 정보를 출력할 수 있다. 횡단 보도 검출 성능을 향상시키기 위해, 전자 장치는 영상을 그레이-스케일로 변환할 수 있고, 영상 내에서 검출 영역을 설정할 수 있으며, 검출 영역 내에서 횡단 보도를 나타내는 일정한 패턴을 검출할 수 있다.A method and apparatus for detecting a crosswalk in an image is provided. The electronic device receives an image of the surroundings of the vehicle. The electronic device can detect the crosswalk in the image by analyzing the image and output information indicating that the crosswalk has been detected when the crosswalk is detected. To improve pedestrian detection performance, the electronic device can convert the image to a gray-scale, set the detection area within the image, and detect a constant pattern representing the crosswalk within the detection area.
Description
본 발명의 실시예들은 횡단 보도를 검출하는 장치 및 방법에 관한 것이다.Embodiments of the present invention are directed to an apparatus and method for detecting a crosswalk.
영상 내에서 횡단 보도를 검출하는 장치 및 방법이 개시된다.An apparatus and method for detecting a crosswalk in an image is disclosed.
차량의 주행 시 가장 중요한 것 중 하나는 교통 사고의 예방을 비롯한 안정성이다. 안정성을 위해 차량의 자세를 제어하거나, 차량의 구성 장치들의 기능을 제어하는 다양한 보조 장치가 차량에 작창되고, 안전 벨트 및 에어백 등과 같은 안전 장치가 차량에 장착된다. 또한, 블랙박스(black box)가 차량 내에 설치된 경우, 차량의 각종 센서들로부터 전송되는 데이터가 블랙박스 내에 저장될 수 있다. 차량의 사고가 발생한 경우 차량에서 상기의 블랙박스를 회수하고, 회수된 블랙박스 내에 저장된 데이터를 분석함으로써 사고의 원인이 규명될 수 있다.One of the most important things when driving a vehicle is safety, including prevention of traffic accidents. Various auxiliary devices for controlling the posture of the vehicle for controlling the stability of the vehicle or controlling the functions of the constituent devices of the vehicle are installed in the vehicle, and a safety device such as a seat belt and an airbag is mounted on the vehicle. Further, when a black box is installed in the vehicle, data transmitted from various sensors of the vehicle can be stored in the black box. In the event of a vehicle accident, the cause of the accident can be identified by retrieving the black box from the vehicle and analyzing the data stored in the recovered black box.
안전한 주행을 위해, 운전자는 주행 중 전방에 위치한 사람 및 사물을 신속하게 인식하고, 차량의 운행을 조절할 필요가 있다. 네비게이터 또는 블랙 박스와 같은 차량에 장착된 전자 기기는 차량의 주변을 계속적으로 촬영할 수 있다. 상기의 전자 기기는 컴퓨터 비젼 알고리즘 등을 사용함으로써 영상 내에서 차량 주변의 상황을 계속 모니터링할 수 있으며, 특정한 상황이 검출된 경우 검출된 상황에 관련된 정보를 운전자에게 알릴 수 있다.For safe driving, the driver needs to be able to quickly recognize persons and objects located in front of the vehicle while driving, and to control the operation of the vehicle. An electronic device mounted on a vehicle such as a navigator or a black box can continuously photograph the periphery of the vehicle. The electronic device can continuously monitor the environment around the vehicle by using a computer vision algorithm or the like and can inform the driver of information related to the detected situation when a specific situation is detected.
차량에서 촬영된 영상을 분석하는 장치로서, 한국공개특허 제10-2007-0082980호(공개일 2007년 08월 23일)에는 차량에 설치된 카메라를 통해 수집된 영상을 분석하여, 영상 내에서 객체(즉, 차량 번호)를 인식하는 이동식 위법 차량 단속 장치가 개시되었다.Korean Patent Laid-Open No. 10-2007-0082980 (published on Aug. 23, 2007) analyzes an image captured by a camera installed in a vehicle, That is, a vehicle number), is disclosed.
일 실시예는 영상 내에서 횡단 보도를 검출하는 장치 및 방법을 제공할 수 있다.One embodiment may provide an apparatus and method for detecting a crosswalk in an image.
일 실시예는 영상 내에서 횡단 보도를 검출하기 위해 영상을 그레이-스케일로 변환하고, 영상 내에서 검출 영역을 설정하고, 설정된 검출 영역 내에서 횡단 보도를 나타내는 일정한 패턴을 검출하는 장치 및 방법을 제공할 수 있다.One embodiment provides an apparatus and method for converting an image into a gray-scale for detecting a pedestrian crossing in an image, setting a detection area in the image, and detecting a certain pattern representing a crosswalk within the set detection area can do.
일 측면에 있어서, 차량의 주위를 촬영한 영상을 수신하는 수신부, 상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어부 및 상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력부를 포함하는, 전자 장치가 제공된다.A control unit for detecting a crosswalk in the image by analyzing the image; and a control unit for outputting information indicating that the crosswalk is detected when the crosswalk is detected, And an output section for outputting an output signal.
상기 전자 장치는 상기 제1 차량에 부착될 수 있다.The electronic device may be attached to the first vehicle.
상기 영상은 상기 차량의 전방을 촬영한 영상일 수 있다.The image may be an image of the front of the vehicle.
상기 수신부가 수신한 상기 영상은 컬러 영상일 수 있다.The image received by the receiving unit may be a color image.
상기 제어부는 상기 영상을 그레이 스케일(gray scale)로 변환할 수 있다.The controller may convert the image into a gray scale.
상기 제어부는 상기 영상 중 검출 영역 내에서 상기 횡단 보도를 검출할 수 있다.The control unit may detect the crosswalk in the detection area of the image.
상기 제어부는 특정한 조건에 의해 결정된 관심 영역을 상기 검출 영역으로 설정할 수 있다.The control unit may set a region of interest determined by a specific condition as the detection region.
상기 제어부는 상기 영상 내에서 차선을 검출하고, 상기 검출된 차선에 기반하여 상기 검출 영역을 설정할 수 있다.The control unit may detect a lane in the image and set the detection area based on the detected lane.
상기 제어부는 상기 영상에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 상기 영상 내의 노이즈를 제거할 수 있다.The controller may remove noise in the image by applying a close operation using a square element to the image.
상기 제어부는 상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성할 수 있고, 상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출함으로써 상기 영상 내에서 상기 횡단 보도를 검출할 수 있다.Wherein the controller is able to generate a binarized image of the image by applying a minimum-maximum filter to the horizontal line of the image, and by detecting a pattern representing the crosswalk in the binarized image, Can be detected.
상기 횡단 보도를 나타내는 상기 패턴은 제1 설정 값 이상의 높이 및 제2 설 정 값 이상의 폭을 가지며, 제3 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 가질 수 있다.The pattern representing the crosswalk may have a height equal to or greater than the first set value and a width equal to or greater than the second set value and may take the form of a square waveform repeated at a frequency equal to or greater than the third set value.
상기 최소-최대 필터는 상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교할 수 있고, 상기 비교의 결과에 따라 상기 특정한 픽셀의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정할 수 있다.Wherein the minimum-maximum filter is capable of comparing a color value of a specific one of the horizontal lines with an average value of a maximum value and a minimum value and comparing the binary value of the color value of the specific pixel with a first binary value and a second binary value, Can be determined as one of the second binary values.
상기 최소 값은 상기 수평 선 중 상기 특정한 픽셀을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값일 수 있고, 상기 최대 값은 상기 픽셀들의 컬러 값들 중 가장 큰 값일 수 있다.The minimum value may be the smallest value among the color values of the pixels within a certain range based on the specific pixel among the horizontal lines, and the maximum value may be the largest value among the color values of the pixels.
상기 일정한 범위의 길이는 상기 수평 선의 전체 길이의 1/n일 수 있다. 상기 n은 1 이상일 수 있다.The length of the predetermined range may be 1 / n of the entire length of the horizontal line. The n may be one or more.
상기 특정한 픽셀은 상기 일정한 범위의 중심일 수 있다.The particular pixel may be the center of the constant range.
상기 수평 선은 검출 영역 내의 복수 개의 수평 선들일 수 있다.The horizontal line may be a plurality of horizontal lines in the detection area.
다른 일 측에 따르면, 차량의 주위를 촬영한 영상을 수신하는 단계, 상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 단계 및 상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 단계를 포함하는, 횡단 보도 검출 방법이 제공된다.According to another aspect, there is provided a method of detecting a crosswalk, comprising the steps of: receiving an image taken around a vehicle; detecting a crosswalk in the image by analyzing the image; And outputting the crosswind detection signal.
네비게이터 또는 블랙 박스 등 차량에 장착되는 기존의 전자 장치에 영상 내에서 횡단 보도를 검출하는 기능을 추가함으로써 차량의 주행 중 전방에 횡단 보도가 있음을 알릴 수 있다.It is possible to inform a conventional electronic device mounted on a vehicle such as a navigator or a black box that a crosswalk is detected in the image so that a crosswalk is present in front of the running of the vehicle.
상기의 횡단 보도를 검출하는 기능은 기존의 전자 장치의 소프트웨어 또는 펌웨어 등을 업그레이드(upgrade)함으로써 전자 기기에 추가될 수 있다. 또한, 차량의 전방에 장착된 블랙 박스 또는 스마트폰의 카메라로부터 촬영된 영상을 고성능의 네비게이터 또는 스마트폰이 처리함으로써, 추가적인 하드웨어를 요구하지 않고 차량 내에서 일반적으로 사용되는 기존의 전자 기기들을 사용하여 횡단 보도를 검출하는 기능이 제공될 수 있다.The function of detecting the crosswalk can be added to the electronic device by upgrading the software or firmware of the existing electronic device. Further, a high-performance navigator or a smart phone processes an image photographed from a camera of a black box or a smart phone mounted in front of the vehicle, so that it is possible to use existing electronic devices generally used in a vehicle without requiring additional hardware A function of detecting a crosswalk can be provided.
도 1은 일 실시예에 따른 전자 장치의 블록도이다.
도 2는 일 실시예에 따른 횡단 보도 검출 방법의 흐름도이다.
도 3은 일 예에 따른 컬러 영상의 그레이 영상으로의 변환을 설명한다.
도 4는 일 예에 따른 검출 영역의 설정 및 검출 영역의 향상을 설명한다.
도 5는 일 예에 따른 수평선의 컬러 값의 변화를 설명한다.
도 6은 일 예에 따른 최소-필터의 적용을 설명한다.
도 7은 일 예에 따른 최소-최대 필터를 적용함으로써 생성된 패턴을 설명한다.1 is a block diagram of an electronic device according to one embodiment.
2 is a flow chart of a crosswalk detection method in accordance with one embodiment.
3 illustrates conversion of a color image into a gray image according to an example.
Fig. 4 illustrates the setting of the detection region and the improvement of the detection region according to an example.
5 illustrates a change in the color value of the horizontal line according to an example.
Figure 6 illustrates the application of a min-filter according to an example.
FIG. 7 illustrates a pattern generated by applying a minimum-maximum filter according to an example.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, embodiments will be described in detail with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
하기에서, 영상 내에서 특정한 객체를 검출한다는 것은, 영상 내에서 특정한 객체를 나타내는 영역을 검출한다는 것을 의미할 수 있다. 즉, 영상 내에서 횡단 보도를 검출한다는 것은 영상 내에서 횡단 보도가 촬영된 것을 나타내는 영역을 검출한다는 것을 의미할 수 있다.
In the following, detecting a specific object in an image may mean detecting an area representing a specific object in the image. That is, detecting a pedestrian crossing in an image may mean detecting an area indicating that the pedestrian crossing is photographed in the image.
도 1은 일 실시예에 따른 전자 장치의 블록도이다.1 is a block diagram of an electronic device according to one embodiment.
전자 장치(100)는, 예컨대 네비게이터(navigator), 블랙 박스(block box), 타블렛(tablet) 및 스마트폰(smartphone) 등의 장치이거나, 상기의 장치의 일부일 수 있다.The
전자 장치(100)는 운전자가 운행하는 차량 내에 부착, 설치 또는 장착된 장치일 수 있으며, 차량 내에서 운전자에 의해 사용될 수 있는 장치일 수 있다.The
전자 장치(100)는 수신부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다.The
또한, 전자 장치(100)는 카메라(180)를 포함할 수 있다. 예컨대, 전자 장치(100)가 스마트폰인 경우, 카메라(180)는 전자 장치(100) 내에 포함될 수 있다. 또는, 카메라(180)는 전자 장치(100)와 통신할 수 있는 별개의 장치일 수 있다.In addition, the
카메라(180)는 차량의 주위를 촬영함으로써 영상을 생성할 수 있다. 카메라(180)는 차량의 전방을 촬영할 수 있다. 카메라(180)는 일정 해상도(또는 크기)(예컨대, 640x480)의 영상을 촬영할 수 있다. 이때, 촬영된 영상은 알지비(Red Green Blue; RGB) 컬러 영상일 수 있다. 카메라(180)는 차량의 전방을 촬영할 수 있도록 전자 장치(100)의 뒤인, 차량의 앞 유리를 바라보는 위치에 장착될 수 있다.The
수신부(110)는 차량의 주위를 촬영한 영상을 수신할 수 있다. 수신부(110)는 정보를 나타내는 신호를 수신하여 제어부(120)로 전송하는 네트워크 인터페이스(network interface), 입력 단자(input terminal) 또는 통신용 칩(chip) 등일 수 있다.The
제어부(120)는 영상을 분석함으로써 영상 내에서 횡단 보도를 검출할 수 있다.The
출력부(130)는 횡단 보도가 검출된 경우, 횡단 보도가 검출되었음을 나타내는 정보를 출력할 수 있다. 횡단 보도가 검출되었음을 나타내는 정보는 영상 정보 또는 음성 정보일 수 있다. 예컨대, 출력부(130)가 전자 장치(100)의 디스플레이(display)인 경우, 전자 장치(100)는 디스플레이 내에 특정한 문자, 기호, 도형 또는 이미지(image) 등을 출력함으로써 운전자에게 차량의 주변에 횡단 보도가 있음을 알릴 수 있다. 또는, 출력부(130)가 전자 장치(100)의 스피커(speaker)인 경우, 전자 장치(100)는 스피커를 통해 차량의 주변에 횡단 보도가 있음을 나타내는 음성 또는 음향을 출력할 수 있다.
The
도 2는 일 실시예에 따른 횡단 보도 검출 방법의 흐름도이다.2 is a flow chart of a crosswalk detection method in accordance with one embodiment.
단계(210)에서, 차량에 부착된 카메라(180) 또는 전자 장치(100)는 영상을 촬영할 수 있다. 영상은 차량의 주위를 촬영한 영상일 수 있으며, 차량의 전방을 촬영한 영상일 수 있다. 촬영된 영상은 RGB 영상과 같은 컬러 영상일 수 있다.In
단계(220)에서, 수신부(110)는 촬영된 영상을 수신할 수 있다. 수신된 영상은 RGB 영상과 같은 컬러 영상일 수 있다.In
단계(230)에서, 제어부(120)는 수신된 영상을 그레이 스케일(gray scale)로 변환할 수 있다.In
단계(240)에서, 제어부(120)는 검출 영역을 설정할 수 있다. 전자 장치(100)가 수신한 영상 중 일부분은 하늘, 지평선 또는 건물 등 횡단 보도가 위치할 수 있는 도로 외의 다른 영역만을 나타낼 수 있다. 따라서, 제어부(120)가 영상의 모든 영역에서 횡단 보도를 검출하려고 시도할 경우, 횡단 보도 외의 다른 객체가 횡단 보도로서 잘못 검출될 가능성이 높아질 수 있다. 따라서, 제어부(120)는 영상 중 검출 영역 내에서만 횡단 보도를 검출할 수 있다.In
단계(240)는 단계들(242, 244 및 246) 중 전부 또는 일부를 포함할 수 있다.Step 240 may include all or a portion of
단계(242)에서, 제어부(120)는 특정한 조건에 의해 결정된 관심 영역(Region Of Interest; ROI)을 검출 영역으로 설정할 수 있다. 여기서, 특정한 조건은, 카메라(180)의 설치 각도, 카메라(180)의 시야 각 및 영상의 해상도 등을 의미할 수 있다. 관심 영역을 결정하기 위한 특정한 조건에 대해 도 4를 참조하여 하기에서 상세히 설명된다.In
단계(244)에서, 제어부(120)는 영상 내에서 차선을 검출할 수 있다.In
단계(246)에서, 제어부(120)는 검출된 차선에 기반하여 검출 영역을 설정할 수 있다.In
단계(250)에서, 제어부(120)는 영상(또는, 검출 영역) 내의 노이즈를 제거할 수 있다. 제어부(120)는 영상(또는, 검출 영역)에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 영상(또는, 검출 영역) 내의 노이즈를 제거할 수 있다.In
단계(260)에서, 제어부(120)는 영상(또는, 검출 영역)을 분석함으로써 영상(또는, 검출 영역) 내에서 횡단 보도를 검출할 수 있다.In
단계(260)는 단계들(262 및 264)을 포함할 수 있다.Step 260 may include
단계(262)에서, 제어부(120)는 영상(또는, 검출 영역)이 이진화된 이진화(binary) 영상(또는, 검출 영역)을 생성할 수 있다. 제어부(120)는 영상(또는, 검출 영역)의 수평 선에 최소-최대 필터를 적용함으로써 영상(또는, 검출 영역)이 이진화된 이진화(binary) 영상(또는, 이진화 검출 영역)을 생성할 수 있다.In
단계(264)에서, 제어부(120)는 이진화 영상(또는, 이진화 검출 영역) 내에서 횡단 보도를 나타내는 패턴을 검출함으로써 영상(또는, 검출 영역) 내에서 횡단 보도를 검출할 수 있다.In
단계(270)에서, 제어부(120)는 횡단 보도가 검출되었는지 여부를 판단할 수 있다. 횡단 보도가 검출되지 않은 경우, 절차가 종료할 수 있다. 횡단 보도가 검출된 경우, 단계(280)가 수행될 수 있다.In
단계(280)에서, 출력부(130)는 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 나타내는 정보를 출력할 수 있다.In
상기의 단계들(210 내지 280)은 반복해서 수행될 수 있다. 즉, 카메라(180)는 연속적인 영상들로 구성되는 동영상을 촬영할 수 있고, 단계들(210 내지 280)이 한 번 반복될 때 마다, 전자 장치(100)는 상기의 동영상 내의 영상 내에서 횡단 보도를 검출할 수 있다.
The
도 3은 일 예에 따른 컬러 영상의 그레이 영상으로의 변환을 설명한다.3 illustrates conversion of a color image into a gray image according to an example.
제1 영상(310)은 카메라(180)에 의해 촬영된 컬러 영상을 나타낼 수 있다. 제2 영상(320)은 도 2를 참조하여 전술된 단계(230)에서 제어부(120)에 의해 컬러 영상이 그레이-스케일로 변환됨으로써 생성된 그레이-스케일 영상을 나타낼 수 있다.The
컬러 영상 내의 각 픽셀들은 픽셀의 컬러를 나타내는 컬러 값을 가질 수 있다. 컬러 값은 적색 값, 녹색 값 및 청색 값을 포함할 수 있다. 즉, 컬러 영상은 RGB 컬러 영상일 수 있다.Each pixel in the color image may have a color value representing the color of the pixel. The color value may include a red value, a green value, and a blue value. That is, the color image may be an RGB color image.
흑백 영상 내의 각 픽셀들은 픽셀의 명암을 나타내는 컬러 값을 가질 수 있다. 컬러 값은 0 이상 n 이하의 정수 값일 수 있다. (n 은 1 이상의 정수) 예컨대, 특정한 픽셀이 흑색을 나타낼 경우, 특정한 픽셀의 컬러 값이 0일 수 있다. 또한, 특정한 픽셀이 백색을 나타낼 경우, 특정한 픽셀의 컬러 값은 n일 수 있다.Each pixel in the monochrome image may have a color value representing the brightness and darkness of the pixel. The color value may be an integer value ranging from 0 to n. (n is an integer equal to or greater than 1). For example, when a specific pixel indicates black, the color value of a specific pixel may be zero. Also, when a particular pixel represents white, the color value of a particular pixel may be n.
도 2를 참조하여 전술된 단계(230)에서, 제어부(120)는 카메라(180)에 의해 촬영된 컬러 영상을 그레이-스케일 영상으로 변환할 수 있다. 또한, 제어부(120)는 그레이-스케일 영상이 일정한 명암 값 분포를 갖도록 그레이-스케일 영상의 픽셀들의 컬러 값에 대한 평활화를 수행할 수 있다.In the
예컨대, 도로의 일부가 그림자에 의해 영향을 받는 경우, 횡단 보도를 나타내는 흰 페인트 등이 제어부(120)에 의해 회색으로 잘못 인식될 수 있다. 그림자에 의한 영향을 최소화하기 위해, 광원을 보정할 수 있는 방법이 적용될 수 있다. 예컨대, 카메라(180)는 촬영에 사용할 광원을 보정할 수 있고, 보정된 광원을 사용하여 차량의 전방을 촬영함으로써 컬러 영상을 획득할 수 있다. 또는, 제어부(120)는 컬러 영상에 광원 보정 알고리즘을 적용함으로써 컬러 영상의 광원을 보정할 수 있고, 보정된 컬러 영상을 그레이-스케일 영상으로 변환할 수 있다. 한편, 차량 내부 유리에 반사된 피사체로 인한 영향으로 영상의 특정 부분에서 횡단 보도 검출이 실패할 수 있다. 카메라(180)의 렌즈 앞 단에 반사 억제 상자를 부착함으로써 반사에 의한 영향이 최소화된 보정된 영상이 획득될 수 있다.
For example, when a part of the road is affected by a shadow, a white paint or the like representing the crosswalk may be misrecognized as gray by the
도 4는 일 예에 따른 검출 영역의 설정 및 검출 영역의 향상을 설명한다.Fig. 4 illustrates the setting of the detection region and the improvement of the detection region according to an example.
제어부(120)는 영상 중 일부를 검출 영역으로 설정할 수 있다. 또한, 제어부(120)는 영상 또는 영상 중 일부를 향상시킬 수 있다.The
도 4에서, 검출 영역이 향상된 영상(410)이 도시되었고, 검출 영역이 향상된 영상(410) 중 검출 영역(420)이 도시되었다. 검출 영역이 설정된 경우, 제어부(120)는 검출 영역 내에서만 횡단 보도를 검출할 수 있다. 따라서, 도 4에서, 검출 영역이 향상된 영상(410) 중 검출 영역(420) 외의 다른 영역은 흑색으로 표현되었다.In Fig. 4, an
하기에서, 검출 영역을 설정하는 방법이 설명된다.In the following, a method of setting the detection area is described.
도 2를 참조하여 전술된 단계(240)에서, 제어부(120)는 그레이-스케일 영상 내에서 횡단 보도를 검출하기 위한 검출 영역을 결정할 수 있다. 도 2를 참조하여 전술된 단계(242)의 관심 영역은 카메라(180)의 설치 각도 및 시야 각에 따라 촬영된 영상 내에서 횡단 보도가 존재할 수 있는 영역으로 결정될 수 있다. 제어부(120)는 영상의 해상도에 비례하여 관심 영역의 크기를 결정할 수 있다.In
도 2를 참조하여 전술된 단계(242)에서, 제어부(120)는 영상 내에서 차선을 검출할 수 있다. 제어부(120)는, 예컨대 캐니(Canny) 알고리즘을 사용하여, 영상(또는, 관심 영역) 내에서 에지(edge)를 검출한 에지 영상을 생성할 수 있다. 제어부(120)는 에지 영상으로부터 차량이 주행 중인 차선을 검출할 수 있다. 제어부(120)는, 예컨대 에지 영상에 허프 변환 알고리즘을 적용함으로써, 에지 영상 내에서 직선으로서 표시되는 에지를 검출할 수 있고, 직선의 위치에 대응하는 영역을 차선으로서 인식할 수 있다. 제어부(120)는 허프 변환을 통해 에지 영상 내에 포함된 하나 이상의 직선 후보들을 검출할 수 있고, 하나 이상의 직선 후보들 중 영상(또는, 관심 영역)의 중심으로부터의 거리가 최소인 직선 후보를 차선으로 판단할 수 있다. 또한, 제어부(120)는 복수 개의 직선 후보들 중 차량의 주행 방향에 대해서 일정한 차선의 폭을 가지는 직선 후보를 차선으로 판단할 수 있다. 차선은 도로 면에 존재하며, 일정한 폭을 갖는다. 또한, 차선은 운전자의 시점에서 보았을 때, 수평 선 상으로는 나타나지 않고 차량의 진행 방향에 대응하는 선 상에 나타난다. 따라서, 제어부(120)는 차량의 진행 방향에 대응되는 복수 개의 직선 후보들 중 일정한 폭을 갖는 직선 후보를 차선으로 인식할 수 있다. 또한, 제어부(120)는 복수 개의 직선 후보들 중에서 영상(또는, 관심 영역)의 수직 중심 선을 기준으로 서로 대칭을 이루는 직선 후보들을 차선으로 판단할 수 있다.In
도 2를 참조하여 전술된 단계(244)에서, 제어부(120)는 검출된 차선에 기반하여 검출 영역을 설정할 수 있다. 예컨대, 제어부(120)는 동영상 내에서 차선이 시작되는 위치를 기점으로 y축 방향으로 일정 거리만큼의 영역을 검출 영역으로 설정할 수 있다. 이때, 제어부(120)는 인식된 차로의 폭 및 카메라(180)의 시야각에 기반하여 차선이 시작되는 위치 및 일정 거리를 추정할 수 있다. 제어부(120)는 인식된 차선들 사이의 공간을 차로로 간주할 수 있다.In
하기에서, 영상, 영상의 일부 또는 검출 영역을 향상시키는 방법을 설명한다.In the following, a method of improving a part of an image, an image, or a detection area will be described.
횡단 보도에는 그림자로 인한 음영이 드리워질 수 있다. 또는, 횡단 보도를 표시하기 위한 페인트가 마모될 수 있으며, 스티커 또는 종이와 같은 작은 객체가 횡단 보도 위에 위치하고 있을 경우 횡단 보도의 모양이 가려질 수 있다. 또한, 횡단 보도를 촬영한 영상 내에서 노이즈가 존재할 수 있다.Shadows due to shadows may be cast on the crosswalk. Alternatively, the paint for displaying the crosswalk can be worn and the shape of the crosswalk can be obscured if a small object such as a sticker or paper is positioned over the crosswalk. In addition, there may be noise in the image of the crosswalk.
도 2를 참조하여 전술된 단계(250)에서, 횡단 보도를 나타내는 영역 내의 노이즈를 제거하고 횡단 보도의 파손된 형태를 정규화하기 위해, 제어부(120)는 영상(또는 검출 영역)에 사각형 요소를 이용하는 닫힘 영상을 적용할 수 있다. 사각형 영상을 사용하는 것은 횡단 보도가 일반적으로 흑색 또는 백색의 사각형이 연속되는 형태를 갖는다는 것에 기인한 것일 수 있다. 상기의 닫힘 영상에 의해 횡단 보도를 나타내는 영역이 더 선명하게 될 수 있다.
In
도 5는 일 예에 따른 수평선의 컬러 값의 변화를 설명한다.5 illustrates a change in the color value of the horizontal line according to an example.
도 5에서, 영상(510) 및 영상 내의 수평 선(520)이 도시되었다. 영상(510)의 하단에는 수평선의 컬러 값의 변화를 나타내는 그래프(530)가 도시되었다. 변화 선(540)은 수평 선 내의 픽셀들 각각의 컬러 값의 변화를 나타낸다.In Figure 5, an
연속되는 픽셀들의 컬러 값들이 상대적으로 일정할 경우(예컨대, 모든 컬러 값들이 백색에 가까운 값이거나, 흑색에 가까운 값일 경우), 변화 선(540) 중 상기의 연속되는 픽셀들에 대응하는 부분은 높은 값들들 갖는다. 반면, 연속되는 픽셀들이 컬러 값들이 상대적으로 급격하게 변화할 경우(예컨대, 흑색에서 백색으로 변화하거나 백색에서 흑색으로 변화하는 경우), 변화 선(540) 중 상기의 연속되는 픽셀들에 대응하는 부분은 낮은 값들을 갖는다. 따라서 변화 선(540) 중 높은 값에서 낮은 값으로 내려가고, 다시 낮은 값에서 높은 값으로 올라가는 구간이 짧을 수록, 수평 선이 흑색 선 및 백색 선으로 분명하게 구분되는 것으로 간주할 수 있다.If the color values of successive pixels are relatively constant (e.g., all color values are close to white or close to black), the portion of the
그러나, 실제의 횡단 보도가 백색 및 흑색으로 명확하게 구분되지 않은 경우 또는 촬영된 영상 내에 노이즈가 존재하는 경우, 수평 선이 흑색 및 백색으로 분명하게 구분되지 않을 수 있다. 예컨대, 영상 내에서 횡단 보도를 나타내는 영역 중 일부에 노이즈가 있을 경우, 상기의 노이즈는 변화 선(540) 내에서 이상 점(550)으로서 나타난다. 노이즈는 흑색 또는 백색이 아닌 중간 단계의 회색으로 나타날 수 있으며, 특정한 경계를 중심으로 컬러가 분명하게 변하지 않을 수 있다. 따라서, 변화 선(540) 중 이상 점(550) 주위의 일부는 값이 상대적으로 완만하게 변화할 수 있으며, 중간 단계의 값을 가질 수 있다.However, when the actual crosswalk is not clearly distinguished as white or black, or when noise is present in the photographed image, the horizontal line may not be clearly distinguished as black and white. For example, if there is noise in a portion of the area representing the crosswalk in the image, the noise appears as an
따라서, 제어부(120)가 수평 선 내의 픽셀들의 컬러 값들 각각을 직접 이진화하는 것에 비해, 픽셀들의 컬러 값들에게 특정한 필터를 적용한 후, 필터가 적용된 컬러 값들을 이진화하는 것이 횡단 보도를 검출함에 있어서 더 낳은 결과를 도출할 수 있다.
Therefore, it is advantageous for binarizing the color values to which the filter is applied after applying a specific filter to the color values of the pixels, as compared to the
도 6은 일 예에 따른 최소-필터의 적용을 설명한다.Figure 6 illustrates the application of a min-filter according to an example.
그래프(600)의 가로 축은 수평 선 내의 픽셀들을 나타낸다. 즉, 가로 축의 특정한 좌표는 수평 선 내의 특정한 픽셀을 가리킨다. 그래프(600)의 세로 축은 픽셀의 컬러 값을 나타낸다. 컬러 값은 그레이-스케일 값일 수 있다. 예컨대, 큰 값은 백색에 가까운 색을 나타내는 값일 수 있다. 작은 값은 흑색에 가까운 색을 나타내는 값일 수 있다.The horizontal axis of
단계(262)에서, 제어부(120)는 영상의 수평 선 내의 픽셀들 각각에 최소-최대 필터를 적용함으로써, 픽셀들 각각을 이진화할 수 있다. 여기서, 픽셀의 이진화란, 픽셀이 컬러 값이 제1 이진 값 또는 제2 이진 값 중 하나가 된다는 것을 의미할 수 있다. "0"(또는, 참) 또는 "1"(또는, 거짓) 중 하나가 제1 이진 값일 수 있으며, 다른 하나는 제2 이진 값일 수 있다. 수평 선의 이진화란, 수평 선 내의 픽셀들이 각각 이진화된다는 것을 의미할 수 있다. 제어부(120)는 수평 선 내의 픽셀들 각각을 이진화하고, 영상(또는, 설정 영역) 내의 수평 선들을 각각 이진화함으로써 영상(또는 설정 영역)을 이진화할 수 있다.In
그래프(600)는 특정한 픽셀(610)에 최소-최대 필터를 적용하는 방법을 설명한다.
제어부(120)는 수평 선 중 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값을 상기의 특정한 픽셀(610)에 대한 최대-최소 필터의 최소 값으로 설정할 수 있다. 또한, 제어부(120)는 수평 선 중 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 큰 값을 상기의 특정한 픽셀(610)에 대한 최대-최소 필터의 최대 값으로 설정할 수 있다. 즉, 특정한 픽셀(610)에 대한 최소 최대 필터의 최소 값은 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값이고, 특정한 픽셀(610)에 대한 최소 최대 필터의 최대 값은 픽셀들의 컬러 값들 중 가장 큰 값일 수 있다. 도 6에서, 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들 중 가장 큰 컬러 값을 갖는 픽셀(620) 및 가장 작은 컬러 값을 갖는 픽셀(630)이 도시되었다. 또한, 픽셀(620)의 컬러 값 및 픽셀(630)의 컬러 값의 평균(640)이 수평 선으로서 도시되었다. 도 6에서, 일정한 범위는 특정한 픽셀(610), 특정한 픽셀(610)을 중심으로 좌측의 3 개의 픽셀들 및 특정한 픽셀(610)을 중심으로 우측의 3 개의 픽셀들을 포함한다. 상기의 일정한 범위는 예시적인 것이다. 특정한 픽셀(610)은 일정한 범위의 중심일 수 있으며, 좌측 말단 또는 우측 말단일 수 있다. 일정한 범위의 길이는 고정된 값일 수 있으며, 동적으로 변경되는 값일 수도 있다. 예컨대, 일정한 범위의 길이는 수평 선의 전체 길이의 1/n일 수 있다. 여기서, n은 1 이상의 실수일 수 있다. 또한, 일정한 범위는 m 개의 픽셀들을 나타낼 수 있다. 여기서, m은 1 이상의 자연수일 수 있다. 적절한 n의 값 또는 m의 값은 실험에 의해 결정될 수 있다. 예컨대, 제어부(120)는 실제 횡단 보도의 반복되는 백색 영역 및 흑색 영역이 영상 내에서 얼만큼의 크기로 나타나는가에 따라 n의 값 또는 m의 값을 결정할 수 있다.The
최소-최대 필터는 특정한 픽셀(610)의 컬러 값을 특정한 픽셀(610)에 대한 최대 값 및 최소 값의 평균 값과 비교할 수 있다. 최소-최대 필터는 상기의 비교의 결괴에 따라 특정한 픽셀(610)의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정할 수 있다. 예컨대, 제어부(120)는 특정한 픽셀(610)의 컬러 값이 평균 값 이상인 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 제2 이진 값으로 결정할 수 있고, 특정한 픽셀(610)의 컬러 값이 평균 값보다 작은 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 제1 이진 값으로 결정할 수 있다. 또는, 제어부(120)는 특정한 픽셀(610)의 컬러 값이 나타내는 제1 밝기와 평균 값이 나타내는 제2 밝기를 비교할 수 있다. 제어부(120)는 제1 밝기가 제2 밝기 이상인 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 백색을 나타내는 이진 값으로 설정할 수 있고, 제1 밝기가 제2 밝기 보다 작은 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 흑색을 나타내는 이진 값으로 설정할 수 있다.
The minimum-maximum filter may compare the color value of a
도 7은 일 예에 따른 최소-최대 필터를 적용함으로써 생성된 패턴을 설명한다.FIG. 7 illustrates a pattern generated by applying a minimum-maximum filter according to an example.
그래프(700)에서, 중심 선(710), 수평 선 내의 픽셀들 각각의 컬러 값을 나타내는 제1 선(720), 수평 선 내의 픽셀들 각각에 대한 최소-최대 필터의 평균 값을 나타내는 제2 선(730), 수평 선 내의 픽셀들 각각의 이진화된 컬러 값을 나타내는 제3 선(740)이 도시되었다. 제3 선(740) 내의 각 점들은 제1 이진 값 및 제2 이진 값 중 하나의 이진 값을 가질 수 있다.In the
제1 선(720)의 각 점들은 제3 선(740) 내의 동일한 좌표를 갖는 점에 대응할 수 있다. 제1 선(720)의 각 점은 수평 선 내의 픽셀들 각각의 컬러 값을 나타낼 수 있다. 제3 선(740) 내의 각 점은 수평 선 내의 픽셀들 각각의 이진화된 컬러 값을 나타낼 수 있다. 제2 선(730)의 각 점은 수평 선 내의 픽셀들 각각에 대한 최소-최대 필터의 컬러 값을 나타낼 수 있다. 제1 선(720), 제2 선(730) 및 제3 선(740) 각각 내의 점은 상기 점의 수평 좌표에 대응하는 픽셀을 나타낼 수 있다. 점의 그래프(700) 내에서의 높이는 대응하는 픽셀의 컬러 값을 나타낼 수 있다.Each point of the
최소-최대 필터가 적용됨에 따라, 제1 선(720)의 각 점 중 제2 선(730)의 대응하는 점보다 더 높게 위치한 점은 이진화에 의해 제3 선(740) 내에서 제2 이진 값을 갖는 점이 된다. 또한, 제1 선(720)의 각 점 중 제2 선(730)의 대응하는 점보다 더 낮게 위치한 점은 이진화에 의해 제3 선(740) 내에서 제1 이진 값을 갖는 점이 된다.As the minimum-maximum filter is applied, the point located higher than the corresponding point of the
제1 선(720)의 각 점 중 도 5을 참조하여 전술된 이상 점(550)에 대응하는 이상 점(750)이 도시되었다. 최소-최대 필터가 적용됨으로써 이상 점(750)은 상대적으로 높은 컬러 값을 가짐에도 불구하고, 최소-최대 필터의 평균 값보다는 낮은 값을 갖게된다. 따라서, 제3 선(740) 내에서 이상 점(750)에 대응하는 점은 제1 이진 값을 갖는다. 결과적으로, 제3 선(740)은 일정 폭을 갖는 제1 이진 값들과 일정 폭을 갖는 제2 이진 값들이 주기적으로 반복되는 파형을 가질 수 있다. 제1 이진 값들의 폭을 폭 1로 명명하고, 제2 이진 값들의 폭을 폭 2로 명명한다. 또한, 제어부(120)는 주기적으로 반복되는 파형의 전체 크기를 인식할 수 있다.An
도 2를 참조하여 전술된 단계(264)에서, 제어부(120)는 이진화된 수평선 내에서 횡단 보도를 나타내는 패턴을 검출할 수 있다. 여기서, 이진화된 수평선이란 수평선 내의 픽셀들 각각이 이진화된 것을 의미할 수 있다. 즉, 이진화된 수평선은 전술된 제3 선(740)일 수 있다. 상기의 패턴은 특정한 제1 설정 값 이상의 폭을 가질 수 있으며, 특정한 제2 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 가질 수 있다. 여기서, 폭은 폭 1 및 폭 2 중 하나 이상을 의미할 수 있다. 반복은 연속된 제1 이진 값들 및 연속된 제2 이진 값들로 이루어진 주기의 반복을 의미할 수 있다. 제3 선(740)에서 주기는 6 번 반복된 것으로 도시되었다. 예컨대, 제어부(120)는 이진화된 수평선 내에서 10 개 이상의 제1 이진 값을 갖는 픽셀들 및 10 개 이상의 제2 이진 값을 픽셀들로 구성된 주기가 4 회 이상 반복된 경우, 상기의 이진화된 수평 선이 횡단 보도를 나타낸다는 것을 인식할 수 있고, 횡단 보도를 검출할 수 있다.In
전술된 수평 선은 검출 영역 내의 복수 개의 수평 선들일 수 있다. 제어부(120)는 복수 개의 수평 선들을 각각 이진화함으로써 복수 개의 이진화된 수평 선들을 생성할 수 있고, 복수 개의 이진화된 수평 선들을 사용함으로써 영상(또는, 검출 영역) 내에서 횡단 보도를 검출할 수 있다.The aforementioned horizontal line may be a plurality of horizontal lines in the detection area. The
복수 개의 이진화된 수평 선들 내에서, 횡단 보도는 사각형의 흑색 블록 및 백색 블록이 반복되는 형태로서 나타날 수 있다. 따라서, 횡단 보도를 검출하기 위해 사용되는 패턴은 제1 이진 값 및 제2 이진 값으로 구성된 2 차원 평면 패턴일 수 있다. 패턴은 제3 설정 값 이상의 높이 및 제2 설정 값 이상의 폭을 가질 수 있으며, 제5 설정 값 이상의 횟수로 반복되는 흑색 및 백색의 사각 파형의 형태를 가질 수 있다.
Within a plurality of binarized horizontal lines, a crosswalk can appear as a repeating form of a square black block and a white block. Thus, the pattern used to detect a pedestrian crossing may be a two-dimensional planar pattern consisting of a first binary value and a second binary value. The pattern may have a height equal to or higher than the third set value and a width equal to or greater than the second set value and may have the form of black and white square waveforms repeated a number of times larger than the fifth set value.
실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 특히, 본 실시예에서는 차량의 주위를 촬영한 영상을 수신하는 수신 코드, 상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어 코드 및 상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력 코드를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 매체를 포함할 수 있다. 본 실시예에 따른 프로그램은 개인용 컴퓨터(Personal Computer; PC), 네비게이터, 블랙 박스 또는 모바일 단말용 펌웨어(firmware), 프로그램(program) 또는 어플리케이션(application)(예컨대, 테블릿(tablet) 어플리케이션, 스마트폰 어플리케이션 또는 피쳐폰 VM(virtual machine) 등의 형태) 등으로 구성될 수 있다.Embodiments include a computer readable medium having program instructions for performing various computer implemented operations. Particularly, in the present embodiment, a receiving code for receiving an image photographed around the vehicle, a control code for detecting the crosswalk in the image by analyzing the image, and a control code for notifying that the crosswalk is detected when the crosswalk is detected And a computer readable medium having recorded thereon a program including an output code for outputting information. The program according to the present embodiment may be implemented as firmware for a personal computer (PC), a navigator, a black box or a mobile terminal, a program or an application (e.g., a tablet application, An application or a feature phone VM (virtual machine) or the like).
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Furthermore, the above-described file system can be recorded on a computer-readable recording medium.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
100: 전자 장치
110: 수신부
120: 제어부
130: 출력부
180: 카메라100: Electronic device
110:
120:
130:
180: camera
Claims (25)
상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어부; 및
상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력부
를 포함하고,
상기 제어부는
상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성하고, 상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출함으로써 상기 영상 내에서 상기 횡단 보도를 검출하며,
상기 최소-최대 필터는
상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교하는, 전자 장치.A receiving unit for receiving an image of the surroundings of the vehicle;
A controller for detecting the pedestrian crossing in the image by analyzing the image; And
And outputting information indicating that the crosswalk is detected when the crosswalk is detected,
Lt; / RTI >
The control unit
Generating a binarized image of the image by applying a minimum-maximum filter to a horizontal line of the image, detecting the crosswalk in the image by detecting a pattern representing the crosswalk in the binarized image,
The minimum-
And compares a color value of a particular one of the horizontal lines with an average value of a maximum value and a minimum value.
상기 수신부가 수신한 상기 영상은 컬러 영상이고,
상기 제어부는 상기 영상을 그레이 스케일(gray scale)로 변환하는, 전자 장치.The method according to claim 1,
Wherein the image received by the receiver is a color image,
And the control unit converts the image into a gray scale.
상기 제어부는 상기 영상 중 검출 영역 내에서 상기 횡단 보도를 검출하는, 전자 장치.The method according to claim 1,
Wherein the control unit detects the crosswalk in the detection area of the image.
상기 제어부는 상기 영상 내에서 차선을 검출하고, 상기 검출된 차선에 기반하여 상기 검출 영역을 설정하는, 전자 장치.The method of claim 3,
Wherein the control unit detects a lane in the image and sets the detection area based on the detected lane.
상기 제어부는 상기 영상에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 상기 영상 내의 노이즈를 제거하는, 전자 장치.The method according to claim 1,
Wherein the controller removes noise in the image by applying a close operation using a square element to the image.
상기 횡단 보도를 나타내는 상기 패턴은 제1 설정 값 이상의 높이 및 제2 설 정 값 이상의 폭을 가지며, 제3 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 갖는, 전자 장치.The method according to claim 1,
Wherein the pattern representing the crosswalk has a height equal to or greater than the first setting value and a width equal to or greater than the second setting value and having the form of a square wave shape repeated a number of times greater than or equal to the third setting value.
상기 최소-최대 필터는 상기 비교의 결과에 따라 상기 특정한 픽셀의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정하는, 전자 장치.The method according to claim 1,
Wherein the minimum-maximum filter determines the binary value of the color value of the particular pixel as one of a first binary value and a second binary value according to the result of the comparison.
상기 제1 이진 값을 갖는 픽셀들간의 주기와 상기 제2 이진 값을 갖는 픽셀들 간의 주기가 미리 설정된 횟수 이상 반복된 경우, 상기 영상에서 상기 횡단보도를 검출하는 전자 장치.9. The method of claim 8,
And detects the crosswalk in the image if the period between the pixels having the first binary value and the period between the pixels having the second binary value are repeated a predetermined number of times or more.
상기 최소 값은 상기 수평 선 중 상기 특정한 픽셀을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값이고, 상기 최대 값은 상기 픽셀들의 컬러 값들 중 가장 큰 값인, 전자 장치.The method according to claim 1,
Wherein the minimum value is the smallest value among the color values of the pixels within a certain range based on the specific pixel of the horizontal line and the maximum value is the largest one of the color values of the pixels.
상기 일정한 범위의 길이는 상기 수평 선의 전체 길이의 1/n이고, 상기 n은 1 이상인, 전자 장치.11. The method of claim 10,
The length of the constant range is 1 / n of the total length of the horizontal line, and n is 1 or more.
상기 특정한 픽셀은 상기 일정한 범위의 중심인, 전자 장치.11. The method of claim 10,
Wherein the specific pixel is the center of the constant range.
상기 수평 선은 검출 영역 내의 복수 개의 수평 선들인, 전자 장치.The method according to claim 1,
Wherein the horizontal line is a plurality of horizontal lines in the detection area.
상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 단계; 및
상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 단계
를 포함하고,
상기 횡단 보도를 검출하는 단계는
상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성하는 단계; 및
상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출하는 단계
를 포함하며,
상기 최소-최대 필터는
상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교하는, 횡단 보도 검출 방법.Receiving an image of the surroundings of the vehicle;
Detecting a pedestrian crossing in the image by analyzing the image; And
And outputting information indicating that the crosswalk is detected when the crosswalk is detected
Lt; / RTI >
The step of detecting the crosswalk
Generating a binarized binary image by applying a minimum-maximum filter to a horizontal line of the image; And
Detecting a pattern representing the crosswalk in the binarized image
/ RTI >
The minimum-
And comparing the color value of a specific one of the horizontal lines with an average value of a maximum value and a minimum value.
상기 수신된 영상은 컬러 영상이고,
상기 영상을 그레이 스케일(gray scale)로 변환하는 단계
를 더 포함하는, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the received image is a color image,
Converting the image to a gray scale
Further comprising the steps of:
검출 영역을 설정하는 단계
를 더 포함하고,
상기 횡단 보도는 상기 영상 중 검출 영역 내에서 검출되는, 횡단 보도 검출 방법.15. The method of claim 14,
Setting the detection area
Further comprising:
Wherein the crosswalk is detected in a detection area of the image.
상기 검출 영역을 설정하는 단계는,
상기 영상 내에서 차선을 검출하는 단계; 및
상기 검출된 차선에 기반하여 상기 검출 영역을 설정하는 단계
를 포함하는, 횡단 보도 검출 방법.17. The method of claim 16,
Wherein the step of setting the detection region comprises:
Detecting a lane in the image; And
Setting the detection area based on the detected lane
And detecting the crosswalk.
상기 영상에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 상기 영상 내의 노이즈를 제거하는 단계
를 더 포함하는, 횡단 보도 검출 방법.15. The method of claim 14,
Removing noise in the image by applying a closure operation using a square element to the image
Further comprising the steps of:
상기 패턴은 제1 설정 값 이상의 높이 및 제2 설정 값 이상의 폭을 가지며, 제3 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 갖는, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the pattern has a height equal to or greater than a first set value and a width equal to or greater than a second set value and having a shape of a square waveform repeated at a frequency equal to or greater than a third set value.
상기 최소-최대 필터는 상기 비교의 결과에 따라 상기 특정한 픽셀의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정하는, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the minimum-maximum filter determines the binary value of the color value of the particular pixel as one of a first binary value and a second binary value according to the result of the comparison.
상기 제1 이진 값을 갖는 픽셀들간의 주기와 상기 제2 이진 값을 갖는 픽셀들 간의 주기가 미리 설정된 횟수 이상 반복된 경우, 상기 영상에서 상기 횡단보도를 검출하는, 횡단 보도 검출 방법.22. The method of claim 21,
And detecting the crosswalk in the image if the period between the pixels having the first binary value and the period between the pixels having the second binary value are repeated a predetermined number of times or more.
상기 최소 값은 상기 수평 선 중 상기 특정한 픽셀을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 최소 값이고, 상기 최대 값은 상기 픽셀들의 컬러 값들 중 최대 값인, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the minimum value is a minimum value among color values of pixels within a certain range based on the specific pixel among the horizontal lines and the maximum value is a maximum value among color values of the pixels.
상기 일정한 범위의 길이는 상기 수평 선의 전체 길이의 1/n이고, 상기 n은 1 이상인, 횡단 보도 검출 방법.24. The method of claim 23,
Wherein the predetermined range of length is 1 / n of the total length of the horizontal line, and n is 1 or more.
차량의 주위를 촬영한 영상을 수신하는 수신 코드;
상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어 코드; 및
상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력 코드
를 포함하고,
상기 제어 코드는
상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성하고, 상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출함으로써 상기 영상 내에서 상기 횡단 보도를 검출하며,
상기 최소-최대 필터는
상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교하는 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A recording medium on which a program for providing a function of detecting a crosswalk is recorded,
A reception code for receiving an image of the surroundings of the vehicle;
A control code for detecting a pedestrian crossing in the image by analyzing the image; And
An output code for outputting information indicating that the crosswalk is detected when the crosswalk is detected;
Lt; / RTI >
The control code
Generating a binarized image of the image by applying a minimum-maximum filter to a horizontal line of the image, detecting the crosswalk in the image by detecting a pattern representing the crosswalk in the binarized image,
The minimum-
And compares a color value of a specific one of the horizontal lines with an average value of a maximum value and a minimum value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120015866A KR101440293B1 (en) | 2012-02-16 | 2012-02-16 | Apparatus and method for detecting crosswalk |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120015866A KR101440293B1 (en) | 2012-02-16 | 2012-02-16 | Apparatus and method for detecting crosswalk |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130094535A KR20130094535A (en) | 2013-08-26 |
KR101440293B1 true KR101440293B1 (en) | 2014-09-17 |
Family
ID=49218288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120015866A KR101440293B1 (en) | 2012-02-16 | 2012-02-16 | Apparatus and method for detecting crosswalk |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101440293B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10254236B2 (en) | 2016-09-23 | 2019-04-09 | Samsung Electronics Co., Ltd. | Methods of measuring patterns and methods of manufacturing semiconductor devices including the same |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309313A (en) * | 2005-04-26 | 2006-11-09 | Fuji Heavy Ind Ltd | Road recognition device |
JP2008143387A (en) * | 2006-12-11 | 2008-06-26 | Fujitsu Ten Ltd | Surrounding area monitoring device and surrounding area monitoring method |
JP2011192071A (en) * | 2010-03-15 | 2011-09-29 | Aisin Seiki Co Ltd | Pedestrian crossing detector, pedestrian crossing detection system, pedestrian crossing detection method and program |
-
2012
- 2012-02-16 KR KR1020120015866A patent/KR101440293B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309313A (en) * | 2005-04-26 | 2006-11-09 | Fuji Heavy Ind Ltd | Road recognition device |
JP2008143387A (en) * | 2006-12-11 | 2008-06-26 | Fujitsu Ten Ltd | Surrounding area monitoring device and surrounding area monitoring method |
JP2011192071A (en) * | 2010-03-15 | 2011-09-29 | Aisin Seiki Co Ltd | Pedestrian crossing detector, pedestrian crossing detection system, pedestrian crossing detection method and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10254236B2 (en) | 2016-09-23 | 2019-04-09 | Samsung Electronics Co., Ltd. | Methods of measuring patterns and methods of manufacturing semiconductor devices including the same |
Also Published As
Publication number | Publication date |
---|---|
KR20130094535A (en) | 2013-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9721460B2 (en) | In-vehicle surrounding environment recognition device | |
JP5997276B2 (en) | Three-dimensional object detection device and foreign object detection device | |
KR20220000977A (en) | Apparatus and method for providing guidance information using crosswalk recognition result | |
KR100816377B1 (en) | Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same | |
JP5760090B2 (en) | Biological recognition device | |
JP2014106704A (en) | In-vehicle image processing device | |
JP2010088045A (en) | Night view system, and nighttime walker display method | |
JP6068833B2 (en) | Car color detector | |
JP2007141052A (en) | Road section line detector | |
CN107844761B (en) | Traffic sign detection method and device | |
KR101406316B1 (en) | Apparatus and method for detecting lane | |
JP2007323578A (en) | Vehicle periphery monitoring device | |
JP5983729B2 (en) | White line detection device, white line detection filter device, and white line detection method | |
KR101374653B1 (en) | Apparatus and method for detecting movement of vehicle | |
JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP2008077154A (en) | Vehicle periphery supervision unit | |
JP2016110373A (en) | Curve mirror detection device | |
KR101440293B1 (en) | Apparatus and method for detecting crosswalk | |
JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP5642785B2 (en) | Vehicle periphery monitoring device | |
JP2011221630A (en) | Vehicle periphery monitoring device | |
JP3779229B2 (en) | Identification method, identification device, and traffic control system | |
KR101154110B1 (en) | Apparatus and method for measuring velocity of moving vehicle using image processing method | |
JP5484118B2 (en) | Vehicle periphery monitoring device | |
CN109886120B (en) | Zebra crossing detection method and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20180904 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190821 Year of fee payment: 6 |