KR101440293B1 - Apparatus and method for detecting crosswalk - Google Patents

Apparatus and method for detecting crosswalk Download PDF

Info

Publication number
KR101440293B1
KR101440293B1 KR1020120015866A KR20120015866A KR101440293B1 KR 101440293 B1 KR101440293 B1 KR 101440293B1 KR 1020120015866 A KR1020120015866 A KR 1020120015866A KR 20120015866 A KR20120015866 A KR 20120015866A KR 101440293 B1 KR101440293 B1 KR 101440293B1
Authority
KR
South Korea
Prior art keywords
image
value
crosswalk
detecting
minimum
Prior art date
Application number
KR1020120015866A
Other languages
Korean (ko)
Other versions
KR20130094535A (en
Inventor
이한우
Original Assignee
팅크웨어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 팅크웨어(주) filed Critical 팅크웨어(주)
Priority to KR1020120015866A priority Critical patent/KR101440293B1/en
Publication of KR20130094535A publication Critical patent/KR20130094535A/en
Application granted granted Critical
Publication of KR101440293B1 publication Critical patent/KR101440293B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

영상 내에서 횡단 보도를 검출하기 위한 방법 및 장치가 제공된다. 전자 장치는 차량의 주위를 촬영한 영상을 수신한다. 전자 장치는 영상을 분석함으로써 영상 내에서 횡단 보도를 검출하며, 횡단 보도가 검출된 경우 횡단 보도가 검출되었음을 알리는 정보를 출력할 수 있다. 횡단 보도 검출 성능을 향상시키기 위해, 전자 장치는 영상을 그레이-스케일로 변환할 수 있고, 영상 내에서 검출 영역을 설정할 수 있으며, 검출 영역 내에서 횡단 보도를 나타내는 일정한 패턴을 검출할 수 있다.A method and apparatus for detecting a crosswalk in an image is provided. The electronic device receives an image of the surroundings of the vehicle. The electronic device can detect the crosswalk in the image by analyzing the image and output information indicating that the crosswalk has been detected when the crosswalk is detected. To improve pedestrian detection performance, the electronic device can convert the image to a gray-scale, set the detection area within the image, and detect a constant pattern representing the crosswalk within the detection area.

Description

횡단 보도를 검출하는 장치 및 방법{APPARATUS AND METHOD FOR DETECTING CROSSWALK}[0001] APPARATUS AND METHOD FOR DETECTING CROSSWALK [0002]

본 발명의 실시예들은 횡단 보도를 검출하는 장치 및 방법에 관한 것이다.Embodiments of the present invention are directed to an apparatus and method for detecting a crosswalk.

영상 내에서 횡단 보도를 검출하는 장치 및 방법이 개시된다.An apparatus and method for detecting a crosswalk in an image is disclosed.

차량의 주행 시 가장 중요한 것 중 하나는 교통 사고의 예방을 비롯한 안정성이다. 안정성을 위해 차량의 자세를 제어하거나, 차량의 구성 장치들의 기능을 제어하는 다양한 보조 장치가 차량에 작창되고, 안전 벨트 및 에어백 등과 같은 안전 장치가 차량에 장착된다. 또한, 블랙박스(black box)가 차량 내에 설치된 경우, 차량의 각종 센서들로부터 전송되는 데이터가 블랙박스 내에 저장될 수 있다. 차량의 사고가 발생한 경우 차량에서 상기의 블랙박스를 회수하고, 회수된 블랙박스 내에 저장된 데이터를 분석함으로써 사고의 원인이 규명될 수 있다.One of the most important things when driving a vehicle is safety, including prevention of traffic accidents. Various auxiliary devices for controlling the posture of the vehicle for controlling the stability of the vehicle or controlling the functions of the constituent devices of the vehicle are installed in the vehicle, and a safety device such as a seat belt and an airbag is mounted on the vehicle. Further, when a black box is installed in the vehicle, data transmitted from various sensors of the vehicle can be stored in the black box. In the event of a vehicle accident, the cause of the accident can be identified by retrieving the black box from the vehicle and analyzing the data stored in the recovered black box.

안전한 주행을 위해, 운전자는 주행 중 전방에 위치한 사람 및 사물을 신속하게 인식하고, 차량의 운행을 조절할 필요가 있다. 네비게이터 또는 블랙 박스와 같은 차량에 장착된 전자 기기는 차량의 주변을 계속적으로 촬영할 수 있다. 상기의 전자 기기는 컴퓨터 비젼 알고리즘 등을 사용함으로써 영상 내에서 차량 주변의 상황을 계속 모니터링할 수 있으며, 특정한 상황이 검출된 경우 검출된 상황에 관련된 정보를 운전자에게 알릴 수 있다.For safe driving, the driver needs to be able to quickly recognize persons and objects located in front of the vehicle while driving, and to control the operation of the vehicle. An electronic device mounted on a vehicle such as a navigator or a black box can continuously photograph the periphery of the vehicle. The electronic device can continuously monitor the environment around the vehicle by using a computer vision algorithm or the like and can inform the driver of information related to the detected situation when a specific situation is detected.

차량에서 촬영된 영상을 분석하는 장치로서, 한국공개특허 제10-2007-0082980호(공개일 2007년 08월 23일)에는 차량에 설치된 카메라를 통해 수집된 영상을 분석하여, 영상 내에서 객체(즉, 차량 번호)를 인식하는 이동식 위법 차량 단속 장치가 개시되었다.Korean Patent Laid-Open No. 10-2007-0082980 (published on Aug. 23, 2007) analyzes an image captured by a camera installed in a vehicle, That is, a vehicle number), is disclosed.

일 실시예는 영상 내에서 횡단 보도를 검출하는 장치 및 방법을 제공할 수 있다.One embodiment may provide an apparatus and method for detecting a crosswalk in an image.

일 실시예는 영상 내에서 횡단 보도를 검출하기 위해 영상을 그레이-스케일로 변환하고, 영상 내에서 검출 영역을 설정하고, 설정된 검출 영역 내에서 횡단 보도를 나타내는 일정한 패턴을 검출하는 장치 및 방법을 제공할 수 있다.One embodiment provides an apparatus and method for converting an image into a gray-scale for detecting a pedestrian crossing in an image, setting a detection area in the image, and detecting a certain pattern representing a crosswalk within the set detection area can do.

일 측면에 있어서, 차량의 주위를 촬영한 영상을 수신하는 수신부, 상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어부 및 상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력부를 포함하는, 전자 장치가 제공된다.A control unit for detecting a crosswalk in the image by analyzing the image; and a control unit for outputting information indicating that the crosswalk is detected when the crosswalk is detected, And an output section for outputting an output signal.

상기 전자 장치는 상기 제1 차량에 부착될 수 있다.The electronic device may be attached to the first vehicle.

상기 영상은 상기 차량의 전방을 촬영한 영상일 수 있다.The image may be an image of the front of the vehicle.

상기 수신부가 수신한 상기 영상은 컬러 영상일 수 있다.The image received by the receiving unit may be a color image.

상기 제어부는 상기 영상을 그레이 스케일(gray scale)로 변환할 수 있다.The controller may convert the image into a gray scale.

상기 제어부는 상기 영상 중 검출 영역 내에서 상기 횡단 보도를 검출할 수 있다.The control unit may detect the crosswalk in the detection area of the image.

상기 제어부는 특정한 조건에 의해 결정된 관심 영역을 상기 검출 영역으로 설정할 수 있다.The control unit may set a region of interest determined by a specific condition as the detection region.

상기 제어부는 상기 영상 내에서 차선을 검출하고, 상기 검출된 차선에 기반하여 상기 검출 영역을 설정할 수 있다.The control unit may detect a lane in the image and set the detection area based on the detected lane.

상기 제어부는 상기 영상에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 상기 영상 내의 노이즈를 제거할 수 있다.The controller may remove noise in the image by applying a close operation using a square element to the image.

상기 제어부는 상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성할 수 있고, 상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출함으로써 상기 영상 내에서 상기 횡단 보도를 검출할 수 있다.Wherein the controller is able to generate a binarized image of the image by applying a minimum-maximum filter to the horizontal line of the image, and by detecting a pattern representing the crosswalk in the binarized image, Can be detected.

상기 횡단 보도를 나타내는 상기 패턴은 제1 설정 값 이상의 높이 및 제2 설 정 값 이상의 폭을 가지며, 제3 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 가질 수 있다.The pattern representing the crosswalk may have a height equal to or greater than the first set value and a width equal to or greater than the second set value and may take the form of a square waveform repeated at a frequency equal to or greater than the third set value.

상기 최소-최대 필터는 상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교할 수 있고, 상기 비교의 결과에 따라 상기 특정한 픽셀의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정할 수 있다.Wherein the minimum-maximum filter is capable of comparing a color value of a specific one of the horizontal lines with an average value of a maximum value and a minimum value and comparing the binary value of the color value of the specific pixel with a first binary value and a second binary value, Can be determined as one of the second binary values.

상기 최소 값은 상기 수평 선 중 상기 특정한 픽셀을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값일 수 있고, 상기 최대 값은 상기 픽셀들의 컬러 값들 중 가장 큰 값일 수 있다.The minimum value may be the smallest value among the color values of the pixels within a certain range based on the specific pixel among the horizontal lines, and the maximum value may be the largest value among the color values of the pixels.

상기 일정한 범위의 길이는 상기 수평 선의 전체 길이의 1/n일 수 있다. 상기 n은 1 이상일 수 있다.The length of the predetermined range may be 1 / n of the entire length of the horizontal line. The n may be one or more.

상기 특정한 픽셀은 상기 일정한 범위의 중심일 수 있다.The particular pixel may be the center of the constant range.

상기 수평 선은 검출 영역 내의 복수 개의 수평 선들일 수 있다.The horizontal line may be a plurality of horizontal lines in the detection area.

다른 일 측에 따르면, 차량의 주위를 촬영한 영상을 수신하는 단계, 상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 단계 및 상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 단계를 포함하는, 횡단 보도 검출 방법이 제공된다.According to another aspect, there is provided a method of detecting a crosswalk, comprising the steps of: receiving an image taken around a vehicle; detecting a crosswalk in the image by analyzing the image; And outputting the crosswind detection signal.

네비게이터 또는 블랙 박스 등 차량에 장착되는 기존의 전자 장치에 영상 내에서 횡단 보도를 검출하는 기능을 추가함으로써 차량의 주행 중 전방에 횡단 보도가 있음을 알릴 수 있다.It is possible to inform a conventional electronic device mounted on a vehicle such as a navigator or a black box that a crosswalk is detected in the image so that a crosswalk is present in front of the running of the vehicle.

상기의 횡단 보도를 검출하는 기능은 기존의 전자 장치의 소프트웨어 또는 펌웨어 등을 업그레이드(upgrade)함으로써 전자 기기에 추가될 수 있다. 또한, 차량의 전방에 장착된 블랙 박스 또는 스마트폰의 카메라로부터 촬영된 영상을 고성능의 네비게이터 또는 스마트폰이 처리함으로써, 추가적인 하드웨어를 요구하지 않고 차량 내에서 일반적으로 사용되는 기존의 전자 기기들을 사용하여 횡단 보도를 검출하는 기능이 제공될 수 있다.The function of detecting the crosswalk can be added to the electronic device by upgrading the software or firmware of the existing electronic device. Further, a high-performance navigator or a smart phone processes an image photographed from a camera of a black box or a smart phone mounted in front of the vehicle, so that it is possible to use existing electronic devices generally used in a vehicle without requiring additional hardware A function of detecting a crosswalk can be provided.

도 1은 일 실시예에 따른 전자 장치의 블록도이다.
도 2는 일 실시예에 따른 횡단 보도 검출 방법의 흐름도이다.
도 3은 일 예에 따른 컬러 영상의 그레이 영상으로의 변환을 설명한다.
도 4는 일 예에 따른 검출 영역의 설정 및 검출 영역의 향상을 설명한다.
도 5는 일 예에 따른 수평선의 컬러 값의 변화를 설명한다.
도 6은 일 예에 따른 최소-필터의 적용을 설명한다.
도 7은 일 예에 따른 최소-최대 필터를 적용함으로써 생성된 패턴을 설명한다.1 is a block diagram of an electronic device according to one embodiment.
2 is a flow chart of a crosswalk detection method in accordance with one embodiment.
3 illustrates conversion of a color image into a gray image according to an example.
Fig. 4 illustrates the setting of the detection region and the improvement of the detection region according to an example.
5 illustrates a change in the color value of the horizontal line according to an example.
Figure 6 illustrates the application of a min-filter according to an example.
FIG. 7 illustrates a pattern generated by applying a minimum-maximum filter according to an example.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, embodiments will be described in detail with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

하기에서, 영상 내에서 특정한 객체를 검출한다는 것은, 영상 내에서 특정한 객체를 나타내는 영역을 검출한다는 것을 의미할 수 있다. 즉, 영상 내에서 횡단 보도를 검출한다는 것은 영상 내에서 횡단 보도가 촬영된 것을 나타내는 영역을 검출한다는 것을 의미할 수 있다.
In the following, detecting a specific object in an image may mean detecting an area representing a specific object in the image. That is, detecting a pedestrian crossing in an image may mean detecting an area indicating that the pedestrian crossing is photographed in the image.

도 1은 일 실시예에 따른 전자 장치의 블록도이다.1 is a block diagram of an electronic device according to one embodiment.

전자 장치(100)는, 예컨대 네비게이터(navigator), 블랙 박스(block box), 타블렛(tablet) 및 스마트폰(smartphone) 등의 장치이거나, 상기의 장치의 일부일 수 있다.The electronic device 100 may be, for example, a device such as a navigator, a block box, a tablet and a smartphone, or it may be part of the above device.

전자 장치(100)는 운전자가 운행하는 차량 내에 부착, 설치 또는 장착된 장치일 수 있으며, 차량 내에서 운전자에 의해 사용될 수 있는 장치일 수 있다.The electronic device 100 may be a device that is attached, installed, or mounted in a vehicle that the driver is driving, and may be a device that can be used by a driver in the vehicle.

전자 장치(100)는 수신부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다.The electronic device 100 may include a receiving unit 110, a control unit 120, and an output unit 130.

또한, 전자 장치(100)는 카메라(180)를 포함할 수 있다. 예컨대, 전자 장치(100)가 스마트폰인 경우, 카메라(180)는 전자 장치(100) 내에 포함될 수 있다. 또는, 카메라(180)는 전자 장치(100)와 통신할 수 있는 별개의 장치일 수 있다.In addition, the electronic device 100 may include a camera 180. For example, if the electronic device 100 is a smartphone, the camera 180 may be included within the electronic device 100. Alternatively, the camera 180 may be a separate device capable of communicating with the electronic device 100.

카메라(180)는 차량의 주위를 촬영함으로써 영상을 생성할 수 있다. 카메라(180)는 차량의 전방을 촬영할 수 있다. 카메라(180)는 일정 해상도(또는 크기)(예컨대, 640x480)의 영상을 촬영할 수 있다. 이때, 촬영된 영상은 알지비(Red Green Blue; RGB) 컬러 영상일 수 있다. 카메라(180)는 차량의 전방을 촬영할 수 있도록 전자 장치(100)의 뒤인, 차량의 앞 유리를 바라보는 위치에 장착될 수 있다.The camera 180 can generate an image by photographing the surroundings of the vehicle. The camera 180 can photograph the front of the vehicle. The camera 180 can take an image of a constant resolution (or size) (e.g., 640x480). At this time, the photographed image may be a Red Green Blue (RGB) color image. The camera 180 may be mounted at a position facing the windshield of the vehicle, behind the electronic device 100, so that the front of the vehicle can be photographed.

수신부(110)는 차량의 주위를 촬영한 영상을 수신할 수 있다. 수신부(110)는 정보를 나타내는 신호를 수신하여 제어부(120)로 전송하는 네트워크 인터페이스(network interface), 입력 단자(input terminal) 또는 통신용 칩(chip) 등일 수 있다.The receiving unit 110 can receive an image of the surroundings of the vehicle. The receiving unit 110 may be a network interface, an input terminal, a communication chip, or the like for receiving a signal indicating information and transmitting the signal to the controller 120.

제어부(120)는 영상을 분석함으로써 영상 내에서 횡단 보도를 검출할 수 있다.The control unit 120 can detect the pedestrian crossing in the image by analyzing the image.

출력부(130)는 횡단 보도가 검출된 경우, 횡단 보도가 검출되었음을 나타내는 정보를 출력할 수 있다. 횡단 보도가 검출되었음을 나타내는 정보는 영상 정보 또는 음성 정보일 수 있다. 예컨대, 출력부(130)가 전자 장치(100)의 디스플레이(display)인 경우, 전자 장치(100)는 디스플레이 내에 특정한 문자, 기호, 도형 또는 이미지(image) 등을 출력함으로써 운전자에게 차량의 주변에 횡단 보도가 있음을 알릴 수 있다. 또는, 출력부(130)가 전자 장치(100)의 스피커(speaker)인 경우, 전자 장치(100)는 스피커를 통해 차량의 주변에 횡단 보도가 있음을 나타내는 음성 또는 음향을 출력할 수 있다.
The output unit 130 may output information indicating that a crosswalk is detected when a crosswalk is detected. The information indicating that the crosswalk is detected may be image information or audio information. For example, when the output unit 130 is a display of the electronic device 100, the electronic device 100 outputs a specific character, symbol, graphic or image, etc., You can tell that there is a crosswalk. Alternatively, if the output 130 is a speaker of the electronic device 100, the electronic device 100 may output a voice or sound through the speaker indicating that there is a pedestrian crossing around the vehicle.

도 2는 일 실시예에 따른 횡단 보도 검출 방법의 흐름도이다.2 is a flow chart of a crosswalk detection method in accordance with one embodiment.

단계(210)에서, 차량에 부착된 카메라(180) 또는 전자 장치(100)는 영상을 촬영할 수 있다. 영상은 차량의 주위를 촬영한 영상일 수 있으며, 차량의 전방을 촬영한 영상일 수 있다. 촬영된 영상은 RGB 영상과 같은 컬러 영상일 수 있다.In step 210, the camera 180 or the electronic device 100 attached to the vehicle can take an image. The image may be an image of the surroundings of the vehicle, or may be an image of the front of the vehicle. The photographed image may be a color image such as an RGB image.

단계(220)에서, 수신부(110)는 촬영된 영상을 수신할 수 있다. 수신된 영상은 RGB 영상과 같은 컬러 영상일 수 있다.In step 220, the receiving unit 110 may receive the photographed image. The received image may be a color image such as an RGB image.

단계(230)에서, 제어부(120)는 수신된 영상을 그레이 스케일(gray scale)로 변환할 수 있다.In step 230, the controller 120 may convert the received image into a gray scale.

단계(240)에서, 제어부(120)는 검출 영역을 설정할 수 있다. 전자 장치(100)가 수신한 영상 중 일부분은 하늘, 지평선 또는 건물 등 횡단 보도가 위치할 수 있는 도로 외의 다른 영역만을 나타낼 수 있다. 따라서, 제어부(120)가 영상의 모든 영역에서 횡단 보도를 검출하려고 시도할 경우, 횡단 보도 외의 다른 객체가 횡단 보도로서 잘못 검출될 가능성이 높아질 수 있다. 따라서, 제어부(120)는 영상 중 검출 영역 내에서만 횡단 보도를 검출할 수 있다.In step 240, the control unit 120 can set the detection area. Some of the images received by the electronic device 100 may represent only areas other than roads where crosswalks, such as sky, horizon, or buildings, may be located. Therefore, when the control unit 120 attempts to detect the crosswalk in all areas of the image, the possibility that another object other than the crosswalk is erroneously detected as a crosswalk can be increased. Therefore, the control unit 120 can detect the crosswalk only within the detection area of the image.

단계(240)는 단계들(242, 244 및 246) 중 전부 또는 일부를 포함할 수 있다.Step 240 may include all or a portion of steps 242, 244, and 246.

단계(242)에서, 제어부(120)는 특정한 조건에 의해 결정된 관심 영역(Region Of Interest; ROI)을 검출 영역으로 설정할 수 있다. 여기서, 특정한 조건은, 카메라(180)의 설치 각도, 카메라(180)의 시야 각 및 영상의 해상도 등을 의미할 수 있다. 관심 영역을 결정하기 위한 특정한 조건에 대해 도 4를 참조하여 하기에서 상세히 설명된다.In step 242, the control unit 120 may set a region of interest (ROI) determined by a specific condition as a detection area. Here, the specific conditions may mean the installation angle of the camera 180, the viewing angle of the camera 180, and the resolution of the image. Specific conditions for determining the region of interest are described in detail below with reference to FIG.

단계(244)에서, 제어부(120)는 영상 내에서 차선을 검출할 수 있다.In step 244, the control unit 120 can detect the lane in the image.

단계(246)에서, 제어부(120)는 검출된 차선에 기반하여 검출 영역을 설정할 수 있다.In step 246, the control unit 120 may set the detection area based on the detected lane.

단계(250)에서, 제어부(120)는 영상(또는, 검출 영역) 내의 노이즈를 제거할 수 있다. 제어부(120)는 영상(또는, 검출 영역)에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 영상(또는, 검출 영역) 내의 노이즈를 제거할 수 있다.In step 250, the control unit 120 can remove noise in the image (or detection area). The control unit 120 can remove noise in the image (or detection region) by applying a close operation using a rectangular element to the image (or detection region).

단계(260)에서, 제어부(120)는 영상(또는, 검출 영역)을 분석함으로써 영상(또는, 검출 영역) 내에서 횡단 보도를 검출할 수 있다.In step 260, the control unit 120 can detect the pedestrian crossing within the image (or detection area) by analyzing the image (or detection area).

단계(260)는 단계들(262 및 264)을 포함할 수 있다.Step 260 may include steps 262 and 264.

단계(262)에서, 제어부(120)는 영상(또는, 검출 영역)이 이진화된 이진화(binary) 영상(또는, 검출 영역)을 생성할 수 있다. 제어부(120)는 영상(또는, 검출 영역)의 수평 선에 최소-최대 필터를 적용함으로써 영상(또는, 검출 영역)이 이진화된 이진화(binary) 영상(또는, 이진화 검출 영역)을 생성할 수 있다.In step 262, the control unit 120 may generate a binary image (or detection area) in which the image (or detection area) is binarized. The control unit 120 may generate a binary image (or a binarized detection area) in which the image (or the detection area) is binarized by applying a minimum-maximum filter to the horizontal line of the image (or the detection area) .

단계(264)에서, 제어부(120)는 이진화 영상(또는, 이진화 검출 영역) 내에서 횡단 보도를 나타내는 패턴을 검출함으로써 영상(또는, 검출 영역) 내에서 횡단 보도를 검출할 수 있다.In step 264, the control unit 120 can detect the pedestrian crossing within the image (or detection area) by detecting a pattern representing the pedestrian crossing within the binarized image (or binarized detection area).

단계(270)에서, 제어부(120)는 횡단 보도가 검출되었는지 여부를 판단할 수 있다. 횡단 보도가 검출되지 않은 경우, 절차가 종료할 수 있다. 횡단 보도가 검출된 경우, 단계(280)가 수행될 수 있다.In step 270, the control unit 120 may determine whether a crosswalk has been detected. If a crosswalk is not detected, the procedure may be terminated. If a crosswalk is detected, step 280 may be performed.

단계(280)에서, 출력부(130)는 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 나타내는 정보를 출력할 수 있다.In step 280, the output unit 130 may output information indicating that the crosswalk is detected when a crosswalk is detected.

상기의 단계들(210 내지 280)은 반복해서 수행될 수 있다. 즉, 카메라(180)는 연속적인 영상들로 구성되는 동영상을 촬영할 수 있고, 단계들(210 내지 280)이 한 번 반복될 때 마다, 전자 장치(100)는 상기의 동영상 내의 영상 내에서 횡단 보도를 검출할 수 있다.
The above steps 210 to 280 may be performed repeatedly. That is, the camera 180 can take a moving picture composed of successive images, and each time the steps 210 to 280 are repeated, the electronic device 100 can display the crosswalk Can be detected.

도 3은 일 예에 따른 컬러 영상의 그레이 영상으로의 변환을 설명한다.3 illustrates conversion of a color image into a gray image according to an example.

제1 영상(310)은 카메라(180)에 의해 촬영된 컬러 영상을 나타낼 수 있다. 제2 영상(320)은 도 2를 참조하여 전술된 단계(230)에서 제어부(120)에 의해 컬러 영상이 그레이-스케일로 변환됨으로써 생성된 그레이-스케일 영상을 나타낼 수 있다.The first image 310 may represent a color image photographed by the camera 180. The second image 320 may represent a gray-scale image generated by converting the color image into a gray-scale by the control unit 120 in the step 230 described above with reference to FIG.

컬러 영상 내의 각 픽셀들은 픽셀의 컬러를 나타내는 컬러 값을 가질 수 있다. 컬러 값은 적색 값, 녹색 값 및 청색 값을 포함할 수 있다. 즉, 컬러 영상은 RGB 컬러 영상일 수 있다.Each pixel in the color image may have a color value representing the color of the pixel. The color value may include a red value, a green value, and a blue value. That is, the color image may be an RGB color image.

흑백 영상 내의 각 픽셀들은 픽셀의 명암을 나타내는 컬러 값을 가질 수 있다. 컬러 값은 0 이상 n 이하의 정수 값일 수 있다. (n 은 1 이상의 정수) 예컨대, 특정한 픽셀이 흑색을 나타낼 경우, 특정한 픽셀의 컬러 값이 0일 수 있다. 또한, 특정한 픽셀이 백색을 나타낼 경우, 특정한 픽셀의 컬러 값은 n일 수 있다.Each pixel in the monochrome image may have a color value representing the brightness and darkness of the pixel. The color value may be an integer value ranging from 0 to n. (n is an integer equal to or greater than 1). For example, when a specific pixel indicates black, the color value of a specific pixel may be zero. Also, when a particular pixel represents white, the color value of a particular pixel may be n.

도 2를 참조하여 전술된 단계(230)에서, 제어부(120)는 카메라(180)에 의해 촬영된 컬러 영상을 그레이-스케일 영상으로 변환할 수 있다. 또한, 제어부(120)는 그레이-스케일 영상이 일정한 명암 값 분포를 갖도록 그레이-스케일 영상의 픽셀들의 컬러 값에 대한 평활화를 수행할 수 있다.In the step 230 described above with reference to FIG. 2, the control unit 120 may convert the color image photographed by the camera 180 into a gray-scale image. In addition, the control unit 120 may perform smoothing on the color values of the pixels of the gray-scale image such that the gray-scale image has a constant contrast value distribution.

예컨대, 도로의 일부가 그림자에 의해 영향을 받는 경우, 횡단 보도를 나타내는 흰 페인트 등이 제어부(120)에 의해 회색으로 잘못 인식될 수 있다. 그림자에 의한 영향을 최소화하기 위해, 광원을 보정할 수 있는 방법이 적용될 수 있다. 예컨대, 카메라(180)는 촬영에 사용할 광원을 보정할 수 있고, 보정된 광원을 사용하여 차량의 전방을 촬영함으로써 컬러 영상을 획득할 수 있다. 또는, 제어부(120)는 컬러 영상에 광원 보정 알고리즘을 적용함으로써 컬러 영상의 광원을 보정할 수 있고, 보정된 컬러 영상을 그레이-스케일 영상으로 변환할 수 있다. 한편, 차량 내부 유리에 반사된 피사체로 인한 영향으로 영상의 특정 부분에서 횡단 보도 검출이 실패할 수 있다. 카메라(180)의 렌즈 앞 단에 반사 억제 상자를 부착함으로써 반사에 의한 영향이 최소화된 보정된 영상이 획득될 수 있다.
For example, when a part of the road is affected by a shadow, a white paint or the like representing the crosswalk may be misrecognized as gray by the control unit 120. [ In order to minimize the effect of shadows, a method of calibrating the light source can be applied. For example, the camera 180 can correct the light source to be used for photographing, and can acquire the color image by photographing the front of the vehicle using the corrected light source. Alternatively, the control unit 120 can correct the light source of the color image by applying the light source correction algorithm to the color image, and convert the corrected color image into the gray-scale image. On the other hand, the crosswalk detection may fail at certain portions of the image due to the effect of the object reflected on the interior glass of the vehicle. By attaching the reflection suppressing box to the front end of the lens of the camera 180, a corrected image with the least effect of reflection can be obtained.

도 4는 일 예에 따른 검출 영역의 설정 및 검출 영역의 향상을 설명한다.Fig. 4 illustrates the setting of the detection region and the improvement of the detection region according to an example.

제어부(120)는 영상 중 일부를 검출 영역으로 설정할 수 있다. 또한, 제어부(120)는 영상 또는 영상 중 일부를 향상시킬 수 있다.The control unit 120 may set a part of the image as the detection area. In addition, the controller 120 may improve some of the images or images.

도 4에서, 검출 영역이 향상된 영상(410)이 도시되었고, 검출 영역이 향상된 영상(410) 중 검출 영역(420)이 도시되었다. 검출 영역이 설정된 경우, 제어부(120)는 검출 영역 내에서만 횡단 보도를 검출할 수 있다. 따라서, 도 4에서, 검출 영역이 향상된 영상(410) 중 검출 영역(420) 외의 다른 영역은 흑색으로 표현되었다.In Fig. 4, an image 410 with the detection area enhanced is shown, and a detection area 420 among the image 410 with the detection area improved is shown. When the detection region is set, the control section 120 can detect the crosswalk only within the detection region. Therefore, in FIG. 4, the area other than the detection area 420 among the images 410 having the improved detection area is expressed in black.

하기에서, 검출 영역을 설정하는 방법이 설명된다.In the following, a method of setting the detection area is described.

도 2를 참조하여 전술된 단계(240)에서, 제어부(120)는 그레이-스케일 영상 내에서 횡단 보도를 검출하기 위한 검출 영역을 결정할 수 있다. 도 2를 참조하여 전술된 단계(242)의 관심 영역은 카메라(180)의 설치 각도 및 시야 각에 따라 촬영된 영상 내에서 횡단 보도가 존재할 수 있는 영역으로 결정될 수 있다. 제어부(120)는 영상의 해상도에 비례하여 관심 영역의 크기를 결정할 수 있다.In step 240 described above with reference to Figure 2, the control unit 120 may determine a detection area for detecting a pedestrian crossing within the gray-scale image. The area of interest of step 242 described above with reference to FIG. 2 may be determined to be an area in which the crosswalk may be present in the photographed image according to the installation angle and viewing angle of the camera 180. The controller 120 can determine the size of the region of interest in proportion to the resolution of the image.

도 2를 참조하여 전술된 단계(242)에서, 제어부(120)는 영상 내에서 차선을 검출할 수 있다. 제어부(120)는, 예컨대 캐니(Canny) 알고리즘을 사용하여, 영상(또는, 관심 영역) 내에서 에지(edge)를 검출한 에지 영상을 생성할 수 있다. 제어부(120)는 에지 영상으로부터 차량이 주행 중인 차선을 검출할 수 있다. 제어부(120)는, 예컨대 에지 영상에 허프 변환 알고리즘을 적용함으로써, 에지 영상 내에서 직선으로서 표시되는 에지를 검출할 수 있고, 직선의 위치에 대응하는 영역을 차선으로서 인식할 수 있다. 제어부(120)는 허프 변환을 통해 에지 영상 내에 포함된 하나 이상의 직선 후보들을 검출할 수 있고, 하나 이상의 직선 후보들 중 영상(또는, 관심 영역)의 중심으로부터의 거리가 최소인 직선 후보를 차선으로 판단할 수 있다. 또한, 제어부(120)는 복수 개의 직선 후보들 중 차량의 주행 방향에 대해서 일정한 차선의 폭을 가지는 직선 후보를 차선으로 판단할 수 있다. 차선은 도로 면에 존재하며, 일정한 폭을 갖는다. 또한, 차선은 운전자의 시점에서 보았을 때, 수평 선 상으로는 나타나지 않고 차량의 진행 방향에 대응하는 선 상에 나타난다. 따라서, 제어부(120)는 차량의 진행 방향에 대응되는 복수 개의 직선 후보들 중 일정한 폭을 갖는 직선 후보를 차선으로 인식할 수 있다. 또한, 제어부(120)는 복수 개의 직선 후보들 중에서 영상(또는, 관심 영역)의 수직 중심 선을 기준으로 서로 대칭을 이루는 직선 후보들을 차선으로 판단할 수 있다.In step 242 described above with reference to Figure 2, the control unit 120 may detect lanes in the image. The control unit 120 can generate an edge image in which an edge is detected in an image (or a region of interest) using, for example, a Canny algorithm. The control unit 120 can detect the lane in which the vehicle is running from the edge image. The control unit 120 can detect, for example, an edge displayed as a straight line in the edge image by applying the Hough transform algorithm to the edge image, and can recognize the area corresponding to the position of the straight line as a lane. The control unit 120 can detect one or more straight line candidates included in the edge image through Hough transform and determine a straight line candidate having a minimum distance from the center of the image (or the region of interest) among the one or more straight line candidates as a lane can do. Also, the control unit 120 can determine a straight line candidate having a constant lane width from the plurality of straight line candidates in the running direction of the vehicle as a lane. The lane is on the road surface and has a constant width. Further, the lane appears on the line corresponding to the traveling direction of the vehicle, not on the horizontal line when viewed from the driver's viewpoint. Accordingly, the control unit 120 can recognize a straight line candidate having a certain width among the plurality of straight line candidates corresponding to the traveling direction of the vehicle as a lane. In addition, the controller 120 may determine, as a lane, straight line candidates that are symmetrical with respect to each other with reference to the vertical center line of the image (or the ROI) among the plurality of linear candidates.

도 2를 참조하여 전술된 단계(244)에서, 제어부(120)는 검출된 차선에 기반하여 검출 영역을 설정할 수 있다. 예컨대, 제어부(120)는 동영상 내에서 차선이 시작되는 위치를 기점으로 y축 방향으로 일정 거리만큼의 영역을 검출 영역으로 설정할 수 있다. 이때, 제어부(120)는 인식된 차로의 폭 및 카메라(180)의 시야각에 기반하여 차선이 시작되는 위치 및 일정 거리를 추정할 수 있다. 제어부(120)는 인식된 차선들 사이의 공간을 차로로 간주할 수 있다.In step 244 described above with reference to FIG. 2, the control unit 120 may set the detection area based on the detected lane. For example, the control unit 120 may set a detection region as a start point of a lane in the moving image and a predetermined distance in the y-axis direction. At this time, the controller 120 may estimate a position and a certain distance at which the lane starts, based on the recognized width of the lane and the viewing angle of the camera 180. The control unit 120 can regard the space between the recognized lanes as a lane.

하기에서, 영상, 영상의 일부 또는 검출 영역을 향상시키는 방법을 설명한다.In the following, a method of improving a part of an image, an image, or a detection area will be described.

횡단 보도에는 그림자로 인한 음영이 드리워질 수 있다. 또는, 횡단 보도를 표시하기 위한 페인트가 마모될 수 있으며, 스티커 또는 종이와 같은 작은 객체가 횡단 보도 위에 위치하고 있을 경우 횡단 보도의 모양이 가려질 수 있다. 또한, 횡단 보도를 촬영한 영상 내에서 노이즈가 존재할 수 있다.Shadows due to shadows may be cast on the crosswalk. Alternatively, the paint for displaying the crosswalk can be worn and the shape of the crosswalk can be obscured if a small object such as a sticker or paper is positioned over the crosswalk. In addition, there may be noise in the image of the crosswalk.

도 2를 참조하여 전술된 단계(250)에서, 횡단 보도를 나타내는 영역 내의 노이즈를 제거하고 횡단 보도의 파손된 형태를 정규화하기 위해, 제어부(120)는 영상(또는 검출 영역)에 사각형 요소를 이용하는 닫힘 영상을 적용할 수 있다. 사각형 영상을 사용하는 것은 횡단 보도가 일반적으로 흑색 또는 백색의 사각형이 연속되는 형태를 갖는다는 것에 기인한 것일 수 있다. 상기의 닫힘 영상에 의해 횡단 보도를 나타내는 영역이 더 선명하게 될 수 있다.
In step 250 described above with reference to FIG. 2, the control unit 120 uses a square element in the image (or detection area) to remove noise in the area representing the crosswalk and normalize the broken shape of the crosswalk Closed images can be applied. Using a rectangular image may be due to the fact that the crosswalk typically has a continuous shape of black or white squares. The area indicating the crosswalk can be made clearer by the closed image.

도 5는 일 예에 따른 수평선의 컬러 값의 변화를 설명한다.5 illustrates a change in the color value of the horizontal line according to an example.

도 5에서, 영상(510) 및 영상 내의 수평 선(520)이 도시되었다. 영상(510)의 하단에는 수평선의 컬러 값의 변화를 나타내는 그래프(530)가 도시되었다. 변화 선(540)은 수평 선 내의 픽셀들 각각의 컬러 값의 변화를 나타낸다.In Figure 5, an image 510 and a horizontal line 520 in the image are shown. At the bottom of the image 510, a graph 530 is shown showing the change in the color value of the horizontal line. The change line 540 represents a change in the color value of each of the pixels in the horizontal line.

연속되는 픽셀들의 컬러 값들이 상대적으로 일정할 경우(예컨대, 모든 컬러 값들이 백색에 가까운 값이거나, 흑색에 가까운 값일 경우), 변화 선(540) 중 상기의 연속되는 픽셀들에 대응하는 부분은 높은 값들들 갖는다. 반면, 연속되는 픽셀들이 컬러 값들이 상대적으로 급격하게 변화할 경우(예컨대, 흑색에서 백색으로 변화하거나 백색에서 흑색으로 변화하는 경우), 변화 선(540) 중 상기의 연속되는 픽셀들에 대응하는 부분은 낮은 값들을 갖는다. 따라서 변화 선(540) 중 높은 값에서 낮은 값으로 내려가고, 다시 낮은 값에서 높은 값으로 올라가는 구간이 짧을 수록, 수평 선이 흑색 선 및 백색 선으로 분명하게 구분되는 것으로 간주할 수 있다.If the color values of successive pixels are relatively constant (e.g., all color values are close to white or close to black), the portion of the change line 540 corresponding to the successive pixels is high Values. On the other hand, when consecutive pixels change color values relatively rapidly (for example, from black to white or from white to black), the portion of the change line 540 corresponding to the consecutive pixels Have low values. Therefore, it can be considered that the horizontal line is clearly divided into the black line and the white line as the interval from the high value to the low value of the change line 540 decreases and the interval from the low value to the high value becomes shorter.

그러나, 실제의 횡단 보도가 백색 및 흑색으로 명확하게 구분되지 않은 경우 또는 촬영된 영상 내에 노이즈가 존재하는 경우, 수평 선이 흑색 및 백색으로 분명하게 구분되지 않을 수 있다. 예컨대, 영상 내에서 횡단 보도를 나타내는 영역 중 일부에 노이즈가 있을 경우, 상기의 노이즈는 변화 선(540) 내에서 이상 점(550)으로서 나타난다. 노이즈는 흑색 또는 백색이 아닌 중간 단계의 회색으로 나타날 수 있으며, 특정한 경계를 중심으로 컬러가 분명하게 변하지 않을 수 있다. 따라서, 변화 선(540) 중 이상 점(550) 주위의 일부는 값이 상대적으로 완만하게 변화할 수 있으며, 중간 단계의 값을 가질 수 있다.However, when the actual crosswalk is not clearly distinguished as white or black, or when noise is present in the photographed image, the horizontal line may not be clearly distinguished as black and white. For example, if there is noise in a portion of the area representing the crosswalk in the image, the noise appears as an abnormal point 550 within the change line 540. Noise may appear as an intermediate gray, rather than black or white, and the color may not change appreciably around a particular boundary. Therefore, a portion of the change line 540 around the abnormal point 550 may have a relatively slowly changing value and an intermediate value.

따라서, 제어부(120)가 수평 선 내의 픽셀들의 컬러 값들 각각을 직접 이진화하는 것에 비해, 픽셀들의 컬러 값들에게 특정한 필터를 적용한 후, 필터가 적용된 컬러 값들을 이진화하는 것이 횡단 보도를 검출함에 있어서 더 낳은 결과를 도출할 수 있다.
Therefore, it is advantageous for binarizing the color values to which the filter is applied after applying a specific filter to the color values of the pixels, as compared to the controller 120 directly binarizing each of the color values of the pixels in the horizontal line. Results can be derived.

도 6은 일 예에 따른 최소-필터의 적용을 설명한다.Figure 6 illustrates the application of a min-filter according to an example.

그래프(600)의 가로 축은 수평 선 내의 픽셀들을 나타낸다. 즉, 가로 축의 특정한 좌표는 수평 선 내의 특정한 픽셀을 가리킨다. 그래프(600)의 세로 축은 픽셀의 컬러 값을 나타낸다. 컬러 값은 그레이-스케일 값일 수 있다. 예컨대, 큰 값은 백색에 가까운 색을 나타내는 값일 수 있다. 작은 값은 흑색에 가까운 색을 나타내는 값일 수 있다.The horizontal axis of graph 600 represents the pixels in the horizontal line. That is, the specific coordinates of the horizontal axis indicate a particular pixel in the horizontal line. The vertical axis of graph 600 represents the color value of the pixel. The color value may be a gray-scale value. For example, the large value may be a value indicating a color close to white. The small value may be a value indicating a color close to black.

단계(262)에서, 제어부(120)는 영상의 수평 선 내의 픽셀들 각각에 최소-최대 필터를 적용함으로써, 픽셀들 각각을 이진화할 수 있다. 여기서, 픽셀의 이진화란, 픽셀이 컬러 값이 제1 이진 값 또는 제2 이진 값 중 하나가 된다는 것을 의미할 수 있다. "0"(또는, 참) 또는 "1"(또는, 거짓) 중 하나가 제1 이진 값일 수 있으며, 다른 하나는 제2 이진 값일 수 있다. 수평 선의 이진화란, 수평 선 내의 픽셀들이 각각 이진화된다는 것을 의미할 수 있다. 제어부(120)는 수평 선 내의 픽셀들 각각을 이진화하고, 영상(또는, 설정 영역) 내의 수평 선들을 각각 이진화함으로써 영상(또는 설정 영역)을 이진화할 수 있다.In step 262, the control unit 120 may binarize each of the pixels by applying a minimum-maximum filter to each of the pixels in the horizontal line of the image. Here, binarization of a pixel may mean that the pixel is one of a first binary value or a second binary value. One of "0" (or true) or "1" (or false) may be a first binary value, and the other may be a second binary value. Binarization of a horizontal line may mean that pixels within a horizontal line are each binarized. The control unit 120 may binarize each of the pixels in the horizontal line and binarize the image (or the setting area) by binarizing the horizontal lines in the image (or the setting area).

그래프(600)는 특정한 픽셀(610)에 최소-최대 필터를 적용하는 방법을 설명한다.Graph 600 illustrates a method of applying a minimum-maximum filter to a particular pixel 610.

제어부(120)는 수평 선 중 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값을 상기의 특정한 픽셀(610)에 대한 최대-최소 필터의 최소 값으로 설정할 수 있다. 또한, 제어부(120)는 수평 선 중 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 큰 값을 상기의 특정한 픽셀(610)에 대한 최대-최소 필터의 최대 값으로 설정할 수 있다. 즉, 특정한 픽셀(610)에 대한 최소 최대 필터의 최소 값은 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값이고, 특정한 픽셀(610)에 대한 최소 최대 필터의 최대 값은 픽셀들의 컬러 값들 중 가장 큰 값일 수 있다. 도 6에서, 특정한 픽셀(610)을 기준으로 일정한 범위 내에 있는 픽셀들 중 가장 큰 컬러 값을 갖는 픽셀(620) 및 가장 작은 컬러 값을 갖는 픽셀(630)이 도시되었다. 또한, 픽셀(620)의 컬러 값 및 픽셀(630)의 컬러 값의 평균(640)이 수평 선으로서 도시되었다. 도 6에서, 일정한 범위는 특정한 픽셀(610), 특정한 픽셀(610)을 중심으로 좌측의 3 개의 픽셀들 및 특정한 픽셀(610)을 중심으로 우측의 3 개의 픽셀들을 포함한다. 상기의 일정한 범위는 예시적인 것이다. 특정한 픽셀(610)은 일정한 범위의 중심일 수 있으며, 좌측 말단 또는 우측 말단일 수 있다. 일정한 범위의 길이는 고정된 값일 수 있으며, 동적으로 변경되는 값일 수도 있다. 예컨대, 일정한 범위의 길이는 수평 선의 전체 길이의 1/n일 수 있다. 여기서, n은 1 이상의 실수일 수 있다. 또한, 일정한 범위는 m 개의 픽셀들을 나타낼 수 있다. 여기서, m은 1 이상의 자연수일 수 있다. 적절한 n의 값 또는 m의 값은 실험에 의해 결정될 수 있다. 예컨대, 제어부(120)는 실제 횡단 보도의 반복되는 백색 영역 및 흑색 영역이 영상 내에서 얼만큼의 크기로 나타나는가에 따라 n의 값 또는 m의 값을 결정할 수 있다.The control unit 120 may set the smallest value among the color values of the pixels within a certain range based on the specific pixel 610 of the horizontal line to the minimum value of the maximum-minimum filter for the specific pixel 610. [ In addition, the controller 120 may set the largest value among the color values of the pixels within a certain range based on the specific pixel 610 of the horizontal line to the maximum value of the maximum-minimum filter for the specific pixel 610 have. That is, the minimum value of the minimum maximum filter for a particular pixel 610 is the smallest among the color values of pixels within a certain range based on the particular pixel 610, The value may be the largest of the color values of the pixels. 6, a pixel 620 having the largest color value and a pixel 630 having the smallest color value among the pixels within a certain range based on the specific pixel 610 are shown. In addition, the average 640 of the color values of pixel 620 and the color values of pixel 630 are shown as horizontal lines. 6, a certain range includes three pixels on the left side of a specific pixel 610, a specific pixel 610, and three pixels on the right side of a specific pixel 610. [ The above ranges are exemplary. The particular pixel 610 may be a center of constant range and may be left-handed or right-handed. The length of a certain range may be a fixed value, or it may be a dynamically changing value. For example, the length of a certain range may be 1 / n of the total length of the horizontal line. Here, n may be a real number of 1 or more. Also, a certain range may represent m pixels. Here, m may be a natural number of 1 or more. A suitable value of n or a value of m may be determined experimentally. For example, the control unit 120 may determine the value of n or the value of m according to how much the white area and the black area of the actual crosswalk appear in the image.

최소-최대 필터는 특정한 픽셀(610)의 컬러 값을 특정한 픽셀(610)에 대한 최대 값 및 최소 값의 평균 값과 비교할 수 있다. 최소-최대 필터는 상기의 비교의 결괴에 따라 특정한 픽셀(610)의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정할 수 있다. 예컨대, 제어부(120)는 특정한 픽셀(610)의 컬러 값이 평균 값 이상인 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 제2 이진 값으로 결정할 수 있고, 특정한 픽셀(610)의 컬러 값이 평균 값보다 작은 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 제1 이진 값으로 결정할 수 있다. 또는, 제어부(120)는 특정한 픽셀(610)의 컬러 값이 나타내는 제1 밝기와 평균 값이 나타내는 제2 밝기를 비교할 수 있다. 제어부(120)는 제1 밝기가 제2 밝기 이상인 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 백색을 나타내는 이진 값으로 설정할 수 있고, 제1 밝기가 제2 밝기 보다 작은 경우 특정한 픽셀(610)의 컬러 값의 이진 값을 흑색을 나타내는 이진 값으로 설정할 수 있다.
The minimum-maximum filter may compare the color value of a particular pixel 610 with the average value of the maximum and minimum values for a particular pixel 610. The minimum-maximum filter may determine the binary value of the color value of a particular pixel 610 as one of a first binary value and a second binary value according to the comparison of the above comparison. For example, when the color value of a specific pixel 610 is equal to or greater than the average value, the controller 120 may determine a binary value of a color value of a specific pixel 610 as a second binary value, The binary value of the color value of a particular pixel 610 may be determined as the first binary value. Alternatively, the controller 120 may compare the first brightness represented by the color value of the specific pixel 610 with the second brightness represented by the average value. The controller 120 may set the binary value of the color value of the specific pixel 610 to a binary value indicating white when the first brightness is equal to or greater than the second brightness and set the binary value of the specific pixel 610 ) Can be set to a binary value representing black.

도 7은 일 예에 따른 최소-최대 필터를 적용함으로써 생성된 패턴을 설명한다.FIG. 7 illustrates a pattern generated by applying a minimum-maximum filter according to an example.

그래프(700)에서, 중심 선(710), 수평 선 내의 픽셀들 각각의 컬러 값을 나타내는 제1 선(720), 수평 선 내의 픽셀들 각각에 대한 최소-최대 필터의 평균 값을 나타내는 제2 선(730), 수평 선 내의 픽셀들 각각의 이진화된 컬러 값을 나타내는 제3 선(740)이 도시되었다. 제3 선(740) 내의 각 점들은 제1 이진 값 및 제2 이진 값 중 하나의 이진 값을 가질 수 있다.In the graph 700, a center line 710, a first line 720 representing the color value of each of the pixels in the horizontal line, a second line 720 representing the average value of the minimum- (730), a third line 740 representing the binarized color value of each of the pixels in the horizontal line. Each point in the third line 740 may have a binary value of either a first binary value or a second binary value.

제1 선(720)의 각 점들은 제3 선(740) 내의 동일한 좌표를 갖는 점에 대응할 수 있다. 제1 선(720)의 각 점은 수평 선 내의 픽셀들 각각의 컬러 값을 나타낼 수 있다. 제3 선(740) 내의 각 점은 수평 선 내의 픽셀들 각각의 이진화된 컬러 값을 나타낼 수 있다. 제2 선(730)의 각 점은 수평 선 내의 픽셀들 각각에 대한 최소-최대 필터의 컬러 값을 나타낼 수 있다. 제1 선(720), 제2 선(730) 및 제3 선(740) 각각 내의 점은 상기 점의 수평 좌표에 대응하는 픽셀을 나타낼 수 있다. 점의 그래프(700) 내에서의 높이는 대응하는 픽셀의 컬러 값을 나타낼 수 있다.Each point of the first line 720 may correspond to a point having the same coordinates in the third line 740. Each point of the first line 720 may represent the color value of each of the pixels in the horizontal line. Each point in the third line 740 may represent the binarized color value of each of the pixels in the horizontal line. Each point on the second line 730 may represent the color value of the min-max filter for each of the pixels in the horizontal line. A point within each of the first line 720, the second line 730 and the third line 740 may represent a pixel corresponding to the horizontal coordinate of the point. The height of the point within the graph 700 may represent the color value of the corresponding pixel.

최소-최대 필터가 적용됨에 따라, 제1 선(720)의 각 점 중 제2 선(730)의 대응하는 점보다 더 높게 위치한 점은 이진화에 의해 제3 선(740) 내에서 제2 이진 값을 갖는 점이 된다. 또한, 제1 선(720)의 각 점 중 제2 선(730)의 대응하는 점보다 더 낮게 위치한 점은 이진화에 의해 제3 선(740) 내에서 제1 이진 값을 갖는 점이 된다.As the minimum-maximum filter is applied, the point located higher than the corresponding point of the second line 730 of each point of the first line 720 is shifted by binarization to the second binary value 740 in the third line 740 . Also, a point located lower than a corresponding point of the second line 730 among the points of the first line 720 is a point having a first binary value in the third line 740 by binarization.

제1 선(720)의 각 점 중 도 5을 참조하여 전술된 이상 점(550)에 대응하는 이상 점(750)이 도시되었다. 최소-최대 필터가 적용됨으로써 이상 점(750)은 상대적으로 높은 컬러 값을 가짐에도 불구하고, 최소-최대 필터의 평균 값보다는 낮은 값을 갖게된다. 따라서, 제3 선(740) 내에서 이상 점(750)에 대응하는 점은 제1 이진 값을 갖는다. 결과적으로, 제3 선(740)은 일정 폭을 갖는 제1 이진 값들과 일정 폭을 갖는 제2 이진 값들이 주기적으로 반복되는 파형을 가질 수 있다. 제1 이진 값들의 폭을 폭 1로 명명하고, 제2 이진 값들의 폭을 폭 2로 명명한다. 또한, 제어부(120)는 주기적으로 반복되는 파형의 전체 크기를 인식할 수 있다.An anomalous point 750 corresponding to the anomalous point 550 described above with reference to Fig. 5 among the respective points of the first line 720 is shown. By applying the min-max filter, the anomalous point 750 has a relatively lower color value than the average value of the minimum-maximum filter. Therefore, the point corresponding to the abnormal point 750 in the third line 740 has a first binary value. As a result, the third line 740 may have a waveform in which the first binary values having a constant width and the second binary values having a constant width are periodically repeated. The width of the first binary values is denoted by width 1 and the width of the second binary values is denoted by width 2. In addition, the controller 120 may recognize the total size of the waveform that is periodically repeated.

도 2를 참조하여 전술된 단계(264)에서, 제어부(120)는 이진화된 수평선 내에서 횡단 보도를 나타내는 패턴을 검출할 수 있다. 여기서, 이진화된 수평선이란 수평선 내의 픽셀들 각각이 이진화된 것을 의미할 수 있다. 즉, 이진화된 수평선은 전술된 제3 선(740)일 수 있다. 상기의 패턴은 특정한 제1 설정 값 이상의 폭을 가질 수 있으며, 특정한 제2 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 가질 수 있다. 여기서, 폭은 폭 1 및 폭 2 중 하나 이상을 의미할 수 있다. 반복은 연속된 제1 이진 값들 및 연속된 제2 이진 값들로 이루어진 주기의 반복을 의미할 수 있다. 제3 선(740)에서 주기는 6 번 반복된 것으로 도시되었다. 예컨대, 제어부(120)는 이진화된 수평선 내에서 10 개 이상의 제1 이진 값을 갖는 픽셀들 및 10 개 이상의 제2 이진 값을 픽셀들로 구성된 주기가 4 회 이상 반복된 경우, 상기의 이진화된 수평 선이 횡단 보도를 나타낸다는 것을 인식할 수 있고, 횡단 보도를 검출할 수 있다.In step 264 described above with reference to Figure 2, the control unit 120 may detect a pattern representing the crosswalk within the binarized horizontal line. Here, the binarized horizontal line may mean that each of the pixels in the horizontal line is binarized. That is, the binarized horizontal line may be the third line 740 described above. The pattern may have a width equal to or greater than a specific first set value, and may have a shape of a square waveform repeated at a number of times greater than a specific second set value. Here, the width may mean one or more of width 1 and width 2. The repetition may refer to a repetition of a cycle consisting of consecutive first binary values and successive second binary values. The cycle at the third line 740 is shown as being repeated six times. For example, when the control unit 120 repeatedly repeats four or more cycles including pixels having 10 or more first binary values and 10 or more second binary values within the binarized horizontal line, the binarized horizontal It can recognize that the line represents a crosswalk, and can detect the crosswalk.

전술된 수평 선은 검출 영역 내의 복수 개의 수평 선들일 수 있다. 제어부(120)는 복수 개의 수평 선들을 각각 이진화함으로써 복수 개의 이진화된 수평 선들을 생성할 수 있고, 복수 개의 이진화된 수평 선들을 사용함으로써 영상(또는, 검출 영역) 내에서 횡단 보도를 검출할 수 있다.The aforementioned horizontal line may be a plurality of horizontal lines in the detection area. The control unit 120 can generate a plurality of binarized horizontal lines by binarizing each of the plurality of horizontal lines and can detect a pedestrian crossing in an image (or detection region) by using a plurality of binarized horizontal lines .

복수 개의 이진화된 수평 선들 내에서, 횡단 보도는 사각형의 흑색 블록 및 백색 블록이 반복되는 형태로서 나타날 수 있다. 따라서, 횡단 보도를 검출하기 위해 사용되는 패턴은 제1 이진 값 및 제2 이진 값으로 구성된 2 차원 평면 패턴일 수 있다. 패턴은 제3 설정 값 이상의 높이 및 제2 설정 값 이상의 폭을 가질 수 있으며, 제5 설정 값 이상의 횟수로 반복되는 흑색 및 백색의 사각 파형의 형태를 가질 수 있다.
Within a plurality of binarized horizontal lines, a crosswalk can appear as a repeating form of a square black block and a white block. Thus, the pattern used to detect a pedestrian crossing may be a two-dimensional planar pattern consisting of a first binary value and a second binary value. The pattern may have a height equal to or higher than the third set value and a width equal to or greater than the second set value and may have the form of black and white square waveforms repeated a number of times larger than the fifth set value.

실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 특히, 본 실시예에서는 차량의 주위를 촬영한 영상을 수신하는 수신 코드, 상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어 코드 및 상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력 코드를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 매체를 포함할 수 있다. 본 실시예에 따른 프로그램은 개인용 컴퓨터(Personal Computer; PC), 네비게이터, 블랙 박스 또는 모바일 단말용 펌웨어(firmware), 프로그램(program) 또는 어플리케이션(application)(예컨대, 테블릿(tablet) 어플리케이션, 스마트폰 어플리케이션 또는 피쳐폰 VM(virtual machine) 등의 형태) 등으로 구성될 수 있다.Embodiments include a computer readable medium having program instructions for performing various computer implemented operations. Particularly, in the present embodiment, a receiving code for receiving an image photographed around the vehicle, a control code for detecting the crosswalk in the image by analyzing the image, and a control code for notifying that the crosswalk is detected when the crosswalk is detected And a computer readable medium having recorded thereon a program including an output code for outputting information. The program according to the present embodiment may be implemented as firmware for a personal computer (PC), a navigator, a black box or a mobile terminal, a program or an application (e.g., a tablet application, An application or a feature phone VM (virtual machine) or the like).

상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Furthermore, the above-described file system can be recorded on a computer-readable recording medium.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 전자 장치
110: 수신부
120: 제어부
130: 출력부
180: 카메라100: Electronic device
110:
120:
130:
180: camera

Claims (25)

차량의 주위를 촬영한 영상을 수신하는 수신부;
상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어부; 및
상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력부
를 포함하고,
상기 제어부는
상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성하고, 상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출함으로써 상기 영상 내에서 상기 횡단 보도를 검출하며,
상기 최소-최대 필터는
상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교하는, 전자 장치.A receiving unit for receiving an image of the surroundings of the vehicle;
A controller for detecting the pedestrian crossing in the image by analyzing the image; And
And outputting information indicating that the crosswalk is detected when the crosswalk is detected,
Lt; / RTI >
The control unit
Generating a binarized image of the image by applying a minimum-maximum filter to a horizontal line of the image, detecting the crosswalk in the image by detecting a pattern representing the crosswalk in the binarized image,
The minimum-
And compares a color value of a particular one of the horizontal lines with an average value of a maximum value and a minimum value. 제1항에 있어서,
상기 수신부가 수신한 상기 영상은 컬러 영상이고,
상기 제어부는 상기 영상을 그레이 스케일(gray scale)로 변환하는, 전자 장치.The method according to claim 1,
Wherein the image received by the receiver is a color image,
And the control unit converts the image into a gray scale. 제1항에 있어서,
상기 제어부는 상기 영상 중 검출 영역 내에서 상기 횡단 보도를 검출하는, 전자 장치.The method according to claim 1,
Wherein the control unit detects the crosswalk in the detection area of the image. 제3항에 있어서,
상기 제어부는 상기 영상 내에서 차선을 검출하고, 상기 검출된 차선에 기반하여 상기 검출 영역을 설정하는, 전자 장치.The method of claim 3,
Wherein the control unit detects a lane in the image and sets the detection area based on the detected lane. 제1항에 있어서,
상기 제어부는 상기 영상에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 상기 영상 내의 노이즈를 제거하는, 전자 장치.The method according to claim 1,
Wherein the controller removes noise in the image by applying a close operation using a square element to the image. 삭제delete 제1항에 있어서,
상기 횡단 보도를 나타내는 상기 패턴은 제1 설정 값 이상의 높이 및 제2 설 정 값 이상의 폭을 가지며, 제3 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 갖는, 전자 장치.The method according to claim 1,
Wherein the pattern representing the crosswalk has a height equal to or greater than the first setting value and a width equal to or greater than the second setting value and having the form of a square wave shape repeated a number of times greater than or equal to the third setting value. 제1항에 있어서,
상기 최소-최대 필터는 상기 비교의 결과에 따라 상기 특정한 픽셀의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정하는, 전자 장치.The method according to claim 1,
Wherein the minimum-maximum filter determines the binary value of the color value of the particular pixel as one of a first binary value and a second binary value according to the result of the comparison. 제8항에 있어서,
상기 제1 이진 값을 갖는 픽셀들간의 주기와 상기 제2 이진 값을 갖는 픽셀들 간의 주기가 미리 설정된 횟수 이상 반복된 경우, 상기 영상에서 상기 횡단보도를 검출하는 전자 장치.9. The method of claim 8,
And detects the crosswalk in the image if the period between the pixels having the first binary value and the period between the pixels having the second binary value are repeated a predetermined number of times or more. 제1항에 있어서,
상기 최소 값은 상기 수평 선 중 상기 특정한 픽셀을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 가장 작은 값이고, 상기 최대 값은 상기 픽셀들의 컬러 값들 중 가장 큰 값인, 전자 장치.The method according to claim 1,
Wherein the minimum value is the smallest value among the color values of the pixels within a certain range based on the specific pixel of the horizontal line and the maximum value is the largest one of the color values of the pixels. 제10항에 있어서,
상기 일정한 범위의 길이는 상기 수평 선의 전체 길이의 1/n이고, 상기 n은 1 이상인, 전자 장치.11. The method of claim 10,
The length of the constant range is 1 / n of the total length of the horizontal line, and n is 1 or more. 제10항에 있어서,
상기 특정한 픽셀은 상기 일정한 범위의 중심인, 전자 장치.11. The method of claim 10,
Wherein the specific pixel is the center of the constant range. 제1항에 있어서,
상기 수평 선은 검출 영역 내의 복수 개의 수평 선들인, 전자 장치.The method according to claim 1,
Wherein the horizontal line is a plurality of horizontal lines in the detection area. 차량의 주위를 촬영한 영상을 수신하는 단계;
상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 단계; 및
상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 단계
를 포함하고,
상기 횡단 보도를 검출하는 단계는
상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성하는 단계; 및
상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출하는 단계
를 포함하며,
상기 최소-최대 필터는
상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교하는, 횡단 보도 검출 방법.Receiving an image of the surroundings of the vehicle;
Detecting a pedestrian crossing in the image by analyzing the image; And
And outputting information indicating that the crosswalk is detected when the crosswalk is detected
Lt; / RTI >
The step of detecting the crosswalk
Generating a binarized binary image by applying a minimum-maximum filter to a horizontal line of the image; And
Detecting a pattern representing the crosswalk in the binarized image
/ RTI >
The minimum-
And comparing the color value of a specific one of the horizontal lines with an average value of a maximum value and a minimum value. 제14항에 있어서,
상기 수신된 영상은 컬러 영상이고,
상기 영상을 그레이 스케일(gray scale)로 변환하는 단계
를 더 포함하는, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the received image is a color image,
Converting the image to a gray scale
Further comprising the steps of: 제14항에 있어서,
검출 영역을 설정하는 단계
를 더 포함하고,
상기 횡단 보도는 상기 영상 중 검출 영역 내에서 검출되는, 횡단 보도 검출 방법.15. The method of claim 14,
Setting the detection area
Further comprising:
Wherein the crosswalk is detected in a detection area of the image. 제16항에 있어서,
상기 검출 영역을 설정하는 단계는,
상기 영상 내에서 차선을 검출하는 단계; 및
상기 검출된 차선에 기반하여 상기 검출 영역을 설정하는 단계
를 포함하는, 횡단 보도 검출 방법.17. The method of claim 16,
Wherein the step of setting the detection region comprises:
Detecting a lane in the image; And
Setting the detection area based on the detected lane
And detecting the crosswalk. 제14항에 있어서,
상기 영상에 사각형 요소를 이용하는 닫힘 연산을 적용함으로써 상기 영상 내의 노이즈를 제거하는 단계
를 더 포함하는, 횡단 보도 검출 방법.15. The method of claim 14,
Removing noise in the image by applying a closure operation using a square element to the image
Further comprising the steps of: 삭제delete 제14항에 있어서,
상기 패턴은 제1 설정 값 이상의 높이 및 제2 설정 값 이상의 폭을 가지며, 제3 설정 값 이상의 횟수로 반복되는 사각 파형의 형태를 갖는, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the pattern has a height equal to or greater than a first set value and a width equal to or greater than a second set value and having a shape of a square waveform repeated at a frequency equal to or greater than a third set value. 제14항에 있어서,
상기 최소-최대 필터는 상기 비교의 결과에 따라 상기 특정한 픽셀의 컬러 값의 이진 값을 제1 이진 값 및 제2 이진 값 중 하나로 결정하는, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the minimum-maximum filter determines the binary value of the color value of the particular pixel as one of a first binary value and a second binary value according to the result of the comparison. 제21항에 있어서,
상기 제1 이진 값을 갖는 픽셀들간의 주기와 상기 제2 이진 값을 갖는 픽셀들 간의 주기가 미리 설정된 횟수 이상 반복된 경우, 상기 영상에서 상기 횡단보도를 검출하는, 횡단 보도 검출 방법.22. The method of claim 21,
And detecting the crosswalk in the image if the period between the pixels having the first binary value and the period between the pixels having the second binary value are repeated a predetermined number of times or more. 제14항에 있어서,
상기 최소 값은 상기 수평 선 중 상기 특정한 픽셀을 기준으로 일정한 범위 내에 있는 픽셀들의 컬러 값들 중 최소 값이고, 상기 최대 값은 상기 픽셀들의 컬러 값들 중 최대 값인, 횡단 보도 검출 방법.15. The method of claim 14,
Wherein the minimum value is a minimum value among color values of pixels within a certain range based on the specific pixel among the horizontal lines and the maximum value is a maximum value among color values of the pixels. 제23항에 있어서,
상기 일정한 범위의 길이는 상기 수평 선의 전체 길이의 1/n이고, 상기 n은 1 이상인, 횡단 보도 검출 방법.24. The method of claim 23,
Wherein the predetermined range of length is 1 / n of the total length of the horizontal line, and n is 1 or more. 횡단 보도를 검출하는 기능을 제공하는 프로그램이 기록되어 있는 기록 매체에 있어서,
차량의 주위를 촬영한 영상을 수신하는 수신 코드;
상기 영상을 분석함으로써 상기 영상 내에서 횡단 보도를 검출하는 제어 코드; 및
상기 횡단 보도가 검출된 경우 상기 횡단 보도가 검출되었음을 알리는 정보를 출력하는 출력 코드
를 포함하고,
상기 제어 코드는
상기 영상의 수평 선에 최소-최대 필터를 적용함으로써 상기 영상이 이진화된 이진화 영상을 생성하고, 상기 이진화 영상 내에서 상기 횡단 보도를 나타내는 패턴을 검출함으로써 상기 영상 내에서 상기 횡단 보도를 검출하며,
상기 최소-최대 필터는
상기 수평 선 중 특정한 픽셀의 컬러 값을 최대 값 및 최소 값의 평균 값과 비교하는 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A recording medium on which a program for providing a function of detecting a crosswalk is recorded,
A reception code for receiving an image of the surroundings of the vehicle;
A control code for detecting a pedestrian crossing in the image by analyzing the image; And
An output code for outputting information indicating that the crosswalk is detected when the crosswalk is detected;
Lt; / RTI >
The control code
Generating a binarized image of the image by applying a minimum-maximum filter to a horizontal line of the image, detecting the crosswalk in the image by detecting a pattern representing the crosswalk in the binarized image,
The minimum-
And compares a color value of a specific one of the horizontal lines with an average value of a maximum value and a minimum value.
KR1020120015866A 2012-02-16 2012-02-16 Apparatus and method for detecting crosswalk KR101440293B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120015866A KR101440293B1 (en) 2012-02-16 2012-02-16 Apparatus and method for detecting crosswalk

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120015866A KR101440293B1 (en) 2012-02-16 2012-02-16 Apparatus and method for detecting crosswalk

Publications (2)

Publication Number Publication Date
KR20130094535A KR20130094535A (en) 2013-08-26
KR101440293B1 true KR101440293B1 (en) 2014-09-17

Family

ID=49218288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120015866A KR101440293B1 (en) 2012-02-16 2012-02-16 Apparatus and method for detecting crosswalk

Country Status (1)

Country Link
KR (1) KR101440293B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254236B2 (en) 2016-09-23 2019-04-09 Samsung Electronics Co., Ltd. Methods of measuring patterns and methods of manufacturing semiconductor devices including the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309313A (en) * 2005-04-26 2006-11-09 Fuji Heavy Ind Ltd Road recognition device
JP2008143387A (en) * 2006-12-11 2008-06-26 Fujitsu Ten Ltd Surrounding area monitoring device and surrounding area monitoring method
JP2011192071A (en) * 2010-03-15 2011-09-29 Aisin Seiki Co Ltd Pedestrian crossing detector, pedestrian crossing detection system, pedestrian crossing detection method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309313A (en) * 2005-04-26 2006-11-09 Fuji Heavy Ind Ltd Road recognition device
JP2008143387A (en) * 2006-12-11 2008-06-26 Fujitsu Ten Ltd Surrounding area monitoring device and surrounding area monitoring method
JP2011192071A (en) * 2010-03-15 2011-09-29 Aisin Seiki Co Ltd Pedestrian crossing detector, pedestrian crossing detection system, pedestrian crossing detection method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10254236B2 (en) 2016-09-23 2019-04-09 Samsung Electronics Co., Ltd. Methods of measuring patterns and methods of manufacturing semiconductor devices including the same

Also Published As

Publication number Publication date
KR20130094535A (en) 2013-08-26

Similar Documents

Publication Publication Date Title
US9721460B2 (en) In-vehicle surrounding environment recognition device
JP5997276B2 (en) Three-dimensional object detection device and foreign object detection device
KR20220000977A (en) Apparatus and method for providing guidance information using crosswalk recognition result
KR100816377B1 (en) Method and Apparatus for Recognizing Parking Slot Marking by Using Hough Transformation and Parking Assist System Using Same
JP5760090B2 (en) Biological recognition device
JP2014106704A (en) In-vehicle image processing device
JP2010088045A (en) Night view system, and nighttime walker display method
JP6068833B2 (en) Car color detector
JP2007141052A (en) Road section line detector
CN107844761B (en) Traffic sign detection method and device
KR101406316B1 (en) Apparatus and method for detecting lane
JP2007323578A (en) Vehicle periphery monitoring device
JP5983729B2 (en) White line detection device, white line detection filter device, and white line detection method
KR101374653B1 (en) Apparatus and method for detecting movement of vehicle
JP4887540B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP2008077154A (en) Vehicle periphery supervision unit
JP2016110373A (en) Curve mirror detection device
KR101440293B1 (en) Apparatus and method for detecting crosswalk
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP5642785B2 (en) Vehicle periphery monitoring device
JP2011221630A (en) Vehicle periphery monitoring device
JP3779229B2 (en) Identification method, identification device, and traffic control system
KR101154110B1 (en) Apparatus and method for measuring velocity of moving vehicle using image processing method
JP5484118B2 (en) Vehicle periphery monitoring device
CN109886120B (en) Zebra crossing detection method and system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190821

Year of fee payment: 6