KR20130015975A - 차량을 검출하기 위한 방법 및 장치 - Google Patents

차량을 검출하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20130015975A
KR20130015975A KR1020110078350A KR20110078350A KR20130015975A KR 20130015975 A KR20130015975 A KR 20130015975A KR 1020110078350 A KR1020110078350 A KR 1020110078350A KR 20110078350 A KR20110078350 A KR 20110078350A KR 20130015975 A KR20130015975 A KR 20130015975A
Authority
KR
South Korea
Prior art keywords
area
lane
vehicle
search
road
Prior art date
Application number
KR1020110078350A
Other languages
English (en)
Inventor
김종헌
박영경
이중재
김현수
박준오
안드레아스 박
디르 산드라 셰이커
이제훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110078350A priority Critical patent/KR20130015975A/ko
Publication of KR20130015975A publication Critical patent/KR20130015975A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 명세서는 차량 내 구비되는 카메라를 이용하여 상기 차량 전방의 오브젝트(object)를 검출하기 위한 방법에 있어서, 상기 오브젝트를 포함하는 영상을 촬영하는 단계; 호모그래피 매트릭스(homography matrix)를 이용하여 보정된 월드(world)에서의 지평선을 상기 촬영 영상으로 투영하여 소실선(vanishing line)을 획득하는 단계; 상기 소실선을 이용하여 차선 영역을 설정하는 단계; 및 상기 차선 영역 상에서 탐색 영역을 통해 상기 오브젝트를 검출하는 단계를 포함하되, 상기 탐색 영역의 사이즈는 상기 오브젝트의 위치 또는 크기에 따라 결정되는 것을 특징으로 한다.

Description

차량을 검출하기 위한 방법 및 장치{APPARATUS AND METHOD FOR DETECTING A VEHICLE}
본 명세서는 차량을 검출하기 위한 방법 및 장치에 관한 것으로 특히, 차량 내 구비되는 카메라를 이용하여 상기 차량 전방에 위치하는 전방 차량을 검출하기 위한 방법 및 장치에 관한 것이다.
종래에는 주행하는 차량에서 전방 차량을 검출하기 위한 방법으로, 영상 전체에서 차량을 검출하거나 이미지에서 실험적으로 전방 차량을 검출하기 위한 영역을 선택하는 방법을 이용하였다.
상기와 같이 영상 전체에서 차량을 검출하는 경우에는 연산량이 많아지며, 이미지에서 실험적으로 차량을 검출하는 경우에는 실제 월드에서의 검출이 아니기 때문에 부정확하고 최적화하는 시간이 매우 적게 된다.
이하에서 서술하는 호모그래피 방식과 관련된 기술에 대해서는 선행 문헌 KR 10-2005-0128561을 참조하며, 이에 대한 구체적인 설명은 생략하기로 한다.
본 명세서는 탐색 영역 및 탐색 윈도우를 통해 영상 일부분에 대해서 전방 차량을 검출하기 위한 방법을 제공함에 목적이 있다.
또한, 본 명세서는 도로의 상태 정보를 수신하고, 이에 대한 오차를 고려함으로써, 현실적인 차선 영역을 설정하는 방법을 제공함에 목적이 있다.
본 명세서는 차량 내 구비되는 카메라를 이용하여 상기 차량 전방의 오브젝트(object)를 검출하기 위한 방법에 있어서, 상기 오브젝트를 포함하는 영상을 촬영하는 단계; 호모그래피 매트릭스(homography matrix)를 이용하여 보정된 월드(world)에서의 지평선을 상기 촬영 영상으로 투영하여 소실선(vanishing line)을 획득하는 단계; 상기 소실선을 이용하여 차선 영역을 설정하는 단계; 및 상기 차선 영역 상에서 탐색 영역을 통해 상기 오브젝트를 검출하는 단계를 포함하되, 상기 탐색 영역의 사이즈는 상기 오브젝트의 위치 또는 크기에 따라 결정되는 것을 특징으로 한다.
또한, 상기 오브젝트를 검출하는 단계는 상기 탐색 영역 내의 탐색 윈도우를 좌상단에서 우하단, 우상단에서 좌하단, 좌하단에서 우상단 또는 우하단에서 좌상단으로 슬라이딩 윈도우(sliding window) 방식을 통해 상기 오브젝트를 검출하는 것을 특징으로 한다.
또한, 상기 소실선은 상기 오브젝트의 위치 또는 크기를 판단하는 기준인 것을 특징으로 한다.
또한, 상기 차선 영역은 상기 차량이 주행하는 차선 영역을 나타내는 제 1 영역 및 상기 제 1 영역의 양 측면에 위치하는 제 2 영역으로 구성되는 것을 특징으로 한다.
또한, 본 명세서는 도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함하는 도로의 상태 정보를 수신하는 단계; 및 상기 수신된 도로의 상태 정보에 대한 오차를 고려하여, 상기 차선 영역을 보정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 차선 영역을 보정하는 단계는 상기 차선 영역을 사다리꼴 형태로 보정하는 것을 특징으로 한다.
또한, 상기 탐색 영역 및 탐색 윈도우의 사이즈는 상기 오브젝트의 위치 또는 크기에 비례하여 결정되는 것을 특징으로 한다.
또한, 본 명세서는 상기 차량의 진행 방향 정보를 수신하는 단계; 및 상기 수신된 차량의 진행 방향 정보에 기초하여, 상기 탐색 영역을 좌 또는 우로 쉬프트(shift)하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 탐색 영역은 카메라 보정(calibration) 과정을 통해 미리 획득되며, 호모그래피 방식을 이용하여 획득되는 것을 특징으로 한다.
또한, 상기 차선 영역을 설정하는 단계는 실제 월드(world)에서의 차선 영역의 너비 값을 이용하여 상기 소실선과 상기 촬영되는 영상에서 차선이 시작되는 지점과의 삼각비를 이용하여 설정하는 것을 특징으로 한다.
또한, 본 명세서는 차량 전방에 위치하는 오브젝트(object)를 검출하기 위한 장치에 있어서, 상기 오브젝트를 포함하는 영상을 촬영하기 위한 카메라부; 및 상기 카메라부와 기능적으로 연결되는 제어부를 포함하되, 상기 제어부는, 호모그래피 매트릭스(homography matrix)를 이용하여 보정된 월드(world)에서의 지평선을 상기 촬영 영상으로 투영하여 소실선(vanishing line)을 획득하며, 상기 소실선을 이용하여 차선 영역을 설정하며, 상기 차선 영역 상에서 탐색 영역을 통해 상기 오브젝트를 검출하도록 제어하되, 상기 탐색 영역의 사이즈는 상기 오브젝트의 위치 또는 크기에 따라 결정되는 것을 특징으로 한다.
또한, 상기 제어부는 상기 탐색 영역 내의 탐색 윈도우를 좌상단에서 우하단, 우상단에서 좌하단, 좌하단에서 우상단 또는 우하단에서 좌상단으로 슬라이딩 윈도우(sliding window) 방식을 통해 상기 오브젝트를 검출하도록 제어하는 것을 특징으로 한다.
또한, 본 명세서는 외부와 유/무선신호를 송수신하기 위한 통신부를 더 포함하며, 상기 제어부는 도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함하는 도로의 상태 정보를 수신하도록 상기 통신부를 제어하며, 상기 도로의 상태 정보에 대한 오차를 고려하여, 상기 차선 영역을 보정하도록 제어하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 차선 영역을 사다리꼴 형태로 보정하도록 제어하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 탐색 영역 및 탐색 윈도우의 사이즈를 상기 오브젝트의 위치 또는 크기에 비례하여 설정되도록 제어하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 차량의 진행 방향 정보를 수신하도록 상기 통신부를 제어하며, 상기 수신된 차량의 진행 방향 정보에 기초하여, 상기 탐색 영역을 좌 또는 우로 쉬프트(shift)하도록 제어하는 것을 특징으로 한다.
또한, 상기 제어부는 실제 월드에서의 차선 영역의 너비 값을 이용하여 상기 소실선과 상기 촬영되는 영상에서 차선이 시작되는 지점과의 삼각비를 이용하여 상기 차선 영역을 설정하도록 제어하는 것을 특징으로 한다.
본 명세서는 탐색 영역 및 탐색 윈도우를 통해 영상 일부분에 대해서만 전방 차량을 검출함으로써, 영상 전체에 대해서 전방 차량을 검출하는 것에 비해 연산량을 줄일 수 있는 효과가 있다.
또한, 본 명세서는 실제 월드에서 전방 차량을 검출함으로써, 이미지를 통해 실험적인 방식으로 전방 차량을 검출하는 방법에 비해 더 정확하게 전방 차량을 검출할 수 있는 효과가 있다.
도 1 (a)는 본 발명의 일 실시 예에 따른 검출 장치의 구성을 나타낸 블록도이며, 도 1 (b)는 상기 검출 장치가 구비된 자동차의 개념도이다.
도 2 (a) 및 (b)는 본 명세서의 일 실시 예에 따른 차량 전방에 위치하는 오브젝트를 검출하기 위한 방법을 나타내는 순서도이다.
도 3 (a) 및 (b)는 본 명세서의 일 실시 예에 따른 소실선을 나타낸 도이다.
도 4 (a) 및 (b)는 본 명세서의 일 실시 예에 따른 차선 영역을 나타낸 도이다.
도 5 (a) 및 (b)는 본 명세서의 일 실시 예에 따른 탐색 영역 및 탐색 윈도우를 나타낸 도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈", "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하에서는, 본 발명의 일 실시 예에 따른 차량 전방에 위치하는 오브젝트를 검출하기 위한 장치(이하 '검출 장치'라 한다)의 구성에 대해 도 1을 참조하여 설명한다.
여기서, 도 1의 검출 장치는, 스탠드 얼론(stand alone)으로 구성될 수 있을 뿐만 아니라, 이동 검출 장치(Mobile Terminal), 텔레매틱스 검출 장치(Telematics Terminal), 스마트 폰(Smart Phone), 휴대 검출 장치(Portable Terminal), 개인 정보 검출 장치(Personal Digital Assistant : PDA), 휴대용 멀티미디어 플레이어(Portable Multimedia Player : PMP), 노트북 컴퓨터, 태블릿 PC(Tablet PC), 와이브로(Wibro) 검출 장치, IPTV(Internet Protocol Television) 검출 장치, 텔레비전(Television), 3D 텔레비전, 영상 기기, 텔레매틱스(Telematics) 검출 장치, 내비게이션(Navigation) 검출 장치, AVN(Audio Video Navigation) 검출 장치 등과 같이 다양한 검출 장치에 적용될 수 있다.
도 1 (a)는 본 발명의 일 실시 예에 따른 검출 장치의 구성을 나타낸 블록도이며, 도 1 (b)는 상기 검출 장치가 구비된 자동차의 개념도이다.
도 1 (a)에 도시한 바와 같이, 검출 장치(100)는, 카메라부(110), 제어부(120) 및 통신부(130)로 구성된다. 도 1 (a)에 도시한 검출 장치(100)의 구성 요소가 모두 필수 구성 요소인 것은 아니며, 도 1 (a)에 도시한 구성 요소보다 많은 구성 요소에 의해 검출 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 검출 장치(100)가 구현될 수도 있다.
먼저, 카메라부(110)는 적어도 하나의 카메라를 포함한다.
카메라는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부에 표시될 수 있다. 여기서, 상기 이미지 센서는 카메라와 동일한 의미로 사용되거나 카메라보다 더 넓은 의미로 사용될 수도 있다.
카메라에서 처리된 화상 프레임은 메모리에 저장되거나 무선 통신부를 통하여 외부로 전송될 수 있다. 카메라는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
상기 카메라부(110)는 상기 검출 장치(100)의 임의의 동일면의 동일 중심축 상에 수평 간격으로 이격되어 설치되는 적어도 한 쌍의 카메라(일 예로, 스테레오 카메라(stereo camera) 또는, 스테레오코스픽 카메라(stereoscopic camera)) 또는, 단일 카메라를 포함한다. 이때, 상기 고정된 수평 간격은, 일반적인 사람의 두 눈 간의 거리를 고려하여 설정할 수 있으며, 상기 검출 장치(100)를 구성할 때 설정한다. 또한, 상기 카메라부(110)는, 영상 촬상이 가능한 임의의 모든 카메라부일 수도 있다.
또한, 상기 카메라부(110)는, 상기 한 쌍의 카메라에 의해 동시에 촬영된 제1 영상(일 예로, 상기 한 쌍의 카메라에 포함된 좌측 카메라에 의해 촬영된 좌측 영상)과 제2 영상(일 예로, 상기 한 쌍의 카메라에 포함된 우측 카메라에 의해 촬영된 우측 영상)을 수신한다.
또한, 상기 카메라부(110)는, CCD 소자, CMOS 소자 등과 같은 이미지 센서일 수 있다.
또한, 상기 카메라부(110)는, 차량에 설치되는 경우, 상기 차량의 소정 위치에 고정되어, 주행 방향의 전방, 측방, 후방 등을 촬영하고, 상기 촬영된 영상을 수신하도록 구성할 수도 있다.
상기 제어부(120)는, 상기 검출 장치(100)의 전반적인 동작을 제어한다.
상기 제어부(120)는 호모그래피 매트릭스(homography matrix)를 이용하여 보정된 월드(world)에서의 지평선을 상기 촬영 영상으로 투영하여 소실선(vanishing line)을 획득하며, 상기 소실선을 이용하여 차선 영역을 설정하며, 상기 차선 영역 상에서 탐색 영역을 통해 상기 오브젝트를 검출하도록 제어한다.
또한, 상기 제어부(120)는 상기 탐색 영역 내의 탐색 윈도우를 좌상단에서 우하단, 우상단에서 좌하단, 좌하단에서 우상단 또는 우하단에서 좌상단으로 슬라이딩 윈도우(sliding window) 방식을 통해 상기 오브젝트를 검출하도록 제어한다.
또한, 상기 제어부(120)는 도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함하는 도로의 상태 정보를 수신하도록 상기 통신부를 제어하며, 상기 도로의 상태 정보에 대한 오차를 고려하여, 상기 차선 영역을 보정하도록 제어한다.
또한, 상기 제어부(120)는 상기 차선 영역을 사다리꼴 형태로 보정하도록 제어한다.
또한, 상기 제어부(120)는 상기 탐색 영역 및 탐색 윈도우의 사이즈를 상기 오브젝트의 위치 또는 크기에 비례하여 설정되도록 제어한다.
또한, 상기 제어부(120)는 상기 차량의 진행 방향 정보를 수신하도록 상기 통신부를 제어하며, 상기 수신된 차량의 진행 방향 정보에 기초하여, 상기 탐색 영역을 좌 또는 우로 쉬프트(shift)하도록 제어한다.
또한, 상기 제어부(120)는 실제 월드에서의 차선 영역의 너비 값을 이용하여 상기 소실선과 상기 촬영되는 영상에서 차선이 시작되는 지점과의 삼각비를 이용하여 상기 차선 영역을 설정하도록 제어한다.
또한, 상기 검출 장치(100)는, 상기 제어부(120)의 제어에 의해 임의의 검출 장치 또는 서버와의 통신 기능을 수행하는 통신부를 더 포함할 수 있다. 이때, 상기 통신부는, 유/무선 통신 모듈을 포함할 수 있다. 여기서, 상기 무선 인터넷 기술은, 무선랜(Wireless LAN : WLAN), 와이 파이(Wi-Fi), 와이브로(Wireless Broadband : Wibro), 와이맥스(World Interoperability for Microwave Access : Wimax), 고속 하향 패킷 접속(High Speed Downlink Packet Access : HSDPA), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution : LTE), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service : WMBS) 등을 포함할 수 있고, 상기 근거리 통신(Short Range Communication) 기술은, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association : IrDA), 초광대역 무선(Ultra Wideband : UWB), 지그비(ZigBee) 등을 포함할 수 있다. 또한, 상기 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.
또한, 상기 통신부는, 상기 검출 장치(100)가 구비되는 임의의 차량과의 통신을 위한, CAN 통신, 차량용 이더넷, 플렉스레이(flexray), LIN(Local Interconnect Network) 등을 포함할 수 있다.
또한, 통신부(130)는 도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함하는 도로의 상태 정보 및 차량의 진행 방향 정보를 수신한다.
또한, 상기에서 언급한 구성요소들 이외에도 본 명세서에서 개시되는 일 실시 예가 적용되기 위해 상기 검출 장치(100)는 하기와 같은 구성요소들을 더 포함할 수 있다.
즉, 상기 검출 장치(100)는 마이크, 센싱부, 출력부, 사용자 입력부, 메모리, 인터페이스부, 전원 공급부 등을 포함할 수 있다.
먼저, 마이크는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
센싱부는 검출 장치(100)의 개폐 상태, 검출 장치(100)의 위치, 사용자 접촉 유무, 검출 장치의 방위, 검출 장치의 가속/감속 등과 같이 검출 장치(100)의 현 상태를 감지하여 검출 장치(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
예를 들어 검출 장치(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부의 전원 공급 여부, 인터페이스부의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부는 근접 센서를 포함할 수 있다.
출력부는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부, 음향 출력 모듈, 알람부, 및 햅틱 모듈 등이 포함될 수 있다.
디스플레이부는 검출 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 검출 장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 검출 장치(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 검출 장치 바디의 디스플레이부가 차지하는 영역을 통해 검출 장치 바디의 후방에 위치한 사물을 볼 수 있다.
검출 장치(100)의 구현 형태에 따라 디스플레이부가 2개 이상 존재할 수 있다. 예를 들어, 검출 장치(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부의 특정 부위에 가해진 압력 또는 디스플레이부의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(120)로 전송한다. 이로써, 제어부(120)는 디스플레이부의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 터치스크린에 의해 감싸지는 검출 장치의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부로부터 수신되거나 메모리에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈은 검출 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부는 검출 장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 검출 장치에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부나 음성 출력 모듈을 통해서도 출력될 수 있어서, 그들은 알람부의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈은 휴대 검출 장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
사용자 입력부는 사용자가 검출 장치의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
메모리는 제어부(120)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 검출 장치(100)는 인터넷(internet)상에서 상기 메모리의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부는 검출 장치(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 검출 장치(100) 내부의 각 구성 요소에 전달하거나, 검출 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부에 포함될 수 있다.
식별 모듈은 검출 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈
(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 검출 장치(100)와 연결될 수 있다.
상기 인터페이스부는 이동검출 장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동검출 장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동검출 장치로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동검출 장치가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
전원 공급부는 제어부(120)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(120) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(120)에 의해 실행될 수 있다.
이하, 도 2 내지 도 5를 참조하여 본 명세서에서 제안하는 차량 전방의 오브젝트를 검출하기 위한 방법에 대해 살펴보기로 한다.
도 2 (a) 및 (b)는 본 명세서의 일 실시 예에 따른 차량 전방에 위치하는 오브젝트를 검출하기 위한 방법을 나타내는 순서도이며, 도 3 내지 도 5는 오브젝트를 검출하기 위한 소실선, 차선 영역 및 탐색 영역(탐색 윈도우 포함)을 나타낸 도이다.
여기서, 도 2 (a)는 도로의 상태에 대한 오차를 고려하지 않은 이상적인 상태에서 오브젝트를 검출하기 위한 방법을 나타내며, 도 2 (b)는 도로의 상태에 대한 오차를 고려한 현실적인 상태에서 오브젝트를 검출하기 위한 방법을 나타낸다.
먼저, 도 2를 참조하면, 검출장치는 카메라부를 통해 차량 전방에 위치하는 오브젝트(object)를 포함하는 영상을 촬영한다(S110). 여기서, 오브젝트는 일 예로, 상기 차량 전방에 위치하는 차량 즉, 전방 차량일 수 있다. 이하, 설명의 편의상 상기 오브젝트를 '전방 차량'을 일 예로 들어 설명하기로 한다.
이후, 검출장치는 호모그래피 매트릭스(homography matrix)를 이용하여 소실선(vanishing line)을 획득한다(S120). 구체적으로 검출장치는 호모그래피 매트릭스를 통해 변환된(또는 보정된, 캘리브레이션(calibration)된) 월드에서의 지평선을 상기 촬영 영상으로 투영시킴으로써, 상기 소실선을 획득하게 된다.
여기서, 소실선은 차량 주행 시 또는 차량이 정지하고 있을 때 획득될 수 있다. 도 3 (a)에 도시된 바와 같이, 소실선(310)은 상기 촬영되고 있는 영상의 수평 방향으로 생성되는 것을 볼 수 있다.
여기서, 호모그래피 방식은 2차원 평면에서 다른 2차원 평면으로의 투영 관계를 나타내는 것을 말하며, 카메라 캘리브레이션(calibration) 과정을 통해 구해질 수 있다. 일 예로, 호모그래피 방식을 통해 정면에서 바라보는 2차원 평면의 화면(scene)을 위에서 바라보는 2차원 평면의 화면으로 변환할 수 있다.
또한, 상기 소실선은 검출장치가 전방 차량의 위치 또는 크기를 판단하기 위한 상대적인 기준을 제공할 수 있다. 즉, 검출장치는 멀리 있는 전방 차량을 검출하고자 하는 경우 상기 소실선 위쪽 부분을, 가까이에 있는 전방 차량을 검출하고자 하는 경우 상기 소실선 아래쪽 부분을 탐색하게 된다.
이후, 검출장치는 상기 소실선을 이용하여 차선 영역을 설정한다(S130). 여기서, 차선 영역은 검출장치를 포함하는 차량이 위치하는(또는 주행하고 있는) 차선 영역을 나타내는 제 1 영역 및 상기 제 1 영역의 양 측면에 위치하는 제 2 영역으로 구성될 수 있다.
즉, 상기 제 2 영역은 상기 차량이 주행하는 차선의 좌측 차선 및 우측 차선을 말한다. 예를 들어, 차량이 2 차선에 위치한 경우, 상기 제 1 영역은 2 차선을 가리키며, 상기 제 2 영역은 1 차선 및 3 차선을 가리킨다.
여기서, 검출장치는 실제 월드에서의 차선 영역의 너비 값을 이용하여, 상기 소실선과 상기 카메라부를 통해 촬영되는 영상에서 차선이 시작되는 지점과의 삼각비를 통해 상기 차선 영역을 설정하게 된다.
즉, 검출장치는 상기 차량이 주행하고 있는 도로에 설치된 실제 차선의 너비 값을 상기 촬영되고 있는 영상의 차선에 매핑하여, 상기 소실선과 영상 바닥에 위치하는 차선 사이에서 삼각형 모양(또는 형태)의 차선 영역을 설정한다. 여기서, 삼각형 모양의 차선 영역은 도로의 상태에 대한 오차를 고려하지 않은 차선 영역에 해당한다.
또한, 검출장치는 상기 설정된 삼각형 모양의 차선 영역의 맨 아래 부분에 해당하는(삼각형 밑변) 픽셀 개수를 찾아서 상기 픽셀 개수 값을 저장부에 저장할 수 있다.
도 3 (b)에 도시된 바와 같이, 차선 영역(320)은 상기 촬영되고 있는 영상에서 소실점과 영상 맨 바닥 부분 사이에서 삼각형 모양으로 형성되는 것을 볼 수 있다.
도 3 (b)에 도시된 차선 영역은 도로의 상태에 대한 오차를 고려하지 않은 이상적인 차선 영역을 나타낸다.
이후, 검출장치는 상기 차선 영역 상에서 탐색 영역을 통해 전방 차량을 검출한다(S140). 즉, 상기 탐색 영역은 전방 차량이 검출되는 영역을 말한다.
여기서, 검출장치는 전방 차량을 탐색 영역을 통해 검출할 때, 상기 탐색 영역 내의 탐색 윈도우를 좌상단에서 우하단, 우상단에서 좌하단, 좌하단에서 우상단 또는 우하단에서 좌상단으로 슬라이딩 윈도우(sliding window) 방식을 통해 전방 차량을 검출한다.
또한, 상기 탐색 영역 및 탐색 윈도우의 사이즈는 전방 차량의 위치 또는 크기에 비례하여 정해진다. 예를 들어, 전방 차량이 멀리 위치한 경우 즉, 전방 차량의 크기가 작은 경우, 상기 탐색 영역 및 탐색 윈도우의 사이즈도 그에 비례하여 작게 설정된다.
상기 탐색 영역은 카메라 보정(calibration) 과정에서 미리 정해질 수 있다.
즉, 검출장치는 카메라 보정 과정에서 오브젝트의 위치 또는 크기에 따른 각 탐색 영역들을 구하고, 상기 카메라부를 통해 영상을 촬영하는 경우에 상기에서 정해진 각 탐색 영역들을 참조하여 오브젝트를 탐색할 수 있다.
또한, 검출장치는 차량이 진행하는 방향 정보를 수신하여, 상기 차량의 진행 방향에 따라 전방 차량을 검출하기 위한 탐색 영역을 좌 또는 우로 쉬프트할 수 있다. 즉, 검출장치는 차량 진행 방향 정보를 이용하여 곡선 주행을 하는 경우 적응적으로 탐색 영역을 통해 전방 차량을 검출할 수 있다.
도 5 (a) 및 (b)에 도시된 바와 같이, 전방 차량을 검출하기 위한 탐색 영역(510, 510') 및 탐색 윈도우(520, 520')가 설정되는 것을 볼 수 있다. 도 5 (a)의 경우에는 검출장치가 멀리 있는 전방 차량을 검출하기 위해 이에 해당되는 사이즈의 탐색 영역(510) 및 탐색 윈도우(520)를 이용하는 것을 나타내며, 도 5 (b)의 경우에는 검출장치가 가까이에 있는 전방 차량을 검출하기 위해 이에 해당되는 사이즈의 탐색 영역(510') 및 탐색 윈도우(520')를 이용하는 것을 나타낸다.
이하에서는, 도 2 (b)를 참조하여, 도로의 상태에 대한 오차를 고려하여 차선 영역을 보정하여 오브젝트를 검출하는 방법을 살펴보기로 한다. 즉, 검출장치는 도로의 상태 정보를 이용하여 좀 더 정확한 차선 영역을 설정할 수 있다.
S110 내지 S130, S140단계는 도 2 (a)와 동일하므로 차이가 나는 부분에 대해서만 구체적으로 살펴보기로 한다.
검출장치는 도로의 상태 정보를 통신부를 통해 수신한다(S131). 여기서, 도로의 상태 정보는 도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함한다.
이후, 검출장치는 상기 수신된 도로의 상태 정보에 대한 오차를 고려하여, 상기 설정된 차선 영역을 보정한다(S132). 여기서, 검출장치는 상기 설정된 차선 영역을 사다리꼴 형태의 차선 영역으로 보정하게 된다.
여기서, 검출장치는 도 2 (a)에서 설정된 삼각형 모양의 차선 영역에서 상기 차선 영역 맨 아래 부분에 해당하는(즉, 삼각형의 밑변에 해당하는) 픽셀 개수 값을 이용한다. 즉, 검출장치는 상기 픽셀 개수 값을 기준으로 상기 설정된 삼각형 모양의 차선 영역을 사다리꼴 형태의 차선 영역으로 보정하게 된다.
도 4 (a) 및 (b)에 도시된 바와 같이, 차선 영역이 사다리꼴 형태로 보정되는 것을 볼 수 있다(410,420). 도 4 (a)의 경우에는 상기 제 1 영역이 보정되는 것을(410), 도 4 (b)의 경우에는 상기 제 1 영역 및 제 2 영역이 보정되는 것을 나타낸다(410,420).
이상에서 설명한 실시예들 및 변형예들은 조합될 수 있다. 따라서, 각 실시예가 단독으로만 구현되는 것이 아니라, 필요에 따라 조합되어 구현될 수 있다. 이러한 조합에 대해서는, 본 명세서를 읽은 당업자라면, 용이하게 구현할 수 있는바, 이하 그 조합에 대해서는 상세하게 설명하지 않기로 한다. 다만, 설명하지 않더라도, 본 발명에서 배제되는 것이 아니며, 본 발명의 범주에 포함되는 것으로 해석되어야 한다.
이상에서 실시예들 및 변형예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서(또는 제어부)에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
예를 들어, 본 발명에 따른 방법은 저장 매체(예를 들어, 내부 메모리, 플래쉬 메모리, 하드 디스크, 기타 등등)에 저장될 수 있고, 프로세서(예를 들어, 마이크로 프로세서)에 의해서 실행될 수 있는 소프트웨어 프로그램 내에 코드들 또는 명령어들로 구현될 수 있다.
또한, 제어부(130)는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다.
실시 예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 제어부에 의해 실행될 수 있다.
또한, 본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
100: 검출 장치
110: 카메라부
120: 제어부
130: 통신부

Claims (20)

  1. 차량 전방의 오브젝트(object)를 검출하기 위한 방법에 있어서,
    상기 오브젝트를 포함하는 영상을 촬영하는 단계;
    호모그래피 매트릭스(homography matrix)를 이용하여 보정된 월드(world)에서의 지평선을 상기 촬영 영상으로 투영하여 소실선(vanishing line)을 획득하는 단계;
    상기 소실선을 이용하여 차선 영역을 설정하는 단계; 및
    상기 차선 영역 상에서 탐색 영역을 통해 상기 오브젝트를 검출하는 단계를 포함하되,
    상기 탐색 영역의 사이즈는 상기 오브젝트의 위치 또는 크기에 따라 결정되는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 오브젝트를 검출하는 단계는,
    상기 탐색 영역 내의 탐색 윈도우를 좌상단에서 우하단, 우상단에서 좌하단, 좌하단에서 우상단 또는 우하단에서 좌상단으로 슬라이딩 윈도우(sliding window) 방식을 통해 상기 오브젝트를 검출하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 소실선은 상기 오브젝트의 위치 또는 크기를 판단하는 기준인 것을 특징으로 하는 방법.
  4. 제 1항에 있어서, 상기 차선 영역은,
    상기 차량이 주행하는 차선 영역을 나타내는 제 1 영역 및 상기 제 1 영역의 양 측면에 위치하는 제 2 영역으로 구성되는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함하는 도로의 상태 정보를 수신하는 단계; 및
    상기 수신된 도로의 상태 정보에 대한 오차를 고려하여, 상기 차선 영역을 보정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  6. 제 5항에 있어서, 상기 차선 영역을 보정하는 단계는,
    상기 차선 영역을 사다리꼴 형태로 보정하는 것을 특징으로 하는 방법.
  7. 제 2항에 있어서, 상기 탐색 영역 및 탐색 윈도우의 사이즈는,
    상기 오브젝트의 위치 또는 크기에 비례하여 결정되는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 차량의 진행 방향 정보를 수신하는 단계; 및
    상기 수신된 차량의 진행 방향 정보에 기초하여, 상기 탐색 영역을 좌 또는 우로 쉬프트(shift)하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 탐색 영역은 카메라 보정(calibration) 과정을 통해 미리 획득되며, 호모그래피 방식을 이용하여 획득되는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서, 상기 차선 영역을 설정하는 단계는,
    실제 월드에서의 차선 영역의 너비 값을 이용하여 상기 소실선과 상기 촬영 영상에서 차선이 시작되는 지점과의 삼각비를 이용하여 설정하는 것을 특징으로 하는 방법.
  11. 차량 전방의 오브젝트(object)를 검출하기 위한 장치에 있어서,
    상기 오브젝트를 포함하는 영상을 촬영하기 위한 카메라부; 및
    상기 카메라부와 기능적으로 연결되는 제어부를 포함하되, 상기 제어부는,
    호모그래피 매트릭스(homography matrix)를 이용하여 보정된 월드(world)에서의 지평선을 상기 촬영 영상으로 투영하여 소실선(vanishing line)을 획득하며, 상기 소실선을 이용하여 차선 영역을 설정하며, 상기 차선 영역 상에서 탐색 영역을 통해 상기 오브젝트를 검출하도록 제어하되,
    상기 탐색 영역의 사이즈는 상기 오브젝트의 위치 또는 크기에 따라 결정되는 것을 특징으로 하는 장치.
  12. 제 11항에 있어서, 상기 제어부는,
    상기 탐색 영역 내의 탐색 윈도우를 좌상단에서 우하단, 우상단에서 좌하단, 좌하단에서 우상단 또는 우하단에서 좌상단으로 슬라이딩 윈도우(sliding window) 방식을 통해 상기 오브젝트를 검출하도록 제어하는 것을 특징으로 하는 장치.
  13. 제 11항에 있어서,
    상기 소실선은 상기 오브젝트의 위치 또는 크기를 판단하는 기준인 것을 특징으로 하는 장치.
  14. 제 11항에 있어서, 상기 차선 영역은,
    상기 차량이 주행하는 차선 영역을 나타내는 제 1 영역 및 상기 제 1 영역의 양 측면에 위치하는 제 2 영역으로 구성되는 것을 특징으로 하는 장치.
  15. 제 11항에 있어서,
    외부와 유/무선신호를 송수신하기 위한 통신부를 더 포함하며, 상기 제어부는,
    도로의 기울기 및 상기 도로와 상기 오브젝트 간의 거리 정보를 포함하는 도로의 상태 정보를 수신하도록 상기 통신부를 제어하며, 상기 도로의 상태 정보에 대한 오차를 고려하여, 상기 차선 영역을 보정하도록 제어하는 것을 특징으로 하는 장치.
  16. 제 15항에 있어서, 상기 제어부는,
    상기 차선 영역을 사다리꼴 형태로 보정하도록 제어하는 것을 특징으로 하는 장치.
  17. 제 12항에 있어서, 상기 제어부는,
    상기 탐색 영역 및 탐색 윈도우의 사이즈를 상기 오브젝트의 위치 또는 크기에 비례하여 설정되도록 제어하는 것을 특징으로 하는 장치.
  18. 제 15항에 있어서, 상기 제어부는,
    상기 차량의 진행 방향 정보를 수신하도록 상기 통신부를 제어하며, 상기 수신된 차량의 진행 방향 정보에 기초하여, 상기 탐색 영역을 좌 또는 우로 쉬프트(shift)하도록 제어하는 것을 특징으로 하는 장치.
  19. 제 11항에 있어서,
    상기 탐색 영역은 카메라 보정(calibration) 과정을 통해 미리 획득되는 것을 특징으로 하는 장치.
  20. 제 11항에 있어서, 상기 제어부는,
    실제 월드에서의 차선 영역의 너비 값을 이용하여 상기 소실선과 상기 촬영 영상에서 차선이 시작되는 지점과의 삼각비를 이용하여 상기 차선 영역을 설정하도록 제어하는 것을 특징으로 하는 장치.
KR1020110078350A 2011-08-05 2011-08-05 차량을 검출하기 위한 방법 및 장치 KR20130015975A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110078350A KR20130015975A (ko) 2011-08-05 2011-08-05 차량을 검출하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110078350A KR20130015975A (ko) 2011-08-05 2011-08-05 차량을 검출하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130015975A true KR20130015975A (ko) 2013-02-14

Family

ID=47895671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110078350A KR20130015975A (ko) 2011-08-05 2011-08-05 차량을 검출하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20130015975A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480075B1 (ko) * 2013-06-20 2015-01-09 (주)베라시스 원근을 고려한 적응형 객체 탐색방법
KR20150102525A (ko) * 2014-02-28 2015-09-07 경북대학교 산학협력단 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
KR20220058264A (ko) * 2020-10-30 2022-05-09 (주) 오토노머스에이투지 이미지 센서에 의해 획득된 도로 이미지로부터 검출된 차선 검출 정보를 참조하여 차량의 위치를 추정하는 방법 및 이를 이용한 컴퓨팅 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480075B1 (ko) * 2013-06-20 2015-01-09 (주)베라시스 원근을 고려한 적응형 객체 탐색방법
KR20150102525A (ko) * 2014-02-28 2015-09-07 경북대학교 산학협력단 동등-높이 정합 영상을 이용하여 물체를 검출하기 위한 영상 처리 장치 및 방법, 그리고 그를 이용한 차량 운전 보조 시스템
KR20220058264A (ko) * 2020-10-30 2022-05-09 (주) 오토노머스에이투지 이미지 센서에 의해 획득된 도로 이미지로부터 검출된 차선 검출 정보를 참조하여 차량의 위치를 추정하는 방법 및 이를 이용한 컴퓨팅 장치

Similar Documents

Publication Publication Date Title
KR102018378B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR101846447B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR101872865B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR101666919B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR20150116281A (ko) 투명 플렉서블 디스플레이 장치 및 그 장치의 제어 방법
KR101575159B1 (ko) 주차 정보 제공을 위한 모바일 단말기용 어플리케이션의 동작방법
US20170263014A1 (en) Electronic device and control method therefor
KR101563542B1 (ko) 모바일 단말기를 이용한 주차 정보 제공 시스템
KR20180017346A (ko) 디스플레이 디바이스 및 그 제어 방법
KR20130015746A (ko) 차선 인식 장치 및 그 방법
US20120038592A1 (en) Input/output device and human-machine interaction system and method thereof
US10636167B2 (en) Method and device for determining distance
KR101667727B1 (ko) 이동 단말기 및 이의 제어방법
KR20170059760A (ko) 이동단말기 및 그 제어방법
KR102221036B1 (ko) 이동단말기 및 그 제어방법
KR20130015976A (ko) 차량을 검출하기 위한 방법 및 장치
KR20190089293A (ko) 전자 기기 및 그 제어방법
CN105430250A (zh) 移动终端及其控制方法
KR20130015975A (ko) 차량을 검출하기 위한 방법 및 장치
KR20190042353A (ko) 이동 단말기 및 그 제어 방법
KR20130015973A (ko) 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법
KR101495790B1 (ko) 이동 단말기 및 이동 단말기에서의 화면 표시 제어 방법
KR20180096408A (ko) 전자 펜 및 그 제어 방법
KR20170040021A (ko) 조명 장치 및 시스템
US9438884B2 (en) Method for processing an image and electronic device for same

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid