KR20210058931A - 신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치 - Google Patents

신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치 Download PDF

Info

Publication number
KR20210058931A
KR20210058931A KR1020217011238A KR20217011238A KR20210058931A KR 20210058931 A KR20210058931 A KR 20210058931A KR 1020217011238 A KR1020217011238 A KR 1020217011238A KR 20217011238 A KR20217011238 A KR 20217011238A KR 20210058931 A KR20210058931 A KR 20210058931A
Authority
KR
South Korea
Prior art keywords
cluster
signal indicator
state
pixel
color
Prior art date
Application number
KR1020217011238A
Other languages
English (en)
Inventor
시창 수
Original Assignee
선전 센스타임 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 센스타임 테크놀로지 컴퍼니 리미티드 filed Critical 선전 센스타임 테크놀로지 컴퍼니 리미티드
Publication of KR20210058931A publication Critical patent/KR20210058931A/ko

Links

Images

Classifications

    • G06K9/00825—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G06K9/42—
    • G06K9/4652—
    • G06K9/6202—
    • G06K9/6218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치에 관한 것으로, 상기 신호 표시등의 상태 검출 방법은 대상 이미지에서의, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 것과, 상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 것과, 취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것을 포함하는 것이다.

Description

신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치
본원은 2019년 5월 28일에 중국 특허국에 제출된, 출원번호가 CN201910450394.3이고, 발명의 명칭이 「신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치」인 중국 특허출원의 우선권을 주장하고, 상기 출원의 전체 내용은 참조에 의해 본 발명에 포함된다.
본 발명은 컴퓨터 비전 기술에 관한 것으로, 특히 신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치에 관한 것이다.
자동 운전 중이나 운전 지원 중에 교차로의 교통 신호의 신호 상태를 검출할 필요가 있다. 자동 운전 차량은 방해가 있는 다양한 주행 환경에서 교통 신호의 위치나 상태를 실시간으로 검출하지 않으면 경로를 잘 안내할 수 없다. 자동 운전 차량은 센서로서 카메라를 사용하여 도로 장면의 이미지를 수집함으로써, 교통 신호를 실시간으로 검출할 수 있다.
본 발명은 신호 표시등의 상태 검출 방법 및 장치를 제공한다.
본 발명의 제1 측면에 의하면, 대상 이미지에서의, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 것과, 상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 것과, 취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것을 포함하는 신호 표시등의 상태 검출 방법을 제공한다.
일부 가능한 실시형태에서는, 상기 취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것은 상기 대상 이미지의 이미지 수집 기기에 미리 설정된 참고 특징값 및 각 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정하는 것과, 상기 참고 특징값에 매칭되는 클러스터 중심이 있음에 따라, 상기 신호 표시등이 제1 상태인 것으로 결정하는 것을 포함한다.
일부 가능한 실시형태에서는, 상기 방법은 상기 참고 특징값 및 각 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정한 후, 상기 참고 특징값에 매칭되는 클러스터 중심이 없음에 따라, 상기 신호 표시등이 제2 상태인 것으로 결정하는 것을 추가로 포함한다.
일부 가능한 실시형태에서는, 상기 참고 특징값을 설정하기 위해서는 상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하는 단계와, 상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정하는 단계를 포함한다.
일부 가능한 실시형태에서는, 상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정하는 것은 소정 색 영역의 픽셀의 색값을 상기 참고 특징값으로서 결정하는 것, 또는 상기 소정 색 영역의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 참고 특징값을 취득하는 것을 포함한다.
일부 가능한 실시형태에서는, 상기 참고 특징값은 적색 상태의 참고 특징값, 황색 상태의 참고 특징값 및 청색 상태의 참고 특징값을 포함한다.
일부 가능한 실시형태에서는, 상기 방법은 상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 기초하여 상기 대상 영역에서 클러스터에 의한 제1 면적을 결정하는 것과, 제1 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하는 것과, 제1 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정하는 것을 추가로 포함한다.
일부 가능한 실시형태에서는, 상기 방법은 상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 대해 클러스터링 처리를 행하여, 복수의 새로운 클러스터를 취득하는 것과, 상기 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 결정하고, 상기 대상 영역에서 상기 새로운 클러스터의 픽셀에 의한 제2 면적을 결정하는 것과, 제2 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하는 것과, 제2 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정하는 것을 추가로 포함한다.
일부 가능한 실시형태에서는, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 것은
상기 대상 영역 내의 픽셀의 색값을 상기 제1 특징값으로서 결정하는 것, 또는 상기 대상 영역 내의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 제1 특징값을 취득하는 것을 포함한다.
일부 가능한 실시형태에서는, 상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 것은 K 평균법으로 상기 대상 영역 내의 픽셀을 클러스터링하여 소정 수의 클러스터를 취득하는 것을 포함한다.
본 발명의 제2 측면에 의하면, 스마트 운전 기기의 이미지 수집 기기에 의해 도로 이미지를 수집하는 것과, 상기 도로 이미지를 대상 이미지로 하여 본 발명의 제1 측면 중 어느 한 항에 기재된 신호 표시등의 상태 검출 방법을 실행하여, 상기 도로 이미지에서의 신호 표시등의 표시 상태를 취득하는 것과, 상기 도로 이미지에서의 신호 표시등의 표시 상태에 기초하여, 상기 스마트 운전 기기를 제어하는 제어 명령을 생성하여 출력함으로써, 상기 스마트 운전 기기를 제어하는 운전 제어 방법을 제공한다.
일부 가능한 실시형태에서는, 상기 제어 명령은 속도 유지 제어 명령과, 속도 조정 제어 명령과, 방향 유지 제어 명령과, 방향 조정 제어 명령과, 경보 제시 제어 명령과, 운전 모드 전환 제어 명령 중 하나 이상을 포함한다.
본 발명의 제3 측면에 의하면, 대상 이미지에서의, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 검출 모듈과, 상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 클러스터링 모듈과, 취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 특정 모듈을 구비하는 신호 표시등의 상태 검출 장치를 제공한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 상기 대상 이미지를 취득하는 이미지 수집 기기에 미리 설정된 참고 특징값 및 각 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정하는 것과, 상기 참고 특징값에 매칭되는 클러스터 중심이 있음에 따라, 상기 신호 표시등이 제1 상태인 것으로 결정한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 추가로 상기 참고 특징값 및 각 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정한 후, 상기 참고 특징값에 매칭되는 클러스터 중심이 없음에 따라, 상기 신호 표시등이 제2 상태인 것으로 결정한다.
일부 가능한 실시형태에서는, 상기 장치는 설정 모듈을 추가로 구비하고, 상기 설정 모듈은 상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하고, 상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정한다.
일부 가능한 실시형태에서는, 상기 설정 모듈은 상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하고 소정 색 영역의 픽셀의 색값을 상기 참고 특징값으로서 결정하거나, 또는 상기 소정 색 영역의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 참고 특징값을 취득한다.
일부 가능한 실시형태에서는, 상기 참고 특징값은 적색 상태의 참고 특징값, 황색 상태의 참고 특징값 및 청색 상태의 참고 특징값을 포함한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 추가로 상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 기초하여, 상기 대상 영역에서 클러스터에 의한 제1 면적을 결정하고, 제1 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하고, 제1 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 추가로 상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 대해 클러스터링 처리를 행하여, 복수의 새로운 클러스터를 취득하고, 상기 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 결정하고, 상기 대상 영역에서 상기 새로운 클러스터의 픽셀에 의한 제2 면적을 결정하고, 제2 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하고, 제2 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정한다.
일부 가능한 실시형태에서는, 상기 검출 모듈은 대상 이미지의 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 색값을 상기 제1 특징값으로서 결정하거나, 또는 상기 대상 영역 내의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 제1 특징값을 취득한다.
일부 가능한 실시형태에서는, 상기 클러스터링 모듈은 K 평균법으로 상기 대상 영역 내의 픽셀을 클러스터링하여 소정 수의 클러스터를 취득한다.
본 발명의 제4 측면에 의하면, 스마트 운전 기기에 장착되고, 도로 이미지를 수집하는 이미지 수집 기기와, 상기 도로 이미지를 대상 이미지로 하여 본 발명의 제1 측면 중 어느 한 항에 기재된 신호 표시등의 상태 검출 방법을 실행하여, 상기 도로 이미지에서의 신호 표시등의 표시 상태를 취득하는 신호 표시등 상태 검출 모듈과, 상기 도로 이미지에서의 신호 표시등의 표시 상태에 기초하여, 상기 스마트 운전 기기를 제어하는 제어 명령을 생성하여 출력함으로써, 상기 스마트 운전 기기를 제어하는 제어 모듈을 구비하는 운전 제어 장치를 제공한다.
일부 가능한 실시형태에서는, 상기 제어 명령은 속도 유지 제어 명령과, 속도 조정 제어 명령과, 방향 유지 제어 명령과, 방향 조정 제어 명령과, 경보 제시 제어 명령과, 운전 모드 전환 제어 명령 중 하나 이상을 포함한다.
본 발명의 제5 측면에 의하면, 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고, 상기 프로세서는 제1 측면 중 어느 한 항의 방법을 실행하거나, 또는 제2 측면 중 어느 한 항의 방법을 실행하도록 구성되는 전자 기기를 제공한다.
본 발명의 제6 측면에 의하면, 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면 제1 측면 중 어느 한 항의 방법을 실현시키거나, 또는 제2 측면 중 어느 한 항의 방법을 실행하는 것을 특징으로 하는 컴퓨터 판독 가능 기억 매체를 제공한다.
본 발명의 제7 측면에 의하면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동하면, 상기 전자 기기의 프로세서에 제1 측면 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키거나, 또는 제2 측면 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램을 제공한다.
본 발명의 실시예는 이미지에서의 신호 표시등이 위치하는 대상 영역을 검출하고, 신호 표시등이 위치하는 대상 영역의 픽셀 특징값에 대해 클러스터링 처리를 행하여, 복수의 클러스터를 취득함으로써, 상기 복수의 클러스터와 참고 특징값의 매칭 상황에 따라 신호 표시등의 표시 상태를 취득할 수 있다. 본 발명의 실시예는 신호 표시등의 표시 상태를 높은 정밀도로 검출한 후, 표시 상태의 검출시에 뉴럴 네트워크를 사용하는 확률을 낮게할 수 있고, 네트워크 트레이닝 프로그램이 저감되고, 신호 표시등의 표시 상태의 검출 시간을 단축할 수 있다. 자동 운전 분야에서도 본 발명의 실시예에 의해 교통 신호의 표시 상태를 특정할 수 있고, 이에 의해 자동 운전의 안전성이 향상된다.
이상의 일반적인 설명 및 이하의 상세한 설명은 예시적이거나 해석적인 것에 불과하고, 본 발명을 제한하는 것이 아니라는 것을 이해해야 한다.
도면을 참조하면서 예시적인 실시예를 상세히 설명함으로써, 본 발명의 다른 특징 및 측면은 보다 알기 쉬워진다.
명세서의 일부로서 포함되는 도면은 본 발명의 실시예를 나타내고, 명세서와 함께 본 발명의 기술적 수단을 설명하는 것이다.
도 1은 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법의 흐름도를 나타낸다.
도 2는 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 단계(S30)의 흐름도를 나타낸다.
도 3은 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 참고 특징값을 취득하는 흐름도를 나타낸다.
도 4는 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 단계(S34)의 흐름도를 나타낸다.
도 5는 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 단계(S34)의 다른 흐름도를 나타낸다.
도 6은 본 발명의 실시예에서의 신호 표시등의 구조 모식도를 나타낸다.
도 7은 본 발명의 실시예에서 제공하는 운전 제어 방법의 흐름도를 나타낸다.
도 8은 본 발명의 실시예에 따른 신호 표시등의 상태 검출 장치의 블록도를 나타낸다.
도 9는 본 발명의 실시예에 따른 운전 제어 장치의 블록도를 나타낸다.
도 10은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다.
도 11은 본 발명의 실시예에 따른 전자 기기의 다른 블록도를 나타낸다.
이하에 도면을 참조하면서 본 발명의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 부호가 동일 또는 유사한 기능의 요소를 나타낸다. 도면에 있어서 실시예의 다양한 측면을 나타냈지만, 특별히 설명이 없는 한, 비례에 따라서 도면을 그릴 필요가 없다.
여기서의 용어「예시적」이란 「예, 실시예로 하는 것 또는 설명적인 것」을 의미한다. 여기서 「예시적」으로 설명되는 어떠한 실시예도 다른 실시예보다 바람직하거나 또는 우수한 것으로 이해해서는 안된다.
본 명세서에서, 용어 「및/또는」은 관련 대상의 관련 관계를 기술하는 것에 불과하고, 3개의 관계가 존재 가능함을 나타내며, 예를 들면, A 및/또는 B는 A만이 존재하고, A와 B가 동시에 존재하고, B만이 존재하는 3개의 경우를 나타낼 수 있다. 또한, 본 명세서에서, 용어 「하나 이상」은 복수 중 어느 하나, 또는 복수 중 적어도 2개의 임의의 조합을 나타내고, 예를 들면 A, B, C 중 하나 이상을 포함하는 것은 A, B 및 C로 구성되는 집합에서 선택된 어느 하나 또는 복수의 요소를 포함하는 것을 나타낼 수 있다.
또한, 본 발명을 보다 효과적으로 설명하기 위해, 이하의 구체적인 실시형태에서 다양한 구체적인 상세를 나타낸다. 당업자라면 본 발명은 어떠한 구체적인 상세가 없어도 동일하게 실시할 수 있는 것으로 이해해야 한다. 일부 실시예에서는 본 발명의 취지를 강조하기 위해 당업자가 숙지하고 있는 방법, 수단, 요소 및 회로에 대해 상세한 설명을 생략한다.
본 발명의 실시예는 대상 이미지에서의 신호 표시등의 표시 상태를 검출할 수 있는 신호 표시등의 상태 검출 방법을 제공한다. 본 발명의 실시예의 신호 표시등의 상태 검출 방법은 임의의 이미지 수집 기기 및 이미지 처리 기기에 적용 가능하다. 예를 들면, 비디오 카메라, 카메라, 휴대 전화, 컴퓨터, PAD, 스마트 워치, 스마트 팔찌 또는 서버에 적용할 수 있다. 또한, 로봇, 스마트 운전 기기, 시각 장애자의 유도 기기 등에도 적용할 수 있고, 이미지 취득이나 이미지 처리를 실행할 수 있는 것이면, 본 발명의 실시예의 방법을 실현시킬 수 있다. 이에 대해, 본 발명에서는 특별히 한정하지 않는다. 본 발명은 신호등 상태의 식별, 검출 등의 장면에 적용할 수 있고, 예를 들면, 자동 운전에서 교통 신호의 상태를 검출함으로써, 경로 계획 및 경로 안내 등을 행할 수 있다. 구체적인 적용 장면에 대해, 본 발명에서는 특별히 한정하지 않는다.
도 1은 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법의 흐름도를 나타낸다. 상기 신호 표시등의 상태 검출 방법은 이하의 단계를 포함해도 된다.
단계 (S10): 대상 이미지에서의, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정한다.
상술한 바와 같이, 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법은 대상 이미지에서의 신호 표시등(이하, 대상 오브젝트라고 함)의 표시 상태의 검출을 실현시킬 수 있다. 먼저 상기 대상 이미지를 취득한다. 일부 가능한 실시형태에서는 대상 이미지는 이미지 수집 기기에 의해 취득한 것이고, 예를 들면, 운전 기록 기기 등의 이미지 수집 기기를, 차량이나 항공기 등의 자동 운전 또는 운전 지원 기기에 설치해도 된다. 상기 이미지 수집 기기에 의해 운전 기록 이미지를 취득할 수 있다. 상기 운전 기록 이미지는 본 발명의 실시예의 대상 이미지로 해도 된다. 혹은 수신된 비디오 이미지에서 샘플링함으로써, 대상 이미지를 취득해도 되고, 다른 기기에서 수신된 대상 이미지여도 된다. 이에 대해 본 발명에서는 특별히 한정하지 않는다.
일부 가능한 실시형태에서는 대상 이미지를 취득한 후, 단계(S10)에서 대상 이미지에서의 대상 오브젝트가 위치하는 대상 영역을 검출할 수 있다. 대상 오브젝트는 신호 표시등을 포함해도 되고, 상기 신호 표시등에는 주행 방향의 직진·선회를 안내하는 신호 표시등을 포함해도 되고, 정지, 전진, 대기를 안내하는 신호 표시등을 포함해도 되고, 다양한 기기의 작동 상태를 지시하는 신호 표시등을 포함해도 된다. 본 발명은 이에 대해 개별적으로 열거하여 설명하지 않는다. 도 6은 본 발명의 실시예에서의 신호 표시등의 구조 모식도를 나타내고 있고, 종방향으로 배열된 신호 표시등, 횡방향으로 배열된 신호 표시등 또는 방향을 지시하는 신호 표시등 등의 각 신호 표시등의 종류를 예시적으로 설명하는 것에 불과하다. 도 6에 나타내는 대상 오브젝트는 3개의 표시등을 포함해도 된다. 본 발명의 실시예에서, 표시등의 수는 1개여도 되고, 복수여도 된다. 이에 대해 특별히 한정하지 않는다. 또한, 신호 표시등은 상이한 표시 상태를 가져도 된다. 예를 들면, 점등되어 있어도 되고, 점등되어 있지 않아도 된다. 혹은 점등시에, 예를 들면, 적, 황 및 청 중 하나 이상의 상이한 점등색을 가져도 되고, 다른 실시예에서, 다른 점등색 또는 다른 표시 상태를 가져도 된다. 본 발명의 실시예에서, 신호 표시등을 대상 오브젝트의 예로서 설명하지만, 다른 실시예에서, 대상 오브젝트가 상이한 색 또는 상이한 휘도 등, 상이한 표시 상태를 가지면, 본 발명의 실시예의 대상 오브젝트로 해도 된다.
일부 가능한 실시형태에서는 대상 오브젝트 및 대상 오브젝트가 위치하는 대상 영역의 검출은 이미지 인식법(비 뉴럴 네트워크 검출 방법)에 의해 실행해도 되고, 대상 오브젝트를 인식하도록 트레이닝된 뉴럴 네트워크에 의해 실행되어도 된다. 뉴럴 네트워크는 합성곱 뉴럴 네트워크로 해도 된다. 혹은 수신된 프레임 선택 조작에 의해 대상 오브젝트가 위치하는 대상 영역을 결정해도 된다. 예를 들면, 입력 모듈에 의해 사용자가 입력한 터치 조작(즉 프레임 선택 조작)을 받아, 상기 터치 조작에 의해 선택된 영역에 기초하여 대상 오브젝트가 위치하는 대상 영역을 결정해도 된다. 이상은 예시적인 설명에 불과하다. 다른 실시예에서는 다른 방법으로 대상 오브젝트가 위치하는 대상 영역을 결정해도 된다. 이에 대해 본 발명에서는 특별히 한정하지 않는다.
대상 이미지에서의 대상 오브젝트가 위치하는 대상 영역을 결정한 후, 상기 대상 영역 내에서의 복수의 픽셀에 대응하는 제1 특징값을 취득해도 된다. 상기 제1 특징값은 픽셀의 화소값을 표시해도 되고, 구체적으로는 픽셀에 대응하는 하나 이상의 컬러 채널의 특징값이어도 된다. 예를 들면, 본 발명의 실시예의 대상 이미지는 RGB 이미지(컬러 이미지)여도 되고, 이 경우, 취득한 픽셀의 제1 특징값은 대상 영역 내의 픽셀의 색값이어도 된다. 색값은 색이 상이한 컬러 모드에 있어서 대응하는 색값이고, 컬러 모드는 색을 숫자로 나타내는 모델이며, 이미지의 색을 기록하는 방법이라고도 할 수 있다. 현재 일반적으로 사용되고 있는 컬러 모드는 RGB 모드, CMYK 모드, HSB 모드, Lab 컬러 모드, 비트맵 모드, 그레이 스케일 모드, 인덱스 컬러 모드, 더블 톤 모드, 멀티 채널 모드 등을 포함한다. 따라서, RGB 모드에서 이 색값은 R값과, G값과, B값을 포함해도 된다. RGB 모드는 현재 가장 일반적으로 사용되고 있는 컬러 모드이다. 이하의 예시에서는 RGB 모드만을 예로 들지만, 다른 컬러 모드를 사용하는 신호 표시등의 상태 검출 방법은 RGB 모드를 사용하는 신호 표시등의 상태 검출 방법과 유사하기 때문에, 여기에서 상세한 설명을 생략한다. 또한, 대상 이미지가 다른 형식의 이미지인 경우, 공간 변환에 의해 다른 형식의 이미지를 RGB 이미지로 변환할 수 있다. 예를 들면, YUV 형식의 이미지를 RGB 형식의 이미지로 변환하여 픽셀의 제1 특징값을 취득한다. 이미지 변환 방법에 대해, 본 발명의 실시예는 특별히 한정하지 않는다.
일부 가능한 실시형태에서는, 대상 영역 내에서의 복수의 픽셀의 제1 특징값은 정규화 처리를 행한 색값이어도 된다. 즉, 본 발명의 실시예는 대상 이미지의 대상 영역 내의 복수의 픽셀의 색값(R값, G값 및 B값)을 취득한 후, 취득한 R값, G값 및 B값에 대해 정규화 처리를 실행해도 되고, 이에 의해 노이즈를 저감하고, 노이즈의 침입에 의한 제1 특징값의 차이를 작게 함으로써, 클러스터링 정밀도 및 표시 상태의 표시 정밀도를 높일 수 있다. 정규화 처리의 방법은 R값, G값 및 B값을 각각 표준값으로 나누어 R값, G값 및 B값의 정규화 처리 결과를 취득하는 것을 포함해도 된다. 표준값은 필요에 따라 결정할 수 있지만, 통상, 대상 이미지의 복수의 픽셀의 계조에 기초하여 결정할 수 있다. 예를 들면, 대상 이미지의 최대 화소값을 이 표준값으로서 결정해도 된다. 예를 들면, 대상 영역의 픽셀의 RGB를 (255, 0, 0)으로 표시하고, 표준값을 255로 한 경우, 정규화된 결과는 (1, 0, 0)이 된다.
단계 (S20): 상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 것.
본 발명의 실시예에서는 대상 영역 내에서의 복수의 픽셀의 제1 특징값을 취득한 경우, 취득한 제1 특징값에 기초하여 복수의 픽셀을 클러스터링하여, 상이한 색 상태의 클러스터를 취득해도 된다.
일부 가능한 실시형태에서는 복수의 픽셀의 제1 특징값은 색값에 대응하는 3차원 공간에 매핑해도 된다. 색값으로서 RGB를 채용하는 것을 예로 하면 복수의 픽셀의 제1 특징값을 RGB의 3차원 공간에 매핑해도 된다. RGB값은 RGB의 3차원 공간의 좌표점으로 간주해도 된다. 예를 들면, 제1 특징값이 (1,0,0)의 픽셀인 경우, 상기 픽셀이 R축 위에 있어도 되고, R축에서의 좌표값이 1이다. 이와 같이 유추하면, RGB 공간에서의 각 픽셀의 위치를 취득할 수 있고, RGB 공간 내에서의 복수의 제1 특징값의 위치에 기초하여 복수의 픽셀에 대해 클러스터링 처리를 행할 수 있다.
일부 가능한 실시형태에서는 K 평균법을 이용하여 복수의 픽셀의 클러스터링 처리를 실행해도 된다. K 평균법은 먼저 대상 영역 내에서의 복수의 픽셀의 제1 특징값에서 K(K는 1보다 큰 정수)개의 오브젝트(제1 특징값)를 최초의 클러스터 중심으로서 랜덤으로 선택해도 되고, 클러스터 중심의 개수가 미리 설정된 클러스터의 수와 동일하다. 그 후, 각 오브젝트와 복수의 최초의 클러스터 중심의 거리를 계산하고, 각 오브젝트를 그것에 가장 가까운 클러스터 중심에 할당한다. 클러스터 중심 및 이에 할당된 오브젝트는 하나의 클러스터(cluster)를 나타낸다. 모든 오브젝트가 할당된 후, 각 클러스터의 클러스터 중심은 클러스터에서의 현존 오브젝트에 기초하여 재계산된다. 이 프로세스는 어떤 종료 조건을 만족시킬 때까지 반복한다. 종료 조건은 상이한 클러스터에 재할당되는 오브젝트가 없고(또는 최소수이고), 재변경되는 클러스터 중심이 없는(또는 최소수인) 것이어도 된다. 상기 방법에 의해, 복수의 픽셀의 클러스터링을 완료하고, 설정된 클러스터 수가 되는 복수의 클러스터를 취득할 수 있다. K 평균법으로 클러스터링 처리를 행한 후, 복수의 클러스터를 취득함과 함께, 클러스터의 클러스터 중심(클러스터의 중심)을 결정할 수 있다.
본 발명의 실시예에서는 상기 클러스터링 처리에 의해 제1 특징값의 거리가 가까운 픽셀을 동일한 클러스터(cluster)에 할당할 수 있고, 이 프로세스는 동일한 색의 픽셀의 클러스터링 처리를 도모할 수 있다.
단계 (S30): 취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것.
상술한 바와 같이, 본 발명의 실시예는 단계(S20)에 의해 동일한 색의 픽셀에 대한 클러스터링 처리를 실행할 수 있고, 클러스터링 처리에 의해 취득한 상이한 클러스터는 상이한 색의 픽셀의 클러스터로서 표시할 수 있다. 따라서, 클러스터가 표시하는 색에 기초하여, 대상 영역에서의 대상 오브젝트의 표시 상태를 특정할 수 있다. 대상 오브젝트는 신호 표시등이어도 되고, 본 발명의 실시예에 대응하는 대상 오브젝트의 표시 상태는 점등되어 있는 신호 표시등이 있는 상태인 제1 상태와, 점등되어 있는 신호 표시등이 없는 상태인 제2 상태를 가져도 되고, 또한 제1 상태에서는 점등되어 있는 신호 표시등의 색을 추가로 확인할 수 있다.
도 2는 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 단계(S30)의 흐름도를 나타낸다. 상기 취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것은 단계(S31)∼(S34)를 포함해도 된다.
단계 (S31)에서 각 클러스터의 클러스터 중심에 대응하는 제1 특징값 및 참고 특징값에 기초하여, 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정한다.
일부 가능한 실시형태에서는 복수의 색 상태를 갖는 참고 특징값을 설정해도 된다. 동일하게, 각 참고 특징값은 대응하는 색의 RGB값 등의 색값을 가져도 되고, 상기 참고 특징값을 색값 공간에 매핑해도 되고, 이에 의해 상기 참고 특징값에 대응하는 색값과 클러스터의 클러스터 중심의 거리에 기초하여 클러스터 중심이 참고 특징값에 매칭되는지 여부를 결정해도 된다. 대상 오브젝트가 신호 표시등인 경우, 설정된 참고 특징값은 적색 상태의 참고 특징값, 황색 상태의 참고 특징값 및 청색 상태의 참고 특징값을 가져도 된다. 참고 특징값은 RGB 공간의 하나의 좌표점으로서 표시해도 되고, 좌표값이 대응하는 RGB값이다.
클러스터링 처리에 의해 취득한 복수의 클러스터의 클러스터 중심을 참고 특징값과 비교함으로써, 클러스터 중심이 참고 특징값에 매칭되는지 여부, 즉 대응하는 클러스터의 색이 참고 특징값에 대응하는 색에 매칭되는지 여부를 결정할 수 있다.
일부 가능한 실시형태에서는 클러스터 중심과 참고 특징값의 거리가 거리 임계값보다 작은 경우, 상기 클러스터 중심이 상기 참고 특징값에 매칭되는, 즉 상기 클러스터 중심에 대응하는 클러스터의 색이 상기 참고 특징값에 대응하는 색에 매칭되는 것으로 결정할 수 있다. 즉, 대상 영역에는 상기 색이 하이라이트 표시되어 있는 상태, 예를 들면, 상기 색의 표시등이 하고 있는 상태일 가능성이 있다. 모든 클러스터의 클러스터 중심에 대해 전부 클러스터 중심에 매칭되는 참고 특징값이 없는 경우, 즉 각각의 클러스터 중심과 복수의 참고 특징값의 거리 모두 거리 임계값 이상인 경우, 대상 영역의 대상 오브젝트에는 점등되어 있는 참고 특징값에 대응하는 색이 없는 상태인 것, 즉 하이라이트 표시되어 있는 참고 특징값에 대응하는 색이 없는 것을 의미하고 있다. 즉, 점등되어 있는 신호 표시등이 없다.
단계 (S32)에 있어서, 상기 참고 특징값에 매칭되는 클러스터 중심이 있음에 따라, 상기 대상 오브젝트가 제1 상태인 것으로 결정한다.
상술한 바와 같이, 참고 특징값과의 거리가 거리 임계값보다 작은 클러스터 중심이 있는 경우, 상기 참고 특징값에 매칭되는 클러스터 중심이 있는 것으로 결정할 수 있다. 이 때, 대상 영역의 대상 오브젝트가 제1 상태인 것으로 결정할 수 있다. 즉, 하이라이트 표시되어 있는 참고 특징값에 대응하는 상태의 색이 있다. 이 때, 점등되어 있는 신호 표시등이 있는 상태이다.
단계 (S33)에 있어서, 상기 참고 특징값에 매칭되는 클러스터 중심이 없음에 따라, 상기 대상 오브젝트가 제2 상태인 것으로 결정한다.
상술한 바와 같이, 모든 클러스터의 클러스터 중심의 제1 특징값 중 어느 것에 대해서도 임의의 참고 특징값과의 거리가 거리 임계값 이상인 경우, 상기 참고 특징값에 매칭되는 클러스터 중심이 없는 것으로 결정할 수 있다. 이 때, 대상 영역의 대상 오브젝트가 제2 상태인 것으로 결정할 수 있다. 즉, 하이라이트 표시되어 있는 참고 특징값에 대응하는 색이 없는 상태이고, 이 때, 점등되어 있는 신호 표시등이 없는 상태이다.
단계 (S34)에 있어서, 상기 제1 상태 또는 상기 제2 상태에 기초하여, 상기 대상 오브젝트의 표시 상태를 특정한다.
일부 가능한 실시형태에서는 대상 오브젝트가 제2 상태인 것으로 결정했을 때, 대상 오브젝트의 표시 상태는 하이라이트 표시되어 있는 참고 특징값에 대응하는 색이 없는 상태, 즉 점등되어 있는 신호 표시등이 없는 상태이다.
일부 가능한 실시형태에서는 대상 오브젝트가 제1 상태인 것으로 결정했을 때, 대상 오브젝트의 표시 상태는 하이라이트 표시되어 있는 참고 특징값에 대응하는 색이 있는 상태, 즉 점등되어 있는 신호 표시등이 있는 상태이다.
본 발명의 실시예에 의하면, 신호 표시등의 제1 상태와 제2 상태를 결정할 수 있고, 제2 상태인 경우, 상기 대상 영역 내의 신호 표시등이 전부 점등되어 있지 않은 것으로 결정할 수 있다. 이 때, 상기 신호 표시등이 고장난 것임을 검출할 수 있다(정상인 경우, 신호 표시등 중 어느 하나가 점등되어 있을 것이기 때문에). 또한, 상기 신호 표시등이 고장난 것을 관련 기관에 알리기 위해 대상 이미지의 신호 표시등이 제2 상태인 것으로 결정한 경우, 상기 고장 정보를 보고하도록 해도 된다. 예를 들면, 관련 기관의 작업자가 신호 표시등의 메인터넌스를 용이하게 행하고, 교통의 안전성을 향상시키기 위해 상기 이미지를 대상 이미지에 대응하는 위치 정보 및 대상 이미지의 제2 상태와 함께 미리 설정된 격납 주소(예를 들면, 교통 기관의 통신 주소)에 전송함으로써 상기 고장 정보를 보고해도 된다.
또한, 본 발명의 실시예의 복수의 색에 대응하는 참고 특징값, 예를 들면, 참고 RGB값은 설정된 RGB값에 의해 결정해도 된다. 표준 상태에서의 적색의 RGB값을 적색의 참고 특징값으로서 결정하고, 표준 상태에서의 황색의 RGB값을 황색의 참고 특징값으로서 결정하고, 표준 상태에서의 청색의 RGB값을 청색의 참고 특징값으로서 결정해도 된다.
다른 일부 실시형태에서는 이미지 수집 기기에서 컬러 보정 타겟을 촬영함으로써, 상기 이미지 수집 기기에 대응하는 복수의 색의 참고 특징값을 취득해도 된다. 도 3은 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 참고 특징값을 취득하는 흐름도를 나타낸다. 참고 특징값을 취득하는 단계는 (S41) 및 (S42)를 포함한다.
단계 (S41)에 있어서, 상기 대상 이미지를 취득하는 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득한다.
일부 가능한 실시형태에서는, 컬러 보정 타겟은 상이한 색을 갖는 컬러 샘플이어도 되고, 대상 이미지를 수집하는 이미지 수집 기기에서 상기 컬러 보정 타겟을 촬영함으로써, 상기 컬러 보정 타켓에 관한 참고 이미지를 취득할 수 있다.
단계 (S42)에 있어서, 상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정한다.
상기 참고 이미지는 복수의 색 영역을 가져도 되기 때문에, 복수의 색 영역 내의 픽셀의 색값(예를 들면, RGB값)을 취득할 수 있다. 본 발명의 실시예는 대응하는 영역 내의 픽셀의 색값의 평균값을 상기 색 영역에 대응하는 참고 특징값, 즉 상기 색의 참고 특징값으로 해도 된다.
동일하게, 제1 특징값의 취득 방법과 동일하도록, 대응하는 색 영역의 색값의 평균값을 정규화하여 상기 색의 참고 특징값을 취득해도 된다. 정규화 방법은 상기 설명과 같다. 예를 들면, 색값의 평균값을 계조수 또는 다른 표준값으로 나누어 정규화한 참고 특징값을 취득한다. 상세한 프로세스에 대해, 여기서 중복 설명을 생략한다.
상기 실시예에 의하면, 이미지 수집 기기에 관한 복수의 색의 참고 특징값을 취득하고, 후속 단계에서 상기 참고 특징값에 기초하여 클러스터 중심과 참고 특징값의 매칭 처리 등의 후속 논리적 처리를 행하고, 이미지 수집 기기의 파라미터에 의한 색의 픽셀에 대한 영향을 줄일 수 있다. 또한, 여러 종류의 이미지 수집 기기에 적용하여 이미지 수집 기기에서 수집된 이미지 간의 색의 편차를 줄일 수 있다.
일부 가능한 실시형태에서는 대상 오브젝트가 제1 상태인 것으로 결정한 경우, 점등되어 있는 표시등의 색을 추가로 결정해도 된다.
도 4는 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 단계(S34)의 흐름도를 나타낸다. 상기 제1 상태 또는 상기 제2 상태에 기초하여 상기 대상 오브젝트의 표시 상태를 특정하는 것은 단계 (S3401) 및 (S3402)를 포함한다.
단계 (S3401)에 있어서, 상기 오브젝트가 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 기초하여 상기 대상 영역에서 상기 클러스터에 의한 제1 면적을 결정한다.
일부 가능한 실시형태에서는 대상 오브젝트가 제1 상태인 것으로 결정한 경우, 대상 영역에서 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀이 형성된 영역의 제1 면적을 취득해도 된다. 예를 들면, 참고 특징값에 매칭되는 클러스터 중심에 대응하는 픽셀을 대상 영역에 재매핑하여 대상 영역에서 상기 클러스터의 픽셀에 의한 제1 면적을 결정해도 된다. 본 발명의 실시예는 적산에 의해 제1 면적을 결정해도 되고, 다른 방법에 의해 제1 면적을 취득해도 된다. 이에 대해, 본 발명에서는 특별히 한정하지 않는다.
단계 (S3402)에서 제1 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 대상 오브젝트의 표시색을 특정한다.
참고 특징값에 매칭되는 클러스터 중심이 복수일 가능성이 있기 때문에, 하나 이상의 클러스터에 대응하는 제1 면적을 취득할 가능성이 있다. 이 때, 본 발명의 실시예는 제1 면적이 가장 크고, 상기 제1 면적이 면적 임계값보다 큰 클러스터에 대응하는 참고 특징값의 색을, 대상 영역에서의 대상 오브젝트의 표시색으로서 결정해도 된다. 이 방법에 의해 대상 영역에서의 점등되어 있는 신호 표시등의 색을 간단하고 편리하게 결정할 수 있다. 본 발명의 실시예는 필요에 따라 이러한 면적 임계값을 설정해도 된다. 이에 대해, 본 발명에서는 특별히 한정하지 않는다.
또는, 본 발명의 다른 일부 실시예에서는 대상 영역 내에 재매핑된 복수의 픽셀에 대해 클러스터링 처리를 추가로 실행하여, 새로운 복수의 클러스터를 취득하고, 대상 오브젝트의 표시색, 즉 점등되어 있는 표시등의 색을 추가로 결정해도 된다. 이 방법에 의해, 표시색의 검출 정밀도를 높일 수 있다.
도 5는 본 발명의 실시예에 따른 신호 표시등의 상태 검출 방법에서의 단계(S34)의 다른 흐름도를 나타낸다. 상기 제1 상태 또는 상기 제2 상태에 기초하여, 상기 대상 오브젝트의 표시 상태를 특정하는 것은 단계 (S3411∼S3413)을 포함한다.
단계 (S3411)에 있어서, 상기 대상 오브젝트가 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 대해 클러스터링 처리를 실행하여 복수의 새로운 클러스터를 취득한다.
상기 실시예에서 기술하는 바와 같이, 본 발명의 실시예는 결정된 참고 특징에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀을 대상 영역에 재매핑하여, 재매핑된 모든 픽셀에 대해 클러스터링 처리를 재실행해도 된다.
동일하게, 재매핑된 픽셀의 제1 특징값에 기초하여 클러스터링 처리를 실행해도 된다. 예를 들면, K 평균 클러스터링 처리를 실행해도 된다. 단계(S20)에서의 클러스터링 처리에 설정하는 클러스터의 수와, 본 단계에서의 클러스터링 처리에 설정하는 클러스터의 수는 동일해도 되고, 상이해도 되지만, 통상, 3 이상의 수치로 설정해도 된다.
재매핑된 픽셀의 제1 특징값에 기초하여 상기 재매핑된 픽셀의 클러스터링 처리를 실행한 후, 새로운 클러스터를 복수 취득할 수 있다. 상기 새로운 클러스터는 대상 영역 내에 재매핑된 픽셀을 하나 이상 가져도 된다. 이 단계에 의해, 단계(S20)에서 취득된 참고 특징값에 매칭되는 클러스터 내의 픽셀의 재클러스터링을 실현시켜 새로운 클러스터를 형성할 수 있다. 동일하게, 새로운 클러스터의 클러스터 중심을 복수 취득할 수도 있다. 상기 프로세스에 대해, 본 발명에서는 특별히 한정하지 않는다.
단계 (S3412)에 있어서, 상기 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 결정하고, 상기 대상 영역에서 새로운 클러스터의 픽셀에 의한 제2 면적을 결정한다.
단계 (S3413)에서 제2 면적이 가장 큰 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 대상 오브젝트의 색을 특정한다.
일부 가능한 실시형태에서는 새로운 클러스터를 복수 취득한 후, 복수의 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 재결정해도 된다. 이 단계에서는 새로운 클러스터의 클러스터 중심과의 거리가 가장 가까운 참고 특징값에 대응하는 색을 상기 새로운 클러스터에 대응하는 색으로서 결정해도 된다.
또한, 본 발명의 실시예에서는 새로운 클러스터 내의 픽셀에 기초하여, 대응하는 새로운 클러스터에 의한 제2 면적을 결정해도 된다. 예를 들면, 새로운 클러스터 내의 픽셀로 둘러싸인 영역을 결정하고, 상기 영역의 제2 면적, 즉 대응하는 새로운 클러스터의 제2 면적을 추가로 결정해도 된다.
새로운 클러스터의 제2 면적을 취득한 후, 그 중에서 제2 면적이 가장 큰 새로운 클러스터를 선택해도 된다. 또한, 제2 면적이 가장 크고, 면적 임계값보다 큰 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 대응하는 색을 대상 오브젝트의 표시색으로서 결정해도 된다.
상기 실시예에 의하면, 제2 면적이 가장 큰 새로운 클러스터에 대응하는 참고 특징값의 색을 취득할 수 있고, 상기 표시색을 대상 오브젝트의 표시색으로서 결정할 수 있다. 참고 특징값에 매칭된 클러스터 내의 픽셀을 재클러스터링함으로써, 상기 재클러스터링 처리는 단계(S20)의 참고 특징값에 매칭된 클러스터 내의 픽셀에 대해 행한 것이기 때문에 다른 픽셀의 영향을 줄이고, 재클러스터링에 의한 클러스터의 정밀도를 높임과 함께, 대응하는 색의 매칭 정도를 높일 수 있다.
이상으로부터, 본 발명의 실시예는 신호 표시등의 표시 상태를 높은 정밀도로 검출하는 기술로서, 이미지에서의 대상 오브젝트(신호 표시등)가 위치하는 대상 영역을 검출하고, 대상 오브젝트가 위치하는 대상 영역 내의 픽셀의 특징값에 대해 클러스터링 처리를 행하여, 복수의 클러스터를 취득함으로써, 상기 복수의 클러스터와 참고 특징값의 매칭 상황에 기초하여, 대상 오브젝트의 표시 상태를 취득하는 기술을 제공한다. 상기 클러스터링 처리에 의해 동일한 표시 상태를 갖는 유사한 픽셀을 하나의 클러스터로 결정할 수 있고, 클러스터(cluster)를 추가로 분석하여 대상 오브젝트의 표시 상태를 적확하게 결정함으로써, 신호 표시등의 백그라운드의 로버스트성을 향상시킬 수 있다.
또한, 본 발명의 실시예는 지능 운전 제어 방법을 추가로 제공한다. 상기 지능 운전 제어 방법은 스마트 운전 기기에 적용 가능하다. 예를 들면, 스마트 운전 차량(자동 운전 및 고속 운전 지원 시스템을 포함함), 항공기, 로봇 및 시각 장애자의 유도 기기 등에 적용 가능하다. 본 발명은 스마트 운전 기기의 종류를 특별히 한정하지 않고, 신호 표시등의 표시 상태에 맞춰 운전 제어를 실행할 수 있는 장치이면 본 발명의 실시예의 적용 주체로 할 수 있다.
도 7은 본 발명의 실시예에서 제공하는 운전 제어 방법의 흐름도를 나타낸다. 상기 운전 제어 방법은 단계 (S100∼S300)을 포함한다.
단계 (S100)에서 스마트 운전 기기의 이미지 수집 기기에 의해 도로 이미지를 수집한다.
스마트 운전 기기에는 이미지 수집 기기가 설치되어도 된다. 상기 이미지 수집 기기는 주행 중의 스마트 운전 기기의 전방의 도로 이미지를 실시간으로 수집함으로써, 신호 표시등을 포함하는 도로 이미지를 수집할 수 있다.
단계 (S200)에 있어서, 상기 도로 이미지를 대상 이미지로 하여 상기 실시예에서 상술한 신호 표시등의 상태 검출 방법을 실행하여 상기 도로 이미지에서의 신호 표시등의 표시 상태를 취득한다.
도로 이미지를 취득한 후, 상술한 신호 표시등의 상태 검출 방법으로 도로 이미지에 포함되는 신호 표시등의 표시 상태를 검출할 수 있다. 그 구체적인 실현에 대해 상술한 실시예의 설명을 참조하면 되고, 여기에서 상세한 설명을 생략한다.
단계 (S300)에 있어서, 상기 도로 이미지에서의 신호 표시등의 표시 상태에 기초하여, 상기 스마트 운전 기기를 제어하는 제어 명령을 생성하여 출력함으로써, 상기 스마트 운전 기기를 제어한다.
도로 이미지에 포함되는 신호 표시등의 표시 상태를 취득한 후, 상기 표시 상태에 기초하여 스마트 운전 기기의 주행 파라미터의 제어를 실행해도 되고, 즉 스마트 운전 기기를 제어하는 제어 명령을 생성한다. 제어 명령은 주행 속도를 유지하기 위한 속도 유지 제어 명령과, 주행 속도를 조정하기 위한 속도 조절 제어 명령과, 주행 방향을 유지하기 위한 방향 유지 제어 명령과, 주행 방향을 조정하기 위한 방향 조정 제어 명령과, 경보(예를 들면, 적신호 경보, 좌우 회전 경보 등)를 실행하기 위한 경보 제시 제어 명령과, 운전 모드 전환 제어 명령 중 하나 이상을 포함한다. 클러스터링 처리를 실행하는 참고 특징값의 색은 적색 참고 특징값, 청색 참고 특징값 및 황색 참고 특징값을 가져도 된다. 예를 들면, 신호 표시등의 적색등이 점등되어 있는 것으로 결정한 경우, 감속이나 정지를 해도 된다. 신호 표시등의 청색 표시등이 점등되어 있는 것으로 결정한 경우, 직진할 수 있음을 의미한다. 혹은, 다른 실시형태에서는 좌우 회전 표시등의 점등색에 기초하여 주행 방향, 차선 선택 및 주행 속도 중 하나 이상을 결정해도 된다.
상기 실시예에 의하면, 식별된 신호등의 표시 상태에 기초하여 스마트 운전 기기의 운전 파라미터의 제어를 실행할 수 있다. 또한, 취득된 신호등의 표시 상태의 적확성이 높기 때문에, 스마트 운전 장치를 적확하게 제어할 수 있다.
또한, 당업자라면 구체적인 실시형태에 따른 상기 방법에서는 각 단계의 기재 순서는 실행 순서를 엄밀하게 한정하여 실시 과정을 한정하는 것이 아니고, 각 단계의 실행 순서가 그 기능과 내부의 논리에 의해 구체적으로 결정됨을 이해해야 한다.
본 발명에서 언급되는 상기 각 방법의 실시예는 원리와 논리에 위반하지 않는 한, 상호 조합하여 실시예를 형성할 수 있음을 이해해야 한다. 분량에 한계가 있으므로, 본 발명에서는 상세한 설명을 생략한다. 논리에 위반되지 않는 한, 본 발명에서 제공하는 상이한 실현 방법은 상호 조합할 수 있다.
또한, 본 발명에서는 신호 표시등의 상태 검출 장치, 운전 제어 장치, 전자 기기, 컴퓨터 판독 가능 기억 매체, 프로그램이 제공된다. 이것은 전부 본 발명에 따른 신호 표시등의 상태 검출 방법 또는 운전 제어 방법 중 어느 하나를 실현하기 위해 이용할 수 있다. 대응하는 기술적 해결 수단과 설명은 방법의 대응의 설명을 참조하면 되고, 상세한 설명을 생략한다.
도 8은 본 발명의 실시예에 따른 신호 표시등의 상태 검출 장치의 블록도를 나타낸다. 도 8에 나타내는 바와 같이, 상기 신호 표시등의 상태 검출 장치는
대상 이미지의 대상 영역을 검출하고, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 검출 모듈(10)과,
상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 클러스터링 모듈(20)과,
취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 특정 모듈(30)을 구비한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 추가로 상기 대상 이미지를 취득하는 이미지 수집 기기에 미리 설정된 참고 특징값 및 상기 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정하고,
상기 참고 특징값에 매칭되는 클러스터 중심이 있음에 따라, 상기 신호 표시등이 제1 상태인 것으로 결정한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 상기 참고 특징값 및 상기 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정한 후, 상기 참고 특징값에 매칭되는 클러스터 중심이 없음에 따라, 상기 신호 표시등이 제2 상태인 것으로 결정한다.
일부 가능한 실시형태에서는, 상기 장치는 설정 모듈을 추가로 구비하고, 상기 설정 모듈은 상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하고,
상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정한다.
일부 가능한 실시형태에서는, 상기 설정 모듈은
상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하고,
소정 색 영역의 픽셀의 색값을 상기 참고 특징값으로서 결정하거나, 또는 상기 소정 색 영역의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 참고 특징값을 취득한다.
일부 가능한 실시형태에서는, 상기 참고 특징값은 적색 상태의 참고 특징값, 황색 상태의 참고 특징값 및 청색 상태의 참고 특징값을 포함한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 추가로 상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 기초하여, 상기 대상 영역에서 상기 클러스터에 의한 제1 면적을 결정하고,
제1 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하고,
제1 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정한다.
일부 가능한 실시형태에서는, 상기 특정 모듈은 추가로 상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 대해 클러스터링 처리를 행하여, 복수의 새로운 클러스터를 취득하고,
상기 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 결정하고, 상기 대상 영역에서 새로운 클러스터의 픽셀에 의한 제2 면적을 결정하고,
제2 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하고,
제2 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정한다.
일부 가능한 실시형태에서는, 상기 검출 모듈은
대상 이미지의 대상 영역을 검출하고,
상기 대상 영역 내의 픽셀의 색값을 상기 제1 특징값으로서 결정하거나, 또는 상기 대상 영역 내의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 제1 특징값을 취득한다.
일부 가능한 실시형태에서는, 상기 클러스터링 모듈은 K 평균법으로 상기 대상 영역 내의 픽셀을 클러스터링하여 소정 수의 클러스터를 취득한다.
도 9는 본 발명의 실시예에 따른 운전 제어 장치의 블록도를 나타낸다. 상기 운전 제어 장치는
스마트 운전 기기에 장착되고, 도로 이미지를 수집하는 이미지 수집 기기(100)와,
상기 도로 이미지를 대상 이미지로 하여 제1 측면 중 어느 한 항에 기재된 신호 표시등의 상태 검출 방법을 실행하여, 상기 도로 이미지에서의 신호 표시등의 표시 상태를 취득하는 신호 표시등 상태 검출 모듈(200)과,
상기 도로 이미지에서의 신호 표시등의 표시 상태에 기초하여, 상기 스마트 운전 기기를 제어하는 제어 명령을 생성하여 출력함으로써, 상기 스마트 운전 기기를 제어하는 제어 모듈(300)을 구비한다.
일부 가능한 실시형태에서는, 상기 제어 명령은 속도 유지 제어 명령과, 속도 조정 제어 명령과, 방향 유지 제어 명령과, 방향 조정 제어 명령과, 경보 제시 제어 명령과, 운전 모드 전환 제어 명령 중 하나 이상을 포함한다.
일부 실시예에서는 본 발명의 실시예에 따른 장치가 구비하는 기능 또는 모듈은 상술한 방법의 실시예에 설명되는 방법을 실행하기 위해 이용할 수 있고, 그 구체적인 실현에 대해서는 상술한 방법의 실시예의 설명을 참조하면 되고, 간소화를 위해, 여기에서 상세한 설명을 생략한다.
본 발명의 실시예에서는 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령은 프로세서에 의해 실행되면, 상기 방법을 실현시키는 컴퓨터 판독 가능 기억 매체가 추가로 제공된다. 컴퓨터 판독 가능 기억 매체는 불휘발성 컴퓨터 판독 가능 기억 매체여도 되고, 또는 휘발성 컴퓨터 판독 가능 기억 매체여도 된다.
본 발명의 실시예에서는 프로세서와, 프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고, 상기 프로세서는 상기 방법을 실행하도록 구성되는 전자 기기가 추가로 제공된다.
본 발명의 실시예에서는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동하면, 상기 전자 기기의 프로세서에 상기 방법을 실현하기 위한 명령을 실행시키는 컴퓨터 프로그램이 추가로 제공된다.
전자 기기는 단말, 서버 또는 다른 형태의 장치로서 제공되어도 된다.
도 10은 본 발명의 실시예에 따른 전자 기기의 블록도를 나타낸다. 예를 들면, 장치(800)는 휴대 전화, 컴퓨터, 디지털 방송 단말, 메시지 송수신 기기, 게임 콘솔, 태블릿형 기기, 의료 기기, 피트니스 기기, 퍼스널 디지털 어시스턴트 등의 단말이어도 된다.
도 10을 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 이상을 포함해도 된다.
처리 컴포넌트(802)는 통상 전자 기기(800)의 전체적인 동작, 예를 들면, 표시, 전화의 호출, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법의 전부 또는 일부 단계를 실행하기 위해, 명령을 실행하는 하나 이상의 프로세서(820)를 포함해도 된다. 또한, 처리 컴포넌트(802)는 다른 컴포넌트와의 상호 작용을 위한 하나 이상의 모듈을 포함해도 된다. 예를 들면, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808)와의 상호 작용을 위해 멀티미디어 모듈을 포함해도 된다.
메모리(804)는 전자 기기(800)에서의 동작을 서포트하기 위한 다양한 타입의 데이터를 기억하도록 구성된다. 이들 데이터는 예로서, 전자 기기(800)에서 조작하는 모든 애플리케이션 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(804)는 예를 들면, 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광디스크 등의 다양한 타입의 휘발성 또는 불휘발성 기억 기기 또는 이들의 조합에 의해 실현할 수 있다.
전원 컴포넌트(806)는 전자 기기(800)의 각 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 이상의 전원 및 전자 기기(800)를 위한 전력 생성, 관리 및 배분에 관련된 다른 컴포넌트를 포함해도 된다.
멀티미디어 컴포넌트(808)는 상기 전자 기기(800)와 사용자 사이에서 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서는 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함해도 된다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터의 입력 신호를 수신하는 터치 스크린으로서 실현해도 된다. 터치 패널은 터치, 슬라이드 및 터치 패널에서의 제스처를 검출하기 위해 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 검출할 뿐만 아니라, 상기 터치 또는 슬라이드 조작에 관련되는 지속 시간 및 압력을 검출하도록 해도 된다. 일부 실시예에서는 멀티미디어 컴포넌트(808)는 전면 카메라 및/또는 배면 카메라를 포함한다. 전자 기기(800)가 동작 모드, 예를 들면, 촬영 모드 또는 촬상 모드가 되는 경우, 전면 카메라 및/또는 배면 카메라는 외부의 멀티미디어 데이터를 수신하도록 해도 된다. 각 전면 카메라 및 배면 카메라는 고정된 광학 렌즈계 또는 초점 거리 및 광학 줌 능력을 갖는 것이어도 된다.
오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들면, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고, 마이크(MIC)는 전자 기기(800)가 동작 모드, 예를 들면, 호출 모드, 기록 모드 및 음성 인식 모드가 되는 경우, 외부의 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 추가로 메모리(804)에 기억되거나 또는 통신 컴포넌트(816)에 의해 송신되어도 된다. 일부 실시예에서는 오디오 컴포넌트(810)는 추가로 오디오 신호를 출력하기 위한 스피커를 포함한다.
I/O 인터페이스(812)는 처리 컴포넌트(802)와 주변 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등이어도 된다. 이들 버튼은 홈 버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함해도 되지만, 이들에 한정되지 않는다.
센서 컴포넌트(814)는 전자 기기(800)의 각 측면에서 상태 평가를 위해 하나 이상의 센서를 포함한다. 예를 들면, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 예를 들면, 전자 기기(800)의 표시 장치 및 키패드와 같은 컴포넌트의 상대적 위치 결정을 검출할 수 있고, 센서 컴포넌트(814)는 추가로 전자 기기(800)의 또는 전자 기기(800)가 있는 컴포넌트의 위치 변화, 사용자와 전자 기기(800)의 접촉 유무, 전자 기기(800)의 방위 또는 가감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없는 경우에 근방의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함해도 된다. 센서 컴포넌트(814)는 추가로 CMOS 또는 CCD 이미지 센서와 같은 이미징 어플리케이션에서 사용하기 위한 광센서를 포함해도 된다. 일부 실시예에서는 상기 센서 컴포넌트(814)는 추가로 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 포함해도 된다.
통신 컴포넌트(816)는 전자 기기(800)와 다른 기기의 유선 또는 무선 통신을 실현하도록 구성된다. 전자 기기(800)는 통신 규격에 기초하는 무선 네트워크, 예를 들면, WiFi, 2G 또는 3G, 또는 이들의 조합에 액세스할 수 있다. 일 예시적 실시예에서는 통신 컴포넌트(816)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서는 상기 통신 컴포넌트(816)는 추가로 근거리 통신을 촉진시키기 위해 근거리 무선 통신(NFC) 모듈을 포함한다. 예를 들면, NFC 모듈은 무선 주파수 식별(RFID) 기술, 적외선 데이터 협회(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술에 의해 실현할 수 있다.
예시적인 실시예에서는 전자 기기(800)는 하나 이상의 특정 용도용 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 디바이스(DSPD), 프로그래머블 로직 디바이스(PLD), 필드 프로그래머블 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 요소에 의해 실현되고, 상기 방법을 실행하기 위해 사용할 수 있다.
예시적인 실시예에서는, 추가로 불휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(804)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(800)의 프로세서(820)에 의해 실행되면 상기 방법을 실행할 수 있다.
도 11은 본 발명의 실시예에 따른 전자 기기의 다른 블록도이다. 예를 들면, 전자 기기(1900)는 서버로서 제공되어도 된다. 도 11을 참조하면, 전자 기기(1900)는 하나 이상의 프로세서를 포함하는 처리 컴포넌트(1922) 및 처리 컴포넌트(1922)에 의해 실행 가능한 명령, 예를 들면, 어플리케이션 프로그램을 기억하기 위한, 메모리(1932)를 대표로 하는 메모리 자원을 추가로 포함한다. 메모리(1932)에 기억되어 있는 어플리케이션 프로그램은 각각이 하나의 명령군에 대응하는 하나 이상의 모듈을 포함해도 된다. 또한, 처리 컴포넌트(1922)는 명령을 실행함으로써 상기 방법을 실행하도록 구성된다.
장치(1900)는 추가로 장치(1900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 장치(1900)를 네트워크에 접속하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입출력(I/O) 인터페이스(1958)를 포함할 수 있다. 장치(1900)는 메모리(1932)에 기억된 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 작동할 수 있다.
전자 기기(1900)는 추가로 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 접속하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입출력(I/O) 인터페이스(1958)를 포함해도 된다. 전자 기기(1900)는 메모리(1932)에 기억된 오퍼레이팅 시스템, 예를 들면, Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것에 기초하여 작동할 수 있다.
예시적인 실시예에서는 추가로, 불휘발성 컴퓨터 판독 가능 기억 매체 또는 휘발성 컴퓨터 판독 가능 기억 매체, 예를 들면, 컴퓨터 프로그램 명령을 포함하는 메모리(1932)가 제공되고, 상기 컴퓨터 프로그램 명령은 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행되면 상기 방법을 실행할 수 있다.
본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품이어도 된다. 컴퓨터 프로그램 제품은 프로세서에 본 발명의 각 측면을 실현시키기 위한 컴퓨터 판독 가능 프로그램 명령을 갖고 있는 컴퓨터 판독 가능 기억 매체를 포함해도 된다.
컴퓨터 판독 가능 기억 매체는 명령 실행 장치에 사용되는 명령을 저장 및 기억 가능한 실체가 있는 장치여도 된다. 컴퓨터 판독 가능 기억 매체는 예를 들면, 전기 기억 장치, 자기 기억 장치, 광 기억 장치, 전자 기억 장치, 반도체 기억 장치, 또는 상기의 임의의 적당한 조합이어도 되지만, 이들에 한정되지 않는다. 컴퓨터 판독 가능 기억 매체의 보다 구체적인 예(비망라적 리스트)로는 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거·프로그래머블 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 예를 들면, 명령이 기억되어 있는 천공 카드 또는 슬롯 내 돌기 구조와 같은 기계적 부호화 장치, 및 상기 임의의 적당한 조합을 포함한다. 여기에서 사용되는 컴퓨터 판독 가능 기억 매체는 일시적인 신호 자체, 예를 들면, 무선 전파 또는 기타 자유롭게 전파되는 전자파, 도파로 또는 다른 전송 매체를 경유하여 전파되는 전자파(예를 들면, 광파이버 케이블을 통과하는 광펄스), 또는 전선을 경유하여 전송되는 전기 신호로 해석되는 것은 아니다.
여기에서 기술한 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에서 각 계산/처리 기기에 다운로드되어도 되고, 또는 네트워크, 예를 들면, 인터넷, 로컬 에어리어 네트워크, 광역 네트워크 및/또는 무선 네트워크를 경유하여 외부의 컴퓨터 또는 외부 기억 장치에 다운로드되어도 된다. 네트워크는 구리 전송 케이블, 광파이버 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함해도 된다. 각 계산/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전송하고, 각 계산/처리 기기 내의 컴퓨터 판독 가능 기억 매체에 기억시킨다.
본 발명의 동작을 실행하기 위한 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계어 명령, 기계 의존 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터 또는 Smalltalk, C＋＋ 등의 오브젝트 지향 프로그래밍 언어, 및 「C」언어 또는 유사한 프로그래밍 언어 등의 일반적인 절차형 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목표 코드여도 된다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 실행되어도 되고, 독립형 소프트웨어 패키지로서 실행되어도 되고, 부분적으로 사용자의 컴퓨터에서 또한 부분적으로 리모트 컴퓨터에서 실행되어도 되고, 또한 완전히 리모트 컴퓨터 혹은 서버에서 실행되어도 된다. 리모트 컴퓨터의 경우, 리모트 컴퓨터는 로컬 에어리어 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 종류의 네트워크를 경유하여 사용자의 컴퓨터에 접속되어도 되고, 또는 (예를 들면, 인터넷 서비스 프로바이더를 이용해 인터넷을 경유하여) 외부 컴퓨터에 접속되어도 된다. 일부 실시예에서는 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들면, 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA) 등의 전자 회로를 맞춤 제조하고, 상기 전자 회로에 의해 컴퓨터 판독 가능 프로그램 명령을 실행함으로써 본 발명의 각 측면을 실현하도록 해도 된다.
여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하면서 본 발명의 각 양태를 설명했지만, 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 각 블록의 조합은 전부 컴퓨터 판독 가능한 프로그램 명령에 의해 실현할 수 있음을 이해해야 한다.
이들 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 제공되고, 이들 명령이 컴퓨터 또는 기타 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되면, 흐름도 및/또는 블록도의 하나 이상의 블록에서 지정된 기능/동작을 실현시키도록 장치를 제조해도 된다. 이들 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 기억 매체에 기억되고, 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기를 결정된 방식으로 동작시키도록 해도 된다. 이에 의해, 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체는 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작의 각 측면을 실현하는 명령을 갖는 제품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에 로드되고, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 다른 기기에 일련의 동작 단계를 실행시킴으로써, 컴퓨터에 의해 실시 가능한 프로세스를 생성하도록 해도 된다. 이렇게 하여, 컴퓨터, 기타 프로그래머블 데이터 처리 장치 또는 기타 기기에서 실행되는 명령에 의해 흐름도 및/또는 블록도 중 하나 이상의 블록에서 지정된 기능/동작을 실현한다.
도면 중 흐름도 및 블록도는 본 발명의 복수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 실현 가능한 시스템 아키텍처, 기능 및 동작을 나타낸다. 이 점에서는 흐름도 또는 블록도에서의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부분을 대표할 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부분은 지정된 논리 기능을 실현하기 위한 하나 이상의 실행 가능한 명령을 포함한다. 일부 대체로서의 실현형태에서는 블록에 표기되는 기능은 도면에 붙인 순서와 상이한 순서로 실현해도 된다. 예를 들면, 연속적인 2개의 블록은 실질적으로 병행으로 실행해도 되고, 또한 관련된 기능에 따라 반대 순서로 실행해도 되는 경우가 있다. 또한, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은 지정되는 기능 또는 동작을 실행하는 하드웨어에 기초하는 전용 시스템에 의해 실현해도 되며, 또는 전용 하드웨어와 컴퓨터 명령의 조합에 의해 실현해도 된다는 점에도 주의해야 한다.
이상, 본 발명의 각 실시예를 설명했지만, 상기 설명은 예시적인 것에 불과하고, 망라적인 것이 아니며, 또한 개시된 각 실시예에 한정되는 것도 아니다. 당업자에게 있어서, 설명된 각 실시예의 범위 및 정신에서 벗어나지 않고, 다양한 수정 및 변경이 자명하다. 본 명세서에 선택된 용어는 각 실시예의 원리, 실제 적용 또는 종래 기술에 대한 기술적 개선을 바람직하게 해석하거나, 또는 다른 당업자에게 본 명세서에 개시된 각 실시예를 이해시키기 위한 것이다.

Claims (27)

  1. 대상 이미지에서의, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 것과,
    상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 것과,
    취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것을 포함하는, 신호 표시등의 상태 검출 방법.
  2. 제 1 항에 있어서,
    취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 것은,
    상기 대상 이미지의 이미지 수집 기기에 미리 설정된 참고 특징값 및 상기 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정하는 것과,
    상기 참고 특징값에 매칭되는 클러스터 중심이 있음에 따라, 상기 신호 표시등이 제1 상태인 것으로 결정하는 것을 포함하는, 신호 표시등의 상태 검출 방법.
  3. 제 2 항에 있어서,
    상기 참고 특징값 및 상기 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정한 후, 상기 참고 특징값에 매칭되는 클러스터 중심이 없음에 따라, 상기 신호 표시등이 제2 상태인 것으로 결정하는, 신호 표시등의 상태 검출 방법.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 참고 특징값을 결정하기 위해서는,
    상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하는 단계와,
    상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정하는 단계를 포함하는, 신호 표시등의 상태 검출 방법.
  5. 제 4 항에 있어서,
    상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정하는 것은,
    상기 소정 색 영역의 픽셀의 색값을 상기 참고 특징값으로서 결정하는 것, 또는
    상기 소정 색 영역의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 참고 특징값을 취득하는 것을 포함하는, 신호 표시등의 상태 검출 방법.
  6. 제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 참고 특징값은 적색 상태의 참고 특징값, 황색 상태의 참고 특징값 및 청색 상태의 참고 특징값을 포함하는, 신호 표시등의 상태 검출 방법.
  7. 제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 기초하여 상기 대상 영역에서 상기 클러스터에 의한 제1 면적을 결정하는 것과,
    제1 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하는 것과,
    상기 제1 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정하는 것을 추가로 포함하는, 신호 표시등의 상태 검출 방법.
  8. 제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 대해 클러스터링 처리를 행하여, 복수의 새로운 클러스터를 취득하는 것과,
    상기 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 결정하고, 상기 대상 영역에서 상기 새로운 클러스터의 픽셀에 의한 제2 면적을 결정하는 것과,
    제2 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하는 것과,
    상기 제2 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정하는 것을 포함하는, 신호 표시등의 상태 검출 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 것은,
    상기 대상 영역 내의 픽셀의 색값을 상기 제1 특징값으로서 결정하는 것, 또는
    상기 대상 영역 내의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 제1 특징값을 취득하는 것을 포함하는, 신호 표시등의 상태 검출 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 것은,
    K 평균법으로 상기 대상 영역 내의 픽셀을 클러스터링하여 소정 수의 클러스터를 취득하는 것을 포함하는, 신호 표시등의 상태 검출 방법.
  11. 스마트 운전 기기의 이미지 수집 기기에 의해 도로 이미지를 수집하는 것과,
    상기 도로 이미지를 대상 이미지로 하여 제 1 항 내지 제 10 항 중 어느 한 항의 신호 표시등의 상태 검출 방법을 실행하여 상기 도로 이미지에서의 신호 표시등의 표시 상태를 취득하는 것과,
    상기 도로 이미지에서의 신호 표시등의 표시 상태에 기초하여, 상기 스마트 운전 기기를 제어하는 제어 명령을 생성하여 출력함으로써, 상기 스마트 운전 기기를 제어하는 것을 포함하는, 운전 제어 방법.
  12. 제 11 항에 있어서,
    상기 제어 명령은 속도 유지 제어 명령과, 속도 조정 제어 명령과, 방향 유지 제어 명령과, 방향 조정 제어 명령과, 경보 제시 제어 명령과, 운전 모드 전환 제어 명령 중 하나 이상을 포함하는, 운전 제어 방법.
  13. 대상 이미지에서의, 상이한 표시 상태를 갖는 신호 표시등을 하나 이상 포함하는 대상 영역을 검출하고, 상기 대상 영역 내의 픽셀의 제1 특징값을 결정하는 검출 모듈과,
    상기 제1 특징값에 기초하여 상기 대상 영역 내의 픽셀에 대해 클러스터링 처리를 행하여, 픽셀에 관한 복수의 클러스터를 취득하는 클러스터링 모듈과,
    취득한 상기 복수의 클러스터에 기초하여 상기 신호 표시등의 표시 상태를 특정하는 특정 모듈을 구비하는, 신호 표시등의 상태 검출 장치.
  14. 제 13 항에 있어서,
    상기 특정 모듈은 상기 대상 이미지를 취득하는 이미지 수집 기기에 미리 설정된 참고 특징값 및 상기 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정하고,
    상기 참고 특징값에 매칭되는 클러스터 중심이 있음에 따라, 상기 신호 표시등이 제1 상태인 것으로 결정하는, 신호 표시등의 상태 검출 장치.
  15. 제 14 항에 있어서,
    상기 특정 모듈은 추가로 상기 참고 특징값 및 상기 클러스터의 클러스터 중심에 대응하는 제1 특징값에 기초하여 상기 참고 특징값에 매칭되는 클러스터 중심의 유무를 결정한 후, 상기 참고 특징값에 매칭되는 클러스터 중심이 없음에 따라, 상기 신호 표시등이 제2 상태인 것으로 결정하는, 신호 표시등의 상태 검출 장치.
  16. 제 14 항 또는 제 15 항에 있어서,
    설정 모듈을 추가로 구비하고,
    상기 설정 모듈은,
    상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하고,
    상기 참고 이미지 내의 소정 색 영역의 픽셀의 색값에 기초하여, 상기 참고 특징값을 결정하는, 신호 표시등의 상태 검출 장치.
  17. 제 16 항에 있어서,
    상기 설정 모듈은,
    상기 이미지 수집 기기에서 컬러 보정 타겟을 촬영하여 참고 이미지를 취득하고,
    상기 소정 색 영역의 픽셀의 색값을 상기 참고 특징값으로서 결정하거나, 또는 상기 소정 색 영역의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 참고 특징값을 취득하는, 신호 표시등의 상태 검출 장치.
  18. 제 14 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 참고 특징값은 적색 상태의 참고 특징값, 황색 상태의 참고 특징값 및 청색 상태의 참고 특징값을 포함하는, 신호 표시등의 상태 검출 장치.
  19. 제 14 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 특정 모듈은 추가로,
    상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 기초하여 상기 대상 영역에서 상기 클러스터에 의한 제1 면적을 결정하고,
    제1 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하고,
    상기 제1 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정하는, 신호 표시등의 상태 검출 장치.
  20. 제 14 항 내지 제 18 항 중 어느 한 항에 있어서,
    상기 특정 모듈은 추가로,
    상기 신호 표시등이 제1 상태인 것으로 결정한 경우, 상기 참고 특징값에 매칭되는 클러스터 중심에 대응하는 클러스터 내의 픽셀에 대해 클러스터링 처리를 행하여, 복수의 새로운 클러스터를 취득하고,
    상기 새로운 클러스터의 클러스터 중심에 매칭되는 참고 특징값을 결정하고, 상기 대상 영역에서 상기 새로운 클러스터의 픽셀에 의한 제2 면적을 결정하고,
    제2 면적이 가장 큰 클러스터에 포함되는 픽셀을 상기 신호 표시등에 포함되는 픽셀로서 결정하고,
    상기 제2 면적이 가장 큰 클러스터의 클러스터 중심에 매칭되는 참고 특징값에 기초하여 상기 대상 영역 내의 상기 신호 표시등의 표시색을 특정하는, 신호 표시등의 상태 검출 장치.
  21. 제 14 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 검출 모듈은,
    대상 이미지의 대상 영역을 검출하고,
    상기 대상 영역 내의 픽셀의 색값을 상기 제1 특징값으로서 결정하거나, 또는 상기 대상 영역 내의 픽셀의 색값에 대해 정규화 처리를 실행하여, 상기 제1 특징값을 취득하는, 신호 표시등의 상태 검출 장치.
  22. 제 14 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 클러스터링 모듈은 K 평균법으로 상기 대상 영역 내의 픽셀을 클러스터링하여 소정 수의 클러스터를 취득하는, 신호 표시등의 상태 검출 장치.
  23. 스마트 운전 기기에 장착되고, 도로 이미지를 수집하는 이미지 수집 기기와,
    상기 도로 이미지를 대상 이미지로 하여 제 1 항 내지 제 10 항 중 어느 한 항의 신호 표시등의 상태 검출 방법을 실행하여 상기 도로 이미지에서의 신호 표시등의 표시 상태를 취득하는 신호 표시등 상태 검출 모듈과,
    상기 도로 이미지에서의 신호 표시등의 표시 상태에 기초하여, 상기 스마트 운전 기기를 제어하는 제어 명령을 생성하여 출력함으로써, 상기 스마트 운전 기기를 제어하는 제어 모듈을 구비하는, 운전 제어 장치.
  24. 제 23 항에 있어서,
    상기 제어 명령은 속도 유지 제어 명령과, 속도 조정 제어 명령과, 방향 유지 제어 명령과, 방향 조정 제어 명령과, 경보 제시 제어 명령과, 운전 모드 전환 제어 명령 중 하나 이상을 포함하는, 운전 제어 장치.
  25. 프로세서와,
    프로세서에 의해 실행 가능한 명령을 기억하는 메모리를 포함하고,
    상기 프로세서는 제 1 항 내지 제 10 항 중 어느 한 항의 방법을 실행하거나, 또는 제 11 항 또는 제 12 항의 방법을 실행하도록 구성되는, 전자 기기.
  26. 컴퓨터 프로그램 명령이 기억되어 있는 컴퓨터 판독 가능 기억 매체로서, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행되면, 제 1 항 내지 제 10 항 중 어느 한 항의 방법을 실현시키거나, 또는 제 11 항 또는 제 12 항의 방법을 실현시키는, 컴퓨터 판독 가능 기억 매체.
  27. 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동하면, 상기 전자 기기의 프로세서에 제 1 항 내지 제 10 항 중 어느 한 항의 방법을 실현하기 위한 명령을 실행시키거나, 또는 제 11 항 또는 제 12 항의 방법을 실현하기 위한 명령을 실행시키는, 컴퓨터 프로그램.
KR1020217011238A 2019-05-28 2020-05-19 신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치 KR20210058931A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910450394.3 2019-05-28
CN201910450394.3A CN112016344A (zh) 2019-05-28 2019-05-28 信号指示灯的状态检测方法及装置、驾驶控制方法及装置
PCT/CN2020/091064 WO2020238699A1 (zh) 2019-05-28 2020-05-19 信号指示灯的状态检测方法及装置、驾驶控制方法及装置

Publications (1)

Publication Number Publication Date
KR20210058931A true KR20210058931A (ko) 2021-05-24

Family

ID=73501363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011238A KR20210058931A (ko) 2019-05-28 2020-05-19 신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치

Country Status (6)

Country Link
US (1) US20210150232A1 (ko)
JP (1) JP2021536069A (ko)
KR (1) KR20210058931A (ko)
CN (1) CN112016344A (ko)
SG (1) SG11202102249UA (ko)
WO (1) WO2020238699A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备
CN113747636B (zh) * 2021-08-24 2022-04-19 安顺市成威科技有限公司 一种基于无线传感器技术的智慧路灯智能调控方法及云调控***
CN114066823A (zh) * 2021-10-27 2022-02-18 随锐科技集团股份有限公司 检测色块的方法及其相关产品
CN114148252B (zh) * 2021-12-27 2023-12-29 一汽解放汽车有限公司 应用于车辆中的指示灯控制方法、装置、设备及介质
CN114359844B (zh) * 2022-03-21 2022-06-21 广州银狐科技股份有限公司 一种基于色彩识别的aed设备状态监测方法及***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1220182A3 (en) * 2000-12-25 2005-08-17 Matsushita Electric Industrial Co., Ltd. Image detection apparatus, program, and recording medium
CN100498870C (zh) * 2006-06-26 2009-06-10 上海宝信软件股份有限公司 基于视频图像处理的交通信号灯状态判定方法
CN102785645B (zh) * 2012-04-20 2017-05-31 中兴通讯股份有限公司 一种判断交通灯的方法及终端
JP2013242686A (ja) * 2012-05-21 2013-12-05 Nissan Motor Co Ltd 信号機検出装置及び信号機検出方法
CN103093245B (zh) * 2013-01-21 2016-01-20 信帧电子技术（北京）有限公司 视频图像中识别信号灯的方法
CN104019901B (zh) * 2014-06-16 2016-02-17 哈尔滨工业大学 一种基于动态聚类方法的汽车仪表指示灯颜色检测方法
JP6679857B2 (ja) * 2015-04-02 2020-04-15 株式会社リコー 認識装置、認識方法及びプログラム
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
CN107527511B (zh) * 2016-06-22 2020-10-09 杭州海康威视数字技术股份有限公司 一种智能车辆行车提醒方法及装置
JP6819996B2 (ja) * 2016-10-14 2021-01-27 国立大学法人金沢大学 交通信号認識方法および交通信号認識装置
JP6825299B2 (ja) * 2016-10-24 2021-02-03 株式会社リコー 情報処理装置、情報処理方法およびプログラム
CN108961357B (zh) * 2017-05-17 2023-07-21 浙江宇视科技有限公司 一种交通信号灯过爆图像强化方法及装置
CN109684900B (zh) * 2017-10-18 2021-03-02 百度在线网络技术（北京）有限公司 用于输出颜色信息的方法和装置
CN108108761B (zh) * 2017-12-21 2020-05-01 西北工业大学 一种基于深度特征学习的快速交通信号灯检测方法
CN108681994B (zh) * 2018-05-11 2023-01-10 京东方科技集团股份有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN109116846B (zh) * 2018-08-29 2022-04-05 五邑大学 一种自动驾驶方法、装置、计算机设备和存储介质
CN109389838A (zh) * 2018-11-26 2019-02-26 爱驰汽车有限公司 无人驾驶路口路径规划方法、***、设备及存储介质
US11087152B2 (en) * 2018-12-27 2021-08-10 Intel Corporation Infrastructure element state model and prediction
CN109784317B (zh) * 2019-02-28 2021-02-23 东软睿驰汽车技术（沈阳）有限公司 一种交通信号灯的识别方法及装置

Also Published As

Publication number Publication date
SG11202102249UA (en) 2021-04-29
JP2021536069A (ja) 2021-12-23
US20210150232A1 (en) 2021-05-20
WO2020238699A1 (zh) 2020-12-03
CN112016344A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
KR20210058931A (ko) 신호 표시등의 상태 검출 방법 및 장치, 운전 제어 방법 및 장치
US20210326587A1 (en) Human face and hand association detecting method and a device, and storage medium
US11468581B2 (en) Distance measurement method, intelligent control method, electronic device, and storage medium
CN106651955B (zh) 图片中目标物的定位方法及装置
US11288531B2 (en) Image processing method and apparatus, electronic device, and storage medium
US11321575B2 (en) Method, apparatus and system for liveness detection, electronic device, and storage medium
EP3121557B1 (en) Method and apparatus for determining spatial parameter based on an image
CN110009090B (zh) 神经网络训练与图像处理方法及装置
US20210192239A1 (en) Method for recognizing indication information of an indicator light, electronic apparatus and storage medium
US11120707B2 (en) Cognitive snapshots for visually-impaired users
JP2022528012A (ja) 被写界深度とカメラ運動を予測する方法及び装置、機器、媒体並びにプログラム
WO2021057244A1 (zh) 光强调节方法及装置、电子设备和存储介质
US11138758B2 (en) Image processing method and apparatus, and storage medium
US11450021B2 (en) Image processing method and apparatus, electronic device, and storage medium
US11574415B2 (en) Method and apparatus for determining an icon position
US20210200233A1 (en) Motion control method, apparatus and system
AU2020323956B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN112819714A (zh) 目标对象曝光方法、装置、存储介质及设备
CN111435422B (zh) 动作识别方法、控制方法及装置、电子设备和存储介质
KR20210038409A (ko) 적층 물체를 인식하는 방법 및 장치, 전자 기기 및 기억 매체
AU2020309091B2 (en) Image processing method and apparatus, electronic device, and storage medium
EP4261565A1 (en) Object detection method and apparatus for vehicle, device, vehicle and medium
CN116152491B (zh) 一种语义分割方法、装置及存储介质
CN113344899B (zh) 采矿工况检测方法、装置、存储介质及电子设备
CN111310600B (zh) 一种图像处理方法、装置、设备及介质

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application