KR20210074037A - Method of obtaining information of automobile passenger and system supporting the same - Google Patents

Method of obtaining information of automobile passenger and system supporting the same Download PDF

Info

Publication number
KR20210074037A
KR20210074037A KR1020190164958A KR20190164958A KR20210074037A KR 20210074037 A KR20210074037 A KR 20210074037A KR 1020190164958 A KR1020190164958 A KR 1020190164958A KR 20190164958 A KR20190164958 A KR 20190164958A KR 20210074037 A KR20210074037 A KR 20210074037A
Authority
KR
South Korea
Prior art keywords
occupant
vehicle
face
image
passenger
Prior art date
Application number
KR1020190164958A
Other languages
Korean (ko)
Inventor
김승훈
송창호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190164958A priority Critical patent/KR20210074037A/en
Publication of KR20210074037A publication Critical patent/KR20210074037A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Disclosed is a method of acquiring information of a passenger in a vehicle which can accurately acquire information of a vehicle passenger for various purposes such as vehicle management and security maintenance. The method of acquiring information of a passenger in a vehicle comprises: a step of acquiring an image for detecting RGB values, a depth value, and a temperature value of each area for a passenger by using a camera installed in the vehicle; and a step of detecting the face and upper body of the passenger based on an image acquired by the camera. The step of detecting the face and upper body of the passenger includes: a step of checking the driving status of the vehicle; and a step of acquiring a plurality of images for the passenger at a first cycle in a state before driving, extracting an average value for the acquired plurality of images, then performing face and state detection of the passenger based on the average value, acquiring an image for the passenger at a second cycle longer than the first cycle or in accordance with an occurrence of a specific event in the driving state, and performing the face and state detection of the passenger based on the acquired image.

Description

차량 탑승자 정보 획득 방법 및 이를 지원하는 시스템{Method of obtaining information of automobile passenger and system supporting the same}Method of obtaining information of automobile occupant and supporting system {Method of obtaining information of automobile passenger and system supporting the same}

본 발명은 차량 탑승자 정보 획득에 관한 것으로, 더욱 상세하게는 차량의 상황에 맞게 차량 탑승자의 정보를 획득하고, 이를 기반으로 지정된 기능을 제공하는 차량 탑승자 정보 획득 방법 및 이를 지원하는 시스템에 관한 것이다.The present invention relates to vehicle occupant information acquisition, and more particularly, to a vehicle occupant information acquisition method for acquiring vehicle occupant information according to vehicle conditions and providing a designated function based on the acquired vehicle occupant information, and to a system supporting the same.

차량은 복수의 바퀴와 바퀴를 동작시킬 수 있는 구동부, 방향을 조절할 수 있는 조향부를 포함하고, 상기 조향부를 조작하는 운전자 및 동승자가 탑승하여, 지정된 목적지까지 이동할 수 있는 편리한 도구이다. 이러한 차량은 키를 이용하여 시동을 턴-온하고, 조향 조작과 구동 조작을 통해 속도와 방향을 조절함으로써 운전자가 희망하는 속도와 방향으로 이동할 수 있다. 한편, 차량은 상당히 높은 가격을 형성하는 경우가 많아서, 차량 도난 방지를 위한 다양한 시스템이 적용되고 있는 추세이다. The vehicle includes a plurality of wheels, a driving unit capable of operating the wheels, and a steering unit capable of controlling a direction, and is a convenient tool for a driver and a passenger operating the steering unit to ride and move to a designated destination. Such a vehicle can move at a speed and direction desired by the driver by turning on the ignition using a key and controlling the speed and direction through steering and driving operations. On the other hand, since vehicles often form a fairly high price, various systems for preventing vehicle theft are being applied.

그러나 차량의 제어 권한이 키에 한정되기 때문에, 차량을 운전할 수 있는 키가 도난당한 경우, 해당 차량에 대한 제어권한이 키를 소유한 소유자에 의해 자유롭게 이용될 수 있어, 단순히 차량이 도난당한 재산상의 문제뿐만 아니라, 도난당한 차량으로 인한 많은 문제가 야기될 수 있다. 이에 따라, 이러한 문제를 해결할 수 있는 다양한 방안이 요구되고 있다. However, since the control authority of the vehicle is limited to the key, if the key to drive the vehicle is stolen, the control authority over the vehicle can be freely used by the owner who owns the key, so that the vehicle is simply damaged on the stolen property. In addition to problems, many problems can be caused by stolen vehicles. Accordingly, various methods for solving these problems are required.

본 발명은 차량 관리 및 보안 유지 등의 다양한 목적으로 차량 탑승자의 정보를 보다 정확하게 획득할 수 있는 차량 탑승자 정보 획득 방법 및 이를 지원하는 시스템을 제공함에 있다. An object of the present invention is to provide a vehicle occupant information acquisition method capable of more accurately acquiring vehicle occupant information for various purposes, such as vehicle management and security maintenance, and a system supporting the same.

또한, 본 발명은 차량 도난 방지의 목적뿐만 아니라, 차량 운행 관리, 탑승자들에게 필요한 정보의 자동 제공 등을 원활하게 수행할 수 있는 차량 탑승자 정보 획득 방법 및 이를 지원하는 시스템을 제공함에 있다.Another object of the present invention is to provide a method for obtaining vehicle occupant information and a system supporting the same, which can smoothly perform vehicle operation management and automatic provision of necessary information to passengers, as well as for the purpose of preventing vehicle theft.

본 발명의 실시 예에 따른 차량 내 탑승자 정보 획득 방법은 상기 차량 내 설치된 카메라를 이용하여 탑승자에 대한 RGB 값, 깊이 값, 및 영역별 온도 값을 검출할 수 있는 영상을 획득하는 단계, 상기 카메라가 획득한 영상을 기반으로 탑승자의 얼굴 및 상체를 검출하는 단계를 포함하고, 상기 탑승자의 얼굴 및 상체를 검출하는 단계는 상기 차량의 운전 여부를 확인하는 단계, 운전 이전 상태에서는 상기 탑승자에 대한 복수개의 영상을 제1 주기로 획득하고, 획득된 복수개의 영상에 대한 평균값을 추출한 후, 상기 평균값을 기준으로 상기 탑승자의 얼굴 및 상태 검출을 수행하고, 상기 운전 중 상태에서는 상기 제1 주기보다 긴 제2 주기 또는 특정 이벤트 발생에 따라 상기 탑승자에 대한 영상을 획득하고, 상기 획득된 영상을 기반으로 상기 탑승자의 얼굴 및 상태 검출을 수행하는 단계를 포함하는 것을 특징으로 한다.The method for obtaining occupant information in a vehicle according to an embodiment of the present invention includes acquiring an image capable of detecting RGB values, depth values, and temperature values for each region of a occupant using a camera installed in the vehicle, wherein the camera detecting the face and upper body of the occupant based on the acquired image, wherein detecting the face and upper body of the occupant includes checking whether the vehicle is being driven, and in a state before driving, a plurality of After acquiring an image in a first period and extracting an average value for a plurality of acquired images, the face and state of the occupant are detected based on the average value, and in the driving state, a second period longer than the first period or acquiring an image of the occupant according to occurrence of a specific event, and detecting the face and state of the occupant based on the acquired image.

추가로, 상기 방법은 상기 탑승자의 얼굴 및 상체를 검출하는 단계는 기 설정된 레이블링 규칙에 따라 레이블링을 수행하여 상기 탑승자에 대한 골격 정보를 획득하는 단계, 상기 탑승자의 얼굴 및 상체 검출 결과로부터 획득한 상기 골격 정보에 대해 스케일과 위치를 고려한 지정된 오프셋 값을 적용하여 골격 정보를 보정하는 단계를 포함할 수 있다. Additionally, in the method, the detecting of the face and upper body of the occupant includes: performing labeling according to a preset labeling rule to obtain skeletal information about the occupant; The method may include correcting the skeletal information by applying a specified offset value in consideration of the scale and position to the skeletal information.

본 발명의 실시 예에 따른 차량 내 탑승자 정보 획득을 지원하는 차량 지원 시스템은 차량의 구동을 위한 구동부, 상기 차량의 조향을 위한 조향부, 상기 차량 내 설치되어, 탑승자에 대한 RGB 값, 깊이 값, 및 영역별 온도 값을 검출할 수 있는 영상을 획득하는 카메라, 상기 카메라가 획득한 영상을 기반으로 탑승자의 얼굴 및 상체를 검출하고, 상기 얼굴 및 상체 검출 값을 기반으로 탑승자가 기 설정된 탑승자인지 확인하는 탑승자 검출을 수행하고, 기 설정된 탑승자인지 여부에 따라 서로 다른 기능을 수행하도록 제어하는 제어 회로를 포함하는 것을 특징으로 한다.A vehicle support system for supporting in-vehicle occupant information acquisition according to an embodiment of the present invention includes a driving unit for driving a vehicle, a steering unit for steering of the vehicle, and an RGB value, a depth value for an occupant, installed in the vehicle, and a camera that acquires an image capable of detecting a temperature value for each region, detects the face and upper body of the occupant based on the image acquired by the camera, and checks whether the occupant is a preset occupant based on the face and upper body detection values and a control circuit for performing occupant detection and controlling to perform different functions depending on whether the occupant is a preset occupant.

여기서, 상기 제어 회로는 상기 차량의 운전 여부를 확인하고, 상기 운전 이전 상태에서는 상기 탑승자에 대한 복수개의 영상을 제1 주기로 획득하고, 획득된 복수개의 영상에 대한 평균값을 추출한 후, 상기 평균값을 기준으로 상기 탑승자의 얼굴 및 상태 검출을 수행하도록 설정된 것을 특징으로 한다.Here, the control circuit checks whether the vehicle is being driven, acquires a plurality of images of the occupant in a first cycle in the state before the driving, extracts an average value of the plurality of images, and then uses the average value as a reference It is characterized in that it is set to perform face and state detection of the occupant.

또한, 상기 제어 회로는 상기 운전 중 상태에서는 상기 제1 주기보다 긴 제2 주기 또는 특정 이벤트 발생에 따라 상기 탑승자에 대한 영상을 획득하고, 상기 획득된 영상을 기반으로 상기 탑승자의 얼굴 및 상태 검출을 수행하도록 설정된 것을 특징으로 한다.In addition, in the driving state, the control circuit acquires an image of the occupant according to a second cycle longer than the first cycle or occurrence of a specific event, and detects the face and state of the occupant based on the acquired image It is characterized in that it is set to perform.

한편, 상기 제어 회로는 상기 탑승자의 얼굴 영역을 검출하는 얼굴 검출부 및 상기 탑승자의 상체 영역을 검출하는 상체 검출부 중 적어도 하나를 가지는 검출부를 포함하고, 상기 검출부는 상기 카메라가 획득한 영상에 대해, LAB(Locally Assembled Binary) 특징 검출을 수행하되, 복수의 크기의 영상 영역을 설정하고, 설정된 영상 영역들에 대한 LAB 특징 검출을 수행하여 계산하여 물체의 형태 또는 위치 정보를 결정하는 것을 특징으로 한다.Meanwhile, the control circuit includes a detection unit having at least one of a face detection unit detecting a face region of the occupant and an upper body detecting unit detecting an upper body region of the occupant, wherein the detection unit performs a LAB with respect to the image acquired by the camera. (Locally Assembled Binary) It is characterized in that feature detection is performed, image regions of a plurality of sizes are set, and shape or position information of an object is determined by performing LAB feature detection on the set image regions and calculating.

추가로, 상기 검출부는 상기 탑승의 얼굴 및 상태 검출 과정에서 기 설정된 레이블링 규칙에 따라 레이블링을 수행하여 상기 탑승자에 대한 골격 정보를 획득하도록 설정될 수 있다.Additionally, the detection unit may be configured to obtain skeletal information about the passenger by performing labeling according to a preset labeling rule in the process of detecting the face and state of the passenger.

또한, 상기 검출부는 상기 탑승자의 얼굴 및 상체 검출 결과로부터 획득한 상기 골격 정보에 대해 스케일과 위치를 고려한 지정된 오프셋 값을 적용하여 골격 정보를 보정하도록 설정된 것을 특징으로 한다.In addition, the detection unit is set to correct the skeleton information by applying a specified offset value in consideration of the scale and position to the skeleton information obtained from the face and upper body detection results of the passenger.

본 발명에 따른 차량 탑승자 정보 획득 방법 및 이를 지원하는 시스템에 따르면, 본 발명은 차량 내 탑승자의 얼굴 및 상체 분석을 수행하여 탑승자 정보를 획득할 수 있다. According to the method for obtaining vehicle occupant information and the system supporting the same according to the present invention, the present invention may obtain occupant information by analyzing the face and upper body of the occupant in the vehicle.

또한, 본 발명은 획득된 탑승자 정보를 기반으로 차량 운전과 관련된 지정된 기능을 적응적으로 수행할 수 있도록 지원할 수 있다. In addition, the present invention may support to adaptively perform a specified function related to driving a vehicle based on the obtained occupant information.

도 1은 본 발명의 실시 예에 따른 차량 탑승자 정보 획득이 지원되는 차량 시스템의 한 예를 나타낸 도면이다.
도 2a는 본 발명의 실시 예에 따른 제어 회로의 한 예를 나타낸 도면이다.
도 2b는 본 발명에 적용되는 Haar-like 특징을 나타낸 도면이다.
도 2c는 본 발명에 적용되는 LBP 특징을 나타낸 도면이다.
도 2d는 본 발명에 적용되는 적분 영상에서 일부 영역의 픽셀 합을 구하는 과정을 나타낸 도면이다.
도 2e는 본 발명에 적용되는 LAB 특징을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 차량 탑승자 정보 획득 방법의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 차량 탑승자 정보 획득 방법의 다른 예를 나타낸 도면이다.
도 5a는 본 발명의 실시 예에 따른 입력 데이터에 따른 LAB 특징 계산과 realboosting 분류기 운용에 관한 도면이다.
도 5b는 본 발명의 실시 예에 따른 학습 과정과 LAB 특징 weighting 값의 일부를 나타낸 도면이다.
도 6a는 본 발명의 실시 예에 따른 탑승자 얼굴 및 상체 검출 결과를 나타낸 도면이다.
도 6b는 본 발명의 실시 예에 따른 얼굴 중앙과 목 및 어깨 포인트에 해당하는 온도 획득과 어깨 넓이 획득의 예를 나타낸 도면이다.1 is a diagram illustrating an example of a vehicle system supporting vehicle occupant information acquisition according to an embodiment of the present invention.
2A is a diagram illustrating an example of a control circuit according to an embodiment of the present invention.
Figure 2b is a view showing the Haar-like feature applied to the present invention.
Figure 2c is a view showing the characteristics of the LBP applied to the present invention.
2D is a diagram illustrating a process of obtaining a pixel sum of a partial region in an integral image applied to the present invention.
Figure 2e is a view showing the characteristics of the LAB applied to the present invention.
3 is a diagram illustrating an example of a method for obtaining vehicle occupant information according to an embodiment of the present invention.
4 is a diagram illustrating another example of a method for obtaining vehicle occupant information according to an embodiment of the present invention.
5A is a diagram illustrating LAB feature calculation and realboosting classifier operation according to input data according to an embodiment of the present invention.
5B is a diagram illustrating a part of a learning process and LAB feature weighting values according to an embodiment of the present invention.
6A is a diagram illustrating a result of detecting the face and upper body of an occupant according to an embodiment of the present invention.
6B is a diagram illustrating an example of acquiring a temperature corresponding to the center of the face, neck, and shoulder points and acquiring a shoulder width according to an embodiment of the present invention.

하기의 설명에서는 본 발명의 실시 예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 것을 유의하여야 한다.It should be noted that, in the following description, only the parts necessary for understanding the embodiment of the present invention will be described, and the description of other parts will be omitted in the scope not disturbing the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms or words used in the present specification and claims described below should not be construed as being limited to their ordinary or dictionary meanings, and the inventors have appropriate concepts of terms in order to best describe their inventions. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined in Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention, and do not represent all of the technical spirit of the present invention, so various equivalents that can be substituted for them at the time of the present application It should be understood that there may be variations and variations.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 차량 탑승자 정보 획득이 지원되는 차량 시스템의 한 예를 나타낸 도면이다.1 is a diagram illustrating an example of a vehicle system in which vehicle occupant information acquisition is supported according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 차량 탑승자 정보 획득을 지원하는 차량 지원 시스템(101)은 특정 차량(100)에 적용될 수 있다. 상기 차량(100)은 복수의 바퀴를 포함하고, 상기 바퀴를 구동시키는 구동 엔진, 상기 구동 엔진과 상기 바퀴의 적어도 일부를 감싸도록 배치된 차체 등을 포함할 수 있다. 이러한 차량(100)은 예컨대, 차량 운행과 함께 차량 탑승자 정보 획득을 수행할 수 있는 차량 지원 시스템(101)을 포함할 수 있다. Referring to FIG. 1 , a vehicle support system 101 supporting vehicle occupant information acquisition according to an embodiment of the present invention may be applied to a specific vehicle 100 . The vehicle 100 may include a plurality of wheels, a driving engine for driving the wheels, a vehicle body disposed to surround at least a portion of the driving engine and the wheels, and the like. The vehicle 100 may include, for example, a vehicle support system 101 capable of obtaining vehicle occupant information while driving the vehicle.

상기 차량 지원 시스템(101)은 예컨대, 구동부(110), 조향부(120), 적어도 하나의 카메라(예: 제1 카메라(131), 제2 카메라(132), 제3 카메라(133)), 메모리(140), 디스플레이(150), 센서부(170) 및 제어 회로(160)(예: motor control unit 또는 master control unit, main control unit 등)를 포함할 수 있다.The vehicle support system 101 may include, for example, a driving unit 110 , a steering unit 120 , at least one camera (eg, a first camera 131 , a second camera 132 , and a third camera 133 ); It may include a memory 140 , a display 150 , a sensor unit 170 , and a control circuit 160 (eg, a motor control unit, a master control unit, a main control unit, etc.).

상기 구동부(110)는 상기 차량(100)의 운전을 위한 동력을 생성하고, 생성된 동력은 이동 수단(예: 바퀴)에 전달할 수 있다. 이러한 구동부(110)는 제어 회로(160)의 제어에 따라, 지정된 방식으로 동력을 생성할 수 있다. 예컨대, 상기 구동부(110)는 배터리에 저장된 전력을 이용하여 차량(100) 구동을 위한 동력을 분배할 수 있다. 또는, 상기 구동부(110)는 연료 엔진을 구동하여, 차량(100) 구동을 위한 동력을 생성 및 분배할 수 있다. 상기 구동부(110)는 차량(100)의 시동이 턴-온된 경우 활성화될 수 있다. The driving unit 110 may generate power for driving the vehicle 100 , and the generated power may be transmitted to a moving means (eg, wheels). The driving unit 110 may generate power in a designated manner under the control of the control circuit 160 . For example, the driving unit 110 may distribute power for driving the vehicle 100 using power stored in a battery. Alternatively, the driving unit 110 may drive a fuel engine to generate and distribute power for driving the vehicle 100 . The driving unit 110 may be activated when the vehicle 100 is turned on.

상기 조향부(120)는 상기 차량(100)의 운전 조작과 관련하여 방향을 조절할 수 있다. 예컨대, 상기 조향부(120)는 차량 핸들을 포함할 수 있다. 상기 조향부(120)는 운전자 조작에 따라 바퀴의 방향을 조절할 수 있도록 마련될 수 있다. The steering unit 120 may adjust a direction in relation to a driving operation of the vehicle 100 . For example, the steering unit 120 may include a vehicle handle. The steering unit 120 may be provided to adjust the direction of the wheel according to the driver's manipulation.

상기 제1 카메라(131)는 차량(100) 내 일정 방향을 향하도록 배치되고, 배치된 방향에서의 RGB 영상을 획득할 수 있다. 상기 제1 카메라(131)는 예컨대, 운전석에 착석한 운전자의 얼굴 및 상체에 대한 RGB 이미지를 획득할 수 있도록 배치될 수 있다. 본 발명의 차량 지원 시스템(101)은 조수석 또는 차량의 뒷좌석 등에 착석한 탑승자의 얼굴 및 상체에 대한 RGB 이미지를 획득할 수도 있다. 이 경우, 복수의 탑승자들과 관련한 RGB 이미지 획득을 위하여, 상기 제1 카메라(131)는 복수의 RGB 카메라를 포함할 수 있다. 상기 복수의 RGB 카메라는 각각의 좌석(예: 운전석, 조수석, 뒷좌석들)에 착석한 탑승자들의 얼굴 및 상체 중 적어도 한 부분에 대한 RGB 이미지를 획득할 수 있도록 배치될 수 있다. The first camera 131 may be disposed to face a predetermined direction within the vehicle 100 , and may acquire an RGB image in the disposed direction. The first camera 131 may be disposed to acquire RGB images of the face and upper body of the driver seated in the driver's seat, for example. The vehicle support system 101 of the present invention may acquire RGB images of the face and upper body of a passenger seated in a passenger seat or a rear seat of a vehicle. In this case, the first camera 131 may include a plurality of RGB cameras to obtain RGB images related to a plurality of passengers. The plurality of RGB cameras may be arranged to acquire RGB images of at least one of the faces and upper bodies of passengers seated in each seat (eg, driver's seat, front passenger's seat, and rear seats).

상기 제2 카메라(132)는 차량(100) 내 일정 방향에 대한 깊이 이미지를 획득할 수 있다. 예컨대, 상기 제2 카메라(132)는 촬영된 영상에서 깊이 정보를 획득할 수 있는 적외선 카메라를 포함할 수 있다. 또는, 상기 제2 카메라(132)는 상기 제1 카메라(131)와 초점거리가 다른 카메라(예: 제1 카메라(131)가 와이드 카메라인 경우, 제2 카메라(132)는 텔레카메라)를 포함할 수 있다. 상기 제2 카메라(132)는 제1 카메라(131)에 인접되게 배치되어, 제1 카메라(131)가 탑승자의 RGB 이미지를 획득하는 동안, 제2 카메라(132)는 탑승자를 포함한 깊이 이미지를 획득할 수 있다. 상기 제1 카메라(131)가 복수의 좌석을 촬영할 수 있도록 복수의 RGB 카메라를 포함하는 경우, 제2 카메라(132) 역시, 복수의 RGB 카메라와 각각 인접되게 배치된 복수의 깊이 이미지 획득이 가능한 카메라들을 포함할 수 있다. The second camera 132 may acquire a depth image for a predetermined direction within the vehicle 100 . For example, the second camera 132 may include an infrared camera capable of acquiring depth information from a captured image. Alternatively, the second camera 132 includes a camera having a focal length different from that of the first camera 131 (eg, when the first camera 131 is a wide camera, the second camera 132 is a tele camera). can do. The second camera 132 is disposed adjacent to the first camera 131 so that while the first camera 131 acquires the RGB image of the occupant, the second camera 132 acquires a depth image including the occupant can do. When the first camera 131 includes a plurality of RGB cameras to photograph a plurality of seats, the second camera 132 is also a camera capable of acquiring a plurality of depth images disposed adjacent to the plurality of RGB cameras, respectively. may include

상기 제3 카메라(133)는 차량(100) 내 일정 방향에 대한 온도 정보를 획득할 수 있다. 예컨대, 제3 카메라(133)는 촬영 영상에서, 피사체의 온도 정보를 획득할 수 있는 열영상 카메라를 포함할 수 있다. 상기 제3 카메라(133)는 제1 카메라(131) 또는 제2 카메라(132)에 인접되게 배치될 수 있다. 상기 제3 카메라(133)는 제어 회로(160)의 제어에 따라 지정된 좌석에 대한 열영상을 획득하고, 획득된 열영상을 제어 회로(160)에 제공할 수 있다. 제3 카메라(133)는 운전석, 조수석 및 차량의 뒷좌석 중 적어도 한 곳에 대한 열영상을 획득할 수 있도록 적어도 하나의 열영상 카메라를 포함할 수 있다. The third camera 133 may acquire temperature information for a predetermined direction within the vehicle 100 . For example, the third camera 133 may include a thermal imaging camera capable of acquiring temperature information of a subject from the captured image. The third camera 133 may be disposed adjacent to the first camera 131 or the second camera 132 . The third camera 133 may obtain a thermal image of a designated seat under the control of the control circuit 160 , and provide the obtained thermal image to the control circuit 160 . The third camera 133 may include at least one thermal imaging camera to acquire a thermal image of at least one of a driver's seat, a front passenger's seat, and a rear seat of the vehicle.

상기 메모리(140)는 본 발명의 실시 예에 따른 차량(100) 내 탑승자 정보 획득과 관련한 다양한 데이터 또는 프로그램을 저장할 수 있다. 예를 들어, 상기 메모리(140)는 사전 등록된 탑승자 관련 기준 정보(예: 기준 얼굴 정보, 기준 상체 정보 등)가 저장될 수 있다. 또한, 상기 메모리(140)는 복수의 카메라들(131, 132, 133)이 획득한 영상을 실시간으로 저장할 수 있다. The memory 140 may store various data or programs related to the acquisition of occupant information in the vehicle 100 according to an embodiment of the present invention. For example, the memory 140 may store pre-registered passenger-related reference information (eg, reference face information, reference upper body information, etc.). Also, the memory 140 may store images acquired by the plurality of cameras 131 , 132 , and 133 in real time.

상기 디스플레이(150)는 차량(100) 운행과 관련한 다양한 화면을 출력할 수 있다. 예컨대, 디스플레이(150)는 네비게이션 기능 지원에 따라 지도 정보를 출력할 수 있다. 상기 디스플레이(150)는 운전자가 운전에 방해되지 않는 특정 영역에 배치될 수 있다. 상기 디스플레이(150)는 메모리(140)에 사전 저장된 다양한 컨텐츠를 출력할 수 있다. 또는, 상기 디스플레이(150)는 탑승자 정보 확인에 따라 수행되는 기능 정보(예: 경고, 동영상 등)를 출력할 수 있다. 한편, 상기 디스플레이(150)는 상기 차량 지원 시스템(101)에서 생략될 수도 있다. The display 150 may output various screens related to the operation of the vehicle 100 . For example, the display 150 may output map information according to the navigation function support. The display 150 may be disposed in a specific area where the driver does not interfere with driving. The display 150 may output various contents pre-stored in the memory 140 . Alternatively, the display 150 may output function information (eg, a warning, a video, etc.) performed according to the identification of the occupant information. Meanwhile, the display 150 may be omitted from the vehicle assistance system 101 .

상기 센서부(170)는 차량(100) 운행과 관련한 다양한 센싱 정보를 수집할 수 있다. 예컨대, 상기 센서부(170)는 좌석에 탑승자가 탑승했는지 여부를 확인할 수 있는 압력 센서 또는 터치 센서, 차량(100)의 운전 여부를 검출할 수 있는 가속도 센서 또는 지자기 센서, 차량(100)의 운전 속도를 검출하는 속도계 등을 포함할 수 있다. 상기 센서부(170) 구성 또한, 설계 변경에 따라 차량 지원 시스템(101)에서 생략될 수 있다. The sensor unit 170 may collect various sensing information related to the operation of the vehicle 100 . For example, the sensor unit 170 may include a pressure sensor or a touch sensor capable of confirming whether or not a passenger is in a seat, an acceleration sensor or a geomagnetic sensor capable of detecting whether the vehicle 100 is being driven, or a driving of the vehicle 100 . It may include a speedometer for detecting speed, and the like. The configuration of the sensor unit 170 may also be omitted from the vehicle support system 101 according to a design change.

상기 제어 회로(160)는 차량(100) 운행과 관련한 제어 및 차량 탑승자 정보 확인과 관련한 제어를 수행할 수 있다. 특히, 제어 회로(160)는 차량 탑승자 정보 확인과 관련하여, 도 2a에 도시된 바와 같은 구성을 포함할 수 있다. The control circuit 160 may perform control related to driving of the vehicle 100 and control related to checking vehicle occupant information. In particular, the control circuit 160 may include a configuration as shown in FIG. 2A in relation to vehicle occupant information confirmation.

도 2a는 본 발명의 실시 예에 따른 제어 회로의 한 예를 나타낸 도면이며, 도 2b는 본 발명에 적용되는 Haar-like 특징을 나타낸 도면이고, 도 2c는 본 발명에 적용되는 LBP 특징을 나타낸 도면이다. 도 2d는 본 발명에 적용되는 적분 영상에서 일부 영역의 픽셀 합을 구하는 과정을 나타낸 도면이며, 도 2e는 본 발명에 적용되는 LAB 특징을 나타낸 도면이다.Figure 2a is a view showing an example of a control circuit according to an embodiment of the present invention, Figure 2b is a view showing a Haar-like feature applied to the present invention, Figure 2c is a view showing the LBP feature applied to the present invention to be. FIG. 2D is a diagram illustrating a process of obtaining a pixel sum of a partial region in an integral image applied to the present invention, and FIG. 2E is a diagram illustrating LAB characteristics applied to the present invention.

도 2a를 참조하면, 본 발명의 실시 예에 따른 제어 회로(160)는 카메라 제어부(161a), 전처리부(161b), 검출부(예: 얼굴 검출부(163) 및 상체 검출부(165)) 및 정보 분석부(167)를 포함할 수 있다.Referring to FIG. 2A , the control circuit 160 according to an embodiment of the present invention includes a camera control unit 161a, a preprocessing unit 161b, a detection unit (eg, a face detection unit 163 and an upper body detection unit 165) and information analysis. A portion 167 may be included.

상기 카메라 제어부(161a)는 차량(100)에 탑승 인원이 있는지 여부를 확인하고, 탑승 인원이 있는 경우 카메라들(131, 132, 133)을 제어하여 탑승 인원에 관한 이미지를 획득할 수 있다. 예컨대, 카메라 제어부(161a)는 차량문 개방, 탑승자의 좌석 착석 등을 감지할 수 있는 센서부(170)를 제어하여 센싱 정보를 획득하고, 획득된 센싱 정보를 분석하여 어떠한 좌석에 탑승 인원이 있는지 확인할 수 있다. 특히, 카메라 제어부(161a)는 별도의 탑승 인원이 없는 경우, 슬립 상태를 유지하면서, 간헐적으로 또는 일정 주기로 깨어나 차량(100) 이용에 관한 신호(예: 차량문 개방 또는 좌석 착석 등) 발생을 감지할 수 있다. 상기 카메라 제어부(161a)는 탑승 인원이 있는 경우, 해당 좌석에 배치된 카메라들(131, 132, 133)을 제어하여 탑승 인원에 대한 RGB 이미지, 깊이 이미지, 온도 이미지를 획득할 수 있다. The camera controller 161a may determine whether there are occupants in the vehicle 100 , and if there are occupants, control the cameras 131 , 132 , and 133 to obtain an image of the occupants. For example, the camera control unit 161a obtains sensing information by controlling the sensor unit 170 capable of detecting the opening of a vehicle door, seating of a passenger, and the like, and analyzes the obtained sensing information to determine which seats have passengers. can In particular, when there is no separate occupant, the camera control unit 161a wakes up intermittently or at regular intervals while maintaining a sleep state to detect the occurrence of a signal related to vehicle 100 use (eg, opening a vehicle door or seating a seat, etc.). can When there is a occupant, the camera control unit 161a may control the cameras 131 , 132 , 133 disposed in the corresponding seat to obtain an RGB image, a depth image, and a temperature image of the occupant.

상기 전처리부(161b)는 상기 카메라 제어부(161a) 제어에 따라 획득된 RGB 이미지, 깊이 이미지, 온도 이미지들에 대한 전처리를 수행할 수 있다. 예컨대, 전처리부(161b)는 카메라들(131, 132, 133)들로부터 수신된 이미지들의 크기를 리사이징하고, 영상 데이터 형 변환을 수행할 수 있다. The preprocessor 161b may perform preprocessing on the RGB images, depth images, and temperature images obtained under the control of the camera controller 161a. For example, the preprocessor 161b may resize images received from the cameras 131 , 132 , and 133 and perform image data type conversion.

상기 얼굴 검출부(163)는 상기 전처리부(161b)에 의해 전처리된 이미지들을 기반으로 얼굴 검출을 수행할 수 있다. 예컨대, 상기 얼굴 검출부(163)는 머신러닝 기반 객체 검출 알고리즘을 기반으로 특징 추출(feature extraction) 및 특징 분류(feature classification)를 수행할 수 있다. 이 동작에서, 상기 얼굴 검출부(163)는 Haar-Like 특징의 장점과 LBP(local binary pattern) 특징의 장점을 모두 반영할 수 있는 Locally Assembled Binary(LAB) 특징을 기반으로 얼굴 검출을 수행할 수 있다.The face detection unit 163 may perform face detection based on images preprocessed by the preprocessor 161b. For example, the face detector 163 may perform feature extraction and feature classification based on a machine learning-based object detection algorithm. In this operation, the face detection unit 163 may perform face detection based on a Locally Assembled Binary (LAB) feature that can reflect both the advantage of the Haar-Like feature and the advantage of the LBP (local binary pattern) feature. .

Haar-like 특징의 특성은 도 2b에 나타낸 바와 같이, 물체의 기하학적 정보를 잘 반영하며 물체의 형태와 위치변화를 어느 정도 커버하는 특성을 갖고 있지만, 광량 변화에 따라 특징 값 차이가 큰 문제점이 있다. 한편, LBP 특징의 특성은 도 2c에 나타낸 바와 같이, 중심 영역을 포함하는 매트릭스 형태의 영역을 선정하고, 중심 영역 값을 기준으로 주변 영역을 이진 값으로 치환(예: 중심 영역 값보다 큰 화소 값을 가지면 1, 중심 영역 값보다 작은 화소 값을 가지면 0)하여 표현할 수 있다. 이러한 LBP 특징의 특성은 연산량이 적고 광량 변화가 커도 비교적 일정한 특징 값을 획득할 수 있는 장점이 있지만, 일정한 크기(3 x 3 혹은 9 x 9)의 매트릭스만 계산하기 때문에 Haar-like 특징에 비해 물체의 형태나 위치 정보를 잘 반영하지 못하는 특성이 있다. 도 2d는 적분 영상에서 D 영역의 픽셀 합을 구하는 과정을 나타낸 것이다.As shown in Fig. 2b, the Haar-like characteristic has a characteristic that reflects the geometrical information of the object and covers the shape and position of the object to some extent, but there is a problem in that the characteristic value differs greatly according to the change in the amount of light. . On the other hand, as shown in Fig. 2c, for the characteristics of the LBP characteristic, a matrix-shaped region including the central region is selected, and the peripheral region is replaced with a binary value based on the central region value (e.g., a pixel value greater than the central region value) It can be expressed as 1 if it has , and 0) if it has a pixel value smaller than the central region value. The LBP feature has the advantage of obtaining a relatively constant feature value even if the amount of computation is small and the amount of light is large. However, since only a matrix of a certain size (3 x 3 or 9 x 9) is calculated, the object compared to the Haar-like feature is There is a characteristic that does not reflect well the shape or location information of 2D is a diagram illustrating a process of obtaining a pixel sum of a region D in an integral image.

LAB 특징의 기본은 LBP 특징을 구하는 것과 같은데, 도 2e에 나타낸 바와 같이, 일정한 크기의 매트릭스만 계산하는 것이 아닌 다양한 크기를 계산할 수 있도록 확장했으며, 이러한 확장 효과로 LBP 특징에 비해 물체의 형태나 위치 정보를 잘 반영할 수 있다. 예컨대, 본 발명의 LAB 특징 검출은 서로 다른 크기의 매트릭스 형태를 획득된 영상에서 위치별로 다르게 지정하고, 지정된 다른 크기의 매트릭스의 LAB 특징을 검출하고 이를 이진 코드 값으로 표현할 수 있다. 본 발명의 얼굴 검출부(163)는 특징을 분류하는 분류기로 연산량이 적으며 분류기 통과 과정에서 신뢰도를 계산하고 분류하는 RealBoosting 분류기를 사용할 수 있다. The basics of the LAB feature are the same as finding the LBP feature, and as shown in Fig. 2e, it is expanded to calculate various sizes instead of calculating only a matrix of a certain size, and with this expansion effect, the shape or position of an object compared to the LBP feature Information can be well reflected. For example, in the LAB feature detection of the present invention, matrix shapes of different sizes may be differently designated for each location in an acquired image, LAB features of matrices of different designated sizes may be detected, and this may be expressed as a binary code value. The face detection unit 163 of the present invention is a classifier for classifying features, has a small amount of computation, and can use a RealBoosting classifier that calculates and classifies reliability in a classifier passing process.

상기 상체 검출부(165)는 상기 전처리부(161b)에 의해 전처리된 이미지들을 기반으로 상체 검출을 수행할 수 있다. 상체 검출부(165)도 기본적으로 얼굴 검출부(163)와 동일하게 LAB 특징을 기반으로 상체 검출을 수행할 수 있다. The upper body detection unit 165 may perform upper body detection based on the images pre-processed by the pre-processing unit 161b. The upper body detection unit 165 may also perform upper body detection based on the LAB feature, basically the same as the face detection unit 163 .

상기 정보 분석부(167)는 상기 얼굴 검출 결과 및 상체 검출 결과를 통해 탑승자 정보를 확인할 수 있다. 예컨대, 상기 정보 분석부(167)는 획득된 탑승자 정보를 메모리(140)에 기 저장된 기준 정보와 비교하고, 비교 결과에 따라 탑승자 정보를 확인할 수 있다. 이와 관련하여, 상기 메모리(140)에는 사전 등록된 특정 탑승자(예: 운전자 및 조수석이나 기타 뒷좌석에 탑승한 이력이 있고, 해당 탑승자 또는 운전자에 의해 등록 절차를 수행한 탑승자)와 관련된 기준 정보가 저장될 수 있다. 상기 정보 분석부(167)는 탑승자가 기 저장된 특정 탑승자의 기준 정보와 동일한 경우, 시동 턴-온, 운전 지속, 지정된 컨텐츠 재생, 특정 탑승자와 관련한 네비게이션 이력 표시 등을 수행할 수 있다. 상기 정보 분석부(167)는 탑승자가 기 저장된 특정 탑승자의 기준 정보와 다른 경우, 시동 턴-오프 상태 유지, 경고 안내 등을 수행할 수 있다. 여기서, 정보 분석부(167)는 운전자가 기 지정된 운전자와 동일한 경우에는 다른 탑승자가 기 지정된 탑승자의 기준 정보와 다르더라도 지정된 컨텐츠 이용이 가능하도록 지원할 수 있다. The information analysis unit 167 may check the occupant information through the face detection result and the upper body detection result. For example, the information analysis unit 167 may compare the obtained occupant information with reference information pre-stored in the memory 140 , and check the occupant information according to the comparison result. In this regard, the memory 140 stores reference information related to a specific pre-registered passenger (eg, a driver and a passenger who has a history of riding in a passenger seat or other rear seat and has performed a registration procedure by the driver or the driver). can be When the occupant is the same as the pre-stored reference information of a specific occupant, the information analyzer 167 may perform starting turn-on, driving continuation, reproducing designated content, displaying navigation history related to a specific occupant, and the like. The information analysis unit 167 may maintain the ignition turn-off state, provide a warning, and the like, when the passenger is different from the pre-stored reference information of a specific passenger. Here, when the driver is the same as the designated driver, the information analysis unit 167 may support the use of the designated content even if other passengers are different from the reference information of the designated driver.

도 3은 본 발명의 실시 예에 따른 차량 탑승자 정보 획득 방법의 한 예를 나타낸 도면이다.3 is a diagram illustrating an example of a method for obtaining vehicle occupant information according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시 예에 따른 차량 탑승자 정보 획득 방법과 관련하여, 차량 지원 시스템(101)의 제어 회로(160)는 301 단계에서 특정 인원의 차량 탑승 여부를 확인할 수 있다. 특정 인원의 차량 탑승이 없는 경우, 차량 지원 시스템(101)의 제어 회로(160)는 303 단계에서 슬립 상태를 유지할 수 있다. 상기 슬립 상태는 예컨대, 최소 전력을 기반으로 차량(100) 개방을 요청하는 키 신호 또는 시동 턴-온을 위한 신호를 수신할 수 있는 대기 상태를 포함할 수 있다. 또는, 차량 지원 시스템(101)은 차량(100) 내 배치된 적어도 하나의 센서부(170)에 의해 센싱된 정보를 기반으로 특정 인원 탑승을 판단할 수도 있다. 이를 위하여, 차량 지원 시스템(101)은 센서부(170)를 구동하여 차량 탑승과 관련한 센싱 정보가 획득되는지 감지할 수 있다. 이와 같이, 차량 지원 시스템(101)은 슬립 상태를 유지하면서, 차량 탑승과 관련한 신호 발생을 감지할 수 있다.Referring to FIG. 3 , in relation to the method of obtaining vehicle occupant information according to an embodiment of the present invention, the control circuit 160 of the vehicle support system 101 may determine whether a specific person is in the vehicle in step 301 . When a specific person is not in the vehicle, the control circuit 160 of the vehicle support system 101 may maintain the sleep state in step 303 . The sleep state may include, for example, a standby state capable of receiving a key signal for requesting opening of the vehicle 100 or a signal for starting turn-on based on the minimum power. Alternatively, the vehicle support system 101 may determine whether a specific person boards based on information sensed by the at least one sensor unit 170 disposed in the vehicle 100 . To this end, the vehicle support system 101 may drive the sensor unit 170 to detect whether sensing information related to vehicle boarding is obtained. In this way, the vehicle support system 101 may detect generation of a signal related to boarding a vehicle while maintaining the sleep state.

특정 인원의 차량 탑승이 수행되면, 차량 지원 시스템(101)의 제어 회로(160)는 305 단계에서 시동 턴-온 여부를 확인할 수 있다. When a specific person boards the vehicle, the control circuit 160 of the vehicle support system 101 may check whether the ignition is turned on in step 305 .

305 단계에서 시동이 켜지는 경우, 제어 회로(160)는 307 단계에서 제1 방식에 따른 탑승자 검출을 수행할 수 있다. 예컨대, 제어 회로(160)는 제1 주기로 탑승자의 얼굴과 관련한 RGB 이미지, 깊이 이미지, 온도 이미지를 획득하고, 획득된 이미지들을 기반으로 탑승자의 얼굴 정보를 분석하고, 메모리(140)에 기 저장된 기준 얼굴 정보와 비교할 수 있다. 제어 회로(160)는 기준 얼굴 정보와 동일한 얼굴인 경우, 311 단계에서 지정된 기능 수행을 지원할 수 있다. 이 동작에서, 제어 회로(160)는 시동이 턴-온된 이후, 운전이 지속 중인 경우, 운전 시작 시점에서 탑승자의 정보 확인을 수행하고, 운전 종료 시 또는 운전 멈춤 시까지 탑승자의 정보 확인을 보류할 수 있다. When the ignition is turned on in step 305 , the control circuit 160 may perform occupant detection according to the first method in step 307 . For example, the control circuit 160 obtains an RGB image, a depth image, and a temperature image related to the passenger's face in a first cycle, analyzes the passenger's face information based on the obtained images, and a reference stored in the memory 140 in advance. It can be compared with face information. If the face is the same as the reference face information, the control circuit 160 may support performing the function specified in step 311 . In this operation, when the driving is continued after the ignition is turned on, the control circuit 160 checks the information of the occupant at the start of driving, and stops the verification of the occupant's information until the end of driving or until driving is stopped. can

305 단계에서 시동이 턴-오프 상태를 유지하는 경우, 제어 회로(160)는 309 단계에서 제2 방식에 따른 탑승자 검출을 수행할 수 있다. 예컨대, 상기 제어 회로(160)는 각 좌석에 대한 RGB 이미지, 깊이 이미지, 온도 이미지를 제2 주기로 획득하고, 획득된 이미지들을 기반으로 탑승자의 정보 분석을 수행할 수 있다. 상기 제2 주기는 앞서 언급한 제1 주기보다 짧을 수 있다. 이에 따라, 제2 방식에 따른 탑승자 검출을 수행하는 동안, 제어 회로(160)는 제1 방식에 비하여 보다 자주 또는 빈번하게 탑승자 검출을 수행할 수 있다. When the ignition is maintained in the turned-off state in step 305 , the control circuit 160 may perform occupant detection according to the second method in step 309 . For example, the control circuit 160 may acquire an RGB image, a depth image, and a temperature image for each seat in a second cycle, and perform information analysis of the occupant based on the acquired images. The second period may be shorter than the aforementioned first period. Accordingly, while performing the occupant detection according to the second method, the control circuit 160 may perform the occupant detection more frequently or more frequently than the first method.

다음으로, 제어 회로(160)는 311 단계에서 지정된 기능 수행을 처리할 수 있다. 예를 들어, 제어 회로(160)는 제1 방식에 따른 탑승자 검출을 통해 탑승자가 검출되고, 탑승자가 기 저장된 기준 얼굴 정보와 동일한 얼굴을 가지는 탑승자인 경우, 운전이 지속될 수 있도록 구동부(110) 동작을 유지시키고, 탑승자의 음악 청취 이력을 기준으로 특정 컨텐츠 재생을 자동으로 지원할 수 있다. 또는, 제어 회로(160)는 운전자 이외의 탑승자가 선호하는 이미지를 디스플레이(150)를 통해 출력할 수 있다. 상기 제어 회로(160)는 제1 방식에 따른 탑승자 검출을 통해 검출한 탑승자가 기 저장된 탑승자가 아닌 경우, 지정된 경고 문구의 출력을 수행할 수 있다. 또한, 제어 회로(160)는 운전 지속을 위한 비밀번호 입력을 요청하거나, 구동부(110)를 제어하여 운전을 종료시킬 수 있다. 또는, 제어 회로(160)는 기 설정된 전화번호를 가지는 전자 장치로 차량(100) 운행에 관한 메시지를 안내하고, 해당 전자 장치로부터 수신된 운전 종료 요청 또는 운전 지속 요청 메시지에 따라 차량(100)의 운전 지속 또는 종료를 제어할 수 있다. Next, the control circuit 160 may process execution of a specified function in step 311 . For example, when the occupant is detected through the occupant detection according to the first method, and the occupant is a occupant having the same face as the pre-stored reference face information, the control circuit 160 operates the driving unit 110 to continue driving. , and can automatically support playback of specific content based on the passenger's music listening history. Alternatively, the control circuit 160 may output an image preferred by passengers other than the driver through the display 150 . When the occupant detected through occupant detection according to the first method is not a pre-stored occupant, the control circuit 160 may output a designated warning phrase. Also, the control circuit 160 may request input of a password for continuation of driving or may control the driving unit 110 to end the driving. Alternatively, the control circuit 160 guides a message related to driving of the vehicle 100 to an electronic device having a preset phone number, and controls the vehicle 100 according to the driving end request or driving continuation request message received from the corresponding electronic device. It is possible to control the continuation or termination of operation.

또한, 제어 회로(160)는 제2 방식에 따른 탑승자 검출에 따라 검출한 탑승자가 기 설정된 탑승자인 경우, 디스플레이(150)를 통해 지정된 컨텐츠를 출력할 수 있다. 이 과정에서, 제어 회로(160)는 운전 중이 아니기 때문에, 운전자에게도 지정된 컨텐츠를 디스플레이(150)를 통해 제공할 수 있다. 제어 회로(160)는 기 설정된 탑승자가 아닌 경우, 차량 이용 불가에 대한 안내를 출력할 수 있다. Also, when the occupant detected according to the occupant detection according to the second method is a preset occupant, the control circuit 160 may output the designated content through the display 150 . In this process, since the control circuit 160 is not driving, the designated content may be provided to the driver through the display 150 . The control circuit 160 may output a guide for vehicle unavailability when the passenger is not a preset occupant.

313 단계에서, 제어 회로(160)는 탑승자 정보 획득과 관련한 기능 종료를 지시하는 이벤트가 발생하는지 확인할 수 있다. 제어 회로(160)는 해당 이벤트 발생이 없는 경우, 303 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다. 또는, 제어 회로(160)는 종료 지시 이벤트 발생이 없는 경우, 311 단계에서 지정된 기능 수행을 제어할 수 있다. 종료 지시 이벤트가 발생하면, 제어 회로(160)는 탑승자 정보 확인 기능을 종료할 수 있다. 이와 관련하여, 제어 회로(160)는 제1 내지 제3 카메라들(131, 132, 133)을 비활성화하고, 관련 기능을 비활성화하도록 제어할 수 있다. In operation 313 , the control circuit 160 may determine whether an event instructing termination of a function related to obtaining occupant information occurs. When the corresponding event does not occur, the control circuit 160 may branch to before step 303 and re-perform the following operations. Alternatively, when there is no occurrence of an end indication event, the control circuit 160 may control execution of a designated function in step 311 . When an end instruction event occurs, the control circuit 160 may terminate the passenger information confirmation function. In this regard, the control circuit 160 may control to deactivate the first to third cameras 131 , 132 , and 133 and to deactivate related functions.

도 4는 본 발명의 실시 예에 따른 차량 탑승자 정보 획득 방법의 다른 예를 나타낸 도면이다.4 is a diagram illustrating another example of a method for obtaining vehicle occupant information according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시 예에 따른 차량 탑승자 정보 획득 방법과 관련하여, 차량 지원 시스템(101)의 제어 회로(160)는 401 단계에서, 탑승자에 관한 RGB 이미지, 깊이 이미지, 온도 이미지를 획득할 수 있다.Referring to FIG. 4 , in relation to the method for obtaining vehicle occupant information according to an embodiment of the present invention, the control circuit 160 of the vehicle support system 101 performs an RGB image, a depth image, and a temperature image of the occupant in step 401 . can be obtained.

제어 회로(160)는 403 단계에서 획득된 이미지에 대한 전처리를 수행할 수 있다. 전처리 과정에서, 제어 회로(160)는 획득된 이미지의 크기를 지정된 크기로 리사이징하거나 영상 데이터 형을 변환할 수 있다. The control circuit 160 may perform pre-processing on the image obtained in operation 403 . In the pre-processing process, the control circuit 160 may resize the acquired image to a specified size or convert the image data type.

405 단계에서, 상기 제어 회로(160)는 운전 중인지 여부를 확인할 수 있다. 이와 관련하여, 제어 회로(160)는 차량 지원 시스템(101)의 센서부(170)로부터 전달된 센싱 정보를 확인하여 차량(100)이 이동 중인지 확인할 수 있다. 또는, 제어 회로(160)는 구동부(110)와 조향부(120)를 확인하여, 차량의 시동이 턴-온 상태이며, 속도가 있고 조향 중인지 확인할 수 있다. In operation 405 , the control circuit 160 may determine whether the vehicle is in operation. In this regard, the control circuit 160 may check whether the vehicle 100 is moving by checking the sensing information transmitted from the sensor unit 170 of the vehicle support system 101 . Alternatively, the control circuit 160 may check the driving unit 110 and the steering unit 120 to determine whether the vehicle is in a turned-on state, has a speed, and is being steered.

405 단계에서, 차량(100)이 운전자에 의해 운전 중인 경우, 407 단계에서, 제어 회로(160)는 얼굴 검출을 수행할 수 있다. 이와 관련하여, 제어 회로(160)는 획득된 RGB 이미지의 전처리된 영상에서 사람의 눈과 코 또는 입을 포함하는 특징점을 포함하는 영역을 검출하고, 검출된 얼굴 영역에 대해 메모리(140)에 기 저장된 기준 정보와 비교할 수 있다. In operation 405 , when the vehicle 100 is being driven by the driver, in operation 407 , the control circuit 160 may perform face detection. In this regard, the control circuit 160 detects a region including a feature point including a human eye, nose, or mouth in the preprocessed image of the obtained RGB image, and pre-stored in the memory 140 for the detected face region. can be compared with reference information.

409 단계에서, 제어 회로(160)는 얼굴 검출이 완료되는지 확인할 수 있다. 예컨대, 제어 회로(160)는 검출된 얼굴 영역이 기 저장된 기준 정보와 지정된 크기 이상 유사한지 또는 동일한지 확인할 수 있다. In operation 409 , the control circuit 160 may determine whether face detection is completed. For example, the control circuit 160 may check whether the detected face region is similar to or equal to or more than a predetermined size from pre-stored reference information.

얼굴 검출이 완료되지 않은 경우, 또는 얼굴 검출이 실패한 경우, 411 단계에서, 제어 회로(160)는 제1 지정 기능을 수행하도록 제어할 수 있다. 예컨대, 상기 제어 회로(160)는 검출된 얼굴 영역의 정보가 메모리(140)에 기 저장된 기준 정보와 상이한 경우, 얼굴 검출을 실패한 것으로 판단할 수 있다. 또는, 제어 회로(160)는 사용자의 얼굴 영역 검출이 실패한 경우(예: 촬영 과정에서 사용자의 얼굴을 일부만 촬영하여 얼굴 검출이 불가능한 경우, 일정 시간 경과 후 얼굴 촬영을 다시 하고, 얼굴 검출을 재수행할 수도 있다. 상기 제어 회로(160)는 제1 지정 기능 수행과 관련하여, 운전에 관한 안내 정보를 출력할 수 있다. 예컨대, 제어 회로(160)는 운전 지속을 위하여, 지정된 비밀 번호 입력을 요청하거나, 기 등록된 운전자에게 운전 지속 여부를 묻거나, 운전 중지를 안내하는 정보를 출력할 수 있다. When the face detection is not completed or the face detection fails, in operation 411 , the control circuit 160 may control to perform a first designation function. For example, the control circuit 160 may determine that face detection has failed when the detected face region information is different from reference information pre-stored in the memory 140 . Alternatively, when the detection of the user's face region fails (for example, if the face detection is impossible because only a portion of the user's face is photographed during the shooting process, the control circuit 160 performs the face detection again after a certain period of time has elapsed and performs face detection again. The control circuit 160 may output driving guidance information in connection with the performance of the first designated function, for example, the control circuit 160 may request input of a designated password to continue driving or , it is possible to ask the registered driver whether to continue driving or to output information instructing the driver to stop driving.

409 단계에서 얼굴 검출이 완료된 경우, 413 단계에서, 제어 회로(160)는 얼굴 영역 추출 및 코 온도 획득을 수행할 수 있다. 415 단계에서, 제어 회로(160)는 제2 지정 기능을 수행할 수 있다. 예컨대, 제어 회로(160)는 탑승자 정보를 메모리(140)에 저장된 기준 정보와 비교하고, 사전 등록된 탑승자에 관한 정보를 기반으로, 지정된 컨텐츠를 재생하거나, 네비게이션 이력을 제공하거나, 좌석의 자세(또는 위치)를 지정된 값으로 자동 조절할 수 있다. When the face detection is completed in operation 409 , in operation 413 , the control circuit 160 may extract a face region and acquire a nose temperature. In operation 415 , the control circuit 160 may perform a second designation function. For example, the control circuit 160 compares the occupant information with reference information stored in the memory 140, reproduces specified content, provides a navigation history, or provides a seat posture ( or position) can be automatically adjusted to a specified value.

한편, 405 단계에서, 차량(100)이 운전자에 의해 운전 중인 경우, 제어 회로(160)는 421 단계에서와 같이 상체 검출을 수행할 수도 있다. 상체 검출과 관련하여, 제어 회로(160)는 획득된 이미지에서 경계선을 기준으로 사람의 형상에 대응하는 영역을 검출하고, 검출된 영역을 기반으로 상체 영역을 특정할 수 있다. Meanwhile, when the vehicle 100 is being driven by the driver in operation 405 , the control circuit 160 may perform upper body detection as in operation 421 . In relation to upper body detection, the control circuit 160 may detect a region corresponding to a human shape based on a boundary line in the acquired image, and may specify the upper body region based on the detected region.

423 단계에서, 제어 회로(160)는 상체 검출이 완료되는지 확인할 수 있다. 이 단계에서, 상체 검출이 완료되지 않는 경우, 제어 회로(160)는 411 단계에서 제1 지정 기능을 수행할 수 있다. 또는, 제어 회로(160)는 상체 검출이 완료되지 않는 경우, 지정된 시간 경과 후 영상 촬영을 재수행하고, 재촬영된 영상에 대한 상체 검출을 재수행할 수 있다. In operation 423 , the control circuit 160 may determine whether detection of the upper body is completed. In this step, if the detection of the upper body is not completed, the control circuit 160 may perform a first designation function in step 411 . Alternatively, when the detection of the upper body is not completed, the control circuit 160 may re-capture the image after a specified time has elapsed and re-detect the upper body for the re-photographed image.

423 단계에서 상체 검출이 완료된 경우, 제어 회로(160)는 425 단계에서 상체 영역 추출 및 어깨 넓이 계산을 수행할 수 있다. 다음으로, 제어 회로(160)는 415 단계에서, 검출된 정보를 기반으로 제2 지정 기능을 수행할 수 있다. 예컨대, 상기 제어 회로(160)는 계산된 어깨 넓이와 메모리(140)에 기 저장된 기준 정보를 상호 비교하여, 대응되는 탑승자를 검출할 수 있다. 상기 제어 회로(160)는 탑승자 검출에 따라, 지정된 제2 기능 수행을 지원할 수 있다. When the detection of the upper body is completed in operation 423 , the control circuit 160 may extract the upper body region and calculate the shoulder width in operation 425 . Next, in operation 415 , the control circuit 160 may perform a second designation function based on the detected information. For example, the control circuit 160 may detect a corresponding occupant by comparing the calculated shoulder width with reference information previously stored in the memory 140 . The control circuit 160 may support execution of a designated second function according to the detection of an occupant.

한편, 405 단계에서, 차량(100)이 운전자에 의해 운전 중이 아닌 경우, 431 단계에서, 제어 회로(160)는 얼굴 검출 및 움직임 평균 계산을 수행할 수 있다. 433 단계에서, 제어 회로(160)는 얼굴 검출이 완료되는지 확인할 수 있다. 433 단계에서 얼굴 검출이 완료된 경우, 435 단계에서, 제어 회로(160)는 얼굴 영역 추출 및 코 온도 획득을 수행할 수 있다. Meanwhile, when the vehicle 100 is not being driven by the driver in operation 405 , in operation 431 , the control circuit 160 may detect a face and calculate a motion average. In operation 433 , the control circuit 160 may determine whether face detection is completed. When the face detection is completed in operation 433 , in operation 435 , the control circuit 160 may extract a face region and obtain a nose temperature.

437 단계에서, 제어 회로(160)는 검출 점수가 지정된 기준 값(Th) 이상인지 확인할 수 있다. 검출 점수가 지정된 기준 값(Th) 미만인 경우, 제어 회로(160)는 411 단계에서 제1 지정 기능 수행을 제어할 수 있다. In operation 437 , the control circuit 160 may determine whether the detection score is equal to or greater than the specified reference value Th. When the detection score is less than the specified reference value Th, the control circuit 160 may control execution of the first specified function in operation 411 .

433 단계에서, 얼굴 검출이 완료되지 않은 경우, 제어 회로(160)는 435 단계를 스킵하고, 437 단계로 분기할 수 있으며, 437 단계에서 검출 점수가 기준값(Th) 이상인 경우, 439 단계에서, 제어 회로(160)는 움직임 평균 얼굴 영역 조합을 수행할 수 있다. 이후, 제어 회로(160)는 조합된 움직임 평균 얼굴 영역을 기반으로 415 단계에서, 제2 지정 기능 수행을 처리할 수 있다. In step 433, if the face detection is not completed, the control circuit 160 may skip step 435 and branch to step 437. If the detection score is equal to or greater than the reference value Th in step 437, in step 439, control The circuit 160 may perform motion average facial region combination. Thereafter, the control circuit 160 may process execution of the second specified function in operation 415 based on the combined motion average face region.

도 5a는 본 발명의 실시 예에 따른 입력 데이터에 따른 LAB 특징 계산과 RealBoosting 분류기 운용에 관한 도면이며, 도 5b는 본 발명의 실시 예에 따른 학습 과정과 LAB 특징 weighting 값의 일부를 나타낸 도면이다.5A is a view related to LAB feature calculation and RealBoosting classifier operation according to input data according to an embodiment of the present invention, and FIG. 5B is a view showing a part of the learning process and LAB feature weighting value according to an embodiment of the present invention.

도 5a를 참조하면, RealBoosting 분류기의 결과는 실수 값의 점수(혹은 신뢰도)이며, 신뢰도에 따라 사용자가 맞고 틀림을 결정할 수 있는 장점이 있다. 본 발명에서 사용한 LAB 특징 추출기와 RealBoosting 특징 분류기를 이용한 얼굴 검출부(163)(또는 상체 검출부(165))는 타 머신 러닝 기반 검출기와 유사하게 클래스가 많아질수록 검출률이 낮아지는 문제가 있기 때문에 One-클래스 검출기로 구현될 수 있다. 본 발명의 차량 지원 시스템(101)은 탑승자의 얼굴 영역과 상체 영역을 각각 획득하기 위해 얼굴 검출부(163)와 상체 검출부(165)를 포함할 수 있으며, 상기 두 개의 검출부(163, 165)는 검출기 구조는 같으며, 학습 데이터가 다른 구조로 구현될 수 있다. Referring to FIG. 5A , the result of the RealBoosting classifier is a real-valued score (or reliability), and there is an advantage in that the user can determine whether the user is right or wrong according to the reliability. The face detection unit 163 (or the upper body detection unit 165) using the LAB feature extractor and RealBoosting feature classifier used in the present invention has a problem that the detection rate decreases as the number of classes increases, similar to other machine learning-based detectors. It can be implemented as a class detector. The vehicle support system 101 of the present invention may include a face detection unit 163 and an upper body detection unit 165 to respectively acquire the face region and the upper body region of the occupant, and the two detection units 163 and 165 are detectors. The structure is the same, and the training data may be implemented in a different structure.

본 발명의 차량 지원 시스템(101)은 DB 학습과 관련하여, 약한 분류기를 구성할 수 있는 만큼 구성한 후, 분류기가 positive로 분류하는지, negative로 분류하는지에 따라, 도 5b에 나타낸 바와 같이, weighting을 부여하고 반복적으로 학습하여 상위 N개의 classifier를 선택한다. 차량 지원 시스템(101)은 학습된 결과를 분류기의 LAB feature 값에 따른 가중치 값으로 저장할 수 있다. In relation to DB learning, the vehicle support system 101 of the present invention configures as many weak classifiers as possible, and then performs weighting according to whether the classifier classifies as positive or negative, as shown in FIG. 5B. It selects the top N classifiers by iteratively learning. The vehicle support system 101 may store the learned result as a weight value according to the LAB feature value of the classifier.

도 6a는 본 발명의 실시 예에 따른 탑승자 얼굴 및 상체 검출 결과를 나타낸 도면이며, 도 6b는 본 발명의 실시 예에 따른 얼굴 중앙과 목 및 어깨 포인트에 해당하는 온도 획득과 어깨 넓이 획득의 예를 나타낸 도면이다.6A is a view showing the result of detecting the face and upper body of an occupant according to an embodiment of the present invention, and FIG. 6B is an example of acquiring a temperature corresponding to the center of the face, neck and shoulder points and acquiring a shoulder width according to an embodiment of the present invention the drawing shown.

도 6a를 참조하면, 얼굴 및 상체 영역 검출과 관련하여, 차량 지원 시스템(101)의 제어 회로(160)는 얼굴 및 상체를 영역을 획득하는 과정에서, 앞 단계의 검출기에서 획득한 검출 영역을 잘라 저장하고 출력할 수 있다. 또한, 상기 제어 회로(160)는 코 온도 획득 및 어깨 넓이 계산과 관련하여, 탑승자 얼굴 검출부(163) 및 상체 검출부(165)를 구성하는 과정에서 레이블링 규칙을 정하여 레이블링을 수행할 수 있다. 이에 따라, 실제 검출 결과도 레이블링 규칙대로 검출이 되며, 레이블링 규칙에 따라 대략적인 골격 정보를 유추할 수 있다. 상기 제어 회로(160)는 탑승자 얼굴 검출 결과에서 눈, 코, 입의 위치정보, 탑승자 상체 검출 결과에서 목, 명치, 어깨, 배 위치 정보를 획득할 수 있다. 이때, 제어 회로(160)는 탑승자 얼굴 및 상체 검출 결과로부터 획득한 골격 정보가 검출 사각형의 스케일별, 탑승자 위치별 차이가 있으므로, 스케일과 위치를 고려한 offset을 적용하여 골격 정보 획득한다. 상기 제어 회로(160)는 탑승자 골격 정보에 따라 어깨 넓이, 상체 길이 등을 획득할 수 있다. 어깨 넓이 획득과 관련하여, 제어 회로(160)는 왼쪽 어깨 포인트와 오른쪽 어깨 포인트의 Depth 포인트를 검출하고, 이 두 포인트를 캘리브레이션 데이터에 따라 실세계의 좌표로 재투영(reprojection)한 후, 실세계 좌표간 거리를 구하여 어깨 넓이를 구할 수 있다. 탑승자 국부 위치에 해당하는 온도 값 검출과 관련하여, 제어 회로(160)는 얼굴 중앙, 명치, 어깨 등의 포인트에 해당하는 Depth 값에 따라 Depth-Thermal 정합 정보를 통해 획득할 수 있다. Referring to FIG. 6A , in relation to face and upper body region detection, the control circuit 160 of the vehicle support system 101 cuts off the detection region acquired by the detector in the previous step in the process of acquiring the face and upper body regions. Can be saved and printed. In addition, the control circuit 160 may perform labeling by setting a labeling rule in the process of configuring the occupant face detection unit 163 and the upper body detection unit 165 in relation to obtaining the nose temperature and calculating the shoulder width. Accordingly, the actual detection result is also detected according to the labeling rule, and approximate skeleton information can be inferred according to the labeling rule. The control circuit 160 may obtain position information of eyes, nose, and mouth from the result of detecting the occupant's face, and location information of the neck, chin, shoulder, and stomach from the result of detecting the occupant's upper body. In this case, the control circuit 160 obtains the skeleton information by applying an offset in consideration of the scale and the position because the skeleton information obtained from the occupant's face and upper body detection result is different for each scale of the detection rectangle and for each occupant's position. The control circuit 160 may acquire the shoulder width, the upper body length, and the like according to the occupant's skeleton information. Regarding the shoulder width acquisition, the control circuit 160 detects the depth point of the left shoulder point and the right shoulder point, reprojects these two points to real world coordinates according to the calibration data, and then between the real world coordinates. You can find the shoulder width by finding the distance. In relation to the detection of the temperature value corresponding to the local location of the passenger, the control circuit 160 may obtain it through the depth-thermal matching information according to the depth value corresponding to points such as the center of the face, the middle of the face, and the shoulder.

도 6b에 도시된 바와 같이, 제어 회로(160)는 얼굴 중앙, 목, 어깨 포인트에 해당하는 온도 획득을 수행하고, 어깨 넓이를 검출할 수 있다. 여기서, 얼굴 검출 및 움직임 평균 계산과, 검출 점수 획득과 관련하여, 제어 회로(160)는 검출부(예: 상기 얼굴 검출부(163) 및 상체 검출부(165)) 성능 향상을 위해 이전 정보를 저장할 수 있다. 즉, 제어 회로(160)는 단일 프레임에서 검출이 실패할 경우를 대비하여 일정 구간의 이전 정보를 평균 내어 저장(moving average)할 수 있다. 이때, 검출 유무에 따라 검출 점수(detection score)의 값이 증감하며, 검출 점수(detection score)에 따라 움직임 평균(moving average) 결과의 반영 유무를 결정할 수 있다. 상기 제어 회로(160)는 얼굴 또는 상체 검출 수행 시간을 더 단축시키기 위해서 운전 시작 전, 운전 중 두 가지 모드로 구분하여 검출부들을 운용할 수 있다. As shown in FIG. 6B , the control circuit 160 may acquire temperatures corresponding to the center of the face, the neck, and the shoulder points, and detect the shoulder width. Here, in relation to face detection, motion average calculation, and detection score acquisition, the control circuit 160 may store previous information to improve performance of a detection unit (eg, the face detection unit 163 and the upper body detection unit 165). . That is, the control circuit 160 may average and store (moving average) previous information of a certain section in case detection fails in a single frame. In this case, the value of the detection score increases or decreases according to the presence or absence of detection, and whether or not the moving average result is reflected may be determined according to the detection score. The control circuit 160 may operate the detection units by dividing into two modes before the start of driving and during driving in order to further shorten the time for performing face or upper body detection.

운전 시작 전 모드는 운전자 등 탑승자가 차량에 탑승했을 때 수행하는 모드이다. 제어 회로(160)는 탑승자의 얼굴 영역, 상체 영역, 얼굴 온도, 어깨 넓이를 구하는 작업을 수행하며, 여러 프레임을 고려하여(평균을 구해) 정확도를 높일 수 있다. 운전 중 모드는 운전자가 주행을 시작했을 때 수행하는 모드이다. 운전자의 어깨 넓이는 변하지 않은 요소이기 때문에 운전 중에는 추론하지 않는 것이 효율적일 수 있다. 또한, 탑승자 상체 영역 또한 운전 중에는 크게 변화하지 않는 요소이므로, 제어 회로(160)는 필요할 때만 상체 영역을 획득 할 수 있다.The pre-driving mode is a mode performed when a passenger, such as a driver, gets into the vehicle. The control circuit 160 performs a task of obtaining the passenger's face area, upper body area, face temperature, and shoulder width, and may increase accuracy by considering several frames (averaging). The driving mode is a mode performed when the driver starts driving. Because the driver's shoulder width is an unchanging factor, it can be efficient not to reason while driving. Also, since the occupant's upper body area is a factor that does not change significantly during driving, the control circuit 160 may acquire the upper body area only when necessary.

한편, 본 명세서와 도면에 개시된 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.On the other hand, the embodiments disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It is obvious to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

100: 차량
101: 차량 지원 시스템
110: 구동부
120: 조향부
131, 132, 133: 카메라
140: 메모리
150: 디스플레이
160: 제어 회로
170: 센서부 100: vehicle
101: vehicle assistance system
110: driving unit
120: steering unit
131, 132, 133: camera
140: memory
150: display
160: control circuit
170: sensor unit

Claims (8)

차량 내 설치된 카메라를 이용하여 탑승자에 대한 RGB 값, 깊이 값, 및 영역별 온도 값을 검출할 수 있는 영상을 획득하는 단계;
상기 카메라가 획득한 영상을 기반으로 탑승자의 얼굴 및 상체를 검출하는 단계;를 포함하고,
상기 탑승자의 얼굴 및 상체를 검출하는 단계는
상기 차량의 운전 여부를 확인하는 단계;
운전 이전 상태에서는 상기 탑승자에 대한 복수개의 영상을 제1 주기로 획득하고, 획득된 복수개의 영상에 대한 평균값을 추출한 후, 상기 평균값을 기준으로 상기 탑승자의 얼굴 및 상태 검출을 수행하고,
상기 운전 중 상태에서는 상기 제1 주기보다 긴 제2 주기 또는 특정 이벤트 발생에 따라 상기 탑승자에 대한 영상을 획득하고, 상기 획득된 영상을 기반으로 상기 탑승자의 얼굴 및 상태 검출을 수행하는 단계;를 포함하는 것을 특징으로 하는 차량 내 탑승자 정보 획득 방법.obtaining an image capable of detecting an RGB value, a depth value, and a temperature value for each area of a passenger using a camera installed in the vehicle;
Detecting the face and upper body of the occupant based on the image acquired by the camera;
The step of detecting the face and upper body of the passenger
checking whether the vehicle is being driven;
In the state before driving, a plurality of images of the occupant are acquired in a first cycle, an average value of the acquired images is extracted, and the face and state of the occupant are detected based on the average value,
In the driving state, acquiring an image of the occupant according to a second cycle longer than the first cycle or occurrence of a specific event, and detecting the face and state of the occupant based on the acquired image; includes; In-vehicle occupant information acquisition method, characterized in that. 제1항에 있어서,
상기 탑승자의 얼굴 및 상체를 검출하는 단계는
기 설정된 레이블링 규칙에 따라 레이블링을 수행하여 상기 탑승자에 대한 골격 정보를 획득하는 단계;
상기 탑승자의 얼굴 및 상체 검출 결과로부터 획득한 상기 골격 정보에 대해 스케일과 위치를 고려한 지정된 오프셋 값을 적용하여 골격 정보를 보정하는 단계;를 포함하는 것을 특징으로 하는 차량 내 탑승자 정보 획득 방법.According to claim 1,
The step of detecting the face and upper body of the passenger
obtaining skeletal information about the occupant by performing labeling according to a preset labeling rule;
and correcting the skeletal information by applying a specified offset value in consideration of scale and position to the skeletal information obtained from the detection result of the occupant's face and upper body. 차량의 구동을 위한 구동부;
상기 차량의 조향을 위한 조향부;
상기 차량 내 설치되어, 탑승자에 대한 RGB 값, 깊이 값, 및 영역별 온도 값을 검출할 수 있는 영상을 획득하는 카메라;
상기 카메라가 획득한 영상을 기반으로 탑승자의 얼굴 및 상체를 검출하고, 상기 얼굴 및 상체 검출 값을 기반으로 탑승자가 기 설정된 탑승자인지 확인하는 탑승자 검출을 수행하고, 기 설정된 탑승자인지 여부에 따라 서로 다른 기능을 수행하도록 제어하는 제어 회로;를 포함하는 것을 특징으로 하는 차량 지원 시스템.a driving unit for driving a vehicle;
a steering unit for steering the vehicle;
a camera installed in the vehicle to acquire an image capable of detecting RGB values, depth values, and temperature values for each area of the occupant;
Detects the face and upper body of the occupant based on the image obtained by the camera, performs occupant detection to determine whether the occupant is a preset occupant based on the face and upper body detection values, A vehicle assistance system comprising: a control circuit that controls to perform a function. 제3항에 있어서,
상기 제어 회로는
상기 차량의 운전 여부를 확인하고,
상기 운전 이전 상태에서는
상기 탑승자에 대한 복수개의 영상을 제1 주기로 획득하고, 획득된 복수개의 영상에 대한 평균값을 추출한 후, 상기 평균값을 기준으로 상기 탑승자의 얼굴 및 상태 검출을 수행하도록 설정된 것을 특징으로 하는 차량 지원 시스템.4. The method of claim 3,
The control circuit is
Check whether the vehicle is being driven,
In the state before the operation,
The vehicle support system according to claim 1, wherein a plurality of images of the occupant are acquired in a first period, an average value of the acquired images is extracted, and the face and state of the occupant are detected based on the average value. 제4항에 있어서,
상기 제어 회로는
상기 운전 중 상태에서는
상기 제1 주기보다 긴 제2 주기 또는 특정 이벤트 발생에 따라 상기 탑승자에 대한 영상을 획득하고, 상기 획득된 영상을 기반으로 상기 탑승자의 얼굴 및 상태 검출을 수행하도록 설정된 것을 특징으로 하는 차량 지원 시스템. 5. The method of claim 4,
The control circuit is
In the driving state
The vehicle assistance system according to claim 1, wherein the image of the occupant is acquired according to a second cycle longer than the first cycle or occurrence of a specific event, and the face and state of the occupant are detected based on the acquired image. 제3항에 있어서,
상기 제어 회로는
상기 탑승자의 얼굴 영역을 검출하는 얼굴 검출부 및 상기 탑승자의 상체 영역을 검출하는 상체 검출부 중 적어도 하나를 가지는 검출부를 포함하고,
상기 검출부는
상기 카메라가 획득한 영상에 대해, LAB(Locally Assembled Binary) 특징 검출을 수행하되, 복수의 크기의 영상 영역을 설정하고, 설정된 영상 영역들에 대한 LAB 특징 검출을 수행하여 계산하여 물체의 형태 또는 위치 정보를 결정하는 것을 특징으로 하는 차량 지원 시스템. 4. The method of claim 3,
The control circuit is
a detection unit having at least one of a face detection unit detecting a face region of the passenger and an upper body detecting unit detecting an upper body region of the passenger;
the detection unit
For the image acquired by the camera, LAB (Locally Assembled Binary) feature detection is performed, image regions of a plurality of sizes are set, and LAB feature detection is performed on the set image regions to calculate the shape or position of an object A vehicle assistance system, characterized in that determining the information. 제6항에 있어서,
상기 검출부는
상기 탑승의 얼굴 및 상태 검출 과정에서 기 설정된 레이블링 규칙에 따라 레이블링을 수행하여 상기 탑승자에 대한 골격 정보를 획득하도록 설정된 것을 특징으로 하는 차량 지원 시스템.7. The method of claim 6,
the detection unit
and performing labeling according to a preset labeling rule in the process of detecting the face and state of the occupant to obtain skeletal information about the occupant. 제7항에 있어서,
상기 검출부는
상기 탑승자의 얼굴 및 상체 검출 결과로부터 획득한 상기 골격 정보에 대해 스케일과 위치를 고려한 지정된 오프셋 값을 적용하여 골격 정보를 보정하도록 설정된 것을 특징으로 하는 차량 지원 시스템. 8. The method of claim 7,
the detection unit
and to correct the skeletal information by applying a specified offset value in consideration of scale and position to the skeletal information obtained from the detection result of the occupant's face and upper body.
KR1020190164958A 2019-12-11 2019-12-11 Method of obtaining information of automobile passenger and system supporting the same KR20210074037A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190164958A KR20210074037A (en) 2019-12-11 2019-12-11 Method of obtaining information of automobile passenger and system supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164958A KR20210074037A (en) 2019-12-11 2019-12-11 Method of obtaining information of automobile passenger and system supporting the same

Publications (1)

Publication Number Publication Date
KR20210074037A true KR20210074037A (en) 2021-06-21

Family

ID=76600117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164958A KR20210074037A (en) 2019-12-11 2019-12-11 Method of obtaining information of automobile passenger and system supporting the same

Country Status (1)

Country Link
KR (1) KR20210074037A (en)

Similar Documents

Publication Publication Date Title
US20210405636A1 (en) Vehicular driving assist system that learns different driving styles
EP2860664B1 (en) Face detection apparatus
US9888875B2 (en) Driver monitoring apparatus
US10553116B2 (en) Method for detecting right lane area and left lane area of rear of vehicle using region of interest and image monitoring system for vehicle using the same
US9662977B2 (en) Driver state monitoring system
KR101165106B1 (en) Driver certification device and method that do fetters in face realization
KR102266354B1 (en) Apparatus and Method for Authenticating Biometric Information for Multi Preference
US10474930B1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN111775944B (en) Driving assistance apparatus, method, and computer-readable storage medium
JP6814977B2 (en) Image processing device, detection device, learning device, image processing method, and image processing program
US11983952B2 (en) Physique determination apparatus and physique determination method
KR101546893B1 (en) System for checking doze at the vehicle
CN113561908A (en) Control method and device of vehicle-mounted face recognition equipment
CN108875617A (en) Auxiliary driving method and device, vehicle
EP3637309A1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
JP2004334786A (en) State detection device and state detection system
CN114103961A (en) Face information acquisition apparatus and face information acquisition method
KR20120012666A (en) System and method for protecting drunk driving using face recognition technology
CN112660048A (en) Multi-screen power supply management method, device and system based on image recognition and automobile
KR20210074037A (en) Method of obtaining information of automobile passenger and system supporting the same
KR101976498B1 (en) System and method for gesture recognition of vehicle
JP3036319B2 (en) Driver status monitoring device
JP2010108167A (en) Face recognition device
WO2023175686A1 (en) Occupant information acquisition device, occupant information acquisition system, occupant information acquisition method, and non-transitory computer-readable medium
EP4398201A1 (en) Activity and seating pose classification

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination