KR102125756B1 - Appratus and method for intelligent vehicle convenience control - Google Patents
Appratus and method for intelligent vehicle convenience control Download PDFInfo
- Publication number
- KR102125756B1 KR102125756B1 KR1020180156798A KR20180156798A KR102125756B1 KR 102125756 B1 KR102125756 B1 KR 102125756B1 KR 1020180156798 A KR1020180156798 A KR 1020180156798A KR 20180156798 A KR20180156798 A KR 20180156798A KR 102125756 B1 KR102125756 B1 KR 102125756B1
- Authority
- KR
- South Korea
- Prior art keywords
- occupant
- information
- vehicle
- image information
- convenience
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 12
- 230000006399 behavior Effects 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000013136 deep learning model Methods 0.000 claims description 31
- 230000036760 body temperature Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000004378 air conditioning Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000000784 arm bone Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000323 shoulder joint Anatomy 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G06K9/00832—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/50—Magnetic or electromagnetic sensors
- B60W2420/506—Inductive sensors, i.e. passive wheel sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
본 발명은 차량 내의 편의장치 또는 안전장치를 능동적으로 제어하고 탑승자에게 맞춤형 서비스를 제공하는 지능형 차량 편의 제어 장치 및 방법에 관한 것으로, 일 실시 예에 따른 지능형 차량 편의 제어 장치는, 차량 내 하나 이상의 영상 정보를 획득하는 영상 정보 획득부; 상기 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 상기 탑승자의 상태 정보 및 행동 패턴을 분석하는 탑승자 정보 학습부; 및 상기 차량 내 환경 정보를 추출하고 상기 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 상기 편의 장치를 제어하는 편의장치 제어부;를 포함할 수 있다.The present invention relates to an intelligent vehicle convenience control device and method for actively controlling a convenience device or a safety device in a vehicle and providing a customized service to a passenger. An intelligent vehicle convenience control device according to an embodiment includes one or more images in a vehicle. An image information acquisition unit for acquiring information; An occupant information learning unit that recognizes an occupant in a vehicle from the acquired image information and analyzes the occupant's status information and behavior patterns; And a convenience device controller that extracts environment information in the vehicle and determines whether a service is provided based on the learned occupant information and controls the convenience device.
Description
본 발명은 지능형 차량 편의 제어 장치 및 방법에 관한 것이며, 더욱 상세하게는, 차량 내의 편의장치 또는 안전장치를 능동적으로 제어하고 탑승자에게 맞춤형 서비스를 제공하는 지능형 차량 편의 제어 장치 및 방법에 관한 것이다.The present invention relates to an intelligent vehicle convenience control device and method, and more particularly, to an intelligent vehicle convenience control device and method for actively controlling a convenience device or safety device in a vehicle and providing a customized service to a passenger.
한국공개특허 제10-2012-0024225호는 자동차시트 자동조절시스템에 관한 것으로, 차량에 탑승하는 탑승자의 신체 조건을 영상 촬영부로 습득하고 이 영상 정보를 이용하여 자동차의 운행시 안전성과 편의성을 고려한 시트의 최적 위치를 도출할 후 자동차 시트를 자동으로 최적인 상태로 조절하도록 함에 따라 차량에 탑승자의 안전성과 편의성을 더욱 향상시킬 수 있게 한 영상 정보를 이용한 탑승자 신체조건에 적응하는 자동차시트 자동조절시스템에 관한 것이다.Korean Patent Publication No. 10-2012-0024225 relates to a car seat auto-adjustment system, which acquires the physical condition of the occupant of the vehicle as an image capturing unit and uses this image information to take into account safety and convenience when driving a vehicle. After automatically deriving the optimal position of the vehicle, the vehicle seat is automatically adjusted to the optimal state, so that the vehicle seat auto-adjustment system that adapts to the passenger's body condition using image information that can further improve the safety and convenience of the occupant in the vehicle. It is about.
그러나, 종래기술은 단지 자동차시트 자동 조절 한가지 서비스에 대한 내용만을 개시하고 있어, 본 발명에서 제공하고자 하는 차량 환경 정보에 따른 지능형 차량 편의 제어 장치와는 차이가 있다. However, the prior art only discloses the contents of one service for automatic adjustment of the car seat, which is different from the intelligent vehicle convenience control device according to the vehicle environment information to be provided in the present invention.
본 발명은 딥러닝을 이용해 차량 내 탑승자 정보 및 실내외 환경 정보를 분석하고 차량 내 탑승자에게 맞춤형 편의 서비스 제공을 통해 지능형 차량 편의 제어 장치를 구현할 수 있다. According to the present invention, an intelligent vehicle convenience control device may be implemented through deep learning by analyzing in-vehicle occupant information and indoor/outdoor environment information and providing a customized convenience service to in-vehicle occupants.
일 실시 예에 따르면, 본 발명의 지능형 차량 편의 제어 장치는, 차량 내 하나 이상의 영상 정보를 획득하는 영상 정보 획득부, 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 탑승자의 상태 정보 및 행동 패턴을 분석하는 탑승자 정보 학습부, 및 차량 내 환경 정보를 추출하고 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 편의 장치를 제어하는 편의장치 제어부를 포함할 수 있다.According to one embodiment, the intelligent vehicle convenience control apparatus of the present invention, the image information acquisition unit for acquiring one or more image information in the vehicle, recognizes the occupant in the vehicle from the acquired image information and analyzes the occupant's status information and behavior patterns It may include a passenger information learning unit, and a convenience device control unit for extracting environmental information in the vehicle and determining whether to provide a service based on the learned passenger information and controlling the convenience device.
영상 정보 획득부는 차량 내 룸미러 근방에 배치되어 앞좌석 및 뒷자석의 객체를 촬영한 영상 정보를 획득하고, 영상 정보 획득부는 RGB 카메라, 3D Depth 센서 및 Thermal IR 센서 중 하나 이상을 포함할 수 있다.The image information acquisition unit is disposed in the vicinity of the room mirror in the vehicle to acquire image information of an object in the front and rear seats, and the image information acquisition unit may include one or more of an RGB camera, a 3D depth sensor and a thermal IR sensor. .
탑승자 정보 학습부는 하나 이상의 영상 정보로부터 운전자를 포함한 탑승 인원, 성별 및 체형 정보 중 하나 이상을 탑승자 정보로 학습할 수 있다. The occupant information learning unit may learn at least one of the occupant information including the driver, gender, and body type information from one or more image information as occupant information.
탑승자 정보 학습부는 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 탑승자의 상태 정보 및 행동 패턴을 추정할 수 있다. The occupant information learning unit may recognize the face and contour of the occupant in the vehicle from one or more image information and estimate the occupant's state information and behavior patterns through a deep learning model.
딥러닝 모델은 탑승자의 골격정보를 산출하고, 산출한 탑승자의 골격 정보를 기초로 탑승자의 입력 신호를 판단하는 것을 더 포함할 수 있다. The deep learning model may further include calculating the skeleton information of the occupant and determining an input signal of the occupant based on the calculated skeleton information of the occupant.
또한, 딥러닝 모델은 하나 이상의 영상 정보로부터 탑승자의 특징 정보 및 윤곽 정보를 추출하여 탑승자의 상태 정보를 분석하고, 여기서 탑승자의 상태 정보는 탑승자가 착용한 의복 정보, 탑승자의 체온 추정 정보 및 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함할 수 있다.In addition, the deep learning model extracts the feature information and contour information of the occupant from one or more image information to analyze the occupant's condition information, wherein the occupant's condition information includes clothing information worn by the occupant, body temperature estimation information of the occupant, and the occupant It may include one or more of the driver's driving concentration.
또한, 딥러닝 모델은 기 학습된 탑승자의 행동 패턴 정보를 기초로 탑승자 맞춤형 서비스를 판단하고, 여기서 탑승자의 행동 패턴 정보는 탑승자의 컨텐츠 재생 취향 정보, 탑승자의 목적지 패턴 정보, 탑승자의 운전습관, 탑승자의 서비스 제어 명령 중 하나 이상을 포함할 수 있다.In addition, the deep learning model determines the personalized service of the occupant based on the learned behavior pattern information of the occupant, where the occupant behavior pattern information is information on the content reproduction preference of the occupant, the destination pattern information of the occupant, the occupant's driving habits, the occupant It may include one or more of the service control command.
편의장치 제어부는 차량 내 미디어 장치 제어, 시트 배치 조정, 에어컨 가동 여부 결정, 공조 장치 제어, 에어백 전개 압력 제어, 운전자 알림, 차량 운행 제어 중 하나 이상의 탑승자 맞춤형 서비스를 제어할 수 있다. The convenience device control unit may control one or more occupant customized services among media device control in the vehicle, seat arrangement adjustment, air conditioner operation determination, air conditioning device control, airbag deployment pressure control, driver notification, and vehicle operation control.
본 발명은 RGB 카메라, Depth 센서, thermal IR 센서 등 비교적 저가의 카메라 또는 센서들을 이용하여 차량내 최적화된 편의 장치 제어 프로세스를 구현할 수 있다. The present invention can implement an optimized convenient device control process in a vehicle using relatively low-cost cameras or sensors such as RGB cameras, depth sensors, and thermal IR sensors.
또한, 차량 내 영상 정보를 기초로 운전자 이외에 동승자에 관한 정보 분석을 통해 차량에 필요한 맞춤형 서비스에 대한 구현 정확도를 높이고, 하나 이상의 탑승자 각각에 대한 딥러닝 학습을 통해 다수의 구성원이 사용하는 차량에도 탑승자 맞춤형 차량 편의 서비스를 제공할 수 있다.In addition, based on the video information in the vehicle, through the analysis of information about the passengers besides the driver, the accuracy of implementation for the customized service required for the vehicle is increased, and deep learning for each one or more occupants also enables the occupants of vehicles used by multiple members. We can provide customized vehicle convenience services.
또한, 본 발명에 따르면 탑승자 정보 및 상태 정보, 행동 패턴 등은 딥러닝 학습 및 분석을 통해 시스템적으로 업그레이드가 가능하고, 소프트웨어적으로 간단한 처리를 통해 버전 업이 가능하다. Further, according to the present invention, occupant information, status information, and behavior patterns can be systematically upgraded through deep learning learning and analysis, and can be upgraded through software simple processing.
본 발명에 따르면 탑승자 인식 및 탑승자의 골격 정보에 따른 탑승자의 입력 신호 분석 등 탑승자의 현재 상태 및 탑승자의 의도를 판단하여 보다 적절한 차량 내 편의 서비스를 제공할 수 있다. According to the present invention, it is possible to provide a more appropriate in-vehicle convenience service by determining the current state of the occupant and the intention of the occupant, such as the recognition of the occupant and the analysis of the input signal of the occupant according to the skeleton information of the occupant.
본 발명에 따르면 탑승자의 의복 정보 및 체온 추정 정보 등을 통해 차량 내 실내 환경(에어컨디셔너, 공조장치)의 적절한 제어가 가능하다. According to the present invention, it is possible to appropriately control the indoor environment (air conditioner, air conditioner) in the vehicle through the clothes information and body temperature estimation information of the occupant.
본 발명에 따르면 딥러닝 모델을 외부의 클라우드 서버에서 구현하여 차량 내 컴퓨팅 파워 문제 및 비용 부담을 절감할 수 있다. According to the present invention, a deep learning model may be implemented in an external cloud server to reduce computing power problems and cost burden in the vehicle.
도 1은 본 발명에 일 실시 예에 따른 지능형 차량 편의 제어 장치의 블럭도이다.
도 2a 내지 2c는 본 발명의 영상 정보 획득부가 차량내 룸미러 부근에 배치된 일 실시 예이다.
도 3은 본 발명의 영상 정보 획득부가 인식할 수 있는 차량 내 좌석 공간에 대한 개념도이다.
도 4는 본 발명의 영상 정보 획득부에서 획득한 하나 이상의 영상 정보에 관한 일 예이다.
도 5 및 도 6은 본 발명의 딥러닝 모델이 탑승자의 골격 정보를 추출하고 추출한 골격 정보 좌표로부터 탑승자의 행동 패턴 및 입력 정보를 분석하는 일 예이다.
도 7은 본 발명의 딥러닝 모델을 학습시키는 과정에 대한 일 예이다.
도 8은 차량 내 편의장치의 세부 구성에 대한 개념도의 일 예이다. 1 is a block diagram of an intelligent vehicle convenience control device according to an embodiment of the present invention.
2A to 2C are exemplary embodiments in which the image information acquisition unit of the present invention is disposed in the vicinity of a room mirror in a vehicle.
3 is a conceptual diagram of a seat space in a vehicle recognizable by the image information acquisition unit of the present invention.
4 is an example of one or more image information acquired by the image information acquisition unit of the present invention.
5 and 6 are examples of the deep learning model of the present invention extracting the skeleton information of the occupant and analyzing the behavior pattern and input information of the occupant from the extracted skeleton information coordinates.
7 is an example of a process of training the deep learning model of the present invention.
8 is an example of a conceptual diagram for a detailed configuration of a convenience device in a vehicle.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예들에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.Since the description of the present invention is merely embodiments for structural or functional description, the scope of the present invention should not be interpreted as being limited by the embodiments described in the text. That is, since the present embodiments can be variously modified and have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing technical ideas.
또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such an effect, and the scope of the present invention should not be understood as being limited thereby.
또한, 이하에 첨부되는 도면들은 본 발명의 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.In addition, the accompanying drawings are provided to help understanding of the present invention, and provide embodiments with detailed description. However, the technical features of the present invention are not limited to specific drawings, and the features disclosed in each drawing may be combined with each other to form a new embodiment.
이하의 실시예들에서 개시되는 탑승자 편의제공을 위한 장치에 대해 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.The apparatus for providing passenger comfort disclosed in the following embodiments will be described in more detail with reference to each drawing.
도 1은 본 발명에 일 실시 예에 따른 지능형 차량 편의 제어 장치(100)의 블럭도이다. 일 실시 예에 따르면, 지능형 차량 편의 장치(100)는 영상 정보 획득부(110), 탑승자 정보 학습부(120), 편의 장치 제어부(140) 및 통신부(130)를 포함할 수 있다. 1 is a block diagram of an intelligent vehicle
일 예로, 영상 정보 획득부(110)는 차량 내 하나 이상의 영상 정보를 획득할 수 있다. 이때, 영상 정보 획득부(110)는 RGB 카메라, Depth 센서 및 Thermal IR 센서를 포함할 수 있다. 그러나 그 이외에 다양한 종류의 카메라, 예를 들어 단안(모노) 카메라, 양안(스테레오) 카메라, 적외선 카메라, 라이다, LRF 센서 중 하나 이상의 카메라가 활용될 수 있으며, 전술한 카메라를 복수 개 포함하는 하나의 모듈로서 차량내 탑재될 수 있다. As an example, the image
이때, 영상 정보 획득부(110)는 차량 내 룸미러 근방에 배치되어 앞좌석 및 뒷자석의 객체를 촬영한 영상 정보를 획득할 수 있다. 도 2a 내지 2c는 본 발명의 영상 정보 획득부가 차량내 룸미러 부근에 배치된 일 실시 예이다. At this time, the image
도 3은 본 발명의 영상 정보 획득부(110)가 인식할 수 있는 차량 내 좌석 공간에 대한 개념도이고, 일 실시 예에 따른 영상 정보 획득부(110)가 룸미러 근방에 배치되는 경우 차량의 중앙에서 운전석, 동승자석, 뒷좌석 등을 모두 촬영하여 하나의 영상으로부터 각 좌석별 사람 탑승 여부를 확인할 수 있는 이점이 있다.3 is a conceptual diagram of a seat space in a vehicle that can be recognized by the image
여기서, 도 4는 본 발명의 영상 정보 획득부에서 획득한 하나 이상의 영상 정보에 관한 일 예이다. 전술한 RGB 카메라, Depth 센서 및 Thermal 센서는 각각 영상 정보를 획득할 수 있고, 본 발명의 영상 정보 획득부(110)는 상기 각각의 영상 정보를 전처리하고 필터링하여 색 또는 윤곽 정보, 깊이 정보, 온도 정보 등을 획득할 수 있다. Here, FIG. 4 is an example of one or more image information acquired by the image information acquisition unit of the present invention. The above-described RGB camera, depth sensor, and thermal sensor can acquire image information, respectively, and the image
도 4를 참고하면, 영상 정보 획득부(110)는 Thermal 센서 또는 적외선 카메라, 또는 열화상 카메라 등을 이용하여 촬영한 영상 정보로부터 운전석, 조수석, 뒷좌석(좌), 뒷자석(우)에 해당하는 영역에 대한 온도 정보를 획득할 수 있고, 탑승자 정보 학습부(120)는 온도 정보로부터 차량내 사람 탑승 여부, 탑승 인원 등을 판단할 수 있다. 나아가, 탑승자 정보 학습부(120)는 영상 내 차량 내부 온도 정보와 탑승자의 온도 정보 및 탑승자의 특징 정보를 딥러닝 모델을 통해 비교하여 체온 추정 정보, 탑승자가 입고 있는 의복의 두께, 종류 등의 탑승자 정보를 학습할 수 있다. 다른 예로, 의복의 두께는 RGB 영상 정보의 색상 차이나 깊이 영상 정보의 깊이(체적) 값으로부터 추정할 수 있다.Referring to FIG. 4, the image
한편, 지능형 차량 편의 제공 장치(100)는 외부 서버에 학습 데이터 셋 및 딥러닝 결과를 송수신하는 통신부(130)를 더 포함할 수 있다. 이때 외부 서버는 클라우드 서버일 수 있다. 통신부(130)는 유무선 통신 네트워크를 이용하여 외부 클라우드 서버와 연결되거나, 차량 내 통신이 가능한 스마트폰 등과 블루투스 연결 등을 통해 학습 데이터 셋 및 딥러닝 결과를 송수신 할 수 있다. 이 경우 탑승자에 대한 실질적인 분석 및 판단은 외부의 딥러닝 모델에 의해 이루어질 수 있다. On the other hand, the intelligent vehicle
딥러닝 모델은 영상 정보 획득부(110)에서 획득한 하나 이상의 영상 정보를 전처리하여 탑승자 분석에 필요한 기초 데이터들을 추출할 수 있다. The deep learning model may pre-process one or more image information acquired by the image
다른 실시 예에 따르면, 탑승자 정보 학습부(120)는 획득한 영상 정보로부터 차량 내 탑승자를 인식하고 탑승자의 상태 정보 및 행동 패턴을 분석할 수 있다. 예를 들어, 탑승자 정보 학습부(120)는 하나 이상의 영상 정보로부터 운전자를 포함한 탑승 인원, 성별 및 체형 정보 중 하나 이상을 탑승자 정보로 학습할 수 있다. 예를 들어, 탑승자 정보 학습부(120)는 영상 정보 획득부(110)에서 획득한 온도 정보 등으로부터 차량 내 운전석, 보조석(동승자석), 뒷좌석(좌), 뒷좌석(우)에 탑승자가 탑승하였는지 여부를 판단할 수 있고, 탑승자에 대한 얼굴 인식, 골격 정보 추출 결과로부터 차량내 탑승 인원, 탑승자의 성별, 연령대 등 탑승자 관련 정보를 학습할 수 있다.According to another embodiment, the occupant
예를 들어, 안면을 기준으로 탑승자를 식별하는 경우 탑승자의 특징 정보는 안면의 윤곽, 눈, 코, 입 간 거리 등에 해당할 수 있고, 체형을 기준으론 탑승자를 식별하는 경우 탑승자의 특징 정보는 깊이 값 또는 부피 값이나 골격 정보 등이 해당할 수 있다. For example, when identifying the occupant based on the face, the occupant's characteristic information may correspond to the contour of the face, eyes, nose, and mouth distance, and when identifying the occupant based on the body type, the occupant's characteristic information is depth Values or volume values or skeletal information may be applicable.
다른 예로, 지능형 차량 편의 제어 장치(100)는 탑승자가 아이인 경우 사고 발생시 에어백 전개 압력, 방향 등을 적응적으로 변경시킬 수 있도록 에어백 설정을 변경해 놓을 수 있다. As another example, the intelligent vehicle
도 5 및 도 6은 본 발명의 딥러닝 모델이 탑승자의 골격 정보를 추출하고 추출한 골격 정보 좌표로부터 탑승자의 행동 패턴 및 입력 정보를 분석하는 일 예이다. 5 and 6 are examples of the deep learning model of the present invention extracting the skeleton information of the occupant and analyzing the behavior pattern and input information of the occupant from the extracted skeleton information coordinates.
일 예로, 탑승자 정보 학습부(120)는 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 탑승자의 상태 정보 및 행동 패턴을 추정할 수 있다. 예를 들어, 딥러닝 모델은 영상 정보로부터 탑승자의 관절위치를 추출하여 탑승자의 골격정보를 산출할 수 있다. For example, the occupant
여기서, 관절위치란 관절의 종류별 2차원 또는 3차원 위치 좌표를 의미할 수 있고 골격정보는 뼈대 별로 양 끝 관절위치(좌표)로 나타낼 수 있으므로, 뼈대 양끝 관절의 종류 및 관절위치(좌표)를 기초로 골격정보를 산출할 수 있다. 다만, 골격정보는 관절위치(좌표) 외에 뼈대의 양 끝의 관절을 연결한 뼈대의 길이나 각도 등의 다양한 방법으로 표현될 수도 있다.Here, the joint position may refer to a 2D or 3D position coordinate for each type of joint, and the skeleton information may be expressed as a joint position (coordinate) at each end of each bone, so that the joint type and joint position (coordinate) of the joint at both ends of the skeleton are based. The skeletal information can be calculated. However, the skeletal information may be expressed in various ways, such as the length or angle of the skeleton connecting the joints at both ends of the skeleton in addition to the joint position (coordinate).
도 5를 참조하면, 핸들(A)을 잡고 차량을 운전하는 탑승자는 어깨관절(J1, J4), 팔꿈치관절(J2, J5), 무릎관절(J8, J11), 발목관절(J9, J12) 등의 관절을 포함할 수 있고 딥러닝 모델은 상부팔뼈대(B1, B2)는 상부팔뼈대(B1, B2)의 양 끝에 있는 어깨관절(J1, J4)과 팔꿈치관절(J2, J5)을 연결함으로써 관절위치로부터 골격(뼈대)정보를 산출할 수 있다. Referring to FIG. 5, the occupant driving the vehicle while holding the handle A has shoulder joints (J1, J4), elbow joints (J2, J5), knee joints (J8, J11), ankle joints (J9, J12), etc. It can include the joints of the deep learning model, upper arm bones (B1, B2) by connecting the shoulder joints (J1, J4) and elbow joints (J2, J5) at both ends of the upper arm bones (B1, B2). Skeleton (skeleton) information can be calculated from the joint position.
도 6을 참고하면, 관절위치는 관절(J1 내지 J14)의 종류별 3차원 위치 좌표(X, Y, Z)에 해당한다. 여기에서, X 및 Y는 가시 영상정보의 하나의 프레임에서 각 관절이 위치하는 픽셀의 X축 및 Y축의 좌표값이고 및 Z는 동일한 시간에 해당하는 깊이 영상정보의 프레임에서 각 관절이 위치하는 픽셀의 깊이 값일 수 있다.Referring to FIG. 6, the joint position corresponds to three-dimensional position coordinates (X, Y, Z) for each type of joints J1 to J14. Here, X and Y are the coordinate values of the X and Y axes of the pixel where each joint is located in one frame of visible image information, and Z is the pixel where each joint is located in the frame of depth image information corresponding to the same time. It may be a depth value of.
탑승자의 골격을 구성하는 각 뼈대의 양 끝의 관절의 종류를 알고 있다면 관절(J1 내지 J14)의 종류별 3차원 위치 좌표를 이용하여 각 뼈대의 양 끝의 관절위치(좌표)를 알 수 있으므로 도 9의 관절종류 별 관절위치(좌표)를 통해 골격정보를 산출할 수 있다.If the type of joints at both ends of each skeleton constituting the occupant's skeleton is known, the joint positions (coordinates) at both ends of each skeleton can be known by using three-dimensional position coordinates for each type of joints J1 to J14. Skeleton information can be calculated through the joint position (coordinate) for each joint type.
한편 다른 실시 예로, 영상 정보 획득부(100)가 깊이 카메라를 포함하지 않는 경우 딥러닝 모델은 RGB 영상 정보로부터 2차원 위치좌표(X, Y)에 해당하는 관절위치를 계산하여 골격정보를 산출할 수 있다. On the other hand, in another embodiment, when the image
또 다른 실시 예로, 딥러닝 모델은 2차원 관절위치(좌표)로 구성된 골격정보를 산출한 후 2차(서브) 딥러닝 모델을 이용하여 3차원 관절위치(좌표)로 변경할 수 있다. As another embodiment, the deep learning model may calculate skeletal information composed of two-dimensional joint positions (coordinates) and then change to a three-dimensional joint position (coordinates) using a second (sub) deep learning model.
탑승자의 골격 정보를 산출하는 경우, 골격 정보로부터 탑승자에 관한 다양한 정보를 판단하고 학습할 수 있다. 딥러닝 모델은 탑승자가 운전을 하고 있는 상황인지 또는 탑승자가 입력 정보로 어떤 동작을 수행하는 지 등에 관하여 탑승자의 행동 패턴을 학습할 수 있다. When calculating the skeleton information of the occupant, it is possible to determine and learn various information about the occupant from the skeleton information. The deep learning model can learn the behavior pattern of the occupant as to whether the occupant is driving or what action the occupant performs with input information.
예를 들어, 딥러닝 모델은 탑승자가 운전에 집중하고 있는 경우의 행동 패턴과 탑승자의 동작이 많은 경우 또는 탑승자 얼굴 인식 결과 탑승자가 일정시간 이상 눈을 감고 있는 경우 등을 비교하여 탑승자의 운전 집중도를 분석할 수 있다. 만일 탑승자 정보 학습부(120)가 현재 탑승자의 상태 정보를 졸음이라고 파악하는 경우, 편의 장치 제어부(140)는 탑승자를 깨우기 위한 알림 서비스 등을 시작할 수 있다. For example, the deep learning model compares the behavioral pattern when the occupant is focused on driving, the case where the occupant has a lot of movement, or the occupant's face recognition results in the occupant's eyes closed for a certain period of time, etc. Can be analyzed. If the occupant
또한, 딥러닝 모델은 하나 이상의 영상 정보로부터 탑승자의 특징 정보 및 윤곽 정보를 추출하여 상기 탑승자의 상태 정보를 분석할 수 있고, 여기서 탑승자의 상태 정보는 탑승자가 착용한 의복 정보, 탑승자의 체온 추정 정보 및 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함할 수 있다.In addition, the deep learning model may analyze the state information of the occupant by extracting the feature information and contour information of the occupant from one or more image information, wherein the occupant's state information includes clothing information worn by the occupant and body temperature estimation information of the occupant And it may include one or more of the driver's driving concentration among the occupants.
또 다른 에로, 딥러닝 모델은 기 학습된 탑승자의 행동 패턴 정보를 기초로 탑승자 맞춤형 서비스를 판단하고, 탑승자의 행동 패턴 정보는 탑승자의 컨텐츠 재생 취향 정보, 탑승자의 목적지 패턴 정보, 탑승자의 운전습관, 탑승자의 서비스 제어 명령 중 하나 이상을 포함할 수 있다. Another erotic, deep learning model determines the personalized service of the occupant based on the behavior pattern information of the previously learned occupant, and the behavior pattern information of the occupant includes the occupant's content reproduction preference information, the occupant's destination pattern information, the occupant's driving habits, It may include one or more of the passenger's service control command.
도 7은 본 발명의 딥러닝 모델을 학습시키는 과정에 대한 일 예이다. 일 실시예에 따른 딥러닝 모델은 입력층에 n*m 개의 뉴런을 구비하여 각 뉴런에는 n행 m열의 이미지의 각 픽셀()의 RGB 값, 깊이 값 또는 온도 값이 입력되고 출력층에 k개의 뉴런을 구비하여 각 뉴런에는 k개의 분류() 중 어떤 분류에 해당하는지를 판단할 수 있는 정보가 출력될 수 있다. (1<=i<=n, 1<=j<=m, 1<=l<=k)7 is an example of a process of training the deep learning model of the present invention. The deep learning model according to an embodiment includes n*m neurons in the input layer, and each neuron includes pixels in an image of n rows and m columns ( ), RGB values, depth values, or temperature values are input and k neurons are provided in the output layer, so each neuron has k classifications ( ) May be output to determine which classification. (1<=i<=n, 1<=j<=m, 1<=l<=k)
한편, 딥러닝 모델의 입력층에 n행 m열의 이미지의 각 픽셀()의 RGB 값, 깊이 값 및 온도 값이 모두 입력될 수 있는데 이 때에는 입력은 3*n*m 개의 뉴런을 구비해야 한다.On the other hand, each pixel of the image of n rows and m columns in the input layer of the deep learning model ( ), the RGB value, the depth value, and the temperature value can all be input. In this case, the input must have 3*n*m neurons.
다만, 도 7과 달리, 는 영상정보 외에 특징정보 또는 골격정보에 해당할 수 있고 는 탑승자, 조작대상 및 조작방법, 운전부주의 상태인지 여부, 탑승위치, 인원수, 어린이나 어른, 의복 두께, 체온, 탑승자, 입력신호를 k개의 분류로 나눈 것에 해당할 수 있다.However, unlike in Figure 7, May correspond to feature information or skeleton information in addition to image information May correspond to the passenger, the operation target and the operation method, whether the driver is inattentive, the boarding position, the number of people, the child or adult, the thickness of the garment, the body temperature, the passenger, and the input signal divided into k categories.
일 실시 예에 따르면, 편의 장치 제어부(140)는 차량 내 환경 정보를 추출하고 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하고 편의 장치를 제어할 수 있다. According to an embodiment, the
도 8은 차량 내 편의장치의 세부 구성에 대한 개념도의 일 예이다. 도 8을 참고하면, 차량(200)은 내부에 에어백(212, 214), 공조장치(222, 224, 226, 228), 컨텐츠 제공장치(232, 234), 구동장치(240), 좌석(250), 운전주의장치(미도시), 촬영부(300) 및 탑승자 편의제공제어장치(400)를 구비할 수 있다. 여기서, 컨텐츠 제공장치(232, 234)는 오디오, 비디오 등의 컨텐츠를 제공할 수도 있고 네비게이션 기능을 제공할 수도 있으며 운전자에게 소리 또는 영상을 통해 주의를 주는 운전주의장치(미도시)의 역할을 할 수도 있다. 즉 네비게이션 또는 운전주의장치는 컨텐츠 제공장치에 해당할 수 있다.8 is an example of a conceptual diagram for a detailed configuration of a convenience device in a vehicle. Referring to FIG. 8, the
편의 장치 제어부(140)는 차량 내 미디어 장치 제어, 시트 배치 조정, 공조 장치 제어, 에어백 전개 압력 제어, 운전자 알림, 차량 운행 제어 중 하나 이상의 탑승자 맞춤형 서비스를 제어할 수 있다. The convenience
일 예로, 탑승자 정보 학습부(120)가 운전자석에 있는 탑승자 1인만을 탑승자 정보로 학습하면, 편의 장치 제어부(140)는 동승자석에 있는 에어백을 오프시키거나, 뒷좌석의 공조장치를 오프시킬 수 있다. For example, when the occupant
또한, 편의 장치 제어부(140)는 탑승자가 1인인 경우 네비게이션에서 탑승자의 기 설정 패턴에 기초한 추천 목적지를 제공하거나, 탑승자가 2인 이상인 경우 네비게이션에서 근처 추천 맛집 또는 인식된 탑승자의 선호도에 따른 추천 맛집 등을 추천 목적지로 제공할 수 있다 In addition, the convenience
다른 예로, 탑승자 정보 학습부(120)가 동승자석에 있는 탑승자가 체형이 작은 아이인 것을 탑승자 정보로 학습하면, 편의 장치 제어부(140)는 에어컨 또는 히터 가동시 아이를 향해 직접적인 바람이 전달되지 않도록 에어컨 또는 히터 송출 방향을 조정하거나, 동승자석의 에어컨 전개 설정을 아이에 맞게 변경해놓을 수 있다. As another example, when the occupant
다른 예로, 탑승자 정보 학습부(120)가 탑승자가 입은 의복의 종류와 두께를 딥러닝을 통해 학습하면, 편의 장치 제어부(140)는 실내 적정 온도와 탑승자의 체온 추정 정보를 비교하여 에어컨 또는 히터를 온/오프 시키는 등 공조장치를 제어할 수 있다. As another example, when the occupant
또 다른 예로, 탑승자 정보 학습부(120)가 탑승자의 골격 정보를 산출하여 탑승자의 자세나 위치를 학습하면, 편의 장치 제어부(140)는 탑승자가 앉은 좌석의 시트 각도를 조정할 수 있다. 이때, 탑승자 정보 학습부(120)가 딥러닝을 통해 탑승자가 그동안 조정을 수행했던 시트 각도 조정값 등을 기초로 탑승자 행동 패턴을 분석하면, 편의장치 제어부는(130) 탑승자 행동 패턴에 기초하여 시트 각도를 조정할 수 있다. 또한, 이때 편의장치 제어부는(130) 탑승자가 착용한 의복의 종류와 두께 등을 고려하여 시트 각도 조정을 수행할 수 있다. As another example, when the occupant
또 다른 예로, 탑승자 정보 학습부(120)가 탑승자의 상태를 운전 부주의 상태로 학습한 경우, 편의 장치 제어부(140)는 탑승자에게 경각심을 주는 알림을 제공할 수 있다. As another example, when the occupant
한편, 다른 실시 예에 따르면, 지능형 차량 편의 제공 장치(100)는 사용자와 인터랙션하는 인터페이스(150)를 더 포함할 수 있고(미도시), 여기서 인터페이스(150)는 탑승자 영상 정보 분석을 통해 탑승자가 차량을 제어하기 위해 입력하는 입력신호로 입출력 할 수 있다. On the other hand, according to another embodiment, the intelligent vehicle
다른 양상에 따르면, 지능형 차량 편의 제공 장치(100)를 이용하여 지능형 차량 편의 제공 방법을 아래와 같이 설명할 수 있다. According to another aspect, an intelligent vehicle convenience providing method may be described as follows using the intelligent vehicle
먼저, 지능형 차량 편의 제공 방법은 차량 내 하나 이상의 영상 정보를 획득하는 단계, 획득한 영상 정보로부터 차량 내 탑승자를 인식하는 단계, 탑승자의 상태 정보 및 행동 패턴을 분석하는 단계, 차량 내 환경 정보를 추출하고 학습된 탑승자 정보에 기초하여 서비스 제공 여부를 판단하는 단계, 및 편의 장치를 제어하는 단계를 포함할 수 있다. First, the intelligent vehicle convenience providing method includes obtaining one or more image information in a vehicle, recognizing a passenger in a vehicle from the acquired image information, analyzing a state information and behavior pattern of a passenger, and extracting environmental information in the vehicle And determining whether to provide a service based on the learned occupant information, and controlling a convenient device.
또한, 지능형 차량 편의 제공 방법은 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 딥러닝 모델을 통해 탑승자의 상태 정보 및 행동 패턴을 추정하는 단계를 포함하고, 딥러닝 모델은 하나 이상의 영상 정보로부터 탑승자의 특징 정보 및 윤곽 정보를 추출하여 탑승자의 상태 정보를 분석하고, 탑승자의 상태 정보는 탑승자가 착용한 의복 정보, 탑승자의 체온 추정 정보 및 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함하는 단계일 수 있다. In addition, the intelligent vehicle convenience providing method includes the step of recognizing the face and contour of the occupant in the vehicle from the one or more image information and estimating the state information and the behavior pattern of the occupant through the deep learning model, wherein the deep learning model includes one or more images. The feature information and contour information of the occupant are extracted from the information to analyze the occupant's condition information, and the occupant's condition information includes at least one of clothing information worn by the occupant, body temperature estimation information of the occupant, and driver's driving concentration among the occupants It can be a step.
이상에서와 같이, 본 출원의 바람직한 실시예 들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.As described above, although described with reference to preferred embodiments of the present application, those skilled in the art variously modify the present application without departing from the spirit and scope of the present invention described in the following claims. And can be changed.
100 : 지능형 차량 편의 제어 장치 110 : 영상 획득부 120 : 탑승자 정보 학습부 130 : 편의장치 제어부
140 : 통신부 150 : 인터페이스100: intelligent vehicle convenience control device 110: image acquisition unit 120: passenger information learning unit 130: convenience device control unit
140: communication unit 150: interface
Claims (10)
상기 획득한 영상 정보로부터 차량 내 탑승자의 탑승여부를 인식하고 딥러닝을 통해 상기 탑승자의 동작을 학습하는 탑승자 정보 학습부; 및
상기 영상 정보 획득부 및 탑승자 정보 학습부에 의한 정보에 따라 차량의 공조장치, 에어백, 시트각도 또는 네비게이션을 포함하는 편의 장치를 제어하는 편의장치 제어부를 포함하며,
상기 탑승자 정보 학습부는 상기 하나 이상의 영상 정보로부터 차량 내 탑승자의 얼굴 및 윤곽을 인식하고 상기 탑승자의 골격정보를 산출하며, 산출된 탑승자의 골격 정보 좌표로부터 딥러닝 모델을 통해 탑승자의 동작을 학습하고,
상기 딥러닝 모델은 입력층에 상기 영상 정보의 각 픽셀의 RGB값 또는 골격정보가 입력되고 출력층에 탑승자, 탑승위치 또는 탑승자의 동작에 관한 정보가 분류되고,
상기 편의장치 제어부는 상기 영상 정보 획득부로부터 획득한 영상 정보 및 딥러닝 모델에 의해 분류된 결과에 의하여 상기 편의 장치를 제어하는 지능형 차량 편의 제어 장치.
An image information acquisition unit that acquires one or more image information in a vehicle;
A passenger information learning unit recognizing whether a passenger in a vehicle is boarding from the acquired image information and learning the operation of the passenger through deep learning; And
And a convenience device control unit controlling a convenience device including an air conditioning device, an airbag, a seat angle or a navigation device according to information from the image information acquisition unit and the passenger information learning unit,
The occupant information learning unit recognizes the face and contour of the occupant in the vehicle from the one or more image information, calculates the occupant's skeleton information, and learns the occupant's motion through a deep learning model from the calculated occupant's skeleton information coordinates,
In the deep learning model, RGB values or skeletal information of each pixel of the image information are input to an input layer, and information about a passenger, a boarding position, or an operation of the passenger is classified on the output layer,
The convenience device control unit is an intelligent vehicle convenience control device that controls the convenience device based on image information obtained from the image information acquisition unit and results classified by a deep learning model.
상기 영상 정보 획득부는 차량 내 룸미러 근방에 배치되어 앞좌석 및 뒷자석의 객체를 촬영한 영상 정보를 획득하고,
상기 영상 정보 획득부는 RGB 카메라, Depth 센서 및 Thermal IR 센서 중 하나 이상을 포함하는, 지능형 차량 편의 제어 장치. According to claim 1,
The image information acquisition unit is arranged in the vicinity of the room mirror in the vehicle to obtain the image information of the front and rear seats of the object,
The image information acquiring unit includes at least one of an RGB camera, a depth sensor and a thermal IR sensor, an intelligent vehicle convenience control device.
상기 탑승자 정보 학습부는 상기 하나 이상의 영상 정보로부터 운전자를 포함한 탑승 인원, 성별 및 체형 정보 중 하나 이상을 탑승자 정보로 학습하는, 지능형 차량 편의 제어 장치.According to claim 1,
The occupant information learning unit learns one or more of occupant information including the driver, gender, and body type information from the one or more image information as occupant information, an intelligent vehicle convenience control device.
상기 딥러닝 모델은 상기 하나 이상의 영상 정보로부터 상기 탑승자의 특징 정보 및 윤곽 정보를 추출하여 상기 탑승자의 상태 정보를 분석하고,
상기 탑승자의 상태 정보는 상기 탑승자가 착용한 의복 정보, 상기 탑승자의 체온 추정 정보 및 상기 탑승자 중 운전자의 운전 집중도 중 하나 이상을 포함하는, 지능형 차량 편의 제어 장치.According to claim 1,
The deep learning model extracts feature information and contour information of the occupant from the one or more image information to analyze the occupant's state information,
The state information of the occupant includes at least one of clothing information worn by the occupant, body temperature estimation information of the occupant, and driver's driving concentration among the occupants.
상기 딥러닝 모델은 기 학습된 탑승자의 행동 패턴 정보를 기초로 상기 탑승자 맞춤형 서비스를 판단하고,
상기 탑승자의 행동 패턴 정보는 상기 탑승자의 컨텐츠 재생 취향 정보, 상기 탑승자의 목적지 패턴 정보, 상기 탑승자의 운전습관, 상기 탑승자의 서비스 제어 명령 중 하나 이상을 포함하는, 지능형 차량 편의 제어 장치.According to claim 1,
The deep learning model determines the personalized service of the occupant based on the behavior pattern information of the previously learned occupant,
The behavior pattern information of the occupant includes at least one of the content reproduction preference information of the occupant, the destination pattern information of the occupant, the driving habits of the occupant, and the service control command of the occupant.
상기 편의장치 제어부는 상기 차량 내 미디어 장치 제어, 시트 배치 조정, 공조 장치 제어, 에어백 전개 설정 제어, 운전자 알림, 차량 운행 제어 중 하나 이상의 탑승자 맞춤형 서비스를 제어하는, 지능형 차량 편의 제어 장치.According to claim 1,
The convenience device control unit is an intelligent vehicle convenience control device for controlling one or more occupant customized services of the in-vehicle media device control, seat arrangement adjustment, air conditioning device control, airbag deployment setting control, driver notification, and vehicle driving control.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180156798A KR102125756B1 (en) | 2018-12-07 | 2018-12-07 | Appratus and method for intelligent vehicle convenience control |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180156798A KR102125756B1 (en) | 2018-12-07 | 2018-12-07 | Appratus and method for intelligent vehicle convenience control |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200069585A KR20200069585A (en) | 2020-06-17 |
KR102125756B1 true KR102125756B1 (en) | 2020-06-23 |
Family
ID=71137801
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180156798A KR102125756B1 (en) | 2018-12-07 | 2018-12-07 | Appratus and method for intelligent vehicle convenience control |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102125756B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114639112A (en) * | 2020-11-30 | 2022-06-17 | 宝能汽车集团有限公司 | Vehicle-based recommendation method and vehicle |
GB2609913A (en) * | 2021-08-12 | 2023-02-22 | Continental Automotive Gmbh | Vehicle cabin sensing system |
CN115384363A (en) * | 2022-09-23 | 2022-11-25 | 上海展酷信息科技有限公司 | Car seat intelligent regulation system based on posture discernment |
US20240221396A1 (en) * | 2022-12-29 | 2024-07-04 | Gentex Corporation | 3d detection system for in-cabin automotive ergonomics |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102559163B1 (en) * | 2017-11-30 | 2023-07-26 | 주식회사 유니크 | Activity convenience system for personalized custom |
-
2018
- 2018-12-07 KR KR1020180156798A patent/KR102125756B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20200069585A (en) | 2020-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102125756B1 (en) | Appratus and method for intelligent vehicle convenience control | |
US10850693B1 (en) | Determining comfort settings in vehicles using computer vision | |
CN106463065B (en) | Driving incapability state detection device for driver | |
EP3107790B1 (en) | Autonomous driving system and method for same | |
WO2017219319A1 (en) | Automatic vehicle driving method and automatic vehicle driving system | |
KR101587147B1 (en) | apparatus for providing around view and Vehicle including the same | |
EP4112372A1 (en) | Method and system for driver posture monitoring | |
JP2022547479A (en) | In-vehicle digital human-based interaction | |
CN111071113A (en) | Vehicle seat intelligent adjusting method and device, vehicle, electronic equipment and medium | |
US11891002B1 (en) | Determining comfort settings in vehicles using computer vision | |
JP2020185378A (en) | Systems and methods for mitigating motion sickness | |
CN213423969U (en) | Intelligent seat control device based on posture recognition | |
WO2020054517A1 (en) | Suitability determination device and suitability determination method | |
CN111881886A (en) | Intelligent seat control method and device based on posture recognition | |
CN108791119A (en) | Vehicle control system and method | |
JP2010058631A (en) | Vehicular information display device | |
CN110135447B (en) | System for adjusting sitting posture of personnel in vehicle according to identified personnel information | |
CN109948672A (en) | A kind of wheelchair control method and system | |
JP2020075570A (en) | Vehicle control device | |
CN115635890A (en) | Method and system for a vehicle and non-transitory storage medium | |
CN206664342U (en) | Gait Recognition systematic memory function seat | |
JP2024019213A (en) | Driving evaluation model adaptation device, terminal equipment, control method, program, and storage medium | |
KR101976498B1 (en) | System and method for gesture recognition of vehicle | |
KR20150046889A (en) | Tail gate opening angle control device using camera image, and the method of thereof | |
CN110162027A (en) | A kind of Vehicular automatic driving control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |