WO2020025180A1 - Verfahren zum betrieb eines autonom fahrenden kraftfahrzeugs - Google Patents
Verfahren zum betrieb eines autonom fahrenden kraftfahrzeugs Download PDFInfo
- Publication number
- WO2020025180A1 WO2020025180A1 PCT/EP2019/059601 EP2019059601W WO2020025180A1 WO 2020025180 A1 WO2020025180 A1 WO 2020025180A1 EP 2019059601 W EP2019059601 W EP 2019059601W WO 2020025180 A1 WO2020025180 A1 WO 2020025180A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- seat
- person
- processing device
- information
- vehicle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 15
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000009979 protective mechanism Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
- B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
- B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
- B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
- B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
- B60N2/267—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof alerting means responsive to presence or absence of children
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
- B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
- B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
- B60N2/271—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof detecting or alerting means responsive to securing the child in the seat
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
- B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
- B60N2/28—Seats readily mountable on, and dismountable from, existing seats or other parts of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/10—Field detection presence sensors
- B60N2210/16—Electromagnetic waves
- B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
- B60N2210/24—Cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identity check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
Definitions
- the invention relates to a method for operating an autonomously driving motor vehicle.
- Autonomous vehicles will be used more and more in the future.
- Such a motor vehicle enables a driverless drive from one location to another, that is to say that the vehicle runs fully automated or piloted without the need for driver interaction.
- a person gets into the vehicle, to which only a destination address has to be communicated, whereupon the autonomous, autonomous journey can take place.
- a vehicle system which is able to on the basis of a first signal, which indicates the presence of a child restraint system on a vehicle seat, and a second signal, which represents a belt tension determine whether the child restraint system includes a child seat or a booster seat.
- the system is therefore able to specify the child restraint system more precisely.
- a motor vehicle is known from DE 10 2015 121 113 A1 which can park autonomously.
- the interior is also detected to determine whether a person is sitting in the vehicle. If a person is detected, the vehicle does not move along the determined parking space.
- DE 10 2016 207 376 A1 discloses a method for recognizing a position of a person and / or a changed position of the person or another person for a vehicle. This method makes it possible to reliably and reliably identify the positions of people in the vehicle at any time, which is relevant for highly automated vehicles, where people can change their position in the vehicle or the seats themselves are able to reposition accordingly to become.
- occupancy information is read in, which represents the position of at least one person in the vehicle.
- the occupancy information is compared with at least one stored empty information item that represents a vehicle that is empty of people, or with stored preliminary information item that represents a position of the person in the vehicle that was read before the occupancy information item.
- a detection signal is output when there is a predetermined relationship between the occupancy information and the empty information or the pre-allocation information, the detection signal recognizing that at the position Position or the recognized changed position of the person or the other person in the vehicle.
- the occupancy information or empty information or preassignment information can, for example, be recorded and evaluated in the form of image information, with a corresponding image comparison being able to compare the occupancy information with the empty or preallocation information. If a baby seat is installed in the vehicle, the occupancy information can also be used to determine whether the baby seat is occupied.
- the detection signal can thus be output when the baby seat is recognized as empty, which has the advantage that when babies or children are detected in the vehicle, corresponding protective mechanisms can be activated or deactivated, so that babies or toddlers can also be used efficiently can be protected.
- DE 10 2012 206 535 A1 discloses a vehicle with a built-in child presence and reminder system.
- a child seat is fitted in the vehicle and has an occupancy sensor.
- the logic of a control system evaluates the sensor data to determine when to issue an alarm or reminder that indicates that a child has been left in the vehicle.
- a method for operating a seat position adjustment system for a vehicle seat is known from DE 10 2016 010 949 A1.
- a child seat is sometimes arranged on such a seat. If a child is now in the child seat, which can also be a baby seat, this is detected by a suitable sensor, for example a camera or the like, and the seat position adjustment system of the driver's seat is then automatically blocked. This means that the seating position cannot be changed even if the seating position adjustment system is operated. Damage to the child seat and / or injury to the child in the child seat due to unintentional adjustment of the driver's seat is thus largely ruled out.
- the invention is therefore based on the problem of specifying an operating method for an autonomously driving vehicle which enables safe transport, in particular of children or small children.
- a method for operating an autonomously driving motor vehicle in which the vehicle interior is recorded by means of at least one camera and the camera images are processed by means of a processing device for recording at least one person-related information item of a person entering the vehicle interior Which information can be determined whether the person has to sit in an additional person-specific seat to be mounted on the vehicle for the upcoming transport, after which the processing device determines whether a person-specific seat is present and fixed in the vehicle, the upcoming transport only being possible is when such a seat is detected.
- vehicle interior monitoring is carried out to determine whether a person is entering the vehicle interior, that is to say getting into the basic autonomously driving vehicle.
- the continuously recorded camera images or the image data are evaluated by means of a processing device in order to ascertain at least one person-related information that describes the person who got in or defines one or more person-specific criteria. This means that this image data analysis detects or recognizes the person type.
- the processing setting can be used to determine whether it is an adult who can sit on a conventional seat installed on the vehicle or a child or toddler who has to sit on a special additional seat.
- the processing device determines whether a person-specific seat, ie a suitably designed child seat, is installed or fixed in the vehicle on which the detected child is or toddler can take a seat.
- a person-specific seat ie a suitably designed child seat
- the basic transport is only possible if it is detected that a seat of this type is present, that is to say that in this case the processing device quasi emits a release signal which indicates that the motor vehicle can in principle carry out a pending transport. If it turns out that there is no suitable child-specific child seat, this approval is not granted, and the autonomous transport cannot be carried out.
- the actual transport company can only take place if it is ensured that the person or child has actually taken a seat in the seat or has also fastened and fastened the seat belt, if it is therefore ensured that this Child is seated on the seat and is secured.
- This can also be detected by means of a suitable detection device, for example the camera or a seat sensor in connection with a detection device which detects the closing of the seat belt and the processing device. If this boundary condition is also met, a final release signal can be given to release the autonomous ferry operation.
- the processing device expediently uses one by machine learning. a learned algorithm. This is expediently taught by means of suitable training data, that is, monitored learning preferably takes place.
- the processing device preferably uses a taught-in neural network, a deep learning network preferably being used for this. According to the method, artificial intelligence or machine learning is therefore used for the determination of information, and consequently a self-adaptive algorithm in the form of a learned, that is to say trained, neural network.
- a deep learning network is preferably used for this, deep learning being a sub-discipline of machine learning. Deep learning in particular uses a number of hierarchical layers or working levels, the data to be processed, in the present case the camera image data, being entered in a first layer (input layer).
- the work result of the first layer is output to a further layer, which processes the information processing in the first layer again and outputs it to a subsequent layer, the layers following the first layer being referred to as hidden layers.
- the individual and specific data processing continues across all levels of the artificial neural network or deep learning network, the final result is only output in the last layer, the so-called output layer.
- This means that using such a neural network or deep learning network enables extremely precise data processing or analysis and, consequently, highly accurate characterization of people.
- a support vector machine, a decision tree or a Bayes' sches network this list is not exhaustive.
- the neural network or the deep learning network or also the other algorithms or networks that can be used are to be designed accordingly, for which purpose corresponding training data are collected with the greatest possible variance.
- a necessary number of training data is recorded, specifically with regard to people of different ages, different sizes and different weights, all in one Get in the motor vehicle. It is useful if the people are dressed differently in order to have the greatest possible data variance.
- the images are recorded, for example, the three parameters mentioned, namely height, weight and age of the person entering, are recorded and assigned to the image data and stored as a label.
- a suitable machine learning model for example a convolutional neural network
- the input data that are then given to the network by the vehicle are the images from the camera, the output data are the one and the several items of information relating to the person captured.
- the processing device processes at least one item of additional information relating to the geographic location of the motor vehicle in order to determine whether the person must be seated in a person-specific seat.
- the use of a person-specific seat can sometimes be regulated differently in different countries.
- the processing device provides corresponding information that quasi-country-specific, that is, geographically defined with regard to the location of the vehicle. This information is thus basically a country-specific regulation or standard with regard to the use of a person-specific seat.
- the processing device comprises a rule-based algorithm which processes the person-specific information supplied via the neural network or the information as well as the geographically based information (e.g. the regulation, the location being determined via GPS data, for example) compares the relevant comparative information in order to make the final decision as to whether a person-specific seat is necessary.
- the processing device can also determine the type or type of person-specific seat that is required or, where applicable, to be used in accordance with the regulations.
- the vehicle is only operated or transported if, when a child or toddler is registered, it is also ensured that a suitable seat is also available in the vehicle.
- the processing device provides seat information given to it or determined by the processing device, which describes a fixed additional person-specific seat or the type or type of a fixed additional seat, with the result of the determination of whether the The person sitting on a person-specific seat must be compared, whereby transportation is only possible if the seat information describing the seat and the seat result match.
- seat information is available from the processing device, be it that the seat information has been transmitted, or that it has been determined by the processing device itself, which describes further information regarding the additional seat.
- the processing device now checks whether the existing seat, and thus the seat information, and the result of the determination, that is to say the person-specific information, match one another.
- the seat information can only indicate that an additional seat is present. If this information is already sufficient, and therefore fits the result of the investigation, the transport release can be granted.
- the type or type of additional seat can also be recorded, that is to say the seat registration can be resolved even further if the result of the determination requires the use of a defined, specific seat.
- approval is given if the specific seat information correlates with the specific result of the investigation. If it is found in this review body that either there is no seat or that there is no suitable seat, the release is not granted.
- the seat information can reach the processing device in different ways.
- the seat information is transmitted from a fixed seat to the processing device via an electronic interface.
- the vehicle has an electronic interface to which the additional seat is automatically coupled when it is fixed on the vehicle at the corresponding fastening positions.
- Such a mounting position or electronic interface is often called the "ISOFIX" interface.
- the seat When the seat is connected, it can automatically transmit the corresponding seat information regarding its type etc. to the vehicle or the processing device, alternatively the processing device can also query this seat information if required.
- An alternative provides for the vehicle interior to be recorded by means of the camera or at least one further camera and the camera images to be processed by means of the processing device for recording the seat information.
- interior monitoring is carried out with regard to the installation of an additional seat
- the processing device here, too, evaluates the image data of the camera images.
- This also expediently takes place by means of a learned neural network, preferably a deep learning network.
- a trained machine learning model is also used here, which recognizes which seat is in the vehicle based on the camera images or the image data from the interior.
- the neural network or model is also learned here using a training data set comprising a large number of image recordings of different situations with differently installed vehicle seats in the vehicle.
- the correspondingly taught-in model is finally implemented on the vehicle side in the processing device so that it can carry out the seat detection when the corresponding camera images are given.
- the invention further relates to a motor vehicle comprising one or more cameras, a processing device and at least one fastening interface for fixing an additional Chen seat, wherein the motor vehicle is designed to carry out the method described above.
- FIG. 1 shows a schematic diagram of a motor vehicle according to the invention
- FIG. 2 shows a diagram for explaining the method according to the invention.
- FIG. 1 shows a motor vehicle 1 according to the invention, comprising front seats 2 and rear seats 3 or a bench seat, an additional seat 4 in the form of a child seat being arranged as an example on one of the rear seats 3 and secured there via a suitable fastening interface 5 is fixed.
- This fastening interface 5 can also be an electronic interface, which makes it possible to read out seat-specific information corresponding to the additional seat 4.
- a camera 6 is also provided, which is used for monitoring the interior and which detects a person entering the vehicle.
- the camera images or the image data of the camera 6 are then passed to a processing device 7 which, using a neural network, preferably a deep learning network, that is to say on the basis of a corresponding model, provides one or more person-specific information, such as age , height and weight of the person boarded, determined in order to use this information to characterize the person as to whether he is an adult, a young person, a child or an infant, since different transport criteria may apply depending on the person. If the person is a child or a small child, then country-specific, if necessary, transportation can only take place using an appropriate additional seat, in the present case such a seat 4 as shown.
- a neural network preferably a deep learning network
- the processing device 7 is now able, based on the image data analysis using the deep learning network and the geographically based or country-specific information stored in it. on using a rule-based algorithm to determine whether the person being recorded is on the one hand a child or toddler who should be sitting in a specific seat and whether there is a corresponding regulation based on the location of the vehicle that makes the use of such a seat mandatory prescribes.
- this determination is checked accordingly whether a corresponding suitable additional seat 4 is present in the vehicle 1. This can take place either via seat information acquired via the interface 5, which is given to the processing device 7. Alternatively, this can also be done via the camera images supplied by the camera 6 or another camera 8, which are evaluated by the processing device 7.
- the processing device 7 uses an appropriate algorithm to determine from the camera images whether an additional seat 4 is present and, if appropriate, also its type or type.
- the processing device 7 can decide whether the seat information matches the person-specific information or the determination result, and if so, which specific seat is required. If the entire decision-making or checking process reveals that the boundary conditions for the safe transportation of the child or toddler are met, the processing device 7 issues a release signal, for example to a central control device 9 which controls the driving of the motor vehicle , whereupon the autonomous driving of the motor vehicle 1 is fundamentally possible. The actual journey can only begin, for example, when it has been ensured that the child or small child has actually taken a seat on the seat 4 and has secured himself accordingly by wearing a seat belt.
- this can in turn be recorded via the camera 6 and / or 8, if necessary additionally with a corresponding sensor system which detects the closure of a seat belt buckle. If this boundary condition is also fulfilled, the autonomous ferry operation can begin.
- 2 shows a diagram which describes the method according to the invention in more detail.
- the reference symbol a) indicates that in order to train the neural network or deep learning network, first of all, training data are recorded with the greatest possible variance.
- a necessary, as high as possible number of training data is collected, for which purpose people of different ages, sizes and weights entering a motor vehicle 1 are recorded by means of a camera, wherein as many different people as possible are recorded in order to obtain the highest possible To have variance.
- these people also wear different, different pieces of clothing, so that they also differ from exposure to exposure.
- the camera images are recorded, the parameter size, weight and age of the person entering the vehicle are also recorded and assigned to the person or images of that person as a kind of label.
- the neural network or the self-learning model for example a convolutional neural network
- the neural network or the self-learning model is then trained using the training data comprising the labels from step a), this training being carried out once.
- the trained, trained model is then implemented in the processing device 7 and can be used.
- the input of this neural network are the camera images or the image data that the camera 6 and possibly 8 deliver.
- the output of the neural network is the person-specific estimated information relating to age, weight and height, with two of these parameters, preferably all three, being determined.
- a rule-based algorithm determines, based on the geographically based or country-specific information shown under d), whether in relation to the country in which the vehicle is (for example, via GPS data from the processing device 7 ) there is a legal requirement that a specific seat must be used for the transport of children or small children. This determination is made when the neural network under b) after analysis of the camera images indicates that a child or toddler has entered.
- step e) the final determination result is then made on the basis of the information ascertained whether a specific seat or child seat is required and, if appropriate, also what type or what type this must be.
- a neural network or a deep learning network is first learned accordingly, for which purpose, see f), specific training data relating to child seats are again recorded.
- a large number of camera recordings from the interior of the motor vehicle 1 are taken with the camera 6 and / or the camera 8, which show different situations with different child seats installed in different positions.
- the individual recordings or data records are assigned corresponding information describing the respective child seat as a label.
- the neural network is then appropriately taught and trained and implemented in the processing device 7.
- step h In operation of the vehicle, if a corresponding check takes place, correspondingly recorded camera images are given to the processing device 7 by means of the cameras 6 or 8, which then uses the neural network or deep learning network to analyze whether a corresponding seat 4 or child seat is installed in the vehicle, and if so what type it is. This result of the determination is made in step h).
- step i) the processing device 7 compares whether the results recorded in decision levels e) and h) correlate with one another, and thus whether the detected seat 4 matches the seating requirement according to step e). If this is the case, the autonomous ferry operation can be released If there is no match, there is no release possible, the ferry does not operate.
- FIG. 2 shows in step g ′′) the alternative that instead of acquiring seat information via a neural network, corresponding seat information can also be acquired via the interface 5 shown in FIG. 1, which is or comprises an electronic interface.
- the corresponding seat information is given to the processing device 7, which then generates the corresponding detection result h) which is subjected to the check according to step i).
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Seats For Vehicles (AREA)
Abstract
Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs, bei dem mittels wenigstens einer Kamera (6) der Fahrzeuginnenraum erfasst und die Kamerabilder mittels einer Verarbeitungseinrichtung (7) zur Erfassung wenigstens einer personenbezogenen Information einer den Fahrzeuginnen- raum betretenden Person verarbeitet werden, anhand welcher Information bestimmbar ist, ob die Person zur anstehenden Beförderung in einem fahrzeugseitig zu montierenden zusätzlichen personenspezifischen Sitz sitzen muss, wonach seitens der Verarbeitungseinrichtung (7) bestimmt wird, ob ein personenspezifischer Sitz (4) im Fahrzeug vorhanden und fixiert ist, wobei die anstehende Beförderung nur möglich ist, wenn ein solcher Sitz erfasst wird.
Description
Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs
BESCHREIBUNG:
Die Erfindung betrifft ein Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs.
In Zukunft werden autonom fahrende Kraftfahrzeuge vermehrt zum Einsatz kommen. Ein solches Kraftfahrzeug ermöglicht eine fahrerlose Fahrt von ei- nem Ort zu einem anderen, das heißt, dass das Fahrzeug vollständig auto- matisiert beziehungsweise pilotiert fährt, ohne dass es einer Interaktion eines Fahrers bedarf. Eine Person steigt in das Fahrzeug, dem lediglich eine Zieladresse mitzuteilen ist, woraufhin die selbsttätige, autonome Fahrt erfol- gen kann.
Während Jugendliche und Erwachsene während einer solchen autonomen Fahrt auf den fahrzeugseitig verbauten Sitzen Platz nehmen können, benöti- gen Kinder, Kleinkinder oder Babys einen zusätzlichen Sitz, wobei unter dem Begriff „Sitz“ auch eine Sitz- oder Babyschale zu verstehen ist. Für den Transport eines Kindes, Kleinkindes oder Babys ist die Verwendung eines solchen zusätzlichen Sitzes mitunter auch gesetzlich vorgeschrieben, je nach Land, in dem das Kraftfahrzeug betrieben wird.
Bei einem autonom fahrenden Fahrzeug besteht dabei das Problem, dass ein Kind oder Kleinkind, mit oder ohne Zustimmung der Eltern, ein solches Fahrzeug betreten kann, um zu einem bestimmten Ziel zu fahren, also ohne Begleitung eines Elternteils. In diesem Fall ist keine Überprüfungsinstanz, wie sie üblicherweise von dem Elternteil gebildet ist, gegeben, die den siche-
ren Transport des Kindes überprüft beziehungsweise die Verwendung eines kindgerechten zusätzlichen Sitzes prüft.
Aus DE 10 2015 119 286 A1 ist ein Fahrzeug System bekannt, das in der La- ge ist, aufgrund eines ersten Signals, das auf das Vorhandensein eines Kin- derrückhaltesystems an einem Fahrzeugsitz hinweist, und eines zweiten Signals, das eine Gurtspannung darstellt, zu bestimmen, ob das Kinderrück- haltesystem einen Kindersitz oder eine Sitzerhöhung beinhaltet. Das System ist also in der Lage, das Kinderrückhaltesystem genauer zu spezifizieren.
Aus DE 10 2015 121 113 A1 ist ein Kraftfahrzeug bekannt, das autonom ein- parken kann. Neben der Erfassung einer entsprechenden Bewegungstrajek- torie, längs welcher das Fahrzeug für den automatischen Einparkvorgang automatisch bewegt wird, erfolgt zusätzlich eine Erfassung des Innenraums dahingehend, ob eine Person im Fahrzeug sitzt. Wird eine Person erfasst, so unterbleibt die Bewegung des Fahrzeugs entlang der bestimmten Einparkt- rajektorie.
Aus DE 10 2016 207 376 A1 ist ein Verfahren zum Erkennen einer Position einer Person und/oder einer veränderten Position der Person oder einer wei- teren Person für ein Fahrzeug bekannt. Dieses Verfahren ermöglicht es, die Positionen von Personen in dem Fahrzeug jederzeit und zuverlässig zu er- kennen, was für hoch automatisiert fahrende Fahrzeuge relevant ist, wo Per- sonen ihre Position im Fahrzeug wechseln können respektive die Sitze selbst in der Lage sind, entsprechend umpositioniert zu werden. Hierzu wird eine Belegungsinformation eingelesen, die die Position von zumindest einer Per- son in dem Fahrzeug repräsentiert. Anschließend wird die Belegungsinfor- mation mit zumindest einer gespeicherten Leerinformation verglichen, die ein personenleeres Fahrzeug repräsentiert, oder mit einer gespeicherten Vorbe- legungsinformation, die eine vor der Belegungsinformation eingelesene Posi- tion der Person in dem Fahrzeug repräsentiert. Sodann wird ein Erken- nungssignal ausgegeben, wenn eine vorbestimmte Beziehung zwischen der Belegungsinformation und der Leerinformation oder der Vorbelegungsinfor- mation besteht, wobei das Erkennungssignal die an der Position erkannte
Position oder die erkannte veränderte Position der Person oder der weiteren Person in dem Fahrzeug repräsentiert. Die Belegungsinformation respektive Leerinformation respektive Vorbelegungsinformation kann beispielsweise in Form von Bildinformationen erfasst und ausgewertet werden, wobei zum Vergleichen der Belegungsinformation mit der Leer- oder Vorbelegungsin- formation ein entsprechender Bildvergleich erfolgen kann. Ist eine Babyscha- le im Fahrzeug verbaut, so kann über die Belegungsinformation auch erfasst werden, ob die Babyschale belegt ist. Insbesondere kann somit das Erken- nungssignal ausgegeben werden, wenn die Babyschale als leer erkannt wird, womit der Vorteil gegeben ist, dass, wenn Babys oder Kinder im Fahrzeug erfasst werden, entsprechende Schutzmechanismen aktiviert oder deaktiviert werden können, so dass auch Babys oder Kleinkinder effizient geschützt werden können.
Aus DE 10 2012 206 535 A1 ist ein Fahrzeug mit einem eingebauten Kin- deranwesenheits- und Erinnerungssystem bekannt. Im Fahrzeug ist ein Kin- dersitz angebracht, der einen Belegungssensor aufweist. Die Logik eines Steuerungssystems wertet die Sensordaten aus, um zu ermitteln, wann ein Alarm oder eine Erinnerung ausgegeben werden soll, die anzeigt dass ein Kind im Fahrzeug zurückgelassen wurde.
Schließlich ist aus DE 10 2016 010 949 A1 ein Verfahren zum Betrieb eines Sitzpositionseinstellsystems für einen Fahrzeugsitz bekannt. Mitunter wird auf einem solchen Sitz ein Kindersitz angeordnet. Befindet sich nun ein Kind in dem Kindersitz, bei dem es sich auch um eine Babyschale handeln kann, wird dies über eine geeignete Sensorik, beispielsweise eine Kamera oder dergleichen, erfasst und daraufhin das Sitzpositionseinstellsystem des Fah- rersitzes automatisch blockiert. Das heißt, dass die Sitzposition nicht verän- dert werden kann, auch wenn das Sitzpositionseinstellsystem bedient wird. Eine Beschädigung des Kindersitzes und/oder eine Verletzung des Kindes in dem Kindersitz aufgrund einer unbeabsichtigten Verstellung des Fahrersitzes ist damit weitestgehend ausgeschlossen.
Der Erfindung liegt damit das Problem zu Grunde, ein Betriebsverfahren für ein autonom fahrendes Fahrzeug anzugeben, das einen sicheren Transport insbesondere von Kindern oder Kleinkindern ermöglicht.
Zur Lösung dieses Problems ist erfindungsgemäß ein Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs vorgesehen, bei dem mittels we- nigstens einer Kamera der Fahrzeuginnenraum erfasst und die Kamerabilder mittels einer Verarbeitungseinrichtung zur Erfassung wenigstens einer per- sonenbezogenen Information einer den Fahrzeuginnenraum betretenden Person verarbeitet werden, anhand welcher Information bestimmbar ist, ob die Person zur anstehenden Beförderung in einen fahrzeugseitig zu montie- renden zusätzlichen personenspezifischen Sitz sitzen muss, wonach seitens der Verarbeitungseinrichtung bestimmt wird, ob ein personenspezifischer Sitz im Fahrzeug vorhanden und fixiert ist, wobei die anstehende Beförde- rung nur möglich ist, wenn ein solcher Sitz erfasst wird.
Erfindungsgemäß erfolgt eine Fahrzeuginnenraumüberwachung dahinge- hend, ob eine Person den Fahrzeuginnenraum betritt, also in das grundsätz- liche autonom fahrende Fahrzeug einsteigt. Mittels einer Verarbeitungsein- richtung werden die laufend erfassten Kamerabilder respektive die Bilddaten ausgewertet, um wenigstens eine personenbezogene Information, die die eingestiegene Person näher beschreibt beziehungsweise hinsichtlich eines oder mehrerer personenspezifischer Kriterien definiert, zu ermitteln. Das heißt, dass durch diese Bilddatenanalyse eine Erfassung oder Erkennung des Personentyps erfolgt. Anhand dieser personenbezogenen Information kann seitens der Verarbeitungseinstellung erfasst werden, ob es sich also um einen Erwachsenen, der auf einem üblichen fahrzeugseitig verbauten Sitz sitzen kann, handelt, oder um ein Kind oder Kleinkind, das auf einem speziellen zusätzlichen Sitz sitzen muss.
Ergibt nun die Bilddatenauswertung, dass es sich bei der Person um ein Kind oder Kleinkind handelt, wird seitens der Verarbeitungseinrichtung bestimmt, ob im Fahrzeug ein personenspezifischer Sitz, also ein entsprechend ausge- legter Kindersitz, verbaut respektive fixiert ist, auf dem das erfasste Kind
oder Kleinkind Platz nehmen kann. Nur wenn erfasst wird, dass ein eben solcher Sitz vorhanden ist, ist die grundsätzliche Beförderung möglich, das heißt, dass in diesem Fall seitens der Verarbeitungseinrichtung quasi ein Freigabesignal ausgegeben wird, das anzeigt, dass das Kraftfahrzeug grundsätzlich eine anstehende Beförderung durchführen kann. Ergibt sich, dass kein personenspezifischer geeigneter Kindersitz vorhanden ist, so wird diese Freigabe nicht erteilt, die autonome Beförderung kann nicht durchge- führt werden.
Der eigentliche Beförderungsbetrieb kann schließlich auch dann erst erfol- gen, wenn sichergestellt ist, dass die Person respektive das Kind auch tat- sächlich auf dem Sitz Platz genommen hat beziehungsweise auch den Si- cherheitsgurt angelegt und geschlossen hat, wenn also sichergestellt ist, dass das Kind vorschriftsgemäß auf dem Sitz sitzt und gesichert ist. Auch dies kann über eine geeignete Erfassungseinrichtung, beispielsweise wiede- rum die oder eine Kamera oder einen Sitzsensor in Verbindung mit einer Er- fassungseinrichtung, die das Schließen des Sicherheitsgurtes erfasst, sowie der Verarbeitungseinrichtung erfasst werden. Ist auch diese Randbedingung erfüllt, so kann ein endgültiges Freigabesignal zur Freigabe des autonomen Fährbetriebs gegeben werden.
Grundsätzlich ist es denkbar, bereits anhand nur einer Information die Ermitt- lung, ob die Person in einem speziellen Sitz während der Fahrt sitzen muss, mithin also ob es sich um ein Kind oder Kleinkind handelt, vorzunehmen. Zweckmäßigerweise werden hierzu jedoch mehrere Informationen ermittelt, die das Alter, das Gewicht und/oder die Größe der Person beschreiben, wo- bei wenigstens zwei, bevorzugt alle diese Informationen bestimmt werden. Anhand dieser Informationen kann eine Person sehr genau identifiziert res- pektive charakterisiert werden, so dass eine sehr genaue Erfassung respek- tive Unterscheidung dahingehend, ob es sich um einen Erwachsenen, einen Jugendlichen, ein Kind oder ein Kleinkind handelt, erfolgen kann.
Zur Ermittlung der einen oder der mehreren Informationen bedient sich die Verarbeitungseinrichtung zweckmäßigerweise eines durch maschinelles Ler-
nen angelernten Algorithmus. Dieser wird zweckmäßiger Weise mittels ge- eigneter Trainingsdaten angelernt, es findet also bevorzugt ein überwachtes Lernen statt. Die Verarbeitungseinrichtung nutzt bevorzugt ein angelerntes neuronales Netz, wobei hierfür bevorzugt ein Deep Learning Netz verwendet wird. Verfahrensgemäß wird also zur Informationsermittlung künstliche Intel- ligenz respektive maschinelles Lernen verwendet, mithin also ein selbst adaptiver Algorithmus in Form eines angelernten, also trainierten neuronalen Netzes. Bevorzugt wird hierfür ein Deep Learning Netz verwendet, wobei Deep Learning eine Teildisziplin des maschinellen Lernens ist. Insbesondere das Deep Learning nutzt eine Reihe hierarchischer Schichten beziehungs- weise Arbeitsebenen, wobei in einer ersten Schicht (input layer) die zu ver- arbeitenden Daten, vorliegend die Kamerabilddaten, eingegeben werden. Das Arbeitsergebnis der ersten Schicht wird an eine weitere Schicht ausge- geben, die die in der ersten Schicht verarbeitenden Informationen erneut verarbeitet und an eine folgende Schicht ausgibt, wobei die der ersten Schicht folgenden Schichten als versteckte Schichten oder Ebenen (hidden layers) bezeichnet werden. Die einzelne eben spezifische Datenverarbeitung geht über alle Ebenen des künstlichen neuronalen Netzes respektive Deep Learning Netzes weiter, das endgültige Ergebnis wird erst in der letzten Schicht, der sogenannten output layer, ausgegeben. Das heißt, dass unter Verwendung eines solchen neuronalen Netzes respektive Deep Learning Netzes eine äußerst exakte Datenverarbeitung beziehungsweise -analyse möglich ist und demzufolge eine hoch genaue Personencharakterisierung. Neben den genannten Algorithmen bzw. Netzen sind aber auch andere Algo- rithmen verwendbar, beispielsweise eine Support-Vector-Maschine, ein Ent- scheidungsbaum oder ein Bayes'sches Netz, wobei diese Aufzählung nicht abschließend ist.
Das neuronale Netz respektive das Deep Learning Netz bzw. auch die ande- ren verwendbaren Algorithmen bzw. Netze sind hierzu entsprechend auszu- legen respektive anzulernen, wozu entsprechende Trainingsdaten mit einer möglichst hohen Varianz erhoben werden. Es wird eine notwendige Anzahl an Trainingsdaten erfasst, und zwar bezüglich Personen unterschiedlichen Alters, unterschiedlicher Größe und unterschiedlichen Gewichts, die in ein
Kraftfahrzeug einsteigen. Zweckmäßig ist es, wenn die Personen auch un- terschiedlich gekleidet sind, um eben eine möglichst hohe Datenvarianz zu haben. Mit dem Aufzeichnen der Bilder werden beispielsweise die drei ge- nannten Parameter, nämlich Größe, Gewicht und Alter der einsteigenden Person, erhoben und den Bilddaten zugeordnet und als Label gespeichert. Anhand der Trainingsdaten wird anschließend ein geeignetes Machine Lear- ning Modell (z. B. ein Convolutional Neuronal Network), mit Hilfe der Trai- ningsdaten und der zugeordneten personenspezifischen Parameter trainiert, wobei dieses Modell sodann fahrzeugseitig in der Verarbeitungseinstellung implementiert wird. Die Eingangsdaten, die dem Netzwerk sodann vom Fahrzeug gegeben werden, sind die Bilder der Kamera, die Ausgangsdaten sind die eine und die mehreren Informationen betreffend der erfassten Per- son.
In Weiterbildung der Erfindung kann vorgesehen sein, dass die Verarbei- tungseinrichtung zur Ermittlung, ob die Person auf einem personenspezifi- schen Sitz sitzen muss, wenigstens eine weitere, auf den geographischen Aufenthaltsort des Kraftfahrzeugs bezogene Information verarbeitet. Die Verwendung eines personenspezifischen Sitzes kann mitunter in verschie- denen Ländern unterschiedlich geregelt sein. Um eine in Bezug auf die tat- sächlich gegebenen Vorschriften korrekte finale Entscheidung, ob ein perso- nenspezifischer Sitz zu verwenden ist, und gegebenenfalls auch welchen Typs oder welcher Art dieser sein muss, treffen zu können, wird seitens der Verarbeitungseinrichtung eine entsprechende Information, die quasi länder- spezifisch, mithin also geographisch bezüglich des Aufenthaltsorts des Fahr- zeugs definiert ist, berücksichtigt. Es handelt sich bei dieser Information also quasi um eine länderspezifische Vorschrift oder Norm in Bezug auf die Ver- wendung eines personenspezifischen Sitzes. Die Verarbeitungseinrichtung umfasst einen regelbasierten Algorithmus, der die über das neuronale Netz gelieferte personenspezifische Information oder die Informationen sowie die geographisch basierte Information (z. B. die Vorschrift, wobei der Ort z. B. über GPS-Daten bestimmt wird) verarbeitet respektive diese mit entspre- chenden Vergleichsinformationen vergleicht, um gestützt darauf die finale Entscheidung, ob ein personenspezifischer Sitz notwendig ist, zu treffen.
Dabei kann die Verarbeitungseinrichtung zusätzlich auch die Art oder den Typ des personenspezifischen Sitzes, der gefordert ist respektive gegebe- nenfalls vorschriftsgemäß zu verwenden ist, ermitteln.
Wie beschrieben erfolgt der Betrieb des Fahrzeugs respektive die Beförde- rung nur, wenn bei Erfassung eines Kindes oder Kleinkindes auch sicherge- stellt ist, dass ein entsprechender passender Sitz zusätzlich im Fahrzeug vorhanden ist. Um dies zu ermitteln kann erfindungsgemäß vorgesehen sein, dass die Verarbeitungseinrichtung eine ihr gegebene oder seitens der Verar- beitungseinrichtung ermittelte Sitzinformation, die einen fixierten zusätzlichen personenspezifischen Sitz oder die Art oder den Typ eines fixierten zusätzli- chen Sitzes beschreibt, mit dem Ermittlungsergebnis, ob die Person auf ei- nem personenspezifischen Sitz sitzen muss abgleicht, wobei die Beförde- rung nur möglich ist, wenn die den Sitz beschreibende Sitzinformation und das Sitzergebnis zueinander passen. Das heißt, dass seitens der Verarbei- tungseinrichtung eine Sitzinformation vorhanden ist, sei es dass die Sitzin formation übertragen wurde, sei es, dass sie seitens der Verarbeitungsein- richtung selbst ermittelt wurde, die Näheres bezüglich des zusätzlichen Sit zes beschreibt. Seitens der Verarbeitungseinrichtung wird nun abgeglichen, ob der vorhandene Sitz, mithin also die Sitzinformation, und das Ermittlungs- ergebnis, also die personenspezifische Information, zueinander passen. Da- bei kann die Sitzinformation lediglich angeben, dass ein zusätzlicher Sitz vorhanden ist. Wenn diese Information bereits ausreichend ist, mithin also zu dem Ermittlungsergebnis passt, kann die Beförderungsfreigabe erteilt wer- den. Zusätzlich kann aber auch die Art oder der Typ des zusätzlichen Sitzes erfasst werden, mithin also die Sitzerfassung noch weiter aufgelöst werden, wenn das Ermittlungsergebnis die Verwendung eines definierten, spezifi- schen Sitzes erfordert. Auch hier wird die Freigabe erteilt, wenn die spezifi- sche Sitzinformation mit dem spezifischen Ermittlungsergebnis korreliert. Ergibt sich in dieser Überprüfungsinstanz, dass entweder kein Sitz vorhan- den ist, oder dass kein passender Sitz vorhanden ist, so wird die Freigabe nicht erteilt.
Dabei kann die Sitzinformation auf unterschiedliche Weise zur Verarbei- tungseinrichtung gelangen. So ist es denkbar, dass die Sitzinformation über eine elektronische Schnittstelle von einem fixierten Sitz an die Verarbei- tungseinrichtung übertragen wird. In diesem Fall verfügt das Fahrzeug über eine elektronische Schnittstelle, an die der zusätzliche Sitz automatisch ge- koppelt wird, wenn er fahrzeugseitig an den entsprechenden Befestigungs- Positionen fixiert wird. Eine solche Befestigungsposition respektive auch elektronische Schnittstelle wird häufig auch„ISOFIX“-Schnittstelle genannt. Mit dem Anschließen des Sitzes kann dieser automatisch die entsprechende Sitzinformation betreffend seinen Typ etc. an das Fahrzeug respektive die Verarbeitungseinrichtung übertragen, alternativ kann die Verarbeitungsein- richtung diese Sitzinformation bei Bedarf auch abfragen.
Eine Alternative sieht vor, mittels der Kamera oder wenigstens einer weiteren Kamera den Fahrzeuginnenraum zu erfassen und die Kamerabilder mittels der Verarbeitungseinrichtung zur Erfassung der Sitzinformation zu verarbei- ten. Auch hier erfolgt also eine Innenraumüberwachung hinsichtlich der In- stallation eines zusätzlichen Sitzes, wobei die Verarbeitungseinrichtung auch hier wiederum die Bilddaten der Kamerabilder auswertet. Auch dies ge- schieht zweckmäßigerweise mittels eines angelernten neuronalen Netzes, bevorzugt eines Deep Learning Netzes. Es kommt also auch hier ein trainier- tes Machine Learning Modell zum Einsatz, das anhand der Kamerabilder respektive der Bilddaten aus dem Innenraum erkennt, welcher Sitz sich im Fahrzeug befindet. Die Anlernung des neuronalen Netzes respektive Modells erfolgt auch hier mittels eines Trainingsdatensatzes umfassend eine Vielzahl von Bildaufnahmen unterschiedlicher Situationen mit unterschiedlich verbau- ten Fahrzeugsitzen im Fahrzeug. Das entsprechend angelernte Modell wird schließlich fahrzeugseitig in der Verarbeitungseinrichtung implementiert, so dass es bei Gabe der entsprechenden Kamerabilder die Sitzerfassung vor- nehmen kann.
Neben dem Verfahren selbst betrifft die Erfindung ferner ein Kraftfahrzeug, umfassend eine oder mehrere Kameras, eine Verarbeitungseinrichtung so- wie wenigstens eine Befestigungsschnittstelle zum Fixieren eines zusätzli-
chen Sitzes, wobei das Kraftfahrzeug zur Durchführung des vorstehend be- schriebenen Verfahrens ausgebildet ist.
Fig. 1 eine Prinzipdarstellung eines erfindungsgemäßen Kraftfahr- zeugs, und
Fig. 2 ein Diagramm zur Erläuterung des erfindungsgemäßen Verfah- rens.
Fig. 1 zeigt ein erfindungsgemäßes Kraftfahrzeug 1 , umfassend vordere Sit- ze 2 sowie hintere Sitze 3 respektive eine Sitzbank, wobei exemplarisch auf einem der hinteren Sitze 3 ein zusätzlicher Sitz 4 in Form eines Kindersitzes angeordnet ist, der über eine geeignete Befestigungsschnittstelle 5 dort fest fixiert ist. Diese Befestigungsschnittstelle 5 kann auch zusätzlich eine elekt- ronische Schnittstelle sein, die es ermöglicht, vom zusätzlichen Sitz 4 ent- sprechende sitzspezifische Informationen auszulesen.
Vorgesehen ist des Weiteren eine Kamera 6, die der Innenraumüberwa- chung dient, und die eine in das Fahrzeug einsteigende Person erfasst. Die Kamerabilder respektive die Bilddaten der Kamera 6 werden sodann an eine Verarbeitungseinrichtung 7 gegeben, die unter Verwendung eines neurona- len Netzwerks, bevorzugt eines Deep Learning Netzwerks, also anhand ei- nes entsprechenden Modells, eine oder mehrere personenspezifische Infor- mationen, wie das Alter, die Größe und das Gewicht der eingestiegenen Person, ermittelt, um anhand dieser Informationen die Person dahingehend zu charakterisieren, ob es sich um einen Erwachsenen, einen Jugendlichen, ein Kind oder ein Kleinkind handelt, da je nach Person mitunter unterschied- liche Beförderungskriterien gelten. Flandelt es sich bei der Person um ein Kind oder ein Kleinkind, so kann, gegebenenfalls länderspezifisch, eine Be- förderung nur unter Verwendung eines entsprechenden zusätzlichen Sitzes erfolgen, im vorliegenden Fall eines solchen Sitzes 4 wie dargestellt.
Die Verarbeitungseinrichtung 7 ist nun in der Lage, gestützt auf die Bildda- tenanalyse unter Verwendung des Deep Learning Netzes sowie der in ihr abgelegten, geographisch basierten respektive länderspezifischen Informati-
on unter Verwendung eines regelbasierten Algorithmus zu ermitteln, ob die erfasste Person einerseits ein Kind oder Kleinkind ist, das auf einem spezifi- schen Sitz sitzen sollte, und ob aufgrund des Aufenthalts des Fahrzeugs eine entsprechende Regelung gegeben ist, die die Verwendung eines solchen Sitzes zwingend vorschreibt.
Erfolgte diese Bestimmung, so wird entsprechend überprüft, ob ein entspre- chender geeigneter zusätzlicher Sitz 4 im Fahrzeug 1 vorhanden ist. Dies kann entweder über eine über die Schnittstelle 5 erfasste Sitzinformation er- folgen, die der Verarbeitungseinrichtung 7 gegeben wird. Alternativ kann dies auch über die von der Kamera 6 oder einer weiteren Kamera 8 gelieferten Kamerabilder, die seitens der Verarbeitungseinrichtung 7 ausgewertet wer- den, erfolgen. Die Verarbeitungseinrichtung 7 ermittelt anhand eines geeig- neten Algorithmus aus den Kamerabildern, ob ein zusätzlicher Sitz 4 vorhan- den ist, und gegebenenfalls auch dessen Typ oder Art.
Ist die Sitzinformation schließlich ebenfalls erfasst, so kann seitens der Ver- arbeitungseinrichtung 7 entschieden werden, ob die Sitzinformation zu der personenspezifischen Information respektive dem Ermittlungsergebnis, ob und wenn ja welcher spezifischer Sitz benötigt wird, passt. Ergibt der gesam- te Entscheidungs- bzw. Überprüfungsprozess, dass die Randbedingungen für eine sichere Beförderung des Kindes oder Kleinkindes erfüllt sind, so wird seitens der Verarbeitungseinrichtung 7 ein Freigabesignal beispielsweise an eine zentrale Steuerungseinrichtung 9, die den Fährbetrieb des Kraftfahr- zeugs ansteuert, gegeben, woraufhin grundsätzlich der autonome Fahrbe- trieb des Kraftfahrzeugs 1 möglich ist. Die tatsächliche Fahrt kann beispiels weise erst dann beginnen, wenn sichergestellt ist, dass das Kind oder Klein- kind tatsächlich auf dem Sitz 4 Platz genommen hat und sich auch entspre- chend durch Anlegen des Sicherheitsgurts gesichert hat. Dies kann bei spielsweise wiederum über die Kamera 6 und/oder 8 erfasst werden, gege- benenfalls zusätzlich mit einer entsprechenden Sensorik, die das Schließen eines Sicherheitsgurtschlosses ermittelt. Ist auch diese Randbedingung er- füllt, so kann der autonome Fährbetrieb beginnen.
Fig. 2 zeigt ein Diagramm, das das erfindungsgemäße Verfahren näher be- schreibt.
Mit dem Bezugszeichen a) ist angezeigt, dass zum Trainieren des neurona- len Netzes respektive Deep Learning Netzes zunächst Trainingsdaten mit einer möglichst hohen Varianz aufgenommen werden. Es wird eine notwen- dige, möglichst hohe Anzahl an Trainingsdaten erhoben, wozu mittels einer Kamera Personen unterschiedlichen Alters, Größe und Gewicht, die in ein Kraftfahrzeug 1 einsteigen, erfasst werden, wobei möglichst viele unter- schiedliche Personen erfasst werden, um eine möglichst hohe Varianz zu haben. Zweckmäßigerweise tragen diese Personen auch variierende, unter- schiedliche Kleidungsstücke, so dass sie sich von Aufnahme zu Aufnahme auch unterscheiden. Mit dem Aufzeichnen der Kamerabilder werden zusätz- lich die Parametergröße, Gewicht und Alter der einsteigenden Person erfasst und der oder den jeweiligen Aufnahmen dieser Person quasi als Label zuge- ordnet.
Wie unter b) dargestellt wird sodann das neuronale Netz respektive das selbstlernende Modell, beispielsweise ein Convolutional Neuronal Network, mit Hilfe der Trainingsdaten umfassend die Labels aus Schritt a) trainiert, wobei dieses Training einmalig erfolgt. Anschließend wird das trainierte, an- gelernte Modell in der Verarbeitungseinrichtung 7 implementiert und kann genutzt werden. Der Eingang dieses neuronalen Netzes sind die Kamerabil- der respektive die Bilddaten, die die Kamera 6 und gegebenenfalls 8 liefern. Die Ausgabe des neuronalen Netzes ist die personenspezifische geschätzte Information bezüglich Alter, Gewicht und Größe, wobei bevorzugt zweier die ser Parameter, vorzugsweise alle drei ermittelt werden.
Unter c) ermittelt sodann ein regelbasierter Algorithmus, gestützt auf unter d) dargestellte geographisch basierte respektive länderspezifische Informatio- nen, ob in Bezug auf das Land, in dem das Fahrzeug ist, (was z. B. über GPS-Daten seitens der Verarbeitungseinrichtung 7 erfasst wird) eine gesetz- liche Vorschrift besteht, dass zur Beförderung von Kindern oder Kleinkindern ein spezifischer Sitz zu verwenden ist. Diese Ermittlung erfolgt, wenn das
neuronale Netz unter b) nach Analyse der Kamerabilder angibt, dass ein Kind oder Kleinkind eingestiegen ist.
Im Schritt e) wird sodann auf Basis der ermittelten Informationen das finale Ermittlungsergebnis getroffen, ob ein spezifischer Sitz respektive Kindersitz erforderlich ist, und gegebenenfalls auch welche Art oder welchen Typs die- ser sein muss.
Sodann wird ermittelt, ob sich ein solcher Sitz im Kraftfahrzeug befindet. Um dies zu ermöglichen, wird zunächst ein neuronales Netz respektive ein Deep Learning Netz entsprechend angelernt, wozu, siehe f), erneut spezifische Trainingsdaten betreffend Kindersitze erfasst werden. Hierzu werden wiede- rum eine Vielzahl von Kameraaufnahmen aus dem Innenraum des Kraftfahr- zeugs 1 mit der Kamera 6 und/oder der Kamera 8 aufgenommen, die ver- schiedene Situationen mit an unterschiedlichen Positionen verbauten unter- schiedlichen Kindersitzen zeigen. Auch hier werden den einzelnen Aufnah- men respektive Datensätzen entsprechende, den jeweiligen Kindersitz be- schreibende Informationen als Label zugeordnet. Das neuronale Netz wird sodann entsprechend angelernt und trainiert und in der Verarbeitungseinrich- tung 7 implementiert.
Im Betrieb des Fahrzeugs werden, wenn eine entsprechende Überprüfung stattfindet, mittels der Kameras 6 oder 8 entsprechend aufgenommene Ka- merabilder der Verarbeitungseinrichtung 7 gegeben, die daraufhin unter Verwendung des neuronalen Netzes respektive Deep Learning Netzes ana- lysiert, ob ein entsprechender Sitz 4 respektive Kindersitz im Fahrzeug ver- baut ist, und wenn ja welchen Typs dieser ist. Dieses Ermittlungsergebnis wird im Schritt h) getroffen.
Sodann vergleicht die Verarbeitungseinrichtung 7 im Schritt i), ob die in den Entscheidungsebenen e) und h) erfassten Ergebnisse miteinander korrelie- ren, mithin also ob der erfasste Sitz 4 zu dem Sitzerfordernis gemäß Schritt e) passt. Ist dies der Fall, kann die Freigabe des autonomen Fährbetriebs
ausgegeben werden, ist keine Übereinstimmung gegeben, so ist keine Frei- gabe möglich, der Fährbetrieb erfolgt nicht.
Fig. 2 zeigt im Schritt g‘) die Alternative, dass anstelle der Erfassung von Sit- zinformationen über ein neuronales Netz eine entsprechende Sitzinformation auch über die in Fig. 1 gezeigte Schnittstelle 5, die eine elektronische Schnittstelle ist oder umfasst, erfasst werden kann. Die entsprechende Sitz- information wird der Verarbeitungseinrichtung 7 gegeben, die daraufhin das entsprechende Erfassungsergebnis h) generiert, das der Überprüfung ge- maß Schritt i) unterworfen wird.
Claims
1. Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs, bei dem mittels wenigstens einer Kamera (6) der Fahrzeuginnenraum erfasst und die Kamerabilder mittels einer Verarbeitungseinrichtung (7) zur Erfassung wenigstens einer personenbezogenen Information einer den Fahrzeugin- nenraum betretenden Person verarbeitet werden, anhand welcher Infor- mation bestimmbar ist, ob die Person zur anstehenden Beförderung in ei- nem fahrzeugseitig zu montierenden zusätzlichen personenspezifischen Sitz sitzen muss, wonach seitens der Verarbeitungseinrichtung (7) be- stimmt wird, ob ein personenspezifischer Sitz (4) im Fahrzeug vorhanden und fixiert ist, wobei die anstehende Beförderung nur möglich ist, wenn ein solcher Sitz erfasst wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mehrere In- formationen ermittelt werden, die das Alter, das Gewicht und/oder die Größe der Person beschreiben.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Verarbeitungseinrichtung die eine oder die mehreren Informationen mit- tels eines durch maschinelles Lernen trainierten Algorithmus ermittelt.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Verarbei- tungseinrichtung (7) die eine oder die mehreren Informationen mittels ei- nes angelernten neuronalen Netzes (b) ermittelt.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als neuronale Netz (b) ein Deep Learning Netz verwendet wird.
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekenn- zeichnet, dass die Verarbeitungseinrichtung (7) zur Ermittlung, ob die Person auf einem personenspezifischen Sitz (4) sitzen muss, wenigstens eine weitere, auf den geografischen Aufenthaltsort des Kraftfahrzeugs bezogene Information (d) verarbeitet.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekenn- zeichnet, dass die Verarbeitungseinrichtung (7) zusätzlich die Art oder den Typ des personenspezifischen Sitzes (4) ermittelt.
8. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekenn- zeichnet, dass die Verarbeitungseinrichtung (7) eine ihr gegebene oder seitens der Verarbeitungseinrichtung (7) ermittelte Sitzinformation, die ei- nen fixierten zusätzlichen personenspezifischen Sitz (4) oder die Art oder den Typ eines fixierten zusätzlichen Sitz (4) beschreibt, mit dem Ermitt- lungsergebnis, ob die Person auf einem personenspezifischen Sitz (4) sitzen muss abgleicht, wobei eine Beförderung nur möglich ist, wenn die den Sitz (4) beschreibende Sitzinformation und das Ermittlungsergebnis zueinander passen.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Sitzinfor- mation über eine elektronische Schnittstelle (5) von einem fixierten Sitz
(4) an die Verarbeitungseinrichtung (7) übertragen wird.
10. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass mittels der Kamera (6) oder wenigstens einer weiteren Kamera (8) der Fahrzeugin- nenraum erfasst und die Kamerabilder mittels der Verarbeitungseinrich- tung (7) zur Erfassung der Sitzinformation verarbeitet werden.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Verar- beitungseinrichtung (7) die Sitzinformation mittels eines angelernten neu- ronalen Netzes (g) ermittelt.
12. Verfahren nach Anspruch 1 1 , dadurch gekennzeichnet, dass als neurona- le Netz (g) ein Deep Learning Netz verwendet wird.
13. Kraftfahrzeug, umfassend eine oder mehrere Kameras (6, 8), eine Verar- beitungseinrichtung (7) sowie wenigstens eine Befestigungsschnittstelle
(5) zum Fixieren eines zusätzlichen Sitzes, ausgebildet zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018212877.4 | 2018-08-02 | ||
DE102018212877.4A DE102018212877B4 (de) | 2018-08-02 | 2018-08-02 | Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020025180A1 true WO2020025180A1 (de) | 2020-02-06 |
Family
ID=66240112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2019/059601 WO2020025180A1 (de) | 2018-08-02 | 2019-04-15 | Verfahren zum betrieb eines autonom fahrenden kraftfahrzeugs |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102018212877B4 (de) |
WO (1) | WO2020025180A1 (de) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114771372A (zh) * | 2022-05-24 | 2022-07-22 | 浙江吉利控股集团有限公司 | 儿童座椅自动调节方法、装置、设备及可读存储介质 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210188205A1 (en) * | 2019-12-19 | 2021-06-24 | Zf Friedrichshafen Ag | Vehicle vision system |
US12021970B2 (en) | 2020-10-16 | 2024-06-25 | Toyota Motor North America, Inc. | Dynamic key management for transport |
US11995663B2 (en) * | 2020-10-16 | 2024-05-28 | Toyota Motor North America, Inc. | Automatic detection and validation of transport service |
US11807181B2 (en) | 2020-10-27 | 2023-11-07 | GM Global Technology Operations LLC | Vision-based airbag enablement |
US20230066199A1 (en) * | 2021-08-26 | 2023-03-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Determining an identification of an occupant within a vehicle |
DE102021211215A1 (de) | 2021-10-05 | 2023-04-06 | Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg | Verfahren zum Anlernen eines Systems zur Auslösung mindestens einer Funktion an einem Fahrzeug sowie Verfahren und System zur Auslösung mindestens einer Funktion an einem Fahrzeug |
DE102022132474A1 (de) | 2022-12-07 | 2024-06-13 | Brose Fahrzeugteile SE & Co. Kommanditgesellschaft, Coburg | Stützvorrichtung für einen Fahrzeugsitz und Steuerungsverfahren |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010029416A1 (en) * | 1992-05-05 | 2001-10-11 | Breed David S. | Vehicular component control systems and methods |
EP1669251A1 (de) * | 2004-12-07 | 2006-06-14 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | System zum Detektieren eines Kindersitzes |
DE102012206535A1 (de) | 2011-04-21 | 2012-10-25 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | In ein fahrzeug eingebautes kinderanwesenheits- und erinnerungssystem |
DE102015119286A1 (de) | 2014-11-19 | 2016-05-19 | Ford Global Technologies, Llc | Fahrzeuginsassenklassifizierung |
DE102016010949A1 (de) | 2016-09-09 | 2017-04-13 | Daimler Ag | Verfahren zum Betrieb eines Sitzpositionseinstellsystems |
DE102015121113A1 (de) | 2015-12-04 | 2017-06-08 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum autonomen Einparken eines Kraftfahrzeugs mit Innenraumsüberwachung, Fahrerassistenzsystem sowie Kraftfahrzeug |
DE102016207376A1 (de) | 2016-04-29 | 2017-11-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von zumindest einer Position einer Person und/oder einer veränderten Position der Person oder einer weiteren Person für ein Fahrzeug und Verfahren zum Aktivieren eines Personenschutzmittels für ein Fahrzeug |
US20180136655A1 (en) * | 2016-11-11 | 2018-05-17 | Lg Electronics Inc. | Autonomous vehicle and control method thereof |
-
2018
- 2018-08-02 DE DE102018212877.4A patent/DE102018212877B4/de active Active
-
2019
- 2019-04-15 WO PCT/EP2019/059601 patent/WO2020025180A1/de active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010029416A1 (en) * | 1992-05-05 | 2001-10-11 | Breed David S. | Vehicular component control systems and methods |
EP1669251A1 (de) * | 2004-12-07 | 2006-06-14 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | System zum Detektieren eines Kindersitzes |
DE102012206535A1 (de) | 2011-04-21 | 2012-10-25 | GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) | In ein fahrzeug eingebautes kinderanwesenheits- und erinnerungssystem |
DE102015119286A1 (de) | 2014-11-19 | 2016-05-19 | Ford Global Technologies, Llc | Fahrzeuginsassenklassifizierung |
DE102015121113A1 (de) | 2015-12-04 | 2017-06-08 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum autonomen Einparken eines Kraftfahrzeugs mit Innenraumsüberwachung, Fahrerassistenzsystem sowie Kraftfahrzeug |
DE102016207376A1 (de) | 2016-04-29 | 2017-11-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von zumindest einer Position einer Person und/oder einer veränderten Position der Person oder einer weiteren Person für ein Fahrzeug und Verfahren zum Aktivieren eines Personenschutzmittels für ein Fahrzeug |
DE102016010949A1 (de) | 2016-09-09 | 2017-04-13 | Daimler Ag | Verfahren zum Betrieb eines Sitzpositionseinstellsystems |
US20180136655A1 (en) * | 2016-11-11 | 2018-05-17 | Lg Electronics Inc. | Autonomous vehicle and control method thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114771372A (zh) * | 2022-05-24 | 2022-07-22 | 浙江吉利控股集团有限公司 | 儿童座椅自动调节方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
DE102018212877A1 (de) | 2020-02-06 |
DE102018212877B4 (de) | 2020-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018212877B4 (de) | Verfahren zum Betrieb eines autonom fahrenden Kraftfahrzeugs | |
DE102011121871B3 (de) | Verfahren zur Insassengewichtsbestimmung zumindest eines Fahrzeuginsassen | |
EP1620289B1 (de) | Vorrichtung und verfahren zur kalibrierung eines bildsensors | |
EP1246741B1 (de) | Verfahren und vorrichtung zur sitzbelegungserkennung mittels videosensorik und fussraumsensorik | |
DE102016206126A1 (de) | Verfahren und Vorrichtung zum Überwachen oder Regeln einer Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug und System für eine Fahraufgabe-Übergabe in einem selbstfahrenden Fahrzeug | |
EP1536988B1 (de) | Verfahren und vorrichtung zur identifikation der art der belegung einer auflagefläche | |
DE102007046270A1 (de) | Verfahren und Vorrichtung zur automatischen Ausrichtung von Fahrzeugteilen und/oder fahrzeuginternen Funktionen bei einem Kraftfahrzeug | |
DE102018007432A1 (de) | Verfahren zum Betrieb eines Omnibusses | |
DE102021107426A1 (de) | Verfahren zum automatischen betreiben einer verriegelung in einem fahrzeug | |
WO2020058006A1 (de) | Verfahren zum klassifizieren einer fahraufgabenfremden aktivität eines fahrers hinsichtlich einer unterbrechbarkeit der fahraufgabenfremden aktivität bei einer übernahmeaufforderung der fahraufgabe und verfahren zur wiederfreigabe einer fahraufgabenfremden aktivität nach einer unterbrechung der fahraufgabenfremden aktivität aufgrund einer übernahmeaufforderung der fahraufgabe | |
DE102020117555A1 (de) | Verfahren und vorrichtung zur insassenklassifizierung | |
DE112020006871T5 (de) | Fahrgastzelleinnenraumerkennungsvorrichtung und Fahrgastzelleinnenraumerkennungsverfahren | |
WO2018046264A1 (de) | Verfahren und vorrichtung zum ermitteln einer anwesenheit wenigstens eines fahrgasts in einem fahrzeug | |
DE102016216648B4 (de) | Verfahren zum Klassifizieren eines Insassen und Bereitstellen der Insassenklassifizierung für eine Sicherheitseinrichtung in einem Kraftfahrzeug | |
DE10238222A1 (de) | Verfahren und Anordnung zur Erfassung des Belegungszustandes eines Sitzes | |
WO2020001846A1 (de) | Verfahren zum ausgeben von steuersignalen zur steuerung eines automatisierten fahrzeugs | |
DE102019113839B3 (de) | Vorrichtung und Verfahren zur Überwachung einer Fahrgastzelle | |
DE102021100895A1 (de) | Fahrzeuginsassenüberwachungsvorrichtung | |
DE102010035203A1 (de) | Vorrichtung und Verfahren zum Einstellen eines Sichtbereichs eines Fahrers in einem Fahrzeug | |
DE102017211026B4 (de) | Vorrichtung und Verfahren zur Freigabe eines automatischen Fahrbetriebs für ein Fahrzeug | |
DE102016011485B4 (de) | Verfahren zum Steuern einer Klimaanlage und Kraftfahrzeug damit | |
WO2009112211A2 (de) | Vorrichtung und verfahren zur kontrolle einer motorisierten vorrichtung | |
DE102006019720A1 (de) | Sicherheitsanordnung und ein Verfahren zum automatischen Verriegeln von Türen | |
DE102022122441B3 (de) | Kraftfahrzeug und Verfahren zum Bereitstellen einer Schutzfunktion für das Kraftfahrzeug | |
DE102022202350B4 (de) | Verfahren und Vorrichtung zur Visualisierung von Anweisungen zur Installation und korrekten Nutzung eines Kindersitzes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19718654 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19718654 Country of ref document: EP Kind code of ref document: A1 |