JP2024525153A - DEVICE AND METHOD FOR PREDICTING COLLASONS, PREDICTING INTERSECTION VIOLATIONS AND/OR DETERMINING AREAS OF INTEREST FOR OBJECT DETECTION IN CAMERA IMAGES - Patent application - Google Patents

Abstract

ヴィークル外部の環境を観察するように構成されている第１のカメラと、ヴィークルの運転者を観察するように構成されている第２のカメラと、第１のカメラから第１の画像を受信し、第２のカメラから第２の画像を受信するように構成されている処理ユニットとを含む装置。処理ユニットは、第１の画像に少なくとも部分的に基づいてヴィークルとの衝突のリスクを示す第１の情報を決定する、ように構成されている。処理ユニットは、第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定する、ように構成されている。処理ユニットは、（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている。【選択図】図１An apparatus including a first camera configured to observe an environment outside a vehicle, a second camera configured to observe a driver of the vehicle, and a processing unit configured to receive a first image from the first camera and a second image from the second camera. The processing unit is configured to determine first information indicative of a risk of collision with the vehicle based at least in part on the first image. The processing unit is configured to determine second information indicative of a state of the driver based at least in part on the second image. The processing unit is configured to determine whether to provide a control signal for operating a device based on (1) the first information indicative of a risk of collision with the vehicle and (2) the second information indicative of the state of the driver. [Selected Figure]

Description

（関連出願）
本出願は、２０２１年６月１５日に出願された米国特許出願第１７／３４８，７１５号；２０２１年６月１５日に出願された米国特許出願第１７／３４８，７２７号；および２０２１年６月１５日に出願された米国特許出願第１７／３４８，７３２号の優先権および利益を主張する。 (Related Applications)
This application claims priority to and the benefit of U.S. patent application Ser. No. 17/348,715, filed June 15, 2021; U.S. patent application Ser. No. 17/348,727, filed June 15, 2021; and U.S. patent application Ser. No. 17/348,732, filed June 15, 2021.

本分野は、ヴィークル(vehicle)の動作を支援するデバイス、より詳細には、衝突を予測する、交差点での違反を予測する、またはその両方を行うためのデバイスおよび方法に関する。 This field relates to devices that assist in the operation of a vehicle, and more particularly to devices and methods for predicting collisions, predicting violations at intersections, or both.

ヴィークル外部の道路状況の画像を取得するために、カメラが、ヴィークルで使用されて来ている。例えば、カメラは、対象ヴィークルの走行経路を監視するため、または対象ヴィークルの周囲の他のヴィークルを監視するために、対象ヴィークルに取り付けることができる。 Cameras have been used in vehicles to obtain images of road conditions outside the vehicle. For example, a camera may be mounted on a subject vehicle to monitor the path the subject vehicle is traveling or to monitor other vehicles around the subject vehicle.

カメラ画像を使用して衝突の予測および／または交差点での違反の予測を提供することは望ましいことであろう。また、予測される衝突および／または予測される交差点での違反に応じて、運転者に警告を発すること、および／またはヴィークルを自動的に動作させることも望ましいことであろう。 It would be desirable to use camera imagery to provide collision predictions and/or intersection violation predictions. It would also be desirable to provide a warning to the driver and/or automatically take action on the vehicle in response to the predicted collision and/or predicted intersection violation.

本明細書では、衝突のリスクを決定および追跡するための、および／または交差点での違反のリスクを決定および追跡するための新しい技術が、記載される。また、本明細書では、警報発生器が、運転者に衝突のリスクおよび／または交差点での違反のリスクを警告するように動作するための制御信号を提供する新しい技術も、記載される。 Described herein are new techniques for determining and tracking the risk of a collision and/or determining and tracking the risk of an intersection violation. Also described herein are new techniques for providing control signals for an alert generator to operate to alert a driver of the risk of a collision and/or the risk of an intersection violation.

装置は、ヴィークル外部の環境を観察するように構成されている第１のカメラと、前記ヴィークルの運転者を観察するように構成されている第２のカメラと、前記第１のカメラから第１の画像を受信するように構成されている処理ユニットと、前記第２のカメラからの第２の画像とを含み；前記処理ユニットが、前記第１の画像に少なくとも部分的に基づいてヴィークルとの衝突のリスクを示す第１の情報を決定する、ように構成されていて；前記処理ユニットが、前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されていて；前記処理ユニットが、（１）前記ヴィークルとの衝突のリスクを示す第１の情報と、（２）前記運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている。 The apparatus includes a first camera configured to observe an environment outside a vehicle, a second camera configured to observe a driver of the vehicle, a processing unit configured to receive a first image from the first camera, and a second image from the second camera; the processing unit is configured to determine first information indicative of a risk of collision with the vehicle based at least in part on the first image; the processing unit is configured to determine second information indicative of a state of the driver based at least in part on the second image; and the processing unit is configured to determine whether to provide a control signal for operating a device based on (1) the first information indicative of a risk of collision with the vehicle and (2) the second information indicative of the state of the driver.

オプションとして、前記処理ユニットは、前記予測される衝突の予想される発生時刻の少なくとも３秒以上前に前記衝突を予測する、ように構成されている。 Optionally, the processing unit is configured to predict the collision at least 3 seconds or more before the expected occurrence time of the predicted collision.

オプションとして、前記処理ユニットは、前記運転者の脳が入力を処理し、そして前記運転者が、前記衝突のリスクを軽減するアクションを実行するのに、十分なリードタイムで前記衝突を予測する、ように構成されている。 Optionally, the processing unit is configured to predict the collision with sufficient lead time for the driver's brain to process the inputs and for the driver to take action to mitigate the risk of the collision.

オプションとして、前記十分なリードタイムは、前記運転者の状態に依存する。 Optionally, the sufficient lead time depends on the driver's condition.

オプションとして、衝突のリスクを示す前記第１の情報が、予測される衝突を含み、前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間を決定する、ように構成されていて、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間が閾値を下回った場合に前記制御信号を提供する、ように構成されている。 Optionally, the first information indicative of a risk of collision includes a predicted collision, the processing unit is configured to determine an estimated time until the predicted collision occurs, and the processing unit is configured to provide the control signal when the estimated time until the predicted collision occurs falls below a threshold.

オプションとして、前記デバイスが、警告発生器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回った場合、前記運転者に対する警告を前記デバイスに提供させる前記制御信号を提供する、ように構成されている。 Optionally, the device includes a warning generator and the processing unit is configured to provide the control signal to cause the device to provide a warning to the driver when the estimated time until the predicted collision occurs falls below a threshold.

オプションとして、前記デバイスが、ヴィークル制御器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるための制御信号を提供する、ように構成されている。 Optionally, the device includes a vehicle controller, and the processing unit is configured to provide a control signal to the device to control the vehicle if the estimated time until the predicted collision occurs falls below a threshold.

オプションとして、前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である。 Optionally, the threshold is variable based on the second information indicative of the driver's state.

オプションとして、前記処理ユニットが、前記予測される衝突が発生するのにかかる前記推定時間の減少に対応して、前記予測される衝突が時間的に近づくに連れて、前記可変閾値に関して前記推定時間を繰り返し評価する、ように構成されている。 Optionally, the processing unit is configured to iteratively evaluate the estimated time with respect to the variable threshold as the predicted collision approaches in time, corresponding to a decrease in the estimated time it will take for the predicted collision to occur.

オプションとして、前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である。 Optionally, the threshold is variable in real time based on the driver's state.

オプションとして、前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記処理ユニットが、前記閾値を増加させる、ように構成されている。 Optionally, the processing unit is configured to increase the threshold if the driver's state indicates that the driver is distracted or not paying attention to a driving task.

オプションとして、前記予測される衝突が発生するまでにかかる前記推定時間が、前記閾値よりも長い場合、前記処理ユニットが、前記制御信号の提供を少なくとも一時的に保留する、ように構成されている。 Optionally, the processing unit is configured to at least temporarily withhold providing the control signal if the estimated time until the predicted collision occurs is greater than the threshold.

オプションとして、前記処理ユニットが、前記衝突のリスクのレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記衝突のリスクの前記決定されたレベルに基づいて前記衝突のリスクのレベルを調整する、ように構成されている。 Optionally, the processing unit is configured to determine a level of risk of the collision, and the processing unit is configured to adjust the level of risk of the collision based on the determined level of risk of the collision.

オプションとして、前記運転者の状態が注意力散漫である状態を備え、そして前記処理ユニットが、前記運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記運転者が注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている。 Optionally, the driver's state comprises a distracted state, and the processing unit is configured to determine a level of the driver's distracted state, and the processing unit is configured to adjust the threshold based on the determined level of the driver's distracted state.

オプションとして、前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値は第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値が第１の値よりも高い第２の値を有する。 Optionally, the threshold has a first value when the driver's state indicates that the driver is paying attention to a driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to a driving task.

オプションとして、前記閾値が、前記ヴィークルが、衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている。 Optionally, the threshold is also based on sensor information indicating that the vehicle is being operated to reduce the risk of a collision.

オプションとして、前記処理ユニットが、（１）前記ヴィークルとの前記衝突のリスクを示す前記第１の情報と、（２）前記運転者の状態を示す前記第２の情報と、（３) 前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報とに基づいて、制御信号を提供するか否かを決定する、ように構成されている。 Optionally, the processing unit is configured to determine whether to provide a control signal based on (1) the first information indicative of the risk of collision with the vehicle, (2) the second information indicative of the driver's state, and (3) sensor information indicating that the vehicle is being operated to reduce the risk of the collision.

オプションとして、前記装置が、第１のモデルを格納する非一時的媒体を更に備え、前記処理ユニットが、前記衝突のリスクを決定するために、前記第１のモデルに基づいて前記第１の画像を処理するように構成されている。 Optionally, the device further comprises a non-transitory medium storing a first model, and the processing unit is configured to process the first image based on the first model to determine the risk of collision.

オプションとして、前記第１のモデルが、ニューラルネットワークモデルを備える。 Optionally, the first model comprises a neural network model.

オプションとして、前記非一時的媒体が、第２のモデルを格納するように構成されていて、そして前記処理ユニットが、前記第２のモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている。 Optionally, the non-transitory medium is configured to store a second model, and the processing unit is configured to process the second image based on the second model to determine the state of the driver.

オプションとして、前記処理ユニットが、複数のそれぞれの姿勢の分類化に対してメトリック値を決定する、ように構成されていて、そして前記処理ユニットが、１つまたは複数のメトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている。 Optionally, the processing unit is configured to determine a metric value for each of a plurality of posture classifications, and the processing unit is configured to determine whether the driver is engaged in a driving task based on one or more metric values.

オプションとして、前記姿勢の分類化が、下を向いている姿勢上を向いている姿勢左を向いている姿勢右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える。 Optionally, the posture categorization comprises two or more of: looking down posture, looking up posture, looking left posture, looking right posture, posture using a mobile phone, posture smoking, posture holding an object, posture not holding the steering wheel, posture not wearing a seat belt, posture with eyes closed, posture looking ahead, posture holding the steering wheel with one hand, posture holding the steering wheel with both hands.

オプションとして、前記処理ユニットが、前記メトリック値を前記それぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている。 Optionally, the processing unit is configured to compare the metric value to a respective threshold for each of the pose classifications.

オプションとして、前記処理ユニットが、前記メトリック値の対応する１つの値が、前記閾値の対応する１つの値またはそれより大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定する、ように構成されている。 Optionally, the processing unit is configured to determine that the driver belongs to one of the posture classifications if a corresponding one of the metric values is equal to or greater than a corresponding one of the threshold values.

オプションとして、前記第１のカメラ、前記第２のカメラ、および前記処理ユニットが、前記ヴィークル用のアフターマーケットデバイスの部品として統合されている。 Optionally, the first camera, the second camera, and the processing unit are integrated as parts of an aftermarket device for the vehicle.

オプションとして、前記処理ユニットが、前記第２の画像を処理して、運転者の画像が姿勢の分類化を満たすか否かを決定することによって、前記第２の情報を決定するように構成されていて、そして前記処理ユニットが、前記運転者の画像が前記姿勢の分類化を満たしているか否かに基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている。 Optionally, the processing unit is configured to determine the second information by processing the second image to determine whether the image of the driver satisfies a posture categorization, and the processing unit is configured to determine whether the driver is engaged in a driving task based on whether the image of the driver satisfies the posture categorization.

オプションとして、前記処理ユニットが、ニューラルネットワークモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている。 Optionally, the processing unit is configured to process the second image based on a neural network model to determine the state of the driver.

オプションとして、前記処理ユニットが、前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定する、ように構成されている。 Optionally, the processing unit is configured to determine whether an object in the first image or a bounding box of the object overlaps a region of interest.

オプションとして、前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変な幾何学的形状を有する。 Optionally, the region of interest has a variable geometric shape corresponding to the shape of the road or lane on which the vehicle is traveling.

オプションとして、前記処理ユニットが、ヴィークルが走行している道路または車線の中心線を決定するように構成されていて、そして前記関心領域が前記中心線に基づく形状を有する。 Optionally, the processing unit is configured to determine a centerline of a road or lane on which the vehicle is traveling, and the region of interest has a shape based on the centerline.

オプションとして、前記処理ユニットが、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと物理的位置との間の距離を決定するように構成されていて、前記ｙ座標は、画像座標フレームに関している。 Optionally, the processing unit is configured to determine a distance between the vehicle and the physical location based on a y coordinate of the physical location in a camera image provided by the first camera, the y coordinate being relative to an image coordinate frame.

装置によって実行される方法は、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること；前記ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること；前記第１の画像に少なくとも部分的に基づいて、前記ヴィークルとの衝突のリスクを示す第１の情報を決定すること；前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定すること；（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）前記運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること、を含む。 The method performed by the apparatus includes acquiring a first image generated by a first camera configured to observe an environment outside a vehicle; acquiring a second image generated by a second camera configured to observe a driver of the vehicle; determining first information indicative of a risk of collision with the vehicle based at least in part on the first image; determining second information indicative of a state of the driver based at least in part on the second image; and determining whether to provide a control signal to operate a device based on (1) the first information indicative of a risk of collision with the vehicle and (2) the second information indicative of a state of the driver.

オプションとして、前記第１の情報が、前記衝突を予測することによって決定され、そして前記衝突が、前記予測される衝突の予想される発生時刻の少なくとも３秒以上前に予測される。 Optionally, the first information is determined by predicting the collision, and the collision is predicted at least 3 seconds or more before an expected time of occurrence of the predicted collision.

オプションとして、前記第１の情報が、前記衝突を予測することによって決定され、前記衝突が、前記運転者の脳が入力を処理し、前記運転者が前記衝突のリスクを軽減するための行動を実行するのに十分なリードタイムをもって予測される。 Optionally, the first information is determined by predicting the collision, the collision being predicted with sufficient lead time for the driver's brain to process the input and for the driver to take action to mitigate the risk of the collision.

オプションとして、前記十分なリードタイムが、前記運転者の状態に依存している。 Optionally, the sufficient lead time is dependent on the driver's status.

オプションとして、前記衝突のリスクを示す前記第１の情報が、予測される衝突を備え、前記方法が、更に、前記予測される衝突が発生するまでにかかる推定時間を決定することを備え、そして前記制御信号が、前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回った場合、前記デバイスに前記制御信号を提供させるために提供される。 Optionally, the first information indicative of the risk of the collision comprises a predicted collision, the method further comprising determining an estimated time until the predicted collision occurs, and the control signal is provided to cause the device to provide the control signal if the estimated time until the predicted collision occurs falls below a threshold.

オプションとして、前記デバイスは、警告発生器を備え、そして前記制御信号は、前記予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合、前記デバイスに前記運転者に対する警告を提供させるために提供される。 Optionally, the device includes a warning generator and the control signal is provided to cause the device to provide a warning to the driver if the estimated time until the predicted collision occurs falls below a threshold.

オプションとして、前記デバイスが、ヴィークル制御器を備え、そして前記制御信号が、予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるために提供される。 Optionally, the device includes a vehicle controller, and the control signal is provided to cause the device to control the vehicle if the estimated time until a predicted collision occurs falls below the threshold.

オプションとして、前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である。 Optionally, the threshold is variable based on the second information indicative of the driver's state.

オプションとして、前記予測される衝突が、発生するのにかかる前記推定時間の減少に応じて、前記予測される衝突が時間的に近づくに連れて、前記予測時間が、前記可変閾値に関して繰り返し評価される。 Optionally, the predicted time is repeatedly evaluated with respect to the variable threshold as the predicted collision approaches in time as the estimated time it will take for the predicted collision to occur decreases.

オプションとして、前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である。 Optionally, the threshold is variable in real time based on the driver's state.

オプションとして、前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合に、前記閾値を増加させることを更に備える。 Optionally, the method further comprises increasing the threshold if the driver's condition indicates that the driver is distracted or not paying attention to the driving task.

オプションとして、前記方法が、更に、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値よりも長い場合、前記制御信号の生成を少なくとも一時的に保留することを備える。 Optionally, the method further comprises at least temporarily suspending generation of the control signal if the estimated time until the predicted collision occurs is greater than the threshold.

オプションとして、前記衝突のリスクのレベルを決定すること、および前記決定された衝突のリスクのレベルに基づいて前記閾値を調整することを更に備える。 Optionally, the method further comprises determining a level of risk of the collision and adjusting the threshold based on the determined level of risk of the collision.

オプションとして、前記運転者の状態が注意力散漫である状態を備え、そして前記方法が、更に、前記運転者が注意力散漫である状態のレベルを決定すること、前記運転者の前記注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整することを備える。 Optionally, the driver's state comprises a distracted state, and the method further comprises determining a level of the driver's distracted state, and adjusting the threshold based on the determined level of the driver's distracted state.

オプションとして、前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が第１の値を有し、そして前記運転者の状態が、前記運転者が注意力散漫である、または前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する。 Optionally, the threshold has a first value when the driver's state indicates that the driver is paying attention to a driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to the driving task.

オプションとして、前記閾値が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている。 Optionally, the threshold is also based on sensor information indicating that the vehicle is being operated to reduce the risk of the collision.

オプションとして、前記デバイスを動作させるための制御信号を提供するか否かを決定する前記行為が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報に基づいて実行される。 Optionally, the act of determining whether to provide a control signal to operate the device is performed based on sensor information indicating that the vehicle is being operated to reduce the risk of the collision.

オプションとして、前記衝突のリスクを示す前記第１の情報を決定する前記行為が、第１のモデルに基づいて前記第１の画像を処理することを備える。 Optionally, the act of determining the first information indicative of the risk of collision comprises processing the first image based on a first model.

オプションとして、前記第１のモデルが、ニューラルネットワークモデルを備える。 Optionally, the first model comprises a neural network model.

オプションとして、前記運転者の状態を示す前記第２の情報を決定する行為が、第２のモデルに基づいて前記第２の画像を処理することを備える。 Optionally, the act of determining the second information indicative of the driver's state comprises processing the second image based on a second model.

オプションとして、前記方法が、更に、複数のそれぞれの姿勢の分類化に対してメトリック値を決定すること、および１つまたは複数の前記メトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える。 Optionally, the method further comprises determining a metric value for each of a plurality of posture classifications, and determining whether the driver is engaged in a driving task based on one or more of the metric values.

オプションとして、前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える。 Optionally, the categorization of the postures includes two or more of the following: postures looking down, postures looking up, postures looking left, postures looking right, postures using a mobile phone, postures smoking, postures holding an object, postures not holding the steering wheel, postures not wearing a seat belt, postures with eyes closed, postures looking ahead, postures holding the steering wheel with one hand, and postures holding the steering wheel with both hands.

オプションとして、前記方法が、更に、前記メトリック値を前記それぞれの前記姿勢の分類化に対するそれぞれの閾値と比較することを備える。 Optionally, the method further comprises comparing the metric value to a respective threshold value for each of the pose classifications.

オプションとして、前記方法は、更に、前記メトリック値の前記対応する１つの値が前記閾値の対応する１つの値より大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定することを備える。 Optionally, the method further comprises determining that the driver belongs to one of the posture classifications if the corresponding one of the metric values is greater than the corresponding one of the threshold values.

オプションとして、前記方法がアフターマーケットデバイスによって実行され、そして前記第１のカメラと前記第２のカメラが、前記アフターマーケットデバイスの一部として統合されている。 Optionally, the method is performed by an aftermarket device and the first camera and the second camera are integrated as part of the aftermarket device.

オプションとして、前記第２の情報が、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そして前記方法が、更に、前記姿勢の分類化を満たすか否かの前記運転者の前記画像に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える。 Optionally, the second information is determined by processing the second image to determine whether the image of the driver satisfies a posture classification, and the method further comprises determining whether the driver is engaged in a driving task based on whether the image of the driver satisfies the posture classification.

オプションとして、前記運転者の状態を示す前記第２の情報を決定する前記行為が、ニューラルネットワークモデルに基づいて前記第２の画像を処理することを備える。 Optionally, the act of determining the second information indicative of the driver's state comprises processing the second image based on a neural network model.

オプションとして、前記方法が、更に、前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定することを備える。 Optionally, the method further comprises determining whether an object in the first image or a bounding box of the object overlaps a region of interest.

オプションとして、前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変である幾何学的形状を有する。 Optionally, the region of interest has a geometric shape that is variable corresponding to the shape of the road or lane on which the vehicle is traveling.

オプションとして、前記方法は、更に、前記ヴィークルが走行している道路または車線の中心線を決定することを含み、そして前記関心領域が、前記中心線に基づく形状を有する。 Optionally, the method further includes determining a centerline of a road or lane on which the vehicle is traveling, and the region of interest has a shape based on the centerline.

オプションとして、前記方法は、更に、前記第１のカメラによって提供されるカメラ画像内の前記物理的位置のｙ座標に基づいて、前記ヴィークルと物理的位置との間の距離を決定することを備え、前記ｙ座標が、画像座標フレームに関している。 Optionally, the method further comprises determining a distance between the vehicle and the physical location based on a y-coordinate of the physical location in a camera image provided by the first camera, the y-coordinate being relative to an image coordinate frame.

他のさらなる態様および特徴は、以下の詳細な説明を読めば明らかになるであろう。 Other and further aspects and features will become apparent from the detailed description that follows.

図面は、実施形態の設計および実用性を示していて、同種の要素は共通する参照番号で参照されている。利点および目的がどのように得られるかをより良く理解するために、実施形態のより具体的な説明が、添付の図面を参照して説明される。これらの図面は、例示的な実施形態を示すのみであるので、請求項に記載される発明の範囲を限定するものとみなされるべきではないことは理解されるべきである。 The drawings illustrate the design and utility of the embodiments, with like elements being referred to by common reference numerals. For a better understanding of how advantages and objects are obtained, a more particular description of the embodiments will be described with reference to the accompanying drawings. It is to be understood that these drawings only illustrate exemplary embodiments and therefore should not be considered as limiting the scope of the invention as recited in the claims.

いくつかの実施形態による装置を示す。1 illustrates an apparatus according to some embodiments. いくつかの実施形態による図１の装置のブロック図を示す。2 shows a block diagram of the device of FIG. 1 according to some embodiments. 図２Ａの装置の処理スキームの一例を示す。2B shows an example of a processing scheme for the device of FIG. 2A. 図２の装置のカメラによって捕捉された画像の一例を示す。3 shows an example of an image captured by the camera of the device of FIG. 2. 分類器の一例を示す。1 shows an example of a classifier. いくつかの実施形態による方法を示す。1 illustrates a method according to some embodiments. 図１のカメラによって捕捉された、様々な分類子の出力である画像の一例を示す。2 shows an example of an image captured by the camera of FIG. 1 that is the output of various classifiers. 図１のカメラによって捕捉された、様々な分類子の出力である画像の一例を示す。2 shows an example of an image captured by the camera of FIG. 1 that is the output of various classifiers. 図１のカメラによって捕捉された、様々な分類子の出力である画像の一例を示す。2 shows an example of an image captured by the camera of FIG. 1 that is the output of various classifiers. 直列に結合された第１のモデルと第２のモデルを有する処理アーキテクチャの一例を示す。1 illustrates an example of a processing architecture having a first model and a second model coupled in series. 第２のモデルが受信する特徴情報の一例を示す。13 shows an example of feature information received by the second model. 第２のモデルが受信する特徴情報の他の例を示す。13 shows another example of feature information received by the second model. いくつかの実施形態に従って図２の装置によって実行される眠気を検出する方法を示す。3 illustrates a method for detecting drowsiness performed by the device of FIG. 2 according to some embodiments. 図２Ａの装置を使用して実装することができる処理アーキテクチャの一例を示す。2B illustrates an example of a processing architecture that can be implemented using the device of FIG. 2A. いくつかの実施形態によるオブジェクト検出の例を示す。1 illustrates an example of object detection according to some embodiments. オブジェクト識別子の別の例を示し、特に各オブジェクト識別子が、先行ヴィークルを表すボックスであることを示している。Another example of object identifiers is shown, specifically showing that each object identifier is a box representing a leading vehicle. オブジェクト識別子の別の例を示し、特に各オブジェクト識別子が、水平線であることを示している。2 illustrates another example of object identifiers, specifically showing that each object identifier is a horizontal line. いくつかの実施形態による先行ヴィークル検出の一例を示す。1 illustrates an example of leading vehicle detection according to some embodiments. 中心線検出に基づいて関心領域を決定する技術を示す。1 illustrates a technique for determining a region of interest based on centerline detection. 衝突のリスクのあるオブジェクトを検出する、図１５Ｄの関心領域を使用する利点を示す。15D illustrates the advantage of using the region of interest of FIG. 15D to detect objects at risk of collision. 先行ヴィークルとの衝突に関する３つの例示的なシナリオを示す。Three exemplary scenarios for a collision with a leading vehicle are shown. 検出されるオブジェクトが人間であるオブジェクト検出の別の例を示す。4 shows another example of object detection where the object to be detected is a human. 人の移動の予測の例を示す。An example of predicting people's movements is shown. 検出されるオブジェクトが交差点に関連付けられているオブジェクト検出の他の例を示す。4 illustrates another example of object detection where the detected object is associated with an intersection. 検出されるオブジェクトが交差点に関連付けられているオブジェクト検出の他の例を示す。4 illustrates another example of object detection where the detected object is associated with an intersection. 制動距離の概念を示す。Illustrates the concept of braking distance. 対象ヴィークルとヴィークル前方位置との距離を決定する技術を示す。A technique for determining the distance between a target vehicle and a position in front of the vehicle is presented. ヴィークルを制御するため、および／または運転者への警告を発生させるための制御信号を生成する技術の一例を示す。1 illustrates an example technique for generating control signals to control a vehicle and/or generate warnings for a driver. いくつかの実施形態による衝突予測が含まれる方法を示す。1 illustrates a method involving collision prediction according to some embodiments. いくつかの実施形態による交差点での違反の予測を伴う方法を示す。1 illustrates a method involving predicting violations at an intersection according to some embodiments. いくつかの実施形態による図２Ａの装置によって使用されるモデルを決定する技術を示す。2B illustrates a technique for determining a model used by the apparatus of FIG. 2A according to some embodiments. 本明細書で説明される１つまたは複数の電子デバイスを実装するための特殊な処理システムを示す。1 illustrates a specialized processing system for implementing one or more of the electronic devices described herein.

以下、図面を参照して様々な実施形態を説明する。図面は、一定の縮尺で描かれていることもあればそうでないこともあり、そして同種の構造または機能の要素は、図面全体を通じて同様の参照番号で表されていることに留意されたい。また、図は、実施形態の説明を容易にすることだけを目的としていることに留意されたい。これらは、特許請求の範囲に記載された発明の網羅的な説明、または特許請求の範囲に記載された発明の範囲を限定することを意図していない。更に、図示された実施形態が、図示された本発明の全ての態様または利点を有する必要はない。特定の実施形態に関連して説明される態様または利点は、必ずしもその実施形態に限定されるわけではなく、例え図示されていなくても、または明示的に説明されていなくても、他の実施形態においても実施させることができる。 Various embodiments will now be described with reference to the drawings. It should be noted that the drawings may or may not be drawn to scale, and that elements of similar structure or function are represented by similar reference numerals throughout the drawings. It should also be noted that the figures are intended only to facilitate the description of the embodiments. They are not intended to be an exhaustive description of the claimed invention, or to limit the scope of the claimed invention. Furthermore, the illustrated embodiment need not have all aspects or advantages of the invention illustrated. Aspects or advantages described in connection with a particular embodiment are not necessarily limited to that embodiment, and may be implemented in other embodiments, even if not illustrated or explicitly described.

図１は、いくつかの実施形態による装置２００を示す。装置２００は、ヴィークルのフロントガラス、ヴィークルのバックミラー等に取り付けられる、ように構成されている。装置２００は、ヴィークル外部を見るように構成されている第１のカメラ２０２と、ヴィークルの車室内を見るように構成されている第２のカメラ２０４とを含む。図示の実施形態では、装置２００は、ヴィークルに取り付けることができるアフターマーケットデバイス（すなわち、ヴィークルの製造プロセスからオフラインのデバイス）の形態にある。装置２００は、装置２００をヴィークルに結合させるように構成されているコネクタを含むことができる。非限定的な例として、コネクタは、吸盤、接着剤、クランプ、１つまたは複数のネジ等とすることができる。コネクタは、装置２００をヴィークルに取り外し可能に固定するように構成することもできる。この場合、装置２００は、必要に応じて、ヴィークルから選択的に取り外す、および／またはヴィークルに結合させることができる。これに代えて、コネクタは、装置２００をヴィークルに永久的に固定するように構成することもできる。他の実施形態では、装置２００は、ヴィークルの製造プロセス中に取り付けられるヴィークルの構成要素とすることができる。装置２００は、この例に示された構成を有することに限定されず、そして他の実施形態では、装置２００が他の構成を有することができることに留意されたい。例えば、他の実施形態では、装置２００は、異なるフォームファクタを有することができる。他の実施形態では、装置２００は、１つまたは複数のカメラを有する携帯電話、タブレットの様なエンドユーザデバイスとすることができる。 FIG. 1 illustrates an apparatus 200 according to some embodiments. The apparatus 200 is configured to be mounted on a vehicle windshield, a vehicle rearview mirror, or the like. The apparatus 200 includes a first camera 202 configured to view the exterior of the vehicle and a second camera 204 configured to view the interior of the vehicle. In the illustrated embodiment, the apparatus 200 is in the form of an aftermarket device (i.e., a device offline from the manufacturing process of the vehicle) that can be mounted to the vehicle. The apparatus 200 can include a connector configured to couple the apparatus 200 to the vehicle. By way of non-limiting example, the connector can be a suction cup, adhesive, a clamp, one or more screws, or the like. The connector can also be configured to removably secure the apparatus 200 to the vehicle. In this case, the apparatus 200 can be selectively removed from and/or coupled to the vehicle as needed. Alternatively, the connector can be configured to permanently secure the apparatus 200 to the vehicle. In other embodiments, device 200 can be a component of a vehicle that is installed during the manufacturing process of the vehicle. It should be noted that device 200 is not limited to having the configuration shown in this example, and in other embodiments, device 200 can have other configurations. For example, in other embodiments, device 200 can have a different form factor. In other embodiments, device 200 can be an end user device, such as a cell phone, tablet, etc., with one or more cameras.

図２Ａは、いくつかの実施形態による図１の装置２００のブロック図を示す。装置２００は、第１のカメラ２０２および第２のカメラ２０４を含む。図示されるように、装置２００は、また、第１のカメラ２０２および第２のカメラ２０４に結合された処理ユニット２１０、データを格納するように構成されている非一時的媒体２３０、処理ユニット２１０に接続された通信ユニット２４０、および処理ユニット２１０に接続されたスピーカ２５０も含む。 FIG. 2A illustrates a block diagram of the device 200 of FIG. 1 in accordance with some embodiments. The device 200 includes a first camera 202 and a second camera 204. As illustrated, the device 200 also includes a processing unit 210 coupled to the first camera 202 and the second camera 204, a non-transitory medium 230 configured to store data, a communication unit 240 connected to the processing unit 210, and a speaker 250 connected to the processing unit 210.

図示された実施形態では、第１のカメラ２０２、第２のカメラ２０４、処理ユニット２１０、非一時的媒体２３０、通信ユニット２４０、およびスピーカ２５０は、ヴィークルのアフターマーケットデバイスの一部として統合させることができる。他の実施形態では、第１のカメラ２０２、第２のカメラ２０４、処理ユニット２１０、非一時的媒体２３０、通信ユニット２４０、およびスピーカ２５０は、ヴィークルに一体化させることができ、そしてヴィークルの製造工程中にヴィークルに取り付けることができる。 In the illustrated embodiment, the first camera 202, the second camera 204, the processing unit 210, the non-transitory medium 230, the communication unit 240, and the speaker 250 can be integrated as part of an aftermarket device of the vehicle. In other embodiments, the first camera 202, the second camera 204, the processing unit 210, the non-transitory medium 230, the communication unit 240, and the speaker 250 can be integrated into the vehicle and installed in the vehicle during the manufacturing process of the vehicle.

処理ユニット２１０は、第１のカメラ２０２からの画像と第２のカメラ２０４からの画像を取得し、そして第１および第２のカメラ２０２、２０４からの画像を処理する、ように構成されている。いくつかの実施形態では、第１のカメラ２０２からの画像は、ヴィークルの外部の環境を監視するために（例えば、衝突検出、衝突防止、運転環境監視等のために）処理ユニット２１０によって処理させることができる。また、いくつかの実施形態では、第２のカメラ２０４からの画像は、運転者の運転行動（例えば、運転者が、注意力散漫である、眠気を催している、集中しているか等）を監視するために、処理ユニット２１０によって処理させることができる。さらなる実施形態では、処理ユニット２１０は、第１のカメラ２０２および／または第２のカメラ２０４からの画像を処理して、衝突のリスクを決定し、衝突を予測し、運転者に警告を提供する等をすることができる。他の実施形態では、装置２００は、第１のカメラ２０を含まなくてもよい。このような場合、装置２００は、ヴィークルの車室内の環境のみを監視する、ように構成されている。 The processing unit 210 is configured to acquire images from the first camera 202 and images from the second camera 204, and process the images from the first and second cameras 202, 204. In some embodiments, the images from the first camera 202 can be processed by the processing unit 210 to monitor the environment outside the vehicle (e.g., for collision detection, collision avoidance, driving environment monitoring, etc.). Also, in some embodiments, the images from the second camera 204 can be processed by the processing unit 210 to monitor the driver's driving behavior (e.g., whether the driver is distracted, drowsy, focused, etc.). In further embodiments, the processing unit 210 can process images from the first camera 202 and/or the second camera 204 to determine a risk of collision, predict a collision, provide a warning to the driver, etc. In other embodiments, the device 200 may not include the first camera 20. In such a case, the device 200 is configured to monitor only the environment inside the vehicle's cabin.

装置２００の処理ユニット２１０は、ハードウェア、ソフトウェア、または両方の組み合わせを含むことができる。非限定的な例として、処理ユニット２１０のハードウェアは、１つまたは複数のプロセッサおよび／または複数の集積回路を含むことができる。いくつかの実施形態では、処理ユニット２１０は、モジュールとして実装することができ、および／または任意の集積回路の一部とすることができる。 The processing unit 210 of the device 200 may include hardware, software, or a combination of both. As a non-limiting example, the hardware of the processing unit 210 may include one or more processors and/or multiple integrated circuits. In some embodiments, the processing unit 210 may be implemented as a module and/or may be part of any integrated circuit.

非一時的媒体２３０は、処理ユニット２１０の動作に関連するデータを格納する、ように構成されている。図示の実施形態では、非一時的媒体２３０は、処理ユニット２１０が、カメラ２０４からの画像に現れる運転者の姿勢を識別するため、および／または運転者が運転タスクに従事しているか否かを決定するためにアクセスして使用することができるモデルを格納する、ように構成されている。これに代えて、モデルが、運転者の姿勢を識別し、および／または運転者が運転タスクに従事しているか否かを決定する機能を有するように、処理ユニット２１０を構成することもできる。オプションとして、非一時的媒体２３０は、第１のカメラ２０２からの画像および／または第２のカメラ２０４からの画像を保存するように構成することもできる。また、いくつかの実施形態では、非一時的媒体２３０は、処理ユニット２１０によって生成されたデータを保存するように構成することもできる。 The non-transitory medium 230 is configured to store data related to the operation of the processing unit 210. In the illustrated embodiment, the non-transitory medium 230 is configured to store a model that the processing unit 210 can access and use to identify the driver's posture appearing in the images from the camera 204 and/or to determine whether the driver is engaged in the driving task. Alternatively, the processing unit 210 can be configured such that the model has the capability to identify the driver's posture and/or determine whether the driver is engaged in the driving task. Optionally, the non-transitory medium 230 can also be configured to store images from the first camera 202 and/or images from the second camera 204. In some embodiments, the non-transitory medium 230 can also be configured to store data generated by the processing unit 210.

一時的媒体２３０に格納されるモデルは、ニューラルネットワークモデルを含むが、これに限定されない、任意の計算モデルまたは処理モデルとすることができる。いくつかの実施形態では、モデルは、特徴抽出パラメータを含むことができる。処理ユニット２１０は、これに基づいて、運転者の頭、帽子、顔、鼻、モービルデバイスの様なオブジェクトを識別するために、カメラ２０４によって提供される画像から特徴を抽出することが出来る。また、いくつかの実施形態では、モデルは、プログラム命令、コマンド、スクリプト等を含むことができる。一実装形態では、モデルは、装置２００が無線で受信することが出来るアプリケーションの形式とすることができる。 The model stored in the temporary medium 230 can be any computational or processing model, including but not limited to a neural network model. In some embodiments, the model can include feature extraction parameters based on which the processing unit 210 can extract features from the images provided by the camera 204 to identify objects such as the driver's head, hat, face, nose, mobile device, etc. In some embodiments, the model can also include program instructions, commands, scripts, etc. In one implementation, the model can be in the form of an application that can be wirelessly received by the device 200.

装置２００の通信ユニット２４０は、クラウド、インターネット、ブルートゥースネットワークの様なネットワークから無線でデータを受信する、ように構成されている。いくつかの実施形態では、通信ユニット２４０は、また、無線でデータを送信するように構成することもできる。例えば、第１のカメラ２０２からの画像、第２のカメラ２０４からの画像、処理ユニットによって生成されたデータ、またはこれらの任意の組み合わせは、通信ユニット２４０によって別のデバイス（例えば、サーバ、アクセサリデバイス）に送信させることができる。いくつかの実施形態では、通信ユニット２４０は、１つまたは複数のアンテナを含むことができる。例えば、通信ユニット２４０は、長距離通信を提供するように構成されている第１のアンテナと、（ブルートゥースを介する様な）近距離通信を提供するように構成されている第２のアンテナとを含むことができる。他の実施形態では、通信ユニット２４０は、ケーブルまたは電気接点を介して物理的にデータを送信および／または受信するように構成することができる。このような場合、通信ユニット２４０は、データ送信装置と結合するように構成されている１つ以上の通信コネクタを含むことができる。例えば、通信ユニット２４０は、ケーブルと結合するように構成されているコネクタ、ＵＳＢドライブを受け入れるように構成されているＵＳＢスロット、メモリカードを受け入れるように構成されているメモリカードスロット等を含むことができる。 The communication unit 240 of the device 200 is configured to receive data wirelessly from a network, such as the cloud, the Internet, or a Bluetooth network. In some embodiments, the communication unit 240 can also be configured to transmit data wirelessly. For example, images from the first camera 202, images from the second camera 204, data generated by the processing unit, or any combination thereof, can be transmitted by the communication unit 240 to another device (e.g., a server, an accessory device). In some embodiments, the communication unit 240 can include one or more antennas. For example, the communication unit 240 can include a first antenna configured to provide long-range communication and a second antenna configured to provide short-range communication (such as via Bluetooth). In other embodiments, the communication unit 240 can be configured to physically transmit and/or receive data via a cable or electrical contacts. In such cases, the communication unit 240 can include one or more communication connectors configured to couple with a data transmission device. For example, the communication unit 240 may include a connector configured to mate with a cable, a USB slot configured to receive a USB drive, a memory card slot configured to receive a memory card, etc.

装置２００のスピーカ２５０は、ヴィークルの運転者に音声警告および／またはメッセージを提供する、ように構成されている。例えば、いくつかの実施形態では、処理ユニット２１０は、ヴィークルとヴィークル外部のオブジェクトとの間の差し迫った衝突を検出するように構成することができる。このような場合、差し迫った衝突の検出に応答して、処理ユニット２１０は、スピーカ２５０に音声警告および／またはメッセージを出力させるための制御信号を生成することができる。別の例として、いくつかの実施形態では、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを決定するように構成することができる。運転者が、運転タスクに従事していない場合、または所定の期間（例えば、２秒、３秒、４秒、５秒等）運転タスクに従事していない場合、処理ユニット２１０は、スピーカ２５０に、音声警告および／またはメッセージを出力させる制御信号を生成することができる。 The speaker 250 of the device 200 is configured to provide an audio warning and/or message to the driver of the vehicle. For example, in some embodiments, the processing unit 210 can be configured to detect an imminent collision between the vehicle and an object external to the vehicle. In such a case, in response to detecting the imminent collision, the processing unit 210 can generate a control signal to cause the speaker 250 to output an audio warning and/or message. As another example, in some embodiments, the processing unit 210 can be configured to determine whether the driver is engaged in a driving task. If the driver is not engaged in a driving task or has not been engaged in a driving task for a predetermined period of time (e.g., 2 seconds, 3 seconds, 4 seconds, 5 seconds, etc.), the processing unit 210 can generate a control signal to cause the speaker 250 to output an audio warning and/or message.

装置２００は、第１のカメラ２０２および第２のカメラ２０４を有するものとして説明されているが、他の実施形態では、装置２００は、第１のカメラ２０２ではなく、第２のカメラ（キャビンカメラ）２０４のみを含むことができる。他の実施形態では、装置２００は、ヴィークル内部の客室を観察するように構成されている複数のカメラを含むことができる。 Although the device 200 is described as having a first camera 202 and a second camera 204, in other embodiments, the device 200 may include only the second camera (cabin camera) 204, rather than the first camera 202. In other embodiments, the device 200 may include multiple cameras configured to view a passenger compartment inside the vehicle.

図２Ａに示されるように、処理ユニット２１０は、運転者監視モジュール２１１、オブジェクト検出器２１６、衝突予測器２１８、交差点での違反予測器２２２および信号生成制御器も含む。運転者監視モジュール２１１は、第２のカメラ２０４によって提供される１つまたは複数の画像に基づいてヴィークルの運転者を監視する、ように構成されている。いくつかの実施形態では、運転者監視モジュール２１１は、運転者の１つ以上の姿勢を決定する、ように構成されている。また、いくつかの実施形態では、運転者監視モジュール２１１は、運転者が覚醒している、眠気を催している、運転タスクに注意を払っている様な、運転者の状態を決定する、ように構成することができる。場合によっては、運転者自体の姿勢を、運転者の状態と考えることもできる。 2A, the processing unit 210 also includes a driver monitoring module 211, an object detector 216, a collision predictor 218, an intersection violation predictor 222, and a signal generation controller. The driver monitoring module 211 is configured to monitor the driver of the vehicle based on one or more images provided by the second camera 204. In some embodiments, the driver monitoring module 211 is configured to determine one or more postures of the driver. In some embodiments, the driver monitoring module 211 can also be configured to determine a state of the driver, such as whether the driver is awake, drowsy, or attentive to the driving task. In some cases, the posture of the driver itself can also be considered as a state of the driver.

オブジェクト検出器２１６は、第１のカメラ２０２によって提供される１つまたは複数の画像に基づいて、ヴィークル外部の環境にある１つまたは複数のオブジェクトを検出する、ように構成されている。非限定的な例では、検出されるオブジェクトは、ヴィークル（例：自動車、オートバイ等）、車線の境界線、人間、自転車、動物、道路標識（例：一時停止標識、道路標識、方向転換禁止標識等）、信号機、道路標示（例：停止線、車線分割線、道路に描かれた文字等）等である。いくつかの実施形態では、検出されるヴィークルは、対象ヴィークルと同じ車線内を走行中の対象ヴィークルの前方のヴィークルである先行ヴィークルとすることができる。 The object detector 216 is configured to detect one or more objects in an environment outside the vehicle based on one or more images provided by the first camera 202. In non-limiting examples, the detected objects may be vehicles (e.g., automobiles, motorcycles, etc.), lane lines, humans, bicycles, animals, road signs (e.g., stop signs, road signs, no turn signs, etc.), traffic lights, road markings (e.g., stop lines, lane dividers, road markings, etc.), etc. In some embodiments, the detected vehicle may be a leading vehicle, which is a vehicle ahead of the target vehicle traveling in the same lane as the target vehicle.

衝突予測器２１８は、オブジェクト検出器２１６からの出力に基づいて衝突のリスクを決定する、ように構成されている。例えば、いくつかの実施形態では、衝突予測器２１８は、先行ヴィークルとの衝突のリスクがあると決定し、そして衝突のリスクを示す情報を出力することができる。いくつかの実施形態では、衝突予測器２１８は、ヴィークルの速度、ヴィークルの加速度、ヴィークルのターン角度、ヴィークルのターン方向、ヴィークルのターン方向、ヴィークルのブレーキ、ヴィークルの進行方向、またはこれらの組み合わせの様なヴィークルの状態を示すセンサ情報をオプションで取得することもできる。このような場合、衝突予測器２１８は、オブジェクト検出器２１６からの出力に基づいて、そして取得されたセンサ情報にも基づいて、衝突のリスクを決定する、ように構成することができる。また、いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルとオブジェクト（例：先行ヴィークル）との間の相対速度を決定し、そして決定された相対速度に基づいて衝突のリスクがあると決定する、ように構成することができる。いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルの速度、移動オブジェクトの速度、対象ヴィークルの走行経路、および移動オブジェクトの走行経路を決定し、そしてこれらのパラメータに基づいて衝突のリスクが存在すると決定する、ように構成することができる。例えば、オブジェクトが、対象ヴィークルの進路と交差する経路に沿って移動していて、そしてそれぞれの速度に基づいてオブジェクトと対象ヴィークルが衝突するまでにかかる時間が、時間閾値より短い場合、衝突予測器２１８は、衝突のリスクがあると決定することができる。対象ヴィークルと衝突する可能性のあるオブジェクトは、移動オブジェクト（例：自動車、オートバイ、自転車、歩行者、動物等）に限定されず、そして衝突予測器２１８は、駐車中の車、道路標識、電柱、建物、樹木、郵便ポスト等の様な動かないオブジェクトと衝突するリスクの決定を行うように構成することができることに留意されたい。 The collision predictor 218 is configured to determine a risk of collision based on the output from the object detector 216. For example, in some embodiments, the collision predictor 218 can determine that there is a risk of collision with a leading vehicle and output information indicative of the risk of collision. In some embodiments, the collision predictor 218 can also optionally obtain sensor information indicative of a state of the vehicle, such as vehicle speed, vehicle acceleration, vehicle turn angle, vehicle turn direction, vehicle brakes, vehicle heading, or a combination thereof. In such a case, the collision predictor 218 can be configured to determine a risk of collision based on the output from the object detector 216 and also based on the obtained sensor information. Also, in some embodiments, the collision predictor 218 can be configured to determine a relative velocity between the target vehicle and an object (e.g., a leading vehicle) and determine that there is a risk of collision based on the determined relative velocity. In some embodiments, the collision predictor 218 can be configured to determine the speed of the target vehicle, the speed of the moving object, the travel path of the target vehicle, and the travel path of the moving object, and determine that a risk of collision exists based on these parameters. For example, if an object is moving along a path that intersects with the path of the target vehicle, and the time it takes for the object and the target vehicle to collide based on their respective speeds is less than a time threshold, the collision predictor 218 can determine that there is a risk of collision. It should be noted that objects that may collide with the target vehicle are not limited to moving objects (e.g., automobiles, motorcycles, bicycles, pedestrians, animals, etc.), and the collision predictor 218 can be configured to make a determination of the risk of collision with non-moving objects such as parked cars, road signs, utility poles, buildings, trees, mailboxes, etc.

いくつかの実施形態では、衝突予測器２１８は、予測される衝突が発生するまでにかかる時間を決定し、そしてその時間を閾値時間と比較する、ように構成することができる。この時間が閾値時間より短い場合、衝突予測器２１８は、対象ヴィークルと衝突するリスクがあると決定することができる。いくつかの実施形態では、衝突のリスクを特定するための閾値時間は、少なくとも：２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０秒、またはそれ以上とすることできる。いくつかの実施形態では、衝突を予測するとき、衝突予測器２１８は、対象ヴィークルの速度、加速度、進行方向、ブレーキ動作、またはこれらの任意の組み合わせを考慮することができる。オプションとして、衝突予測器２１８は、ヴィークルと衝突すると予測される検出されたオブジェクトの速度、加速度、進行方向、またはこれらの任意の組み合わせを考慮することもできる。 In some embodiments, the collision predictor 218 can be configured to determine the time it will take for a predicted collision to occur and compare the time to a threshold time. If the time is less than the threshold time, the collision predictor 218 can determine that there is a risk of collision with the target vehicle. In some embodiments, the threshold time for identifying a risk of collision can be at least: 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20 seconds, or more. In some embodiments, when predicting a collision, the collision predictor 218 can consider the speed, acceleration, heading, braking, or any combination thereof, of the target vehicle. Optionally, the collision predictor 218 can also consider the speed, acceleration, heading, or any combination thereof of a detected object that is predicted to collide with the vehicle.

交差点での違反予測器２２２は、オブジェクト検出器２１６からの出力に基づいて交差点での違反のリスクを決定する、ように構成されている。例えば、いくつかの実施形態では、交差点での違反予測器２２２は、対象ヴィークルが、一時停止標識または赤信号が関係する目標エリアで一時停止することができないリスクを決定することができ、そしてこのような交差点での違反のリスクを示す情報を出力する。いくつかの実施形態では、交差点での違反予測器２２２は、ヴィークルの速度、ヴィークルの加速度、ヴィークルのターン角、ヴィークルのターン方向、ヴィークルの制動、またはこれらの任意の組み合わせの様なヴィークルの状態を示すセンサ情報をオプションで取得することもできる。このような場合、交差点での違反予測器２２２は、オブジェクト検出器２１６からの出力に基づいて、そして取得されたセンサ情報にも基づいて、交差点での違反のリスクを決定するように構成することができる。 The intersection violation predictor 222 is configured to determine a risk of an intersection violation based on the output from the object detector 216. For example, in some embodiments, the intersection violation predictor 222 can determine a risk of the target vehicle failing to stop at a target area involving a stop sign or a red light, and output information indicative of such a risk of intersection violation. In some embodiments, the intersection violation predictor 222 can also optionally obtain sensor information indicative of a vehicle state, such as vehicle speed, vehicle acceleration, vehicle turn angle, vehicle turn direction, vehicle braking, or any combination thereof. In such a case, the intersection violation predictor 222 can be configured to determine a risk of an intersection violation based on the output from the object detector 216 and also based on the obtained sensor information.

また、いくつかの実施形態では、交差点での違反予測器２２２は、対象ヴィークルが停止すると予想される目標エリア（例：停止線）を決定し、対象ヴィークルと目標エリアとの間の距離を決定し、そして距離を閾値距離と比較する、ように構成することができる。距離が閾値距離未満である場合、交差点での違反予測器２２２は、交差点での違反のリスクがあると決定することができる。 Also, in some embodiments, the intersection violation predictor 222 can be configured to determine a target area (e.g., a stop line) where the subject vehicle is expected to stop, determine a distance between the subject vehicle and the target area, and compare the distance to a threshold distance. If the distance is less than the threshold distance, the intersection violation predictor 222 can determine that there is a risk of an intersection violation.

他の実施形態では、交差点での違反予測器２２２は、対象ヴィークルが停止すると予想される目標エリア（例：停止線）を決定し、ヴィークルが目標に到達するのにかかる時間を決定し、そしてこの時間を閾値時間と比較するように構成することができる。この時間が閾値時間より短い場合、交差点での違反予測器２２２は、交差点での違反のリスクがあると決定することができる。いくつかの実施形態では、交差点での違反のリスクを特定するための閾値時間は、少なくとも：２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、２８、１９、２０秒以上とすることができる。いくつかの実施形態では、交差点での違反を予測する際、交差点での違反予測器２２２は、対象ヴィークルの速度、加速度、進行方向、ブレーキ動作、またはこれらの任意の組み合わせを考慮することができる。 In other embodiments, the intersection violation predictor 222 can be configured to determine a target area (e.g., a stop line) where the subject vehicle is expected to stop, determine the time it takes for the vehicle to reach the target, and compare this time to a threshold time. If this time is less than the threshold time, the intersection violation predictor 222 can determine that there is a risk of an intersection violation. In some embodiments, the threshold time for identifying a risk of an intersection violation can be at least: 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 28, 19, 20 seconds or more. In some embodiments, when predicting an intersection violation, the intersection violation predictor 222 can consider the speed, acceleration, direction of travel, braking, or any combination thereof, of the subject vehicle.

交差点での違反は一時停止標識および赤信号の違反に限定されず、そして交差点での違反予測器２２２は、ヴィークルが道路を逆方向に進入する、ヴィークルが「ターンすることが赤信号」である交差点をターンする等の様な他の交差点での違反のリスクを決定するように構成することができることに留意されたい。 Note that intersection violations are not limited to stop sign and red light violations, and the intersection violation predictor 222 can be configured to determine the risk of other intersection violations, such as a vehicle entering a roadway in the wrong direction, a vehicle turning at a "red to turn" intersection, etc.

いくつかの実施形態では、信号生成制御器２２４は、衝突予測器２１８からの出力および運転者監視モジュールからの出力に基づいて、制御信号を生成するか否かを決定する、ように構成されている。これに代えてまたは加えて、信号生成制御器２２４は、交差点での違反予測器２２２からの出力に基づいて、そしてオプションとして運転者監視モジュールからの出力にも基づいて、制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、信号生成制御器２２４は、ヴィークルの１つまたは複数のセンサによって提供されるセンサ情報にも基づいて、制御信号を生成するか否かを決定する、ように構成されている。 In some embodiments, the signal generation controller 224 is configured to determine whether to generate a control signal based on the output from the collision predictor 218 and the output from the driver monitoring module. Alternatively or additionally, the signal generation controller 224 is configured to determine whether to generate a control signal based on the output from the intersection violation predictor 222, and optionally also based on the output from the driver monitoring module. In some embodiments, the signal generation controller 224 is configured to determine whether to generate a control signal based on sensor information provided by one or more sensors of the vehicle.

いくつかの実施形態では、制御信号は、予測される衝突が発生するまでにかかる推定時間が閾値（動作閾値）を下回る場合に、デバイス（例：警告発生器）が運転者に警告を発する、ように構成されている。例えば、警告発生器は、運転者に警告するために、音声信号、視覚信号、機械的振動（ステアリングホイールの震動）、またはこれらの任意の組み合わせを出力することができる。これに代えてまたは加えて、制御信号は、予測される衝突が発生するまでにかかる推定時間が閾値（動作閾値）を下回る場合、デバイス（例：ヴィークル制御器）に、ヴィークルを制御させる、ように構成されている。例えば、ヴィークル制御器は、ヴィークルのブレーキを自動的に掛けたり、アクセルペダルを自動的に解除したり、ハザードランプを自動的に動作させたり、またはこれらの任意の組み合わせを行うことができる。いくつかの実施形態では、信号生成制御器２２４は、運転者に警告を与える第１の制御信号を提供する、ように構成することができる。運転者が衝突のリスクを軽減するための行動をとらない場合、信号生成制御器２２４は、ヴィークル制御器に、ヴィークルのブレーキを自動的にかける様に、ヴィークルを制御させる第２の制御信号を提供することができる。 In some embodiments, the control signal is configured to cause a device (e.g., a warning generator) to issue a warning to the driver if the estimated time until the predicted collision occurs falls below a threshold (operation threshold). For example, the warning generator can output an audio signal, a visual signal, a mechanical vibration (steering wheel vibration), or any combination thereof, to warn the driver. Alternatively or additionally, the control signal is configured to cause a device (e.g., a vehicle controller) to control the vehicle if the estimated time until the predicted collision occurs falls below a threshold (operation threshold). For example, the vehicle controller can automatically apply the vehicle brakes, automatically release the accelerator pedal, automatically activate the hazard lights, or any combination thereof. In some embodiments, the signal generation controller 224 can be configured to provide a first control signal to warn the driver. If the driver does not take action to mitigate the risk of the collision, the signal generation controller 224 can provide a second control signal to cause the vehicle controller to control the vehicle to automatically apply the vehicle brakes.

いくつかの実施形態では、信号生成制御器２２４は、衝突予測器２１８および交差点での違反予測器２２２とは別個のコンポーネント（例：モジュール）とすることができる。他の実施形態では、信号生成制御器２２４または信号生成制御器２２４の少なくとも一部は、衝突予測器２１８および／または交差点での違反予測器２２２の一部として実装することができる。また、いくつかの実施形態では、衝突予測器２１８および交差点での違反予測器２２２は、一体に統合することができる。 In some embodiments, the signal generation controller 224 may be a separate component (e.g., module) from the collision predictor 218 and the intersection violation predictor 222. In other embodiments, the signal generation controller 224 or at least a portion of the signal generation controller 224 may be implemented as part of the collision predictor 218 and/or the intersection violation predictor 222. Also, in some embodiments, the collision predictor 218 and the intersection violation predictor 222 may be integrated together.

使用中、装置２００は、第１のカメラ２０２がヴィークル外部を観察し、そして第２のカメラ２０４がヴィークル内の運転者を観察するように、ヴィークルに結合されている。運転者がヴィークルを動作させている間、第１のカメラ２０２は車外の画像を撮影し、そして第２のカメラ２０４はヴィークル内部の画像を捕捉する。図２Ｂは、装置２００の処理スキームの一例を示す。図示されるように、装置２００の使用中、第２のカメラ２０４は、運転者監視モジュール２１１への入力画像を提供する。運転者監視モジュール２１１は、画像を分析して、対象ヴィークルの運転者の１つまたは複数の姿勢を決定する。非限定的な例として、１つまたは複数の姿勢は、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を含むことができる。いくつかの実施形態では、運転者監視モジュール２１１は、決定された運転者の姿勢に基づいて運転者の１つまたは複数の状態を決定する、ように構成することができる。例えば、運転者監視モジュール２１１は、運転者の決定された１つ以上の姿勢に基づいて、運転者が注意力散漫であるか否かを決定することができる。別の例として、運転者監視モジュール２１１は、運転者の決定された１つ以上の姿勢に基づいて、運転者が眠気を催しているか否かを決定することができる。いくつかの実施形態では、運転者が特定の姿勢（例：携帯電話を使用している姿勢）をしている場合、運転者監視モジュール２１１は、運転者が注意力散漫であると決定することができる。また、いくつかの実施形態では、運転者監視モジュール２１１は、一定期間に渡る運転者の姿勢の分類化のシーケンスを分析して、運転者が眠気を催しているか否かを決定することができる。 In use, the device 200 is coupled to a vehicle such that the first camera 202 observes the exterior of the vehicle and the second camera 204 observes the driver within the vehicle. While the driver is operating the vehicle, the first camera 202 takes images of the exterior and the second camera 204 captures images of the interior of the vehicle. FIG. 2B illustrates an example of a processing scheme for the device 200. As shown, during use of the device 200, the second camera 204 provides input images to a driver monitoring module 211. The driver monitoring module 211 analyzes the images to determine one or more postures of the driver of the subject vehicle. As a non-limiting example, the one or more postures may include two or more of a posture of looking down, a posture of looking up, a posture of looking left, a posture of looking right, a posture of using a mobile phone, a posture of smoking, a posture of holding an object, a posture of not holding a steering wheel, a posture of not wearing a seat belt, a posture of eyes closed, a posture of looking ahead, a posture of holding a steering wheel with one hand, and a posture of holding a steering wheel with both hands. In some embodiments, the driver monitoring module 211 may be configured to determine one or more states of the driver based on the determined posture of the driver. For example, the driver monitoring module 211 may determine whether the driver is distracted based on the determined one or more postures of the driver. As another example, the driver monitoring module 211 may determine whether the driver is drowsy based on the determined one or more postures of the driver. In some embodiments, the driver monitoring module 211 may determine that the driver is distracted if the driver is in a particular posture (e.g., a posture of using a mobile phone). Additionally, in some embodiments, the driver monitoring module 211 can analyze a sequence of classifications of the driver's posture over a period of time to determine whether the driver is drowsy.

第１のカメラ２０２は、オブジェクト検出器２１６への入力として画像を提供する。オブジェクト検出器２１６は、画像を分析して画像内の１つまたは複数のオブジェクトを検出する。図示されるように、オブジェクト検出器２１６は、異なるタイプのオブジェクトを検出するように構成されている異なる検出器を備える。特に、オブジェクト検出器２１６は、対象ヴィークル外部のヴィークルを検出するように構成されているヴィークル検出器２６０と、人間、人が乗った自転車、動物の様な脆弱なオブジェクトを検出するように構成されている脆弱オブジェクト検出器２６２と、交差点を識別するために１つ以上のアイテム（一時停止標識、信号機、横断歩道標識等) を検出する交差点検出器２６４とを有する。いくつかの実施形態では、オブジェクト検出器２１６は、異なるそれぞれのモデルに基づいて、異なるタイプのオブジェクトを決定するように構成することができる。このモデルは、例えば、ヴィークルを検出するように構成されているヴィークル検出モデル、人間を検出するように構成されている人間検出モデル、動物を検出するように構成されている動物検出モデル、信号機を検出するように構成されている信号機検出モデル、道路の中心線を検出するように構成されている一時停止標識検出モデル等とすることができる。いくつかの実施形態では、異なるモデルは、異なるそれぞれのタイプのオブジェクトを検出するように訓練された異なるそれぞれのニューラルネットワークモデルとすることができる。 The first camera 202 provides an image as an input to the object detector 216. The object detector 216 analyzes the image to detect one or more objects in the image. As shown, the object detector 216 comprises different detectors configured to detect different types of objects. In particular, the object detector 216 comprises a vehicle detector 260 configured to detect vehicles outside the target vehicle, a vulnerable object detector 262 configured to detect vulnerable objects such as humans, pedestrian bicycles, and animals, and an intersection detector 264 to detect one or more items (such as a stop sign, a traffic light, a crosswalk sign, etc.) to identify an intersection. In some embodiments, the object detector 216 can be configured to determine the different types of objects based on different respective models. The models can be, for example, a vehicle detection model configured to detect vehicles, a human detection model configured to detect humans, an animal detection model configured to detect animals, a traffic light detection model configured to detect traffic lights, a stop sign detection model configured to detect a road centerline, etc. In some embodiments, the different models can be different respective neural network models trained to detect different respective types of objects.

ヴィークル検出器２６０は、対象ヴィークル外部のヴィークルを検出し、検出されたヴィークルに関する情報（ヴィークル識別子、ヴィークル位置等）をモジュール２２１に提供する、ように構成されている。モジュール２２１は、衝突予測器２１８および／または交差点での衝突予測器２２２とすることができる。モジュール２２１は、検出されたヴィークルの１つまたは複数を追跡するように構成されているオブジェクト追跡器２６６、予測される衝突の進路を決定するように構成されている進路予測器２６８、および推定される衝突が発生するまでにかかる時間を推定するように構成されている衝突／交差までの時間（ＴＴＣ:time to collision/crossing）モジュール２６９を含む。いくつかの実施形態では、オブジェクト追跡器２６６は、対象ヴィークルの前を走行している先行ヴィークルを識別する、ように構成されている。また、いくつかの実施形態では、進路予測器２６８は、識別された先行ヴィークルおよびセンサ２２５からのセンサ情報に基づいて、予測される衝突の進路を決定する、ように構成されている。例えば、対象ヴィークルの速度および対象ヴィークルの進行方向に基づいて、進路予測器２６８は、予測される衝突の進路を決定することができる。ＴＴＣモジュール２６９は、予測される衝突進路に関する情報およびセンサ２２５からのセンサ情報に基づいて、推定される衝突が発生するまでにかかる時間を計算する、ように構成されている。例えば、ＴＴＣモジュール２６９は、衝突経路の距離および先行ヴィークルと対象ヴィークルとの相対速度に基づいてＴＴＣ（衝突までの時間）を計算することができる。信号生成制御器２２４は、モジュール２２１からの出力およびＴＴＣモジュール２６９からの出力に基づいて、運転者に警告を与えるために警告発生器を動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するために（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等のために）ヴィークル制御器を動作させるための制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、ＴＴＣが閾値（例：３秒）を下回る場合、信号生成制御器２２４は、警報発生器および／またはヴィークル制御器を動作させるための制御信号を生成する。また、いくつかの実施形態では、閾値は、運転者監視モジュール２１１からの出力に基づいて調整可能とすることができる。例えば、運転者監視モジュール２１１からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、信号生成制御器２２４は、閾値を増加（例：閾値を５秒にする）させることもできる。このようにして、信号生成制御器２２４は、先行ヴィークルとのＴＴＣが５秒未満のときに制御信号を提供するであろう。 The vehicle detector 260 is configured to detect vehicles outside the target vehicle and provide information about the detected vehicles (e.g., vehicle identifier, vehicle location, etc.) to the module 221. The module 221 can be the collision predictor 218 and/or the intersection collision predictor 222. The module 221 includes an object tracker 266 configured to track one or more of the detected vehicles, a path predictor 268 configured to determine a path of a predicted collision, and a time to collision/crossing (TTC) module 269 configured to estimate the time it will take for an estimated collision to occur. In some embodiments, the object tracker 266 is configured to identify a leading vehicle traveling in front of the target vehicle. In some embodiments, the path predictor 268 is configured to determine a path of a predicted collision based on the identified leading vehicle and sensor information from the sensor 225. For example, based on the speed of the target vehicle and the direction of travel of the target vehicle, the path predictor 268 can determine a predicted crash path. The TTC module 269 is configured to calculate a time it will take for an estimated crash to occur based on the information about the predicted crash path and the sensor information from the sensor 225. For example, the TTC module 269 can calculate a TTC (time to collision) based on the distance of the collision path and the relative speed of the leading vehicle and the target vehicle. The signal generation controller 224 is configured to determine whether to generate a control signal to operate a warning generator to warn the driver and/or to operate a vehicle control to control the vehicle (e.g., to automatically release the accelerator pedal, apply the brakes, etc.) based on the output from the module 221 and the output from the TTC module 269. In some embodiments, if the TTC is below a threshold (e.g., 3 seconds), the signal generation controller 224 generates a control signal to operate a warning generator and/or a vehicle control. Also, in some embodiments, the threshold may be adjustable based on the output from the driver monitoring module 211. For example, if the output from the driver monitoring module 211 indicates that the driver is distracted or not paying attention to the driving task, the signal generation controller 224 may increase the threshold (e.g., to 5 seconds). In this manner, the signal generation controller 224 will provide a control signal when the TTC with the leading vehicle is less than 5 seconds.

モジュール２２１は、先行ヴィークルとの衝突を予測することに限定されず、そしてモジュール２２１は、他のヴィークルとの衝突も予測するように構成することができることに留意されたい。例えば、いくつかの実施形態では、モジュール２２１は、交差点に接近するヴィークル、対象ヴィークルの車線に向かって合流するヴィークル等、対象ヴィークルの経路に向かって走行しているヴィークルを検出するように構成することができる。これらの状況では、進路予測器２６８は、対象ヴィークルの進路および他のヴィークルの進路を決定し、そして２つの進路が交差する点も決定する。ＴＴＣモジュール２６９は、交差する点の位置、他のヴィークルの速度、および対象ヴィークルの速度に基づいてＴＴＣを決定する、ように構成されている。 It should be noted that module 221 is not limited to predicting collisions with leading vehicles, and module 221 may also be configured to predict collisions with other vehicles. For example, in some embodiments, module 221 may be configured to detect vehicles traveling toward the path of the subject vehicle, such as vehicles approaching an intersection, vehicles merging toward the subject vehicle's lane, etc. In these situations, path predictor 268 determines the path of the subject vehicle and the path of the other vehicle, and also determines the point where the two paths intersect. TTC module 269 is configured to determine the TTC based on the location of the intersection point, the speed of the other vehicle, and the speed of the subject vehicle.

脆弱オブジェクト検出器２６２は、対象ヴィークル外部の脆弱オブジェクトを検出し、そして検出されたオブジェクトに関する情報（オブジェクト識別子、オブジェクトの位置等）をモジュール２２１に提供する、ように構成されている。例えば、脆弱オブジェクト検出器２６２は、対象ヴィークル外部の人間を検出し、そしてこの検出された人間に関する情報をモジュール２２１に提供する。モジュール２２１は、検出されたオブジェクト（例：人間）の内の１つまたは複数を追跡するように構成されているオブジェクト追跡器２６６、予測される衝突の進路を決定するように構成されている進路予測器２６８、および予測される衝突が発生するまでにかかる時間を推定するように構成されている衝突／交差までの時間（ＴＴＣ:time to collision/crossing)モジュール２６９を含む。人間、動物、自転車に乗る人の様な特定のオブジェクトは、予測不可能な移動をする可能性があるので、いくつかの実施形態では、進路予測器２６８は、検出されたオブジェクトの可能性がある位置を示すために、検出されたオブジェクトの画像を囲むボックスを決定する、ように構成されている。いくつかの実施形態では、進路予測器２６８は、識別されたオブジェクト（例：人間）を囲むボックスおよびセンサ２２５からのセンサ情報に基づいて、予測される衝突の進路を決定する、ように構成されている。例えば、対象ヴィークルの速度、対象ヴィークルの進行方向、および識別されたオブジェクトを囲むボックスに基づいて、進路予測器２６８は、対象ヴィークルの現在の進行経路がボックスと交差すると決定することができる。この様な場合、衝突予測進路が対象ヴィークルの走行経路となり、衝突予測位置は、対象ヴィークルの進行経路とオブジェクトを囲むボックスとの交点となるであろう。ＴＴＣモジュール２６９は、予測される衝突進路に関する情報およびセンサ２２５からのセンサ情報に基づいて、推定される衝突が発生するまでにかかる時間を計算する、ように構成されている。例えば、ＴＴＣモジュール２６９は、衝突進路の距離と、先行ヴィークルと人間との間の相対速度とに基づいてＴＴＣ（衝突／交差までの時間)を計算することができる。信号生成制御器２２４は、モジュール２２１からの出力およびＴＴＣモジュール２６９からの出力に基づいて、運転者に警告を与えるために警告発生器を動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するために（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等のために）ヴィークル制御器を動作させるための制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、ＴＴＣが閾値（例：３秒）未満である場合、信号生成制御器２２４は、警報発生器および／またはヴィークル制御器を動作させるための制御信号を生成する。また、いくつかの実施形態では、閾値は、運転者監視モジュール２１１からの出力に基づいて調整することが可能である。例えば、運転者監視モジュール２１１からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、信号生成制御器２２４は、閾値を増加させる（例：閾値を５秒にする）ことができる。この場合、信号生成制御器２２４は、オブジェクトとのＴＴＣが５秒未満になると制御信号を提供するであろう。 The fragile object detector 262 is configured to detect fragile objects outside the target vehicle and provide information about the detected objects (e.g., object identifiers, object locations, etc.) to the module 221. For example, the fragile object detector 262 detects a human outside the target vehicle and provides information about the detected human to the module 221. The module 221 includes an object tracker 266 configured to track one or more of the detected objects (e.g., human), a path predictor 268 configured to determine a path of a predicted collision, and a time to collision/crossing (TTC) module 269 configured to estimate the time it will take for a predicted collision to occur. Because certain objects, such as humans, animals, and bicyclists, may move in an unpredictable manner, in some embodiments, the path predictor 268 is configured to determine a box that encloses an image of the detected object to indicate the likely location of the detected object. In some embodiments, the path predictor 268 is configured to determine a predicted collision path based on a box enclosing the identified object (e.g., human) and sensor information from the sensor 225. For example, based on the speed of the target vehicle, the direction of travel of the target vehicle, and the box enclosing the identified object, the path predictor 268 can determine that the current travel path of the target vehicle intersects with the box. In such a case, the collision prediction path will be the driving path of the target vehicle, and the collision prediction location will be the intersection of the travel path of the target vehicle and the box enclosing the object. The TTC module 269 is configured to calculate a time until an estimated collision occurs based on the information about the predicted collision path and the sensor information from the sensor 225. For example, the TTC module 269 can calculate a TTC (time to collision/intersection) based on the distance of the collision path and the relative speed between the leading vehicle and the human. The signal generation controller 224 is configured to determine whether to generate a control signal to operate an alert generator to warn the driver and/or to operate a vehicle control to control the vehicle (e.g., to automatically release the accelerator pedal, apply the brakes, etc.) based on the output from the module 221 and the output from the TTC module 269. In some embodiments, if the TTC is less than a threshold (e.g., 3 seconds), the signal generation controller 224 generates a control signal to operate the alert generator and/or the vehicle control. Also, in some embodiments, the threshold can be adjusted based on the output from the driver monitoring module 211. For example, if the output from the driver monitoring module 211 indicates that the driver is distracted or not paying attention to the driving task, the signal generation controller 224 can increase the threshold (e.g., to 5 seconds). In this case, the signal generation controller 224 will provide a control signal when the TTC with the object is less than 5 seconds.

モジュール２２１は、人間との衝突を予測することに限定されず、そしてモジュール２２１は、他のオブジェクトとの衝突も予測するように構成することができることに留意されたい。例えば、いくつかの実施形態では、モジュール２２１は、動物、自転車に乗る人、ローラースケートをする人、スケートボードに乗る人等を検出するように構成することができる。これらの状況では、進路予測器２６８は、対象ヴィークルの進路のみならず、検出されたオブジェクト（自転車に乗る人の様に、オブジェクトが一方向に移動している場合) の進路、および２つの進路が交差する点も決定する。他のケースでは、オブジェクトの移動が（動物の様に）より予測不可能である場合、進路予測器２６８は、対象ヴィークルの経路と、オブジェクトの可能性がある位置の範囲を囲むボックスとを決定し、そして同様に説明したように、対象ヴィークルとボックスの経路が交差する点を決定することができる。ＴＴＣモジュール２６９は、交差点の位置および対象ヴィークルの速度に基づいてＴＴＣを決定する、ように構成されている。 It should be noted that module 221 is not limited to predicting collisions with humans, and module 221 may be configured to predict collisions with other objects as well. For example, in some embodiments, module 221 may be configured to detect animals, bicyclists, roller skaters, skateboarders, etc. In these situations, path predictor 268 determines not only the path of the target vehicle, but also the path of the detected object (if the object is moving in one direction, such as a bicyclist), and the point where the two paths intersect. In other cases, when the object's movement is more unpredictable (such as an animal), path predictor 268 may determine the path of the target vehicle and a box that bounds the range of possible locations of the object, and then determine the point where the path of the target vehicle and the box intersect, as described above. TTC module 269 is configured to determine the TTC based on the location of the intersection and the speed of the target vehicle.

交差点検出器２６４は、交差点を示す、対象ヴィークルの外部の１つまたは複数のオブジェクトを検出し、そして交差点に関する情報（交差点のタイプ、ヴィークルに必要な停止位置等）をモジュール２２１に提供する、ように構成されている。非限定的な例として、交差点を示す１つまたは複数のオブジェクトは、信号機、一時停止標識、道路標示等、またはこれらの任意の組み合わせを含むことができる。また、交差点検出器２６４によって検出できる交差点は、一時停止標識交差点、信号交差点、鉄道線路との交差点等を含むことができる。モジュール２２１は、予測される交差点での違反の進路を決定するように構成されている進路予測器２６８と、推定される交差点での違反が発生するまでにかかる時間を推定するように構成されている衝突／交差までの時間（ＴＴＣ)モジュール２６９とを含む。ＴＴＣモジュール２６９は、ヴィークルが停止するのに必要な位置およびセンサ２２５からのセンサ情報に基づいて、推定される交差点での違反が発生するまでにかかる時間を計算する、ように構成されている。例えば、ＴＴＣモジュール２６９は、進路の距離（例：ヴィークルの現在位置とヴィークルが停止するのに必要な位置との間の距離）と対象ヴィークルの速度とに基づいてＴＴＣ（Time To Crossing）を計算する。いくつかの実施形態では、必要な停止位置は、オブジェクト検出器２１６が道路上の停止線標識を検出することによって決定させることができる。他の実施形態では、停止線標識が道路上に存在しない場合があり得る。このような場合、進路予測器２６８は、必要な停止位置を示す仮想線または図形線を決定することができる。信号生成制御器２２４は、モジュール２２１からの出力およびＴＴＣモジュール２６９からの出力に基づいて、運転者に警告を与えるために警告発生器を動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するために（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等のために）ヴィークル制御器を動作させるための制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、ＴＴＣが閾値（例：３秒）未満になると、信号生成制御器２２４は、警報発生器および／またはヴィークル制御器を動作させるための制御信号を生成する。また、いくつかの実施形態では、閾値は、運転者監視モジュール２１１からの出力に基づいて調整することができる。例えば、運転者監視モジュール２１１からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、信号生成制御器２２４は、閾値を増加させる（例：閾値を５秒にする）ことができる。このようにして、信号生成制御器２２４は、交差点を交差するまでの時間が５秒未満の場合、制御信号を提供するであろう。 The intersection detector 264 is configured to detect one or more objects outside the target vehicle that indicate an intersection and provide information about the intersection (such as the type of intersection, the stopping position required for the vehicle, etc.) to the module 221. As a non-limiting example, the one or more objects that indicate an intersection can include a traffic light, a stop sign, a road marking, etc., or any combination thereof. Also, the intersections that can be detected by the intersection detector 264 can include stop sign intersections, signalized intersections, intersections with railroad tracks, etc. The module 221 includes a path predictor 268 configured to determine a path of a predicted intersection violation and a time to collision/crossing (TTC) module 269 configured to estimate the time it will take for the estimated intersection violation to occur. The TTC module 269 is configured to calculate the time it will take for the estimated intersection violation to occur based on the position required for the vehicle to stop and the sensor information from the sensor 225. For example, the TTC module 269 calculates a time to crossing (TTC) based on the distance of the path (e.g., the distance between the current position of the vehicle and the position where the vehicle needs to stop) and the speed of the target vehicle. In some embodiments, the required stopping position can be determined by the object detector 216 detecting a stop line sign on the road. In other embodiments, a stop line sign may not be present on the road. In such a case, the path predictor 268 can determine a virtual or graphic line indicating the required stopping position. The signal generation controller 224 is configured to determine whether to generate a control signal to operate a warning generator to warn the driver and/or to operate a vehicle control to control the vehicle (e.g., to automatically release the accelerator pedal, apply the brakes, etc.) based on the output from the module 221 and the output from the TTC module 269. In some embodiments, when the TTC falls below a threshold (e.g., 3 seconds), the signal generation controller 224 generates a control signal to operate a warning generator and/or a vehicle control. Also, in some embodiments, the threshold can be adjusted based on the output from the driver monitoring module 211. For example, if the output from the driver monitoring module 211 indicates that the driver is distracted or not paying attention to the driving task, the signal generation controller 224 can increase the threshold (e.g., the threshold is 5 seconds). In this manner, the signal generation controller 224 will provide a control signal when the time to cross the intersection is less than 5 seconds.

いくつかの実施形態では、別のヴィークルとの予測される衝突、オブジェクトとの予測される衝突、または予測される交差点での違反に関して、信号生成制御器２２４は、運転者監視モジュール２１１の出力により示される運転者の状態のタイプに基づいて制御信号の生成に異なる閾値を適用する、ように構成することができる。例えば、運転者監視モジュール２１１の出力が、運転者が携帯電話を見ていることを示す場合、信号生成制御器２２４は、制御信号が、５秒の閾値を満たすまたはそれ以下であることに応答して、警報発生器を動作させるおよび／またはヴィークル制御を動作させる制御信号を生成することができる。一方、運転者監視モジュール２１１の出力が、運転者が眠気を催していることを示す場合、信号生成制御器２２４は、ＴＴＣが８秒の閾値を下回っている（例：運転者が携帯電話を使用している場合の閾値より長い）ことに応答して、警報発生器を動作させるおよび／またはヴィークル制御を動作させるための制御信号を生成することができる。場合によっては、運転者の特定の状態（運転者が眠い状態または眠気を催している状態）により、運転者が、差し迫った衝突に反応するのに時間がかかるので、運転者に警告するためおよび／またはヴィークル制御を動作させるために、（ＴＴＣ値と比較して）より長い時間閾値が、必要になる。従って、信号生成制御器２２４は、これらの状況における予測される衝突に応じて、運転者に警告し、および／またはヴィークル制御器をより早く動作させることができる。 In some embodiments, with respect to a predicted collision with another vehicle, a predicted collision with an object, or a predicted intersection violation, the signal generation controller 224 can be configured to apply different thresholds to the generation of the control signal based on the type of driver state indicated by the output of the driver monitoring module 211. For example, if the output of the driver monitoring module 211 indicates that the driver is looking at a cell phone, the signal generation controller 224 can generate a control signal to operate an alarm generator and/or operate vehicle controls in response to the control signal meeting or below a 5-second threshold. On the other hand, if the output of the driver monitoring module 211 indicates that the driver is drowsy, the signal generation controller 224 can generate a control signal to operate an alarm generator and/or operate vehicle controls in response to the TTC being below an 8-second threshold (e.g., longer than the threshold for the driver using a cell phone). In some cases, a particular driver state (such as a drowsy or sleepy driver state) may require a longer time threshold (compared to the TTC value) to warn the driver and/or activate the vehicle controls because the driver takes longer to react to an impending crash. Thus, the signal generation controller 224 may warn the driver and/or activate the vehicle controls sooner in response to a predicted crash in these situations.

運転者状態の決定Determining driver status

本明細書に記載されているように、第２のカメラ２０４は、車内の運転者を観察する、ように構成されている。運転者がヴィークルを動作させている間、第１のカメラ２０２はヴィークル外部の画像を撮影し、第２のカメラ２０４はヴィークル内部の画像を撮影する。図３は、図２の装置２００の第２のカメラ２０４によって捕捉された画像３００の一例を示す。図示されるように、第２のカメラ２０２からの画像３００は、対象ヴィークル（装置２００を搭載したヴィークル）を動作させる運転者３１０の画像を含むことができる。処理ユニット２１０は、カメラ２０２からの画像（例：画像３００）を処理し、そして運転者が運転タスクに従事しているか否かを決定する、ように構成されている。非限定的な例として、運転タスクは、対象ヴィークルの前方の道路または環境に注意を払っていること、ステアリングホイールを保持していること等とすることができる。 As described herein, the second camera 204 is configured to observe a driver inside the vehicle. While the driver is operating the vehicle, the first camera 202 captures images of the vehicle exterior and the second camera 204 captures images of the vehicle interior. FIG. 3 illustrates an example of an image 300 captured by the second camera 204 of the device 200 of FIG. 2. As illustrated, the image 300 from the second camera 202 can include an image of a driver 310 operating the target vehicle (the vehicle carrying the device 200). The processing unit 210 is configured to process the image (e.g., image 300) from the camera 202 and determine whether the driver is engaged in a driving task. By way of non-limiting example, the driving task can be paying attention to the road or environment ahead of the target vehicle, holding the steering wheel, etc.

図４を参照すると、いくつかの実施形態では、処理ユニット２１０は、カメラ２０２からの運転者の画像３００を処理し、そして運転者が特定の姿勢の分類化に属するか否かを決定する、ように構成されている。非限定的な例として、姿勢の分類化は、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を含むことができる。また、いくつかの実施形態では、処理ユニット２１０は、１つまたは複数の姿勢の分類化に基づいて、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。例えば、運転者の頭が下を「見て」いて、そして運転者が携帯電話を保持している場合、処理ユニット２１０は、運転者が運転タスクに従事していない（すなわち、運転者が道路またはヴィークルの前の環境に注意を払っていない）と決定することができる。別の例として、運転者の頭が右または左を「見ていて」、そして頭のターン角度が特定の閾値を超えている場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。 4, in some embodiments, the processing unit 210 is configured to process the image 300 of the driver from the camera 202 and determine whether the driver belongs to a particular posture classification. By way of non-limiting example, the posture classification can include two or more of the following postures: looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, not holding a steering wheel, not wearing a seat belt, eyes closed, looking ahead, holding a steering wheel with one hand, and holding a steering wheel with both hands. Also, in some embodiments, the processing unit 210 is configured to determine whether the driver is engaged in a driving task based on one or more posture classifications. For example, if the driver's head is "looking" down and the driver is holding a mobile phone, the processing unit 210 can determine that the driver is not engaged in a driving task (i.e., the driver is not paying attention to the road or the environment in front of the vehicle). As another example, if the driver's head is "looking" to the right or left and the head turn angle exceeds a certain threshold, the processing unit 210 can determine that the driver is not engaged in the driving task.

いくつかの実施形態では、処理ユニット２１０は、画像に現れる運転者の１つまたは複数の姿勢に基づいて、運転者の目の視線方向を決定する必要無く、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。この特徴は、運転者の目の視線方向を画像に取り込む必要がなく、または正確に決定する必要がないので、有利である。例えば、ヴィークルの運転者は、ヴィークルカメラに目が映らないように帽子をかぶっている場合がある。運転者が、目の検出を妨げるサングラスを着用している場合もある。場合によっては、運転者が透明な度付きメガネを着用している場合、メガネのフレームが目の検出を妨げたり、および／またはメガネのレンズが目の検出を不正確にすることがある。従って、注視方向を決定することができない場合でも、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを決定することができるので、運転者の目の視線方向を決定する必要無しに、運転者が運転タスクに従事しているか否かを決定することは有利である。 In some embodiments, the processing unit 210 is configured to determine whether the driver is engaged in a driving task based on one or more postures of the driver appearing in the image without needing to determine the gaze direction of the driver's eyes. This feature is advantageous because the gaze direction of the driver's eyes does not need to be captured in the image or accurately determined. For example, the vehicle driver may wear a hat to hide the driver's eyes from the vehicle camera. The driver may wear sunglasses that prevent eye detection. In some cases, if the driver wears clear prescription glasses, the frames of the glasses may prevent eye detection and/or the lenses of the glasses may cause inaccurate eye detection. Thus, it is advantageous to determine whether the driver is engaged in a driving task without needing to determine the gaze direction of the driver's eyes, since the processing unit 210 can determine whether the driver is engaged in a driving task even when the gaze direction cannot be determined.

いくつかの実施形態では、処理ユニット２１０は、コンテキストベースの分類化を使用して、運転者が運転タスクに従事しているか否かを決定することができる。例えば、運転者の頭が下を向いていて、そして運転者が携帯電話を膝の上に保持していて、かつ運転者の頭がそれに向いている場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。処理ユニット２１０は、例え、（例：図３に示されるように、運転者の目が帽子によって遮られているので）運転者の目が検出できない場合であっても、このような決定を行うことができる。処理ユニット２１０は、コンテキストベースの分類を使用して、運転者の１つまたは複数の姿勢を決定することもできる。例えば、運転者の頭が下を向いている場合、処理ユニット２１０は、例え、運転者の目が検出できなかったとしても、運転者が下を向いていると決定することができる。別の例として、運転者の頭が上を向いている場合、処理ユニット２１０は、例え、運転者の目を検出することができなくても、運転者が上を向いていると決定することができる。さらなる例として、運転者の頭が右を向いている場合、処理ユニット２１０は、例え、運転者の目が検出できない場合であっても、運転者が右を見ていると決定することもできる。さらなる例として、運転者の頭が左を向いている場合、処理ユニット２１０は、例え、運転者の目を検出することができなくても、運転者が左を向いていると決定することができる。 In some embodiments, processing unit 210 can use context-based classification to determine whether the driver is engaged in a driving task. For example, if the driver's head is facing down and the driver is holding a cell phone on his/her lap and the driver's head is facing it, processing unit 210 can determine that the driver is not engaged in a driving task. Processing unit 210 can make such a determination even if the driver's eyes cannot be detected (e.g., because the driver's eyes are obscured by a hat, as shown in FIG. 3). Processing unit 210 can also use context-based classification to determine one or more postures of the driver. For example, if the driver's head is facing down, processing unit 210 can determine that the driver is looking down even if the driver's eyes cannot be detected. As another example, if the driver's head is facing up, processing unit 210 can determine that the driver is looking up even if the driver's eyes cannot be detected. As a further example, if the driver's head is turned to the right, processing unit 210 may determine that the driver is looking to the right even if the driver's eyes cannot be detected. As a further example, if the driver's head is turned to the left, processing unit 210 may determine that the driver is looking to the left even if the driver's eyes cannot be detected.

一実装形態では、処理ユニット２１０は、モデルを使用して運転者の１つ以上の姿勢を識別し、そして運転者が運転タスクに従事しているか否かを決定する、ように構成することができる。処理ユニット２１０は、カメラ２０４からの画像を処理するために、このモデルを使用することができる。いくつかの実施形態では、このモデルは、非一時的媒体２３０に格納することができる。また、いくつかの実施形態では、このモデルは、サーバから送信させることもでき、そして通信ユニット２４０を介して装置２００によって受信させることができる。 In one implementation, the processing unit 210 can be configured to use the model to identify one or more postures of the driver and determine whether the driver is engaged in a driving task. The processing unit 210 can use the model to process images from the camera 204. In some embodiments, the model can be stored in the non-transitory medium 230. Also, in some embodiments, the model can be transmitted from a server and received by the device 200 via the communication unit 240.

いくつかの実施形態では、モデルは、ニューラルネットワークモデルとすることができる。このような場合、ニューラルネットワークモデルは、他の運転者の画像に基づいて訓練させることができる。例えば、ニューラルネットワークモデルは、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢の様な異なる姿勢を識別するために、運転者の画像を使用して訓練させることができる。いくつかの実施形態では、ニューラルネットワークモデルは、画像内の人物の目を検出せずに、異なる姿勢を識別するように訓練することができる。これにより、ニューラルネットワークモデルが、異なる姿勢を識別する、および／またはコンテキストに基づいて（例：運転者の目の注視方向以外の運転者の状態に関して画像にキャプチャされた情報に基づいて）運転者が運転タスクに従事しているか否かを決定することが可能になる。他の実施形態では、このモデルは、ニューラルネットワークモデルとは異なる他のタイプの任意のモデルとすることができる。 In some embodiments, the model may be a neural network model. In such a case, the neural network model may be trained based on images of other drivers. For example, the neural network model may be trained using images of drivers to identify different postures such as looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, not holding the steering wheel, not wearing a seat belt, eyes closed, looking ahead, holding the steering wheel with one hand, holding the steering wheel with both hands. In some embodiments, the neural network model may be trained to identify different postures without detecting the eyes of the person in the image. This allows the neural network model to identify different postures and/or determine whether the driver is engaged in a driving task based on context (e.g., based on information captured in the image about the driver's state other than the driver's eye gaze direction). In other embodiments, the model may be any other type of model different from a neural network model.

いくつかの実施形態では、ニューラルネットワークモデルは、コンテキストに基づいて、姿勢を分類するように、および／または運転者が運転タスクに従事しているか否かを決定するように、訓練することができる。例えば、運転者が携帯電話を保持していて、頭の姿勢が携帯電話に向かって下を向いている場合、ニューラルネットワークモデルは、運転者の目を検出することなく、運転者が運転タスクに従事していない（例：道路またはヴィークル前方の環境を見ていない）と決定することができる。 In some embodiments, the neural network model can be trained to classify postures and/or determine whether a driver is engaged in a driving task based on context. For example, if a driver is holding a cell phone and has a head posture that is pointing down toward the cell phone, the neural network model can determine that the driver is not engaged in a driving task (e.g., not looking at the road or the environment ahead of the vehicle) without detecting the driver's eyes.

いくつかの実施形態では、深層学習または人工知能は、運転者の姿勢を特定する、および／または運転者が運転タスクに従事しているか否かを決定することができるモデルの開発に、使用することができる。このようなモデルは、運転タスクに従事している運転者とそうでない運転者を区別することができる。 In some embodiments, deep learning or artificial intelligence can be used to develop models that can identify a driver's posture and/or determine whether a driver is engaged in a driving task. Such models can distinguish between drivers who are engaged in a driving task and those who are not.

いくつかの実施形態では、運転者の姿勢を識別するために処理ユニット２１０によって使用されるモデルは、畳み込みニューラルネットワークモデルとすることができる。他の実施形態では、このモデルは単純に任意の数学モデルとすることもできる。 In some embodiments, the model used by processing unit 210 to identify the driver's posture may be a convolutional neural network model. In other embodiments, the model may simply be any mathematical model.

図５は、運転者が運転タスクに従事しているか否かを決定するためのアルゴリズム５００を示す。例えば、アルゴリズム５００は、運転者がヴィークルの前方の道路または環境に注意を払っているか否かを決定するために使用することができる。アルゴリズム５００は、いくつかの実施形態では、処理ユニット２１０を使用して実装および／または実行することができる。 FIG. 5 illustrates an algorithm 500 for determining whether a driver is engaged in a driving task. For example, the algorithm 500 may be used to determine whether a driver is paying attention to the road or environment ahead of the vehicle. The algorithm 500 may be implemented and/or executed using the processing unit 210 in some embodiments.

最初に、処理ユニット２１０は、カメラ２０４からの画像を処理して、画像に基づいて運転者の顔を検出することを試みる（項目５０２）。画像内に運転者の顔が検出できない場合、処理ユニット２１０は、運転者が運転タスクに従事しているか否かが不明であると決定することができる。一方、処理ユニット２１０が、運転者の顔が画像内に存在すると決定した場合、処理ユニット２１０は、運転者の目が閉じているか否かを決定することができる（項目５０４）。一実装形態では、処理ユニット２１０は、ニューラルネットワークモデルの様なモデルに基づいて目が開いているか否かを決定するように構成することができる。処理ユニット２１０が、運転者の目が閉じていると決定した場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。一方、処理ユニット２１０が、運転者の目が閉じていないと決定した場合、処理ユニット２１０は、画像に基づいて運転者の目の視線の検出を試みることができる（項目５０６）。 First, the processing unit 210 processes the image from the camera 204 to attempt to detect the driver's face based on the image (item 502). If the driver's face cannot be detected in the image, the processing unit 210 may determine that it is unclear whether the driver is engaged in the driving task. On the other hand, if the processing unit 210 determines that the driver's face is present in the image, the processing unit 210 may determine that the driver's eyes are closed (item 504). In one implementation, the processing unit 210 may be configured to determine whether the eyes are open based on a model, such as a neural network model. If the processing unit 210 determines that the driver's eyes are closed, the processing unit 210 may determine that the driver is not engaged in the driving task. On the other hand, if the processing unit 210 determines that the driver's eyes are not closed, the processing unit 210 may attempt to detect the driver's eye gaze based on the image (item 506).

アルゴリズム５００の項目５１０を参照すると、処理ユニット２１０が運転者の目の視線の検出に成功した場合、処理ユニット２１０は、視線の方向を決定することができる（項目５１０）。例えば、処理ユニット２１０は、画像を分析して、運転者の目の注視方向のピッチ（例：上下方向）および／または偏揺れ角（例えば、左右方向）を決定することができる。視線方向のピッチが規定ピッチ範囲内にあり、そして注視方向の偏揺れ角が所定の偏揺れ角の範囲にある場合、処理ユニット２１０は、ユーザが運転タスクに従事している（すなわち、ユーザがヴィークルの前方の道路または環境を見ている）と決定することができる。（項目５１２)。一方、注視方向のピッチが所定のピッチ範囲内にない場合、または注視方向の偏揺れ角が所定のヨー範囲内にない場合、処理ユニット２１０は、ユーザが運転タスクに従事していないと決定することができる。（項目５１４）。 Referring to item 510 of algorithm 500, if processing unit 210 successfully detects the line of sight of the driver's eyes, processing unit 210 can determine the direction of the gaze (item 510). For example, processing unit 210 can analyze the image to determine the pitch (e.g., up/down) and/or yaw angle (e.g., left/right) of the gaze direction of the driver's eyes. If the pitch of the gaze direction is within a prescribed pitch range and the yaw angle of the gaze direction is within a predetermined yaw angle range, processing unit 210 can determine that the user is engaged in a driving task (i.e., the user is looking at the road or environment in front of the vehicle) (item 512). On the other hand, if the pitch of the gaze direction is not within the predetermined pitch range or the yaw angle of the gaze direction is not within the predetermined yaw range, processing unit 210 can determine that the user is not engaged in a driving task. (item 514).

アルゴリズム５００の項目５２０を参照すると、処理ユニット２１０が運転者の目の視線をうまく検出できない場合、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを、運転者の目の視線方向の決定を必要とせずに、決定することができる。（項目５２０）。いくつかの実施形態では、処理ユニット２１０は、コンテキストに基づいて（例：運転者の目の注視方向以外の運転者の状態に関する、画像内に取り込まれた情報に基づいて）このような決定を行うモデルを使用するように構成することができる。いくつかの実施形態では、このモデルは、運転者が運転タスクに従事しているか否かを決定するためにコンテキストベースの分類化を実行するように構成されているニューラルネットワークモデルとすることができる。一実施形態では、このモデルは、画像を処理して、運転者が１つ以上の姿勢の分類化に属するか否かを決定する、ように構成されている。運転者が１つ以上の姿勢の分類化に属すると決定された場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる（項目５２２）。運転者が１つまたは複数の姿勢の分類化に属していないと決定された場合、処理ユニット２１０は、運転者が運転タスクに従事している、または運転者が運転タスクに従事しているか否かは不明である、と決定することができる（項目５２４）。 Referring to item 520 of algorithm 500, if processing unit 210 is unable to successfully detect the driver's eye gaze, processing unit 210 may determine whether the driver is engaged in the driving task without needing to determine the driver's eye gaze direction (item 520). In some embodiments, processing unit 210 may be configured to use a model that makes such a determination based on context (e.g., based on information captured in the image regarding the driver's state other than the driver's eye gaze direction). In some embodiments, the model may be a neural network model that is configured to perform a context-based classification to determine whether the driver is engaged in the driving task. In one embodiment, the model is configured to process the image to determine whether the driver belongs to one or more posture classifications. If the driver is determined to belong to one or more posture classifications, processing unit 210 may determine that the driver is not engaged in the driving task (item 522). If it is determined that the driver does not belong to one or more posture classifications, the processing unit 210 may determine that the driver is engaged in a driving task or that it is unknown whether the driver is engaged in a driving task (item 524).

いくつかの実施形態では、処理ユニット２１０が、上記の項目５０２、５０４、５０６、５１０、５２０を繰り返し実行して、カメラ２０４によって提供されるシーケンスで複数の画像を処理し、これによって運転者がヴィークルを動作している間、運転者のリアルタイム監視が実行される。 In some embodiments, the processing unit 210 repeatedly performs items 502, 504, 506, 510, and 520 described above to process multiple images in a sequence provided by the camera 204, thereby performing real-time monitoring of the driver while the driver is operating the vehicle.

アルゴリズム５００は、説明した例に限定されず、そして処理ユニット２１０を使用して実装されるアルゴリズム５００は、他の特徴および／または変形も有することができることに留意されたい。例えば、他の実施形態では、アルゴリズム５００は、項目５０２（運転者の顔の検出）を含まなくてもよい。別の例として、他の実施形態では、アルゴリズム５００は、項目５０４（目が閉じられている状態の検出）を含まなくてもよい。また、さらなる実施形態では、アルゴリズム５００は、項目５０６（視線の検出の試み）および／または項目５１０（視線方向の決定）を含まなくてもよい。 It should be noted that algorithm 500 is not limited to the described example, and algorithm 500 implemented using processing unit 210 may have other features and/or variations. For example, in other embodiments, algorithm 500 may not include item 502 (detecting the driver's face). As another example, in other embodiments, algorithm 500 may not include item 504 (detecting closed eyes). Also, in further embodiments, algorithm 500 may not include item 506 (attempting to detect gaze) and/or item 510 (determining gaze direction).

また、いくつかの実施形態では、例え、運転者の目の視線方向が処理ユニット２１０によって検出できたとしても、処理ユニット２１０は、依然としてコンテキストベースの分類化を実行して、運転者が１つ以上の姿勢に属するか否かを決定することができる。場合によっては、処理ユニット２１０は、姿勢の分類化を使用して、運転者の目の視線方向を確認することができる。これに代えて、処理ユニット２１０は、運転者の目の視線方向を使用して、運転者の１つまたは複数の姿勢の分類化を確認することもできる。 Also, in some embodiments, even if the driver's eye gaze direction can be detected by processing unit 210, processing unit 210 can still perform context-based classification to determine whether the driver belongs to one or more postures. In some cases, processing unit 210 can use the posture classification to confirm the driver's eye gaze direction. Alternatively, processing unit 210 can use the driver's eye gaze direction to confirm the driver's one or more posture classifications.

上述したように、いくつかの実施形態では、処理ユニット２１０は、カメラ２０４からの画像に基づいて運転者が１つ以上の姿勢の分類化に属するか否かを決定し、そして１つ以上の姿勢の分類化に基づいて運転者が運転タスクに従事しているか否かを決定する、ように構成されている。いくつかの実施形態では、処理ユニット２１０は、複数のそれぞれの姿勢の分類化に対するメトリック値を決定し、そして１つまたは複数のメトリック値に基づいて、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。図６は、画像６０４ａに基づいて処理ユニット２１０によって提供される分類化出力６０２の例を示す。この例では、分類化出力６０２は、それぞれの異なる姿勢の分類化、すなわち、「下を見ている」分類化、「上を見ている」分類化、「左を見ている」分類化、「右を見ている」分類化、「携帯電話を使用している」分類化、「喫煙している」分類化、「オブジェクトを保持している」分類化、「目を閉じている」分類化、「顔無し」分類化、そして「シートベルト無し」分類化のメトリック値を含む。これらの異なる姿勢の分類化のメトリック値は、相対的に低く（例：０．２未満）、画像６０４ａ内の運転者がこれらの姿勢の分類化の何れにも適合しないことを示している。また、図示の例では、運転者の目は閉じていないので、運転者の視線方向は処理ユニット２１０によって決定させることができる。視線方向は、画像内の運転者の鼻に重畳されたグラフィックオブジェクトによって表されている。グラフィックオブジェクトは、視線の方向に平行なベクトルまたは線を含むことができる。これに代えてまたは加えて、グラフィックオブジェクトは、視線方向に垂直な１つまたは複数のベクトルまたは１つまたは複数の線を含むことができる。 As described above, in some embodiments, the processing unit 210 is configured to determine whether the driver belongs to one or more posture classifications based on the images from the camera 204, and determine whether the driver is engaged in a driving task based on the one or more posture classifications. In some embodiments, the processing unit 210 is configured to determine metric values for a plurality of respective posture classifications, and determine whether the driver is engaged in a driving task based on the one or more metric values. FIG. 6 shows an example of a classification output 602 provided by the processing unit 210 based on the image 604a. In this example, the classification output 602 includes metric values for each of the different posture classifications, namely, a "looking down" classification, a "looking up" classification, a "looking left" classification, a "looking right" classification, a "using a mobile phone" classification, a "smoking" classification, a "holding an object" classification, a "closed eyes" classification, a "no face" classification, and a "no seat belt" classification. The metric values for these different pose categorizations are relatively low (e.g., less than 0.2), indicating that the driver in image 604a does not fit into any of these pose categorizations. Also, in the illustrated example, the driver's eyes are not closed, so the driver's gaze direction can be determined by processing unit 210. The gaze direction is represented by a graphical object superimposed on the driver's nose in the image. The graphical object may include a vector or a line parallel to the gaze direction. Alternatively or additionally, the graphical object may include one or more vectors or one or more lines perpendicular to the gaze direction.

図７は、画像６０４ｂに基づいて処理ユニット２１０によって提供される分類化出力６０２の他の例を示す。図示の例では、「下を見ている」姿勢に対するメトリック値は、相対的に高い（例：０．６より高い）値を有していて、運転者が「下を見ている」姿勢を取っていることを示している。他の姿勢に対するメトリック値は、相対的に低い値を有し、これは、画像６０４ｂ内の運転者がこれらの姿勢の分類化を満たしていないことを示している。 Figure 7 shows another example of a classification output 602 provided by processing unit 210 based on image 604b. In the illustrated example, the metric value for the "looking down" pose has a relatively high value (e.g., greater than 0.6), indicating that the driver is assuming a "looking down" pose. The metric values for the other poses have relatively low values, indicating that the driver in image 604b does not meet the classification of those poses.

図８は、画像６０４ｃに基づいて処理ユニット２１０によって提供される分類化出力６０２の他の例を示す。図示の例では、「左を見ている」姿勢に対するメトリック値は相対的に高い（例：０．６より高い）値を有していて、これは、運転者が「左を見ている」姿勢であることを示している。他の姿勢に対するメトリック値は相対的に低い値を有していて、これは、画像６０４ｃ内の運転者がこれらの姿勢の分類化を満たしていないことを示している。 Figure 8 shows another example of a classification output 602 provided by processing unit 210 based on image 604c. In the illustrated example, the metric value for the "looking left" pose has a relatively high value (e.g., greater than 0.6), indicating that the driver is in a "looking left" pose. The metric values for the other poses have relatively low values, indicating that the driver in image 604c does not meet the classification of these poses.

いくつかの実施形態では、処理ユニット２１０は、メトリック値をそれぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている。このような場合、処理ユニット２１０は、メトリック値の対応する値が、閾値の対応する値を満たすまたはそれを超える場合、運転者が、姿勢の分類化の１つに属していると決定する、ように構成されている。例えば、異なる姿勢の分類化に対する閾値は０．６に設定することができる。このような場合、姿勢の分類化の任意のメトリック値の何れかが０．６を超える場合、処理ユニット２１０は、運転者がこの姿勢の分類化に属する姿勢（すなわち、メトリック値が０．６を超える姿勢）を取っていると決定することができる。また、いくつかの実施形態では、姿勢の分類化の任意のメトリック値の何れかが、事前に設定された閾値（例：０．６）を超える場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。上記の例に従うと、「下を向いている」姿勢、「上を向いている」姿勢、「左を向いている」姿勢、「右を向いている」姿勢、「携帯電話を使用している」姿勢、または「目を閉じている」姿勢に対するメトリック値が、０．６より大きい場合、処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。 In some embodiments, the processing unit 210 is configured to compare the metric value to a respective threshold value for each posture classification. In such a case, the processing unit 210 is configured to determine that the driver belongs to one of the posture classifications if the corresponding value of the metric value meets or exceeds the corresponding value of the threshold. For example, the threshold value for the different posture classifications may be set to 0.6. In such a case, if any of the metric values of any of the posture classifications exceeds 0.6, the processing unit 210 may determine that the driver is assuming a posture that belongs to this posture classification (i.e., a posture with a metric value exceeding 0.6). Also, in some embodiments, if any of the metric values of any of the posture classifications exceeds a pre-set threshold (e.g., 0.6), the processing unit 210 may determine that the driver is not engaged in the driving task. Following the above example, if the metric value for the "looking down" posture, the "looking up" posture, the "looking left" posture, the "looking right" posture, the "using mobile phone" posture, or the "eyes closed" posture is greater than 0.6, processing unit 210 may determine that the driver is not engaged in the driving task.

上記の例では、異なるそれぞれの姿勢の分類化に対して、同じ事前に設定された閾値が、実装されている。他の実施形態では、少なくとも２つのそれぞれの姿勢の分類化に対し、閾値の内の少なくとも２つは、異なる値を有することができる。また、上記の例では、姿勢の分類化のメトリック値の範囲は、０．０～１．０（１．０が最高）である。他の実施形態では、姿勢の分類化に対し、メトリック値は他の範囲を有することができる。また、他の実施形態では、メトリック値の規則は、より低いメトリック値が、運転者が特定の姿勢の分類化を満たしていることを示し、そしてより高いメトリック値が、運転者が特定の姿勢の分類化を満たしていないことを示す、という点で逆にすることもできる。 In the above example, the same pre-set thresholds are implemented for each of the different posture classifications. In other embodiments, at least two of the thresholds can have different values for at least two of the different posture classifications. Also, in the above example, the metric values for the posture classifications range from 0.0 to 1.0 (1.0 being the highest). In other embodiments, the metric values can have other ranges for the posture classifications. Also, in other embodiments, the metric value rules can be reversed in that a lower metric value indicates that the driver meets a particular posture classification and a higher metric value indicates that the driver does not meet a particular posture classification.

また、いくつかの実施形態では、異なる姿勢の分類化が、処理ユニット２１０が、運転者の画像が特定の姿勢の分類化に属するか否かを決定することを可能にする、それぞれが調整された閾値を有する様に、異なる姿勢の分類化に対する閾値は、調整手順で調整させることができる。 Also, in some embodiments, the thresholds for the different pose classifications can be adjusted in a tuning procedure, such that the different pose classifications each have an adjusted threshold that enables the processing unit 210 to determine whether an image of the driver belongs to a particular pose classification or not.

いくつかの実施形態では、処理ユニット２１０は、単一のモデルを使用して、複数の姿勢の分類化を提供することができる。処理ユニット２１０は、複数の姿勢の分類化を並行してまたは順次に出力することができる。他の実施形態では、モデルは、各サブモデルが姿勢の特定の分類を検出するように構成されている、複数のサブモデルを備えることができる。このサブモデルは、例えば、顔を検出するサブモデル、視線方向を検出するサブモデル、見上げ姿勢を検出するサブモデル、下を見ている姿勢を検出するサブモデル、右を向いている姿勢を検出するサブモデル、左を向いている姿勢を検出するサブモデル、携帯電話を使用している姿勢を検出するサブモデル、ステアリングホイールに手を置いていない姿勢を検出するサブモデル、シートベルト非着用姿勢を検出するモデル、目を閉じている姿勢を検出するサブモデル等とすることができる。 In some embodiments, the processing unit 210 can provide classifications of multiple poses using a single model. The processing unit 210 can output classifications of multiple poses in parallel or sequentially. In other embodiments, the model can include multiple sub-models, each sub-model configured to detect a particular classification of poses. The sub-models can be, for example, a sub-model for detecting faces, a sub-model for detecting gaze direction, a sub-model for detecting looking up poses, a sub-model for detecting looking down poses, a sub-model for detecting looking right poses, a sub-model for detecting looking left poses, a sub-model for detecting mobile phone use poses, a sub-model for detecting hands off steering wheel poses, a model for detecting seat belt not fastened poses, a sub-model for detecting eyes closed poses, etc.

上記の実施形態では、姿勢の分類化に対するそれぞれの閾値は、運転者の画像がそれぞれの姿勢の分類化を満たすか否かを決定する、ように構成されている。他の実施形態では、それぞれの姿勢の分類化に対する閾値は、処理ユニット２１０が、運転者が運転タスクに従事しているか否かを決定することができる、ように構成することができる。このような場合、１つまたは複数のそれぞれの姿勢の分類化に対する１つまたは複数のメトリック値が、１つまたは複数のそれぞれの閾値を満たすまたはそれを超える場合、処理ユニット２１０は、運転者が運転タスクに従事しているか否かを決定することができる。いくつかの実施形態では、姿勢の分類化は「注意力散漫である」分類に属することができる。このような場合、姿勢の分類化の何れかの基準が満たされると、処理ユニット２１０は、運転者が運転タスクに従事していない（例：運転者が注意力散漫である）と決定することができる。「注意力散漫である」分類に属する姿勢の分類例としては、「左を見ている」姿勢、「右を見ている」姿勢、「上を見ている」姿勢、「下を見ている」姿勢、「携帯電話を保持している」姿勢等が挙げられる。いくつかの実施形態では、姿勢の分類化は「注意」分類に属することもできる。このような場合、姿勢の分類化の何れかの基準が満たされると、処理ユニット２１０は、運転者が運転タスクに従事している（例：運転者が運転に注意を払っている）と決定することができる。「注意」分類に属する姿勢の分類化の例には、「前を見ている」姿勢、「ステアリングホイールを保持している」姿勢等が挙げられる。 In the above embodiment, the respective thresholds for the posture classifications are configured to determine whether the image of the driver satisfies the respective posture classification. In other embodiments, the thresholds for the respective posture classifications can be configured to allow the processing unit 210 to determine whether the driver is engaged in the driving task. In such a case, if one or more metric values for one or more respective posture classifications meet or exceed one or more respective thresholds, the processing unit 210 can determine whether the driver is engaged in the driving task. In some embodiments, the posture classification can belong to a "distracted" classification. In such a case, if any criteria of the posture classification is met, the processing unit 210 can determine that the driver is not engaged in the driving task (e.g., the driver is distracted). Examples of posture classifications that belong to the "distracted" classification include a "looking left" posture, a "looking right" posture, a "looking up" posture, a "looking down" posture, a "holding a mobile phone" posture, and the like. In some embodiments, the posture classification can also belong to an "attention" classification. In such a case, if the criteria for any of the posture classifications are met, the processing unit 210 can determine that the driver is engaged in the driving task (e.g., the driver is paying attention to driving). Examples of posture classifications that fall into the "attention" category include a "looking ahead" posture, a "holding the steering wheel" posture, etc.

上記の例に示されるように、コンテキストベースの分類は、運転者の目の視線方向が検出できない場合でも、処理ユニット２１０が、運転タスクに従事していない運転者を識別することができるので有利である。場合によっては、装置２００がヴィークルに対して非常にずれた角度で取り付けられている場合（この結果、運転者は、カメラ画像内で奇妙な角度および／または位置に現れる可能性がある）であっても、コンテキストベースの識別は、依然としてユニット２１０が、運転タスクに従事していない運転者を識別することを可能するであろう。アフターマーケット製品は取り付け位置が異なるので、目および視線の検出を困難にする可能性がある。本明細書に記載される特徴は、装置２００が、運転者の目や視線を検出できないように取り付けられている場合でも、運転者が運転タスクに従事しているか否かを決定することができるので、有利である。 As shown in the above examples, context-based classification is advantageous because it allows the processing unit 210 to identify a driver who is not engaged in a driving task even when the driver's eye gaze direction cannot be detected. In some cases, even if the device 200 is mounted at a very off-angle to the vehicle (which may result in the driver appearing at odd angles and/or positions in the camera image), context-based identification will still allow the unit 210 to identify a driver who is not engaged in a driving task. Aftermarket products may have different mounting positions, making eye and gaze detection difficult. The features described herein are advantageous because they allow the device 200 to determine whether a driver is engaged in a driving task even when the device 200 is mounted in a way that does not allow the driver's eyes or gaze to be detected.

処理ユニット２１０は、姿勢の分類化および／または運転者が運転タスクに従事しているか否かを決定するためにニューラルネットワークモデルを使用することに限定されず、そして処理ユニット２１０は、任意の処理技術、アルゴリズム、または処理アーキテクチャを使用して、姿勢の分類化および／または運転者が運転タスクに従事しているか否かを決定することができることに留意されたい。非限定的な例として、処理ユニット２１０は、方程式、回帰、分類、ニューラルネットワーク（例；畳み込みニューラルネットワーク、深層ニューラルネットワーク）、ヒューリスティックス、選択（例：ライブラリ、グラフ、またはチャートから）、画像を処理するためのインスタンスベースの方法（最近傍法等)、相関法、正則化法（リッジ回帰等)、決定木、ベイジアン法、カーネル法、確率、決定論、または上記の２つ以上の組み合わせを使用して、カメラ２０４からの画像を処理して、姿勢の分類化および／または運転者が運転タスクに従事しているか否かを決定することができる。姿勢の分類化は、二値分類または二値スコア（例：見上げているか否か）、スコア（例：連続的または不連続）、分類（例：高、中、低）、または姿勢の分類化の他の適切な尺度とすることが出来る。 It should be noted that the processing unit 210 is not limited to using a neural network model to classify postures and/or determine whether the driver is engaged in a driving task, and the processing unit 210 can use any processing technique, algorithm, or processing architecture to classify postures and/or determine whether the driver is engaged in a driving task. As non-limiting examples, the processing unit 210 can process images from the camera 204 to classify postures and/or determine whether the driver is engaged in a driving task using equations, regression, classification, neural networks (e.g., convolutional neural networks, deep neural networks), heuristics, selection (e.g., from libraries, graphs, or charts), instance-based methods for processing images (such as nearest neighbor methods), correlation methods, regularization methods (such as ridge regression), decision trees, Bayesian methods, kernel methods, probability, determinism, or a combination of two or more of the above. The pose categorization can be a binary classification or score (e.g., looking up or not), a score (e.g., continuous or discrete), a classification (e.g., high, medium, low), or any other suitable measure of pose categorization.

また、処理ユニット２１０は、運転者が運転タスクに従事していないことを示す姿勢（例：「注意力散漫である」分類に属する姿勢）を検出することに限定されないことにも留意されたい。他の実施形態では、処理ユニット２１０は、運転者が運転タスクに従事していることを示す姿勢（例：「注意」分類に属する姿勢）を検出する、ように構成することができる。さらなる実施形態では、処理ユニット２１０は、（１）運転者が運転タスクに従事していないことを示す姿勢および（２）運転者が運転タスクに従事していることを示す姿勢の両方を検出するように構成することができる。 It should also be noted that processing unit 210 is not limited to detecting postures indicative of the driver not being engaged in the driving task (e.g., postures in the "distracted" category). In other embodiments, processing unit 210 may be configured to detect postures indicative of the driver being engaged in the driving task (e.g., postures in the "attention" category). In further embodiments, processing unit 210 may be configured to detect both (1) postures indicative of the driver not being engaged in the driving task and (2) postures indicative of the driver being engaged in the driving task.

本明細書に記載される１つ以上の実施形態では、処理ユニット２１０は、更に、運転者が運転タスクに従事しているか否かに基づいて、衝突リスクを決定するように構成することができる。いくつかの実施形態では、処理ユニット２１０は、運転者が運転タスクに従事しているか否かのみに基づいて、衝突のリスクを決定する、ように構成することができる。例えば、処理ユニット２１０は、運転者が運転タスクに従事していない場合、衝突のリスクが「高い」と決定し、そして運転者が運転タスクに従事している場合、衝突のリスクが「低い」と決定することができる。他の実施形態では、処理ユニット２１０は、追加情報に基づいて衝突リスクを決定するように構成することができる。例えば、処理ユニット２１０は、運転者が運転タスクに関与していない期間を追跡する、ように構成することができ、そして「運転タスクに関与していない」状態の継続時間に基づいて衝突リスクレベルを決定することができる。別の例として、処理ユニット２１０は、第１のカメラ２０２からの画像を処理して、対象ヴィークルの前に障害物（例：ヴィークル、歩行者等）があるか否かを決定し、そしてこのような障害物の検出と姿勢の分類化の組み合わせに基づいて衝突リスクを決定することもできる。 In one or more embodiments described herein, the processing unit 210 can be further configured to determine the collision risk based on whether the driver is engaged in the driving task. In some embodiments, the processing unit 210 can be configured to determine the collision risk based solely on whether the driver is engaged in the driving task. For example, the processing unit 210 can determine that the risk of collision is “high” when the driver is not engaged in the driving task, and determine that the risk of collision is “low” when the driver is engaged in the driving task. In other embodiments, the processing unit 210 can be configured to determine the collision risk based on additional information. For example, the processing unit 210 can be configured to track periods when the driver is not engaged in the driving task, and can determine the collision risk level based on the duration of the “not engaged in the driving task” state. As another example, the processing unit 210 can process images from the first camera 202 to determine whether there is an obstacle (e.g., a vehicle, a pedestrian, etc.) in front of the target vehicle, and determine the collision risk based on a combination of such obstacle detection and pose classification.

上記の実施形態では、（ヴィークルの車室内の環境を観察する）カメラ２０４からのカメラ画像が、運転者の運転タスクへの取り組みを監視するために使用される。他の実施形態では、カメラ２０２（ヴィークルの外部環境を観察するカメラ）からのカメラ画像も同様に使用することができる。例えば、いくつかの実施形態では、ヴィークルの外部環境を捕捉するカメラ画像を処理ユニット２１０によって処理して、ヴィークルが左折（左にターン）している、直進している、または右折（右にターン）しているかを決定することができる。次に、処理ユニット２１０は、ヴィークルの進行方向に基づいて、運転者の姿勢の分類化のための１つ以上の閾値、および／または運転者が運転タスクに従事しているか否かを決定する１つ以上の閾値を調整することができる。例えば、処理ユニット２１０が、（カメラ２０２からの画像の処理に基づいて）ヴィークルが左折していると決定した場合、処理ユニット２１０は、「左を見ている」姿勢の分類化に対する閾値を調整することができる。このため、左を向いている人が、運転タスクに従事していないと分類されることは無いであろう。一実装形態では、「左を見ている」姿勢の分類化に対する閾値は、直進するヴィークルに対しては０．６の値を、そして左折するヴィークルに対しては０．９の値を有することができる。このような場合、処理ユニット２１０が、ヴィークルが（カメラ２０２からの画像の処理に基づいて）直進していると決定し、そして「左を見ている」姿勢に対するメトリックが、（カメラ２０４からの画像の処理に基づいて）０．７の値を有すると決定した場合、（０．７のメトリック値が直進するヴィークルの閾値０．６を超えるため）処理ユニット２１０は、運転者が運転タスクに従事していないと決定することができる。一方、処理ユニット２１０が、（カメラ２０２からの画像の処理に基づいて）ヴィークルが左折していると決定し、そして「左を見ている」姿勢に対するメトリックが０．７の値を有すると決定した場合、（メトリック値０．７が左折ヴィークルの閾値０．９を超えていないので）処理ユニット２１０は、（カメラ２０４からの画像の処理に基づいて）運転者が運転タスクに従事していると決定することができる。従って、上記の例で示したように、姿勢の分類化（例：「左を見ている」姿勢）は、ある状況では「注意力散漫」分類に属し、そして別の状況では「注意」分類に属することができる。いくつかの実施形態では、処理ユニット２１０は、カメラ２０２からの外部環境の画像を処理して出力を取得し、出力に基づいて１つまたは複数の閾値を調整する、ように構成されている。非限定的な例として、出力は、運転状態の分類化、外部環境の分類化、環境の決定された特徴、ヴィークルの動作のコンテキスト等とすることができる。 In the above embodiment, camera images from camera 204 (observing the environment inside the vehicle's cabin) are used to monitor the driver's engagement in the driving task. In other embodiments, camera images from camera 202 (observing the vehicle's external environment) can be used as well. For example, in some embodiments, camera images capturing the vehicle's external environment can be processed by processing unit 210 to determine whether the vehicle is turning left, going straight, or turning right. Processing unit 210 can then adjust one or more thresholds for classifying the driver's posture and/or one or more thresholds for determining whether the driver is engaged in the driving task based on the vehicle's direction of travel. For example, if processing unit 210 determines (based on processing images from camera 202) that the vehicle is turning left, processing unit 210 can adjust a threshold for classifying a posture that is "looking left." Thus, a person looking left would not be classified as not engaged in the driving task. In one implementation, the threshold for classifying the "looking left" posture may have a value of 0.6 for vehicles going straight and a value of 0.9 for vehicles turning left. In such a case, if processing unit 210 determines that the vehicle is going straight (based on processing of images from camera 202) and determines that the metric for the "looking left" posture has a value of 0.7 (based on processing of images from camera 204), processing unit 210 may determine that the driver is not engaged in the driving task (because the metric value of 0.7 exceeds the threshold of 0.6 for vehicles going straight). On the other hand, if processing unit 210 determines that the vehicle is turning left (based on processing of images from camera 202) and determines that the metric for the "looking left" posture has a value of 0.7, processing unit 210 may determine that the driver is engaged in the driving task (because the metric value of 0.7 does not exceed the threshold of 0.9 for left-turning vehicles). Thus, as shown in the above example, a categorization of a posture (e.g., a "looking left" posture) may belong to a "distracted" classification in one situation and an "attention" classification in another situation. In some embodiments, the processing unit 210 is configured to process images of the external environment from the camera 202 to obtain an output and adjust one or more thresholds based on the output. By way of non-limiting example, the output may be a categorization of a driving state, a categorization of the external environment, determined characteristics of the environment, a context of the vehicle's operation, etc.

眠気の検出Drowsiness Detection

いくつかの実施形態では、処理ユニット２１０は、また、カメラ２０４からの画像（例：画像３００）を処理し、そして画像の処理に基づいて運転者が眠気を催しているか否かを決定するように、構成することもできる。いくつかの実施形態では、処理ユニット２１０は、また、カメラ２０４からの画像を処理して、運転者が注意力散漫であるか否かを決定することもできる。さらなる実施形態では、処理ユニット２１０は、カメラ２０２からの画像を処理して、衝突のリスクを決定することもできる。 In some embodiments, processing unit 210 may also be configured to process images from camera 204 (e.g., image 300) and determine whether the driver is drowsy based on the processing of the images. In some embodiments, processing unit 210 may also process images from camera 204 to determine whether the driver is distracted. In further embodiments, processing unit 210 may process images from camera 202 to determine the risk of a collision.

いくつかの実施形態では、処理ユニット２１０の運転者監視モジュール２１１は、運転者の眠気を協働して検出するように構成されている第１のモデルおよび第２のモデルを含むことができる。図９は、直列に結合された第１のモデル２１２と第２のモデル２１４を有する処理アーキテクチャの一例を示す。第１および第２のモデル２１２、２１４は、処理ユニット２１０内にあり、および／または処理ユニット２１０の一部（例：運転者監視モジュール２１１の一部）とみなすこともできる。モデル２１２、２１４は、概略的に、処理ユニット２１０内にあるように示されているが、いくつかの実施形態では、モデル２１２、２１４は、非一時的媒体２３０に格納させることもできる。このような場合でも、モデル２１２、２１４は、依然として処理ユニット２１０の一部とみなすことができる。この例に示されるように、カメラ２０４からの画像４００ａ－４００ｅのシーケンスは、処理ユニット２１０によって受信される。処理ユニット２１０の第１のモデル２１２は、画像４００ａ－４００ｅを処理する、ように構成されている。いくつかの実施形態では、第１のモデル２１２は、画像４００ａ－４００ｅの内の対応する１つに対して１つまたは複数の姿勢を決定する、ように構成されている。例えば、第１のモデル２１２は、画像４００ａを分析し、そして運転者が「目を開けた」姿勢および「頭が前を向いている」姿勢をとっていると決定することができる。第１のモデル２１２は、画像４００ｂを分析し、そして運転者が「目を閉じた」姿勢をとっていると決定することができる。第１のモデル２１２は、画像４００ｃを分析し、運転者が「目を閉じた」姿勢を取っていると決定する。第１のモデル２１２は、画像４００ｄを分析し、運転者が「目を閉じた」姿勢および「頭を下げた」姿勢をとっていると決定することができる。第１のモデル２１２は、画像４００ｅを分析し、そして運転者が「目を閉じた」姿勢および「頭が前を向いている」姿勢をとっていると決定することができる。５つの画像４００ａ－４００ｅしか示されていないが、他の例では、第１のモデル２１２によって受信される画像のシーケンスは、５つより多くてもよい。いくつかの実施形態では、カメラ２０２は、少なくとも毎秒１０フレーム（例：１５ｆｐｓ）のフレームレートを有することができ、そして第１のモデル２１２は、運転者がヴィークルを動作させている持続期間中、そのレートでカメラ２０２から画像を受信し続けることができる。 In some embodiments, the driver monitoring module 211 of the processing unit 210 can include a first model and a second model that are configured to cooperatively detect driver drowsiness. FIG. 9 illustrates an example of a processing architecture having a first model 212 and a second model 214 coupled in series. The first and second models 212, 214 can be within the processing unit 210 and/or can be considered part of the processing unit 210 (e.g., part of the driver monitoring module 211). Although the models 212, 214 are shown generally as being within the processing unit 210, in some embodiments the models 212, 214 can be stored in the non-transitory medium 230. In such a case, the models 212, 214 can still be considered part of the processing unit 210. As shown in this example, a sequence of images 400a-400e from the camera 204 is received by the processing unit 210. The first model 212 of the processing unit 210 is configured to process the images 400a-400e. In some embodiments, the first model 212 is configured to determine one or more poses for a corresponding one of the images 400a-400e. For example, the first model 212 may analyze the image 400a and determine that the driver is assuming an "eyes open" pose and a "head forward" pose. The first model 212 may analyze the image 400b and determine that the driver is assuming an "eyes closed" pose. The first model 212 may analyze the image 400c and determine that the driver is assuming an "eyes closed" pose. The first model 212 may analyze the image 400d and determine that the driver is assuming an "eyes closed" pose and a "head down" pose. The first model 212 can analyze the image 400e and determine that the driver is in an "eyes closed" and "head forward" posture. Although only five images 400a-400e are shown, in other examples, the sequence of images received by the first model 212 can be more than five. In some embodiments, the camera 202 can have a frame rate of at least 10 frames per second (e.g., 15 fps), and the first model 212 can continue to receive images from the camera 202 at that rate for the duration that the driver is operating the vehicle.

いくつかの実施形態では、第１のモデルは、処理ユニット２１０によって複数の姿勢の分類化を提供するために使用される単一のモデルとすることができる。処理ユニット２１０は、複数の姿勢の分類化を並行してまたは順次に出力することができる。他の実施形態では、第１のモデルは、各サブモデルが、姿勢の特定の分類を検出するように構成されている複数のサブモデルを備えることができる。これらのサブモデルは、例えば、顔を検出するサブモデル、頭を上げた姿勢を検出するサブモデル、頭を下げた姿勢を検出するサブモデル、目を閉じている姿勢を検出するサブモデル、頭が前を向いている姿勢を検出するサブモデル、目が開いている姿勢を検出するサブモデル等とすることができる。 In some embodiments, the first model can be a single model used by the processing unit 210 to provide classifications of multiple poses. The processing unit 210 can output classifications of multiple poses in parallel or sequentially. In other embodiments, the first model can comprise multiple sub-models, each sub-model configured to detect a particular classification of poses. These sub-models can be, for example, a sub-model for detecting faces, a sub-model for detecting head-up poses, a sub-model for detecting head-down poses, a sub-model for detecting eyes-closed poses, a sub-model for detecting head-forward poses, a sub-model for detecting eyes-open poses, etc.

いくつかの実施形態では、処理ユニット２１０の第１のモデル２１２は、複数のそれぞれの姿勢の分類化に対してメトリック値を決定する、ように構成されている。処理ユニット２１０の第１のモデル２１２は、また、メトリック値をそれぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている。このような場合、処理ユニット２１０は、メトリック値の対応する値が、閾値の対応する値を満たすまたはそれを超える場合、運転者が姿勢の分類化の１つに属すると決定する、ように構成されている。例えば、異なる姿勢の分類化に対する閾値は０．６に設定することができる。このような場合、姿勢の分類化の任意のメトリック値の何れかが０．６を超えた場合、処理ユニット２１０は、運転者がその姿勢の分類化に属する姿勢（すなわち、メトリック値が０．６を超える姿勢）を有すると決定することができる。 In some embodiments, the first model 212 of the processing unit 210 is configured to determine a metric value for each of the plurality of posture classifications. The first model 212 of the processing unit 210 is also configured to compare the metric value to a respective threshold value for each posture classification. In such a case, the processing unit 210 is configured to determine that the driver belongs to one of the posture classifications if the corresponding value of the metric value meets or exceeds the corresponding value of the threshold value. For example, the threshold value for the different posture classifications may be set to 0.6. In such a case, if any of the metric values of any of the posture classifications exceeds 0.6, the processing unit 210 may determine that the driver has a posture that belongs to that posture classification (i.e., a posture with a metric value exceeding 0.6).

上記の例では、事前に設定された同じ閾値が、異なるそれぞれの姿勢の分類化に対して実装されている。他の実施形態では、少なくとも２つのそれぞれの姿勢の分類化に対する閾値の内の少なくとも２つは、異なる値を有することができる。また、上記の例では、姿勢の分類化のメトリック値の範囲は ０．０－１．０ （１．０ が最高）である。他の実施形態では、姿勢の分類化のメトリック値は、他の範囲を有することができる。また、他の実施形態では、メトリック値の規則は、より低いメトリック値が、運転者が特定の姿勢の分類化を満たしていることを示し、そしてより高いメトリック値が、運転者が特定の姿勢の分類化を満たしていないことを示すという様に、逆転させることもできる。 In the above example, the same pre-set thresholds are implemented for each of the different posture classifications. In other embodiments, at least two of the thresholds for at least two of the different posture classifications can have different values. Also, in the above example, the metric values for the posture classifications range from 0.0-1.0 (1.0 being the highest). In other embodiments, the metric values for the posture classifications can have other ranges. Also, in other embodiments, the metric value rules can be reversed, such that a lower metric value indicates that the driver meets a particular posture classification and a higher metric value indicates that the driver does not meet a particular posture classification.

上述したように、いくつかの実施形態では、第１のモデル２１２は、カメラ２０４からの運転者の画像を処理し、そして運転者が特定の姿勢の分類化に属するか否かを決定する、ように構成されている。姿勢の分類化は、姿勢の分類化のそれぞれが眠気の兆候を示すことができる「眠気」分類に属することができる。非限定的な例として、「眠気」分類の姿勢の分類化は、頭を下げた姿勢、目を閉じている姿勢の様な１つまたは複数、または運転者が眠気を催しているか否かを決定するのに役立つ他の姿勢とすることができる。これに代えてまたは加えて、姿勢の分類化は、姿勢の分類化のそれぞれが覚醒の兆候を示すことができる「覚醒」分類に属することもできる。非限定的な例として、姿勢の分類化は、携帯電話を使用している姿勢等、または運転者が眠気を催しているか否かを決定するのに役立つ他の姿勢、の内の１つまたは複数とすることができる。いくつかの実施形態では、特定の姿勢は、「眠気」分類と「覚醒」分類の両方に属すことができる。例えば、頭が前を向きそして目を開けた姿勢は、両方の分類に属すことができる。 As mentioned above, in some embodiments, the first model 212 is configured to process the image of the driver from the camera 204 and determine whether the driver belongs to a particular posture classification. The posture classification can belong to a "drowsy" classification, where each of the posture classifications can indicate signs of drowsiness. As a non-limiting example, the posture classifications of the "drowsy" classification can be one or more of a head-down posture, eyes-closed posture, or other postures that help determine whether the driver is drowsy. Alternatively or additionally, the posture classification can belong to an "awake" classification, where each of the posture classifications can indicate signs of wakefulness. As a non-limiting example, the posture classification can be one or more of a mobile phone use posture, or other postures that help determine whether the driver is drowsy. In some embodiments, a particular posture can belong to both the "drowsy" and "awake" classifications. For example, a head-forward and eyes-open posture can belong to both classifications.

図示されるように、第１のモデル２１２は、姿勢識別（または分類化）を特徴情報として出力することができる。第２のモデル２１４は、第１のモデル２１２から特徴情報を入力として取得し、そしてその特徴情報を処理して、運転者が眠気を催しているか否かを決定する。第２のモデル２１４は、運転者が眠気を催しているか否かを示す出力も生成する。 As shown, the first model 212 can output a posture identification (or classification) as feature information. The second model 214 takes the feature information from the first model 212 as input and processes the feature information to determine whether the driver is drowsy. The second model 214 also generates an output indicative of whether the driver is drowsy.

いくつかの実施形態では、第１のモデル２１２によって出力される特徴情報は、時系列データとすることができる。データの時系列は、異なるそれぞれの時間における異なる画像４００に対する運転者の姿勢の分類化とすることができる。特に、画像がカメラ２０４によって１つずつ連続的に生成されると、第１のモデル２１２は、画像を１つずつ順次に処理して、各画像の姿勢を決定する。第１のモデル２１２によって画像ごとに姿勢の分類化が決定されると、第１のモデル２１２は、その画像について決定された姿勢の分類化を特徴情報として出力する。従って、画像が第１のモデル２１２によって１つずつ受信されると、各画像の特徴情報も第１のモデル２１２によって１つずつ順次に出力される。 In some embodiments, the feature information output by the first model 212 may be time series data. The time series of data may be a classification of the driver's pose for different images 400 at different respective times. In particular, as the images are successively generated by the camera 204 one by one, the first model 212 processes the images sequentially one by one to determine the pose for each image. Once the pose classification for each image is determined by the first model 212, the first model 212 outputs the determined pose classification for that image as feature information. Thus, as the images are received one by one by the first model 212, the feature information for each image is also output by the first model 212 sequentially one by one.

図１０は、第２のモデル２１４が受信した特徴情報の一例を示す。図示されるように、特徴情報には、シーケンス内の異なるそれぞれの画像の姿勢の分類化が含まれていて、「Ｏ」は、画像内で運転者が「目を開けている（開眼している）」ことを示し、そして「Ｃ」は、画像内で運転者が「目を閉じている」姿勢であることを示す。特徴情報のシーケンスが第２のモデル２１４によって取得されると、第２のモデル２１４は特徴情報を分析して、運転者が眠気を催しているか否かを決定する。一実装形態では、第２のモデル２１４は、特徴情報のパターンを分析し、そしてそれが眠気と関連するパターン（例：眠気を示すパターン）であるか否かを決定するように、構成（例：プログラムする、作成する、訓練す等）することができる。例えば、第２のモデル２１４は、瞬き率、閉眼持続時間、瞼を閉じるのに要した時間、ＰＥＲＣＬＯＳ、または覚醒度または眠気を測定または示す他の測定基準の何れかを、特徴情報の時系列に基づいて決定するように、構成することができる。 FIG. 10 illustrates an example of feature information received by the second model 214. As illustrated, the feature information includes a classification of the pose of each different image in the sequence, with "O" indicating that the driver has "eyes open" in the image and "C" indicating that the driver has "eyes closed" in the image. Once the sequence of feature information is acquired by the second model 214, the second model 214 analyzes the feature information to determine whether the driver is drowsy. In one implementation, the second model 214 can be configured (e.g., programmed, created, trained, etc.) to analyze a pattern of the feature information and determine whether it is a pattern associated with drowsiness (e.g., a pattern indicative of drowsiness). For example, the second model 214 can be configured to determine any of the following metrics based on the time series of feature information: blink rate, eye closure duration, time taken to close eyelids, PERCLOS, or other metrics measuring or indicative of alertness or drowsiness.

いくつかの実施形態では、瞬き率が、眠気に関連する瞬き率閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。 In some embodiments, if the blink rate has a value that exceeds a blink rate threshold associated with drowsiness, the processing unit 210 can determine that the driver is drowsy.

これに代えてまたは加えて、閉眼期間が、眠気に関連する閉眼期間閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。眠気を催している人は、覚醒している人に比べて目を閉じている時間が長くなる可能性がある。 Alternatively or additionally, if the eye closure duration has a value that exceeds an eye closure duration threshold associated with drowsiness, the processing unit 210 may determine that the driver is drowsy. A drowsy person may have their eyes closed for longer periods of time than an alert person.

これに代えてまたは加えて、瞼を閉じるのに要した時間が、眠気と関連する時間閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。瞼を閉じるのに要した時間は、目が実質的に開いている（例：少なくとも８０％開いている、少なくとも９０％開いている、１００％開いている等）状態と、瞼が実質的に閉じている（例：少なくとも７０％閉じている、少なくとも８０％閉じている、少なくとも９０％閉じている、１００％閉じている等）までの時間間隔であることに留意されたい。眠気を催している人は、覚醒している人に比べて瞼を閉じる速度が遅くなる傾向がある。 Alternatively or additionally, if the time taken to close the eyelids has a value that exceeds a time threshold associated with drowsiness, the processing unit 210 may determine that the driver is drowsy. Note that the time taken to close the eyelids is the time interval between the eyes being substantially open (e.g., at least 80% open, at least 90% open, 100% open, etc.) and the eyelids being substantially closed (e.g., at least 70% closed, at least 80% closed, at least 90% closed, 100% closed, etc.). Drowsy individuals tend to close their eyelids slower than awake individuals.

これに代えてまたは加えて、ＰＥＲＣＬＯＳが、眠気と関連するＰＥＲＣＬＯＳ閾値を超える値を有する場合、処理ユニット２１０は、運転者が眠気を催していると決定することができる。ＰＥＲＣＬＯＳは、目が、1分間に少なくとも８０％閉じられている時間の割合を示す眠気の指標であることに留意されたい。ＰＥＲＣＬＯＳは、時間の経過に対する瞳孔上の瞼の閉鎖の割合であり、そして瞬きではなくゆっくりと瞼が閉じることを反映する。 Alternatively or additionally, if PERCLOS has a value that exceeds a PERCLOS threshold associated with drowsiness, the processing unit 210 may determine that the driver is drowsy. Note that PERCLOS is an index of drowsiness that indicates the percentage of time during a minute that the eyes are at least 80% closed. PERCLOS is the percentage of eyelid closure over the pupil over time and reflects slow eyelid closure rather than blinking.

第１のモデル２１２によって第２のモデル２１４に提供される特徴情報は、図１０に記載された姿勢の分類化の例に限定されないことに留意されたい。また、眠気を検出するために第２のモデル２１４によって使用される特徴情報は、他の姿勢の分類化を含むことができる。図１１は、第２のモデル２１４によって受信される特徴情報の別の例を示す。図示されるように、特徴情報は、シーケンス内の異なるそれぞれの画像に対する姿勢の分類化を含む。ここで、「Ｓ」は、画像内で運転者の姿勢が「頭が前を向いている」状態であることを示し、そして「Ｄ」は、画像内で運転者の姿勢が「頭を下げた」状態であることを示す。特徴情報のシーケンスが第２のモデル２１４によって取得されると、第２のモデル２１４は特徴情報を分析して、そして運転者が眠気を催しているか否かを決定する。例えば、「頭が前を向いている」および「頭を下げた」姿勢の分類化が、眠気と関連する特定のパターンで繰り返される場合、処理ユニットは、運転者が眠気を催していると決定することができる。一実装形態では、第２のモデル２１４は、特徴情報のパターンを分析し、そしてそれが眠気と関連するパターン（例：眠気を示すパターン）であるか否かを決定するように、構成（例：プログラムする、作成する、訓練する等）することができる。 It should be noted that the feature information provided by the first model 212 to the second model 214 is not limited to the example of posture categorization described in FIG. 10. Also, the feature information used by the second model 214 to detect drowsiness can include other posture categorizations. FIG. 11 shows another example of feature information received by the second model 214. As shown, the feature information includes posture categorizations for each different image in the sequence. Here, "S" indicates that the driver's posture is "head forward" in the image, and "D" indicates that the driver's posture is "head down" in the image. Once the sequence of feature information is obtained by the second model 214, the second model 214 analyzes the feature information and determines whether the driver is drowsy. For example, if the posture categorizations of "head forward" and "head down" are repeated in a particular pattern associated with drowsiness, the processing unit can determine that the driver is drowsy. In one implementation, the second model 214 can be configured (e.g., programmed, created, trained, etc.) to analyze a pattern of the characteristic information and determine whether it is a pattern associated with drowsiness (e.g., a pattern indicative of drowsiness).

いくつかの実施形態では、第１のモデル２１２によって第２のモデル２１４に提供される特徴情報は、異なる姿勢の分類化を異なる時点に関連付けることを可能にするデータ構造を有することができる。また、いくつかの実施形態では、このようなデータ構造は、１つまたは複数の姿勢の分類化を特定の時点に関連付けることも可能にする。 In some embodiments, the feature information provided by the first model 212 to the second model 214 may have a data structure that allows different pose categorizations to be associated with different time points. In some embodiments, such a data structure also allows one or more pose categorizations to be associated with a particular time point.

また、いくつかの実施形態では、第１のモデル２１２の出力は、第１のモデル２１２によって検出された姿勢の数値表現を提供する数値ベクトル（例：埋め込みの様な低次元数値ベクトル）とすることができる。数値ベクトルは、人間には解釈できないが、検出された姿勢に関する情報を提供することができる。 Also, in some embodiments, the output of the first model 212 can be a numerical vector (e.g., a low-dimensional numerical vector, such as an embedding) that provides a numerical representation of the pose detected by the first model 212. The numerical vector is not human interpretable, but can provide information about the detected pose.

いくつかの実施形態では、第１のモデル２１２は、ニューラルネットワークモデルとすることができる。このような場合、このニューラルネットワークモデルは、他の運転者の画像に基づいて訓練させることができる。例えば、このニューラルネットワークモデルは、頭を下げた姿勢、頭を上げた姿勢、頭が前を向いている姿勢、目を閉じている姿勢、目が開いている姿勢、携帯電話を使用している姿勢の様な様々な姿勢を識別するために、運転者の画像を使用して訓練させることができる。他の実施形態では、第１のモデル２１２は、このニューラルネットワークモデルとは異なる他のタイプの任意のモデルとすることができる。 In some embodiments, the first model 212 may be a neural network model. In such a case, the neural network model may be trained based on images of other drivers. For example, the neural network model may be trained using images of drivers to identify various poses, such as head down pose, head up pose, head facing forward pose, eyes closed pose, eyes open pose, and pose using a mobile phone. In other embodiments, the first model 212 may be any other type of model different from the neural network model.

また、いくつかの実施形態では、第２のモデル２１４は、ニューラルネットワークモデルとすることができる。このような場合、このニューラルネットワークモデルは、特徴情報に基づいて訓練させることができる。例えば、特徴情報は、姿勢の分類化の様な運転者の状態を示す何れかの情報とすることができる。一実施形態では、このニューラルネットワークモデルは、第１のモデル２１２によって出力される特徴情報を使用して訓練させることができる。他の実施形態では、第２のモデル２１４は、このニューラルネットワークモデルとは異なる他のタイプの何れかのモデルとすることができる。 Also, in some embodiments, the second model 214 may be a neural network model. In such a case, the neural network model may be trained based on the feature information. For example, the feature information may be any information indicative of the driver's state, such as a posture classification. In one embodiment, the neural network model may be trained using the feature information output by the first model 212. In other embodiments, the second model 214 may be any other type of model different from the neural network model.

いくつかの実施形態では、運転者の姿勢を識別するために処理ユニット２１０によって使用される第１のモデル２１２は、畳み込みニューラルネットワークモデルとすることができる。他の実施形態では、第１のモデル２１２は単純に任意の数学モデルとすることができる。また、いくつかの実施形態では、運転者が眠気を催しているか否かを決定するために処理ユニット２１０によって使用される第２のモデル２１４は、畳み込みニューラルネットワークモデルとすることができる。他の実施形態では、第２のモデル２１４は単純に任意の数学モデルとすることができる。 In some embodiments, the first model 212 used by the processing unit 210 to identify the driver's posture can be a convolutional neural network model. In other embodiments, the first model 212 can simply be any mathematical model. Also, in some embodiments, the second model 214 used by the processing unit 210 to determine whether the driver is drowsy can be a convolutional neural network model. In other embodiments, the second model 214 can simply be any mathematical model.

いくつかの実施形態では、第１のモデル２１２は、コンテキストに基づいて姿勢を分類するように訓練された第１のニューラルネットワークモデルとすることができる。例えば、運転者の頭が下を向いている場合、このニューラルネットワークモデルは、例え、運転者の目を検出することができなくても（例：目が帽子によって遮られているため)、運転者が前を見ていないと決定することができる。また、いくつかの実施形態では、第２のモデル２１４は、コンテキストに基づいて運転者が眠気を催しているか否かを決定するように訓練された第２のニューラルネットワークモデルとすることができる。例えば、瞬きの割合が特定の閾値を超えた場合、および／または頭を下にした姿勢と頭が前を向いている姿勢が周期的なパターンで繰り返された場合、このニューラルネットワークモデルは、運転者が眠気を催していると決定することができる。別の例として、瞼を閉じるのに要した時間が特定の閾値を超えた場合、このニューラルネットワークモデルは、運転者が眠気を催していると決定することができる。 In some embodiments, the first model 212 can be a first neural network model trained to classify postures based on context. For example, if the driver's head is down, the neural network model can determine that the driver is not looking ahead even if the driver's eyes cannot be detected (e.g., because the eyes are obscured by a hat). In some embodiments, the second model 214 can be a second neural network model trained to determine whether the driver is drowsy based on context. For example, the neural network model can determine that the driver is drowsy if the blink rate exceeds a certain threshold and/or if the head-down and head-forward postures are repeated in a periodic pattern. As another example, the neural network model can determine that the driver is drowsy if the time it takes to close the eyelids exceeds a certain threshold.

いくつかの実施形態では、深層学習または人工知能は、運転者の姿勢を特定するおよび／または運転者が眠気を催しているか否かを決定する１つまたは複数のモデルの開発に、使用することができる。このようなモデルは、眠気を催している運転者と覚醒している運転者を区別することができる。 In some embodiments, deep learning or artificial intelligence can be used to develop one or more models to identify a driver's posture and/or determine whether a driver is drowsy. Such models can distinguish between drowsy and awake drivers.

処理ユニット２１０は、ニューラルネットワークモデルを使用して姿勢の分類化をおよび／または運転者が眠気を催している否かを決定することに限定されず、そして処理ユニット２１０は、任意の処理技術、アルゴリズム、または処理アーキテクチャを使用して姿勢の分類化をおよび／または運転者が眠気を催しているか否かを決定することができることに留意されたい。非限定的な例として、処理ユニット２１０は、方程式、回帰、分類化、ニューラルネットワーク（例：畳み込みニューラルネットワーク、深層ニューラルネットワーク）、ヒューリスティックス、選択（例：ライブラリ、グラフ、またはチャートから）、画像を処理するためのインスタンスベースの方法（例：最近傍法)、相関法、正則化法（例：リッジ回帰)、決定木、ベイジアン法、カーネル法、確率、決定論、または上記の２つ以上の組み合わせ（複数の）を使用して、カメラ２０４からの画像を処理して、姿勢の分類化を決定する、および／または時系列の特徴情報を処理して、運転者が眠気を催しているか否かを決定する。姿勢の分類化は、二値分類または二値スコア（例：頭を下げているか否か）、スコア（例：連続的または不連続）、分類化（例：高、中、低）とすることができ、またはこれに代えて、姿勢の分類化の他の任意の適切な尺度とすることができる。同様に、眠気の分類化は、二値分類または二値スコア（例：眠気を催している否か）、スコア（例：連続的または不連続）、分類（例：高、中、低）とすることが出来、または他の任意の適切な眠気の尺度とすることができる。 It should be noted that the processing unit 210 is not limited to using a neural network model to classify posture and/or determine whether the driver is drowsy, and the processing unit 210 can use any processing technique, algorithm, or processing architecture to classify posture and/or determine whether the driver is drowsy. As non-limiting examples, the processing unit 210 may process images from the camera 204 to determine posture classification and/or process time series feature information to determine whether the driver is drowsy using equations, regression, classification, neural networks (e.g., convolutional neural networks, deep neural networks), heuristics, selection (e.g., from libraries, graphs, or charts), instance-based methods for processing images (e.g., nearest neighbor methods), correlation methods, regularization methods (e.g., ridge regression), decision trees, Bayesian methods, kernel methods, probability, determinism, or a combination (or combinations) of two or more of the above. The classification of posture can be a binary classification or score (e.g., head down or not), a score (e.g., continuous or discrete), a classification (e.g., high, medium, low), or alternatively any other suitable measure of posture classification. Similarly, the classification of drowsiness can be a binary classification or score (e.g., drowsy or not), a score (e.g., continuous or discrete), a classification (e.g., high, medium, low), or alternatively any other suitable measure of drowsiness.

いくつかの実施形態では、運転者が眠気を催しているか否かの決定は、ある期間、例えば、少なくとも１秒の何分の１、１秒、２秒、５秒、１０秒、１２秒、１５ 秒、２０秒、３０秒、１分、２分、５分、１０分、１５分、２０分、２５分、３０分、４０分等である様な期間に渡って発生する運転者の姿勢の分類化のパターンを分析することによって達成することができる。この期間は、（例えば、少なくとも１秒の何分の１、１秒、２秒、５秒、１０秒、１２秒、１５ 秒、２０秒、３０秒、１分、２分、５分、１０分、１５分、２０分、２５分、３０分、４０分等の最後の持続時間に発生したデータを識別するための）移動ウィンドウまたは移動ボックスの事前に決定された任意の持続時間とすることができる。 In some embodiments, the determination of whether the driver is drowsy can be accomplished by analyzing patterns of classifications of the driver's posture that occur over a period of time, such as a period of time that is at least a fraction of a second, 1 second, 2 seconds, 5 seconds, 10 seconds, 12 seconds, 15 seconds, 20 seconds, 30 seconds, 1 minute, 2 minutes, 5 minutes, 10 minutes, 15 minutes, 20 minutes, 25 minutes, 30 minutes, 40 minutes, etc. The period of time can be any pre-determined duration of a moving window or moving box (e.g., to identify data that occurred during the last duration of at least a fraction of a second, 1 second, 2 seconds, 5 seconds, 10 seconds, 12 seconds, 15 seconds, 20 seconds, 30 seconds, 1 minute, 2 minutes, 5 minutes, 10 minutes, 15 minutes, 20 minutes, 25 minutes, 30 minutes, 40 minutes, etc.).

いくつかの実施形態では、第１のモデル２１２および第２のモデル２１４は、１秒以内、１― １．５秒の間または２秒以上の持続時間に渡って起こるゆっくりとした瞼の閉鎖の様な「微小睡眠」イベントを協働して検出する、ように構成することができる。他の実施形態では、第１のモデル２１２および第２のモデル２１４は、１０秒、１２秒、１５秒、２０秒、３０秒、１分、２分、５分、１０分、１５分、２０分、２５分、３０分、４０分等より長い期間の様な、より長い期間に捕獲された画像に基づいて眠気の初期の兆候を協働して検出する、ように構成することができる。 In some embodiments, the first model 212 and the second model 214 can be configured to cooperatively detect "microsleep" events, such as slow eyelid closures that occur within 1 second, between 1-1.5 seconds, or for durations of 2 seconds or more. In other embodiments, the first model 212 and the second model 214 can be configured to cooperatively detect early signs of drowsiness based on images captured over a longer period of time, such as 10 seconds, 12 seconds, 15 seconds, 20 seconds, 30 seconds, 1 minute, 2 minutes, 5 minutes, 10 minutes, 15 minutes, 20 minutes, 25 minutes, 30 minutes, 40 minutes, etc.

上記の例で示したように、眠気を検出するために複数の逐次モデルを使用することは有利である。特に、（１）運転者の姿勢を識別するために（各カメラ画像が生成されるたびに１つずつ)カメラ画像を処理する第１のモデルと、（２）第１のモデルによるカメラ画像の処理により得られた特徴情報を処理する第２のモデルとを組み合わせた手法が、処理ユニット２１０が画像のシーケンスをバッチで収集し、そしてカメラ画像（ビデオ）のバッチを一緒に処理すること不要とする。これにより、計算リソースとメモリ空間が大幅に節約される。更に、上記の例で説明したように、第２のモデルは、カメラからの画像を処理しない。これに代えて、第２のモデルは、第１のモデルからの出力として特徴情報を受信し、そしてこの特徴情報を処理して運転者が眠気を催しているか否かを決定する。これは、特徴情報の処理が、カメラ画像のバッチを処理するよりも簡単かつ高速であるため、有利である。また、コンテキストベースの分類は、処理ユニット２１０が運転者の異なる姿勢を正確に識別することを可能にするので、有利である。場合によっては、例え、装置２００がヴィークルに対して非常にずれた角度で取り付けられている場合でも（この結果、運転者がカメラ画像内で奇妙な角度および／または位置に現れる可能性がある）、コンテキストベースの識別は、処理ユニット２１０が、依然として運転者の姿勢を正確に識別することを可能とするであろう。アフターマーケット製品は、異なる位置に取り付けられる可能性がある。また、本明細書で説明する特徴は、装置２００が異なる角度で取り付けられている場合でも、それらが、運転者が眠気を催しているか否かを決定することを可能にする点でも、有利である。 As shown in the above example, it is advantageous to use multiple sequential models to detect drowsiness. In particular, the combination of (1) a first model that processes camera images (one for each camera image generated) to identify the driver's posture and (2) a second model that processes feature information obtained by processing the camera images by the first model eliminates the need for the processing unit 210 to collect a sequence of images in batches and process the batches of camera images (videos) together. This saves a lot of computational resources and memory space. Furthermore, as described in the above example, the second model does not process images from the camera. Instead, the second model receives feature information as output from the first model and processes this feature information to determine whether the driver is drowsy or not. This is advantageous because processing the feature information is easier and faster than processing a batch of camera images. Also, the context-based classification is advantageous because it allows the processing unit 210 to accurately identify different postures of the driver. In some cases, even if device 200 is mounted at a very odd angle relative to the vehicle (which may result in the driver appearing at odd angles and/or positions in the camera image), context-based identification will still allow processing unit 210 to accurately identify the driver's posture. Aftermarket products may be mounted in different positions. The features described herein are also advantageous in that they allow the device 200 to determine whether the driver is drowsy even when mounted at a different angle.

処理ユニット２１０は、運転者が眠気を催していることを示す姿勢（例：「眠気」分類に属する姿勢）を検出することに限定されないことに留意されたい。他の実施形態では、処理ユニット２１０は、運転者が覚醒していることを示す姿勢（例：「覚醒」分類に属する姿勢）を検出するように構成することもできる。さらなる実施形態では、処理ユニット２１０は、（１）運転者が眠気を催していることを示す姿勢および（２）運転者が覚醒していることを示す姿勢の両方を検出するように構成することもできる。 It should be noted that processing unit 210 is not limited to detecting postures indicative of a driver being drowsy (e.g., postures in the "drowsy" category). In other embodiments, processing unit 210 may be configured to detect postures indicative of a driver being awake (e.g., postures in the "awake" category). In further embodiments, processing unit 210 may be configured to detect both (1) postures indicative of a driver being drowsy and (2) postures indicative of a driver being awake.

いくつかの実施形態では、処理ユニット２１０は、運転者が眠気を催しているか否かを決定するための追加パラメータを（例：受信または決定することによって）取得することができる。非限定的な例として、処理ユニット２１０は、ヴィークルの加速度、ヴィークルの減速度、走行車線に対するヴィークルの位置、運転者の運転への参加に関する情報等を取得するように、構成することができる。場合によっては、第２のモデル２１４が、上記のパラメータの内の１つまたは複数を取得することができ、第２のモデル２１４は、次いで、第１のモデル２１２からの出力およびこのようなパラメータに基づいて、運転者が眠気を催しているか否かを決定する。加速度、減速度、および運転者の参加に関する情報が、運転者が積極的に運転しているか否かを示す指標であることは、留意すべきである。例えば、運転者が速度を変えているまたはステアリングホイールを回している場合、運転者が眠気を催す可能性は低い。いくつかの実施形態では、ヴィークル内に組み込まれたセンサは、加速および減速情報を提供することができる。このような場合、処理ユニット２１０は、このような情報を受信するためにヴィークルシステムに配線接続させることができる。これに代えて、処理ユニット２１０は、このような情報を無線で受信するように構成することもできる。さらなる実施形態では、処理ユニット２１０を備える装置２００は、オプションとして、加速度および減速度を検出するための加速度計を、更に、備えることができる。このような場合、第２のモデル２１４は、加速度計から加速度および／または減速度情報を取得するように構成することができる。また、運転者の参加に関する情報は、運転者がヴィークルを運転しているか否かを示す任意の情報とすることができる。非限定的な例として、このような情報は、ステアリングホイールをターンさせているまたはターンさせていない、ターニングライトレバーを動作しているまたは動作していない、ギアを変更しているまたは変更していない、ブレーキを踏んでいるまたは踏んでいない、アクセルペダルを踏込んでいるまたは踏込んでいない、の内の1つまたは複数を含むことができる。いくつかの実施形態では、運転者の参加に関する情報は、過去の特定の期間内（例：過去１０秒以上以内、過去２０秒以上以内、過去３０秒以上以内、または過去1分以上以内等の一定期間内）に発生した運転者の参加に関する情報とすることができる。 In some embodiments, the processing unit 210 can obtain (e.g., by receiving or determining) additional parameters for determining whether the driver is drowsy. As a non-limiting example, the processing unit 210 can be configured to obtain vehicle acceleration, vehicle deceleration, the position of the vehicle relative to the driving lane, information regarding the driver's participation in driving, and the like. In some cases, the second model 214 can obtain one or more of the above parameters, and the second model 214 then determines whether the driver is drowsy based on the output from the first model 212 and such parameters. It should be noted that the acceleration, deceleration, and information regarding the driver's participation are indicators of whether the driver is actively driving. For example, if the driver is changing speed or turning the steering wheel, the driver is unlikely to be drowsy. In some embodiments, sensors built into the vehicle can provide acceleration and deceleration information. In such cases, the processing unit 210 can be hardwired to the vehicle system to receive such information. Alternatively, the processing unit 210 may be configured to receive such information wirelessly. In a further embodiment, the device 200 including the processing unit 210 may further include an optional accelerometer for detecting acceleration and deceleration. In such a case, the second model 214 may be configured to obtain the acceleration and/or deceleration information from the accelerometer. The information regarding the driver's participation may be any information indicating whether the driver is driving the vehicle. As a non-limiting example, such information may include one or more of turning or not turning the steering wheel, operating or not operating the turning light lever, changing or not changing gears, applying or not applying the brake, and applying or not applying the accelerator pedal. In some embodiments, the information regarding the driver's participation may be information regarding the driver's participation that occurred within a certain period of time in the past (e.g., within a certain period of time such as within the past 10 seconds or more, within the past 20 seconds or more, within the past 30 seconds or more, or within the past minute or more).

更に、いくつかの実施形態では、走行車線に対するヴィークルの位置は、処理ユニット２１０が外部に向くカメラ２０２からの画像を処理することによって、決定することができる。特に、処理ユニット２１０は、ヴィークルが車線の中心線から一定の閾値内を走行しているか否かを決定する、ように構成されている。ヴィークルが車線の中心線から一定の閾値内を走行している場合、これは運転者が積極的に運転に参加していることを意味する。一方、ヴィークルが閾値を超えて車線の中心線から外れている場合、これは、運転者が運転に積極的に参加していない可能性があることを意味する。いくつかの実施形態では、第２のモデル２１４が、第１のカメラ２０２から画像を受信し、そしてヴィークルが車線の中心線から特定の閾値内を走行しているか否かを決定するように構成することができる。他の実施形態では、別のモジュールが、この機能を提供するように構成することができる。このような場合、モジュールの出力は第２のモデル２１４に入力され、このモデル２１４がモジュールの出力に基づいて運転者が眠気を催しているか否かを決定することを可能にする。 Furthermore, in some embodiments, the position of the vehicle relative to the driving lane can be determined by the processing unit 210 processing the images from the outward facing camera 202. In particular, the processing unit 210 is configured to determine whether the vehicle is traveling within a certain threshold of the lane centerline. If the vehicle is traveling within a certain threshold of the lane centerline, this means that the driver is actively participating in the driving. On the other hand, if the vehicle is deviating from the lane centerline by more than the threshold, this means that the driver may not be actively participating in the driving. In some embodiments, a second model 214 can be configured to receive the images from the first camera 202 and determine whether the vehicle is traveling within a certain threshold of the lane centerline. In other embodiments, a separate module can be configured to provide this functionality. In such a case, the output of the module is input to the second model 214, enabling the model 214 to determine whether the driver is drowsy based on the output of the module.

また、本明細書に記載の１つ以上の実施形態では、処理ユニット２１０は、更に、運転者が眠気を催しているか否かに基づいて、衝突のリスクを決定するように構成することができる。いくつかの実施形態では、処理ユニット２１０は、運転者が眠気を催しているか否かのみに基づいて衝突のリスクを決定するように構成することができる。例えば、処理ユニット２１０は、運転者が眠気を催している場合、衝突のリスクが「高い」と決定し、運転者が眠気を催していない（例：注意を払っている）場合、衝突のリスクは「低い」と決定することができる。他の実施形態では、処理ユニット２１０は、追加情報に基づいて衝突リスクを決定するように構成することができる。例えば、処理ユニット２１０は、運転者がどの程度眠気を催しているかを追跡するように構成することができ、そして眠気の持続時間に基づいて衝突リスクレベルを決定することができる。 Also, in one or more embodiments described herein, the processing unit 210 can be further configured to determine the risk of collision based on whether the driver is drowsy. In some embodiments, the processing unit 210 can be configured to determine the risk of collision based solely on whether the driver is drowsy. For example, the processing unit 210 can determine that the risk of collision is “high” if the driver is drowsy and that the risk of collision is “low” if the driver is not drowsy (e.g., paying attention). In other embodiments, the processing unit 210 can be configured to determine the risk of collision based on additional information. For example, the processing unit 210 can be configured to track how drowsy the driver is and can determine the collision risk level based on the duration of the drowsiness.

別の例として、処理ユニット２１０は、第１のカメラ２０２からの画像を処理して出力を決定し、そしてこのような出力に基づいて、姿勢の分類化および／または眠気決定との組み合わせにより衝突リスクを決定することができる。非限定的な例として、出力は、運転状態の分類化、外部環境の分類化、環境の決定された特徴、ヴィークルの動作の状況等とすることができる。ヴィークルの外部環境を捕捉するカメラ画像は、ヴィークルが、左折している、直進している、右折しているかを処理ユニット２１０が決定する処理を行うことによって、対象ヴィークル等の前方に障害物（例：ヴィークル、歩行者等）が存在するか否かが処理される。眠気が検出されている間に、ヴィークルが、ターンしている場合、および／またはヴィークルの走行路上に障害物が検出された場合、処理ユニット２１０は、衝突のリスクが高いと決定するができる。 As another example, the processing unit 210 can process images from the first camera 202 to determine an output, and based on such output, determine a collision risk in combination with a posture classification and/or drowsiness determination. By way of non-limiting example, the output can be a driving state classification, an external environment classification, determined characteristics of the environment, a vehicle operation status, etc. The camera images capturing the vehicle's external environment are processed to determine whether an obstacle (e.g., vehicle, pedestrian, etc.) is present in front of the subject vehicle, etc., by processing the processing unit 210 to determine whether the vehicle is turning left, going straight, turning right, etc. If the vehicle is turning while drowsiness is detected and/or an obstacle is detected in the vehicle's path, the processing unit 210 can determine that there is a high risk of collision.

処理ユニット２１０の第２のモデル２１４は、第１のモデル２１２からの出力のみを受信することに限定されないことに留意されたい。第２のモデル２１４は、第１のモデル２１２からの出力に加えた他の情報を（入力として）受信する、ように構成することもできる。例えば、他の実施形態では、第２のモデル２１４は、ヴィークルに取り付けられた１つまたは複数のセンサからセンサ信号を受信する、ように構成することができる。このセンサは、ヴィークルの運動特性および／または動作特性についての情報を感知する、ように構成することができる。非限定的な例として、第２のモデル２１４によって取得されるセンサ信号は、加速度計信号、ジャイロスコープ信号、速度信号、位置信号（例：ＧＰＳ信号）等、またはこれらの任意の組み合わせとすることができる。さらなる実施形態では、処理ユニット２１０は、センサ信号を処理する処理モジュールを含むことができる。このような場合、第２のモデル２１４は、処理モジュールから処理されたセンサ信号を受信する、ように構成することができる。いくつかの実施形態では、第２のモデル２１４は、衝突のリスクを決定するために、（センサによって提供される）センサ信号または（処理モジュールから提供される）処理されたセンサ信号を処理する、ように構成することができる。衝突リスクの決定は、眠気の検出とセンサ信号に基づいて行うことができる。他の実施形態では、衝突リスクの決定は、眠気の検出、センサ信号、およびカメラ２０２によって捕捉されたヴィークル外部の周囲環境の画像に基づくことができる。 It should be noted that the second model 214 of the processing unit 210 is not limited to receiving only the output from the first model 212. The second model 214 may also be configured to receive other information (as input) in addition to the output from the first model 212. For example, in other embodiments, the second model 214 may be configured to receive sensor signals from one or more sensors attached to the vehicle. The sensors may be configured to sense information about the motion and/or operating characteristics of the vehicle. As a non-limiting example, the sensor signals acquired by the second model 214 may be accelerometer signals, gyroscope signals, velocity signals, position signals (e.g., GPS signals), etc., or any combination thereof. In further embodiments, the processing unit 210 may include a processing module that processes the sensor signals. In such a case, the second model 214 may be configured to receive the processed sensor signals from the processing module. In some embodiments, the second model 214 can be configured to process the sensor signal (provided by the sensor) or the processed sensor signal (provided by the processing module) to determine a risk of collision. The determination of the risk of collision can be based on the detection of drowsiness and the sensor signal. In other embodiments, the determination of the risk of collision can be based on the detection of drowsiness, the sensor signal, and an image of the surrounding environment outside the vehicle captured by the camera 202.

また、いくつかの実施形態では、処理ユニット２１０は、カメラ２０４の画像に取り込まれた運転者の１つまたは複数の顔のランドマークを検出するように構成されている顔のランドマーク検出モジュールを含むことができる。このような場合、第２のモデル２１４は、顔のランドマーク検出モジュールから出力を受信する、ように構成することができる。場合によっては、第２のモデル２１４は、顔のランドマーク検出モジュールからの出力を使用して、眠気および／または覚醒状態を決定することができる。これに代えてまたは加えて、顔のランドマーク検出モジュールからの出力を使用して、第２のモデル２１４を訓練することもできる。 Also, in some embodiments, processing unit 210 may include a facial landmark detection module configured to detect one or more facial landmarks of the driver captured in the image of camera 204. In such a case, second model 214 may be configured to receive output from the facial landmark detection module. In some cases, second model 214 may use output from the facial landmark detection module to determine drowsiness and/or alertness. Alternatively or additionally, output from the facial landmark detection module may be used to train second model 214.

また、いくつかの実施形態では、処理ユニット２１０は、カメラ２０４の画像に取り込まれた運転者の１つまたは複数の目のランドマークを検出する、ように構成されている目のランドマーク検出モジュールを含むことができる。このような場合、第２のモデル２１４は、目のランドマーク検出モジュールからの出力を受信する、ように構成することができる。場合によっては、第２のモデル２１４は、目のランドマーク検出モジュールからの出力を使用して、眠気および／または覚醒状態を決定することができる。これに代えてまたは加えて、目のランドマーク検出モジュールからの出力は、第２のモデル２１４を訓練するために使用することもできる。目のランドマークは、瞳孔、眼球、瞼等、または運転者の目に関連する任意の特徴とすることができる。 Also, in some embodiments, the processing unit 210 may include an eye landmark detection module configured to detect one or more eye landmarks of the driver captured in the image of the camera 204. In such a case, the second model 214 may be configured to receive an output from the eye landmark detection module. In some cases, the second model 214 may use the output from the eye landmark detection module to determine drowsiness and/or alertness. Alternatively or additionally, the output from the eye landmark detection module may be used to train the second model 214. The eye landmark may be a pupil, an eyeball, an eyelid, etc., or any feature associated with the driver's eye.

いくつかの実施形態では、第２のモデル２１４が、第１のモデル２１２からの出力に加えて、１つ以上の他の情報を受信する、ように構成されている場合、第２のモデル２１４は、１つ以上の情報と第１のモデル２１２からの出力を並列に受信する、ように構成することができる。これにより、第２のモデル２１４が、異なる情報を独立しておよび／または同時に受信することが可能になる。 In some embodiments, if the second model 214 is configured to receive one or more other pieces of information in addition to the output from the first model 212, the second model 214 may be configured to receive the one or more pieces of information and the output from the first model 212 in parallel. This allows the second model 214 to receive different pieces of information independently and/or simultaneously.

図１２は、図１１の装置２００によって実行される、いくつかの実施形態による図２Ａに示される方法６５０を示す。この方法６５０は、カメラがヴィークルの運転者の画像を生成すること（項目６５２）；処理ユニットの第１のモデルが画像を処理して特徴情報を取得すること（項目６５４）；第１のモデルが特徴情報を提供すること（項目６５６）；第２のモデルが、第１のモデルから特徴情報を取得すること（項目６５８）；そして、第２のモデルが特徴情報を処理して、運転者が眠気を催しているか否かを示す出力を取得すること（項目６６０）を含む。 FIG. 12 illustrates a method 650 shown in FIG. 2A according to some embodiments, performed by the device 200 of FIG. 11. The method 650 includes a camera generating an image of a driver of a vehicle (item 652); a first model of a processing unit processing the image to obtain feature information (item 654); the first model providing the feature information (item 656); a second model obtaining the feature information from the first model (item 658); and the second model processing the feature information to obtain an output indicative of whether the driver is drowsy (item 660).

運転者監視モジュール２１１が決定することができる姿勢は、ここで説明された例に限定されず、そして運転者監視モジュール２１１は、運転者の他の姿勢または動作を決定することができることに留意されたい。非限定的な例として、運転者監視モジュール２１１は、運転者の会話、歌、食事、空想等、またはこれらの任意の組み合わせを検出する、ように構成することができる。認知的に注意力散漫である状態（例：会話）を検出することは有利である。何故ならば、例え、運転者が道路を見ている場合であっても、（運転者が運転に注意力を保持している場合と比較して）運転者が認知的に注意力散漫である場合、交差点での違反のリスクおよび／または衝突のリスクが高くなる可能性があるためである。 It should be noted that the postures that the driver monitoring module 211 may determine are not limited to the examples described herein, and the driver monitoring module 211 may determine other postures or actions of the driver. As a non-limiting example, the driver monitoring module 211 may be configured to detect the driver talking, singing, eating, daydreaming, etc., or any combination thereof. Detecting a cognitively distracted state (e.g., talking) is advantageous because there may be a higher risk of violations and/or collisions at intersections when the driver is cognitively distracted (compared to the driver maintaining attention on driving) even if the driver is looking at the road.

衝突予測Collision prediction

図１３は、いくつかの実施形態による処理アーキテクチャ６７０の一例を示す。処理アーキテクチャ６７０の少なくとも一部は、いくつかの実施形態の図２Ａの装置を使用して実装することができる。処理アーキテクチャ６７０は、対象ヴィークルと衝突するリスクがある画像内のオブジェクトを検出するための関心領域を決定するように構成されている校正モジュール６７１、ヴィークルを検出するように構成されているヴィークル検出器６７２、および対象ヴィークルの１つ以上の状態に関する情報を取得するように構成されているヴィークル状態モジュール６７４、を含む。処理アーキテクチャ６７０は、また、追跡器６７６と衝突までの時間（ＴＴＣ）計算ユニット６８０とを有する衝突予測器６７５を含む。処理アーキテクチャ６７０は、更に、対象ヴィークルの運転者が注意力散漫であるか否かを決定するように構成されている運転者監視モジュール６７８を含む。処理アーキテクチャ６７０は、また、衝突予測器６７５によって提供される出力に基づいて特定のイベントの検出に応答して制御信号６８４を生成する、ように構成されているイベントトリガモジュール６８２と、運転者監視モジュール６７８によって提供される出力に基づいてコンテキスト警告６８８を提供する、ように構成されているコンテキストイベントモジュール６８６とを含む。 13 illustrates an example of a processing architecture 670 according to some embodiments. At least a portion of the processing architecture 670 can be implemented using the apparatus of FIG. 2A in some embodiments. The processing architecture 670 includes a calibration module 671 configured to determine an area of interest for detecting objects in an image that are at risk of collision with a target vehicle, a vehicle detector 672 configured to detect a vehicle, and a vehicle status module 674 configured to obtain information regarding one or more states of the target vehicle. The processing architecture 670 also includes a collision predictor 675 having a tracker 676 and a time to collision (TTC) calculation unit 680. The processing architecture 670 further includes a driver monitoring module 678 configured to determine whether a driver of the target vehicle is distracted. The processing architecture 670 also includes an event trigger module 682 configured to generate a control signal 684 in response to detection of a particular event based on the output provided by the crash predictor 675, and a contextual event module 686 configured to provide a contextual alert 688 based on the output provided by the driver monitoring module 678.

いくつかの実施形態では、ヴィークル検出器６７２は、オブジェクト検出器２１６によって実装することができ、および／またはオブジェクト検出器２１６の一例として考慮することができる。衝突予測器６７５は、いくつかの実施形態における処理ユニット２１０の衝突予測器２１８の一例とすることができる。いくつかの実施形態では、処理ユニット２１０の運転者監視モジュール２１１は、運転者監視モジュール６７８を実装することができる。イベントトリガモジュール６８２は、処理ユニット２１０の信号生成制御器２２４を使用して実装することができ、および／または信号生成制御器２２４の例として考慮することができる。 In some embodiments, the vehicle detector 672 may be implemented by the object detector 216 and/or may be considered as an example of the object detector 216. The collision predictor 675 may be an example of the collision predictor 218 of the processing unit 210 in some embodiments. In some embodiments, the driver monitoring module 211 of the processing unit 210 may implement the driver monitoring module 678. The event trigger module 682 may be implemented using the signal generation controller 224 of the processing unit 210 and/or may be considered as an example of the signal generation controller 224.

使用中、校正モジュール６７１は、第１のカメラ２０２が、対象ヴィークルと衝突するリスクがあるヴィークルを検出するための関心領域を決定する、ように構成されている。校正モジュール６７１は、図１５Ａ－図１５Ｃを参照して更に説明されるであろう。ヴィークル検出器６７２は、第１のカメラ２０２によって提供されるカメラ画像内のヴィークルを識別する、ように構成されている。いくつかの実施形態では、ヴィークル検出器６７２は、ヴィークルを識別するように訓練されたニューラルネットワークモデルの様なモデルに基づいて画像内のヴィークルを検出する、ように構成されている。 In use, the calibration module 671 is configured to determine a region of interest for the first camera 202 to detect vehicles at risk of collision with the target vehicle. The calibration module 671 will be further described with reference to FIGS. 15A-15C. The vehicle detector 672 is configured to identify vehicles in a camera image provided by the first camera 202. In some embodiments, the vehicle detector 672 is configured to detect vehicles in the image based on a model, such as a neural network model, trained to identify vehicles.

運転者監視モジュール６７８は、対象ヴィークルの運転者が注意力散漫になっているか否かを決定する、ように構成されている。いくつかの実施形態では、運転者監視モジュール６７８は、第２のカメラ２０４によって提供される画像に基づいて、運転者の１つまたは複数の姿勢を決定することができる。運転者監視モジュール６７８は、運転者の姿勢に基づいて、運転者が注意力散漫であるか否かを決定することができる。場合によっては、運転者監視モジュール６７８は、運転者の姿勢を識別するように訓練されたニューラルネットワークモデルの様なモデルに基づいて、運転者の１つまたは複数の姿勢を決定することができる。 The driver monitoring module 678 is configured to determine whether a driver of the subject vehicle is distracted. In some embodiments, the driver monitoring module 678 can determine one or more postures of the driver based on the image provided by the second camera 204. The driver monitoring module 678 can determine whether the driver is distracted based on the driver's posture. In some cases, the driver monitoring module 678 can determine one or more postures of the driver based on a model, such as a neural network model, trained to identify driver postures.

衝突予測器６７５は、ヴィークル検出器６７２によって検出された１つまたは複数のヴィークルを、衝突を予測することが可能な候補として選択する、ように構成されている。いくつかの実施形態では、衝突予測器６７５は、ヴィークルの画像が、画像フレーム内の（校正モジュール６７１によって決定される）関心領域と交差する場合に、衝突が予測されるヴィークルを選択する、ように構成されている。衝突予測器６７５は、また、選択されたヴィークルの状態を（追跡器６７６によって）追跡する、ように構成されている。非限定的な例として、追跡されている選択されたヴィークルの状態は、ヴィークルの位置、ヴィークルの速度、ヴィークルの加速度または減速度、ヴィークルの移動方向、またはこれら任意の組み合わせ等とすることができる。いくつかの実施形態では、追跡器６７６は、対象ヴィークルの走行経路および／または検出されたヴィークルの走行経路に基づいて、検出されたヴィークルが、対象ヴィークルとの衝突進路にあるか否かを決定する、ように構成することができる。また、いくつかの実施形態では、追跡器６７６は、第１のカメラ２０２からの画像フレーム内に現れる検出されたヴィークルの画像が、画像フレーム内の関心領域と交差する場合、ヴィークルが先行ヴィークルであると決定する、ように構成することができる。 The collision predictor 675 is configured to select one or more vehicles detected by the vehicle detector 672 as candidates for which a collision may be predicted. In some embodiments, the collision predictor 675 is configured to select a vehicle for which a collision is predicted if an image of the vehicle intersects a region of interest (determined by the calibration module 671) in the image frame. The collision predictor 675 is also configured to track (by the tracker 676) a state of the selected vehicle. As non-limiting examples, the state of the selected vehicle being tracked may be a position of the vehicle, a velocity of the vehicle, an acceleration or deceleration of the vehicle, a direction of movement of the vehicle, or any combination thereof, etc. In some embodiments, the tracker 676 may be configured to determine whether the detected vehicle is on a collision course with the target vehicle based on the travel path of the target vehicle and/or the travel path of the detected vehicle. Also, in some embodiments, the tracker 676 can be configured to determine that a vehicle is a leading vehicle if an image of the detected vehicle that appears in an image frame from the first camera 202 intersects with a region of interest in the image frame.

衝突予測器６７５のＴＴＣユニット６８０は、選択されたヴィークルの追跡状態および（ヴィークル状態モジュール６７４によって提供される）対象ヴィークルの状態に基づいて、予測される衝突に対して選択されたヴィークルが対象ヴィークルと衝突するまでにかかる推定時間を計算する、ように構成されている。例えば、選択されたヴィークルの追跡状態が、このヴィークルが対象ヴィークルの進路上にあり、そして対象ヴィークルよりも低速で走行していることを示す場合、ＴＴＣユニット６８０は、選択されたヴィークルが対象ヴィークルと衝突するまでにかかる推定時間を決定する。別の例として、選択されたヴィークルの追跡状態が、このヴィークルが、対象ヴィークルの前方にいる先行ヴィークルであることを示す場合、ＴＴＣユニット６８０は、選択されたヴィークルが対象ヴィークルと衝突するまでにかかる推定時間を決定する。いくつかの実施形態では、ＴＴＣユニット６８０は、２台のヴィークル間の相対速度および／または２台のヴィークル間の距離に基づいて、予測される衝突までの推定時間を決定することができる。ＴＴＣユニット６８０は、推定時間（ＴＴＣパラメータ）を出力として提供する、ように構成されている。 The TTC unit 680 of the collision predictor 675 is configured to calculate an estimated time for the selected vehicle to collide with the target vehicle for a predicted collision based on the tracking state of the selected vehicle and the state of the target vehicle (provided by the vehicle state module 674). For example, if the tracking state of the selected vehicle indicates that the vehicle is in the path of the target vehicle and traveling slower than the target vehicle, the TTC unit 680 determines an estimated time for the selected vehicle to collide with the target vehicle. As another example, if the tracking state of the selected vehicle indicates that the vehicle is a leading vehicle ahead of the target vehicle, the TTC unit 680 determines an estimated time for the selected vehicle to collide with the target vehicle. In some embodiments, the TTC unit 680 can determine an estimated time to a predicted collision based on the relative speed between the two vehicles and/or the distance between the two vehicles. The TTC unit 680 is configured to provide an estimated time (TTC parameter) as an output.

衝突予測器６７５は、先行ヴィークルと対象ヴィークルとの間の衝突を予測することに限定されず、そして衝突予測器６７５が、他のタイプの衝突を予測するように構成することができることに留意されたい。例えば、いくつかの実施形態では、衝突予測器６７５は、２つの異なるそれぞれの道路（例：交差する道路）を走行し、そして交差点に向かって進んでいる対象ヴィークルと別のヴィークルとの間の衝突を予測する、ように構成することができる。別の例として、いくつかの実施形態では、衝突予測器６７５は、対象ヴィークルと、対象ヴィークルの車線に合流するまたは流れ込む次の車線を走行する別のヴィークルとの間の衝突を予測する、ように構成することもできる。 It should be noted that the collision predictor 675 is not limited to predicting a collision between a leading vehicle and a target vehicle, and the collision predictor 675 can be configured to predict other types of collisions. For example, in some embodiments, the collision predictor 675 can be configured to predict a collision between a target vehicle and another vehicle traveling on two different respective roads (e.g., intersecting roads) and heading toward an intersection. As another example, in some embodiments, the collision predictor 675 can be configured to predict a collision between a target vehicle and another vehicle traveling in a next lane that merges or flows into the lane of the target vehicle.

イベントトリガモジュール６８２は、衝突予測器６７５により提供される出力および運転者監視モジュール６７８により提供される出力に基づいて、制御信号を提供する、ように構成されている。いくつかの実施形態では、イベントトリガモジュール６８２は、運転者監視モジュール６７８によって提供される出力に基づいて、運転者の状態を継続的または周期的に監視する、ように構成されている。イベントトリガモジュール６８２は、また、並行してＴＴＣパラメータも監視する。予測される衝突が発生するまでにかかる推定時間が、特定の閾値（例：８秒、７秒、６秒、５秒、４秒、３秒等) を下回っていることを、ＴＴＣパラメータが示す場合、そして運転者監視モジュール６７８による出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、イベントトリガモジュール６８２は、制御信号６８２を生成するであろう。 The event trigger module 682 is configured to provide a control signal based on the output provided by the crash predictor 675 and the output provided by the driver monitoring module 678. In some embodiments, the event trigger module 682 is configured to continuously or periodically monitor the driver's condition based on the output provided by the driver monitoring module 678. The event trigger module 682 also monitors the TTC parameters in parallel. If the TTC parameters indicate that the estimated time it will take for a predicted crash to occur is below a certain threshold (e.g., 8 seconds, 7 seconds, 6 seconds, 5 seconds, 4 seconds, 3 seconds, etc.) and if the output by the driver monitoring module 678 indicates that the driver is distracted or not paying attention to the driving task, the event trigger module 682 will generate the control signal 682.

いくつかの実施形態では、イベントトリガモジュール６８２からの制御信号６８４は、運転者に警告を提供するように構成されている警告発生器に送信させることができる。これに代えてまたは加えて、イベントトリガモジュール６８２からの制御信号６８４は、ヴィークルを制御する（例：アクセルペダル動作を自動的に解除する、ブレーキをかける等）ように構成されているヴィークル制御器に送信させることができる。 In some embodiments, the control signal 684 from the event trigger module 682 can be sent to a warning generator configured to provide a warning to the driver. Alternatively or additionally, the control signal 684 from the event trigger module 682 can be sent to a vehicle controller configured to control the vehicle (e.g., automatically release the accelerator pedal, apply the brakes, etc.).

いくつかの実施形態では、閾値は、運転者監視モジュール６７８からの出力に基づいて可変である。例えば、運転者監視モジュール６７８からの出力が、運転者が、注意力散漫でないおよび／または運転タスクに注意を払っていることを示す場合、イベントトリガモジュール６８２は、ＴＴＣが第１の閾値（例：３秒）を満たすまたはそれを下回ったことに応答して、警告発生器を動作させる、および／またはヴィークル制御を動作させるための制御信号６８４を生成することができる。一方、運転者監視モジュール６７８からの出力が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、イベントトリガモジュール６８２は、ＴＴＣが、第１の閾値よりも高い第２の閾値（例：５秒）を満たす、またはそれを下回ったことに応答して、警告発生器を動作させるおよび／またはヴィークル制御器を動作させる制御信号６８４を生成することができる。 In some embodiments, the threshold is variable based on the output from the driver monitoring module 678. For example, if the output from the driver monitoring module 678 indicates that the driver is not distracted and/or paying attention to the driving task, the event trigger module 682 can generate a control signal 684 to operate the alert generator and/or operate the vehicle control in response to the TTC meeting or falling below a first threshold (e.g., 3 seconds). On the other hand, if the output from the driver monitoring module 678 indicates that the driver is distracted or not paying attention to the driving task, the event trigger module 682 can generate a control signal 684 to operate the alert generator and/or operate the vehicle control in response to the TTC meeting or falling below a second threshold (e.g., 5 seconds) that is higher than the first threshold.

また、いくつかの実施形態では、イベントトリガモジュール６８２は、運転者監視モジュール６７８の出力によって示される運転者の状態のタイプに基づいて、制御信号６８４の生成に対し異なる閾値を適用するように構成することができる。例えば、運転者監視モジュール６７８の出力が、運転者が携帯電話を見ていることを示す場合、イベントトリガモジュール６８２は、ＴＴＣ が５秒の閾値を満たす、またはそれを下回っていることに応じて、警告発生器を動作させるため、および／またはヴィークル制御を動作させるための制御信号６８４を生成することができる。一方、運転者監視モジュール６７８の出力が、運転者が眠気を催していることを示す場合、イベントトリガモジュール６８２は、ＴＴＣ が、８秒の（例：運転者が携帯電話を使用している場合の閾値よりも長い）閾値に達している、またはそれを下回っていることに応答して、警告発生器を動作させる、および／または運転者ヴィークル制御を動作させるための制御信号６８４を生成することができる。場合によっては、（運転者が眠気を催しているまたは居眠りしている様な）運転者の特定の状態により、運転者が差し迫った衝突に反応する時間が長くなる可能性があるので、運転者に警告する、および／またはヴィークルを制御するためには、（ＴＴＣ値と比較して）より長い時間閾値が必要になる可能性がある。従って、イベントトリガモジュール６８２は、これらの状況で予測される衝突に応答して、より早く運転者に警告する、および／またはヴィークル制御器をより早く動作させることができる。 Also, in some embodiments, the event trigger module 682 can be configured to apply different thresholds for generating the control signal 684 based on the type of driver state indicated by the output of the driver monitoring module 678. For example, if the output of the driver monitoring module 678 indicates that the driver is looking at a cell phone, the event trigger module 682 can generate a control signal 684 to operate an alert generator and/or operate a vehicle control in response to the TTC meeting or falling below a threshold of 5 seconds. On the other hand, if the output of the driver monitoring module 678 indicates that the driver is drowsy, the event trigger module 682 can generate a control signal 684 to operate an alert generator and/or operate a driver vehicle control in response to the TTC meeting or falling below a threshold of 8 seconds (e.g., longer than the threshold for when the driver is using a cell phone). In some cases, a particular driver condition (such as a drowsy or dozing driver) may require a longer threshold time (compared to the TTC value) to warn the driver and/or control the vehicle because the driver may have more time to react to an impending crash. Thus, the event trigger module 682 may warn the driver sooner and/or act on the vehicle control sooner in response to a predicted crash in these circumstances.

いくつかの実施形態では、ＴＴＣユニット６８０は、予測される衝突に対してＴＴＣ値を決定し、そしてその後、このＴＴＣ値に関する時間の経過を追跡する、ように構成されている。例えば、ＴＴＣユニット６８０が、予測される衝突のＴＴＣが１０秒であると決定した場合、ＴＴＣユニット６８０は、１０秒間の時間のカウントダウンを実行することができる。ＴＴＣユニット６８０がカウントダウンを行っているとき、ＴＴＣユニット６８０は、定期的にＴＴＣを出力して、イベントトリガモジュール６８２に現在のＴＴＣ値を知らせる。従って、予測される衝突の異なるそれぞれの時刻でＴＴＣユニット６８０によって出力されるＴＴＣは、カウントダウンに基づいてそれぞれ異なる値を有するであろう。他の実施形態では、ＴＴＣユニット６８０は、第１のカメラ２０２からの画像に基づいて、予測される衝突のＴＴＣ値を繰り返し決定する、ように構成されている。このような場合、予測される衝突の異なるそれぞれの時刻でＴＴＣユニット６８０によって出力されるＴＴＣは、第１のカメラ２０２からの画像に基づいてＴＴＣユニット６８０によって計算されるそれぞれ異なる値を有するであろう。 In some embodiments, the TTC unit 680 is configured to determine a TTC value for a predicted crash and then track the passage of time for this TTC value. For example, if the TTC unit 680 determines that the TTC of the predicted crash is 10 seconds, the TTC unit 680 may perform a 10-second time countdown. As the TTC unit 680 counts down, it periodically outputs the TTC to inform the event trigger module 682 of the current TTC value. Thus, the TTC output by the TTC unit 680 at each different time of the predicted crash will have a different value based on the countdown. In other embodiments, the TTC unit 680 is configured to repeatedly determine the TTC value of the predicted crash based on the image from the first camera 202. In such a case, the TTC output by the TTC unit 680 at each different time of the predicted collision will have a different value calculated by the TTC unit 680 based on the image from the first camera 202.

また、いくつかの実施形態では、衝突予測器６７５は、衝突が予測された後、他のヴィークルおよび／または対象ヴィークルの状態を監視し続けることができる。例えば、他のヴィークルが対象ヴィークルの進路から外れてしまった場合、および／または（例：他のヴィークルが加速したため、および／または対象ヴィークルが減速したため）２台のヴィークル間の距離が増加している場合、衝突予測器６７５は、もはや衝突のリスクがないことを示す出力を提供することができる。いくつかの実施形態では、ＴＴＣユニット６８０は、イベントトリガモジュール６８２に、それが制御信号６８４を生成する必要がないことを示す信号を出力することができる。他の実施形態では、ＴＴＣユニット６８０は、非常に高い所定の任意のＴＴＣ値（例：２０００秒）、または負の値を有するＴＴＣを出力することができる。これにより、イベントトリガモジュール６８２がＴＴＣ値を処理するときに、制御信号６８４が生成されない結果となるであろう。 Also, in some embodiments, the collision predictor 675 may continue to monitor the state of the other vehicle and/or the target vehicle after a collision is predicted. For example, if the other vehicle moves out of the path of the target vehicle and/or the distance between the two vehicles increases (e.g., because the other vehicle accelerates and/or the target vehicle decelerates), the collision predictor 675 may provide an output indicating that there is no longer a risk of collision. In some embodiments, the TTC unit 680 may output a signal to the event trigger module 682 indicating that it does not need to generate a control signal 684. In other embodiments, the TTC unit 680 may output a TTC with a very high predetermined arbitrary TTC value (e.g., 2000 seconds) or a negative value. This would result in the control signal 684 not being generated when the event trigger module 682 processes the TTC value.

衝突予測器６７５の実施形態（衝突予測器２１８の例）およびイベントトリガモジュール６８２の実施形態（信号生成制御器２２４の例）が、以下で更に説明されるであろう。 An embodiment of the collision predictor 675 (an example of the collision predictor 218) and an embodiment of the event trigger module 682 (an example of the signal generation controller 224) will be described further below.

コンテキストイベントモジュール６８６は、運転者監視モジュール６７８によって提供される出力に基づいてコンテキスト警告６８８を提供する、ように構成されている。例えば、運転者監視モジュール６７８の出力が、運転者が、持続時間閾値を超える期間、または頻度閾値を超える頻度で注意力散漫であったことを示す場合、コンテキストイベントモジュール６８６は、運転者に警告する警報を生成することができる。これに代えてまたは加えて、コンテキストイベントモジュール６８６は、フリート管理者、保険会社等に通知するためのメッセージを生成することもできる。他の実施形態では、コンテキストイベントモジュール６８６はオプションであり、そして処理アーキテクチャ６７０はコンテキストイベントモジュール６８６を含まなくてもよい。 The contextual event module 686 is configured to provide a contextual alert 688 based on the output provided by the driver monitoring module 678. For example, if the output of the driver monitoring module 678 indicates that the driver was distracted for a period of time exceeding a duration threshold or with a frequency exceeding a frequency threshold, the contextual event module 686 can generate an alert to alert the driver. Alternatively or additionally, the contextual event module 686 can generate a message to notify a fleet manager, insurance company, etc. In other embodiments, the contextual event module 686 is optional, and the processing architecture 670 may not include the contextual event module 686.

他の実施形態では、アイテム６７２は人間検出器とすることができ、そして処理アーキテクチャ６７０は、本明細書での説明と同様に、人間との衝突を予測し、そして予測された衝突および運転者監視モジュール６７８によって出力された運転者の状態に基づいて、制御信号を生成する、ように構成することができる。 In other embodiments, item 672 may be a human detector, and processing architecture 670 may be configured to predict a collision with a human, as described herein, and generate a control signal based on the predicted collision and the driver state output by driver monitoring module 678.

さらなる実施形態では、アイテム６７２は、交差点に関連するオブジェクトを検出するように構成されているオブジェクト検出器とすることができ、そして処理アーキテクチャ６７０は、本明細書での説明と同様に、交差点での違反を予測し、そして予測された交差点での違反および運転者監視モジュール６７８によって出力される運転者の状態に基づいて、制御信号を生成する、ように構成することができる。 In a further embodiment, item 672 may be an object detector configured to detect an object associated with the intersection, and processing architecture 670 may be configured to predict an intersection violation, as described herein, and generate a control signal based on the predicted intersection violation and the driver state output by driver monitoring module 678.

更に別の実施形態では、アイテム６７２は、ヴィークル、人間、交差点等に関連するオブジェクトの様な複数に分類されるオブジェクトを検出する、ように構成されているオブジェクト検出器とすることができる。このような場合、処理アーキテクチャ６７０は、本明細書で同様に説明するように、これらの予測されたイベントの何れか１つに基づいて、そして運転者監視モジュール６７８によって出力された運転者の状態に基づいて、ヴィークルの衝突を予測し、人間の衝突を予測し、交差点での違反等を予測し、そして制御信号を生成する、ように構成することができる。 In yet another embodiment, item 672 may be an object detector configured to detect multiple classes of objects, such as objects associated with vehicles, humans, intersections, etc. In such a case, processing architecture 670 may be configured to predict a vehicle crash, predict a human crash, predict an intersection violation, etc., based on any one of these predicted events and based on the driver state output by driver monitoring module 678, and generate a control signal, as also described herein.

図１４は、いくつかの実施形態によるオブジェクト検出の例を示す。図示されるように、検出されたオブジェクトは、第１のカメラ２０２によって提供された画像に捕捉されたヴィークルである。オブジェクトの検出は、オブジェクト検出器２１６によって実行させることができる。図示の例では、識別されたヴィークルには、（例：識別されたそれぞれのヴィークルの空間範囲を示す境界ボックスの形式で)それぞれの識別子が提供されている。オブジェクト検出器２１６は、長方形の境界ボックスである識別子を識別されたヴィークルに提供することに限定されず、そしてオブジェクト検出器２１６は、識別されたヴィークルのそれぞれに対して他の形式の識別子を提供するように構成することもできることに留意されたい。いくつかの実施形態では、オブジェクト検出器２１６は、先行ヴィークルであるヴィークルを、先行ヴィークルではない他のヴィークルから区別することができる。 14 illustrates an example of object detection according to some embodiments. As illustrated, the detected object is a vehicle captured in the image provided by the first camera 202. The detection of the object may be performed by the object detector 216. In the illustrated example, the identified vehicles are provided with respective identifiers (e.g., in the form of bounding boxes indicating the spatial extent of each identified vehicle). It should be noted that the object detector 216 is not limited to providing the identified vehicles with identifiers that are rectangular bounding boxes, and the object detector 216 may be configured to provide other forms of identifiers for each identified vehicle. In some embodiments, the object detector 216 may distinguish vehicles that are leading vehicles from other vehicles that are not leading vehicles.

また、いくつかの実施形態では、処理ユニット２１０は、識別された先行ヴィークルを追跡し、そしてこのような識別された先行ヴィークルの空間分布に基づいて関心領域を決定することができる。例えば、図１５Ａに示されるように、処理ユニット２１０は、ある期間（例えば、前の５秒、前の１０秒、前の１分、前の２分等）に渡って識別された先行ヴィークルの（例では境界ボックスの形での）識別器７５０を使用することができる。図示の実施形態では、関心領域は、カメラ画像フレームに対して特定の寸法および位置（ここで、この位置は、画像フレームの下部に、そして水平方向のほぼ中央にある）を有する。 Also, in some embodiments, processing unit 210 can track identified leading vehicles and determine a region of interest based on the spatial distribution of such identified leading vehicles. For example, as shown in FIG. 15A, processing unit 210 can use an identifier 750 (in the form of a bounding box, for example) of identified leading vehicles over a period of time (e.g., the previous 5 seconds, the previous 10 seconds, the previous minute, the previous 2 minutes, etc.). In the illustrated embodiment, the region of interest has a particular dimension and location relative to the camera image frame (here, the location is at the bottom of the image frame and approximately centered horizontally).

いくつかの実施形態では、処理ユニット２１０は、境界ボックスを使用する代わりに、水平線７５２を使用して関心領域を形成することができる（図１５Ｂ）。図示の例では、各水平線７５２は、ある期間に渡って識別されて来た、識別された先行ヴィークルを表す。水平線７５２は、識別された先行ヴィークルの識別子の例と考えることができる。場合によっては、水平線７５２は、境界ボックスの（例：図１５Ａに示す識別器７５０のような）下辺のみを抽出することによって取得することができる。図１５Ｂに示されるように、水平線７５２の分布は、（水平線７５２によって満たされた領域によって表される）ほぼ三角形または台形の形状を有する関心領域を形成する。処理ユニット２１０は、将来の先行ヴィークルを検出するために、このような関心領域を検出ゾーンとして使用することができる。例えば、図１５Ｃに示されるように、処理ユニット２１０は、識別された先行ヴィークルの識別子（例：線７５２）を使用して、（この例では三角形の形状を有する）関心領域７５４を形成することができる。次で、オブジェクト検出器２１６は、対象領域７５４を使用して先行ヴィークルを識別することができる。図示の例では、オブジェクト検出器２１６は、ヴィークル７５６を検出する。検出されたヴィークル７５６の少なくとも一部が関心領域７５４内に位置するので、オブジェクト検出器２１６は、識別されたヴィークルが先行ヴィークルであると決定することができる。 In some embodiments, instead of using bounding boxes, processing unit 210 can form a region of interest using horizontal lines 752 ( FIG. 15B ). In the illustrated example, each horizontal line 752 represents an identified leading vehicle that has been identified over a period of time. Horizontal lines 752 can be considered examples of identifiers of identified leading vehicles. In some cases, horizontal lines 752 can be obtained by extracting only the bottom side of a bounding box (e.g., as identifier 750 shown in FIG. 15A ). As shown in FIG. 15B , the distribution of horizontal lines 752 forms a region of interest having an approximately triangular or trapezoidal shape (represented by the area filled by horizontal lines 752). Processing unit 210 can use such a region of interest as a detection zone to detect future leading vehicles. For example, as shown in FIG. 15C , processing unit 210 can form a region of interest 754 (having a triangular shape in this example) using identifiers (e.g., lines 752) of identified leading vehicles. Next, the object detector 216 can identify the leading vehicle using the region of interest 754. In the illustrated example, the object detector 216 detects a vehicle 756. Because at least a portion of the detected vehicle 756 is located within the region of interest 754, the object detector 216 can determine that the identified vehicle is a leading vehicle.

いくつかの実施形態では、関心領域７５４は、校正プロセス中に処理ユニット２１０内の校正モジュールによって決定させることができる。また、いくつかの実施形態では、関心領域７５４は、装置２００の使用中に定期的に更新させることができる。先行ヴィークルを検出するための関心領域７５４は、記載された例に限定されず、そして関心領域７５４は、他の実施形態の他の構成（例：サイズ、形状、位置等）を有することができることに留意されたい。また、他の実施形態では、関心領域７５４は、他の技術を使用して決定することもできる。例えば、他の実施形態では、先行ヴィークルを検出するための関心領域７５４は、以前に検出された先行ヴィークルの分布を使用せずに、事前に決定しておく（例：製造中にプログラムする）ことができる。 In some embodiments, the region of interest 754 may be determined by a calibration module in the processing unit 210 during a calibration process. Also, in some embodiments, the region of interest 754 may be updated periodically during use of the device 200. It should be noted that the region of interest 754 for detecting a leading vehicle is not limited to the described example, and the region of interest 754 may have other configurations (e.g., size, shape, location, etc.) in other embodiments. Also, in other embodiments, the region of interest 754 may be determined using other techniques. For example, in other embodiments, the region of interest 754 for detecting a leading vehicle may be pre-determined (e.g., programmed during manufacture) without using a distribution of previously detected leading vehicles.

上記の例では、関心領域７５４は、校正プロセス中に決定することができる三角形の形状を有する。他の実施形態では、関心領域７５４は、他の形状を有することができ、そして車線の中心線の検出に基づいて決定することができる。例えば、他の実施形態では、処理ユニット２１０は、対象ヴィークルが走行している車線または道路の中心線を決定するように構成されている中心線検出モジュールを含むことができる。いくつかの実施形態では、中心線検出モジュールは、第１のカメラ２０２からの画像を処理することによって中心線を決定するように構成することができる。一実装形態では、中心線検出モジュールは、第１のカメラ２０２からの画像を分析して、モデルに基づいて車線または道路の中心線を決定する。このモデルは、様々な道路状況の画像に基づいて中心線を決定するように訓練されたニューラルネットワークモデルとすることができる。これに代えて、このモデルは、数学的モデル、方程式等の様な他のタイプの何れかとすることもできる。図１５Ｄは、中心線を決定する中心線検出モジュールの例と、検出された中心線に基づく関心領域の例とを示す。図示されるように、中心線検出モジュールは、対象ヴィークルが走行している車線または道路の中心線を表す点のセット７５７ａ－７５７ｅを決定する。５つの点７５７ａ－７５７ｅが示されているが、他の例では、中心線検出モジュールは、中心線を表す５つを超える点７５７または５つ未満の点７５７を決定することができる。また、図示されるように、点７５７ａ－７５７ｅに基づいて、処理ユニット２１０は、左側の点７５８ａ－７５８ｅのセットと右側の点７５９ａ－７５９ｅのセットとを決定することができる。処理ユニット２１０は、左側の点７５８ａ－７５８ｅを接続する第１の線のセット、および右側の点７５９ａ－７５９ｅを接続する第２の線のセットを決定することもできる。図示されるように、第１のセットの線は関心領域７５４の左境界を形成し、そして第２のセットの線は関心領域７５４の右境界を形成する。 In the above example, the region of interest 754 has a triangular shape that may be determined during a calibration process. In other embodiments, the region of interest 754 may have other shapes and may be determined based on the detection of a lane centerline. For example, in other embodiments, the processing unit 210 may include a centerline detection module configured to determine a centerline of a lane or road on which the subject vehicle is traveling. In some embodiments, the centerline detection module may be configured to determine the centerline by processing images from the first camera 202. In one implementation, the centerline detection module analyzes images from the first camera 202 to determine the centerline of the lane or road based on a model. The model may be a neural network model trained to determine the centerline based on images of various road conditions. Alternatively, the model may be any of other types, such as a mathematical model, equations, etc. FIG. 15D illustrates an example of a centerline detection module that determines a centerline and an example region of interest based on a detected centerline. As illustrated, the centerline detection module determines a set of points 757a-757e that represent the centerline of the lane or road on which the subject vehicle is traveling. Although five points 757a-757e are shown, in other examples, the centerline detection module can determine more than five points 757 or less than five points 757 that represent the centerline. Also, as shown, based on points 757a-757e, processing unit 210 can determine a set of left points 758a-758e and a set of right points 759a-759e. Processing unit 210 can also determine a first set of lines connecting left points 758a-758e and a second set of lines connecting right points 759a-759e. As shown, the first set of lines forms a left boundary of region of interest 754, and the second set of lines forms a right boundary of region of interest 754.

図示の例では、処理ユニット２１０は、左側の点７５８ａが、中心線の点７５７ａと同じｙ座標を有し、そして中心線の点７５７ａからｘ座標の左側に距離ｄ１にあるｘ座標を有すると決定する、ように構成されている。また、処理ユニット２１０は、右側の点７５９ａが、中心線の点７５７ａと同じｙ座標を有し、そして中心線の点７５７ａからｘ座標の右側に距離ｄ１にあるｘ座標を有すると決定する、ように構成されている。従って、左側の点７５８ａ、中心線の点７５７ａ、および右側の点７５９ａは、水平に整列している。同様に、処理ユニット２１０は、左側の点７５８ｂ－７５８ｅが、それぞれの中心線の点７５７ｂ－７５７ｅと同じｙ座標をそれぞれ有し、そして中心線の点７５７ｂ－７５７ｅからそれぞれのｘ座標の左側にそれぞれ距離ｄ２－ｄ５にあるｘ座標をそれぞれ有すると決定する、ように構成されている。処理ユニット２１０は、また、右側の点７５９ｂ－７５９ｅが、それぞれの中心線の点７５７ｂ－７５７ｅと同じｙ座標をそれぞれ有し、そして中心線の点７５７ｂ－７５７ｅのそれぞれのｘ座標が中心線の点７５７ｂ－７５７ｅの右側にそれぞれ距離ｄ２－ｄ５にあるものとして決定する、ように構成されている。 In the illustrated example, processing unit 210 is configured to determine that left point 758a has the same y coordinate as centerline point 757a and has an x coordinate that is a distance d1 to the left of centerline point 757a. Processing unit 210 is also configured to determine that right point 759a has the same y coordinate as centerline point 757a and has an x coordinate that is a distance d1 to the right of centerline point 757a. Thus, left point 758a, centerline point 757a, and right point 759a are horizontally aligned. Similarly, processing unit 210 is configured to determine that left points 758b-758e have the same y coordinate as centerline points 757b-757e, respectively, and have x coordinates that are distances d2-d5, respectively, to the left of centerline points 757b-757e, respectively. Processing unit 210 is also configured to determine that right side points 759b-759e have the same y coordinate as respective centerline points 757b-757e, and that the respective x coordinates of centerline points 757b-757e are distances d2-d5, respectively, to the right of centerline points 757b-757e.

図示の例では、ｄ１＞ｄ２＞ｄ３＞ｄ４＞ｄ５であり、この結果、関心領域７５４は、カメラ画像に現れる道路の形状に対応するテーパ形状を有することになる。第１のカメラ２０２が、ヴィークルの走行中に道路を捕捉するカメラ画像を繰り返し提供するので、処理ユニット２１０は、中心線と、中心線に基づいて関心領域７５４の左右境界とを繰り返し決定する。従って、関心領域７５４は、カメラ画像に現れる道路の変化する形状に対応して可変の（例：関心領域７５４のテーパの曲率は可変である）テーパ形状を有する。言い換えれば、中心線は、道路の形状に基づいて決定され、そして関心領域７５４の形状は、決定された中心線に基づいているので、関心領域７５４の形状はヴィークルが走行している道路の形状に応じて可変である。 In the illustrated example, d1>d2>d3>d4>d5, resulting in the region of interest 754 having a tapered shape corresponding to the shape of the road appearing in the camera image. As the first camera 202 repeatedly provides camera images capturing the road while the vehicle is traveling, the processing unit 210 repeatedly determines a centerline and left and right boundaries of the region of interest 754 based on the centerline. Thus, the region of interest 754 has a tapered shape that is variable (e.g., the curvature of the taper of the region of interest 754 is variable) corresponding to the changing shape of the road appearing in the camera image. In other words, since the centerline is determined based on the shape of the road, and the shape of the region of interest 754 is based on the determined centerline, the shape of the region of interest 754 is variable depending on the shape of the road on which the vehicle is traveling.

図１５Ｅは、衝突のリスクのあるオブジェクトの検出において、図１５Ｄの関心領域７５４を使用する利点を示す。特に、図の右側は、図１５Ｄを参照して説明したように、対象ヴィークルが走行している道路または車線の中心線に基づいて決定される関心領域７５４を示す。図の左側は、図１５Ａ－図１５Ｃを参照して説明したようなカメラ校正に基づいて決定され、そして道路／車線の中心線とは独立した形状（例：中心線の曲率）を有する、別の関心領域７５４を示す。左側の関心領域７５４は、道路／車線の曲率に依存しないので、関心領域７５４の形状は、道路／車線の形状と必ずしも一致しない。従って、図示された例では、歩行者が関心領域７５４と交差するので、処理ユニット２１０は、歩行者と衝突するリスクがあると誤って検出する可能性がある。別の同様の状況では、左の図の関心領域７５４は、対象車線の外側にある駐車中のヴィークルを、衝突のリスクがあるオブジェクトとして誤って検出する可能性がある。いくつかの実施形態では、処理ユニット２１０は、（例：オブジェクトを衝突のリスクとして誤って検出する）偽陽性の問題に対処するために追加の処理を実行する、ように構成することができる。一方、右側の関心領域７５４には、上記の偽陽性の問題がないという利点がある。 FIG. 15E illustrates the advantage of using the region of interest 754 of FIG. 15D in detecting objects at risk of collision. In particular, the right side of the figure shows a region of interest 754 determined based on the centerline of the road or lane on which the target vehicle is traveling, as described with reference to FIG. 15D. The left side of the figure shows another region of interest 754 determined based on the camera calibration as described with reference to FIGS. 15A-15C and having a shape independent of the centerline of the road/lane (e.g., centerline curvature). Since the region of interest 754 on the left does not depend on the curvature of the road/lane, the shape of the region of interest 754 does not necessarily match the shape of the road/lane. Thus, in the illustrated example, the processing unit 210 may erroneously detect a pedestrian as being at risk of collision with the pedestrian because the pedestrian intersects with the region of interest 754. In another similar situation, the region of interest 754 in the left figure may erroneously detect a parked vehicle outside the target lane as an object at risk of collision. In some embodiments, processing unit 210 can be configured to perform additional processing to address the problem of false positives (e.g., incorrectly detecting an object as a collision risk), whereas right region of interest 754 has the advantage of not having the false positive problem described above.

他の実施形態では、道路の形状に対応して可変の形状を有する関心領域７５４を決定するために他の技術を使用することができることに留意されたい。例えば、他の実施形態では、処理ユニット２１０は、対象ヴィークルが走行している車線または道路の左右境界を識別するように構成されている道路または車線境界モジュールを含むことができる。処理ユニット２１０は、また、左境界に適合する１つ以上の線、および右境界に適合する１つ以上の線を決定し、そして決定された線に基づいて関心領域７５４を決定することができる。 It should be noted that in other embodiments, other techniques can be used to determine the region of interest 754 having a variable shape corresponding to the shape of the road. For example, in other embodiments, the processing unit 210 can include a road or lane boundary module configured to identify the left and right boundaries of the lane or road on which the subject vehicle is traveling. The processing unit 210 can also determine one or more lines that fit the left boundary and one or more lines that fit the right boundary, and determine the region of interest 754 based on the determined lines.

いくつかの実施形態では、処理ユニット２１０は、（１）（図１５Ａ－１５Ｃを参照して説明した三角形の関心領域７５４のような）第１の関心領域、および（２）図１５Ｄを参照して説明した関心領域７５４の様な第２の関心領域の両方を決定するように構成することができる。第１の関心領域は、処理ユニット２１０を使用してカメラ画像をトリミングさせることができる。例えば、第１の関心領域から離れている、または第１の関心領域から一定の距離にあるカメラ画像の特定の部分は、画像データを処理する必要量を削減させるために、トリミングさせることができる。第２の関心領域は、検出されたオブジェクトが衝突のリスクをもたらすか否かを決定するために、処理ユニット２１０に使用させることができる。例えば、検出されたオブジェクトまたは検出されたオブジェクトの境界ボックスが、第２の関心領域と重なる場合、処理ユニット２１０は、検出されたオブジェクトと衝突するリスクがあると決定することができる。いくつかの実施形態では、第１の関心領域は、カメラ画像内の先行ヴィークルを検出するために、処理ユニット２１０に使用させることができる。検出されたヴィークルの幅および画像の座標系に対するそれらの対応する位置は、ｙ対距離マッピングを決定するために、処理ユニット２１０に使用させることができる。これは、図２０を参照して以下で更に詳細に説明されるであろう。 In some embodiments, processing unit 210 can be configured to determine both (1) a first region of interest (such as triangular region of interest 754 described with reference to FIGS. 15A-15C) and (2) a second region of interest, such as region of interest 754 described with reference to FIG. 15D. The first region of interest can be used by processing unit 210 to crop the camera image. For example, certain portions of the camera image that are away from or at a certain distance from the first region of interest can be cropped to reduce the amount of image data that needs to be processed. The second region of interest can be used by processing unit 210 to determine whether a detected object poses a risk of collision. For example, if a detected object or a bounding box of a detected object overlaps with the second region of interest, processing unit 210 can determine that there is a risk of collision with the detected object. In some embodiments, the first region of interest can be used by processing unit 210 to detect a leading vehicle in the camera image. The widths of the detected vehicles and their corresponding positions relative to the image coordinate system can be used by the processing unit 210 to determine a y vs. distance mapping. This will be described in more detail below with reference to FIG. 20.

いくつかの実施形態では、衝突予測器２１８は、関心領域７５４（例：中心線に基づいて作成された多角形）が、先行ヴィークル、衝突ヴィークルの様な検出されたオブジェクトの境界ボックスと交差するか否かを決定する、ように構成することができる。交差する場合、衝突予測器２１８は、衝突のリスクがあると決定することができ、そして境界ボックスに対応するオブジェクトは、ＴＴＣ計算に適格であるとみなされる。 In some embodiments, the collision predictor 218 can be configured to determine whether the region of interest 754 (e.g., a polygon created based on the centerline) intersects with a bounding box of a detected object, such as a leading vehicle, a crashing vehicle, etc. If so, the collision predictor 218 can determine that there is a risk of collision, and the object corresponding to the bounding box is considered eligible for TTC calculation.

いくつかの実施形態では、衝突予測器２１８は、少なくとも３つの異なるシナリオで先行ヴィークルとの衝突を予測するように構成することができる。図１６は、先行ヴィークルとの衝突についての３つの例示的なシナリオを示している。上側の図（第 1 のシナリオ) では、対象ヴィークル（左側のヴィークル)がゼロでは無い速度Ｖ_ＳＶで走行していて、そして先行ヴィークル（右側のヴィークル)が完全に停止しているので、速度Ｖ_ＰＯＶ＝０になる。中央の図（第２のシナリオ）では、対象ヴィークル（左側のヴィークル）は非ゼロ速度Ｖ_ＳＶで走行していて、そして先行ヴィークル（右側のヴィークル）は速度Ｖ_ＳＶより遅い非ゼロ速度Ｖ_ＰＯＶで走行している。下側の図（第３のシナリオ) では、対象ヴィークル（左側のヴィークル)は当初非ゼロ速度Ｖ_ＳＶで走行していて、そして先行ヴィークル（右側のヴィークル) も当初非ゼロ速度Ｖ_ＰＯＶ＝Ｖ_ＳＶ で走行していた。その後、先行ヴィークルがブレーキをかけ、そして速度Ｖｐｏｖが低下するので、対象ヴィークルの速度Ｖｓｖが先行ヴィークルの速度Ｖｐｏｖよりも速くなる。いくつかの実施形態では、衝突予測器２１８は、図３に示される３つのシナリオの何れかで発生する可能性がある対象ヴィークルと先行ヴィークルとの間の衝突を予測する、ように構成されている。一実装形態では、衝突予測器２１８は、第１のカメラ２０２からの画像のシーケンスを分析して、対象ヴィークルと先行ヴィークルとの間の相対速度を決定することができる。別の実施形態では、衝突予測器２１８は、対象ヴィークルと先行ヴィークルとの間の相対速度を示すセンサ情報を取得することができる。例えば、衝突予測器２１８は、ある期間に渡る対象ヴィークルと先行ヴィークルとの間の距離を示すセンサ情報のシーケンスを取得することができる。ある期間に渡る距離の変化を分析することによって、衝突予測器２１８は、対象ヴィークルと先行ヴィークルとの間の相対速度を決定することができる。また、いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルの速度センサから、ＧＰＳシステムから、または対象ヴィークルの速度とは異なる別個の速度センサから、の様に対象ヴィークルの速度を取得することができる。 In some embodiments, the collision predictor 218 can be configured to predict a collision with a leading vehicle in at least three different scenarios. Figure 16 illustrates three exemplary scenarios for a collision with a leading vehicle. In the top diagram (first scenario), the target vehicle (left vehicle) is traveling at a non-zero speed _VSV and the leading vehicle (right vehicle) is completely stopped, resulting in a speed _VPOV = 0. In the middle diagram (second scenario), the target vehicle (left vehicle) is traveling at a non-zero speed _VSV and the leading vehicle (right vehicle) is traveling at a non-zero speed _VPOV that is slower than the speed _VSV . In the bottom diagram (third scenario), the target vehicle (left vehicle) is initially traveling at a non-zero speed _VSV and the leading vehicle (right vehicle) is also initially traveling at a non-zero speed _VPOV = _VSV . Then, the leading vehicle brakes and its velocity Vpov decreases, so that the velocity Vsv of the target vehicle becomes faster than the velocity Vpov of the leading vehicle. In some embodiments, the collision predictor 218 is configured to predict a collision between the target vehicle and the leading vehicle that may occur in any of the three scenarios shown in FIG. 3. In one implementation, the collision predictor 218 can analyze a sequence of images from the first camera 202 to determine the relative velocity between the target vehicle and the leading vehicle. In another embodiment, the collision predictor 218 can obtain sensor information indicative of the relative velocity between the target vehicle and the leading vehicle. For example, the collision predictor 218 can obtain a sequence of sensor information indicative of the distance between the target vehicle and the leading vehicle over a period of time. By analyzing the change in the distance over a period of time, the collision predictor 218 can determine the relative velocity between the target vehicle and the leading vehicle. Also, in some embodiments, the collision predictor 218 can obtain the speed of the target vehicle, such as from a speed sensor of the target vehicle, from a GPS system, or from a separate speed sensor different from the speed of the target vehicle.

いくつかの実施形態では、衝突予測器２１８は、対象ヴィークルと先行ヴィークルとの間の相対速度、対象ヴィークルの速度、ヴィークルの速度、先行ヴィークルの速度またはこれらの任意の組み合わせに基づいて、対象ヴィークルと先行ヴィークルとの間の衝突を予測するように構成することができる。例えば、場合によっては、衝突予測器２１８は、（１）オブジェクト検出器２１６が先行ヴィークルを検出する場合、（２）先行ヴィークルと対象ヴィークルとの間の相対速度がゼロで無い場合、そして（３）先行ヴィークルと対象ヴィークルとの車間距離が減少している場合、衝突のリスクがあると決定することができる。場合によっては、基準（２）と（３） を組み合わせて、対象ヴィークルが先行ヴィークルよりも速く走行しているか否かを示すこともできる。このような場合、衝突予測器２１８は、（１）オブジェクト検出器２１６が先行ヴィークルを検出する場合、そして（２）（対象ヴィークルが 先行ヴィークルに向かって進んでいる様に）対象ヴィークルが先行ヴィークルよりも速く走行している場合、衝突のリスクがあると決定する。 In some embodiments, the collision predictor 218 can be configured to predict a collision between the target vehicle and the leading vehicle based on the relative speed between the target vehicle and the leading vehicle, the target vehicle's speed, the vehicle's speed, the leading vehicle's speed, or any combination thereof. For example, in some cases, the collision predictor 218 can determine that there is a risk of collision if (1) the object detector 216 detects the leading vehicle, (2) the relative speed between the leading vehicle and the target vehicle is non-zero, and (3) the distance between the leading vehicle and the target vehicle is decreasing. In some cases, the criteria (2) and (3) can be combined to indicate whether the target vehicle is traveling faster than the leading vehicle. In such a case, the collision predictor 218 determines that there is a risk of collision if (1) the object detector 216 detects the leading vehicle, and (2) the target vehicle is traveling faster than the leading vehicle (such as the target vehicle moving toward the leading vehicle).

いくつかの実施形態では、衝突予測器２１８は、衝突のリスクがあるか否かを決定するために使用される他の情報を取得することができる。非限定的な例として、衝突予測器２１８は、先行ヴィークルがブレーキをかけていることを示す情報（例：カメラ画像、検出された光等）、（加速、減速、ターン等を示す情報の様な）動作パラメータ、対象ヴィークルの（加速、減速、ターン等を示す情報の様な）動作パラメータ、またはこれらの任意の組み合わせを取得することができる。 In some embodiments, the collision predictor 218 can obtain other information that is used to determine whether there is a risk of a collision. By way of non-limiting example, the collision predictor 218 can obtain information indicating that the leading vehicle is braking (e.g., camera imagery, detected lights, etc.), operational parameters (such as information indicating acceleration, deceleration, turns, etc.), operational parameters (such as information indicating acceleration, deceleration, turns, etc.) of the target vehicle, or any combination thereof.

いくつかの実施形態では、衝突予測器２１８は、予測される衝突の予想される発生時刻の少なくとも３秒以上前に衝突を予測するように、構成されている。例えば、衝突予測器２１８は、予測される衝突の発生が予想される時刻の少なくとも３秒、４秒、５秒、６秒、７秒、８秒、９秒、１０秒、１１秒、１２秒、１３秒、１４秒、１５秒等前に衝突を予測するように、構成することができる。また、いくつかの実施形態では、衝突予測器２１８は、運転者の脳が入力を処理し、そして運転者が衝突のリスクを軽減するための行動を実行するのに十分なリードタイムで衝突を予測するように、構成されている。いくつかの実施形態では、十分なリードタイムは、運転者監視モジュール２１１が決定する、運転者の状態に依存させることができる。 In some embodiments, the collision predictor 218 is configured to predict a collision at least 3 seconds or more before the expected occurrence of the predicted collision. For example, the collision predictor 218 can be configured to predict a collision at least 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, etc. seconds before the expected occurrence of the predicted collision. Also, in some embodiments, the collision predictor 218 is configured to predict a collision with sufficient lead time for the driver's brain to process the inputs and for the driver to take action to mitigate the risk of a collision. In some embodiments, the sufficient lead time can depend on the driver's state, as determined by the driver monitoring module 211.

いくつかの実施形態では、オブジェクト検出器２１６は、人間を検出する、ように構成することができることに留意されたい。このような場合、衝突予測器２１８は、人間との衝突を予測する、ように構成することができる。図１７は、検出されるオブジェクトが人間であるオブジェクト検出の別の例を示す。図示されるように、検出されるオブジェクトは、第１のカメラ２０２によって提供された画像内で捕獲された人間である。オブジェクトの検出は、オブジェクト検出器２１６によって実行させることができる。図示の例では、識別された人間には、（例：識別されたそれぞれのヴィークルの空間範囲を示す境界ボックス７６０の形で）識別子がそれぞれ提供されている。オブジェクト検出器２１６は、識別された人間に対して長方形の境界ボックス７６０である識別子を提供することに限定されず、そしてオブジェクト検出器２１６は、識別されたそれぞれの人間に対して他の形式の識別子を提供するように構成することもできることに留意されたい。いくつかの実施形態では、オブジェクト検出器２１６は、対象ヴィークルの前方（例：ヴィークルの経路内）にいる人間を、対象ヴィークルの経路内にいない他の人間から区別することができる。いくつかの実施形態では、オブジェクト検出器２１６は、先行ヴィークルを検出するために前述したものと同じ関心領域７５４を、対象ヴィークルの進路内にいる人間を検出するために使用することができる。 It should be noted that in some embodiments, the object detector 216 can be configured to detect humans. In such a case, the collision predictor 218 can be configured to predict a collision with the human. FIG. 17 illustrates another example of object detection where the detected object is a human. As illustrated, the detected object is a human captured in the image provided by the first camera 202. The detection of the object can be performed by the object detector 216. In the illustrated example, the identified humans are each provided with an identifier (e.g., in the form of a bounding box 760 indicating the spatial extent of each identified vehicle). It should be noted that the object detector 216 is not limited to providing an identifier that is a rectangular bounding box 760 for the identified humans, and the object detector 216 can also be configured to provide other forms of identifiers for each identified human. In some embodiments, the object detector 216 can distinguish humans that are in front of the target vehicle (e.g., in the path of the vehicle) from other humans that are not in the path of the target vehicle. In some embodiments, the object detector 216 can use the same region of interest 754 described above for detecting leading vehicles to detect humans in the path of a target vehicle.

いくつかの実施形態では、衝突予測器２１８は、第１のカメラ２０２によって提供された人間の画像のシーケンスを分析することによって、検出された人間の移動方向を決定するように構成することができる。衝突予測器２１８は、また、人間の画像のシーケンスを分析することによって、検出された人間の移動速度（例：人間がどの程度の速さで歩いたり走ったりしているか）を決定するように構成することができる。また、衝突予測器２１８は、対象ヴィークルの走行経路と、検出された人間の移動方向とに基づいて、人間と衝突するリスクがあるか否かを決定する、ように構成することができる。このような特徴は、ヴィークルの進路上にはいないが、対象ヴィークルの経路方向に移動する歩道にいる可能性のある人間との衝突を防止するために望ましいであろう。 In some embodiments, the collision predictor 218 can be configured to determine the direction of movement of the detected human by analyzing the sequence of images of the human provided by the first camera 202. The collision predictor 218 can also be configured to determine the speed of movement of the detected human (e.g., how fast the human is walking or running) by analyzing the sequence of images of the human. The collision predictor 218 can also be configured to determine whether there is a risk of collision with a human based on the travel path of the target vehicle and the direction of movement of the detected human. Such a feature may be desirable to prevent collisions with humans who are not in the path of the vehicle but may be on a sidewalk moving in the direction of the path of the target vehicle.

いくつかの実施形態では、衝突予測器２１８は、検出された人間の移動速度と方向に基づいて、将来のある時刻（例えば、次の０．５秒、次の１秒、次の２秒、次の３秒等）において検出される人間がいる可能性のある位置を示す、検出された人間の隣のエリアを決定するように、構成されている。次で、衝突予測器２１８は、対象ヴィークルの速度に基づいて、対象ヴィークルが人間の予測位置を示す、決定された領域（例：ボックス内）を横切るか否かを決定することができる。一実装形態では、衝突予測器２１８は、決定された領域が関心領域７５４と交差するか否かを決定することができる。交差する場合、衝突予測器２１８は、人間と衝突するリスクがあると決定し、そして予測される衝突を示す出力を生成することができる。 In some embodiments, the collision predictor 218 is configured to determine an area adjacent to the detected human, indicative of a possible location of the detected human at a future time (e.g., the next 0.5 seconds, the next 1 second, the next 2 seconds, the next 3 seconds, etc.) based on the speed and direction of movement of the detected human. The collision predictor 218 can then determine whether the target vehicle will cross the determined area (e.g., within a box) indicative of a predicted location of the human, based on the speed of the target vehicle. In one implementation, the collision predictor 218 can determine whether the determined area intersects with the region of interest 754. If so, the collision predictor 218 can determine that there is a risk of collision with the human and generate an output indicative of a predicted collision.

図１８は、人間の歩行速度と方向に基づく人間の予測される位置の例を示す図である。人間の移動は、本質的に予測可能ではないため、いくつかの実施形態では、例え、検出された人間が立っている場合であっても（例：道路の隣に立っている歩行者）、衝突予測器２１８は、人間の（例：人間が歩き始めたり、走り始めた場合の）可能性がある位置を示す人間に関するエリアを決定することができる。例えば、衝突予測器２１８は、検出された人間を囲む境界ボックス７６０（例：長方形のボックス）を決定し、そして次いで、人間の将来の予測位置の不確実性を考慮して、境界ボックス７６０の寸法を増加させることができる。ここで、拡大されたボックスは、人間の予測位置を示す領域を定義する。次に、衝突予測器２１８は、対象ヴィークルが、人間の予測位置を示す、決定されたエリアを横切るか否かを決定することができる。一実装形態では、衝突予測器２１８は、拡大されたボックスの決定された領域が、関心領域７５４と交差するか否かを決定することができる。交差する場合、衝突予測器２１８は、人間との衝突のリスクがあると決定し、そして予測される衝突を示す出力を生成することができる。 FIG. 18 illustrates an example of a predicted location of a human based on the human's walking speed and direction. Because human movement is inherently unpredictable, in some embodiments, even if the detected human is standing (e.g., a pedestrian standing next to a road), the collision predictor 218 can determine an area about the human that indicates the human's possible location (e.g., if the human starts walking or running). For example, the collision predictor 218 can determine a bounding box 760 (e.g., a rectangular box) that surrounds the detected human, and then increase the dimensions of the bounding box 760 to account for the uncertainty of the human's predicted future location. The enlarged box now defines an area that indicates the predicted location of the human. The collision predictor 218 can then determine whether the target vehicle crosses the determined area that indicates the predicted location of the human. In one implementation, the collision predictor 218 can determine whether the determined area of the enlarged box intersects with the region of interest 754. If so, the collision predictor 218 can determine that there is a risk of a collision with the human, and generate an output that indicates a predicted collision.

いくつかの実施形態では、衝突予測器２１８は、少なくとも３つの異なるシナリオで人間との衝突を予測するように構成することができる。第１のシナリオでは、検出された人間（または検出された人間を囲む境界ボックス７６０）が、関心領域７５４と交差して、人間がすでに対象ヴィークルの走行経路内にいることを示す。第２のシナリオでは、検出された人間は、対象ヴィークルの走行経路内にはいなく、そして車道の脇に立っている。このような場合、衝突予測器２１８は、上述したように、検出された人間の拡大された境界ボックスの領域を使用して、衝突のリスクがあるか否かを決定することができる。拡大された境界ボックスが、（衝突を検出するための）関心領域７５４と交差する場合、衝突予測器２１８は、立っている人間と衝突するリスクがあると決定することができる。第３のシナリオでは、検出された人間は移動していて、そして人間の画像（またはその境界ボックス７６０）は、（衝突を検出するための）関心領域７５４と交差しない。このような場合、衝突予測器２１８は、上述したように、人間の予測位置の領域を使用して、衝突のリスクがあるか否かを決定することができる。予測位置の領域が関心領域７５４と交差する場合、衝突予測器２１８は、人間と衝突するリスクがあると決定することができる。 In some embodiments, the collision predictor 218 can be configured to predict a collision with a human in at least three different scenarios. In a first scenario, the detected human (or a bounding box 760 surrounding the detected human) intersects with the region of interest 754, indicating that the human is already in the target vehicle's driving path. In a second scenario, the detected human is not in the target vehicle's driving path and is standing on the side of the roadway. In such a case, the collision predictor 218 can use the area of the enlarged bounding box of the detected human to determine whether there is a risk of collision, as described above. If the enlarged bounding box intersects with the region of interest (for detecting collisions) 754, the collision predictor 218 can determine that there is a risk of collision with the standing human. In a third scenario, the detected human is moving, and the image of the human (or its bounding box 760) does not intersect with the region of interest (for detecting collisions) 754. In such a case, the collision predictor 218 can use the area of the predicted location of the human to determine whether there is a risk of collision, as described above. If the region of the predicted position intersects with the region of interest 754, the collision predictor 218 can determine that there is a risk of collision with a human.

いくつかの実施形態では、拡大された境界ボックスは、検出されたオブジェクトの寸法に追加の長さを加えたものに基づく寸法を有することができる。この長さは、オブジェクトの移動の不確実性を考慮して予め定められている。他の実施形態では、拡大された境界ボックスは、オブジェクトの位置の予測に基づいて決定することができる。図１８に示されるように、検出されたオブジェクトは、初期境界ボックス７６０を有することができる。第１のカメラ２０２からの画像内のオブジェクトの位置に基づいて、処理ユニット２１０は、移動オブジェクトの位置を予測することができる。図示されるように、ボックス７６２ａは、今から０．３秒後のオブジェクトの可能性がある位置を表す処理ユニット２１０によって、決定させることができる。処理ユニット２１０は、また、今から０．７秒後のオブジェクトの可能性がある位置を表すボックス７６２ｂ、および今から１秒後のオブジェクトの可能性がある位置を表すボックス７６２ｃを決定することもできる。いくつかの実施形態では、衝突予測器２１８は、特定の将来の時刻における検出されたオブジェクト（例：人間）の将来の位置を予測し続け、そして対象ヴィークルの経路がこれらの位置の何れかと交差するか否かを決定することができる。交差する場合、衝突予測器２１８は、オブジェクトと衝突するリスクがあると決定することができる。 In some embodiments, the expanded bounding box may have dimensions based on the dimensions of the detected object plus an additional length. This length is predefined to account for the uncertainty of the object's movement. In other embodiments, the expanded bounding box may be determined based on a prediction of the object's location. As shown in FIG. 18, the detected object may have an initial bounding box 760. Based on the object's location in the image from the first camera 202, the processing unit 210 may predict the location of the moving object. As shown, box 762a may be determined by the processing unit 210 representing the likely location of the object 0.3 seconds from now. The processing unit 210 may also determine box 762b representing the likely location of the object 0.7 seconds from now, and box 762c representing the likely location of the object 1 second from now. In some embodiments, the collision predictor 218 may continue to predict the future location of the detected object (e.g., a human) at a particular future time and determine whether the path of the target vehicle will intersect with any of these locations. If so, the collision predictor 218 can determine that there is a risk of colliding with the object.

いくつかの実施形態では、関心領域７５４は、運転者監視モジュール２１１が運転者が注意力散漫であることを検出したことに応答して拡大させることができる。例えば、関心領域７５４は、運転者監視モジュール２１１が運転者が注意力散漫である状態を検出したことに応答して拡大させることができる。これには、道路または車線の外側にあるオブジェクトを、衝突が起こり得るリスクとして考慮することができるという利点がある。例えば、運転者が注意力散漫である場合、処理ユニット２１０は、関心領域７５４を広げる。これは、検出されたオブジェクトと関心領域７５４との重なりを検出するための閾値を緩和すると言う効果をもたらす。自転車に乗っている人が、車線の端を走っている場合、処理ユニット２１０は、それが拡大された関心領域７５４と重なり得るので、自転車に乗っている人を、衝突する可能性があるリスクとして検出することができる。一方、運転者が注意力を保持している（例：注意力散漫でない）場合、関心領域はより小さくなり、そして自転車に乗っている人が関心領域７５４と交差することはないであろう。従って、このシナリオでは、処理ユニット２１０は、自転車に乗っている人を、衝突するリスクがあるとはみなさないであろう。注意力のある運転者が、自転車に乗っている人との衝突を避けようとする可能性は高いので、これは理にかなっている。 In some embodiments, the region of interest 754 may be enlarged in response to the driver monitoring module 211 detecting that the driver is distracted. For example, the region of interest 754 may be enlarged in response to the driver monitoring module 211 detecting that the driver is distracted. This has the advantage that objects outside the road or lane can be considered as a risk for a possible collision. For example, if the driver is distracted, the processing unit 210 widens the region of interest 754. This has the effect of relaxing the threshold for detecting overlap between the detected object and the region of interest 754. If a cyclist is riding on the edge of the lane, the processing unit 210 may detect the cyclist as a risk for a possible collision since it may overlap with the enlarged region of interest 754. On the other hand, if the driver is attentive (e.g., not distracted), the region of interest will be smaller and the cyclist will not intersect with the region of interest 754. Thus, in this scenario, processing unit 210 would not consider the bicyclist to be at risk for a collision. This makes sense, since an attentive driver would likely try to avoid a collision with a bicyclist.

いくつかの実施形態では、計算需要を減らすために、衝突予測器２１８は、画像内で検出された人間の全てについて衝突のリスクを決定しなくてもよい。例えば、いくつかの実施形態では、衝突予測器２１８は、ヴィークル内にいる検出された人間、バス停に立っている人間、屋外に座っている人間等を除外することができる。他の実施形態では、衝突予測器２１８は、衝突予測に対して、検出された全ての人間を考慮することができる。 In some embodiments, to reduce computational demands, the collision predictor 218 may not determine the risk of collision for all of the humans detected in the image. For example, in some embodiments, the collision predictor 218 may exclude detected humans in vehicles, humans standing at bus stops, humans sitting outdoors, etc. In other embodiments, the collision predictor 218 may consider all detected humans for collision prediction.

いくつかの実施形態では、オブジェクト検出器２１６は、１つまたは複数のモデルを使用して、（図示されているような）自動車、オートバイ、歩行者、動物、車線分離線、道路標識、交通標識、信号機の様な様々なオブジェクトを検出することができる。いくつかの実施形態では、オブジェクト検出器２１６によって使用されるモデルは、様々なオブジェクトを識別するように訓練されたニューラルネットワークモデルとすることができる。他の実施形態では、モデルは、オブジェクトを識別するように構成されている数学的モデルの様な他のタイプのモデルの何れかとすることができる。オブジェクト検出器２１６によって使用されるモデルは、非一時的媒体２３０に格納させることができ、および／またはオブジェクト検出器２１６の一部として組み込むことができる。 In some embodiments, the object detector 216 can use one or more models to detect various objects, such as cars (as shown), motorcycles, pedestrians, animals, lane dividers, road signs, traffic signs, and traffic lights. In some embodiments, the models used by the object detector 216 can be neural network models trained to identify various objects. In other embodiments, the models can be any other type of model, such as a mathematical model, that is configured to identify objects. The models used by the object detector 216 can be stored in the non-transitory medium 230 and/or can be incorporated as part of the object detector 216.

交差点での違反の予測Predicting Intersection Violations

図１９Ａ－１９Ｂは、オブジェクト検出器２１６によって検出されるオブジェクトが、交差点に関連付けられているオブジェクトの検出の他の例を示す。図１９Ａに示されるように、オブジェクト検出器２１６は、信号機７８０を検出するように構成することができる。図１９Ｂに示されるように、オブジェクト検出器２１６は、一時停止標識７９０を検出する、ように構成することができる。オブジェクト検出器２１６は、また、道路標示、縁石の角、ランプ等の様な、交差点に関連する他のオブジェクトを検出するように、構成することもできる。 19A-19B show another example of object detection where the object detected by the object detector 216 is associated with an intersection. As shown in FIG. 19A, the object detector 216 can be configured to detect a traffic light 780. As shown in FIG. 19B, the object detector 216 can be configured to detect a stop sign 790. The object detector 216 can also be configured to detect other objects associated with the intersection, such as road markings, curb corners, lamps, etc.

いくつかの実施形態では、交差点での違反予測器２２２は、オブジェクト検出器２１６によって検出されたオブジェクト検出器２１６に基づいて交差点を検出する、ように構成されている。場合によっては、オブジェクト検出器２１６は、対象ヴィークルの予想される停止位置を示す交差点の停止線を検出することができる。交差点での違反予測器２２２は、停止線の位置および対象ヴィークルの速度に基づいてＴＴＣ（Time To Crossing）を決定することができる。例えば、交差点での違反予測器２２２は、対象ヴィークルと停止線の位置との間の距離ｄを決定し、そして式ＴＴＣ＝ｄ／Ｖに基づいてＴＴＣを計算することができる。ここで、Ｖは対象ヴィークルの速度である。また、いくつかの実施形態では、交差点での違反予測器２２２は、図１９Ｂに示されるように、検出された停止線に対応する線７９２を決定し、そして線７９２に基づいてＴＴＣを取得するための計算を実行する、ように構成することができる。場合によっては、オブジェクト検出器２１６によって停止線が検出されない場合、交差点での違反予測器２２２は、交差点で検出されたオブジェクトに基づいて、予想される停止位置を推定することができる。例えば、交差点での違反予測器２２２は、予想される停止位置と、一時停止標識、信号機等の様な周囲のオブジェクトとの間の既知の相対位置に基づいて、予想される停止位置を推定することができる。 In some embodiments, the intersection violation predictor 222 is configured to detect an intersection based on the object detector 216 detected by the object detector 216. In some cases, the object detector 216 can detect a stop line at the intersection indicating an expected stopping position of the target vehicle. The intersection violation predictor 222 can determine a time to crossing (TTC) based on the position of the stop line and the speed of the target vehicle. For example, the intersection violation predictor 222 can determine a distance d between the target vehicle and the position of the stop line and calculate the TTC based on the formula TTC=d/V, where V is the speed of the target vehicle. Also, in some embodiments, the intersection violation predictor 222 can be configured to determine a line 792 corresponding to the detected stop line and perform a calculation to obtain the TTC based on the line 792, as shown in FIG. 19B. In some cases, if a stop line is not detected by the object detector 216, the intersection violation predictor 222 can estimate an expected stopping position based on an object detected at the intersection. For example, the intersection violation predictor 222 can estimate the expected stopping location based on known relative positions between the expected stopping location and surrounding objects such as stop signs, traffic lights, etc.

いくつかの実施形態では、交差点での違反予測器２２２は、ＴＴＣを決定する代わりに、停止線の位置および対象ヴィークルの速度に基づいて制動時間（ＴＴＢ:time-to-brake）を決定する、ように構成することができる。ＴＴＢは、交差点に関連する必要な停止位置またはその手前で安全に停止するように、ブレーキ動作を開始するために、運転者が現在の速度で出発してからの時間を測定する。例えば、交差点での違反予測器２２２は、対象ヴィークルと停止線の位置との間の距離ｄを求め、そして対象ヴィークルの現在速度に基づいてＴＴＢを算出することができる。いくつかの実施形態では、交差点での違反予測器２２２は、ヴィークルの速度に基づいてヴィークルが完全に停止するまでに必要な距離を示す制動距離ＢＤを決定し、そしてこの制動距離に基づいてＴＴＢを決定する、ように構成することができる。速度が速いヴィークルほど、制動距離は長くなる。いくつかの実施形態では、制動距離は、道路状況にも依存する可能性がある。例えば、ヴィークルの速度が同じ場合、制動距離は、乾いた道路状態に比べて濡れた道路状態の方が長くなる可能性がある。図１９Ｃは、異なるヴィークル速度および異なる道路状況に対して必要な、異なる制動距離を示す。例えば、図示されるように、時速４０ｋｍで走行するヴィークルの場合、乾いた道路状態では９メートルの制動距離が必要となり、そして濡れた道路状態では１３メートルの制動距離が必要になるであろう。一方、時速１１０ｋｍで走行するヴィークルの場合、乾いた道路状態では６７メートルの制動距離が必要となり、そして濡れた道路状態では９７メートルの制動距離が必要になるであろう。図１９Ｃは、運転者の反応時間を１．５秒にした場合、ヴィークルがどれだけ移動するであろうかも示している。例えば、時速４０ｋｍで走行しているヴィークルの場合、運転者がブレーキをかけるまでに約１．５秒（運転者の反応時間)を要し、１７メートル移動するであろう。従って、時速４０ｋｍで走行しているヴィークルが停止するまでにかかる総距離は、（運転者の反応時間を考慮すると)、乾燥した道路状態では２６メートル、そして濡れた道路状態では３０メートルになるであろう。 In some embodiments, the intersection violation predictor 222 can be configured to determine a time-to-brake (TTB) based on the location of the stop line and the speed of the target vehicle instead of determining the TTC. The TTB measures the time from when the driver departs at the current speed to initiate a braking action to safely stop at or before the required stop position associated with the intersection. For example, the intersection violation predictor 222 can determine a distance d between the target vehicle and the location of the stop line and calculate the TTB based on the current speed of the target vehicle. In some embodiments, the intersection violation predictor 222 can be configured to determine a braking distance BD indicating the distance required for the vehicle to come to a complete stop based on the speed of the vehicle and determine the TTB based on the braking distance. A faster vehicle has a longer braking distance. In some embodiments, the braking distance may also depend on the road conditions. For example, for the same vehicle speed, the braking distance may be longer in wet road conditions compared to dry road conditions. FIG. 19C shows different braking distances required for different vehicle speeds and different road conditions. For example, as shown, a vehicle traveling at 40 km/h would require a braking distance of 9 meters in dry road conditions and 13 meters in wet road conditions. On the other hand, a vehicle traveling at 110 km/h would require a braking distance of 67 meters in dry road conditions and 97 meters in wet road conditions. FIG. 19C also shows how far the vehicle would travel if the driver's reaction time was 1.5 seconds. For example, a vehicle traveling at 40 km/h would take about 1.5 seconds (driver's reaction time) before the driver applies the brakes and would travel 17 meters. Therefore, the total distance taken to stop a vehicle traveling at 40 km/h (taking into account the driver's reaction time) would be 26 meters in dry road conditions and 30 meters in wet road conditions.

いくつかの実施形態では、交差点での違反予測器２２２は、式：ＴＴＢ＝（ｄ－ＢＤ）／Ｖ（Ｖはヴィークルの速度）に基づいてＴＴＢを決定することができる。ｄがヴィークルの現在位置から停止位置（停止線等) までの距離、そしてＢＤが制動距離であるので、項（ｄ－ＢＤ）は対象ヴィークルが走行する残りの距離（この間に、運転者は、ヴィークルにブレーキをかける前に環境に反応する可能性がある）を表す。従って、項（ｄ－ＢＤ）／Ｖは、運転者が、ヴィークルにブレーキをかける前に環境に反応しなければならない時間を表す。いくつかの実施形態では、ＴＴＢ＝（ｄ－ＢＤ）／Ｖ≦閾値反応時間である場合、交差点での違反予測器２２２は、本明細書に記載されているように、運転者に警告を与えるようにデバイスを動作させる、および／または自動的にヴィークルを制御するようにデバイスを動作させる、ための制御信号を生成することができる。 In some embodiments, the intersection violation predictor 222 can determine the TTB based on the formula: TTB=(d-BD)/V, where V is the vehicle speed. Since d is the distance from the vehicle's current location to the stop location (such as a stop line) and BD is the braking distance, the term (d-BD) represents the remaining distance the subject vehicle has to travel during which the driver may react to the environment before braking the vehicle. Thus, the term (d-BD)/V represents the time the driver has to react to the environment before braking the vehicle. In some embodiments, if TTB=(d-BD)/V≦threshold reaction time, the intersection violation predictor 222 can generate a control signal to operate a device to warn the driver and/or to automatically control the vehicle, as described herein.

いくつかの実施形態では、閾値反応時間は、１．５秒以上、２秒以上、２．５秒以上、３秒以上、４秒以上等とすることができる。 In some embodiments, the threshold reaction time can be 1.5 seconds or more, 2 seconds or more, 2.5 seconds or more, 3 seconds or more, 4 seconds or more, etc.

また、いくつかの実施形態では、閾値反応時間は、運転者監視モジュール２１１によって決定される運転者の状態に基づいて可変とすることができる。例えば、いくつかの実施形態では、運転者監視モジュール２１１が、運転者が注意力散漫になっていると決定した場合、処理ユニット２１０は、閾値反応時間を増加させることができる（例：注意力散漫でない運転者の場合の２秒から、注意力散漫である運転者の場合の４秒に変更する等）。更に、いくつかの実施形態では、閾値反応時間は、運転者の異なる状態に対して異なる値を有することができる。例えば、運転者が、覚醒しているが注意力散漫になっている場合、閾値反応時間を４秒とし、そして運転者が眠気を催している場合、閾値反応時間を６秒とすることができる。 Also, in some embodiments, the threshold reaction time may be variable based on the driver's state as determined by the driver monitoring module 211. For example, in some embodiments, if the driver monitoring module 211 determines that the driver is distracted, the processing unit 210 may increase the threshold reaction time (e.g., from 2 seconds for a non-distracted driver to 4 seconds for a distracted driver). Furthermore, in some embodiments, the threshold reaction time may have different values for different driver states. For example, if the driver is awake but distracted, the threshold reaction time may be 4 seconds, and if the driver is drowsy, the threshold reaction time may be 6 seconds.

いくつかの実施形態では、交差点での違反予測器２２２は、第１のカメラ２０２からの画像を分析することによって、対象ヴィークルと停止位置との間の距離ｄを決定する、ように構成することができる。これに代えてまたは加えて、交差点での違反予測器２２２は、ＧＰＳシステムから、対象ヴィークルの位置および交差点の位置を示す情報を受信することができる。このような場合、交差点での違反予測器２２２は、対象ヴィークルの位置と交差点の位置とに基づいて距離ｄを決定することもできる。 In some embodiments, the intersection violation predictor 222 can be configured to determine the distance d between the target vehicle and the stop position by analyzing images from the first camera 202. Alternatively or additionally, the intersection violation predictor 222 can receive information from a GPS system indicating the location of the target vehicle and the location of the intersection. In such a case, the intersection violation predictor 222 can also determine the distance d based on the location of the target vehicle and the location of the intersection.

いくつかの実施形態では、交差点での違反予測器２２２は、異なるヴィークル速度をそれぞれの制動距離にマッピングするテーブルを参照することによって、制動距離ＢＤを決定することができる。他の実施形態では、交差点での違反予測器２２２は、ヴィークルの速度を入力として受信するモデル（例：方程式）に基づいて計算を実行することによって、制動距離ＢＤを決定し、そして制動距離を出力することができる。また、いくつかの実施形態では、処理ユニット２１０は、道路状況を示す情報を受信し、そしてこの道路状況に基づいて制動距離ＢＤを決定することができる。例えば、いくつかの実施形態では、処理ユニット２１０は、雨が降っていることを示す湿気センサからの出力を受信することができる。このような場合、処理ユニット２１０は、制動距離ＢＤに対してより高い値を決定することができる。 In some embodiments, the intersection violation predictor 222 may determine the braking distance BD by consulting a table that maps different vehicle speeds to respective braking distances. In other embodiments, the intersection violation predictor 222 may determine the braking distance BD by performing calculations based on a model (e.g., an equation) that receives the vehicle speed as an input, and output the braking distance. Also, in some embodiments, the processing unit 210 may receive information indicative of road conditions, and determine the braking distance BD based on the road conditions. For example, in some embodiments, the processing unit 210 may receive an output from a moisture sensor that indicates that it is raining. In such a case, the processing unit 210 may determine a higher value for the braking distance BD.

いくつかの実施形態では、ＴＴＢを決定する代わりに、またはＴＴＢを決定することに加えて、交差点での違反予測器２２２は、対象ヴィークルの速度Ｖに基づいて（そしてオプションとして道路状況および／またはヴィークルダイナミクスにも基づいて）制動距離ＢＤを決定する、ように構成することができ、そして制動距離ＢＤが、交差点までの距離ｄ（例：対象ヴィークルと交差点に関連する予想される停止位置との間の距離）より小さい場合、またはｄ－ ＢＤ≦距離閾値の場合、制御信号を生成することができる。この制御信号は、本明細書に記載されるように、デバイスを動作させて運転者に対する警告を生成する、および／またはデバイスを動作させてヴィークルを制御することができる。いくつかの実施形態では、距離閾値は、運転者の状態に基づいて調整させることができる。例えば、運転者監視モジュール２１１が、運転者が注意力散漫であると決定した場合、処理ユニット２１０は、運転者が反応するまでのより長い距離を考慮して距離閾値を増加させることができる。 In some embodiments, instead of or in addition to determining the TTB, the intersection violation predictor 222 can be configured to determine a braking distance BD based on the speed V of the subject vehicle (and optionally also based on road conditions and/or vehicle dynamics) and generate a control signal if the braking distance BD is less than a distance d to the intersection (e.g., the distance between the subject vehicle and an expected stopping position associated with the intersection) or if d-BD≦distance threshold. The control signal can operate a device to generate a warning to the driver and/or operate a device to control the vehicle, as described herein. In some embodiments, the distance threshold can be adjusted based on the driver's state. For example, if the driver monitoring module 211 determines that the driver is distracted, the processing unit 210 can increase the distance threshold to account for the longer distance the driver has to react.

距離推定Distance Estimation

本明細書に記載される１つまたは複数の実施形態では、処理ユニット２１０は、対象ヴィークルとヴィークルの前方の位置との間の距離ｄを決定する、ように構成することができる。ここで、この位置は、第１のカメラ２０２からの画像に取り込まれたオブジェクト（例：先行ヴィークル、歩行者等）の位置、ヴィークルの予想停止位置等とすることができる。異なる実施形態では、距離ｄを決定するために、様々な技術を使用することができる。 In one or more embodiments described herein, the processing unit 210 can be configured to determine a distance d between the target vehicle and a position ahead of the vehicle, where this position can be the position of an object (e.g., a leading vehicle, a pedestrian, etc.) captured in an image from the first camera 202, an expected stopping position of the vehicle, etc. In different embodiments, various techniques can be used to determine the distance d.

いくつかの実施形態では、処理ユニット２１０は、Ｙからｄへのマッピングに基づいて距離ｄを決定するように構成することができる。ここで、Ｙは、画像フレーム内のｙ座標を表し、そしてｄは、画像フレーム内の対象ヴィークルとｙ座標に対応する位置との間の距離を表す。この概念は、図２０の例に示されていて、これは、対象ヴィークルとヴィークル前方位置との間の距離ｄを求める手法の一例を示す。上側のグラフでは、カメラ画像内で検出された先行ヴィークルの境界ボックスの様々な幅が、それぞれのｙ座標（つまり、カメラ画像に現れた、検出されたオブジェクトの境界ボックスのそれぞれの位置のｙ成分) に対してプロットされていて、そして境界ボックスのｙ座標とそれぞれの幅を関連付けるために最良適合線を決定することが出来る。上側のグラフでは、ｙ座標は、原点ｙ＝０がカメラ画像の上部にある座標系に基づいている。他の実施形態では、ｙ座標は、他の座標系（例：原点ｙ＝０が画像の下部または画像の中央にある座標系)に依存させることができる。図示の例では、より高いｙ座標値が、より大きな境界ボックスの幅に対応する。これは、カメラの近くで検出されたヴィークルは、カメラから遠くにある別のヴィークルに比べて、大きくなり（対応する境界ボックスが大きくなり)、そしてカメラ画像の下部に近く表示されるためである。また、図示の例では、図２０の上側のグラフの最良適合線は、Ｂ＝６９３．４１および ｍ＝１．４６と言う２つのパラメータを持つ線形方程式を有する。ここで、Ｂはｙ＝０のときの値、そしてｍは最良適合線の傾きである。 In some embodiments, the processing unit 210 can be configured to determine the distance d based on a mapping from Y to d, where Y represents the y coordinate in the image frame, and d represents the distance between the target vehicle and a position in the image frame corresponding to the y coordinate. This concept is illustrated in the example of FIG. 20, which shows an example of a technique for determining the distance d between the target vehicle and a forward vehicle position. In the upper graph, various widths of the bounding box of the preceding vehicle detected in the camera image are plotted against their respective y coordinates (i.e., the y component of each position of the bounding box of the detected object appearing in the camera image), and a best fit line can be determined to relate the y coordinates of the bounding box to each width. In the upper graph, the y coordinates are based on a coordinate system with the origin y=0 at the top of the camera image. In other embodiments, the y coordinates can depend on other coordinate systems (e.g., a coordinate system with the origin y=0 at the bottom of the image or in the center of the image). In the illustrated example, higher y coordinate values correspond to larger bounding box widths. This is because vehicles detected closer to the camera will appear larger (with larger corresponding bounding boxes) and closer to the bottom of the camera image than vehicles that are farther away from the camera. Also, in the illustrated example, the best-fit line of the top graph in Figure 20 has a linear equation with two parameters: B=693.41 and m=1.46, where B is the value at y=0 and m is the slope of the best-fit line.

カメラ画像の座標系における幅（つまり水平寸法）は、ホモグラフィ原理に基づく現実世界の距離ｄに関係することに留意されたい。従って、図２０の上側のグラフの幅パラメータは、いくつかの実施形態において、透視投影幾何学に基づいて現実世界の距離ｄに変換させることができる。いくつかの実施形態では、幅対距離のマッピングは、透視投影幾何学に基づいて計算を実行することによって経験的に取得することができる。他の実施形態では、幅対距離のマッピングは、カメラとある位置のオブジェクトとの間の実際の距離ｄを測定し、そしてカメラから距離ｄの位置にあるオブジェクトを捕捉するカメラ画像の座標系においてオブジェクトの幅を決定することによって、取得することができる。また、さらなる実施形態では、幅対距離のマッピングを決定する代わりに、カメラと現実世界の位置Ｌとの間の実際の距離ｄを測定し、そしてカメラ画像の座標系において位置Ｌのｙ座標を決定することによって、ｙ対ｄのマッピングを決定することができる。 Note that the width (i.e., horizontal dimension) in the coordinate system of the camera image is related to the real-world distance d based on the homography principle. Thus, the width parameter in the upper graph of FIG. 20 can be converted to the real-world distance d based on the perspective projection geometry in some embodiments. In some embodiments, the width-to-distance mapping can be obtained empirically by performing calculations based on the perspective projection geometry. In other embodiments, the width-to-distance mapping can be obtained by measuring the actual distance d between the camera and an object at a location, and determining the width of the object in the coordinate system of the camera image that captures the object at the distance d from the camera. Also, in a further embodiment, instead of determining the width-to-d mapping, the y-to-d mapping can be determined by measuring the actual distance d between the camera and a real-world location L, and determining the y coordinate of location L in the coordinate system of the camera image.

図２０の下側のグラフの情報は、いくつかの実施形態で、処理ユニット２１０が距離ｄを決定する際に使用することが出来る。例えば、いくつかの実施形態では、ｙ座標を距離ｄに関連付ける情報は、非一時的媒体に格納することができる。この情報は、距離ｄを異なるｙ座標に関連付ける曲線の方程式、異なるｙ座標およびこれらに対応する距離ｄを含むテーブル等とすることができる。使用中に、処理ユニット２１０は、オブジェクト（例：ヴィークル）を検出することができる。カメラ画像に現れた、検出されたオブジェクトの画像は、カメラ画像の座標系に対して特定の座標（ｘ、ｙ）を有する。例えば、検出されたオブジェクトのｙ座標が５１０の値を有する場合、検出されたオブジェクトのカメラ／対象ヴィークルからの距離は、図２０の曲線に基づいて、約２５メートルとなる。 The information in the lower graph of FIG. 20 can be used by the processing unit 210 in determining the distance d in some embodiments. For example, in some embodiments, information relating y coordinates to distance d can be stored in a non-transitory medium. This information can be an equation of a curve relating distance d to different y coordinates, a table containing different y coordinates and their corresponding distances d, etc. In use, the processing unit 210 can detect an object (e.g., a vehicle). An image of the detected object that appears in the camera image has specific coordinates (x, y) relative to the coordinate system of the camera image. For example, if the y coordinate of the detected object has a value of 510, then the distance of the detected object from the camera/target vehicle is approximately 25 meters based on the curve in FIG. 20.

別の例として、使用中、処理ユニット２１０は、対象ヴィークルの所望の停止位置を表す、カメラ画像内の位置を決定することができる。カメラ画像内の位置は、カメラ画像の座標系に対して特定の座標（ｘ, ｙ) を有する。例えば、（対象ヴィークルの所望の位置を表す）位置のｙ座標が４９０の値を有する場合、所望の停止位置（例：実際の交差点停止線、または人工的に作成された停止線）とカメラ／対象ヴィークルとの間の距離ｄは、図２０の曲線に基づいて、約５０メートルとなる。 As another example, in use, the processing unit 210 can determine a location in the camera image that represents a desired stopping position for the target vehicle. The location in the camera image has specific coordinates (x, y) relative to the coordinate system of the camera image. For example, if the y coordinate of the location (representing the desired position of the target vehicle) has a value of 490, then the distance d between the desired stopping position (e.g., an actual intersection stop line or an artificially created stop line) and the camera/target vehicle is approximately 50 meters, based on the curve in FIG. 20.

距離ｄを決定するための技術は、記載された例に限定されず、処理ユニット２１０が、距離ｄを決定するために他の技術を使用することができることに留意されたい。例えば、他の実施形態では、処理ユニット２１０は、距離決定のために飛行時間技術を使用するセンサの様な距離センサから距離情報を受信することができる。 It should be noted that the technique for determining distance d is not limited to the described example, and processing unit 210 can use other techniques to determine distance d. For example, in other embodiments, processing unit 210 can receive distance information from a distance sensor, such as a sensor that uses time-of-flight techniques for distance determination.

警報の生成および／または自動ヴィークル制御Generates warnings and/or automatic vehicle control

本明細書に記載されるように、信号生成制御器２２４は、衝突予測器２１８または交差点での違反予測器２２２からの出力および運転者の状態を示す運転者監視モジュール２１１からの出力にも基づいて、警報発生器を動作させるためのおよび／またはヴィークル制御器に対象ヴィークルを制御させるための制御信号を生成する、ように構成されている。衝突予測器２１８からの出力は、（別のヴィークルまたは別のオブジェクトとの）衝突までの時間または検出された交差点を交差するまでの時間を示すＴＴＣ値とすることができる。 As described herein, the signal generation controller 224 is configured to generate a control signal for activating an alarm generator and/or for causing a vehicle controller to control the subject vehicle based on outputs from the collision predictor 218 or intersection violation predictor 222 and also on outputs from the driver monitoring module 211 indicating the driver's status. The output from the collision predictor 218 can be a TTC value indicating the time to collision (with another vehicle or another object) or the time to cross the detected intersection.

いくつかの実施形態では、信号生成制御器２２４は、（時間の経過に応じて変化する）ＴＴＣ値を閾値（閾値時間）と比較し、そしてこの結果に基づいて制御信号を生成するか否かを決定する、ように構成されている。いくつかの実施形態では、（予測される衝突または予測される交差点での違反に応じて）制御信号を生成するか否かを決定するために、処理ユニット２１０の信号生成制御器２２４が使用する閾値は、少なくとも２秒、または３秒、または４秒、または５秒、または６秒、または７秒、または８秒、または９秒、または１０秒の値である最小値を有することができる。この閾値は、運転者監視モジュール２１１によって提供される情報によって示される運転者の状態に基づいて可変である。例えば、運転者の状態が、運転者が注意力散漫であることを示す場合、処理ユニット２１０は、閾値時間をその最小値から増加させる（例：最小値が３秒の場合、閾値を５秒に調整させることができる）ことにより、閾値を調整することができる。一方、運転者の状態が眠気を催していることを示す場合、処理ユニット２１０は、例えば、７秒となる（すなわち、この例では５秒を超える）ように閾値を調整することができる。これは、眠気を催している状態にある運転者が、衝突のリスクまたは停止の必要性に気づき、そして衝突のリスクを軽減するための行動を起こすまでに、より時間がかかるからである。 In some embodiments, the signal generation controller 224 is configured to compare the TTC value (which varies over time) with a threshold (threshold time) and determine whether to generate a control signal based on the result. In some embodiments, the threshold used by the signal generation controller 224 of the processing unit 210 to determine whether to generate a control signal (in response to a predicted crash or a predicted intersection violation) can have a minimum value that is at least 2 seconds, or 3 seconds, or 4 seconds, or 5 seconds, or 6 seconds, or 7 seconds, or 8 seconds, or 9 seconds, or 10 seconds. This threshold is variable based on the driver's state indicated by the information provided by the driver monitoring module 211. For example, if the driver's state indicates that the driver is distracted, the processing unit 210 can adjust the threshold by increasing the threshold time from its minimum value (e.g., if the minimum is 3 seconds, the threshold can be adjusted to 5 seconds). On the other hand, if the driver's state indicates that the driver is drowsy, the processing unit 210 can adjust the threshold to, for example, 7 seconds (i.e., more than 5 seconds in this example). This is because a drowsy driver takes longer to recognize the risk of a crash or the need to stop and then take action to reduce the risk of a crash.

図２１は、ヴィークルを制御するための、および／または運転者に対する警告を発生させるための制御信号を生成するための技術の一例を示す。この例では、衝突予測器２１８は、ＴＴＣが１０秒であると決定する。グラフのｘ軸は、ＴＴＣ を決定してからの経過時間を示す。時間ｔ＝０において、初期ＴＴＣ＝１０秒が、衝突予測器２１８によって決定された。（ｘ軸で表される）時間が経過するに連れて、（ｙ軸で表される）ＴＴＣは、ＴＴＣ＝１０－ｔの関係に基づいて減少する。ここで１０は、最初に決定された衝突時間ＴＴＣの１０秒である。時間の経過ともに、予測される衝突が時間的に近づいて来るに連れて、ＴＴＣも減少する。図示の例では、運転者監視モジュール２１１によって出力される運転者の状態が、運転者が注意力散漫でないことを示している時には、処理ユニット２１０は、（運転者に警告するため、および／または衝突のリスクを軽減するようにヴィークル制御を自動的に動作させるために）制御信号を提供するため、３秒の第１の閾値ＴＨ１を使用する。また、図示の例では、運転者監視モジュール２１１によって出力された運転者の状態が、運転者が注意力散漫になっていることを示している時には、処理ユニット２１０は、（運転者に警告するため、および／または衝突のリスクを軽減するようにヴィークル制御器を自動的に動作させるために）制御信号を提供するため、５秒の第２の閾値ＴＨ２を使用する。図示の例では、運転者監視モジュール２１１によって出力された運転者の状態が、運転者が眠気を催していることを示している時には、処理ユニット２１０は、（運転者に警告するため、および／または衝突のリスクを軽減するようにヴィークル制御器を自動的に動作させるために）制御信号を提供するため、８秒の第３の閾値ＴＨ３を使用する。 FIG. 21 illustrates an example of a technique for generating a control signal to control the vehicle and/or generate a warning to the driver. In this example, the crash predictor 218 determines that the TTC is 10 seconds. The x-axis of the graph represents time since determining the TTC. At time t=0, an initial TTC=10 seconds was determined by the crash predictor 218. As time (represented by the x-axis) passes, the TTC (represented by the y-axis) decreases based on the relationship TTC=10-t, where 10 is the initially determined time to crash TTC of 10 seconds. As time passes, the TTC also decreases as the predicted crash gets closer in time. In the illustrated example, when the driver status output by the driver monitoring module 211 indicates that the driver is not distracted, the processing unit 210 uses a first threshold TH1 of 3 seconds to provide a control signal (to warn the driver and/or automatically operate the vehicle controls to mitigate the risk of a crash). Also, in the illustrated example, when the driver status output by the driver monitoring module 211 indicates that the driver is distracted, the processing unit 210 uses a second threshold TH2 of 5 seconds to provide a control signal (to warn the driver and/or automatically operate the vehicle control to reduce the risk of a collision). In the illustrated example, when the driver status output by the driver monitoring module 211 indicates that the driver is drowsy, the processing unit 210 uses a third threshold TH3 of 8 seconds to provide a control signal (to warn the driver and/or automatically operate the vehicle control to reduce the risk of a collision).

図２１には、４つの異なるシナリオが提示されている。シナリオ１では、運転者監視モジュール２１１の出力は、運転者が、ｔ＝０から７秒（３秒のＴＴＣに相当）およびそれ以降、注意力散漫でない（Ｎ）ことを示す。従って、信号生成制御器２２４は、（警報装置および／またはヴィークル制御を動作させる）制御信号ＣＳを提供するための時間として、第１の閾値ＴＨ１（ＴＴＣ＝３秒、これはｔ＝７秒に対応する）を使用する。換言すれば、ＴＴＣが最初の１０秒から減少して３秒の閾値に達すると、信号生成制御器２２４は制御信号ＣＳを供給する。 21 presents four different scenarios. In scenario 1, the output of the driver monitoring module 211 indicates that the driver is not distracted (N) from t=0 for 7 seconds (corresponding to a TTC of 3 seconds) and thereafter. Thus, the signal generation controller 224 uses a first threshold TH1 (TTC=3 seconds, which corresponds to t=7 seconds) as the time to provide a control signal CS (to activate the warning device and/or vehicle control). In other words, when the TTC decreases from the initial 10 seconds to reach the 3 second threshold, the signal generation controller 224 provides the control signal CS.

シナリオ２では、運転者監視モジュール２１１の出力は、運転者がｔ＝０からｔ＝１．５秒までは注意力散漫でない（Ｎ）、ｔ＝１．５から５秒（ ５秒のＴＴＣに相当）以降では注意力散漫である（Ｄ）ことを示す。従って、信号生成制御器２２４は、（警告デバイスおよび／またはヴィークル制御を動作させるための）制御信号ＣＳを提供するための時間として、第２の閾値ＴＨ２（ＴＴＣ＝５秒、これは、ｔ＝５秒に対応する）を使用する。換言すれば、ＴＴＣが最初の１０秒から減少して５秒の閾値に達すると、信号生成制御器２２４は制御信号ＣＳを供給する。従って、運転者が注意力散漫である状況では、信号生成制御器２２４は、運転者に警告を与えおよび／またはヴィークルを動作させるための制御信号をより早く提供するであろう。 In scenario 2, the output of the driver monitoring module 211 indicates that the driver is not distracted (N) from t=0 to t=1.5 seconds, and is distracted (D) from t=1.5 to 5 seconds (corresponding to a TTC of 5 seconds). Thus, the signal generation controller 224 uses the second threshold TH2 (TTC=5 seconds, which corresponds to t=5 seconds) as the time to provide a control signal CS (to operate a warning device and/or vehicle control). In other words, when the TTC decreases from the initial 10 seconds to reach the 5 second threshold, the signal generation controller 224 provides the control signal CS. Thus, in a situation where the driver is distracted, the signal generation controller 224 will provide a control signal to warn the driver and/or operate the vehicle earlier.

シナリオ３では、運転者監視モジュール２１１の出力は、運転者が、ｔ＝０からｔ＝２秒までは注意力散漫でない（Ｎ）、ｔ＝２から３．５秒までは注意力散漫であり（Ｄ）、そしてｔ＝３．５秒から５秒以降、再び注意力散漫でない（Ｎ）状態になる。ｔ＝５秒で第２の閾値ＴＨ２に達したとき、運転者の状態は、注意力散漫でない（Ｎ）が、信号生成制御器２２４は、依然として第２の閾値ＴＨ２（注意力散漫である状態）を使用する。何故ならばこのシナリオにおける運転者の状態は、ｔ＝５秒での閾値ＴＨ２の直前でのみ、注意力散漫である状態から注意力散漫でない状態に変わるからである。従って、いくつかの実施形態では、信号生成制御器２２４は、制御信号の生成を決定するために閾値を使用するか否かを決定するために、閾値より前（例：ＴＨ２の１．５秒前、２秒前等）の時間窓内の運転者の状態を考慮する、ように構成することができる。他の実施形態では、信号生成制御器２２４は、閾値の時刻での運転者の状態を考慮して、閾値を使用するか否かを決定する、ように構成することができる。 In scenario 3, the output of the driver monitoring module 211 indicates that the driver is not distracted (N) from t=0 to t=2 seconds, distracted (D) from t=2 to 3.5 seconds, and not distracted (N) again from t=3.5 to 5 seconds onwards. When the second threshold TH2 is reached at t=5 seconds, the driver's state is not distracted (N), but the signal generation controller 224 still uses the second threshold TH2 (distracted state). Because the driver's state in this scenario changes from distracted to not distracted only just before the threshold TH2 at t=5 seconds. Thus, in some embodiments, the signal generation controller 224 can be configured to consider the driver's state within a time window prior to the threshold (e.g., 1.5 seconds, 2 seconds, etc. before TH2) to determine whether to use the threshold to determine the generation of the control signal. In other embodiments, the signal generation controller 224 can be configured to determine whether to use the threshold value taking into account the driver's state at the time of the threshold value.

シナリオ４では、運転者監視モジュール２１１の出力は、運転者が、ｔ＝０からｔ＝２秒（８秒のＴＴＣに相当）およびそれ以降、眠気を催している（Ｒ）ことを示す。従って、信号生成制御器２２４は、第３の閾値ＴＨ３（ＴＴＣ＝８秒、これは、ｔ＝２秒に対応する）を（警告デバイスおよび／またはヴィークル制御を動作させるための）制御信号ＣＳを提供するための時間として使用する。換言すれば、ＴＴＣが最初の１０秒から減少して８秒の閾値に達すると、信号生成制御器２２４は、制御信号ＣＳを供給する。従って、運転者が眠気を催している状況では、信号生成制御器２２４は、運転者に警告を与えるためおよび／またはヴィークルを動作させるため、更に早く（すなわち、運転者が注意を払っているが注意力散漫であるときよりも早く）制御信号を供給する。 In scenario 4, the output of the driver monitoring module 211 indicates that the driver is drowsy (R) from t=0 to t=2 seconds (corresponding to a TTC of 8 seconds) and thereafter. Thus, the signal generation controller 224 uses the third threshold TH3 (TTC=8 seconds, which corresponds to t=2 seconds) as the time to provide the control signal CS (to operate the warning device and/or vehicle control). In other words, when the TTC decreases from the initial 10 seconds to reach the 8 second threshold, the signal generation controller 224 provides the control signal CS. Thus, in a driver drowsy situation, the signal generation controller 224 provides the control signal to warn the driver and/or operate the vehicle even earlier (i.e., earlier than when the driver is attentive but distracted).

従って、上記の例に示されるように、いくつかの実施形態では、閾値は、運転者監視モジュール２１１によって決定される運転者の状態に基づいてリアルタイムで可変とすることができる。 Thus, as shown in the examples above, in some embodiments, the thresholds can be variable in real time based on the driver's state as determined by the driver monitoring module 211.

上記のシナリオの何れにおいても、運転者が、衝突のリスクを軽減するようにヴィークルを動作させている（ブレーキをかける等）ことを示す（例：センサ２２５によって提供される）センサ情報が受信された場合、信号生成制御器２２４は、制御信号の提供を保留することができる。 In any of the above scenarios, if sensor information (e.g., provided by sensor 225) is received indicating that the driver is taking action on the vehicle (e.g., applying the brakes) to reduce the risk of a collision, the signal generation controller 224 may withhold providing the control signal.

図２１および４つのシナリオは、衝突予測に関して説明されているが、交差点での違反の予測にも適用することができる。交差点での違反の予測の場合、ＴＴＣ値は交差点を交差するまでの時間を示すであろう。いくつかの実施形態では、衝突予測に対し（警報発生器を動作させるため、および／またはヴィークル制御器を動作させるための）制御信号をいつ提供するかを決定するために、交差点での違反の予測にも、同じ閾値ＴＨ１、ＴＨ２、ＴＨ３を使用することができる。他の実施形態では、衝突予測のための制御信号をいつ提供するかを決定するための閾値ＴＨ１、ＴＨ２、ＴＨ３は、交差点での違反の予測のための制御信号をいつ提供するかを決定するための閾値ＴＨ１、ＴＨ２、ＴＨ３とは異なっていてもよい。 21 and the four scenarios are described with respect to crash prediction, but may also be applied to intersection violation prediction. In the case of an intersection violation prediction, the TTC value would indicate the time to cross the intersection. In some embodiments, the same thresholds TH1, TH2, TH3 may be used for intersection violation prediction to determine when to provide a control signal (to activate an alarm generator and/or to operate a vehicle control) for a crash prediction. In other embodiments, the thresholds TH1, TH2, TH3 for determining when to provide a control signal for a crash prediction may be different than the thresholds TH1, TH2, TH3 for determining when to provide a control signal for an intersection violation prediction.

上記の例に示されるように、いくつかの実施形態では、衝突予測器２１８は、予測される衝突が発生するまでにかかる推定時間を決定する、ように構成されていて、そして処理ユニット２１０の信号生成制御器２２４は、予測される衝突が発生するまでにかかる推定時間が閾値を下回った場合に、デバイスを動作させるための制御信号を提供する、ように構成されている。いくつかの実施形態では、デバイスは警告発生器を備え、そして処理ユニット２１０の信号生成制御器２２４は、発生することが予想される衝突に対する予測所要時間が閾値を下回る場合、デバイスが運転者に警告を提供する制御信号を提供する、ように構成されている。これに代えてまたは加えて、デバイスは、ヴィークル制御器を含むことができ、そして処理ユニット２１０の信号生成制御器２２４は、発生することが予想される衝突に対する予測所要時間が閾値を下回る場合、デバイスにヴィークルを制御させるための制御信号を提供する、ように構成されている。 As shown in the above examples, in some embodiments, the collision predictor 218 is configured to determine an estimated time for a predicted collision to occur, and the signal generation controller 224 of the processing unit 210 is configured to provide a control signal to operate the device when the estimated time for a predicted collision to occur falls below a threshold. In some embodiments, the device includes a warning generator, and the signal generation controller 224 of the processing unit 210 is configured to provide a control signal to cause the device to provide a warning to the driver when the estimated time for a predicted collision to occur falls below a threshold. Alternatively or additionally, the device can include a vehicle controller, and the signal generation controller 224 of the processing unit 210 is configured to provide a control signal to cause the device to control the vehicle when the estimated time for a predicted collision to occur falls below a threshold.

また、上記の例に示されるように、いくつかの実施形態では、予測される衝突／交差点での違反が発生するまでの推定時間の減少に応じて、予測される衝突／交差点が時間的に近づくに連れて、処理ユニット２１０の信号生成制御器２２４は、可変閾値に関する推定時間（ＴＴＣ）を繰り返し評価する、ように構成されている。 Also, as shown in the examples above, in some embodiments, the signal generation controller 224 of the processing unit 210 is configured to repeatedly evaluate the estimated time to collision (TTC) with respect to a variable threshold as the predicted collision/intersection approaches in time in response to a decrease in the estimated time until the predicted collision/intersection violation occurs.

また、いくつかの実施形態では、処理ユニット２１０（例：処理ユニット２１０の信号生成制御器２２４）は、運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値を増加させる、ように構成されている。 Also, in some embodiments, the processing unit 210 (e.g., the signal generation controller 224 of the processing unit 210) is configured to increase the threshold if the driver's state indicates that the driver is distracted or not paying attention to the driving task.

また、上記の例に示されるように、いくつかの実施形態では、処理ユニット２１０の信号生成制御器２２４は、予測される衝突にかかる推定時間が閾値を超える場合、制御信号の提供を少なくとも一時的に保留する、ように構成されている。 Also, as shown in the examples above, in some embodiments, the signal generation controller 224 of the processing unit 210 is configured to at least temporarily withhold providing the control signal if the estimated time for a predicted collision exceeds a threshold.

いくつかの実施形態では、運転者の状態が、運転者が運転タスクに注意を払っていることを示す場合、閾値は第１の値を有し、そして運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値は第１の値より高い第２の値を有する。 In some embodiments, the threshold has a first value when the driver's state indicates the driver is paying attention to the driving task, and the threshold has a second value that is higher than the first value when the driver's state indicates the driver is distracted or not paying attention to the driving task.

また、上記の例に示されるように、いくつかの実施形態では、閾値は、衝突のリスクを軽減するようにヴィークルを動作させていることを示すセンサ情報にも基づく。例えば、センサ２２５が、運転者がヴィークルのブレーキをかけていることを示すセンサ情報を提供する場合、処理ユニット２１０は、閾値をより高い値に増加させることができる。いくつかの実施形態では、処理ユニット２１０の信号生成制御器２２４は、（１）ヴィークルとの衝突のリスクを示す第１の情報、（２）運転者の状態を示す第２の情報、そして（３）衝突のリスクを軽減するようにヴィークルを動作させていることを示すセンサ情報に基づいて、制御信号を提供するか否かを決定する、ように構成されている。 Also, as shown in the above examples, in some embodiments, the threshold is also based on sensor information indicating that the vehicle is being operated to reduce the risk of a collision. For example, if the sensor 225 provides sensor information indicating that the driver is braking the vehicle, the processing unit 210 can increase the threshold to a higher value. In some embodiments, the signal generation controller 224 of the processing unit 210 is configured to determine whether to provide a control signal based on (1) first information indicating a risk of collision with the vehicle, (2) second information indicating the driver's state, and (3) sensor information indicating that the vehicle is being operated to reduce the risk of a collision.

いくつかの実施形態では、処理ユニット２１０は、衝突のリスクのレベルを決定する、ように構成されていて、そして処理ユニット２１０（例：処理ユニット２１０の信号生成制御器２２４）は、衝突のリスクの決定されたレベルに基づいて閾値を調整する、ように構成されている。 In some embodiments, the processing unit 210 is configured to determine a level of risk of a collision, and the processing unit 210 (e.g., the signal generation controller 224 of the processing unit 210) is configured to adjust the threshold based on the determined level of risk of a collision.

いくつかの実施形態では、運転者の状態は、注意力散漫である状態を含み、そして処理ユニット２１０は、運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして処理ユニット２１０（例：処理ユニット２１０の信号生成制御器２２４）は、運転者が注意力散漫である状態の決定されたレベルに基づいて閾値を調整する、ように構成されている。また、いくつかの実施形態では、異なる警告は、異なる閾値で、そして運転者が注意力を保持しているか否かに基づいて提供することができる。例えば、いくつかの実施形態では、処理ユニット２１０は、（ヴィークル、歩行者等との）衝突のリスクがありそして運転者が注意力を保持している場合、第１の特性を備えた第１の警報を提供するようにデバイスを制御することができ、そして衝突のリスクがありそして運転者が注意力散漫である場合、第２の特性を備えた第２の警報を発するようにデバイスを制御することができる。第１の警報の第１の特性は、第１の警報音量とすることができ、そして第２の警報の第２の特性は、第１の警報音量よりも高い第２の警報音量とすることができる。また、いくつかの実施形態では、処理ユニット２１０が、衝突のリスクがより高いと決定した場合、処理ユニット２１０は、より強力な警報（例：より大きな音量および／またはより高い周波数のビープ音）を提供するようにデバイスを制御することができる。従って、いくつかの実施形態では、対象ヴィークルがオブジェクトに接近している場合には穏やかな警報を提供させ、そして対象ヴィークルがオブジェクトに対してより近くに接近している場合にはより強力な警報を提供させることができる。 In some embodiments, the driver's condition includes a distracted state, and the processing unit 210 is configured to determine a level of the driver's distracted state, and the processing unit 210 (e.g., the signal generation controller 224 of the processing unit 210) is configured to adjust the threshold based on the determined level of the driver's distracted state. Also, in some embodiments, different warnings can be provided at different thresholds and based on whether the driver is attentive or not. For example, in some embodiments, the processing unit 210 can control the device to provide a first warning with a first characteristic if there is a risk of collision (with a vehicle, pedestrian, etc.) and the driver is attentive, and can control the device to provide a second warning with a second characteristic if there is a risk of collision and the driver is distracted. The first characteristic of the first warning can be a first warning volume, and the second characteristic of the second warning can be a second warning volume that is higher than the first warning volume. Also, in some embodiments, if the processing unit 210 determines that there is a higher risk of collision, the processing unit 210 can control the device to provide a stronger warning (e.g., a louder and/or higher frequency beep). Thus, in some embodiments, a softer warning can be provided when the subject vehicle is approaching the object, and a stronger warning can be provided when the subject vehicle is approaching the object closer.

同様に、いくつかの実施形態では、処理ユニット２１０は、交差点での違反のリスクがありそして運転者が注意深い場合、第１の特徴を有する第１の警報を提供するようにデバイスを制御し、そして交差点での違反のリスクがありそして運転者が注意力散漫である場合、第２の特徴を有する第２の警報を提供するようにデバイスを制御することができる。第１の警報の第１の特性は、第１の警報音量とすることができ、そして第２の警報の第２の特性は、第１の警報音量よりも高い第２の警報音量とすることができる。また、いくつかの実施形態では、処理ユニット２１０が、交差点での違反のリスクがより高いと決定した場合、処理ユニット２１０は、より強力な警報（例：より大きな音量の警報、および／またはより高い周波数のビープ音の警報）を提供するようにデバイスを制御することができる。従って、いくつかの実施形態では、対象ヴィークルが交差点に近づくと穏やかな警報が提供され、そして対象ヴィークルが交差点により近くに接近している場合にはより強力な警報を提供することができる。 Similarly, in some embodiments, the processing unit 210 may control the device to provide a first alert having a first characteristic when there is a risk of violation at the intersection and the driver is alert, and a second alert having a second characteristic when there is a risk of violation at the intersection and the driver is distracted. The first characteristic of the first alert may be a first alert volume, and the second characteristic of the second alert may be a second alert volume that is higher than the first alert volume. Also, in some embodiments, if the processing unit 210 determines that there is a higher risk of violation at the intersection, the processing unit 210 may control the device to provide a stronger alert (e.g., a louder alert and/or a higher frequency beep alert). Thus, in some embodiments, a gentler alert may be provided as the subject vehicle approaches the intersection, and a stronger alert may be provided when the subject vehicle is approaching the intersection closer.

上記の例に示されるように、装置２００は有利である。何故ならば、これは、警告を提供するためのデバイスを動作させるための制御信号を生成するか否か、および／またはヴィークルを制御するためのデバイスを動作させるための制御信号を生成するか否かを決定する際に、運転者の状態を考慮するからである。運転者の状態は、監視閾値を調整するために使用することができるので、装置２００は、運転者に警告を提供することができ、および／または（運転者が注意力散漫である、眠気を催している等）に応じて運転者の特定の状態を考慮して、衝突のリスクおよび／または交差点での違反のリスクをより早期に軽減するように、ヴィークルを制御することができる。例えば、いくつかの実施形態では、装置２００は、予測されるリスク（例：衝突のリスクまたは交差点での違反のリスク）の２秒前、または少なくとも３秒、４秒、５秒、６秒、７秒、８秒、９秒、１０秒、１１秒、１２秒、１３秒、１４秒、１５秒等の様により早く、運転者に警告を提供する、および／またはヴィークルを制御することができる。また、運転者の状態を考慮しない従来の監視システムでは、感度を高めることを犠牲にして誤検出を回避するために、より高い精度が組み込まれている。運転者の状態を組み込むことによって、装置２００は、より低い感度（例：既存の解決策より低いまたは同程度）で動作するように構成することができ、そして装置２００の感度は、運転者が不注意である場合にのみ増加させることができる。運転者の状態に基づく感度の増加は、衝突までの時間を決定するための閾値、交差点を交差するまでの時間を決定するための閾値、ブレーキまでの時間を決定するための閾値、対象領域とオブジェクトが交差するか否かを決定するための閾値（例：カメラ キャリブレーションＲＯＩ、中心線検出に基づいて決定されるＲＯＩ等）、オブジェクト検出の信頼度に関する閾値、の様な運転者の状態に基づいて、１つまたは複数の閾値を調整することによって、達成させることができる。 As shown in the above examples, the device 200 is advantageous because it considers the driver's state in determining whether to generate a control signal to operate a device to provide a warning and/or whether to generate a control signal to operate a device to control the vehicle. The driver's state can be used to adjust the monitoring threshold so that the device 200 can provide a warning to the driver and/or control the vehicle to reduce the risk of a collision and/or the risk of an intersection violation earlier, taking into account the driver's particular state (e.g., the driver is distracted, drowsy, etc.). For example, in some embodiments, the device 200 can provide a warning to the driver and/or control the vehicle earlier, such as 2 seconds before the predicted risk (e.g., risk of collision or risk of an intersection violation), or at least 3 seconds, 4 seconds, 5 seconds, 6 seconds, 7 seconds, 8 seconds, 9 seconds, 10 seconds, 11 seconds, 12 seconds, 13 seconds, 14 seconds, 15 seconds, etc. Also, in conventional monitoring systems that do not consider the driver's state, higher accuracy is incorporated to avoid false positives at the expense of increased sensitivity. By incorporating the driver's state, the device 200 can be configured to operate at a lower sensitivity (e.g., lower than or equal to existing solutions), and the sensitivity of the device 200 can be increased only when the driver is inattentive. Increasing sensitivity based on the driver's state can be achieved by adjusting one or more thresholds based on the driver's state, such as a threshold for determining the time to collision, a threshold for determining the time to cross an intersection, a threshold for determining the time to brake, a threshold for determining whether an object intersects with a region of interest (e.g., a camera calibration ROI, an ROI determined based on centerline detection, etc.), and a threshold for the confidence of the object detection.

あおり運転Road rage

いくつかの実施形態では、処理ユニット２１０は、対象ヴィークルがあおり運転をしているシナリオを考慮するように構成することもできる。いくつかの実施形態では、あおり運転は、先行ヴィークルまでの距離を対象ヴィークル（自己中心的なヴィークル）の速度で割ったものとして定義される車間距離によって決定（例：測定）することができる。いくつかの実施形態では、対象ヴィークルの速度は、このヴィークルの速度感知システムから取得することができる。他の実施形態では、対象ヴィークルの速度はＧＰＳシステムから取得することができる。さらなる実施形態では、対象ヴィークルの速度は、装置２００の第１のカメラ２０２から受信した外部画像を処理する処理ユニット２１０によって決定させることができる。また、いくつかの実施形態では、先行ヴィークルまでの距離は、処理ユニット２１０によって決定させることができる。他の実施形態では、先行ヴィークルまでの距離は、飛行時間技術を採用したセンサの様な距離センサから取得することができる。 In some embodiments, the processing unit 210 may also be configured to consider scenarios in which the target vehicle is aggressive. In some embodiments, aggressive driving may be determined (e.g., measured) by a following distance defined as the distance to the leading vehicle divided by the speed of the target vehicle (egocentric vehicle). In some embodiments, the speed of the target vehicle may be obtained from a speed sensing system of the vehicle. In other embodiments, the speed of the target vehicle may be obtained from a GPS system. In further embodiments, the speed of the target vehicle may be determined by the processing unit 210 processing external images received from the first camera 202 of the device 200. Also, in some embodiments, the distance to the leading vehicle may be determined by the processing unit 210. In other embodiments, the distance to the leading vehicle may be obtained from a distance sensor, such as a sensor employing time-of-flight technology.

いくつかの実施形態では、処理ユニット２１０は、車間距離があおり運転閾値未満である場合、あおり運転が存在すると決定することができる。非限定的な例として、あおり運転閾値は、２秒以下、１．５秒以下、１秒以下、０．８秒以下、０．６秒以下、０．５秒以下等とすることができる。 In some embodiments, the processing unit 210 can determine that aggressive driving is present if the following distance is less than an aggressive driving threshold. As non-limiting examples, the aggressive driving threshold can be 2 seconds or less, 1.5 seconds or less, 1 second or less, 0.8 seconds or less, 0.6 seconds or less, 0.5 seconds or less, etc.

いくつかの実施形態では、処理ユニット２１０は、対象ヴィークルがあおり運転をしている場合、および運転者監視モジュール２１１が、運転者が注意力散漫であると決定した場合、衝突のリスクがあると決定する、ように構成することができる。次いで、処理ユニット２１０は、上述したように、デバイス（例：警告発生器）に、運転者に対し警告を提供させるための、および／またはデバイス（例：ヴィークル制御器）にヴィークルを制御させるための制御信号を生成することができる。例えば、ヴィークル制御器は、ヴィークルのブレーキを自動的に掛けたり、アクセルペダルを自動的に解除したり、ハザードランプを自動的に動作させたり、またはこれらの任意の組み合わせを行うことができる。 In some embodiments, the processing unit 210 can be configured to determine that there is a risk of a collision if the subject vehicle is aggressively driving and if the driver monitoring module 211 determines that the driver is distracted. The processing unit 210 can then generate control signals to cause a device (e.g., a warning generator) to provide a warning to the driver and/or to cause a device (e.g., a vehicle controller) to control the vehicle, as described above. For example, the vehicle controller can automatically apply the vehicle brakes, automatically release the accelerator pedal, automatically activate the hazard lights, or any combination thereof.

ローリング停止Rolling stop

いくつかの実施形態では、処理ユニット２１０は、ローリング停止操作を検出するように構成されているローリング停止モジュールを含むことができる。ローリング停止モジュールは、いくつかの実施形態では、交差点での違反予測器２２２の一部として実装させることができる。使用中に、処理ユニット２１０は、ヴィークルの停止を必要とする交差点を検出することができる（例：処理ユニット２１０は、第１のカメラ２０２からの画像の処理に基づいて、一時停止標識、赤信号等を識別することができる）。ローリング停止モジュールは、ヴィークルの動作を示す１つまたは複数のパラメータを監視して、ヴィークルが、交差点に対してローリング停止操作を行っているか否かを決定することができる。例えば、ローリング停止モジュールは、ヴィークルの速度、ヴィークルの制動、ヴィークルの減速度等、またはこれらの任意の組み合わせを示すパラメータを取得することができる。いくつかの実施形態では、ローリング停止モジュールは、ヴィークルが交差点に接近しているときの一定期間に渡ってヴィークルの速度プロファイルを分析することによって、ローリング停止操作があることを決定することができる。例えば、ヴィークルが既に減速していて（運転者が交差点に気づいていることを示す)、そしてヴィークルの速度が一定期間内に更に低下しない場合、ローリング停止モジュールは、運転者がローリング停止操作を実行していると決定することができる。別の例として、ヴィークルが既に減速していて（運転者が交差点に気づいていることを示している）、そしてヴィークルが交差点に近づくに連れてヴィークルの速度が増加し始める場合、ローリング停止モジュールは、運転者がローリング停止操作を行っていると決定することができる。別の技術では、ヴィークルが交差点に近づいている時にヴィークルの速度が既に低下していたが、ヴィークルの速度が必要な停止位置から一定の距離内で特定の閾値に達するほど十分に低下していない場合、ローリング停止操作は、運転者がローリング停止操作を実行していると決定することができる。 In some embodiments, the processing unit 210 may include a rolling stop module configured to detect a rolling stop maneuver. The rolling stop module may be implemented as part of the intersection violation predictor 222 in some embodiments. In use, the processing unit 210 may detect an intersection requiring the vehicle to stop (e.g., the processing unit 210 may identify a stop sign, a red light, etc. based on processing of images from the first camera 202). The rolling stop module may monitor one or more parameters indicative of the vehicle's operation to determine whether the vehicle is performing a rolling stop maneuver with respect to the intersection. For example, the rolling stop module may obtain parameters indicative of the vehicle's speed, vehicle braking, vehicle deceleration, etc., or any combination thereof. In some embodiments, the rolling stop module may determine that there is a rolling stop maneuver by analyzing the vehicle's speed profile over a period of time as the vehicle approaches the intersection. For example, if the vehicle is already decelerating (indicating the driver is aware of the intersection) and the vehicle's speed does not decrease further within a certain period of time, the rolling stop module can determine that the driver is performing a rolling stop maneuver. As another example, if the vehicle is already decelerating (indicating the driver is aware of the intersection) and the vehicle's speed begins to increase as the vehicle approaches the intersection, the rolling stop module can determine that the driver is performing a rolling stop maneuver. In another technique, if the vehicle's speed has already decreased as the vehicle approaches the intersection, but the vehicle's speed has not decreased enough to reach a certain threshold within a certain distance of the required stopping position, the rolling stop module can determine that the driver is performing a rolling stop maneuver.

いくつかの実施形態では、ローリング停止モジュールが、（例：運転者が一時停止標識または赤信号に応答して減速することができるが、完全には停止していないので）ヴィークルが完全には停止していないと決定した場合、交差点での違反予測器２２２は、交差点での違反のリスクがあると決定することができる。リスクがあると決定された交差点での違反のリスクに応じて、ローリング停止モジュールは、デバイスを動作させるための制御信号を生成することができる。例えば、制御信号は、通信デバイスを動作させて、メッセージを無線でサーバシステム（例：クラウドシステム）に送信することができる。このサーバシステムは、フリート管理者が運転者を指導するために使用する、または保険会社がリスクがある運転者を特定するために使用することができる。これに代えてまたは加えて、制御信号は、警告システムを動作させて運転者に警告を与えることができ、これは運転者を指導する方法として機能させることができる。これに代えてまたは加えて、制御信号は、ヴィークルのブレーキシステムを動作させて、ヴィークルが完全に停止するように制御することができる。 In some embodiments, if the rolling stop module determines that the vehicle is not completely stopped (e.g., because the driver may slow down in response to a stop sign or red light, but not completely stopped), the intersection violation predictor 222 may determine that there is a risk of an intersection violation. In response to the determined risk of an intersection violation, the rolling stop module may generate a control signal to operate a device. For example, the control signal may operate a communication device to wirelessly send a message to a server system (e.g., a cloud system) that may be used by fleet managers to coach drivers or by insurance companies to identify drivers at risk. Alternatively or additionally, the control signal may operate a warning system to warn the driver, which may serve as a way to coach the driver. Alternatively or additionally, the control signal may operate a braking system of the vehicle to bring the vehicle to a complete stop.

方法Method

図２２Ａは、いくつかの実施形態による図２Ａの装置２００によって実行される方法８００を示す。この方法８００は、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること（項目８０２）；ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること（項目８０４）；第１の画像に少なくとも部分的に基づいて、ヴィークルとの衝突のリスクを示す第１の情報を決定すること（項目８０６）；第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定すること（項目８０８）；（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること（項目８１０）とを含む。 22A illustrates a method 800 performed by the apparatus 200 of FIG. 2A according to some embodiments. The method 800 includes acquiring a first image generated by a first camera configured to observe an environment outside the vehicle (item 802); acquiring a second image generated by a second camera configured to observe a driver of the vehicle (item 804); determining first information indicative of a risk of collision with the vehicle based at least in part on the first image (item 806); determining second information indicative of a state of the driver based at least in part on the second image (item 808); and determining whether to provide a control signal to operate a device based on (1) the first information indicative of a risk of collision with the vehicle and (2) the second information indicative of a state of the driver (item 810).

オプションとして、方法８００において、第１の情報は、衝突を予測することによって決定され、そしてこの衝突は、予測される衝突の予想される発生時刻の少なくとも３秒以上前に予測される。 Optionally, in method 800, the first information is determined by predicting a collision, and the collision is predicted at least 3 seconds or more before an expected occurrence time of the predicted collision.

オプションとして、方法８００では、第１の情報は、衝突を予測することによって決定され、そしてこの衝突は、運転者の脳が入力を処理し、そして運転者が衝突のリスクを緩和するための行動を実行するのに十分なリードタイムをもって予測される。 Optionally, in method 800, the first information is determined by predicting a collision, and the collision is predicted with sufficient lead time for the driver's brain to process the input and for the driver to take action to mitigate the risk of the collision.

オプションとして、方法８００では、十分なリードタイムは、運転者の状態に依存する。 Optionally, in method 800, the sufficient lead time depends on the driver's condition.

オプションとして、方法８００では、衝突のリスクを示す第１の情報は、予測される衝突を含み、この方法は、予測される衝突が発生するまでにかかる推定時間を決定することを更に含み、そしてこの制御信号は、予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに制御信号を提供させる。 Optionally, in method 800, the first information indicative of a risk of a collision includes a predicted collision, the method further including determining an estimated time until the predicted collision occurs, and the control signal causing the device to provide a control signal if the estimated time until the predicted collision occurs is below a threshold.

オプションとして、方法８００では、デバイスは警告発生器を備え、予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに運転者に対する警告を提供させるための制御信号が、提供される。 Optionally, in method 800, the device includes a warning generator and a control signal is provided to cause the device to provide a warning to the driver if the estimated time until a predicted crash occurs falls below a threshold.

オプションとして、方法８００では、デバイスはヴィークル制御器を備え、そして予測される衝突が発生するまでにかかる推定時間が閾値を下回る場合に、デバイスにヴィークルを制御させるための制御信号が、提供される。 Optionally, in method 800, the device includes a vehicle controller, and a control signal is provided to cause the device to control the vehicle when the estimated time until a predicted collision occurs falls below a threshold.

オプションとして、方法８００では、閾値は、運転者の状態を示す第２の情報に基づいて可変である。 Optionally, in method 800, the threshold is variable based on second information indicative of the driver's state.

オプションとして、方法８００では、予測される衝突が発生するのにかかる推定時間の減少に対応して、予測される衝突が時間的に近づいて来るに連れ、予測時間が可変閾値に関して繰り返し評価される。 Optionally, in method 800, the predicted time is repeatedly evaluated against a variable threshold as the predicted collision approaches in time, corresponding to a decrease in the estimated time it will take for the predicted collision to occur.

オプションとして、方法８００では、閾値は、運転者の状態に基づいてリアルタイムで可変である。 Optionally, in method 800, the threshold is variable in real time based on the driver's state.

オプションとして、方法８００は、運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値を増加させることを、更に、備える。 Optionally, method 800 further comprises increasing the threshold if the driver's state indicates that the driver is distracted or not paying attention to the driving task.

オプションとして、方法８００は、予測される衝突が発生するまでにかかる推定時間が閾値よりも長い場合、制御信号の生成を少なくとも一時的に保留することを、更に、備える。 Optionally, method 800 further comprises at least temporarily withholding generation of the control signal if the estimated time until the predicted collision occurs is greater than a threshold.

オプションとして、方法８００は、衝突のリスクのレベルを決定すること、および決定された衝突のリスクのレベルに基づいて閾値を調整することを、更に、備える。 Optionally, method 800 further comprises determining a level of risk of collision and adjusting the threshold based on the determined level of risk of collision.

オプションとして、方法８００では、運転者の状態は、注意力散漫である状態を含み、そしてこの方法は、運転者が注意力散漫である状態のレベルを決定すること、運転者が注意力散漫である状態の決定されたレベルに基づいて注意力散漫である状態のレベルを調整することを、更に、備える。 Optionally, in method 800, the driver's state includes a distracted state, and the method further comprises determining a level of the driver's distracted state and adjusting the level of the driver's distracted state based on the determined level of the driver's distracted state.

オプションとして、方法８００では、運転者の状態が、運転者が運転タスクに注意を払っていることを示す場合、閾値は第１の値を有し、そして運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていない場合、閾値は第１の値よりも高い第２の値を有する。 Optionally, in method 800, the threshold has a first value when the driver's state indicates that the driver is paying attention to the driving task, and the threshold has a second value, higher than the first value, when the driver's state indicates that the driver is distracted or not paying attention to the driving task.

オプションとして、方法８００では、この閾値は、また、ヴィークルが衝突のリスクを軽減するように動作されていることを示すセンサ情報に基づく。 Optionally, in method 800, the threshold is also based on sensor information indicating that the vehicle is being operated to reduce the risk of a collision.

オプションとして、方法８００では、デバイスを動作させるための制御信号を提供するか否かを決定する行為は、衝突のリスクを軽減するようにヴィークルが動作していることを示すセンサ情報にも基づいて実行される。 Optionally, in method 800, the act of determining whether to provide a control signal to operate the device is also performed based on sensor information indicating that the vehicle is operating in a manner that reduces the risk of a collision.

オプションとして、方法８００において、衝突のリスクを示す第１の情報を決定する行為は、第１のモデルに基づいて第１の画像を処理することを備える。 Optionally, in method 800, the act of determining first information indicative of a risk of collision comprises processing the first image based on the first model.

オプションとして、方法８００では、第１のモデルはニューラルネットワークモデルを備える。 Optionally, in method 800, the first model comprises a neural network model.

オプションとして、方法８００において、運転者の状態を示す第２の情報を決定する行為は、第２のモデルに基づいて第２の画像を処理することを備える。 Optionally, in method 800, the act of determining second information indicative of the driver's state comprises processing the second image based on the second model.

オプションとして、方法８００は、複数のそれぞれの姿勢の分類化に対するメトリック値を決定すること、１つ以上のメトリック値に基づいて、運転者が運転タスクに従事しているか否かを決定することを、更に、備える。 Optionally, method 800 further comprises determining a metric value for each of the plurality of posture classifications and determining whether the driver is engaged in the driving task based on the one or more metric values.

オプションとして、方法８００では、姿勢の分類化は、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙している姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着けていない姿勢、目を閉じている姿勢、まっすぐ見つめている姿勢、片手でステアリングホイールを保持している姿勢、そして両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える。 Optionally, in method 800, the pose categorization comprises two or more of: looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, not holding the steering wheel, not fastening a seat belt, eyes closed, looking straight ahead, holding the steering wheel with one hand, and holding the steering wheel with both hands.

オプションとして、方法８００は、メトリック値を、それぞれの姿勢の分類化のそれぞれの閾値と比較することを、更に、備える。 Optionally, method 800 further comprises comparing the metric value to a respective threshold for each pose classification.

オプションとして、方法８００は、メトリック値の対応する１つが閾値の対応する１つ以上である場合、運転者が姿勢の分類化の１つに属すると決定することを、更に、備える。 Optionally, method 800 further comprises determining that the driver belongs to one of the posture classifications if a corresponding one of the metric values is equal to or greater than a corresponding one of the threshold values.

オプションとして、方法８００は、アフターマーケットデバイスによって実行され、そして第１のカメラと第２のカメラはアフターマーケットデバイスの一部として統合されている。 Optionally, method 800 is performed by an aftermarket device, and the first camera and the second camera are integrated as part of the aftermarket device.

オプションとして、方法８００では、第２の情報は、第２の画像を処理して、運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そしてこの方法は、更に、運転者の画像が姿勢の分類化を満たすか否かに基づいて、運転者が運転タスクに従事しているか否かを決定することを備える。 Optionally, in method 800, the second information is determined by processing the second image to determine whether the image of the driver satisfies a posture classification, and the method further comprises determining whether the driver is engaged in a driving task based on whether the image of the driver satisfies the posture classification.

オプションとして、方法８００において、運転者の状態を示す第２の情報を決定する行為は、ニューラルネットワークモデルに基づいて第２の画像を処理することを備える。 Optionally, in method 800, the act of determining second information indicative of the driver's state comprises processing the second image based on a neural network model.

図２２Ｂは、図２２Ａの装置２００によって実行される方法８５０を示す。いくつかの実施形態による図２Ａに示される。この方法８５０は、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること（項目８５２）；ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること（項目８５４）；第１の画像に少なくとも部分的に基づいて、交差点での違反のリスクを示す第１の情報を決定すること（項目８５６）；第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定すること（項目８５８）；第２の画像に少なくとも部分的に基づいて、運転者の状態を示す第２の情報を決定する（項目８０８）；（１）ヴィークルとの衝突のリスクを示す第１の情報と、（２）運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること（項目８１０）とを含む。 22B illustrates a method 850 performed by the apparatus 200 of FIG. 22A, as shown in FIG. 2A, according to some embodiments. The method 850 includes acquiring a first image generated by a first camera configured to observe an environment outside the vehicle (item 852); acquiring a second image generated by a second camera configured to observe a driver of the vehicle (item 854); determining first information indicative of a risk of violation at the intersection based at least in part on the first image (item 856); determining second information indicative of a driver's state based at least in part on the second image (item 858); determining second information indicative of a driver's state based at least in part on the second image (item 808); and determining whether to provide a control signal to operate a device based on (1) the first information indicative of a risk of collision with the vehicle and (2) the second information indicative of the driver's state (item 810).

オプションとして、第１の情報は、交差点での違反を予測することによって決定され、そして予測される交差点での違反は、予測される交差点での違反の予想発生時刻の少なくとも３秒以上前に予測される。 Optionally, the first information is determined by predicting a violation at the intersection, and the predicted intersection violation is predicted at least 3 seconds or more prior to an expected occurrence time of the predicted intersection violation.

オプションとして、第１の情報は、交差点での違反を予測することによって決定され、そして交差点での違反は、運転者の脳が入力を処理し、運転者が交差点での違反のリスクを軽減するための行動を実行するのに十分なリードタイムをもって予測される。 Optionally, the first information is determined by predicting an intersection violation, and the intersection violation is predicted with sufficient lead time for the driver's brain to process the input and for the driver to take action to mitigate the risk of the intersection violation.

オプションとして、十分なリードタイムは、運転者の状態に依存する。 Optionally, sufficient lead time depends on the driver's condition.

オプションとして、交差点での違反のリスクを示す第１の情報は、予測される交差点での違反のリスクを備え、この方法は、更に、予測される交差点での違反が発生するであろう推定時間を決定することを備え、そして予測される交差点での違反が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに、制御信号を提供させるように、制御信号が提供される。 Optionally, the first information indicative of a risk of a violation at the intersection comprises a predicted risk of a violation at the intersection, the method further comprising determining an estimated time that the predicted intersection violation will occur, and a control signal is provided to cause the device to provide a control signal if the estimated time it will take for the predicted intersection violation to occur is below a threshold.

オプションとして、デバイスは警告発生器を備え、そして予測される交差点での違反が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに、運転者に警告を提供させるように、制御信号が提供される。 Optionally, the device includes a warning generator and a control signal is provided to cause the device to provide a warning to the driver if the estimated time it will take for a predicted intersection violation to occur falls below a threshold.

オプションとして、デバイスはヴィークル制御器を備え、そし予測される交差点での違反が発生するまでにかかる推定時間が閾値を下回る場合、デバイスに、ヴィークルを制御させるために、制御信号が提供される。 Optionally, the device includes a vehicle controller, and a control signal is provided to cause the device to control the vehicle if the estimated time until a predicted intersection violation occurs falls below a threshold.

オプションとして、閾値は、運転者の状態を示す第２の情報に基づいて可変である。 Optionally, the threshold is variable based on second information indicative of the driver's state.

オプションとして、予測される交差点での違反が発生するのにかかる推定時間の減少に応じて予測される交差点での違反が時間的に近づいて来るに連れて、予測時間は、可変閾値に関して繰り返し評価される。 Optionally, the predicted time is repeatedly evaluated against a variable threshold as the predicted intersection violation approaches in time as the estimated time it will take for the predicted intersection violation to occur decreases.

オプションとして、閾値は、運転者の状態に基づいてリアルタイムで可変である。 Optionally, the thresholds are variable in real time based on the driver's state.

オプションとして、この方法は、運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値を増加させることを、更に、備える。 Optionally, the method further comprises increasing the threshold if the driver's state indicates that the driver is distracted or not paying attention to the driving task.

オプションとして、この方法は、予測される交差点での違反が発生するのにかかる推定時間が閾値よりも長い場合、制御信号の生成を少なくとも一時的に保留することを含む。 Optionally, the method includes at least temporarily withholding generation of the control signal if an estimated time it will take for a violation at the predicted intersection to occur is longer than a threshold.

オプションとして、この方法は、更に、交差点での違反のリスクのレベルを決定すること、交差点での違反のリスクの決定されたレベルに基づいて閾値を調整することを含む。 Optionally, the method further includes determining a level of risk of a violation at the intersection and adjusting the threshold based on the determined level of risk of a violation at the intersection.

オプションとして、運転者の状態は注意力散漫である状態を含み、そしてこの方法は、更に、運転者が注意力散漫である状態のレベルを決定すること、決定された運転者が注意力散漫である状態のレベルに基づいて閾値を調整することを備える。 Optionally, the driver state includes a distracted state, and the method further comprises determining a level of the driver's distracted state and adjusting the threshold based on the determined level of the driver's distracted state.

オプションとして、運転者の状態が、運転者が運転タスクに注意を払っていることを示す場合、閾値は第１の値を有し、そして運転者の状態が、運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、閾値は第１の値よりも高い第２の値を有する。 Optionally, the threshold has a first value when the driver's state indicates that the driver is paying attention to the driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to the driving task.

オプションとして、閾値は、また、交差点での違反のリスクを軽減するようにヴィークルが動作されていることを示すセンサ情報に基づいている。 Optionally, the threshold may also be based on sensor information indicating that the vehicle is being operated to reduce the risk of a violation at the intersection.

オプションとして、デバイスを動作させるための制御信号を提供するか否かを決定する行為が、交差点での違反のリスクを軽減するようにヴィークルが動作されていることを示すセンサ情報に基づいて実行される。 Optionally, the act of determining whether to provide a control signal to operate the device is performed based on sensor information indicating that the vehicle is being operated to reduce the risk of a violation at the intersection.

オプションとして、交差点での違反のリスクを示す第１の情報を決定する行為は、第１のモデルに基づいて第１の画像を処理することを備える。 Optionally, the act of determining first information indicative of a risk of violation at the intersection comprises processing the first image based on the first model.

オプションとして、第１のモデルは、ニューラルネットワークモデルを備える。 Optionally, the first model comprises a neural network model.

オプションとして、運転者の状態を示す第２の情報を決定する行為は、第２のモデルに基づいて第２の画像を処理することを備える。 Optionally, the act of determining second information indicative of the driver's state comprises processing the second image based on the second model.

オプションとして、本方法は、更に、複数のそれぞれの姿勢の分類化に対するメトリック値を決定すること、１つ以上のメトリック値に基づいて運転者が運転タスクに従事しているか否かを決定することを含む。 Optionally, the method further includes determining a metric value for each of the plurality of posture classifications and determining whether the driver is engaged in the driving task based on the one or more metric values.

オプションとして、姿勢の分類化は、下を見ている姿勢、見上げている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙している姿勢、オブジェクトを保持している姿勢、ステアリングホイールに手を乗せていない姿勢、シートベルトを着用してしない姿勢、目を閉じている姿勢、前を見ている姿勢、ステアリングホイールに片手を乗せている姿勢、ステアリングホイールに両手を乗せている姿勢の２つ以上を備える。 Optionally, the pose categorization includes two or more of: looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, hands not on steering wheel, not wearing a seat belt, eyes closed, looking ahead, one hand on steering wheel, and both hands on steering wheel.

オプションとして、この方法は、更に、メトリック値をそれぞれの姿勢の分類化のそれぞれの閾値と比較することを、更に、備える。 Optionally, the method further comprises comparing the metric value to a respective threshold for each pose classification.

オプションとして、この方法は、更に、メトリック値の対応する１つが閾値の対応する１つ以上である場合、運転者が姿勢の分類化の１つに属すると決定することを含む。 Optionally, the method further includes determining that the driver belongs to one of the posture classifications if a corresponding one of the metric values is greater than or equal to a corresponding one of the threshold values.

オプションとして、この方法は、アフターマーケットデバイスによって実行され、そして第１のカメラと第２のカメラは、アフターマーケットデバイスの一部として統合されている。 Optionally, the method is performed by an aftermarket device, and the first camera and the second camera are integrated as part of the aftermarket device.

オプションとして、第２の情報は、第２の画像を処理して、運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そしてこの方法は、更に、姿勢の分類化を満たすか否かの運転者の画像に基づいて、運転者が運転タスクに従事しているか否かを決定することを備える。 Optionally, the second information is determined by processing the second image to determine whether the image of the driver satisfies a posture classification, and the method further comprises determining whether the driver is engaged in a driving task based on the image of the driver satisfying or not satisfying the posture classification.

オプションとして、運転者の状態を示す第２の情報を決定する行為は、ニューラルネットワークモデルに基づいて第２の画像を処理することを備える。 Optionally, the act of determining second information indicative of the driver's state comprises processing the second image based on a neural network model.

モデルの生成と組み込みCreating and embedding models

図２３は、いくつかの実施形態に従って装置２００によって使用されるモデルを決定する技術を示す。図示されるように、それぞれ装置２００ａ－２００ｄを備えた複数のヴィークル９１０ａ－９１０ｄが、存在する。各装置２００ａ－２００ｄは、図２Ａの装置２００を参照して説明した構成および特徴を有することができる。使用中、ヴィークル９１０ｂ－９１０ｄ内の装置２００ｂ－２００ｄのカメラ（外部監視カメラおよび内部監視カメラの両方）は、各ヴィークル９１０ｂ－９１０ｄの外部環境の画像および各運転者の画像を捕捉する。画像は、ネットワーク（例：クラウド、インターネット等）を介して、直接的または間接的にサーバ９２０に送信される。サーバ９２０は、ヴィークル９１０ｂ－９１０ｄ内の装置２００ｂ－３００ｄからの画像を処理してモデル９３０を決定するように構成されている処理ユニット９２２と、１つまたは複数のモデル９３２とを含む。モデル９３０は、運転者の姿勢を検出する、ように構成することができ、そしてモデル９３２は、カメラ画像内の異なるタイプのオブジェクトを検出する、ように構成することができる。次に、モデル９３０、９３２は、サーバ９２０内の非一時的媒体９２４に格納させることができる。サーバ９２０は、モデル９３０、９３２を、ネットワーク（例：クラウド、インターネット等）を介して直接または間接的にヴィークル９１０ａの装置２００ａに送信することができる。また、装置２００ａは、次いで、モデル９３２を使用して、装置２００ａのカメラによって受信された画像を処理して、ヴィークル９１０ａの外側の異なるオブジェクトを検出する、および／または装置２００ａのカメラの関心領域を決定することができる。 23 illustrates a technique for determining a model used by the device 200 according to some embodiments. As illustrated, there are a number of vehicles 910a-910d each equipped with a device 200a-200d. Each device 200a-200d may have the configuration and characteristics described with reference to the device 200 of FIG. 2A. In use, the cameras (both external and internal surveillance cameras) of the devices 200b-200d in the vehicles 910b-910d capture images of the external environment of each vehicle 910b-910d and images of each driver. The images are transmitted directly or indirectly over a network (e.g., cloud, internet, etc.) to a server 920. The server 920 includes a processing unit 922 configured to process images from the devices 200b-300d in the vehicles 910b-910d to determine a model 930, and one or more models 932. Model 930 can be configured to detect the driver's posture, and model 932 can be configured to detect different types of objects in the camera images. Models 930, 932 can then be stored in a non-transitory medium 924 in server 920. Server 920 can transmit models 930, 932 directly or indirectly over a network (e.g., cloud, internet, etc.) to device 200a of vehicle 910a. Device 200a can then use model 932 to process images received by the camera of device 200a to detect different objects outside of vehicle 910a and/or determine the area of interest of the camera of device 200a.

図２３に示されるように、３台のヴィークル９１０ｂ－９１０ｄにはそれぞれ画像を提供する３台の装置２００ｂ－２００ｄが存在する。他の例では、サーバ９２０に画像を提供するために、３つより多いヴィークル９１０のそれぞれに、３つより多い装置２００が存在しても良い。これに代えて、サーバ９２０に画像を提供するために、３つより少ないヴィークル９１０に３つより少ない装置２００が存在しても良い。 As shown in FIG. 23, there are three devices 200b-200d in three vehicles 910b-910d, respectively, providing images. In other examples, there may be more than three devices 200 in more than three vehicles 910, respectively, providing images to the server 920. Alternatively, there may be fewer than three devices 200 in fewer than three vehicles 910, respectively, providing images to the server 920.

いくつかの実施形態では、サーバ９２０によって提供されるモデル９３０は、ニューラルネットワークモデルとすることができる。サーバ９２０によって提供されるモデル９３２は、１つ以上のニューラルネットワークモデルとすることができる。このような場合、サーバ９２０は、ニューラルネットワーク、またはニューラルネットワークの一部とすることができ、そして装置２００ｂ－２００ｄからの画像は、モデル９３０および／またはモデル９３２を構成するためにサーバ９２０によって使用させることができる。特に、サーバ９２０の処理ユニット９２２は、機械学習によりモデル９３０を訓練することによって、モデル９３０および／またはモデル９３２を構成することができる。場合によっては、異なる装置２００ｂ－２００ｄからの画像は、対応するヴィークルに関して異なる位置に取り付けられた、異なるカメラからの豊富なデータセットを形成する。これは、モデル９３０および／またはモデル９３２を訓練するのに役立つであろう。本明細書で使用される「ニューラルネットワーク」という用語は、入力に対する動的状態応答によって情報を処理する、相互接続された多数の処理要素により構成されている任意のコンピューティングデバイス、システム、またはモジュールを指す。いくつかの実施形態では、ニューラルネットワークは、深層学習能力および／または人工知能を有することができる。いくつかの実施形態では、ニューラルネットワークは、１つまたは複数のデータセットを使用して訓練できる単純な任意のコンピューティング要素とすることができる。非限定的な例として、ニューラルネットワークは、パーセプトロン、フィードフォワードニューラルネットワーク、放射基底ニューラルネットワーク、深層フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、長期／短期格納ニューラルネットワーク、ゲートリカレントユニット、自動エンコーダニューラルネットワーク、変分自動エンコーダニューラルネットワーク、ノイズ除去自動エンコーダニューラルネットワーク、スパース自動エンコーダニューラルネットワーク、マルコフ連鎖ニューラルネットワーク、ホップフィールドニューラルネットワーク、ボルツマンマシン、制限付きボルツマンマシン 、深い信念ネットワーク、畳み込みネットワーク、逆畳み込みネットワーク、深い畳み込み逆グラフィックスネットワーク、敵対的生成ネットワーク、リキッドステートマシン、極限学習マシン、エコーステートネットワーク、深い残差ネットワーク、コホーネン ネットワーク、サポートベクターマシン、ニューラルチューリング マシン、モジュラーニューラルネットワーク、シーケンスツーシーケンスモデル等、または前述のものの任意の組み合わせとすることができる。 In some embodiments, the model 930 provided by the server 920 may be a neural network model. The model 932 provided by the server 920 may be one or more neural network models. In such a case, the server 920 may be a neural network, or a part of a neural network, and the images from the devices 200b-200d may be used by the server 920 to construct the model 930 and/or the model 932. In particular, the processing unit 922 of the server 920 may construct the model 930 and/or the model 932 by training the model 930 by machine learning. In some cases, the images from the different devices 200b-200d form a rich data set from different cameras mounted in different positions with respect to the corresponding vehicle. This may be useful for training the model 930 and/or the model 932. As used herein, the term "neural network" refers to any computing device, system, or module that is comprised of a number of interconnected processing elements that process information by dynamic state response to inputs. In some embodiments, the neural network may have deep learning capabilities and/or artificial intelligence. In some embodiments, the neural network can be any simple computing element that can be trained using one or more data sets. As non-limiting examples, the neural network can be a perceptron, a feedforward neural network, a radial basis neural network, a deep feedforward neural network, a recurrent neural network, a long/short-term storage neural network, a gated recurrent unit, an autoencoder neural network, a variational autoencoder neural network, a denoising autoencoder neural network, a sparse autoencoder neural network, a Markov chain neural network, a Hopfield neural network, a Boltzmann machine, a restricted Boltzmann machine, a deep belief network, a convolutional network, a deconvolutional network, a deep convolutional inverse graphics network, a generative adversarial network, a liquid state machine, an extreme learning machine, an echo state network, a deep residual network, a Kohonen network, a support vector machine, a neural Turing machine, a modular neural network, a sequence-to-sequence model, or the like, or any combination of the foregoing.

いくつかの実施形態では、サーバ９２０の処理ユニット９２２は、画像を使用して、運転者の特定の姿勢を識別するようにモデル９３０を構成する（例えば、訓練する）。非限定的な例として、モデル９３０は、運転者が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢であるかを識別する、ように構成されている。 また、いくつかの実施形態では、サーバ９２０の処理ユニット９２２は、画像を使用して、運転者が運転タスクに従事しているか否かを決定するモデルを構成することができる。いくつかの実施形態では、運転者が運転タスクに従事しているか否かの決定は、運転者の姿勢の分類化を処理する処理ユニットによって達成させることができる。一実施形態では、姿勢の分類化は、ニューラルネットワークモデルによって提供される出力とすることができる。このような場合、ニューラルネットワークモデルは、ニューラルネットワークモデルからの姿勢の分類化に基づいて、運転者が運転タスクに従事しているか否かを決定する処理ユニットに、渡すことができる。他の実施形態では、姿勢の分類化を受信する処理ユニットは、別の（例えば、第２の）ニューラルネットワークモデルとすることができる。このような場合、第１のニューラルネットワークモデルは、姿勢の分類化を出力する、ように構成され、そして第２のニューラルネットワークモデルは、第１のニューラルネットワークモデルによって出力された姿勢の分類化に基づいて、運転者が運転タスクに従事しているか否かを決定する、ように構成されている。このような場合、モデル９３０は、第１のニューラルネットワークモデルと第２のニューラルネットワークモデルの両方を有すると考えることができる。さらなる実施形態では、モデル９３０は、画像を入力として受信し、そして運転者が運転タスクに従事しているか否かを示す出力を提供するように構成されている単一のニューラルネットワークモデルとすることができる。 In some embodiments, the processing unit 922 of the server 920 configures (e.g., trains) the model 930 to use the images to identify specific postures of the driver. As a non-limiting example, the model 930 is configured to identify whether the driver is looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, not holding the steering wheel, not wearing a seat belt, eyes closed, looking ahead, holding the steering wheel with one hand, holding the steering wheel with both hands. Also, in some embodiments, the processing unit 922 of the server 920 can configure a model to use the images to determine whether the driver is engaged in a driving task. In some embodiments, the determination of whether the driver is engaged in a driving task can be accomplished by a processing unit that processes a classification of the driver's posture. In one embodiment, the posture classification can be an output provided by a neural network model. In such a case, the neural network model can be passed to a processing unit that determines whether the driver is engaged in a driving task based on the posture classification from the neural network model. In other embodiments, the processing unit that receives the posture classification can be another (e.g., a second) neural network model. In such a case, the first neural network model is configured to output a posture classification, and the second neural network model is configured to determine whether the driver is engaged in the driving task based on the posture classification output by the first neural network model. In such a case, the model 930 can be considered to have both a first neural network model and a second neural network model. In a further embodiment, the model 930 can be a single neural network model configured to receive an image as an input and provide an output indicating whether the driver is engaged in the driving task.

また、いくつかの実施形態では、サーバ９２０の処理ユニット９２２は、画像を使用して、異なるオブジェクトを検出するようにモデル９３２を構成する（例えば、訓練する）。非限定的な例として、モデル９３２は、ヴィークル、人間、動物、自転車、信号機、道路標識、道路標示、縁石側、車道の中心線等を検出する、ように構成することができる。 Also, in some embodiments, the processing unit 922 of the server 920 uses the images to configure (e.g., train) the model 932 to detect different objects. As non-limiting examples, the model 932 can be configured to detect vehicles, humans, animals, bicycles, traffic lights, road signs, road markings, curb sides, centerlines of roadways, etc.

他の実施形態では、モデル９３０および／またはモデル９３２は、ニューラルネットワークモデルでなくても良く、他のタイプのモデルの何れかとすることができる。このような場合、処理ユニット９２２によるモデル９３０および／またはモデル９３２の構成は機械学習を含まなくても良く、および／または装置２００ｂ－２００ｄからの画像を必要としなくても良い。代わりに、処理ユニット９２２によるモデル９３０および／またはモデル９３２の構成は、処理ユニット９２２が処理パラメータ（特徴抽出パラメータ等）を決定する（例えば、取得、計算する等）ことによって達成させることができる。いくつかの実施形態では、モデル９３０および／またはモデル９３２は、プログラム命令、コマンド、スクリプト、パラメータ（例えば、特徴抽出パラメータ）等を含むことができる。一実装形態では、モデル９３０および／またはモデル９３２は、装置２００によって無線で受信できるアプリケーションの形式とすることができる。 In other embodiments, the model 930 and/or the model 932 may not be a neural network model, but may be any other type of model. In such cases, the construction of the model 930 and/or the model 932 by the processing unit 922 may not involve machine learning and/or may not require images from the devices 200b-200d. Instead, the construction of the model 930 and/or the model 932 by the processing unit 922 may be accomplished by the processing unit 922 determining (e.g., obtaining, calculating, etc.) processing parameters (e.g., feature extraction parameters, etc.). In some embodiments, the model 930 and/or the model 932 may include program instructions, commands, scripts, parameters (e.g., feature extraction parameters), etc. In one implementation, the model 930 and/or the model 932 may be in the form of an application that may be wirelessly received by the device 200.

モデル９３０およびモデル９３２がサーバ９２０によって構成された後、異なるヴィークル９１０内の装置２００がカメラ画像内のオブジェクトを識別するために、モデル９３０、９３２が使用可能になる。図示されるように、モデル９３０、９３２は、サーバ９２０からヴィークル９１０ａ内の装置２００ａに送信することができる。モデル９３０、９３２は、サーバ９２０からそれぞれのヴィークル９１０ｂ－９１０ｄ内の装置２００ｂ－２００ｄに送信することができる。装置２００ａがモデル９３０、９３２を受信した後、装置２００ａ内の処理ユニットは、モデル９３０に基づいて装置２００ａのカメラ（内部監視カメラ）によって生成された画像を処理して、運転者の姿勢を識別し、および／または 本明細書で説明されるように、運転者が運転タスクに従事しているか否かを決定し、そしてモデル９３２に基づいて装置２００ａのカメラ（外部監視カメラ）によって生成された画像を処理して、ヴィークル９１０ａの外部のオブジェクトを検出することができる。 After the models 930 and 932 are constructed by the server 920, the models 930, 932 are available for the devices 200 in the different vehicles 910 to identify objects in camera images. As shown, the models 930, 932 can be transmitted from the server 920 to the device 200a in the vehicle 910a. The models 930, 932 can be transmitted from the server 920 to the devices 200b-200d in the respective vehicles 910b-910d. After the device 200a receives the models 930, 932, a processing unit in the device 200a can process the images generated by the camera (internal surveillance camera) of the device 200a based on the model 930 to identify the driver's posture and/or determine whether the driver is engaged in a driving task as described herein, and process the images generated by the camera (external surveillance camera) of the device 200a based on the model 932 to detect objects outside the vehicle 910a.

いくつかの実施形態では、サーバ９２０から装置２００（例：装置２００ａ）へのモデル９３０、９３２の送信は、サーバ９２０がモデル９３０、９３２を「プッシュ」することによって実行させることができる。装置２００は、モデル９３０、９３２を要求する必要はない。他の実施形態では、サーバ９２０からのモデル９３０、９３２の送信は、装置２００によって生成されそして送信された信号に応答してサーバ９２０によって実行させることができる。例えば、装置２００は、装置２００の電源が入った後または装置２００を備えたヴィークルが始動した後に、信号を生成しそして送信することができる。信号はサーバ９２０によって受信され、その後、サーバ９２０は、装置２００が受信するようにモデル９３０、９３２を送信する。別の例として、装置２００は、装置２００のユーザが、モデル９３０、９３２に対する要求を送ることを可能にする、ボタンの様なユーザインタフェースを含むことができる。このような場合、ボタンが押されると、装置２００は、モデル９３０、９３２に対する要求をサーバ９２０に送信する。この要求に応じて、サーバ９２０は、モデル９３０、９３２を装置２００に送信する。 In some embodiments, the transmission of the models 930, 932 from the server 920 to the device 200 (e.g., device 200a) can be performed by the server 920 "pushing" the models 930, 932. The device 200 does not need to request the models 930, 932. In other embodiments, the transmission of the models 930, 932 from the server 920 can be performed by the server 920 in response to a signal generated and transmitted by the device 200. For example, the device 200 can generate and transmit a signal after the device 200 is powered on or after a vehicle equipped with the device 200 is started. The signal is received by the server 920, which then transmits the models 930, 932 for the device 200 to receive. As another example, the device 200 can include a user interface, such as a button, that allows a user of the device 200 to send a request for the models 930, 932. In such a case, when the button is pressed, the device 200 sends a request to the server 920 for the models 930, 932. In response to this request, the server 920 sends the models 930, 932 to the device 200.

図２３のサーバ９２０は、１台のサーバデバイスに限られず、そして複数台のサーバデバイスとすることができることに留意されたい。また、サーバ９２０の処理ユニット９２２は、１つ以上のプロセッサ、１つ以上のプロセッサモジュール等を含むことができる。 Note that the server 920 of FIG. 23 is not limited to a single server device, and can be multiple server devices. Also, the processing unit 922 of the server 920 can include one or more processors, one or more processor modules, etc.

他の実施形態では、サーバ９２０が取得する画像は、装置２００ｂ－２００ｄによって生成されなくても良い。代わりに、モデル９３０、９３２を決定する（例：訓練する、構成する等）ためにサーバ９２０が使用する画像は、携帯電話（複数可）、カメラ（複数可）の様な他のデバイス（複数可）を使用して記録させることができる。また、他の実施形態では、モデル９３０、９３２を決定する（例：訓練する、構成する等）ためにサーバ９２０が使用する画像は、例えば、サーバ９２０に関連付けられたデータベース、または第三者が所有するデータベースからサーバ９２０にダウンロードさせることができる。 In other embodiments, the images acquired by server 920 may not be generated by devices 200b-200d. Instead, the images used by server 920 to determine (e.g., train, construct, etc.) models 930, 932 may be recorded using other device(s), such as cell phone(s) or camera(s). Also, in other embodiments, the images used by server 920 to determine (e.g., train, construct, etc.) models 930, 932 may be downloaded to server 920 from, for example, a database associated with server 920 or a database owned by a third party.

専用処理システムDedicated Processing System

図２４は、本明細書で説明される１つまたは複数の電子デバイスを実装するための専用処理システムを示す。例えば、処理システム１６００には、装置２００、または装置２００の処理ユニット２１０の様な装置２００の少なくとも一部を実装することができる。 FIG. 24 illustrates a dedicated processing system for implementing one or more electronic devices described herein. For example, processing system 1600 may implement device 200 or at least a portion of device 200, such as processing unit 210 of device 200.

処理システム１６００は、情報を通信するためのバス１６０２または他の通信機構と、情報を処理するためにバス１６０２に結合されたプロセッサ１６０４とを含む。プロセッサシステム１６００は、また、プロセッサ１６０４によって実行される情報および命令を格納するためにバス１６０２に結合されたランダムアクセスメモリ（ＲＡＭ）または他の動的格納デバイスの様な、メインメモリ１６０６を含む。メインメモリ１６０６は、プロセッサ１６０４によって実行される命令の実行中に、一時変数または他の中間情報を格納するためにも使用することができる。プロセッサシステム１６００は、更に、静的情報を格納するためにバス１６０２に結合された読み取り専用メモリ（ＲＯＭ）１６０８または他の静的格納デバイスを含む。情報および命令を格納するために、磁気ディスクまたは光ディスクの様なデータ格納デバイス１６１０が、提供されそしてバス１６０２に結合される。 The processing system 1600 includes a bus 1602 or other communication mechanism for communicating information, and a processor 1604 coupled to the bus 1602 for processing information. The processor system 1600 also includes a main memory 1606, such as a random access memory (RAM) or other dynamic storage device, coupled to the bus 1602 for storing information and instructions executed by the processor 1604. The main memory 1606 may also be used to store temporary variables or other intermediate information during execution of instructions executed by the processor 1604. The processor system 1600 further includes a read only memory (ROM) 1608 or other static storage device coupled to the bus 1602 for storing static information. A data storage device 1610, such as a magnetic disk or optical disk, is provided and coupled to the bus 1602 for storing information and instructions.

プロセッサシステム１６００は、バス１６０２を介して、ユーザに情報を表示するために、スクリーンまたはフラットパネルの様なディスプレイ１６７に結合させることができる。英数字キーおよび他のキー、またはタッチスクリーンを含む入力デバイス１６１４は、情報およびコマンド選択をプロセッサ１６０４に伝達するためにバス１６０２に結合されている。別のタイプのユーザ入力デバイスは、タッチパッド、タッチスクリーン、タッチスクリーン、トラックボール、またはプロセッサ１６０４に方向情報およびコマンド選択を伝達し、そしてディスプレイ１６７上のカーソルの移動を制御するためのカーソル方向キーの様なカーソル制御１６１６である。この入力デバイスは、通常、デバイスが平面内の位置を指定することを可能にする、第１の軸（例：ｘ）および第２の軸（ｙ等)の２つの軸に２自由度を有する。 The processor system 1600 can be coupled via bus 1602 to a display 167, such as a screen or flat panel, for displaying information to a user. An input device 1614, including alphanumeric and other keys, or a touch screen, is coupled to bus 1602 for communicating information and command selections to the processor 1604. Another type of user input device is a cursor control 1616, such as a touch pad, touch screen, touch screen, trackball, or cursor direction keys for communicating directional information and command selections to the processor 1604 and for controlling the movement of a cursor on the display 167. This input device typically has two degrees of freedom in two axes, a first axis (e.g., x) and a second axis (e.g., y), that allow the device to specify a position in a plane.

いくつかの実施形態では、プロセッサシステム１６００は、本明細書で説明される様々な機能を実行するために使用することができる。いくつかの実施形態によれば、このような使用は、プロセッサ１６０４が、メインメモリ１６０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応答して、プロセッサシステム１６００によって提供される。当業者は、本明細書で説明される機能と方法に基づいて、どのようにしてこの様な命令を準備するかを知るであろう。このような命令は、格納デバイス１６１０の様な別のプロセッサ可読媒体からメインメモリ１６０６に読み込ませることができる。メインメモリ１６０６に含まれる命令のシーケンスを実行することにより、プロセッサ１６０４は本明細書に記載のプロセスを実行する。マルチプロセッシング構成内の１つまたは複数のプロセッサを使用して、メインメモリ１６０６に含まれる命令のシーケンスを実行することもできる。代替実施形態では、本明細書に記載される様々な実施形態を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、配線回路を使用することができる。従って、実施形態は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されない。 In some embodiments, the processor system 1600 may be used to perform various functions described herein. According to some embodiments, such use is provided by the processor system 1600 in response to the processor 1604 executing one or more sequences of one or more instructions contained in the main memory 1606. One skilled in the art would know how to prepare such instructions based on the functions and methods described herein. Such instructions may be read into the main memory 1606 from another processor-readable medium, such as the storage device 1610. By executing the sequences of instructions contained in the main memory 1606, the processor 1604 performs the processes described herein. One or more processors in a multiprocessing configuration may also be used to execute the sequences of instructions contained in the main memory 1606. In alternative embodiments, hardwired circuitry may be used in place of or in combination with software instructions to implement various embodiments described herein. Thus, the embodiments are not limited to any specific combination of hardware circuitry and software.

本明細書で使用される「プロセッサ可読媒体」という用語は、実行のためにプロセッサ１６０４に命令を提供することに関与する任意の媒体を指す。このような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むが、これらに限定されない多くの形式をとることができる。不揮発性媒体には、例えば、格納デバイス１６１０の様な光ディスクまたは磁気ディスクが含まれる。不揮発性媒体は、非一時的媒体の一例と考えることができる。揮発性媒体には、メインメモリ１６０６の様な動的メモリが含まれる。揮発性媒体は、非一時的媒体の一例と考えることができる。伝送媒体には、ケーブル、ワイヤ、およびバス１６０２を構成するワイヤを含む光ファイバが含まれる。伝送媒体は、電波および赤外線データ通信中に生成される音響波または光波の形態をとることもできる。 The term "processor-readable medium" as used herein refers to any medium that participates in providing instructions to the processor 1604 for execution. Such media can take many forms, including but not limited to non-volatile media, volatile media, and transmission media. Non-volatile media include, for example, optical or magnetic disks, such as the storage device 1610. Non-volatile media can be considered an example of non-transitory media. Volatile media includes dynamic memory, such as the main memory 1606. Volatile media can be considered an example of non-transitory media. Transmission media include cables, wires, and optical fibers, including the wires that comprise the bus 1602. Transmission media can also take the form of acoustic or light waves, such as those generated during radio wave and infrared data communications.

プロセッサ可読媒体の一般的な形式は、例えば、ハードディスク、磁気媒体、ＣＤ－ＲＯＭ、その他の光学媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、その他のメモリチップまたはカートリッジ、以下に記載される搬送波、またはプロセッサが読み取ることが出来る他の媒体を含むことができる。 Common forms of processor-readable media may include, for example, hard disks, magnetic media, CD-ROMs, other optical media, RAM, PROMs, and EPROMs, FLASH-EPROMs, other memory chips or cartridges, carrier waves as described below, or other media from which a processor can read.

プロセッサ可読媒体の様々な形態は、実行するために１つ以上の命令の１つ以上のシーケンスをプロセッサ１６０４に運ぶことに関与させることができる。例えば、命令は最初にリモートコンピュータまたはリモートデバイスの格納デバイスに保存させることができる。リモートコンピュータまたはデバイスは、インターネットの様なネットワークを介して命令を送信することができる。処理システム１６００にローカルに存在する受信ユニットは、ネットワークからデータを受信し、そしてバス１６０２上にデータを提供することができる。バス１６０２は、データをメインメモリ１６０６に運び、そこからプロセッサ１６０４が命令を取り出しそして実行する。メインメモリ１６０６によって受信された命令は、オプションとして、プロセッサ１６０４による実行の前または後の何れかに格納デバイス１６１０に格納させることができる。 Various forms of processor-readable media may be involved in carrying one or more sequences of one or more instructions to the processor 1604 for execution. For example, the instructions may initially be stored on a storage device of a remote computer or device. The remote computer or device may transmit the instructions over a network, such as the Internet. A receiving unit local to the processing system 1600 may receive data from the network and provide the data on the bus 1602. The bus 1602 carries the data to the main memory 1606, from which the processor 1604 retrieves and executes the instructions. The instructions received by the main memory 1606 may optionally be stored on a storage device 1610 either before or after execution by the processor 1604.

処理システム１６００は、バス１６０２に結合された通信インターフェース１６１８も含む。通信インターフェース１６１８は、ローカルネットワーク１６２２に接続されたネットワークリンク１６２０に結合されている双方向データ通信を提供する。インターフェース１６１８は、データ通信を提供する統合サービスデジタルネットワーク（ＩＳＤＮ）カードとすることができる。別の例として、通信インターフェース１６１８は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードとすることができる。無線リンクも実装することができる。このような実装形態では、通信インターフェース１６１８は、様々な種類の情報を表すデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。 The processing system 1600 also includes a communication interface 1618 coupled to the bus 1602. The communication interface 1618 provides a two-way data communication coupling to a network link 1620 that is connected to a local network 1622. The interface 1618 can be an integrated services digital network (ISDN) card that provides a data communication connection. As another example, the communication interface 1618 can be a local area network (LAN) card that provides a data communication connection to a compatible LAN. A wireless link can also be implemented. In such an implementation, the communication interface 1618 sends and receives electrical, electromagnetic or optical signals that carry data streams representing various types of information.

ネットワークリンク１６２０は、通常、１つまたは複数のネットワークを介して他のデバイスにデータ通信を提供する。例えば、ネットワークリンク１６２０は、ローカルネットワーク１６２２を介してホストコンピュータ１６２４または機器１６２６への接続を提供することができる。ネットワークリンク１６２０を介して転送されるデータストリームは、電気信号、電磁信号、または光信号を含むことができる。処理システム１６００との間でデータを搬送する様々なネットワークを介する信号、ネットワークリンク１６２０および通信インターフェース１６１８を介する信号は、情報を搬送する搬送波の例示的な形態である。処理システム１６００は、ネットワーク、ネットワークリンク１６２０、および通信インターフェース１６１８を介して、メッセージを送信し、そしてプログラムコードを含むデータを受信することができる。 The network link 1620 typically provides data communication through one or more networks to other devices. For example, the network link 1620 may provide a connection through a local network 1622 to a host computer 1624 or a device 1626. The data streams transferred through the network link 1620 may include electrical, electromagnetic, or optical signals. The signals through the various networks that carry data to and from the processing system 1600, the network link 1620, and the communication interface 1618 are exemplary forms of carrier waves transporting information. The processing system 1600 may send messages and receive data, including program code, through the networks, the network link 1620, and the communication interface 1618.

本明細書で使用される「画像」という用語は、表示される画像に限定されず、そして表示される画像または表示されない画像（例：保存されるデータまたはデジタル形式の画像）を指すことができる。同様に、本明細書で使用される「グラフィック要素」という用語、または「グラフィック識別子」の様な他の同様の用語は、表示されるアイテムまたは表示されないアイテムを指すことができる。このアイテムは、計算要素、グラフィック要素／識別子を表す方程式、グラフィック要素／識別子に関連付けられた１つまたは複数の幾何学的パラメータとすることができる。 The term "image" as used herein is not limited to a displayed image and can refer to a displayed or non-displayed image (e.g., stored data or an image in digital form). Similarly, the term "graphical element" or other similar terms such as "graphical identifier" as used herein can refer to a displayed or non-displayed item. The item can be a computational element, an equation representing the graphic element/identifier, or one or more geometric parameters associated with the graphic element/identifier.

更に、本明細書で使用される「モデル」という用語は、1つまたは複数のアルゴリズム、1つまたは複数の方程式、1つまたは複数の処理アプリケーション、1つまたは複数の変数、1つまたは複数の基準、1つまたは複数のパラメータ、または上記の２つ以上の任意の組み合わせを指すことができる。 Furthermore, as used herein, the term "model" may refer to one or more algorithms, one or more equations, one or more processing applications, one or more variables, one or more criteria, one or more parameters, or any combination of two or more of the above.

更に、本明細書で使用されるように、「運転者が運転タスクに従事しているか否かを決定する」という表現、または他の同様の表現は、必ずしも、（１）「運転者が運転タスクに従事している」および（２）「運転者が運転タスクに従事していない」の両方の決定結果が発生し得ることを必要としない。むしろ、このようなフレーズおよび同様のフェーズは、（１）「運転者が運転タスクに従事している」、または（２）「運転者が運転タスクに従事していない」、または（３）「運転者が運転タスクに従事している」および「運転者が運転タスクに従事していない」の両方、の決定結果が発生し得ることをカバーすることを意図している。例えば、上記のフレーズまたは他の同様のフレーズは、処理ユニットが、（１）運転者が運転タスクに従事していること、または（２）運転者が運転タスクに従事しているか否かが不明であることを、（フレーズの最初の部分で決定結果（１）が言及されているので)２つの可能な処理結果として決定する、ように構成されている実施形態をカバーする。別の例として、上記の語句または他の同様の語句は、処理ユニットが、（１）運転者が運転タスクに従事していないこと、または（２）運転者が運転タスクに従事しているか否かが不明であることを、（フレーズの後半で決定結果（２）について言及しているので）２つの可能な処理結果として決定する、ように構成されている実施形態をカバーする。 Furthermore, as used herein, the phrase "determine whether the driver is engaged in the driving task" or other similar phrases does not necessarily require that both the determination outcomes (1) "the driver is engaged in the driving task" and (2) "the driver is not engaged in the driving task" can occur. Rather, such phrases and similar phrases are intended to cover the determination outcomes (1) "the driver is engaged in the driving task", or (2) "the driver is not engaged in the driving task", or (3) both "the driver is engaged in the driving task" and "the driver is not engaged in the driving task" can occur. For example, the above phrase or other similar phrases cover embodiments in which the processing unit is configured to determine (1) that the driver is engaged in the driving task, or (2) that it is unclear whether the driver is engaged in the driving task (since the first part of the phrase refers to the determination outcome (1)), as two possible processing outcomes. As another example, the above phrase or other similar phrases cover embodiments in which the processing unit is configured to determine that (1) the driver is not engaged in the driving task, or (2) it is unclear whether the driver is engaged in the driving task, as two possible processing outcomes (since the latter part of the phrase refers to decision outcome (2)).

また、本明細書で使用される「信号」という用語は、１つまたは複数の信号を指すことができる。非限定的な例として、信号は、１つ以上のデータ、１つ以上の情報、１つ以上の信号値、１つ以上の離散値等を含むことができる。 Also, as used herein, the term "signal" can refer to one or more signals. As non-limiting examples, a signal can include one or more pieces of data, one or more pieces of information, one or more signal values, one or more discrete values, etc.

特定の特徴を図示しそして説明してきたが、これらが特許請求の範囲に記載された発明を限定することを意図したものではないことは、理解され、そして請求された発明の精神と範囲から逸脱することなく様々な変更および修正を行うことができることは、当業者には明らかであろう。従って、明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。特許請求の範囲に記載された発明は、全ての代替物、修正物、および等価物をカバーすることが意図されている。


While certain features have been illustrated and described, it is understood that these are not intended to limit the claimed invention, and it will be apparent to those skilled in the art that various changes and modifications can be made without departing from the spirit and scope of the claimed invention. Accordingly, the specification and drawings are to be regarded in an illustrative rather than a restrictive sense. The claimed invention is intended to cover all alternatives, modifications, and equivalents.

Claims (152)

ヴィークル外部の環境を観察するように構成されている第１のカメラと、
前記ヴィークルの運転者を観察するように構成されている第２のカメラと、
前記第１のカメラから第１の画像を、そして前記第２のカメラから第２の画像を、受信するように構成されている処理ユニットと、
を備える装置であって、
前記処理ユニットが、前記第１の画像に少なくとも部分的に基づいて前記ヴィークルとの衝突のリスクを示す第１の情報を決定する、ように構成されていて、
前記処理ユニットが、前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されていて、そして
前記処理ユニットが、（１）前記ヴィークルとの衝突のリスクを示す前記第１の情報と、（２）前記運転者の状態を示す前記第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている、
装置。 a first camera configured to observe an environment external to the vehicle;
a second camera configured to observe an operator of the vehicle; and
a processing unit configured to receive a first image from the first camera and a second image from the second camera;
An apparatus comprising:
the processing unit is configured to determine first information indicative of a risk of collision with the vehicle based at least in part on the first image;
the processing unit is configured to determine second information indicative of a state of the driver based at least in part on the second image; and the processing unit is configured to determine whether to provide a control signal for operating a device based on (1) the first information indicative of a risk of collision with the vehicle and (2) the second information indicative of the state of the driver.
Device. 前記処理ユニットが、予測される前記衝突の予想される発生時刻の少なくとも３秒以上前に前記衝突を予測する、ように構成されている、請求項１に記載の装置。 The device of claim 1, wherein the processing unit is configured to predict the collision at least 3 seconds or more before the expected occurrence of the predicted collision. 前記処理ユニットが、前記運転者の脳が入力を処理し、そして前記運転者が、前記衝突のリスクを軽減するアクションを実行するのに、十分なリードタイムで前記衝突を予測する、ように構成されている、請求項１に記載の装置。 The device of claim 1, wherein the processing unit is configured to predict the collision with sufficient lead time for the driver's brain to process inputs and for the driver to take action to mitigate the risk of the collision. 前記十分なリードタイムが、前記運転者の状態に依存する、請求項３に記載の装置。 The device of claim 3, wherein the sufficient lead time depends on the driver's condition. 衝突のリスクを示す前記第１の情報が、予測される衝突を備え、前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間を決定する、ように構成されていて、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる推定時間が閾値を下回った場合、前記制御信号を提供する、請求項１に記載の装置。 The apparatus of claim 1, wherein the first information indicative of a risk of a collision comprises a predicted collision, the processing unit is configured to determine an estimated time until the predicted collision occurs, and the processing unit provides the control signal when the estimated time until the predicted collision occurs falls below a threshold. 前記デバイスが、警告発生器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回った場合、前記デバイスに前記運転者に対する警告を提供させる前記制御信号を提供する、ように構成されている、請求項５に記載の装置。 The apparatus of claim 5, wherein the device includes a warning generator, and the processing unit is configured to provide the control signal that causes the device to provide a warning to the driver when the estimated time until the predicted crash occurs falls below the threshold. 前記デバイスが、ヴィークル制御器を備え、そして前記処理ユニットが、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるための前記制御信号を提供する、ように構成されている、請求項５に記載の装置。 The apparatus of claim 5, wherein the device includes a vehicle controller, and the processing unit is configured to provide the control signal to cause the device to control the vehicle if the estimated time until the predicted crash occurs falls below the threshold. 前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項５に記載の装置。 The device according to claim 5, wherein the threshold is variable based on the second information indicating the driver's state. 前記処理ユニットが、前記予測される衝突が発生するのにかかる前記推定時間の減少に対応して、前記予測される衝突が時間的に近づくに連れて、可変閾値に関して前記推定時間を繰り返し評価する、ように構成されている、請求項８に記載の装置。 The apparatus of claim 8, wherein the processing unit is configured to iteratively evaluate the estimated time with respect to a variable threshold as the predicted collision approaches in time, corresponding to a decrease in the estimated time it will take for the predicted collision to occur. 前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項８に記載の装置。 The device of claim 8, wherein the threshold is variable in real time based on the driver's state. 前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記処理ユニットが、前記閾値を増加させる、ように構成されている、請求項８に記載の装置。 The device of claim 8, wherein the processing unit is configured to increase the threshold if the driver's state indicates that the driver is distracted or not paying attention to a driving task. 前記予測される衝突が発生するまでにかかる前記推定時間が、前記閾値よりも高い場合、前記処理ユニットが、前記制御信号の提供を少なくとも一時的に保留する、ように構成されている、請求項５に記載の装置。 The apparatus of claim 5, wherein the processing unit is configured to at least temporarily withhold providing the control signal if the estimated time until the predicted collision occurs is greater than the threshold. 前記処理ユニットが、前記衝突のリスクのレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記衝突のリスクの前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている、請求項５に記載の装置。 The apparatus of claim 5, wherein the processing unit is configured to determine a level of risk of the collision, and the processing unit is configured to adjust the threshold based on the determined level of risk of the collision. 前記運転者の状態が注意力散漫である状態を備え、そして前記処理ユニットが、前記運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記運転者が注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている、請求項５に記載の装置。 The apparatus of claim 5, wherein the driver's state comprises a distracted state, and the processing unit is configured to determine a level of the driver's distracted state, and the processing unit is configured to adjust the threshold based on the determined level of the driver's distracted state. 前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値は第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値が前記第１の値よりも高い第２の値を有する、請求項５に記載の装置。 The device of claim 5, wherein the threshold has a first value when the driver's state indicates that the driver is paying attention to a driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to a driving task. 前記閾値が、前記ヴィークルが、前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている、請求項５に記載の装置。 The apparatus of claim 5, wherein the threshold is also based on sensor information indicating that the vehicle is being operated to reduce the risk of the collision. 前記処理ユニットが、（１）前記ヴィークルとの前記衝突のリスクを示す前記第１の情報と、（２）前記運転者の状態を示す前記第２の情報と、（３) 前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報とに基づいて、前記制御信号を提供するか否かを決定する、ように構成されている、請求項１に記載の装置。 The device of claim 1, wherein the processing unit is configured to determine whether to provide the control signal based on (1) the first information indicating the risk of the collision with the vehicle, (2) the second information indicating the state of the driver, and (3) sensor information indicating that the vehicle is being operated to reduce the risk of the collision. 第１のモデルを格納する非一時的媒体を更に備え、前記処理ユニットが、前記衝突のリスクを決定するために、前記第１のモデルに基づいて前記第１の画像を処理するように構成されている、請求項１に記載の装置。 The device of claim 1, further comprising a non-transitory medium storing a first model, and the processing unit configured to process the first image based on the first model to determine the risk of collision. 前記第１のモデルが、ニューラルネットワークモデルを備える、請求項１８に記載の装置。 The apparatus of claim 18, wherein the first model comprises a neural network model. 前記非一時的媒体が、第２のモデルを格納する、ように構成されていて、そして前記処理ユニットが、前記第２のモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項１８に記載の装置。 The apparatus of claim 18, wherein the non-transitory medium is configured to store a second model, and the processing unit is configured to process the second image based on the second model to determine the state of the driver. 前記処理ユニットが、複数のそれぞれの姿勢の分類化に対してメトリック値を決定する、ように構成されていて、そして前記処理ユニットが、１つまたは複数のメトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、請求項１に記載の装置。 The apparatus of claim 1, wherein the processing unit is configured to determine a metric value for each of a plurality of posture classifications, and the processing unit is configured to determine whether the driver is engaged in a driving task based on one or more metric values. 前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、および両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項２１に記載の装置。 22. The apparatus of claim 21, wherein the categorization of postures comprises two or more of: postures looking down, postures looking up, postures looking left, postures looking right, postures using a mobile phone, postures smoking, postures holding an object, postures not holding a steering wheel, postures not wearing a seat belt, postures with eyes closed, postures looking ahead, postures holding a steering wheel with one hand, and postures holding a steering wheel with both hands. 前記処理ユニットが、前記メトリック値をそれぞれの前記姿勢の分類化のそれぞれの閾値と比較する、ように構成されている、請求項２１に記載の装置。 22. The apparatus of claim 21, wherein the processing unit is configured to compare the metric value to a respective threshold for each of the pose classifications. 前記処理ユニットが、前記メトリック値の対応する１つの値が、前記閾値の対応する１つの値またはそれより大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定する、ように構成されている、請求項２３に記載の装置。 24. The apparatus of claim 23, wherein the processing unit is configured to determine that the driver belongs to one of the posture classifications if a corresponding one of the metric values is at or above a corresponding one of the threshold values. 前記第１のカメラ、前記第２のカメラ、および前記処理ユニットが、前記ヴィークルのアフターマーケットデバイスの部品として統合されている、請求項１に記載の装置。 The apparatus of claim 1, wherein the first camera, the second camera, and the processing unit are integrated as parts of an aftermarket device of the vehicle. 前記処理ユニットが、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって、前記第２の情報を決定するように、構成されていて、そして
前記処理ユニットが、前記運転者の画像が前記姿勢の分類化を満たしているか否かに基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、
請求項１に記載の装置。 the processing unit is configured to determine the second information by processing the second image to determine whether the image of the driver satisfies a posture categorization; and the processing unit is configured to determine whether the driver is engaged in a driving task based on whether the image of the driver satisfies the posture categorization.
2. The apparatus of claim 1. 前記処理ユニットが、ニューラルネットワークモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項１に記載の装置。 The device of claim 1, wherein the processing unit is configured to process the second image based on a neural network model to determine the state of the driver. 前記処理ユニットが、前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定する、ように構成されている、請求項１に記載の装置。 The apparatus of claim 1, wherein the processing unit is configured to determine whether an object in the first image or a bounding box of the object overlaps a region of interest. 前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変な幾何学的形状を有する、請求項２８に記載の装置。 The apparatus of claim 28, wherein the region of interest has a variable geometric shape corresponding to the shape of a road or lane on which the vehicle is traveling. 前記処理ユニットが、前記ヴィークルが走行している道路または車線の中心線を決定する、ように構成されていて、そして前記関心領域が前記中心線に基づく形状を有する、請求項２８に記載の装置。 29. The apparatus of claim 28, wherein the processing unit is configured to determine a centerline of a road or lane on which the vehicle is traveling, and the region of interest has a shape based on the centerline. 前記処理ユニットが、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定する、ように構成されていて、前記ｙ座標が、画像座標フレームに関している、請求項１に記載の装置。 The apparatus of claim 1, wherein the processing unit is configured to determine a distance between the vehicle and the physical location based on a y coordinate of the physical location in a camera image provided by the first camera, the y coordinate being relative to an image coordinate frame. 装置によって実行される方法であって、
ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること、
前記ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること、
前記第１の画像に少なくとも部分的に基づいて、前記ヴィークルとの衝突のリスクを示す第１の情報を決定すること、
前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定すること、
（１）前記ヴィークルとの衝突の前記リスクを示す前記第１の情報と、（２）前記運転者の前記状態を示す前記第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定すること
を備える方法。 A method performed by an apparatus, comprising:
acquiring a first image produced by a first camera configured to observe an environment external to the vehicle;
acquiring a second image generated by a second camera configured to observe a driver of the vehicle;
determining first information indicative of a risk of collision with the vehicle based at least in part on the first image;
determining second information indicative of a state of the driver based at least in part on the second image;
(1) determining whether to provide a control signal to operate a device based on the first information indicating the risk of a collision with the vehicle and (2) the second information indicating the state of the driver. 前記第１の情報が、前記衝突を予測することによって決定され、そして前記衝突が、予測される衝突の予想される発生の少なくとも３秒以上前に予測される、請求項３２に記載の方法。 33. The method of claim 32, wherein the first information is determined by predicting the collision, and the collision is predicted at least 3 seconds or more prior to an anticipated occurrence of the predicted collision. 前記第１の情報が、前記衝突を予測することによって決定され、そして前記衝突が、前記運転者の脳が入力を処理しそして前記運転者が前記衝突のリスクを軽減するための行動を実行するのに十分なリードタイムをもって予測される、請求項３２に記載の方法。 33. The method of claim 32, wherein the first information is determined by predicting the collision, and the collision is predicted with sufficient lead time for the driver's brain to process inputs and for the driver to take action to mitigate the risk of the collision. 前記十分なリードタイムが、前記運転者の状態に依存している、請求項３４に記載の方法。 The method of claim 34, wherein the sufficient lead time is dependent on the driver's condition. 前記衝突のリスクを示す前記第１の情報が、予測される衝突を備え、前記方法が、更に、前記予測される衝突が発生するまでにかかる推定時間を決定することを備え、そして前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回った場合、前記制御信号が、前記デバイスに前記制御信号を提供させるために提供される、請求項３２に記載の方法。 33. The method of claim 32, wherein the first information indicative of the risk of the collision comprises a predicted collision, the method further comprising determining an estimated time until the predicted collision occurs, and when the estimated time until the predicted collision occurs falls below a threshold, the control signal is provided to cause the device to provide the control signal. 前記デバイスが、ヴィークル制御器を備え、そして前記予測される衝突が発生するまでにかかる前記推定時間が閾値を下回る場合、前記制御信号が、前記デバイスに前記ヴィークルを制御させるために提供される、請求項３６に記載の方法。 37. The method of claim 36, wherein the device includes a vehicle controller, and the control signal is provided to cause the device to control the vehicle if the estimated time until the predicted crash occurs falls below a threshold. 前記デバイスが、ヴィークル制御器を備え、そして前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記制御信号が、前記デバイスに前記ヴィークルを制御させるために提供される、請求項３６に記載の方法。 37. The method of claim 36, wherein the device includes a vehicle controller, and the control signal is provided to cause the device to control the vehicle if the estimated time until the predicted crash occurs falls below the threshold. 前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項３６に記載の方法。 The method of claim 36, wherein the threshold is variable based on the second information indicative of the driver's state. 前記予測される衝突が発生するまでにかかる前記推定時間の減少に対応して、前記予測される衝突が時間的に近づくに連れて、前記推定時間が、可変閾値に関して繰り返し評価される、請求項３９に記載の方法。 The method of claim 39, wherein the estimated time is repeatedly evaluated with respect to a variable threshold as the predicted collision approaches in time, corresponding to a decrease in the estimated time it will take for the predicted collision to occur. 前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項３９に記載の方法。 The method of claim 39, wherein the threshold is variable in real time based on the driver's state. 前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値を増加させることを、更に、備える、請求項３９に記載の方法。 The method of claim 39, further comprising increasing the threshold if the driver's state indicates that the driver is distracted or not paying attention to a driving task. 前記方法が、前記予測される衝突が発生するまでにかかる前記推定時間が前記閾値よりも高い場合、前記制御信号の生成を少なくとも一時的に保留することを、更に、備える、請求項３６に記載の方法。 37. The method of claim 36, further comprising at least temporarily withholding generation of the control signal if the estimated time until the predicted collision occurs is greater than the threshold. 前記衝突のリスクのレベルを決定すること、および前記衝突のリスクの前記決定されたレベルに基づいて前記閾値を調整することを、更に、備える、請求項３６に記載の方法。 The method of claim 36, further comprising determining a level of risk of the collision and adjusting the threshold based on the determined level of risk of the collision. 前記運転者の状態が注意力散漫である状態を備え、そして前記方法が、更に、前記運転者が注意力散漫である状態のレベルを決定すること、および前記運転者の前記注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整することを備える、請求項３６に記載の方法。 37. The method of claim 36, wherein the driver's condition comprises a distracted condition, and the method further comprises determining a level of the driver's distracted condition and adjusting the threshold based on the determined level of the driver's distracted condition. 前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する、請求項３６に記載の方法。 37. The method of claim 36, wherein the threshold has a first value when the driver's state indicates that the driver is paying attention to a driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to the driving task. 前記閾値が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている、請求項３６に記載の方法。 The method of claim 36, wherein the threshold is also based on sensor information indicating that the vehicle is being operated to reduce the risk of the collision. 前記デバイスを動作させるための制御信号を提供するか否かを決定する行為が、前記ヴィークルが前記衝突のリスクを軽減するように動作されていることを示すセンサ情報にも基づいて実行される、請求項３２に記載の方法。 33. The method of claim 32, wherein the act of determining whether to provide a control signal to operate the device is also performed based on sensor information indicating that the vehicle is being operated to reduce the risk of the collision. 前記衝突のリスクを示す前記第１の情報を決定する行為が、第１のモデルに基づいて前記第１の画像を処理することを備える、請求項３２に記載の方法。 33. The method of claim 32, wherein the act of determining the first information indicative of the risk of collision comprises processing the first image based on a first model. 前記第１のモデルが、ニューラルネットワークモデルを備える、請求項４９に記載の方法。 The method of claim 49, wherein the first model comprises a neural network model. 前記運転者の状態を示す前記第２の情報を決定する前記行為が、第２のモデルに基づいて前記第２の画像を処理することを備える、請求項４９に記載の方法。 The method of claim 49, wherein the act of determining the second information indicative of the driver's state comprises processing the second image based on a second model. 前記方法が、更に、複数のそれぞれの姿勢の分類化に対してメトリック値を決定すること、および１つまたは複数の前記メトリック値に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える、請求項３２に記載の方法。 33. The method of claim 32, further comprising determining a metric value for each of a plurality of posture classifications and determining whether the driver is engaged in a driving task based on one or more of the metric values. 前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項５２に記載の方法。 53. The method of claim 52, wherein the categorization of postures comprises two or more of: looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, not holding a steering wheel, not wearing a seat belt, eyes closed, looking ahead, holding a steering wheel with one hand, and holding a steering wheel with both hands. 前記メトリック値を、それぞれの前記姿勢の分類化に対するそれぞれの閾値と比較することを、更に、備える、請求項５２に記載の方法。 53. The method of claim 52, further comprising comparing the metric value to a respective threshold for each of the pose classifications. 前記メトリック値の前記対応する１つの値が前記閾値の対応する１つの値より大である場合、前記運転者が前記姿勢の分類化の１つに属すると決定することを、更に、備える、請求項５４に記載の方法。 55. The method of claim 54, further comprising: determining that the driver belongs to one of the posture classifications if the corresponding one of the metric values is greater than the corresponding one of the threshold values. 前記方法がアフターマーケットデバイスによって実行され、そして前記第１のカメラと前記第２のカメラが、前記アフターマーケットデバイスの一部として統合されている、請求項３２に記載の方法。 The method of claim 32, wherein the method is performed by an aftermarket device, and the first camera and the second camera are integrated as part of the aftermarket device. 前記第２の情報が、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって決定され、そして
前記方法が、更に、前記運転者の前記画像が、前記姿勢の分類化を満たすか否かに基づいて、前記運転者が運転タスクに従事しているか否かを決定することを備える、
請求項３２に記載の方法。 the second information is determined by processing the second image to determine whether the image of the driver satisfies a pose classification, and the method further comprises determining whether the driver is engaged in a driving task based on whether the image of the driver satisfies the pose classification.
33. The method of claim 32. 前記運転者の状態を示す前記第２の情報を決定する行為が、ニューラルネットワークモデルに基づいて前記第２の画像を処理することを備える、請求項３２に記載の方法。 The method of claim 32, wherein the act of determining the second information indicative of the driver's state comprises processing the second image based on a neural network model. 前記第１の画像内のオブジェクトまたは前記オブジェクトの境界ボックスが、関心領域と重なっているか否かを決定することを、更に、備える、請求項３２に記載の方法。 33. The method of claim 32, further comprising determining whether an object in the first image or a bounding box of the object overlaps a region of interest. 前記関心領域が、前記ヴィークルが走行している道路または車線の形状に対応して可変である幾何学的形状を有する、請求項５９に記載の方法。 The method of claim 59, wherein the region of interest has a geometric shape that is variable corresponding to the shape of the road or lane on which the vehicle is traveling. 更に、前記ヴィークルが走行している道路または車線の中心線を決定することを備え、そして前記関心領域が、前記中心線に基づく形状を有する、請求項５９に記載の方法。 The method of claim 59, further comprising determining a centerline of a road or lane on which the vehicle is traveling, and the region of interest has a shape based on the centerline. 更に、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定することを備え、前記ｙ座標が、画像座標フレームに関している、請求項３２に記載の方法。 33. The method of claim 32, further comprising determining a distance between the vehicle and the physical location based on a y coordinate of the physical location in a camera image provided by the first camera, the y coordinate being relative to an image coordinate frame. ヴィークル外部の環境を観察するように構成されている第１のカメラと、
前記ヴィークルの運転者を観察するように構成されている第２のカメラと、
前記第１のカメラから第１の画像を、そして前記第２のカメラから第２の画像を受信するように構成されている処理ユニットと
を備える装置であって、
前記処理ユニットが、前記第１の画像に少なくとも部分的に基づいて交差点での違反のリスクを示す第１の情報を決定する、ように構成されていて、
前記処理ユニットが、前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されていて、そして
前記処理ユニットが、（１）前記交差点での違反を示す前記第１の情報と、（２）運転者の状態を示す前記第２の情報とに基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている、
装置。 a first camera configured to observe an environment external to the vehicle;
a second camera configured to observe an operator of the vehicle; and
a processing unit configured to receive a first image from the first camera and a second image from the second camera,
the processing unit is configured to determine first information indicative of a risk of violation at the intersection based at least in part on the first image;
the processing unit is configured to determine second information indicative of a state of the driver based at least in part on the second image; and the processing unit is configured to determine whether to provide a control signal for operating a device based on (1) the first information indicative of a violation at the intersection and (2) the second information indicative of a state of the driver.
Device. 前記処理ユニットが、予測される交差点での違反の予想発生時刻の少なくとも３秒以上前に前記交差点での違反を予測する、ように構成されている、請求項６３に記載の装置。 The device of claim 63, wherein the processing unit is configured to predict a violation at an intersection at least 3 seconds or more before a predicted time of occurrence of the violation at the intersection. 前記処理ユニットが、前記運転者の脳が入力を処理するのに対しそして前記運転者が前記交差点での違反のリスクを軽減するための行動の実行に対し、十分なリードタイムを持って前記交差点での違反を予測する、ように構成されている、請求項６３に記載の装置。 The device of claim 63, wherein the processing unit is configured to predict a violation at the intersection with sufficient lead time for the driver's brain to process inputs and for the driver to take action to mitigate the risk of a violation at the intersection. 前記十分なリードタイムが、前記運転者の状態に依存する、請求項６５に記載の装置。 The apparatus of claim 65, wherein the sufficient lead time depends on the state of the driver. 前記交差点での違反のリスクを示す前記第１の情報が、予測される交差点での違反を備え、前記処理ユニットが、前記予測される交差点での違反が発生するのにかかる推定時間を決定する、ように構成されていて、そして前記処理ユニットが、前記予測される交差点での違反が発生するまでにかかる前記推定時間が閾値を下回る場合、前記制御信号を提供する、ように構成されている、請求項６３に記載の装置。 The apparatus of claim 63, wherein the first information indicative of a risk of a violation at the intersection comprises a predicted intersection violation, the processing unit is configured to determine an estimated time it will take for the predicted intersection violation to occur, and the processing unit is configured to provide the control signal if the estimated time it will take for the predicted intersection violation to occur falls below a threshold. 前記デバイスが警告発生器を備え、そして前記処理ユニットが、前記予測される交差点での違反が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記デバイスに前記運転者に警告を提供させるための前記制御信号を提供する、ように構成されている、請求項６７に記載の装置。 The apparatus of claim 67, wherein the device includes a warning generator, and the processing unit is configured to provide the control signal to cause the device to provide a warning to the driver if the estimated time it will take for the predicted intersection violation to occur falls below the threshold. 前記デバイスがヴィークル制御器を備え、そして前記予測される交差点での違反が発生するまでにかかる前記推定時間が前記閾値を下回る場合、前記処理ユニットが、前記デバイスに前記ヴィークルを制御させるための前記制御信号を提供する、ように構成されている、請求項６７に記載の装置。 The apparatus of claim 67, wherein the device includes a vehicle controller, and the processing unit is configured to provide the control signal to the device to control the vehicle if the estimated time until the predicted intersection violation occurs falls below the threshold. 前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項６７に記載の装置。 The device of claim 67, wherein the threshold is variable based on the second information indicative of the driver's state. 前記処理ユニットが、前記予測される交差点での違反が、前記予測される交差点での違反にかかる前記推定時間の減少に対応して時間的に近づくに連れて、前記推定時間を可変閾値に対して繰り返し評価する、ように構成されている、請求項７０に記載の装置。 71. The apparatus of claim 70, wherein the processing unit is configured to iteratively evaluate the estimated time against a variable threshold as the predicted intersection violation approaches in time corresponding to a decrease in the estimated time for the predicted intersection violation. 前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項７０に記載の装置。 The device of claim 70, wherein the threshold is variable in real time based on the driver's state. 前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記処理ユニットが、前記閾値を増加させる、ように構成されている、請求項７０に記載の装置。 The apparatus of claim 70, wherein the processing unit is configured to increase the threshold if the driver's state indicates that the driver is distracted or not paying attention to a driving task. 前記予測される交差点での違反が発生するまでにかかる前記推定時間が前記閾値より高い場合、前記処理ユニットが、前記制御信号の提供を少なくとも一時的に保留する、ように構成されている、請求項６７に記載の装置。 The apparatus of claim 67, wherein the processing unit is configured to at least temporarily withhold providing the control signal if the estimated time until the predicted intersection violation occurs is greater than the threshold. 前記処理ユニットが、前記交差点での違反のリスクのレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記交差点での違反のリスクの前記決定されたレベルに基づいて、前記閾値を調整する、ように構成されている、請求項６７に記載の装置。 The apparatus of claim 67, wherein the processing unit is configured to determine a level of risk of a violation at the intersection, and the processing unit is configured to adjust the threshold based on the determined level of risk of a violation at the intersection. 前記運転者の状態が、注意力散漫である状態を備え、そして前記処理ユニットが、前記運転者が注意力散漫である状態のレベルを決定する、ように構成されていて、そして前記処理ユニットが、前記運転者の前記注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整する、ように構成されている、請求項６７に記載の装置。 The apparatus of claim 67, wherein the driver's state comprises a distracted state, and the processing unit is configured to determine a level of the driver's distracted state, and the processing unit is configured to adjust the threshold based on the determined level of the driver's distracted state. 前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が、第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫であるまたは前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する、請求項６７に記載の装置。 The apparatus of claim 67, wherein the threshold has a first value when the driver's state indicates that the driver is paying attention to a driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to the driving task. 前記閾値が、前記ヴィークルが、前記交差点での違反のリスクを軽減するように動作されていることを示すセンサ情報にも基づいている、請求項６７に記載の装置。 The apparatus of claim 67, wherein the threshold is also based on sensor information indicating that the vehicle is being operated to reduce a risk of a violation at the intersection. 前記処理ユニットが、（１）前記交差点での違反のリスクを示す前記第１の情報、（２）前記運転者の状態を示す前記第２の情報、および（３） 前記交差点での違反のリスクを軽減するように前記ヴィークルが運転されていることを示すセンサ情報に基づいて、前記制御信号を提供するか否かを決定する、ように構成されている、請求項６３に記載の装置。 The device of claim 63, wherein the processing unit is configured to determine whether to provide the control signal based on (1) the first information indicating a risk of a violation at the intersection, (2) the second information indicating a state of the driver, and (3) sensor information indicating that the vehicle is being operated in a manner that reduces the risk of a violation at the intersection. 第１のモデルを格納する非一時的媒体を更に備え、前記処理ユニットが、前記交差点での違反のリスクを決定するために、前記第１のモデルに基づいて前記第１の画像を処理する、ように構成されている、請求項６３に記載の装置。 The device of claim 63, further comprising a non-transitory medium storing a first model, and the processing unit configured to process the first image based on the first model to determine a risk of violation at the intersection. 前記第１のモデルが、ニューラルネットワークモデルを備える、請求項８０に記載の装置。 The apparatus of claim 80, wherein the first model comprises a neural network model. 前記非一時的媒体が、第２のモデルを格納するように構成されていて、そして前記処理ユニットが、前記第２のモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項８０に記載の装置。 The apparatus of claim 80, wherein the non-transitory medium is configured to store a second model, and the processing unit is configured to process the second image based on the second model to determine the state of the driver. 前記処理ユニットが、複数のそれぞれの姿勢の分類化に対しメトリック値を決定する、ように構成されていて、そして前記処理ユニットが、前記メトリック値の内の１つまたは複数に基づいて、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、請求項６３に記載の装置。 The apparatus of claim 63, wherein the processing unit is configured to determine a metric value for each of a plurality of posture classifications, and the processing unit is configured to determine whether the driver is engaged in a driving task based on one or more of the metric values. 前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項８３に記載の装置。 The apparatus of claim 83, wherein the categorization of postures comprises two or more of: looking down posture, looking up posture, looking left posture, looking right posture, using a mobile phone posture, smoking posture, holding an object posture, not holding a steering wheel posture, not wearing a seat belt posture, eyes closed posture, looking ahead posture, one hand holding a steering wheel posture, and two hands holding a steering wheel posture. 前記処理ユニットが、前記メトリック値を、前記それぞれの姿勢の分類化のそれぞれの閾値と比較する、ように構成されている、請求項８３に記載の装置。 The apparatus of claim 83, wherein the processing unit is configured to compare the metric value to a respective threshold for each of the pose classifications. 前記メトリック値の対応する値が、前記閾値の対応する値を満たすまたはそれを超える場合、前記処理ユニットが、前記運転者が前記姿勢の分類化の１つに属すると決定する、ように構成されている、請求項８５に記載の装置。 86. The apparatus of claim 85, wherein the processing unit is configured to determine that the driver belongs to one of the posture classifications if a corresponding value of the metric value meets or exceeds a corresponding value of the threshold value. 前記第１のカメラ、前記第２のカメラ、および前記処理ユニットが、前記ヴィークル用のアフターマーケットデバイスの一部として統合されている、請求項６３に記載の装置。 The apparatus of claim 63, wherein the first camera, the second camera, and the processing unit are integrated as part of an aftermarket device for the vehicle. 前記処理ユニットが、前記第２の画像を処理して、前記運転者の画像が姿勢の分類化を満たすか否かを決定することによって、前記第２の情報を決定する、ように構成されていて、そして
前記運転者の画像が、前記姿勢の分類化を満たすか否かに基づいて、前記処理ユニットが、前記運転者が運転タスクに従事しているか否かを決定する、ように構成されている、
請求項６３に記載の装置。 the processing unit is configured to determine the second information by processing the second image to determine whether the image of the driver satisfies a posture categorization; and based on whether the image of the driver satisfies the posture categorization, the processing unit is configured to determine whether the driver is engaged in a driving task.
64. The apparatus of claim 63. 前記処理ユニットが、ニューラルネットワークモデルに基づいて前記第２の画像を処理して、前記運転者の状態を決定する、ように構成されている、請求項６３に記載の装置。 The apparatus of claim 63, wherein the processing unit is configured to process the second image based on a neural network model to determine the state of the driver. 前記処理ユニットが、前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定する、ように構成されていて、前記ｙ座標が、画像座標フレームに関している、請求項６３に記載の装置。 The apparatus of claim 63, wherein the processing unit is configured to determine a distance between the vehicle and the physical location based on a y coordinate of the physical location in a camera image provided by the first camera, the y coordinate being relative to an image coordinate frame. 前記処理ユニットが、ローリング停止操作を検出する、ようにも構成されている、請求項６３に記載の装置。 The apparatus of claim 63, wherein the processing unit is also configured to detect a rolling stop operation. ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること、
前記ヴィークルの運転者を観察するように構成されている第２のカメラによって生成された第２の画像を取得すること、
前記第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定すること、および
（１）交差点での違反のリスクを示す第１の情報と、（２）前記運転者の状態を示す第２の情報とに基づいて、デバイスを動作させるための制御信号を供給するか否かを決定すること
を備える方法。 acquiring a first image produced by a first camera configured to observe an environment external to the vehicle;
acquiring a second image generated by a second camera configured to observe a driver of the vehicle;
determining second information indicative of a state of the driver based at least in part on the second image; and determining whether to provide a control signal for operating a device based on (1) the first information indicative of a risk of a violation at the intersection and (2) the second information indicative of the state of the driver. 前記第１の情報が、前記交差点での違反を予測することによって決定され、そして前記予測される交差点での違反が、前記予測される交差点での違反の予想発生時刻の少なくとも３秒以上前に予測される、請求項９２に記載の方法。 93. The method of claim 92, wherein the first information is determined by predicting a violation at the intersection, and the predicted intersection violation is predicted at least 3 seconds or more prior to an expected occurrence time of the predicted intersection violation. 前記第１の情報が、前記交差点での違反を予測することによって決定され、そして前記交差点での違反が、前記運転者の脳が入力を処理するために、そして前記運転者が前記交差点での違反のリスクを緩和するための行動を実行するために、十分なリードタイムをもって予測される、請求項９２に記載の方法。 93. The method of claim 92, wherein the first information is determined by predicting a violation at the intersection, and a violation at the intersection is predicted with sufficient lead time for the driver's brain to process the input and for the driver to take action to mitigate the risk of a violation at the intersection. 前記十分なリードタイムが、前記運転者の状態に依存する、請求項９４に記載の方法。 The method of claim 94, wherein the sufficient lead time depends on the driver's condition. 前記交差点での違反のリスクを示す前記第１の情報が、予測される交差点での違反を備え、前記方法が、前記予測される交差点での違反が発生するのにかかる推定時間を決定することを、更に、備え、そして前記予測される交差点での違反が発生するまでにかかる前記推定時間が、閾値を下回る場合、前記デバイスに前記制御信号を提供させるために、前記制御信号が提供される、請求項９２に記載の方法。 93. The method of claim 92, wherein the first information indicative of a risk of a violation at the intersection comprises a predicted intersection violation, the method further comprising determining an estimated time it will take for the predicted intersection violation to occur, and the control signal is provided to cause the device to provide the control signal if the estimated time it will take for the predicted intersection violation to occur is below a threshold. 前記デバイスが警告発生器を備え、そして前記予測される交差点での違反が発生するまでにかかる前記推定時間が、閾値を下回る場合、前記デバイスに前記運転者に警告を供給させるために、前記制御信号が提供される、請求項９６に記載の方法。 97. The method of claim 96, wherein the device includes a warning generator, and the control signal is provided to cause the device to provide a warning to the driver if the estimated time it will take for the predicted intersection violation to occur falls below a threshold. 前記デバイスがヴィークル制御器を備え、そして前記予測される交差点での違反が発生するのにかかる前記推定時間が、前記閾値を下回る場合、前記デバイスに前記ヴィークルを制御させるために、前記制御信号が提供される、請求項９６に記載の方法。 97. The method of claim 96, wherein the device includes a vehicle controller, and the control signal is provided to cause the device to control the vehicle if the estimated time it will take for the predicted intersection violation to occur falls below the threshold. 前記閾値が、前記運転者の状態を示す前記第２の情報に基づいて可変である、請求項９６に記載の方法。 The method of claim 96, wherein the threshold is variable based on the second information indicative of the driver's state. 前記予測される交差点での違反が発生するのにかかる前記推定時間の減少に対応して、前記予測される交差点での違反が時間的に近づくに連れて、前記推定時間が、前記可変閾値に関して繰り返し評価される、請求項９９に記載の方法。 99. The method of claim 99, wherein the estimated time is repeatedly evaluated with respect to the variable threshold as the predicted intersection violation approaches in time, corresponding to a decrease in the estimated time it will take for the predicted intersection violation to occur. 前記閾値が、前記運転者の状態に基づいてリアルタイムで可変である、請求項９９に記載の方法。 The method of claim 99, wherein the threshold is variable in real time based on the driver's state. 前記運転者の状態が、前記運転者が、注意力散漫であるまたは運転タスクに注意を払っていないことを示す場合、前記閾値を増加させることを、更に、備える、請求項９９に記載の方法。 The method of claim 99, further comprising increasing the threshold if the driver's condition indicates that the driver is distracted or not paying attention to a driving task. 前記予測される交差点での違反が発生するのにかかる前記推定時間が、前記閾値よりも高い場合、前記制御信号の生成を少なくとも一時的に保留することを、更に、備える、請求項９６に記載の方法。 97. The method of claim 96, further comprising at least temporarily withholding generation of the control signal if the estimated time it will take for the predicted intersection violation to occur is greater than the threshold. 前記交差点での違反のリスクのレベルを決定すること、および前記交差点での違反のリスクの前記決定されたレベルに基づいて前記閾値を調整することを、更に、備える、請求項９６に記載の方法。 97. The method of claim 96, further comprising determining a level of risk of a violation at the intersection and adjusting the threshold based on the determined level of risk of a violation at the intersection. 前記運転者の状態が注意力散漫である状態を備え、そして前記方法が、更に、前記運転者が注意力散漫である状態のレベルを決定すること、および前記運転者の注意力散漫である状態の前記決定されたレベルに基づいて前記閾値を調整することを備える、請求項９６に記載の方法。 97. The method of claim 96, wherein the driver condition comprises a distracted condition, and the method further comprises determining a level of the driver's distracted condition and adjusting the threshold based on the determined level of the driver's distracted condition. 前記運転者の状態が、前記運転者が運転タスクに注意を払っていることを示す場合、前記閾値が、第１の値を有し、そして前記運転者の状態が、前記運転者が、注意力散漫になっているまたは前記運転タスクに注意を払っていないことを示す場合、前記閾値が、前記第１の値よりも高い第２の値を有する、請求項９６に記載の方法。 97. The method of claim 96, wherein the threshold has a first value when the driver's state indicates that the driver is paying attention to a driving task, and the threshold has a second value higher than the first value when the driver's state indicates that the driver is distracted or not paying attention to the driving task. 前記閾値が、前記ヴィークルが、前記交差点での違反のリスクを軽減するように運転されていることを示すセンサ情報にも基づいている、請求項９６に記載の方法。 97. The method of claim 96, wherein the threshold is also based on sensor information indicating that the vehicle is being operated in a manner that reduces a risk of a violation at the intersection. 前記デバイスを動作させるための前記制御信号を提供するか否かを決定する行為が、前記交差点での違反のリスクを軽減するように前記ヴィークルが動作されていることを示すセンサ情報にも基づいて実行される、請求項９２に記載の方法。 93. The method of claim 92, wherein the act of determining whether to provide the control signal to operate the device is also performed based on sensor information indicating that the vehicle is being operated to reduce a risk of a violation at the intersection. 前記交差点での違反のリスクを示す前記第１の情報を決定する行為が、第１のモデルに基づいて前記第１の画像を処理することを備える、請求項９２に記載の方法。 93. The method of claim 92, wherein the act of determining the first information indicative of a risk of violation at the intersection comprises processing the first image based on a first model. 前記第１のモデルが、ニューラルネットワークモデルを備える、請求項１０９に記載の方法。 The method of claim 109, wherein the first model comprises a neural network model. 前記運転者の状態を示す前記第２の情報を決定する前記行為が、第２のモデルに基づいて前記第２の画像を処理することを備える、請求項１０９に記載の方法。 The method of claim 109, wherein the act of determining the second information indicative of the driver's state comprises processing the second image based on a second model. 複数のそれぞれの姿勢の分類化に対するメトリック値を決定すること、および前記メトリック値の１つまたは複数に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを、更に、備える、請求項９２に記載の方法。 93. The method of claim 92, further comprising: determining a metric value for each of a plurality of posture classifications; and determining whether the driver is engaged in a driving task based on one or more of the metric values. 前記姿勢の分類化が、下を向いている姿勢、上を向いている姿勢、左を向いている姿勢、右を向いている姿勢、携帯電話を使用している姿勢、喫煙をしている姿勢、オブジェクトを保持している姿勢、ステアリングホイールを保持していない姿勢、シートベルトを着用していない姿勢、目を閉じている姿勢、前を見ている姿勢、片手でステアリングホイールを保持している姿勢、両手でステアリングホイールを保持している姿勢、の内の２つ以上を備える、請求項１１２に記載の方法。 The method of claim 112, wherein the categorization of postures comprises two or more of: looking down, looking up, looking left, looking right, using a mobile phone, smoking, holding an object, not holding a steering wheel, not wearing a seat belt, eyes closed, looking ahead, holding a steering wheel with one hand, and holding a steering wheel with both hands. 前記メトリック値を、前記それぞれの姿勢の分類化のそれぞれの閾値と比較することを、更に、備える、請求項１１２に記載の方法。 The method of claim 112, further comprising comparing the metric value to a respective threshold for each of the pose classifications. 前記メトリック値の対応する値が、前記閾値の対応する値を満たすまたはそれを超える場合、前記運転者が前記姿勢の分類化の１つに属すると決定することを、更に、備える、請求項１１４に記載の方法。 115. The method of claim 114, further comprising determining that the driver belongs to one of the posture classifications if a corresponding value of the metric value meets or exceeds a corresponding value of the threshold. 前記方法が、アフターマーケットデバイスによって実行され、そして前記第１のカメラと前記第２のカメラが、前記アフターマーケットデバイスの一部として統合されている、請求項９２に記載の方法。 The method of claim 92, wherein the method is performed by an aftermarket device, and the first camera and the second camera are integrated as part of the aftermarket device. 前記運転者の画像が姿勢の分類化を満たすか否かを決定するために前記第２の画像を処理することによって、前記第２の情報が決定され、そして
この方法が、前記運転者が、前記姿勢の分類化を満たすか否かの画像に基づいて、前記運転者が運転タスクに従事しているか否かを決定することを、更に、備える、請求項９２に記載の方法。 93. The method of claim 92, wherein the second information is determined by processing the second image to determine whether an image of the driver meets a postural classification; and the method further comprises determining whether the driver is engaged in a driving task based on whether the image of the driver meets the postural classification. 前記運転者の状態を示す前記第２の情報を決定する行為が、ニューラルネットワークモデルに基づいて前記第２の画像を処理することを備える、請求項９２に記載の方法。 The method of claim 92, wherein the act of determining the second information indicative of the driver's state comprises processing the second image based on a neural network model. 前記第１のカメラによって提供されるカメラ画像内の物理的位置のｙ座標に基づいて、前記ヴィークルと前記物理的位置との間の距離を決定することを、更に、備え、前記ｙ座標が、画像の座標フレームに関している、請求項９２に記載の方法。 93. The method of claim 92, further comprising determining a distance between the vehicle and the physical location based on a y coordinate of the physical location in a camera image provided by the first camera, the y coordinate being relative to an image coordinate frame. ローリング停止操作を検出することを、更に、備える、請求項９２に記載の方法。 The method of claim 92, further comprising detecting a rolling stop operation. ヴィークル外部の環境を観察するように構成されている第１のカメラ、および
前記第１のカメラから第１の画像を受信するように構成されている処理ユニット
を備える装置であって、
前記処理ユニットが、前記ヴィークルが走行している道路または車線の中心線を決定する、ように構成されていて、そして
前記処理ユニットが、前記中心線に基づく関心領域を決定する、ように構成されていて、前記関心領域が、前記中心線の特徴に基づく幾何学的形状を有する、
装置。 1. An apparatus comprising: a first camera configured to observe an environment external to a vehicle; and a processing unit configured to receive a first image from the first camera,
the processing unit is configured to determine a centerline of a road or lane on which the vehicle is traveling; and the processing unit is configured to determine a region of interest based on the centerline, the region of interest having a geometric shape based on characteristics of the centerline.
Device. 前記処理ユニットが、前記ヴィークルが走行している前記道路または前記車線の前記中心線をニューラルネットワークモデルを使用して決定する、ように構成されている、請求項１２１に記載の装置。 The apparatus of claim 121, wherein the processing unit is configured to determine the centerline of the road or lane on which the vehicle is traveling using a neural network model. 前記処理ユニットが、複数の中心線の点を決定することによって、前記ヴィークルが走行している前記道路または前記車線の前記中心線を決定する、ように構成されている、請求項１２１に記載の装置。 The apparatus of claim 121, wherein the processing unit is configured to determine the centerline of the road or lane on which the vehicle is traveling by determining a plurality of centerline points. 前記中心線の点が、第１の中心線の点および第２の中心線の点を備え、そして前記処理ユニットが、前記第１の中心線の点および前記第２の中心線の点に基づいて、前記関心領域を決定する、ように構成されている、請求項１２３に記載の装置。 The apparatus of claim 123, wherein the centerline points comprise a first centerline point and a second centerline point, and the processing unit is configured to determine the region of interest based on the first centerline point and the second centerline point. 前期処理ユニットが、
前記第１の中心線の点から左へ距離ｄ１にある第１の左側の点を決定すること、
前記第１の中心線の点から右へ距離ｄ１にある第１の右側の点を決定すること、
前記第２の中心線の点から左へ距離ｄ２にある第２の左側の点を決定すること、および
前記第２の中心線の点から右へ距離ｄ２にある第２の右側の点を決定すること
によって前記関心領域を決定する、ように構成されている、
請求項１２４に記載の装置。 The pretreatment unit is
determining a first left point a distance d1 to the left of said first centerline point;
determining a first right point a distance d1 to the right from the first centerline point;
determining a second left point a distance d2 to the left from the second centerline point; and determining a second right point a distance d2 to the right from the second centerline point.
125. The apparatus of claim 124. 前記処理ユニットが、
前記第１の左側の点および前記第２の左側の点に基づいて前記関心領域の左境界を決定すること、および
前記第１の右側の点および第２の右側の点に基づいて前記関心領域の右境界を決定すること
によっても前記関心領域を決定する、ように構成されている、
請求項１２５に記載の装置。 The processing unit comprises:
determining a left boundary of the region of interest based on the first left point and the second left point; and determining a right boundary of the region of interest based on the first right point and the second right point.
126. The apparatus of claim 125. 前記中心線の点が、第１のｙ座標を有する第１の中心線の点、第２のｙ座標を有する第２の中心線の点、および第３のｙ座標を有する第３の中心線の点を少なくとも有し、そして
前記第１のｙ座標と前記第２のｙ座標との間の第１の差が、前記第２のｙ座標と前記第３のｙ座標との間の第２の差とは異なる、
請求項１２３に記載の装置。 the centerline points include at least a first centerline point having a first y coordinate, a second centerline point having a second y coordinate, and a third centerline point having a third y coordinate, and a first difference between the first y coordinate and the second y coordinate is different from a second difference between the second y coordinate and the third y coordinate.
124. The apparatus of claim 123. 前記処理ユニットが、前記決定された中心線に基づいて前記関心領域の左境界を決定すること、および前記決定された中心線に基づいて前記関心領域の右境界を決定すること、によって前記関心領域を決定する、ように構成されている、請求項１２１に記載の装置。 The apparatus of claim 121, wherein the processing unit is configured to determine the region of interest by determining a left boundary of the region of interest based on the determined centerline and determining a right boundary of the region of interest based on the determined centerline. 前記中心線と前記関心領域の前記左境界との間の第１の距離が、非定数であり、そして前記中心線と前記関心領域の前記右境界との間の第２の距離も非定数である、請求項１２８に記載の装置。 The apparatus of claim 128, wherein a first distance between the centerline and the left boundary of the region of interest is non-constant, and a second distance between the centerline and the right boundary of the region of interest is also non-constant. 前記関心領域が、テーパ形状を有する、請求項１２１に記載の装置。
パーリング形状。 122. The apparatus of claim 121, wherein the region of interest has a tapered shape.
Pearling shape. 前記テーパ形状が、可変の曲率を有する、請求項１３０に記載の装置。 The device of claim 130, wherein the tapered shape has a variable curvature. 前記テーパ形状が可変の曲がりを有する、請求項１３０に記載の装置。 The device of claim 130, wherein the tapered shape has a variable curvature. 前記第１の画像がオブジェクトの画像を備え、そして前記処理ユニットが、前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差するか否かを決定する、ように構成されている、請求項１２１に記載の装置。 The apparatus of claim 121, wherein the first image comprises an image of an object, and the processing unit is configured to determine whether the image of the object or a bounding box around the image of the object intersects with the region of interest. 前記処理ユニットが、前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差する場合、衝突のリスクを示す第１の情報を決定する、ように構成されている、請求項１３３に記載の装置。 The apparatus of claim 133, wherein the processing unit is configured to determine first information indicative of a risk of collision if the image of the object or a bounding box around the image of the object intersects with the region of interest. 前記ヴィークルの運転者を観察するように構成されている第２のカメラを、更に、備え、
前記処理ユニットが、前記カメラによって提供される第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定する、ように構成されている、
請求項１３４に記載の装置。 a second camera configured to observe an operator of the vehicle;
The processing unit is configured to determine second information indicative of a state of the driver based at least in part on a second image provided by the camera.
135. The apparatus of claim 134. 前記処理ユニットが、（１）衝突のリスクを示す前記第１の情報、および（２）前記運転者の状態を示す前記第２の情報に基づいて、デバイスを動作させるための制御信号を提供するか否かを決定する、ように構成されている、請求項１３５に記載の装置。 The apparatus of claim 135, wherein the processing unit is configured to determine whether to provide a control signal for operating a device based on (1) the first information indicative of a risk of a collision and (2) the second information indicative of a state of the driver. 装置によって実行される方法であって、
処理ユニットが、ヴィークル外部の環境を観察するように構成されている第１のカメラによって生成された第１の画像を取得すること、
前記処理ユニットが、前記ヴィークルが走行している道路または車線の中心線を決定すること、および
前記処理ユニットが、前記中心線に基づいて関心領域を決定すること、
を備え、
前記関心領域が、前記中心線の特徴に基づく幾何学的形状を有する、
方法。 A method performed by an apparatus, comprising:
The processing unit acquires a first image generated by a first camera configured to observe an environment external to the vehicle;
the processing unit determining a centerline of a road or lane on which the vehicle is traveling; and the processing unit determining a region of interest based on the centerline.
Equipped with
the region of interest has a geometric shape based on the centerline features;
Method. 前記ヴィークルが走行している前記道路または前記車線の前記中心線が、ニューラルネットワークモデルを使用して決定される、請求項１３７に記載の方法。 The method of claim 137, wherein the centerline of the road or lane on which the vehicle is traveling is determined using a neural network model. 前記ヴィークルが走行している前記道路または前記車線の前記中心線を決定する行為が、複数の中心線の点を決定することを備える、請求項１３７に記載の方法。 The method of claim 137, wherein the act of determining the centerline of the road or lane on which the vehicle is traveling comprises determining a plurality of centerline points. 前記中心線の点が、第１の中心線の点および第２の中心線の点を備え、そして前記関心領域が、前記第１の中心線の点および前記第２の中心線の点に基づいて決定される、請求項１３９に記載の方法。 139. The method of claim 139, wherein the centerline points comprise a first centerline point and a second centerline point, and the region of interest is determined based on the first centerline point and the second centerline point. 前記関心領域を決定する行為が、
前記第１の中心線の点から左へ距離ｄ１にある第１の左側の点を決定すること、
前記第１の中心線の点から右へ前記距離ｄ１にある第１の右側の点を決定すること、
前記第２の中心線の点から左へ距離ｄ２にある第２の左側の点を決定すること、および
第２の中心線の点から右へ前記距離ｄ２にある第２の右側の点を決定すること
を備える、
請求項１４０に記載の方法。 determining the region of interest,
determining a first left point a distance d1 to the left of said first centerline point;
determining a first right point that is the distance d1 to the right from the first centerline point;
determining a second left point a distance d2 to the left from the second centerline point; and determining a second right point a distance d2 to the right from the second centerline point.
The method of claim 140. 前記関心領域を決定する行為が、更に、
前記第１の左側の点および前記第２の左側の点に基づいて前記関心領域の左境界を決定すること、および
前記第１の右側の点および前記第２の右側の点に基づいて前記関心領域の右境界を決定すること
を備える、請求項１４１に記載の方法。 The act of determining the region of interest further comprises:
142. The method of claim 141, comprising: determining a left boundary of the region of interest based on the first left point and the second left point; and determining a right boundary of the region of interest based on the first right point and the second right point. 前記中心線の点が、第１のｙ座標を有する第１の中心線の点、第２のｙ座標を有する第２の中心線の点、および第３のｙ座標を有する第３の中心線の点を少なくとも有し、そして
前記第１のｙ座標と前記第２のｙ座標との間の第１の差が、前記第２のｙ座標と前記第３のｙ座標との間の第２の差とは異なる、
請求項１３９に記載の方法。 the centerline points include at least a first centerline point having a first y coordinate, a second centerline point having a second y coordinate, and a third centerline point having a third y coordinate, and a first difference between the first y coordinate and the second y coordinate is different from a second difference between the second y coordinate and the third y coordinate.
The method of claim 139. 前記関心領域を決定する行為が、前記決定された前記中心線に基づいて前記関心領域の左境界を決定すること、および前記決定された前記中心線に基づいて前記関心領域の右境界を決定することを備える、請求項１３７に記載の方法。 The method of claim 137, wherein the act of determining the region of interest comprises determining a left boundary of the region of interest based on the determined centerline, and determining a right boundary of the region of interest based on the determined centerline. 前記中心線と前記関心領域の左境界との間の第１の距離が、非定数であり、そして前記中心線と前記関心領域の右境界との間の第２の距離も非定数である、請求項１４４に記載の方法。 The method of claim 144, wherein a first distance between the centerline and a left boundary of the region of interest is non-constant, and a second distance between the centerline and a right boundary of the region of interest is also non-constant. 前記関心領域が、テーパ形状を有する、請求項１３７に記載の方法。 The method of claim 137, wherein the region of interest has a tapered shape. 前記テーパ形状が、可変の曲率を有する、請求項１４６に記載の方法。 The method of claim 146, wherein the tapered shape has a variable curvature. 前記テーパ形状が、可変の曲がりを有する、請求項１４６に記載の方法。 The method of claim 146, wherein the tapered shape has a variable curvature. 前記第１の画像がオブジェクトの画像を備え、そして前記方法が、前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差するか否かを決定することを備える、請求項１３７に記載の方法。 138. The method of claim 137, wherein the first image comprises an image of an object, and the method comprises determining whether the image of the object or a bounding box around the image of the object intersects with the region of interest. 前記オブジェクトの前記画像または前記オブジェクトの前記画像の周囲の境界ボックスが、前記関心領域と交差する場合、衝突のリスクを示す第１の情報を決定することを、更に、備える、請求項１４９に記載の方法。 The method of claim 149, further comprising determining first information indicative of a risk of collision if the image of the object or a bounding box around the image of the object intersects with the region of interest. 前記ヴィークルの運転者を観察するように構成されている第２のカメラを、更に、備え、
前記方法が、前記カメラによって提供される第２の画像に少なくとも部分的に基づいて、前記運転者の状態を示す第２の情報を決定することを、更に、備える、
請求項１５０に記載の方法。 a second camera configured to observe an operator of the vehicle;
and determining, based at least in part on a second image provided by the camera, second information indicative of a state of the driver.
The method of claim 150. （１）衝突のリスクを示す前記第１の情報、および（２）前記運転者の状態を示す前記第２の情報に基づいて、デバイスを動作させるための制御信号を提供するか否かを決定することを、更に、備える、請求項１５１に記載の方法。

152. The method of claim 151, further comprising determining whether to provide a control signal for operating a device based on (1) the first information indicative of a risk of collision, and (2) the second information indicative of the driver's state.

Images