JP7500001B2 - Physique determination device and physique determination method - Google Patents

Physique determination device and physique determination method Download PDF

Info

Publication number
JP7500001B2
JP7500001B2 JP2024521443A JP2024521443A JP7500001B2 JP 7500001 B2 JP7500001 B2 JP 7500001B2 JP 2024521443 A JP2024521443 A JP 2024521443A JP 2024521443 A JP2024521443 A JP 2024521443A JP 7500001 B2 JP7500001 B2 JP 7500001B2
Authority
JP
Japan
Prior art keywords
occupant
seat
physique
unit
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024521443A
Other languages
Japanese (ja)
Other versions
JPWO2023223442A1 (en
Inventor
直哉 馬場
浩隆 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2023223442A1 publication Critical patent/JPWO2023223442A1/ja
Application granted granted Critical
Publication of JP7500001B2 publication Critical patent/JP7500001B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Seats For Vehicles (AREA)
  • Image Processing (AREA)
  • Air Bags (AREA)

Description

本開示は、乗員の体格判定装置および体格判定方法に関する。 The present disclosure relates to an occupant physical build determination device and a method for determining physical build.

車両において、エアバッグの制御、シートベルトの制御、または、幼児置き去り検知等を行うため、車両の乗員を撮像した撮像画像に基づいて当該乗員の体格を判定する技術が知られている。
ここで、乗員が座席の背もたれから離れている場合、言い換えれば、乗員と座席の背もたれとの間に距離がある場合と、乗員が座席の背もたれから離れていない場合とでは、撮像装置から乗員までの距離が変わる。撮像装置から乗員までの距離が変われば、撮像画像上での乗員の大きさが変わる。撮像画像に基づいて乗員の体格を判定する際は、このことが考慮されていないと、乗員の体格の誤判定に繋がるおそれがある。
例えば、特許文献１には、複数の画像の中から、乗員の頭部が最も小さく、かつ頭部がシート背面部の横幅の中央に位置しているときの画像を抽出し、抽出した画像から特定した頭部の位置情報を用いて乗員の体格を判定する技術が開示されている。 2. Description of the Related Art In a vehicle, a technique is known for determining the physical size of a vehicle occupant based on an image of the vehicle occupant in order to control an airbag, a seat belt, or detect an abandoned child.
Here, the distance from the imaging device to the occupant changes when the occupant is away from the backrest of the seat, in other words, when there is a distance between the occupant and the backrest of the seat and when the occupant is not away from the backrest of the seat. If the distance from the imaging device to the occupant changes, the size of the occupant on the captured image changes. If this is not taken into consideration when determining the occupant's physical build based on the captured image, it may lead to an erroneous determination of the occupant's physical build.
For example, Patent Document 1 discloses a technology that extracts from multiple images an image in which the occupant's head is at its smallest and located in the center of the width of the seat back, and determines the occupant's physique using head position information identified from the extracted image.

特開２０１８－１５６２１２号公報JP 2018-156212 A

特許文献１に開示されているような従来技術は、ある一定時間における撮像画像上の乗員の頭部が最も小さくなるときを、乗員がシートに深く座っているとき、すなわち、乗員が座席の背もたれから離れていないときとみなす。したがって、従来技術では、例えば、乗員が常に座席の背もたれから離れている場合も、乗員が座席の背もたれから離れていないとみなし、乗員の体格を誤判定する可能性があるという課題があった。 Conventional technology such as that disclosed in Patent Document 1 considers the time when the occupant's head is smallest in the captured image at a certain time to be when the occupant is sitting deep in the seat, i.e., when the occupant is not moving away from the seat back. Therefore, with conventional technology, for example, even if the occupant is always moving away from the seat back, it is considered that the occupant is not moving away from the seat back, which can lead to an erroneous determination of the occupant's physique.

本開示は上記のような課題を解決するためになされたもので、乗員が座席の背もたれから離れている場合における乗員の体格の誤判定を防ぐ体格判定装置を提供することを目的とする。This disclosure has been made to solve the above-mentioned problems, and aims to provide a body size determination device that prevents erroneous determination of an occupant's body size when the occupant is away from the seat back.

本開示に係る体格判定装置は、撮像装置によって車両の乗員が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づいて、撮像画像上で乗員の体の部位を示す乗員の特徴点を検出する特徴点検出部と、車両の座席に関するシート情報を取得するシート情報取得部と、画像取得部が取得した撮像画像とシート情報取得部が取得したシート情報とに基づき、乗員は座席の背もたれから離れているか否かを判定する着座状態判定部と、着座状態判定部が乗員は座席の背もたれから離れていると判定した場合、座席と乗員との間の実空間上の座席乗員間距離を推定し、推定した座席乗員間距離と撮像装置から座席までの奥行とに基づき撮像装置と乗員との間の実空間上の撮像距離を推定する撮像距離推定部と、特徴点検出部が検出した乗員の特徴点と撮像距離推定部が推定した撮像距離に基づき算出した体格判定用特徴量を用いて、乗員の体格を判定する体格判定部とを備えたものである。The physical size determination device according to the present disclosure includes an image acquisition unit that acquires an image of a vehicle occupant captured by an imaging device, a feature point detection unit that detects feature points of the occupant that indicate body parts of the occupant on the captured image based on the image acquired by the image acquisition unit, a seat information acquisition unit that acquires seat information related to the vehicle seat, a seating state determination unit that determines whether the occupant is away from the seat back based on the image acquired by the image acquisition unit and the seat information acquired by the seat information acquisition unit, an imaging distance estimation unit that estimates a seat-to-occupant distance in real space between the seat and the occupant if the seating state determination unit determines that the occupant is away from the seat back, and estimates an imaging distance in real space between the imaging device and the occupant based on the estimated seat-to-occupant distance and the depth from the imaging device to the seat, and a physical size determination unit that determines the occupant's physical size using feature amounts for physical size determination calculated based on the feature points of the occupant detected by the feature point detection unit and the imaging distance estimated by the imaging distance estimation unit.

本開示によれば、体格判定装置は、乗員が座席の背もたれから離れている場合における乗員の体格の誤判定を防ぐことができる。According to the present disclosure, the body size determination device can prevent erroneous determination of an occupant's body size when the occupant is away from the seat back.

実施の形態１に係る体格判定装置の構成例を示す図である。1 is a diagram illustrating an example of the configuration of a physique determination device according to a first embodiment; 実施の形態１において、特徴点検出部が検出する特徴点の一例を説明するための図である。4 is a diagram for explaining an example of feature points detected by a feature point detection unit in the first embodiment. FIG. 図３Ａおよび図３Ｂは、実施の形態１における、着座状態判定部による、乗員は座席の背もたれから離れているか否かの判定方法の一例について説明するための図である。3A and 3B are diagrams for explaining an example of a method for determining whether or not an occupant is away from the backrest of the seat by the seating state determination unit in the first embodiment. 実施の形態１における撮像距離推定部による撮像距離の推定方法の一例について説明するための図であって、車両の上面視図である。1 is a top view of a vehicle for explaining an example of a method for estimating an image capturing distance by an image capturing distance estimating unit in the first embodiment. FIG. 実施の形態１に係る体格判定装置の動作について説明するためのフローチャートである。4 is a flowchart for explaining an operation of the physique determination device according to the first embodiment. 図５のステップＳＴ４における特徴点処理部による特徴点処理の詳細について説明するためのフローチャートである。6 is a flowchart for illustrating details of the feature point processing by the feature point processing unit in step ST4 of FIG. 5 . 図５のステップＳＴ５における体格判定部による体格判定処理の詳細について説明するためのフローチャートである。6 is a flowchart for explaining details of a physique determination process by a physique determination unit in step ST5 of FIG. 5 . 図８Ａおよび図８Ｂは、着座状態判定部による、座高を示す線分とリクライニング角度との差を第３基準範囲と比較することで、乗員は座席の背もたれから離れているか否かの判定方法の一例について説明するための図である。Figures 8A and 8B are figures to explain an example of a method by which the seating state determination unit determines whether or not an occupant is away from the seat back by comparing the difference between the line segment indicating the seat height and the reclining angle with a third reference range. 図９Ａおよび図９Ｂは、実施の形態１に係る体格判定装置のハードウェア構成の一例を示す図である。9A and 9B are diagrams illustrating an example of a hardware configuration of the physique determination device according to the first embodiment.

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る体格判定装置１の構成例を示す図である。
実施の形態１において、体格判定装置１は、車両（図示省略）に搭載されることを想定している。
体格判定装置１は、撮像装置２、シート制御装置３、エアバッグ制御装置４、報知装置５、および、表示装置６と接続される。撮像装置２、シート制御装置３、エアバッグ制御装置４、報知装置５、および、表示装置６は、車両に搭載される。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings.
Embodiment 1.
FIG. 1 is a diagram showing an example of the configuration of a physique determination device 1 according to the first embodiment.
In the first embodiment, it is assumed that the physique determination device 1 is mounted on a vehicle (not shown).
The physique determination device 1 is connected to an imaging device 2, a seat control device 3, an airbag control device 4, an alarm device 5, and a display device 6. The imaging device 2, the seat control device 3, the airbag control device 4, the alarm device 5, and the display device 6 are mounted on a vehicle.

撮像装置２は、例えば、近赤外線カメラ、または、可視光カメラであり、車両の乗員を撮像する。撮像装置２は、例えば、車両内の乗員の状態を監視するために車両に搭載される、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。
撮像装置２は、少なくとも、車両の乗員の上半身が存在すべき範囲を含む車両内の範囲を撮像可能に設置される。車両内の乗員の上半身が存在すべき範囲とは、例えば、座席の背もたれ、および、ヘッドレストの前方付近の空間に相当する範囲である。
実施の形態１では、一例として、撮像装置２は、車両のインストルメントパネル（以下「インパネ」という。）の中央に設置され、インパネの中央から運転席および助手席を含む前部座席を撮像することを想定する。すなわち、実施の形態１において、撮像装置２は、インパネの中央から、少なくとも運転者および助手席の乗員（以下「助手席乗員」という。）を撮像する。
撮像装置２は、撮像画像を体格判定装置１に出力する。 The image capturing device 2 is, for example, a near-infrared camera or a visible light camera, and captures an image of a vehicle occupant. The image capturing device 2 may be, for example, shared with a so-called "Driver Monitoring System (DMS)" that is mounted on a vehicle to monitor the state of the occupant in the vehicle.
The imaging device 2 is installed so as to be able to capture an image of at least the area inside the vehicle including the area where the upper body of the vehicle occupant should be present, for example, the area corresponding to the seat back and the space near the front of the headrest.
In the first embodiment, as an example, it is assumed that the imaging device 2 is installed at the center of the instrument panel of the vehicle (hereinafter referred to as the "instrument panel") and images the front seats including the driver's seat and the passenger seat from the center of the instrument panel. That is, in the first embodiment, the imaging device 2 images at least the driver and the passenger in the passenger seat (hereinafter referred to as the "passenger seat passenger") from the center of the instrument panel.
The imaging device 2 outputs the captured image to the physique judgment device 1 .

シート制御装置３は、車両に設けられている座席を制御する。シート制御装置３は、座席の前後方向の位置の制御、座席の上下方向の位置の制御、および、座席の背もたれのリクライニング機能の制御を行う。
シート制御装置３は、座席の制御に関する情報（以下「シート情報」という。）を体格判定装置１に出力する。シート情報は、少なくとも、座席の前後方向の位置に関する情報、座席の上下方向の位置に関する情報、および、座席の背もたれの傾斜（リクライニング角度）を示す情報を含む。 The seat control device 3 controls the seats provided in the vehicle. The seat control device 3 controls the front-rear position of the seat, the up-down position of the seat, and the reclining function of the seat backrest.
The seat control device 3 outputs information relating to seat control (hereinafter referred to as "seat information") to the physical size determination device 1. The seat information includes at least information relating to the front-to-rear position of the seat, information relating to the up-to-down position of the seat, and information indicating the inclination of the seat backrest (reclining angle).

体格判定装置１は、撮像装置２によって車両の乗員が撮像された撮像画像とシート制御装置３から取得したシート情報とに基づいて、車両の乗員の体格を判定する。以下の実施の形態１では、一例として、車両の乗員は、運転者および助手席乗員とする。すなわち、実施の形態１では、体格判定装置１は、撮像装置２によって運転者および助手席乗員が撮像された撮像画像とシート情報とに基づいて、運転者および助手席乗員の体格を判定する。体格判定装置１は、撮像画像とシート情報とに基づいて、運転者または助手席乗員が背もたれから離れているか否かを判定し、運転者または助手席乗員が背もたれから離れていると判定した場合は、これを考慮して運転者および助手席乗員の体格を判定する。The physical build determination device 1 determines the physical build of a vehicle occupant based on an image of the vehicle occupant captured by the imaging device 2 and seat information acquired from the seat control device 3. In the following embodiment 1, as an example, the vehicle occupants are the driver and the passenger seat passenger. That is, in embodiment 1, the physical build determination device 1 determines the physical build of the driver and the passenger seat passenger based on the image of the driver and the passenger seat passenger captured by the imaging device 2 and the seat information. The physical build determination device 1 determines whether the driver or the passenger seat passenger is away from the backrest based on the captured image and the seat information, and if it determines that the driver or the passenger seat passenger is away from the backrest, it determines the physical build of the driver and the passenger seat passenger taking this into consideration.

なお、これは一例に過ぎず、体格判定装置１が体格を判定する対象は、例えば、運転者のみとしてもよい。この場合、撮像装置２は、例えば、インパネの中央から運転席を撮像する。すなわち、撮像装置２は、インパネの中央から、運転者を撮像する。また、体格判定装置１が体格を判定する対象は、例えば、助手席乗員のみとしてもよい。この場合、撮像装置２は、例えば、インパネの中央から助手席を撮像する。すなわち、撮像装置２は、インパネの中央から、助手席乗員を撮像する。Note that this is merely one example, and the subject for whom the physical build determination device 1 determines the physical build may, for example, be the driver only. In this case, the imaging device 2 images the driver's seat from the center of the instrument panel, for example. That is, the imaging device 2 images the driver from the center of the instrument panel. Also, the subject for whom the physical build determination device 1 determines the physical build may, for example, be the passenger in the front passenger seat only. In this case, the imaging device 2 images the passenger seat from the center of the instrument panel, for example. That is, the imaging device 2 images the passenger in the front passenger seat from the center of the instrument panel.

実施の形態１では、体格判定装置１が判定する体格は、「幼児」、「小柄」、「標準」、または、「大柄」のいずれかとする。なお、これは一例に過ぎず、体格判定装置１が判定する体格の定義は、適宜設定可能である。In the first embodiment, the physique judged by the physique judgement device 1 is either "child," "small," "standard," or "large." Note that this is merely an example, and the definition of the physique judged by the physique judgement device 1 can be set as appropriate.

体格判定装置１は、車両の乗員の体格を判定すると、車両の乗員の体格を判定した結果（以下「体格判定結果」という。）を、エアバッグ制御装置４、報知装置５、および、表示装置６に出力する。
体格判定装置１の詳細な構成については、後述する。 When the physical build determination device 1 determines the physical build of the vehicle occupant, it outputs the result of the determination of the vehicle occupant's physical build (hereinafter referred to as the ``physical build determination result'') to the airbag control device 4, the alarm device 5, and the display device 6.
The detailed configuration of the physique determination device 1 will be described later.

エアバッグ制御装置４は、エアバッグシステム用のＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、体格判定装置１から出力された体格判定結果に基づいてエアバッグの制御を行う。The airbag control device 4 is an ECU (Engine Control Unit) for the airbag system and controls the airbag based on the body size judgment results output from the body size judgment device 1.

報知装置５は、例えば、シートベルトリマインダーであり、体格判定装置１から出力された体格判定結果に基づき、乗員の体格を考慮して、警報を出力する。The alarm device 5 is, for example, a seat belt reminder, and outputs an alarm based on the physical size judgment result output from the physical size judgment device 1, taking into account the physical size of the occupant.

表示装置６は、例えば、センタークラスターまたはメータパネルに備えられ、体格判定装置１から出力された体格判定結果に応じた表示を行う。例えば、表示装置６は、乗員の中に「幼児」がいる場合、子供が乗車している旨を示すアイコンを表示する。The display device 6 is provided, for example, in a center cluster or an instrument panel, and displays information according to the physical build judgment results output from the physical build judgment device 1. For example, if there is a "child" among the occupants, the display device 6 displays an icon indicating that a child is on board.

体格判定装置１は、画像取得部１１、特徴点検出部１２、シート情報取得部１３、着座状態判定部１４、特徴点処理部１５、体格判定部１６、および、出力部１７を備える。
特徴点処理部１５は、撮像距離推定部１５１および特徴点補正部１５２を備える。 The physique determination device 1 includes an image acquisition unit 11 , a feature point detection unit 12 , a seat information acquisition unit 13 , a seating state determination unit 14 , a feature point processing unit 15 , a physique determination unit 16 , and an output unit 17 .
The feature point processing unit 15 includes an imaging distance estimation unit 151 and a feature point correction unit 152 .

画像取得部１１は、撮像装置２によって車両の乗員が撮像された撮像画像を取得する。
画像取得部１１は、取得した撮像画像を、特徴点検出部１２に出力する。
なお、体格判定装置１は画像取得部１１を備えず、後述する特徴点検出部１２が画像取得部１１の機能を有するようにしてもよい。 The image acquisition unit 11 acquires an image of a vehicle occupant captured by the imaging device 2 .
The image acquisition unit 11 outputs the acquired captured image to the feature point detection unit 12 .
It is to be noted that the physique judgment device 1 may not include the image acquisition unit 11, and the feature point detection unit 12 described later may have the functions of the image acquisition unit 11.

特徴点検出部１２は、画像取得部１１が取得した撮像画像に基づいて、乗員の体の部位を示す、乗員の特徴点を検出する。より詳細には、特徴点検出部１２は、画像取得部１１が取得した撮像画像に基づいて、乗員の体の部位ごとに決められた関節点を、乗員の特徴点として検出する。実施の形態１では、人の体の部位ごとに決められた関節点として、鼻の関節点と、首の関節点と、肩の関節点と、肘の関節点と、腰の関節点と、手首の関節点と、膝の関節点と、足首の関節点が定義されている。The feature point detection unit 12 detects feature points of the occupant, which indicate body parts of the occupant, based on the captured image acquired by the image acquisition unit 11. More specifically, the feature point detection unit 12 detects joint points determined for each body part of the occupant as the feature points of the occupant, based on the captured image acquired by the image acquisition unit 11. In the first embodiment, a nose joint point, a neck joint point, a shoulder joint point, an elbow joint point, a waist joint point, a wrist joint point, a knee joint point, and an ankle joint point are defined as the joint points determined for each body part of a person.

特徴点検出部１２は、乗員の特徴点の座標と、当該特徴点が乗員の体のどの部位を示す特徴点であるかを検出する。特徴点は、例えば、撮像画像における点であり、撮像画像における座標であらわされる。The feature point detection unit 12 detects the coordinates of the feature points of the occupant and which part of the occupant's body the feature points indicate. The feature points are, for example, points in a captured image and are represented by coordinates in the captured image.

特徴点検出部１２は、例えば、機械学習における学習済みのモデル（以下「第１機械学習モデル」という。）を用いて、乗員の特徴点に関する情報を得ることで、乗員の特徴点を検出する。
第１機械学習モデルは、車両の乗員が撮像された撮像画像を入力とし、撮像画像における特徴点を示す情報を出力する機械学習モデルである。特徴点を示す情報には、撮像画像における特徴点の座標、および、当該特徴点が体のどの部位を示す特徴点であるかを特定可能な情報が含まれる。
第１機械学習モデルは、予め、入力と教師ラベルのデータの組み合わせに基づいて生成された学習用データに従って、いわゆる教師あり学習により、入力に対する結果を推定するよう構築される。ここでは、第１機械学習モデルは、入力を撮像画像、教師ラベルを特徴点に関する情報とする学習用データに従って、撮像画像に対する特徴点に関する情報を出力するよう学習する。
第１機械学習モデルは、予め、特徴点検出部１２が参照可能な場所に記憶されている。なお、第１機械学習モデルは、撮像画像における複数の特徴点に関する情報を出力するよう学習している。 The feature point detection unit 12 detects the occupant's feature points by obtaining information about the occupant's feature points, for example, using a trained model in machine learning (hereinafter referred to as the "first machine learning model").
The first machine learning model is a machine learning model that receives an image of a vehicle occupant as input and outputs information indicating feature points in the image. The information indicating the feature points includes coordinates of the feature points in the image and information that can identify which part of the body the feature points indicate.
The first machine learning model is constructed to estimate a result for an input by so-called supervised learning according to learning data generated in advance based on a combination of the input and teacher label data. Here, the first machine learning model learns to output information about feature points for a captured image according to learning data in which the input is a captured image and the teacher labels are information about feature points.
The first machine learning model is stored in advance in a location that can be referenced by the feature point detection unit 12. The first machine learning model has been trained to output information relating to a plurality of feature points in a captured image.

図２は、実施の形態１において、特徴点検出部１２が検出する特徴点の一例を説明するための図である。
車両において、運転席に運転者、助手席に助手席乗員が着座しているとする。この場合、撮像装置２は、運転者および助手席乗員を撮像する。
図２において、Ｉｍは撮像装置２が撮像した撮像画像を示し、Ｄｒは運転者を示し、Ｐｓは助手席乗員を示している。なお、実施の形態１では、撮像画像Ｉｍの左下を原点とし、撮像画像Ｉｍの右向きをｘ軸の正方向、撮像画像Ｉｍの上向きをｙ軸の正方向とする。
図２を用いて、助手席乗員を例に挙げて、特徴点検出部１２が検出する特徴点について説明する。 FIG. 2 is a diagram for explaining an example of feature points detected by the feature point detection unit 12 in the first embodiment.
In a vehicle, it is assumed that a driver is seated in the driver's seat and a passenger is seated in the passenger's seat, and the image capturing device 2 captures images of the driver and the passenger.
2, Im indicates an image captured by the imaging device 2, Dr indicates a driver, and Ps indicates a passenger in the front passenger seat. In the first embodiment, the lower left corner of the captured image Im is defined as the origin, the rightward direction of the captured image Im is defined as the positive direction of the x-axis, and the upward direction of the captured image Im is defined as the positive direction of the y-axis.
The feature points detected by the feature point detection unit 12 will be described with reference to FIG. 2, taking a passenger in the front passenger seat as an example.

図２において、２０１、２０２、２０３ａ、２０３ｂ、２０４ａ、２０４ｂ、２０５ａ、２０５ｂは、撮像画像Ｉｍにおける特徴点を示している。
２０１は、助手席乗員Ｐｓの鼻を示す特徴点である。
２０２は、助手席乗員Ｐｓの首を示す特徴点である。
２０３ａは、助手席乗員Ｐｓの右肩を示す特徴点である。
２０３ｂは、助手席乗員Ｐｓの左肩を示す特徴点である。
２０４ａは、助手席乗員Ｐｓの右肘を示す特徴点である。
２０４ｂは、助手席乗員Ｐｓの左肘を示す特徴点である。
２０５ａは、助手席乗員Ｐｓの右腰を示す特徴点である。
２０５ｂは、助手席乗員Ｐｓの左腰を示す特徴点である。 In FIG. 2, 201, 202, 203a, 203b, 204a, 204b, 205a, and 205b indicate feature points in a captured image Im.
Reference numeral 201 denotes a feature point indicating the nose of the passenger Ps.
Reference numeral 202 denotes a feature point indicating the neck of the passenger Ps in the front passenger seat.
Reference numeral 203a denotes a feature point indicating the right shoulder of the passenger Ps.
Reference numeral 203b denotes a feature point indicating the left shoulder of the passenger Ps in the front passenger seat.
Reference numeral 204a denotes a feature point indicating the right elbow of the passenger Ps in the front passenger seat.
Reference numeral 204b denotes a feature point indicating the left elbow of the passenger Ps in the front passenger seat.
Reference numeral 205a denotes a feature point indicating the right hip of the passenger Ps.
Reference numeral 205b denotes a feature point indicating the left hip of the passenger Ps.

特徴点検出部１２は、２０１～２０５ｂで示すような特徴点を検出する。
特徴点検出部１２は、各特徴点２０１～２０５ｂの撮像画像における座標と、当該各特徴点２０１～２０５ｂが体のどの部位を示す特徴点であるかを検出する。
なお、ここでは説明の簡単のため、助手席乗員を例に挙げたが、特徴点検出部１２は、運転者についても、助手席乗員同様、鼻、首、右肩、左肩、右肘、左肘、右腰、および、左腰を示す特徴点を検出する。
また、特徴点検出部１２は、検出された特徴点について、当該特徴点が撮像画像上のどの領域に存在するかによって、当該特徴点がどの座席に着座している乗員の特徴点であるかを推定する。例えば、管理者等によって、撮像装置２の設置位置および画角から、撮像画像上のどの領域にはどの座席に着座している乗員が撮像され得るかが定義された情報が生成され、特徴点検出部１２が参照可能な場所に記憶されている。特徴点検出部１２は、当該情報に基づけば、検出された特徴点がどの座席に着座している乗員の特徴点であるかを推定できる。 The feature point detection unit 12 detects feature points as indicated by 201 to 205b.
The feature point detection unit 12 detects the coordinates of each of the feature points 201 to 205b in the captured image and which part of the body each of the feature points 201 to 205b indicates.
For simplicity of explanation, a passenger seat occupant has been taken as an example here, however, the feature point detection unit 12 also detects feature points indicating the nose, neck, right shoulder, left shoulder, right elbow, left elbow, right hip, and left hip of the driver, just like the passenger seat occupant.
Furthermore, the feature point detection unit 12 estimates which seat an occupant sits in based on which area of the captured image the detected feature point is in. For example, an administrator or the like generates information that defines which area of the captured image an occupant sits in based on the installation position and angle of view of the imaging device 2, and stores the information in a location that can be referenced by the feature point detection unit 12. Based on the information, the feature point detection unit 12 can estimate which seat an occupant sits in based on the detected feature point.

なお、図２にて、Ｆで示す点は、両目中心を示す点である。また、図２にて、Ｗで示す点は、両腰の中心（右腰を示す特徴点と左腰を示す特徴点の中心）を示す点である。
例えば、特徴点検出部１２は、特徴点を検出する際に、両目中心Ｆおよび両腰の中心Ｗを検出する。例えば、特徴点検出部１２は、公知の画像認識処理技術を用いて撮像画像上の乗員の両目を検出して両目中心Ｆを検出する。また、例えば、特徴点検出部１２は、検出した両腰の特徴点から両腰の中心Ｗを検出する。また、第１機械学習モデルが撮像画像における特徴点を示す情報と両目中心Ｆを示す情報と両腰の中心Ｗを出力してもよい。
図２にて（ａ）～（ｅ）で示す線分については、後述する。 In addition, in Fig. 2, the point indicated by F is a point indicating the center of both eyes, and the point indicated by W is a point indicating the center of both hips (the center of the feature points indicating the right hip and the feature points indicating the left hip).
For example, when detecting feature points, the feature point detection unit 12 detects the centers F of both eyes and the centers W of both waists. For example, the feature point detection unit 12 detects both eyes of the occupant in the captured image using a known image recognition processing technique to detect the centers F of both eyes. Also, for example, the feature point detection unit 12 detects the center W of both waists from the detected feature points of both waists. Also, the first machine learning model may output information indicating the feature points in the captured image, information indicating the centers F of both eyes, and the center W of both waists.
The line segments indicated by (a) to (e) in FIG. 2 will be described later.

特徴点検出部１２は、検出した特徴点に関する情報（以下「特徴点情報」という。）を、着座状態判定部１４に出力する。
特徴点情報は、特徴点ごとに、特徴点の位置と当該特徴点がどの座席に着座している乗員の体のどの部位を示す特徴点であるかがわかる情報とが対応付けられた情報を含む。また、特徴点情報は、両目中心の位置と当該両目中心がどの座席に着座している乗員の両目中心であるかがわかる情報とが対応付けられた情報を含む。また、特徴点情報は、両腰の中心の位置と当該両腰の中心がどの座席に着座している乗員の両腰の中心であるかが分かる情報とが対応付けられた情報を含む。
特徴点情報は、乗員ごとに、特徴点の座標と、当該特徴点が体のどの部位を示す特徴点であるかと、両目中心の座標と、両腰の中心の座標とがわかる情報になっていればよい。
なお、特徴点情報において、乗員は、当該乗員が着座している座席（例えば、運転席または助手席）であらわされる。すなわち、特徴点情報において、乗員を示す情報は、乗員が着座している座席を示す情報である。 The feature point detection unit 12 outputs information about the detected feature points (hereinafter referred to as “feature point information”) to the seating state determination unit 14 .
The feature point information includes information that associates the position of each feature point with information indicating which part of the body of the occupant in which seat the feature point is located. The feature point information also includes information that associates the position of the center of both eyes with information indicating which seat the occupant in which the eye center is located. The feature point information also includes information that associates the position of the center of both hips with information indicating which seat the occupant in which the hip center is located.
The feature point information should be information that indicates, for each occupant, the coordinates of the feature point, which part of the body the feature point indicates, the coordinates of the centers of both eyes, and the coordinates of the centers of both hips.
In the feature point information, an occupant is represented by a seat in which the occupant is seated (for example, the driver's seat or the passenger seat). That is, in the feature point information, information indicating an occupant is information indicating a seat in which the occupant is seated.

シート情報取得部１３は、シート制御装置３からシート情報を取得する。
シート情報取得部１３は、取得したシート情報を着座状態判定部１４に出力する。 The seat information acquisition unit 13 acquires the seat information from the seat control device 3 .
The seat information acquisition unit 13 outputs the acquired seat information to the seating state determination unit 14 .

着座状態判定部１４は、撮像画像とシート情報取得部１３が取得したシート情報とに基づき、乗員は座席の背もたれから離れているか否かを判定する。以下の説明において、「座席の背もたれ」を単に「背もたれ」ともいう。The seating state determination unit 14 determines whether the occupant is away from the seat backrest based on the captured image and the seat information acquired by the seat information acquisition unit 13. In the following description, the "seat backrest" is also simply referred to as the "backrest."

着座状態判定部１４による、乗員が背もたれから離れているか否かの判定について、詳細に説明する。
なお、実施の形態１において、「乗員が座席の背もたれから離れている」場合とは、例えば、「乗員が座席の座面に浅く座ることにより乗員の背面の全領域が座席の背もたれから離れている」場合を想定している。
着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置と、撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置の基準範囲（以下「第１基準範囲」という。）との比較によって、乗員は背もたれから離れているか否かを判定する。第１基準範囲は、座席にて背もたれから離れることなく着座している状態の乗員が撮像された場合に、撮像画像上で、当該乗員の位置のｘ軸方向の値（ｘ座標）がとり得ると想定される範囲である。 The determination by the seating state determination unit 14 as to whether or not the occupant is away from the seat back will now be described in detail.
In addition, in embodiment 1, a case where "the occupant is away from the seat back" refers to a case where, for example, "the occupant sits shallowly on the seat surface, so that the entire area of the occupant's back is away from the seat back".
The seating state determination unit 14 determines whether the occupant is away from the seat back by comparing the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 with a reference range (hereinafter referred to as the "first reference range") of the occupant's position in the horizontal direction, i.e., the x-axis direction, on the captured image. The first reference range is a range that is assumed to be possible for the x-axis direction value (x coordinate) of the occupant's position on the captured image when an image of the occupant seated in the seat without moving away from the backrest is captured.

第１基準範囲は、予め、製品出荷前に、管理者等によって、座席にて乗員が背もたれから離れることなく着座している状態を想定して設定されている。そして、設定された第１基準範囲に関する情報（以下「第１基準範囲情報」という。）は、着座状態判定部１４が参照可能な場所に記憶されている。
なお、第１基準範囲は、座席の位置およびリクライニング状態に応じて、複数パターン設定される。例えば、管理者等は、製品出荷前に、実験的に、一般的な体格の被験者を、様々な座席位置および様々なリクライニング状態を組み合わせた複数パターンの座席に着座させ、第１基準範囲を設定する。管理者等は、設定した第１基準範囲、座席の位置、および、リクライニング状態を示す情報が対応付けられた第１基準範囲情報を生成し、着座状態判定部１４が参照可能な場所に記憶させる。 The first reference range is set in advance by an administrator or the like before product shipment, assuming a state in which an occupant is seated in the seat without moving away from the backrest. Information regarding the set first reference range (hereinafter referred to as "first reference range information") is stored in a location that can be referenced by the seating state determination unit 14.
The first reference range is set in a plurality of patterns according to the seat position and reclining state. For example, before product shipment, the manager or the like experimentally has subjects with average builds sit in a plurality of patterns of seats combining various seat positions and various reclining states, and sets the first reference range. The manager or the like generates first reference range information in which the set first reference range, seat position, and information indicating the reclining state are associated with each other, and stores the information in a location that can be referenced by the seating state determination unit 14.

着座状態判定部１４は、第１基準範囲情報を参照して、シート情報取得部１３が取得したシート情報に基づく位置およびリクライニング状態の座席にて乗員が背もたれから離れることなく着座している状態を想定して設定された第１基準範囲を特定する。そして、着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置と、特定した第１基準範囲との比較によって、乗員は座席の背もたれから離れているか否かを判定する。The seating state determination unit 14 refers to the first reference range information and identifies a first reference range that is set assuming a state in which the occupant is seated in a reclined seat without moving away from the backrest based on the position based on the seat information acquired by the seat information acquisition unit 13. The seating state determination unit 14 then compares the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 with the identified first reference range to determine whether the occupant has moved away from the backrest of the seat.

なお、実施の形態１において、着座状態判定部１４は、例えば、撮像画像における乗員の頭位置、乗員の顔向き、または、特徴点検出部１２が検出した乗員の特徴点の位置から乗員の位置を判定する。着座状態判定部１４は、例えば、撮像画像に対して公知の顔向き検出処理を行って、乗員の顔向きを判定すればよい。特徴点検出部１２が検出した乗員の特徴点は、例えば、乗員の首を示す特徴点を想定している。
撮像画像における乗員の頭位置について、例えば、着座状態判定部１４は、特徴点検出部１２が検出した乗員の両目中心を乗員の頭位置としてもよいし、撮像画像に対して公知の画像認識処理を行って検出した乗員の顔の領域を含む最小矩形領域の中点を乗員の頭位置としてもよい。
また、例えば、着座状態判定部１４は、判定した乗員の顔向きが予め設定された乗員が正面を向いていると想定される顔向きの範囲内である状態の頭位置を、乗員の位置と判定してもよい。
また、例えば、着座状態判定部１４は、特徴点検出部１２が検出した乗員の首を示す特徴点の位置から、乗員の位置を判定してもよい。
また、着座状態判定部１４は、例えば、乗員が着座している座席のシートベルトの引き出し量に基づいて乗員の位置を判定してもよい。この場合、着座状態判定部１４は、例えば、車両に搭載されているシートベルトセンサ（図示省略）から、シートベルトの引き出し量に関する情報を含む情報（以下「シートベルト情報」とい。）を取得すればよい。シートベルトセンサは、シートベルトのスイッチのオンまたはオフ、シートベルトの引き出し量等を制御する。 In the first embodiment, the seating state determination unit 14 determines the position of the occupant from, for example, the head position of the occupant in the captured image, the facial direction of the occupant, or the position of the feature point of the occupant detected by the feature point detection unit 12. The seating state determination unit 14 may determine the facial direction of the occupant, for example, by performing a known facial direction detection process on the captured image. The feature point of the occupant detected by the feature point detection unit 12 is assumed to be, for example, a feature point indicating the neck of the occupant.
Regarding the head position of the occupant in the captured image, for example, the seating state determination unit 14 may determine the center of the occupant's eyes detected by the feature point detection unit 12 as the head position of the occupant, or may determine the midpoint of the smallest rectangular area containing the area of the occupant's face detected by performing a publicly known image recognition process on the captured image as the head position of the occupant.
Also, for example, the seating state determination unit 14 may determine the head position of the occupant when the determined facial direction of the occupant is within a preset range of facial directions in which the occupant is assumed to be facing forward, as the position of the occupant.
Also, for example, the seating state determination unit 14 may determine the position of the occupant from the position of a feature point that indicates the neck of the occupant, which is detected by the feature point detection unit 12 .
The seating state determination unit 14 may also determine the position of an occupant based on, for example, the amount of withdrawal of a seat belt of the seat in which the occupant is seated. In this case, the seating state determination unit 14 may obtain information including information related to the amount of withdrawal of the seat belt (hereinafter referred to as "seat belt information") from, for example, a seat belt sensor (not shown) mounted in the vehicle. The seat belt sensor controls the on/off of a seat belt switch, the amount of withdrawal of the seat belt, etc.

着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置が、第１基準範囲外であれば、乗員は座席の背もたれから離れていると判定する。一方、着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置が、第１基準範囲内であれば、乗員は座席の背もたれから離れていないと判定する。The seating state determination unit 14 determines that the occupant is away from the seat back if the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 is outside the first reference range. On the other hand, the seating state determination unit 14 determines that the occupant is not away from the seat back if the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 is within the first reference range.

ここで、図３Ａおよび図３Ｂは、実施の形態１において、画像取得部１１が取得した撮像画像の一例である。
図３Ａおよび図３Ｂを用いて、着座状態判定部１４による、乗員は座席の背もたれから離れているか否かの判定方法の一例について説明する。なお、ここでは、着座状態判定部１４は、乗員の位置を乗員の頭位置とし、当該頭位置のｘ座標と第１基準範囲との比較によって乗員は座席の背もたれから離れているか否かを判定するものとする。
図３Ａおよび図３Ｂでは、説明の便宜上、撮像画像のうち、運転者が撮像された領域のみを図示している。なお、車両は右ハンドル車である。
図３Ａおよび図３Ｂにおいて、撮像画像はＩｍで示され、運転者はＤｒで示されている。また、図３Ａおよび図３Ｂにおいて、第１基準範囲はＲ１で示されている。上述のとおり、第１基準範囲は、撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置の基準範囲である。すなわち、第１基準範囲は、撮像画像上の乗員の位置のｘ座標の範囲である。
なお、図３では、図３Ａに示す撮像画像が撮像された際の座席の位置およびリクライニング状態と、図３Ｂに示す撮像画像が撮像された際の座席の位置およびリクライニング状態とは同じである。つまり、図３Ａに示す撮像画像における第１基準範囲Ｒ１と図３Ｂに示す撮像画像における第１基準範囲Ｒ１とは等しい。
図３Ａにおいて、乗員の頭位置はＨ１で示されており、図３Ｂにおいて、乗員の頭位置はＨ２で示されている。 Here, FIG. 3A and FIG. 3B are examples of captured images acquired by the image acquisition unit 11 in the first embodiment.
3A and 3B, an example of a method for determining whether or not an occupant is away from the backrest of the seat by the seating state determination unit 14 will be described. Note that, in this example, the seating state determination unit 14 determines whether or not the occupant is away from the backrest of the seat by comparing the x-coordinate of the head position with a first reference range, assuming that the position of the occupant is the head position of the occupant.
3A and 3B, for the sake of convenience, only the area of the captured image in which the driver is captured is shown. Note that the vehicle is a right-hand drive vehicle.
3A and 3B, the captured image is indicated by Im, and the driver is indicated by Dr. Also, in FIG. 3A and 3B, the first reference range is indicated by R1. As described above, the first reference range is a reference range of the occupant's position in the horizontal direction, i.e., the x-axis direction, on the captured image. That is, the first reference range is a range of the x-coordinate of the occupant's position on the captured image.
In Fig. 3, the seat position and reclining state when the image shown in Fig. 3A was captured are the same as those when the image shown in Fig. 3B was captured. In other words, the first reference range R1 in the image shown in Fig. 3A is equal to the first reference range R1 in the image shown in Fig. 3B.
In FIG. 3A, the occupant's head position is designated H1, and in FIG. 3B, the occupant's head position is designated H2.

図３Ａに示すように、撮像画像上で水平方向、すなわちｘ軸方向の乗員の頭位置Ｈ１、言い換えれば、撮像画像上の乗員の頭位置Ｈ１のｘ座標が、第１基準範囲Ｒ１の範囲内である場合、着座状態判定部１４は、乗員は背もたれから離れていないと判定する。As shown in FIG. 3A, when the occupant's head position H1 in the horizontal direction, i.e., the x-axis direction, on the captured image, in other words, the x-coordinate of the occupant's head position H1 on the captured image, is within the first reference range R1, the seating state determination unit 14 determines that the occupant is not away from the seat back.

一方、図３Ｂに示すように、撮像画像上で水平方向、すなわちｘ軸方向の乗員の頭位置、言い換えれば、撮像画像上の乗員の頭位置Ｈ１のｘ座標が、第１基準範囲Ｒ１の範囲外である場合、着座状態判定部１４は、乗員は背もたれから離れていると判定する。
撮像装置２がインパネの中央から右ハンドル車の運転席を撮像する場合、乗員が背もたれから離れると、撮像画像上で、頭位置は、乗員が背もたれから離れていない状態の頭位置よりも左側に位置するようになる。 On the other hand, as shown in Figure 3B, when the occupant's head position in the horizontal direction, i.e., the x-axis direction, on the captured image, in other words, the x-coordinate of the occupant's head position H1 on the captured image, is outside the first reference range R1, the seating state determination unit 14 determines that the occupant is away from the seat back.
When the imaging device 2 captures an image of the driver's seat of a right-hand drive vehicle from the center of the instrument panel, when the occupant moves away from the backrest, the head position in the captured image is positioned to the left of the head position when the occupant does not move away from the backrest.

着座状態判定部１４は、乗員が座席の背もたれから離れているか否かを示す情報（以下「着座状態情報」という。）を、特徴点情報、および、シート情報とともに、特徴点処理部１５に出力する。The seating state determination unit 14 outputs information indicating whether the occupant is away from the seat back (hereinafter referred to as "seating state information") to the feature point processing unit 15 together with the feature point information and seat information.

特徴点処理部１５は、撮像装置２と乗員との間の実空間上の距離（以下「撮像距離」という。）に基づき、必要に応じて、撮像画像上の特徴点の座標を補正する。なお、実施の形態１において、撮像距離は、詳細には、撮像装置２と乗員の体の中心をあらわす点（以下「乗員中心」という。）との間の実空間上の距離である。乗員中心は、例えば、乗員の頭位置、または、乗員の首の位置である。The feature point processing unit 15 corrects the coordinates of feature points on the captured image as necessary based on the distance in real space between the imaging device 2 and the occupant (hereinafter referred to as the "imaging distance"). In particular, in embodiment 1, the imaging distance is the distance in real space between the imaging device 2 and a point representing the center of the occupant's body (hereinafter referred to as the "occupant center"). The occupant center is, for example, the position of the occupant's head or the position of the occupant's neck.

特徴点処理部１５の撮像距離推定部１５１は、撮像距離を推定する。
撮像距離推定部１５１は、着座状態判定部１４が乗員は座席の背もたれから離れていると判定した場合は、座席と乗員との間の実空間上の距離（以下「座席乗員間距離」という。）を推定し、推定した座席乗員間距離に基づき撮像距離を推定する。 The imaging distance estimation section 151 of the feature point processing section 15 estimates the imaging distance.
When the seating state determination unit 14 determines that the occupant is away from the seat back, the imaging distance estimation unit 151 estimates the distance in real space between the seat and the occupant (hereinafter referred to as the "seat-occupant distance") and estimates the imaging distance based on the estimated seat-occupant distance.

図４Ａおよび図４Ｂは、実施の形態１における撮像距離推定部１５１による撮像距離の推定方法の一例について説明するための図であって、車両の上面視図である。なお、図４Ａおよび図４Ｂでは、説明の簡単のため、１つの座席（図４Ａおよび図４ＢにてＳで示す）と当該座席Ｓに着座している乗員（図４Ａにて４０１で示し、図４Ｂにて４０２で示す）と撮像装置２のみ図示している。
図４Ａおよび図４Ｂにおける３次元座標軸のうちのｘ軸は車両の車幅方向と平行な軸であり、ｙ軸は車両の車高方向と平行な軸であり、ｚ軸は車両の車長方向、すなわち奥行方向と平行な軸である。 4A and 4B are diagrams illustrating an example of a method for estimating an imaging distance by the imaging distance estimation unit 151 in the first embodiment, and are top views of a vehicle. For ease of explanation, only one seat (indicated by S in FIG. 4A and FIG. 4B), an occupant (indicated by 401 in FIG. 4A and by 402 in FIG. 4B) seated in the seat S, and the imaging device 2 are illustrated in FIG. 4A and FIG. 4B.
Among the three-dimensional coordinate axes in Figures 4A and 4B, the x-axis is an axis parallel to the vehicle width direction of the vehicle, the y-axis is an axis parallel to the vehicle height direction of the vehicle, and the z-axis is an axis parallel to the vehicle length direction, i.e., the depth direction, of the vehicle.

図４Ａおよび図４Ｂにおいて、Ｓ１は座席の背もたれの幅方向の中心（以下「シート中心」という。）を示している。なお、撮像距離推定部１５１は、例えば、シート情報から、シート中心の座標を算出可能である。
ここで、図４Ａおよび図４Ｂにおいて、ＢＣは、乗員が座席の中央に背もたれから離れることなく着座している状態における実空間上の乗員中心と想定される点をあらわす。例えば、管理者等は、製品出荷前に、実験的に、一般的な体格の被験者を、標準的な座席位置の座席にて座面の中央に着座させ、当該被験者の実空間上の乗員中心と撮像装置２との撮像距離を設定しておく。管理者等は、製品出荷前に設定した被験者の実空間上の乗員中心を乗員中心の基準（以下「基準乗員中心」という。）、当該基準乗員中心と撮像装置２との撮像距離を撮像距離の基準（以下「基準撮像距離」という。）とする。管理者等は、設定した基準撮像距離を示す情報（以下「基準撮像距離情報」という。）を生成し、特徴点処理部１５が参照可能な場所に記憶させる。
なお、図４Ａおよび図４Ｂにおいて、ＢＣが基準乗員中心であり、基準撮像距離はＢＤで示されている。 4A and 4B, S1 indicates the center of the seat back in the width direction (hereinafter referred to as the "seat center"). Note that the imaging distance estimation unit 151 can calculate the coordinates of the seat center from, for example, seat information.
Here, in Fig. 4A and Fig. 4B, BC represents a point assumed to be the center of the occupant in real space when the occupant is seated in the center of the seat without moving away from the backrest. For example, before product shipment, the manager or the like experimentally seats a subject with a general physique in the center of the seat surface in a seat at a standard seating position, and sets the imaging distance between the occupant center in real space of the subject and the imaging device 2. The manager or the like sets the occupant center in real space of the subject set before product shipment as the reference of the occupant center (hereinafter referred to as the "reference occupant center"), and the imaging distance between the reference occupant center and the imaging device 2 as the reference of the imaging distance (hereinafter referred to as the "reference imaging distance"). The manager or the like generates information indicating the set reference imaging distance (hereinafter referred to as the "reference imaging distance information") and stores it in a location that can be referenced by the feature point processing unit 15.
In addition, in Figs. 4A and 4B, BC is the reference occupant center, and the reference imaging distance is indicated by BD.

図４Ａは、着座状態判定部１４が乗員は背もたれから離れていないと判定した場合の、撮像距離推定部１５１による撮像距離の推定方法の一例について説明するための図であり、図４Ｂは、着座状態判定部１４が乗員は背もたれから離れていると判定した場合の、撮像距離推定部１５１による撮像距離の推定方法の一例について説明するための図である。 Figure 4A is a diagram for explaining an example of a method for estimating the imaging distance by the imaging distance estimation unit 151 when the seating state determination unit 14 determines that the occupant has not moved away from the backrest, and Figure 4B is a diagram for explaining an example of a method for estimating the imaging distance by the imaging distance estimation unit 151 when the seating state determination unit 14 determines that the occupant has moved away from the backrest.

まず、図４Ａを用いて、撮像距離推定部１５１による、着座状態判定部１４が乗員は背もたれから離れていないと判定した場合の撮像距離の推定方法の一例を説明する。
撮像距離推定部１５１は、乗員中心を決定する。例えば、撮像距離推定部１５１は、乗員の両目中心、または、乗員の首を示す特徴点を、乗員中心に決定する。
撮像距離推定部１５１は、乗員中心の実空間上におけるｘ軸方向の座標ｘ１を推定する。図４Ａにおいて、Ｃ１は、実空間上の乗員中心を示している。撮像装置２の設置位置および画角と、乗員中心Ｃ１の撮像画像上のｘ軸方向の座標ｘ１’はわかっているので、撮像距離推定部１５１は、乗員中心Ｃ１の撮像画像上のｘ軸方向の座標ｘ１’から、当該ｘ１’の実空間上のｘ軸方向の座標ｘ１を推定できる。
撮像距離推定部１５１は、シート情報に基づき、撮像装置２から座席Ｓまでの奥行（図４ＡにおいてＬ１で示す）を算出する。
撮像距離推定部１５１は、撮像装置２から乗員中心Ｃ１までの奥行（図４ＡにおいてＬ１’で示す）を算出する。具体的には、撮像距離推定部１５１は、撮像装置２から座席Ｓまでの奥行Ｌ１から、予め設定されている、乗員の厚み分の距離（以下「乗員厚み距離」という。図４ＡにおいてＴ１で示す）を減算することで、撮像装置２から乗員中心Ｃ１までの奥行Ｌ１’を算出する。 First, an example of a method for estimating the imaging distance by the imaging distance estimating unit 151 when the seating state determining unit 14 determines that the occupant has not left the seat back will be described with reference to FIG. 4A.
The imaging distance estimation unit 151 determines the occupant center. For example, the imaging distance estimation unit 151 determines the center of the occupant's eyes or a feature point indicating the occupant's neck as the occupant center.
The imaging distance estimation unit 151 estimates the coordinate x1 of the occupant center in the x-axis direction in the real space. In Fig. 4A, C1 indicates the occupant center in the real space. Since the installation position and the angle of view of the imaging device 2 and the coordinate x1 ' of the occupant center C1 in the x-axis direction in the captured image are known, the imaging distance estimation unit 151 can estimate the coordinate x1 of the occupant center C1 in the x-axis direction in the real space from the coordinate x1 ' of the occupant center C1 in the x-axis direction in the captured image.
The imaging distance estimation unit 151 calculates the depth from the imaging device 2 to the seat S (indicated as L1 in FIG. 4A) based on the seat information.
The imaging distance estimation unit 151 calculates the depth from the imaging device 2 to the occupant center C1 (indicated as L1' in FIG. 4A). Specifically, the imaging distance estimation unit 151 calculates the depth L1' from the imaging device 2 to the occupant center C1 by subtracting a preset distance corresponding to the thickness of the occupant (hereinafter referred to as "occupant thickness distance"; indicated by T1 in FIG. 4A) from the depth L1 from the imaging device 2 to the seat S.

撮像距離推定部１５１は、撮像装置２の設置位置と、撮像装置２から乗員中心Ｃ１までの奥行Ｌ１’と、乗員中心Ｃ１のｘ座標とに基づいて、乗員中心Ｃ１と撮像装置２との直線距離を、撮像距離（図４ＡにおいてＤ１で示す）として推定する。撮像距離推定部１５１は、乗員中心Ｃ１と撮像装置２との、ｘｚ平面における直線距離を、撮像距離とする。The imaging distance estimation unit 151 estimates the linear distance between the occupant center C1 and the imaging device 2 as the imaging distance (indicated as D1 in FIG. 4A ) based on the installation position of the imaging device 2, the depth L1' from the imaging device 2 to the occupant center C1, and the x-coordinate of the occupant center C1. The imaging distance estimation unit 151 determines the linear distance in the xz plane between the occupant center C1 and the imaging device 2 as the imaging distance.

特徴点補正部１５２は、撮像距離推定部１５１が推定した撮像距離Ｄ１と基準撮像距離ＢＤとの比率を求め、当該比率を用いて、乗員がシート中心Ｓ１に着座した状態となるように、特徴点検出部１２が検出した特徴点の撮像画像上の座標を補正する。
具体的には、特徴点補正部１５２は、特徴点検出部１２が検出した乗員の各特徴点の座標に、上記比率をかける。例えば、撮像距離Ｄ１が１２００ｍｍ、基準撮像距離ＢＤが１０００ｍｍであった場合、特徴点補正部１５２は、特徴点検出部１２が検出した、乗員４０１の各特徴点の座標を１．２倍する。これは、撮像装置２からの距離が遠いほど、乗員は小さく撮像されるためである。 The feature point correction unit 152 calculates the ratio between the imaging distance D1 estimated by the imaging distance estimation unit 151 and the reference imaging distance BD, and uses this ratio to correct the coordinates on the captured image of the feature point detected by the feature point detection unit 12 so that the occupant is seated at the seat center S1.
Specifically, the feature point correction unit 152 multiplies the above ratio by the coordinates of each feature point of the occupant detected by the feature point detection unit 12. For example, when the imaging distance D1 is 1200 mm and the reference imaging distance BD is 1000 mm, the feature point correction unit 152 multiplies the coordinates of each feature point of the occupant 401 detected by the feature point detection unit 12 by 1.2. This is because the occupant appears smaller in the image as the distance from the imaging device 2 increases.

特徴点補正部１５２は、特徴点情報において、各特徴点の座標を、それぞれ、補正後の各特徴点の座標に更新する。そして、特徴点補正部１５２は、特徴点の座標を更新した後の特徴点情報を、体格判定部１６に出力する。また、特徴点補正部１５２は、特徴点情報とともに、シート情報を、体格判定部１６に出力する。The feature point correction unit 152 updates the coordinates of each feature point in the feature point information to the corrected coordinates of each feature point. Then, the feature point correction unit 152 outputs the feature point information after the coordinates of the feature points have been updated to the physique determination unit 16. In addition, the feature point correction unit 152 outputs sheet information together with the feature point information to the physique determination unit 16.

次に、図４Ｂを用いて、撮像距離推定部１５１による、着座状態判定部１４が乗員は背もたれから離れていると判定した場合の撮像距離の推定方法の一例を説明する。
撮像距離推定部１５１は、乗員中心を決定する。
撮像距離推定部１５１は、乗員中心の実空間上におけるｘ軸方向の座標ｘ２を推定する。図４Ｂにおいて、Ｃ２は、実空間上の乗員中心を示している。撮像装置２の設置位置および画角と、乗員中心Ｃ２の撮像画像上のｘ軸方向の座標ｘ２’はわかっているので、撮像距離推定部１５１は、乗員中心Ｃ２の撮像画像上のｘ軸方向の座標ｘ２’から、当該ｘ２’の実空間上のｘ軸方向の座標ｘ２を推定できる。
撮像距離推定部１５１は、シート情報に基づき、撮像装置２から座席Ｓまでの奥行（図４ＢにおいてＬ２で示す）を算出する。 Next, an example of a method for estimating the imaging distance by the imaging distance estimating unit 151 when the seating state determining unit 14 determines that the occupant is away from the seat back will be described with reference to FIG. 4B.
The imaging distance estimation unit 151 determines the center of the occupant.
The imaging distance estimation unit 151 estimates the coordinate x2 of the occupant center in the x-axis direction in real space. In Fig. 4B, C2 indicates the occupant center in real space. Since the installation position and angle of view of the imaging device 2 and the coordinate x2 ' of the occupant center C2 in the x-axis direction in the captured image are known, the imaging distance estimation unit 151 can estimate the coordinate x2 of the occupant center C2 in the x-axis direction in real space from the coordinate x2 ' of the occupant center C2 in the x-axis direction in the captured image.
The imaging distance estimation unit 151 calculates the depth from the imaging device 2 to the seat S (indicated as L2 in FIG. 4B) based on the seat information.

撮像距離推定部１５１は、乗員４０２から背もたれまでの奥行、すなわち、座席乗員間距離（図４ＢにおいてＴ２で示す）を推定する。撮像距離推定部１５１は、例えば、撮像画像上で水平方向、すなわちｘ軸方向の乗員４０２の位置の第１基準範囲からの乖離度合いに基づいて、座席乗員間距離を推定する。撮像画像上で水平方向の、すなわちｘ軸方向の乗員４０２の位置の第１基準範囲からの乖離度合いは、乗員が座席の背もたれから離れている度合いといえる。なお、撮像画像上で水平方向、すなわちｘ軸方向の乗員４０２の位置が第１基準範囲からどれぐらい乖離している場合に、座席乗員間距離がどれぐらいになると推定するかの情報は予め作成され、撮像距離推定部１５１が参照可能な場所に記憶されている。The imaging distance estimation unit 151 estimates the depth from the occupant 402 to the backrest, that is, the seat-to-occupant distance (indicated by T2 in FIG. 4B). The imaging distance estimation unit 151 estimates the seat-to-occupant distance, for example, based on the degree of deviation of the position of the occupant 402 in the horizontal direction, i.e., the x-axis direction, from the first reference range on the captured image. The degree of deviation of the position of the occupant 402 in the horizontal direction, i.e., the x-axis direction, from the first reference range on the captured image can be said to be the degree to which the occupant is away from the backrest of the seat. Note that information on how much the seat-to-occupant distance is estimated to be when the position of the occupant 402 in the horizontal direction, i.e., the x-axis direction, on the captured image deviates from the first reference range is created in advance and stored in a location that can be referenced by the imaging distance estimation unit 151.

なお、これに限らず、撮像距離推定部１５１は、例えば、シートベルトの引き出し量に基づいて座席乗員間距離を推定してもよい。撮像距離推定部１５１は、例えば、シートベルトセンサからシートベルト情報を取得し、シートベルト情報からシートベルトの引き出し量を特定すればよい。
また、撮像距離推定部１５１は、シートベルトの引き出し量と撮像画像に基づいて検出した乗員の正規着座状態におけるシートベルトの引き出し量との差分に基づいて座席乗員間距離を推定してもよい。実施の形態１において、正規着座状態とは、乗員が正しく座席に座っている状態、詳細には、座席に深く腰掛け姿勢を崩すことなく座っている状態をいう。
例えば、乗員が背もたれから離れるほどシートベルトは引き出されると想定される。よって、撮像距離推定部１５１は、シートベルトの引き出し量に基づいて座席乗員間距離を推定できる。このとき、撮像距離推定部１５１は、乗員の正規着座状態におけるシートベルトの引き出し量との差分に基づいて座席乗員間距離を推定することで、乗員の体格も考慮して、座席乗員間距離を推定することができる。 The imaging distance estimation unit 151 may estimate the seat-occupant distance based on, for example, the amount of seat belt withdrawal. For example, the imaging distance estimation unit 151 may acquire seat belt information from a seat belt sensor and identify the amount of seat belt withdrawal from the seat belt information.
The imaging distance estimation unit 151 may estimate the seat-to-occupant distance based on the difference between the amount of seat belt withdrawal and the amount of seat belt withdrawal when the occupant is in a properly seated position detected based on the captured image. In the first embodiment, the properly seated position refers to a state in which the occupant is properly seated in the seat, more specifically, a state in which the occupant is seated deeply in the seat without losing his/her sitting posture.
For example, it is assumed that the seat belt is pulled out as the occupant moves away from the seat back. Therefore, the image capturing distance estimating unit 151 can estimate the seat-to-occupant distance based on the amount of seat belt pull-out. At this time, the image capturing distance estimating unit 151 can estimate the seat-to-occupant distance based on the difference from the amount of seat belt pull-out when the occupant is in a normal seated position, thereby estimating the seat-to-occupant distance while also taking into account the occupant's physical build.

撮像距離推定部１５１は、撮像装置２から乗員中心Ｃ２までの奥行（図４ＢにおいてＬ２’で示す）を算出する。具体的には、撮像距離推定部１５１は、撮像装置２から座席Ｓまでの奥行Ｌ２から乗員厚み距離Ｔ１と座席乗員間距離Ｔ２を減算することで、撮像装置２から乗員中心Ｃ２までの奥行Ｌ２’を算出する。The imaging distance estimation unit 151 calculates the depth from the imaging device 2 to the occupant center C2 (indicated as L2' in FIG. 4B). Specifically, the imaging distance estimation unit 151 calculates the depth L2' from the imaging device 2 to the occupant center C2 by subtracting the occupant thickness distance T1 and the seat-to-occupant distance T2 from the depth L2 from the imaging device 2 to the seat S.

撮像距離推定部１５１は、撮像装置２の設置位置と、撮像装置２から乗員中心Ｃ２までの奥行Ｌ２’と、乗員中心Ｃ２のｘ座標とに基づいて、乗員中心Ｃ２と撮像装置２との直線距離を、撮像距離（図４ＢにおいてＤ２で示す）として推定する。撮像距離推定部１５１は、乗員中心Ｃ２と撮像装置２との、ｘｚ平面における直線距離を、撮像距離とする。
なお、撮像距離推定部１５１は、基準撮像距離情報を参照して、シート情報取得部１３が取得したシート情報に基づく位置およびリクライニング状態の座席における基準乗員中心および基準撮像距離を特定する。 The imaging distance estimation unit 151 estimates the linear distance between the occupant center C2 and the imaging device 2 as the imaging distance (indicated as D2 in FIG. 4B ) based on the installation position of the imaging device 2, the depth L2′ from the imaging device 2 to the occupant center C2, and the x-coordinate of the occupant center C2. The imaging distance estimation unit 151 determines the linear distance in the xz plane between the occupant center C2 and the imaging device 2 as the imaging distance.
The imaging distance estimating unit 151 refers to the reference imaging distance information to identify the reference occupant center and the reference imaging distance for the seat in the reclined state and the position based on the seat information acquired by the seat information acquiring unit 13 .

特徴点補正部１５２は、撮像距離Ｄ２と基準撮像距離ＢＤとの比率を求め、当該比率を用いて、乗員がシート中心Ｓ１に着座した状態となるように、特徴点検出部１２が検出した特徴点の撮像画像上の座標を補正する。The feature point correction unit 152 calculates the ratio between the imaging distance D2 and the reference imaging distance BD, and uses this ratio to correct the coordinates on the captured image of the feature point detected by the feature point detection unit 12 so that the occupant is seated at the seat center S1.

特徴点補正部１５２は、特徴点情報において、特徴点の座標を補正後の特徴点の座標に更新する。そして、特徴点補正部１５２は、特徴点の座標を更新した後の特徴点情報を、体格判定部１６に出力する。また、特徴点補正部１５２は、特徴点情報とともに、シート情報を、体格判定部１６に出力する。The feature point correction unit 152 updates the coordinates of the feature points in the feature point information to the coordinates of the corrected feature points. Then, the feature point correction unit 152 outputs the feature point information after the coordinates of the feature points have been updated to the physique determination unit 16. In addition, the feature point correction unit 152 outputs sheet information together with the feature point information to the physique determination unit 16.

このように、特徴点処理部１５における、着座状態判定部１４が乗員は背もたれから離れていると判定した場合の撮像距離の推定方法は、着座状態判定部１４が乗員は背もたれから離れていないと判定した場合の撮像距離の推定方法とは、座席乗員間距離Ｔ２を推定し、推定した座席乗員間距離Ｔ２を乗員厚み距離Ｔ１とともに撮像装置２から座席Ｓまでの奥行Ｌ２から減算して撮像装置２から乗員４０２までの奥行Ｌ２’を算出する点が、異なる。In this way, the method of estimating the imaging distance in the feature point processing unit 15 when the seating state determination unit 14 determines that the occupant is away from the seat backrest differs from the method of estimating the imaging distance when the seating state determination unit 14 determines that the occupant is not away from the seat backrest in that the seat-to-occupant distance T2 is estimated, and the estimated seat-to-occupant distance T2 together with the occupant thickness distance T1 is subtracted from the depth L2 from the imaging device 2 to the seat S to calculate the depth L2' from the imaging device 2 to the occupant 402.

なお、着座状態判定部１４が乗員は背もたれから離れていると判定した場合の座席乗員間距離Ｔ２について、例えば、撮像距離推定部１５１は、乗員４０２が背もたれから離れていない状態の目幅が検出できている場合は、乗員４０２が背もたれから離れていない状態の目幅と現在の乗員４０２の現在の目幅との差から、座席乗員間距離Ｔ２を算出してもよい。Regarding the seat-to-occupant distance T2 when the seating state determination unit 14 determines that the occupant is away from the backrest, for example, if the imaging distance estimation unit 151 can detect the eye width when the occupant 402 is not away from the backrest, the imaging distance estimation unit 151 may calculate the seat-to-occupant distance T2 from the difference between the eye width when the occupant 402 is not away from the backrest and the current eye width of the current occupant 402.

着座状態判定部１４が乗員は背もたれから離れていないと判定した場合も、着座状態判定部１４が乗員は背もたれから離れていると判定した場合も、撮像距離推定部１５１は、例えば、座席の位置とシートベルトの引き出し量から乗員厚み距離Ｔ１を算出してもよい。撮像距離推定部１５１は座席の位置をシート情報から特定できる。また、撮像距離推定部１５１は図示しないシートベルトセンサからシートベルトの引き出し量を取得すればよい。 When the seating state determination unit 14 determines that the occupant is not away from the backrest, and when the seating state determination unit 14 determines that the occupant is away from the backrest, the imaging distance estimation unit 151 may calculate the occupant thickness distance T1, for example, from the seat position and the amount of seat belt withdrawal. The imaging distance estimation unit 151 can identify the seat position from the seat information. The imaging distance estimation unit 151 may also obtain the amount of seat belt withdrawal from a seat belt sensor (not shown).

体格判定部１６は、特徴点補正部１５２から出力された特徴点情報に基づき、乗員の体格を判定する。詳細には、体格判定部１６は、乗員の各特徴点に基づき乗員の体格判定に用いる特徴量（以下「体格判定用特徴量」という。）を算出し、算出した体格判定用特徴量を用いて、乗員の体格を判定する。The physique determination unit 16 determines the physique of the occupant based on the feature point information output from the feature point correction unit 152. In detail, the physique determination unit 16 calculates a feature amount (hereinafter referred to as a "feature amount for physique determination") to be used for determining the occupant's physique based on each feature point of the occupant, and determines the occupant's physique using the calculated feature amount for physique determination.

体格判定部１６は、例えば、特徴点情報に基づいて、撮像画像における各特徴点のうちの２点を結ぶ線分の撮像画像における長さで体格判定用特徴量を算出する。例えば、体格判定部１６は、特徴点情報に基づいて、撮像画像における乗員の肩幅、上腕の長さ、首の長さ、座高、および、顔の高さを、体格判定用特徴量として算出する。なお、体格判定部１６は、乗員ごとに、体格判定用特徴量を算出する。
また、体格判定部１６は、例えば、座席の前後の位置を体格判定用特徴量に含めてもよい。例えば、乗員が運転者である場合、小柄な運転者は運転しやすいよう前方に座席を移動させた状態で、大柄な運転者は運転しやすいよう後方に座席を移動させた状態で、着座する可能性がある。すなわち、座席の前後の位置は体格とのある程度の相関関係があると想定される。そこで、体格判定部１６は、座席の前後の位置を体格判定用特徴量に含めてもよい。 The physique determination unit 16 calculates a feature quantity for physique determination based on, for example, the length in the captured image of a line segment connecting two of the feature points in the captured image based on the feature point information. For example, the physique determination unit 16 calculates the shoulder width, upper arm length, neck length, sitting height, and face height of the occupant in the captured image as feature quantities for physique determination based on the feature point information. Note that the physique determination unit 16 calculates the feature quantity for physique determination for each occupant.
Furthermore, the physical build determination unit 16 may include, for example, the front and rear positions of the seat in the physical build determination feature. For example, if the occupant is a driver, a small driver may sit with the seat moved forward to make it easier to drive, and a large driver may sit with the seat moved backward to make it easier to drive. In other words, it is assumed that the front and rear positions of the seat have a certain degree of correlation with the physique. Therefore, the physical build determination unit 16 may include the front and rear positions of the seat in the physical build determination feature.

実施の形態１において、体格判定用特徴量とする乗員の肩幅は、首を示す特徴点と右肩を示す特徴点とを結ぶ線分の長さ、または、首を示す特徴点と左肩または右肩を示す特徴点とを結ぶ線分の長さとする。撮像装置２から遠い特徴点は検出されにくいことから、体格判定用特徴量とする乗員の肩幅は、例えば、首を示す特徴点と、右肩および左肩のうち撮像装置２から近いほうの肩を示す特徴点とを結ぶ線分の長さとしてもよい。In the first embodiment, the occupant's shoulder width, which is the feature for determining physique, is the length of the line segment connecting the feature point indicating the neck and the feature point indicating the right shoulder, or the length of the line segment connecting the feature point indicating the neck and the feature point indicating the left shoulder or the right shoulder. Since feature points far from the image capture device 2 are difficult to detect, the occupant's shoulder width, which is the feature for determining physique, may be, for example, the length of the line segment connecting the feature point indicating the neck and the feature point indicating the shoulder, either the right shoulder or the left shoulder, which is closer to the image capture device 2.

また、実施の形態１において、体格判定用特徴量とする乗員の上腕の長さは、肩を示す特徴点と肘を示す特徴点とを結ぶ線分の長さとする。なお、乗員の上腕の長さは、右上腕であれば、右肩を示す特徴点と右肘を示す特徴点とを結ぶ線分の長さであり、左上腕であれば、左肩を示す特徴点と左肘を示す特徴点とを結ぶ線分の長さである。撮像装置２から遠い特徴点は検出されにくいことから、例えば、右上腕と左上腕のうち撮像装置２から近い方の上腕の長さを、体格判定用特徴量とする乗員の上腕の長さとしてもよい。In addition, in the first embodiment, the length of the occupant's upper arm, which is used as the feature for determining physical build, is the length of the line segment connecting the feature point indicating the shoulder and the feature point indicating the elbow. The length of the occupant's upper arm, in the case of the right upper arm, is the length of the line segment connecting the feature point indicating the right shoulder and the feature point indicating the right elbow, and in the case of the left upper arm, is the length of the line segment connecting the feature point indicating the left shoulder and the feature point indicating the left elbow. Since feature points far from the image capture device 2 are difficult to detect, for example, the length of the upper arm, whichever is closer to the image capture device 2, of the right upper arm and the left upper arm, may be used as the length of the occupant's upper arm, which is used as the feature for determining physical build.

また、実施の形態１において、体格判定用特徴量とする乗員の首の長さは、鼻を示す特徴点と首を示す特徴点とを結ぶ線分の長さとする。 In addition, in embodiment 1, the length of the occupant's neck, which is used as a feature for determining physique, is the length of the line segment connecting the feature point representing the nose and the feature point representing the neck.

また、実施の形態１において、体格判定用特徴量とする乗員の座高は、首を示す特徴点と両腰の中心とを結ぶ線分の長さとする。 In addition, in embodiment 1, the seated height of the occupant, which is used as a feature for determining physique, is defined as the length of the line segment connecting the feature point indicating the neck and the center of both hips.

また、実施の形態１において、体格判定用特徴量とする乗員の顔の高さは、撮像画像上で両目中心のｙ軸方向の高さとする。 In addition, in embodiment 1, the height of the occupant's face, which is used as a feature for determining physique, is the height in the y-axis direction of the center of both eyes on the captured image.

例えば、図２に示した例でいうと、体格判定部１６は、助手席乗員Ｐｓの体格判定用特徴量として、特徴点２０３ａと特徴点２０３ｂとを結ぶ線分の長さ（図２において（ａ）で示す）を算出する。また、体格判定部１６は、助手席乗員Ｐｓの体格判定用特徴量として、特徴点２０３ａと特徴点２０４ａとを結ぶ線分の長さ（図２において（ｂ）で示す）を算出する。また、体格判定部１６は、助手席乗員Ｐｓの体格判定用特徴量として、特徴点２０１と特徴点２０２とを結ぶ線分の長さ（図２において（ｃ）で示す）を算出する。また、体格判定部１６は、助手席乗員Ｐｓの体格判定用特徴量として、特徴点２０２と両腰の中心Ｗとを結ぶ線分の長さ（図２において（ｄ）で示す）を算出する。また、体格判定部１６は、助手席乗員Ｐｓの体格判定用特徴量として、顔の高さ（図２において（ｅ）で示す）を算出する。なお、体格判定部１６は、両目中心Ｆのｙ座標を顔の高さとすればよい。ここで、体格判定部１６は、シート情報に基づいて乗員の顔の高さを補正してもよい。例えば、座席の座面の高さ、言い換えれば、座席の上下方向の位置によって撮像画像上の乗員の顔の高さは変わる。体格判定部１６は、シート情報に基づいて座席の上下方向の位置を判定し、当該座席の上下方向の位置に応じて、撮像画像上の乗員の顔の高さが高く、または、低くなるよう補正する。体格判定部１６は、座席の上下方向の位置に基づいて乗員の顔の高さを補正することで、より精度よく、乗員の体格を判定できる。For example, in the example shown in FIG. 2, the physique determination unit 16 calculates the length of the line segment connecting feature point 203a and feature point 203b (shown as (a) in FIG. 2) as the feature for physique determination of the passenger seat occupant Ps. The physique determination unit 16 also calculates the length of the line segment connecting feature point 203a and feature point 204a (shown as (b) in FIG. 2) as the feature for physique determination of the passenger seat occupant Ps. The physique determination unit 16 also calculates the length of the line segment connecting feature point 201 and feature point 202 (shown as (c) in FIG. 2) as the feature for physique determination of the passenger seat occupant Ps. The physique determination unit 16 also calculates the length of the line segment connecting feature point 202 and the center W of both hips (shown as (d) in FIG. 2) as the feature for physique determination of the passenger seat occupant Ps. The physique determination unit 16 also calculates the height of the face (indicated by (e) in FIG. 2) as a feature for determining the physique of the passenger seat occupant Ps. The physique determination unit 16 may take the y coordinate of the center F of both eyes as the height of the face. Here, the physique determination unit 16 may correct the height of the face of the occupant based on the seat information. For example, the height of the face of the occupant on the captured image varies depending on the height of the seat surface, in other words, the position of the seat in the vertical direction. The physique determination unit 16 determines the position of the seat in the vertical direction based on the seat information, and corrects the height of the face of the occupant on the captured image to be higher or lower depending on the position of the seat in the vertical direction. The physique determination unit 16 can more accurately determine the physique of the occupant by correcting the height of the face of the occupant based on the position of the seat in the vertical direction.

図２において（ａ）にて示す線分は、助手席乗員Ｐｓの肩幅を示す線分である。図２において（ｂ）にて示す線分は、助手席乗員Ｐｓの上腕の長さを示す線分である。図２において（ｃ）にて示す線分は、助手席乗員Ｐｓの首の長さを示す線分である。図２において（ｄ）にて示す線分は、助手席乗員Ｐｓの座高を示す線分である。図２において（ｅ）にて示す線分は、助手席乗員Ｐｓの顔の高さを示す線分である。 The line segment indicated by (a) in Figure 2 is a line segment indicating the shoulder width of the passenger seat occupant Ps. The line segment indicated by (b) in Figure 2 is a line segment indicating the length of the upper arm of the passenger seat occupant Ps. The line segment indicated by (c) in Figure 2 is a line segment indicating the length of the neck of the passenger seat occupant Ps. The line segment indicated by (d) in Figure 2 is a line segment indicating the sitting height of the passenger seat occupant Ps. The line segment indicated by (e) in Figure 2 is a line segment indicating the height of the face of the passenger seat occupant Ps.

なお、ここでは、例えば、体格判定部１６は、乗員の肩幅、上腕の長さ、首の長さ、座高、および、顔の高さを、体格判定用特徴量として算出することとしたが、これは一例に過ぎない。
例えば、体格判定部１６は、乗員の肩幅、上腕の長さ、首の長さ、座高、および、顔の高さに加えて、腰幅を、体格判定用特徴量として算出してもよい。体格判定用特徴量とする腰幅は、左腰を示す特徴点（図２の例でいうと特徴点２０５ｂ）と右腰を示す特徴点（図２の例でいうと特徴点２０５ａ）とを結ぶ線分の長さとする。 It should be noted that, for example, here, the physique determination unit 16 calculates the occupant's shoulder width, upper arm length, neck length, sitting height, and face height as features for determining physique, but this is merely one example.
For example, the physique determination unit 16 may calculate the waist width as a feature for determining the physique in addition to the occupant's shoulder width, upper arm length, neck length, sitting height, and face height. The waist width as a feature for determining the physique is the length of a line segment connecting a feature point indicating the left waist (feature point 205b in the example of FIG. 2) and a feature point indicating the right waist (feature point 205a in the example of FIG. 2).

また、実施の形態１では、体格判定部１６は、乗員の肩幅、上腕の長さ、首の長さ、座高、および、顔の高さを、全て、体格判定用特徴量として算出するが、これは一例に過ぎない。
体格判定部１６は、乗員の肩幅、上腕の長さ、首の長さ、座高、および、顔の高さのうち少なくとも１つを体格判定用特徴量として算出するようになっていればよい。 In addition, in embodiment 1, the physique determination unit 16 calculates the occupant's shoulder width, upper arm length, neck length, sitting height, and face height as all of the features for physique determination, but this is merely one example.
The physique determining unit 16 may calculate at least one of the occupant's shoulder width, upper arm length, neck length, sitting height, and face height as a feature amount for determining physique.

体格判定部１６は、算出した体格判定用特徴量に基づいて、乗員の体格を判定する。
実施の形態１では、上述のとおり、一例として、乗員の体格は、「幼児」、「小柄」、「標準」、または、「大柄」のいずれかと定義されている。 The physique determining unit 16 determines the physique of the occupant based on the calculated feature amounts for physique determination.
In the first embodiment, as described above, as an example, the physique of an occupant is defined as either "child", "small", "average", or "large".

体格判定部１６は、例えば、機械学習における学習済みのモデル（以下「第２機械学習モデル」という。）を用いて、乗員の体格に関する情報を得ることで、乗員の体格を判定する。
第２機械学習モデルは、体格判定用特徴量を入力とし、乗員の体格に関する情報を出力する機械学習モデルである。体格に関する情報は、例えば、「０」、「１」、「２」、または、「３」のように、体格をあらわす数値であってもよいし、身長または体重等の体格の大きさ度合いを示す指数（以下「体格指数」という。）であってもよい。体格をあらわす数値について、どの値がどのような体格を示す数値であるかは、予め決められているものとする。例えば、「０：幼児」、「１：小柄」、「２：標準」、または、「３：大柄」のように、数値があらわす体格が決められている。 The physique determination unit 16 determines the occupant's physique by obtaining information about the occupant's physique, for example, using a trained model in machine learning (hereinafter referred to as the "second machine learning model").
The second machine learning model is a machine learning model that inputs the features for determining the physique and outputs information about the occupant's physique. The information about the physique may be a numerical value representing the physique, such as "0", "1", "2", or "3", or may be an index indicating the degree of size of the physique, such as height or weight (hereinafter referred to as "physique index"). It is assumed that it is predetermined which numerical value representing the physique indicates which physique. For example, the physique represented by the numerical value is determined, such as "0: infant", "1: small", "2: standard", or "3: large".

第２機械学習モデルは、予め、入力と教師ラベルのデータの組み合わせに基づいて生成されている学習用データに従って、いわゆる教師あり学習により、入力に対する結果を推定するよう構築される。ここでは、第２機械学習モデルは、入力を体格判定用特徴量、教師ラベルを乗員の体格に関する情報とする学習用データに従って、体格判定用特徴量に対する体格に関する情報を出力するよう学習する。
第２機械学習モデルは、予め、体格判定部１６が参照可能な場所に記憶されている。 The second machine learning model is constructed to estimate a result for an input by so-called supervised learning according to learning data that is generated in advance based on a combination of the input and teacher label data. Here, the second machine learning model learns to output information about the physique for the physique determination feature according to learning data in which the input is the physique determination feature and the teacher label is information about the occupant's physique.
The second machine learning model is stored in advance in a location that can be referenced by the physique determination unit 16.

体格判定部１６は、第２機械学習モデルに基づいて得た乗員の体格に関する情報に基づいて、乗員の体格を判定する。
例えば、乗員の体格に関する情報が、上述したような体格をあらわす数値であれば、体格判定部１６は、数値に応じて予め決められている体格を、乗員の体格と判定する。また、例えば、乗員の体格に関する情報が体格指数であれば、体格判定部１６は、指数に応じた体格を判定する。具体的には、例えば、体格指数がどれぐらいのとき、体格は「幼児」、「小柄」、「標準」、または、「大柄」のいずれに該当するかが対応付けられた情報（以下「体格定義情報」という。）が、予め生成され、体格判定部１６が参照可能な場所に記憶されている。体格判定部１６は、体格定義情報を参照して、乗員の体格を判定する。 The physique determination unit 16 determines the physique of the occupant based on information about the physique of the occupant obtained based on the second machine learning model.
For example, if the information on the occupant's physique is a numerical value representing the physique as described above, the physique determination unit 16 determines the occupant's physique to be a physique that is determined in advance according to the numerical value. Also, if the information on the occupant's physique is a physique index, the physique determination unit 16 determines the physique according to the index. Specifically, for example, information (hereinafter referred to as "physique definition information") that corresponds to which of the physiques of "child,""small,""standard," or "large" corresponds to a certain physique index is generated in advance and is stored in a location that can be referenced by the physique determination unit 16. The physique determination unit 16 determines the occupant's physique by referring to the physique definition information.

体格判定部１６は、体格判定結果を、出力部１７に出力する。
体格判定結果において、乗員毎に、当該乗員を特定する情報と、乗員の体格を示す情報とが対応付けられている。乗員を特定する情報は、例えば、乗員が着座している座席を示す情報である。 The physique determination unit 16 outputs the physique determination result to the output unit 17 .
In the physical build determination result, for each occupant, information for identifying the occupant is associated with information indicating the occupant's physical build. The information for identifying the occupant is, for example, information indicating the seat in which the occupant is seated.

出力部１７は、体格判定部１６から出力された体格判定結果を、エアバッグ制御装置４、報知装置５、および、表示装置６に出力する。
なお、実施の形態１では、体格判定装置１は、エアバッグ制御装置４、報知装置５、および、表示装置６に、体格判定結果を出力するが、これは一例に過ぎない。体格判定装置１は、エアバッグ制御装置４、報知装置５、または、表示装置６のいずれかに、体格判定結果を出力してもよい。
体格判定装置１は出力部１７を備えず、体格判定部１６が出力部１７の機能を有するようにしてもよい。 The output unit 17 outputs the result of the physical build determination output from the physical build determination unit 16 to the airbag control device 4 , the notification device 5 , and the display device 6 .
In the first embodiment, the physique determination device 1 outputs the physique determination result to the airbag control device 4, the notification device 5, and the display device 6, but this is merely an example. The physique determination device 1 may output the physique determination result to any one of the airbag control device 4, the notification device 5, or the display device 6.
The physique determination device 1 may not include the output unit 17 , and the physique determination unit 16 may have the function of the output unit 17 .

実施の形態１に係る体格判定装置１の動作について説明する。
図５は、実施の形態１に係る体格判定装置１の動作について説明するためのフローチャートである。
体格判定装置１は、例えば、車両の電源がオンにされると、車両の電源がオフにされるまで、図５のフローチャートで示すような動作を繰り返す。 The operation of the physique determination device 1 according to the first embodiment will be described.
FIG. 5 is a flowchart for explaining the operation of the physique determination device 1 according to the first embodiment.
For example, when the power supply of the vehicle is turned on, the physique determination device 1 repeats the operation shown in the flowchart of FIG. 5 until the power supply of the vehicle is turned off.

画像取得部１１は、撮像装置２によって車両の乗員が撮像された撮像画像を取得する（ステップＳＴ１ａ）。
画像取得部１１は、取得した撮像画像を特徴点検出部１２に出力する。 The image acquisition unit 11 acquires an image of a vehicle occupant captured by the imaging device 2 (step ST1a).
The image acquisition unit 11 outputs the acquired captured image to the feature point detection unit 12 .

特徴点検出部１２は、ステップＳＴ１ａにて画像取得部１１が取得した撮像画像に基づいて、乗員の体の部位を示す、乗員の特徴点を検出する（ステップＳＴ２）。
特徴点検出部１２は、特徴点情報を、着座状態判定部１４に出力する。 The feature point detection unit 12 detects feature points of the occupant, which indicate parts of the occupant's body, based on the captured image acquired by the image acquisition unit 11 in step ST1a (step ST2).
The feature point detection unit 12 outputs the feature point information to the seating state determination unit 14 .

シート情報取得部１３は、シート制御装置３からシート情報を取得する（ステップＳＴ１ｂ）。
シート情報取得部１３は、取得したシート情報を着座状態判定部１４に出力する。 The seat information acquisition unit 13 acquires the seat information from the seat control device 3 (step ST1b).
The seat information acquisition unit 13 outputs the acquired seat information to the seating state determination unit 14 .

着座状態判定部１４は、ステップＳＴ１ａにて画像取得部１１が取得した撮像画像と、ステップＳＴ１ｂにてシート情報取得部１３が取得したシート情報とに基づき、乗員は座席の背もたれから離れているか否かを判定する（ステップＳＴ３）。
着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置が第１基準範囲外であれば、乗員は背もたれから離れていると判定する。一方、着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置が第１基準範囲内であれば、乗員は背もたれから離れていないと判定する。
着座状態判定部１４は、乗員が座席の背もたれから離れているか否かを示す着座状態情報を、特徴点情報、および、シート情報とあわせて、特徴点処理部１５に出力する。 The seating state determination unit 14 determines whether the occupant is away from the seat back based on the captured image acquired by the image acquisition unit 11 in step ST1a and the seat information acquired by the seat information acquisition unit 13 in step ST1b (step ST3).
The seating state determination unit 14 determines that the occupant is away from the seat back if the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 is outside the first reference range. On the other hand, the seating state determination unit 14 determines that the occupant is not away from the seat back if the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 is within the first reference range.
The seating state determination unit 14 outputs seating state information, which indicates whether the occupant is away from the backrest of the seat, to the feature point processing unit 15 together with the feature point information and seat information.

特徴点処理部１５は、撮像装置２と乗員との間の撮像距離に基づき、必要に応じて、撮像画像上の特徴点の座標を補正する特徴点処理を行う（ステップＳＴ４）。
ステップＳＴ４にて、特徴点処理部１５は、撮像距離を推定する。特徴点処理部１５は、推定した撮像距離と基準撮像距離との比率を求め、当該比率を用いて、乗員がシート中心に着座した状態となるように、特徴点検出部１２が検出した特徴点の撮像画像上の座標を補正する。
特徴点処理部１５は、特徴点情報において、特徴点の座標を補正後の特徴点の座標に更新した後の特徴点情報を、体格判定部１６に出力する。また、特徴点補正部１５２は、特徴点情報とともに、シート情報を、体格判定部１６に出力する。 The feature point processing unit 15 performs feature point processing to correct the coordinates of the feature points on the captured image, if necessary, based on the imaging distance between the imaging device 2 and the occupant (step ST4).
In step ST4, the feature point processing unit 15 estimates an imaging distance. The feature point processing unit 15 calculates a ratio between the estimated imaging distance and a reference imaging distance, and corrects the coordinates of the feature points detected by the feature point detection unit 12 on the captured image by using the ratio so that the occupant is seated in the center of the seat.
The feature point processing unit 15 outputs the feature point information after updating the coordinates of the feature points to the corrected coordinates of the feature points in the feature point information to the physique determination unit 16. In addition, the feature point correction unit 152 outputs the seat information to the physique determination unit 16 together with the feature point information.

体格判定部１６は、ステップＳＴ４にて特徴点補正部１５２から出力された特徴点情報に基づき、乗員の体格を判定する体格判定処理を行う（ステップＳＴ５）。The body type determination unit 16 performs a body type determination process to determine the body type of the occupant based on the feature point information output from the feature point correction unit 152 in step ST4 (step ST5).

図６は、図５のステップＳＴ４における特徴点処理部１５による特徴点処理の詳細について説明するためのフローチャートである。 Figure 6 is a flowchart to explain the details of feature point processing by the feature point processing unit 15 in step ST4 of Figure 5.

特徴点処理部１５の撮像距離推定部１５１は、図５のステップＳＴ３にて着座状態判定部１４が乗員は背もたれから離れていると判定したか否かを判定する（ステップＳＴ４１）。
着座状態判定部１４が乗員は背もたれから離れていると判定した場合（ステップＳＴ４１の“ＹＥＳ”の場合）、撮像距離推定部１５１は、座席乗員間距離を推定する（ステップＳＴ４２）。
着座状態判定部１４が乗員は座席の背もたれから離れていないと判定した場合（ステップＳＴ４１の“ＮＯ”の場合）は、撮像距離推定部１５１は、ステップＳＴ４２の処理はスキップする。 The imaging distance estimation unit 151 of the feature point processing unit 15 determines whether or not the seating state determination unit 14 has determined in step ST3 of FIG. 5 that the occupant is away from the seat back (step ST41).
When the seating state determination unit 14 determines that the occupant is away from the seat back ("YES" in step ST41), the image capture distance estimation unit 151 estimates the seat-to-occupant distance (step ST42).
If the seating state determination unit 14 determines that the occupant has not left the seat back ("NO" in step ST41), the imaging distance estimation unit 151 skips the process of step ST42.

撮像距離推定部１５１は、撮像距離を推定する（ステップＳＴ４３）。
着座状態判定部１４が乗員は座席の背もたれから離れていないと判定した場合、撮像距離推定部１５１は、撮像装置２から座席までの奥行から乗員厚み距離を減算することで、撮像装置２から乗員中心までの奥行を算出する。そして、撮像距離推定部１５１は、撮像装置２の設置位置と、撮像装置２から乗員中心までの奥行と、乗員中心のｘ座標とに基づいて、乗員中心と撮像装置２との直線距離を、撮像距離として推定する。
着座状態判定部１４が乗員は座席の背もたれから離れていると判定した場合、撮像距離推定部１５１は、撮像装置２から座席までの奥行から乗員厚み距離と座席乗員間距離を減算することで、撮像装置２から乗員中心までの奥行を算出する。そして、撮像距離推定部１５１は、撮像装置２の設置位置と、撮像装置２から乗員中心までの奥行と、乗員中心のｘ座標とに基づいて、乗員中心と撮像装置との直線距離を、撮像距離として推定する。 The imaging distance estimating unit 151 estimates the imaging distance (step ST43).
When the seating state determination unit 14 determines that the occupant is not away from the seat back, the imaging distance estimation unit 151 calculates the depth from the imaging device 2 to the center of the occupant by subtracting the occupant thickness distance from the depth from the imaging device 2 to the seat. Then, the imaging distance estimation unit 151 estimates the straight-line distance between the occupant center and the imaging device 2 as the imaging distance based on the installation position of the imaging device 2, the depth from the imaging device 2 to the occupant center, and the x-coordinate of the occupant center.
When the seating state determination unit 14 determines that the occupant is away from the seat back, the imaging distance estimation unit 151 calculates the depth from the imaging device 2 to the center of the occupant by subtracting the occupant thickness distance and the seat-to-occupant distance from the depth from the imaging device 2 to the seat. Then, the imaging distance estimation unit 151 estimates the straight-line distance between the occupant center and the imaging device as the imaging distance based on the installation position of the imaging device 2, the depth from the imaging device 2 to the occupant center, and the x-coordinate of the occupant center.

特徴点処理部１５の特徴点補正部１５２は、ステップＳＴ４３にて撮像距離推定部１５１が推定した撮像距離と基準撮像距離との比率を求め、当該比率を用いて、乗員がシート中心に着座した状態となるように、特徴点検出部１２が検出した特徴点の撮像画像上の座標を補正する（ステップＳＴ４４）。
特徴点補正部１５２は、特徴点情報において、特徴点の座標を補正後の特徴点の座標に更新する。そして、特徴点補正部１５２は、特徴点の座標を更新した後の特徴点情報を、体格判定部１６に出力する。また、特徴点補正部１５２は、特徴点情報とともに、シート情報を、体格判定部１６に出力する。 The feature point correction unit 152 of the feature point processing unit 15 calculates the ratio between the imaging distance estimated by the imaging distance estimation unit 151 in step ST43 and the reference imaging distance, and uses this ratio to correct the coordinates on the captured image of the feature point detected by the feature point detection unit 12 so that the occupant is seated in the center of the seat (step ST44).
The feature point correction unit 152 updates the coordinates of the feature points in the feature point information to the coordinates of the corrected feature points. Then, the feature point correction unit 152 outputs the feature point information after the coordinates of the feature points are updated to the physique determination unit 16. In addition, the feature point correction unit 152 outputs seat information together with the feature point information to the physique determination unit 16.

図７は、図５のステップＳＴ５における体格判定部１６による体格判定処理の詳細について説明するためのフローチャートである。 Figure 7 is a flowchart to explain the details of the body type determination process by the body type determination unit 16 in step ST5 of Figure 5.

体格判定部１６は、図５のステップＳＴ４にて特徴点補正部１５２から出力された特徴点情報に基づき、体格判定用特徴量を算出する（ステップＳＴ５１）。The body type determination unit 16 calculates features for body type determination based on the feature point information output from the feature point correction unit 152 in step ST4 of Figure 5 (step ST51).

体格判定部１６は、ステップＳＴ５１にて算出した体格判定用特徴量に基づいて、乗員の体格を判定する（ステップＳＴ５２）。
体格判定部１６は、体格判定結果を、出力部１７に出力する。
出力部１７は、体格判定部１６から出力された体格判定結果を、エアバッグ制御装置４、報知装置５、および、表示装置６に出力する。 The physique determining unit 16 determines the physique of the occupant based on the physique determining feature amount calculated in step ST51 (step ST52).
The physique determination unit 16 outputs the physique determination result to the output unit 17 .
The output unit 17 outputs the result of the physical build determination output from the physical build determination unit 16 to the airbag control device 4 , the notification device 5 , and the display device 6 .

このように、体格判定装置１は、撮像画像とシート情報とに基づき、乗員は背もたれから離れているか否かを判定する。体格判定装置１は、乗員は背もたれから離れていると判定した場合、座席と乗員との間の実空間上の座席乗員間距離を推定し、推定した座席乗員間距離と撮像装置２から座席までの奥行とに基づき撮像装置２と乗員との間の実空間上の撮像距離を推定し、推定した撮像距離に基づいて乗員の撮像画像上の各特徴点を補正する。そして、体格判定装置１は、補正した後の乗員の各特徴点に基づき算出した体格判定用特徴量を用いて、乗員の体格を判定する。
そのため、体格判定装置１は、乗員が座席の背もたれから離れている場合における乗員の体格の誤判定を防ぐことができる。 In this way, the physique determination device 1 determines whether the occupant is away from the seat back based on the captured image and the seat information. When the physique determination device 1 determines that the occupant is away from the seat back, it estimates the seat-to-occupant distance in real space between the seat and the occupant, estimates the imaging distance in real space between the imaging device 2 and the occupant based on the estimated seat-to-occupant distance and the depth from the imaging device 2 to the seat, and corrects each feature point on the captured image of the occupant based on the estimated imaging distance. Then, the physique determination device 1 determines the occupant's physique using the physique determination feature amount calculated based on each of the corrected feature points of the occupant.
Therefore, the physique determination device 1 can prevent erroneous determination of the occupant's physique when the occupant is away from the seat back.

上述したような従来技術では、上述のとおり、例えば、乗員が常に座席の背もたれから離れている場合も、乗員が座席の背もたれから離れていないとみなし、乗員の体格を誤判定する可能性があった。また、上述したような従来技術では、複数の画像の中から、乗員の頭部が最も小さく、かつ頭部がシート背面部の横幅の中央に位置しているときの画像を抽出し、抽出した画像から特定した頭部の位置情報を用いて乗員の体格を判定するため、乗員が座席の中央に位置していない場合、または、乗員の頭部の大きさが最小と判定されない区間は体格を判定できない。また、上述したような従来技術では、複数の画像の中から乗員の頭部が最も小さいときの画像を抽出するため、撮像画像上の乗員の頭部の大きさの変化を確認するのに一定時間を要する。その結果、従来技術は、乗員の体格の判定に一定時間を要する。
これに対し、実施の形態１に係る体格判定装置１は、上述のとおり、シート情報を活用することにより、精度よく乗員の奥行位置を推定する。具体的には、体格判定装置１は、撮像画像とシート情報とに基づいて乗員が背もたれから離れているか否かを判定し、乗員が背もたれから離れていない場合は、シート情報をもとに撮像距離を推定し、乗員が背もたれから離れている場合は座席乗員間距離を推定した上で、当該座席乗員間距離とシート情報とを用いて撮像距離を推定する。体格判定装置１は、精度よく撮像距離を推定することで、精度よく乗員の体格を判定できる。体格判定装置１は、乗員が背もたれから離れている場合における乗員の体格の誤判定を防ぐことができる。
また、体格判定装置１は、体格判定において、今、乗員が座席の中央に位置しているか否かを問わないため、体格判定装置１は、今、乗員が座席のどの位置に着座しているかによらず、乗員の体格を判定できる。
また、体格判定装置１は、体格判定において、一定時間に撮像された複数の撮像画像上の乗員の頭部の大きさを比較する等する必要がないため、乗員の体格の判定に一定時間を要することがない。
また、実施の形態１に係る体格判定装置１は、距離センサを用いることなく、撮像画像とシート情報とから撮像距離を推定する。そのため、体格判定装置１は、低コストで高精度な乗員の体格の判定を行うことができる。 In the conventional technology as described above, for example, even if the occupant is always away from the backrest of the seat, the occupant may be considered not to be away from the backrest of the seat, and the occupant's physical size may be erroneously determined. In addition, in the conventional technology as described above, an image in which the occupant's head is smallest and located in the center of the width of the seat back is extracted from a plurality of images, and the occupant's physical size is determined using head position information identified from the extracted image. Therefore, when the occupant is not located in the center of the seat, or in a section in which the size of the occupant's head is not determined to be the smallest, the occupant's physical size cannot be determined. In addition, in the conventional technology as described above, an image in which the occupant's head is smallest is extracted from a plurality of images, so it takes a certain amount of time to confirm the change in the size of the occupant's head on the captured image. As a result, the conventional technology takes a certain amount of time to determine the occupant's physical size.
In contrast, the physique determination device 1 according to the first embodiment accurately estimates the depth position of the occupant by utilizing the seat information as described above. Specifically, the physique determination device 1 determines whether the occupant is away from the backrest based on the captured image and the seat information, and if the occupant is not away from the backrest, estimates the imaging distance based on the seat information, and if the occupant is away from the backrest, estimates the seat-to-occupant distance and estimates the imaging distance using the seat-to-occupant distance and the seat information. The physique determination device 1 can accurately determine the physique of the occupant by accurately estimating the imaging distance. The physique determination device 1 can prevent erroneous determination of the occupant's physique when the occupant is away from the backrest.
In addition, since the physical build determination device 1 does not care whether the occupant is currently positioned in the center of the seat when determining the occupant's physical build, the physical build determination device 1 can determine the occupant's physical build regardless of where the occupant is currently sitting in the seat.
In addition, since the physical build determination device 1 does not need to compare the size of the occupant's head in multiple images taken over a certain period of time when determining the occupant's physical build, it does not take a certain amount of time to determine the occupant's physical build.
Furthermore, the physique determination device 1 according to the first embodiment estimates the imaging distance from the captured image and the seat information without using a distance sensor, and therefore the physique determination device 1 can determine the physique of an occupant with high accuracy and low cost.

以上の実施の形態１では、体格判定装置１において、シート情報取得部１３は、シート制御装置３からシート情報を取得していたが、これは一例に過ぎない。例えば、シート情報取得部１３は、画像取得部１１が取得した撮像画像に対して座席のエッジ検出等の公知の画像認識処理を行ってシート情報を取得してもよい。この場合、体格判定装置１は、シート制御装置３と接続されていることを必須としない。In the above-described first embodiment, in the physique determination device 1, the seat information acquisition unit 13 acquires seat information from the seat control device 3, but this is merely one example. For example, the seat information acquisition unit 13 may acquire seat information by performing known image recognition processing such as seat edge detection on the captured image acquired by the image acquisition unit 11. In this case, it is not essential that the physique determination device 1 is connected to the seat control device 3.

また、以上の実施の形態１では、「乗員が座席の背もたれから離れている」状態とは、例えば、「乗員が座席の座面に浅く座ることにより乗員の背面の全領域が座席の背もたれから離れている」状態を想定していたが、これは一例に過ぎない。以上の実施の形態１において、「乗員が座席の背もたれから離れている」状態は、例えば、「乗員が座席の座面に深く座っているが前傾姿勢をとっていることにより乗員の背面の腰よりも上の領域が座席の背もたれから離れている」状態を含む。 In the above embodiment 1, the state in which "the occupant is away from the backrest of the seat" is assumed to mean, for example, a state in which "the occupant sits shallow on the seat surface, so that the entire area of the occupant's back is away from the seat back", but this is merely one example. In the above embodiment 1, the state in which "the occupant is away from the backrest of the seat" includes, for example, a state in which "the occupant sits deep on the seat surface, but leans forward, so that the area of the occupant's back above the waist is away from the seat back".

また、以上の実施の形態１では、着座状態判定部１４は、画像取得部１１が取得した撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置と、撮像画像上で水平方向、すなわちｘ軸方向の乗員の位置の第１基準範囲との比較によって、乗員は座席の背もたれから離れているか否かを判定していたが、これは一例に過ぎない。
着座状態判定部１４は、上記以外の方法で、乗員が座席の背もたれから離れているか否かを判定してもよい。
例えば、着座状態判定部１４は、乗員が着座している座席の座面の荷重と、座席にて乗員が背もたれから離れることなく着座している状態を想定して設定された座席の座面の荷重の範囲（以下「第２基準範囲」という。）との比較によって、乗員は座席の背もたれから離れているか否かを判定してもよい。
第２基準範囲は、乗員が座席にて背もたれから離れることなく着座している状態でとり得ると想定される、座面にかかる荷重の範囲である。
なお、この場合、着座状態判定部１４は、例えば、図示しない荷重センサから、車両内の座席の座面にかかる荷重に関する情報を取得する。荷重センサは、車両内の座席の座面に設けられている。この方法によれば、着座状態判定部１４は、第２基準範囲を、シート位置に対応させる必要はない。
なお、この場合、撮像距離推定部１５１は、例えば、乗員が着座している座席の座面にかかる荷重の範囲の第２基準範囲からの乖離度合いに基づいて、座席乗員間距離を推定する。なお、乗員が着座している座席の座面にかかる荷重の範囲が第２基準範囲からどれぐらい乖離している場合に、座席乗員間距離がどれぐらいになると推定するかの情報は予め作成され、撮像距離推定部１５１が参照可能な場所に記憶されている。 In addition, in the above-mentioned embodiment 1, the seating state determination unit 14 determines whether the occupant is away from the seat back by comparing the position of the occupant in the horizontal direction, i.e., the x-axis direction, on the captured image acquired by the image acquisition unit 11 with a first reference range of the occupant's position in the horizontal direction, i.e., the x-axis direction, on the captured image, but this is just one example.
The seating state determination unit 14 may determine whether or not the occupant is away from the seat back by a method other than the above.
For example, the seating state determination unit 14 may determine whether the occupant is away from the backrest of the seat by comparing the load of the seat surface of the seat in which the occupant is seated with a range of loads of the seat surface set assuming a state in which the occupant is seated in the seat without moving away from the backrest (hereinafter referred to as the "second reference range").
The second reference range is a range of loads acting on the seat surface that are assumed to be possible when an occupant is seated in the seat without moving away from the backrest.
In this case, the seating state determination unit 14 obtains information on the load applied to the seat surface of the seat in the vehicle from, for example, a load sensor (not shown). The load sensor is provided on the seat surface of the seat in the vehicle. According to this method, the seating state determination unit 14 does not need to make the second reference range correspond to the seat position.
In this case, the imaging distance estimation unit 151 estimates the seat-occupant distance based on, for example, the degree of deviation of the range of the load applied to the seat surface of the seat where the occupant is seated from the second reference range. Information on how much the seat-occupant distance is estimated to be depending on how much the range of the load applied to the seat surface of the seat where the occupant is seated deviates from the second reference range is created in advance and stored in a location that can be referenced by the imaging distance estimation unit 151.

また、例えば、着座状態判定部１４は、撮像画像上で、乗員の体の傾きと座席のリクライニング角度との差分と、第３基準範囲とを比較することで、乗員は背もたれから離れているか否かを判定してもよい。実施の形態１において、撮像画像上で、乗員の体の傾きは、例えば、首を示す特徴点および両腰の中心を結んだ線分、言い換えれば、座高を示す線分の傾きであらわされる。
第３基準範囲は、座席にて背もたれから離れることなく着座している状態の乗員が撮像された場合に、とり得ると想定される、当該乗員の座高を示す線分の傾きとリクライニング角度との差の範囲である。
なお、着座状態判定部１４は、シート情報からリクライニング角度を特定できる。 Also, for example, the seating state determination unit 14 may determine whether the occupant is away from the backrest by comparing the difference between the inclination of the occupant's body and the reclining angle of the seat on the captured image with a third reference range. In the first embodiment, the inclination of the occupant's body on the captured image is represented, for example, by a characteristic point indicating the neck and a line segment connecting the centers of both hips, in other words, the inclination of the line segment indicating the sitting height.
The third reference range is the range of the difference between the inclination of the line segment indicating the seating height of an occupant and the reclining angle that is assumed to be possible when an image of the occupant is captured while seated in the seat without moving away from the backrest.
The seating state determination unit 14 can identify the reclining angle from the seat information.

ここで、図８Ａおよび図８Ｂは、画像取得部１１が取得した撮像画像の一例である。
図８Ａおよび図８Ｂを用いて、着座状態判定部１４による、座高を示す線分とリクライニング角度との差を第３基準範囲と比較することで、乗員は背もたれから離れているか否かを判定する方法の一例について説明する。
図８Ａおよび図８Ｂでは、説明の便宜上、撮像画像のうち、運転者が撮像された領域のみを図示している。なお、車両は右ハンドル車である。
図８Ａおよび図８Ｂにおいて、撮像画像はＩｍで示され、運転者はＤｒで示されている。なお、図８Ａに示す撮像画像Ｉｍが撮像された際の座席のリクライニング状態と、図８Ｂに示す撮像画像Ｉｍが撮像された際の座席のリクライニング状態とは同じである。図８Ｂに示す撮像画像Ｉｍにおいて、運転者Ｄｒは座席の座面に深く座っているが前傾姿勢をとっている。
図８Ａにおいて、運転者Ｄｒの首を示す特徴点はＮ１、運転者Ｄｒの両腰の中心を示す点はＷで示されており、図８Ｂにおいて、運転者Ｄｒの首を示す頭位置はＮ２、運転者Ｄｒの両腰の中心を示す点はＷで示されている。 Here, FIG. 8A and FIG. 8B are examples of captured images acquired by the image acquisition unit 11. FIG.
Using Figures 8A and 8B, we will explain an example of a method in which the seating state determination unit 14 determines whether or not the occupant is away from the backrest by comparing the difference between the line segment indicating the seat height and the reclining angle with a third reference range.
8A and 8B, for the sake of convenience, only the area of the captured image in which the driver is captured is shown. Note that the vehicle is a right-hand drive vehicle.
In Fig. 8A and Fig. 8B, the captured image is indicated by Im and the driver is indicated by Dr. Note that the reclining state of the seat when the captured image Im shown in Fig. 8A is captured is the same as the reclining state of the seat when the captured image Im shown in Fig. 8B is captured. In the captured image Im shown in Fig. 8B, the driver Dr is sitting deep on the seat but in a forward-leaning position.
In FIG. 8A , the characteristic point indicating the neck of the driver Dr is indicated by N1, and the point indicating the center of the driver Dr's waist is indicated by W, and in FIG. 8B , the head position indicating the driver Dr's neck is indicated by N2, and the point indicating the center of the driver Dr's waist is indicated by W.

図８Ａに示す撮像画像Ｉｍにおいて運転者Ｄｒの座高を示す線分（図８Ａにおいて８１で示す）の傾きとリクライニング角度との差は第３基準範囲内であり、図８Ｂに示す撮像画像Ｉｍにおいて運転者Ｄｒの座高を示す線分（図８Ｂにおいて８２で示す）の傾きとリクライニング角度との差は第３基準範囲外であるとする。
着座状態判定部１４は、乗員の座高を示す線分が図８Ａに示すような状態である場合、乗員は背もたれから離れていないと判定する。
一方、着座状態判定部１４は、乗員の座高を示す線分が図８Ｂに示すような状態である場合、乗員は背もたれから離れていると判定する。
なお、この場合、撮像距離推定部１５１は、例えば、撮像画像上の乗員の体の傾きとシート情報取得部１３が取得したシート情報に基づく座席のリクライニング角度との差分の、第３基準範囲からの乖離度合いに基づいて、座席乗員間距離を推定する。なお、撮像画像上の乗員の体の傾きとシート情報取得部１３が取得したシート情報に基づく座席のリクライニング角度との差分が第３基準範囲からどれぐらい乖離している場合に、座席乗員間距離がどれぐらいになると推定するかの情報は予め作成され、撮像距離推定部１５１が参照可能な場所に記憶されている。 In the captured image Im shown in Figure 8A, the difference between the inclination of the line segment indicating the seated height of the driver Dr (indicated by 81 in Figure 8A) and the reclining angle is within the third reference range, and in the captured image Im shown in Figure 8B, the difference between the inclination of the line segment indicating the seated height of the driver Dr (indicated by 82 in Figure 8B) and the reclining angle is outside the third reference range.
When the line segment indicating the seated height of the occupant is in the state shown in FIG. 8A, the seating state determination unit 14 determines that the occupant is not separated from the seat back.
On the other hand, when the line segment indicating the seated height of the occupant is in the state shown in FIG. 8B, the seating state determination unit 14 determines that the occupant is away from the seat back.
In this case, the imaging distance estimation unit 151 estimates the seat-to-occupant distance based on, for example, the degree of deviation from the third reference range of the difference between the inclination of the occupant's body in the captured image and the reclining angle of the seat based on the seat information acquired by the seat information acquisition unit 13. Information on how much the seat-to-occupant distance is estimated to be when the difference between the inclination of the occupant's body in the captured image and the reclining angle of the seat based on the seat information acquired by the seat information acquisition unit 13 deviates from the third reference range is created in advance and stored in a location that can be referenced by the imaging distance estimation unit 151.

また、以上の実施の形態１において、撮像距離推定部１５１は、撮像装置２から乗員中心までの奥行を推定する際、シート情報を利用して、推定した奥行に制限をかけるようにしてもよい。乗員は、撮像装置２からみて、着座している座席の位置よりも奥に存在し得ない。しかし、例えば、特徴点検出部１２が特徴点を誤検出してしまった場合、撮像距離推定部１５１は、撮像装置２から乗員中心までの奥行を、撮像装置２から座席までの奥行より長く誤推定する可能性がある。よって、撮像距離推定部１５１は、撮像装置２から乗員中心までの奥行の上限を、撮像装置２から座席までの奥行とする。なお、撮像装置２から座席までの奥行は、上述のとおり、予めわかっている撮像装置２の設置位置と、シート情報とから算出できる。撮像距離推定部１５１は、例えば、推定した撮像装置２から乗員中心までの奥行が、撮像装置２から座席までの奥行より長い場合、撮像装置２から乗員中心までの奥行を、撮像装置２から座席までの奥行とする。つまり、撮像距離推定部１５１は、乗員中心の実空間上のｚ軸方向の座標を、シート中心のｚ軸方向の座標とする。
また、乗員は、撮像装置２からみて、当該撮像装置２よりも手前に存在し得ない。しかし、特徴点検出部１２が特徴点を誤検出してしまった場合、撮像距離推定部１５１は、乗員中心の実空間上の位置を、撮像装置２よりも手前の位置と誤推定する可能性がある。よって、撮像距離推定部１５１は、例えば、撮像装置２から乗員中心までの奥行の下限を「０」とする。撮像距離推定部１５１は、例えば、撮像装置２から乗員中心までの奥行の下限を、撮像装置２と座席の位置関係から、現実的な値に設定してもよい。つまり、撮像距離推定部１５１は、乗員中心の実空間上のｚ軸方向の座標を、撮像装置２のｚ軸方向の座標、または、現実的な値に設定する。 In the above-described first embodiment, the imaging distance estimation unit 151 may use seat information to limit the estimated depth when estimating the depth from the imaging device 2 to the center of the occupant. The occupant cannot be present further back than the position of the seat in which the occupant is seated, as viewed from the imaging device 2. However, for example, if the feature point detection unit 12 erroneously detects a feature point, the imaging distance estimation unit 151 may erroneously estimate the depth from the imaging device 2 to the center of the occupant to be longer than the depth from the imaging device 2 to the seat. Therefore, the imaging distance estimation unit 151 sets the upper limit of the depth from the imaging device 2 to the center of the occupant as the depth from the imaging device 2 to the seat. Note that the depth from the imaging device 2 to the seat can be calculated from the installation position of the imaging device 2, which is known in advance, and the seat information, as described above. For example, if the estimated depth from the imaging device 2 to the center of the occupant is longer than the depth from the imaging device 2 to the seat, the imaging distance estimation unit 151 sets the depth from the imaging device 2 to the center of the occupant as the depth from the imaging device 2 to the seat. That is, the imaging distance estimation unit 151 determines the z-axis coordinate of the center of the occupant in real space as the z-axis coordinate of the center of the seat.
Also, the occupant cannot be located in front of the imaging device 2 as viewed from the imaging device 2. However, if the feature point detection unit 12 erroneously detects a feature point, the imaging distance estimation unit 151 may erroneously estimate the position of the occupant center in real space as a position in front of the imaging device 2. Therefore, the imaging distance estimation unit 151 may set the lower limit of the depth from the imaging device 2 to the occupant center to "0", for example. The imaging distance estimation unit 151 may set the lower limit of the depth from the imaging device 2 to the occupant center to a realistic value based on the positional relationship between the imaging device 2 and the seat. That is, the imaging distance estimation unit 151 sets the coordinate of the occupant center in the z-axis direction in real space to the coordinate of the imaging device 2 in the z-axis direction or a realistic value.

また、以上の実施の形態１において、体格判定装置１は、撮像装置２の設置位置の位置ズレまたは光軸ズレを補正する機能を有してもよい。
例えば、体格判定装置１において、特徴点検出部１２は、シート情報に基づく座席の位置またはリクライニング角度と、撮像画像に対して座席のエッジ検出等の公知の画像認識処理を行って検出した座席の位置またはリクライニング角度とを比較して、撮像装置２の設置位置の位置ズレまたは光軸ズレを算出し、検出した各特徴点を補正する機能を有してもよい。
また、例えば、体格判定装置１において、着座状態判定部１４が撮像装置２の設置位置の位置ズレまたは光軸ズレを算出し、設定されている第１基準範囲、第２基準範囲、または、第３基準範囲を補正する機能を有してもよい。 In the first embodiment described above, the physique determination device 1 may have a function of correcting misalignment of the installation position or misalignment of the optical axis of the imaging device 2.
For example, in the body type judgment device 1, the feature point detection unit 12 may have the function of comparing the seat position or reclining angle based on the seat information with the seat position or reclining angle detected by performing known image recognition processing such as seat edge detection on the captured image, calculating the positional misalignment or optical axis misalignment of the installation position of the imaging device 2, and correcting each detected feature point.
Also, for example, in the body type judgment device 1, the seating state judgment unit 14 may have a function of calculating the positional shift or optical axis shift of the installation position of the imaging device 2, and correcting the set first reference range, second reference range, or third reference range.

また、以上の実施の形態１では、体格判定装置１において、特徴点補正部１５２が、撮像距離推定部１５１が推定した撮像距離（図４ＡのＤ１、図４ＢのＤ２参照）と基準撮像距離（図４Ａ、図４ＢのＢＤ参照）との比率を求め、当該比率を用いて、乗員がシート中心（図４Ａ、図４ＢのＳ１参照）に着座した状態となるように、特徴点検出部１２が検出した特徴点の撮像画像上の座標を補正し、体格判定部１６が、補正後の特徴点の撮像画像上の座標から体格判定用特徴量を算出して、乗員の体格判定を行うようにしていた。
しかし、これは一例に過ぎず、体格判定装置１は、撮像距離推定部１５１が推定した撮像距離と基準撮像距離との比率をその他の方法で乗員の体格判定に反映してもよい。例えば、体格判定装置１において、体格判定部１６が、体格判定用特徴量を算出すると、算出した体格判定用特徴量に上記比率をかけ、上記比率をかけた後の体格判定用特徴量を用いて乗員の体格判定を行ってもよい。この場合、体格判定装置１は特徴点補正部１５２を備える必要はない。撮像距離推定部１５１は、特徴点情報と、推定した撮像距離と基準撮像距離との比率に関する情報を、体格判定部１６に出力する。
また、この場合、体格判定装置１の動作は、例えば、図７のステップＳＴ４４の処理を省略できる。体格判定装置１において、撮像距離推定部１５１は、ステップＳＴ４３にて、特徴点情報と、推定した撮像距離と基準撮像距離との比率に関する情報を、体格判定部１６に出力する。体格判定部１６は、図７のステップＳＴ５２で、ステップＳＴ５１にて算出した体格判定用特徴量に上記比率をかけて体格判定用特徴量を補正し、上記比率をかけた後の体格判定用特徴量、言い換えれば、補正した後の体格判定用特徴量、に基づいて、乗員の体格を判定する。 In addition, in the above-described first embodiment, in the physique determination device 1, the feature point correction unit 152 obtains the ratio between the imaging distance estimated by the imaging distance estimation unit 151 (see D1 in FIG. 4A and D2 in FIG. 4B) and the reference imaging distance (see BD in FIG. 4A and FIG. 4B), and uses this ratio to correct the coordinates on the captured image of the feature point detected by the feature point detection unit 12 so that the occupant is seated in the center of the seat (see S1 in FIG. 4A and FIG. 4B), and the physique determination unit 16 calculates features for physique determination from the coordinates on the captured image of the feature point after the correction, and performs a physique determination on the occupant.
However, this is merely an example, and the physique determination device 1 may reflect the ratio between the imaging distance estimated by the imaging distance estimation unit 151 and the reference imaging distance in the physique determination of the occupant by other methods. For example, in the physique determination device 1, when the physique determination unit 16 calculates a feature amount for physique determination, the calculated feature amount for physique determination may be multiplied by the above ratio, and the physique determination of the occupant may be performed using the feature amount for physique determination after multiplying by the above ratio. In this case, the physique determination device 1 does not need to include the feature point correction unit 152. The imaging distance estimation unit 151 outputs feature point information and information on the ratio between the estimated imaging distance and the reference imaging distance to the physique determination unit 16.
In this case, the operation of the physique determination device 1 can omit, for example, the process of step ST44 in Fig. 7. In the physique determination device 1, the imaging distance estimation unit 151 outputs, in step ST43, the feature point information and information on the ratio between the estimated imaging distance and the reference imaging distance to the physique determination unit 16. In step ST52 in Fig. 7, the physique determination unit 16 multiplies the physique determination feature amount calculated in step ST51 by the above ratio to correct the physique determination feature amount, and determines the occupant's physique based on the physique determination feature amount after multiplication by the above ratio, in other words, the corrected physique determination feature amount.

また、以上の実施の形態１では、撮像装置２は、インパネの中央に設置されるものとしたが、これは一例に過ぎない。
例えば、撮像装置２は、運転席側または助手席側のＡピラーに備えられてもよいし、ダッシュボードに備えられてもよいし、オーディオコントロールパネルに備えられてもよい。また、撮像装置２は、ルームミラーに備えられてもよい。
撮像装置２は、少なくとも、車両の乗員の上半身が存在すべき範囲を含む車両内の範囲を撮像可能に設置されていればよい。 In the above-described first embodiment, the imaging device 2 is installed in the center of the instrument panel, but this is merely an example.
For example, the image capturing device 2 may be provided on an A-pillar on the driver's side or passenger's side, on a dashboard, on an audio control panel, or on a rearview mirror.
The imaging device 2 needs only to be installed so as to be able to capture an image of at least the area inside the vehicle that includes the area in which the upper bodies of vehicle occupants are expected to be present.

また、以上の実施の形態１では、撮像装置２は１台であることを想定していたが、これは一例に過ぎない。実施の形態１において、撮像装置２は、車両に複数台設置されるようにしてもよい。
例えば、複数台の撮像装置２が、車両内の各座席に着座している乗員をそれぞれ撮像可能に設置されてもよい。
この場合、体格判定装置１は、複数台の撮像装置２から撮像画像を取得して、乗員の体格を判定する。 In the above embodiment 1, it is assumed that there is one imaging device 2, but this is merely an example. In embodiment 1, a plurality of imaging devices 2 may be installed in the vehicle.
For example, a plurality of image capturing devices 2 may be installed so as to be able to capture images of passengers seated in each seat within the vehicle.
In this case, the physique determination device 1 obtains captured images from a plurality of image capture devices 2 and determines the physique of the occupant.

また、以上の実施の形態１では、撮像装置２は、運転席および助手席を撮像することを想定していたが、これは一例に過ぎない。撮像装置２は、後部座席を撮像可能に設置され、体格判定装置１は、撮像装置２が後部座席を撮像した撮像画像に基づいて、後部座席の乗員の体格を判定することもできる。In addition, in the above-described first embodiment, it is assumed that the imaging device 2 captures images of the driver's seat and the passenger seat, but this is merely one example. The imaging device 2 is installed so that it can capture images of the rear seats, and the physical size determination device 1 can also determine the physical size of the passenger in the rear seat based on the captured image of the rear seat captured by the imaging device 2.

また、以上の実施の形態１では、体格判定装置１において、撮像距離推定部１５１は、撮像装置２から乗員中心までの奥行を算出する際、乗員厚み距離を考慮していたが、これは一例に過ぎない。撮像距離推定部１５１は、必ずしも乗員厚み距離を考慮する必要はなく、例えば、撮像装置２から座席までの奥行から座席乗員間距離を減算することで、撮像装置２から乗員中心までの奥行を算出してもよい。In addition, in the above-described first embodiment, in the physical size judgment device 1, the imaging distance estimation unit 151 takes into account the occupant thickness distance when calculating the depth from the imaging device 2 to the occupant center, but this is merely one example. The imaging distance estimation unit 151 does not necessarily need to take into account the occupant thickness distance, and may calculate the depth from the imaging device 2 to the occupant center, for example, by subtracting the seat-occupant distance from the depth from the imaging device 2 to the seat.

図９Ａおよび図９Ｂは、実施の形態１に係る体格判定装置１のハードウェア構成の一例を示す図である。
実施の形態１において、画像取得部１１と、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６と、出力部１７の機能は、処理回路１００１により実現される。すなわち、体格判定装置１は、車両の乗員を撮像した撮像画像と車両の座席に関するシート情報とに基づいて乗員の体格を判定する制御を行うための処理回路１００１を備える。
処理回路１００１は、図９Ａに示すように専用のハードウェアであっても、図９Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。 9A and 9B are diagrams illustrating an example of a hardware configuration of the physique determination device 1 according to the first embodiment.
In the first embodiment, the functions of the image acquisition unit 11, the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the image capture distance estimation unit 151, the feature point correction unit 152, the physique determination unit 16, and the output unit 17 are realized by a processing circuit 1001. That is, the physique determination device 1 includes the processing circuit 1001 for performing control to determine the physique of an occupant based on an image of the vehicle occupant and seat information related to the vehicle seat.
The processing circuitry 1001 may be dedicated hardware as shown in FIG. 9A, or may be a processor 1004 executing a program stored in a memory as shown in FIG. 9B.

処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。 When the processing circuit 1001 is dedicated hardware, the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.

処理回路がプロセッサ１００４の場合、画像取得部１１と、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６と、出力部１７の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６と、出力部１７の機能を実行する。すなわち、体格判定装置１は、プロセッサ１００４により実行されるときに、上述の図５のステップＳＴ１ａ，１ｂ～ステップＳＴ５が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６と、出力部１７の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。When the processing circuit is the processor 1004, the functions of the image acquisition unit 11, the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the imaging distance estimation unit 151, the feature point correction unit 152, the body size determination unit 16, and the output unit 17 are realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 1005. The processor 1004 executes the functions of the image acquisition unit 11, the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the imaging distance estimation unit 151, the feature point correction unit 152, the body size determination unit 16, and the output unit 17 by reading and executing the program stored in the memory 1005. That is, the body size determination device 1 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST1a, 1b to ST5 in FIG. 5 described above. In addition, the program stored in the memory 1005 can also be said to cause the computer to execute the processing procedures or methods of the image acquisition unit 11, the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the image capture distance estimation unit 151, the feature point correction unit 152, the body type determination unit 16, and the output unit 17. Here, the memory 1005 may be, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versatile Disc).

なお、画像取得部１１と、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６と、出力部１７の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１とシート情報取得部１３と出力部１７については専用のハードウェアとしての処理回路１００１でその機能を実現し、特徴点検出部１２と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、体格判定装置１は、撮像装置２、シート制御装置３、エアバッグ制御装置４、報知装置５、または、表示装置６等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。 The functions of the image acquisition unit 11, the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the imaging distance estimation unit 151, the feature point correction unit 152, the body size determination unit 16, and the output unit 17 may be partially realized by dedicated hardware and partially realized by software or firmware. For example, the functions of the image acquisition unit 11, the seat information acquisition unit 13, and the output unit 17 can be realized by a processing circuit 1001 as dedicated hardware, and the functions of the feature point detection unit 12, the seating state determination unit 14, the imaging distance estimation unit 151, the feature point correction unit 152, and the body size determination unit 16 can be realized by the processor 1004 reading and executing a program stored in the memory 1005.
The body size determination device 1 also includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as an imaging device 2, a seat control device 3, an airbag control device 4, an alarm device 5, or a display device 6.

なお、以上の実施の形態１では、体格判定装置１は、車両に搭載される車載装置とし、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６は、体格判定装置１に備えられているものとした。
これに限らず、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで体格判定システムを構成するようにしてもよい。
また、特徴点検出部１２と、シート情報取得部１３と、着座状態判定部１４と、撮像距離推定部１５１と、特徴点補正部１５２と、体格判定部１６が全部サーバに備えられてもよい。 In the above embodiment 1, the physique determination device 1 is an on-board device mounted in a vehicle, and the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the imaging distance estimation unit 151, the feature point correction unit 152, and the physique determination unit 16 are provided in the physique determination device 1.
Without being limited to this, some of the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the image capture distance estimation unit 151, the feature point correction unit 152, and the body size determination unit 16 may be mounted on an in-vehicle device of the vehicle, and the others may be provided on a server connected to the in-vehicle device via a network, so that a body size determination system is configured by the in-vehicle device and the server.
In addition, the feature point detection unit 12, the seat information acquisition unit 13, the seating state determination unit 14, the imaging distance estimation unit 151, the feature point correction unit 152, and the body size determination unit 16 may all be provided in the server.

以上のように、実施の形態１によれば、体格判定装置１は、撮像装置２によって車両の乗員が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像に基づいて、撮像画像上で乗員の体の部位を示す乗員の特徴点を検出する特徴点検出部１２と、車両の座席に関するシート情報を取得するシート情報取得部１３と、画像取得部１１が取得した撮像画像とシート情報取得部１３が取得したシート情報とに基づき、乗員は座席の背もたれから離れているか否かを判定する着座状態判定部１４と、着座状態判定部１４が乗員は座席の背もたれから離れていると判定した場合、座席と乗員との間の実空間上の座席乗員間距離を推定し、推定した座席乗員間距離と撮像装置２から座席までの奥行とに基づき撮像装置２と乗員との間の実空間上の撮像距離を推定する撮像距離推定部１５１と、特徴点検出部１２が検出した乗員の特徴点と撮像距離推定部１５１が推定した撮像距離に基づき算出した体格判定用特徴量を用いて、乗員の体格を判定する体格判定部１６とを備えるように構成した。そのため、体格判定装置１は、乗員が座席の背もたれから離れている場合おける乗員の体格の誤判定を防ぐことができる。As described above, according to the first embodiment, the physical size determination device 1 includes an image acquisition unit 11 that acquires an image of a vehicle occupant captured by the imaging device 2, a feature point detection unit 12 that detects feature points of the occupant that indicate body parts of the occupant on the captured image based on the captured image acquired by the image acquisition unit 11, a seat information acquisition unit 13 that acquires seat information related to the seat of the vehicle, and a seating state determination unit that determines whether the occupant is away from the seat back based on the captured image acquired by the image acquisition unit 11 and the seat information acquired by the seat information acquisition unit 13. The device is configured to include a determination unit 14, an imaging distance estimation unit 151 that, when the seating state determination unit 14 determines that the occupant is away from the backrest of the seat, estimates a seat-to-occupant distance in real space between the seat and the occupant and estimates an imaging distance in real space between the imaging device 2 and the occupant based on the estimated seat-to-occupant distance and the depth from the imaging device 2 to the seat, and a physique determination unit 16 that determines the physique of the occupant using a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit 12 and the imaging distance estimated by the imaging distance estimation unit 151. Therefore, the physique determination device 1 can prevent erroneous determination of the occupant's physique when the occupant is away from the backrest of the seat.

また、以上の実施の形態１において、体格判定装置１は、撮像距離推定部１５１が推定した撮像距離に基づいて特徴点検出部１２が検出した乗員の特徴点を補正する特徴点補正部１５２を備え、体格判定部１６は、特徴点補正部１５２が補正した後の乗員の特徴点に基づき算出した体格判定用特徴量を用いて、乗員の体格を判定するように構成できる。そのため、体格判定装置１は、乗員が座席の背もたれから離れている場合おける乗員の体格の誤判定を防ぐことができる。In addition, in the above-described first embodiment, the physique determination device 1 includes a feature point correction unit 152 that corrects the feature points of the occupant detected by the feature point detection unit 12 based on the imaging distance estimated by the imaging distance estimation unit 151, and the physique determination unit 16 can be configured to determine the physique of the occupant using the feature amounts for physique determination calculated based on the feature points of the occupant corrected by the feature point correction unit 152. Therefore, the physique determination device 1 can prevent erroneous determination of the occupant's physique when the occupant is away from the backrest of the seat.

また、以上の実施の形態１において、体格判定装置１は、体格判定部１６が、特徴点検出部１２が検出した乗員の特徴点に基づき算出した体格判定用特徴量を、撮像距離推定部１５１が推定した撮像距離に基づいて補正し、補正した後の体格判定用特徴量を用いて、乗員の体格を判定するように構成できる。そのため、体格判定装置１は、乗員が座席の背もたれから離れている場合おける乗員の体格の誤判定を防ぐことができる。In addition, in the above-described first embodiment, the physique determination device 1 can be configured such that the physique determination unit 16 corrects the physique determination feature amount calculated based on the occupant's feature points detected by the feature point detection unit 12 based on the imaging distance estimated by the imaging distance estimation unit 151, and determines the occupant's physique using the corrected physique determination feature amount. Therefore, the physique determination device 1 can prevent erroneous determination of the occupant's physique when the occupant is away from the backrest of the seat.

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。 In addition, this disclosure allows for the modification of any of the components of the embodiments or the omission of any of the components of the embodiments.

以下、本開示の諸態様を付記としてまとめて記載する。 Various aspects of this disclosure are summarized below as appendices.

（付記１）
撮像装置によって車両の乗員が撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像に基づいて、前記撮像画像上で前記乗員の体の部位を示す前記乗員の特徴点を検出する特徴点検出部と、
前記車両の座席に関するシート情報を取得するシート情報取得部と、
前記画像取得部が取得した前記撮像画像と前記シート情報取得部が取得した前記シート情報とに基づき、前記乗員は前記座席の背もたれから離れているか否かを判定する着座状態判定部と、
前記着座状態判定部が前記乗員は前記座席の前記背もたれから離れていると判定した場合、前記座席と前記乗員との間の実空間上の座席乗員間距離を推定し、推定した前記座席乗員間距離と前記撮像装置から前記座席までの奥行とに基づき前記撮像装置と前記乗員との間の実空間上の撮像距離を推定する撮像距離推定部と、
前記特徴点検出部が検出した前記乗員の特徴点と前記撮像距離推定部が推定した前記撮像距離に基づき算出した体格判定用特徴量を用いて、前記乗員の体格を判定する体格判定部
とを備えた体格判定装置。
（付記２）
前記撮像距離推定部が推定した前記撮像距離に基づいて前記特徴点検出部が検出した前記乗員の前記特徴点を補正する特徴点補正部を備え、
前記体格判定部は、前記特徴点補正部が補正した後の前記乗員の前記特徴点に基づき算出した体格判定用特徴量を用いて、前記乗員の前記体格を判定する
ことを特徴とする付記１記載の体格判定装置。
（付記３）
前記体格判定部は、前記特徴点検出部が検出した前記乗員の特徴点に基づき算出した体格判定用特徴量を、前記撮像距離推定部が推定した前記撮像距離に基づいて補正し、補正した後の前記体格判定用特徴量を用いて、前記乗員の前記体格を判定する
ことを特徴とする付記１記載の体格判定装置。
（付記４）
前記着座状態判定部は、
前記画像取得部が取得した前記撮像画像上で水平方向の前記乗員の位置と、前記シート情報取得部が取得した前記シート情報に基づく位置およびリクライニング状態の前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上で水平方向の前記乗員の位置の範囲である第１基準範囲との比較によって、前記乗員は前記座席の前記背もたれから離れているか否かを判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の体格判定装置。
（付記５）
前記着座状態判定部は、前記撮像画像における前記乗員の頭位置、前記乗員の顔向き、または、前記特徴点検出部が検出した前記乗員の前記特徴点の位置から前記乗員の位置を判定する
ことを特徴とする付記４記載の体格判定装置。
（付記６）
前記着座状態判定部は、前記乗員が着座している前記座席のシートベルトの引き出し量に基づいて前記乗員の位置を判定する
ことを特徴とする付記４記載の体格判定装置。
（付記７）
前記着座状態判定部は、前記乗員が着座している前記座席の座面にかかる荷重と、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記座席の座面にかかる荷重の範囲である第２基準範囲との比較によって、前記乗員は前記座席の背もたれから離れているか否かを判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の体格判定装置。
（付記８）
前記着座状態判定部は、前記画像取得部が取得した前記撮像画像上の前記乗員の体の傾きと前記シート情報取得部が取得した前記シート情報に基づく前記座席のリクライニング角度との差分と、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上の前記乗員の体の傾きと前記座席のリクライニング角度との差分の範囲である第３基準範囲との比較によって、前記乗員は前記座席の前記背もたれから離れているか否かを判定する
ことを特徴とする付記１から付記３のうちのいずれか１つ記載の体格判定装置。
（付記９）
前記着座状態判定部が前記乗員は前記座席の前記背もたれから離れていると判定した場合、
前記撮像距離推定部は、前記座席乗員間距離と前記撮像装置から前記座席までの奥行距離とに基づき前記撮像装置から前記乗員の体の中心をあらわす点である乗員中心までの奥行を推定し、前記撮像装置の設置位置と、前記撮像装置から前記乗員中心までの奥行と、前記乗員中心の水平方向の座標とに基づいて、前記乗員中心と前記撮像装置との直線距離を、前記撮像距離として推定する
ことを特徴とする付記１から付記８のうちのいずれか１つ記載の体格判定装置。
（付記１０）
前記撮像距離推定部は、前記撮像画像上の前記乗員の位置の、前記シート情報取得部が取得した前記シート情報に基づく位置およびリクライニング状態の前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上で水平方向の前記乗員の位置の範囲である第１基準範囲からの乖離度合い、前記乗員が着座している前記座席の座面にかかる荷重の、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記座席の座面にかかる荷重の範囲である第２基準範囲からの乖離度合い、または、前記画像取得部が取得した前記撮像画像上の前記乗員の体の傾きと前記シート情報取得部が取得した前記シート情報に基づく前記座席のリクライニング角度との差分の、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上の前記乗員の体の傾きと前記座席のリクライニング角度との差分の範囲である第３基準範囲からの乖離度合いに基づいて、前記座席乗員間距離を推定する
ことを特徴とする付記１から付記９のうちのいずれか１つ記載の体格判定装置。
（付記１１）
前記撮像距離推定部は、シートベルトの引き出し量に基づいて前記座席乗員間距離を推定する
ことを特徴とする付記１から付記９のうちのいずれか１つ記載の体格判定装置。
（付記１２）
前記撮像距離推定部は、シートベルトの引き出し量と前記撮像画像に基づいて検出した前記乗員の正規着座状態におけるシートベルトの引き出し量との差分に基づいて前記座席乗員間距離を推定する
ことを特徴とする付記１から付記９のうちのいずれか１つ記載の体格判定装置。
（付記１３）
前記体格判定部は、前記撮像画像上の前記乗員の肩幅、前記乗員の腕の長さ、前記乗員の顔の高さ、または、前記乗員の座高のうちの少なくとも１つを前記体格判定用特徴量として算出する
ことを特徴とする付記１から付記１２のうちのいずれか１つ記載の体格判定装置。
（付記１４）
前記体格判定部は、前記座席の前後の位置を前記体格判定用特徴量に含める
ことを特徴とする付記１３記載の体格判定装置。
（付記１５）
前記体格判定部は、前記シート情報取得部が取得した前記シート情報に基づいて前記乗員が着座している前記座席の上下方向の位置を判定し、判定した前記座席の前記上下方向の位置に基づいて前記乗員の顔の高さを補正する
ことを特徴とする付記１３または付記１４記載の体格判定装置。
（付記１６）
画像取得部が、撮像装置によって車両の乗員が撮像された撮像画像を取得するステップと、
特徴点検出部が、前記画像取得部が取得した前記撮像画像に基づいて、前記撮像画像上で前記乗員の体の部位を示す前記乗員の特徴点を検出するステップと、
シート情報取得部が、前記車両の座席に関するシート情報を取得するステップと、
着座状態判定部が、前記画像取得部が取得した前記撮像画像と前記シート情報取得部が取得した前記シート情報とに基づき、前記乗員は前記座席の背もたれから離れているか否かを判定するステップと、
撮像距離推定部が、前記着座状態判定部が前記乗員は前記座席の前記背もたれから離れていると判定した場合、前記座席と前記乗員との間の実空間上の座席乗員間距離を推定し、推定した前記座席乗員間距離と前記撮像装置から前記座席までの奥行とに基づき前記撮像装置と前記乗員との間の実空間上の撮像距離を推定するステップと、
体格判定部が、前記特徴点検出部が検出した前記乗員の特徴点と前記撮像距離推定部が推定した前記撮像距離に基づき算出した体格判定用特徴量を用いて、前記乗員の体格を判定するステップ
とを備えた体格判定方法。 (Appendix 1)
an image acquisition unit that acquires an image of an occupant of a vehicle by an imaging device;
a feature point detection unit that detects feature points of the occupant that indicate body parts of the occupant on the captured image based on the captured image acquired by the image acquisition unit;
a seat information acquisition unit that acquires seat information related to the seats of the vehicle;
a seating state determination unit that determines whether or not the occupant is away from a backrest of the seat based on the captured image acquired by the image acquisition unit and the seat information acquired by the seat information acquisition unit;
an imaging distance estimation unit that, when the seating state determination unit determines that the occupant is away from the backrest of the seat, estimates a seat-to-occupant distance in a real space between the seat and the occupant, and estimates an imaging distance in the real space between the imaging device and the occupant based on the estimated seat-to-occupant distance and a depth from the imaging device to the seat;
a physique determination unit that determines a physique of the occupant by using a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit and the imaging distance estimated by the imaging distance estimation unit.
(Appendix 2)
a feature point correction unit that corrects the feature points of the occupant detected by the feature point detection unit based on the imaging distance estimated by the imaging distance estimation unit,
The physique determination device according to claim 1, wherein the physique determination unit determines the physique of the occupant by using a feature amount for physique determination calculated based on the feature points of the occupant after the feature point correction unit has corrected the physique of the occupant.
(Appendix 3)
the physique determination unit corrects a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit, based on the imaging distance estimated by the imaging distance estimation unit, and determines the physique of the occupant by using the corrected feature amount for physique determination.
(Appendix 4)
The seating state determination unit is
The body type determination device according to any one of Supplementary Note 1 to Supplementary Note 3, characterized in that it determines whether the occupant is away from the backrest of the seat by comparing the horizontal position of the occupant on the captured image acquired by the image acquisition unit with a position based on the seat information acquired by the seat information acquisition unit and a first reference range which is a range of the horizontal position of the occupant on the captured image that is set assuming a state in which the occupant is seated in the seat in a reclined state without moving away from the backrest.
(Appendix 5)
The body type determination device according to claim 4, wherein the seating state determination unit determines the position of the occupant from the head position of the occupant in the captured image, the facial direction of the occupant, or the positions of the feature points of the occupant detected by the feature point detection unit.
(Appendix 6)
The physical build determining device according to claim 4, wherein the seating state determining unit determines a position of the occupant based on an amount of withdrawal of a seat belt of the seat in which the occupant is seated.
(Appendix 7)
The body type determination device according to any one of Supplementary Note 1 to Supplementary Note 3, characterized in that the seating state determination unit determines whether the occupant is away from the backrest of the seat by comparing the load applied to the seat surface of the seat on which the occupant is seated with a second reference range, which is a range of load applied to the seat surface of the seat that is set assuming a state in which the occupant is seated in the seat without moving away from the backrest.
(Appendix 8)
The body type determination device described in any one of Appendix 1 to Appendix 3, characterized in that the seating state determination unit determines whether the occupant is away from the backrest of the seat by comparing the difference between the inclination of the occupant's body in the captured image acquired by the image acquisition unit and the reclining angle of the seat based on the seat information acquired by the seat information acquisition unit with a third reference range, which is a range of the difference between the inclination of the occupant's body in the captured image and the reclining angle of the seat, which is set assuming a state in which the occupant is seated in the seat without moving away from the backrest.
(Appendix 9)
When the seating state determination unit determines that the occupant is away from the backrest of the seat,
the imaging distance estimation unit estimates a depth from the imaging device to an occupant center, which is a point representing the center of the occupant's body, based on the seat-to-occupant distance and a depth distance from the imaging device to the seat, and estimates a straight-line distance between the occupant center and the imaging device as the imaging distance based on an installation position of the imaging device, the depth from the imaging device to the occupant center, and a horizontal coordinate of the occupant center.
(Appendix 10)
The imaging distance estimation unit estimates the seat-to-occupant distance based on a degree of deviation of the position of the occupant on the captured image from a position based on the seat information acquired by the seat information acquisition unit and a first reference range which is a range of the position of the occupant in a horizontal direction on the captured image set on the assumption that the occupant is seated in the seat in a reclined state without moving away from the backrest, a degree of deviation of a load applied to a seat surface of the seat on which the occupant is seated from a second reference range which is a range of a load applied to the seat surface of the seat set on the assumption that the occupant is seated in the seat without moving away from the backrest, or a degree of deviation of a difference between a tilt of the body of the occupant on the captured image acquired by the image acquisition unit and a reclining angle of the seat based on the seat information acquired by the seat information acquisition unit from a third reference range which is a range of a difference between a tilt of the body of the occupant on the captured image and a reclining angle of the seat set on the assumption that the occupant is seated in the seat without moving away from the backrest. 10. The physique determination device according to claim 1,
(Appendix 11)
The body type determination device according to any one of claims 1 to 9, wherein the imaging distance estimation unit estimates the seat-to-occupant distance based on an amount of withdrawal of a seat belt.
(Appendix 12)
The body type determination device according to any one of Supplementary Note 1 to Supplementary Note 9, wherein the imaging distance estimation unit estimates the seat-to-occupant distance based on a difference between an amount of withdrawal of a seat belt and an amount of withdrawal of the seat belt when the occupant is in a normally seated position detected based on the captured image.
(Appendix 13)
The physique determination device according to any one of Supplementary Note 1 to Supplementary Note 12, wherein the physique determination unit calculates at least one of the following features for physique determination: a shoulder width of the occupant, a length of the arm of the occupant, a face height of the occupant, or a sitting height of the occupant in the captured image.
(Appendix 14)
The physique determination device according to claim 13, wherein the physique determination unit includes a front and rear position of the seat in the physique determination feature amount.
(Appendix 15)
The physique determination device according to claim 13 or 14, wherein the physique determination unit determines a vertical position of the seat in which the occupant is seated based on the seat information acquired by the seat information acquisition unit, and corrects a height of the occupant's face based on the determined vertical position of the seat.
(Appendix 16)
An image acquisition unit acquires an image of an occupant of the vehicle by an imaging device;
a feature point detection unit detecting feature points of the occupant that indicate body parts of the occupant on the captured image based on the captured image acquired by the image acquisition unit;
A seat information acquisition unit acquires seat information related to a seat of the vehicle;
a seating state determination unit determining whether or not the occupant is away from a backrest of the seat based on the captured image acquired by the image acquisition unit and the seat information acquired by the seat information acquisition unit;
an imaging distance estimation unit, when the seating state determination unit determines that the occupant is away from the backrest of the seat, estimating a seat-to-occupant distance in a real space between the seat and the occupant, and estimating an imaging distance in the real space between the imaging device and the occupant based on the estimated seat-to-occupant distance and a depth from the imaging device to the seat;
a step of determining a physique of the occupant by a physique determination unit using a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit and the imaging distance estimated by the imaging distance estimation unit.

本開示に係る体格判定装置は、乗員が座席の背もたれから離れている場合における乗員の体格の誤判定を防ぐことができる。The physical size determination device of the present disclosure can prevent erroneous determination of an occupant's physical size when the occupant is away from the seat back.

１ 体格判定装置、１１ 画像取得部、１２ 特徴点検出部、１３ シート情報取得部、１４ 着座状態判定部、１５ 特徴点処理部、１５１ 撮像距離推定部、１５２ 特徴点補正部、１６ 体格判定部、１７ 出力部、２ 撮像装置、３ シート制御装置、４ エアバッグ制御装置、５ 報知装置、６ 表示装置、１００１ 処理回路、１００２ 入力インタフェース装置、１００３ 出力インタフェース装置、１００４ プロセッサ、１００５ メモリ。 1 Physical build determination device, 11 Image acquisition unit, 12 Feature point detection unit, 13 Seat information acquisition unit, 14 Seating state determination unit, 15 Feature point processing unit, 151 Imaging distance estimation unit, 152 Feature point correction unit, 16 Physical build determination unit, 17 Output unit, 2 Imaging device, 3 Seat control device, 4 Airbag control device, 5 Notification device, 6 Display device, 1001 Processing circuit, 1002 Input interface device, 1003 Output interface device, 1004 Processor, 1005 Memory.

Claims (16)

撮像装置によって車両の乗員が撮像された撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像に基づいて、前記撮像画像上で前記乗員の体の部位を示す前記乗員の特徴点を検出する特徴点検出部と、
前記車両の座席に関するシート情報を取得するシート情報取得部と、
前記画像取得部が取得した前記撮像画像と前記シート情報取得部が取得した前記シート情報とに基づき、前記乗員は前記座席の背もたれから離れているか否かを判定する着座状態判定部と、
前記着座状態判定部が前記乗員は前記座席の前記背もたれから離れていると判定した場合、前記座席と前記乗員との間の実空間上の座席乗員間距離を推定し、推定した前記座席乗員間距離と前記撮像装置から前記座席までの奥行とに基づき前記撮像装置と前記乗員との間の実空間上の撮像距離を推定する撮像距離推定部と、
前記特徴点検出部が検出した前記乗員の特徴点と前記撮像距離推定部が推定した前記撮像距離に基づき算出した体格判定用特徴量を用いて、前記乗員の体格を判定する体格判定部
とを備えた体格判定装置。 an image acquisition unit that acquires an image of an occupant of a vehicle by an imaging device;
a feature point detection unit that detects feature points of the occupant that indicate body parts of the occupant on the captured image based on the captured image acquired by the image acquisition unit;
a seat information acquisition unit that acquires seat information related to the seats of the vehicle;
a seating state determination unit that determines whether or not the occupant is away from a backrest of the seat based on the captured image acquired by the image acquisition unit and the seat information acquired by the seat information acquisition unit;
an imaging distance estimation unit that, when the seating state determination unit determines that the occupant is away from the backrest of the seat, estimates a seat-to-occupant distance in a real space between the seat and the occupant, and estimates an imaging distance in the real space between the imaging device and the occupant based on the estimated seat-to-occupant distance and a depth from the imaging device to the seat;
a physique determination unit that determines a physique of the occupant by using a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit and the imaging distance estimated by the imaging distance estimation unit. 前記撮像距離推定部が推定した前記撮像距離に基づいて前記特徴点検出部が検出した前記乗員の前記特徴点を補正する特徴点補正部を備え、
前記体格判定部は、前記特徴点補正部が補正した後の前記乗員の前記特徴点に基づき算出した体格判定用特徴量を用いて、前記乗員の前記体格を判定する
ことを特徴とする請求項１記載の体格判定装置。 a feature point correction unit that corrects the feature points of the occupant detected by the feature point detection unit based on the imaging distance estimated by the imaging distance estimation unit,
The physique determination device according to claim 1 , wherein the physique determination unit determines the physique of the occupant by using a feature amount for physique determination calculated based on the feature points of the occupant after the feature point correction unit has corrected the feature points. 前記体格判定部は、前記特徴点検出部が検出した前記乗員の特徴点に基づき算出した体格判定用特徴量を、前記撮像距離推定部が推定した前記撮像距離に基づいて補正し、補正した後の前記体格判定用特徴量を用いて、前記乗員の前記体格を判定する
ことを特徴とする請求項１記載の体格判定装置。 2. The physique determination device according to claim 1, wherein the physique determination unit corrects a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit, based on the imaging distance estimated by the imaging distance estimation unit, and determines the physique of the occupant using the corrected feature amount for physique determination. 前記着座状態判定部は、
前記画像取得部が取得した前記撮像画像上で水平方向の前記乗員の位置と、前記シート情報取得部が取得した前記シート情報に基づく位置およびリクライニング状態の前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上で水平方向の前記乗員の位置の範囲である第１基準範囲との比較によって、前記乗員は前記座席の前記背もたれから離れているか否かを判定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の体格判定装置。 The seating state determination unit is
4. The body type determination device according to claim 1, further comprising: a body type determination unit that determines whether the occupant is away from the backrest of the seat by comparing the horizontal position of the occupant on the captured image acquired by the image acquisition unit with a position based on the seat information acquired by the seat information acquisition unit and a first reference range, which is a range of the horizontal position of the occupant on the captured image that is set assuming a state in which the occupant is seated in the seat in a reclined state without moving away from the backrest. 前記着座状態判定部は、前記撮像画像における前記乗員の頭位置、前記乗員の顔向き、または、前記特徴点検出部が検出した前記乗員の前記特徴点の位置から前記乗員の位置を判定する
ことを特徴とする請求項４記載の体格判定装置。 The physical build determination device according to claim 4, characterized in that the seating state determination unit determines the position of the occupant from the head position of the occupant in the captured image, the facial direction of the occupant, or the positions of the feature points of the occupant detected by the feature point detection unit. 前記着座状態判定部は、前記乗員が着座している前記座席のシートベルトの引き出し量に基づいて前記乗員の位置を判定する
ことを特徴とする請求項４記載の体格判定装置。 5. The physique determination device according to claim 4, wherein the seating state determination unit determines the position of the occupant based on an amount of withdrawal of a seat belt of the seat in which the occupant is seated. 前記着座状態判定部は、前記乗員が着座している前記座席の座面にかかる荷重と、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記座席の座面にかかる荷重の範囲である第２基準範囲との比較によって、前記乗員は前記座席の背もたれから離れているか否かを判定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の体格判定装置。 The body type determination device according to any one of claims 1 to 3, characterized in that the seating state determination unit determines whether the occupant is away from the backrest of the seat by comparing the load applied to the seat surface of the seat on which the occupant is seated with a second reference range, which is a range of loads applied to the seat surface of the seat that is set assuming a state in which the occupant is seated in the seat without moving away from the backrest. 前記着座状態判定部は、前記画像取得部が取得した前記撮像画像上の前記乗員の体の傾きと前記シート情報取得部が取得した前記シート情報に基づく前記座席のリクライニング角度との差分と、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上の前記乗員の体の傾きと前記座席のリクライニング角度との差分の範囲である第３基準範囲との比較によって、前記乗員は前記座席の前記背もたれから離れているか否かを判定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の体格判定装置。 The body type determination device of any one of claims 1 to 3, characterized in that the seating state determination unit determines whether the occupant is away from the backrest of the seat by comparing the difference between the inclination of the occupant's body in the captured image acquired by the image acquisition unit and the reclining angle of the seat based on the seat information acquired by the seat information acquisition unit with a third reference range, which is the range of the difference between the inclination of the occupant's body in the captured image and the reclining angle of the seat, which is set assuming a state in which the occupant is seated in the seat without moving away from the backrest. 前記着座状態判定部が前記乗員は前記座席の前記背もたれから離れていると判定した場合、
前記撮像距離推定部は、前記座席乗員間距離と前記撮像装置から前記座席までの奥行距離とに基づき前記撮像装置から前記乗員の体の中心をあらわす点である乗員中心までの奥行を推定し、前記撮像装置の設置位置と、前記撮像装置から前記乗員中心までの奥行と、前記乗員中心の水平方向の座標とに基づいて、前記乗員中心と前記撮像装置との直線距離を、前記撮像距離として推定する
ことを特徴とする請求項１記載の体格判定装置。 When the seating state determination unit determines that the occupant is away from the backrest of the seat,
2. The body type determination device according to claim 1, wherein the imaging distance estimation unit estimates a depth from the imaging device to an occupant center, which is a point representing the center of the occupant's body, based on the seat-to-occupant distance and a depth distance from the imaging device to the seat, and estimates a straight-line distance between the occupant center and the imaging device as the imaging distance based on an installation position of the imaging device, the depth from the imaging device to the occupant center, and a horizontal coordinate of the occupant center. 前記撮像距離推定部は、前記撮像画像上の前記乗員の位置の、前記シート情報取得部が取得した前記シート情報に基づく位置およびリクライニング状態の前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上で水平方向の前記乗員の位置の範囲である第１基準範囲からの乖離度合い、前記乗員が着座している前記座席の座面にかかる荷重の、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記座席の座面にかかる荷重の範囲である第２基準範囲からの乖離度合い、または、前記画像取得部が取得した前記撮像画像上の前記乗員の体の傾きと前記シート情報取得部が取得した前記シート情報に基づく前記座席のリクライニング角度との差分の、前記座席にて前記乗員が前記背もたれから離れることなく着座している状態を想定して設定された前記撮像画像上の前記乗員の体の傾きと前記座席のリクライニング角度との差分の範囲である第３基準範囲からの乖離度合いに基づいて、前記座席乗員間距離を推定する
ことを特徴とする請求項１記載の体格判定装置。 The imaging distance estimation unit estimates the seat-to-occupant distance based on a degree of deviation of the position of the occupant on the captured image from a position based on the seat information acquired by the seat information acquisition unit and a first reference range which is a range of the position of the occupant in a horizontal direction on the captured image set on the assumption that the occupant is seated in the seat in a reclined state without moving away from the backrest, a degree of deviation of a load applied to a seat surface of the seat on which the occupant is seated from a second reference range which is a range of a load applied to the seat surface of the seat set on the assumption that the occupant is seated in the seat without moving away from the backrest, or a degree of deviation of a difference between a tilt of the body of the occupant on the captured image acquired by the image acquisition unit and a reclining angle of the seat based on the seat information acquired by the seat information acquisition unit from a third reference range which is a range of a difference between a tilt of the body of the occupant on the captured image and a reclining angle of the seat set on the assumption that the occupant is seated in the seat without moving away from the backrest. 2. The apparatus for determining physical constitution according to claim 1. 前記撮像距離推定部は、シートベルトの引き出し量に基づいて前記座席乗員間距離を推定する
ことを特徴とする請求項１記載の体格判定装置。 2. The physique determination device according to claim 1, wherein the imaging distance estimation unit estimates the seat-to-occupant distance based on an amount of withdrawal of a seat belt. 前記撮像距離推定部は、シートベルトの引き出し量と前記撮像画像に基づいて検出した前記乗員の正規着座状態におけるシートベルトの引き出し量との差分に基づいて前記座席乗員間距離を推定する
ことを特徴とする請求項１記載の体格判定装置。 2. The physical type determination device according to claim 1, wherein the imaging distance estimation unit estimates the seat-to-occupant distance based on a difference between an amount of seat belt withdrawal and an amount of seat belt withdrawal when the occupant is in a normal seated position detected based on the captured image. 前記体格判定部は、前記撮像画像上の前記乗員の肩幅、前記乗員の腕の長さ、前記乗員の顔の高さ、または、前記乗員の座高のうちの少なくとも１つを前記体格判定用特徴量として算出する
ことを特徴とする請求項１記載の体格判定装置。 The physique determination device according to claim 1, characterized in that the physique determination unit calculates at least one of the occupant's shoulder width, the occupant's arm length, the occupant's face height, or the occupant's sitting height in the captured image as the physique determination feature. 前記体格判定部は、前記座席の前後の位置を前記体格判定用特徴量に含める
ことを特徴とする請求項１３記載の体格判定装置。 The physique determination device according to claim 13 , wherein the physique determination unit includes a front and rear position of the seat in the physique determination feature amount. 前記体格判定部は、前記シート情報取得部が取得した前記シート情報に基づいて前記乗員が着座している前記座席の上下方向の位置を判定し、判定した前記座席の前記上下方向の位置に基づいて前記乗員の顔の高さを補正する
ことを特徴とする請求項１３または請求項１４記載の体格判定装置。 The physique determination device according to claim 13 or 14, characterized in that the physique determination unit determines a vertical position of the seat in which the occupant is seated based on the seat information acquired by the seat information acquisition unit, and corrects the height of the occupant's face based on the determined vertical position of the seat. 画像取得部が、撮像装置によって車両の乗員が撮像された撮像画像を取得するステップと、
特徴点検出部が、前記画像取得部が取得した前記撮像画像に基づいて、前記撮像画像上で前記乗員の体の部位を示す前記乗員の特徴点を検出するステップと、
シート情報取得部が、前記車両の座席に関するシート情報を取得するステップと、
着座状態判定部が、前記画像取得部が取得した前記撮像画像と前記シート情報取得部が取得した前記シート情報とに基づき、前記乗員は前記座席の背もたれから離れているか否かを判定するステップと、
撮像距離推定部が、前記着座状態判定部が前記乗員は前記座席の前記背もたれから離れていると判定した場合、前記座席と前記乗員との間の実空間上の座席乗員間距離を推定し、推定した前記座席乗員間距離と前記撮像装置から前記座席までの奥行とに基づき前記撮像装置と前記乗員との間の実空間上の撮像距離を推定するステップと、
体格判定部が、前記特徴点検出部が検出した前記乗員の特徴点と前記撮像距離推定部が推定した前記撮像距離に基づき算出した体格判定用特徴量を用いて、前記乗員の体格を判定するステップ
とを備えた体格判定方法。 An image acquisition unit acquires an image of an occupant of the vehicle by an imaging device;
a feature point detection unit detecting feature points of the occupant that indicate body parts of the occupant on the captured image based on the captured image acquired by the image acquisition unit;
A seat information acquisition unit acquires seat information related to a seat of the vehicle;
a seating state determination unit determining whether or not the occupant is away from a backrest of the seat based on the captured image acquired by the image acquisition unit and the seat information acquired by the seat information acquisition unit;
an imaging distance estimation unit, when the seating state determination unit determines that the occupant is away from the backrest of the seat, estimating a seat-to-occupant distance in a real space between the seat and the occupant, and estimating an imaging distance in the real space between the imaging device and the occupant based on the estimated seat-to-occupant distance and a depth from the imaging device to the seat;
a step of determining a physique of the occupant by a physique determination unit using a feature amount for physique determination calculated based on the feature points of the occupant detected by the feature point detection unit and the imaging distance estimated by the imaging distance estimation unit.
JP2024521443A 2022-05-18 2022-05-18 Physique determination device and physique determination method Active JP7500001B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/020599 WO2023223442A1 (en) 2022-05-18 2022-05-18 Physique determination device and physique determination method

Publications (2)

Publication Number Publication Date
JPWO2023223442A1 JPWO2023223442A1 (en) 2023-11-23
JP7500001B2 true JP7500001B2 (en) 2024-06-14

Family

ID=88834890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024521443A Active JP7500001B2 (en) 2022-05-18 2022-05-18 Physique determination device and physique determination method

Country Status (2)

Country Link
JP (1) JP7500001B2 (en)
WO (1) WO2023223442A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003118531A (en) 2001-10-16 2003-04-23 Denso Corp Occupant position detecting device for vehicle
JP2006176075A (en) 2004-12-24 2006-07-06 Tkj Kk Detection system, occupant protection device, vehicle and detection method
JP2007055294A (en) 2005-08-22 2007-03-08 Tokai Rika Co Ltd Occupant detection apparatus for vehicle
JP2018083561A (en) 2016-11-25 2018-05-31 アイシン精機株式会社 Occupant information detection device and program
JP2018096946A (en) 2016-12-16 2018-06-21 アイシン精機株式会社 Occupant detection device
JP2021066276A (en) 2019-10-18 2021-04-30 株式会社デンソー Device for determining physique of occupant
EP4112372A1 (en) 2021-07-01 2023-01-04 Harman International Industries, Incorporated Method and system for driver posture monitoring

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003118531A (en) 2001-10-16 2003-04-23 Denso Corp Occupant position detecting device for vehicle
JP2006176075A (en) 2004-12-24 2006-07-06 Tkj Kk Detection system, occupant protection device, vehicle and detection method
JP2007055294A (en) 2005-08-22 2007-03-08 Tokai Rika Co Ltd Occupant detection apparatus for vehicle
JP2018083561A (en) 2016-11-25 2018-05-31 アイシン精機株式会社 Occupant information detection device and program
JP2018096946A (en) 2016-12-16 2018-06-21 アイシン精機株式会社 Occupant detection device
JP2021066276A (en) 2019-10-18 2021-04-30 株式会社デンソー Device for determining physique of occupant
EP4112372A1 (en) 2021-07-01 2023-01-04 Harman International Industries, Incorporated Method and system for driver posture monitoring

Also Published As

Publication number Publication date
WO2023223442A1 (en) 2023-11-23
JPWO2023223442A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
US20070289799A1 (en) Vehicle occupant detecting system
US11380009B2 (en) Physique estimation device and posture estimation device
US10706585B2 (en) Eyeball information estimation device, eyeball information estimation method, and eyeball information estimation program
US11037006B2 (en) Occupant detection device
EP3545818B1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
JP2018083561A (en) Occupant information detection device and program
JP6479272B1 (en) Gaze direction calibration apparatus, gaze direction calibration method, and gaze direction calibration program
CN110537207B (en) Face orientation estimating device and face orientation estimating method
JPWO2019180876A1 (en) Physical constitution estimation device and physical constitution estimation method
JP2018060466A (en) Image processing apparatus, detection apparatus, learning apparatus, image processing method, and image processing program
US11915495B2 (en) Information processing apparatus, and recording medium
JP6587254B2 (en) Luminance control device, luminance control system, and luminance control method
JP7500001B2 (en) Physique determination device and physique determination method
JP2018101212A (en) On-vehicle device and method for calculating degree of face directed to front side
JP2018151930A (en) Driver state estimation device and driver state estimation method
KR101976498B1 (en) System and method for gesture recognition of vehicle
JP7479575B2 (en) Physique estimation device and physique estimation method
WO2022180706A1 (en) Physique determination device and physique determination method
CN114103961A (en) Face information acquisition apparatus and face information acquisition method
WO2024034109A1 (en) Physique determination device and physique determination method
JP2021056968A (en) Object determination apparatus
JP7134384B1 (en) Deviation amount detection device, deviation amount detection method, and driver monitoring system
WO2023084738A1 (en) Physique determination device and physique determination method
JP2016175509A (en) Face direction detection device and face direction detection method
JP7301256B2 (en) Face direction determination device and face direction determination method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240411

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240604

R150 Certificate of patent or registration of utility model

Ref document number: 7500001

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150