JP2021103092A - Seat posture detection device - Google Patents
Seat posture detection device Download PDFInfo
- Publication number
- JP2021103092A JP2021103092A JP2019233493A JP2019233493A JP2021103092A JP 2021103092 A JP2021103092 A JP 2021103092A JP 2019233493 A JP2019233493 A JP 2019233493A JP 2019233493 A JP2019233493 A JP 2019233493A JP 2021103092 A JP2021103092 A JP 2021103092A
- Authority
- JP
- Japan
- Prior art keywords
- seat
- vehicle
- posture
- information
- distance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000009958 sewing Methods 0.000 claims description 11
- 230000036544 posture Effects 0.000 description 93
- 238000003384 imaging method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 239000000463 material Substances 0.000 description 14
- 238000000034 method Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012417 linear regression Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000004677 Nylon Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、シート姿勢検出装置に関する。 An embodiment of the present invention relates to a seat posture detecting device.
従来、車両の乗員が着座する車載シートには、車載シートの前後位置を検出するシートポジションセンサが内蔵されることがある。 Conventionally, an in-vehicle seat on which a vehicle occupant sits may have a built-in seat position sensor that detects the front-rear position of the in-vehicle seat.
シートポジションセンサは、たとえば抵抗式のセンサであり、車載シートを前後方向にスライド可能に支持するシートレールに接続される。シートポジションセンサは、車載シートが前後方向にスライドされることにより抵抗値が変化するように構成されており、この抵抗値と車載シートの前後方向の位置とを対応させることで、車載シートの前後位置を検出することが可能となっている。 The seat position sensor is, for example, a resistance type sensor, and is connected to a seat rail that slidably supports an in-vehicle seat in the front-rear direction. The seat position sensor is configured so that the resistance value changes as the vehicle-mounted seat slides in the front-rear direction. By matching this resistance value with the position of the vehicle-mounted seat in the front-rear direction, the front and rear of the vehicle-mounted seat It is possible to detect the position.
しかしながら、シートポジションセンサの検出精度は、車載シートの位置が前方および後方のいずれであるかを判別できる程度であり、高い検出精度が求められるシチュエーションに対応することが困難である。 However, the detection accuracy of the seat position sensor is such that it is possible to determine whether the position of the in-vehicle seat is front or rear, and it is difficult to cope with a situation where high detection accuracy is required.
そこで、本発明の課題の一つは、車載シートの姿勢を高い精度で検出することができるシート姿勢検出装置を提供することにある。 Therefore, one of the problems of the present invention is to provide a seat posture detecting device capable of detecting the posture of an in-vehicle seat with high accuracy.
本発明の実施形態に係るシート姿勢検出装置は、一例として、距離画像カメラによって撮像された車載シートの画像を取得する取得部と、取得部によって取得された画像に基づき、車載シートの姿勢を検出する検出部とを備える。よって、一例としては、たとえばシートポジションセンサのように抵抗値を用いた間接的な検出手法と異なり、車載シートの姿勢を画像から直接検出することができる。また、距離画像カメラは、対象物である車載シートを3次元的に捉えることができるため、対象物を2次元的に捉える通常のカメラを用いる場合と比較して得られる情報量が多い。したがって、実施形態に係るシート姿勢検出装置によれば、車載シートの姿勢を高い精度で検出することができる。 As an example, the seat posture detection device according to the embodiment of the present invention detects the posture of the vehicle-mounted seat based on an acquisition unit that acquires an image of the vehicle-mounted seat captured by a distance image camera and an image acquired by the acquisition unit. It is provided with a detection unit to be used. Therefore, as an example, unlike an indirect detection method using a resistance value such as a seat position sensor, the posture of an in-vehicle seat can be directly detected from an image. Further, since the distance image camera can capture the in-vehicle seat which is the object in three dimensions, the amount of information obtained is larger than that in the case of using a normal camera which captures the object in two dimensions. Therefore, according to the seat posture detecting device according to the embodiment, the posture of the vehicle-mounted seat can be detected with high accuracy.
上記シート姿勢検出装置は、一例として、車載シートに設けられ、距離画像カメラから照射される光を反射する反射部材をさらに備える。よって、一例としては、車載シートの表面が距離画像カメラから照射される光を吸収する素材で覆われている場合であっても、車載シートに設けられた反射部材を車載シートの一部として捉えることができる。したがって、車載シートの表面素材に依らず、車載シートの姿勢を高い精度で検出することができる。 As an example, the seat posture detecting device is further provided with a reflecting member provided on an in-vehicle seat and reflecting light emitted from a distance image camera. Therefore, as an example, even when the surface of the vehicle-mounted seat is covered with a material that absorbs the light emitted from the distance image camera, the reflective member provided on the vehicle-mounted seat is regarded as a part of the vehicle-mounted seat. be able to. Therefore, the posture of the vehicle-mounted seat can be detected with high accuracy regardless of the surface material of the vehicle-mounted seat.
上記シート姿勢検出装置において、反射部材は、一例として、車載シートの縫い糸である。よって、一例としては、車載シートの意匠性を損なうことなく、距離画像カメラに映る目印を車載シートに設けることができる。また、縫い糸は車載シートの形状に沿って車載シートに縫い付けられることから、車載シートの輪郭を適切に捉えることができる。また、縫い糸は長尺状であるため、乗員等によって一部が隠れることが全体的な隠れは生じ難い。すなわち、隠れていない残りの部分を用いて車載シートの姿勢を検出することが可能である。 In the seat posture detecting device, the reflective member is, for example, a sewing thread for an in-vehicle seat. Therefore, as an example, the mark to be reflected on the distance image camera can be provided on the vehicle-mounted seat without impairing the design of the vehicle-mounted seat. Further, since the sewing thread is sewn to the vehicle-mounted seat along the shape of the vehicle-mounted seat, the contour of the vehicle-mounted seat can be appropriately captured. In addition, since the sewing thread has a long shape, it is unlikely that a part of the sewing thread will be hidden by an occupant or the like, but the whole will be hidden. That is, it is possible to detect the posture of the vehicle-mounted seat using the remaining portion that is not hidden.
上記シート姿勢検出装置において、検出部は、一例として、画像に基づいて車載シートの輪郭の回帰直線を算出し、算出した回帰直線を用いて車載シートの姿勢を検出する。よって、一例としては、比較的少ない処理負荷で、車載シートの姿勢を検出することができる。 In the seat posture detection device, as an example, the detection unit calculates a regression line of the contour of the vehicle-mounted seat based on an image, and detects the posture of the vehicle-mounted seat using the calculated regression line. Therefore, as an example, the posture of the vehicle-mounted seat can be detected with a relatively small processing load.
上記シート姿勢検出装置において、検出部は、一例として、距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像と、このシートの姿勢とを教師データとして機械学習された学習モデルを用い、取得部によって取得された画像から推定される車載シートの姿勢を出力する。よって、一例としては、隠れに強いなどロバスト性の高い検出を行うことができる。 In the seat posture detection device, as an example, the detection unit uses a learning image based on a sheet image captured in the past by a distance image camera and a learning model machine-learned using the seat posture as teacher data. , The posture of the vehicle-mounted seat estimated from the image acquired by the acquisition unit is output. Therefore, as an example, it is possible to perform detection with high robustness such as strong hiding.
以下に、本願に係るシート姿勢検出装置を実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係るシート姿勢検出装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, a mode for carrying out the seat posture detecting device according to the present application (hereinafter, referred to as “the embodiment”) will be described in detail with reference to the drawings. The seat posture detecting device according to the present application is not limited to this embodiment. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate description is omitted.
(第1実施形態)
〔1.車両1の構成〕
図1は、第1実施形態に係るシート姿勢検出装置が搭載される車両1の車室内を上方から見た平面図である。図1に示すように、車両1の車室内には、複数の車載シート2が搭載されている。たとえば、車室内の前方側には運転席シート2aおよび助手席シート2bが設けられ、後方側には複数の後部シート2c〜2eが設けられる。複数の後部シート2c〜2eのうち、後部シート2cは、運転席シート2aの後方に設けられ、後部シート2dは、助手席シート2bの後方に設けられ、後部シート2eは、後部シート2cと後部シート2dとの間に設けられる。
(First Embodiment)
[1. Configuration of vehicle 1]
FIG. 1 is a plan view of the interior of the
車室内の前方側には、距離画像カメラ3が設けられる。距離画像カメラ3は、対象物までの距離を計測可能な撮像装置である。距離画像カメラ3は、たとえば、TOF(Time Of Flight)カメラである。TOFカメラとしての距離画像カメラ3は、近赤外光をパルス状に照射し、照射した近赤外光の対象物からの反射時間に基づいて対象物までの距離を画素ごとに計測する。
A
TOFカメラとしての距離画像カメラ3は、輝度画像および距離画像を出力する。輝度画像は、輝度値を画素値とする画像(近赤外画像)である。また、距離画像は、距離画像カメラ3(撮像位置)からの距離を画素値とする画像である。距離画像カメラ3は、これら輝度画像および距離画像を同一光軸(同一画角)の画像として出力する。
The
第1実施形態において、距離画像カメラ3は、車室内の全ての車載シート2を撮像可能なように向き、画角および設置位置等が決められる。たとえば、距離画像カメラ3は、ダッシュボード、ルームミラー、天井等に設置され得る。なお、これに限らず、距離画像カメラ3は、特定の車載シート2のみを撮像可能な位置に配置されてもよい。
In the first embodiment, the
ここでは、1台の距離画像カメラ3を用いて輝度画像および距離画像の両方を撮像するものとするが、車両1には、たとえば、輝度画像を撮像する撮像装置と距離画像を撮像する撮像装置とが別々に設けられてもよい。また、距離画像を撮像する撮像装置は、TOF方式に限らず、ステレオビジョン方式、ストラクチャードライト方式、レーザ三角測量方式等の他の3Dイメージング方式の撮像装置であってもよい。
Here, it is assumed that both the luminance image and the distance image are captured by using one
〔2.制御システム100の構成〕
車両1には、制御システム100(シート姿勢検出装置の一例)が設けられる。かかる制御システム100の構成について図2を参照して説明する。図2は、第1実施形態に係る制御システム100の構成を示すブロック図である。
[2. Configuration of control system 100]
The
図2に示すように、制御システム100は、距離画像カメラ3と、複数のエアバッグ装置8(制御対象となる車載機器の一例)と、ECU10と、車内ネットワーク20とを備える。
As shown in FIG. 2, the
距離画像カメラ3は、たとえばNTSC(National Television System Committee)ケーブル等の出力線を介してECU10に接続され、撮像した輝度画像および距離画像を出力線を介してECU10に出力する。
The
エアバッグ装置8は、車両1の衝突時などにエアバッグを展開することによって、車載シート2に着座した乗員を衝撃から保護する。実施形態に係るエアバッグ装置8は、エアバッグの展開力を変更することが可能である。
The
ECU10は、車内ネットワーク20を介して制御信号を送ることにより、たとえばエアバッグ装置8を制御してエアバッグの展開力を変更することができる。その他、ECU10は、ブレーキシステムの制御、操舵システムの制御等を実行し得る。
By sending a control signal via the in-
ECU10は、たとえば、CPU(Central Processing Unit)11と、SSD(Solid State Drive)12と、ROM(Read Only Memory)13と、RAM(Random Access Memory)14とを備える。CPU11は、ROM13等の不揮発性の記憶装置にインストールされ記憶されたプログラムを実行することによって、シート姿勢検出装置としての機能を実現する。RAM14は、CPU11での演算で用いられる各種のデータを一時的に記憶する。SSD12は、書き換え可能な不揮発性の記憶装置であって、ECU10の電源がオフされた場合にあってもデータを記憶することができる。CPU11、ROM13、およびRAM14等は、同一パッケージ内に集積され得る。ECU10は、CPU11に替えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。SSD12に替えてHDD(Hard Disk Drive)が設けられてもよいし、SSD12またはHDDは、ECU10とは別に設けられてもよい。
The
〔3.ECU10の機能的構成〕
次に、ECU10の機能的構成について図3を参照して説明する。図3は、第1実施形態に係るECU10の機能的構成を示すブロック図である。
[3. Functional configuration of ECU 10]
Next, the functional configuration of the
図3に示すように、ECU10は、取得部31と、点群生成部32と、2次元投影部33と、シート姿勢検出部34と、機器制御部35と、記憶部50とを備える。取得部31、点群生成部32、2次元投影部33、シート姿勢検出部34および機器制御部35は、CPU11が、ROM13に格納されたプログラムを実行することによって実現される。なお、これらの構成は、ハードウェア回路にて実現されてもよい。記憶部50は、たとえばSSD12により構成される。
As shown in FIG. 3, the
取得部31は、距離画像カメラ3によって撮像された輝度画像および距離画像を距離画像カメラ3から取得する。取得部31は、取得した輝度画像および距離画像を記憶部50に記憶する(図3中、輝度画像51および距離画像52に相当)。
The
距離画像カメラ3によって撮像された輝度画像51および距離画像52は、車載シート2の姿勢検出に用いられる。ここで、TOFカメラとしての距離画像カメラ3は、近赤外光を用いて車載シート2の撮像を行うが、車載シート2の表面が革などの近赤外光を吸収し易い(反射しにくい)素材で覆われていると、輝度画像51および距離画像52に車載シート2が映りにくくなる。この場合、輝度画像51および距離画像52を用いた車載シート2の姿勢検出が困難となる。
The
そこで、第1実施形態に係るシート姿勢検出装置は、距離画像カメラ3から照射される光(ここでは、近赤外光)を反射する反射部材を車載シート2に設けることで、車載シート2の素材に依らず、車載シート2の姿勢検出を行うことができるようにしている。
Therefore, in the seat posture detecting device according to the first embodiment, the vehicle-mounted
この点について、図4および図5を参照して説明する。図4は、車載シート2に設けられる反射部材の一例を示す図である。また、図5は、輝度画像51の一例を示す図である。
This point will be described with reference to FIGS. 4 and 5. FIG. 4 is a diagram showing an example of a reflective member provided on the vehicle-mounted
図4に示すように、反射部材5は、たとえば車載シート2の背もたれ21に設けられる。第1実施形態に係る反射部材5は、車載シート2の縫い糸であり、たとえば背もたれ21の上部(ヘッドレスト22側の端部)から下部(座部23側の端部)に向かう方向に沿って直線状に延在する。
As shown in FIG. 4, the
このように、反射部材5を直線状とすることで、シート姿勢の1つである車載シート2のリクライニング角度の検出が容易となる。また、反射部材5を直線状とすることで、たとえば乗員等によって反射部材5の一部が隠れることはあっても、反射部材5の全体的な隠れは生じ難く、隠れていない部分を用いて車載シート2の姿勢を検出することが可能である。
By making the
なお、反射部材5は、必ずしも直線状であることを要しない。たとえば、反射部材5は面上であってもよい。その他、反射部材5の形状は、少なくとも後述するシート姿勢検出部34による直線回帰分析が可能なものであれば特に限定されない。
The
反射部材5は、近赤外光を反射する素材、たとえば化学繊維、一例として、ポリエステル、ナイロンなどにより形成される。なお、反射部材5の素材は、少なくとも車載シート2の表面素材よりも近赤外光の反射率が高い素材であればよい。
The
図5に示すように、反射部材5は、車載シート2の側面に設けられることが好ましい。車載シート2の側面に反射部材5を設けることで、車載シート2に着座した乗員によって反射部材5が隠れてしまうことを抑制することができる。なお、図5に示す注目領域Rについては後述する。
As shown in FIG. 5, the
ここでは、距離画像カメラ3がTOFカメラである場合、すなわち、距離画像カメラ3から照射される光が近赤外光であって、反射部材5が、かかる近赤外光を反射する素材で形成される場合の例を示した。これに限らず、反射部材5の特性は、距離画像カメラ3の方式に応じて適宜決定されればよい。たとえば、距離画像カメラ3がストラクチャードライト方式のものである場合、周囲が暗かったり対象物が黒っぽかったりすると、対象物が映りにくいことから、反射部材5は、対象物(車載シート2)よりも明るい色彩の素材で形成されることが好ましい。
Here, when the
図3に戻り、点群生成部32について説明する。点群生成部32は、記憶部50に記憶された輝度画像51、距離画像52および撮像環境情報53に基づき、幾何学的計算を行うことにより、3次元絶対座標系における車載シート2の3次元点群情報を生成する。
Returning to FIG. 3, the point
撮像環境情報53は、後述する3次元絶対座標系における距離画像カメラ3の位置、姿勢の他、レンズの種類、撮像時における各種パラメータの値を含む情報である。撮像環境情報53を用いることで、車載シート2の座標を、距離画像カメラ3の撮像位置とは異なる位置を原点とする3次元絶対座標系における3次元座標で表すことができる。
The
図6は、車載シート2の3次元点群情報54の一例を示す図である。なお、図6では、理解を容易にするために、車載シート2の全体的な形状が点群によって示される場合の例を示している。
FIG. 6 is a diagram showing an example of the three-dimensional
図6に示す3次元絶対座標系は、距離画像カメラ3の撮像位置PCと異なる位置を原点POとする3次元座標系である。3次元絶対座標系における3次元座標の値は、3次元絶対座標系の原点PO(0,0,0)から対象物(ここでは、車載シート2)の各点までの実際の距離の値である。
The three-dimensional absolute coordinate system shown in FIG. 6 is a three-dimensional coordinate system in which the origin PO is a position different from the imaging position PC of the
このように、シート姿勢検出装置は、距離画像カメラ3の位置、向き、レンズの種類といった撮像環境に依存する2次元座標系で表された輝度画像51および距離画像52における座標を、かかる撮像環境に依存しない3次元絶対座標系における3次元座標に変換する。これにより、個々の環境に応じた機械学習やパラメータ適合等が不要となるため、汎用性の高いシート姿勢検出ロジックを構築することができる。すなわち、いかなる撮像環境においても、その環境に応じた機械学習を行うことなく、車載シート2の姿勢を検出することが可能となる。
As described above, the seat posture detecting device obtains the coordinates in the
点群生成部32によって生成される3次元点群情報は、車載シート2の表面の形状を表す多数の点の集合である。3次元点群の生成手法については、いかなる公知技術を用いても構わない。点群生成部32は、生成した3次元点群情報から注目領域R(図5参照)に含まれる点群を切り出して記憶部50に記憶する(図3中、3次元点群情報54に相当)。注目領域Rは、車載シート2の一部を含む領域、具体的には、反射部材5を含む領域である。
The three-dimensional point cloud information generated by the point
2次元投影部33は、記憶部50に記憶された3次元点群情報54を2次元平面に投影することにより、2次元点群情報を生成する。2次元投影部33は、生成した2次元点群情報を記憶部50に記憶する(図3中、2次元点群情報55に相当)。
The two-
このように、3次元点群情報54を2次元点群情報55に変換することにより、情報量を削減することができるため、シート姿勢検出部34の処理負荷を抑えることができる。
By converting the three-dimensional
図7は、車載シート2に設けられた反射部材5の2次元点群情報55の一例を示す図である。図7では、理解を容易にするために、3次元点群情報54をYZ平面(車両1の側方から車両1を見た平面)に投影した2次元点群情報55の例を示している。これに限らず、2次元投影部33は、3次元点群情報54をXY平面に投影した2次元点群情報55を生成してもよいし、XZ平面に投影した2次元点群情報55を生成してもよい。
FIG. 7 is a diagram showing an example of the two-dimensional
図6では、車載シート2の形状がはっきりと示された3次元点群情報54を示したが、上述したように、車載シート2の表面素材が近赤外光を吸収する素材で形成されている場合、車載シート2の3次元点群情報54が得られないおそれがある。このような場合であっても、車載シート2に反射部材5を設けておくことで、仮に車載シート2自体の3次元点群情報54が得られない場合であっても、図7に示すように、かかる反射部材5の2次元点群情報55を車載シート2の一部の2次元点群情報55として取得することができる。
FIG. 6 shows the three-dimensional
シート姿勢検出部34は、記憶部50に記憶された2次元点群情報55に基づき、車載シート2の姿勢を検出する。
The seat
シート姿勢検出部34は、車載シート2の姿勢として、車載シート2のリクライニング角度およびシート位置の2つを検出する。リクライニング角度とは、背もたれ21の角度のことであり、シート位置とは、車両1の前後方向における車載シート2の位置のことである。
The seat
第1の実施形態に係るシート姿勢検出部34は、2次元点群情報55に対し直線回帰分析を行うことにより、車載シート2のリクライニング角度およびシート位置を検出する。
The seat
この点について図8を参照して説明する。図8は、直線回帰分析を用いたシート姿勢検出処理を説明するための図である。 This point will be described with reference to FIG. FIG. 8 is a diagram for explaining a seat posture detection process using linear regression analysis.
図8に示すように、シート姿勢検出部34は、2次元点群情報55に対して直線回帰分析を行うことにより、車載シート2の輪郭の回帰直線を算出する。具体的には、2次元点群情報55によって示される点群の回帰直線Lを、車載シート2の輪郭の回帰直線として算出する。
As shown in FIG. 8, the seat
この際、シート姿勢検出部34は、2次元点群情報55によって示される点群から、車載シート2の輪郭を示す点群を抽出し、抽出した点群の回帰直線を算出してもよい。たとえば、2次元点群情報55によって示される点群のうち、点群の密度が閾値以上である領域に含まれる点群を抽出して直線回帰分析に用いてもよい。
At this time, the seat
直線回帰分析としては、たとえば、RANSAC(Random Sample Consensus)を用いることができる。また、最小メジアン法(LMedS:Least Median of Squares)やM推定(M-estimation)などのRANSAC以外のロバスト推定が用いられてもよい。 As the linear regression analysis, for example, RANSAC (Random Sample Consensus) can be used. In addition, robust estimation other than RANSAC such as the minimum median method (LMedS: Least Median of Squares) and M estimation (M-estimation) may be used.
シート姿勢検出部34は、算出した回帰直線Lの傾きを車載シート2のリクライニング角度として検出する。なお、これに限らず、シート姿勢検出部34は、回帰直線Lの傾きとリクライニング角度とを予め対応付けた変換情報56とを用いて、回帰直線Lの傾きをリクライニング角度に変換してもよい。
The seat
また、シート姿勢検出部34は、回帰直線LとY軸との交点(Y切片)の座標y1(Y座標)を算出する。そして、シート姿勢検出部34は、算出したY切片の座標y1と、回帰直線のY切片とシート位置とを予め対応付けた変換情報56とを用いて、算出したY切片の座標y1をシート位置に変換する。
Further, the seat
変換情報56は、実験等により作成されるものとする。変換情報56は、テーブル情報であってもよいし、変換式であってもよい。
The
ここでは、Y切片の座標をシート位置に変換することとしたが、使用する切片はY切片以外の切片であってもよい。たとえば、シート姿勢検出部34は、回帰直線LとZ軸との交点(Z切片)の座標をシート位置に変換してもよい。この場合の変換情報56は、回帰直線のY切片とシート位置とを対応付けた情報である。
Here, the coordinates of the Y-intercept are converted to the sheet position, but the intercept to be used may be an intercept other than the Y-intercept. For example, the seat
シート姿勢検出部34は、検出したリクライニング角度およびシート位置を含むシート姿勢情報を記憶部50に記憶する(図3中、シート姿勢情報57に相当)。
The seat
機器制御部35は、記憶部50に記憶されたシート姿勢情報57に基づき、車両1に搭載される各種機器の制御を行う。一例として、機器制御部35は、シート姿勢情報57に基づき、エアバッグ装置8を制御することにより、エアバッグの展開力を変更する。また、機器制御部35は、シート姿勢情報57に基づき、シートベルト装置を制御することにより、シートベルトの拘束力を変更してもよい。
The
このように、車載シート2のリクライニング角度やシート位置に応じて、エアバッグの展開力やシートベルトの拘束力を変化させることで、乗員の安全性を高めることができる。
In this way, the safety of the occupant can be enhanced by changing the deploying force of the airbag and the binding force of the seat belt according to the reclining angle and the seat position of the vehicle-mounted
〔4.ECU10の具体的動作〕
次に、ECU10の具体的動作について図9を参照して説明する。図9は、第1実施形態に係るECU10が実行する処理の手順を示すフローチャートである。
[4. Specific operation of ECU 10]
Next, the specific operation of the
図9に示すように、まず、取得部31が、距離画像カメラ3から輝度画像51および距離画像52を取得し(ステップS101)、点群生成部32が、輝度画像51、距離画像52および撮像環境情報53に基づき、3次元点群情報を生成する(ステップS102)。また、点群生成部32は、生成した3次元点群情報から、反射部材5を含む注目領域Rを切り出す(ステップS103)。
As shown in FIG. 9, first, the
つづいて、2次元投影部33が、切り出された3次元点群情報54を2次元平面に投影することにより、2次元点群情報55を生成する(ステップS104)。
Subsequently, the two-
つづいて、シート姿勢検出部34が、2次元点群情報55に基づき回帰直線Lを算出する(ステップS105)。そして、シート姿勢検出部34は、回帰直線Lの角度に基づきリクライニング角度を検出し(ステップS106)、回帰直線Lの切片に基づきシート位置を検出する(ステップS107)。
Subsequently, the seat
そして、機器制御部35が、リクライニング角度およびシート位置に基づき、エアバッグ装置8の車載機器を制御する(ステップS108)。
Then, the
(第2実施形態)
次に、第2実施形態に係るECU10Aの構成について図10を参照して説明する。図10は、第2実施形態に係るECU10Aの機能的構成を示すブロック図である。
(Second Embodiment)
Next, the configuration of the
第2実施形態に係るECU10Aは、機械学習を用いて、2次元投影部33によって生成された2次元点群情報55から車載シート2のリクライニング角度およびシート位置を直接出力する。
The
具体的には、ECU10Aは、シート姿勢検出部34Aを備える。また、ECU10Aは記憶部50Aを備える。記憶部50Aは、学習モデル58を記憶する。
Specifically, the
シート姿勢検出部34Aは、記憶部50Aに記憶された学習モデル58を用い、2次元投影部33によって生成された2次元点群情報55から推定される車載シート2の姿勢(リクライニング角度およびシート位置)をシート姿勢情報57として出力する。
The seat posture detection unit 34A uses the
学習モデル58は、距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像、具体的には、上記シートの画像に基づき生成された2次元点群情報と、このシートの姿勢とを教師データとして機械学習された学習モデルである。学習モデル58の生成に用いられる距離画像カメラは、少なくとも距離画像カメラ3と同様の撮像方式(ここでは、TOF方式)のものであればよく、必ずしも距離画像カメラ3そのものであることを要しない。また、距離画像カメラによって撮像されるシートも、必ずしも車載シート2そのものであることを要しない。
The
学習モデル58の生成は、たとえば、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)等の種々のディープラーニングの技術を適宜用いて行われてもよい。また、学習モデル58の生成は、SVM(Support Vector Machine)等により行われてもよい。
The
このように、第2実施形態に係るECU10Aでは、2次元点群情報55に基づくリクライニング角度およびシート位置の検出を学習モデル58を用いて行うこととした。これにより、一例としては、隠れに強いなどロバスト性の高い検出を行うことが可能となる。
As described above, in the
機械学習に用いる学習用画像は、3次元点群情報をXY平面、XZ平面、YZ平面のいずれに投影した2次元点群情報であっても構わない。ただし、距離画像カメラ3のように、車室内を車両の前方から後方に向かって撮像した場合には、XZ平面に投影した2次元点群情報が、情報量の多さの点で優れている。
The learning image used for machine learning may be two-dimensional point cloud information obtained by projecting three-dimensional point cloud information onto any of the XY plane, the XZ plane, and the YZ plane. However, when the vehicle interior is imaged from the front to the rear of the vehicle as in the
すなわち、2次元点群情報には、元となる3次元点群情報のうち、投影方向に沿って見た場合の最表面に位置する点群のみが情報として残り、他の点群(すなわち最表面の点群の奥に隠れた点群)の情報は消失する。この点において、車載シートを正面から捉えたXZ平面の2次元点群情報は、車載シートを側方あるいは上方から捉えた他の2次元点群情報と比較して情報の消失量が少ない。このため、XZ平面の2次元点群情報を学習用情報として用いることでより精度の高い学習モデル58を生成することが可能となる。
That is, in the two-dimensional point cloud information, of the original three-dimensional point cloud information, only the point cloud located on the outermost surface when viewed along the projection direction remains as information, and the other point cloud (that is, the most) remains. The information of the point cloud (the point cloud hidden behind the point cloud on the surface) disappears. In this respect, the amount of information lost in the two-dimensional point group information on the XZ plane in which the vehicle-mounted seat is captured from the front is smaller than that in other two-dimensional point group information in which the vehicle-mounted seat is captured from the side or above. Therefore, it is possible to generate a
なお、XZ平面の2次元点群情報を学習用画像として用いる場合、2次元投影部33は、3次元点群情報54をXZ平面に投影した2次元点群情報55を生成し、シート姿勢検出部34Aは、かかる2次元点群情報55と学習モデル58とを用いてシート姿勢情報57を生成する。
When the two-dimensional point group information of the XZ plane is used as a learning image, the two-
また、学習用画像は、XY平面、XZ平面、YZ平面の2次元点群情報のうち複数(2つまたは全て)の2次元点群情報であってもよい。すなわち、1つの3次元点群情報を異なる2次元平面に投影した複数の2次元点群情報を学習用画像として用いてもよい。XY平面、XZ平面、YZ平面の2次元点群情報は、3次元点群情報から消失する情報が異なるため、複数の2次元点群情報を学習用画像として用いることで、消失した情報を互いに補うことができる。したがって、より精度の高い学習モデル58を生成することが可能である。なお、この場合、2次元投影部33は、投影面が異なる複数の2次元点群情報55を生成し、シート姿勢検出部34Aは、これら複数の2次元点群情報55と学習モデル58とを用いてシート姿勢情報57を生成すればよい。
Further, the learning image may be a plurality of (two or all) two-dimensional point group information among the two-dimensional point group information of the XY plane, the XZ plane, and the YZ plane. That is, a plurality of two-dimensional point cloud information obtained by projecting one three-dimensional point cloud information onto different two-dimensional planes may be used as a learning image. Since the information that disappears from the 3D point cloud information differs between the 2D point cloud information of the XY plane, the XZ plane, and the YZ plane, by using a plurality of 2D point cloud information as a learning image, the lost information can be used as a learning image. Can be supplemented. Therefore, it is possible to generate a
また、学習用情報は、必ずしも2次元点群情報であることを要しない。たとえば、学習用情報は、3次元点群情報であってもよい。この場合、シート姿勢検出部34Aは、点群生成部32によって生成された3次元点群情報54と学習モデル58とを用いてシート姿勢情報57を生成することができる。なお、3次元点群情報54ではなく、2次元点群情報55を用いることで、シート姿勢検出処理の処理負荷を抑えつつ、車載シート2の姿勢を高い精度で検出することが可能である。
Further, the learning information does not necessarily have to be two-dimensional point group information. For example, the learning information may be three-dimensional point cloud information. In this case, the seat posture detection unit 34A can generate the
また、学習用情報は、距離画像カメラから出力される画像すなわち輝度画像および距離画像であってもよい。この場合、シート姿勢検出部34Aは、距離画像カメラ3から取得した輝度画像51および距離画像52と学習モデル58とを用いてシート姿勢情報57を生成することができる。なお、輝度画像51および距離画像52ではなく、絶対座標系で表された3次元点群情報54や2次元点群情報55を用いることで、汎用性・応用性を高めることができる。すなわち、たとえば距離画像カメラ3の交換を行った場合であっても、学習モデル58を引き続き利用することができる。
Further, the learning information may be an image output from the distance image camera, that is, a luminance image and a distance image. In this case, the seat posture detection unit 34A can generate the
上述してきたように、実施形態に係るシート姿勢検出装置(一例として、制御システム100)は、取得部(一例として、取得部31)と、検出部(一例として、シート姿勢検出部34,34A)とを備える。取得部は、距離画像カメラ(一例として、距離画像カメラ3)によって撮像された車載シート(一例として、車載シート2)の画像(一例として、輝度画像51および距離画像52)を取得する。検出部は、取得部によって取得された画像に基づき、車載シートの姿勢(一例として、車載シート2)を検出する。
As described above, the seat posture detection device (
よって、一例としては、たとえばシートポジションセンサのように抵抗値を用いた間接的な検出手法と異なり、車載シートの姿勢を画像から直接検出することができる。また、距離画像カメラは、対象物である車載シートを3次元的に捉えることができるため、対象物を2次元的に捉える通常のカメラを用いる場合と比較よりも得られる情報量が多い。したがって、実施形態に係るシート姿勢検出装置によれば、車載シートの姿勢を高い精度で検出することができる。 Therefore, as an example, unlike an indirect detection method using a resistance value such as a seat position sensor, the posture of an in-vehicle seat can be directly detected from an image. Further, since the distance image camera can capture the in-vehicle seat which is the object three-dimensionally, the amount of information obtained is larger than that in the case of using a normal camera which captures the object two-dimensionally. Therefore, according to the seat posture detecting device according to the embodiment, the posture of the vehicle-mounted seat can be detected with high accuracy.
シート姿勢検出装置は、一例として、車載シートに設けられ、距離画像カメラから照射される光(一例として、近赤外光)を反射する反射部材(一例として、反射部材5)をさらに備える。よって、一例としては、車載シートの表面が距離画像カメラから照射される光を吸収する素材で覆われている場合であっても、車載シートに設けられた反射部材を車載シートの輪郭の一部として捉えることができる。したがって、車載シートの表面素材に依らず、車載シートの姿勢を高い精度で検出することができる。 As an example, the seat posture detecting device is further provided with a reflecting member (for example, a reflecting member 5) which is provided on an in-vehicle seat and reflects light (for example, near-infrared light) emitted from a distance image camera. Therefore, as an example, even when the surface of the vehicle-mounted seat is covered with a material that absorbs the light emitted from the distance image camera, the reflective member provided on the vehicle-mounted seat is a part of the contour of the vehicle-mounted seat. Can be regarded as. Therefore, the posture of the vehicle-mounted seat can be detected with high accuracy regardless of the surface material of the vehicle-mounted seat.
上記シート姿勢検出装置において、反射部材は、一例として、車載シートの縫い糸である。よって、一例としては、車載シートの意匠性を損なうことなく、距離画像カメラに映る目印を車載シートに設けることができる。また、縫い糸は車載シートの形状に沿って車載シートに縫い付けられることから、車載シートの輪郭を適切に捉えることができる。また、縫い糸は長尺状であるため、乗員等によって一部が隠れることはあっても全体的な隠れは生じ難い。すなわち、隠れていない残りの部分を用いて車載シートの姿勢を検出することが可能である。 In the seat posture detecting device, the reflective member is, for example, a sewing thread for an in-vehicle seat. Therefore, as an example, the mark to be reflected on the distance image camera can be provided on the vehicle-mounted seat without impairing the design of the vehicle-mounted seat. Further, since the sewing thread is sewn to the vehicle-mounted seat along the shape of the vehicle-mounted seat, the contour of the vehicle-mounted seat can be appropriately captured. Further, since the sewing thread has a long shape, it is unlikely that the entire sewing thread will be hidden even if a part of the sewing thread is hidden by an occupant or the like. That is, it is possible to detect the posture of the vehicle-mounted seat using the remaining portion that is not hidden.
上記シート姿勢検出装置において、検出部(一例として、シート姿勢検出部34)は、一例として、画像に基づいて車載シートの輪郭の回帰直線(一例として、回帰直線L)を算出し、算出した回帰直線を用いて車載シートの姿勢を検出する。よって、一例としては、比較的少ない処理負荷で、車載シートの姿勢を検出することができる。 In the seat posture detection device, the detection unit (as an example, the seat posture detection unit 34) calculates a regression line of the contour of the vehicle-mounted seat (as an example, a regression line L) based on an image, and the calculated regression. The posture of the in-vehicle seat is detected using a straight line. Therefore, as an example, the posture of the vehicle-mounted seat can be detected with a relatively small processing load.
上記シート姿勢検出装置において、検出部(一例として、シート姿勢検出部34A)は、一例として、距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像と、このシートの姿勢とを教師データとして機械学習された学習モデル(一例として、学習モデル58)を用い、取得部によって取得された画像から推定される車載シートの姿勢を出力する。よって、一例としては、隠れに強いなどロバスト性の高い検出を行うことができる。 In the seat posture detection device, the detection unit (for example, the seat posture detection unit 34A) teaches a learning image based on a sheet image captured in the past by a distance image camera and the posture of the seat as an example. A machine-learned learning model (as an example, a learning model 58) is used as data, and the posture of the vehicle-mounted seat estimated from the image acquired by the acquisition unit is output. Therefore, as an example, it is possible to perform detection with high robustness such as strong hiding.
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。 Although the embodiments of the present invention have been illustrated above, the above-described embodiments and modifications are merely examples, and the scope of the invention is not intended to be limited. The above-described embodiment and modification can be implemented in various other forms, and various omissions, replacements, combinations, and changes can be made without departing from the gist of the invention. Further, the configuration and shape of each embodiment and each modification can be partially replaced.
1…車両、2…車載シート、3…距離画像カメラ、5…反射部材、10…ECU、31…取得部、32…点群生成部、33…2次元投影部、34…シート姿勢検出部、35…機器制御部、50…記憶部、51…輝度画像、52…距離画像、53…撮像環境情報、54…3次元点群情報54…2次元点群情報、56…変換情報、57…シート姿勢情報、58…学習モデル、100…制御システム。
1 ... Vehicle, 2 ... In-vehicle seat, 3 ... Distance image camera, 5 ... Reflective member, 10 ... ECU, 31 ... Acquisition unit, 32 ... Point group generation unit, 33 ... Two-dimensional projection unit, 34 ... Seat posture detection unit, 35 ... device control unit, 50 ... storage unit, 51 ... brightness image, 52 ... distance image, 53 ... imaging environment information, 54 ... 3D
Claims (5)
前記取得部によって取得された前記画像に基づき、前記車載シートの姿勢を検出する検出部と
を備える、シート姿勢検出装置。 An acquisition unit that acquires an image of an in-vehicle seat captured by a distance image camera,
A seat posture detection device including a detection unit that detects the posture of the vehicle-mounted seat based on the image acquired by the acquisition unit.
をさらに備える、請求項1に記載のシート姿勢検出装置。 The seat posture detecting device according to claim 1, further comprising a reflecting member provided on the vehicle-mounted seat and reflecting light emitted from the distance image camera.
前記画像に基づいて前記車載シートの輪郭の回帰直線を算出し、算出した前記回帰直線を用いて前記車載シートの姿勢を検出する、請求項1〜3のいずれか一つに記載のシート姿勢検出装置。 The detection unit
The seat posture detection according to any one of claims 1 to 3, wherein a regression line of the contour of the vehicle-mounted seat is calculated based on the image, and the posture of the vehicle-mounted seat is detected using the calculated regression line. apparatus.
距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像と、当該シートの姿勢とを教師データとして機械学習された学習モデルを用い、前記取得部によって取得された前記画像から推定される前記車載シートの姿勢を出力する、請求項1〜3のいずれか一つに記載のシート姿勢検出装置。 The detection unit
It is estimated from the image acquired by the acquisition unit using a learning image based on an image of a sheet captured in the past by a distance image camera and a learning model machine-learned using the posture of the sheet as teacher data. The seat posture detecting device according to any one of claims 1 to 3, which outputs the posture of the vehicle-mounted seat.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233493A JP2021103092A (en) | 2019-12-24 | 2019-12-24 | Seat posture detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019233493A JP2021103092A (en) | 2019-12-24 | 2019-12-24 | Seat posture detection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021103092A true JP2021103092A (en) | 2021-07-15 |
Family
ID=76755078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019233493A Pending JP2021103092A (en) | 2019-12-24 | 2019-12-24 | Seat posture detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021103092A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024012586A1 (en) * | 2022-07-15 | 2024-01-18 | Zf Automotive Technologies (shanghai) Co., Ltd. | Method and system for monitoring pose of vehicle interior component |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05181966A (en) * | 1991-12-27 | 1993-07-23 | Minolta Camera Co Ltd | Image output method |
JPH1163950A (en) * | 1997-08-11 | 1999-03-05 | Toshiba Corp | Method and device for inspecting object |
JP2002008021A (en) * | 2000-06-16 | 2002-01-11 | Tokai Rika Co Ltd | Occupant detection system |
JP2004243918A (en) * | 2003-02-14 | 2004-09-02 | T S Tec Kk | Skin material of vehicle seat, vehicle seat and occupant detector |
JP2008001136A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | Vehicle occupant seat detection system, operating device control system, and vehicle |
JP2010071999A (en) * | 2000-12-20 | 2010-04-02 | Siemens Ag | Method and device for detecting object in vehicle in particular for occupant protection system |
JP2012128671A (en) * | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | Vacant seat determination device and vacant seat determination method |
JP2013138742A (en) * | 2011-12-29 | 2013-07-18 | Dunlop Sports Co Ltd | Diagnosing method of golf swing |
JP2018096946A (en) * | 2016-12-16 | 2018-06-21 | アイシン精機株式会社 | Occupant detection device |
CN109087323A (en) * | 2018-07-25 | 2018-12-25 | 武汉大学 | A kind of image three-dimensional vehicle Attitude estimation method based on fine CAD model |
JP2019040465A (en) * | 2017-08-25 | 2019-03-14 | トヨタ自動車株式会社 | Behavior recognition device, learning device, and method and program |
JP2019191991A (en) * | 2018-04-26 | 2019-10-31 | Kddi株式会社 | Object information estimating apparatus estimating direction of object using point group, program therefor, and method thereof |
WO2019216303A1 (en) * | 2018-05-09 | 2019-11-14 | レーザーテック株式会社 | Inspecting device, inspecting method, learning method, and program |
JP2019200175A (en) * | 2018-05-18 | 2019-11-21 | 古野電気株式会社 | Fish species estimation system, fish species estimation method, and program |
US20190375312A1 (en) * | 2018-06-11 | 2019-12-12 | Volvo Car Corporation | Method and system for controlling a state of an occupant protection feature for a vehicle |
-
2019
- 2019-12-24 JP JP2019233493A patent/JP2021103092A/en active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05181966A (en) * | 1991-12-27 | 1993-07-23 | Minolta Camera Co Ltd | Image output method |
JPH1163950A (en) * | 1997-08-11 | 1999-03-05 | Toshiba Corp | Method and device for inspecting object |
JP2002008021A (en) * | 2000-06-16 | 2002-01-11 | Tokai Rika Co Ltd | Occupant detection system |
JP2010071999A (en) * | 2000-12-20 | 2010-04-02 | Siemens Ag | Method and device for detecting object in vehicle in particular for occupant protection system |
JP2004243918A (en) * | 2003-02-14 | 2004-09-02 | T S Tec Kk | Skin material of vehicle seat, vehicle seat and occupant detector |
JP2008001136A (en) * | 2006-06-20 | 2008-01-10 | Takata Corp | Vehicle occupant seat detection system, operating device control system, and vehicle |
JP2012128671A (en) * | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | Vacant seat determination device and vacant seat determination method |
JP2013138742A (en) * | 2011-12-29 | 2013-07-18 | Dunlop Sports Co Ltd | Diagnosing method of golf swing |
JP2018096946A (en) * | 2016-12-16 | 2018-06-21 | アイシン精機株式会社 | Occupant detection device |
JP2019040465A (en) * | 2017-08-25 | 2019-03-14 | トヨタ自動車株式会社 | Behavior recognition device, learning device, and method and program |
JP2019191991A (en) * | 2018-04-26 | 2019-10-31 | Kddi株式会社 | Object information estimating apparatus estimating direction of object using point group, program therefor, and method thereof |
WO2019216303A1 (en) * | 2018-05-09 | 2019-11-14 | レーザーテック株式会社 | Inspecting device, inspecting method, learning method, and program |
JP2019200175A (en) * | 2018-05-18 | 2019-11-21 | 古野電気株式会社 | Fish species estimation system, fish species estimation method, and program |
US20190375312A1 (en) * | 2018-06-11 | 2019-12-12 | Volvo Car Corporation | Method and system for controlling a state of an occupant protection feature for a vehicle |
CN109087323A (en) * | 2018-07-25 | 2018-12-25 | 武汉大学 | A kind of image three-dimensional vehicle Attitude estimation method based on fine CAD model |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024012586A1 (en) * | 2022-07-15 | 2024-01-18 | Zf Automotive Technologies (shanghai) Co., Ltd. | Method and system for monitoring pose of vehicle interior component |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997739B2 (en) | Systems and methods for acquiring information from an environment | |
US10730465B2 (en) | 3D time of flight active reflecting sensing systems and methods | |
US7379195B2 (en) | Device for the detection of an object on a vehicle seat | |
US9493120B2 (en) | Image generator | |
US20170203692A1 (en) | Method and device for the distortion-free display of an area surrounding a vehicle | |
JP2008518195A (en) | Occupant detection system | |
CN104660980B (en) | On-vehicle image processing device and semiconductor device | |
JP2004503759A (en) | Occupant sensor | |
JP2006224856A (en) | Detection system, informing device, drive device and vehicle | |
JP2020047273A (en) | 3d feature point information generator | |
JP2008052029A (en) | Photographing system, vehicle crew detection system, operation device controlling system, and vehicle | |
JP2006527354A (en) | Apparatus and method for calibration of image sensor | |
JP2006209750A (en) | Method for detecting eye of user and determining location and blinking state of user | |
JP5453230B2 (en) | Occupant detection device | |
EP1792788A1 (en) | Scanned laser-line sensing apparatus for a vehicle occupant | |
JP5401440B2 (en) | Crew head detection device | |
US20190329671A1 (en) | Occupant information determination apparatus | |
JP2016203910A (en) | Occupant detection device and occupant detection method | |
WO2019049709A1 (en) | Image processing device, image processing method, and image display system | |
JP2021103092A (en) | Seat posture detection device | |
KR20040012679A (en) | Method and device for determining whether the interior of a vehicle is occupied | |
JP2020194294A (en) | Jointpoint detection apparatus | |
JP2021056968A (en) | Object determination apparatus | |
JP5548111B2 (en) | Sheet detection device | |
JP5298111B2 (en) | Occupant detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230524 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231107 |