JP2021103092A - シート姿勢検出装置 - Google Patents

Abstract

【課題】車載シートの姿勢を高い精度で検出することができるシート姿勢検出装置を提供すること。【解決手段】実施形態に係るシート姿勢検出装置は、取得部と、検出部とを備える。取得部は、距離画像カメラによって撮像された車載シートの画像を取得する。検出部は、取得部によって取得された画像に基づき、シートの姿勢を検出する。【選択図】図３

Description

本発明の実施形態は、シート姿勢検出装置に関する。

従来、車両の乗員が着座する車載シートには、車載シートの前後位置を検出するシートポジションセンサが内蔵されることがある。

シートポジションセンサは、たとえば抵抗式のセンサであり、車載シートを前後方向にスライド可能に支持するシートレールに接続される。シートポジションセンサは、車載シートが前後方向にスライドされることにより抵抗値が変化するように構成されており、この抵抗値と車載シートの前後方向の位置とを対応させることで、車載シートの前後位置を検出することが可能となっている。

特開２０１７−０８７８４８号公報

しかしながら、シートポジションセンサの検出精度は、車載シートの位置が前方および後方のいずれであるかを判別できる程度であり、高い検出精度が求められるシチュエーションに対応することが困難である。

そこで、本発明の課題の一つは、車載シートの姿勢を高い精度で検出することができるシート姿勢検出装置を提供することにある。

本発明の実施形態に係るシート姿勢検出装置は、一例として、距離画像カメラによって撮像された車載シートの画像を取得する取得部と、取得部によって取得された画像に基づき、車載シートの姿勢を検出する検出部とを備える。よって、一例としては、たとえばシートポジションセンサのように抵抗値を用いた間接的な検出手法と異なり、車載シートの姿勢を画像から直接検出することができる。また、距離画像カメラは、対象物である車載シートを３次元的に捉えることができるため、対象物を２次元的に捉える通常のカメラを用いる場合と比較して得られる情報量が多い。したがって、実施形態に係るシート姿勢検出装置によれば、車載シートの姿勢を高い精度で検出することができる。

上記シート姿勢検出装置は、一例として、車載シートに設けられ、距離画像カメラから照射される光を反射する反射部材をさらに備える。よって、一例としては、車載シートの表面が距離画像カメラから照射される光を吸収する素材で覆われている場合であっても、車載シートに設けられた反射部材を車載シートの一部として捉えることができる。したがって、車載シートの表面素材に依らず、車載シートの姿勢を高い精度で検出することができる。

上記シート姿勢検出装置において、反射部材は、一例として、車載シートの縫い糸である。よって、一例としては、車載シートの意匠性を損なうことなく、距離画像カメラに映る目印を車載シートに設けることができる。また、縫い糸は車載シートの形状に沿って車載シートに縫い付けられることから、車載シートの輪郭を適切に捉えることができる。また、縫い糸は長尺状であるため、乗員等によって一部が隠れることが全体的な隠れは生じ難い。すなわち、隠れていない残りの部分を用いて車載シートの姿勢を検出することが可能である。

上記シート姿勢検出装置において、検出部は、一例として、画像に基づいて車載シートの輪郭の回帰直線を算出し、算出した回帰直線を用いて車載シートの姿勢を検出する。よって、一例としては、比較的少ない処理負荷で、車載シートの姿勢を検出することができる。

上記シート姿勢検出装置において、検出部は、一例として、距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像と、このシートの姿勢とを教師データとして機械学習された学習モデルを用い、取得部によって取得された画像から推定される車載シートの姿勢を出力する。よって、一例としては、隠れに強いなどロバスト性の高い検出を行うことができる。

図１は、第１実施形態に係るシート姿勢検出装置が搭載される車両１の車室内を上方から見た平面図である。 図２は、第１実施形態に係る制御システムの構成を示すブロック図である。 図３は、第１実施形態に係るＥＣＵの機能的構成を示すブロック図である。 図４は、車載シートに設けられる反射部材の一例を示す図である。 図５は、輝度画像の一例を示す図である。 図６は、車載シートの３次元点群情報の一例を示す図である。 図７は、車載シートに設けられた反射部材の２次元点群情報の一例を示す図である。 図８は、直線回帰分析を用いたシート姿勢検出処理を説明するための図である。 図９は、第１実施形態に係るＥＣＵが実行する処理の手順を示すフローチャートである。 図１０は、第２実施形態に係るＥＣＵの機能的構成を示すブロック図である。

以下に、本願に係るシート姿勢検出装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係るシート姿勢検出装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（第１実施形態）
〔１．車両１の構成〕
図１は、第１実施形態に係るシート姿勢検出装置が搭載される車両１の車室内を上方から見た平面図である。図１に示すように、車両１の車室内には、複数の車載シート２が搭載されている。たとえば、車室内の前方側には運転席シート２ａおよび助手席シート２ｂが設けられ、後方側には複数の後部シート２ｃ〜２ｅが設けられる。複数の後部シート２ｃ〜２ｅのうち、後部シート２ｃは、運転席シート２ａの後方に設けられ、後部シート２ｄは、助手席シート２ｂの後方に設けられ、後部シート２ｅは、後部シート２ｃと後部シート２ｄとの間に設けられる。

車室内の前方側には、距離画像カメラ３が設けられる。距離画像カメラ３は、対象物までの距離を計測可能な撮像装置である。距離画像カメラ３は、たとえば、ＴＯＦ（Time Of Flight）カメラである。ＴＯＦカメラとしての距離画像カメラ３は、近赤外光をパルス状に照射し、照射した近赤外光の対象物からの反射時間に基づいて対象物までの距離を画素ごとに計測する。

ＴＯＦカメラとしての距離画像カメラ３は、輝度画像および距離画像を出力する。輝度画像は、輝度値を画素値とする画像（近赤外画像）である。また、距離画像は、距離画像カメラ３（撮像位置）からの距離を画素値とする画像である。距離画像カメラ３は、これら輝度画像および距離画像を同一光軸（同一画角）の画像として出力する。

第１実施形態において、距離画像カメラ３は、車室内の全ての車載シート２を撮像可能なように向き、画角および設置位置等が決められる。たとえば、距離画像カメラ３は、ダッシュボード、ルームミラー、天井等に設置され得る。なお、これに限らず、距離画像カメラ３は、特定の車載シート２のみを撮像可能な位置に配置されてもよい。

ここでは、１台の距離画像カメラ３を用いて輝度画像および距離画像の両方を撮像するものとするが、車両１には、たとえば、輝度画像を撮像する撮像装置と距離画像を撮像する撮像装置とが別々に設けられてもよい。また、距離画像を撮像する撮像装置は、ＴＯＦ方式に限らず、ステレオビジョン方式、ストラクチャードライト方式、レーザ三角測量方式等の他の３Ｄイメージング方式の撮像装置であってもよい。

〔２．制御システム１００の構成〕
車両１には、制御システム１００（シート姿勢検出装置の一例）が設けられる。かかる制御システム１００の構成について図２を参照して説明する。図２は、第１実施形態に係る制御システム１００の構成を示すブロック図である。

図２に示すように、制御システム１００は、距離画像カメラ３と、複数のエアバッグ装置８（制御対象となる車載機器の一例）と、ＥＣＵ１０と、車内ネットワーク２０とを備える。

距離画像カメラ３は、たとえばＮＴＳＣ（National Television System Committee）ケーブル等の出力線を介してＥＣＵ１０に接続され、撮像した輝度画像および距離画像を出力線を介してＥＣＵ１０に出力する。

エアバッグ装置８は、車両１の衝突時などにエアバッグを展開することによって、車載シート２に着座した乗員を衝撃から保護する。実施形態に係るエアバッグ装置８は、エアバッグの展開力を変更することが可能である。

ＥＣＵ１０は、車内ネットワーク２０を介して制御信号を送ることにより、たとえばエアバッグ装置８を制御してエアバッグの展開力を変更することができる。その他、ＥＣＵ１０は、ブレーキシステムの制御、操舵システムの制御等を実行し得る。

ＥＣＵ１０は、たとえば、ＣＰＵ（Central Processing Unit）１１と、ＳＳＤ（Solid State Drive）１２と、ＲＯＭ（Read Only Memory）１３と、ＲＡＭ（Random Access Memory）１４とを備える。ＣＰＵ１１は、ＲＯＭ１３等の不揮発性の記憶装置にインストールされ記憶されたプログラムを実行することによって、シート姿勢検出装置としての機能を実現する。ＲＡＭ１４は、ＣＰＵ１１での演算で用いられる各種のデータを一時的に記憶する。ＳＳＤ１２は、書き換え可能な不揮発性の記憶装置であって、ＥＣＵ１０の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１１、ＲＯＭ１３、およびＲＡＭ１４等は、同一パッケージ内に集積され得る。ＥＣＵ１０は、ＣＰＵ１１に替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。ＳＳＤ１２に替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１２またはＨＤＤは、ＥＣＵ１０とは別に設けられてもよい。

〔３．ＥＣＵ１０の機能的構成〕
次に、ＥＣＵ１０の機能的構成について図３を参照して説明する。図３は、第１実施形態に係るＥＣＵ１０の機能的構成を示すブロック図である。

図３に示すように、ＥＣＵ１０は、取得部３１と、点群生成部３２と、２次元投影部３３と、シート姿勢検出部３４と、機器制御部３５と、記憶部５０とを備える。取得部３１、点群生成部３２、２次元投影部３３、シート姿勢検出部３４および機器制御部３５は、ＣＰＵ１１が、ＲＯＭ１３に格納されたプログラムを実行することによって実現される。なお、これらの構成は、ハードウェア回路にて実現されてもよい。記憶部５０は、たとえばＳＳＤ１２により構成される。

取得部３１は、距離画像カメラ３によって撮像された輝度画像および距離画像を距離画像カメラ３から取得する。取得部３１は、取得した輝度画像および距離画像を記憶部５０に記憶する（図３中、輝度画像５１および距離画像５２に相当）。

距離画像カメラ３によって撮像された輝度画像５１および距離画像５２は、車載シート２の姿勢検出に用いられる。ここで、ＴＯＦカメラとしての距離画像カメラ３は、近赤外光を用いて車載シート２の撮像を行うが、車載シート２の表面が革などの近赤外光を吸収し易い（反射しにくい）素材で覆われていると、輝度画像５１および距離画像５２に車載シート２が映りにくくなる。この場合、輝度画像５１および距離画像５２を用いた車載シート２の姿勢検出が困難となる。

そこで、第１実施形態に係るシート姿勢検出装置は、距離画像カメラ３から照射される光（ここでは、近赤外光）を反射する反射部材を車載シート２に設けることで、車載シート２の素材に依らず、車載シート２の姿勢検出を行うことができるようにしている。

この点について、図４および図５を参照して説明する。図４は、車載シート２に設けられる反射部材の一例を示す図である。また、図５は、輝度画像５１の一例を示す図である。

図４に示すように、反射部材５は、たとえば車載シート２の背もたれ２１に設けられる。第１実施形態に係る反射部材５は、車載シート２の縫い糸であり、たとえば背もたれ２１の上部（ヘッドレスト２２側の端部）から下部（座部２３側の端部）に向かう方向に沿って直線状に延在する。

このように、反射部材５を直線状とすることで、シート姿勢の１つである車載シート２のリクライニング角度の検出が容易となる。また、反射部材５を直線状とすることで、たとえば乗員等によって反射部材５の一部が隠れることはあっても、反射部材５の全体的な隠れは生じ難く、隠れていない部分を用いて車載シート２の姿勢を検出することが可能である。

なお、反射部材５は、必ずしも直線状であることを要しない。たとえば、反射部材５は面上であってもよい。その他、反射部材５の形状は、少なくとも後述するシート姿勢検出部３４による直線回帰分析が可能なものであれば特に限定されない。

反射部材５は、近赤外光を反射する素材、たとえば化学繊維、一例として、ポリエステル、ナイロンなどにより形成される。なお、反射部材５の素材は、少なくとも車載シート２の表面素材よりも近赤外光の反射率が高い素材であればよい。

図５に示すように、反射部材５は、車載シート２の側面に設けられることが好ましい。車載シート２の側面に反射部材５を設けることで、車載シート２に着座した乗員によって反射部材５が隠れてしまうことを抑制することができる。なお、図５に示す注目領域Ｒについては後述する。

ここでは、距離画像カメラ３がＴＯＦカメラである場合、すなわち、距離画像カメラ３から照射される光が近赤外光であって、反射部材５が、かかる近赤外光を反射する素材で形成される場合の例を示した。これに限らず、反射部材５の特性は、距離画像カメラ３の方式に応じて適宜決定されればよい。たとえば、距離画像カメラ３がストラクチャードライト方式のものである場合、周囲が暗かったり対象物が黒っぽかったりすると、対象物が映りにくいことから、反射部材５は、対象物（車載シート２）よりも明るい色彩の素材で形成されることが好ましい。

図３に戻り、点群生成部３２について説明する。点群生成部３２は、記憶部５０に記憶された輝度画像５１、距離画像５２および撮像環境情報５３に基づき、幾何学的計算を行うことにより、３次元絶対座標系における車載シート２の３次元点群情報を生成する。

撮像環境情報５３は、後述する３次元絶対座標系における距離画像カメラ３の位置、姿勢の他、レンズの種類、撮像時における各種パラメータの値を含む情報である。撮像環境情報５３を用いることで、車載シート２の座標を、距離画像カメラ３の撮像位置とは異なる位置を原点とする３次元絶対座標系における３次元座標で表すことができる。

図６は、車載シート２の３次元点群情報５４の一例を示す図である。なお、図６では、理解を容易にするために、車載シート２の全体的な形状が点群によって示される場合の例を示している。

図６に示す３次元絶対座標系は、距離画像カメラ３の撮像位置ＰＣと異なる位置を原点ＰＯとする３次元座標系である。３次元絶対座標系における３次元座標の値は、３次元絶対座標系の原点ＰＯ（０，０，０）から対象物（ここでは、車載シート２）の各点までの実際の距離の値である。

このように、シート姿勢検出装置は、距離画像カメラ３の位置、向き、レンズの種類といった撮像環境に依存する２次元座標系で表された輝度画像５１および距離画像５２における座標を、かかる撮像環境に依存しない３次元絶対座標系における３次元座標に変換する。これにより、個々の環境に応じた機械学習やパラメータ適合等が不要となるため、汎用性の高いシート姿勢検出ロジックを構築することができる。すなわち、いかなる撮像環境においても、その環境に応じた機械学習を行うことなく、車載シート２の姿勢を検出することが可能となる。

点群生成部３２によって生成される３次元点群情報は、車載シート２の表面の形状を表す多数の点の集合である。３次元点群の生成手法については、いかなる公知技術を用いても構わない。点群生成部３２は、生成した３次元点群情報から注目領域Ｒ（図５参照）に含まれる点群を切り出して記憶部５０に記憶する（図３中、３次元点群情報５４に相当）。注目領域Ｒは、車載シート２の一部を含む領域、具体的には、反射部材５を含む領域である。

２次元投影部３３は、記憶部５０に記憶された３次元点群情報５４を２次元平面に投影することにより、２次元点群情報を生成する。２次元投影部３３は、生成した２次元点群情報を記憶部５０に記憶する（図３中、２次元点群情報５５に相当）。

このように、３次元点群情報５４を２次元点群情報５５に変換することにより、情報量を削減することができるため、シート姿勢検出部３４の処理負荷を抑えることができる。

図７は、車載シート２に設けられた反射部材５の２次元点群情報５５の一例を示す図である。図７では、理解を容易にするために、３次元点群情報５４をＹＺ平面（車両１の側方から車両１を見た平面）に投影した２次元点群情報５５の例を示している。これに限らず、２次元投影部３３は、３次元点群情報５４をＸＹ平面に投影した２次元点群情報５５を生成してもよいし、ＸＺ平面に投影した２次元点群情報５５を生成してもよい。

図６では、車載シート２の形状がはっきりと示された３次元点群情報５４を示したが、上述したように、車載シート２の表面素材が近赤外光を吸収する素材で形成されている場合、車載シート２の３次元点群情報５４が得られないおそれがある。このような場合であっても、車載シート２に反射部材５を設けておくことで、仮に車載シート２自体の３次元点群情報５４が得られない場合であっても、図７に示すように、かかる反射部材５の２次元点群情報５５を車載シート２の一部の２次元点群情報５５として取得することができる。

シート姿勢検出部３４は、記憶部５０に記憶された２次元点群情報５５に基づき、車載シート２の姿勢を検出する。

シート姿勢検出部３４は、車載シート２の姿勢として、車載シート２のリクライニング角度およびシート位置の２つを検出する。リクライニング角度とは、背もたれ２１の角度のことであり、シート位置とは、車両１の前後方向における車載シート２の位置のことである。

第１の実施形態に係るシート姿勢検出部３４は、２次元点群情報５５に対し直線回帰分析を行うことにより、車載シート２のリクライニング角度およびシート位置を検出する。

この点について図８を参照して説明する。図８は、直線回帰分析を用いたシート姿勢検出処理を説明するための図である。

図８に示すように、シート姿勢検出部３４は、２次元点群情報５５に対して直線回帰分析を行うことにより、車載シート２の輪郭の回帰直線を算出する。具体的には、２次元点群情報５５によって示される点群の回帰直線Ｌを、車載シート２の輪郭の回帰直線として算出する。

この際、シート姿勢検出部３４は、２次元点群情報５５によって示される点群から、車載シート２の輪郭を示す点群を抽出し、抽出した点群の回帰直線を算出してもよい。たとえば、２次元点群情報５５によって示される点群のうち、点群の密度が閾値以上である領域に含まれる点群を抽出して直線回帰分析に用いてもよい。

直線回帰分析としては、たとえば、ＲＡＮＳＡＣ（Random Sample Consensus）を用いることができる。また、最小メジアン法（ＬＭｅｄＳ：Least Median of Squares）やＭ推定（M-estimation）などのＲＡＮＳＡＣ以外のロバスト推定が用いられてもよい。

シート姿勢検出部３４は、算出した回帰直線Ｌの傾きを車載シート２のリクライニング角度として検出する。なお、これに限らず、シート姿勢検出部３４は、回帰直線Ｌの傾きとリクライニング角度とを予め対応付けた変換情報５６とを用いて、回帰直線Ｌの傾きをリクライニング角度に変換してもよい。

また、シート姿勢検出部３４は、回帰直線ＬとＹ軸との交点（Ｙ切片）の座標ｙ１（Ｙ座標）を算出する。そして、シート姿勢検出部３４は、算出したＹ切片の座標ｙ１と、回帰直線のＹ切片とシート位置とを予め対応付けた変換情報５６とを用いて、算出したＹ切片の座標ｙ１をシート位置に変換する。

変換情報５６は、実験等により作成されるものとする。変換情報５６は、テーブル情報であってもよいし、変換式であってもよい。

ここでは、Ｙ切片の座標をシート位置に変換することとしたが、使用する切片はＹ切片以外の切片であってもよい。たとえば、シート姿勢検出部３４は、回帰直線ＬとＺ軸との交点（Ｚ切片）の座標をシート位置に変換してもよい。この場合の変換情報５６は、回帰直線のＹ切片とシート位置とを対応付けた情報である。

シート姿勢検出部３４は、検出したリクライニング角度およびシート位置を含むシート姿勢情報を記憶部５０に記憶する（図３中、シート姿勢情報５７に相当）。

機器制御部３５は、記憶部５０に記憶されたシート姿勢情報５７に基づき、車両１に搭載される各種機器の制御を行う。一例として、機器制御部３５は、シート姿勢情報５７に基づき、エアバッグ装置８を制御することにより、エアバッグの展開力を変更する。また、機器制御部３５は、シート姿勢情報５７に基づき、シートベルト装置を制御することにより、シートベルトの拘束力を変更してもよい。

このように、車載シート２のリクライニング角度やシート位置に応じて、エアバッグの展開力やシートベルトの拘束力を変化させることで、乗員の安全性を高めることができる。

〔４．ＥＣＵ１０の具体的動作〕
次に、ＥＣＵ１０の具体的動作について図９を参照して説明する。図９は、第１実施形態に係るＥＣＵ１０が実行する処理の手順を示すフローチャートである。

図９に示すように、まず、取得部３１が、距離画像カメラ３から輝度画像５１および距離画像５２を取得し（ステップＳ１０１）、点群生成部３２が、輝度画像５１、距離画像５２および撮像環境情報５３に基づき、３次元点群情報を生成する（ステップＳ１０２）。また、点群生成部３２は、生成した３次元点群情報から、反射部材５を含む注目領域Ｒを切り出す（ステップＳ１０３）。

つづいて、２次元投影部３３が、切り出された３次元点群情報５４を２次元平面に投影することにより、２次元点群情報５５を生成する（ステップＳ１０４）。

つづいて、シート姿勢検出部３４が、２次元点群情報５５に基づき回帰直線Ｌを算出する（ステップＳ１０５）。そして、シート姿勢検出部３４は、回帰直線Ｌの角度に基づきリクライニング角度を検出し（ステップＳ１０６）、回帰直線Ｌの切片に基づきシート位置を検出する（ステップＳ１０７）。

そして、機器制御部３５が、リクライニング角度およびシート位置に基づき、エアバッグ装置８の車載機器を制御する（ステップＳ１０８）。

（第２実施形態）
次に、第２実施形態に係るＥＣＵ１０Ａの構成について図１０を参照して説明する。図１０は、第２実施形態に係るＥＣＵ１０Ａの機能的構成を示すブロック図である。

第２実施形態に係るＥＣＵ１０Ａは、機械学習を用いて、２次元投影部３３によって生成された２次元点群情報５５から車載シート２のリクライニング角度およびシート位置を直接出力する。

具体的には、ＥＣＵ１０Ａは、シート姿勢検出部３４Ａを備える。また、ＥＣＵ１０Ａは記憶部５０Ａを備える。記憶部５０Ａは、学習モデル５８を記憶する。

シート姿勢検出部３４Ａは、記憶部５０Ａに記憶された学習モデル５８を用い、２次元投影部３３によって生成された２次元点群情報５５から推定される車載シート２の姿勢（リクライニング角度およびシート位置）をシート姿勢情報５７として出力する。

学習モデル５８は、距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像、具体的には、上記シートの画像に基づき生成された２次元点群情報と、このシートの姿勢とを教師データとして機械学習された学習モデルである。学習モデル５８の生成に用いられる距離画像カメラは、少なくとも距離画像カメラ３と同様の撮像方式（ここでは、ＴＯＦ方式）のものであればよく、必ずしも距離画像カメラ３そのものであることを要しない。また、距離画像カメラによって撮像されるシートも、必ずしも車載シート２そのものであることを要しない。

学習モデル５８の生成は、たとえば、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）等の種々のディープラーニングの技術を適宜用いて行われてもよい。また、学習モデル５８の生成は、ＳＶＭ（Support Vector Machine）等により行われてもよい。

このように、第２実施形態に係るＥＣＵ１０Ａでは、２次元点群情報５５に基づくリクライニング角度およびシート位置の検出を学習モデル５８を用いて行うこととした。これにより、一例としては、隠れに強いなどロバスト性の高い検出を行うことが可能となる。

機械学習に用いる学習用画像は、３次元点群情報をＸＹ平面、ＸＺ平面、ＹＺ平面のいずれに投影した２次元点群情報であっても構わない。ただし、距離画像カメラ３のように、車室内を車両の前方から後方に向かって撮像した場合には、ＸＺ平面に投影した２次元点群情報が、情報量の多さの点で優れている。

すなわち、２次元点群情報には、元となる３次元点群情報のうち、投影方向に沿って見た場合の最表面に位置する点群のみが情報として残り、他の点群（すなわち最表面の点群の奥に隠れた点群）の情報は消失する。この点において、車載シートを正面から捉えたＸＺ平面の２次元点群情報は、車載シートを側方あるいは上方から捉えた他の２次元点群情報と比較して情報の消失量が少ない。このため、ＸＺ平面の２次元点群情報を学習用情報として用いることでより精度の高い学習モデル５８を生成することが可能となる。

なお、ＸＺ平面の２次元点群情報を学習用画像として用いる場合、２次元投影部３３は、３次元点群情報５４をＸＺ平面に投影した２次元点群情報５５を生成し、シート姿勢検出部３４Ａは、かかる２次元点群情報５５と学習モデル５８とを用いてシート姿勢情報５７を生成する。

また、学習用画像は、ＸＹ平面、ＸＺ平面、ＹＺ平面の２次元点群情報のうち複数（２つまたは全て）の２次元点群情報であってもよい。すなわち、１つの３次元点群情報を異なる２次元平面に投影した複数の２次元点群情報を学習用画像として用いてもよい。ＸＹ平面、ＸＺ平面、ＹＺ平面の２次元点群情報は、３次元点群情報から消失する情報が異なるため、複数の２次元点群情報を学習用画像として用いることで、消失した情報を互いに補うことができる。したがって、より精度の高い学習モデル５８を生成することが可能である。なお、この場合、２次元投影部３３は、投影面が異なる複数の２次元点群情報５５を生成し、シート姿勢検出部３４Ａは、これら複数の２次元点群情報５５と学習モデル５８とを用いてシート姿勢情報５７を生成すればよい。

また、学習用情報は、必ずしも２次元点群情報であることを要しない。たとえば、学習用情報は、３次元点群情報であってもよい。この場合、シート姿勢検出部３４Ａは、点群生成部３２によって生成された３次元点群情報５４と学習モデル５８とを用いてシート姿勢情報５７を生成することができる。なお、３次元点群情報５４ではなく、２次元点群情報５５を用いることで、シート姿勢検出処理の処理負荷を抑えつつ、車載シート２の姿勢を高い精度で検出することが可能である。

また、学習用情報は、距離画像カメラから出力される画像すなわち輝度画像および距離画像であってもよい。この場合、シート姿勢検出部３４Ａは、距離画像カメラ３から取得した輝度画像５１および距離画像５２と学習モデル５８とを用いてシート姿勢情報５７を生成することができる。なお、輝度画像５１および距離画像５２ではなく、絶対座標系で表された３次元点群情報５４や２次元点群情報５５を用いることで、汎用性・応用性を高めることができる。すなわち、たとえば距離画像カメラ３の交換を行った場合であっても、学習モデル５８を引き続き利用することができる。

上述してきたように、実施形態に係るシート姿勢検出装置（一例として、制御システム１００）は、取得部（一例として、取得部３１）と、検出部（一例として、シート姿勢検出部３４，３４Ａ）とを備える。取得部は、距離画像カメラ（一例として、距離画像カメラ３）によって撮像された車載シート（一例として、車載シート２）の画像（一例として、輝度画像５１および距離画像５２）を取得する。検出部は、取得部によって取得された画像に基づき、車載シートの姿勢（一例として、車載シート２）を検出する。

よって、一例としては、たとえばシートポジションセンサのように抵抗値を用いた間接的な検出手法と異なり、車載シートの姿勢を画像から直接検出することができる。また、距離画像カメラは、対象物である車載シートを３次元的に捉えることができるため、対象物を２次元的に捉える通常のカメラを用いる場合と比較よりも得られる情報量が多い。したがって、実施形態に係るシート姿勢検出装置によれば、車載シートの姿勢を高い精度で検出することができる。

シート姿勢検出装置は、一例として、車載シートに設けられ、距離画像カメラから照射される光（一例として、近赤外光）を反射する反射部材（一例として、反射部材５）をさらに備える。よって、一例としては、車載シートの表面が距離画像カメラから照射される光を吸収する素材で覆われている場合であっても、車載シートに設けられた反射部材を車載シートの輪郭の一部として捉えることができる。したがって、車載シートの表面素材に依らず、車載シートの姿勢を高い精度で検出することができる。

上記シート姿勢検出装置において、反射部材は、一例として、車載シートの縫い糸である。よって、一例としては、車載シートの意匠性を損なうことなく、距離画像カメラに映る目印を車載シートに設けることができる。また、縫い糸は車載シートの形状に沿って車載シートに縫い付けられることから、車載シートの輪郭を適切に捉えることができる。また、縫い糸は長尺状であるため、乗員等によって一部が隠れることはあっても全体的な隠れは生じ難い。すなわち、隠れていない残りの部分を用いて車載シートの姿勢を検出することが可能である。

上記シート姿勢検出装置において、検出部（一例として、シート姿勢検出部３４）は、一例として、画像に基づいて車載シートの輪郭の回帰直線（一例として、回帰直線Ｌ）を算出し、算出した回帰直線を用いて車載シートの姿勢を検出する。よって、一例としては、比較的少ない処理負荷で、車載シートの姿勢を検出することができる。

上記シート姿勢検出装置において、検出部（一例として、シート姿勢検出部３４Ａ）は、一例として、距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像と、このシートの姿勢とを教師データとして機械学習された学習モデル（一例として、学習モデル５８）を用い、取得部によって取得された画像から推定される車載シートの姿勢を出力する。よって、一例としては、隠れに強いなどロバスト性の高い検出を行うことができる。

以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。

１…車両、２…車載シート、３…距離画像カメラ、５…反射部材、１０…ＥＣＵ、３１…取得部、３２…点群生成部、３３…２次元投影部、３４…シート姿勢検出部、３５…機器制御部、５０…記憶部、５１…輝度画像、５２…距離画像、５３…撮像環境情報、５４…３次元点群情報５４…２次元点群情報、５６…変換情報、５７…シート姿勢情報、５８…学習モデル、１００…制御システム。

Claims (5)

1. 距離画像カメラによって撮像された車載シートの画像を取得する取得部と、
   前記取得部によって取得された前記画像に基づき、前記車載シートの姿勢を検出する検出部と
   を備える、シート姿勢検出装置。
2. 前記車載シートに設けられ、前記距離画像カメラから照射される光を反射する反射部材
   をさらに備える、請求項１に記載のシート姿勢検出装置。
3. 前記反射部材は、前記車載シートの縫い糸である、請求項２に記載のシート姿勢検出装置。
4. 前記検出部は、
   前記画像に基づいて前記車載シートの輪郭の回帰直線を算出し、算出した前記回帰直線を用いて前記車載シートの姿勢を検出する、請求項１〜３のいずれか一つに記載のシート姿勢検出装置。
5. 前記検出部は、
   距離画像カメラによって過去に撮像されたシートの画像に基づく学習用画像と、当該シートの姿勢とを教師データとして機械学習された学習モデルを用い、前記取得部によって取得された前記画像から推定される前記車載シートの姿勢を出力する、請求項１〜３のいずれか一つに記載のシート姿勢検出装置。

Images