JP7468684B2 - 姿勢検出装置、姿勢検出方法および寝相判定方法 - Google Patents

Description

本発明は、姿勢検出装置、姿勢検出方法および寝相判定方法に関する。

近年、機械学習による姿勢検出（「姿勢推定」とも称する）技術が急速に発展している。機械学習による姿勢検出技術とは、１枚の画像中に含まれる人物を検出し、人体における複数部位の位置情報を検出し、さらに、それら部位を繋ぐ線を求めて元の画像に重ね合わせて表示する技術である。人体の各部位は、たとえば、膝、肘、手首、足首である。この技術を採用すれば、従来のモーションキャプチャのように人体にマーカーを装着する必要がない。このような技術の一つとして、OpenPoseというアルゴリズムを用いた技術がある(非特許文献１)。OpenPoseを用いた場合、一般的な単眼カメラで撮影された動画に対してリアルタイムで姿勢検出をすることが可能になる。この技術をきっかけとして、機械学習による姿勢検出技術は注目され始めた。機械学習による姿勢検出技術は、スポーツ、医療、セキュリティ分野など様々な分野で応用されつつある。

Zhe Cao et al(2017)., OpenPose:Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, CVPR

しかしながら、機械学習による姿勢検出技術では入力画像に含まれる人体における複数部位の位置情報を誤って検出する場合がある。OpenPoseを含む機械学習による姿勢検出技術の多くは、動画のフレーム画像ごとに位置情報を検出するため、フレーム画像間の関係は考慮されない。このため、フレーム画像間で人体が動いていないにも関わらず、フレーム画像間で人体における複数部位の位置情報の検出結果が異なることがあるために、人体の動きとして検出される場合がある。また、同じ原因で、フレーム画像間で人体が動いている場合においても、実際には生じ得ない事態の動きを含む位置情報が検出される場合がある。このように、人体における複数部位の位置情報の誤検出により、フレーム画像間で動きがある場合においても動きがない場合においても、実際には生じていない人体の動作が検出される場合がある。

本開示は、かかる問題を解決するためになされたものであり、本開示の目的は、人体における複数部位の位置情報の誤検出を特定することができる技術を提供することである。

本開示のある局面に従う姿勢検出装置は、取得部と、位置検出部と、判定部とを備える。取得部は、フレーム画像を時系列順に取得する。位置検出部は、フレーム画像から得られる情報を学習済モデルに入力することで、学習済モデルから人体における複数部位の位置情報を出力する。判定部は、位置検出部の誤検出に関する情報を出力する。位置検出部は、取得部が取得した第１フレーム画像を入力としたときに第１位置群を出力し、取得部が取得した、第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力する。判定部は、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、位置検出部の誤検出に関する情報を出力する。

本開示の別の局面に従う姿勢検出方法は、フレーム画像を時系列順に取得するステップと、フレーム画像から得られる情報を学習済モデルに入力することで、学習済モデルから人体における複数部位の位置情報を出力するステップと、出力された複数部位の位置情報につき誤検出に関する情報を出力するステップとを含む。複数部位の位置情報を出力するステップは、取得した第１フレーム画像を入力としたときに第１位置群を出力するステップと、取得した、第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力するステップとを含む。誤検出に関する情報を出力するステップは、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、誤検出に関する情報を出力する。

本開示の別の局面に従う寝相判定方法は、姿勢検出方法と、出力された複数部位の位置情報および出力された誤検出に関する情報に基づいて、寝相情報を出力するステップとを含む。

本開示によれば、人体における複数部位の位置情報の誤検出を特定することができる。これにより、誤検出した位置情報を取り除くことができるため、実際には生じていない人体の動作が検出されることを防止することができる。

本実施の形態に係る姿勢検出装置のハードウェア構成の一例を示す概略図である。 姿勢検出装置の機能構成の一例を示すブロック図である。 検出処理の一例を示すフローチャートである。 第１群設定処理の一例を示すフローチャートである。 第２群設定処理の一例を示すフローチャートである。 第３群設定処理の一例を示すフローチャートである。 誤り除外処理の一例を示すフローチャートである。 検出処理の入出力データの一例を示す図である。 検出結果の表示例を示す図である。 検出結果の表示例を示す図である。 検出結果の表示例を示す図である。 検出結果の表示例を示す図である。 検出結果の表示例を示す図である。 検出結果の表示例を示す図である。 本実施の形態の変形例に係る誤り除外処理の一例を示すフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

［姿勢検出装置のハードウェア構成］
図１は、本実施の形態に係る姿勢検出装置のハードウェア構成の一例を示す概略図である。図１に示すように、本実施の形態に係る姿勢検出装置１００は、ハードディスク１０１と、ＣＰＵ（Central Processing Unit）１０２と、メモリ１０３と、ディスプレイインターフェース１０４と、周辺機器インターフェース１０５と、カメラインターフェース１０６とを含む。これらは、バスを介して相互に通信可能に接続されている。姿勢検出装置１００は、パーソナルコンピュータまたはワークステーションを含む。

ハードディスク１０１は、不揮発性の記憶装置である。ハードディスク１０１には、たとえば、ＯＳ（operating system）１１１と、位置検出用学習済モデル１１２と、誤り除外プログラム１１３と、寝相検出プログラム１１４とが保存されている。図に示されるデータ以外にも、ハードディスク１０１には、各種処理を行うプログラムやデータが保存されている。

ＣＰＵ１０２は、ハードディスク１０１に保存されているプログラムをメモリ１０３に読み込んで実行し、姿勢検出装置１００の各種機能を実現する。メモリ１０３は、揮発性の記憶装置であり、たとえばＤＲＡＭ（Dynamic Random Access Memory）を含む。

位置検出用学習済モデル１１２は、フレーム画像から得られる情報を学習済モデルに入力することで、学習済モデルから人体における複数部位の位置情報を検出結果（以下、「位置検出結果」とも称する）として出力するニューラルネットワークモデルである。その際、フレーム画像から得られる各画素値を入力するようにしてもよいし、フレーム画像から抽出した特徴量を入力するようにしてもよい。位置検出用学習済モデル１１２として、たとえば、CMU（Carnegie Mellon University）が開発したOpenPoseや、Microsoft社が開発したHuman-pose-estimationや***社が開発したposeNetなどを用いてもよい。

誤り除外プログラム１１３は、出力された位置検出結果が誤りであると判定された場合に、誤りであると判定した位置検出結果を除外して補正を行うために用いられるプログラムである。本実施の形態では、人体における複数部位の位置情報の検出を「姿勢検出」と称する。位置情報は、たとえば、肩、肘、手首などの位置を特定可能な座標である。位置情報は、複数領域の位置を特定可能な座標から計算される、別領域の位置を特定可能な座標であってもよい。たとえば、眼、鼻および口の位置を特定可能な座標から計算される、頬領域の位置を特定可能な座標であってもよい。また、位置情報は２次元に限られず、３次元の位置情報であってもよい。３次元の位置情報は、２次元位置情報から推定してもよいし、ステレオカメラやTOFカメラで計測してもよい。

寝相検出プログラム１１４は、位置検出結果を入力とし、寝相情報を検出結果（以下、「寝相検出結果」、「寝相判定結果」とも称する）として出力するために用いられるプログラムである。寝相情報は、たとえば、仰向け、うつ伏せ、右向き、左向きなどである。位置検出結果として検出された人体における複数部位の位置情報と、寝相情報とは相関関係がある。寝相検出プログラム１１４は、位置検出結果を入力とし、寝相情報を出力とする対応関係を予め規定したモデルに基づき推定を行うプログラムである。なお、これに限らず、機械学習による学習済モデルを用いて寝相情報を出力するようにしてもよい。

ＣＰＵ１０２は、ディスプレイインターフェース１０４を介してディスプレイ１２１に接続する。ＣＰＵ１０２は、周辺機器インターフェース１０５を介してマウス１２２とキーボード１２３とに接続する。ＣＰＵ１０２は、カメラインターフェース１０６を介してカメラ１２４に接続する。

ディスプレイインターフェース１０４は、ディスプレイ１２１を接続するためのインターフェースであり、姿勢検出装置１００とディスプレイ１２１との間のデータの入出力を実現する。ディスプレイ１２１は、たとえば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electroluminescence）ディスプレイなどで構成される。ディスプレイ１２１には、カメラ１２４によって撮影された動画や、位置検出用学習済モデル１１２や寝相検出プログラム１１４によって出力された結果が表示される。

周辺機器インターフェース１０５は、マウス１２２およびキーボード１２３などの周辺機器を接続するためのインターフェースであり、姿勢検出装置１００と周辺機器との間のデータの入出力を実現する。

カメラインターフェース１０６は、カメラ１２４を接続するためのインターフェースであり、姿勢検出装置１００とカメラ１２４との間のデータの入出力を実現する。

なお、ＣＰＵ１０２は、通信インターフェースを介してＬＡＮ（Local Area Network）等のネットワークに接続可能な構成としてもよい。この場合、ＣＰＵ１０２は、ネットワークを経由して、カメラ１２４やディスプレイ１２１に接続するようにしてもよい。

［姿勢検出装置のハードウェア構成］
図２は、姿勢検出装置の機能構成の一例を示すブロック図である。図２に示すように、姿勢検出装置１００は、検出処理に係る機能部として、姿勢検出装置１００は、取得部１３１と、位置検出部１３２と、判定部１３３と、寝相検出部１３４とを備える。これらの各機能は、姿勢検出装置１００のＣＰＵ１０２がＯＳ１１１および各種プログラムを実行することで実現される。

取得部１３１は、フレーム画像を時系列順に取得する。たとえば、フレーム画像は、寝ている人を撮影した動画に含まれる画像である。具体的には、カメラ１２４によって寝ている人が撮影され、取得部１３１は、カメラインターフェース１０６を介して、撮影された動画に含まれるフレーム画像を時系列順に取得する。なお、動画は、寝ている人を撮影したものに限られない。起きている人であってもよいし、人でなくてもよい。

位置検出部１３２は、フレーム画像から得られる情報を学習済モデル（位置検出用学習済モデル１１２）に入力することで、学習済モデルから人体における複数部位の位置情報を位置検出結果として出力する。ここで、人体における複数部位の位置情報を「位置群」とも称する。また、「位置群」は、単に「位置」とも称する。

位置検出部１３２は、取得部１３１が取得したフレーム画像を入力としたときに位置検出結果として位置群を出力する。たとえば、位置検出部１３２は、取得部１３１が取得した第１フレーム画像を入力としたときに第１位置群を出力し、取得部１３１が取得した第２フレーム画像を入力としたときに第２位置群を出力する。判定部１３３は、位置検出部の誤検出に関する情報（「誤検出情報」とも称する）を出力する。

さらに、判定部１３３は、誤り除外プログラム１１３を用いて、出力された位置検出結果が誤りであると判定された場合に、誤りであると判定した位置検出結果を除外して補正を行う。以下、判定部１３３が出力する位置群を、位置群（補正）とも称する。

寝相検出部１３４は、寝相検出プログラム１１４を用いて、位置検出結果に基づき、寝相情報を出力する。

取得部１３１が取得したフレーム画像は、ディスプレイインターフェースに対して送信する。また、判定部１３３から出力される位置群（補正）を特定可能な画像や、第１フレーム画像と第２フレーム画像との差分画像や、誤検出情報を特定可能な画像や、寝相検出部１３４が出力した寝相情報を特定可能な画像はディスプレイインターフェースに送信される。ディスプレイ１２１は、これらの画像を表示可能である。

なお、姿勢検出装置１００が位置検出部１３２を備えるものに限らず、外部機器が位置検出部１３２を備える構成であってもよく、その他の一部の機能を外部機器が備える構成であてもよい。外部機器は、ネットワークを経由して接続可能にしてもよい。また、姿勢検出装置１００は、寝相検出部１３４を備えないものであってもよい。寝相検出部１３４を備えるものを寝相判定装置と称し、寝相検出部１３４を備えないものを姿勢検出装置と称してもよい。

［検出処理のフローチャート］
図３は、検出処理の一例を示すフローチャートである。図３に示すように、ＣＰＵ１０２は、検出処理を実行する。

検出処理は、動画における各フレーム画像が生成されたタイミングにおいて、起動する処理である。以下、今回の検出処理において取得部１３１が取得したフレーム画像を「今回取得したフレーム画像」または「第２フレーム画像」とも称する。前回の検出処理において取得部１３１が取得したフレーム画像を「前回取得したフレーム画像」または「第１フレーム画像」とも称する。今回の検出処理において、位置検出部１３２が出力した位置群を「第２位置群」とも称し、位置検出部１３２が出力した位置検出結果を「今回の位置検出結果」とも称する。前回の検出処理において、位置検出部１３２が出力した位置群を「第１位置群」とも称し、位置検出部１３２が出力した位置検出結果を「前回の位置検出結果」とも称する。

なお、取得部１３１は、フレームごとにフレーム画像を取得する必要はなく、数フレーム毎に取得しするようにしてもよいし、予め規定された時間ごとにフレーム画像を取得するようにしてもよい。また、カメラ１２４で撮影された動画に含まれるフレーム画像をリアルタイムで取得する必要はなく、ハードディスク１０１に保存された動画を用いて検出処理を行うようにしてもよい。

検出処理は、取得部１３１と、位置検出部１３２と、判定部１３３と、寝相検出部１３４とが実行する一連の処理である。検出処理は、フレーム画像取得処理と、位置検出処理と、第１群設定処理と、第２群設定処理と、第３群設定処理と、誤り除外処理と、寝相検出処理とを含む。なお、検出処理は寝相検出処理を実行しないものであってもよい。

フレーム画像取得処理は、取得部１３１が実行する処理である。位置検出処理は、位置検出用学習済モデル１１２を用いて位置検出部１３２が実行する処理である。

判定部１３３は、位置検出部１３２の誤検出に関する情報を出力する。第１群設定処理と第２群設定処理と第３群設定処理とは、判定部１３３が実行する処理である。また、判定部１３３は、誤り除外プログラム１１３を用いて誤り除外処理を実行する。寝相検出処理は、寝相検出プログラム１１４を用いて寝相検出部１３４が実行する処理である。以下では、ステップを単にＳと記載する。

検出処理を開始すると、ＣＰＵ１０２は、Ｓ１１においてフレーム画像取得処理を実行し、処理をＳ１２に進める。フレーム画像取得処理において、取得部１３１は、フレーム画像を時系列順に取得する。フレーム画像は、たとえば、寝ている人を撮影した動画に含まれる画像である。

ＣＰＵ１０２は、Ｓ１２において位置検出処理を実行し、処理をＳ１３に進める。位置検出処理において、位置検出部１３２は、フレーム画像から得られる情報を学習済モデル（位置検出用学習済モデル１１２）に入力することで、学習済モデルから人体における複数部位の位置情報を位置検出結果として出力する。

ＣＰＵ１０２は、Ｓ１３において第１群設定処理（図４）を実行し、処理をＳ１４に進める。第１群設定処理において、判定部１３３は、取得したフレーム画像に基づく条件が成立した場合に、今回取得したフレーム画像を第１群として設定する。

ＣＰＵ１０２は、Ｓ１４において第２群設定処理（図５）を実行し、処理をＳ１５に進める。第１群設定処理において、判定部１３３は、位置検出結果に基づく条件が成立した場合に、今回取得したフレーム画像を第２群として設定する。

ＣＰＵ１０２は、Ｓ１５において第３群設定処理（図６）を実行し、処理をＳ１６に進める。第１群設定処理において、判定部１３３は、第１群や第２群の設定に基づく条件が成立した場合に、今回取得したフレーム画像を第３群として設定する。

ＣＰＵ１０２は、Ｓ１６において誤り除外処理（図７）を実行し、処理をＳ１７に進める。誤り除外処理において、判定部１３３は、今回取得したフレーム画像を第３群として設定した場合に、位置検出結果を補正する。

ＣＰＵ１０２は、Ｓ１７において寝相検出処理を実行し、検出処理を終了する。寝相検出部１３４は、位置検出結果を入力とし、寝相検出プログラム１１４により寝相判定を行い、寝相情報（寝相検出結果）を出力する。

以下、図４～図６を用いて、第１群～第３群設定処理について説明する。ここで実行される処理の概要は、次の通りである。位置検出部１３２は、取得部１３１が取得した第１フレーム画像を入力としたときに第１位置群を出力する。また、位置検出部１３２は、取得部１３１が取得した、第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力する。ここでは、第２フレーム画像は、第１フレーム画像の後に取得された画像である。なお、第１フレーム画像は、第２フレーム画像の後に取得された画像であってもよい。

判定部１３３は、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、位置検出部１３２の誤検出に関する情報を出力する。本実施の形態では、判定部１３３は、第１位置群と第２位置群との相違度に基づいて第１位置群と第２位置群とが相違すると判断し、かつ、第１フレーム画像と第２フレーム画像との一致度に基づいて第１フレーム画像と第２フレーム画像とが一致すると判断したとき、位置検出部１３２の誤検出に関する情報として、位置検出部１３２が第２位置群を誤検出したことを特定可能な情報を出力する。さらに、判定部１３３は、誤検出した第２位置群を位置検出部１３２の出力結果から除外する。以下、フローチャートを用いて説明する。

図４は、第１群設定処理の一例を示すフローチャートである。姿勢検出装置１００は、第１算出部と第２算出部とを備える。第１算出部は、第１位置群と第２位置群との相違度を算出する。第２算出部は、第１フレーム画像と第２フレーム画像との一致度を算出する。たとえば、第１フレーム画像と第２フレーム画像との一致度は、次のように算出してもよい。第１フレーム画像と第２フレーム画像との間で各ピクセルの差分を取る。差分が生じたピクセル数をカウントしたものを相違度として算出し、差分が生じなかったピクセル数をカウントしたものを一致度として算出する。なお、全体のピクセル数に対する差分が生じたピクセル数の比率を相違度として算出し、全体のピクセル数に対する差分が生じなかったピクセル数の比率を一致度として算出してもよい。

判定部１３３は、第１フレーム画像と第２フレーム画像との相違度に基づいて、第２フレーム画像を第１群の第２フレーム画像として分類する。具体的には、第１群設定処理を開始すると、Ｓ２１において、第２算出部は、前回取得したフレーム画像（第１フレーム画像）と今回取得したフレーム画像（第２フレーム画像）との一致度を算出し、処理をＳ２２に進める。また、その際、第１フレーム画像と第２フレーム画像との差分に基づき、第１フレーム画像と第２フレーム画像との差分を特定可能な差分画像を生成する。

Ｓ２２において、判定部１３３は、第１フレーム画像と第２フレーム画像との相違度が予め定めた基準を超えるとき（Ｓ２２でＹＥＳ）は、処理をＳ２３に進める。なお、第１フレーム画像と第２フレーム画像との一致度が予め定めた基準以下であるときに、処理をＳ２３に進めるようにしてもよい。

判定部１３３は、Ｓ２２において、第１フレーム画像と第２フレーム画像との相違度が予め定めた基準を超えないとき（Ｓ２２でＮＯ）は、第１群設定処理を終了する。なお、第１フレーム画像と第２フレーム画像との一致度が予め定めた基準以下でないときに、処理をＳ２３に進めるようにしてもよい。

判定部１３３は、Ｓ２３において、第２フレーム画像（今回取得したフレーム画像）を第１群として設定して、第１群設定処理を終了する。本処理においては、第１フレーム画像と第２フレーム画像との間で差分が生じたピクセル数がほとんどないと判断できる（相違度が予め定めた基準を超えない、あるいは、一致度が予め定めた基準以下でない）場合に、第１フレーム画像と第２フレーム画像とが一致すると判断している。そして、第１フレーム画像と第２フレーム画像とが一致しない（相違する）と判断した場合に、第２フレーム画像（今回取得したフレーム画像）を第１群として設定する。

なお、第２算出部が第１フレーム画像と第２フレーム画像との一致度や相違度を算出しなくてもよく、判定部１３３が第１フレーム画像と第２フレーム画像とに違いがあるか否かを判定しなくてもよい。この場合、人の目で第１フレーム画像と第２フレーム画像とを確認し、第１フレーム画像と第２フレーム画像とに違いがあるか否かを判定するようにしてもよい。

つまり、第１群設定処理を判定部１３３が行うことなく、人の目で確認し、人の手によりフレーム画像を第１群に設定する作業を行うようにしてもよい。また、差分画像を人の目で確認し、人の手によりフレーム画像を第１群に設定する作業を行うようにしてもよい。この場合、マウス１２２やキーボード１２３による外部入力により、第１群の設定を可能とする。

図５は、第２群設定処理の一例を示すフローチャートである。判定部１３３は、第１位置群と第２位置群との相違度に基づいて、第２位置群を出力するために位置検出部１３２に入力された第２フレーム画像を第２群の第２フレーム画像として分類する。

たとえば、第１位置群と第２位置群との相違度は、次のように算出してもよい。各部位の位置について第１位置群から第２位置群への移動量を算出する。ある部位の第１位置を特定可能な座標が（Ｘ１，Ｙ１）であり、第２位置を特定可能な座標が（Ｘ２，Ｙ２）である場合、第１位置と第２位置との移動量を算出する。そして、各部位の移動量の総和を相違度として算出する。

第２群設定処理を開始すると、Ｓ３１において、第１算出部は、前回の検出結果（第１位置群）と今回の検出結果（第２位置群）との相違度を算出し、処理をＳ３２に進める。

Ｓ３２において、判定部１３３は、第１位置群と第２位置群との相違度が予め定めた基準を超えるとき（Ｓ３２でＹＥＳ）は、処理をＳ３３に進める。Ｓ３２において、判定部１３３は、第１位置群と第２位置群との相違度が予め定めた基準を超えないとき（Ｓ３２でＮＯ）は、第２設定処理を終了する。

Ｓ３４において、判定部１３３は、第２位置群を出力するために位置検出部に入力された第２フレーム画像（今回取得したフレーム画像）を第２群の第２フレーム画像として分類し、第２設定処理を終了する。本処理においては、第１位置群と第２位置群との間でほとんど移動が生じなかったと判断できる（相違度が予め定めた基準を超えない）場合に、第１位置群と第２位置群とが一致すると判断している。そして、第１位置群と第２位置群とが一致しない（相違する）と判断した場合に、第２フレーム画像（今回取得したフレーム画像）を第２群として設定する。

なお、各部位の移動量の総和を相違度として算出するものに限らず、各部位ごとに相違度を算出し、各部位ごとに相違するか否かの判断を行うようにしてもよい。このようにした場合、各部位に対応する差分画像と対比させることで、各部位それぞれについての検出結果が誤りであるか否かが判定可能になる。また、右肘と右手首といった複数の位置に着目し、たとえば、右手に関する検出結果が誤りであるか否かを判定させるようにしてもよい。

なお、第１算出部が第１位置群と第２位置群との一致度や相違度を算出しなくてもよく、判定部１３３が第１算出部の算出結果に基づき、第１位置群と第２位置群とが相違するか否かを判定しなくてもよい。この場合、人の目で第１位置群と第２位置群とを確認し、第１位置群と第２位置群とが相違するか否かを判定するようにしてもよい。

つまり、第２群設定処理を判定部１３３が行うことなく、人の目で確認し、人の手によりフレーム画像を第２群に設定する作業を行うようにしてもよい。また、差分データを人の目で確認し、人の手によりフレーム画像を第２群に設定する作業を行うようにしてもよい。この場合、マウス１２２やキーボード１２３による外部入力により、第２群の設定を可能とする。

判定部１３３は、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、位置検出部１３２の誤検出に関する情報を出力する。具体的には、判定部１３３は、第１位置群と第２位置群との相違度に基づいて第１位置群と第２位置群とが相違すると判断し、かつ、第１フレーム画像と第２フレーム画像との一致度（あるいは相違度）に基づいて第１フレーム画像と第２フレーム画像とが一致すると判断したとき、位置検出部１３２の誤検出に関する情報として、位置検出部１３２が第２位置群を誤検出したことを特定可能な情報を出力する。これは、フレーム画像間では人の動きがないにも関わらず、検出結果としては人体における複数部位の位置が変化しているため、検出結果が誤りであると判定するものである。

さらに、判定部１３３は、複数部位のうちの少なくとも１以上の部位における、第１位置群と第２位置群との相違度が予め定めた基準を超えるときにも、位置検出部１３２の誤検出に関する情報として、位置検出部１３２が第２位置群を誤検出したことを特定可能な情報を出力する。これは、第１フレーム画像が撮影されてから第２フレーム画像が撮影されるまでの時間に対し、検出結果として、人の動きとしてあり得ないスピードで人体の部位の位置が変化しているため、検出結果が誤りであると判定するものである。たとえば、手首だけがあり得ないスピードで変化するものであってもよく、体全体（全ての部位）が瞬間的に移動するようなものであってもよい。第１位置群と第２位置群との相違度は、各部位ごとの移動量であってもよく、１以上の部位において、移動量が予め定めた基準を超えた場合に、第２位置群を誤検出したことを特定すればよい。

判定部１３３は、誤検出した第２位置群を位置検出部１３２の出力結果から除外する（位置検出結果を破棄する）。そして、判定部１３３は、誤検出した第２位置群を第１位置群と同じ位置情報に変更する。これらの処理は、第３群設定処理および誤り除外処理において実行される。以下、フローチャートを用いて具体的に説明する。

図６は、第３群設定処理の一例を示すフローチャートである。判定部１３３は、第２群に含まれ、かつ、第１群に含まれない第２フレーム画像を、第３群の第２フレーム画像として分類し、位置検出部１３２が第２位置群を誤検出した第２フレーム画像と特定する。

第３群設定処理を開始すると、Ｓ４１において、判定部１３３は、第２群に含まれ、かつ、第１群に含まれない第２フレーム画像（今回取得したフレーム画像）を、第３群の第２フレーム画像として設定し、処理をＳ４２に進める。第３群として設定されたフレーム画像は、位置検出部１３２が第２位置群を誤検出したフレーム画像である。

Ｓ４２において、判定部１３３は、複数部位のうちの少なくとも１以上の部位における、前回の検出結果（第１位置群）と今回の検出結果（第２位置群）との相違度が予め定めた基準を超えるとき、第２フレーム画像（今回取得したフレーム画像）を第３群として設定し、第３群設定処理を終了する。

図７は、誤り除外処理の一例を示すフローチャートである。誤り除外処理を開始すると、Ｓ５１において、判定部１３３は、今回取得したフレーム画像（第２フレーム画像）が第３群として設定された場合（Ｓ５１でＹＥＳ）は、処理をＳ５２に進める。

Ｓ５１において、判定部１３３は、今回取得したフレーム画像が第３群として設定されなかった場合（Ｓ５１でＮＯ）は、誤り除外処理を終了する。Ｓ５２において、判定部１３３は、誤検出した第２位置群（今回の位置検出結果）を位置検出部１３２の出力結果から除外し、処理をＳ５３に進める。

Ｓ５３において、判定部１３３は、誤検出した第２位置群（今回の位置検出結果）を第１位置群（前回の位置検出結果）と同じ位置情報に変更し、誤り除外処理を終了する。つまり、今回の位置検出結果は誤りであるため、前回の位置検出結果を今回の位置検出結果として用いる。

たとえば、位置検出結果として出力された人体における複数部位の位置のうち、１以上の位置において位置が異なると判定された場合に、今回の位置検出結果を除外してもよい。この場合、正しく検出された位置も含めて今回の位置検出結果が除外され、前回の位置検出結果が用いられる。また、位置が異なると判定された位置のみ今回の位置検出結果から除外するようにしてもよい。この場合、正しく検出された位置は今回の位置検出結果から除外されず、誤って検出された位置のみが今回の位置検出結果から除外されて前回の位置検出結果が用いられることになる。

なお、第３群設定処理を判定部１３３が行うことなく、人の目でフレーム画像の差分や位置検出結果の変化量を確認し、人の手によりフレーム画像を第３群に設定する作業を行うようにしてもよい。この場合、マウス１２２やキーボード１２３による外部入力により、第３群の設定を可能とする。

また、Ｓ５２およびＳ５３の両方を行うものに限らず、いずれか一方を行うものであってもよい。誤検出した第２位置群（今回の位置検出結果）を位置検出部１３２の出力結果から除外する処理（Ｓ５２）のみを行った場合は、今回の位置検出結果が存在しなくなる。このため、今回の位置検出結果に基づく寝相検出を行うことができない。この場合、前後に行った正しい位置検出結果に基づき寝相検出を行えばよい。

寝相検出部１３４は、位置検出結果を入力とし、寝相検出プログラム１１４により寝相判定を行い、寝相情報（寝相検出結果）を出力する。検出処理において、Ｓ１１～Ｓ１６の処理は、人体における複数部位の位置情報（位置検出結果）や誤検出に関する情報（第２位置群の誤検出）を出力するための処理であるが、さらに、Ｓ１７の処理において、出力された複数部位の位置情報および出力された誤検出に関する情報に基づいて、寝相情報（寝相検出結果）が出力されることになる。具体的には、誤検出に関する情報に基づいて誤検出した第２位置群の除外、変更を行った上で、複数部位の位置情報が入力されて、寝相情報が出力される。

図８は、検出処理の入出力データの一例を示す図である。取得部１３１は、寝ている人を撮影した動画に含まれるフレーム画像を取得する。図８に示すように、位置検出部１３２は、フレーム画像から得られる情報を位置検出用学習済モデル１１２に入力することで、学習済モデルから人体における複数部位の位置情報（位置群）を位置検出結果として出力する。

位置検出部１３２は、位置検出結果として、ｎ箇所の人体の部位の位置を出力する。本実施の形態においては、ｎ＝２３である。以下、ｎ箇所の人体の部位の位置は、位置Ａ１、位置Ａ２、位置Ａ３・・・位置Ａｎと表記する。これらの位置は、各関節の位置や顔の特定位置を示す。たとえば、各関節の位置は、左右の膝や肘などの関節の位置を示す。顔の特定位置は、目や鼻や耳の位置を示す。

人体の部位の位置は、ディスプレイ１２１に表示するための位置を特定可能とする座標（Ｘ，Ｙ）である。これらの座標は、フレーム画像中の人体の部位の位置に対応するものである。たとえば、フレーム画像中の右肘に対応して、右肘の位置を特定可能な座標が検出される。これらの位置を特定可能な画像および位置と位置を繋ぐ線の画像が位置画像として生成される。ディスプレイ１２１には、フレーム画像中の人の画像の全面側に重畳して位置画像が表示される。

たとえば、位置検出部１３２は、位置検出結果として、位置Ａ１を特定可能な座標（Ｘａ１，Ｙａ１）を出力する。位置検出部１３２は、位置検出結果として、位置Ａ２を特定可能な座標（Ｘａ２，Ｙａ２）を出力する。位置検出部１３２は、位置検出結果として、位置Ａ３を特定可能な座標（Ｘａ３，Ｙａ３）を出力する。位置検出部１３２は、位置検出結果として、位置Ａｎを特定可能な座標（Ｘａｎ，Ｙａｎ）を出力する。

判定部１３３は、誤り除外処理を実行する。判定部１３３は、誤り除外処理において、位置検出結果が誤りであると判定した（第２位置群を誤検出したことを特定した）場合は、位置検出結果の補正を行う。これにより、位置検出結果は、位置検出結果（補正）に変更される。判定部１３３は、誤り除外処理において、位置検出結果が誤りであると判定しなかった場合は、位置検出結果を変更しない。

たとえば、位置検出部１３２は、位置検出結果（補正）として、位置Ａ１を特定可能な座標（Ｘｂ１，Ｙｂ１）を出力する。位置検出部１３２は、位置検出結果（補正）として、位置Ａ２を特定可能な座標（Ｘａｂ，Ｙｂ２）を出力する。位置検出部１３２は、位置検出結果（補正）として、位置Ａ３を特定可能な座標（Ｘｂ３，Ｙｂ３）を出力する。位置検出部１３２は、位置検出結果（補正）として、位置Ａｎを特定可能な座標（Ｘｂｎ，Ｙｂｎ）を出力する。

たとえば、後述する図１２のフレーム画像Ｂにおいては、判定部１３３は位置検出結果が誤りであると判定していないので、Ａ１～Ａｎを特定可能な座標の変更は行われない。図１２のフレーム画像Ｂにおいては、全ての位置（位置Ａ１～Ａｎ）を特定可能な座標の変更が行われている。図１３のフレーム画像Ｂにおいては、右肘および右手首を特定可能な座標の変更が行われている。

寝相検出部１３４は、位置検出結果が誤りであると判定されなかった場合は、位置検出結果を入力として、寝相情報（寝相検出結果）を出力する。寝相検出部１３４は、位置検出結果が誤りであると判定された場合は、位置検出結果（補正）を入力として、寝相情報（寝相検出結果）を出力する。

出力される寝相検出結果は、仰向け、うつ伏せ、右向き、左向きなどの人が寝ているときの状態（寝相）である。また、寝相検出部１３４は、連続した複数の位置検出結果から、寝返り、けいれんなどの人が寝ているときの動作を検出し、これを寝相検出結果として出力してもよい。

出力される寝相検出結果は、人の健康状態を確認できるものであればどのようなものであってもよい。たとえば、寝ていると表れる症状として、体が頻繁に揺れたり、寝返りをしたり、体の一部がビクッと動いたり、足をバタバタさせたり、不自然な体勢で寝ていることなどを特定可能な情報を出力させてもよい。

位置検出部１３２は、寝相検出結果として、結果Ｚ１～Ｚｍのうちのいずれかの結果を出力する。たとえば、結果Ｚ１は、「仰向け」である。結果Ｚ２は、「うつ伏せ」である。結果Ｚ３は、「右向き」である。結果Ｚ４は、「左向き」である。結果Ｚ５は、「寝返り」である。結果Ｚ６は、「けいれん」である。

本実施の形態では、ディスプレイ１２１に寝相検出結果を特定可能な文字を表示させる。たとえば、ディスプレイ１２１には仰向けで寝ている人が撮影された動画（フレーム画像）とともに「仰向け」の文字が表示される。あるいは、ディスプレイ１２１にはけいれん状態にある人が撮影された動画（フレーム画像）とともに「けいれん」の文字が表示される。これにより、ディスプレイ１２１を見ることで、寝ている人の姿勢や動作を確認することができる。

また、本実施の形態においては、判定部１３３は、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、今回の位置検出結果を誤りとして補正している。すなわち、人体に動きがないにも関わらず、フレーム間の検出結果に違いが発生したと認められるような場合に、位置検出結果を誤りであると判断して、これを補正するようにしている。Openposeなどの姿勢検出技術（姿勢推定技術）は１つのフレームに基づき検出結果を出力するものである。これに対して、本実施の形態においては、フレーム間の画像の差分に着目して位置検出の検出精度を向上させようとするものである。本実施の形態においては、特に、人が寝ている状態に着目するものであり、この場合、人の体の動きは非常に少ない。このように、本実施の形態においては、フレーム画像間の差分が発生しづらい状況下において、位置検出結果の検出精度を向上させようとするものである。このようにすることで、同時に寝相検出精度も向上させることができ、人が寝ているときの健康状態を適切に確認することできる。

［検出結果の表示例］
図９～図１４は、検出結果の表示例を示す図である。図９では、仰向けで寝ている場合の位置検出結果および寝相検出結果の表示例を示している。図９に示すように、ディスプレイ１２１には、カメラ１２４により撮影されたフレーム画像が表示されている。撮影されている人は仰向けで寝ており、ディスプレイ１２１には、仰向けで寝ている人の画像（フレーム画像）が表示されている。

位置検出部１３２は、位置検出結果として、ｎ箇所（本実施の形態では、２３箇所）の人体の部位の位置を出力する。位置検出結果に誤りがあると判定された場合は、位置検出結果が補正される。位置検出結果に基づき生成された位置画像は、フレーム画像中の人の画像の全面側に重畳してディスプレイ１２１に表示される。

寝相検出部１３４は、位置検出結果を入力として、寝相検出結果として寝相情報を出力する。ディスプレイ１２１には、寝相検出結果を特定可能な文字が表示される。

図９の例においては、ディスプレイ１２１には、仰向けで寝ている人の画像の前面側に位置画像が表示されている。たとえば、位置画像として、右耳、右目、鼻、左目、左耳を特定可能な画像が表示されるとともに、これらを繋ぐ線が表示されている。また、たとえば、位置画像として、右肩、右肘、右手首を特定可能な画像が表示されるとともに、これらを繋ぐ線が表示されている。正しく位置検出が行われているため、フレーム画像中の人体の部位の各位置に対応して位置画像が表示されている。

ディスプレイ１２１の右上部には、寝相検出結果として、仰向けで寝ていることを示す文字画像「仰向け」が表示されている。

図１０では、右向きで寝ている場合の位置検出結果および寝相検出結果の表示例を示している。図１０に示すように、ディスプレイ１２１には、カメラ１２４により撮影されたフレーム画像が表示される。撮影されている人は右向きで寝ており、ディスプレイ１２１には、右向きで寝ている人の画像（フレーム画像）が表示されている。

図１０の例においては、ディスプレイ１２１には、右向きで寝ている人の画像に重ねて、位置検出結果として、位置画像が表示されている。また、ディスプレイ１２１の右上部には、寝相検出結果として、右向きで寝ていることを示す文字画像「右向き」が表示されている。

図１０の例においても、正しく位置検出が行われているため、フレーム画像中の人体の部位の各位置に対応して位置画像が表示されている。ただし、画像中の右手が隠れてしまって見えないため、右肘および右手首の位置は検出結果として出力されていない。

図１１では、仰向けに寝ている人の右手が徐々に動く場合における検出結果の表示例を示している。図１１においては、フレーム画像Ａ、フレーム画像Ｂ、フレーム画像Ｃの順に時系列順に画像が取得されるものとする。以下、図１２～１４においても同様である。図９と同様、図１１に示すように、ディスプレイ１２１には、フレーム画像Ａとして、仰向けで寝ている人の画像と、位置画像と、文字画像「仰向け」が表示されている。

次に取得されたフレーム画像Ｂにおいて、人の右手が上方に移動したとする。この場合、ディスプレイ１２１には、右向きで寝ている人の画像において、右手が上方に移動した様子が表示されている。右手が移動したことで、右手の移動が特定可能な差分画像が生成される。

たとえば、差分画像として、フレーム画像間で変化があった領域が特定の色（たとえば、黄色）となる画像が表示される。フレーム画像Ｂ、右手に対応する領域が黄色くなっている。さらに、位置画像と、文字画像「仰向け」が表示されている。

次に取得されたフレーム画像Ｃにおいて、さらに、人の右手が上方に移動したとする。この場合、ディスプレイ１２１には、さらに右手が上方に移動した様子が表示されている。右手が移動したことで、右手が移動したことを特定可能な差分画像が生成される。図においては、右手に対応する領域が黄色くなっている。さらに、位置画像と、文字画像「仰向け」が表示されている。

図１２では、フレーム画像Ａ～Ｃにおいて、人に動きはないが、フレームＢにおいて位置検出結果が誤りであると判定された場合の表示例を示している。図９と同様、図１１に示すように、ディスプレイ１２１には、フレーム画像Ａとして、仰向けで寝ている人の画像と、位置画像と、文字画像「仰向け」が表示されている。

次に取得されたフレーム画像Ｂにおいて、人の動きはないが、位置検出結果が誤りであり、位置画像が画面右側に大きくずれてディスプレイ１２１に表示されている。このため、位置検出結果が誤りであると判定されて、位置検出結果が補正される。位置検出結果の補正により、一つ前のフレーム画像Ａに対応する位置検出結果が用いられる。これにより、補正後の位置検出結果は正しく表示されている。

図１３では、フレーム画像Ａ～Ｃにおいて、人に動きがあり、かつ、フレームＢにおいて位置検出結果が誤りであると判定された場合の表示例を示している。図９と同様、図１１に示すように、ディスプレイ１２１には、フレーム画像Ａとして、仰向けで寝ている人の画像と、位置画像と、文字画像「仰向け」が表示されている。

次に取得されたフレーム画像Ｂにおいて、左手に小さな動きがあるため、左手の動きを特定可能な差分画像が表示されている。さらに、左手首および左肘の位置検出結果には誤りがあり、左手が大きく動いたような位置画像が表示されている。また、フレームＡが撮影されてからフレームＢが撮影されるまでの時間に対し、人の動きとしてあり得ないスピードで右手が移動している。

たとえば、１秒未満の時間で左手が下から上に移動することはあり得ない。このとき、フレーム画像Ａとフレーム画像Ｂとの比較において、左手首や左肘位置の変化量が予め定めた基準値を超えるため、位置検出結果が誤りであると判定される。

位置検出結果が誤りであると判定された場合は、位置検出結果の補正が行われる。位置検出結果の補正により、一つ前のフレーム画像Ａに対応する位置検出結果が用いられる。これにより、補正後の位置検出結果は正しく表示されている。

図１４では、フレーム画像Ａ～Ｃにおいて、人に動きはないが、フレームＢにおいて一部の位置が検出できなかった場合の表示例を示している。図９と同様、図１４に示すように、ディスプレイ１２１には、フレーム画像Ａとして、仰向けで寝ている人の画像と、位置画像と、文字画像「仰向け」が表示されている。

フレームＡにおいては、全ての位置が検出できているものとする。しかし、次に取得されたフレーム画像Ｂにおいて、人の動きはないが、右手側に検出できない箇所が発生したとする。この場合、一つ前のフレーム画像Ａに対応する位置検出結果を用いるようにしてもよい。これにより、補正後の位置検出結果は正しく表示されている。

［誤り除外処理について］
図１５は、本実施の形態の変形例に係る誤り除外処理の一例を示すフローチャートである。本実施の形態においては、判定部１３３は、誤検出した第２位置群を第１位置群と同じ位置情報に変更するようにした。しかし、これに限らず、判定部１３３は、第２位置群（今回の位置検出結果）を位置検出部１３２が出力する前後で出力した複数の位置群に基づき、誤検出した第２位置群を変更するようにしてもよい。

具体的には、変形例に係る誤り除外処理を開始すると、Ｓ６１において、判定部１３３は、今回取得したフレーム画像（第２フレーム画像）が第３群として設定された場合（Ｓ６１でＹＥＳ）は、処理をＳ６２に進める。

Ｓ６１において、判定部１３３は、今回取得したフレーム画像（第２フレーム画像）が第３群として設定されなかった場合（Ｓ６１でＮＯ）は、誤り除外処理を終了する。Ｓ６２において、判定部１３３は、誤検出した第２位置群（今回の位置検出結果）を位置検出部１３２の出力結果から除外し、処理をＳ６３に進める。

Ｓ６３において、判定部１３３は、第２位置群（今回の位置検出結果）を位置検出部１３２が出力する前後で出力した複数の位置群に基づき、誤検出した第２位置群を変更する。位置検出結果の変更は、検出された人体の部位の位置ごとに行ってもよい。

たとえば、前回の位置検出結果と次回の位置検出結果を線形補完することで今回の位置検出結果として算出するようにしてもよい。この場合、次回の位置検出結果を出力しなければ、今回の位置検出結果を補正することができないため、位置画像のディスプレイ１２１への表示が１フレーム分遅れることになる。ただし、リアルタイムで位置検出を行わず、予め撮影された動画に基づき位置検出を行うような場合には、１フレーム分遅らせて表示させる必要はなくなる。

また、これに限らず、前々回の位置検出結果と前回の位置推移結果を線形補完することで今回の位置検出結果として算出するようにしてもよい。また、３以上の位置推移結果に基づき今回の位置検出結果を補正するようにしてもよい。

［態様］
上述した実施の形態およびその変形例は、以下の態様の具体例であることが当業者により理解される。

（第１項）一態様に係る姿勢検出装置は、取得部と、位置検出部と、判定部とを備える。取得部は、フレーム画像を時系列順に取得する。位置検出部は、フレーム画像から得られる情報を学習済モデルに入力することで、学習済モデルから人体における複数部位の位置情報を出力する。判定部は、位置検出部の誤検出に関する情報を出力する。位置検出部は、取得部が取得した第１フレーム画像を入力としたときに第１位置群を出力し、取得部が取得した、第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力する。判定部は、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、位置検出部の誤検出に関する情報を出力する。

このような構成によれば、人体における複数部位の位置情報の誤検出を特定することができる。これにより、誤検出した位置情報を取り除くことができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第２項）第１項に記載の姿勢検出装置において、第１算出部と、第２算出部とをさらに備える。第１算出部は、第１位置群と第２位置群との相違度を算出する。第２算出部は、第１フレーム画像と第２フレーム画像との一致度を算出する。判定部は、第１算出部が算出した第１位置群と第２位置群との相違度、および、第２算出部が算出した第１フレーム画像と第２フレーム画像との一致度に基づいて、位置検出部の誤検出に関する情報を出力する。

このような構成によれば、第１算出部は、第１位置群と第２位置群との相違度を算出するため、人の目で確認する場合に比べて、第１位置群と第２位置群との相違度について精度よく判定することできる。また、第１フレーム画像と第２フレーム画像との一致度を算出するため、第１フレーム画像と第２フレーム画像との一致度について精度よく判定することできる。その結果、位置検出部の誤検出に関する情報を精度よく出力することができる。

（第３項）第１または第２項に記載の姿勢検出装置において、判定部は、第１位置群と第２位置群との相違度に基づいて第１位置群と第２位置群とが相違すると判断し、かつ、第１フレーム画像と第２フレーム画像との一致度に基づいて第１フレーム画像と第２フレーム画像とが一致すると判断したとき、位置検出部の誤検出に関する情報として、位置検出部が第２位置群を誤検出したことを特定可能な情報を出力する。

このような構成によれば、第２位置群の誤検出を特定することができる。これにより、誤検出した第２位置群を取り除くことができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第４項）第３に記載の姿勢検出装置において、判定部は、複数部位のうちの少なくとも１以上の部位における、第１位置群と第２位置群との相違度が予め定めた基準を超えるときにも、位置検出部の誤検出に関する情報として、位置検出部が第２位置群を誤検出したことを特定可能な情報を出力する。

このような構成によれば、極端な位置の変化が発生した場合における、人体における複数部位の位置情報の誤検出を特定することができる。これにより、誤検出した位置情報を取り除くことができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第５項）第３または第４項に記載の姿勢検出装置において、判定部は、誤検出した第２位置群を位置検出部の出力結果から除外する。

このような構成によれば、第２位置群の誤検出を特定することができるとともに、誤検出した第２位置群を取り除くことができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第６項）第３または第４項に記載の姿勢検出装置において、判定部は、誤検出した第２位置群を第１位置群と同じ位置情報に変更する。

このような構成によれば、第２位置群の誤検出を特定することができるとともに、誤検出した第２位置群を正しく検出された位置群に置き換えることができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第７項）第３または第４項に記載の姿勢検出装置において、判定部は、第２位置群を位置検出部が出力する前後で出力した複数の位置群に基づき、誤検出した第２位置群を変更する。

このような構成によれば、第２位置群の誤検出を特定することができるとともに、誤検出した第２位置群を正しく検出された位置群に基づき変更することができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第８項）第１～第７項のいずれか１項に記載の姿勢検出装置において、判定部は、第１フレーム画像と第２フレーム画像との相違度に基づいて、第２フレーム画像を第１群の第２フレーム画像として分類する。判定部は、第１位置群と第２位置群との相違度に基づいて、第２位置群を出力するために位置検出部に入力された第２フレーム画像を第２群の第２フレーム画像として分類する。判定部は、第２群に含まれ、かつ、第１群に含まれない第２フレーム画像を、位置検出部が第２位置群を誤検出した第２フレーム画像と特定する。

このような構成によれば、判定部が、第１位置群と第２位置群との相違度を算出するとともに、第１フレーム画像と第２フレーム画像との一致度を算出するため、人の目で確認する場合に比べて、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度について精度よく判定することできる。

（第９項）一態様に係る姿勢検出方法は、フレーム画像を時系列順に取得するステップと、フレーム画像から得られる情報を学習済モデルに入力することで、学習済モデルから人体における複数部位の位置情報を出力するステップと、出力された複数部位の位置情報につき誤検出に関する情報を出力するステップとを含む。複数部位の位置情報を出力するステップは、取得した第１フレーム画像を入力としたときに第１位置群を出力するステップと、取得した、第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力するステップとを含む。誤検出に関する情報を出力するステップは、第１位置群と第２位置群との相違度、および、第１フレーム画像と第２フレーム画像との一致度に基づいて、誤検出に関する情報を出力する。

このような構成によれば、人体における複数部位の位置情報の誤検出を特定することができる。これにより、誤検出した位置情報を取り除くことができるため、実際には生じていない人体の動作が検出されることを防止することができる。

（第１０項）一態様に係る寝相判定方法は、第９項に記載の姿勢検出方法と、出力された前記複数部位の位置情報および出力された誤検出に関する情報に基づいて、寝相情報を出力するステップとを含む。

このような構成によれば、正しく検出された人体における複数部位の位置情報に基づき、寝相情報を出力することができるため、寝相情報の出力精度を向上させることができる。

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１００ 姿勢検出装置、１０１ ハードディスク、１０２ ＣＰＵ、１０３ メモリ、１０４ ディスプレイインターフェース、１０５ 周辺機器インターフェース、１０６ カメラインターフェース、１１１ ＯＳ、１１２ 位置検出用学習済モデル、１１３ 誤り除外プログラム、１１４ 寝相検出プログラム、１２１ ディスプレイ、１２２ マウス、１２３ キーボード、１２４ カメラ、１３１ 取得部、１３２ 位置検出部、１３３ 判定部、１３４ 寝相検出部。

Claims (10)

1. フレーム画像を時系列順に取得する取得部と、
   前記フレーム画像から得られる情報を学習済モデルに入力することで、前記学習済モデルから人体における複数部位の位置情報を出力する位置検出部と、
   前記位置検出部の誤検出に関する情報を出力する判定部とを備え、
   前記位置検出部は、
   前記取得部が取得した第１フレーム画像を入力としたときに第１位置群を出力し、
   前記取得部が取得した、前記第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力し、
   前記判定部は、前記第１位置群と前記第２位置群との相違度、および、前記第１フレーム画像と前記第２フレーム画像との一致度に基づいて、前記位置検出部の誤検出に関する情報を出力する、姿勢検出装置。
2. 前記第１位置群と前記第２位置群との相違度を算出する第１算出部と、
   前記第１フレーム画像と前記第２フレーム画像との一致度を算出する第２算出部とをさらに備え、
   前記判定部は、前記第１算出部が算出した前記第１位置群と前記第２位置群との相違度、および、前記第２算出部が算出した前記第１フレーム画像と前記第２フレーム画像との一致度に基づいて、前記位置検出部の誤検出に関する情報を出力する、請求項１に記載の姿勢検出装置。
3. 前記判定部は、前記第１位置群と前記第２位置群との相違度に基づいて前記第１位置群と前記第２位置群とが相違すると判断し、かつ、前記第１フレーム画像と前記第２フレーム画像との一致度に基づいて前記第１フレーム画像と前記第２フレーム画像とが一致すると判断したとき、前記位置検出部の誤検出に関する情報として、前記位置検出部が前記第２位置群を誤検出したことを特定可能な情報を出力する、請求項１に記載の姿勢検出装置。
4. 前記判定部は、前記複数部位のうちの少なくとも１以上の部位における、前記第１位置群と前記第２位置群との相違度が予め定めた基準を超えるときにも、前記位置検出部の誤検出に関する情報として、前記位置検出部が前記第２位置群を誤検出したことを特定可能な情報を出力する、請求項３に記載の姿勢検出装置。
5. 前記判定部は、誤検出した前記第２位置群を前記位置検出部の出力結果から除外する、請求項３に記載の姿勢検出装置。
6. 前記判定部は、誤検出した前記第２位置群を前記第１位置群と同じ位置情報に変更する、請求項３に記載の姿勢検出装置。
7. 前記判定部は、前記第２位置群を前記位置検出部が出力する前後で出力した複数の位置群に基づき、誤検出した前記第２位置群を変更する、請求項３に記載の姿勢検出装置。
8. 前記判定部は、
   前記第１フレーム画像と前記第２フレーム画像との相違度に基づいて、前記第２フレーム画像を第１群の前記第２フレーム画像として分類し、
   前記第１位置群と前記第２位置群との相違度に基づいて、前記第２位置群を出力するために前記位置検出部に入力された前記第２フレーム画像を第２群の前記第２フレーム画像として分類し、
   前記第２群に含まれ、かつ、前記第１群に含まれない前記第２フレーム画像を、前記位置検出部が前記第２位置群を誤検出した前記第２フレーム画像と特定する、請求項１に記載の姿勢検出装置。
9. フレーム画像を時系列順に取得するステップと、
   前記フレーム画像から得られる情報を学習済モデルに入力することで、前記学習済モデルから人体における複数部位の位置情報を出力するステップと、
   出力された前記複数部位の位置情報につき誤検出に関する情報を出力するステップとを含み、
   前記複数部位の位置情報を出力するステップは、
   取得した第１フレーム画像を入力としたときに第１位置群を出力するステップと、
   取得した、前記第１フレーム画像とは異なる第２フレーム画像を入力としたときに第２位置群を出力するステップとを含み、
   前記誤検出に関する情報を出力するステップは、前記第１位置群と前記第２位置群との相違度、および、前記第１フレーム画像と前記第２フレーム画像との一致度に基づいて、前記誤検出に関する情報を出力する、姿勢検出方法。
10. 請求項９に記載の姿勢検出方法と、
    出力された前記複数部位の位置情報および出力された前記誤検出に関する情報に基づいて、寝相情報を出力するステップとを含む、寝相判定方法。

Images