JP7414262B2

JP7414262B2 - 口腔認識装置

Info

Publication number: JP7414262B2
Application number: JP2020009387A
Authority: JP
Inventors: 貴広安藤; 絢乃正木; 青柳; 琢也野嶋
Original assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS
Current assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS
Priority date: 2020-01-23
Filing date: 2020-01-23
Publication date: 2024-01-16
Anticipated expiration: 2040-01-23
Also published as: JP2021117049A

Description

特許法第３０条第２項適用（１）ウェブサイトの掲載日２０１９年１月３１日ウェブサイトのアドレスｈｔｔｐ：／／ｒｅｐｏ．ｉｎｆ．ｕｅｃ．ａｃ．ｊｐ／ｍａｓｔｅｒ／にて公開、及び（２）開催日２０１９年２月７日電気通信大学情報学専攻メディア情報学２０１９年度博士前期課程発表会にて、「口腔認識装置」の技術について公開した。

本発明は、人の口腔部の形状や位置を認識する口腔認識装置に関するものである。

舌の運動機能は、嚥下や発話といった日常生活をおくるうえで必要不可欠な活動に深く関わっている。しかしながら、老化による筋力低下や特定疾患などの影響により舌の運動機能が低下することがある。

そこで、舌や口の運動機能を維持・向上させるために、口腔筋機能療法と呼ばれる口や舌のトレーニングセットが知られているが、この手法では動作が単調であり長期間継続してトレーニングを行うことは苦痛であった。

そのため、非特許文献１に記載したような非接触型舌運動計測システムが開発されている。非接触型舌運動計測システムは、非接触で口や舌の形状を検出して、ユーザがゲーム感覚で口腔運動のトレーニングを行うことができるものである。

柳青, 宮内将斗, 木村尭, 野嶋琢也, SITA: 非装着型舌運動計測システムの開発, 日本バーチャルリアリティ学会論文誌, 2016, 21 巻, 2 号, p. 235-241, 公開日 2016/09/09, Online ISSN 2423-9593, Print ISSN 1344-011X, https://doi.org/10.18974/tvrsj.21.2_235,https://www.jstage.jst.go.jp/article/tvrsj/21/2/21_235/_article/-char/ja,

非特許文献１に記載の非装着型舌運動計測システムでは、非接触で口や舌の形状を検出するが、口や舌の形状は個人差が大きく、複雑な形状をしているので、精度よく形状を検出することが困難であった。

本発明は、上記の事情に鑑みてなされたものであり、非接触で口や舌などの口腔部の形状や位置を精度よく認識する口腔認識装置を提供することを目的とする。

本発明の口腔認識装置の第１の特徴は、
対象物までの距離を深度値として検出する深度センサと、
前記深度センサにより検出された深度値に基づいて、前記対象物である人の口腔部を認識する認識手段と、
を備えたことにある。

本発明の口腔認識装置の第２の特徴は、
前記対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記ＲＧＢカメラにより取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角を算出する算出手段と、
前記算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、前記深度値を補正する補正手段と、
を備えたことにある。

本発明の口腔認識装置の第３の特徴は、
前記対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記ＲＧＢ画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、をさらに備え、
前記認識手段は、
前記ＲＧＢ画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて口腔部の形状を認識する
ことにある。

本発明によれば、非接触で口腔部の形状や位置を精度よく認識することができる。

本発明の実施形態１である口腔認識装置のハードウェア構成を示す機器構成図である。本発明の実施形態１である口腔認識装置の機能構成を示す機器構成図である。（ａ）は、正面から撮影された人の頭のロール回転角およびヨー回転角を説明した図であり、（ｂ）は、側面から撮影された人の頭のピッチ回転角を説明した図である。閾値設定手段による閾値設定処理の処理内容を示したフローチャートである。閾値の設定のために標準状態における唇の状態を示した図である。（ａ）は、標準状態におけるユーザＡの口腔部の上唇と下唇とを正面から撮影したＲＧＢ画像であり、（ｂ）は、標準状態におけるユーザＡの口腔部の上唇と下唇とを側面から撮影したＲＧＢ画像である。閾値の設定のために／ｗｕ／と発音した状態における唇の状態を示した図である。（ａ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇と、下唇とを正面から撮影したＲＧＢ画像であり、（ｂ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇と、下唇とを側面から撮影したＲＧＢ画像である。本発明の実施形態２である口腔認識装置１において、位置認識処理の処理内容を示したフローチャートである。（ａ）はＲＧＢ画像の一例であり、（ｂ）は深度画像の一例であり、（ｃ）は二値化画像の一例であり、（ｄ）は輪郭の抽出の一例であり、（ｅ）は舌先の位置の一例である。

以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。

また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。

＜実施形態１＞
本発明の実施形態１では、人の口腔部の形状を認識する形状認識処理を実行する口腔認識装置を例に挙げて説明する。

図１は、本発明の実施形態１である口腔認識装置のハードウェア構成を示す機器構成図である。

図１に示すように、口腔認識装置１は、ＲＧＢカメラ２と、深度センサ３と、コンピュータ４と、モニタ５と、入力デバイス６とを備えている。

ＲＧＢカメラ２は、対象物、ここではユーザＡを撮像してＲＧＢ画像を生成する。

深度センサ３は、ユーザＡまでの距離を深度値として検出する。

モニタ５は、有機ＥＬ（electroluminescence）ディスプレイや、液晶ディスプレイ等の画像出力装置を備えており、コンピュータ４からの出力信号に基づいて画面を表示する。

入力デバイス６は、キーボードやマウスなどであり、ユーザ操作に基づいて入力信号をコンピュータ４に供給する。

コンピュータ４は、ＣＰＵやメモリなどを有しており、ＲＧＢカメラ２、深度センサ３、モニタ５、および入力デバイス６と接続されている。コンピュータ４は、ＲＧＢカメラ２が撮像したＲＧＢ画像を取得し、深度センサ３により計測された深度値を取得し、入力デバイス６から入力信号を取得する。また、コンピュータ４は、モニタ５に口腔筋機能のトレーニング用の画面を表示させたり、入力用の画面などを表示させたりする。

また、コンピュータ４は、メモリに記憶された口腔認識プログラムを実行することにより、図２に示すように、その機能上、深度画像生成手段４１と、算出手段４２と、補正手段４３と、閾値設定手段４４と、認識手段４５と、出力手段４６とを備える。

深度画像生成手段４１は、深度センサ３により検出された深度値に基づいて、対象物である人（ここでは、ユーザＡ）までの距離を濃淡で表現した深度画像を生成する。

算出手段４２は、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から、図３（ａ）に示すような正面から撮影された人の頭のロール回転角θ１およびヨー回転角θ２と、図３（ｂ）に示すような側面から撮影された人の頭のピッチ回転角θ３とを算出する。このロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３は、顔認識技術を用いて算出される。

補正手段４３は、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３に基づいて、図３に示すように撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度画像とＲＧＢ画像とを補正する。すなわち、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３がともに、“０”度となるように深度画像とＲＧＢ画像とを補正する。

閾値設定手段４４は、人ごとに、口腔部が標準状態のときと所定の形状をしたときのＲＧＢ画像と深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する。口腔部の形状は個人差が大きく、所定の形状をしたか否かを判定するのは困難であるので、ここでは、予め、人（ユーザ）ごとに、口腔部が標準状態のときと、所定の形状をしたときのＲＧＢ画像と深度値とを取得しておき、そのユーザの口腔部が所定の形状となったか否かを正確に判定するための閾値を設定する。なお、口腔部とは、唇および舌を含んでいる。

認識手段４５は、深度センサ３により検出された深度値に基づいて、対象物である人の口腔部を認識する。具体的には、認識手段４５は、口腔部の形状を認識する形状認識処理と、口腔部の舌先の位置を認識する位置認識処理とを実行する。

出力手段４６は、認識手段４５により認識した認識結果に基づいて、口腔筋機能のトレーニング用の画面をモニタ５に表示させる。

＜閾値設定処理＞
図４は、閾値設定手段４４による閾値設定処理の処理内容を示したフローチャートである。

図４に示すように、標準状態（ユーザＡが意図的に唇の形状を変えるのではなく通常の状態）におけるデータの取得が要求されたか否かを判定する（ステップＳ１０１）。例えば、モニタ５に「普通の顔をして、画面上の「撮影ボタン」を押してください。」というメッセージを表示させ、ユーザが入力デバイス６から「撮影ボタン」を押下操作することにより、データの取得が要求される。

標準状態におけるデータの取得が要求されると（ステップＳ１０１；ＹＥＳ）、算出手段４２はＲＧＢカメラ２により撮像されたＲＧＢ画像を取得する（ステップＳ１０３）。

次に、深度画像生成手段４１は、深度センサ３により検出された深度値に基づいて、ユーザＡまでの距離を濃淡で表現した深度画像を生成する（ステップＳ１０５）。

そして、ＲＧＢ画像と深度画像を補正する（ステップＳ１０７）。具体的には、算出手段４２が、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から、ロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３を算出し、補正手段４３が、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３に基づいて、撮像されたユーザＡが正面を向きかつユーザＡの顔の傾きが平行になるように、ＲＧＢ画像と深度画像を補正する。

次に、所定の形状（ここでは、／ｗｕ／と発音したときの形状、および／ｙｉ／と発音したときの形状）をした状態におけるデータの取得が要求されたか否かを判定する（ステップＳ２０１）。例えば、モニタ５に「／ｗｕ／と発音して、画面上の「撮影ボタン」を押してください。」や、「／ｙｉ／と発音して、画面上の「撮影ボタン」を押してください。」というメッセージを表示させ、ユーザが入力デバイス６から「撮影ボタン」を押下操作することにより、データの取得が要求される。

所定の形状におけるデータの取得が要求されると（ステップＳ１０９；ＹＥＳ）、算出手段４２はＲＧＢカメラ２により撮像されたＲＧＢ画像を取得する（ステップＳ１１１）。

次に、深度画像生成手段４１は、深度センサ３により検出された深度値に基づいて、ユーザＡまでの距離を濃淡で表現した深度画像を生成する（ステップＳ１１３）。

そして、ステップＳ１０７と同様に、ＲＧＢ画像と深度画像を補正する（ステップＳ１１５）。

次に、閾値設定手段４４は、ユーザＡの閾値を算出する（ステップＳ１１７）。

図５は、閾値の設定のために標準状態における唇の状態を示した図である。（ａ）は、標準状態におけるユーザＡの口腔部の上唇１０１ａと下唇１０１ｂとを正面から撮影したＲＧＢ画像であり、（ｂ）は、標準状態におけるユーザＡの口腔部の上唇１０１ａと下唇１０１ｂとを側面から撮影したＲＧＢ画像である。

図５（ａ）に示すように、標準状態における上唇１０１ａと下唇１０１ｂとの高さ（Ｚ１－Ｚ２方向の距離）をｈ１、上唇１０１ａと下唇１０１ｂとの左右方向（Ｘ１－Ｘ２方向）の長さをｗ１とすると、標準状態における縦横比Ｒ_Ｎは、下記の（数式１）で算出される。

Ｒ_Ｎ＝ｈ１／ｗ１・・・（数式１）
また、図５（ｂ）に示すように、標準状態における上唇１０１ａと下唇１０１ｂとの深さ（Ｙ１－Ｙ２方向の距離）をＤ_Ｎとする。具体的には、平均面１０２と、上唇１０１ａまたは下唇１０１ｂの先端位置１０３との距離をＤ_Ｎとする。

図６は、閾値の設定のために／ｗｕ／と発音した状態における唇の状態を示した図である。（ａ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇１０１ａと、下唇１０１ｂとを正面から撮影したＲＧＢ画像であり、（ｂ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇１０１ａと、下唇１０１ｂとを側面から撮影したＲＧＢ画像である。

図６（ａ）に示すように、／ｗｕ／と発音した状態における上唇１０１ａと下唇１０１ｂとの高さ（Ｚ１－Ｚ２方向の距離）をｈ２、上唇１０１ａと下唇１０１ｂとの左右方向（Ｘ１－Ｘ２方向）の長さをｗ２とすると、／ｗｕ／形状の縦横比Ｒ_ｗｕは、下記の（数式２）で算出される。

Ｒ_ｗｕ＝ｈ２／ｗ２・・・（数式２）
また、図６（ｂ）に示すように、標準状態における上唇１０１ａと下唇１０１ｂとの深さ（Ｙ１－Ｙ２方向の距離）をＤ_ｗｕとする。

なお、／ｙｉ／と発音したときの上唇１０１ａおよび下唇１０１ｂの縦横比Ｒ_ｙｉについても、／ｗｕ／形状の縦横比Ｒ_ｗｕと同様に算出する。

そして、閾値設定手段４４は、下記の（数式３）～（数式５）を用いて、閾値Ｔｈ_１、Ｔｈ_２、Ｔｈ_３を設定する。
Ｔｈ_１＝（Ｒ_ｗｕ＋Ｒ_Ｎ）／２・・・（数式３）
Ｔｈ_２＝（Ｒ_ｙｉ＋Ｒ_Ｎ）／２・・・（数式４）
Ｔｈ_３＝（Ｄ_ｗｕ＋Ｄ_Ｎ）／２・・・（数式５）
ここで、Ｔｈ_１は、／ｗｕ／形状判定の縦横比閾値であり、Ｔｈ_２は、／ｙｉ／形状判定の縦横比閾値であり、Ｔｈ_３は、／ｗｕ／形状判定の深度閾値である。

そして、閾値設定手段４４は、算出したＴｈ_１、Ｔｈ_２、Ｔｈ_３を、ユーザＡを識別するユーザＩＤと関連付けて、メモリに記憶する（ステップＳ１１９）。

このように、ユーザごとに、閾値Ｔｈ_１、Ｔｈ_２、Ｔｈ_３が記憶されているので、この閾値を用いることにより、認識手段４５は、口腔部の形状を認識する形状認識処理を実行することができる。

具体的には、補正手段４３により補正された深度画像とＲＧＢ画像とが供給されると、認識手段４５は、供給された深度画像とＲＧＢ画像とから、縦横比Ｒと深さＤを算出する。

そして、縦横比Ｒが閾値Ｔｈ_１を超え、かつ、深さＤがＴｈ_３を超えている場合に、認識手段４５は、ユーザＡが／ｗｕ／形状をしていると認識する。また、縦横比Ｒが閾値Ｔｈ_２を超えている場合に、認識手段４５は、ユーザＡが／ｙｉ／形状をしていると認識する。

以上のように、本発明の実施形態１である口腔認識装置１によれば、深度センサ３により検出された深度値に基づいて、対象物である人の口腔部を認識するので、正確に口腔部の形状を認識することができる。さらに、ＲＧＢカメラ２により撮像されたＲＧＢ画像も用いて対象物である人の口腔部を認識することで、さらに正確に口腔部の形状を認識することができる。

また、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３を算出し、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度画像を補正するので、ユーザがどの方向を向いていたとしても、安定的に正確な深度値を得ることができるので、より正確に口腔部の形状を認識することができる。

さらに、人ごとに、口腔部が標準状態のときと所定の形状をしたときのＲＧＢ画像と深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定し、ＲＧＢ画像および深度値から、設定された閾値に基づいて口腔部の形状を認識するので、口腔部の形状の個人差にかかわらず、より正確に口腔部の形状を認識することができる。

＜実施形態２＞
本発明の実施形態２では、口腔部の舌先の位置を認識する位置認識処理を実行する口腔認識装置１を例に挙げて説明する。なお、本発明の実施形態２である口腔認識装置１の構成については、図１および図２に示した本発明の実施形態１である口腔認識装置１の構成と同一であるので、説明を省略する。

図７は、本発明の実施形態２である口腔認識装置１において、位置認識処理の処理内容を示したフローチャートである。図７に示したステップＳ１０３～Ｓ１０７の処理については、図４に示したステップＳ１０３～Ｓ１０７の処理と同一であるので、説明を省略する。

ステップＳ１０７において、ＲＧＢ画像と深度画像が補正されると、認識手段４５は、図８（ａ）に示すＲＧＢ画像に基づいて、図８（ｂ）に示す深度画像から、顔認識技術を用いて人（ここでは、ユーザＡ）の口腔部を抽出する（ステップＳ２０９）。

そして、認識手段４５は、深度画像から口腔部の平均深度値を算出する（ステップＳ２１１）。認識手段４５は、算出した平均深度値を超えたか否かを判定することにより、深度画像を二値化し（ステップＳ２１３）、さらにノイズを除去する（ステップＳ２１５）。

図８（ｃ）は、深度画像に対して二値化およびノイズ除去処理が施された二値化画像である。

図８（ｃ）に示すように、二値化されることにより、上部抽出画像２０１ａと下部抽出画像２０１ｂとが出現する。人（ユーザＡ）が舌を出している状態では、上部抽出画像２０１ａが上唇の画像に対応し、下部抽出画像２０１ｂが舌の画像に対応する。

そして、認識手段４５は、上部抽出画像２０１ａおよび下部抽出画像２０１ｂの輪郭を抽出する（ステップＳ２１７）。具体的には、認識手段４５は、図８（ｄ）に示すように、上部抽出画像２０１ａを囲む最小の面積となるような上部矩形領域２０２ａを設定するとともに、下部抽出画像２０１ｂを囲む最小の面積となるような下部矩形領域２０２ｂを設定する。

人（ユーザＡ）が舌を出している状態では、下部抽出画像２０１ｂが舌の画像に対応しているので、図８（ｅ）に示すように、認識手段４５は、下部抽出画像２０１ｂの矩形の中心位置を舌先３０１として抽出する（ステップＳ２２１）。

以上のように、本発明の実施形態２である口腔認識装置１によれば、深度センサ３により検出された深度値に基づいて、対象物である人の口腔部を認識するので、正確に口腔部の形状を認識することができる。

１口腔認識装置
２ＲＧＢカメラ
３深度センサ
４コンピュータ
５モニタ
６入力デバイス
４１深度画像生成手段
４２算出手段
４３補正手段
４４閾値設定手段
４５認識手段
４６出力手段

Claims

対象物である人までの距離を深度値として検出する深度センサと、
前記人を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記ＲＧＢ画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、
前記ＲＧＢ画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて前記人の口腔部の形状を認識する認識手段と、
を備えたことを特徴とする口腔認識装置。
前記閾値設定手段は、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記ＲＧＢ画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための前記口腔部の縦横比の閾値および前記深度値の閾値を設定する
ことを特徴とする請求項１記載の口腔認識装置。
前記認識手段は、
前記ＲＧＢ画像および前記深度値に基づいて、前記口腔部の平均深度値を算出し、算出した平均深度値を超えたか否かを判定することにより前記深度値から生成した深度画像を二値化し、前記二値化された画像から抽出した画像を囲む矩形領域に基づいて舌先を抽出する
ことを特徴とする請求項１記載の口腔認識装置。