JP2023180943A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】電子機器の利用者と他者とのコミュニケーションが、電子機器の利用により阻害されている状態であることを認識する。【解決手段】電子機器の利用者に対する他者からのコミュニケーションの要求を評価する。要求に対する利用者の対応を評価する。前記要求の評価結果と前記対応の評価結果とに基づき、利用者と他者とのコミュニケーションが、電子機器の利用により阻害されている状態であるかを判定する。コミュニケーションが阻害されている状態であると判定された場合に、コミュニケーションが阻害されている状態である旨を通知する。【選択図】図３

Description

本開示は、会話・コミュニケーションが電子機器の利用により阻害されている状態を検出する技術に関する。

スマートフォン、タブレット、ノート型ＰＣ、デスクトップ型ＰＣなどの電子機器が普及し、提供サービスが拡大することにより、日常の様々なシーンで電子機器を利用する機会が増えている。

一方、家庭内において、特に養育者が電子機器を利用することによって、養育者と子供とのコミュニケーションを阻害し、例えば、愛着形成不全、親の真似を介した発達機会の喪失といった影響が指摘されている。そのため、色々な情報を用いてコミュニケーションなどを評価することが検討されている。

この点、特許文献１は、画像内における対象人物とその周囲の人物の表情の明るさスコアを算出し、その差分を基に、例えば、***およびいじめなどの人物間の問題が生じる可能性を推定し、推定結果を通知する技術を開示する。

特開２０１８－１１２８３１号公報

″赤ちゃんの泣き声から感情を分析「パパっと育児＠赤ちゃん手帳」で提供開始″、［online］、株式会社ＰＲ ＴＩＭＥＳ、［令和４年５月２５日検索］、インターネット〈URL：https://prtimes.jp/main/html/rd/p/000000006.000023831.html〉 ″声ダケノ感情認識テスト″、［online］、株式会社Ｅｍｐａｓ、［令和４年５月２５日検索］、インターネット〈URL：https://webempath.net/lp-jpn/〉 俵 直弘、″この声、何歳？ 話者クラスタリングを用いた深層話者属性推定″、［online］、ＮＴＴコミュニケーション科学研究所、［令和４年５月２５日検索］、インターネット〈URL：https://www.rd.ntt/cs/event/openhouse/2020/download/c_15.pdf〉 ″Ｓｐｅｅｃｈ－ｔｏ－Ｔｅｘｔ″、［online］、Ｇｏｏｇｌｅ、［令和４年５月２５日検索］、インターネット〈URL：https://cloud.***.com/speech-to-text?hl=ja〉 ″視線センシングで魅せる次世代ＵＸ「視線検出技術」″、［online］、株式会社スワローインキュベート、［令和４年５月２５日検索］、インターネット〈URL：https://eyetrack.pas-ta.io/〉 ″ｈｅａｄ－ｐｏｓｅ－ｅｓｔｉｍａｔｉｏｎを用いて顔の向きを推定する″、［online］、アイタックソリューションズ株式会社、［令和４年５月２５日検索］、インターネット〈URL：https://www.itd-blog.jp/entry/peep-prevention-1〉 ″評価ボード・開発キット ＴｏＦカメラとは？～ＴｏＦカメラを使ってできること～″、［online］、東京エレクトロンデバイス株式会社、［令和４年５月２５日検索］、インターネット〈URL：https://www.inrevium.com/pickup/tofcamera/〉 ″ＡＩによる奥行の推定″、［online］、株式会社ブリスウェル、［令和４年５月２５日検索］、インターネット〈URL：https://tech.briswell.com/entry/2021/03/28/204127?utm_source=feed〉

特許文献１の技術は、人物の表情を基に上述の問題が生じる可能性を検出している。

一方、子供の養育者が電子機器を利用することにより当該養育者と当該子供とのコミュニケーションを阻害するシーンでは、養育者の表情の変化が必ずしも発生しない。そのため、特許文献１の技術を採用し、養育者および子供の画像を取得しても、取得した画像を基に、養育者が電子機器を利用することによる当該養育者と子供とのコミュニケーションの阻害状態を適切に検出することができなかった。このような課題は、例えば、子供が電子機器を利用するときの当該子供と養育者との間など、電子機器の利用者と他者との間で生じえた。

本開示の一態様に係る情報処理装置は、電子機器を利用する利用者に対する他者からのコミュニケーションの要求を評価する第１の評価手段と、前記要求に対する前記利用者の対応を評価する第２の評価手段と、前記第１の評価手段による第１の評価結果と、前記第２の評価手段による第２の評価結果とに基づき、前記利用者と前記他者とのコミュニケーションが、前記電子機器の利用により阻害されている状態であるかを判定する判定手段と、前記判定手段により前記コミュニケーションが阻害されている状態であると判定された場合に、前記コミュニケーションが阻害されている状態である旨を通知する通知手段と、を有することを特徴とする。

本開示によれば、電子機器の利用者と他者とのコミュニケーションが、電子機器の利用により阻害されている状態であることを認識することができる。

検出システムのハードウェア構成例を示す図である。 検出システムの適用例を示す図である。 検出システムの機能構成例を示す図である。 検出システムが実行する処理の流れを示すフローチャートである。 要求評価部にて得た要求評価結果例を示す図である。 対応評価部にて得た対応評価結果例を示す図である。 テクノフェレンスの検出処理（Ｓ４０３）の詳細な流れを示すフローチャートである。 現時刻のテクノフェレンススコアが閾値ＴＨα以上と判定される例を示す図である。 現時刻から過去Ｔｎ分のテクノフェレンススコア総和が閾値ＴＨβ以上と判定される例を示す図である。 テクノフェレンスの通知処理（Ｓ４０４）の詳細な流れを示すフローチャートである。 検出システムの適用例を示す図である。 検出システムの機能構成例を示す図である。 対応評価部にて得た対応評価結果例を示す図である。 検出システムの適用例を示す図である。 検出システムの機能構成例を示す図である。 要求評価部にて得た要求評価結果例を示す図である。

以下、添付図面を参照して本開示の技術の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本開示の技術を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。同一の構成要素には同一の参照番号を付して、説明を省略する。

＜＜実施形態１＞＞
図１は、本実施形態に係る検出システム１００のハードウェア構成例を示す図である。検出システム１００は、詳細につき後述するテクノフェレンスを検出する検出機能を有する。なお、テクノフェレンスの検出機能について、例えば、特定の日、特定の曜日、特定の時間などの特定の期間にて、有効または無効とする設定を行うことが可能であるとする。

検出システム１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信ＩＦ（インターフェース）１０４および入力／出力ＩＦ１０５を有し、各構成要素がバス１０６によりデータを送受信可能に接続されている。

ＣＰＵ（中央処理装置）１０１は、ＲＯＭ１０２に格納されたプログラムやＲＡＭ１０３にロードしたプログラムに沿って検出システム１００の動作制御を行う。ＲＯＭ１０２は読み出し専用メモリであり、ブートプログラムやファームウェア、後述する処理を実現するための各種処理プログラム、各種データを格納している。ＲＡＭ１０３は、ＣＰＵ１０１にて処理を行うために一時的にプログラムやデータを格納しておくワークメモリであり、ＣＰＵ１０１により各種処理プログラムやデータがロードされる。

通信ＩＦ１０４は、ネットワークを介した外部装置（不図示）との通信制御を行うためのインターフェースであり、ネットワークを介して、データの送受信を行う。入力／出力ＩＦ１０５は、詳細につき後述する集音器３１１、表示器３１２および拡声器３１３などの、データの入出力を行う機器と接続するインターフェースである。

＜検出システムの適用例＞
図２は、本実施形態に係る検出システムの適用例を示す図である。スマートフォン２１１を利用するデバイス利用者２０１と、スマートフォン２１１等の電子機器を利用しないデバイス非利用者２０２とが同じ部屋に居て、デバイス非利用者２０２がデバイス利用者２０１に対してコミュニケーションを要求する場面であるとする。なお、ここでは、検出システム１００がスマートフォン２１１に適用されているとする。デバイス利用者（以下、利用者と称す）２０１およびデバイス非利用者（以下、非利用者と称す）２０２は、例えば、子供を養育する養育者および当該子供とするがこれに限定されず、子供および当該子供を養育する養育者としてもよい。また、デバイス利用者は養育者に限らず、保育者などでもよいし、それ以外の血縁関係にない第三者であってもよい。また、非利用者は子供でなくても、利用者とコミュニケーションをとりたい者であればよい。例えば、利用者の配偶者や兄弟姉妹でもよく、血縁関係にない第三者であってもよい。また、他者であってもよい。

スマートフォン２１１は利用者２０１によって操作されるデバイス（電子機器）である。スマートフォン２１１は、利用者２０１がスマートフォン２１１を利用した状況（履歴）に関する情報を利用情報として取得する。また、スマートフォン２１１は、利用者２０１が発する音声、および、非利用者２０２が発する音声などの、スマートフォン２１１の周辺環境で生じた音声を、音声情報として取得する。なお、本実施形態では、検出システム１００についてスマートフォン２１１への適用例を示したが、これに限定されない。検出システム１００についてスマートフォン２１１以外の電子機器に適用しても構わない。

＜検出システムの機能構成＞
図３は、本実施形態に係る検出システム１００の機能構成例を示す図である。検出システム１００は、音声取得部３０１、要求評価部３０２、利用情報取得部３０３、対応評価部３０４を有する。検出システム１００は、さらに、テクノフェレンス検出部（以下、ＴＦ検出部と称す）３０５、テクノフェレンス通知部（以下、ＴＦ通知部と称す）３０６を有する。検出システム１００は、外部機器である集音器３１１、表示器３１２および拡声器３１３と接続する。なお、集音器３１１、表示器３１２および拡声器３１３は、検出システム１００と接続する形態に限定されず、検出システム１００の内部に含まれる形態であってもよい。

音声取得部３０１は、検出システム１００と接続される集音器３１１で収集した音声の情報を取得する。利用者２０１と非利用者２０２とが同じ部屋に居る場面であって、検出システム１００を利用者２０１が利用するスマートフォン２１１に適用した場合、音声取得部３０１が取得する音声情報は、次に示す音声情報を含む。すなわち、音声取得部３０１が取得する音声情報は、利用者２０１が発する音声を示すデバイス利用者の音声情報を含む。または、音声取得部３０１が取得する音声情報は、非利用者２０２が発する音声を示すデバイス非利用者の音声情報を含む。または、音声取得部３０１が取得する音声情報は、デバイス利用者およびデバイス非利用者の両方の音声情報を含む。なお、音声取得部３０１が取得した音声情報は、要求評価部３０２および対応評価部３０４に送られる。

要求評価部３０２は、音声取得部３０１にて取得した音声情報（第１の音声情報）に基づき、非利用者２０２から利用者２０１へのコミュニケーション要求について詳細につき後述する要求評価項目を評価して要求評価値を求める。具体的には、先ず、利用者２０１の音声情報（第２の音声情報）と、非利用者２０２の音声情報（第３の音声情報）とは、予め登録されており、不図示の音声情報格納部に格納されているとする。続いて、予め登録された第２および第３の音声情報を用いて、第１の音声情報に第３の音声情報（非利用者２０２の音声情報）が含まれているか判定する。続いて、含まれているとの判定結果を得ると、第１の音声情報のうち、第３の音声情報が含まれる部分を解析する。この解析結果として、デバイス利用者への要求の有無、デバイス非利用者の感情（種別／強度）、デバイス非利用者の月齢／年齢に関する情報が得られる。得られた情報から対応する要求評価値が求められる。要求評価値の詳細については後述する。求められた要求評価値は、ＴＦ検出部３０５に送られる。

利用情報取得部３０３は、スマートフォン２１１で生成された、電子機器（デバイス）の利用状況を示す利用情報を取得する。利用情報は、利用者２０１がスマートフォン２１１を使用しているか否かを示す情報を含む。なお、利用情報は、少なくともスマートフォン２１１の画面が点灯している状態であるとき、この状態をスマートフォン２１１が利用されている状態であることを示す情報として含む。利用情報取得部３０３が取得した利用情報は、対応評価部３０４に送られる。

対応評価部３０４は、音声取得部３０１にて取得した音声情報と、利用情報取得部３０３にて取得した利用情報とに基づき、非利用者２０２から利用者２０１へのコミュニケーション要求に対する対応について詳細につき後述する対応評価項目を評価する。そして、評価結果を基に対応評価値を求める。具体的には、非利用者２０２のコミュニケーションの要求に対応する応答であるか否かを判定する。非利用者２０２のコミュニケーションの要求に対して、所定時間以内に利用者２０１の音声情報が無いと、要求に対する応答なしと判定する。また、所定時間以内に利用者２０１の音声情報があっても、この利用者２０１の音声情報が、予め登録された応答情報と異なると、要求に対する応答なしと判定する。他方、予め登録された応答情報と同じであると、要求に対する応答ありと判定する。そして、応答なしとの判定結果が得られると、「不適切」の評価結果を得ることになる。他方、応答ありとの判定結果が得られると、「適切」の評価結果を得ることになる。そして、評価結果に対応した対応評価値が求められる。対応評価値の詳細については後述する。求められた対応評価値は、ＴＦ検出部３０５に送られる。

ＴＦ検出部３０５は、要求評価値と対応評価結果とに基づき、利用者２０１と非利用者２０２とのコミュニケーションが、スマートフォン２１１（電子機器）の利用により阻害されている状態（以降、テクノフェレンス）を検出する。テクノフェレンスは、乳幼児などの子供を養育する養育者と、当該養育者により養育される子供とのコミュニケーションが、電子機器の利用により阻害されている状態であるとする。検出処理の詳細は後述する。なお、ＴＦ検出部３０５は、上述の検出処理による検出結果として、テクノフェレンスを検出する場合とテクノフェレンスを検出しない場合とがあることから、テクノフェレンスの有無を判定するともいえる。検出結果は、ＴＦ通知部３０６に送られる。

ＴＦ通知部３０６は、ＴＦ検出部３０５にて検出したテクノフェレンスの検出結果を基に、テクノフェレンスの通知処理を実行する。テクノフェレンスの通知処理の詳細は後述する。テクノフェレンスの通知先は、表示器３１２および拡声器３１３の両方であるが、これに限定されない。テクノフェレンスの通知先は、表示器３１２のみであってもよいし、拡声器３１３のみであってもよいし、表示器３１２および拡声器３１３以外の機器であってもよい。

＜検出システムが実行する処理＞
図４は、検出システムが実行する処理の流れを示すフローチャートである。ＣＰＵ１０１は、ＲＯＭ１０２に格納された図４に示すフローチャートを実現するプログラムを読み出して、ＲＡＭ１０３をワークエリアとして使用して実行する。これによりＣＰＵ１０１は、図３に示す各機能構成としての役割を果たす。上述のテクノフェレンスの検出機能が有効に設定されているとする。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。

Ｓ４０１では、要求評価部３０２は、音声取得部３０１にて取得した音声情報に基づき、非利用者２０２から利用者２０１へのコミュニケーションの要求を検出する。なお、デバイス利用者への要求の有無の検出に関し、上述したように予め登録された音声情報を用いてもよいし、上述の非特許文献１に記載の技術を用いてもよい。そして、要求評価部３０２は、要求の検出結果と、音声取得部３０１にて取得した音声情報とに基づき、要求について要求評価項目を評価して要求評価値を算出する。算出された要求評価値は、ＴＦ検出部３０５に送られる。

Ｓ４０２では、対応評価部３０４は、音声取得部３０１にて取得した音声情報と、利用情報取得部３０３にて取得した利用情報とに基づき、非利用者２０２からのコミュニケーション要求に対する利用者２０１の対応評価値を算出する。すなわち、対応評価部３０４は、要求に対する利用者２０１の対応について対応評価項目を評価して対応評価値を算出する。算出された対応評価値は、ＴＦ検出部３０５に送られる。

Ｓ４０３では、ＴＦ検出部３０５は、Ｓ４０１にて算出した要求評価値と、Ｓ４０２にて算出した対応評価値とに基づき、テクノフェレンスの検出処理を実行する。テクノフェレンスの検出処理の詳細は後述する。テクノフェレンスの検出結果は、ＴＦ通知部３０６に送られる。

Ｓ４０４では、ＴＦ通知部３０６は、テクノフェレンスの通知処理を実行する。テクノフェレンスの通知処理の詳細は後述する。なお、テクノフェレンスの通知処理を完了すると、図４に示すフローを終える。

＜要求評価結果＞
図５は、要求評価部３０２にて算出した要求評価結果例を示す図である。要求評価結果５００は、時刻５０１にて示される時刻毎に、デバイス利用者への要求有無に関する評価項目５０２の評価結果、要求時の感情（種別／強度）に関する評価項目５０３の評価結果、月齢／年齢に関する評価項目５０４の評価結果を有する。時刻５０１は、デバイス非利用者の音声情報を検出した際の時刻を表している。

デバイス利用者への要求有無に関する評価項目５０２では、音声取得部３０１にて取得した音声情報に基づき、利用者２０１に対する非利用者２０２からのコミュニケーションの要求の有無に関する評価結果と、この評価結果に対応した評価値とを示している。デバイス利用者への要求の有無に関し、音声取得部３０１にて取得した音声情報が、例えば、「ねーねー」または「パパー」などの特定の音声情報を含むとの解析結果が得られると、要求ありと評価することになる。他方、音声取得部３０１にて取得した音声情報が、前記特定の情報を含まないとの解析結果が得られると、要求なしと評価することになる。なお、「要求あり」の評価結果に対応する評価値は５であり、「要求無し」の評価結果に対応する評価値は０であるとするが、これに限定されない。

要求時の感情（種別／強度）に関する評価項目５０３では、非利用者２０２が利用者２０１に対してコミュニケーションを要求したときの感情（種別／強度）に関する評価結果と、この評価結果に対応した評価値を示している。要求時の感情（種別／強度）の評価に関し、例えば、非特許文献２に記載の技術など公知の技術を用いることが可能である。感情の種別として、例えば、哀しみ、怒り、無しなどを検出する。また、感情の強度として、中、小を検出する。これら検出結果に基づき、感情（種別／強度）に関し、利用者２０１に対する非利用者２０２のコミュニケーションの要求について、哀しみ、怒り、無しの何れの感情であり、中、小の何れの感情の強度であるかを評価することになる。なお、感情／強度に関し、「哀／小」および「怒／小」の評価結果に対応する評価値は１とし、「哀／中」および「怒／中」の評価結果に対応する評価値は２とし、「無し」の評価結果に対応する評価値は０とするが、これに限定されない。

月齢／年齢に関する評価項目５０４では、音声取得部３０１にて取得した音声情報に基づき、非利用者２０２の月齢／年齢に関する評価結果と、この評価結果に対応する評価値とを示している。月齢／年齢の評価に関し、音声情報を解析して推定した年齢または事前に登録された年齢と、個人情報と照合する形態でもよい。なお、月齢／年齢の評価に関し、例えば、非特許文献３に記載の技術などの公知の技術を用いることが可能である。なお、月齢／年齢に関し、「６ヶ月以下」の評価結果に対応する評価値は３とし、「６ヶ月～１２ヶ月」の評価結果に対応する評価値は２とし、「１２ヶ月～２４ヶ月」の評価結果に対応する評価値は１とするが、これに限定されない。

なお、上述の要求評価結果５００について、時刻５０１の「ｔ０」において、評価項目５０２では「有（５）」を、評価項目５０３では「哀／小（１）」を、評価項目５０４では「２４ヶ月（１）」を示している。

＜対応評価結果＞
図６は、対応評価部３０４にて算出した対応評価結果例を示す図である。対応評価結果６００は、時刻６０１にて示される時刻毎に、デバイス利用有無に関する評価項目６０２の評価結果、対応時の発言内容に関する評価項目６０３の評価結果を有する。なお、時刻６０１は、要求評価結果５００の時刻５０１にて示される時刻と同じ時刻を示している。

デバイス利用有無に関する評価項目６０２では、音声情報と利用情報に基づき、非利用者２０２からのコミュニケーション要求時における利用者２０１によるスマートフォン２１１の利用の有無に関する評価結果と、この評価結果に対応した評価値を示している。スマートフォン２１１の利用の有無に関し、利用情報が、スマートフォン２１１を利用していることを示す情報を含むとの解析結果が得られると、デバイス利用ありと評価することになる。他方、利用情報が、スマートフォン２１１を利用していないことを示す情報を含むとの解析結果が得られると、デバイス利用なしと評価することになる。なお、「デバイス利用あり」の評価結果に対応する評価値は３であり、「デバイス利用なし」の評価結果に対応する評価値は０であるとするが、これに限定されない。

対応時の発言内容に関する評価項目６０３では、非利用者２０２からのコミュニケーション要求に対する利用者２０１による対応時の発言内容に関する評価結果と、この評価結果に対応した評価値とを示している。発言内容の評価に関し、利用者２０１および非利用者２０２の音声をテキスト化したものを利用し、非利用者２０２の要求に対応する応答であるかを判断する。なお、音声のテキスト化に関し、例えば、非特許文献４に記載の技術など公知の技術を用いることが可能である。対応時の発言内容に関し、音声取得部３０１にて取得した音声情報にて、要求後の所定時間以内に、応答なしとの解析結果が得られると、不適切と評価することになる。他方、音声取得部３０１にて取得した音声情報にて、要求後の所定時間以内に、応答ありとの解析結果が得られると、適切と評価することになる。なお、「適切」の評価結果に対応する評価値は０であり、「不適切」の評価結果に対応する評価値は２であるとするが、これに限定されない。

なお、上述の対応評価結果６００について、時刻６０１の「ｔ０」において、評価項目６０２では「有（３）」を、評価項目６０３では「不適切（２）」を示している。

＜テクノフェレンスの検出処理＞
図７は、テクノフェレンス（以下、ＴＦと称す）の検出処理（Ｓ４０３）の詳細な流れを示すフローチャートである。

Ｓ７０１では、ＴＦ検出部３０５は、現時刻のＴＦスコアおよび一定時刻Ｔｎ分のＴＦスコア総和を算出する。現時刻のＴＦスコアは、要求評価部３０２による評価結果と、対応評価部３０４による評価結果とに基づき算出される。本実施形態では、例えば各評価部の評価結果を数値に変換し、評価部内で数値を足し合わせ、評価部間で数値を掛け合わせる。そして、求められた数値に対して、デバイス利用者へのコミュニケーション要求有無の評価項目５０２の評価結果が有の場合を１とし、無の場合を０とした値をさらに掛け合わせることでＴＦスコアを算出する。ここで、要求評価部３０２による評価結果について、図５に示す要求評価結果５００を例にして説明する。評価項目５０２の評価結果「有」を５に変換し、評価項目５０３の評価結果「哀／小」を１に変換し、評価項目５０４の評価結果「２４カ月」を１に変換する。そして、５と１と１とを足し合わせ、要求評価部３０２の要求評価値として７を算出する。対応評価部３０４による評価結果について、図６に示す対応評価結果６００を例にして説明する。評価項目６０２の評価結果「有」を３に変換し、評価項目６０３の評価結果「不適切」を２に変換する。そして、３と２とを足し合わせ、対応評価部３０４の対応評価値として５を算出する。そして、要求評価値の７と対応評価値の５とを掛け合わせて３５を算出する。デバイス利用者への要求有無の評価項目５０２の評価結果が「有」であることから、３５に１を掛け合わせた３５をＴＦスコアとして算出する。なお、デバイス利用者への要求有無の評価項目５０２の評価結果が「無」である場合には、３５に０を掛け合わせた０をＴＦスコアとして算出する。

また、一定時刻Ｔｎ分のＴＦスコア総和は、過去から現時刻までのｎ個分のＴＦスコアを足し合わせた値となる。例えば、一定時刻Ｔｎが３であり、現時刻がＴ₄である場合、一定時刻Ｔ₃分のＴＦスコア総和は、時刻Ｔ₂のＴＦスコアと時刻Ｔ₃のＴＦスコアと時刻Ｔ₄のＴＦスコアとを足し合わせた値となる。

Ｓ７０２では、ＴＦ検出部３０５は、現時刻のＴＦスコアが閾値ＴＨα以上であるかを判定する。現時刻のＴＦスコアが閾値ＴＨα以上でないとの判定結果を得た場合（Ｓ７０２のＮＯ）、処理がＳ７０３に移行される。他方、現時刻のＴＦスコアが閾値ＴＨα以上であるとの判定結果を得た場合（Ｓ７０２のＹＥＳ）、処理がＳ７０４に移行される。

Ｓ７０３では、ＴＦ検出部３０５は、一定時刻Ｔｎ分のＴＦスコア総和が閾値ＴＨβ以上であるか判定する。すなわち、ＴＦ検出部３０５は、現時刻から過去Ｔｎ分のＴＦスコア総和が閾値ＴＨβ以上であるか判定する。現時刻から過去Ｔｎ分のＴＦスコア総和が閾値ＴＨβ以上でないとの判定結果を得た場合（Ｓ７０３のＮＯ）、処理がＳ７０５に移行される。他方、現時刻から過去Ｔｎ分のＴＦスコア総和が閾値ＴＨβ以上であるとの判定結果を得た場合（Ｓ７０３のＹＥＳ）、処理がＳ７０４に移行される。

Ｓ７０４では、ＴＦ検出部３０５は、ＴＦを検出したことを確定することになる。Ｓ７０５では、ＴＦ検出部３０５は、ＴＦを検出していないことを確定することになる。なお、Ｓ７０４の処理またはＳ７０５の処理が完了すると、図７に示すフローを終える。

＜ＴＦスコアによるテクノフェレンスの検出＞
図８は、現時刻のＴＦスコアが閾値ＴＨα以上と判定される例を示す図である。図８の例では、閾値ＴＨαを４０とし、一定時刻Ｔｎを３とする。なお、時刻８０１は時刻５０１に、評価項目８０２は評価項目５０２に、評価項目８０３は評価項目５０３に、評価項目８０４は評価項目５０４にそれぞれ対応する。また、評価項目８１１は評価項目６０２に、評価項目８１２は評価項目６０３にそれぞれ対応する。

ｔ０の時刻８０１では、評価項目８０２の評価結果（評価値）が無（０）であることから、現時刻ｔ０のＴＦスコア８２１は０である。現時刻ｔ０のＴＦスコア８２１が０であることから、現時刻ｔ０のＴＦスコア総和８２２は０である。

ｔ１の時刻８０１では、評価項目８０２の評価結果（評価値）が有（５）であり、評価項目８０３の評価結果（評価値）が無（０）であり、評価項目８０４の評価結果（評価値）が２４ヶ月（１）である。そのため、要求評価値は、５＋０＋１の６となる。評価項目８１１の評価結果（評価値）が有（３）であり、評価項目８１２の評価結果（評価値）が適切（０）である。そのため、対応評価値は、３＋０の３となる。そして、現時刻ｔ１でのＴＦスコア８２１は、現時刻ｔ１の要求評価値の６と現時刻ｔ１の対応評価値の３とを掛け合わせて得た値に対し、現時刻ｔ１にて評価項目８０２の評価結果が有の場合の１を掛け合わせた１８となる。ｔ１分のＴＦスコア総和８２２は、ｔ０のＴＦスコア８２１の０と、ｔ１のＴＦスコア８２１の１８とを足し合わせた１８となる。

ｔ２の時刻８０１では、評価項目８０２の評価結果（評価値）が有（５）であり、評価項目８０３の評価結果（評価値）が哀／小（１）であり、評価項目８０４の評価結果（評価値）が２４ヶ月（１）である。そのため、要求評価値は、５＋１＋１の７となる。評価項目８１１の評価結果（評価値）が有（３）であり、評価項目８１２の評価結果（評価値）が不適切（２）である。そのため、対応評価値は、３＋２の５となる。そして、現時刻ｔ２でのＴＦスコア８２１は、現時刻ｔ２の要求評価値の７と現時刻ｔ２の対応評価値の５とを掛け合わせて得た値に対し、現時刻ｔ２にて評価項目８０２の評価結果が有の場合の１を掛け合わせた３５となる。ｔ２分のＴＦスコア総和８２２は、ｔ０のＴＦスコア８２１の０と、ｔ１のＴＦスコア８２１の１８と、ｔ２のＴＦスコア８２１の３５とを足し合わせた５３となる。

ｔ３の時刻８０１では、評価項目８０２の評価結果（評価値）が有（５）であり、評価項目８０３の評価結果（評価値）が哀／中（２）であり、評価項目８０４の評価結果（評価値）が２４ヶ月（１）である。そのため、要求評価値は、５＋２＋１の８となる。評価項目８１１の評価結果（評価値）が有（３）であり、評価項目８１２の評価結果（評価値）が不適切（２）である。そのため、対応評価値は、３＋２の５となる。そして、現時刻ｔ３でのＴＦスコア８２１は、現時刻ｔ３の要求評価値の８と現時刻ｔ３の対応評価値の５とを掛け合わせて得た値に対し、現時刻ｔ３にて評価項目８０２の評価結果が有の場合の１を掛け合わせた４０となる。ｔ３分のＴＦスコア総和８２２は、ｔ１のＴＦスコア８２１の１８と、ｔ２のＴＦスコア８２１の３５と、ｔ３のＴＦスコア８２１の４０とを足し合わせた９３となる。

上述したように、時刻ｔ３におけるＴＦスコア８３１は４０であり、この数値が閾値ＴＨα以上であるため、ＴＦの検出を確定し、Ｓ４０４にてＴＦの検出を通知することになる。

＜Ｔｎ分のＴＦスコア総和によるテクノフェレンスの検出＞
図９は現時刻から過去Ｔｎ分のＴＦスコア総和が閾値ＴＨβ以上と判定される例を示す図である。図９の例では、閾値ＴＨβを１００とし、一定時刻Ｔｎを３とする。なお、時刻９０１は時刻５０１に、評価項目９０２は評価項目５０２に、評価項目９０３は評価項目５０３に、評価項目９０４は評価項目５０４にそれぞれ対応する。また、評価項目９１１は評価項目６０２に、評価項目９１２は評価項目６０３にそれぞれ対応する。

ｔ０の時刻９０１では、評価項目９０２の評価結果（評価値）が無（０）であることから、現時刻ｔ０のＴＦスコア９２１は０である。現時刻ｔ０のＴＦスコア９２１が０であることから、現時刻ｔ０のＴＦスコア総和９２２は０である。

ｔ１の時刻９０１では、評価項目９０２の評価結果（評価値）が有（５）であり、評価項目９０３の評価結果（評価値）が無（０）であり、評価項目９０４の評価結果（評価値）が２４ヶ月（１）である。そのため、要求評価値は、５＋０＋１の６となる。評価項目９１１の評価結果（評価値）が有（３）であり、評価項目９１２の評価結果（評価値）が適切（０）である。そのため、対応評価値は、３＋０の３となる。そして、現時刻ｔ１でのＴＦスコア９２１は、現時刻ｔ１の要求評価値の６と現時刻ｔ１の対応評価値の３とを掛け合わせて得た値に対し、現時刻ｔ１にて評価項目９０２の評価結果が有の場合の１を掛け合わせた１８となる。ｔ１分のＴＦスコア総和９２２は、ｔ０のＴＦスコア９２１の０と、ｔ１のＴＦスコア９２１の１８と足し合わせた１８となる。

ｔ２の時刻９０１では、ｔ１の時刻９０１のときと同じであり、要求評価値は５＋０＋１の６となり、対応評価値は３＋０の３となる。そして、現時刻ｔ２でのＴＦスコア９２１は、現時刻ｔ２の要求評価値の６と現時刻ｔ２の対応評価値の３とを掛け合わせて得た値に対し、現時刻ｔ２にて評価項目９０２の評価結果が有の場合の１を掛け合わせた１８となる。ｔ２分のＴＦスコア総和９２２は、ｔ０のＴＦスコア９２１の０と、ｔ１のＴＦスコア９２１の１８と、ｔ２のＴＦスコア９２１の１８と足し合わせた３６となる。

ｔ３の時刻９０１では、評価項目９０２の評価結果（評価値）が有（５）であり、評価項目９０３の評価結果（評価値）が哀／小（１）であり、評価項目９０４の評価結果（評価値）が２４ヶ月（１）である。そのため、要求評価値は、５＋１＋１の７となる。評価項目９１１の評価結果（評価値）が有（３）であり、評価項目９１２の評価結果（評価値）が不適切（２）である。そのため、対応評価値は、３＋２の５となる。そして、現時刻ｔ３でのＴＦスコア９２１は、現時刻ｔ３の要求評価値の７と現時刻ｔ３の対応評価値の５とを掛け合わせて得た値に対し、現時刻ｔ３にて評価項目９０２の評価結果が有の場合の１を掛け合わせた３５となる。ｔ３分のＴＦスコア総和９２２は、ｔ１のＴＦスコア９２１の１８と、ｔ２のＴＦスコア９２１の１８と、ｔ３のＴＦスコア９２１の３５と足し合わせた７１となる。

ｔ４の時刻９０１では、評価項目９０２の評価結果（評価値）が有（５）であり、評価項目９０３の評価結果（評価値）が無（０）であり、評価項目９０４の評価結果（評価値）が２４ヶ月（１）である。そのため、要求評価値は、５＋０＋１の６となる。評価項目９１１の評価結果（評価値）が有（３）であり、評価項目９１２の評価結果（評価値）が不適切（２）である。そのため、対応評価値は、３＋２の５となる。そして、現時刻ｔ３でのＴＦスコア９２１は、現時刻ｔ４の要求評価値の６と現時刻ｔ４の対応評価値の５とを掛け合わせて得た値に対し、現時刻ｔ４にて評価項目９０２の評価結果が有の場合の１を掛け合わせた３０となる。ｔ３分のＴＦスコア総和９２２は、ｔ２のＴＦスコア９２１の１８と、ｔ３のＴＦスコア９２１の３５と、ｔ４のＴＦスコア９２１の３０と足し合わせた８３となる。

ｔ５の時刻９０１では、ｔ３の時刻９０１のときと同じであり、要求評価値は５＋１＋１の７となり、対応評価値は３＋２の５となる。そして、現時刻ｔ５でのＴＦスコア９２１は、現時刻ｔ５の要求評価値の７と現時刻ｔ５の対応評価値の５とを掛け合わせて得た値に対し、現時刻ｔ５にて評価項目９０２の評価結果が有の場合の１を掛け合わせた３５となる。ｔ３分のＴＦスコア総和９２２は、ｔ３のＴＦスコア９２１の３５と、ｔ４のＴＦスコア９２１の３０と、ｔ５のＴＦスコア９２１の３５とを足し合わせた１００となる。

上述したように、時刻ｔ５におけるＴＦスコア総和９３１は１００であり、この数値が閾値ＴＨβ以上であるため、ＴＦの検出を確定し、Ｓ４０４にてＴＦの検出を通知することになる。

＜ＴＦの通知処理＞
図１０は、ＴＦの通知処理（Ｓ４０４）の詳細な流れを示すフローチャートである。

Ｓ１００１では、ＴＦ通知部３０６は、ＴＦ検出部３０５でＴＦを検出したか判定する。ＴＦを検出したとの判定結果を得た場合（Ｓ１００１のＹＥＳ）、処理がＳ１００２に移行される。他方、ＴＦを検出していないとの判定結果を得た場合（Ｓ１００１のＮＯ）、図１０に示すフローを終える。すなわち、ＴＦの検出がないことから、ＴＦ通知部３０６は、デバイスへのメッセージの通知を実行せずにＴＦの通知処理を終える。

Ｓ１００２では、ＴＦ通知部３０６は、ＴＦの検出根拠が閾値ＴＨα以上であるか判定する。ＴＦの検出根拠が閾値ＴＨα以上でないとの判定結果を得た場合（Ｓ１００２のＮＯ）、処理がＳ１００５に移行される。他方、ＴＦの検出が閾値ＴＨα以上であるとの判定結果を得た場合（Ｓ１００２のＹＥＳ）、処理がＳ１００３に移行される。

Ｓ１００３では、ＴＦ通知部３０６は、閾値ＴＨαを超過した回数が一定期間内で閾値ＴＨΓ以上であるか判定する。一定期間は、例えば１２時間であるがこれに限定されない。閾値ＴＨΓは、例えば５であるが、これに限定されない。閾値ＴＨαを超過した回数が一定期間内で閾値ＴＨΓ以上でないとの判定結果を得た場合（Ｓ１００３のＮＯ）、処理がＳ１００５に移行される。他方、閾値ＴＨαを超過した回数が一定期間内で閾値ＴＨΓ以上であるとの判定結果を得た場合（Ｓ１００３のＹＥＳ）、処理がＳ１００４に移行される。

Ｓ１００４では、ＴＦ通知部３０６は、利用者２０１によるスマートフォン２１１の利用を制限する処理を実行する。この処理は、例えば、娯楽用のアプリケーションの実行など電話及びメール機能以外の機能を使用不可とする処理、各アプリケーションからの通知を個別でなく１時間に１回まとめての受信に変更するなどの通知頻度を削減する処理を含むが、これに限定されない。

Ｓ１００５では、ＴＦ通知部３０６は、利用者２０１が利用するスマートフォン２１１に対し、現在テクノフェレンスが発生している可能性が高い旨のメッセージを通知する。

以上説明した通り、本実施形態によれば、電子機器の利用者２０１に対する、非利用者２０２からのコミュニケーションの要求と、要求に対する利用者２０１の対応とを評価する。要求の評価結果および対応の評価結果に基づき利用者２０１と非利用者２０２とのコミュニケーションが、電子機器の利用によって阻害されている状態であるか判定する。そして、コミュニケーションが阻害されている状態であると判定された場合に、コミュニケーションが阻害されている状態である旨を通知する。このような通知を行うことで、利用者２０１と非利用者２０２とのコミュニケーションが、電子機器の利用により阻害されている状態であることを認識することができる。

＜＜実施形態２＞＞
本実施形態では、音声情報および利用情報に加え、利用者の顔画像に関する情報を取得し、取得した情報に基づき要求に対する利用者２０１の対応を評価することで、より高精度にＴＦの検出処理を実行する態様について説明する。

＜検出システムの適用例＞
図１１は、本実施形態に係る検出システムの適用例を示す図である。スマートフォン２１１を利用する利用者２０１と、スマートフォン２１１等の電子機器を利用しない非利用者２０２とが同じ部屋に居て、非利用者２０２が利用者２０１に対してコミュニケーションを要求する場面であるとする。なお、ここでは、本実施形態の検出システムが、撮像を行う撮像装置１１０１を付帯したスマートフォン２１１に適用されているとする。なお、撮像装置１１０１は、例えば、スマートフォン２１１の操作パネル側にあるフロントカメラであるとする。

スマートフォン２１１は、利用者２０１によって操作されるデバイス（電子機器）である。スマートフォン２１１は、利用者２０１がスマートフォン２１１を利用した状況を示す利用情報と、スマートフォン２１１周囲の音声に関する音声情報と取得する。さらに、スマートフォン２１１は、撮像装置１１０１が利用者２０１を撮像して利用者２０１の顔画像（静止画または動画）を取得する。

＜検出システムの機能構成＞
図１２は、本実施形態に係る検出システム１２００の機能構成例を示す図である。本実施形態では、実施形態１の検出システム１００との差分を中心に説明する。検出システム１２００は、実施形態１の検出システム１００が有する機能部３０１－３０６と、画像取得部１２０１とを有する。検出システム１２００は、外部機器である撮像装置１１０１と接続する。なお、撮像装置１１０１は、検出システム１２００と接続する形態に限定されず、検出システム１２００の内部に含まれる形態であってもよい。

画像取得部１２０１は、検出システム１２００と接続するスマートフォン２１１の撮像装置１１０１で撮像して得た撮像画像を取得する。取得した撮像画像は、検出システム１２００の対応評価部３０４に提供される。

本実施形態の対応評価部３０４は、実施形態１と同様、音声情報および利用情報に基づき、非利用者２０２から利用者２０１へのコミュニケーション要求に対する対応について所定の対応評価項目を評価する。また、対応評価部３０４は、画像取得部１２０１にて取得した撮像画像に基づき、非利用者２０２から利用者２０１へのコミュニケーション要求に対する対応について詳細につき後述する対応評価項目を評価する。そして、評価結果を基に対応評価値を求める。なお、本実施形態の対応評価部３０４は、Ｓ４０２にて、音声情報、利用情報および撮像画像に基づき、要求に対する利用者２０１の対応について対応評価項目を評価して対応評価値を算出する。算出した対応評価値は、ＴＦ検出部３０５に送られ、ＴＦスコアおよびＴＦスコア総和の算出に用いられる。

＜対応評価結果＞
図１３は、検出システム１２００が有する対応評価部３０４にて算出した対応評価結果例を示す図である。なお、図１３に示す対応評価結果例について、図６に示す対応評価結果例との差分を中心に説明する。時刻１３０１は時刻６０１に、評価項目１３０２は評価項目６０２に、評価項目１３０３は評価項目６０３にそれぞれ対応する。

対応評価結果１３００は、時刻１３０１にて示される時刻毎に、デバイス利用有無に関する評価項目１３０２の評価結果、対応時の発言内容に関する評価項目１３０３の評価結果を有する。さらに、対応評価結果１３００は、時刻１３０１にて示される時刻毎に、目線がデバイスであるかに関する評価項目１３０４の評価結果を有する。

目線がデバイスであるかに関する評価項目１３０４では、画像取得部１２０１にて取得した撮像画像に基づき、利用者２０１の目線（視線）がデバイス（スマートフォン２１１）の画面にあるかに関する評価結果と、この評価結果に対応した評価値を示している。すなわち、要求に対する対応時に、利用者２０１の視線方向がスマートフォン２１１であると、利用者２０１が非利用者２０２を見ていないことを示すことになる。また、要求に対する対応時に、利用者２０１の視線方向がスマートフォン２１１でないと、利用者２０１が非利用者２０２を見ている可能性があることを示すことになる。

利用者２０１の視線がデバイス（スマートフォン２１１）の画面にあるかに関し、例えば、非特許文献５に記載の技術などの公知の技術を用いることが可能である。目線がデバイスであるかに関し、撮像画像を解析して利用者２０１の目線がデバイスの画面にあるとの解析結果が得られると、Ｙｅｓと評価することになる。他方、撮像画像を解析して利用者２０１の目線がデバイスの画面でないとの解析結果が得られると、Ｎｏと評価することになる。すなわち、撮像画像を解析して利用者２０１の視線情報を取得し、取得した視線情報に基づき、利用者２０１の目線がデバイスであるか評価するともいえる。なお、「Ｙｅｓ」の評価結果に対応する評価値は２であり、「Ｎｏ」の評価結果に対応する評価値は０であるとするが、これに限定されない。

なお、上述の対応評価結果１３００について、時刻１３０１の「ｔ０」において、評価項目１３０２では「有（３）」を、評価項目１３０３では「不適切（２）」を、評価項目１３０４では「Ｙｅｓ（２）」を示している。対応評価結果１３００では、対応評価値として、３＋２＋２の７が求められる。

以上説明した通り、本実施形態によれば、撮像画像を解析した得た利用者２０１の視線情報を利用して、利用者２０１の目線がスマートフォン２１１の画面にあるかについても、要求に対する利用者２０１の対応の評価に用いることができる。これにより、利用者２０１と非利用者２０２とのコミュニケーションが、電子機器の利用により阻害されている状態であるかをより高精度に判定する。そして、コミュニケーションが阻害されている状態であると判定された場合に、コミュニケーションが阻害されている状態である旨を通知する。このような通知を行うことで、利用者２０１と非利用者２０２とのコミュニケーションが、電子機器の利用により阻害されている状態であることを認識することができる。

＜＜実施形態３＞＞
本実施形態では、音声情報に加え、利用者および非利用者の位置情報と、非利用者の顔の向きを示す情報とを取得し、取得した情報に基づき非利用者の要求を評価することで、より高精度にＴＦの検出処理を実行する態様について説明する。

＜検出システムの適用例＞
図１４は、本実施形態に係る検出システムの適用例を示す図である。スマートフォン２１１を利用する利用者２０１と、スマートフォン２１１等の電子機器を利用しない非利用者２０２とが同じ部屋に居て、非利用者２０２が利用者２０１に対してコミュニケーションを要求する場面であるとする。なお、ここでは、撮像装置１４０１が、室内に設置されており、利用者２０１および非利用者２０２を撮像して、利用者２０１および非利用者２０２を含む撮像画像（静止画又は動画）を取得可能であるとする。取得した撮像画像は、不図示の通信手段を介して、スマートフォン２１１に送られる。本実施形態の検出システムが、スマートフォン２１１に適用されているとする。

＜検出システムの機能構成＞
図１５は、本実施形態に係る検出システム１５００の機能構成例を示す図である。本実施形態では、実施形態１の検出システム１００との差分を中心に説明する。検出システム１５００は、実施形態１の検出システム１００が有する機能部３０１、３０２、３０４－３０６と、画像取得部１５０１とを有する。検出システム１５００は、外部機器である撮像装置１４０１と接続する。撮像装置１４０１の方向は、撮像装置１４０１の姿勢に対する上下方向を軸とした回転（パン）、撮像装置１４０１の姿勢に対する左右方向を軸とした回転（チルト）が可能であるとする。

画像取得部１５０１は、検出システム１５００と接続する撮像装置１４０１で撮像して得た撮像画像を取得する。取得した撮像画像は、検出システム１５００の要求評価部３０２および対応評価部３０４に提供される。

本実施形態の要求評価部３０２は、実施形態１と同様、非利用者２０２から利用者２０１へのコミュニケーションの要求を検出する。そして、要求評価部３０２は、要求の検出結果と、音声情報とに基づき、要求について所定の要求評価項目を評価する。また、要求評価部３０２は、画像取得部１５０１にて取得した撮像画像に基づき、非利用者２０２の要求について詳細につき後述する要求評価項目を評価する。そして、評価結果を基に要求評価値を求める。なお、本実施形態の要求評価部３０２は、Ｓ４０１にて、音声情報に基づき、非利用者２０２から利用者２０１へのコミュニケーションの要求を検出する。そして、要求評価部３０２は、要求の検出結果と音声情報と撮像画像とに基づき、要求について要求評価項目を評価して要求評価値を算出する。算出した要求評価値は、ＴＦ検出部３０５に送られ、ＴＦスコアおよびＴＦスコア総和の算出に用いられる。

本実施形態の対応評価部３０４は、音声情報と、画像取得部１５０１にて取得した撮像画像とに基づき非利用者２０２から利用者２０１へのコミュニケーション要求に対する対応について対応評価項目を評価する。そして、評価結果を基に対応評価値を求める。なお、本実施形態の対応評価部３０４は、Ｓ４０２にて、音声情報および撮像画像に基づき、要求に対する利用者２０１の対応について対応評価項目を評価して対応評価値を算出する。算出した対応評価値は、ＴＦ検出部３０５に送られ、ＴＦスコアおよびＴＦスコア総和の算出に用いられる。

＜要求評価結果＞
図１６は、検出システム１５００が有する要求評価部３０２にて算出した要求評価結果例を示す図である。なお、図１６に示す要求評価結果例について、図５に示す要求評価結果例との差分を中心に説明する。時刻１６０１は時刻５０１に、評価項目１６０２は評価項目５０２に、評価項目１６０３は評価項目５０３に、評価項目１６０４は評価項目５０４にそれぞれ対応する。

要求評価結果１６００は、時刻１６０１にて示される時刻毎に、デバイス利用者への要求有無に関する評価項目１６０２の評価結果、要求時の感情（種別／強度）に関する評価項目１６０３の評価結果、月齢／年齢に関する評価項目１６０４の評価結果を有する。さらに、要求評価結果１６００は、時刻１６０１にて示される時刻毎に、顔の向きがデバイス利用者（利用者２０１）であるかに関する評価項目１６０５の評価結果、デバイス利用者（利用者２０１）との距離に関する評価項目１６０６の評価結果を有する。

顔の向きが利用者２０１であるかに関する評価項目１６０５は、画像取得部１５０１にて取得した撮像画像に基づき、非利用者２０２の顔の向きが利用者２０１であるかに関する評価結果と、この評価結果に対応した評価値とを示している。

顔の向きが利用者２０１であるかに関し、例えば、非特許文献６に記載の技術などの公知の技術を用いることが可能である。顔の向きが利用者２０１であるかに関し、撮像画像を解析して非利用者２０２の顔の向きが利用者２０１であるとの解析結果が得られると、Ｙｅｓと評価することになる。他方、撮像画像を解析して非利用者２０２の顔の向きが利用者２０１でないとの解析結果が得られると、Ｎｏと評価することになる。すなわち、撮像画像を解析して非利用者２０２の顔情報を取得し、取得した顔情報に基づき、非利用者２０２の顔の向きが利用者２０１であるか評価するともいえる。なお、「Ｙｅｓ」の評価結果に対応する評価値は１であり、「Ｎｏ」の評価結果に対応する評価値は０であるとするが、これに限定されない。

利用者２０１との距離に関する評価項目１６０６は、画像取得部１５０１にて取得した撮像画像に基づき、非利用者２０２と利用者２０１との距離に関する評価結果と、この評価結果に対応する評価値とを示している。

利用者２０１との距離に関し、例えば、非特許文献７，８に記載の技術などの公知の技術を用いることが可能である。利用者２０１との距離に関し、撮像画像を解析して非利用者２０２と利用者２０１との距離が所定値未満であるとの解析結果が得られると、近いと評価することになる。他方、撮像画像を解析して非利用者２０２と利用者２０１との距離が所定値未満でないとの解析結果が得られると、遠いと評価することになる。すなわち、撮像画像を解析して非利用者２０２と利用者２０１の位置情報を取得し、取得した位置情報に基づき、非利用者２０２と利用者２０１の距離が所定値未満であるか評価するともいえる。なお、「近」の評価結果に対応する評価値は１であり、「遠」の評価結果に対応する評価値は０であるとするが、これに限定されない。

なお、上述の要求評価結果１６００について、時刻１６０１の「ｔ０」において、評価項目１６０２では「有（５）」を、評価項目１６０３では「哀／小（１）」を、評価項目１６０４では「２４ヶ月（１）」を示している。また、要求評価結果１６００について、時刻１６０１の「ｔ０」において、評価項目１６０５では「Ｙｅｓ（１）」を、評価項目１６０６では「近（１）」を示している。要求評価結果１６００では、要求評価値として、５＋１＋１＋１＋１の９が求められる。

以上説明した通り、本実施形態によれば、撮像画像を解析して得た非利用者２０２の顔情報を利用して、非利用者２０２の顔の向きが利用者２０１であるかについても、要求の評価に用いることができる。また、撮像画像を解析して得た利用者２０１および非利用者２０２の位置情報を利用して、非利用者２０２と利用者２０１の距離についても、要求の評価に用いることができる。これにより、利用者２０１と非利用者２０２とのコミュニケーションが、電子機器の利用により阻害されている状態であるかをより高精度に判定する。そして、コミュニケーションが阻害されている状態であると判定された場合に、コミュニケーションが阻害されている状態である旨を通知する。このような通知を行うことで、利用者２０１と非利用者２０２とのコミュニケーションが、電子機器の利用により阻害されている状態であることを認識することができる。

本開示の技術は、例えばシステム、装置、データ処理方法、プログラムもしくは記憶媒体等としての実施態様を取ることも可能である。具体的には複数の機器から構成されるシステムに適用してもよいし、一つの機器からなる装置に適用してもよい。

また本開示の技術は、以下の処理を実行する事によっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムを読み出して実行する処理である。

（その他の実施形態）
上記では、ＴＦの検出結果を、利用者２０１が操作するスマートフォン２１１に通知する態様について説明したが、通知先はこれに限定されない。例えば、非利用者２０２が子供であり、利用者２０１が非利用者２０２の父親である場合に、非利用者２０２の母親が保持するスマートフォンに通知してもよい。また、部屋にあるテレビなどの表示装置に通知してもよい。非利用者２０２が乳幼児であり、利用者２０１が非利用者２０２を養育する保育士である場合、当該保育士でない別の保育士が保持するスマートフォンに通知してもよい。また、主任保育士が保持するスマートフォンに通知してもよいし、保育士の職員室に設置される表示装置などに通知してもよい。

上記では、利用者２０１と非利用者２０２とのコミュニケーションが、スマートフォン２１１の利用により阻害されている状態を検出したときに、コミュニケーションが阻害されている状態である旨を通知する形態について説明したが、これに限定されない。利用者２０１と非利用者２０２とのコミュニケーションが、スマートフォン２１１の利用により阻害されていない状態を検出したときに、コミュニケーションが阻害されていない状態である旨を通知する形態であってもよい。利用者２０１と非利用者２０２とのコミュニケーションが、スマートフォン２１１の利用により阻害されている状態であるかを検出し、検出結果に基づき、前記状態に関する情報を通知してもよい。

上記では、所定の条件を満たすときに、デバイスにメッセージを通知する通知処理について説明したが、これに限定されない。例えば、アラームで通知してもよい。また、検出回数に応じて、通知するメッセージ内容を変えたり、アラームの種類や音量を変えたりするなど、通知内容に軽重を付加するような処理を行ってもよい。また、通知回数が所定値を越えたときに、電子機器を強制終了するような処理を行ってもよい。

上記では、デバイス利用者への要求有無、要求時の感情、月齢の全ての評価値から要求評価値を算出したり、これらの評価値と、非利用者の顔の向きおよび利用者との距離の評価値とから要求評価値を算出したりする場合を説明したが、これに限定されない。要求時の感情、月齢、非利用者の顔の向き、利用者との距離のうち少なくとも１つの評価値と、デバイス利用者への要求有無の評価値とから要求評価値を算出してもよい。

また、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成例、方法例およびプログラム例を含む。

（構成１）
電子機器を利用する利用者に対する他者からのコミュニケーションの要求を評価する第１の評価手段と、
前記要求に対する前記利用者の対応を評価する第２の評価手段と、
前記第１の評価手段による第１の評価結果と、前記第２の評価手段による第２の評価結果とに基づき、前記利用者と前記他者とのコミュニケーションが、前記電子機器の利用により阻害されている状態であるかを判定する判定手段と、
前記判定手段により前記コミュニケーションが阻害されている状態であると判定された場合に、前記コミュニケーションが阻害されている状態である旨を通知する通知手段と、
を有することを特徴とする情報処理装置。

（構成２）
前記利用者および前記他者の音声、または前記利用者および前記他者を含む撮像画像、または前記音声および前記撮像画像を取得する取得手段をさらに有し、
前記第１の評価手段は、前記音声、前記撮像画像、または、前記音声および前記撮像画像を解析して得た解析結果に基づき前記要求を評価する
ことを特徴とする構成１に記載の情報処理装置。

（構成３）
前記第１の評価手段は、前記解析で得た前記要求の有無に基づき、前記要求を評価する
ことを特徴とする構成２に記載の情報処理装置。

（構成４）
前記第１の評価手段は、前記解析で得た、前記要求時の前記他者の感情、前記解析で得た前記他者の年齢、前記解析で得た前記他者の顔の向き、前記解析で得た前記他者と前記利用者との距離のうち少なくとも１つと、前記要求の有無とに基づき、前記要求を評価する、ことを特徴とする構成２または３に記載の情報処理装置。

（構成５）
前記第１の評価手段は、前記要求を検出する検出手段を有し、
前記検出手段は、前記音声を解析して得た発言内容、前記音声を解析して得た前記他者の年齢のうち少なくとも１つを基に、前記要求を検出する
ことを特徴とする構成２から４の何れか１つに記載の情報処理装置。

（構成６）
前記取得手段は、前記利用者および前記他者の音声、または前記利用者および前記他者を含む撮像画像、または前記電子機器の利用状況を示す利用情報、または前記音声および前記撮像画像および前記利用情報の組み合わせを取得し、
前記第２の評価手段は、前記音声、前記撮像画像、前記利用情報、または、前記音声および前記撮像画像および前記利用情報の組み合わせを解析して得た解析結果に基づき前記対応を評価する
ことを特徴とする構成２から５の何れか１つに記載の情報処理装置。

（構成７）
前記第２の評価手段は、前記解析で得た、前記利用者による前記電子機器の利用の有無、前記解析で得た、前記利用者による対応時の発言内容、および前記解析で得た、前記利用者の視線方向のうち少なくとも１つに基づき、前記対応を評価する
ことを特徴とする構成６に記載の情報処理装置。

（構成８）
前記判定手段は、現在の前記第１の評価結果および前記第２の評価結果に基づく現在の評価値と、当該現在の評価値を含む過去所定回数分の評価値の総和とに基づき、前記コミュニケーションが阻害されている状態であるか判定する
ことを特徴とする構成１から７の何れか１つに記載の情報処理装置。

（構成９）
前記利用者は養育者であり、前記他者は当該養育者が養育する子供である
ことを特徴とする構成１から８の何れか１つに記載の情報処理装置。

（構成１０）
前記利用者は子供であり、前記他者は当該子供を養育する養育者である
ことを特徴とする構成１から８の何れか１つに記載の情報処理装置。

（方法１）
電子機器を利用する利用者に対する他者からのコミュニケーションの要求を評価する第１の評価工程と、
前記要求に対する前記利用者の対応を評価する第２の評価工程と、
前記第１の評価工程による第１の評価結果と、前記第２の評価工程による第２の評価結果とに基づき、前記利用者と前記他者とのコミュニケーションが、前記電子機器の利用により阻害されている状態であるかを判定する判定工程と、
前記判定工程にて前記コミュニケーションが阻害されている状態であると判定された場合に、前記コミュニケーションが阻害されている状態である旨を通知する通知工程と、
を含むことを特徴とする情報処理方法。

（プログラム１）
コンピュータを、構成１から１０の何れか１つに記載の情報処理装置の手段として機能させるためのプログラム。

Claims (12)

1. 電子機器を利用する利用者に対する他者からのコミュニケーションの要求を評価する第１の評価手段と、
   前記要求に対する前記利用者の対応を評価する第２の評価手段と、
   前記第１の評価手段による第１の評価結果と、前記第２の評価手段による第２の評価結果とに基づき、前記利用者と前記他者とのコミュニケーションが、前記電子機器の利用により阻害されている状態であるかを判定する判定手段と、
   前記判定手段により前記コミュニケーションが阻害されている状態であると判定された場合に、前記コミュニケーションが阻害されている状態である旨を通知する通知手段と、
   を有することを特徴とする情報処理装置。
2. 前記利用者および前記他者の音声、または前記利用者および前記他者を含む撮像画像、または前記音声および前記撮像画像を取得する取得手段をさらに有し、
   前記第１の評価手段は、前記音声、前記撮像画像、または、前記音声および前記撮像画像を解析して得た解析結果に基づき前記要求を評価する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の評価手段は、前記解析で得た前記要求の有無に基づき、前記要求を評価する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の評価手段は、前記解析で得た、前記要求時の前記他者の感情、前記解析で得た前記他者の年齢、前記解析で得た前記他者の顔の向き、前記解析で得た前記他者と前記利用者との距離のうち少なくとも１つと、前記要求の有無とに基づき、前記要求を評価する、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記第１の評価手段は、前記要求を検出する検出手段を有し、
   前記検出手段は、前記音声を解析して得た発言内容、前記音声を解析して得た前記他者の年齢のうち少なくとも１つを基に、前記要求を検出する
   ことを特徴とする請求項２に記載の情報処理装置。
6. 前記取得手段は、前記利用者および前記他者の音声、または前記利用者および前記他者を含む撮像画像、または前記電子機器の利用状況を示す利用情報、または前記音声および前記撮像画像および前記利用情報の組み合わせを取得し、
   前記第２の評価手段は、前記音声、前記撮像画像、前記利用情報、または、前記音声および前記撮像画像および前記利用情報の組み合わせを解析して得た解析結果に基づき前記対応を評価する
   ことを特徴とする請求項２に記載の情報処理装置。
7. 前記第２の評価手段は、前記解析で得た、前記利用者による前記電子機器の利用の有無、前記解析で得た、前記利用者による対応時の発言内容、および前記解析で得た、前記利用者の視線方向のうち少なくとも１つに基づき、前記対応を評価する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記判定手段は、現在の前記第１の評価結果および前記第２の評価結果に基づく現在の評価値と、当該現在の評価値を含む過去所定回数分の評価値の総和とに基づき、前記コミュニケーションが阻害されている状態であるか判定する
   ことを特徴とする請求項１に記載の情報処理装置。
9. 前記利用者は養育者であり、前記他者は当該養育者が養育する子供である
   ことを特徴とする請求項１に記載の情報処理装置。
10. 前記利用者は子供であり、前記他者は当該子供を養育する養育者である
    ことを特徴とする請求項１に記載の情報処理装置。
11. 電子機器を利用する利用者に対する他者からのコミュニケーションの要求を評価する第１の評価工程と、
    前記要求に対する前記利用者の対応を評価する第２の評価工程と、
    前記第１の評価工程による第１の評価結果と、前記第２の評価工程による第２の評価結果とに基づき、前記利用者と前記他者とのコミュニケーションが、前記電子機器の利用により阻害されている状態であるかを判定する判定工程と、
    前記判定工程にて前記コミュニケーションが阻害されている状態であると判定された場合に、前記コミュニケーションが阻害されている状態である旨を通知する通知工程と、
    を含むことを特徴とする情報処理方法。
12. コンピュータを、請求項１に記載の情報処理装置の手段として機能させるためのプログラム。

Images