JP2011232964A - 電気機器、及びその制御方法とプログラム - Google Patents
電気機器、及びその制御方法とプログラム Download PDFInfo
- Publication number
- JP2011232964A JP2011232964A JP2010102781A JP2010102781A JP2011232964A JP 2011232964 A JP2011232964 A JP 2011232964A JP 2010102781 A JP2010102781 A JP 2010102781A JP 2010102781 A JP2010102781 A JP 2010102781A JP 2011232964 A JP2011232964 A JP 2011232964A
- Authority
- JP
- Japan
- Prior art keywords
- user
- cpu
- posture
- looking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】使用者による意図的な遠隔操作のみを受け付ける。
【解決手段】
リモコンを不要とした遠隔操作機能を備えた電気機器1である。CPU13は、内蔵カメラ18が使用者を撮影した撮影画像に基づいて、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断し、さらに前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する。CPUは、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合にのみ、前記特定の動作に対応した内容の制御処理を実行する。
【選択図】図2
【解決手段】
リモコンを不要とした遠隔操作機能を備えた電気機器1である。CPU13は、内蔵カメラ18が使用者を撮影した撮影画像に基づいて、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断し、さらに前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する。CPUは、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合にのみ、前記特定の動作に対応した内容の制御処理を実行する。
【選択図】図2
Description
本発明は、リモコンを不要とした遠隔操作機能を備えた電気機器に関するものである。
従来、一般家庭で使用されている所謂エアコン、テレビジョン受信機、ビデオレコーダー等の家庭用の電気機器においては、使用者の操作に応じて所定の赤外線信号を発光するリモートコントロールユニット(以下、リモコンと略す。)を用いることにより遠隔操作が可能なものが多い。また、例えばテレビジョン受信機では、マルチチャンネル、デジタルサービス放送、ブロードバンドネットワーク等の普及に伴い多機能化が進んでおり、多くの機能を有するテレビジョン受信機ではリモコンによる操作を前提とした構造や、機能が設けられているもの一般的である。
リモコンの使用を前提とした電気機器では、リモコンを駆動する電池が消耗した場合や、リモコンが故障したり、紛失した場合には、使用者が、機器本体に設けられているスイッチを操作したりすることによって電気機器を操作することを余儀なくされる。特に身体の不自由な人には負担になる。
一方、例えば下記特許文献1には、表示装置の前方に配設されたテレビカメラによって撮像された人物の指先位置等を検出することにより、各種の指令を入力可能する技術が記載されている。係る技術を用いれば、リモコンを使用することなく指先の動作によって電気機器を遠隔操作することが可能となる。
しかしながら、上記の技術においては、例えば使用者が電気機器の操作を意図していないとき、たまたま指先の動作が検出された場合には、使用者の意図に反して電気機器が特定の動作を行うこととなる。そのため、使用者の意図しない操作に応答した誤動作が生じる可能性が高いという問題がある。
本発明は、かかる従来の課題に鑑みてなされたものであり、使用者による意図的な遠隔操作のみを受け付けることができる電気機器を提供することを目的とする。
前記課題を解決するため、請求項1記載の発明に係る電気機器にあっては、遠隔操作機能を備えた電気機器において、使用者を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、前記撮影手段により撮影された撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段とを備えたことを特徴とする。
また、請求項2記載の発明に係る電気機器にあっては、前記制御手段が実行する前記特定の動作に対応した内容の制御処理には、受信局の切り替え制御が含まれることを特徴とする。
また、請求項3記載の発明に係る電気機器にあっては、前記撮影手段により撮影された撮影画像を対象として、予め登録されている人物の顔を認識する顔認識手段を備え、前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されており、かつ前記顔認識手段によって予め登録されている人物の顔が検出されていることを条件として、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行することを特徴とする。
また、請求項4記載の発明に係る電気機器にあっては、前記判断手段は、前記顔認識手段により認識された予め登録されている人物の顔部分の画像から視線の方向を表す視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断することを特徴とする。
また、請求項5記載の発明に係る電気機器にあっては、前記判断手段は、前記撮影手段により撮影された撮影画像に基づいて使用者が目を開けているか否かを判断し、使用者が目を開けていると判断できるとき、前記顔部分の画像から前記視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断することを特徴とする。
また、請求項6記載の発明に係る電気機器にあっては、前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理であって、前記予め登録されている人物によって事前に設定されている内容の制御処理を実行することを特徴とする。
また、請求項7記載の発明に係る制御方法にあっては、遠隔操作機能を備えた電気機器の制御方法であって、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する工程と、前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する工程と、使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合に、前記特定の動作に対応した内容の制御処理を実行する工程とを含むことを特徴とする。
また、請求項8記載の発明に係るプログラムにあっては、遠隔操作機能を備えた電気機器が有するコンピュータを、使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段として機能させることを特徴とする。
本発明によれば、ユーザによる意図的な遠隔操作のみを受け付けることができる電気機器を提供することが可能となる。
以下、本発明の実施形態について説明する。本実施形態は、ユーザがリモコンを使用することなく、特定の動作を遠隔操作することができる機能(以下、遠隔操作機能という。)を備えたデジタルテレビ受信機(以下、単にテレビ受信機という。)に関するものである。より具体的には、ユーザが自分の手を予め決められている操作姿勢として動かすだけで、チャンネル選択と音量調整とが遠隔操作可能なテレビ受信機に関するものである。
図1は、本実施形態のテレビ受信機1の外観図である。図1に示したように、テレビ受信機1の本体2には、本体2の正面のほぼ全域を占める表示画面を構成する液晶ディスプレイやプラズマディスプレー等の表示パネル3が保持されている。また、本体2の下辺部分の中央には撮影レンズ4が設けられている。撮影レンズ4は、後述する内蔵カメラ18によってテレビ受信機1の正面側の状況を広範囲に撮影するために設けられたものであり、例えば焦点距離が20mm程度の広角レンズである。
図2は、テレビ受信機1の電気的構成の要部を示したブロック図である。テレビ受信機1は、主としてチューナ12と、CPU13、映像デコーダ14、音声デコーダ15、表示装置16、内蔵カメラ18、主記憶装置19、補助記憶装置20、操作キー部21から構成される。
チューナ12は、デジタル放送の放送電波をアンテナ11を介して受信するデジタルチューナである。表示装置16は、前述した表示パネル3、及び表示パネル3の駆動回路等から構成されている。音声出力装置17は、オーディオアンプやスピーカー等から構成されている。操作キー部21は、電源のオンオフや選局等の各種操作を行うために本体2に設けられた複数の操作キー(図示せず)から構成され、ユーザによるキー操作に応じた操作信号をCPU13へ送る。
内蔵カメラ18は、図1に示した撮影レンズ4によって結像された被写体の光学像を撮像するCCD(Charge Coupled Device)やMOS(Complementary Meta1 0xide Semiconductor)型の撮像素子31と、撮像素子31から出力される撮像信号に種々の信号処理を施して画像データを生成し、CPU13へ供給する信号処理回路32から構成されている。
信号処理回路32には、撮像信号を増幅するAGC回路、増幅された撮像信号をデジタルの画像信号に変換するA/Dコンバータが含まれており、信号処理回路22は、デジタルに変換された撮像部信号に対して輝度信号処理や、色信号処理、補間処理等を行うことによって画像データを生成する。
そして、内蔵カメラ18は、信号処理回路32が生成した画像データをCPU13へ供給することにより撮影手段として機能する。なお、以下の説明においては、内蔵カメラ18がCPU13へ供給する画像データにより表される画像を撮影画像という。
任意のテレビ放送を受信しているとき、CPU13は、主記憶装置19に記憶されている制御プログラムに基づき動作し、チューナ12から送出されたトランスポートストリーム信号をMPEG2システム(オーディオ、ビデオのストリームフォーマット)に則り映像信号と音声信号とに振り分け、映像デコーダ14と音声デコーダ15に送る。映像デコーダ14は圧縮されたビデオデータを復号化して表示装置16へ送り、音声デコーダ15は圧縮されたオーディオデータを復号化し音声出力装置17へ送る。
また、CPU13は、必要に応じて、チューナ12により受信した放送の映像データ、音声データ等の番組データを補助記憶装置20に記録する。つまり番組録画を行う。補助記憶装置20は記憶容量の大きなハードディスク等の記憶装置である。
主記憶装置19は、EEPROMやフラッシュメモリ等の記憶データの書き換えが可能なメモリである。主記憶装置19の内部には、図3に示したようにプログラムデータ格納領域19aと、ユーザにより登録されたデータを記憶するための登録データ格納領域19bとが確保されている。
プログラムデータ格納領域19aには、種々のプログラムからなる前記制御プログラムと、放送局の周波数等のテレビ放送の受信に使用される各種のデータが記憶されている。さらに、プログラムデータ格納領域19aには、図4(a)に示したコマンドテーブル100が記憶されている。コマンドテーブル100は、CPU13が前記制御プログラムに従って、テレビ受信機1が有する前述した遠隔操作機能に関する処理を行う際に使用されるデータである。すなわちコマンドテーブル100は、内蔵カメラ18によって取得された撮影画像から認識すべき、人物の手の操作姿勢と、制御内容との基本的な組合せを示すデータである。
手の操作姿勢は、撮影画像からパターン認識等の画像認識技術により認識可能な操作姿勢であり、図4(b)にそれぞれ示した、手のひらを略垂直にした状態の第1の姿勢Aと、手のひらを略水平にした状態の第2の姿勢Bとの2種類である。また、制御内容は、遠隔操作機能により制御すべき動作であって、先に述べたように「チャンネル選択」と「音量調整」との2種類である。そして、コマンドテーブル100には、「チャンネル選択」に対応する操作姿勢として第1の姿勢Aが設定されており、「音量調整」に対応する操作姿勢として第2の姿勢Bが設定されている。なお、プログラムデータ格納領域19aには、撮影画像から第1及び第2の姿勢A,Bを認識する際に使用されるモデルパターン等のデータも記憶されている。
一方、登録データ格納領域19bには、図5に示した登録データ200が記憶されている。登録データ200は、ユーザ番号で管理されている各ユーザに対応する顔画像データと、視線基準データと、チャンネル選択用の手の操作姿勢、及び音量調整用の手の操作姿勢をそれぞれ示す設定データとから構成されている。顔画像データは、ユーザである特定人物の顔部分の画像データである。視線基準データは、CPU13が、ユーザの顔の向きを判断する際に使用される基準となる基準となる視線情報である。視線基準データの詳細については後述する。
登録データ200を構成するユーザ毎のデータは、ユーザが、テレビ受信機1に予め用意されているユーザ登録機能を用いて所定の登録作業を行うことにより記憶されている。登録作業は、ユーザがテレビ受信機1の表示画面に正対した状態で所定のキー操作を行うことにより可能である。
図6は、所定のキー操作によってユーザから登録要求があったとき、CPU13が主記憶装置19(プログラムデータ格納領域19a)に記憶されている制御プログラムに従い実行するユーザ登録処理を示したフローチャートである。
CPU13は、ユーザから登録要求があったときには、直ちに所定のキー操作による撮影指示の有無を確認する(ステップSA1)。なお、ユーザには、テレビ受信機1の表示画面に顔を向けた状態(表示画面に正対した状態)で撮影指示を行わせるものとする。
その後、CPU13は、撮影指示(所定のキー操作)があった時点で(ステップSA1:YES)、内蔵カメラ18に撮影動作を行わせて撮影画像を取得する(ステップSA2)。次に、CPU13は、取得した撮影画像から任意の人物の顔部分に相当する顔領域を検出し、検出した顔領域を表す画像データ、つまり顔画像データを取得する(ステップSA3)。なお、顔画像データの取得に際してCPU13は、撮影画像を対象として二値化や輪郭抽出、パターンマッチング等の画像認識処理を行うことによって、一定範囲の位置関係にある目や鼻や口が存在する特定領域を顔領域として検出する。
次に、CPU13は、以下のデータを視線基準データとして取得する(ステップSA4)。視線基準データは、ステップSA3の処理に際して顔領域を検出する際に認識した目(左右の目)と口のそれぞれの中心位置を頂点とする、図7に示した逆三角形Dに関するデータである。すなわち逆三角形Dの底辺の長さ(左右の目の間の距離)をa(=E+E')、逆三角形Dの高さ(左右の目を繋いだ線から口までの距離)をbとしたときの底辺の長さと高さとの比率c(=b/a)である。
さらに、CPU13は、ユーザにチャンネル選択と音量調整との操作方法を設定させる(ステップSA5)。ステップSA5においてCPU13は、先に述べた制御内容との手の操作姿勢(第1及び第2の姿勢A,B)との基本的な組合せをデフォルト状態で示す所定の設定画面を表示装置16に表示させ、キー操作によって上記組合せの変更の有無をユーザに選択させる。
しかる後、CPU13は、ステップSA3,SA4で取得した顔画像データ、及び視線基準データと、操作方法の設定データとを、新たなユーザ番号に対応させて登録データ200に追記する。なお、図5に例示したデータのうち、ユーザ番号1,3に対応する操作方法の設定データが、ユーザによって制御内容との手の操作姿勢との組合せが変更されなかった場合のデータである。また、ユーザ番号2に対応する操作方法の設定データが、ユーザによって制御内容との手の操作姿勢との組合せが変更された場合のデータである。
次に、本実施形態テレビ受像機1において、任意の放送を受信して間にCPU13が主記憶装置19(プログラムデータ格納領域19a)に記憶されている制御プログラムに従い実行する遠隔操作機能に関する処理について説明する。図8及び図9は、CPU13における遠隔操作機能に関する処理を示すフローチャートである。
テレビ受像機1に電源が投入されて任意の放送を受信している間、CPU13は内蔵カメラ18に周期的(例えば15fps〜30fps)に撮影動作を行わせるとともに、以下の処理を行う。
CPU13は、内蔵カメラ18によって新たな撮影画像を取得すると(ステップSB1:YES)、まず、取得した撮影画像から任意の人物の顔部分に相当する顔領域を検出する顔検出処理を行う(ステップSB2)。顔検出処理は、ユーザ登録時に顔画像データを取得する場合の処理と同様である。顔領域が検出できない場合(ステップSB3:NO)、CPU13はステップSB1の処理に戻って、新たな撮影画像を取得するまで待機する。
一方、撮影画像において顔領域が検出できた場合(ステップSB3:YES)、CPU11は、引き続き、ステップSB2の顔検出処理で検出した顔領域の画像データを対象として、ユーザ(以下、視聴者という。)が目を開けているか否かを判断する(ステップSB4)。ステップSB4の処理に際してCPU13は、顔領域の画像データに二値化や輪郭抽出等のフィルタ処理(画像処理)を施し、フィルタ処理後の画像において目に相当する領域を特定する。しかる後、特定した領域において黒目に相当する部分が認識できるか否かによって、目を開けているか否かを判断する。
図10(a)は、視聴者が目を開けている場合に顔領域の画像データにより表される画像の例を便宜的に示した図、図10(b)は、視聴者が目を閉じている場合に顔領域の画像データにより表される画像の例を便宜的に示した図である。なお、図10(a)、図10(b)において、それぞれ左側に示したものがフィルタ処理前の画像、図で右側に示したものがフィルタ処理後の画像の例である。また、フィルタ処理後の画像(右側の画像)に丸で囲んだ部分が目に相当する領域Aである。
CPU13は、視聴者が目を閉じていると判断した場合には(ステップSB4:NO)、何もせずステップSB1の処理に戻って、新たな撮影画像を取得するまで待機する。
一方、CPU13は、視聴者が目を開けていると判断した場合(ステップSB4:YES)、ステップSB2の顔検出処理で検出した顔領域の顔が、登録されているユーザの顔であるか否かを確認する(ステップSB5)。つまり現在の視聴者が登録されているユーザであるか否かを確認する。
ステップSB5の処理においてCPU13は、まず、登録データ200として記憶されている複数の顔画像データの各々を対象として、ステップSB2の顔検出処理で検出した顔領域の画像データとの一致度を取得する。一致度は、目や鼻や口の大きさや、相互の位置関係等の複数の特徴点に関する個々の一致度を平均化したものである。
そして、CPU13は、平均化した一致度が基準以上である顔画像データが登録データ200に存在していれば、現在の視聴者が登録されているユーザであるとし、逆に平均化した一致度が基準以上である顔画像データが登録データ200に存在しなければ、現在の視聴者が登録されているユーザではないと判断する。ここで、現在の視聴者が登録されているユーザでなければ(ステップSB5:NO)、CPU13はステップSB1の処理に戻って、新たな撮影画像を取得する。
一方、現在の視聴者が登録されているユーザであるとき、つまり撮影画像において登録されているユーザの顔が認識できたとき(ステップSB5:YES)、CPU13は、まず現在の視聴者であるユーザを特定する(ステップSB6)。すなわちCPU13は、登録データ200に前述した一致度が最も高い顔画像データが記憶されているユーザを現在の視聴者として特定する。
さらに、CPU13は、登録データ200を参照して、特定したユーザ、つまり現在の視聴者によって設定されている制御内容との手の操作姿勢との組合せを確認し、確認した内容を内部メモリに記憶する(ステップSB7)。
次に、CPU13は、ステップSB2の顔検出処理で検出した顔領域の画像データから視線データを取得する(ステップSB8)。顔領域の画像データから取得する視線データは、既説したユーザ登録処理(図6)におけるステップSA4の処理で視線基準データとして取得するデータと同一である。つまりステップSB2の顔検出処理で検出した顔領域における、目(左右の目)と口のそれぞれの中心位置を頂点とする逆三角形Dの高さbと、逆三角形Dの底辺の長さaとの比率c(=b/a)である(図7参照)。
しかる後、CPU13は、ステップSB8の処理で取得した比率c(以下、実際の比率という。)と、現在の視聴者(ステップSB6の処理において特定したユーザ)について登録データ200に視線基準データとして記憶されている比率c(以下、基準比率という。)とを比較することにより、視聴者がテレビ受信機1の表示画面に顔を向けているか否かを判断する(ステップSB9)。つまり、CPU13は、係る処理において視聴者が表示画面を見ているか否かを最終的に判断する。
図11は、視聴者の顔が表示画面に正対したときの基準比率cと、視聴者の顔が上下左右を向いたときの実際の比率c(図ではc'と標記する。)との関係を示した図である。ここで、図11(a)に示したように視聴者の顔が表示画面に正対したときを基準とすると、図11(b)、図11(c)に示したように視聴者の顔が左右を向いた場合には、逆三角形Dの底辺の長さaは相対的に小さくなる。そのため、実際の比率c'は基準比率cよりも大きくなる。また、図11(d)、図11(e)に示したように視聴者の顔が上下を向いた場合には、逆三角形Dの高さbは相対的に小さくなる。そのため、実際の比率c'は基準比率cよりも小さくなる。
以上の観点から、ステップSB9の処理においてCPU13は、視線データとして取得した比率cと、視線基準データとして記憶されている比率cとの差が予め決められている閾値以下であるときには、視聴者がテレビ受信機1の表示画面に顔を向けていると判断する。また、CPU13は、上記比率cの差が閾値を超えているときには、視聴者がテレビ受信機1の表示画面に顔を向けていないと判断する。なお、閾値は、視聴者とテレビ受信機1との距離が、テレビ受信機1の表示画面サイズに応じて予め想定されている視聴距離に対応して決められている値である。
そして、視聴者がテレビ受信機1の表示画面に顔を向けていないと判断した場合(ステップSB9:NO)、CPU13は何もせずステップSB1の処理に戻って、新たな撮影画像を取得するまで待機する。
一方、視聴者がテレビ受信機1の表示画面に顔を向けていると判断した場合、つまり視聴者が表示画面を見ていると判断できる場合(ステップSB9:YES)、CPU13は引き続き図9に示した以下の処理を実行する。
すなわちCPU13は、ステップSB1で取得した撮影画像を対象として手の操作姿勢を認識する(ステップSB10)。CPU13が認識する手の操作姿勢は、先に説明したように、図4(b)に示した手のひらを略垂直にした状態の第1の姿勢A、及び手のひらを略水平にした状態の第2の姿勢Bである。
そして、CPU13は、撮影画像において第1の姿勢A、又は第2の姿勢Bの認識に成功したときには(ステップSB11:YES)、後述するステップSB12以降の処理を行った後、新たに撮影画像を取得する毎に(ステップSB23:YES)、手の操作姿勢を認識する(ステップSB10)。以後、CPU13は、新たな撮影画像において手の操作姿勢(第1の姿勢A、又は第2の姿勢B)の認識に成功している間、ステップSB12以降の処理を繰り返す。
以下、ステップSB12〜ステップSB22の処理について説明する。すなわち手の操作姿勢の認識に成功している間、CPU13は、まず、ステップSB7の処理で内部メモリに記憶しておいた、現在の視聴者によって設定されている制御内容との手の操作姿勢との組合せ内容から、認識した手の操作姿勢が、現在の視聴者においてチャンネル選択用として設定されている操作姿勢であるか否かを確認する(ステップSB12)。
そして、CPU13は、認識した手の操作姿勢がチャンネル選択用として設定されている操作姿勢である間には(ステップSB12:YES)、以下の処理を繰り返す。なお、以下の説明では、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが図4(a)に示した基本的な組合せであって、ステップSB10の処理で認識した手の操作姿勢が第1の姿勢Aであるものとする。
操作姿勢がチャンネル選択用として設定されている操作姿勢である間、CPU13は、新たに取得した撮影画像内における手の位置(例えば画像内における手の中心位置)を逐次取得して内部メモリに記憶する(ステップSB13)。しかる後、CPU13は、それまでの手の位置の変化に基づいて、視聴者によってチャンネルの順送り、又はチャンネルの逆送りが指示されたか否かを確認する(ステップSB14、ステップSB16)。
すなわちCPU13は、第1の姿勢Aにある手の位置が、図12(a)に示したように、任意の初期位置P1から右方向へ移動した後、任意の位置P2で反転して初期位置P1に戻る順送り動作が確認できたときには、チャンネルの順送りが指示されたと判断する。またCPU13は、第1の姿勢Aにある手の位置が、図12(b)に示したように、任意の初期位置P1から左方向へ移動した後、任意の位置P2'で反転して初期位置P1に戻る逆送り動作が確認できたとき、チャンネルの逆送りが指示されたと判断する。
そして、CPU13は、視聴者によってチャンネルの順送りが指示されたと判断した(順送り動作が確認できた)ときには(ステップSB14:YES)、チャンネルを1チャンネル分順送りする(ステップSB15)。また、CPU13は、視聴者によってチャンネルの逆送りが指示されたと判断した(逆送り動作が確認できた)ときには(ステップSB14:NO、ステップSB16:YES)、チャンネルを1チャンネル分逆送りする(ステップSB17)。
ただし、第1の姿勢Aにある手の順送り動作、又は逆送り動作が連続して行われる連続選択動作中、ステップSB13以降の処理に際してCPU13は、以下の処理を行う。すなわち、CPU13は、最初に確認した動作が順送り動作であった後には、第1の姿勢Aにある手が1往復移動する毎にチャンネルを1チャンネル分順送りする。
図12(c)は、最初の動作が順送り動作であった場合における第1の姿勢Aにある手の連続選択動作の例を示した図である。係る連続選択動作中においてCPU13は、第1の姿勢Aにある手が初期位置P1と任意の位置P2と間を往復した時点でチャンネルを1チャンネル分順送りし、さらに、第1の姿勢Aにある手が初期位置P1と任意の位置P3と間を往復した時点でチャンネルを1チャンネル分順送りする。
また、上記とは逆にCPU13は、最初に確認した動作が逆送り動作であった後には、第1の姿勢Aにある手が1往復移動する毎にチャンネルを1チャンネル分逆送りする。
また、CPU13は、上記の順送り動作及び逆送り動作とのいずれもが確認できなかったときには(ステップSB16:NO)、その時点では何もせずに、次回の撮影画像を取得した後に、上記と同様の処理を行う。
したがって、ユーザにおいては、第1の姿勢Aにある手を左右に移動させれば、リモコンを使用することなく、テレビ受信機1から離れた場所でも表示チャンネルの選択(切り替え)を行うことができる。
一方、CPU13は、ステップSB10で認識した手の操作姿勢がチャンネル選択用ではなく、音量調整用として設定されている操作姿勢である間には(ステップSB12:NO)、以下の処理を繰り返す。なお、以下の説明においても、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが図4(a)に示した基本的な組合せであって、ステップSB10の処理で認識した手の操作姿勢が第2の姿勢Bであるものとする。
操作姿勢が音量調整用として設定されている操作姿勢である間、CPU13は、新たに取得した撮影画像内における手の位置(例えば画像内における手の中心位置)を逐次取得して内部メモリに記憶する(ステップSB18)。しかる後、CPU13は、それまでの手の位置の変化に基づいて、視聴者によって音量アップ、又は音量ダウンが指示されたか否かを確認する(ステップSB19、ステップSB21)。
すなわちCPU13は、第2の姿勢Bにある手の位置が、図13(a)に示したように、任意の初期位置P1から上方向へ所定の距離Lを移動する音量アップ動作が確認できたときには、音量アップが指示されたと判断する。またCPU13は、第2の姿勢Bにある手の位置が、図13(b)に示したように、任意の初期位置P1から下方向へ所定の距離Lを移動する音量ダウン動作が確認できたときには、音量ダウンが指示されたと判断する。
そして、CPU13は、視聴者によって音量アップが指示されたと判断した(音量アップ動作が確認できた)ときには(ステップSB19:YES)、音量を1段階上げる(ステップSB20)。また、CPU13は、視聴者によって音量ダウンが指示されたと判断した(音量ダウン動作が確認できた)ときには(ステップSB19:NO、ステップSB21:YES)、音量を1段階下げる(ステップSB22)。
ただし、第2の姿勢Bにある手の音量アップ動作、又は音量ダウン動作が連続して行われる連続調整動作中、ステップSB19以降の処理に際してCPU13は、以下の処理を行う。すなわち、CPU13は、最初に確認した動作が音量アップ動作であった後には、第2の姿勢Bにある手が、移動方向に関係なく所定の距離Lだけ移動する毎に音量を1段階上げる。
図13(c)は、最初の動作が音量アップ動作であった場合における第2の姿勢Bにある手の連続選択動作の例を示した図である。係る連続選択動作中においてCPU13は、第2の姿勢Bにある手が初期位置P1から所定の距離L離れた位置P2に達した時点で音量を1段階上げ、さらに、第2の姿勢Bにある手が初期位置P1へ戻った時点で音量を1段階上げる。
また、上記とは逆にCPU13は、最初に確認した動作が音量ダウン動作であった後には、第2の姿勢Bにある手が移動方向に関係なく所定の距離Lだけ移動する毎に音量を1段階下げる。
また、CPU13は、上記の音量アップ動作及び音量ダウン動作とのいずれもが確認できなかったときには(ステップSB21:NO)、その時点では何もせずに、次回の撮影画像を取得した後に、上記と同様の処理を行う。
したがって、ユーザにおいては、第2の姿勢Bにある手を上下に移動させれば、リモコンを使用することなく、テレビ受信機1から離れた場所でも音量調整を行うことができる。
なお、図には示さないが、現在の視聴者により設定されている制御内容との手の操作姿勢との組合せが基本的な組合せと逆である場合、つまり「チャンネル選択」に対応する操作姿勢として第2の姿勢Bが設定され、かつ「音量調整」に対応する操作姿勢として第1の姿勢Aが設定されている場合、CPU13はステップSB12〜ステップSB22では以下の処理を行う。
すなわち、CPU13は、第2の姿勢Bにある手が任意の初期位置から上方向へ移動した後、任意の位置で反転して初期位置に戻る順送り動作を確認したときには、チャンネルの逆送りが指示されたと判断し(ステップSB14:YES)、チャンネルを1チャンネル分順送りする(ステップSB15)。また、CPU13は、第2の姿勢Bにある手が任意の初期位置から下方向へ移動した後、任意の位置で反転して初期位置に戻る順送り動作を確認したときには、チャンネルの逆送りが指示されたと判断し(ステップSB16:YES)、チャンネルを1チャンネル分逆送りする(ステップSB17)。
なお、CPU13は、第2の姿勢Bにある手の順送り動作、又は逆送り動作が連続して行われる連続選択動作中には、最初の動作が順送り動作であれば、第2の姿勢Bにある手が1往復移動する毎にチャンネルを1チャンネル分順送りする。逆に、最初の動作が逆送り動作であれば、CPU13は、第2の姿勢Bにある手が1往復移動する毎にチャンネルを1チャンネル分逆送りする。
さらに、CPU13は、第1の姿勢Aにある手が任意の初期位置から右方向へ所定の距離を移動する音量アップ動作を確認したときには、音量アップが指示されたと判断し(ステップSB19:YES)、音量を1段階上げる(ステップSB20)。また、CPU13は、第1の姿勢Aにある手が任意の初期位置から左方向へ所定の距離を移動する音量ダウン動作を確認したときには、音量ダウンが指示されたと判断し(ステップSB21:YES)、音量を1段階下げる。
なお、CPU13は、第1の姿勢Aにある手の音量アップ動作、又は音量ダウン動作が連続して行われる連続調整動作中には、最初の動作が音量アップ動作であれば、第1の姿勢Aにある手が所定の距離だけ移動する毎に音量を1段階上げる。逆に、最初の動作が音量ダウン動作であれば、CPU13は、第1の姿勢Aにある手が所定の距離だけ移動する毎に音量を1段階下げる。
一方、CPU13は、上述したように第1の姿勢A、又は第2の姿勢Bにある手の動作に応じてチャンネルや音量の制御を繰り返す間、新たに取得した撮影画像において手の操作姿勢(第1の姿勢A、又は第2の姿勢B)が認識できなくなったら(ステップSB11:NO)、それまでに記憶していた手の位置を初期化(クリア)した後(ステップSB24)、いったん図8のステップSB1の処理に戻る。以後、CPU13は、前述した処理を繰り返す。
以上説明したように本実施形態のテレビ受信機1においては、任意の放送を受信して間、CPU13が、視聴者が表示画面を見ていることを条件として、第1の姿勢Aにある手の左右方向への移動、又は第2の姿勢Bにある手の上下方向への移動といった特定の動作を随時検出し、それが検出できたことをトリガとしてチャンネル(受信局)や音量を制御する。
そのため、テレビ受信機1においては、視聴者が表示画面を見ていないとき、たまたま第1の姿勢Aや第2の姿勢Bにあるユーザの手が左右や上下に移動した場合であっても、チャンネルが変更されたり、音量が変化したりすることがない。つまりユーザの意図しない操作に応答した誤動作が生じる可能性がない。よって、ユーザによる意図的な遠隔操作のみを受け付けることができる。
また、本実施形態のテレビ受信機1においては、CPU13が、撮影画像から予め登録されているユーザの顔が認識できたことを条件として、チャンネル(受信局)や音量を制御する。したがって、より確実にユーザによる意図的な遠隔操作のみを受け付けることができる。
また、本実施形態のテレビ受信機1においては、CPU13が、視聴者が目を開けており、かつテレビ受信機1の表示画面に顔を向けていると判断できる場合に、視聴者が表示画面を見ていると最終的に判断する。したがって、視聴者が表示画面を見ている滋養対を正確に判断することができ、これによっても、より確実にユーザによる意図的な遠隔操作のみを受け付けることができる。
なお、本実施形態においては、CPU13が、視聴者が目を開けており、かつテレビ受信機1の表示画面に顔を向けていると判断できる場合に、視聴者が表示画面を見ていると最終的に判断する構成について説明した。しかし、本発明の実施に際しては、視聴者が表示画面を見ているか否かの判断を、視聴者がテレビ受信機1の表示画面に顔を向けているか否かのみに基づいて行う構成としてもよい。
また、本実施形態においては、視聴者がテレビ受信機1の表示画面に顔を向けているか否かの判断を、事前に登録されている視線基準データを用いて行う構成について説明したが、上記判断は事前に登録されている視線基準データを用いることなく行う構成としてもよい。例えば、視聴者を撮影した撮影画像を取得する毎に、図7に示した逆三角形Dの高さbと、逆三角形Dの底辺の長さaとの比率c(視線情報)を繰り返し取得するともに、随時取得する比率cのうちで最小の比率cを視線基準データとして随時更新し、係る視線基準データを用いる構成としてもよい。
なお、上記のように随時更新する視線基準データを用いて、視聴者がテレビ受信機1の表示画面に顔を向けているか否かを判断する場合、CPU13に、例えば事前に登録されていないユーザについても前述した手の動作(特定の動作)を検知し、それをトリガとしてチャンネル(受信局)や音量を制御させる構成としてもよい。
また、本実施形態においては、CPU13が撮影画像から検出する視聴者における特定の動作が、第1の姿勢Aにある手の左右方向への移動、又は第2の姿勢Bにある手の上下方向への移動である場合について説明したが、撮影画像から検出する特定の動作は、予め決められている動作であれば他の動作に適宜変更することができる。
また、撮影画像から特定の動作を検出したことをトリガとしてCPU13が制御する内容がチャンネルや音量である場合について説明したが、制御内容についても適宜変更することができる。
また、本実施形態においては、本発明をデジタルテレビ受信機に適用した場合について説明したが、本発明は、デジタルテレビ受信機に限らず、放送番組の記録に使用されるビデオレコーダーや、ラジオ放送を受信するラジオ受信機等の他の電気機器にも適用することができる。
1 テレビ
2 本体
3 表示パネル
4 撮影レンズ
11 アンテナ
12 チューナ
13 CPU
14 映像デコーダ
15 音声デコーダ
16 表示装置
17 音声出力装置
18 内蔵カメラ
19 主記憶装置
20 補助記憶装置
21 操作キー部
22 信号処理回路
31 撮像素子
32 信号処理回路
2 本体
3 表示パネル
4 撮影レンズ
11 アンテナ
12 チューナ
13 CPU
14 映像デコーダ
15 音声デコーダ
16 表示装置
17 音声出力装置
18 内蔵カメラ
19 主記憶装置
20 補助記憶装置
21 操作キー部
22 信号処理回路
31 撮像素子
32 信号処理回路
Claims (8)
- 遠隔操作機能を備えた電気機器において、
使用者を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、
前記撮影手段により撮影された撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、
前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段と
を備えたことを特徴とする電気機器。 - 前記制御手段が実行する前記特定の動作に対応した内容の制御処理には、受信局の切り替え制御が含まれることを特徴とする請求項1記載の電気機器。
- 前記撮影手段により撮影された撮影画像を対象として、予め登録されている人物の顔を認識する顔認識手段を備え、
前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されており、かつ前記顔認識手段によって予め登録されている人物の顔が検出されていることを条件として、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する
ことを特徴とする請求項1又は2記載の電気機器。 - 前記判断手段は、前記顔認識手段により認識された予め登録されている人物の顔部分の画像から視線の方向を表す視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断する
ことを特徴とする請求項3記載の電気機器。 - 前記判断手段は、前記撮影手段により撮影された撮影画像に基づいて使用者が目を開けているか否かを判断し、使用者が目を開けていると判断できるとき、前記顔部分の画像から前記視線情報を取得し、取得した視線情報に基づいて使用者が機器本体を見ているか否かを判断する
ことを特徴とする請求項4記載の電気機器。 - 前記制御手段は、前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理であって、前記予め登録されている人物によって事前に設定されている内容の制御処理を実行する
ことを特徴とする請求項5記載の電気機器。 - 遠隔操作機能を備えた電気機器の制御方法であって、
使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する工程と、
前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する工程と、
使用者が機器本体を見ていると判断した条件下で、前記撮影画像に基づいて前記特定の動作を検出した場合に、前記特定の動作に対応した内容の制御処理を実行する工程と
を含むことを特徴とする制御方法。 - 遠隔操作機能を備えた電気機器が有するコンピュータを、
使用者を撮影した撮影画像に基づいて、使用者が機器本体を見ているか否かを判断する判断手段と、
前記撮影画像に基づいて、使用者における予め決められている特定の動作を検出する検出手段と、
前記判断手段により使用者が機器本体を見ていると判断されている条件下で、前記検出手段により使用者における前記特定の動作が検出されたことに応答し、前記特定の動作に対応した内容の制御処理を実行する制御手段と
して機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010102781A JP2011232964A (ja) | 2010-04-28 | 2010-04-28 | 電気機器、及びその制御方法とプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010102781A JP2011232964A (ja) | 2010-04-28 | 2010-04-28 | 電気機器、及びその制御方法とプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011232964A true JP2011232964A (ja) | 2011-11-17 |
Family
ID=45322219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010102781A Pending JP2011232964A (ja) | 2010-04-28 | 2010-04-28 | 電気機器、及びその制御方法とプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011232964A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103207671A (zh) * | 2012-01-11 | 2013-07-17 | 韦伯斯特生物官能(以色列)有限公司 | 利用深度传感器进行无接触操作的烧蚀工作站 |
CN103207670A (zh) * | 2012-01-11 | 2013-07-17 | 韦伯斯特生物官能(以色列)有限公司 | 利用深度传感器进行无接触操作的装置 |
JP2015146058A (ja) * | 2014-01-31 | 2015-08-13 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP2016507810A (ja) * | 2012-12-20 | 2016-03-10 | グーグル インコーポレイテッド | タッチレスジェスチャインターフェースにおける物体間の距離の使用 |
JP2023114587A (ja) * | 2022-02-07 | 2023-08-18 | 三菱電機Itソリューションズ株式会社 | 処理実行装置、処理実行方法及び処理実行プログラム |
-
2010
- 2010-04-28 JP JP2010102781A patent/JP2011232964A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111513843A (zh) * | 2012-01-11 | 2020-08-11 | 韦伯斯特生物官能(以色列)有限公司 | 利用深度传感器进行无接触操作的烧蚀工作站 |
US9625993B2 (en) | 2012-01-11 | 2017-04-18 | Biosense Webster (Israel) Ltd. | Touch free operation of devices by use of depth sensors |
JP2013143148A (ja) * | 2012-01-11 | 2013-07-22 | Biosense Webster (Israel) Ltd | 奥行きセンサーの使用による装置のタッチフリー操作 |
JP2013143149A (ja) * | 2012-01-11 | 2013-07-22 | Biosense Webster (Israel) Ltd | 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作 |
US9931154B2 (en) | 2012-01-11 | 2018-04-03 | Biosense Webster (Israel), Ltd. | Touch free operation of ablator workstation by use of depth sensors |
US11020165B2 (en) | 2012-01-11 | 2021-06-01 | Biosense Webster (Israel) Ltd. | Touch free operation of ablator workstation by use of depth sensors |
CN103207670A (zh) * | 2012-01-11 | 2013-07-17 | 韦伯斯特生物官能(以色列)有限公司 | 利用深度传感器进行无接触操作的装置 |
JP2017162476A (ja) * | 2012-01-11 | 2017-09-14 | バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. | 奥行きセンサーの使用による装置のタッチフリー操作 |
CN103207671A (zh) * | 2012-01-11 | 2013-07-17 | 韦伯斯特生物官能(以色列)有限公司 | 利用深度传感器进行无接触操作的烧蚀工作站 |
US10052147B2 (en) | 2012-01-11 | 2018-08-21 | Biosense Webster (Israel) Ltd. | Touch free operation of ablator workstation by use of depth sensors |
CN110502104A (zh) * | 2012-01-11 | 2019-11-26 | 韦伯斯特生物官能(以色列)有限公司 | 利用深度传感器进行无接触操作的装置 |
US10653472B2 (en) | 2012-01-11 | 2020-05-19 | Biosense Webster (Israel) Ltd. | Touch free operation of ablator workstation by use of depth sensors |
JP2016507810A (ja) * | 2012-12-20 | 2016-03-10 | グーグル インコーポレイテッド | タッチレスジェスチャインターフェースにおける物体間の距離の使用 |
JP2015146058A (ja) * | 2014-01-31 | 2015-08-13 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP2023114587A (ja) * | 2022-02-07 | 2023-08-18 | 三菱電機Itソリューションズ株式会社 | 処理実行装置、処理実行方法及び処理実行プログラム |
JP7336553B2 (ja) | 2022-02-07 | 2023-08-31 | 三菱電機Itソリューションズ株式会社 | 処理実行装置、処理実行方法及び処理実行プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4697279B2 (ja) | 画像表示装置および検出方法 | |
CN108600663B (zh) | 一种电子设备之间的通信方法以及电视接收机 | |
JP5641970B2 (ja) | 操作装置、再生装置及びテレビ受信装置 | |
US20130202158A1 (en) | Image processing device, image processing method, program and recording medium | |
JP2013046306A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
JPWO2007077614A1 (ja) | Tv電話機能の撮影画像処理切り替え装置 | |
KR20130037998A (ko) | 디스플레이 장치 및 그 디스플레이 방법 | |
JP2011232964A (ja) | 電気機器、及びその制御方法とプログラム | |
CN102520786A (zh) | 智能终端利用用户动作实现控制电子设备的方法及*** | |
CN110691187B (zh) | 电子装置、电子装置的控制方法和计算机可读介质 | |
US8022981B2 (en) | Apparatus and method for automatically controlling power of video appliance | |
US10185387B2 (en) | Communication apparatus, communication method, and computer readable recording medium | |
KR20180027132A (ko) | 디스플레이 장치 | |
US20070015579A1 (en) | Remote control device | |
JP2008277983A (ja) | テレビジョン受像機 | |
US11128764B2 (en) | Imaging apparatus, control method, and non-transitory computer readable medium | |
JP2008288737A (ja) | テレビジョン制御装置 | |
CN104469319A (zh) | 一种图像采集与图像显示分离的方法及装置 | |
KR20150008769A (ko) | 영상표시장치 및 그 동작방법 | |
JP2005168005A (ja) | 視覚識別機能を備えるリモコン制御装置 | |
EP3525453A1 (en) | Display device | |
JP2013138355A (ja) | 表示装置及びリモコンシステム | |
US20120170807A1 (en) | Apparatus and method for extracting direction information image in a portable terminal | |
JP5657223B2 (ja) | 撮像装置、画像再生システム及び画像再生方法 | |
JP3864420B2 (ja) | テレビジョン受像機 |