JP2015038664A - コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法 - Google Patents

コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法 Download PDF

Info

Publication number
JP2015038664A
JP2015038664A JP2011287005A JP2011287005A JP2015038664A JP 2015038664 A JP2015038664 A JP 2015038664A JP 2011287005 A JP2011287005 A JP 2011287005A JP 2011287005 A JP2011287005 A JP 2011287005A JP 2015038664 A JP2015038664 A JP 2015038664A
Authority
JP
Japan
Prior art keywords
content
gesture
hand
user
hand gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011287005A
Other languages
English (en)
Inventor
庸介 高橋
Yasusuke Takahashi
庸介 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011287005A priority Critical patent/JP2015038664A/ja
Priority to US13/609,020 priority patent/US20130162530A1/en
Publication of JP2015038664A publication Critical patent/JP2015038664A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

【課題】より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースを可能とすることができる技術を提供する。【解決手段】再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、前記操作を実行する操作実行部とを備えたコンテンツ再生装置。【選択図】 図１

Description

本発明の実施形態は、ジェスチャー操作可能なコンテンツ再生装置及びコンテンツ再生方法に関する。
表示される情報が時間経過に伴い変化するコンテンツを再生するソフトウェアや装置は数多く存在する。例として動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカーなどが挙げられる。これらには一時停止や関連リンクの表示といった、操作時にそのソフトウェアや装置が何を表示しているかによって、操作後の表示内容や新たに表示される情報が変化するインタフェースと、早送りや巻き戻し、シークバーといった、ユーザが所望の再生位置を探索する操作インタフェースを備えることが多い。また、タッチフリー機能を搭載する装置においては、これらの操作を直接装置に触れることなく、手の形や動作（以下、ジェスチャー）を認識させることで、そのジェスチャーに対応する操作を実行する。例としては、ユーザが装置に向かって手を開くと一時停止するといった動作が挙げられる。
従来のユーザインタフェースでは、ユーザが所望する操作の種類を装置が認識した瞬間に、その操作が実行される。また、一時停止や関連リンク表示のジェスチャーと、再生位置を探索するジェスチャーは異なっており、コンテンツ上の特定の再生位置に移動して何らかの操作を実行したい場合は、複数のジェスチャーをひとつずつ行う必要がある。（例えば、特許文献１参照。）。
これらのジェスチャーに対して、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースへの要望があるが、かかる要望を実現するための手段は知られていない。
特開２００９−７０４１６号公報
本発明の実施の形態は、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースを可能とすることができる技術を提供することを目的とする。
上記課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、前記操作を実行する操作実行部とを備える。
発明の効果は特には記載しない。
この発明の一実施形態を示すコンテンツ再生装置のブロック構成図。 同実施形態のコンテンツ再生装置内部のシーケンス図。 同実施形態のハンドジェスチャー検知前の状態を説明するために示す図。 同実施形態の一時停止ハンドジェスチャー検知時の状態を説明するために示す図。 同実施形態のシーク時の状態を説明するために示す図。 同実施形態のハンドジェスチャー終了時の状態を説明するために示す図。 同他の形態に用いられるハンドジェスチャー認識時にも操作を実行する場合のシーケンス図。
以下、本発明の一実施形態を説明する。
（第１の実施形態）
第１の実施形態を図１乃至図６を参照して説明する。
<背景（もととしている技術）>
以下に図面を用いて述べる本コンテンツ再生装置はディスプレイのような表示装置に接続されることにより、時間経過に伴い表示内容が変化するコンテンツを出力するための装置である。例としては動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカー等が挙げられる。本装置では実行するタイミングによって結果が異なる操作がひとつないし複数用意されている。例えば、一時停止や関連リンク表示といった操作がありうる。一時停止操作は、実行時に出力されていた表示内容で画面が停止する。関連リンク表示操作は、実行時の表示内容に関連したリンクをWebブラウザ等を用いて表示する。本装置ではこれらの操作をタッチフリーで実行する。タッチフリーとはユーザが直接装置に触れずに、ユーザの手の形や動きを認識して装置を制御する仕組みである。手の形や動きの認識には装置に接続されたカメラを用い、得られた画像を解析することで行う。
ここで本稿実施形態では、操作に対応する特定の手の形をすることをハンドジェスチャーと定義する。また、ハンドジェスチャーをしたまま手を動かす動作をムーブジェスチャーと定義する。また、これらを合わせてジェスチャーと定義する。
<装置の構成>
次に本コンテンツ再生装置の構成を説明する。図１は、実施形態を示すコンテンツ再生装置のブロック構成図である。
コンテンツ再生装置１（以下単に、装置）は、ジェスチャー認識部１１、再生位置制御部１２、コンテンツ再生部１３、操作実行部１４などを含んで構成されている。またカメラ２は、コンテンツ再生装置１（以下単に、装置）に接続され、装置前方のある領域の映像を撮影しており、取得要求に対して映像の最新のスクリーンショットを画像として提供できるように構成されている。
ジェスチャー認識部１１は、カメラから取得した画像を解析して、ハンドジェスチャーとそれが認識された座標を得る。ハンドジェスチャーの認識はいかなる方法であってもよい。例えば、あらかじめ標準的なハンドジェスチャーの画像を装置内に保存しておき、カメラから取得した画像に似た部分が存在するかを調べるパターンマッチング等の手法が用いられる。
再生位置制御部１２は、コンテンツ再生部１３を制御してシークを行う。またコンテンツ再生部１３は、コンテンツの再生や、ユーザが所望の再生位置を探索するための機能（早送り、巻き戻し、シーク等）を有する。
操作実行部１４は、ジェスチャー認識部から受け取った操作を実行する。操作の実行に必要な情報がある場合コンテンツ再生部１３や外部から情報を取得することができる。例えば関連リンクを表示するといった場合、コンテンツ再生部１３から現在表示している情報を取得し、関連するURLを算出して外部のWebサーバから該当するWebページを取得して表示するといった動作が実行される。
<シーケンス図による動作説明>
次に図 2のシーケンス図を用いて装置内部の動作について説明する。
（ハンドジェスチャー未検出時）
ジェスチャー認識部１１は、カメラ２から画像を短い時間間隔で定期的に取得してハンドジェスチャー判定を行う。ハンドジェスチャー判定では、装置に登録されたハンドジェスチャーが画像内に存在するかを判定する。ハンドジェスチャーが検出されるまで、画像の取得とハンドジェスチャー判定を繰り返す（ステップＳ２１）。
（ハンドジェスチャー検出時）
ハンドジェスチャーが検出されると、ジェスチャー認識部１１は、ハンドジェスチャーに対応している操作の種類を操作実行部１４に通知する（ステップＳ２２）。操作実行部１４はその操作の実行を予約しておく（ステップＳ２３）。続けてジェスチャー認識部１１は、ハンドジェスチャーが検出された座標を開始座標として再生位置制御部１２に通知する（ステップＳ２４）。検出された座標とは、例えばカメラから取得した画像に対し、画像の最も左上の点を原点とするx,y座標で表す方法が採られる。このときハンドジェスチャーが検出された座標を点として算出するが、この算出方法はいかなる方法であってもよく、例えば手と判定されている領域の最も上の点と最も下の点の中央をy座標、最も右の点と最も左の点の中央をx座標とする方法でもよい。さらにジェスチャー認識部１１はハンドジェスチャーの移動判定用に、このとき検出されたハンドジェスチャーを保存しておく（ステップＳ２５）。また、再生位置制御部１２は開始座標が通知されると、コンテンツ再生部１３にシーク開始通知を行うと共に（ステップＳ２６）、そのときの再生位置をコンテンツ再生部１３から取得し、シーク基準位置として保存する（ステップＳ２７）。シークが開始されるとコンテンツ再生部１３は開始前の再生状態（再生中・一時停止中・早送り中等）を保存しつつ（ステップＳ２８）、コンテンツを現在の再生位置の表示内容のまま静止させる。
（ハンドジェスチャー移動時）
再びジェスチャー認識部１１が画像をカメラから取得するとハンドジェスチャー判定を行うが、検出されたハンドジェスチャーが保存中のハンドジェスチャーと同じであった場合、検出された座標を移動座標として再生位置制御部１２に送る。再生位置制御部１２は最初に通知された開始座標と移動座標、及びシーク基準位置を用いてシークを行う（ステップＳ２９）。ここでのシークとは、指示された位置に再生位置を変更し、そこでのコンテンツの表示内容を表示させた状態で静止させる動作を意味する。再生位置制御部１２は開始座標と移動座標の差分から、対応する時間量を算出し、シーク基準位置からその時間量分変更した位置に再生位置を変更するようコンテンツ再生部１３に指示を出す。開始座標と移動座標から変更する時間量を算出する方法はいかなるものであってもよく、例えばx方向に1移動するごとに+0.01秒といった算出方法が採用できうる。また、開始座標と移動座標の差分に比例した時間量にする必要はなく、毎回移動座標を保存することで最新の移動座標とその直前の移動座標を比較してハンドジェスチャーが移動した速度を算出して計算に反映してもよい。例えばハンドジェスチャーを同じ距離だけ動かすとき、速く動かす方が、ゆっくり動かすより変更する時間量が大きいといった算出方法にしてもよい。
（ハンドジェスチャー終了時）
ハンドジェスチャー判定において、ハンドジェスチャーが検出されなくなった場合、あるいは保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合、装置は操作実行部１４に予約されている操作の実行を行う。まずジェスチャー認識部１１は再生位置制御部１２にシーク終了通知を送る（ステップＳ３１）。再生位置制御部１２はシーク終了通知をコンテンツ再生部１３に送ることで（ステップＳ３２）、コンテンツ再生部１３は保存していたシーク前の再生状態に戻る（ステップＳ３３）。続けてジェスチャー認識部１１は操作実行部１４に操作実行命令を送ることで（ステップＳ３４）、操作実行部１４は予約されていた操作を実行する（ステップＳ３５）。この実行において必要なデータがあれば、コンテンツ再生部１３からのメタデータ取得や外部データの取得を行う。その後操作が実行され、一時停止や関連リンク表示が行われる。ジェスチャー認識部１１に保存されていたハンドジェスチャーは削除される（ステップＳ３６）。保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合については、続けてハンドジェスチャー検出時の処理が実行される。
<ユーザインタフェースの例>
本装置のユーザインタフェースの例を図を用いて説明する。ここでは、車が画面左から右へ走行する動画コンテンツを視聴中、車が画面中央にあるときの再生位置で一時停止を行う場合を例に説明する。
図 3は、本装置において動画コンテンツの再生結果の出力をディスプレイに表示している状態を表している。カメラもディスプレイが向いているのと同じ方向に向けて設置されているとする。また、装置は再生状態であるとする。コンテンツとしては、ケーブルＴＶやＢｌｕ−ｒａｙ（登録商標）によるものその他いろいろと用いることができる。
図 4は図 3の後、ユーザが一時停止したかった再生位置を過ぎてから一時停止ハンドジェスチャーが認識された時点の状況を表している。図の下部にある手Ｈは、ユーザが一時停止のハンドジェスチャーを行っていることを示す。ユーザのハンドジェスチャーを本装置のカメラが撮影して、内部のジェスチャー認識部が一時停止のハンドジェスチャーを検出することでシークが開始される。シーク時は画面は静止状態になる。図の例のように、ハンドジェスチャーが正しく認識されているかどうかをユーザが確認できるよう、認識されているハンドジェスチャーに対応するアイコンを画面上に表示してもよい。
図 5は図 4で行ったハンドジェスチャーのままムーブジェスチャーを行った状況を表している。図の例ではハンドジェスチャーを保ったまま手を左に動かすことで（Ｈ`へ）、対応する量だけ再生位置を戻している。動かしている間はシーク状態であるため、再生位置はムーブジェスチャーに合わせて変化し、映像はその再生位置での静止状態になる。
図 6は図 5の操作を行い所望の再生位置にシークできた時点で、ユーザがハンドジェスチャーを終了した状況を表している。ハンドジェスチャーが検知されなくなると、ジェスチャー認識部は操作実行部に操作の実行を指示し、この例の場合は一時停止が実行される。
（第２の実施形態）
本発明による第２の実施形態を図７を参照して説明する。実施形態１と共通する部分は説明を省略する。
実施形態１で残る問題は、ハンドジェスチャー認識時には処理が実行されず、ハンドジェスチャー終了時に処理が実行される点である。再生位置の調整なしに操作を実行したい場合においては、従来の方式に比べ、ハンドジェスチャー終了の認識が必要な分、時間が余計にかかってしまう。しかし、例えば一時停止はハンドジェスチャー認識時に一度実行された後、再生位置を変更して再度一時停止しても問題ないと推察される。関連リンク表示であっても、ハンドジェスチャー認識時のリンク表示を一度終了し、改めて関連リンク表示を行えばよい。
そこでハンドジェスチャーを認識時にも操作を実行する場合について、シーケンス図を図 7に示す。先の実施例と異なる点は、ハンドジェスチャー検知時に（ステップＳ２１）、ジェスチャー認識部１１は操作実行部１４に操作即時実行命令を送ることで（ステップＳ７２）、これを受けて操作実行部１４が直ちに操作を実行していることである（ステップＳ７３）。この操作即時実行命令には操作の種類の情報も含まれている。このとき、画面は静止状態にはならない。その後、保存ハンドジェスチャーの検知状態に遷移し（ステップＳ７５）、ジェスチャー認識部１１は移動が検知されて初めて、操作の種類通知や開始座標通知を行ってシークを行う状態になる。後は先の実施例と同様の動作となる（Ａ、図２参照）。移動が検知されないまま保存ジェスチャーが検知されなくなった場合は、保存ジェスチャーを削除して最初の状態の戻る。
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークによって再生位置を調整してから所望の操作を実行する。このときの、ユーザがジェスチャーを開始してから終了するまでの動作を説明する。
最初に、従来技術において早送りや巻き戻しを用いる場合を想定する。早送りや巻き戻しにひとつのハンドジェスチャーが割り振られると想定すると、以下の４つの動作になる。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. 早送り・巻き戻しハンドジェスチャー
3. 所望操作のハンドジェスチャー
4. ジェスチャー終了
次にシークジェスチャーを用いる場合を想定する。シークは連続的に再生位置を変化させるようなジェスチャーが必要であるため、シークを開始するハンドジェスチャーと、手を横（あるいは縦、前後、円）に動かすムーブジェスチャーで行うことが一般的に想定される。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. シーク開始ハンドジェスチャー
3. シークムーブジェスチャー
4. 所望操作のハンドジェスチャー（一時停止や再生の場合、シークの機能によっては不要）
5. ジェスチャー終了
最後に本実施形態のユーザインタフェースで行った場合を説明する。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. 再生位置を調整するムーブジェスチャー
3. ジェスチャー終了
すなわち、所望の再生位置で所望の操作を実行できず再生位置を再度調整して実行する場合、本稿提案のユーザインタフェースを用いるのが、最もユーザの動作が少ない。一方で再生位置の調整が不要だった場合は、いずれの方式も、
1. 所望操作のハンドジェスチャー
2. ジェスチャー終了
となるため、調整不要時に実施形態のユーザインタフェースが余計な動作をユーザに要求することはない。これらにより、実施形態のユーザインタフェースはコンテンツ視聴時のユーザの労力を削減することができるため、ユーザはより快適にコンテンツを視聴することができるようになる。
以上説明した実施例のユーザインタフェースによれば、手の形のジェスチャーで操作の種類を、手を動かすジェスチャーで操作を実行する再生位置を決定し、ジェスチャーの終了によって実行する。
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークバー操作を用いて再生位置を調整してから所望の操作を実行する。このとき、再生位置を調整するジェスチャーと、所望の操作に対応するジェスチャーを一つずつ行う従来の方式と比較し、先行技術と比べた実施形態の効果として、ユーザインタフェースはジェスチャーの認識が遅れたのが確認できた時点で手を動かすだけで再生位置を調整でき、かつ所望の操作に対応するジェスチャーをやり直す必要はない。これによりユーザの労力の削減となり、ユーザは快適にコンテンツを楽しむことができる。
（実施形態の補足）
（１）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで操作を実行することができる装置。
（２）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示すことで所望の操作が実行され、そのまま手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで再度操作を実行することができる装置。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
１１ ジェスチャー認識部
１２ 再生位置制御部
１３ コンテンツ再生部
１４ 操作実行部
本発明の実施形態は、ジェスチャー操作可能なコンテンツ再生装置及びコンテンツ再生方法に関する。
表示される情報が時間経過に伴い変化するコンテンツを再生するソフトウェアや装置は数多く存在する。例として動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカーなどが挙げられる。これらには一時停止や関連リンクの表示といった、操作時にそのソフトウェアや装置が何を表示しているかによって、操作後の表示内容や新たに表示される情報が変化するインタフェースと、早送りや巻き戻し、シークバーといった、ユーザが所望の再生位置を探索する操作インタフェースを備えることが多い。また、タッチフリー機能を搭載する装置においては、これらの操作を直接装置に触れることなく、手の形や動作（以下、ジェスチャー）を認識させることで、そのジェスチャーに対応する操作を実行する。例としては、ユーザが装置に向かって手を開くと一時停止するといった動作が挙げられる。
従来のユーザインタフェースでは、ユーザが所望する操作の種類を装置が認識した瞬間に、その操作が実行される。また、一時停止や関連リンク表示のジェスチャーと、再生位置を探索するジェスチャーは異なっており、コンテンツ上の特定の再生位置に移動して何らかの操作を実行したい場合は、複数のジェスチャーをひとつずつ行う必要がある。（例えば、特許文献１参照。）。
これらのジェスチャーに対して、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースへの要望があるが、かかる要望を実現するための手段は知られていない。
特開２００９−７０４１６号公報
本発明の実施の形態は、より操作性を高めたジェスチャーをユーザが実行できるユーザインタフェースを可能とすることができる技術を提供することを目的とする。
上記課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、前記操作を実行する操作実行部とを備える。
この発明の一実施形態を示すコンテンツ再生装置のブロック構成図。 同実施形態のコンテンツ再生装置内部のシーケンス図。 同実施形態のハンドジェスチャー検知前の状態を説明するために示す図。 同実施形態の一時停止ハンドジェスチャー検知時の状態を説明するために示す図。 同実施形態のシーク時の状態を説明するために示す図。 同実施形態のハンドジェスチャー終了時の状態を説明するために示す図。 同他の形態に用いられるハンドジェスチャー認識時にも操作を実行する場合のシーケンス図。
以下、本発明の一実施形態を説明する。
（第１の実施形態）
第１の実施形態を図１乃至図６を参照して説明する。
<背景（もととしている技術）>
以下に図面を用いて述べる本コンテンツ再生装置はディスプレイのような表示装置に接続されることにより、時間経過に伴い表示内容が変化するコンテンツを出力するための装置である。例としては動画プレイヤー、写真スライドショー、デジタルサイネージ、RSSティッカー等が挙げられる。本装置では実行するタイミングによって結果が異なる操作がひとつないし複数用意されている。例えば、一時停止や関連リンク表示といった操作がありうる。一時停止操作は、実行時に出力されていた表示内容で画面が停止する。関連リンク表示操作は、実行時の表示内容に関連したリンクをWebブラウザ等を用いて表示する。本装置ではこれらの操作をタッチフリーで実行する。タッチフリーとはユーザが直接装置に触れずに、ユーザの手の形や動きを認識して装置を制御する仕組みである。手の形や動きの認識には装置に接続されたカメラを用い、得られた画像を解析することで行う。
ここで本稿実施形態では、操作に対応する特定の手の形をすることをハンドジェスチャーと定義する。また、ハンドジェスチャーをしたまま手を動かす動作をムーブジェスチャーと定義する。また、これらを合わせてジェスチャーと定義する。
<装置の構成>
次に本コンテンツ再生装置の構成を説明する。図１は、実施形態を示すコンテンツ再生装置のブロック構成図である。
コンテンツ再生装置１（以下単に、装置）は、ジェスチャー認識部１１、再生位置制御部１２、コンテンツ再生部１３、操作実行部１４などを含んで構成されている。またカメラ２は、コンテンツ再生装置１（以下単に、装置）に接続され、装置前方のある領域の映像を撮影しており、取得要求に対して映像の最新のスクリーンショットを画像として提供できるように構成されている。
ジェスチャー認識部１１は、カメラから取得した画像を解析して、ハンドジェスチャーとそれが認識された座標を得る。ハンドジェスチャーの認識はいかなる方法であってもよい。例えば、あらかじめ標準的なハンドジェスチャーの画像を装置内に保存しておき、カメラから取得した画像に似た部分が存在するかを調べるパターンマッチング等の手法が用いられる。
再生位置制御部１２は、コンテンツ再生部１３を制御してシークを行う。またコンテンツ再生部１３は、コンテンツの再生や、ユーザが所望の再生位置を探索するための機能（早送り、巻き戻し、シーク等）を有する。
操作実行部１４は、ジェスチャー認識部から受け取った操作を実行する。操作の実行に必要な情報がある場合コンテンツ再生部１３や外部から情報を取得することができる。例えば関連リンクを表示するといった場合、コンテンツ再生部１３から現在表示している情報を取得し、関連するURLを算出して外部のWebサーバから該当するWebページを取得して表示するといった動作が実行される。
<シーケンス図による動作説明>
次に図 2のシーケンス図を用いて装置内部の動作について説明する。
（ハンドジェスチャー未検出時）
ジェスチャー認識部１１は、カメラ２から画像を短い時間間隔で定期的に取得してハンドジェスチャー判定を行う。ハンドジェスチャー判定では、装置に登録されたハンドジェスチャーが画像内に存在するかを判定する。ハンドジェスチャーが検出されるまで、画像の取得とハンドジェスチャー判定を繰り返す（ステップＳ２１）。
（ハンドジェスチャー検出時）
ハンドジェスチャーが検出されると、ジェスチャー認識部１１は、ハンドジェスチャーに対応している操作の種類を操作実行部１４に通知する（ステップＳ２２）。操作実行部１４はその操作の実行を予約しておく（ステップＳ２３）。続けてジェスチャー認識部１１は、ハンドジェスチャーが検出された座標を開始座標として再生位置制御部１２に通知する（ステップＳ２４）。検出された座標とは、例えばカメラから取得した画像に対し、画像の最も左上の点を原点とするx,y座標で表す方法が採られる。このときハンドジェスチャーが検出された座標を点として算出するが、この算出方法はいかなる方法であってもよく、例えば手と判定されている領域の最も上の点と最も下の点の中央をy座標、最も右の点と最も左の点の中央をx座標とする方法でもよい。さらにジェスチャー認識部１１はハンドジェスチャーの移動判定用に、このとき検出されたハンドジェスチャーを保存しておく（ステップＳ２５）。また、再生位置制御部１２は開始座標が通知されると、コンテンツ再生部１３にシーク開始通知を行うと共に（ステップＳ２６）、そのときの再生位置をコンテンツ再生部１３から取得し、シーク基準位置として保存する（ステップＳ２７）。シークが開始されるとコンテンツ再生部１３は開始前の再生状態（再生中・一時停止中・早送り中等）を保存しつつ（ステップＳ２８）、コンテンツを現在の再生位置の表示内容のまま静止させる。
（ハンドジェスチャー移動時）
再びジェスチャー認識部１１が画像をカメラから取得するとハンドジェスチャー判定を行うが、検出されたハンドジェスチャーが保存中のハンドジェスチャーと同じであった場合、検出された座標を移動座標として再生位置制御部１２に送る。再生位置制御部１２は最初に通知された開始座標と移動座標、及びシーク基準位置を用いてシークを行う（ステップＳ２９）。ここでのシークとは、指示された位置に再生位置を変更し、そこでのコンテンツの表示内容を表示させた状態で静止させる動作を意味する。再生位置制御部１２は開始座標と移動座標の差分から、対応する時間量を算出し、シーク基準位置からその時間量分変更した位置に再生位置を変更するようコンテンツ再生部１３に指示を出す。開始座標と移動座標から変更する時間量を算出する方法はいかなるものであってもよく、例えばx方向に1移動するごとに+0.01秒といった算出方法が採用できうる。また、開始座標と移動座標の差分に比例した時間量にする必要はなく、毎回移動座標を保存することで最新の移動座標とその直前の移動座標を比較してハンドジェスチャーが移動した速度を算出して計算に反映してもよい。例えばハンドジェスチャーを同じ距離だけ動かすとき、速く動かす方が、ゆっくり動かすより変更する時間量が大きいといった算出方法にしてもよい。
（ハンドジェスチャー終了時）
ハンドジェスチャー判定において、ハンドジェスチャーが検出されなくなった場合、あるいは保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合、装置は操作実行部１４に予約されている操作の実行を行う。まずジェスチャー認識部１１は再生位置制御部１２にシーク終了通知を送る（ステップＳ３１）。再生位置制御部１２はシーク終了通知をコンテンツ再生部１３に送ることで（ステップＳ３２）、コンテンツ再生部１３は保存していたシーク前の再生状態に戻る（ステップＳ３３）。続けてジェスチャー認識部１１は操作実行部１４に操作実行命令を送ることで（ステップＳ３４）、操作実行部１４は予約されていた操作を実行する（ステップＳ３５）。この実行において必要なデータがあれば、コンテンツ再生部１３からのメタデータ取得や外部データの取得を行う。その後操作が実行され、一時停止や関連リンク表示が行われる。ジェスチャー認識部１１に保存されていたハンドジェスチャーは削除される（ステップＳ３６）。保存されているハンドジェスチャーと異なるハンドジェスチャーが検出された場合については、続けてハンドジェスチャー検出時の処理が実行される。
<ユーザインタフェースの例>
本装置のユーザインタフェースの例を図を用いて説明する。ここでは、車が画面左から右へ走行する動画コンテンツを視聴中、車が画面中央にあるときの再生位置で一時停止を行う場合を例に説明する。
図 3は、本装置において動画コンテンツの再生結果の出力をディスプレイに表示している状態を表している。カメラもディスプレイが向いているのと同じ方向に向けて設置されているとする。また、装置は再生状態であるとする。コンテンツとしては、ケーブルＴＶやＢｌｕ−ｒａｙ（登録商標）によるものその他いろいろと用いることができる。
図 4は図 3の後、ユーザが一時停止したかった再生位置を過ぎてから一時停止ハンドジェスチャーが認識された時点の状況を表している。図の下部にある手Ｈは、ユーザが一時停止のハンドジェスチャーを行っていることを示す。ユーザのハンドジェスチャーを本装置のカメラが撮影して、内部のジェスチャー認識部が一時停止のハンドジェスチャーを検出することでシークが開始される。シーク時は画面は静止状態になる。図の例のように、ハンドジェスチャーが正しく認識されているかどうかをユーザが確認できるよう、認識されているハンドジェスチャーに対応するアイコンを画面上に表示してもよい。
図 5は図 4で行ったハンドジェスチャーのままムーブジェスチャーを行った状況を表している。図の例ではハンドジェスチャーを保ったまま手を左に動かすことで（Ｈ`へ）、対応する量だけ再生位置を戻している。動かしている間はシーク状態であるため、再生位置はムーブジェスチャーに合わせて変化し、映像はその再生位置での静止状態になる。
図 6は図 5の操作を行い所望の再生位置にシークできた時点で、ユーザがハンドジェスチャーを終了した状況を表している。ハンドジェスチャーが検知されなくなると、ジェスチャー認識部は操作実行部に操作の実行を指示し、この例の場合は一時停止が実行される。
（第２の実施形態）
本発明による第２の実施形態を図７を参照して説明する。実施形態１と共通する部分は説明を省略する。
実施形態１で残る問題は、ハンドジェスチャー認識時には処理が実行されず、ハンドジェスチャー終了時に処理が実行される点である。再生位置の調整なしに操作を実行したい場合においては、従来の方式に比べ、ハンドジェスチャー終了の認識が必要な分、時間が余計にかかってしまう。しかし、例えば一時停止はハンドジェスチャー認識時に一度実行された後、再生位置を変更して再度一時停止しても問題ないと推察される。関連リンク表示であっても、ハンドジェスチャー認識時のリンク表示を一度終了し、改めて関連リンク表示を行えばよい。
そこでハンドジェスチャーを認識時にも操作を実行する場合について、シーケンス図を図 7に示す。先の実施例と異なる点は、ハンドジェスチャー検知時に（ステップＳ２１）、ジェスチャー認識部１１は操作実行部１４に操作即時実行命令を送ることで（ステップＳ７２）、これを受けて操作実行部１４が直ちに操作を実行していることである（ステップＳ７３）。この操作即時実行命令には操作の種類の情報も含まれている。このとき、画面は静止状態にはならない。その後、保存ハンドジェスチャーの検知状態に遷移し（ステップＳ７５）、ジェスチャー認識部１１は移動が検知されて初めて、操作の種類通知や開始座標通知を行ってシークを行う状態になる。後は先の実施例と同様の動作となる（Ａ、図２参照）。移動が検知されないまま保存ジェスチャーが検知されなくなった場合は、保存ジェスチャーを削除して最初の状態の戻る。
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークによって再生位置を調整してから所望の操作を実行する。このときの、ユーザがジェスチャーを開始してから終了するまでの動作を説明する。
最初に、従来技術において早送りや巻き戻しを用いる場合を想定する。早送りや巻き戻しにひとつのハンドジェスチャーが割り振られると想定すると、以下の４つの動作になる。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. 早送り・巻き戻しハンドジェスチャー
3. 所望操作のハンドジェスチャー
4. ジェスチャー終了
次にシークジェスチャーを用いる場合を想定する。シークは連続的に再生位置を変化させるようなジェスチャーが必要であるため、シークを開始するハンドジェスチャーと、手を横（あるいは縦、前後、円）に動かすムーブジェスチャーで行うことが一般的に想定される。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. シーク開始ハンドジェスチャー
3. シークムーブジェスチャー
4. 所望操作のハンドジェスチャー（一時停止や再生の場合、シークの機能によっては不要）
5. ジェスチャー終了
最後に本実施形態のユーザインタフェースで行った場合を説明する。
1. 所望操作のハンドジェスチャー（遅れて認識される）
2. 再生位置を調整するムーブジェスチャー
3. ジェスチャー終了
すなわち、所望の再生位置で所望の操作を実行できず再生位置を再度調整して実行する場合、本稿提案のユーザインタフェースを用いるのが、最もユーザの動作が少ない。一方で再生位置の調整が不要だった場合は、いずれの方式も、
1. 所望操作のハンドジェスチャー
2. ジェスチャー終了
となるため、調整不要時に実施形態のユーザインタフェースが余計な動作をユーザに要求することはない。これらにより、実施形態のユーザインタフェースはコンテンツ視聴時のユーザの労力を削減することができるため、ユーザはより快適にコンテンツを視聴することができるようになる。
以上説明した実施例のユーザインタフェースによれば、手の形のジェスチャーで操作の種類を、手を動かすジェスチャーで操作を実行する再生位置を決定し、ジェスチャーの終了によって実行する。
ユーザがコンテンツのある位置にて一時停止や関連リンク表示の操作を行いたいと思ったときに、ユーザの操作の遅れや装置の認識処理の遅れにより、所望の位置で操作を実行できないことがある。このときユーザは一度早送りや巻き戻し、シークバー操作を用いて再生位置を調整してから所望の操作を実行する。このとき、再生位置を調整するジェスチャーと、所望の操作に対応するジェスチャーを一つずつ行う従来の方式と比較し、先行技術と比べた実施形態の効果として、ユーザインタフェースはジェスチャーの認識が遅れたのが確認できた時点で手を動かすだけで再生位置を調整でき、かつ所望の操作に対応するジェスチャーをやり直す必要はない。これによりユーザの労力の削減となり、ユーザは快適にコンテンツを楽しむことができる。
（実施形態の補足）
（１）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで操作を実行することができる装置。
（２）．再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示でき、現在表示中の内容によって実行結果が変化する操作を実行可能であって、ユーザが特定の操作に対応する手の形を示すことで所望の操作が実行され、そのまま手を動かす動作を行うことで操作を実行する再生位置を調整でき、動作を終了することで再度操作を実行することができる装置。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
１１ ジェスチャー認識部
１２ 再生位置制御部
１３ コンテンツ再生部
１４ 操作実行部
上記の課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、操作に対応するジェスチャー情報を認識するジェスチャー認識部と、第１のジェスチャーと前記第１のジェスチャーの動作を含む第２のジェスチャーとに基づいて、前記コンテンツの再生位置を調整する再生位置制御部と、を備える。
本発明の実施形態は、ジェスチャー操作可能なコンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法に関する。
上記の課題を解決するために、実施形態によればコンテンツ再生装置は、再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、ジェスチャーを検出するジェスチャー認識部と、検出された第１のジェスチャーと、前記第１のジェスチャーが検出された後、その検出された位置からの前記第１のジェスチャーの移動量とに応じて第１処理を実行する実行部と、を備える。

Claims (5)

  1. 再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力するコンテンツ再生部と、
    現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識するジェスチャー認識部と、
    ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する再生位置制御部と、
    前記操作を実行する操作実行部とを
    備えたコンテンツ再生装置。
  2. 前記操作実行部は、前記動作を終了することにより前記操作を実行する請求項１に記載のコンテンツ再生装置。
  3. 前記操作実行部は、前記動作を開始することにより前記操作を実行し、前記動作を終了した後は前記操作の次の操作を前記動作の次の動作に基づいて実行可能な状態にする請求項１に記載のコンテンツ再生装置。
  4. 前記特定の操作は、シーク操作である請求項１に記載のコンテンツ再生装置。
  5. 再生を開始すると時間経過に伴い表示内容が変化するコンテンツを表示する信号を出力する出力工程と、
    現在表示中の前記コンテンツの内容によって実行結果が変化するユーザ操作を認識する認識工程と、
    ユーザが特定の操作に対応する手の形を示しながらその手を動かす動作を行うことによりこの操作を実行する再生位置を調整する位置制御工程と、
    前記操作を実行する操作実行工程とを含んだコンテンツ再生方法。
JP2011287005A 2011-12-27 2011-12-27 コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法 Pending JP2015038664A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011287005A JP2015038664A (ja) 2011-12-27 2011-12-27 コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法
US13/609,020 US20130162530A1 (en) 2011-12-27 2012-09-10 Content reproducing device and content reproducing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011287005A JP2015038664A (ja) 2011-12-27 2011-12-27 コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法

Publications (1)

Publication Number Publication Date
JP2015038664A true JP2015038664A (ja) 2015-02-26

Family

ID=48654010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011287005A Pending JP2015038664A (ja) 2011-12-27 2011-12-27 コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法

Country Status (2)

Country Link
US (1) US20130162530A1 (ja)
JP (1) JP2015038664A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6073664B2 (ja) * 2012-12-07 2017-02-01 株式会社東芝 コンテンツ再生装置及びコンテンツ再生プログラム
KR101556520B1 (ko) * 2013-12-11 2015-10-02 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
KR20170011870A (ko) * 2015-07-24 2017-02-02 삼성전자주식회사 콘텐트를 제공하는 전자 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079332A (ja) * 2008-09-24 2010-04-08 Mitsubishi Electric Corp 遠隔操作装置及び遠隔操作方法
JP2010086367A (ja) * 2008-10-01 2010-04-15 Sony Corp 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
JPWO2010071187A1 (ja) * 2008-12-18 2012-05-31 日本電気株式会社 スライドバー表示制御装置及びスライドバー表示制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079332A (ja) * 2008-09-24 2010-04-08 Mitsubishi Electric Corp 遠隔操作装置及び遠隔操作方法
JP2010086367A (ja) * 2008-10-01 2010-04-15 Sony Corp 位置情報入力装置、位置情報入力方法、プログラム、情報処理システム、及び電子装置
JPWO2010071187A1 (ja) * 2008-12-18 2012-05-31 日本電気株式会社 スライドバー表示制御装置及びスライドバー表示制御方法

Also Published As

Publication number Publication date
US20130162530A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
US11816303B2 (en) Device, method, and graphical user interface for navigating media content
US11190856B2 (en) Synchronizing content and metadata
CN110115043B (zh) 具有用于视频预览的扩展单元格的电子节目指南
WO2020007009A1 (zh) 确定视频背景音乐的方法、装置、终端设备及存储介质
WO2020015333A1 (zh) 视频拍摄方法、装置、终端设备及存储介质
WO2016029878A1 (zh) 一种视频处理的方法和***
US10802663B2 (en) Information processing apparatus, information processing method, and information processing system
US20130038546A1 (en) Electronic device, adjustment amount control method and recording medium
US20130346865A1 (en) Dynamic wallpaper of mobile systems
US9438842B2 (en) Reproduction control apparatus, reproduction control method, and storage medium
KR20150130379A (ko) 센서 융합을 통한 상호작용 입력들의 확장
WO2015062439A1 (zh) 一种基于智能电视界面的指示模式切换方法和装置
US20160103574A1 (en) Selecting frame from video on user interface
CN113794923B (zh) 视频处理方法、装置、电子设备及可读存储介质
JP2012217101A (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP2015038664A (ja) コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法
US9529506B2 (en) Information processing apparatus which extract feature amounts from content and display a camera motion GUI
JP2016220186A (ja) 表示装置、表示方法及びプログラム
JP6357548B2 (ja) 動画像処理装置
JP2017215840A (ja) 電子機器及びその制御方法
EP3195090A1 (en) Information processing device, information processing method, and program
US20140152545A1 (en) Display device and notification method
JP2020102266A (ja) 電子機器及びその制御方法
JP2015035663A (ja) 動画編集装置、動画編集方法およびプログラム
US9817633B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130416