JP5114871B2 - 映像提供装置 - Google Patents
映像提供装置 Download PDFInfo
- Publication number
- JP5114871B2 JP5114871B2 JP2006151446A JP2006151446A JP5114871B2 JP 5114871 B2 JP5114871 B2 JP 5114871B2 JP 2006151446 A JP2006151446 A JP 2006151446A JP 2006151446 A JP2006151446 A JP 2006151446A JP 5114871 B2 JP5114871 B2 JP 5114871B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- user
- unit
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
まず、図1〜4に基づいて、本発明の第1の実施形態にかかる映像提供装置について説明する。ここで、図1は、本実施形態にかかる映像提供装置100の構成を示すブロック図である。図2は、手の位置情報を説明するための説明図である。図3は、検索情報データベース160に記憶される情報の例を示す説明図である。図4は、手の形を説明するための説明図である。
映像提供装置100の初期設定は、映像取得部110から出力される映像の質を最適化するために行う処理であり、かかる処理により、検索の精度を向上させることができる。映像提供装置100の初期設定では、図6に示すように、まず、画像認識部130により、初期設定用テンプレート画像(以下、「テンプレート画像」とする。)について、特徴データを抽出して保持する(S101)テンプレート画像とは、ユーザ10に指示する姿勢と同一の姿勢を最適な撮影条件下において撮像した静止画像である。すなわち、ステップS101では、テンプレート画像の、例えば手の位置および手の形を認識する。
次に、図7に基づいて、本実施形態にかかる映像提供装置100における動作映像の検索処理について説明する。まず、ユーザの動作を映像取得部110により映像として取得する(S115)。映像取得部110により取得された映像は、画像処理部120に送信される。
次に、図8および図9に基づいて、本発明の第2の実施形態にかかる映像提供装置について説明する。なお、図8は、本実施形態にかかる映像提供装置200の構成を示すブロック図である。図9は、本実施形態にかかる映像検索処理を示すフローチャートである。
まず、図9に示すように、ユーザの動作をユーザ情報取得部210により取得する(S201)。ユーザ10は、例えばデータグローブ等のユーザ情報取得部210を装着して動作することにより、特徴データとして、例えばユーザ10の手の位置および手の形に関する情報が一定時間ごとに取得される。ユーザ情報取得部210により取得された特徴データは、情報検索部220に送信される。なお、ユーザ情報取得部210の初期設定処理は、必要に応じて行えばよい。
次に、図10〜図13に基づいて、第3の実施形態にかかる映像提供装置300について説明する。ここで、図10は、本実施形態にかかる映像提供装置300の構成を示すブロック図である。図11は、平均化画像の生成方法を示すフローチャートである。図12は、平均化画像の生成方法を説明するための説明図である。図13は、本実施形態にかかる映像提供装置300による動作映像の検索処理を示すフローチャートである。
本実施形態において、平均化画像とは、映像を構成する静止画像の各時間における各座標値の平均により作成される静止画像をいう。平均化画像作成処理では、まず、映像加工部320は、映像取得部310により取得された映像から複数の静止画像を取得する(S3091)。例えば、図12に示すような、1つの動作を撮影した映像350があるとする。映像加工部320は、映像350から各時間における静止画像を取り出し、取り出した各静止画像の背景を除去する処理を行う。背景除去がなされた各静止画像は、図12において、350Im(_1〜_N、Nは正の整数)で表される。
次に、図13に基づいて、本実施形態にかかる映像提供装置300における動作映像の検索処理について説明する。なお、本実施形態における検索処理の前に、第1の実施形態にて説明した初期設定処理を行ってもよい。
次に、図14および図15に基づいて、第4の実施形態にかかる映像提供装置400について説明する。ここで、図14は、本実施形態にかかる映像提供装置400の構成を示すブロック図である。図15は、本実施形態にかかる映像提供装置400による動作映像の検索処理を示すフローチャートである。
まず、映像提供装置400は、ユーザ10に対して、動作開始の指示を行う(S401)。映像提供装置400は、動作開始の指示を行った後、映像取得部410によるユーザ10の撮影を開始する(S403)。
次に、図16および図17に基づいて、第5の実施形態にかかる映像提供装置500について説明する。ここで、図16は、本実施形態にかかる映像提供装置500の構成を示すブロック図である。図17は、本実施形態にかかる映像提供装置500による画面操作処理を示すフローチャートである。
まず、画像処理部530は、映像取得部510により取得された映像に対して前処理を行い、画像を作成する(S501)。そして、画像処理部530は、取得された中間時点における画像に対して、認識精度を高める目的で平滑化フィルタを利用したノイズ除去処理等の前処理を行い、画像認識部540に送信する。
110、310、410、510 映像取得部
120、430、530 画像処理部
130、440、540 画像認識部
140、220 情報検索部
150、230、340、460、560 映像表示部
153 動作時間指示部
160、240 検索情報データベース
170、250、360、480、590 映像データベース
210 ユーザ情報取得部
320、420、520 映像加工部
330、450、550 画像検索部
350、470、580 平均化画像データベース
360Im 平均値画像
570 制御部
Claims (15)
- 特定の概念を表す身体の動作に対応した動作映像を提供する映像提供装置であって:
複数の動作映像および前記各動作映像を特徴付ける特徴データを記憶する映像記憶部と;
検索対象とするユーザの身体の動作の範囲を、ユーザが動作を行う時間により指定すると共に、取得される動作の開始部分および終了部分を時間経過として表示する動作時間指示部と;
ユーザの身体の動作から特徴データを取得するユーザ特徴データ取得部と;
前記ユーザ特徴データ取得部により取得された特徴データと前記映像記憶部に記憶された特徴データとを比較して、前記映像記憶部から前記ユーザの身体の動作に類似する動作映像を検索する映像検索部と;
を備えることを特徴とする、映像提供装置。 - 前記ユーザ特徴データ取得部は、1つの動作映像から所定の時間ごとに複数の静止画像を取得し、
前記取得した複数の静止画像から、該静止画像における身体の特定部位の位置を特徴データとしてそれぞれ抽出することを特徴とする、請求項1に記載の映像提供装置。 - 前記ユーザ特徴データ取得部は、前記取得した複数の静止画像から、身体の特定部位の形状を特徴データとしてそれぞれ抽出することを特徴とする、請求項1または2に記載の映像提供装置。
- 前記ユーザ特徴データ取得部は、
ユーザの身体の動作を映像として取得する映像取得部と、
前記取得した映像から前記ユーザの身体の動作を特徴付ける特徴データを抽出する特徴データ抽出部と、
を備えることを特徴とする、請求項1〜3のいずれか1項に記載の映像提供装置。 - 前記ユーザ特徴データ取得部は、ユーザが装着することにより、該ユーザの身体の動作を特徴付ける特徴データを取得することの可能なデータグローブであることを特徴とする、請求項1〜3のいずれか1項に記載の映像提供装置。
- 前記映像検索部は、前記ユーザ特徴データ取得部により取得された特徴データと前記映像記憶部に記憶された特徴データとの類否判断を、DPマッチングを用いて行うことを特徴とする、請求項1〜5のいずれか1項に記載の映像提供装置。
- 前記ユーザ特徴データ取得部は、特徴データとして、1つの動作映像から1つの静止画像を作成して取得することを特徴とする、請求項1に記載の映像提供装置。
- 前記ユーザ特徴データ取得部は、
ユーザの身体の動作を映像として取得する映像取得部と、
前記映像取得部により取得された映像から前記静止画像を作成する映像加工部と、
を備え、
前記映像検索部は、前記映像加工部により作成された静止画像と前記映像記憶部に記憶された静止画像とを比較して、前記映像記憶部から前記ユーザの身体の動作に類似する動作映像を取得することを特徴とする、請求項7に記載の映像提供装置。 - 前記映像加工部は、前記映像取得部により取得された1つの映像から複数の静止画像を抽出し、
抽出された該複数の静止画像の各画素について、画素値を平均化して平均画素値を算出し、
前記算出された各画素の平均画素値から、1つの平均化画像を作成することを特徴とする、請求項8に記載の映像提供装置。 - 前記映像取得部により取得された映像から、ユーザの身体の特定部位が位置する領域を認識する画像認識部をさらに備え、
前記映像記憶部は、動作映像における人物の身体の特定部位が位置する領域にしたがって、前記動作映像を分類して記憶し、
前記画像認識部は、認識した領域に基づいて、前記映像記憶部に記憶された動作映像のうち、特定の分類に属する動作映像のみを検索対象として決定することを特徴とする、請求項7〜9のいずれか1項に記載の映像提供装置。 - 前記映像検索部は、前記ユーザ特徴データ取得部により取得された特徴データと前記映像記憶部に記憶された特徴データとの類否判断を、パターンマッチング処理により行うことを特徴とする、請求項7〜10のいずれか1項に記載の映像提供装置。
- 前記ユーザ特徴データ取得部により取得されたユーザの身体の動作、または前記映像取得部により取得された動作映像のうち、少なくとも1つを表示することの可能な映像表示部をさらに備えることを特徴とする、請求項1〜11のいずれか1項に記載の映像提供装置。
- 前記ユーザ特徴データ取得部により取得された特徴データに応じて、前記映像表示部の映像の表示を制御する制御部をさらに備えることを特徴とする、請求項12に記載の映像提供装置。
- 前記動作映像は、特定の意味を表現する手話であることを特徴とする、請求項1〜13のいずれか1項に記載の映像提供装置。
- 前記映像表示部は、1または2以上の手話単語を表す映像を表示することを特徴とする、請求項14に記載の映像提供装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006151446A JP5114871B2 (ja) | 2006-05-31 | 2006-05-31 | 映像提供装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006151446A JP5114871B2 (ja) | 2006-05-31 | 2006-05-31 | 映像提供装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007323268A JP2007323268A (ja) | 2007-12-13 |
JP5114871B2 true JP5114871B2 (ja) | 2013-01-09 |
Family
ID=38856036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006151446A Expired - Fee Related JP5114871B2 (ja) | 2006-05-31 | 2006-05-31 | 映像提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5114871B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5153434B2 (ja) * | 2008-04-22 | 2013-02-27 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
KR101804848B1 (ko) | 2011-04-22 | 2017-12-06 | 삼성전자주식회사 | 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법 |
US10360814B2 (en) | 2013-12-26 | 2019-07-23 | Japan Science And Technology Agency | Motion learning support apparatus |
JP6311383B2 (ja) * | 2014-03-20 | 2018-04-18 | フリュー株式会社 | 写真撮影編集装置、その制御方法、制御プログラムおよび該制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP6710095B2 (ja) * | 2016-02-15 | 2020-06-17 | 日本電信電話株式会社 | 技術支援装置、方法、プログラムおよびシステム |
CN106205237A (zh) * | 2016-08-31 | 2016-12-07 | 律世刚 | 基于动作反应和绘画反应的第二母语的训练方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0741086B2 (ja) * | 1986-08-01 | 1995-05-10 | 日本フア−ネス工業株式会社 | 運動動作解析装置 |
JPH0520366A (ja) * | 1991-05-08 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 動画像照合方法 |
JPH06333022A (ja) * | 1993-05-27 | 1994-12-02 | Hitachi Ltd | 連続手話認識装置および入力装置 |
JPH0659805A (ja) * | 1992-08-10 | 1994-03-04 | Sharp Corp | 手の仕草に従って制御信号を発生する装置 |
JPH0836586A (ja) * | 1994-07-22 | 1996-02-06 | Fujitsu Ltd | 手話検索システム |
JP3432348B2 (ja) * | 1996-01-30 | 2003-08-04 | 三菱電機株式会社 | 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置 |
JP3591309B2 (ja) * | 1998-06-17 | 2004-11-17 | 株式会社日立製作所 | 手話教育装置、及び手話教育用プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000048044A (ja) * | 1998-07-30 | 2000-02-18 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディア情報提供方法及びシステム及びマルチメディア情報提供プログラムを格納した記憶媒体 |
JP3823604B2 (ja) * | 1999-05-18 | 2006-09-20 | 株式会社日立製作所 | 手話教育装置、手話教育方法、及び、手話教育方法が記録された記録媒体 |
WO2001059741A1 (en) * | 2000-02-10 | 2001-08-16 | Koninklijke Philips Electronics N.V. | Sign language to speech converting method and apparatus |
JP2002259046A (ja) * | 2001-02-28 | 2002-09-13 | Tomoya Sonoda | 空中で手描きした文字・記号入力システム |
JP3732757B2 (ja) * | 2001-06-08 | 2006-01-11 | 株式会社東芝 | 画像認識方法および画像認識装置 |
JP2003067108A (ja) * | 2001-08-23 | 2003-03-07 | Hitachi Ltd | 情報表示装置とその操作認識方法 |
-
2006
- 2006-05-31 JP JP2006151446A patent/JP5114871B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007323268A (ja) | 2007-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6066093B2 (ja) | 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム | |
JP5114871B2 (ja) | 映像提供装置 | |
JP5227911B2 (ja) | 監視映像検索装置及び監視システム | |
JP4267648B2 (ja) | インターフェース装置及びその方法 | |
JP5403699B2 (ja) | 手指形状推定装置、手指形状の推定方法及びプログラム | |
US10186057B2 (en) | Data input device, data input method, and non-transitory computer readable recording medium storing data input program | |
JP5613741B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP6095478B2 (ja) | 入力操作装置 | |
CN105160323B (zh) | 一种手势识别方法 | |
TWI716527B (zh) | 資訊處理系統、資訊處理裝置、控制方法以及程式 | |
JP2014165660A (ja) | バーチャルキーボードの入力方法、プログラム、記憶媒体、及びバーチャルキーボードシステム | |
JP2006320650A (ja) | 画像表示装置 | |
JP2019028509A (ja) | 検出装置、検出システム、画像処理装置、検出方法、画像処理プログラム、画像表示方法、及び画像表示システム | |
JP2017117341A (ja) | 物体検出方法、装置、及びプログラム | |
CN114445853A (zh) | 一种视觉手势识别***识别方法 | |
JP6258084B2 (ja) | 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム | |
AU2018430831B2 (en) | Determining method, determining program, and information processing apparatus | |
CN102778951B (zh) | 使用虚拟按键的输入设备及输入方法 | |
JP2003256850A (ja) | 動き認識装置および画像処理装置並びにプログラム | |
JP5876121B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP6230666B2 (ja) | データ入力装置、データ入力方法、及びデータ入力プログラム | |
CN112199015A (zh) | 智能交互一体机及其书写方法、装置 | |
KR101447958B1 (ko) | 신체 부분 검출 방법 및 장치 | |
KR20210003515A (ko) | 인터렉티브모드를지원하는증강현실구현장치 | |
JP4972013B2 (ja) | 情報提示装置、情報提示方法、情報提示プログラムおよびそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121001 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5114871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |