JP2011130204A - 映像情報処理方法及びその装置 - Google Patents
映像情報処理方法及びその装置 Download PDFInfo
- Publication number
- JP2011130204A JP2011130204A JP2009286894A JP2009286894A JP2011130204A JP 2011130204 A JP2011130204 A JP 2011130204A JP 2009286894 A JP2009286894 A JP 2009286894A JP 2009286894 A JP2009286894 A JP 2009286894A JP 2011130204 A JP2011130204 A JP 2011130204A
- Authority
- JP
- Japan
- Prior art keywords
- video
- photographed
- captured
- videos
- video information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 異なる日時で同じ行動を行ったときの動作の違いを確認するための情報を表示する。
【解決手段】 現実空間を異なる日時で撮影した複数の撮影映像ごとに、現実空間の人物の行動を認識する。複数の撮影映像の各々の中の動作量を解析する。動作量に基づいて、人物の行動が同じ複数の撮影映像の中から複数の比較映像を抽出する。比較映像の各々を3次元仮想空間上に再現し、複数の比較映像の各々の人物の行動と、別の比較映像の人物の行動との違いを表示する映像情報を生成する。生成した映像情報を表示する。
【選択図】図1
【解決手段】 現実空間を異なる日時で撮影した複数の撮影映像ごとに、現実空間の人物の行動を認識する。複数の撮影映像の各々の中の動作量を解析する。動作量に基づいて、人物の行動が同じ複数の撮影映像の中から複数の比較映像を抽出する。比較映像の各々を3次元仮想空間上に再現し、複数の比較映像の各々の人物の行動と、別の比較映像の人物の行動との違いを表示する映像情報を生成する。生成した映像情報を表示する。
【選択図】図1
Description
本発明は、人物の行動を含む複数の撮影映像の違いを可視化する方法及び装置に関する。
病気、けがにより身体的に障害を負った人のリハビリテーション(以下、リハビリ)において、撮影映像が活用されている。具体的には、定期的に同一のリハビリや日常の行動を撮影し、異なる日時の撮影映像を並列・連続して表示することで、行動時の姿勢や速度の違いを明示的に可視化している。このように、行動の違いの可視化は、リハビリの効果を、当事者自身が確認するのに有用である。
行動の違いを可視化するには、同じ条件での同じ行動を異なる日時で実施した撮影映像が必要である。そのため、同じ条件での同じ行動を異なる日時で実施できる環境を利用して映像を撮影する場合がある。しかし、リハビリを必要とする身体的に障害を持った人が、ひとりで自身の行動を撮影することは難しい。そこで、専門の療法士と予定を合わせて前述の撮影映像を撮影することが一般的であるが、自宅などでリハビリを続ける場合に、前述の撮影映像を用意することが難しい。
特許文献1には、記録した撮影映像を解析して分類し、その分類ごとに撮影映像を記録することで、特定の場面の撮影映像のみを対象にした高速な検索を実現する技術が開示されている。同じ条件での同じ行動ごとに、撮影映像を分類することができる。しかし、撮影映像が分類されても、療法士など専門家でなければ、分類された撮影映像の中でどの撮影映像が、患者の状況を理解するために必要な撮影映像か分からない。分類された撮影映像のうち、比較すべき具体的な撮影映像を選択することができないという課題があった。
本発明では、同じ行動における動作の違いを確認するために必要な映像を表示することを目的とする。
上記目的は、以下の方法によって達成できる。
認識手段が、現実空間を撮影した複数の撮影映像ごとに、該現実空間の事象を認識する認識工程と、
分類手段が、前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記撮影映像から前記事象が同一である複数の撮影映像を検索する検索工程と、
解析手段が、前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
選択手段が、前記検索された撮影映像の各々の前記解析された動作の特徴の違いに基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。
分類手段が、前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記撮影映像から前記事象が同一である複数の撮影映像を検索する検索工程と、
解析手段が、前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
選択手段が、前記検索された撮影映像の各々の前記解析された動作の特徴の違いに基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。
上記目的は、以下の方法によっても達成できる。
解析手段が、現実空間を撮影した複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
分類手段が、前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索工程と、
認識手段が、前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識工程と、
選択手段が、前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。
分類手段が、前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索工程と、
認識手段が、前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識工程と、
選択手段が、前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。
本発明によれば、同じ行動における動作の違いを確認するために必要な映像を表示することができる。
以下、添付図面を参照して本発明をその好適な実施形態に従って詳細に説明する。
〔第一の実施形態〕
(概要)以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
(概要)以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
(構成100) 図1は、本実施形態に係る映像情報処理装置100の概略を示す図である。図1に示すように、映像情報処理装置100は、取得手段101、認識手段102、解析手段103、抽出手段104、生成手段105、表示手段106からなる。抽出手段104は、分類手段104−1、検索手段104−2、選択手段104−3からなる。
取得手段101は、撮影した撮影映像を取得する。例えば、一般家庭内に設置されてその空間を継続的に撮影するカメラがある。また、撮影に関する情報を、映像タグ情報として取得する。例えば、カメラのパラメータや、撮影取得日時がある。例えば、マイク、人感センサ・床面に設置した圧力センサのようなカメラ以外のセンサでもよい。取得した撮影映像および映像タグ情報は、認識手段102へ出力する。
認識手段102は、取得手段101から出力された撮影映像と映像タグ情報を入力し、撮影映像内に映る人物および物体に関する事象を認識する。例えば、認識する具体的な処理として、人物認識処理、顔認識処理、表情認識処理、人物や物体の位置姿勢認識処理、人物行動認識処理、一般物体認識処理がある。認識した事象は、入力された撮影映像、映像タグ情報とともに、分類手段104−1に送られる。
分類手段104−1は、認識した事象と映像タグ情報の組み合わせに基づいて、撮影映像を事前に用意された複数のカテゴリに分類する。例えば、認識した事象が動作認識による「歩行」、人物認識による「Aさん」、映像タグ情報が「午前中に撮影」のとき、「移動」というカテゴリや、「午前中のAさん」というカテゴリなどに分類される。分類したカテゴリは、新たな映像タグ情報として記録媒体107に記録する。
検索手段104−2は、確認したい事象で分類された撮影映像を映像タグ情報によって検索し、事象に該当する撮影映像のすべてを取り出す。例えば、取得手段で取得した「午前中」という映像タグ情報を持つ撮影映像を検索してもよいし、分類手段で分類した「移動」という映像タグ情報を持つ撮影映像を検索してもよい。取り出した撮影映像は、映像タグ情報とともに、解析手段103及び選択手段104−3に送られる。
解析手段103は、検索手段から送られた撮影映像の各々を、定量的な映像解析を行う。認識手段102では、撮影映像中の事象(Who、What、Which、When)を認識したが、ここでは、撮影映像中の動作がどのように行われているか(How)を解析する。例えば、撮影映像に映された人物の腕関節の角度、歩行動作周波数、足の振り上げ幅、速度などの解析を行う。解析の結果は、選択手段104−3に送られる。
選択手段104−3は、映像タグ情報と解析された結果から、互いに比較することができる複数の撮影映像を選択する。例えば、検索された映像タグ情報を持つ撮影映像から、比較することのできる2枚の撮影映像を選びだす。選択された撮影映像は、生成手段105へと送られる。
生成手段105は、選択された撮影映像を、行動の違いを明示する映像情報を生成する。例えば、選択された2つの撮影映像間で、被写体中の右足の動作が同じ位置に表示されるように、アフィン変換などを用いて重ね合わせた映像を生成する。また、右足を強調表示してもよい。また、3次元空間に再構成した映像を生成してもよい。生成された映像情報は、表示手段106へと送られる。また、2枚の撮影映像の映像タグ情報を並べて表示してもよい。
表示手段106は、生成された映像情報をディスプレイに表示する。
以上が、本実施形態にかかる映像情報処理装置100の構成である。
(処理) 図2のフローチャートを用いて、本実施形態にかかる映像情報処理装置100が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内のRAMやROMなどのメモリ内に格納され、CPUやMPUなどにより読み出され、実行される。なお、データ等の送受信に関する処理に関しては、直接的もしくはネットワーク越しに行ってもよい。
(取得) ステップS201では、取得手段101により、現実空間を撮影した撮影映像が取得される。
例えば、一般家庭内に設置されてその空間を継続的に撮影するカメラにより撮影される。このカメラは、天井や壁に取り付けられていてもよい。床、台、テレビなどの家具・建具に据え置き、内蔵されていてもよい。ロボットや人が装着するなどして、空間内を移動するカメラでもよい。また、空間全体を撮影するために広角レンズを使用してもよい。パンチルトやズームなどのカメラパラメータが固定でも可変でもよい。複数のカメラを用いて空間を複数視点から撮影してもよい。
同時に、取得手段101により、撮影に関する情報を、映像タグ情報として取得される。例えば、カメラのパラメータや、撮影取得日時がある。例えば、マイクにより収集した音声データや、人感センサによって検知した人物の在否情報や、圧力センサによって計測された床面上の圧力分布情報ような映像タグ情報をカメラ以外のセンサから取得してもよい。
取得した撮影映像および映像タグ情報は、認識手段102へ出力され、ステップS202へと進む。
(認識) ステップS202では、認識手段102により、取得手段101から出力された撮影映像と映像タグ情報を入力され、撮影映像内に映る人物および物体に関する事象を定性的に認識される。
例えば、認識する具体的な処理として、人物認識処理、顔認識処理、表情認識処理、人物や物体の位置姿勢認識処理、人物行動認識処理、一般物体認識処理などが行われる。なお、認識処理は、1種類に限定されるものではなく、複数の認識処理を組み合わせてもよい。
また、認識処理の際には、取得手段101から出力された映像タグ情報を、必要に応じて利用してもよい。例えば、マイクから得た音声データを映像タグ情報として利用してもよい。
また、取得手段101から受け取った撮影映像だけでは、シーケンスが短いなどにより、認識処理が行えない場合がある。このとき、受け取った撮影映像を保持したまま、ステップS201へと戻り、認識処理に必要な撮影映像が蓄積されるまで、繰り返してもよい。特許文献2に開示されている認識処理を利用してもよい。
認識した事象は、入力された撮影映像、映像タグ情報とともに、分類手段104−1に送られ、ステップS203へと進む。
(分類) ステップS203では、分類手段104−1によって、認識した事象と映像タグ情報の組み合わせに基づいて、撮影映像を事前に用意された複数のカテゴリに分類される。
ここでのカテゴリは、人物のリハビリ効果を可視化しうる事象(What,Who,Which,When,Where)を示す。例えば、認識した事象が動作認識による「歩行」、人物認識による「Aさん」、映像タグ情報が「午前中に撮影」のとき、「移動」というカテゴリや、「午前中のAさん」というカテゴリなどに分類される。カテゴリは予め、専門家が自身の知見に基づいて入力してもよい。
なお、認識手段102より受け取る全ての撮影映像が、必ずしも何らかのカテゴリに分類されなくてもよい。また、どこのカテゴリにも分類されなかった撮影映像を「その他」というカテゴリに分類してもよい。
例えば、撮影映像中に複数人が映っている場合の認識処理について述べる。単純に人物認識処理の結果「Aさん」と「Bさん」と、人物の動作認識処理の結果「歩行」からでは、その撮影映像を「Aさんの歩行」と「Bさんの歩行」のどちらに分類すべきか確定しない。その場合は、人物認識処理がAまたはBの存在を判別した撮影映像中の位置と、動作認識処理が「歩行」の実施を判別した撮影映像中の位置を照らし合わせ、その撮影映像を「Aさんの歩行」「Bさんの歩行」のどちらと分類すべきかを判定する。
このとき、撮影映像全体をカテゴリに分類しても、カテゴリに相当する撮影映像の部分領域だけを切り出して部分的に隠蔽処理を行い分類してもよい。また、単一の認識結果についてのみを参照して分類されるカテゴリでもよい。例えば、動作認識処理の結果「転倒」が割り当てられた撮影映像を、他の認識結果や映像タグ情報に関わらず、全て「転倒」というカテゴリに分類してもよい。
事象とカテゴリは、必ずしも1対1対応でなくてもよい。人物認識結果「Aさん」の動作認識処理結果「歩行」及び映像タグ情報「午前中」の撮影映像と、人物認識結果「B」動作認識結果「車椅子移動」映像タグ情報「午前中」の撮影映像を、同じ「AさんとBさんの午前中の移動」に分類してもよい。また、人物認識結果「Aさん」の動作認識結果「歩行」映像タグ情報及び「午前中」に対応する撮影映像を、「Aさんの歩行」というカテゴリと「Aさんの午前中」という二つのカテゴリに分類してもよい。
分類したカテゴリは、新たな映像タグ情報として記録媒体107に記録され、ステップS204へと進む。
なお、分類ごとに別ファイルとして記録してもよい。全ての撮影映像を1つのファイルとして記録し、映像タグ情報からそれが割り当てられた撮影映像を参照するためのポインタを別ファイルに記録してもよい。これらの記録方法を組み合わせてもよい。例えば、同じ日付に分類される撮影映像を1つのファイルに記録し、撮影映像を参照するためのポインタを日付ごとに用意した別ファイルに記録してもよい。撮影映像はHDDなど記憶媒体107の機器に記録してもよいし、ネットワーク越しに接続した遠隔地のサーバの記憶媒体107に記録してもよい。
(検索) ステップS204では、検索手段104−2において、撮影映像を検索する事象が入力が確認される。例えば、ユーザがキーボードやボタンを介して入力されてもよい。定期的なスケジュールに従って自動的に入力されてもよい。遠隔地から専門の療法士などにより入力されてもよい。また、ステップS201若しくはステップS202で取得された映像タグ情報を入力してもよい。
検索する事象の入力が確認されるとステップS205へと進み、確認されないときにステップS201へと戻る。
ステップS205では、検索手段104−2により、確認したい事象を、分類された撮影映像を映像タグ情報によって検索され、事象に該当する撮影映像のすべてを取り出される。例えば、取得手段で取得した「午前中」という映像タグ情報を持つ撮影映像を検索してもよいし、分類手段で分類した「移動」という映像タグ情報を持つ撮影映像を検索してもよい。取り出した撮影映像は、映像タグ情報とともに、解析手段103及び選択手段104−3に送られる。
また、検索手段104−2により、外部から映像タグ情報を含む検索する事象の入力を受け付けると、記録された撮影映像の中から、映像タグ情報に対応する撮影映像を全て取り出される。例えば、過去一日分(現在)から30日前(過去)の撮影映像を検索対象にする。これにより、選択手段では、30日分のリハビリの経過を知るために必要な撮影映像を選択することができる。
取り出した撮影映像に対応する映像タグ情報とともに、解析手段103および選択手段104−3へと送る。
(解析) ステップS206では、解析手段103により、検索手段から送られた撮影映像の各々を、定量的な映像解析が行われる。認識手段102では、撮影映像中の事象(What)を認識したが、ここでは、撮影映像中の動作がどのように行われているか(How)を解析する。
例えば、撮影映像に映った人物の腕の関節角度や歩行動作周波数や足の振り上げ幅などの動作の特徴を計測することを目的とした映像解析を行う。より具体的には、人物を構成する人体パーツを個別に識別した後に、パーツ間の撮影映像中における相対的位置姿勢変化を定量的に解析して、そこから現実空間における関節角度や動作周波数や動作振幅などの動作の特徴を動作量として算出する。
例えば、背景差分技術などを利用して、撮影映像中に新たに現れた人と思われる被写体を切り出した後に、その撮影映像の大きさなどに基づいて、切り出した被写体の現実空間における形状や大きさなどを算出する。
例えば、取得手段101がステレオカメラを備え、解析手段103がステレオ映像を得るような場合は、公知のステレオ映像処理に基づいて画面中の被写体までの距離を算出して、その被写体の移動経路や移動速度を算出する。
例えば、被写体の移動距離X m/sなどを解析する場合には、取得手段101から撮影映像を受け取り続けながら、解析処理を行う。
撮影映像に映る人物や物体の、現実空間における3次元形状やその3次元的な位置姿勢を解析的に算出する方法は、数多く知られている。解析手段103は、そうした公知の技術を利用して、撮影映像ごとに、そこに映る人物(被写体)に対する空間的な映像解析を行う。どのような定量的映像解析を行うかは、専門家の知見やリハビリの種類などによって予め決定しておくものとする。
解析の結果は、選択手段104−3に送られ、ステップS207へ進む。
(選択) ステップS207では、選択手段104−3より、映像タグ情報と解析された結果に基づいて、検索された映像タグ情報を持つ撮影映像から、互いに比較することができる複数の撮影映像が選択される。
具体的には、解析手段103から受け取るそれぞれの撮影映像における歩行動作の解析結果を照らし合わせる。そして、ある基準において類似/非類似である(定量的に一定閾値以下/以上である)撮影映像を二つ選択する。
例えば、動作の速度の違いが所定の閾値よりも小さいもの、大きいものを選びとることで、比較するために必要な撮影映像を抽出することができる。また、動作の軌跡の違いが所定の閾値より大きいもの、小さいものを選びとることで、比較するために必要な撮影映像を抽出することができる。
例えば、動作の速度の違いが小さく、動作の軌跡の違いが大きい組み合わせを互いに比較することで、動作の軌跡の違いを比較することができる。このとき、動作の軌跡がなるべく異なるものを選びとるとなお良い。例えば、動作の速度の違いが大きく、動作の軌跡の違いが小さい組み合わせを互いに比較することで、動作の速度の違いを比較することができる。このとき動作の軌跡がなるべく同じものを選びとるとなお良い。
例えば、足の振り上げ幅や速度の各々が一定以上、一定以下の異なる撮影映像を選びだす。ここでは撮影映像を二つ選択するとしたが、三つ以上を選択してもよい。つまり、二つの期間ではなく三つ以上の期間から比較対象となる撮影映像を選択してもよい。
また、閾値を用いることに限らない。例えば、動作の速度や軌跡がもっとも差の大きい二つの撮影映像を選択してもよい。
選択された撮影映像は、生成手段105へと送られ、ステップS208へ進む。
選択された撮影映像は、生成手段105へと送られ、ステップS208へ進む。
(生成) ステップS208では、生成手段105により、選択された撮影映像から行動の違いを明示する映像情報が生成される。
図3は、選択された撮影映像から映像情報を生成する例である。例えば、選択手段104−3が選択した二つの撮影映像301、302を、右足の動作が両者で同じ位置に表示されるように一方の撮影映像302をアフィン変換し、変換された映像303をもう一方の撮影映像に重ねた映像304を生成する。これにより、左足の動き方の違いや腰部関節の動揺振幅から左足および歩行における重心動揺が可視化される。もしくは、歩行動作の開始点をそろえ画像のスケールが同じになるように正規化した二つの映像を、並列表示もしくは連続表示する映像を生成する。これにより、歩行速度や歩行経路の違いを比較できる。映像情報の生成方法は、ここでの例に限定するものではない。注目領域を強調したり、抜き出したり、アノテーションをつけたり、3次元再構成技術を用いて二つの撮影映像中の行動を一つの3次元仮想空間上に再現する映像を生成してもよい。また、二つの撮影映像を隣り合わせて並べた映像を生成してもよい。生成結果である映像情報が画像情報に限らず、画像情報以外で表現される情報を生成してもよい。例えば、それぞれの行動速度を数値やグラフなどで可視化してもよい。
また、どのような撮影映像を比較しているかを認識するために、何と何を比較しているのかを示す情報を付与した映像情報を生成してもよい。例えば、二つの撮影映像の日付や、解析した結果の違いを示す情報を付与した映像情報を生成する。
生成された映像情報は、表示手段106へと送られ、S209へ進む。
(表示) ステップS209では、表示手段106により、生成された映像情報を表示する。例えば、ディスプレイで表示してもよい。表示された後、S201に戻る。
以上の処理によって、映像情報処理装置100は、撮影した撮影映像の中から同じ条件での同じ行動となる撮影映像を抽出した後に、行動の違いの可視化に対して適切な組み合わせとなる撮影映像を選択することができる。
〔第二の実施形態〕
第一の実施形態では、撮影映像として記録された多種多様な行動を、定性的な基準によって分類分けした後、同一分類内の行動同士の違いを定量的な基準によって比較することによって撮影映像を複数選択した。これに対し、第二の実施形態で示す形態では、撮影映像として記録された多種多様な行動を、定量的な基準によって分類分けした後に、同一分類内の行動同士の違いを定性的な基準によって比較することによって、撮影映像を複数選択する。
第一の実施形態では、撮影映像として記録された多種多様な行動を、定性的な基準によって分類分けした後、同一分類内の行動同士の違いを定量的な基準によって比較することによって撮影映像を複数選択した。これに対し、第二の実施形態で示す形態では、撮影映像として記録された多種多様な行動を、定量的な基準によって分類分けした後に、同一分類内の行動同士の違いを定性的な基準によって比較することによって、撮影映像を複数選択する。
以下、図を用いて本実施形態に係る映像情報処理装置の構成および処理について説明する。
(構成400) 図4は、本実施形態に係る映像情報処理装置400の概略を示す図である。図4に示すように、映像情報処理装置400は、取得手段101、解析手段104、認識手段102、抽出手段104、生成手段105、表示手段106からなる。抽出手段104は、分類手段104−1、検索手段104−2、選択手段104−3からなる。
この構成の大半は図1に示した映像情報処理装置100と同様であるので、同様の部分には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。
この構成の大半は図1に示した映像情報処理装置100と同様であるので、同様の部分には同じ名称をつけており、重複する部分についての詳細な説明は以下では割愛する。
取得手段101は、撮影した撮影映像を取得する。また、撮影した空間に関する情報を、映像タグ情報として取得する。取得手段101が取得した撮影映像および映像タグ情報は、解析手段103へと送られる。
解析手段103は、取得手段101から出力された撮影映像と映像タグ情報とを入力とし、撮影映像に対して解析処理を行う。解析された撮影映像は、映像タグ情報とともに、分類手段104−1へと送られる。
分類手段104−1は、映像解析結果と映像タグ情報の組み合わせに基づいて、それに対応する撮影映像を事前に用意された複数のカテゴリに分類していく。分類したカテゴリは、新たな映像タグ情報として記録媒体107に記録する。
検索手段104−2は、確認したい事象を、分類された撮影映像を映像タグ情報によって検索し、事象に該当する撮影映像のすべてを取り出す。取り出した撮影映像は、映像タグ情報とともに、認識手段102及び選択手段104−3に送られる。
認識手段102は、取得手段101から出力された撮影映像と映像タグ情報を入力し、撮影映像内に映る人物および物体に関する事象を認識する。認識した事象は、入力された撮影映像、映像タグ情報とともに、選択手段104−3に送られる。
選択手段104−3は、映像タグ情報と解析された結果から、互いに比較することができる複数の撮影映像を選択する。選択された撮影映像は、生成手段105へと送られる。
生成手段105は、選択手段104−3で選択した撮影映像を、そこに映る行動の違いを明示的に可視化する映像情報を生成する。生成された映像情報は、表示手段106へと送られる。
表示手段106は例えばディスプレイで、生成手段105で生成された映像情報を、観察者に表示する。
以上が、本実施形態にかかる映像情報処理装置400に関する構成部分である。
(処理) 図5に示したフローチャートを用いて、本実施形態の映像情報処理装置400が行う処理について説明する。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内のRAMやROMなどのメモリ内に格納され、CPUやMPUなどにより読み出され、実行される。
ステップS201では、取得手段101により、撮影した撮影映像が取得される。また、撮影した空間に関する情報が、映像タグ情報として取得される。例えば一日毎など、時間をおいてオフラインに行ってもよい。取得手段101が取得した撮影映像および映像タグ情報は、解析手段103へと送られ、ステップS502へ進む。
ステップS202では、解析手段103において、取得手段101から出力された撮影映像と映像タグ情報とを入力とし、撮影映像に対して解析処理を行う。解析された撮影映像は、映像タグ情報とともに、分類手段104−1へと送られ、ステップS203へ進む。
ステップS503では、分類手段104−1において、解析手段103から出力された映像解析結果と映像タグ情報の組み合わせに基づき、対応する撮影映像を事前に用意された複数のカテゴリに分類していく。
図6は、本実施形態に係る、撮影映像の例を示す図である。具体的には、走っている事象601、602、歩いている事象603、604、杖をもって歩いている事象605が撮影されている。また、それぞれ、第一の実施形態と同様に解析することで、動作の速度606、607や動作の軌跡608,609,610をタグ情報として付与することができる。
例えば、解析手段103より被写体の移動速度がX m/sという結果と映像タグ情報「午前中」を受け取った場合、「午前中の被写体で、移動速度がX m/s」というカテゴリに解析手段202より受け取った撮影映像を分類する。例えば、「午前中の被写体で取得手段101に対して距離Y m以内」601や「10秒以内にZ m以上移動した被写体」602といったカテゴリに分類される。
分類したカテゴリは、新たな映像タグ情報として記録媒体107に記録され、ステップS204へ進む。
ステップS204では、検索手段104−2において、撮影映像を検索する検索する事象の入力が確認される。入力が確認されれば処理はステップS205へと進み、確認されなければ処理はステップS201へと戻る。
ステップS205では、検索手段103において、記録されている撮影映像の検索が行われる。すなわち、検索する事象に該当する映像タグ情報が割り当てられた撮影映像の全てが取り出される。取り出された撮影映像は、それに対応する映像タグ情報および映像解析結果とともに、認識手段102および選択手段104−3へと送られ、処理はステップS506へと進む。
ステップS206では、認識手段102において、検索手段104−2より送られる撮影映像ごとに、そこに映る人物に対する定性的な映像認識が行われる。その結果は選択手段104−3へと送られ、処理はステップS207へと進む。
ステップS507では、選択手段104−3において、検索手段104−2から送られる撮影映像の中から、複数の撮影映像が選択される。これは、各撮影映像に対応する映像タグ情報と、認識手段102から送られる映像認識結果に基づいて行われる。
例えば、「被写体の移動速度がX m/s以上」と分類された撮影映像が検索され選択手段104−3に送られている場合を例に説明する。「Aさん(が映っている)」と認識された撮影映像を選ぶ。そして、残るその他の認識結果がなるべく多く共通する撮影映像の組を選択する。例えば、3つの撮影映像がそれぞれ「杖なし歩行」603「杖なし歩行」604「杖あり歩行」605という認識結果を持っていれば、「杖なし歩行」という認識結果を持ったものを選択する。類似している(一定数以上の同一認識結果を持つもの)撮影映像の組が見つからなければ、一定数以上の同一認識結果を持つ撮影映像を複数選択する。
選択された撮影映像は映像解析結果とともに生成手段105へと送られ、処理はステップS208へと進む。
ステップS208では、生成手段105において、選択手段104−3で選択された撮影映像が、そこに映る行動の違いを明示的に示される映像情報を生成する。生成された映像情報は表示手段106へと送られ、処理はステップS209へと進む。
ステップS209では、表示手段106において、生成手段105で生成された映像情報が、観察者に表示される。その後、処理はステップS201へと戻る。
以上の処理によって、映像情報処理装置100は、人物撮影映像から、同じ条件での同じ行動を実施したときの撮影映像を抽出後、行動の違いの可視化対して適切な組み合わせとなる撮影映像を複数選択することが出来る。
〔第3の実施形態〕
第1の実施形態では、認識の結果に基づいて、分類し、分類した撮影映像を解析して選択を行っていた。第2の実施形態では、解析の結果に基づいて、分類し、分類した撮影映像を認識して選択を行っていた。これらを組み合わせることにより、認識・解析の結果に基づいて、分類して映像タグ情報を記憶し、映像タグ情報に基づいて、分類した撮影映像を認識・解析して選択を行ってもよい。
第1の実施形態では、認識の結果に基づいて、分類し、分類した撮影映像を解析して選択を行っていた。第2の実施形態では、解析の結果に基づいて、分類し、分類した撮影映像を認識して選択を行っていた。これらを組み合わせることにより、認識・解析の結果に基づいて、分類して映像タグ情報を記憶し、映像タグ情報に基づいて、分類した撮影映像を認識・解析して選択を行ってもよい。
〔その他の実施形態〕
図7は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク707又は各種のコンピュータ読み取り可能な記憶媒体702、703を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ701(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
図7は、コンピュータの構成例を示す図である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク707又は各種のコンピュータ読み取り可能な記憶媒体702、703を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ701(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
本発明は、例えば、リハビリの進捗を確認できる。
Claims (12)
- 認識手段が、現実空間を撮影した複数の撮影映像ごとに、該現実空間の事象を認識する認識工程と、
分類手段が、前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記映像タグ情報に基づいて、前記複数の撮影映像から前記事象が同一である複数の撮影映像を検索する検索工程と、
解析手段が、前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
選択手段が、前記検索された撮影映像の各々の前記解析された動作の特徴に基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。 - 解析手段が、現実空間を撮影した複数の撮影映像の各々の中の動作の特徴を解析する解析工程と、
分類手段が、前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類工程と、
検索手段が、前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索工程と、
認識手段が、前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識工程と、
選択手段が、前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択工程と、
生成手段が、前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成工程と、
を有することを特徴とする映像情報処理方法。 - 前記認識工程では、人物の行動を前記事象として認識することを特徴とする請求項1又は請求項2に記載の映像情報処理方法。
- 前記解析工程では、前記複数の撮影映像の各々の中の動作の速度、及び、動作の軌跡を解析することを特徴とする請求項1乃至請求項3の何れか1項に記載の映像情報処理方法。
- 前記選択工程では、前記動作の速度の違いが所定より大きく、動作の軌跡の違いが所定より小さい組み合わせとなる前記複数の撮影映像を抽出することを特徴とする請求項4に記載の映像情報処理方法。
- 前記選択工程では、前記動作の速度の違いが所定より小さく、動作の軌跡の違いが所定より大きい組み合わせとなる前記複数の撮影映像を抽出することを特徴とする請求項4に記載の映像情報処理方法。
- 前記生成工程では、前記抽出された撮影映像の各々を重ね合わせた映像情報を生成することを特徴とする請求項1乃至請求項6の何れか1項に記載の映像情報処理方法。
- 前記生成工程では、前記抽出された撮影映像の各々を3次元仮想空間上に再現し、映像情報を生成することを特徴とする請求項7に記載の映像情報処理方法。
- 前記生成工程では、前記抽出された撮影映像を隣り合わせて並べた、映像情報を生成することを特徴とする請求項1乃至請求項6の何れか1項に記載の映像情報処理方法。
- 請求項1乃至請求項9の何れか1項に記載の映像情報処理方法をコンピュータに実行させることを特徴とするプログラム。
- 現実空間を撮影した複数の撮影映像ごとに、該現実空間の事象を認識する認識手段と、
前記事象ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類手段と、
前記割り当てられた映像タグ情報に基づいて、前記撮影映像から前記事象が同一である複数の撮影映像を検索する検索手段と、
前記検索された複数の撮影映像の各々の中の動作の特徴を解析する解析手段と、
前記検索された撮影映像の各々の前記解析された動作の特徴の違いに基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択手段と、
前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成手段と、
を有することを特徴とする映像情報処理装置。 - 現実空間を撮影した複数の撮影映像の各々の中の動作の特徴を解析する解析手段と、
前記解析された動作の特徴ごとに前記複数の撮影映像に映像タグ情報を割り当てて、前記撮影映像を分類する分類手段と、
前記割り当てられた映像タグ情報に基づいて、前記複数の撮影映像を検索する検索手段と、
前記検索された複数の撮影映像の各々に、前記現実空間の事象を認識する認識手段と、
前記検索された撮影映像の各々の前記認識された事象に基づいて、前記検索された撮影映像の中から少なくとも2つ以上の該撮影映像を選択する選択手段と、
前記選択された撮影映像に基づいて、表示手段に表示させる映像情報を生成する生成手段と、
を有することを特徴とする映像情報処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286894A JP5424852B2 (ja) | 2009-12-17 | 2009-12-17 | 映像情報処理方法及びその装置 |
CN201080057821.9A CN102668548B (zh) | 2009-12-17 | 2010-12-07 | 视频信息处理方法和视频信息处理设备 |
US13/516,152 US20120257048A1 (en) | 2009-12-17 | 2010-12-07 | Video information processing method and video information processing apparatus |
PCT/JP2010/007106 WO2011074206A1 (en) | 2009-12-17 | 2010-12-07 | Video information processing method and video information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009286894A JP5424852B2 (ja) | 2009-12-17 | 2009-12-17 | 映像情報処理方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011130204A true JP2011130204A (ja) | 2011-06-30 |
JP5424852B2 JP5424852B2 (ja) | 2014-02-26 |
Family
ID=44166981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009286894A Active JP5424852B2 (ja) | 2009-12-17 | 2009-12-17 | 映像情報処理方法及びその装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20120257048A1 (ja) |
JP (1) | JP5424852B2 (ja) |
CN (1) | CN102668548B (ja) |
WO (1) | WO2011074206A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014039079A (ja) * | 2012-08-10 | 2014-02-27 | Canon Inc | 医療情報処理装置、医療情報処理方法及びプログラム |
JP2015012434A (ja) * | 2013-06-28 | 2015-01-19 | カシオ計算機株式会社 | フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム |
JP2015231206A (ja) * | 2014-06-06 | 2015-12-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017184139A (ja) * | 2016-03-31 | 2017-10-05 | キヤノン株式会社 | 編集装置、編集方法及びプログラム |
JP2020184219A (ja) * | 2019-05-08 | 2020-11-12 | キヤノンメディカルシステムズ株式会社 | 医用情報表示装置、及び医用情報表示システム |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6030072B2 (ja) * | 2011-01-28 | 2016-11-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 動くオブジェクトの動きベクトルに基づく比較 |
US8957979B2 (en) * | 2011-07-19 | 2015-02-17 | Sony Corporation | Image capturing apparatus and control program product with speed detection features |
JP6045139B2 (ja) | 2011-12-01 | 2016-12-14 | キヤノン株式会社 | 映像生成装置、映像生成方法及びプログラム |
EP2720172A1 (en) * | 2012-10-12 | 2014-04-16 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Video access system and method based on action type detection |
KR102127351B1 (ko) | 2013-07-23 | 2020-06-26 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
WO2015116177A1 (en) * | 2014-01-31 | 2015-08-06 | Hewlett-Packard Development Company, L.P. | Video retrieval |
FR3023110B1 (fr) * | 2014-06-30 | 2017-10-13 | Oreal | Procede d'analyse de routines cosmetiques d'utilisateurs et systeme associe |
US9456070B2 (en) | 2014-09-11 | 2016-09-27 | Ebay Inc. | Methods and systems for recalling second party interactions with mobile devices |
US10223613B2 (en) | 2016-05-31 | 2019-03-05 | Microsoft Technology Licensing, Llc | Machine intelligent predictive communication and control system |
JP7143620B2 (ja) * | 2018-04-20 | 2022-09-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置およびプログラム |
CN109710802B (zh) * | 2018-12-20 | 2021-11-02 | 百度在线网络技术(北京)有限公司 | 视频分类方法及其装置 |
CN109918538B (zh) * | 2019-01-25 | 2021-04-16 | 清华大学 | 视频信息处理方法及装置、存储介质及计算设备 |
CN110188668B (zh) * | 2019-05-28 | 2020-09-25 | 复旦大学 | 一种面向小样本视频动作分类的方法 |
CN115967818A (zh) * | 2022-12-21 | 2023-04-14 | 启朔(深圳)科技有限公司 | 云端设备直播方法、***和计算机可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000138927A (ja) * | 1998-11-02 | 2000-05-16 | Hitachi Plant Eng & Constr Co Ltd | 画像比較表示装置 |
JP2004145564A (ja) * | 2002-10-23 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 映像検索装置 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4779131A (en) * | 1985-07-26 | 1988-10-18 | Sony Corporation | Apparatus for detecting television image movement |
US4813436A (en) * | 1987-07-30 | 1989-03-21 | Human Performance Technologies, Inc. | Motion analysis system employing various operating modes |
DE69736622T2 (de) * | 1996-07-03 | 2007-09-13 | Hitachi, Ltd. | System zur Bewegungserkennung |
US6091777A (en) * | 1997-09-18 | 2000-07-18 | Cubic Video Technologies, Inc. | Continuously adaptive digital video compression system and method for a web streamer |
JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
US10360685B2 (en) * | 2007-05-24 | 2019-07-23 | Pillar Vision Corporation | Stereoscopic image capture with performance outcome prediction in sporting environments |
US20030108334A1 (en) * | 2001-12-06 | 2003-06-12 | Koninklijke Philips Elecronics N.V. | Adaptive environment system and method of providing an adaptive environment |
US6712692B2 (en) * | 2002-01-03 | 2004-03-30 | International Business Machines Corporation | Using existing videogames for physical training and rehabilitation |
US20090030530A1 (en) * | 2002-04-12 | 2009-01-29 | Martin James J | Electronically controlled prosthetic system |
US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
JP4615512B2 (ja) * | 2003-04-03 | 2011-01-19 | ユニヴァースティ オブ ヴァージニア パテント ファウンデイション | 人間の歩行特性を導き出すためおよび床振動から転倒を受動的に検知するための方法およびシステム |
US7330566B2 (en) * | 2003-05-15 | 2008-02-12 | Microsoft Corporation | Video-based gait recognition |
US20070268369A1 (en) * | 2004-04-28 | 2007-11-22 | Chuo Electronics Co., Ltd. | Automatic Imaging Method and Apparatus |
US20060018516A1 (en) * | 2004-07-22 | 2006-01-26 | Masoud Osama T | Monitoring activity using video information |
WO2006016369A2 (en) * | 2004-08-11 | 2006-02-16 | Andante Medical Devices Ltd. | Sports shoe with sensing and control |
CN100452871C (zh) * | 2004-10-12 | 2009-01-14 | 国际商业机器公司 | 视频监视***的视频分析、存档和报警方法和设备 |
US20080167580A1 (en) * | 2005-04-05 | 2008-07-10 | Andante Medical Devices Ltd. | Rehabilitation System |
US20060001545A1 (en) * | 2005-05-04 | 2006-01-05 | Mr. Brian Wolf | Non-Intrusive Fall Protection Device, System and Method |
JP4687265B2 (ja) * | 2005-06-14 | 2011-05-25 | 富士ゼロックス株式会社 | 画像分析装置 |
US20070021421A1 (en) * | 2005-07-25 | 2007-01-25 | Hampton Thomas G | Measurement of gait dynamics and use of beta-blockers to detect, prognose, prevent and treat amyotrophic lateral sclerosis |
US20100201512A1 (en) * | 2006-01-09 | 2010-08-12 | Harold Dan Stirling | Apparatus, systems, and methods for evaluating body movements |
WO2007106806A2 (en) * | 2006-03-13 | 2007-09-20 | Nielsen Media Research, Inc. | Methods and apparatus for using radar to monitor audiences in media environments |
US20100172624A1 (en) * | 2006-04-21 | 2010-07-08 | ProMirror, Inc. | Video capture, playback and analysis tool |
US8427552B2 (en) * | 2008-03-03 | 2013-04-23 | Videoiq, Inc. | Extending the operational lifetime of a hard-disk drive used in video data storage applications |
US9251423B2 (en) * | 2008-03-21 | 2016-02-02 | Intel Corporation | Estimating motion of an event captured using a digital video camera |
WO2010009735A2 (en) * | 2008-07-23 | 2010-01-28 | Dako Denmark A/S | Combinatorial analysis and repair |
CN101430689A (zh) * | 2008-11-12 | 2009-05-13 | 哈尔滨工业大学 | 一种视频中的人物动作检测方法 |
GB0820874D0 (en) * | 2008-11-14 | 2008-12-24 | Europ Technology For Business | Assessment of gait |
US8206266B2 (en) * | 2009-08-05 | 2012-06-26 | David Hall | Sensor, control and virtual reality system for a trampoline |
US10645344B2 (en) * | 2010-09-10 | 2020-05-05 | Avigilion Analytics Corporation | Video system with intelligent visual display |
-
2009
- 2009-12-17 JP JP2009286894A patent/JP5424852B2/ja active Active
-
2010
- 2010-12-07 CN CN201080057821.9A patent/CN102668548B/zh active Active
- 2010-12-07 WO PCT/JP2010/007106 patent/WO2011074206A1/en active Application Filing
- 2010-12-07 US US13/516,152 patent/US20120257048A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000138927A (ja) * | 1998-11-02 | 2000-05-16 | Hitachi Plant Eng & Constr Co Ltd | 画像比較表示装置 |
JP2004145564A (ja) * | 2002-10-23 | 2004-05-20 | Matsushita Electric Ind Co Ltd | 映像検索装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014039079A (ja) * | 2012-08-10 | 2014-02-27 | Canon Inc | 医療情報処理装置、医療情報処理方法及びプログラム |
JP2015012434A (ja) * | 2013-06-28 | 2015-01-19 | カシオ計算機株式会社 | フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム |
JP2015231206A (ja) * | 2014-06-06 | 2015-12-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2017184139A (ja) * | 2016-03-31 | 2017-10-05 | キヤノン株式会社 | 編集装置、編集方法及びプログラム |
JP2020184219A (ja) * | 2019-05-08 | 2020-11-12 | キヤノンメディカルシステムズ株式会社 | 医用情報表示装置、及び医用情報表示システム |
JP7474568B2 (ja) | 2019-05-08 | 2024-04-25 | キヤノンメディカルシステムズ株式会社 | 医用情報表示装置、及び医用情報表示システム |
Also Published As
Publication number | Publication date |
---|---|
US20120257048A1 (en) | 2012-10-11 |
JP5424852B2 (ja) | 2014-02-26 |
CN102668548A (zh) | 2012-09-12 |
WO2011074206A1 (en) | 2011-06-23 |
CN102668548B (zh) | 2015-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5424852B2 (ja) | 映像情報処理方法及びその装置 | |
JP5227911B2 (ja) | 監視映像検索装置及び監視システム | |
JP4973188B2 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
JP4881766B2 (ja) | カメラ間連結関係情報生成装置 | |
JP6172551B1 (ja) | 画像検索装置、画像検索システム及び画像検索方法 | |
JPWO2018198373A1 (ja) | 映像監視システム | |
JP2009510541A (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
JP2016015579A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6410427B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2019137186A1 (zh) | 一种食物识别方法及装置、存储介质、计算机设备 | |
TW201222422A (en) | Method and arrangement for identifying virtual visual information in images | |
Pathi et al. | Estimating f-formations for mobile robotic telepresence | |
KR101530355B1 (ko) | 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 | |
WO2021235355A1 (ja) | 画像データ処理装置及び画像データ処理システム | |
JP2019220872A (ja) | 電子機器、推奨位置報知方法、推奨位置報知プログラム | |
JP2019185349A (ja) | 検索装置、検索方法及びプログラム | |
JP2020005150A (ja) | 録画再生装置及びプログラム | |
JP7195430B2 (ja) | 撮影データ生成装置、撮影データ生成方法及びプログラム | |
JP7499345B2 (ja) | 複数の姿勢推定エンジンを用いた手のマーカレス運動捕捉 | |
WO2021152834A1 (ja) | ライフログ管理装置、制御方法及び記憶媒体 | |
JP6764012B1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2006165729A (ja) | 撮影プログラム、撮影方法及び撮影システム | |
JP2023148253A (ja) | 画像処理装置及びプログラム | |
JP2007102343A (ja) | 関心度測定装置および方法並びに関心度算出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5424852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |