JP7362076B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents
情報処理装置、情報処理方法及び情報処理プログラム Download PDFInfo
- Publication number
- JP7362076B2 JP7362076B2 JP2021087753A JP2021087753A JP7362076B2 JP 7362076 B2 JP7362076 B2 JP 7362076B2 JP 2021087753 A JP2021087753 A JP 2021087753A JP 2021087753 A JP2021087753 A JP 2021087753A JP 7362076 B2 JP7362076 B2 JP 7362076B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- concept
- information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
〔1.はじめに〕
従来、画像に含まれる物体(例えば、人物)の属性に関する属性情報を画像から抽出する技術が知られている。例えば、画像に含まれる人物の姿勢に関する姿勢情報を抽出する姿勢推定(Pose Estimation)の技術(以下、姿勢推定技術ともいう)が知られている。また、画像に含まれる人物の領域や服装の領域に関する情報を抽出するセグメンテーション(Segmentation)の技術が知られている。
次に、図3を用いて、実施形態に係る情報処理装置の構成について説明する。図3は、実施形態に係る情報処理装置の構成例を示す図である。図3に示すように、情報処理装置100は、通信部110と、記憶部120と、入力部130と、出力部140と、制御部150とを有する。
通信部110は、例えば、NIC(Network Interface Card)、モデムチップ及びアンテナモジュール等によって実現される。また、通信部110は、ネットワークN(図示略)と有線又は無線で接続される。
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部120は、複数の映像または複数の映像それぞれに含まれる各シーンである画像のデータベースである映像プールを記憶する。また、記憶部120は、複数の文章または複数の文章それぞれに含まれる各テキストである文字列のデータベースであるキャプションプールを記憶する。
入力部130は、利用者から各種操作の入力を受け付ける。例えば、入力部130は、タッチパネル機能により表示面(例えば出力部140)を介して利用者からの各種操作を受け付けてもよい。また、入力部130は、情報処理装置100に設けられたボタンや、情報処理装置100に接続されたキーボードやマウスからの各種操作を受け付けてもよい。例えば、入力部130は、利用者からクエリ文の入力を受け付けてよい。また、入力部130は、利用者からクエリ画像の入力を受け付けてよい。
出力部140は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現される表示画面であり、各種情報を表示するための表示装置である。出力部140は、制御部150の制御に従って、各種情報を表示する。なお、情報処理装置100にタッチパネルが採用される場合には、入力部130と出力部140とは一体化される。また、以下の説明では、出力部140を画面と記載する場合がある。
制御部150は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等によって、情報処理装置100の内部の記憶装置に記憶されている各種プログラム(情報処理プログラムの一例に相当)がRAM等の記憶領域を作業領域として実行されることにより実現される。図3に示す例では、制御部150は、属性情報抽出部151と、モデル生成部152と、受付部153と、取得部154と、検索部155と、抽出部156と、生成部157を有する。
属性情報抽出部151は、セグメンテーションの技術を用いて領域分割された画像のうち、構造を有する物体を含む分割領域である物体領域に関する領域情報を抽出する。例えば、属性情報抽出部151は、構造を有する物体の一例として、人物を含む分割領域である人物領域に関する人物領域情報を抽出する。例えば、属性情報抽出部151は、人物領域情報の一例として、人物が身に着けている各ファッションアイテムを含む分割領域であるアイテム領域に関するアイテム領域情報を抽出してよい。
モデル生成部152は、属性情報抽出部151によって抽出された属性情報に基づいて生成された文章であって、画像の内容を示す文章と画像とを対応付けて共通空間に埋め込むように学習されたVSEモデルを生成する。具体的には、モデル生成部152は、属性情報抽出部151によって抽出された人物属性情報に基づいて生成された文章であって、画像の内容を示す文章と画像とを対応付けて共通空間に埋め込むように学習されたVSEモデルを生成する。
受付部153は、利用者によって入力されたクエリ文を受け付ける。例えば、受付部153は、入力部130を介して利用者が入力したクエリ文を受け付ける。ここで、本願明細書におけるクエリ文とは、完全な文章でなくてもよく、例えば、キーワードやフレーズであってもよい。以下では、受付部153が利用者から最初に受け付けたクエリ文を「第1クエリ文」と記載する。例えば、受付部153は、第1クエリ文の一例として、利用者から「person in a car」というフレーズを受け付ける。
取得部154は、映像プールから画像を取得する。例えば、取得部154は、受付部153が第1クエリ文を受け付けると、記憶部120を参照して、複数の映像または複数の映像それぞれに含まれる各シーンである画像を映像プールから取得する。例えば、取得部154は、N個(Nは自然数)の画像#11~画像#1Nを映像プールから取得する。
検索部155は、モデル生成部152によって生成されたVSEモデルを用いて、受付部153によって受け付けられた第1クエリ文に関する第1画像を検索する。具体的には、検索部155は、取得部154が画像を取得すると、受付部153によって受け付けられた第1クエリ文と取得部154によって取得された画像の組をVSEモデルに入力する。例えば、検索部155は、第1クエリ文である「person in a car」とN個の画像#11~画像#1Nそれぞれとの組をVSEモデルに入力する。
抽出部156は、第1画像に関するコンセプトを抽出する。具体的には、抽出部156は、コンセプトを含む画像が入力された場合に、画像に含まれるコンセプトと画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、第1画像から第1画像に関するコンセプトを抽出する。例えば、抽出部156は、検索部155によって第1画像が検索されると、検索部155によって検索された第1画像をコンセプト識別器に入力する。例えば、抽出部156は、検索部155によって検索された第1画像である画像#11~画像#13それぞれをコンセプト識別器に入力する。なお、以下では、簡単のため、第1画像が画像#11のみである場合について説明する。
以下では、抽出部156によって抽出された隠れコンセプトに基づいて生成されたクエリ文のことを「第2クエリ文」と記載する。生成部157は、抽出部156によって抽出された隠れコンセプトに基づいて、第2クエリ文を生成する。例えば、生成部157は、抽出部156によって抽出された隠れコンセプトに基づいて、第1クエリ文を更新して、第2クエリ文を生成してよい。例えば、生成部157は、抽出部156によって抽出された隠れコンセプトである「car_interior」を含む第2クエリ文を生成してよい。出力部140は、生成部157によって生成された第2クエリ文を出力する。例えば、出力部140は、生成部157によって生成された第2クエリ文の一例として、「car_interior」を出力する。受付部153は、出力部140によって出力された第2クエリ文を利用者から受け付ける。例えば、受付部153は、出力部140によって出力された第2クエリ文である「car_interior」を利用者から受け付ける。
次に、図4を用いて、実施形態に係る情報処理の手順について説明する。図4は、実施形態に係る情報処理の一例を示すフローチャートである。図4では、属性情報抽出部151が、処理対象となる画像を取得する(ステップS11)。例えば、属性情報抽出部151は、処理対象となる画像を映像プールから取得する。
次に、図6を用いて、変形例に係る情報処理の手順について説明する。図6は、変形例に係る情報処理の一例を示すフローチャートである。図6では、受付部153が、利用者によって入力されたクエリ画像を受け付ける(ステップS201)。例えば、受付部153は、入力部130を介して利用者が入力したクエリ画像を受け付ける。ここで、本願明細書におけるクエリ画像とは、画像全体でなくてもよく、例えば、画像の一部であってもよい。
上述してきたように、実施形態に係る情報処理装置100は、属性情報抽出部151と、モデル生成部152を有する。属性情報抽出部151は、セグメンテーションの技術を用いて領域分割された画像のうち、構造を有する物体を含む分割領域である物体領域に関する領域情報、および、姿勢推定の技術を用いて推定された物体の構造に関する構造情報に基づいて、物体の属性に関する属性情報を抽出する。モデル生成部152は、属性情報抽出部151によって抽出された属性情報に基づいて生成された文章であって、画像の内容を示す文章と画像とを対応付けて共通空間に埋め込むように学習されたVSE(Visual-Semantic Embedding)モデルを生成する。
また、受付部153は、利用者によって入力されたクエリ画像を受け付ける。検索部155は、VSEモデルを用いて、受付部153によって受け付けられたクエリ画像に関する文字列を検索し、検索した文字列に基づく第3クエリ文に関する第3画像を検索する。
また、上述してきた実施形態に係る情報処理装置100は、例えば図7に示すような構成のコンピュータ1000によって実現される。図7は、情報処理装置100の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を備える。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
110 通信部
120 記憶部
130 入力部
140 出力部
150 制御部
151 属性情報抽出部
152 モデル生成部
153 受付部
154 取得部
155 検索部
156 抽出部
157 生成部
Claims (21)
- セグメンテーションの技術を用いて領域分割された画像のうち、構造を有する物体を含む分割領域である物体領域に関する領域情報、および、姿勢推定の技術を用いて推定された前記物体の構造に関する構造情報に基づいて、前記物体の属性に関する属性情報を抽出する属性情報抽出部と、
前記属性情報抽出部によって抽出された属性情報に基づいて生成された文章であって、前記画像の内容を示す文章と前記画像とを対応付けて共通空間に埋め込むように学習されたVSE(Visual-Semantic Embedding)モデルを生成するモデル生成部と、
を備える情報処理装置。 - 前記属性情報抽出部は、
前記画像のうち、前記領域情報として、人物である前記物体を含む分割領域である人物領域に関する人物領域情報、および、前記構造情報として、前記姿勢推定の技術を用いて推定された前記人物の骨格に関する骨格情報に基づいて、前記属性情報として、前記人物の属性に関する人物属性情報を抽出し、
前記モデル生成部は、
前記属性情報抽出部によって抽出された人物属性情報に基づいて生成された文章であって、前記画像の内容を示す文章と前記画像とを対応付けて共通空間に埋め込むように学習された前記VSEモデルを生成する、
請求項1に記載の情報処理装置。 - 前記属性情報抽出部は、
前記骨格情報として、前記人物の各関節の関節位置情報に基づいて、前記人物属性情報として、前記人物の姿勢に関する姿勢情報および前記人物の動作に関する動作情報を抽出する、
請求項2に記載の情報処理装置。 - 前記属性情報抽出部は、
前記人物領域情報として、前記人物が身に着けている各ファッションアイテムを含む分割領域であるアイテム領域に関するアイテム領域情報に基づいて、前記人物属性情報として、前記人物が身に着けているファッションアイテムの属性に関するアイテム属性情報を抽出する、
請求項2または3に記載の情報処理装置。 - 前記属性情報抽出部は、
前記人物領域情報として、前記人物の各身体部位を含む分割領域である身体部位領域に関する身体部位領域情報に基づいて、前記人物属性情報として、前記人物の身体部位の属性に関する身体部位属性情報を抽出する、
請求項2~4のいずれか1つに記載の情報処理装置。 - 前記属性情報抽出部は、
前記身体部位領域情報として、前記人物の頭髪の領域に関する情報に基づいて、前記身体部位属性情報として、前記人物の髪型に関する情報を抽出する、
請求項5に記載の情報処理装置。 - 前記属性情報抽出部は、
前記身体部位領域情報として、前記人物の顔の領域に関する情報に基づいて、前記身体部位属性情報として、前記人物の表情に関する情報を抽出する、
請求項5または6に記載の情報処理装置。 - 利用者によって入力された第1クエリ文を受け付ける受付部と、
前記モデル生成部によって生成されたVSEモデルを用いて、前記第1クエリ文に関する第1画像を検索する検索部と、
前記第1画像に含まれる検出対象である第1コンセプトを抽出する抽出部と、
をさらに備え、
前記検索部は、
前記VSEモデルを用いて、前記抽出部によって抽出された第1コンセプトに基づく第2クエリ文に関する第2画像を再検索する、
請求項1~7のいずれか1つに記載の情報処理装置。 - 前記検出対象は、物体、人物、場面および動作の少なくともいずれか一つを含む
請求項8に記載の情報処理装置。 - 前記抽出部によって抽出された第1コンセプトに基づいて、前記第2クエリ文を生成する生成部をさらに備え、
前記検索部は、
前記VSEモデルを用いて、前記生成部によって生成された前記第2クエリ文に関する前記第2画像を再検索する、
請求項8に記載の情報処理装置。 - 前記検索部による検索結果を出力する出力部、をさらに備え、
前記出力部は、
前記抽出部によって抽出された第1コンセプトに関する第1コンセプト情報を出力し、
前記受付部は、
前記出力部によって出力された第1コンセプト情報に基づく前記第2クエリ文を前記利用者から受け付け、
前記検索部は、
前記VSEモデルを用いて、前記受付部によって受け付けられた前記第2クエリ文に関する前記第2画像を再検索する、
請求項8に記載の情報処理装置。 - 複数の映像または前記複数の映像それぞれに含まれる各シーンである画像を取得する取得部をさらに備え、
前記検索部は、
前記取得部によって取得された画像と前記受付部によって受け付けられた第1クエリ文の組を前記VSEモデルに入力して、前記画像と前記第1クエリ文との第1類似度を前記VSEモデルから出力し、当該出力された前記第1類似度が第1閾値を超える前記第1画像を検索する、
請求項8~11のいずれか1つに記載の情報処理装置。 - 前記検索部は、
前記取得部によって取得された画像と前記抽出部によって抽出された第1コンセプトに基づく第2クエリ文の組を前記VSEモデルに入力して、前記画像と前記第2クエリ文との第2類似度を前記VSEモデルから出力し、当該出力された前記第2類似度が第2閾値を超える前記第2画像を再検索する、
請求項12に記載の情報処理装置。 - 前記抽出部は、
画像が入力された場合に、前記画像に含まれる検出対象であるコンセプトと前記画像とのコンセプト類似度を出力するよう学習された学習済みの機械学習モデルであるコンセプト識別器を用いて、前記第1画像から前記第1コンセプトを抽出する、
請求項8~13のいずれか1つに記載の情報処理装置。 - 前記抽出部は、
前記検索部によって検索された第1画像を前記コンセプト識別器に入力して、前記第1画像に含まれる検出対象である第1コンセプトと前記第1画像とのコンセプト類似度を前記コンセプト識別器から出力し、当該出力されたコンセプト類似度がコンセプト閾値を超える前記第1コンセプトを抽出する、
請求項14に記載の情報処理装置。 - 前記抽出部は、
前記出力されたコンセプト類似度がコンセプト閾値を超える前記第1コンセプトの中から、前記第1クエリ文に含まれない文字列に対応する前記第1コンセプトである隠れコンセプトを抽出する、
請求項15に記載の情報処理装置。 - 前記受付部は、
前記利用者によって入力されたクエリ画像を受け付け、
前記検索部は、
前記VSEモデルを用いて、前記受付部によって受け付けられたクエリ画像に関する文字列を検索し、当該検索した文字列に基づく第3クエリ文に関する第3画像を検索する、
請求項8~16のいずれか1つに記載の情報処理装置。 - 複数の文章または前記複数の文章それぞれに含まれる各テキストである文字列を取得する取得部をさらに備え、
前記検索部は、
前記取得部によって取得された文字列と前記受付部によって受け付けられたクエリ画像の組を前記VSEモデルに入力して、前記文字列と前記クエリ画像との第3類似度を前記VSEモデルから出力し、当該出力された前記第3類似度が第3閾値を超える文字列を検索し、当該検索した文字列に基づく前記第3クエリ文に関する前記第3画像を検索する、
請求項17に記載の情報処理装置。 - 前記抽出部は、
前記第3画像に含まれる検出対象である第3コンセプトを抽出し、
前記検索部は、
前記VSEモデルを用いて、前記抽出部によって抽出された第3コンセプトに基づく第4クエリ文に関する第4画像を再検索する、
請求項18に記載の情報処理装置。 - 情報処理装置が実行するプログラムにより実現される情報処理方法であって、
セグメンテーションの技術を用いて領域分割された画像のうち、構造を有する物体を含む分割領域である物体領域に関する領域情報、および、姿勢推定の技術を用いて推定された前記物体の構造に関する構造情報に基づいて、前記物体の属性に関する属性情報を抽出する属性情報抽出工程と、
前記属性情報抽出工程によって抽出された属性情報に基づいて生成された文章であって、前記画像の内容を示す文章と前記画像とを対応付けて共通空間に埋め込むように学習されたVSE(Visual-Semantic Embedding)モデルを生成するモデル生成工程と、
を含む情報処理方法。 - セグメンテーションの技術を用いて領域分割された画像のうち、構造を有する物体を含む分割領域である物体領域に関する領域情報、および、姿勢推定の技術を用いて推定された前記物体の構造に関する構造情報に基づいて、前記物体の属性に関する属性情報を抽出する属性情報抽出手順と、
前記属性情報抽出手順によって抽出された属性情報に基づいて生成された文章であって、前記画像の内容を示す文章と前記画像とを対応付けて共通空間に埋め込むように学習されたVSE(Visual-Semantic Embedding)モデルを生成するモデル生成手順と、
をコンピュータに実行させる情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021087753A JP7362076B2 (ja) | 2021-05-25 | 2021-05-25 | 情報処理装置、情報処理方法及び情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021087753A JP7362076B2 (ja) | 2021-05-25 | 2021-05-25 | 情報処理装置、情報処理方法及び情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022180958A JP2022180958A (ja) | 2022-12-07 |
JP7362076B2 true JP7362076B2 (ja) | 2023-10-17 |
Family
ID=84327820
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021087753A Active JP7362076B2 (ja) | 2021-05-25 | 2021-05-25 | 情報処理装置、情報処理方法及び情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7362076B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018073429A (ja) | 2017-11-15 | 2018-05-10 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
JP2018142160A (ja) | 2017-02-28 | 2018-09-13 | 株式会社日立製作所 | 画像検索装置及び画像検索方法 |
WO2021064963A1 (ja) | 2019-10-03 | 2021-04-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11306322A (ja) * | 1998-04-23 | 1999-11-05 | Fujitsu Ltd | 画像フィルタリングシステム |
-
2021
- 2021-05-25 JP JP2021087753A patent/JP7362076B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018142160A (ja) | 2017-02-28 | 2018-09-13 | 株式会社日立製作所 | 画像検索装置及び画像検索方法 |
JP2018073429A (ja) | 2017-11-15 | 2018-05-10 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
WO2021064963A1 (ja) | 2019-10-03 | 2021-04-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022180958A (ja) | 2022-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Toward AI fashion design: An Attribute-GAN model for clothing match | |
Ziaeefard et al. | Semantic human activity recognition: A literature review | |
CN105426850B (zh) | 一种基于人脸识别的关联信息推送设备及方法 | |
Dantone et al. | Body parts dependent joint regressors for human pose estimation in still images | |
Lee et al. | 3-D human behavior understanding using generalized TS-LSTM networks | |
Zhao et al. | Clothing cosegmentation for shopping images with cluttered background | |
CN109614925A (zh) | 服饰属性识别方法和装置、电子设备、存储介质 | |
CN114758362A (zh) | 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法 | |
Che et al. | Paragraph generation network with visual relationship detection | |
Singh et al. | Recent trends in human activity recognition–A comparative study | |
Thom et al. | Facial attribute recognition: A survey | |
Sajjad et al. | A study on the learning based human pose recognition | |
Liu et al. | Toward fashion intelligence in the big data era: State-of-the-art and future prospects | |
Yamamoto et al. | Fashion style recognition using component-dependent convolutional neural networks | |
Raza et al. | Part-wise pedestrian gender recognition via deep convolutional neural networks | |
Sun et al. | General-to-specific learning for facial attribute classification in the wild | |
JP7362076B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7362074B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
Bazazian et al. | Context based gait recognition | |
Mohanty et al. | Nrityamanthan: Unravelling the intent of the dancer using deep learning | |
Vaca-Castano et al. | Holistic object detection and image understanding | |
Latha et al. | Exemplar-based Learning for Recognition & Annotation of Human Actions | |
Saykol et al. | Posture labeling based gesture classification for Turkish sign language using depth values | |
Periyanayaki et al. | An Efficient way of Emotion and Gesture Recognition using Deep Learning Algorithms | |
CN114821424A (zh) | 视频分析方法、视频分析装置、计算机设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7362076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |