JP2019536122A - 情報インタラクションのための方法および装置 - Google Patents
情報インタラクションのための方法および装置 Download PDFInfo
- Publication number
- JP2019536122A JP2019536122A JP2019504024A JP2019504024A JP2019536122A JP 2019536122 A JP2019536122 A JP 2019536122A JP 2019504024 A JP2019504024 A JP 2019504024A JP 2019504024 A JP2019504024 A JP 2019504024A JP 2019536122 A JP2019536122 A JP 2019536122A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- semantic
- target
- tag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
- G06V30/274—Syntactic or semantic context, e.g. balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
Claims (12)
- 情報インタラクションのための方法であって、
テキスト情報および画像を含む処理対象情報を取得するステップと、
前記処理対象情報のテキスト情報の特徴語を抽出し、前記特徴語に基づいて前記処理対象情報の画像の記述情報を検索するステップであって、前記特徴語は前記画像に対する検索要求を特徴付け、前記記述情報は前記画像に対するテキスト記述を特徴付ける、ステップと、
前記記述情報から前記処理対象情報の応答情報を構築するステップとを含むことを特徴とする情報インタラクションのための方法。 - 前記処理対象情報のテキスト情報の特徴語を抽出するステップは、
テキスト情報に対して意味認識を行って、前記テキスト情報に対応する意味情報を取得することと、
前記意味情報から特徴語を抽出することと、を含むことを特徴とする請求項1に記載の方法。 - 前記特徴語に基づいて前記処理対象情報の画像の記述情報を検索するステップは、
画像検索モデルに画像を取り込んで、前記画像に対応する照合対象画像集合を取得することであって、前記照合対象画像集合は、少なくとも1枚の照合対象画像を含み、前記画像検索モデルは、画像と照合対象画像との間の第1の対応関係を特徴付ける、ことと、
照合対象画像を意味タグモデルに取り込んで、照合対象画像集合に対応する意味タグ集合を取得することであって、前記意味タグモデルは、照合対象画像と意味タグとの第2の対応関係を特徴付け、意味タグは照合対象画像をテキストで説明するものである、ことと、
前記意味タグ集合から認識対象意味タグを選択し、認識対象意味タグにおける前記画像に対応する名詞の解釈情報を記述情報とすることと、を含むことを特徴とする請求項1に記載の方法。 - 前記意味タグ集合から認識対象意味タグを選択するステップは、
前記意味タグ集合における同一の意味タグの数をカウントし、最大数を有する意味タグを認識対象意味タグとすることを含むことを特徴とする請求項3に記載の方法。 - 前記方法は、前記記述情報を補正するステップをさらに含み、前記記述情報を補正するステップは、
前記応答情報の正確さを評価するための、前記応答情報に対応するフィードバック情報を受信することと、
前記フィードバック情報に対して意味認識を行って正確率情報を得ることと、
前記正確率情報が所定の閾値よりも低い場合には、前記意味タグ集合における認識対象意味タグ以外の意味タグから第2の認識対象タグを選択することと、
第2の認識対象タグにおける前記画像に対応する名詞の解釈情報を第2の記述情報とすることと、
第2の記述情報から前記処理対象情報の応答情報を構築することと、を含むことを特徴とする請求項4に記載の方法。 - 情報インタラクションのための装置であって、
テキスト情報および画像を含む処理対象情報を取得するための処理対象情報取得ユニットと、
前記処理対象情報のテキスト情報の特徴語を抽出し、前記特徴語に基づいて前記処理対象情報の画像の記述情報を検索するための記述情報取得ユニットであって、前記特徴語は前記画像に対する検索要求を特徴付けるために用いられ、前記記述情報は前記画像に対するテキスト記述を特徴付けるために用いられる、記述情報取得ユニットと、
前記記述情報から前記処理対象情報の応答情報を構築するための応答情報構築ユニットと、を含むことを特徴とする情報インタラクションのための装置。 - 前記記述情報取得ユニットは、
テキスト情報に対して意味認識を行って、前記テキスト情報に対応する意味情報を取得するための意味認識サブユニットと、
前記意味情報から特徴語を抽出するための特徴語抽出サブユニットと、を備えることを特徴とする請求項6に記載の装置。 - 前記記述情報取得ユニットは、
画像を画像検索モデルに取り込んで、前記画像に対応する照合対象画像集合を取得するための照合対象画像取得サブユニットであって、前記照合対象画像集合は、少なくとも1枚の照合対象画像を含み、前記画像検索モデルは、画像と照合対象画像との間の第1の対応関係を特徴付ける、照合対象画像取得サブユニットと、
照合対象画像を意味タグモデルに取り込んで、照合対象画像集合に対応する意味タグ集合を取得するための意味タグ取得サブユニットであって、前記意味タグモデルは、照合対象画像と意味タグとの第2の対応関係を特徴付けるために用いられ、意味タグは照合対象画像をテキストで説明するために用いられる、意味タグ取得サブユニットと、
前記意味タグ集合から認識対象意味タグを選択し、認識対象意味タグにおける前記画像に対応する名詞の解釈情報を記述情報とするための記述情報取得サブユニットと、を備えることを特徴とする請求項6に記載の装置。 - 前記記述情報取得サブユニットは、
前記意味タグ集合における同一の意味タグの数をカウントし、最大数を有する意味タグを認識対象意味タグとすることを特徴とする請求項8に記載の装置。 - 前記装置は、前記記述情報を補正するための補正ユニットをさらに備え、前記補正ユニットは、
前記応答情報の正確さを評価するための、前記応答情報に対応するフィードバック情報を受信するためのフィードバック情報受信サブユニットと、
前記フィードバック情報に対して意味認識を行って正確率情報を得るための正確率情報取得サブユニットと、
前記正確率情報が所定の閾値よりも低い場合には、前記意味タグ集合における認識対象意味タグ以外の意味タグから第2の認識対象タグを選択するための第2の認識対象タグ取得サブユニットと、
第2の認識対象タグにおける前記画像に対応する名詞の解釈情報を第2の記述情報とするための第2の記述情報取得サブユニットと、
第2の記述情報から前記処理対象情報の応答情報を構築するための第2の応答情報構築サブユニットと、を備えることを特徴とする請求項9に記載の装置。 - 1つ以上のプロセッサと、
1つ以上のプログラムを記憶するためのメモリとを備えるサーバであって、
前記1つ以上のプログラムが前記1つ以上のプロセッサによって実行されるときに、前記1つ以上のプロセッサに請求項1〜5のいずれか1項に記載の方法を実行させるサーバ。 - コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、当該プログラムがプロセッサによって実行されるときに、請求項1〜5のいずれか1項に記載の方法を実行することを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710847084.6 | 2017-09-19 | ||
CN201710847084.6A CN107590252A (zh) | 2017-09-19 | 2017-09-19 | 用于信息交互的方法及装置 |
PCT/CN2018/092870 WO2019056821A1 (zh) | 2017-09-19 | 2018-06-26 | 用于信息交互的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019536122A true JP2019536122A (ja) | 2019-12-12 |
JP6783375B2 JP6783375B2 (ja) | 2020-11-11 |
Family
ID=61047238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019504024A Active JP6783375B2 (ja) | 2017-09-19 | 2018-06-26 | 情報インタラクションのための方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190163699A1 (ja) |
EP (1) | EP3480704A4 (ja) |
JP (1) | JP6783375B2 (ja) |
CN (1) | CN107590252A (ja) |
WO (1) | WO2019056821A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108334498A (zh) * | 2018-02-07 | 2018-07-27 | 百度在线网络技术(北京)有限公司 | 用于处理语音请求的方法和装置 |
CN111931510A (zh) * | 2019-04-25 | 2020-11-13 | 广东小天才科技有限公司 | 一种基于神经网络的意图识别方法及装置、终端设备 |
CN112905825B (zh) * | 2019-12-04 | 2023-03-21 | 博泰车联网科技(上海)股份有限公司 | 用于信息处理的方法、设备和计算机存储介质 |
CN111538862B (zh) * | 2020-05-15 | 2023-06-20 | 北京百度网讯科技有限公司 | 用于解说视频的方法及装置 |
CN113034113A (zh) * | 2021-04-01 | 2021-06-25 | 苏州惟信易量智能科技有限公司 | 一种基于可穿戴设备的流程控制***及方法 |
CN113034114A (zh) * | 2021-04-01 | 2021-06-25 | 苏州惟信易量智能科技有限公司 | 一种基于可穿戴设备的流程控制***及方法 |
CN113052561A (zh) * | 2021-04-01 | 2021-06-29 | 苏州惟信易量智能科技有限公司 | 一种基于可穿戴设备的流程控制***及方法 |
CN117216308B (zh) * | 2023-11-09 | 2024-04-26 | 天津华来科技股份有限公司 | 基于大模型的搜索方法、***、设备及介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100414548C (zh) * | 2006-09-22 | 2008-08-27 | 南京搜拍信息技术有限公司 | 综合利用图像及文字信息的搜索***及搜索方法 |
US8452794B2 (en) * | 2009-02-11 | 2013-05-28 | Microsoft Corporation | Visual and textual query suggestion |
CN101986293B (zh) * | 2010-09-03 | 2016-08-24 | 百度在线网络技术(北京)有限公司 | 用于在搜索界面中呈现搜索答案信息的方法及设备 |
US8645359B2 (en) * | 2010-09-30 | 2014-02-04 | Microsoft Corporation | Providing associations between objects and individuals associated with relevant media items |
US9098533B2 (en) * | 2011-10-03 | 2015-08-04 | Microsoft Technology Licensing, Llc | Voice directed context sensitive visual search |
US10223454B2 (en) * | 2013-05-01 | 2019-03-05 | Cloudsight, Inc. | Image directed search |
CN105512220B (zh) * | 2015-11-30 | 2018-12-11 | 小米科技有限责任公司 | 图像页面输出方法及装置 |
CN106777177A (zh) * | 2016-12-22 | 2017-05-31 | 百度在线网络技术(北京)有限公司 | 检索方法和装置 |
CN115357748A (zh) * | 2017-01-17 | 2022-11-18 | 腾讯科技(上海)有限公司 | 头戴式装置 |
-
2017
- 2017-09-19 CN CN201710847084.6A patent/CN107590252A/zh active Pending
-
2018
- 2018-06-26 JP JP2019504024A patent/JP6783375B2/ja active Active
- 2018-06-26 EP EP18836804.7A patent/EP3480704A4/en not_active Ceased
- 2018-06-26 WO PCT/CN2018/092870 patent/WO2019056821A1/zh unknown
-
2019
- 2019-02-01 US US16/265,303 patent/US20190163699A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP6783375B2 (ja) | 2020-11-11 |
EP3480704A4 (en) | 2019-09-18 |
US20190163699A1 (en) | 2019-05-30 |
WO2019056821A1 (zh) | 2019-03-28 |
EP3480704A1 (en) | 2019-05-08 |
CN107590252A (zh) | 2018-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6783375B2 (ja) | 情報インタラクションのための方法および装置 | |
WO2018192491A1 (zh) | 信息推送方法和装置 | |
US10922355B2 (en) | Method and apparatus for recommending news | |
WO2016206210A1 (zh) | 信息推送方法和装置 | |
US11550860B2 (en) | Matchmaking video chatting partners | |
JP2019091418A (ja) | ページを制御する方法および装置 | |
US11011163B2 (en) | Method and apparatus for recognizing voice | |
CN106685916A (zh) | 电子会议智能 | |
CN109040960A (zh) | 一种实现位置服务的方法和装置 | |
US10755079B2 (en) | Method and apparatus for acquiring facial information | |
WO2019237541A1 (zh) | 联系人标签的确定方法、装置、终端设备及介质 | |
WO2020044099A1 (zh) | 一种基于对象识别的业务处理方法和装置 | |
JP2019145093A (ja) | 情報を生成するための方法及び装置 | |
US9122910B2 (en) | Method, apparatus, and system for friend recommendations | |
WO2017143930A1 (zh) | 一种搜索结果排序方法及其设备 | |
US20140333746A1 (en) | Method and apparatus for inquiring information | |
US9208392B2 (en) | Methods and apparatus for progressive pattern matching in a mobile environment | |
WO2023142451A1 (zh) | 工作流生成方法、装置、电子设备 | |
KR102017746B1 (ko) | 유사도 산출 방법 및 그 장치 | |
CN108667915B (zh) | 信息推送***、方法和装置 | |
KR102640679B1 (ko) | 컨설팅 정보 처리 방법 및 장치 | |
CN112148962A (zh) | 用于推送信息的方法和装置 | |
US10803861B2 (en) | Method and apparatus for identifying information | |
CN111488386A (zh) | 数据查询方法和装置 | |
US20130230248A1 (en) | Ensuring validity of the bookmark reference in a collaborative bookmarking system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6783375 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |