JP2023076413A - 言語モデルを利用してドメインに特化した対話を提供する方法、コンピュータ装置、およびコンピュータプログラム - Google Patents
言語モデルを利用してドメインに特化した対話を提供する方法、コンピュータ装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2023076413A JP2023076413A JP2022185689A JP2022185689A JP2023076413A JP 2023076413 A JP2023076413 A JP 2023076413A JP 2022185689 A JP2022185689 A JP 2022185689A JP 2022185689 A JP2022185689 A JP 2022185689A JP 2023076413 A JP2023076413 A JP 2023076413A
- Authority
- JP
- Japan
- Prior art keywords
- document
- sample
- query
- processor
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004590 computer program Methods 0.000 title claims abstract description 10
- 238000009826 distribution Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 101100153581 Bacillus anthracis topX gene Proteins 0.000 description 1
- 101150041570 TOP1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3322—Query formulation using system suggestions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
302:クエリデータ
310:大規模言語モデル
320:検索モデル
Claims (16)
- 検索モデルであって、
特定のドメインに属する各文書と、当該文書に対して生成されたクエリとのペア(Document、Query)からなるデータに基づいて学習されたものであり、
当該検索モデルに入力されたユーザの質問に対して、前記データに基づいて、回答内容が含まれ得る文書を選定し、前記ユーザの質問に対する回答を出力するように、コンピュータを機能させるための検索モデル。 - 前記ユーザの質問に対する各文書のスコアを利用することによってランク付けを実行することによって、前記回答内容が含まれ得る文書を選定するように、コンピュータを機能させるための請求項1に記載の検索モデル。
- 前記生成されたクエリは、前記文書に基づいて既に学習された言語モデルを利用して生成されたことを特徴とする、請求項1に記載の検索モデル。
- コンピュータ装置で実行される方法であって、
前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
当該方法は、
前記少なくとも1つのプロセッサが、与えられた文書に対して、言語モデルを利用して前記文書で回答可能な少なくとも1つのクエリを生成する段階、および
前記少なくとも1つのプロセッサが、前記文書と前記クエリを対話ボットのための検索モデルの学習に利用する段階
を含む、方法。 - 前記生成する段階は、
ドメインに特化した検索モデルのために、前記ドメインに属するターゲット文書を対象にして前記クエリを生成すること
を特徴とする、請求項4に記載の方法。 - 前記生成する段階は、
サンプル文書とサンプルクエリからなるサンプルデータを利用して、ターゲット文書に対するプロンプトを構成する段階、および
前記プロンプトを前記言語モデルの入力とし、前記サンプルデータのパターンにそって前記ターゲット文書に対するクエリを生成する段階
を含む、請求項4に記載の方法。 - 前記生成する段階は、
第1サンプル文書と第1サンプルキーワードからなる第1サンプルデータを利用して、ターゲット文書に対する第1プロンプトを構成する段階、
前記第1プロンプトを前記言語モデルの入力とし、前記第1サンプルデータのパターンにそって前記ターゲット文書に対するキーワードを生成する段階、
第2サンプル文書、第2サンプルキーワード、およびサンプルクエリからなる第2サンプルデータを利用して、前記ターゲット文書のキーワードに対する第2プロンプトを構成する段階、および
前記第2プロンプトを前記言語モデルの入力とし、前記ターゲット文書のキーワードに対して前記第2サンプルデータのパターンにそって前記ターゲット文書に対するクエリを生成する段階
を含む、請求項4に記載の方法。 - 当該方法は、
前記少なくとも1つのプロセッサが、入力されたユーザの質問に対して、前記検索モデルによって選定された文書を参照しながら前記ユーザの質問に対する回答を提供する段階
をさらに含む、請求項4に記載の方法。 - 前記提供する段階は、
前記ユーザの質問に対して、前記検索モデルによって計算された各文書のスコアを確率分布の形態に変換する段階、および
前記確率分布のエントロピーによって前記ユーザの質問に対する回答の類型を決定する段階
を含む、請求項8に記載の方法。 - 請求項4乃至9のうちのいずれか一項に記載の方法を前記コンピュータ装置に実行させるためのコンピュータプログラム。
- コンピュータ装置であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
与えられた文書に対して、言語モデルを利用して前記文書で回答可能な少なくとも1つのクエリを生成する過程、および
前記文書と前記クエリを対話ボットのための検索モデルの学習に利用する過程
を実行する、コンピュータ装置。 - 前記少なくとも1つのプロセッサは、
ドメインに特化した検索モデルのために、前記ドメインに属するターゲット文書を対象にして前記クエリを生成すること
を特徴とする、請求項11に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
サンプル文書とサンプルクエリからなるサンプルデータを利用してターゲット文書に対するプロンプトを構成し、
前記プロンプトを前記言語モデルの入力とし、前記サンプルデータのパターンにそって前記ターゲット文書に対するクエリを生成すること
を特徴とする、請求項11に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
第1サンプル文書と第1サンプルキーワードからなる第1サンプルデータを利用して、ターゲット文書に対する第1プロンプトを構成し、
前記第1プロンプトを前記言語モデルの入力とし、前記第1サンプルデータのパターンにそって前記ターゲット文書に対するキーワードを生成し、
第2サンプル文書、第2サンプルキーワード、およびサンプルクエリからなる第2サンプルデータを利用して、前記ターゲット文書のキーワードに対する第2プロンプトを構成し、
前記第2プロンプトを前記言語モデルの入力とし、前記ターゲット文書のキーワードに対して前記第2サンプルデータのパターンにそって前記ターゲット文書に対するクエリを生成すること
を特徴とする、請求項11に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
入力されたユーザの質問に対して、前記検索モデルによって選定された文書を参照しながら前記ユーザの質問に対する回答を提供すること
を特徴とする、請求項11に記載のコンピュータ装置。 - 前記少なくとも1つのプロセッサは、
前記ユーザの質問に対して、前記検索モデルによって計算された各文書のスコアを確率分布の形態に変換し、
前記確率分布のエントロピーによって前記ユーザの質問に対する回答の類型を決定すること
を特徴とする、請求項15に記載のコンピュータ装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0161268 | 2021-11-22 | ||
KR1020210161268A KR20230075052A (ko) | 2021-11-22 | 2021-11-22 | 언어 모델을 이용하여 도메인에 특화된 대화를 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023076413A true JP2023076413A (ja) | 2023-06-01 |
Family
ID=86543938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022185689A Pending JP2023076413A (ja) | 2021-11-22 | 2022-11-21 | 言語モデルを利用してドメインに特化した対話を提供する方法、コンピュータ装置、およびコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023076413A (ja) |
KR (1) | KR20230075052A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402164A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 基于预训练语言模型的机器人任务生成方法、装置及介质 |
CN117194410A (zh) * | 2023-07-13 | 2023-12-08 | 广州白码科技有限公司 | 一种人工智能语言模型生成业务报表的方法及*** |
JP7441366B1 (ja) | 2023-09-19 | 2024-02-29 | 株式会社東芝 | 情報処理装置、情報処理方法及びコンピュータプロググラム |
JP7511068B1 (ja) | 2023-10-16 | 2024-07-04 | PayPay株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102658967B1 (ko) * | 2023-07-03 | 2024-04-19 | 주식회사 렛서 | 인공지능 기반 솔루션을 제공하기 위한 방법, 전자 장치, 및 시스템 |
KR102653266B1 (ko) * | 2023-07-07 | 2024-04-02 | 주식회사 비씨티원 | 인공지능 기반의 챗봇 대화 상담 시스템 및 그 방법 |
KR102637029B1 (ko) | 2023-10-11 | 2024-02-15 | 주식회사 마인즈앤컴퍼니 | 거대언어모델을 활용하여 멀티턴 챗봇 데이터 생성을 위한 장치 및 그 장치의 구동방법 |
-
2021
- 2021-11-22 KR KR1020210161268A patent/KR20230075052A/ko unknown
-
2022
- 2022-11-21 JP JP2022185689A patent/JP2023076413A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402164A (zh) * | 2023-06-06 | 2023-07-07 | 之江实验室 | 基于预训练语言模型的机器人任务生成方法、装置及介质 |
CN116402164B (zh) * | 2023-06-06 | 2023-09-05 | 之江实验室 | 基于预训练语言模型的机器人任务生成方法、装置及介质 |
CN117194410A (zh) * | 2023-07-13 | 2023-12-08 | 广州白码科技有限公司 | 一种人工智能语言模型生成业务报表的方法及*** |
CN117194410B (zh) * | 2023-07-13 | 2024-05-14 | 广州白码科技有限公司 | 一种人工智能语言模型生成业务报表的方法及*** |
JP7441366B1 (ja) | 2023-09-19 | 2024-02-29 | 株式会社東芝 | 情報処理装置、情報処理方法及びコンピュータプロググラム |
JP7511068B1 (ja) | 2023-10-16 | 2024-07-04 | PayPay株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
KR20230075052A (ko) | 2023-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023076413A (ja) | 言語モデルを利用してドメインに特化した対話を提供する方法、コンピュータ装置、およびコンピュータプログラム | |
US20210232762A1 (en) | Architectures for natural language processing | |
US11556573B2 (en) | Semantic cluster formation in deep learning intelligent assistants | |
CN116775847A (zh) | 一种基于知识图谱和大语言模型的问答方法和*** | |
WO2022154897A1 (en) | Classifier assistance using domain-trained embedding | |
Shen et al. | Kwickchat: A multi-turn dialogue system for aac using context-aware sentence generation by bag-of-keywords | |
US11379527B2 (en) | Sibling search queries | |
CN112035626A (zh) | 一种大规模意图的快速识别方法、装置和电子设备 | |
CN110851650A (zh) | 一种评论输出方法、装置、以及计算机存储介质 | |
CN114416926A (zh) | 关键词匹配方法、装置、计算设备及计算机可读存储介质 | |
El Janati et al. | Adaptive e-learning AI-powered chatbot based on multimedia indexing | |
CN111881264A (zh) | 一种开放领域问答任务中长文本检索的方法和电子设备 | |
Mallinar et al. | iterative data programming for expanding text classification corpora | |
Borisov et al. | Keyword extraction for improved document retrieval in conversational search | |
KR102663908B1 (ko) | 시맨틱 분석을 통한 의미 검색 서비스 제공 방법 | |
EP4127957A1 (en) | Methods and systems for searching and retrieving information | |
CN111026908A (zh) | 歌曲标签确定方法、装置、计算机设备以及存储介质 | |
KR20200011251A (ko) | 대화 인지를 위한 규칙 생성 방법, 규칙 기반의 추론 방법 및 그 방법이 적용된 장치 | |
CN114942981A (zh) | 问答查询方法、装置、电子设备及计算机可读存储介质 | |
Shahade et al. | Deep learning approach-based hybrid fine-tuned Smith algorithm with Adam optimiser for multilingual opinion mining | |
KR20200023620A (ko) | 대화 인지를 위한 규칙기반의 사용자 의도 추론 장치 | |
US11934794B1 (en) | Systems and methods for algorithmically orchestrating conversational dialogue transitions within an automated conversational system | |
CN117436457B (zh) | 反讽识别方法、装置、计算设备及存储介质 | |
Che et al. | A feature and deep learning model recommendation system for mobile application | |
CN116955615A (zh) | 意图识别方法、装置、设备、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240716 |