JP2023050159A - コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置 - Google Patents
コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置 Download PDFInfo
- Publication number
- JP2023050159A JP2023050159A JP2022152868A JP2022152868A JP2023050159A JP 2023050159 A JP2023050159 A JP 2023050159A JP 2022152868 A JP2022152868 A JP 2022152868A JP 2022152868 A JP2022152868 A JP 2022152868A JP 2023050159 A JP2023050159 A JP 2023050159A
- Authority
- JP
- Japan
- Prior art keywords
- media
- media message
- keywords
- message
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 title claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 12
- 239000000284 extract Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 241000282326 Felis catus Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】特定のセッションに対してユーザがキーワード検索するときに、メディアメッセージを提供することができる、コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置を提供する。【解決手段】メディアメッセージ検索方法は、インスタントメッセージングサービスの特定のセッションで送信しようとするまたは受信したメディアメッセージを分析し、メディアメッセージに含まれたメディアのキーワードを抽出する段階、当該抽出されたメディアのキーワードを、メディアメッセージの識別子と関連付けてローカルデータベースに格納する段階、特定のセッションで送受信されたインスタントメッセージに対する検索インタフェースを提供する段階、および検索インタフェースに入力されたキーワードを利用してローカルデータベースから検索された識別子に対応するメディアメッセージを提供する段階を含む。【選択図】図3
Description
以下の説明は、コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置に関する。
インスタントメッセージングサービスでは、特定のセッションで送受信したインスタントメッセージのシーケンスが、該当のセッションに該当するチャットルーム(chat room)を通じて該当のセッションの参加者に表示されるようになる。このとき、インスタントメッセージの数が多いほど、チャットルーム内で以前に送受信した特定のメッセージを探索しようとするときに困難が生じる。
参加者による特定のメッセージの探索をサポートするために、特定のキーワードを含むメッセージを検索し、検索されたメッセージに該当するインスタントメッセージのシーケンスの位置をチャットルーム内で表示する機能がある。
インスタントメッセージングサービスの特定のセッションで送受信されたメッセージに含まれた写真、動画、オーディオのようなメディアを分析してキーワードを抽出し、抽出したメディアのキーワードをメッセージのメタデータとして格納することにより、該当のセッションに対してユーザがキーワード検索するときに、テキストメッセージだけでなくメディアメッセージも提供することができる、コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置を提供する。
少なくとも1つのプロセッサを含むコンピュータ装置のメディアメッセージ検索方法であって、前記少なくとも1つのプロセッサにより、インスタントメッセージングサービスの特定のセッションを生成する、または前記特定のセッションに参加する段階、前記少なくとも1つのプロセッサにより、前記特定のセッションで送信しようとするメディアメッセージまたは前記特定のセッションで受信したメディアメッセージを分析し、前記送信しようとするメディアメッセージまたは前記受信したメディアメッセージに含まれたメディアのキーワードを抽出する段階、前記少なくとも1つのプロセッサにより、当該抽出されたメディアのキーワードを、対応するメディアを含むメディアメッセージの識別子と関連付けて前記コンピュータ装置のローカルデータベースに格納する段階、前記少なくとも1つのプロセッサにより、前記特定のセッションで送受信されたインスタントメッセージに対する検索インタフェースを提供する段階、および前記少なくとも1つのプロセッサにより、前記検索インタフェースに入力されたキーワードを利用して前記ローカルデータベースから検索された識別子に対応するメディアメッセージを提供する段階を含む、メディアメッセージ検索方法を提供する。
一側によると、前記メディアメッセージを提供する段階は、前記検索インタフェースに入力されたキーワードを含むテキストメッセージ、および前記検索インタフェースに入力されたキーワードを利用して前記ローカルデータベースから検索された識別子に対応するメディアメッセージを含む検索結果リストを提供する段階、および前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索結果リストから選択された検索結果に対応するインスタントメッセージの位置に対応する部分が表示されるようにインスタントメッセージを提供する段階を含むことを特徴としてよい。
他の側面によると、前記メディアメッセージを提供する段階は、前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索された識別子に対応するメディアメッセージの位置に対応する部分が表示されるように、前記検索された識別子に対応するメディアメッセージを提供することを特徴としてよい。
また他の側面によると、前記メディアメッセージを提供する段階は、前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索インタフェースに入力されたキーワードに対応するインスタントメッセージを順に表示し、当該順に表示されたインスタントメッセージは、前記検索インタフェースに入力されたキーワードを含むテキストメッセージと前記検索された識別子に対応するメディアメッセージとを含むことを特徴としてよい。
また他の側面によると、前記メディアのキーワードを抽出する段階は、前記受信したメディアメッセージとともに、前記受信したメディアメッセージを送信した送信者側端末機によって前記受信したメディアメッセージが含むメディアについて抽出されたキーワードを、前記インスタントメッセージングサービスを提供するサーバを経て受信し、前記受信したメディアメッセージから前記メディアのキーワードを抽出することを特徴としてよい。
また他の側面によると、前記メディアのキーワードを抽出する段階は、前記メディアがイメージを含む場合、入力されるイメージのカテゴリを分類するように学習されたビジョンベースのマシンラーニングモデルを利用して、前記イメージのカテゴリを前記イメージを含むメディアのキーワードとして抽出することを特徴としてよい。
また他の側面によると、前記メディアのキーワードを抽出する段階は、前記メディアがオーディオを含む場合、入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースのマシンラーニングモデルを利用して、前記オーディオのカテゴリを前記オーディオを含むメディアのキーワードとして抽出することを特徴としてよい。
さらに他の側面によると、前記メディアのキーワードを抽出する段階は、前記メディアがビデオを含む場合、入力されるイメージのカテゴリを分類するように学習されたビジョンベースの第1マシンラーニングモデルを利用して前記ビデオのサムネイルイメージの第1カテゴリを抽出する段階、入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースの第2マシンラーニングモデルを利用して前記ビデオのオーディオの第2カテゴリを抽出する段階、および前記第1カテゴリおよび前記第2カテゴリのうちの少なくとも1つを、前記ビデオを含むメディアのキーワードとして決定する段階を含むことを特徴としてよい。
コンピュータ装置と結合して前記方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されるコンピュータプログラムを提供する。
前記方法をコンピュータ装置に実行させるためのプログラムが記録されているコンピュータ読み取り可能な記録媒体を提供する。
コンピュータ装置によって読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサにより、インスタントメッセージングサービスの特定のセッションでメディアメッセージおよび前記メディアメッセージを送信した送信者側端末機によって抽出された前記メディアメッセージが含むメディアのキーワードを受信し、前記受信したメディアのキーワードを前記メディアメッセージと関連付けて格納し、前記受信したメディアメッセージおよび前記メディアのキーワードを前記特定のセッションの参加者の端末機に伝達し、前記受信したメディアのキーワードを前記メディアと関連するタイムラインコンテンツのタグとして登録することを特徴とする、コンピュータ装置を提供する。
インスタントメッセージングサービスの特定のセッションで送受信されたメッセージに含まれた写真、動画、オーディオのようなメディアを分析してキーワードを抽出し、抽出したメディアのキーワードをメッセージのメタデータとして格納することにより、該当のセッションに対してユーザがキーワード検索するときに、テキストメッセージだけでなくメディアメッセージも提供することができる。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係るメディアメッセージ検索システムは、少なくとも1つのコンピュータ装置によって実現されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係るメディアメッセージ検索方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合してメディアメッセージ検索方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。
図1は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図1のネットワーク環境は、複数の電子機器110、120、130、140、複数のサーバ150、160、およびネットワーク170を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図1のように限定されることはない。また、図1のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図1のネットワーク環境に限定されることはない。
複数の電子機器110、120、130、140は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器110、120、130、140の例としては、スマートフォン、携帯電話、ナビゲーション、PC(Personal Computer)、ノート型PC、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどがある。一例として、図1では、電子機器110の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器110は、実質的に無線または有線通信方式を利用し、ネットワーク170を介して他の電子機器120、130、140および/またはサーバ150、160と通信することのできる多様な物理的なコンピュータ装置のうちの1つを意味してよい。
通信方式が限定されることはなく、ネットワーク170が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク170は、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、BBN(BroadBand Network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。さらに、ネットワーク170は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター-バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
サーバ150、160それぞれは、複数の電子機器110、120、130、140とネットワーク170を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する1つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ150は、ネットワーク170を介して接続した複数の電子機器110、120、130、140にサービス(一例として、インスタントメッセージングサービス、取引(一例として、送金)サービス、決済サービス、仮想取引所サービス、リスクモニタリングサービス、ゲームサービス、グループ通話サービス(または、音声会議サービス)、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービス、検索サービス、および/またはコンテンツ提供サービスなど)を提供するシステムであってよい。
図2は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器110、120、130、140のそれぞれやサーバ150、160のそれぞれは、図2に示したコンピュータ装置200によって実現されてよい。
このようなコンピュータ装置200は、図2に示すように、メモリ210、プロセッサ220、通信インタフェース230、および入力/出力インタフェース240を含んでよい。メモリ210は、コンピュータ読み取り可能な記録媒体であって、RAM(Random Access Memory)、ROM(Read Only Memory)、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMやディスクドライブのような永続的大容量記録装置は、メモリ210とは区分される別の永続的記録装置としてコンピュータ装置200に含まれてもよい。また、メモリ210には、オペレーティングシステムと、少なくとも1つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ210とは別のコンピュータ読み取り可能な記録媒体からメモリ210にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピードライブ、ディスク、テープ、DVD/CD-ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース230を通じてメモリ210にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク170を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいて、コンピュータ装置200のメモリ210にロードされてよい。
プロセッサ220は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ210または通信インタフェース230によって、プロセッサ220に提供されてよい。例えば、プロセッサ220は、メモリ210のような記録装置に記録されたプログラムコードに従って受信される命令を実行するように構成されてよい。
通信インタフェース230は、ネットワーク170を介してコンピュータ装置200が他の装置(一例として、上述した記録装置)と互いに通信するための機能を提供してよい。一例として、コンピュータ装置200のプロセッサ220がメモリ210のような記録装置に記録されたプログラムコードに従って生成した要求や命令、データ、ファイルなどが、通信インタフェース230の制御に従ってネットワーク170を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク170を経て、コンピュータ装置200の通信インタフェース230を通じてコンピュータ装置200に受信されてよい。通信インタフェース230を通じて受信された信号や命令、データなどは、プロセッサ220やメモリ210に伝達されてよく、ファイルなどは、コンピュータ装置200がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース240は、入力/出力装置250とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力/出力インタフェース240は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置250は、コンピュータ装置200と1つの装置で構成されてもよい。
また、他の実施形態において、コンピュータ装置200は、図2の構成要素よりも少ない構成要素または多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置200は、上述した入力/出力装置250のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。
図3は、本発明の一実施形態における、メディアメッセージ検索方法の例を示したフローチャートである。本実施形態に係るメディアメッセージ検索方法は、インスタントメッセージングサービスを利用して特定のセッションに参加し、インスタントメッセージを送信または受信する端末機を実現するコンピュータ装置200によって実行されてよい。このとき、コンピュータ装置200のプロセッサ220は、メモリ210が含むオペレーティングシステムのコードと、少なくとも1つのコンピュータプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令にしたがってコンピュータ装置200が図3の方法に含まれる段階310~350を実行するようにコンピュータ装置200を制御してよい。
段階310で、コンピュータ装置200は、インスタントメッセージングサービスの特定のセッションを生成する、または特定のセッションに参加してよい。インスタントメッセージングサービスのセッションは、特定のチャットルーム(chat room)に対応してよい。該当のセッションで送受信されたインスタントメッセージのシーケンスが、対応するチャットルームを通じて該当のセッションの参加者に提供されてよい。一例として、上述した少なくとも1つのコンピュータプログラムは、インスタントメッセージングサービスと連係するアプリケーションであってよく、コンピュータ装置200は、少なくとも1つのプロセッサ(一例として、プロセッサ220)により、アプリケーションの制御にしたがってインスタントメッセージングサービスを提供するサーバにアクセスして特定のセッションを生成する、または既に生成されている特定のセッションに参加してよい。
段階320で、コンピュータ装置200は、特定のセッションで送信しようとするメディアメッセージまたは特定のセッションで受信したメディアメッセージを分析し、送信しようとするメディアメッセージまたは受信したメディアメッセージに含まれたメディアのキーワードを抽出してよい。コンピュータ装置200は、インスタントメッセージングサービスの該当のセッションでインスタントメッセージを送信したり、他の参加者のインスタントメッセージを受信したりする。このとき、テキストだけを含むインスタントメッセージはテキストメッセージに、イメージ、オーディオ、および/またはビデオのようなメディアを含むインスタントメッセージはメディアメッセージに分類してよい。コンピュータ装置200は、メディアが含まれたメディアメッセージを送信しようとする場合、メディアメッセージを送信する前にメディアメッセージを分析し、送信しようとするメディアメッセージのキーワードを抽出してよい。他の例として、コンピュータ装置200は、メディアを含むメディアメッセージを受信した場合、メディアメッセージに含まれるメディアのキーワードを抽出してもよい。メディアのキーワードを抽出する方法については、以下でさらに詳しく説明する。
一方、一実施形態において、コンピュータ装置200は、受信したメディアメッセージが含むメディアを直接分析してメディアのキーワードを抽出してよい。他の実施形態として、コンピュータ装置200は、メディアメッセージを送信した送信者側端末機によって抽出されたキーワードを単純に受信してもよい。一例として、送信者側端末機は、自身が送信しようとするメディアメッセージを分析し、メディアメッセージが含むメディアのキーワードを抽出してよい。この後、送信者側端末機は、メディアメッセージとともに、抽出したメディアのキーワードを送信してよい。送信されたメディアメッセージは、インスタントメッセージングサービスを提供するサーバを経てコンピュータ装置200に伝達されてよく、コンピュータ装置200は、受信したメディアメッセージに含まれているキーワードを該当のメディアメッセージが含むメディアのキーワードとして抽出してよい。このとき、メディアメッセージを伝達するサーバは、送受信されるインスタントメッセージを一定の期間にわたってサーバに格納してよい。この場合、サーバは、メディアメッセージを格納するときに、該当のメディアメッセージとともに、該当のメディアメッセージと伝達されたメディアのキーワードを関連付けて格納してよい。サーバに伝達されて格納されたメディアのキーワードは、以後には、該当のメディアと関連するタイムラインコンテンツのタグとして自動登録されてよい。
段階330で、コンピュータ装置200は、抽出されたメディアのキーワードを、対応するメディアを含むメディアメッセージの識別子と関連付けてコンピュータ装置のローカルデータベースに格納してよい。このようなメディアのキーワードは、メディアのメタデータとして、特定のメディアを含むメディアメッセージの検索に活用されてよい。ここで、ローカルデータベースは、上述したようなコンピュータ装置200のメモリ210や、個別に説明した永続的記録装置によって実現されてよい。
段階340で、コンピュータ装置200は、特定のセッションで送受信されたインスタントメッセージに対する検索インタフェースを提供してよい。検索インタフェースは、一例として、ユーザがキーワードを入力するためのユーザインタフェースを含んでよいが、実施形態によっては、ユーザがキーワードやカテゴリなどを選択するためのユーザインタフェースを含んでもよい。
段階350で、コンピュータ装置200は、検索インタフェースに入力されたキーワードを利用してローカルデータベースで検索された識別子に対応するメディアメッセージを提供してよい。
一実施形態として、コンピュータ装置200は、特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、検索された識別子に対応するメディアメッセージの位置に対応する部分が表示されるように、検索された識別子に対応するメディアメッセージを提供してよい。より具体的な例として、コンピュータ装置200は、該当のセッションで送受信されたインスタントメッセージのシーケンスにおいて、検索インタフェースに入力されたキーワードに対応するインスタントメッセージを順に提供してよい。上述したように、インスタントメッセージは、テキストメッセージとメディアメッセージを含んでよい。この場合、コンピュータ装置200は、特定のキーワードを含むテキストメッセージおよび/または特定のキーワードと関連付けてローカルデバイスに格納された識別子のメディアメッセージを、インスタントメッセージのシーケンスにしたがって順に提供してよい。ここで、インスタントメッセージを提供するということは、該当のシーケンスにおいて該当のインスタントメッセージの位置がチャットルームに表示されるようにすることを含んでよい。
他の実施形態で、コンピュータ装置200は、入力されたキーワードに対応する検索結果のリストをはじめに画面に表示してよい。検索結果のリストは、1つ以上の検索結果を含んでよい。このとき、各検索結果は、対応するインスタントメッセージに関する情報を含んでよい。一例として、検索結果は、テキストメッセージの場合には、テキストメッセージの送信者の識別子、送信者のプロフィールイメージ、および対応するテキストの少なくとも一部を含んでよい。他の例として、検索結果は、メディアメッセージの場合には、送信者の識別子、送信者のプロフィールイメージ、およびメディアメッセージが含むメディアの種類(イメージ(写真)、オーディオ、ビデオ(動画)など)に関する情報を含んでよい。この場合、ユーザが特定の検索結果を選択したとき(一例として、タッチスクリーン環境において、アイコン520が表示された領域でユーザからのタッチ入力が認識されたとき)、コンピュータ装置200は、インスタントメッセージのシーケンスにおいて、選択された検索結果に対応するインスタントメッセージの位置に対応する部分を表示することにより、該当の検索結果に対応するインスタントメッセージをユーザに提供してよい。
したがって、コンピュータ装置200は、特定のセッションで送受信されたインスタントメッセージのうち、ユーザが検索インタフェースに入力したキーワードに対応するテキストメッセージだけでなく、メディアメッセージまで検索して提供することができる。
一方、コンピュータ装置200は、メディアメッセージが含むメディアからキーワードを抽出するために、マシンラーニングモデルを活用してよい。
一例として、メディアがイメージを含む場合、コンピュータ装置200は、入力されるイメージのカテゴリを分類するように学習されたビジョンベースのマシンラーニングモデルを利用して、イメージのカテゴリを、イメージを含むメディアのキーワードとして抽出してよい。
他の例として、メディアがオーディオを含む場合、コンピュータ装置200は、入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースのマシンラーニングモデルを利用して、オーディオのカテゴリを、オーディオを含むメディアのキーワードとして抽出してよい。
また他の例として、メディアがビデオを含む場合もある。このとき、ビデオには、多数のサムネイルイメージとオーディオとが含まれる。この場合、コンピュータ装置200は、入力されるイメージのカテゴリを分類するように学習されたビジョンベースの第1マシンラーニングモデルを利用してビデオのサムネイルイメージの第1カテゴリを抽出してよく、入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースの第2マシンラーニングモデルを利用して前記ビデオのオーディオの第2カテゴリを抽出してよい。この後、コンピュータ装置200は、第1カテゴリおよび第2カテゴリのうちの少なくとも1つを、ビデオを含むメディアのキーワードとして決定してよい。このとき、第1カテゴリは、多数のサムネイルイメージに対する複数のカテゴリを含んでもよい。一例として、コンピュータ装置200は、第1カテゴリが含む複数のカテゴリのうちで最も多い数の同一カテゴリを第1カテゴリとして最終決定してよい。この後、第1カテゴリおよび第2カテゴリのうちのいずれか1つまたは2つすべてをメディアのキーワードとして決定してよい。このように、メディアのキーワードは、1つ以上のキーワードを含んでもよい。
一方、1つのイメージに対して複数のキーワードが抽出されてもよい。一例として、「ラブラドルレトリバー(Labrador Retriever)」の場合、キーワード「ラブラドル(Labrador)」とキーワード「レトリバー(Retriever)」とがそれぞれ1つのイメージに対するキーワードとして抽出されてよい。このように、メディアのキーワードは、複数のキーワードを含むこともあるが、この場合、該当のメディアを含むメディアメッセージは、複数のキーワードのうちのいずれか1つに対して検索されてよい。
一方、それぞれのマシンラーニングモデルは、入力されるイメージやオーディオに対して予め設定された信頼度以上のカテゴリを出力するように学習されてよい。このようなマシンラーニングモデルは、一例として、MLP(Multi-Layer Perceptron)、DNN(Deep Neural Network)、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、G-CNN(Group Convolutional Neural Network)、R-CNN(Recurrent Convolutional Neural Network)などの多様なアルゴリズムのうちの1つ以上が活用されてよく、特定のアルゴリズムに限定されるものではない。また、それぞれのマシンラーニングモデルは、イメージやオーディオを分類してカテゴリを出力するように実現された周知のモデルのうちのいずれか1つを活用してもよい。一例として、イメージを分類するためには周知のコアマシンラーニング(CoreML(Core Machine Learning))フレームワークとビジョン(Vision)フレームワークが活用されてよく、分類の信頼度が70%以上であれば、分類の識別子をキーワードとしてみなしてよい。また、オーディオの分類のために、周知のサウンド分析フレームワーク(Sound Analysis Framework)が活用されてよい。イメージの分類と同じように、分類の信頼度が70%以上であれば、分類の識別子をキーワードとして見なしてよい。
図4は、本発明の一実施形態における、メディアメッセージ検索方法の他の例を示したフローチャートである。本実施形態に係るメディアメッセージ検索方法は、インスタントメッセージングサービスを提供するサーバを実現するコンピュータ装置200によって実行されてよい。このとき、コンピュータ装置200のプロセッサ220は、メモリ210が含むオペレーティングシステムのコードと、少なくとも1つのコンピュータプログラムのコードとによる制御命令(instruction)を実行するように実現されてよい。ここで、プロセッサ220は、コンピュータ装置200に記録されたコードが提供する制御命令にしたがってコンピュータ装置200が図4の方法に含まれる段階410~440を実行するようにコンピュータ装置200を制御してよい。
段階410で、コンピュータ装置200は、インスタントメッセージングサービスの特定のセッションを通じて、メディアメッセージおよびメディアメッセージを送信した送信者側端末機によって抽出されたメディアメッセージが含むメディアのキーワードを受信してよい。ここで、送信者側端末機で抽出されるキーワードは、図3の段階320で送信しようとするメディアメッセージに対して抽出されたメディアのキーワードであってよい。送信者側端末機は、メディアメッセージを送信するときに、メディアメッセージが含むメディアのキーワードを抽出した後、抽出されたメディアのキーワードをメディアメッセージとともにサーバに送信してよい。
段階420で、コンピュータ装置200は、受信したメディアのキーワードをメディアメッセージと関連付けて格納してよい。一例として、コンピュータ装置200は、受信したメディアのキーワードを、受信したメディアメッセージの識別子と関連付けてコンピュータ装置200のローカルデータベースに格納してよい。ここで、ローカルデータベースは、上述したコンピュータ装置200のメモリ210や、個別に説明した永続的記録装置によって実現されてよい。
段階430で、コンピュータ装置200は、受信したメディアメッセージおよびメディアのキーワードを特定のセッションの参加者の端末機に伝達してよい。これにより、1つのメディアメッセージは、該当のメディアメッセージの送信者側端末機と受信者側端末機の両方で検索することができる。
段階440で、コンピュータ装置200は、受信したメディアのキーワードを、メディアと関連するタイムラインコンテンツのタグとして登録してよい。サーバは、インスタントメッセージングサービスの各会員のためのタイムラインサービスを提供する。このとき、特定のメディアメッセージに含まれたメディアがタイムラインコンテンツとしてタイムラインサービスに登録される場合、サーバは、該当のメディアメッセージから抽出されたメディアのキーワードをタイムラインコンテンツのタグとして自動で登録して活用することができる。
図5~9は、本発明の一実施形態における、検索インタフェースを提供する例を示した図である。
図5の実施形態は、インスタントメッセージングサービスの特定のセッションで送受信されたインスタントメッセージのシーケンスのうちの少なくとも一部が表示されたチャットルーム画面510の例を示している。チャットルーム画面510は、インスタントメッセージのシーケンスのうちの少なくとも一部だけでなく、多様なユーザインタフェースを含んでよい。このとき、本実施形態に係るチャットルーム画面510には、検索インタフェースをアクティブ化するためのアイコン520が表示されてよい。ユーザがアイコン520を選択する場合(一例として、タッチスクリーン環境において、アイコン520が表示された領域でユーザのタッチ入力が認識される場合)、検索インタフェースがアクティブ化してよい。
図6の実施形態は、検索インタフェースがアクティブ化したチャットルーム画面610の例を示している。チャットルーム画面610は、検索インタフェースとして、入力されるキーワードを表示するための入力ウィンドウインタフェース620と、第1点線枠630のようにキーワードを入力するための文字盤インタフェースが表示された例を示している。
図7の実施形態は、文字のキーインタフェースにキーワードが入力されることによって入力ウィンドウインタフェース620に入力されたキーワードが表示され、入力されたキーワードに対応する検索結果のリストが表示されたチャットルーム画面710の例を示している。このとき、第2点線枠720は、チャットルーム画面710に表示された検索結果のリストの一部を示している。ユーザは、表示された検索結果のうちの1つを選択し、選択された検索結果に対応するインスタントメッセージにアクセスすることができる。検索結果には、チャットルーム画面710に示されたように、テキストメッセージの他にも、写真、動画、および/またはオーディオを含むメディアメッセージが含まれることを示している。ここで、図7の実施形態に示したメディアメッセージは、入力されたキーワード「猫」と関連付けられた識別子が、該当のセッションの参加者の端末機のローカルデータベースに格納されたメディアメッセージであることが容易に理解され得るだろう。言い換えれば、ユーザがキーワード「猫」を入力することにより、ユーザの端末機は、ローカルデータベースでキーワード「猫」と関連付けて格納された識別子に基づいてメディアメッセージを検索することができる。また、ユーザの端末機は、キーワード「猫」を含むテキストメッセージを検索することができる。検索されたメディアメッセージとテキストメッセージとは、該当のセッションで送受信されたインスタントメッセージのシーケンスにしたがって整列され、検索結果リストが生成されてよい。
図8の実施形態は、チャットルーム画面710でユーザが2番目の検索結果を選択することによって2番目の検索結果に対応するインスタントメッセージが提供されるチャットルーム画面810の例を示している。このとき、チャットルーム画面810では、該当のセッションで送受信されたインスタントメッセージのシーケンスのうち、メディアメッセージ3(820)の位置に対応する部分を表示している。また、図8の実施形態において、第3点線枠830は以前の検索結果を表示するための第1ユーザインタフェースを、第4点線枠840は次の検索結果を表示するための第2ユーザインタフェースをそれぞれ示している。さらに、図8の実施形態において、第5点線枠850は、現在表示されている検索結果が全10件の検索結果のうちの2番目の検索結果であることを示している。
図9の実施形態は、チャットルーム画面810でユーザが第4点線枠840に表示された第2ユーザインタフェースを選択することによって次の検索結果を表示するチャットルーム画面910の例を示している。図7の実施形態で説明したように、次の検索結果は、テキスト「かわいい猫ですね」を含むテキストメッセージ(テキストメッセージ16(920))に対応してよく、ユーザの端末機は、該当のセッションで送受信されたインスタントメッセージのシーケンスのうち、該当のテキストメッセージ(テキストメッセージ16(920))の位置に対応する部分をチャットルーム画面910に表示してよい。
このように、本発明の実施形態によると、インスタントメッセージングサービスの特定のセッションで送受信されたメッセージに含まれた写真、動画、オーディオのようなメディアを分析してキーワードを抽出し、抽出されたメディアのキーワードをメッセージのメタデータとして格納することにより、該当のセッションに対してユーザがキーワード検索をするときに、テキストメッセージだけでなくメディアメッセージも提供することができる。
上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(Arithmetic Logic Unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(Field Programmable Gate Array)、PLU(Programmable Logic Unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置(virtual equipment)、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されて、コンピュータ読み取り可能な媒体に記録されてよい。当該コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、CD-ROMおよびDVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
110、120、130、140:電子機器
150、160:サーバ
170:ネットワーク
150、160:サーバ
170:ネットワーク
Claims (18)
- コンピュータ装置と結合してメディアメッセージ検索方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、
前記メディアメッセージ検索方法は、
インスタントメッセージングサービスの特定のセッションを生成する、または前記特定のセッションに参加する段階、
前記特定のセッションで送信しようとするメディアメッセージまたは前記特定のセッションで受信したメディアメッセージを分析し、前記送信しようとするメディアメッセージまたは前記受信したメディアメッセージに含まれたメディアのキーワードを抽出する段階、
当該抽出されたメディアのキーワードを、対応するメディアを含むメディアメッセージの識別子と関連付けて前記コンピュータ装置のローカルデータベースに格納する段階、
前記特定のセッションで送受信されたインスタントメッセージに対する検索インタフェースを提供する段階、および
前記検索インタフェースに入力されたキーワードを利用して前記ローカルデータベースから検索された識別子に対応するメディアメッセージを提供する段階
を含むことを特徴とする、コンピュータプログラム。 - 前記メディアメッセージを提供する段階は、
前記検索インタフェースに入力されたキーワードを含むテキストメッセージ、および前記検索インタフェースに入力されたキーワードを利用して前記ローカルデータベースから検索された識別子に対応するメディアメッセージを含む検索結果リストを提供する段階、および
前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索結果リストから選択された検索結果に対応するインスタントメッセージの位置に対応する部分が表示されるようにインスタントメッセージを提供する段階
を含むことを特徴とする、請求項1に記載のコンピュータプログラム。 - 前記メディアメッセージを提供する段階は、
前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索された識別子に対応するメディアメッセージの位置に対応する部分が表示されるように、前記検索された識別子に対応するメディアメッセージを提供することを特徴とする、請求項1に記載のコンピュータプログラム。 - 前記メディアメッセージを提供する段階は、
前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索インタフェースに入力されたキーワードに対応するインスタントメッセージを順に表示し、
当該順に表示されたインスタントメッセージは、前記検索インタフェースに入力されたキーワードを含むテキストメッセージと前記検索された識別子に対応するメディアメッセージとを含むこと
を特徴とする、請求項1に記載のコンピュータプログラム。 - 前記メディアのキーワードを抽出する段階は、
前記受信したメディアメッセージとともに、前記受信したメディアメッセージを送信した送信者側端末機によって前記受信したメディアメッセージが含むメディアについて抽出されたキーワードを、前記インスタントメッセージングサービスを提供するサーバを経て受信し、前記受信したメディアメッセージから前記メディアのキーワードを抽出することを特徴とする、請求項1に記載のコンピュータプログラム。 - 前記メディアのキーワードを抽出する段階は、
前記メディアがイメージを含む場合、入力されるイメージのカテゴリを分類するように学習されたビジョンベースのマシンラーニングモデルを利用して、前記イメージのカテゴリを前記イメージを含むメディアのキーワードとして抽出することを特徴とする、請求項1に記載のコンピュータプログラム。 - 前記メディアのキーワードを抽出する段階は、
前記メディアがオーディオを含む場合、入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースのマシンラーニングモデルを利用して、前記オーディオのカテゴリを前記オーディオを含むメディアのキーワードとして抽出することを特徴とする、請求項1に記載のコンピュータプログラム。 - 前記メディアのキーワードを抽出する段階は、
前記メディアがビデオを含む場合、
入力されるイメージのカテゴリを分類するように学習されたビジョンベースの第1マシンラーニングモデルを利用して前記ビデオのサムネイルイメージの第1カテゴリを抽出する段階、
入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースの第2マシンラーニングモデルを利用して前記ビデオのオーディオの第2カテゴリを抽出する段階、および
前記第1カテゴリおよび前記第2カテゴリのうちの少なくとも1つを、前記ビデオを含むメディアのキーワードとして決定する段階
を含むことを特徴とする、請求項1に記載のコンピュータプログラム。 - 少なくとも1つのプロセッサを含むコンピュータ装置のメディアメッセージ検索方法であって、
前記少なくとも1つのプロセッサにより、インスタントメッセージングサービスの特定のセッションを生成する、または前記特定のセッションに参加する段階、
前記少なくとも1つのプロセッサにより、前記特定のセッションで送信しようとするメディアメッセージまたは前記特定のセッションで受信したメディアメッセージを分析し、前記送信しようとするメディアメッセージまたは前記受信したメディアメッセージに含まれたメディアのキーワードを抽出する段階、
前記少なくとも1つのプロセッサにより、当該抽出されたメディアのキーワードを、対応するメディアを含むメディアメッセージの識別子と関連付けて前記コンピュータ装置のローカルデータベースに格納する段階、
前記少なくとも1つのプロセッサにより、前記特定のセッションで送受信されたインスタントメッセージに対する検索インタフェースを提供する段階、および
前記少なくとも1つのプロセッサにより、前記検索インタフェースに入力されたキーワードを利用して前記ローカルデータベースから検索された識別子に対応するメディアメッセージを提供する段階
を含む、メディアメッセージ検索方法。 - 前記メディアメッセージを提供する段階は、
前記検索インタフェースに入力されたキーワードを含むテキストメッセージ、および前記検索インタフェースに入力されたキーワードを利用して前記ローカルデータベースから検索された識別子に対応するメディアメッセージを含む検索結果リストを提供する段階、および
前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索結果リストから選択された検索結果に対応するインスタントメッセージの位置に対応する部分が表示されるようにインスタントメッセージを提供する段階
を含むことを特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 前記メディアメッセージを提供する段階は、
前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索された識別子に対応するメディアメッセージの位置に対応する部分が表示されるように、前記検索された識別子に対応するメディアメッセージを提供することを特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 前記メディアメッセージを提供する段階は、
前記特定のセッションで送受信されたインスタントメッセージのシーケンスにおいて、前記検索インタフェースに入力されたキーワードに対応するインスタントメッセージを順に表示し、
当該順に表示されたインスタントメッセージは、前記検索インタフェースに入力されたキーワードを含むテキストメッセージと前記検索された識別子に対応するメディアメッセージとを含むこと
を特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 前記メディアのキーワードを抽出する段階は、
前記受信したメディアメッセージとともに、前記受信したメディアメッセージを送信した送信者側端末機によって前記受信したメディアメッセージが含むメディアについて抽出されたキーワードを、前記インスタントメッセージングサービスを提供するサーバを経て受信し、前記受信したメディアメッセージから前記メディアのキーワードを抽出することを特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 前記メディアのキーワードを抽出する段階は、
前記メディアがイメージを含む場合、入力されるイメージのカテゴリを分類するように学習されたビジョンベースのマシンラーニングモデルを利用して、前記イメージのカテゴリを前記イメージを含むメディアのキーワードとして抽出することを特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 前記メディアのキーワードを抽出する段階は、
前記メディアがオーディオを含む場合、入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースのマシンラーニングモデルを利用して、前記オーディオのカテゴリを前記オーディオを含むメディアのキーワードとして抽出することを特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 前記メディアのキーワードを抽出する段階は、
前記メディアがビデオを含む場合、入力されるイメージのカテゴリを分類するように学習されたビジョンベースの第1マシンラーニングモデルを利用して前記ビデオのサムネイルイメージの第1カテゴリを抽出する段階、
入力されるオーディオのカテゴリを分類するように学習されたサウンド分析ベースの第2マシンラーニングモデルを利用して前記ビデオのオーディオの第2カテゴリを抽出する段階、および
前記第1カテゴリおよび前記第2カテゴリのうちの少なくとも1つを、前記ビデオを含むメディアのキーワードとして決定する段階
を含むことを特徴とする、請求項9に記載のメディアメッセージ検索方法。 - 請求項9~16のうちのいずれか一項の方法をコンピュータ装置に実行させるためのコンピュータプログラムが記録されている、コンピュータ読み取り可能な記録媒体。
- コンピュータ装置によって読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサにより、
インスタントメッセージングサービスの特定のセッションで、メディアメッセージおよび前記メディアメッセージを送信した送信者側端末機によって抽出された前記メディアメッセージが含むメディアのキーワードを受信し、
前記受信したメディアのキーワードを前記メディアメッセージと関連付けて格納し、
前記受信したメディアメッセージおよび前記メディアのキーワードを前記特定のセッションの参加者の端末機に伝達し、
前記受信したメディアのキーワードを前記メディアと関連するタイムラインコンテンツのタグとして登録すること
を特徴とする、コンピュータ装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210128994A KR20230046030A (ko) | 2021-09-29 | 2021-09-29 | 미디어 파일로부터 추출한 키워드를 통한 미디어 메시지 검색 방법 및 시스템 |
KR10-2021-0128994 | 2021-09-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023050159A true JP2023050159A (ja) | 2023-04-10 |
Family
ID=85705831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022152868A Pending JP2023050159A (ja) | 2021-09-29 | 2022-09-26 | コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230100140A1 (ja) |
JP (1) | JP2023050159A (ja) |
KR (1) | KR20230046030A (ja) |
-
2021
- 2021-09-29 KR KR1020210128994A patent/KR20230046030A/ko not_active Application Discontinuation
-
2022
- 2022-09-26 JP JP2022152868A patent/JP2023050159A/ja active Pending
- 2022-09-27 US US17/953,772 patent/US20230100140A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230100140A1 (en) | 2023-03-30 |
KR20230046030A (ko) | 2023-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210352118A1 (en) | Method, system, and non-transitory computer-readable record medium for displaying reaction during voip-based call | |
US20180101540A1 (en) | Diversifying Media Search Results on Online Social Networks | |
CN107368508B (zh) | 利用通讯工具服务的关键词检索方法及*** | |
JP6629883B2 (ja) | コンテンツ検索エンジン | |
WO2020221162A1 (zh) | 应用程序推荐、装置、电子设备及介质 | |
US11496428B2 (en) | Method and system for sharing content on instant messaging application | |
EP2800048A1 (en) | Generalized contextual intelligence platform | |
US11228683B2 (en) | Supporting conversations between customers and customer service agents | |
US20180129929A1 (en) | Method and system for inferring user visit behavior of a user based on social media content posted online | |
US20210126806A1 (en) | Method for recognizing and utilizing user face based on profile picture in chatroom created using group album | |
WO2020044099A1 (zh) | 一种基于对象识别的业务处理方法和装置 | |
JP7335109B2 (ja) | 会話内容からテキストを利用して非テキストを検索する方法、システム、および非一時的なコンピュータ読み取り可能な記録媒体 | |
US11411906B2 (en) | Method and system for providing answer message to query message | |
JP2019525295A (ja) | 対話内容検索方法およびシステム | |
JP7393487B2 (ja) | プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 | |
US20200326996A1 (en) | Method, system, and non-transitory computer-readable record medium for managing event messages and system for presenting conversation thread | |
CN116992058A (zh) | 跨元宇宙的数据显示方法和装置 | |
US20210266275A1 (en) | Method and system for evaluating content on instant messaging application | |
JP2023050159A (ja) | コンピュータプログラム、メディアメッセージ検索方法、記録媒体およびコンピュータ装置 | |
KR20200076273A (ko) | 얼굴 이미지와 메신저 계정의 연동에 기반한 이미지 관리 방법 및 시스템 | |
EP3306555A1 (en) | Diversifying media search results on online social networks | |
JP2022087835A (ja) | コミュニティ分類方法、コンピュータプログラム、およびコンピュータ装置 | |
KR20240066808A (ko) | 미디어 파일로부터 추출한 텍스트를 이용하여 미디어 메시지를 검색하는 방법 및 시스템 | |
JP2019220153A (ja) | イメージを位置データに変換して提供する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 | |
US12052210B2 (en) | Method and system for providing answer message to query message |