JP6950912B2 - 映像検索情報提供方法、装置およびコンピュータプログラム - Google Patents
映像検索情報提供方法、装置およびコンピュータプログラム Download PDFInfo
- Publication number
- JP6950912B2 JP6950912B2 JP2021061299A JP2021061299A JP6950912B2 JP 6950912 B2 JP6950912 B2 JP 6950912B2 JP 2021061299 A JP2021061299 A JP 2021061299A JP 2021061299 A JP2021061299 A JP 2021061299A JP 6950912 B2 JP6950912 B2 JP 6950912B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- search
- query
- information
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0623—Item investigation
- G06Q30/0625—Directed, with specific intent or strategy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/738—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
Claims (12)
- 電子装置が映像検索情報を提供する方法において、
上記電子装置は、制御部と、通信部と、表示部と、を備え、
上記方法は、
映像の再生中に、既設定されたクエリ生成イベントが発生すると、上記制御部が上記映像を用いてクエリを生成する段階;
上記通信部が、上記クエリをサーバへ転送する段階;
上記表示部が、上記サーバから上記クエリに対応する検索結果を受信して画面に表示する段階、を含み、
上記検索結果は、上記映像に含まれた1つ以上のオブジェクトに対する同一の商品および類似した商品の少なくとも一方に関する商品情報または広告情報を含む検索結果であり、
上記クエリを生成する段階は、上記映像の再生中に、ユーザによる上記電子装置の操作によって一時停止イベントが発生し、既設定された時間が経過すると、上記クエリ生成イベントが発生したと上記制御部が判断する段階;
一時停止された画面に表示された映像フレームから上記1つ以上のオブジェクトを抽出する段階;
上記1つ以上のオブジェクトを含むクエリを生成する段階を含み、
上記オブジェクトを抽出する段階は、
既保存された学習モデルを用いて特定のオブジェクトに対応すると学習された画像特徴情報を含む一領域を検索対象オブジェクトとして抽出する段階;
上記検索対象オブジェクトに上記画像特徴情報に対応するラベルを付着する段階を含み、
商品情報がタグされた別途のコンテンツを制作しなくても、映像の再生時、商品情報が露出される、映像検索情報提供方法。 - 上記クエリは、画面に表示された映像フレーム、上記映像フレームに含まれた一領域の画像、上記画面を基準に既設定された条件を満足する複数の映像フレーム、または上記映像の一フレームから上記制御部が抽出したオブジェクトの情報中の少なくとも1つを含む、請求項1に記載の映像検索情報提供方法。
- 上記映像フレーム内に上記オブジェクトが複数含まれる場合に、上記制御部は、複数の上記オブジェクトを抽出する、請求項2に記載の映像検索情報提供方法。
- 上記オブジェクトの情報は、上記映像から上記制御部が抽出した画像特徴情報または特定のオブジェクトに対応すると学習されたラベル情報の少なくとも1つを含む、請求項2に記載の映像検索情報提供方法。
- 上記クエリを生成する段階は、
上記映像の再生中に、検索イベントが発生した際にも、上記制御部が上記クエリ生成イベントが発生したと判断する、請求項1に記載の映像検索情報提供方法。 - 上記クエリを生成する段階は、
上記映像の再生中に、音声制御モードの活性化コマンドが受信されると、上記映像をキャプチャーする段階をさらに有し、
上記音声制御モードで上記既設定された時間の経過、または上記検索イベントが発生すると、上記キャプチャーされた映像を用いてクエリを生成する、請求項5に記載の映像検索情報提供方法。 - 上記クエリを生成する段階は、
上記映像の再生中に、一時停止イベントが発生すると、上記画面に上記クエリの生成までの残り時間を表示する段階;
上記残り時間が0に到達するまでにユーザーの入力がなければ、上記クエリ生成イベントが発生したと判断する段階を含む、請求項1に記載の映像検索情報提供方法。 - 上記オブジェクトを抽出する段階は、
上記映像フレームから画像特徴情報を抽出する段階;
上記抽出された画像特徴情報を用いて既設定された基準に応じて上記映像フレーム内の一領域を区画する段階;
上記区画された一領域を検索対象オブジェクトに設定する段階を含む、請求項1に記載の映像検索情報提供方法。 - 上記検索結果を画面に表示する段階は、
ユーザの検索ログを用いてユーザが既検索したオブジェクトと同一または類似したラベルを含むオブジェクトに対する検索結果を優先的に画面に表示する段階を更に含む、請求項1に記載の映像検索情報の提供方法。 - 映像検索情報を提供する電子装置である映像検索情報提供装置において、
映像の再生中に、ユーザによる上記電子装置の操作によって一時停止イベントが発生し、既設定した時間が経過すると、既設定したクエリ生成イベントが発生したと判断し、上記映像を用いてクエリを生成する制御部;
上記クエリをサーバへ転送し、上記サーバから上記クエリに対応する検索結果を受信する通信部;
上記受信した検索結果を画面に表示する表示部を含み、
請求項1ないし請求項9のいずれか1項に記載の映像検索情報の提供方法を実行し、
上記検索結果は、上記映像に含まれた任意のオブジェクトに対する検索結果である、映像検索情報提供装置。 - 上記制御部は、
上記映像の再生中に、音声制御モードの活性化コマンドが受信されると、上記映像をキャプチャーし、上記音声制御モードで検索イベントが発生すると、上記キャプチャーされた映像を用いてクエリを生成する、請求項10に記載の映像検索情報提供装置。 - コンピュータ読み取り可能な媒体に保存された、請求項1ないし請求項9のいずれか1方法を実行させるための映像検索情報提供プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160109941A KR20180024200A (ko) | 2016-08-29 | 2016-08-29 | 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 |
KR10-2016-0109941 | 2016-08-29 | ||
JP2019511857A JP2019532403A (ja) | 2016-08-29 | 2017-08-24 | 映像検索情報提供方法、装置およびコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019511857A Division JP2019532403A (ja) | 2016-08-29 | 2017-08-24 | 映像検索情報提供方法、装置およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021108162A JP2021108162A (ja) | 2021-07-29 |
JP6950912B2 true JP6950912B2 (ja) | 2021-10-13 |
Family
ID=61301383
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019511857A Pending JP2019532403A (ja) | 2016-08-29 | 2017-08-24 | 映像検索情報提供方法、装置およびコンピュータプログラム |
JP2021061299A Active JP6950912B2 (ja) | 2016-08-29 | 2021-03-31 | 映像検索情報提供方法、装置およびコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019511857A Pending JP2019532403A (ja) | 2016-08-29 | 2017-08-24 | 映像検索情報提供方法、装置およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11049163B2 (ja) |
JP (2) | JP2019532403A (ja) |
KR (1) | KR20180024200A (ja) |
WO (1) | WO2018043990A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108230232B (zh) * | 2016-12-21 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 一种图像处理的方法以及相关装置 |
KR102551550B1 (ko) * | 2018-04-20 | 2023-07-06 | 삼성전자주식회사 | 오브젝트에 대한 정보를 검색하기 위한 전자 장치 및 이의 제어 방법 |
KR20200013164A (ko) * | 2018-07-19 | 2020-02-06 | 삼성전자주식회사 | 전자 장치, 및 전자 장치의 제어 방법 |
KR102638377B1 (ko) * | 2018-08-14 | 2024-02-20 | 주식회사 케이티 | 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말 |
CN109344291B (zh) * | 2018-09-03 | 2020-08-25 | 腾讯科技(武汉)有限公司 | 一种视频生成方法及装置 |
US11468071B2 (en) | 2018-11-30 | 2022-10-11 | Rovi Guides, Inc. | Voice query refinement to embed context in a voice query |
US10887633B1 (en) * | 2020-02-19 | 2021-01-05 | Evercast, LLC | Real time remote video collaboration |
KR102476736B1 (ko) * | 2021-01-21 | 2022-12-14 | 주식회사 포크홀딩스 | 크리에이터와 브랜드를 대상으로 분석 정보를 제공하는 동영상을 이용한 상품 정보 제공 시스템 |
CN114245206B (zh) * | 2022-02-23 | 2022-07-15 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频处理方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2756073B2 (ja) * | 1993-04-06 | 1998-05-25 | 株式会社富士通ソーシアルサイエンスラボラトリ | データ検索方法 |
KR100443271B1 (ko) * | 2001-01-10 | 2004-08-04 | 엘지전자 주식회사 | 디브이디를 이용한 웹 서핑장치 및 방법 |
JP2009135573A (ja) * | 2007-11-28 | 2009-06-18 | Toshiba Corp | 情報提供システム、情報提供サーバおよび情報提供方法 |
US9313359B1 (en) * | 2011-04-26 | 2016-04-12 | Gracenote, Inc. | Media content identification on mobile devices |
US8213689B2 (en) * | 2008-07-14 | 2012-07-03 | Google Inc. | Method and system for automated annotation of persons in video content |
JP5322550B2 (ja) * | 2008-09-18 | 2013-10-23 | 三菱電機株式会社 | 番組推奨装置 |
KR20120128511A (ko) * | 2011-05-17 | 2012-11-27 | 박인준 | 노출 상품 정보 제공 시스템 및 방법 |
US8560517B2 (en) * | 2011-07-05 | 2013-10-15 | Microsoft Corporation | Object retrieval using visual query context |
JP5593352B2 (ja) * | 2012-07-10 | 2014-09-24 | ヤフー株式会社 | 情報提供装置、情報提供方法および情報提供プログラム |
KR101289085B1 (ko) * | 2012-12-12 | 2013-07-30 | 오드컨셉 주식회사 | 객체 기반 영상 검색시스템 및 검색방법 |
KR20140098532A (ko) * | 2013-01-31 | 2014-08-08 | 남희옥 | 페이지 검색 시스템 및 그 제공방법 |
US20140255003A1 (en) * | 2013-03-05 | 2014-09-11 | Google Inc. | Surfacing information about items mentioned or presented in a film in association with viewing the film |
KR20150050016A (ko) * | 2013-10-31 | 2015-05-08 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 검색 방법 |
JP2017509193A (ja) * | 2014-01-07 | 2017-03-30 | アルカテル−ルーセント | デジタルビデオシーケンス内の対象に関する情報の提供 |
KR102240263B1 (ko) * | 2014-08-06 | 2021-04-14 | 오드컨셉 주식회사 | 얼굴의 시각적 정보를 이용한 관계망 연결 시스템 및 연결방법 |
KR20170011359A (ko) * | 2015-07-22 | 2017-02-02 | 삼성전자주식회사 | 방송 콘텐트와 관련된 정보를 제공하는 전자 장치 및 그 방법 |
US10616639B2 (en) * | 2016-12-21 | 2020-04-07 | Samsung Electronics Co., Ltd. | Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium |
-
2016
- 2016-08-29 KR KR1020160109941A patent/KR20180024200A/ko active Application Filing
-
2017
- 2017-08-24 US US16/329,762 patent/US11049163B2/en active Active
- 2017-08-24 WO PCT/KR2017/009250 patent/WO2018043990A1/ko active Application Filing
- 2017-08-24 JP JP2019511857A patent/JP2019532403A/ja active Pending
-
2021
- 2021-03-31 JP JP2021061299A patent/JP6950912B2/ja active Active
- 2021-06-25 US US17/358,993 patent/US20210326956A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20190244270A1 (en) | 2019-08-08 |
US11049163B2 (en) | 2021-06-29 |
KR20180024200A (ko) | 2018-03-08 |
WO2018043990A1 (ko) | 2018-03-08 |
JP2019532403A (ja) | 2019-11-07 |
US20210326956A1 (en) | 2021-10-21 |
JP2021108162A (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950912B2 (ja) | 映像検索情報提供方法、装置およびコンピュータプログラム | |
KR102024818B1 (ko) | 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 | |
KR101511050B1 (ko) | 상품 정보를 제공하고 표시하는 방법, 장치, 시스템 및 컴퓨터 프로그램 | |
US10963939B1 (en) | Computer vision based style profiles | |
US20200311126A1 (en) | Methods to present search keywords for image-based queries | |
US9607010B1 (en) | Techniques for shape-based search of content | |
US11551424B2 (en) | Interaction analysis systems and methods | |
CN106598998B (zh) | 信息获取方法和信息获取装置 | |
AU2017301426A1 (en) | Presentation of content items synchronized with media display | |
US10776417B1 (en) | Parts-based visual similarity search | |
KR20140107253A (ko) | 관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법 | |
US20130179436A1 (en) | Display apparatus, remote control apparatus, and searching methods thereof | |
KR20210046850A (ko) | 이미지 특징 데이터 추출 및 사용 | |
US20170132687A1 (en) | Method, apparatus, and computer program for displaying search information | |
US20210073277A1 (en) | Multimedia focalization | |
US11195227B2 (en) | Visual search, discovery and attribution method, system, and computer program product | |
US11528512B2 (en) | Adjacent content classification and targeting | |
JP4809201B2 (ja) | 情報提供装置、情報提供方法、及びコンピュータプログラム | |
US11468675B1 (en) | Techniques for identifying objects from video content | |
KR20170013369A (ko) | 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램 | |
KR20140044663A (ko) | 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법 | |
US9672436B1 (en) | Interfaces for item search | |
WO2015107424A1 (en) | System and method for product placement | |
KR101871925B1 (ko) | 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 | |
KR101952622B1 (ko) | 로컬 색차 기반으로 이미지를 검색하는 방법, 장치, 시스템 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6950912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |