JP6632945B2 - 重複検出装置、重複検出方法及び重複検出プログラム - Google Patents
重複検出装置、重複検出方法及び重複検出プログラム Download PDFInfo
- Publication number
- JP6632945B2 JP6632945B2 JP2016151729A JP2016151729A JP6632945B2 JP 6632945 B2 JP6632945 B2 JP 6632945B2 JP 2016151729 A JP2016151729 A JP 2016151729A JP 2016151729 A JP2016151729 A JP 2016151729A JP 6632945 B2 JP6632945 B2 JP 6632945B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- registration
- content
- hash value
- reduced data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
例えば、非特許文献1では、min−hashを改良したlocality sensitive hashingと呼ばれる手法により、大規模データベースから類似画像を検出するためのインデックスを作成するアルゴリズムが提案されている。
また、非特許文献2では、エントロピーに基づくフィルタリング手法により、誤判定を引き起こす要素を除外する技術が提案されている。
図1は、本実施形態に係る重複検出装置1の機能構成を示すブロック図である。
重複検出装置1は、制御部、記憶部、入出力デバイス、並びに外部機器とデータを送受信する通信部などを備えた情報処理装置(コンピュータ)である。重複検出装置1は、ユーザの端末からアクセスされて処理結果を返信するサーバ装置、あるいは、PC、タブレット又はスマートフォンなどのユーザの端末自体に実装されてよい。
重複検出装置1の制御部は、変換部11と、演算部12と、登録部13とを備える。
例えば、写真のデジタルデータの場合、変換部11は、各画素値を要素とする行列から、特異値分解又はフーリエ変換などの手法により、特徴量を抽出した行列を縮小データとして導出する。
登録部13は、算出されたハッシュ値を、コンテンツの所有者情報と共に、ブロックチェーン2のブロックに追加登録する。
このとき、登録部13は、ハッシュ値が同一のブロックがブロックチェーン2に既に登録されている場合、所定の条件で、このコンテンツの登録を無効とする登録制御を行う。
すなわち、登録部13は、新たに受け付けたコンテンツを変換した縮小データのハッシュ値が既に登録されている値である場合、所有者情報が同一ならコンテンツの登録を有効とし、所有者情報が異なるならコンテンツの登録を無効とする。
ブロックチェーン2に登録されたハッシュ値がキーに、登録されたブロックの位置が値に格納される。
ブロックチェーン2が大規模な場合、ハッシュテーブル3は、分散ハッシュテーブルとして構成されてよい。なお、分散ハッシュテーブルの方式(例えば、CAN、Chord、Pastry、Tapestryなど)は限定されない。
まず、画像の各画素値を要素とした行列Aは、変換部11により所定の特徴量が抽出された縮小データaに変換される。縮小データaは、演算部12によりハッシュ演算が行われ、ハッシュ値αがブロック「1」に登録される。
この行列B’の所有者Yは、ブロック「2」に登録されている所有者Xと異なるため、YがXの画像を模倣したと判断され、ブロックチェーン2への登録が無効となる。
この場合、行列B’’の所有者Xは、ブロック「2」に登録されている所有者Xと同一であるため、X自身の著作物を用いたと判断され、ブロックチェーン2への登録が有効となり、ブロック「4」に登録される。
本処理では、画像などのコンテンツを入力として、ブロックチェーン2への登録の可否が判定される。
ステップS2において、演算部12は、ステップS1で生成された縮小データに対してハッシュ演算を行い、ハッシュ値を生成する。
ステップS7において、登録部13は、ステップS6で登録されたハッシュ値を検索するためのキー(ハッシュ値)及び値(ブロック位置)を、ハッシュテーブル3に追加登録する。
ステップS8において、登録部13は、入力されたコンテンツが既存のコンテンツの模倣と判断し、ブロックチェーン2への登録を無効とする。
この結果、オリジナル性が保証されたコンテンツのみがブロックチェーン2に登録される。
さらに、分散ハッシュテーブルが採用されることにより、大規模システムにおける効率化が期待できる。
さらに、ブロックチェーン2及びハッシュテーブル3は、重複検出装置1とは別のサーバにおいて管理されてよいが、重複検出装置1の記憶部において管理されてもよい。また、複数のサーバ又は端末に分散配置されてもよい。
2 ブロックチェーン
3 ハッシュテーブル
11 変換部
12 演算部
13 登録部
Claims (6)
- コンテンツを表すデータを、所定以上の重要度の特徴量が抽出された縮小データに変換する変換部と、
前記縮小データのハッシュ値を算出する演算部と、
前記ハッシュ値を、ブロックチェーンのブロックに追加登録する登録部と、を備え、
前記登録部は、前記ハッシュ値が同一のブロックが既に登録されている場合、前記コンテンツの登録を無効とする重複検出装置。 - 前記登録部は、
コンテンツの所有者情報を前記ブロックに登録し、
前記ハッシュ値が同一のブロックが既に登録されている場合、前記所有者情報が同一なら前記コンテンツの登録を有効とし、前記所有者情報が異なるなら前記コンテンツの登録を無効とする請求項1に記載の重複検出装置。 - 前記登録部は、前記ハッシュ値、及び前記ブロックの位置が対応付けられたデータベースにより、前記ハッシュ値が同一のブロックの有無を判定する請求項1又は請求項2に記載の重複検出装置。
- 前記データベースは、分散ハッシュテーブルである請求項3に記載の重複検出装置。
- コンテンツを表すデータを、所定以上の重要度の特徴量が抽出された縮小データに変換する変換ステップと、
前記縮小データのハッシュ値を算出する演算ステップと、
前記ハッシュ値を、ブロックチェーンのブロックに追加登録する登録ステップと、をコンピュータが実行し、
前記登録ステップにおいて、前記ハッシュ値が同一のブロックが既に登録されている場合、前記コンテンツの登録を無効とする重複検出方法。 - コンテンツを表すデータを、所定以上の重要度の特徴量が抽出された縮小データに変換する変換ステップと、
前記縮小データのハッシュ値を算出する演算ステップと、
前記ハッシュ値を、ブロックチェーンのブロックに追加登録する登録ステップと、をコンピュータに実行させ、
前記登録ステップにおいて、前記ハッシュ値が同一のブロックが既に登録されている場合、前記コンテンツの登録を無効とさせるための重複検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016151729A JP6632945B2 (ja) | 2016-08-02 | 2016-08-02 | 重複検出装置、重複検出方法及び重複検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016151729A JP6632945B2 (ja) | 2016-08-02 | 2016-08-02 | 重複検出装置、重複検出方法及び重複検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018022258A JP2018022258A (ja) | 2018-02-08 |
JP6632945B2 true JP6632945B2 (ja) | 2020-01-22 |
Family
ID=61164485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016151729A Active JP6632945B2 (ja) | 2016-08-02 | 2016-08-02 | 重複検出装置、重複検出方法及び重複検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6632945B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595709B (zh) * | 2018-05-10 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 基于区块链的音乐原创性分析方法和装置 |
JP6884128B2 (ja) * | 2018-09-20 | 2021-06-09 | 株式会社日立製作所 | データ重複排除装置、データ重複排除方法、及びデータ重複排除プログラム |
WO2020085226A1 (ja) * | 2018-10-22 | 2020-04-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 制御方法、コンテンツ管理システム、プログラム、及び、データ構造 |
KR102012400B1 (ko) * | 2018-11-27 | 2019-08-20 | 안종현 | 블록체인 기반 IoT 인증 시스템 |
KR102179076B1 (ko) * | 2018-11-29 | 2020-11-16 | 동서대학교 산학협력단 | 공개 데이터셋의 데이터 무결성 보장을 위한 블록체인 솔루션 제공 시스템, 이의 처리 방법 |
CN110598463B (zh) | 2019-04-19 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 基于区块链的信息处理方法、装置和计算机可读存储介质 |
JP7140389B2 (ja) * | 2019-07-16 | 2022-09-21 | ジャパンモード株式会社 | 仮想アイテム出品受付プログラム及びシステム |
CN110674140B (zh) * | 2019-09-29 | 2022-04-15 | 腾讯科技(深圳)有限公司 | 基于区块链的内容处理方法、装置、设备及存储介质 |
JP2021111810A (ja) * | 2020-01-06 | 2021-08-02 | 富士通株式会社 | 不正利用検出システム、情報処理装置、不正利用検出プログラムおよびデータ履歴のデータ構造 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5347765B2 (ja) * | 2009-06-30 | 2013-11-20 | 株式会社Jvcケンウッド | デジタルコンテンツデータの管理システム、管理方法、利用装置及び改変検出装置 |
JP5592337B2 (ja) * | 2011-11-18 | 2014-09-17 | 日本電信電話株式会社 | コンテンツ変換方法、コンテンツ変換装置及びコンテンツ変換プログラム |
JP6104209B2 (ja) * | 2014-04-08 | 2017-03-29 | 日本電信電話株式会社 | ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム |
JP6601624B2 (ja) * | 2016-05-10 | 2019-11-06 | 日本電信電話株式会社 | コンテンツ流通システム、コンテンツ流通方法、コンテンツ生成装置及びコンテンツ生成プログラム |
-
2016
- 2016-08-02 JP JP2016151729A patent/JP6632945B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018022258A (ja) | 2018-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6632945B2 (ja) | 重複検出装置、重複検出方法及び重複検出プログラム | |
US11030311B1 (en) | Detecting and protecting against computing breaches based on lateral movement of a computer file within an enterprise | |
CN108092962B (zh) | 一种恶意url检测方法及装置 | |
JP6099793B2 (ja) | 1つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム | |
JP5404644B2 (ja) | 時間イベント・ベースの画紋法のためのコンピュータ・プログラム及び画像の著作権侵害を自動的に検出するための装置 | |
WO2016180268A1 (zh) | 一种文本聚合方法及装置 | |
WO2017202214A1 (zh) | 文件验证方法及装置 | |
US20150006506A1 (en) | Evaluation of web pages | |
US11475133B2 (en) | Method for machine learning of malicious code detecting model and method for detecting malicious code using the same | |
KR100986223B1 (ko) | 불법 동영상 데이터 검색 장치 및 방법 | |
US10127382B2 (en) | Malware detection method | |
CN112136123A (zh) | 表征文件以进行相似性搜索 | |
CN108491715B (zh) | 终端指纹库的生成方法、装置和服务器 | |
GB2602577A (en) | Image generation using one or more neural networks | |
CN110019640B (zh) | 涉密文件检查方法及装置 | |
JP2021096858A (ja) | ベクトル量子化を利用した重複文書探知方法およびシステム | |
WO2019192375A1 (zh) | 多媒体处理方法及其装置、存储介质、电子产品 | |
CN103177105B (zh) | 一种图像检索方法及装置 | |
JPWO2020044469A1 (ja) | 不正Webページ検出装置、不正Webページ検出装置の制御方法及び制御プログラム | |
CN107786529B (zh) | 网站的检测方法、装置及*** | |
CN113901405A (zh) | 基于联邦学习模型的水印检测方法、***及电子设备 | |
JP6169497B2 (ja) | 接続先情報判定装置、接続先情報判定方法、及びプログラム | |
CN111368128A (zh) | 目标图片的识别方法、装置和计算机可读存储介质 | |
Imamura et al. | Image content detection method using correlation coefficient between pixel value histograms | |
JP2017134825A (ja) | 視聴覚データを含むコンテンツを選択するための方法、ならびに対応する電子装置、システム、コンピュータ読取り可能なプログラム、およびコンピュータ読取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6632945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |