JP5433396B2 - マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 - Google Patents
マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 Download PDFInfo
- Publication number
- JP5433396B2 JP5433396B2 JP2009287145A JP2009287145A JP5433396B2 JP 5433396 B2 JP5433396 B2 JP 5433396B2 JP 2009287145 A JP2009287145 A JP 2009287145A JP 2009287145 A JP2009287145 A JP 2009287145A JP 5433396 B2 JP5433396 B2 JP 5433396B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- manga
- region
- sub
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
解析対象のマンガ画像から、多数の特徴点を抽出する対象用特徴点抽出手段と、
多数の特徴点を、画像上の分布密度に基づいてクラスタリングする位置的クラスタリング手段と、
位置的クラスタ毎に、当該クラスタに含まれる多数の特徴点を囲む外枠から、画像上のサブ領域画像を抽出するサブ領域画像抽出手段と、
サブ領域画像に含まれる全ての特徴点から、当該サブ領域画像における特徴ベクトルを算出するサブ領域ベクトル算出手段と、
サブ領域画像の特徴ベクトルを、学習データから得られた文字領域の特徴ベクトルと比較して、文字領域であるか否かによって分類するサブ領域画像分類手段と、
文字領域と判定されたサブ領域画像から、テキストを抽出するテキスト抽出手段と
を有することを特徴とする。
学習用画像から、多数の特徴点を抽出する学習用特徴点抽出手段と、
多数の特徴点を、当該特徴値に基づいてk個の学習クラスタにクラスタリングする要素的クラスタリング手段と、
要素的クラスタ毎に、当該クラスタに含まれる全ての特徴点から、当該クラスタにおける特徴ベクトルを算出する学習用クラスタベクトル算出手段と、
要素的クラスタ毎に、当該クラスタに含まれる特徴点が文字領域であるか否かを学習させた画像分類学習手段と
を更に有し、
サブ領域画像分類手段によって用いられる学習データは、画像分類学習手段によって学習された学習データであることも好ましい。
要素的クラスタリング手段は、k-meansクラスタリングによってk個の学習クラスタに分類し、
サブ領域ベクトル算出手段及び学習用クラスタベクトル算出手段は、k個の学習クラスタに対応したk次元の特徴ベクトルを算出し、
画像分類学習手段は、文字領域と判定されるk次元の特徴ベクトルの学習データを生成することも好ましい。
解析対象のマンガ画像から、画像上の直線によって囲まれるコマ画像単位に区分するコマ画像抽出手段を更に有し、
コマ画像毎に、対象用特徴点抽出手段が多数の特徴点を抽出することも好ましい。
テキスト抽出手段によって抽出されたテキストをインデックスとして、マンガ画像の識別情報に対応付けて記憶するインデックス記憶手段と、
検索キーワードを入力する検索キーワード入力手段と、
インデックス記憶手段を用いて、検索キーワードと一致するインデックスを含むマンガ画像の識別情報を検索するマンガ画像検索手段と、
検索されたマンガ画像の識別情報を出力する検索結果出力手段と
を更に有することを特徴とする。
テキスト抽出手段は、文字領域と判定されたサブ領域画像と、予め記憶された文字パターンとの照合によって文字を特定するOCRであり、当該OCRによって文字サイズをインデックス記憶手段へ出力するものであり、
インデックス記憶手段は、テキスト毎に優先度を対応付けて記憶するものであって、テキスト抽出手段から出力された文字サイズが大きいテキストほど、高い優先度を対応付けており、
マンガ検索手段は、インデックス記憶手段に記憶された優先度が高いテキストほど、優先的に検索結果として出力することも好ましい。
解析対象のマンガ画像から、多数の特徴点を抽出する対象用特徴点抽出手段と、
多数の特徴点を、画像上の分布密度に基づいてクラスタリングする位置的クラスタリング手段と、
位置的クラスタ毎に、当該クラスタに含まれる多数の特徴点を囲む外枠から、画像上のサブ領域画像を抽出するサブ領域画像抽出手段と、
サブ領域画像に含まれる全ての特徴点から、当該サブ領域画像における特徴ベクトルを算出するサブ領域ベクトル算出手段と、
サブ領域画像の特徴ベクトルを、学習データから得られた文字領域の特徴ベクトルと比較して、文字領域であるか否かによって分類するサブ領域画像分類手段と、
文字領域と判定されたサブ領域画像から、テキストを抽出するテキスト抽出手段と
してコンピュータを機能させることを特徴とする。
解析対象のマンガ画像から、多数の特徴点を抽出する第1のステップと、
多数の特徴点を、画像上の分布密度に基づいてクラスタリングする第2のステップと、
位置的クラスタ毎に、当該クラスタに含まれる多数の特徴点を囲む外枠から、画像上のサブ領域画像を抽出する第3のステップと、
サブ領域画像に含まれる全ての特徴点から、当該サブ領域画像における特徴ベクトルを算出する第4のステップと、
サブ領域画像の特徴ベクトルを、学習データから得られた文字領域の特徴ベクトルと比較して、文字領域であるか否かによって分類する第5のステップと、
文字領域と判定されたサブ領域画像から、テキストを抽出する第6のステップと
を有することを特徴とする。
(S1)スケールスペースの極値探索によってキーポイント及びスケールを決定する。
(S2)決定されたキーポイントの中で、主曲率及びコントラストによって安定したキーポイントに絞り込む。
このようにして抽出された多数の特徴点は、位置的クラスタリング部113へ出力される。
10 マンガ画像蓄積部
111 コマ画像抽出部
112 対象用特徴点抽出部
113 位置的クラスタリング部
114 サブ領域画像抽出部
115 サブ領域ベクトル算出部
116 サブ領域画像分類部
117 テキスト抽出部
121 学習用特徴点抽出部
122 要素的クラスタリング部
123 学習用クラスタベクトル算出部
124 画像分類学習部
13 インデックス記憶部
131 検索キーワード入力部
132 マンガ画像検索部
133 検索結果出力部
14 インタフェース部
2 マンガ画像検索装置
3 マンガ画像データベース
4 携帯電話機
5 端末
Claims (11)
- マンガ画像に記述されたテキストを抽出するマンガ画像解析装置であって、
解析対象のマンガ画像から、多数の特徴点を抽出する対象用特徴点抽出手段と、
前記多数の特徴点を、画像上の分布密度に基づいてクラスタリングする位置的クラスタリング手段と、
位置的クラスタ毎に、当該クラスタに含まれる多数の特徴点を囲む外枠から、画像上のサブ領域画像を抽出するサブ領域画像抽出手段と、
前記サブ領域画像に含まれる全ての特徴点から、当該サブ領域画像における特徴ベクトルを算出するサブ領域ベクトル算出手段と、
前記サブ領域画像の特徴ベクトルを、学習データから得られた文字領域の特徴ベクトルと比較して、文字領域であるか否かによって分類するサブ領域画像分類手段と、
文字領域と判定された前記サブ領域画像から、テキストを抽出するテキスト抽出手段と
を有することを特徴とするマンガ画像解析装置。 - 学習用画像から、多数の特徴点を抽出する学習用特徴点抽出手段と、
前記多数の特徴点を、当該特徴値に基づいてk個の学習クラスタにクラスタリングする要素的クラスタリング手段と、
要素的クラスタ毎に、当該クラスタに含まれる全ての特徴点から、当該クラスタにおける特徴ベクトルを算出する学習用クラスタベクトル算出手段と、
要素的クラスタ毎に、当該クラスタに含まれる特徴点が文字領域であるか否かを学習させた画像分類学習手段と
を更に有し、
前記サブ領域画像分類手段によって用いられる前記学習データは、前記画像分類学習手段によって学習された学習データである
ことを特徴とする請求項1に記載のマンガ画像解析装置。 - 前記要素的クラスタリング手段は、k-meansクラスタリングによってk個の学習クラスタに分類し、
前記サブ領域ベクトル算出手段及び前記学習用クラスタベクトル算出手段は、k個の学習クラスタに対応したk次元の特徴ベクトルを算出し、
前記画像分類学習手段は、文字領域と判定されるk次元の特徴ベクトルの学習データを生成する
ことを特徴とする請求項2に記載のマンガ画像解析装置。 - 前記対象用特徴点抽出手段及び前記学習用特徴点抽出手段は、前記特徴点をSIFT(Scale-Invariant Feature Transform)によって検出することを特徴とする請求項2又は3に記載のマンガ画像解析装置。
- 前記画像分類学習手段は、サポートベクタマシン(Support Vector Machine)を用いることを特徴とする請求項2から4のいずれか1項に記載のマンガ画像解析装置。
- 前記テキスト抽出手段は、文字領域と判定された前記サブ領域画像と、予め記憶された文字パターンとの照合によって文字を特定するOCR(Optical Character Recognition)であることを特徴とする請求項1から5のいずれか1項に記載のマンガ画像解析装置。
- 解析対象のマンガ画像から、画像上の直線によって囲まれるコマ画像単位に区分するコマ画像抽出手段を更に有し、
前記コマ画像毎に、前記対象用特徴点抽出手段が多数の特徴点を抽出することを特徴とする請求項1から6のいずれか1項に記載のマンガ画像解析装置。 - 請求項1から7のいずれか1項に記載のマンガ画像解析装置における全ての機能を含むマンガ画像検索装置であって、
前記テキスト抽出手段によって抽出された前記テキストをインデックスとして、前記マンガ画像の識別情報に対応付けて記憶するインデックス記憶手段と、
検索キーワードを入力する検索キーワード入力手段と、
前記インデックス記憶手段を用いて、前記検索キーワードと一致するインデックスを含むマンガ画像の識別情報を検索するマンガ画像検索手段と、
検索されたマンガ画像の識別情報を出力する検索結果出力手段と
を更に有することを特徴とするマンガ画像検索装置。 - 前記テキスト抽出手段は、文字領域と判定された前記サブ領域画像と、予め記憶された文字パターンとの照合によって文字を特定するOCRであり、当該OCRによって文字サイズを前記インデックス記憶手段へ出力するものであり、
前記インデックス記憶手段は、前記テキスト毎に優先度を対応付けて記憶するものであって、前記テキスト抽出手段から出力された前記文字サイズが大きいテキストほど、高い優先度を対応付けており、
前記マンガ検索手段は、前記インデックス記憶手段に記憶された前記優先度が高いテキストほど、優先的に検索結果として出力する
ことを特徴とする請求項8に記載のマンガ画像検索装置。 - マンガ画像に記述されたテキストを抽出する装置に搭載されたコンピュータを機能させるプログラムであって、
解析対象のマンガ画像から、多数の特徴点を抽出する対象用特徴点抽出手段と、
前記多数の特徴点を、画像上の分布密度に基づいてクラスタリングする位置的クラスタリング手段と、
位置的クラスタ毎に、当該クラスタに含まれる多数の特徴点を囲む外枠から、画像上のサブ領域画像を抽出するサブ領域画像抽出手段と、
前記サブ領域画像に含まれる全ての特徴点から、当該サブ領域画像における特徴ベクトルを算出するサブ領域ベクトル算出手段と、
前記サブ領域画像の特徴ベクトルを、学習データから得られた文字領域の特徴ベクトルと比較して、文字領域であるか否かによって分類するサブ領域画像分類手段と、
文字領域と判定された前記サブ領域画像から、テキストを抽出するテキスト抽出手段と
してコンピュータを機能させることを特徴とするマンガ画像解析用のプログラム。 - マンガ画像に記述されたテキストを抽出する装置におけるマンガ画像解析方法であって、
解析対象のマンガ画像から、多数の特徴点を抽出する第1のステップと、
前記多数の特徴点を、画像上の分布密度に基づいてクラスタリングする第2のステップと、
位置的クラスタ毎に、当該クラスタに含まれる多数の特徴点を囲む外枠から、画像上のサブ領域画像を抽出する第3のステップと、
前記サブ領域画像に含まれる全ての特徴点から、当該サブ領域画像における特徴ベクトルを算出する第4のステップと、
前記サブ領域画像の特徴ベクトルを、学習データから得られた文字領域の特徴ベクトルと比較して、文字領域であるか否かによって分類する第5のステップと、
文字領域と判定された前記サブ領域画像から、テキストを抽出する第6のステップと
を有することを特徴とするマンガ画像解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009287145A JP5433396B2 (ja) | 2009-12-18 | 2009-12-18 | マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009287145A JP5433396B2 (ja) | 2009-12-18 | 2009-12-18 | マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011128924A JP2011128924A (ja) | 2011-06-30 |
JP5433396B2 true JP5433396B2 (ja) | 2014-03-05 |
Family
ID=44291454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009287145A Expired - Fee Related JP5433396B2 (ja) | 2009-12-18 | 2009-12-18 | マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5433396B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101916665B1 (ko) * | 2011-12-05 | 2018-11-09 | 한국전자통신연구원 | 만화 출판물에 대한 핑거프린팅 시스템 및 방법 |
JP2013218131A (ja) * | 2012-04-10 | 2013-10-24 | Panasonic Corp | 画像表示システムおよび画像表示装置 |
JP6549348B2 (ja) | 2012-11-06 | 2019-07-24 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 偏光フィルム、反射防止フィルムおよび表示装置 |
KR101574409B1 (ko) | 2014-02-10 | 2015-12-03 | 연세대학교 산학협력단 | 출판물의 핑거프린트 생성 방법과 이를 이용한 출판물 식별 장치 및 방법 |
JP7370574B2 (ja) * | 2019-10-08 | 2023-10-30 | 株式会社コミチ | コマ抽出方法及びプログラム |
CN115238670B (zh) * | 2022-08-09 | 2023-07-04 | 平安科技(深圳)有限公司 | 信息文本抽取方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3439105B2 (ja) * | 1998-01-20 | 2003-08-25 | 日本電信電話株式会社 | 映像中字幕文字検出方法およびその装置および記録媒体 |
JP3608965B2 (ja) * | 1998-12-18 | 2005-01-12 | シャープ株式会社 | 自動オーサリング装置および記録媒体 |
JP2000235618A (ja) * | 1999-02-16 | 2000-08-29 | Mitsubishi Electric Corp | 文字検出装置 |
JP3739621B2 (ja) * | 2000-02-09 | 2006-01-25 | シャープ株式会社 | 情報処理装置および情報端末 |
JP2006127446A (ja) * | 2004-09-29 | 2006-05-18 | Ricoh Co Ltd | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
-
2009
- 2009-12-18 JP JP2009287145A patent/JP5433396B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011128924A (ja) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cliche et al. | Scatteract: Automated extraction of data from scatter plots | |
CN110750656B (zh) | 一种基于知识图谱的多媒体检测方法 | |
Desai et al. | Hybrid approach for content-based image retrieval using VGG16 layered architecture and SVM: an application of deep learning | |
CN107209860A (zh) | 使用分块特征来优化多类图像分类 | |
JP5433396B2 (ja) | マンガ画像からテキストを抽出するマンガ画像解析装置、プログラム、検索装置及び方法 | |
EP2291812A2 (en) | Forum web page clustering based on repetitive regions | |
Iakovidou et al. | Localizing global descriptors for content-based image retrieval | |
CN109492168B (zh) | 一种基于旅游照片的可视化旅游兴趣推荐信息生成方法 | |
Tian et al. | Image classification based on the combination of text features and visual features | |
JP2013246732A (ja) | 手書き文書検索装置、方法及びプログラム | |
US20190034758A1 (en) | Systems and methods for clustering of near-duplicate images in very large image collections | |
Davila et al. | Tangent-V: Math formula image search using line-of-sight graphs | |
JP5480008B2 (ja) | マンガコンテンツの要約を生成する要約マンガ画像生成装置、プログラム及び方法 | |
Pengcheng et al. | Fast Chinese calligraphic character recognition with large-scale data | |
JP5414334B2 (ja) | 擬似文書検索システム及び擬似文書検索方法 | |
Diem et al. | Semi-automated document image clustering and retrieval | |
Agin et al. | An approach to the segmentation of multi-page document flow using binary classification | |
O***llah et al. | An approach for automatic Indic script identification from handwritten document images | |
Böschen et al. | A comparison of approaches for automated text extraction from scholarly figures | |
Richter et al. | Leveraging community metadata for multimodal image ranking | |
Nagendraswamy et al. | LBPV for recognition of sign language at sentence level: An approach based on symbolic representation | |
Tencer et al. | Sketch-based retrieval of document illustrations and regions of interest | |
Waykar et al. | Multimodal features and probability extended nearest neighbor classification for content-based lecture video retrieval | |
Tang et al. | Triangle coordinate diagram localization for academic literature based on line segment detection in cloud computing | |
Li et al. | Character Segmentation in Collector's Seal Images: An Attempt on Retrieval Based on Ancient Character Typeface. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131209 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5433396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |