JP2022185874A - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】文書の検索において、文書内の画像データから抽出した文字情報と画像情報の両方を用いること。【解決手段】データベースに格納されている電子化された文書を管理する情報処理装置であって、前記文書内の画像データに含まれる文字情報と画像情報の領域を識別する領域識別部と、前記画像データの文字情報の領域から文字列を抽出する文字列抽出部と、前記文字列に含まれる情報を用いて、予め設定された文書の範囲から文章を取得する文章取得部と、出現する頻度に応じて、少なくとも一つ以上の入力単語を前記文章から選択する単語選択部と、予め機械学習により学習したモデルに前記入力単語と前記画像情報を入力することにより、前記画像データを分類した分類タグを出力する分類タグ生成部と、前記分類タグを前記データベースに記憶する情報更新部と、前記分類タグを用いて、関連する画像データを含む前記データベース内の文書を検索する検索部と、を有することを特徴とする。【選択図】図３

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

社内文書などを電子化してデータベースとして資産管理する際に、分類タグなどを用いて関係する文書の紐づけを行うことは、データベースの検索や文書の更新履歴などを追跡するトレーサビリティにおいて重要である。さらに、開発における設計書や仕様書などの文書内に含まれるブロック図やフロー図などの画像データを分類した分類タグを生成することは、関連する画像を含む文書の検索にとって有効である。

このような技術に関連する従来技術として、特許文献１には、ログ画像などの画像データからＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）により抽出した文字列を文書の検索に用いることにより、検索精度を向上させる技術が開示されている。

しかしながら、従来の技術では、文書の検索において、画像データから抽出した文字情報を用いるのみで、画像データの画像情報は用いていないという問題があった。

本発明の実施形態は、上記課題に鑑み、文書の検索において、文書内の画像データから抽出した文字情報と画像情報の両方を用いることを目的とする。

上述した課題を解決するために、本発明は、データベースに格納されている電子化された文書を管理する情報処理装置であって、前記文書内の画像データに含まれる文字情報と画像情報の領域を識別する領域識別部と、前記画像データの文字情報の領域から文字列を抽出する文字列抽出部と、前記文字列に含まれる情報を用いて、予め設定された文書の範囲から文章を取得する文章取得部と、出現する頻度に応じて、少なくとも一つ以上の入力単語を前記文章から選択する単語選択部と、予め機械学習により学習したモデルに前記入力単語と前記画像情報を入力することにより、前記画像データを分類した分類タグを出力する分類タグ生成部と、前記分類タグを前記データベースに記憶する情報更新部と、前記分類タグを用いて、関連する画像データを含む前記データベース内の文書を検索する検索部と、を有することを特徴とする。

本発明の実施形態によれば、文書の検索において、文書内の画像データから抽出した文字情報と画像情報の両方を用いることができる。

本発明の実施形態に係る情報処理システムの概略図の例を示す図である。 本発明の実施形態に係る情報処理装置および端末装置のハードウェア構成の一例を示す図である。 本発明の実施形態に係る情報処理システムの機能ブロックの構成図の一例を示す図である。 本発明の実施形態に係る文書内画像の分類タグを生成する処理の流れの一例を示す図である。 本発明の実施形態に係る資産管理ＤＢ内の文書から文章を抽出する処理について説明する図である。 本発明の実施形態に係る分類タグ生成部の入出力データの一例を説明する図である。 本発明の実施形態に係る分類タグ生成部のネットワークモデルの一例を説明する図である。 本発明の実施形態に係るトレーサビリティ情報の一例を示す図である。 本発明の実施形態に係るトレーサビリティ情報の別の一例を示す図である。 本発明の実施形態に係る文章取得部が取得する文書の範囲を指定する方法を示す図である。 本発明の実施形態に係る共起関係リストを用いた文書内画像の分類タグを生成する処理の流れの一例を示す図である。 本発明の実施形態に係る共起関係リストの生成および利用方法を説明する図である。 本発明の実施形態に係る外部から読込んだ画像に対する分類タグを生成する処理の流れの一例を示す図である。

以下、添付図面を参照しながら、本発明に係る情報処理装置、情報処理システム、情報処理方法、及びプログラムの実施形態を詳細に説明する。

［第１の実施形態］
＜システム概要＞
図１は、本発明の実施形態に係る情報処理システムの概略図の例を示す図である。情報処理システム４は、端末装置５、画像形成装置６、および情報処理装置２が、通信ネットワーク１に接続する形で構成される。管理者は、端末装置５を操作して情報処理装置２にアクセスして、管理資産ＤＢ３に保存されている電子化された文書内の画像データに対する分類タグを生成させ、トレーサビリティ情報を更新するなどの管理を行うことが可能である。利用者は、端末装置５を操作して、分類タグを用いて管理資産ＤＢ３内の関連する画像を含む文書を検索することが可能である。また、画像形成装置６のスキャナ機能などを用いて取込んだ画像データを含む文書を資産管理ＤＢ３に登録することも可能である。なお、以降の説明では、画像データを単に画像と表現する場合もある。

＜ハードウェア構成例＞
図２は、本発明の実施形態に係る情報処理装置２と端末装置５のハードウェア構成の一例を示す図である。図２に示されているように、情報処理装置２および端末装置５は、コンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、情報処理装置２と端末装置５の全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワーク１を利用してデータ通信をするためのインターフェースである。データバス５１０は、図５に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜機能について＞
図３は、本発明の実施形態に係る情報処理システム４の機能ブロックの構成図の一例を示す図である。図３に示すように、情報処理システム４は、主な機能ブロックを有する装置として、情報処理装置２と端末装置５とを備える。

＜情報処理装置の機能＞
情報処理装置２は、画像取得部１０１、領域識別部１０２、文字列抽出部１０３、第１解析部１０４、文章取得部１０５、第２解析部１０６、単語選択部１０７、分類タグ生成部１０８、情報更新部１０９、第１通信部１１０、および検索部１１１を備える。

画像取得部１０１は、管理資産ＤＢ３に登録されている文書に含まれている画像データのうち、分類タグの情報を有していない画像データを取得し、取得した画像データを領域識別部１０２に送信する。または、画像形成装置６のスキャン機能でスキャンした画像データやカメラで撮影した画像データを領域識別部１０２に送信する。

領域識別部１０２は、画像取得部１０１から受信した画像データに対して、文字領域と文字以外の領域を識別して分割し、文字領域の情報（画像データ内の文字情報）を文字列抽出部１０３に送信し、文字以外の領域の情報（画像データ内の画像情報）を分類タグ生成部１０８に送信する。

文字列抽出部１０３は、領域識別部１０２から受信した文字領域の情報から文字列を抽出し、第１解析部１０４に送信する。この抽出処理は、一般的なＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）で行われる処理と同様の処理により実現できる。

第１解析部１０４は、文字列抽出部１０３から受信した文字列に対して、形態素解析を実行することにより得た単語と各単語の品詞のリスト（単語リスト）を文章取得部１０５に送信する。あるいは、受信した文字列に対して、Ｎ－ｇｒａｍ解析を実行することにより得た単語と各単語の出現頻度のリスト（単語リスト）を文章取得部１０５に送信する。

文章取得部１０５は、第１解析部１０４から受信した単語リストに含まれる単語を含む文章を資産管理ＤＢ３の予め設定した範囲から取得し、取得した文章を第２解析部１０６に送信する。

第２解析部１０６は、文章取得部１０５から受信した文章に対して、形態素解析を実行することにより得た単語と各単語の品詞のリストを単語選択部１０７に送信する。あるいは、受信した文字列を指定した文字列に分割して作成した共起関係リスト２２１を文章取得部１０５に送信する。

単語選択部１０７は、第２解析部１０６から受信したリストの中から選択した少なくとも１つ以上の単語を入力単語として分類タグ生成部１０８に送信する。

分類タグ生成部１０８は、領域識別部１０２から受信した画像情報と分類タグ生成部１０８から受信した単語を入力として、予め機械学習（ディープラーニング）により学習したモデルを用いて分類タグを生成し、情報更新部１０９に出力する。

情報更新部１０９は、分類タグ生成部１０８から受信した分類タグを画像取得部１０１が取得した文書の画像データの分類タグとして記憶することにより、資産管理ＤＢ３上に保存されているトレーサビリティ情報を更新する。

第１通信部１１０は、通信ネットワーク１を介して、端末装置５の第２通信部１２３とデータの送受信を行う。情報処理装置２から端末装置５へは、文書検索画面の画面情報や文書検索結果などの情報が送信される。

検索部１１１は、端末装置５を操作する利用者からの要求などに基づいて、分類タグを用いて、資産管理ＤＢ３内の関連する画像データを含む文書を検索する。

＜端末装置の機能＞
端末装置５は、表示制御部１２１、操作受付部１２２、第２通信部１２３を備える。

表示制御部１２１は、端末装置５のディスプレイに情報処理装置２から受信した文書検索画面などの画面情報や文書検索結果などを表示する。

操作受付部１２２は、端末装置５の利用者による文書検索に係る入力操作などを受け付ける。

第２通信部１２３は、通信ネットワーク１を介して、情報処理装置２の第１通信部１１０とデータの送受信を行う。端末装置５から情報処理装置２へは、操作受付部１２２が受け付けた利用者による入力操作の情報などが送信される。

＜文書内の画像を分類す分類タグを生成する処理＞
図４は、本発明の実施形態に係る文書内画像の分類タグを生成する処理の流れの一例を示す図である。以下、情報処理システム４の各機能ブロックが行う処理の全体的な流れについて説明する。各処理の詳細については、以降の図面を用いて説明する。

画像取得ステップＳ２０１において、管理者は、端末装置５の操作受付部１２２から操作を行うことにより、情報処理装置２の管理画面にアクセスする。情報処理装置２の第１通信部１１０は、管理画面に関する情報を端末装置５の第２通信部１２３に送信する。端末装置５の表示制御部１２１は、受信した画面情報を端末装置５のディスプレイに表示する。管理画面において、管理者は、新たに管理資産ＤＢ３に登録された文書などの分類タグの情報を有していない文書の画像に分類タグを付与する処理を情報処理装置２に実行させる。画像取得部１０１は、管理資産ＤＢ３に登録されている文書に含まれる画像データのうち、分類タグの情報を有していない画像データを取得し、取得した画像データを領域識別部１０２に送信する。

領域選別ステップＳ２０２において、領域識別部１０２は、画像取得部１０１から受信した画像データに対して、文字領域と文字以外の領域に分割し、文字領域の情報（画像データ内の文字情報）を文字列抽出部１０３に送信し、文字以外の領域の情報（画像データ内の画像情報）を分類タグ生成部１０８に送信する。

文字列抽出ステップＳ２０３において、文字列抽出部１０３は、領域識別部１０２から受信した文字領域の情報から文字列を抽出し、第１解析部１０４に送信する。この抽出処理は、一般的なＯＣＲで行われる処理と同様の処理により実現できる。

第１形態素解析ステップＳ２０４において、第１解析部１０４は、形態素解析用の辞書２１０に基づいて、受信した文字列を形態素に分解し、分解して得た単語とその単語の品詞のリスト（単語リスト）を文章取得部１０５に送信する。

文章取得ステップＳ２０５において、文章取得部１０５は、受信した単語リストから予め設定した品詞の単語を選択し、その単語を含む文章を資産管理ＤＢ３の予め設定した範囲から取得し、取得した文章を第２解析部１０６に送信する。ここで、予め設定する品詞は、名詞、動詞、形容詞、副詞などの内容に関係する意味を含む品詞を設定する。また、文章を取得するための資産管理ＤＢ３の予め設定する範囲は、例えば、画像を含む段落（または節、セクションなどと呼ばれる範囲）、画像の前後に位置する範囲、画像へのリンクが張られている文章を含む範囲などを指定する。また、領域識別部１０２が、文字領域を識別できなかった場合、あるいは文字列抽出部１０３が、文字領域から文字列を抽出できなかった場合、あるいは文章取得部１０５が、資産管理ＤＢ３の予め設定した範囲から文章を取得できなかった場合、資産管理ＤＢ３の予め設定した範囲の文章の全てを第２解析部１０６に送信する。

第２形態素解析ステップＳ２０６において、第２解析部１０６は、形態素解析用の辞書２１０に基づいて、受信した文章を形態素に分解し、分解して得た単語とその単語の品詞のリスト（単語リスト）を単語選択部１０７に送信する。

単語選択ステップＳ２０７において、単語選択部１０７は、受信した単語リストから予め定めた品詞の単語で出現率が高い（リストに含まれる数が最も多い）単語を選択して、その単語を分類タグ生成部１０８に出力する。例えば、出現率が高い上位Ｎ個の単語を選択する。

分類タグ生成ステップＳ２０８において、分類タグ生成部１０８は、領域識別部１０２から受信した画像情報と単語選択部１０７から受信した単語を入力として、予め機械学習（ディープラーニング）により学習したモデルを用いて分類タグを生成する。生成した分類タグは、情報更新部１０９に出力される。

トレーサビリティ情報更新ステップＳ２０９において、情報更新部１０９は、受信した分類タグを画像取得ステップＳ２０１で取得した文書の画像データの分類タグとして記憶することにより、資産管理ＤＢ３に保存されているトレーサビリティ情報を更新する。

以上の処理を資産管理ＤＢ３に登録されている文書の全ての画像データに対して実行することにより、情報処理システム４は、同じ分類タグを持つ画像を持つ文書を関連する文書として検索することが可能となる。

図５は、本発明の実施形態に係る資産管理ＤＢ３内の文書から文章を抽出する処理について説明する図である。図５に示す資産管理ＤＢ３に登録されている文書３００には、文章部３０１と画像部３０２を有している。図４の画像取得ステップＳ２０１において、画像取得部１０１は、画像データとして画像部３０２を取得し、領域選別ステップＳ２０２において、領域識別部１０２は、画像部３０２から文字領域３０４を選別する。さらに、文字列抽出ステップＳ２０３において、文字列抽出部１０３は、文字領域３０４内から文字列として"図X ＃＃＃◎◎◎＋＋＋"を抽出し、第１形態素解析ステップＳ２０４において、第１解析部１０４は、抽出した文字列を形態素解析して単語と品詞に分類して単語リスト３０５を生成する。一方、文章取得ステップＳ２０５において、文章取得部１０５は、文章部３０１から単語リスト３０５の予め設定した品詞の単語を含む文章として文章３０３を取得する。

図６は、本発明の実施形態に係る分類タグ生成部１０８の入出力データの一例を説明する図である。分類タグ生成部１０８は、入力データ３１０である文字列（単語）３１１と画像データ３１２に対応する分類タグを出力データ３１３として出力するように、予め機械学習（ディープラーニング）されている。文字列(単語)３１１は、単語選択部１０７で選択されたｎ個の単語（最大でＮ個）をＷｏｒｄ２Ｖｅｃなどの公知の技術によりベクトル化したものを用いることが可能である。画像データ３１２は画素単位の配列（例えば主走査線画素数ｍ、副走査線画素数ｋ）になっており、必要に応じてノイズ除去などの前処理等を行う。１つの画素値の輝度は、例えば８ビット（０～２５５の値）で表現するモノクロ画像であってもよく、あるいは、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３原色を用いたカラー画素であってもよい。入力画像のサイズは、例えば最大で１０２４ｘ１０２４（ｍ＝１０２４、ｋ＝１０２４）であり、入力画像が最大サイズよりも小さい場合は、例えば、左上に寄せて余りの画素値を０とする。出力データ３１３は、画像を分類した結果である分類タグであり、例えば、１つのビットのみ１で残りを０とするＯｎｅｈｏｔ表現とする。このとき、出力ビットの長さは、分類の種類の数であり、例えば、１０種類（ｐ＝１０）とする。

図７は、本発明の実施形態に係る分類タグ生成部のネットワークモデルの一例を説明する図である。ニューラルネットワーク３２３の入力データである単語３２１と画像３２２、および出力データである分類タグ３２７の詳細については、図６で説明した通りである。画像３２２は、カラー（ＲＧＢ）の３種類の画素値が入力される形になっている。ニューラルネットワーク３２３は、単語用ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）３２４、画像用ＣＮＮ３２５、および出力層３２６を有している。単語用ＣＮＮ３２４と画像用ＣＮＮ３２５の最終層では、それぞれα個の要素を持つ１次元のベクトル値が出力され、その２つのベクトルを合成したα×２の配列を持つ入力値が出力層３２６に入力され、出力層３２６からの出力が分類タグ３２７を示す値となる。ここで、αの値は出力値の要素数（＝分類タグの種類）よりも大きい値を用いる。入力データは、複数の要素（単語および画像データ）で構成されていることから、ニューラルネットワーク３２３の学習においては、例えば、マルチモーダル深層学習の手法を用いることが有効である。

図８は、本発明の実施形態に係るトレーサビリティ情報の一例を示す図である。情報更新部１０９は、分類タグ生成部１０８から受信した情報に基づいて、資産管理ＤＢ３に記憶されているトレーサビリティ情報３３０を更新する。トレーサビリティ情報３３０の文書Ａに含まれる画像（画像Ａ、画像Ｂ、画像Ｃ、・・・）、および文書Ｂに含まれる画像（画像Ｄ、画像Ｅ、画像Ｆ、・・・）において、分類タグが付与されている箇所は１（Ｔｒｕｅ）、それ以外の箇所は０（Ｆａｌｓｅ）となっている。例えば、文書Ａの画像Ａに対しては、値が１（Ｔｒｕｅ）である分類Ｃ、分類Ｅ、および分類Ｆの分類タグが付与されている。文書検索時には、トレーサビリティ情報を用いて、例えば、文書Ａの画像Ｃに関連する文書の画像として、分類タグＡが付与されている文書Ｂの画像Ｅを提示することが可能である。

図９は、本発明の実施形態に係るトレーサビリティ情報の別の一例を示す図である。図８に示したトレーサビリティ情報３３０との違いは、情報更新部１０９が、分類タグを更新した日付をさらに記憶することである。トレーサビリティ情報３４０には、文書Ａの画像Ａおよび画像Ｂの分類タグが更新された更新日時として、２０２０／１２／１と２０２１／１／２の日付が記憶されている。このように分類タグの更新日時を記録することにより、例えば、他のシステムや手作業により文書や画像などが更新された場合に、更新日時を比較することにより、更新された文書や画像を用いて、再度分類タグを生成して更新を行うなどの管理を行うことが可能となる。

図１０は、本発明の実施形態に係る文章取得部１０５が取得する文書の範囲を指定する方法を示す図である。資産管理ＤＢ３に、文書Ａ３５０と文書Ｂ３５２に対するタイトル３５１と３５３、および各ページ内の段落や画像の情報が格納されている。これらの文書に対して、さらに文章取得部１０５が文章を取得する際に予め設定しておく文書取得範囲３５４を資産管理ＤＢ３に格納する。文書取得範囲３５４には、指定した文書の種類（文書種類）とキーワードを持つ文書に対して、文書内の文章を取得する範囲が設定されている。また、各行において設定された範囲に対して番号が付与されている。ここで、文書種類については、文書Ａ３５０は仕様書、文書Ｂ３５２はレポートであるとする。文書の種別に関する情報は、文書内にプロパティなどで管理されていてもよく、あるいは、別のデータベースで管理するようにしてもよい。また、キーワードの欄に、文書のタイトルに含まれている文字列を指定することにより、その文字列をタイトルに含む文書のみが設定の対象となる。キーワードを指定しない場合は、範囲を指定しないことを示す値、例えば"ｎｏｎｅ"を設定することで、タイトルにより文書を限定しないことも可能である。例えば、文書Ａ３５０のタイトル３５１には"ＡＡＡ"の文字列が含まれているため、番号３５５の文章取得範囲（段落Ａ、段落Ｂ、…、段落Ｑ）が適用される。一方、文書Ｂ３５２のタイトル３５３にも文字列"ＡＡＡ"が含まれるが、文書種類が異なる（レポート）ため番号３５５は適用されず、キーワードに指定がない番号３５７の文章取得範囲が適用される。指定する文書内の範囲については、Ｎ個の範囲を指定することが可能となっているが、一定数の範囲を指定した後、それ以上指定する範囲が無い場合は、"ｎｏｎｅ"を設定すればよい。

［第２の実施形態］
図１１を用いて、本発明の第２の実施形態について説明する。図１１は、本発明の実施形態に係る共起関係リストを用いた文書内画像の分類タグを生成する処理の流れの一例を示す図である。ここでは、図４で説明した分類タグを生成する処理との違いのみについて説明する。共起とは、ある単語に対して、別の単語が高い頻度で同じ文章に出現することであり、それらの単語をリスト化したものを共起関係リストと呼ぶ。また、Ｎ－ｇｒａｍ解析により文字列を分割して生成された後の状態は、単語でなく文字列と呼ぶ方が適切かもしれないが、図４の形態素解析の場合と同様に、文字列を分割した後に生成された状態のものを単語と呼ぶ。

第１Ｎ－ｇｒａｍ解析ステップＳ２２４において、第１解析部１０４は、文字列抽出部２０３から受信した文字列を予め設定した文字数の単語に分割し、分割した語とそれらの出現頻度に基づいて作成したリストを文章取得部１０５に送信する。

文章取得ステップＳ２２５において、文章取得部１０５は、受信した単語を含む文章を資産管理ＤＢ３の予め設定した範囲から取得し、取得した文章を第２解析部１０６に送信する。ここで、受信した単語の内、予め定めた最大数の単語数以内となるように、出現頻度が高い順に選択した単語のみを用いるようにしてもよい。

第２Ｎ－ｇｒａｍ解析ステップＳ２２６において、第２解析部１０６は、受信した文章を予め設定した文字数の単語に分割し、それらの単語の共起関係を分析することにより共起関係リスト２２１を作成して単語選択部１０７に送信する。

単語選択ステップＳ２２７において、単語選択部１０７は、受信した共起関係リスト２２１から、第１解析部１０４が作成したリスト内の単語を用いて、共起関係を持つ単語を予め設定した数以下の数だけ選択して、分類タグ生成部１０８に送信する。

上記に示した処理では、図４の処理と比較して、辞書２１０を用いた形態素解析に代わって、Ｓ２２４とＳ２２６においてＮ－ｇｒａｍ解析を実行することで、辞書２１０を準備する必要がない。分類タグ生成部１０８に対しては、入出力するデータに違いはないが、内部処理であるニューラルネットワークを予め学習する際のデータは、それぞれの処理で生成した単語と画像の組み合わせを用いる。

図１２は、本発明の実施形態に係る共起関係リストの生成および利用方法の一例を説明する図である。まず、文章取得部１０５が抽出した文字列がリスト３６０であるとすると、図１１の第２Ｎ－ｇｒａｍ解析ステップＳ２２６において、第２解析部１０６は、リスト３６０から例えば３文字の単語を１文字ずつずらしながら生成させたリスト３６１を生成する。次に、リスト３６１の単語を１単語ずつずらしながら、例えば３単語毎に区切ることにより、リスト３６２を生成する。次に、リスト３６２の真ん中（２番目）の列の単語の先頭文字を順にして行をソートし、さらに、重複して出現する行は統合して、出現頻度を右に記載したリスト３６３を作成する。リスト３６３は、図１１に示した共起関係リスト２２１の一例である。従って、第１解析部１０４が作成したリスト内の単語が、例えば"いろは"である場合、単語選択部１０７は、共起関係リスト２２１から、真ん中（２番目）の列の単語が、"いろは"である行の単語である"といろ"、"いろは"、"ろはに"を選択する。ここで、共起関係リスト２２１に、「"わかよ"、"いろは"、"つねな"、2」の行が含まれていたならば、出現回数が最も多い行の単語である"わかよ"、"いろは"、"つねな"が選択される。また、出現回数が等しいデータが複数ある場合は、選択可能な単語数の上限値内で、最上位の行から優先して選択するようにしてもよい。

［第３の実施形態］
図１３を用いて、本発明の第３の実施形態について説明する。図１３は、本発明の実施形態に係る外部から読込んだ画像に対する分類タグを生成する処理の流れの一例を示す図である。ここでは、図４で説明した分類タグを生成する処理との違いのみについて説明する。

画像取得ステップＳ２３１において、管理者は、端末装置５の操作受付部１２２から操作を行うことにより、情報処理装置２の管理画面にアクセスする。情報処理装置２の第１通信部１１０は、管理画面に関する情報を端末装置５の第２通信部１２３に送信する。端末装置５の表示制御部１２１は、受信した画面情報を端末装置５のディスプレイに表示する。管理画面において、管理者は、外部装置から取り込んだ画像データを管理資産ＤＢ３に登録された文書に追加し、さらにその画像データの分類タグを付与する処理を情報処理装置２に実行させる。画像取得部１０１は、画像形成装置６のスキャナ機能でスキャンした画像データやカメラで撮影した画像データを取得し、取得した画像を領域識別部１０２に送信する。

図４の画像取得ステップＳ２０１では、管理資産ＤＢ３から画像データを取得している点が本実施形態とは異なる。また、本実施形態において、領域識別部１０２と文字列抽出部１０３の機能は図４で示した処理と同じであるが、処理を情報処理装置２でなく、画像形成装置６で実行して、出力結果を情報処理装置２に送信するようにしてもよい。これらの処理により、情報処理システム４は、管理資産ＤＢ３に登録されていない画像データに対して、分類タグを生成することが可能となる。

以上、本発明を実施するための幾つかの形態について説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、図３の機能ブロックの構成図の一例は、情報処理装置２および情報処理システム４による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）や従来の回路モジュール等のデバイスを含むものとする。

また、記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理装置２または情報処理システム４は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。また、資産管理ＤＢ３は、分散ストレージや分散データベースなどの技術を用いてデータベースを格納するようにしてもよい。

１ 通信ネットワーク
２ 情報処理装置
３ 資産管理ＤＢ
４ 情報処理システム
５ 端末装置
６ 画像形成装置
１０１ 画像取得部
１０２ 領域識別部
１０３ 文字列抽出部
１０４ 第１解析部
１０５ 文章取得部
１０６ 第２解析部
１０７ 単語選択部
１０８ 分類タグ生成部
１０９ 情報更新部
１１０ 第１通信部
１１１ 検索部
１２１ 表示制御部
１２２ 操作受付部
１２３ 第２通信部

特開２００８―３１１８２８号公報

Claims (9)

1. データベースに格納されている電子化された文書を管理する情報処理装置であって、
   前記文書内の画像データに含まれる文字情報と画像情報の領域を識別する領域識別部と、
   前記画像データの文字情報の領域から文字列を抽出する文字列抽出部と、
   前記文字列に含まれる情報を用いて、予め設定された文書の範囲から文章を取得する文章取得部と、
   出現する頻度に応じて、少なくとも一つ以上の入力単語を前記文章から選択する単語選択部と、
   予め機械学習により学習したモデルに前記入力単語と前記画像情報を入力することにより、前記画像データを分類した分類タグを出力する分類タグ生成部と、
   前記分類タグを前記データベースに記憶する情報更新部と、
   前記分類タグを用いて、関連する画像データを含む前記データベース内の文書を検索する検索部と、
   を有することを特徴とする情報処理装置。
2. 前記文字列に含まれる単語と前記単語の品詞を含む単語リストを生成する第１解析部をさらに有し、
   前記文章取得部は、前記単語リストに含まれる予め設定した品詞の単語を含む文章を前記データベース内の予め設定された文書の範囲から取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記文章取得部が取得した文章に対して共起関係を分析することにより共起関係リストを生成する第２解析部をさらに有し、
   前記単語選択部は、前記共起関係リストから、前記単語リストに含まれる予め設定した品詞の単語を用いて、予め定められた数以下の入力単語を選択することを特徴とする請求項２に記載の情報処理装置。
4. 前記情報更新部は、前記分類タグを記憶する日時を前記分類タグとともに前記データベースに記憶することを特徴とする請求項１または請求項３のいずれか一項に記載の情報処理装置。
5. 前記文章取得部が文書を取得する範囲を文書の種類ごとに予め設定しておくことを特徴とする請求項４に記載の情報処理装置。
6. 外部装置から取得した画像データを前記データベースに登録して、前記文書内の画像データとして用いることを特徴とする請求項５に記載の情報処理装置。
7. データベースに格納されている電子化された文書を管理する情報処理装置を有する情報処理システムであって、
   前記情報処理装置は、
   前記文書内の画像データに含まれる文字情報と画像情報の領域を識別する領域識別部と、
   前記画像データの文字情報の領域から文字列を抽出する文字列抽出部と、
   前記文字列を含む文章を予め設定された文書の範囲から取得する文章取得部と、
   出現する頻度に応じて、少なくとも１つ以上の入力単語を前記文章から選択する単語選択部と、
   予め機械学習により学習したモデルに前記入力単語と前記画像データの画像情報の領域を入力することにより、前記画像データを分類した分類タグを出力する分類タグ生成部と、
   前記分類タグを前記データベースに記憶する情報更新部と、
   端末装置からの要求に応じて、前記分類タグを用いて、関連する画像データを含む前記データベース内の文書を検索する検索部と、
   前記検索の結果に関する画面情報を前記端末装置に送信する第１通信部と、
   を有することを特徴とする情報処理システム。
8. データベースに格納されている電子化された文書を管理する情報処理装置が行う情報処理方法であって、
   前記文書内の画像データに含まれる文字情報と画像情報の領域を識別するステップと、
   前記画像データの文字情報の領域から文字列を抽出するステップと、
   前記文字列を含む文章を予め設定された文書の範囲から取得するステップと、
   出現する頻度に応じて、少なくとも１つ以上の入力単語を前記文章から選択するステップと、
   予め機械学習により学習したモデルに前記入力単語と前記画像データの画像情報の領域を入力することにより、前記画像データを分類した分類タグを出力するステップと、
   前記分類タグを前記データベースに記憶するステップと、
   前記分類タグを用いて、関連する画像データを含む前記データベース内の文書を検索するステップと、
   を有する情報処理方法。
9. データベースに格納されている電子化された文書を管理する情報処理装置に、
   前記文書内の画像データに含まれる文字情報と画像情報の領域を識別するステップと、
   前記画像データの文字情報の領域から文字列を抽出するステップと、
   前記文字列を含む文章を予め設定された文書の範囲から取得するステップと、
   出現する頻度に応じて、少なくとも１つ以上の入力単語を前記文章から選択するステップと、
   予め機械学習により学習したモデルに前記入力単語と前記画像データの画像情報の領域を入力することにより、前記画像データを分類した分類タグを出力するステップと、
   前記分類タグを前記データベースに記憶するステップと、
   前記分類タグを用いて、関連する画像データを含む前記データベース内の文書を検索するステップと、
   を実行させるためのプログラム。

Images