JP2018077762A - 画面認識装置、画面認識方法、および、画面認識プログラム - Google Patents

Abstract

【課題】様々なアプリケーションにより表示される画面上の各オブジェクトの相対関係を認識する画面認識装置を提供する。【解決手段】画面認識装置１００は、画面情報から、画面上に表示される各オブジェクトの絶対座標情報を取得するオブジェクト情報取得部１１１と、各オブジェクトの絶対座標情報に基づき、画面上の任意の２つのオブジェクト間の相対位置を相対位置情報として記録する相対位置情報取得部１１２と、相対位置情報に基づき、画面上の最左上のオブジェクトを起点に左から右へオブジェトを１以上配置したグリッド行群を生成するグリッド行生成部１１３と、グリッド行生成部１１３により生成されたグリッド行群を、相対位置情報に基づき、グリッド行に含まれるオブジェクト同士の上下の相対位置に従い配置したグリッド行列を生成し、出力するグリッド配置部１１４とを備え、画面上に表示されるオブジェクト間の相対関係を認識する【選択図】図３

Description

本発明は、画面認識装置、画面認識方法、および、画面認識プログラムに関する。

オペレータは業務アプリケーション画面（画面）を操作することで、必要な業務情報を入力・登録したり、参照したりすることができる。多くの場合、オペレータは画面を介して業務を遂行するため、オペレータが操作する画面および動作を取得することで、オペレータの操作状況を機械的に推測することができる。画面の動作は、画面に関する情報とオペレータによる操作に関する情報の双方を認識することで獲得できる。画面に関する情報は、例えば、画面を総括する情報（ウィンドウタイトル、ウィンドウID、タイトルバーなど）、画面内のGUI部品に関する情報（各GUI部品のクラス、ID、テキスト名など）、これらの情報を取得した日時などがある。オペレータの操作に関する情報は、例えば、マウス操作やキーボード操作、およびこれらの操作対象である画面またはGUI部品の情報などがある。これらの情報を取得することで、オペレータがいつどのタイミングでどの画面のどのGUI部品にどのような値を入力したかを逐一取得することができる。以後、画面に関する情報を「画面情報」、オペレータの操作に関する情報を「操作情報」と呼ぶ。また、GUI部品を「オブジェクト」と呼ぶ。オペレータの画面情報を適切に認識するために、アプリケーションやオペレーションシステム毎に様々なAPIがある。例えば、（１）オブジェクトに付与されているIDを利用するAPI、（２）マウスのカーソル位置やキーボードの入力位置、画面上の相対位置など、位置情報からオブジェクトを指定するAPI、（３）画面上の配置関係から定義されたオブジェクト間の親子関係（オブジェクトツリー）を利用してオブジェクトを指定するAPIなどがある。

特開２０１５−５２４３号公報 特開２０１４−１３４９０号公報

しかし、上記した従来技術は、様々なアプリケーションの画面情報を適切に取得できない可能性がある。例えば、上記の（１）の場合は、オブジェクトがIDをユニークに持たない場合にオブジェクトの情報を取得する手段がないという問題があった。上記の（２）の場合は、端末画面の一点を起点とした相対位置で計算するため、例えば、ディスプレイが異なる端末は、ウインドウサイズや解像度の規定値が異なるため、オブジェクトを正しく取得できない。また、フローテキスト型GUI(HTML)などはオブジェクトのサイズや位置が動的に変更するため、正しくオブジェクトを取得できないという問題があった。さらに、上記の（３）の場合は、あらかじめオブジェクトツリー構造を認識する必要があるが、オブジェクトツリー構造は各アプリケーション依存で作成される傾向がある。その場合、見た目が同じ画面でもツリーの深さやパスの構造、オブジェクトの個数が少しずつ異なるため、例えばオブジェクトツリーが動的に変化するアプリケーションではオブジェクトを取得できないという問題があった。

また、上記の（２）のオブジェクト認識に画面の位置情報が依存する問題に対応して、オブジェクト間の相対関係をユーザがルールと定義し、その情報を制約条件として該当する解候補を求めることで画像内容に応じて適切なマスキングを行う技術が提案されている（特許文献１、特許文献２参照）。この技術によれば、各々のオブジェクトの絶対座標から各オブジェクトの配置の大小関係の順序付けを行うルールをｘ軸、ｙ軸それぞれについて自動生成し、そのルールに基づいて各オブジェクトが配置されうる２次元領域を求める。これにより、各オブジェクトの配置位置や大きさに応じて、画面を適切に分割することができる。しかしながら、この技術は画面の分割を主目的としており、オブジェクトが他のオブジェクトから見て相対的にいずれかにあるかの情報を保持しない。そのため、例えば、「オブジェクトXの２つ右にあるオブジェクトの１つ下のオブジェクト」といったあるオブジェクトを軸に２次元的に他のオブジェクトを探索する用途には対応できない。

そこで本発明は、様々なアプリケーションにより表示される画面上の各オブジェクトに対してオブジェクト同士の相対関係を認識させることで、他のオブジェクトから相対的にオブジェクトを指定できるようにすることを課題とする。例えば、オブジェクトXがオブジェクトYの左にあるが、オブジェクトXを前述した方法で直接取得できない場合、オブジェクトYを取得した後に、相対関係を利用してオブジェクトYを起点にオブジェクトXを指定できるようにすること課題とする。

前記した課題を解決するため、本発明は、画面上に表示されるオブジェクト間の相対関係を認識する画面認識装置であって、前記画面の画面情報から、前記画面上に表示される各オブジェクトの絶対座標情報を取得するオブジェクト情報取得部と、前記各オブジェクトの絶対座標情報に基づき、前記画面上の任意の２つのオブジェクト間の相対位置を相対位置情報として記録する相対位置情報取得部と、前記相対位置情報に基づき、画面上の最左上のオブジェクトを起点に左から右へオブジェトを配置した１以上のグリッド行群を生成するグリッド行生成部と、前記グリッド行生成部により生成されたグリッド行群を、前記相対位置情報に基づき、前記グリッド行に含まれるオブジェクト同士の上下の相対位置に従い配置したグリッド行列を生成し、出力するグリッド配置部と、を備えることを特徴とする。

本発明によれば、様々なアプリケーションにより表示される画面上の各オブジェクトの相対関係を認識できる。その結果、他のオブジェクトから相対的にオブジェクトを指定することができる。

図１は、画面認識装置の概要を説明するための図である。 図２は、画面上のオブジェクトの検索処理の例を示す図である。 図３は、画面認識装置の機能ブロック図である。 図４は、オブジェクト情報取得部の処理を説明するための図である。 図５は、相対位置情報取得部の処理を説明するための図である。 図６は、最近傍のオブジェクトを説明するための図である。 図７は、グリッド行の一例を示す図である。 図８は、グリッド行の一例を示す図である。 図９は、グリッド行の配置手順の一例を示す図である。 図１０は、グリッド行の配置手順の一例を示す図である。 図１１は、グリッド行の配置手順の一例を示す図である。 図１２Ａは、画面認識装置の処理手順を示すフローチャートである。 図１２Ｂは、図１２Ａのオブジェクト情報取得処理の詳細を示すフローチャートである。 図１３は、図１２Ａの相対位置情報取得処理の詳細を示すフローチャートである。 図１４は、図１３の左右相対関係取得処理の詳細を示すフローチャートである。 図１５は、図１３の上下相対関係取得処理の詳細を示すフローチャートである。 図１６は、図１３の最近傍オブジェクト取得処理の詳細を示すフローチャートである。 図１７は、図１６の横方向最近傍オブジェクト取得処理の詳細を示すフローチャートである。 図１８は、図１６の縦方向最近傍オブジェクト取得処理の詳細を示すフローチャートである。 図１９は、図１２Ａのグリッド行生成処理の詳細を示すフローチャートである。 図２０は、図１２Ａのグリッド配置処理の詳細を示すフローチャートである。 図２１は、図２０の列を挿入する処理の詳細を示すフローチャートである。 図２２は、画面認識装置により認識された画面認識情報の適用例を説明するための図である。 図２３は、画面認識装置により認識された画面認識情報の適用例を説明するための図である。 図２４は、画面認識プログラムを実行するコンピュータを示す図である。

以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。本発明は、本実施形態に限定されない。

まず、図１を用いて本実施形態の画面認識装置１００の概要を説明する。画面認識装置１００は、アプリケーションにより表示される画面上のオブジェクトの相対的な位置を認識し、その認識結果を示す情報（画面認識情報）を出力する。画面認識情報は、例えば、図１に示すように、画面上の各オブジェクトの相対的な位置を最小のグリッド行列に配置した情報である。

例えば、画面認識装置１００は、図１に示すように、画面情報（画面上の各オブジェクトの絶対位置座標等を示す情報）を取得すると、この画面情報から各オブジェクトの相対的な位置を示す、グリッド行列を生成し、出力する。

なお、以下の説明において、画面上のオブジェクトの相対位置（相対関係）を表現するための格子状の矩形をグリッドと呼び、グリッドを所定の行列数で並べたものをグリッド行列と呼ぶ。また、このグリッド行列上のオブジェクトに、それぞれのオブジェクトの属性（例えば、イメージやボタン、ラベル等）や、オブジェクトに記載されたテキスト情報（例えば、「別のアカウントを使用」等）を併記してもよい。

このように画面認識装置１００が画面上の各オブジェクトの相対位置関係を抽象的に認識することで、例えば、操作支援に必要なオブジェクトを検索しやすくなる。

例えば、図２に示すように操作支援を行う装置が、操作対象となる画面上のオブジェクトの配置パターンや変数名定義を含む問い合わせ（クエリ）を受信すると、画面上から、クエリに示される配置パターンに合致するオブジェクト（図２の太線で囲まれたウィンドウ上にあるＧＵＩ部品）を検索することができる。そして、上記の装置は、検索されたオブジェクト（操作対象となるオブジェクト）を出力する。例えば、上記の装置は、操作対象となるbutton_setが太線で囲まれたウィンドウ上の２３番目のオブジェクト（“設定”ボタン）であり、button_okが太線で囲まれたウィンドウ上の２４番目のオブジェクト（“ＯＫ”ボタン）であるという結果を出力する。

次に、図３を用いて、画面認識装置１００の構成を説明する。画面認識装置１００は、オブジェクト情報取得部１１１と、相対位置情報取得部１１２と、グリッド行生成部１１３と、グリッド配置部１１４とを備える。

また、画面認識装置１００は、記憶部（図示省略）に、オブジェクト情報保持部１２１と、相対位置情報保持部１２２と、グリッド行保持部１２３とを備える。オブジェクト情報保持部１２１は、オブジェクト情報取得部１１１から出力されたオブジェクト情報を記憶する。相対位置情報保持部１２２は、相対位置情報取得部１１２から出力された相対位置情報を記憶する。グリッド行保持部１２３は、グリッド行生成部１１３から出力されたグリッド行を記憶する。

オブジェクト情報取得部１１１は、アプリケーションの表示する画面の画面情報から、画面上に表示される各オブジェクトの相対位置を認識するための情報（オブジェクト情報）を取得する。例えば、オブジェクト情報は、例えば、class（属性）、text（テキスト情報）、area（絶対座標情報）等の情報である。

例えば、オブジェクト情報取得部１１１は、図４に示す画面情報から、画面上のオブジェクトそれぞれにindex（例えば、１〜４）を付け、当該オブジェクトのclass（属性）、text（テキスト情報）、area（絶対座標情報）を取得し、図４に示すオブジェクト情報を生成する。そして、オブジェクト情報取得部１１１は生成したオブジェクト情報をオブジェクト情報保持部１２１に出力する。

相対位置情報取得部１１２は、オブジェクト情報に示される各オブジェクトの絶対座標情報から、画面上の任意の２つのオブジェクト間の相対位置を示す相対位置情報を取得する。つまり、相対位置情報取得部１１２は、各オブジェクトの絶対座標情報に基づき、画面上の任意の２つのオブジェクト間の相対位置を示す相対位置情報を生成し、相対位置情報保持部１２２に出力する。

例えば、相対位置情報取得部１１２は、図５に示すように、オブジェクト情報に示される画面上の任意の２つのオブジェクトについて、一方のオブジェクトが他方のオブジェクトの、相対的に右／左／横方向に同位のオブジェクトか（左右相対関係）、相対的に下／上／縦方向に同位のオブジェクトか（上下相対関係）、縦／横方向に隣り合っている（最近傍の）オブジェクトか（最近傍オブジェクト）を判断する。そして、その判断結果を相対位置情報に記録する。

例えば、相対位置情報取得部１１２は、２つのオブジェクト（obj1とobj2）について、符号５０１に示すように、obj2がobj1の相対的右に位置するか、obj1の相対的左に位置するか、obj1と横方向に同位（つまり、obj1とobj2とでｘ座標の少なくとも一部が重なっている）かを判断する。また、相対位置情報取得部１１２は、符号５０２に示すように、obj2が、obj1の相対的下に位置するか、obj1の相対的上に位置するか、obj1と縦方向に同位（つまり、obj1とobj2とでｙ座標の少なくとも一部が重なっている）かを判断する。さらに、相対位置情報取得部１１２は、符号５０３に示すように、obj2が、obj1に隣り合っている（離れていても良い）か、obj1に隣り合っていないか判断する。なお、obj2が、obj1に隣り合っていない場合とは、obj2とobj1との間に別オブジェクト（obj3）がある場合や、obj2が、obj1の斜め（縦にも横にも同位でない）に位置する場合等が該当する。

例えば、obj2とobj1とが図６の（１）に示す各位置である場合、相対位置情報取得部１１２は、obj2が、obj1に対し縦／横方向に隣り合っている（最近傍の）オブジェクトと判断する。一方、obj2とobj1とが図６の（２）に示す各位置である場合、相対位置情報取得部１１２はobj2が、obj1に対し最近傍ではないと判断する。なお、相対位置情報取得部１１２は、図６に示すように、obj2とobj1とが重なっているような場合については扱わないものとする。

図３のグリッド行生成部１１３は、オブジェクトの相対位置情報に基づき、画面上の最左上のオブジェクトを起点に左から右へオブジェクトを配置したグリッド行を生成する。そして、グリッド行生成部１１３は、生成したグリッド行を、例えば、最左上のオブジェクトを起点に、グリッド行を生成した順序でグリッド行保持部１２３に出力する。

例えば、グリッド行生成部１１３は、図７の左に示す画面上の８個のオブジェクトについて、相対位置情報において縦方向に同位にあるオブジェクトを同じグリッド行に左→右の順に並べ、図７の右に示す５行のグリッド行を生成する。なお、図７の右に示すグリッド行の左に付された数字は、グリッド行の取得順序または当該グリッド行が配置される行番号を示す。

また、例えば、グリッド行生成部１１３は、図８の左に示す画面上の１４個のオブジェクトについて、相対位置情報において縦方向に同位にあるオブジェクトを同じグリッド行に左→右の順に並べ、図８の右に示す９行のグリッド行を生成する。

このように、グリッド行生成部１１３は、相対位置情報に基づき、画面上の最左上のオブジェクトを起点に相対的に縦方向に同位であるオブジェクト群を左から右へ配置してグリッド行を生成する処理を、グリッド行の下のオブジェクトがなくなるまで順次実行することでグリッド行群を生成する。

図３のグリッド配置部１１４は、グリッド行生成部１１３により生成されたグリッド行群を、相対位置情報に基づき、グリッド行に含まれるオブジェクトの上下の相対位置に従い配置することでグリッド行列を生成し、出力する。

例えば、グリッド配置部１１４は、グリッド行保持部１２３に記憶されるグリッド行群についてグリッド行の処理順（行番号順）に、各グリッド行に含まれるオブジェクトの上下の相対位置を保つように配置する。具体的には、グリッド配置部１１４は、相対位置情報を参照して、各グリッド行に含まれるオブジェクトのうち相対的に横方向に同位（図５参照）のオブジェクト間で上下の相対位置を保つように配置する。

例えば、グリッド配置部１１４は、オブジェクトＡに対し、オブジェクトＢが相対的に横方向に同位かつ相対的上に位置する場合、グリッド行列においてオブジェクトＡの上の位置かつ同じ列にオブジェクトＢが来るように、オブジェクトＡを含むグリッド列およびオブジェクトＢを含むグリッド列を配置する。これにより、グリッド配置部１１４は、相対的に横方向に同位かつ相対的下／上に位置するオブジェクト同士を同じ列に配置したグリッド行列を生成することができる。このグリッド行の配置については、具体例を用いて後記する。

また、グリッド配置部１１４は、グリッド行に含まれるオブジェクトのまま配置したのでは、グリッド行に含まれるオブジェクトのうち相対的に横方向に同位（図５参照）のオブジェクト間で上下の相対位置を保つことができない場合、グリッド行に含まれるオブジェクトの一部を増加させた上で配置する。ここでのオブジェクトの増加についても、具体例を用いて後記する。

ここでグリッド行の配置の具体例を説明する。なお、以下の説明において、「上位のオブジェクト」とは現在着目しているオブジェクトに対し、横方向に同位、かつ、相対的上にあるオブジェクトを指す。また、図９、図１０および図１１に示す説明において、例えば、オブジェクト１，２，…は、適宜「１，２，…」等と略して表記している。

例えば、グリッド配置部１１４は、図７に示したグリッド行について、図９に示すようにしてグリッド行を配置し、グリッド行列を生成する。

まず、グリッド配置部１１４は、図９に示すグリッド行群から、１行目のグリッド行を取り出す（図９のＳ１）。次に、グリッド配置部１１４は、２行目のグリッド行を取り出すと、２行目のグリッド行のオブジェクト３の上位にオブジェクト１を持つため、１行目のグリッド行のオブジェクト３の上にオブジェクト１を追加する（Ｓ２）。そして、グリッド配置部１１４は３行目のグリッド行を取り出すと、それぞれのグリッド行のオブジェクトの上下の相対位置は保たれているので、配置の変更無しとして（Ｓ３）、Ｓ４へ進む。

Ｓ３の後、グリッド配置部１１４は、４行目のグリッド行を取り出すと、それぞれのグリッド行のオブジェクトの上下の相対位置は保たれているので、配置の変更無しとして（Ｓ４）、Ｓ５へ進む。その後、グリッド配置部１１４は、５行目のグリッド行を取り出す。ここで、５行目のグリッド行のオブジェクト７は上位にオブジェクト６を持つため、グリッド配置部１１４は、オブジェクト７がオブジェクト６の下になるように配置する。また、オブジェクト８の上位に１を持つため、グリッド配置部１１４は、オブジェクト８がオブジェクト１の下になるようにオブジェクト１を追加する（Ｓ５）。このようにすることでグリッド配置部１１４は、図７に示したグリッド行群の配置を完了する。

また、例えば、グリッド配置部１１４は、図８に示したグリッド行について、図１０、図１１に示すようにしてグリッド行を配置する。

すなわち、グリッド配置部１１４は、図８に示すグリッド行群から、１行目のグリッド行を取り出し（図１０のＳ１１）、次に、２行目のグリッド行を取り出すと、オブジェクト３の上位にオブジェクト１を持つため、１行目のグリッド行の２列目にオブジェクト１を追加し（Ｓ１２）、Ｓ１３へ進む。続いて、グリッド配置部１１４は３行目のグリッド行を取り出すと、オブジェクト４の上位（相対的上）にオブジェクト１，２，３を持つため、３行目のグリッド行の２列目にオブジェクト４を追加する（Ｓ１３）。

Ｓ１３の後、グリッド配置部１１４は、４行目のグリッド行を取り出すと、４行目のグリッド行のオブジェクト５は上位にオブジェクト１，２，３，４を持つため、４行目のグリッド行の２列目にオブジェクト５を追加する（Ｓ１４）。

Ｓ１４の後、グリッド配置部１１４は、５行目のグリッド行を取り出す。ここで、５行目のグリッド行のオブジェクト６は上位にオブジェクト１，３，４を持つが、オブジェクト２，５を持たないため、グリッド配置部１１４は、新たな列（３列目）に５行目のグリッド行の行頭（オブジェクト６）が来るように配置し、また、その列（３列目）にオブジェクト１，３，４を追加する（Ｓ１５）。つまり、グリッド配置部１１４は、４行目のグリッド行を配置した上で、符号１００１に示すオブジェクトからなる列を追加する。

Ｓ１５の後、グリッド配置部１１４は、６行目のグリッド行を取り出す。ここで、６行目のグリッド行のオブジェクト７は上位にオブジェクト１〜５を持つため、グリッド配置部１１４は、６行目のグリッド行の２列目にオブジェクト７を追加する（Ｓ１６）。ここで、Ｓ１６の処理後、６行目のグリッド行のオブジェクト８は３列目以降にしか配置できない。更に、オブジェクト８は上位にオブジェクト１，３，４，５，６を持つため、グリッド配置部１１４は、３列目の前にオブジェクト１，３，４，５，８を追加する（Ｓ１７）。つまり、グリッド配置部１１４は、６行目のグリッド行を配置した上で、３列目に符号１００２に示すオブジェクトからなる列を挿入する。

Ｓ１７の後、グリッド配置部１１４は、７行目のグリッド行を取り出す。ここで、７行目のグリッド行のオブジェクト９は上位にオブジェクト１〜８を持つため、グリッド配置部１１４は、７行目のグリッド行の２〜４列目にオブジェクト９を追加する（Ｓ１８）。

図１１のＳ１９の説明に移る。Ｓ１８の後、７行目のグリッド行のオブジェクト１０は上位にオブジェクト１，３，４，６，８を持つため、グリッド配置部１１４は、５列目に、それら（オブジェクト１，３，４，６，８）とオブジェクト１０を配置する（Ｓ１９）。

Ｓ１９の後、グリッド配置部１１４は、８行目のグリッド行を取り出す。ここで、８行目のグリッド行のオブジェクト１１は上位にオブジェクト１〜１０を持つため、グリッド配置部１１４は、８行目のグリッド行の２〜４列目にオブジェクト１１を追加する（Ｓ２０）。

Ｓ２０の後、グリッド配置部１１４は、９行目のグリッド行を取り出す。ここで、９行目のグリッド行のオブジェクト１２は上位にオブジェクト１，３，４，５，６，８，９，１１を持つため、３，４列目にオブジェクト１２を配置する（Ｓ２１）。

Ｓ２１の後、９行目のグリッド行のオブジェクト１３は上位にオブジェクト１，３，４，６，８，９，１０，１１を持つが、オブジェクト９が不足し、かつオブジェクト１３は５列目以降にしか配置できない。そのため、グリッド配置部１１４は、４〜５列目の間に列を挿入してオブジェクト１，３，４，６，８，９，１１，１３の列を追加する（Ｓ２２）。

Ｓ２２の後、９行目のグリッド行のオブジェクト１４は上位にオブジェクト１，３，４，６，８，１０を持つが、７列目以降にしか配置できない。そのため、グリッド配置部１１４は、７列目（オブジェクト１４の上位）にオブジェクト１，３，４，６，８，１０を追加する（Ｓ２３）。

このようにすることで、グリッド配置部１１４は、オブジェクト間の上下左右の相対位置を反映したグリッド行列を生成することができる。また、グリッド配置部１１４は、グリッド行列を生成する際、相対的に縦方向に同位かつ相対的左／右に位置するオブジェクト同士を同じ行に配置し、また、相対的に横方向に同位かつ相対的下／上に位置するオブジェクト同士を同じ列に配置する。

これにより、グリッド配置部１１４は、画面上で横方向にほぼ同じ位置に並んでいるオブジェクトを同じ行に配置し、画面上で縦方向にほぼ同じ位置に並んでいるオブジェクトを同じ列に配置したグリッド行列を得ることができる。つまり、グリッド配置部１１４は画面上でオブジェクトの配置ズレがあったとしてもこれを丸め込んだ画面認識情報（グリッド行列）を生成することができる。換言すると、グリッド配置部１１４はロバストに画面上のオブジェクトの位置関係を認識することができる。

（処理手順）
次に、図１２Ａを用いて画面認識装置１００の処理手順の概要を説明する。まず、画面認識装置１００のオブジェクト情報取得部１１１は、画面情報に基づきオブジェクト情報を取得し（Ｓ１２１：オブジェクト情報取得）、相対位置情報取得部１１２は、オブジェクト情報における各オブジェクトの絶対座標情報に基づき、オブジェクト間の相対位置情報を取得する（Ｓ１２２：相対位置情報取得）。そして、グリッド行生成部１１３は、相対位置情報に基づき、グリッド行を生成し（Ｓ１２３：グリッド行生成）、グリッド配置部１１４は、生成したグリッド行を配置する（Ｓ１２４：グリッド配置）。

次に、図１２Ｂを用いて、図１２ＡのＳ１２１のオブジェクト情報取得処理を詳細に説明する。まず、オブジェクト情報取得部１１１は、画面情報を読み込み（Ｓ１２１１）、画面情報から各オブジェクトのクラス（class）、絶対座標（area）、あればテキスト（text）を取得し（Ｓ１２１２）、各オブジェクトにインデックス（index）を振る（Ｓ１２１３）。そして、オブジェクト情報取得部１１１は、各オブジェクトのクラス（class）、絶対座標（area）、あればテキスト（text）、インデックス（index）を対応付けた情報（オブジェクト情報）をオブジェクト情報保持部１２１へ出力する（Ｓ１２１４）。

なお、オブジェクト情報は、オブジェクトごとにクラスを生成し、プロパティとして情報を保持してもよいし、行列で保持してもよい。

次に、図１３を用いて、図１２ＡのＳ１２２の相対位置情報取得処理を詳細に説明する。まず、相対位置情報取得部１１２は、オブジェクト情報保持部１２１のオブジェクト情報を読み込むと（Ｓ１２２１）、各オブジェクトの絶対座標に基づき、各オブジェクトの左右相対関係を取得し（Ｓ１２２２：左右相対関係取得）、上下相対関係を取得し（Ｓ１２２３：上下相対関係取得）、最近傍オブジェクトを取得する（Ｓ１２２４：最近傍オブジェクト取得）。そして、相対位置情報取得部１１２は、取得した情報を相対位置情報として記録し、相対位置情報保持部１２２へ出力する（Ｓ１２２５）。

なお、相対位置情報は、オブジェクトごとにリストで保持してもよいし、行列で保持してもよい。また、相対位置を計算するための関数を用意しておき、相対位置情報取得部１１２が都度、オブジェクトの相対位置を計算するようにしてもよい。

次に、図１４を用いて、図１３のＳ１２２２の左右相対関係取得処理を詳細に説明する。ここでは、２つのオブジェクト（obj1とobj2）の左右の相対関係（相対位置）を判断する場合を例に説明する。

なお、以下の説明では、obj1の左上の座標を（px1，py1）、右下の座標を（qx1，qy1）とし、obj2の左上の座標を（px2，py2）、右下の座標を（qx2，qy2）とする。

相対位置情報取得部１１２は、オブジェクト情報からオブジェクト（obj1とobj2）の座標位置の情報を読み込み（Ｓ１３１）、obj1とobj2の座標位置がｘ軸方向についてpx2≧qx1（Ｓ１３２で「px2≧qx1」）、つまり、obj1のｘ軸最大値がobj2のｘ軸最小値以下ならば、obj2はobj1の相対右（val＝1）であると判断する（Ｓ１３３）。

一方、obj1とobj2の座標位置がｘ軸方向についてqx2≦px1（Ｓ１３２で「qx2≦px1」）、つまり、obj1のｘ軸最小値がobj2のｘ軸最大値以上ならば、相対位置情報取得部１１２は、obj2はobj1の相対的左（val＝-1）であると判断する（Ｓ１３４）。

さらに、px2≧qx1でもqx2≦px1でもない場合（Ｓ１３２で「else」）、つまり、px1≦px2≦qx1またはpx1≦qx2≦qx1の場合、相対位置情報取得部１１２は、obj2はobj1と横方向に同位（val＝0）であると判断する（Ｓ１３５）。

そして、相対位置情報取得部１１２は、Ｓ１３３〜Ｓ１３５の判断結果（val）をオブジェクトの左右相対関係に関する情報として出力する（Ｓ１３６）。

次に、図１５を用いて、図１３のＳ１２２３の上下相対関係取得処理を詳細に説明する。ここでも、２つのオブジェクト（obj1とobj2）の上下の相対位置を判断する場合を例に説明する。なお、図１５に示すようにオブジェクトのｙ軸の値は画面下のオブジェクトほど高い値になるものとする。

相対位置情報取得部１１２は、オブジェクト情報からオブジェクト（obj1とobj2）の座標位置の情報を読み込み（Ｓ１４１）、obj1とobj2の座標位置がｙ軸方向についてpy2≧qy1（Ｓ１４２で「py2≧qy1」）、つまり、obj1のｙ軸最大値がobj2のｙ軸最小値以下ならば、obj2はobj1の相対的下（val＝1）であると判断する（Ｓ１４３）。

一方、obj1とobj2の座標位置がｙ軸方向についてqy2≦py1（Ｓ１４２で「qy2≦py1」）、つまり、obj1のｙ軸最小値がobj2のｙ軸最大値以上ならば、相対位置情報取得部１１２は、obj2はobj1の相対的上（val＝-1）であると判断する（Ｓ１４４）。

さらに、py2≧qy1でもqy2≦py1でもない場合（Ｓ１４２で「else」）、相対位置情報取得部１１２は、obj2はobj1と縦方向に同位（val＝0）であると判断する（Ｓ１４５）。

そして、相対位置情報取得部１１２は、Ｓ１４３〜Ｓ１４５の判断結果（val）をオブジェクトの上下相対関係に関する情報として出力する（Ｓ１４６）。

次に、図１６を用いて、図１３のＳ１２２４の最近傍オブジェクト取得処理を詳細に説明する。例えば、相対位置情報取得部１１２が、オブジェクト（obj1）の左右相対関係および上下相対関係に関する情報を読み込み（Ｓ１５２）、オブジェクト（obj1）の横方向最近傍オブジェクトを取得し（Ｓ１５３）、また、オブジェクト（obj1）の縦方向最近傍オブジェクトを取得すると（Ｓ１５４）、これらをまとめてオブジェクト（obj1）の最近傍オブジェクトとして出力する（Ｓ１５５）。例えば、相対位置情報取得部１１２は、符号１６０１に示すオブジェクト（obj2）のうち、太線で囲まれたオブジェクト（obj2）をオブジェクト（obj1）の最近傍オブジェクトとして出力する。

次に、図１７を用いて、図１６のＳ１５３の横方向最近傍オブジェクト取得処理を詳細に説明する。例えば、相対位置情報取得部１１２が、オブジェクト（obj1）の左右相対関係に関する情報を読み込み（Ｓ１６１）、横方向最近傍オブジェクト群neighbor={}を設定する（Ｓ１６２）。なお、Ｓ１６２の段階ではneighbor={}は空の状態である。

Ｓ１６２の後、相対位置情報取得部１１２は、obj1の左右相対関係に関する情報から、obj1と縦方向に同位のオブジェクト群（Ｍ）を取得する（Ｓ１６３）。例えば、相対位置情報取得部１１２は、吹き出し１７０１に示すobj2群を取得する。

Ｓ１６３の後、相対位置情報取得部１１２は、上記のＭに属するobj2それぞれについてＳ１６４〜Ｓ１７０に示す処理を実行する。すなわち、相対位置情報取得部１１２は、obj1からみたobj2の相対位置が相対的左であり（Ｓ１６４で「相対的左」）、Ｍにobj2とobj1の間に配置されるオブジェクトがなければ（Ｓ１６５でＮｏ）、当該obj2をobj1の最近傍と判断しneighborに追加する（Ｓ１６７）。

一方、Ｍにobj2とobj1の間に配置されるオブジェクトがあれば（Ｓ１６５でＹｅｓ）、相対位置情報取得部１１２は、当該obj2をobj1の最近傍と判断しない（Ｓ１６８）。また、相対位置情報取得部１１２は、obj1からみたobj2の相対位置が相対的右である場合（Ｓ１６４で「相対的右」）も同様に、Ｍにobj2とobj1の間に配置されるオブジェクトがなければ（Ｓ１６６でＮｏ）、当該obj2をobj1の最近傍と判断し、neighborに追加する（Ｓ１６９）。

一方、Ｍにobj2とobj1の間に配置されるオブジェクトがあれば（Ｓ１６６でＹｅｓ）、相対位置情報取得部１１２は、当該obj2をobj1の最近傍と判断しない（Ｓ１７０）。

そして、相対位置情報取得部１１２は、Ｓ１６７〜Ｓ１７０の処理により、obj1の最近傍と判断されたobj2群を横方向最近傍オブジェクト群neighborとして出力する（Ｓ１７１）。

例えば、相対位置情報取得部１１２は、吹き出し１７０１に示すobj2群のうち、○の付されたobj2群についてobj1の横方向最近傍オブジェクト群neighborとして出力する。一方、吹き出し１７０１に示すobj2群のうち、×の付されたobj2群はobj1との間に他のオブジェクトが配置されるので横方向最近傍オブジェクト群neighborとして出力しない。

次に、図１８を用いて、図１６のＳ１５４の縦方向最近傍オブジェクト取得処理を詳細に説明する。例えば、相対位置情報取得部１１２が、オブジェクト（obj1）の上下相対関係に関する情報を読み込み（Ｓ１７２）、縦方向最近傍オブジェクト群neighbor={}を設定する（Ｓ１７３）。なお、Ｓ１７３の段階ではneighbor={}は空の状態である。

Ｓ１７３の後、相対位置情報取得部１１２は、obj1の上下相対関係に関する情報から、obj1と横方向に同位のオブジェクト群（Ｍ）を取得する（Ｓ１７４）。例えば、相対位置情報取得部１１２は、吹き出し１８０１に示すobj2群を取得する。

そして、相対位置情報取得部１１２は、Ｍに属するobj2それぞれについてＳ１７５〜Ｓ１８１に示す処理を実行する。すなわち、相対位置情報取得部１１２は、obj1からみたobj2の相対位置が相対的上であり（Ｓ１７５で「相対的上」）、Ｍにobj2とobj1の間に配置されるオブジェクトがなければ（Ｓ１７６でＮｏ）、当該obj2をobj1の最近傍と判断しneighborに追加する（Ｓ１７８）。

一方、Ｍにobj2とobj1の間に配置されるオブジェクトがあれば（Ｓ１７６でＹｅｓ）、相対位置情報取得部１１２は、当該obj2をobj1の最近傍と判断しない（Ｓ１７９）。また、相対位置情報取得部１１２は、obj1からみたobj2の相対位置が相対的下である（Ｓ１７５で「相対的下」）場合も同様に、Ｍにobj2とobj1の間に配置されるオブジェクトがなければ（Ｓ１７７でＮｏ）、当該obj2をobj1の最近傍と判断し、neighborに追加する（Ｓ１８０）。一方、Ｍにobj2とobj1の間に配置されるオブジェクトがあれば（Ｓ１７７でＹｅｓ）、相対位置情報取得部１１２は、当該obj2をobj1の最近傍と判断しない（Ｓ１８１）。

そして、相対位置情報取得部１１２は、Ｓ１７８〜Ｓ１８１の処理により、obj1の最近傍と判断されたobj2群を縦方向最近傍オブジェクト群neighborとして出力する（Ｓ１８２）。例えば、相対位置情報取得部１１２は、吹き出し１８０１に示すobj2群のうち、○の付されたobj2群についてobj1の縦方向最近傍オブジェクト群neighborとして出力する。なお、吹き出し１８０１に示すobj2群のうち、×の付されたobj2群はobj1との間に他のオブジェクトが配置されるので縦方向最近傍オブジェクト群neighborには含めない。

以上の処理により、相対位置情報取得部１１２が、各オブジェクトの相対的左／右および相対的下／上の位置関係と、最近傍のオブジェクトとを示した相対位置情報を作成することができる。

次に、図１９を用いて、図１２ＡのＳ１２３のグリッド行生成処理を詳細に説明する。

まず、グリッド行生成部１１３は、オブジェクト群の相対位置情報を読み込む（Ｓ１９１）。次に、グリッド行生成部１１３は、オブジェクト群の相対位置情報を参照して、obj（処理対象とするオブジェクト）として最左上のオブジェクトを選択し（obj←最左上のオブジェクト）、グリッド行集合Ｓ=｛｝、探索済オブジェクト集合ＣＳ＝｛｝、未探索オブジェクト集合ＵＳ＝｛｝を設定する（Ｓ１９２）。なお、Ｓ１９２の段階で、未探索オブジェクト集合ＵＳには、Ｓ１９１で読み込んだ相対位置情報の対象となるオブジェクト群が設定される。

そして、グリッド行生成部１１３は、すべてのオブジェクトを処理するまで、Ｓ１９３〜Ｓ１９９の処理を実行する。

まず、グリッド行生成部１１３は、オブジェクト群の相対位置情報を参照して、objと縦方向に同位のオブジェクト群を左→右の順に取得し、これをグリッド行とする（Ｓ１９３）。次に、グリッド行生成部１１３は、Ｓ１９３で得たグリッド行をグリッド行集合Ｇに追加し（Ｓ１９４）、ＣＳ（探索済オブジェクト集合）にグリッド行を追加し、ＵＳ（未探索オブジェクト集合）からグリッド行を削除する（Ｓ１９５）。

Ｓ１９５の後、グリッド行生成部１１３が、相対位置情報を参照して、objの相対的下にあり、かつ最近傍のオブジェクトが存在すると判断した場合（Ｓ１９６でＹｅｓ）、当該最近傍のオブジェクト群の中で、最も上のオブジェクト群を取得する（Ｓ１９７）。そして、グリッド行生成部１１３は、取得したオブジェクト群の中で最も左にあるオブジェクトを次のobjとする（Ｓ１９９）。例えば、グリッド行生成部１１３は、吹き出し１９０１に示すように、objの下に最近傍のオブジェクト群があれば、その中でｙ軸の値が最も小さいオブジェクト（太線で示したオブジェクト）を次のobjとする。そして、グリッド行生成部１１３は、この次のobjを対象としてＳ１９３以降の処理を行う。

一方、グリッド行生成部１１３が、相対位置情報を参照して、objの相対的下にオブジェクトが存在しない、または、objの相対的下にオブジェクトが存在したとしても、当該オブジェクトはobjの最近傍のオブジェクトではないと判断した場合（Ｓ１９６でＮｏ）、グリッド行生成部１１３は、ＵＳ（未探索オブジェクト集合）から最上位のオブジェクト群を取得し（Ｓ１９８）、Ｓ１９９へ進む。

グリッド行生成部１１３は、上記の処理を未探索オブジェクト集合ＵＳ＝｛｝が空になるまで実行し、生成したグリッド行集合を出力する（Ｓ２００）。

以上の処理により、グリッド行生成部１１３は、横方向に同位のオブジェクト群を左から横に並べたグリッド行を生成することができる。例えば、グリッド行生成部１１３は、図７に示す画面のオブジェクト群から、図８に示すグリッド行群を生成する。

次に、図２０を用いて、図１２ＡのＳ１２４のグリッド配置処理を詳細に説明する。例えば、グリッド配置部１１４は、グリッド行集合を読み込み（Ｓ２０１）、読み込んだグリッド行集合Ｓをｙ軸の小さい順（グリッド行の位置が高いものから低い順）にソートする（Ｓ２０２）。次に、グリッド配置部１１４は、初期グリッドＧを生成し、１行目にグリッド行集合Ｓの１行目を配置する（Ｓ２０３）。例えば、グリッド配置部１１４は、符号２００１に示す初期グリッドＧを生成すると、１行目にグリッド行集合Ｓの１行目（オブジェクト１を含むグリッド行列）を配置する。

そして、グリッド配置部１１４は、グリッド行集合Ｓのすべてのグリッド行を処理するまで、Ｓ２０４〜Ｓ２０９に示す処理を実行する。

まず、グリッド配置部１１４は、グリッド行集合Ｓをｘ軸の小さい順にソートし（Ｓ２０４）、グリッド行上の各オブジェクト（obj）に対して、Ｓ２０５〜Ｓ２０９の処理を実行する。つまり、グリッド配置部１１４は、グリッド行集合Ｓからobjが配置できる最小列番号ｉを取得する（Ｓ２０５）。次に、グリッド配置部１１４は、グリッド行集合Ｓにおいてobjの上位のオブジェクト群のある列群を取得し（Ｓ２０６）、以下に示す条件を満たす列群がｉ列以降に存在するか否かを判断する（Ｓ２０７）。

この条件とは、上位（相対的上かつ横に同位）のオブジェクト群をｕ、グリッド列（Ｓ２０６で取得した列群）をｑ＝｛ｑ１，ｑ２，…，ｑｎ｝、ｘｉをグリッド列ｉにオブジェクトを配置するか否か（１／０）とするとき、ｑはｕの部分集合（ｑ⊆ｕ）、かつ、Σｑｉ ｘｉ＝｜ｕ｜であるように配置する、という条件である。

つまり、あるオブジェクトｉと同じ列に配置されるオブジェクトは、オブジェクトｉの上位のいずれかのオブジェクトであり、かつ、オブジェクトｉと同じ列に配置されるオブジェクトの種類の数は、オブジェクトｉの上位（オブジェクトｉの相対的上かつ横に同位）のオブジェクトの個数と同じである、という条件である。換言すると、オブジェクトｉと同じ列の上位に配置されるオブジェクト群は、相対位置情報において当該オブジェクトｉの上位に存在するすべてのオブジェクトを網羅している、という条件である。

Ｓ２０７において、グリッド配置部１１４は、上記条件を満たす列群がｉ列以降に存在すると判断した場合（Ｓ２０７でＹｅｓ）、Ｇ（グリッド）のobjを上記の条件を満たす列に配置する（Ｓ２０８）。一方、グリッド配置部１１４は、上記条件を満たす列群がｉ列以降に存在しないと判断した場合（Ｓ２０７でＮｏ）、Ｇ（グリッド）に列に挿入する（Ｓ２０９）。この列の挿入処理について、図２１を用いて後記する。

そして、グリッド配置部１１４は、上記の処理をグリッド行集合のすべてのグリッド行に対し行うと、生成したグリッド（グリッド行列）を出力する（Ｓ２１０）。

以上の処理により、グリッド配置部１１４は、縦方向に同位のオブジェクト群が同じ列になるよう配置したグリッド行列を生成することができる。

次に、図２１を用いて、図２０のＳ２０９の列の挿入処理を詳細に説明する。グリッド配置部１１４は、探索行（objの上位のオブジェクト群が存在するグリッド行）の最右列に配置されているオブジェクトをobj2とする（Ｓ２０９１）。そして、グリッド配置部１１４がobj2はobj1の相対的右であると判断した場合（Ｓ２０９２でＹｅｓ）、obj2の配置されている行の最左の左側に空の列を追加する（Ｓ２０９３）。

Ｓ２０９３の後、グリッド配置部１１４は、obj2と上位のオブジェクト群を追加したときに他の各行の配置順に矛盾が発生しないようにobjの上位のオブジェクトとobjを配置する（Ｓ２０９４）。つまり、グリッド配置部１１４は、追加対象のオブジェクトの配置される行について、相対位置情報を参照して、他のオブジェクトが正しい相対位置関係であるかどうかをチェックする。そして、グリッド配置部１１４は、相対位置関係に矛盾が発生する場合は矛盾を解消するように、オブジェクトの左または右に列を追加する。

一方、グリッド配置部１１４がobj2はobj1の相対的右ではなく（Ｓ２０９２でＮｏ）、相対的左と判断した場合（Ｓ２０９５でＹｅｓ）、グリッド配置部１１４は、最右列＋１列目に空の列を追加して、各行の配置順に矛盾が発生しないようにobjの上位のオブジェクトとobjを配置する（Ｓ２０９６）。なお、グリッド配置部１１４がobj2はobj1の相対的右でもなく（Ｓ２０９２でＮｏ）、相対的左でもないと判断した場合（Ｓ２０９５でＮｏ）、Ｓ２０９６の処理は行わない。

以上の処理により、グリッド配置部１１４は、縦方向に同位のオブジェクト群が同じ列になるよう配置したグリッド行列を確実に生成することができる。

（本実施形態の適用例）
以上説明した画面認識装置１００によれば、様々なアプリケーションにより表示される画面上の各オブジェクトに対してオブジェクト同士の相対関係を認識できる。

例えば、画面認識装置１００は、図２２の符号２２００に示す旅行の予約用アプリケーションの画面上のオブジェクトの配置を認識し、符号２２０１に示す画面認識情報（グリッド行列）を得る。

これにより、当該アプリケーションの画面上の情報の検索システムは、符号２２０１の画面情報におけるImage，Buttonオブジェクト削除、項目名の定義（例えば、Labelクラスを項目名とする、指定のラベル名を項目名とするなど）の処理を行うことで、符号２２０２に示す画面認識情報を得る。これにより、検索システムは、「往路に関する情報をまとめて抽出」等、項目名を利用した高度な検索ができる。

さらに、上記の画面認識装置１００による画面認識技術を用いることで、アプリケーションの画面上のオブジェクトの相対位置による問い合わせ検索もできる。

例えば、図２３の（１）に示すように、アプリケーションの画面上における、「決裁状況」の３つ右の画像が比較元の画像（アイコン）と同じかをチェックするというクエリ（問い合わせ）を受け付けた場合において、アプリケーションの画面上における、「決裁状況」の３つ右の画像が比較元の画像（アイコン）と同じか否かの結果を返すことができる。

さらに、例えば、図２３の（２）に示すように、アプリケーションの画面上における、「備品番号」の下にある画像群の中で「95-600727」を検索するクエリ（問い合わせ）を受け付けた場合において、アプリケーションの画面上における、「備品番号」の下にある画像群の中で「95-600727」の検索結果を返すことができる。

また、上記の画面認識装置１００による画面認識技術を既存の画像マッチング技術と組み合わせることで、特定し終わった各々の画像要素に対して、さらに相対位置情報を利用して絞り込んだマッチングを行い、より条件に合った正しい要素を選択する等、高精度なマッチングを実現することもできる。

（プログラム）
また、上記の実施形態で述べた画面認識装置１００は、画面認識装置１００の機能を実現する画面認識プログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記の画面認識プログラムを情報処理装置に実行させることにより、情報処理装置を画面認識装置１００として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）等がその範疇に含まれる。また、画面認識装置１００を、クラウドサーバに実装してもよい。

以下に、上記の画面認識プログラムを実行するコンピュータの一例を説明する。図２４は、画面認識プログラムを実行するコンピュータを示す図である。図２４に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図２４に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１００ 画面認識装置
１１１ オブジェクト情報取得部
１１２ 相対位置情報取得部
１１３ グリッド行生成部
１１４ グリッド配置部
１２１ オブジェクト情報保持部
１２２ 相対位置情報保持部
１２３ グリッド行保持部

Claims (6)

1. 画面上に表示されるオブジェクト間の相対関係を認識する画面認識装置であって、
   前記画面の画面情報から、前記画面上に表示される各オブジェクトの絶対座標情報を取得するオブジェクト情報取得部と、
   前記各オブジェクトの絶対座標情報に基づき、前記画面上の任意の２つのオブジェクト間の相対位置を相対位置情報として記録する相対位置情報取得部と、
   前記相対位置情報に基づき、画面上の最左上のオブジェクトを起点に左から右へオブジェトを配置した１以上のグリッド行群を生成するグリッド行生成部と、
   前記グリッド行生成部により生成されたグリッド行群を、前記相対位置情報に基づき、前記グリッド行に含まれるオブジェクト同士の上下の相対位置に従い配置したグリッド行列を生成し、出力するグリッド配置部と、
   を備えることを特徴とする画面認識装置。
2. 前記グリッド行生成部は、
   前記相対位置情報に基づき、画面上の最左上のオブジェクトを起点に相対的に縦方向に同位であるオブジェクト群を左から右へ配置してグリッド行を生成する処理を、前記グリッド行の下のオブジェクトがなくなるまで順次実行することで前記グリッド行群を生成することを特徴とする請求項１に記載の画面認識装置。
3. 前記グリッド配置部は、
   前記グリッド行生成部により生成されたグリッド行群を、前記相対位置情報に基づき、前記グリッド行に含まれるオブジェクト同士の上下の相対位置に従い配置する際、前記グリッド行に含まれるオブジェクトのうち相対的に横方向に同位のオブジェクトで前記上下の相対位置を保つように配置することを特徴とする請求項１に記載の画面認識装置。
4. 前記グリッド配置部は、
   前記グリッド行生成部により生成されたグリッド行群では、前記グリッド行に含まれるオブジェクト同士が上下の相対位置を保つように配置できない場合、前記グリッド行に含まれるオブジェクトの一部を増加させた上で配置することを特徴とする請求項１に記載の画面認識装置。
5. 画面上に表示されるオブジェクト間の相対関係を認識する画面認識装置が、
   前記画面の画面情報から、前記画面上に表示される各オブジェクトの絶対座標情報を取得するオブジェクト情報取得ステップと、
   前記各オブジェクトの絶対座標情報に基づき、前記画面上の任意の２つのオブジェクト間の相対位置を相対位置情報として記録する相対位置情報取得ステップと、
   前記相対位置情報に基づき、画面上の最左上のオブジェクトを起点に左から右へオブジェトを配置した１以上のグリッド行群を生成するグリッド行生成ステップと、
   前記グリッド行生成ステップにより生成されたグリッド行群を、前記相対位置情報に基づき、前記グリッド行に含まれるオブジェクト同士の上下の相対位置に従い配置したグリッド行列を生成し、出力するグリッド配置ステップと、
   を含んだことを特徴とする画面認識方法。
6. 画面上に表示されるオブジェクト間の相対関係を認識するための画面認識プログラムであって、
   前記画面の画面情報から、前記画面上に表示される各オブジェクトの絶対座標情報を取得するオブジェクト情報取得ステップと、
   前記各オブジェクトの絶対座標情報に基づき、前記画面上の任意の２つのオブジェクト間の相対位置を相対位置情報として記録する相対位置情報取得ステップと、
   前記相対位置情報に基づき、画面上の最左上のオブジェクトを起点に左から右へオブジェトを配置した１以上のグリッド行群を生成するグリッド行生成ステップと、
   前記グリッド行生成ステップにより生成されたグリッド行群を、前記相対位置情報に基づき、前記グリッド行に含まれるオブジェクト同士の上下の相対位置に従い配置したグリッド行列を生成し、出力するグリッド配置ステップと、
   をコンピュータに実行させることを特徴とする画面認識プログラム。

Images