JP5490036B2 - 試験装置 - Google Patents

試験装置 Download PDF

Info

Publication number
JP5490036B2
JP5490036B2 JP2011029137A JP2011029137A JP5490036B2 JP 5490036 B2 JP5490036 B2 JP 5490036B2 JP 2011029137 A JP2011029137 A JP 2011029137A JP 2011029137 A JP2011029137 A JP 2011029137A JP 5490036 B2 JP5490036 B2 JP 5490036B2
Authority
JP
Japan
Prior art keywords
scenario
execution
unit
function
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011029137A
Other languages
English (en)
Other versions
JP2012168727A (ja
Inventor
浩一 浅野
宏幸 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2011029137A priority Critical patent/JP5490036B2/ja
Priority to CN201280005464.0A priority patent/CN103329108B/zh
Priority to PCT/JP2012/051355 priority patent/WO2012111387A1/ja
Priority to US13/997,280 priority patent/US9280451B2/en
Priority to EP12746751.2A priority patent/EP2642394B1/en
Publication of JP2012168727A publication Critical patent/JP2012168727A/ja
Application granted granted Critical
Publication of JP5490036B2 publication Critical patent/JP5490036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/24—Arrangements for testing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Description

本発明は、移動端末の試験装置に関する。
移動端末の高機能化により操作手順が複雑になっている。また、高機能化に伴い、ある機能を実行させるための操作数も増加している。さらに、移動端末に格納されるべきソフトウェアの容量も増大傾向にある。ソフトウェアの容量の増大に伴い、不具合数も増加傾向にある。
さらに、移動端末の高機能化により、いわゆる、「リセット／フリーズ」問題を発生させるソフトウェア等の不具合が増大しつつある。これらの不具合について、事前に、全不具合を検出することは事実上不可能である。
このため、移動端末に搭載されたソフトウェアを評価することが行われている。
例えば、自動評価ツールにより評価する方法が知られている。自動評価ツールによりソフトウェアを評価する方法を利用するには、評価対象の移動端末に搭載されたソフトウェアに、該ソフトウェアの動作方法の１つとして、予め決められた操作手順が組み込まれていることが必要とされる。さらに、利用者は、メニューボタンの押下や、テンキーボタンなどの押下によって、所望する機能を利用できることが必要である。
自動評価ツールにより評価する方法には、機能方式と、ランダム方式とが含まれる。
機能方式では、予め決められた操作手順によって、移動端末の特定の機能が評価される。特定の機能を評価することにより、移動端末に搭載されたソフトウェアの特定の機能が要求された仕様通りに正しく機能することを確認できる。
ランダム方式では、評価対象となる機能を特定することは行われない。その代わり、計算機によってランダムに評価対象となる操作を発生させる。計算機によってランダム評価対象となるに操作を発生させることにより、移動端末に搭載されたソフトウェアが正しく動作し続けることを確認することができる。例えば、移動端末に搭載されたソフトウェアにおいて（可能な限り）想定外となる動作手順を発生させる。想定外となる動作手順を発生させることにより、ソフトウェアの不具合等を検出することができる。
例えば、携帯端末に搭載されたソフトウェアを評価する方法が知られている（例えば、特許文献１参照）。
特開2009-290852号公報
ランダム方式では、ランダムに操作すべきキーが発生する。ランダムに操作すべきキーが発生するため、評価対象となるソフトウェアの特定の機能を動作させるための手順を期待通りに正しく実行することができないおそれがある。
さらに、特定の機能を動作させるための操作数が多い場合には、さらに、該特定の機能を動作させるための手順が実行される可能性が低くなる。このため、評価対象となるソフトウェアの機能の使用網羅性をあげることが困難となる。
また、ランダムに操作すべきキーが発生するため、本来発生させたくない操作、例えば、１１０番への発信や、有料サービスを利用するための発信等の抑止が不可能となる。
ランダム方式により、一定時間、移動端末を評価することにより、不具合検出は可能となる。しかし、上記問題点を解決することは困難である。
そこで、本発明は上述した問題点に鑑みてなされたものであり、効率的に、移動端末に搭載されたソフトウェアの機能を評価することを目的とする。
本試験装置は、
移動端末に搭載されたソフトウェアの動作を評価する試験装置であって、
予め設定された、移動端末に動作させるべき機能を実行させるための操作手順を含む複数のシナリオから、移動端末に実行させるシナリオを複数選択するシナリオ選択部と、
シナリオ名と機能を実行させるための操作手順と動作内容とを対応付けて管理するシナリオ管理情報格納部と、
動作内容と、該動作内容を抑止するか否かを示す情報とを対応付けて記憶するシナリオ実行情報格納部と、
前記シナリオ選択部により選択されたシナリオの動作内容が実行できるかどうかを判定するシナリオ実行判定部と、
該シナリオ実行判定部により実行できると判定された動作内容を含むシナリオを実行するシナリオ実行部と
を有し、
前記シナリオ実行判定部は、前記シナリオ管理情報格納部から前記シナリオ選択部により選択されたシナリオの動作内容を取得し、前記シナリオ実行情報格納部に格納された情報に基づいて、該動作内容が実行できるかどうかを判定する。
開示の実施例によれば、効率的に、移動端末に搭載されたソフトウェアの機能を試験することができる。
試験装置の一実施例を示す図である。 移動端末の試験システムの一実施例を示す図である。 自動評価ツールの一実施例を示す図である。 シナリオの一実施例を示す図である。 シナリオの一実施例を示す図である。 シナリオ管理情報の一実施例を示す図である。 試験装置の一実施例を示す機能ブロック図である。 シナリオ実行情報の一実施例を示す機能ブロック図である。 シナリオ実行結果情報の一実施例を示す機能ブロック図である。 シナリオ実行情報の一実施例を示す機能ブロック図である。 試験装置の動作の一実施例を示すフロー図である。 試験装置の動作の一実施例を示すフロー図である。 試験装置の動作の一実施例を示すフロー図である。
以下、図面に基づいて、実施例を説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
＜実施例＞
本実施例に係る自動評価ツールは、PC(Personal Computer)等に搭載される。また、移動端末に搭載されたソフトウェアを試験するための装置に搭載されてもよい。
本実施例では、一例として、PCに搭載される場合について説明する。自動評価ツールがPCに搭載されることにより、該PCは移動端末の試験装置１００として機能する。
本試験装置１００は、対象となる機能をランダムに発生させ、該機能に対応するシナリオが実行できるかどうかを判定し、該判定結果に基づいて、実行できないシナリオを試験項目から自動的に省くことにより、試験を効率的に行う。
図１は、本実施例に係る自動評価ツールが格納される試験装置１００の一例を示す。
該試験装置１００は、中央演算処理ユニット(CPU: Central Processing Unit)１０２と、記憶部１０４と、入力部１０６と、出力部１０８とを有する。CPU１０２、記憶部１０４、入力部１０６、出力部１０８は、バス１５０により接続される。
CPU１０２は、記憶部１０４、入力部１０６、及び出力部１０８の制御を行う。CPU１０２は、記憶部１０４に記憶されたプログラムに従って機能し、所定の処理を行う。
記憶部１０４には、アプリケーションと、オペレーティングシステム(OS: Operating System)と、自動評価ツールとが格納される。例えば、記憶部１０４は、コンピュータ内でデータやプログラムを記憶する外部記憶装置である。例えば、ハードディスク(hard disk, fixed disk)やフロッピーディスク(floppy disk)、MO(Magneto-Optical disk)、CD-R(Compact Disk Recordable)、磁気テープなどが含まれる。アプリケーションは、ユーザが本試験装置１００上で実行する作業を実施する機能を有するソフトウェアである。例えば、アプリケーションには、ワードプロセッサ、表計算ソフト、データベース管理システム(DBMS: Data Base Management System)、メディアプレーヤーなどが含まれる。オペレーティングシステムは、本試験装置１００において、ハードウェアを抽象化したインターフェースをアプリケーションソフトウェアに提供するソフトウェアである。自動評価ツールは、ユーザに変わって、移動端末を操作することにより、該移動端末に搭載されたソフトウェアを動作させることにより、該ソフトウェアの品質、及び機能のうち、少なくとも一方の評価を行うツールである。
入力部１０６は、例えば、キーボードやマウスにより構成され、本試験装置１００への指示や、データの入力を行う。該指示は、オペレーティングシステムに対するものや、アプリケーションに対するものや、自動評価ツールに対するものが含まれる。
出力部１０８は、例えば、ディスプレイにより構成され、本試験装置１００による処理状態や処理結果を表示する。該処理状態や処理結果には、オペレーティングシステムやアプリケーションや自動評価ツールによるものが含まれる。ディスプレイには、液晶ディスプレイ、CRT(Cathode Ray Tube)ディスプレイ、プラズマ(PDP: Plasma Display Panel)ディスプレイ、有機EL(Electro-Luminescence)ディスプレイなどが含まれる。
図２は、移動端末２００に搭載されたソフトウェアを評価する評価システムの構成例を示す。
＜試験システムの構成例＞
該試験システムでは、移動端末２００と試験装置１００とが接続される。例えば、ケーブル（図示なし）により接続されてもよい。移動端末２００は、入力部１０６によるユーザの操作を受け付けるためのユーザインターフェース(UI: User Interface)を有するものであることが好ましい。例えば、入力部１０６には、テンキー等が含まれる。移動端末２００には、ハンドセット型であってもよいし、ヘッドセット型でもよい。また、移動端末２００は、例えば、電気的な信号により内部の動作を変更することができるものであれば、必ずしも入力部１０６は必要ない。例えば、移動端末２００は、カード型であってもよいし、モジュール型であってもよい。
また、該試験システムには、移動端末２００の表示部を撮影するためのカメラ３００が用意される。該カメラ３００は、移動端末２００の表示部に表示される画像、及び動画の少なくとも一方を撮影する。該カメラ３００により撮影された表示部の画像、及び動画の少なくとも一方は、試験装置１００に入力される。例えば、ケーブル（図示なし）により、カメラ３００と、試験装置１００との間を接続し、該ケーブルを介してカメラ３００と、試験装置１００との間で、画像、及び動画の少なくとも一方の送受信が行われてもよい。
＜自動評価ツール＞
図３は、自動評価ツールの構成例を示す。
自動評価ツールは、キー操作ドライバを有する。キー操作ドライバは、オペレーティングシステムとして機能するCPU１０２に対して、移動端末２００との間のインターフェースを提供するためのソフトウェアである。
自動評価ツールは、自動評価エンジンを有する。自動評価エンジンは、自動評価ツールとして機能するCPU１０２に対して、移動端末２００に搭載されたソフトウェアを評価する機能を実行させるためのソフトウェアである。
自動評価ツールは、OCR(Optical Character Reader)を有する。OCRは、カメラ３００により撮影された画像から、文字を光学的に読み取り、予め記憶されたパターンと照合することにより文字を特定する。OCRは、カメラ３００により撮影された動画から、文字を光学的に読み取り、予め記憶されたパターンと照合することにより文字を特定するものであってもよい。
＜試験用シナリオ＞
自動評価ツールは、試験用シナリオを有する。試験用シナリオは、自動評価ツールにより対象機能を評価する際に、移動端末２００に実行させるべき操作の手順を表したものである。例えば、試験用シナリオは、自動評価ツールが実行されることにより、作成される。
図４は、試験用シナリオの一例を示す図である。図４には、一例として、２つの機能（機能１、機能２）が示される。
試験用シナリオが作成される際には、シナリオを定義するための名称（機能名）が作成される。例えば、機能名として、「機能１」、「機能２」が作成される。さらに、各機能に対して、該機能を実行させるためのキーを表す「操作」、及び該キーの流れを表す「命令」とが記述される。例えば、機能名が「機能１」により表される機能には、操作されるべきキーを表す情報（「操作１」・・・「操作ｎ」）と、該操作されるべきキーの操作順序を制御するための命令（「命令１」・・・「命令ｍ」）とが含まれる。また、機能名が「機能２」により表される機能には、操作されるべきキーを表す情報（「操作１」・・・「操作ｘ」）と、該操作されるべきキーの操作順序を制御するための命令（「命令１」・・・「命令ｙ」）とが含まれる。
また、複数の機能をまとめて、１つの機能が定義されてもよい。例えば、評価の対象となる複数の機能をまとめて１つの新たな機能として定義されてもよい。
図５は、複数の機能をまとめて１つの機能として、新たな機能が定義される例を示す。
図５に示される例では、複数の機能（「機能Ｘ」、「機能Ｙ」・・・「機能Ｚ」）がまとめられて１つの機能（「機能１」）として、新たな機能が定義される。換言すれば、「機能１」には、複数の機能（「機能Ｘ」、「機能Ｙ」・・・「機能Ｚ」）が入れ子となっている。
＜シナリオ管理情報＞
自動評価ツールにより管理されるべきシナリオ管理情報について説明する。例えば、自動評価エンジンは、シナリオ管理情報を事前に登録する。
図６は、シナリオ管理情報の一例を示す。
図６に示されるシナリオ管理情報には、シナリオ定義名が格納される。シナリオ定義名は、図４を参照して説明した機能と、図５を参照して説明した機能のうち少なくとも一方が格納される。
シナリオ管理情報には、格納されたシナリオ定義名に対応する機能階層、入力パラメータ、重要度、及び動作内容が格納される。機能階層とは、機能を実行させるための操作手順を表したものであって、各操作手順を数値で表したものである。
図６に示される例では、シナリオ定義名として、メール送信に関する「機能１」が格納され、該「機能１」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「1-1-1」、「こんにちは、はじめまして・・・」、「１」「パケット発信」が格納される。
また、シナリオ定義名として、電話発信に関する「機能２」が格納され、該「機能２」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「1-2-3-4」、「０３−１２３４−５６７８」、「２」、「音声発信」が格納される。
また、シナリオ定義名として、複数の機能を機能させる「機能Ａ」が格納され、該「機能Ａ」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「入れ子」、「機能１＋機能２」、「−」、「−」が格納される。
また、シナリオ定義名として、複数の機能を機能させる「機能Ｎ」が格納され、該「機能Ｎ」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「a-b-c-d」、「parameter x」、「Ｚ」、「なし」が格納される。
＜自動評価ツールの機能＞
図７は、本試験装置１００の機能を示す。
本試験装置１００は、シナリオ選択部１０２２を有する。シナリオ選択部１０２２は、移動端末２００に実行させるべきシナリオを選択する。例えば、シナリオ選択部１０２２は、予め設定された複数のシナリオから、ランダムに移動端末に実行させるべきシナリオを選択するようにしてもよい。シナリオを選択する際に、ランダムな値を出力する関数が利用されてもよい。
本試験装置１００は、シナリオ実行判定部１０２４を有する。シナリオ実行判定部１０２４は、シナリオ選択部１０２２と接続される。シナリオ実行判定部１０２４は、シナリオ選択部１０２２により選択されたシナリオが実行できるかどうかを判定する。例えば、シナリオ実行判定部１０２４は、図６を参照して説明したシナリオ管理情報を参照し、シナリオ選択部１０２２により選択されたシナリオに対応する「動作内容」を取得する。シナリオ実行判定部１０２４は、シナリオ実行情報を参照し、取得した動作内容が抑止されているものであるかどうかを判定する。
図８は、シナリオ実行情報の一例を示す。
シナリオ実行情報には、抑止内容と、抑止状態とが含まれる。図８に示される例では、抑止内容として、「電話発信（通常時）」、「電話発信（緊急時）」、「パケット発信」、及び「有料サービス利用」が格納され、抑止状態として、それぞれ「無し」、「抑止」、「無し」、及び「抑止」が格納される。
シナリオ実行判定部１０２４は、シナリオ選択部１０２２により選択されたシナリオに対応する動作内容が抑止である場合には、実行不可能なシナリオであると判定する。一方、シナリオ実行判定部１０２４は、シナリオ選択部１０２２により選択されたシナリオに対応する「動作内容」が抑止でない場合には、実行可能なシナリオであると判定する。シナリオ実行判定部１０２４は、実行不可能なシナリオであると判定されたシナリオをシナリオ選択部１０２２により設定されたシナリオから削除する。
本試験装置１００は、シナリオ実行部１０２６を有する。シナリオ実行部１０２６は、シナリオ実行判定部１０２４と接続される。シナリオ実行部１０２６は、シナリオ選択部１０２２により選択されたシナリオから、シナリオ実行判定部１０２４により実行不可能なシナリオであると判定されたシナリオが削除された残りのシナリオを実行する。シナリオ実行部１０２６は、シナリオの実行結果をシナリオ実行結果判定部１０２８に入力する。
本試験装置１００は、シナリオ実行結果判定部１０２８を有する。シナリオ実行結果判定部１０２８は、シナリオ実行部１０２６と接続される。シナリオ実行結果判定部１０２８は、シナリオ実行部１０２６により入力されるべきシナリオの実行結果に基づいて、該シナリオの実行結果が予め想定される結果と同じかどうかを判定する。シナリオの実行結果が予め想定される結果と同じであると判定される場合、シナリオの実行が成功したと判定する。一方、シナリオの実行結果が予め想定される結果と異なると判定される場合、シナリオの実行が失敗したと判定する。シナリオ実行結果判定部１０２８は、実行結果情報に、シナリオの実行結果を反映する。実行結果情報には、シナリオ毎に、該シナリオの実行が失敗した回数が格納される。
図９は、実行結果情報の一例が示される。
実行結果情報には、シナリオ定義名と、失敗回数とが対応付けられる。
図９に示される例では、シナリオ定義名として、「ウェブページ接続」、「設定実行」が格納され、失敗回数として、それぞれ「２」、「１０」が格納される。
シナリオ実行結果判定部１０２８は、実行結果情報を参照し、失敗回数が所定の閾値以上となるシナリオがあるかどうかを判定する。シナリオ実行結果判定部１０２８は、シナリオ実行情報に、失敗回数が所定の閾値以上となるシナリオを追加する。
図１０は、所定の閾値が「１０」に設定されている場合を示す。この場合、シナリオ実行結果判定部１０２８は、実行結果情報に含まれる「設定実行」の失敗回数が「１０」であるため、該「設定実行」をシナリオ実行情報に、「抑止」として追加する。
図１０は、シナリオ実行情報に、「設定実行」が追加された例を示す。
＜本試験装置の動作＞
図１１は、本試験装置１００の動作を示す。
本試験装置１００は、シナリオ定義名を選択する（ステップＳ１１０２）。選択されるシナリオ定義名は複数であってもよい。例えば、シナリオ選択部１０２２は、シナリオ定義名を選択する。
本試験装置１００は、ステップＳ１１０２により選択されたシナリオ定義名に対応する機能を実行できるかどうかを判定する（ステップＳ１１０４）。例えば、シナリオ実行判定部１０２４は、シナリオ実行情報を参照し、ステップＳ１１０２により選択されたシナリオが抑止されていないかどうかを判定することにより、実行できるかどうかを判定する。抑止とされている場合には実行できないと判定し、抑止とされていない場合には実行できると判定する。
シナリオが実行できると判定された場合(ステップＳ１１０４：ＹＥＳ)、本試験装置１００は、シナリオを実行する（ステップＳ１１０６）。ここで、ステップＳ１１０２により複数のシナリオが選択された場合には、実行できるシナリオがある場合、シナリオが実行できると判定される。例えば、シナリオ実行部１０２６は、実行できるシナリオを実行する。
一方、シナリオが実行できないと判定された場合（ステップＳ１１０４：ＮＯ）、ステップＳ１１０２に戻る。
本試験装置１００は、シナリオの実行結果を判定する（ステップＳ１１０８）。例えば、シナリオ実行結果判定部１０２８は、シナリオの実行結果が、予め想定される結果と同じであるかどうかを判定することにより、シナリオの実行結果が成功であるかどうかを判定する。
ステップＳ１１０８によるシナリオの実行結果の判定後、ステップＳ１１０２に戻る。
＜シナリオ実行判定部による動作の詳細＞
図１２は、シナリオ実行判定部１０２４により実行される動作の詳細を示す。
シナリオ実行判定部１０２４による動作が実行される際に、ユーザによりシナリオ実行情報が生成されてもよい。つまり、試験装置１００に格納されるべきシナリオ実行情報に加えて、その都度ユーザに設定されるべきシナリオ実行情報を生成される。ここでは、ユーザに設定されるべきシナリオ実行情報に基づいて、シナリオが実行できるかどうかが判定される。
シナリオ実行判定部１０２４は、実行中のシナリオの「動作内容」がシナリオ実行情報の抑止内容に含まれるかどうかを判定する（ステップＳ１２０２）。
実行中のシナリオの「動作内容」がシナリオ実行情報の抑止内容に含まれると判定される場合（ステップＳ１２０２：ＹＥＳ）、「抑止状態」が抑止であるかどうかを判定する（ステップＳ１２０４）。
「抑止状態」が抑止である場合（ステップＳ１２０４：ＹＥＳ）、実行不可能なシナリオと認識する（ステップＳ１２０６）。ここで、試験装置１００に格納されるべきシナリオ実行情報に、実行不可能なシナリオと認識されたシナリオが追加されてもよい。
ステップＳ１２０２において実行中のシナリオの「動作内容」がシナリオ実行情報の抑止内容に含まれると判定されない場合（ステップＳ１２０２：ＮＯ）、及びステップＳ１２０４において「抑止状態」が抑止でない場合（ステップＳ１２０４：ＮＯ）、実行可能なシナリオと認識する（ステップＳ１２０８）。
＜シナリオ実行結果判定部による動作の詳細＞
図１３は、シナリオ実行結果判定部１０２８により実行される動作の詳細を示す。
シナリオ実行結果判定部１０２８は、シナリオ実行結果が失敗であるかどうかを判定する（ステップＳ１３０２）。
シナリオ実行結果が失敗であると判定された場合（ステップＳ１３０２：ＹＥＳ）、実行結果情報に反映する（ステップＳ１３０４）。
失敗回数が所定の閾値以上となるシナリオがあるかどうかを判定する（ステップＳ１３０６）。
失敗回数が所定の閾値以上となるシナリオがあると判定された場合（ステップＳ１３０６：ＹＥＳ）、シナリオ実行情報に反映する（ステップＳ１３０８）。
ステップ１３０２においてシナリオ実行結果が失敗であると判定されない場合（ステップＳ１３０２：ＮＯ）、ステップ１３０２において失敗回数が所定の閾値以上となるシナリオがあると判定されない場合（ステップＳ１３０６：ＮＯ）、終了する。
＜本実施例の効果＞
シナリオの実行結果を記録し、実行が失敗した回数が所定の閾値以上となるシナリオを、試験項目から自動的に削除することにより、効率的に試験を行うことができる。
移動端末の高機能化により操作手順が複雑になっている。また、高機能化に伴い、ある機能を実行させるための操作数も増加している。さらに、移動端末に格納されるべきソフトウェアの容量も増大傾向にある。ソフトウェアの容量の増大に伴い、不具合数も増加傾向にある。
移動端末の高機能化により、いわゆる、「リセット／フリーズ」問題を発生させるソフトウェア等の不具合が増大しつつある。これらの不具合について、事前に、全不具合を検出することは事実上不可能である。
本実施例では、ソフトウェアを評価する際に、操作対象となる「機能」をランダムに発生させる。機能をランダムに発生させることにより、操作すべきキーを発生させる場合と比較して、操作すべきキーと該キーの操作の順番が指定されるため、特定の機能の操作方法（操作数）によらず、機能の評価ができる。評価対象となる機能の使用網羅性を向上させることができる。機能毎に抑止するかどうかを判定できる。特定の機能の使用率を制御することができる。
以上の実施例を含む実施形態に関し、更に以下の項目を開示する。
（１）移動端末に搭載されたソフトウェアの動作を評価する試験装置であって、
移動端末に動作させるべき機能を実行させるための情報を含むシナリオを選択するシナリオ選択部と、
該シナリオ選択部により選択されたシナリオが実行できるかどうかを判定するシナリオ実行判定部と、
該シナリオ実行判定部により実行できると判定されたシナリオを実行するシナリオ実行部と、
該シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と同じかどうかを判定するシナリオ実行結果判定部と
を有し、
前記シナリオ実行判定部は、過去に、前記実行結果判定部により実行されたシナリオの実行結果に基づいて、前記シナリオ選択部により選択されたシナリオが実行できるかどうかを判定する。
（２）（１）に記載の試験装置において、
前記シナリオ実行判定部は、前記シナリオ選択部により選択されたシナリオが、過去に、前記実行結果判定部により実行されたシナリオの実行結果が予め想定された結果と異なると判定された回数が所定の閾値以上であるシナリオである場合、実行できないと判定する。
（３）（１）又は（２）に記載の試験装置において、
シナリオと、前記実行結果判定部により該シナリオの実行結果が予め想定された結果と異なると判定された回数とを対応付けた第１のテーブルと、
前記実行結果判定部により実行されたシナリオの実行結果が予め想定された結果と異なると判定された回数が所定の閾値以上であるシナリオと、該シナリオが実行できるかどうかを表す情報とを対応付けた第２のテーブルと
を有し、
前記シナリオ実行判定部は、前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定した場合、前記第１のテーブルに反映し、
前記シナリオ実行判定部は、前記第２のテーブルを参照し、前記シナリオ選択部により選択されたシナリオが、実行できないシナリオに該当するかどうかを判定する。
（４）（１）ないし（３）のいずれか１項に記載の試験装置において、
前記シナリオには、移動端末に動作させるべき機能が１又は複数含まれる。
（５）（１）ないし（４）のいずれか１項に記載の試験装置において、
前記シナリオ選択部は、予め設定されたシナリオから、ランダムに選択する。
説明の便宜上、発明の理解を促すため具体的な数値例を用いて説明されるが、特に断りのない限り、それらの数値は単なる一例に過ぎず適切な如何なる値が使用されてよい。
以上、本発明は特定の実施例を参照しながら説明されてきたが、各実施例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に係る装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウエアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。
１００ 試験装置
１０２ 中央演算処理装置(CPU: Central Processing Unit)
１０２２ シナリオ選択部
１０２４ シナリオ実行判定部
１０２６ シナリオ実行部
１０２８ シナリオ実行結果判定部
１０４ 記憶部
１０６ 入力部
１０８ 出力部
１５０ バス
２００ 移動端末
３００ カメラ

Claims (3)

  1. 移動端末に搭載されたソフトウェアの動作を評価する試験装置であって、
    予め設定された、移動端末に動作させるべき機能を実行させるための操作手順を含む複数のシナリオから、移動端末に実行させるシナリオを複数選択するシナリオ選択部と、
    シナリオ名と機能を実行させるための操作手順と動作内容とを対応付けて管理するシナリオ管理情報格納部と、
    動作内容と、該動作内容を抑止するか否かを示す情報とを対応付けて記憶するシナリオ実行情報格納部と、
    前記シナリオ選択部により選択されたシナリオの動作内容が実行できるかどうかを判定するシナリオ実行判定部と、
    該シナリオ実行判定部により実行できると判定された動作内容を含むシナリオを実行するシナリオ実行部と
    を有し、
    前記シナリオ実行判定部は、前記シナリオ管理情報格納部から前記シナリオ選択部により選択されたシナリオの動作内容を取得し、前記シナリオ実行情報格納部に格納された情報に基づいて、該動作内容が実行できるかどうかを判定する、試験装置。
  2. 請求項１に記載の試験装置において、
    前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と同じかどうかを判定するシナリオ実行結果判定部と、
    前記シナリオ実行結果判定部によりシナリオの実行が失敗したと判定された回数と、該シナリオのシナリオ名を対応付けて記憶するシナリオ実行結果情報格納部と
    を有し、
    前記シナリオ実行結果判定部は、前記実行結果が予め想定された結果と異なると判定される場合にシナリオの実行が失敗したと判定するとともに前記シナリオ実行結果情報格納部の回数に反映させ、失敗した回数が所定の閾値以上となるシナリオを前記シナリオ実行情報格納部に追加する、試験装置。
  3. 請求項1又は２に記載の試験装置において、
    前記シナリオ実行判定部は、実行できないと判定したシナリオを、前記シナリオ選択部が選択した複数のシナリオから削除する、試験装置。
JP2011029137A 2011-02-14 2011-02-14 試験装置 Active JP5490036B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011029137A JP5490036B2 (ja) 2011-02-14 2011-02-14 試験装置
CN201280005464.0A CN103329108B (zh) 2011-02-14 2012-01-23 测试装置
PCT/JP2012/051355 WO2012111387A1 (ja) 2011-02-14 2012-01-23 試験装置
US13/997,280 US9280451B2 (en) 2011-02-14 2012-01-23 Testing device
EP12746751.2A EP2642394B1 (en) 2011-02-14 2012-01-23 Test device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011029137A JP5490036B2 (ja) 2011-02-14 2011-02-14 試験装置

Publications (2)

Publication Number Publication Date
JP2012168727A JP2012168727A (ja) 2012-09-06
JP5490036B2 true JP5490036B2 (ja) 2014-05-14

Family

ID=46672326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011029137A Active JP5490036B2 (ja) 2011-02-14 2011-02-14 試験装置

Country Status (5)

Country Link
US (1) US9280451B2 (ja)
EP (1) EP2642394B1 (ja)
JP (1) JP5490036B2 (ja)
CN (1) CN103329108B (ja)
WO (1) WO2012111387A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8838093B2 (en) 2012-05-04 2014-09-16 Telefonaktiebolaget L M Ericsson (Publ) Method and device for monitoring wireless terminal behavior according to terminal type
EP2760234A1 (en) 2013-01-25 2014-07-30 Telefonaktiebolaget L M Ericsson (publ) Technique for monitoring wireless terminal behavior
CN104077211B (zh) * 2013-03-25 2018-11-09 腾讯科技（深圳）有限公司 一种移动终端软件的测试方法及测试***
CN103425579B (zh) * 2013-07-26 2016-07-06 南方电网科学研究院有限责任公司 基于势函数的移动终端***安全测评方法
GB2516986B (en) 2013-08-06 2017-03-22 Barclays Bank Plc Automated application test system
CN104765678B (zh) * 2014-01-08 2018-06-22 阿里巴巴集团控股有限公司 对移动终端设备上的应用进行测试的方法及装置
CN104866414B (zh) * 2014-02-24 2018-07-06 腾讯科技（深圳）有限公司 应用程序的测试方法、装置及***
CN104881356B (zh) * 2014-02-28 2019-06-04 北京谊安医疗***股份有限公司 呼吸机的异常检测方法及呼吸机
CN104301481B (zh) * 2014-09-24 2017-12-08 福建联迪商用设备有限公司 一种手机兼容性测试结果生成的方法及***
GB2532508B (en) * 2014-11-24 2017-03-15 Anritsu Corp Mobile communication terminal test device and a test analysis unit therefor
CN105930261B (zh) * 2016-01-16 2018-06-22 平安科技（深圳）有限公司 测试方法及测试终端
CN107305511A (zh) * 2016-04-18 2017-10-31 展讯通信（上海）有限公司 共享终端测试仪表的移动终端测试方法及***
CN106250318A (zh) * 2016-08-11 2016-12-21 浪潮电子信息产业股份有限公司 一种软件更新智能风险分析***
CN106502893B (zh) * 2016-10-20 2019-06-04 郑州云海信息技术有限公司 一种对软件功能进行测试的方法及装置
CN106714212A (zh) * 2016-12-23 2017-05-24 江苏中利电子信息科技有限公司 智能自组网数据终端通信台站的制备方法
US10353803B2 (en) * 2017-08-21 2019-07-16 Facebook, Inc. Dynamic device clustering
CN108052444A (zh) * 2017-11-13 2018-05-18 北京百度网讯科技有限公司 一种用于移动应用的性能测试的方法与装置
CN110661911B (zh) * 2019-09-29 2020-12-18 东莞市欧珀精密电子有限公司 移动终端检测用的防护治具

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265806A (ja) * 1992-03-16 1993-10-15 Nec Corp 情報処理装置の試験装置
GB2353610A (en) 1999-08-21 2001-02-28 Ibm Computerised testcase management system
JP2001331542A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd 論理シミュレーションジョブ制御方式
US7334162B1 (en) * 2003-01-29 2008-02-19 Sun Microsystems, Inc. Dynamic distribution of test execution
US8671394B1 (en) * 2003-11-26 2014-03-11 The Mathworks, Inc. Monitoring test steps in test environments
US7379600B2 (en) * 2004-01-28 2008-05-27 Microsoft Corporation Method and system for automatically determining differences in a user interface throughout a development cycle
US7320090B2 (en) * 2004-06-09 2008-01-15 International Business Machines Corporation Methods, systems, and media for generating a regression suite database
US7610578B1 (en) * 2004-08-24 2009-10-27 The Math Works, Inc. Test manager for integrated test environments
US7630708B2 (en) * 2005-03-11 2009-12-08 Yahoo! Inc. Tester for determining the validity of a feature in a remote device
JP2006268666A (ja) * 2005-03-25 2006-10-05 Fujitsu Ltd 補正機能を持つ自動試験システム、自動試験方法、およびプログラム
JP2007102475A (ja) * 2005-10-04 2007-04-19 Dainippon Screen Mfg Co Ltd ソフトウェアシステムのテストケース抽出装置、テストケース抽出プログラムおよびテストケース抽出方法
US20070263773A1 (en) * 2006-03-03 2007-11-15 Symbol Technologies, Inc. Methods and apparatus for automated testing of a device through a command line interface
WO2008074529A2 (en) * 2006-12-21 2008-06-26 International Business Machines Corporation Method, system and computer program for performing regression tests
CN100472472C (zh) * 2007-07-26 2009-03-25 南京大学 Windows平台下基于MSAA的GUI测试驱动方法
JP2009290852A (ja) 2008-04-30 2009-12-10 Japan Novel Corp 機器、装置の機能チェック装置
US8572568B2 (en) * 2008-10-14 2013-10-29 Hewlett-Packard Development Company, L.P. Test tool for concurrent web services and user interface testing
JP2010190851A (ja) * 2009-02-20 2010-09-02 Hitachi Kokusai Electric Inc 試験システム
US8635092B2 (en) * 2010-06-02 2014-01-21 Asurion, Llc Method for offering a protection policy for a mobile device
US8606262B1 (en) * 2012-02-16 2013-12-10 The Board Room, Inc. Testing or recording system for a mobile telephone
US8930767B2 (en) * 2012-12-07 2015-01-06 Software Ag Techniques for test automation in emergent systems

Also Published As

Publication number Publication date
US20130283100A1 (en) 2013-10-24
EP2642394B1 (en) 2018-07-18
JP2012168727A (ja) 2012-09-06
EP2642394A1 (en) 2013-09-25
EP2642394A4 (en) 2015-05-06
WO2012111387A1 (ja) 2012-08-23
CN103329108B (zh) 2016-01-06
CN103329108A (zh) 2013-09-25
US9280451B2 (en) 2016-03-08

Similar Documents

Publication Publication Date Title
JP5490036B2 (ja) 試験装置
US20160188363A1 (en) Method, apparatus, and device for managing tasks in multi-task interface
JP5324638B2 (ja) 試験装置及び試験方法
JP2009521058A (ja) コマンド機能表示方法及びモバイルターミナル
US9021312B1 (en) Method and apparatus for visual pattern analysis to solve product crashes
JP2011192296A (ja) ヘルプユーティリティアプリケーションプログラム
JP6891780B2 (ja) ソフトウェア品質判定装置、ソフトウェア品質判定方法、及びソフトウェア品質判定プログラム
US8922491B2 (en) Method and apparatus enabling keystroke acceleration
CN108563485B (zh) 输入面板显示方法及装置
JP2008033407A (ja) サーバ装置、クライアント装置、サーバベースコンピューティングシステムおよびプログラム
US10114518B2 (en) Information processing system, information processing device, and screen display method
CN109376085B (zh) 测试用例生成方法、装置及计算机可读存储介质
CN108984238B (zh) 应用程序的手势处理方法、装置及电子设备
JP2007066077A (ja) Ｇｕｉ生成方法、ｇｕｉ生成装置、コンピュータプログラム及び記憶媒体
EP2746933A1 (en) Mobile terminal, method and program for providing a virtual setup screen
KR100895582B1 (ko) 통신 단말기의 정보를 표시하는 방법 및 장치
CN111221723B (zh) 测试记录生成方法、装置、存储介质及电子设备
JPH10301809A (ja) Ｇｕｉ操作手順の自動生成方法
JP5330302B2 (ja) 操作記録プログラム及び装置
JP2005085182A (ja) 試験支援システム
WO2019100655A1 (zh) ***领用异常的构造方法、装置、计算机设备及存储介质
JP2009259064A (ja) 評価装置および操作画面改善装置
JP5759424B2 (ja) ユーザインタフェース設計支援装置
CN117827357B (zh) 一种终端设备的远程操作方法、装置及设备
CN111026650B (zh) 软件测试的方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

R150 Certificate of patent or registration of utility model

Ref document number: 5490036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250