Not logged in.
Quick Search - Contribution
Contribution Details
| Type | Master's Thesis |
| Scope | Discipline-based scholarship |
| Title | Smart Prioritization for Tests in Test Suite Generation Analysis of multiple ranking methods for effectiveness |
| Organization Unit | |
| Authors |
|
| Supervisors |
|
| Language |
|
| Institution | University of Zurich |
| Faculty | Faculty of Business, Economics and Informatics |
| Date | 2017 |
| Abstract Text | This thesis tries to address the question whether smart ordering of classes under test makes discovery of unchecked exceptions faster by automatically generated tests. The project repositories Joda-Time, Commons Math and Commons Lang from the Defects4J database of bugs are used for experiments, which are conducted with the test generation tools EvoSuite and Randoop. The main contributions of the thesis are: simulation involving half a dozen ranking methods and a ranking technique based on a novel code coverage prediction model. The primary performance metric is based on Area under the Curve that takes into account ideal ordering, as well as random ordering. The most sophisticated ranking method involving a combination of bug density and coverage prediction scores has positive results in all cases except for one involving the Joda-Time repository and Randoop test generation tool. However, the results are not statistically significant primarily due to high standard deviation. |
| Zusammenfassung | Diese Arbeit beschäftigt sich mit der Frage von intelligenter Ordnung von Klassen die getestet werden und schneller Entdeckung von Ausnahmen die nicht als Checked-Exceptions gelten mit Hilfe von automatisch ertstellten Tests. Die Projektarchive Joda-Time, Commons Math und Commons Lang von der Defects4J Dateibank mit Programmfehlern werden für Experimente genutzt. Die Experimente sind mit Testerstellungswerkzeugen EvoSuite und Randoop durchgeführt. Eine Simulation die sechs Rankingmethoden umfasst und ein Rankingverfahren das auf einem neuem Testabdeckungmodell basiert sind die Hauptbeiträge dieser Arbeit. Die Hauptleistungsmetrik ist auf Area under the Curve basiert und berücksichtigt ideale und zufällige Ordnung. Das hoch entwickelte Rankingverfahren ist eine Kombination von Programmfehlerdichte- und Testabdeckungvorhersagewerten. Es hat positive Ergebnisse in allen Fällen außer dem Projektarchiv Joda-Time und Testerstellungswerkzeug Randoop. Die Ergebnisse sind jedoch nicht statistisch signifikant wegen hoher Standardabweichung. |
| PDF File |
Download
|
| Export |
BibTeX
|