Not logged in.

Quick Search - Contribution

Contribution Details

Type Bachelor's Thesis
Scope Discipline-based scholarship
Title Cloud WorkBench
Organization Unit
Authors
  • Joel Scheuner
Supervisors
  • Harald Gall
  • Philipp Leitner
Language
  • English
Institution University of Zurich
Faculty Faculty of Economics, Business Administration and Information Technology
Number of Pages 49
Date 2014
Abstract Text Cloud computing has started to play a major role in IT industry and the numerous cloud providers and services they offer are continuously growing. This increasing cloud service diversity, especially observed for infrastructure services, demands systematic benchmarking in order to assess cloud service performance and thus assist cloud users in service selection. However, manually conducting cloud benchmarks is time-consuming and error-prone. Therefore, previous work addressed these problems with automation approaches but has failed to provide a convenient way to automate the process of installing and configuring a benchmark. In order to solve this benchmark provisioning problem, this thesis introduces a benchmark automation framework called Cloud WorkBench (CWB) where benchmarks are entirely defined by means of code and executed without manual interaction. CWB allows to define configurable benchmarks in a modular manner that are portable across cloud providers and their regions. New benchmarks can be added at runtime and variations thereof are conveniently configurable via a web interface. Integrated periodic scheduling capabilities timely trigger benchmark executions that automatically acquire cloud resources, prepare and run the benchmark, and release previously acquired resources. CWB is used to conduct a case study in the Amazon EC2 cloud to examine a very specific performance characteristic for a combination of different service types. The results reveal limitations of the cheapest service type, show that performance does not necessarily correlate with service pricing, and illustrate that a new service type at the time of conducting this case study is able to reduce variability and enhance performance. CWB has already executed nearly 20000 benchmarks in total and is used in ongoing research.
Zusammenfassung Cloud Computing spielt zunehmend eine wesentliche Rolle in der IT-Branche und die zahlreichen Cloud Anbieter und deren Dienste wachsen kontinuierlich. Diese steigende Vielfalt an Cloud Diensten, insbesonderes von Infrastruktur-Diensten, erfordert systematisches Benchmarking, um die Leistung der Dienste einzuschätzen und dadurch Cloud Benutzer in der Diensteauswahl zu unterstützen. Benchmarks manuell durchzuführen ist jedoch zeitaufwändig und fehleranfällig. Daher haben bisherige Studien Lösungsansätze mittels Automatisierung vorgeschlagen. Keiner dieser Ansätze bietet jedoch eine komfortable Lösung um den Installations- und Konfigurationsprozess von Benchmarks zu automatisieren. Um dieses Benchmark-Bereitstellungsproblem zu lösen, führt diese Arbeit ein Automationsframework für Benchmarks, genannt Cloud WorkBench (CWB), ein, das Benchmarks vollständig mittels Code definiert und ohne manuelle Interaktion ausführt. CWB ermöglicht konfigurierbare Benchmarks in modularer Weise zu definieren, die über die Grenzen der Anbieter und deren Regionen hinaus ausführbar sind. Neue Benchmarks können zur Laufzeit hinzugefügt werden und Variationen davon sind komfortabel über eine Web-Oberfläche konfigurierbar. Integrierte periodische Zeitpläne lösen zeitgerecht Benchmark-Ausführungen aus, die automatisch Cloud Ressourcen erwerben, den Benchmark vorbereiten und durchführen, und zuvor erworbene Ressourcen wieder freigeben. CWB wird verwendet, um eine Fallstudie in der Amazon EC2 Cloud durchzuführen und dabei ein sehr spezifisches Leistungsmerkmal für eine Kombination unterschiedlicher Diensttypen zu analysieren. Die Resultate zeigen Einschränkungen des günstigsten Diensttyps auf, zeigen, dass die Leistung nicht zwangsläufig mit dem Dienstpreis korreliert, und illustrieren, dass ein zum Durchführungszeitpunkt der Fallstudie neuer Diensttyp die Variabilität reduzieren und die Leistung verbessern kann. CWB hat insgesamt bereits nahezu 20000 Benchmarks ausgeführt und wird in laufender Forschung eingesetzt.
PDF File Download
Export BibTeX