Not logged in.
Quick Search - Contribution
Contribution Details
| Type | Dissertation |
| Scope | Discipline-based scholarship |
| Title | Simulative performance evaluation for the design of distributed systems |
| Authors |
|
| Supervisors |
|
| Institution | University of Zurich |
| Faculty | Faculty of Economics, Business Administration and Information Technology |
| Date | 2004 |
| Abstract Text | Performance evaluations have mostly been measurements to determine the processing speed of a system or component. For the case of distributed systems the performance is often only tested when the system is used in either a test environment or even in the productive environment. It is only then that real usage scenarios, real amounts of data, and real effects of work load and disturbances are present and thus measurements realistic. Many modern approaches allow the realization of all kinds of design conceptions for distributed systems. Only few of them seriously consider the performance aspect. In this thesis we present an approach that allows statements about usefulness and consequences of design conceptions for a system from the performance perspective even before the system has been realized or changed. The intention is a complement for systems design, not an examination after completion of a system’s realization. The core of our approach is an evaluation process that is closely integrated with the design process for a distributed system. The design model created there is translated into an evaluation model to be examined. The aim is to allow statements about resource usage, response time, and other performance indicators for the system’s performance to find out whether the chosen system architecture can satisfy the requirements. Different usage scenarios can be used to do that. Once an evaluation model is created, evaluation strategies are applied to gain knowledge about its performance. We present different strategies in this dissertation thesis. The so-called Cold Start Protocol, e.g., is a simple strategy to efficiently determine a throughput maximum for simple cases. More complex strategies have to be applied if the system usage is complex; they typically rely on the more simple strategies for their own realization. The strategies are the core of our research. We use them to test hypotheses and to perform learning processes. They allow an evaluation system to execute standard tasks of performance evaluation without necessarily being controlled by an expert. A tool implementing these strategies is a means for designers to examine their design decisions by executing an evaluation, and even to compare alternatives directly. Even simple examinations of scalability are possible with this approach. The strategies are realized using variation of specific parameters of the evaluation models. The variations refer to user-determined model parameters. The strategies determine individual configurations for which a simulation experiment is executed. As a result of the simulation series, the strategies are able to determine the effects of the variation. Finally, the results are presented in a suitable way, most as graphic representation. This representation in most cases contains the results of multiple experiments. It is aimed to facilitate the interpretation, and to support the users to draw the right conclusions from the evaluation. |
| Zusammenfassung | Performance-Evaluationen sind normalerweise Messungen, mit denen eine Verarbeitungsgeschwindigkeit eines Systems oder einer Komponente nachgemessen wird. Die Performance verteilter Systeme wird häufig erst untersucht, wenn die Systeme in einer Testumgebung oder sogar in der produktiven Umgebung eingesetzt werden. Erst dann sind die realen Benutzungsszenarien, Datenmengen, Belastungen und Störeffekte vorhanden, also die Messungen realistisch. Viele moderne Ansätze erlauben die Realisierung aller möglichen DesignKonzepte für Verteilte Systeme. Nur wenige davon adressieren den Aspekt der Performance nachhaltig. In dieser Arbeit präsentieren wir einen Ansatz, der erlaubt, aus Sicht der Performance Aussagen über Nützlichkeit und Konsequenzen von Design-Konzepten im Gesamtzusammenhang zu machen, bevor ein System realisiert oder geändert wird. Es geht dabei um eine Ergänzung im System-Design und nicht um eine Überprüfung nach der Fertigstellung eines Systems. Kernpunkt unseres Ansatzes ist ein Evaluationsprozess, der eng mit dem Designprozess für ein verteiltes System zu integrieren ist. Das Designmodell wird in ein Evaluationsmodell übernommen und dort untersucht. Es geht darum, vor der Realisierung Aussagen über die Ressourcennutzung, Antwortzei- ten und andere Indikatoren für die Leistung zu machen und zu überprüfen, ob die gewählte Systemarchitektur den Anforderungen entspricht. Dabei können verschiedene Benutzungsszenarien zum Einsatz kommen. Ist ein Evaluationsmodell erstellt, so kann mit verschiedenen Strategien Wissen darüber gewonnen werden. Wir stellen verschiedene Strategien in dieser Dissertation vor. Das sogenannte Cold Start Protokoll ist z.B. eine einfache Strategie zur effizienten Ermittlung des Durchsatzmaximums für einfache Fälle. Ist die Systembenutzung komplex, so kommen kompliziertere Strategien zur Anwendung, die jedoch zumeist auf die einfacheren Strategien zurückgreifen. Die Strategien sind auch Kern unserer Forschung. Mit ihnen untersuchen wir Hypothesen und führen Lernprozesse durch. Sie erlauben einem Evaluationssystem, ohne permanente Steuerung durch einen Experten Standardaufgaben der Performanceevaluation durchzuführen. Damit wird Designern ein Mittel in die Hand gegeben, Designentscheidungen mittels Evaluation zu überprüfen und Alternativen direkt zu vergleichen. Das geht sogar bis zu einfachen Untersuchungen der Skalierbarkeit. Realisiert werden die Strategien durch Variation, indem gewisse Parameter eines Modells durch die Strategien variiert werden können. Variationen beziehen sich auf durch Benutzer festgelegte Modellparameter. Die Strategien bestimmen einzelne Konfigurationen, für die dann jeweils ein Simulationsexperiment durchgeführt wird. Als Resultat der Simulationsreihe kann eine Strategie dann die Effekte der Variation ermitteln. Schliesslich werden Resultate in geeigneter Form, zumeist graphisch, präsentiert. Diese Darstellung umfasst meist die Resultate vieler Experimente. Ihre Aufgabe ist, die Interpretation zu erleichtern und die Benutzer darin zu unterstützen, die richtigen Schlussfolgerungen aus der Evaluation zu ziehen. |
| PDF File |
Download
|
| Export |
BibTeX
EP3 XML (ZORA)
|