Not logged in.

Quick Search - Contribution

Contribution Details

Type Bachelor's Thesis
Scope Discipline-based scholarship
Title Signal Collect YARN Deployment
Organization Unit
Authors
  • Tobias Bachmann
Supervisors
  • Abraham Bernstein
Language
  • English
Institution University of Zurich
Faculty Faculty of Economics, Business Administration and Information Technology
Number of Pages 18
Date 2014
Abstract Text Signal/Collect is framework and programming model for graph processing, it is developed at the University of Zurich [Stutz et al., ]. Apache Hadoop YARN is a framework for resource negotiation for a cluster of computers. It allocates resources based on the memory requested [Vavilapalli et al., 2013]. This thesis shows how we integrated YARN to Signal/Collect. So that it is possible to deploy an algorithm, written in the Signal/- Collect programming model, to a YARN Cluster. To get easy access to a cluster, we implemented a client, which is able to create a cluster on Amazon Web Services and deploy an algorithm to it. Furthermore we did a performance and scalability evaluation on a graph, to see if the integration can handle and process it. For this evaluation we used the Berkeley Stanford Webgraph with almost 700000 vertices and 7.6 million edges [Leskovec et al., 2008].
Zusammenfassung Signal/Collect ist ein Framework und Programming Model für Graph Verarbeitung, es wird an der Universität Zürich entwickelt [Stutz et al., ].. Apache Hadoop YARN ist ein Framework für Ressourcen Vermittler für ein Cluster von Computern, es stellt Ressourcen auf Basis vom angefragten Arbeitsspeicher bereit [Vavilapalli et al., 2013]. Diese Arbeit zeigt, wie wir Hadoop YARN in Signal/Collect integriert haben. So dass es möglich ist einen Algorithmus, geschrieben im Signal/Collect Programming Model, auf einem Hadoop YARN Cluster laufen zu lassen. Um einen einfachen Zugriff auf ein Cluster zu haben, implementierten wir einen Client, der ein Cluster auf Amazon Web Services erstellen kann. Und ein Algorithmus darauf laufen lassen kann. Zudem haben wir eine Performance und Scalability Evaluation auf einem Graph gemacht, um zu sehen, ob die Integration funktioniert. Für dies Evaluation haben wir den Berkeley Stanford Webgraph benutzt, dieser hat fast 7000000 Knoten une 7.6 Millionen Kanten [Leskovec et al., 2008].
PDF File Download
Export BibTeX