Not logged in.

Contribution Details

Type Bachelor's Thesis
Scope Discipline-based scholarship
Title Improvement Of Word Embeddings By Joining Visual Features
Organization Unit
Authors
  • Peter Giger
Supervisors
  • Abraham Bernstein
Language
  • English
Institution University of Zurich
Faculty Faculty of Business, Economics and Informatics
Date August 2018
Abstract Text In machine learning, embeddings are used to encode information in a vector space. Word2Vec is a popular method for creating word embeddings, vector representations of words, and can be used for semantic tasks such as finding the similarity between words. Similarly, image embeddings are vector representations of images. The concatenation of word and image vectors is one possible multi-modal model and has shown to outperform the individual models. This work examines if and when a concatenation is beneficial and proposes an alternative model without using vector concatenation.
Zusammenfassung Embeddings werden im Bereich Machine Learning eingesetzt um Informationen in einem Vektorraum darzustellen. Word2Vec ist eine bekannte Methode für das Kreieren von Wort Embeddings, auch Wort Vektoren genannt. Die Embeddings können für semantische Aufgaben wie z.B. zum Bestimmen von Wortähnlichkeiten verwendet werden. Analog können aus Bildern Vektoren erzeugt werden. Das Zusammenfügen von Wort- und Bildvektoren ist ein möglicher Ansatz für ein multimodales Modell und hat bezüglich Leistung gezeigt, dass es die einzelnen Modelle übertreffen kann. Diese Arbeit untersucht wann ein zusammenfügen der Vektoren von Vorteil sein kann und schlägt ein Alternativmodell vor.
PDF File Download
Export BibTeX