An Empirical Evaluation of Quantum Annealing-Based Image Classification Using Discriminative Quantum Boltzmann Machines

Bachelorarbeit (Juni 2025)

Autor: Mark Vorapong Seebode

Abstract:

Die Boltzmann Maschine (BM) diente als fundamentales Konzept für energie-basierte Modelle und neuronale Netzwerke und hatte damit großen Einfluss auf die Entwicklung künstlicher Intelligenz. Trotz ihrer historischen Bedeutung erwies sich ihre direkte Anwendung im modernen Deep Learning als zu rechenintensiv. Klassische Verfahren für den Sampling-Prozess haben sich als ineffizient herausgestellt, wodurch die Verarbeitung hochdimensionaler Daten nahezu unmöglich wurde. Aus diesem Grund wurde alternativ die Restricted Boltzmann Maschine (RBM) eingeführt, die eine niedrigere Ausdruckskraft im Gegenzug zu effizienteren Berechnungen tauscht. Quantum Boltzmann Maschinen (QBMs) hingegen können mithilfe von Quanten Algorithmen, wie Quantum Annealing (QA), effizient aus einer approximativen Boltzmann Verteilung sampeln. Empirische Studien deuten darauf hin, dass dieser Ansatz einen effizienteren Sampling-Prozess als klassische Methoden ermöglicht. Dies würde eine effektivere Erkundung von Energielandschaften bei gleichzeitig geringeren Rechenaufwand zulassen. Darüber hinaus erlaubt diese Herangehensweise eine vollständige Verknüpfung der Neuronen miteinander, sodass die ursprüngliche Ausdruckskraft des Models erhalten bleibt. Soweit dem Autor bekannt ist, wurde das Potenzial von QBMs im Bereich des Supervised Learnings bislang nur in wenigen Studien untersucht. Das gilt insbesondere nicht nur für den anwendungsorientierten Bereich, sondern auch in Hinblick unter Verwendung realer QA-Hardware. Deshalb ist es das primäre Ziel dieser Arbeit, das praktische Potential von QBMs für Bildklassifizierung mit praxisnahen Daten zu evaluieren. Hierfür werden diskriminative QBMs eingesetzt, welche durchgehend Daten an die Input-Units binden und somit die bedingte Wahrscheinlichkeit eines Labels gegeben eines Datenpunktes ermitteln können. Um die nötige Quantum Processing Unit (QPU) Zeit zu reduzieren, präsentiert diese Arbeit eine neue Strategie um die QBM auf der Topologie der QA-Hardware zu embedden. Die erzielten Ergebnisse demonstrieren eine kompetitive Leistung im Vergleich zu klassischen durch Simulated Annealing trainierten diskriminativen BMs und diskriminativen RBMs. Zusätzlich deuten die Ergebnisse ebenfalls auf eine reduzierte Anzahl an nötigen Trainings-Epochen. Darüber hinaus konnte die Sampling-Zeit mit der neuen Embedding-Strategie im Durchschnitt um 69,65% reduziert werden.

Betreuer: Jonas Stein, Daniëlle Schuman, Claudia Linnhoff-Popien

Zeitfensterbasierte Optimierung der Kommunikationskosten im Verteilten Quantencomputing

Bachelorarbeit (Juni 2025)

Autor: Rama Malhis

Abstract:

Diese Arbeit entwickelt und evaluiert eine zweistufige Optimierungsstrategie, die Kommunikationskosten in verteilten Quantenschaltkreisen senkt. Zunächst werden Quantenschaltkreise als ungerichtete Graphen modelliert und mittels Kernighan-Lin Algorithmus in zwei nahezu gleich große Cluster zerlegt, wodurch bis zu 60% der Schnitt-übergreifenden CNOT Kanten entfallen. Die verbleibenden Gatter werden in Zeitfenster eingeteilt. Ein heuristikbasiertes Zuweisungsverfahren priorisiert dabei Fenster mit maximaler Qubit-Überlappung und gleichmäßiger Lastverteilung. Diese Fensterstruktur reduziert die gleichzeitige Nutzung einzelner Qubits und senkt so die Kommunikationskosten zwischen Ausführungseinheiten. Die Experimente auf dem Qiskit QASM-Simulator vergleichen diese Methode mit einer linearen Baseline, in der die Gatter sequentiell und ohne Partitionierung verarbeitet werden. Die Ergebnisse zeigen, dass eine Kombination aus Graphpartitionierung und vorsichtig parametrisiertem Zeitfenster Scheduling signifikante Einsparungen ermöglicht, ohne die logische Korrektheit zu beeinträchtigen. Zukünftige Arbeiten sollten die Methode auf realer Hardware validieren, Fehlerkorrektur einbinden und adaptive, ML gestützte Fenstergrößen untersuchen.

Betreuer: Leo Sünkel, Maximilian Zorn, Claudia Linnhoff-Popien

Quantum Architecture Search for Solving Quantum Machine Learning Tasks

Bachelorarbeit (Juni 2025)

Autor: Simon Salfer

Abstract:

Quantencomputing ist ein Computing Paradigma, das auf den Prinzipien der Quantenmechanik beruht. Hierdurch unterscheidet es sich fundamental vom klassischen Computing. Durch Quantencomputer erhofft man sich für ausgewählte Problembereiche einen Leistungsvorteil, sog. Quantenvorteil, der sich durch exponentiell schnellere Berechnungen oder geringeren Ressourcenbedarf zeigt. In der derzeitigen Noisy Intermediate Scale Quantum Ära ist die Quantenhardware noch in ihrer Leistungsfähigkeit beschränkt und weist eine hohe Fehleranfälligkeit auf. Variational Quantum Circuits stellen hierbei einen Ansatz dar, der vergleichsweise robust gegenüber diesen Einschränkungen ist. Die Leistung dieser Quantenschaltkreise hängt dabei stark von der zugrundeliegenden Architektur des parametrisierten Quantenschaltkreises ab. Das Entwickeln leistungsfähiger, hardwarekompatibler Schaltkreisarchitekturen ist daher eine wichtige Aufgabe, die auch als Quantum Architecture Search bekannt ist. Die manuelle Entwicklung guter Architekturen ist ein ineffizienter und fehleranfälliger Prozess. Daher wurden erste Versuche unternommen, diesen Prozess zu automatisieren. Neben den Methoden der Evolutionären Algorithmen, der Differentiable Architecture Search oder auch der Monte Carlo Tree Search, stellt das Reinforcement Learning einen weiteren potenziell geeigneten Ansatz zur Suche guter Architekturen dar, der bisher jedoch vergleichsweise wenig erforscht ist. Insbesondere für Probleme aus dem Bereich des Machine Learning ist wenig über dessen Eignung als Suchstrategie bekannt. Ziel der vorliegenden Arbeit ist daher die Untersuchung des Reinforcement Learning als eine geeignete Suchstrategie für Quantenschaltkreise im Kontext von Machine Learning Problemen. Hierfür wird der RL-QAS Framework vorgestellt, welcher unter Verwendung eines Reinforcement Learning Agenten die automatisierte Suche nach Schaltkreisarchitekturen ermöglicht. Evaluiert wird der RL-QAS Framework für das Iris und das binäre MNIST Klassifikationsproblem. Durch RL-QAS konnten dabei Architekturen gefunden werden, die eine hohe Testakkuratheit bei der Klassifizierung der genannten Datensätze erzielen und dabei gleichzeitig eine geringe Komplexität aufweisen. Durch RL-QAS konnte gezeigt werden, dass Reinforcement Learning durchaus für die Architektursuche geeignet ist. Für den Einsatz auf komplexeren Problemen ist jedoch eine Weiterentwicklung des RL QAS Frameworks erforderlich.

Betreuer: Michael Kölle, Philipp Altmann, Claudia Linnhoff-Popien

Analysis and Improvement of Retrieval Quality in the Context of RAG using LLMs on the Code Domain

Masterarbeit (Juni 2025)

Autor: Melvin Tjiok

Abstract:

Die Integration von Large Language Models (LLMs) in der Softwareentwicklung erfordert effektive Mechanismen zur Codesuche, um genaue und kontextbezogene Unterstützung zu bieten. Diese Arbeit untersucht die Qualität von Information Retrieval (IR) innerhalb von Retrieval-Augmented Generation (RAG)-Pipelines für die Aufgabe der Codesuche im Bereich Code, einem Gebiet mit begrenzter vorheriger Forschung, was die Wichtigkeit der Untersuchung der richtigen Auswahl einer IR-Methode, die auf diese Domäne zugeschnitten ist, untermauert. Wir präsentieren eine umfassende vergleichende Methode verschiedener IR-Methoden auf dem Datensatz SWE-bench Verified, einem Benchmark für echte Softwareentwicklungsprobleme. Unsere Analyse umfasst Sparse Retrieval, Dense Embedding Retrieval, verschiedene Techniken der Dokumentenverarbeitung und Reranking-Strategien. Die Qualität dieser Methoden wird mit Hilfe von Standard-IR-Metriken, einschließlich Recall und NDCG, bewertet. Unsere Ergebnisse zeigen, dass der grundlegende BM25-Algorithmus die beste Retrievalqualität leistet. Für bestimmte einzelne Repositories übertrifft das Dense Retrieval mit dem Embeddingmodell mxbai-embed-large in Verbindung mit Dokumenten als abstrakten Syntaxbaum (AST) strukturiert jedoch BM25. Während BM25 mit einer durchschnittlichen Retrievalzeit von unter einer Sekunde eine außergewöhnliche Effizienz aufweist, sind die Bearbeitungszeiten bei Dense Retrievalmethoden deutlich länger (im Durchschnitt über 60 Sekunden). Diese Arbeit liefert wertvolle Einblicke in die praktischen Überlegungen bei der Auswahl geeigneter IR-Methoden.

Betreuer: Gerhard Stenzel, Michael Kölle, Claudia Linnhoff-Popien

Quantum Transformers: Leveraging Variational Quantum Circuits for Natural Language Processing

Masterarbeit (Juni 2025)

Autor: Julian Hager

Abstract:

Jüngste Fortschritte im Bereich großer Sprachmodelle haben Transformermodelle als dominantes Paradigma in der natürlichen Sprachverarbeitung etabliert. Während diese Modelle Spitzenleistungen erzielen, führt ihr exponentielles Wachstum in Bezug auf Parameteranzahl und Rechenaufwand zu zunehmenden Bedenken hinsichtlich Skalierbarkeit, Energieverbrauch und ökologischer Nachhaltigkeit. Parallel dazu hat sich Quantum Machine Learning als vielversprechendes Forschungsfeld herausgebildet, das untersucht, ob Quantencomputing effizientere Lernmechanismen bieten kann, insbesondere durch den Einsatz von parametrisierten Quantenschaltkreisen, die mit vergleichsweise wenigen Parametern wettbewerbsfähige Leistungen zeigen. Diese Arbeit untersucht, ob sich ein Quanten-Transformermodell entwerfen lässt, das die klassische Transformerarchitektur strukturell nachbildet und gleichzeitig auf Noisy Intermediate-Scale Quantum Hardware ausführbar bleibt. Zu diesem Zweck wird eine modulare, NISQ-kompatible Quanten-Transformerarchitektur vorgestellt, die die zentralen klassische Komponenten Embedding, Multi-Head Attention und Encoder-Decoder-Struktur mithilfe von VQCs realisiert. Jede Komponente wird mit flachen, stark verschränkenden Quantenschaltkreisen implementiert, um Schaltkreistiefe und Parameteranzahl zu minimieren. Das Modell wird anhand synthetischer Sprachmodellierungsaufgaben evaluiert, wobei Quanten- und klassische Varianten unter gleichen Bedingungen, einschließlich identischer Token-Vokabulare und äquivalenter Parameterbudgets verglichen werden. Die Ergebnisse zeigen, dass das Quantenmodell in der Lage ist, einfache formale Sprachen zu erlernen, schnell zu konvergieren und in bestimmten Konfigurationen deterministische Tokenfolgen perfekt zu rekonstruieren. Bei komplexeren Aufgaben, die Generalisierungsfähigkeit erfordern, bleibt die Leistung jedoch hinter der klassischer Modelle zurück. Diese Ergebnisse demonstrieren die prinzipielle Durchführbarkeit der vorgeschlagenen Architektur auf nahzeitlicher Hardware und positionieren das Modell als Machbarkeitsnachweis für das Potenzial von Encoder-Decoder-Quantum-Transformern in der Sprachverarbeitung.

Betreuer: Michael Kölle, Gerhard Stenzel, Thomas Gabor, Claudia Linnhoff-Popien

Confidence-based Reinforcement Learning for Collision Avoidance in Robotic Grasping

Bachelorarbeit (Mai 2025)

Autor: Marcel Davignon

Abstract:

Beim Einsatz komplexer autonomer Systeme wie Greifroboter ist es wichtig, sowohl die Sicherheit als auch die Machbarkeit maschinell erlernter Prozesse zu berücksichtigen. Vor allem in Situationen, in denen sich scheinbar einfache Objekte in unsicheren oder ungünstigen Greifpositionen befinden, müssen die menschlichen Arbeiter Vertrauen in das System haben, das mit ihnen zusammenarbeitet. In dieser Arbeit soll die Anwendung des confidence-basierten Greifens von Objekten untersucht werden, bei dem die Confidence in das Greifen ohne Kollisionen gemeinsam mit der Greiffähigkeit unter Verwendung eines Reinforcement Learning (RL) Frameworks erlernt wird. Die Confidence wird als Wahrscheinlichkeit zukünftiger Kollisionen dargestellt, wobei ein geringerer Confidence-Wert einen Wechsel zu einer auf Inverse Kinematic (IK) basierenden Neupositionierung zu einer sichereren Greifposition auslöst. Der trainierte Agent wird in einer simulierten Umgebung bewertet, wobei die Leistung mit und ohne den confidence-basierten Mechanismus verglichen wird. Da das Vermeiden von Kollisionen zusätzliche Kosten verursacht – wie z.B. erhöhte Verzögerung – wird der Kompromiss zwischen riskantem und übermäßig sicherem Greifverhalten analysiert. Zusätzlich zum RL episode return werden aufgabenspezifische Metriken, wie Kollisionshäufigkeit und Greifrate, eingeführt, um das Lernen des Greifziels zu steuern.

Betreuer: Maximilian Zorn, Philipp Altmann, Claudia Linnhoff-Popien

Exploring Second-Order Predator-Prey Marine Ecosystem Balance with MARL

Bachelorarbeit (Mai 2025)

Autor: Tim-Luis Hartenfels

Abstract:

Korallenriffe spielen eine wichtige Rolle in Meeres- Ökosystemen und bieten Lebensraum für eine Vielzahl von Arten, darunter Haie und Fische. In dieser Arbeit erweitern wir eine Räuber-Beute-Simulation erster Ordnung zu einer dynamischen Simulation zweiter Ordnung, indem wir Korallen als dritten Agenten einführen. Mit Hilfe von Multi-Agent Reinforcement Learning untersuchen wir das Fress- und Jagdverhalten von Haien und Fischen mit dem Ziel, ein ausgewogenes marine Ökosystem zu schaffen. Um den Ressourcenbedarf zu senken und das Lernen zu verbessern, führen wir Transferlernen ein, vergleichen es mit einer separaten Lernstrategie und untersuchen, wie beide Methoden das Gleichgewicht der Koexistenz von Haien, Fischen und Korallen in unserer Meeressimulation unterstützen können. Wir heben die Herausforderungen hervor, die sich ergeben, wenn man von einer Dynamik erster Ordnung zu einer Dynamik zweiter Ordnung übergeht, da Haie aufgrund ihrer Abhängigkeit von Fischen, die ihrerseits die Korallenressourcen verwalten müssen, Schwierigkeiten haben, eine stabile, dauerhafte Population aufrechtzuerhalten. Während separates Lernen oft eine höhere Trainingsleistung erzielt, erweist sich Transferlernen als effektiv bei der Reduzierung der Trainingszeit und erreicht oder übertrifft gelegentlich separates Lernen in bestimmten Fällen. Unsere Ergebnisse zeigen, dass eine Koexistenz zweiter Ordnung erreicht werden kann und dass Transferlernen für komplexe ökologische Simulationen vielversprechend ist.

Betreuer: Maximilian Zorn, Michael Kölle, Thomas Gabor, Claudia Linnhoff-Popien

Verwendung evolutionärer Algorithmen zur Optimierung von Quantenschaltkreisen unter der Berücksichtigung von Noise

Bachelorarbeit (Mai 2025)

Autor: Maria Trainer

Abstract:

Noise stellt eine allgegenwärtige Herausforderung in der NISQ-Ära des Quantum Computings dar. Seine starke Auswirkung auf die Hardware eines Quantencomputers verfälscht die Ergebnisse von Quantenschaltkreisen, insbesondere bei steigender Qubitanzahl und Schaltkreistiefe. Verschiedene Schaltkreisarchitekturen, die ähnliche Zustände erzeugen, können allerdings unterschiedlich starkem Noise ausgesetzt sein. Diese Arbeit präsentiert einen evolutionären Algorithmus, dessen Ziel es ist, für einen gegebenen Schaltkreis einen äquivalenten, weniger noisy Schaltkreis zu finden. Die Fitnessfunktion des Algorithmus bewertet dabei die Schaltkreise anhand ihrer unter Noise betrachteten Fidelität im Vergleich zum Noise-freien Zustand des Zielschaltkreises. So wird der Evolutionsverlauf in Richtung einer Noise-reduzierten Lösung gelenkt. Die Ergebnisse der durchgeführten Experimente zeigen, dass der Algorithmus die parallel erstellte Random Baseline überwiegend übertraf und in einigen Fällen einen optimierten Schaltkreis im Vergleich zum Zielschaltkreis finden konnte. Dadurch zeigt sich das Potential evolutionärer Algorithmen zur Noise-Reduktion. Die Skalierbarkeit des vorgestellten Algorithmus ist jedoch stark begrenzt.

Betreuer: Leo Sünkel, Maximilian Zorn, Thomas Gabor, Claudia Linnhoff-Popien

Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication

Masterarbeit (Mai 2025)

Autor: Christian Reff

Abstract:

Emergente Kooperation im klassischen Multi-Agent Reinforcement Learning hat große Aufmerksamkeit erlangt, insbesondere im Zusammenhang mit sequenziellen sozialen Dilemmas. Während klassische Reinforcement Learning Ansätze gezeigt haben, dass sie zu emergenter Kooperation fähig sind, ist die Forschung zur Erweiterung dieser Methoden auf das aufstrebende Gebiet des Quantum Multi-Agent Reinforcement Learning noch begrenzt, insbesondere mit dem Einsatz von Kommunikation. In dieser Arbeit wenden wir das zweistufige Kommunikationsprotokoll Mutual Acknowledgment Token Exchange (MATE), seine Erweiterung Mutually Endorsed Distributed Incentive Acknowledgment Token Exchange (MEDIATE), den Peer-Rewarding Mechanismus Gifting und Reinforced Inter-Agent Learning (RIAL), einen Ansatz zum Erlernen eines diskreten Kommunikationsprotokolls, auf Quantum Q-Learning an. Wir bewerten die resultierenden acht Ansätze hinsichtlich ihrer Auswirkungen auf emergente Kooperation in drei sequenziellen sozialen Dilemmas, nämlich dem iterierten Prisoner’s Dilemma, der iterierten Stag Hunt und dem iterierten Game of Chicken. Unsere experimentellen Ergebnisse zeigen, dass die Ansätze MATETD, AutoMATE, MEDIATE-I and MEDIATE-S ein hohes Maß an Kooperation in allen drei sequenziellen sozialen Dilemmas erreichten, was beweist, dass Kommunikation eine mögliche Methode ist, um emergente Kooperation in Quantum Multi-Agent Reinforcement Learning zu erreichen.

Betreuer: Michael Kölle, Leo Sünkel, Claudia Linnhoff-Popien

Analyzing the Parameter Adaption of Transfer Learning in Variational Quantum Eigensolvers

Bachelorarbeit (April 2025)

Autor: Julio Amaru Nicolas Brocca Alvarado

Abstract:

Mit der verbreitung öffentlich verfügbarer, wenn auch rauschanfälliger Quantenprozessoren wurden viele Machine-Learning Ansätze entwickelt, um die neu aufgekommenen Möglichkeiten optimal zu nutzen. Peruzzo et al. entwickelten einen hybriden Algorithmus, der einen Variational Quantum Eigensolver (VQE) implementiert, um den Grundzustand eines Hamiltonians zu finden. Während VQEs anfänglich im Bereich der Quantenchemie eingesetzt wurden, können sie für verschiedene Optimierungsprobleme verwendet werden, wie zum Beispiel das Finden eines maximalen schnitts (Max-Cut) in einem Graphen. Da das Training rechenintensiv ist, wurden Transfer-Learning Ansätze vorgeschlagen, um die Trainingszeit für ähnliche Probleminstanzen zu reduzieren. Rohe et al. stellen einen VQE-Algorithmus vor, der TL nutzt, um die Konvergenz im Max-Cut-Problem zu beschleunigen. Es wurde gezeigt, dass TL in der frühen Optimierungsphase deutlich schneller konvergiert, obwohl Training ohne TL über die Zeit leicht bessere Ergebnisse liefert. Wenn jedoch die Trainingszeit drastisch reduziert wird, kann TL gute Ergebnisse erzielen und dabei die Rechenkosten des Trainings erheblich senken. Darüber hinaus wurde gezeigt, dass die Ähnlichkeit der erziehlten lösung mit dem optimum positiv mit dem Erfolg von TL korrelierte. Die Ähnlichkeit wurde durch Berechnung der minimalen Hamming-Distanz (HD) zwischen der VQE-Lösung des Quellgraphen und den optimalen Lösungen des Zielgraphen gemessen. Diese Bachelorarbeit baut auf den Ansatz von Rohe et al. auf. Konkret ist das Ziel der Arbeit, die Qualität des Parametertransfers zur Lösung von Max-Cut-Graphenproblemen zu analysieren. Anstatt die Anwendbarkeit von TL für den VQE zu analysieren, soll untersucht werden, wo TL zu Über- oder Unteranpassung des Algorithmus führt und wie diese Ergebnisse zustande kommen. Die Quell- und Zielgraphen werden sowohl aus dem öffentlich zugänglichen kalifornischen Straßennetz als auch aus Facebook Social Circle Daten entnommen. Dabei wird der Quellgraph genutzt, um Parameter zu trainieren, die zum initialisieren des Trainings des Zielgraphen genutzt werden. Um die Ähnlichkeit des Quell- und Zielgraphen bezüglich des Max- Cut-Problems zu bewerten, werden die optimalen Max-Cut-Lösungen durch Brute Force berechnet. Anschließend wird die minimale HD zwischen optimalen Lösungen der Quell- und Zielgraphen berechnet. Da TL nicht immer eine der optimalen Lösungen findet, wird die HD zwischen der Quelllösung und der durch TL gefundenen Ziellösung berechnet. Dadurch werden daten gesammelt, die zeigen, unter welchen Umständen TL den VQE zu Über- oder Unteranpassung veranlasst. Da die Qualität der trainierten Lösungen mit zunehmender HD zwischen Quell- und Zielgraphenlösungen in den Ergebnissen von Rohe et al. abzunehmen scheint, ist es von großem Interesse, Wege zu finden, mit solchen Problemen umzugehen. Eine mögliche Erklärung für Über- oder Unteranpassung ist, dass die vortrainierten Parameter den VQE in einem lokalen Optimum gefangen halten und dadurch weitere Erkundungen der Lösungslandschaft verhindern. Durch die Analyse des Einflusses von TL auf den Trainingsprozess des VQE sowie der Unter- und Überanpassung zielt diese Arbeit darauf ab, die Rolle und Qualität des Parametertransfers in der NISQ-Ära besser zu bewerten.

Betreuer: Tobias Rohe, Sebastian Wölckert, Thomas Gabor, Claudia Linnhoff-Popien

Problem-Specific Entanglement in Variational Quantum Circuits

Bachelorarbeit (April 2025)

Autor: Benjamin Nicolas Joseph Ring

Abstract:

In den letzten zehn Jahren haben sich Variationale Quanten Algorithmen (VQAs), insbesondere der Variational Quantum Eigensolver (VQE), als vielversprechender Kandidat für das Finden von annähernden Lösungen von Optimierungsproblemen auf den derzeit verfügbaren Noisy Intermediate-Scale Quantum (NISQ) Geräten, die anfällig für Fehler und Quantenrauschen sind, herausgestellt. In der Optimierungsschleife des VQE wird ein Versuchs-Quantenzustand durch einen parametrisierten Quantenschaltkreis erzeugt. Ein klassischer Optimierer passt die Parameter des Schaltkreises an, während die Kostenfunktion des Problems in einem Ising-Hamiltonian formuliert wird. Das globale Minimum der Kostenfunktionslandschaft wird durch die iterative parametrisierte Erzeugung eines Versuchs-Quantenzustands, die Messung dieses Zustands sowie die anschließende klassische Anpassung der Parameter angenähert. Vorausgegangenen Forschungsarbeiten haben gezeigt, dass die Architektur des parametrisierten Schaltkreises, des so genannten Ansatz, einen großen Einfluss auf die Optimierungsleistung des VQE hat.
Obwohl Verschränkung eine Schlüsseleigenschaft der Quantenmechanik ist, ist nicht gut erforscht, ob sie eine koordinierende Rolle im Ansatz-Schaltkreis von hybriden Quantenoptimierungsalgorithmen spielen kann. Während frühere Forschungsarbeiten gezeigt haben, dass Verschränkung keine allgemeinen Vorteile für die Optimierung bietet, wenn sie auf generische, problem-agnostische Weise implementiert wird, untersucht diese Arbeit die Rolle von problemspezifischer Verschränkung in variablen Quantenschaltkreisen und konzentriert sich dabei auf das Max-Cut-Problem, das in diesem Bereich häufig für Benchmarking-Zwecke verwendet wird und praktische Anwendungen in Bereichen wie dem Design von sehr großen integrierten Schaltkreisen (VLSI), sozialen Netzwerken und maschinellem Lernen hat. Das Ziel ist es, zu beurteilen, ob problemspezifische Verschränkungsstrukturen gegenüber problemagnostischen Strukturen Vorteile im Optimierungsverhalten bieten können. Um diese Frage zu beantworten, vergleichen wir systematisch verschiedene Schaltkreisarchitekturen, einschließlich problemspezifischer, generischer und randomisierter Verschränkungsstrategien, um ihre Auswirkungen auf die Optimierungsleistung zu analysieren. Für das problemspezifische Schaltkreisdesign bilden wir die Kanten des zugrundeliegenden Max-Cut-Graphen als Zwei-Qubit-Gatter auf den Schaltkreis ab. Die Ergebnisse zeigen, dass unsere problemspezifische Verschränkungsstruktur zwar über die drei betrachteten Problemgrößen hinweg im Vergleich zum generischen Design langsamer konvergiert, aber durchweg ähnliche angenäherte Kostenfunktionsminima erreicht und eine deutlich schnellere Konvergenzgeschwindigkeit aufweist als die randomisierten Designs. Zukünftige Arbeiten könnten diesen Effekt mit größeren Problemgrößen untersuchen. Darüber hinaus zeigen Experimente in einer Umgebung mit simulierten Rauschen, dass Quantenrauschen die Konvergenz in einem frühen Stadium beschleunigen kann, möglicherweise aufgrund zusätzlicher stochastischer Parameterabweichungen, die dem Optimierer helfen, lokale Minima zu umgehen. Dieser Effekt setzt sich nicht lange fort und das Rauschen verschlechtert letztlich die Optimierung in den späteren Phasen. Darüber hinaus haben wir festgestellt, dass mit zunehmender Anzahl von Verschränkungsschichten die Optimierungsgeschwindigkeit abnimmt, was möglicherweise auf eine Überparametrisierung und damit verbundene, geringere Trainierbarkeit zurückzuführen ist.

Betreuer: Tobias Rohe, Julian Hager, Thomas Gabor, Claudia Linnhoff-Popien

Cooperative Sequential Robotic Manipulation with Multi-Agent Reinforcement Learning

Bachelorarbeit (April 2025)

Autor: Josef Stolz

Abstract:

Multi-Agent Reinforcement Learning (MARL) hat als vielversprechender Ansatz für robotische Manipulationsaufgaben, die eine Zusammenarbeit mehrerer Agenten erfordern, an Aufmerksamkeit gewonnen. Dennoch bleiben Herausforderungen wie die Zuweisung von Belohnungen, die Stabilität des Trainings und effektive Beobachtungsmechanismen entscheidende Hürden für den Erfolg. Diese Arbeit untersucht die Anwendung von MARL in einem kollaborativen Robotersystem mit zwei Roboterarmen, die sequentielle Aufgaben wie Greifen, Heben und Platzieren von Objekten ausführen. Um die Lerneffizienz und die Aufgabenausführung zu verbessern, wurden Belohnungsstrukturen entwickelt, die den individuellen Erfolg mit dem Abschluss der gesamten Sequenz in Einklang bringen. Zudem wurde Curriculum Learning eingesetzt, um schrittweise komplexere Aufgaben einzuführen. Darüber hinaus wurde eine vergleichende Analyse von Beobachtungsmethoden durchgeführt, bei der vektorbasierte und sensorbasierte (RayCast) Beobachtungen bewertet wurden. Während vektorbasierte Beobachtungen ein stabiles Lernen ermöglichten, sind sie für den realen Einsatz unpraktisch, da sie auf exakten Objektpositionen basieren. RayCast-Beobachtungen wurden als realistischere Alternative betrachtet, zeigten jedoch aufgrund der hochdimensionalen Beobachtungsräume Herausforderungen, was zu langsameren Lernprozessen und geringeren Erfolgsraten bei den Aufgaben führte. Diese Ergebnisse unterstreichen die Notwendigkeit verbesserter Sensorverarbeitungstechniken oder hybrider Beobachtungsstrategien für effektive MARL-Anwendungen in der realen Welt. Zur Unterstützung von Experimenten mit MARL in kontinuierlichen Aktionsräumen und Unity-basierten Robotikumgebungen wurde eine Schnittstelle zum BenchMARL-Framework entwickelt. Diese ermöglicht eine koordinierte Steuerung mehrerer Agenten, zentralisierte Resets und Gruppenbelohnungen. Der Vergleich von MARL-Algorithmen ergab, dass IPPO besser abschnitt als MAPPO und MADDPG, indem es eine höhere Lernstabilität und Effizienz bei der kooperativen Objektmanipulation zeigte. Dennoch blieben mehrstufige Aufgaben wie das Stapeln von Objekten besonders schwierig, was die Komplexität der koordinierten Agenteninteraktion in strukturierten Manipulationssequenzen verdeutlicht. Diese Arbeit liefert umfangreiche Einblicke über MARL-basierte robotische Lernprozesse und hebt die Bedeutung effektiver Beobachtungsstrategien, strukturierten Curriculum Learnings und optimierter Agenten-Koordinationsmechanismen hervor.

Betreuer: Maximilian Zorn, Philipp Altmann, Claudia Linnhoff-Popien

Exploring Entanglement-intensity in Variational Quantum Eigensolver Algorithms for Combinatorial Optimization

Masterarbeit (April 2025)

Autor: Joel Friedrich

Abstract:

Variationale Quantenalgorithmen (VQAs), darunter der Quantum Approximate Optimization Algorithm (QAOA), der Variational Quantum Eigensolver (VQE) und Quantum Neuronale Netze (QNNs), haben sich als vielversprechende Ansätze in der verrauschten Intermediate-scale quantum (NISQ) Ära gezeigt. Diese hybriden quantenklassischen Algorithmen zielen darauf ab Optimierungs- und Simulationsprobleme zu lösen, die durch die Qubit-Konzentration, Konnektivität, Gatterfehlern und Dekohärenz eingeschränkt sind. Ein zentrales Merkmal der Quanteninformatik, und ein Unterscheidungsmerkmal zu klassischen Methoden ist die Verschränkung – die Quantenkorrelation zwischen Qubits, die bestimmte rechnerische Vorteile ermöglicht. Während Verschränkung weithin als wesentlich für den Erfolg von VQAs angesehen wird, haben neuere Studien die Annahme in Frage gestellt, dass mehr Verschränkung immer die Leistung des Algorithmus verbessert. Stattdessen kann eine übermäßige Verschränkung unfruchtbare Plateaus einführen, die Optimierung und Konvergenz erschwert.
Diese Arbeit untersucht die Rolle der Verschränkung bei der Leistung des VQE, einem führenden Algorithmus zur Annäherung der Grundzustandsenergien von Quanten-Hamiltonians. Insbesondere wird untersucht, ob die Begrenzung der Verschränkung durch strukturierte Reduktionen die Trainierbarkeit und Lösungsqualität verbessert. Um diese Beziehung systematisch zu analysieren, werden zwei Strategien zur Verschränkungsmanipulation eingesetzt: (1) Dropout-basierte Verschränkungssparsifizierung, bei der verschränkende Gatter zufällig auf der Grundlage einer gegebenen Wahrscheinlichkeit entfernt werden, und (2) parametrisierte Verschränkungsabstimmung, bei der die Stärke der kontrollierten Verschränkungsoperationen durch einen variablen Rotationsparameter eingeschränkt wird. Die Auswirkung dieser Strategien wird für drei Schaltungsansätze durch die Bewertung des Konvergenzverhaltens sowie die Messung von drei Schlüsselmetriken evaluiert: Verschränkungsfähigkeit, Ausdrucksfähigkeit und Approximationsverhältnis.
Die Ergebnisse zeigen, dass die Verringerung der Verschränkung durch Dropout die Optimierungsdynamik verbessert, indem sie möglicherweise unfruchtbare Plateaus abschwächt und die Gradientenvarianz erhöht, was zu schnellerer Konvergenz und niedrigeren Endenergien führt, ohne die Lösungsqualität zu beeinträchtigen. Die unterschiedlichen Reaktionen bei den verschiedenen Ansätzen legen jedoch nahe, dass die Verschränkungsreduktion auf die Schaltungstopologie und die Problemstruktur zugeschnitten und nicht einheitlich angewendet werden sollte. Im Gegensatz dazu zeigt die parametrisierte Verschränkungsabstimmung einen schwächeren Einfluss sowohl auf die Trainierbarkeit als auch auf die endgültige Lösungsqualität, insbesondere in tieferen Schaltungen, in denen die kumulative Verschränkung lokale Anpassungen auf Gatterebene kompensiert. Die Studie zeigt, dass das Konvergenzverhalten ein zuverlässigerer Indikator für die Leistung der VQE ist als die Ausdrucksfähigkeit oder die Verschränkungsfähigkeit allein, was unterstreicht, dass die Verschränkung aktiv verwaltet und nicht wahllos maximiert werden sollte.

Betreuer: Tobias Rohe, Philipp Altmann, Thomas Gabor, Claudia Linnhoff-Popien

Ermittlung von Verknüpfungen in Produktdaten mittels Quantum Restricted Boltzmann Machines

Masterarbeit (April 2025)

Autor: Simon Hehnen

Abstract:

Der steigende Softwareanteil in Produkten treibt nicht nur Innovationen voran, sondern erhöht auch die Komplexität. Um das Risiko von Fehlfunktionen in softwarelastigen Produkten zu minimieren und die Rückverfolgbarkeit zu gewährleisten, sind Verknüpfungen zwischen Entwicklungsschritten und Produktionsdaten notwendig. Diese werden durch Regularien wie ISO/IEC 15288 und DIN/ISO 26262 vorgeschrieben. Der Standard Digital Data Package ermöglicht die Verwaltung solcher Verknüpfungen. Jedoch können implizite Verknüpfungen derzeit nur manuell erstellt werden, was aufgrund des Umfangs und der zahlreichen Produktänderungen zu Problemen führt. Ein vielversprechender Ansatz zur automatischen Ermittlung von Verknüpfungen ist der Einsatz von Klassifikatoren. Insbesondere Quantum Restricted Boltzmann Machines bieten aufgrund der geringen Verfügbarkeit verknüpfter Entwicklungsdaten und deren hoher Störanfälligkeit einen vielversprechenden Ansatz. Zur Evaluierung werden klassische neuronale Netze und vortrainierte Klassifikatoren herangezogen. Sie sind etablierte Methoden in der Mustererkennung und dienen als Vergleichsgrundlage für neue Klassifikatoren.

Betreuer: Michael Kölle, Jonas Stein, Claudia Linnhoff-Popien

Emerging Cooperation through Quantum Entanglement in Multi-Agent Systems

Bachelorarbeit (März 2025)

Autor: Marvin Heinrich

Abstract:

Diese Arbeit untersucht die Machbarkeit der Nutzung von Quantenverschränkung zur Verbesserung der Kooperation im Multi-Agenten-Reinforcement-Learning. Unter Verwendung des iterierten Gefangenendilemmas als Benchmark schlagen wir ein dezentrales Multi-Agenten-Reinforcement-Learning-Framework vor, in dem zwei MARL-Agenten mit Variational Quantum Circuits ausgestattet sind und sich durch Quantenverschränkung gegenseitig beeinflussen können. Im Gegensatz zu bestehenden Ansätzen, die auf spezielle Quantenkommunikationskanäle angewiesen sind, untersucht diese Arbeit, ob Verschränkung allein kooperative Gleichgewichte ermöglichen kann. Daher bewerten wir die Auswirkungen verschiedener Verschränkungsarchitekturen, um gemeinsame Kooperationsstrategien zu entwickeln, die dem Nash-Gleichgewicht entkommen. Die Ergebnisse unserer Experimente zeigen, dass Verschränkung zwar Strategien begünstigen kann, die die Defektionsbasislinie übertreffen, langfristiges kooperatives Verhalten jedoch nicht realisierbar bleibt. Dies deutet darauf hin, dass Quantenkorrelationen allein nicht ausreichen, um kooperative Strategien im Multi-Agenten-Reinforcement-Learning aufrechtzuerhalten.

Betreuer: Michael Kölle, Leo Sünkel, Claudia Linnhoff-Popien

QUBO-Generierung für (MAX-)3SAT mittels generativer KI-Methoden

Masterarbeit (März 2025)

Autor: Philippe Wehr

Abstract:

Das Erstellen von QUBOs für 3-SAT Formeln mittels Pattern QUBOs bringt einige Herausforderungen. Das Generieren der Pattern QUBOs und die Erstellung der QUBO ist aufgrund des Brute-Force Ansatzes technisch aufwendig. In dieser Arbeit werden zwei Machine Learning Ansätze für die QUBO Generierung gegeben einer 3-SAT Formel getestet. Für das Encoden der Formeln und Matrizen wurden verschiedene Encodings untersucht. Zu den Formel Encodings zählen Vektor, Word2Vec und BERT basierte. Auf QUBOs wurden latent Repräsentationen getestet. Als Startmodell dient ein conditional Autoencoder. Variationen wie 2-Encoder, vortrainierte Encoder basierend auf einem RESNET18 wurden ebenso getestet. Für 1 Klausel Formeln konnten akkurate QUBOs generiert werden, für untersuchte Formeln mit bis zu 4 Klauseln überschneiden sich die Energien der Lösung- und Restzustände. Letztens wurde ein conditional Diffusion Modell aufgesetzt und mit Vektor, Word2Vec und BERT Formel Embeddings auf 5 und 7 random Klauseln trainiert. Mit BERT Formel Embeddings konnten mit den erstellten QUBOs durchschnittlich die meisten Klauseln einer Formel erfüllt werden. Die Formeln blieben aber zum Großteil ungelöst. Mit maskierten Training für Diffusion kann das Training noch verbessert werden. Es konnte im Durschnitt mit Masken generierten QUBOs eine Klausel mehr erfüllt werden. Dies verlangt als Input eine vordefinierte Maske in der Datengeneration. Als Hauptgrund für die Ergebnisse kann die spärliche QUBO Datenstruktur und die Schwierigkeit für das Erstellen einer 3-SAT Formel Kodierung verantwortlich gemacht werden.

Betreuer: Sebastian Zielinski, Michael Kölle, Claudia Linnhoff-Popien

Distributed Quantum Machine Learning – Training and Evaluating a Machine Learning Model on a Distributed Quantum Computing Simulator

Masterarbeit (März 2025)

Autor: Kian Izadi

Abstract:

Die Anzahl der Qubits, die auf einem Quantencomputer zur Verfügung stehen, stellt in der Regel eine Einschränkung für das Training und die Ausführung von Quantum-Machine-Learning-Modellen dar. Eine mögliche Lösung dieses Problems besteht darin, das Modell auf mehrere Quantumcomputer aufzuteilen und verteilt auszuführen. Dieser Ansatz wird als Distributed Quantum Machine Learning (DQML) bezeichnet. Dadurch kann eine größere Anzahl von Qubits verwendet werden, was das Training größerer Modelle ermöglicht oder die Klassifikationsleistung verbessern kann. Allerdings erfordert die Kommunikation zwischen den einzelnen Quantencomputern erhebliche klassische und quantenmechanische Ressourcen, was zu einem hohen Rechenaufwand und verlängerten Trainingszeiten führt. Um diesen Ansatz und seine Grenzen zu untersuchen, wird in dieser Arbeit ein DQML-Modell vorgestellt, das unter Verwendung des verteilten Quanten-Frameworks NetQASM implementiert wurde und dessen Architektur aus einem klassischen Server sowie zwei Quanten-Clients besteht. Das Modell wurde auf Datensätzen mit zwei und vier Merkmalen auf einem Quantennetzwerk-Simulator trainiert und evaluiert. Es erreichte eine vergleichbare Klassifikationsleistung wie ein zentralisiertes Quanten-Baseline-Modell. Um den Kommunikationsaufwand, der zu Trainingszeiten von 50 bis 500 Minuten pro Trainingsepisode führte, zu verringern, wurden Optimierungen an der Schaltungsarchitektur, der Erzeugung verschränkter Zustände und der verteilten Quantengatterausführung implementiert und evaluiert. Dadurch konnte die Laufzeit des Modells bei vergleichbarer Klassifikationsgenauigkeit um bis zu 60% reduziert werden.

Betreuer: Leo Sünkel, Michael Kölle, Thomas Gabor, Claudia Linnhoff-Popien

Multi-Objective Reinforcement Learning using Evolutionary Algorithms for Diverse Policy Selection

Masterarbeit (März 2025)

Autor: Clarissa Kümhof

Abstract:

In den letzten Jahren hat das Reinforcement Learning (RL) als Rahmen für sequentielle Entscheidungsfindung erheblich an Aufmerksamkeit gewonnen. Dabei lernt ein Agent, durch Interaktion mit einer Umgebung kumulative Belohnungen zu maximieren. Eine Unterkategorie von RL, das Multi-Objective Reinforcement Learning (MORL), konzentriert sich darauf, mehrere widersprüchliche Ziele gleichzeitig zu optimieren. In solchen Fällen ist es oft notwendig, ein Gleichgewicht zwischen diesen Zielen zu finden. Allerdings fehlt es traditionellen MORL-Methoden häufig an der Fähigkeit, eine Vielfalt an Lösungen aufrechtzuerhalten, da sie typischerweise nur eine einzelne Strategie als Ergebnis liefern. Besonders in dynamischen Umgebungen können zu unterschiedlichen Zeitpunkten verschiedene Zielabwägungen erforderlich sein. Um diese Herausforderungen zu bewältigen, stellt diese Arbeit EMOS — einen Evolutionary Multi-Objective Selector — vor, der RL mit Evolutionary Algorithms (EAs) kombiniert, um Multi-Objective-Probleme effizienter zu lösen. Durch den Einsatz von EAs zur Evolution einer Population von Strategien zielt die Methode darauf ab, die Pareto Front zu approximieren, indem sie eine Vielfalt an Lösungen bereitstellt, anstatt nur eine einzelne Strategie auszuwählen. Aufbauend auf Konzepten aus dem Evolutionary Reinforcement Learning (ERL) und Prediction-Guided MORL (PGMORL) integriert das vorgeschlagene Framework die Actor-Critic-Methodologie Proximal Policy Optimization, wobei trainierte Strategien in die evolutionäre Population aufgenommen werden, um Exploration durch EAs mit Exploitation durch Policy-Gradient-Updates zu kombinieren. Dieser hybride Ansatz ermöglicht eine flexible Entscheidungsfindung in der Inferenzphase, in der Strategien dynamisch basierend auf verschiedenen Zielen (z.B. Minimierung von Reue und Unsicherheit) zu jedem Zeitpunkt ausgewählt werden können. EMOS wird gegen die aktuellen Algorithmen Concave-Augmented Pareto Q-Learning (CAPQL) und Generalized Policy Improvement (GPI) getestet, um sowohl seine methodischen Stärken als auch seine empirische Leistung zu bewerten. Ein Open-Source-Repository mit MORL-Baselines wird verwendet, um die Reproduzierbarkeit und Kompatibilität mit gängigen MORL-Umgebungen wie MuJoCo sicherzustellen. EMOS übertrifft PGMORL hinsichtlich erwartetem Nutzen und Hypervolumen, insbesondere in mo-halfcheetah-v4, was die Erzeugung vielfältiger Lösungen demonstriert. Aufgrund seiner explorativen Natur weist es jedoch eine höhere Streuung auf. Darüber hinaus erzielt EMOS diese Ergebnisse mit geringerem Rechenaufwand, da es kein Vorhersagemodell erlernt und mit weniger Strategien in der Population arbeitet als PGMORL. Dadurch ist EMOS auch bei begrenzten Ressourcen eine wettbewerbsfähige Option. EMOS zeigt einen stabilen Ansatz zur Evolution von Strategien mit einer gut verteilten Pareto Front in bestimmten Umgebungen, bleibt jedoch hinter CAPQL und GPI zurück, die höhere Hypervolumen und erwartete Nutzwerte erzielen.

Betreuer: Philipp Altmann, Maximilian Zorn, Claudia Linnhoff-Popien

Minimierung der Teleportation und Steigerung der Fidelity in Distributed Quantum Computing mittels eines multiobjektiven evolutionären Algorithmus

Bachelorarbeit (Februar 2025)

Autor: Abasin Omerzai

Abstract:

Quanten Computing gilt als eine vielversprechende Technologie, um Aufgaben zu lösen, die selbst für das klassische Computing nicht zu bewältigen sind. Allerdings stoßen einzelne Quantencomputer aufgrund verschiedener Herausforderungen an ihre Grenzen, wodurch sie nur eine begrenzte Anzahl an frei verfügbaren Qubits bereitstellen können. Diese Einschränkung kann durch die Realisierung des DQC überwunden werden, einem Konzept, das durch die Vernetzung mehrerer Quantencomputer über ein Quantennetzwerk die Anzahl der verfügbaren Qubits erheblich steigert. Innerhalb eines solchen Systems werden die Qubits von einem Quantencomputer zu einem anderen mithilfe der Quanten Teleportation übertragen, einem ressourcenintensiven, aber unverzichtbaren Protokoll für die Kommunikation im DQC. Eine Minimierung der Anzahl der Teleportationen ist daher von essenzieller Bedeutung, birgt jedoch bei einfachen Ansätzen, wie der Minimierung globaler Gates, die auf Teleportation basieren, das Risiko, die Funktionalität eines Circuits zu beeinträchtigen. Um diesen Herausforderungen zu begegnen, wird in dieser Arbeit ein multiobjektiver evolutionärer Algorithmus (EA) vorgestellt, dessen Mechanismen wie Crossover, Mutation und Selektion dazu dienen, die Anzahl der Quanten Teleportationen zu minimieren und gleichzeitig die Fidelity, die ein Maß für die Ähnlichkeit ist, aufrechtzuerhalten. Der EA wurde an einer Reihe von QFT Benchmark Circuits sowie in weiteren Experimenten mit Random Circuits getestet, um seine Effektivität bei der Lösung der vorliegenden Problemstellung zu untersuchen. Die Ergebnisse demonstrieren, dass der Algorithmus die Anzahl der Teleportationen signifikant reduzieren kann, während die Fidelity über dem Schwellenwert von 0.9 gehalten wird. Im Vergleich zum Kernighan-Lin-Algorithmus, der nur lokale Optima liefert, erzielt dieser Ansatz in allen Aspekten bessere Resultate.

Betreuer: Leo Sünkel, Michael Kölle, Claudia Linnhoff-Popien

Evaluating Parameter-Based Training Performance of Neural Networks and Variational Quantum Circuits

Bachelorarbeit (Februar 2025)

Autor: Alexander Feist

Abstract:

In den vergangenen Jahren haben neuronale Netze (NN) bei den bedeutenden Fortschritten im Bereich des maschinellen Lernens eine zentrale Rolle gespielt. Mit zunehmender Komplexität der Aufgaben des maschinellen Lernens steigt die Anzahl an trainierbaren Parametern für NNs, was einen hohen Rechen- und Energiebedarf zur Folge hat. Variational Quantum Circuits (VQC) sind eine vielversprechende Alternative. Sie nutzen quantenmechanische Konzepte, um komplexe Beziehungen zu modellieren und benötigen im Vergleich zu NNs tendenziell weniger trainierbare Parameter. In dieser Arbeit wird die Trainingsleistung von NNs und VQCs anhand von einfachen Supervised Learning und Reinforcement Learning Aufgaben evaluiert und verglichen, wobei jeweils mehrere Modelle mit verschiedenen Parameterzahlen betrachtet werden. Die Experimente mit VQCs werden mit einem Simulator durchgeführt. Um zu ermitteln, wie lange das Trainieren der VQCs mit derzeit verfügbarer echter Quantenhardware dauern würde, werden ausgewählte Teile des Trainings mit einem echten Quantencomputer ausgeführt. Die Ergebnisse bestätigen, dass VQCs vergleichbare Leistung wie NNs erzielen können und dabei deutlich weniger Parameter benötigen. Trotz längerer Trainingszeiten deuten die Ergebnisse darauf hin, dass VQCs für bestimmte Aufgaben des maschinellen Lernens von Vorteil sein können, insbesondere wenn sich Quantentechnologie weiterhin rapide entwickelt, Algorithmen optimiert und VQC-Architekturen verbessert werden.

Betreuer: Michael Kölle, Jonas Stein, Claudia Linnhoff-Popien

Leveraging Preconditioning to Speed Up Quantum Simulation-Based Optimization

Bachelorarbeit (Februar 2025)

Autor: Carlotta von L’Estocq

Abstract:

Simulationsbasierte Optimierung ist rechnerisch sehr aufwendig, da zahlreiche Auswertungen komplexer Simulationen erforderlich sind, um eine Zielfunktion zu optimieren. Quantenalgorithmen können hier eine bessere Laufzeit im Vergleich zu klassischen Methoden erzielen, indem sie gleichzeitig mehrere potenzielle Lösungen bewerten. Wenn die Zielfunktion und/oder die Nebenbedingungen von statistisch zusammenfassenden Informationen abhängen, die aus den Ergebnissen einer Simulation abgeleitet werden, wird das Problem als Quantum Simulation-Based Optimization (QuSO)-Problem klassifiziert. Eine Unterklasse von QuSO ist LinQuSO, bei der die Simulationskomponente als ein System linearer Gleichungen formuliert werden kann. Die Berechnung der Zielfunktion hängt von der Komplexität der Lösung des entsprechenden linearen Gleichungssystems ab, welche linear von der Konditionszahl des Systems beeinflusst wird. Ein kürzlich erschienener Artikel stellte einen Quantenalgorithmus zur Lösung prototypischer linearer elliptischer partieller Differentialgleichungen zweiter Ordnung vor, die mit 𝑑-linearen Finite-Elementen auf kartesischen Gittern innerhalb eines begrenzten 𝑑-dimensionalen Bereichs diskretisiert werden. Durch die Verwendung eines BPX-Vorkonditionierers wird das lineare Gleichungssystem in ein wohlkonditioniertes System transformiert. Funktionale der Lösung können für eine gegebene Toleranz 𝜀 mit einer Komplexität von ˜𝒪(︀ polylog(︀ 𝜀−1)︀)︀ berechnet werden, wobei für 𝑑 > 1 ein Laufzeitvorteil gegenüber klassischen Lösungsverfahren erzielt wird. Diese Arbeit zeigt, wie die Effizienz der Berechnung von optimalen Eingabeparametern für ein LinQuSO-Problem verbessert werden kann, indem der Vorkonditionierungsalgorithmus in den Quantum Approximate Optimization Algorithm (QAOA) integriert wird, was zu einer Laufzeit von ˜𝒪(︀ 𝜀−1 polylog(︀ 𝜀−1)︀)︀ für die Simulationskomponente führt. Der neue Ansatz wird anhand eines Anwendungsfalls aus der Topologieoptimierung für Wärmeleitung demonstriert.

Betreuer: Jonas Stein, David Bucher, Claudia Linnhoff-Popien

Space-Efficient Quantum Optimization for the Traveling Salesman Problem via Binary Encoding of Feasible Solutions

Masterarbeit (Februar 2025)

Autor: Viktoria Patapovich

Abstract:

Das Traveling Salesperson Problem (TSP) ist eine klassische kombinatorische Optimierungsaufgabe mit zahlreichen Anwendungen in Logistik, Planung und Terminbestimmung. Quantenalgorithmen, insbesondere der Quantum Approximate Optimization Algorithm (QAOA), haben bereits Potenzial gezeigt, um solche NP-schweren Probleme zu lösen und könnten gegenüber klassischen Methoden Vorteile bieten. Bestehende Quantenverfahren für das TSP verwenden üblicherweise eine One-Hot-Kodierung, die für ein TSP mit n Städten O(n 2 ) Qubits erfordert und constraintspezifische Mixer wie den XY-Mixer einsetzt, um im gültigen Zustandsraum zu bleiben. Diese Ansätze sind jedoch ressourcenintensiv und stoßen bei steigender Qubit-Zahl schnell an praktische Grenzen. In dieser Masterarbeit wird eine neue Kodierung für das TSP unter Nutzung von QAOA vorgestellt, bei der Permutationen in Binärform abgebildet werden und der Qubit-Bedarf so auf O(n log 2 n) sinkt. Die größte Schwierigkeit dieser Binärkodierung liegt darin, dass kein einfacher constraintspezifischer Mixer verfügbar ist, um während der Optimierung die Gültigkeit der Zustände sicherzustellen. Zur Lösung dieses Problems wird eine effizient realisierbare unitäre Transformation entwickelt, die jedem binär kodierten Rundweg einen eindeutigen Index zuweist. Durch das Hinzufügen von O(log 2 (n!)) zusätzlichen Qubits, welche jede mögliche TSP-Permutation in faktorieller Basis repräsentieren, entsteht eine kanonische Isomorphie zwischen Permutationen und faktoriellel kodierten Zahlen. Dadurch kann in diesem zusätzlichen Qubit-Bereich ein einfacher X-Mixer oder ein Grover-Mixer verwendet werden, sodass sich der Optimierungsprozess automatisch auf gültige Zustände beschränkt und die Nebenbedingungen während der gesamten Optimierung eingehalten werden. Dies ermöglicht eine schnellere Konvergenz in Richtung der optimalen Lösung. In Rahmen dieser Masterarbeit werden es drei Varianten dieser Kodierung untersucht: (1) eine direkte unitäre Transformation mithilfe einer vorberechneten Lookup-Tabelle, (2) ein Verfahren auf Basis von Quantenarithmetik sowie (3) ein reines Index-Verfahren, bei dem sowohl Kosten- als auch Mixer-Hamiltonoperatoren in →log 2 (n!)↑ Qubits kodiert werden, was allerdings zu tieferen Schaltkreisen führt. Numerische Experimente mit kleinen Problemgrößen zeigen die Realisierbarkeit dieser Ansätze und unterstreichen die möglichen Vorteile des platzsparenden Kodierungsschemas für praktische Quantenoptimierungsaufgaben.

Betreuer: Jonas Stein, David Bucher, Claudia Linnhoff-Popien

Warm Starting Variational Quantum Algorithms for Parameterized Combinatorial Optimization

Bachelorarbeit (Dezember 2024)

Autor: Federico Harjes Ruiloba

Abstract:

In der Noisy Intermediate Scale Quantum Computing (NISQ) Ära sind Variationelle Quantenalgorithmen (VQAs) ein Schlüsselparadigma, um trotz Hardwarebeschränkungen nützliche Ergebnisse zu erzielen. Diese Algorithmen können an verschiedene Domänen angepasst werden, z. B. an die Festkörperphysik und die kombinatorische Optimierung. Probleme in diesen Bereichen können als Ising-Hamiltonians modelliert werden. Um physikalische Systeme zu modellieren, enthalten Hamiltonians oft Parameter, die globale Kräfte, wie z. B. Magnetfelder, steuern. Im Gegensatz dazu sind Hamiltonians, die kombinatorische Optimierungsprobleme (COPs) modellieren, in der Literatur in der Regel nicht parametrisiert und beschreiben eine spezifische Probleminstanz. In der Realität beeinflussen jedoch mehrere globale Variablen wie die Tageszeit oder die Marktrichtung Instanzen von COPs. In dieser Arbeit werden parametrisierte Hamiltonians für kombinatorische Optimierung anhand der Maximum-Cut- und Knapsack-Probleme eingeführt und ein Rahmenwerk vorgestellt, das auf andere COPs ausgedehnt werden kann. Der Rahmen erweitert die derzeitigen Ansätze zur Modellierung von COPs, um mehrere Probleminstanzen mit einem einzigen Hamiltonian mit globalen Parametern zu beschreiben. Anschließend wird in dieser Arbeit die Optimierung von parametrisierten COPs unter Verwendung verschiedener VQA-Varianten untersucht, wobei Zielfunktionen, die auf COPs zugeschnitten sind, getestet werden. Schließlich wird die Übertragung optimierter Parameter zwischen Probleminstanzen untersucht, die zu unterschiedlichen Hamiltonian-Parameterwerten entsprechen. Dabei wird bewertet, ob Parameter, die für eine Konfiguration eines Problems gute Lösungen liefern, für andere Konfigurationen ähnliche Ergebnisse liefern können. Für diese Aufgabe werden zwei einfache Modifikationen bestehender Verfahren vorgestellt, die als Adaptive Start und Aggregated Learning bezeichnet werden. In dieser Arbeit wird ein neuer Ansatz für die kombinatorische Optimierung vorgestellt und das Potenzial dieses neuen Rahmens untersucht

Betreuer: Tobias Rohe, Jonas Stein, Claudia Linnhoff-Popien

Emergent Behavior in Self-Evaluating Genetic Programming Based on 𝜆-Expressions

Bachelorarbeit (Dezember 2024)

Autor: Reinhard Bittner

Abstract:

1993 haben Walter Fontana und Leo W. Buss eine Minimaltheorie biologischer Organisation entwickelt, die auf dem untypisierten 𝜆-Kalkül als Modell für eine abstrakte Chemie basiert. Im 𝜆-Kalkül wird mittels einer darin definierten Anwendungsoperation zwischen 𝜆-Ausdrücken ein neuer 𝜆-Ausdruck erzeugt. Wird dieser Mechanismus wiederholt und in zufälliger Verteilung an einer anfangs zufälligen Population von 𝜆-Ausdrücken ausgeführt, entstehen selbsterhaltende und selbstregulierende Organisationen in der Population. Wir greifen dieses Konzept auf und übertragen es in die genetische Programmierung. Genetische Programmierung macht sich die Konzepte natürlichen genetischen Prozesses zunutze, um aus einer Population zufälliger, aber auf eine bestimmte Aufgabe bezogener Programme iterativ ein Programm zu entwickeln, das die gestellte Aufgabe besonders gut löst. Dabei werden die einzelnen Programme der Population in jedem Iterationsschritt verändert, wie zum Beispiel Unterprogramme willkürlich umgeschrieben, oder auch zwischen zwei Programmen ausgetauscht. Um abzuschätzen, wie gut ein Programm eine Aufgabe löst wird ein Fitnessfunktion definiert, die die Programme bewertet. Nur Programme mit guter Bewertung werden dann weiterentwickelt. In unserer Arbeit wenden wir diese Methodik auf 𝜆-Ausdrücke an. Allerdings gibt bei uns keine ausgewiesene Fitnessfuntion, sondern die 𝜆-Ausdrücke der Population bewerten sich gegenseitig, indem der zu bewertende Ausdruck einem zufälligen Ausdruck aus der Population als Argument in einer Anwendungsoperation übergeben wird. Da dies jedoch eine mathematisch abstrakte Operation ist, die einen weiteren 𝜆-Ausdruck erzeugt, stellt das für sich genommen noch keine Bewertung dar. Um eine nutzbare Bewertung abzuleiten, bewerten wir daher das Produkt der Anwendungsoperation nach syntaktischen und semantischen Maßstäben, indem wir bestimmte Elemente, oder Funtionseigenschaften mit einer Bestrafung belegen. Daraus leiten wir ein numerisches Fitnessmaß ab, das dann der Individuum der Population zugeordnet wird, das zur Auswertung ansteht. Diese Methodik legt die Grundlage dafür, dass sich eine entsprechende Population frei entwickelt und organisiert, wobei unsere Voreinstellungen zur Fitnessbestimmung einen globalen Rahmen im Sinne von Umweltbedingungen definieren. Wenn wir dieses Konzept auf eine zufällige Anfangspopulation anwenden, beobachten wir in der Tat die Entwicklung von Organisationsstrukturen in der Population, die invariante, gemeinsame syntaktische Elemente beinhalten. Dieser Effekt hängt stark von den Voreinstellungen ab, mit denen wir die genetische Programmierung ausführen. Wir untersuchen dazu zwei verschiedene, übergeordnete genetische Konfigurationen der von uns verwendeten Plattform für genetische Programmierung mit unterschiedlicher Konfiguration der genetischen Operatoren. Eine Konfiguration führt genetische Operationen ausschließlich mit und an 𝜆-Strukturlementen aus, die bereits in der Startpopulation vorliegen. Die zweite Konfiguration führt zusätzlich in jedem Iterationsschritt neue und zufällige 𝜆-Strukturlemente ein. Für beide übergeordnete Konfigurationen legen wir verschiedene Bestrafungsmuster fest. Beide übergeordneten genetischen Konfigurationen führen zur Ausbildung von Organisationsstrukturen in der Population. Die erste Konfiguration ergibt dynamische Organisationsstrukturen mit Individuen, die aus einheitlichen syntaktischen Strukturelementen bestehen und deren jeweilige Zusammensetzung sich in jedem Iterationsschritt verändert. Um diese Organisationsstrukturen sicher zu erzeugen, muss das Bestrafungsmuster grundsätzlich freie Variablen mit einbeziehen. Ist das nicht der Fall, entwickeln sich die Populationen überwiegend in einen statischen Zustand, der ausschließlich aus einzelnen freien Variablen besteht. Die zweite genetische Konfiguration erweist sich als wesentlich toleranter gegenüber verschiedenen Bestrafungsmustern und wir erhalten verschieden stark ausgeprägte Organisationsstrukturen deren Beteiligte auch eine höhere syntaktische Diversität aufweisen. Bildet sich gar keine erkennbare Organisationsstruktur, zeigen sowohl die Populationen zufällige Erscheinungsmuster, als auch die Individuen willkürlichen syntaktischen Aufbau ohne erkennbare Häufung spezifischer syntaktischer Strukturelemente. Uniforme Populationen, wie für die erste genetische Konfiguration treten nicht auf. Diese Studie könnte man als einen ersten Schritt betrachten, um eine Methodik zu entwickeln, die Entwicklung von Populationen unter vorgegebenen Umweltbedingungen zu beobachten. In Frage kommende Populationen dafür könnten aus mathematischen Modellen abgeleitet sein, die tatsächliche Probleme der erfahrbaren Welt abstrahieren. In diesem Sinne wäre die Plattform zur genetischen Programmierung die Umwelt, deren Bedingungen über die Voreinstellungen festgelegt werden. Zur Ausführung der genetischen Programmierung würde man eine, für eine spezifische Problemstellung entworfene Population übergeben und könnte deren Entwicklung beobachten. Sogar der Einfluss plötzlicher Störungen auf die Entwicklung ließe sich modellieren

Betreuer: Thomas Gabor, Maximilian Zorn, Claudia Linnhoff-Popien

Circuit Partitioning and Genetic Optimization for Efficient Qubit Distribution in Distributed Quantum Computing

Bachelorarbeit (Dezember 2024)

Autor: Simon Schlichting

Abstract:

Quantencomputer sind in der Lage, bestimmte Rechenprobleme in einem kürzeren Zeitrahmen zu lösen als klassischen Computer. Die derzeitigen Quantencomputer sind geprägt durch „Rauschen“. Der Begriff „Rauschen“ beschreibt die Begrenzung und Ungenauigkeit von den Berechnungen auf einem Quantencomputer. Dies stellt eine erhebliche Herausforderung für die Entwicklung von Quantencomputern im großen Maßstab dar. Problemstellungen werden in einem Quantenschaltkreis kodiert, der Quantenbits beinhaltet. Um große Schaltkreise auszuführen, können die Qubits auf verschiedene Quantencomputer verteilt werden. Die Verteilung von Qubits auf mehrere Quantencomputer wird im Rahmen des verteilten Quantencomputings erforscht. Die Verbindung der Quantencomputer erfolgt über ein Quantennetzwerk. Ein weiterer Ansatz zur Vereinfachung von Quantenschaltungen besteht in der Partitionierung von Schaltkreisen, wodurch die Tiefe der Schaltkreise verringert und eine Parallelisierung ermöglicht wird. Allerdings kann bei einer Partitionierung des Schaltkreises eine Berücksichtigung der Eigenheiten des Netzwerks nicht gewährleistet werden. Eine Methode zur Berücksichtigung von Netzeigenschaften im Verteilungsprozess stellt der Einsatz eines evolutionären Algorithmus dar. Der Ansatz wurde bereits angewandt, um die Verteilung von Qubits in einem Quantennetzwerk zu optimieren, bislang allerdings nur in begrenztem Umfang. Das Ziel dieser Arbeit ist die Kodierung der spezifischen Netzwerkstruktur zur Berücksichtigung der spezifischen Kosten jeder Operation. Zur Evaluierung der Effizienz des Algorithmus wurden Experimente mit zwei verschiedenen Netzwerktopologien durchgeführt und die Ergebnisse mit drei Grundlagen verglichen. Die durchgeführten Untersuchungen belegen, dass der Algorithmus im Vergleich zu den alternativen Methoden auf beiden Topologien bessere Ergebnisse aufweist.

Betreuer: Leo Sünkel, Maximilian Zorn, Claudia Linnhoff-Popien

Vergleich verschiedener hybrider Quantum Machine Learning Ansätze zur Klassifikation von Bildern auf Quantencomputern

Bachelorarbeit (Dezember 2024)

Autor: Nicolas Holeczek

Abstract:

Maschinelles Lernen (ML) und die Klassifikation von Bildern werden heutzutage immer wichtiger. So findet ML beispielsweise Einsatz in autonomen Fahrzeugen, um Hindernisse zu bestimmen, oder bei der automatischen Erkennung von Krankheiten in der Medizin. Allerdings steigen die Anforderungen an neuronale Netze, welche für die Klassifikation zum Einsatz kommen, immer weiter, da die Merkmale in den Bildern immer komplexer werden. Eine vielversprechende Lösung auf diesem Gebiet ist Quantencomputing, genauer Quantum Machine Learning (QML). Durch die Vorteile, welche die in Quantencomputern verwendeten Qubits mit sich bringen, könnten QML Ansätze deutlich schnellere und bessere Ergebnisse als herkömmliche ML Methoden erzielen. Derzeit befindet sich Quantencomputing in der sogenannten ’noisy intermediate-scale quantum’ (NISQ) Ära. Der Name besagt, dass Quantencomputer nur wenige und fehleranfällige Qubits besitzen. Dementsprechend ist reines Quantum Machine Learning nicht ohne Weiteres umsetzbar. Die Lösung sind hybride Ansätze, welche auf klassische Strukturen zurückgreifen und diese mit Quantenschaltkreisen verbinden. Diese Arbeit untersucht die hybriden Ansätze Quanvolutional Neural Network (QCNN), Quantum Transfer Learning (QTL) und Variational Quantum Circuit (VQC). Dazu werden diese trainiert die Bilder des MNIST Datensatzes zu klassifizieren. Das Training erfolgt mehrfach mit unterschiedlichen Seeds, um so die Ansätze auf ihre Robustheit zu überprüfen. Anschließend werden sie anhand von Genauigkeit, Verlust und Trainingsdauer miteinander verglichen. Zusätzlich wird ein herkömmliches Convolutional Neural Network (CNN) zum Vergleich herangezogen. Am Schluss kann so die Bestimmung des effizientesten Ansatzes erfolgen. Die Auswertung des Experiments zeigt, dass das QCNN deutlich bessere Ergebnisse als QTL und VQC erzielt. Allerdings schneidet das herkömmliche CNN bei allen Metriken besser ab als das QCNN.

Betreuer: Leo Sünkel, Philipp Altmann, Claudia Linnhoff-Popien

Reinforcement Learning-gestützte State Preparation mithilfe von parametrisierten Quantengattern

Bachelorarbeit (Dezember 2024)

Autor: Isabella Debelic

Abstract:

Diese Arbeit untersucht die Anwendung von Reinforcement Learning (RL) zur Optimierung der State Preparation in parametrisierten Quantenschaltkreisen. Durch den Einsatz von RL-Algorithmen wird ein Agent trainiert, der die optimale Sequenz von Quantengattern findet, um vorgegebene Zielzustände zu rekonstruieren. Besonderes Augenmerk wird auf die Herausforderungen bei der Nutzung parametrischer Gatter gelegt, die im Vergleich zu diskreten Schaltkreisen eine kontinuierliche Optimierung erfordern. Verschiedene Ansätze, darunter ein- und zweistufige Verfahren sowie Hyperparameter-Optimierungen, werden experimentell evaluiert. Die Ergebnisse zeigen, dass RL-basierte Methoden erfolgreich zur Reduzierung der Schaltkreistiefe beitragen können, allerdings vorwiegend bei einfachen Schaltkreisen. Komplexere Schaltkreise erfordern tiefere Anpassungen der Optimierungsstrategie, um ähnliche Erfolge zu erzielen.

Betreuer: Michael Kölle, Philipp Altmann, Claudia Linnhoff-Popien

Evaluating Mutation Techniques in Genetic Algorithm-Based Quantum Circuit Synthesis

Bachelorarbeit (Dezember 2024)

Autor: Tom Bintener

Abstract:

Die Optimierung von quantum circuits ist entscheidend für den Fortschritt des quantum computing, insbesondere für momentane Noisy Intermediate-Scale Quantum (NISQ)-Geräte. Diese Geräte stehen vor erheblichen Herausforderungen aufgrund der begrenzten Anzahl an Qubits und hoher Fehlerraten, was eine effiziente quantum circuit synthesis unerlässlich macht. Genetische Algorithmen (GAs) haben sich als vielversprechende Lösung zur Optimierung von quantum circuits etabliert, indem sie eine Aufgabe automatisieren, die sonst manuell und ineffizient gelöst wird. Diese Arbeit untersucht die Auswirkungen verschiedener Mutationsstrategien innerhalb eines GA-Frameworks zur Synthese von quantum circuits. Mutationen wirken sich auf der fundamentalsten Ebene eines circuits aus und können die Gesamtleistung erheblich beeinflussen. Die Erfassung von Daten darüber, wie diese Mutationen die circuits transformieren und welche Strategien am effizientesten sind, ist ein wichtiger Schritt für die Entwicklung eines robusten GA-Optimierers. Die in dieser Forschung durchgeführten Experimente verwendeten eine Fitnessfunktion, die hauptsächlich auf der fidelity basiert, wobei auch die circuit depth und die Anzahl der T-Operationen berücksichtigt wurden. Die Experimente konzentrierten sich auf die Optimierung von circuits mit vier bis sechs qubits und umfassten umfangreiche Tests von Hyperparametern, um optimale Lösungen für praktisches quantum computing zu identifizieren. Die Ergebnisse zeigen, dass die Kombination von delete- und swap-Strategien ohne die Verwendung von change- oder add-Strategien unter den gegebenen Einschränkungen die beste Leistung erbrachte.

Betreuer: Michael Kölle, Maximilian Zorn, Claudia Linnhoff-Popien

Update Behavior of Neural Networks Trained in Alternation with an Additional Auxiliary Task

Bachelorarbeit (November 2024)

Autor: Sara Sofía Juárez Oropeza

Abstract:

Diese Arbeit untersucht die Auswirkungen einer zusätzlichen Hilfsaufgabe – im Folgenden als Sekundäraufgabe bezeichnet – auf das Verhalten der Gewichtsaktualisierung in einem vollständig verbundenen, mehrschichtigen neuronalen Netzwerk. Konkret zielt die Untersuchung darauf ab, zu verstehen, wie das Training mit einer Sekundäraufgabe die Leistung des Netzwerks bei der Primäraufgabe beeinflusst, wenn es mit unterschiedlichen Eingabeparametern während des Trainings konfrontiert wird. Die Evaluierung umfasst eine klassische überwachtes Lernaufgabe zur Klassifikation von Ziffern unter Verwendung der MNIST-Datenbank, erweitert um eine Sekundäraufgabe. Diese Sekundäraufgabe wechselt zwischen der Berechnung einer einfachen Summe aus zwei Fließkommazahlen und deren Multiplikation. Das Netzwerk unterscheidet zwischen den beiden Aufgaben anhand der Formatierung der Eingabedaten. Die Eingabe- und Ausgabeschichten des Netzwerks werden um zusätzliche Dimensionen erweitert, um die Eingaben und Ausgaben der Sekundäraufgabe zu verarbeiten. Abgesehen davon wird die Netzwerkarchitektur in keiner Weise verändert, um die Sekundäraufgabe zu berücksichtigen. Die verwendete Verlustfunktion wird je nach der zu berechnenden Aufgabe ausgetauscht. Die ursprüngliche MNIST-Ziffernklassifikationsaufgabe ohne Sekundäraufgabe dient als Basislinie zum Vergleich der Ergebnisse. Die im Rahmen dieser Arbeit durchgeführte Evaluierung zielt darauf ab, folgende Forschungsfragen zu beantworten: Welche Auswirkungen hat eine zusätzliche Aufgabe auf die Leistung eines vollständig verbundenen, mehrschichtigen Feedforward-Netzwerks? Darüber hinaus wird untersucht, ob eine zusätzliche Aufgabe die Stabilität und Robustheit eines solchen Netzwerks in Bezug auf seine Fähigkeit, unvorhergesehene Änderungen in den Trainingsdaten zu verarbeiten, positiv beeinflusst. Diese Evaluierung soll dazu beitragen, die Funktionsweise neuronaler Netzwerke besser zu verstehen und mögliche Optimierungsansätze für Retraining-Techniken zu prüfen. Zusätzlich wird das Potenzial des Multitask-Trainings zur Verbesserung der Generalisierungsfähigkeit und Robustheit neuronaler Netzwerke erforscht. Die Ergebnisse dieser Studie zeigen, dass die Einbindung einer Sekundäraufgabe während des Trainings die Leistung des neuronalen Netzwerks bei der Primäraufgabe nicht negativ beeinflusst. Vielmehr deuten die Ergebnisse auf potenziell stabilisierende Effekte hin. Das Modell, das mit einer Sekundäraufgabe trainiert wurde, zeigt eine vergleichbare Leistung zur Basislinie, mit leicht verbesserter Stabilität bei der Bewältigung unvorhergesehener Änderungen in den Trainingsdaten. Falls sich dieses Verhalten allgemein bestätigt, könnten diese Erkenntnisse darauf hindeuten, dass eine zusätzliche Aufgabe als eine Form der impliziten Regularisierung fungieren kann, die die Generalisierungsfähigkeit und Anpassungsfähigkeit des Netzwerks an neue Daten verbessert. Mit dieser Studie hoffen wir, zur Entwicklung effizienterer Retraining-Protokolle beizutragen und das Verständnis des Multitask-Lernens in neuronalen Netzwerken zu vertiefen.

Betreuer: Thomas Gabor, Maximilian Zorn, Claudia Linnhoff-Popien

The Trainability of Quantum Federated Learning

Bachelorarbeit (November 2024)

Autor: Sina Mohammad Rezaei

Abstract:

Diese Arbeit untersucht die Implementierung und Evaluierung von Quantum Federated Learning (QFL), bei dem Variational Quantum Circuits (VQCs) gemeinsam über mehrere Quanten-Clients hinweg trainiert werden. Der Schwerpunkt liegt auf dem Vergleich der Leistung und Trainierbarkeit von QFL mit traditionellen Quanten-Maschinenlernansätzen unter Verwendung des MNIST-Datensatzes. Die Experimente wurden mit 2, 3, 4 und 5 Clients durchgeführt, die jeweils unterschiedliche Datensätze verarbeiteten, sowie mit einer variierenden Anzahl von Schichten (1, 2 und 4) in den Quanten-Schaltungen. Die Trainierbarkeit der Modelle wurde anhand der Bewertung von Genauigkeit, Loss und Gradienten-Normen während des Trainingsprozesses untersucht. Die Ergebnisse zeigen, dass QFL kollaboratives Lernen ermöglicht und während des Trainings signifikante Verbesserungen in diesen Metriken aufweist. Die Basismodelle ohne QFL erzielen jedoch in der Regel eine bessere Endgenauigkeit und geringere Verluste aufgrund des ununterbrochenen Optimierungsprozesses. Darüber hinaus wurde der Einfluss einer erhöhten Schichtenanzahl auf die Trainingsstabilität und Leistung analysiert.

Betreuer: Leo Sünkel, Tobias Rohe, Claudia Linnhoff-Popien

Investigating the Lottery Ticket Hypothesis for Variational Quantum Circuits

Bachelorarbeit (November 2024)

Autor: Leonhard Klingert

Abstract:

Quantencomputing ist ein aufstrebendes Feld in der Informatik, welches in den letzten Jahren große Fortschritte erzielt hat, unteranderem im Bereich des maschinellen Lernens. Durch die Prinzipien der Quantenphysik bietet es die Möglichkeit, die Grenzen von klassischen Algorithmen zu überwinden. Variational Quantum Circuits (VQC), eine spezielle Form von Quantum Circuits, welche variierende Parameter haben, stehen jedoch durch das Barren Plateau-Phänomen vor einer erheblichen Herausforderung, das den Optimierungsprozess in bestimmten Fällen behindern kann. Die Lottery Ticket Hypothesis (LTH) ist ein aktuelles Konzept im klassischen maschinellen Lernen, das zu bemerkenswerten Verbesserungen in neuronalen Netzwerken führen kann. Diese Arbeit untersucht, ob de LTH auf VQCs angewendet werden kann. Die LTH besagt, dass es innerhalb eines großen neuronalen Netzwerks ein kleineres, effizienteres Subnetzwerk, auch Winning Ticket genannt, gibt, das eine vergleichbare Leistung wie das ursprüngliche, vollvernetzte Netzwerk erzielen kann. Die Anwendung dieses Ansatzes auf VQCs könnte helfen, die Auswirkungen des Barren Plateau-Problems zu verringern. Die Ergebnisse dieser Arbeit zeigen, dass die Weak LTH auf VQCs anwendbar ist, wobei Winning Tickets gefunden wurden, die lediglich 26,0% der ursprünglichen Gewichte haben. Für die Strong LTH, bei der das Pruning ohne vorheriges Training durchgeführt wird, wurde ein Winning Ticket für einen Binary VQC gefunden, welcher 100% Accuracy mit 45% der ursprünglichen Gewichte erreicht. Das zeigt, dass die Strong LTH auf VQCs anwendbar ist. Diese Ergebnisse liefern erste Hinweise darauf, dass die LTH ein Ansatz zur Verbesserung der Effizienz und Leistung von VQCs in Quantum Machine Learning Aufgaben sein könnte.

Betreuer: Michael Kölle, Julian Schönberger, Claudia Linnhoff-Popien

Architectural Influence on Variational Quantum Circuits in Multi-Agent Reinforcement Learning: Evolutionary Strategies for Optimization

Bachelorarbeit (November 2024)

Autor: Karola Schneider

Abstract:

Das Forschungsgebiet des Multi-Agenten Reinforcement Learning (MARL) gewinnt zunehmend an Bedeutung, insbesondere in Anwendungsbereichen wie autonomem Fahren und Robotik, in denen mehrere Akteure interagieren. Eine zentrale Herausforderung des MARL ist das exponentielle Wachstum der Dimensionen in den Zustands- und Aktionsräumen. Die Nutzung quantenmechanischer Eigenschaften bietet vielversprechende Lösungen, da sie eine kompakte Verarbeitung hochdimensionaler Daten ermöglicht und die Anzahl der zu optimierenden Parameter reduziert. Ein Nachteil gradientenbasierter Optimierungs-Methoden im Quanten MARL ist das Auftreten von Barren Plateaus, welche die Konvergenz durch ineffektive Parameter-Updates behindern. Evolutionäre Algorithmen umgehen dieses Problem, indem sie ohne Gradienten arbeiten. Aufbauend auf Forschungsergebnissen, die das Potenzial Evolutionärer Algorithmen zur Optimierung Variationaler Quantenschaltkreise für MARL aufzeigen, untersuchen wir, welchen Einfluss die Einführung von Modifikationen der Architektur im Evolutionsprozess auf die Optimierung hat. Drei Architekturkonzepte für Variationale Quantenschaltkreise —Ebenen-Basiert, Gatter-Basiert und Prototyp-Basiert — wurden mithilfe zweier evolutionärer Strategien untersucht: einer Kombination aus Rekombination und Mutation (ReMu) sowie einer nur auf Mutation basierenden Strategie (Mu). Die Effizienz der Ansätze wurde anhand des Coin Games evaluiert, wobei eine Version ohne Anpassungen der Architektur als Vergleichsgrundlage diente. Die Mu-Strategie in Kombination mit dem Gatter-Basierten Ansatz erzielte die besten Ergebnisse, einschließlich der höchsten Punktzahlen, der meisten gesammelten Münzen und der höchsten Eigenmünzenquote, und benötigte dabei die geringste Anzahl an Parametern. Darüber hinaus benötigte eine Variante des Gate-Basierten Ansatzes, welche vergleichbare Ergebnisse wie die der Vergleichsgrundlage erzielte, deutlich weniger Gatter, was zu einer Beschleunigung der Laufzeit um 90,1% führte.

Betreuer: Michael Kölle, Leo Sünkel, Claudia Linnhoff-Popien

Learning Independent Multi-Agent Flocking Behavior With Reinforcement Learning

Bachelorarbeit (Oktober 2024)

Autor: Gregor Reischl

Abstract:

Schwarmverhalten ist ein in der Natur weit verbreitetes Phänomen, das bei zahlreichen Herdentieren als Schutzmechanismus vor potentiellen Feinden dient. Diese Arbeit untersucht die Entstehung von Schwarmverhalten mithilfe zweier verschiedener Ansätze des Reinforcement Learning (RL). In früheren Studien wurden RL-basierte Lernansätze analysiert, bei denen die Technik des Parameter-Sharing (PS) zum Einsatz kam. Dabei wurde festgestellt, dass die Beutetiere Schwarmverhalten entwickeln, um effizienter vor Räubern fliehen zu können. In dieser Arbeit wird der Ansatz erweitert, indem die Auswirkungen und Unterschiede der Verwendung von Independent Learning (IL) mit dem PS-Ansatz verglichen werden. In den durchgeführten Experimenten werden die Beutetiere von RL-Policies gesteuert, die mit den RL-Algorithmen „IPPO“ (IL) und „QMIX“ (PS) trainiert wurden. Die Agenten können sich dabei frei in einer kontinuierlichen, zweidimensionalen Umgebung bewegen, wobei ihr einziges Ziel darin besteht, so lange wie möglich zu überleben. Um den Vergleich zwischen PS und IL detaillierter zu untersuchen, werden verschiedene Sichtfelder sowie unterschiedliche Arten von Raubtierverhalten verwendet, die von einfachen Heuristiken bis hin zu einem RL-basierten Modell reichen. Zur Bewertung des erlernten Schwarm- und Fluchtverhaltens werden außerdem zusätzliche Metriken wie Ausrichtung und Kohäsion für verschiedene Agentenpopulationen analysiert. Die Ergebnisse zeigen, dass die PS-Methode robuste Schwarmbewegungen erzeugt, die auch unter wechselnden äußeren Bedingungen stabil bleiben und häufig sogar die Performance des klassischen Boid-Modells übertreffen, das oft als Vergleichbasis verwendet wird. Zwar zeigt IL ebenfalls deutliche Anzeichen von Schwarmverhalten, erreicht jedoch nicht das gleiche Maß an Koordination wie PS. Zudem sind die Überlebensstrategien der IL-Agenten insgesamt deutlich weniger effizient als bei PS.

Betreuer: Maximilian Zorn, Michael Kölle, Claudia Linnhoff-Popien

Enhancing Object Recognition with Uncertainty-Based Fusion Techniques: A Comparative Analysis of Voting Techniques and Machine Learning Models

Masterarbeit (Oktober 2024)

Autor: Martin Obwexer

Abstract:

Die Objekterkennung in sicherheitskritischen Anwendungen muss in der Lage sein, hochzuverlässige Vorhersagen zu liefern. In dieser Arbeit wird daher ein Ansatz zur Verbesserung der Objekterkennung mithilfe von unsicherheitsbasierten Ensemble-Fusionstechniken untersucht. Allgemein kombiniert eine unsicherheitsbasierte Ensemble-Fusionstechnik die Vorhersagen mehrerer Modelle, wobei diese basierend auf ihrer Unsicherheit gewichtet werden, um die Zuverlässigkeit und Robustheit der Objekterkennung in sicherheitskritischen Anwendungen zu erhöhen. Die Ensemble-Methode besteht darin, verschiedene Objekterkennungsmodelle zu kombinieren, deren Ausgaben fusioniert werden, um eine bessere Leistung zu erzielen als jedes einzelne Modell im Ensemble. Ziel ist es, durch das Zusammenführen der Ausgaben mehrerer Modelle ein robusteres und zuverlässigeres Ergebnis zu erzielen als mit einzelnen Modellen allein. Die Techniken sind in zwei Ansätze unterteilt: programmatisch und maschinelles Lernen. Beide Methoden übertrafen die einzelnen Ensemble-Modelle und zeigten, dass die Ensemble-Methode die Objekterkennung verbessert. Die Untersuchung hat gezeigt, dass ähnlich leistungsfähige Modelle als Eingabe verwendet werden können und die Anzahl der Modelle auf insgesamt drei Ensemble-Mitglieder begrenzt werden kann. Da die Anwendung in einem sicherheitskritischen Umfeld erfolgt, wird der Rückruf (Recall) höher gewichtet als die Genauigkeit (Precision). Daher erzielte die Methode des validierenden maschinellen Lernens das beste Ergebnis. Dieser Ansatz erzielte eine Verbesserung der Rückrufleistung um 7,3 %, jedoch auf Kosten einer Verringerung der Genauigkeit um 4,2 %. Der programmatische Ansatz verbesserte sowohl die Genauigkeit als auch den Rückruf durch affirmatives Voting und unsicherheitsbasierte Fusion und lieferte die beste Leistung unter den getesteten Optionen. Er erreichte eine kleine Leistungsverbesserung der Genauigkeit um etwa 0,8 % und des Rückrufs um etwa 2,2 %. Der programmatische Ansatz umfasste drei verschiedene Voting-Methoden: affirmativ, konsensbasiert und einstimmig, wobei die affirmative Methode die besten Ergebnisse erzielte. Innerhalb dieser Methode wurden drei verschiedene Fusionstechniken implementiert: klassenbasiert, unsicherheitsbasiert und basierend auf der Dempster-Shafer-Theorie, wobei die unsicherheitsbasierte Fusion am besten abschnitt, indem sie Konfidenzwerte zur Entscheidung von Klassenkategorien nutzte und gewichtete Bounding Boxes berechnete. Dieser Ansatz verbesserte die Präzision bei der Erkennung kleiner und mittelgroßer Objekte, verringerte jedoch leicht die Leistung bei großen Objekten. Auch die Verbesserung der Rückrufleistung war bemerkenswert, insbesondere bei der Erkennung kleiner Objekte. Der maschinelle Lernansatz wurde in vier unterschiedliche Ansätze unterteilt, die jeweils zunehmend komplexer wurden: Klassifizierung von Kategorien, Validierung von Vorhersagen, Generierung von Bounding Boxes und Generierung neuer Vorhersagen. Das Klassifizierungsmodell verbesserte die durchschnittliche Präzision, wies jedoch eine geringere Rückrufrate im Vergleich zu einem Einzelmodell auf. Das Validierungsmodell erhöhte den Rückruf bei allen Objektgrößen, hatte jedoch eine geringere Präzision. Das Bounding-Box-Generierungsmodell und das Vorhersagegenerierungsmodell erzielten aufgrund der Komplexität des Problems und der Einschränkungen der Daten keine relevanten Ergebnisse.

Betreuer: Thomas Gabor, Philipp Altmann, Claudia Linnhoff-Popien

An Evolutionary Algorithm with Similarity-Based Variation for Job-Shop Scheduling

Masterarbeit (Oktober 2024)

Autor: Marie Brockschmidt

Abstract:

Das Ziel dieser Arbeit ist, das NP-vollständige Job Shop Scheduling Problem zu untersuchen und hierbei einen evolutionären Algorithmus zur Ermittlung eines optimalen Lösungskandidaten zu verwenden. Das Job Shop Scheduling Problem beschreibt ein Optimierungsproblem, dessen Instanzen sich aus multiplen Jobs – bestehend aus verschiedenen Operationen –zusammensetzen. Jede dieser Operationen muss auf verschiedenen, vorher spezifizierten Maschinen bearbeitet werden. Das Ziel des Optimierungsproblems ist es, die Zeitspanne, in der alle Jobs auf allen Maschinen bearbeitet werden, zu minimieren. Aufgrund der zahlreichen Anwendungen in der Industrie ist dieses Problem von großer Bedeutung und wird dementsprechend weitreichend erforscht. Die Forschung an Lösungsstrategien inkludiert auch evolutionäre Algorithmen. In dieser Arbeit wird ein Ansatz erarbeitet und getestet, der die Rekombination und Mutation des evolutionären Algorithmus anpasst, indem gültige Lösungskandidaten kreiert werden, die ähnlich zu dem zu mutierenden Individuum oder den Eltern des Lösungskandidaten sind. Da die Reihenfolge der Operationen vorher definiert ist, ist es nicht möglich die Lösungskandidaten beliebig zu rekombinieren oder zu mutieren. Der Vorteil dieses Ansatzes ist es, den Fokus bei der Mutation auf die Exploration valider Lösungskandidaten zu lenken und außerdem die Performance der besten Lösungskandidaten auszunutzen, indem diese bei der Rekombination ein neues Individuum ergeben, welches beiden Eltern sehr ähnlich ist. Da die Einschränkungen der Prioritätsreihenfolge der verschiedenen Operationen jedes Jobs zu invaliden Lösungskandidaten führen können, wird dieser Ansatz herangezogen. Durch den hohen Bekanntheitsgrad des Job Shop Scheduling Problems existieren zudem multiple Benchmarkprobleme, so auch das Lawrence Set, welches zur Evaluation der Performanz genutzt werden kann, um den soeben vorgestellten Algorithmus beispielsweise in seiner Konvergenz oder Fähigkeit, eine optimale Lösung zu finden, zu vergleichen. Die Ergebnisse des Ansatzes sind vergleichbar mit anderen in der Literatur verwendeten Methoden und führen in den meisten Fällen zu ähnlich guten Lösungen bei gleicher Anzahl an Evaluationen. Für drei der vier verwendeten Benchmarkprobleme kann die optimale Lösung gefunden werden.

Betreuer: Thomas Gabor, Maximilian Zorn, Claudia Linnhoff-Popien

Neural Networks with a Regulatory Second Task on Neuron Level

Masterarbeit (Oktober 2024)

Autor: Julian Thomas Reff

Abstract:

Einbindung einer regulatorischen Aufgabe auf Neuron-Ebene in das Trainingsschema eines neuronalen Netzwerks neben der Hauptaufgabe ist ein neuartiger Ansatz. Diese Arbeit untersucht die Auswirkungen, wenn ein konstanter Ausgabewert von Null als sekundäre Aufgabe und die Klassifikation von MNIST als primäre Aufgabe trainiert werden. Die Experimente zeigen, dass das Ausmaß, in dem Neuronen die regulatorische Aufgabe erfüllen, als Metrik für das Pruning des neuronalen Netzwerks verwendet werden kann. Während das Pruning am Ende des Trainings ineffektiv ist, gelingt das Pruning in früheren Stadien – selbst bei drastischem Pruning – mit begrenztem Post-Training konsistent und verringert die Qualitätsminderung des Modells. Das Training des neuronalen Netzwerks mit der zusätzlichen regulatorischen Aufgabe auf Neuron-Ebene erhöht die Trainingsstabilität und verbessert die Generalisierungsfähigkeit des Modells auf neue Daten. In diesem Rahmen fungiert die regulatorische Aufgabe als Regularisierungstechnik, die das Netzwerk daran hindert, in lokale Minima zu konvergieren, und ein robustes Modell gewährleistet. Allerdings kann die regulatorische Aufgabe das Modell daran hindern, einen optimalen Zustand zu erreichen, sofern keine Anpassungen, wie beispielsweise die Modifikation der Lernrate der regulatorischen Aufgabe, vorgenommen werden. Obwohl das Training mit der regulatorischen Aufgabe zusätzliche Rechenzeit erfordert, bleibt die Trainingsgeschwindigkeit vergleichbar, während weniger als die Hälfte der Trainingsdaten genutzt wird.

Betreuer: Thomas Gabor, Maximilian Zorn, Claudia Linnhoff-Popien

State Preparation on Quantum Hardware Using an Island Genetic Algorithm

Masterarbeit (Oktober 2024)

Autor: Jonathan Philip Wulf

Abstract:

Da genetische Algorithmen eine bemerkenswerte Vielseitigkeit und ein breites Anwendungsspektrum aufweisen, bleibt ihre Nutzung im Kontext der Quantenschaltungs-Synthese ein bemerkenswertes Interessengebiet. Angesichts der erheblichen Herausforderung, die der riesige Suchraum bei der Erstellung von Quantenschaltungen darstellt, ist die theoretische Eignung genetischer Algorithmen offensichtlich, insbesondere in Anbetracht ihrer inhärenten Erkundungsfähigkeit. Zusätzlich zur Nutzung von Quantenalgorithmen zur Erzielung bis zu exponentieller Laufzeitvorteile erfordert all diese Algorithmen die Vorbereitung spezifischer Zustände, um besagte Vorteile zu gewähren. Daher ist es entscheidend, in der Lage zu sein, spezifische Zustände zu erstellen, selbst wenn das Wissen über die zugrunde liegenden Schaltungen fehlt. Ein bemerkenswerter Zustand ist der Greenberger-Horne-Zeilinger (GHZ)-Zustand, der die Superpositions- und Verschränkungs-Eigenschaften der Quantencomputing vereint. Dementsprechend wird diese Schaltung in dieser Arbeit als Zielzustand zur Reproduktion verwendet, und zwei zusätzliche Schaltungen mit unterschiedlichen Zuständen werden eingesetzt, um die allgemeine Anwendbarkeit dieses Ansatzes zu veranschaulichen. Außerdem wird der genetische Algorithmus nicht nur auf dem Simulator, sondern auch auf der IONQ Aria-1 Quantum Processing Unit (QPU) ausgeführt. Diese Arbeit beleuchtet zudem die Unterschiede zwischen dem populationsbasierten und dem inselbasierten Ansatz. Diese Ansätze unterscheiden sich darin, ob die Individuen Teil einer einzelnen Population sind oder ob sie sich separat in kleinere Gruppen entwickeln, die über mehrere Inseln verteilt sind und ausschließlich durch Migration zwischen den Inseln miteinander interagieren. Diese Arbeit liefert Beweise für die Überlegenheit des inselbasierten Ansatzes im Vergleich zum populationsbasierten Ansatz für den GHZ-Zustand sowie die beiden anderen Schaltungen. Ferner wird demonstriert, dass die Einschränkungen der Hardwareausführung erfüllt werden konnten, indem der inselbasierte Ansatz auf der IONQ Aria-1 QPU verwendet wurde, um einen Lösungskandidaten für den GHZ-Zustand zu erzeugen. Darüber hinaus zeigt die Herkunft der generierten Lösungskandidaten die Wirksamkeit des genetischen Algorithmus selbst und auch die erhöhte Vielfalt der verschiedenen Ansätze.

Betreuer: Jonas Stein, Maximilian Zorn, Claudia Linnhoff-Popien

Quantum Reinforcement Learning via Parameterized Quantum Walks

Masterarbeit (Oktober 2024)

Autor: Sabrina Egger

Abstract:

Random Walks finden in verschiedenen Forschungsbereichen wie der Informatik, der Psychologie, dem Finanzwesen oder der Mathematik Anwendung, da sie ein grundlegendes Konzept der Wahrscheinlichkeitstheorie und Stochastik darstellen. Herkömmliche Computer stoßen jedoch schnell an ihre Grenzen hinsichtlich der Rechenkomplexität, so dass andere Wege zur effizienten Lösung komplexer Probleme wie das Quantencomputing erforderlich sind. Quantum Walks, das Quantenäquivalent zum klassischen Random Walk, nutzen Quanteneffekte wie Überlagerung und Verschränkung, um effizienter zu sein als ihre klassischen Gegenstücke. Dennoch stellt die Ausführung von Programmen auf Quantenrechnern in der nahen Zukunft aufgrund der hohen Fehlerraten, des Rauschens und der Anzahl der verfügbaren Qubits eine gewisse Herausforderung dar. Für eine große Anzahl von Graphproblemen wirkt die Kodierung mit Gray Code Directed Edges (GCDE) diesen Problemen entgegen, indem sie die erforderliche Anzahl von Qubits durch eine effiziente Darstellung von bipartiten Graphen unter Verwendung von Gray Code reduziert. Diese Arbeit untersucht Random Walks in Grid Worlds und Glued Trees unter Verwendung klassischer Reinforcement Learning Strategien wie Proximal Policy Optimization oder Deep Q-learning Networks. In einem weiteren Schritt werden die Umgebungen mit effizienter GCDE-Kodierung neu aufgebaut. Die Umgebungen werden in parametrisierte Quantenschaltkreise übersetzt, deren Parameter durch den Agenten optimiert und gelernt werden. Der Beitrag dieser Arbeit beinhaltet die Anwendung der effizienten GCDE-Kodierung in Quantenumgebungen und einen Vergleich zwischen einem Quanten- und einem Random-Walker hinsichtlich Trainingszeiten und Zieldistanzen. Außerdem werden die Auswirkungen unterschiedlicher Startpositionen beim Training und bei der Auswertung berücksichtigt.

Betreuer: Jonas Stein, Michael Kölle, Claudia Linnhoff-Popien

CUAOA: A Novel CUDA-Accelerated Simulation Framework for the Quantum Approximate Optimization Algorithm

Masterarbeit (September 2024)

Autor: Jonas Felix Blenninger

Abstract:

Der Quantum Approximate Optimization Algorithm (QAOA) ist ein bekannter Quantenalgorithmus, der entwickelt wurde, um Näherungslösungen für kombinatorische Optimierungsprobleme zu finden. In der heutigen Zeit, in der Quanten-Hardware durch Rauschen und begrenzte Verfügbarkeit von Qubits eingeschränkt ist, bleibt die Simulation von QAOA für die Forschung unerlässlich. Bestehenden Simulations-Frameworks auf dem neuesten Stand der Technik weisen lange Ausführungszeiten auf oder es mangelt ihnen an umfassender Funktionalität, Benutzerfreundlichkeit und Vielseitigkeit, so dass die Anwendenden häufig wesentliche Funktionen selbst implementieren müssen. Darüber hinaus sind diese Frameworks auf Python beschränkt, was ihren Einsatz in sichereren und schnelleren Sprachen wie Rust beschränkt, welche unter anderem fortgeschrittene Parallelisierungsmöglichkeiten bieten. In dieser Masterarbeit wird die Entwicklung eines neuen GPU-beschleunigten QAOA-Simulationsframeworks vorgestellt, welches das NVIDIA CUDA-Toolkit nutzt. Dieses Framework bietet eine vollständige Schnittstelle für QAOA-Simulationen, die die Berechnung von (exakten) Erwartungswerten, den direkten Zugriff auf den Zustandsvektor, schnelles Sampling und hochleistungsfähige Optimierungsmethoden unter Verwendung der effizientesten bekannten Methode für die Gradientenberechnungstechnik ermöglicht. Das hier vorgestellte Framework ist für die Verwendung in Python und Rust konzipiert und bietet so Flexibilität für die Integration in eine Vielzahl von Anwendungen, einschließlich solcher, die schnelle Algorithmusimplementierungen erfordern und den QAOA als Kern nutzen. Ein solcher Algorithmus, insbesondere der QAOA 2 , ein Divide-and-Conquer-Algorithmus, wird mit dem neuen QAOA-Simulationsframework implementiert, um dessen Verwendung in einer möglicherweise parallisierten Anwendung zu zeigen. Die Leistung des neuen QAOA-Simulations-Frameworks wird mit Hilfe verschiedener Zufallsgraphen für das MaxCut problem rigoros getestet und mit den aktuellen State-of-the-Art-Quantenschaltungs-Simulations-Frameworks und einem spezialisierten Simulator für den QAOA verglichen. Die Auswertung zeigt, dass der entwickelte Simulator die aktuellen State-of-the-Art-Simulatoren in der Laufzeit mit einer Beschleunigung von bis zu mehreren Größenordnungen übertreffen kann. Darüber hinaus werden die Fähigkeiten des Frameworks im Rahmen des Divide-and-Conquer-Algorithmus evaluiert, der den QAOA als Kernstück verwendet. Diese Implementierung übertrifft die Referenzimplementierung unter Verwendung der aktuellsten Simulatoren für eine große Probleminstanz deutlich.

Betreuer: Jonas Stein, Maximilian Zorn, Claudia Linnhoff-Popien

Explainable Time Series Forecasting using exogenous variables – How weather affects the stock market

Bachelorarbeit (September 2024)

Autor: Het Dave

Abstract:

Der Klimawandel ist real und beeinflusst das Wetter weltweit. Angesichts der sich ändernden Wetterbedingungen zielt diese Arbeit darauf ab, zu verstehen, wie Wetter genutzt werden kann, um langfristige Marktveränderungen zu modellieren. Ziel ist es, zu erfassen, wie die Fähigkeit zur Wettervorhersage dazu beitragen kann, Risiken während akuter Wetterkrisen und -störungen zu mindern und die am stärksten vom Wetter betroffenen Branchen zu arbitrage, um den Markt zu stabilisieren. Moderne Deep-Learning-Methoden wie Temporal Fusion Transformers (TFTs) und Neural Hierarchical Interpolation for Time Series Forecasting (N-HiTS) sind erforderlich, um statische und historische exogene Variablen wie Wetter- und Standortdaten einzubeziehen. Daher nutze ich die bestehende, aktuelle N-HiTS-Architektur, da sie in der Langzeitvorhersage andere Modelle übertrifft, indem sie Hierarchical Interpolation und Multi-Rate-Data Sampling integriert und eine große durchschnittliche Genauigkeitsverbesserung gegenüber den neuesten Transformer-Architekturen bietet, während die Rechenzeit um eine Größenordnung reduziert wird. Ich modifiziere dann diese bestehende Architektur, indem ich einen neuartigen Ansatz entwickle, der Wetterdaten in das Modell integriert, sodass es besser für Aktienkurse und Wetterkovariaten geeignet ist. Diesen neuartigen Ansatz nenne ich WiN-HiTs – Weather induced N-HiTS – und zeige, dass Wetterkovariaten die Marktbewegungen in bestimmten Sektoren wie Versorgungsunternehmen und Materialien über einen langen Vorhersagehorizont besser prognostizieren können. Diese Forschung betont auch die Bedeutung der Vorhersage-Dekomposition in KI-Modellen, insbesondere im finanziellen und Aktienmarkt-Kontext, wo das Verständnis des Entscheidungsprozesses entscheidend ist. Die WiN-HiTS-Architektur ermöglicht die Trennung der Stapelvorhersagekomponenten der Zeitreihenprognose, was uns hilft zu interpretieren, wie verschiedene Wetterfaktoren zu Aktienkursschwankungen beitragen und wie diese Faktoren ausgewählt werden. In dieser Arbeit verwende ich einen vielfältigen Datensatz zur Bewertung, einschließlich historischer Wetter- und Aktienmarktdaten aus mehreren geografischen Regionen und Branchen der S&P500-Aktien. Vergleichsbaselines umfassen traditionelle Modelle wie AutoArima sowie moderne maschinelle Lernansätze wie Transformer-basierte Modelle (TFT) und N-HiTS selbst. Die Ergebnisse zeigen, dass WiN-HiTS in den meisten Sektoren auf Augenhöhe mit diesen Modellen arbeitet und in bestimmten Sektoren besser abschneidet. Zu den Key Performance Indicators (KPIs), die zur Bewertung der Vorhersagegenauigkeit verwendet werden, gehören der mittlere absolute Fehler (MAE), der Root Mean Squared Error (MSE) und der mittlere absolute prozentuale Fehler (MAPE). Die Bewertung dieser Arbeit stellt die Robustheit und Praktikabilität des vorgeschlagenen WiN-HiTS-Modells in realen finanziellen Vorhersageszenarien sicher.

Betreuer: Jonas Stein, Claudia Linnhoff-Popien

A Path Towards Quantum Advantage for the Unit Commitment Problem

Bachelorarbeit (September 2024)

Autor: David Fischer

Abstract:

Diese Arbeit stellt eine Lösung für das Unit-Commitment-Problem (UCP) im Bereich des Energienetzmanagements vor. Dabei handelt es sich um ein Optimierungsproblem, bei dem ein Gleichungssystem gelöst wird, um die Kosten für eine gegebene Lösung zu berechnen. Wir charakterisieren das UCP als ein Mixed-Integer Nonlinear Programming (MINLP)-Problem und lösen es mit Hilfe eines Quantensimulations-basierten Optimierungsansatzes (QuSO), wobei dieser eine Klasse von äquivalenten Problemen definiert, die mit dem vorgeschlagenen Algorithmus lösbar sind. Durch die Modellierung des Energienetzes in einem speziellen Graph erhalten wir hilfreiche Erkenntnisse über die Struktur und die Eigenschaften der Suszeptanzmatrix. Wir nutzen approximative Randbedingungen für den Gleichstrom (DC) in diesem Modell. Die vorgeschlagene Quantenroutine beginnt mit der Invertierung der reduzierten Suszeptanzmatrix mittels Quantum Singular Value Transformation (QSVT) unter Verwendung eines speziellen Matrixinversionspolynoms. Eine Quantum Phase Estimation Routine wird zusammen mit einem zusätzlichen QSVT Verfahren verwendet, um die Kostenfunktion zu konstruieren, die dann mit dem Quantum Approximate Optimization Algorithm (QAOA) optimiert wird. Dieser hybride quantenklassische Ansatz nutzt das Potenzial quantenmechanischer Verfahren, um die Effizienz bei der Lösung komplexer Optimierungsprobleme erheblich zu verbessern. Im Rahmen unserer Analyse bewerten wir die algorithmische Komplexität und demonstrieren das beachtliche Potenzial dieses Ansatzes zur Lösung von QuSO-Problemen. Besonders hervorzuheben ist, dass die QSVT-basierte Matrixinversion die Zeitkomplexität in Fällen exponentiell verringern kann, in denen klassische Methoden schlecht mit der Größe des Problems skalieren. Diese Reduktion der Komplexität könnte die Echtzeitoptimierung großer Energienetze ermöglichen und dadurch sowohl die betriebliche Effizienz als auch die Zuverlässigkeit signifikant steigern.

Betreuer: Jonas Stein, Philipp Altmann, Claudia Linnhoff-Popien

Evolutionäre Operatoren zur Optimierung von Prompts für die Codegenerierung durch Large Language Models

Bachelorarbeit (September 2024)

Autor: Amelie Johanna Trautwein

Abstract:

In dieser Bachelorarbeit soll die Anwendung evolutionärer Algorithmen zur Optimierung der Codegenerierung durch Large Language Models (LLMs) untersucht werden. Die Methodik umfasst die Entwicklung eines evolutionären Algorithmus, der spezifische Strategien für Selektion, Crossover und Mutation einsetzt, sowie die Verwendung verschiedener Prompt-Designs und deren Einfluss auf den Optimierungsprozess. Zur Evaluierung der entwickelten Methodik wird WizardCoder verwendet, ein feingetuntes LLM basierend auf StarCoder. Um die Wirksamkeit der optimierten Prompts zu testen, werden die Benchmark-Datensätze HumanEval, MBPP, sowie der Datensatz PythonSaga genutzt. Diese Datensätze enthalten verschiedene Python Programmieraufgaben, die als Maßstab für die Bewertung der generierten Lösungen dienen. Die in dieser Arbeit entwickelten und getesteten Techniken sollen dazu beitragen, die Fähigkeiten von LLMs weiter zu verbessern und deren Einsatzmöglichkeiten in der Praxis zu erweitern. Besondere Aufmerksamkeit wird dabei auf die Entwicklung und Implementierung der evolutionären Operatoren gelegt, die durch iterative Verbesserungsprozesse die Qualität der generierten Code-Lösungen maximieren sollen. Ziel ist es, evolutionäre Operatoren zu entwickeln, die die Eingabeprompts für LLMs optimieren und somit deren Anwendung zur Codegenerierung verbessern.

Betreuer: Philipp Altmann, Maximilian Zorn, Claudia Linnhoff-Popien

Measuring Relatedness in Evolutionary Algorithms via Superfluous Genes

Bachelorarbeit (August 2024)

Autor: Paulin Anwander

Abstract:

In dieser Arbeit bewerten wir die Nutzung überflüssiger Gene zur Messung der Verwandtschaft in evolutionären Algorithmen (EA). Es ist allgemein anerkannt, dass EA, die nicht nur auf Fitness, sondern auch auf die Vielfalt der Populationen optimieren, in der Regel bessere Leistungen erbringen. Eine mögliche Definition für Vielfalt ist die Verwandtschaft der Individuen im phylogenetischen Baum, die jedoch komplex zu berechnen ist. Dies motiviert die Idee, die Verwandtschaft basierend auf überflüssigen Genen zu schätzen. Diese Gene stellen im Wesentlichen ein zweites Genom dar, das parallel zum Hauptgenom ohne Selektionsdruck evolviert. Sie werden durch Bitstrings (t-Bits) repräsentiert, was Berechnungen darauf günstig macht. Um die Vielfalt einer Population abzuschätzen, werden die t-Bits der Individuen bitweise verglichen: Eine hohe Anzahl unterschiedlicher Bits deutet auf eine geringe Verwandtschaft hin, während viele gleiche Bits auf eine hohe Verwandtschaft hindeuten. Die anfängliche Machbarkeit dieses Ansatzes wurde bereits gezeigt. Zur Bewertung der Schätzgenauigkeit führen wir EA durch, bei denen die tatsächliche und die auf t-Bits basierende Verwandtschaft von Individuenpaaren protokolliert wird. Unsere experimentellen Ergebnisse zeigen, dass die auf t-Bits basierte Verwandtschaftsschätzung signifikant mit der tatsächlichen Verwandtschaft korreliert. Wir bewerteten mehrere auf t-Bits basierende Funktionen zur Verwandtschaftsschätzung und stellten fest, dass die Verwendung der Anzahl gleicher t-Bits ohne Nachbearbeitung in den meisten Bereichen am besten funktionierte. Wir fanden jedoch auch Situationen, in denen andere Funktionen besser abschneiden. Zusätzlich bewerteten wir, wie Faktoren wie Populationsgröße, Anzahl der t-Bits, Mutationsverhalten und der Typ des Optimierungsproblems die Qualität der t-Bit-Schätzung beeinflussen. In den meisten Fällen übertraf die auf t-Bits basierende Verwandtschaftsschätzung nicht die auf dem Genom basierende Schätzung, lieferte jedoch dennoch zuverlässige Ergebnisse.

Betreuer: Thomas Gabor, Maximilian Zorn, Claudia Linnhoff-Popien

Exploring QuGANs for realistic graph generation – an exploratory study

Masterarbeit (Juli 2024)

Autor: Florian Burger

Abstract:

Generative Adversarial Networks (GANs) haben für ihre Fähigkeiten bei der Erzeugung realistischer Bilder große Anerkennung gefunden. Die Anwendung von GANs erstreckt sich jedoch auch auf die Generierung verschiedener Formen von synthetischen Daten, einschließlich eines wachsenden Interesses an der Graphengenerierung. Graphen dienen als vielseitige Darstellungen für zahlreiche Szenarien, wie Computernetzwerke, molekulare Strukturen und Infrastrukturlayouts. Folglich hat sich die Generierung künstlicher, aber realistischer Problemfälle für Tests und Entwicklung zu einem bedeutenden Forschungsgebiet entwickelt. Diese Arbeit zielt darauf ab, Quantum GANs (QuGANs) zu verbessern, um synthetische Netzwerkgraphen zu erzeugen, die reale Karteninstanzen genau imitieren. Diese generierten Graphen können zur Lösung verschiedener Routing-Probleme verwendet werden, darunter das Traveling Salesman Problem (TSP) und das Capacitated Vehicle Routing Problem (CVRP). Unser experimenteller Rahmen nutzt eine GAN-Architektur, um mehrere Szenarien zu erforschen, die in zwei Hauptgruppen eingeteilt sind: eine, die einen konventionellen klassischen Generator und Diskriminator verwendet, und die andere, die einen Quantengenerator mit einem klassischen Diskriminator integriert. Das Hauptziel besteht darin, die Leistung von QuGANs bei der Bewältigung der für diese Probleme relevanten Herausforderungen der Netzwerkgenerierung zu erhöhen. Angetrieben durch die Notwendigkeit von Instanzen, die die Dynamik der realen Welt widerspiegeln, schlägt diese Forschung eine strategische Methodik zur Erzeugung von Instanzen vor, die realistische geografische Konfigurationen und operative Arbeitslasten widerspiegeln. Klassische GANs, die für ihre Fähigkeit bekannt sind, Datenmuster zu replizieren, die die ursprüngliche Verteilung nachahmen, werden als geeignet angesehen. Unser Ansatz geht jedoch über die klassischen Methoden hinaus, indem die QuGANs den Generierungsprozess durch eine quantenmechanische Methode steuern, indem sie die einzigartigen Eigenschaften von Quantensystemen, wie Überlagerung, Interferenz und Verschränkung, nutzen. Diese Forschung zielt darauf ab, das Potenzial von QuGANs bei der Erzeugung realistischer Instanzen zu demonstrieren, die für unseren Problembereich relevant sind. Die dem Quantencomputing innewohnenden Quanteneigenschaften bieten neuartige Möglichkeiten für die Erzeugung synthetischer Netzwerke. Wir versuchen, ihre jeweiligen Vorteile und Grenzen durch eine vergleichende Analyse zwischen klassischen GANs und QuGANs aufzuzeigen. Unsere experimentellen Ergebnisse zeigen, dass klassische GANs eine minimale Verbesserung bei der Erzeugung realistischer Graphen mit niedrigeren Parametern aufweisen, während QuGANs eine deutliche Verbesserung der Lernkurve und der Anzahl der erzeugten realistischen Graphen zeigen. Diese Ergebnisse deuten darauf hin, dass QuGANs das Potenzial haben, klassische Methoden unter bestimmten Bedingungen zu übertreffen, auch wenn weitere Untersuchungen erforderlich sind, um Stabilität und rechnerische Herausforderungen zu bewältigen.

Betreuer: Tobias Rohe, Michael Kölle, Claudia Linnhoff-Popien

Designing Meta-Rewards for Multi-Agent Reinforcement Learning Cooperation

Masterarbeit (Juni 2024)

Autor: Jonas Wild

Abstract:

Diese Arbeit untersucht die Integration des dynamischen Meta-Reward-Shapings in das Multi-Agent Reinforcement Learning (MARL), um kooperatives Verhalten unter Agenten zu verbessern. Wir entwickelten ein Framework basierend auf dem ePyMarl Framework, das Strategien implementiert, um Agenten durch das Erreichen von Meta- und Hauptzielen zu kooperativem Verhalten zu führen. Wir führten einen Base Reward Critic ein, der erwartete zukünftige Returns ohne Meta-Rewards abschätzt. Dieser Critic wurde dann verwendet, um Targets für ein Neurales Netzwerk und einen Stochastic Gradient Descent Regressor zu generieren, die anzeigen, ob die Vergabe einer Meta-Reward im aktuellen Zustand mit der Policy kollidieren oder vorteilhaft sein würde. Experimentelle Auswertungen in drei Szenarien – Level based Foraging: Exploration und Gemeinsames Sammeln, und synchronisierte Angriffe in SMAC – zeigten signifikante Verbesserungen im kooperativen Verhalten der Agenten. Während Neurale Netzwerke und SGD Regressoren Potenzial zur Leistungssteigerung in der Erkundungsaufgabe zeigten, konnte ihre Wirksamkeit in den anderen beiden Herausforderungen nicht validiert werden. Letztendlich legt diese Arbeit nahe, dass dynamisches Meta-Reward-Shaping ein leistungsstarkes Werkzeug zur Entwicklung vorhersehbarer und anpassungsfähiger Multi-Agenten-Systeme ist, das Verhalten und Policies lenkt und steuert. Das automatisierte Shaping von Meta-Rewards entsprechend der Übereinstimmung mit der Belohnungsstruktur der Umgebung zeigte Potenzial und erfordert weitere Validierung.

Betreuer: Maximilian Zorn, Philipp Altmann, Claudia Linnhoff-Popien

Masked Autoencoders for Unsupervised Anomalous Sound Detection

Masterarbeit (Juni 2024)

Autor: Florian Reusch

Abstract:

In dieser Masterarbeit wird die Verwendung von Masked Autoencoders (MAEs) für die unüberwachte Erkennung von Anomalien in Audiodaten untersucht. Dabei wird das Prinzip des unüberwachten Lernens genutzt, um unregelmäßige Klangmuster zu erkennen, ohne dass manuell gelabelte Datensätze benötigt werden. Dieses Forschungsprojekt konzentriert sich auf den auditiven Bereich und zielt darauf ab, die erfolgreiche Anwendung von MAEs, die ursprünglich in der Computer Vision angewandt wurde, auf die Erkennung von Anomalien in Sounddaten auszuweiten, indem Audiodaten zur Analyse in Mel-Spektrogramme umgewandelt werden. Um die Effizienz der MAEs bei der Unterscheidung zwischen normalen und anomalen Klängen unter Verwendung des Rekonstruktionslosses als Anomalie-Score zu bewerten, wird der DCASE2020-Datensatz genutzt, der ein breites Spektrum an Klangkategorien umfasst. Zu den wichtigsten Beiträgen dieser Arbeit gehören die Anpassung des MAE-Frameworks für die Erkennung anormaler Geräusche, die Erweiterung durch Vektorquantisierung und ID-Vorhersage zur Verbesserung der Genauigkeit, die Durchführung einer umfassenden Hyperparameter-Optimierung und der Vergleich der Leistung des MAE-Modells mit anderen Methoden. Die Forschungsergebnisse unterstreichen die Effektivität von MAEs bei der Erkennung von Anomalien und zeigen, dass ein geringeres Maskierungsverhältnis von 15 Prozent und eine spezifische Encoder-Decoder-Konfiguration, insbesondere ein kleiner Encoder gepaart mit einem großen Decoder, die Fähigkeit des Modells zur Erkennung von Anomalien erheblich verbessern. Darüber hinaus stellen wir fest, dass die Vektorquantisierung zwar die Erkennung von Anomalien nicht verbessert, die ID-Vorhersage jedoch eine nützliche zusätzliche Lernaufgabe darstellt. Trotz Herausforderungen wie dem ungünstigen Skalierungsproblem, das Transformermodellen innewohnt, unterstreicht diese Arbeit das Potenzial von MAEs bei der unüberwachten Erkennung von Anomalien in Sounddaten. Indem sie sowohl die Möglichkeiten als auch die Grenzen von MAEs bei der Anomalieerkennung aufzeigt, trägt diese Arbeit zu einem differenzierten Verständnis ihrer Anwendung in der Anomaliedetektion auf Audiodaten bei und ebnet den Weg für zukünftige Untersuchungen.

Betreuer: Michael Kölle, Claudia Linnhoff-Popien

Evaluierung von metaheuristischen Optimierungsalgorithmen für Quantum Reinforcement Learning

Masterarbeit (Mai 2024)

Autor: Daniel Seidl

Abstract:

Quantum Reinforcement Learning bietet das Potenzial für Vorteile gegenüber klassischem Reinforcement Learning, wie beispielsweise eine kompaktere Repräsentation des Zustandsraums durch Quantenzustände. Darüber hinaus deuten theoretische Untersuchungen darauf hin, dass Quantum Reinforcement Learning in bestimmten Szenarien eine schnellere Konvergenz als klassische Ansätze aufweisen kann. Allerdings bedarf es weiterer Forschung, um die tatsächlichen Vorteile von Quantum Reinforcement Learning in praktischen Anwendungen zu validieren. Diese Technologie sieht sich zudem mit Herausforderungen wie einer flachen Lösungslandschaft konfrontiert, die durch fehlende oder geringe Gradienten gekennzeichnet ist und somit die Anwendung traditioneller, gradientenbasierter Optimierungsmethoden ineffizient macht. In diesem Kontext gilt es, gradientenfreie Algorithmen als Alternative zu prüfen. Die vorliegende Arbeit befasst sich mit der Integration von metaheuristischen Optimierungsalgorithmen wie der Partikelschwarmoptimierung, dem Ameisenkolonie-Algorithmus, der Tabu Suche, Simulated Annealing und der Harmonie Suche in Quantum Reinforcement Learning. Diese Algorithmen bieten Flexibilität und Effizienz bei der Parameteroptimierung, da sie spezialisierte Suchstrategien und Anpassungsfähigkeit nutzen. Die Ansätze werden im Rahmen von zwei Reinforcement Learning Umgebungen evaluiert und mit zufälliger Aktionsauswahl verglichen. Die Ergebnisse zeigen, dass in der 5×5 Empty MiniGrid Umgebung alle Algorithmen zu akzeptablen oder sogar sehr guten Ergebnissen führen, wobei Simulated Annealing und die Partikelschwarmoptimierung die besten Leistungen erzielen. In der Cart Pole Umgebung erreichen Simulated Annealing und die Partikelschwarmoptimierung optimale Ergebnisse, während der Ameisenkolonie-Algorithmus, die Tabu Suche und die Harmonie Suche nur leicht besser abschneiden als ein Algorithmus mit zufälliger Aktionswahl. Diese Ergebnisse demonstrieren das Potenzial metaheuristischer Optimierungsmethoden wie der Partikelschwarmoptimierung und Simulated Annealing für effizientes Lernen in Quantum Reinforcement Learning Systemen, zeigen aber auch die Notwendigkeit einer sorgfältigen Auswahl und Anpassung des Algorithmus an die jeweilige Problemstellung.

Betreuer: Michael Kölle, Maximilian Zorn, Claudia Linnhoff-Popien

Towards Less Greedy Quantum Coalition Structure Generation in Induced Subgraph Games

Masterarbeit (Mai 2024)

Autor: Daniëlle Schuman

Abstract:

Die Energiewende ist einer der wichtigsten Schritte im Kampf gegen den Klimawandel, den viele Nationen aktuell angehen. Jedoch stellt uns diese Umstellung auf 100 % erneubare Energien vor Herausforderungen bezüglich der erfolgreichen Steuerung von Stromnetzen. Ein Lösungsansatz ist hier das sinnvolle Zerlegen dieser Netze in Kleingruppen sogenannter Prosumenten, die Microgrids. Diese sinnvolle Zerlegung stellt jedoch ein schwieriges Optimierungsproblem da, das in etwas vereinfachter Form formalisiert werden kann als ein Problem der Koalitionsstrukturengenerierung in Induzierten Subgraph-Spielen. Hierbei versucht man einen vollvermaschten, ungerichteten, gewichteten Graphen so in Subgraphen zu zerlegen, dass die Summe über die Gewichte der in diesen Subgraphen enthaltenen Kanten maximiert wird. Zur Lösung dieses Problems wurden in den letzten Jahren auch einige Quanten-Algorithmen publiziert, wovon der Neueste ein effizienter, aber gieriger Ansatz namens GCS-Q ist. In dieser Arbeit werden diverse weitere, weniger gierige Quantum Annealing (QA)-basierte Algorithmen zur Lösung des Problems entworfen und mit GCS-Q verglichen, um festzustellen, ob einer dieser Ansätze eine bessere Lösungsqualität erzielen kann. Experimente auf drei verschiedenen Solvern – der QBSolv-Software, dem D-Wave Advantage 4.1 Quantum Annealer, und dem Algorithmus QAOA auf dem Qiskit Quantensimulator – ergeben, dass dies auf der aktuellen echten Quanten-Hardware nicht möglich ist. Mit der QBSolv-Software findet jedoch ein Großteil der neu entwickelten Ansätze bessere Lösungen, insbesondere der 4-split iterative R-QUBO Algorithmus, der auf dem verwendeten Datensatz alle Optima findet. Da seine Laufzeit zudem gut mit der Graphgröße skaliert, scheint dies ein vielversprechender Ansatz für zukünftige Forschung an der Problemstellung zu sein.

Betreuer: Jonas Nüßlein, David Bucher, Claudia Linnhoff-Popien

Specification Aware Evolutionary Error Search in Parameterized RL Environments

Masterarbeit (März 2024)

Autor: Ioan-Luca Ionescu

Abstract:

Um die Zuverlässigkeit von autonomen Systemen und maschinell erlernten Verfahren, insbesondere im Bereich des Verstärkungslernens, zu gewährleisten, ist ein Verständnis des verwendeten Modellverhaltens unerlässlich. Nimmt man die Politik eines solchen Agenten als gegeben (trainiert) und überwiegend zuverlässig an, wird es zunehmend schwieriger, durch stichprobenartiges Testen gültige Fehlerfälle (Randfälle) im Raum der möglichen Probleme zu finden. In dieser Arbeit liegt der Fokus auf der Untersuchung und Generierung von spezifikationsbewussten Problemfällen in parametrisierbaren Reinforcement Learning Umgebungen mit Hilfe von evolutionären Algorithmen. Gesucht wird nach Fehlern in Bezug auf die funktionale Spezifikation, d.h. harte Anforderungsbedingungen (hat ein Ziel in vorgegebener Zeit oder Art und Weise erfüllt) und die nicht-funktionale Spezifikation, z.B. über Proxy-Performance-Metriken wie die Körperausrichtung der Agenten auf die Ziele. Unsere evolutionäre Suche findet zum Beispiel problematische Ziele in der Nähe des Agenten, die auf Trainingsdefizite beim Umdrehen hinweisen, sowie in der Nähe von Wänden und Hindernissen. Ein erster Proof-of-Concept hat gezeigt, dass Evolutionäre Algorithmen in der Lage sind, eine spezifikationsbewusste Fehlersuche durchzuführen, aber nicht in der Lage waren, randomisierte Tests und eine Basisheuristik vollständig zu übertreffen.

Betreuer: Maximilian Zorn, Fabian Ritz, Claudia Linnhoff-Popien

Optimierung von Variational Quantum Circuits für Hybride Quantum Proximal Policy Optimization Algorithmen

Bachelorarbeit (Februar 2024)

Autor: Timo Witter

Abstract:

Quantencomputer, welche sich aktuell in der Entwicklung befinden, bieten in der Theorie neben der Hoffnung auf einen Quantenvorteil auch die Möglichkeit der Parameterreduktion. Diese ist insbesondere für das Machine Learning interessant, da sie einen schnelleren Lernvorgang und geringeren Arbeitsspeicherverbrauch für die rechenintensiven Prozesse erlauben würde. Im aktuellen Noisy Intermediate-Scale Quantum (NISQ) Zeitalter ist die Anzahl der Quantenbits jedoch noch beschränkt und Quantenrauschen erschwert das Training, daher konzentriert sich die Forschung auf Variational Quantum Circuits (VQCs). Diese hybriden Algorithmen aus einem parametrisierten Quantenschaltkreis mit klassischer Optimierung benötigen nur wenige Qubits, wodurch sie bereits jetzt die Möglichkeit bieten relevante Erfolge zu erzielen. In der der Literatur wurden in den letzten Jahren einige interessante Versionen vorgestellt, welche diese einsetzen, um Reinforcement Learning Probleme zu lösen und dabei vielversprechende Ansätze zur Verbesserung der Performance verwenden, welche es verdienen genauer betrachtet zu werden. In dieser Arbeit wird die Effektivität von Data Re-uploading, Input und Output Scaling und einer exponentiell abfallenden Lernrate für den Actor VQC eines Quantum Proximal Policy Optimization (QPPO) Algorithmus in den Frozen Lake und Cart Pole Umgebungen auf ihre Fähigkeit die Leistung des Schaltkreises im Verhältnis zur verwendeten Parameterzahl zu erhöhen evaluiert. Die Ergebnisse zeigen, dass die exponentiell abfallenden Lernrate und Data Re-uploading ohne das Hinzufügen weiterer trainierbarer Parameter die Leistung des VQC und dessen Hyperparameterstabilität deutlich erhöhen. Während Input Scaling keinen Einfluss auf die Parametereffizienz zu haben scheint, konnte Output Scaling eine wirksame Greediness-Kontrolle und so eine deutliche Steigerung der Performance und Robustheit ermöglichen.

Betreuer: Michael Kölle, Philipp Altmann, Claudia Linnhoff-Popien

Link-Konfiguration für Satellitenkommunikation mittels Reinforcement Learning

Bachelorarbeit (Februar 2024)

Autor: Jan Matheis

Abstract:

Die Satellitenkommunikation ist eine Schlüsseltechnologie unserer modernen vernetzten Welt. Angesichts zunehmend komplexerer Hardware in diesem Bereich stehen Herausforderungen bevor, die bewältigt werden müssen. Eine dieser Herausforderungen ist die effiziente Konfiguration von Links (Verbindungen) auf einem Satellitentransponder. Eine optimale Link-Konfiguration zu planen ist äußerst komplex und hängt von vielen Parametern und Metriken ab. Dabei ist die optimale Nutzung der begrenzten Ressourcen, Bandbreite und Leistung des Transponders von entscheidender Bedeutung. Ein solches Optimierungsproblem kann mithilfe von metaheuristischen Methoden wie dem Simulated Annealing angegangen werden. Aktuelle Forschungsergebnisse zeigen, dass Reinforcement Learning bei Optimierungsverfahren eine gleich gute oder bessere Leistung erzielen kann wie metaheuristische Verfahren. Für die Link-Konfiguration auf einem Satellitentransponder gibt es dazu keine Untersuchungen. Um diese Forschungslücke zu schließen, wurde im Rahmen dieser Arbeit ein Transponder Environment entwickelt. Für dieses Environment wurde die Performance des Reinforcement Learning Algorithmus PPO in zwei Experimenten mit der Metaheuristik Simulated Annealing verglichen. Die Ergebnisse zeigen, dass Simulated Annealing für dieses statische Problem bessere Ergebnisse liefert als der PPO Algorithmus. Es sind weitere Experimente erforderlich, um ein wirklich aussagekräftiges Ergebnis zu erzielen.

Betreuer: Michael Kölle, Claudia Linnhoff-Popien

Anomalous Sound Detection with Multimodal Embeddings

Bachelorarbeit (Februar 2024)

Autor: Lara Lanz

Abstract:

Die Aufgabe der akustischen Anomalieerkennung im Bereich des Maschinenlernens (ML) ist es, eine Entscheidung darüber zu treffen, ob ein Geräusch normal oder abnormal ist. In der Realität kann dies im industriellen Bereich angewendet werden, um Maschinengeräusche zu überwachen, da abnormale Geräusche hier auf einen Fehler oder Defekt hinweisen können. Eine häufige Herangehensweise zur Konstruktion von ML Modellen ist es, die Leistung bereits vortrainierter Modelle zu nutzen, um semantisch bedeutsame Merkmalsrepräsentationen, auch genannt Embeddings, aus den Daten zu extrahieren. Üblicherweise werden hierzu Modelle verwendet, die in der gleichen Modalität wie die Zielaufgabe trainiert wurden, im Kontext der akustischen Anomalieerkennung also in der Modalität Audio. Diese Bachelorarbeit untersucht die Wirksamkeit von multimodalen Embeddings für die Aufgabe der akustischen Anomalieerkennung. Dabei werden Modelle, die in mehreren Modalitäten vortrainiert wurden, benutzt, um semantisch bedeutsame Audioembeddings aus Audiodaten zu extrahieren. Diese Embeddings dienen dann als Input für etablierte Outlier Detection Methoden, um Anomalien zu identifizieren. Da die Layers der vortrainierten Modelle bei der reinen Merkmalsextraktion gefroren bleiben, ist der vorgestellte Ansatz schnell, simpel und rechnerisch kostengünstig. Verschiedene Kombinationen von vortrainierten Modellen und Outlier Detection Methoden werden in einer Ablation Study evaluiert. Die daraus resultierende beste Kombination wird hinsichtlich den Gesichtspunkten Leistung und Robustheit gegenüber verschiedenen Maschinentypen und Domänenverschiebungen bewertet. Die Ergebnisse deuten darauf hin, dass die Merkmalsextraktion mit vortrainierten multimodalen Modellen zu einer stabilen und robusten Leistung über verschiedene Maschinentypen hinweg beiträgt, wobei in diesem Kontext alle drei Baselines übertroffen werden. Der Ansatz zeigt auch eine vielversprechende Robustheit gegenüber Domänenverschiebungen und übertrifft in dieser Hinsicht zwei von drei Baselines, reicht jedoch nicht an die dritte Baseline heran, die weitere spezifische Ansätze für die Domänengeneralisierung implementiert.

Betreuer: Michael Kölle, Claudia Linnhoff-Popien

Beeinflussung von Verhalten durch Reward-Manipulation im Multi-Agent Reinforcement-Learning

Masterarbeit (März 2024)

Autor: Llewellyn Hochhauser

Abstract:

Im Bereich von Polymatrix-Spielen wurde in der Vergangenheit gezeigt, dass es möglich ist, das Verhalten anderer Agenten durch eine Manipulation der Belohnungen zu beeinflussen. Beispielsweise kann hiermit in einem kompetitiven Szenario eine Kooperation erzwungen werden. In dieser Masterarbeit wird geprüft, ob und wie dieser Ansatz auf Multi-Agent-Reinforcement-Learning (MARL) übertragen werden kann. Hierbei gibt es stets zwei Typen von Agenten, welche, die die Belohnungen aller Agenten manipulieren können, und triviale Agenten, die die Umgebung herkömmlich erlernen. Beide Agenten-Typen können von manipulierenden Agenten beeinflusst werden. Zusätzlich gelten hier bei einige Einschränkungen. Es können sich weder normale noch manipulierende Agenten untereinander ohne Umgebungsinteraktion absprechen. Auch geschieht die Manipulation individuell. Dies bedeutet, dass mehrere manipulierende Agenten sich auch hier nicht miteinander absprechen können. Die Belohnungs-Manipulation kann allerdings auf den jeweiligen Agenten angepasst werden. Mehre manipulierende Agenten können die gleiche Belohnung beeinflussen. Die Belohnungen im Gesamtsystem müssen allerdings erhalten bleiben. Agenten können daher keine Belohnungen frei erfinden. Hierfür wird in dieser Arbeit das Reward-Manipulation-Protokoll erstellt. Für dieses wurden drei verschiedene Abstufungen herausgearbeitet, mit denen dieser Ansatz verwendet und auch weiter erforscht werden kann. Getestet wird der Ansatz in verschiedenen Sozialen Dilemma-Szenarien. Um das Reward-Manipulation-Protokoll einordnen zu können, wird der Ansatz mit verwandten Algorithmen aus dem Bereich der Peer Incentivization verglichen.

Betreuer: Philipp Altmann, Michael Kölle, Claudia Linnhoff-Popien

Portraying Reinforcement Learning Policies via Diverse Behavior selected using Evolutionary Algorithms

Masterarbeit (März 2024)

Autor: Céline Davignon

Abstract:

Es ist nicht einfach, einem Reinforcement Learning Model zu vertrauen. Selbst wenn eintrainierter Agent gute Rewards erhält, ist es nicht sicher, dass er auch das erwartete Verhalten zeigt. Um mehr Vertrauen in Reinforcement Learning setzen zu können, ist die Interpretierbarkeit von Reinforcement Learning Agenten wichtig. In dieser Arbeit versuchen wir, die visuelle Interpretierbarkeit eines trainierten Agenten durch Finden diverser Verhaltensweisen eines Agenten zu verbessern. Dies möchten wir mithilfe Evolutionärer Suche erreichen. Ein Genetischer Algorithmus selektiert verschiedene Startzustände, die zu neuen Verhaltensweisen des trainierten Agenten führen. Der Ansatz wurde anhand einer einfachen Gridworld-Umgebung entwickelt. Weiterhin wurde er anhand dieser Umgebung und einer etwas komplexeren Umgebung validiert und evaluiert. Außerdem wurde der Genetische Algorithmus in einer Robotik-Umgebung angewendet, um ihn auch in kontinuierlichen Räumen zu evaluieren. Als Hauptbeitrag dieser Arbeit schlagen wir eine geeignete Fitnessfunktion vor, die diverse Verhaltensweisen bewerten kann. Sie bewertet nicht nur das Verhalten eines Agenten, sondern auch sein Verhalten unter Berücksichtigung bereits bekannter Verhaltensweisen. Das Ergebnis des Genetischen Algorithmus ist eine Menge an Episoden, die besonders diverse Verhaltensweisen zeigen. In manchen Episoden erreicht der Agent sein Ziel in erwarteter Weise, während er in anderen Episoden unerwartetes und nicht einfach erklärbares Verhalten zeigt. Außerdem schlagen wir eine mögliche Kodierung der Startzustände der Umgebung vor. Unser Ansatz kann genutzt werden, um die Qualität verschiedener trainierter Agenten zu evaluieren und zu vergleichen. Des Weiteren kann herausgefunden werden, in welchen Startzuständen der Agent noch mehr Training benötigt.

Betreuer: Philipp Altmann, Maximilian Zorn, Claudia Linnhoff-Popien

Diversity-Driven Pre-Training for Efficient Transfer Reinforcement Learning

Bachelorarbeit (Dezember 2023)

Autor: Simon Hackner

Abstract:

In dieser Arbeit wird der kürzlich vorgestellte Diskriminative Reward Co-Training (DI- RECT) Ansatz für die Vortrainierung einer generellen Policy eingesetzt, um die Lernfähigkeit von Reinforcement Learning Agenten zu verbessern und den Trainingsprozess effizienter zu gestalten. DIRECT erweitert Deep Reinforcement Learning Algorithmen durch Integration eines Buffers, der auf Basis des Episoden-Rewards vorteilhafte, von der Policy generierte Episoden aufnimmt, und eines Diskriminators, der im Laufe des Trainings lernt zwischen Episoden der Policy und des Buffers zu unterscheiden. Diese Struktur wird adaptiert um in einer Umgebung ohne Reward zu trainieren, indem der Episoden-Reward durch eine Diversitäts-Metrik ersetzt wird, wodurch der Buffer mit viel- fältigen Episoden gefüllt wird. Die vortrainierte Policy kann im Anschluss von bewährten Reinforcement Learning Algorithmen wie PPO genutzt werden, um unterschiedliche Auf- gaben in der zuvor erkundeten Umgebung effizient zu erlernen. Ziel der Arbeit ist es, die Auswirkungen des Ansatzes auf die Lernfähigkeit des Agenten, die Exploration und die Beschleunigung des Lernens verschiedener Aufgaben zu untersuchen.

Betreuer: Philipp Altmann, Maximilian Zorn, Claudia Linnhoff-Popien

Konstruktion von Quantenschaltkreisen mit eingeschränkten Gattern

Bachelorarbeit (Januar 2024)

Autor: Sebastian Wölckert

Abstract:

In der Praxis stehen bei einem Quantenrechner ähnlich wie zu den klassischen Rechnern nur eine eingeschränkte Menge an Grundoperationen zur Verfügung. Diese werden auch Quantengatter genannt und nach den Forderungen der Quantenmechanik durch unitäre Transformationen modelliert. Im Gegensatz zu klassischen Schaltkreisen werden hier die Informationen sogenannter Qubits manipuliert. Solch eine Realisierung stellt jedoch eine große Herausforderung dar, weshalb nur ausgewählte Quantengatter anwendbar sind. Um schlussendlich einen beliebigen Schaltkreis auf einem Quantenrechner ausführen zu können, muss die implementierte Grundmenge jede beliebige unitäre Transformation erzeugen können. In dieser Arbeit werden wir eine eindeutige Charakterisierung sogenannter exakt universeller Mengen für Systeme mit bis zu zwei Qubits zeigen und auch für beliebig viele Qubits eine Grundmenge angeben. Quantengatter für einzelne Qubits können mit dreidimensionalen Rotationen gleichgesetzt werden, sodass hier zwei nicht parallele Rotationsachse ausreichen. Größere Systeme hingegen benötigen nicht lokale Gatter, die auch die Rotationen einzelner Qubits (lokale Gatter) ersetzen können. Durch eine rekursive Zerlegung werden wir für eine beliebige Anzahl an Qubits eine exakt universelle Menge konstruieren und zudem notwendige Eigenschaften zeigen. Die Ergebnisse geben einen Einblick, wie die Grundoperationen gestalten sein müssen, um eine beliebige Transformation zu erzeugen. Letztendlich soll diese Arbeit einen Ansatz bieten, hinreichende Eigenschaften für exakt universelle Mengen beliebig vieler Qubits für eine eindeutige Charakterisierung zu finden. Dieses noch offene Problem könnte Zerlegungen gegebener Quantengatter effizienter gestalten und überflüssige Elemente eliminieren.

Betreuer: Maximilian Balthasar Mansky, Sebastian Zielinski, Claudia Linnhoff-Popien

Balancing Populations with Multi-Agent Reinforcement Learning

Masterarbeit (Januar 2024)

Autor: Clara Goldmann

Abstract:

Diese Arbeit widmet sich dem nachhaltigen und kooperativen Verhalten in Multiagentensystemen. In der Simulation von Beute-Prädator-Interaktionen werden mehrere selbstinteressierte Raubtiere darauf trainiert, ihre Populationen ausgewogen zu halten. Dies geschieht durch die Aufrechterhaltung einer Herde sich fortpflanzender Beutetiere und einer eigenen fortpflanzenden Raubtierpopulation. Unter dem Druck des drohenden Verhungerns müssen die Raubtiere vermeiden, die gesamte Population ihrer Beute durch instabiles Verhalten auf einmal zu dezimieren. Dieses egoistische Verhalten könnte letztendlich zum Aussterben der Beute- und folglich auch der Raubtierpopulationen führen. Hier setzen wir auf Multi-Agent Reinforcement Learning, um zu analysieren, ob Raubtiere, selbst unter Vermehrung, in der Lage sind, einen Zusammenbruch des simulierten Ökosystems zu verhindern. Dabei werden verschiedene Reinforcement – Algorithmen eingesetzt und geeignete Metriken vorgeschlagen, um zu zeigen, dass fortpflanzende Raubtiere nachhaltiges Verhalten entwickeln können. Insbesondere wird untersucht, dass sie in der Lage sind, kollektive Herdenbildung unter Hungerdruck zu erlernen und ihre Beute-Prädator-Populationen auszubalancieren. Darüber hinaus wird dargelegt, dass komplexe Kooperationen in Form von Gruppenjagden zwischen den Raubtieren entstehen, unabhängig der Geschwindigkeit der Raubtiere.

Betreuer: Fabian Ritz, Maximilian Zorn, Claudia Linnhoff-Popien

Path-Connectedness of the Boundary between Features that Are Labeled Differently by a Single Layer Perceptron

Bachelorarbeit (Dezember 2023)

Autor: Remo Kötter

Abstract:

Dank der bemerkenswerten Fortschritte im High-Performance-Computing können Maschinen immer größere Datenmengen verarbeiten, um zahlreiche Parameter eines Machine-Learning-Modells (ML-Modell) anzulernen. Auf diese Weise erkennt und lernt eine Maschine Muster und kann durchaus zu guten und schnellen Entscheidungen kommen. Der Erfolg eines ML-Modells hängt jedoch nicht nur von der Leistungsfähigkeit des Systems ab, auf dem es läuft, welches dadurch große oder weniger große Datenmengen verarbeiten kann. Zahlreiche und vielfältige Daten sind meist hilfreich, aber nicht der alleinige Schlüssel zu einem zuverlässigen Modell. Auch Modelle mit nur wenigen trainierbaren Parametern, bei denen kleinere Datensätze für das Training ausreichen, können erstaunliche Ergebnisse liefern, wenn das Basismodell sinnvoll gewählt ist und zu den Daten und der Aufgabe passt. Abstrakt betrachtet sind ML-Modelle parametrisierte Funktionen, bei denen die Parameter während des Lernprozesses optimiert werden. Um zu prüfen, ob ein bestimmtes ML-Modell qualitativ passt, können wir auf mathematische Weise Anforderungen an das Modell aufstellen. Hier erwägen wir solche Vorgaben, die keine konkrete Belegung der Parameter voraussetzen, sondern die ein bestimmtes Verhalten der dem Modell entsprechenden Funktion für beliebige Parameter erwarten. Anschließend können wir beweisen, dass ein bestimmtes Modell die Anforderungen erfüllt oder ein spezifischeres Gegenbeispiel konstruieren, aus dem hervorgeht, dass eine bestimmte mathematische Eigenschaft für das betrachtete Modell nicht im Allgemeinen gilt. In dieser Bachelorarbeit betrachten wir Single Layer Perceptrons (SLPs), die Features zwischen zwei verschiedenen Labels kategorisieren. SLPs kann man als Ursprung der heutigen Deep Neural Networks bezeichnen. Wir zeigen, dass unter bestimmten Vorbedingungen der Rand zwischen den beiden Kategorien innerhalb des Feature Space wegzusammenhängend ist. Dies spricht dafür, dass ein SLP eine vernünftige Wahl ist, wenn wir bestimmtes Vorwissen über die Features haben: Falls wir wissen, dass die Grenze zwischen den beiden Kategorien in der Realität wegzusammenhängend ist, können wir Modelle ausschließen, die einen Rand mit Unterbrechungen (nicht wegzusammenhängend) erzeugen.

Betreuer: Maximilian Balthasar Mansky, Claudia Linnhoff-Popien

Consensus-Based Mutual Acknowledgment Token Exchange

Masterarbeit (November 2023)

Autor: Katharina Winter

Abstract:

Mutual Acknowledgement Token Exchange (MATE) ist ein vielversprechender Ansatz im Bereich Peer Incentivization, der darauf abzielt, emergente Kooperation in Multi-Agenten-Systemen zu stärken und es Agenten zu ermöglichen, Reward Token gegenseitig auszutauschen um Einfluss auf das Lernverhalten des Token-Empfängers zu nehmen. In verschiedenen Vergleichen konnte sich MATE bereits gegen andere Ansätze durchsetzen. Der Erfolg von MATE in Bezug auf kooperatives Verhalten hängt vom Wert des Token ab, dessen Eignung je nach Domäne variiert. Aktuell werden Token manuell definiert, doch eine effiziente Generalisierung auf verschiedene Domänen erfordert die automatische Anpassung der Token statt Hyperparameterisierung. Zudem erfordern reale Szenarien häufig vollständige Dezentralisierung, was Agenten benötigt, die autonom ihre Token Werte formen. Dies motiviert die Forschungsfrage: “Wie wirken sich die Dynamiken der Acknowledgement Token im MATE Protokoll auf die Kooperation zwischen Agenten aus und wie können effiziente Token von Agenten erlernt werden?” Experimente mit trainierenden Agenten in sequenziellen sozialen Dilemmas zeigen, dass optimale Soziale Wohlfahrt die Gleichheit der Token aller Agenten erfordert. Das Verlagern der Token-Verantwortung von einer zentralen Instanz hin zu individuellen Agenten auf dezentraler Ebene kann jedoch bestehende Ungleichheiten verschärfen. Ich stelle den AutoMATE Algorithmus vor, welcher das Token dynamisch generiert und von der aktuellen Schätzung des Value-Wertes eines Agenten herleitet. Der Algorithmus wird durch in Konsens-Mechanismus erweitert, um einer manipulativen Form der Kooperation entgegenzuwirken. AutoMATE verbessert in Kombination mit diesem Konsens-Mechanismus die Leistung des aktuellen  MATE Ansatzes, der standardmäßig das Token 1 verwendet, in allen evaluierten Szenarien hinsichtlich Sozialer Wohlfahrt und Kooperation. Die Ergebnisse legen nahe, dass AutoMATE als erweiterte Form von MATE das Potenzial hat, die Effizienz und gleichgestellte Kooperation in Multi-Agenten-Systemen signifikant zu verbessern, und bieten eine Grundlage für zukünftige Forschungen in diesem Bereich.

Betreuer: Philipp Altmann, Claudia Linnhoff-Popien

A Reinforcement Learning Environment for directed Quantum Circuit Synthesis

Bachelorarbeit (November 2023)

Autor: Tom Schubert

Abstract:

Angesichts des steigenden Interesses an Quantencomputing-Technologien, gewinnen Themen wie das gezielte Design von Quantenschaltenkreisen einschließlich der zuverlässigen Erzeugung von Quantenzuständen zunehmend an Bedeutung. Bekannte Ansätze für diese Probleme erfordern häufig ein großes Maß an Know-How und manueller Berechnung. Dies wird insbesondere bei Zunahme der Qubit- und Gatter-Anzahl der behandelten Schaltkreise für die Erstellung der jeweiligen Quantenzustände problematisch. Aufgrund der rasch anwachsenden Menge an Kombinationsmöglichkeiten von Gattern auf Qubits bietet sich ein Machine-Learning-basierter Ansatz für die Bewältigung dieser Aufgabe an. Die folgende Arbeit beinhaltet die Bereitstellung einer Reinforcement Learning Umgebung zum Training von Agenten für das Quantenschaltkreis-Design zur Erzeugung von Quantenzuständen. Somit soll den trainierten Agenten die Fähigkeit vermittelt werden, bei Vorgabe eines beliebigen Quantenzustands einen entsprechenden Quantenschaltkreis für dessen Erzeugung zu erstellen. Dabei werden lediglich die im Clifford+T Quantengatter Set enthaltenen Gatter zur Schaltkreis-Synthese verwendet. Anhand der eingeführten Umgebung wird das Quantenschaltkreis-Design Problem bezüglich der benötigten Tiefe der rekonstruierten Quantenschaltkreise in Abhängigkeit zu den gewählten Zielzustands-Parametern erforscht. Die hierbei untersuchten Parameter inkludieren die jeweiligen zur Zielzustands-Initialisierung verwendeten Qubitanzahlen und Schaltkreistiefen. Zur Durchführung von Benchmarking-Versuchen von Reinforcement Learning Algorithmen auf das Problem wird zusätzlich eine Testumgebung mit unterschiedlichen Schwierigkeitsgraden inklusive einer Sammlung von Testzuständen formuliert. Diskrete Ergebnisse der Arbeit beinhalten unter anderem die Erzeugung von PPO-basierten Agenten, welche eine bessere Leistung im Vergleich zur verwendeten Random-Baseline zeigen. Weiterhin wird durch Anwendung der trainierten Agenten auf die Benchmarking-Versuche das zielgerichtete Design von minimalen Quantenschaltkreisen zur Erzeugung einer Auswahl an 2-qubit Bell States gezeigt.

Betreuer: Michael Kölle, Philipp Altmann, Claudia Linnhoff-Popien

Final Productive Fitness in Evolutionary Algorithms and its Approximation via Neural Network Surrogates

Bachelorarbeit (November 2023)

Autor: Sarah Gerner

Abstract:

Evolutionäre Algorithmen sind bekannte Optimierungsmethoden. Ein wesentlicher Bestandteil ist die Fitnessfunktion, der die Kandidatenlösungen evaluiert. Kürzlich wurde angenommen, dass leicht veränderte Fitnessfunktionen einfachere Lösungslandschaften für Optimierungen liefern können als die Zielfunktionen. Die endgültige produktive Fitness wurde eingeführt, und es wird argumentiert, warum die endgültige produktive Fitness die ideale Fitnessfunktion darstellt. Sie wird aus dem Durchschnitt der objektiven Fitness aller ihrer möglichen Nachkommen berechnet. Da sie nicht effizient berechnet werden kann, weil die Nachkommenschaft exponentiell ansteigt, wird sie derzeit als aposteriori-Näherung verwendet. In dieser a posteriori-Näherung wurde die endgültige produktive Fitness für alle Individuen berechnet, nachdem ein evolutionärer Prozess stattgefunden hat. Dieser Näherungswert kann dann für die anschließende Analyse des Evolutionsprozesses verwendet werden. Das Ziel in dieser Arbeit ist es, die a-posteriori Näherung der approximierten endgültigen produktiven Fitness genauer zu untersuchen und sie mit einem neuronalen Netz-Surrogatmodell zu approximieren. Surrogatmodelle sind nützlich, um schwer zu berechnende Fitnessfunktionen in evolutionären Algorithmen zu approximieren und können Zeit bei der Berechnung weiterer Fitnesswerte sparen. Außerdem haben Surrogatmodelle das Potenzial, weniger komplexe Fitnesslandschaften zu erzeugen. Unsere Ergebnisse zeigen, dass die a posteriori-Approximation der endgültigen produktiven Fitness einfachere Lösungslandschaften liefert als die Zielfunktion und die Fitnesslandschaften der Surrogatmodell-Approximation einfacher sind als die der a posteriori-Approximation. Durch Erhöhung des Mutationsfaktors werden die Lösungslandschaften noch einfacher. Außerdem konnte unser Surrogatmodell die globalen Optima in einer schwierigen Lösungslandschaft identifizieren. Diese Ergebnisse zeigen die erfolgreiche Anwendung unserer Methode mit der approximierten endgültigen produktiven Fitness in evolutionären Algorithmen mit Surrogatmodellen.

Betreuer: Thomas Gabor, Philipp Altmann, Claudia Linnhoff-Popien

The Impact of Action Order in Multi-Agent Reinforcement Learning

Masterarbeit (November 2023)

Autor: Matthias Fruth

Abstract:

Der vorherrschende Weg Multi-Agent-Reinforcement Learning (MARL) Algorithmen zu entwerfen, erlaubt jedem Agenten, eine individuelle Aktion pro globaler Zeiteinheit auszuführen. Diese Aktionen werden in der Theorie zeitglich ausgeführt. Die meisten MARL-Umgebungen sind jedoch simuliert, was bedeutet, dass die Aktionen in einer beliebigen sequenziellen Reihenfolge ausgeführt werden. Somit werden zum Beispiel Pattsituationen gelöst. Der am weitesten verbreitete Ansatz ist es, die Reihenfolge, in welcher die Aktionen ausgeführt werden, zufällig zu wählen. Dies führt aus Sicht der Agenten zu Stochastizität in der Umgebung, wodurch die globale Performance negativ beeinflusst werden kann. Um dieses Problem zu behandeln, werden im Rahmen dieser Arbeit mehrere simulierte Umgebungen implementiert. Die Umgebungen sind ein einfaches Matrix Spiel und mehrere Grid World-Umgebungen. Zu den Umgebungen gehören dass „One-Step-Game“, ein einfaches Matrix-Spiel, der „Enge Korridor“, in dem sich 2 Agenten koordinieren müssen, um aneinader vorbeizukommen, die „N-Puzzles“, in denen 4-8 Agenten numerierte Platten repräsentieren und eine bestimmte Anordnung finden müssen, und dassas „Intelligente Lagerhause“, in dem 4 Agenten sowohl Navigationsaufgaben lösen müssen als auch Gegenstände aufnehmen und wieder ablegen. Diese Umgebungen erlauben es, die Aktionsreihenfolge extern festzulegen. Zudem sind die Umgebungen so konzipiert, dass es Zugreihenfolgen gibt, welche bessere Ergebnisse erzielen als eine zufallsbasierte. Die Agenten werden mit den MARL-Algorithmen IDQL, VDN, QMIX, IPPO und MAPPO trainiert. 4 verschiedene Ansätze werden zusätzlich zur zufallsbasierten Aktionsreihenfolge getestet. Die Reihenfolge wird unter anderem konstant gehalten, sie wird den Beobachtungen der Agenten hinzugefügt, und sie wird von einem zusätzlichen zentralen Agenten bestimmt, der als Planer fungiert. Ein weiterer Ansatz testet, ob es einen Einfluss auf die Agenten hat, wenn die Beobachtungen nach jeder einzelnen ausgeführten Aktion aktualisiert werden. Die Ansätze wurden zentral und dezentral evaluiert, wobei eine randomisierte Zugreihenfolge als Vergleichswert diente. Für das „One-Step-Game“ erzielen alle 4 Ansätze bessere Ergebnisse als eine zufällige Zugreihenfolge. Die Architektur mit zentralem Planer erzielt für alle Umgebungen bessere Ergebnisse als eine zufallsbasierte Zugreihenfolge. Für das „Intelligente Lagerhaus“ erzielen die so trainierten Agenten auch während der Evaluierung mit einer randomisierten Zugreihenfolge bessere Ergebnisse als jene, welche bereits mit einer randomisierten Zugreihenfolge trainiert wurden. Die Ergebnisse werden diskutiert und mögliche Interpretationen werden vorgestellt. Letztendlich wird ein Ausblick sowie mögliche zukünftige Themen gegeben.

Betreuer: Fabian Ritz, Maximilian Zorn, Claudia Linnhoff-Popien

Development of a Universal Multi-Agent Reinforcement Learning Environment for Predator-Prey Research

Bachelorarbeit (November 2023)

Autor: Yannick Erpelding

Abstract:

In den letzten Jahren hat die Wirksamkeit von Methoden des Multi-Agent Reinforcement Learning dazu geführt, dass die komplizierten Interaktionen zwischen mehreren Agenten in bestimmten Umgebungen eingehend untersucht und simuliert wurden. Insbesondere die Untersuchung der Predator-Prey Dynamik hat großes Interesse geweckt. Es wurden bereits zahlreiche Studien durchgeführt und grafische Schnittstellen geschaffen, um das Agentenverhalten in Predator-Prey Szenarien systematisch zu bewerten und zu analysieren. Bislang erforderten solche Untersuchungen jedoch immer die zeitintensive Entwicklung spezieller Umgebungen, die auf die jeweiligen experimentellen Anforderungen zugeschnitten waren. Dementsprechend zielt diese Arbeit darauf ab, eine universelle Multi-Agent Reinforcement Learning Umgebung für die Predator-Prey Forschung zu entwickeln, die die Untersuchung von auftretenden Multi-Agenten-Verhaltensweisen in verschiedenen Szenarien ermöglicht. Die neu-entwickelte Umgebung, Predator-Prey-Aquarium genannt, bietet realistische physikbasierte Agentenbewegungen und die Anpassung verschiedener Parameter, die mit den Beobachtungen, Aktionen und Belohnungen der Agenten zusammenhängen. Darüber hinaus können die Eigenschaften der Agenten angepasst werden, zum Beispiel die Vermehrung der Prey Agenten und das Aushungern der Predator Agenten. Zusätzlich unterstützt die Umgebung die Aufzeichnung der Episoden als Videodateien, die ein visuelles Verständnis der Agentenstrategien ermöglichen. Der Code des Predator-Prey-Aquariums ist verfügbar unter folgendem Link https://github.com/yannickErp/marl-predator-prey-aquarium. Um die Fähigkeiten der Umgebung zu veranschaulichen, wurden Prey Agenten mit Hilfe eines Proximal Policy Optimization Algorithmus gegen einen Predator Agenten mit statischem Algorithmus trainiert. Die Ergebnisse zeigten, dass individuell trainierte Prey Agenten nur begrenzte Ausweichfähigkeiten aufwiesen, während die mit gemeinsamer Nutzung von Parametern trainiert wurden, koordinierte Bewegungen und eine insgesamt bessere Leistung zeigten.

Betreuer: Michael Kölle, Fabian Ritz, Claudia Linnhoff-Popien

Efficient semi-supervised quantum anomaly detection using one-class support vector machines

Bachelorarbeit (November 2023)

Autor: Afrae Ahouzi

Abstract:

Quantencomputing ist eine aufstrebende Technologie, die verschiedene Aufgaben des maschinellen Lernens verbessern kann. Durch die Kombination der Darstellungsleistung eines klassisch harten Quantenkerns und der Einklassen-SVM kann eine spürbare Verbesserung der durchschnittlichen Genauigkeit im Vergleich zur klassischen Version erreicht werden. Die übliche Methode zur Berechnung dieser Kernel ist jedoch mit einer quadratischen Zeitkomplexität in Bezug auf die Datengröße verbunden. Um dieses Problem zu lösen, versuchen wir zwei verschiedene Methoden. Die erste besteht darin, den Quantenkern mit Hilfe von Zufallsmessungen zu messen, während die zweite die Ensemble-Methode der variablen Subsampling verwendet, um eine lineare Zeitkomplexität zu erreichen. Unsere Experimente zeigen, dass diese beiden Methoden die Trainingszeiten um bis zu 95 % und die Inferenzzeiten um bis zu 25 % reduzieren. Obwohl die Methoden zu einer geringeren Leistung führen, ist die durchschnittliche Genauigkeit etwas besser als beim klassischen RBF-Kernel.

Betreuer: Michael Kölle, Robert Müller, Claudia Linnhoff-Popien

Empowerment for Evolutionary Algorithms

Bachelorarbeit (November 2023)

Autor: Moritz Glawleschkoff

Abstract:

Im Bereich des Reinforcement-Learnings hat die Suche nach einem intrinsischen Antrieb bei Agenten zu dem Konzept der “Maximierung des Einflusses auf die Umwelt” geführt ([SGP13]), das gemeinhin als empowerment-getriebene Agenten bezeichnet wird. Dieses Konzept scheint für natürliche Systeme insgesamt glaubwürdig zu sein, da jedes System, das nicht dazu neigt empowerment-getrieben zu sein, letztendlich von empowerment-getriebenen Systemen annektiert werden kann. Über die Dauer der Zeit überleben nur empowerment-getriebene Agenten. Ähnlich wie Agenten beim Reinforcement-Learning Tiere mit neuronalen Netzwerken simulieren, imitieren evolutionäre Algorithmen (EAs) die biologische Evolution. In Anbetracht der potenziellen Relevanz von empowerment-getriebenen Systemen in der Natur könnte die Einbeziehung des Empowerments in evolutionäre Algorithmen eine logische Weiterentwicklung sein. In dieser Studie wird Empowerment in EAs als die informationstheoretische Channel-Capacity von Individuen der aktuellen Generation zu denen der nachfolgenden Generation eingeführt. Diese neuartige Empowerment-Metrik in evolutionären Algorithmen wird dann als Fitness der Individuen übernommen, was eektiv zu einem intrinsisch motivierten EA führt. Darüber hinaus wird ein alternativer Ansatz vorgestellt, bei dem Empowerment als Mittel zur Förderung der Diversität innerhalb der Population vor der Problemoptimierung eingesetzt werden kann. Obwohl das Experimentieren mit empowerment-getriebenen EAs zur Optimierung verschiedener Probleme in einem constrained State-Space einige Vorteile erkennen lässt, ist eine breite Anwendbarkeit nicht ohne weiteres ersichtlich.

Betreuer: Thomas Gabor, Maximilian Zorn, Claudia Linnhoff-Popien

Using Quantum Machine Learning to Predict Asset Prices in Financial Markets

Masterarbeit (November 2023)

Autor: Maximilian Adler

Abstract:

Im Finanzwesen wird viel Aufwand betrieben, um zukünftige Vermögenspreise vorherzusagen. Schon eine kleine Steigerung der Prognosefähigkeit kann enorme Gewinne generieren. Einige statistische Modelle identifizieren Muster, Trends und Korrelationen in vergangenen Preisen und wenden diese an, um zukünftige Vermögenspreise vorherzusagen. Ein neuartiger Ansatz ist die Verwendung künstlicher Intelligenz, um die zugrunde liegenden Trends in den Daten zu erlernen und zukünftige Vermögenspreise vorherzusagen. Mit der rasanten Weiterentwicklung von Quantencomputern werden auch diese Anwendungsbereiche, insbesondere im Hinblick auf maschinelles Lernen, immer interessanter. Diese Arbeit implementiert mehrere Modelle dieser verschiedenen Gruppen: ARIMA, RBM, LSTM und QDBM (Quantum Deep Boltzmann Machine). Diese Modelle werden mithilfe historischer Vermögenspreise trainiert und zur Vorhersage zukünftiger Vermögenspreise verwendet. Die Vorhersagen der Modelle dienen außerdem als Eingabe für einen simulierten Handelsalgorithmus, der die Effektivität dieser Vorhersagen beim aktiven Handel von Vermögenswerten untersucht. Die Vorhersagen werden für zehn verschiedene Vermögenswerte durchgeführt, die an der NYSE, NASDAQ und XETRA notiert sind. Der betrachtete Zeitraum erstreckt sich über fünf Jahre, von 2018 bis 2022. Die ausgewählten Vermögenswerte stammen aus verschiedenen Industriesektoren und weisen unterschiedliche Preisverläufe auf. Der Handel, basierend auf den Modellvorhersagen, konnte die klassische Buy-and-Hold-Strategie in neun der zehn getesteten Vermögenswerte entweder erreichen oder übertreffen.

Betreuer: Jonas Stein, Jonas Nüßlein, Claudia Linnhoff-Popien

Dimensionality Reduction with Autoencoders for Efficient Classification with Variational Quantum Circuits

Bachelorarbeit (Oktober 2023)

Autor: Jonas Maurer

Abstract:

Quantencomputing verspricht insbesondere bei datenintensiven und komplexen Berechnungen Leistungsvorteile. Allerdings befinden wir uns derzeit in der Noisy-Intermediate-Scale-Quantum Ära mit einer begrenzten Anzahl von Qubits, was es erschwert diese potentiellen Quantum-Advantages bei maschinellem Lernen zu realisieren. Mehrere Lösungen wurden vorgeschlagen, wie beispielsweise das hybride Transfer-Learning, bei dem ein vortrainiertes klassisches neuronales Netz als Feature-Extractor und ein Variational Quantum Circuit als Classifier fungiert. Während diese Ansätze oft gute Ergebnisse liefern, ist es nicht möglich, den Beitrag des klassischen und des Quantenanteils zu der Gesamtperformance eindeutig zu bestimmen. Ziel dieser Arbeit ist es daher, ein hybrides Modell einzuführen, das die genannten Einschränkungen behandelt und eine klare Unterscheidung zwischen den Komponenten in Bezug auf die Gesamtleistung vornimmt. ZurReduktion der Input-Dimension wird ein Autoencoder verwendet. In diesem Zusammenhang wollen wir auch die Leistung von Transfer-Learning-Modellen (Dressed Quantum Circuit und SEQUENT) und einem Variational Quantum Circuit mit Amplitude Embedding mit unserem Modell vergleichen. Zusätzlich wird die Leistung eines rein klassischen neuronalen Netzes und eines Autoencoders in Kombination mit ebendiesem untersucht. Wir vergleichen die Test-Accuracies der Modelle über die Datensätze Banknote Authentication, Breast Cancer Wisconsin, MNIST und AudioMNIST. Die Ergebnisse zeigen, dass das klassische neuronale Netz und die hybriden Transfer-Learning-Ansätze eine bessere Performance liefern als unser Modell. Das entspricht unseren Erwartungen und deutet darauf hin, dass der klassische Teil des Transfer-Learnings in der Tat den Großteil an der Gesamtperformance leistet. Im Vergleich zu einem Variational Quantum Circuit mit Amplitude Embedding ist kein signifikanter Unterschied zu beobachten, sodass unser Modell eine valide Alternative zu diesem darstellt.

Betreuer: Michael Kölle, Philipp Altmann, Claudia Linnhoff-Popien

Quantum-Enhanced Denoising Diffusion Models

Masterarbeit (Oktober 2023)

Autor: Gerhard Stenzel

Abstract:

Machine Learning Modelle zur Erzeugung von Bildern haben im letzten Jahr stark an Bekanntheit gewonnen. DALL-E, Craiyon und Stable Diffusion können hochauflösende Bilder erzeugen, indem die Nutzer nur eine kurze Beschreibung (Prompt) des gewünschten Bildes eingeben. Ein weiteres wachsendes Feld ist die Quanteninformatik, besonders das Quantum-enhanced Machine Learning. Quantencomputer lösen Probleme mit Hilfe ihrer einzigartigen quantummechanischen Eigenschaften. In dieser Arbeit wird untersucht, wie die Verwendung von Quantum-enhanced Machine Learning und Variational Quantum Circuits die Bildgenerierung durch Diffusion-basierte Modelle verbessern kann. Dabei wird auf die beiden größten Schwächen von klassischen Diffusionsmodellen eingegangen, die niedrige Geschwindigkeit beim Sampling und die hohe Anzahl an benötigten Parametern. Es werden Implementierungen eines Quantum-enhanced Denoising Diffusion Models präsentiert und ihre Leistung mit der von klassischen Modellen verglichen, indem die Modelle auf bekannten Datensätzen (MNIST digits und fashion, CIFAR10) trainiert werden. Wir zeigen, dass unsere Modelle eine bessere Leistung (gemessen in FID, SSIM und PSNR) liefern als die klassischen Modelle mit vergleichbarer Anzahl an Parametern.

Betreuer: Michael Kölle, Jonas Stein, Claudia Linnhoff-Popien

Approximating Quadratic Unconstrained Binary Optimization Problems using Graph Convolutional Neural Networks

Masterarbeit (Oktober 2023)

Autor: Felix Ferdinand Mindt

Abstract:

Die derzeit verfügbare Quantum Annealing-Hardware hat aufgrund von Beschränkungen in Größe und Konnektivität noch nicht den Stand erreicht, um erfolgreich mit effzienten Algorithmen auf klassischen Computern konkurrieren zu können. Angesichts dieser Herausforderung wurde eine Herangehensweise vorgestellt, welche QUBO-Matrizen vor dem Lösen auf der Quantenhardware approximiert, indem bestimmte Einträge herausgestrichen werden. Dadurch reduziert sich die Größe und Komplexität des benötigten Embeddings und es werden Vorteile in Bezug auf die Größe der lösbaren Probleme sowie die Qualität der Lösungen erwartet. Wir werden auf diesem Ansatz aufbauen und ihn erweitern, indem wir mithilfe künstlicher neuronaler Netze versuchen, geeignete Approximationen basierend auf der Struktur der Matrix zu generieren. Das vorgeschlagene Modell besteht aus zwei separaten neuronalen Netzen: einem Graph Convolutional Network, um Eigenschaften für die Knoten im QUBO-Graphen zu berechnen und einem zweiten vollständig verbundenen Netzwerk, welches entscheidet, ob die Verbindung zwischen zwei Knoten aus der Matrix entfernt werden soll. Unter Verwendung eines genetischen Algorithmus wird das Modell trainiert, wozu Instanzen von sieben verschiedenen Problemen verwendet werden. Problemspezifische Phasenübergänge wurden berücksichtigt, damit das Modell in der Trainingsphase mit einfachen als auch mit schwierigen Probleminstanzen konfrontiert wird. Die trainierten Modelle wurden anschließend mit klassischen und quantenmechanischen Solvern evaluiert, wobei die Qualität der Lösungen der approximierten Matrix mit denen der ursprünglichen Matrix, einer anderen Approximationsstrategie und klassischen Ansätzen verglichen wurde. Die Experimente lieferten grundsätzlich zufriedenstellende Ergebnisse, teilweise konnte die approximierte Matrix bessere Ergebnisse erzielen als die ursprüngliche Matrix. Gleichzeitig wurde jedoch auch deutlich, dass dieser Ansatz nicht für alle Problemen anwendbar ist.

Betreuer: David Bucher, Sebastian Zielinski, Claudia Linnhoff-Popien

Coconut Palm Tree Counting in Drone Images with Deep Object Detection

Bachelorarbeit (Oktober 2023)

Autor: Barbara Böhm

Abstract:

Die Drohnentechnologie hat in der Landwirtschaft vielfältige Einsatzpotentiale. In den letzten Jahren hat sich die Objekterkennung als Teilgebiet der Computer Vision dank der Fortschritte im Bereich Deep Learning erheblich weiterentwickelt. Diese Arbeit analysiert die Anwendbarkeit von YOLO (You Only Live Once) zur Erkennung und Zählung von Kokosnusspalmen in Drohnenaufnahmen am Beispiel einer Farm in Ghana, Westafrika. YOLO stellt eine Reihe an Echtzeit-Objekterkennungssystemen dar. Der Kokosnussanbau spielt für die Wirtschaft vieler westafrikanischer Länder eine wichtige Rolle. Eine genaue Überwachung der Kokosnussbestände ist für eine gut organisierte Ertragsschätzung erforderlich. Aufgrund der extremen Wetterbedingungen in der Trockenzeit besteht die Gefahr, dass die Kokospalmen verderben oder austrocknen. Das für den Anwendungsfall gewählte Projekt durchlief bereits zwei Anbauphasen während der Regenzeit. Dies bedeutet, dass die Palmen in Höhe und Alter variieren. Nach einer Weile verlor das Projekt den Überblick über die Anzahl der gepflanzten Kokospalmen. Eine manuelle Erfassung ist zeitaufwändig, arbeitsintensiv und fehleranfällig. Diese Arbeit untersucht, ob YOLO zur Erkennung und Zählung der Anzahl der Palmen als Teil eines halbautomatischen Datenflusses verwendet werden kann und ob das Endergebnis ein nützliches Instrument für Landwirte sein könnte. Die Datenerfassung fand im September 2022 statt. Teile des Landes wurden fotografiert, indem Drohnenbilder aus verschiedenen Höhen aufgenommen wurden. Strategien wurden getestet, um das Ergebnis der YOLO-Objektzählung mit begrenzten Daten zu verbessern. Für das Training und die Validierung des Modells wurden neue synthetische Bilder erstellt. Die vorliegende Arbeit ordnet den Anwendungsfall in den Bereich der Computer Vision ein und gibt einen Überblick über Fortschritte bei der Objekterkennung mit Schwerpunkt auf YOLO als Algorithmus. YOLOv7 ist eine Deep-Learning-Architektur zur Echtzeit-Erkennung mehrerer Objekte. Die Implementierung erfolgt mit vorab trainierten Gewichten, die mit einem populären Bilderkennungsdatensatz namens COCO (Common Objects in Context) trainiert wurden. Dieser enthält 80 verschiedene Objektkategorien, jedoch keine Kokospalmen. Das YOLO-Training erfolgte unter Verwendung von benutzerdefinierten Daten. Trainings- und Validierungsdaten wurden synthetisch generiert, indem eine bestimmte Anzahl von Kokospalmen aus den Drohnenbildern ausgewählt und ausgeschnitten wurden. Diese wurden dann zufällig platziert und gedreht, ohne sich zu überlappen. Der Hintergrund ist mithilfe eines Stable Diffusion Service erstellt. Als Testdaten wurden echte Drohnenbilder verwendet. In mehreren Experimenten wurde die Mean Average Precision (mAP) verbessert, die als Metrik im Bereich der Objekterkennung verbreitet ist. Die Versuche variierten Eingangsparameter, wie die Anzahl der Objektklassen und Hyperparameter, wie die Anzahl der eingefrorenen Ebenen des Modells. Der Test umfasste die Verwendung von Bilddaten aus verschiedenen Höhen, um die optimale Flughöhe der Drohne zu ermitteln. Ausgehend von einem mAP@.5-Basiswert von 0,65, der in den ersten Modelltests erreicht wurde, konnte die Metrik auf einen Durchschnittswert von 0,82 verbessert werden. Für den Anwendungsfall in der Landwirtschaft scheint     dies gut genug zu sein, um das Projekt zu planen. Der Ansatz der synthetisch erzeugten Bilder hat sich als nützlich erwiesen.

Betreuer: Robert Müller, Fabian Ritz, Claudia Linnhoff-Popien

Einfluss von Embedding Methoden auf Generalisierbarkeit in Quantum Machine Learning

Masterarbeit (August 2023)

Autor: Steffen Brandenburg

Abstract:

Quantum Machine Learning ist ein vielversprechendes Anwendungsgebiet für Quantum Computer. Um aber reale Vorteile gegenüber klassischen Computern zu sehen, benö- tigt es ausgereifte Quantum Grundlagen. Ein Grundbaustein von Quantum Computern sind Embeddings, welche reelle Daten in Quantum Daten umwandeln. In dieser Arbeit stehen der Einfluss verschiedener Embedding-Methoden auf die ”Qualität” eines Quantum Machine Learning Modells im Mittelpunkt. Da der Fokus auf diesen Embeddings liegt, werden Modell und Quantum Circuit simpel gehalten. Sie lösen ein binäres Klassifikationsproblem. Dennoch ist auch das Zusammenspiel von bestimmten Embeddings mit verschiedenen Circuits von Interesse und darauf wird in dieser Arbeit knapp eingegangen. Da in der Literatur bereits viel zu den Embedding-Methoden ”Angle-Embedding” und ”Amplitude-Embedding” existiert, fokussiert diese Arbeit auch auf andere Embedding- Methoden aus der Literatur. Zum Bestimmen der Qualität eines Modells untersuchten wir die Generalisierbarkeit. Dazu wurden verschiedene Maße aus dem klassischen Machine Learning verwendet. Es konnte zwar die Frage nach einem besten Embedding nicht beantwortet werden, dennoch konnten interessante Erkenntnisse zu den Auswirkungen der Embeddings bei unterschiedlichen Datensätzen gewonnen werden.

Betreuer: Leo Sünkel, Thomas Gabor, Claudia Linnhoff-Popien

Community detection für gewichtete Graphen mittels Trennknotenerkennung in der NISQ Ära

Bachelorarbeit (August 2023)

Autor: Dominik Ott

Abstract:

Ein wichtiges Optimierungsproblem in der Informatik ist die Community Detection. Dabei können durch die Analyse von Netzwerken sogenannte Communities gefunden werden und wichtige Informationen in vielen Bereichen – von der Biologie bis zu sozialen Strukturen – abgeleitet werden. Durch Gewichte an den einzelnen Kanten können noch mehr Informationen verarbeitet werden als durch die bloße Existenz jener Kanten, jedoch müssen für die Community Detection auf gewichteten Graphen dadurch auch mehr Faktoren berücksichtigt werden. Als NP-schweres Optimierungsproblem werden häufig Heuristiken benutzt, um schneller und effizienter eine akzeptable Lösung zu finden. Ein vielversprechender Ansatz ist dabei die Nutzung von Quanten-Computern, da bereits experimentell gezeigt werden konnte, dass diese in bestimmten Bereichen (z.B. Grover oder Shor-Algorithmus) effizienter Resultate erzielen können als klassische Computer. Da die meisten Ansätze für Community Detection durch QUBO-Matrizen jedoch sehr viel Speicherplatz verbrauchen, ist das Ziel dieser Arbeit einen Ansatz mit möglichst guter Speichereffizienz zu finden. Dafür wird ein vielversprechender Ansatz für die Community Detection vorgestellt, der auf der Erkennung und Analyse von Trennknoten basiert, was den Vorteil bietet, dass die Dimensionen der daraus resultierenden QUBO-Matrix die Anzahl der Knoten nicht übersteigen und die Matrix selber genauso dünn besetzt ist wie die Adjazenzmatrix des Graphs. Diese Trennknoten sollen den Graphen bei ihrer Entfernung so unterteilen, dass die übrig gebliebenen Komponenten jeweils exakt Teil einer Community sind. Dieser Ansatz wird auf gewichtete Graphen ausgebaut, indem die Wahrscheinlichkeit, dass es sich bei einer Kante um eine Trennkante handelt, anhand des Informationsdurchflusses der Nachbarschaft bestimmt wird. Dies wird anhand von synthetisch hergestellten Graphen mit einer festen Grundwahrheit über deren Communities, denen Gewichte zugewiesen werden ohne die Community-Struktur zu verändern, überprüft.

Betreuer: Jonas Stein, Jonas Nüßlein, Claudia Linnhoff-Popien

Anwendung von Graphpartitionierungsalgorithmen und genetischen Algorithmen zur Optimierung der Teleportationskosten in verteilten Quantenschaltkreisen

Bachelorarbeit (August 2023)

Autor: Teodor Slaveykov

Abstract:

Derzeit befinden wir uns in der Noisy Intermediate Scale Quantum (NISQ) – Ära, in der die Anzahl der Qubits, die in einem einzelnen Quantencomputer verwendet werden können, zunimmt. Mit dieser Entwicklung entstehen jedoch Herausforderungen bei der Handhabung großer Quantensysteme. Die verteilte Quantenberechnung gewinnt daher an Bedeutung, um diese Herausforderungen zu bewältigen. Dabei werden mehrere Quantencomputer oder Quantenverarbeitungseinheiten miteinander verbunden, um gemeinsam an einem Problem zu arbeiten. Dies ermöglicht die Nutzung größerer Rechenkapazitäten und effizientere Lösungen komplexer Aufgaben. In der verteilten Quantenberechnung kommunizieren verschiedene Einheiten oder Teilsysteme miteinander, um Quanteninformation auszutauschen. Dabei spielt das grundlegende Teleportationsprotokoll eine wichtige Rolle. Es ermöglicht die Übertragung von Quanteninformationen zwischen den Teilsystemen. Ein wichtiger Aspekt besteht darin, die Anzahl der Teleportationen zu minimieren. Somit wird angestrebt, die Genauigkeit der Quantenberechnungen zu steigern, die Fehleranfälligkeit der Qubits zu reduzieren und gleichzeitig den Ressourcenverbrauch effizienter zu gestalten. In dieser Arbeit werden verschiedene Graphpartitionierungsalgorithmen, wie der Kernighan-Lin-Algorithmus und die Spektrale Partitionierung, ein Genetischer Algorithmus (GA) sowie zwei hybride Genetische Algorithmen (HGA), die eine Kombination aus den Graphpartitionierungsalgorithmen und einem GA sind, angewendet und untersucht, um die Anzahl globaler Quantengatter und die damit verbundenen Teleportationskosten zu minimieren. Zunächst werden die Graphpartitionierungsalgorithmen verwendet, um die Knoten möglichst gleichmäßig zu partitionieren. Zusätzlich wird ein GA implementiert, der sich um die Aufteilung der Qubits mittels zufälliger Partitionen kümmert. Die beiden HGA führen zu einer nahezu optimalen Anordnung der globalen Quantengatter, nachdem die Qubits mithilfe der Graphpartitionierungsalgorithmen partitioniert sind. Schließlich werden die vorgeschlagenen Ansätze anhand von neun Benchmark-Schaltkreisen untersucht und hinsichtlich der Anzahl globaler Quantengatter und Teleportationskosten verglichen. Außerdem werden zufällige Suchläufe für den GA und der beiden HGA durchgeführt, um deren Leistungsfähigkeit in Bezug auf das Optimierungsziel zu überprüfen. Die Ergebnisse deuten auf eine signifikante Verbesserung der Teleportationskosten hin.

Betreuer: Leo Sünkel, Thomas Gabor, Claudia Linnhoff-Popien

Multi-Agent Exploration through Peer Incentivization

Masterarbeit (August 2023)

Autor: Johannes Tochtermann

Abstract:

Während Exploration im Bereich des bestärkenden Lernens (Reinforcement Learning) mit einem einzelnen Agenten innerhalb der letzten Jahre weitreichend untersucht wurde, gibt es diesbezüglich weitaus weniger Arbeiten im Bereich des bestärkenden Lernens mit Multi-Agenten-Systemen (Multi-Agent Reinforcement Learning). Um diese Lücke zu adressieren, wird in dieser Arbeit eine Belohnungsfunktion mit Peer Incentivisation Mechanismus (d.h., Agenten haben die Möglichkeit, sich gegenseitig zu belohnen) vorgeschlagen, inspiriert von vorangegangenen Arbeiten in den Bereichen intrinsische Neugier und Belohnung basierend auf Einfluss. Die PIMAEX Belohnung – kurz für Peer-Incentivised Multi-Agent Exploration – zielt darauf ab, Exploration in Multi-Agenten Szenarien zu verbessern, und gibt Agenten einen Anreiz, in einer Art und Weise aufeinander Einfluss auszuüben, die es wahrscheinlicher macht, dass die Agenten neue Zustände (im Zustandsraum ihrer Umgebung) entdecken. Die PIMAEX Belohnung wird in Verbindung mit PIMAEX-Communication evaluiert, einem Multi-Agenten Trainings-Algorithmus, der einen Kommunikationskanal nutzt, um Agenten Einfluss aufeinander ausüben zu lassen. Zur Evaluation werden Agenten in der Consume/Explore Umgebung trainiert, einer partiell-beobachtbaren Umgebung mit irreführenden Belohnungen, die mit dem Ziel entwickelt wurde, eine Herausforderung in Bezug auf das Exploration-vs.-Exploitation Dilemma sowie das Credit-Assignment Problem darzustellen. Die Resultate dieser Evaluation zeigen empirisch, dass Agenten, die die PIMAEX Belohnung in Verbindung mit PIMAEX-Communication nutzen, die Leistung von Agenten übertreffen, die dies nicht tun.

Betreuer: Michael Kölle, Claudia Linnhoff-Popien

Genetic Neuron Selection for Deep Neural Networks

Bachelorarbeit (Juni 2023)

Autor: Julian Schönberger

Abstract:

Die Lottery Ticket Hypothesis wurde kürzlich um die Behauptung erweitert, dass in einem ausreichend großen und breiten künstlichen Neuronalen Netz Subnetzwerke existieren, sogenannte starke Lotterietickets, welche ohne Training bereits hohe Accuracies erzielen. Dies löste ein großes Interesse in der Forschungsgemeinschaft aus, insbesondere in dem Feld des Prunings von Neuronalen Netzen, da diese Erkenntnis die Basis für eine Alternative zum Training mittels Backpropagation darstellen könnte. In diesem alternativen Ansatz können durch einfaches Pruning aller nicht notwendigen und accuracy-schadenden Gewichte leistungsstarke Subnetzwerke entdeckt werden. Verschiedene Algorithmen wurden zum Finden dieser Subnetzwerke entwickelt. Oft folgen sie einem sogenannten greedy Ansatz, sodass sie nur die lokalen Informationen im Suchraum verwenden. Dadurch neigen sie dazu ausschließlich lokale Optima zu finden. Als Antwort auf diese Limitierungen argumentieren wir für die Vorteile des Einsatzes von genetischen Algorithmen (GA) welche Methodiken, die von der natürlichen Evolution inspiriert wurden, dazu verwenden effektiv den Suchraum nach dem globalen Optimum zu durchsuchen. Trotz des blackbox Charakters des Optimierungsproblems, welches offensichtlich für die Verwendung von metaheuristischen Verfahren spricht, existieren unserer Kenntnis nach keine weiteren Arbeiten welche GAs in breitem Umfang einsetzen. Aus diesen Gründen präsentieren, analysieren und diskutieren wir verschiedene Methoden, die in den einzelnen Schritten des GA-Zyklus eingesetzt werden können. Auf Basis extensiver empirischer Untersuchungen argumentieren wir dafür, dass der Einsatz von generellen problemunspezifischen Methoden aus dem Bereich des Evolutionary Computings bereits für das Optimierungsproblem ausreicht. Die Arbeit schließt damit, dass GAs tatsächlich dazu in der Lage sind starke Lotterietickets zu finden, was sie zu einer aussichtsreichen Alternative zum Training macht. Zusätzlich haben wir herausgefunden, dass für das gegebene Klassifikationsproblem das Sampling der Weights und der Biases aus einer Gleichverteilung sowie die Überparameterisierung des Netzwerks mit einem Faktor nahe 5 in Relation zu dem trainierten Netzwerk die höchsten Accuracies erbrachte. Aufbauend auf diesen Ergebnissen konnten beinahe 100% Acuraccies auf dem moons dataset von Scikit-learn erzielt werden

Betreuer: Thomas Gabor, Thomy Phan, Claudia Linnhoff-Popien

Quantum-Multi-Agent-Reinforcement-Learning mit Evolutionärer Optimierung

Bachelorarbeit (April 2023)

Autor: Felix Topp

Abstract:

Multi-Agent-Reinforcement-Learning gewinnt in Zeiten des autonomen Fahrens und anderer intelligenter industrieller Anwendungen zunehmend an Bedeutung. Gleichzeitig entsteht ein vielversprechender neuer Ansatz für Reinforcement-Learning, nämlich das Quantum-Reinforcement-Learning: Dieser nutzt die inhärenten Eigenschaften der Quantenmechanik und kann dadurch die trainierbaren Parameter eines Modells reduzieren. Allerdings haben gradientenbasierte Quantum-Multi-Agent-Reinforcement-Learning-Methoden oft mit Barren-Plateaus zu kämpfen, die sie daran hindern, die Leistung klassischer Ansätze zu erreichen. Die vorliegende Arbeit basiert auf dem Ansatz von Chen et al. (2022) für gradientenfreies Quantum-Reinforcement-Learning und präsentiert einen Ansatz mit Variational-Quantum-Circuits für Multi-Agent-Reinforcement-Learning unter Verwendung von evolutionärer Optimierung. Der Ansatz wird in dem Environment Coin-Game mit klassischen Ansätzen verglichen. Es wird gezeigt, dass der Variational- Quantum-Circuit-Ansatz im Vergleich zu einem neuronalen Netz mit einer ähnlichen Anzahl von trainierbaren Parametern deutlich besser abschneidet. Verglichen mit dem größeren neuronalen Netz erzielt der hier präsentierte Ansatz ähnliche Ergebnisse mit 98, 88% weniger Parametern.

Betreuer: Michael Kölle, Thomy Phan, Claudia Linnhoff-Popien

Anomaly Detection using Quantum Circuit Born Machines

Bachelorarbeit (April 2023)

Autor: Ahmad Almohamad Alissa

Abstract:

Die Erkennung von Anomalien ist eine wichtige Komponente in verschiedenen Bereichen, z. B. im Finanzwesen, in der medizinischen Diagnose und bei der Betrugserkennung. Da die Datensätze immer komplexer und größer werden, stoßen herkömmliche Computer an die Grenzen ihrer Verarbeitungsleistung. Im Gegensatz dazu bieten Quantencomputer dank der physikalischen Eigenschaften ihrer Qubits, wie Verschränkung und Überlagerung, vielversprechende Lösungen. Die Entwicklung des maschinellen Lernens auf der Basis von Quantencomputern, insbesondere von Quantenschaltkreisen (Quantum Circuit Born Machines, QCBMs), wird als vielversprechender Ansatz zur Bewältigung solch komplexer Probleme vorgestellt. QCBMs sind parametrisierte Quantenschaltungen, die trainiert werden können, um Stichproben aus einer Zielverteilung zu erzeugen. Ziel dieser Arbeit ist es, diese Fähigkeit zur Erkennung von Anomalien zu nutzen, deren Verteilung sich von der normaler Datenpunkte unterscheidet. Die Wirksamkeit von QCBMs für die Erkennung von Anomalien wird anhand eines Datensatzes untersucht, der mit der make_blobs-Methode aus dem Scikit-learn-Paket in Python generiert wurde und bei dem einige Ausreißer deutlich von den Clustern unterschieden werden können. Seine Leistung wird mit einem Autoencoder-Modell anhand der ROC-Kurve und des Matthews-Korrelationskoeffizienten (MCC) verglichen. Diese Metriken werden verwendet, um die Fähigkeit der Modelle zur Erkennung von Anomalien und zur Vermeidung falsch positiver Ergebnisse zu bewerten. Die Ergebnisse zeigen, dass QCBMs den Autoencoder übertreffen, wenn sie mit einem kleineren Datensatz trainiert werden, was darauf hindeutet, dass QCBMs effektiver im Umgang mit Daten sind und die zugrunde liegende Verteilung effizienter lernen können als der Autoencoder. Beide Modelle können jedoch die Verteilung lernen, wenn sie mit dem gesamten Datensatz trainiert werden.

Betreuer: Jonas Stein, Daniëlle Schuman, Claudia Linnhoff-Popien

Efficient Quantum Circuit Architecture for Coined Quantum Walks on many Bipartite Graphs

Bachelorarbeit (Juli 2023)

Autor: Viktoryia Patapovich

Abstract:

Quantum-Walks, ein Quantenanalogon der klassischen Random-Walks, haben sich als leistungsfähiges Paradigma für Quantenberechnungen und -simulationen erwiesen. Während klassische Random Walks auf stochastischen Prozessen beruhen, um Systeme zu erforschen, nutzen Quantenwalks die einzigartigen Eigenschaften der Quantenmechanik, um diese Aufgaben effizienter zu erfüllen. Insbesondere zeitdiskrete Quantenwanderungen (DTQWs) wurden ausgiebig für ihre Anwendungen in der Graphentheorie untersucht, wie z. B. Graphenisomorphismus, Graphenkonnektivität und graphbasierte Suchprobleme. Trotz ihres Potenzials bleibt die Implementierung von DTQWs auf zeitnahen Quantengeräten eine Herausforderung. Während sich frühere Arbeiten auf die Implementierung von Quantenschaltkreisen für DTQWs mit einheitlichen Münzoperatoren konzentrierten, ist die Implementierung von inhomogenen Münzsätzen eine komplexe Aufgabe, die neue Ansätze erfordert. In dieser Arbeit wird eine effiziente Quantenschaltungsarchitektur zur Implementierung von DTQWs mit inhomogenen, positionsabhängigen Münzsätzen auf einer großen Teilmenge von bipartiten Graphen vorgestellt. Es wird ein neuartiges Kantenbeschriftungsschema, Gray Code Directed Edges encoding, eingeführt, das die Vorteile des Gray Codes für die Positionskodierung und die bipartite Struktur des zugrundeliegenden Graphen nutzt, um die Komplexität der Quantenschaltungen zu minimieren, die die Münz- und Verschiebeoperatoren darstellen. Diese Optimierung führt zu weniger Gatteroperationen, wodurch die Auswirkungen von Rauschen und Fehlern in zukünftigen Quantengeräten reduziert werden. Es wird ein Beschriftungsschema für verschiedene Graphentopologien entwickelt, darunter Zyklusgraphen, verkettete Zylindergraphen und quadratische Gittergraphen, die besonders für Anwendungen des Verstärkungslernens relevant sind. Diese Erkenntnisse bieten eine neue Perspektive auf die Implementierung von geprägten Quantenspaziergängen und bilden die Grundlage für zukünftige Forschungen zu Quantenspaziergängen mit inhomogenen Münzmengen.

Betreuer: Jonas Stein, Michael Kölle, Maximilian Balthasar Mansky, Claudia Linnhoff-Popien