Container für Rhinodiagnost
Der Beitrag „Web-access to HPC for Rhinodiagnost” beschreibt die Beweggründe und Anstrengungen, die zum Einsatz von Jupyter als multi-funktionales Webinterface für den einfachen Zugang zu HPC Resourcen im Rhinodiagnost-Projekt geführt haben. Um Jupyter im Projekt auch außerhalb des HPC Umfelds bzw. ohne die Notwendigkeit einers HPC Clusters verwenden zu können, ist die Lösung im zweiten Schritt in autarke Container überführt worden.
Container (z.B. mit Hilfe der Containervirtualisierungslösung Docker, https://www.docker.com) erlauben die Isolierung von Anwendungen, sodass mehrere Instanzen vollständig eigenständig voneinander und unabhängig vom Hostsystem betrieben werden können. Auch Setups, bei denen unterschiedliche Dienste in komplexer Art miteinander interagieren müssen, um nach außen als eine Webanwendung wahrgenommen zu werden, lassen sich als Containern schnell und problemlos installieren und betreiben.
Am Jülich Supercomputing Centre (JSC) des Forschungszentrum Jülich und für das Rhinodiagnost Projekt bietet die Helmholtz-Datenföderation (HDF) Cloud (https://www.helmholtz.de/forschung/information_data_science/helmholtz_data_federation/) aktuell eine ideale Umgebung für HPC-nahe Webdienste in Form von Containerlösungen an. Die HDF Cloud ist ein OpenStack Cluster (https://www.openstack.org) mit hoher Verfügbarkeit, welches das Ausführen der Rhinodiagnost Docker Images ermöglicht, weltweit erreichbar ist und trotzdem eine große Nähe zu den HPC Resourcen hat.
Diese Nähe erlaubt es, die großen Datenmengen der Simulationsergebnisse auf den HPC Storagesystemen (im Bild als XCST bezeichnet) zu lagern. Die Daten können also dort gespeichert bleiben, wo sie durch die Simulation auch erzeugt werden. Die HDF Cloud ist direkt mit 40 GB/s an das XCST angebunden, sodass bei Bedarf mit hoher Lesegeschwindigkeit aus dem Container heraus auf die Daten zugegriffen werden kann.
Weiterhin erlaubt die Containerlösung auf der HDF Cloud eine eigene Benutzerverwaltung unabhängig vom HPC Betrieb. So kann also Zugriff auf Webdienste von Rhinodiagnost gewährt werden, ohne dass gleichzeitig auch der Zugriff auf die HPC Systeme erfolgen muss. Außerdem können unterschiedliche HPC Systeme und unterschiedliche Rechenzeitaccounts über die Webdienste kombiniert werden, ohne dass der Anwender sich mit dieser Fragestellung beschäftigen muss.