Was

Heute Morgen hatten ca. 1/4 der VIA-Nutzenden Probleme mit ihrer VIA-Instanz. Während die Meisten nur einen langsameren Login bemerkten, gab es Einzelne, die VIA gar nicht nutzen konnten. Bis 08:15 Uhr war die Störung auf unserer Seite behoben, bis jedoch die VIA-Instanz von Ihren Computern aus wieder aufgerufen werden konnte, kann es länger gedauert haben.

Zu keiner Zeit gab die Gefahr des Datenverlusts oder von Sicherheitslücken.

Grund

Grund war eine Fehlkonfiguration im Lastverteiler und DNS unseres Rechner-Netzwerks. Ihr VIA wird auf bis zu 9 Servern ausgeführt und unsere Plattform sorgt dafür, dass die Daten intern an ihren richtigen Ort verteilt werden. Hier gab es nach einer Wartung in den letzten Tagen einen Fehler in der Konfiguration, der heute dazu geführt hat, dass einzelne Anfragen an die Plattform nicht den vorgesehenen Ort/Server erreichten.

Leider haben manche Kunden-Netzwerke daraufhin ebenfalls eine Konfigurationsänderung vorgenommen, wodurch der Ausfall vereinzelt deutlich länger dauerte. Darauf hatten wir leider keinen Einfluss mehr.

Ablauf

Ab 07:00 Uhr waren wir mit der Fehler-Analyse, beschäftigt und waren 07:45 Uhr mit der Behebung fertig. Wie geschrieben, waren 08:15 Uhr alle Systeme wieder normal operierend. Die meisten vom Problem betroffenen Anwender*innen konnten ab dann wieder auf VIA zugreifen. Bei Einzelnen hat dies aber sehr viel länger gedauert, was an individuellen Einstellungen in den Netzwerken der Kunden lag.

Zukünftiges Verhindern

Unsere Plattform ist grundsätzlich sehr stabil. Sie handhabt viele dutzend Kunden-Instanzen und verteilt die Rechenlast zuverlässig und effektiv. Außerdem konnten wir schnell und zielgerichtet die Behebung einleiten.

Dass der Konfigurationsfehler existierte, hätte uns aber bewusst sein können. Und auch, wenn dieser nicht offensichtlich zu erkennen war, war dies ein menschlicher Fehler. Wir versuchen diese zu minimieren, in dem wir bei wichtigen Komponenten immer das 4-Augen-Prinzip einhalten und Änderungen stets erst auf Test-Umgebungen testen, bevor sie in Produktion gehen. Darum zeigt der Vorfall, dass wir weiterhin sehr genau hinsehen müssen und stets zur Fehlerbehebung zur Verfügung stehen müssen.

Bei Fragen können Sie sich jederzeit an uns wenden.