Ausfall des Dienstes

5222.de Team

31 Aug 19 18:33 CET

Hallo zusammen,

auf Grund von Problemen mit dem Dateisystem, im Zuge eines Umzugs des Hostsystems kam es gestern Abend zu einem Ausfall des Services. Wir haben die Ereignisse des gestrigen Tages für euch zusammengestellt:

09:00 - 09:30 Uhr   - Wartungsarbeiten auf KVM04
09:30 - 11:00 Uhr   - Wartungsarbeiten auf KVM03. Alle VM's wurden auf KVM04 migriert. Bei der Migration der XMPP VM gab es hier schon die ersten Probleme.
17:30               - KVM03 wurde heruntergefahren und ins Rechenzentrum Equinix in Düsseldorf transportiert.
19:05               - KVM03 wurde im Rechenzentrum Equinix gestartet und es wurde angefangen die VM's auf diesen zurück zu mirgieren.
19:35               - Die XMPP VM wurde migriert. Erneut traten Probleme dabei auf. Ab diesem Zeitpunkt sind diese auf im Monitoring sichtbar.
19:41               - KVM04 wurde heruntergefahren und ins Rechenzentrum Equinix in Düsseldorf transportiert.
20:15               - KVM04 wurde im Rechenzentrum Equinix gestartet.
20:32               - Das Monitoring meldete Probleme mit dem XMPP Server, wodurch wir uns damit sofort auseinander setzten.
20:34               - Ersten Nachfragen von Usern zur nicht Erreichbarkeit des Dienstes trafen ein.
20:35               - Die XMPP VM wurde neu gestartet. Hierbei traten Probleme mit dem Dateisystem auf. Eine Reparatur wurde gestartet.
20:46               - Die XMPP VM konnte wieder gestartet werden, jedoch konnte die MySQL Datenbank nicht mehr gestartet werden.
22:40               - Alle Versuche die MySQL Datenbank zu reparieren waren gescheitert. Die Datenbank wurde neu erstellt und das Backup vom 30.08.2019 02:17 eingespielt.
22:52               - Die Supportanfragen der User wurden beantwortet und eine kurze Information wurde über unseren Microblog veröffentlicht.

An dieser Stelle möchten wir uns für den Ausfall entschuldigen und danken für eure Geduld.

Viele Grüße das 5222.de Team

Hello,

due to problem with the file system, during the relocation of the host system, the service failed yesterday evening. For your information here are the events from yesterday:

09:00 - 09:30 Uhr   - KVM04 maintenance
09:30 - 11:00 Uhr   - KVM03 maintenance. All VM's were migrated to KVM04. During the migration of the XMPP VM the first problems appeared.
17:30               - KVM03 was shut down and moved to datacenter Equinix in Düsseldorf.
19:05               - KVM03 was started at the new location and the VM's were started to be migrated back.
19:35               - The XMPP VM was migrated. Problems appeared again, which is visible in our monitoring from this time.
19:41               - KVM04 was shut down and moved to datacenter Equinix in Düsseldorf.
20:15               - KVM04 was started at the new location.
20:32               - The monitoring reported problem with the XMPP service so we'd dealed with it right away.
20:34               - The first messages from users about why the service is not reachable reached us.
20:35               - During a restart of the XMPP VM a problem with the file system appeared. We started to repair it.
20:46               - We were able to start the XMPP VM again, however the MySQL database could not be started anymore.
22:40               - All attempts to repair the MySQL database failed. We recreated the database from the backup of 30.08.2019 02:17.
22:52               - The support messages of the users were answered and we published a short information in our microblog.

At this point we would like to apologize for the Downtime and thank you for your patience.

Best regards, the 5222.de Team