Benutzeranmeldung

Navigation

Breadcrumbs

FuckUp Montag und Servercrash

Erst war er weg, nun ist er wieder da. Das waren mit Sicherheit die schlimmsten 3 Tage meines Lebens. Der Bandnet Server erleidet einen vollständigen Festplattencrash und erst mal geht nix mehr.


Seit Mitte 2000 betreibe ich in irgendwelcher Art auch immer Internetseiten und bisher blieb ich von irgendwelchen Datenverlusten immer verschont. Das hat sich seit Montag, den 12. Mai geändert :)

Eben noch auf der Bandnet Seite um 7:00 Uhr morgens einen Artikel eingestellt, schnell mal frühstücken und Kinder wegbringen und dann eigentlich wieder ins Bett, da ich mich eigentlich gesundheitlich erholen wollte. Noch ein letzter Blick ins Bandnet und die Seite bleibt weiß.

Naja, kommt ja mal vor. Also schnell einloggen und die Dienste durchstarte. "Bus error" und nix geht mehr. Panik. Server durchstarten, er kommt nicht mehr wieder. Erst mal beim Support anrufen. Ich erreiche einen sehr netten und hilfsbereiten Mitarbeiter von 1&1, der sich dann dran macht und versucht herauszufinden, was passiert ist. Irgendwann stellen wir dann Fest, dass von den zwei Festplatten mit denen der Server läuft eine bereits seit Mitte Dezember offline ist (defekt), die andere hat sich seit eben dem angeschlossen: Dateisystemfehler. Die ganz genaue Ursache dieses Versagens haben wir bis heute nicht geklärt. Da jedoch die zweite Platte längstens nicht mehr dort ist und damit auch keine Ausfallsicherheit mehr gewährleistet ist wird mir schon ganz mulmig. Bisher habe ich mich bzgl. Backup ganz auf die gespiegelten Festplatten verlassen.

Irgendwann kommt dann diese Frage: "Haben Sie eigentlich ein Backup?"

Von da an war der Tag gelaufen. Der nette Mitarbeiter schafft es tatsächlich noch für mich die Daten irgendwie im Rettungsmodus zugänglich zu machen, so dass ich versuchen kann zu kopieren was das Zeug hält. Leider treten beim Kopieren immer mehr Fehler auf, so dass am Ende nach vollständiger Auswertung heute über 50% der Daten und alle Datenbanken verloren sind.

Glücklicherweise ist das Bandnet seitens der Dateien selbst nicht von dem Verlust betroffen. Und glücklicherweise habe ich vom Serverumzug im Dezember noch ein Backup der Datenbank gehabt, so dass wir wenigstens mit dem Stand wieder loslegen können.

Unglücklicherweise habe ich bei der Serveranschaffung im Dezember aus Kostengründen noch eine Reihe anderer Seiten hierher verschoben, die Internetseiten meiner vergangenen Bands, die unwiederbringlich verloren sind.

Abschließend kann ich nur sagen, wie leid es mir tut, dass ich das Thema Backup so sträflich vernachlässigt habe. Ich habe mich hierbei zu sehr in Sicherheit gewogen.

Für die Zukunft jedenfalls ist gesorgt. Nach der Servereinrichtung heute, habe ich den bereits gemieteten Backupservice in Betrieb genommen, um diese Scheiße nicht noch mal mit zu machen :)

Hoch die Gläser, wir leben wieder. Danke für Eure Geduld!

Und zur ewigen Erinnerung hier das Protokoll:

  • 14. Mai 14:38: HIGHSCORE: So, wir sind wieder da. Bis die alte Domain wieder zurückgeschaltet ist, könnt ihr das Bandnet unter http://neu.bandnet.de/ erreichen. Ich werde in Kürze noch einen Beitrag zu den letzten Tagen verfaßen. Leider waren einige wertvollen Datenbanktabellen aus dem Backup schrott, so daß ich den aktuellen Stand nicht wieder herstellen konnte. Jeder Beitrag der nach dem Serverumzug am 8.12.2013 verfaßt wurde und jedes Mitglied, das sich seit dem angemeldet hat, ist verloren. D.h. der Stand ist jetzt entsprechend alt. Ich hoffe das Portal läuft jetzt wieder fehlerfrei. Wenn nicht, meldet Euch bei webmaster@bandnet.de Danke für Eure Geduld.
  • 13. Mai 17:42: LEVEL 3: Habe so eben die Neuinitialisierung des Servers angestoßen. Auf bandnet.de habe ich mittlerweile eine Informationßeite geschaltet, damit nicht Facebook User auch den Stand bekommen.
  • 13. Mai 14:51: LEVEL 2 reached: Der Raid Verbund ist neu aufgebaut. Leider ist das Restsystem offensichtlich so defekt, daß es nicht wieder aufsteht. Ich werde jetzt also den Server neu installieren müßen, die Software wieder drauf schaffen und dann das Bandnet aus den Sicherheitskopien von gestern zurückschaufeln und schauen, was überlebt hat.
  • 13. Mai 09:00: LEVEL 1 reached: Die Platte ist gewechselt und das Raid baut sich gerade neu. Dauert noch ca. 2 Stunden und dann sehe ich, in wie weit das alte System noch brauchbar ist.
  • 12. Mai 23:40: Letzte Nachricht für heute. Der Kopiervorgang ist abgeschloßen und ich habe den Server an den Support übergeben. Harren wir der Dinge die da kommen.
  • 12. Mai 22:38: Ein Silberstreif am Horizont. Ich habe mich durch die Technik gewurstelt. Nachdem ich erst schon glücklich war, daß ich noch die Datenbank vom Umzug im Dezember hatte (juhu, immerhin etwas), habe ich jetzt in einem ersten Test die aktuelle Kopie der Datenbank nach dem Absturz zu Hause öffnen können. Ich werde jetzt sicherheitshalber noch einmal alles kopieren und dann den Server zum Reset freigeben.
  • 12. Mai 20:14: So, nun heißt es bangen. Die defekte Festplatte wird getauscht und anschließend muß ich das System neu installieren. Dann kann ich das Backup zurückspielen und schauen, ob was darunter gelitten hat.
  • 12. Mai 14:23: UPDATE: Ich habe ca. 95% des Dateisystems retten können. Das heißt wir haben schon mal die Bandnet Software und Eure Uploads etc... in der Theorie habe ich auch die Datenbank kopiert, leider weiß ich nicht, ob man die Rohdaten gut wiederherstellen kann. Die defekte Festplatte wird jetzt ausgetauscht und wir hoffen, daß die andere Platte sich wieder fängt, wenn sie wieder einen funktionierenden Gegenpart hat. Ansonsten werde ich mir überlegen müßen, was wir dann machen
  • 12. Mai 11:54: NEWS Servercrash: Es sieht so aus, als ob eine der Platten bereits vor einiger Zeit in Arsch gegangen ist und es niemandem gesagt hat. Das hatte zur Folge, daß bereits seit Dezember letzten Jahres überhaupt nur noch eine Platte aktiv war. Das eigentliche Dateisystem ist deshalb hinüber/in Mitleidenschaft gezogen, was auch Auswirkungen auf das Backup hat. Wir haben es jetzt geschafft wieder Zugriff auf einen Großteil der Daten zu bekommen und ich sichere jetzt noch einmal alles was geht, da davon auszugehen ist, daß auch das Backup nicht mehr zuverläßig ist. Drückt die Daumen.

photo credit: hugovk via photopin cc

Kommentare

Re: FuckUp Montag und Servercrash

Shit happens! Bin echt dankbar für die Wiederbelebung, yay!

Re: FuckUp Montag und Servercrash

Danke dir für all die Mühe!!! :)

Bild von Indigo Rocks

Re: FuckUp Montag und Servercrash

Ach du Schande, hab's jetzt erst gelesen... Dann haben die bei 1&1 seit Monaten nicht gemerkt, daß vom Raid-Verbund sich eine Festplatte längst verabschiedet hatte?

Ich muss mal gucken, ob ich seit Dezember etwas wichtiges geschrieben habe außer Terminankündigungen, Blogs vielleicht...
______________________
ZZee ya, Hans-Jürgen
Indigo Rocks - "Down home rockin' blues. Tasty as strudel."