PC Player forever

Bei Hetzner kam es diese Woche zu den schlimmsten Netzwerkaussetzern seit wir den Server haben. Einige haben das sicher bemerkt. Es war immer so zwischen 17 und 19 Uhr abends. Eben war für 5 Minuten komplett Feierabend. Da ich immernoch an der Mail-Konfiguration rumbastele, nervt mich das besonders, da ist jedesmal die Shell weg. Wann sich das wieder verbessert ist noch offen. Mehr als in Hetzners Forum rumzumotzen kann ich allerdings nicht tun. Bitte nehmt eure Posts vor dem Absenden zur Sicherheit nochmal in die Zwischenablage.

Ciao,

Doc SoLo

Heute Mittag Stromausfall bei Hetzner:

http://forum.hetzner.de/wbb2/thread.php?threadid=1468&sid=

Leider war das Forum noch ne knappe Stunde länger down, da nicht alles (MySQL) wieder korrekt hochgefahren ist. Darauf habe ich während meiner wilden Rumkonfiguriererei in letzter Zeit weniger Wert gelegt. Falls ich in diesem Jahrhundert doch noch halbwegs fertig werde, teste ich den Selbstanlauf nochmal explizit.

Ciao,

Doc SoLo

PS@Chellie: Zwischen "Das Forum zeigt ne Fehlermeldung, dass MySQL nicht erreichbar ist", was tatsächlich der Fall war und deiner Aussage "Alles ist weg, sämtliche Datenbanken einfach weg - nichts geht mehr!" ist ein Riesenunterschied. Untersteh dich bitte, mir nochmal so einen Schreck einzujagen!

Gestern war es ja richtig extrem, oder? Ich dachte, der Server steht in dem Raum mit dem extra Stromgenerator. Irgendwie scheint ein Fluch auf uns zu liegen: Immer wenn eine größere Aktion läuft, falle ndie diversen Server, wo die Seite leigt, aus. War ja beim Jubiläum auch schon so.

thwidra hat geschrieben:

Gestern war es ja richtig extrem, oder? Ich dachte, der Server steht in dem Raum mit dem extra Stromgenerator. Irgendwie scheint ein Fluch auf uns zu liegen: Immer wenn eine größere Aktion läuft, falle ndie diversen Server, wo die Seite leigt, aus. War ja beim Jubiläum auch schon so.

Du musst da unterscheiden zwischen Stromausfällen und Netzwerkproblemen. Stromausfall war gestern keiner, es müssen wieder Netzwerkaussetzer gewesen sein.

Der Server hängt tatsächlich am Dieselgenerator. Deshalb lief er auch bereits 20 Minuten nach dem Stromausfall wieder, obwohl die Spannungsschwankungen wohl länger gedauert haben. Der Generator braucht aber eine Weile bis er anläuft, deshalb ist bei Stromausfall trotzdem erstmal der Saft weg. Die mit USV ausgestatteten Server haben den letzten Stromausfall zur Freude ihrer Besitzer ohne harten Reboot überlebt. Natürlich kostet die USV jeden Monat extra. Ich denke aber, wir können uns das sparen. Das Dateisystem hatte ich gleich auf eine Journaling-Variante umgestellt, da dürften durch das harte Abschalten keine Fehler entstehen und den Fehler beim Hochfahren, der das letzte Mal aufgetreten ist werde ich auch noch beseitigen.

Außerdem besteht Grund zur Hoffnung, dass das alles mal wieder besser wird.

Ciao,

Doc SoLo

Komplettausfall von gestern abend 20:00 bis heute morgen 11:00

Der Router an dem unter anderem auch unserer Server hängt ist gestern ausgefallen. Er wurde aber wohl relativ schnell ersetzt, leider nicht ganz korrekt konfiguriert. Ich wurde erst stutzig, als unsere Nachbar-Server heute morgen wieder erreichbar waren, unserer aber nicht. 10 Minuten nach dem Telefonat mit dem Support ging alles wieder.

...kann passieren, sollte aber nicht!

Naja, wenigstens hab ich dabei die Durchwahl zu den Technikern, die das RZ mit unserem Server betreuen, bekommen.

Ciao,

Doc SoLo

An dem Schneckentempo des Servers in den letzten Tagen war nicht die vielgescholtene Netzanbindung von Hetzner schuld. Es lag diesmal an unserem System selbst. Seit heute morgen sollte das Tempo wieder normal sein, Abdiel hat mich gestern abend darauf aufmerksam gemacht - da ich nur noch wenig Zeit habe, habe ich es selbst nicht bemerkt.

Nach 140 Tagen Dauerlauf (was sehr positiv ist, Daumen hoch Hetzner!) ohne Reboot zeigen sich dann eben doch ein paar Probleme, im speziellen Speicherlöcher in einigen Programmen. Der Authentifizierungsdaemon für den Mailserver ist so ein Kandidat. Die Programmierer wussten das scheinbar und haben einen Workaround für solche Probleme eingebaut, mal sehen obs jetzt besser wird.

Im konkreten Fall lags aber an einer Horde hängengeblieberner Apache-Prozesse, die den Speicher zugesetzt und das System in den Swap gezwungen haben (die letzten Tage haben die Platte sicherlich um ein paar Monate altern lassen...). Das ist vorher noch nie passiert und ich habe die Befürchtung, dass das an einigen PHP-Skripten gelegen haben könnte, was aber schwer rauszufinden ist. Naja, abwarten...

Ciao,

Doc SoLo

Uiuiui....bei Hetzner hätte ich heute kein Admin sein wollen, siehe hier.

Viermal editiert das erste Post...tss: Leider doch nicht ... nun aber ... hmm, wieder nich...

Witzig ist auch das die Hetzner-Leute hier noch mit ihrem tollen Dieselaggregat geprahlt haben.

Naja, der Vorfall hat dann unsere neue Uptime-Rekordmarke auf ca. 160 Tage gesetzt. Bei der Gelegenheit können wir nun auch etwas rumkonfigurieren und testweise rebooten, damit von nun an bei einem Reset alle Dienste von alleine wieder anlaufen und bei zukünftigen Stromausfällen keine Handarbeit (php-Critical-Error im Forum, kein Mailserver,...) mehr anfällt.

Ciao,

Doc SoLo

Ja klasse das nenne ich Wochenendaktivitäten . Nach dem Motto: "War sowieso nur Sch***wetter *grummel*"

cu
Chellie

Funktioniert denn mit dem Backup alles wie geplant nach dem Stromausfall?

Ganz verstanden habe ich das zwar nicht mit dem USV (es soll Strom liefern, bei Ausfall, fällt aber selber aus - hä?), aber bezahlen wir das hier auch mit?

Noch eine Frage, Doc: Hast du für die Homepage, Forum und Mailserver auch Matrizen eingerichtet, wie für ET? Mir ist aufgefallen, dass die Homepage immer relativ reibungslos funktioniert, wenn es im Forum dagegen Probleme oder gar Ausfälle gibt.

Das Problem waren bisher Datenbank, Mailserver, TS und ET

Wir bauen gerade noch was in den Serverstart ein.

cu
Chellie

thwidra hat geschrieben:

Funktioniert denn mit dem Backup alles wie geplant nach dem Stromausfall?

Das Backup läuft seit ein paar Wochen tadellos jeden Morgen so um 5:00 durch. Das brauchen wir aber nach einem Stromausfall gar nicht. Ich hatte noch vor dem Produktivbetrieb im Frühjahr das Dateisystem auf eine "Journaling"-Variante umgestellt, so dass es bei Stromausfällen keinen Schaden nimmt. Bei den Problemen handelt es sich nur um einige Dienste, die bisher nicht komplett von alleine wieder anliefen - ich wusste das auch. Das lag an der Konfiguration, hoffentlich haben wir das jetzt gelöst. Da der Server so gut lief, gab es keine richtige Gelegenheit (und keinen Grund) das früher zu tun.

Ganz verstanden habe ich das zwar nicht mit dem USV (es soll Strom liefern, bei Ausfall, fällt aber selber aus - hä?), aber bezahlen wir das hier auch mit?

Nein, bezahlen wir (gottseidank) nicht. Ist auch besser so. Es gab meines Wissens nach im letzten dreiviertel Jahr nur einen einzigen Stromausfall, den die USV-Server überlebt haben und unserer nicht. Die USV überbrückt nur kurzzeitige Stromausfälle. Sprich, wenn eine halbe Stunde der Saft weg ist, ist der Ofen auch dann aus. Deshalb sollte sie eigentlich mit dem Rechner gekoppelt sein, und bei ihrer Aktivierung einen geregelten Shutdown auslösen um den Server wenigstens sauber herunterzufahren. Diese Koppelung gibt es aber bei Hetzner nicht. Deswegen ist die Hetzner-USV in meinen Augen reiner Mumpitz. Aber die "Gurus" im Forum trollen trotzdem jeden an, der keine hat....Naja, mir egal!

Noch eine Frage, Doc: Hast du für die Homepage, Forum und Mailserver auch Matrizen eingerichtet, wie für ET?

Ich verstehe leider die Frage nicht.

Mir ist aufgefallen, dass die Homepage immer relativ reibungslos funktioniert, wenn es im Forum dagegen Probleme oder gar Ausfälle gibt.

Die Homepage besteht auch (fast) nur aus statischen Seiten, die die Datenbank nicht benötigen (deshalb waren sie von den Startproblemen nicht betroffen). Die auszuliefern ist für den Server die leichteste Übung. Der Hauptgrund dürfte aber sein, dass diese Seiten größtenteils aus dem Cache auf deinem Rechner kommen, was natürlich auch bei Netzwerkproblemen noch funktioniert. Die dynamischen Foren-Seiten müssen dagegen immer vom Server erst generiert und jedes Mal neu zu Dir übertragen werden.

Ciao,

Doc SoLo

Ja ich sag bescheid wenn es soweit ist.

cu
Chellie

Abdiel hat geschrieben:

[size=11]Da ich das gerade mit dem Backup lese: Mir ist jetzt wieder entfallen (das Alter) wie lange das backup nochmal braucht, wäre es aber nicht sinnvoll den ET-Reset genau in die Zeit zu legen, damit wir den Traffic insgesamt über die Stunden moderat halten? Nur so ein Vorschlag, da es ja egal ist, ob ET nun zu der Zeit läuft oder nicht. Ich will nur verhindern, dass Eins das Andere behindert.

Kann man machen, ist aber eigentlich egal. Die Zeit für das Backup schwankt zwischen ca. 10-20 Minuten (inkrementell) und einer reichlichen Stunde (Vollbackup). Da die Backupdaten das interne Hetzner-Netzwerk nicht verlassen, gehen sie nicht in die Traffic-Rechnung ein und die Übertragung geht blitzschnell. Ich glaube nicht, dass sich da irgendwas behindert. Aber bei Gelegenheit...

Ciao,

Doc SoLo