Weltweite IT-Ausfälle sorgen für Probleme
 

Quelle:[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...]

Mehr dazu auch bei Günter Born:

[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...]

Ein BSOD in Endlosschleife auf den betroffenen Servern ist schon eine heftige Angelegenheit.

Moin,

bei meinen Vor- Vor- Vorgesetzten hat das für ein Panikattacke gesorgt. Vorsorglich haben sie unsere ganze Abteilung in Alarmbereitschaft versetzt. Das ist zwar vollkommen sinnlos, weil wir die betroffenen Systeme überhaupt nicht nutzen. Aber, wenn es darum geht, einem Haufen Leuten das Wochenende zu versauen, sind solche Feinheiten nicht entscheidend. Schliesslich sehen unsere Computer so aus, wie der auf dem Beispielbild. Da besteht offensichtlich schon ein gewisses Risiko.

Also gibt man als verantwortungsvoller Chef in einer solchen Krisensituation das letzte. Wenn auch nicht das eigene letzte. Als letzte Amtshandlung gibt man seinem Vorzimmer die Anweisung, sofort alles Notwendige in die Wege zu leiten, bevor man sich ins wohlverdiente Wochenende verabschiedet. Abgesehen davon. Irgendwer muss ja den "Life" Anteil an der Work-Life Balance erbringen. Das IT-Team kriegt das ja zeitlich nicht hin. Da muss man doch helfen!

Nun muss ich, was mir ziemlich auf den Sack geht, das gesamte Wochenende mein Handy mit mir rumschleppen und darf mir keinen auf den Pinsel kippen. Das ist die schlechte Seite. Positiv ist, dass es die Diskussion über die Bezahlung von Bereitschaftsdiensten wieder anheizen dürfte. Wenigstens etwas.

Und nun eine Schweigeminute für die armen Schweine, die man dafür verantwortlich macht. Trösten wir sie gemeinsam mit den Worten:

Alter! Das Sozialamt ist die Straße runter und dann links. Bring Deine letzte Gehaltsabrechnung mit. Es wird wohl längere Zeit wirklich die letzte sein ... ;)

Spass beiseite. Der Moment, in dem man feststellt, dass man für so ein Debakel die Verantwortung trägt, ist sicher fürchterlich. Hoffen wir mal, dass das alle gut überstehen und für die Zukunft lernen.

UPDATE:
Da sind wohl gleich ZWEI Pannen zeitlich nahe beieinander aufgetreten, wie Günter Born hier schreibt:

[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...]

Aufgrund des "censured word" filters kann ich hier leider nur den Link reinstellen. Ich bitte um Nachsicht.

Jedenfalls geht es um einen weltweiten Ausfall von Microsoft 365.
"from bad to worse" kann man da nur sagen.

Zu beobachten war heute:

• mein Möbilfunk funktionierte störungsfrei
• mein ISP funktionierte störungsfrei
• alle Kassen bei Edeka funktionierten
• auch mein Windows 11 funktionierte einwandfrei, naja, ist ja auch nicht auf einer Cloud

...und hey - der Gully ist nicht verstopft! :D

Tjoa, mich bzw. uns hat es im Betrieb hingegen getroffen. Die Server haben sich Updates über die WSUS Server gezogen und wunderbar verteilt - um dann komplett hängenzubleiben.
Glücklicherweise konnte ich bei den meisten Sachen manuell drauf, ohne große Umwege, um die notwendige Datei zu entfernen - aber ganz ehrlich, das kann halt auch schnell anders aussehen, wenn man z.B. nicht alles lokal hat.

Schönes Wochenende.

Das gabs früher alles nicht.

daran sieht man mal wieder wie Abhängig wir wirklich sind.

Ihr lasst ungefiltert und ungeprüft automatisiert Updates über den WSUS installieren? Ehm ja, kann man so machen.....sollte man aber nicht. Wenn man ganz genau ein Feature nicht nutzt ist es die automatische Genehmigung der WSUS Updates, wer sowas macht braucht sich am Ende auch nicht wundern, wenn die Server in rauch aufgehen.

Das ist übrigens auch ein Grund, das es eigentlich gar nicht so viele Firmen betroffen hat, weil diese die Updates nicht automatisiert verarbeiten.

Und normalerweise wartet man als Unternehmen doch eher 2-3 Tage bis mán das neueste Update einspielt, sollte es nicht gerade sonst was für eine Security Lücke schließen.

Moin,

Dafür waren damals die Eschen manchmal von der Pangeanischen Eschenpest befallen was bedeutete., dass man dann weder Bögen noch Pfeile herstellen konnte. Wer die Wildsau nicht mit bloßen Händen erwürgen konnte ist elendig verhungert.

Ein Messer war auch keine Lösung, da der keltische Stammesfürst Gateserix sich geweigert hat Erz an Stämme auszuliefern, die nicht bereit waren, über Jahre regelmäßig gleich bleibende Erzmengen zu ständig steigenden Preisen zu kaufen.

Es gab, so sagt die Geschichtsschreibung, zwar Leute, die aus Spaß an der Freude Metall herstellten und verschenkten. Aber das war von Lieferant zu Lieferant so unterschiedlich, da musste der Schmied für jeden Lieferanten erst einmal einen langen Lehrgang absolvieren sonst konnte er nur kleine krumme Kaffeelöffel herstellen was aber damals noch sinnlos war

https://debeste.de/upload/f21a82ecb9...7c05fe8876.jpg

Merke also: Irgendwas ist immer und war wohl auch schon immer.

Man muss wohl davon ausgehen, dass ein Update einer Sicherheitssoftware nicht gemacht wird um neue Hintergrundbilder auszuliefern oder diesen dreckselendig verschissenen Windows 11 Editor etwas benutzbarer zu machen.

Sicherheitsupdates MÜSSEN schnell eingespielt werden. Der damit einhergehenden Verantwortung ist der Hersteller nicht gerecht geworden.

Was WSUS in diesem Zusammenhang macht weiss ich nicht. Aber, und das sollten sich viele unserer Berufskollegen vielleicht mal vor Augen führen, bedeutet nicht , dass das was Thorasan geschrieben hat falsch ist. Es bedeutet genau das, was ich geschrieben habe. Ich weiss es nicht.

Nicht zu verstehen was der andere da macht bedeutet nicht zwangsweise, dass es falsch ist. Es gibt so viele Gründe etwas anders zu machen oder auch von den Vorschriften abzuweichen. Deutschland wäre ein besserer Ort, wenn wir uns wieder öfter daran erinnern würden, dass "anders" und "falsch" nicht das Gleiche ist.

Es sind Sicherheitsupdates, die wir im Rahmen diverser Vorschriften unverzüglich einspielen müssen. Die Hinweise auf Probleme kamen ja nicht direkt nach dem Update - sondern stark verzögert. Anfangs wusste erstmal niemand, wieso alles ausblieb bzw. eben nicht mehr gestartet werden konnte. Klar ging man direkt vom Update aus, aber wissen konnte es niemand. Da wir im kritis Bereich sind, können wir da nichtmal kurz ne Woche warten, bevor wir Updates einspielen. Sorry wenn das in deiner Welt funktioniert, aber bei uns nicht.

Wenn es so ein "kritischer" Bereich ist, habt ihr erst recht nicht ungefiltert auf einem LiveSystem einfach Updates einzuspielen. Dafür gibt es denn VM´s als Testsysteme o_0. Das lasst mal lieber, solltet ihr im Dienstleistungsbereich arbeiten, nicht eure Kunden erfahren. Denn so ein Verhalten gilt in der IT Welt als fahrlässig und führt zu Schadensersatzklagen, selbst in Deutschland... .

Was teilweise in Deutschlands IT-Welt los ist...man man man. Man sieht ja auch an den Ausfällen das es keine Redundanz oder BackupSysteme gab um diesen Fehler zu kompensieren. Das die Versicherer das alles noch so hinnehmen in Deutschland man man.

Aber war ein lustiger Tag, ich saß mit 3 Bundeswehrleuten den ganzen Tag rum und hab mir die Posts und Artikel durchgelesen, gott sei dank ist unsere Bundeswehr nicht mehr so 1980 in der IT wie viele Unternehmen.

BTW, was sagt denn das BSI zur automatisierten Genehmigung von Updates in einem Sicherheitsrelevanten Bereich, da steht bestimmt was dazu ;-).

Hoffentlich sind die ganzen Unternehmen ohne Backups und Redundanz dran, denn wir haben 2024 und nicht mehr 2000, wer hier mehr als ne Stunde Ausfall hatte, hatte mal definitiv keine Sicherheitsmaßnahmen für so einen Fall, es kommt ja auch nie vor das Updates Fehlerhaft sind.

Ja, ja
komm mal wieder runter.
Im Mai diesen Jahres war die Bundeswehr die Lachnummer in der gesamten IT Branche wegen webex.
Schon vergessen?

https://s20.directupload.net/images/240720/c6zd6xcn.jpg

Wer CrowdStrike nicht verwendet, hatte auch kein Problem.

Moin,

Es geht doch nicht darum, ob ein Bereich kritisch ist. Es geht darum, dass das was Du schreibst für Windows- oder irgendwelche Softwareupdates gilt. Aber doch nicht für Updates von Sicherheitssoftware. Spielst Du Signaturupdates für einen Virenscanner erst nach drei Tagen Tests auf einem Testsystem ein? Wenn Deine Firewall ein Update erhält, dass eine gerade bekannt gewordenen Sicherheitslücke stopft testest Du das erst ein paar Tage auf einem Testsystem?

Wie verhälst Du dich, wenn [Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...] wird: "Spielen Sie verfügbare Patches so zeitnah wie möglich ein." und du weisst, dass Angreifer ganz gezielt nach ungepatchten Systemen suchen? Erst mal ganz in Ruhe testen.

Wenn so ein Update an einem Freitag kommt soll man bis Montag warten, dann einen mehrtägigen Test starten und am Donnerstag beginnen, das Update in die Produktivumgebung zu geben? Ich bin schon an einem Samstag zurückgepfiffen worden, um genau so ein Update sofort einzuspielen.

Natürlich ist einem dabei nicht ganz wohl. Aber ich finde den Gedanken, wissentlich ein gefährdetes System nicht zu patchen und dabei befürchten zu müssen, dass die nach genau solchen ungepatchten Systemen wie meinem suchen um sie anzugreifen auch nicht eben angenehm.

Das ist auch [Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...], das sowas passiert. Da heisst es dann:

Na geil. Ein Kernelement deines Sicherheitskonzeptes bläst seinen letzten Furz, du rufst verzweifelt den, nicht ganz billigen, Support und die schicken einen Spezialisten, der die beim Ausfüllen des RMA-Formulars hilft und aus Kulanzgründen den Karton beim zukleben festhält. Das sind dann die Momente, in denen man das Cannabisgesetz mit ganz anderen Augen sieht.

Also, ich drücke allen die betroffen sind die Daumen, dass sie das schnell und sauber hingebogen bekommen und vergesst nicht, euch eine Pizza, groß wie ein Kutschenrad spendieren zu lassen. Das ist ja wohl das mindeste! :T

Tja, meine unprofessionelle Meinung dazu ist, dass man solche Patches, oder Updates zunächst auf einem abgeschirmten Testnetzwerk überprüfen sollte. oder?

Was die Fa. CrowdStrike betrifft, stimme ich dir zu.
Portfolio: Endgeräteschutz, Aufklärung über Bedrohungen und Reaktionsdienste für Cyberangriffe.
Als Kunde vertraust du natürlich deren Expertise und spielst den Patch ein, weil du im Falle einer echten Bedrohung gar keine Möglichkeit und Zeit zum selber testen hast.

Moin,

Betroffen waren unter anderem Fluglinien. Das bedeutet aber nicht, dass alle Flugplätze betroffen waren. Es ist ja nicht so, dass eine Maschine in Berlin losfliegt und danach wieder in Berlin landet. Vielmehr geht der Flug nach zum Beispiel Düsseldorf. Wenn eine Maschine in Berlin nicht starten kann, weil dort die IT ausgefallen ist, dann fehlt das Flugzeug in Düsseldorf. Und wenn es da fehlt, dann kann es eben nicht nach als Touristenbomber nach Malle starten. Wenn die aber nicht in Malle ankommt ...

Wenn es heisst, dass in einer vernetzten Welt leben ist nicht immer vom OSI Modell oder Cat 7 die Rede. Oft ist auch gemeint, dass vieles sehr eng miteinander verzahnt ist. Die IT ist das Werkzeug, das diese Vernetzung möglich macht. Aber sie ist nicht die Vernetzung an sich.

Wir erinnern uns doch noch daran wie es war als die Sache mit dem Jochen Schweitzer Gutschein "Einmal ein riesiges Frachtschiff alleine durch den Suezkanal steuern" so enorm schiefgegangen ist. Weil ein Frachter in einem Kanal steckengeblieben ist, tauchten an den unmöglichsten Stellen Probleme auf. Ich glaube manchmal, dass es niemanden mehr gibt, der noch überblicken kann, was in der Welt wie zusammenhängt.

Ich bin mir sicher, dass es noch mehr neuralgische Punkte wie Crowdstrike gibt. Dinge die, mit Ausnahme der Bundeswehradmins, niemand auf dem Schirm hat. Wir werden lernen müssen, mit solchen Vorfällen zu leben.

Die Diskussion darüber ist schon merkwürdig. Auf der ganzen Welt sind Millionen Computer betroffen. Hunderttausende Admins in der ganzen Welt stehen vor dem gleichen Problem. Und dann gibt es welche, die nur durch Glück nicht betroffen sind und dieses Glück nun zu überragenden Fähigkeiten umdeuten. Im Brustton der Überzeugung treten sie in einem Forum wie diesem hier auf und erklären, dass sie den Job selbstverständlich besser beherrschen als hunderttausende Berufskollegen auf der ganzen Welt.

In den Internetforen gibt es praktisch nur perfekte Admins. Die haben alles. Und was sie nicht haben, bekommen sie sofort in beliebiger Menge. Sie werden super bezahlt, kennen alles, erkennen Trojaner am Geschmack des USB Sticks und machen absolut keine Fehler.

Im wirklichen Leben gibt es sowas praktisch nie. Bei der Bundeswehr hätte es sie gegeben. Und abertausende Admins aus der ganzen Welt wollten sich auch da melden und die Lichtgestalten der Informationstechnologie untertänigst bitten ihnen doch mal die Basics ihres Jobs beizubringen. Wäre da nicht die Sache mit der Mailadresse.

https://s.yimg.com/ny/api/res/1.2/ii...rs-630x437.jpg

;)

Man sieht, dass du absolut realitätsfern von Steuergeldern gesponsert unterwegs bist. Deine Aussagen zeigen, wie wenig du von IT Systemen verstehst, die aktiv am Weltgeschehen teilnehmen müssen und nicht wie die der Bundeswehr erstmal alles tagelang von Externen durchtesten können.

Und das ist doch hoffentlich als Satire gemeint
Ich denke jedes Unternehmen in Deutschland ist weiter als die BWI gesteuerte IT unserer BW

Wir haben Systeme, wo zuerst getestet wird - und welche, wo es Live eingespielt werden muss. Tatsächlich ist auch nicht auf jedem unserer Systeme der Fehler aufgetreten - und das macht es nicht einfacher.
Zu sagen, wir sollten erstmal alles testen, klingt zunächst gut - aber ist leider bei vielen Systemen nicht vorgesehen. Das hat wenig/nichts mit der Fähigkeit unserer Mitarbeiter zu tun.

Dazu kommt, was Melvin sehr gut versucht hat, zu beschreiben - es sind Sicherheitsupdates, nicht irgendwas was die GUI verändert oder Paint eine neue Farbe spendiert. Dass solche Updates ganz anders verteilt werden (können), sollte eigentlich klar sein.

Und natürlich verteilen wir nicht komplett autonom - freigeben müssen wir sie einzeln bzw. in den angebotenen Packs. Aber verteilt werden sie nach Freigabe natürlich automatisch.

Und @Draalz - sollte, könnte, müsste - aber wer baut sich sein Netz 1:1 nach, um zu testen, ob es irgendwo darin zu einem Problem kommt. Und wenn dir eben der falsche Server abraucht, zieht das eine Kette an Problemen nach sich. Testen schön und gut, aber verhindern kann man auch damit nicht alles. Und dies hier ist nicht irgendein kleines Problem, was jemand versemmelt hat, sondern ein richtig dicker Patzer, der glücklicherweise extrem selten vorkommt. Man kann nicht auf alles 100% vorbereitet sein.

Da habe ich mich unpräzise ausgedrückt. Den Schuh sollte sich eigentlich Crowdstrike anziehen.
Aber, zugegebenerweise, ist mein Blickwinkel da etwas anders. Ich arbeite mit Debian, das von einer sehr konservativen und nachhaltigen Upgradeperformance geprägt ist.

Ah, da sprechen wieder die Datev Consultanten aus Erfahrung wa? Man man.

Und auch das ist wieder nur die halbe Wahrheit da es 2 Fehler waren die gleichzeitig zusammen kamen, dieser Ausfall lag nicht nur an Crowdstrike.

Der Ausfall der Office365 Dienste hatte nichts mit Crowdstrike zu tun, das war ein ConfigProblem.

[Link nur für registrierte und freigeschaltete Mitglieder sichtbar. Jetzt registrieren...]

So ist es ein der IT nun mal wenn 1 Anbieter tausende oder zehntausde Firmen bedient. Die BW nutzt übrigens andere Software. Und ich weiß auch nicht was der WebEX Fail von nen paar Offizieren die überhaupt nix mit der IT zu tun haben, mit der IT der Bundeswehr zu tun hat, die wahrscheinlich nicht mal 1% der User hier auch nur Ansatzweise kennt (Das ist übrigens whataboutism). Da kann ich auch sagen, die Sekretärin, die das Office Macro benutzt hat ist Schuld am Einbruch in unsere Systeme, total aus der Luft gegriffen und es entbehrt jeder Argumentation.

Aber gegen andere schießen, wenn man selber keine Ahnung hat, fetzt halt wa.

So ist das auch bei mir angekommen. Wie man bei Günter Born nachlesen kann, war der Patch wohl ungetestet, was auf ein Versagen im Qualitätsmanagement hindeutet.

Wie kommst du auf Datev?

Ich kenne einige Kollegen die bei der BWI rumlaufen. Großer Teil Ex-Soldaten die noch nie nen Fuß in der freien Wirtschaft hatten. Hat schon seinen Grund, warum ihr keine anderen Kunden habt außer staatliche.

Die Bundeswehr nutzt die Systeme, die bei anderen Firmen vor 10 oder 15 Jahren entsorgt wurden.

Da sieht man den Sachverstand :rolleyes:

Moin,

in der wirklichen Welt ist die Frage, wann man Sicherheitsupdates einspielen soll immer eine Gratwanderung.

Man kann sie sofort einspielen und hat damit die Lücke geschlossen. Als Preis dafür geht man das Risiko ein, einem solchen Fehler zum Opfer zu fallen.

Man kann natürlich auch abwarten. Man testet erst mal ein paar Tage mit verschiedenen Konfigurationen, man wartet erst mal eine Woche ob im Netz Berichte über irgendwelche Probleme auftauchen und nach dieser Zeit übernimmt man das Update. Damit sollte man vor einen fehlerhaften System relativ sicher sein. Aber man hat während der gesamten Zeit ein System im Netz, von dem man weiss, dass es verwundbar ist.

Egal wie man ich entscheidet. Wenn man sich geirrt hat, kommen hinterher Leute und erklären, wie dumm man sich verhalten hat. Naja. Wer es braucht ...

Ich bin zu lange dabei, um noch kindliche Allmachtsphantasien zu haben. Wenn Tausende meiner Berufskollegen eine bestimmte Entscheidung treffen würde ich nicht davon ausgehen, dass keiner von denen seinen Job so gut versteht wie ich.

Wir werden auch für die Verantwortung bezahlt, die wir tragen. Dazu gehört, dass man manchmal Entscheidungen treffen muss. Wenn es eine Warnung vor einer Ransomware gibt, die sich schnell verbreitet und für deren Abwehr man ein Update braucht, würde ich zum Beispiel keine Wartezeit riskieren.

Und eins noch zum Thema Tests. Man darf sich das nicht so vorstellen, dass man das Update auf einem Testsystem einspielt, das System einmal neu bootet und wenn es dann nicht nach Strom riecht, keine Explosionen zu hören sind und kein blauer Bildschirm auftaucht gibt man das Update frei.

Je nachdem, wie ausgiebig man testen will, müssen sämtliche Anwendungen mit verschiedenen Konstellationen getestet werden. Ich erinnere mich mit leisem Grauen an ein Update, dass so ganz nebenbei die Drucker einer bestimmten Firma außer Gefecht setzte. Das ist bei keinem der Tests aufgefallen. Wir sind mit zwei Mann eine Tag lang durch das Bürogebäude getingelt und haben Druckertreiber neu installiert.

Wie Thorasan schon sagte. Wer hat denn wirklich eine 1:1 Kopie seiner Systeme zum testen? Ich kenne Verwaltungen mit weniger als 50 Mitarbeitern und einem Admin. Die diskutieren ab September mit den politischen Gremien, ob sie 700 Euro für eine Mailverschlüsselungssoftware bekommen oder ob man ihnen ein paar hundert Euro für ein NAS bewilligt, damit sie eine Sicherung ausserhalb des Gebäudes speichern können. Wenn der darum bittet neue Serverlizenzen, Hardware und eine zusätzliche Stelle für Updatetests zu bekommen verstehen die Gremienmitglieder, dass der da mal ein wenig rumspielen will, weil er nichts zu tun hat. Da kann er froh sein, wenn er nicht einen Vogel gezeigt und rausgejagt wird.

Die haben weder die personellen noch die materiellen Mittel um jedes Windowsupdate ausgiebig zu testen. Denen bleibt oft nichts anderes übrig, als einfach ein paar Tage zu warten, ob im Netz Probleme bekannt werden. Manche führen eine Exceltabelle. In die tragen sie die KB Nummer und das Datum ein, wann das Update vom WSUS angeboten wird. Nach x Tagen durchsuchen sie das Netz, ob im Zusammenhang mit dieser KB Nummer Probleme bekannt geworden sind. Wenn nicht, genehmigen sie die Installation. Die wissen alle, dass das eigentlich nicht reicht. Abner die wissen eben auch, dass sie mehr nicht machen können.

Für mich sind diese Leute oft die wahren Helden der Schlacht. Es ist wesentlich leichter ein System performant und sicher zu halten, wenn man aus dem vollen schöpfen kann. Mit begrenzten Mitteln ist es deutlich schwerer seinen Job ordentlich zu erledigen.

ich kann aus eigener Erfahrung sagen, dass eine 1:1 Kopie eines komplexeren Systems nur bedingt möglich ist, je nach Schnittstellen und Budget dahinter. Ich teile meine Einstellung daher komplett mit Melvin. Richtiges "Testing" frisst Zeit und Ressourcen, die ganz bestimmt nicht jedes Unternehmen freiwillig aufgibt. Wir waren BTW. auch betroffen (da MS Kunde) aber auch die SAP-Systeme waren bei uns nicht erreichbar. War kein ganz schönes WE :-)

Der Update von Crowdstrike-Falcon Sensor läuft nicht über WSUS - der zieht den sofort aus der Cloud - andere Wege sind garnicht vorgesehen.

Das ist nichts anderes, als jeder Virenscanner auch macht, Signaturupdates ständig vom Hersteller nachladen, wenns es sein muss jede 15 min. - Zeit ist der entscheidene Faktor.
Nur war das update fehlerhaft, das es eben Windows in einen Boot-Loop geschickt hat.
Das update wurde zurückgezogen und durch eine fehlerfreie Versione rsetzt, daher sind Rechner, die z.b. nach 8 Uhr online gegangen sind, nicht betroffen, die haben direkt das richtige File geladen.

Und bevor die "Mit Linux wäre das nicht passiert" - Jünger kommen, das selbe Problem gab es mit Linux im April diesen Jahres auch schon, Debian war betroffen.
Und auf MacOS wird Crowdstrike auch eingesetzt in vielen Firmen