Az e-mail nem riasztás
November 13-án, pénteken tizenöt vendéget érintett egy klórbaleset a Köln melletti Phantasialand vidámpark Hotel Ling Bao szállodájában, mert a medence automata adagolója túl sok klórt juttatott a vízbe. A Phantasialand a WDR-nek azt mondta, hogy a Microsoft-leállás miatt nem érkeztek meg a levelek, így senki nem vette észre, hogy a szaunarészleg biztonsági rendszere már jóval korábban e-mailben riasztott.
A legtöbb hír a Microsoftot hibáztatja. Szerintem a tanulság máshol van. Kellemetlen, ha az Exchange Online egy napra leáll, de előbb-utóbb minden levelezőszolgáltatással megtörténik. Ha egy biztonsági riasztás egyetlen útja egy postafiók, akkor ennek az útnak a kiesése nem maradhat észrevétlen. A hírek alapján itt pont ez történt: a csend kívülről úgy nézett ki, mintha minden rendben volna.
Mit tudunk?
A WDR szerint előbb 13 vendég panaszkodott a légutak irritációjára, később 15-re nőtt az érintettek száma. Négy vendéget kórházba vittek, egyikük közepesen súlyos sérüléssel megfigyelésre bent maradt. A helyszíni vizsgálat az adagoló hibáját mutatta ki. A medencét lezárták, a vizet lecserélték, azóta újra nyitva van. A Tom's Hardware a Notebookcheckre hivatkozva 40 kivonuló mentőst és tűzoltót említ.
Az Exchange Online incidense (EX1550543) november 12-én 16:20 körül kezdődött (UTC), és a Microsoft állapotoldala szerint 13-án 16:10-kor zárult le. A cég szerint egy korábbi hálózati kapacitásbővítés közben keletkezett hiba okozta.
Nem tudjuk viszont, pontosan mikor történt a baleset, ki gyártotta az adagolót, és volt-e az e-mailen kívül bármilyen más jelzés. A részletek a szállodától és a tűzoltóságtól származnak, műszaki leírást senki nem közölt, a Hacker Newson pedig olyan hozzászóló is akadt, aki szerint az időpontok nem egyeznek. Abból indulok ki, amit a hírek írnak, de a részleteket érdemes fenntartással kezelni.
Itt két dolog romlott el: az adagolás és a riasztás. A veszélyes túladagolás ellen helyben kell védelem, ennek a kialakítása viszont a medencetechnika szakterülete, nem az enyém. A riasztást ellenben valamilyen formában minden fejlesztő megépíti, ezért a cikk erről szól.
Röviden
- A csend is legyen hiba. Ha egy figyelő rendszer nem jelentkezik időben, az riasztás, nem jó hír.
- Biztonsági riasztást soha ne küldj egyetlen csatornán. Az e-mail lehet az egyik.
- Amíg senki nem igazolja vissza a riasztást, menjen tovább a következő emberhez. A visszaigazolással még nincs elhárítva a hiba, de már van felelőse.
- Ahol valaki megsérülhet, ott helyi védelem is kell, ami nem függ a levelezéstől és az internettől.
- Rendszeresen teszteld a teljes láncot, az érzékelőtől a zsebben lévő telefonig.
Miért rossz riasztó az e-mail?
Az e-mailt sosem arra tervezték, hogy időben odaérjen. Az SMTP tárol és továbbít: ha a szerver nem tudja átadni a levelet, sorba teszi, órákig, akár napokig próbálkozik újra, a feladó pedig sokáig semmit nem tud erről. Ha a levél meg is érkezik, kerülhet a spambe, visszapattanhat egy megtelt postafiókról, ülhet egy közös fiókban, amit hétvégén senki nem néz, vagy villoghat egy lenémított telefonon. Ha pedig a küldő eszközön lejár a jelszó, vagy valaki átállítja az SMTP-beállításokat, a levelek egyszerűen nem mennek ki, és ebből semmi nem látszik.
Ez az utolsó eset a valódi csapda. Ha a bajt csak egy levél jelezheti, akkor ha nem jön levél, nincs baj. Egy elromlott riasztó és egy rendben lévő medence kívülről ugyanolyan.
Hogyan riaszt a csend?
A saját rendszereimben életjel-figyelést használok (angolul heartbeat vagy dead man's switch). A rendszer nem csak akkor szól, ha baj van: rendszeresen jelzi, hogy él, és rendben vannak az értékek. Egy külső szolgáltatás, például a Healthchecks.io, a Better Stack vagy a Cronitor, várja ezt a jelzést, és ha a megadott időn belül nem jön meg, magától riaszt. Így már nem azt kérdezzük, hogy küldött-e valaki figyelmeztetést, hanem azt, hogy szólt-e valaki, hogy minden rendben van.
Laravelben ez ütemezett feladatonként egyetlen sor:
// routes/console.php
Schedule::command('backup:run')
->dailyAt('02:00')
->pingOnSuccess('https://hc-ping.com/your-check-uuid');Ha a mentés elhasal, vagy maga az ütemező áll le (eltűnik a cron-bejegyzés, megtelik a lemez, újraindítás után nem jön fel a szerver), elmarad a ping, és a riasztás egy másik helyről megy ki. Ehhez két dolog kell. A parancs hiba esetén nem nulla kilépési kóddal álljon le, mert a Laravel ebből tudja, hogy nem sikerült. A külső figyelőben pedig add meg, milyen gyakran kell jönnie a jelzésnek, és mennyi késést tűrjön el riasztás előtt. A sikeres ping csak annyit mond, hogy a parancs hiba nélkül lefutott. Hogy a mentésből vissza is lehet állni, azt csak egy próbavisszaállítás mutatja meg.
Mi a helyzet a háttérfeladatokkal?
A háttérben futó feladatoknál (Laravelben a queue-nál) minden sikertelen jobról értesítést küldök, egy service providerben a Queue::failing eseményből vagy a job saját failed() metódusából. Ez viszont csak akkor szól, ha egy job hibára fut. Ha maga a worker áll le, nincs hibás job, nincs esemény, és nincs értesítés sem. Ezt külön kell figyelni: fogynak-e a feladatok, és mennyit várnak a sorban. Horizonnal kérhetsz értesítést a hosszú várakozásról, de a legegyszerűbb itt is az életjel: az ütemező néhány percenként betesz a sorba egy apró jobot, ami a külső figyelőt pingeli. Ha a workerek nem dolgoznak, a ping elmarad.
Még egy buktató: az értesítést ne ugyanazon a soron küldd ki, amelynek a hibáját jelzi. Egy álló sorból a riasztás sem indul el.
Hány csatorna kell?
Legalább kettő, és egymástól függetlenek legyenek. Ami fontos, arról az e-mail mellett push-értesítés, Slack vagy Telegram is megy, az igazán sürgős esetekben SMS. A függetlenség a lényeg: az e-mail és a Teams ugyanabban a Microsoft 365-előfizetésben ugyanattól a szolgáltatótól függ, és a Microsoft szerint a múlt heti leállás a többi Microsoft 365-szolgáltatást is érintette. Ezek tehát egy csatornának számítanak.
A másik szabály a visszaigazolás. Amíg senki nem jelezte, hogy átvette a riasztást, addig senki nem felel érte. Az alkalmazások üzemeltetésére használt ügyeleti eszközök (PagerDuty, Opsgenie és társaik) ezért viszik tovább a riasztást: ha az első ember mondjuk tíz percen belül nem reagál, a következőt hívják. Ha a riasztást valaki átvette, attól a hiba még nincs elhárítva, de már van, aki foglalkozik vele.
Miért kell a helyszínen is szólnia?
A távoli értesítés a karbantartónak hasznos, aki épp nincs a szállodában. Veszélyben viszont a medencénél és a szaunarészlegen lévők voltak. Ahol egy hiba embereket veszélyeztet, ott olyan védelem is kell, ami helyben működik, és nem függ a levelezéstől vagy az internettől. Hogy ennél a medencénél helyi jelzés, automatikus leállítás vagy mindkettő kellett volna, azt a vezérlő ismerete nélkül nem tudom megmondani. A tűzjelző sem véletlenül szól a helyszínen. Az interneten küldött értesítés erre jöhet rá második rétegként.
És nálad mi jelez csak e-mailben?
Medencét jó eséllyel nem üzemeltetsz, de szinte biztos, hogy van olyan folyamatod, amelyik csak e-mailben jelez: mentés, fizetési webhook, lejáró tanúsítvány, telő lemez, beszállítói adatimport. Kérdezd meg a csapatodat: ha ez holnap leállna, miből vennénk észre? Ha az őszinte válasz az, hogy „amikor egy ügyfél panaszkodik”, akkor tudod, mivel kell foglalkozni ezen a héten.
Segítsek?
Ha szeretnéd, hogy valaki átnézze, hogyan jelzi a Laravel- vagy PHP-alkalmazásod a saját hibáit, és pótolja, ami hiányzik (életjel-figyelés, értesítés a sikertelen és az elakadt feladatokról, második csatorna), ilyen munkát Laravel-fejlesztőként vállalok. Írd meg, min fut a rendszered.
Források
- WDR: a Microsoft-leállás miatt nem vették észre a túl sok klórt a Phantasialandban
- Tagesspiegel (dpa): 15 vendég sérült meg a Phantasialandban a túl sok klór miatt
- Tom's Hardware: a Microsoft 365 leállása miatt klórmérgezést szenvedett 15 szállodai vendég
- Office 365 for IT Pros: a 2026. novemberi Exchange Online-leállás idővonala
- Hacker News: hozzászólások az esethez
- Laravel-dokumentáció: URL pingelése ütemezett feladatokból
- Laravel-dokumentáció: a sikertelen jobok kezelése
- Laravel Horizon-dokumentáció: értesítés hosszú várakozásról