2011

25 november 2011 - 04:09 - 07:45 - IAF diensten niet beschikbaar

[Hoofdsite] Door een probleem met de switch in de IAF-kast, waren de IAF-diensten tijdelijk niet bereikbaar. Dit heeft geen invloed gehad op de bereikbaarheid van de systemen van klanten. Helaas bleek een van onze alarmering scripts afhankelijk te zijn van een IAF dienst, waardoor wij het incident niet tijdig hebben gesignaleerd. Dit is natuurlijk aangepast.

31 oktober - 09:30 - 15:00 - NDIX

[NDIX] Op dit moment zijn er problemen met de NDIX locatie Lelystad, wat invloed heeft op onze verbinding Enschede - Amsterdam. Probleem is nog niet gevonden. NDIX heeft de routes aangepast.
Update 17:20 Een glasvezel blijkt beschadigd door graafwerkzaamheden. Reparatie begint dinsdagochtend 7:30. Dataverkeer is sinds maandagmiddag 15:00 uur hersteld via omleiding.

5 augustus 1:00 - 4:00 - peering

[Peering] Het onderhoud van NDIX blijkt in tegenstelling tot wat naar ons gecommuniceerd is, ook onze aansluiting in Enschede zelf te omvatten. Hierdoor zijn onze peerings en directe klantkoppelingen weggevallen. De impact voor sommige klanten is groter dan aangekondigd.

27 juli - inbellen

[inbellen UT] Sinds enige jaren verzorgt IAF de inbelvoorzieningen voor de Universiteit Twente. De authenticatie geschiedt nog via servers van de UT. Daar heeft vandaag een wijziging in de configuratie van de firewall plaatsgevonden waardoor wij geen verbinding meer konden maken. Dat is direct na de meldingen hedenmorgen opgelost.

12 juli - e-mail

[E-mail] Vanaf een machine van een klant is er een grote spamrun verstuurd. Deze heeft de mailserver een aantal keren overbelast. We hebben de betreffende machine afgesloten. Mail kan hierdoor enige vertraging hebben opgelopen. Behalve de mail van de spammer is er niets verwijderd.

06 juli 02:00 - Hoofdsite

[Hoofdsite] Vanwege (vermoedelijk) een DDOS naar onze webservers, waren de websites die daar op draaien, tijdelijk onbereikbaar.
Dit is inmiddels opgelost en de services werken weer als vanouds.

1 juli 13:30 - Hoofdsite

[Hoofdsite] Om 13:15 werd er veel verkeer gegenereerd door een van onze klanten.
Dit heeft bepaalde delen in ons netwerk vertraagd.
Om 13:25 is de verbinding hersteld.

17 juni 11:45 - Hoofdsite

[Hoofdsite] Om 10:45 werd er veel verkeer gegenereerd door een van onze klanten.
Dit heeft bepaalde delen in ons netwerk vertraagd.
Om 10:53 is de verbinding hersteld.

7 april 4:00 - NDIX

[Hoofdsite] Tijdens onderhoud van de NDIX zijn onze BGP-sessies gaan
klapperen. Hierdoor werd ons datacentrum moeilijk bereikbaar.
Om 04:30 is de verbinding hersteld.

25 maart 21:00 - Hoofdsite

[Hoofdsite] Vanwege een DDOS naar een van onze klanten, was onze site
van 21:00 tot 22:00 minder goed bereikbaar.
Dit is inmiddels opgelost en de services werken weer als vanouds.

25 maart 0:12 - NDIX

[NDIX] De NDIX heeft vannacht ongepland onderhoud gepleegd aan de koppeling Enschede-Amsterdam.
06:00 Tijdens dit onderhoud is er iets misgegaan,
waardoor de link tussen Amsterdam en Enschede op het moment niet
functioneert. Ze zijn nu druk bezig deze koppeling weer te
realiseren.
11:55 Probleem veroorzaakt door de glasleverancier van NDIX
Deze zijn nu bezig met het repareren van de lijn.
12:04 Reparatie schijnt gelukt te zijn, onze koppeling is weer up
16:00 Storing nu officieel afgemeld bij NDIX

12 maart - e-mail

[E-mail] Vanaf een machine van een klant is er een grote spamrun verstuurd. Deze heeft de mailserver een aantal keren overbelast. We hebben de betreffende machine afgesloten.
Update 12:10: Omdat de queue nog vol staat met spam moeten we dat handmatig gaan opruimen. Dat wil zeggen dat we het uitsturen van mail even moeten stopzetten om het verder verspreiden van de spam te voorkomen. We willen niet in een blacklist terecht komen. Mail wordt wel opgeslagen, maar zal dus even iets vertraging oplopen.
Update 12:50: Alles is opgeruimd en mail kan weer gaan lopen. We hebben wel een paar keer ook binnenkomende mail voor een paar minuten moeten stoppen.
Update 14:00: Het blijkt dat we niet snel genoeg zijn geweest om te voorkomen dat we op de Hotmail blacklist terecht zijn gekomen. We proberen zo snel mogelijk daar vanaf te komen.
Update 10:30:Inmiddels zijn we van de blacklist bij hotmail verwijderd en is het weer mogelijk om naar hotmail-adressen te mailen.

3 maart 14:00-15:35 - Hoofdsite

[Hoofdsite] Er zijn problemen met het bereiken van een aantal van onze klant vanaf het internet.
Update 14:40: Het probleem lijkt te liggen in de router/switch combinatie waar, murphy willende, natuurlijk de meeste klanten achter zitten. We kijken of een reboot helpt.
Update 15:05: Het probleem lijkt toch dieper in het netwerk te zitten. We zoeken verder.
Update 15:15: We gaan de klanten van rtr-core3 over te zetten naar rtr-core1. rtr-core3 is om nog onduidelijk oorzaken niet opgekomen.
Update 15:30: Hum. rtr-core1 werkt niet mee. Alle klanten gaan nu bij ekaar op rtr-core2. Deze krijgt het wel druk, maar da's beter dan een boel klanten zonder internet. Voor vanavond worden werkzaamheden gepland om deze configuratie weer te normaliseren en een post-mortem analyse te maken.

Zoals u misschien gemerkt heeft, was de bereikbaarheid van onze helpdesk vanmiddag ronduit slecht. Vanwege familieomstandigheden was de helpdesk vandaag toevallig onderbemensd.

14 februari 16:45-22:05 - Amsterdam en ADSL

[ADSL, Amsterdam] De verbinding in Amsterdam is down.
Update 17:15: De router lijkt defect te zijn. We zijn bezig voor vervanging te zorgen.
Update 20:30: Na testen, zover mogelijk op afstand, is besloten een nieuwe router ter vervanging te configuren. Een engineer is met de apparatuur onderweg.
Update 22:05: De router is vervangen en werkt naar behoren. We gaan hem nog even gecontroleerd rebooten om zeker te zijn dat hij op komt als dit noodzakelijk is.

4 februari 01:35-03:45 - Link Enschede-Amsterdam

[ADSL, Amsterdam] De verbinding tussen Enschede en Amsterdam is verbroken Dat betekent dat gebruikers van Bitstream en BBned ADSL de site in Enschede niet kunnen bereiken.
Update 2:00: NDIX heeft aangegeven dat zij bezig zijn met een onverwachte onderhoudsacties. Wat en waarom is niet bekend.

13 januari 04:00-09:00 - Enkele diensten niet beschikbaar

[listserver, proxy, nameserver] Hedenmorgen is 1 van onze systemen uitgevallen. Deze server verzorgt de genoemde diensten.
Update 7:45: De nameserver is overgezet naar een andere server. Door de storing in deze specifieke nameserver waren er ook wat problemen met BBned ADSL lijnen. Als er een verversing van het IP adres nodig was, bleek dat niet te lukken.
Update 9:00: De voeding van de server is kapot. Alle diensten zijn overgezet naar een reserve systeem.

9 januari 06:34-10:32 - Internet verbinding weggevallen

[ADSL, Amsterdam] Door een storing in Amsterdam is de verbinding tussen onze BBned en Bitstream ADSL-aansluitingen en internet verbroken. Whitelabel lijnen hebben hier geen last van.
Ook de co-locatie in Amsterdam blijkt te zijn getroffen.
Update 9:25: We hebben onze leverancier in Amsterdam te pakken gekregen en hij gaat aan de slag.
Update 10:32: De storing is verholpen. Nadere uitleg volgt zo mogelijk. Update 10:40: Een vrij recent geplaatste router bij de upstream provider blijkt deze spontane storing te hebben veroorzaakt.