IAF: Verholpen storingen

U bevindt zich op:
Home »
Helpdesk »
Storingen »
1999-2010

Verholpen storingen

Op deze pagina staan de oude storingen aan onze apparatuur, telefonie- of netwerkverbindingen.

Een overzicht van de oude, verholpen storingen

2010

30 december 16:00 - 16:15 - Wegvallende verbinding: [Enschede] De verbinding tussen IAF en internet is weggevallen.
Update 16:10: Er blijkt een broadcaststorm op te treden. Hierdoor wordt er zoveel verkeer gegenereerd via de centrale switches dat verkeer van en naar internet er niet meer tussendoor kan. Het blijkt dat een nieuwe switch standaard Spanning Tree Protocol niet aan heeft staan. Als je die switch dan redundant aansluit, creeer je een loop. Dat is verholpen door die switch correct in te stellen.
17 december - 23 december - Wegvallende ARP requests: [Hoofdsite] Tussen de klantsystemen en de routers blijken sporadisch ARP-requests weg te vallen. Dit kan leiden tot haperingen van enkele seconden in de verbindingen. We werken aan een oplossing.
Update 18 december: Na het verhuizen van de core routers naar de nieuwe locatie blijkt het probleem te zijn verdwenen voor de klanten op de nieuwe locatie. Het lijkt er echter op dat klanten op de oude locatie nu het probleem ondervinden. We zoeken verder naar de daadwerkelijke oorzaak.
Update 20 december 21:15 De laatste aansluitingen van de core-switch op de oude locatie zijn overgezet. Deze switch gaat naar de nieuwe locatie.
Update 20 december 21:30 Grr. Massieve loop gemaakt doordat 2 poorten niet in de RSTP configuratie waren opgenomen. Nog steeds sporadische loss.
Update 21 december 22:05 De laatste core-switch geupgrade om firmware issues uit te sluiten.
Update 22 december 21:30 Flow control op de onderlinge 12Gbps koppelingen uitgezet. Definitely a bad idea.
Update 23 december 12:24 Hmmm. na uitgebreid monitoring zien we nog steeds loss op switch-core2, blijkt op die switch ARP inspection aan te staan... Erg vreemd. Direct uitgezet en weer aan het monitoren geslagen.
Update 24 december 16:00 Het probleem is niet verder geconstateerd.
9 december 2010 16:50 - 17:20 - Storing e-mail en webserver: [E-mail/Web] Vanwege een defecte switch zijn enkele mailservers en een van onze webservers een half uur onbereikbaar geweest. Hierdoor is een half uur vertraging ontstaan in de mailafhandeling.
28 november 2010 18:00 - 21:53 - Storing webmail: [Webmail] Bij het opstarten van de webmail server bleek een niet onbelangrijk onderdeel niet te starten en was het daardoor niet mogelijk in te loggen op de webmail server.
N.B. De mail zelf werd wel goed ontvangen!
5 november 2010 11:22 - 12:42 - Storing BBned: [ADSL BBned] Naar het zich laat aanzien is er een landelijke storing bij BBned waardoor een deel van de verbindingen down is. De storing is gemeld bij de leverancier. We kunnen nog niet inschatten hoe lang het duurt voor het is opgelost.
Update 11:49: BBned heeft bevestigd dat het een landelijke storing betreft, maar er is nog geen eindtijd bekend.
Update 12:42: De storing is opgelost. Het probleem zat in hun core-netwerk in Amsterdam.
Update 14:07: Meer info over de storing is hier te lezen.
29 oktober 2010 08:40 - 15:30 - Storing Transit: [Glasvezel] Vanwege een beschadigde fiber in Munster (Duitsland) is de verbinding met een van onze transits uitgevallen.
Dit heeft geen gevolgen voor het functioneren van onze diensten.
Update:De verbinding is inmiddels weer hersteld
25 augustus 16:50 - 09:40 - Storing en spoedwerkzaamheden Equinix: [Hoofdsite] Op 25 augustus rond 16:50 uur bleek dat ons netwerk vanaf sommige providers niet benaderbaar was. Er bleek zich een probleem voor te doen op een van de core routers van Equinix wat tot korte onderbrekingen leidde. Rond 18:30 was de verbinding weer stabiel. Equinix heeft in de nacht van 25 op 26 augustus spoedonderhoud uitgevoerd om de problemen op te lossen.
18 augustus 14:45 - 15:25 - Storing Glasvezel Ziggo: [Glasvezel] Momenteel ondervindt Ziggo een storing op haar glas-netwerk.
Klanten met een glasverbinding van IAF op het netwerk van Ziggo, kunnen hiervan hinder ondervinden.
Update De storing is inmiddels weer verholpen.
29 juni 16:30-18:15 - Storing Webmail: [Webmail] Door een storing was de webmail enige tijd niet toegankelijk. De mailboxen waren met mailclients via POP3 en IMAP gewoon te benaderen.
23 juni 13:41 - 13:42 -: [Hoofdsite] De telefonische helpdesk is kortstondig onbereikbaar geweest vanwege een issue met de telefooncentrale.
18 juni 14:17 - 15:39 - Storing telefooncentrale: [Servicedesk] De telefonische helpdesk is kortstondig onbereikbaar geweest vanwege een issue met de telefooncentrale.
4 juni 13:50 - 15:30 - Mailvertraging: [E-mail] Vanwege een issue met een van de mailscanners kon de mail wat vertraagd aankomen. Het probleem is inmiddels verholpen en de mailafhandeling loopt weer zonder vertraging.
18 mei 10:00 - Korte onderbreking ADSL: [ADSL BBned] Rond 10:00 uur hebben de BBned ADSL verbindingen een kortstondige onderbreking ondervonden vanwege een storing bij de leverancier. De routering is direct aangepast waardoor de verbinding na enkele minuten weer werkte. In de loop van de middag zal de leverancier de defecte apparatuur vervangen wat mogelijk tot een korte onderbreking kan leiden.
23 maart 6:34 - 21:05 - Equinix: [Hoofdsite] Door onaangekondigd onderhoud van een van onze netwerkleveranciers Equinix, zijn onze servers momenteel willekeurig voor korte perioden slecht tot niet bereikbaar. Ze verwachten rond 7 uur klaar te zijn, met eventuele uitloop tot 8 uur.
Update 08:01: Inmiddels is er niet meer sprake van een onderhoud, maar een storing.
Update 08:49: De diensten zijn grotendeels weer bereikbaar, alhoewel het wel traag gaat en er nog regelmatig onderbrekingen zijn.
Update 09:30: We hebben aan onze kant Equinix als transit tijdelijk uitgezet in de hoop dat hun problemen onze andere transits niet beinvloeden.
Update 21:05: Equinix is weer actief gemaakt.

2009

24 december 11:35 - 11:45 - Router: [Hoofdsite] Er waren problemen om de hoofdsite te bereiken en via de hoofdsite internet te bereiken.
Update: De routering op heel internet heeft kortstondig problemen ondervonden. Hierdoor kreeg de router het zo druk met routeflaps dat er 40-60% packetloss optrad.
15 december 8:36 - 16:53 - Cogent: [Hoofdsite] Cogent, een van onze 3 transits, heeft op hun hoofdlocatie een glasvezelbreuk gehad welke een groot deel van de dag duurde om te repareren. Onze andere transits hebben het verkeer zoals gebruikelijk overgenomen zonder interrupties in de dienstverlening.
3 augustus 11:08 - 11:16 - NDIX: [NDIX] Door een fout in de configuratie bij de NDIX is een loop ontstaan die bij alle aangesloten partijen voor kortstondige overloads op de routers zorgde. Dit zorgde voor problemen op de verbindingen tussen de aangesloten providers en voor onze koppeling naar Amsterdam en de ADSL-aansluitingen.
16 juli 14:05 - 14:25 - Hoofdsite: [Hoofdsite] Door een routeringsprobleem op de centrale router was ons datacentrum alleen nog maar te benaderen via onze eigen ADSL verbindingen en de glasvezelverbinding vanuit Amsterdam.
7 juli 12:48 - 12:55 - DDoS: [Hoofdsite] Vanwege een DDoS aanval op ons netwerk werd meer dan 70MBit aan data verstuurd over onze glasverbinding, wat tot resultaat had dat de servers in ons datacentrum minder goed bereikbaar waren.
30 juni - 1 juli - Blacklisted: [Mail] Mail afkomstig van onze mailserver wordt op dit moment geweigerd door de servers van Hotmail. Dit probleem is gemeld bij Hotmail, maar dit heeft nog niet geleid tot een oplossing.
Update 1 juli: Mailen naar Hotmail is weer mogelijk
29 juni - 30 juni - E-mailvertraging: [Mail] Vanwege een explosieve toename van de hoeveelheid inkomende spam worden onze mailservers dusdanig belast dat er vertraging optreedt in de mailafhandeling.
Update 14:00: RDNS controle toegevoegd aan de mailserver. Er wordt nu meer spam tegengehouden, waardoor de load op de servers daalt en de mail weer normaal wordt afgehandeld.
11 juni 12:27 - 0:30 - NDIX: [Extern] NDIX meldt dat er af en toe korte onderbrekingen plaatsvinden in de fiberverbinding tussen Deventer en Amsterdam. De fiberleverancier is op zoek naar de oorzaak van het probleem.
Update 16:30: Aangezien de fiberleverancier nog niet kan aangeven wat de precieze oorzaak van het probleem is, gaat NDIX morgen in ieder geval het tracé Deventer-Amsterdam omleiden.
Update 19:20: De verbinding is om 19 uur gedurende 20 minuten opnieuw weggevallen.
Update 0:30: De fiberleverancier heeft de oorzaak kunnen achterhalen en apparatuur vervangen. De verbinding is weer stabiel.
8 juni 09:10 - 09:30 - Hoofdsite: [Hoofdsite] Vanwege een stroomstoring zijn enkele machines in ons datacenter uitgevallen. De uitgevallen machines (waaronder de routers) zijn inmiddels weer gestart.
Update: 9:30: Bij de buren is door een defecte waterkoker de aanlekschakelelaar aangesproken. Nu kan en mag dit bij ons geen invloed hebben, we hebben tenslotte onze eigen stroom- en aardaansluiting, UPS en schakelkast, maar toch wist Murphy ons te verrassen met een onverwachte aardlek-test :(
3 juni 14:58 - 15:10 - NDIX: [Extern] Op dit moment is er een stroomstoring bij Equinix (Enschede). Klanten die gebruik maken van een NDIX verbinding kunnen geen gebruik maken van hun verbinding.
Update 15:10: NDIX is weer op, nog niet alle partijen waar wij mee peeren zijn op. Ook geeft een transit nog problemen.
Update 16:10: Op dit moment zijn alle verbindingen via de NDIX weer operationeel. Een van onze transits (Ziggo) heeft echter nog problemen, hun router staat nog zonder stroom naar het schijnt.
Update 17:30: Ziggo is weer op, de meeste routes slaan weer terug via hun verbinding.
31 mei 22:42 - 23:23 - Switches: [Hoofdsite] Zucht, een ongeluk komt zelden alleen, zoals ze zeggen. Bij het beveiligen van de core-switches bleek een van de instellingen de onderlinge 10Gbit verbindingen te verstoren. Hierdoor zagen de core- en fiber switches elkaar niet meer en vielen diverse (glasvezel) verbindingen weg. Ook BGP moest zich instellen op de nieuwe situatie waardoor enige minuten geen internet verkeer meer mogelijk was.
Update 22:47: BGP heeft geherrouteerd zodat internet verkeer voor de niet glas aangesloten klanten weer functioneerde.
Update 22:57: diagnose switches gestart om te achterhalen welke van de opties nu precies de crux was.
Update 23:08: Fix gevonden en doorgevoerd. We zien de glasverbindingen nu langzaam allemaal weer op komen.
30 mei 14:25 - 15:45 - Websites: [Kast 5] Een kastswitch gedraagt zich vreemd. Hierdoor zijn enkele websites van klanten niet benaderbaar.
30 mei 13:40 - 14:40 - Router: [Hoofdsite] Door een probleem in de routering is een deel van internet niet bereikbaar vanaf onze hoofdsite. En omgekeerd dan natuurlijk ook.
Update: 14:00: Het lijkt er op dat het alleen de eigen machines van IAF zijn die hier last van hebben. Dat betekent echter wel dat ook de nameservers op de hoofdsite hier last van hebben en dat een aantal verbindingen traag zullen zijn.
Update: 14:40: Een switch in het netwerk gedraagt zich vreemd t.o.v. het nieuwe routernetwerk. We hebben tijdelijk dat routernetwerk uitgeschakeld tot we de reden van het vreemde gedrag hebben ontdekt en opgelost.
26 mei 2009 14:50 - 18:30 - Coolhosting: [Coolhosting] De Coolhosting (Linux) server wordt op dit moment zwaar belast en is daardoor minder responsive dan normaal. We zijn op zoek naar de oorzaak en proberen het z.s.m. te verhelpen.
Update 16:20:De websites draaien weer en u kunt ook weer mail ophalen. Nieuwe mail wordt echter nog niet geaccepteerd i.v.m. de load-problematiek.
Update 18:20:Nieuwe mail wordt weer geaccepteerd nadat er aanpassingen zijn gedaan aan de website van een klant. Door zeer inefficiente database queries en extern misbruik zorgde deze site in zijn eentje voor alle overbelasting.
24 mei 2009 23:30 - 23:40 - Router: [Hoofdsite] Een windows machine van een van onze klanten is overgenomen door onbevoegden en dit weekend ingezet als scanmachine. De hoeveelheid verkeer heeft door de hoge drukte op de hoofrouter voor pakketverlies gezorgd. De machine is afgesloten.
23 mei 2009 10:40 - 24 mei 21:53 - Coolhosting: [Coolhosting] De machine van coolhosting is weer out of memory geschoten. Normaal zou onze monitoring dit hebben medegedeeld zodat we het probleem snel konden fixen. Alleen de telefoon waarop de alarmberichtjes binnenkomen was dit weekend totaal gecrashed :( Hierdoor heeft ook het storingsnummer niet gewerkt. Alles was rond 10 uur weer operationeel.
21 mei 2009 10:40 - 10:53 - Router: [Hoofdsite] De nieuwe juniper router schijnt issues te hebben en moest vanochtend weer gerest worden. Er is een case bij de leverancier geopend om tot een stabiele oplossing te komen.
3 mei 2009 14:06 - 14:55 - Router: [Hoofdsite] De communicatie met externe routers werd steeds verbroken. Hierdoor vielen alle verbindingen naar buiten, behalve die van onze locatie in Amsterdam, uit. Dit werd veroorzaakt doordat een externe router gebruik maakte van een nieuw onderdeel van het BGP protocol. We hadden hiervoor onlangs nieuwe software geïnstalleerd, maar daar bleek nu, bij de eerste test, nog een bug in te zitten. Installatie van de versie van 30 april 2009 bleek het probleem te verhelpen.
16 april 2009 00:05 - 00:27 - Xen-Server: [Xen server] Een van de xenservers die vanavond is uitgerust met 6GB geheugen bleek een oudere versie van Xen te draaien, welke bijzonder vreemd reageert als hij wordt geconfronteerd met meer dan 4GB geheugen. Crashes van de sommige van de virtuele machines etc... Als tijdelijke workaround is softwarematig het geheugen gelimiteerd tot 4GB. Binnenkort zal de machine van CentOS5.3 worden voorzien (met dus een nieuwe xen hypervisor).
8 april 2009 13.55 - 13:58 - Router: [Hoofdsite] De centrale router is gecrashed en heeft zichzelf opnieuw gestart. Dit leverde natuurlijk wel een korte onderbreking in de dienstverlening op.
11 februari 2009 17:00 - 18:00 - NDIX: [NDIX] Om 17:00 uur is de glasvezelkoppeling tussen Enschede en Amsterdam weggevallen. Dit had als gevolg dat klantservers in Amsterdam alleen bereikbaar waren vanuit routes in Amsterdam, maar niet meer via de NDIX. Om 18:00 uur is de verbinding hersteld.
21 januari 2009 10.50 - 13:00 - xDSL BBned: [xDSL BBned] Op dit moment is er een storing op een nog onbekend aantal BBned ADSL en SDSL aansluitingen in het BBned netwerk. BBned is hiervan op de hoogte en werkt aan een oplossing.
Update 12:10: Het lijkt erop dat de lijnen per stuk opkomen. Mocht de verbinding nog niet werken, dan even het modem van de spanning afhalen en weer terugplaatsen.
De storing is afgemeld door BBned. Mocht u nog geen verbinding hebben dan zult u de modem even van het stroom afhalen en weer terugplaatsen an het stroom.
14 januari 2009 13:29 - 13.40 - DDoS: [Hoofdsite] Een Denial Of Service (DOS) attack van een van onze co-geloceerde klantmachines heeft onze centrale router zodanig belast dat hij het normale routeringswerk niet meer aankon. De klantaansluiting is uitgeschakeld.
6 januari 2009 00:06 - 00:16 - DDoS: [Hoofdsite] Een Denial Of Service (DOS) attack van een van onze co-geloceerde klantmachines heeft onze centrale router zodanig belast dat hij het normale routeringswerk niet meer aankon. De klantaansluiting is uitgeschakeld.
Update 9:52: Vanochtend bleek de peering sessies via de NDIX te hebben geleden onder het incident. Sessies opniew geïniteerd.

2008

29 december 2008 16:27 - 16:36 - Router: [Hoofdsite] De centrale router in Enschede was al zijn routes verloren. Hierdoor wist hij niet meer welke edge router hij moest aanspreken om verkeer met Internet uit te wisselen. Nadat we dat hersteld hadden, werkte alles weer.
9 december 2008 14:12 - 15:30 - Landelijke storing Ziggo: [Landelijk] Op dit moment is er een grote, landelijke storing bij Ziggo (het oude Essent) aan de gang. Dit heeft gevolgen voor de internet connectivity van delen van Nederland. Ze zijn hard bezig het probleem te verhelpen...
4 december 2008 18:05 - 21:05 - Uitgaande mail: [Uitgaande mail] klanten die gebruik maken van smtp.iaf.nl om hun uitgaande mail te sturen vanaf een IAF Internet aansluiting, kregen de onheilspellende mededeling dat ze zich moesten authoriseren. Dit was (en is) niet de bedoeling. Bij de installatie van een recentere versie van de mailsoftware is een bestandje meegekomen wat de authenticatie in de war schopte. Verwijderd!
26 november 2008 15:00 - 15:25 - IAF: [Hoofdsite] Bij het aanpassen van de firewall op de hoofdrouter kwam de machine dusdanig in war dat hij herstart moest worden. Normaal levert dit een onderbreking van hoogstens een paar minuten op. Nu echter bleek de machine in zijn oneindige wijsheid de netwerkinterfaces in de verkeerde volgorde te detecteren. Hierdoor kwamen de routeringsprotocollen niet op en, hoewel de router draaide, functioneerde hij niet zoals gepland. Een engineer heeft ter plekke de 2 niet meer gebruikte netwerkinterfaces die dwars zaten softwarematig uit gezet. Zucht. Mischien de router maar iets vaker dan eens per jaar herstarten? :)
26 november 2008 03:45 - 8:45 - Coolhosting: [Coolhosting] Een partitie op de hardeschijf van de Linux server gaf een fout waardoor hij gecontroleerd moest worden, helaas kan dat alleen door de server totaal opnieuw te starten. Na de controle bleek alles in orde en draaide e.e.a. naar behoren.
7 november 2008 16:30 - 8 november 17:30 - Coolhosting: [Coolhosting] De Coolhosting Windows server is onverwacht gecrashed. Bij het rebooten ging hij een filesystemcheck uitvoeren. Omdat die niet opschoot hebben we na 4 uur besloten om de disk te verwijderen en die in een ander systeem te controleren. Die filesystemcheck duurde vervolgens 14 uur.
Zaterdag rond 13:00 uur konden we de disk verder controleren. Voor alle zekerheid hebben we ook een ghost image gemaakt. Uiteindelijk bleek de schijf rond 17:00 weer goed te functioneren.

Update 18:00 uur:
We hebben gemerkt dat er wat fouten op de harde schijf zitten. We zullen die schijf binnenkort een keer moeten vervangen. We zullen u hiervan op de hoogte stellen via onze werkzaamhedenpagina.
6 november 2008 15:26 - 7 november 17:30 - Coolhosting: [Coolhosting] De Windows server is na het installeren van updates niet goed opgekomen vanwege problemen met het filesystem. Onze technici zijn op dit moment bezig met het bepalen van de oorzaak waarna de problemen verholpen worden.
31 oktober 2008 15:10 - 15:40 - Telecity: [Landelijk] Door een defecte hoofdschakelaar bij Telecity zijn zowel de A- als de B stroomfeeds eruit geklapt.
De storing geld voor onze klanten met een BBNed ADSL verbinding en voor klanten met een machine in ons datacentrum in Amsterdam.
Update 16:10: Klanten met een BBned aansluiting waar de verbinding nog niet lijkt te werkten (wel DSL lampje, maar geen internet) geven we de tip om het IP adres wat via DHCP is verkregen, opnieuw aan te vragen. Dit kan door het ADSL modem uit/aan te zetten of (bij bridge setup) de achterliggende router.
27 oktober 2008 21:06 - 0:00 - AMS-IX: [Landelijk] Door een stroomstoring bij 1 van de grote datacentra in Amsterdam zijn grote delen van Internet slecht of niet bereikbaar.
Zowel de hoofdsite als de ADSL aansluitingen hebben hier last van.
14 oktober 2008 9:30 - 15 oktober 15:00 - AMS-IX: [Landelijk] Door een stroomstoring bij de AMS-IX zijn er de hele dag problemen met verbindingen met diverse delen van Internet. Op het ene moment werkt een verbinding goed en even later niet meer. Soms duurt zoiets een paar minuten. Soms duurt dat een kwartier. Wij kunnen hier niets aan doen, maar moeten wachten tot alles zich heeft gestabiliseerd.
Zowel de hoofdsite als de ADSL aansluitingen hebben hier last van.
2 oktober 2008 11:35 - 12:02 - DDOS: [Hoofdsite] Door een Denial of Service attack op het IP adres van een van onze klanten is de bereikbaarheid van de hoofdlocatie ernstig benadeeld. Ook het blokkeren van het IP adres op onze frontend router hielp weinig, daar de massale hoeveelheid bandbreedte onze verbindingen met onze transit providers overbelasten.
19 september 2008 8:39 - 23:31 - BBned xDSL: [xDSL BBned] Enkele DSL lijnen in Hengelo waren down vanwege defecte hardware in de centrale van Hengelo. Vervangende apparatuur is rond 12:00 uur gearriveerd maar dat bleek het probleem niet te verhelpen. Om 14:30 uur is met nieuwe apparatuur geprobeerd de verbindingen weer operationeel te krijgen. Ook dit is niet direct gelukt. Uiteindelijk zijn om 23:31 alle problemen verholpen. Mocht de verbinding nog niet werken, zet dan het modem even uit en weer aan.
16 september 2008 8:55 - 11:35 - BBned xDSL: [xDSL BBned] In gedeelten van Enschede, Amsterdam, Rotterdam, Zaandam, Utrecht, Haarlem, Arnhem en Leeuwarden waren enkele onderbrekingen van xDSL verbindingen van BBned. De oorzaak bleek te liggen in een hardware storing.
13 september 2008 12:32 - 12:55 - Hoofdsite: [Hoofdsite] Door een denial of service (DDOS) aanval op een van onze IP adressen, werd onze belangrijkste internet verbinding naar buiten dichtgedrukt met 'onzin' verkeer. Na blokkeren van de aanvaller, bleek snel dat onze core router diverse verbindingen met de satelliet routers kwijt was (hierdoor kon een DEEL van het internet niet op ons netwerk komen. Dit laatste probleem is rond 12:55 verholpen.
14 augustus 2008 16:00 - 16:45 - Hoofdsite: [Hoofdsite] Bij het upgraden van de verbinding naar de NDIX en de Universiteit Twente is een fout opgetreden waardoor er excessief verkeer optrad (loop). Hierdoor waren de site en alle lokaal aangesloten klanten niet meer bereikbaar.
Update 16:30: De site is weer operationeel, maar enkele klanten hebben nog problemen.
Update 18:30: Bij het eigenlijke in productie nemen bleek er toch nog een restantje in de test-configuratie te draaien, zodat er weer een loop is ontstaan. Nadat deze opgelost was, bleek de centrale router er de buik er van vol te hebben, en was hij voor het gemak ongeveer 75% van zijn routes kwijt geraakt.
10 juli 2008 14:00 - 17:00 - Uitgaande e-mail: [Uitgaande mail] Vanwege een onverwachte afhankelijkheid in een update van de mailserver, draaide de mailscanner voor smtp.iaf.nl niet meer. We hebben daarom maar meteen van de gelegenheid gebruik gemaakt om de nieuwste versie te installeren.
5 juli 2008 4:00 - 11:00 - Storing BBNed noord Nederland: [xDSL BBned] Er was een storing in het BBned netwerk in noord Nederland. Hierdoor was een groot deel van de xDSL verbindingen aldaar buiten gebruik. BBned heeft ons niet gemeld wat de bron van de storing is geweest.
17 juni 2008 14:00 - 17:15 - Storing BBNed: [xDSL BBned] Er is op dit moment een storing in het BBned netwerk, waarvan een onbekend aantal BBned verbindingen last ondervinden. Een BBned monteur is op dit moment op lokatie om dit probleem te verhelpen.
Update 17.15: Het probleem lag in de centrale van BBNed. Hier is een kaart in vervangen en daarmee was het probleem opgelost.
10 juni 2008 10:37 - 11:07 - Website: [Webservers] Een van de hoofd-webservers is tijdelijk onbereikbaar geweest vanwege een probleem met de configuratie.
15 mei 2008 13:30 - 16:15 - Email storing: [Inkomende mail] Door het uitvallen van een cruciaal proces (sendmail) kon er tijdelijk geen mail meer afgeleverd worden. Dit duurde even voordat het werd opgepakt omdat wij vanuit kantoor nog wel mail af konden leveren bij de klanten (via de webmail). Het proces is nu in de alarmering opgenomen zodat dit niet weer (ongemerkt) kan voorkomen, we krijgen dan direct een melding van het systeem.
13 mei 2008 11:12 - 19 mei 2008 11:00 - Landelijke KPN ADSL storing: [ADSL, KPN] Volgens onze leverancier van whitelabel lijnen zijn er problemen met de koppeling van KPN en hun aanbieders. Er wordt op dit moment door KPN hard gewerkt aan een oplossing.
Update 14 mei 9:44: De landelijke storing in het KPN ATM netwerk is nog niet opgelost. Er is gisternacht herstel gestart, maar vanmorgen vroeg is er weer een storing ontstaan. Er is nog geen verwachte oplostijd.
Update 19 mei 11:00: Het is ons onder de aandacht gebracht dat er de komende dagen diverse korte onderbrekingen zullen zijn op verbindingen aangesloten op het KPN netwerk. Deze onderbrekingen komen voort uit voor ons onaangekondigd onderhoud door KPN naar aanleiding van de landelijke ATM storing van afgelopen week.
13 mei 2008 9:30 - 17:00 - telefoon kantoor: [Kantoor] Vanwege een brand in de buurt van ons kantoor zijn we door de politie gevraagd ons pand te evacueren. Hierdoor zijn de normale telefoonnummers niet bemand. In geval van storingen kunt u ons (vanaf 10 uur) tijdelijk bereiken op 053-*******.
18 april 2008 18 uur - 20 april 10 uur - Webmail down: [Webmail] Door een restart van de webmail server en het niet starten van een cruciaal process t..b.v. het inloggen bij de webmail is deze dienst uit de lucht geweest. Na de start van dit oh zo belangrijke process draaide alles naar behoren.
3 april 2008 5:44 - 9:16 - Enschede, NDIX: [NDIX] Door de werkzaamheden van de toeleverancier NDIX van hedennacht zijn door configuratie fouten 2 bedrijfsverzamelgebouwen van internet verstoken gebleven. De gebouwen waren het MMS gebouw (Enschede) en de Valkenaer (Oldenzaal).
24 maart 2008 14:50 - 15:15 - Enschede, internet: [Hoofdsite] De hoofdrouter in Enschede had problemen met de routeringinformatie die hij zou moeten ontvangen van externe routers. Hierdoor dacht hij dat hij niet meer kon routeren met als gevolg dat de reserve router het overnam. Maar die wist ook niet wat hij moest doen. De routering kregen we om 15:00 weer terug op de hoofdrouter. Alleen de reserve router wilde het verkeer nog niet vrijgeven.
We overleggen met de beheerders van de externe router waarom de informatie niet werd verstrekt. We kijken samen naar een oplossing waardoor dit niet meer zou moeten gebeuren.
24 maart 2008 13:25 - 13:35 - ADSL, Amsterdam: [Amsterdam] Bij een upgrade van de software van de router in Amsterdam bleek er een fout te zitten in de configuratie. Die fout bleek bij de oude versies van de software geen invloed te hebben gehad, maar de nieuwe versie reageerde op die fout door alle verbindingen te verbreken. De fout is uit de configuratie gehaald.
22 maart 2008 16:15 - 17:09 - Enschede, internet: [Hoofdsite] Door een firmwarefout in een van onze oudere switches wat pas tot uiting komt bij hoge verkeersstromen, is ons redundant opgezet switch netwerk verstoort. De diagnose van het probleem werd ernstig bemoeilijkt doordat eerst een engineer op locatie moest komen alvorens met de probleem oplossing kon worden begonnen (normaal kunnen we in 90% van de gevallen dit remote doen). De storing had voornamelijk invloed op de IAF machines, maar aangezien deze ook de nameservers draaien, kan het ook voor de klant machines inpact hebben gehad.
15 maart 2008 21:30 - 16:52 - Coolhosting mail: [Coolhosting] Door het vollopen van een partitie op de coolhosting machine kon de mail niet worden afgelevered in de lokale mailboxen. Uit nadere analyse bleek een programma uit 2005 logbestanden te analyseren, op te slaan en niet te wissen :( Dit (test)programma is gestopt, en de oude bestanden zijn opgeruimd.
Update 17-03-2008: Het schijnt dat door de volle partitie mailtjes zijn afgekapt tot 0 bytes. Deze moeten helaas als verloren worden beschouwd. Mailtjes die vanaf zondagavond zijn binnengekomen zijn correct.
13 maart 2008 14:30 - 16:18 - Inbelverbindingen: [Inbellen] Op dit moment is er een storing op de ISDN30 inbelbank. Hierdoor is het niet mogelijk om via modem of ISDN in te bellen. We werken aan een oplossing.
Update 16:18: KPN heeft de verstoring zonder verdere uitleg verklaring opgelost.
22 februari 2008 12:52 - 13:16 - ADSL Whitelabel: [xDSL KPN] Vanwege een storing bij de Whitelabel DSL leverancier hebben sommige lijnen op dit moment geen verbinding. Hun afdeling Techniek is reeds op de hoogte en bezig de oorzaak van dit probleem zo snel mogelijk te achterhalen en op te lossen.
Update 13:16: Er bleek een storing te zijn in de hardware en dit is vervolgens direct on-site door een netwerkengineer verholpen.
13 februari 2008 - onbekend - Nieuwsgroepen: [Nieuws] De universiteit is gestopt met het doorgeven van nieuwsfeeds. Daarom zijn de nieuwsgroepen niet langer bereikbaar. We zijn nog op zoek naar een alternatief.
1 februari 2008 12:00 - 17:00 - Inbelverbindingen: [Inbellen] Vanwege een storing op de ISDN30 inbelbank ondervinden analoge inbellers problemen met het behalen van de maximale snelheid. Tevens is het mogelijk dat de verbinding wegvalt. Wanneer er via ISDN wordt ingebeld zijn er geen problemen.
Update 17:00:Er kan weer normaal en op volle snelheid ingebeld worden.
28 januari 2008 12:00 - 15:00 - Hosting: [Landelijk] Op het internet zijn sinds vanmiddag interconnect problemen tussen @Home (een van onze internet leveranciers) en KPN.
Dit uit zich in langzame toegang tot webpagina's en email. We hebben dit probleem aangemeld bij genoemde partijen en zij verzekerden ons dat het hun volledige aandacht heeft. Helaas kunnen ze nog niet aangeven wanneer het probleem zal zijn verholpen.
Update 15:00: Essent heeft de routering aangepast waardoor de problemen lijken te zijn opgelost.
17 januari 2008 12:15 - 15:30 - Inbelverbindingen: [Inbellen] Wegens een migratie van KPN was het enige tijd niet mogelijk om in te bellen.
16 januari 2008 17:00 - 19:25 - webmail, DNS: [Webmail] Er zijn problemen met de webmail server en DNS. Beide servers zijn virtuele omgevingen op dezelfde machine en die machine blijkt problemen te hebben. Hierdoor is het niet mogelijk om gebruik te maken van webmail.
Het bezoeken van websites kan vertraging opleveren bij de initiële verbinding. PC's zullen automatisch overschakelen op de andere nameserver maar dat kan enige seconden duren.
Update 19:15: Op deze machine draait ook de update-server voor IAF Enterprise Linux. Het is dus niet mogelijk om updates op te halen. Dit bleek toen we een update nodig hadden voor deze machine.
15 januari 2008 13:00 - 21:00 - Hosting: [Landelijk] Op het internet zijn sinds vanmiddag interconnect problemen tussen @Home (een van onze internet leveranciers) en KPN.
Dit uit zich in langzame toegang tot webpagina's en email. We hebben dit probleem aangemeld bij genoemde partijen en zij verzekerden ons dat het hun volledige aandacht heeft. Helaas konden ze niet aangeven wanneer het probleem zou zijn verholpen.
Update 17:00: Er is een probleem ontdekt op een interconnect van de AMS-IX. Deze is tijdelijk uitgeschakeld en de problemen zijn hierdoor vrijwel verdwenen. In de loop van de avond is er een permanente oplossing gerealiseerd.
3 januari 2008 10:00 - 12:30 - Datacentrum: [Hoofdsite] Het blijkt dat de centrale router op onregelmatige momenten overbelast raakt. Hierdoor vallen af en toe verbindingen weg. We zijn druk bezig het probleem te analyseren. Het feit dat er op sommige momenten geen probleem is, bemoeilijkt het zoeken van de storing. Als we een herstelactie hebben uitgevoerd weten we namelijk niet zeker of die actie het probleem heeft verholpen of dat het een tijdelijke verbetering betreft.
Update 12:00:Het lijkt er op dat ons netwerk gebruikt wordt voor een DDoS aanval. Hierbij stuurt een besmette machine verkeer naar een machine bij ons. Dat verkeer heeft een vervalst afzenderadres en daardoor sturen de machines bij ons verkeer naar dat afzenderadres. Dat is dan het adres van het slachtoffer. Het lijkt er op dit moment op dat een machine van een klant van ons is besmet en we zijn druk bezig om die machine te vinden. Door in ieder geval te filteren op het afzenderadres kunnen we een deel van de overbelasting verminderen.
Update 12:20:We hebben de besmette machine kunnen localiseren als een baby-server in beheer bij een klant van ons. We zijn de machine aan het opschonen en verwachten dat het probleem binnen enkele minuten volledig over zal zijn.

Dienst	Tijdsduur	Up-percentage
Landelijk	2712	99,48%
Site, Enschede	358	99,93%
Site, Amsterdam	10	99,99%
Inbellen	543	99,90%
xDSL, KPN	2184	99,58%
xDSL, BBned	1667	99,68%
Uitgaande mail	360	99,93%
Inkomende mail	166	99,97%
Webmail	2545	99,52%
Webservers	30	99,99%
Coolhosting	4506	99,14%
NDIX	212	99,95%

2007

7 december 2007 8:30-19:50 - inbellen

Door een storing bij 1 van onze leveranciers van telefonie komen inbelpogingen niet meer aan bij onze apparatuur. KPN heeft onze oorspronkelijke leverancier overgenomen en zou in december de verbinding overzetten. Nu blijkt echter dat de overzetting niet is uitgevoerd, maar dat onze telefoonnummers ook niet meer bruikbaar zijn op de bestaande verbinding.
Update 14:00: We overleggen met onze leveranciers, maar omdat de lijn in de migratie zit, is niet duidelijk waar het probleem gezocht moet worden.
Update 18:00: Het lijkt er op dat er een nieuw nummer op de lijn zit. Dat nummer kan in noodgevallen gebruikt worden om in te bellen. Houdt er echter rekening mee dat dit nummer waarschijnlijk binnenkort weer zal vervallen.
Update 19:00: Het blijkt dat dit het reguliere nummer van een accountantskantoor is. Die zitten vlak bij ons op het Business & Science Park. Dat lijkt de oplossing te hebben versneld.

5 november 2007 9:45-10:20 12:00-12:30 - Local-loop met UT

Door een storing op de Universiteit Twente is er geen verkeer mogelijk tussen onze klanten op het universiteitsnetwerk (Local-Loop) en ons eigen netwerk. Derhalve is er ook geen toegang tot Internet voor deze klanten. De beheerders van de Universiteit Twente zijn druk bezig de storing te verhelpen.

4 oktober 2007 0:00-12:30 - E-mail

Om nog onbekende redenen blijkt er mailvertraging op te treden. We zijn op zoek naar de oorzaak. Om doorstroom te verhogen hebben we het tijdrovende gedeelte van de spamscanning tijdelijk uitgeschakeld. Het kan voorkomen dat er even meer spam dan normaal doorheen glipt. [Update 12:30] Een van onze klanten bleek last te hebben van een op hol geslagen router die automatisch volcontinu waarschuwingsmail bleef sturen. Hierdoor is het aantal mailberichten in de queue vannacht zover opgelopen dat er ernstige vertraging optrad in de hele mailafhandeling. Nadat deze mails verwijderd waren uit de queue kon ook de volledige spamscanning weer ingeschakeld worden.

3 oktober 2007 15:15-15:25 - Datacenter

Door een storing in onze hoofdrouter is deze router automatisch uitgeschakeld. Onze tweede router heeft het direct overgenomen, maar niet alle actieve verbindingen bleven behouden. Afhankelijk van het protocol duurde het enkele minuten voor de verbindingen weer waren opgebouwd.
[Update 15:45] Het blijkt dat sommige verbindingen niet helemaal opkomen. We zijn het aan het onderzoeken.
[Update 17:30] Bij sommige verbindingen blijkt toegang vanaf enkele IP-adressen niet mogelijk te zijn. We onderzoeken dit verder. [Update 18:00] De originele router is hersteld, alles werkt weer naar behoren.

28 september 2007 - Blacklisted?

Eigenlijk geen storing, maar meer een observatie. De laatste tijd bereiken ons berichten dat sommige klanten met een eigen mailserver problemen hebben met het verzenden van e-mail naar andere providers. Dit kan worden veroorzaakt doordat de meeste providers tegenwoordig geen mail meer accepteren die direct van een inbel- of ADSL/Kabel-aansluiting afkomstig is. Om nu toch mail naar deze providers te kunnen sturen, dient u gebruik te maken van onze uitgaande mailserver smtp.iaf.nl. Door deze als zogenaamde `smarthost' in de configuratie van uw mailserver op te nemen, zal alle mail gewoon geaccepteerd worden.

19 september 2007 - E-mail

Na uitvoerig onderzoek hebben we ontdekt wat de oorzaak is van de mailvertraging. Het euvel zit in de hardware van de mailserver. Vanavond (20 september 2007) wordt om 22.00 uur het desbetreffende defecte onderdeel vervangen. Bij deze handeling zal de machine uit moeten, hetgeen betekent dat de server niet bereikbaar is. We kunnen beter nog een aantal uren wachten en dat de mail vertraagd is, dan dat we de machine tijdens kantooruren uitzetten. (en er helemaal geen mail meer is).

[UPDATE 21 september 2007] We hebben afgelopen nacht een aantal aanpassingen aan het systeem aangebracht. Zo is het defecte onderdeel vervangen en zijn er diverse aanpassingen in de software aangebracht. Het systeem zou nu weer op "volle kracht" moeten draaien.

Tevens zullen wij op korte termijn een aantal (nieuwe) filters plaatsen op de mailserver waaronder diverse blacklists zodat er nog meer spam uit de mails gevist gaat worden.

15 september 2007 - E-mail

Door een storing in de adrescontrole van beide mailservers is mail gedurende enige tijd geblokkeerd geweest.

[UPDATE 14:00] We hebben de reden van het probleem gevonden.
Een klant die veel mail ontvangt heeft een probleem met hun eigen mailserver. Hierdoor genereert die server een niet-SMTP conform antwoord. Hierdoor stopte de adrescontrole. Ondanks dat die iedere keer automatisch opgestart werd, stopte de adrescontrole weer zodra er mail voor de betreffende klant binnen kwam.

[UPDATE 14:15] We hebben tijdelijk de mailverbinding met de betreffende klant dichtgezet. Na controle van de logging kunnen we stellen dat alles nu weer naar behoren werkt.
Er is geen mail verloren gegaan. Die is op de servers bewaard gebleven en wordt de komende tijd alsnog afgeleverd.

11 september 2007 - E-mail

Op 11 en 12 september hadden we last van een spamrun. Dit houdt in dat onze mailservers behoorlijk bestookt werkt met spammail. Ruim 94% van alle e-mails in de queue (zo'n 30.000) was spam. Hierdoor liep de reguliere mail (oa door scanning van de queue) enige, al dan niet hinderlijke, vertraging op.

9 september 2007 15:05 - 15:45 - MySQL server

Er blijken enkele tabellen in de MySQL server te zijn gecrashed. Er wordt aan gewerkt om die tabellen te herstellen. Hiervoor zullen de websites met een verbinding met de MySQL server weer even gedisabled moeten worden.

[UPDATE 15:15] De fout in de tabellen is gevonden en nu kunnen de tabellen gerepareerd worden.

[UPDATE 15:45] De tabellen zijn gerepareerd en de eerste gegevens zijn ook al weer opgenomen in de database.

9 september 2007 14:30 - 15:05 - websites

Er doet zich een storing voor in onze MySQL server waardoor websites die hiervan gebruik maken, problemen hebben met de toegang tot die database.

[UPDATE 14:30] Voor een herstel moeten we de websites die gebruik maken van de database even deactiveren.

[UPDATE 15:05] De problemen met de websites zijn opgelost.

17 augustus 2007 13:55 - 14:40 - ADSL

Er heeft zich een storing voorgedaan in ons ADSL netwerk. Door een probleem met een kabel was de verbinding tussen onze ADSL-router en onze Internet router weggevallen. Deze kabel is vervangen en de verbinding is hersteld.

6 augustus 2007 16:14 - 16:55 - Enschede

Door een verstopte condensafvoer van een koelmachine boven onze serverruimte, is er condenswater gaan lekken door het systeemplafond. Deze koelmachine is niet van ons, maar wordt gebruikt voor de luchtverversing van de overige bedrijven in het pand. Door de lekkage is er water in een spanningsslof gekomen en is de aardlekschakelaar geactiveerd waardoor een deel van de serverruimte zonder spanning kwam te staan. Jammer genoeg zat op die groep ook een deel van onze netwerkapparatuur. Na het verhelpen van de lekkage is de spanningsslof vervangen en zijn alle systemen weer van spanning voorzien. Het lijkt er op dat enkele systemen zelf ook lichte waterschade hebben opgelopen. Deze worden nog gedroogd en schoongemaakt.

15 juli 2007 00:00 - 15.00 - Mailserver

De mailservers accepteerden sinds middernacht geen mail meer. Zoals het er naar uitziet is mail op de externe machines in de queue blijven staan en later alsnog afgeleverd. De problemen lijken veroorzaakt te zijn door het feit dat een mailserver van een klant overbelast raakte door een grote hoeveelheid spam (ruim 1000 per uur).

5 juli 2007 16:55 - 17.20 - BBned xDSL

Door een nog onbekend mankement bij BBned ontstaat er veel packetloss. Hierdoor kunnen websites traag, of niet bereikbaar zijn.

13 juni 2007 16:30 - 14 juni 2007 09:51 - Webserver

Door de eerdere overbelasting op onze gesharede web/database server, is de databaseserver in overbelasting geschoten. Normaliter zou dit door een bewakingsscript ontdekt moeten worden, wat echter niet is gebeurd. Hierdoor werden wij helaas pas vanmorgen door een aantal klanten op de hoogte gebracht dat zij hun databases niet konden bereiken. Om soortgelijke situaties in de toekomst te voorkomen zullen we de database vandaag nog migreren naar een apart hiervoor ingerichte server.

13 juni 2007 12:15 - 13:00 - Webserver

Een van onze webservers is tijdelijk overbelast geweest. Hierdoor waren diverse sites (waaronder deze) slecht te benaderen. Deze overbelasting heeft de gehele middag voortgeduurd, echter onze helpdesk heeft steeds met de hand ingegrepen.

[Update 14 juni 2007 11:30] Inmiddels is duidelijk geworden wat er aan de hand was, bij een product van een van onze klanten wat zich automatisch wilde updaten, bleek de verbinding met onze webserver open te blijven, hierdoor kwamen er in een snel tempo, enige honderden webservers in geheugen, waarna de swap werd aangesproken en het systeem vrij snel op de knieen werd gebracht. Door een slimme actie hebben we er voor gezorgd dat deze producten niet langer de verbinding kunnen openhouden.

13 juni 2007 11:20 - onbekend - BBned xDSL

Er zijn wat routeringsproblemen bij de leverancier van de BBned xDSL verbindingen. De problemen leken inmiddels verholpen, maar duiken helaas nog incidenteel op.

11 april 2007 17:00 - 19:00 - E-mail

Het managementsysteem heeft in zijn oneindige wijsheid besloten om alle mailboxen op te gaan ruimen. Dit werd snel ontdekt en alle gegevens zijn direct teruggezet. Er is geen mail verloren gegaan. [Update 12 april] Van diverse mailboxen bleek de ownership onjuist te zijn. De mails stonden er wel, alleen kon men er niet bij komen. Dit is gecorrigeerd.

28 maart 2007 6:00 - 16:00 - BBned xDSL

Door een storing in het BBNed xDSL netwerk konden sommige klanten met een BBNed xDSL verbinding op verschillende lokatie's in het land problemen ondervinden met de xDSL verbinding. De storing bleek hardware-gerelateerd te zijn. Inmiddels is de laatste lijnkaart gereset en zijn alle verbindingen weer operationeel. Wanneer de verbinding niet automatisch hersteld is, zal het modem even uit- en aangezet moeten worden.

22 maart 2007 6:00 - 8:00 - Webhosting

Een van onze shared webservers was vanochtend doelwit van een DDOS aanval waardoor uiteindelijk het maximale aantal gelijktijdige connecties is overschreden. Pas toen het weer rustiger werd, waren de sites weer bereikbaar.

21 maart 2007 - Mailvertraging

Vandaag bleek dat een front-end mailserver de afgelopen weken een wachtrij heeft opgebouwd van berichten die aanvankelijk niet verwerkt konden worden door de primaire mailserver. Het proces dat deze wachtrij normaal gesproken verwerkt bleek niet langer te draaien. Aangezien het om een relatief klein aantal berichten ging, is dit niet eerder opgemerkt. We hebben maatregelen genomen om dit probleem voortaan te voorkomen.

17 maart 2007 19:30 - Zondag 12:45 - Webmail storing

Nadat de stroomstoring was verholpen bleek vandaag dat een van de processen nodig voor webmail (en newwebmail) niet automatisch was gestarted. Hierdoor kon er niet in webmail worden ingelogd.

17 maart 2007 19:30 - 20:15 - Algemene storing datacentrum Enschede

Vanwege een stroomstoring waarbij 3 aardlekschakelaars tegelijk uitvielen is het datacentrum in Enschede tijdelijk onbereikbaar geweest. De vermoedelijke oorzaak is een nabije blikseminslag waardoor het aardpotentiaal even veranderde en daarmee de aardlekschakelaars in werking traden.

10 maart 2007 14:15 - 17:15 - Storing ADSL Whitelabel

In verband met stroomstoring in een groot datacentrum in Amsterdam, hebben diverse ISP's een storing ondervonden. Helaas betrof dit een datacentrum waar ook onze ADSL Whitelabel verbindingen over lopen.

23 februari 2007 12:55 - 13:40 - Local-loop UT

Wegens problemen in het netwerk van de Universiteit Twente hebben onze klanten die gebruik maken van de local-loop verbinding hier tijdelijk geen gebruik van kunnen maken.

11 februari 2007 10:30 - 12:40 - B&S Park

De switch die een aantal klanten op het Business & Science Park in Enschede van Internet voorzien was uitgevallen. Het netsnoer bleek niet goed te zijn ingestoken. Waarschijnlijk door werkzaamheden i.v.m. de uitbreiding van onze glasvezel infrastructuur op het Park.

8 januari 2007 19:15 - 19:45 - Centrale site

Vanwege een DoS op het systeem van 1 van onze klanten was de centrale site en alle daar aanwezige computers tijdelijk niet bereikbaar. Na het blokkeren van de betreffende aanvaller hebben we wat opruimwerkzaamheden verricht waarna alles weer beschikbaar kwam.

2006

23 november 2006 8:30 - 11:30 - ADSL-MXStream

Vanwege een omgevallen router bij xs4all zijn er landelijke problemen met de MX-Stream lijnen. De leverancier is hard aan het werk om dit probleem op te lossen. Op dit moment is het nog niet bekend hoelang het gaat duren. Voor de duidelijkheid, het betreft hier alleen de MX-Stream lijnen, BBNed en IAF Whitelabel lijnen werken naar behoren.

13 november - 14 november 2006 - E-Mail

Vanwege de explosieve toename van spam op onze mailserver kan de mail vertraagd aankomen. We werken met man en macht aan een oplossing. Voor alle duidelijkheid, mail raakt niet kwijt, maar komt vertraagd aan.

26 oktober 2006 13:30 - 14:30 - ADSL

Vanwege verstoringen op routers van de AMS-IX ondervonden enkele MXstream ADSL lijnen verbindingsproblemen.

8 september 2006 10:30 - 16:30 - ADSL

De hele dag zijn er kortstondige onderbrekingen in het Internet verkeer wat via de AMS-IX loopt. Het andere verkeer verloopt ongestoord. De leverancier is hard aan het werk het probleem op te lossen, maar tot nu toe is het een bijzonder ongrijpbaar probleem gebleken.

5 september 2006 8:30 - 10:40 - Mail

[Mail] Door een fout in de POP3 functionaliteit van Microsoft Outlook hebben klanten die dit mailprogramma gebruiken vanochtend verstoringen gehad. Dit probleem trad echter alleen op als je 'Leave Mail on server' aan had staan! Bij de oplossing van het probleem was het noodzakelijk een aanpassing aan onze mailserver te maken waardoor _alle_ klanten die 'Leave Mail on Server' aan hebben (dus ook Outlook Express en Thunderbird gebruikers) de mail eenmalig dubbel ophalen.

31 augustus 2006 8:00 - 9:11 - ADSL

[KPN ADSL] Door een fout in de routering bij een KPN ADSL leverancier was er tijdelijk geen dataverkeer mogelijk van en naar deze lijnen.

8 augustus - 9 augustus 2006 - ADSL

(N.B. Onder voorbehoud hebben we dit probleem bij storingen opgenomen, daar het eigenlijk een foute klant configuratie betreft.)

[ADSL] De tunnel verbinding welke gebruikt wordt om verkeer van ADSL klanten die in Enschede moeten zijn (nameserver, mailserver, webserver, pop-server) geeft bij te grote pakketjes een ICMP pakket terug, waarin wordt aangegeven dat de zendende kant (ja, de klant dus) een kleinere pakket grootte moet gebruiken. Echter, niet alle routers van klanten accepteren dit ICMP pakket door een foute firewall configuratie. We hebben het voor de Amsterdam-Enschede tunnel kunnen opvangen, maar houd er rekening mee dat b.v. KPN dit niet doet.

5 augustus 2006 7:40 - 9:30 - ADSL

[ADSL] Door nog onbekende redenen is de nieuwe router blijven hangen. Een reboot bleek niet direct te helpen. Via een extra verbinding konden we de machine uiteindelijk wel bereiken en goed door laten starten. Die extra verbinding zit nu permanent in de router om in de toekomst sneller te kunnen reageren.
Update: na nog wat reboot bleek dat het probleem in een Full/Halfduplex mismatch zat tussen de nieuwe router en de Cisco. Een paar instructies later gaf een rotsvaste router.

29 juli 2006 18:03 - 30 juli 14:23 - Websites

[Websites] Als gevolg van reboot van de core-router is de routering naar de IAF webservers weggevallen voor bezoekers van buiten ons netwerk. Daardoor heeft ons monitorsysteem het ook niet opgepikt. Na een belletje van een van onze klanten was het probleem binnen 3 minuten gefixed.

26 juli 2006 01:13 - 01:51 - ADSL down

[ADSL] Vandaag zijn er de hele dag verstoringen geweest i.v.m. packetloss (5%-45%) op een router bij onze Amsterdamse ADSL leverancier. Vannacht wordt, tijdens het emergency-window de defecte interface kaart vervangen. Hierdoor zullen alle ADSL lijnen niet op het Internet kunnen.

18 juli 2006 11:20 - 19 juli 2006 10:36 - Inbelstoring

[Inbellen] Er treden problemen op met inbellen. Het lijkt er op dat de verbinding met onze telecom provider steeds wegvalt.
Update 22:30: Een glasvezel is onderbroken. Er wordt getracht een reparatieploeg ter plaatse te krijgen. (Dit zal helaas niet meer vanavond gebeuren, maar pas morgenochtend, rond 9 uur.)
Update: 10:36: Er bleek een patch in een van de twee vezels niet goed meer te zijn. De patch is door Essent vernieuwt en de ISDN30 is weer operationeel.

11 juli 2006 12:53 - 13:06 - ADSL storing Zutphen

[ADSL] Er heeft een korte onderbreking plaatsgevonden in de ADSL verbindingen in Zutphen. De oorzaak is nog onbekend.

25 juni 2006 17:17 - 26 juni 0:50 - ADSL troubles

[ADSL] Door werkzaamheden bij onze transitprovider, die in Amsterdam het verkeer van onze ADSL lijnen verwerkt, traden er storingen op. Hierdoor was het niet mogelijk om adequaat verkeer uit te wisselen met sites buiten het ADSL netwerk van IAF.
De storingen hadden geen gevolg voor onze Enschedese site.

14 juni 2006 07:20 - 08:05 - Enschede, ADSL

[Enschede, ADSL] Door een nog onopgehelderde storing bij onze leverancier Essent was een groot deel van oost-Nederland verstoken van Internet. Hieronder viel natuurlijk ook onze site in Enschede. Hierdoor waren er ook problemen met onze ADSL aansluitingen. Essent kreeg het probleem na een klein uur onder controle.

8 juni 2006 09:15 - 09:45 - Enschede, kast2

[Enschede] Een van de switches (switch-edge2) in onze technische ruimte was de draad kwijt. Hierdoor was er nog wel dataverkeer mogelijk, maar alle aangesloten systemen waren verstoten van de buitenwereld. Na een reset van deze switch begreep hij zijn levenstaak opnieuw en waren de systemen weer bereikbaar.

31 mei 2006 13:00 - 16:58 - ADSL, BBned

[ADSL,BBned] Onze transit provider in Amsterdam heeft gedurende 4 uur een denial-of-service aanval gehad. Hierdoor werden diverse core-routers overbelast en trad er packetloss op.

8 mei 2006 11:58 - 14:03 - MailScanner

[Mail] Sinds een paar dagen was de snelheid waarmee mail werd aangeboden hoger dan de mailscanner kon verwerken. Langzaamaan werd de wachtrij groter en groter. Na een korte analyse hebben we voorlopig de phishing controle uitgezet. (Klikbare links in emails, welke u uitnodigen uw gebruikersnaam en wachtwoord bij de cracker achter te laten.)

21 maart 2006 11:00 - 16:00 - MailScanner

[Essent] Om 11 uur is er in het Essent netwerk een onderbreking geweest van iets minder dan een minuut. Hierdoor is een van hun routers verstoord geraakt waardoor er zeer lichte packetloss optrad in de verbinding. Essent heeft uiteindelijk besloten om de verstoorde router om 4 uur 's middags te resetten om het probleem te verhelpen. Hierna was de packetloss verdwenen.

10 maart 2006 00:02 - 01:45 - MailScanner

[Enschede] 't is niet onze week. Vannacht is bij Essent een leiding kapot gegaan waardoor een deel van Enschede zonder stroom kwam te zitten. Natuurlijk ook het deel waar ons technische ruimte gevestigd is. En natuurlijk duurde de stroomstoring langer dan de UPS kon trekken.
Nadat de stroom terug was, de machines gefaseerd opgebracht, eerste onze routers en nameservers, dan onze eigen machines en dan de klant machines. Rond 2 uur vannacht draaide alles weer.

6 maart 2006 13:35 - 20:45 - MailScanner

[Enschede] (13:35-14:40) Van een van de front-end routers heeft de voeding de geest gegeven waardoor diverse systemen onbereikbaar zijn geweest. De twee core-routers raakten hiervan zo in de war dat ze volledig herstart moesten worden. Er is inmiddels een noodoplossing actief tot de defecte machine is vervangen. Dit zal naar verwachting aan het eind van de middag plaatsvinden.
Update: (19:15-20:45) De voeding van de router is vervangen. Tevens van de gelegenheid gebruik gemaakt om de machine te upgraden met een nieuwe harde schijf. Bij het opstarten bleek echter dat 2 van de 4 netwerkkaarten in een andere volgorde werden gevonden. Het heeft even geduurd voordat alle instellingen op de machine ook waren omgedraaid.

22 februari 2006 09:18 - 12:39 - MailScanner

[xDSL BBned] Vanwege een storing in de hardware van de telefooncentrale in Goes-Centrum zijn alle verbindingen met deze centrale enige tijd onderbroken geweest. De defecte hardware is vervangen.

21 februari 2006 08:39 - 08:45 - MailScanner

[ADSL] Wegens een korte stroomstoring zijn een aantal ADSL verbindingen in Hengelo kortstondig onderbroken. In enkele gevallen kan het noodzakelijk zijn om het modem uit en aan te zetten om de verbinding te herstellen.

2005

23 december 2005 15:10 - 15:35 - MailScanner: [Enschede] Een gekraakte klantmachine bleek voor overlast te zorgen in ons netwerk. Hierdoor trad er veel packet-loss op en werden enkele servers zeer slecht bereikbaar. De betreffende machine is afgesloten, waarna alles weer normaal benaderbaar werd.
16 december 2005 21:44 - 17 december 00:09 - MailScanner: [ADSL] Een ongeluk komt zelden alleen. De centrale Cisco ADSL router heeft het na wat hikjes definitief begeven. Nadat de diagnose was gesteld heeft de leverancier de ATM verbindingen omgestoken naar een reserve router die we daarna hebben moeten configureren.
16 december 2005 00:20 - 04:47 - MailScanner: [Enschede] Een van de core switches in het IAF netwerk heeft op een vervelende manier duidelijk willen maken dat hij het zat was de hele dag pakketjes van uitgang naar uitgang te vervoeren. Om de switch te moeten overbruggen hebben we echter bijna ons hele core-netwerk moeten herconfiguren. Dit heeft helaas geruime tijd geduurd. Wanneer de vervangende apparatuur binnen is, zal een en ander teruggebouwd gaan worden.
27 november 2005 16:40 - 19:09 - MailScanner: [ADSL] De centrale Cisco ADSL router is zondagmiddag vastgelopen waardoor de BBned en Bitstream lijnen geen dataverkeer meer hadden. De oorzaak bleek in de hardware van de router te liggen. De verbindingen zijn weer hersteld en maandag zal overleg plaatsvinden met de leverancier om de defecte apparatuur te vervangen.
Update: (19:55 uur) Er is een nieuwe flashkaart geplaatst en de router is herstart om er zeker van te zijn dat een en ander goed functioneert. Alle verbindingen zijn weer hersteld.
Mocht blijken dat u nog geen internettoegang heeft en uw modem staat in bridged mode, herstart dan uw router of firewall om uw IP adres weer te koppelen.
Update: Ook rond 00:00 uur en 07:00 uur op 28 november is de verbinding even onderbroken geweest. Door de voorbereidende werkzaamheden van zondag hebben deze storingen maar korte tijd geduurd.
16 november 2005 13:31 - 20:12 - MailScanner: [E-MAIL] Er waren problemen met de centrale mailserver. Er heeft waarschijnlijk een mailbom plaats gevonden, waarna de watchdog het systeem heeft geherstart. Bij dat herstarten ging iets mis waardoor in een snel tempo alle beschikbare geheugen werd verbruikt. En dan ging het weer van voor af aan.
Er is geen mail verloren gegaan, daar onze backup mailserver de mail heeft vastgehouden. De mail kon echter pas nadat de centrale mailserver weer draaide in de juiste mailboxen /uucp accounts afgeleverd worden.
15 november 2005 9:27 - 10:19 - MailScanner: [ADSL] Na 1 jaar en 25 weken onafgebroken uptime heeft een flashkaart in een centrale Cisco router het begeven. Hierdoor zijn alle BBned en Bitstream verbindingen uitgevallen. De router draait inmiddels weer en de configuratie is hersteld.
7 november 2005 12:30 - 8 november 19:30 - MailScanner: [REDIRECT] Door een menselijke fout is het script voor de redirect service verwijderd. Pas op 8 november zijn wij hiervan in kennis gesteld en konden we aan het oplossen van de storing gaan werken.
26 oktober 2005 14:21 - 17:01 - MailScanner: [xDSL BBned] Door een onbekende oorzaak hadden een aantal BBned lijnen in Apeldoorn geen verbinding.
29 september 2005 10:35 - 11:51 - MailScanner: [xDSL BBned] Door een nog onbekende oorzaak hebben een aantal BBned lijnen tijdelijk geen verbinding gehad. De storing is om 11:51 opgelost.
26 september 2005 9:09 - 11:35 - MailScanner: [xDSL Bitstream] Door een storing op een interconnect in Utrecht in het KPN netwerk hebben een aantal Bitstream lijnen tijdelijk geen verbinding gehad. Deze verbinding is hersteld en daarmee tevens de internetverbindingen van de Bitstream lijnen.
10 september 2005 14:23 - 14:41 - MailScanner: [Enschede] Grumble. Een simpele update aan een van onze routers heeft het netwerk zo in de war gegooid dat de routers wel correcte informatie lieten zien, maar het niet verwerkten. Een herstart van de centrale router loste het probleem definitief op.
2 september 2005 19:25 - 21:35 - MailScanner: [Website] Door momenteel nog onbekende oorzaak heeft onze webserver problemen gehad met het aanbieden van de daarop aanwezig websites. De machine is gereset (waardoor nog een probleempje in de opstart scripts gevonden werd :( ) en de websites zijn weer op.
30 augustus 2005 8:35 - 9:05 - MailScanner: [Enschede] Onze hoofdverkeerleverancier (Essent) heeft weer eens problemen op haar netwerk. Tijdens een gesprek met een van hun engineers bleek dat het probleem alleen optrad in hun 'oude' infrastructuur waarop wij natuurlijk waren aangesloten. Omdat we toch op de reserve verbinding waren overgeschakeld, hebben we dit moment gelijk aangegrepen om ons over te laten zetten op de nieuwe infrastructuur. Om 11:25 is er een mini- onderbreking geweest (< 30 seconden) waarop de verbinding van de reserve lijn werd teruggezet naar de nieuwe Essent infrastructuur.
5 augustus 2005 8:30 - 16:15 - MailScanner: [Enschede] Onze hoofdverkeerleverancier (Essent) heeft problemen op haar netwerk. Met name Hengelo en Amsterdam vormen knelpunten in hun netwerk. Het probleem uit zich in trage verbindingen naar sommige sites, maar andere doen het bv nog wel snel. Er is om 11:05 een storing ingediend, maar daar is tot nu toe geen reactie op gekomen.
Update 16:15: Eindelijk reactie. Een van hun routers was op hol geslagen (CEF routing) en moest gereset worden.
21 juli 2005 4:05 - 9:11 - MailScanner: [Website] Iedere ochtend om 4:00 uur wordt het webserver proces opnieuw gestart vanwege het doorschuiven van logbestanden. Dit is vannacht fout gegaan waardoor het proces niet goed opgestart is. Als klap op de vuurpijl had de dienstdoende storingsmedewerk(st)er de monitoring gsm in de auto laten liggen, waardoor het probleem vanochtend pas ontdekt en opgelost kon worden.
23 juni 2005 13:15 - 15:03 - MailScanner: [ADSL] Een aantal BBned lijnen hebben wederom geen verbinding meer met Amsterdam. De problemen lijken hetzelfde als gisteren. BBned werkt aan een oplossing.
Update 14:03: BBned is nu bezig de ATM kaart te vervangen. Ze verwachten hier van 14:00 tot 16:00 uur mee bezig te zijn.
Update 15:03: De lijnen zijn weer actief.
22 juni 2005 11:17 - 12:01 - MailScanner: [ADSL] Een aantal BBned lijnen hadden geen verbinding meer met Amsterdam. Een van de ATM kaarten in hun core-netwerk bleek fouten te veroorzaken. Na een reset leek vanaf 12:01 alles weer in orde, maar in de loop van de middag bleken er toch nog kleine fouten op te treden. Deze kaart zal daarom vannacht tussen 0:00 en 2:00 uur worden vervangen. Dit kan tot dezelfde verstoringen leiden als vanochtend.
Update 23 juni 2005 10:30: Het vervangen van de kaart is uitgesteld tot vannacht 0:00 tot 3:00 uur omdat het grotere problemen kon veroorzaken. Vooralsnog draait de oude kaart weer.
8 juni 2005 13:49 - 13:52 - MailScanner: [ADSL] Een van onze ADSL leveranciers, BBned, heeft even last gehad van een korte onderbreking op een van hun centrale routers die een deel van Nederland bedient.
27 mei 2005 15:23 - 17:31 - MailScanner: [Websites] Leuk. Vanmiddag de webserver 'per ongeluk' geherstart, blijkt dat de netwerkkaart dat niet leuk vond. De kaart verminkte een deel van de uitgaande pakketjes, welke daarna door onze switch werden weggegooid. Een reboot van het systeem hielp niet, pas een echte voedingspanning uit/aan heeft het probleem definitief verholpen.
13 april 2005 5:00 - 19:00 - MailScanner: [ADSL] Een van onze ADSL leveranciers, BBned, heeft op dit moment grote problemen binnen hun ATM netwerk. Dit uit zich in trage verbindingen met erg veel CRC fouten. In sommige gevallen kán het herstarten van de router van de klant tijdelijk verbetering geven.
Update 12:50: BBNed moet op diverse locaties apparatuur herstarten, hetgeen kan resulteren in het kortstondig wegvallen van de verbindingen. Deze werkzaamheden vinden plaats tot ca. 15:00
Update 16:29: Het herstarten van de apparatuur heeft niet het gewenste effect gehad. BBned gaat nu verdere andere scenarios afwerken om tot een oplossing te komen.
Update 17:39: De core routers zijn gereset. Dit gaat resulteren in kortstondig wegvallen van verbindingen voor ong. 10 min.
1 maart 2005 15:45 - 16:15 - MailScanner: [MAIL] De mailserver heeft de laatste maanden steeds meer en meer mail te verwerken. Ook voor klanten die zelf hun mailserver draaien. Dat lukt niet altijd en dus blijft die mail bij ons op de server staan. En staan. En staan... En dan is de schijf vol.
23 februari 2005 9:12 - 9:24 - MailScanner: [Hoofdsite] Onze centrale router heeft het even in zijn bol gehad en heeft alle routes die hij ontvangt van de front-end routers weggegooid. Het is mischien niet nodig op te merken dat dit de connectiviteit van de site niet ten goede komt. Herstarten van de routering software verhielp het problem.
17 febuari 2005 17:57 - 20:33 - MailScanner: [Website] Zoals u mischien gemerkt heeft, was de diskruimte op onze webserver ineens ernstig beperkt. Reden was dat onze systeembeheerster bezig was logbestanden op te ruimen en samen te voegen toen ze ineens een spoedklusje kreeg. Al die uitgepakte logbestanden bleven dus staan. Auw.

2004

24 december 2004 17:57 - 20:58 - MailScanner: [Website] Grumble, de ouderdom van onze webserver speelde op. In de kerstdrukte is er een logfile van 2GB ontstaan en gelijk hield de logger er mee op. De webserver starte hem weer op, ad infinium...
20 november 2004 5:57 - 7:24 - MailScanner: [ADSL] Door stroomproblemen bij de AMSIX (locatie Sara) zijn een groot gedeelte van de peers uitgevallen, de resulterende routering chaos heeft voor problemen gezorgd bij meer dan alleen IAF, zal ik maar zeggen...
18 november 2004 16:00 - MailScanner: [Hoofdsite] Onze NDIX router heeft problemen met zijn connecties naar onze andere routers. Hierdoor is er momenteel o.a. geen verkeer mogelijk tussen onze site en IntroWeb. Helaas is dit enkel te verhelpen door een herstart van het bgp process op de centrale router. De herstart heeft rond 22:00u een onderbreking van ongeveer 30 seconden opgeleverd. Er is inmiddels weer verkeer met IntroWeb mogelijk.
15 november 2004 13:30 - 14:09 - MailScanner: [Hoofdsite] Onze leverancier Essent had weer problemen in hun netwerk. Ditmaal niet dezelfde als vorige keren, maar hun hoofdrouter in Amsterdam (BB1?) hield er mee op. Wij hebben ondertussen ons verkeer over de backuplijn gerouteerd. Op deze manier hebben wij de downtime kunnen beperken tot slechts 8 minuten. Inmiddels is de routering weer als vanouds.
15 november 2004 8:37 - 14:09 - MailScanner: [Inbellen] Helaas hebben we de maker van de radius programmatuur geloofd dat we zonder aanpassingen de nieuwe software konden plaatsen :( Er bleken 2 incompatibiliteiten te zijn, de eerste hadden we vrij direct na melding van onze klanten opgelost, maar de 2e (klanten met vaste ip adressen kregen een dynamisch adres) was even zoeken.
12 november 2004 2:52 - 7:09 - MailScanner: [Hoofdsite] Onze leverancier Essent heeft weer problemen in hun netwerk. De problemen zijn van een zodanige aard dat de router waar wij verkeer mee uitwisselen ons blijft vertellen dat hij de beste keuze is voor de externe verbinding.
PS. Dejavu gevoelens? Klopt, zie storing van 3 november.
3 november 2004 16:22 - 19:54 - MailScanner: [Hoofdsite] Onze leverancier Essent heeft problemen in hun netwerk. De problemen zijn van een zodanige aard dat de router waar wij verkeer mee uitwisselen ons blijft vertellen dat hij de beste keuze is voor de externe verbinding. Als hij dat niet meer zou doen, zouden we automatisch overschakelen op onze tweede link. Nu moeten we dat handmatig doen.
Update: (1900 uur): de routes zijn omgeklapt, de hoofdsite moet nu langzaamerhand weer benaderbaar zijn vanaf het Internet.
Update: (1955 uur): Essent heeft gebelt dat het probleem verholpen is. Ze weten nog niet precies wat ze hebben verholpen, maar in iedergeval mag het oosten van Nederland weer meedoen op het internet.
19 oktober 2004 12:52 - 13:44 - MailScanner: [MAIL] De centrale mailserver van IAF heeft gedurende bovenstaande tijd last gehad van een - van buitenaf afkomstige - storing in SSL (versleutelde) verbindingen. Doordat de andere klant het zo'n 50x per seconde bleef proberen is bij ons de loggingdisk in een snel tempo volgelopen. We hebben de sendmail configuratie aangepas zodat dit niet meer kan voorkomen.
16 oktober 2004 12:29 - 13:55 - MailScanner: [Hoofdsite] Dezelfde zekering van 2 weken geleden is helaas weer gesprongen waardoor de apparatuur - na verloop van tijd - zonder stroom is komen te staan. De systemen zijn gefaseerd opgebracht, routers en nameservers eerst, dan centrale diensten en de klanten systemen. Met de webmail bleek later nog een probleem te zijn, een essentiele daemon was niet gestart, waardoor er niet kon worden ingelogd.
4 oktober 2004 17:05 - 17:45 - MailScanner: [ADSL] Essent heeft het voor elkaar. Ze hebben alle peerings (afspraken tussen ISP's) opgezegd tot nader orde. Niet iedere ISP heeft de melding dat ze dit gingen doen ontvangen, dus chaos was het resultaat. Een van de effecten was dat onze tunnel die Amsterdam en Enschede verbindt down ging.
2 oktober 2004 12:04 - 14:32 - MailScanner: [Hoofdsite] Er is een hoofdzekering gesprongen waardoor de apparatuur - na verloop van tijd - zonder stroom is komen te staan. De systemen zijn gefaseerd opgebracht, routers en nameservers eerst, dan centrale diensten en de klanten systemen. Met de webmail bleek later nog een probleem te zijn, een essentiele daemon was niet gestart, waardoor er niet kon worden ingelogd. Ook bleek er naderhand een routering probleem naar een van onze glasvezelklanten te zijn.
6 augustus 2004 23:30 - 00:35 - MailScanner: [ADSL] De harde schijf van een van de front-end routers heeft boem gedaan. Hierdoor is welliswaar automatisch overgeschakelt naar een van de andere providers waar we IP verkeer van betrekken, maar de verbinding met Amsterdam (de ADSLers) is onderbroken geweest (die zat juist op die front-end router). Needless to say, de harde schijf is vervangen en het OS opnieuw geïnstalleerd/geconfigureerd.
19 juli 2004 14:23 - 16:56 - MailScanner: [MAIL] Helaas, een van onze helpdesk medewerkers heeft een typefout gemaakt in een bestand van de virusscanner. De virusscanner wilde daardoor niet starten en hierdoor is alle mail wel ontvangen, maar niet verder verwerkt door het systeem. Er is _geen_ mail kwijtgeraakt, alleen de verwerking is maximaal 2 uur vertraagd.
18 juli 2004 12:02 - 13:05 - MailScanner: [MAIL] De mailserver, die de laatste maand regelmatig rebootte vanwege geheugenproblemen, deed dit nu weer. In plaats van de machine weer te rebootten, hebben we besloten het geheugen te verwisselen. Hopelijk hoeven we nu weer een lange tijd niets over de mailserver te schrijven...
13 juli 2004 12:40 - 12:50 - MailScanner: [ADSL] Door een al te enthousaste opruiming van onze hoster in Amsterdam is de switch-poort waar onze DHCP server aan zit, gedeactiveerd. Natuurlijk is deze poort direct weer aan gezet.
10 juli 2004 20:07 - 12:17 - MailScanner: [Hoofdsite] Een deel van een klanten-rack (topicus, gelink, burgerweeshuis, expocom) heeft zonder stroom gestaan. Deze klanten zitten op één stroomslof die op een van de UPS-sen is aangesloten. Het contact met de UPS echter sub-optimaal (hmm). We gaan een werkzaamheid inplannen om de stekker van deze slof te vervangen.
10 juli 2004 11:37 - 12:07 - MailScanner: [Hoofdsite] De eigen machines van IAF, mailserver, nieuwsserver, proxy, webmail, maar ook de routers! zijn even uit de lucht geweest. [Toegevoegd: een bank met klant-machines heeft helaas ook zonder stroom gestaan]. Bij het testen van de batterijen van de UPS-en bleek dat APC ups-en niet automatisch terugkeren naar main-mode als de batterij onder een bepaalde spanning komt. Je moet de test expliciet met de hand stoppen. Enfin, leermoment. :(
6 mei 2004 7:55 - 18:00 - MailScanner: [Hoofdsite] Nieuwsserver wil niet opstarten. Hij is meegenomen naar kantoor om eens goed doorgelicht te worden. De server is opnieuw geinstalleerd.
6 mei 2004 7:55 - 8:15 - MailScanner: [Hoofdsite] Hedenochtend is de voeding van een van de front-end routers naar de voedingshemel vertrokken. Helaas is er bij zijn afscheid een zekering gesprongen waardoor - nadat de UPSsen leeg waren - de servers ook down gingen. Toen wij ter plekke waren hebben we e.e.a. weer doorgestart en de voeding van de router vervangen. In het uur daarna hebben we met verschillende diensten (webmail, proxy, 3e nameserver) nog wat problemen ervaren, daar deze diensten niet automatisch wilden opstarten. Als laatste is de verbinding tussen Amsterdam (ADSL netwerk) en Enschede hersteld daar deze natuurlijk precies op de kapotte router draaide. :(
29 februari 2004 11:08 - 23:59 - MailScanner: [ADSL] Storing in het IP netwerk van onze leverancier in Amsterdam. Alle verbindingen naar buiten hadden last van behoorlijke packetloss. Needless to say, de leverancier heeft met man en macht aan het probleem gewerkt. Het probleem is inmiddels verholpen.
9 februari 2004 08:06 - 13:36 - MailScanner: [Hoofdsite] Bij het invoeren van de nieuwe mailserver kon door klanten die hun mail via een niet-IAF verbinding, geen gebruik worden gemaakt van smtp.iaf.nl. Na enig speurwerk in de configuratie hebben we het probleem succesvol verholpen.

2003

23 november 2003 04:06 - 10:22 - MailScanner: [Hoofdsite] De dagelijkse log-rotatie van de centrale webserver is in de soep gelopen. De webserver programmatuur is niet meer correct opgekomen. En, helaas, onze systeembeheerdster heeft door de alarmmeldingen vanhet systeem heengeslapen :(
22 november 2003 19:06 - 23 november 12:11 - MailScanner: [Hoofdsite] De mailinglijst manager was op hol geslagen. Hij lette niet meer op de uitgaande mailtjes die klaar stonden op verstuurt te worden, hij had alleen nog maar aandacht voor zichzelf. Een flinke trap (kill -15) trok zijn aandacht waarna hij overtuigd kon worden zijn zijn taken weer naar behoren uit te voeren.
18 november 2003 23:34 - 19 november 02:00 - MailScanner: [ADSL] Op de AMS-IX is rond 23:30 weer een instelling gewijzigd waardoor de direct aangesloten routers van Intouch aan het aan/uit gaan zijn geslagen met 10 min. intervallen. Intouch is hard bezig het probleem te tackelen.
Probleem is opgelost door de AMS-IX te vertellen NIET zomaar security changes te doen, die weer uit te laten zetten en dan zomaar weer activeren!
14 oktober 2003 10:40-10:51 - MailScanner: [Hoofdsite] Door een configuratiefout is de centrale router in verwarring gebracht waardoor deze handmatig de waarheid moest worden verteld. Dit duurde helaas even.
11 augustus 2003 - 13 augustus 2003 23:23 - MailScanner: [ADSL] Er waren problemen met het interne IAF verkeer van Amsterdam (ADSL) naar de Enschedese locatie. We hebben - heel cru - alle ingewikkelde technische oplossingen overboord gegooid en gewoon een SDSL lijn ingezet. Mail en de IAF websites moeten nu weer goed bereikbaar zijn.
28 juni 2003 11:44 - 14:14 - MailScanner: [Hoofdsite] In heel West Enschede is de stroomvoorziening van Essent uitgevallen geweest. Onze noodspanningvoorziening heeft nog manhaftig geprobeerd het hoofd boven water te houden, maar na een half uur (12:15) waren de batterijen echt op en ging IAF down :(
Tegen de tijd dat wij een aggregaat van voldoende capaciteit hadden geregeld was een kwartier later de stroom weer op - zul je altijd zien! We hebben de machines in de loop van een half uur - gefaseerd - aangezet. Hierdoor kan het dus zijn dat bepaalde zaken wel draaiden en sommige (toen nog) niet.
Onze reserve nameserver en mailserver hebben de mail tijdens de onderbreking netjes opgevangen en na afloop van de storing netjes de opgespaaarde mail afgeleverd.
12 juni 2003 11:45 - 19:30 - MailScanner: [ADSL] Er waren problemen op het ADSL-netwerk van onze leverancier in Amsterdam. Na kantoortijd is er hardware vervangen en worden klanten overgezet naar nieuwe apparatuur om de huidige apparatuur te ontlasten. Dit zal nog de gehele vrijdag duren. Na het weekend wordt gekeken of de oude hardware van de leverancier definitief weg gaat of dat het nog voor een enkele ISP ingezet kan worden.
1 april 2003 16:00 - 17:05 - MailScanner: [Hoofdsite] De centrale mailserver blijkt te zijn blijven hangen in een storing van de harde schijf. Deze machine functioneert als nameserver en mailserver (ETRN, POP3, IMAP, MX en UUCP). Deze diensten zijn derhalve momenteel niet (mail) of slecht (nameserver) bruikbaar. Op dit moment is een technicus bezig het systeem te repareren. Omdat we gebruik maken van een RAID systeem met gespiegelde schijven is er geen verlies van gegevens. E-mail geaddresseerd aan klanten van IAF wordt door onze backup-mailserver in Groningen opgevangen. Deze mail zal automatisch doorgestuurd worden zodra de centrale mailserver weer operationeel is.
februari 2003 - 2 maart 2003 0:46 - MailScanner: [Hoofdsite] Een van de 2 machines die de wachtwoorden van de inbellers controleerden bleek een fout in een van zijn bestanden te hebben waardoor hij slip- en ppp gebruikers niet meer herkende. UUCP en mpp verbindingen liepen ongestoord. Omdat de inbelserver regelmatig wisselt tussen beide machines kan het zijn dat u ten onrechte de melding 'Onjuiste wachtwoord' hebt gekregen als u inbelde, terwijl het gelijk daarna wel weer goed ging - met hetzelfde wachtwoord.
19 februari 2003 (9:30 - 13:00) - MailScanner: [ADSL] Door een ernstige netwerkstoring tussen Intouch en BBned is het xDSL verkeer ernstig tot helemaal verstoord geweest. Rond 12:00 was de oorzaak bekend en verbeterd, echter door al de diagnosestellingen waren diverse apparaten zo in de war geraakt (sommige aansluitingen wel verkeer, ander niet...) dat ze een harde reset nodig hadden om weer tot leven te komen.
25 januari 2003 (6:30 - 10:00) - MailScanner: [Internet] Er is een MSSQL-worm losgebarsten op Internet. Grote delen van Internet blijken niet of slecht bereikbaar te zijn. Ook ons netwerk was hier het slachtoffer van. Na extra maatregelen op onze centrale router hebben we er sinds 8:30 uur lokaal geen last meer van. Het kan nog wel zijn dat wereldwijd sommige sites niet of slecht bereikbaar zijn, omdat daar nog geen maatregelen zijn getroffen. Momenteel een goede bron van informatie is de site van .
5 januari 2003 (17:27 - 21:00) - MailScanner: [Hoofdsite] Defect in de centrale router van Worldcom te Zwolle. Hierdoor zijn alle Worldcom verbindingen in Noord-Nederland weggevallen.

2002

6 november 2002 (ongeveer 21:00 uur - 23:30) - MailScanner: Er is een grote stroomstoring in Amsterdam. Hierdoor is ook de helft de AMS-IX niet bereikbaar. Als gevolg hiervan zijn er in heel Nederland grote problemen met Internet. Met name onze ADSL klanten ondervinden hiervan last.
4 september 2002 (ongeveer 20:00 uur - 0:15) - MailScanner: Er is een aanval bezig op het netwerk van onze ADSL-leverancier. Hierdoor functioneert regelmatig een deel van het netwerk niet of zeer slecht.
10 juli 2002 (21:30 - 22:20) - MailScanner: Yes! Essent heeft het voor elkaar! 3 storingen op één dag. Snik!
10 juli 2002 (8:30 - 16:14) - MailScanner: Storing in de verbinding met Worldcom. Er wordt door hun naarstig gezocht wat het probleem kan zijn. Mensen die een vast IP adres in tussen de 193.67.144.0 - 193.67.144.255 hebben, ondervinden hiervan storing. Voor browsen is dit op te lossen door de IAF proxy te gebruiken (proxy.iaf.nl, poort 3128)
Update 16:05. Waarschijnlijk is het clock circuit in de convertor defect. Worldcom levert als tijdelijke oplossing nu de clock op afstand ipv uit de convertor.
10 juli 2002 (8:30 - 11:30) - MailScanner: Grootschalige stroomstoring in Enschede. Onze noodstroom heeft het een halfuurtje volgehouden maar gaf het toen op.
9 juli 2002 (21:10 - 21:30) - MailScanner: Er waren problemen met de router tussen het ADSL-netwerk en Internet. Na een reset bleek het weer te werken.
10 april 2002 (12:05 - 13:20) - MailScanner: Een centrale server is gecrashed. Op deze server draait de nameserver en de e-mail. Hierdoor kan het voorkomen dat een aantal diensten niet of zeer slecht bereikbaar zijn. Momenteel zijn we bezig met de machine weer operationeel te brengen.
Vanaf 13:10 werden de meeste systemen weer beschikbaar.
14 maart 2002 (4:05 - 7:30) - MailScanner: De centrale webserver heeft korte tijd een storing ondervonden door de upgrade van een systeembibliotheek waar een belangrijke security bug was ondekt.
17 februari 2002 ( - 22:00) - MailScanner: Er is een probleem met de Microsoft SQL server die gebruikt wordt door websites van een aantal klanten. De servers is zijn databases totaal kwijt.
De databases zijn teruggezet van de backup van 16 februari. Tevens is de SQL server opnieuw geinstalleerd en ge-upgrade.
16 februari 2002 (22:00 - 22:30) - MailScanner: Door een geheugenprobleem crashte de nieuwsserver. De machine is herstart. We zijn nu bezig de nieuwsdatabase in orde te maken. Dit duurt circa een dag.
10 februari 2002 (11:20 - 11:55) - MailScanner: Door een storing aan onze centrale router was er geen verkeer mogelijk van ons netwerk naar de rest van Internet.
18 januari 2002 (gehele dag) - MailScanner: Na een aantal grote storingen aan de newsserver de laatste tijd heeft hij vanmorgen zijn laatste nieuwsartikel mogen ontvangen. Op dit moment zijn we bezig om een nieuwe server gereed te maken.
18 januari 2002 8:30 - 18:30 - MailScanner: Vanwege werkzaamheden aan de administrative computer hebben we vanochtend de webmail server tijdelijk buiten bedrijf moeten stellen. Er wordt aan gewerkt om de server in de loop van vandaag weer operationeel te krijgen.

2001

11 december 2001 16:30 - 18:00 (gedeeltelijk 19:45) - MailScanner: Door een storing in de netspanning is een deel van de apparatuur uitgevallen. Tijdens de storing draaide de apparatuur op de UPS-en, zoals was beoogd, maar toen de spanning terug kwam viel een zekering uit. Hierdoor vielen er enkele centrale systemen uit waardoor er geen verkeer met het Internet mogelijk was. De zekering is teruggeduwd en de systemen (na wat checks) draaien weer.
5 december 2001 - 10 december 21:15 - MailScanner: Door een configuratieprobleem bij de upgrade van de nieuwsserver bleven artikelen voor onze UUCP-klanten hangen. De configuratie is hersteld en alle achterstallige artikelen worden doorgestuurd.
2 december 2001 00:02 - 10:33 - MailScanner: De machine die bij iedere inbelpoging bekijkt of de gebruiker/ wachtwoord combinatie wel toegang verleend mag worden was 'op hol geslagen'. Ons monitoring systeem heeft dit niet in de gaten gehad en dat is dan ook de reden waarom deze situatie zolang heeft voortgeduurt. Problem fixed en monitoring systeem aangepast.
28 oktober 2001 ~23:24 - MailScanner: Door de hernummering verwees de configuratie van phpadmin.iaf.nl naar een niet meer bestaande machine waar de databases op draaien. Fixed.
28 oktober 2001 ~13:00 - 16:49 - MailScanner: Door een verkeerde regel in de routerings tabellen van de centrale router (waar al het internet verkeer door loopt) was verkeer naar de inbelsystemen niet mogelijk.
22 september 2001 ~10:00 - 25 september 2001 ~10:00 - MailScanner: Het helpdesk telefoonnummer is momenteel niet bereikbaar. De telefoonlijnen zijn door de wateroverlast in het westen van Nederland 'verzopen'. U kunt ons bereiken onder 06-54944862.
28 september 2001 ~16:00 - 17:20 - MailScanner: Er zijn storingen met de routering van het IAF netwerk naar de buitenwereld. We zijn momenteel bezig de oorzaak te onderzoeken.
De verbinding met de buitenwereld is om 17:20 uur weer operationeel. Er is maar 1 van de twee externe verbindingen in bedrijf. Dit heeft echter geen invloed op de capaciteit.
25 september 2001 ~23:00 - 23:30 - MailScanner: Er zijn enkele authenticatie problemen met de nieuwe webserver. Hij zal even herladen dienen te worden. We maken tevens gebruik van deze korte periode van niet beschikbaar zijn om het geheugen van het systeem uit te breiden.
15 september 2001 ~10:00 - 11:40 - MailScanner: De centrale mail machine is uitgevallen. Bij controle blijken er problemen te zijn met de voeding. Er wordt aan gewerkt om de voeding zo snel mogelijk te vervangen.
17 augustus 2001 ~9:00 - 10:12 - MailScanner: De centrale mail machine heeft kuurtjes gehad. Na de reset van de machine bleek dat er een oud operating systeem was opgestart, gecombineerd met zo'n enorme partij mail kwam dat hij gelijk weer onderuit ging. Gelukkig kon er direct weer gereboot worden naar het juiste OS.
5 juli 2001 4:51 - 11:29 - MailScanner: Door een upgrade van de router van UUnet is onze verbinding naar Internet hedenmorgen verbroken. Na ruggespraak met UUnet bleek de monteur 2 aansluitingen op hun router te hebben verwisseld. UUnet heeft de monteur teruggestuurd om het probleem te verhelpen.
20 juni 2001 - MailScanner: Door een verkeerde instelling op onze inbelserver werd het arme ding veels te zwaar belast en begonnen verbindingen trager en soms zelf helemaal weg te vallen. Deze verkeerde instelling is, zoals u begrijpt, met gezwinde spoed verwijderd!
19 april 2001 13:00-15:15 - MailScanner: Een grote storing bij KPN is er de oorzaak van dat het onmogelijk is om onze inbelnummers te bereiken. Dit beïnvloed niet alleen onze inbelnummers, maar alle andere telecom providers (b.v. Tele2, OneTel, Energis, Essent)
3 februari 2001 18:00 - 4 februari 2001 12:00 - MailScanner: Bij een foutieve configuratie bij een andere provider werd hetzelfde mailtje honderderden keren bij onze klant in haar mailbox geplaatst. Ons filesysteem raakt natuurlijk op den duur vol en verstoorde zo het mailverkeer voor de andere klanten.
24 januari 2001 11:59 - 26 januari 20:00 - MailScanner: Lokale storing voor het inbelpunt 0512. Alleen voor mensen die lokaal bellen, mensen die van 'buitenaf' bellen naar dit nummer hebben geen problemen. Klacht bij KPN ingedient...

2000

1 december 2000 11:00 - 14:11 - MailScanner: Momenteel heeft onze backbone operator storingen in Utrecht en Zwolle en murph leert ons dat wij natuurlijk op Zwolle zijn aangesloten. Er wordt door hun hard aan gewerkt om hun connectivity weer op peil te brengen.
21 november 2000 15:12 - 15:52 - MailScanner: Het knooppunt in Zwolle van onze backbone operator heeft het zwaar te verduren. Alle verbindingen voor Noord- en Oost Nederland hebben er enige tijd uit gelegen.
17 november 2000 12:25 - 14:23 - MailScanner: Er is een zware netwerkstoring bij onze backbone operator. Hierdoor zijn alle europese verbindingen en een groot deel van de binnenlandse verbindingen uitgevallen. Er wordt door hun hard aan gewerkt.
7 november 2000 16:00 - 19:20 - MailScanner: Er is momenteel een storing bij onze Telecom leverancier voor het inbelpunt 074-8800880. U kunt gebruik maken van een van onze andere inbelpunten, b.v. 050-8800880 or 073-8800880. Helaas is er geen inbelpunt beschikbaar waar u tegen lokaaltarief kunt inbellen.

1999

29 juli 1999 - MailScanner: Alle services zouden nu weer moeten werken. Als u nog problemen tegenkomt kunt u contact opnemen met .
29 juli 1999 - MailScanner: De webserver heeft het gister rond middernacht begeven. Inmiddels is er nieuwe hardware geplaatst. Nog niet alle services draaien op dit moment, maar dat zal in de loop van de dag veranderen. We houden u (via deze pagina) op de hoogte.
20 juli 1999 21:00 - 23:30 - MailScanner: Door een storing bij onze backbone provider was het tijdelijk niet mogelijk om Internet te bereiken.
30 mei 1999 - MailScanner: Door onbekende oorzaak (buiten ons invloedsbereik) is Internetverkeer op de internationale verbindingen slecht tot niet mogelijk. Met name sites buiten Nederland zijn slecht of niet bereikbaar. 2 uur later bleek het probleem zich te hebben opgelost.

Uitleg over...
Instellingen
Storingen: - Verholpen; - 1999-2010
Werkzaamheden
Woordenboek
Vraag het...