Driftsstörningen 2010-12-22
Binero har det sista dryga halvåret vuxit lika mycket som under de åtta föregående åren. Parallellt med att hantera kundökningen i systemet arbetar vi också på att förbättra vårt 2.0 system inför snarast möjliga migrering och en ytterst driftssäker framtid.
Driftsspecialister anställdes efter sommaren och fick börja gå igenom tidigare system som inte alltid varit tillräckligt dokumenterade eller genomtänkta. Samtliga kablar och switchar har bytts och nu skulle även våra gamla routrar och brandväggar bytas, prestanda ökas.
Arbetet var planerat att ske natten till måndag men tyvärr tog installationen i hallen längre tid än beräknat och själva bytet fick skjutas till onsdags natt.
Brandväggar och routrar har testats intensivt under en längre period i vår labbmiljö då hela uppsättningen är komplex för att garantera full redundans. Testerna indikerade att endast en mycket kort nedtid skulle krävas. När bytet skedde i vår aktiva miljö så visade sig dock en rad problem:
1. Endast IP:n specificerade som IP:n med extra access kom igenom brandväggen, däribland vår övervakning hos Pingdom då den kontrollerar tjänster som normalt inte kan nås utifrån. Detta löstes relativt fort.
2. Våra nya routrar från Extreme visade sig ha en felaktig konfiguration som inte fungerade i en aktiv miljö, ett svårt fel som orsakade den långa nertiden under morgonen. Felet visade sig först genom att vår lina från Telia inte fungerade. All trafik routades om via Phonera. Dock har paket fortsatt försvunnit.
Då pakettappen inte upphört blev vi tvungna att rulla tillbaka samtliga förändringar. Vi arbetar med tekniker från vår leverantör för att lösa dessa problem ordentligt innan byte nu.
Vi ber så hemskt mycket om ursäkt för det inträffade. Bytet av brandväggarna kommer, när dessa problem är avhjälpta, att ge oss en snabbare och stabilare samt mer driftsäker miljö.
Vi har under de senaste månaderna arbetat med att byta ut hela vårt interna nätverk, utöka och byta ut hårdvara i vår virtuella miljö samt storage. Vi har fortsatt planerade förändringar för att kunna ge en stabil och fullt driftsäker tjänst och dessa kommer att noga testas i vår labbmiljö, som även den kommer att ses ordentligt över efter dagens händelse.
Jag är övertygad om att dessa förbättringar som görs inom kort kommer att avspegla sig i en förbättrad miljö med en driftsäkerhet som ska vara 100% pålitlig.
Anders Aleborg
VD och grundare,
Binero
Relaterade inlägg:
Postad av Anders 23 december, 2010 i 
Vi är prisade för vår goda support, höga funktionalitet och kontrollpanel.
Pingback: Tweets that mention Driftsstörningen 2010-12-22 | Binero - bäst på domännamn, vänligast på webbhotell -- Topsy.com
Pingback: Alla vägar går till Kastrup - Tomatsallad
Pingback: Brandväggsproblem hos Binero
Pingback: Varför jag fortfarande är en nöjd Binero-kund | Brinkenfeldt IT