Att komma upp i tid

• Tweet

• PUSHA

• Tweet

NERTID – att betalande kunder plötsligt inte kan använda sina webbplatser – är varken acceptabelt eller kul. Men i den verkliga världen där mänskliga och tekniska fel alltid kan inträffa så kan det hända. Och det gör det.

På Binero har vi idag en god tillgänglighet (upptid) och vi siktar på att bli bäst inom området, men så har det inte alltid varit.

Väckarklockan – mars 2008

För ett drygt år sedan var läget ett annat. Det nya Binero hade växtvärk, personal söktes och ny teknik introducerades, bl.a. infördes Linux på alla webbservrar. När allvarliga buggar samtidigt dök upp i FreeBSD så minskade tillgängligheten snabbt och i mars hade vi vår sämsta upptid någonsin.

Vi hade stirrat oss blinda på andra saker och missat fundamenta. Då blev jag fast besluten att hädanefter måste Binero sträva efter att ha den bästa upptiden i Sverige, helt enkelt.

Medvetenheten – man måste upp

För ett webbhotell som Binero är redan grundkraven höga. Vi har en datahall med hög säkerhet och redundant strömförsörjning, överlappande batterier, dieselmotorer, brandväggar och uppkopplingar ut ingår. Allt inom strömförsörjning testas live varje månad. Nu gällde det att nå ännu längre.

Som småföretagare var det inte speciellt svårt för mig att se driftsstörningarna ur ett kundperspektiv. Jag började försöka påminna kollegorna om hur kunden kan uppleva en driftsstörning om han är vd för ett företag med tio anställda och tusentals kunder när hemsida och e-post går ner under en arbetsdag mitt i högsäsongen – en dyr katastrof.

Totalt transparent tillgänglighet

För att visa att vi menar allvar med öppenhet och driftssäkerhet så lanserade vi redan i mars något som inget annat webbhotell i Sverige haft varken förr eller senare: en driftssida, www.binerodrift.se, där upptidsdata för varje individuell server levereras av en extern leverantör och visas upp helt öppet tillsammans med historik.

Sidan ligger hos en extern leverantör och drabbas inte om Bineros egna sidor skulle få problem. Här döljs inte problemen, utan alla kan se exakt vad som händer och när. För att säkerställa att verkligen alla ser detta har vi också satt upp en 42-tums skärm med upptids- och supportdata tre meter från hela support- och driftpersonalen. Vid störningar både låter och blinkar det.

Drift, teknik och miljö

Att Fredrik kom in och fick jobba som en dedikerad drifttekniker med ett helhetsansvar för detta gjorde också en stor skillnad. Strikta rutiner infördes för alla ändringar i systemet. Vad gäller systemet togs beslut om en stor investering för att virtualisera merparten av servrarna. Det gör att resurser omedelbart kan flyttas runt servrarna för att täcka upp vid behov.

Ovanstående åtgärder genomfördes och började ge effekt till hösten. Innan dess kom en nedgång under juni-juli då tekniska problem sammanföll med semestrarna. Jag införde krav på detaljerad rapportering vid varje avbrott. Vi skapade också en mer enhetlig miljö, där alla Windows- respektive Linux-servrar ska ha en exakt likadan struktur för större tillförlitlighet.

Med tiden har åtgärderna gett resultat och sedan september 2008 har branschtidningen Internetworlds definition av ”bra” upptid, 99,90% aldrig underskridits. Sedan december 2008 har upptiden varit över 99,96%.

Framtiden – tillgänglighet till tusen

Fel kan som sagt alltid smyga sig in – och på Binero varken kan eller kommer vi att vila på lagrarna om vi vill försöka att bli bäst inom upptid. Här finns en mängd åtgärder planerade, bland annat en helt lastbalanserad servermiljö, mer driftpersonal med konkreta ansvarsområden – nätverk, lagring, lastbalansering.

Till detta kommer regelbunden och utökad utbildning om varför, hur och när (alltid!) vi ska arbeta för att få en ännu högre tillgänglighet. På sikt kommer flera större åtgärder för att öka säkerheten och redundansen ytterligare.

Detta är en del av de saker som vi gjort, några vi ständigt gör och några vi kommer att göra. Men det är naturligtvis inte allt. Vår väg mot att bli ännu bättre är lång och detta är inte slutet, inte ens början på slutet – men kanske slutet på början.

Relaterade inlägg:

1. Tummen upp!
2. Tummen upp för Google WebFinger?
3. Upp till kamp!
4. Se upp! Här kommer MiniGeeks!
5. Upp till Camp för sommaren! #SSWC