De senaste veckorna har vi på driftsidan arbetat intensivt med migreringen från FreeBSD till Linux. Vi har både flyttat kunder mellan olika servrar och operativsystem samt identifierat och isolerat hemsidor som orsakat störningar hos oss. Och arbetet har börjat ge resultat, både i form av lägre belastning och färre störningar.

I natt kommer vi att påbörja migreringen av VonAnka, från FreeBSD till Linux. Vi har tidigare redan flyttat bort ett större antal kunder från VonAnka, men nu kommer hela servern att försvinna från oss. Även om killarna skrotade VonAnka (fysiskt) tidigare så har dess virtuella efterföljare tagit sig friheten att fortsätta leva loppan (med driftstörningar till följd).

Men nu är det snart över.

Samtliga berörda kunder har sedan tidigare informerats om detta och vi kommer givetvis att ha silkesvantarna på oss under hela migreringen. För att minimera den påverkan som migreringen kommer att ha så sker den sent i natt (vi börjar vid 1-tiden) och vi kommer köra den i etapper (om 50-100 kunder) flera nätter i rad. Som under tidigare migreringar så kommer vi även hålla binerodrift.se uppdaterad under tiden.

I natt utförde vi lite underhåll i vår virtuella miljö. Detta eftersom vi rätt så nyligen upptäckte ett hårdvarufel i en del av vår nya virtuella miljö. Det var ett fel som vi förvisso kunde koppla oss förbi, men vi noterade ändå att det påverkade den totala prestandan i servermiljön.

Efter en dialog med vår hårdvaruleverantör Dell, samt ett antal tester i förväg, så var vi rätt så övertygade om att underhållet inte skulle påverka våra servrar och tjänster nämnvärt. Vi valde ändå att schemalägga det sent på kvällen/natten, för att minimera eventuella störningar.

Rent tekniskt så flyttade vi ett större antal virtuella servrar från en ESX (hårdvarunod) till en annan i VMware. Detta för att frigöra den trasiga hårdvaran och få den ersatt med ny och fullt fungerande hårdvara. Flytten i sig gick både snabbt och bra, men det uppstod ändå några komplikationer.

Av någon anledning så slutade nämligen nätverket att fungera för några virtuella servrar efter migreringen, däribland (den otursförföljda) VonAnka. Efter felsökning och dialog med Dell så lyckades vi lösa problemet. Vi får givetvis beklaga denna störning.

Flytten var dock inte av ondo. Det vi har vunnit på detta är desto mer intressant.

Vi har inte bara eliminerat ett hårdvarufel och frigjort utrymme för migreringen från FreeBSD till Linux, vi har dessutom fått upp en riktigt bra struktur för vårt nya system och anpassat vår virtuella miljö för den (globala) migrering som är planerad där.

Om ni har följt turerna kring VonAnka så förstår ni säkert att vi inte har alltför mycket över för denna server. Den senaste tiden har servern fungerat bra, så vi tog oss nyligen friheten att ge uttryck för våra känslor för den tidigare hårdvaran.

Här är vår version av fax-scenen från filmen Office Space. Fast med VonAnka.

Ni kan säkert förstå hur bra vi kände oss efter detta.

Efter att vi flyttade servern VonAnka till vårt virtuella miljö så har vi noterat fortsatta störningar med servern och då främst med webbtjänsten (Apache). Dessa störningar har, precis som övriga störningar hos oss, noterats på binerodrift.se.

För att lösa störningarna så har vi både felsökt och konfigurerat om servern samt flyttat bort ett stort antal kunder från VonAnka. Men problemet har kvarstått, med en ordentlig kulminering igår eftermiddag/kväll.

När störningarna har uppstått så har vi noterat ett särskilt felmeddelande. Även om den befintliga informationen om det här felmeddelandet är knapphändig så har vi kommit fram till, och fått det bekräftat, att felet är unikt för AMD64-versionen av FreeBSD (operativsystemet på VonAnka). Vi talar helt enkelt om en bugg.

Det här är en version av FreeBSD som vi inte har kört tidigare, utan som vi har börjat med i vår virtuella miljö (övriga versioner fungerar inte). För att lösa felet var vi tvungna att redigera källkoden för FreeBSD och kompilera om operativsystemet (kärnan).

Efter att vi gjorde detta har VonAnka fungerat riktigt bra. Felmeddelandet har helt försvunnit, belastningen på servern har inte varit så här låg på lång tid och den levererar hemsidor snabbare än någonsin tidigare.

Nu kanske det här låter som en barnlek, men det kan jag garantera er att så inte har varit fallet. Vi har haft ett flertal externa experter hos oss, men ingen har lyckats hitta eller lösa det här problemet. Samtidigt har felsökningen försvårats av störningarna och frysningar av servern.

Vi har istället vår nya driftekniker Fredrik att tacka för en heroisk insats.

Nu är VonAnka inte den enda FreeBSD-server som vi kör i vår virtuella miljö. Det innebär att vissa störningar som vi har sett på några andra servrar även kommer att lösas med en omkompilering. Till detta har vi nu även tagit fram ett flertal virtuella servrar, som står redo att ta över kunder på väldigt kort tid, om VonAnka får för sig att bugga igen.

Denna vecka har vår blogg varit rätt så död. Det beror bl a på att vi är underbemannade (ni har väl inte missat att vi söker personal), att .SE strulade till det ordentligt med frisläppningen av .se domäner och att VonAnka har fortsatt bråka med oss. Många bäckar små har i vårt fall varit många floder stora.

Vad har vi gjort då? Den här bilden sammanfattar vår vecka rätt så bra.

Vi har helt enkelt jobbat arslet av oss. Och vi fortsätter med det till dess att allt är klart.

När det gäller bemanningen så söker och intervjuar vi folk på löpande band. Det skulle vara enkelt att ta in vem som helst, men det är inte så vi arbetar. De som arbetar hos oss ska hålla högsta möjliga nivå och då tar det lite tid att hitta rätt. Just nu hjälper alla på företaget till med supporten och vi hoppas att ni har förståelse för att våra svarstider inte är riktigt lika rappa som de brukar vara.

I tisdags släppte .SE ungefär 9 000 .se domäner, dvs domäner som tidigare har varit upptagna blev tillgängliga för nyregistrering. Som ni kanske vet så erbjuder vi en snapbacktjänst, som innebär att vi med ett automatiserat system försöker registrera sådana här domäner åt våra kunder.

I vanliga fall så fungerar det riktigt bra, men av någon oförklarad anledning så gick inte frisläppningen igenom som den skulle hos .SE, vilket orsakade fördröjningar hos oss och ordentligt med manuellt arbete för att gå igenom och få en klarhet i alla registreringar.

Vad har .SE sagt om detta då? Tja, den enda information som vi ombud har fått från är ett e-postmeddelande (som gick ut vid halv 10-tiden på tisdag) med följande innehåll:

Vi hade problem med frisläppning av domännamn i natt. En av servrar hängde sig. Efter manuell omstart nu på morgonen så är dock den ganska omfattande frisläppningen igång och beräknas slutföras inom närmaste halvtimmen.

Det är faktiskt väldigt mycket information, med tanke på hur obefintlig (och missvisande) deras driftinformation är förövrigt.

VonAnka då, vad kan vi säga om den? Efter att den blev virtuell så fixade grabbarna några mindre saker som inte fungerade, som ni kan läsa om i föregående redovisning. Vi noterade dock att svarstiderna var sega och att servern fortsatte att krångla.

Eftersom VonAnka numera är en virtuell server så kunde vi snabbt och enkelt utöka kapaciteten på den (VonAnka har 4 st CPU:er och 4 GB RAM). Men det gjorde inte tillräckligt. Då undersökte vi diskaktiviteterna på servern och noterade att 3 st kunder på VonAnka tog upp praktiskt taget all kapacitet (en möjlig orsak till det tidigare hårdvarufelet, som var diskrelaterat).

Status på VonAnka just nu är att vi håller på att sätta upp en separat server för dessa kunder, så att vi kan lösa de återkommande störningarna permanent. Vi har ännu inte gått ut med information om kompensationen till berörda kunder, men det hoppas vi kunna ordna här under veckan. Vår prioritering har givetvis varit att lösa saker och ting.

I den mån det har varit möjligt så har vi även lagt ut information om störningarna under driftinformationen på vår hemsida, om än att det inte alltid har varit fallet. För att förbättra detta så har vi en helt ny lösning för vår driftinformation på gång. Där kommer man, oavsett om man är kund till oss eller inte, bl a att kunna se både aktuell driftstatus (på samtliga servrar och tjänster) samt en detaljerad historik, inklusive kommentarer och förklaringar från oss.

Den här nya lösningen har vi kommit väldigt långt med och vi beräknar faktiskt vara klara med den redan i slutet av den här månaden. Anders kommer att ge er mer information om detta här framöver.

Förövrigt så har vi bestämt oss för att göra en Office Space med den gamla hårdvaran för VonAnka, så snart saker och ting har lugnat ner sig. För er som, av någon outgrundlig anledning, har missat denna underbara film så har ni en liten teaser här:

Sist, men inte minst, så vill vi bara säga att vi har världens bästa och mest förstående kunder. Ni är verkligen helt underbara!