Webbhotell Binero

Visst är det härligt att se ett tydligt resultat av sitt arbete?

Som vi tidigare har berättat så har vi på driftsidan den senaste tiden arbetat mycket med att migrera servrar från FreeBSD till Linux och utfört en hel del andra förbättringar. Vi har även infört nya rutiner för hur vi hanterar störningar och specifika kunder som orsakar problem med våra servrar.

Den vanligaste orsaken till störningar hos oss (och andra webbhotell) är nämligen kunder som, vanligtvis omedvetet, orsakar problem på våra servrar. Det handlar om allt ifrån tokig programmering och vilda databasfrågor till extrema besökarantal och massiva e-postutskick.

När vi upptäcker kundrelaterade störningar så kontaktar vi den berörda kunden, informerar om problemet och försöker hitta en lösning. I vissa fall, om kunden inte är nåbar eller om problemet orsakar väldigt stora störningar (som påverkar andra kunder), så stänger vi ner kundens tjänster.

Nu har kombinationen av vårt server- och kundarbete börjat ge riktigt fina resultat. Den senaste tiden har antalet oplanerade störningar minskat kraftigt, samtalen till vår jourtelefon är nästan obefintliga och vår allmänna procentuella tillgänglighet har ökat.

Ett väldigt konkret exempel på detta är tillgängligheten på servern VonAnka i oktober och november.

Nu ska vi inte slå oss för bröstet för mycket. Vi vet att störningar kan uppstå, på de mest oväntade sätt, när man minst anar det. Vi kämpar istället vidare, med ett leenden på läpparna.

De senaste veckorna har vi på driftsidan arbetat intensivt med migreringen från FreeBSD till Linux. Vi har både flyttat kunder mellan olika servrar och operativsystem samt identifierat och isolerat hemsidor som orsakat störningar hos oss. Och arbetet har börjat ge resultat, både i form av lägre belastning och färre störningar.

I natt kommer vi att påbörja migreringen av VonAnka, från FreeBSD till Linux. Vi har tidigare redan flyttat bort ett större antal kunder från VonAnka, men nu kommer hela servern att försvinna från oss. Även om killarna skrotade VonAnka (fysiskt) tidigare så har dess virtuella efterföljare tagit sig friheten att fortsätta leva loppan (med driftstörningar till följd).

Men nu är det snart över.

Samtliga berörda kunder har sedan tidigare informerats om detta och vi kommer givetvis att ha silkesvantarna på oss under hela migreringen. För att minimera den påverkan som migreringen kommer att ha så sker den sent i natt (vi börjar vid 1-tiden) och vi kommer köra den i etapper (om 50-100 kunder) flera nätter i rad. Som under tidigare migreringar så kommer vi även hålla binerodrift.se uppdaterad under tiden.

Säkerhet är a och o för oss. Även om det inte alltid märks (eller bloggas om) så arbetar vi konstant med att utveckla och förbättra säkerheten på våra servrar och tjänster.

En säkerhetsåtgärd som vi har vidtagit denna vecka är att införa jails på våra nya Linux-servrar. Enkelt uttryckt är jails ett sätt att skydda och isolera användare på en server, så att dessa får en egen servermiljö. Det innebär att varje användare får egna och unika sökvägar, variabler och program på servern. Samtidigt kommer man inte åt saker utanför sin egen servermiljö.

I praktiken innebär detta ingen skillnad för merparten av våra kunder. Det blir bara säkrare.

De som berörs av detta är de som använder SSH mot våra Linux-servrar. För er har vi lagt upp uppdaterad information i vår wiki, som bl a förklarar vilka programvaror vi tillåter i jails.

Några andra skillnader är att man behöver skapa schemalagda aktiviteter (cronjobs) genom vår kontrollpanel samt att manualerna (man-pages) inte är tillgängliga via SSH (de finns på nätet).

Under natten som gick utförde vi en migrering av Spiderman, från FreeBSD till Linux. Till skillnad från tidigare (oförberedda) migrering av Troubadix så hade vi förberett detta väldigt noggrant.

Till en början så har vi tagit fram ett särskilt verktyg som jämför inställningar, moduler, komponenter osv mellan originalservern (FreeBSD) och den virtuella servern (Linux). Och med jämför så menar jag verkligen jämför. Verktyget plockar fram exakt information om versioner, sökvägar, specialinställningar, ja rubbet.

Med i bagaget hade vi även vår erfarenhet från den tidigare migreringen av Troubadix, samt en gedigen (intern) wiki-artikel om hela processen (utförande och resultat).

Så, hur gick det då?

Innan vi påbörjade migreringen hade vi kört en rsync för att synkronisera all data mellan servrarna. Med jämförelseverktyget hade vi även anpassat Linux-servern i förväg. Eftersom vi kör Apache 2 i vår virtuella miljö (istället för Apache 1 som vi har på våra FreeBSD-servrar) så behövde vi anpassa konfigurationsfilen en aning (som skiljer sig åt mellan versionerna). Detsamma gällde även justeringar av vissa rättigheter.

Efter att den gamla servern hade stängts ned så tog vi upp den nya servern på ett identiskt IP-nummer (och slapp på så sätt fördröjningar pga DNS-uppdatering). Efter att migreringen hade utförts så synkroniserade vi all data mellan servrarna en sista gång. Samtliga tjänster kontrollerades och ett flertal hemsidor på servern besöktes även för att se så att allt fungerade bra.

Det blev en total nedtid, under själva migreringen, på ungefär 30 minuter.

Trots detta missade vi några saker.

Installatron följde inte med ordentligt, vissa schemalagda aktiviteter kom inte igång och när webbservern fick ett större antal processer (fler besökare) så uppstod det ett rättighetsproblem. Dessa saker åtgärdades dock så snart vi upptäckte dem.

Vid nästa migrering kommer vi att åtgärda detta under själva migreringen.

Vi valde att först migrera Spiderman, eftersom den servern har bråkat lite för mycket här under veckan. Nästa vecka kommer vi inleda med en migrering av VonAnka. Även detta kommer vi att informera ytterligare om på www.binerodrift.se.

Det har varit en händelserik helg på Binero. I lördags morse fick vi larm om att servern Troubadix låg nere. Efter att ha försökt få igång den på distans, utan resultat, begav jag mig ner till vår serverhall.

Där kontrollerades hårdvaran på den fysiska servern, samtidigt som en tidigare backup kördes över på en Linux-server i vår virtuella miljö. Efter ett tag kunde vi konstatera att det var en bra idé. Det var nämligen ett hårdvarufel (RAID-kortet) som hade orsakat kraschen av Troubadix.

Efter att backupen hade kopierats över till den virtuella Linux-servern kom merparten av tjänsterna på servern igång. Vi noterade att en del rättigheter inte stämde, samt att viss konfiguration på servern skiljde sig från tidigare, vilket även åtgärdades. Resten av lördagen och söndagen spenderades med finjusteringar av servern.

Under morgonen idag har vi fortsatt att justera felaktigheter som vi upptäckt och ni har rapporterat. Schemalagda aktiviteter (cronjobs) och vissa sökvägar håller på att ordnas, om ni hittar något som är fel med era tjänster på Troubadix så får ni gärna rapportera detta till oss på support@binero.se.

En sak som vi inte kunde kopiera över ordentligt från den tidigare FreeBSD-servern till den virtuella Linux-servern var FTP- och SSH-lösenorden. Vår säkerhetspolicy, med kryptering av samtliga lösenord, är helt enkelt för säker.

Om du har ett konto på Troubadix så behöver du sätta ett nytt FTP-lösenord. Det gör du enkelt genom vårt kundcenter, under ”Ändra lösenord”.

Nu kanske inte det här var vad vi hade sett fram emot i helg, men händelsen har ändå fört något positivt med sig. Vi har nämligen lärt oss väldigt mycket från denna första skarpa migrering. Den sista versen för Troubadix kommer att bli det första stycket av vårt byte från FreeBSD till Linux.

Valet av operativsystem är många gånger förknippat med väldigt starka känslor. Det finns människor som aldrig skulle kunna tänka sig att röra en Windows-dator (hej Jonathan), medan andra fnyser åt operativsystem som saknar ett grafiskt gränssnitt (hej Anders).

Men man kommer ibland till en punkt när man behöver omvärdera sin övertygelse.

Vi har under flera års tid använt operativsystemet FreeBSD för bl a webb-, databas- och e-postservrar hos oss. FreeBSD är ett snabbt, säkert och stabilt operativsystem som baseras på UNIX (det som Linux är en kopia av). Vi är, minst sagt, väldigt förtjusta i FreeBSD.

Vårt nya system och serverplattform bygger till stor del på virtualisering. FreeBSD fungerar (officiellt sett) inte med vår virtualiseringslösning. Åtminstone inte än. Även om vi har fått igång det så har det skapat vissa följdproblem. Många av de krascher vi har haft med våra FreeBSD-servrar den senaste tiden har berott på just detta.

Med det här som bakgrund har vi beslutat oss för att byta ut merparten av våra FreeBSD-servrar mot Linux-servrar. Ja, vi vet. Vi gråter inombords också.

Bytet kommer att ske nattetid, när trafiken mot våra servrar är som lägst, för minsta möjliga nedtid. Beroende på hur mycket utrymme det är man upptar så räknar vi med att bytet tar mellan 5 och 20 minuter per kund. Den nya servermiljö kommer givetvis att efterlikna tidigare miljö (vi kommer sätta upp länkar för vanliga binärer etc).

Det här är en rätt så stor process. Vi har tidigare utfört ett större antal tester och vi kommer givetvis att vara så varsamma som möjligt under hela bytet. På samma sätt har vi även testat att köra Linux-servrar, motsvarande våra FreeBSD-servrar, hos oss under en tid. Dessa servrar har haft en klart bättre tillgänglighet i vår virtuella servermiljö.

Vi har tecknat ett ordentligt serviceavtal med Red Hat, som blir vår officiella Linux-leverantör. Hela processen med bytet från FreeBSD till Linux beräknas ta ungefär en månad och vi kommer att gå ut med ytterligare information till samtliga berörda kunder.

På våra Linux-servrar kommer vi att köra Apache 2 (vi kör Apache 1 under FreeBSD) samtidigt som PHP kommer att köras i sk. CGI-läge. Det innebär bl a ökad säkerhet/spårbarhet, samt att tidigare problem med felaktiga rättigheter (t ex med Joomla) blir ett minne blott.

Nu är vi givetvis inga gröngölingar med Linux. Det är ett operativsystem som vi har använt ordentligt, både på klient- och serversidan, under ett flertal år. Dessutom är både FreeBSD och Linux förhållandevis lika varandra, vilket underlättar en hel del.

Men ändå. BSD är ju så mycket häftigare än Linux.

Uppdaterat: Den första server vi kommer byta operativsystem för är VonAnka. Då kommer vi även passa på och skrota dess otursförföljda namn.

Vi har under en tid haft vissa problem med webbposten hos oss. Det har inte varit problem vad det gäller tillgängligheten, utan snarare vad det gäller funktionaliteten. Webbposten har inte levt upp till era önskemål och behov, samtidigt som den har presterat sämre än vi önskat.

Trots ett flertal försök till att lösa detta, med leverantören av den mjukvara som vi använder för webbposten, så har det stått rätt så stilla. Samtidigt har vi, som tidigare rapporterat, arbetat en massa med vårt nya system, som bl a innehåller en helt annan mjukvara för webbposten.

Webbposten i vårt nya system baseras på IMP, som är en stabil, skalbar och funktionell mjukvara för webbaserad e-posthantering. IMP fungerar även i andra miljöer än bara vårt nya system och efter ordentliga tester (samt tidigare erfarenhet av IMP) har vi funnit att den är klart bättre än vår nuvarande webbpost.

Med det här som bakgrund har vi beslutat oss för att ersätta nuvarande lösningen för webbposten med IMP inom kort. Vi har några mindre detaljer kvar, samt att vi jobbar med konverteringar av inställningar, adressböcker etc, innan den nya webbposten är på plats. Men som alltid här på Binero så vill vi att ni ska vara medvetna om våra planer redan nu.

Vad innebär det här rent konkret?

• Ett nytt och tydligare gränssnitt

  Gränssnittet i IMP är tydligt, enkelt och väldigt anpassningsbart (med bl a ett 20-tal olika teman). I grund och botten är de flesta e-postprogram (lokala och webbaserade) rätt så lika, så det kommer vara enkelt att hitta i IMP. Vi har även en bra manual på gång för IMP.

• Fler och bättre fungerande funktioner

  IMP erbjuder de funktioner man förväntar sig av ett webbaserad e-postprogram, samtidigt som den även har stöd för saker som automatisk sortering av meddelanden, prioriteringar (flaggor) och flera olika språk. För den nyfikne finns det en mer utförlig lista över funktionerna i IMP.

• Förberedelse inför det nya systemet

  Övergången till IMP kommer vara en värdefull förberedelse inför vårt nya system. Med IMP på plats redan nu kan vi anpassa mjukvaran efter era behov och önskemål, vilket ger en smidigare övergång.

Den nya webbposten med IMP kommer att introduceras för samtliga kunder hos oss. Kunder med ett Windows-konto kommer även kunna fortsätta använda den alternativa webbposten (Merak).

Vi kommer givetvis att hålla er fortsatt uppdaterade om den nya webbposten med IMP och om ni har några frågor om detta så får ni gärna kommentera det här i vår blogg så att övriga besökare kan ta del av våra svar.

Uppdaterat: IMP kommer helt att ersätta nuvarande webbpost för FreeBSD-konton och även erbjudas kunder med Windows-konton.

Öppna källkodsprojekt hanteras vanligtvis av flera personer, som tillsammans arbetar med samma källkod (eller olika delar av den). Många gånger har man en central plats för källkoden, t ex en CVS, och uppdateringar (sk. commits) loggas i en historik.

Det här har Michael Ogawa tagit tillvara på. Med utgång från commit-historiken från några olika öppna källkodsprojekt så har han sammanställt videos som illustrerar dessa projekts utveckling. Här kan ni exempelvis se Apache:s födelse och utveckling.

Apache är den webbserver som vi kör på våra FreeBSD-servrar.

Under helgen som gick har vi haft problem med FreeBSD-servern VonAnka. Problemen beror på en konflikt mellan FreeBSD och RAID-kortet på servern. För att försöka lösa det här hade vi tekniker på plats i vår serverhall i natt, med uppgift att virtualisera VonAnka.

Efter flera timmars arbete med att konvertera servern till en virtuell version (och med bara ett fåtal MB kvar) så gick något snett. Konverteringen misslyckades.

Vi har istället satt upp en ny (virtuell) server för VonAnka och arbetet med att flytta kunder, från den gamla till den nya servern, pågår för fullt. Exakt när vi är klara kan vi inte säga, vi arbetar dock dygnet-runt (som vanligt) för att lösa detta.

Vi får verkligen beklaga de problem detta har orsakat er. Samtliga kunder på VonAnka kommer att kompenseras med två månader extra kostnadsfri tid för sina webbpaket.

Den nya serverplattformen är något som vi har arbetat med i det tysta en längre tid. Det är en plattform som består av ett flertal extremt kraftfulla servrar, som är virtualiserade med VMware. Serverplattformen står i Port80:s nya serverhall i Stockholm. Även till den nya serverhallen är Internetanslutningen redundant och vi har likaså batteri- och dieselbackup för all vår utrustning. Mer information om vår nya serverplattform kommer så småningom här framöver.

Uppdatering [2008-01-22 08:25]: Pga att störningarna ökade under måndagen så var det inte möjligt att flytta kunder från VonAnka, enligt tidigare plan. Vi har istället haft tekniker från oss och Dell på plats i vår serverhall hela natten. De har bytt ut RAID-kortet och samtliga diskar på VonAnka. Detta arbete innebar en del nedtid i natt. Nu är dock servern åter uppe och fungerar, utan några som helst felmeddelanden eller störningar.

För ganska så exakt en vecka sedan ”smög” vi in två nya funktioner i vårt (kostnadsfria) domänpaket: vidarebefordring av hemsida och e-post. Vi har tidigare erbjudit vanlig DNS-hantering, parkering osv men nu är det även möjligt att på ett enkelt sätt vidarebefordra trafik, både för hemsidor och e-post, till externa adresser. På så sätt man man t ex registrera en (gratis .se) domän hos oss och sätta upp en hemsida som vidarebefordras till en blogg (t ex blogger.com) och e-postadresser som vidarebefordras till en annan e-postleverantör (t ex gmail.com).

För er som är lite tekniskt intresserade så kan jag berätta att den här lösningen bygger på en kombination av Apache, MySQL och PHP med koppling till en MS SQL-databas. Vi har satt upp separata servrar för dessa tjänster, som på regelbunden basis (1 gång/minut) replikerar en central databas till lokala databaser. På så sätt är det ett fristående och oberoende system. Det var faktiskt Fredrik, vår nyaste supporttekniker, som lyckades med konststycket att koppla ihop Microsoft och en öppen källkodslösning. Väldigt imponerande

En till sak som är rätt så imponerande är prestandan på den här lösningen. Att vi ”smög” ut de nya tjänsterna berodde på att vi ville optimera det hela ordentligt, innan vi utannonserade det officiellt. Efter vår optimering så har Fredrik kört ett flertal prestandatester, med Apache Benchmark. Dessa tester visar bl a att våra nya domäntjänster kan hantera ca 2 700 förfrågningar/sekund. Även jag, som är en stark Microsoft-anhängare, får erkänna att det är riktigt bra drag i Apache-servern.

De nya domäntjänsterna hanteras snabbt och enkelt genom domänhanteringen i vårt kundcenter. Kommentera gärna dessa tjänster här.

Till sist, för att fira att vi är störst i Sverige så hade vi ett litet partaj på kontoret i fredags.

Vi hade med allt ett riktigt bra julpartaj behöver. Hemmabakad pepparkaka (från Fredrik), egengriljerad julskinka (från Göran), julmust, tårta, USB-jultomte och en ohämmad tomte (gissa vem som bidragit med den? ).