Driftsstörningen 2010-12-22

  • PUSHA

Binero har det sista dryga halvåret vuxit lika mycket som under de åtta föregående åren. Parallellt med att hantera kundökningen i systemet arbetar vi också på att förbättra vårt 2.0 system inför snarast möjliga migrering och en ytterst driftssäker framtid.

Driftsspecialister anställdes efter sommaren och fick börja gå igenom tidigare system som inte alltid varit tillräckligt dokumenterade eller genomtänkta. Samtliga kablar och switchar har bytts och nu skulle även våra gamla routrar och brandväggar bytas, prestanda ökas.

Arbetet var planerat att ske natten till måndag men tyvärr tog installationen i hallen längre tid än beräknat och själva bytet fick skjutas till onsdags natt.

Brandväggar och routrar har testats intensivt under en längre period i vår labbmiljö då hela uppsättningen är komplex för att garantera full redundans. Testerna indikerade att endast en mycket kort nedtid skulle krävas. När bytet skedde i vår aktiva miljö så visade sig dock en rad problem:

1. Endast IP:n specificerade som IP:n med extra access kom igenom brandväggen, däribland vår övervakning hos Pingdom då den kontrollerar tjänster som normalt inte kan nås utifrån. Detta löstes relativt fort.

2. Våra nya routrar från Extreme visade sig ha en felaktig konfiguration som inte fungerade i en aktiv miljö, ett svårt fel som orsakade den långa nertiden under morgonen. Felet visade sig först genom att vår lina från Telia inte fungerade. All trafik routades om via Phonera. Dock har paket fortsatt försvunnit.

Då pakettappen inte upphört blev vi tvungna att rulla tillbaka samtliga förändringar. Vi arbetar med tekniker från vår leverantör för att lösa dessa problem ordentligt innan byte nu.

Vi ber så hemskt mycket om ursäkt för det inträffade. Bytet av brandväggarna kommer, när dessa problem är avhjälpta, att ge oss en snabbare och stabilare samt mer driftsäker miljö.
Vi har under de senaste månaderna arbetat med att byta ut hela vårt interna nätverk, utöka och byta ut hårdvara i vår virtuella miljö samt storage. Vi har fortsatt planerade förändringar för att kunna ge en stabil och fullt driftsäker tjänst och dessa kommer att noga testas i vår labbmiljö, som även den kommer att ses ordentligt över efter dagens händelse.

Jag är övertygad om att dessa förbättringar som görs inom kort kommer att avspegla sig i en förbättrad miljö med en driftsäkerhet som ska vara 100% pålitlig.

Med vänliga hälsningar,

Anders Aleborg

VD och grundare,

Binero

 


Relaterade inlägg:

  1. Tillgängliga system
  2. Uppgraderingen av BineroNet: Vårt nätverkande
  3. Uppgraderingen av BineroNet: så lagras dina data hos oss
  4. Dell håller låda
  5. Binero erbjuder nu världens bästa spamskydd
  • http://twitter.com/FredrikDuprez Fredrik Duprez

    Om det är något som gårdagens fiasko visade så är det att ni snarast behöver förbättra redundansen hos er DNS-lösning. Våra subdomäner som ligger på andra nät gick ju inte heller att komma åt då er DNS fallerade.

    Så jag ber er fixa en fungerande DNS-lösning innan ni försöker byta brandväggarna nästa gång.

  • http://www.bjornsennbrink.se Björn Sennbrink

    Kommer ni att kompensera drabbade kunder utöver en muntlig ursäkt?

  • Anonym

    1. Varför inte göra dessa saker nätter mellan lördag-söndag?
    2. Hur kan namnserver slås ut? Står den inte utanför på annan plats? Redundans på namnserver känns som ett måste, det kan inte slås ut av en enda brandvägg.
    3. Varför rullades inte den gamla miljön tillbaka när det började strula? Det ger ju lägre nedtid!

  • Bjorn

    Ja, ni testar verkligen vårt tålamod. Men jag har fortfarande den rätta känslan för Binero så jag hänger med ett tag till. Trots missöden denna hösten har ni fortfarande en prisvärd tjänst och när ni tagit er igenom detta är allt förlåtit.

  • Mattias

    Tyvärr gav inte detta inlägg svar på många av de frågor som uppstod igår. Snarare skapade än fler! Jag vet att ni är ett hårt arbetande gäng. Men det är svårt att stå på er sida efter senaste tidens problem.

    Varför utför man en sådan här uppdatering mitt i veckan precis innan jul? Varför rullades inte tillbaka tidigare när man såg vilka problem den orsakade?

    Det börjar dessutom bli hög tid att uppdatera äldre kunder om vad som händer med 2.0 egentligen!

  • Linda

    Om man är missnöjd kan man väl alltid få pengarna tillbaka på återstående tid? http://www.binero.se/omoss/pengarna-tillbaka-garanti

  • Pingback: Tweets that mention Driftsstörningen 2010-12-22 | Binero - bäst på domännamn, vänligast på webbhotell -- Topsy.com

  • Mariefreds Webbyrå

    Uppskattar att ni är aktiva på Twitter när det är problem. Att få löpande information är mycket värdefullt.

  • Kent

    Håller med till 100%. Jag dristar mig också till att lyfta frågan om det är korrekt enligt RFC? På tidigt 90-tal fick jag inte drifta en domän för att jag inte hade DNS på olika nät, och då snackar vi olika nät fysiskt. Har det ändrats? Låter småföretag att ha två DNS-tjänster i samma nät.

  • http://blogg.binero.se Binero

    Hej Fredrik,
    En ny DNS-lösning är så gott som klar. Ska in så fort det går.
    Vänliga hälsningar,
    Erik

  • Linus

    Denna tabben fick oss att fundera ut en annan lösning och efter jul kommer vi skaffa egen server och därmed lämna er.

    Ni har strulat för mycket på för kort tid.

  • http://blogg.binero.se Binero

    Hej Björn,
    Givet våra priser under branschsnittet så kan vi helt enkelt inte kompensera i någon mån utöver skyldigheten i våra allm. avtal*, som ligger i linje med branschpraxis: “Bineros skadeståndsskyldighet är begränsad till direkta förluster till ett sammanlagt värde motsvarande högst avgiften för Tjänsterna under gällande avtalsperiod.”

    Söker du kompensation så kontakta supporten så hjälper de dig.
    Vänliga hälsningar,
    Erik

    *http://www.binero.se/webbhotell/avtal

  • Jonas

    Innan allt strul började var väl detta ett planerat driftstopp? Genom vilka kanaler annonserades detta, jag är kund och har inte nåtts av någon som helst information inför detta.

  • Jonas B.

    Hela detta känns lite amatörmässigt om jag ska vara ärligt. Man jobbar inte så med drift att man rycker undan mattan på sin miljö, och man felsöker framförallt inte en ny grunka live utan återställer illa kvickt och återskapar problemet i labmiljö.

    Dessutom känns det som att ni i alldeles för stor utsträckning bygger redundans vertikalt istället för horistontellt. Dyr utrustning som aldrig ska fallera är aldrig en ersättning för att placera ens namnservrar i olika AS med olika routing.

    En tankeställare kan vara att ni har enligt egen utsago genomfört ett större projekt och bytt aktiv utrustning för att förbättra driftsäkerheten och till följd av det fått ett avbrott, frågan är då hur länge de nya prylarna måste fungera helt utan minsta hicka för att upptiden ens ska “komma ifatt” det gamla systemet.

  • http://blogg.binero.se Binero

    Hej kronprinsen,
    1. Som nämnt i inlägget har vi en rekordväxande verksamhet och en ännu ambitiösare utvecklingsplan där både förbättringar i bef. system och snar migrering är prioriteter att göra asap. Därav brådskan. Men vi ber om ursäkt. Onsdag så nära jul var ett misstag.

    2. DNS:erna står inom samma nät. Vi har en ny lösning på gång som är i princip klar.

    3. Som beskrivet i posten identifierades felen efterhand så våra tekniker trodde hela tiden att det nästan var löst. Tillbakarullningen tog tid i sig, ledde till problem med tre servrar, det var inte nåt beslut vi ville ta, utan endast tog när det blev klart att problemen inte kunde lösas på plats.
    Vänliga hälsningar,
    Erik
    Binero

  • http://blogg.binero.se Binero

    Björn – du är bäst! ;)
    Tack för din feed-back du hjälper att driva oss i synnerhet i motgång.
    Vänliga hälsningar och God Jul,
    Erik

  • http://blogg.binero.se Binero

    Hej Mattias,
    Se svar på Kronprinsens frågor nedan. Ang. 2.0: vi jobbar för fullt med att addera funktioner i nya för att kunna inleda migrering så snart som möjligt. Vi beklagar att detta tagit sådan tid.
    Vänliga hälsningar,
    Erik
    Binero

  • http://blogg.binero.se Binero

    Hej Linda,
    Självklart kan du få tillbaka pengar som du betalt för tid som du inte kommer att utnyttja. Säg upp ditt konto och kontakta därefter support@binero.se med detaljerna. Upp till 45 dagar har vi dessutom öppet köp – då du får alla pengar tillbaka.
    Vänliga hälsningar,
    Erik
    Binero

  • http://blogg.binero.se Binero

    Hej Mariefred,
    Jätteroligt att höra! Tack!
    Vänliga hälsningar,
    Erik
    Binero

  • http://blogg.binero.se Binero

    Hej Jonas,
    Detta driftsstopp annonserades under tisdagen på http://www.binerodrift.se under “Senaste meddelanden” enligt praxis.
    Vänliga hälsningar,
    Erik
    Binero

  • http://twitter.com/martin_levy Martin Levy

    Att ni inte löst redundans för DNS är ett skämt. Hur kan ni låta er DNS slås ut när ni har driftarbeten som att byta brandvägg är bortom allt förstånd.

    Detta inträffade redan i våras och ni sa då att er “anycast” baserade DNS lösning skulle vara i drift innan sommaren. Dessa problem har nu inträffat ytterligare 4 gånger detta år och ingen information om ny DNS lösning finns (eller kommentarer varför denna inte implementerats ännu).

    Hur kan ni dels planera in driftarbete utan att meddela kunder? Det enda jag hittar är en post på er sajt med datum 2010-12-18, som man måste klicka på för att få reda på att arbetet gäller den 22/12. Och hur kan ni utföra arbetet precis innan jul???
    nu

    Vi hade själva planerat att byta DNS (från Binero till en stabil leverantör) den 24/12 just för att minimera eventuella problem.

    Tyvärr har vi inte råd att vara kvar hos er längre, det har kostat oss alldeles för mycket pengar, tid och respekt från våra kunder.

  • http://www.bjornsennbrink.se Björn Sennbrink

    Tack för svaret. Jag söker inte kompensation.

  • http://www.bjornsennbrink.se Björn Sennbrink

    Det handlar om huruvida jag ska råda mina kunder att stanna hos er och om jag ska tillföra fler i framtiden.

  • Tor

    Beklagligt att sådana problem inträffade. Trots det står jag kvar som kund då ni annars har stabila tjänster och är bra på att informera! Hoppas det går bättre nästa gång och jag vet hur lätt det kan bli längre stopp än planerat.

  • http://www.linnarsson.com/ Johan Linnarsson

    Lite strul har det varit under hösten… Men jag hoppas att Binero-gänget får tid för lite julfirande också med god mat och dryck! Samt att tomten kommer med fina julklappar. :)

  • Kalle

    Aldrig säger jag om att rekommendera Binero till andra. 2 mycket allvarliga avbrott under 2010 är minst 1 för mycket för att man någonsin skall rekommendera dem

  • http://blog.gg8.se/wordpress nitro2k01

    Två avbrott på kort tid samt att det tar lång tid att flytta alla till 2.0 tär ju lite på förtroendet. Om jag hade drivit någon form av affärskritisk verksamhet hade jag nog flyttat vid det här laget. Jo, det fanns vettiga förklaringar till båda tillfällena, och jo, även den bäste kan göra misstag, men det är inte utan att man funderar på när det kommer hända nästa gång.

    Sen det där med 2.0. Det är självklart rätt tänkt att man inte ska hasta fram något sådant, men det tar ju tid. Jag brukar säga till mig själv på skämta att om jag inte har blivit flyttad vid nästa fakturering (oktober 2011) så flyttar jag. Snälla, låt mig inte uppleva den händelsen…

  • http://hittaupplevelse.se Carl Stridsberg

    Även solen har sina fläckar!

    Visserligen drabbades vi av en total Binerosolförmörkelse ett tag men nu strålar ni klart igen som den stjärna ni är! ;-)

    //Carl, hittaupplevelse.se

  • Pingback: Alla vägar går till Kastrup - Tomatsallad

  • Adam

    Jag har sedan länge varit och är fortfarande en stor fan av Binero! (Ni har ju jordens skönaste ekonomisnubbe), men att DNS:en fortfarande inte är fixade är inte ok, redan förra kraschen var allt “i princip” klart och det borde inte vara några pengar att tala om.
    Sen tror jag att det är dags att se över er support och driftinfo.
    En av mina domänder har vidarebefodran av e-post via er (som inte funkar). Det står heller inte ett pip om det på binerodrift.se. När jag (tillsist) kom fram till er support fick jag budkskapet att han hade hört nått om detta, men inte visste när det skulle bli klart. Då frågade hur jag som kund som beroende av att detta skulle funka skulle agera och fick svaret att jag skulle skaffa en e-postserver för domänen (?!?!?)…
    Min poäng är denna, om man som bästa argument för att tjänsten inte fungerar framhåller att den är billig så är man ute på extremt tunn is. Funkar det inte och det är en ekonomisk fråga så får ni väl höja priserna till dess att ni har råd att ha en tjänst som åtminstone är i nivå med Loopia eller FS-Data…

  • http://twitter.com/plawsworth Romeo

    Shit

  • Måns

    Problemen med vidarebefordringarna har drabbat även mig, och även jag fick samma besked på supporten “vi har haft lite problem med detta”. Så vad ni säger är att ni vet att ni har problem med vidarebefordringar som inte fungerar, men ni upplyser inte era kunder om det utan försöker dölja det? Det allvarligaste är ju att mailen som skickas till vidarebefordringar försvinner helt utan notis, inga felmeddelanden till den som skickat, ingenting!

    Detta är mycket allvarligare än driftstoppet i mina ögon.

  • Jonas

    Er praxis är alltså att inte informera kunder inför planerade driftstopp via exempelvis e-post utan som kund förväntas man själv regelbundet kolla binerodrift.se för att kunna veta om ens tjänster kommer vara tillgängliga?

  • http://blogg.binero.se Binero

    @Jonas Planerade driftsstopp varierar extremt från några minuter på en server till mera omfattande. Vi informerar via binerodrift.se och i undantagsfall (i måndags förra veckan) via övriga källor såsom banner på hemsidan. Mvh, E

  • http://blogg.binero.se Binero

    @Måns Som för varje företag med många tiotusentals kunder i en komplex verksamhet så drabbas ibland delar av kundbasen av problem (såsom mailvidarebefordran). Så länge inte alla kunder berörs ser vi inte någon anledning att oroa samtliga kunder, utan låter de berörda kontakta supporten. Nämnda problem hoppas vi fö löses under eftermiddagen. Mvh, E

  • Måns

    Det kan jag förstå, men jag tycker också att det måste variera med allvaret hos problemet! För mig har flertalet mail försvunnit utan att jag eller den som skickade mailet fick någon varning, det tog ett tag för mig att upptäcka, ledde till fler förlorade mail än nödvändigt, och skapade flertalet problem med information som försvann. Självklart borde ni sagt till.

    Att problemet uppstår kan jag lätt förlåta, sånt händer. Men er nonchalanta attityd kring hanteringen av problemet är svårare att begripa.

  • Pingback: Brandväggsproblem hos Binero

  • http://blogg.binero.se Binero

    Hej Måns,
    Vi beklagar och ja, i detta fall låter det onekligen som du har rätt. Vi ska ta en diskussion internt ang. dylika problem. Mailvidarebefordringar funkar sedan 14:18 idag.
    Vänliga hälsningar,
    Erik
    Binero

  • Anonym

    När vi ändå snackar driftsäkerthet och sånt. Kollade lite på webmasternetwork där det påstods att ni vid driftstoppet i nov hade alla riktiga tekniker utomlands. Såg aldrig något svar på det? Skulle ju vara oacceptabelt om det var så..

  • Jonatan

    Ett av motiven med uppstarten av binerodrift.se sades vara en öppen ärlighet om vilka problem som förekommer. Gällde det bara problem som drabbade alla, eller vad hände med öppenheten? :(

  • Ola

    Tycker kommentarerna i stort är löjliga! Har man en vinstdrivande verksamhet som man kanske till och med lever på får man skylla sig själv om man betalar ~1000:- per år för ett webbhotell (äger inte att det är bättre med ett webbhotell för 3000/år). Hyr en konsult som får sätta upp en/flera servrar om du ändå drar in lönen på den. Att det skulle vara bättre att ha DNS på olika AS är också skrattretande. Dumt var dock att Binero gjordes ingreppet så nära på en storhelg.

  • http://blogg.binero.se Binero

    Nej det stämmer inte. Vi har “riktiga” tekniker i landet.
    Vänliga hälsningar,
    Erik
    Binero

  • http://blogg.binero.se Binero

    Hej Jonatan,
    Vi är med marginal öppnast i branschen. På Binerodrift redovisas m.h.a. en extern leverantör all nedtid över 3 min på våra servrar, oavsett om det är en, två eller hundratals.
    Vänliga hälsningar
    Erik :)

  • http://twitter.com/johanejohansson Johan E. Johansson

    Jag driver ingen omfattande verksamhet så jag har inte drabbats alltför negativt av driftstoppet. Misstag gör ju alla, men vad som är relevant är vilka lärdomar man tar av misstagen. Jag håller med “Ola” (ovan) om att många av kommentarerna är väl hårda, men samtidigt missar han poängen. Oavsett om jag köper en Fiat eller om jag köper en Porsche så ska den fungera som förväntat; i annat fall hade jag helt enkelt inte köpt den.

    Ett större problem för mig är ovissheten. Visst är det bra att det finns en driftsida och en blogg (men bloggen tycker jag mest översvämmats av Simon-inlägg, allt väsentligt ur driftperspektiv har hamnat i skymundan). Men när det gäller driftstörningar så vill jag också ha ett mail, även om det är ett fel som bara berör en minoritet av kunderna (i vart fall om jag är en av dem). Detsamma för planerade driftstopp.

    Vare sig oplanerade eller planerade driftstopp sker så pass ofta att det skulle vara till besvär för mig som kund (jfr spam-mängd) men samtidigt skulle det förenkla väsentligt.

  • Magnus

    Har drabbats hårt av Bineros ständiga störningar.
    Jag har en Oscommerce e-butik som tidvis haft flera störningar per dag på 30s-120s per gång.
    Gissar på att det är omstarter när de ska installera nya kunder.
    Jag kan inte hitta någon statistik som visar detta på Binerodriften.
    Jag arbetar större delen av dagen med e-butiken så jag vet att de finns.

    Jag har kontaktat Binero och påtalat dessa problem i omgångar.
    De har försökt hjälpa till därefter har det varit bra en viss tid sedan återkommer problemen igen.

    Har även sagt till Binero supporten att jag är beredd att betala mer för att slippa dessa störningar.
    Har fått som svar att det jag har ska räcka till mig.
    Vad jag har fattat har de bara ett företagspaket att erbjuda.

    När Er kapacitet går i taket.
    Är det inte bättre att då tacka nej till gamla kunder och ta hand om de ni har.

    När Era kunder växer och efterstävar en bättre lösning än Företagspaketet varför fixar ni inte detta då?
    Jag har i klartext sagt att jag är beredd att betala mer för detta.

    För min del som inte är kodare är det omständigt att hålla på o byta web-hotell.

    // Magnus

  • http://blogg.binero.se Binero

    Hej Magnus,
    Beklagar problemen. 1) störningarna är definitivt inte omstarter för att installera nya kunder, många orsaker men inte det. 2) Söker du på din domän på binerodrift ser du status för alla dina servrar och alla avbrott över 3 min. Kortare avbrott syns inte. 3) Vi är extremt framgångsrika sedan fyra år på ett enkelt koncept: två paket. Att vi för tillfället har haft tekniska störningar kommer inte få oss att ändra strategi.
    Vi lägger alla resurser vi kan på att ordna upp tekniken och vi är övertygade om att du i backspegeln kommer att bli mycket nöjd.
    Vänliga hälsningar
    Erik
    Binero

  • Leif

    En bloggpost om hur arbetet med 2.0 fortskrider vore trevligt men ärligt talat är jag glad om jag slipper onödigt trassel vid migreringen. Dock vore det praktiskt att kunna sjösätta nya projekt direkt i 2.0-miljön utan behöva skriva koden för både 1.0 och 2.0, men å andra sidan lär sådan flexibilitet underlätta i händelse att man behöver lämna Binero. Uppskattar dock att supporten redan för ett halvår sedan gav svar på vilka förändringar i unix-sökvägarna som var planerade (berör främst om man har subdomäner som delar kod med andra subdomäner/huvuddomänen – de som bara kör wordpress i standardutförande borde klara sig ganska lindrigt)

  • Magnus

    Fortsättning Magnus

    Mitt (största) problem är alla korta avbrott som är mindre än 3 minuter.
    Vad beror dessa avbrott på?
    Hur lång tid tar det innan detta är åtgärdat?

    Om Jag tolkar Ert svar rätt, så kommer ni inte erbjuda något typ av bättre paket som ger bättre garantier så att man slipper alla dessa avbrott.

    Jag har full förståelse att ni fortsätter Ert framgångs-recept med 2st olika paket.
    Å andra sidan har många av Era kunder också växt och kräver mer prestanda, bättre backup, mindre störningar.

    Har ni någon avsikt att erbjuda något till den kundgruppen som är beredd att betala mer?

    En gammal sanning är att det ofta är billigare att försöka behålla befintliga kunder istället för att lägga mer pengar på reklam för att få nya.

    // Magnus

  • Magnus

    Hejsan!

    Nu en av dessa ständiga stopp
    “Servern är för tillfället inte kan behandla din förfrågan på grund av underhåll driftstopp eller kapacitetsproblem. Försök igen senare.”

    Liknande problem har jag haft 3-4st per dag sista veckan.

    Har ni någon avsikt att få ordning på dessa problem.

    Tycker Er statistik är missvisande för det visar inte småstopp som är mindre än 3 minuter.

    // Magnus

  • Adam

    Ja, detta hoppas jag verkligen att ni tagit tag i, man går väl inte in på binerodrift.se om man inte har problem. Ett enkelt meddelande, “Vissa vidarebefodringar av e-post fungerar inte, felsökning pågår” hade räckt. Istället få man sitta 15 minuter i kö för att få ett j*vl*gt nochalant svar på ren svenska. Under all kritik faktiskt, så även ert första svar på denna tråd.

  • Pingback: Varför jag fortfarande är en nöjd Binero-kund | Brinkenfeldt IT


Bäst i test två år i rad - Internetworld

Rekommenderas av InternetworldVi är prisade för vår goda support, höga funktionalitet och kontrollpanel.