Kleine fout, grote catastrofe - GitLab is offline voor een dag

GitLab, een startup die een alternatief is voor de zeer populaire GitHub, heeft onlangs een vrij ruwe dag gehad als een menselijke fout veroorzaakte dat de hele website een volledige dag niet werkte.

Het probleem van GitLab begon voor het eerst toen het website ondervond laadtijd en stabiliteitsproblemen. De website is offline gehaald om de problemen op te lossen. Echter, tijdens het onderhoud, iemand maakte onbewust de fout om per ongeluk een map met 300 GB aan live productiegegevens te verwijderen.

Gelukkig voor GitLab, de inhoud die alleen werd verwijderd getroffen problemen en samengevoegde aanvragen. De repositories en wiki's werden op geen enkele manier door deze fout beïnvloed, wat betekent dat het schade veroorzaakt door deze fout was niet zo ernstig zoals het had kunnen zijn

Wanneer de directory is verwijderd, schakelen de medewerkers van GitLab onmiddellijk over op de back-up. Helaas voor hen kwam GitLab tegen nog een ander probleem. Volgens het Google Doc-bestand dat constant werd bijgewerkt omdat GitLab moeite heeft om weer online te komen, alle 5 back-up / replicatie technieken die de website gebruikte, werkten niet betrouwbaar, en in sommige gevallen waren dat nooit opgezet in de eerste plaats.

Deze verloren bestanden ophalen uit de cloud is geen optie voor GitLab, omdat de start-up eind vorig jaar beslist heeft dump de cloud om in plaats daarvan zijn eigen Ceph-clusters te bouwen en te beheren. Onnodig te zeggen dat GitLab nu zijn standpunt over dat specifieke onderwerp heroverweegt.

@TheRegister @gitlab zal werken aan het effectiever maken van de applicatie en het verkennen van alternatieve cloudhostingproviders.

- Connor Shea (@connorjshea) 1 februari 2017

Ondanks de tumultueuze dag die GitLab heeft gehad, is de website nu in gebruik zoals normaal. Terwijl de website meldde dat sommige gegevens verloren waren gegaan gedurende een venster van zes uur, de Git opslagplaatsen werden ongedeerd gelaten gedurende de gehele beproeving. Een volledig logboek van het hele evenement kan hier bekeken worden.

Hoewel veel lessen kunnen worden getrokken uit de kleine vergissing van GitLab (voornamelijk overmoed), is de methode van GitLab om de crisis aan te pakken, nogal bewonderenswaardig de startup was duidelijk en transparant met zijn gebruikers. Hier is te hopen dat GitLab leert van deze fout. Anders zou het gebruikersbestand waarschijnlijk minder vergevingsgezind zijn als de geschiedenis zich herhaalt.

Bron: het register