Je bent hier:-, Nieuws-CEO Binance geeft verklaring over incident

CEO Binance geeft verklaring over incident

Blocker.nl volgde de problemen die de exchange Binance de afgelopen weken had. Deze lijken opgelost en de CEO van Binance gaf deze verklaring.

Ik geloof dat men in moeilijke tijden kan laten zien hoe men in elkaar zit. Hoe een persoon met crises omgaat definieert zijn karakter. Hoe een bedrijf met crises omgaat, bepaalt haar geloofwaardigheid en hoe een team omgaat met crises bepaalt hun toekomst.

Hoofdzaak

Op donderdagochtend faalde een van onze replica database clusters van master naar back-up. Dit komt waarschijnlijk door een onverwachte hardwarefout. Ongeveer een half uur later had het back-updatabasecluster ook een probleem en mislukte het opnieuw. Kort daarna gingen de alarmbellen af, omdat er gegevens inconsistentie was. Bij onderzoek werd bevestigd dat er inderdaad sprake was van datacorruptie bij 1,7% van de gebruikers en dat dit aantal toenam. De gegevens waren beschadigd op een manier die geen van onze bestaande tools kon oplossen. Nieuwe gegevens die worden gegenereerd op basis van deze gecorrumpeerde gegevens, resulteren in meer beschadigde gegevens. Om de verspreiding van gegevenscorruptie te beperken, moesten we zo snel mogelijk een volledige hersynchronisatie van de databaseclusters uitvoeren. We schatten in dat dit enkele uren zou duren. Het was een moeilijke, maar noodzakelijke beslissing. Ik gaf het startsein. We hebben dit medegedeeld en zo snel mogelijk op sociale media gepost en vervolgens de hersynchronisatie gestart.

De resync was complex vanwege onze grote architectuur, met zware optimalisaties voor handelsprestaties en het opnieuw opbouwen van de gegevensstructuur in het geheugen. De volledige hersynchronisatie omvatte ook een aantal verschillende fasen, waardoor het moeilijk was om de exacte tijd te schatten die het totaal zou duren, totdat de laatste fase was begonnen. Pas nadat we de volledige resync begonnen, ontdekten we dat de enorme groei van gegevens in de afgelopen maand de benodigde tijd zou vragen. Bij de eerste berekeningen werd de schatting op 10 uur gezet. Één van onze teamleden heeft letterlijk overgegeven. Maar de schatting klopte nog steeds niet. Naarmate de tijd voortschreed, vertraagde de synchronisatie, waardoor het naar schatting 60 uur zou gaan duren. Het was onacceptabel.

Terwijl de eerste hersynchronisatie nog aan de gang was, werden twee nieuwe methoden gecodeerd, en getest voor zover mogelijk, en – onder de tijdsbeperkingen die we hadden – parallel gestart. Beiden waren inderdaad sneller. Een van hen heeft ons uiteindelijk een aantal waardevolle uren bespaard. Het proces duurde nog lang, te lang. De korte versie is dat het volledige team onafgebroken 34 uur lang heeft gewerkt en veel moeilijkheden heeft overwonnen om het systeem zo snel mogelijk weer online te krijgen. En vele uren bleef werken nadat de handel was hervat.

Er werden een aantal harde lessen geleerd en items werden als post mortems uitgesteld voor toekomstige implementatie. Ze worden op dit moment bewerkt, getest en ingezet, inclusief nachten en weekends. Sommige items zijn architecturale veranderingen waarvoor stopzetting van de handel vereist is voor inzet. We stellen het op prijs dat u dit de komende dagen begrijpt. Ze zullen kort zijn.

Problemen reizen niet alleen (een Chinees spreekwoord)

Terwijl we bezig waren met het herstellen van ons systeem, werd onze ondersteuningssite die door ZenDesk werd gehost, onbereikbaar, wat ons vermogen om aankondigingen te plaatsen beperkt, precies op het moment dat we het het meest nodig hadden. We geloofden dat dit te wijten was aan een DDoS-aanval op hun dienst. Het was lastig om dit mee te delen, omdat FUDers de situatie zeker zouden exploiteren om nog veel meer FUD te creëren. Het hebben van meerdere issues / problemen schept echt twijfel in de geest van mensen. Wij kiezen er (altijd) voor om open een eerlijk er over te zijn – wees gewoon direct.

Bovendien kwam onze startpagina, www.binance.com, tegelijkertijd onder zware DDoS-aanvallen. Dit is een typisch geval: wanneer je een auto hebt met een gebroken raam, alle inbrekers er een stukje van willen hebben. Net als mensen, hoe veilig een systeem is, wordt vaak bepaald tijdens een crisis. Gelukkig is veiligheid altijd onze topprioriteit geweest en hebben de hackers hun tijd, moeite en geld verspild zonder resultaat.

Communicatie

We weten hoe stressvol een tijd als deze voor onze gebruikers is. Het beste dat we konden doen, terwijl de technici aan het werk waren, was om de communicatie open te houden. Gedurende het hele incident bleven onze teams constant communiceren, met updates niet minder dan om de twee uur. Met ZenDesk down vertrouwden we op Twitter en andere sociale mediakanalen. Ik heb hier wel eens over geklaagd, maar nu waardeer ik dat er zoveel sociale platforms zijn. Ik had alleen de bandbreedte om mijn eigen Twitter-account te beheren. Het team, inclusief onze Binance Angels (vrijwilligers), beheerde de rest.

FUDer en oplichters

Het was feest voor FUD’ers. Allerlei complottheorieën werden bedacht. De meesten van deze jongens hebben de markt waarschijnlijk tegelijkertijd geshort. Nou, het lukte deze keer waarschijnlijk niet zo goed, want de markt daalde niet tijdens onze downtime en steeg met 20% + direct na ons herstel.

Er waren veel oplichters. De nieuwste mode lijkt te zijn: gebruik een profielfoto van een bekende persoon, creëer een vergelijkbaar uitziend handle en tweet een antwoord op al onze tweets met de mededeling “als je me x ETH stuurt, sturen we je 2x ETH terug.” We hebben meer dan 200 van hen gerapporteerd. Twitter was vrij snel om die accounts uit te schakelen. Het moet op de een of andere manier gewerkt hebben, aangezien ze hier hun tijd mee doorbrengen.

Financial Times (een kleinere website dan Coindesk nu, door verkeersanalyse van Alexa) publiceerde prompt een artikel over ons, dat wij uit de lucht waren. Niettemin was het waar. Het noemde ons ook de grootste exchange en bracht wat van hun verkeer naar ons. Bedankt!

De echte hulp was Mr. Mcafee, die een duidelijk nepbeeld plaatste over het feit dat we gehackt werden. Iedereen bleek bereid om ons te helpen verdedigen. Hij verenigde de gemeenschap voor ons en verzamelde zoveel steun, in een tijd waarin we het het meest nodig hadden. Soms zijn dingen die er negatief uitzien eigenlijk positief. Kijkend naar zijn vorige berichten, denk ik nu dat hij volkomen onschuldig was, maar hij vroeg gewoon de verkeerde (of juist, afhankelijk van hoe je ernaar kijkt) vragen. Ik kan begrijpen dat hij mijn artikel over FUD niet heeft gelezen, hoe onschuldige vragen de beste dragers van FUD zijn. Hoe dan ook, mijn dank gaat uit naar Mr. Mcafee, ik zal een drankje voor hem kopen als we elkaar ooit ontmoeten.

Compensatie

Een paar mensen vroegen gratis BNB’s ter compensatie. Dat zijn waarschijnlijk dezelfde mensen die nog steeds niet tevreden waren nadat we 70% korting op toekomstige handelstarieven hebben gegeven. Nou, het laat zien dat ze hoe dan ook niet veel te verhandelen hebben. We dachten een tijdje over 0%, maar dat zou niet goed werken voor mensen die gebruikers naar ons hebben doorverwezen en een korting verdienen op alle transacties die door hun doorverwijzingen worden gedaan. Er is een balans in alles. We hebben de beste beslissing genomen die we konden nemen.

Andere zaken tijdens de week

De sterren moeten deze week in een aantal interessante standen hebben gestaan. Terwijl ik voor mijn computer zat heb ik 2 aardbevingen in Taiwan met een kracht van 6.0 en 5.7 meegemaakt. Onze harten gaan uit naar de slachtoffers en de getroffen mensen in Hualien City.

Ik kwam op de een of andere manier op de voorkant van Forbes, iets waar ik nog nooit van had gedroomd. Er waren twee artikelen over mij. Helaas zei het hoofdartikel over mij ook dat Cryptocurrency een bubbel is. Dus heb ik ervoor gekozen om het niet te tweeten (Sorry Pam, ik weet zeker dat je het begrijpt). Gelukkig was er een tweede artikel, waar ik wel over getweet heb. Ik was ook geschokt toen ik mezelf op de derde plek zag. Zelfs met de beperkte gegevens die ik heb, weet ik dat ik dat niet ben. Vraag me niet wie ze zijn, ik respecteer de privacykeuze van mensen.

Mijn twitter-volgers zijn verdrievoudigd, van 30k in 6 maanden tot 90k in de afgelopen 2 dagen.

Timing

De timing van dit incident was zeker niet goed, met het Coincheck-incident dat nog steeds doorsuddert, mensen waren nog steeds behoorlijk gespannen. Maar we kunnen de dingen die we niet kunnen controleren, niet controleren. We moeten gewoon het beste maken van de situatie waarin we ons bevinden.

Team

Onze Angels, tech, operaties, marketing, helpdesk en zelfs HR-teams sliepen niet veel. Ze werkten nauw samen. Er werd niet met de vinger gewezen – er was geen sprake van schuld. Iedereen wilde gewoon elkaars last dragen. Ik heb niemand gevraagd om overuren te maken (ik heb dat nooit gedaan). Iedereen deed gewoon wat nodig was. Het was verrassend eenvoudig om dit intern te organiseren. Als het bovenstaande leuk klinkt, stuur dan je CV en locatie (stad is in principe genoeg) naar hr@binance.com. We werven de beste mensen voor alle functies, in een bedrijfstak en bedrijf met een aanzienlijk groeipotentieel.

Gemeenschap

Gemeenschap is de kracht van Binance. We hebben zo’n geluk dat we zo’n sterke gemeenschap achter ons hebben. Ik wil al onze supporters oprecht bedanken. Binance is nog steeds een jong platform. We hebben veel ruimte om te verbeteren en te groeien. We hebben een lange lijst met verbeteringen die we moeten doorvoeren en zullen deze snel doen in de komende dagen. Jammer genoeg vereisen sommigen van hen de dat we de handel tijdelijk stopzetten voor systeemupgrades.

We waarderen uw begrip en steun!

CZ – Binance CEO

 

Wat vind jij van deze verklaring? Praat erover door op ons forum!

Door |2018-02-11T20:01:57+00:0011 februari 2018|Categorieën: Exchanges, Nieuws|Tags: , , , | Reacties

Comments on CEO Binance geeft verklaring over incident