Taraxa-grunnlegger ber om ny måleenhet for å bekjempe villedende påstander om blokkjede-ytelse

Metrikkene som brukes til å måle resultater kan være misvisende når man evaluerer blokkjede-ytelse. Etter hvert som flere blokkjede-nettverk dukker opp, trenger offentligheten klare, effektivitetsfokuserte metrikker, i stedet for overdrevne påstander, for å skille mellom dem.

I en samtale med BeInCrypto forklarte Taraxa-medgründer Steven Pu at det blir stadig vanskeligere å sammenligne blokkjede-ytelse nøyaktig fordi mange rapporterte metrikker er basert på altfor optimistiske antagelser i stedet for bevisbaserte resultater. For å bekjempe denne bølgen av feilrepresentasjon foreslår Pu en ny metrikk, som han kaller TPS/$.

Hvorfor mangler bransjen pålitelige referanser?

Behovet for klar differensiering vokser med det økende antallet Layer-1 blokkjede-nettverk. Etter hvert som ulike utviklere fremmer hastigheten og effektiviteten til sine blokkjeder, blir det uunnværlig å stole på metrikker som skiller deres ytelse.

Imidlertid mangler bransjen fortsatt pålitelige referanser for reell effektivitet, og stoler i stedet på sporadiske sentimentale bølger av hype-drevet popularitet. Ifølge Pu metter misvisende ytelsestall for tiden markedet, og skjuler de virkelige evnene.

“Det er lett for opportunister å dra nytte av ved å drive opp forenklede og overdrevne narrativer for å tjene på dem selv. Hvert eneste tenkelige tekniske konsept og metrikk har på et eller annet tidspunkt blitt brukt til å hype opp mange prosjekter som egentlig ikke fortjener dem: TPS, finalitetslatens, modularitet, nettverksnodeantall, utførelseshastighet, parallellisering, båndbreddeutnyttelse, EVM-kompatibilitet, EVM-inkompatibilitet, osv.,” fortalte Pu til BeInCrypto.

Pu fokuserte på hvordan noen prosjekter utnytter TPS-metrikker, og bruker dem som markedsføringstaktikker for å få blokkjede-ytelse til å høres mer tiltalende ut enn den kanskje er under reelle forhold. 

Undersøker den misvisende naturen til TPS

Transaksjoner per sekund, mer kjent som TPS, er en metrikk som refererer til det gjennomsnittlige eller vedvarende antallet transaksjoner som et blokkjede-nettverk kan behandle og fullføre per sekund under normale driftsforhold.

Imidlertid gir det ofte en misvisende hype til prosjekter, og tilbyr et skjevt syn på den totale ytelsen.

“Desentraliserte nettverk er komplekse systemer som må vurderes som en helhet, og i konteksten av deres bruksområder. Men markedet har denne forferdelige vanen med å forenkle og overselge en spesifikk metrikk eller aspekt av et prosjekt, mens de ignorerer helheten. Kanskje et sterkt sentralisert, høy-TPS-nettverk har sine bruksområder i de rette scenariene med spesifikke tillitsmodeller, men markedet har virkelig ingen appetitt for slike nyanserte beskrivelser,” forklarte Pu. 

Pu indikerer at blokkjede-prosjekter med ekstreme påstander om enkeltmetrikker som TPS kan ha kompromittert desentralisering, sikkerhet og nøyaktighet.

“Ta TPS, for eksempel. Denne ene metrikken skjuler mange andre aspekter av nettverket, for eksempel, hvordan ble TPS oppnådd? Hva ble ofret i prosessen? Hvis jeg har 1 node, kjører en WASM JIT VM, kaller det et nettverk, får du noen hundre tusen TPS med en gang. Jeg lager deretter 1000 kopier av den maskinen og kaller det sharding, nå begynner du å komme opp i hundrevis av millioner av ‘TPS’. Legg til urealistiske antagelser som ikke-konflikt, og du antar at du kan parallellisere alle transaksjoner, da kan du få “TPS” inn i milliardene. Det er ikke det at TPS er en dårlig metrikk, du kan bare ikke se på noen metrikk isolert fordi det er så mye skjult informasjon bak tallene,” la han til.

Taraxa-medgründeren avslørte omfanget av disse oppblåste metrikker i en nylig rapport.

Den betydelige forskjellen mellom teoretisk og faktisk TPS

Pu søkte å bevise sitt poeng ved å bestemme forskjellen mellom den maksimale historiske TPS realisert på en blokkjede sin hovednett og den maksimale teoretiske TPS. 

Av de 22 tillatelsesløse og enkelt-shard-nettverkene som ble observert, fant Pu at det i gjennomsnitt var en 20-gangers forskjell mellom teori og virkelighet. Med andre ord var den teoretiske metrikken 20 ganger høyere enn den maksimale observerte hovednett-TPS. 

“Metrikk-overvurderinger (som i tilfelle av TPS) er en respons på det sterkt spekulative og narrativdrevne kryptomarkedet. Alle ønsker å posisjonere sine prosjekter og teknologier i best mulig lys, så de kommer opp med teoretiske estimater, eller gjennomfører tester med vilt urealistiske antagelser, for å komme frem til oppblåste metrikker. Det er uærlig reklame. Ikke mer, ikke mindre,” fortalte Pu til BeInCrypto.

For å motvirke disse overdrevne metrikker utviklet Pu sin egen ytelsesmåling.

Introduksjon av TPS/$: En mer balansert metrikk?

Pu og teamet hans utviklet følgende: TPS realisert på hovednett / månedlig $ kostnad for en enkelt validator-node, eller TPS/$ for kort, for å oppfylle behovet for bedre ytelsesmålinger. 

Denne metrikken vurderer ytelse basert på verifiserbar TPS oppnådd på et nettverks live mainnet, samtidig som den tar hensyn til maskinvareeffektivitet.

Det betydelige 20-dobbelte gapet mellom teoretisk og faktisk gjennomstrømning overbeviste Pu om å ekskludere metrikker basert utelukkende på antakelser eller laboratorieforhold. Han ønsket også å illustrere hvordan noen blokkjedeprosjekter oppblåser ytelsesmetrikker ved å stole på kostbar infrastruktur.

“Publiserte nettverksytelseskrav er ofte oppblåst av ekstremt dyr maskinvare. Dette gjelder spesielt for nettverk med svært sentraliserte konsensusmekanismer, hvor flaskehalsen for gjennomstrømning flyttes bort fra nettverkslatens og inn i enkeltmaskinens maskinvareytelse. Å kreve ekstremt dyr maskinvare for validatorer avslører ikke bare en sentralisert konsensusalgoritme og ineffektiv ingeniørkunst, det hindrer også det store flertallet av verden fra potensielt å delta i konsensus ved å prise dem ut,” forklarte Pu.

Pus team lokaliserte hver nettverks minimumskrav til validator-maskinvare for å bestemme kostnaden per validatornode. De estimerte senere deres månedlige kostnad, med særlig oppmerksomhet på deres relative størrelse når de ble brukt til å beregne TPS per dollar-forhold.

“Så TPS/$-metrikken prøver å korrigere to av de kanskje mest graverende kategoriene av feilinformasjon, ved å tvinge TPS-ytelsen til å være på mainnet, og avsløre de iboende avveiningene ved ekstremt dyr maskinvare,” la Pu til.

Pu understreket viktigheten av å vurdere to enkle, identifiserbare egenskaper: om et nettverk er tillatelsesfritt og enkelt-shardet.

Permissioned vs. permissionless-nettverk: Hvilket fremmer desentralisering?

En blokkjede sin grad av sikkerhet kan avdekkes ved om den opererer under et tillatelsesbasert eller tillatelsesfritt nettverk.

Tillatelsesbaserte blokkjeder refererer til lukkede nettverk hvor tilgang og deltakelse er begrenset til en forhåndsdefinert gruppe brukere, som krever tillatelse fra en sentral myndighet eller en betrodd gruppe for å delta. I tillatelsesfrie blokkjeder er alle tillatt å delta.

I følge Pu er den førstnevnte modellen i strid med desentraliseringsfilosofien.

“Et tillatelsesbasert nettverk, hvor nettverksvalideringsmedlemskap kontrolleres av en enkelt enhet, eller hvis det bare er en enkelt enhet (alle Layer-2s), er en annen utmerket metrikk. Dette forteller deg om nettverket faktisk er desentralisert. Et kjennetegn ved desentralisering er dens evne til å bygge bro over tillitsgap. Ta bort desentraliseringen, så er nettverket ikke mer enn en skytjeneste,” fortalte Pu til BeInCrypto.

Oppmerksomhet på disse metrikker vil vise seg å være avgjørende over tid, ettersom nettverk med sentraliserte myndigheter har en tendens til å være mer sårbare for visse svakheter.

“På lang sikt, det vi virkelig trenger, er en rekke standardiserte angrepsvektorer for L1-infrastruktur som kan bidra til å avdekke svakheter og avveininger for enhver gitt arkitektonisk design. Mange av problemene i dagens mainstream L1 er at de gjør urimelige ofre i sikkerhet og desentralisering. Disse egenskapene er usynlige og ekstremt vanskelige å observere, før en katastrofe inntreffer. Mitt håp er at etter hvert som industrien modnes, vil en slik rekke tester begynne å organisk dukke opp som en bransjestandard,” la Pu til.

I mellomtiden, å forstå om et nettverk bruker state-sharding versus å opprettholde en enkelt, shardet tilstand avslører hvor enhetlig databehandlingen er.

State-sharding vs. single-state: forståelse av dataenhet

I blokkjede-ytelse refererer latens til tidsforsinkelsen mellom å sende inn en transaksjon til nettverket, bekrefte den, og inkludere den i en blokk på blokkjeden. Det måler hvor lang tid det tar for en transaksjon å bli behandlet og bli en permanent del av den distribuerte hovedboken.

Å identifisere om et nettverk bruker state-sharding eller en enkelt-shardet tilstand kan avsløre mye om dets latenseffektivitet.

State-shardede nettverk deler blokkjedenes data i flere uavhengige deler kalt shards. Hver shard opererer noe uavhengig og har ikke direkte, sanntidstilgang til den komplette tilstanden til hele nettverket.

Derimot har et ikke-state-shardet nettverk en enkelt, delt tilstand over hele nettverket. Alle noder kan få tilgang til og behandle det samme komplette datasettet i dette tilfellet.

Pu bemerket at state-shardede nettverk har som mål å øke lagrings- og transaksjonskapasiteten. Imidlertid opplever de ofte lengre finalitetslatens på grunn av behovet for å behandle transaksjoner på tvers av flere uavhengige shards.

Han la til at mange prosjekter som adopterer en sharding-tilnærming oppblåser gjennomstrømningen ved ganske enkelt å replikere nettverket sitt i stedet for å bygge en virkelig integrert og skalerbar arkitektur.

“Et state-shardet nettverk som ikke deler tilstand, lager ganske enkelt ukoblede kopier av et nettverk. Hvis jeg tar et L1-nettverk og bare lager 1000 kopier av det som kjører uavhengig, er det klart uærlig å hevde at jeg kan legge sammen all gjennomstrømningen på tvers av kopiene og representere det som et enkelt nettverk. Det finnes arkitekturer som faktisk synkroniserer tilstandene samt blander validatorene på tvers av shards, men oftere enn ikke, prosjekter som kommer med fantastiske påstander om gjennomstrømning lager bare uavhengige kopier,” sa Pu.

Basert på sin forskning på effektiviteten av blokkjede-metrikker, fremhevet Pu behovet for grunnleggende endringer i hvordan prosjekter evalueres, finansieres og til slutt lykkes.

Hvilke grunnleggende endringer trenger blokkjede-evaluering?

Pus innsikter presenterer et bemerkelsesverdig alternativ i et Layer-1 blokkjedeområde hvor villedende ytelsesmetrikker i økende grad konkurrerer om oppmerksomhet. Pålitelige og effektive referanser er essensielle for å motvirke disse falske fremstillingene.

“Du vet bare hva du kan måle, og akkurat nå i krypto ser tallene mer ut som hype-fortellinger enn objektive målinger. Å ha standardiserte, transparente målinger tillater enkle sammenligninger på tvers av produktalternativer slik at utviklere og brukere forstår hva det er de bruker, og hvilke avveininger de gjør. Dette er et kjennetegn på enhver moden industri, og vi har fortsatt en lang vei å gå i krypto,” konkluderte Pu.

Å ta i bruk standardiserte og transparente referansepunkter vil fremme informerte beslutninger og drive ekte fremgang utover bare promotering når industrien modnes.