Web3-Datenzugriff: Indexer und verwandte Projekte

Verfasser: Geng Kai, DFG

Die Bedeutung von Daten in der Blockkette

Daten sind der Schlüssel zur Blockchain-Technologie und bilden die Grundlage für die Entwicklung dezentralisierter Anwendungen (dApps). Obwohl die derzeitigen Diskussionen größtenteils um die Datenverfügbarkeit (DA) kreisen - um sicherzustellen, dass jeder Netzwerkteilnehmer auf die neuesten Transaktionsdaten zugreifen und überprüfen kann - wird ein ebenso wichtiger Aspekt oft übersehen: die Datenzugänglichkeit.

In der modularen Blockchain-Ära sind DA-Lösungen unerlässlich geworden. Diese Lösungen gewährleisten, dass alle Beteiligten auf Transaktionsdaten zugreifen können, um Echtzeitvalidierung und die Aufrechterhaltung der Integrität des Netzwerks zu ermöglichen. Die Funktionen der DA-Schicht ähneln jedoch eher einem Werbeplakat als einer Datenbank. Das bedeutet, dass Daten nicht unbegrenzt gespeichert werden; sie werden im Laufe der Zeit gelöscht, ähnlich wie ein Plakat, das schließlich durch ein neues ersetzt wird.

Auf der anderen Seite liegt der Schwerpunkt der Datenzugänglichkeit auf der Fähigkeit, auf historische Daten zuzugreifen, was für die Entwicklung von dApps und die Blockchain-Analyse von entscheidender Bedeutung ist. Dieser Aspekt ist entscheidend für Aufgaben, bei denen der Zugriff auf vergangene Daten erforderlich ist, um eine genaue Darstellung und Ausführung zu gewährleisten. Obwohl die Datenzugänglichkeit wichtig ist, wird darüber weniger diskutiert, aber sie ist genauso wichtig wie die Datenverfügbarkeit. Beide spielen eine unterschiedliche, aber ergänzende Rolle im Blockchain-Ökosystem, und ein umfassender Ansatz für das Datenmanagement muss diese beiden Probleme lösen, um leistungsstarke und effiziente Blockchain-Anwendungen zu unterstützen.

Wie wurden zuvor Blockchain-Daten abgerufen

Seit ihrer Entstehung hat die Blockchain die Infrastruktur grundlegend verändert und die Entwicklung dezentraler Anwendungen (dApps) in verschiedenen Bereichen wie Gaming, Finanzen und sozialen Netzwerken vorangetrieben. Allerdings ist der Aufbau dieser dApps schwierig und kostspielig, da der Zugriff auf eine große Menge an Blockchain-Daten erforderlich ist.

Für dApp-Entwickler besteht eine Option darin, ihre eigenen archivierten RPC-Knoten zu hosten und auszuführen. Diese Knoten speichern von Anfang an alle historischen Blockchain-Daten und ermöglichen einen vollständigen Zugriff auf die Daten. Die Wartung von Archivknoten ist jedoch sehr teuer und die Abfragefähigkeit ist begrenzt, so dass Daten nicht in dem von Entwicklern benötigten Format abgerufen werden können. Obwohl die Ausführung kostengünstiger Knoten eine Option ist, sind die Abfragefähigkeiten dieser Knoten begrenzt, was den Betrieb von dApps beeinträchtigen kann.

Eine andere Möglichkeit besteht darin, kommerzielle RPC (Remote Procedure Call) Knotenanbieter zu verwenden. Diese Anbieter sind für die Kosten und die Verwaltung der Knoten verantwortlich und stellen Daten über RPC-Endpunkte bereit. Öffentliche RPC-Endpunkte sind kostenlos, unterliegen jedoch Geschwindigkeitsbeschränkungen, die sich negativ auf das Benutzererlebnis von dApps auswirken können. Private RPC-Endpunkte bieten eine bessere Leistung durch Reduzierung von Staus, erfordern jedoch selbst für einfache Datenabrufe eine erhebliche Menge an Hin- und Her-Kommunikation. Dies macht sie ressourcenintensiv und ineffizient für komplexe Datenabfragen. Darüber hinaus sind private RPC-Endpunkte in der Regel schwer skalierbar und fehlen Kompatibilität über verschiedene Netzwerke hinweg.

Bessere Alternative: Blockketten-Indexer

Der Blockchain-Indexer spielt eine entscheidende Rolle bei der Organisation von On-Chain-Daten und deren Weiterleitung an eine Datenbank zur erleichterten Abfrage. Deshalb werden sie oft als das ‘Google der Blockchain’ bezeichnet. Sie funktionieren, indem sie Blockchain-Daten indizieren und sie mithilfe einer ähnlichen Abfragesprache wie SQL (über APIs wie GraphQL) jederzeit verfügbar machen. Durch Bereitstellung einer einheitlichen Schnittstelle zum Abfragen von Daten ermöglichen Indexer Entwicklern, benötigte Informationen schnell und präzise mithilfe einer standardisierten Abfragesprache abzurufen, was den Prozess erheblich vereinfacht.

Verschiedene Arten von Indexierern optimieren die Datensuche auf verschiedene Weise:

1. Vollknotenindexer: Diese Indexer führen einen vollständigen Blockchain-Knoten aus und extrahieren Daten direkt daraus, um die Integrität und Genauigkeit der Daten zu gewährleisten, erfordern jedoch erhebliche Speicher- und Verarbeitungskapazitäten.
2. Leichte Indizierer: Diese Indizierer sind auf vollständige Knoten angewiesen, um spezifische Daten bei Bedarf abzurufen und somit den Speicherbedarf zu verringern, aber möglicherweise die Abfragezeit zu erhöhen.
3. Spezialisierte Indizierer: Diese Indizierer sind speziell auf bestimmte Arten von Daten oder bestimmte Blockchains ausgerichtet und optimieren die Suche für bestimmte Anwendungsfälle, wie z.B. NFT-Daten oder DeFi-Transaktionen.
4. Aggregator: Diese Indizes extrahieren Daten aus mehreren Blockchains und Quellen, einschließlich off-chain-Informationen, und bieten eine einheitliche Abfrageschnittstelle, die besonders nützlich für Multi-Chain-dApps ist.

Ethereum allein benötigt 3TB Speicherplatz, und mit dem kontinuierlichen Wachstum der Blockchain wird auch das Datenvolumen des Erigon-Archivknotens ständig zunehmen. Der Indexer-Protokoll hat mehrere Indexer bereitgestellt, um eine effiziente Indizierung und schnelle Abfrage großer Datenmengen zu ermöglichen, was mit RPC nicht möglich ist.

Der Indexer ermöglicht auch komplexe Abfragen, filtert Daten leicht nach unterschiedlichen Kriterien und analysiert sie nach der Extraktion. Einige Indexer ermöglichen auch die Aggregation von Daten aus mehreren Quellen, um die Bereitstellung mehrerer APIs in mehreren Ketten-DApps zu vermeiden. Durch die Verteilung auf mehrere Knoten bietet der Indexer eine verbesserte Sicherheit und Leistung, während RPC-Anbieter aufgrund ihrer zentralisierten Natur Ausfälle und Abschaltungen aufweisen können.

Insgesamt verbessert der Indexer im Vergleich zu RPC-Knotenanbietern die Effizienz und Zuverlässigkeit der Datensuche und senkt gleichzeitig die Kosten für die Bereitstellung einzelner Knoten. Dies macht das Blockchain-Indexer-Protokoll zur bevorzugten Wahl für dApp-Entwickler.

Beispiel für einen Indexer

Wie bereits erwähnt erfordert der Aufbau einer dApp das Abrufen und Lesen von Blockchain-Daten, um seine Dienste ausführen zu können. Dies gilt für alle Arten von dApps, einschließlich DeFi-, NFT-Plattformen, Spiele und sogar soziale Netzwerke, da diese Plattformen Daten lesen müssen, bevor sie andere Transaktionen ausführen können.

DeFi

DeFi Protokolle benötigen unterschiedliche Informationen, um den Benutzern spezifische Preise, Raten, Gebühren usw. anzugeben. Automatische Marktmacher (AMM) benötigen Informationen zu Preisen und Liquidität bestimmter Liquiditätspools, um Swap-Raten zu berechnen, während Kreditprotokolle Zinssätze verwenden, um Kreditzinsen und das Verhältnis der Schulden bei Liquidation zu bestimmen. Es ist unerlässlich, dass diese Informationen in ihre dApps eingegeben werden, bevor die Zinssätze für Benutzer berechnet werden.

Spiel

GameFi benötigt schnelle Indizierung und Zugriff auf Daten, um sicherzustellen, dass Benutzer reibungslos spielen können. Nur mit blitzschneller Datenabfrage und -ausführung können Web3-Spiele in Bezug auf Leistung mit Web2-Spielen mithalten und so mehr Benutzer anziehen. Diese Spiele benötigen Daten wie Landbesitz, Guthaben an Ingame-Token, Ingame-Operationen usw. Mithilfe von Indexierern können sie eine stabilere Datenströmung und stabilere Betriebszeiten gewährleisten, um ein perfektes Spielerlebnis zu gewährleisten.

NFT

NFT-Märkte und Kreditplattformen benötigen Zugriff auf verschiedene Informationen wie NFT-Metadaten, Eigentums- und Übertragungsdaten, Lizenzgebühren usw. Durch eine schnelle Indizierung solcher Daten kann vermieden werden, dass jedes NFT einzeln durchsucht werden muss, um Eigentums- oder NFT-Attributdaten zu finden.

Ob es sich um DeFi-Automatischer Market Maker (AMM) handelt, der Preis- und Liquiditätsinformationen benötigt, oder um SocialFi-Anwendungen, die neue Benutzerbeiträge aktualisieren müssen, die schnelle Datenabfrage ist entscheidend für den reibungslosen Betrieb von dApps. Mit Indexern können sie Daten effizient und korrekt abrufen, um ein reibungsloses Benutzererlebnis zu gewährleisten.

Analyse

Der Indexer bietet eine Möglichkeit, spezifische Daten aus den Rohdaten der Blockchain (einschließlich der Smart Contract-Ereignisse in jedem Block) zu extrahieren. Dies bietet die Möglichkeit für eine genauere Datenanalyse und somit umfassendere Einblicke.

Zum Beispiel kann das Perpetual Trading Protocol bestimmen, welcher Token ein großes Handelsvolumen aufweist und welche Token Gebühren generieren, um zu entscheiden, ob diese Token als Perpetual Contracts auf ihrer Plattform aufgeführt werden sollen. DEX-Entwickler können für ihre Produkte Dashboards erstellen, um herauszufinden, welche Liquiditätspools die höchste Rendite oder die stärkste Liquidität aufweisen. Es können auch öffentliche Dashboards erstellt werden, damit Entwickler beliebige Arten von Daten frei und flexibel abfragen können, die auf Diagrammen angezeigt werden sollen.

Da mehrere Blockketten-Indizierer verfügbar sind, ist es entscheidend, die Unterschiede zwischen den Indexprotokollen zu erkennen, um sicherzustellen, dass Entwickler den für ihre Bedürfnisse am besten geeigneten Indizierer auswählen.

Blockkettenindexer Übersicht

Überblick über den Indexer

The Graph

The Graph ist das erste Indexierungsprotokoll, das auf Ethereum gestartet wurde. Es ermöglicht eine einfache Abfrage von Transaktionsdaten, die zuvor schwer zugänglich waren. Es verwendet Subgraphs, um Daten von der Blockchain zu sammeln, zu definieren und zu filtern, z.B. alle Transaktionen, die mit dem Uniswap v3 USDC/ETH-Pool verbunden sind.

Unter Verwendung von Indexnachweisen staken Indexer native Token GRT für das Indizieren und Abfragedienste, die Delegatoren können wählen, ihre Tokens hier zu staken. Kuratoren können auf qualitativ hochwertige Subgraphs zugreifen, um Indexer dabei zu unterstützen, Daten für welche Subgraphs zu indizieren, um die besten Abfragegebühren zu verdienen. Im Zuge einer zunehmend dezentralisierten Transition wird The Graph letztendlich seine Hosting-Services einstellen und Subgraphs auffordern, auf sein Netzwerk zu aktualisieren, wobei gleichzeitig ein Upgrade für die Indexer bereitgestellt wird.

Seine Infrastruktur senkt die durchschnittlichen Kosten pro Million Abfragen auf 40 US-Dollar, was deutlich niedriger ist als die Kosten für selbstgehostete Nodes. Mit einer Dateiquelle unterstützt es auch die parallele Indizierung von On-Chain- und Off-Chain-Daten für effiziente Datenabfragen.

Schauen Sie sich die Belohnungen für den Indexer von The Graph an, die in den letzten Quartalen stetig gestiegen sind. Dies ist zum Teil auf das gestiegene Suchvolumen zurückzuführen, aber auch auf den Anstieg des Tokenpreises, da sie planen, KI-unterstützte Abfragen in Zukunft zu integrieren.

Subsquid

Subsquid ist ein Peer-to-Peer, horizontal skalierbarer dezentraler Datensee, der in der Lage ist, eine große Menge an on-chain und off-chain Daten effizient zu aggregieren und durch den Einsatz von Zero-Knowledge Succinct Non-interactive Arguments of Knowledge zu schützen. Als dezentrales Arbeitsnetzwerk ist jeder Knotenpunkt dafür verantwortlich, Daten aus einem bestimmten Block-Subset zu speichern und durch schnelle Identifizierung von Knotenpunkten, die die benötigten Daten speichern, den Datenabrufprozess zu beschleunigen.

Subsquid unterstützt auch Echtzeit-Indizierung, die es ermöglicht, Indizes vor der endgültigen Bestätigung des Blocks zu erstellen. Es unterstützt auch das Speichern von Daten in Formaten, die von Entwicklern ausgewählt werden können, um eine einfachere Analyse mit Tools wie BigQuery, Parquet oder CSV zu ermöglichen. Darüber hinaus können Untergraphen auf dem Subsquid-Netzwerk bereitgestellt werden, ohne dass eine Migration auf das Squid SDK erforderlich ist, was eine Code-freie Bereitstellung ermöglicht.

Obwohl es sich noch im Testnetzstadium befindet, hat Subsquid beeindruckende Statistiken mit über 80.000 Testnetzbenutzern, mehr als 60.000 Squid-Indizierern und über 20.000 verifizierten Entwicklern aufgebaut. Kürzlich hat Subsquid am 3. Juni sein Data Lake im Mainnetz gestartet.

Neben Indizes kann das Subsquid Network Data Lake auch RPC in Anwendungsfällen wie Analyse, ZK/TEE-Coprozessor, KI-Agent und Oracle ersetzen.

SubQuery

SubQuery ist ein dezentralisiertes Middleware-Infrastrukturnetzwerk, das RPC- und Indexdatendienste bereitstellt. Es unterstützt zunächst das Polkadot- und Substrate-Netzwerk und wurde inzwischen auf über 200 Ketten erweitert. Es funktioniert ähnlich wie The Graph mit Indexnachweisen, bei dem Indexierer Daten indizieren und Abfrageanfragen bereitstellen, während Delegierende ihre Stakes an den Indexierer setzen. Es führt jedoch Verbraucher ein, um Kaufaufträge zu erteilen, um die Einnahmen des Indexierers abzusichern, anstatt dies durch einen Manager zu regeln.

Es wird einen SubQuery-Datennode mit Sharding-Unterstützung einführen, um die Abfrageeffizienz zu optimieren und gleichzeitig eine größere Dezentralisierung zu erreichen, indem verhindert wird, dass neue Daten ständig zwischen den Knoten synchronisiert werden. Benutzer können wählen, ob sie etwa 1 SQT-Token pro 1000 Anfragen als Berechnungsgebühr zahlen oder benutzerdefinierte Gebühren für den Indexer über das Protokoll festlegen möchten.

Obwohl SubQuery erst in diesem Jahr sein Token eingeführt hat, ist auch der Ausgabebonus für Nodes und Delegierte im Vergleich zum Dollar gestiegen, was auch darauf hindeutet, dass die Anzahl der Abfragedienste auf ihrer Plattform stetig zunimmt. Seit dem TGE ist die Gesamtmenge an gestakten SQT von 6 Millionen auf 125 Millionen gestiegen, was das Wachstum der Netzwerkbeteiligung zeigt.

Covalent

Covalent ist ein dezentralisiertes Indexer-Netzwerk, das von den Netzwerkknoten der Blockmuster-Produzenten (BSP) durch Stapelausgabe erstellt wurde, um Kopien von Blockchain-Daten zu erstellen und auf der Covalent L1-Blockchain zu veröffentlichen. Diese Daten werden dann von den Blockergebnis-Produzenten (BRP) -Knoten verfeinert und nach den festgelegten Regeln ausgewählt, um die Anforderungen zu erfüllen.

Durch eine einheitliche API können Entwickler mühelos relevante Blockketten-Daten in konsistentem Anfrage- und Antwortformat abrufen, ohne benutzerdefinierte komplexe Abfragen schreiben zu müssen. Sie können die CQT-Token, die auf Moonbeam abgerechnet werden, als Zahlungsmittel verwenden, um diese vorab konfigurierten Datensätze von Netzwerkbetreibern abzurufen.

Die Belohnungen von Covalent scheinen insgesamt im ersten Quartal des 23. Jahres bis zum ersten Quartal des 24. Jahres zu steigen, teilweise aufgrund des Anstiegs des Covalent-Tokens CQT.

Hinweise zur Auswahl eines Indexers

Die Anpassbarkeit von Daten

Einige Indizierer (z.B. Covalent) sind Universalindizierer, die nur API-basierte vordefinierte Datensätze bereitstellen. Obwohl sie möglicherweise schnell sind, bieten sie Entwicklern, die benutzerdefinierte Datensätze benötigen, keine Flexibilität. Durch die Verwendung eines Indizierer-Frameworks können mehr benutzerdefinierte Datenaufbereitungen durchgeführt werden, um spezifische Anforderungen von Anwendungen zu erfüllen.

Sicherheit

Indexdaten müssen sicher sein, da dApps, die auf diesen Indizierern basieren, anfällig für Angriffe sind. Zum Beispiel, wenn Transaktionen und Wallet-Guthaben manipuliert werden können, könnte die Liquidität des dApps verloren gehen, was sich auf die Benutzer auswirken könnte. Obwohl alle Indizierer eine Art von Token-Staken für die Sicherheit verwenden, könnten andere Indiziererlösungen auch Nachweise zur weiteren Verbesserung der Sicherheit nutzen.

Subsquid bietet Optionen mit optimistischem und Zero-Knowledge-Proof, während Covalent auch Beweise mit Block-Hashes veröffentlicht. Graph bietet einen Challenge-Zeitraum für optimistische Herausforderungsfenster für Indexer-Abfragen, während SubQuery für jeden Block ein Merkle Mountain Proof generiert, um den Hash-Wert jedes Blocks aller Daten in seiner Datenbank zu berechnen.

Geschwindigkeit und Skalierbarkeit

Mit dem stetigen Wachstum der Blockchain steigt auch das Handelsvolumen, was die Indizierung großer Datenmengen schwieriger macht, da mehr Verarbeitungsleistung und Speicherplatz benötigt werden. Mit dem Wachstum des Blockchain-Netzwerks wird es immer schwieriger, die Effizienz aufrechtzuerhalten, aber das Indexer-Protokoll hat Lösungen eingeführt, um diesen wachsenden Anforderungen gerecht zu werden.

Beispielsweise erweitert Subsquid die Datenspeicherung durch Hinzufügen von mehr Nodes, um eine horizontale Skalierung zu erreichen, die mit Hardwareverbesserungen skalierbar ist. Graph bietet parallele Stromdaten, um Daten schneller zu synchronisieren, während SubQuery Node-Aufsplitterung zur Beschleunigung des Synchronisierungsprozesses einführt.

Unterstützte Netzwerke

Obwohl die meisten Blockchain-Aktivitäten immer noch innerhalb von Ethereum stattfinden, werden im Laufe der Zeit immer mehr verschiedene Blockchains populärer. Zum Beispiel haben Layer 2s, Solana, Move Blockchain und Bitcoin-Ökosystemketten alle eine wachsende Anzahl von Entwicklern und Aktivitäten, die auch Indexierungsdienste erfordern.

Die Unterstützung einiger Ketten, die von anderen Indexierungsprotokollen nicht unterstützt werden, kann zu einem größeren Marktanteil und höheren Gebühren führen. Die Indizierung von datenintensiven Netzwerken (wie Solana) ist keine leichte Aufgabe, und bisher war nur Subsquid erfolgreich darin, ihnen Indexunterstützung zu bieten.

Schlussfolgerung

Obwohl Indexer in der dApp-Entwicklung weit verbreitet sind, ist ihr Potenzial immer noch enorm, insbesondere bei der Integration von KI. Mit der zunehmenden Verbreitung von KI in Web2 und Web3 hängt ihre Verbesserungsfähigkeit davon ab, auf relevante Daten zuzugreifen, um Modelle zu trainieren und KI-Agenten zu entwickeln. Die Gewährleistung der Datenintegrität ist für KI-Anwendungen von entscheidender Bedeutung, da dies verhindern kann, dass Modelle mit voreingenommenen oder ungenauen Informationen gefüttert werden.

Im Bereich der Indexer-Lösungen hat Subsquid bedeutende Fortschritte in Bezug auf Leistung und Benutzerkennzahlen erzielt. Benutzer haben begonnen, Subsquid zur Entwicklung von KI-Agenten zu verwenden, was die Vielseitigkeit und das Potenzial dieser Plattform im sich ständig weiterentwickelnden Bereich der Datenindizierung zeigt. Darüber hinaus helfen Tools wie AutoAgora Indexern dabei, KI für dynamische Preisgestaltung von Abfragediensten auf The Graph bereitzustellen, während SubQuery mehrere KI-Netzwerke wie OriginTrail und Oraichain unterstützt, um transparente Datenindizes zu ermöglichen.

Die Integration von künstlicher Intelligenz und Indizierern wird voraussichtlich die Datenzugänglichkeit und -verfügbarkeit im Blockchain-Ökosystem verbessern. Durch die Nutzung von KI-Technologie können Indizierer eine effizientere und genauere Datenabfrage ermöglichen, sodass Entwickler komplexere dApp und Analysetools erstellen können. Während KI und Indizierer weiterhin gemeinsam wachsen, bleiben wir optimistisch in Bezug auf die Zukunft der Datenindizierung und ihre Rolle bei der Gestaltung des dezentralen digitalen Umfelds.