Wie Paradime.io mithilfe von AWS Graviton die Datenpipeline für Kunden um bis zu 50 % beschleunigt, ohne Kosten zu erhöhen

Im digitalen Zeitalter sind Teams agiler und kollaborativer als je zuvor. Datenanalysierende sind für jedes Unternehmen unverzichtbar. Sie sind eine wichtige Brücke, da sie riesige Mengen an Geschäftsrohdaten in relevante und nutzbare Daten-Dashboards umwandeln. So können Unternehmensbestandteile wie Marketing, Vertrieb, Produkt und Kundenservice sicherstellen, dass das Unternehmen reibungslos läuft, profitabel ist und das Wachstum aufrechterhält.

2018 arbeiteten die Gründer von Paradime, Kaustav Mitra und Fabio Di Leta, bei einer Investmentfirma. Kaustav wurde beauftragt, die Datenplattform von Grund auf neu zu gestalten, da die vorherige Lösung des Unternehmens nicht die nötigen Ergebnisse liefern konnte. Während er sich mit einer Vielzahl verschiedener Tools befasste, die für die Neugestaltung der Plattform erforderlich waren, stellte er fest, dass das Datenanalyseteam viel zu viel Zeit damit verbrachte, verschiedene Anwendungen zusammenzufügen. Infolgedessen fehlte ihnen am Ende die Bandbreite, um unternehmenskritische und wirkungsvolle Arbeit zu leisten.

Kaustav erkannte: „Aufgrund der Fragmentierung in der Datenanalytik-Toolkette müssen sich Mitarbeitende ständig abmühen, um ihre tägliche Arbeit zu erledigen. Wie können wir Menschen und Daten zusammenbringen, damit sie ihre Arbeit viel schneller erledigen können? Wie können wir eine nahtlose Arbeitsplattform für Datenanalysierende schaffen?“

Kaustav war bereits mit AWS vertraut und war sehr begeistert davon, wie AWS das Wissen nutzt, dass eine nahtlose Integration und einfache Zusammenarbeit unerlässlich sind, um Dinge schneller, effizienter und mit weniger Stress zu erledigen.

Kaustav erklärt: „Paradime ist unser wegweisendes Betriebssystem für Datenanalysierende, das wie AWS viele Tools an einem einzigen Ort vereint. Diese ähnliche Denkweise ist ein Hauptgrund, warum AWS vom ersten Tag an die Cloud-Plattform der Wahl von Paradime war – vor allem, wenn man die vierfache Leistung und die Kosteneinsparungen der AWS-Graviton-Prozessoren berücksichtigt.“

Ein Konzept, das aus einem echten Bedürfnis heraus entstanden ist

Aus diesem dringenden Bedürfnis heraus verbrachten Kaustav und Fabio das Jahr 2020 damit, ihre Idee zu einem Konzept zu entwicklen. Im Jahr 2021, während der Pandemie, wurde das Pre-Seed-Paradime mit einem vierköpfigen Team gestartet – und die allererste Codezeile wurde in AWS geschrieben.

Auch die Philosophie von Paradime war auf AWS ausgerichtet. Um sicherzustellen, dass die Bedürfnisse der Datenanalysierenden an erster Stelle stehen, verfolgten sie einen Ansatz, bei dem man „vom Kunden aus rückwärts arbeitet“. Dieser spiegelt den AWS-Mechanismus des „Rückwärtsarbeitens“ wider, der nicht bei der Technologie, sondern bei den Kundenbedürfnissen ansetzt und sicherstellt, dass die Kundschaft immer im Mittelpunkt eines neuen Produkts oder Services steht. Kaustav erklärt: „Die Tools müssen sich an die Bedürfnisse und die tägliche Arbeit der Datenanalysierenden anpassen, anstatt dass die Datenanalysierenden ihre Arbeit an die Tools anpassen müssen.“

Von Anfang an war Paradime bestrebt, der schnellste Innovator auf dem Datenanalytikmarkt zu sein, und das bedeutet, zuzuhören und zu handeln. „Wenn man seiner Kundschaft tagtäglich zuhört, kann man sie viel schneller begeistern und den Reifegrad der Plattform schrittweise steigern. Wir helfen Datenanalyse-Teams dabei, ihre Arbeit schneller zu erledigen als jede andere Software da draußen“, sagt Kaustav.

Das Problem, das durch die rasante Zunahme von Geschäftsdaten entsteht

Paradime beschreibt sich selbst als die KI-gestützte dbt™-Plattform für Analytikteams. Das Data Build Tool, kurz dbt, ist eine Lösung für das schnelle Datenwachstum in Unternehmen von heute.

Seit den 1970er Jahren ist SQL-Code die Programmiersprache der Datenanalytik und wird verwendet, um der Datenbank Fragen zu stellen, damit sie den Analysierenden die benötigten Antworten geben kann. Mit dem rasanten Wachstum der Datenmengen, die für die Wettbewerbsfähigkeit benötigt werden, sind das Schreiben, die Änderungsverwaltung und das Testen von SQL jedoch sehr viel komplexer und zeitaufwändiger geworden. Seit 2016 ist dbt das Tool der Wahl, um dieses Problem zu lösen. Es ermöglicht skalierbaren und prüfbaren SQL-Code, der im Laufe der Zeit einfach zu erstellen, auszuführen, zu testen und zu verwalten ist, während sich das Unternehmen weiterentwickelt. Wie das Paradime-Team jedoch weiß, ist dbt nur ein Teil eines breiten Aufgabenspektrums der Datenanalysierenden.

Die Brücke zwischen Datenspeichern und Geschäftseinblicken

Datenanalysierende arbeiten mit vielen Teams zusammen, von softwarekundigen Dateningenieurinnen und -ingenieuren bis hin zu Geschäftsbereichen ohne Softwarekenntnisse wie Marketing, Vertrieb, Produkt und Kundenservice. Daher müssen sie Systeme für den gesamten End-to-End-Prozess verwenden, von dem dbt ein wichtiger, aber eben nur ein Teil ist. Kaustav sagt: „Was sie brauchen, ist ein Arbeitsbereich, der ihre gesamte End-to-End-Verantwortung an einem Ort abwickelt. Paradime ist dieser Arbeitsbereich, und das hebt es von anderen Wettbewerbern ab, die sich hauptsächlich auf dbt spezialisiert haben.“

Datenanalysierende müssen noch so viel mehr abdecken. Paradime hilft Datenverantwortlichen zum Beispiel dabei, zu verstehen, wie schnell oder langsam ihre Datenpipelines arbeiten, wie viel Geld ihr Team ausgibt und wie viel Zeit sie für ihre tägliche Arbeit aufwenden. Kaustav erklärt: „Da Paradime dies alles an einem Ort zur Verfügung stellt, können Datenanalytikteams 50 bis 83 Prozent produktiver sein als mit einem fragmentierten System, das mit Standardtools zusammengeflickt oder intern entwickelt wurde.“

AWS ist die treibende Kraft hinter der Leistung von Paradime

Für Datenanalysierende ist Geschwindigkeit wichtig. Unternehmen sind in hohem Maße auf Dateneinblicke angewiesen. Als Teil des Versprechens von Paradime, die Arbeit von Datenanalysierenden zu erleichtern, sucht Paradime stets nach Möglichkeiten, seine Services zu beschleunigen und gleichzeitig die Kosten niedrig zu halten. Deshalb haben sie sich für AWS-Graviton-Prozessoren entschieden.

Kaustav erklärt: „Das Bolt- und CI/CD-Orchestrierungs-Framework von Paradime ermöglicht es Datenanalysierenden, dbt-Befehle automatisch und nach einem reibungslosen Zeitplan auszuführen. Wir wollten das beschleunigen und gleichzeitig den Preis für unsere Kunden auf dem gleichen Niveau halten. Ich habe mir die AWS-EC2-Prozessorfamilie angesehen und festgestellt, dass AWS Graviton enorme Geschwindigkeitsverbesserungen zum gleichen Preis wie unsere aktuellen x86-Prozessoren bietet.“

Maximilian Mitchell, Software Engineer bei Paradime, fährt fort: „Nachdem wir uns informiert hatten, war es kaum möglich, nicht zu AWS Graviton zu wechseln, weil es so viele Vorteile bietet. In einigen Fällen haben wir die Datenpipelines unserer Kundschaft auf Bolt um 30 bis 50 Prozent beschleunigt, bei einer Betriebszeit von über 99,999 Prozent. Dies ist für unsere Kundinnen und Kunden in kritischen Bereichen wie dem Gesundheitswesen und dem Bankwesen von entscheidender Bedeutung. Besonders wichtig ist, dass wir Aufträge mit sehr hoher Frequenz ausführen können, um sicherzustellen, dass die Datenpipelines auf dem neuesten Stand sind – so sehr, dass sie praktisch in Echtzeit laufen!“

„Wir können unserer Kundschaft auch dabei helfen, nicht nur dbt, sondern auch andere Funktionen wie Datenqualitäts- und Datenanomalie-Tests durchzuführen. Dadurch können sie ihren Stakeholdern zuverlässige Daten zur Verfügung stellen“, fügt Max hinzu.

AWS Graviton war eine Win-Win-Situation für Paradime und seine Kundschaft

Paradime hat darüber hinaus festgestellt, dass die Migration zu AWS Graviton große Kosteneinsparungen mit sich gebracht hat. Dadurch kann das Unternehmen seiner Kundschaft eine bessere Leistung bieten, ohne höhere Kosten weiterzugeben. „Vor AWS Graviton konnten wir jeden Knoten zu etwa 50 oder 60 Prozent nutzen. Jetzt können wir eine viel höhere Auslastung erreichen, etwa 85 Prozent. Das heißt, wir müssen nur noch etwa 40 Prozent weniger Knoten einrichten. Wir erhalten jetzt das gleiche Leistungsniveau mit weniger Ressourcen, was zu geringeren Kosten führt“, erklärt Max.

Die Vorteile hören hier nicht auf: „Da wir unsere Cluster mit einer viel höheren Auslastung betreiben können, sind wir in der Lage, 40 Prozent mehr Kundschaft zu den gleichen Kosten wie vor AWS Graviton einzubinden. Diesen Wert können wir nun an unseren Kundenkreis weitergeben, und zwar mit wirklich wettbewerbsfähigen Preisen im Vergleich zu unseren Konkurrenten“, fügt Kaustav hinzu.

„Das bedeutet, dass wir die Kundschaft nicht in die Unternehmensstufe drängen müssen, wodurch wir die Kundenakquise und -akzeptanz erhöhen können. Außerdem können wir ohne höhere Preise einen höheren Wert liefern, sodass unsere Investoren zufrieden sind“, erklärt er weiter.

Die Migration zu AWS Graviton auf die AWS-Art

Paradime arbeitet vom ersten Tag an mit AWS zusammen, aber die Qualität ihrer Erfahrung überrascht sie immer noch. „Vom ersten Tag an hatten wir immer einen Kundenbetreuer, auch wenn wir der kleinste Fisch im Teich waren. Wir bekamen immer die gleiche Aufmerksamkeit, unabhängig von der Größe unseres Unternehmens. Bei unserer Migration zu Graviton waren sie zum Beispiel so proaktiv, dass sie uns zu ihren AWS-Graviton-Frühstücksveranstaltungen einluden“, erklärt Max.

Er fährt fort: „Ich bin eigentlich kein DevOps-Ingenieur, sondern eher ein Backend-Ingenieur. Aber ich hatte die Gelegenheit, mit Personen mit Expertise zusammenzuarbeiten, die mir brillante Ratschläge für die Bereitstellung von AWS Graviton gaben – zum Beispiel die x86-Builds nicht komplett abzuschalten und stattdessen für die beiden Architekturen zu bauen, damit wir bei der Veröffentlichung flexibler sein konnten. Das wiederum half uns, die ersten ARM-Workloads innerhalb einer Woche und ohne Ausfallzeiten bereitzustellen.“

„Da unsere Anwendungen ursprünglich lokal auf ARM Apple MacBooks (M-Serie) entwickelt wurden, konnten wir sie für die ARM-Architektur von AWS Graviton kompilieren, da sie bereits kompatibel waren. Das machte uns die Migration zu Graviton leicht. Einen Monat lang haben wir einen Crossover zwischen dem alten und dem neuen System durchgeführt. Das heißt, es gab keine Ausfallzeiten für unsere Kundschaft und wir mussten keine Codeänderungen bei uns vornehmen“, fügt Max hinzu.

Vierfache Leistung – für mehr Produktivität, mehr Agilität und schnellere Entscheidungen

Die vierfache Leistung mit AWS Graviton ist eine beeindruckende Statistik, aber was bringt sie der Kundschaft von Paradime über die reine Geschwindigkeit hinaus? Kaustav erklärt: „Das wirkt sich direkt auf drei Dinge aus: Erstens auf die Produktivität. Für etwas, wofür Sie früher vier Minuten gebraucht haben, brauchen Sie jetzt nur noch eine Minute. Nummer zwei ist die Agilität: Teams können mit weniger Ressourcen mehr wertvolle Arbeit leisten und so schneller auf geschäftliche Veränderungen reagieren. Drittens die Entscheidungsfindung: Die Teams können ihren Endbenutzerinnen und -benutzern schneller Geschäftseinblicke verschaffen, sodass sie schneller handeln können.“

Kaustav fährt fort: „Ein Beispiel: Eine Person aus unserer Kundschaft erhielt früher 60 bis 80 Tabellenkalkulationen aus verschiedenen Geschäftsbereichen, und jede Tabelle benötigte 20 Minuten, um sie einzulesen. Zusammen mit der Berichterstattung über die konsolidierte Finanzleistung am Ende des Monats würde dieser gesamte Prozess etwa eine Woche dauern. Mit Paradime dauert das alles nur noch 20 Minuten.“

Was kommt als Nächstes für Paradime?

„Unsere Vision für Paradime ist es, weltweit als das Betriebssystem für Analytik bekannt zu werden“, erklärt Kaustav. „Wenn die Leute also an Datenanalytik denken, werden sie an Paradime denken, weil die Einrichtung keinen Aufwand erfordert und einfach funktioniert.“

Um dies zu erreichen, konzentriert sich Paradime auf die Verbesserung aller Aspekte seines Services. Nach der Migration zu AWS Graviton hat sich beispielsweise die Bereitstellungsrate um 40 bis 50 Prozent verbessert, sodass das Unternehmen jetzt häufiger Updates veröffentlichen kann. Das bedeutet, dass sie bis zu zwei- bis dreimal pro Woche neue Features hinzufügen und auf Kundenanfragen reagieren können – viel schneller als zuvor.

„Wir wissen, dass AWS ständig neue Services und Features herausbringt, und wir sind immer auf der Suche nach neuen AWS-Services, um unserem Kundenkreis eine wirklich mühelose Plattform zu bieten. Wir haben im Moment eine stabile Architektur, aber mit AWS suchen wir weiter nach zusätzlicher Leistung. AWS unterstützt uns dabei, verschiedene Unternehmen zu gewinnen und zu beliefern und unseren Prozess zu skalieren, damit wir mit Großunternehmen auf der ganzen Welt arbeiten können“, erklärt Kaustav.

AWS unterstützt Unternehmen, die zu AWS Graviton migrieren möchten, aktiv mit Tools wie dem AWS Compute Optimizer und Graviton Fast Start – einem Programm, das bei der Verlagerung von Workloads zu AWS Graviton hilft. Erfahren Sie, wie Sie mit der Migration zu AWS Graviton beginnen können. Finden Sie heraus, wie.