Nasdaq ist mithilfe von AWS Vorreiter bei der Speicherung von Börsendaten in der Cloud

Nasdaq ist ein multinationales Unternehmen für Finanzdienstleistungen und Technologie, das den Nasdaq Stock Exchange besitzt und betreibt. Das Unternehmen betreibt insgesamt 27 Börsen, einen Zentralverwahrer und Clearinghäuser über eine Vielzahl von Anlagekategorien in Nordamerika und Europa. Nasdaq beherbergt weltweit fast 4 000 börsennotierte Unternehmen und stellt seine geschäftskritische Technologie auch anderen Börseninfrastrukturbetreibern in 50 Ländern zur Verfügung.

Die Wertpapierbörse Nasdaq ist der Menge nach der größte Aktienmarkt weltweit und verwaltet das Matching von Käufern und Verkäufern in riesigen Mengen und mit hoher Geschwindigkeit. Gleichzeitig stellt sie Daten bereit, die die Aktienkurse in elektronisch eingegebenen Transaktionen speisen. Das Unternehmen nutzt eine interne Anwendung, um alle geschützten Börsendaten zu sammeln und aufzubewahren. „Dazu gehören Bestellungen, Kurse, Transaktionen und Stornierungen“, erklärt Robert Hunt, Vice President of Software Engineering bei Nasdaq. Jede Nacht erhält Nasdaq Milliarden von Datensätzen, die für Abrechnungs- und Berichterstattungsprozesse vor dem Öffnen des Marktes am nächsten Morgen geladen werden müssen.

Die Geschwindigkeit und das Volumen haben sich mit der Einführung von automatisierten Handelsplattform auf dem Markt erhöht. 2014 wechselte Nasdaq von einem Legacy-On-Premises Data Warehouse zu einem Data Warehouse von Amazon Web Services (AWS), das von einem Amazon Redshift-Cluster betrieben wird. Das Ziel war, den Umfang und die Leistung zu erhöhen sowie die Betriebskosten zu senken. Dieses Amazon Redshift-Cluster wurde zwischen 2014 und 2018 auf 70 Knoten erweitert, als das Unternehmen die Lösung in allen seine Börsen in Nordamerika implementierte. Bis zum Jahr 2018 hat die Lösung Finanzmarktdaten von Tausenden von Quellen erfasst, in einem Bereich von 30 Milliarden bis 55 Milliarden Datensätze und hat 4 Terabyte überschritten.

Im Laufe der Zeit hat das Datenwachstum zu einer Änderung des Ansatzes dieser Datenverwaltung zur Analytik geführt. Die nächtliche Batch-Verarbeitung am Warehouse verursachte Schwierigkeiten bei der Verarbeitung enormer Mengen und somit der Einhaltung strenger Fristen. Nutzer verlassen sich bei der Abrechnung, der Berichterstattung und der Überwachung auf diese Daten. „Als die Marktschwankungen im Frühjahr 2018 zunahmen, verzeichneten Datenvolumen für das Warehouse einen deutlichen Anstieg, mit einem Höchststand von ca. 55 Milliarden Datensätzen pro Tag im Jahr 2018,“ so Hunt.

Ausgeklügeltere Handelspraktiken führen zu einem massiven Wachstum der Daten und es war wichtig, dass Nasdaq mit der Planung der Weiterentwicklung der neuen Architektur begann, um die Leistungsstandards und betriebliche Exzellenz zu erfüllen, die das Ökosystem erwartet. „Wir müssen die 30 Milliarden Daten laden und verarbeiten und zwar in der Zeit zwischen dem Schließen der Börsen am Abend und dem Öffnen am nächsten Morgen. Das Laden der Daten verzögerte die Bereitstellung unserer Berichte“, sagt Hunt. „Wir mussten in der Lage sein, unsere Daten möglichst schnell in unsere Datenspeicherlösung zu schreiben oder zu laden, ohne dabei das Auslesen und Abfragen der Daten zu behindern.“

2018 entschied sich Nasdaq, das Grundgerüst eines neuen Data Lake auf Amazon Simple Storage Service (Amazon S3) zu entwickeln. Dadurch war die Firma in der Lage, Computing und Speicher zu trennen und jeweils unabhängig voneinander zu skalieren. Bei herkömmlichem Data Warehousing müssen die Speicherkapazität und die Rechenkapazität oft gleichzeitig skaliert werden, da die Anwendung und der Speicher eng verbunden sind. Außerdem sind Hardwareanpassungen vor Ort erforderlich, um das Verhältnis zwischen den beiden zu ändern. „Zusätzlich zu der Flexibilität, die eine Trennung von Computing und Speicher bietet, verfügt Amazon S3 über bessere Möglichkeiten zur Skalierung in Bezug auf gleichzeitiges Schreiben und Lesen großer Datensätze“, so Hunt. „Amazon S3 gab uns eine Lösung, die null Konflikt zwischen dem Laden von Daten und Abfrageprozessen verursacht.“

Was als auf Leistung fokussierte Lösung begann, ist nun ein Data Lake für eine Reihe von Anwendungen, der von mehreren Teams geteilt wird und dem Unternehmen zusätzlichen Nutzen bietet.