Zwar ist die Datensparsamkeit eines der ehernen Prinzipien des Datenschutzes, denn Daten, die gar nicht erst erhoben werden, lassen sich schließlich auch nicht missbrauchen. In der modernen IT kann von dieser Reduktion auf das Wesentliche allerdings kaum mehr eine Rede sein. Ganz im Gegenteil: Wir alle produzieren täglich Unmengen an Daten verschiedenster Art, Metadaten über Kommunikation etwa, Daten über unser Nutzungsverhalten und solche, die sich aus Diensten und Dienstleistungen ablesen lassen, die die meisten Menschen freiwillig nutzen. Ganz zu schweigen von Programmen wie Payback, bei denen Menschen ihre Daten im Gegenzug gegen Rabatte und Nachlässe ganz freiwillig zur Verfügung stellen.

Allen Datentrögen ist gemein, dass die zu ihnen gehörenden Informationen irgendwo zu speichern und dann auch wieder auszuwerten sind. Manchmal ist es nötig, Daten von einer Stelle an eine andere zu übertragen und dabei umzuschreiben. Die letzteren beiden Punkte entpuppen sich für immer mehr Unternehmen im Alltag als Herausforderung: Dass nämlich so viele Daten an so vielen verschiedenen Stellen in verschiedenen Formaten und aus verschiedenen Quellen für eine Aufgabe zur Verfügung stehen, dass es unmöglich ist, diese zentral zu verwalten und zu verarbeiten, ohne vorher einiges an Werkzeugen in Stellung zu bringen. Oft ist dann vom "Data Warehouse" die Rede, was aber letztlich auch nichts anderes ist als ein Trog voller Daten, die aus verschiedenen Quellen geladen, vereinheitlicht und schließlich zusammengeführt werden, um zentral zur Verfügung zu stehen.

Stellt sich die Frage, wie das mit dem "Vereinheitlichen" funktionieren kann, wie Unternehmen also des Datenwustes Herr werden und die von ihnen benötigten Informationen zentral ao speichern, dass sie sinnvoll darauf zugreifen können. Längst hat sich das ETL-Prinzip dafür etabliert: "Extract, Transform, Load" meint die Abkürzung und beschreibt den Vorgang, Daten aus verschiedenen Quellen zusammenzuführen und zu speichern. Bei den Begrifflichkeiten geht es dabei um Details: Im Kontext eines Data Warehouse ist ETL immer ein definiertes Verfahren aus drei Schritten, das Daten aus einer oder mehreren Quellen lädt, umschreibt und dann woanders zentral speichert.

Wer statt ETL irgendwo "ELT" liest, hat keinen Knick in der Optik: Auch ELT existiert als standardisiertes Verfahren, unterscheidet sich von "ETL" aber in einem zentralen Punkt: Hier passiert die Transformation von Daten nicht während des Transits, sondern erst in der Zielapplikation, in die die Daten geladen werden. Resultate von ETL und ELT können insofern sehr ähnlich sein, auch wenn die Art und Weise, wie sie jeweils entstanden sind, sich stark voneinander unterscheidet.

Wer mit dem Handling von Daten befasst ist, steht insbesondere beim "Transform"-Schritt in einem ETL-Verfahren oft vor großen Herausforderungen. Wer etwa Inhalte einer MySQL-Datenbank auslesen und so vorbereiten möchte, dass Googles BigQuery-Dienst sie sinnvoll nutzen kann, braucht dafür fast ein eigenes zu schreibendes Programm. Denn im Hinblick auf die genutzten Formate unterscheiden sich MySQL und BigQuery erheblich voneinander. Es ist also nicht einfach möglich, Daten von einem Dienst in den anderen zu übertragen. Das Verfassen der Werkzeuge, die diese Umsetzung bewerkstelligen können, also das Schreiben des "Toolings", ist indes jener Schritt, der Entwickler wie Administratoren regelmäßig vor große Herausforderungen stellt.

Genau hier kommt integrate.io ins Spiel: Der Dienst verspricht "operatives ETL", also einen ETL-Prozess, der während des laufenden Betriebs stattfindet und dabei Daten aus diversen Quellen in verschiedenen Zielformaten dynamisch sammelt und in einer Zieldatenbank zusammenführt. Der Clou: Die Zahl verfügbarer Eingabequellen ist ebenso riesig wie die Zahl der Dienste, in die integrate.io seine Daten dann wieder ablegen kann. Obendrein behauptet die Software von sich, ein echtes "Low-Code"-Werkzeug zu sein: Per GUI und dank diverser Helferlein sollen auch Nicht-Experten in der Lage sein, den Transfer und den Umbau von Daten für Little Data und Big Data durchzuführen. Das "Low-Code"- oder "No-Code"-Versprechen machen zwar viele Anbieter, doch integrate.io behauptet, es wirklich ernst zu nehmen.

Grund genug, dem Dienst auf den Zahn zu fühlen: Was kann integrate.io wirklich, welche grundlegenden Funktionen dürfen Nutzer erwarten? Welche Konnektoren stehen für das Auslesen und Ausgeben zur Verfügung und welche Integrationen gibt es? Wie hält der Dienst es zudem mit der Sicherheit und der Compliance? Und wie unterscheidet er sich von ähnlichen Produkten am Markt?

Wer die Website von integrate.io erstmals öffnet, fühlt sich bald wie in der Buzzword-Hölle, wenn ihm die grundlegenden Prinzipien von Big Data nicht zumindest irgendwie klar sind. Von "Operative ETL" und "ELT" und anderen Dingen ist dort die Rede, und an manchen Stellen weiß der IT-Verantwortliche kaum, ob es sich um einen Tippfehler oder um einen gewollten Buchstabendreher handelt. Die Unterschiede zwischen ETL und ELT haben wir soeben beleuchtet, wichtig ist im Hinblick auf integrate.io vor allem die Erkenntnis, dass der Dienst die beiden Prinzipien als separate Vorgänge betrachtet und über verschiedene Menüpunkte in seiner grafische Oberfläche erreichbar macht. Was durchaus Sinn ergibt, denn große Unterschiede zeigen sich auch beim Preis – dazu später mehr.

Das Herzstück der integrate.io-Dienstleistungen ist eine Funktion, die zuvor unter dem separaten Namen "Xplenty" am Markt firmierte – ein Werkzeug für echtes ETL. Hier besteht das Ziel also ganz klar darin, Daten von einer Stelle abzuholen, Code auszuführen, um mit diesen Daten irgendetwas zu tun und sie danach woanders wieder abzulegen. Das Wörtchen "irgendetwas" ist an dieser Stelle bewusst gewählt, denn hier liegt eine der großen Stärken von integrate.io: Das "Irgendwas" ist im Wesentlichen dem IT-Verantwortlichen überlassen, der mit integrate.io arbeitet. Dabei muss er den Code, der die Änderungen vornimmt, aber nicht selber beisteuern, sondern kann sich auf diverse Vorgaben aus dem Produkt verlassen.

Bevor er das tun kann, muss er sich selbst allerdings so etwas wie einen virtuellen Arbeitsplatz einrichten. Denn intern ist integrate.io klar strukturiert: Unter einer GUI präsentiert der Anbieter nicht nur die vormals als "Xplenty" firmierende Komponente, sondern auch zusätzliche Werkzeuge mit Bezug zu Daten und deren Verarbeitung. Neben "ETL" und "Reverse ETL" lassen sich eben auch ELT und CDC nutzen. CDC steht für "Change data capture" und bezieht sich darauf, relevante Änderungen im Betrieb flott und zuverlässig mitzubekommen.

Schließlich bietet integrate.io auch Monitoring- und Observability-Funktionen für Big Data an, um die es in diesem Test aber nur am Rande gehen soll. Wichtig: Für die Funktionsarten bietet integrate.io zwar einen einheitlichen Login an, doch dieser führt zu einem Konfigurationsassistenten, der den Anwender unmittelbar vor die Wahl stellt, welche Art von Operation (ELT, ETL/CDC oder Observability) er planen und umsetzen möchte und entsprechend an eine eigene grafische Oberfläche weiterleitet.

Die GUI für ETL ist dabei klar strukturiert: Am linken Rand findet der Benutzer eine Menüleiste, die den Zugriff auf die Punkte "Workspaces", "Packages", "Jobs", "Clusters" und "Schedules" freigibt. Die genannten Elemente sind dabei allesamt miteinander verschachtelt. Doch so komplex, wie es im ersten Augenblick den Anschein haben mag, ist es nicht, sich in integrate.io zurechtzufinden. Dreh- und Angelpunkt sind stets die "Packages". Unter einem "Package" versteht der Hersteller dabei eine vom Anwender festgelegte Auswahl an zusammenhängenden Arbeitsschritten ("Pipeline"), die die Software ausführen soll. Die begriffliche Ähnlichkeit mit CI/CD-Tools ist dabei keinesfalls ein Zufall. Ganz bewusst will integrate.io seinen Nutzern stattdessen vermitteln, dass es zentrale Komponente in Machine-Learning-Umgebungen oder ähnlichen Konstrukten sein kann.

Schon beim ersten Anlegen eines "Packages" merkten wir zudem, dass der Anbieter seine Aufgaben gemacht hat. Denn neben einem Namen und einem Typ benötigte ein neues Package immer auch ein zu nutzendes "Template". Die Standardkonfiguration steht hier zwar auf "Blank", sodass integrate.io einen leeren "Dataflow" anlegen würde. Zur Auswahl stehen hier aber auch etliche fertige Templates. Wer etwa Daten aus Shopify, Twilio, Twitter oder Zendesk auslesen möchte, findet hier entsprechende Vorlagen dutzendfach. Die Anzahl der bereits ab Werk verfügbaren beeindruckt dabei durchaus.

Noch beeindruckender zeigte sich uns integrate.io allerdings, als wir mit einem leeren Template begannen und dann erstmals auf "Add Component" klickten. Der Begriff der Komponente ist dabei spezifisch definiert und bezeichnet jeden einzelnen Arbeitsschritt innerhalb eines Packages. Komponenten sind dabei noch- mal in unterschiedlichen Typen aufgeteilt: Es gibt "Sources", also Datenquellen, "Transformations" für den Umgang mit ausgelesenen Daten und "Destinations", also Ziele, um veränderte Daten abzulegen. Die einzelnen Kategorien der Komponenten sind dabei zum Teil weiter untergliedert, und die Auswahlmöglich- keiten hier in der Tat beeindruckend. So beherrscht integrate.io das Auslesen von Daten aus MongoDB ab Werk ebenso wie das aus diversen Onlinediensten wie HubSpot oder Google Analytics.

Auch andere Datenbanken sind in riesigem Umfang Teil des Werkzeugs: Klickten wir beim Hinzufügen einer Komponente unter "Sources" auf "Database", fügte wir dem Editor für unser Package damit zunächst einfach eine "Database"-Komponente hinzu. Bearbeiteten wir diese dann allerdings und fügten ihr eine neue Verbindung hinzu, zeigten sich uns beinahe 20 unterstützte Datenbanken, darunter Klassiker wie MySQL, dessen Schwesterprojekt MariaDB oder PostgreSQL. Auf vergleichbare Weise gestattet integrate.io auch den Import von Daten über eine beliebige REST-Schnittstelle. Hier steht als Vorauswahl etwa Amazons S3 zur Verfügung. Grundsätzlich lässt sich festhalten, dass integrate.io Daten aus den allermeisten Onlinediensten importieren kann, die im Alltag zum Einsatz kommen. Das ist ein durchaus beeindruckender Funktionsumfang.

Dasselbe gilt in abgewandelter Form freilich auch für die verfügbaren Ziele der umgeschriebenen Daten. Hier funktionierte die Auswahl ähnlich wie jene der Quelle, auch hier stand also die Option "Database" mit verschiedenen Verbindungsarten zur Verfügung. Aber auch Dienste wie Google BigQuery, Amazon RedShift oder Salesforce SOAP lassen sich als Ziel angeben. Ergänzt um die benötigten Transformationen bilden Quelle und Ziel ein Package, das wir in der integrate.io-GUI anschließend ausführen und als Teil eines Workspaces nutzen konnten. Das Ausführen eines Packages in einem Workspace heißt "Job", ein Workspace kann mehrere Packages enthalten, die ineinandergreifen. So sind auch Verarbeitungsketten möglich, bei denen Daten aus einer Quelle gelesen, verändert, in ein Ziel geschrieben und dort erneut verändert werden, bevor sie an einem weiteren Ort landen. All diese Arbeitsschritte fallen mit integrate.io nicht schwer, weil es intuitiv nutzbar und weitgehend selbsterklärend ist.

Auf einen Teil des Vorgangs sind wir bisher noch nicht eingegangen: Wie beschrieben bewirbt integrate.io sein Produkt auch damit, dass dieses "Low-Code"- Arbeiten ermöglicht. Konkret also das Umformen von Daten, ohne dass der Nutzer dafür eigenen Code beisteuern oder sich mühsam mit der Syntax von etwa MySQL und Google BigQuery befassen muss, um einen Transformationsworkflow zu schaffen. Und tatsächlich klappt das in der Praxis sehr gut: In der "Transformations"-Spalte standen uns verschiedene Operationen für den Eingangsdatensatz zur Verfügung und separate Funktionen, um geänderte Daten danach an ihr Ziel zu befördern.

Das Ganze funktioniert nach dem Baukastenprinzip: Zunächst definierten wir eine Quelle für Daten, dann klickten wir uns per Drag-and-Drop die benötigten Operationen zusammen und verbanden diese mit der zuvor angelegten Quelle. Drag-and-Drop ist dabei wörtlich zu nehmen, denn der Package Designer legt für jede ausgewählte Komponente im Editor ein eigenes Symbol an, das sich anschließend per Klick mit anderen Symbolen verbinden und durch Auswahl des Bearbeitungssymbols verändern lässt. Ein Datenfluss entsteht so nicht nur logisch innerhalb des angelegten Packages, sondern auch optisch vor den Augen des Nutzers. Das erleichtert gerade beim Hantieren mit größeren Datenmengen die Arbeit erheblich.

Und tatsächlich kamen wir weitgehend ohne selbst zu schreibenden Code aus, um die Veränderung von Daten zu leisten. Etwa Daten aus einer Datenbank so zu verändern, dass sich ihr Datentyp ändert und sie in der Zieldatenbank in einer anderen Struktur landen, erledigten wir über entsprechende, eindeutig benannte Komponenten ("Select", "Read", "Transform"). Die Entscheidung darüber, ob diese Art der Arbeit so einfach ist, dass sie auch ein nicht mit der Materie befasster Nutzer ohne weitere Vorarbeit ausführen könnte, muss letztlich freilich der Anwender selber treffen.

Festhalten lässt sich aber zweifelsohne, dass der Hersteller im Hinblick auf Low-Code den Mund nicht zu voll nimmt und sich integrate.io weitgehend ohne Vorkenntnis von Datenbank-Abfragesprachen oder Programmiersprachen verwenden lässt. Damit wird das Produkt übrigens durchaus auch interessant für Anwendungsfälle, dir gar nicht direkt dem Big-Data-Umfeld entstammen. Auch wer eine simple Migration von Daten aus einer Datenbank in eine aktuellere Version derselben Datenbank auf einem anderen System plant, kann von dem Werkzeug bereits profitieren. Hier liegt der Vorteil des Produkts darin, dass es sich um eventuelle Versionsunterschiede automatisch kümmert.

Ein Produkt, dem ein Unternehmen die eigenen Daten anvertraut, muss dafür zunächst buchstäblich das eigene Vertrauen gewinnen. Die integrate.io-Plattform gibt sich dabei große Mühe und geht in ihren Privacy-Erläuterungen etwa explizit darauf ein, dass es in den AGB einen AVV (Auftragsverarbeitungsvertrag) im Sinne der DSGVO gibt (das gilt allerdings nur für das Professional-Paket). Zudem nutzt der Dienst moderne Verschlüsselungsstandards für Daten im Transit und liegende Daten. Darüber hinaus kann er etliche Zertifikate vorweisen, die die Konformität mit diversen Standards im Hinblick auf Sicherheit und Datenschutz dokumentieren.

Einen Pferdefuß hat die Sache aber auch und der liegt darin begründet, dass integrate.io auf AWS gehostet ist. Europäische Nutzer haben beim Anlegen ihrer integrate.io-Projekte zwar die Möglichkeit, Dublin als Standort der Daten auszuwählen. Grundsätzlich ist der IT-Verantwortliche hier aber freilich wie fast immer im Spannungsfeld von DSGVO und CLOUD-Act unterwegs – jenem zentralen Konflikt der IT-Gegenwart also, für den es bis heute keine validen Lösungsansätze gibt. Fest steht, da gibt es auch im Sinne der DSGVO keine Zweifel: Gerade wer mit großen Datensammlungen hantiert, wie integrate.io-Kunden es im Regelfall tun wollen, hat für diese eine besondere Verantwortung und im Regelfall an ihnen auch ein besonderes Interesse. Ob es vor dem Hintergrund der DSGVO/CLOUD-Act-Problematik etwa einem Konzern gefällt, sensible Daten und Wirtschaftsgeheimnisse durch integrate.io zu schleusen, ist zu bezweifeln.

Gleichzeitig bemüht integrate.io sich aber auch an vielen Stellen und Punkten um Sicherheit und Compliance, sodass die innerhalb des Dienstes verfügbaren Compliance-Level höher sein dürften als bei den meisten handgestrickten Umgebungen, die sich in irgendwelchen Setups lokal finden dürften. Wie üblich spielt hier eben auch das Bedrohungsszenario eine Rolle, und das Spannungsfeld DSGVO/Cloud-Act trifft eben nicht nur integrate.io. Es wäre insofern unfair, dem Anbieter das Thema als Negativkriterium anzukreiden. Wer mit integrate.io arbeitet und sensible Daten im Fundus hat, sollte sich des Themas aber bewusst sein.

In Sachen Sicherheitsfunktionen gibt integrate.io sich darüber hinaus keine Blöße. Single Sign-on, die Trennung von Workspaces nach einzelnen Projekten ohne globalen Zugriff, eine Art Rollenverteilung und diverse andere Features runden den guten Gesamteindruck in Sachen Security und Compliance ab.

Erwähnenswert ist abschließend noch, dass integrate.io einzelnen Nutzern die Möglichkeit bietet, eigene Scheduling-Cluster zu starten. Das sind autarke Instanzen, die nur die eigenen Arbeitsschritte aus den eigenen Packages ab- arbeiten und die ein Projekt sich nicht mit anderen integrate.io-Kunden im Backend teilen muss.

Über den integrate.io-Account erreicht der IT-Verantwortliche auch andere Dienste des Anbieters, die hilfreich sind, wenn regelmäßig große Datenmengen zu bearbeiten sind. Neben ETL hat der Dienst wie beschrieben auch Werkzeuge für ELT, das Monitoring und Observability im Portfolio. Hierzu ist zwar ein eigenes Dashboard innerhalb der integrate.io-Oberfläche erforderlich, das ist aber in wenigen Mausklicks erledigt.

Obendrein bietet integrate.io eine Möglichkeit, API-Dienste für bestehende Datenquellen zu erstellen. Das ist insbesondere dort nützlich, wo REST als Zugriffsprotokoll benötigt wird, die Daten jedoch in Form einer Datenbank vorliegen. Sowohl die Observability-Funktionen wie auch der API-Generator funktionieren dabei ähnlich wie ELT: In einem GUI entwirft der Nutzer die benötigten Arbeitsschritte in Form von Pipelines, führt diese aus und erhält im Idealfall das gewünschte Ergebnis. Jedoch sind die in diesem Abschnitt genannten Funktionen nicht Bestandteil der Basis-Lizenz und somit extra zu zahlen.

Der integrate.io-Dienst von Rivery ist ein hilfreiches Werkzeug, um fast beliebige Daten aus einer oder mehreren Quellen zusammenzuführen und dabei zu verändern. Seinem Low-Code-Versprechen wird das Werkzeug dabei durchaus gerecht, denn allzu viel Wissen von tiefgreifender IT-Infrastruktur ist nicht nötig, um Datenmigrationen durchzuführen. Die Anzahl der anbindbaren Werkzeuge sowohl als Ziel als auch als Quelle ist beeindruckend und umfangreich.

Zu überzeugen weiß integrate.io auch bei der Anzahl der möglichen Änderungsoperationen sowie in Sachen Sicherheit und Compliance. Das gilt zumindest beim großen Lizenz-Paket. Als praktisch erweisen sich je nach Situation zudem die in integrate.io verfügbaren Zusatzfunktionen wie die Überwachung von Datensätzen, die allerdings nochmals mit eigenem Preisschild daherkommen.