Unter die Haube geschaut

von Thomas Drilling

Der erste Teil unseres Vergleichs der Kubernetes-Clouddienste der großen Hyperscaler führte uns durch Googles Angebot. Wie sich der Azure Kubernetes Service von Microsoft und AWS mit seinem Elastic Kubernetes Service schlagen, zeigt der zweite Teil unserer Serie. Dabei betrachten wir den initialen Aufbau eines Clusters, dessen Integration in die IT-Infrastruktur sowie die Preisgefüge der beiden Angebote.

Googles Angebot zeigte sich in unserer Juli-Ausgabe als sehr einfach einzurichten. Ob dies auch für die anderen Angebote zutrifft, wollen wir uns nun zunächst für Microsoft ansehen, bevor wir abschließend die Dienste von AWS betrachten.

Erste Schritte im Azure Kubernetes Service

Beim gehosteten Kubernetes-Dienst von Microsoft klappt das Erstellen eines Azure-Kubernetes-Serivce-(AKS)-Clusters über das Azure-Portal oder per Azure-CLI genauso problemlos wie bei Google. In großen Umgebungen werden AKS-Cluster dagegen meist automatisiert auf Basis von Azure-Resource-Manager-Vorlagen, den ARM-Templates, oder mithilfe von Terraform bereitgestellt. Auch in AKS müssen Sie zunächst die zuständigen APIs aktivieren. Dies geschieht durch das Registrieren der zuständigen Ressource-Provider "Microsoft.Kubernetes" und "Microsoft.KubernetesConfiguration" für Azure-Ressource-Manager auf Subscription-Ebene.

Danach suchen Sie im Azure-Portal nach "Kubernetes-Dienste", klicken auf "Hinzufügen" und wählen "Kubernetes-Cluster hinzufügen". Im Dialog "Kubernetes-Cluster erstellen" müssen Sie wie bei Azure üblich zunächst das gewünschte Abonnement und eine Ressourcengruppe auswählen (oder erstellen), dem Cluster einen Namen geben und die zu verwendende Kubernetes-Version hinterlegen. Dann wählen Sie die Größe der Instanz-Typen und die Anzahl der Knoten für die Compute-Ebene. Analog zu Google können Sie für erste Tests den Standardvorschlag für drei Knoten mit dem Schieberegler auf "1" ziehen.

Diese Knotenzahl bezieht sich auf den "primären Knotenpool", die Azure-Bezeichnung für den primären Workload-Cluster. Sie können aber später jederzeit weitere Knotenpools einfügen, was bei Azure keinen Einfluss auf Größe und Konfiguration des Verwaltungs-Clusters (Master) hat. Neben der Möglichkeit, weitere Knotenpools einzurichten, können Sie dank Azure-Support für Virtual Kubelet auch virtuelle Knoten auf Basis von Azure Container Instances (ACI) hinzufügen oder für den horizontalen Lastausgleich sogenannte VM-Scalesets einrichten. Dies ist das Azure-Pendant zu Autoscaling-Gruppen von AWS. Haben Sie auf der Startseite bereits die zu verwendenden Zonen angegeben, ist die Option mit Scaleset und Loadbalancer voreingestellt und lässt sich nicht abwählen. Bei einem Scaleset erstellt Azure einen Azure-Loadbalancer.

AKS-Identität für den Cluster definieren

Weiter geht es mit der "Authentifizierung": Generell benötigt ein AKS-Cluster zum dynamischen Erstellen zusätzlicher Ressourcen in AKS (zwecks Interaktion mit den Azure-APIs) wie etwa der "Azure Load Balancer Azure Container Registry" (ACR) oder den "Managed Discs" eine Identität. Hier stehen Ihnen die Optionen "Dienstprinzipal" oder "Systemseitig zugewiesene Identität" zur Verfügung. Der erste Fall registriert den Dienst (AKS) als "Anwendung" im Azure AD. Allerdings müssen Sie selbst zum Anlegen eines Azure AD-Dienstprinzipals berechtigt sein und diesen Dienstprinzipal dann selbst oder in Ihrem Namen durch AKS erstellen lassen.

Nutzen Sie eine verwaltete Identität, erzeugt AKS diese automatisch. Sie können dann die rollenbasierte Zugriffssteuerung von Kubernetes (Kubernetes RBAC) entweder auf Basis einer Benutzeridentität oder der Verzeichnisgruppenmitgliedschaft konfigurieren. Die Azure-AD-Authentifizierung wird für AKS-Cluster mit OpenID Connect bereitgestellt. OpenID Connect ist eine Identitätsebene, die auf dem OAuth-2.0-Protokoll aufsetzt. Zudem verschlüsselt Azure immer die Betriebssystemdatenträger im Knotenpool. Sie können lediglich noch entscheiden, ob dies mit einem von der Plattform erzeugten Schlüssel oder einem von Ihnen bereitgestellten 256-Bit-AES-Key erfolgt.

Passende API in AKS festlegen

Im Bereich "Netzwerk" haben Sie unter anderem die Möglichkeit, die Netzwerkeinstellungen für Ihren Cluster zu ändern. Hier lässt sich zum Beispiel das HTTP-Anwendungsrouting für den Lastausgleich aktivieren oder ein privater Cluster einrichten. Grundsätzlich müssen Sie sich aber zunächst bei der Konfiguration des Netzwerks zwischen den beiden API-Varianten "kubenet" oder "Azure CNI" entscheiden. Für beide steht das passende Kubernetes-Plug-in in Azure zur Verfügung.

Kubernetes-Netzwerke erstellen und konfigurieren die Netzwerkressourcen bei der Bereitstellung des AKS-Clusters. Jedoch unterstützen Kubenet-Netzwerke keine Netzwerkrichtlinien wie dies etwa mit Calico möglich ist. Kubenet ist die Standardkonfiguration für das Erstellen von AKS-Clustern. Bei Kubenet erhalten die Knoten eine IP-Adresse aus dem Subnetz des virtuellen Azure-Netzwerks. Jeder Pod bekommt eine IP-Adresse aus einem logisch anderen Adressraum als dem Subnetz des virtuellen Azure-Netzwerks der Knoten zugewiesen. Die Netzwerkadressübersetzung (NAT) definiert dann, dass Pods Ressourcen im virtuellen Azure-Netzwerk erreichen können, wobei die Quell-IP-Adresse des Datenverkehrs in die primäre IP-Adresse des Knotens übersetzt wird.

Die "Azure-Container Networking-Interface"-Netzwerke (CNI) erlauben es Ihnen dagegen, den AKS-Cluster mit vorhandenen virtuellen Netzwerkressourcen und -konfigurationen in Azure zu verbinden. Die Pods verfügen dann über vollständige VM-Konnektivität und sind direkt über die private IP-Adresse aus verbundenen Netzwerken erreichbar. Allerdings ist hierfür auch ein größerer IP-Adressraum erforderlich, der vorher geplant sein will.

Im vorletzten Assistenten-Schritt "Integrationen" können Sie AKS komfortabel mit einer Azure-Container-Registry-Instanz verbinden, um nahtlose Bereitstellungen aus einer privaten Image-Registrierung zu erlauben. Sie können eine vorhandene Registrierung wählen oder eine neue erstellen. Dennoch lassen sich jederzeit Images aus dem öffentlichen Docker Hub oder einem privaten Docker-Repository beziehen. Auch ist es hier problemlos möglich, die Container-Überwachung mit Azure Monitor zu aktivieren oder mit Hilfe von Azure-Richtlinien diverse Schutzmechanismen für AKS-Cluster konsistent und zentralisiert durchzusetzen.

Im letzten Tab versehen Sie Ihre AKS-Cluster-Ressource dann nach Bedarf noch mit Tags und schließlich steht mit einem Klick auf "Überprüfen und erstellen" der AKS-Management-Cluster samt der von Ihnen angegeben Zahl von Compute-Knoten in wenigen Minuten zur Verfügung.

Anwendungen und Dienste unter AKS

Workloads erstellen Sie über das Azure-Portal, indem Sie in der AKS-Konsole im Menü "Kubernetes-Ressourcen / Workloads" auf "Hinzufügen" klicken und dann Ihr YAML-Dokument formulieren. Außerdem sehen Sie hier sämtliche bestehenden Deployments, Pods, Replica-Sets, Stateful-Sets, Daemon-Sets, Batches oder Cronjobs in den entsprechend bezeichneten Tabs. Alternativ arbeiten Sie mit kubectl auf der Kommandozeile. Verwenden Sie dazu die Cloud-Shell, sind die erforderlichen Toolsets bereits installiert, das heißt, Sie müssen zum Herstellen der Verbindung zum Cluster hier lediglich die Anmeldeinformationen herunterladen und dann die Kubernetes-CLI für deren Verwendung konfigurieren. Hierzu nutzen Sie die Cloud-Shell mit der BASH und das Kommando

Möchten Sie die Verbindung mit dem Kubernetes-Cluster von einem lokalen PC aus herstellen, müssen Sie neben der Azure-CLI auch kubectl installieren. Dies geschieht bei AKs einfach mit az aks install-cli. Der Befehl lädt und installiert unter anderem "kubelogin", ein Client-Go-Anmeldeinformations-Plug-in, das die Azure-Authentifizierung implementiert. Haben Sie die Cluster-Authentifizierung wie zuvor beschrieben mit "Dienstprinzipal" konfiguriert, wird jeder Benutzer, der mittels kubectl mit dem Cluster interagiert, aufgefordert, sich mit seinen Azure-AD-Anmeldeinformationen anzumelden.

Nun können Nutzer wie gewohnt via kubectl mit dem Cluster interagieren und etwa mit kubectl get nodes die momentane Knotenzahl abrufen. Auch lassen sich weitere Informationen zum Deployment einholen, beispielsweise die Anzahl der PODs ermitteln:

Oder die Anzahl der Replicas erhöhen (hier für eine Nginx-Umgebung):

Sie können aber, statt mit kubectl die Anwendung zu skalieren, auch die Anzahl der Knoten im AKS-Cluster erhöhen:

Das Ergebnis prüfen Sie dann mit kubectl get nodes. Sie haben aber auch Zugriff auf die Verteilung der Pods über den Cluster:

Ferner lässt sich ein externer Loadbalancer als Service erstellen:

Dies konfiguriert in AKS ein Azure-Loadbalancer mit einer neuen öffentlichen IP-Adresse als Frontend für diesen neuen Dienst. Dann sollten Sie überprüfen, ob AKS Ihren Dienst erstellt und den Lastenausgleich konfiguriert hat:

Die Ausgabe verrät dann die externe IP-Adresse ("External-IP"), hinter der die eigentliche App öffentlich verfügbar ist. Selbstverständlich können Sie alle hier gezeigten Befehle in gleicher Weise auch unter GKE oder EKS einsetzen – das ist ja gerade der Vorteil von Kubernetes, insbesondere beim Einsatz in der Cloud.

Preise für AKS

Bei den Preisen ist hervorzuheben, dass es sich beim Azure Kubernetes Service um einen kostenlosen Container-Dienst handelt, bei dem für Bereitstellung, Verwaltung und Betrieb von Kubernetes als vollständig verwalteten Kubernetes-Container-Orchestrator keine Kosten für die Control-Plane anfallen.

Sie zahlen nur für die VMs und die entsprechenden Speicher- und Netzwerkressourcen. Damit ist AKS nach Einschätzung von Microsoft der kostengünstigste Containerdienst auf dem Markt. Allerdings lässt sich der primäre Knotenpool bei der initialen Cluster-Erstellung nicht auf null setzen. Tatsächlich berechnet Microsoft im Gegensatz zu AWS und GKE aber keine Kosten für die Steuerebenen nach Zeit.

Cluster im Elastic Kubernetes Service bereitstellen

Der Elastic Kubernetes Service ist der Kubernetes-Cluster-Dienst von AWS. Auch dieser ist wie GKE und AKS als vollständig Kubernetes-konform zertifiziert. Das Ausrollen von Anwendungen per EKS unterscheidet sich also nicht von anderen Kubernetes-Cluster-Managern. Die automatische Skalierung erfolgt über AWS-AutoScaling-Gruppen und die Zugriffssteuerung via AWS IAM (Identiy and Access Management).

Hinsichtlich der Dienste ist zu erwähnen, dass der Kubernetes-Controller einen "AWS Application Load Balancer" (ALB) erzeugt, wenn Sie einen Kubernetes-Ingress-Controller erstellen, beziehungsweise einen "AWS Netzwerk-Load-Balancer" (NLB), wenn Sie in EKS einen Service vom Typ "Loadbalancer" mit IP-Zielen auf Amazon-EKS-1.18-Clustern (oder jünger) einrichten. Gleichen Sie den Netzwerkverkehr auf Instanzziele von EKS-Knoten (Nicht-IP-Ziele) aus, verwenden Sie automatisch den In-Tree-Kubernetes-Loadbalancer-Controller, den Sie nicht installieren müssen.

Ähnlich wie GKE kennt auch der EKS-Cluster zwei unterschiedliche Knoten-Typen: Mit "Fargate-Linux" führen Sie Anwendungen auf serverlosen AWS-Fargate-Knoten aus und mit "Managed Nodes" laufen Anwendungen auf Amazon-EC2-Instanzen. Bei Amazon ist es aber auch möglich, dass Sie Ihrem Cluster selbstverwaltete Windows- oder Bottlerocket-Knoten hinzufügen. Bottlerocket ist ein auf Linux basierendes Open-Source-Betriebssystem, das von AWS speziell für die Ausführung von Containern auf virtuellen Maschinen oder Bare-Metal-Hosts entwickelt wurde. Sind die Knoten dem Cluster beigetreten, können Sie Kubernetes-Anwendungen darin bereitstellen. Allerdings muss jeder Cluster mindestens einen Linux-Knoten enthalten, auch wenn alle seine Workloads Windows-basiert sind.

Ansonsten funktioniert das Bereitstellen eines EKS-Clusters genauso einfach wie bei der Konkurrenz. Neben dem Verwenden der grafischen Managementkonsole gelingt das mit EKS sogar mit zwei verschiedenen Command-Sets, nämlich per AWS-CLI und mit Hilfe des von AWS speziell entwickelten Befehlszeilen-Dienstprogramms "eksctl". Dies muss mindestens in Version 0.43.0 installiert sein. Das Erstellen eines neues Management-Clusters ohne primäre Knotengruppe erfolgt dann mit

Der Parameter "--help" offenbart Ihnen alle verfügbaren Optionen.

Unser Beispiel liefert eine minimale Konfiguration ohne virtuelles Netzwerk und Knotengruppe. Für komplexere Konfigurationen unterstützt eksctl aber auch Konfigurationsdateien [1]. Das Gleiche erreichen Sie in der AWS-CLI mit

Beim Einsatz der Managementkonsole suchen Sie nach "Amazon Container Service" und klicken dort auf "Amazon EKS". Alternativ geben Sie, wenn Sie den Dienst zum ersten Mal aufrufen, oben rechts bei "EKS-Cluster erstellen" den Namen Ihres neuen Clusters ein, gefolgt von einem Klick auf "Nächster Schritt". Hier müssen Sie dann eine Cluster-Service-Rolle für EKS auswählen oder erstellen. Daher können Sie von hier aus auch direkt zur IAM-Konsole wechseln. Die Kubernetes-Steuerebene benötigt die Rolle, um AWS-Ressourcen in Ihrem Namen zu verwalten. Die Verschlüsselung von Secrets an dieser Stelle ist optional.

Im nächsten Schritt wählen Sie das virtuelle Netzwerk (bei AWS "VPC" genannt) und die Subnetze für EKS-Cluster-Ressourcen aus. Haben Sie noch kein VPC angelegt, können Sie von hier in die VPC-Konsole verzweigen oder Sie verwenden für erste Experimente das Default-VPC. Ferner legen Sie hier fest, ob Sie nur einen öffentlichen, einen öffentlichen und privaten oder nur einen privaten Endpunkt benötigen. Bei den Netzwerk-Add-ons haben Sie wie bei AKS die Möglichkeit, mittels CNI Pod-Netzwerke innerhalb des Clusters zu konfigurieren. Außerdem können Sie das Service-Discovery im Cluster mittels CoreDNS aktivieren oder via kube-proxy Service-Netzwerke innerhalb Ihres Clusters definieren.

Im Schritt 3 des Bereitstellungs-Assistenten (Konfigurieren der Protokollierung) haben Sie dann noch diverse Optionen zur Protokollierung von Cluster-Ereignissen. So lassen sich Prüfungs- und Diagnoseprotokolle direkt von der Amazon-EKS-Steuerebene in CloudWatch-Logs bereitstellen. Im letzten Schritt "Überprüfen und erstellen" können Sie dann die Cluster-Generierung mit einem Klick auf "Erstellen" anstoßen, nachdem Sie die getätigten Einstellungen überprüft haben.

Netzwerk und Anwendungen in EKS

Anschließend finden Sie den Cluster im Tab "Übersicht" der Cluster-Liste unter "Amazon Container Service / Amazon EKS / Cluster". Nach wenigen Minuten zeigt sich der Cluster-Status als "aktiv". Jetzt müssen Sie nur dem Link zum Cluster folgen und in der Detailansicht zum Tab "Konfiguration" wechseln.

Hier sehen Sie alle im Verlauf der initialen Bereitstellung getätigten Einstellungen in den Tabs "Details", "Datenverarbeitung", "Netzwerk", "Add-ons", "Authentifizierung", "Protokollierung", "Aktualisierungsverkauf" und können diese jederzeit korrigieren.

Uns fehlen jetzt noch die Workload-Knoten. Diese finden sich im Tab "Datenverarbeitung", wo Sie mit einem Klick auf "Knotengruppe hinzufügen" eine solche erzeugen. Hier benötigen sie einen Namen, eine passende IAM-Rolle und gegebenenfalls eine "Kubernetes-Bezeichnung". Die anderen Angaben sind optional.

Im zweiten Schritt richten Sie dann die Größen Ihrer Knoten (EC2-Instanzen) und die Skalierungsoptionen für die Knotengruppe (AWS Autoscaling) ein. Die Angaben sind weitgehend selbsterklärend. Auch die Knotengruppe platziert Amazon in einem virtuellen Netzwerk. Sie müssen daher im nächsten Schritt noch die Subnetze angeben, in denen die Knoten leben sollen. Hier sind aber in der Regel bereits die Subnetze hinterlegt, die Sie auf Cluster-Ebene ausgewählt haben. Bei GKE und AKS ist die Control-Plane vollständig vom Anbieter verwaltet. Dort ordnen Sie die Subnetze ausschließlich auf Ebene der Worker-Knoten zu.

Im letzten Schritt "Überprüfen und Erstellen" erzeugen Sie dann die Knotengruppe nach Prüfung der Eingaben. Wenn Sie danach in die Detailansicht des Knotenpools wechseln, tauchen nach wenigen Minuten im Tab "Knoten" die konfigurierten EC2-Instanzen auf. Bis das so weit ist, vermeldet die GUI-Anwendung "Erstellung von Knotengruppen in Bearbeitung". Warten Sie bis der Status aller Knoten "Bereit" ist. Ihr Cluster ist nun einsatzbereit.

Da auch AWS über eine Cloud-Shell verfügt, können Sie die Devops-Ebene auch von dort testen. Allerdings müssen Sie dazu zunächst eine kubeconfig-Datei erstellen und dann den AWS-IAM-Authenticator installieren.

Preise für EKS

EKS verlangt 0,10 US-Dollar pro Stunde für jeden Cluster. Wie erwähnt, können Sie EKS entweder mit EC2 oder AWS Fargate und lokal mit AWS Outposts ausführen. Nur wenn Sie EC2 (einschließlich mit verwalteten EKS-Knotengruppen) verwenden, bezahlen Sie für AWS-Ressourcen (zum Beispiel EC2-Instances oder EBS-Volumes), die Sie zur Ausführung Ihrer Kubernetes-Worker-Knoten erstellen. Nutzen Sie AWS Fargate, berechnen sich die Preise anhand der vCPU- und Arbeitsspeicherressourcen, die zum Einsatz kommen, bis der Amazon-EKS-Pod beendet wird.

Fazit

In der Public Cloud ist es heute kein Hexenwerk mehr, einen Kubernetes-Cluster aufzusetzen. Dabei liegt es im Wesen von Kurbernetes, dass es letztendlich egal ist, ob der Cluster in der Cloud oder on-premises läuft und wie die Worker-Knoten beschaffen sind. So fällt es erwartungsgemäß nicht schwer mit GKE, AKS oder EKS in wenigen Minuten eine Entwicklungs- und Ausführungsumgebung für cloudnative Anwendungen bereitzustellen.

Aufwendiger wird es erst, wenn Sie von den vielfältigen Anpassungsmöglichkeiten profitieren möchten, ihren Cluster in hybriden Szenarien einsetzen sowie bei der Integration virtueller Netzwerke oder bei der Sicherheitskonfiguration. Hier unterschieden sich die drei Kandidaten dann doch, ebenso wie in der Preisgestaltung. So erlauben etwa Google und Amazon auch den serverlosen Betrieb mit automatischem Autoscaling. Mit Google kommen zudem Einsteiger gerade in der GUI-Bereitstellung sehr schnell zum Ziel. Das betrifft nicht nur den Aufbau des Clusters, sondern auch das Ausrollen von Anwendungen.

Das gilt aber für AKS kaum weniger und dessen Nutzer profitieren vor allem von der Integrierbarkeit mit dem Azure Active Directory. Ferner können AKS-User mit CNI und Kubenet zwei Schnittstellen zum Virtual Networking mit unterschiedlichen Vorteilen verwenden oder mit dem Virtual-Kubelet-Support das horizontale Cluster-Scaling bei kurzfristigem Bedarf auf Azure-ACI-Instanzen ausdehnen. Auch unterstützt AKS auf Wunsch Windows Server Container.

Das ist bei Amazons Kubernetes-Lösung EKS bei Bedarf aber auch der Fall. Überhaupt sind die Anpassungsmöglichkeiten bei EKS mit Abstand die größten – sogar Bare-Metal-Knoten und AWS Outpost werden unterstützt. Wie Google hat auch AWS mit eksctl eine eigene Befehlszeilenschnittstelle geschaffen und bietet weitreichende Möglichkeiten, Control-Plane- und Workload-Networking anzupassen. Dafür ist EKS aufgrund der zahlreichen Optionen etwas aufwendiger zu konfigurieren.

Kubernetes-Dienste von Azure, AWS, Google im Vergleich (2)

Unter die Haube geschaut

Erste Schritte im Azure Kubernetes Service

Erste Schritte im Azure Kubernetes Service

AKS-Identität für den Cluster definieren

Passende API in AKS festlegen

Anwendungen und Dienste unter AKS

Preise für AKS

Cluster im Elastic Kubernetes Service bereitstellen

Netzwerk und Anwendungen in EKS

Preise für EKS

Fazit