Für IT-Administratoren bedeutet der Aufbau einer lokalen KI zunächst einmal das Beschaffen der entsprechenden Hardware samt Installation derselben, um eine Ablaufumgebung im eigenen Rechenzentrum bereitzustellen. Dabei gibt es einiges zu beachten, damit diese Umgebungen längerfristig stabil laufen können. Denn um die passende Hardware für die Aufgabe zu finden, sollte im ersten Schritt klar sein, was überhaupt mit "KI" gemeint ist. Klassifizierungsaufgaben wie Objekterkennung etwa unterscheiden sich in Trainings- und Anwendungsphasen (beim Anwenden des Modells ist auch von Inferenz die Rede).

Dabei ist das Trainieren sehr rechenintensiv, profitiert also von entsprechender Hardwareunterstützung durch Karten von Nvidia oder AMD, die Inferenz lässt sich aber gegebenenfalls auch von normalen CPUs erledigen. Auch hier gibt es bei Bedarf Zusatzboards wie etwa von Hailo.ai, die den Vorgang effizienter gestalten. Beim Einsatz von Generativer KI (also etwa Sprachmodellen) ist eine Hardwarebeschleunigung auch bei der reinen Anwendung der Modelle zu empfehlen.

Das komplette Neutrainieren eines solchen Modells dürfte die Rechenzentren der meisten Firmen eher überfordern. In der Planung ist auch dringend der Stromverbrauch zu betrachten – sowohl im eigentlichen Rechner als auch für die zugehörige Kühlung. Eine H100-GPU von Nvidia etwa benötigt unter Volllast bis zu 700 Watt. Dies ist je nach Modell das Doppelte des restlichen Servers. Sind größere Mengen an GPUs angedacht, spielt unter Umständen sogar die Gesamtkapazität des Rechenzentrums eine Rolle. Auch müssen die Lieferanten der Server darauf achten, dass die mitgelieferten Netzteile der Belastung standhalten, jedoch sind bei den meisten professionellen Herstellern inzwischen entsprechende Geräte im Angebot. Lediglich bei einer neuen Generation der Beschleunigerhardware kann sich die Beschaffung etwas verzögern.