Lesedauer 3 Minuten

Wie schlägt sich der aktuelle MacMini mit Apple M4 CPU gegen das NVidia Jetson Orin Nano Super Developer Kit bei KI-Anwendungen? Dieser Artikel zeigt den direkten Vergleich.

MacMini M4 im Test: Das Setup

Unser KI Test-Szenario besteht aus dem folgenden Setup:

MacMini M4

Getestet wird ein Mac Mini M4 mit 24 GB RAM, mit 10 Core CPU, 10 Core GPU, 16 Core Neural Engine, 120 GB/s RAM Bandwidth, macOS 15.

MacMini M4 vs Jetson Orin Nano

NVidia Jetson Orin Nano

Der Gegner: Das NVidia Jetson Orin Nano Super Developer Kit. Die CPU ist ein 6-core ARM Cortex-A78AE v8.2 64-bit Prozessor, die GPU hat 1024 CUDA-Cores mit 32 Tensor-Kernen.  Der Jetson Orin Nano hat 8 GB RAM (128-bit LPDDR5) mit lediglich 102 GB/s Bandwidth und läuft unter einem modifizierten Ubuntu Linux 22.04. 

Die geringe Bandbreite spielt hier nur eine untergeordnete Rolle, da das LLM komplett in die GPU des NVidia Jetson Orin Nano geladen wird.

Für den Test wurde Ollama auf dem Jetson Orin Nano wie folgt installiert und nicht per Docker-Container verwendet:

NVidia Jetson Orin Nano Super Developer Kit vs. Apple MacMini M4

Software

Die Software ist Ollama mit folgenden LLMs: Qwen2.5-Coder:7b und LLama3.2:3b

Die Aufgabe für das LLM: “Schreibe einen Websocket Server in C#”:

Der Wichtigste Parameter ist die Eval-Rate am Ende der Ausgabe. Alles was >= 10 Token pro Sekunde ist, wird vom Benutzer beim Lesen noch als akzeptabel empfunden. Werte darunter in der Regel als zu langsam.

MacMini M4 vs. NVidia Jetson Orin Nano Super Developer Kit: Die Ergebnisse

LLama3.2:3b (2.0 GB)

MacMini M4:

NVidia Jetson Orin Nano Super Developer Kit:

Mit dem Ergebnis von fast 23 Token pro Sekunde ist der NVidia Jetson Orin etwas mehr als halb so schnell wie der MacMini M4. Die Ausgabe beider Probanten läuft jedoch flüssig, in angenehmer Geschwindigkeit.

Qwen2.5-Coder:7b (4.7 GB)

MacMini M4:

NVidia Jetson Orin Nano Super Developer Kit:

Auch hier ist der NVidia Jetson Orin Nano mit lediglich knapp 12 Token/s etwas mehr als halb so schnell wie der Mac Mini M4. Die Ausgabe ist auf beiden Geräten noch flüssig.

Was ist mit größeren Large Language Models?

Bei beiden Maschinen wird die Größe der LLMs nur durch das verfügbare RAM limitiert. D.h. der MacMini M4 kann in dieser Konfiguration LLMs bis ca. 20 GB ausführen, der NVidia Jetson Orin Nano jedoch nur LLMs bis ca. 6.5 GB Größe. Versucht man beim Jetson Orin Nano größere Modelle zu laden, kommt es zum Crash.

Paralleles Verarbeiten von LLM-Requests

Ein weiterer Aspekt ist das parallele Verarbeiten von LLM-Anfragen, wenn man die Maschine als Ollama-Server verwenden möchte. Was beim MacMini M4 kein Problem ist, stößt beim Jetson Orin Nano leider auf eine Einschränkung:

Aufgrund des geringen Speichers können LLM-Requests nicht parallel ausgeführt werden können. Statt dessen landen die Requests in einer Queue und werden nacheinander behandelt. D.h. der nächste Request bekommt erst eine Antwort, wenn die vorherige Frage und die eigene Frage vom LLM komplett beantwortet wurden.

Apple M4 vs NVidia Jetson Orin Nano: Das Fazit

Wenn Du eine extrem günstige KI-Maschine für LLMs bis ca. 8 Billionen Parameter und einer maximalen Größe von ca. 6.5 GB suchst und parallel Processing keine Rolle spielt, solltest Du zum NVidia Jetson Orin Nano  greifen.

Trotzdem liefert der Jetson Orin Nano  eine für den Preis beachtliche Leistung. Günstiger kann man in die Welt der KI und LLM-Technologie kaum einsteigen.

Mit ca. 300-330 EUR für das Board + ca. 20 EUR für ein passendes Gehäuse, liegt der Preis des NVidia Jetson Orin Nano bei nur ca. 45% der Kosten für den MacMini M4 (ca. 700 EUR).

Für größere LLMs, mehr Speed und parallel Processing ist der MacMini M4 die bessere Wahl. Wie der Preis schon vermuten lässt: Der MacMini M4 ist zwar doppelt so teuer wie der Jetson Orin Nano, aber auch doppelt so schnell.

Lies weitere KI-Tests mit dem MacMini M4:

Hat Dir der Beitrag gefallen?

Wenn Du Fragen oder Anmerkungen zu diesem Beitrag hast, dann starte einen Kommentar. DANKE für Dein Feedback!