Wie schlägt sich der aktuelle MacMini mit Apple M4 CPU gegen das NVidia Jetson Orin Nano Super Developer Kit bei KI-Anwendungen? Dieser Artikel zeigt den direkten Vergleich.
MacMini M4 im Test: Das Setup
Unser KI Test-Szenario besteht aus dem folgenden Setup:
MacMini M4
Getestet wird ein Mac Mini M4 mit 24 GB RAM, mit 10 Core CPU, 10 Core GPU, 16 Core Neural Engine, 120 GB/s RAM Bandwidth, macOS 15.
NVidia Jetson Orin Nano
Der Gegner: Das NVidia Jetson Orin Nano Super Developer Kit. Die CPU ist ein 6-core ARM Cortex-A78AE v8.2 64-bit Prozessor, die GPU hat 1024 CUDA-Cores mit 32 Tensor-Kernen. Der Jetson Orin Nano hat 8 GB RAM (128-bit LPDDR5) mit lediglich 102 GB/s Bandwidth und läuft unter einem modifizierten Ubuntu Linux.
Die geringe Bandbreite spielt hier nur eine untergeordnete Rolle, da das LLM komplett in die GPU des NVidia Jetson Orin Nano geladen wird.
Software
Die Software ist Ollama mit folgenden LLMs: Qwen2.5-Coder:7b und LLama3.2:3b
Die Aufgabe für das LLM: “Schreibe einen Websocket Server in C#”:
|
1 2 |
ollama run llama3.2:latest --verbose >>> Schreibe einen Websocket Server in C# |
Der Wichtigste Parameter ist die Eval-Rate am Ende der Ausgabe. Alles was >= 10 Token pro Sekunde ist, wird vom Benutzer beim Lesen noch als akzeptabel empfunden. Werte darunter in der Regel als zu langsam.
MacMini M4 vs. NVidia Jetson Orin Nano Super Developer Kit: Die Ergebnisse
LLama3.2:3b (2.0 GB)
MacMini M4:
|
1 2 3 4 5 6 7 8 |
total duration: 17.7778915s load duration: 25.402583ms prompt eval count: 32 token(s) prompt eval duration: 199ms prompt eval rate: 160.80 tokens/s eval count: 717 token(s) eval duration: 17.552s eval rate: 40.85 tokens/s |
NVidia Jetson Orin Nano Super Developer Kit:
|
1 2 3 4 5 6 7 8 |
total duration: 45.61119646s load duration: 364.577234ms prompt eval count: 35 token(s) prompt eval duration: 1.613161715s prompt eval rate: 21.70 tokens/s eval count: 855 token(s) eval duration: 43.619558143s eval rate: 19.60 tokens/s |
Mit dem Ergebnis von fast 20 Token pro Sekunde ist der NVidia Jetson Orin nur halb so schnell wie der MacMini M4. Die Ausgabe beider Probanten läuft jedoch flüssig, in angenehmer Geschwindigkeit.
Negativ fällt beim Jetson Orin Nano die gemessene Dauer, bis das LLM in die GPU geladen ist (Load Duration) auf: 364 ms. Dies ist der geringen RAM-Bandbreite geschuldet. Als einmaliger Vorgang beim Start des LLM kann das jedoch für die meisten KI-Anwendungen vernachlässigt werden. Der MacMini M4 hingegen, benötigt hierfür gerade mal 25 ms.
Qwen2.5-Coder:7b (4.7 GB)
MacMini M4:
|
1 2 3 4 5 6 7 8 |
total duration: 43.016241625s load duration: 22.598166ms prompt eval count: 36 token(s) prompt eval duration: 375ms prompt eval rate: 96.00 tokens/s eval count: 875 token(s) eval duration: 42.456s eval rate: 20.61 tokens/s |
NVidia Jetson Orin Nano Super Developer Kit:
|
1 2 3 4 5 6 7 8 |
total duration: 1m2.497936301s load duration: 303.472554ms prompt eval count: 39 token(s) prompt eval duration: 1.148475602s prompt eval rate: 33.96 tokens/s eval count: 535 token(s) eval duration: 1m1.029803061s eval rate: 8.77 tokens/s |
Mit knapp 21 Token/s ist der MacMini M4 knapp mehr als doppelt so schnell als der NVidia Jetson Orin Nano mit lediglich knapp 9 Token/s. Die Ausgabe des Jetson Orin Nano ist mit diesem Wert zwar hart über dem Limit aber die Geschwindigkeit der Text-Ausgabe wird noch als akzeptabel empfunden.
Was ist mit größeren Large Language Models?
Bei beiden Maschinen wird die Größe der LLMs nur durch das verfügbare RAM limitiert. D.h. der MacMini M4 kann in dieser Konfiguration LLMs bis ca. 20 GB ausführen, der NVidia Jetson Orin Nano jedoch nur LLMs bis ca. 6.5 GB Größe. Versucht man beim Jetson Orin Nano größere Modelle zu laden, kommt es zum Crash.
Apple M4 vs NVidia Jetson Orin Nano: Das Fazit
Wer eine extrem günstige KI-Maschine für LLMs bis ca. 7 Billionen Parameter und einer maximalen Größe von ca. 6.5 GB sucht, sollte zum NVidia Jetson Orin Nano greifen. Es liefert eine für den Preis beachtliche Leistung. Günstiger kann man in die Welt der KI und LLM-Technologie kaum einsteigen.
Mit ca. 300-330 EUR für das Board + ca. 20 EUR für ein passendes Gehäuse, liegt der Preis des NVidia Jetson Orin Nano bei nur ca. 50% der Kosten für den MacMini M4 (ca. 700 EUR).
Für größere LLMs und mehr Speed ist der MacMini M4 die bessere Wahl. Wie der Preis schon vermuten lässt: Der MacMini M4 ist zwar doppelt so teuer wie der Jetson Orin Nano, aber auch doppelt so schnell.
Lies weitere KI-Tests mit dem MacMini M4:
