Thema KI: Wie schlägt sich der neue MacMini mit Apple M4 CPU gegen einen Intel PC mit NVidia RTX4070 GPU? Dieser Artikel zeigt den direkten Vergleich.
MacMini M4 im KI-Test: Setup
Unser KI Test-Szenario besteht aus dem folgenden Setup:
- Getestet wird ein Mac Mini M4 mit 24 GB RAM, mit 10 Core CPU, 10 Core GPU, 16 Core Neural Engine, 120 GB/s RAM Bandwidth, macOS 15.
- Der Gegner: Ein PC mit Intel Core i7-13700 und NVidia Geforce RTX4070 GPU. Die GPU hat 5.888 CUDA-Cores, 184 Tensor Cores, 504 GB/s RAM Bandwidth, 12 GB VRAM und läuft unter Windows 11 Pro 25H2.
- Die Software ist Ollama mit folgenden LLMs: Qwen2.5-Coder:7b, 14b und 32b sowie LLama3.2:3b
Die Aufgabe für das LLM: “Schreibe einen Websocket Server in C#”:
|
1 2 |
ollama run llama3.2:latest --verbose >>> Schreibe einen Websocket Server in C# |
Der Wichtigste Parameter ist die Eval-Rate am Ende der Ausgabe. Alles was >= 10 Token pro Sekunde ist, wird vom Benutzer beim Lesen noch als akzeptabel empfunden. Werte darunter in der Regel als zu langsam.
MacMini M4 vs. NVidia Geforce RTX4070: Die Ergebnisse
LLama3.2:3b (2.0 GB)
MacMini M4:
|
1 2 3 4 5 6 7 8 |
total duration: 17.7778915s load duration: 25.402583ms prompt eval count: 32 token(s) prompt eval duration: 199ms prompt eval rate: 160.80 tokens/s eval count: 717 token(s) eval duration: 17.552s eval rate: 40.85 tokens/s |
PC mit NVidia Geforce RTX4070:
|
1 2 3 4 5 6 7 8 |
total duration: 4.0970889s load duration: 122.2688ms prompt eval count: 1211 token(s) prompt eval duration: 208.2898ms prompt eval rate: 5814.01 tokens/s eval count: 504 token(s) eval duration: 2.7852553s eval rate: 180.95 tokens/s |
Mit dem Ergebnis von fast 90 Token pro Sekunde ist die NVidia Geforce RTX4070 ca. 4.5 x so schnell wie der MacMini M4. Die Ausgabe des MacMini mit knapp 41 Token pro Sekunde ist jedoch flüssig und somit OK.
Qwen2.5-Coder:7b (4.7 GB)
MacMini M4:
|
1 2 3 4 5 6 7 8 |
total duration: 43.016241625s load duration: 22.598166ms prompt eval count: 36 token(s) prompt eval duration: 375ms prompt eval rate: 96.00 tokens/s eval count: 875 token(s) eval duration: 42.456s eval rate: 20.61 tokens/s |
PC mit NVidia Geforce RTX4070:
|
1 2 3 4 5 6 7 8 |
total duration: 9.2863079s load duration: 92.9849ms prompt eval count: 39 token(s) prompt eval duration: 21.298ms prompt eval rate: 1831.16 tokens/s eval count: 796 token(s) eval duration: 6.1349068s eval rate: 129.75 tokens/s |
Trotz komplexerem LLM bleibt der Abstand ungefähr gleich: Die NVidia RTX4070 ist knapp fast 6.5 x so schnell als der MacMini M4. Mit rund 21 Token pro Sekunde ist der M4 in dieser Kategorie als KI-Maschine noch gut geeignet.
Qwen2.5-Coder:14b (9 GB)
MacMini M4:
|
1 2 3 4 5 6 7 8 |
total duration: 1m30.197150625s load duration: 27.20875ms prompt eval count: 39 token(s) prompt eval duration: 259ms prompt eval rate: 150.58 tokens/s eval count: 972 token(s) eval duration: 1m29.908s eval rate: 10.81 tokens/s |
PC mit NVidia Geforce RTX4070:
|
1 2 3 4 5 6 7 8 |
total duration: 12.0098898s load duration: 118.454ms prompt eval count: 39 token(s) prompt eval duration: 239.0319ms prompt eval rate: 163.16 tokens/s eval count: 528 token(s) eval duration: 9.8250136s eval rate: 53.74 tokens/s |
Mit knapp über 10 Token pro Sekunde in dieser Kategorie ist der M4 als KI-Maschine immer noch brauchbar. Die NVidia Geforce RTX4070 hingegen ist ca. 5 x so schnell.
Qwen2.5-Coder:32b (20 GB)
MacMini M4:
|
1 2 3 4 5 6 7 8 |
total duration: 4m47.733996s load duration: 23.813958ms prompt eval count: 36 token(s) prompt eval duration: 24.238s prompt eval rate: 1.49 tokens/s eval count: 1093 token(s) eval duration: 4m23.304s eval rate: 4.15 tokens/s |
PC mit NVidia Geforce RTX4070:
|
1 |
N/A |
Hier ist der M4 mit 4 Token pro Sekunde deutlich zu langsam, jedoch trotzdem für Experimente geeignet, bei denen Geschwindigkeit keine primäre Rolle spielt. Die NVidia Geforce RTX-4070 hingegen muss hier leider aufgrund der 12 GB VRAM passen.
Apple M4 vs NVidia Geforce RTX4070: Das Fazit
Wer eine vergleichsweise günstige KI-Maschine für LLMs bis ca. 14 Billionen Parameter sucht, sollte zum MacMini M4 in der Grundausstattung greifen. Mit 700 EUR inkl. Mwst liegt der Preis des MacMini M4 bei ca. 30-40% der Intel-Maschine mit Geforce RTX4070.
Spielt hingegen Geschwindigkeit eine Rolle, ist der M4 Max des MacBookPro 2024 ungefähr so schnell wie die NVidia Geforce RTX4070.
Das könnte Dich ebenfalls interessieren:
