CUDA- und Tensor Cores sind Hardware-Komponenten, die bei der Ausführung von Large Language Modellen (LLMs) auf NVidia Grafikkarten (GPU) eine entscheidende Rolle spielen. Bei KI-Systemen mit NVidia GPUs, sind die Anzahl von CUDA- und Tensor Cores immer die beiden Haupt-Leistungsparameter, gefolgt von VRAM-Bandbreite und der Gesamtgröße VRAM. Was sind CUDA Cores? CUDA (Compute Unified Device Architecture) ist ein Framework von [...]
Wie schlägt sich der neue MacMini mit Apple M4 CPU gegen einen Intel PC mit NVidia RTX-3070 GPU, wenn es um das Thema KI geht? Dieser Artikel zeigt den direkten Vergleich. MacMini M4 im Test: Das Setup Unser KI Test-Szenario besteht aus dem folgenden Setup: Getestet wird ein Mac Mini M4 mit 24 GB RAM, mit 10 Core CPU, 10 [...]
Wie schlägt sich der neue MacMini mit Apple M4 CPU gegen das MacBook Pro mit M1 Max CPU, wenn es um das Thema KI geht? Reicht die Rechenpower aus, um ein 20 GB Large Language Model zu betreiben? Dieser Artikel zeigt überraschende Ergebnisse. MacMini M4 im Test: Das Setup Unser KI Test-Szenario besteht aus dem folgenden Setup: Getestet wird ein [...]
Was sind Embeddings und wie funktionieren sie? In diesem Artikel werden wir Ihnen erklären, was Embeddings sind und warum sie wichtig für Sie sein könnten. Embeddings funktionieren wie ein Turbo-Lader für Ihre KI-Anwendung. Embeddings vermitteln Ihrer KI das Wissen um Ihre Produkte und Dienstleistungen. Zusätzliches Wissen wird in die KI "eingebettet". Ao wird Ihre KI-Anwendung z.B. zu einem geschulten Support-Mitarbeiter [...]
Über das gratis Continue-Plugin lassen sich alle JetBrains IDEs mit einer kostenlosen AI nachrüsten. Das funktioniert z.B. mit PhpStorm, PyCharm, GoLand und weiteren IDEs von JetBrains. JetBrains IDE mit eigener KI: Die Systemvoraussetzungen Voraussetzung ist ein Mac mit Apple Silicon oder ein Windows PC mit einer Nvidia RTX-3060 GPU oder höher mit mind. 8 GB VRAM. Hat man noch einen [...]
Ein LLM (Large Language Model) ist ein KI-Modell, das in der Lage ist, umfassende und komplexe Sprachinformationen zu verarbeiten und daraus Antworten zu generieren. Dieser Beitrag erklärt wie es funktioniert. Wie funktioniert ein LLM? Ein LLM besteht aus einer großen Menge an Daten, die aus einer Vielzahl von Quellen stammen. Diese Daten werden dann mit künstlichen neuronalen Netzen (Artificial Neural [...]
Für unsere beiden Mainstream-Produkte Woo2LX und LXArchiv haben wir ab sofort einen KI-Assistenten unserem Ticketsystem vorgeschaltet. Die KI wurde mit den Produkt-Manuals und Verkaufsinformationen trainiert und kann alle Fragen aus diesem Datenbestand beantworten. Das reduziert die Anzahl der zu bearbeitenden Tickets deutlich. Basis hierfür ist ein RAG-System mit eigenem LLM, welches in-house auf eigener Hardware gehostet wird. Die Lösung funktioniert [...]
Ein RAG-System (Retrieval-Augmented Generation) ist eine fortschrittliche Technologie im Bereich der Künstlichen Intelligenz, die besonders wertvoll für Unternehmen sein kann, die auf präzise und aktuelle oder firmen-interne Informationen angewiesen sind. ChatGPT und andere KIs basieren auf LLMs (Large Language Models). D.h. sie sind ein geschlossenes System, trainiert mit dem Wissen aus tausenden von Büchern, Websites und anderen Quellen. Das Wissen [...]
