Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Vision-LLMs wandeln 2024 Rechnungen und Verträge in schemavalidiertes JSON um. Wir bewerten, was GPT-4o, Claude 3.5 Sonnet und Gemini 1.5 Pro auf Dokumenten leisten, welche Genauigkeitsspannen in der Produktion realistisch sind, warum der Validator vor dem Prompt entsteht und wo menschliche Prüfung strukturell notwendig bleibt.
Microsoft veröffentlichte GraphRAG: eine Indexierungs-Pipeline, die per LLM einen Entitätsgraphen aus Text extrahiert, ihn mit dem Leiden-Algorithmus partitioniert und jede Community vorab zusammenfasst. Wir erklären, wie das globale Fragen beantwortet, an denen Vektor-RAG scheitert, was das Paper tatsächlich misst und warum die Indexierungskosten der eigentliche Trade-off sind.
Ein Kunde wollte sein ganzes sechsjähriges Support-Archiv nutzen. Das System auf gefilterten fünf Prozent antwortete besser als das auf allem, denn das Archiv enthielt überholte Auskünfte, die sich genau wie gültige lesen. Wonach wir gefiltert haben, warum Aktualität allein nicht reichte, und wie die verworfenen fünfundneunzig Prozent zu einer prüfbaren Entscheidung wurden.
Seit dem 20. Juni 2024 schlägt Claude 3.5 Sonnet Anthropics Flaggschiff Claude 3 Opus zu einem Fünftel des Preises bei doppelter Geschwindigkeit. Wir analysieren die Benchmark-Daten, die fallende Kosten-pro-Qualität-Kurve seit GPT-4 und warum Artifacts den Wandel zu Arbeitsergebnissen statt Chat-Transkripten markiert — inklusive der Grenzen.
Eine Übersichtsarbeit zählte weit über fünfzig benannte Prompt-Techniken. Wir haben die elf plausibel passenden gegen ein Referenzset laufen lassen: Zwei halfen, eine schadete, die anderen acht waren auf unseren Aufgaben nicht von Rauschen zu unterscheiden. Welche zwei, warum ausgerechnet die meistempfohlene schadete, und warum ein Katalog von Techniken eher eine Testliste ist als eine Übernahmeliste.
Unserer hat bei zwei Prozent abgelehnt und hätte es bei neun tun müssen. Strengere Anweisungen bewegten die Zahl in beide Richtungen und verweigerten auch Fragen, die er gut beantworten konnte. Geholfen hat, zwei verschiedene Gründe für Nichtwissen zu trennen, jedem ein eigenes Signal und eine eigene Reaktion zu geben — und zu akzeptieren, dass einer davon am Modell gar nicht erkennbar ist.
Dieser Leitfaden zeigt, wie Sie 2024 Golden Test Sets für LLM-Produkte aufbauen und pflegen: echte Produktionsanfragen sampeln, trotz Criteria Drift mit Experten labeln, bekannte Fehlermodi abdecken und automatische Richter gegen Expertenlabels kalibrieren. Die Pflege des Datensatzes — nicht das Tooling — ist der eigentliche Engpass der Evaluation. Mit konkreten Zahlen und datierten Quellen.
Das Lieferdatum stand im Auftrag, das Zeitfenster im Vertrag — keine abgerufene Passage konnte beides enthalten. Die naheliegende Antwort wäre ein Wissensgraph. Wir haben zuerst gemessen: Die Verbindung war eine Vertragsnummer, die beide Dokumente ohnehin tragen, und ein deterministischer Join schlägt eine gelernte Verknüpfung, solange die Kennung existiert. Wo das aufhört zu gelten und was wir dann bauen würden.
Seit seiner Vorstellung am 13. Mai 2024 verarbeitet GPT-4o Text, Bild und Audio in einem einzigen Ende-zu-Ende-Netz. Wir prüfen die belegten Zahlen — 320 ms mittlere Sprachlatenz, halber Preis gegenüber GPT-4 Turbo, fünffache Rate-Limits — und trennen, was die API heute liefert, von dem, was die Launch-Demos versprechen.
Unser Agent öffnet Pull Requests und kann sie nicht mergen, führt Tests aus und kann die Pipeline nicht ändern. Keine dieser Grenzen stammt aus einem Richtliniendokument, jede von einem konkreten Nachmittag. Was Yang und Kollegen die Agent-Computer-Schnittstelle nennen, ist der Teil, an dem wir am längsten gearbeitet haben — und die Regel darunter: Werkzeuge bestimmen den Wirkungsradius.
Dieser Leitfaden vom April 2024 zeigt die praktische Umsetzung von parameter-effizientem Fine-Tuning. Wir erklären die Funktionsweise von LoRA, die 4-Bit-Quantisierung von QLoRA und die aktuelle Open-Source-Toolchain. Dazu ein Entscheidungsrahmen für Tuning versus Retrieval versus Prompting — inklusive der Grenzen von Adaptern und dem Serving tausender Adapter auf einer GPU.
Eine neue Architektur schaffte es in die allgemeine Presse, und drei Kunden fragten in einer Woche, ob sie unsere Empfehlungen ändert. Die vier Fragen, die wir durchgehen, warum die meisten aufregenden Ergebnisse eine Schicht betreffen, die wir nicht anfassen, und die Unterscheidung, die fast alle diese Anrufe beantwortet: Ein Ergebnis kann für das Feld wichtig und für ein System, das an seinen Daten hängt, belanglos sein.