Engineering-Notizen
Jeder Beitrag beginnt mit einer praktischen Frage, erklärt die nötigen Fachbegriffe und verlinkt Primärquellen. Wir trennen externe Evidenz, eigene Projekterfahrung und Schlussfolgerungen — und benennen, was sich daraus nicht ableiten lässt.
Meta veröffentlichte Llama 2 am 18. Juli 2023 unter einer Lizenz, die kommerzielle Nutzung erlaubt. Der Beitrag untersucht, was offene Gewichte für Unternehmensarchitekturen ändern: Datenresidenz ohne Drittlandtransfer, fixe Inferenzkosten statt Token-Abrechnung, die gemessene Qualitätslücke zu GPT-4 und der heutige Einsatzbereich der Modelle mit 7B, 13B und 70B Parametern.
Ein Kunde wollte die Ablehnung des Modells als Schutz einsetzen. Wir haben abgelehnt und die Rechteprüfung außerhalb des Modells gebaut, wo sie sich nicht wegargumentieren lässt. Was automatisch erzeugte gegnerische Suffixe an unserer Werkzeugvergabe geändert haben.
Bei Unternehmenswissen stehen Teams vor einer praktischen Wahl: Retrieval-Augmented Generation oder Fine-Tuning? Eine Engineering-Sicht aus dem Sommer 2023. Wir erklären, was Fine-Tuning tatsächlich ändert, wie Embeddings und Vektorsuche funktionieren, warum Retrieval bei Fakten der Standard sein sollte und wo sich Fine-Tuning lohnt — gestützt auf Lewis et al. (2020) und aktuelles Tooling.
Wir haben in einem Kundensystem 40 Passagen übergeben, weil sie ins Fenster passten, und schlechtere Antworten bekommen als mit zwölf. Was uns der von Liu et al. gemessene Positionseffekt gekostet hat, welche drei Dinge wir geändert haben und wo wir trotzdem alles übergeben.
Function Calling kam am 13. Juni 2023 zu GPT-4 und GPT-3.5 hinzu. Wir erklären, was der neue functions-Parameter ermöglicht — Werkzeuge, strukturierte Extraktion, erste Agenten-Schleifen —, wie der Aufrufzyklus funktioniert und wo er scheitert: halluzinierte Argumente, nicht erzwungene Schemata, Prompt Injection. Mit Validierungsmustern für den Produktionsbetrieb.