26.11.2023 AI Engineering 5 Minuten Lesezeit

OpenAI DevDay: Was die Assistants API für Entwickler ändert

Am 6. November 2023 kündigte OpenAI GPT-4 Turbo mit 128K-Kontextfenster, die Assistants API mit Retrieval und Code Interpreter sowie GPTs an. Wir fassen die belegten Zahlen, die neuen API-Primitive und die konkreten Grenzen zusammen — und benennen, was in Ihrer Verantwortung bleibt: Evaluation, Data Governance, Kostenkontrolle und Anbieterrisiko.

Eine Keynote ordnet den Stack neu

Bis zu diesem Monat bauten Teams, die Assistenten auf der OpenAI-API entwickelten, den Stack selbst: Konversationszustand, Dokument-Chunking, Embeddings, Vektorsuche, Tool-Dispatch. Am 6. November 2023 hielt OpenAI in San Francisco seine erste Entwicklerkonferenz DevDay ab und verlagerte mehrere dieser Schichten in die Plattform. Die genannten Zahlen erklären den Anspruch: über 2 Millionen Entwickler auf der API, 92 Prozent der Fortune-500-Unternehmen auf der Plattform, rund 100 Millionen wöchentliche ChatGPT-Nutzer.

Dieser Artikel benennt, was sich für Entwickler ändert — Modell, API-Oberfläche, Preise — und was sich nicht ändert: Evaluation, Data Governance und Kostenkontrolle bleiben auf Ihrer Seite der Schnittstelle. Alle Angaben entsprechen dem Stand vom 23. November 2023.

Eine Aufgabe kommt an — der Agent plant den nächsten Schritt. 1/4

GPT-4 Turbo in Zahlen

GPT-4 Turbo ist als gpt-4-1106-preview verfügbar. Kontextfenster: 128.000 Token, etwa 300 Seiten Text. Wissensstand: April 2023 statt September 2021. Eingabe-Token kosten 0,01 US-Dollar pro 1.000, Ausgabe-Token 0,03 US-Dollar — Faktor 3 beziehungsweise Faktor 2 günstiger als GPT-4. Neu sind der JSON-Modus für garantiert valides JSON und ein Seed-Parameter für reproduzierbares Sampling. GPT-3.5 Turbo erhält eine neue 16K-Variante für 0,001/0,002 US-Dollar. Die Tokens-pro-Minute-Limits für bestehende GPT-4-Kunden wurden verdoppelt.

Zwei Einschränkungen. Das Modell ist eine Preview; die Produktionsversion kündigt OpenAI für die kommenden Wochen an. Und 128K Fenster sind Kapazität, nicht Verständnis: Ob das Modell Informationen aus der Mitte eines langen Prompts zuverlässig nutzt, ist eine empirische Frage, die Sie pro Aufgabe testen müssen.

Die Assistants API

Die Assistants API führt drei serverseitige Objekte ein: einen Assistant (Instruktionen plus Tools), einen Thread (persistente Nachrichtenhistorie) und einen Run (eine Ausführung eines Assistants auf einem Thread). Sie hängen Nachrichten an; die Plattform verwaltet Historie und Kürzung gegen das Kontextfenster. Runs sind asynchron: Sie erzeugen einen Run und fragen seinen Status ab, bis er abgeschlossen ist oder eine Aktion verlangt. Konversationszustand, bisher Ihr Datenbankschema, wird zur API-Ressource.

Das ist OpenAIs erster expliziter Schritt zu agentenähnlichen Systemen: Ein Assistant kann während eines Runs entscheiden, Tools aufzurufen, Code auszuführen oder Dokumente zu durchsuchen. Die API ist seit dem 6. November für alle Entwickler als Beta verfügbar. Sie teilt ihre Grundlage mit dem GPTs-Produkt in ChatGPT.

Retrieval und Code Interpreter

Retrieval nimmt hochgeladene Dateien entgegen und übernimmt Chunking, Embedding und Suche intern. Keine selbst betriebene Vektordatenbank, keine Embedding-Pipeline. Die Grenzen sind konkret: maximal 20 Dateien pro Assistant, maximal 512 MB pro Datei. Der Preis liegt bei 0,20 US-Dollar pro GB, Assistant und Tag. Code Interpreter führt Python in einer Sandbox aus, zu 0,03 US-Dollar pro Session; eine Session bleibt innerhalb eines Threads eine Stunde aktiv. Function Calling vervollständigt das Tool-Set.

Was Retrieval nicht leistet: keine Kontrolle über Chunk-Größe, Embedding-Modell oder Ranking, keine Relevanz-Scores. Ein Korpus über 20 Dateien passt nicht hinein. Die Sandbox des Code Interpreter hat keinen Netzwerkzugriff und verarbeitet nur angehängte Dateien. Für große oder qualitätskritische Retrieval-Fälle bleibt eine eigene RAG-Pipeline die richtige Wahl.

GPTs ohne Code

GPTs sind konfigurierbare Varianten von ChatGPT: Instruktionen, hochgeladenes Wissen und Actions (HTTP-Aufrufe an externe APIs), zusammengestellt in einem konversationellen Builder ohne Code. Sie lassen sich per Link teilen; ein GPT Store ist für Ende November angekündigt. Enterprise-Kunden können GPTs auf interne Nutzung beschränken. GPTs sind ein ChatGPT-Produkt, kein API-Produkt — aber sie demonstrieren dieselben Primitive, die die Assistants API Entwicklern bereitstellt.

Für Engineering-Teams sind GPTs in zweierlei Hinsicht relevant. Als Prototyping-Fläche: Eine Idee lässt sich an einem Nachmittag validieren, bevor Code entsteht. Und als Konkurrenz: Deckt ein konfiguriertes GPT einen Use Case ab, muss sich eine eigene Anwendung über Datenzugriff, Integration oder Kontrolle rechtfertigen, die ChatGPT nicht bietet.

Was in Ihrer Verantwortung bleibt

Die Evaluation bleibt bei Ihnen. Retrieval ist eine Blackbox; ob Antworten tatsächlich in Ihren Dokumenten verankert sind, müssen Sie gegen ein eigenes Gold-Set messen — vor dem Rollout und nach jeder Modell- oder Plattformänderung. gpt-4-1106-preview ist drei Wochen alt; benchmarken Sie gegen GPT-4 auf Ihren Aufgaben, nicht auf öffentlichen Leaderboards.

Die Data Governance bleibt bei Ihnen. Dateien und Threads liegen auf Servern von OpenAI; für europäische Kunden bedeutet das AVV-Prüfung, eine Aufbewahrungsrichtlinie und eine klare Entscheidung, welche Daten Ihre Infrastruktur verlassen dürfen. Prompt Injection über abgerufene Dokumente und Tool-Ausgaben bleibt ein offenes Problem, das die Plattform nicht löst.

Die Kostenkontrolle bleibt bei Ihnen. Ein einzelner Run kann mehrere Modellaufrufe über einen wachsenden Thread auslösen; der Token-Verbrauch ist vorab nicht präzise kalkulierbar. Die API ist Beta und trägt kein SLA. Budget-Wächter gehören in Ihre Integrationsschicht, nicht in den Backlog.

Preise im Überblick

Die Tabelle fasst die am 6. November angekündigten Preise zusammen (pro 1.000 Token, wo anwendbar). Beachten Sie die Asymmetrie: GPT-4-Turbo-Ausgabe bleibt dreimal teurer als Eingabe; Prompt-Design, das kurze, strukturierte Antworten erzeugt, hat jetzt einen direkten Preiseffekt. Retrieval-Kosten skalieren mit gespeicherten Gigabyte pro Assistant und Tag — ein unbenutzter Assistant mit großen Dateien kostet täglich Geld.

Position	Preis
GPT-4 Turbo Eingabe	0,01 $ / 1.000 Token
GPT-4 Turbo Ausgabe	0,03 $ / 1.000 Token
GPT-3.5 Turbo 16K Eingabe	0,001 $ / 1.000 Token
GPT-3.5 Turbo 16K Ausgabe	0,002 $ / 1.000 Token
Code Interpreter	0,03 $ pro Session
Retrieval	0,20 $ pro GB, Assistant und Tag

Ausblick vom November 2023

Unsere Erwartung aus heutiger Sicht: Die Primitive der Assistants API — persistente Threads, Runs, eingebaute Tools — werden zum Referenzmodell, das andere Anbieter kopieren. Einfache RAG-Chatbots werden zur Massenware; Differenzierung verschiebt sich zu Evaluation, Domänendaten und Integrationstiefe. Wir erwarten außerdem, dass das 20-Dateien-Limit und die Retrieval-Blackbox binnen Monaten gelockert werden — der Druck der Entwickler ist in OpenAIs eigenen Foren bereits sichtbar.

Eine weitere Lektion dieses Novembers: Zwischen dem 17. und dem 21. entließ OpenAIs Board Sam Altman und einigte sich dann auf seine Rückkehr. Die Plattform ist beeindruckend; ihre Governance erwies sich als volatil. Wir bei Blue IT Systems behandeln die Assistants API deshalb als austauschbares Backend hinter einer eigenen Abstraktionsschicht — ein allgemeines Muster, das wir jedem Team empfehlen, das auf einen einzelnen Anbieter baut.