26.11.2023 AI Engineering5 Minuten Lesezeit

OpenAI DevDay: Was die Assistants API für Entwickler ändert

Am 6. November 2023 stellte OpenAI GPT-4 Turbo mit 128K-Kontextfenster, die Assistants API mit Retrieval und Code Interpreter sowie GPTs vor. Wir ordnen die belegten Zahlen, die neuen API-Primitive und ihre konkreten Grenzen ein — und zeigen, was weiterhin in Ihrer Verantwortung liegt: Evaluation, Data Governance, Kostenkontrolle und Anbieterrisiko.

Eine Keynote ordnet den Stack neu

Bis zu diesem Monat mussten Teams, die Assistenten auf Basis der OpenAI-API entwickelten, den Stack selbst aufbauen: Konversationszustand, Dokument-Chunking, Embeddings, Vektorsuche, Tool-Dispatch. Am 6. November 2023 hielt OpenAI in San Francisco seine erste Entwicklerkonferenz DevDay ab und verlagerte mehrere dieser Schichten in die Plattform. Die genannten Zahlen erklären den Anspruch: über 2 Millionen Entwickler auf der API, 92 Prozent der Fortune-500-Unternehmen auf der Plattform, rund 100 Millionen wöchentliche ChatGPT-Nutzer.

Für Entwickler verschieben sich damit Modell, API-Oberfläche und Preise. Unverändert bleibt jedoch die Verantwortung für Evaluation, Data Governance und Kostenkontrolle: Sie liegt weiterhin auf Ihrer Seite der Schnittstelle. Alle Angaben entsprechen dem Stand vom 23. November 2023.

Eine Aufgabe kommt an — der Agent plant den nächsten Schritt. 1/4

GPT-4 Turbo in Zahlen

GPT-4 Turbo ist als gpt-4-1106-preview verfügbar. Kontextfenster: 128.000 Token, etwa 300 Seiten Text. Wissensstand: April 2023 statt September 2021. Eingabe-Token kosten 0,01 US-Dollar pro 1.000, Ausgabe-Token 0,03 US-Dollar — Faktor 3 beziehungsweise Faktor 2 günstiger als GPT-4. Neu sind der JSON-Modus für garantiert valides JSON und ein Seed-Parameter für reproduzierbares Sampling. GPT-3.5 Turbo erhält eine neue 16K-Variante für 0,001/0,002 US-Dollar. Die Tokens-pro-Minute-Limits für bestehende GPT-4-Kunden wurden verdoppelt.

Zwei Einschränkungen. Das Modell ist eine Preview; die Produktionsversion kündigt OpenAI für die kommenden Wochen an. Und 128K Fenster sind Kapazität, nicht Verständnis: Ob das Modell Informationen aus der Mitte eines langen Prompts zuverlässig nutzt, ist eine empirische Frage, die Sie pro Aufgabe testen müssen.

Die Assistants API

Die Assistants API führt drei serverseitige Objekte ein: einen Assistant (Instruktionen plus Tools), einen Thread (persistente Nachrichtenhistorie) und einen Run (eine Ausführung eines Assistants auf einem Thread). Sie hängen Nachrichten an; die Plattform verwaltet Historie und Kürzung gegen das Kontextfenster. Runs sind asynchron: Sie erzeugen einen Run und fragen seinen Status ab, bis er abgeschlossen ist oder eine Aktion verlangt. Konversationszustand, bisher Ihr Datenbankschema, wird zur API-Ressource.

Das ist OpenAIs erster expliziter Schritt zu agentenähnlichen Systemen: Ein Assistant kann während eines Runs entscheiden, Tools aufzurufen, Code auszuführen oder Dokumente zu durchsuchen. Die API ist seit dem 6. November für alle Entwickler als Beta verfügbar. Sie teilt ihre Grundlage mit dem GPTs-Produkt in ChatGPT.

Retrieval und Code Interpreter

Retrieval nimmt hochgeladene Dateien entgegen und übernimmt Chunking, Embedding und Suche intern. Keine selbst betriebene Vektordatenbank, keine Embedding-Pipeline. Die Grenzen sind konkret: maximal 20 Dateien pro Assistant, maximal 512 MB pro Datei. Der Preis liegt bei 0,20 US-Dollar pro GB, Assistant und Tag. Code Interpreter führt Python in einer Sandbox aus, zu 0,03 US-Dollar pro Session; eine Session bleibt innerhalb eines Threads eine Stunde aktiv. Function Calling vervollständigt das Tool-Set.

Was Retrieval nicht leistet: keine Kontrolle über Chunk-Größe, Embedding-Modell oder Ranking, keine Relevanz-Scores. Ein Korpus über 20 Dateien passt nicht hinein. Die Sandbox des Code Interpreter hat keinen Netzwerkzugriff und verarbeitet nur angehängte Dateien. Für große oder qualitätskritische Retrieval-Fälle bleibt eine eigene RAG-Pipeline die richtige Wahl.

GPTs ohne Code

GPTs sind konfigurierbare Varianten von ChatGPT: Instruktionen, hochgeladenes Wissen und Actions (HTTP-Aufrufe an externe APIs), zusammengestellt in einem konversationellen Builder ohne Code. Sie lassen sich per Link teilen; ein GPT Store ist für Ende November angekündigt. Enterprise-Kunden können GPTs auf interne Nutzung beschränken. GPTs sind ein ChatGPT-Produkt, kein API-Produkt — aber sie demonstrieren dieselben Primitive, die die Assistants API Entwicklern bereitstellt.

Für Engineering-Teams sind GPTs in zweierlei Hinsicht relevant. Als Prototyping-Fläche: Eine Idee lässt sich an einem Nachmittag validieren, bevor Code entsteht. Und als Konkurrenz: Deckt ein konfiguriertes GPT einen Use Case ab, muss sich eine eigene Anwendung über Datenzugriff, Integration oder Kontrolle rechtfertigen, die ChatGPT nicht bietet.

Was in Ihrer Verantwortung bleibt

Die Plattform übernimmt Infrastruktur, nicht den Qualitätsnachweis. Retrieval bleibt eine Blackbox; ob Antworten tatsächlich in Ihren Dokumenten verankert sind, müssen Sie mit einem eigenen Gold-Set messen — vor dem Rollout und nach jeder Modell- oder Plattformänderung. gpt-4-1106-preview ist drei Wochen alt: Vergleichen Sie es auf Ihren Aufgaben mit GPT-4, nicht anhand öffentlicher Leaderboards.

Die Data Governance bleibt bei Ihnen. Dateien und Threads liegen auf Servern von OpenAI; für europäische Kunden bedeutet das AVV-Prüfung, eine Aufbewahrungsrichtlinie und eine klare Entscheidung, welche Daten Ihre Infrastruktur verlassen dürfen. Prompt Injection über abgerufene Dokumente und Tool-Ausgaben bleibt ein offenes Problem, das die Plattform nicht löst.

Die Kostenkontrolle bleibt bei Ihnen. Ein einzelner Run kann mehrere Modellaufrufe über einen wachsenden Thread auslösen; der Token-Verbrauch ist vorab nicht präzise kalkulierbar. Die API ist Beta und trägt kein SLA. Budget-Wächter gehören in Ihre Integrationsschicht, nicht in den Backlog.

Preise im Überblick

Die Tabelle fasst die am 6. November angekündigten Preise zusammen (pro 1.000 Token, wo anwendbar). Beachten Sie die Asymmetrie: GPT-4-Turbo-Ausgabe bleibt dreimal teurer als Eingabe; Prompt-Design, das kurze, strukturierte Antworten erzeugt, hat jetzt einen direkten Preiseffekt. Retrieval-Kosten skalieren mit gespeicherten Gigabyte pro Assistant und Tag — ein unbenutzter Assistant mit großen Dateien kostet täglich Geld.

Position	Preis
GPT-4 Turbo Eingabe	0,01 $ / 1.000 Token
GPT-4 Turbo Ausgabe	0,03 $ / 1.000 Token
GPT-3.5 Turbo 16K Eingabe	0,001 $ / 1.000 Token
GPT-3.5 Turbo 16K Ausgabe	0,002 $ / 1.000 Token
Code Interpreter	0,03 $ pro Session
Retrieval	0,20 $ pro GB, Assistant und Tag

Ausblick vom November 2023

Unsere Erwartung aus heutiger Sicht: Die Primitive der Assistants API — persistente Threads, Runs, eingebaute Tools — werden zum Referenzmodell, das andere Anbieter kopieren. Einfache RAG-Chatbots werden zur Massenware; Differenzierung verschiebt sich zu Evaluation, Domänendaten und Integrationstiefe. Wir erwarten außerdem, dass das 20-Dateien-Limit und die Retrieval-Blackbox binnen Monaten gelockert werden — der Druck der Entwickler ist in OpenAIs eigenen Foren bereits sichtbar.

Der November liefert noch eine zweite Lektion: Zwischen dem 17. und dem 21. entließ OpenAIs Board Sam Altman und einigte sich anschließend auf seine Rückkehr. Die Plattform ist technisch beeindruckend, ihre Governance erwies sich jedoch als volatil. Deshalb behandeln wir die Assistants API bei Blue IT Systems als austauschbares Backend hinter einer eigenen Abstraktionsschicht. Dieses Muster empfehlen wir jedem Team, dessen Produkt von einem einzelnen Anbieter abhängt.