{"guid":"9cd441ad-0fa1-47bf-928a-c04ba0138d9c","title":"Der Open Source Stack für souveräne LLMs","subtitle":"Eine Einführung ins \"Inference Engineering\"","slug":"froscon2026-3521-der_open_source_stack_fur_souverane_llms","link":"https://programm.froscon.org/2026/events/3521.html","description":"Kleine und mittelgroße Open-Weight-Modelle holen in ihren Fähigkeiten rasant auf und laufen auf der eigenen Infrastruktur. Manche behaupten sogar, sie seien die Zukunft und könnten proprietäre Cloud-Anbieter als Standard-Weg für die Nutzung von KI ablösen. Aber wie betreibt man LLMs jenseits der Cloud - lokal und on prem?\n\n\u003cp\u003e\nDieser Vortrag führt in das Thema „Inference Engineering“ ein und zeigt, wie sich der schnell wachsende Zoo an Tools und Konzepten sinnvoll strukturieren lässt. Denn sobald man über erste Spielereien mit Ollama hinausgeht, wird das Thema schnell zum Rabbit Hole. Begriffe und Technologien fliegen einem um die Ohren: KV-Cache, TurboQuant, Prefill/Decode Disaggregation, MoE-Modelle, vLLM vs. SGLang, LiteLLM vs. Portkey, KServe vs. llm-d vs. Dynamo, ...\n\u003c/p\u003e\n\n\u003cp\u003e\nIm ersten Teil des Vortrags räumen wir dieses Chaos auf und entwickeln ein Schichtenmodell des „Inference Stacks“. Ziel ist ein mentales Modell, das hilft, neue Technologien schnell einzuordnen und Zusammenhänge zu verstehen.\n\u003c/p\u003e\n\n\u003cp\u003e\nDarauf aufbauend betrachten wir konkrete Open-Source-Stacks und typische Deployment-Szenarien: vom lokalen Setup mit kleineren, quantisierten Modellen bis hin zu GPU-basierter Inferenz im eigenen Cluster. Dabei geht es weniger um alle Details einzelner Tools als um deren Einordnung und Zusammenspiel.\n\u003c/p\u003e\n\n\u003cp\u003e\nDer Vortrag richtet sich an Entwickler:innen und Architekt:innen, die LLMs nicht nur konsumieren, sondern verstehen und selbst betreiben wollen – sei es aus Interesse an Open Source, aus Compliance-Gründen oder für mehr Kontrolle über Kosten und Daten.\n\u003c/p\u003e\n\n\u003cp\u003e\nVoraussetzungen:\u003cbr/\u003e\nUm schnell auf die interessanteren Aspekte zu kommen, wird ein Basiswissen zu LLMs vorausgesetzt:\n\u003c/p\u003e\n\n\u003cul\u003e\n\u003cli\u003eFolgende Begriffe solltet ihr grob verstehen: Tokens, „das nächste Token vorhersagen“ (GPT), Context Window, Hugging Face.\u003c/li\u003e\n\u003cli\u003eOptional: Wer schon einmal mit lokalen Modellen in Ollama oder LMStudio experimentiert hat und den Begriff „Quantisierung“ grob in eigenen Worten erklären kann, ist perfekt vorbereitet! Der Vortrag stellt diese Themen aber auch im Schnelldurchlauf vor.\u003c/li\u003e\n\u003c/ul\u003e\n\nLicensed to the public under http://creativecommons.org/licenses/by/4.0","original_language":"deu","persons":["Florian Sommer"],"view_count":61,"promoted":false,"date":"2026-08-16T11:15:00.000+02:00","release_date":"2026-08-16T00:00:00.000+02:00","updated_at":"2026-08-17T02:30:03.605+02:00","tags":["3521","2026","froscon2026","Other","HS 3","froscon2026-deu","Day 2"],"length":3632,"duration":3632,"thumb_url":"https://static.media.ccc.de/media/events/froscon/2026/3521-9cd441ad-0fa1-47bf-928a-c04ba0138d9c.jpg","poster_url":"https://static.media.ccc.de/media/events/froscon/2026/3521-9cd441ad-0fa1-47bf-928a-c04ba0138d9c_preview.jpg","timeline_url":"https://static.media.ccc.de/media/events/froscon/2026/3521-9cd441ad-0fa1-47bf-928a-c04ba0138d9c.timeline.jpg","thumbnails_url":"https://static.media.ccc.de/media/events/froscon/2026/3521-9cd441ad-0fa1-47bf-928a-c04ba0138d9c.thumbnails.vtt","frontend_link":"https://media.ccc.de/v/froscon2026-3521-der_open_source_stack_fur_souverane_llms","url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_title":"FrOSCon 2026","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026","related":[],"recordings":[{"length":3632,"mime_type":"video/mp4","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_hd.mp4","state":"new","folder":"h264-hd","high_quality":true,"width":1920,"height":1080,"updated_at":"2026-08-16T15:03:04.725+02:00","label":"deu 1080p","size":400,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/h264-hd/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_hd.mp4","url":"https://api.media.ccc.de/public/recordings/103790","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"},{"length":3632,"mime_type":"video/mp4","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_sd.mp4","state":"new","folder":"h264-sd","high_quality":false,"width":720,"height":576,"updated_at":"2026-08-16T15:08:14.811+02:00","label":"deu 576p","size":131,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/h264-sd/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_sd.mp4","url":"https://api.media.ccc.de/public/recordings/103792","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"},{"length":3632,"mime_type":"audio/opus","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_opus.opus","state":"new","folder":"opus","high_quality":false,"width":0,"height":0,"updated_at":"2026-08-16T15:08:18.814+02:00","label":"deu","size":35,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/opus/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_opus.opus","url":"https://api.media.ccc.de/public/recordings/103793","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"},{"length":3632,"mime_type":"audio/mpeg","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_mp3.mp3","state":"new","folder":"mp3","high_quality":false,"width":0,"height":0,"updated_at":"2026-08-16T15:08:37.760+02:00","label":"deu","size":55,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/mp3/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_mp3.mp3","url":"https://api.media.ccc.de/public/recordings/103797","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"},{"length":3632,"mime_type":"video/webm;codecs=av01","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_av1-hd.webm","state":"new","folder":"av1-hd","high_quality":true,"width":1920,"height":1080,"updated_at":"2026-08-16T15:24:25.869+02:00","label":"deu 1080p","size":327,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/av1-hd/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_av1-hd.webm","url":"https://api.media.ccc.de/public/recordings/103802","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"},{"length":3632,"mime_type":"video/webm","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_webm-sd.webm","state":"new","folder":"webm-sd","high_quality":false,"width":720,"height":576,"updated_at":"2026-08-16T15:30:00.027+02:00","label":"deu 576p","size":130,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/webm-sd/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_webm-sd.webm","url":"https://api.media.ccc.de/public/recordings/103806","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"},{"length":3632,"mime_type":"video/webm","language":"deu","filename":"froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_webm-hd.webm","state":"new","folder":"webm-hd","high_quality":true,"width":1920,"height":1080,"updated_at":"2026-08-16T16:16:16.052+02:00","label":"deu 1080p","size":370,"recording_url":"https://cdn.media.ccc.de/events/froscon/2026/webm-hd/froscon2026-3521-deu-Der_Open_Source_Stack_fuer_souveraene_LLMs_webm-hd.webm","url":"https://api.media.ccc.de/public/recordings/103827","event_url":"https://api.media.ccc.de/public/events/9cd441ad-0fa1-47bf-928a-c04ba0138d9c","conference_url":"https://api.media.ccc.de/public/conferences/froscon2026"}]}