Was sind Modellgewichte (Weights)?
Beim rechenintensiven Vortraining eines neuronalen Netzes verarbeitet das Modell Milliarden von Textdokumenten. Das dabei erlernte Wissen über Grammatik, Fakten, logische Zusammenhänge und Fachterminologie wird in Form von mathematischen Parametern abgespeichert – den sogenannten Gewichten (Weights). Ein Open-Weight-Modell stellt genau diese fertigen Gewichtsdateien zur Verfügung. Unternehmen können das Modell somit direkt herunterladen, ohne Millionenbeträge für das Basistraining investieren zu müssen.
Warum Open Weight im LLM-Kontext oft fälschlicherweise als 'Open Source' bezeichnet wird
In der breiten Öffentlichkeit und im Tech-Marketing werden Modelle wie Meta Llama, Mistral NeMo oder Qwen oft als 'Open Source' beworben. Aus Sicht von Open-Source-Gremien (wie der Open Source Initiative / OSI) greift dieser Begriff jedoch zu kurz. Bei klassischer Software bedeutet Open Source, dass der gesamte Quellcode und die Bauanleitung offenliegen. Bei LLMs bilden die Gewichte jedoch nur das fertige 'Kompilat' – die genauen Trainingsdatensätze, Filter-Pipelines und Trainingsskripte bleiben meist das Geschäftsgeheimnis der Entwickler.
Vorteile von Open-Weight-Modellen für den Mittelstand
- Vollständige Datensouveränität: Modelle können auf eigener Hardware oder in zertifizierten Rechenzentren in Deutschland bzw. der EU betrieben werden. Kein Datentransfer an US-Cloud-Giganten.
- Kein Vendor-Lock-in: Unternehmen machen sich nicht von Preisänderungen, Zensurfiltern oder Ausfällen externer API-Anbieter abhängig.
- Individuelles Fine-Tuning: Open-Weight-Modelle lassen sich gezielt auf interne Firmendaten, Branchenbegriffe und spezifische Unternehmensprozesse weitertrainieren.
- Kosteneffizienz bei hohem Volumen: Statt pro Token an eine API zu zahlen, skalieren die Kosten über dedizierte Server-Kapazitäten kalkulierbar und linear.
Bekannte Beispiele für Open-Weight-Modelle
- Meta Llama (Llama 3, 3.1, 3.3): Weltweit führende und vielseitige Open-Weight-Familie von Meta
- Mistral AI (Mistral 7B, Mistral NeMo, Mixtral 8x7B): Europäische Spitzenmodelle mit herausragender Effizienz und Mehrsprachigkeit
- Alibaba Qwen (Qwen 2.5): Extrem starke Modelle für mehrsprachige Dokumentenanalyse und Coding
- DeepSeek (DeepSeek-V2.5 / DeepSeek-R1): Innovativ optimierte Architekturen für komplexe logische Schlussfolgerungen
Lizenzmodelle: Open Source vs. Community Licenses
Viele moderne Open-Weight-Modelle stehen nicht unter klassischen Permissive-Lizenzen (wie MIT oder Apache 2.0), sondern unter speziellen Community-Lizenzen (z. B. der Llama 3 Community License). Für die allermeisten mittelständischen Unternehmen sind diese Lizenzen uneingeschränkt und kostenlos kommerziell nutzbar. Sie enthalten jedoch gezielte Schutzklauseln – etwa Vorgaben für Tech-Konzerne mit Hunderten Millionen monatlichen Nutzern oder Verbote, die Modellausgaben zum Trainieren konkurrierender Basismodelle zu verwenden.