ONNX (Open Neural Network Exchange) ist ein offener Standard, der entwickelt wurde, um Modelle des maschinellen Lernens zu vereinheitlichen und auszutauschen. Er wurde 2017 von Microsoft, Meta (fr\u00fcher Facebook) und AWS gestartet und l\u00f6st ein zentrales Problem in der Welt der KI: die fehlende Kompatibilit\u00e4t zwischen verschiedenen Frameworks (wie PyTorch und TensorFlow), Werkzeugen und Hardwareplattformen.<\/p>\n\n\n\n
Einfach ausgedr\u00fcckt ist ONNX ein universeller \u201e\u00dcbersetzer\u201c f\u00fcr neuronale Netze, der es Entwicklern erm\u00f6glicht, Modelle frei von einer Umgebung in eine andere zu verschieben.<\/p>\n\n\n\n
Analogie:<\/strong> Wenn ein neuronales Netz ein komplexes Dokument ist, ist ONNX das PDF-Format. Sie k\u00f6nnen ein Dokument in jedem Editor erstellen (PyTorch, TensorFlow), aber einmal als PDF gespeichert, \u00f6ffnet es sich schnell und konsistent auf jedem Ger\u00e4t mithilfe eines universellen Readers (ONNX Runtime).<\/p>\n\n\n\n ONNX stellt jedes Modell als Rechen-Graph<\/strong> dar. Dieser Graph besteht aus Knoten (mathematische Operationen oder Operatoren) und Kanten (Datenfl\u00fcsse in Form von Tensoren). Der Standard definiert einen einheitlichen Satz von Operatoren und Datenformaten, die alle kompatiblen Werkzeuge verstehen.<\/p>\n\n\n\n Der Arbeitsablauf umfasst typischerweise zwei Hauptschritte:<\/p>\n\n\n\n Framework-Kompatibilit\u00e4t:<\/strong> Hardware-Optimierung:<\/strong> Flexibilit\u00e4t und Langlebigkeit:<\/strong> ONNX Runtime<\/strong> ist ein zentraler Bestandteil des \u00d6kosystems. Es handelt sich um eine leistungsstarke Laufzeitumgebung f\u00fcr die Ausf\u00fchrung von Modell aus PyTorch exportieren:<\/strong><\/p>\n\n\n\n Modell mit ONNX Runtime ausf\u00fchren:<\/strong><\/p>\n\n\n\n F\u00fcr komplexe Modelle wie Transformer von Hugging Face wird der Export durch die Bibliothek Optimum<\/strong> vereinfacht, die als \u201eoffizielle Br\u00fccke\u201c automatisch alle Details der Konvertierung \u00fcbernimmt.<\/p>\n\n\n\n Erforderliche Pakete installieren:<\/strong><\/p>\n\n\n\n Hugging Face-Modell exportieren und ausf\u00fchren:<\/strong><\/p>\n\n\n\n ONNX Runtime f\u00fchrt Modelle nicht nur aus, sondern beschleunigt sie. Eine Hauptmethode ist die Quantisierung<\/strong>.<\/p>\n\n\n\n Einfach erkl\u00e4rt:<\/strong> Ein Prozess, der die Mathematik innerhalb des Modells \u201evereinfacht\u201c. Anstelle von Hochpr\u00e4zisions-Berechnungen (FP32 z.\u202fB. 3.14159) verwendet das Modell schnellere und leichtere 8-Bit-Ganzzahlen (INT8, von -128 bis 127).<\/p>\n\n\n\n Vorteile der Quantisierung:<\/strong><\/p>\n\n\n\n ONNX ist zum Industriestandard geworden und wird breit angewendet:<\/p>\n\n\n\n Trotz aller Vorteile gibt es Einschr\u00e4nkungen. Die Konvertierung sehr komplexer oder neuer Architekturen kann problematisch sein, wenn ein spezieller Operator noch kein ONNX-\u00c4quivalent hat. Die Community arbeitet aktiv an der Erweiterung der Unterst\u00fctzung.<\/p>\n\n\n\n Was ist ONNX (Open Neural Network Exchange)?<\/strong><\/p>\n\n\n\n ONNX (Open Neural Network Exchange) ist ein offener Standard, der entwickelt wurde, um Modelle des maschinellen Lernens zu vereinheitlichen und auszutauschen. Er wurde 2017 von Microsoft, Meta (fr\u00fcher Facebook) und AWS gestartet und l\u00f6st ein zentrales Problem in der Welt der KI: die fehlende Kompatibilit\u00e4t zwischen verschiedenen Frameworks (wie PyTorch und TensorFlow), Werkzeugen und Hardwareplattformen.<\/p>\n\n\n\n Einfach ausgedr\u00fcckt ist ONNX ein universeller \u201e\u00dcbersetzer\u201c f\u00fcr neuronale Netze, der es Entwicklern erm\u00f6glicht, Modelle frei von einer Umgebung in eine andere zu verschieben.<\/p>\n\n\n\n Analogie:<\/strong> Wenn ein neuronales Netz ein komplexes Dokument ist, ist ONNX das PDF-Format. Sie k\u00f6nnen ein Dokument in jedem Editor erstellen (PyTorch, TensorFlow), aber einmal als PDF gespeichert, \u00f6ffnet es sich schnell und konsistent auf jedem Ger\u00e4t mithilfe eines universellen Readers (ONNX Runtime).<\/p>\n\n\n\n ONNX stellt jedes Modell als Rechen-Graph<\/strong> dar. Dieser Graph besteht aus Knoten (mathematische Operationen oder Operatoren) und Kanten (Datenfl\u00fcsse in Form von Tensoren). Der Standard definiert einen einheitlichen Satz von Operatoren und Datenformaten, die alle kompatiblen Werkzeuge verstehen.<\/p>\n\n\n\n Der Arbeitsablauf umfasst typischerweise zwei Hauptschritte:<\/p>\n\n\n\n Framework-Kompatibilit\u00e4t:<\/strong> Hardware-Optimierung:<\/strong> Flexibilit\u00e4t und Langlebigkeit:<\/strong> ONNX Runtime<\/strong> ist ein zentraler Bestandteil des \u00d6kosystems. Es handelt sich um eine leistungsstarke Laufzeitumgebung f\u00fcr die Ausf\u00fchrung von Modell aus PyTorch exportieren:<\/strong><\/p>\n\n\n\n Modell mit ONNX Runtime ausf\u00fchren:<\/strong><\/p>\n\n\n\n F\u00fcr komplexe Modelle wie Transformer von Hugging Face wird der Export durch die Bibliothek Optimum<\/strong> vereinfacht, die als \u201eoffizielle Br\u00fccke\u201c automatisch alle Details der Konvertierung \u00fcbernimmt.<\/p>\n\n\n\n Erforderliche Pakete installieren:<\/strong><\/p>\n\n\n\n Hugging Face-Modell exportieren und ausf\u00fchren:<\/strong><\/p>\n\n\n\n ONNX Runtime f\u00fchrt Modelle nicht nur aus, sondern beschleunigt sie. Eine Hauptmethode ist die Quantisierung<\/strong>.<\/p>\n\n\n\n Einfach erkl\u00e4rt:<\/strong> Ein Prozess, der die Mathematik innerhalb des Modells \u201evereinfacht\u201c. Anstelle von Hochpr\u00e4zisions-Berechnungen (FP32 z.\u202fB. 3.14159) verwendet das Modell schnellere und leichtere 8-Bit-Ganzzahlen (INT8, von -128 bis 127).<\/p>\n\n\n\n Vorteile der Quantisierung:<\/strong><\/p>\n\n\n\n ONNX ist zum Industriestandard geworden und wird breit angewendet:<\/p>\n\n\n\n Trotz aller Vorteile gibt es Einschr\u00e4nkungen. Die Konvertierung sehr komplexer oder neuer Architekturen kann problematisch sein, wenn ein spezieller Operator noch kein ONNX-\u00c4quivalent hat. Die Community arbeitet aktiv an der Erweiterung der Unterst\u00fctzung.<\/p>\n\n\n\n ONNX (Open Neural Network Exchange) ist ein offener Standard, der entwickelt wurde, um Modelle des maschinellen Lernens zu vereinheitlichen und auszutauschen. Er wurde 2017 von Microsoft, Meta (fr\u00fcher Facebook) und AWS gestartet und l\u00f6st ein zentrales Problem in der Welt der KI: die fehlende Kompatibilit\u00e4t zwischen verschiedenen Frameworks (wie PyTorch und TensorFlow), Werkzeugen und Hardwareplattformen.… <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"neve_meta_sidebar":"","neve_meta_container":"","neve_meta_enable_content_width":"","neve_meta_content_width":0,"neve_meta_title_alignment":"","neve_meta_author_avatar":"","neve_post_elements_order":"","neve_meta_disable_header":"","neve_meta_disable_footer":"","neve_meta_disable_title":"","_themeisle_gutenberg_block_has_review":false,"footnotes":""},"categories":[],"tags":[],"class_list":["post-2111","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/posts\/2111","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/comments?post=2111"}],"version-history":[{"count":0,"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/posts\/2111\/revisions"}],"wp:attachment":[{"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/media?parent=2111"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/categories?post=2111"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/de.davidka.net\/de\/wp-json\/wp\/v2\/tags?post=2111"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\n\n\n\nWie funktioniert ONNX?<\/h3>\n\n\n\n
\n
.onnx<\/code>-Datei konvertiert.<\/li>\n\n\n\n.onnx<\/code>-Datei wird mit einer speziellen, leistungsstarken Laufzeitumgebung ausgef\u00fchrt \u2014 ONNX Runtime<\/strong>.<\/li>\n<\/ol>\n\n\n\n
\n\n\n\nHauptvorteile von ONNX<\/h3>\n\n\n\n
Der gr\u00f6\u00dfte Vorteil ist die M\u00f6glichkeit, Modelle frei zu verschieben. Ein Modell kann z.\u202fB. in PyTorch, ideal f\u00fcr Forschung, trainiert und anschlie\u00dfend mit ONNX Runtime bereitgestellt werden, das f\u00fcr schnelle Produktionsl\u00e4ufe optimiert ist.<\/p>\n\n\n\n
Hardwarehersteller (NVIDIA, Intel, ARM) bieten optimierte Bibliotheken zur Ausf\u00fchrung von ONNX-Modellen. Dadurch kann maximale Leistung auf unterschiedlicher Hardware erzielt werden, ohne das Modell f\u00fcr jede Plattform anpassen zu m\u00fcssen.<\/p>\n\n\n\n
Der Standard bindet Entwickler nicht an einen bestimmten Technologie-Stack. Wenn ein neues, effizienteres Framework erscheint, k\u00f6nnen bestehende Modelle problemlos \u00fcbertragen werden.<\/p>\n\n\n\n
\n\n\n\nONNX Runtime: Die Ausf\u00fchrungs-Engine<\/h3>\n\n\n\n
.onnx<\/code>-Modellen. Entwickelt von Microsoft, Open Source, optimiert f\u00fcr maximale Geschwindigkeit der ONNX-Graph-Berechnungen auf jedem Ger\u00e4t \u2014 vom leistungsstarken Server bis zum Mobiltelefon. Runtime unterst\u00fctzt viele Sprachen (Python, C++, C#, Java) und Plattformen (Windows, Linux, Android, iOS).<\/p>\n\n\n\n
\n\n\n\nPraktisches Beispiel: Von PyTorch zu ONNX Runtime<\/h3>\n\n\n\n
import torch\n\n# Ihr trainiertes Modell\nmodel = YourSuperModel() \n# Beispiel-Eingabedaten zur Definition der Graph-Struktur\ndummy_input = torch.randn(1, 3, 224, 224) \n\ntorch.onnx.export(model, dummy_input, "model.onnx")\n<\/code><\/pre>\n\n\n\nimport onnxruntime as ort\nimport numpy as np\n\n# Inferenz-Session erstellen\nsession = ort.InferenceSession("model.onnx")\n\n# Eingabedaten vorbereiten\ninput_data = np.random.randn(1, 3, 224, 224).astype(np.float32)\ninput_name = session.get_inputs()[0].name\n\n# Vorhersage erhalten\nresult = session.run(None, {input_name: input_data})\nprint(result)\n<\/code><\/pre>\n\n\n\n
\n\n\n\nONNX und Hugging Face: Der Goldstandard f\u00fcr NLP<\/h3>\n\n\n\n
pip install transformers onnx onnxruntime optimum[onnxruntime]\n<\/code><\/pre>\n\n\n\nfrom optimum.onnxruntime import ORTModelForSequenceClassification\nfrom transformers import AutoTokenizer, pipeline\n\nmodel_id = "distilbert-base-uncased-finetuned-sst-2-english"\n\n# Schritt 1: Modell in ONNX exportieren (einmalig)\nmodel = ORTModelForSequenceClassification.from_pretrained(model_id, from_transformers=True)\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel.save_pretrained(".\/onnx-model\/")\ntokenizer.save_pretrained(".\/onnx-model\/")\n\n# Schritt 2: Optimiertes ONNX-Modell ausf\u00fchren\nclassifier = pipeline("text-classification", model=".\/onnx-model\/")\nresult = classifier("ONNX und Hugging Face sind eine leistungsstarke Kombination!")\nprint(result) # Ausgabe: [{'label': 'POSITIVE', 'score': 0.9998...}]\n<\/code><\/pre>\n\n\n\n
\n\n\n\nLeistungsschl\u00fcssel: Optimierung und Quantisierung<\/h3>\n\n\n\n
\n
\n\n\n\nWo wird ONNX eingesetzt?<\/h3>\n\n\n\n
\n
\n\n\n\nEinschr\u00e4nkungen<\/h3>\n\n\n\n
\n\n\n\nN\u00fctzliche Links<\/h3>\n\n\n\n
\n
\n\n\n\nWie funktioniert ONNX?<\/h3>\n\n\n\n
\n
.onnx<\/code>-Datei konvertiert.<\/li>\n\n\n\n.onnx<\/code>-Datei wird mit einer speziellen, leistungsstarken Laufzeitumgebung ausgef\u00fchrt \u2014 ONNX Runtime<\/strong>.<\/li>\n<\/ol>\n\n\n\n
\n\n\n\nHauptvorteile von ONNX<\/h3>\n\n\n\n
Der gr\u00f6\u00dfte Vorteil ist die M\u00f6glichkeit, Modelle frei zu verschieben. Ein Modell kann z.\u202fB. in PyTorch, ideal f\u00fcr Forschung, trainiert und anschlie\u00dfend mit ONNX Runtime bereitgestellt werden, das f\u00fcr schnelle Produktionsl\u00e4ufe optimiert ist.<\/p>\n\n\n\n
Hardwarehersteller (NVIDIA, Intel, ARM) bieten optimierte Bibliotheken zur Ausf\u00fchrung von ONNX-Modellen. Dadurch kann maximale Leistung auf unterschiedlicher Hardware erzielt werden, ohne das Modell f\u00fcr jede Plattform anpassen zu m\u00fcssen.<\/p>\n\n\n\n
Der Standard bindet Entwickler nicht an einen bestimmten Technologie-Stack. Wenn ein neues, effizienteres Framework erscheint, k\u00f6nnen bestehende Modelle problemlos \u00fcbertragen werden.<\/p>\n\n\n\n
\n\n\n\nONNX Runtime: Die Ausf\u00fchrungs-Engine<\/h3>\n\n\n\n
.onnx<\/code>-Modellen. Entwickelt von Microsoft, Open Source, optimiert f\u00fcr maximale Geschwindigkeit der ONNX-Graph-Berechnungen auf jedem Ger\u00e4t \u2014 vom leistungsstarken Server bis zum Mobiltelefon. Runtime unterst\u00fctzt viele Sprachen (Python, C++, C#, Java) und Plattformen (Windows, Linux, Android, iOS).<\/p>\n\n\n\n
\n\n\n\nPraktisches Beispiel: Von PyTorch zu ONNX Runtime<\/h3>\n\n\n\n
import torch\n\n# Ihr trainiertes Modell\nmodel = YourSuperModel() \n# Beispiel-Eingabedaten zur Definition der Graph-Struktur\ndummy_input = torch.randn(1, 3, 224, 224) \n\ntorch.onnx.export(model, dummy_input, "model.onnx")\n<\/code><\/pre>\n\n\n\nimport onnxruntime as ort\nimport numpy as np\n\n# Inferenz-Session erstellen\nsession = ort.InferenceSession("model.onnx")\n\n# Eingabedaten vorbereiten\ninput_data = np.random.randn(1, 3, 224, 224).astype(np.float32)\ninput_name = session.get_inputs()[0].name\n\n# Vorhersage erhalten\nresult = session.run(None, {input_name: input_data})\nprint(result)\n<\/code><\/pre>\n\n\n\n
\n\n\n\nONNX und Hugging Face: Der Goldstandard f\u00fcr NLP<\/h3>\n\n\n\n
pip install transformers onnx onnxruntime optimum[onnxruntime]\n<\/code><\/pre>\n\n\n\nfrom optimum.onnxruntime import ORTModelForSequenceClassification\nfrom transformers import AutoTokenizer, pipeline\n\nmodel_id = "distilbert-base-uncased-finetuned-sst-2-english"\n\n# Schritt 1: Modell in ONNX exportieren (einmalig)\nmodel = ORTModelForSequenceClassification.from_pretrained(model_id, from_transformers=True)\ntokenizer = AutoTokenizer.from_pretrained(model_id)\nmodel.save_pretrained(".\/onnx-model\/")\ntokenizer.save_pretrained(".\/onnx-model\/")\n\n# Schritt 2: Optimiertes ONNX-Modell ausf\u00fchren\nclassifier = pipeline("text-classification", model=".\/onnx-model\/")\nresult = classifier("ONNX und Hugging Face sind eine leistungsstarke Kombination!")\nprint(result) # Ausgabe: [{'label': 'POSITIVE', 'score': 0.9998...}]\n<\/code><\/pre>\n\n\n\n
\n\n\n\nLeistungsschl\u00fcssel: Optimierung und Quantisierung<\/h3>\n\n\n\n
\n
\n\n\n\nWo wird ONNX eingesetzt?<\/h3>\n\n\n\n
\n
\n\n\n\nEinschr\u00e4nkungen<\/h3>\n\n\n\n
\n\n\n\nN\u00fctzliche Links<\/h3>\n\n\n\n
\n