Die wichtigsten Höhepunkte der AWS re:Invent 2024: Dr. Swami Sivasubramanian's Vision für Gen AI

Die Keynote von Dr. Swami Sivasubramanian war eine der am meisten erwarteten Sitzungen auf der AWS re:Invent 2024 und zog Tausende von ML- und generativen KI-Fans an. In seiner Ansprache stellte Sivasubramanian eine Reihe neuer Funktionen und Updates vor, die die Entwicklung der generativen KI beschleunigen sollen. Im Mittelpunkt dieser Bemühungen steht Amazon SageMaker, das den Lebenszyklus des maschinellen Lernens (ML) durch die Integration von Datenvorbereitung, Modelltraining, Bereitstellung und Beobachtbarkeit in einer einheitlichen Plattform vereinfacht. Im vergangenen Jahr hat SageMaker über 140 neue Funktionen zur Verbesserung von ML-Workflows eingeführt. Sivasubramanian hob die bahnbrechenden Updates für HyperPod und die Möglichkeit hervor, KI-Anwendungen von Partnern nahtlos in SageMaker einzusetzen.

HyperPod-Pläne vereinfachen LLM-Ausbildung

Unternehmen, die ihre eigenen LLMs aufbauen, benötigen massive Infrastrukturkapazitäten. Die Beschaffung dieser Infrastruktur und die Reservierung von Hardware in dieser Größenordnung nimmt viel Zeit in Anspruch. Aus diesem Grund lieben wir HyperPod Trainingspläne - sie sind ein entscheidender Faktor für die Optimierung des Modelltrainings.

Diese Pläne ermöglichen es den Teams, schnell einen Ausbildungsplan zu erstellen, der automatisch die erforderlichen Kapazitäten reserviert. HyperPod richtet einen Cluster ein, initiiert Modelltrainingsaufträge und kann Data-Science-Teams Wochen im Trainingsprozess sparen. Auf der Grundlage von EC2-Kapazitätsblöcken erstellt HyperPod optimale Schulungspläne, die auf spezifische Zeitpläne und Budgets zugeschnitten sind.

HyperPod bietet auch individuelle Zeitscheiben und verfügbare AZs, um die Modellbereitschaft durch effizientes Checkpointing und Resuming zu beschleunigen. Es behandelt automatisch Unterbrechungen der Instanz, so dass das Training nahtlos ohne manuelle Eingriffe fortgesetzt werden kann.

HyperPod Task Governance verbessert die Ressourceneffizienz HyperPod Task Governance unterstützt Unternehmen bei der Maximierung der Nutzung von Rechenressourcen - wie z. B. Beschleunigern - durch die Automatisierung der Priorisierung und Verwaltung von Modelltraining, Feinabstimmung und Inferenzaufgaben. Mit Task Governance können Unternehmen Ressourcenlimits pro Team oder Projekt festlegen und gleichzeitig die Auslastung überwachen, um die Effizienz sicherzustellen. Laut AWS kann diese Fähigkeit dazu beitragen, die Infrastrukturkosten um bis zu 40 % zu senken.

AI-Apps von Partnern erweitern die Möglichkeiten von SageMaker

Eine der herausragenden Neuerungen, die während der Keynote vorgestellt wurden, war die Möglichkeit, KI-Anwendungen von Partnern direkt in Amazon SageMaker einzusetzen. Diese neue Funktion rationalisiert den Lebenszyklus der Modellbereitstellung und bietet eine vollständig verwaltete Erfahrung, ohne dass eine Infrastruktur bereitgestellt oder betrieben werden muss. Es nutzt auch die robusten Sicherheits- und Datenschutzfunktionen von SageMaker. Zu den verfügbaren Anwendungen gehören Comet, Deepchecks, Fiddler und Lakera, die jeweils einen einzigartigen Mehrwert zur Beschleunigung von Workflows für maschinelles Lernen bieten.

Amazon Nova LLMs bringen Vielseitigkeit zu Bedrock

Während seiner Keynote stellte Sivasubramanian Amazon Novavor, eine bahnbrechende Familie von großen Sprachmodellen (LLMs), die die Fähigkeiten von Amazon Bedrock erweitern sollen. Jedes Modell ist auf bestimmte generative KI-Anwendungsfälle zugeschnitten, zu den Highlights gehören:

• Amazon Nova Micro: Ein reines Textmodell, das für Antworten mit extrem niedrigen Latenzzeiten bei minimalen Kosten optimiert ist
• Amazon Nova Lite: Ein multimodales Modell, das die Verarbeitung von Bild-, Video- und Texteingaben mit geringer Latenz zu sehr niedrigen Kosten ermöglicht
• Amazon Nova Pro: Ein vielseitiges multimodales Modell mit einem ausgewogenen Verhältnis zwischen Genauigkeit, Geschwindigkeit und Kosten für verschiedene Aufgaben
• Amazon Nova Premier: Das fortschrittlichste Modell, das für komplexe Schlussfolgerungen entwickelt wurde und als bester Lehrer für die Entwicklung benutzerdefinierter Modelle dient (verfügbar ab Q1 2025)
• Amazon Nova Canvas: Ein hochmodernes Modell, spezialisiert auf Bilderzeugung
• Amazon Nova Reel: Ein modernes Modell für die Videoerstellung

Diese Nova-Modelle spiegeln das Engagement von AWS wider, die unterschiedlichen Anforderungen von Entwicklern und Unternehmen zu erfüllen und Tools bereitzustellen, die Kosteneffizienz mit fortschrittlichen Funktionen kombinieren, um Innovationen in allen Branchen zu fördern.

Poolside Assistant erweitert die Arbeitsabläufe bei der Softwareentwicklung

Eine weitere herausragende Ankündigung der Keynote war die Zusammenarbeit von AWS mit Poolside Assistant, einem Startup, das sich auf Softwareentwicklungs-Workflows spezialisiert hat. Angetrieben von Malibu- und Point-Modellen eignet es sich hervorragend für Aufgaben wie Codegenerierung, Tests und Dokumentation. AWS ist der erste Cloud-Anbieter, der Zugang zu diesem Assistenten anbietet, der in Kürze auf den Markt kommen soll.

Stability.ai Stable Diffusion 3.5 verbessert die Text-zu-Bild-Generierung

Das Stable Diffusion 3.5 Modell von Stability.ai, das auf Amazon SageMaker HyperPod trainiert wurde, wird bald auf Amazon Bedrock verfügbar sein. Dieses fortschrittliche Text-zu-Bild-Modell, das leistungsfähigste der Stable Diffusion-Familie, eröffnet neue Möglichkeiten für kreative und technische Anwendungen.

Luma AI führt mit RAY2 die Erzeugung hochwertiger Videos ein

Das RAY2-Modell von Luma AI, das in Kürze in Amazon Bedrock verfügbar sein wird, ermöglicht die Erstellung von Videos in hoher Qualität mit Unterstützung für Text-zu-Video-, Bild-zu-Video- und Video-zu-Video-Funktionen.

Amazon Bedrock Marketplace vereinfacht die Modellsuche

Der Amazon Bedrock Marketplace bietet einen einzigen Katalog mit über 100 Basismodellen, mit denen Entwickler Modelle auf verwalteten Endpunkten entdecken, testen und bereitstellen können. Integrierte Tools wie Agents und Guardrails erleichtern die Entwicklung und Verwaltung von KI-Anwendungen.

Amazon Bedrock Model Destillation erhöht die Effizienz


Model Distillation in Amazon Bedrock vereinfacht den Wissenstransfer von großen, genauen Modellen zu kleineren, effizienteren Modellen. Diese destillierten Modelle sind bis zu 500 % schneller und 75 % kostengünstiger als ihre ursprünglichen Gegenstücke, mit weniger als 2 % Genauigkeitsverlust bei Aufgaben wie Retrieval-Augmented Generation (RAG). Mit dieser Funktion können Unternehmen kosteneffiziente Modelle einsetzen, ohne dabei auf anwendungsspezifische Genauigkeit verzichten zu müssen.

Amazon Bedrock Latenzoptimierte Schlussfolgerung beschleunigt die Reaktionsfähigkeit


Die latenzoptimierte Inferenz verbessert die Reaktionszeiten für KI-Anwendungen erheblich, ohne die Genauigkeit zu beeinträchtigen. Diese Verbesserung erfordert keine zusätzliche Einrichtung oder Feinabstimmung und ermöglicht es Unternehmen, die Reaktionsfähigkeit ihrer Anwendungen sofort zu verbessern.

Amazon Bedrock Intelligent Prompt Routing optimiert die KI-Leistung


Intelligent Prompt Routing wählt für jede Anfrage das beste Basismodell aus der gleichen Familie aus, wobei Qualität und Kosten ausgeglichen werden. Diese Fähigkeit ist ideal für Anwendungen wie den Kundendienst, wo einfache Anfragen an schnellere, kostengünstige Modelle und komplexe Anfragen an leistungsfähigere Modelle weitergeleitet werden. Durch eine maßgeschneiderte Modellauswahl können Unternehmen ihre Kosten um bis zu 30 % senken, ohne die Genauigkeit zu beeinträchtigen.

Amazon Bedrock führt Prompt-Caching ein

Eine herausragende Funktion, die während der Keynote angekündigt wurde, war das Prompt-Caching in Amazon Bedrock, das es ermöglicht, häufig verwendeten Kontext über mehrere Modellaufrufe hinweg bis zu fünf Minuten lang zu speichern. Dies ist besonders nützlich für Dokumenten-Q&A-Systeme oder Kodierassistenten, die eine konsistente Kontextspeicherung benötigen. Promptes Caching kann bei unterstützten Modellen die Kosten um bis zu 90 % und die Latenzzeit um bis zu 85 % senken.

Amazon Kendra Generativer KI-Index verbessert die Datenabfrage


Der neue Amazon Kendra Generative AI Index bietet einen verwalteten Retriever für Retrieval-Augmented Generation (RAG) und Bedrock, mit Konnektoren zu 43 Unternehmensdatenquellen. Diese Funktion lässt sich in Bedrock-Wissensdatenbanken integrieren und ermöglicht es Anwendern, generative KI-gestützte Hilfe mit Agenten, Prompt Flows und Leitplanken zu erstellen. Es ist auch mit Amazon Q Geschäftsanwendungen kompatibel.

Strukturierte Datenabfrage in Bedrock Wissensdatenbanken


Eine der am häufigsten nachgefragten Funktionen, die Suche nach strukturierten Daten, ist jetzt in Bedrock Knowledge Bases verfügbar. Benutzer können Daten in Amazon Redshift, SageMaker Lakehouse und S3-Tabellen mit Iceberg-Unterstützung über natürliche Sprache abfragen. Das System wandelt diese Abfragen in SQL um und ruft die Daten direkt und ohne Vorverarbeitung ab.

GraphRAG verknüpft Beziehungen in Wissensdatenbanken


Bedrock Knowledge Bases unterstützen jetzt GraphRAG und kombinieren RAG-Techniken mit Knowledge Graphs, um generative KI-Anwendungen zu verbessern. Dieser Zusatz verbessert die Genauigkeit und liefert umfassendere Antworten, indem Beziehungen zwischen den Datenquellen verknüpft werden.

Amazon Bedrock Data Automation rationalisiert Arbeitsabläufe


Amazon Bedrock Data Automation ermöglicht die schnelle Erstellung von Workflows für intelligente Dokumentenverarbeitung (IDP), Medienanalyse und RAG. Diese Funktion kann multimodale Daten extrahieren und analysieren und bietet Einblicke wie Videozusammenfassungen, Erkennung unangemessener Bildinhalte und automatische Dokumentenanalyse.

Multimodale Datenverarbeitung in Bedrock Knowledge Bases


Um Anwendungen zu unterstützen, die sowohl Text- als auch visuelle Daten verarbeiten, verarbeiten Bedrock Knowledge Bases jetzt multimodale Daten. Benutzer können das System so konfigurieren, dass es Dokumente mit Hilfe von Bedrock Data Automation oder einem Basismodell parst. Dies verbessert die Genauigkeit und Relevanz der Antworten durch die Einbeziehung von Informationen aus Text und Bildern.

Ausweitung der Leitplanken auf multimodale Toxizitätserkennung


Eine weitere interessante Neuerung ist die multimodale Toxizitätserkennung in Bedrock Guardrails. Diese Funktion erweitert die Schutzmaßnahmen auf Bilddaten und sollte Unternehmen dabei helfen, sicherere generative KI-Anwendungen zu entwickeln. Sie verhindert die Interaktion mit schädlichen Inhalten, einschließlich Hass, Gewalt und Fehlverhalten, und ist für alle Bedrock-Modelle verfügbar, die Bilddaten unterstützen.

Nutzung dieser Innovationen in der Zukunft Die Keynote von Dr. Swami Sivasubramanian präsentierte zahlreiche bahnbrechende Ankündigungen, die die Landschaft der generativen KI und des maschinellen Lernens zu verändern versprechen. Wir haben einige der aufregendsten Neuerungen hervorgehoben, aber es gibt noch viel mehr zu entdecken. Diese Innovationen bieten ein unglaubliches Potenzial, um Unternehmen dabei zu helfen, wirkungsvolle Ergebnisse zu erzielen, neue Umsatzmöglichkeiten zu schaffen und Kosteneinsparungen in großem Umfang zu erzielen.

Wir bei Rackspace Technology freuen uns darauf, Unternehmen dabei zu helfen, diese Fortschritte zu nutzen, um ihre Strategien für Daten, KI, ML und generative KI zu optimieren. Besuchen Sie unser Amazon Marketplace-Profil und erfahren Sie mehr darüber, wie wir Ihnen helfen können, die Zukunft des Cloud Computing und der KI zu erschließen.

Weitere Einblicke erhalten Sie in diesem Webinar, Building the Foundation for Generative AI with Governance and LLMOps, in dem Governance-Strategien und operative Exzellenz für generative KI näher beleuchtet werden.