AI Blueprints

Vereinfachen Sie die Bereitstellung großer Sprachmodelle (LLMs) und Vision Language Models (VLMs) mit einer Open-Source-Schnittstellen-Engine namens Virtual Large Language Model (vLLM). Stellen Sie ein benutzerdefiniertes Modell bereit oder wählen Sie aus einer Vielzahl offener Modelle auf Hugging Face.

Optimieren Sie das Infrastruktur-Benchmarking für das Finetuning mithilfe der MLCommons-Methodik. Dabei wird ein quantisiertes Llama-2-70B-Modell mit einem standardisierten Datensatz optimiert.

OCI AI Blueprints ermöglichen ein effizientes Modell-Finetuning mit Low-Rank Adaptation (LoRA) – einer besonders ressourcenschonenden Methode zur Feinabstimmung großer Sprachmodelle (LLMs). Optimieren Sie ein eigenes LLM oder verwenden Sie eines der zahlreichen offenen Modelle von Hugging Face.

Vor der Bereitstellung produktiver oder forschungsbezogener Workloads können Sie einen leistungsstarken Precheck-Blueprint nutzen, um den GPU-Zustand umfassend zu validieren und potenzielle Probleme frühzeitig zu erkennen und zu beheben. So stellen Sie sicher, dass Ihre GPU-Infrastruktur optimal für anspruchsvolle Experimente in Einzel- und Mehrknotenumgebungen vorbereitet ist.

Nutzen Sie ein umfassendes Framework zur Bereitstellung von LLMs auf CPUs – basierend auf der Ollama-Plattform mit Unterstützung für verschiedene Modelle wie Mistral, Gemma usw.

Mit diesem Blueprint können Sie Inference-Serving über mehrere Rechenknoten hinweg verteilen, die jeweils in der Regel mit einer oder mehreren GPUs ausgestattet sind. So lassen sich beispielsweise Llama-Modelle in der Größe von 405B auf mehreren H100-Knoten mit RDMA bereitstellen – unter Einsatz von vLLM und LeaderWorkerSet.

Stellen Sie LLMs mit automatischem Scaling über KEDA bereit – flexibel skalierbar über mehrere GPUs und Knoten hinweg auf Basis von Anwendungsmetriken wie der Inferenzlatenz.

Stellen Sie LLMs auf einem Teil einer GPU mit NVIDIA Multi-Instance GPUs (MIG) bereit und bedienen Sie sie effizient über vLLM.