Azure AI Foundry

Azure AI Foundry to platforma firmy Microsoft, która zapewnia dostęp do szerokiego katalogu modeli AI — od sprawdzonych modeli GPT-4o, przez ekonomiczne warianty, aż po nowsze modele, takie jak DeepSeek. Oferuje wysoki poziom niezawodności, wsparcie techniczne Microsoft oraz łatwą integrację z ekosystemem Azure.

Kiedy wybrać Azure AI Foundry

Korzystasz już z Azure:

• infrastruktura działa w środowisku Azure,
• chcesz centralnie zarządzać kosztami i subskrypcjami,
• potrzebujesz integracji z usługami takimi jak Azure AD, Key Vault czy Application Insights.

Masz wymagania klasy enterprise:

• oczekujesz wysokiej dostępności usług,
• potrzebujesz wsparcia technicznego Microsoft,
• zależy Ci na zgodności z wewnętrznymi politykami korporacyjnymi.

Potrzebujesz elastycznego wyboru modeli:

• chcesz korzystać z modeli OpenAI, takich jak GPT-4o i GPT-4o-mini,
• interesują Cię również modele open source, takie jak DeepSeek, Llama czy Mistral,
• chcesz mieć możliwość automatycznego doboru modelu przy użyciu Model Router.

Chcesz lepiej kontrolować koszty:

• zależy Ci na współdzielonych limitach TPM dla wielu wdrożeń,
• chcesz analizować wykorzystanie w Azure Cost Management,
• potrzebujesz możliwości definiowania budżetów i alertów.

Bezpieczeństwo i zgodność są dla Ciebie istotne:

• dane pozostają w wybranym regionie Azure,
• platforma wspiera zgodność z RODO i innymi regulacjami,
• możesz korzystać z private endpoints oraz integracji z siecią VNET.

Wymagania

• aktywna subskrypcja Azure,
• Azure AI Foundry workspace z wdrożonym modelem,
• klucz API oraz adres Endpoint URL.

Krok 1: Przygotowanie środowiska w Azure

Pobierz dane dostępu

1. Zaloguj się do Azure Portal.
2. Przejdź do swojego workspace Azure AI Foundry.
3. W menu wybierz sekcję Keys and Endpoint.
4. Skopiuj:
   • Key (API Key),
   • Endpoint OpenAI URL.

Wdróż model

1. W workspace przejdź do sekcji Deployments.
2. Kliknij Create new deployment.
3. Wybierz model, np. GPT-4o, GPT-4o-mini lub inny model obsługujący Responses.
4. Nadaj nazwę wdrożeniu, np. gpt-4o-mini.
5. Kliknij Create.

Obsługiwane modele

W Azure AI Foundry możesz korzystać z różnych typów modeli, między innymi:

• modeli GPT (gpt-4o, gpt-4o-mini, gpt-35-turbo),
• model routera, który automatycznie dobiera odpowiedni model,
• modeli takich jak DeepSeek oraz innych modeli obsługujących Responses API.

Krok 2: Konfiguracja AI Proxy

Przykład aiconfiguration.json

{
  "ProviderConnections": {
    "AzureFoundry": {
      "Description": "Azure AI Foundry Connection",
      "Type": "AzureAi",
      "ProviderConfiguration": {
        "ApiKey": "your-azure-api-key-here",
        "Endpoint": "https://your-workspace.openai.azure.com/"
      }
    }
  },
  "ProviderModels": [
    {
      "ConnectionName": "AzureFoundry",
      "Priority": 100,
      "Name": "Azure GPT-4o-mini",
      "Description": "",
      "TextModel": {
        "ModelName": "gpt-4o-mini"
      },
      "ImageModel": {
        "ModelName": "gpt-4o-mini"
      },
      "EmbeddingModel": {
        "ModelName": "text-embedding-3-small"
      }
    }
  ],
  "MethodTypesConfiguration": {
    "ConciergePrompt": [ "Azure GPT-4o-mini" ],
    "ConciergeExecuteTool": [ "Azure GPT-4o-mini" ]
  }
}

Ważne

W polu ModelName wpisz nazwę deployment utworzoną w Azure, a nie nazwę modelu. Przykładowo, jeśli deployment ma nazwę my-gpt4, użyj "ModelName": "my-gpt4".

Przykład docker-compose.yml

name: aiproxy_containers
services:
  ai-proxy:
    image: webconbps/aiproxy:1.0.0.235
    container_name: ai-proxy
    restart: unless-stopped
    ports:
      - "5298:8080"
      - "7033:8081"
    environment:
      - ASPNETCORE_ENVIRONMENT=Production
      - AppConfiguration__SelfHosted__Certificate__Path=/app/https/certificate.pem
      - Logging__LogLevel__Default=Information
      - Logging__LogLevel__Microsoft=Warning
    volumes:
      - ./certificates/certificate.pem:/app/https/certificate.pem:ro
      - ./aiconfiguration.json:/app/aiconfiguration.json:ro

Krok 3: Uruchomienie

# Upewnij się że masz przygotowane pliki
# - ./certificates/certificate.pem
# - ./aiconfiguration.json (z uzupełnionymi danymi)

# Uruchom kontener
docker-compose up -d

# Sprawdź logi
docker-compose logs -f ai-proxy

Rozwiązywanie problemów

Błąd: 401 Unauthorized

Możliwe przyczyny:

• klucz API jest nieprawidłowy,
• adres Endpoint URL jest niepoprawny.

Rozwiązanie:

# Sprawdź czy klucz i endpoint są poprawne w aiconfiguration.json
# Zweryfikuj w Azure Portal > Keys and Endpoint
# Zrestartuj kontener
docker-compose restart ai-proxy

Błąd: 404 Not Found / Model not found

Możliwe przyczyny:

• nazwa deployment w ModelName jest nieprawidłowa,
• wskazany deployment nie istnieje lub nie jest aktywny.

Rozwiązanie:

# Sprawdź nazwę deployment w Azure Portal > Deployments
# Upewnij się że deployment ma status "Succeeded"
# Zaktualizuj ModelName w aiconfiguration.json
# Zrestartuj kontener
docker-compose restart ai-proxy

Błąd: 429 Too Many Requests

Możliwa przyczyna:

• został przekroczony limit TPM (Tokens Per Minute) dla wybranego deploymentu.

Rozwiązanie:

• odczekaj chwilę przed ponowniem zapytania,
• rozważ zwiększenie limitów TPM w Azure dla swojego deploymentu.

Popularne modele w Azure AI Foundry

Podczas tworzenia deploymentu możesz wybrać między innymi następujące modele:

• gpt-4o - najnowszy model z rodziny GPT-4 Optimized,
• gpt-4o-mini - szybszy i bardziej ekonomiczny wariant modelu gpt-4o,
• gpt-4-turbo - model GPT-4 z większym oknem kontekstu,
• gpt-35-turbo - model z rodziny GPT-3.5 (w Azure nazywany 35 zamiast 3.5),
• text-embedding-3-small - model przeznaczony do generowania embeddingów,
• model-router - mechanizm automatycznego wyboru najlepszego modelu,
• deepseek oraz inne modele obsługujące Responses API.

informacja

Aby model działał poprawnie z AI Proxy, musi obsługiwać Responses API.