खोजें
infrastructureblogia

अद्यतन: LibreChat v0.7.6 संस्करण के साथ AWS EC2 पर स्वचालित तैनाती

jls /
AWS Terraform LibreChat GenAI Mistral AI OpenAI
अद्यतन: LibreChat v0.7.6 संस्करण के साथ AWS EC2 पर स्वचालित तैनाती

मैं यह बताते हुए खुश हूँ कि मेरा LibreChat को AWS EC2 पर स्वचालित रूप से तैनात करने वाला प्रोजेक्ट अपडेट किया गया है ताकि LibreChat की स्थापना के हाल के परिवर्तन से संबंधित समस्याओं को ठीक किया जा सके, और अब यह v0.7.6 संस्करण का समर्थन करता है। इस अपडेट में On-Demand और Spot इंस्टेंस के बीच चयन करने की क्षमता भी शामिल है, साथ ही उपयोग में आसानी के लिए कुछ सुधार किए गए हैं ताकि शुरुआती उपयोगकर्ता भी आसानी से इसका उपयोग कर सकें।

इस अपडेट में क्या नया है?

LibreChat के v0.7.6 संस्करण का समर्थन

प्रोजेक्ट सीधे LibreChat के टैग v0.7.6 को क्लोन करता है, यह सुनिश्चित करते हुए कि सभी तैनाती एक मान्य और परीक्षण किए गए संस्करण का उपयोग करें। इससे मुख्य रेपो में अनपेक्षित परिवर्तनों से होने वाली आश्चर्यजनक समस्याएँ टल जाती हैं।

User-Data स्क्रिप्ट में अपडेट किया गया कोड:

टर्मिनल विंडो
# Clone le dépôt LibreChat avec uniquement le tag v0.7.6
git clone --branch v0.7.6 --depth 1 https://github.com/danny-avila/LibreChat.git
cd LibreChat/

On-Demand और Spot इंस्टेंस का प्रबंधन

मैंने Terraform में एक वेरिएबल spot_enabled जोड़ी है जो गतिशील रूप से तय करती है कि तैनाती Spot या On-Demand इंस्टेंस का उपयोग करेगी। डिफ़ॉल्ट रूप से On-Demand मोड सक्षम है ताकि शुरुआती उपयोगकर्ताओं के लिए अनुभव अधिक सुलभ हो और स्पॉट प्राइस कॉन्फ़िगर करने की आवश्यकता न पड़े। यह सुनिश्चित करता है कि प्रोजेक्ट तुरंत सभी के लिए कार्यशील हो।

ec2.tf का अपडेटेड अंश:

# Bloc dynamique pour conditionner les options du marché Spot
dynamic "instance_market_options" {
  for_each = var.spot_enabled ? [1] : [] # Si spot_enabled est true, le bloc est créé
  content {
    market_type = "spot"
    spot_options {
      max_price                      = var.spot_max_price[var.instance_type]
      instance_interruption_behavior = var.spot_request_type == "persistent" ? "stop" : null
      spot_instance_type             = var.spot_request_type
    }
  }
}

variables.tf का अंश:

variable "spot_enabled" {
  description = "Active ou désactive l'utilisation du marché Spot"
  type        = bool
  default     = false
}

Terraform संस्करण का अपडेट

प्रोजेक्ट में उपयोग होने वाला Terraform संस्करण 1.5.7 से 1.10.3 में अपडेट किया गया है। यह Terraform की नवीनतम सुविधाओं और सुधारों के साथ संगतता सुनिश्चित करता है।

# Version de l'image Docker Terraform
TERRAFORM_VERSION: hashicorp/terraform:1.10.3

Mistral मॉडल कॉन्फ़िगरेशन के लिए फिक्स

librechat.yaml में Mistral की कॉन्फ़िगरेशन को नवीनतम संस्करण में फॉर्मेट परिवर्तन को समर्थन देने के लिए अपडेट किया गया है। API कुंजी अभी भी AWS Systems Manager (SSM) से प्राप्त की जाती है, जैसे अन्य मॉडलों के लिए, और डिफ़ॉल्ट मॉडल अब mistral-large-latest शामिल करते हैं।

अपडेट किया गया कोड:

टर्मिनल विंडो
# Remplace la ligne contenant apiKey: '${MISTRAL_API_KEY}' par la clé réelle dans librechat.yaml
sed -i "s|apiKey: '\${MISTRAL_API_KEY}'|apiKey: '${MISTRAL_API_KEY}'|" librechat.yaml


# Modèles par défaut pour Mistral
sed -i '/- name:.*Mistral/,/default:/ s|default:.*|default: [\'mistral-tiny\', \'mistral-small\', \'mistral-medium\', \'mistral-large-latest\']|' librechat.yaml

बहुभाषी README फ़ाइलों का जोड़

प्रोजेक्ट को दुनिया भर के अधिक उपयोगकर्ताओं के लिए सुलभ बनाने के उद्देश्य से, मैंने अपना AI-आधारित Markdown फ़ाइल अनुवाद स्क्रिप्ट, जो GPT-4o मॉडल द्वारा संचालित है, उपयोग किया ताकि README फ़ाइलें कई भाषाओं में बनाई जा सकें। समर्थित भाषाओं में अंग्रेज़ी, जर्मन, स्पेनिश, जापानी, कोरियाई और चीनी शामिल हैं।

जोड़ी गई फ़ाइलें:

  • README-de-gpt-4o.md
  • README-en-gpt-4o.md
  • README-es-gpt-4o.md
  • README-ja-gpt-4o.md
  • README-ko-gpt-4o.md
  • README-zh-gpt-4o.md

Nginx कॉन्फ़िगरेशन का अपडेट

डिफ़ॉल्ट रूप से प्रदान की गई SSL के लिए Nginx कॉन्फ़िगरेशन इस संस्करण में अप्रचलित थी। मैंने निर्देशों को अनुकूलित करके और SSL सर्टिफिकेट्स के समर्थन के लिए sed कमांड जोड़कर इसे ठीक किया है ताकि संगतता बनी रहे।

अपडेट किया गया कोड:

टर्मिनल विंडो
# Monter les certificats SSL dans le fichier deploy-compose.yml
sed -i '/- .\/client\/nginx.conf:\/etc\/nginx\/conf.d\/default.conf/a \      - \/etc\/nginx\/ssl:\/etc\/nginx\/ssl' deploy-compose.yml


# Corrige les directives dans nginx.conf pour la version récente de Nginx
sed -i '/listen 443 ssl;/!s/listen 443 ssl;/listen 443 ssl http2;/' client/nginx.conf
sed -i '/listen \[::\]:443 ssl;/!s/listen \[::\]:443 ssl;/listen [::]:443 ssl http2;/' client/nginx.conf


# Corriger les erreurs de commentaire sur les URLs
sed -i 's|https://docs.nginx.com/nginx/admin-guide/web-server/compression/|# https://docs.nginx.com/nginx/admin-guide/web-server/compression/|' client/nginx.conf
sed -i 's|https://docs.nginx.com/nginx/admin-guide/web-server/compression/|# &|' client/nginx.conf

Terraform सुधार

  • बेहतर प्रदर्शन के लिए डिफ़ॉल्ट इंस्टेंस प्रकार को t3a.micro से t3a.small में बदला गया।
  • वर्तमान लागत को प्रतिबिंबित करने के लिए variables.tf में स्पॉट प्राइस अपडेट किए गए।

variables.tf का अपडेटेड अंश:

variable "spot_max_price" {
  default = {
    "t3a.large"  = "0.0376"
    "t3a.small"  = "0.0095"
    "t3a.medium" = "0.01940"
    "t3a.micro"  = "0.006"
  }
}

यह अपडेट क्यों महत्वपूर्ण है

LibreChat के संस्करण को लॉक करके, Nginx और Mistral कॉन्फ़िगरेशन से संबंधित समस्याओं को ठीक करके, और On-Demand तथा Spot इंस्टेंस के बीच चयन की सुविधा प्रदान करके यह अपडेट प्रोजेक्ट की विश्वसनीयता और लचीलापन बढ़ाता है। डिफ़ॉल्ट रूप से On-Demand मोड के साथ, यहाँ तक कि शुरुआती उपयोगकर्ता भी जटिल पूर्व-आवश्यकताओं के बिना LibreChat तैनात कर सकते हैं।

सारांश

  • LibreChat v0.7.6 का समर्थन: अनियंत्रित परिवर्तनों से बचने के लिए सही टैग का क्लोन।
  • इंस्टेंस प्रबंधन: On-Demand और Spot के बीच चयन, उपयोगकर्ता अनुभव को सरल बनाने के लिए डिफ़ॉल्ट रूप से On-Demand।
  • Terraform संस्करण: नवीनतम सुधारों का लाभ उठाने के लिए संस्करण 1.10.3 पर अपडेट।
  • Mistral AI: नई फ़ॉर्मेटिंग के अनुरूप API कुंजियाँ और मॉडल का स्वचालित प्रबंधन।
  • बहुभाषी README: कई भाषाओं में उपलब्ध दस्तावेज़ीकरण।
  • Nginx: SSL कॉन्फ़िगरेशन सुधारा और नई निर्देशों के अनुरूप बनाया गया।
  • Terraform: बेहतर प्रदर्शन और सटीक लागत के लिए समायोजन।

पूरा प्रोजेक्ट देखें

आप इस प्रोजेक्ट को GitLab रिपॉजिटरी पर देख और उपयोग कर सकते हैं।

मुझे अपने सुझाव साझा करने या प्रोजेक्ट में योगदान देने में संकोच न करें!

यह दस्तावेज़ fr संस्करण से hi भाषा में gpt-5-mini मॉडल का उपयोग करके अनुवादित किया गया है। अनुवाद प्रक्रिया के बारे में अधिक जानकारी के लिए, देखें https://gitlab.com/jls42/ai-powered-markdown-translator