इस लेख में, मैं एक Python स्क्रिप्ट साझा करता हूँ जो एक प्रूफ़ ऑफ कॉन्सेप्ट (POC) के रूप में विकसित की गई है ताकि मेरे ब्लॉग पोस्टों के अनुवाद को OpenAI के GPT-4 भाषा मॉडल का उपयोग करके स्वचालित किया जा सके। यह स्क्रिप्ट विशेष रूप से Markdown फ़ाइलों को प्रोसेस करने के लिए डिज़ाइन की गई है, जिससे मेरे लेखों का बहुभाषी प्रबंधन आसान होता है। अनुवाद पृष्ठ के ऊपर स्थित भाषा चयनकर्ता के जरिए उपलब्ध हैं।
परियोजना की शुरुआत : मेरे ब्लॉग के लिए एआई और स्वचालन का संयोजन
मेरे ब्लॉग लेखों के अनुवाद को स्वचालित करने वाली इस परियोजना की शुरुआत मेरी बढ़ती हुई कृत्रिम बुद्धिमत्ता में रुचि से हुई। OpenAI GPT-4 और Mistral AI की APIs के साथ मेरे प्रारम्भिक अनुभवों से प्रेरित होकर, मैं इन तकनीकों को एक व्यावहारिक परियोजना में लागू करने के विचार से आकर्षित हुआ। यह केवल एआई टूल्स को सीखने की खोज ही नहीं थी, बल्कि अपने डिजिटल स्पेस को स्वचालन और नवाचार से समृद्ध करने की चाह भी थी।
यह परियोजना एक ऐसे सफर में बदल गई जहाँ एआई केवल लेखन का विषय नहीं रहा, बल्कि विकास में एक सक्रिय साथी बन गया। मेरे लेखों का सरल और प्रभावी तरीके से अनुवाद करने का विचार, साथ ही इसकी स्वचालन क्षमताओं की खोज, रोमांचक संभावनाएँ खोल रहा था। यह भाषाई बाधाओं को पार करने का अवसर था, जिससे मेरी सामग्री व्यापक दर्शकों के लिए सुलभ बन सके, और साथ ही लगातार विकसित हो रहे एआई क्षेत्र में नेविगेट करने का अनुभव भी मिला।
चुनौती
मुख्य चुनौती एक ऐसे स्क्रिप्ट को बनाना था जो सटीक अनुवाद कर सके और लेखों की मूल फ़ॉर्मैटिंग को संरक्षित रखे, विशेषकर कोड ब्लॉक्स, लिंक और इमेजेज के मामले में। एक और चुनौती यह सुनिश्चित करना था कि स्क्रिप्ट को विभिन्न लक्षित भाषाओं का समर्थन करने के लिए आसानी से अनुकूलित किया जा सके। यह इस संरचना को भी ध्यान में रखे:
├── content│ ├── about│ │ └── a-propos-du-blog-jls42.md│ ├── mentions│ │ └── mentions-legales.md│ ├── posts│ │ ├── blog│ │ │ └── nouveau-theme-logo.md│ │ ├── ia│ │ │ ├── poc-mistral-ai-mixtral.md│ │ │ ├── poc-openai-api-gpt4.md│ │ │ └── stable-difusion-aws-ec2.md│ │ ├── infrastructure│ │ │ └── infrastruture-as-code-serverless-ha-jls42-org.md│ │ └── raspberry-pi│ │ ├── glusterfs_distribue_replique_sur_raspberry_pi_via_ansible.md│ │ ├── initialisation-auto-de-raspbian-sur-raspberry-pi.md│ │ ├── installation-de-docker-sur-raspberry-pi-via-ansible.md│ │ └── installation-de-kubernetes-sur-raspberry-pi-via-ansible.mdसमाधान : एक नवाचारी स्क्रिप्ट
मैंने एक Python स्क्रिप्ट डिजाइन की जो टेक्स्ट का अनुवाद करने के लिए OpenAI GPT-4 API का उपयोग करती है और गैर-पाठ्यतत्वों को संरक्षित रखती है। प्रोसेसिंग नियमों की एक श्रृंखला और प्लेसहोल्डर्स के उपयोग के माध्यम से, स्क्रिप्ट कोड ब्लॉक्स और अन्य अनुवाद-न करने योग्य तत्वों की पहचान करके उन्हें बाहर रख सकती है, जिससे अनुवादित सामग्री मूल के प्रति निष्ठावान बनी रहती है।
मुख्य विशेषताएँ
- GPT-4 के साथ सटीक अनुवाद : स्क्रिप्ट OpenAI के GPT-4 मॉडल का उपयोग करके फ्रेंच से अंग्रेज़ी तक पाठ का अनुवाद करती है, यह सुनिश्चित करते हुए कि मूल सामग्री की गुणवत्ता और सूक्ष्मता बनी रहे।
- फ़ॉर्मैटिंग का संरक्षण : कोड ब्लॉक्स, URL और इमेज पाथ्स की पहचान की जाती है और अनुवाद के दौरान बिना बदले छोड़ी जाती है, जिससे मूल फ़ॉर्मैटिंग संरक्षित रहती है।
- बहुभाषी लचीलापन : स्क्रिप्ट को विभिन्न स्रोत और लक्ष्य भाषाओं के लिए आसानी से अनुकूलित किया जा सकता है, जिससे यह बहुभाषी अनुप्रयोगों के लिए उपयुक्त है।
- Markdown फ़ाइलों का समर्थन : Markdown में लिखित दस्तावेज़ों का अनुवाद करने की क्षमता, उनकी संरचना और फ़ॉर्मैटिंग को बनाए रखते हुए।
- डायरेक्टरी अनुवाद का स्वचालन : दिए गए डायरेक्टरी और उप-डायरेक्टरी में पाए जाने वाले Markdown फ़ाइलों का स्वतः अनुवाद, जिससे बड़े मात्रा में सामग्री का प्रबंधन आसान होता है।
- अनुवाद नोट का समेकन : अनुवादित दस्तावेजों के अंत में स्वचालित रूप से एक अनुवाद नोट जोड़ा जाता है, जिसमें उपयोग किए गए GPT मॉडल का उल्लेख होता है।
- सहज कॉन्फ़िगरेशन और कस्टमाइज़ेशन : API कुंजी, GPT मॉडल, स्रोत और लक्ष्य भाषाएँ, और फ़ाइल डायरेक्टरीज़ के लिए कस्टमाइज़ेबल डिफ़ॉल्ट पैरामीटर, उपयोग में अधिक लचीलापन प्रदान करते हैं।
- प्रदर्शन रिपोर्ट : स्क्रिप्ट प्रत्येक फ़ाइल के अनुवाद के लिए आवश्यक समय की जानकारी देता है, जिससे इसकी प्रदर्शन निगरानी संभव होती है।
स्क्रिप्ट का कोड
कोड यहाँ भी उपलब्ध है : AI-संचालित Markdown अनुवादक
#!/usr/bin/env python3
import osimport argparseimport timefrom openai import OpenAIimport re
# Initialisation de la configuration avec les valeurs par défautDEFAULT_API_KEY = 'votre-clé-api-par-défaut'DEFAULT_MODEL = "gpt-4-1106-preview"DEFAULT_SOURCE_LANG = 'fr'DEFAULT_TARGET_LANG = 'en'DEFAULT_SOURCE_DIR = 'content/posts'DEFAULT_TARGET_DIR = 'traductions_en'
MODEL_TOKEN_LIMITS = { "gpt-4-1106-preview": 4096, "gpt-4-vision-preview": 4096, "gpt-4": 8192, "gpt-4-32k": 32768, "gpt-4-0613": 8192, "gpt-4-32k-0613": 32768}
# Fonction de traductiondef translate_with_openai(text, client, args): """ Traduit le texte donné du langage source au langage cible en utilisant l'API OpenAI.
Args: text (str) : Le texte à traduire. client : L'objet client OpenAI. args : Les arguments contenant les informations sur le langage source, le langage cible et le modèle.
Returns: str : Le texte traduit. """ # Détecter et stocker les blocs de code code_blocks = re.findall(r'(^```[a-zA-Z]*\n.*?\n^```)', text, flags=re.MULTILINE | re.DOTALL) placeholders = [f"#CODEBLOCK{index}#" for index, _ in enumerate(code_blocks)]
# Remplacer les blocs de code par des placeholders for placeholder, code_block in zip(placeholders, code_blocks): text = text.replace(code_block, placeholder)
# Création du message pour l'API messages = [ {"role": "system", "content": f"Translate the following text from {args.source_lang} to {args.target_lang}, ensuring that elements such as URLs, image paths, and code blocks (delimited by ```) are not translated. Leave these elements unchanged."}, {"role": "user", "content": text} ]
# Envoi de la demande de traduction response = client.chat.completions.create( model=args.model, messages=messages )
# Obtenir le texte traduit et remplacer les placeholders par les blocs de code originaux translated_text = response.choices[0].message.content.strip() for placeholder, code_block in zip(placeholders, code_blocks): translated_text = translated_text.replace(placeholder, code_block)
return translated_text
def add_translation_note(client, args): """ Ajoute une note de traduction à un document.
Args: client : Le client de traduction. args : Arguments supplémentaires.
Returns: La note de traduction formatée. """ # Note de traduction en français translation_note_fr = "Ce document a été traduit de la version française du blog par le modèle " # Traduire la note en langue cible translated_note = translate_with_openai(translation_note_fr + args.model, client, args) # Formatage de la note de traduction return f"\n\n**{translated_note}**\n\n"
# Traitement des fichiers Markdowndef translate_markdown_file(file_path, output_path, client, args): """ Traduit le contenu d'un fichier markdown en utilisant l'API de traduction OpenAI et écrit le contenu traduit dans un nouveau fichier.
Args: file_path (str): Chemin vers le fichier markdown d'entrée. output_path (str): Chemin vers le fichier de sortie où le contenu traduit sera écrit. client: Client de traduction OpenAI. args: Arguments supplémentaires pour le processus de traduction.
Returns: None """ print(f"Traitement du fichier : {file_path}") start_time = time.time()
with open(file_path, 'r', encoding='utf-8') as f: content = f.read()
translated_content = translate_with_openai(content, client, args)
# Ajouter la note de traduction à la fin du contenu traduit translation_note = add_translation_note(client, args) translated_content_with_note = translated_content + translation_note
with open(output_path, 'w', encoding='utf-8') as f: f.write(translated_content_with_note)
end_time = time.time() print(f"Traduction terminée en {end_time - start_time:.2f} secondes.")
def translate_directory(input_dir, output_dir, client, args): """ Traduit tous les fichiers markdown dans le répertoire d'entrée et ses sous-répertoires.
Args: input_dir (str): Chemin vers le répertoire d'entrée. output_dir (str): Chemin vers le répertoire de sortie. client: Objet client de traduction. args: Arguments supplémentaires pour la traduction.
Returns: None """ for root, dirs, files in os.walk(input_dir, topdown=True): # Exclure les dossiers qui commencent par "traductions_" dirs[:] = [d for d in dirs if not d.startswith("traductions_")]
for file in files: if file.endswith('.md'): file_path = os.path.join(root, file) base, _ = os.path.splitext(file) # Ajouter le nom du modèle utilisé dans le nom du fichier de sortie output_file = f"{base}-{args.model}-{args.target_lang}.md" relative_path = os.path.relpath(root, input_dir) output_path = os.path.join(output_dir, relative_path, output_file)
os.makedirs(os.path.dirname(output_path), exist_ok=True)
if not os.path.exists(output_path): translate_markdown_file(file_path, output_path, client, args) print(f"Fichier '{file}' traité.")
def main(): """ Fonction principale pour traduire les fichiers Markdown.
Args: --source_dir (str): Répertoire source contenant les fichiers Markdown. --target_dir (str): Répertoire cible pour sauvegarder les traductions. --model (str): Modèle GPT à utiliser. --target_lang (str): Langue cible pour la traduction. --source_lang (str): Langue source pour la traduction. """ parser = argparse.ArgumentParser(description="Traduit les fichiers Markdown.") parser.add_argument('--source_dir', type=str, default=DEFAULT_SOURCE_DIR, help='Répertoire source contenant les fichiers Markdown') parser.add_argument('--target_dir', type=str, default=DEFAULT_TARGET_DIR, help='Répertoire cible pour sauvegarder les traductions') parser.add_argument('--model', type=str, default=DEFAULT_MODEL, help='Modèle GPT à utiliser') parser.add_argument('--target_lang', type=str, default=DEFAULT_TARGET_LANG, help='Langue cible pour la traduction') parser.add_argument('--source_lang', type=str, default=DEFAULT_SOURCE_LANG, help='Langue source pour la traduction')
args = parser.parse_args()
openai_api_key = os.getenv('OPENAI_API_KEY', DEFAULT_API_KEY) with OpenAI(api_key=openai_api_key) as client: translate_directory(args.source_dir, args.target_dir, client, args)
if __name__ == "__main__": main()स्क्रिप्ट पर नज़दीक से नज़र
मॉड्यूल इम्पोर्ट्स
सबसे पहले, हमारे पास कुछ आवश्यक मॉड्यूल इम्पोर्ट हैं, जैसे os, argparse, time और re. ये मॉड्यूल फ़ाइल सिस्टम पर ऑपरेशन करने, कमांड-लाइन आर्गुमेंट्स पार्स करने, निष्पादन समय मापने और टेक्स्ट खोज/प्रतिस्थापन संचालन करने के लिए उपयोग किए जाते हैं।
कॉन्सटेंट्स
फिर, हमारे पास कुछ कॉन्सटेंट्स परिभाषित हैं, जैसे DEFAULT_API_KEY, DEFAULT_MODEL, DEFAULT_SOURCE_LANG, DEFAULT_TARGET_LANG, DEFAULT_SOURCE_DIR और DEFAULT_TARGET_DIR. ये कॉन्सटेंट्स स्क्रिप्ट में उपयोग होने वाले डिफ़ॉल्ट मानों का प्रतिनिधित्व करते हैं, लेकिन इन्हें कमांड-लाइन आर्गुमेंट्स के जरिए बदला जा सकता है।
फ़ंक्शन translate_with_openai
फिर, हमारे पास फ़ंक्शन translate_with_openai है। यह फ़ंक्शन टेक्स्ट, एक OpenAI क्लाइंट ऑब्जेक्ट और आर्गुमेंट्स को पैरामीटर के रूप में लेता है। यह OpenAI API का उपयोग करके स्रोत भाषा से लक्ष्य भाषा तक टेक्स्ट का अनुवाद करता है। यह इस तरह काम करता है:
- फ़ंक्शन टेक्स्ट में कोड ब्लॉक्स का पता लगाने और उन्हें स्टोर करने के लिए एक रेगुलर एक्सप्रेशन का उपयोग करता है। ये कोड ब्लॉक्स ट्रिपल बैकटिक्स से सीमांकित होते हैं (
). Les blocs de code sont stockés dans une liste appeléecode_blocks`। - इसके बाद, फ़ंक्शन टेक्स्ट में कोड ब्लॉक्स को प्लेसहोल्डर्स से बदल देता है। प्लेसहोल्डर्स उस रूप के स्ट्रिंग्स होते हैं जैसे
#CODEBLOCK{index}#, जहांindexसंबंधित कोड ब्लॉक की सूची में उसके इंडेक्स का संदर्भ हैcode_blocks। - फ़ंक्शन OpenAI के लिए एक संदेश बनाता है। यह संदेश दो भागों में है: एक सिस्टम संदेश जो API को बताता है कि स्रोत भाषा से लक्ष्य भाषा में अनुवाद करें और URL, इमेज पाथ और कोड ब्लॉक्स जैसे तत्वों को अपरिवर्तित छोड़ दें; और एक उपयोगकर्ता संदेश जिसमें अनुवाद के लिए टेक्स्ट होता है।
- फ़ंक्शन
client.chat.completions.create()मेथड का उपयोग करके API को अनुवाद अनुरोध भेजता है। यह उपयोग किए जाने वाले मॉडल और अनुवाद के लिए संदेश निर्दिष्ट करता है। - API की प्रतिक्रिया अनुवादित टेक्स्ट रखती है। फ़ंक्शन अनुवादित टेक्स्ट प्राप्त करता है और प्लेसहोल्डर्स को मूल कोड ब्लॉक्स से बदल देता है।
- अंत में, फ़ंक्शन अनुवादित टेक्स्ट लौटाता है।
फ़ंक्शन add_translation_note
फिर, हमारे पास फ़ंक्शन add_translation_note है। यह फ़ंक्शन एक दस्तावेज़ में एक अनुवाद नोट जोड़ता है। यह OpenAI क्लाइंट ऑब्जेक्ट और आर्गुमेंट्स को पैरामीटर के रूप में लेता है। यह इस तरह काम करता है:
- फ़ंक्शन फ़्रेंच में एक अनुवाद नोट बनाती है जिसका उपयोग
translation_note_frवेरिएबल करता है। - फिर फ़ंक्शन
translate_with_openaiका उपयोग करके OpenAI API के माध्यम से अनुवाद नोट का अनुवाद करती है।translate_with_openaiको पास किए गए आर्गुमेंट्स में फ़्रेंच अनुवाद नोट और अन्य आर्गुमेंट्स शामिल होते हैं। - फ़ंक्शन अनुवादित अनुवाद नोट को फ़ॉर्मैटिंग कैरेक्टर्स जोड़कर स्वरूपित करती है।
- अंत में, फ़ंक्शन फ़ॉर्मैट की गई अनुवाद नोट लौटाती है।
फ़ंक्शन translate_markdown_file
फिर, हमारे पास फ़ंक्शन translate_markdown_file है। यह फ़ंक्शन इनपुट Markdown फ़ाइल के पाथ, आउटपुट फाइल के पाथ, एक OpenAI क्लाइंट ऑब्जेक्ट और आर्गुमेंट्स को पैरामीटर के रूप में लेता है। यह OpenAI अनुवाद API का उपयोग करके Markdown फ़ाइल की सामग्री का अनुवाद करता है और अनुवादित सामग्री को आउटपुट फ़ाइल में लिखता है।
इस स्क्रिप्ट ने न केवल मेरे ब्लॉग लेखों की पहुँचनीयता में सुधार किया, बल्कि बहुभाषी सामग्री निर्माण के क्षेत्र में स्वचालन की नई संभावनाओं के द्वार भी खोल दिए। यह ज्ञान साझा करने और सामग्री की पहुँच के क्षेत्र में एक व्यापक और समावेशी कदम की ओर एक प्रगति है।
उपयोग का अनुभव और प्रोसेसिंग समय
उपयोग के उदाहरण
# Création des répertoires ciblesjls42@Boo:~/blog/jls42$ mkdir content/traductions_en content/traductions_es
################################################ Demande de traduction à l'IA vers l'anglais ################################################jls42@Boo:~/blog/jls42$ python3 translate.py --source_dir content/ --target_dir content/traductions_enTraitement du fichier : content/posts/ia/stable-difusion-aws-ec2.mdTraduction terminée en 21.57 secondes.Fichier 'stable-difusion-aws-ec2.md' traité.Traitement du fichier : content/posts/ia/poc-openai-api-gpt4.mdTraduction terminée en 34.87 secondes.Fichier 'poc-openai-api-gpt4.md' traité.Traitement du fichier : content/posts/ia/poc-mistral-ai-mixtral.mdTraduction terminée en 62.47 secondes.Fichier 'poc-mistral-ai-mixtral.md' traité.Traitement du fichier : content/posts/raspberry-pi/installation-de-kubernetes-sur-raspberry-pi-via-ansible.mdTraduction terminée en 46.37 secondes.Fichier 'installation-de-kubernetes-sur-raspberry-pi-via-ansible.md' traité.Traitement du fichier : content/posts/raspberry-pi/installation-de-docker-sur-raspberry-pi-via-ansible.mdTraduction terminée en 10.08 secondes.Fichier 'installation-de-docker-sur-raspberry-pi-via-ansible.md' traité.Traitement du fichier : content/posts/raspberry-pi/initialisation-auto-de-raspbian-sur-raspberry-pi.mdTraduction terminée en 17.17 secondes.Fichier 'initialisation-auto-de-raspbian-sur-raspberry-pi.md' traité.Traitement du fichier : content/posts/blog/nouveau-theme-logo.mdTraduction terminée en 12.91 secondes.Fichier 'nouveau-theme-logo.md' traité.Traitement du fichier : content/posts/infrastructure/infrastruture-as-code-serverless-ha-jls42-org.mdTraduction terminée en 12.64 secondes.Fichier 'infrastruture-as-code-serverless-ha-jls42-org.md' traité.Traitement du fichier : content/mentions/mentions-legales.mdTraduction terminée en 11.90 secondes.Fichier 'mentions-legales.md' traité.Traitement du fichier : content/about/a-propos-du-blog-jls42.mdTraduction terminée en 18.72 secondes.Fichier 'a-propos-du-blog-jls42.md' traité.
################################################# Demande de traduction à l'IA vers l'espagnol #################################################jls42@Boo:~/blog/jls42$ python3 translate.py --source_dir content/ --target_dir content/traductions_es --target_lang esTraitement du fichier : content/posts/ia/stable-difusion-aws-ec2.mdTraduction terminée en 33.19 secondes.Fichier 'stable-difusion-aws-ec2.md' traité.Traitement du fichier : content/posts/ia/poc-openai-api-gpt4.mdTraduction terminée en 25.24 secondes.Fichier 'poc-openai-api-gpt4.md' traité.Traitement du fichier : content/posts/ia/poc-mistral-ai-mixtral.mdTraduction terminée en 58.78 secondes.Fichier 'poc-mistral-ai-mixtral.md' traité.Traitement du fichier : content/posts/raspberry-pi/installation-de-kubernetes-sur-raspberry-pi-via-ansible.mdTraduction terminée en 17.64 secondes.Fichier 'installation-de-kubernetes-sur-raspberry-pi-via-ansible.md' traité.Traitement du fichier : content/posts/raspberry-pi/installation-de-docker-sur-raspberry-pi-via-ansible.mdTraduction terminée en 19.60 secondes.Fichier 'installation-de-docker-sur-raspberry-pi-via-ansible.md' traité.Traitement du fichier : content/posts/raspberry-pi/initialisation-auto-de-raspbian-sur-raspberry-pi.mdTraduction terminée en 37.12 secondes.Fichier 'initialisation-auto-de-raspbian-sur-raspberry-pi.md' traité.Traitement du fichier : content/posts/blog/nouveau-theme-logo.mdTraduction terminée en 18.91 secondes.Fichier 'nouveau-theme-logo.md' traité.Traitement du fichier : content/posts/infrastructure/infrastruture-as-code-serverless-ha-jls42-org.mdTraduction terminée en 30.73 secondes.Fichier 'infrastruture-as-code-serverless-ha-jls42-org.md' traité.Traitement du fichier : content/mentions/mentions-legales.mdTraduction terminée en 13.14 secondes.Fichier 'mentions-legales.md' traité.Traitement du fichier : content/about/a-propos-du-blog-jls42.mdTraduction terminée en 11.24 secondes.Fichier 'a-propos-du-blog-jls42.md' traité.प्रोसेसिंग समय
- अंग्रेज़ी : लगभग 4 मिनट (248.70 सेकंड)
- स्पैनिश : लगभग 4.7 मिनट (284.05 सेकंड)
- कुल मिला कर : लगभग 8.7 मिनट (532.75 सेकंड) ये समय स्क्रिप्ट की दक्षता और गति को दर्शाते हैं।
परिणाम
नोट : यह उदाहरण पुराने Hugo ब्लॉग संरचना पर स्क्रिप्ट के काम करने का चित्रण है। ब्लॉग को बाद में Astro में नई बहुभाषी आर्किटेक्चर के साथ माइग्रेट किया गया है। अनुवाद अब एकीकृत भाषा चयनकर्ता के माध्यम से उपलब्ध हैं।
यह ब्लॉग पोस्ट मेरे एआई के साथ अनुवाद स्वचालन के अनुभव का संक्षेप है। यह साबित करता है कि जब प्रोग्रामिंग को कृत्रिम बुद्धिमत्ता के साथ जोड़ा जाता है, तो संभावनाएँ लगभग असीमित हो जाती हैं, जो ज्ञान साझा करने और सामग्री की पहुँच में नए और रोमांचक क्षितिज खोलती हैं।
यह दस्तावेज़ fr संस्करण से hi भाषा में gpt-5-mini मॉडल का उपयोग करके अनुवादित किया गया है। अनुवाद प्रक्रिया के बारे में अधिक जानकारी के लिए, देखें https://gitlab.com/jls42/ai-powered-markdown-translator