अरबी जितनी बोली जाती है, उससे कम लिखी जाती है। जब कोई अरबी पाठक बिना स्वर-चिह्नों वाला वाक्य पढ़ता है, तो वह बिना ध्यान दिए संदर्भ से छोटे स्वर वापस जोड़ लेता है। आवाज़ वाले मॉडल को यही काम आँकड़ों से करना पड़ता है। समस्या यहीं से शुरू होती है: एक ही पाठ के कई उच्चारण हो सकते हैं और हर उच्चारण अर्थ बदल देता है। इसके ऊपर, अरबी में बोलियों की विविधता बहुत बड़ी है और उनके लिए अच्छी तरह संगठित आवाज़ी डेटा कम है। इस लेख में हम हाल के शोध-पत्रों की बातें उनके लेखकों के प्रकाशित आँकड़ों के साथ पढ़ते हैं, और फिर देखते हैं कि अरबी ऑडियो सामग्री बनाने वालों के लिए इसका व्यावहारिक अर्थ क्या है।
उच्चारण छिपाने वाला पाठ: छोटे स्वरों की समस्या
अरबी आम तौर पर छोटे स्वरों (फ़तहा, ज़म्मा, कसरा, सुकून और तनवीन) के बिना लिखी जाती है। «كتب» शब्द एक जाना-पहचाना उदाहरण है: इसे «कताबा» (उसने लिखा), «कुतुब» (किताबें) या «कुतिबा» (लिखा गया) पढ़ा जा सकता है। पाठक पूरे वाक्य से इसका फ़ैसला करता है।
हाला अल-मसरी और मुहिउद्दीन ज़ातेर का अरबी वाक् डेटा तैयार करने पर शोध-पत्र इस समस्या को साफ़ बताता है: स्वर न होने पर एक ही शब्द के कई अर्थ हो सकते हैं, और वॉइस आर्टिस्ट तथा एआई मॉड्यूल दोनों को अस्पष्टता घटाने वाले चिह्नों से फ़ायदा होता है। पत्र आंशिक स्वर-चिह्नन का सुझाव देता है, यानी चिह्न केवल अस्पष्ट जगहों पर लगाना, क्योंकि पूरी तरह स्वर-चिह्नित पाठ दुर्लभ और महँगे हैं।
क्या स्वर-चिह्न अपने-आप लगाए जा सकते हैं? आँकड़े प्रगति और एक अंतर दिखाते हैं
तर्कसंगत हल यह है कि पढ़ने से पहले स्वर-चिह्न अपने-आप लगा दिए जाएँ। स्वचालित स्वर-चिह्नन में काफ़ी सुधार हुआ है, पर वह अभी भी पूर्ण से दूर है। CATT शोध-पत्र (अक्षर-स्तर का अरबी तशकील ट्रांसफ़ॉर्मर) अपने मॉडल के नतीजे दो बेंचमार्क पर देता है:
- शब्दांत के कारक-चिह्नों के साथ WikiNews बेंचमार्क पर एनकोडर-डिकोडर मॉडल की अक्षर त्रुटि दर लगभग 5.96% और शब्द त्रुटि दर लगभग 20.06% रही।
- ज़्यादा कठिन CATT बेंचमार्क पर अक्षर त्रुटि दर लगभग 8.62% और शब्द त्रुटि दर लगभग 34.19% रही।
दोनों बेंचमार्क का अंतर अहम है। यहाँ शब्द त्रुटि का मतलब है कि शब्द में कम से कम एक स्वर-चिह्नन की ग़लती है। पत्र का मॉडल अपनी तुलना वाले मॉडलों से बेहतर होने के बावजूद आसान बेंचमार्क पर लगभग पाँच में से एक शब्द और कठिन पर लगभग तीन में से एक शब्द ग़लत करता है। शब्दांत के कारक-चिह्न (व्याकरणिक अंत) स्वर-चिह्नन का सबसे कठिन हिस्सा हैं, क्योंकि वे केवल शब्द पर नहीं, वाक्य की बनावट पर निर्भर करते हैं। इसीलिए उन्हें हटाने पर पत्र के आँकड़े सुधर जाते हैं (WikiNews पर अक्षर त्रुटि लगभग 3.63%)।
सार: स्वचालित स्वर-चिह्नन अस्पष्टता घटाता है, मिटाता नहीं, और उसकी हर ग़लती सीधे उच्चारण में पहुँच जाती है।
क्या डेटा स्वर-चिह्नों की जगह ले सकता है? QCRI का एक प्रयोग
शोध की एक वैकल्पिक दिशा है: पाठ में स्वर-चिह्न जोड़ने के बजाय मॉडल को बहुत बड़ी मात्रा में वाणी पर प्रशिक्षित करना, ताकि वह सही अनुमान लगाना सीख ले। क़तर कंप्यूटिंग रिसर्च इंस्टीट्यूट (QCRI) के शोधकर्ताओं के शोध-पत्र «More Data, Fewer Diacritics» (मार्च 2026) ने यही परखा। टीम ने सोशल प्लेटफ़ॉर्मों से लगभग 20,000 घंटे की ऑडियो जुटाई और सफ़ाई तथा खंडन के बाद प्रशिक्षण के लायक लगभग 4,000 घंटे रखे। फिर अलग-अलग आकार के मॉडल स्वर-चिह्नों के साथ और उनके बिना प्रशिक्षित किए गए और वाक् पहचान मॉडल से शब्द त्रुटि दर (WER) मापी गई।
मुख्य नतीजे:
- 4,000 घंटे और स्वर-चिह्नों के साथ: WER 1.67, सबसे अच्छा नतीजा।
- 4,000 घंटे और बिना स्वर-चिह्नों के: WER 3.18।
- 1,000 घंटे पर प्रशिक्षित बिना स्वर-चिह्न वाला मॉडल (3.12), 100 घंटे पर प्रशिक्षित स्वर-चिह्न वाले मॉडलों (3.48 और 3.62) से बेहतर रहा।
यानी डेटा की मात्रा बराबर हो तो स्वर-चिह्न अब भी सबसे अच्छा नतीजा देते हैं, पर बहुत सारा डेटा उनकी कमी का बड़ा हिस्सा पूरा कर देता है। शोधकर्ता अहम सीमाएँ बताते हैं: प्रयोग केवल आधुनिक मानक अरबी पर था, मापन वस्तुनिष्ठ था और इंसानों के सुनने का परीक्षण नहीं था, और स्कोरिंग में प्रयुक्त पहचान मॉडल का परिवार डेटा तैयार करने की प्रक्रिया से जुड़ा है, जो नतीजों में झुकाव ला सकता है।
मानक अरबी और बोलियाँ: एक लिखित भाषा और एक बोली जाने वाली भाषा
दूसरी समस्या स्वर-चिह्नों से गहरी है: हम किस «अरबी» की बात कर रहे हैं? Habibi शोध-पत्र (जनवरी 2026) बताता है कि अरबी की 30 से ज़्यादा बोली जाने वाली किस्में हैं, आधुनिक मानक अरबी रोज़मर्रा की बातचीत में कम इस्तेमाल होती है, और बोलियाँ शब्दावली व उच्चारण में काफ़ी अलग हैं। वह यह भी जोड़ता है कि उपलब्ध अधिकांश अरबी वाक् डेटा मूल रूप से वाक् पहचान के लिए बना था, अक्सर शोर वाला और बिना स्वर-चिह्नों का है, और बहु-बोली वाक् संश्लेषण को आँकने के लिए कोई एकीकृत बेंचमार्क नहीं है।
«Arab Voices» अध्ययन (ब्रिटिश कोलंबिया विश्वविद्यालय, जनवरी 2026) डेटा की ओर से यही तस्वीर पक्की करता है। उसने 31 अरबी वाक् डेटासेट सूचीबद्ध किए और पाया कि बोली-लेबल मानकीकृत नहीं हैं, और उत्तर अफ़्रीका (अल्जीरियाई, हस्सानिया, मोरक्कन और ट्यूनीशियाई) तथा इराक़ जैसे क्षेत्रों का प्रतिनिधित्व कम है। पूर्व-प्रशिक्षण के बिना वाक् पहचान परीक्षणों में कुछ Whisper विन्यासों की त्रुटि दर 200 से ऊपर गई और मेसोपोटामियाई अरबी के लिए 271.25 तक पहुँची, जबकि मानक अरबी की त्रुटि दर कई मॉडलों में 12 से नीचे रही। ये आँकड़े वाक् संश्लेषण के नहीं, वाक् पहचान के हैं, पर डेटा में मानक भाषा और बोलियों के बीच वही अंतर दिखाते हैं।
Habibi का एक उल्लेखनीय नतीजा यह है कि मॉडल को पहले मानक अरबी पर और फिर बोली पर प्रशिक्षित करने से अकेली बोली पर प्रशिक्षण की तुलना में कहीं बेहतर परिणाम मिलते हैं। SADA डेटासेट पर इस तरीक़े से WER लगभग 13.30 रही, जबकि बोली पर शुरू से प्रशिक्षण में यह 55.63 थी। यानी मानक अरबी वह नींव है जिस पर निर्माण होता है, और केवल बोली का डेटा काफ़ी नहीं है।
मॉडल के बोलने से पहले: पाठ का सामान्यीकरण और रिकॉर्डिंग
जो ग़लतियाँ हम सुनते हैं, उनमें से बहुत-सी आवाज़ वाले मॉडल से नहीं, उस तक पहुँचने वाले पाठ से आती हैं। अल-मसरी और ज़ातेर बताते हैं कि डेटा की प्रक्रिया स्वर-चिह्नन, वर्तनी जाँच और खंडन से पहले संख्याओं, तिथियों, ग़ैर-अरबी शब्दों और संक्षिप्त रूपों को बोले जा सकने वाले अरबी पाठ में बदलती है। «1994», «5 किमी» या «iPhone» जैसा पाठ वैसा नहीं पढ़ा जाता जैसा लिखा है, और स्पष्ट रूप से न बदला जाए तो वह ग़लत पढ़ा जाएगा या छूट जाएगा।
शोध-पत्र रिकॉर्डिंग की गुणवत्ता पर भी बात करता है: बिना उपचार वाले स्टूडियो में शोर, फुफकार और विस्फोटी ध्वनियाँ प्रशिक्षण डेटा बिगाड़ती हैं, इसलिए स्रोत पर ही शोर रोकने, स्थिर और स्वाभाविक गति रखने और विराम केवल विराम-चिह्नों पर रखने की सलाह दी गई है। यह याद दिलाता है कि कृत्रिम आवाज़ की गुणवत्ता उस मानवीय आवाज़ की गुणवत्ता पर निर्भर है जिससे उसने सीखा।
हमें कैसे पता चले कि आवाज़ अच्छी है? मापन की समस्या
अधिकांश अध्ययन WER, वक्ता-समानता और अनुमानित स्वाभाविकता (UTMOS) जैसे स्वचालित मापदंडों पर निर्भर हैं, और सबकी अपनी सीमाएँ हैं। Habibi चेताता है कि इनमें से कुछ मापदंड प्रशिक्षण डेटा के बाहर अच्छी तरह सामान्यीकृत नहीं होते, इसलिए शोधकर्ताओं ने हर बोली के लिए 10 से 20 मूल वक्ताओं के साथ मानवीय मूल्यांकन जोड़ा। एक व्यावसायिक मॉडल से तुलना में कोई भी पक्ष सभी मापदंडों पर नहीं जीता: Habibi वक्ता-समानता और कई बोलियों की त्रुटि दर में बेहतर रहा, जबकि व्यावसायिक मॉडल स्वाभाविकता में बेहतर रहा। सबक यह है कि «सबसे अच्छी प्रणाली» इस पर निर्भर है कि आप क्या मापते हैं, और असल में सुनने का कोई विकल्प नहीं है।
अरबी ऑडियो सामग्री बनाने वालों के लिए इसका क्या अर्थ है?
ऊपर के शोध से कुछ व्यावहारिक आदतें निकलती हैं। यह मेरा विश्लेषण है, शोध-पत्रों का शब्दशः कथन नहीं:
- अस्पष्ट जगहों पर स्वर-चिह्न ख़ुद लगाएँ। जिन शब्दों के कई उच्चारण हो सकते हैं, उन पर आंशिक स्वर-चिह्नन अनुमान पर निर्भर रहने से सस्ता और सटीक है; अल-मसरी और ज़ातेर यही सुझाते हैं।
- संख्याएँ, तिथियाँ, संक्षिप्त रूप और विदेशी नाम वैसे लिखें जैसे आप उन्हें बुलवाना चाहते हैं।
- मानक अरबी या बोली का चुनाव सोच-समझकर करें, और कलात्मक कारण न हो तो एक ही अनुच्छेद में उन्हें न मिलाएँ।
- प्रकाशित करने से पहले सुनें। कोई स्वचालित मापदंड इंसानी कान की जगह नहीं ले सकता, ख़ासकर नामों, शब्दावली और संख्याओं के लिए।
- लंबे पाठ को छोटे हिस्सों में बाँटकर हिस्सा-हिस्सा जाँचें, क्योंकि एक घंटे की रिकॉर्डिंग में एक ग़लती पकड़ना कठिन होता है।
आज Moknah
Moknah इन चरणों का एक हिस्सा प्लेटफ़ॉर्म के भीतर सँभालता है: अरबी के लिए तीन पाठ प्रोसेसर हैं, बेसिक, Tashkeel और एआई कवि, और Tashkeel तथा एआई कवि बेसिक से ज़्यादा क्रेडिट लेते हैं। प्लेटफ़ॉर्म 130 से अधिक भाषाओं में टेक्स्ट-टू-स्पीच का समर्थन करता है। यह मानवीय समीक्षा की जगह नहीं लेता; यह दोहराव वाला हाथ का काम घटाता है। आप मुफ़्त शुरू कर सकते हैं और अपना ज़रूरी पाठ मूल्य निर्धारण पृष्ठ से आज़मा सकते हैं।
संबंधित लेख
- वैश्विक 'वॉयस-ओवर AI' (Voice Over AI) प्रणालियों के लिए अरबी भाषा एक बड़ी चुनौती क्यों है?
- 'Moknah' (Moknah) प्लेटफ़ॉर्म का उपयोग करके आप अपने ब्रांड के लिए सबसे उपयुक्त आवाज़ कैसे चुनें?
- टेक्स्ट-टू-स्पीच (Text-to-Speech) तकनीक
स्रोत
- Musleh, Zhang, Darwish, "More Data, Fewer Diacritics: Scaling Arabic TTS", arXiv:2603.01622, March 2026: https://arxiv.org/html/2603.01622
- "CATT: Character-based Arabic Tashkeel Transformer", arXiv:2407.03236: https://arxiv.org/html/2407.03236
- Al Masri, Zater, "Arabic Text-to-Speech (TTS) Data Preparation", arXiv:2204.03255: https://arxiv.org/pdf/2204.03255v1
- Chen et al., "Habibi: Laying the Open-Source Foundation of Unified-Dialectal Arabic Speech Synthesis", arXiv:2601.13802: https://arxiv.org/html/2601.13802v2
- Sullivan et al., "Arab Voices: Mapping Standard and Dialectal Arabic Speech Technology", arXiv:2601.13319, January 2026: https://arxiv.org/html/2601.13319v2