search
arrow-left Previous
Next arrow-right
Q: In Natural Language Processing (NLP), what does "tokenization" refer to?
  • A. Splitting text into individual words or phrases/टेक्स्ट को अलग-अलग शब्दों या वाक्यांशो में विभाजित करना
  • B. Compressing large language files बड़ी लैंग्वेज फाइलो को कंप्रेस करना
  • C. Giving robots coins to start रोबोट को शुरू करने के लिए सिक्के देना
  • D. Encrypting user passwords यूजर पासवर्ड एन्क्रिपट करना
  • E. None of the above/उपर्युक्त में से कोई नही
Correct Answer: Option A - टोकनाइजेशन (Tokenization) का तात्पर्य है टेक्स्ट को अलग-अलग शब्दो, वाक्यांशो या अन्य सार्थक तत्वों (जिन्हें ‘टोकन’ कहा जाता है) में विभाजित करना। यह एनएलपी (NLP) में एक मूलभूत कदम है,– जो टेक्स्ट को मशीन पठनीय (Machine-readable) प्रारूप में बदलने में मदद करता है ताकि आगे की प्रोसेसिंग, जैसे विश्लेषण या मॉडलिंग, की जा सके।
A. टोकनाइजेशन (Tokenization) का तात्पर्य है टेक्स्ट को अलग-अलग शब्दो, वाक्यांशो या अन्य सार्थक तत्वों (जिन्हें ‘टोकन’ कहा जाता है) में विभाजित करना। यह एनएलपी (NLP) में एक मूलभूत कदम है,– जो टेक्स्ट को मशीन पठनीय (Machine-readable) प्रारूप में बदलने में मदद करता है ताकि आगे की प्रोसेसिंग, जैसे विश्लेषण या मॉडलिंग, की जा सके।

Explanations:

टोकनाइजेशन (Tokenization) का तात्पर्य है टेक्स्ट को अलग-अलग शब्दो, वाक्यांशो या अन्य सार्थक तत्वों (जिन्हें ‘टोकन’ कहा जाता है) में विभाजित करना। यह एनएलपी (NLP) में एक मूलभूत कदम है,– जो टेक्स्ट को मशीन पठनीय (Machine-readable) प्रारूप में बदलने में मदद करता है ताकि आगे की प्रोसेसिंग, जैसे विश्लेषण या मॉडलिंग, की जा सके।