TNPSC G2-பெரும் தரவு பகுப்பாராய்ச்சி முறை என்றால் என்ன? அதன் பயன்கள் , செயல்பாடுகள் குறித்து எழுதுக

What is Big Data? Big Data Analytics , uses and applications of Big Data.

பிக் டேட்டா என்பது ஒவ்வொரு நாளும் நாம் நீந்திக் கொண்டிருக்கும் தகவல்களின் பெருங்கடலாகும் - நமது கணினிகள், மொபைல் சாதனங்கள் மற்றும் இயந்திர உணரிகள் ஆகியவற்றிலிருந்து பரந்த ஜெட்டாபைட்( zetabyte) தரவு பாயும். இந்தத் தரவு, முடிவுகளை எடுக்க, செயல்முறைகள் மற்றும் கொள்கைகளை மேம்படுத்த, வாடிக்கையாளர்களை மையமாகக் கொண்ட தயாரிப்புகள், சேவைகள் மற்றும் அனுபவங்களை உருவாக்க நிறுவனங்களால் பயன்படுத்தப்படுகிறது.

நாம் டிஜிட்டல் முறையில் கண்காணிக்கக்கூடிய பூமியில் எங்கிருந்தும், எதிலிருந்தும் பிக் டேட்டா வரலாம்.வானிலை செயற்கைக்கோள்கள், இன்டர்நெட் ஆஃப் திங்ஸ் (IoT) சாதனங்கள், ட்ராஃபிக் கேமராக்கள், சமூக ஊடகப் போக்குகள் - இவை வணிகங்களை மிகவும் நெகிழ்ச்சியுடனும் போட்டித்தன்மையுடனும் மாற்றுவதற்காக தரவுகள் பகுப்பாய்வு செய்யப்படும்.

பெரும் தரவை ஆங்கிலத்தில் பொதுவாக V4 பண்பை கொண்டு விவரிப்பாா்கள்

→ பெரும் தொகுதிகளை கொண்ட தரவுகள் (Volume),

→ பலவிதமான தரவுகள் (Variety)- ஆடியோ, வீடியோ, படங்கள், கோப்புகள்

→ அனைத்து திசையில் இருந்தும் வேகமாக குவியும் தரவுகள் (Velocity), மற்றும்

→ உண்மைத் தன்மைகள் கொண்ட தரவுகள் (Veracity).

பிக் டேட்டாவின்( Big Data) உண்மையான மதிப்பு, அதை நீங்கள் எந்த அளவிற்கு பகுப்பாய்வு செய்து புரிந்து கொள்ள முடியும் என்பதன் மூலம் அளவிடப்படுகிறது.

செயற்கை நுண்ணறிவு (Artificial Intelligence), இயந்திர கற்றல் மற்றும் நவீன தரவுத்தள தொழில்நுட்பங்கள், பெரிய தரவு காட்சிப்படுத்தல் மற்றும் பகுப்பாய்வு ஆகியவற்றை உண்மையான நேரத்தில் செயல்படுத்தக்கூடிய நுண்ணறிவுகளை வழங்க அனுமதிக்கின்றன.

Big Data வைப் பற்றி ஆய்வாளரான ஜெஃப்ரி மூர், "பெரிய தரவு பகுப்பாய்வு இல்லாமல், நிறுவனங்கள் குருடர்களாகவும் செவிடாகவும் இருக்கின்றன, தனிவழிப்பாதையில் மான்களைப் போல வலையில் அலைந்து திரிகின்றன" என்று பொருத்தமாக கூறினார்.

64.2 ஜெட்டாபைட்டுகள்

2020 இல் உருவாக்கப்பட்ட டிஜிட்டல் தரவு

கட்டமைக்கப்பட்ட தரவு:( Structured Data)

இந்த வகையான தரவு ஒழுங்கமைக்கவும் தேடவும் மிகவும் எளிமையானது. இது நிதி தரவு, இயந்திர பதிவுகள் மற்றும் மக்கள்தொகை விவரங்கள் போன்றவற்றை உள்ளடக்கியிருக்கலாம். ஒரு எக்செல் விரிதாள், நிர்வாகிகள் தேடல் மற்றும் பகுப்பாய்வுக்கான எளிய வழிமுறைகளை வரையறுக்க அனுமதிக்கிறது. கட்டமைக்கப்பட்ட தரவு மிகப்பெரிய அளவில் இருந்தாலும், நிர்வகிக்க ஒப்பீட்டளவில் எளிமையானது .

(SQL) எனப்படும் நிரலாக்க மொழியைப் பயன்படுத்துகின்றன.

சமூக தரவு ( Social media data)

ஒலிகளைப் போலவே, சமூக ஊடக கருத்துகள், இடுகைகள், படங்கள் மற்றும், பெருகிய முறையில், வீடியோ மூலம் சமூகத் தரவு உருவாக்கப்படுகிறது. மேலும் 4G மற்றும் 5G செல்லுலார் நெட்வொர்க்குகளின் உலகளாவிய ரீதியில் எங்கும் பரவி வருவதால், 2023 ஆம் ஆண்டுக்குள் தங்கள் ஸ்மார்ட்போன்களில் வீடியோ உள்ளடக்கத்தை தொடர்ந்து பார்க்கும் உலகில் உள்ளவர்களின் எண்ணிக்கை 2.72 பில்லியனாக உயரும் என்று மதிப்பிடப்பட்டுள்ளது .

இயந்திர தரவு( Machine data)

IoT சாதனங்கள் மற்றும் இயந்திரங்களில் சென்சார்கள் பொருத்தப்பட்டு டிஜிட்டல் தரவை அனுப்பும் /பெறும் திறன் உள்ளது. வணிகம் முழுவதும் உள்ள சாதனங்கள், வாகனங்கள் மற்றும் உபகரணங்களிலிருந்து இயந்திரத் தரவைச் சேகரித்து செயலாக்க நிறுவனங்களுக்கு IoT சென்சார்கள் உதவுகின்றன.

உலகளவில், வானிலை மற்றும் ட்ராஃபிக் சென்சார்கள் முதல் பாதுகாப்பு கண்காணிப்பு வரை தரவு உருவாக்கும் விஷயங்களின் எண்ணிக்கை வேகமாக வளர்ந்து வருகிறது. 2025 ஆம் ஆண்டளவில் பூமியில் 40 பில்லியனுக்கும் அதிகமான IoT சாதனங்கள் இருக்கும் என்று IDC மதிப்பிட்டுள்ளது, இது உலகின் மொத்த டிஜிட்டல் தரவுகளில் பாதியை உருவாக்கும்.

பரிவர்த்தனை தரவு( Transactional Data)

இது உலகின் மிக வேகமாக நகரும் மற்றும் வளரும் தரவுகளில் சில.

எடுத்துக்காட்டாக, ஒரு பெரிய சர்வதேச சில்லறை விற்பனையாளர் ஒவ்வொரு மணி நேரத்திற்கும் ஒரு மில்லியன் வாடிக்கையாளர் பரிவர்த்தனைகளைச் செயல்படுத்துவதாக அறியப்படுகிறது. உலகின் அனைத்து வாங்குதல் மற்றும் வங்கிப் பரிவர்த்தனைகளையும் நீங்கள் சேர்க்கும்போது, ​​உருவாக்கப்படும் தரவுகளின் அதிர்ச்சியூட்டும் அளவைப் பற்றிய படத்தைப் பெறுவீர்கள்.

மேலும், பரிவர்த்தனை தரவு பெருகிய முறையில் அரை-கட்டமைக்கப்பட்ட தரவைக் ( semi_ structured data)கொண்டுள்ளது, இதில் படங்கள் மற்றும் கருத்துகள் போன்றவை அடங்கும், இது நிர்வகிப்பதற்கும் செயலாக்குவதற்கும் மிகவும் சிக்கலானதாக ஆக்குகிறது.

துல்லியமாகவும், பொருத்தமானதாகவும், சரியான நேரத்தில் இருந்தால் மட்டுமே மதிப்புமிக்கதாக இருக்கும்.

கட்டமைக்கப்படாத தரவுகளுடன், ( unstructured data)

உண்மைத்தன்மை சவாலானது.

பெரும் தரவின் பயன்கள்:

பிக் டேட்டா பகுப்பாய்விலிருந்து வரும் முடிவுகள் பெரும்பாலும் கவர்ச்சிகரமானவை மற்றும் எதிர்பாராதவை.

வணிகங்களுக்கு, பிக் டேட்டா அனலிட்டிக்ஸ் நுண்ணறிவுகளை வழங்குகிறது.

வணிகங்கள் மிகவும் போட்டித்தன்மையுடனும், நெகிழ்ச்சியுடனும் இருக்க உதவும் - மேலும் அவர்களின் வாடிக்கையாளர்களுக்குச் சிறப்பாகச் சேவை செய்ய உதவும்.

நவீன பிக் டேட்டா தொழில்நுட்பங்கள், தரவைச் சேகரித்து மீட்டெடுப்பதற்கான திறனை அதிகரிக்கின்றன. இது அடிமட்ட மற்றும் செயல்பாட்டு பின்னடைவு ஆகிய இரண்டிற்கும் அளவிடக்கூடிய நன்மைகளை வழங்க முடியும்.

செலவு சேமிப்பு மற்றும் அதிக செயல்திறன்: வணிகங்கள் தங்கள் நிறுவனத்தில் உள்ள அனைத்து செயல்முறைகளிலும் மேம்பட்ட பிக் டேட்டா பகுப்பாய்வுகளைப் பயன்படுத்தும்போது, ​​அவர்கள் திறமையின்மைகளைக் கண்டறிவது மட்டுமல்லாமல், விரைவான மற்றும் பயனுள்ள தீர்வுகளைச் செயல்படுத்த முடியும்.

மேம்படுத்தப்பட்ட போட்டித்திறன்: பிக் டேட்டாவிலிருந்து பெறப்பட்ட நுண்ணறிவு நிறுவனங்கள் பணத்தைச் சேமிக்கவும், வாடிக்கையாளர்களைப் பிரியப்படுத்தவும், சிறந்த தயாரிப்புகளை உருவாக்கவும், வணிகச் செயல்பாடுகளை புதுமைப்படுத்தவும் உதவும்.

தயாரிப்பு மற்றும் சேவை மேம்பாடு: வாடிக்கையாளர் மதிப்புரைகள் மற்றும் கலாச்சாரப் போக்குகள் போன்ற கட்டமைக்கப்படாத தரவை பகுப்பாய்வு செய்து விரைவாக பதிலளிக்க தயாரிப்பு டெவலப்பர்களை பிக் டேட்டா பகுப்பாய்வு அனுமதிக்கிறது.

முன்கணிப்பு பராமரிப்பு: ஒரு சர்வதேச ஆய்வில் , IoT-இயக்கப்பட்ட இயந்திரங்களிலிருந்து பிக் டேட்டாவின் பகுப்பாய்வு உபகரண பராமரிப்பு செலவுகளை 40% வரை குறைத்ததாக மெக்கின்சி கண்டறிந்தார்.

வாடிக்கையாளர் அனுபவம்: உலகளாவிய வணிகத் தலைவர்களின் 2020 கணக்கெடுப்பில் , கார்ட்னர் "வளர்ந்து வரும் நிறுவனங்கள் வளர்ச்சியடையாத நிறுவனங்களை விட வாடிக்கையாளர் அனுபவத் தரவை மிகவும் தீவிரமாகச் சேகரிக்கின்றன" என்று தீர்மானித்தார். இந்த பிக் டேட்டாவை பகுப்பாய்வு செய்வதன் மூலம் வணிகங்கள் தங்கள் வாடிக்கையாளர்களின் பிராண்டு அனுபவத்தை மேம்படுத்தவும் தனிப்பயனாக்கவும் அனுமதிக்கிறது.

பின்னடைவு மற்றும் இடர் மேலாண்மை:

பல வணிகத் தலைவர்களுக்கு COVID-19 தொற்றுநோய் ஒரு கூர்மையான விழிப்புணர்வை ஏற்படுத்தியது, ஏனெனில் அவர்களின் செயல்பாடுகள் எந்தளவுக்கு இடையூறு விளைவிக்கும் என்பதை அவர்கள் உணர்ந்தனர். பிக் டேட்டா நுண்ணறிவு நிறுவனங்களுக்கு ஆபத்தை எதிர்பார்க்கவும், எதிர்பாராத நிகழ்வுகளுக்குத் தயாராகவும் உதவும்.

அமேசான் விளைவு என்பது அமேசான் எவ்வாறு அடுத்த நாள் டெலிவரி எதிர்பார்ப்புகளுக்கு பட்டியை அமைத்துள்ளது என்பதை விவரிக்கிறது, வாடிக்கையாளர்கள் இப்போது ஆன்லைனில் ஆர்டர் செய்யும் எதற்கும் அந்த வகையான ஷிப்பிங் வேகத்தை கோருகிறார்கள். அமேசான் விளைவின் நேரடி விளைவாக, "'கடைசி மைல்' தளவாடப் பந்தயம் மிகவும் போட்டித்தன்மையுடன் வளரும்" என்று தொழில்முனைவோர் பத்திரிகை சுட்டிக்காட்டுகிறது.

லாஜிஸ்டிக்ஸ் நிறுவனங்கள், பாதை திட்டமிடல், சுமை ஒருங்கிணைப்பு மற்றும் எரிபொருள் திறன் நடவடிக்கைகளை மேம்படுத்துவதற்கு பிக் டேட்டா பகுப்பாய்வுகளை அதிகளவில் நம்பியுள்ளன.

கல்வி

தொற்றுநோய்களின் போது, ​​உலகெங்கிலும் உள்ள கல்வி நிறுவனங்கள் தொலைதூரக் கற்றலை ஆதரிக்க தங்கள் பாடத்திட்டங்கள் மற்றும் கற்பித்தல் முறைகளை மீண்டும் கண்டுபிடிக்க வேண்டும். மாணவர்களின் செயல்திறன் மற்றும் ஆன்லைன் கற்பித்தல் முறைகளின் ஒட்டுமொத்த செயல்திறனை பகுப்பாய்வு செய்வதற்கும் மதிப்பிடுவதற்கும் நம்பகமான வழிகளைக் கண்டறிவது இந்த செயல்முறைக்கு ஒரு பெரிய சவாலாக உள்ளது.

"கல்வியைத் தனிப்பயனாக்குதல், கலப்புக் கற்றலை மேம்படுத்துதல், மதிப்பீட்டு முறைகளை மாற்றுதல் மற்றும் வாழ்நாள் முழுவதும் கற்றலை ஊக்குவிப்பதில் பெரிய தரவு அவர்களுக்கு அதிக நம்பிக்கையை அளிக்கிறது."