മോഡൽ പരിശീലനത്തിലെ പ്രധാന തടസ്സമാകാൻ സ്റ്റോറേജ് അനുവദിക്കരുത്

ടെക്‌നോളജി കമ്പനികൾ ഒന്നുകിൽ GPU-കൾക്കായി നെട്ടോട്ടമോടുകയാണ് അല്ലെങ്കിൽ അവ സ്വന്തമാക്കാനുള്ള പാതയിലാണെന്ന് പറയപ്പെടുന്നു. ഏപ്രിലിൽ, ടെസ്‌ല സിഇഒ എലോൺ മസ്‌ക് 10,000 ജിപിയു വാങ്ങുകയും കമ്പനി എൻവിഡിയയിൽ നിന്ന് വലിയ അളവിൽ ജിപിയു വാങ്ങുന്നത് തുടരുമെന്ന് പ്രസ്താവിക്കുകയും ചെയ്തു. എൻ്റർപ്രൈസ് ഭാഗത്ത്, നിക്ഷേപത്തിൽ നിന്നുള്ള വരുമാനം പരമാവധി വർദ്ധിപ്പിക്കുന്നതിന് GPU-കൾ നിരന്തരം ഉപയോഗിക്കുന്നുവെന്ന് ഉറപ്പാക്കാൻ ഐടി ഉദ്യോഗസ്ഥർ കഠിനമായി പരിശ്രമിക്കുന്നു. എന്നിരുന്നാലും, ചില കമ്പനികൾ GPU-കളുടെ എണ്ണം വർദ്ധിക്കുമ്പോൾ, GPU നിഷ്‌ക്രിയത്വം കൂടുതൽ രൂക്ഷമാകുമെന്ന് കണ്ടെത്തിയേക്കാം.

ഹൈ-പെർഫോമൻസ് കമ്പ്യൂട്ടിംഗിനെക്കുറിച്ച് (എച്ച്പിസി) ചരിത്രം നമ്മെ എന്തെങ്കിലും പഠിപ്പിച്ചിട്ടുണ്ടെങ്കിൽ, കമ്പ്യൂട്ടേഷനിൽ വളരെയധികം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നതിൻ്റെ ചെലവിൽ സംഭരണവും നെറ്റ്‌വർക്കിംഗും ബലിയർപ്പിക്കരുത് എന്നതാണ്. സംഭരണത്തിന് കമ്പ്യൂട്ടിംഗ് യൂണിറ്റുകളിലേക്ക് ഡാറ്റ കാര്യക്ഷമമായി കൈമാറാൻ കഴിയുന്നില്ലെങ്കിൽ, നിങ്ങൾക്ക് ലോകത്തിലെ ഏറ്റവും കൂടുതൽ GPU-കൾ ഉണ്ടെങ്കിൽപ്പോലും, നിങ്ങൾക്ക് ഒപ്റ്റിമൽ കാര്യക്ഷമത കൈവരിക്കാൻ കഴിയില്ല.

സ്മോൾ വേൾഡ് ബിഗ് ഡാറ്റയിലെ അനലിസ്റ്റായ മൈക്ക് മാച്ചെറ്റ് പറയുന്നതനുസരിച്ച്, ചെറിയ മോഡലുകൾ മെമ്മറിയിൽ (റാം) എക്സിക്യൂട്ട് ചെയ്യാൻ കഴിയും, ഇത് കണക്കുകൂട്ടലിൽ കൂടുതൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ അനുവദിക്കുന്നു. എന്നിരുന്നാലും, കോടിക്കണക്കിന് നോഡുകളുള്ള ChatGPT പോലുള്ള വലിയ മോഡലുകൾക്ക് ഉയർന്ന വില കാരണം മെമ്മറിയിൽ സൂക്ഷിക്കാൻ കഴിയില്ല.

"നിങ്ങൾക്ക് മെമ്മറിയിൽ ശതകോടിക്കണക്കിന് നോഡുകൾ ഉൾക്കൊള്ളാൻ കഴിയില്ല, അതിനാൽ സംഭരണം കൂടുതൽ പ്രാധാന്യമർഹിക്കുന്നു," മാച്ചെറ്റ് പറയുന്നു. നിർഭാഗ്യവശാൽ, ആസൂത്രണ പ്രക്രിയയിൽ ഡാറ്റ സംഭരണം പലപ്പോഴും അവഗണിക്കപ്പെടുന്നു.

പൊതുവേ, ഉപയോഗ കേസ് പരിഗണിക്കാതെ തന്നെ, മോഡൽ പരിശീലന പ്രക്രിയയിൽ നാല് പൊതു പോയിൻ്റുകൾ ഉണ്ട്:

1. മാതൃകാ പരിശീലനം
2. അനുമാന അപേക്ഷ
3. ഡാറ്റ സംഭരണം
4. ത്വരിതപ്പെടുത്തിയ കമ്പ്യൂട്ടിംഗ്

മോഡലുകൾ സൃഷ്ടിക്കുകയും വിന്യസിക്കുകയും ചെയ്യുമ്പോൾ, മിക്ക ആവശ്യകതകളും ക്വിക്ക് പ്രൂഫ്-ഓഫ്-കൺസെപ്റ്റ് (പിഒസി) അല്ലെങ്കിൽ മോഡൽ പരിശീലനം ആരംഭിക്കുന്നതിനുള്ള ടെസ്റ്റിംഗ് പരിതസ്ഥിതികൾ എന്നിവയ്ക്ക് മുൻഗണന നൽകുന്നു, ഡാറ്റ സംഭരണത്തിന് ഉയർന്ന പരിഗണന നൽകേണ്ടതില്ല.

എന്നിരുന്നാലും, പരിശീലനമോ അനുമാന വിന്യാസമോ മാസങ്ങളോ വർഷങ്ങളോ നീണ്ടുനിൽക്കുമെന്ന വസ്തുതയിലാണ് വെല്ലുവിളി. ഈ സമയത്ത് പല കമ്പനികളും അവരുടെ മോഡൽ വലുപ്പങ്ങൾ അതിവേഗം വർദ്ധിപ്പിക്കുന്നു, വളരുന്ന മോഡലുകളും ഡാറ്റാസെറ്റുകളും ഉൾക്കൊള്ളുന്നതിനായി ഇൻഫ്രാസ്ട്രക്ചർ വിപുലീകരിക്കേണ്ടതുണ്ട്.

ദശലക്ഷക്കണക്കിന് ML പരിശീലന വർക്ക്ലോഡുകളെക്കുറിച്ചുള്ള Google-ൽ നിന്നുള്ള ഗവേഷണം, പരിശീലന സമയത്തിൻ്റെ ശരാശരി 30% ഇൻപുട്ട് ഡാറ്റ പൈപ്പ്ലൈനിനായി ചെലവഴിക്കുന്നതായി വെളിപ്പെടുത്തുന്നു. പരിശീലനം വേഗത്തിലാക്കാൻ GPU-കൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിൽ മുൻകാല ഗവേഷണങ്ങൾ ശ്രദ്ധ കേന്ദ്രീകരിച്ചിട്ടുണ്ടെങ്കിലും, ഡാറ്റ പൈപ്പ്ലൈനിൻ്റെ വിവിധ ഭാഗങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിൽ നിരവധി വെല്ലുവിളികൾ ഇപ്പോഴും നിലനിൽക്കുന്നുണ്ട്. നിങ്ങൾക്ക് കാര്യമായ കമ്പ്യൂട്ടേഷണൽ പവർ ഉള്ളപ്പോൾ, ഫലങ്ങൾ ലഭിക്കുന്നതിന് നിങ്ങൾക്ക് എത്ര വേഗത്തിൽ കണക്കുകൂട്ടലുകളിലേക്ക് ഡാറ്റ നൽകാമെന്നതാണ് യഥാർത്ഥ തടസ്സം.

പ്രത്യേകിച്ചും, ഡാറ്റ സംഭരണത്തിലും മാനേജ്‌മെൻ്റിലുമുള്ള വെല്ലുവിളികൾക്ക് ഡാറ്റാ വളർച്ചയ്‌ക്കായി ആസൂത്രണം ആവശ്യമാണ്, ഇത് നിങ്ങൾ പുരോഗമിക്കുമ്പോൾ ഡാറ്റയുടെ മൂല്യം തുടർച്ചയായി എക്‌സ്‌ട്രാക്റ്റുചെയ്യാൻ നിങ്ങളെ അനുവദിക്കുന്നു, പ്രത്യേകിച്ചും ആഴത്തിലുള്ള പഠനവും ന്യൂറൽ നെറ്റ്‌വർക്കുകളും പോലുള്ള കൂടുതൽ നൂതനമായ ഉപയോഗ കേസുകളിലേക്ക് നിങ്ങൾ കടക്കുമ്പോൾ, ഉയർന്ന ആവശ്യങ്ങൾ ശേഷി, പ്രകടനം, സ്കേലബിളിറ്റി എന്നിവയുടെ അടിസ്ഥാനത്തിൽ സംഭരണം.

പ്രത്യേകിച്ച്:

സ്കേലബിളിറ്റി
മെഷീൻ ലേണിംഗിന് വലിയ അളവിലുള്ള ഡാറ്റ കൈകാര്യം ചെയ്യേണ്ടതുണ്ട്, കൂടാതെ ഡാറ്റയുടെ അളവ് വർദ്ധിക്കുന്നതിനനുസരിച്ച് മോഡലുകളുടെ കൃത്യതയും മെച്ചപ്പെടുന്നു. ബിസിനസുകൾ എല്ലാ ദിവസവും കൂടുതൽ ഡാറ്റ ശേഖരിക്കുകയും സംഭരിക്കുകയും വേണം എന്നാണ് ഇതിനർത്ഥം. സ്‌റ്റോറേജ് സ്‌കെയിൽ ചെയ്യാൻ കഴിയാത്തപ്പോൾ, ഡാറ്റാ-ഇൻ്റൻസീവ് വർക്ക്‌ലോഡുകൾ തടസ്സങ്ങൾ സൃഷ്ടിക്കുകയും പ്രകടനത്തെ പരിമിതപ്പെടുത്തുകയും ചെലവേറിയ ജിപിയു നിഷ്‌ക്രിയ സമയത്തിന് കാരണമാവുകയും ചെയ്യുന്നു.

വഴക്കം
വിവിധ സിസ്റ്റങ്ങളുടെ ആവശ്യങ്ങൾ നിറവേറ്റുന്നതിന്, വിവിധ പ്രോട്ടോക്കോളുകൾക്ക് (NFS, SMB, HTTP, FTP, HDFS, S3 എന്നിവയുൾപ്പെടെ) ഫ്ലെക്സിബിൾ പിന്തുണ ആവശ്യമാണ്.

ലേറ്റൻസി
ഡാറ്റ ഒന്നിലധികം തവണ വായിക്കുകയും വീണ്ടും വായിക്കുകയും ചെയ്യുന്നതിനാൽ മോഡലുകൾ നിർമ്മിക്കുന്നതിനും ഉപയോഗിക്കുന്നതിനും I/O ലേറ്റൻസി നിർണായകമാണ്. I/O ലേറ്റൻസി കുറയ്ക്കുന്നത് മോഡലുകളുടെ പരിശീലന സമയം ദിവസങ്ങളോ മാസങ്ങളോ കുറയ്ക്കും. വേഗത്തിലുള്ള മോഡൽ വികസനം കൂടുതൽ ബിസിനസ്സ് നേട്ടങ്ങളിലേക്ക് നേരിട്ട് വിവർത്തനം ചെയ്യുന്നു.

ത്രൂപുട്ട്
കാര്യക്ഷമമായ മോഡൽ പരിശീലനത്തിന് സ്റ്റോറേജ് സിസ്റ്റങ്ങളുടെ ത്രോപുട്ട് നിർണായകമാണ്. പരിശീലന പ്രക്രിയകളിൽ വലിയ അളവിലുള്ള ഡാറ്റ ഉൾപ്പെടുന്നു, സാധാരണയായി മണിക്കൂറിൽ ടെറാബൈറ്റുകൾ.

സമാന്തര പ്രവേശനം
ഉയർന്ന ത്രൂപുട്ട് നേടുന്നതിന്, പരിശീലന മോഡലുകൾ പ്രവർത്തനങ്ങളെ ഒന്നിലധികം സമാന്തര ടാസ്ക്കുകളായി വിഭജിക്കുന്നു. മെഷീൻ ലേണിംഗ് അൽഗോരിതങ്ങൾ ഒരേ സമയം ഒന്നിലധികം പ്രക്രിയകളിൽ നിന്ന് (ഒന്നിലധികം ഫിസിക്കൽ സെർവറുകളിൽ) ഒരേ ഫയലുകൾ ആക്സസ് ചെയ്യുന്നു എന്നാണ് ഇതിനർത്ഥം. സ്റ്റോറേജ് സിസ്റ്റം പ്രകടനത്തിൽ വിട്ടുവീഴ്ച ചെയ്യാതെ ഒരേസമയം ആവശ്യങ്ങൾ കൈകാര്യം ചെയ്യണം.

കുറഞ്ഞ ലേറ്റൻസി, ഉയർന്ന ത്രൂപുട്ട്, വലിയ തോതിലുള്ള പാരലൽ I/O എന്നിവയിൽ മികച്ച കഴിവുകൾ ഉള്ളതിനാൽ, GPU-ത്വരിതപ്പെടുത്തിയ കമ്പ്യൂട്ടിംഗിന് അനുയോജ്യമായ ഒരു സംഭരണ ​​പൂരകമാണ് Dell PowerScale. മൾട്ടി-ടെറാബൈറ്റ് ഡാറ്റാസെറ്റുകൾ പരിശീലിപ്പിക്കുകയും പരീക്ഷിക്കുകയും ചെയ്യുന്ന വിശകലന മോഡലുകൾക്ക് ആവശ്യമായ സമയം PowerScale ഫലപ്രദമായി കുറയ്ക്കുന്നു. PowerScale ഓൾ-ഫ്ലാഷ് സ്റ്റോറേജിൽ, ബാൻഡ്‌വിഡ്ത്ത് 18 മടങ്ങ് വർദ്ധിക്കുന്നു, I/O തടസ്സങ്ങൾ ഇല്ലാതാക്കുന്നു, കൂടാതെ ഘടനാരഹിതമായ വലിയ അളവിലുള്ള ഡാറ്റയുടെ മൂല്യം ത്വരിതപ്പെടുത്തുന്നതിനും അൺലോക്ക് ചെയ്യുന്നതിനും നിലവിലുള്ള ഐസിലോൺ ക്ലസ്റ്ററുകളിലേക്ക് ചേർക്കാനും കഴിയും.

കൂടാതെ, PowerScale-ൻ്റെ മൾട്ടി-പ്രോട്ടോക്കോൾ ആക്‌സസ് കഴിവുകൾ വർക്ക്ലോഡുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് പരിധിയില്ലാത്ത വഴക്കം നൽകുന്നു, ഇത് ഒരു പ്രോട്ടോക്കോൾ ഉപയോഗിച്ച് ഡാറ്റ സംഭരിക്കാനും മറ്റൊന്ന് ഉപയോഗിച്ച് ആക്സസ് ചെയ്യാനും അനുവദിക്കുന്നു. പ്രത്യേകിച്ചും, PowerScale പ്ലാറ്റ്‌ഫോമിൻ്റെ ശക്തമായ സവിശേഷതകൾ, വഴക്കം, സ്കേലബിളിറ്റി, എൻ്റർപ്രൈസ്-ഗ്രേഡ് പ്രവർത്തനം എന്നിവ ഇനിപ്പറയുന്ന വെല്ലുവിളികളെ നേരിടാൻ സഹായിക്കുന്നു:

- മോഡൽ പരിശീലന ചക്രം കുറയ്ക്കുന്നതിലൂടെ 2.7 മടങ്ങ് വരെ നവീകരണത്തെ ത്വരിതപ്പെടുത്തുക.

- I/O തടസ്സങ്ങൾ ഒഴിവാക്കി വേഗത്തിലുള്ള മോഡൽ പരിശീലനവും മൂല്യനിർണ്ണയവും, മെച്ചപ്പെട്ട മോഡൽ കൃത്യത, മെച്ചപ്പെടുത്തിയ ഡാറ്റാ സയൻസ് ഉൽപ്പാദനക്ഷമത, എൻ്റർപ്രൈസ്-ഗ്രേഡ് സവിശേഷതകൾ, ഉയർന്ന പ്രകടനം, കൺകറൻസി, സ്കേലബിളിറ്റി എന്നിവ പ്രയോജനപ്പെടുത്തി കമ്പ്യൂട്ടിംഗ് നിക്ഷേപങ്ങളിൽ പരമാവധി വരുമാനം നൽകുന്നു. ഒരൊറ്റ ക്ലസ്റ്ററിൽ 119 PB വരെ ഫലപ്രദമായ സംഭരണ ​​ശേഷി ഉപയോഗിച്ച് ആഴത്തിലുള്ളതും ഉയർന്ന റെസല്യൂഷനുള്ളതുമായ ഡാറ്റാസെറ്റുകൾ ഉപയോഗിച്ച് മോഡൽ കൃത്യത വർദ്ധിപ്പിക്കുക.

- ചെറുതും സ്വതന്ത്രവുമായ സ്കെയിലിംഗ് കമ്പ്യൂട്ടും സംഭരണവും ആരംഭിച്ച്, ശക്തമായ ഡാറ്റാ പരിരക്ഷയും സുരക്ഷാ ഓപ്ഷനുകളും നൽകിക്കൊണ്ട് സ്കെയിലിൽ വിന്യാസം നേടുക.

- വേഗമേറിയതും അപകടസാധ്യത കുറഞ്ഞതുമായ വിന്യാസങ്ങൾക്കായി ഇൻ-പ്ലേസ് അനലിറ്റിക്‌സും പ്രീ-വാലിഡേറ്റഡ് സൊല്യൂഷനുകളും ഉപയോഗിച്ച് ഡാറ്റാ സയൻസ് ഉൽപ്പാദനക്ഷമത മെച്ചപ്പെടുത്തുക.

- എൻവിഡിയ ജിപിയു ആക്‌സിലറേഷനും എൻവിഡിയ ഡിജിഎക്‌സ് സിസ്റ്റങ്ങളുള്ള റഫറൻസ് ആർക്കിടെക്‌ചറുകളും ഉൾപ്പെടെയുള്ള മികച്ച ബ്രീഡ് സാങ്കേതികവിദ്യകളെ അടിസ്ഥാനമാക്കിയുള്ള തെളിയിക്കപ്പെട്ട ഡിസൈനുകൾ പ്രയോജനപ്പെടുത്തുന്നു. PowerScale-ൻ്റെ ഉയർന്ന പ്രകടനവും കൺകറൻസിയും മെഷീൻ ലേണിംഗിൻ്റെ ഓരോ ഘട്ടത്തിലും, ഡാറ്റ ഏറ്റെടുക്കലും തയ്യാറാക്കലും മുതൽ മോഡൽ പരിശീലനവും അനുമാനവും വരെയുള്ള സ്റ്റോറേജ് പ്രകടന ആവശ്യകതകൾ നിറവേറ്റുന്നു. OneFS ഓപ്പറേറ്റിംഗ് സിസ്റ്റത്തിനൊപ്പം, എല്ലാ നോഡുകൾക്കും ഒരേ OneFS-ഡ്രൈവ് ക്ലസ്റ്ററിനുള്ളിൽ തടസ്സമില്ലാതെ പ്രവർത്തിക്കാൻ കഴിയും, പ്രകടന മാനേജ്മെൻ്റ്, ഡാറ്റാ മാനേജ്മെൻ്റ്, സെക്യൂരിറ്റി, ഡാറ്റ പ്രൊട്ടക്ഷൻ തുടങ്ങിയ എൻ്റർപ്രൈസ്-ലെവൽ ഫീച്ചറുകൾ, ബിസിനസ്സുകൾക്കുള്ള മോഡൽ പരിശീലനവും മൂല്യനിർണ്ണയവും വേഗത്തിൽ പൂർത്തിയാക്കാൻ പ്രാപ്തമാക്കുന്നു.