[ചൈന, ഷെൻഷെൻ, ജൂലൈ 14, 2023] ഇന്ന്, വൻകിട മോഡലുകളുടെ കാലഘട്ടത്തിനായി Huawei അതിൻ്റെ പുതിയ AI സ്റ്റോറേജ് സൊല്യൂഷൻ അനാച്ഛാദനം ചെയ്തു, അടിസ്ഥാന മോഡൽ പരിശീലനത്തിനും വ്യവസായ-നിർദ്ദിഷ്‌ട മോഡൽ പരിശീലനത്തിനും സെഗ്‌മെൻ്റഡ് സാഹചര്യങ്ങളിലെ അനുമാനത്തിനും ഒപ്റ്റിമൽ സ്റ്റോറേജ് സൊല്യൂഷനുകൾ നൽകുന്നു. പുതിയ AI കഴിവുകൾ അഴിച്ചുവിടുന്നു.
വലിയ തോതിലുള്ള മോഡൽ ആപ്ലിക്കേഷനുകൾ വികസിപ്പിക്കുന്നതിലും നടപ്പിലാക്കുന്നതിലും, സംരംഭങ്ങൾ നാല് പ്രധാന വെല്ലുവിളികൾ അഭിമുഖീകരിക്കുന്നു:
ഒന്നാമതായി, ഡാറ്റ തയ്യാറാക്കുന്നതിന് ആവശ്യമായ സമയം ദൈർഘ്യമേറിയതാണ്, ഡാറ്റ സ്രോതസ്സുകൾ ചിതറിക്കിടക്കുന്നു, അഗ്രഗേഷൻ മന്ദഗതിയിലാണ്, നൂറുകണക്കിന് ടെറാബൈറ്റ് ഡാറ്റ പ്രീപ്രോസസ് ചെയ്യുന്നതിന് ഏകദേശം 10 ദിവസമെടുക്കും. രണ്ടാമതായി, വലിയ ടെക്‌സ്‌റ്റുകളും ഇമേജ് ഡാറ്റാസെറ്റുകളുമുള്ള മൾട്ടി-മോഡൽ വലിയ മോഡലുകൾക്ക്, വലിയ ചെറിയ ഫയലുകൾക്കുള്ള നിലവിലെ ലോഡിംഗ് വേഗത 100MB/s-ൽ താഴെയാണ്, ഇത് പരിശീലന സെറ്റ് ലോഡിംഗിന് കുറഞ്ഞ കാര്യക്ഷമത നൽകുന്നു. മൂന്നാമതായി, വലിയ മോഡലുകൾക്കായുള്ള പതിവ് പാരാമീറ്റർ ക്രമീകരണങ്ങൾ, അസ്ഥിരമായ പരിശീലന പ്ലാറ്റ്‌ഫോമുകൾ, ഏകദേശം 2 ദിവസത്തിലൊരിക്കൽ പരിശീലന തടസ്സങ്ങൾക്ക് കാരണമാകുന്നു, പരിശീലനം പുനരാരംഭിക്കാൻ ചെക്ക്‌പോയിൻ്റ് മെക്കാനിസം ആവശ്യമാണ്, വീണ്ടെടുക്കൽ ഒരു ദിവസത്തിൽ കൂടുതൽ എടുക്കും. അവസാനമായി, വലിയ മോഡലുകൾ, സങ്കീർണ്ണമായ സിസ്റ്റം സജ്ജീകരണം, റിസോഴ്‌സ് ഷെഡ്യൂളിംഗ് വെല്ലുവിളികൾ, ജിപിയു റിസോഴ്‌സ് വിനിയോഗം എന്നിവയ്‌ക്കായുള്ള ഉയർന്ന നിർവ്വഹണ പരിധികൾ പലപ്പോഴും 40% ൽ താഴെയാണ്.
വ്യത്യസ്‌ത വ്യവസായങ്ങൾക്കും സാഹചര്യങ്ങൾക്കും അനുയോജ്യമായ പരിഹാരങ്ങൾ വാഗ്‌ദാനം ചെയ്‌ത് വലിയ തോതിലുള്ള മോഡലുകളുടെ കാലഘട്ടത്തിലെ AI വികസനത്തിൻ്റെ പ്രവണതയ്‌ക്കൊപ്പം Huawei യോജിക്കുന്നു. ഇത് OceanStor A310 ഡീപ് ലേണിംഗ് ഡാറ്റാ ലേക്ക് സ്റ്റോറേജും FusionCube A3000 ട്രെയിനിംഗ്/ഇൻഫറൻസ് സൂപ്പർ-കൺവേർജ്ഡ് അപ്ലയൻസും അവതരിപ്പിക്കുന്നു. OceanStor A310 Deep Learning Data Lake Storage അടിസ്ഥാനപരവും വ്യാവസായിക തലത്തിലുള്ളതുമായ വലിയ മോഡൽ ഡാറ്റാ തടാക സാഹചര്യങ്ങൾ ലക്ഷ്യമിടുന്നു, ഡാറ്റ അഗ്രഗേഷനിൽ നിന്ന് സമഗ്രമായ AI ഡാറ്റ മാനേജുമെൻ്റ് കൈവരിക്കുന്നു, മോഡൽ പരിശീലനത്തിലേക്കുള്ള പ്രീപ്രോസസിംഗ്, അനുമാന ആപ്ലിക്കേഷനുകൾ. OceanStor A310, ഒരൊറ്റ 5U റാക്കിൽ, വ്യവസായ-പ്രമുഖ 400GB/s ബാൻഡ്‌വിഡ്‌ത്തും 12 ദശലക്ഷം IOPS വരെ പിന്തുണയ്ക്കുന്നു, 4096 നോഡുകൾ വരെ ലീനിയർ സ്‌കേലബിളിറ്റി, തടസ്സമില്ലാത്ത ക്രോസ് പ്രോട്ടോക്കോൾ ആശയവിനിമയം സാധ്യമാക്കുന്നു. ഗ്ലോബൽ ഫയൽ സിസ്റ്റം (GFS) പ്രദേശങ്ങളിലുടനീളം ഇൻ്റലിജൻ്റ് ഡാറ്റ നെയ്ത്ത്, ഡാറ്റ അഗ്രഗേഷൻ പ്രക്രിയകൾ കാര്യക്ഷമമാക്കുന്നു. നിയർ-സ്റ്റോറേജ് കമ്പ്യൂട്ടിംഗ്, ഡേറ്റയ്ക്ക് സമീപമുള്ള പ്രീപ്രോസസിംഗ്, ഡാറ്റാ ചലനം കുറയ്ക്കൽ, പ്രീപ്രോസസിംഗ് കാര്യക്ഷമത 30% മെച്ചപ്പെടുത്തൽ എന്നിവ മനസ്സിലാക്കുന്നു.
വ്യാവസായിക തലത്തിലുള്ള വലിയ മോഡൽ പരിശീലനം/അനുമാനം സാഹചര്യങ്ങൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഫ്യൂഷൻക്യൂബ് എ3000 ട്രെയിനിംഗ്/ഇൻഫറൻസ് സൂപ്പർ-കൺവേർജ്ഡ് അപ്ലയൻസ്, കോടിക്കണക്കിന് പാരാമീറ്ററുകളുള്ള മോഡലുകൾ ഉൾപ്പെടുന്ന ആപ്ലിക്കേഷനുകൾ നൽകുന്നു. OceanStor A300 ഹൈ-പെർഫോമൻസ് സ്റ്റോറേജ് നോഡുകൾ, ട്രെയിനിംഗ്/ഇൻഫറൻസ് നോഡുകൾ, സ്വിച്ചിംഗ് ഉപകരണങ്ങൾ, AI പ്ലാറ്റ്‌ഫോം സോഫ്‌റ്റ്‌വെയർ, മാനേജ്‌മെൻ്റ്, ഓപ്പറേഷൻ സോഫ്‌റ്റ്‌വെയർ എന്നിവ ഇത് സമന്വയിപ്പിക്കുന്നു, വലിയ മോഡൽ പങ്കാളികൾക്ക് ഒറ്റത്തവണ ഡെലിവറിക്ക് പ്ലഗ്-ആൻഡ്-പ്ലേ വിന്യാസ അനുഭവം നൽകുന്നു. ഉപയോഗിക്കാൻ തയ്യാറാണ്, ഇത് 2 മണിക്കൂറിനുള്ളിൽ വിന്യസിക്കാനാകും. വിവിധ മോഡൽ സ്കെയിൽ ആവശ്യകതകളുമായി പൊരുത്തപ്പെടുന്നതിന് പരിശീലന/അനുമാനം, സ്റ്റോറേജ് നോഡുകൾ എന്നിവ സ്വതന്ത്രമായും തിരശ്ചീനമായും വികസിപ്പിക്കാൻ കഴിയും. അതേസമയം, FusionCube A3000 GPU-കൾ പങ്കിടുന്നതിന് ഒന്നിലധികം മോഡൽ പരിശീലനവും അനുമാന ജോലികളും പ്രാപ്‌തമാക്കുന്നതിന് ഉയർന്ന പ്രകടനമുള്ള കണ്ടെയ്‌നറുകൾ ഉപയോഗിക്കുന്നു, വിഭവ വിനിയോഗം 40% ൽ നിന്ന് 70% ആയി വർദ്ധിപ്പിക്കുന്നു. FusionCube A3000 രണ്ട് ഫ്ലെക്സിബിൾ ബിസിനസ് മോഡലുകളെ പിന്തുണയ്ക്കുന്നു: Huawei Ascend One-Stop Solution, ഓപ്പൺ കംപ്യൂട്ടിംഗ്, നെറ്റ്‌വർക്കിംഗ്, AI പ്ലാറ്റ്‌ഫോം സോഫ്‌റ്റ്‌വെയർ എന്നിവയുള്ള മൂന്നാം കക്ഷി പങ്കാളി വൺ-സ്റ്റോപ്പ് സൊല്യൂഷൻ.
Huawei യുടെ ഡാറ്റ സ്റ്റോറേജ് പ്രൊഡക്റ്റ് ലൈനിൻ്റെ പ്രസിഡൻ്റ് Zhou Yuefeng പ്രസ്താവിച്ചു, “വലിയ മോഡലുകളുടെ കാലഘട്ടത്തിൽ, ഡാറ്റ AI ബുദ്ധിയുടെ ഉയരം നിർണ്ണയിക്കുന്നു. ഡാറ്റയുടെ കാരിയർ എന്ന നിലയിൽ, AI വലിയ തോതിലുള്ള മോഡലുകളുടെ പ്രധാന അടിസ്ഥാന ഇൻഫ്രാസ്ട്രക്ചറായി ഡാറ്റ സംഭരണം മാറുന്നു. AI വൻകിട മോഡലുകളുടെ കാലഘട്ടത്തിൽ വൈവിധ്യമാർന്ന പരിഹാരങ്ങളും ഉൽപ്പന്നങ്ങളും നൽകിക്കൊണ്ട് Huawei ഡാറ്റ സ്റ്റോറേജ് നവീകരണം തുടരും.
പോസ്റ്റ് സമയം: ഓഗസ്റ്റ്-01-2023
