[China, Shenzhen, Hulyo 14, 2023] Ngayon, inilabas ng Huawei ang bago nitong AI storage solution para sa panahon ng mga malalaking modelo, na nagbibigay ng pinakamainam na solusyon sa storage para sa basic model training, industry-specific na model training, at inference sa mga segment na sitwasyon, kaya pagpapakawala ng mga bagong kakayahan sa AI.
Sa pagbuo at pagpapatupad ng malakihang mga aplikasyon ng modelo, nahaharap ang mga negosyo sa apat na pangunahing hamon:
Una, ang oras na kinakailangan para sa paghahanda ng data ay mahaba, ang mga pinagmumulan ng data ay nakakalat, at ang pagsasama-sama ay mabagal, na tumatagal ng humigit-kumulang 10 araw para sa paunang pagproseso ng daan-daang terabytes ng data. Pangalawa, para sa mga multi-modal na malalaking modelo na may napakalaking mga dataset ng text at larawan, ang kasalukuyang bilis ng paglo-load para sa napakalaking maliliit na file ay mas mababa sa 100MB/s, na nagreresulta sa mababang kahusayan para sa pag-load ng set ng pagsasanay. Pangatlo, ang madalas na pagsasaayos ng parameter para sa malalaking modelo, kasama ang hindi matatag na mga platform ng pagsasanay, ay nagdudulot ng mga pagkaantala sa pagsasanay nang humigit-kumulang bawat 2 araw, na nangangailangan ng mekanismo ng Checkpoint na ipagpatuloy ang pagsasanay, na tumatagal ng higit sa isang araw. Panghuli, ang mga mataas na threshold ng pagpapatupad para sa malalaking modelo, kumplikadong pag-setup ng system, mga hamon sa pag-iiskedyul ng mapagkukunan, at paggamit ng mapagkukunan ng GPU na kadalasang mababa sa 40%.
Ang Huawei ay umaayon sa takbo ng pagbuo ng AI sa panahon ng mga malalaking modelo, na nag-aalok ng mga solusyon na iniakma para sa iba't ibang industriya at mga senaryo. Ipinakilala nito ang OceanStor A310 Deep Learning Data Lake Storage at ang FusionCube A3000 Training/Inference Super-Converged Appliance. Ang OceanStor A310 Deep Learning Data Lake Storage ay nagta-target sa parehong basic at industriya-level na malalaking modelo ng data lake na mga senaryo, na nakakamit ng komprehensibong AI data management mula sa data aggregation, preprocessing hanggang sa model training, at inference application. Ang OceanStor A310, sa isang solong 5U rack, ay sumusuporta sa nangunguna sa industriya na 400GB/s bandwidth at hanggang 12 milyong IOPS, na may linear scalability hanggang 4096 node, na nagbibigay-daan sa tuluy-tuloy na cross-protocol na komunikasyon. Pinapadali ng Global File System (GFS) ang intelligent na data weaving sa mga rehiyon, na nag-streamline ng mga proseso ng pagsasama-sama ng data. Napagtatanto ng near-storage computing ang near-data preprocessing, pagbabawas ng paggalaw ng data, at pagpapahusay ng preprocessing na kahusayan ng 30%.
Ang FusionCube A3000 Training/Inference Super-Converged Appliance, na idinisenyo para sa mga senaryo ng pagsasanay/paghihinuha ng malalaking modelo sa antas ng industriya, ay tumutugon sa mga application na kinasasangkutan ng mga modelong may bilyun-bilyong parameter. Pinagsasama nito ang OceanStor A300 na may mataas na pagganap na mga storage node, mga training/inference node, switching equipment, AI platform software, at management and operation software, na nagbibigay sa malalaking modelo ng partner na may plug-and-play na karanasan sa pag-deploy para sa one-stop na paghahatid. Handa nang gamitin, maaari itong i-deploy sa loob ng 2 oras. Ang parehong pagsasanay/hinuha at mga storage node ay maaaring independyente at pahalang na palawakin upang tumugma sa iba't ibang mga kinakailangan sa sukat ng modelo. Samantala, ang FusionCube A3000 ay gumagamit ng mga lalagyan na may mataas na pagganap upang paganahin ang maramihang mga pagsasanay sa modelo at mga gawain sa paghihinuha na magbahagi ng mga GPU, na nagpapataas ng paggamit ng mapagkukunan mula 40% hanggang sa higit sa 70%. Sinusuportahan ng FusionCube A3000 ang dalawang flexible na modelo ng negosyo: Huawei Ascend One-Stop Solution at ang third-party partner na one-stop solution na may open computing, networking, at AI platform software.
Ang Pangulo ng Data Storage Product Line ng Huawei, Zhou Yuefeng, ay nagsabi, “Sa panahon ng malalaking modelo, tinutukoy ng data ang taas ng AI intelligence. Bilang carrier ng data, ang imbakan ng data ay nagiging pangunahing imprastraktura para sa mga malalaking modelo ng AI. Ang Huawei Data Storage ay patuloy na magbabago, na nagbibigay ng sari-saring solusyon at produkto para sa panahon ng malalaking modelo ng AI, nakikipagtulungan sa mga kasosyo upang himukin ang AI empowerment sa malawak na hanay ng mga industriya."
Oras ng post: Ago-01-2023
