Uundaji wa Mfano wa Mafuriko kwa Ajili ya Miji Kuputumia Ulaghai wa Kompyuta: Muundo na Uchunguzi wa Kesi

Orodha ya Yaliyomo

1. Utangulizi na Muhtasari

Makala hii inashughulikia kikwazo muhimu katika sayansi ya mazingira na upangaji miji: ukubwa wa hesabu unaohitajika katika uundaji wa mifano ya hatari ya mafuriko yenye usahihi wa juu. Mashirika kama serikali za mitaa, kampuni za uhandisi, na makampuni ya bima wanakabiliwa na mahitaji ya kisheria na kitaaluma ya utabiri sahihi wa mafuriko lakini mara nyingi wanakosa rasilimali endelevu za kompyuta za hali ya juu zinazohitajika. Waandishi wanapendekeza na kuonyesha suluhisho la vitendo: kutumia Ulaghai wa Kompyuta kama Huduma ya Miundombinu (IaaS) kutekeleza uchunguzi wa vigezo vya programu ya uundaji wa mifano ya mafuriko mijini "CityCat". Mbinu hii inawapa wote uwezo wa kutumia nguvu kubwa ya kompyuta kwa msingi wa kulipa kwa matumizi, na kuwezesha uigaji kwa kiwango kisichokuwa na kifani cha miji nzima ambacho kingekuwa vigumu kufanyika kwa kutumia vifaa vya ndani, vilivyonunuliwa, kwa ajili ya miradi ya mara kwa mara.

2. Muundo Msingi na Mbinu

2.1. Changamoto ya Uchunguzi wa Vigezo

Uundaji wa mifano ya mafuriko chini ya kutokuwa na uhakika unahitaji kukimbia uigaji mwingi na vigezo tofauti vya pembejeo (k.m., ukali wa mvua, muda, uwezo wa kuingiza maji kwenye udongo). "Uchunguzi huu wa vigezo" ni kazi ya "sambamba inayoweza kutenganishwa kwa urahisi" lakini inakuwa ghali sana kwa rasilimali kwa kiwango cha mji. Vizuizi vya jadi ni pamoja na gharama kubwa ya mtaji kwa vikundi vya HPC na ujuzi wa kiufundi unaohitajika kwa kompyuta zilizosambazwa.

2.2. Muundo wa Utekelezaji Unaotumia Ulaghai wa Kompyuta

Waandishi walibuni muundo wa kuficha utata wa utumiaji wa Ulaghai wa Kompyuta. Vipengele muhimu ni pamoja na:

• Kizazi cha Kazi: Huzalisha kazi za uigaji huru kwa kila seti ya vigezo.
• Kipatanishi cha Rasilimali: Huhimiza kiotomatiki kuanzishwa kwa mashine za kifani (VMs) kwenye Ulaghai wa Kompyuta wa IaaS (k.m., Amazon EC2, OpenStack).
• Mpangaji wa Kazi na Mtumaji: Husimamia usambazaji wa kazi kwenye kundi la VMs.
• Mkusanyaji wa Data: Hukusanya na kuunganisha matokeo kutoka kwa uigaji wote uliokamilika.

Mfuatano huu hubadilisha tatizo la uigaji lenye muundo mmoja kuwa mchakato wa kazi unaoweza kusimamiwa na kuongezeka.

3. Utekelezaji wa Kiufundi na Maelezo

3.1. Mfano wa Hisabati: CityCat

Kichocheo kikuu cha uigaji, CityCat, kinatatua milinganyo ya maji yasiyo na kina (SWEs), seti ya milinganyo tofauti ya sehemu ya hyperbolic inayosimamia mtiririko wa uso huru:

$\frac{\partial \mathbf{U}}{\partial t} + \frac{\partial \mathbf{F}(\mathbf{U})}{\partial x} + \frac{\partial \mathbf{G}(\mathbf{U})}{\partial y} = \mathbf{S}(\mathbf{U})$

ambapo $\mathbf{U} = [h, hu, hv]^T$ ni vekta ya vigezo vilivyohifadhiwa (kina cha maji $h$, na mtiririko wa kitengo $hu$, $hv$). $\mathbf{F}$ na $\mathbf{G}$ ni vekta za mtiririko, na $\mathbf{S}$ inawakilisha masharti ya chanzo/kuzama kama msuguano wa sakafu na mvua. Uchunguzi wa vigezo hubadilisha pembejeo kwa $\mathbf{S}$ na hali ya mwanzo/mipaka.

3.2. Uratibu wa Mchakato wa Kazi

Utafiti huu unaweza kutumia zana za mchakato wa kazi zinazofanana na Apache Airflow au HTCondor, zilizobadilishwa kwa ajili ya mazingira ya Ulaghai wa Kompyuta. Mchakato ni: 1) Fafanua nafasi ya vigezo; 2) Pakiti CityCat na vitu vinavyohitajika katika picha ya VM au kontena; 3) Toa kundi la VMs; 4) Tekeleza kazi; 5) Maliza rasilimali baada ya ukamilifu ili kupunguza gharama.

4. Matokeo ya Majaribio na Utendaji

Utumiaji wa ulaghai wa kompyuta ulipata ukandamizaji mkubwa wa "wakati wa ukuta". Makala huripoti kukamilisha takriban miezi 21 ya usindikaji wa mfululizo sawa ndani ya mwezi mmoja wa kalenda kwa kutumia rasilimali sambamba za Ulaghai wa Kompyuta. Hii iliwezesha uchambuzi wa hatari kwa kiwango cha mji mzima ambao haukuwezekana hapo awali. Vipimo muhimu vya utendaji vitaweza kujumuisha:

• Kuongeza Kasi: Kuongezeka kwa kasi karibu na mstari na idadi ya mifano ya VM kwa ajili ya uchunguzi wa vigezo unaoweza kutenganishwa kwa urahisi.
• Ufanisi wa Gharama: Gharama ya jumla ya kukodisha ulaghai wa kompyuta ililinganishwa vyema dhidi ya gharama ya mtaji (CapEx) ya kununua vifaa sawa vya ndani, hasa kwa kuzingatia muundo wa matumizi ya mara kwa mara.
• Matokeo: Uzalishaji wa ramani za hatari za mafuriko zenye usahihi wa juu za nafasi na wakati, zikionyesha kina na kasi katika mandhari ya mji kwa hali nyingi za dhoruba.

Maelezo ya Chati (Yaliyodokezwa): Chati ya baa ingeonyesha "Wakati wa Uigaji" kwenye mhimili wa y (kwa miezi) dhidi ya "Mbinu ya Hesabu" kwenye mhimili wa x. Baa ndefu iliyotiwa lebo "Utekelezaji wa Mfululizo wa Ndani" ingefikia ~miezi 21. Baa fupi zaidi iliyotiwa lebo "Utekelezaji wa Sambamba wa Ulaghai wa Kompyuta" ingefikia ~mwezi 1, ikionyesha wazi ukandamizaji wa wakati.

5. Mfumo wa Uchambuzi na Mfano wa Kesi

Mfumo: Matriki ya Uamuzi ya Faida ya Gharama ya Ulaghai wa Kompyuta kwa Hesabu za Kisayansi

Hali: Idara ya upangaji mji inahitaji kukimbia uigaji 10,000 wa mafuriko kwa ajili ya mpango mpya wa kugawa maeneo ndani ya wiki 4.

1. Tabia ya Mzigo wa Kazi: Je, unaweza kutenganishwa kwa urahisi? (Ndiyo). Kilele cha kumbukumbu/CPU kwa kila kazi ni kipi? (Wastani). Je, uhamishaji wa data ni kikwazo? (Kunawezekana kwa matokeo).
2. Tathmini Chaguzi:
   • Chaguo A (Kundi la Ndani): CapEx: $50,000. Muda wa kuandaa: miezi 3. Muda wa kukimbia: wiki 8. Uamuzi: Inashindwa kufikia mwisho wa muda.
   • Chaguo B (Mlipuko wa Ulaghai wa Kompyuta): OpEx: ~$5,000. Muda wa kuandaa: siku 1. Muda wa kukimbia: wiki 1 (kuongezeka hadi VMs 500). Uamuzi: Inafikia mwisho wa muda, gharama ya awali ni ndogo.
3. Kichocheo cha Uamuzi: Thamani ya wakati ya matokeo. Ikiwa uamuzi wa kugawa maeneo una athari ya kiuchumi ya mamilioni ya dola, kasi ya ulaghai wa kompyuta inathibitisha gharama yake, hata ikiwa itarudiwa kila mwaka. Ikiwa ni utafiti wa kitaaluma wa mara moja, unyeti wa gharama ni mkubwa zaidi.

Mfumo huu unapita zaidi ya kulinganisha gharama tu na kujumuisha wakati wa kufikia suluhisho na gharama ya fursa, ikilingana na msisitizo wa makala kuhusu mwisho wa muda uliowekwa.

6. Uchambuzi Muhimu na Ufahamu wa Mtaalamu

Ufahamu Msingi: Makala hii sio kuhusu mfano mpya wa mafuriko; ni darasa kuu katika uchumi wa hesabu uliotumika. Inatambua kwa usahihi kwamba kwa mashirika mengi, kikwazo kikuu sio algoriti, bali muundo wa upatikanaji wa hesabu. Ubunifu halisi ni kifuniko cha muundo kinachopunguza kikwazo cha kiufundi, na kufanya IaaS itumike kwa wanasayansi wa nyanja.

Mkondo wa Mantiki: Hoja ni ya kulazimisha: 1) Tatizo: Hitaji la hesabu nyingi kwa muda mfupi. 2) Suluhisho: Muundo wa ulaghai wa kompyuta unaoweza kubadilika, wa kulipa kwa matumizi. 3) Kikwazo: Utata wa kiufundi wa mifumo iliyosambazwa. 4) Utekelezaji: Jenga safu ya kuficha (muundo wao). 5) Uthibitisho: Onyesha kuokoa wakati/gharama kwenye tatizo halisi, lenye athari (mafuriko kwa kiwango cha mji). Mkondo kutoka kwa dhana ya kiuchumi hadi suluhisho la kiufundi hadi matokeo yaliyopimwa ni thabiti.

Nguvu na Kasoro:
Nguvu: Makala hii ni ya vitato kabisa. Inashughulikia pengo halisi la utumiaji. Ukandamizaji wa wakati wa 21:1 ni matokeo ya kushangaza. Inatarajia ukosoaji wa "hakuna dhamana" wa matumizi ya ulaghai wa kompyuta na kukataa kwa usahihi kwa mizigo ya kazi ya mara kwa mara—ufahamu muhimu wa kifedha ambao mara nyingi unapotoshwa na wataalamu wa teknolojia.
Kasoro: Tembo katika chumba ni mvuto wa data. Makala hii inagusa kidogo uhamishaji wa data lakini haitathmini vyema athari yake ya kimantiki na ya gharama kwa seti za data za kijiografia zenye ukubwa wa petabyte. Kuhamisha terabyte za data za LIDAR kwenda na kutoka kwenye ulaghai wa kompyuta kunaweza kufuta kuokoa kwa hesabu. Pili, muundo unawasilishwa kama suluhisho maalum. Leo, tungehitaji tathmini dhidi ya majukwaa yasiyo na seva (AWS Lambda, Google Cloud Run) kwa udhibiti mzuri wa gharama, au huduma za kundi zilizosimamiwa (AWS Batch, Azure Batch) ambazo zimetokea tangu wakati huo kutatua tatizo hili hasa kwa njia nzuri zaidi.

Ufahamu Unaoweza Kutekelezwa:
1. Kwa Watafiti: Chukua usimamizi wa gharama ya ulaghai wa kompyuta kama ujuzi msingi wa utafiti. Tumia mifano ya doa/VMs zinazoweza kukabidhiwa; wangeweza kupunguza gharama yao iliyoripotiwa kwa 60-80%. Zana kama Kubernetes kwa uratibu wa kontena sasa ndio safu ya kawaida ya kuficha, sio hati maalum.
2. Kwa Sekta ya Viwanda: Kiolezo hapa kinaweza kurudiwa kwa uchunguzi wowote wa vigezo (CFD, ugunduzi wa dawa, fedha za Monte Carlo). Kesi ya biashara lazima ibadilike kutoka CapEx dhidi ya OpEx hadi "thamani ya ufahamu ulioharakishwa." Thamani ya kupata ramani za mafuriko miezi 20 mapema kwa kampuni ya bima ni kiasi gani? Mabilioni katika marekebisho ya hatari.
3. Kwa Watoa Huduma wa Ulaghai wa Kompyuta: Makala hii ni mchoro wa msingi kwa uuzaji wako wa "udemokrasia ya HPC". Tengeneza violezo zaidi maalum vya nyanja ("Uundaji wa Mifano ya Mafuriko kwenye AWS") ambavyo vinaunganisha data, mfano, na mchakato wa kazi, na kupunguza muda wa kuanzisha kutoka wiki hadi masaa.

Kazi ya waandishi ilitabiri dhana ya kisasa ya "sayansi kama huduma". Hata hivyo, kulinganisha na uvumbuzi wa kisasa kama makala ya CycleGAN (Zhu et al., 2017) ni ya kufundisha. Zote mbili hupunguza vizuizi: CycleGAN iliondoa hitaji la data ya mafunzo iliyowekwa jozi, na kuwezesha ushirikishaji wa picha-hadi-picha. Muundo huu wa uundaji wa mifano ya mafuriko unaondoa hitaji la kituo maalum cha HPC, na kuwezesha uigaji kwa kiwango kikubwa. Baadaye iko katika kuchanganya mienendo hii: kutumia AI inayopatikana kwa urahisi, inayotumia ulaghai wa kompyuta (kama GANs) kupunguza kiwango cha data ya hali ya hewa au kuzalisha mandhari ya bandia, ambayo kisha huingizwa kwenye mifano ya kimwili inayotumia ulaghai wa kompyuta kama CityCat, na kuunda mzunguko mzuri wa utabiri wa mazingira unaopatikana kwa urahisi na usahihi wa juu.

7. Matumizi ya Baadaye na Mwelekeo

Mbinu iliyoanzishwa hapa ina utumiaji mpana:

• Uchambuzi wa Hatari ya Hali ya Hewa: Kukimbia makundi ya mifano ya hali ya hewa ya kikanda (RCMs) chini ya hali mamia za utoaji gesi chafu kwa ajili ya benki na wasimamizi wa mali, kama inavyoonekana katika kazi ya vikundi kama ClimateAI au Huduma ya Mabadiliko ya Hali ya Hewa ya Copernicus ya EU.
• Mapacha Dijiti kwa Ajili ya Miji: Kuunda nakala zinazoishi, zinazouiga za miundombinu ya mijini. Majukwaa ya ulaghai wa kompyuta ni muhimu kukimbia uigaji endelevu kwa ajili ya trafiki, mitandao ya nishati, na ndiyo, mifereji ya mafuriko, kama sehemu ya dashibodi iliyounganishwa ya ustahimilivu.
• Uundaji wa Mifano ya Mchanganyiko wa AI/Fizikia: Upeo wa pili. Tumia rasilimali za ulaghai wa kompyuta kufundisha kielelezo cha uigaji wa kina (mfano mbadala) wa uigaji wa gharama kubwa wa CityCat. Mara tu ukifunzwa, kielelezo kinaweza kutoa utabiri wa papo hapo, wa takriban, na mfano kamili ukitumika tu kwa hali muhimu. Dhana hii ya "mbadala-kwenye-ulaghai, mafunzo-kwenye-ulaghai" inatokea katika kazi zilizotajwa kwenye arXiv (k.m., katika mitandao ya neva yenye maelezo ya fizikia).
• Mwelekeo: Baadaye sio IaaS tu, lakini Jukwaa kama Huduma (PaaS) na huduma zisizo na seva kwa ajili ya michakato ya kazi ya kisayansi. Lengo ni kuhamia kutoka kusimamia VMs hadi kuwasilisha tu kontena ya Docker na faili ya vigezo, na huduma ya ulaghai wa kompyuta ikishughulikia kila kitu kingine—kuongeza kiwango, kupanga ratiba, na uboreshaji wa gharama. Hii inawakilisha hatua ya mwisho katika kupunguza kikwazo cha kiufundi kilichotambuliwa na makala.

8. Marejeo

1. Glenis, V., McGough, A.S., Kutija, V., Kilsby, C., & Woodman, S. (2013). Flood modelling for cities using Cloud computing. Journal of Cloud Computing: Advances, Systems and Applications, 2(1), 7.
2. Mell, P., & Grance, T. (2011). The NIST Definition of Cloud Computing. National Institute of Standards and Technology, SP 800-145.
3. Zhu, J., Park, T., Isola, P., & Efros, A.A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV).
4. Armbrust, M., Fox, A., Griffith, R., et al. (2010). A view of cloud computing. Communications of the ACM, 53(4), 50-58.
5. European Centre for Medium-Range Weather Forecasts (ECMWF). Copernicus Climate Change Service (C3S). Imepatikana kutoka https://climate.copernicus.eu
6. Raissi, M., Perdikaris, P., & Karniadakis, G.E. (2019). Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational Physics, 378, 686-707.