Pembelajaran Cekap Sumber Pengiraan (CoRE-Learning): Kerangka Teori untuk Pembelajaran Mesin Berkongsi Masa

1. Pengenalan & Motivasi

Teori pembelajaran mesin konvensional beroperasi di bawah andaian tersirat yang sering kali tidak realistik: sumber pengiraan yang tidak terhad atau mencukupi tersedia untuk memproses semua data yang diterima. Andaian ini gagal dalam senario dunia sebenar seperti pembelajaran strim, di mana data tiba secara berterusan dalam jumlah yang sangat besar. Kertas kerja ini berhujah bahawa prestasi pembelajaran bergantung bukan sahaja pada jumlah data yang diterima, tetapi secara kritikalnya pada jumlah yang dapat diproses memandangkan sumber pengiraan yang terhad—satu faktor yang diabaikan oleh teori tradisional.

Penulis membuat analogi yang kuat dengan evolusi sistem komputer, membandingkan kemudahan "superkomputer pintar" semasa (yang memperuntukkan sumber tetap dan eksklusif bagi setiap pengguna/tugas) dengan sistem pengendalian perkongsian masa moden. Mereka memetik penerima Anugerah Turing, Fernando J. Corbató dan Edgar F. Codd untuk mentakrifkan dua matlamat perkongsian masa: kecekapan pengguna (tindak balas pantas) dan kecekapan perkakasan (penggunaan sumber optimum melalui penjadualan). Tesis terasnya ialah teori pembelajaran mesin mesti mengintegrasikan pertimbangan perkongsian masa ini, membawa kepada cadangan Pembelajaran Cekap Sumber Pengiraan (CoRE-Learning).

2. Kerangka CoRE-Learning

Kerangka CoRE-Learning secara formal memperkenalkan penjadualan dan kekangan sumber ke dalam proses pembelajaran. Ia meninggalkan jaminan bahawa semua data boleh diproses, menjadikan mekanisme penjadualan sebagai elemen utama dalam teori pembelajaran.

2.1. Konsep Teras: Benang & Kejayaan

Satu tugas pembelajaran mesin yang dihantar ke kemudahan superkomputer dipanggil benang. Setiap benang mempunyai jangka hayat yang ditakrifkan antara masa permulaan dan masa tarikh akhir. Satu benang dianggap berjaya jika model yang memenuhi keperluan prestasi pengguna dapat dipelajari dalam jangka hayat ini. Jika tidak, ia adalah kegagalan. Kerangka ini secara langsung menghubungkan hasil pembelajaran dengan kekangan masa dan sumber.

2.2. Daya Pemprosesan Pembelajaran Mesin

Diilhamkan oleh konsep dari rangkaian dan sistem pangkalan data, kertas kerja ini memperkenalkan daya pemprosesan pembelajaran mesin sebagai ukuran abstrak untuk merumuskan pengaruh sumber pengiraan dan penjadualan.

2.2.1. Daya Pemprosesan Data

Daya pemprosesan data ($\eta$) ditakrifkan sebagai peratusan data yang diterima yang dapat dipelajari per unit masa. Ia adalah pemboleh ubah dinamik yang dipengaruhi oleh dua faktor: jumlah data masuk dan belanjawan sumber pengiraan yang tersedia.

Kertas kerja ini mengakui bahawa kesukaran data mungkin berbeza (contohnya, disebabkan oleh hanyutan konsep, yang berkaitan dengan pembelajaran persekitaran terbuka), mencadangkan ini sebagai faktor untuk integrasi masa depan ke dalam model daya pemprosesan.

3. Formulasi & Analisis Teknikal

Walaupun petikan PDF yang diberikan tidak mempersembahkan bukti matematik penuh, ia mewujudkan formalisme yang diperlukan. Prestasi algoritma pembelajaran $\mathcal{A}$ di bawah CoRE-Learning bukan hanya fungsi saiz sampel $m$, tetapi fungsi data berkesan yang diproses, yang dikawal oleh daya pemprosesan $\eta(t)$ dan dasar penjadualan $\pi$ sepanjang masa $t$.

Satu formulasi ringkas risiko jangkaan $R$ boleh jadi: $$R(\mathcal{A}, \pi) \leq \inf_{t \in [T_{\text{start}}, T_{\text{deadline}}]} \left[ \mathcal{C}(\eta_{\pi}(t) \cdot D(t)) + \Delta(\pi, t) \right]$$ di mana $\mathcal{C}$ adalah istilah kerumitan yang bergantung pada jumlah data yang diproses sehingga masa $t$, $D(t)$ adalah jumlah data yang diterima, $\eta_{\pi}(t)$ adalah daya pemprosesan yang dicapai di bawah dasar $\pi$, dan $\Delta$ adalah istilah penalti untuk overhed atau kelewatan penjadualan. Matlamatnya adalah untuk mencari dasar penjadualan $\pi^*$ yang meminimumkan batasan ini dalam jangka hayat benang.

4. Kerangka Analisis & Contoh Kes

Senario: Satu platform ML awan menerima dua benang pembelajaran: Benang A (pengelasan imej) dengan tarikh akhir 2 jam, dan Benang B (pengesanan anomali pada log) dengan tarikh akhir 1 jam tetapi keutamaan lebih tinggi.

Analisis CoRE-Learning:

1. Takrifan Benang: Takrifkan jangka hayat, kadar ketibaan data, dan sasaran prestasi untuk setiap benang.
2. Pemodelan Daya Pemprosesan: Anggarkan daya pemprosesan data $\eta$ untuk setiap jenis benang pada perkakasan yang tersedia (contohnya, GPU).
3. Dasar Penjadualan ($\pi$): Nilai dasar.
   • Dasar 1 (Eksklusif/FCFS): Jalankan Benang A sehingga selesai, kemudian B. Risiko: Benang B pasti terlepas tarikh akhirnya.
   • Dasar 2 (Perkongsian Masa): Peruntukkan 70% sumber kepada B selama 50 minit, kemudian 100% kepada A untuk baki masa. Analisis menggunakan model daya pemprosesan dapat meramalkan sama ada kedua-dua benang dapat memenuhi sasaran prestasi mereka dalam jangka hayat masing-masing.
4. Ramalan Kejayaan/Kegagalan: Kerangka ini menyediakan asas teori untuk meramalkan bahawa Dasar 1 membawa kepada satu kegagalan, manakala Dasar 2 yang direka dengan baik boleh membawa kepada kejayaan berganda, memaksimumkan kecekapan perkakasan keseluruhan dan kepuasan pengguna.

5. Aplikasi Masa Depan & Hala Tuju Penyelidikan

• Latihan Model Asas Berskala Besar: Menjadualkan tugas pra-latihan merentasi kluster heterogen (GPU/TPU) dengan penetapan harga sumber dinamik (contohnya, AWS Spot Instances). CoRE-Learning dapat mengoptimumkan pertukaran kos-prestasi.
• Pembelajaran Kolaboratif Tepi-Awan: Menjadualkan kemas kini model dan tugas inferens antara peranti tepi (kuasa rendah) dan awan (kuasa tinggi) di bawah kekangan lebar jalur dan kependaman.
• MLOps & Pembelajaran Berterusan: Mengautomasikan penjadualan saluran paip latihan semula dalam sistem pengeluaran apabila data baru tiba, memastikan kesegaran model tanpa melanggar perjanjian tahap perkhidmatan (SLA).
• Integrasi dengan Pembelajaran Persekitaran Terbuka: Memperluaskan konsep daya pemprosesan $\eta$ untuk mengambil kira daya pemprosesan kesukaran, di mana kos sumber per titik data berubah dengan hanyutan konsep atau kebaharuan, menghubungkan kepada bidang seperti pembelajaran berterusan dan pengesanan anomali.
• Batasan Penumpuan Teori: Menerbitkan jaminan pembelajaran gaya PAC yang secara eksplisit termasuk belanjawan sumber dan dasar penjadualan, mencipta subbidang baharu "teori pembelajaran terikat sumber."

6. Rujukan

1. Codd, E. F. (Tahun). Tajuk karya dirujuk mengenai penjadualan. Penerbit.
2. Corbató, F. J. (Tahun). Tajuk karya dirujuk mengenai perkongsian masa. Penerbit.
3. Kurose, J. F., & Ross, K. W. (2021). Computer Networking: A Top-Down Approach. Pearson. (Untuk takrifan daya pemprosesan).
4. Zhou, Z. H. (2022). Open-Environment Machine Learning. National Science Review. (Untuk sambungan kepada perubahan kesukaran data).
5. Silberschatz, A., Korth, H. F., & Sudarshan, S. (2019). Database System Concepts. McGraw-Hill. (Untuk daya pemprosesan transaksi).
6. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative Adversarial Nets. Advances in Neural Information Processing Systems. (Contoh paradigma ML intensif pengiraan).
7. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). (Contoh tugas latihan berat sumber).

7. Analisis & Kritikan Pakar