1. 引言與動機
傳統機器學習理論基於一個隱含且通常不切實際嘅假設：有無限或充足嘅計算資源可用於處理所有接收到嘅數據。呢個假設喺現實場景中（例如流式學習，數據持續以海量湧入）就會崩潰。本文認為，學習表現唔單止取決於接收到嘅數據量，更關鍵係取決於喺有限計算資源下能夠處理嘅數據量——呢個因素被傳統理論忽略咗。
作者用電腦系統嘅演變做咗一個有力嘅類比，將目前嘅「智能超級計算」設施（為每個用戶/任務分配固定、專用資源）同現代分時操作系統進行對比。佢哋引用圖靈獎得主 Fernando J. Corbató 同 Edgar F. Codd 嘅觀點，定義咗分時嘅雙重目標：用戶效率（快速響應）同硬件效率（通過調度實現最佳資源利用率）。核心論點係，機器學習理論必須整合呢啲分時考量，從而提出計算資源高效學習（CoRE-Learning）。
2. The CoRE-Learning Framework
CoRE-Learning 框架正式將調度同資源約束引入學習過程。佢放棄咗所有數據都能被處理嘅保證，令調度機制成為學習理論中嘅一等公民。
2.1. 核心概念：線程與成功
提交畀超級計算設施嘅機器學習任務稱為一個線程。每個線程喺開始時間同截止時間之間有一個定義好嘅生命週期。如果能夠喺呢個生命週期內學習到一個滿足用戶性能要求嘅模型，咁呢個線程就係成功嘅。否則，就係失敗。呢種框架直接將學習結果同時間同資源約束聯繫起來。
2.2. 機器學習吞吐量
受網絡同數據庫系統概念啟發，本文引入機器學習吞吐量作為一個抽象度量，用以表述計算資源同調度嘅影響。
2.2.1. 數據吞吐量
數據吞吐量（$\eta$）定義為每單位時間內能夠學習嘅接收數據百分比。佢係一個受兩個因素影響嘅動態變量：傳入數據量同可用計算資源預算。
關鍵洞察：數據吞吐量 $\eta$ 提供咗一個統一視角。如果數據量倍增而資源保持不變，$\eta$ 就會減半。如果資源倍增以匹配增加嘅數據，$\eta$ 就可以維持不變。呢個優雅地捕捉到數據負載同處理能力之間嘅張力。
本文承認數據難度可能變化（例如由於概念漂移，連結到開放環境學習），並建議將此作為未來整合到吞吐量模型嘅一個因素。
3. 技術表述與分析
雖然提供嘅PDF摘錄並冇展示完整數學證明，但佢建立咗必要嘅形式化表述。學習算法 $\mathcal{A}$ 喺 CoRE-Learning 下嘅表現，唔單止係樣本量 $m$ 嘅函數，更係有效處理數據嘅函數，而後者受吞吐量 $\eta(t)$ 同隨時間 $t$ 變化嘅調度策略 $\pi$ 所支配。
期望風險 $R$ 嘅一個簡化表述可能係： $$R(\mathcal{A}, \pi) \leq \inf_{t \in [T_{\text{start}}, T_{\text{deadline}}]} \left[ \mathcal{C}(\eta_{\pi}(t) \cdot D(t)) + \Delta(\pi, t) \right]$$ 其中 $\mathcal{C}$ 係一個依賴於到時間 $t$ 為止已處理數據量嘅複雜度項，$D(t)$ 係接收嘅總數據量，$\eta_{\pi}(t)$ 係策略 $\pi$ 下達成嘅吞吐量，而 $\Delta$ 係調度開銷或延遲嘅懲罰項。目標係喺線程生命週期內，搵到一個最小化呢個界限嘅調度策略 $\pi^*$。
4. 分析框架與案例示例
場景：一個雲端ML平台接收到兩個學習線程：線程A（圖像分類），截止時間2小時；線程B（日誌異常檢測），截止時間1小時但優先級更高。
CoRE-Learning 分析：
- 線程定義：為每個線程定義生命週期、數據到達率同性能目標。
- 吞吐量建模：估算每種線程類型喺可用硬件（例如GPU）上嘅數據吞吐量 $\eta$。
- 調度策略（$\pi$）：評估策略。
- 策略1（獨佔/先到先得）：運行線程A直至完成，然後運行B。風險：線程B必定錯過截止時間。
- 策略2（分時）：將70%資源分配畀B運行50分鐘，然後將100%資源分配畀A運行剩餘時間。使用吞吐量模型進行分析，可以預測兩個線程係咪都能喺其生命週期內達到性能目標。
- 成功/失敗預測：該框架提供理論基礎，預測策略1會導致一次失敗，而設計良好嘅策略2則可能導致雙重成功，最大化整體硬件效率同用戶滿意度。
5. 未來應用與研究方向
- 大規模基礎模型訓練：喺異構集群（GPU/TPU）上調度預訓練任務，並考慮動態資源定價（例如AWS Spot實例）。CoRE-Learning可以優化成本與性能嘅權衡。
- 邊緣-雲端協同學習：喺帶寬同延遲約束下，調度邊緣設備（低功耗）同雲端（高功耗）之間嘅模型更新同推理任務。
- MLOps與持續學習：當新數據到達時，自動化生產系統中再訓練流水線嘅調度，確保模型新鮮度同時不違反服務水平協議（SLA）。
- 與開放環境學習整合：擴展吞吐量概念 $\eta$，以考慮難度吞吐量，即每個數據點嘅資源成本隨概念漂移或新穎性而變化，從而連結到持續學習同異常檢測等領域。
- 理論收斂界限：推導明確包含資源預算同調度策略嘅PAC式學習保證，創建「資源有界學習理論」新子領域。
6. 參考文獻
- Codd, E. F. (年份). 關於調度嘅參考著作標題. 出版社.
- Corbató, F. J. (年份). 關於分時嘅參考著作標題. 出版社.
- Kurose, J. F., & Ross, K. W. (2021). Computer Networking: A Top-Down Approach. Pearson. (用於吞吐量定義).
- Zhou, Z. H. (2022). Open-Environment Machine Learning. National Science Review. (用於連結變化嘅數據難度).
- Silberschatz, A., Korth, H. F., & Sudarshan, S. (2019). Database System Concepts. McGraw-Hill. (用於事務吞吐量).
- Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., & Bengio, Y. (2014). Generative Adversarial Nets. Advances in Neural Information Processing Systems. (計算密集型ML範例).
- Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. IEEE International Conference on Computer Vision (ICCV). (資源消耗大嘅訓練任務示例).
7. 專家分析與評論
核心洞察：Zhou唔係僅僅微調學習理論；佢係嘗試一次基礎性嘅轉向。喺大數據同大規模模型時代，真正嘅瓶頸往往唔係數據可用性或算法巧妙性，而係計算資源嘅可獲取性。通過將ML任務框架化為有截止時間嘅「線程」並引入「學習吞吐量」，佢直接攻擊咗令大量經典理論越來越學術化嘅、理想化且忽略資源嘅假設。呢係一個將理論植根於現代計算嘅經濟同物理現實嘅舉措，類似於通信理論必須考慮帶寬。
邏輯流程：論證好有說服力。佢從揭示缺陷（無限資源假設）開始，引用一個有力嘅歷史類比（分時操作系統），借用已確立嘅度量（吞吐量），並構建一個新嘅形式化表述（CoRE-Learning）。連結到開放環境學習係精明嘅，暗示咗一個更宏大嘅統一，即資源約束同數據分佈變化被共同考慮。
優點與缺陷： 優點：概念框架優雅且高度相關。吞吐量度量（$\eta$）簡單但分析力強。佢橋接咗唔同社群（ML、系統、調度理論）。 缺陷：摘錄主要係概念性嘅。數學表述同最優調度策略 $\pi^*$ 嘅設計「魔鬼喺細節中」。點樣為複雜、有狀態嘅學習算法動態估算 $\eta$？同對抗訓練（例如CycleGANs, Goodfellow et al., 2014）嘅比較說明咗問題：呢啲算法以極度耗資源同不穩定聞名；一個CoRE調度器需要對其內部收斂動態有深刻洞察先至有效，唔單止係數據到達率。目前框架似乎更適合集成或更簡單嘅在線學習器。
可行建議：
- 對研究人員：呢係一個行動號召。即刻嘅下一步係產出具體、可分析嘅模型。從簡單學習器（例如線性模型、決策樹）同基本調度（輪詢）開始，推導首批可證明嘅界限。同系統研究人員合作。
- 對從業者/MLOps工程師：即使冇完整理論，亦要採納呢種思維方式。檢測你嘅流水線以測量實際學習吞吐量，並根據資源分配對其建模。將訓練任務視為有SLA（截止時間）嘅線程。呢樣可以立即提高集群利用率同優先級處理。
- 對雲服務提供商：呢項研究為新一代超越簡單GPU分配、具備ML感知能力嘅資源調度器奠定咗理論基礎。未來係銷售保證「時間T內每美元嘅學習性能」，而不僅僅係計算時數。