Copyright 2018-2025 速推科技 版權(quán)所有 京ICP備19012569號-1
12 月 10 日消息，麻省理工學院與 Empirical Health 研究人員開展的一項新研究，利用 300 萬“人-天”的 Apple Watch 數(shù)據(jù)，開發(fā)出一種基礎(chǔ)模型，能夠以高度準確性預測多種健康狀況。
背景介紹
在 Yann LeCun 仍擔任 Meta 首席人工智能科學家期間，他提出了“聯(lián)合嵌入預測架構(gòu)”（Joint-Embedding Predictive Architecture，簡稱 JEPA）。該架構(gòu)的核心思想是：讓人工智能系統(tǒng)推斷缺失數(shù)據(jù)所代表的含義，而非直接重建缺失數(shù)據(jù)本身。
換言之，當面對數(shù)據(jù)中的空缺時，模型學習的是如何從上下文推斷缺失部分的語義表征，而不是試圖猜測其精確數(shù)值。
例如，在處理圖像時，若某些區(qū)域被遮蔽而其他區(qū)域可見，JEPA 會將可見區(qū)域與被遮蔽區(qū)域共同映射到一個共享的嵌入空間（即“聯(lián)合嵌入”），并基于可見部分推斷被遮蔽區(qū)域的表征，而非還原其原始像素內(nèi)容。
2023 年，Meta 發(fā)布名為 I-JEPA 的模型時曾這樣描述這一理念：
去年，Meta 首席 AI 科學家 Yann LeCun 提出了一種全新架構(gòu)，旨在克服當前最先進 AI 系統(tǒng)的關(guān)鍵局限。他的愿景是構(gòu)建能夠?qū)W習‘世界內(nèi)部模型’的機器，使其能更快地學習、規(guī)劃復雜任務(wù)，并迅速適應陌生情境。
據(jù)IT之家了解，自 LeCun 最初提出 JEPA 以來，這一架構(gòu)已成為“世界模型”（world models）研究領(lǐng)域的基石。這標志著 AI 研究范式正從大型語言模型（LLM）和 GPT 類系統(tǒng)所依賴的“詞元預測”轉(zhuǎn)向更注重對環(huán)境動態(tài)建模的方向。
事實上，LeCun 近期已離開 Meta，創(chuàng)立了一家專注于“世界模型”的公司。他認為，這才是通往通用人工智能（AGI）的真正路徑。
回歸本項研究：300 萬人-天的 Apple Watch 數(shù)據(jù)
回到當前這項研究。幾個月前發(fā)表的論文《JETS：面向醫(yī)療健康行為數(shù)據(jù)的自監(jiān)督聯(lián)合嵌入時間序列基礎(chǔ)模型》（JETS: A Self-Supervised Joint Embedding Time Series Foundation Model for Behavioral Data in Healthcare）近日已被 NeurIPS 會議的一個研討會接收。
該研究將 JEPA 的聯(lián)合嵌入方法適配于不規(guī)則的多變量時間序列數(shù)據(jù)，例如來自可穿戴設(shè)備的長期健康數(shù)據(jù)，其中心率、睡眠、活動量等指標在時間上呈現(xiàn)不連續(xù)性或存在大量缺失。
研究團隊使用的縱向數(shù)據(jù)集包含 16,522 名參與者的可穿戴設(shè)備記錄，總計約 300 萬“人-天”。每位參與者每日（或更低頻率）記錄了 63 項不同的時間序列指標，涵蓋五大生理與行為領(lǐng)域：心血管健康、呼吸健康、睡眠、身體活動及一般統(tǒng)計信息。
值得注意的是，僅有 15% 的參與者擁有可用于評估的標注醫(yī)療史，這意味著在傳統(tǒng)監(jiān)督學習框架下，高達 85% 的數(shù)據(jù)將被視為無效。而 JETS 模型首先在整個數(shù)據(jù)集上通過自監(jiān)督預訓練進行學習，隨后僅在有標簽的子集上進行微調(diào)。
為實現(xiàn)這一目標，研究人員將每條觀測數(shù)據(jù)構(gòu)造成“三元組”（日期、數(shù)值、指標類型），從而將每個觀測值轉(zhuǎn)化為一個“token”。這些 token 隨后經(jīng)過掩碼處理、編碼，并輸入預測器，用以預測被掩碼片段的嵌入表示。
完成訓練后，研究人員將 JETS 與多個基線模型（包括基于 Transformer 架構(gòu)的早期 JETS 版本）進行對比，并采用 AUROC（受試者工作特征曲線下面積）和 AUPRC（精確率-召回率曲線下面積）兩項標準指標評估模型在區(qū)分陽性與陰性病例方面的表現(xiàn)。
結(jié)果顯示，JETS 在多項疾病預測中表現(xiàn)優(yōu)異：高血壓預測 AUROC 達 86.8%，房撲（atrial flutter）為 70.5%，慢性疲勞綜合征為 81%，病態(tài)竇房結(jié)綜合征（sick sinus syndrome）亦達 86.8%。盡管并非在所有任務(wù)中均勝出，但其優(yōu)勢顯而易見。
需要強調(diào)的是，AUROC 和 AUPRC 并非嚴格意義上的“準確率”指標，而是衡量模型對潛在病例進行排序或優(yōu)先級判斷能力的指標。
總結(jié)
總體而言，這項研究提出了一種極具前景的方法，能夠從通常被視為“不完整”或“不規(guī)則”的健康數(shù)據(jù)中提取最大價值，甚至在某些指標僅在 0.4% 的時間內(nèi)被記錄、而另一些指標出現(xiàn)在 99% 日常讀數(shù)中的極端不平衡情況下依然有效。
此外，該研究進一步印證了一個重要觀點：即使 Apple Watch 等日?？纱┐髟O(shè)備并非全天候佩戴，其已收集的海量數(shù)據(jù)仍蘊含巨大潛力，通過新型模型架構(gòu)與訓練策略，有望釋放其在疾病早期預警和健康管理中的生命拯救價值。