WWDC Apple Intelligence

Apple 的 AI 雖然慢了，但不會差

Keynote 出來後果然引起了廣泛討論，正反觀點都有，但看了幾篇網路文章，目前主流觀點都是逐漸往「Apple 更重視用戶隱私與 AI 落地應用，不直接硬幹大模型火力比拼」 這個方向走。

我自己也看了幾篇 Apple blog 跟 video，目前的了解是

1. Apple 有自己的語言模型，他稱之為 Foundation Model，參數數量約不到 30 億。要用小模型主要是因為他要放到裝置裡頭去。
2. 在手機內有內建一個壓縮過的 on-device foundation model，這個模型採用 adapter 的技術來適配到不同的功能上，讓不同的功能如文字摘要、生成等可以達到最好的效果。
3. 不管是 On-device model 還是 server model ，評測下來都比同等級的模型來得好，不過是不是自吹自捧還是要等公開評測才知道。
4. 裝置 (包含 iPhone 跟 mac) 上有個 orchestration 模組，會根據用戶的指令，判斷該用 on-device model 還是送到 server 端去使用較大的模型
5. 另外，Apple 為了獲得更多 User 的 context 資料，來讓 AI 更聰明，能做的事情更多。內部有個模組 Semantic Index ，系統會透過 App Entities 來取得 App 內的資料，Semantic Index 則是適當的調用不同 App 間的資料來讓不同的 model 使用。另外 App 可以透過 App Intent 來定義 Action 讓 Siri 可以知道怎麼操作該 App
6. Apple 為了確保隱私問題，重新設計了他的伺服器架構 Private Cloud Compute

Introducing Apple's On-Device and Server Foundation Models

Private Cloud Compute

Blog - Private Cloud Compute: A new frontier for AI privacy in the cloud - Apple Security Research

1. OS 採用簡化過的 iOS 系統
2. 沒有 persistent storage，沒有資料被 log 下來的疑慮
3. 沒有 remote shell，無法遠端登入
4. Secure enclave 保護 encryption key 安全
5. Secure boot 只允許 verified / signed 過的 OS image 可以被啟動
6. Trusted Execution Monitor 只允許 signed / verified 過的程式可以被執行
7. Attestation: 裝置在送 request 到 server cluster 前會先驗證 cluster 的 identity 跟 configuration，每個 request 都是端到端加密，只有被選定的 Cluster 可以解密，其他 Cluster 無法解密，確保連 Apple 自己都無法看到用戶內容
8. OS Image 都是公開可被檢視，如果有被發現漏洞或者有任何 Apple 宣稱沒做到的隱私保護，都會發獎金

至於 Elon 出來嗆 Apple 要是跟 OpenAI 合作，揚言不會在自家公司內允許員工使用 Apple devices (這將包含 Mac，大概一堆 Elon 員工在哀嚎了)，我覺得是放入了太多對 OpenAI 的個人感情在裡頭。

以目前的資訊了解，ChatGPT 在 iOS 內有點像是預設搜尋引擎的感覺，例如 Safari 的預設搜尋引擎是 Google，使用者用 Safari 狀態列搜尋會先跑到 Google 去，但用戶是可以改掉預設搜尋引擎的。

iOS 18 應該是直接內建 ChatGPT 支援，用戶不需要再為 ChatGPT 付費，Apple 幫你付了。但在調用前，Apple 也會尋求你的同意，使用時他也會透過 UI 讓你很清楚目前是在使用 ChatGPT。所以不存在隱私問題，這就像即便 Apple 沒有整合，你還是會用 ChatGPT 一樣。我不認為是 OS level 的整合。

iOS 18 還是以自家的模型為主。且看目前Apple自家模型的效能評測，其實不差了，所以 ChatGPT 很可能是個過渡型整合，等自家模型更成熟了，可能就會放棄 ChatGPT ，畢竟每年的權利金也是不少錢。 (有沒有既視感? Apple 過去曾放棄 Google Map 自己跑去開發地圖服務，只是一路走得跌跌撞撞就是)

另外，就算 Elon 對員工使用 ChatGPT 有 Security 疑慮，其實是可以透過 MDM 去關掉這個功能的，老馬可能不知道，或者純粹在抒發對 OpenAI 的不爽罷了。

我個人認為 Apple 揭示了未來 AI 落地應用可能的走向：

1. 不需要一個特大、超聰明的模型
2. 不同小模型、不同模態模型協同運作，有些是 on-device ，有些放 cloud
3. 由一個 orchestration 來協同這些模型的運作
4. OS level 可以調用不同 app 內的資料，透過 intent 去操作 app 動作，但都已達到最好的 User experience 以及確保 User privacy 為考量。

Andrej Karpathy 也有類似的看法

另外，這真的只有 Apple / Google 能做，這是 OpenAI 的夢想，但如果他沒自家硬體、作業系統，很難達成這個願景。