三名田納西州未成年人在聯邦集體訴訟中起訴伊隆·馬斯克的 xAI,指控 Grok 使用他們的真實照片生成兒童性剝削材料(CSAM),並且公司明知其AI聊天機器人未設置行業標準的安全措施,卻仍從中牟利。
該訴訟於週一在加州北區提起,聲稱 Grok 被用來創建和散布利用他們真實影像的AI生成兒童性剝削材料。
未成年人被稱為 Jane Doe 1、2 和 3,他們表示,經過修改的內容在 Discord、Telegram 和檔案分享網站等平台上被傳播,造成持久的情感創傷和名譽損害。
“xAI——以及其創始人馬斯克——看到了商機:一個從真實人,包括兒童的性剝削中獲利的機會,”訴訟文件指出。“明知可能產生並且確實產生有害的非法內容,xAI 仍發布了 Grok,一款具有圖像和視頻製作功能的生成式人工智能模型,能根據提示創作涉及真實人像或視頻的性內容。”
受害者描述了2025年中至2026年初的事件,他們的真實照片被篡改成露骨的圖像並在網路上流傳。
其中一名受害者曾被一名匿名用戶警告,該用戶發現有AI生成內容的資料夾在數百用戶之間交易。
他們指控一名行兇者通過一個獲得 xAI 技術授權的第三方應用程式訪問 Grok,該結構被訴狀稱為 xAI 有意用來規避責任,同時繼續從底層模型中獲利。
在一月的公眾反彈高峰期,馬斯克在 X 上表示,他“沒有任何未成年裸體圖片的資訊”,並補充說“在被要求生成圖片時,系統會拒絕產生任何非法內容。”
根據訴訟中引用的反數位仇恨中心(Center for Countering Digital Hate)調查,Grok 在2025年12月29日至今年1月9日期間,估計產生了23,338張兒童性化圖片,平均每41秒一張。
受害者尋求每次違規至少賠償15萬美元的賠償金(根據馬沙法案),以及收益沒收、懲罰性賠償、律師費用和永久禁令,還有根據加州不公平競爭法的利潤追討。
訴訟層出不窮
這是首批直接追究AI公司因生成和散布涉及可識別未成年人的AI生成CSAM的法律案件之一,並且在 Grok 面臨美國、歐盟、英國、法國、愛爾蘭和澳大利亞多地調查的同時提出。
“當一個系統故意設計成操縱真實影像成為性化內容時,下游的濫用並非偶然——而是可預見的結果,”IGNOS Law Alliance的合夥人Alex Chandra對 Decrypt 表示。
Chandra指出,法院可能不會接受簡單的平台辯護,並指出生成式AI系統在用戶互動方面可以“被視為平台”,但在評估安全設計時“則被視為產品”,由於對兒童保護義務的提高,對CSAM案件會進行“特別嚴格的審查”。
他還表示,法院可能會專注於安全措施,並指出公司可能需要在部署前展示“風險評估和安全設計措施”,以及積極阻擋有害輸出的防護措施。
Decrypt 已聯繫馬斯克通過 xAI 和 SpaceX 以獲取評論。