會員
財金新聞Finance

Google推出專為代理時代打造的TPU 8tx及TPU 8i Max

Google公布,擴展第八代TPU產品陣容,新增TPU 8i Max及TPU 8tx兩款全新系統,專注於安全且具備高情境脈絡處理能力的人工智能(AI),分別針對AI生命週期中的不同階段打造。

TPU 8t及TPU 8i在4月的Cloud Next大會上首度亮相,與上代TPU相比,兩者分別實現2.7倍的訓練效能提升,以及百分之80的推論性價比改善。 隨著企業紛紛將自主AI代理投入實際生產環境,Google 為這些基礎架構打造TPU 8i Max及TPU 8tx,以應對硬件層面數據安全及百萬詞元規模(million-token)脈絡處理能力這兩項迫切的新挑戰。

Google技術長暨AI基礎建設資深副總裁Amin Vahdat表示,隨著運算規模從「以人類層級」邁向「代理規模」,企業正尋求能夠跨AI模型龐大情境視窗進行推理的加速器。 部分受嚴格監管的客戶,亦提出針對特定工作負載加入專屬加密功能的需求。 全新的TPU系統正是為應對此一全新局勢而生。