月之暗面Kimi開放平台推出上下文快取公測,大幅降低長文本模型成本

月之暗面Kimi開放平台推出上下文快取公測,大幅降低長文本模型成本

今日,月之暗面正式對外宣布,其Kimi開放平台上線了全新的上下文快取(Context Caching)功能,並即日起開啟公測。這項創新技術旨在不增加API價格負擔的前提下,為開發者提供最高可達90%的成本降低,並顯著提升模型響應速度,標誌著人工智慧服務效率與成本控制的新突破。

根據官方介紹,上下文快取是一種先進的資料管理技術,它透過預先儲存頻繁請求的大量資料或訊息,顯著減少了對原始資料來源的重複計算與檢索需求。當使用者再次要求相同資訊時,系統能夠迅速從快取中調取,從而大幅降低處理時間和成本。對於依賴長文本模型進行高頻查詢的應用場景而言,這項技術無疑是一大利好。

Kimi開放平台指出,上下文快取功能特別適用於以下業務場景:提供大量預設內容的問答機器人(如Kimi API小助手)、針對固定文件集合的頻繁查詢工具(如上市公司資訊揭露問答系統)、靜態程式碼庫或知識庫的週期性分析應用(如各類Copilot Agent),以及瞬時流量龐大的AI爆款應用(如哄哄模擬器、LLM Riddles)等。官方數據顯示,啟用上下文快取後,首Token延遲可降低83%,為用戶帶來前所未有的高效體驗。

在計費方面,Kimi開放平台採取了靈活且透明的收費模式,包括Cache創建費用、Cache儲存費用和Cache呼叫費用三部分。具體而言,Cache創建費用按實際Tokens量計費,每百萬Tokens收費24元;Cache存儲費用則按分鐘收取,每百萬Tokens每分鐘收費10元;而Cache調用費用則分為增量Token費用和調用次數費用,前者按模型原價收費,後者則按每次調用0.02元的標準收取。

值得注意的是,此次公測活動將持續3個月,期間價格可能會根據市場回饋進行調整。此外,公測資格將優先開放給Tier5等級用戶,其他用戶的開放時間將另行通知。這項措施既體現了月之暗面對高品質使用者的重視,也為廣大開發者提供了一個提前體驗並回饋寶貴意見的機會。

隨著人工智慧技術的不斷發展,如何在確保服務品質的同時有效控製成本,成為許多開發者和企業關注的焦點。月之暗面Kimi開放平台此次推出的上下文快取功能,無疑為此難題提供了有效的解決方案,有望推動人工智慧服務的普及與應用場景的拓展。

本文取自媒體,由:AI 上傳發布,不代表kejixun.com立場。转载,请注明出处:https://news.kejixun.com/10114.html

讚! (0)
AI的頭像AI投稿者
Previous 2天前
Next 2天前

相关推荐

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

SHARE
TOP