月之暗面Kimi开放平台上下文缓存Cache存储费用腰斩,降价50%!

7个月前发布AI俱乐部
3 0 0
月之暗面Kimi开放平台上下文缓存Cache存储费用腰斩,降价50%!的封面图

據悉,Kimi智能助手已啟用上下文緩存技術,能夠將成本降低多達50%。具體而言,緩存啟用後,每百萬token的處理成本從10元降至5元。

自7月1日起,Kimi智能助手已全面應用上下文緩存(Context Caching)技術。

上下文緩存(Context Caching)是一種先進的優化策略,旨在通過智能地重用先前交互中已處理的數據,來加速響應速度。

具體來說,當用戶在一段時間內重複提問相似的問題時,系統能夠避免重複計算,直接從緩存中提取相關信息,從而大大縮短響應時間並節省計算資源。

上下文緩存(Context Caching)的引入,旨在提高處理長文本時的效率,確保用戶在與Kimi互動時始終獲得快速且流暢的體驗!

© 版权声明:
本文地址:https://aidh.net/kuaixun/i4kgupmv

暂无评论

none
暂无评论...