Kimi智能助手宣布支持200萬字無損上下文，不到半年提升10倍

2024年3月18日，通用人工智能創業公司——月之暗面（Moonshot AI）宣布在大模型長上下文窗口技術上取得新的突破，Kimi 智能助手已支持200萬字超長無損上下文，并于即日起開啟產品“內測”。對大模型超長無損上下文能力有需求的用戶，可到 Kimi 智能助手網頁版 kimi.ai首頁申請搶先體驗。

據了解，Kimi智能助手是月之暗面（Moonshot AI）基于自研千億參數大模型打造的對話式AI助手產品，在2023年10月發布時支持約20萬漢字無損上下文輸入。2023年11月，Kimi智能助手正式面向全社會開放服務，出色的長上下文處理能力，幫助用戶解鎖了很多新的使用場景，包括專業學術論文的翻譯和理解、輔助分析法律問題、一次性整理幾十張發票、快速理解API開發文檔等，獲得了良好的用戶口碑。

不到半年時間，月之暗面將Kimi智能助手的無損上下文長度提升了一個數量級，從20萬字到200萬字。由于沒有采用常規的漸進式提升路線，月之暗面團隊遇到的技術難度也是指數級增加的。為了達到更好的長窗口無損壓縮性能，月之暗面的研發和技術團隊從模型預訓練到對齊、推理環節均進行了原生的重新設計和開發，不走“滑動窗口”“降采樣”等技術捷徑，攻克了很多底層技術難點，才取得新突破。

媒體溝通會現場，月之暗面“拋磚引玉”，展示了一些超長無損上下文的使用場景示例。例如，用戶上傳幾十萬字的經典德州撲克長篇教程后，讓 Kimi扮演德撲專家為自己提供出牌策略的指導。

上傳一份完整的近百萬字中醫診療手冊，讓Kimi針對用戶的問題給出診療建議。

上傳英偉達過去幾年的完整財報，讓Kimi成為英偉達財務研究專家，幫用戶分析總結英偉達歷史上的重要發展節點。

上傳一個代碼倉庫里的源代碼，可以詢問 Kimi關于代碼庫的所有細節，即便是毫無注釋的陳年老代碼也能幫助你快速梳理出代碼的結構。

過去要10000小時才能成為專家的領域，現在只需要10分鐘，Kimi就能接近一個新領域的初級專家水平。用戶可以跟Kimi 探討這個領域的問題，讓Kimi幫助自己練習專業技能，或者啟發新的想法。有了支持200萬字無損上下文的Kimi，快速學習任何一個新領域都會變得更加輕松。

快速整理大量的資料是很多用戶在工作中經常遇到的挑戰。現在 Kimi 能夠一口氣精讀500個，甚至更多數量的文件，幫助用戶快速分析所有文件的內容，并且支持通過自然語言進行信息查詢和篩選，大大提高了信息處理效率。例如，公司 HR 可以基于業務需求，快速從最近的500份簡歷中，讓Kimi快速找出有某個行業從業經歷，同時從計算機類專業畢業的求職者，更加高效地篩選和識別合適的候選人。

從長篇小說、故事或劇本中，重新發現值得玩味的蛛絲馬跡，進行深層細節的挖掘，是很多影視娛樂IP的愛好者熱衷的事情。如果將甄嬛傳全集幾十萬字的劇本傳給Kimi，然后提問劇本中有哪些細節表明甄嬛的孩子是果郡王的。Kimi能在不同時間段、各個場景的故事情節中，深入挖掘甄嬛、果郡王的情感線以及和他們孩子的真相，堪比一個看了好幾十遍電視劇的“甄”學家。

“我們相信，大模型無損上下文長度的數量級提升，也會進一步幫助大家打開對AI應用場景的想象力，包括完整代碼庫的分析理解、可以自主幫我們完成多步驟復雜任務的智能體Agent、不會遺忘關鍵信息的終身助理、真正統一架構的多模態模型等等。”月之暗面工程副總裁許欣然在媒體溝通會上表示，“無論是內存、算力還是網絡帶寬，歷史上每一次基礎技術的升級，都會解鎖新的產品形態和應用場景。我們對200萬無損上下文的Kimi可以帶來哪些超出想象力的創新機遇充滿期待。”

“通往通用人工智能（AGI）的話，無損的長上下文將會是一個很關鍵的基礎技術。從word2vec到RNN、LSTM，再到 Transformer，歷史上所有的模型架構演進，本質上都是在提升有效的、無損的上下文長度。”月之暗面創始人楊植麟博士此前在接受采訪時表示，“上下文長度可能存在摩爾定律，但需要同時優化長度和無損壓縮水平兩個指標，才是有意義的規模化。”

從很多Kimi智能助手用戶的反饋來看，20萬字的無損長上下文幫助他們打開了新的AI應用世界，帶來了更大的價值，但隨著他們嘗試更復雜的任務、解讀更長的文檔，依然會遇到對話長度超出限制的情況。這也是大模型產品的無損上下文長度需要繼續提升的一個直接原因。

此外，Kimi智能助手的智能搜索，更是離不開大模型的無損長上下文能力。Kimi主動搜索得到的多篇資料，會作為上下文的一部分交給模型去推理。正是因為Kimi大模型支持的上下文窗口足夠長，窗口內的信息損失足夠低，Kimi智能助手才能輸出高質量的結果，為用戶帶來截然不同的搜索體驗——Kimi可以根據用戶的問題，主動去互聯網上搜索、分析和總結最相關的多個頁面，生成更直接、更準確的答案。例如，用戶可以讓Kimi主動去搜索和對比兩家同領域上市公司的最新財報數據，直接生成對比表格，節省大量的資料查找時間。而傳統的搜索引擎通常只能根據用戶的問題，返回一些摻雜著廣告信息網頁鏈接。

另一項與大模型的無損上下文能力息息相關的指標是指令遵循（Instruction Following）能力。指令遵循能力主要體現在兩個方面：第一，模型在多輪對話中是否能夠始終遵循用戶的指令，理解用戶的需求；第二，模型是否能夠遵循復雜指令，有時候復雜指令可能長達幾千、上萬字。從產品推出以來的用戶反饋來看，Kimi智能助手的多輪交互和超長指令遵循能力，也同樣具備顯著優勢。

伴隨模型能力的每日升級，iOS應用、Android應用、小程序、Web等多端平臺的上線，Kimi智能助手已成為越來越多用戶工作和生活離不開的AI小助手。3月18日啟動200萬字超長上下文的內測申請后，月之暗面會逐步開放更多用戶來體驗具備超長無損上下文能力的Kimi智能助手，期待與更多用戶共創智能。