企業AI落地最后一公里:明略科技×DeepSeek-R1實戰指南(附直播實錄)
2025-03-13
隨著DeepSeek的熱度從企業擴展到大眾,企業面臨的已不再是“是否要用AI”,而是如何跑贏落地周期,從模型接入絲滑進入到場景適配。
明略科技作為第一批接入DeepSeek并落地實際應用場景的企業,充分運用檢索增強生成(RAG)技術,融合大模型技術與企業沉淀的專業知識,平衡DeepSeek的創造力與幻覺問題,賦能實際業務場景。
2月27日,明略科技高級技術總監吳昊宇受邀做客51CTO直播間,分享了接入DeepSeek的相關工作,以及幫助企業應對“最后一公里”的實戰經驗。
直播干貨已整理為系列文章,近期將陸續發布。
最近一周大家都很關注DeepSeek,他們把這周定為“開源周”,每天發布一個重磅炸彈,都是提升模型推理效率的代碼庫,這對大模型領域特別重要。前幾天社媒都在討論大模型廠商是不是虧本,有人算過按1000億token處理量,廠商每月要虧四個億。但DeepSeek開源這些工具后,大家發現其實是有盈利可能的,這些開源庫極大地提高了推理效率,相當于給爭論畫了句號:用好算力,確實是未來方向。
DeepSeek-R1發布后,我們在第一時間就啟動了R1接入工作。
第一個關鍵是在流量最高峰、最擁堵的階段,面向企業用戶開放了滿血版R1。即使在公有API或在公共服務波動期間,我們依然保障了客戶的流暢使用體驗。
第二個關鍵是應用場景問題,只接對話模型對企業服務是遠遠不夠的。很多企業客戶現在會主動向我們咨詢:能不能把知識庫也接入這類推理模型來優化結果,甚至數據分析服務?客戶也在追問:接入R1之后分析會不會更準?
不過雖然R1效果好,但它依然存在幻覺問題,響應速度也有波動。還有個重要考量是:如何用適合的方式展示大模型的推理過程。從年前到整個二月份,我們基本沒休息,一直在做三件事:測試不同場景、調整參數、篩選能落地的業務場景。
明略科技有明確的團隊分工,算法團隊專門攻堅模型研究和接入,各業務線的場景組負責各自agent的調優,大模型網關層作為流量入口則由專人統一管理,包括模型接入、客戶權限分配、余額預警這些瑣碎但重要的事都得盯住。
不過接入只是剛開始,R1作為推理模型有個特殊點:它返回的“reasoning”字段會暴露思考過程。這和之前對接的其他模型完全不同,以前都是直接給結果,模型的響應速度比較快;推理模型的推理過程比較耗時間,需要在功能設計上,合理的展示推理過程,減少用戶焦慮感。各個業務模塊為了兼容這個特性都得重新測試,像知識庫這種需要穩定輸出的場景,突然多出個會犯錯的“大腦活動記錄”,產品設計和技術適配都得從頭摸索,這是從底層邏輯到上層應用的全新考驗。
以明略科技推出的企業級一站式大模型Copilot“小明助理”舉例,這個工具在明略內部已經全員使用了。DeepSeek R1上線后我們分析了數據,發現兩個有意思的現象:
第一是模型選擇權重顛覆認知,R1上線不到一周就沖到模型使用量榜首,顛覆了原本默認效果最好的主流模型;
第二是對話黏性暴增,和其他模型平均聊2輪就結束,用戶跟R1的平均對話輪數直接漲了98%。一些企業客戶的分析師告訴我們:“答案對不對不重要,我看它推理的過程就像有個高手在旁邊拆解解題思路”,比如做客戶場景分析、用戶分析等,反而幫分析師打開了新視角。
先說現實問題,私有化部署成本。對很多企業來說,這筆預算是道硬門檻,所以我們常建議他們先通過API接入服務,等業務跑順了再考慮私有化。另外一個問題是適配性。企業里那些陳年老系統既找不到供應商改造,又不能推倒重來。
在這種情況下,Copilot模式是更適合企業落地AI的。基于“on the same page”理念,小明助理以瀏覽器插件形式為主,用戶通過操作小明助理,完成從A系統抓取表格、B系統截取界面、C系統提取文本信息,最后生成分析報告的路徑,能夠解決原本舊系統的通路問題。
場景選擇要兼顧兩頭,既要滿足領導層用上AI的要求,又要讓員工真實感受到AI好用,愿意去用。比如做行業研究,研究員原先要手動翻幾十個網頁、寫摘要、做總結才能出報告,現在 OpenAI 推出了深度搜索的功能,可以用大模型解決海量數據收集和復雜分析的問題,這種方式解決了原來的難題,大家愿意用起來。
我們的經驗是:先解決企業的業務現存痛點,再找到能夠真正解放員工重復性工作的場景,這樣作為切入點去落地AI,才能看到進步,企業才會有動力繼續往下持續推進。落地AI是一件很重要的事情,企業要看到效果才行。
DeepSeek正加速企業AI化進程。企業打通最后一公里仍面臨不少挑戰和難題。
如何緩解幻覺問題,提升應用效果?非私有化部署如何確保數據安全?
更多問題答案,請持續關注~
直播干貨已整理為系列文章,近期將陸續發布。
信息填寫