要不要本地部署DeepSeek?核心是平衡成本、精确、智能!

要不要本地部署DeepSeek?核心是平衡成本、精确、智能!

72分钟 ·
播放数1192
·
评论数23

如题。

00:00 如果说ChatGPT是AI的iPhone时刻,那DeepSeek将是AI的安卓时刻!参考上期播客

一、本地部署DeepSeek真的可行吗?

04:19 这样说说吧,奥拓就别想着买奥迪的发动机了

09:22 为什么大家希望本地部署?当年安卓刚出来,人人都想去下个ROM刷个机,就好像今天大家都想试着部署DeepSeek,为什么有这种心理呢?

12:22 混合部署与蒸馏小模型未来如何?理论上会有更多蒸馏的小模型出来,利好各方面的创业,但是难点还是如何调优,而不是模型本身的能力

二、要不要本地部署,核心是考虑:成本vs精确vs智能

20:27 成本vs精确vs智能。本质上要解决这个三角,除了调优以外,也考验你对需求的结构能力

29:55 云服务是AI的底座,AI只是云服务的卖点。如果说 DeepSeek模型是满血的,那么运营就是残血状态,毕竟AI的运维能力和成本不是小厂能cover的

34:51 成本!深度学习推理与本地化架构的成本。要考虑到运维工程师、部署环境和工具可能每六个月就会完全迭代一次,这将是很大的成本

44:33 最大的悖论!有能力把模型做到本地的团队,很可能做不好数据标注和调优,很可能不懂市场和运营。更重要是你要想明白用什么,是总结、生成还是推理,不同的用法,部署的模式不一样

47:14 做大模型和做应用本质上是两套班子。为什么OpenAI要投资Harvey和Speak,理论上他们都是基于GPT做的优化,但是产品架构和团队的技术能力完全不同,无法用一套班子cover掉

三、哪些行业适合本地部署模型?

53:44 哪些业适合本地部署?1)只需要归纳、总结、生成的,不需要过高智能的;2)数据有限但需要专业数据标注的,如法律、会计师

58:28 个人层面的AI,未来文件夹式的文件结构将会被颠覆,取而代之的是本地的自然语言的搜索和展现

01:04:49 彩蛋

【关注主播】:

📕小红书:叫我小苏就好啊

📺B站:叫我小苏就好啊

📱微信:Roisu117

【关注频道】:

📕小红书:人民公园说AI

▶️油管:人民公园说AI

🐦推特:人民公园说AI

展开Show Notes
1:09:30 這個我覺得有點過度擬人化了,那個Gotham的表述也很有誤導性。事實上就是DS的圖片識別不好,而且♟️的訓練少,才出現各種錯誤,後面Chatgpt,也是模仿前面的步驟,犯類似的錯誤,最後那個投降完全就是被誘導性的prompt勸降的,我用這種誘導性的問題問deep seek,他也會投降🐶
有些人拿來炒作説中國AI不守規則,真是有點過了。如果說中文還有可能,他對兩個說的都是英文,訓練的語料應該大差不差的
叫我小苏就好啊
:
是的,你说的很好!不能拟人化去讨论,拟人化类比是最偷懒的👍
产品老修
:
说得很棒,拟人化不是一个去研究模型能力的科学方法,这个“彩蛋”主要面向很多不懂 AI 的普通人,最直觉的理解是把 AI 拟人,就像很多人会很自然的把国家,政党,团体去拟人或者拟动物等那样,希望直观的让更多人可以去关注和理解 deepseek 多一点,哈哈
3条回复
57:05 非常感谢各位专业的讨论AI 本地布置,解了我许多疑惑
柠柠柠七
柠柠柠七
2025.2.16
1:06:06 ds和cgpt下国际象棋这段也太禅宗了吧
水山识流
水山识流
2025.2.12
本地没有那么难,有门槛,但不是那么高。ollama部署,加个openwebui,Mac m2, window下4070左右gpu,盘deepseek r1:7b左右毫无压力,能力我觉得接近超过3.5,逼近4。当然如果试试32b,70b,可能也行。
胖丁Ivy
胖丁Ivy
2025.2.11
沙发!赶上头排了!
木木山
木木山
9天前
53:53 博士标注,AI 的饲料需要细糠了
叫我小苏就好啊
:
趋势如此
各位老师,问个问题。刚刚DeepSeek 官推说除了温度0.6之外,没有额外设置了,官方版本和开源671B版本是同一个。那怎么会说表现不一样呢?🤔🤔🤔会不会是主观感受
产品老修
:
因为商业上的考虑,不同商家都会微调加上自己的商业化相关的影响,采集用户的输入与反应后,还会进一步的微调,随着用户量和时间推移,差异会越来越明显。 举例比如有网友反馈说在腾讯的满血 R1 聊过之后,不久会在微信朋友圈看到相关的广告。 一些横向评测多家满血 R1 可以去参考类似这样的文章:https://mp.weixin.qq.com/s/nbCDzRftIMNnmGcmWEXIGQ
生而为猫奴:😮原来是这样,有道理,互联网策略羊毛出在🐷身上👍👍👍感谢老修老师解惑!
3条回复
1:07:43 哈哈,通用大模型在推理 "应用"在本地多样化数据
1:02:30 人搜索与AI搜索,生成、推荐
1:01:37 这点讨论非常棒
55:48 总结、归纳、生成
54:20 专业领域的数据标注,AI应用的起步点
anonymousccc
anonymousccc
2025.2.11
1:10:58 期待明年,拉勾!!!
anonymousccc
anonymousccc
2025.2.11
09:27 以为自己能拥有啊
31:59 是一個 Trade off。他們存儲受限,要麼限制客戶數量,要麼限制推理文本長度。應該是都縮水了
anonymousccc
anonymousccc
2025.2.11
1:00:47 潜意识🐂🍺