一篇基本上paraphrase為主的回文目前就有5次修改 讓人很難正常討論 搞不好明天又改惹 先從最重要的 Software 2.0 當然有 limitation (Who/what does not?) 可是顯然 人的 limitation 多得多 光是翻譯 一句只有小學單字(run, walk)的簡單句型 "Run, don't walk..." 專家們就戰翻惹 https://pttsite.org.tw/Gossiping/M.1685503181.A.0F7 更何況 從考據的角度 老黃懂點中文 也沒死 其他人卻可以瘋狂超譯 黑人問號.jpg 所以正常人不要跟文組玩這種玩過上千年 玩剩下的東西 不如交給 AI 吧 AI 的翻譯能力足夠成為這個成熟產業的 disruptor 我覺得 such statement is true re "Software 2.0也不是什麼很新的概念" 往淺地說 很多回顧 都把這篇 blogpost 當作提出者 你可以想辦法讓 Karpathy 同意他那篇文章老掉牙 做得到我可以給 P 幣 ^ ^ 往深地說 AI 現在對多國語言的理解在 2017 年這篇文章發表時簡直不能想像 要知道 Google translate 在當年早就有滿滿 dataset 和 computation capability 可是翻譯能力確實不夠好 你當然可以說 G 人才 都是二流 但我覺得那倒不至於 但肯定是有領先的那方 做對了什麼 G 自己很可能比決大部分人了解自己到底 miss 了什麼 我不認為直接上一句 This vision in 2017 is nothing new 會有啥積極性 re "你有點搞錯Karpathy所謂的Software 2.0了" May I ask which statement was false in my reply? 所以你搞對了嗎? 你覺得怎樣算是 搞對呢? 我原文主旨顯然是 AI 比你想得有料 (也就是原文 "It is better than you") 並給出 AI 輕鬆超車等 proven work 我也相信這種超車的例子只會愈來愈多 且愈來愈頻繁 原文甚至有 "Think about how amazing it could be if your web browser could automatically re-design the low-level system instructions 10 stacks down to achieve a higher efficiency in loading web pages." 等尚未真正實現的願景 並稱 之 "this is the default behavior" (退一萬步言 我不認為每個人的理解都跟作者/Karpathy 100% 相同 上面的戰翻譯就是個 例子 這也隱含了 所有沒 100% 相同的人是不是都沒"搞對"呢??) ※ 引述《sxy67230 (charlesgg)》之銘言： : ※ 引述《xross (xross)》之銘言： : : AI 比你想得有料 : : Andrej Karpathy 自己都說他自己大部分時間都靠 AI 生 code 了 : : https://karpathy.medium.com/software-2-0-a64152b37c35 : : 這篇老文章就有說 : : 空間時間複雜度?? 可以吃嗎 : : Software 2.0 告訴我們 : : Constant running time : : Constant memory use : : 內文也提到 : : 人類智慧結晶 搞出來的 cache-optimized B-Trees 直接被 AI 幹翻 : : (版上臥虎藏龍 手魯industry-ready-B-Tree的高手可以出來嗆一下嗎?) : : "outperforming cache-optimized B-Trees by up to 70% in speed while saving an : : order-of-magnitude in memory." : : 這讓我想到 DLSS 也是藉由 AI/DL 直接做到以前一堆專家搞出來的upscale + AA根本 : : 到不了的好效果 : : 說了這麼多 : : 希望能盡快看到 官方 PTT app : : 目前可能 AI 還在學習怎麼寫 : 下班前看到就認真回覆一下， : 先說你有點搞錯Karpathy所謂的Software 2.0了，Software 2.0也不是什麼很新的概念。 : 他的概念就是過往我們使用從底層打包上來的Library來顯式開發API為Software 1.0，而 : 2.0則是只有定義數據集，定義神經網路框架跟訓練，最後將網路編寫成二進制透過工業 : 化流水線軟體平台部署。 : 不過有一個很大的前提，「定義搜索空間跟優化方向」，這個神經網路優化方向是需要人 : 工來定義的，這邊其實前幾年AlphaTensor就有做出實驗，直接透過強化學習去找矩陣乘 : 法的最佳解，結果確實找到了一組可以應用的比原本最佳矩陣乘法快了20%的解。 : 定義目標的依舊是電腦科學家/工程師，不是說什麼老闆/PM啊，你去跟老闆/PM講解Low r : ank tensor decomposition ，他只會跟你說聽不懂。 : 其實Software 2.0就是現在我們在做的深度學習/LLM這件事情，理論上有可能讓一個夠大 : 的模型來解決一切的問題，讓神經網路包覆整個底層軟體。如果要做一個複雜功能就直接 : 給兩個Software 2.0模組組合去一起做反向傳播優化，然後就可以去配適到我們的開發任 : 務上，只是那個結果我們可能很難解釋他(90%的ACC不一定代表能夠fit到所有未知的數據 : 上)。 : 如果模型參數量不夠大還是會有No free lunch的問題，所以未來很長一段時間依舊是會 : 有神經網路搭配顯式編程的方式持續，Karpathy後面也有提出Software 2.0的限制，不是 : 絕對樂觀看待的。 : 以上 -- ※ 發信站: 批踢踢實業坊(pttsite.org.tw), 來自: 36.227.227.79 (臺灣) ※ 文章網址: https://pttsite.org.tw/Tech_Job/M.1685525728.A.21E