3月23日凌晨，英偉達創始人兼CEO黃仁勛與OpenAI聯合創始人兼首席科學家伊爾亞·蘇茨克維針對ChatGPT進行了深入探討。伊爾亞·蘇茨克維指出，和之前版本相比，ChatGPT-4最大的提升在于更強大的神經網絡功能，能通過邏輯推理對未來進行預測。但ChatGPT-4目前的推理能力還沒有達到預期水平，如果能進一步擴大數據庫，保持目前的商業運轉模型，其推理能力將會得到進一步提升。

　　黃仁勛認為，ChatGPT是AI界的“iPhone時刻”，但這一時刻的到來并非一蹴而就。

　　以下為中國電子報記者整理的本次對話內容精華：

　　黃仁勛：近期，ChatGPT的熱潮讓AI獲得了全世界的關注，OpenAI作為研發者備受行業關注。為什么會決定聚焦AI深度學習領域?

　　伊爾亞·蘇茨克維：人工智能通過不斷的深度學習，給世界帶來了巨大的改變。對于個人而言，主要體現在兩方面：

　　首先，關注AI深度學習的初心在于，人類對于各種各樣的問題都有一定的直覺性理解。人類是如何通過智力完成這樣的預判，以及人類意識、人類體驗的如何進行定義，使我非常感興趣。

　　其次，在2002年—2003年上大學期間，認為“學習”這項技能，只有人類才能完成，計算機無法做到。可當時突然冒出一個想法——如果讓計算機也能夠不斷學習，或許會為整個AI領域帶來改變。

　　我當時的專業正好是研究神經網絡學習。神經網絡是AI領域的一個非常重要的進步，人們一直在探索如何通過神經網絡去進行深度學習，如何讓神經網絡像人類的大腦一樣思考，以及如何將處理數據的能力反映到計算機的工作方式上。那時，我其實并不清楚研究這個領域的未來會怎樣，只是覺得長期來看很有前景。

　　黃仁勛：你曾說過，GPU將會影響接下來幾代人的生活，GPU可能會對深度學習的培訓帶來幫助。你是在何時意識到這一點的?

　　伊爾亞·蘇茨克維：我們在多倫多實驗室中，第一次嘗試使用了GPU來培訓深度學習，當時并不清楚如何使用GPU，以及如何讓GPU獲得真正的關注。但隨著我們獲得的數據集越來越多，我們也越來越清楚，這將會為傳統模型帶來的優勢。我們希望能夠加速數據處理的過程，培訓出過去科學家從來沒有培訓過的內容。GPU的使用，給我們帶來了一個轉變性的革命，讓我們能不斷地去培訓神經網絡，訓練神經網絡的圖像處理能力。

　　黃仁勛：ChatGPT和OpenAI是否已經打破了過去計算機編輯圖像的模式?

　　伊爾亞·蘇茨克維：我認為不是打破了計算機圖像的編輯，而是用另外一種處理方式。大部分人都是用傳統的思維模式去處理數據集，但我們的處理方式更先進，是“超越式”的。曾經，我們也認為這是一件艱難的事情，甚至覺得幾乎不可能完成，但如果我們能做好，就是讓人類生活有了一大進步。

　　黃仁勛：擔任Open AI的首席科學家，你認為最重要的工作是什么?我覺得Open AI在不同的時間點，關注焦點并不相同。我認為ChatGPT是“AI界的iPhone時刻”，你是如何實現這樣的跨時代轉變的?

　　伊爾亞·蘇茨克維：最開始，我們也不太清楚如何開展整個項目，而且，我們現在所得出的結論，和當時使用的邏輯完全不同。無法想象現在的用戶已經有這么好用的ChatGPT工具，來幫助大家創造出非常好的藝術效果和文本效果。但在2015年、2016年時，我們還不敢想象能達到當下的程度。

　　在當時，我有兩大想法：一是，想讓機器具備一種不受監督的學習能力。雖然，現在認為這是理所當然的，可以用自然語言模型培訓所有內容。但在2016年，不受監督的學習能力仍舊是沒有被解決的問題，也沒有任何科學家有過相關的經驗和研究。我當時認為“數據壓縮”是技術上的瓶頸。但實際上ChatGPT確實壓縮了我們的培訓數據集。最后，我們還是找到了數學模型，通過不斷培訓來壓縮我們的數據。

　　二是，希望通過培訓神經網絡來預測下一個字符。我認為，下一個神經元的單位會和我們的整個視覺神經的網絡密切相關，這和我們驗證的方法是一致的。再次重新證明了，下一個字符的預測、下一個數據的預測能夠幫助我們去發掘現有數據的邏輯，這就是ChatGPT培訓的邏輯。關鍵在于，培訓一些神經網絡去預測下一個字符，是一個值得努力的目標。

　　黃仁勛：擴大數據規模能夠提高AI的表現能力，更多的數據、更大的數據集能夠幫助生成式AI獲得更好的結果。你覺得GPT-1、GPT-2、GPT-3的演變過程，是否符合這樣的“摩爾定律”?

　　伊爾亞·蘇茨克維：OpenAI的目標之一，是解決擴大數據集的問題。剛開始面臨的問題，是如何提升數據的高精準度。因此，我們在做Open AI項目時，通過讓它做一些策略性的游戲，來提升精準度，比如，競爭性的體育游戲，訓練它必須足夠快、足夠聰明，還要和其它隊競賽。作為一個AI模型，它需要不斷重復個基于人類反饋的強化學習過程。

　　我們的工作原理，就是通過不斷培訓神經網絡體系，讓神經網絡去預測下一個單詞。預測的單詞和過去的單詞之間，能夠達成一定的邏輯上的一致。從神經網絡來看，它更像是根據方方面面來得出一個結論。但我們的模型還沒有達到這樣的效果。人類的反饋很重要，越多的反饋能使AI更可靠。

　　黃仁勛：你可以讓AI做一些事情，但是你能不能讓AI不做一些事情?如何讓AI知道自己的界限在哪里?

　　伊爾亞·蘇茨克維：可以實現。未來，第二階段的培訓序列，就是和AI、神經網絡去進行交流，我們對AI訓練得越多，AI的精準度越高，就會越來越符合我們的意圖。我們不斷地提高AI的忠誠度和準確度，它就會變得越來越可靠、越來越精準，而且越來越符合人類社會的邏輯。

　　黃仁勛：相比較于以前的版本，GPT-4有怎樣的升級?未來在哪些方面、哪些領域有更多的升級?

　　伊爾亞·蘇茨克維：GPT-4基于ChatGPT的性能，做了很多改善。對GPT-4的訓練大概是6～8個月之前開始，GPT-4和之前GPT版本最重要的區別，是GPT-4有更強大的神經網絡預測功能，能夠更精確的去預測下一個單詞是什么，意味著能夠對人們說的話有更精準的理解。

　　這與人們此前常說的直覺有很大不同，GPT-4采用的是推理能力。比如，在一篇推理小說中，小說中有各種不同的人物和情節，有密室、有謎團，人們在讀推理小說的過程中，完全不清楚接下來會發生什么。但是能通過小說中不同的人物和情節，來預測結局。GPT-4也是如此，能夠像推理小說一樣預測結果。

　　黃仁勛：語言模型是如何學習到推理和邏輯的?GPT-4現在有哪些缺陷，在接下來的版本中將進一步完善?

　　伊爾亞·蘇茨克維：想清楚定義邏輯和推理并不容易，但是未來可通過將邏輯和推理定義的更精準，來獲得更確切的答案。

　　神經網絡是有一些缺陷，用神經網絡去打破之前固有的思維模式，那么就需要考慮這個神經網絡能夠走多遠的問題

　　神經網絡依舊面料一些挑戰，比如，讓神經網絡去打破固有的思維模式，但這也就意味著人們要思考神經網絡到底能走多遠，也就是神經網絡到底有多大潛力。目前GPT-4的推理能力確實還沒有達到預期的水平，未來希望GPT-4的推理和邏輯能夠達到更高的水平。但未來如果能更進一步的擴大數據庫，保持過去的商業運轉模型，未來推理的能力會進一步提高，對此也很有信心。

　　黃仁勛：ChatGPT是否有一種自然屬性，能夠不斷地去理解新內容?

　　伊爾亞·蘇茨克維：是的，神經網絡確實有這些能力，但是有時候也并不準確，這也是神經網絡接下來面臨的最大挑戰。在很多情況下，神經網絡會出現很多奇怪的錯誤，甚至出一些人類根本不會犯的錯誤。針對這些“不可靠性”，需要進一步針對神經網絡來進行研究，從而未來能夠給人們一個更精準的結果，甚至能夠糾正一些錯誤，讓神經網絡變得更可靠。

　　現在GPT-4的模型已經被公開發布了，它其實沒有追蹤數據模型的能力，它的能力是基于文本去預測下一個單詞，根據數據調節來得出結果，所以是有局限性的。有人認為，可以讓GPT-4去找出某些數據的來源，然后會對數據來源做更深入地調查，來不斷提升能力。

　　總體而言，盡管GPT-4并不支持內部的數據收集，但它肯定會在持續的數據挖掘之中變得更加精準。GPT-4甚至已經能夠從圖片中進行學習，并且根據圖片和內容的輸入進行反饋。

　　黃仁勛：多模態學習如何能夠加深GPT-4對于的理解能力?為什么多模態學習定義了GPT和OpenAI?

　　伊爾亞·蘇茨克維：多模態學習可以從兩個維度來看：

　　第一，多模態在視覺和圖像識別上特別有幫助。因為整個世界是由圖片形成的，人們和其他動物都是視覺動物，人腦1/3的灰質都是用來處理圖像的，GPT-4也能夠去理解這些圖像。

　　第二，隨著人們對于世界的認知不斷加深，通過圖片或文字對世界的理解是一樣的。對于一個人而言，一個人可能一生之中只會說10億個詞。這通過計算人一生有多少時間，以及一秒能處理多少詞，再減去睡覺的時間，就能算出一生處理了多少單詞。人和神經網絡的不同之處在于，人如果10億個詞匯無法理解，可以用其他萬億級的詞匯來理解。對于AI神經網絡而言，可以通過文本，將人們對于世界的知識和信息慢慢滲透給AI的神經網絡。外加視覺圖片等其他元素，神經網絡可以更精準地進行學習。

　　黃仁勛：對于文本和圖片方面的深度學習，如果我們想要人工智能去理解其背后的邏輯，甚至是理解這個世界的基本原理——比如我們人類日常的表達方式，一個詞其實有兩種含義，聲音的高低變化，其實都代表著兩種不同的語氣。說話的語言和語調的變化，對AI去理解文本是否有一定幫助呢?

　　伊爾亞·蘇茨克維：是的，這類場景非常重要。對于語音和語調，包括聲音的大小和語氣，對于AI而言都是非常重要的信息來源，提供了領域中重要的解讀信息的方式。

　　黃仁勛：請總結一下AI正處于怎樣的發展階段?以及在不遠的將來，生成式AI能夠達到怎樣的高度?大語言模型的未來是什么?

　　伊爾亞·蘇茨克維：預測未來比較困難的。目前能做的，是把現有的事情繼續做下去，讓人們看到GPT更驚艷的系統版。未來，希望通過提高數據的可靠度，讓系統更進一步獲得人們的信任。目前，生成式AI在解讀這個文本過程中，還無法完全驗證文本的真實性以及信息來源。對于未來的展望，是讓神經網絡必須要確認所有數據來源的真實性，準確地服務人們每一步的需求。

　　黃仁勛：在第一次使用ChatGPT-4時，有哪些性能讓你覺得很驚艷和震驚?

　　伊爾亞·蘇茨克維：我認為AI本身存在的意義，是可以給人類帶來幫助。之前的ChatGPT版本，神經網絡只會回答問題，甚至有時候會誤解問題，在回答方面很不理想。但是GPT-4基本沒有誤解問題的情況，甚至能夠去處理更復雜的任務。簡而言之，它的可靠性更好。例如，GPT-4能夠寫詩，可以寫押頭韻的詩，也能寫押尾韻的詩。甚至它能去理解笑話，能明白笑話背后的意思。

　　作者：沈叢、許子皓　　來源：中國電子報、電子信息產業網