工業(yè)智能領域的深度學習模型越具創(chuàng)新性，其規(guī)模就越大。GPT-3是今年最熱門的自主語言處理模型的一個很好的例子。要達到像人類一樣寫作的準確性和速度水平，該模型需要1750億個參數(shù)，350GB內存和至少1200萬美元的投資。但除成本外，這種大型人工智能模型還面臨著巨大的能耗問題。

馬薩諸塞大學阿默斯特分校的研究人員發(fā)現(xiàn)，訓練一個大型人工智能模型所需的計算能力可以產生超過60萬磅的二氧化碳排放——這是一輛普通汽車使用壽命的5倍！這些模型通常需要更多的能量來處理和生成設置(或稱為推理階段)。據(jù)英偉達估計，80-90%的運行神經網(wǎng)絡模型來自推理過程，而非訓練過程。

為了在人工智能領域取得更大的進得更大的進步，我們必須做出巨大的環(huán)境權衡。但事實并非如此。大型模型可以縮小到在日常工作站或服務器上運行，而不需要犧牲準確性和速度。

過去:平均計算能力每3.4個月翻一番。

十多年前，斯坦福大學(StanfordUniversity)的研究人員發(fā)現(xiàn)，用于驅動視頻游戲中的圖形處理器(稱為Gpu)可以用于深度學習模型。這個發(fā)現(xiàn)引發(fā)了一個競爭，比如為深度學習應用創(chuàng)建越來越強大的特殊硬件。相反，科學家創(chuàng)建的模型越來越大。邏輯上，更大的模型會導致更準確的結果。硬件功能越強大，這些模型的運行速度就越快。

OpenAI的研究證明，這種假設已經在這個領域得到了廣泛的應用。從2012年到2018年，深度學習模型的計算能力平均每3.4個月翻一番。因此，這意味著人工智能的計算能力在6年內增加了30萬倍。例如，這種能力不僅用于培訓算法，也用于生成設置。麻省理工學院(MIT)最近的一項研究表明，我們可能比想象中更快地達到計算能力的上限。

更重要的是，資源的限制使得深度學習算法的使用僅限于那些有能力使用它的人。當深度學習可以應用于從醫(yī)學成像檢測癌細胞到阻止在線仇恨言論的所有領域時，我們不能限制訪問。然而，我們無法承受建立更大、更耗電模型帶來的環(huán)境后果。

未來:越來越小。

幸運的是，研究人員發(fā)現(xiàn)了一些新的方法來縮小深度學習模型，并通過更智能的算法改變訓練數(shù)據(jù)集的應用。這樣，大型模型就可以在生產環(huán)境中以較低的能耗運行，而且還可以根據(jù)用例達到預期的效果。

這些技術可能會使機器學習普及，為更多沒有數(shù)百萬美元投資培訓算法并投入生產的組織服務。這對邊緣用例尤為重要。想想相機、汽車儀表盤、智能手機等微型設備。在這些用例中，大型專用AI硬件在物理上不實用。

研究者們正在通過刪除神經網(wǎng)絡中不必要的連接，或者通過簡化數(shù)學操作來縮小模型。這類小型快速模型可在任何地方運行，其精度和性能與大型模型相似。也就是說，我們不再需要爭相使用最強的計算能力，從而對環(huán)境造成更大的破壞。使大型模型變得更小，更有效率是深度學習的未來。

另外一個主要問題是針對不同的用例，在新的數(shù)據(jù)集中一遍又一遍地訓練大型模型。一個叫遷移學習的技術可以幫助預防這個問題。遷移學習以預先訓練的模型為起點。模型知識可以通過有限的數(shù)據(jù)集轉移到新的任務，而不需要從零開始重新訓練原模型。這是降低新模型訓練所需的計算能力、能源和資金的關鍵一步。

降低模型尺寸和相關計算能力將是重大突破？

模型可以在任何可能的情況下縮小，以減少計算能力的使用。知識可以回收再利用，而不是從零開始深入學習的訓練過程。最后，找到降低模型尺寸和相關計算能力的方法(在不犧牲性能或精度的情況下)將是深度學習的下一個重大突破。這樣，任何人都可以以更低的成本在生產中運行這些應用，而不需要在環(huán)境中做出巨大的犧牲。當我們把大型人工智能放在小地方時，一切都是可能的，甚至有助于阻止氣候變化的毀滅性影響。

成都融和實業(yè)排隊叫號系統(tǒng)廠家()是一家集研發(fā)、生產、營銷、服務于一體的高新技術企業(yè).主營智能排隊叫號系統(tǒng)、醫(yī)院分診系統(tǒng)、排隊機、叫號機、評價器(好差評系統(tǒng))、呼叫器、多媒體查詢及信息發(fā)布配套系統(tǒng)等,公司產品已廣泛應用于不動產登記、智慧醫(yī)療、智慧稅務、智慧政務、智慧金融、智慧通訊、智慧服務大廳、智慧機關單位等服務窗口行業(yè).咨詢電話：028-87438905。