用戶名: 密碼: 驗證碼:

ServiceNow、Hugging Face 和 NVIDIA 發布全新開放獲取 LLM,助力開發者運用生成式 AI 構建企業應用

摘要:與 BigCode 社區共同創建的 StarCoder2 是在 600 多種編程語言上訓練而成,它將推進代碼生成、透明度、治理和創新

  ICC訊 美國加利福尼亞州圣克拉拉 - 太平洋時間 2024 年 2 月 28 日 - ServiceNow(NYSE:NOW)、Hugging Face 和 NVIDIA 于今日發布 StarCoder2,其為一系列用于代碼生成的開放獲取大語言模型(LLM),將為性能、透明度和成本效益樹立新標準。

  StarCoder2 的聯合開發者 BigCode 社區是由 ServiceNow 和 Hugging Face 共同管理。前者是一家領先的數字工作流公司,致力于為每個人創造更好的工作環境;后者則是最常用的開源平臺,機器學習社區在該平臺上就模型、數據集和應用程序開展合作。

  在 619 種編程語言上訓練而成的 StarCoder2,可接受進一步的訓練并嵌入到企業應用中,以執行應用源代碼生成、工作流生成、文本摘要等特定任務。開發者可以使用它的代碼補全、高級代碼摘要、代碼片段檢索等功能,加快創新速度及提高工作效率。

  StarCoder2 提供三種規模的模型:由 ServiceNow 訓練的 30 億參數模型、由 Hugging Face 訓練的 70 億參數模型,以及由 NVIDIA 使用 NVIDIA NeMo 構建并在 NVIDIA 加速基礎設施上訓練的 150 億參數模型。規模較小的模型由于參數較少,在推理過程中所需的計算量較少,可在提供強大性能的同時節省計算成本。實際上,新的 30 億參數模型在性能上與原有的 StarCoder 150 億參數模型不相上下。

  ServiceNow 的 StarCoder2 開發團隊負責人兼 BigCode 聯合負責人 Harm de Vries 表示: “StarCoder2 證明了將開放式科學協作和負責任的 AI 實踐與道德數據供應鏈相結合所產生的力量。這一極其先進的開放獲取模型將提高已有生成式 AI 的性能和開發者的生產力,為開發者提供平等的機會,獲得代碼生成式 AI 的優勢。這使任何規模的企業都能更加輕松地激發其全部業務潛力?!?

  Hugging Face 機器學習工程師兼 BigCode 聯合負責人 Leandro von Werra 表示: “在 Hugging Face、ServiceNow 和 NVIDIA 的共同努力下,這套功能強大的基礎模型終于問世。在數據和訓練完全透明的情況下,社區能夠更加高效地構建各種應用。StarCoder2 證明了開源和開放式科學的潛力,我們正在努力實現負責任 AI 的全民化?!?

  NVIDIA 應用研究副總裁 Jonathan Cohen 表示: “由于每個軟件生態系統都有專門的編程語言,代碼 LLM 可以推動各行業效率和創新方面的突破。NVIDIA 與 ServiceNow 和 Hugging Face 的合作帶來了安全且負責任的模型,讓更多人能夠用上負責任的生成式 AI,我們相信這將使全球社區受益?!?

  StarCoder2 模型為自定義應用開發增添強大助力

  StarCoder2 模型均使用來自 BigCode 的先進架構和精心挑選的數據源。為了實現負責任的大規模創新,數據源的透明度和開放治理被放在第一位。

  StarCoder2 提升了未來由 AI 驅動的編碼應用的潛力,包括各種文本-代碼和文本-工作流轉換功能。通過更加廣泛、深入的編程訓練,它可以提供資源庫上下文,從而實現準確的上下文感知預測。無論是經驗豐富的軟件工程師還是業余開發者等,都能利用這些進步提升業務價值和推動數字化轉型。

  StarCoder2 的基礎是一個名為 Stack v2 的新代碼數據集,該數據集規模比 Stack v1 大 7 倍多。除了先進的數據集之外,新的訓練技術也有助于模型理解低資源編程語言(如 COBOL 等)、數學和程序源代碼討論。

  使用特定業務數據對先進功能進行微調

  用戶可以使用 NVIDIA、NeMo 或 Hugging Face TRL 等開源工具,利用特定行業或組織的數據,對開放獲取的 StarCoder2 模型進行微調??梢詣摻ǜ呒壛奶鞕C器人來處理更復雜的摘要或分類任務、開發能夠快速且輕松地完成編程任務的個性化編碼助手、檢索相關代碼片段,并實現文本-工作流轉換功能。

  為創建適合自身業務的特定任務功能,各企業已經開始對 StarCoder 基礎模型進行微調。

  ServiceNow 的文本-代碼 Now LLM 就是在 150 億參數 StarCoder LLM 的專用版本上構建而成的,并針對其工作流模式、用例和流程進行了微調和訓練。Hugging Face 也使用該模型創建了自己的 StarChat 助手。

  BigCode 促進 AI 領域的開放式科學協作

  BigCode 是一個由 Hugging Face 和 ServiceNow 領導的開放式科學協作社區,致力于負責任的代碼 LLM 開發。

  BigCode 社區以工作組和特別任務組的形式積極參與 StarCoder2 項目的技術工作,分別使用 ServiceNow 的 Fast LLM 框架來訓練 30 億參數模型、使用 Hugging Face 的 nanotron 框架來訓練 70 億參數模型,以及 NVIDIA NeMo 云原生框架和 NVIDIA TensorRT-LLM 軟件來訓練和優化 150 億參數模型。

  BigCode 的核心宗旨是促進負責任的創新,其開放的治理、透明的供應鏈、開源軟件的使用,以及讓開發者選擇數據不用于訓練等做法都體現了這一點。StarCoder2 是在獲得 Inria 托管的 Software Heritage 數字共享許可下,使用負責任的數據構建而成的。

  Software Heritage 總監 Roberto Di Cosmo 表示: “StarCoder2 是首個使用 Software Heritage 源代碼存檔開發的代碼生成式 AI 模型,其構建方式符合我們負責任地開發代碼模型的政策。ServiceNow、Hugging Face 和 NVIDIA 的這一合作體現了對道德 AI 開發的共同承諾,引領技術朝著更崇高的利益發展?!?

  StarCoder2 與其前代一樣,將在 BigCode Open RAIL-M 許可下免費提供訪問和使用。為進一步促進透明度和協作,該模型的支持代碼將繼續保留在 BigCode 項目的 GitHub 頁面上。

  所有 StarCoder2 模型還可以在 Hugging Face 上下載。StarCoder2 150 億參數模型通過 NVIDIA AI Foundation 模型提供,開發者可以直接在瀏覽器上或通過 API 端點進行試用。

  欲了解關于 StarCoder2 的更多信息,請訪問:https://huggingface.co/bigcode。

 關于 NVIDIA

  自 1993 年成立以來,NVIDIA(納斯達克:NVDA)一直是加速計算領域的先驅。NVIDIA 在1999 年發明的 GPU 驅動了 PC 游戲市場的增長,并重新定義了現代計算機圖形,開啟了現代 AI 時代,正在推動跨市場的工業數字化。NVIDIA 現在是一家全棧計算基礎設施公司,其數據中心規模的解決方案正在重塑整個行業。更多信息,請訪問:https://nvidianews.nvidia.com/。

 關于 ServiceNow

  ServiceNow(NYSE:NOW)讓世界變得更美好。我們基于云的平臺和解決方案幫助企業實現數字化和統一,從而找到更加智能、快速、有效的工作流程,讓員工與客戶產生更多的聯系、更多的創新和更大的敏捷性。我們能夠創造出我們所想象的未來。ServiceNow? 與世界同心協力。欲了解更多信息,請訪問:www.servicenow.com。

 關于 Hugging Face

  Hugging Face 是領先的開源和社區驅動 AI 平臺。它所提供的工具使用戶能夠構建、探索、部署和訓練機器學習模型和數據集。欲了解更多信息,請訪問:www.huggingface.co.

1、凡本網注明“來源:訊石光通訊網”及標有原創的所有作品,版權均屬于訊石光通訊網。未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載我方內容的單位,也必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和本站來源。
2、免責聲明,凡本網注明“來源:XXX(非訊石光通訊網)”的作品,均為轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和對其真實性負責。因可能存在第三方轉載無法確定原網地址,若作品內容、版權爭議和其它問題,請聯系本網,將第一時間刪除。
聯系方式:訊石光通訊網新聞中心 電話:0755-82960080-168   Right
国产午夜精品毛片不卡