​新一代注意力機制Lightning Attention-2:無限序列長度

​新一代注意力機制Lightning Attention-2:無限序列長度

機器之心專欄

機器之心編輯部

大語言模型序列長度的限制,極大地制約了其在人工智能領域的應用,比如多輪對話、長文本理解、多模態數據的處理與生成等。造成這一限制的根本原因在於當前大語言模型均採用的 Transformer 架構有着相對於序列長度的二次計算複雜度。這意味着隨着序列長度的增加,需要的計算資源成幾何倍數提升。如何高效地處理長序列一直是大語言模型的挑戰之一。

之前的方法往往集中在如何讓大語言模型在推理階段適應更長的序列。比如採用 Alibi 或者類似的相對位置編碼的方式來讓模型自適應不同的輸入序列長度,亦或採用對 RoPE 等類似的相對位置編碼進行差值的方式,在已經完成訓練的模型上再進行進一步的短暫精調來達到擴增序列長度的目的。這些方法只是讓大模型具有了一定的長序列建模能力,但實際訓練和推理的開銷並沒有減少。

OpenNLPLab 團隊嘗試一勞永逸地解決大語言模型長序列問題。他們提出並開源了 Lightning Attention-2—— 一種新型的線性注意力機制,讓長序列的訓練和推理成本與 1K 序列長度的一致。在遇到顯存瓶頸之前,無限地增大序列長度並不會對於模型訓練速度產生負面影響。這讓無限長度預訓練成爲了可能。同時,超長文本的推理成本也與 1K Tokens 的成本一致甚至更少,這將極大地減少當前大語言模型的推理成本。如下圖所示,在 400M、1B、3B 的模型大小下,隨着序列長度的增加,FlashAttention2 加持的 LLaMA 的訓練速度開始快速下降,然而 Lightning Attention-2 加持的 TansNormerLLM 的速度幾無變化。

圖 1

王阳首次回应,上海爱马仕走秀,像夹个体温计:术业有专攻受教了

Lightning Attention-2 簡介

「小哥臉都熏黑」 淄博燒烤今年清明仍火熱

讓大模型的預訓練速度在不同序列長度下保持一致,這聽起來是一個不可能的任務。事實上,如果一個注意力機制的計算複雜度相對於序列長度保持線性關係的話,就可以實現這一點。自 2020 年線性注意力【https://arxiv.org/abs/2006.16236】橫空出世以來,研究人員一直在爲了線性注意力的實際效率符合它的理論線性計算複雜度而努力。在 2023 年之前,大多數的關於線性注意力的工作均集中在對齊它們與 Transformer 的精度上。終於在 2023 年中期,改進的線性注意力機制【https://arxiv.org/abs/2307.14995】在精度上可以與最先進的 Transformer 架構對齊。然而,線性注意力中將計算複雜度變成線性的最關鍵的 “左乘變右乘” 的計算 Trick (如下圖所示),在實際實現中遠慢於直接左乘的算法。其原因在於右乘的實現需要用到包含大量循環操作的累積求和(cumsum),大量的 IO 操作使得右乘的效率遠低於左乘。

范丞丞拍影片撕「靠姐標籤」 范冰冰4字回應

圖 2

原着无法轻易被扭曲

托卡耶夫:哈萨克斯坦遭遇80年来最大洪灾

爲了更好的理解 Lightning Attention-2 的思路,讓我們先回顧下傳統 softmax attention 的計算公式:O=softmax ((QK^T)⊙M_) V,其中 Q, K, V, M, O 分別爲 query, key, value, mask 和輸出矩陣,這裡的 M 在單向任務(如 GPT)中是一個下三角的全 1 矩陣,在雙向任務(如 Bert)中則可以忽略,即雙向任務沒有 mask 矩陣。

作者將 Lightning Attention-2 的整體思路總結爲以下三點進行解釋:

1. Linear Attention 的核心思想之一就是去除了計算成本高昂的 softmax 算子,使 Attention 的計算公式可以寫爲 O=((QK^T)⊙M_) V。但由於單向任務中 mask 矩陣 M 的存在,使得該形式依然只能進行左乘計算,從而不能獲得 O (N) 的複雜度。但對於雙向任務,由於沒有沒有 mask 矩陣,Linear Attention 的計算公式可以進一步簡化爲 O=(QK^T) V。Linear Attention 的精妙之處在於,僅僅利用簡單的矩陣乘法結合律,其計算公式就可以進一步轉化爲:O=Q (K^T V),這種計算形式被稱爲右乘,相對應的前者爲左乘。通過圖 2 可以直觀地理解到 Linear Attention 在雙向任務中可以達到誘人的 O (N) 複雜度!

2. 但是隨着 decoder-only 的 GPT 形式的模型逐漸成爲 LLM 的事實標準,如何利用 Linear Attention 的右乘特性加速單向任務成爲了亟待解決的難題。爲了解決這個問題,本文作者提出了利用 “分而治之” 的思想,將注意力矩陣的計算分爲對角陣和非對角陣兩種形式,並採用不同的方式對他們進行計算。如圖 3 所示,Linear Attention-2 利用計算機領域常用的 Tiling 思想,將 Q, K, V 矩陣分別切分爲了相同數量的塊 (blocks)。其中 block 自身(intra-block)的計算由於 mask 矩陣的存在,依然保留左乘計算的方式,具有 O (N^2) 的複雜度;而 block 之間(inter-block)的計算由於沒有 mask 矩陣的存在,可以採用右乘計算方式,從而享受到 O (N) 的複雜度。兩者分別計算完成後,可以直接相加得到對應第 i 塊的 Linear Attention 輸出 Oi。同時,通過 cumsum 對 KV 的狀態進行累積以在下一個 block 的計算中使用。這樣就得到了整個 Lightning Attention-2 的算法複雜度爲 intra-block 的 O (N^2) 和 inter-block 的 O (N) 的 Trade-off。怎麼取得更好的 Trade-off 則是由 Tiling 的 block size 決定的。

3. 細心的讀者會發現,以上的過程只是 Lightning Attention-2 的算法部分,之所以取名 Lightning 是因爲作者充分考慮了該算法過程在 GPU 硬件執行過程中的效率問題。受到 FlashAttention 系列工作的啓發,實際在 GPU 上進行計算的時候,作者將切分後的 Q_i, K_i, V_i 張量從 GPU 內部速度更慢容量更大的 HBM 搬運到速度更快容量更小的 SRAM 上進行計算,從而減少大量的 memory IO 開銷。當該 block 完成 Linear Attention 的計算之後,其輸出結果 O_i 又會被搬回至 HBM。重複這個過程直到所有 block 被處理完畢即可。

前妻敢嫁别人试试

想要了解更多細節的讀者可以仔細閱讀本文中的 Algorithm 1 和 Algorithm 2,以及論文中的詳細推導過程。Algorithm 以及推導過程都對 Lightning Attention-2 的前向和反向過程進行了區分,可以幫助讀者有更深入的理解。

圖 3

Lightning Attention-2 精度對比

研究人員首先在小規模(400M)參數模型上對比了 Lightning Attention-2 與 Lightning Attention-1 的精度區別,如下圖所示,二者幾無差別。

隨後研究人員在 1B、3B 上將 Lightning Attention-2 加持的 TransNormerLLM(TNL-LA2)與其它先進的非 Transformer 架構的網絡以及 FlashAttention2 加持的 LLaMA 在相同的語料下做了對比。如下圖所示,TNL-LA2 與 LLaMA 保持了相似的趨勢,並且 loss 的表現更優。這個實驗表明,Lightning Attention-2 在語言建模方面有着不遜於最先進的 Transformer 架構的精度表現。

在大語言模型任務中,研究人員對比了 TNL-LA2 15B 與 Pythia 在類似大小下的大模型常見 Benchmark 的結果。如下表所示,在吃掉了相同 tokens 的條件下,TNL-LA2 在常識推理和多項選擇綜合能力上均略高於基於 Softmax 的注意力的 Pythia 模型。

梅姬台风狂风暴雨 安平运河罕见溢堤

Lightning Attention-2 速度對比

研究人員對 Lightning Attention-2 與 FlashAttention2 進行了單模塊速度與顯存佔用對比。如下圖所示,相比於 Lightning Attention-1 和 FlashAttention2,在速度上,Lightning Attention-2 表現出了相比於序列長度的嚴格線性增長。在顯存佔用上,三者均顯示出了類似的趨勢,但 Lightning Attention-2 的顯存佔用更小。這個的原因是 FlashAttention2 和 Lightning Attention-1 的顯存佔用也是近似線性的。

筆者注意到,這篇文章主要關注點在解決線性注意力網絡的訓練速度上,並實現了任意長度的長序列與 1K 序列相似的訓練速度。在推理速度上,並沒有過多的介紹。這是因爲線性注意力在推理的時候可以無損地轉化爲 RNN 模式,從而達到類似的效果,即推理單 token 的速度恆定。對於 Transformer 來說,當前 token 的推理速度與它之前的 token 數量相關。

筆者測試了 Lightning Attention-1 加持的 TransNormerLLM-7B 與常見的 7B 模型在推理速度上的對比。如下圖所示,在近似參數大小下,Lightning Attention-1 的吞吐速度是百川的 4 倍,ChatGLM 的 3.5 倍以上,顯示出了優異的推理速度優勢。

超神蛋蛋 小说

小結

Lightning Attention-2 代表了線性注意力機制的重大進步,使其無論在精度還是速度上均可以完美的替換傳統的 Softmax 注意力,爲今後越來越大的模型提供了可持續擴展的能力,並提供了一條以更高效率處理無限長序列的途徑。OpenNLPLab 團隊在未來將研究基於線性注意力機制的序列並行算法,以解決當前遇到的顯存屏障問題。

驚悚大師大衛·芬奇新作《殺手/The Killer》劇情評論

2023營收同比增15.59% 芯聯集成的破局之路

2023營收同比增15.59% 芯聯集成的破局之路

版權聲明:本文版權爲本站汽車所有,轉載請註明出處。

國防部:民安10號演習4月起舉行 驗證緊急事故應變機制

本站汽車4月3日報道

2021年,一場突如其來的芯片危機,席捲全球。

中午12時48分花蓮規模4.2地震 最大震度4級

一枚小小的芯片,像蝴蝶煽動的那下翅膀,最終引發了一場地動山搖的行業大“地震”。

這場缺芯危機中,汽車行業首當其衝。

彼時,恰逢新能源汽車市場開啓高速發展,全球汽車芯片的需求量超過了供應量的30%,加之疫情、貿易戰、逆全球化等帶來的供應鏈斷裂等因素,一芯難求,芯片價格飆升。

兄弟姐妹最好的相处方式,不是聚会吃饭

一枚原本只要15元人民幣的ESP芯片,一度被炒到了1500元,很多車企被迫停產。

與此同時,當時中國汽車芯片的自給率只有5%,全球前十大芯片企業更是沒有一家中國企業。

兄弟姐妹最好的相处方式,不是聚会吃饭

提高芯片國產率以及保持供應鏈的穩定成爲壓在中國芯片企業肩頭的重任。

機遇伴隨危機而來,中國汽車芯片,國產替代的逆襲之路也就此展開。芯聯集成,就是這樣一家抓住時代機遇,踩中“風口”的企業。

中介法若通过 苦苓:把民进党赶下台

機會總是留給有準備的人,對於企業,也是如此。在這場席捲全球的芯片危機之前,芯聯集成早已開始佈局。

芯聯集成,成立之時最初名爲“中芯集成”,2018年3月,從中芯國際剝離獨立。

目前,主要是提供一站式芯片系統代工解決方案,從事MEMS和功率器件等領域的晶圓代工及模組封測業務,目前是國內少數提供車規級芯片的晶圓代工企業。

日环蚀奇观 云林县水林乡抢先全台第一目击

芯聯集成,可以說是在汽車行業的缺芯危機中暴風成長,這首先得益於它的前瞻佈局。

2018年,消費電子行業正當紅,當時多數晶圓廠與設計公司都在做以手機爲核心的消費類業務,但芯聯集成卻將目光盯上了新能源汽車與工控市場,伴隨着新能源及新能源車產業的起飛,芯聯集成也獲得了高速增長。

芯聯集成CEO 趙奇

對此,芯聯集成CEO趙奇提到:“我們在2018年建了新的工廠,那時,我們是按照車規線建的,比國內其他建設標準是按照消費標準建設產線的企業而言,我們已經相當於預埋了我們的優勢”。

包括後續對碳化硅領域的投資趙奇也是如此,因爲明確研判到碳化硅未來的主戰場是8寸,所以在設備上,直接按照按照6寸、8寸兼容的設備來配置。“我一開始就是瞄着未來,主戰場需要什麼,就幹什麼。”

平實歷史堆起情緒漣漪!《流麻溝十五號》述說白色恐怖劫難

預埋的優勢,帶來了豐碩的果實。

“一輛新能源汽車需要的70%芯片,在這裡都能看到”。

河濱公園流浪狗咬傷人事件頻傳 北市動保處:調查與加強巡視

“芯聯集成的車規產品覆蓋中國90%的新能源汽車”。

芯聯集成一舉成爲了國內規模最大的車規級 IGBT製造基地,芯聯動力董事長袁鋒提到:“2023年,公司IGBT出貨量位居國內市場第一,公司SiC MOSFET規模中國量產出貨第一”。去年5月,芯聯集成在上交所科創板成功上市。

目前,芯聯集成已經建成8英寸、12英寸和SIC產線,產品主要包括功率器件、MEMS等,廣泛應用於新能源汽車、風光儲、高端消費等領域。

e卡「飽」護 安心餐食數位票卡愛無界線

隨着公司的IGBT 、MOSFET、SiC MOSFET等車載產品全面進入規模量產,2023年,芯聯集成,實現營業收入53.24億元、同比增長15.59%,經營性現金流26.14億元、同比增長95.93%。其中,車載應用領域營收同比增長128.42%, 佔主營收入的近5成比例。

正如芯聯集成2023年報所說:“車載領域收入增長直接帶動公司整體收入的強勢增長”。

中國汽車產業的崛起,最終將是生態競爭的對決。

隨着新能源車產業的不斷髮展,中國汽車生態體系也逐漸完善,但供應鏈尚不完整,在芯片領域,仍有比較大的缺口。

在智能化下半場的淘汰賽中,中國的新能源車產業要想勝出並遙遙領先,掌握產品定義和產業鏈纔是制勝的關鍵。

处理焚化炉底渣 钟东锦研拟自治条例

這就要求主機廠和一二級供應商,加速深度融合,通過合作不斷完善技術,實現技術創新和產業鏈自主可控。

芯聯動力董事長 袁鋒

而芯聯集成,則通過與合作伙伴一起合作做“長板”,來爲主機廠的產業鏈佈局提供底層技術支持,芯聯動力董事長袁鋒把這叫做“design in”。

“我們宣佈的與車企的合作叫design in,就相當於是我和車企從設計開始就在一起做,目前公司已與中國絕大多數的新能源車企建立了合作”。

斯洛伐克總統選舉 親俄派佩拉格利尼獲勝

“公司的夢想很大,也不是全都要自己來做,我們在一些特殊的領域選擇了跟合作伙伴一起成長,十分具有代表意義的就是碳化硅領域”。

靈劍尊 小說

开创更多「毛孩幸福家庭」 高市动保处多元方式开启新契机

除了一起“design in”技術領域的長板,芯聯集成還在商業模式上“design in”,2023年10月,爲了保持公司碳化硅業務的市場競爭優勢,芯聯集成發起成立了芯聯動力。

芯聯動力註冊資本5億元,芯聯集成在芯聯動力持股51%,這家公司由6家知名新能源產投聯合投資:包括整車廠背景的小鵬汽車和上汽,全球最大汽車系統集成商博世,以及立訊精密、寧德時代和陽光電源。

济南高新区:在全市首开“健康照护师”民办职业技能培训专业

這一硬核且豪華產業局,也讓芯聯動力成爲了整個中國在硬科技資本市場最火的一個項目,通過這種商業模式的“design in”,與汽車產業鏈的上下游建立更緊密的聯繫,從而來構建更強有力的護城河和生態圈。

基北北桃共推「我的減碳存摺」 有機會抽中日本機票

具體到電路產業鏈這一領域,芯聯集成則直言:“從產業和技術,我們都在爭當鏈主的角色”。在紹興,芯聯集成被定義爲鏈主,主要是因爲在集中電路這個鏈條裡,芯聯集成投資最重,技術最密集,有效的聚攏了產業鏈的上下游帶動整個集成電路產業鏈的發展。

無論是從上到下,還是從內到外,不管是從產品技術還是商業模式,芯聯集成都在不斷的加緊與整個汽車產業鏈的緊密合作,並且“不是一錘子的買賣合作,而是真的能跟他們一起去做創新,深入綁定”。

目前,芯聯集成已與比亞迪、 理想、小鵬、蔚來等多家新能源頭部車企在車規芯片方面達成深度戰略合作。

苗县焚化炉年产2万公吨底渣 公共工程强制使用再生粒料

“缺芯”紅利之下,國產替代成了半導體行業的趨勢,但是前路註定仍然漫長。

汽車芯片的工藝週期非常長,前期需要鉅額投入,後期即使進入汽車領域也需要長期的實踐。

叶玮庭两年结3次婚「不要再结第4次」

目前中國汽車芯片的自給率還只有10%左右,90%要靠進口,這說明中國汽車芯片還需進一步提高產能以及自研能力。

又爆儿虐!1个耳朵撕裂、1个头骨断裂 医恸:全都被家长带走

2023年全球半導體行業震盪發展,全年收入同比下降10%左右,芯聯集成營業收入同比上漲15.59%,雖然呈現逆勢增長,但芯聯集成目前仍處於虧損狀態。

2023年,芯聯集成歸母淨利潤高達-19.5億元,虧損原因,一個是行業屬性,需要高昂的研發投入、疊加較高的固定資產折舊金額;一個是新產線的擴建以及產能爬坡期,規模效應沒有完全顯現;

剔除折舊及攤銷等因素影響,全年實現EBITDA(息稅折舊攤銷前利潤)9.25億元,比上年增長1.16億元。

爲了儘快實現盈利,面對激烈的市場競爭, 芯聯集成也在不斷尋找新的業務增長點。

首先是繼續加大對碳化硅業務的投資,去年投資超百億加碼碳化硅業務,公司已成爲亞洲 SiC MOSFET 出貨量居前、中國出貨量第一的製造基地,已達成月產5000片以上的出貨規模;另外,芯聯動力的成立就是專注碳化硅業務,進而實現全產業鏈佈局。

2024,芯聯集成還將發力 AI 領域,尋找“第三增長曲線”,同時促進”出海”,加速拓展海外市場。

在近日舉辦的年度媒體溝通會中,芯聯集成管理層再次直面虧損現狀,且對未來盈利充滿信心。

T1联盟》占尽洋将优势!云豹痛宰猎鹰稳住联盟第2位置

主要是臺積電給集成電路帶來的一個行業習慣——快速折舊,臺積電採用三年折舊,而這些設備往往可以用二三十年左右,芯聯集成採用的是5年折舊,2023年,芯聯集成折舊高達34億元。

趙奇表示,“目前,芯聯集成成本里面有一半是折舊,如果不考慮折舊的話,去年的利潤增長爲70%。

炒币风潮无出其右!韩国两党祭出竞选“利器”:鼓励炒币

從去年下半年開始,汽車芯片需求出現放緩的趨勢,汽車芯片開始產能過剩、跌價嚴重,這也意味着車載業務佔收入大頭的芯聯集成,在2024年將面臨更嚴酷的競爭。

在年初的一次採訪中,趙奇曾這樣預測:”中國第三代半導體產業發展的’春秋時代’ 已經結束, 2024年將會進入’戰國時代’ ,形成‘ 戰國七雄’,期間一定會伴隨激烈競爭”。

「警鸽」巡逻救下领角鸮 乐助夜间的守护使者

伴隨着“缺芯”紅利的結束,一方面是芯片產能過剩,一方面是優質產能稀缺,挺進半導體產業“戰國時代”的芯聯集成,面對接下來的激烈競爭與淘汰賽,未來要做的不止是國產替代,而是要多線佈局,技術創新,做好“逐鹿中原”的準備。

廣東7-Eleven接入美團無人機配送服務

廣東7-Eleven接入美團無人機配送服務

4月3日,據美團無人機官微消息,廣東7-Eleven與美團無人機近日正式達成合作,首次在中國市場試水無人機配送服務。顧客在深圳龍崗星河商圈的無人機降落點選購7-Eleven商品,即可選擇由無人機配送,商品裝箱後最快4分鐘就能送達降落點。7-Eleven目前上線商品種類超3000種,其中鮮食商品有近百種。

SERVAMP-吸血鬼仆人-

0403大地震/中和環狀線軌道變形 新北捷運局:先拚做好防落橋裝置

修仙

《日股》Uniqlo卖不好 日经跌1%

0403花蓮大地震/蘇花路廊落石砸中轎車、路人骨折!全線封閉「只出不進」

定泰清溪玩 AI全智慧宅

國內電信業首家 中華電加入EV100電動化倡議

ASP2015粉末高速鋼薄板的應力腐蝕開裂與抗應力腐蝕性

ASP2015粉末高速鋼薄板的應力腐蝕開裂與抗應力腐蝕性

ASP2015粉末高速鋼薄板的應力腐蝕開裂與抗應力腐蝕性隨着工程材料的廣泛應用,金屬材料的應力腐蝕開裂問題引起了越來越多的關注。在金屬結構中,應力腐蝕開裂是一種嚴重的損傷形式,可能導致結構的突然失效。在這方面,ASP2015粉末高速鋼薄板作爲一種常見的金屬材料,其應力腐蝕開裂行爲及其抗應力腐蝕性能備受研究者的關注。應力腐蝕開裂是由於金屬材料同時受到應力和腐蝕介質的作用,導致材料在腐蝕環境中發生微裂紋擴展而產生的一種破壞模式。對於ASP2015粉末高速鋼薄板來說,其主要的腐蝕介質包括酸性溶液和鹽溶液等。在這些腐蝕環境中,ASP2015粉末高速鋼薄板容易出現應力腐蝕開裂問題。然而,研究表明ASP2015粉末高速鋼薄板在應力腐蝕環境下表現出較好的抗應力腐蝕性能。一方面,ASP2015粉末高速鋼薄板具有較高的硬度和強度,能夠承受較大的外部應力。另一方面,該材料的顯微組織具有較好的耐腐蝕性能,能夠有效地防止腐蝕介質對材料的侵蝕。這些特性使得ASP2015粉末高速鋼薄板在應力腐蝕環境下具有較好的抗裂性能。除了材料本身的性能外,適當的工藝和表面處理也對ASP2015粉末高速鋼薄板的抗應力腐蝕性能有着重要影響。例如,合理的熱處理過程可以改善材料的晶界結構和化學成分分佈,提高材料的抗腐蝕性能。此外,採用表面鍍層等措施也能有效地提升材料的耐腐蝕性能,減緩應力腐蝕開裂的發生。

中国银河给予中联重科推荐评级,盈利同比增长52%,海外和新兴业务亮眼

先婚后宠:Boss很深情

台灣消費者好識貨!Michael Kors頂級系列熱賣 品牌加碼引進50%款式吸客

台南10大易肇事路口 永康占前2名

兒童節連假 中市籲學校別出作業

台湾入CPTPP 叶:仅新加坡点头没用

產學研高效協同深度融合 深圳持續完善全過程創新生態鏈

產學研高效協同深度融合 深圳持續完善全過程創新生態鏈

(原標題:產學研高效協同深度融合 深圳持續完善全過程創新生態鏈)

習近平總書記2023年4月在廣東考察時強調,要強化企業主體地位,推進創新鏈產業鏈資金鍊人才鏈深度融合,不斷提高科技成果轉化和產業化水平,打造具有全球影響力的產業科技創新中心。

深入貫徹落實習近平總書記重要講話精神,深圳持續完善“基礎研究+技術攻關+成果產業化+科技金融+人才支撐”的全過程創新生態鏈,不斷推動產業與科技互促雙強,加快培育新質生產力,高質量發展動能強勁。

4生肖清明后大发!属牛靠一个字 职场竞争中胜出

新技術催生新產業。2023年,深圳低空經濟產值超過900億元,集聚相關企業1700餘家,形成集研發、設計、製造、試飛、運維爲一體的完整產業鏈。在深圳規劃重點發展的戰略性新興產業集羣和未來產業體系中,低空與空天技術產業被列入20個戰略性新興產業集羣之一。

“深圳低空經濟的快速發展,是產業和科技融合發展的結果。”深圳市交通運輸局民航發展處副處長趙柯介紹,深圳出臺低空經濟產業促進條例,實施20條支持措施,推動低空經濟高質量發展。

“我們持續加大科研投入,研發的無人機在農林植保等多個領域廣泛應用。”深圳大疆創新科技有限公司高級企業戰略總監張曉楠說,目前大疆農業無人機累計作業面積超60億畝次。

“深圳持續完善全過程創新生態鏈,逐步形成以企業爲主體、產學研高效協同深度融合的創新體系。”深圳市科技創新委員會主任張林介紹,深圳全社會研發投入強度達5.81%,其中企業研發投入佔比爲94.9%;PCT(專利合作條約)國際專利申請量連續20年居全國城市前列。

王道杀手英雄谭

在深圳光明科學城,合成生物產業從無到有,集聚成勢。工程生物產業創新中心內,“樓上”科研人員攻關原始創新,“樓下”則爲產業孵化空間,一棟大樓內即可實現科研與產業的“雙向奔赴”。中心周邊,合成生物研究大科學裝置已建成試運行,還配套了15億元的合成生物產業基金。“近3年,國內新成立的合成生物企業約有40%落戶深圳,光明區集聚了其中的近80%。”光明區區長邱浩航說。

上曜台南推新案 业绩补

爲提升基礎研究策源能力,深圳堅持將不少於30%的市級科技研發資金投向基礎研究和應用基礎研究。高標準建設1家國家實驗室、13家全國重點實驗室、4家廣東省實驗室、380家深圳市重點實驗室,以及“鵬城雲腦”網絡智能重大科技基礎設施、國家超算深圳中心二期、腦解析與腦模擬等一批大科學裝置。

2023年,深圳承接國家重大科技項目34個,佈局37個市級科技重大專項,體外膜肺氧合儀、核磁共振、EDA(電子設計自動化)軟件等關鍵核心技術實現突破。

深圳加大支撐產業創新的資金供給,持續注入金融“活水”。推出“深圳創投日”品牌活動,吸引全球超6000家次創投機構參與;發佈實施金融支持科技創新“20條”,按照“一產業集羣、一專項基金”理念,構建產業引導基金體系;設立20億元的科技創新種子基金,引導各類資本“投早投小投科技”。

深圳多個萬億元級和千億元級戰略性新興產業集羣正加速佈局——集成電路方面,先後落地方正微電子、華潤微電子等多個百億元級項目;智能網聯汽車方面,力爭到2025年,全市新能源汽車年產量超200萬輛;新型儲能方面,全力打造世界一流新型儲能產業中心。

侯門醫女 安筱樓

2023年,深圳戰略性新興產業增加值增長8.8%,佔地區生產總值的比重提高到41.9%;國家級專精特新“小巨人”企業達742家、國家級高新技術企業達2.4萬家。

18家房企争夺北京首宗“带方案入市”地块

新能源早参|商务部:正在抓紧研究细化举措逐步提高新能源汽车、节能型汽车销售占比

Mercedes-AMG全新四門純電跑車現身!完全衝著保時捷Taycan而來

Mercedes-AMG全新四門純電跑車現身!完全衝著保時捷Taycan而來

摘自Auto Express

2022年,Mercedes-AMG正式公開Vision AMG concept概念車,該車被視爲未來純電四門轎跑的先導作品,如今實體測試模型終於出現。

刺客伍六七 第1季 何小瘋
请问您今天要来点番外吗?

Mercedes-AMG Vision AMG採用全新電動模組化底盤AMG.EA,目前正在AMG總部Affalterbach進行開發,從零打造,預計2025年正式運用於量產車型。 圖/Mercedes-AMG提供

近期Mercedes-AMG已經公開證實,基於Vision AMG概念車的量產車款已經開始進行相關測試,也大方地提供相關廠照。在此同時,外媒也同步捕捉到一系列關於該車的僞裝照片。以AMG.EA電動車平臺打造的全新四門轎跑,就算佈滿僞裝,仍然無法隱藏其類coupe的斜背特徵,相較於EQS更低扁的車體、長車頭與突出的後肩線,行程極具運動風格的流暢輪廓。尾廂上方貌似使用了伸縮式尾翼,但測試車搭載的頭尾燈組則非量產版本,相信正式版本在造型跟功能上都會令人驚豔。

蘋果iPhone 15 Pro「靜音符號」原來可以隱藏!3步驟讓礙眼圖示秒消失

毒妃嫡女:王爺,放開你的手

庹宗华看《油麻菜籽》遇40年前自己

摘自Carscoops

摘自Carscoops

動力方面,根據先前消息,全新的AMG四門純電轎跑將使用來自英國的輕量化驅動馬達組、以及美國研發的高密度輕薄電池模組,最大馬力上看1,000hp,超過現行Mercedes-AMG GT 4-door 63 S 4MATIC+ E Performance的832hp不少。

摘自Carscoops

摘自Auto Express

其實這輛全新電動四門轎跑,就是Mercedes-AMG GT 4-Door的電動後繼者,預計2025年登場,未來將力抗Porsche Taycan車系,特別是最近剛推出的Turbo GT高規性能版本。不過AMG也表示,即便電動繼任者正式發表,燃油動力車款仍會續賣,以滿足不同消費者的偏好。

摘自Carscoops

屏東三大日音樂節4月12日起登場 温嵐、張震嶽、魏如萱…帶樂迷開趴

全能仙医 谋逆

AI恐操控人类 杀手机器人10年成真

預告:華爲分析師大會將於4月17-19日在深圳舉行

預告:華爲分析師大會將於4月17-19日在深圳舉行

財聯社3月21日電,4月17日-19日,第21屆華爲分析師大會將在深圳舉辦,主題爲“全面智能化,躍升數智生產力”,將深入解讀華爲在全面智能化時代的趨勢判斷、行動和目標,共同探討智能化技術帶來的影響。

染指纏綿,首席上司在隔壁 小皇叔

蔡康永隐藏微博并取消全部关注,疑似力挺大小S

不是婚變!新垣結衣被爆有喜 這一點日媒推測她懷孕了

新闻多一度   发生校园霸凌了,我们该怎么办?

马英九与澎县长 泳渡澎湖湾

20分鐘完成一年交付任務 極氪001 FR做對了什麼?

20分鐘完成一年交付任務 極氪001 FR做對了什麼?

版權聲明:本文版權爲本站汽車所有,轉載請註明出處。

秦岭北麓:亩产提质效 春耕景象新

本站汽車9月12日報道

最快的量產純電汽車、四電機分佈式電驅全球首次量產發佈、四輪扭矩矢量控制行業量產首發、衛星通信技術全球首次量產上車、首發單槍輸出功率最高的充電樁……

當把這五大成果同時集結到一款車上,會帶來怎樣的質變?答案連極氪智能科技CEO安聰慧都直呼“被震驚到了”。

在極氪進化日當晚,安聰慧手機的後臺數據一直在實時更新:極氪001 FR開啓預訂後15秒就已訂出99臺,20分鐘不到,訂單量就達到了一年的最高交付量。

16档价值型股 法人青睐

這樣的速度無疑在向外界傳遞出一個信號:極氪001 FR,火了。

在安聰慧看來,如今的極氪正處於汽車工業發展以來的最好時期,智能電動化時代的到來,給了中國品牌一個機會,去創造更多更好的高性能純電產品。

“這是時代賦予的機會,而我們抓住了這次機會。”

《国际产业》欧洲专利申请数创新高 华为连3霸

只要做到極致 就一定會得到用戶的認可

6度和國中少女偷嘿咻…疑懷孕就醫曝光 慾男下場超慘

大 尋寶 家 鑑定

對於極氪001 FR,極氪賦予它的定位是“純電獵裝品類的開創者”,就是這樣一款獨特且引爆市場的產品,在打造初期,也曾遭遇到了不小的質疑。

“當初我們內部的意見都不統一,有人說獵裝車是小衆車市場,怎麼能賣得好?但是到今天爲止,我依然非常堅定的認爲,無論任何車型,只要我們把產品做好,做到極致,一定會得到用戶的認可,一定會有好的市場。”

在安聰慧看來,極氪001 FR能取得這樣的成績,恰恰說明了成功的關鍵還是要產品好。

“極氪001 FR把獵裝車的性能水準,帶到了史無前例的新高度。別人還在瞭解、學習、研發的時候,極氪已經樹立了新的標準”。

作爲純電獵裝轎跑的開創者,極氪001 FR開啓全棧800V高壓系統,電機輸出功率更大、充放電能力更強、能量轉化效率更高,匹配100kWh麒麟電池,從10%充電至80%僅需15分鐘。

同時,極氪打造的四電機分佈式電驅量產首發,讓001 FR的性能全面爆發,四個極氪自研的高性能SiC永磁同步電機,使其最大馬力達1265 Ps,實測零百加速2.36秒,不含起步時間零百加速僅爲2.07秒,最高車速可達280km/h。

極氪001 FR還是全球第一輛能夠做坦克掉頭的獵裝車,超一萬牛·米的輪端峰值扭矩,讓極氪001 FR無懼沙地,輕鬆征服瀝青賽道。001 FR的坦克掉頭不僅不挑路面,還可以精準控制方向,只需選擇想要的旋轉角度,001 FR就能自動完成,掉頭時圓心的偏移低於20cm。

紐時賞析/美國會憂AI生化武器問世 頂尖科學家簽協議規範研究發展

不止如此,極氪001 FR原廠標定了賽車級高性能裝備,包括Brembo頂級碳陶剎車盤、AP賽道級十活塞卡鉗,KW絞牙避震等配件,全副武裝高性能碳纖維空氣動力學套件以及全新的智能驅動模式等,將001 FR的性能拉滿。

正是源於對高性能的極致要求,極氪001 FR將每個月的最高交付量限定在了99臺。

“爲什麼會有這個限制?第一,001 FR採用了很多頂級的性能裝備,屬於極度稀缺的資源,比如佈雷博的碳陶剎車,全年產能的七成以上,都供給專業賽車,餘額不到2萬套。第二是這些性能裝備還要爲001 FR定製開發,供應能力更加受限,再加上001 FR有許多專屬的裝配方式和工藝,我們必須要保證最好的品質和體驗。所以,經過我們的測算,目前001 FR每月的產能極限是不會超過一百臺。”

Netflix、LINE TV霸榜冠軍!《華麗計程車行》10大人生金句,溫情暖哭觀眾!

對於極氪來說,重要的不是通過極氪001 FR賺多少錢,而是希望通過這款車,體現出極氪是一家技術驅動型的公司,使品牌的技術能很好的得到體現和展示,對極氪品牌有很好的提升和幫助。

在採訪中,安聰慧還透露了關鍵的一點,那就是極氪從第一臺車極氪001上市的時候,整車毛利率就是正的,2022年整車毛利率爲5%,今年上半年在兩位數以上。

沒公司願擔保!川普付不出147億元保證金 民事欺詐案提上訴受阻

风吹九月 小说

“極氪今天的成果並不只是品牌發佈這兩年的積累,背後還有吉利近30年的造車基礎,不斷投入、沉澱、形成,這種‘巨人的力量’也是其他企業所不具備的。極氪是除了特斯拉之外毛利水平最好的純電品牌,所以我們對未來的發展也充滿了信心。”

安聰慧表示,未來隨着極氪更多產品的投放市場,以及使用浩瀚架構的其他品牌車型量產上市,浩瀚架構規模化的效應會得到充分的發揮,其價格優勢將會得到更好的體現。

賠錢也要堅持 極氪要做“中國超快充的引領者”

“我們與其他品牌不一樣的是,極氪在極充站上的投入非常大,今年是虧損狀態,未來一段時間內可能還會繼續虧損,但我們依然堅定不移地持續投入建設極充站。“

基於浩瀚架構的前瞻視野,極氪從2021年品牌成立開始,就堅持自研、自建、自營超快充網絡。

2021年4月,極充V1全球首發,單槍峰值功率達到360kW;2022年6月極充V2正式落地,成爲全球首個量產的600kW全液冷充電樁。

建行晋城泽州支行多举措夯实内控管理基础

無論是極充V1還是V2,所有極充全部搭載大功率全液冷技術,從功率櫃到充電終端,再到槍線,實現系統級的全域熱管理。極充站還配備智能功率共享技術,可在多車充電時智能調度系統功率,提升每一輛車的充電效率。

截至8月31日,極充站點數量已經到達348座,數量位列全行業第一,覆蓋90個城市,極充車位超過2000個。

對此,安聰慧坦言,由於極充站建設的投入過大,至今仍處於虧損狀態。但這並不影響極氪要做“中國超快充引領者”的決心。

直球年下这么野?

“我們不僅要造好車,重要的是,要讓用戶的充電補能有很好的體驗。”

日银最快今告别负利率

神武至尊 小說

發佈會當晚,極氪全球首發極充V3充電樁,這是目前單槍輸出功率最高的充電樁:單槍最高功率800kW,最大輸出電壓1000V,最大輸出電流800A,核心性能刷新行業紀錄。

“我們的目標是讓800kW不僅是一個數字,而是要真正落地,成爲讓用戶受益的產品。”

根據規劃,2023年底,極充V3將正式量產,明年一季度起在全國極充站陸續投入使用。極充的佈局也正在加速,預計2023年內累計落成超450座極充站,2024年計劃保持“一天一站”的速度,實現800V體系下全球首個超快充千站佈局。

極氪並不只是一味提升充電效率,還提前佈局以降低用電負荷壓力,推動清潔能源的可持續發展。

与兽人男友的造孩子生活 獣人カレシと子作り生活。~そんなおっきいの…入らない…っ

民調差 陳揆:內閣成績有目共睹

不久前極氪建設了首座“極充V3風光儲充一體化”充電示範站,它構建了一個內部自循環的智慧微型充電“局域網”,不僅擁有配套的儲能系統,還接入了風能、光伏等綠色能源,讓電能與綠能靈活交互,滿足車輛大功率充電的同時,有效降低電網負荷和碳排放。

安全基因再進化 極氪將衛星通信技術首次量產上車

元大台灣價值高息00940募集1,748億元

將安全根植於品牌基因,極氪以交付超14萬臺電池零自燃,無數真實的用戶口碑,印證着極氪從三電安全、主動安全、被動安全、健康安全等多維度的安全系統工程。

如今,極氪安全再進化,將衛星通信技術首次量產上車。

强词夺理 薛瑞元难掩中央失职

早在2018年,時空道宇就在3GPP中國通信標準化協會參與制定了5G+6G的部分協議,同時重點牽頭6G裡的V2X;2021年時空道宇已經完成了衛星互聯網終端,多個系統終端的開發,並且滿足多個場景測試;2022年初,極氪團隊和時空道宇團隊,決定將此類服務導入量產車型中。

“這要克服兩個重大的問題,第一,這是航天的產品第一次進行車規級的投入,從產品的設計,軟硬件的架構,元器件的選型甚至多種環境的實用性,都要滿足車規的要求。同時,時空道宇圍繞着未來極氪多種車型的演進,從系統工程角度正向定義的衛星通信導航解決方案。大家今天看到的除了我們這兩個功能,更前沿的包括衛星玻璃天線、高通量平板天線等其實已經進入了實測階段。”

男子騎車未開大燈被警攔下提醒 意外起獲大量毒品

去年6月,時空道宇在西昌衛星發射中心以一箭九星完成了“吉利未來出行星座”首個軌道面的部署,過去一年已經完成商業化應用之前的所有測試。

年底前,搭載車載衛星通信技術的極氪001 FR將可開通雙向衛星消息和衛星語音通話服務,在無地面網絡覆蓋或地面網絡受損的情況下,實現收發消息,衛星通話,讓過去沒有網絡信號覆蓋的出行區域,從此對極氪用戶解鎖。

萬一遭遇緊急情況,用戶還可以精準衛星定位,方便救援,讓安全從此不再失聯。

鴻海、晶技 四檔搶鏡

“近30年,信息通信產業每一次技術革命迭代,都會給我們帶來一些生活方式的改變。我們相信6G天地一體化時代,無論是在陸地海洋還是在低空出行,人類對通信的需求一定會得到滿足。搭載車載衛星通信技術的極氪001 FR是吉利體系最重要的智能終端,未來它將會是我們出行方式的承載體。”

加速海外佈局 極氪2025年要實現65萬輛年交付目標

大S个资全泄怒告汪小菲 法院传双方今下午出庭

“極氪從第一天成立就有明確的計劃,2025年實現65萬輛的年交付目標,成爲全球豪華電動車市場前三。”

對於極氪來說,自出生起就是要被打造成一個全球品牌,面向全球市場,因此,極氪在海外市場的佈局也在不斷加速中。

“我們要抓住中國純電汽車在國際競爭力非常好的時期,向上走,向外走,加快提升銷量。”

2024最新日本扭蛋美妝!CANMAKE、TIRTIR還有小魔女DoReMi變身器腮紅,遊日別忘了轉一顆

據安聰慧介紹,目前極氪主要聚焦在歐洲發達國家市場,“我們把最難的市場作爲我們目前主要的工作。”首批500臺極氪001已經上船發運海外,預計在9月底10月份將會在歐洲的市場開始銷售。

在歐洲,極氪採用的主要是直營模式,對於一些特別小的市場和國家,則會採用代理模式,所以目前極氪在海外的銷售模式是以“直營+代理”爲主。

新竹生活节「国际日」周末登场 30摊异国市集呈现5大洲异国风情

“今年我們的銷售市場主要是瑞典、荷蘭,明年還會有七八個國家。當然對東南亞、中亞、南美等市場,極氪也在做一些前期的工作。”

報導指稱蘋果可能將「Apple ID」帳號系統名稱調整為「Apple Account」

2022年是極氪第一個完整交付年,實現了71,941臺交付,提前超額完成全年7萬臺交付目標。爲了實現2025年65萬輛的年交付目標,今年極氪將要挑戰14萬臺的年交付量目標,2025年要在2024年的基礎上再翻倍。

對於每年翻倍增長的目標,安聰慧非常有自信的表示,“圍繞每年翻倍增長,我們已經從產品、渠道、生態、服務、用戶滿意度等,都在系統地成長。目前爲止,極氪已經發布3款車型,今年年底還會發一款全新的車型,2024、2025年每年各有2款全新的,不含改款改型的車型,來支撐、保障極氪2025年目標的實現。”

康希諾上海與凱萊英生物達成戰略合作

康希諾上海與凱萊英生物達成戰略合作
想要成为影之实力者—沙雕小剧场

據康希諾生物官微3月18日消息,近日,康希諾(上海)生物科技有限公司與上海凱萊英生物技術有限公司達成戰略合作。雙方將瞄準前沿技術創新和行業市場需求,在質粒、mRNA、LNP類的生物藥大分子領域實現創新協作、優勢互補,共同促進mRNA技術的研發和產業化。

高中职暴力案 平均每天71件 学校高墙 警叹不得其门而入

三率三升股给力 扮多头明灯

女与网友见面来的却是「8+9」 硬着头皮赴约!对方满脑只想打炮

变态教授和机器人

子癇前症未必都造成胎兒生長遲滯 不同的子癇前症分型報你知

可爱的42姐
年龄差超多的夫妇故事
赤贺日和

阿公種菜下背痛 脊椎微創助復原

人工智能發展駛入快車道 任勇:技術創新、人才培養是關鍵

人工智能發展駛入快車道 任勇:技術創新、人才培養是關鍵

今年2月,OpenAI首個AI視頻生成模型Sora的橫空出世,讓世界再次感受到了人工智能時代的衝擊。伴隨着這一里程碑式應用的出現,2024年的AI故事將走向何方?

3月15日,由工業和信息化部工業文化發展中心牽頭成立的AI應用工作組主辦,每日經濟新聞承辦、數智未來場景實驗室協辦的“Sora的啓示:AI應用再飛躍”主題沙龍活動在京成功舉辦。

活動中,中國人工智能學會智能產品與產業工作委員會主任任勇教授從技術創新和人才培養兩個方面,闡述了人工智能發展的關鍵因素。

他表示,目前在人工智能發展過程中的五大關鍵因素分別是數據、算法、算力、自動化和倫理。這五項因素將共同作用,相互交織,貫穿人工智能全過程。

魂武至尊 唯我一疯

“四纵八横、七河连通” 河北谋划构建省级骨干水网

同時,他認爲,AI的發展會伴隨着倫理和社會不平等問題,“擁有大量數據、資源和技術的組織、個人可能會在AI時代中更具競爭力,反之則可能被邊緣化。”因此,他認爲,在AI的發展進程裡,我們不光要關注算力等技術性的因素,同時也要關注其背後的技術倫理,加強對技術使用的方向引導。

“算力需求幾乎每3個月翻番”,拓展新的資源空間意義深遠

2022臺南夏日音樂節 將軍吼27日、28日熱情開唱

“算法是人工智能的大腦,算法的改進和創新,使人工智能可以完成越來越複雜的任務,從而更好地進行仿生模擬。”在列舉人工智能發展過程中的五大關鍵因素時,任勇尤其強調了算法的重要性。

作爲支撐算法和數據的基礎設施,算力就是人工智能熱潮中的核心生產力。“算力時代”裡,我們應該如何突破算力瓶頸?

任勇表示,當代基於神經網絡的深度學習方法對於算力的要求在不斷提高。爲了處理大量的數據並訓練日益複雜的網絡模型、實現日益複雜的算法,“人工智能對算力的需求幾乎每3個月翻一番”。

放眼全球,算力已經成爲了世界各國戰略佈局的重中之重。前瞻產業研究院報告顯示,目前我國AI算力市場競爭可分爲三大梯隊,其中微軟、谷歌等企業部署更具全球競爭力的產品,國內具有競爭力的企業有百度、阿里、華爲等。

聯想集團與畢馬威聯合發佈的《“普慧”算力開啓新計算時代》報告指出,在全球算力產業規模排名中,中美兩國處於領先地位且中國算力規模增速領跑。據報告測算,預計到2025年,我國算力核心產業規模將不低於4.4萬億元,算力關聯產業規模可達24萬億元。

在各企業爭相突破算力瓶頸的當下,任勇也關注到,人工智能的發展對算力的需求逐漸增加,也在能源消耗方面帶來了巨大的挑戰,“智能計算需要消耗的能源是巨量的”。

他舉例,AlphaGo用到1202個CPU和176個GPU,一盤棋的能耗約3000千瓦時,相當於一噸煤的發電量,訓練過程進行了數十萬盤對弈,消耗的能源超過了20萬噸煤的發電量。

“我們需要突破現有資源瓶頸,拓展新的資源空間,這對人工智能的長期發展來說意義深遠。”任勇表示。

AI發展,需重視倫理問題和人才培養

隨着這場科技革命的步伐日益加快,ChatGPT、Sora等標誌性人工智能產品的出現正在深刻地影響着每一個人的生活。但隨之而來的倫理議題也日益凸顯,成爲了人們共同面臨的重要挑戰。

53岁金元萱曾跟张菲传恋情 惊吐这句话网全傻眼

近年來,我國發布了《新一代人工智能治理原則》《新一代人工智能倫理規範》等多份文件,強調人工智能需要以“智能向善”爲導向目標,要將倫理道德融入人工智能全生命週期。

任勇指出,在人工智能發展的過程中,會出現倫理和社會問題。例如在隱私和數據安全方面,人們擔心個人數據可能被濫用,在個人信息被竊取後,用於定向廣告等。

他還補充說,人工智能會引發責任、透明度問題以及失業焦慮,“自動化和機器人技術的進步可能會導致一些工作的自動化,從而引發失業和職業轉型的問題。”

韩国瑜议事战火扫到民主基金会!郭国文呛:没有规定董事长要给他

對此,任勇認爲,解決上述問題需要在技術層面上做到改善人工智能架構、優化人工智能算法、讓人類參與訓練循環;在社會層面上需要嚴格監管、解放思想和堅持原則,同時在人才培養上進一步加強產教融合力度。

耐心漸失?曾挺以色列自我防衛 德國盼減少無謂死傷、評估行動是否適當